エントロピーのコンセプトを簡単に説明してみる

情報理論におけるエントロピーとかいう、微妙に分かりづらい、わかったような気になるヤツを、自分用に軽くコンセプトをメモる。

今回は「自己情報量とは何か」まで。

ある事象(なんでもいい。誰かが転んだ、誰かが宝くじで当てた、誰かがサイコロで1を出した)が起きる時、その事象が起きる確率がある。
例えば、「友達がサイコロで1を出した」という事象について考えてみる。
正直なはなし、どうでもいい事象だ。しかし、
例えば、「友達が宝くじで1等を出した」という事象について考えてみると、
先程よりも、どうでもよくない事象だ。だが、
例えば、「友達がサイコロで一桁の数字を出した」という事象は、
まったくもってどうでもいい事象だ。
このような「大事な情報かどうか」を数学的に判断したいと、昔のヒトが思ったわけだ。
その方法は至って簡単で
例えば事象の起こる確率$P_{(x)}$(以降、生起確率という)が
$$P_{(x)}=\frac{1}{6}$$
ならば、その事象が大事な情報かどうかは、その逆数を見ればいい
つまり、「情報の大事かどうかを表す度合い」を$I'_{(x)}$とすると、
$$I'_{(x)}=\frac{1}{P_{(x)}}=\frac{1}{\frac{1}{6}}=\frac{6}{1}=6\tag{1}$$
と言った具合。「その情報の重要度は6です。」という風に言うことができるようになった。
じゃ他の例でもやってみよう。友達が宝くじで1等を当てたとしよう。
宝くじ1枚買ったときの当選確率は0.000005%だそうだ。
ということは生起確率$P_{(x)}$は
$$P_{(x)}=\frac{5}{100000000}$$
だから「情報の大事かどうかを表す度合い」の$I'_{(x)}$は
$$I'_{(x)}=\frac{1}{P_{(x)}}=\frac{1}{\frac{5}{100000000}}=\frac{100000000}{5}=20000000\tag{2}$$
となる。
ところで、全く「大事じゃない」情報「情報の大事かどうかを表す度合い」0になるはずだ。
やってみよう。
「サイコロを振ったら整数がでた」という情報は、全く大事ではない。だってサイコロを振って整数が出ることはわかりきったことだから。だから「情報の大事かどうかを表す度合い」は0にならなければいけない。
実際に計算してみる。
「サイコロを振って整数がでる」ことの生起確率$P_{(x)}$は
$$P_{(x)}=\frac{1}{1}$$
であるから、
$$I'_{(x)}=\frac{1}{P_{(x)}}=\frac{1}{\frac{1}{1}}=\frac{1}{1}=1\tag{3}$$
あるぇ、0じゃないぞ、となる。まったく価値のない情報の「大事度」が1なのはおかしい
どうしたものか。
そこで、昔のエライ人達は、対数とか呼ばれるものを使うことにした。$log_a B$とかいうやつ。
このときaの部分は「底」と呼ばれる数値で、情報理論で「大事度」を求めるときには$a=2$にし、Bの部分は「真数」と呼ばれる数値で、ここに$I'(x)$を入れてやればいい。この
$$log_2I'_{(x)}$$
のことを「自己情報量」といい、$I_{(x)}$と表す。
実際にやってみよう。
(1)の場合
$$I_{(x)}=log_2I'_{(x)}=log_2 6=2.58496250072\tag{1'}$$
(2)の場合
$$I_{(x)}=log_2I'_{(x)}=log_2 20000000=24.2534966642\tag{2'}$$
(3)の場合
$$I_{(x)}=log_2I'_{(x)}=log_2 1=0\tag{3'}$$
これが、自己情報量。
最後の数値はどうやって計算したかって?
「電卓」
式さえ作れたら、後は電卓がやってくれる。
というわけで、
$$I'_{(x)}=\frac{1}{P_{(x)}}$$
$$I_{(x)}=log_2I'_{(x)}$$
から、自己情報量を出すための式はこうなることがわかる。
$$I_{(x)}=log_2I'_{(x)}=log_2\frac{1}{P_{(x)}}$$

問題
すべての面が同じ確率で出るサイコロがある。友達がそのサイコロを振った所、「偶数」だったという。この事象の自己情報量はいくらか?
スポンサーサイト

4年放置してたらしい(これから更新するとは言ってない)

たまには更新してもいいと思うんだけど。
特に記述するほどのこともないんだなぁ
みつお

新作動画

この記事はブロとものみ閲覧できます
プロフィール

すぺくとる

Author:すぺくとる
ウディタ・Unity・UE4などなど。
MUGEN関連製作物等々は下の方の”星屑の倉庫”に置いてあります。好きに持って帰っていいですよ。
改変転載は要相談ということで。

最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
カウンター
現在の閲覧者数
現在の閲覧者数:
カーソルに数字を入れるだけでページジャンプできますよ~

Presented by Asondara Nakamada. hen Game
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QR