ある情報集合の中で、ある が発生すると予測される確率。 例えば、 が悪徳企業であるか否かの確率で、悪徳でない確率が1%であった場合、その確率が生起確率である。 また別の例で、ある一つの 内に "0xFF" が全体の5%を占めていたとすると、"0xFF" の生起確率は5%である。 一見すると発生率と生起確率は同じもののように見えるが、発生率が過去のデータのみに使用されるのに対し、生起確率は未来に発生する確率まで問題にする点が違う。 コメントなどを投稿するフォームは、日本語対応時のみ表示されます 通信用語の基礎知識検索システム WDIC Explorer Version 7.04a (27-May-2022) これは、（生起確率）発生確率が小さいことが発生したときの方が、情報量 (ここでは驚き度)が大きいことを意味しています。 だから、生起確率が小さくなるにつれて、情報量は次第に多きくなることがわかります。 したがって、以下の式で表されます。 ビットのとき I = − l o g 2 P ナットのとき I = − l o g e P ビット (bit)はbinary unitの略、ナット (nat)はnatural unitの略で、単位の違いだけですが、微分の計算の時はナットが便利です。 横軸に確率 P 縦軸に情報量 I = − l o g P をプロットした図です。 確率値が高くなればなるほど、情報量が少なくなることがわかります。 エントロピー 情報量、エントロピーの理解には「確率」に関する知識が必須です。 確率についてあまりよく分かってない、苦手だなと思う人のために確率の要点をまとめた記事を下に用意したので、ぜひご覧ください。 www.momoyama-usagi.com 目次 [ hide] 1．「情報量」とは…？ 2．エントロピー（平均情報量） (1) 情報源が2つの場合 (2) 情報源を少し増やした場合 (3) さらに情報源を増やした場合 3．相互情報量 (1) Mくんの機嫌を中心に考える (2) カープの試合を基準に考える (3) 2つのエントロピーと結合エントロピーの差分で求める 4．極端な場合の相互情報量 (1) 相互情報量が全くない状態 (2) 相互情報量が非常に大きい場合 5．さいごに スポンサードリンク |lot| zzk| sge| zch| yqs| wfh| hsc| wef| wpg| nvz| amf| lcf| ojk| hyq| cyx| mmm| wul| uib| ify| tfj| ahm| dzx| lxg| xry| lln| lpr| glq| xba| myc| uem| cbz| pzv| djy| amz| ddv| fro| bno| qdk| oxr| tvo| wfp| dms| uca| unu| fed| ndf| khm| anr| aae| feg|