適度な難しさで情報理論入門 - シャノンの情報理論入門

このところ、情報理論と統計学の勉強をしています。

今現在、SEとして働いていますが、大学時代に比べプライベートを含め数式の出てくる本を読む時間が圧倒的に減りました。

日常的に行っていた数学の計算が徐々にわからなくなってきているような気もします。

そんなわけで、数式が出てくるような本を読みたいと思い、この本を手に取りました。

シャノンの情報理論入門　価値ある情報を高速に、正確に送る ブルーバックス

ブルーバックスシリーズということもあり、内容も簡単で数式も単純なものに限られるため、紙と鉛筆のない朝の通勤電車の中でも読み進められます。

さて、この本が扱っているのはクロード・シャノンが開いた情報理論という分野についてです。

情報理論とは、平たく言えば情報という取り扱いにくかったものに対して、定量的な定義を与え理論として整理したものといった感じでしょうか。

よって、情報を情報量として定量的に定義するところからスタートしています。

実際の内容は非常に論理的で、ここに書き下すのは控えますが、情報という曖昧模糊とした量を、定量的に扱えるというのは、パラダイムシフトとでもいうほど価値観の転換があります。（私だけでしょうか？）

今まで、直感でなんとなく理解していたものに対してしっかりとした定義を行えるようになることこそ、理系の勉強の醍醐味ではないでしょうか。

この本では情報量のほかに情報のエントロピーという情報理論の根幹をなす概念を定義し、それを通信の理論に応用していくという内容です。

本の中でも言及されていますが、シャノンの現論文では順番は逆のようです。

情報分野や数学の好きな方であれば、ぜひ勉強していただきたいと思います。

そういえば通信における情報量や符号化など、IPAの情報処理技術者試験にちらっと出てきたきましますが、こんなに面白い分野だったとは…

さて、冒頭にも書きましたが、実はこの後さらに情報理論を勉強するため、数学の復習を兼ねて統計学の勉強を始めました。

また、同時にもう少しレベルの高い情報理論の本も読み始めています。

情報理論 (ちくま学芸文庫)

 こちらは数学のレベル的に少々きついですが、とても興味深い内容です。

この調子でいろいろと情報理論とその周辺の数学の勉強を進め、できればこのままデータマイニングとか機械学習の方面まで帆を進められればと思っています。

経過は追ってご報告。