シャノン以前と1948年の論文
電信や電話が普及するなか、ベル研究所のハリー・ナイキスト（1924年）とラルフ・ハートレー（1928年）は伝送速度や情報量を数学的に扱い始めました。1948年、同じ研究所のクロード・シャノンは「通信の数学的理論」で情報を意味から切り離し、ありうるメッセージのうちどれが選ばれたかについての不確かさの減少として定義しました。確率pの事象の情報量は−log₂pで、情報源の平均情報量をエントロピーH＝−Σ p log₂ pと表し、単位はビットです。この式は物理学の熱力学的エントロピーと同じ形をしており、フォン・ノイマンの勧めで同じ名前がついたという逸話が知られています。同じ年に出たノーバート・ウィーナーの『サイバネティックス』も、情報と制御を統一的に扱いました。
圧縮と伝送の限界
シャノンの情報源符号化定理は、データを損失なく圧縮できる限界がエントロピーであることを示し、デイヴィッド・ハフマン（1952年）はよく出る記号に短い符号を割り当てる最適な符号を考案しました。これは今日のZIP、JPEG、MP3といった圧縮技術の土台です。通信路符号化定理は、雑音のある通信路でも伝送速度が通信路容量より低ければ誤りをいくらでも小さくできることを証明しました。リチャード・ハミング（1950年）の誤り訂正符号に始まり、1993年のターボ符号、その後のLDPC符号やポーラ符号がシャノン限界に迫り、携帯電話や衛星通信、記憶装置の信頼性を支えています。
広がりと他分野とのつながり
アンドレイ・コルモゴロフ（1965年）らは、ある文字列を出力する最短のプログラムの長さで情報を定義するアルゴリズム情報理論を示しました。ロルフ・ランダウアー（1961年）は1ビットの情報を消去するには最低限の熱が発生するという原理で情報と物理学を結びつけ、量子情報や量子コンピューティングの研究へとつながっています。生物学ではDNAの配列を情報とみる見方が、統計学や機械学習では相互情報量、カルバック・ライブラー情報量、交差エントロピー損失が広く使われ、ベイズ推論とも深く結びついています。情報理論は情報社会を可能にしたデジタル技術の数学的基盤と評価されています。
よくある質問
- 情報理論の「情報」は日常の情報と同じ意味？
- いいえ。シャノンの情報は、メッセージの意味や価値とは関係なく、どれだけ予測しにくいか（不確かさ）を確率で測った量です。意味のある文と無作為な文字列が同じ情報量をもつこともあります。
- なぜビットが基本単位なの？
- 対数の底を2にすると、「はい／いいえ」のような等確率の二択がちょうど1の情報量になるためです。ジョン・テューキーが考えた「bit」という語は、1948年のシャノンの論文で初めて活字になりました。
出典確認日：2026-10-26
参考文献
- Nyquist, H. (1924). Certain factors affecting telegraph speed. Bell System Technical Journal, 3(2), 324–346.
- Hartley, R. V. L. (1928). Transmission of information. Bell System Technical Journal, 7(3), 535–563.
- Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656.
- Wiener, N. (1948). Cybernetics: Or Control and Communication in the Animal and the Machine. Cambridge, MA: MIT Press.
- Shannon, C. E., & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press.
- Hamming, R. W. (1950). Error detecting and error correcting codes. Bell System Technical Journal, 29(2), 147–160.
- Huffman, D. A. (1952). A method for the construction of minimum-redundancy codes. Proceedings of the IRE, 40(9), 1098–1101.
- Landauer, R. (1961). Irreversibility and heat generation in the computing process. IBM Journal of Research and Development, 5(3), 183–191.
- Kolmogorov, A. N. (1965). Three approaches to the quantitative definition of information. Problems of Information Transmission, 1(1), 1–7.
- Berrou, C., Glavieux, A., & Thitimajshima, P. (1993). Near Shannon limit error-correcting coding and decoding: Turbo-codes. Proceedings of ICC '93, 1064–1070.
- Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Hoboken, NJ: Wiley.