香农之前与1948年的论文
随着电报和电话的发展，贝尔实验室的哈里·奈奎斯特（1924）和拉尔夫·哈特莱（1928）开始用数学处理传输速度与信息量。1948年，同一实验室的克劳德·香农发表《通信的数学理论》，把信息与意义分开，定义为对“在所有可能消息中选中了哪一条”的不确定性的减少。概率为p的事件的信息量为−log₂p，信源的平均信息量即熵H＝−Σ p log₂ p，单位是比特。这个公式与物理学中的热力学熵形式相同，据说是冯·诺依曼建议香农采用这一名称。同年出版的诺伯特·维纳《控制论》也把信息与控制统一起来讨论。
压缩与传输的极限
香农的信源编码定理表明，无损压缩的极限就是熵；大卫·霍夫曼（1952）设计出给高频符号分配短码字的最优编码，为今天的ZIP、JPEG、MP3等压缩技术奠定了基础。信道编码定理证明，即使信道有噪声，只要传输速率低于信道容量，就能让错误率任意小。从理查德·汉明（1950）的纠错码开始，到1993年的Turbo码以及之后逼近香农极限的LDPC码和极化码（中国华为在5G标准中推动了后者的应用），信息论支撑着移动通信、卫星链路和存储设备的可靠性。
拓展与跨学科联系
安德烈·柯尔莫哥洛夫（1965）等人提出算法信息论，用生成某个字符串的最短程序长度来定义其信息量。罗尔夫·兰道尔（1961）提出擦除1比特信息至少要释放一定热量的原理，把信息与物理联系起来，并推动了量子信息和量子计算研究。生物学把DNA序列视为信息；统计学和机器学习中，互信息、KL散度和交叉熵损失无处不在，并与贝叶斯推断紧密相连。信息论被视为支撑信息社会的数字技术的数学基础。
常见问题
- 信息论里的“信息”和日常说的信息一样吗？
- 不一样。香农的信息衡量的是消息有多难预测（不确定性），与其意义或价值无关；一句有意义的话和一串随机字符可能具有相同的信息量。
- 为什么比特是基本单位？
- 以2为对数底时，“是/否”这类等概率二选一恰好对应1个单位的信息量。约翰·图基创造的“bit”一词，最早就印在香农1948年的论文中。
来源核查日期：2026-10-26
参考文献
- Nyquist, H. (1924). Certain factors affecting telegraph speed. Bell System Technical Journal, 3(2), 324–346.
- Hartley, R. V. L. (1928). Transmission of information. Bell System Technical Journal, 7(3), 535–563.
- Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656.
- Wiener, N. (1948). Cybernetics: Or Control and Communication in the Animal and the Machine. Cambridge, MA: MIT Press.
- Shannon, C. E., & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press.
- Hamming, R. W. (1950). Error detecting and error correcting codes. Bell System Technical Journal, 29(2), 147–160.
- Huffman, D. A. (1952). A method for the construction of minimum-redundancy codes. Proceedings of the IRE, 40(9), 1098–1101.
- Landauer, R. (1961). Irreversibility and heat generation in the computing process. IBM Journal of Research and Development, 5(3), 183–191.
- Kolmogorov, A. N. (1965). Three approaches to the quantitative definition of information. Problems of Information Transmission, 1(1), 1–7.
- Berrou, C., Glavieux, A., & Thitimajshima, P. (1993). Near Shannon limit error-correcting coding and decoding: Turbo-codes. Proceedings of ICC '93, 1064–1070.
- Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Hoboken, NJ: Wiley.