섀넌 이전과 1948년 논문
전신과 전화가 발달하면서 벨 연구소의 해리 나이퀴스트(1924)와 랠프 하틀리(1928)는 전송 속도와 정보량을 수학적으로 다루기 시작했어요. 1948년 같은 연구소의 클로드 섀넌은 「통신의 수학적 이론」에서 정보를 의미와 분리해, 가능한 메시지들 가운데 무엇이 선택되었는가에 대한 불확실성의 감소로 정의했어요. 확률 p인 사건의 정보량은 −log₂p이고, 정보원의 평균 정보량을 엔트로피 H = −Σ p log₂ p로 나타내며, 단위는 비트예요. 이 수식은 물리학의 열역학적 엔트로피와 형태가 같아, 폰노이만의 권유로 같은 이름이 붙었다는 일화가 전해져요. 같은 해 노버트 위너의 『사이버네틱스』도 정보와 제어를 통합적으로 다뤘어요.
압축과 전송의 한계
섀넌의 소스 부호화 정리는 데이터를 손실 없이 압축할 수 있는 한계가 엔트로피라는 것을 보였고, 데이비드 허프만(1952)은 자주 나오는 기호에 짧은 부호를 주는 최적 부호를 고안했어요. 이는 오늘날 ZIP, JPEG, MP3 같은 압축 기술의 토대예요. 채널 부호화 정리는 잡음이 있는 통신로라도 전송률이 채널 용량보다 낮으면 오류를 원하는 만큼 줄일 수 있음을 증명했어요. 리처드 해밍(1950)의 오류정정 부호를 시작으로, 1993년 터보 부호와 이후 LDPC·폴라 부호가 섀넌 한계에 근접하면서 이동통신, 위성통신, 저장장치의 신뢰성을 떠받치고 있어요.
확장과 다른 학문과의 연결
안드레이 콜모고로프(1965) 등은 하나의 문자열을 만들어 내는 가장 짧은 프로그램의 길이로 정보를 정의하는 알고리즘 정보이론을 제시했어요. 롤프 란다우어(1961)는 정보 1비트를 지우는 데 최소한의 열이 발생한다는 원리로 정보와 물리학을 연결했고, 이는 양자 정보와 양자 컴퓨팅 연구로 이어졌어요. 생물학에서는 DNA 서열을 정보로 보는 관점이, 통계학과 머신러닝에서는 상호정보량, 쿨백-라이블러 발산, 교차 엔트로피 손실 함수가 널리 쓰이며 베이즈 추론과도 깊이 얽혀 있어요. 정보이론은 정보사회를 가능하게 한 디지털 기술의 수학적 기반으로 평가돼요.
자주 묻는 질문
- 정보이론의 '정보'는 일상의 정보와 같은 뜻인가요?
- 아니에요. 섀넌의 정보는 메시지의 의미나 가치와 무관하게, 얼마나 예측하기 어려운가(불확실성)를 확률로 잰 양이에요. 의미 있는 문장과 무작위 문자열이 같은 정보량을 가질 수도 있어요.
- 왜 비트가 기본 단위인가요?
- 로그의 밑을 2로 잡으면 예/아니요 같은 두 가지 동일 확률 선택이 정확히 1의 정보량이 되기 때문이에요. 1948년 섀넌의 논문에서 존 튜키가 만든 'bit'라는 말이 처음 인쇄되었어요.
출처 검토일: 2026-10-26
참고문헌
- Nyquist, H. (1924). Certain factors affecting telegraph speed. Bell System Technical Journal, 3(2), 324–346.
- Hartley, R. V. L. (1928). Transmission of information. Bell System Technical Journal, 7(3), 535–563.
- Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656.
- Wiener, N. (1948). Cybernetics: Or Control and Communication in the Animal and the Machine. Cambridge, MA: MIT Press.
- Shannon, C. E., & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press.
- Hamming, R. W. (1950). Error detecting and error correcting codes. Bell System Technical Journal, 29(2), 147–160.
- Huffman, D. A. (1952). A method for the construction of minimum-redundancy codes. Proceedings of the IRE, 40(9), 1098–1101.
- Landauer, R. (1961). Irreversibility and heat generation in the computing process. IBM Journal of Research and Development, 5(3), 183–191.
- Kolmogorov, A. N. (1965). Three approaches to the quantitative definition of information. Problems of Information Transmission, 1(1), 1–7.
- Berrou, C., Glavieux, A., & Thitimajshima, P. (1993). Near Shannon limit error-correcting coding and decoding: Turbo-codes. Proceedings of ICC '93, 1064–1070.
- Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Hoboken, NJ: Wiley.