نظرية المعلومات

ما قبل شانون وورقة 1948

مع انتشار البرق والهاتف بدأ هاري نايكويست (1924) ورالف هارتلي (1928) في مختبرات بِل معالجة سرعة الإرسال وكمية المعلومات رياضيًا. وفي 1948 نشر زميلهما كلود شانون «النظرية الرياضية للاتصال»، ففصل المعلومات عن المعنى وعرّفها بأنها نقصان عدم اليقين بشأن الرسالة المختارة من بين الرسائل الممكنة. فالحدث ذو الاحتمال p يحمل −log₂p بت، ومتوسط معلومات المصدر هو الإنتروبيا H = −Σ p log₂ p. وللصيغة شكل الإنتروبيا الحرارية نفسه، وتروي حكاية مشهورة أن فون نيومان نصح شانون بهذا الاسم. وفي العام نفسه جمع كتاب نوربرت وينر «السيبرنطيقا» بين المعلومات والتحكم.

حدود الضغط والإرسال

بيّنت مبرهنة شانون لترميز المصدر أن الإنتروبيا هي حد الضغط دون فقدان، وابتكر ديفيد هافمان (1952) رموزًا مثلى تعطي الرموز الأكثر تكرارًا كلمات أقصر، وهي أساس صيغ ZIP وJPEG وMP3 اليوم. وأثبتت مبرهنة ترميز القناة أنه حتى في قناة مشوشة يمكن جعل الأخطاء نادرة بالقدر المطلوب ما دام معدل الإرسال دون سعة القناة. وبدءًا برموز ريتشارد هامينغ لتصحيح الأخطاء (1950)، ثم الرموز التوربينية (1993) ورموز LDPC والرموز القطبية التي تقترب من حد شانون، تقوم عليها موثوقية الشبكات الخلوية والاتصالات الساتلية وأجهزة التخزين.

التوسعات والصلات

طوّر أندريه كولموغوروف (1965) وآخرون نظرية المعلومات الخوارزمية التي تعرّف معلومات سلسلة ما بطول أقصر برنامج يولّدها. وربط رولف لانداور (1961) المعلومات بالفيزياء بمبدأ أن محو بت واحد يطلق حدًا أدنى من الحرارة، وهي فكرة غذّت أبحاث المعلومات الكمومية والحوسبة الكمومية. ويعامل علماء الأحياء تسلسلات الحمض النووي معلوماتٍ، وفي الإحصاء وتعلّم الآلة تنتشر المعلومات المتبادلة وتباعد كولباك-لايبلر ودالة خسارة الإنتروبيا التقاطعية، مرتبطة وثيقًا بـالاستدلال البايزي. وتُعدّ نظرية المعلومات الأساس الرياضي للتقنيات الرقمية التي قام عليها مجتمع المعلومات.

الأسئلة الشائعة

هل «المعلومات» في النظرية هي المعلومات بمعناها اليومي؟

لا، فمعلومات شانون تقيس مدى صعوبة توقع الرسالة بصرف النظر عن معناها أو قيمتها، وقد تحمل جملة ذات معنى وسلسلة عشوائية كمية المعلومات نفسها.

لماذا البت هو الوحدة الأساسية؟

لأن اللوغاريتم بالأساس 2 يجعل الاختيار بين بديلين متساويي الاحتمال، كنعم أو لا، وحدة واحدة بالضبط، وقد ظهرت كلمة bit التي صاغها جون توكي مطبوعة لأول مرة في ورقة شانون عام 1948.

تاريخ مراجعة المصادر: 2026-10-26

المراجع

1. Nyquist, H. (1924). Certain factors affecting telegraph speed. Bell System Technical Journal, 3(2), 324–346.
2. Hartley, R. V. L. (1928). Transmission of information. Bell System Technical Journal, 7(3), 535–563.
3. Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical Journal, 27(3), 379–423; 27(4), 623–656.
4. Wiener, N. (1948). Cybernetics: Or Control and Communication in the Animal and the Machine. Cambridge, MA: MIT Press.
5. Shannon, C. E., & Weaver, W. (1949). The Mathematical Theory of Communication. Urbana: University of Illinois Press.
6. Hamming, R. W. (1950). Error detecting and error correcting codes. Bell System Technical Journal, 29(2), 147–160.
7. Huffman, D. A. (1952). A method for the construction of minimum-redundancy codes. Proceedings of the IRE, 40(9), 1098–1101.
8. Landauer, R. (1961). Irreversibility and heat generation in the computing process. IBM Journal of Research and Development, 5(3), 183–191.
9. Kolmogorov, A. N. (1965). Three approaches to the quantitative definition of information. Problems of Information Transmission, 1(1), 1–7.
10. Berrou, C., Glavieux, A., & Thitimajshima, P. (1993). Near Shannon limit error-correcting coding and decoding: Turbo-codes. Proceedings of ICC '93, 1064–1070.
11. Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Hoboken, NJ: Wiley.