資訊理論

資訊理論是研究信息量化、編碼、傳輸與儲存的數學理論，由香農於1948年創立。該理論提出信息熵概念，用以度量訊源的隨機性，並透過源編碼定理說明在無失真條件下可達到的最小平均碼長。 在信道傳輸方面，信道編碼定理揭示在噪聲干擾中實現可靠通信的理論上限，稱為信道容量，這一結論成為現代通訊網路設計的基石。 資訊理論的應用範圍涵蓋資料壓縮、密碼學、人工智慧等領域，並激發了錯誤更正碼與最大似然估計等關鍵技術的發展。 隨著量子計算與深度學習的興起，資訊理論正朝向更高的維度與跨學科結合邁進。