信息熵

信息熵（Information Entropy）是[[香农]]在1948年提出的概念，用以量化訊息的不確定性或隨機性。它表示在[[离散随机变量]]的所有可能結果中，平均所需的最小[[位元]]数来[[编码]]该变量的取值。資訊熵越高，代表訊息越不可預測、訊息量越大；相反，熵值越低則表示訊息越有序、冗餘越多。此概念不僅是[[信息理论]]的核心，也被廣泛應用於[[统计学]]、[[机器学习]]、[[密码学