信息的度量
H(X) = -Σ p(x)log₂p(x)。量化不确定性。克劳德·香农1948年提出，奠定信息论基础。
H(X) measures uncertainty in bits. Foundation of information theory.核心概念
信源编码定理（最优压缩率=信源熵）、信道容量C=max I(X;Y)、互信息、交叉熵→损失函数。
应用
数据压缩(ZIP/JPEG/MP3)、密码学、机器学习（决策树/损失函数）、语言建模、生物信息学。
H(X) = -Σ p(x)log₂p(x)。量化不确定性。克劳德·香农1948年提出，奠定信息论基础。
H(X) measures uncertainty in bits. Foundation of information theory.信源编码定理（最优压缩率=信源熵）、信道容量C=max I(X;Y)、互信息、交叉熵→损失函数。
数据压缩(ZIP/JPEG/MP3)、密码学、机器学习（决策树/损失函数）、语言建模、生物信息学。
