第四百七十七章 推广信息源出现熵
  把这种推演用到任意信息源。如果一个信息源往外蹦的随机变量都独立而且服从同一个定义在S={1，2，…，M}上的分布P(x)，那么以下结论依次成立。

  信息源里蹦出的随机序列几乎可以肯定是典型的！

  每个典型序列出现的概率差不多就是P(1)^(nP(1))*P(2)^(nP(2))*…*P(M)^(nP(M))!

  典型序列的个数T差不多就是P(1)^(-nP(1))*P(2)^(-nP(2))*…*P(M)^(-nP(M))!

  压缩这个信息源蹦出的每个随机变量平均所需要的最少比特数就是(logT)/n！

  这个数字(logT)/n就等于：-P(1)logP(1)-P(2)logP(2)-…-P(M)logP(M).

  这个数字，就是熵。

  从熵的表达式看，熵是通过一个概率分布函数P(x)来定义的。因为概率分布函数P(x)都对应于它所描写的随机变量X，所以俺们也可以认为熵是对随机变量X的某种特性的度量，而把它记作H(X)。从压缩的角度讲，熵值H(X)是对产生随机变量X的信息源编码所需要的平均最小比特数，或随机变量X中固有的平均信息量。



更多完整内容阅读登陆

《墨缘文学网，https://wap.mywenxue.org》