目录
信息量
正文
配图
相关连接
信息量
正文
信息多少的量度。1928年R.V.L.哈特莱首先提出信息定量化的初步设想，他将消息数的对数定义为信息量。若信源有m种消息，且每个消息是以相等可能产生的,则该信源的信息量可表示为I=logm。但对信息量作深入而系统研究，还是从1948年C.E.仙农的奠基性工作开始的。
在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后，尽可能多的解除接收者对信源所存在的疑义（不定度），因此这个被解除的不定度实际上就是在通信中所要传送的信息量。因此,接收的信息量在无干扰时,在数值上就等于信源的信息熵data/attachment/portal/201111/06/094303mgkp9kgi93tj3bbg.gif，式中P(xi)为信源取第i个符号的概率。但在概念上,信息熵与信息量是有区别的。信息熵是描述信源本身统计特性的一个物理量。它是信源平均不定度，是信源统计特性的一个客观表征量。不管是否有接收者它总是客观存在的。信息量则往往是针对接收者而言的，所谓接收者获得了信息，是指接收者收到消息后解除了对信源的平均不定度，它具有相对性。对于信息量的说明须引入互信息的概念。
在信息论中，互信息的定义是：I(X；Y)＝H(X)－H(X|Y)，数式右边后一项称为条件熵，对离散消息可表示为data/attachment/portal/201111/06/0943095d48xfytd0pwpf2m.gif，它表示已知Y以后，对X仍存在的不定度。因此，互信息I(X;Y)是表示当收到Y以后所获得关于信源X的信息量。与互信息相对应，常称H(X)为自信息。互信息具有三个基本性质。
①非负性：I(X;Y)≥0,仅当收到的消息与发送的消息统计独立时，互信息才为0。
②互信息不大于信源的熵：I(X;Y)≤H(X),即接收者从信源中所获得的信息必不大于信源本身的熵。仅当信道无噪声时，两者才相等。
③对称性：I(X;Y)=I(Y;X),即Y隐含X和X隐含Y的互信息是相等的。
对于连续信源的互信息,它仍表示两个熵的差值,所以也可直接从离散情况加以推广，并保持上述离散情况的一切特性，即
data/attachment/portal/201111/06/094310k7nj53xp8ae04mma.gif实际信源是单个消息信源的组合，所以实际信源的互信息I(X;Y)也可以直接从上述单个消息的互信息I(X；Y)加以推广，即I(X;Y)=H(X)-H(X│Y)。
配图
相关连接