首页|嵌入式系统|显示技术|模拟IC/电源|元件与制造|其他IC/制程|消费类电子|无线/通信|汽车电子|工业控制|医疗电子|测试测量
首页 > 分享下载 > 通信电路 > 北邮 课件\下册讲稿(杨鸿文)\LN2-20070306.pdf

北邮 课件\下册讲稿(杨鸿文)\LN2-20070306.pdf

资料介绍
北邮 课件\下册讲稿(杨鸿文)\LN2-20070306.pdf
04104-106通信原理II第二讲


March 6, 2007


1 互信息
信息量是不确定性,就是你不可能猜出来的那些东西。对于随机变量X,平均
信息量是H (X )。
对于两个随机变量,已经知道X后,对于Y我们仍然有一些猜不出来的地
方。平均猜不出的程度就是条件熵H (Y |X ),它必然小于等于H (Y )。也就是
说,如果不知道X的具体内容,猜Y猜不出的程度会更大一些。
换言之,已知X使我们对Y多少知道了一些,这个程度是H (Y ) H (Y |X ),
它 叫 互 信 息 (mutal information,MI) , 记 为I(X;Y)。 因 此 , 互 信 息 就 是 已
知X后,我们能依据X而猜出的关于Y的信息。
注意记号,我们有时候把自信息I [P (X = xi )]写成I (X ), 如同我们会把概
率P (X = xi )写成P (X )一样。因此需要注意自信息和互信息的符号差别,I (X, Y )是
自信息,它是I [P (X = x, Y = y )]的简写。互信息是I (X ; Y )。这里一个是分
号“;”,一个是逗号“, ”。
有如下关系:

I (X ; Y ) = I (Y ; X ) = H (X ) H (X |Y )
= H (Y ) H (Y |X ) (1)
= H (X ) + H (Y ) H (X, Y )

证明:若A、B独立,则P (A, B ) = P (
标签:bupt北邮通信原理
北邮 课件\下册讲稿(杨鸿文)\LN2-20070306.pdf
本地下载

评论