官方淘宝店 易迪拓培训 旧站入口
首页 > 无线通信 > 通信技术学习讨论 > 问个互信息的问题

问个互信息的问题

12-13
假设连续信源X服从高斯分布,方差为Ps;信道为加性高斯噪声Z,方差为Pn。则接收信号Y=X+Z也服从高斯分布,方差为Ps+Pn。
互信息I(X;Y)=H(Y)-H(Y|X)=H(Y)-H(Z)                 (1)
并且高斯分布的微分熵为log(2*pi*e*delta^2)/2        (2)
由(1)和(2)可得I(X;Y)=log[2*pi*e*(Ps+Pn)]/2-log(2*pi*e*Pn)/2=log(1+Ps/Pn)/2   (3)
(3)为香农定理的另一种表现形式
同样的,互信息也可以写作I(X;Y)=H(X)-H(X|Y)=H(X)-H(Z)    (4)
由(2)和(4)可得I(X;Y)=log(2*pi*e*Ps)/2-log(2*pi*e*Pn)/2=log(Ps/Pn)/2     (5)
(3)和(5)同为X和Y之间的互信息,结果却不同。是哪里有问题?

公式(4)中,H(X|Y)不等于H(Z)
H(X|Y) = H(Y-Z|Y) = H(Z|Y),注意,Y和Z部独立,所以不能直接用H(Z)代替。

所言甚是,忽略了这一点。谢了!

Top