问个互信息的问题
12-13
假设连续信源X服从高斯分布,方差为Ps;信道为加性高斯噪声Z,方差为Pn。则接收信号Y=X+Z也服从高斯分布,方差为Ps+Pn。
互信息I(X;Y)=H(Y)-H(Y|X)=H(Y)-H(Z) (1)
并且高斯分布的微分熵为log(2*pi*e*delta^2)/2 (2)
由(1)和(2)可得I(X;Y)=log[2*pi*e*(Ps+Pn)]/2-log(2*pi*e*Pn)/2=log(1+Ps/Pn)/2 (3)
(3)为香农定理的另一种表现形式
同样的,互信息也可以写作I(X;Y)=H(X)-H(X|Y)=H(X)-H(Z) (4)
由(2)和(4)可得I(X;Y)=log(2*pi*e*Ps)/2-log(2*pi*e*Pn)/2=log(Ps/Pn)/2 (5)
(3)和(5)同为X和Y之间的互信息,结果却不同。是哪里有问题?
互信息I(X;Y)=H(Y)-H(Y|X)=H(Y)-H(Z) (1)
并且高斯分布的微分熵为log(2*pi*e*delta^2)/2 (2)
由(1)和(2)可得I(X;Y)=log[2*pi*e*(Ps+Pn)]/2-log(2*pi*e*Pn)/2=log(1+Ps/Pn)/2 (3)
(3)为香农定理的另一种表现形式
同样的,互信息也可以写作I(X;Y)=H(X)-H(X|Y)=H(X)-H(Z) (4)
由(2)和(4)可得I(X;Y)=log(2*pi*e*Ps)/2-log(2*pi*e*Pn)/2=log(Ps/Pn)/2 (5)
(3)和(5)同为X和Y之间的互信息,结果却不同。是哪里有问题?
公式(4)中,H(X|Y)不等于H(Z)
H(X|Y) = H(Y-Z|Y) = H(Z|Y),注意,Y和Z部独立,所以不能直接用H(Z)代替。
所言甚是,忽略了这一点。谢了!
相关文章:
- 请下面这个互信息表达式,哪里有?(05-08)
- 再请假一个 条件互信息 的问题,谢谢!(05-08)
- 请教 互信息 的一个小问题,谢谢!(05-08)
- 互信息问题请教?(05-08)
射频专业培训教程推荐