官方淘宝店 易迪拓培训 旧站入口
首页 > 无线通信 > 通信技术学习讨论 > 朱雪龙<应用信息论基础>的2.1题怎么做?

朱雪龙<应用信息论基础>的2.1题怎么做?

12-16
设X和Y是各有均值mx,my,方差σx^2,σy^2,且相互独立的高斯随机变量,已知U=X+Y,V=X-Y。求I(U;V)。
给出的答案是ln((σx^2+σy^2)/2σxσy),但是怎么也得不出这个答案,版上有懂得人没?望不吝赐教。

笨办法,可以由X和Y的联合分布,通过线性变换,得到U和V的联合分布,然后由定义得
.192

你的答案是多少?
我算了算是 ln((σx^2+σy^2)/2σy^2)

这个答案估计不对
x和y是可以对称互换的,你的结果不是

查了维基百科,这样算可能简单一些:
I(U,V) = H(U) + H(V) - H(U,V)
根据U,V和X,Y之间的线性变换关系(http://en.wikipedia.org/wiki/Multivariate_no
rmal_distribution  之 affine transformation),
得到各个U,V, (U,V) 高斯分布的协方差矩阵,高斯分布的随机变量的熵有个现成公式,
只取决于协方差矩阵的行列式(见上面连接),简单运算之后得到结论。

但是U,V不是对称的
如果改成 U=Y+X, V=Y-X, 我的答案改成ln((σx^2+σy^2)/2σx^2)

这样行不行?
I(U;V) = H(U)+H(V)-H(UV)
H(UV) = H(UVX)-H(X|UV) = H(UVX) = H(X)+H(UV|X) = H(X)+H(Y)
X,Y,U,V都是高斯变量=>
H(X)=k*log2(σx^2), H(Y)=k*log2(σy^2), H(U)=H(V)=k*log2(σx^2+σy^2)
=>I(U;V)=k*log2((σx^2+σy^2)/σxσy)

这个思路挺好,但里面有一个小问题:
I(U,V) = H(U) + H(V) - H(UV)
其中H(U,V) = H(X,Y) + log |det A| = H(X) + H(Y) + log |det A|
其中A为从(X,Y)转换为(U,V)的矩阵
1, 1
1,-1
得到H(U,V) = H(X) + H(Y) + log 2。
不是H(U,V) = H(X) + H(Y), 对于连续随机变量经过线性变换后熵有个依赖于变换矩阵行列式绝对值的变化。

Top