朱雪龙<应用信息论基础>的2.1题怎么做?
给出的答案是ln((σx^2+σy^2)/2σxσy),但是怎么也得不出这个答案,版上有懂得人没?望不吝赐教。
笨办法,可以由X和Y的联合分布,通过线性变换,得到U和V的联合分布,然后由定义得
.192
你的答案是多少?
我算了算是 ln((σx^2+σy^2)/2σy^2)
这个答案估计不对
x和y是可以对称互换的,你的结果不是
查了维基百科,这样算可能简单一些:
I(U,V) = H(U) + H(V) - H(U,V)
根据U,V和X,Y之间的线性变换关系(http://en.wikipedia.org/wiki/Multivariate_no
rmal_distribution 之 affine transformation),
得到各个U,V, (U,V) 高斯分布的协方差矩阵,高斯分布的随机变量的熵有个现成公式,
只取决于协方差矩阵的行列式(见上面连接),简单运算之后得到结论。
但是U,V不是对称的
如果改成 U=Y+X, V=Y-X, 我的答案改成ln((σx^2+σy^2)/2σx^2)
这样行不行?
I(U;V) = H(U)+H(V)-H(UV)
H(UV) = H(UVX)-H(X|UV) = H(UVX) = H(X)+H(UV|X) = H(X)+H(Y)
X,Y,U,V都是高斯变量=>
H(X)=k*log2(σx^2), H(Y)=k*log2(σy^2), H(U)=H(V)=k*log2(σx^2+σy^2)
=>I(U;V)=k*log2((σx^2+σy^2)/σxσy)
这个思路挺好,但里面有一个小问题:
I(U,V) = H(U) + H(V) - H(UV)
其中H(U,V) = H(X,Y) + log |det A| = H(X) + H(Y) + log |det A|
其中A为从(X,Y)转换为(U,V)的矩阵
1, 1
1,-1
得到H(U,V) = H(X) + H(Y) + log 2。
不是H(U,V) = H(X) + H(Y), 对于连续随机变量经过线性变换后熵有个依赖于变换矩阵行列式绝对值的变化。
相关文章:
- 信息论方面有那些好的中文书啊?(05-08)
- 信息论中没没有信息量随着时间变化的概念(05-08)
- 上传了两本信息论的书(05-08)
- 求朱雪龙老师那本"应用信息论"习题答案!(05-08)
- Shannon著名信息论论文的据信(05-08)
- 问个信息论的问题(05-08)