官方淘宝店 易迪拓培训 旧站入口
首页 > 无线通信 > 通信技术学习讨论 > 再请假一个 条件互信息 的问题,谢谢!

再请假一个 条件互信息 的问题,谢谢!

12-13
昨天请假了一个互信息问题,收获不小,再请假一个,小弟愚钝~^_^
计算条件互信息I(Y;Xn|X1,X2…Xn-1)其实是非常复杂的,是不是有什么近似的算法呢?
有人采用:I(Y;Xn|X1,X2…Xn-1)=I(Y;Xn)-maxI(Xn;Xi) 这个近似处理。
虽然计算简单,但是我不明白上述近似的合理性,大牛们能从理论上给解释一下吗?或
者其它比较好的近似吗?
谢谢各位!
另,我的应用背景是,机器学习的特征选择问题:希望选取一组最好的特征自己X1,X2
… 从而能够提供尽可能多的Y的信息。

就设n=2,你昨天的帖子说明I(Y;X2|X1)可以大于也可以小于I(Y;X2),那么I(Y;X2|X1)>=I(Y;X2)时(上个帖子说了譬如Y,X1独立可成立),I(Y;X2)再减去一个非负的数,这个近似未必好。
这么复杂的问题,版上除了专门搞信息论这块的,怕不能给你合理的答案。

呼唤realwhz!

俺也呼唤一下~
希望俺的呼声能让大牛听到,^_^

嗯那,的确如此
一般来说,这个近似貌似不甚合理,可能X1,...,Xn,Y之间还有其他的约束吧
最好是能把使用该近似的具体出处给出
.136

Top