再请假一个 条件互信息 的问题,谢谢!
12-13
昨天请假了一个互信息问题,收获不小,再请假一个,小弟愚钝~^_^
计算条件互信息I(Y;Xn|X1,X2…Xn-1)其实是非常复杂的,是不是有什么近似的算法呢?
有人采用:I(Y;Xn|X1,X2…Xn-1)=I(Y;Xn)-maxI(Xn;Xi) 这个近似处理。
虽然计算简单,但是我不明白上述近似的合理性,大牛们能从理论上给解释一下吗?或
者其它比较好的近似吗?
谢谢各位!
另,我的应用背景是,机器学习的特征选择问题:希望选取一组最好的特征自己X1,X2
… 从而能够提供尽可能多的Y的信息。
计算条件互信息I(Y;Xn|X1,X2…Xn-1)其实是非常复杂的,是不是有什么近似的算法呢?
有人采用:I(Y;Xn|X1,X2…Xn-1)=I(Y;Xn)-maxI(Xn;Xi) 这个近似处理。
虽然计算简单,但是我不明白上述近似的合理性,大牛们能从理论上给解释一下吗?或
者其它比较好的近似吗?
谢谢各位!
另,我的应用背景是,机器学习的特征选择问题:希望选取一组最好的特征自己X1,X2
… 从而能够提供尽可能多的Y的信息。
就设n=2,你昨天的帖子说明I(Y;X2|X1)可以大于也可以小于I(Y;X2),那么I(Y;X2|X1)>=I(Y;X2)时(上个帖子说了譬如Y,X1独立可成立),I(Y;X2)再减去一个非负的数,这个近似未必好。
这么复杂的问题,版上除了专门搞信息论这块的,怕不能给你合理的答案。
呼唤realwhz!
俺也呼唤一下~
希望俺的呼声能让大牛听到,^_^
嗯那,的确如此
一般来说,这个近似貌似不甚合理,可能X1,...,Xn,Y之间还有其他的约束吧
最好是能把使用该近似的具体出处给出
.136
相关文章:
- 问个互信息的问题(05-08)
- 请下面这个互信息表达式,哪里有?(05-08)
- 请教 互信息 的一个小问题,谢谢!(05-08)
- 互信息问题请教?(05-08)
- 谁用过ns下面的topology生成工具BRITE?请假一个问题(05-08)
- 请假用matlab如何仿真一个随机到达的情景(05-08)
射频专业培训教程推荐