请教 互信息 的一个小问题，谢谢！

请教各位大牛， I（Y;X1）和I(Y;X1|X2) 哪个比较大？
不知道我表达式是否专业，其中：
I（Y;X1）是知道X1得到关于Y的信息量
I(Y;X1|X2)是已经知道X2的情况下，再知道X1得到关于Y的信息量
直观上感觉有 I（Y;X1）＞I(Y;X1|X2)　但是证了一个早上都没有证出来。555~
麻烦各位大牛帮忙看看，如果上述不等式不成立，是不是可以加入什么条件使它成立呢？
谢谢大家!

1. I(Y;X1) 和 I(Y;X1|X2) 大小不确定
证明： I(Y;X1;X2)=I(Y;X1)-I(Y;X1|X2)
      而I(Y;X1;X2)可以大于小于或等于0；
2.当Y和X2独立时，I(Y;X1)<=I(Y;X1|X2)
证明：I(Y;X1)-I(Y;X1|X2)
     =I(Y;X1;X2)
     =I(Y;X2)-I(Y;X2|X1)
     =0-I(Y;X2|X1)
     <=0
故I(Y;X1)<=I(Y;X1|X2)
即：条件增加互信息

高手！
大牛能否再给出I(Y;X1) > I(Y;X1|X2)的比较一般性的条件呢？
是不是X2和X1相关就有，I(Y,X1)>I(Y;X1|X2)呢？
小弟对这个是一窍不通，呵呵～
谢谢!!!

大体推了一下，这个条件应该是：
Y,X1,X2中某两个r.v.关于第三个r.v.条件独立，但这两个r.v.不独立
这时应该是>=，不是严格的>

好强的条件
～再仔细想想，以前
没有学过信息论，一下还朦朦的，
谢谢cylient!

    如果你的意思是指p(xyz)=p(xy)p(z)，那么推出p(xz)=p(x)p(z)和p(yz)=p(y)p(z)，这恰是I(X;Y)<=I(X;Y|Z)的一个条件，你的结论就是错的。I(X;Y)>=I(X;Y|Z)的一个成立条件还是挺不好找的。还有你那个I(X;Y;Z)的写法恕我见识少，不知道是什么意思，请指教。我附件里的证明就用定义证的，比较麻烦一些。
    这个发现我原来是在看一个Turbo code的讲义里看见的，附件pdf里的11页作者说他也是刚发现的，我原来也推过可大可小的条件，可能当时也没找到I(X;Y)>=I(X;Y|Z)的成立条件，期待高手来做一下。

 lecture09.pdf

 1.wmf

1.条件独立不是这个意思,例如X,Y关于Z条件独立,即
P(XY|Z)=P(X|Z)P(Y|Z)
2.多个随机变量的互信息很多信息论的书上都有,中文的有朱雪龙那本信息论教材上就有
3.条件增加互信息的条件确实是三个随机变量中两个独立,你推导得很好,我只是给出了一种情况而已,不全面

r
I(X;Y;Z)还是在一些地方可以查到的，叫信息冗余量，也有的地方叫多变量的互信
息。
cylient 的"Y,X1,X2中某两个r.v.关于第三个r.v.条件独立，但这两个r.v.不独立
这时应该是>=，不是严格的>" 的意思 应该是指 I(Y;X2|X1)＝0。
这样就有I(Y;X1)-I(Y;X1|X2)＝I(Y;X2)-I(Y;X2|X1)＝I(Y;X2)>=0
呵呵，没有学过信息论，不知道理解对了，没有。
当然kitutwas的也是对的

完全同意,呵呵! hand

今天学到不少东西，^_^，谢谢各位～

I(X1,X2;Y)=I(X2;Y)+I(X1;Y|X2)
                   ~~~~~~~~~
I(X1,X2;Y)=I(X1;Y)+I(X2;Y|X1)
           ~~~~~~~
那显然，
I(X1,Y|X2)-I(X1;Y)=I(X2,Y|X1)-I(X2;Y)
这个是很明显的，因为X1,X2的位置是一样的，所以可以互相替换。
但是，如果我们假设X2与Y独立，会产生什么情况呢？
显然，I(X2;Y)=0
来看I(X2,Y|X1)=H(X2|X1)-H(X2|Y,X1)=H(X2|X1)-H(X2|X1)=0 （*)
所以，在X2与Y独立的时候，I(X1,Y|X2)和I(X1;Y)相等？
是不是(*)式推导有错误？

I(X;Y;Z)是三个变量间的互信息。因为这个量可正可负，不具有两个变量间
互信息的非负性，所以一度被人认为是没有物理意义的概念。不过，在很多
信息论的基础研究里面，这个概念的重要性已经被逐步体现出来了，比如在
信息论不等式理论里面。
.136

你的推导，问题确实出在（*）式上，可以从两个方面解释（*）式的错误
（1）“X2和Y独立” 不能推出 “X2和Y关于X1条件独立”
（2）利用条件熵的定义，无法由“X1和Y独立”这个条件推导出
     H（X2|Y，X1）=H（X2|X1），在三重求和或积分的内部项中无法将含Y的概率项单独分     离出来

刚从网上搜了一下“多变量的互信息”，还真搜到一个清华的课件里有，看来我太孤陋寡闻了。不过我总觉得一个没有直观意义的定义还是不太好，初学信息论的话引入这个东西值得商榷。那个可件在附件里，ppt的33页里有这个证明。

 IT06_Chap_1.pdf

其实，这个问题是个很经典的问题
考虑三个随机变量X，Y，Z
那么I(X;Y)和I(X;Y|Z)的大小需要由这三个随机变量具体的关系而定
比方说，在证明互信息是前向转移概率的凸函数的那个经典证明里面，
如果把X和Y当作互信息的两端，把Z当作X，Y选择前向转移概率的开关，
那么I(X;Y)<=I(X;Y|Z)，因为I(X;Z)=0而I(X;Z|Y)>0，从而I(X;Y;Z)<0
再比方说，在证明互信息是先验概率的凹函数的那个经典证明里面，
如果把X和Y当作互信息的两端，把Z当作X选择先验概率的开关，那么
I(X;Y)>=I(X;Y|Z)，因为此时I(X;Y;Z)=I(Y;Z)>=0
所以，I(X;Y)和I(X;Y|Z)的大小是需要知道这三个变量的具体关系的：
第一个例子中X和Z独立；第二个例子中Y和Z独立
至于这两个量大小关系的充要条件，就是I(X;Y;Z)的正负，而这个条件
本身已经是足够基本的了
BTW：关于信息论不等式的证明，如果是3个或者3个以内的随机变量，
那么总可以化为基本信息论不等式加以证明，而且可以用Yeung的ITIP
程序进行机器证明；如果是超过3个随机变量的情况，问题就很复杂了
.136

长见识了！

嗯，对于初学者而言，如果在这个问题上没有讲清楚的话，的确会引起不少困惑，
既会影响学生对于两变量互信息非负性的理解，也无助于进一步学习多变量信息
不等式的特殊结构
反之，如果讲解充分，则可以适时引入I-Measure这一有力武器。
所以，到底该怎么处理，得看任课老师的水平了。。。
.136

推荐几篇讲多随机变量互信息的paper吧……

呵呵，对信息不等式理论有兴趣的，可以搜索一下Raymond Yeung的相关论文，
他是这方面的专家
信息不等式除了其本身的理论价值外，也已经有了一些重要的应用，比方说
在multiple sources network coding的容量域寻找中就经常被使用。
.136

您好，我想请问一下关于多变数的Mutual Information
还有关于你所提到的互讯息为...的凹和凸函数这两个经典证明
可在哪里找到呢？因为我手上只有Cover的书，看起来似乎没有呀...