一个关于确定01序列信息熵的问题

有个弱弱的问题，信息熵用来表示信息混乱程度，公式我就不写了。
但是，比如说确定的01序列，即01010101......，它的信息熵，如果按照公式计算，也应该是1bit；
但是，如果从物理意义上说，应该为0，因为是规律信息，大家看这个如何解释。
谢谢

你没理解熵
你这01010101010101...这个序列出现的概率是1啊
又不会出现其他序列像
0111111100101011...
1010011101000110...
之类的

非常感谢你的回复。我的意思是10101010的这样的序列，P(0)=0.5, p(1)=0.5，这个结果如果按照信息熵的公式就可以直接用，
而你说的出现概率是1，我不是太理解，
非常感谢，我可能确实对熵的理解不到位。

你公式用得不对，对0，1各以概率0.5随机出现的序列来说，熵（率）确实是1
但你这个10101010...序列不是随机序列
1后面出现0的概率是1，不是0.5，0后面再出现1的概率也是1
这个序列出现的概率是1，没有任何随机性
序列的熵（率）不是对0，1来说的，而是对这个序列的随机性
比如8位的序列10101010，它的随机性和00000000，00000001，00000010这样的所有8位序列比，在所有8位序列中它出现的概率是多少？n位序列的情况也一样
在你这个情况下n位的序列是一个确定序列，不是随机序列，它出现的概率当然是1，所以熵（率）为0

非常感谢你的回复。
我对这句话：“比如8位的序列10101010，它的随机性和00000000，00000001，00000010这样的所有8位序列比，在所有8位序列中它出现的概率是多少？n位序列的情况也一样 ”，没有太理解。
另外，比如说，对于伪随机m序列，它的统计方法也是按照序列熵来统计的吗？还是其他方法。
还有一个，比如，我是通过实验，得到了一个样本01序列，那么统计这样的序列，是用P(0)和P(1)来统计，还是观测整个序列的概率来统计，整个序列的概率，貌似只能是周期的才有的特性。

简单点，看4位的序列，16种可能
0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111
若0,1均是以概率0.5随机出现，那么每种可能出现的概率都是1/16
而你现在的这种确定性序列，只有1010出现，它出现的概率是1，其他15个出现的概率都是0
两种情况显然不同，所以熵也不一样
确定性序列你不用1010也可以，比如是1101也一样，它出现的概率是1，其他出现的概率是0，熵和先前的确定性序列一样
对确定性序列来说，你说“概率”其实是不准确的，“概率”是用来描述随机的东西的，不是确定性的东西的，你的情况只能说0，1出现的“频率”都是0.5，是你事先就决定好的，像1101110111011101...这个序列0出现的“频率”是1/4，1出现的频率是3/4，这也是事先决定好的
对随机序列来讲，比如就看4位序列，16种情况都可能出现，0，1的“频率”有多种可能，并不能确定
“熵”的一个重要用途是可以推出一个序列可压缩的极限，像0,1均是以概率0.5出现的序列，熵率是1，没办法压缩，对方要知道你传的n位序列就必须收n比特才行（不管你用什么压缩编码方法）
你这个确定性序列熵是0，意思是可以无限压缩，也就是对方不用接收你的任何比特就知道你传的序列是什么

非常感谢Genghis准确的讲解。
现在，有个问题，再跟你讨论一下，比如，我经过测量，得到一个1、0序列，你觉得我可以用熵的概念，来统计这样的0、1序列的交替变化特征吗？比如，就用熵的公式，我计算整个序列中，P(0)和P(1)的概率，然后计算这样的一个熵的概念

对序列来说，准确地说，应该用“熵率”，而不是“熵”
你这个序列是一个什么样的随机过程，决定了他的“熵率”
你不能把任何序列都假设为iid的，你之前的错误就在于把一个确定性的序列假设为iid的了
所以，单知道P(0)和P(1)的概率，无法去计算“熵率”（除非这个序列是iid的）
比如对一个Markov Chain来说，你要知道转移概率才能计算“熵率”

1 你需要先定义这是随机序列还是确定性序列，你的悖论起源于你定义的不准确。
2 你说的物理意义和规律信息，请参见 Kolmogorov complexity。

太感谢了。
“熵率”的概念，我再琢磨琢磨。
经过测量的序列，正常，我应该检测其是否是idd的？
现在我的这个序列，我没有验证idd，经过统计，得到了P(0)和P(1)的概率；
楼主是这块的行家，我对得到的序列，进行了Markov Chain建模，得到了1和0的稳态概率，利用1阶和2阶的Markov Chain模型，给出了其对应的转移概率。
这样，按你的意思，就是只能计算“熵率”吗？

谢谢，，我看看，我觉得，我的根源，在于没有定位，我的测试序列式确定序列，还是随机序列？现在理解没错了吧。谢谢指点。

谢谢。我举得，我的根源，是没确定我的测试序列，是确定序列，还是随机序列。
谢谢你的指点，我再看看你的推荐参考。

你既然要用Markov Chain来建模，你这个序列已经认为不是iid的了
Cover的Elements of Information Theory有一章就是讲Entropy Rates of a Stochastic
Process的

谢谢，非常感谢，最近两天刚生小孩，没有回信致谢。

gxgx