关于LS和MMSE估计

如你所言,它们的准则是不同的
一个是统计意义,一个是确定意义的
虽然统计意义的量实际也要用样本来计算
但是也不能说他们是等价的吧
MMSE要到相关矩阵(虽然也要用样本来计算)
但是LS中却没有统计相关量的影子

更具体的说，如果观测到的含噪结果Y是待估计参数X的一个函数：F(X)=Y。MMSE准则是基于最小化E{(X'-X)^H*(X'-X)}来计算估计值X'的；而least squares是选择X'而令Y-F(X')的二乘和最小。
所以我们看到，这里考虑误差的对象是完全不一样的（且不论误差定义的不同）：MMSE考虑的是estimator的误差，而LS考虑的是观测量的误差。在这样的情况下，MMSE估计必须要知道条件概率P(X|Y)，通常情况下即X和噪声的分布。而LS估计因为只着眼于观测量，则完全没有这样的限制。这里我们看到，如果讨论estimator是否最优，必须考虑到各estimator所具有的先验信息（MMSE要求知道函数F的形式，以及X和噪声分布；LS仅要求知道函数F）。
考虑一个最简单的Y=AX+V模型在LMMSE准则和LS准则下的估计，这里V是零均值高斯白噪声（因此LMMSE和MMSE等价）。此时，LMMSE给出X'=inv[inv(R_x)+(A^H)*inv(R_v)*A]*(A^H)*inv(R_v)*Y；而LS给出X'=inv[(A^H)*A]*(A^H)*Y。显然仅在噪声的谱密度趋近为零的时候，两个estimator才可能等价（即此时噪声的信息已经无关紧要了）。

赞:)

两个的区别就在于一个平均嘛
就因为这个平均,才使得他的复杂度和性能上都有提高

又发现了一个牛人

    多谢！
    今天看了几本通信方面的书，一般都有关于均衡器的章节，其中，谈到MMSE都是指观测量的误差，而有本名字叫做信号检测什么的书，说MMSE又是指参数的的误差了。现在正在看篇论文，其中关于MMSE代价函数的定义如兄弟所说。
有点迷惑，可否再指点一下，谢谢！

MMSE均衡器设计的话，一般是要E[|s-s'|^2]最小，也就是仍考虑的是estimator的均方误差。
如果某些书喜欢定义成观测量的误差，也可能这么做比较方便吧，或者他需要估计的就是去掉噪声的观测量。你可以推导一下在一般的线性关系下，estimator的均方误差最小是否和观测量的误差最小等价。但就一般的定义而言，MMSE估计显然是针对estimator而言的。