估计理论estimationtheory
应用统计学方法来研究，用接收到的有噪声的观测数据估计实际参量或随机变量、随机过程或系统某些特性的理论，为信息论的一个分支。估计分为参量估计和状态估计两类。参量和状态的区别是：前者随着时间保持不变或只缓慢变化；后者则随着时间连续变化。例如，根据雷达回波来估计每一时刻在连续变化的卫星的三个空间位置矢量和三个速度矢量，这是状态估计。对卫星的质量和惯量等的估计则属于参量估计。被估计的参量又可分为随机变量和非随机变量两种。要估计的状态则又有离散时间和连续时间的区别。
发展概况19世纪初，德国数学家C.F.高斯提出了最小二乘法估计(最小平方误差估计)。从20世纪20年代到30年代，英国统计学家R.A.费歇耳系统地建立了经典估计理论。1941年苏联科学家H.柯尔莫戈洛夫首先论述离散时间情况下的预测问题。美国科学家N.维纳于1942年推导出连续时间滤波。他们都把统计方法应用于解决与状态估计有关的最佳线性滤波问题，为现代估计理论奠定了基础。60年代初，R.E.卡尔曼等人发展了维纳理论，把状态变量法引入滤波理论，用时域微分方程表示滤波问题，得到递归滤波算法，适于用计算机求解和实时处理。这一突破使估计理论在许多领域得到实际应用。80年代初,光纤通信和激光雷达等逐渐成为工程现实,量子信道与量子检测和估计理论遂引起人们的注意。
基本概念图为一般估计问题的模型。源的输出通常是时间t的函数,并且包含待估计的参量。例如,在雷达系统中,目标在每一时刻的回波就是源的输出,可写成Acos，A是回波幅度；f是回波频率；tR是时延。这些都是待估计的参量，包含着目标的散射特性、空间距离和运动速度等信息。源发出的数据在到达数据处理装置前总是受到随机噪声的干扰。概率转移机构把数据和噪声按照数学规则转移成具有一定概率模型的信号，作为处理装置的输入y。处理装置的任务就是对具有概率特性的数据进行必要的处理，然后按设定的规则得到估计量。如果待估计的参量只有一个θ，从对y的n个观测数据的处理所得的估计量为；因y具有随机特性，估计量也将是一个随机变量，它本身也有一阶矩、二阶矩等统计特性。估计量的好坏可用它的统计特性来表示。当θ为实际参量时,称与θ（称为真值）之差为估计误差,用表示，即
如果的期望值为零，即
表示估计量的期望值等于真值,称为无偏估计。如果对同一参量θ用不同估计方法得出不同的无偏估计1,2,…，其中之一κ的方差是所有估计量方差中最小的，并达到相应的下限时,则称κ为有效估计。如果对任一小的正数ε有下列概率的极限关系
则称为一致估计。
估计方法常用的估计方法有最小平方误差估计、极大似然估计和贝叶斯估计。
①最小平方误差估计：对信号和噪声的统计知识可以不作任何要求。它的基本点是使n次观测值与理论计算值的绝对误差在平方和意义下最小，并由此求得估计量。若u是变量x,y,…的函数并含有m个参量θ1,θ2，…，θm，即
u＝f(θ1,θ2,…,θm;x,y,…)
对u和x，y，…作n次观测，得
(xi,yi,…,ui)(i＝1,2,…,n)
于是u的理论计算值与观测值ui的绝对误差为，i=1，2，…,n。如n个绝对误差的平方和最小,从而使函数u与观测值u1,u2,…，un最佳拟合,也就是使参量θ1，θ2，…，θm满足下列关系
为最小。根据微分学中求极值方法可知，θ1,θ2,…,θm，应满足下列方程组
媉θ/媉θi＝0(i＝1，2，…，m)
由此可求得最小平方误差估计量1，2，…，m。
②极大似然估计:以似然函数的概念为基础。用Y表示一组观测量，θ表示一组未知参量，则条件密度函数p（Y|θ）是Y和θ两者的函数。如果规定Y等于其观测量Y*，则p(Y*│θ只是θ的函数,并称为似然函数。其涵义是似然函数p(Y*|θ)的值越大,则θ是准确值的可能性也越大。使p(Y*θ)最大的θ就是极大似然估计量，通常用表示。
③贝叶斯估计：对于单参量估计（多参量估计的情况相似）来说，首先要给定随机参量θ的概率密度函数p(θ)和因估计误差而带来的代价函数C(θ，)。假设处理装置对Y进行了n次测量,y＝(y1,y2,…，yn),且已知θ时y的条件联合概率密度为p(y│θ)，则估计量(y)带来的风险为
平均风险为
贝叶斯估计就是使平均风险R()成为最小的估计。可由方程
解出贝叶斯估计量。