最小二乘法

  wys ·  2008-07-09 16:18  ·  56532 次点击
目录
简介
原理
缺陷
简介
1801年,意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。
高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中,而法国科学家勒让德于1806年独立发现“最小二乘法”,但因不为时人所知而默默无闻。两人曾为谁最早创立最小二乘法原理发生争执。
1829年,高斯提供了最小二乘法的优化效果强于其他方法的证明,见高斯-马尔可夫定理。
原理
在我们研究两个变量(x,y)之间的相互关系时,通常可以得到一系列成对的数据(x1,y1、x2,y2...xm,ym);将这些数据描绘在x-y直角坐标系中(如图1),若发现这些点在一条直线附近,可以令这条直线方程如(式1-1)。
Y计=a0+a1X(式1-1)
其中:a0、a1是任意实数
为建立这直线方程就要确定a0和a1,应用《最小二乘法原理》,将实测值Yi与利用(式1-1)计算值(Y计=a0+a1X)的离差(Yi-Y计)的平方和〔∑(Yi-Y计)2〕最小为“优化判据”。
令:φ=∑(Yi-Y计)2(式1-2)
把(式1-1)代入(式1-2)中得:
φ=∑(Yi-a0-a1Xi)2(式1-3)
当∑(Yi-Y计)平方最小时,可用函数φ对a0、a1求偏导数,令这两个偏导数等于零。
(式1-4)
(式1-5)
亦即:
ma0+(∑Xi)a1=∑Yi(式1-6)
(∑Xi)a0+(∑Xi2)a1=∑(Xi,Yi)(式1-7)
得到的两个关于a0、a1为未知数的两个方程组,解这两个方程组得出:
a0=(∑Yi)/m-a1(∑Xi)/m(式1-8)
a1=/(式1-9)
这时把a0、a1代入(式1-1)中,此时的(式1-1)就是我们回归的元线性方程即:数学模型。
在回归过程中,回归的关联式是不可能全部通过每个回归数据点(x1,y1、x2,y2...xm,ym),为了判断关联式的好坏,可借助相关系数“R”,统计量“F”,剩余标准偏差“S”进行判断;“R”越趋近于1越好;“F”的绝对值越大越好;“S”越趋近于0越好。
R=/SQR{}(式1-10)*
在(式1-1)中,m为样本容量,即实验次数;Xi、Yi分别任意一组实验X、Y的数值。
缺陷
最小二乘是一种最基本的辨识方法,但它具有两方面的缺陷:一是当模型噪声是有色噪声时,最小二乘估计不是无偏、一致估计;二是随着数据的增长,将出现所谓的“数据饱和”现象。针对这两个问题,出现了相应的辨识算法,如遗忘因子法、限定记忆法、偏差补偿法、增广最小二乘、广义最小二乘、辅助变量法、二步法及多级最小二乘法等。

0 条回复

暂无讨论,说说你的看法吧!

 回复

你需要  登录  或  注册  后参与讨论!