加权最小二乘法，数学优化技术

相信各位在使用加权最小二乘法的时候脑壳肯定嗡嗡的吧，毕竟，深受乘法口诀熏陶的我们早已对我们的乘法口诀倒背如流，使用的更是炉火纯青，加权最小二乘法什么的，实在是太low了，呵呵。

一、加权最小二乘法的定义

1、加权最小二乘法是对原模型进行加权，使之成为一个新的不存在异方差性的模型，然后采用普通最小二乘法估计其参数的一种数学优化技术。

2、一般最小二乘法将时间序列中的各项数据的重要性同等看待，而事实上时间序列各项数据对未来的影响作用应是不同的。一般来说，近期数据比起远期数据对未来的影响更大。因此比较合理的方法就是使用加权的方法，对近期数据赋以较大的权数，对远期数据则赋以较小的权数。加权最小二乘法采用指数权数Wn-i，0<W<1，加权以后求得的参数估计值应满足：

以直线模型

为例，其加权的剩余平方和为：

对上式分别求a和b的偏导数，得到标准方程组：

对上述方程解出a和b，就得到加权最小二乘法直线模型。应用加权最小二乘法，W的取值不同，解出的a，b也不同，因此W值取多少，需要经分析后确定。

二、迭代加权最小二乘法

假设用作Ω对角线值倒数的个体方差未知，且不能被轻易估计，但已知它们是结果变量均值的一个函数：

那么，如果结果变量的期望值E[Yi]=μ和关系函数的形式f()是已知的，这就是一个非常直观的估计过程。不幸的是。尽管方差结构与均值函数的相关性非常普遍，但是相对来说，我们不太知道这一相关的确切形式。

这个问题的一个解决方法是迭代地估计权重，在每一轮估计中用均值函数提升估汁。

因此系数估计提供了一个均值估计，反过来也是一样。因此算法用渐进提升的权重来迭代估计这些量。过程如下：

1、为权重设定起始值，一般等于1(也就是没有权重的回归)：1/vi(1)=1，并且构建对角线矩阵Ω，防止以零做除数。

2、以现有的权数用加权最小二乘法估计β。第j个估计是：

3、用新估计的均值向量1/vi(j+1)=VAR(μi)更新权数。

4、重复第二步和第三步直到收敛(也就是足够接近于0)。

在满足指数族分布的一般条件下，迭代加权最小二乘的程序得到似然函数的众数，然后产生未知系数向量的最大似然估计。进一步地．产生的矩阵的方差矩阵按照预期成概率收敛。

因为我们在广义线性模型中确定了一个明确的连接函数，所以多元正态方程的形式可以修改为包括这一嵌入的转化：

很明显，在线性模型的情况下，当连接仅仅是恒等函数时，上述方程就可以简化。对于广义线性模型，IWLS操作的总体策略相当简单：用费歇得分的牛顿--莱福逊算法反复地应用于修正的上述常规方程。对于精辟细致的分析和这一操作的扩展，读者可以参看格林(Green．1984)和德尔皮诺(del Pino，1989)的论述。

三、总结

其实加权最小二乘法是一种数学优化技术，计算的范畴也不是家常的数值，所以就不要拿我们的乘法口诀来与之比较啦。