最小二乘和岭回归

有一组数据 $(X,Y)$, 我们猜测 $X$ 关于 $Y$ 线性，即，存在一组参数 $\beta$, 使得 $X=Y\beta$. 最小二乘法直接去最小化估计偏差，定义损失函数 $J(\beta) = \Vert{}Y - X\beta\Vert{}2^2$ 从而可以得到 $\beta^*$ 的解析解 $\hat{\beta}{\text{OLS}} = (X^T X)^{-1} X^T Y$

但是如果【】，就会导致【】 最小二乘法适用于特征独立、样本量大于特征数 ($n > p$)的情形，而对于存在多重共线性、特征数多于样本数 ($p > n$) 的情形，应当使用岭回归法。 岭回归（Ridge Regression）是基于最小二乘法（OLS）改进的一种有偏估计方法。它通过在最小二乘法的损失函数中引入 $L_2$ 正则化项（惩罚项），解决了最小二乘法在面对多重共线性（特征间高度相关）或特征数多于样本数时容易过拟合、估计不稳定的问题。 因此引入对于参数的正则化损失 $J(\beta) = \Vert{}Y - X\beta\Vert{}2^2 + \lambda \Vert{}\beta\Vert{}_2^2$ 从而解析解为 $\hat{\beta}{\text{Ridge}} = (X^T X + \lambda I)^{-1} X^T Y$

最小二乘法得到的是参数的无偏估计，岭回归法是有偏的。

• 特例关系：超参数 $\lambda \ge 0$ 控制惩罚力度。当 $\lambda = 0$ 时，岭回归与普通最小二乘法完全等价；当 $\lambda \to \infty$ 时，所有权重系数 $\beta$ 被压缩趋近于 0。
• 解决矩阵不可逆（病态矩阵）问题：在多重共线性严重或特征数多于样本数时，$X^T X$ 的行列式接近 0，导致 $(X^T X)^{-1}$ 无法求解或数值极不稳定。岭回归在对角线上加上 $\lambda I$（形式上如同在主对角线上加了一座“山岭”），确保 $(X^T X + \lambda I)$ 一定可逆且稳定。
• 偏差与方差的权衡（Bias-Variance Tradeoff）：最小二乘法追求参数估计的无偏性，但在数据存在噪声或共线性时方差极大（极易过拟合）。岭回归主动引入微小的偏差，换取参数估计方差的剧烈下降，从而提高模型在未知数据上的泛化能力。