Machine Learning 笔记（三） 多变量线性回归

注：本文内容资源来自 Andrew Ng 在 Coursera上的 Machine Learning 课程，在此向 Andrew Ng 致敬。

一、多特征（Multiple Features）

笔记（二）中所讨论的房价问题，只考虑了房屋尺寸（Size）一个特征，如图所示：

这样只有单一特征的数据，往往难以帮助我们准确的预测房价走势。因此，考虑采集多个特征的数据值，往往能提升预测效果。例如，选取如下 4 个特征作为输入值时的情况：

对一些概念的解释：

• $n$: 特征数量
• $x^{(i)}$: 第 $i$ 个训练样本的输入（所有特征）
• $y$: 输出变量/目标变量
• $x_j{(i)}$: 第 $i$ 个训练样本的第 $j$ 个特征的值

对于多个特征，我们需要更新假设函数，以包含所有的输入特征，对于 4 个特征的假设函数如下：

推而广之，$n$ 个特征的假设函数如下图所示。为了方便，我们定义 $x_1=1$ ，采用列向量来表示参数 $θ$ 和 输入 $X$。

这样，假设函数 $hθ(x)$ 可表示为：

多特征的线性回归问题，被称为 多变量线性回归问题。

二、多变量梯度下降（Gradient Descent for Multiple Variables）

多变量的线性回归问题与单变量类似，由于特征数量从 1 变为 n，所以需要更多的计算。其对比如下：

三、特征规范化（Feature Scaling）

由于现在有多个特征，且各个特征的取值范围有所不同。例如，房屋的尺寸一般在数千左右，然而卧室的个数往往是个位数的，要将他们原封不动地表示在图像中，将会造成大部分的数据都拥挤在一个范围内。极度的不均匀将导致梯度下降速度的减缓，无法进行有效区分。那么，就需要利用特征规范化的方法，将所有特征都限定在一个范围左右。

在上图左就可以看出，由于未进行特征规范化，等值线呈现出扁平化，导致收敛速度较慢。而图右，将房屋尺寸除以 2000，卧室个数除以 5，这样，将两个特征都转化到了 0~1 的范围内，等值线呈现较为均匀的状态，加快了收敛速度

特征规范化

将每一个特征值都转化到同一个特定的范围内（通常选 -1 <= x <= 1）

在特征规范化中，另一个常用的方法是均值标准化（mean normalization）。均值标准化的转化方法如下：

概念：

• μi: 特征 $x_i$ 的均值
• si: 特征 $x_i$ 的范围（最大值-最小值）

例如：在本例中，$x_1$ 和 $x_2$ 的转化如下：

均值标准化

利用特征均值与范围，将特征规范到 -0.5~0.5 的范围内。

四、学习率（Learning Rate）

本节见介绍，如何确认梯度下降正常工作，以及如何选择学习率 α 。

首先，如何确认梯度下降正常工作。我们的目标是最小化 J(θ) ，并希望其在每一轮迭代中都减小，直至最后收敛：

简单的收敛测试方法是：如果 J(θ) 的减小小于一个 ε 值（例如 10-3）是，说明已经收敛。

对于如何选择 α 的问题，在之前的章节已有讲解。如果 α 太小，收敛速度将会很慢，如果 α 太大，J(θ) 可能不会减小，甚至可能最后不收敛。一般情况下 α 通常选择 0.001、0.01、0.1、1 等较小值。

五、特征以及多项式回归（Features and Polynomial Regression）

现在我们了解了多变量线性回归问题。在本节中，我们将讨论特征的选择以及如何用这些特征获得好的学习算法，以及一部分多项式回归问题，它可以使用线性回归的方法来拟合非常复杂的函数，甚至非线性函数。

以预测房价为例。假设你有两个特征，房屋的临街宽度（frontage），以及纵向深度（depth），因而，假设函数如下所示：

当然，我们也可以用其他的方法来表示这个特征，例如此问题中，我们可以创造一个面积特征，它等于宽度与深度的乘积，那么假设函数就可以简化为上图下面所示。

再仔细分析房价问题的训练样本，我们可以粗略地发现，用一条曲线比一条直线效果更好。因此引入多项式回归的概念，以一个多项式假设函数来代替原有的线性函数：

可以看到，如果选择一个二次多项式，可以较好的匹配样本数据，但是当房屋尺寸持续增长时，价格将会呈下降趋势，这与现实是明显不符合的。因而，选择三次多项式可能是一个较好的选择。而且，在此问题中，我们只用了一个特征，即房屋尺寸，却得出了更加复杂的曲线，以带来更加好的效果。

当然，多项式的选择可以是很多种的。我们还可以使用根号函数来作为假设函数，这更加地符合实际情况：

六、正规方程（Normal Equation）

对于某些线性回归问题，使用正规方程来求解参数 θ 的最优值更好。

对于目前我们使用的梯度下降方法，J(θ) 需要经过多次的迭代才能收敛到最小值。

而正规方程方法提供了一种求 θ 的解析解法，即直接进行求解，一步得到最优值。

正规方程法的关键点就是对 J(θ) 进行求导，导数等于0的点极为最低点，以此求得最优的 θ ，如下图所示：

利用矩阵计算，可以方便地表示 θ 的计算过程，

利用 matlab，可以快速地计算 θ 的最优解：

对比梯度下降和正规方程，可以发现其各有优缺点。

梯度下降需要手动的选择学习率 α ，且需要多次迭代才能得到最优解。而正规方程不需要选择学习率，也不需要迭代，可以直接求解。但是， θ 的矩阵表示虽然简单，其内部计算是相当复杂的。当特征数 n 相对较小时，使用正规方程求解相对方便。但是，当 n 很大时，正规方程将花费大量的时间进行矩阵求逆运算，这个时候，选用梯度下降方法更好。