【每日一题】简单线性回归模型的推导、sklearn实战

之前学过简单线性回归模型的推导，sklearn实战，尝试从零开始搭建简单线性回归模型工具。

有什么问题可以在下方留言，我会耐心解答。

但是我们遇到的数据并不总是线性的，如果我们也用线性模型来拟合，我们模型的效果会大打折扣。不过不用担心，我们仍然可以使用线性回归来拟合非线性数据，但我们需要先对输入数据进行一些处理。

一、快速了解多项式回归原理

我们先回顾一下简单线性回归的假设：

如果我们通过散点图发现变量y和x之间的关系大致符合二次分布r软件中多元线性回归，那么上述假设不合适，我们可以假设：

我们的残骸：

与简单的线性回归一样，我们的目标是最小化残差平方和：

然后分别取α、β1、β2的偏导数使之为0，就可以得到三个方程，就可以求解了。

这部分推理与简单线性回归的推理部分非常相似。有兴趣的可以直接看我的文章《三步教你掌握从零开始的简单线性回归》。

二、scikit-learn 战斗

那么，我们直接进入scikit-learn的实战部分。我们先放代码和输出，然后再详细讲解：

import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
import matplotlib.pyplot as plt
import seaborn as sns
sns.set()
X_train = [[6], [8], [10], [14], [18]]
y_train = [[7], [9], [13], [17.5], [18]]
X_test = [[6], [8], [11], [16]]
y_test = [[8], [12], [15], [18]]
# 简单线性回归
model = LinearRegression()
model.fit(X_train, y_train)
xx = np.linspace(0, 26, 100)
yy = model.predict(xx.reshape(xx.shape[0], 1))
plt.scatter(x=X_train, y=y_train, color='k')
plt.plot(xx, yy, '-g')
# 多项式回归
quadratic_featurizer = PolynomialFeatures(degree=2)
X_train_quadratic = quadratic_featurizer.fit_transform(X_train)
X_test_quadratic = quadratic_featurizer.fit_transform(X_test)
model2 = LinearRegression()
model2.fit(X_train_quadratic, y_train)
xx2 = quadratic_featurizer.transform(xx[:, np.newaxis])
yy2 = model2.predict(xx2)
plt.plot(xx, yy2, '-r')
print('X_train:\n', X_train)
print('X_train_quadratic:\n', X_train_quadratic)
print('X_test:\n', X_test)
print('X_test_quadratic:\n', X_test_quadratic)
print('简单线性回归R2：', model.score(X_test, y_test))
print('二次回归R2：', model2.score(X_test_quadratic, y_test));

输出是：

X_train:
 [[6], [8], [10], [14], [18]]
X_train_quadratic:
 [[ 1. 6. 36.]
 [ 1. 8. 64.]
 [ 1. 10. 100.]
 [ 1. 14. 196.]
 [ 1. 18. 324.]]
X_test:
 [[6], [8], [11], [16]]
X_test_quadratic:
 [[ 1. 6. 36.]
 [ 1. 8. 64.]
 [ 1. 11. 121.]
 [ 1. 16. 256.]]
简单线性回归R2： 0.809726797707665
二次回归R2： 0.8675443656345073

三、详细步骤

让我们看看我们在每一步都做了什么。

第一步，我们导入了必要的库。

第二步，我们创建了训练集和测试集。

第三步，我们拟合一个简单的线性回归并绘制预测线。

第四步，我们使用 sklearn.preprocessing.PolynomialFeatures 方法从我们的原始特征集生成一个 n*3 数据集，其中第一列对应于常数项 α，相当于 x 的零次方r软件中多元线性回归，所以这个列全为 1；第二列对应主词，所以这一列和我们原来的数据是一致的；第三列对应二次项，所以这一列是我们原始数据的平方。

第四步，我们对 PolynomialFeatures 处理的数据集进行多元线性回归，然后使用训练好的模型预测一条曲线并绘制出来。

第五步，输出数据通俗易懂；输出模型得分用于比较效果。

在这里你可能已经看到了，虽然多项式回归拟合了一条多项式曲线，但其本质仍然是线性回归，但我们对输入特征做了一些调整，将它们的多项数据添加为新特征。其实除了多项式回归，我们还可以用这种方法拟合更多的曲线，只需要对原始特征做不同的处理即可。

你学会了吗？