在机器学习的实际应用中，我们经常会遇到这样的情况：数据集中的样本点并不是线性可分的。也就是说，你无法在数据图表上画一条直线来完美地将两类数据区分开。这时候，如果我们坚持使用普通的逻辑回归模型，效果往往会不尽如人意，因为模型的假设过于简单，无法捕捉数据中复杂的结构。
那么，我们该怎么办呢？难道要放弃逻辑回归转而使用更复杂的黑盒模型吗？其实未必。在这篇文章中，我们将深入探讨一种非常经典且强大的技术——带多项式特征的逻辑回归（Logistic Regression with Polynomial Features）。我们将一起探索如何通过将输入特征映射到更高维的空间，使原本线性不可分的数据变得线性可分，从而让逻辑回归模型重获新生。我们不仅要理解背后的数学直觉，还要通过丰富的 Python 代码示例，一步步掌握如何在实战中落地这一技术。
什么是多项式特征？为什么我们需要它？
首先，让我们从直观的角度理解一下为什么普通的逻辑回归在某些情况下会失效。标准的逻辑回归模型本质上是一个线性分类器。它试图寻找一个决策边界，这个边界在二维空间中是一条直线，在三维空间中是一个平面。然而，现实世界的数据往往是非线性的。想象一下，如果数据点分布呈圆形或月牙形，你无论如何也无法用一条直线将它们分开。
这就是多项式特征大显身手的时候了。其核心思想非常简单却又深刻：如果原始特征空间不足以线性区分数据，那么我们可以通过创建原始特征的多项式组合（如平方、交互项等），将特征空间映射到一个更高维的空间。
斯通-魏尔斯特拉斯定理告诉我们，任何连续函数都可以被多项式无限逼近。这意味着，理论上，只要我们选择合适的多项式阶数，我们就可以拟合任何复杂的决策边界。当我们把这些高维特征输入到逻辑回归模型中时，模型在这个高维空间里进行线性分割，映射回原始空间后，就变成了一个非线性的曲线。
多项式特征是如何生成的？
你可能会好奇，具体来说这些新特征是什么样的？假设我们有两个输入特征，$x1$ 和 $x2$。如果我们想要使用 2 阶多项式特征，通过 PolynomialFeatures 转换后，我们不仅仅会保留原始特征，还会生成它们的所有组合，直到指定的阶数。
具体来说，转换后的特征集将包含：
- 原始特征（偏置项）：$1$
- 1 阶项：$x1, x2$
- 2 阶项：$x1^2, x1x2, x2^2$
通过这种方式，原始空间中的简单线性关系被扩展为复杂的非线性关系。这使得逻辑回归模型能够捕捉到特征之间的交互效应和曲线趋势。
当然，这里有一个关键的权衡点：阶数的选择。更高的阶数意味着模型拥有更强的表达能力，但同时也增加了过拟合的风险。如果阶数太高，模型可能会“死记硬背”训练数据中的噪声，导致在测试集上表现糟糕。
在 Scikit-Learn 中的实现基础
在 Python 的 INLINECODE556766dd 库中，这一切变得非常简单。我们通常使用 INLINECODEd5e8a3cf 类来进行特征转换，然后使用 INLINECODE411f4a7f 类来拟合模型。为了使我们的代码更加整洁，避免数据泄露，并简化工作流程，最佳实践是使用 INLINECODEbbb8c065（管道）将这些步骤串联起来。
在接下来的部分中，让我们通过几个实际的代码示例，从最基础的应用到更高级的技巧，一步步掌握这个技术。
#### 示例 1：基础实现与对比
在这个例子中，我们将生成一个环形分布的合成数据集。这种数据显然是线性不可分的。我们将对比普通逻辑回归和带多项式特征的逻辑回归的表现，让你亲眼看到差异。
# 导入必要的库
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_circles
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
# 1. 生成环形合成数据集
# n_samples: 样本数量, factor: 内圆与外圆的距离比例
X, y = make_circles(n_samples=500, noise=0.1, factor=0.5, random_state=42)
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
# 2. 训练普通的逻辑回归模型
# 这是我们用来作为对照的基准模型
log_reg = LogisticRegression()
log_reg.fit(X_train, y_train)
# 预测并计算准确率
y_pred_lr = log_reg.predict(X_test)
acc_lr = accuracy_score(y_test, y_pred_lr)
print(f"普通逻辑回归的准确率: {acc_lr:.2f}") # 结果通常很差，因为它只能画直线
# 3. 使用多项式特征增强逻辑回归
# 我们将 degree 设置为 3，这意味着会生成交互项和立方项
poly = PolynomialFeatures(degree=3)
# 注意：这里我们先转换训练集，再转换测试集
X_train_poly = poly.fit_transform(X_train)
X_test_poly = poly.transform(X_test)
# 在转换后的特征上训练模型
log_reg_poly = LogisticRegression()
log_reg_poly.fit(X_train_poly, y_train)
# 预测并计算准确率
y_pred_poly = log_reg_poly.predict(X_test_poly)
acc_poly = accuracy_score(y_test, y_pred_poly)
print(f"多项式逻辑回归(阶数=3)的准确率: {acc_poly:.2f}")
通过上面的代码，你会发现普通逻辑回归的准确率可能只有 50% 左右（基本上是瞎猜），而添加了多项式特征后，准确率通常能飙升到接近 100%。这就是特征工程的魔力！
#### 示例 2：使用 Pipeline 优化工作流
在刚才的例子中，我们手动地对数据进行了 INLINECODEa1a20d47 和 INLINECODEb482b341。这在处理少量数据时没问题，但一旦步骤变多，就很容易出错（比如忘记标准化）。更重要的是，在进行交叉验证时，手动处理容易导致数据泄露。
让我们来看看如何使用 Pipeline 将特征生成和模型训练封装在一起。这不仅是专业写法，还能让你的代码更加优雅。
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
# 创建一个包含预处理和模型训练的管道
# 步骤1：生成多项式特征
# 步骤2：数据标准化（这对于逻辑回归收敛非常重要）
# 步骤3：逻辑回归模型
pipeline = Pipeline([
(‘poly_features‘, PolynomialFeatures(degree=3)),
(‘scaler‘, StandardScaler()),
(‘log_reg‘, LogisticRegression())
])
# 现在我们可以直接用原始数据来 fit 管道
# Pipeline 会自动处理中间的转换步骤
pipeline.fit(X_train, y_train)
# 同样，预测时也直接使用原始数据
y_pred_pipe = pipeline.predict(X_test)
print(f"使用 Pipeline 的准确率: {accuracy_score(y_test, y_pred_pipe):.2f}")
实用见解：你注意到我加入了 INLINECODE3fb859cd 吗？在使用多项式特征时，这是一个至关重要的建议。因为 $x^2$ 或 $x1x_2$ 这些特征的数量级可能与原始特征相差巨大，这会导致逻辑回归的梯度下降算法收敛困难甚至无法收敛。通过标准化，我们将所有特征缩放到相似的尺度，有助于模型更快、更稳定地找到最优解。
#### 示例 3：可视化决策边界
作为开发者，光看数字是不够的，我们更希望能“看见”模型在做什么。在这个示例中，我们不训练新模型，而是写一段通用的可视化代码，画出决策边界。这能帮助你直观地理解多项式阶数对决策边界形状的影响。
def plot_decision_boundary(model, X, y, title):
# 找到特征的最大最小值，以此确定画布范围
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
# 生成网格点
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.01),
np.arange(y_min, y_max, 0.01))
# 将网格点展平并预测（注意：模型如果是Pipeline，直接传入即可；如果是Poly+Model，需要手动transform）
# 这里为了通用性，假设 model 是一个包含了预处理的 Pipeline
Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
# 绘制等高线图，用颜色区分决策区域
plt.contourf(xx, yy, Z, alpha=0.3, cmap=plt.cm.Paired)
# 绘制原始散点图
plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors=‘k‘, cmap=plt.cm.Paired)
plt.title(title)
plt.xlabel(‘Feature 1‘)
plt.ylabel(‘Feature 2‘)
plt.show()
# 使用上面的函数绘制刚才训练好的 Pipeline 的决策边界
plot_decision_boundary(pipeline, X_test, y_test, "多项式逻辑回归决策边界 (Degree=3)")
当你运行这段代码时，你会看到一个圆形或椭圆形的决策边界，完美地包围了其中一类数据。相比之下，普通逻辑回归的决策边界只能是一条直线，在图中会显得非常“力不从心”。
深入探讨：阶数的选择与模型性能
你可能会问：既然多项式特征这么厉害，为什么不把阶数设得很大，比如 10 或 20？
这是一个非常好的问题，涉及到了机器学习中最重要的权衡——偏差与方差。
- 低阶数（如 Degree = 1, 2）：模型较简单，可能出现欠拟合。这意味着模型无法捕捉数据的结构，就像用一把直尺去画弯路一样。
- 中等阶数（如 Degree = 3, 4）：通常能在非线性拟合和模型泛化能力之间取得良好的平衡。
- 高阶数（如 Degree > 5）：模型变得极其复杂。它不仅会拟合数据中的真实模式，还会极力去拟合每一个噪点。这就是过拟合。过拟合的模型在训练集上表现完美，但在从未见过的测试数据上表现会急剧下降。
#### 实战建议：如何寻找最佳阶数？
在实际工程中，我们通常不会凭感觉猜测阶数。我们可以通过以下两种科学的方法来确定：
- 使用交叉验证：我们可以编写一个循环，尝试不同的阶数（例如从 2 到 10），计算每个阶数下交叉验证的平均得分。得分最高的那个阶数，通常就是最佳选择。
- 绘制学习曲线：观察模型在训练集和验证集上的表现随着训练样本数量的变化趋势。
下面的代码展示了如何使用交叉验证来寻找最佳的多项式阶数。这是一种非常实用的技能，你可以直接应用到你的项目中。
from sklearn.model_selection import cross_val_score
# 设定我们要测试的阶数范围
degrees = [1, 2, 3, 4, 5, 6]
mean_scores = []
# 为了防止干扰，我们重新生成一点稍微复杂点的数据
X_complex, y_complex = make_classification(n_samples=500, n_features=2, n_redundant=0,
n_informative=2, random_state=42,
n_clusters_per_class=1, class_sep=0.5)
# 循环测试每个阶数
for degree in degrees:
# 构建管道
model = Pipeline([
(‘poly‘, PolynomialFeatures(degree=degree)),
(‘scaler‘, StandardScaler()),
(‘log_reg‘, LogisticRegression(max_iter=1000)) # 增加迭代次数以防高维不收敛
])
# 进行 5 折交叉验证
# scoring 默认为准确率
scores = cross_val_score(model, X_complex, y_complex, cv=5, scoring=‘accuracy‘)
# 记录平均得分
mean_score = np.mean(scores)
mean_scores.append(mean_score)
print(f"Degree {degree}: 平均 CV 得分 = {mean_score:.4f}")
# 找出得分最高的阶数
best_degree_index = np.argmax(mean_scores)
print(f"
最佳的多项式阶数是: {degrees[best_degree_index]}")
运行这段代码，你可能会发现随着阶数的增加，准确率先上升后下降。那个“拐点”就是我们要找的黄金位置。
优缺点总结
在结束之前，让我们总结一下这项技术的优缺点，帮助你在实际工作中决定何时使用它。
#### 优点
- 简单直观：它是建立在基础逻辑回归之上的，不需要学习全新的复杂算法。模型依然是可解释的（虽然高阶特征的解释性会变差）。
- 捕捉非线性：能够有效地解决复杂的非线性分类问题，避免了直接使用神经网络等黑盒模型的冲动。
- 理论基础扎实：作为广义线性模型的一种扩展，其统计学性质非常清晰。
#### 缺点
- 特征爆炸：这是最大的痛点。如果你有 10 个原始特征，使用 3 阶多项式可能会生成数百个新特征。这将导致计算量急剧增加，内存消耗变大，训练时间变长。
- 过拟合风险：正如我们之前讨论的，高阶多项式极易过拟合。
- 对异常值敏感：多项式特征（特别是高次幂）会对异常值非常敏感。数据中的一点噪点在经过平方或立方后，可能会变成巨大的离群点，严重干扰模型。
常见问题与解决方案
在应用这项技术时，你可能会遇到以下一些坑，这里提前给你打个预防针：
- 警告： lbfgs failed to converge
* 原因：这通常是因为高阶多项式导致特征数值过大，或者没有进行标准化，导致优化算法无法找到最优解。
* 解决：务必在 Pipeline 中加入 INLINECODE0b54d37f 或 INLINECODEf177ea57。同时，可以尝试增加 INLINECODE6dfe533f 中的 INLINECODE7d0e7e6a 参数（例如设为 1000 或 5000）。
- 过拟合导致测试集得分很低
* 解决：除了降低多项式阶数外，你还可以尝试给逻辑回归模型增加正则化。在 Scikit-Learn 中，你可以调整 INLINECODE4e6e2dce 参数（INLINECODE00d0e5cd 是正则化强度的倒数，INLINECODE69b8c294 越小，正则化越强）。例如：INLINECODEa20c74aa。
结语
在这篇文章中，我们一起探索了带多项式特征的逻辑回归这一强大的工具。我们从理解非线性分类的困境出发，学习了多项式特征的原理，通过多个代码示例掌握了从基础实现到使用 Pipeline 优化的全流程，并深入讨论了如何选择最佳的阶数以及如何解决常见的工程问题。
虽然深度学习现在很火，但像逻辑回归结合多项式特征这样的传统算法依然是我们理解数据、快速建立基准模型的重要手段。特别是当你只有几百甚至几千条数据，且特征数量不多时，这种方法往往能取得惊人的效果。
下一步建议：
- 尝试将这种方法应用到你自己拥有的数据集上，看看是否比普通模型有提升。
- 进一步探索正则化参数 INLINECODE2608fc8a 和 INLINECODEaef15851 对模型性能的影响。
希望这篇文章能帮助你更好地理解和运用这一技术。如果你在实践中有任何新的发现或疑问，欢迎继续探索和交流。祝你编码愉快！