回归分析是机器学习中一种监督学习技术，我们主要通过它来学习输入变量（特征）与输出变量（目标）之间的关系，从而预测连续的数值。它帮助我们理解当一个或多个因素发生变化时，会如何影响一个可衡量的结果。正因为如此，它在预测、风险分析、决策制定和趋势估算等领域得到了广泛的应用。
- 适用于实值输出变量
- 帮助我们识别变量间关系的强度和类型
- 支持从简单到复杂的各种预测模型
- 应用于价格预测、趋势预测和风险评分等任务
回归分析的类型
我们可以根据预测变量的数量以及变量之间关系的性质，将回归分为不同的类型：
1. 简单线性回归
简单线性回归通过拟合一条直线来建立单个自变量与连续因变量之间的关系，这条直线能最大程度地减小误差平方和。它假设变化率是恒定的，这意味着输出会随输入成比例变化。
- 应用： 仅根据房屋面积来估算房价
- 优势： 由于数学结构简单，具有很高的可解释性
- 劣势： 无法捕捉弯曲或复杂的数据模式
2. 多元线性回归
多元线性回归在简单线性回归的基础上进行了扩展，它引入了多个自变量来预测一个连续的结果。每个预测变量都被赋予一个系数，该系数反映了在其他变量保持不变的情况下，该变量对结果的单独影响。
- 应用： 利用面积、地段、房龄和房间数量等多个因素来预测房价
- 优势： 能够同时捕捉多个因素的综合影响
- 劣势： 当存在多重共线性（特征之间高度相关）时，性能会下降
3. 多项式回归
多项式回归通过将输入特征转换为更高阶的多项式项（例如 x², x³）来对非线性关系进行建模。虽然它拟合的是非线性曲线，但在参数方面它仍然属于线性模型。
- 应用： 模拟曲线增长趋势，例如人口增长或温度变化
- 优势： 无需切换到非线性算法，即可有效捕捉非线性关系
- 劣势： 高阶多项式可能导致过拟合和预测不稳定
4. 岭回归和 Lasso 回归
Ridge 和 Lasso 是正则化的线性回归技术，它们通过添加惩罚项来限制系数过大，从而减少过拟合。Ridge 回归（L2 正则化）会平滑地收缩系数，而 Lasso 回归（L1 正则化）则可以将一些系数缩减为零，从而实现特征选择。
- 应用： 用于营销归因或基因表达数据等高维数据集
- 优势： 控制过拟合并提高泛化能力，特别是在有很多预测变量时
- 劣势： 惩罚项使得模型解释不如普通线性回归直观
5. 支持向量回归 (SVR)
支持向量回归 将支持向量机（SVM）的原理应用到回归任务中。它试图在定义的边界（epsilon-tube）内拟合一个函数，并且只有当预测落在这个边界之外时才会对误差进行惩罚。通过核函数，SVR 也可以对非线性关系进行建模。
- 应用： 预测股票价值或能源消耗等连续结果
- 优势： 在处理高维、复杂数据集和非线性模式时表现出色
- 劣势： 计算量大，并且需要对核函数和参数进行仔细的调优
6. 决策树回归
决策树回归 根据特征阈值将数据分割成层级分支。每个内部节点代表一个决策问题，而叶节点代表预测的连续值。它通过递归地划分数据来学习模式，以最小化预测误差。
- 应用： 根据人口统计和财务特征预测客户的消费行为
- 优势： 决策逻辑易于可视化和理解
- 劣势： 容易过拟合，特别是当树变得很深时