支持向量机（SVM）因其处理二分类任务的高效性而广受认可。然而，现实世界中的问题往往需要我们在两个以上的类别之间进行区分。这就是多分类任务发挥作用的地方。虽然 SVM 本质上是二分类器，但我们可以将其扩展以处理多分类问题。在本文中，我们将探讨使 SVM 适应多分类任务的技术、面临的挑战，以及如何使用 scikit-learn 实现多分类 SVM。
目录
- 理解多分类任务
- SVM 与多分类任务
- SVM 多分类的策略
- 在 Scikit-Learn 中实现多分类 SVM
- 如何选择 OvO 和 OvA
- 多分类 SVM 中的挑战
理解多分类任务
在多分类任务中，我们的目标是将一个实例归类到三个或更多类别中的一个。例如，设想这样一个问题：你需要将一张图片归类为猫、狗或鸟。与只处理两个类别的二分类不同，多分类任务必须处理多种可能的结果。
SVM 与多分类任务
SVM 的设计初衷是通过寻找最佳超平面来最大化类别之间的间距，从而将数据点分离成两个不同的类别。这种二元的特性使得 SVM 非常适合处理二类问题。然而，当类别超过两个时，我们需要对 SVM 进行调整以应对这种额外的复杂性。多分类任务的挑战：
- 在二分类中，SVM 的处理方式非常直接，因为它只需将数据分为两类。
- 然而，多分类涉及更复杂的情况，因为需要考虑的类别超过了两个。挑战在于如何有效地扩展 SVM 的二分类能力，以处理多个类别。
SVM 多分类的策略
在使用支持向量机（SVM）处理多分类任务时，我们通常采用两种主要策略：一对一（OvO） 和 一对其余（OvA）。每种方法都有其独特的方法论和应用场景，使其适合不同类型的分类问题。
1. 一对一（OvO）策略
一对一（OvO）策略涉及为每一对可能的类别创建一个二分类器。当类别数量相对较少时，这种方法特别有优势，因为它允许在成对的类别之间进行集中的比较。每个分类器只负责区分两个特定的类别，并有效地忽略其他类别。
实现方式：
- 训练阶段：
- 对于每一对类别，训练一个二分类 SVM。例如，如果有三个类别（A、B 和 C），OvO 策略将训练针对 (A vs B)、(A vs C) 和 (B vs C) 的分类器。
- 每个分类器仅使用属于其旨在区分的两个类别的数据点进行训练。
- 预测阶段：
- 在预测过程中，每个二分类器会对其训练的两个类别中的一个进行投票。
- 给定实例的最终类别预测由所有分类器的多数投票决定。
- 这种投票机制确保了得票最多的类别被选为最终输出。
2. 一对其余（OvA）策略
一对其余（OvA）策略，也称为 One-vs-Rest，涉及为每个类别训练一个单独的二分类器。在这种方法中，每个类别被视为正类，而所有其他类别被归为一组作为负类。这种方法非常直接，并且随着类别数量的增加呈线性扩展。
实现方式：
- 训练阶段：
- 对于每个类别，训练一个二分类 SVM。对于具有 n 个类别的数据集，这将产生 n 个分类器。
- 每个分类器都被训练来区分其对应的类别与所有其他类别的组合。
- 预测阶段：
- 在预测过程中，每个分类器输出一个分数或概率，指示实例属于其对应类别的可能性。
- 得分最高的类别被选为该实例的预测结果。
在 Scikit-Learn 中实现多分类 SVM
为了在 Python 中使用 SVM 实现多分类，我们可以利用像 Scikit-learn 这样的库，它为 OvO 和 OvA 策略都提供了内置支持。
- 一对一（OvO）实现：
Python
`