确保数据的质量和可靠性对于做出明智决策和提取有意义的洞察至关重要。然而，数据集通常包含被称为异常值的不规则数据，这些数据会显著影响分析的完整性和准确性。这使得异常检测成为数据分析中的一项关键任务。
在本文中，我们将探索什么是异常值，异常检测如何识别与数据集大部分显著不同的数据点，以及与之相关的技术和挑战。
什么是异常值？
异常值本质上是统计上的异常现象，是数据集中显著偏离其他观察结果的数据点。异常值可能是由于测量误差、自然变异或罕见事件产生的，如果不能得到妥善处理，它们可能会对统计分析和机器学习模型产生不成比例的影响。
示例：如果您拥有以下学生考试分数的数据集：
> [85, 87, 90, 88, 92, 89, 45]
>
> 分数 45 就是一个异常值——它明显低于其他分数。
****注意：****异常值可能是有效的观察结果，也可能是数据录入、测量或处理过程中的错误。
异常值的类型
根据其特征，我们可以将异常值分为多种类型：
!<a href="https://media.geeksforgeeks.org/wp-content/uploads/20250728113900581184/typesofoutliers.webp">typesofoutliers
- 全局异常值：也称为点异常，这些数据点显著不同于数据集中的其余数据。
- 上下文异常值：这些是指在特定上下文中被视为异常的数据点。例如，高温在夏天可能是正常的，但在冬天就是异常值。
- 集体异常值：指显著偏离数据集其余部分的一组数据点，即使该集合内的单个点可能不是异常值。
异常检测是识别显著偏离大多数数据的观察值或数据点的过程。
异常值可能会扭曲统计分析，导致错误的结论和误导性的解释。在计算平均值、中位数或标准差时，异常值可能会施加不成比例的影响，使结果产生偏差并破坏分析的有效性。通过检测并适当处理异常值，我们可以减轻这些异常对统计度量指标的影响，确保从数据中得出的洞察具有代表性和准确性。
检测异常值至关重要，原因如下：
- 提高准确性：删除或准确处理异常值可以提高数据模型的性能和可预测性。
- 欺诈检测：异常值可能是欺诈活动的症状，特别是在金融或交易数据中。
- 数据质量：定期进行异常检测对于保持数据的完整性和质量至关重要，这反过来会影响基于这些数据的决策过程。
- 模型性能：异常值会显著影响统计模型、机器学习算法和其他分析技术的性能。通过适当识别和处理异常值，我们可以提高这些模型的稳健性和准确性。
- 生成洞察：异常值可能代表数据中独特或有趣的现象。识别和分析异常值可以带来有价值的洞察，例如检测新兴趋势、了解罕见事件或发现潜在的机会或威胁。
异常检测的方法
异常检测是数据分析中的一项关键任务，对于确保从数据中得出的结论的质量和可靠性至关重要。不同的技术适用于不同的数据类型和场景，从适用于通用数据集的统计方法到适用于时空数据的专门算法。以下是其中的一些技术：
标准差法
标准差法基于数据服从正态分布的假设。距离平均值三个标准差之外的数据点被视为异常值。
它通常用于单变量数据分析，其中可以假设分布近似为正态分布。
- 步骤 1：计算数据集的平均值和标准差（如果适用）。
- 步骤 2：定义异常值的下限和上限。
- 步骤 3：将超出这些限制的数据点识别为异常值。
示例：数据集：[1, 2, 2, 3, 1, 3, 10]。使用标准差法找出异常值。
> 平均值, μ = \frac{(1+2+2+3+1+3+10) }{7} = \frac{22}{7} ≈ 3.14
>
> 标准差, s \approx \sqrt{\frac{(1-3.14)^2 +