欢迎来到这篇关于数据处理优化的深度指南！如果你曾经花费数小时清洗数据集，却发现因为重复列导致分析结果不一致，或者仅仅是想优化 DataFrame 的内存占用，那么你来对地方了。
在 Pandas 中处理数据时，重复列的出现往往不是因为错误，而是因为数据合并、SQL 导出或者人为操作失误。无论原因如何，这些冗余列如果不及时处理，就像垃圾代码一样，会让你的模型变得臃肿且难以维护。
在这篇文章中，我们将带你深入探讨如何在 Pandas DataFrame 中精准地查找并删除这些重复列。我们不仅会介绍基础的 API 使用，还会深入底层逻辑，探讨不同场景下的性能优化方案，并分享一些“避坑”指南。让我们开始吧！
为什么我们需要关注重复列？
在正式写代码之前，我们要先明确一个概念：什么是“重复列”？
在 Pandas 的语境下，如果两列具有完全相同的列名（Label）以及完全相同的数据（值），我们通常视它们为重复列。为什么我们需要删除它们？主要有以下几个原因：
- 内存优化：Pandas 默认在内存中加载数据。如果你的 DataFrame 包含数百万行，一个重复的
float64列可能会浪费几十 MB 的内存。 - 分析准确性：当你对 DataFrame 进行聚合或特征工程时，重复列可能会导致权重计算错误。例如，某些线性模型可能会给重复的特征赋予双重权重。
- 代码整洁性：当你使用 INLINECODE08735b89 时，如果存在多个 INLINECODE9bc87b60 列，Pandas 可能会返回一个 DataFrame 而不是 Series，从而在后续操作中引发隐藏的 Bug。
查找 DataFrame 中的重复列
知己知彼，百战不殆。在删除列之前，我们需要先找到它们。虽然 Pandas 没有直接提供一个名为 find_duplicate_columns 的函数，但我们可以编写一个高效的逻辑来实现它。
逻辑剖析
要判断两列是否重复，我们需要遍历 DataFrame 的所有列组合，并使用 equals() 方法进行比对。
这里有一个关键点需要注意：我们只比较列的内容（值），而不比较它们在内存中的对象 ID。例如，即使两列是从不同的数据源合并进来的，只要它们的每一个单元格的值都相等，我们就认为它们是重复的。
手写函数：精准定位重复列
让我们来看一个完整的例子。首先，我们构建一个包含重复列的数据集，然后定义一个函数 getDuplicateColumns 来找出它们。
import pandas as pd
def getDuplicateColumns(df):
"""
获取 DataFrame 中所有重复列的名称列表。
该函数会返回除第一次出现之外的所有重复列的名称。
"""
# 创建一个空集合来存储重复列的名称
# 使用集合是为了避免重复添加相同的列名
duplicateColumnNames = set()
# 遍历 DataFrame 的所有列
# x 代表当前列的索引
for x in range(df.shape[1]):
# 获取索引为 x 的列数据
col = df.iloc[:, x]
# 遍历 x 之后的所有列
# 我们不需要比较 x 之前的列，因为那是已经被比较过的组合
for y in range(x + 1, df.shape[1]):
# 获取索引为 y 的列数据
otherCol = df.iloc[:, y]
# 检查两列是否完全相等
# col.equals() 会检查列名、数据类型以及实际值
if col.equals(otherCol):
# 如果相等，将 y 列的名称加入集合
# 注意：我们保留第一次出现的列（x），标记后续出现的列为重复
duplicateColumnNames.add(df.columns.values[y])
return list(duplicateColumnNames)
# --- 主程序演示 ---
if __name__ == "__main__":
# 创建一个包含学生数据的元组列表
# 注意：这里我们故意构造了 ‘Age‘ 和 ‘Marks‘ 数值相同的情况
# 为了演示，我们将 ‘Marks‘ 列设置为与 ‘Age‘ 完全相同的值
students = [
(‘Ankit‘, 34, ‘Uttar pradesh‘, 34),
(‘Riti‘, 30, ‘Delhi‘, 30),
(‘Aadi‘, 16, ‘Delhi‘, 16),
(‘Riti‘, 30, ‘Delhi‘, 30),
(‘Riti‘, 30, ‘Delhi‘, 30),
(‘Riti‘, 30, ‘Mumbai‘, 30),
(‘Ankita‘, 40, ‘Bihar‘, 40),
(‘Sachin‘, 30, ‘Delhi‘, 30)
]
# 创建 DataFrame 对象
# 列名为：‘Name‘, ‘Age‘, ‘Domicile‘, ‘Marks‘
# 此时 ‘Age‘ 和 ‘Marks‘ 的数据是完全相同的
df = pd.DataFrame(students, columns=[‘Name‘, ‘Age‘,
‘Domicile‘, ‘Marks‘])
print("原始 DataFrame:")
print(df)
print("-" * 30)
# 调用函数获取重复列的列表
duplicateColNames = getDuplicateColumns(df)
print("检测到的重复列名:")
for column in duplicateColNames:
print(‘Column Name : ‘, column)
输出结果：
原始 DataFrame:
Name Age Domicile Marks
0 Ankit 34 Uttar pradesh 34
1 Riti 30 Delhi 30
2 Aadi 16 Delhi 16
3 Riti 30 Delhi 30
4 Riti 30 Delhi 30
5 Riti 30 Mumbai 30
6 Ankita 40 Bihar 40
7 Sachin 30 Delhi 30
------------------------------
检测到的重复列名:
Column Name : Marks
代码解析：
在这个例子中，INLINECODE7a231c8a 列和 INLINECODE805b6e8a 列的数据是完全一致的。我们的函数成功识别出了 INLINECODE314900b0 列是 INLINECODEa6298f41 列的重复副本。这是通过嵌套循环实现的：外层循环锁定第一列，内层循环将其后的每一列与之对比。一旦发现 INLINECODE73ac9ea8 返回 INLINECODE6cf65a7e，我们就将后者记录下来。
从 DataFrame 中删除重复列
找到了重复列之后，接下来就是如何优雅地删除它们。根据实际场景的不同（例如是否保留索引、是否修改原数据），我们有几种不同的策略。
方法一：使用转置大法 df.T.drop_duplicates().T
这是一种非常“Pandas 风格”的技巧，既简洁又强大。它的核心思想是利用 Pandas 成熟的行去重功能来处理列。
原理：
-
.T：将 DataFrame 转置，原来的列变成了行。 -
.drop_duplicates()：删除重复的行（即原来的重复列）。 -
.T：再次转置，恢复原来的行列结构。
df2 = df.T.drop_duplicates().T
print("使用转置方法去重后的 DataFrame:")
print(df2)
输出：
Name Age Domicile
0 Ankit 34 Uttar pradesh
1 Riti 30 Delhi
2 Aadi 16 Delhi
3 Riti 30 Delhi
4 Riti 30 Delhi
5 Riti 30 Mumbai
6 Ankita 40 Bihar
7 Sachin 30 Delhi
注意：这种方法在处理混合数据类型（如既有数字又有字符串）的大规模 DataFrame 时，可能会因为转置操作导致 INLINECODE5d25b959 变成 INLINECODEebcb2d1b，从而轻微影响性能，但在大多数数据清洗场景中，这是最直观的方法。
方法二：使用 df.loc[] 和布尔索引
如果你不想改变数据的顺序，也不想进行转置操作，那么使用布尔索引配合 INLINECODE931323f5 是最直接的方法。这种方法利用了 INLINECODEff66ae11 函数。
df2 = df.loc[:, ~df.columns.duplicated()]
print("使用布尔索引去重后的 DataFrame:")
print(df2)
代码深度解析：
- INLINECODEa5f219bb：返回一个布尔数组。如果列名是第一次出现，对应位置为 INLINECODE9e9ecaa6（不重复）；如果是后续出现，则为
True（重复）。 - INLINECODEa42887ea：这是按位取反运算符。我们将 INLINECODEacc104cb 变成 INLINECODE87c73945，INLINECODE72d671b5 变成
True。因为我们想要保留第一次出现的列，删除后续的列。 -
df.loc[:, ...]：在列轴上应用这个布尔过滤器。
这种方法是“保留第一次出现”的标准做法，它速度快且不涉及数据移动。
方法三：使用 INLINECODE5bf259b0 配合 INLINECODEd03cbe90
有时候，你可能只想删除特定的列，或者希望在删除前打印出哪些列即将被删除。此时，结合我们之前编写的查找函数和 drop 方法会更加灵活。
# 使用 DataFrame.columns.duplicated() 定位重复列的索引
duplicate_cols = df.columns[df.columns.duplicated()]
# 打印即将删除的列
print(f"准备删除以下列: {duplicate_cols.tolist()}")
# 使用 df.drop 方法删除，并修改原 DataFrame
df.drop(columns=duplicate_cols, inplace=True)
print("删除后的 DataFrame:")
print(df)
输出：
准备删除以下列: [‘Marks‘]
删除后的 DataFrame:
Name Age Domicile
0 Ankit 34 Uttar pradesh
1 Riti 30 Delhi
2 Aadi 16 Delhi
3 Riti 30 Delhi
4 Riti 30 Delhi
5 Riti 30 Mumbai
6 Ankita 40 Bihar
7 Sachin 30 Delhi
方法四：结合自定义函数与 df.drop
回到我们最开始编写的 getDuplicateColumns 函数，这其实是处理复杂情况最稳妥的方式。为什么？因为仅仅比较列名（如方法二和三）是不够的。
场景假设：假设有一个 DataFrame，它有两列，列名分别是 INLINECODE30896a4f 和 INLINECODE9e3f7699。列名不同，但里面的数据完全一样。上述基于 columns.duplicated() 的方法将无法识别它们，因为列名不重复。这时，必须依靠值比较。
# 导入 pandas 库
import pandas as pd
# 定义我们的查找函数
def getDuplicateColumns(df):
duplicateColumnNames = set()
for x in range(df.shape[1]):
col = df.iloc[:, x]
for y in range(x + 1, df.shape[1]):
otherCol = df.iloc[:, y]
# 只要数据相等，哪怕列名不同，也会被视为重复
if col.equals(otherCol):
duplicateColumnNames.add(df.columns.values[y])
return list(duplicateColumnNames)
# 创建一个列名不同但数据相同的 DataFrame
data = {
‘ID‘: [10, 20, 30],
‘Identifier‘: [10, 20, 30], # 与 ID 数据相同，但名字不同
‘Value‘: [100, 200, 300]
}
df_complex = pd.DataFrame(data)
print("包含异名重复列的 DataFrame:")
print(df_complex)
# 获取重复列
# 这里会发现 ‘Identifier‘ 与 ‘ID‘ 数据重复
duplicates = getDuplicateColumns(df_complex)
print(f"
检测到数据重复的列: {duplicates}")
# 删除它们
df_complex.drop(columns=duplicates, inplace=True)
print("
清洗后的 DataFrame:")
print(df_complex)
进阶思考与最佳实践
通过上面的学习，我们已经掌握了多种处理重复列的武器。但在实际的生产环境中，你还需要考虑以下几点：
1. 数据类型的一致性
在使用 INLINECODE79070709 时，Pandas 对数据类型非常敏感。如果列 A 是 INLINECODE867356dd，列 B 是 INLINECODEa6b59f78，即使数值都是 10，INLINECODE8e813a81 也会返回 False。这在某些场景下是好事（它帮你发现了类型不匹配的隐患），但在某些场景下可能被视为“重复内容”。
解决方案：如果你希望忽略数据类型的差异，只关注数值，可以比较它们的 numpy 数组视图：
if col.values == otherCol.values:
# 注意：这种比较不处理 NaN，需要更复杂的处理逻辑
pass
2. 性能优化建议
我们编写的 getDuplicateColumns 函数使用了双重循环，其时间复杂度接近 $O(N^2)$（其中 N 是列数）。对于列数较少（几十列）的 DataFrame，这完全没问题。但是，如果你的 DataFrame 有成千上万列（这在基因组学或某些传感器数据中很常见），这个函数可能会运行得很慢。
优化思路：我们可以尝试基于列的哈希值或者内存占用进行分组预筛选，但这通常比较复杂。对于大多数常规任务，利用 Pandas 内置的向量化操作（如转置去重）通常比 Python 循环要快得多，因为 Pandas 的底层是 C 语言实现的。
3. 处理 NaN（空值）
Pandas 中的 INLINECODE8fe69d23 有一个特殊的性质：INLINECODE37353d61。然而，INLINECODEfea821a1 方法在设计时考虑到了这一点，它会将两个全是 INLINECODE88787147 的列视为相等。这是一个非常贴心的设计，确保了清洗逻辑的完整性。但如果你使用纯 Python 的 INLINECODE13ff760e 或 INLINECODEce10516d 的比较，记得要额外处理 NaN 的情况。
总结
在本文中，我们一起探索了 Pandas DataFrame 中重复列的查找与删除策略。从自定义逻辑判断到利用 Pandas 内置的转置技巧，我们覆盖了从简单到复杂的多种场景。
关键要点回顾：
- 查找阶段：使用双重循环配合
equals()方法是最可靠的方式，尤其是当列名不同但数据相同时。 - 删除阶段：
* 简单快速：df.T.drop_duplicates().T。
* 列名去重：df.loc[:, ~df.columns.duplicated()]。
* 精确控制：结合 INLINECODEf8fce319 和 INLINECODEb2b1fabb。
希望这些技巧能帮助你在未来的数据清洗工作中更加游刃有余。下次当你面对杂乱的数据时，记得 Pandas 已经为你提供了足够的工具来让数据变得整洁有序。如果你有任何疑问或想要分享你的数据处理经验，欢迎继续探索！
祝你的数据分析之旅顺畅无阻！