在数据分析和处理的过程中，了解数据的分布情况是至关重要的第一步。无论是在进行数据清洗、探索性数据分析（EDA），还是在为机器学习模型准备特征，我们经常需要面对这样一个基础但核心的问题：“某一列中到底有多少个不重复的值？”
在 Pandas 中，这个问题看似简单，但实际上根据数据规模的大小、内存的限制以及我们对结果的具体需求，有多种不同的解决策略。有些方法追求代码的极致简洁，有些方法则注重执行性能或额外信息的获取。
在这篇文章中，我们将像经验丰富的数据分析师一样，深入探讨几种计算 Pandas DataFrame 列中唯一值数量的主流方法。我们不仅会学习“怎么做”，还会深入理解“为什么这么做”，并结合 2026 年的软件开发理念——如 Vibe Coding 和 云原生数据处理——来探讨如何编写既高效又易于维护的代码。让我们开始探索吧！
准备工作：构建示例数据
为了让我们在同一个频道上交流，首先创建一份标准的示例数据集。我们将模拟一个简单的班级学生体测数据，包含身高、体重和年龄。这样便于我们直观地看到不同操作带来的结果差异。
import pandas as pd
import numpy as np
# 设置随机种子以保证结果可复现，这是工程化代码的基本要求
np.random.seed(42)
# 创建一个包含重复值的 DataFrame
# 模拟数据：Steve 和 Niki 的身高相同，Jane 和 Lucy 的体重信息有重叠等
data = {
‘name‘: [‘Steve‘, ‘Ria‘, ‘Nivi‘, ‘Jane‘, ‘Kate‘, ‘Lucy‘, ‘Ram‘, ‘Niki‘],
‘height‘: [165, 165, 164, 158, 167, 160, 158, 165],
‘weight‘: [63.5, 64, 63.5, 54, 63.5, 62, 64, 64],
‘age‘: [20, 22, 22, 21, 23, 22, 20, 21],
# 新增列：模拟一些脏数据（NaN），这在生产环境中非常常见
‘score‘: [88.5, np.nan, 92.0, 78.0, np.nan, 85.5, 88.5, 90.0]
}
df = pd.DataFrame(data).set_index(‘name‘)
print("--- 原始数据集预览 ---")
print(df)
Output:
height weight age score
name
Steve 165 63.5 20 88.5
Ria 165 64.0 22 NaN
Nivi 164 63.5 22 92.0
Jane 158 54.0 21 78.0
Kate 167 63.5 23 NaN
Lucy 160 62.0 22 85.5
Ram 158 64.0 20 88.5
Niki 165 64.0 21 90.0
在这个数据集中，height 列包含 8 个数据点，但显然有许多是重复的（例如 165cm 出现了三次）。现在，让我们来看看如何统计这些唯一的数值。
—
方法 1：使用 INLINECODEf08c32b3 和 INLINECODE4cec58e5 —— 快速获取唯一值数组
这是获取列中所有唯一值并计算其数量的最直观方法之一。pd.unique() 主要用于获取 Series 中的唯一值数组，去重非常快，因为它基于哈希表实现。
这种方法不仅告诉你“有多少个”，实际上它还在内存中保留了这些唯一值具体是什么。如果你后续还需要用到这些具体的去重数据，这是最佳选择。
#### 代码示例
# 选取 ‘height‘ 列，获取其唯一值数组，并计算长度
unique_heights = pd.unique(df[‘height‘])
count = len(unique_heights)
print(f"身高列中的唯一值有: {unique_heights}")
print(f"唯一值的总数为: {count}")
Output:
身高列中的唯一值有: [165 164 158 167 160]
唯一值的总数为: 5
> 实战见解：
> 注意 INLINECODE52818567 返回的是一个 NumPy 数组，而不是 Pandas Series。这意味着如果你需要进行后续的向量化运算，它非常高效。但在处理包含 INLINECODE04eb9b30 的数据时，INLINECODE14bac195 会将 INLINECODE56cd4dbf 也视为一个“唯一值”，这与某些数据库的 SQL 行为可能不同，需要我们在数据清洗阶段特别注意。
—
方法 2：使用 DataFrame.nunique() —— 最推荐的统计方式
如果你只关心数量，而不关心具体的值是什么，那么 df.nunique() 是最“Pandas 风格”的做法。它既整洁又高效，专门设计用于统计非空观测值的唯一数量。
它的另一个强大之处在于，它可以直接在整个 DataFrame 上运行，一次性返回所有列的统计结果，非常适合数据概览。
#### 代码示例
# 统计所有列的唯一值数量
print("--- 所有列的唯一值计数 ---")
# 默认情况下 dropna=True，即不计算 NaN
print(df.nunique())
print("
--- 仅统计 ‘age‘ 列的唯一值数量 ---")
age_count = df[‘age‘].nunique()
print(f"年龄的唯一种类数量: {age_count}")
# 2026视角：现代数据分析中，显式处理缺失值是关键
print("
--- 包含 NaN 的统计 ---")
print(f"Score列包含NaN的总唯一值数: {df[‘score‘].nunique(dropna=False)}")
Output:
--- 所有列的唯一值计数 ---
height 5
weight 4
age 4
score 5 # 注意：NaN 默认未被计入，实际有3个有效分 + 1个重复分(88.5) = 共5类有效分? 不，88.5重复了。实际有效唯一值为 88.5, 92.0, 78.0, 85.5, 90.0 共5个。
dtype: int64
--- 仅统计 ‘age‘ 列的唯一值数量 ---
年龄的唯一种类数量: 4
--- 包含 NaN 的统计 ---
Score列包含NaN的总唯一值数: 6 # 5个数值 + 1个NaN
> 实战见解：
> INLINECODEda22b22b 默认会排除 INLINECODE1b3a6dd9（空值）。如果你想把空值也作为一个统计维度（例如在分析数据完整性时），可以传递参数 dropna=False。这在处理脏数据时非常实用，也是我们构建鲁棒数据管道的关键一环。
—
方法 3：利用 Series.value_counts() —— 不仅是计数，更是分布分析
value_counts() 是数据分析师的好朋友。它的主要功能是计算每个值出现的频率。因此，这个方法的返回结果不仅仅是一个总数，而包含值及其出现次数的映射。
虽然它的主要用途不是“计数总数”，但我们可以通过计算结果对象的长度来得到唯一值的数量。这种方法特别适合我们在做 Vibe Coding 时快速通过自然语言描述（“给我看最常见的数据”）来生成图表。
#### 代码示例
# value_counts() 返回一个按计数降序排列的 Series
value_counts_series = df[‘weight‘].value_counts()
print("--- 体重的频率分布 ---")
print(value_counts_series)
# 通过计算结果的长度来获取唯一值数量
print(f"
体重数据的唯一值种类: {len(value_counts_series)}")
# 进阶：处理归一化数据，查看比例而非绝对值
print("
--- 体重的频率分布（比例） ---")
print(df[‘weight‘].value_counts(normalize=True))
Output:
--- 体重的频率分布 ---
64.0 3
63.5 3
62.0 1
54.0 1
Name: weight, dtype: int64
体重数据的唯一值种类: 4
--- 体重的频率分布（比例） ---
64.0 0.375
63.5 0.375
62.0 0.125
54.0 0.125
Name: weight, dtype: float64
> 实战见解：
> 这种方法稍微“绕”了一点，因为它需要计算每个值的频率。但在实际分析中，我们通常在查看数据分布时顺手就知道了唯一值的数量。如果你既想看分布（比如哪个值出现最多），又想知道唯一值总数，这是最一箭双雕的方法。
—
方法 4：使用 INLINECODE0a88ce25 与 INLINECODE51539849 —— 显式的数据清洗逻辑
这个方法非常符合逻辑：“如果我们把重复的都扔掉，剩下的不都是唯一的了吗？”
drop_duplicates() 会返回一个删除了重复行（或值）的 Series 或 DataFrame。随后我们简单地对结果进行计数即可。这种方法在编写清晰的数据处理管道 时非常有用，因为它明确地表达了“去重”这一意图。
#### 代码示例
# 先去重，再计数
# 这里我们演示如何保留最后一次出现的值，而不是默认的第一次
unique_series = df[‘height‘].drop_duplicates(keep=‘last‘)
print("--- 去重后的身高 Series ---")
print(unique_series)
print(f"
计数结果: {unique_series.count()}")
Output:
--- 去重后的身高 Series ---
Ria 165 # 保留最后一个 Ria(165)，丢弃了 Steve(165) 和 Niki(165)
Nivi 164
Ram 158 # 保留了 Ram(158)，丢弃了 Jane(158)
Kate 167
Lucy 160
Name: height, dtype: int64
计数结果: 5
> 实战见解：
> 注意这里我们使用了 INLINECODE09c797e4 而不是 INLINECODE5711f3e8。虽然在这个例子中结果一样，但 INLINECODEcca28de2 会自动忽略缺失值，而 INLINECODE6504c668 会计算所有元素。drop_duplicates() 保留了索引（如 Ria, Nivi…），这在某些需要追踪数据来源或保留原始上下文的场景下非常有用。
—
2026 技术视野：当数据规模突破内存瓶颈
作为现代开发者，我们不能假设所有数据都能塞进单机的内存里。当 df 变成数十 GB 甚至 TB 级别时，传统的 Pandas 操作可能会导致 OOM (Out of Memory) 错误。让我们思考一下在这个场景下的应对策略。
#### 方法 5：利用 Polars —— 多线程时代的 Pandas 替代者
在 2026 年，Polars 已经成为了处理大规模数据的首选工具之一。它使用 Rust 编写，利用了 Apache Arrow 的内存模型，天生支持多线程并行处理，且没有 Pandas 那样的索引开销。
如果你发现 df.nunique() 运行太慢，或者内存吃紧，我们强烈建议尝试 Polars。
代码示例：
import polars as pl
# 将 Pandas DataFrame 转换为 Polars DataFrame
# 在实际生产中，你可以直接使用 pl.read_csv() 读取数据，避免中间转换开销
df_pl = pl.DataFrame(df.reset_index())
# Polars 的语法更加简洁且具有链式调用风格
print("--- Polars 统计 ---")
# select 选择列，unique 去重，hstack 计数
unique_count = (
df_pl
.select([pl.col("height").unique().count().alias("unique_height_count")])
.item() # 获取标量值
)
print(f"Polars 计算出的唯一身高数量: {unique_count}")
# Polars 处理大规模聚合的优势
agg_result = df_pl.select([
pl.col("weight").n_unique().alias("n_unique_weights"),
pl.col("age").unique().sort().alias("sorted_unique_ages")
])
print(agg_result)
Output:
--- Polars 统计 ---
Polars 计算出的唯一身高数量: 5
shape: (1, 2)
n_unique_weights: i64 | sorted_unique_ages: list[i64]
4 | [20, 21, 22, 23]
> 为什么选择 Polars？
> 1. 懒执行：Polars 可以先构建查询计划，优化后再执行，避免中间变量的产生。
> 2. 类型稳定性：相比 Pandas，Polars 对数据类型的处理更加严格，减少了潜在的运行时错误。
> 3. 并行化：无需额外代码，它自动利用你 CPU 的所有核心。
#### 方法 6：结合 Vibe Coding 与 AI 辅助开发
在使用 Cursor 或 GitHub Copilot 等 AI 辅助工具时，处理去重问题的上下文非常重要。作为有经验的开发者，我们应当这样利用 AI：
- 精确的 Prompt：不要只说“帮我统计唯一值”。试试说：
* “使用 Polars 库统计 DataFrame 中 ‘category‘ 列的唯一值，并处理可能的空值，要求返回 DataFrame 格式。”
* “对比使用 Pandas 的 INLINECODE5409d8fb 和 SQL 的 INLINECODE3deb7e3c 在执行逻辑上的区别。”
- 让 AI 帮你生成单元测试：
* “针对上面的去重逻辑，生成一个包含边缘情况（如全 NaN 列、空 DataFrame）的 pytest 测试用例。”
- 性能剖析：
* “这段去重代码在 1000万行数据上运行缓慢，请使用 %timeit 魔法命令分析瓶颈，并建议优化方案（例如转换为 Categorical 类型）。”
这种 Agentic AI 的工作流——即让 AI 代理不仅仅是补全代码，而是参与决策和优化——是 2026 年高级开发者的核心竞争力。
性能对比与最佳实践：2026 版指南
既然我们有这么多方法，到底该选哪一个呢？让我们结合数据规模和业务场景来总结。
速度
适用场景 (2026视角)
:—
:—
⚡️⚡️⚡️⚡️⚡️
首选。纯 Pandas 环境下的中小规模数据（<1GB）。代码最简洁，可读性最强。
⚡️⚡️⚡️⚡️
需要获取具体的唯一值数组进行后续绘图或计算时使用。返回 NumPy 数组，生态兼容性好。
⚡️⚡️⚡️
EDA 阶段必备。需要查看每个值的频率分布或寻找长尾数据时使用。
⚡️⚡️⚡️
数据清洗阶段。需要保留去重后的 DataFrame/Series 结构，或者需要根据多列组合去重时。
⚡️⚡️⚡️⚡️⚡️ (极快)
大数据首选。当数据量超过内存或需要极高并发性能时。适合现代数据栈。
⚡️⚡️⚡️⚡️
超大规模数据。当单机无法容纳数据，且不想引入 Spark 这种重量级架构时的轻量级选择。### 总结与建议
在处理 Pandas DataFrame 列的唯一值计数时，我们通常推荐遵循以下决策路径：
- 数据集小且纯粹？ 直接用
df[‘column‘].nunique()。这是最快、最干净的方式。 - 做 EDA 想看分布？ 用
value_counts()，顺便把计数问题解决了。 - 需要清洗数据管道？ 用 INLINECODE856f304e 配合 INLINECODE4ddc208f 等参数，逻辑更清晰。
- 数据大到卡顿？ 立即切换到 Polars 或 Dask。不要试图用 Pandas 暴力硬算 10 亿行数据。
- 代码审查与维护： 无论选哪种，记得在代码注释中说明“为什么这里要处理 NaN”，这会让你的队友（以及未来的你）感激不尽。
希望这篇指南能帮助你更自信地处理数据去重和统计任务！Pandas 的强大之处在于其灵活性，但真正的工程智慧在于在合适的场景下选择合适的工具。结合 AI 辅助开发，我们可以更快地迭代出高性能的数据处理代码。如果你在实际应用中遇到了关于数据清洗的更多问题，欢迎继续深入探索！