在现代自然语言处理（NLP）领域，如何有效地将文本转化为模型能够理解的数字，是一个非常基础且关键的问题。你可能遇到过这样的挑战：直接按单词分词会导致词表过于庞大（包含成千上万个罕见词），而按字符分词又会丢失语义信息。为了解决这个矛盾，字节对编码 应运而生。它是一种强大的子词分词算法，广泛应用于 GPT、BERT 等现代大型语言模型中。
在这篇文章中，我们将深入探讨 BPE 的核心原理，通过手动模拟算法的每一步来彻底理解其工作机制，并最终使用 Python 从零开始实现它。无论你是想优化现有的 NLP 预处理流程，还是单纯想弄清楚大模型底层的 Tokenization 是怎么回事，这篇文章都将为你提供详尽的解答和实用的代码。
什么是字节对编码 (BPE)？
简单来说，字节对编码是一种数据压缩算法，后来被引入 NLP 领域作为子词分词技术。它的核心思想非常直观：将最常见的字符或字符对合并为一个新的符号，重复此过程，直到构建出我们想要的词表大小。
这种方法的妙处在于“折中”：它不像单词分词那样受限于固定词表（导致 OOV 问题），也不像字符分词那样产生过长的序列。通过子词，BPE 能够将生僻词（如“unfriendliness”）拆解为已知的部分（如“un-”、“friend-”、“-liness”），从而让模型能够理解从未见过的单词。
BPE 的核心概念解析
在动手写代码之前，我们需要明确几个 BPE 中经常出现的术语，这有助于我们后续的理解：
- 词表：这是我们最终要构建的“字典”。在 BPE 初始阶段，它通常只包含所有的字符。随着算法的进行，我们会不断将高频的“对”合并成新的符号加入词表。
- 语料库：我们要处理的原始文本数据。BPE 是基于统计的，所以语料库的分布决定了哪些子词会被优先合并。
- 频率：这是驱动 BPE 运行的引擎。算法会统计语料库中每个单词出现的次数，以及单词内部相邻字符对出现的频率，优先合并频率最高的那一对。
- 合并：这是 BPE 的基本操作。如果我们发现“e”和“r”经常连在一起出现，我们就定义一个新符号“er”，并在后续处理中用“er”替换“e”+“r”。
BPE 算法工作原理：手动模拟演练
理论总是枯燥的，让我们通过一个具体的例子来一步步拆解 BPE 的执行流程。假设我们有一个非常小的文本语料库，包含以下单词及其频率（为了方便演示，我们暂且忽略标点符号）
- ("hug", 10)
- ("pug", 5)
- ("pun", 12)
- ("bun", 4)
#### 步骤 1：预处理与基础词表构建
首先，我们将语料库中的所有单词拆分为字符序列。为了学习到单词的结尾信息，我们在每个单词的末尾添加一个特殊的结束符，通常用 `INLINECODEf76a6924Vocabulary = {‘b‘, ‘h‘, ‘p‘, ‘u‘, ‘n‘, ‘g‘, ‘‘}INLINECODE3a79d6adVocabulary = {‘b‘, ‘h‘, ‘p‘, ‘u‘, ‘n‘, ‘g‘, ‘‘, ‘un‘}INLINECODEc80b3862["electro", "ence", "phalo", "graph"]INLINECODEdee5e02fnummergesINLINECODEabb36a77`）。这保证了 "h" 和 "u" 的合并是基于单词内部的，而不会把前一个词的尾和后一个词的头连起来。
- 问题：合并顺序不同怎么办？
* 现象：如果两个 pair 的频率完全一样，先合并谁？
* 解决：这通常不影响大局。为了确定性，可以按字符的字母顺序（ASCII 码）作为第二排序键。
总结与展望
在这篇文章中，我们不仅从理论层面理解了 BPE 如何通过统计频率来压缩信息，还通过 Python 代码亲手构建了一个从训练到推理的完整流程。BPE 的巧妙之处在于它用一种极其简单（统计相邻对）却极具表现力（子词组合）的方式，连接了字符和单词之间的鸿沟。
当然，现代工业界的 BPE 实现（如 SentencePiece, tokenizers 库）会比我们这里的示例更复杂，它们使用了更高效的数据结构（如优先队列）来处理海量数据，并且支持“保留词”等高级功能。但掌握了核心原理，理解这些工具就不再是难事。
希望这篇文章能帮助你更自信地面对 NLP 中的预处理挑战。下一步，你可以尝试下载一个真实的 WikiText 数据集，跑一跑我们的代码，看看对于真实英文，BPE 到底会合并出哪些有趣的子词！