在自然语言处理（NLP）的广阔天地中，理解单词之间的关联是构建智能应用的关键一步。你是否曾想过，搜索引擎是如何理解你的查询意图的？或者，为什么现在的输入法能够如此精准地预测你想输入的下一个词？这背后的核心逻辑之一，就是对文本序列中“共生关系”的挖掘。
今天，我们将深入探讨一个基础且强大的概念——二元语法。我们将一起学习它是什么，它如何工作，以及最重要的是，如何利用 Python 的 NLTK 库从零开始生成和应用它。无论你是正在构建语言模型，还是试图优化文本分类特征，这篇文章都将为你提供扎实的实战经验。
什么是二元语法（Bigrams）？
简单来说，二元语法是指文本中两个连续元素的序列。虽然它也可以指字符级别的组合，但在大多数 NLP 语境下（以及本文的重点），我们讨论的是单词级别的二元语法。
让我们从数学角度定义它：如果我们有一个单词序列 $W = (w1, w2, …, wn)$，那么二元语法就是由相邻单词组成的集合 $B = \{(wi, w_{i+1}) | 1 \leq i < n\}$。
为什么我们需要关注“两个词”？
在自然语言中，单词的意义往往是由它的上下文决定的。单独的一个词（Unigram，一元语法）虽然包含了信息，但缺乏语境。
例如，
- “苹果”可能指水果，也可能指一家科技公司。
- 如果我们看一元语法，我们无法区分。
- 但如果我们看二元语法：“吃 苹果” vs “苹果 手机”，意思就一目了然了。
二元语法让我们能够捕捉到这种局部的句法和语义结构。它在以下场景中特别有用：
- 预测文本和自动补全功能：当你输入“晚安”时，输入法通常建议“好梦”或“亲爱的”。这就是因为大数据告诉我们，“晚安”后面紧跟“好梦”的概率很高。
- 语音识别系统：声音信号转化为文本时，会有多个候选词。二元语法模型可以帮助系统判断哪种组合更符合人类语言习惯，从而纠正同音错误（比如区分“是一只”和“是知己”）。
- 情感分析与文本分类：某些特定的词对往往带有强烈的情感色彩。比如“不仅不”后面通常接负面词汇，识别这种词对可以极大提高分类器的准确性。
二元语法是如何生成的？
生成二元语法的逻辑在算法上非常直观，类似于一个滑动窗口。让我们以一个经典的句子为例来拆解这个过程：
> 示例句子："You are learning from Experts"
步骤 1：分词
生成二元语法的首要前提是将连续的文本字符串切分成离散的单元。这个过程叫做分词。对于上面的句子，原始文本首先会被拆分成一个单词列表：
[‘You‘, ‘are‘, ‘learning‘, ‘from‘, ‘Experts‘]
注意：在这一步，标点符号的处理至关重要。通常我们会把标点符号当作独立的 token 处理，或者在预处理阶段移除它们，以避免产生像 "Experts." 这样包含标点的无意义二元语法。
步骤 2：滑动窗口配对
一旦我们有了 token 列表，就可以构建二元语法了。想象你有一个宽度为 2 的窗口，从列表的最左侧滑动到最右侧（倒数第二个位置）：
- 窗口位置 1-2：
(\‘You\‘, \‘are\‘)—— 捕捉了主语和系动词的关系。 - 窗口位置 2-3：
(\‘are\‘, \‘learning\‘)—— 构成了现在进行时的核心结构。 - 窗口位置 3-4：
(\‘learning\‘, \‘from\‘)—— 动词与介词的搭配，指明了动作的方向。 - 窗口位置 4-5：
(\‘from\‘, \‘Experts\‘)—— 介词宾语结构，明确了信息的来源。
通过这个过程，我们将原本线性的句子变成了一组紧密相连的特征对。
使用 NLTK 生成二元语法：实战演练
现在，让我们进入最激动人心的部分——编写代码。Python 的 NLTK（Natural Language Toolkit）库提供了极其便捷的工具来帮助我们完成这些任务。
基础示例：快速上手
让我们直接看代码。为了确保你能顺利运行，我们将包含所有必要的步骤，包括下载必要的数据包。
import nltk
# 首次运行需要下载分词数据包 ‘punkt‘，这是 NLTK 的标准分词器
try:
nltk.data.find(‘tokenizers/punkt‘)
except LookupError:
nltk.download(‘punkt‘)
from nltk.tokenize import word_tokenize
from nltk.util import bigrams
# 1. 准备数据
text = "You are learning from Experts"
# 2. 分词
# 我们将文本转换为小写，以统一标准（实践中推荐的做法）
tokens = word_tokenize(text.lower())
print(f"Tokens: {tokens}")
# 3. 生成二元语法
# nltk.util.bigrams 返回的是一个迭代器
bigram_list = list(bigrams(tokens))
# 4. 打印结果
print("
生成的二元语法列表:")
for bigram in bigram_list:
print(bigram)
输出结果：
Tokens: [‘you‘, ‘are‘, ‘learning‘, ‘from‘, ‘experts‘]
生成的二元语法列表:
(‘you‘, ‘are‘)
(‘are‘, ‘learning‘)
(‘learning‘, ‘from‘)
(‘from‘, ‘experts‘)
进阶示例 1：统计二元语法频率
仅仅生成二元语法列表通常是不够的。在实际项目中，我们往往想知道哪些词对出现的频率最高。这可以帮助我们发现文本中的核心短语或搭配。
这里我们需要结合 collections 库来处理数据。
import nltk
import collections
# 确保已下载 punkt
from nltk.tokenize import word_tokenize
from nltk.util import bigrams
# 一段较长的示例文本，用于展示统计能力
text_data = """
Natural language processing (NLP) is a machine learning technology that gives computers
the ability to interpret, manipulate, and comprehend human language.
Organizations today have large volumes of voice and text data from various communication
channels like emails, text messages, social media newsfeeds, video, audio, and more.
They use NLP software to automatically process this data, analyze the intent or sentiment
in the message, and respond in real time to human communication.
"""
# 预处理：分词并过滤掉非字母单词（如括号、标点）
tokens = [word for word in word_tokenize(text_data.lower()) if word.isalnum()]
# 生成二元语法
generated_bigrams = list(bigrams(tokens))
# 统计频率
bigram_freq = collections.Counter(generated_bigrams)
# 打印最常见的 5 个二元语法
print("最常见的 5 个二元语法:")
for bigram, count in bigram_freq.most_common(5):
print(f"{bigram}: {count} 次")
代码解析：
- 我们使用了
word.isalnum()来过滤掉纯标点符号的 token。这在处理真实世界杂乱的文本时是一个非常好的习惯。
n2. collections.Counter 是一个非常有用的工具，它可以自动计算每个元素（这里是元组）出现的次数。
进阶示例 2：处理多行文本与文件
在实际应用中，我们的数据通常存储在文件中或由多个句子组成。如果直接将整个文件视为一个 token 流，可能会产生跨越句号的无意义二元语法（例如第一个句子的最后一个词和第二个句子的第一个词）。
让我们看看如何按句子处理二元语法，这被称为 Sentence-level Bigrams。
import nltk
try:
nltk.data.find(‘tokenizers/punkt‘)
except LookupError:
nltk.download(‘punkt‘)
from nltk.tokenize import sent_tokenize, word_tokenize
from nltk.util import bigrams
# 包含多个句子的文本
text = """Python is great. I love programming. NLTK is a powerful library."""
# 按句子分块
sentences = sent_tokenize(text)
all_bigrams = []
for sentence in sentences:
# 对每个句子单独分词
tokens = word_tokenize(sentence.lower())
# 为当前句子生成二元语法
sentence_bigrams = list(bigrams(tokens))
all_bigrams.extend(sentence_bigrams)
print(f"句子: {sentence}
二元语法: {sentence_bigrams}
")
print("所有句子的二元语法汇总:")
print(all_bigrams)
关键点： 使用 INLINECODEf1affa80 先分割句子，再进行 INLINECODE32e621a1，这样可以保证二元语法不会跨越句子边界，从而生成更符合逻辑的语块。
进阶示例 3：使用 ngrams 构建更灵活的模型
虽然我们今天的主角是二元语法，但在 NLTK 中，INLINECODE20661e55 本质上是 INLINECODE5a4f7ddc 的一个特例。如果你将来需要处理三元语法或四元语法，只需要修改一个参数即可。
from nltk.util import ngrams
tokens = ["the", "quick", "brown", "fox"]
# 生成三元语法
trigrams = list(ngrams(tokens, 3))
print("三元语法:", trigrams)
# 输出: [(‘the‘, ‘quick‘, ‘brown‘), (‘quick‘, ‘brown‘, ‘fox‘)]
常见问题与最佳实践
在使用 NLTK 处理二元语法时，初学者（甚至是有经验的开发者）经常会遇到一些坑。让我们来看看如何解决这些问题。
1. 遇到 LookupError: Resource punkt not found？
这是最常见的问题。NLTK 的分词器并不自带在库的安装文件中，需要你手动下载。
解决方案：
确保在代码开头运行：
import nltk
nltk.download(‘punkt‘)
2. 大文本文件的内存优化
如果你有数 GB 的文本数据，将其一次性读入内存并调用 list(bigrams(tokens)) 可能会导致内存溢出（OOM）。
优化建议：
不要将整个 bigram 迭代器转换为列表。你可以使用循环来逐个处理二元语法，或者使用生成器表达式。此外，考虑对文本进行分批处理。
# 内存友好的处理方式
for bigram in bigrams(tokens):
# 立即处理 bigram，比如写入文件或更新计数器，而不是存储整个列表
process(bigram)
3. 词干提取与词形还原
“Run” 和 “Running” 在生成二元语法时会被视为两个完全不同的词，这会分散统计数据的权重。
最佳实践：
在进行分词之后、生成二元语法之前，建议进行词干提取或词形还原。这样，“run” 和 “running” 都会变成 “run”，从而合并它们的特征。
from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
# 伪代码示例
processed_tokens = [lemmatizer.lemmatize(token) for token in tokens]
二元语法的广泛应用
通过上面的学习，我们已经掌握了核心技能。那么，这些二元语法具体能用来做什么呢？
- 拼写纠错：如果用户输入了 “thd bigram”，系统可能会发现 “the bigram” 是一个极其常见的二元语法，从而建议将 “thd” 替换为 “the”。
- 机器翻译：在将英文翻译成中文时，二元语法有助于确定词序。例如，英文中的 “White House”（二元语法）应该被翻译为专有名词“白宫”，而不是“白色的房子”。
- 情感分析：某些词对具有特定的情感色彩。比如 “not good”（不好）就是一个强负面的二元语法，单独分析 “good” 是无法得出这个结论的。
总结与下一步
在这篇文章中，我们一步步地从理论走向实践。我们理解了二元语法定义了单词的上下文关系，它是连接词义和句法的桥梁。我们掌握了如何使用 NLTK 进行分词、生成列表、统计频率，甚至处理多行文本。
关键要点回顾：
- 二元语法是观察文本序列的有力窗口。
- 始终记得先进行文本清洗（去除标点、统一大小写）以提高数据质量。
- 按句子处理二元语法通常比按整篇文本处理更准确。
- NLTK 的 INLINECODE448f6357 函数虽然简单，但在结合 INLINECODE7b778428 和
Pandas等工具时功能非常强大。
接下来，你可以尝试：
- 尝试下载一本你喜欢的英文小说的纯文本文件，生成并分析其中出现频率最高的 10 个二元语法。
- 探索三元语法，看看它是否能捕捉到更完整的语义（例如 “New York City”）。
- 尝试结合
stopwords（停用词）去除功能，看看过滤掉 “the”, “is”, “a” 等词后，剩下的二元语法是否更具业务价值。
希望这篇指南能帮助你在 NLP 的学习道路上迈出坚实的一步。保持好奇心，继续用代码去探索语言的世界吧！