深入解析 RAGAS：如何精准评估你的 RAG 系统性能

2026-02-15 13:12:49 0条评论 2次阅读 0人点赞

在构建大语言模型应用时，你是否曾经遇到过这样的困惑：你的检索增强生成（RAG）系统已经上线，但你怎么知道它回答得好不好？单纯靠肉眼去判断成百上千条回复的质量显然是不现实的，而且往往主观且不准确。这正是我们今天要探讨的核心问题——如何量化评估 RAG 系统的性能。

在这篇文章中，我们将深入探讨 RAGAS（Retrieval Augmented Generation Assessment）这一强大的开源评估框架。我们将一起学习它如何超越传统的文本相似度指标，从“答案相关性”到“忠实性”，全方位地对我们的 RAG 流水线进行“体检”。更重要的是，我们将通过一系列实战代码示例，亲手搭建一套完整的自动化评估流程，帮助你识别系统中的性能瓶颈，并针对性地进行优化。无论你是刚开始探索 RAG，还是已经在生产环境中部署了相关应用，这篇文章都将为你提供极具价值的实战经验。

为什么我们需要 RAGAS？

在我们深入代码之前，首先要理解 RAGAS 到底解决了什么痛点。传统的 NLP 评估指标，如 BLEU 或 ROUGE，主要依赖于文本之间的重叠度。这意味着它们只是机械地比较生成的词汇与标准答案有多少是重合的。但在 RAG 系统中，这种评估方式往往失效了。因为 RAG 系统的核心价值在于利用外部知识库生成准确、有依据的回答，而不仅仅是模仿语言模式。

RAGAS 的出现改变了这一局面。它通过利用大语言模型本身作为“裁判”，对生成结果进行更深层次的语义理解。它不仅看你的系统“说了什么”，更关注“依据是什么”以及“是否答非所问”。通过这种方式，RAGAS 能够提供更接近人类判断标准的评分，帮助我们真正做到定量评估系统的质量。

RAGAS 的核心评估维度

RAGAS 框架主要围绕四个关键指标来评估 RAG 系统的表现。在开始编码之前，让我们先详细理解这四个指标的具体含义，这有助于我们在后续的代码演示中正确解读数据。

#### 1. 答案相关性

想象一下，你问系统“苹果公司的创始人是谁？”，系统却回答了一大段关于“苹果手机最新款功能”的介绍。虽然回答本身可能是正确的，但它并没有回答你的问题。答案相关性这个指标就是为了解决这种情况。它衡量的是生成的回复在多大程度上解决了用户的具体查询。低分通常意味着系统产生了幻觉或者偏离了主题。

#### 2. 忠实性

这是评估 RAG 系统最关键的指标之一。它检查系统生成的答案是否能够从检索到的上下文中得到支持。如果系统编造了上下文中不存在的信息，即发生了所谓的“幻觉”，那么忠实性得分会很低。这个指标对于防止误导用户至关重要。

#### 3. 上下文精确度

这个指标主要针对检索器部分。它关注的是检索到的文档中是否包含与查询相关的噪声。例如，用户问“治疗感冒的药物有哪些？”，检索系统返回了关于“感冒症状”、“感冒预防”以及“感冒药物”的三个文档片段。虽然最终答案可能是正确的，但如果检索到的内容包含大量无关信息，上下文精确度就会降低，因为这会干扰 LLM 的判断。

#### 4. 上下文召回率

这个指标评估检索系统是否找到了所有必要的信息来回答问题。在构建数据集时，这通常需要一个“标准真相”作为参照。简单来说，它检查系统是否遗漏了关键信息。如果检索到的信息不足以生成完整的答案，召回率就会偏低。

实战指南：从零搭建 RAGAS 评估系统

理解了核心概念后，让我们通过动手实现来掌握它。我们将一步步完成安装、数据准备、模型初始化以及最终的评估和可视化。

#### 步骤 1：安装与依赖配置

首先，我们需要搭建一个干净的 Python 环境，并安装必要的库。为了保证后续的演示顺利进行，我们不仅需要核心的 ragas 库，还需要 datasets 来处理数据格式，以及 matplotlib 来进行可视化展示。我们还需要配置 OpenAI 的 API，因为 RAGAS 默认使用 GPT 模型作为评判员来计算这些复杂的指标。

打开你的终端或 Jupyter Notebook，运行以下命令：

# 安装必要的库
# -qU 表示静默安装并升级包
!pip install -qU ragas datasets evaluate openai matplotlib pandas

实用见解： 在生产环境中进行评估时，API 调用的成本可能会随着数据量的增加而显著上升。建议在开始大规模评估前，先在小样本数据集上运行一次测试，以估算成本和耗时。

#### 步骤 2：导入必要的库

安装完成后，我们需要将所需的工具引入我们的工作空间。这里我们使用了 pandas 进行数据处理，matplotlib 用于绘图，以及 ragas 核心模块进行评估。

import pandas as pd  # 用于数据分析和处理
import matplotlib.pyplot as plt  # 用于结果可视化
from datasets import Dataset  # Hugging Face 数据集格式
from ragas.metrics import (
    answer_relevancy, 
    faithfulness, 
    context_precision, 
    context_recall
)
from ragas import evaluate  # RAGAS 评估核心函数
from openai import OpenAI  # OpenAI API 客户端

#### 步骤 3：初始化 LLM 客户端

RAGAS 依赖于大语言模型来进行“基于LLM的评估”。这意味着它会将你的问题和答案发送给像 GPT-4 这样的强大模型，并要求它根据特定规则进行打分。因此，我们需要配置好 API Key。请确保你已经在环境变量中设置了 OPENAI_API_KEY，或者直接在代码中替换（注意不要将真实的 Key 提交到代码仓库）。

# 初始化 OpenAI 客户端
# 你可以根据预算选择不同的模型，如 gpt-4o-mini (速度快/成本低) 或 gpt-4o (精度高)
llm = OpenAI(api_key="your_openai_api_key", model="gpt-4o-mini")

#### 步骤 4：准备评估数据集

这是评估流程中最关键的一步。RAGAS 需要一个结构化的数据集，其中必须包含以下字段：

user_input: 用户提出的问题。
retrieved_contexts: 你的 RAG 系统检索到的文档片段（注意：这是一个字符串列表）。
response: 你的 RAG 系统生成的最终答案。
reference (可选但推荐): 人工编写的标准答案，用于计算某些特定指标（如上下文召回率）。

让我们构造一个简单的字典并将其转换为 Hugging Face 的 Dataset 对象。

# 构造模拟数据
# 在实际应用中，你可以从你的生产日志中提取这些数据
data = {
    "user_input": [
        "什么是 LangChain?",
        "谁开发了 ChromaDB?"
    ],
    "retrieved_contexts": [
        # 这里模拟检索器返回的相关文档
        ["LangChain 是一个开源框架，用于开发由大语言模型驱动的应用程序。"],
        ["ChromaDB 是一个向量数据库，由开源嵌入数据库公司 Chroma 开发。"]
    ],
    "response": [
        # 这里模拟 LLM 基于上述上下文生成的答案
        "LangChain 是一个使用 LLM 开发应用程序的框架。",
        "ChromaDB 是由一家名为 Chroma 的开源公司开发的。"
    ],
    "reference": [
        # 人工标注的高质量参考答案
        "LangChain 是一个用于构建基于大语言模型应用的开源框架。",
        "ChromaDB 由 Chroma 团队构建，是一个开源的向量数据库。"
    ]
}

# 将字典转换为 Dataset 对象
# RAGAS 直接接受 Hugging Face Dataset 格式
dataset = Dataset.from_dict(data)

常见错误提示： 很多初学者容易混淆 INLINECODE197c561d 和 INLINECODE37339fa5。INLINECODEdec0a7c1 是你要评估的系统生成的，可能包含错误；而 INLINECODE25cb979f 是绝对正确的标准答案。不要把这两个搞混，否则评估结果将毫无意义。

#### 步骤 5：运行评估流程

现在万事俱备，我们可以调用 RAGAS 的 evaluate 函数了。我们需要将之前定义的四个指标传入，并指定使用我们初始化的 LLM 进行计算。

# 执行评估
# 这个过程可能需要几秒钟，因为需要调用 LLM API 对每一条数据进行打分
results = evaluate(
    dataset=dataset,
    metrics=[
        answer_relevancy, 
        faithfulness, 
        context_precision, 
        context_recall
    ],
    llm=llm
)

#### 步骤 6：解读与显示结果

评估完成后，results 对象中包含了所有的评分信息。为了方便查看，我们通常将其转换为 Pandas DataFrame。

print("
=== RAGAS 评估结果摘要 ===")
print(results)

# 将结果转换为 DataFrame 以便详细分析
df = results.to_pandas()
print("
详细指标分值:
", df)

通过打印出的结果，你可以看到每个样本在各个指标上的得分（通常是 0 到 1 之间，越高越好）。如果发现某一项得分偏低，比如 faithfulness（忠实性）很低，那就说明你的系统可能在“胡编乱造”，你需要调整提示词或者改进检索的质量。

#### 步骤 7：结果可视化与深度分析

数字是冰冷的，图表能帮我们更直观地发现问题。我们将使用 Matplotlib 绘制两种图表：柱状图用于查看整体表现，雷达图用于综合评估系统的均衡性。

a. 综合表现柱状图

我们可以计算所有样本的平均分，然后绘制柱状图，看看哪一方面是系统的短板。

# 假设我们取第一组数据的平均分作为示例（实际应对整体数据求平均）
metrics = {
    "Answer Relevancy": results["answer_relevancy"],
    "Faithfulness": results["faithfulness"],
    "Context Precision": results["context_precision"],
    "Context Recall": results["context_recall"]
}

# 提取数值（如果是单个样本）
metrics_values = [v[0] if isinstance(v, list) else v for v in metrics.values()]
metrics_keys = list(metrics.keys())

plt.figure(figsize=(7, 4))
# 定义一组好看的颜色
plt.bar(metrics_keys, metrics_values, color=["#5DADE2", "#58D68D", "#F5B041", "#AF7AC5"], edgecolor=‘black‘)
plt.title("RAGAS 评估结果摘要", fontsize=14, fontweight=‘bold‘)
plt.ylabel("得分")
plt.ylim(0, 1)  # RAGAS 分数通常在 0-1 之间
plt.show()

b. 性能雷达图

雷达图非常适合展示多维数据，它能让我们一眼看出系统的“能力模型”是否均衡。例如，如果图形偏向一边，说明系统某一方面很强但另一方面很弱。

import numpy as np

# 准备数据
labels = metrics_keys
values = metrics_values
values += values[:1]  # 闭合雷达图
angles = np.linspace(0, 2 * np.pi, len(labels) + 1)

plt.figure(figsize=(5, 5))
ax = plt.subplot(111, polar=True)
# 绘制线条
ax.plot(angles, values, ‘o-‘, linewidth=2, color=‘#58D68D‘)
# 填充颜色
ax.fill(angles, values, alpha=0.25, color=‘#58D68D‘)
ax.set_xticks(angles[:-1])
ax.set_xticklabels(labels)
plt.title("RAG 系统综合能力雷达图", fontsize=12, pad=20)
plt.show()

进阶实战：更多代码示例与最佳实践

为了让你更全面地掌握 RAGAS，我们再来看看几个进阶场景的代码示例。

#### 示例 1：处理批量数据

在实际工作中，你很少只评估两个样本。你可能有一个 CSV 文件包含上千条测试数据。让我们看看如何加载外部数据并进行评估。

import pandas as pd
from datasets import Dataset

# 假设我们有一个名为 ‘test_data.csv‘ 的文件
# 结构: question, context_list, generated_answer, ground_truth
def load_custom_data(csv_path):
    df = pd.read_csv(csv_path)
    
    # 注意：context_list 列如果存储的是字符串形式的列表（如 "[‘a‘, ‘b‘]"），需要转换
    # 这里简单假设已经是列表格式，或者你需要做 eval() 处理
    data_dict = {
        "user_input": df["question"].tolist(),
        "retrieved_contexts": df["context_list"].tolist(), 
        "response": df["generated_answer"].tolist(),
        "reference": df["ground_truth"].tolist()
    }
    return Dataset.from_dict(data_dict)

# 使用示例
# eval_dataset = load_custom_data("my_rag_tests.csv")
# batch_results = evaluate(dataset=eval_dataset, metrics=[...], llm=llm)

性能优化建议： 当数据量很大时（例如超过 500 条），顺序运行会非常慢。我们可以利用 run_config 参数来设置并发数（注意不要超过 API 的速率限制）。

from ragas.run_config import RunConfig

# 设置并发运行（beta 功能）
config = RunConfig(max_workers=5) # 同时运行 5 个线程

# results = evaluate(dataset=large_dataset, metrics=[...], llm=llm, run_config=config)

#### 示例 2：自定义 LLM 配置以降低成本

如果对于每一个指标都调用 GPT-4，成本可能会很高。对于 INLINECODEc39c6c76 和 INLINECODEe9302b9f 这种相对简单的指标，我们可以使用更便宜的模型（如 gpt-3.5 或 gpt-4o-mini），而只对 faithfulness 使用昂贵的模型。

from ragas.llms import LangchainLLMWrapper
from langchain_openai import ChatOpenAI

# 初始化一个便宜的模型
gpt35 = ChatOpenAI(model_name="gpt-3.5-turbo", openai_api_key="...")

# 初始化一个强大的模型
gpt4 = ChatOpenAI(model_name="gpt-4o", openai_api_key="...")

# 将指标与模型绑定
# 注意：这需要直接修改 metric 对象的内部属性，具体取决于 RAGAS 版本
# 最新版 RAGAS 支持在 evaluate 函数中传入包装器，或者通过配置方式

# 这里展示一种通用思路：直接覆盖 metric 的默认模型
context_precision.llm = LangchainLLMWrapper(gpt35) # 简化示意
faithfulness.llm = LangchainLLMWrapper(gpt4)   # 简化示意

总结与后续步骤

通过这篇文章，我们不仅了解了 RAGAS 的核心原理，还从零开始实现了一个完整的自动化评估流程。我们掌握了如何使用 Python 处理数据、调用 API 进行评分，并将枯燥的数字转化为直观的图表。

核心要点回顾：

评估是 RAG 系统开发中不可或缺的一环，不要等到用户投诉才发现问题。
RAGAS 提供了多维度的视角，特别是“忠实性”指标，对于防止幻觉至关重要。
可视化是沟通的桥梁，用图表向团队展示系统的优劣比单纯看 Excel 表格要有效得多。

给你的下一步建议：

你可以尝试从你现有的 RAG 应用中抽取 50 条真实的用户查询和系统回答，利用今天学到的代码进行一次“体检”。看看你的系统在“上下文精确度”和“忠实性”上的表现如何。如果你发现检索部分得分较低，可能需要考虑优化你的向量化模型或调整检索策略（例如混合检索）；如果生成部分得分低，可能需要优化你的提示词工程。

希望这篇指南能帮助你构建出更加健壮、可靠的 RAG 应用。如果你在实践过程中遇到问题，或者想了解更多高级技巧，欢迎随时交流。

投稿给我们	如何建站？
vps是什么？	如何安装宝塔？
如何通过博客赚钱？	便宜wordpress托管方案
免费wordpress主题	这些都是免费方案

豆丁博客