检索增强生成（RAG）系统彻底改变了大型语言模型（LLMs）访问外部知识的方式。然而，传统的 RAG 方法通常依赖扁平的文本分块和基础的向量检索，这往往导致答案碎片化、上下文浅薄，且难以处理复杂的关系。LightRAG 作为一个全新的框架，通过集成基于图结构的文本索引和独特的双层检索范式，解决了这些局限性。它让 LLM 能够生成上下文丰富且高度相关的回答。
LightRAG 的工作原理：工作流程与架构
上面的图表展示了一个使用 RAG（检索增强生成）和实体-关系提取从语料库构建知识图谱的流程。首先，文档语料库被分割成多个分块，并通过去重确保分段的唯一性。随后，系统应用 RAG 技术来生成和分析文本，提取出诸如“养蜂人”和“蜜蜂”等实体。系统会识别这些实体之间的关系（例如，养蜂人观察蜜蜂），并构建一个基于图的索引结构。这个知识图谱实现了高效的信息检索，并能连接相关信息，例如将“养蜂人”（实体）与“蜜蜂”及其在农业中的角色联系起来。这一被称为 LightRAG 的过程，最终形成了一个结构化、可搜索的知识库，极大地增强了信息发现和理解的能力。
1. 文档分割与预处理
- 文档被拆分为更小、易于管理的分块，以便高效处理。
- 我们利用 LLMs 分析每一个分块，从中识别出实体和关系。
2. 实体与关系提取
- 我们从文本中提取出实体（节点）和关系（边），以此作为构建知识图谱的基础。
- LLM 会对每个实体和关系进行剖析，生成用于检索和摘要的键值对。
- 通过去重机制，系统会合并跨文档的相同实体和关系，从而优化图谱的存储和检索效率。
3. 知识图谱构建
- 提取出的实体和关系被编译成一个全面的、经过去重的知识图谱。
- 这种图结构支持多跳推理和上下文保持，从而能够很好地应对具体查询和抽象查询。
4. 双层检索范式
- 底层检索：针对具体的、细粒度的信息（例如“什么是 Mechazilla？”），主要关注单个节点和边。
- 高层检索：聚合更广泛的概念和关系，用于处理抽象或多跳查询（例如“埃隆·马斯克的愿景如何促进可持续发展？”）。
- 对于每一个查询，系统都会同时提取局部（实体特定）和全局（概念性）关键词。检索算法利用向量相似度和图遍历技术，将这些关键词与相关的图节点及子图进行匹配，通常会收集一跳邻居节点以提供更丰富的上下文。
5. 答案生成
- 系统将从两个检索层级获取的信息进行融合，并将其传递给 LLM，由 LLM 生成最终的、上下文丰富的回答。
6. 增量更新机制
- LightRAG 支持对知识图谱进行无缝的增量更新，能够整合新数据而无需重建整个图谱。这使得它对快速变化的信息环境具有极高的响应速度。
技术组件
- 模块化架构：LightRAG 采用模块化设计构建，将存储、处理和检索组件分离开来，以提供灵活性和可扩展性。
- 存储系统：包括用于嵌入向量的向量存储、用于实体摘要的键值存储以及用于存储关系的图存储。
- 模型集成：支持各种 LLMs 和嵌入模型（如 OpenAI, Hugging Face, Ollama），并提供 API 支持和缓存机制以提高效率。
为什么 LightRAG 优于以往的 RAG 和 GraphRAG 方法
- 上下文感知能力：知识图谱结构使 LightRAG 能够理解和综合复杂的关系，避免了传统扁平 RAG 系统中常见的答案碎片化和不连贯的问题。
- 双层检索：通过结合底层（实体特定）和高层（概念性）检索，LightRAG 能够既有深度又有连贯性地回答精确查询和广泛查询。
- 效率与可扩展性：去重、增量更新和高效的图遍历使得 LightRAG 比传统的 GraphRAG 更快、更具可扩展性，后者往往需要昂贵的全图重建。
- 响应质量：与基线 RAG 甚至 GraphRAG 相比，LightRAG 始终能提供更全面、多样且上下文相关的答案，特别是在处理复杂问题时表现尤为出色。