RAG 系统架构

本章将深入介绍 RAG 系统的完整架构，让你从全局视角理解各个组件如何协作。

整体架构

一个生产级 RAG 系统远不止"检索+生成"那么简单。完整的架构如下：

核心组件详解

1. 数据处理层

数据处理层负责将原始文档转化为可检索的向量索引。

关键设计决策：

2. 检索层

检索层是 RAG 系统的核心，直接决定最终回答的质量。

"""
检索层核心逻辑示例
"""
class RetrievalPipeline:
"""检索管道"""
def __init__(self, vector_store, reranker=None):
self.vector_store = vector_store
self.reranker = reranker
def retrieve(self, query: str, top_k: int = 5) -> list[dict]:
"""完整检索流程"""
# Step 1: 查询理解与改写
enhanced_queries = self.query_expansion(query)
# Step 2: 多路召回
candidates = []
for q in enhanced_queries:
# 向量检索
vector_results = self.vector_store.similarity_search(q, k=top_k)
candidates.extend(vector_results)
# 关键词检索（BM25）
keyword_results = self.vector_store.keyword_search(q, k=top_k)
candidates.extend(keyword_results)
# Step 3: 去重
candidates = self.deduplicate(candidates)
# Step 4: 重排序
if self.reranker:
candidates = self.reranker.rerank(query, candidates)
return candidates[:top_k]
def query_expansion(self, query: str) -> list[str]:
"""查询扩展：生成多个等价查询"""
return [
query,
self.rephrase(query),    # 改写
self.decompose(query),   # 分解子问题
]
def deduplicate(self, docs: list[dict]) -> list[dict]:
"""基于内容相似度去重"""
seen = set()
unique = []
for doc in docs:
doc_hash = hash(doc["content"][:100])
if doc_hash not in seen:
seen.add(doc_hash)
unique.append(doc)
return unique

3. 生成层

生成层将检索到的文档转化为高质量的回答。

"""
生成层核心逻辑示例
"""
SYSTEM_PROMPT = """你是一个专业的知识助手。
请根据提供的参考资料回答用户问题。
规则：
1. 只基于参考资料回答，不要编造信息
2. 如果资料不足以回答，诚实说明
3. 在回答中标注引用来源 [1][2]
4. 回答要简洁、准确、有条理"""
def build_prompt(query: str, documents: list[dict]) -> str:
"""构建包含检索结果的 Prompt"""
# 格式化参考资料
references = []
for i, doc in enumerate(documents, 1):
ref = f"[{i}] {doc['title']}\n{doc['content']}"
references.append(ref)
context = "\n\n".join(references)
prompt = f"""## 参考资料
{context}
## 用户问题
{query}
请根据以上参考资料回答用户问题，并标注引用来源编号。"""
return prompt
def generate_with_citations(query: str, documents: list[dict]) -> dict:
"""生成带引用的回答"""
from openai import OpenAI
client = OpenAI()
prompt = build_prompt(query, documents)
response = client.chat.completions.create(
model="gpt-4o-mini",
messages=[
{"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": prompt}
],
temperature=0.3,
)
answer = response.choices[0].message.content
return {
"answer": answer,
"sources": [
{"title": doc["title"], "url": doc.get("url", "")}
for doc in documents
]
}

架构模式

模式一：Naive RAG（基础 RAG）

最简单的 RAG 实现，适合快速原型。

优点：实现简单、快速上线 缺点：检索质量不高、无法处理复杂问题

模式二：Advanced RAG（进阶 RAG）

增加预处理和后处理步骤，显著提升质量。

优点：检索质量高、回答更准确 缺点：延迟增加、实现复杂度高

模式三：Modular RAG（模块化 RAG）

像乐高一样组合不同模块，灵活应对各种场景。

优点：灵活可配置、适应性强 缺点：设计复杂、维护成本高

技术选型指南

向量数据库选型

Embedding 模型选型

本章小结

• RAG 系统由数据处理层、检索层、生成层三个核心层组成
• 根据复杂度可选择 Naive RAG、Advanced RAG 或 Modular RAG 架构
• 向量数据库和 Embedding 模型的选型直接影响系统性能
• 生产级系统需要考虑查询改写、混合检索、重排序等高级组件

下一章：我们将学习如何处理不同格式的文档，这是 RAG 系统的数据基础。