Retrieval-Augmented Generation

RAG 全链路知识地图

以 RAG 为根节点,按「基础原理 → 数据构建 → 在线查询 → 工程保障 → 评估优化」展开。灰色为非当前路径,彩色为正在演示的关键节点与真实流向。
全链路 基础原理 离线数据链路 在线问答链路 工程与评估
未经过 / 非当前路径当前演示路径
贯穿全图的统一案例
统一贯穿案例:客服 + 股票知识助手
系统知识库同时存储客服规则与股票研究资料:客服侧有《会员退款规则》《订单异常处理 SOP》《客服 FAQ》;股票侧有虚构公司“星河科技”的《2026Q2 财报》《业绩说明会纪要》《风险提示公告》。实时股价不放进 RAG,而通过行情 API 查询。
客服知识:规则 / FAQ / SOP 股票知识:财报 / 公告 / 业绩会 实时价格:行情 API,不走 RAG
落地决策与故障排查速查(建议学完主链路后复盘)

1. 先选对能力,不要所有问题都走 RAG

问题类型首选方案
私有、半静态文档事实RAG
余额、库存、股价、订单状态API / SQL
跨文档多跳关系或动态工具编排Graph / Agentic RAG
固定风格、格式或行为Prompt / Fine-tuning

2. 答错时按证据链从前向后查

  1. 原文没有:知识缺口,先补数据或改调用 API。
  2. 原文有、索引无:查解析、Chunk、版本和发布状态。
  3. 索引有、未召回:查 Query、过滤、Dense / BM25 和 TopK。
  4. 已召回、未入 Context:查融合、Rerank、阈值和 Token 预算。
  5. Context 正确、答案错:查 Prompt、引用支持性、数字校验和拒答策略。

3. 上线前的最小生产检查单

  • 质量:有固定评测集,分层记录 Recall@K、NDCG、Faithfulness 和 Citation。
  • 安全:ACL 在召回前生效,外部文档按不可信输入处理。
  • 生命周期:新增、更新、删除、权限撤销能同步到所有索引和缓存。
  • 可观测:一次请求可追踪 Query 改写、候选、排序、Context、引用、延迟和成本。
  • 可回滚:Prompt、Embedding、Reranker 与 Index 都有版本,优化前后做回归对比。
A · 基础原理
B · 数据构建 / 离线索引
C · 在线查询 / 证据使用
D/E · 工程保障 / 评估优化 / 进阶
RAG根节点

检索增强生成

从外部数据获取证据,辅助模型生成可验证答案。

问题检索证据生成
1基础概念

适用边界

Document / Chunk / Embedding / Retriever / Reranker / Citation。

何时用 RAG何时不用
2架构契约

整体架构

统一 doc_id、版本、chunk、source locator、权限与追踪标识。

OfflineOnlineContract
3离线数据

接入 / 解析 / 清洗

PDF、网页、表格、OCR、音视频 → 可追溯的结构化原始内容。

IngestionParsingQA
4知识组织

Chunking

结构切分、语义切分、父子切分;平衡检索聚焦与证据完整。

Parent / ChildMetadata
5索引构建

Embedding & Index

Dense / Sparse / ANN / HNSW / IVF,管理模型与索引版本一致性。

VectorBM25ANN
6在线查询

问题理解与规划

意图、实体、时间、指代、改写、分解,并路由到正确数据能力。

RewriteHyDERouter
7召回融合

Candidate Retrieval

Dense + BM25 + 精确字段,权限过滤后进行去重、RRF 或加权融合。

HybridRRFFilter
8证据筛选

Rerank

Cross-encoder / LLM / 规则联合判断相关性、条件匹配与证据充分性。

Top-NThreshold
9上下文

Context Assembly

父块回溯、邻接扩展、去重、Token 预算、引用映射与安全边界。

ContextCitation Map
10答案输出

Generate & Verify

生成答案,校验格式、引用支持性、数字条件;不足则补检索或拒答。

GroundedQuality Gate
11生产工程

可靠性与治理

知识生命周期、权限、幂等、重试、缓存、可观测、性能与成本。

ACLTraceCost
12评估闭环

Evaluate & Diagnose

Recall@K / NDCG / Faithfulness / Citation / P95 / Cost,按层定位失败。

BenchmarkRegression
13进阶架构

Advanced RAG

Hybrid、层级、多跳、Agentic、Graph、Multimodal、自检纠错,按问题选择。

OptionalAdaptive
诊断主线: 答案是否存在 → 是否正确入库 → 是否被召回 → 是否进入上下文 → 是否被正确使用。