RAG实战：搭一个跟你私有文档对话的AI助手

咨询发布

这篇教大家用 RAG 搭一个"跟自己文档对话"的 AI 助手。效果就像 ChatGPT 但它只回答你提供的资料里的内容，不胡说。

一、RAG 是什么
RAG = Retrieval Augmented Generation（检索增强生成）。核心思路：先从你的文档库里搜索相关段落，然后把段落 + 你的问题一起扔给大模型，让它基于检索到的内容回答。这样模型不会编造，回答有据可查。

二、需要什么

• 大模型：DeepSeek-V3 或 Qwen2.5-72B（走 API 就行）
  
• Embedding 模型：bge-m3 或 text-embedding-3-small
  
• 向量数据库：Chroma（本地简单用）或 Milvus（生产环境）
  
• 文档处理：LangChain 或 LlamaIndex
  

三、搭一个最小可用版本

Python 代码（用 LangChain + Chroma）：

1. from langchain_community.document_loaders import TextFileLoader
2. from langchain_text_splitters import RecursiveCharacterTextSplitter
3. from langchain_community.embeddings import HuggingFaceEmbeddings
4. from langchain_community.vectorstores import Chroma
5. from langchain_openai import ChatOpenAI
6. from langchain.chains import RetrievalQA
8. # 1. 加载文档
9. loader = TextFileLoader("my_knowledge.txt")
10. docs = loader.load()
12. # 2. 切块（每块 500 字，重叠 50 字）
13. splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
14. chunks = splitter.split_documents(docs)
16. # 3. 生成 embedding 存入向量库
17. embeddings = HuggingFaceEmbeddings(model_name="BAAI/bge-m3")
18. vectorstore = Chroma.from_documents(chunks, embeddings)
20. # 4. 配置大模型（用 DeepSeek API）
21. llm = ChatOpenAI(
22.     model="deepseek-chat",
23.     api_key="你的key",
24.     base_url="https://api.deepseek.com/v1"
25. )
27. # 5. 组装 RAG 链
28. qa = RetrievalQA.from_chain_type(
29.     llm=llm,
30.     chain_type="stuff",
31.     retriever=vectorstore.as_retriever(search_kwargs={"k": 3})
32. )
34. # 6. 提问
35. answer = qa.invoke({"query": "文档里说了什么？"})
36. print(answer["result"])

复制代码

四、优化要点

• 切块策略：按段落切比按字数切好，保持语义完整。用 RecursiveCharacterTextSplitter 比纯字符切好
  
• 检索数量：k=3 到 5 比较合适。太少漏信息，太多引入噪音
  
• 重排序：检索完后用 reranker 模型重排，把最相关的排前面。BAAI/bge-reranker-v2 效果不错
  
• 引用标注：让模型在回答时标注引用了哪个文档的哪段，方便核对
  

五、常见问题

• 回答不相关 → 检查 embedding 模型是否支持中文，bge-m3 最稳
  
• 回答不全 → 增加 k 值或减小切块大小
  
• 速度太慢 → 用 GPU 跑 embedding，或换更小的 embedding 模型
  
• 多轮对话记不住上下文 → 加 memory 模块，用 ConversationBufferMemory
  

六、Dify 方案（不想写代码）
如果不想写代码，Dify 里直接创建"知识库"应用：上传文档 → 选 embedding 模型 → 绑定 LLM → 完成。全程界面操作，10 分钟搞定。



RAG 的核心价值：让大模型"知道"你的私有数据，不需要微调。部署成本远低于微调，而且数据更新只需要重新索引，不用重新训练。

微光柚子

感谢分享，正卡在这个问题上，你的经验省了我不少时间。

半盏

学到了，我原来一直以为这块很简单，看完发现细节全在流程里。

清和

这个结论我保留意见，至少在我们行业不太成立，可能跟样本有关。

陆离

这个思路和我之前想的差不多，关键是别一次性铺太大，小步试错。

北岛

帖子里那个数字挺关键的，不过不同规模的团队差异会很大，不能直接套。

南山记事

同问，你那边上线之后有没有做过效果复盘？想看看真实数据。

柚子阿澈

我之前也研究过这个方向，最后放弃了，主要是我这边数据量根本不够。

有点困2

我关注的另一个点是稳定性，出问题的时候排查链路比传统方案长不少，得有心理准备。

浅夏笔记

同感。这东西不是不能用，是很多人把它当万能药了，场景不对就是白花钱。