程序员用AI问问题，为什么老是答非所问?你可能踩了“幻觉”坑
你是不是也有这种经历：
写代码写得好好的，突然卡壳，打开ChatGPT一问——结果一大段看似专业的解答，却完全答非所问。你反复读几遍，感觉它在“一本正经地胡说八道”。
这不是你问题问得不清楚，而是你撞上了一个大模型的老毛病：AI幻觉。
AI幻觉：一本正经地胡说八道
大语言模型（LLM）本质上是“语言接龙高手”，而不是“知识专家”。它很擅长生成听起来靠谱的句子，但如果你问的问题太专业，或者缺乏上下文支撑，它很可能自说自话、一本正经地胡编答案。
打个比方，它就像是没参加会议却硬要总结发言的实习生——“姿态有了，内容全乱”。
怎么破？别光问问题，得喂它“背景信息”
聪明的程序员很快发现：如果你把问题+相关文档一起扔给AI，答案会靠谱很多。
但新问题也来了：文档一多，它又迷糊了。
有时关键信息就藏在一个角落、某句话，AI要是没找对地方，输出的还是跑偏。
所以，这时候就轮到今天的主角出场了：
RAG（检索增强生成）架构
RAG是啥？一句话：帮AI“只看它该看的那段话”
RAG的思路其实很朴素：
- 不让AI整篇文档都读（太傻）；
- 先用检索系统筛出“跟问题最相关的段落”；
- 再把这些片段跟问题一起交给大模型生成答案。
说白了，就是先找准重点，再让AI动笔。
怎么判断哪些段落相关？靠Embedding！
现在问题来了：怎么知道某段话和问题“语义上很接近”？
这时候，就得靠Embedding模型登场了。
它会把每段文本变成一个“语义指纹”——一个超长的向量，比如1536维、3072维。意思差不多的文本，指纹就很像。
举个例子：
- “老王喜欢吃瓜”和“老王爱吃瓜” → 向量很近
- “我也爱Python” → 离上面两个远很多
这就有点像你朋友圈分组：爱吃瓜的归一类，学Python的归另一类，谁跟谁近，一看向量距离就知道。
实战步骤：你也能做自己的RAG小工具
下面这套流程，任何技术背景的程序员都能上手：
- 切文档：先把大文档拆成若干段（按段落/模块/语义分句）；
- 转向量：用Embedding模型把每段文本变成“语义指纹”；
- 存数据库：把这些向量和原文段落一起存进向量数据库（比如 ChromaDB、Pinecone、pgvector）；
- 智能问答：用户提问 → 问题转向量 → 找出最相近的K个片段 → 拼上问题交给大模型 → 得到靠谱答案。
但RAG也不是万能的，两个坑你得注意
分块太狠，语义断裂
比如一句话“我是大包小包的大怪兽，我爱吃瓜”，被硬拆成两句，“我”和“大怪兽”的关系就丢了。
解决方案：可以提前做指代消解或让大模型辅助切分，保持语义完整。
缺乏全局视野
比如你问：“这篇文档里‘我’出现了几次？”——RAG靠检索的机制，很难完整统计全文。这种场景反而要结合传统NLP方法（词频、正则）更合适。
最后聊点哲学：RAG其实就是我们大脑的“节流阀”
别看RAG听起来高大上，本质上它只是个信息筛选器：
- 有价值的，留下来；
- 不相关的，先放一边；
- 实在没用的，直接丢。
和我们大脑处理琐事的逻辑很像。只是它还在进化，目前还做不到“全知全能”，但对于程序员来说，用好RAG，至少能让AI少胡说八道，多靠谱一点。
总结一句话：
AI再强，也怕你不给重点。用RAG，先筛后问，才能问出真正有用的答案。