为什么RAG无法解决生成性AI的幻觉问题
生成式人工智能（AI）的“幻觉”问题，即AI模型生成错误信息的问题，一直是业界关注的焦点。一种名为检索增强生成（Retrieval Augmented Generation，简称RAG）的技术被一些供应商宣传为能够解决这一问题。RAG通过检索与问题相关的文档，然后利用这些文档提供额外的上下文信息来生成答案。然而，TechCrunch的一篇文章指出，尽管RAG在某些场景下确实有用，但它并不能根本解决AI的幻觉问题，并且存在一些被供应商忽略的局限性。
RAG技术由数据科学家Patrick Lewis首创，他在Meta和伦敦大学学院的研究中提出了这一概念。RAG通过关键词搜索检索与问题可能相关的文档，然后让模型在这些文档的上下文中生成答案。这种方法在“知识密集型”场景中效果显著，例如查询去年超级碗的获胜者。但在“推理密集型”任务中，如编程和数学问题，基于关键词的搜索查询很难准确指定所需的概念，也就难以找到相关文档。
此外，模型可能会被文档中的不相关内容“分心”，尤其是在长篇文档中，答案不明显的情况下。或者模型可能出于未知原因，完全忽略检索到的文档内容，而选择依赖其参数记忆中的知识。RAG在硬件成本上也很昂贵，因为检索到的文档需要至少暂时存储在内存中，以便模型能够引用它们。这增加了模型在生成回答前需要处理的上下文的计算量。
尽管RAG存在局限性，但研究者们正在努力改进这一技术，例如训练模型更好地利用检索到的文档，或者在认为不必要时选择不执行检索。还有研究集中在如何更有效地索引大量文档集，以及通过更好的文档表示来改进搜索，这些表示超越了关键词。
总的来说，RAG可以在一定程度上减少模型的幻觉，但它并非解决AI所有幻觉问题的万能钥匙。对于任何声称RAG能够完全解决幻觉问题的供应商，我们都应保持警惕。
