RAG

RAG

简介

  • RAG(Retrieval Augmented Generation, 检索增强生成)是指对大型语言模型输出进行优化,使其能够在生成响应之前引用训练数据来源之外的权威知识库。
  • RAG通过将数据和模型进行绑定, 在LLM 原有的功能基础上扩展特定领域或组织的内部知识库;
  • 无需重新训练模型;

RAG类别

架构

RAG架构

原理

完整的RAG应用流程主要包含两个阶段:

  • 数据准备阶段:数据提取——>文本分割——>向量化(embedding)——>数据入库
  • 应用阶段:用户提问——>数据检索(召回)——>注入Prompt——>LLM生成答案

RAG原理

参考

  1. https://zhuanlan.zhihu.com/p/661526939
  2. 超越ChatGPT和Llama2,新一代检索增强方法Self-RAG来了
  3. RAG原理、综述与论文应用全解析
  4. https://zhuanlan.zhihu.com/p/673465732
updatedupdated2024-11-232024-11-23