猫眼电影记者 黄文传 报道首次登录送91元红包

大模型最广泛的应用如 ChatGPT、Deepseek、千问、豆包、Gemini 等通常会连接互联网进行检索增强生成（RAG）来产生用户问题的答案。随着多模态大模型（MLLMs）的崛起，大模型的主流技术之一 RAG 迅速向多模态发展，形成多模态检索增强生成（MM-RAG）这个新兴领域。ChatGPT、千问、豆包、Gemini 都开始允许用户提供文字、图片等多种模态的输入。

然而，目前对于 MM-RAG 的应用和研究都还处于非常初级的阶段，现有的 MM-RAG 研究以及综述论文主要聚焦于文本和图像等少数模态组合；音频、视频、代码、表格、知识图谱、3D 对象等多种模态的组合均可用于检索增强生成，却仅有很少的探索和研究。这使得研究者和开发者难以全面把握 MM-RAG 的技术脉络和广阔的应用空间。

来自华中科技大学、复旦大学、中国电信、美国伊利诺伊大学芝加哥分校的研究者们共同发布了一篇全面覆盖几乎所有模态作为输入和输出组合的MM-RAG综述来全面且系统化地阐述这个广阔的研究和应用空间。

论文标题：A Comprehensive Survey on Multimodal RAG: All Combinations of Modalities as Input and OutputTechRxiv: https://doi.org/10.36227/techrxiv.176341513.38473003/v2GitHub 项目主页: https://github.com/INTREBID/Awesome-MM-RAG

该论文的最大亮点在于其前所未有的广度：

它首次覆盖了几乎所有可能使用的模态组合作为输入和输出，包括文本、图像、音频、视频、代码、表格、知识图谱、3D 对象等。

通过这种全面的梳理，作者们首先揭示了 MM-RAG 领域中庞大的潜在输入 - 输出模态组合空间，并指出了其中尚未被充分探索的空白（如表 1 所示）。在作者提出的 54 种潜在组合中，目前只有 18 种组合存在已有研究（表 1 中绿色对勾的格子），许多极具应用价值的组合 —— 例如 “文本 + 视频作为输入，生成视频作为输出”—— 仍是一片亟待开拓的蓝海。

表 1：基于输入 - 输出模态组合的 MM-RAG 分类法

在此基础上，作者们构建了一个基于输入 - 输出模态组合的全新 MM-RAG 分类法，不仅系统性地组织了现有研究，还清晰展示了不同 MM-RAG 系统的核心技术组件（如表 2 所示），为后续研究提供了统一框架和方法参考。

表 2不同输入输出模态下多模态 RAG 的核心技术组件、任务和应用

四大关键阶段剖析 MM-RAG 工作流

基于这个新的分类法，该综述深入分析了MM-RAG系统的工作流程，并将其划分为四个关键阶段（如图 1 所示）：

图 1 MM-RAG 的工作流

a)预检索 (Pre-retrieval)： 数据组织和查询的准备工作。

b)检索 (Retrieval)： 高效准确地从海量多模态知识库中找到相关信息。

c)增强 (Augmentation)： 将检索到的多模态信息有效地融入到大模型中。

d)生成 (Generation)： 根据输入和增强信息生成高质量的多模态输出。

论文详细总结了每个阶段的常用方法，并讨论了对于不同模态针对性的优化策略，为构建高性能的MM-RAG系统提供了实用的技术指导。

一站式指南：

训练、评估与应用前瞻

除了技术流程，该综述还提供了构建 MM-RAG 系统的一站式指南：

训练策略： 讨论了 MM-RAG 系统的训练方法，以最大化其检索和生成能力。评估方法： 总结了现有的MM-RAG 评估指标和 Benchmark，帮助研究者评估系统性能。应用与未来： 探讨了 MM-RAG 在多个领域的潜在应用，并指出了未来的重要研究方向。

作为首个覆盖所有常见输入 - 输出模态组合、并系统化解析了 MM-RAG 的工作流、组件、训练、评估等核心技术的综述，该论文不仅为研究者提供了索引式的知识入口，也为产业应用提供了全面的技术参考。论文作者还提供了持续更新的资源库，方便读者追踪最新进展。

  时事1：捕鱼达人无限金币版

  12月27日,丝路华教发展对接会：共话AI助力华文教育发展,2019年9月，汪争猛的父亲汪绪良做完良性肿瘤手术后，眼睛半失明，去村委会写申请，提交给当地残联办残疾人证。按照相关政策，残疾人可以优先纳入低保，可以享受危房改造补贴、生活和护理补贴等。但不久残联回复，汪绪良家里有营业执照，不符合办证条件。,牛宝体育体育外围。

  12月27日,“链”上湖南 “湘”创未来丨一门戏，六百年 茶陵“守艺人”的传承与破圈,不过，由于投资巨大，目前也有声音从经济性考量，认为修建这一跨海通道还为时尚早。中国科学院院士陆大道曾在《渤海海峡跨海通道建设与区域经济发展研究》一文的序言中指出，“渤海湾的C形交通，只是几何意义上的，而不是真实的空间经济联系，目前渤海轮渡基本能够满足客运和货运需求”。,ag旗下的平台,银河娱乐体育在线,90足球比分网。

  时事2：他们买球用的365叫什么

  12月27日,百件陶瓷代表作一展已故艺术家张闻冰美学创作实践,参加调研的还有新疆维吾尔自治区党委书记马兴瑞，国务委员、国务院秘书长吴政隆。,米乐买球,注册送十元斗地主,真人国际象棋游戏下载手机版。

  12月27日,香港大埔宏福苑援助基金总额达到11亿港元,2013年，早在“一带一路”倡议提出时，对新疆的定位是：丝绸之路经济带上重要的交通枢纽、商贸物流和文化科教中心，打造丝绸之路经济带核心区。对陕西、甘肃、宁夏、青海的定位则为：面向中亚、南亚、西亚国家的通道、商贸物流枢纽、重要产业和人文交流基地。,爱游戏体育下载,biwei体育官网,英亚体育app手机下载。

  时事3：mg游戏送体验金

  12月27日,广东电网输电线路总长10.59万千米 四维度深化大湾区电力合作,新京报讯 5月6日晚，CBA半决赛第三场，广东队主场98比82大胜辽宁队，系列赛大比分2比1反超卫冕冠军。,ag真人国际,新爱体育app下载,bbin游戏娱乐。

  12月27日,又迎丰收！全年粮食生产实现高位增产,那么，为什么是中国？王毅给出两个关键词：中国是“善意”“可靠”的斡旋者。,爱游戏体育在线登陆,新美高梅电脑版,365bet体育在线试玩。

  时事4：世界杯线上买球官网

  12月27日,航拍即将通车的贵州马场河特大桥,路透社最新报道称，耶伦8日对记者表示，加强与中国在经济领域上的沟通交流非常重要。“我仍然希望能够访问中国，与经济领域的同行会面。但我没有任何具体的时间告诉你，我确实认为这取决于国务院和国防部（的决定），”她说。,爱游戏下载安装,亿博体育电竞,澳门维斯尼人官网。

  12月27日,2025年茶产业综合产值将突破万亿元 迈入量质提升新阶段,据宁波市海曙出租汽车服务中心李贵春介绍，截至6月12日下午，已有50余人提交《超过法定退休年龄驾驶员从业资格证延续注册登记表》并参加体检，此次政策调整预计释放约2000名驾驶员资源。,必赢亚洲官方3.0,bt体育平台,fun88体育官网。