猫眼电影记者 潘于恭 报道首次登录送91元红包

大模型最广泛的应用如 ChatGPT、Deepseek、千问、豆包、Gemini 等通常会连接互联网进行检索增强生成（RAG）来产生用户问题的答案。随着多模态大模型（MLLMs）的崛起，大模型的主流技术之一 RAG 迅速向多模态发展，形成多模态检索增强生成（MM-RAG）这个新兴领域。ChatGPT、千问、豆包、Gemini 都开始允许用户提供文字、图片等多种模态的输入。

然而，目前对于 MM-RAG 的应用和研究都还处于非常初级的阶段，现有的 MM-RAG 研究以及综述论文主要聚焦于文本和图像等少数模态组合；音频、视频、代码、表格、知识图谱、3D 对象等多种模态的组合均可用于检索增强生成，却仅有很少的探索和研究。这使得研究者和开发者难以全面把握 MM-RAG 的技术脉络和广阔的应用空间。

来自华中科技大学、复旦大学、中国电信、美国伊利诺伊大学芝加哥分校的研究者们共同发布了一篇全面覆盖几乎所有模态作为输入和输出组合的MM-RAG综述来全面且系统化地阐述这个广阔的研究和应用空间。

论文标题：A Comprehensive Survey on Multimodal RAG: All Combinations of Modalities as Input and OutputTechRxiv: https://doi.org/10.36227/techrxiv.176341513.38473003/v2GitHub 项目主页: https://github.com/INTREBID/Awesome-MM-RAG

该论文的最大亮点在于其前所未有的广度：

它首次覆盖了几乎所有可能使用的模态组合作为输入和输出，包括文本、图像、音频、视频、代码、表格、知识图谱、3D 对象等。

通过这种全面的梳理，作者们首先揭示了 MM-RAG 领域中庞大的潜在输入 - 输出模态组合空间，并指出了其中尚未被充分探索的空白（如表 1 所示）。在作者提出的 54 种潜在组合中，目前只有 18 种组合存在已有研究（表 1 中绿色对勾的格子），许多极具应用价值的组合 —— 例如 “文本 + 视频作为输入，生成视频作为输出”—— 仍是一片亟待开拓的蓝海。

表 1：基于输入 - 输出模态组合的 MM-RAG 分类法

在此基础上，作者们构建了一个基于输入 - 输出模态组合的全新 MM-RAG 分类法，不仅系统性地组织了现有研究，还清晰展示了不同 MM-RAG 系统的核心技术组件（如表 2 所示），为后续研究提供了统一框架和方法参考。

表 2不同输入输出模态下多模态 RAG 的核心技术组件、任务和应用

四大关键阶段剖析 MM-RAG 工作流

基于这个新的分类法，该综述深入分析了MM-RAG系统的工作流程，并将其划分为四个关键阶段（如图 1 所示）：

图 1 MM-RAG 的工作流

a)预检索 (Pre-retrieval)： 数据组织和查询的准备工作。

b)检索 (Retrieval)： 高效准确地从海量多模态知识库中找到相关信息。

c)增强 (Augmentation)： 将检索到的多模态信息有效地融入到大模型中。

d)生成 (Generation)： 根据输入和增强信息生成高质量的多模态输出。

论文详细总结了每个阶段的常用方法，并讨论了对于不同模态针对性的优化策略，为构建高性能的MM-RAG系统提供了实用的技术指导。

一站式指南：

训练、评估与应用前瞻

除了技术流程，该综述还提供了构建 MM-RAG 系统的一站式指南：

训练策略： 讨论了 MM-RAG 系统的训练方法，以最大化其检索和生成能力。评估方法： 总结了现有的MM-RAG 评估指标和 Benchmark，帮助研究者评估系统性能。应用与未来： 探讨了 MM-RAG 在多个领域的潜在应用，并指出了未来的重要研究方向。

作为首个覆盖所有常见输入 - 输出模态组合、并系统化解析了 MM-RAG 的工作流、组件、训练、评估等核心技术的综述，该论文不仅为研究者提供了索引式的知识入口，也为产业应用提供了全面的技术参考。论文作者还提供了持续更新的资源库，方便读者追踪最新进展。

  时事1：官方银河国际备用下载

  12月29日,河南新乡：百年非遗面塑迎新年,据西宁市广播电视台4月23日消息，近日，中国工商银行青海省分行人民武装部揭牌仪式在西宁举行，标志着西宁市首个央企基层武装部正式成立。,jx聚星网页版登录。

  12月29日,英国目前积压刑事案件超7.9万件,根据当事人违法行为的事实、性质、情节与社会危害程度，依据《证券法》第一百八十九条的规定，决定对李国杰给予警告，并处以80万元的罚款。,欢乐炸金花游戏,爱游戏app官网登录入口,188体育平台app娱乐。

  时事2：威尼斯人登陆

  12月29日,美国12月消费者信心指数继续下滑,哈萨克斯坦《时代报》不久前发表的文章《哈萨克斯坦与朋友一起前进》写道，哈外交部计划5月与中国签署一份政府间互免签证协定，这不仅将为哈萨克斯坦公民在各个领域的生活开辟更加广阔的前景，而且将进一步加强两国在“一带一路”倡议框架内的合作。,国际炸金花app,澳门电子游戏网址排行,澳门皇冠电玩城下载。

  12月29日,长春健博会吸引中外企业精准对接商贸供需,贺晋强调，实现“稳”的目标，关键在于“苦练内功”，这里的“苦”并非苦苦支撑，而是通过针对性提升核心能力筑牢发展基础。,贝搏体育app,e世博快速登陆,ag手机端。

  时事3：赌博十大平台排行

  12月29日,【学习贯彻党的二十届四中全会精神】面向基层宣讲 推动全会精神深入人心,耿勇也感受到农商行的合作热情。两家农商行个金部愿开通“绿色通道”，让银行高层尽快审核理财产品代销合作协议，推动彼此迅速落实系统对接与产品销售培训。,银河总站登录入口,必发娱乐官网,ag下载。

  12月29日,11月末中国外汇储备达33464亿美元,然而，这场顶豪盛宴并非市场全面复苏的信号。中指研究院深圳分院高级分析师孙红梅在接受界面新闻采访时指出：“年末深圳豪宅市场的火热并非偶然”，而是“土地稀缺性、高净值人群资产配置需求和政策精准调控三重因素共振的结果，并非全面普涨信号。”,365网站开户,澳门皇冠集团app在线下载,数理通天。

  时事4：ayx在线登录

  12月29日,西藏主投主控影片《遥远的普若岗日》全国首映礼在北京举行,此外，互联互通机制成交量持续上升，沪股通、深股通以及债券通的成交量均大幅增加，其中债券通成交量更创下季度新高。中国证监会近期宣布了多项支持香港资本市场发展的举措，包括扩大沪深港通下合资格ETF范围、将房地产投资信托基金纳入沪深港通、支持人民币股票交易柜台纳入港股通、支持内地行业龙头企业来香港上市等，这些举措将进一步提升香港资本市场的吸引力。,天博体育平台登录入口,AG怎么变成九游会了,qy18vip千亿综合体育下载。

  12月29日,长江十年禁渔 长江水生生物资源恢复明显,在储能电池领域，亿纬锂能全球市占率仅次于宁德时代；动力电池领域，亿纬锂能排名国内第五。,365网投,开体育app官网入口,威尼斯棋牌游戏大厅。