行业首个具备"高刷"视频领略武艺的多模态模子MiniCPM-V 4.5的本事阐发崇拜发布！

阐发建议挽回的 3D-Resampler 架构罢了高密度视频压缩、面向文档的挽回 OCR 和常识学习范式、可控混杂快速 / 深度念念考的多模态强化学习三大本事。

基于这些重要本事，MiniCPM-V 4.5 在视频领略、图像领略、OCR、文档领悟等多项任务上达到同级 SOTA 水平，不仅以 8B 的参数界限特等 GPT-4o-latest 和 Qwen2.5-VL-72B，更在推理速率上具有显耀上风。

模子如故开源，就广受社区好评，并径直登上 HuggingFace Trending TOP2。

接下来，就和咱们一齐望望阐发里讲了什么。

询查布景

跟着多模态大模子的赶紧发展，其在模子架构、数据工程和教化设施上的崇高老本和效劳瓶颈，正成为其平淡应用和本事迭代的中枢不容。

而在挪动开发和角落诡计场景中，如安在保持出色性能的同期罢了高效推理，给多模态模子询查和应用建议了愈加严峻的挑战。

总的来说，MiniCPM-V 4.5 通过系统性的本事创新攻克三大效劳难题：

针对模子架构：为搞定处理图像与视频时产生的海量视觉 Token，团队吸收了挽回 3D-Resampler 架构，大幅裁汰了视觉编码的 Token 支拨，罢了最高96 倍的压缩率。在 VideoMME 上，团队以比较 Qwen2.5-VL7B 仅46.7%的显存和8.7%的时辰支拨，获取了 30B 以下参数目模子的最优性能。

针对教化数据：为搞定多模态文档处理中对弗成靠外部领悟器具的依赖和 OCR 数据工程遐想难题，团队建议了挽回文档 OCR 与常识学习的新范式，使模子能径直从复短文档图像中学习，显耀裁汰了数据噪声和数据工程复杂度。最终在 OmniDocBench 上取得了通用 MLLM 中的最好阐扬。

针对教化设施：为均衡深度念念考与日常即时使用两种需求，团队使用了混杂强化学习战术。该战术在检朴 30% 教化支拨的同期罢了了精深的念念考武艺，况且推理耗时仅为同规格深度念念考模子的42.9%-68.2%，在快速反映与全面分析间取得了可控均衡。

挽回的 3D-Resampler 架构罢了高密度视频压缩

Takeawys：

时辰 - 空间 挽回聚会压缩可充分挖掘多模态数据的冗余性，罢了更的高视觉压缩率。

挽回的视觉架构可促进感知武艺从图像到视频的无缝挪动。

传统多模态模子在处理视频时面对的中枢挑战是性能与效劳的衡量。

为冲突这一窘境，MiniCPM-V 4.5 引入了创新的3D-Resampler 架构。它不再将视频视为孤独的静态帧序列，而是同期在时空方朝上压缩，愚弄不绝帧间的高度冗余信息，罢了了翻新性的效劳普及。

该架构能将 6 个不绝的视频帧（448 × 448 永诀率）高效压缩为仅 64 个视觉 Token，罢了了惊东说念主的96 倍视觉压缩率，而多数主流模子处理同等数据需破钞 1,536Token。这一遐想让模子在不增多谈话模子诡计老本的前提下，大概感知和处理更多视频帧，且能获取更好的视频领略武艺。

更首要的是，3D-Resampler 罢了了图像与视频处理的挽回编码，确保了常识和武艺的无缝挪动。

一个有劲的线路是，尽管莫得历程颠倒的视频 OCR 数据教化，模子依然展现出精粹的视频 OCR 武艺。

同期，由于挽回的架构遐想和参数分享，从 2D 膨胀至 3D-Resampler 仅需一个轻量化的 SFT 阶段，极地面裁汰了教化老本。

高效常识学习：面向文档的挽回 OCR 和常识学习范式

Takeawys：

对文档图像文本进行不同进度的可见性扰动，即可将常识学习、OCR 武艺高效地挽回到单个学习标的中。

多模态模子在处理文档时，普遍吸收两种孤独的低效设施。

一方面，文档常识学习高度依赖脆弱的外部领悟器具，不仅效劳低下，领悟造作还时常引入噪声，需要无数数据工程进行成就。

另一方面，OCR 武艺学习虽受益于数据增强，但过度的图像扰动又会导致翰墨无法鉴别，反而诱发模子产生幻觉。

关于以上穷困，团队建议一条中枢瞻念察：

文档常识获取和翰墨识别的重要区别，仅在于图像中翰墨的可见度。

基于此，MiniCPM-V 4.5 使用了一种挽回的 OCR 和常识学习范式：对文档图像中的翰墨区域施加不同进度的损坏，愚弄"从损坏图像中重建原文"这一学习标的同期学习两种任务。如下图所示，通过抑制损坏进度，团队创造了三种任务：

渺小损坏 ( 可靠 OCR 教化 ) ：翰墨尚可鉴别，模子专注于学习准确、鲁棒的翰墨识别。

中度损坏 ( 抽象推理 ) ：字符变得拖沓，模子不错联接框内视觉陈迹和凹凸文进行抽象推理和重建原文。

高度损坏 ( 常识学习 ) ：翰墨被绝对抹除，模子被强制依赖凹凸文图表和翰墨以及模子里面常识来重建原文，从而罢了的确的文档级领略。

这一设施透顶开脱了对外部领悟器的依赖，阻绝了其引入的噪声和工程职守。

同期，它智能地将常识学习和 OCR 标的无缝交融在合并教化批次中，极地面普及了数据愚弄率和教化效劳。

团队在轻量教化缔造下对该学习范式进行了消融考证，收尾阐发面向文档的挽回 OCR 和常识学习范式灵验普及了模子在文档领略、常识推理、翰墨识别上的武艺：

高效强化学习：可控混杂快速 / 深度念念考的多模态强化学习

MiniCPM-V 4.5 通过混杂强化学习设施，罢了了快速念念考和深度念念考两种形式的均衡优化。

快速念念考形式面向高频日常使用场景，提供高效的推理体验；深度念念考形式则专注于复杂任务的深远分析。

模子通过一丝高难度、高质料的推理样本进行冷脱手，快速掌捏深度念念考所必需的反念念与回溯武艺。

干涉强化学习阶段，两种形式被同期优化，不仅显耀增强了深度念念考形式的性能，更罢了了两种形式间推理武艺的交叉泛化。模子在检朴约 30% 采样支拨的前提下，仍能达到和仅深念念考强化学习的模子很是的阐扬。

同期，团队引入了 RLPR 与 RLAIF-V 两项本事：

RLPR 搞定了通用域问题的敞开式回应（如谜底表述相对复杂、含物理单元等）难以获取可靠奖励信号的痛点，从模子生成正确谜底的概率中获取奖励信号（probability-based reward, PR）。

跟着教化步数增多，联接 PR 教化比较惯例教化设施的上风会逐渐扩大 .

RLAIF-V 灵验禁锢了模子的幻觉表象，通过一一教化模子输出谜底中事实述说的可靠度并构建偏好数据用于 DPO，普及了多种多模态领略雇务的可靠性。

评测收尾

MiniCPM-V 4.5 在 OpenCompass 抽象评测中取得了 77.0 的平中分。该评测涵盖了 8 个主流多模态基准的综总规划。

尽管仅有 8B 参数界限，模子在视觉谈话武艺上特等了 GPT-4o-latest 等平淡使用的独有模子，以及 Qwen2.5-VL72B 等精深的开源模子，成为 30B 参数以下性能最好的开源多模态大模子。

MiniCPM-V 4.5 在提供 SOTA 级多模态阐扬的同期，具有最好的推理效劳和最低的推理支拨。

在混杂念念考形式下，MiniCPM-V 4.5 在推理耗时仅为同规格深度念念考模子的 42.9%-68.2% 的同期获取了更好的 OpenCompass 分数。

同期，收货于高密度视频压缩本事，在遮掩短、中、长三种类型的视频领略评测集 Video-MME 上，MiniCPM-V 4.5 时辰支拨（未诡计模子抽帧时辰）仅为同级模子的 1/10。

模子实测效果展示

One more thing

四肢 MiniCPM-V 系列的最新效劳，MiniCPM-V 4.5 系统性地从架构、数据和教化三大维度为搞定多模态大模子的效劳瓶颈提供了一条可行旅途。

HuggingFace 大佬示意，仅有 8B 参数的模子也能擅长事实校阅和念念考，确乎值得更多的关心。

四肢清华大学当然谈话处理施行室和面壁智能聚会开发的系列模子，MiniCPM-V 和 MiniCPM-o 系列已经获取了平淡的学术和产业认同。

本事阐发地址：https://github.com/OpenBMB/MiniCPM-V/blob/main/docs/MiniCPM_V_4_5_Technical_Report.pdf

GitHub：https://github.com/OpenBMB/MiniCPM-o

HuggingFace：https://huggingface.co/openbmb/MiniCPM-V-4_5

ModelScope：https://www.modelscope.cn/models/OpenBMB/MiniCPM-V-4_5

一键三连「点赞」「转发」「戒备心」

迎接在驳倒区留住你的方针！

—  完  —

� � 点亮星标 � �

科技前沿进展逐日见开云体育