面壁智能开源 MiniCPM-V2.6：端侧AI多模态模型再升级8月7日，人工智能公司面壁智能正式开源其最新的端侧AI多模态模型——MiniCPM-V2.6。这款模型仅拥有80亿参数，却在单图、多图、视频理解等方面取得了200亿参数以下的最佳成绩（SOTA）
面壁智能开源 MiniCPM-V2.6：端侧AI多模态模型再升级
8月7日，人工智能公司面壁智能正式开源其最新的端侧AI多模态模型——MiniCPM-V2.6。这款模型仅拥有80亿参数，却在单图、多图、视频理解等方面取得了200亿参数以下的最佳成绩（SOTA）。
MiniCPM-V2.6 的推出，标志着端侧 AI 多模态模型迈向了一个新的阶段。该模型在多个方面实现了突破：
一、功能扩展：
- 实时视频理解： MiniCPM-V2.6 首次实现了在端侧设备上进行实时视频理解，这意味着用户可以在不依赖云端的情况下，实时感知和理解视频内容。
- 多图联合理解： 模型能够同时处理多张图片，并进行联合理解和分析，这在图像搜索、多图场景理解等方面具有重要意义。
- 多图ICL视觉类比学习： MiniCPM-V2.6 能够进行跨图的类比学习，将多张图片的知识进行迁移和共享，这为端侧模型赋予了更强的学习能力。
- 多图OCR： 模型具备识别多张图片中的文本内容的能力，为自动文字识别、信息提取等应用打开了新的可能性。
二、性能突破：
- 高效的像素密度： MiniCPM-V2.6 模型的像素密度比 GPT-4o 高两倍，这意味着在相同的内存占用下，模型能够处理更多的信息，从而提升了运行效率。
- 快速推理速度： 量化后的模型仅需 6GB 内存，端侧推理速度高达每秒 18 个 token，比上代模型快 33%，确保了模型在端侧设备上的快速响应。
- 跨平台支持： 模型支持多种语言和推理框架，使其应用更加广泛，灵活性更高。
三、OCR 能力升级：
- 更强的 OCR 性能： MiniCPM-V2.6 在 OCR 方面延续了其 SOTA 性能水平，并扩展到单图、多图、视频理解等多个场景。
- 统一的高清视觉架构： 模型利用统一的高清视觉架构，将 OCR 能力进行迁移和知识共享，实现了从单图到多图及视频的流畅拓展，显著节省了视觉 token 的数量和资源消耗。
开源开放：
目前，MiniCPM-V2.6 模型已在 GitHub 和 HuggingFace 平台上开源，这意味着开发者可以自由地获取和使用该模型，并在此基础上进行进一步的开发和应用。
MiniCPM-V2.6 的开源，不仅为端侧 AI 多模态模型的发展带来了新的活力，也为开发者提供了更强大、更灵活的工具，推动了 AI 技术在更多场景中的落地应用。
该模型的发布，将进一步推动端侧 AI 的发展，为用户带来更加便捷、智能的体验。随着技术的不断演进，端侧 AI 将在更多领域展现出其独特的优势，为人类社会带来更加积极的影响。
声明：本文内容来源自网络，文字、图片等素材版权属于原作者，平台转载素材出于传递更多信息，文章内容仅供参考与学习，切勿作为商业目的使用。如果侵害了您的合法权益，请您及时与我们联系，我们会在第一时间进行处理！我们尊重版权，也致力于保护版权，站搜网感谢您的分享！(Email:[email protected])
