Arm与阿里巴巴携手：KleidiAI赋能MNN，实现端侧多模态AI性能飞跃Arm控股有限公司和阿里巴巴淘天集团近日宣布一项重要合作，将Arm Kleidi AI集成到阿里巴巴轻量级深度学习框架MNN中，显著提升了在搭载Arm CPU的移动设备上运行多模态人工智能(AI)工作负载的性能。这项合作的核心在于将阿里巴巴经指令调整的通义千问Qwen2-VL-2B-Instruct模型，通过Arm Kleidi AI优化，使其能够高效地在端侧设备上进行图像理解、文本到图像推理以及跨多种语言的多模态生成
Arm与阿里巴巴携手：KleidiAI赋能MNN，实现端侧多模态AI性能飞跃
Arm控股有限公司和阿里巴巴淘天集团近日宣布一项重要合作，将Arm Kleidi AI集成到阿里巴巴轻量级深度学习框架MNN中，显著提升了在搭载Arm CPU的移动设备上运行多模态人工智能(AI)工作负载的性能。这项合作的核心在于将阿里巴巴经指令调整的通义千问Qwen2-VL-2B-Instruct模型，通过Arm Kleidi AI优化，使其能够高效地在端侧设备上进行图像理解、文本到图像推理以及跨多种语言的多模态生成。
这一合作的成果在2025年世界移动通信大会(MWC2025)上进行了展示，演示了该模型在搭载联发科天玑9400移动系统芯片(SoC)的智能手机上，如何理解视觉和文本输入的多种组合，并对图像内容进行精准提炼和说明。此次演示生动地展现了端侧多模态AI技术的强大潜力，以及Arm Kleidi AI在优化模型性能方面的卓越效果。
Arm终端事业部产品管理高级总监Stefan Rosinger表示：“我们正处于AI革命的浪潮之中，多模态AI模型的兴起尤为显著。这些模型能够处理和理解文本、图像、音频、视频及传感器数据等多种数据类型。然而，在端侧设备上部署这些先进的多模态模型面临着巨大的挑战，主要源于硬件的电力限制、内存约束以及处理多种数据类型带来的复杂性。”
正是为了解决这些挑战，Arm Kleidi AI应运而生。它是一款轻量级且高性能的开源Arm例程，专为AI加速而设计。Kleidi AI已集成到最新版本的主流端侧AI框架中，包括ExecuTorch、Llama.cpp、LiteRT（通过XNNPACK）和MediaPipe，这使得数百万开发者无需额外操作即可自动获得AI性能的显著提升。 这项技术能够为运行在Arm CPU上的所有AI推理工作负载提供无缝的性能优化，极大地降低了开发门槛，并提升了开发效率。
通过将Kleidi AI与MNN集成，Arm和MNN团队对Qwen2-VL-2B-Instruct模型进行了性能测试。测试结果显示，在端侧关键AI多模态应用场景中，模型的运行和响应速度均得到了显著提升。这对于阿里巴巴旗下众多以客户为中心的应用程序来说，无疑带来了更加出色的用户体验。
具体来说，性能提升主要体现在两个方面：模型预填充性能提升了57%，解码性能提升了28%。模型预填充是指AI模型在生成响应之前先对提示词输入进行处理的过程，而解码则是指处理提示词后从AI模型生成文本的过程。这两个关键步骤的性能提升直接导致了最终用户体验的显著改善，响应速度更快，用户交互更流畅。
此外，Kleidi AI集成还可以通过降低多模态工作负载的总体计算成本，进一步促进端侧设备上AI工作负载的高效处理。这对于延长设备续航时间，提升用户体验至关重要。 在资源受限的移动设备上，高效的计算资源利用率是至关重要的，而Kleidi AI的集成恰好解决了这个问题。
此次Arm与阿里巴巴的合作，不仅带来了技术上的突破，也为广大开发者带来了实实在在的益处。数百万使用包括MNN框架在内的热门AI框架运行应用程序与工作负载的开发者，都可以在针对边缘侧设备的应用和工作负载中享受到这些性能和效率的提升。 这将加速端侧AI应用的普及，推动AI技术在更多领域落地，为用户带来更智能、更便捷的使用体验。
Arm Kleidi AI的开源特性也为AI社区的发展做出了巨大贡献。 它允许开发者自由使用、改进和分享，这将促进更多创新和合作，推动端侧AI技术的持续进步。 这种开放的生态系统，将进一步降低AI开发的门槛，吸引更多开发者参与到端侧AI的开发与应用中来。
声明：本文内容来源自网络，文字、图片等素材版权属于原作者，平台转载素材出于传递更多信息，文章内容仅供参考与学习，切勿作为商业目的使用。如果侵害了您的合法权益，请您及时与我们联系，我们会在第一时间进行处理！我们尊重版权，也致力于保护版权，站搜网感谢您的分享！(Email:[email protected])
