高通携手腾讯混元，终端侧AI应用再升级：骁龙8至尊版助力生成式AI普及2024年骁龙峰会上，高通宣布与腾讯混元大模型达成合作，双方基于骁龙8至尊版移动平台，共同推动了腾讯混元大模型7B和3B版本的终端侧部署，展现了合作成果的出色运行表现。此次合作将助力腾讯混元大模型为广泛的业务场景提供强大技术支持，通过终端侧AI加速产品创新，有效降低运营成本，并进一步扩展生成式AI在终端侧的应用和普及
高通携手腾讯混元，终端侧AI应用再升级：骁龙8至尊版助力生成式AI普及
2024年骁龙峰会上，高通宣布与腾讯混元大模型达成合作，双方基于骁龙8至尊版移动平台，共同推动了腾讯混元大模型7B和3B版本的终端侧部署，展现了合作成果的出色运行表现。此次合作将助力腾讯混元大模型为广泛的业务场景提供强大技术支持，通过终端侧AI加速产品创新，有效降低运营成本，并进一步扩展生成式AI在终端侧的应用和普及。
骁龙8至尊版移动平台搭载全新的第二代定制高通Oryon CPU和增强的高通Hexagon NPU，充分利用高通AI引擎的优势，能够带来更强大的终端侧生成式AI处理能力。骁龙8至尊版的强大AI算力，结合高通AI软件栈以及行业领先的工具套件，包括高通AI模型增效工具包（AIMET）等，为模型提供了全栈优化能力。通过使用基于硬件的INT4量化技术，可以大幅提升腾讯混元大模型在终端侧的运行效率，端侧推理实现首个token生成时延达到150ms，解码速率达到超过30tokens/秒。
腾讯混元大模型已为腾讯内部超过700个业务场景和C端应用提供底层技术支持，包括微信输入法、腾讯手机管家、QQ、腾讯视频、QQ浏览器、企业微信、腾讯会议等。通过实现面向骁龙8至尊版的终端侧部署，能够利用终端侧生成式AI的丰富优势，更好地满足广泛的终端侧业务需求。
例如，腾讯手机管家短信智能识别功能率先利用腾讯混元的终端侧模型能力，通过海量数据结合深度神经网络与预训练，让模型具备极强的语义理解能力，通过结合上下文语境信息更准确地理解短信意图，使短信召回率大幅提高将近200%，识别准确率提升20%。由于部分短信涉及用户个人敏感信息，端侧AI还可以在保证出色性能表现的同时，有效保护用户的个人信息隐私安全。
高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉表示：“高通与腾讯混元大模型团队长期携手推动前沿终端侧技术创新在移动应用中的部署和推广，为广大用户和消费者打造创新的应用体验。高通公司致力于赋能广大ISV合作伙伴和开发者，利用高通强大的异构计算、行业领先的CPU、GPU、NPU和软件解决方案，在搭载骁龙平台的终端上推动生成式AI应用的普及，惠及全球更多用户。”
腾讯机器学习的平台部总经理，腾讯混元大模型负责人王迪表示：“腾讯混元已经构建起了全链路的大模型矩阵和应用平台。同时，腾讯混元不断完善部署生态。在云服务场景，我们通过多种技术在提升效果的同时调用价格持续降低。在智能终端场景，腾讯和高通持续深入合作，赋能不同业务对端侧模型的部署需求，并在腾讯丰富的生态中持续迭代能力，让更多的B端和C端用户获得实用大模型的非凡体验。”
这次合作的成功，不仅标志着高通和腾讯在推动终端侧AI应用方面取得重大进展，更进一步推动了生成式AI技术的普及和应用。未来，双方将继续深化合作，共同探索终端侧AI技术的新突破，为用户带来更加智能、高效、便捷的移动应用体验。
骁龙8至尊版移动平台的强大AI算力及高通AI软件栈，为腾讯混元大模型在终端侧的部署提供了坚实基础。
腾讯混元大模型的语义理解能力和强大的应用场景覆盖，为终端侧生成式AI应用的普及提供了丰富的应用案例。
高通和腾讯的合作，将推动生成式AI技术在终端侧的快速发展和应用落地，为用户带来更加智能化的移动体验。
声明：本文内容来源自网络，文字、图片等素材版权属于原作者，平台转载素材出于传递更多信息，文章内容仅供参考与学习，切勿作为商业目的使用。如果侵害了您的合法权益，请您及时与我们联系，我们会在第一时间进行处理！我们尊重版权，也致力于保护版权，站搜网感谢您的分享！(Email:[email protected])
