联想问天WA7785aG3服务器：单机部署DeepSeek 671B大模型性能再创新高，吞吐量达6708 token/s3月18日，联想宣布其首款AMD AI大模型训练服务器——联想问天WA7785aG3取得重大突破。在单机部署671B参数规模的DeepSeek大模型（满血版）时，该服务器实现了惊人的极限吞吐量：6708 token/s
联想问天WA7785aG3服务器：单机部署DeepSeek 671B大模型性能再创新高，吞吐量达6708 token/s
3月18日，联想宣布其首款AMD AI大模型训练服务器——联想问天WA7785aG3取得重大突破。在单机部署671B参数规模的DeepSeek大模型（满血版）时，该服务器实现了惊人的极限吞吐量：6708 token/s。这一成绩将单台服务器运行大模型的性能推向了新的高度，标志着AI大模型训练和推理效率的显著提升。
联想问天WA7785aG3的卓越性能并非偶然。它得益于联想万全异构智算平台的强大支撑，以及联想在多个方面的技术创新。这些创新包括：访存优化，旨在高效利用内存资源；显存优化，最大限度地提升显卡的处理能力；PCIe 5.0全互联架构创新，提供高速、稳定的数据传输通道；以及精选SGLang框架中性能最优算子，确保计算效率最大化。联想团队对大模型从预训练、后训练到推理的全流程进行了持续优化，最终实现了这一突破性成果。
在实际应用场景中，联想问天WA7785aG3展现出强大的处理能力。在模拟问题对话场景（上下文序列长度128/1K）下，该服务器最高可支持158个并发请求，TPOT（处理时间）仅为93毫秒，TTFT（总周转时间）为2.01秒。而在模拟代码生成场景（上下文序列长度512/4K）下，并发数可达140，TPOT为100毫秒，TTFT为5.53秒。这些数据充分证明了联想问天WA7785aG3在处理复杂AI任务时的出色性能。
根据联想官方介绍，单台联想问天WA7785aG3服务器可以满足1500人规模企业的正常使用需求。这表明该服务器不仅在性能方面达到业界领先水平，而且具备强大的实际应用价值。此次突破是联想中国基础设施业务群、联想研究院ICI实验室和AMD三方通力合作的成果，体现了强强联合带来的协同效应。各方团队在联合设计、协同调优方面进行了深入合作，最终实现了这一突破性进展。
值得注意的是，6708 token/s的吞吐量并非联想和AMD合作的最终目标。双方团队仍在持续探索新的调优方法，力求在未来取得更大的突破。这表明联想和AMD致力于持续改进和优化其大模型服务器技术，以满足日益增长的AI计算需求。
此前，联想问天WA7780G3服务器已在单机部署满血版DeepSeek大模型时取得了总吞吐量突破2500 token/s的成绩。而此次联想问天WA7785aG3服务器的性能提升更是将单机部署该大模型推理性能提升到了一个新的高度，实现了翻倍的性能提升。这体现了联想在AI服务器领域持续的技术创新能力和对市场需求的敏锐把握。从WA7780G3到WA7785aG3，联想在短短时间内实现如此大的性能飞跃，显示出其强大的研发实力和技术积累。
联想问天WA7785aG3服务器的成功，不仅为大模型的应用提供了更强大的硬件基础，也为推动AI产业发展注入了新的活力。随着AI技术的不断进步和应用场景的不断拓展，对高性能计算的需求日益增长。联想问天WA7785aG3服务器的出现，将有效满足这一需求，为更多企业和开发者提供更强大的算力支持，加速AI技术的普及和应用。
此次突破性进展也凸显了联想在高端服务器市场上的竞争力。联想一直致力于为客户提供先进的IT基础设施解决方案，此次问天WA7785aG3服务器的成功，进一步巩固了联想在AI服务器领域的领先地位，也为其未来的发展奠定了坚实的基础。 未来，联想将会持续投入研发，不断推出更加先进的AI服务器产品，以满足不断变化的市场需求，为推动AI产业的创新发展贡献力量。
联想问天WA7785aG3服务器的成功，也为其他AI服务器厂商树立了新的标杆。它不仅展示了单机大模型推理性能的潜能，更重要的是，它证明了通过持续的技术创新和精细化的优化，可以显著提升大模型的运行效率。这将激励其他厂商加大研发投入，共同推动AI服务器技术的进步，为AI产业的繁荣发展贡献力量。
联想问天WA7785aG3服务器的成功，是技术创新与产业应用完美结合的典范。它不仅带来了性能上的提升，更重要的是为AI大模型的广泛应用提供了坚实的硬件保障，推动了AI技术在各行各业的深入应用，最终造福社会，推动产业进步。 这不仅是联想自身的成功，更是整个AI产业的共同进步。
声明：本文内容来源自网络，文字、图片等素材版权属于原作者，平台转载素材出于传递更多信息，文章内容仅供参考与学习，切勿作为商业目的使用。如果侵害了您的合法权益，请您及时与我们联系，我们会在第一时间进行处理！我们尊重版权，也致力于保护版权，站搜网感谢您的分享！(Email:[email protected])
