百度智能云点亮国内首个自研万卡集群,引领AI算力新时代

百度智能云点亮国内首个自研万卡集群,引领AI算力新时代近日,百度智能云成功点亮国内首个正式投入使用的昆仑芯三代万卡集群,并计划进一步点亮3万卡集群,标志着中国在人工智能算力领域取得了重大突破。这一成就不仅为百度自身AI发展提供了强劲动力,也为中国科技界、互联网行业和人工智能行业带来了新的发展机遇

百度智能点亮国内首个自研万集群引领AI算力新时代

近日,百度智能云成功点亮国内首个正式投入使用的昆仑芯三代万卡集群,并计划进一步点亮3万卡集群,标志着中国在人工智能算力领域取得了重大突破。这一成就不仅为百度自身AI发展提供了强劲动力,也为中国科技界、互联网行业和人工智能行业带来了新的发展机遇。 万卡集群的建成,不仅带来了强大的算力支持,更推动了大模型训练成本的下降。这对于整个AI行业,尤其是在过去一年中积极寻求降低大模型使用成本的企业来说,具有里程碑式的意义。

万卡集群:算力突破与成本优化的关键

在人工智能飞速发展的今天,算力已成为制约AI应用的关键因素。大型语言模型的训练需要海量的算力资源,而算力紧张直接导致成本居高不下。百度通过自研芯片昆仑芯和建设大规模万卡集群,有效解决了自身算力供应问题,并为行业提供了新的解决方案。

万卡集群的优势在于其超大规模并行计算能力,这使得训练效率得到显著提升。相较于传统的计算模式,万卡集群能够将千亿参数模型的训练周期大幅缩短,满足AI原生应用快速迭代的需求。 更重要的是,万卡集群能够支持更大规模、更复杂任务和多模态数据的训练,为开发类似Sora等先进AI应用提供了必要的算力基础。

此外,万卡集群还具备强大的多任务并发能力。通过动态资源切分,单一集群可以同时训练多个轻量化模型,并通过通信优化和容错机制减少算力浪费,最终实现训练成本的指数级下降。 随着国产大模型的蓬勃兴起,万卡集群的应用模式也随之转变,从最初的“单任务算力消耗”逐渐过渡到“集群效能最大化”。通过模型优化、有效训练率提升、动态资源分配等手段,以及对训练、微调、推理任务的智能调度和混合部署,进一步提升集群综合利用率,降低单位算力成本。

百度百舸平台:赋能万卡集群性能与稳定性

万卡集群的建设并非易事。过去,多芯混训和高故障率等难题一直是困扰万卡集群部署的巨大挑战。百度自主研发的百舸AI异构计算平台4.0(简称“百舸平台”)在解决这些难题中发挥了至关重要的作用。

百舸平台4.0在多个方面实现了突破:首先,它突破了硬件扩展性瓶颈,例如卡间互联的拓扑限制,有效避免了通信带宽成为瓶颈。其次,针对万卡集群高功耗问题,百舸平台采用创新性散热方案,有效解决了万卡集群的能效与散热难题,常规方案功耗可达十兆瓦或更高,百舸平台的创新则显著降低了功耗。第三,百舸平台完善了模型的分布式训练优化,采用了高效并行化任务切分策略,将主流开源模型的集群MFU提升至58%。第四,在稳定性方面,百舸平台提供了先进的容错与稳定性机制,避免了单卡故障率随规模指数上升而导致万卡集群有效性大幅下降,保障有效训练率达到98%。最后,针对机间通信带宽需求,百舸平台建设了超大规模HPN高性能网络,优化拓扑结构,降低通信瓶颈,带宽有效性达到90%以上。

百舸4.0还构建了十万卡级别的超大规模HPN高性能网络,针对跨地域通信中的高延迟问题,通过优化的拓扑结构、多路径负载均衡策略及通信策略,实现了数十公里的跨地域通信。在通信效率上,百舸平台通过先进的拥塞控制算法和集合通信算法策略,实现了完全无阻塞,并通过10ms级别超高精度网络监控,保障了网络的稳定性。

在多芯混训方面,百舸平台展现了强大的资源整合能力,能够将不同地点、不同规模的异构算力进行统一管理,构建起多芯资源池。当业务提交工作负载时,百舸平台可自动进行芯片选型,选择性价比最高的芯片运行任务,最大化利用集群剩余资源,实现高达95%的万卡多芯混合训练效能。此外,在集群稳定性方面,百舸平台提供了全面的故障诊断手段,能够快速自动侦测到导致训练任务异常的节点故障。百度自研的BCCL(百度集合通信库)能够快速定位故障并提供自动化的容错能力,将故障恢复时间从小时级降低到分钟级,极大地提高了集群的可靠性和可用性。

国际认可:中国AI技术实力的体现

百度在AI算力领域的突破获得了国际机构的认可。花旗银行近期发布的研报指出,DeepSeek、百度等中国模型展现出高效和低成本优势,将有助于加速全球AI应用开发,并在全球引发更多技术创新,推动2025年人工智能应用的拐点到来。 中国工程院院士、清华大学计算机系教授郑纬民也表示,当下构建国产自主万卡系统充满挑战,但“至关重要”。

百度智能云点亮万卡集群的成功,不仅是技术实力的体现,更是中国在人工智能领域自主创新、弯道超车的重要一步。 这预示着中国在未来AI竞争中将占据更有利的地位,并为全球人工智能发展贡献力量。 未来,随着百度持续加大研发投入和技术创新,相信万卡集群将进一步发挥其作用,为更多AI应用提供强有力的支撑,推动人工智能技术快速发展,最终为社会创造更大的价值。

声明:本文内容来源自网络,文字、图片等素材版权属于原作者,平台转载素材出于传递更多信息,文章内容仅供参考与学习,切勿作为商业目的使用。如果侵害了您的合法权益,请您及时与我们联系,我们会在第一时间进行处理!我们尊重版权,也致力于保护版权,站搜网感谢您的分享!(Email:[email protected])

上一篇 2025-03-10
下一篇 2025-03-10

猜您喜欢