3月11日下午消息，近日，科大訊飛(51.980, -0.17, -0.33%)攜手華為在國產算力領域取得重大進展，雙方聯(lián)合團隊率先突破國產算力集群上MoE模型的大規(guī)模跨節(jié)點專家并行集群推理，這是繼DeepSeek公布其MoE模型訓練推理方案后，業(yè)界首個基于國產算力的全新解決方案。
聯(lián)合團隊通過軟硬件的深度協(xié)同創(chuàng)新，在多個關鍵技術層面深挖硬件潛力，完成昇騰集群上的驗證和部署。在算子融合方面，團隊在MLA預處理階段通過Vector與Cube異構計算單元并行流水，并將多個小算子融合重構為原子級計算單元，消除小算子下發(fā)開銷，MLA前處理時延降低50%+，實現(xiàn)性能的顯著提升。
在混合并行策略和通信計算并行優(yōu)化方面，團隊構建了TP（張量并行）+EP（專家并行）混合范式：對MLA計算層采用機內TP并行，發(fā)揮機內高速互聯(lián)優(yōu)勢，降低跨機通信損耗；創(chuàng)新MoE專家分層調度，64卡均衡分配專家計算節(jié)點，定制AllToAll通信協(xié)議，專家數(shù)據交換效率提升40%，構建跨機/機內雙層通信架構，通過分層優(yōu)化降低跨機流量60%；同時研發(fā)路由專家負載均衡算法，實現(xiàn)卡間負載差異小于10%，集群吞吐提升30%。
通過分布式架構創(chuàng)新與算法協(xié)同優(yōu)化，聯(lián)合團隊在國產算力上實現(xiàn)了顯著的性能提升。單卡靜態(tài)內存占用縮減至雙機部署的1/4，效率提升75%，專家計算密度增加4倍，推理吞吐提升3.2倍，端到端時延降低50%。
科大訊飛研究院表示，這一突破性的解決方案也將應用于訊飛星火深度推理模型的訓練加速，預期訓練時推理效率將提升200%。同時，基于該方案的推理引擎也實現(xiàn)了國產算力上DeepSeek V3和R1的高效推理。
