通信界訊 2023年7月14日，華為發布大模型時代AI存儲新品，為基礎模型訓練、行業模型訓練、細分場景模型訓練推理提供存儲解決方案，助力釋放AI新動能。
數據決定智能的高度，數據存儲當作先鋒
從互聯網到移動化，從云計算到智能化，每一輪技術變革都為千行百業帶來深遠影響。而從通用大模型到行業大模型，AI大模型的持續迭代也將助推新一輪的科技革命。在從0到1構建AI大模型創新應用的同時，企業應該找到適配自身發展需求的數據底座，將數據存儲建設作為AI建設的下一個加速點。
當前，企業在開發及實施大模型應用過程中，面臨四大挑戰：
第一，數據準備時間長，數據來源分散，歸集慢，預處理百TB數據需10天左右；第二，多模態大模型以海量文本、圖片為訓練集，當前海量小文件的加載速度不足100MB/s，訓練集加載效率低；第三，大模型參數頻繁調優，訓練平臺不穩定，平均約2天將出現一次訓練中斷，需要Checkpoint機制恢復訓練，故障恢復耗時超過一天；第四，大模型實施門檻高，系統搭建繁雜，資源調度難，GPU資源利用率通常不到40%。
構建數據新范式，釋放AI新動能
作為數據的載體，數據存儲成為AI大模型的關鍵基礎設施。順應AI發展趨勢，針對不同行業、不同場景大模型應用，華為推出OceanStor A310深度學習數據湖存儲與FusionCube A3000訓/推超融合一體機，幫助解決企業開發及實施大模型應用難題。
OceanStor A310深度學習數據湖存儲，面向基礎/行業大模型數據湖場景，實現從數據歸集、預處理到模型訓練、推理應用的AI全流程海量數據管理。OceanStor A310單框5U支持400GB/s帶寬以及1200萬IOPS的性能，可線性擴展至4096節點，實現多協議無損互通。全局文件系統GFS實現跨地域智能數據編織，簡化數據歸集流程；通過近存計算實現近數據預處理，減少數據搬移，預處理效率可提升30 %。
FusionCube A3000訓/推超融合一體機，面向行業大模型訓練/推理場景，針對百億級模型應用，集成OceanStor A300高性能存儲節點、訓/推節點、交換設備、AI平臺軟件與管理運維軟件，為大模型伙伴提供拎包入住式的部署體驗，實現一站式交付。開箱即用，2小時內即可完成部署。訓/推節點與存儲節點均可獨立水平擴展，以匹配不同規模的模型需求。同時，FusionCube A3000通過高性能容器實現多個模型訓練推理任務共享GPU，將資源利用率從40%提升到70%以上。FusionCube A3000支持兩種靈活的商業模式，包括華為昇騰一站式方案以及開放計算、網絡、AI平臺軟件的第三方伙伴一站式方案。
合作開放，推動“產學研”同頻共振
本次發布會上，華為數據存儲產品線總裁周躍峰博士對話華為蘇黎世研究所存儲首席科學家張霽，就數據安全流轉、企業數據接入大模型等話題展開探討。張霽在2020年通過“華為天才少年項目”加入華為后，扎根AI存儲架構研究，發表多篇頂級論文與專利，并已在華為數據存儲產品中全面落地。
目前，張霽與其團隊正在瑞士蘇黎世研究所與蘇黎世聯邦理工大學Onur Mutlu教授等頂尖科學家們開展研究與合作。張霽是華為眾多新生代技術青年的代表，還有更多的華為員工在遍布全球的研究所開展前沿研究，一起挑戰難題、創造價值、推動科技發展。
截至目前，華為數據存儲在全球擁有12個研發中心、4000多名研發人員、3000多項專利授權，并且與超過25所中國高校、30所海外高校建立合作關系，并成立8個聯合實驗室。華為自2019年起設置奧林帕斯獎，以激勵全球科研工作者，突破存儲領域關鍵技術難題。到2023年，已有來自于清華大學舒繼武教授、華中科技大學馮丹教授、蘇黎世聯邦理工大學Onur Mutlu教授等來自全球頂尖高校與科研機構的專家獲獎，他們在存儲創新架構、創新算法等課題上取得了技術性突破，加速了科研成果產業化，實現產學研合作共贏。
在本次發布會上，中國科學院自動化研究所紫東大模型中心、武漢人工智能研究院的專家及科大訊飛、智譜AI等企業相關負責人分別就AI大模型的應用實踐以及基于華為AI存儲的聯合創新進行探討，并對未來同華為在數據存儲領域的合作進行展望。
