(相關資料圖)
8月24日,浪潮信息(000977)正式發(fā)布大模型智算軟件棧 OGAI。OGAI (Open GenAI Infra)“元腦生智”,是為大模型業(yè)務提供AI算力系統(tǒng)環(huán)境部署、算力調(diào)度保障及模型開發(fā)管理能力的全棧全流程的智算軟件棧。OGAI由浪潮信息基于大模型自身實踐與服務客戶的專業(yè)經(jīng)驗而開發(fā),旨在為大模型研發(fā)與應用創(chuàng)新全力打造高效生產(chǎn)力,加速生成式AI產(chǎn)業(yè)創(chuàng)新步伐。
大模型是當前通用人工智能產(chǎn)業(yè)發(fā)展創(chuàng)新的核心技術。目前國內(nèi)已發(fā)布的生成式AI模型超過了100個,“百模爭秀”的格局初現(xiàn)。但大模型從研發(fā)到應用的各環(huán)節(jié)中,依然面臨諸多挑戰(zhàn),如大模型算力的系統(tǒng)全棧問題、兼容適配問題、性能優(yōu)化問題等。
OGAI是浪潮信息從當前大模型算力建設、模型開發(fā)和應用落地的實際需求出發(fā),秉承全棧全流程、算力充分釋放、實戰(zhàn)驗證提煉的設計原則打造而成。OGAI由5層架構(gòu)組成,從L0到L4分別對應基礎設施層的智算中心OS、系統(tǒng)環(huán)境層的PODsys、調(diào)度平臺層的AIStation、模型工具層的YLink和多模納管層的MModel。
L0層智算中心OS:面向大模型算力服務的智能算力運管平臺,滿足多租戶以裸金屬為主的彈性AI算力運管需求。其中,高效的裸金屬服務支持分鐘級部署上千規(guī)模裸金屬節(jié)點并按需進行彈性擴展,實現(xiàn)異構(gòu)計算芯片、IB、RoCE高速網(wǎng)絡、高性能存儲等環(huán)境一鍵獲取,并實現(xiàn)計算、網(wǎng)絡、數(shù)據(jù)隔離以保障業(yè)務安全。
L1層PODsys:開源、高效、兼容、易用的智算集群系統(tǒng)環(huán)境部署方案。聚焦智算集群部署場景,從OS、驅(qū)動到系統(tǒng)監(jiān)控可視化、資源調(diào)度等集群系統(tǒng)環(huán)境要素全面覆蓋,選用最穩(wěn)定和廣泛兼容的軟件版本,通過一系列腳本工具簡化部署過程,縮短算力上線周期,并可向企業(yè)用戶提供實施安裝服務和集群性能校準的專家服務。
L2層AIStation:面向大模型開發(fā)的商業(yè)化人工智能算力調(diào)度平臺。針對大模型訓練中常見的訓練中斷難題,可實現(xiàn)訓練異常快速定位,斷點自動續(xù)訓:通過快速定位芯片、網(wǎng)卡、通訊設備異常或故障,實現(xiàn)全局訓練暫停保持,熱備算力自動彈性替換,健康節(jié)點快速CheckPoint讀取,實現(xiàn)斷點自動續(xù)訓。
L3層YLink:面向大模型數(shù)據(jù)治理、預訓練、微調(diào)的高效工具鏈。聚焦于大模型的數(shù)據(jù)治理、預訓練、微調(diào)等開發(fā)過程,集成了浪潮信息在大模型研發(fā)中的自研工具和開源工具,如數(shù)據(jù)處理工具包(Y-DataKit)、大模型訓練工具包(Y-TrainKit)和大模型微調(diào)工具包(Y-FTKit)等等,通過這些多樣且完善的工程化、自動化工具,加速大模型的訓練和開發(fā)效率。
L4層MModel:提供多模型接入、服務、評測等功能的納管平臺。核心組件包括數(shù)據(jù)集管理、模型納管和評測,可以方便開發(fā)者和研究人員更好地管理多版本、多類型的基礎大模型與任務模型,并通過多樣化的評測數(shù)據(jù)集與評測任務,對多個模型進行生成準確率、推理延遲、推理穩(wěn)定性等指標進行全面評估。
浪潮信息高級副總裁、AI&HPC總經(jīng)理劉軍表示:“OGAI提供完善的工程化、自動化工具軟件堆棧,將幫助更多企業(yè)順利跨越大模型研發(fā)應用門檻,充分釋放大模型創(chuàng)新生產(chǎn)力。浪潮信息將通過智算系統(tǒng)軟硬件高度協(xié)同進行持續(xù)創(chuàng)新,持續(xù)培育繁榮元腦生態(tài),推動實現(xiàn)‘助百模,智千行’,加速生成式AI產(chǎn)業(yè)創(chuàng)新。”
（免責聲明：此文內(nèi)容為廣告，相關素材由廣告主提供，廣告主對本廣告內(nèi)容的真實性負責。本網(wǎng)發(fā)布目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點和對其真實性負責，請自行核實相關內(nèi)容。廣告內(nèi)容僅供讀者參考。）
（責任編輯：董萍萍 ）關鍵詞：
