C114訊 2月14日消息(顏翊)昨日,國際數(shù)據(jù)公司(IDC)與浪潮信息聯(lián)合發(fā)布《2025年中國人工智能計算力發(fā)展評估報告》,《報告》指出,隨著人工智能技術(shù)的飛速發(fā)展,企業(yè)對數(shù)據(jù)存儲的需求達(dá)到了前所未有的高度。
IDC數(shù)據(jù)顯示,2024年全球企業(yè)在人工智能存儲領(lǐng)域的支出達(dá)到67億美元,2025年將增至76億美元,2028年有望達(dá)到102億美元,2023-2028年五年年復(fù)合增長率為12.2%。
大模型訓(xùn)練和生成式人工智能技術(shù)的應(yīng)用對存儲市場產(chǎn)生了顯著影響。首先,算力的增強推動了對存儲性能需求的升級。存儲系統(tǒng)需要具備更大的容量、更快的讀寫速度、更低的延遲、更高的可靠性和更佳的靈活性,以支持高效的數(shù)據(jù)處理與模型訓(xùn)練,同時適應(yīng)不斷增長的數(shù)據(jù)量和擴大模型規(guī)模的需求。在這個過程中,分布式存儲架構(gòu)憑借其性能線性擴展的優(yōu)勢,成為訓(xùn)練場景的主要選擇。
隨著算力集群規(guī)模擴大,存儲帶寬需相應(yīng)提升,傳統(tǒng)集中式存儲和串行運算模式已難以滿足需求。分布式存儲與并行運算的結(jié)合,為人工智能領(lǐng)域提供了新的解決方案。分布式存儲系統(tǒng)通過將數(shù)據(jù)分散在多個物理節(jié)點上,提供冗余備份、無限擴展性和并行訪問,提升數(shù)據(jù)可靠性和容錯性,系統(tǒng)可以迅速從其他節(jié)點恢復(fù)數(shù)據(jù),確保應(yīng)用的連續(xù)運行;支持PB級甚至EB級數(shù)據(jù)擴展,滿足人工智能模型對海量數(shù)據(jù)的需求;支持并行訪問,多個節(jié)點可以同時讀取和寫入數(shù)據(jù),降低數(shù)據(jù)訪問延遲。
其次,存儲系統(tǒng)需要能夠靈活應(yīng)對復(fù)雜的數(shù)據(jù)治理和應(yīng)用需求。當(dāng)訓(xùn)練出的大模型應(yīng)用于具體行業(yè)時,需要將行業(yè)內(nèi)的各種數(shù)據(jù)與大模型結(jié)合,而這些海量數(shù)據(jù)來源廣泛、類型多樣且分布在不同地點,企業(yè)需要高效完成這些數(shù)據(jù)的匯集和預(yù)處理。除分布式存儲架構(gòu)外,多協(xié)議支持將成為關(guān)鍵。存儲系統(tǒng)需要支持多種數(shù)據(jù)訪問協(xié)議以及具備無損互通非結(jié)構(gòu)化數(shù)據(jù)的能力,兼容不同數(shù)據(jù)格式和傳輸方式,從而提高數(shù)據(jù)管理的效率和靈活性,滿足復(fù)雜應(yīng)用場景的需求。
未來,隨著推理工作負(fù)載的增加,存儲系統(tǒng)將更加注重快速讀寫數(shù)據(jù)、實時響應(yīng)推理任務(wù)、支持大量并發(fā)訪問以及確保數(shù)據(jù)的高可用性和完整性。通過采用NVMe SSD等高性能存儲介質(zhì),結(jié)合數(shù)據(jù)緩存和預(yù)取機制,設(shè)計靈活的擴展方案,并實施智能數(shù)據(jù)管理和優(yōu)化策略,可以幫助企業(yè)提高存儲利用率和性能,優(yōu)化數(shù)據(jù)治理,加速數(shù)據(jù)價值挖掘。
全閃存存儲方案憑借其卓越的數(shù)據(jù)傳輸速度、更低的能耗以及更高的單位物理空間容量,在人工智能市場中展現(xiàn)出強勁的增長勢頭。特別是QLC SSD(四層單元固態(tài)硬盤),預(yù)計將在以讀取為中心的工作負(fù)載及應(yīng)用程序中,以及緩存和分層架構(gòu)的企業(yè)SSD市場中占據(jù)越來越重要的地位。PCIe接口協(xié)議正逐步占據(jù)更大的市場份額,代表下一代高性能網(wǎng)絡(luò)技術(shù)的NVMe over Fabric(NVMe-oF)也開始嶄露頭角。NVMe-oF能夠提供服務(wù)器與網(wǎng)絡(luò)存儲間極低的訪問延遲,從而充分發(fā)揮NVMe SSD的優(yōu)勢并加速其普及。