C114通信網  |  通信人家園

人工智能
2024/12/11 09:34

IBM全新光學技術可縮短GPU閑置時間,大幅加快AI模型訓練速度

IT之家  遠洋

IBM 宣布開發(fā)出一種新的光學技術,能夠以光速訓練 AI 模型,同時大幅節(jié)省能源。該公司表示,通過將這項突破應用于數據中心,訓練一個 AI 模型所節(jié)省的能源相當于 5000 個美國家庭一年的能源消耗。

該公司解釋說,雖然數據中心通過光纖電纜與外部世界連接,但內部仍然使用銅線。這些銅線連接著 GPU 加速器,而 GPU 加速器在等待來自其他設備的數據時會有大量時間處于空閑狀態(tài),同時消耗能量并推高成本。

IBM 高級副總裁兼研究總監(jiān) Dario Gil 稱:“隨著生成式 AI 對更多能源和處理能力的需求,數據中心必須進化,而共封裝光學技術(CPO)可以使這些數據中心面向未來。通過這一突破,未來的芯片將像光纖電纜進出數據中心傳輸數據一樣進行通信,從而開啟一個更快、更可持續(xù)的通信新時代,能夠處理未來的 AI 工作負載。”

IBM 在一篇技術論文中概述了其新的 CPO 原型。通過顯著增加數據中心的帶寬,可以最大限度地減少 GPU 的閑置時間,從而加速 AI 處理。IBM 稱,大型語言模型(LLM)的訓練時間可以從三個月縮短到三周。同時,更高的能源效率將降低能源消耗,并減少與訓練 LLM 相關的成本。

給作者點贊
0 VS 0
寫得不太好

免責聲明:本文僅代表作者個人觀點,與C114通信網無關。其原創(chuàng)性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。

熱門文章
    最新視頻
    為您推薦

      C114簡介 | 聯系我們 | 網站地圖 | 手機版

      Copyright©1999-2025 c114 All Rights Reserved | 滬ICP備12002291號

      C114 通信網 版權所有 舉報電話:021-54451141