在IPF2021大會上,浪潮提出在智算時代里,智慧應用無處不在,也給計算和存儲帶來了新需求,隨著產業轉型加速,面臨著多元化、巨量化和生態化的挑戰。
事實上,伴隨著計算走向異構化、復雜化,AI模型走向巨量化,在存儲層面同樣會面臨著海量數據的誕生、存儲、管理和應用等一系列挑戰。高速發展的人工智能在對數字經濟產生巨大賦能和推動的同時,也推動整個計算產業往“智算”方向演進,巨量模型和海量數據,對算力和存儲的需求呈指數級增長,也將推動著存儲架構走向創新。
AI摩爾定律背后的一筆數據賬
過去,應用和場景通常是圍繞著業務流程展開;如今,幾乎所有的智慧應用都是通過數據和算法來驅動。
數據正在成為智算時代最核心的生產要素。隨著《十四五規劃報告》的頒布,在政策層面上推動數字時代到來、激活數據要素潛能,加快建設數字經濟、產業數字化等,為數字化的智慧應用場景掃除了最后的障礙。
在一個智慧應用井噴的時代里,解決算力需求首當其沖,但亦不能忽視背后海量數據帶來的挑戰。以往,計算機處理器性能通常是遵循摩爾定律,每兩年左右時間增長一倍。如今隨著人工智能應用在多個行業遍地開花,模型愈發復雜,AI在訓練和推理對于算力的需求更加渴望。根據一些機構統計,AI訓練所需要的算力每3.43個月就翻一倍,AI摩爾定律揭示著一個對于算力極度渴求的時代到來。
以OpenAI的GPT模型為例,GPT-1模型參數只有1.1億個,預訓練數據量為5GB,最大層數為12層,到了GPT-2,模型參數增加到15億個,預訓練數據量達到40GB,最大層數突破到48層;而去年五月發布的GPT-3,模型參數則高達1750億個,,預訓練數據量高達45TB,最大層數高達96層。無論是模型規模、數據量、訓練層數都是指數級增加。
僅僅一個模型在短短幾年內就發生了驚人的演進,隨著大量AI模型在行業中得到應用,隨之而來的海量數據可想而知。浪潮存儲產品線總經理李輝表示,“在未來的智算時代中,海量數據的處理、存儲、流動與管理將面臨著嚴峻的挑戰。”
以自動駕駛為例,一輛L4級的自動駕駛車輛,每天就能夠誕生高達60TB的數據,根據法規需求,這些數據還要保存至少30年以上,自動駕駛公司每天還需要不斷訓練新數據,以實現模型的優化。光自動駕駛這一個場景的數據存儲、應用、流動和歸檔就充滿了挑戰。
西部數據公司副總裁兼中國區業務總經理劉鋼
“面對人工智能應用帶來的挑戰,一定不能只用一種技術來解決,而是需要在存儲架構層進行創新。” 西部數據公司副總裁兼中國區業務總經理劉鋼表示。
存儲架構走向變革
歸根結底,數字經濟的快速發展,讓智慧應用在數據類型、數據量、數據處理等方面的需求比以往有了指數級的提升。如何讓這些海量數據能夠存得下、用得快、流得動和管得好,是當下存儲架構最具挑戰的難題。
為此,西部數據開出了它的“組合藥方”:去中心化分布式存儲、分層存儲和分區存儲三大創新存儲架構。
首先,去中心化分布式存儲解決的是讓更多數據存下來的難題。眾所周知,隨著區塊鏈、人工智能等技術逐漸在業務場景中走向融合,基于這些技術的智慧應用正在數字版權、供應鏈管理、醫療健康等多個行業誕生,隨之而來的就是海量數據,而去中心化分布式存儲將大幅降低存儲成本,存儲更多數據。
其次,分層存儲解決的是讓存儲資源可以物盡其用,充分滿足數據生命周期不同階段對于存儲資源的需求。劉鋼透露,西部數據根據數據對存儲時延、容量的需求,將分層存儲架構劃分為五層:極熱存儲、熱存儲、溫存儲、冷存儲和極冷存儲,并且每一層都有對應產品來保障。
比如像一些內存計算、數據分析類的場景,對于數據處理性能極度渴望,就更加適合采用極熱存儲;而自動駕駛等AI場景,對于數據處理性能、容量都有著很高的要求,采用熱存儲就非常符合。“對于極熱存儲和熱存儲、溫存儲,西部數據都有著高性能SSD、主流SSD等不同方案來滿足需求。”劉鋼介紹道。
眾所周知,在智慧應用遍地開花的今天,閃存的容量、性能和成本正變得至關重要。尤其是當前SSD容量點正在從4TB升級到8TB的關鍵時期,對于閃存廠商的產品、技術、產能是一場大考。劉鋼直言:“如今,大規模產能對于SSD很關鍵,西部數據和鎧俠戰友全球三分之一的份額,可以在產能層面提供充足的保障。”
此外,西部數據在閃存上的技術也讓其在智慧應用中游刃有余,“西部數據在2月已經發布了第六代162層3D NAND技術,橫向單元陣列密度比上一代提升了10%,晶圓尺寸減少40%,IO性能提升66%,可以滿足不斷增長的數據處理性能需求。”劉鋼補充道:“在充足產能和領先技術的基礎上,西部數據還在控制器、高性能固件等縱向集成上進行優化,確保閃存在容量、性能、成本、功耗上實現最優。”
第三個創新存儲架構則是分區存儲,它致力于解決性能、規模、成本等問題,不再需要去過將近28%的榮譽空間,性能和QoS大幅提升,最大程度提升了存儲規模和利用率,并且有效降低存儲的TCO。
更加重要的是,西部數據的創新存儲架構已經在云服務、生物醫藥、區塊鏈等多個業務場景中得到了充分實踐與考驗。
西部數據與浪潮存儲:智算時代合作典范
面對智算時代多元化、巨量化和生態離散化的挑戰,不是一家公司所能應對的。為此,浪潮在本次IPF大會上提出了元腦生態2.0計劃,打造智算時代開放包容生態體系,以吸納更多合作伙伴到智算產業大生態之中。
事實上,西部數據與浪潮存儲堪稱成功合作的典范,針對智慧業務場景,雙方緊密配合,攜手打造解決方案。例如,西部數據與浪潮存儲推出聯合解決方案,可以提供極致的存儲容量,同時降低集群的節點數量,與傳統方案相比,大幅降低功耗和機柜空間成本。
浪潮存儲聯合伙伴構建元腦新存儲生態
此外,浪潮存儲在元腦生態2.0基礎上推出了“元腦新存儲生態”,聯合各類合作伙伴構建“以用戶為中心、以應用為導向”的場景共同體,強調存儲系統針對智慧應用將走向場景化、細分化、個性化,這恰恰與西部數據所強調針對業務數據特性采用不同技術的觀點高度契合。未來,西部數據與浪潮存儲在元腦新存儲生態建設上同樣有著巨大的合作空間。
李輝表示:“未來浪潮存儲基于‘云存智用運籌新數據’理念,將與合作伙伴持續加強合作,不斷以創新的數據基礎設施解決方案,應對市場多樣化的需求,為行業用戶創造更多價值。”