數(shù)據(jù)之于人工智能就如同燃油之于汽車。人工智能模型開發(fā)需要輸入海量訓(xùn)練數(shù)據(jù)，單個(gè)樣本數(shù)據(jù)集大小即可達(dá)到上百GB，如果采用人工拷貝、搬運(yùn)數(shù)據(jù)，不僅費(fèi)時(shí)費(fèi)力，而且存在數(shù)據(jù)沖突和數(shù)據(jù)安全風(fēng)險(xiǎn)，在這種情況下，數(shù)據(jù)對(duì)于AI模型訓(xùn)練來說不是“加油”，而是成為模型開發(fā)的瓶頸，影響企業(yè)AI應(yīng)用效率。浪潮AIStation企業(yè)級(jí)人工智能開發(fā)平臺(tái)，可以一站式進(jìn)行AI模型開發(fā)和部署，在數(shù)據(jù)管理方面可實(shí)現(xiàn)集中管理，兼顧讀取速度與安全性，打破數(shù)據(jù)孤島和IO瓶頸，幫助用戶獲得200%-300%的開發(fā)效率提升。
。
可視化&多種數(shù)據(jù)訪問方式 兼顧便捷與數(shù)據(jù)安全
AI開發(fā)涉及的數(shù)據(jù)包括樣本數(shù)據(jù)集、模型文件等，種類非常多，格式和特性各異。此外，AI開發(fā)需要企業(yè)內(nèi)各業(yè)務(wù)組的協(xié)同工作，必須有完善的數(shù)據(jù)管理機(jī)制保障數(shù)據(jù)的流通和共享，否則就會(huì)存在數(shù)據(jù)冗余、版本沖突、權(quán)限控制等方面的問題。
AIStation平臺(tái)內(nèi)置數(shù)據(jù)管理模塊，可無縫對(duì)接各類存儲(chǔ)系統(tǒng)，提供可視化界面對(duì)數(shù)據(jù)進(jìn)行集中管理。開發(fā)人員可在數(shù)據(jù)管理界面快速上傳數(shù)據(jù)，并通過目錄掛載的方式實(shí)時(shí)調(diào)取數(shù)據(jù)，進(jìn)行數(shù)據(jù)預(yù)處理、模型開發(fā)、模型調(diào)試等工作。訓(xùn)練結(jié)束后，用戶可按需保存、上傳、共享模型文件。
AIStation提供了個(gè)人數(shù)據(jù)、組內(nèi)數(shù)據(jù)和公共數(shù)據(jù)三種數(shù)據(jù)訪問控制方式，滿足了企業(yè)內(nèi)部用戶數(shù)據(jù)隔離與共享的需求。并為每個(gè)用戶和部門創(chuàng)建了不同的命名空間，以及相應(yīng)的權(quán)限控制功能，讓開發(fā)人員能夠根據(jù)業(yè)務(wù)需求靈活共享數(shù)據(jù)，并保障數(shù)據(jù)安全。
數(shù)據(jù)緩存加速，訓(xùn)練效率提升200%-300%
數(shù)據(jù)輸入輸出是影響模型訓(xùn)練周期的重要因素。即使GPU性能再強(qiáng)，也需要高性能的輸入/輸出系統(tǒng)不斷的將數(shù)據(jù)傳送給GPU進(jìn)行運(yùn)算。輸入的樣本數(shù)據(jù)通常是小文件，并且在迭代過程中會(huì)隨機(jī)讀取樣本進(jìn)行訓(xùn)練，產(chǎn)生較高的隨機(jī)讀負(fù)載。而AI企業(yè)一般使用共享存儲(chǔ)或者分布式存儲(chǔ)管理數(shù)據(jù)，計(jì)算節(jié)點(diǎn)通過網(wǎng)絡(luò)掛載的方式訪問存儲(chǔ)數(shù)據(jù)，這樣即便使用萬兆網(wǎng)絡(luò)或者Infiniband網(wǎng)絡(luò)，也有可能存在數(shù)據(jù)帶寬不能滿足GPU計(jì)算輸入的問題。
AIStation綜合考慮AI計(jì)算對(duì)數(shù)據(jù)I/O的需求以及企業(yè)內(nèi)部的實(shí)際場(chǎng)景，通過數(shù)據(jù)緩存機(jī)制滿足高性能計(jì)算需求，可讓模型訓(xùn)練效率獲得200%-300%的提升，縮短模型開發(fā)周期。
AIStation可在各計(jì)算節(jié)點(diǎn)劃分?jǐn)?shù)據(jù)緩存區(qū)域，用來臨時(shí)存放用戶訓(xùn)練所需的樣本數(shù)據(jù)，通過本地SSD盤的高速I/O降低數(shù)據(jù)讀寫延遲。此外，AIStation會(huì)根據(jù)節(jié)點(diǎn)的數(shù)據(jù)緩存情況自動(dòng)調(diào)度訓(xùn)練任務(wù)，從而避免訓(xùn)練數(shù)據(jù)的重復(fù)下載，節(jié)省數(shù)據(jù)加載時(shí)間，加速模型訓(xùn)練進(jìn)度。并且支持?jǐn)?shù)據(jù)自動(dòng)下載和數(shù)據(jù)緩存管理。
安全沙箱技術(shù)，為數(shù)據(jù)隱私護(hù)航
數(shù)據(jù)安全對(duì)企業(yè)AI開發(fā)至關(guān)重要，一套優(yōu)秀的數(shù)據(jù)管理解決方案必須能夠保證數(shù)據(jù)安全，確保數(shù)據(jù)不會(huì)發(fā)生增加、修改、丟失和泄露等。
AIStation采用安全沙箱技術(shù)，將企業(yè)數(shù)據(jù)存儲(chǔ)區(qū)域與個(gè)人數(shù)據(jù)區(qū)分開，保證數(shù)據(jù)隱私安全。管理員可以設(shè)置數(shù)據(jù)下載權(quán)限，限制指定用戶或用戶組的下載功能，使涉密數(shù)據(jù)只能在平臺(tái)內(nèi)部使用，保障企業(yè)數(shù)據(jù)的安全性。
此外，AIStation可實(shí)現(xiàn)數(shù)據(jù)自動(dòng)多副本備份，降低宕機(jī)等原因?qū)е碌南到y(tǒng)中斷對(duì)AI開發(fā)的影響。
浪潮AIStation平臺(tái)針對(duì)AI開發(fā)中的數(shù)據(jù)管理問題輸出整體解決方案，可以幫助企業(yè)用戶建立穩(wěn)定高性能的數(shù)據(jù)管理機(jī)制，消除數(shù)據(jù)安全、數(shù)據(jù)沖突、帶寬延時(shí)等問題，讓模型訓(xùn)練效率獲得200%-300%的提升，顯著提升企業(yè)AI研發(fā)效率。
除了數(shù)據(jù)，AIStation還能高效管理計(jì)算資源、開發(fā)環(huán)境，幫助AI用戶提高計(jì)算資源利用率，秒級(jí)構(gòu)建開發(fā)環(huán)境，加速AI研發(fā)創(chuàng)新進(jìn)程。
