挑戰(zhàn)

1不同開發(fā)團(tuán)隊(duì)之間共享GPU服務(wù)器，服務(wù)器的資源分配目前是手動(dòng)完成，效率很低且管理復(fù)雜；

2開發(fā)環(huán)境管理混亂，且由于網(wǎng)絡(luò)限制，許多依賴安裝流程繁瑣，影響開發(fā)團(tuán)隊(duì)效率；

3由于手動(dòng)管理，所有GPU服務(wù)器的使用情況沒有監(jiān)控，無法得知資源的使用效率；

4實(shí)驗(yàn)管理、超參數(shù)調(diào)優(yōu)、分布式訓(xùn)練等需求無法滿足。

場景

嵌入式環(huán)境模型開發(fā)

應(yīng)用

Pytorch、TensorFlow、MXNet

效果

1平臺(tái)可統(tǒng)一管理所有算力資源，并實(shí)現(xiàn)了資源調(diào)度和分配的自動(dòng)化；

2平臺(tái)具備環(huán)境管理能力，提供大量預(yù)置環(huán)境模板，并允許用戶自定義環(huán)境模板，以此進(jìn)行標(biāo)準(zhǔn)化開發(fā)和訓(xùn)練環(huán)境；

3豐富的監(jiān)控功能允許用戶從任務(wù)視角、管理員從全平臺(tái)視角了解各類資源的歷史使用率；

4提供實(shí)驗(yàn)管理、超參數(shù)調(diào)優(yōu)、分布式訓(xùn)練功能，使得用戶更高效地進(jìn)行實(shí)驗(yàn)記錄追蹤、自動(dòng)調(diào)參，并且?guī)椭脩舫晒\(yùn)行一些以前無法運(yùn)行的大規(guī)模模型。

價(jià)值

1幫助用戶管理異構(gòu)的GPU服務(wù)器集群；

2GPU調(diào)度功能結(jié)合環(huán)境管理功能對(duì)用戶日常工作中的非核心業(yè)務(wù)實(shí)現(xiàn)了自動(dòng)化和簡化；

3平臺(tái)提供的監(jiān)控功能幫助企業(yè)合理評(píng)估資源使用情況，并規(guī)劃GPU服務(wù)器的用量；

4MLOps相關(guān)功能可幫助研發(fā)團(tuán)隊(duì)提高效率。