“推理平臺重構之后,業務變動更加靈活,GPU也形成了一個大的資源池供我們靈活調配。同時,后臺的監控數據幫我們確認了不同類型業務的資源需求,便于我們未來業務擴展的時候進行規劃。”
1GPU資源有限且資源利用率不高,難以支撐快速增長的業務需求;
2缺乏IT人員,難以針對所有GPU資源、任務進行監控和告警;
3現有推理平臺較為陳舊,無法根據模型規模自動分配資源,導致大量珍貴的GPU資源浪費。
實時推理
基于Yolo v5的圖形檢測應用
1重構實時推理平臺,相同規模的GPU集群所支撐的業務規模提升40%;
2提供基于任務的監控告警功能,故障響應及排查效率從小時級提升到分鐘級。
1平臺可面向模型提供可伸縮的推理服務;
2GPU資源池化,可更靈活地根據業務分配資源;
3平臺可支持在單個檢測任務中并發多個推理子任務。

.png)
在線咨詢

.png)
公眾號

掃碼關注我們

.png)
微信咨詢
添加小F@速石科技

說出你的應用
我們就有故事

.png)
免費試用