1GPU資源有限且資源利用率不高，難以支撐快速增長的業務需求；

2缺乏IT人員，難以針對所有GPU資源、任務進行監控和告警；

3現有推理平臺較為陳舊，無法根據模型規模自動分配資源，導致大量珍貴的GPU資源浪費。

實時推理

基于Yolo v5的圖形檢測應用

1重構實時推理平臺，相同規模的GPU集群所支撐的業務規模提升40%；

2提供基于任務的監控告警功能，故障響應及排查效率從小時級提升到分鐘級。

1平臺可面向模型提供可伸縮的推理服務；

2GPU資源池化，可更靈活地根據業務分配資源；

3平臺可支持在單個檢測任務中并發多個推理子任務。