低延遲 AI 推論技術

產出年度

2023

現況描述

推論引擎可以部署在 RISC-V 架構的設備上,為 AI 推論提供優化加速,支援 TensorFlow 和 PyTorch 等常見的深度學習框架。它包含多種編譯最佳化技術,例如半精度數據類型和動態形狀推理,以實現低延遲的推論運算。

可應用範圍

育樂、工業、商業

所須軟硬體設備

GPU、Visual Studio Code、TensorRT、TVM

需具備專業人才

深度學習、編譯器、最佳化

聯絡資訊

軟體技術研究院

翁明昉

(02)6607-3754

mfueng@iii.org.tw