大語言模型輕量化技術｜技術列表｜可移轉技術｜產業服務｜資策會

大語言模型輕量化技術

產出年度

2025

現況描述

可透過模型壓縮、參數剪枝與知識蒸餾等技術，減少大語言模型的參數量，從而降低運行時的計算資源需求。這不僅能提升推理速度，還能使語言模型適用於資源受限的環境，例如邊緣設備或行動裝置，實現高效能且低成本的部署。

可應用範圍

模型輕量化

所需軟硬體設備

Docker、GPU

需具備專業人才

機器學習

關鍵字

#模型壓縮 #動態量化 #蒸餾

聯絡資訊

軟體技術研究院

楊又權

(02)6607-2519

ycyang@iii.org.tw