COSCUP 2025

裝置端 AI 的效能調校:工具、瓶頸與最佳實踐
10.08.2025 , TR409-2

在移動裝置上部署 AI/ML 應用,從模型能「跑起來」,到「跑得好」,中間還有一段值得深究的距離。如何在有限的運算資源與功耗預算下,達成高效能、穩定且流暢的 AI 體驗,正是開發者必須面對的挑戰。

本主題將介紹開發者如何善用效能分析工具,找出模型運行過程中的運算熱點與記憶體瓶頸,並針對不同平台進行實務優化。內容也將涵蓋模型選型、推論框架選擇與部署流程中常見的關鍵考量。

如果你關心如何讓 AI 在手機與邊緣裝置上執行得更快速、更穩定、更省電,這場分享將提供具體做法與實戰經驗,協助你打造真正貼近使用者體驗的 AI 解決方案。


Zielpublikum:

COSCUP 的參與者

Schwierigkeitsgrad:

初學者

目前旅居英國劍橋,長期投入於開發者軟體生態的推廣與技術內容的製作。擁有二十年系統單晶片軟體開發經驗,近年專注於大型語言模型(LLM)在邊緣裝置上的部署與優化,特別是在無 GPU 的環境中提升推論效率與開發可行性。

Odin積極參與台灣以及全球開源與開發者社群,並投入撰寫多篇以 Arm 架構為基礎的開源教學資源,涵蓋 Edge AI邊緣運算、大語言模型導入、車用軟體 開發與系統調校等主題,致力於協助開發者更有效率地掌握技術並實踐於應用場景中。