謝政道
Dr. Cheng-Tao Hsieh is the Compiler Team Lead at Skymizer, leading the development of ONNC. His research expertise includes static analysis of peak power and automatic addition of redundant circuitry to tolerate delay variation, as well as experience in low-power high-level synthesis targeting FPGAs. Prior to joining Skymizer, he held a position in EDA at Qualcomm and earned a Ph.D. in Computer Science from NTHU. His professional knowledge and leadership contribute significantly to the team’s growth and product innovation.
Sessions
隨著機器學習這幾年在各領域的蓬勃發展，AI 開發者們也逐漸想在 MCU 上運行 AI Model ，而 TinyML 社群因此孕育而生，匯集了 MCU/MPU 硬體、系統軟體、模型開發者、應用開發者來研討如何強化 ML 在 Tiny Devices 的各式機會。另一方面， AI Benchmark 的組織 MLCommons 也注意到 AI 開發者們在 Tiny Devices 上的需求，而開發了 MLPerf Tiny ，其為目前用來測量 AI on MCU 上最權威的 benchmark，AI developer在挑選 MCU 時，首重的就是 MLPerf Tiny 跑分的成績。Skymizer 在今年六月公佈的 MLPerf Tiny 上 ONNC 的跑分成績在所有的 benchmarks上，效能與記憶體使用量均優於 MicroTVM。我們使用了兩種不同的 MCU – STM 與新唐 – 搭上兩種不同的作業系統 Zephyr 與 mbedOS，在效能上達到 6%~33% 不等的優勢。
在本篇演講裡，我們會先介紹 TinyML 社群以及市場趨勢，再來介紹 Skymizer 參與 MLPerf Tiny 的經驗、與 ONNC 如何以編譯器的角度來優化 AI Model 在硬體上運行的效能。