COSCUP 2025

llama.cpp/GGML 是一個流行的軟體，用於運行（主要是）大型語言模型。它支援常見的消費級和企業級硬體，例如 NVIDIA、AMD 和 Intel 的 GPU。但是，如果您想引入新的加速器呢？例如，一間公司發表可將功耗降低數倍的新架構。本次演講旨在分享為 Tenstorrent 的 Wormhole AI 處理器構建一個（正在進行中的）GGML 後端的經驗