COSCUP 2026 - Conference for Open Source Coders, Users, and Promoters

EnglishDeutschFrançais日本語漢語 • 
login

在地的模型當然要可以跑在地端
.ical
2026-08-09 –, TR212

介紹如何以 GPU 和 NPU 在地端跑 LLM 模型推論運算的運作機制，以及介紹如何用幾種開源/非開源的框架(Ollama/vLLM/LM Studio/Lemonade/oBeaver)在地端不同種 GPU/NPU 的機器上執行 Twinkle AI 開源模型。

Difficulty: Beginner
The speaker’s profile picture
老鮑伯

本人於 2007 年底投身資訊業，從原本寫 Java， 2009 年開始接觸 WPF、Silverligh t的 C# 桌面應用程式開始投入 .NET開發，之後於資拓宏宇擔任軟體專案工程師，於 2014 年投入遊戲業在台灣卡普空擔任開發組組長，2018 到2023 上半在XR領域相關新創擔任 CTO； .NET 相關的前後端與Azure雲端開發技術都略懂略懂，並在近期積極往 Agentic AI等相關AI應用方向鑽研，但抓 bug 比較在行。