COSCUP 2026 開源人年會

讓台灣原生 LLM 長出在地語氣:用 Twinkle AI 4B 打造「星光型小零」
2026年8月9日 , TR212

ZeroTree 是一個結合心理學與遊戲化技能樹的目標管理專案,最初是我為了解決自身拖延症與思緒過載而打造。本議程將分享我如何以極限的「兩週挑戰」為起點,從零開始將 Twinkle AI 專為台灣語境打造的 4B 模型(gemma-3-4B-T1-it)落地整合到 ZeroTree 中,以「心情日記」為核心,打造出具有開源社群與鄉民幽默感的「星光型小零」AI 陪伴原型,【並歷經數月持續打磨迭代】。這是一場本地小模型(SLM)【從原型到落地】的實戰紀錄。我將深入分享在本地端整合時遇到的四大挑戰與解法:包含如何解決小模型容易照抄 JSON 範例的格式問題、如何優化 System Prompt 避免動態資訊導致 CPU 推理延遲(提高 KV Cache 命中率)、如何在無獨顯的筆電上利用量化與 UX 設計彌補等待感,以及不綁定帳號的樹洞型專案該如何設計匿名隱私防護機制。


難易度: 中階

我是一名 AI 工程師,目前專注於 LSTM 時序預測的開發。我具備電機與腦科學背景,研究所期間專攻利用 fMRI 記錄腦部狀態,並嘗試透過 GAN 技術重建受試者當下的視覺情景。 由於自身深為拖延症與思緒過載所苦,我發起了「零樹計畫(ZeroTree)」,期望藉由遊戲化技能樹的設計來輔助自我成長。專案初期,我將《實現:達成目標的心智科學》
一書中的心理學概念實作為目標設立系統;近期更挑戰在兩週的極短時間內從零開始,將 Twinkle AI 台灣原生模型落地整合進專案,打造出以「心情日記」為核心的在地化 AI 陪伴系統。我熱衷於將生硬的技術結合心理學,轉化為有溫度的日常實用工具。