BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//pretalx//pretalx.coscup.org//coscup-2026//talk//ZGVXAP
BEGIN:VTIMEZONE
TZID:CST
BEGIN:STANDARD
DTSTART:20000101T000000
RRULE:FREQ=YEARLY;BYMONTH=1
TZNAME:CST
TZOFFSETFROM:+0800
TZOFFSETTO:+0800
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
UID:pretalx-coscup-2026-ZGVXAP@pretalx.coscup.org
DTSTART;TZID=CST:20260809T100000
DTEND;TZID=CST:20260809T103000
DESCRIPTION:近年大型語言模型（LLM）快速發展，但「怎麼公
 平、快速、可重現地評估模型能力」仍是實務上的痛點
 。尤其對繁體中文場景而言，現有 benchmark 工具往往偏向
 英文生態，缺乏對本地資料集、模型部署方式，以及實
 際評測流程的友善支援。\n\n這場分享將介紹我們打造的
 開源評測工具 Twinkle Eval，一套專為 LLM benchmark 設計的自
 動化評測框架，聚焦繁體中文模型評估需求。Twinkle Eval 
 支援多種資料格式、OpenAI API 與自架模型介接，提供平行
 批次評測、題目選項隨機化、多次重複測試穩定性分析
 ，以及完整結果追蹤，讓模型評測不再只是「跑一次分
 數」，而是能更可靠地理解模型真實能力。\n\n我們會分
 享設計這套工具的背景與工程取捨，包含為什麼現有工
 具不夠用、如何處理 benchmark contamination 與選擇題 positiona
 l bias、如何提升大規模評測效率，以及在繁體中文 benchma
 rk（如 TMMLU+、法律資料集）上的實際使用經驗。\n\n如果
 你正在訓練模型、比較不同 checkpoint、做模型選型，或只
 是想建立更可信的 LLM evaluation workflow，這場分享會帶你
 快速理解現代 LLM benchmark 的實務方法，以及我們在開源
 工具開發中的經驗與踩坑。
DTSTAMP:20261017T111444Z
LOCATION:TR212
SUMMARY:Twinkle Eval：打造繁體中文 LLM 開源評測工具 - 黃亮勳
URL:https://pretalx.coscup.org/coscup-2026/talk/ZGVXAP/
END:VEVENT
END:VCALENDAR