BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//pretalx//pretalx.coscup.org//coscup-2026//speaker//H9PJPV
BEGIN:VTIMEZONE
TZID:CST
BEGIN:STANDARD
DTSTART:20000101T000000
RRULE:FREQ=YEARLY;BYMONTH=1
TZNAME:CST
TZOFFSETFROM:+0800
TZOFFSETTO:+0800
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
UID:pretalx-coscup-2026-SSN9Y7@pretalx.coscup.org
DTSTART;TZID=CST:20260809T093500
DTEND;TZID=CST:20260809T100500
DESCRIPTION:在導入 LLM Coding Agent 到日常開發後，很多團隊會
 遇到問題：品質不穩、風險難估、模型升級缺少客觀依
 據。本分享會從實務流程出發，介紹如何觀測 Agent 行為
 、把評估流程自動化，並建立可持續迭代的 decision system
 。\n\n1. 為什麼 LLM Coding Agent 需要 O11y 與 Evaluation\n1. 從 tr
 ace 開始：觀測 agent 任務、工具調用與失敗模式\n1. Observa
 bility != Decision System：看得到不代表能決策\n1. LLM-as-a-judge
  在 coding 任務中的價值與限制\n1. 從 daily coding logs 抽取 d
 ataset\n1. 建立 regression evaluation pipeline 與 quality gate\n1. 用
 量化結果比較不同模型與 agent framework\n1. 把模型升級與
 框架切換變成可驗證工程流程
DTSTAMP:20260713T132620Z
LOCATION:AU
SUMMARY:Observe and evaluate LLM Coding Agents - Che Chia Chang
URL:https://pretalx.coscup.org/coscup-2026/talk/SSN9Y7/
END:VEVENT
END:VCALENDAR