COSCUP 2026 - Conference for Open Source Coders, Users, and Promoters

Benign Outliers 對 Twinkle AI 模型安全對齊之影響研究
2026/08/09 , TR212

你以為「乾淨」的微調資料就是安全的嗎?最新研究指出,僅僅 100 筆來自 Dolly、Alpaca 這類良性資料集的樣本——表面無害、卻帶有有害梯度方向的 Benign Outliers——就足以讓一個對齊過的 LLM 安全防線全面崩潰,而且完全不需要外部惡意資料當錨點。
本場分享將以 Twinkle AI 開源的 gemma-3-4B-T1-it 為實驗對象,帶大家走過一次真實的攻擊與防禦:如何用 Self-Inf-N 從繁中良性資料中挖出這些「隱形地雷」、它們在連續學習場景下有多難消除,以及 SafeGrad、AsFT 這類梯度約束防禦方法到底擋不擋得住。
適合對 LLM 安全、微調、開源模型治理有興趣的開發者與研究者。


難易度: 中級

我目前是台灣科技大學資訊工程所碩士二年級學生,具備生成式 AI、深度學習與 DevOps 的實務經驗。碩士研究聚焦於 LLM 微調的資安議題。專案經驗橫跨大型語言模型等 AI 領域,曾協助跨國企業提出 AI PoC,也參與過 RAG 解決方案的設計。歡迎大家與我交流!

創辦 Twinkle AI,專注於開源繁體中文資料集與下一代繁中模型,為台灣 AI 生態奠定基礎並持續推進模型訓練技術。領導團隊打造台灣首個最小推理模型 Formosa-1 (F1),並曾以一人團隊完成繁體中文語料蒐集與模型訓練,成功推出台灣首個 Llama 3.2 3B 最小推理模型。

This speaker also appears in: