COSCUP 2026 開源人年會

Mohuhu開發團隊

我們是一群來自金融、法律、零售、科技工程的開發者,因共同進修 AI 數據學習而集結。
這份跨領域的交會,催生了我們打造「企業資訊模糊搜尋系統」的共同理念。我們致力於將複雜的 RAG 技術與多策略檢索架構整合,解決台灣在地化搜尋中常見的名稱錯置與語意斷層。對我們而言,開源不只是技術分享,更是一種實踐「資訊易得性」的方式。我們希望能消弭專業領域的資訊門檻,讓高資安要求的企業與一般使用者,都能透過這套系統,在安全的前提下實現精準、直覺的情報檢索。


議程

年8月9日
15:25
15 分鐘
RAG 落地實踐:用開源 LLM 打造高資安、零門檻的台灣公司情報搜尋系統
Mohuhu開發團隊

RAG(檢索增強生成)在真實生產環境的落地,常受限於企業資安紅線與硬體資源。本分享以 Mohuhu 平台為例,探討如何利用開源 LLM 與系統整合技術,解決台灣上市公司資料中複雜的語意關聯與搜尋容錯問題。

我們將解析如何將 AI 能力拆解並注入系統環節:

  • LLM 驅動索引強化:利用 Google Gemini 作為知識 Agent,在入庫階段自動產出非結構化別名(如「護國神山」、「2330」),從根本解決向量搜尋在特定領域的語意缺失。

  • 四策略融合檢索(Hybrid RAG):本系統核心為「加權評分引擎」,將檢索拆解為四個維度並合計信心分數:
    1. 精準比對:確保代號與統編之絕對準確。
    2. 中文模糊搜尋:處理名稱錯置與冗餘詞。
    3. 注音/拼音容錯:解決輸入法未切換(如 vm6vm42j/)之痛點。
    4. RAG 向量語意:整合本地 Ollama (bge-m3) 與 pgvector 處理深層語意。

  • 高資安環境部署取捨:針對離線地端場景,提出「AI 預處理、地端輕量化檢索」架構。透過 PyInstaller 封裝,讓企業在完全離線下仍能享受 LLM 強化後的體驗。

  • 自動化工作流:利用 OpenClaw 與 Telegram Bot 監控從爬蟲到 Embedding 的 ETL 管線,並實作失敗自動回補機制。

聽眾獲益
1. 混合搜尋實作:四路並行加權架構與權重調校細節。
2. RAG 實戰策略:利用 LLM 預處理提升特定領域檢索召回率(Recall)。
3. 工程設計模式:在資安、硬體限制與 AI 效能間取得平衡的落地經驗。

Open LLM End User: 開源模型應用
AU