galaxy4552
Hi, I'm galaxy4552, an independent developer exploring alternative approaches to language models and semantic retrieval.
This talk simply shares some discoveries from my experiments with the open-source project PipeOwl.
The Universe Speaks in Numbers.
議程
年8月8日
10:00
30 分鐘
另一種 Encoding 方法：將語意檢索從O(n²)變成O(n)
galaxy4552
目前多數語意搜尋與 embedding 系統，通常依賴 Transformer 或向量相似度計算，其複雜度常接近 O(n²)。在大型語料或即時搜尋場景中，這會帶來顯著的計算成本。
本分享將介紹一種不同的 encoding 思路，透過結構化語意表示與詞彙場（semantic field）的概念，將查詢與詞彙評分的複雜度降低至 O(n)。
演講內容包含：
- 傳統 embedding / Transformer 檢索的計算瓶頸
- 一種替代的語意 encoding 架構
- PipeOwl 專案的設計與實作
- 多語言模型（中文 / 日文）的實驗結果
- 與 BM25、Embedding、FAISS 的速度比較
本方法與模型已開源，並提供實際 benchmark 與實作程式碼，期待與開源社群討論另一種語意檢索的可能方向。
相關專案
- https://huggingface.co/WangKaiLin/PipeOwl-1.6-tw
- https://huggingface.co/WangKaiLin/PipeOwl-1.5-jp
- https://huggingface.co/WangKaiLin/PipeOwl-1.4-multilingual
Open LLM Tech: 開源模型技術
TR212