yilin
Yi-Lin Guo是一個高中生，就讀於台灣台北市立陽明高級中學二年級。他對 OS 的開發非常有興趣，包含scheduler、memory management。同時他也在學習演算法的設計。
Yi-Lin Guo is a high school student in the second year at Taipei Municipal Yangming High School in Taiwan. He is very interested in OS development, including schedulers and memory management. At the same time, he is also learning algorithm design.
Intervention
09/08
15:10
30minutes
探索輕量級 AI 系統的可能性：在簡易 OS 上運行 LLM
yilin
大型語言模型（LLM）的運算需求正在降低，這讓我想到能不能讓 LLM 跑在自己設計的 OS上。這個想法來自於我撰寫OS的過程。
LLM 需要完整的 Linux 環境來運行，但如果我們能在較簡陋的 OS 上和 LLM 通訊，是否能開啟更多嵌入式 AI 應用的可能性？像是離線導覽機、即時翻譯設備，甚至是不依賴完整 OS 的AI 系統。
為了驗證我的想法，我嘗試寫了一個 POC，並讓 OS 跑在 RISC-V 32 架構上，再透過 virtio 最終與 LLM 通訊。整個流程如下：
- 自製 OS 透過 virtio 接收問題，並寫入檔案。
- Host 端的 Python 程式監聽 virtio 產生的檔案變更，讀取輸入的字串。
- Host 端的 Python 程式 將字串傳送給 LLM，獲取 AI 生成的回應。
- LLM 的回應 再次透過 Python 程式寫回 virtio 的輸出檔案。
- 自製 OS 讀取 virtio 內的檔案內容，並將結果輸出到終端。
這樣一來，我的 OS 就能與 LLM 互動，而不需要完整的 Linux 環境。
透過這次的會議，我希望向開發者請教在沒有完整 OS 的情況下，是否有更好的方法來構建 LLM 系統？
這是一個關於作業系統、虛擬化與 AI 的實驗，如果您對這個主題有興趣，歡迎一起討論！
HKCOTA x OpenTechConf
TR511