hydai
Hung-Ying Tai (GitHub ID: hydai) is a pioneer in compiler optimization and virtual machine design.
He is the maintainer of WasmEdge and CNCF Ambassador.
He is a prolific open-source contributor, participating in many open-source projects, including crun, llama.cpp, solidity, and SOLL.
Sessions
08-04
11:20
30min
開發與部署輕量化的 Wasm+LLM 容器
hydai
在本演講中，我將展示如何使用 Rust+Wasm 的軟體架構來設計並管理 LLM 的服務，並透過容器化(crun/WasmEdge)的方式在 podman/docker 與 kubernetes 進行部署與管理。
1. 撰寫你的 LLM 服務，以 Gemma-2b 模型與 OpenAI API 相容的後端為例
2. 使用 Podman/Docker 打包 LLM 服務並發佈到 Container Registry (e.g. dockerhub)
3. 使用 Podman/Docker 部署本地端的 LLM 服務，搭建個人的 ChatGPT
4. 使用 Kubernetes 部署 LLM 服務，並使用 GPU 進行加速
Kubernetes Community Day Taipei
TR212