COSCUP 2024

開發與部署輕量化的 Wasm+LLM 容器
2024-08-04, 11:20–11:50 (Asia/Taipei), TR212

在本演講中，我將展示如何使用 Rust+Wasm 的軟體架構來設計並管理 LLM 的服務，並透過容器化(crun/WasmEdge)的方式在 podman/docker 與 kubernetes 進行部署與管理。
1. 撰寫你的 LLM 服務，以 Gemma-2b 模型與 OpenAI API 相容的後端為例
2. 使用 Podman/Docker 打包 LLM 服務並發佈到 Container Registry (e.g. dockerhub)
3. 使用 Podman/Docker 部署本地端的 LLM 服務，搭建個人的 ChatGPT
4. 使用 Kubernetes 部署 LLM 服務，並使用 GPU 進行加速

內容所使用的軟體架構均為開源專案：

  1. Rust: https://github.com/rust-lang
  2. Crun: https://github.com/containers/crun
  3. WasmEdge: https://github.com/WasmEdge/WasmEdge/
  4. Podman: https://github.com/containers/podman
  5. Docker: https://github.com/docker
  6. Kubernetes: https://github.com/kubernetes/kubernetes
  7. Gemma-2b-it: https://huggingface.co/google/gemma-2b-it
Is this your first time submitting to COSCUP, and are you willing to receive initial review feedback? –

謝謝，不用提供初審修改建議。
hydai

Hung-Ying Tai (GitHub ID: hydai) is a pioneer in compiler optimization and virtual machine design.
He is the maintainer of WasmEdge and CNCF Ambassador.
He is a prolific open-source contributor, participating in many open-source projects, including crun, llama.cpp, solidity, and SOLL.