COSCUP 2023

本文將介紹如何利用本地端顯卡建立Meta新推出的大語言模型LLaMA後的c/c++輕量版本Llama.cpp，並利用Micromamba管理其運行環境。
首先，Llama.cpp是一種先進的文本預測模型，類似於GPT-2與GPT-3，但未經過微調，適合於大範疇的問答應用。使用本地端顯卡進行模型訓練能更有效地管理資源。
我們將利用Micromamba，這是一個簡潔、快速且隔離的Python環境管理工具，用於安裝和管理需要的Python庫。
接著，模型訓練的原理主要在於使模型學習如何根據上下文預測下一個文字。訓練完成後，模型將能生成與訓練數據相似的新文本。最後，關於Llama.cpp處理中文的能力，儘管其主要以英文為主，但透過適當的訓練與微調，仍有潛力達到理想的中文生成水平。