在本機想要執行大型語言模型，目前常見的方法就是透過 Ollama。所以這篇稍微紀錄一下需要做哪些事。不過其實要做的很少，跟之前裝 Stable Diffusion 比起來，Ollama 非常容易 😆
- 首先，先去 Ollama 官網下載 Ollama 安裝，這個步驟就跟一般裝 Windows 應用程式一樣，有安裝介面，所以沒什麼特殊的動作。
- 如果有 nVIdia 顯卡，建議裝一下 CUDA Toolkit。
- 打開 PowerShell，輸入
ollama -h，會列出 Ollama 可以用的指令。
> ollama -h
Large language model runner
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
stop Stop a running model
pull Pull a model from a registry
push Push a model to a registry
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
- 在進入下一步開始正式執行之前，建議可以考慮在環境變數設定
OLLAMA_MODELS。這是因為 Ollama 預設會在使用者目錄下的/.ollama資料夾中放下載的 model，有些比較大的 model 甚至有幾百 GB 的，因此建議透過設定OLLAMA_MODELS環境變數，讓 Ollama 把 model 下載到其他非C:的路徑。注意設了環境變數以後，要把 Ollama 完全關閉再重啟才會生效。 - 然後就可以實驗了，先拿 Llama 3.2 試試。輸入
ollama run llama3.2就可以自動下載 Llama 3.2 的 model 並執行。
> ollama run llama3.2
pulling manifest
pulling dde5aa3fc5ff... 100% ▕███████████████████████████████████████████████████████████████▏ 2.0 GB
pulling 966de95ca8a6... 100% ▕███████████████████████████████████████████████████████████████▏ 1.4 KB
pulling fcc5a6bec9da... 100% ▕███████████████████████████████████████████████████████████████▏ 7.7 KB
pulling a70ff7e570d9... 100% ▕███████████████████████████████████████████████████████████████▏ 6.0 KB
pulling 56bb8bd477a5... 100% ▕███████████████████████████████████████████████████████████████▏ 96 B
pulling 34bb5ab01051... 100% ▕███████████████████████████████████████████████████████████████▏ 561 B
verifying sha256 digest
writing manifest
success
>>>
接著就可以開始跟 Llama 對話了。之後大概就只剩要用哪個 model 之類的而已，可以參考 Ollama 的 models 頁面，看看有哪些 model 以及哪些大小可以選。
