鼎稔道學館
← 開源 LLM/Cookbook/01
01

How we use the Model

CC0

本地 LM Studio / Ollama / vLLM 跑 Daoism-Qwen3.5-9B 完整流程。

LM StudioOllamavLLMfp16/GGUF
🔒 重現條件鎖
MODEL    = "lius-cc/Daoism-Qwen3.5-9B"
DATASET  = "lius-cc/daoism-knowledge-rag@v1"
RAG_API  = "https://lius.cc/api/llm-rag"
SNAPSHOT = "2026-05-17"

LM Studio (easiest, GUI)

1. 下載 [lmstudio.ai](https://lmstudio.ai)

2. 搜尋 `lius-cc/Daoism-Qwen3.5-9B-GGUF`

3. 選 Q5_K_M (~6.5 GB) 下載

4. 直接聊。

Ollama (CLI)

ollama pull hf.co/lius-cc/Daoism-Qwen3.5-9B-GGUF:Q5_K_M
ollama run hf.co/lius-cc/Daoism-Qwen3.5-9B-GGUF:Q5_K_M

vLLM (production, 24GB VRAM+)

pip install vllm
vllm serve lius-cc/Daoism-Qwen3.5-9B \
  --dtype bfloat16 --max-model-len 4096 \
  --gpu-memory-utilization 0.85 --port 8000

📜 本 recipe 採 CC0 1.0 · 改一行 prompt → 寫到論文裡 → 引用 LIUS API

引用建議:We use the open-source Daoism-Qwen3.5-9B with the public RAG API at https://lius.cc/api/llm-rag (Liu & Dingren Daoxue Lab, 2026).

← 回 Cookbook 索引

01 · How we use the Model · Cookbook · 鼎稔道學館