DaoEval 白皮書 v0.1

道教知識大語言模型評測框架 · An Open Evaluation Framework for Taoist-Knowledge LLMs

Liu, Chi-Ying · Dingren Daoxue Lab · 2026-05-17 · v0.1

1 · 研究動機

道教知識涵蓋三千年的經典累積、流派分化、儀式傳承與民間實踐。當代 LLM（GPT-4o、Claude、Qwen、DeepSeek）對這些知識的覆蓋極不均勻，且常出現以下三類錯誤：

1. 文獻幻覺：杜撰道藏出處、卷數頁碼、註疏作者
2. 跨派混淆：將正一道齋醮細節誤套到全真道；混淆閭山派與民間信仰
3. 儀式失真：科儀步驟順序錯誤、法器混用、咒語段落張冠李戴

缺乏專門評測，學界與道教實務界都難以判斷某個 LLM 在道教知識上「能用」還是「不能用」。DaoEval 即為解決此問題而生。

2 · 現有評測框架的覆蓋盲點

選擇題無法測試「LLM 是否會編造卷數頁碼」這個最關鍵的問題；open-ended + key_points 是必要的設計選擇。

3 · 黃金樣例設計

3.1 八大類抽樣比例

3.2 Cross-validate 流程

每條樣例經三模型 cross-validate（Claude-Opus / Gemini / Kimi K2.6），三方答案語意一致才採用；不一致時人工複核並標註信賴度為 D。

4 · 信賴度 ABCD 分級體系

每條樣例自帶信賴度分級，模型評分以信賴度加權。A 級權重 1.0、B 0.7、C 0.5、D 0.3。

# 信賴度 ABCD 分級
A:
  label: "原典直接引文"
  criteria:
    - 標題或關鍵詞直接命中原典
    - 有具體卷數頁碼可查
    - 至少兩個獨立來源交叉驗證
  example: "三魂七魄出處：《太上洞玄靈寶三魂七魄延壽符經》卷 1, 頁 2a"

B:
  label: "權威注疏支持"
  criteria:
    - 由公認注疏（王弼、河上公、葛洪等）支持
    - 摘要層級命中
    - 跨派詮釋一致
  example: "「無為」概念 → 王弼《老子注》+ 河上公章句"

C:
  label: "現代學界共識"
  criteria:
    - 現代學術論文支持（≥3 篇）
    - 全文層級命中
    - 派別差異可標註
  example: "全真道創立時間：金大定七年（1167）"

D:
  label: "民俗傳說 / 邊緣資料"
  criteria:
    - 單一來源
    - 民俗傳說、地方信仰
    - 引用時須標註「待考」
  example: "土地公生日因地區而異 — 多為農曆二月初二"

5 · 底本欄位規範

每條 A/B 級樣例必須附底本欄位，避免「對的答案、錯的版本」：

• base_text：標準道藏編號（如 正統道藏 ZH:0123）
• edition：版本標示（明萬曆續刊本 / 涵芬樓影印本 / 中華書局點校本 等）
• page_range：卷數頁碼（卷 12, 頁 3a-5b）
• primary：lius.cc 節點 URL（單一可信來源）
• secondary：可選的對讀來源

6 · ID 與引用規範

# ID 規範附錄
節點 ID 格式：{type}/{slug}
  type: scripture | deity | ritual | sect | concept | location | person | paper
  slug: ASCII safe + Chinese unicode, URL-encoded

範例：
  scripture/dao_de_jing         ← canonical English slug
  scripture/道德經              ← Chinese slug
  deity/媽祖                    ← Chinese name
  ritual/三朝醮                 ← Chinese name
  paper/2f6964ffaa7f            ← hash slug (auto-generated)

引用格式（academic style）：
  [lius:scripture/道德經#章一]
  [lius:deity/媽祖#職司]

API 端點：
  https://lius.cc/n/{type}/{slug}      ← human page
  https://lius.cc/api/llm-rag          ← machine retrieve

7 · 評測協議

兩段式評分：

1. 自動評分：以 Claude-Opus 作為 judge，依 key_points 覆蓋率 + must_cite 命中率 + must_not_say 違規率計分
2. 人工複核：對自動分 60-80 分區間樣例做人工抽查，作為品質基線

最終分數 = 0.7 × 自動分 + 0.3 × 人工分；以信賴度加權平均。

8 · 基線分數（待跑）

公開 routeable table 與正式主榜分母固化後，數據將同步更新 Zenodo deposit 與 DaoEval manifest 版本。

9 · 侷限性與未來工作

• 樣例偏向台灣 / 正一 / 民間信仰：全真內丹、藏川道教題目較淺，待補
• 目前規模有限：公開 routeable table 為 400 題，未來擴充至 2,000 並補充少數派別（閭山、神霄、淨明）
• 口傳科儀：未公開的口傳內容不納入 — 學術評測尊重道教秘傳邊界
• 多模態：v0.2 將納入符籙圖像、咒語音檔評測

10 · 致謝

鼎稔道學館全體編譯團隊；劉厝派傳承師長；以及將陸續確認的漢學家共同作者群（邀請流程公開於/llm/invitation）。所有 lius.cc 節點維護者（社群貢獻）。

附錄 A · DaoEval JSONL Schema

# DaoEval 黃金樣例 JSONL Schema
{
  "id": "daoeval-001",                  // 主鍵
  "category": "scripture|deity|ritual|sect|concept|location|person|paper",
  "subcategory": "正一道|全真道|閭山派|民間信仰|...",
  "question": "請說明三魂七魄在正一道與全真道的詮釋差異。",
  "ideal_answer": "...",                // 黃金答案
  "key_points": [...],                  // 5-10 個必須涵蓋的要點
  "must_cite": [                        // 必引文獻
    "scripture/太上洞玄靈寶三魂七魄延壽符經",
    "concept/三魂七魄"
  ],
  "must_not_say": [...],                // 紅線（不可出現的錯誤陳述）
  "confidence_grade": "A|B|C|D",        // 樣例本身信賴度
  "source": {
    "base_text": "正統道藏 ZH:0123",     // 底本欄位
    "edition": "明萬曆續刊本",
    "page_range": "卷 12, 頁 3a-5b",
    "primary": "https://lius.cc/n/...",
    "secondary": ["..."]
  },
  "evaluator": {
    "cross_validated_by": ["Claude-Opus-4.7", "Gemini-2.5-Pro", "Kimi-K2.6"],
    "agreed_at": "2026-05-17T12:00:00Z"
  },
  "license": "CC0-1.0"
}

→ 下載 10 條 sample JSONL

公開先發證據組合（三件套）

後續正式版透過期刊投稿（Religion & Computing / Journal of Chinese Religions / DHQ 等）進入同儕審查。