https://agentic-ai-security-gateway.vercel.app/

Exam · Target · Legacy / 題庫 · 標的 · 傳承

一、最好吃的湯底怎麼試出來

想找到「最好吃的湯底配方」，但沒時間一碗一碗自己試。於是你雇了一個超級勤勞的學徒，讓他整晚不睡覺幫你試。

但你不能只跟學徒說「去試吧」就去睡覺。你得先準備三樣東西：

第一樣：題庫（Exam）

你找來 10 個老饕當評審，給他們一張固定的評分表：香氣 1–10 分、濃郁度 1–10 分、回甘 1–10 分。

這張評分表和這 10 個人，你不能換。

為什麼？因為如果你每次換不同的人來評分，你根本不知道是湯底變好了，還是換了一個口味不同的評審。

固定的考題 + 固定的評分標準 = Exam。

第二樣：標的（Target）

學徒可以改的東西是什麼？是湯底配方。

他可以多加一點大骨、少放一點鹽、把熬煮時間從 8 小時改成 12 小時。什麼都可以試。

但他不能去換評審、不能去改評分表、不能偷偷把老饕灌醉再讓他們打分。

被改造、被演化的那個東西 = Target。

第三樣：傳承（Legacy）

你去睡覺之前，留了一張紙條給學徒：

> 1. 先照原本的配方煮一碗，記下分數，這是基準。
> 2. 每次只改一個變數。
> 3. 分數變高就保留，變低就丟掉，回到上一版。
> 4. 如果湯燒焦了（失敗），別慌，看看是不是火太大，修一下再試。
> 5. 如果怎麼改都沒進步，把之前「差一點就成功」的拿出來混搭看看。
> 6. 不要叫我起床問我該不該繼續。我在睡覺。你就一直試到我醒來。

這張紙條就是 Legacy — 你的經驗、你的判斷、你踩過的坑，濃縮成幾條規則傳承給學徒。

紙條寫得越好，學徒的成果越好。

二、這就是 Karpathy 做的事

2026 年 3 月，AI 領域的大神 Andrej Karpathy 公開了一個叫 autoresearch 的專案。他做的事情跟拉麵店一模一樣：

| 10 個老饕 + 評分表 | 固定的測驗資料 + 評分程式 | Exam（題庫）|
| 湯底配方 | 訓練AI 模型的程式碼 | Target（標的） |
| 睡前紙條 | program.md 指令檔 | Legacy（傳承）|

睡一覺，AI 學徒跑了 100 次實驗。醒來看結果，訓練模型的方法學，真的變好了11%。

三、這招可以用在任何地方

演化 ETL 不是只能用在 AI 訓練。任何「想讓東西自動變好」的場景，都需要這三件套。

場景一：政府機關的公文品質

某個機關想提升 AI 自動產生公文的品質。
| Exam（題庫） | 收集 50 份真實公文情境，請資深科長訂出評分標準：格式正確性、法規引用準確度、用語得體度 |
| Target（標的） | AI 產生公文時使用的提示詞（prompt） |
| Legacy（傳承） | 第一版 prompt 只拿到 60 分，科長發現「AI 常漏掉發文字號」，加了一條規則；第二版 70 分，發現「AI 會自己編法條」，加了「禁止杜撰法條，必須引用原文」；迭代到第八版，滿分 |

那八版累積下來的較佳演化方法學心得，就是 Legacy。換一個新人來接手，他不用重新踩坑，照著這份傳承就能迭代更順手。

場景二：SKILL.md 技能演化

在 Claude Code 裡面，每個技能都有一份 SKILL.md。這份檔案其實就是 Legacy。

| 演化 ETL | 技能開發 |
| — — — — — | — — — — -|
| Exam（題庫） | 用戶丟給技能的真實任務（例如：「幫我把這份 PDF 轉成會議記錄」） |
| Target（標的） | SKILL.md 裡面的指令、流程、規則 |
| Legacy（傳承）| 每次技能出錯，怎樣迭代才會更順暢，就是傳承 |

技能為什麼會越來越好用？因為我們有高效能的演化 Legacy 方法學。

三句話總結

1. 沒有固定的題庫，你不知道有沒有進步。
2. 沒有明確的標的，AI 不知道該改什麼。
3. 沒有前人傳承怎樣進步的教練方法學，跌跌撞撞進步就會很慢。

這就是演化 ETL — Exam · Target · Legacy。不管是 AI、公文、技能、還是老師傅的手藝，都能一代比一代好。

AI有三個致命缺點：

AI會憑印象亂答。 你問他採購法第幾條，他不去翻法條，直接從腦袋裡掰一個出來。有時候對，有時候差一個字就錯。

他很愛打太極。 你問他「這樣有沒有違法？」他說「不一定，要看情況。」你問他「到底是多少錢？」他說「可能在某個範圍內。」永遠不給你一句明確的答案。

他會搞混長很像的東西。 「專業服務」跟「技術服務」是兩個不同辦法，他分不清楚。「開標前」跟「開標後」差一個字意思完全相反，他看不出來。

改了十版指令，想辦法把這個實習生教到滿分。最後有效的方法，只有一張紙，11 條規則。叫「閱卷官答題法」！

第一課：不准靠記憶，查了才能答 force search

這是最重要的一條。一句話：「沒搜尋就回答，視為零分。」就這一句，分數從 43 跳到 91。

為什麼？因為法律不是常識。採購法有 114 條，施行細則還有 113 條，加上幾十個子法辦法。人類律師都要翻書，AI不翻書怎麼可能答對？

強迫他每一題都去 Google 搜法條原文，找到了再回答。笨方法，但最有效。

第二課：不教答案，教規矩 no overfitting

50 題考卷，不可能一題一題告訴 AI 答案是什麼。那叫作弊，而且換一批新題目就沒用了。

教規矩：

「問你是或不是，就回答是或不是。禁止說不一定。」
「法條列了三個條件，就一個一個勾，全部符合才算成立。」
「題目說的是專業服務辦法，就去找專業服務辦法，不要自作聰明引用技術服務辦法。」

規矩不是針對某一題設計的，而是任何法律問題都適用的答題紀律。結果 50 題全部適用，零題過度擬合。

第三課：不用餵知識庫，訓練階段快取要能開關

採購法是公開法規，全國法規資料庫查得到，不需要額外餵給 AI 一本採購法全文。自己搜就好。

但有一個坑：AI 平台會快取回答。你改了指令，他還是回你舊答案 — — 因為他根本沒重新想，直接把上次的答案丟給你。

改了五版指令，每版回來的答案一模一樣，連標點符號都沒變。搞了半天才發現是快取。關掉快取，新指令才真的生效。

為什麼叫「閱卷官答題法」？

因為這套方法是兩層的。

外層是身份：你是閱卷官。 閱卷官改考卷，看到錯就打叉，不會猶豫「嗯，考生可能有其他想法」。這讓 AI不再打太極。

內層是紀律：用考生的方式答題。 讀題、找關鍵字、翻法條、比對差異、寫結論。一步一步來，不跳步。

閱卷官的身份，考生的紀律。兩者缺一不可。
最後成績單：
│ 版本 │ 分數 │ 改了什麼 │
│ 第 1 版 │ 43/100 │ 什麼都沒教，裸考 │
│ 第 2 版 │ 91/100 │ 加了「必須搜尋否則零分」一句話 │
│ 3–9 版 │ 69–87 │ 各種嘗試，有進有退 │
│ 第 10 版 │ 483/500 │ 閱卷官答題法，50 題近乎滿分 │
│ 第 11 版 │ 500/500 │ 加 4 條泛化規則，9 題瑕疵全修 │

從 43 分到滿分，靠的不是更大的模型、更多的資料、更長的指令。靠的是一張紙，11 條規矩，1225 個字。教 AI 跟教人一樣：與其告訴他答案，不如教他怎麼找答案。

https://arxiv.org/html/2601.15160v1

數字證明「小巧精悍」如何完勝「龐然大物」。

對於要在地端環境部署高機密要求的 AI 系統來說，能在有限的算力下發揮極致的推理能力，這些數字非常有參考價值。

🏆 戰績一：專挑最難的骨頭啃 (Level 5 極致難題)

👉 數字說話：

在難度最高（Level-5）的推理題中，完全沒特別訓練的基礎模型準確率只有慘烈的 19.94%，比瞎猜還低。但這顆 14B 模型經過 SFT 加上 RL 訓練後，準確率直接飆升到 56.75%，幾乎是原本的三倍！

💡 大白話解說：

這代表當遇到邏輯超級複雜、連人類專家都要想破頭的難題時，這套訓練法能硬生生把一個普通水準的模型，拉拔成具備實戰除錯能力的專家。這對於處理多步驟的政府公文或 RFP 標案分析，是非常核心的能力。

🏃‍♂️ 戰績二：沒學過也能舉一反三 (4 到 5 步的長邏輯推導)

👉 數字說話：

模型在訓練時只看過 1 到 3 步的簡單推導。但在測驗時遇到沒見過的 4 步與 5 步複雜推導題，它的準確率不但沒有崩盤，反而比純微調（只做 SFT）的模型分別高出了 7.5% 與 11.1%，甚至在 5 步推導題拿下了 89.33% 的超高分。

💡 大白話解說：

這就像是只教過國中數學，它卻自己推導出高中數學的解法。證明模型不是死背題庫，而是真正內化了「組合邏輯」。當遇到從未見過的複雜長篇資料時，它能順藤摸瓜一路推到底，不會在中途迷失方向。

🥊 戰績三：以小博大，越級打怪 (14B 擊敗 32B 專屬模型)

👉 數字說話：

面對參數大了一倍以上的 QwQ-Med-3 (32B) 專用模型，我們的 14B 模型在難度等級 2 到 5 全面勝出。特別是在最難的 Level 5 題目中，32B 大模型只拿到 49.69%，14B 模型卻拿了 59.05%，直接大贏 9.36%。

💡 大白話解說：

大模型雖然記憶力好（在最簡單的死背題微幅領先），但在需要深度動腦的題目上卻吃癟了。這證明了只要訓練出優質的思考路徑，小模型不僅跑得快、省硬體資源，推理能力還能反超龐大的模型。這對我們要把強大 AI 塞進獨立且封閉的設備裡，是個極大的利多。

🛡️ 戰績四：抗干擾能力點滿 (防禦選擇題作弊)

👉 數字說話：

很多大型通用模型（如 GPT-5.2 或 Gemini 3 Pro）在面對「打亂選項順序」的壓力測試時，準確率會直接掉 4% 到 6%。但這顆 14B 模型的準確率只微幅下滑了 1.17%（從 83.62% 降到 82.45%）。

💡 大白話解說：

大模型有時候是靠「猜題感」或版面編排來矇對答案的，一換順序就現出原形。但這顆 14B 模型因為有知識圖譜當裁判，它是真的在腦中走過邏輯路徑才作答，所以不管你怎麼干擾或挖坑，它都不會被輕易騙倒。這在處理機敏且容錯率低的資料時，能大幅降低幻覺與誤判。

總結來說，這些數字在在證明了「演算法與資料品質」大於「無腦堆疊算力」。把模型教聰明，比把模型養胖更實際。

這份研究真的非常精彩！它打破了「模型越大越聰明」的迷思，證明了只要訓練方法對了，一個 14B（140億參數）的中小型模型，照樣能在複雜的專業推理上，打敗像 GPT-5.2 或 Gemini 3 Pro 這樣的大型通用怪獸，甚至贏過 32B 的醫療專用模型。

我幫你把這篇論文裡最核心的機制，用大白話和 Q&A 的方式，整理成 14B 逆襲大型模型的 20 個秘密重點：

核心秘辛：不比八股文，比真才實學

Q1：為什麼 14B 小模型可以變得這麼聰明？最核心的武器是什麼？

• 1. 找「知識圖譜」來當專屬教練： 過去模型訓練常靠人類給分，但人類很貴又會累。團隊把醫療領域的「知識圖譜」（可以想像成一本超巨大的標準醫學百科關係圖）直接拿來當作隱形的獎勵裁判。
• 2. 獎勵「推導過程」，而不只是看「最終答案」： 就像考數學一樣，只寫對答案不給滿分，模型必須把推導的公式（邏輯路徑）寫對，裁判（知識圖譜）才會給高分。這讓模型學會真正的「組合推理」，而不是瞎猜。
• 3. 拒絕「表面功夫」的模仿： 很多模型會學人類專家寫出漂亮但空洞的話（這叫獎勵過度最佳化）。團隊發現，不要獎勵模型「說話像人類」，而是要獎勵它「踩中正確的知識點」。

訓練心法：先練基本功，再練大絕招

Q2：這個 14B 模型的訓練步驟跟別人哪裡不一樣？

• 4. 黃金兩步走（SFT + RL）： 絕對不能一上來就讓模型自由發揮。必須先透過「監督式微調（SFT）」讓它死背基本的醫學知識（打底），接著才用「強化學習（RL）」教它怎麼把知識串起來（練邏輯）。
• 5. 零基礎直接強化學習會大翻車： 實驗證明，如果省略 SFT 打底，直接讓基礎模型跑強化學習（Zero-RL），模型會完全學不起來，表現甚至比沒訓練還差。
• 6. 強化學習「重質不重量」： SFT 階段用了近 2 萬筆資料打底，但在練邏輯的 RL 階段，只用了 5 千筆最精華的資料就夠了！這證明了教邏輯不需要海量題海，只需要好題目。
• 7. 淺層微調不夠，需要更深度的肌肉記憶： 團隊發現如果只用輕量級的 LoRA 技術來做強化學習，效果不好。要練出強大的邏輯，模型的權重需要更全面的更新。

獎勵機制的黑魔法：胡蘿蔔與棒子

Q3：裁判（獎勵機制）到底是怎麼給分的，才把模型教得這麼好？

• 8. 引入「負增強」機制（答錯重罰）： 給分超級嚴格。模型如果推導對了給一點小獎勵（+0.1），但如果最後答案選錯了，會扣超重的分數（-1.0），逼迫模型不斷去探索真正正確的解題路徑。
• 9. 獨創的「路徑對齊（Path Alignment）」給分法： 裁判會檢查模型的思考過程，有沒有確實提到知識圖譜裡的「關鍵節點」（例如從病因 -> 症狀 -> 藥物的關鍵字）。至少要命中兩個以上關鍵字才給分，防止模型作弊。
• 10. 自動化防呆，不怕被狂鑽漏洞： 為了防止模型一直重複念經來騙分數，這套獎勵機制還加入了「重複懲罰」，講廢話是拿不到分的。
• 11. 實現無人工的「無限規模擴張」： 因為是用知識圖譜來寫程式自動給分，省下了天價的專家標註費，這代表這種訓練法可以無限量產、超級好擴充。

舉一反三的奇蹟：學徒變大師

Q4：模型是怎麼做到「舉一反三」，解決沒見過的超難問題？

• 12. 練短跑，卻贏了長跑大賽： 這是最神奇的一點！訓練時，模型只看過 1 到 3 個步驟的簡單推理題；但考試時遇到需要轉彎 4 到 5 次的超複雜難題，它居然無師自通，表現大躍進。
• 13. 學會了「組合邏輯」，而不是死背題庫： 這是因為模型在訓練時，領悟了如何把 A 推到 B、B 推到 C 的「邏輯法則」。一旦掌握了法則，不管題目要推導幾步，它都能接續推下去。
• 14. 難度越高，它跟別人的差距越大： 在最難的 Level-5 終極難題中，沒訓練過的基礎模型準確率慘跌到 19%（比瞎猜還慘），但這個 14B 模型卻能穩坐 56% 以上的高分。

痛擊大型模型與專家的秘密

Q5：為什麼連 GPT-5.2、Gemini 3 Pro 和 32B 醫療專家模型都會輸給它？

• 15. 大模型容易在「長邏輯鏈」中迷路： 數據顯示，當推理步驟來到 4 到 5 步時，大型通用模型（如 GPT、Gemini）的準確率會開始停滯甚至下滑，但我們的 14B 模型卻在 5 步推理拿到最高分（89.33%）。
• 16. 不靠「選項作弊」，穩健性超強： 很多大模型做選擇題是靠猜測「選項的排列順序」。當團隊把錯誤選項打亂（壓力測試）時，大模型準確率掉了 4–6%，但 14B 模型幾乎文風不動（只掉 1%），證明它是真懂。
• 17. 跨越「死背」與「推理」的鴻溝： 另一個 32B 的醫療專家模型雖然在簡單的記憶題贏了，但在需要深度思考的題目卻慘輸 14B。因為大模型靠海量記憶，而 14B 靠的是嚴密的邏輯推導。
• 18. 資料品質 > 模型大小： 這再次印證了機器學習的鐵律：高品質、有嚴格邏輯依據的訓練資料，遠勝過盲目擴充模型的參數規模。

未來潛力：不只是醫療

Q6：這套方法未來還能發揮什麼影響力？

• 19. 只要有「知識圖譜」的領域都能複製成功： 這個秘密武器不綁死在醫療界。法律、化學、工程等任何可以建構出關聯圖譜的專業領域，都能套用這套 SFT+RL 方法，養出超強的專家模型。
• 20. 走出一條「小而美」的超級智慧之路： 大家都在瘋狂燒錢弄幾千億參數的模型，但這篇論文指出了另一條明路：用小巧精悍的專用模型，搭配知識圖譜做深度邏輯訓練，才是高效且負擔得起的未來。

觀點一：為「六個月後的 AI」做設計，別堆債

這個觀點在 2026 年已經被多個真實案例驗證了：
Claude Code 自身就是最佳活教材。 Boris Cherny（Claude Code 負責人）說過，Claude Code 的程式碼庫每隔幾個月就會被整個改寫，沒有任何六個月前的程式碼還留在正式環境裡，大約 80% 的程式碼都是最近幾個月才寫的。更誇張的是，到了 2026 年 3 月，Boris 確認 Claude Code 已經是 100% 由 Claude Code 自己寫的。

每次出新模型就刪掉一堆程式碼。 Claude Code 團隊的哲學是盡量減少模型周圍的程式碼，每當有新模型發布，他們就會刪掉大量程式碼。例如 4.0 模型出來後，他們直接砍掉了一半的系統提示詞，因為不再需要了。這完美印證了「現在寫的彌補程式，之後都會變成多餘技術債」的說法。

社群發明的工具也是這個命運。 社群曾經發明了 ROADMAP.md、ULTRATHINK、SCRATCHPAD.md 等方法，結果 Anthropic 一推出原生替代方案，這些全部瞬間過時。

RAG 架構的演化是另一個經典案例。 2023–2024 年主導的標準 RAG（先檢索再生成）模式，到 2026 年對靜態語料庫來說已經基本過時。Cache-Augmented Generation（CAG）在基準測試中完成查詢只要 2.33 秒，而 RAG 要 94.35 秒 — — 差了 40 倍。換句話說，當年大家花大把時間建的向量資料庫、embedding 管線、reranking 機制，隨著上下文窗口從 8K 暴增到 100 萬 token，很多都變成了不必要的基礎設施。

有研究者直接指出，像 LangChain 這類流行的 RAG 框架用的是 2023 年的過時模型，在 LLM 工具呼叫出現之前的設計。正式環境中的 RAG 系統常常讓人失望，而回應方式通常是堆疊更多的 workaround — — reranking、HyDE、query expansion、chunk overlap 調整 — — 複雜度不斷增加，效果卻沒等比提升。

更宏觀來看， 預估到 2026 年底，超過 75% 的組織將面臨中度以上的 AI 相關技術債。而 2026 年出現了所謂的「生產力悖論」 — — 團隊用 AI 產出更多 PR，但部署頻率、lead time、變更失敗率這些 DORA 指標完全沒動。code review 時間反而增加了 91%。

觀點二：多 AI 代理 agent teams 成真

這個在 2026 年有非常具體的案例：

Anthropic 自己的 Agent Teams 功能。 2026 年 2 月，Anthropic 發布了 Opus 4.6，正式推出「Agent Teams」 — — 可以把大任務拆分成多個子任務，由不同 agent 各自負責並互相協調。一個 agent 擔任「Lead」角色，把任務分配給「Teammates」，每個 teammate 有自己獨立的上下文窗口（最大 100 萬 token），透過「Mailbox Protocol」溝通。

Rakuten 的實戰案例。 日本電商巨頭 Rakuten 在早期測試中報告，Claude Opus 4.6 在一天之內自主關閉了 13 個 issue、把 12 個 issue 指派給正確的團隊成員，管理了一個約 50 人的組織、橫跨 6 個程式庫。

用 16 個 agent 從零寫出能編譯 Linux 核心的 C 編譯器。 Anthropic 的一位工程師讓 16 個 agent 團隊協作，經過近 2,000 個 Claude Code session、花了約 2 萬美元 API 費用，產出了一個 10 萬行的 Rust 寫的 C 編譯器，能在 x86、ARM、RISC-V 上編譯 Linux 6.9 核心。其中有些 agent 負責修 bug，有些負責消除重複程式碼，有些負責最佳化編譯器效能 — — 完全就是「主 AI 派出子 AI 分工」的模式。

Anthropic Research 系統的多 agent 架構。 Anthropic 的 Research 功能就是用一個主 agent 規劃研究策略，然後用工具建立多個平行的子 agent 同時搜尋資訊。他們的內部評估顯示，以 Opus 4 當主 agent、Sonnet 4 當子 agent 的多 agent 系統，在研究評估上比單一 Opus 4 agent 高出 90.2%。

產業趨勢的數據佐證。 到 2026 年，預估 40% 的企業應用會內建任務專屬的 AI agent，從 2025 年的不到 5% 大幅成長。三大通訊協定也已經成熟：Anthropic 的 MCP 標準化了 agent 存取工具和外部資源的方式，Google 的 A2A 讓不同廠商的 agent 能點對點協作，IBM 的 ACP 提供企業治理框架。