假設你收到一份 AI 整理的分析報告。段落分得整齊,每個主張後面都接一句看起來像來源的說明,圖表也配得剛好。你準備把它用在下一步的決策裡。採用前,可以先問:這份報告裡,哪些主張已經有人核對過?
報告讀起來順,仍不足以回答這個問題。「讀起來順」和「可以用」需要分開判斷:前者是這份輸出長什麼樣子,後者是這份輸出能不能支撐你接下來要做的事。
我想借用認知科學家 Donald Hoffman 的一個比喻,來想清楚這件事。我把 AI 生成的內容看作一層界面——即使資料、推論、措辭被組織成一份讀起來順的東西,那份「順」本身,也不等於內容正確,或適合你眼前的用途。
當輸出只是草稿或內部發想,可以依用途調整檢查的深度。但一旦這份輸出要被當作事實採信、要拿去做決策,或者要交付給別人使用,「看起來可信」就不足以構成採用的理由。你需要知道:這份輸出的哪一部分有依據,哪一部分還沒有。
如果這讓你不安,也不必因此只憑感覺採信,或乾脆什麼都不信。可以進一步問:對眼前這個用途來說,夠用的驗證是什麼樣子?
借 Hoffman 界面理論:好用不等於反映真實,AI 輸出的呈現方式與事實依據必須分開判斷
Donald Hoffman 是一位研究感知的認知科學家。他提出的界面理論(Interface Theory of Perception)將感知理解為引導行動的界面。他用電腦桌面與圖示作比喻,區分引導行動的表徵與如實描繪世界的目標。
Hoffman 與合作者的 Fitness-Beats-Truth(FBT)論文,比較了兩種感知策略在特定模型設定下的表現:一種策略推估世界的狀態,另一種策略最大化期望適應度報酬。在他們設定的模型條件下,追求適應度報酬的策略優於推估世界狀態的策略。這個結論的適用範圍受模型定義與假設約束。
我只借用這個理論帶出的問題:呈現是否好用,與內容是否準確,需要分開判斷。本文的驗證主張無須以整套界面理論成立為前提,也不從中推導客觀世界不存在。
回到 AI 輸出,我會分開檢查它的呈現方式(排版、語氣、邏輯的連貫感)、事實依據與用途。
雄吉丁蟲對啤酒瓶求偶的警示:表面訊號不等於真實對象,AI 看似成形的引用不等於有事實依據
曾有觀察記錄到,澳洲吉丁蟲(Julodimorpha bakewelli)的雄蟲會對著丟棄的棕色啤酒瓶求偶。
這個案例在本文只用來提示訊號與所指對象可能不一致。它不能作為界面理論或 AI 行為的證據。
借這個例子回看開頭的報告,流暢的語氣、完整的段落結構、看似成形的引用,都屬於呈現方式。核對引用是否真正支持主張,才有事實依據可供判斷。
採用 AI 輸出的三項驗證:核對來源、測試行為與檢查影響,彼此不能互相替代
回到開頭那份分析報告。把呈現和依據分開以後,下一步是把「依據」本身再拆開。我會依用途分成三項任務:核對事實、測試功能,以及檢查使用者需求與影響。
事實主張核對來源。報告裡引用的數字、日期、產業動態,都應對照原始出處。找到原始文件,看這個數字、這句話是不是真的在那裡,版本和日期是否對得上。
功能與程式輸出測試行為。如果 AI 輸出的是一段程式、一個流程、一份規則,應檢查它在你定義的情境下,會不會做出你要的行為。在真實或模擬的條件下執行,用事先定義好的需求檢查結果,並核對測試是否涵蓋需求。
交付後果檢查使用者需求與影響。一份報告會不會被拿去做錯誤的決定,一個功能上線後會不會影響到沒被考慮進去的使用者——交付前先檢查這些可能影響,交付後再看使用者的實際回饋。若影響延遲或難以量測,就保留不確定性,限制使用範圍。
這三項任務回答的是不同的問題,彼此不能互相替代。事實核對過,不代表程式的行為是對的;程式測試全過,不代表交付後不會傷到某個沒被考慮到的使用者。三項都空白的輸出,「看起來可信」就只是呈現層面的事,還沒有構成採用的理由。
短期內沒出事,不等於驗證已經通過。假設一份報告被使用後沒人抗議,或一個功能上線後沒有收到客訴,仍應另行核對事實與需求。沒有觀察到問題,不足以證明這些檢查已經完成。
驗證深度取決於影響與可逆程度:關鍵決策前,先挑出核心主張核對依據
驗證的深度應跟著輸出的用途、影響和可逆程度調整。一份低風險、隨時能收回、而且雙方都清楚只是草稿或發想的輸出,依用途檢查即可。當中的事實主張一旦要被採用或對外傳播,仍須核對。
回到開頭那份分析報告。可以先挑出一個會直接影響決策的關鍵主張,從核對它的依據開始,再依用途決定還要檢查哪些部分。挑選關鍵主張時,也可以借助領域知識判斷;這部分可接著看〈AI 都能交出像樣的報告了,專業還要學到什麼程度?(2026 完整解析)〉。
核對完這一個主張,可以記下它有哪些依據,哪些部分仍待確認,再判斷是否足以支撐眼前的決策。
當 AI 輸出要用來決策或交付,可信感需要驗證的支持。
如果你正在把 AI 寫的程式交付給使用者,可以接著讀〈AI 寫的測試全過,為什麼功能還是錯的?驗證閉環完整懶人包(2026)〉,把這個判準落到測試上。
延伸閱讀
- 〈AI 都能交出像樣的報告了,專業還要學到什麼程度?(2026 完整解析)〉——延伸討論專業判斷力。
- 〈AI 寫的測試全過,為什麼功能還是錯的?驗證閉環完整懶人包(2026)〉——把「功能要測試,不能只看測試有沒有過」這個判準,落到實際的驗證流程上。
參考資料
- Wikipedia, Donald D. Hoffman;UC Irvine News, The Case Against Reality.
- Prakash, C., Stephens, K. D., Hoffman, D. D., Singh, M., Fields, C. (2021). FBT 論文. Acta Biotheoretica, 69, 319–341.
- Wikipedia, Julodimorpha bakewelli.
- Hoffman, D. (2015). Do we see reality as it is? TED 演講逐字稿(轉錄來源)。
留言0
登入後就能留言。
登入