跳至主要內容

    AI 都能交出像樣的報告了,專業還要學到什麼程度?(2026 完整解析)

    學到說得出成果最依賴的三個關鍵假設並懂得驗證,才能放心把執行交給 AI

    sunny 桑尼· · 16 MIN READ · 294 次瀏覽

    AI 都能交出像樣的報告了,專業還要學到什麼程度?(2026 完整解析)
    本文目錄

    AI 十分鐘就交出一份比你還整齊的報告,你是不是也開始懷疑:專業還要學嗎?這篇用三個真實實驗告訴你,專業要學到哪一條線才夠用!

    你請 AI 做一份競品分析,十分鐘後拿到八頁報告:市場規模、比較表、三點建議,排版比你自己做的還整齊。你從頭讀到尾,找不到哪裡有問題。

    這時候冒出來的問題很實際:AI 都交得出這種東西了,我還要把專業學到什麼程度?

    我的答案是:學到你說得出這份成果最關鍵的三個假設,並且知道怎麼驗它們。做到之前,可以用 AI,但還不能把判斷交給它。AI 一定會出錯,要問的是它出錯的時候,你看不看得出來。

    快速回答 AI 讓產出變便宜,檢查的成本沒變,甚至取決於檢查的人懂不懂。看不出關鍵錯誤,就還不能把判斷交給 AI。學一門專業到什麼程度才能用 AI?標準是:在真實場景中能說得出三個關鍵失敗條件、能看懂錯誤訊息的真因、能在重要產出上指出模型哪裡在胡說。

    在 AI 能力邊界外的題目,用 AI 的 BCG 顧問答對率反而從 84.5% 掉到 60%

    哈佛商學院、華頓商學院等學者和波士頓顧問公司(BCG)合作做過一個實驗,2026 年 3 月正式刊登在期刊《Organization Science》。758 名 BCG 顧問先做一輪基準測驗,再隨機分成三組:不用 AI、用 GPT-4、用 GPT-4 並先看一段提示工程說明。

    在 18 個落在 AI 能力範圍內的任務上,用 AI 的人多完成 12.2% 的任務、速度快 25.1%,品質也明顯較好。研究者另外設計了一題刻意選在 AI 能力範圍外的管理題:要對照訪談紀錄和財務數字,才找得出一個品牌問題的根源。這一題的結果反過來。

    在 AI 能力邊界外的管理題上,不用 AI 的顧問答對率達 84.5%,使用 GPT-4 且看過提示工程說明的組別反而降至 60%(資料來源:Dell'Acqua 等人 2026 年 BCG 顧問隨機實驗,n=758)。

    這張圖有兩件事值得看。答錯變多的,是一群以分析為業的顧問。多看了提示工程說明的那組,答對率最低:會下指令,沒有幫他們看出 AI 這一次錯了。

    研究者把這個現象叫做「jagged technological frontier」,參差不齊的能力邊界。AI 在某些任務上很強、某些任務上很弱,而且這兩種任務可能出現在同一份工作裡,看起來難度差不多。論文摘要的原話是,AI 讓某些任務變好、讓另一些變差,「even within the same knowledge workflow and with a seemingly similar level of difficulty」。

    邊界參差不齊還好,麻煩的是它看不見。沒有人會在題目旁邊標「這題在邊界外」。顧問拿到的,是一份和邊界內任務同樣流暢、同樣有自信的答案。

    AI 讓產出變便宜,但檢查對錯的成本取決於你的領域知識

    AI 改變的是成本結構。以前一份分析報告貴在做:找資料、整理、畫圖、寫結論,要好幾天。現在這段幾乎免費。判斷這份報告對不對的成本卻幾乎沒變,你還是得知道數字從哪裡來、假設合不合理、結論有沒有跳太遠。

    而且檢查的成本,要看檢查的人是誰。同一份報告,交給懂這個領域的人,十分鐘就能指出最可疑的那一段;交給不懂的人,看一整天也只能確認格式沒錯。

    Andrej Karpathy 在 2025 年 11 月的〈Verifiability〉裡寫:傳統軟體擅長自動化你說得清楚的事,神經網路擅長自動化你驗得了的事。能重來、能快速試很多次、能自動打分的任務,像數學和程式,AI 進步得特別快;需要常識和真實世界知識的工作就落後。我把這句話往人身上再推一步:你能放心交給 AI 的,是你自己驗得了的工作。而你驗得了什麼,取決於你懂什麼。

    Microsoft Research 和卡內基美隆大學在 CHI 2025 發表的問卷研究,從使用者這一端看到同一件事。319 名每週都用生成式 AI 的知識工作者,分享了 936 個實際例子。越相信 AI 的人,越少對結果做批判性思考;對自己在這項任務越有把握的人,越會去檢查。在自己懂的領域,受訪者會用自己的知識抓出 AI 的偏誤;有 58 人提到檢查 AI 回應的障礙,例如領域知識不夠。一位受訪者說:「不懂那個主題的時候,很難判斷 AI 給的答案對不對。」

    台灣也有一個很直白的版本。2026 年 7 月,桃園地院法官孫健智在一份土地買賣糾紛的判決開頭寫:「不要問AI、不要用AI寫上訴狀,更不要以為人家看不出來。」後半句說的就是這件事。一份書狀,寫的人覺得像樣,懂法律的人一讀就知道哪裡不對。差別在誰懂這一行。

    放射科醫師實驗:當 AI 給出錯誤建議,資深專家的答對率是新手的 2.3 倍

    那懂這一行的人,是不是就不受 AI 影響?德國科隆大學等團隊 2023 年在醫學期刊《Radiology》發表的實驗,給了一個不太舒服的答案。

    27 位放射科醫師判讀乳房攝影,旁邊有一個「AI」給分級建議。醫師不知道的是,這個 AI 是研究者模擬的,40 張測試影像裡有 12 張故意給錯。

    當 AI 給出錯誤建議時,經驗少的醫師答對率跌至 19.8%,資深醫師則守住 45.5%(資料來源:Dratsch 等人 2023 年《Radiology》實驗,n=27)。

    AI 給對的時候,三組幾乎一樣好,看不出經驗的差別。差距全部出現在 AI 錯的那 12 張:經驗少的醫師大多跟著錯,資深醫師答對的比例是他們的兩倍多。專業知識在這裡的作用很具體,它是你和一個錯誤答案之間僅有的那道防線。

    但資深醫師也只守住不到一半。專業讓你有能力看出錯,前提是你真的停下來看。研究者的建議很務實:讓使用者覺得自己要為這個決定負責,被 AI 帶著走的情況會少一點。BCG 的顧問、這裡的資深醫師,都不缺專業。他們缺的,是在答案看起來很像樣的時候,仍然停下來檢查的那個動作。

    專業要學到什麼程度才夠用:說得出成果最依賴的三個關鍵假設並懂得驗證

    回到開頭的問題。「專業學到什麼程度」聽起來很難量,我建議換一個量得出來的標準:拿到一份 AI 做的成果,你說不說得出它最依賴的三個假設,以及每一個怎麼驗。

    關鍵假設的意思是,它一錯,結論就翻過來。它通常藏在報告最不顯眼的地方:資料怎麼來、數字怎麼算、範圍怎麼劃。下面是幾種常見成果的例子。

    AI 交出的成果最關鍵的三個假設怎麼驗

    銷售預測模型
    最關鍵的三個假設
    用來預測的欄位,在預測當下真的拿得到;過去幾年的資料能代表明年;評估用的指標,就是業務做決定時看的數字
    怎麼驗
    逐欄問「這個值什麼時候產生」;照時間切開資料重跑一次;請業務說出他會看哪個數字
    市場規模估算
    最關鍵的三個假設
    目標客群的定義和你要賣的對象一致;單價和滲透率有出處;成長率有根據,沒有把過去兩年直接外推
    怎麼驗
    追每個數字的原始來源;把客群定義寫成一句話給業務看;換一個保守的成長率重算
    合約草稿
    最關鍵的三個假設
    引用的法條和判決真的存在而且有效;管轄和適用法律符合雙方情況;違約條款對你這一方執行得了
    怎麼驗
    到全國法規資料庫和司法院裁判書系統逐條查;請有執照的律師看一次
    一段要上線的程式
    最關鍵的三個假設
    輸入的範圍和格式和真實資料一樣;出錯時有處理;依賴的外部服務,行為和 AI 以為的一樣
    怎麼驗
    用真實資料和邊界值跑;故意讓外部服務失敗一次;對照官方文件

    說不出這三個假設,代表你還在這個領域的邊界外,AI 交給你的東西,對錯只能用猜的。說得出假設、但不知道怎麼驗,代表你知道風險在哪,下一步是學驗證的方法。兩個都做得到,這類工作就可以交給 AI 做,你負責驗。

    這也回答了「要學什麼」。要學的範圍比整個學科小得多:這類成果最常出錯的那幾個地方,和檢查它們的方法。三這個數字沒有魔法,有些成果只有一個要命的假設。但逼自己寫到三個,通常會碰到一個原本沒想到的。

    學習時全靠 AI 代勞,最容易喪失「抓錯與除錯」的能力

    學習本身也交給 AI 的話,這個標準會更難達到。

    Anthropic 在 2026 年 1 月發表一個隨機實驗:52 位工程師學一個沒用過的 Python 非同步函式庫,一半可以用 AI,一半自己寫。做完之後考試,用 AI 的組平均 50 分,自己寫的組 67 分;差距最大的是除錯題,也就是看出程式哪裡錯的能力。速度上,用 AI 的組只快了大約兩分鐘,差異沒有統計顯著。

    用 AI 的人裡面也分成兩種。全部交給 AI 寫、或一出錯就叫 AI 修的人,平均不到 40 分;拿 AI 來問概念、問「為什麼這樣寫」的人,平均 65 分以上。研究者提醒這部分只是觀察,不能當成因果,但方向很一致:交給 AI 代勞時,最沒長出來的正是抓錯的能力。

    用 AI 學新函式庫,時間沒有顯著變快,測驗分數卻明顯較低;同樣用 AI,拿它來問「為什麼」的人分數遠高於全部交辦的人。(圖片來源:Anthropic〈How AI assistance impacts the formation of coding skills〉,經 Sunny DataScience 中文重點標註)

    所以用 AI 學東西時,每次多問一句:「這個做法在什麼情況下會錯?」它的回答未必對,但這個問題會逼你去看假設,而看假設正是你要練的東西。

    實務分級:依「出錯影響誰、收不收得回」決定專業要學多深

    不必每件事都學到能驗三個假設。錯了會影響誰、收不收得回,決定你要懂到什麼程度。我把常見的工作分成三階。

    工作風險越高,自己要懂的專業越深:交給團隊或客戶的成果,必須能說出並驗證三個關鍵假設(Sunny DataScience 整理)。

    第一階是只影響自己、隨時可以重做的事:整理自己的讀書筆記、探索一個新題目、做一個只有自己用的小工具。這裡直接用 AI,錯了就改,不必先學。很多人是在這一階第一次撞到自己的邊界,才知道該學什麼。

    第二階是交給團隊或客戶、錯了要花力氣收回的事:給主管的分析報告、對外的提案、一個同事會用到的功能。這一階要做到上一節的標準,交出去之前寫得出三個關鍵假設,每個都實際驗過一次。

    第三階是涉及錢、個資、健康、法律,或錯了收不回的事:合約、醫療判斷、財務報表、影響某個人權益的決定。這一階不能只靠自己加上 AI,要有具備相應專業和資格的人看過。你自己要學到的程度,是看得懂他改了什麼、為什麼改,能和他討論。

    說一件對我不太有利的事。我在辦 AI 實戰營,照理說應該告訴你每一階都要學好學滿。但多數人的工作,有很大一部分落在第一階和第二階;真正要學到能自己驗的,是你要負責交出去的那幾類成果。學習時間應該花在那裡。

    15 分鐘自我檢測:請 AI 在成果裡偷偷埋三個錯,看你抓不抓得到

    某個領域你在邊界內還是外,可以自己量。做法是請 AI 在一份成果裡偷偷埋錯,看你抓不抓得到。

    想驗證的事有兩件。一、在你熟的領域,你抓得到大部分的錯。二、換到一個相鄰但不熟的領域,抓到的數量會明顯變少。如果第二件沒發生,可能是你對那個領域懂得比自己以為的多,也可能是埋的錯太明顯,換一份成果再試一次。

    前提是選一份你真的會交出去的那類成果,一頁左右,可以是一份分析、一段程式、一份企劃。開一個新的對話,貼上下面這段指令和你的成果:

    以下是一份[成果類型]。請在裡面埋三個錯誤,不要標示位置:
    1. 一個前提錯誤:資料來源、對象或範圍的假設不成立
    2. 一個數字錯誤:計算、單位或比例錯了,但看起來合理
    3. 一個推論錯誤:結論說得比證據多
    改完後先輸出修改過的全文。
    最後用「===答案===」隔開,寫出三個錯誤的位置和說明。
    
    [貼上你的成果]
    

    先把答案那段遮起來,給自己十五分鐘,把你認為有問題的地方標出來,每一處寫一句為什麼。時間到再打開答案對照。

    結果這樣讀:三個都抓到、說得出為什麼,這類成果你可以交給 AI 做、自己驗。抓到一兩個,漏掉的那一類就是你要補的地方;如果漏的是前提錯誤,要特別留意,前提一錯,整份結論都會翻過來。一個都沒抓到,這類成果你目前在邊界外,交出去之前要有懂的人幫你看。再換一個相鄰的領域做一次,兩次結果的落差,就是你自己那條參差不齊的邊界。

    這個檢查有它的限制。AI 埋的錯可能比真實世界的錯好找,也可能更刁鑽;它量到的只是一個大概的位置。但它比「我覺得我看得懂」可靠得多。

    破除三個常見誤解:學好 Prompt 不能防錯,專家不檢查也會被帶偏

    「學好 prompt 就夠了」。BCG 實驗裡多看了提示工程說明的那組,在邊界外的題目答對率最低。下指令的技巧讓 AI 做得更多,沒有讓人看出它錯在哪。

    「我是專家,不會被帶偏」。資深放射科醫師在 AI 給錯時,答對率也從八成掉到四成五。專業給你看出錯的能力,看不看還是要靠自己。

    「要先學完整套專業,才能用 AI」。第一階的工作不需要。先用,撞到邊界再補,學得更有方向。

    例外條件:當結果能由機器自動驗證時,前提是你看得懂驗證規則

    有一種情況,你不必自己懂那麼多:結果可以交給機器驗證。程式有完整的測試、數學有標準答案、資料轉換可以前後比對總數,這時候驗證的工作可以交給工具。Karpathy 說 AI 在這類任務上進步最快,也是同一個原因。

    但測試是誰寫的?如果測試也是 AI 寫的,而你看不懂它在測什麼,問題只是往後挪了一格。能交給機器驗證的,是你看得懂驗證方法的那一部分。

    結論:交出 AI 成果前先寫下三個關鍵假設,看不出錯就別把判斷交給 AI

    下次 AI 交給你一份很像樣的成果,先別急著問它對不對。拿一張紙,寫下這份成果最依賴的三個假設。

    寫得出來,就一個一個去驗。寫不出來,那就是你下一個要學的地方。

    會用 AI 的人很多。能把 AI 的成果交出去、還說得出為什麼可以交的人,才是能用 AI 做出東西的人。看不出關鍵錯誤,就還不能把判斷交出去。

    在資料分析這一行,「要學到什麼程度」具體長什麼樣子,可以接著讀〈AI 會寫 SQL 了,還需要學 Data Science 嗎?(2026 完整解析)〉。

    常見問題

    為什麼說 AI 是放大領域判斷,而不是取代專業知識?

    AI 能迅速生成符合語法結構、表面專業的完整文案或程式碼,但它無法感知現實世界的物理邊界與商業約束。缺乏專業判斷的使用者無法分辨輸出中的合理推論與致命幻覺;只有具備領域知識的人,才能在幾秒內挑出致命盲點,將 AI 的產出轉化為可靠決策。

    BCG 實驗(Jagged Technological Frontier)說明了什麼現象?

    波士頓顧問公司(BCG)與哈佛的研究發現:在 AI 能力邊界內(如腦力激盪、文案起草),顧問使用 AI 後表現提升了 40% 以上;但只要題目稍微越過邊界(需要嚴謹因果邏輯),使用 AI 的顧問答對率反而暴跌 19 個百分點,因為他們被 AI 流暢的錯誤推論誤導了。

    跨進新領域時,怎麼判斷自己懂的程度夠不夠用 AI?

    看自己是否能說出這項工作的「三個關鍵失敗條件」。例如做登入系統,知不知道密碼不能存明文、Token 逾期如何更新、如何防禦 CSRF。如果你連有哪些坑都不知道,AI 寫出來的程式就算跑得通,你也無法為它的安全性背書。

    不會寫程式的人用 AI 寫程式,最常在哪裡翻車?

    最常翻車在環境組態、相依套件版本與權限控管。AI 生成函式邏輯很拿手,但當終端機跳出找不到路徑、連線逾時、資料庫連線池耗盡或跨域請求被擋時,無法看懂錯誤堆疊的使用者容易陷入反覆要求 AI「重試」的死胡同。

    延伸閱讀

    參考資料

    實驗與研究

    • Fabrizio Dell'Acqua, Edward McFowland III, Ethan Mollick, et al., Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality(Organization Science 37(2): 403–423, 2026-03) https://doi.org/10.1287/orsc.2025.21838
    • HBS AI Institute, Back to the Beginnings of AI at Work(2026-04-09,邊界外任務各組答對率) https://aiinstitute.hbs.edu/back-to-the-beginnings-of-ai-at-work/
    • Thomas Dratsch, Xue Chen, et al., Automation Bias in Mammography: The Impact of Artificial Intelligence BI-RADS Suggestions on Reader Performance(Radiology 307(4): e222176, 2023-05-02) https://doi.org/10.1148/radiol.222176
    • Hao-Ping Lee, Advait Sarkar, Lev Tankelevitch, et al., The Impact of Generative AI on Critical Thinking: Self-Reported Reductions in Cognitive Effort and Confidence Effects From a Survey of Knowledge Workers(CHI '25, 2025-04) https://doi.org/10.1145/3706598.3713778
    • Judy Hanwen Shen & Alex Tamkin(Anthropic), How AI assistance impacts the formation of coding skills(2026-01-29);論文 How AI Impacts Skill Formation(arXiv 2601.20245) https://www.anthropic.com/research/AI-assistance-coding-skills

    觀點與報導

    留言0

    登入後就能留言。

    登入