AI 搜尋講座談了十多項技術，本站挑 12 項分四級排先後

你的向量索引有 1.38 億筆 1024 維向量，不量化的話，光是 HNSW（一種常用的向量近似搜尋索引）就要約 535GB。Elastic 的技術文章（作者 Benjamin Trent，2024 年 11 月 11 日）估算，換成 BBQ（Better Binary Quantization，改良式二元量化）後約 19GB，他的測試用一台 64GB 的節點。同樣是搜尋的新做法，量化這一項有公開資料集上的測試數字可以核對。

向量量化只是十多項搜尋新技術之一，這些技術並列時，讀者看不出該先投入哪一項。2026 年 6 月 30 日，《AI-Powered Search》的作者 Trey Grainger 與 Doug Turnbull 辦完十場免費講座的最後一場，把這類技術一口氣講過一遍。這篇回答一個問題：講座談到的技術裡，有哪幾項值得你現在投入。

快速回答 以人為主要使用者、已有關鍵字搜尋的團隊，先做混合搜尋；有點擊紀錄就加點擊訊號加權，第一階段召回夠用再加重排序，向量索引讓記憶體吃緊時才做量化。混合搜尋、重排序與量化各有論文或官方文件的數字，點擊訊號加權目前只有書中論述。ColBERT、SPLADE 已有正式搜尋論文，先了解；Hypencoder、Semantic IDs、wormhole vectors 先觀望。分級是本站做的，活動頁沒有替任何技術分級。

這場講座談了哪些技術，分級從哪裡來

2026 年 6 月 30 日的《The New Frontier of AI Search》是「The Frontier of AI Search」系列十場講座的最後一場，活動頁的章節表列出十多個主題，頁面沒有替任何技術分級。講者是 Trey Grainger（Searchkernel 創辦人，曾任 Presearch CTO）和 Doug Turnbull（曾在 Reddit、Shopify、Wikipedia 帶搜尋團隊），身分都取自 Maven 活動頁的講者介紹。

系列裡其他場次由業界工程師主講，例如 Vespa.ai 的 Radu Gheorghe 談 cross-encoder（6 月 17 日）、GitHub 的 David Tippett 談向量搜尋上線（6 月 24 日）、Doug Turnbull 與 Trey Grainger 談 Agent 能不能直接用 grep（6 月 29 日）。每一場都附帶付費課程《AI-Powered Search: Modern Retrieval for Humans & Agents》的報名資訊，所以這份清單同時是課程的宣傳素材，讀的時候要把這個動機算進去。

講座錄影要用 email 註冊才能看，本篇沒有看影片，也沒有逐字稿。講者在影片裡怎麼排序，文件未說明；本篇依據的是活動頁的描述與章節表，加上每項技術的原論文與官方文件。活動頁章節表裡還有主動學習、多模態搜尋、領域專用模型等主題，這篇先選 12 項整理，沒有逐一收錄。收錄標準是有可查證的一手出處，包括論文、書、官方文件，或講者自己的講座頁與文章；成效數字有沒有，逐項標在表裡，沒有數字的就寫沒有。

12 項技術的投入、報酬與成熟度放在一張表

下表把 12 項技術分成四級：先做、有條件再做、先了解、先觀望。「投入」和「本站分級」是本站的判斷；「報酬」欄的數字與主張，出處在後面各節。

排在前面的四項，判準是投入能局部導入、不用改整套系統，並有論文或文件支持；其中點擊訊號加權只有書中論述，沒有成效數字。只有論文摘要或活動頁主張、沒有第三方重現的，放在後面。

混合搜尋與重排序，先補哪一層？

已經有關鍵字搜尋的團隊，第一步是再加一路向量檢索，把兩路結果融合，這叫混合搜尋（hybrid search）；融合最省事的做法是 RRF（Reciprocal Rank Fusion，倒數排名融合）。Gordon Cormack、Charles Clarke 與 Stefan Büttcher 在 SIGIR 2009 的短論文裡報告，RRF 在多組 TREC 實驗上，結果一致優於任何單一系統，也優於當時常用的 Condorcet Fuse；常數 k = 60 是在前導實驗中定下，之後沒有再調。

Elastic 的文件把公式寫得很短：每份文件在每一路結果裡的得分是 1/(k + 名次)，加總後排序，預設 rank_constant 是 60，文件稱 RRF 不需要調參，各路的相關性指標也不必彼此相關。工程上的意思是：融合只看名次，不用先把關鍵字搜尋的 BM25 分數和向量距離換成同一套尺度。Elastic 的 rrf retriever（RRF 融合元件）現行文件要求至少接兩個搜尋元件。6 月 30 日講座的章節表裡，混合搜尋與稀疏、稠密檢索的光譜是最先談的兩段。

重排序（reranking）是在第一階段取回候選後，用更精細的模型重新打分。6 月 17 日的 cross-encoder 講座頁說明，cross-encoder 把查詢和文件一起讀進模型，能抓到兩者關係的許多細節，所以是強的 reranker，但在大量文件上跑很貴；頁面建議的控制成本方式是多階段排序與 GPU。Rodrigo Nogueira 與 Kyunghyun Cho 在 2019 年 1 月的論文裡，用 BERT 做段落重排，在 MS MARCO 段落檢索榜上，MRR@10 相對當時最佳成績高 27%。MRR@10 看前 10 筆結果中第一筆相關結果排得多前面，分數越高越好。這個數字比較的是 2019 年的 BERT 重排器與當時的榜單前一名，不能直接當成今天任何一套系統的預期增幅。

本站的建議：兩者都只動排序鏈的一個環節，可以分開上線；cross-encoder 先只處理第一階段的前幾十筆，延遲預算量出來再放寬，「前幾十筆」是我的建議，文件未指定這個數量。

向量索引太大，量化能省多少記憶體？

向量量化（quantization）是把每個維度從 32 位元浮點數壓成更少的位元，換取記憶體，付出的代價是召回率與重算成本。Elastic 的文章（Benjamin Trent，2024 年 11 月 11 日）說 BBQ 約省 95% 記憶體並維持高排序品質；CohereV3 的 100 萬筆 1024 維向量，BBQ 的索引 208MB，未量化的 float32 是 4162MB。

三組數字放在一起看：

召回率的數字有條件：CohereV3 在 HNSW 加 3 倍過採樣（oversampling，多取候選再重算）時，1 位元量化的召回率超過 90%；E5-small 資料集在單一位元精度下召回率 74%。重算（rescoring）用的是原始 float32 向量，所以原始向量仍要保留。138M 筆 1024 維的案例，文章估算未量化的 HNSW 約 535GB，BBQ 約 19GB。

6 月 24 日由 GitHub 的 David Tippett 主講的場次，活動頁把重算與建索引的瓶頸列為量化的隱性成本，頁面沒有給量化前後的數字。Elastic 的 GitHub 客戶頁說，GitHub 在 BBQ 可用於正式環境後就採用了它。工程上的意思是：量化省的是常駐記憶體，換來的是多一道重算流程與更長的建索引時間，上線前要量自己資料的召回率，Elastic 文章的數字是在公開資料集上量的。

使用者行為：點擊訊號先排上去

有點擊與購買紀錄的搜尋系統，可以把熱門查詢下最多人點的文件排前面，這叫訊號加權（signals boosting）。Trey Grainger、Doug Turnbull 與 Max Irwin 合著、Manning 出版的《AI-Powered Search》把它放在第 8 章，是第 4 章介紹的反射式智慧（reflected intelligence，從使用者行為學習）三類做法之一。

章節大綱列出六件事，整理如下：

章節的理由是：少數高頻查詢占了搜尋量的大部分，也累積較多點擊與購買紀錄，所以訊號加權對這些高頻查詢最有效。我只讀到章節大綱與簡介，沒讀到正文與程式碼。

這一項對 Agent 時代有一個明顯的問題：誰在點？2026 年 5 月 15 日 Turnbull 與 Grainger 的另一場講座〈Where are teams going wrong with search?〉，章節表有一段叫「The Disappearing Clickstream in Agentic UX」，標題的意思是 Agent 當使用者時點擊紀錄會消失；內文怎麼處理，頁面未說明。

沒有人工標註，LLM 評審能信到哪裡？

沒有人工相關性標註時，可以先請 LLM 當評審產生標籤。Lianmin Zheng 等人 2023 年的論文發現，GPT-4 這類強模型與人類偏好的一致率超過 80%，與人類彼此之間的一致率相當；論文同時列出四種偏誤：位置偏誤、冗長偏誤、自我偏好偏誤與推理能力有限。

這個 80% 是在 MT-Bench 與 Chatbot Arena 上量的，評審對象是聊天助理的回答品質；搜尋標註的一致率，仍要用自己的資料來測量。6 月 30 日講座有一段談 LLM 當評審用於評估與訓練，系列課程的第二週把它和行為訊號放在一起。本站另一篇整理過 LLM Judge 用清單或單一分數的證據，見〈LLM Judge 的 Yes/No 清單在成對比較最有證據，直接打分未必〉。

查詢理解：語意知識圖與 wormhole vectors

語意知識圖（Semantic Knowledge Graph，SKG）把詞當節點，用詞在同一份文件中出現的情況建立連線，再用語料統計替詞與詞的關係打分，用來做查詢理解與擴展。Trey Grainger、Khalifeh AlJadda、Mohammed Korayem 與 Andries Smith 在 CareerBuilder 發表的論文（arXiv，2016 年 9 月 2 日；DSAA 2016）說，它建在倒排索引加一個反向索引上，可以從語料自動建出來，摘要列出的用途包括語意搜尋、異常偵測、資料清理與推薦。摘要沒有給對照數字。

wormhole vectors 用一個「蟲洞」向量，把關鍵字檢索（稀疏空間）與向量檢索（稠密空間）接起來。從關鍵字檢索走向向量檢索時，先找到一組相關文件，再把這些文件的向量合併成一個；反方向則走語意知識圖，導出關鍵字查詢。以上是 Dmitry Kan 在 2025 年 11 月 7 日 Vector Podcast 文章的整理，Grainger 的現場介紹約在兩週前；該頁沒有基準數字，也沒有寫限制。

後續還有一場談 wormhole vectors 的講座：Maven 上 2026 年 10 月 21 日的講座〈Better Hybrid & Agentic Search with Wormhole Vectors〉，活動頁（2026-10-23 查閱）稱它在基準測試中勝過標準混合搜尋，沒有數字與方法，頁面寫「Recording coming soon」。在有可核對的基準之前，我把它放在先觀望。

新的檢索模型：late interaction、SPLADE、Hypencoder、Semantic IDs

這四項都在改檢索模型本身，各有一篇原論文，成熟度從 2020 年的 SIGIR 論文到 2025 年的預印本不等。

Late interaction：Omar Khattab 與 Matei Zaharia 的 ColBERT（SIGIR 2020，arXiv 2020 年 4 月）把查詢與文件分開編碼，文件表示可以離線預先算好，再用輕量的互動步驟比對細節。摘要稱它比可比的 BERT 排序方法快兩個數量級，每次查詢少四個數量級的浮點運算。我的推論是：預先算好的表示是逐 token 的一組向量，索引大小會比單向量方法大，摘要沒有談這件事，要自己量。6 月 17 日的 cross-encoder 講座也有一段「Late interaction vs. cross-encoders」。

SPLADE：Thibault Formal、Benjamin Piwowarski 與 Stéphane Clinchant 2021 年 7 月的 SIGIR 短論文，用稀疏正則化與對數飽和效應，讓模型輸出高度稀疏的詞權重。白話說，就是替詞打分，但只保留少數非零的權重，藉此保留精確詞比對與倒排索引的效率；摘要稱結果與當時最佳的稠密與稀疏方法相當，沒有給數字。

Hypencoder：Julian Killingback、Hansi Zeng 與 Hamed Zamani 2025 年 2 月的預印本，用超網路（hypernetwork，產生另一個網路權重的網路）當查詢編碼器，為每個查詢產生一個小型神經網路來替文件打分。摘要稱領域內任務顯著優於強的稠密檢索模型，在「想不起名字的搜尋」與「照指令檢索」上差距更大，用近似搜尋能在 60 毫秒內從 880 萬份文件取回；摘要沒有給準確度數字，arXiv 頁面未列已發表的會議或期刊。

Semantic IDs：Shashank Rajput 等人的論文（NeurIPS 2023，arXiv 2023 年 5 月）替每個項目指派一組帶語意的碼字，讓模型逐步生成目標項目的 ID，論文稱在推薦任務上優於當時的最佳模型，對沒有互動紀錄的項目泛化較好。它的任務是推薦系統，用到文件搜尋上要自己驗證。

Agent 當使用者：grep、BM25 與工具迴圈

搜尋的使用者是 Agent 時，Turnbull 與 Grainger 在 2026 年 6 月 29 日〈Agentic search: can we just use grep?〉講座的核心主張是：Agent 常對使用者覺得相關的東西做出錯誤假設，需要外部資訊來補，而 context engineering（為模型安排該看到什麼資訊）需要 agentic search。活動頁舉的例子是時尚搜尋的使用者可能預期「red shoes」回傳高跟鞋，某間公司的「ABE」指的是一個 A/B 測試工具。

下表整理三場相關講座的活動頁主張，數據欄指頁面有沒有附數字與方法：

章節表顯示 6 月 29 日的講座比較了三種實作模型，談到直接在檔案系統上用 grep、索引階段的內容強化，以及 grep 在規模大時的限制；頁面把「just use grep」到「做更強的 grep 型搜尋」列為互相競爭的做法。6 月 25 日另一場由 Hevmind 的 Adam Hevenor 主講的講座，提出三種做法：預先產生摘要並建立索引、需要時才逐步提供更多內容（漸進揭露），以及讓 Agent 根據工具回傳的結果繼續呼叫工具（工具迴圈）。頁面沒有量化結果。

另一場後續講座：2026 年 10 月 30 日的〈The Unreasonable Effectiveness of BM25 for Agentic Search〉，講者是 HORNET.dev 的 Jo Kristian Bergum，Grainger 與 Turnbull 同列。活動頁（2026-10-23 查閱，講座尚未舉行）的主張有三個：檢索常是限制 Agent 表現的瓶頸；BM25 之於搜尋 Agent，類似 grep 之於寫程式 Agent；GPT-5 在約 98% 的對話裡寫出長而精確、含完整詞組的查詢。這些都是活動頁的說法，沒有附方法與資料。

工程上的意思：把搜尋包成 Agent 的工具後，要評估的單位從單一查詢的排名，改成整個任務有沒有完成，活動頁也這樣主張；索引階段預先做摘要，也是在替 Agent 少跑幾輪工具呼叫。

這個分級可能錯在哪裡？

這份分級有三個限制。第一，我讀到的是活動頁、摘要與官方文件，沒有看錄影，講者本人對這些技術的看法可能與我的分級不同。第二，Elastic、Vespa 與課程方都有商業利益，Elastic 文章的數字來自 Elastic 自己的測試。第三，我讀到的摘要與活動頁都沒有提到中文語料，中文搜尋的斷詞與詞彙差異會影響稀疏方法與評估結果，這一點文件未說明，要自己量。

另一種解釋也說得通：這份清單的熱度，有一部分來自它是付費課程的目錄。就算如此，每一項都有各自可以獨立查證的出處，分級可以拿自己的資料來推翻。

先量基線，再依資料排順序

動手前我會先花一週確認三件事：有沒有離線評估集、有沒有點擊與購買紀錄、向量索引占多少記憶體。離線評估集是一組查詢與相關結果的標註，用來比較搜尋品質；沒有它，其他技術都無從比較，所以先用少量人工標註加校準過的 LLM 評審補一組，再決定先動哪一環。這個順序偏保守：如果你的使用者主要是 Agent，工具迴圈與索引階段的內容強化該往前排，但這部分的公開證據目前最少，要看各項怎麼分級請回頭看圖 1。先量出你的索引是 535GB 級還是 19GB 級再排工。

常見問題

混合搜尋一定要用 RRF 嗎？

不一定，但 RRF（倒數排名融合）最省事。它把各路結果的名次換成分數後加總，不必先對齊不同搜尋方法的分數尺度；Elastic 文件稱它不需調參，預設常數為 60，Cormack 等人 2009 年的論文也報告它在多組 TREC 實驗上優於單一系統。Elastic 的 rrf retriever（RRF 融合元件）現行文件要求至少接兩個搜尋元件。

向量量化會掉多少召回率？

看資料集與測試條件。Elastic 2024 年 11 月報告：CohereV3 使用 HNSW 索引、搭配 3 倍過採樣（多取候選再重算）時，1 位元量化召回率超過 90%。E5-small 在 1 位元精度下召回率 74%，測試條件和 CohereV3 那組不同。這些是量化後的召回率，實際下降多少，要在自己的資料上比較。

LLM 當評審可以取代人工標註嗎？

不能直接取代。Zheng 等人 2023 年的論文中，GPT-4 與人類偏好的一致率超過 80%，但那是聊天助理回答的評測，論文也列出位置、冗長、自我偏好三種偏誤與推理能力有限。搜尋相關性要先用一批人工標註校準，再決定能放手多少。

Agent 搜尋一定要向量資料庫嗎？

不一定。2026 年 6 月 29 日的講座頁把直接用 grep（用文字模式搜尋檔案的工具）搜尋檔案列為一種做法，也指出它在規模大時有限制；10 月 30 日的 BM25 講座頁則把 BM25（依關鍵字相關性排序的方法）比作搜尋 Agent 使用的 grep，該場尚未舉行，也未附方法與資料。

Late interaction 和 cross-encoder 差在哪？

Cross-encoder 把查詢與文件一起送進模型，對少量候選精準但貴；ColBERT 的 late interaction 把查詢與文件分開轉成向量，文件向量可離線預先算好，再用輕量步驟比對；ColBERT 原論文（SIGIR 2020）報告，比論文中的 BERT 排序基準快兩個數量級。6 月 17 日講座頁有一段專門比較兩者。

延伸閱讀

• LLM Judge 的 Yes/No 清單在成對比較最有證據，直接打分未必
• Anthropic 為 Managed Agents 加入檔案式記憶庫，六種 Agent 記憶做法一次比較

參考資料

• Maven, The New Frontier of AI Search（Trey Grainger、Doug Turnbull，講座日期 2026-06-30；2026-10-23 查閱） https://maven.com/p/80e986/the-new-frontier-of-ai-search
• Maven, The Frontier of AI Search（系列頁，2026-10-23 查閱） https://maven.com/lls/f48679
• Maven, Cross-encoders: An End-to-end Guide（2026-06-17） https://maven.com/p/bc4193
• Maven, Vector search from zero to production at GitHub（2026-06-24） https://maven.com/p/6c8052
• Maven, Three Patterns for Better Agentic Search（2026-06-25） https://maven.com/p/04e570
• Maven, Agentic search: can we just use grep?（2026-06-29） https://maven.com/p/f2b315/agentic-search-can-we-just-use-grep
• Maven, Where are teams going wrong with search?（2026-05-15） https://maven.com/p/aa3d9c/where-are-teams-going-wrong-with-search
• Maven, The Unreasonable Effectiveness of BM25 for Agentic Search（2026-10-30，尚未舉行；2026-10-23 查閱） https://maven.com/p/c793e5/the-unreasonable-effectiveness-of-bm25-for-agentic-search
• Maven, Better Hybrid & Agentic Search with Wormhole Vectors（2026-10-21；2026-10-23 查閱） https://maven.com/p/c58104/better-hybrid-agentic-search-with-wormhole-vectors
• Trey Grainger, Doug Turnbull, Max Irwin, AI-Powered Search, Manning https://www.manning.com/books/ai-powered-search
• Manning, AI-Powered Search 第 8 章 Signals boosting（大綱與簡介） https://livebook.manning.com/book/ai-powered-search/chapter-8
• Benjamin Trent, Better Binary Quantization (BBQ) in Lucene and Elasticsearch, Elastic Search Labs, 2024-11-11 https://www.elastic.co/search-labs/blog/better-binary-quantization-lucene-elasticsearch
• Elastic, GitHub 客戶頁 https://www.elastic.co/customers/github
• Elastic, Reciprocal rank fusion 文件 https://www.elastic.co/docs/reference/elasticsearch/rest-apis/reciprocal-rank-fusion
• Gordon Cormack, Charles Clarke, Stefan Büttcher, Reciprocal Rank Fusion Outperforms Condorcet and Individual Rank Learning Methods, SIGIR 2009 https://plg.uwaterloo.ca/~gvcormac/cormacksigir09-rrf.pdf
• Rodrigo Nogueira, Kyunghyun Cho, Passage Re-ranking with BERT, arXiv 1901.04085, 2019 https://arxiv.org/abs/1901.04085
• Lianmin Zheng 等, Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, arXiv 2306.05685, 2023 https://arxiv.org/abs/2306.05685
• Trey Grainger 等, The Semantic Knowledge Graph, arXiv 1609.00464, DSAA 2016 https://arxiv.org/abs/1609.00464
• Dmitry Kan, Novel idea in vector search: wormhole vectors, Vector Podcast（DEV Community），2025-11-07 https://dev.to/vectorpodcast/novel-idea-in-vector-search-wormhole-vectors-3dg8
• Omar Khattab, Matei Zaharia, ColBERT, SIGIR 2020, arXiv 2004.12832 https://arxiv.org/abs/2004.12832
• Thibault Formal 等, SPLADE, SIGIR 2021, arXiv 2107.05720 https://arxiv.org/abs/2107.05720
• Julian Killingback, Hansi Zeng, Hamed Zamani, Hypencoder: Hypernetworks for Information Retrieval, arXiv 2502.05364, 2025 https://arxiv.org/abs/2502.05364
• Shashank Rajput 等, Recommender Systems with Generative Retrieval, NeurIPS 2023, arXiv 2305.05065 https://arxiv.org/abs/2305.05065