Multi-Armed Bandit Testing教學：原理、流量分配與應用限制

Multi-Armed Bandit Testing是什麼？

Multi-Armed Bandit原本是機率與序列決策問題：有多個報酬未知的選項，每次只能選擇其中一個，決策者需要邊觀察結果、邊決定下一次選擇。名稱來自「面前有多台拉桿式老虎機」的數學比喻，因此稱為多臂老虎機。

在網站測試中，每一個「手臂」（Arm）可以對應一種標題、按鈕或頁面版本；每次訪問代表一次分配機會；使用者是否完成指定動作則是回饋訊號。演算法利用已取得的資料調整後續分配，而不是從開始到結束都維持相同百分比。

這屬於機器學習中的線上決策方法，也與強化學習研究有關，但不代表一定需要深度學習模型。最基本的MAB只要明確的獎勵定義與可更新的分配規則就能運作。

MAB與A/B測試有什麼差別？

傳統A/B測試通常在實驗期間維持預先規劃的隨機分組，以估計不同版本的效果差異；MAB則可以依前期回饋調整後續分組，讓暫時表現較好的版本取得更多機會。前者偏向「把差異量清楚」，後者偏向「測試時也試著做較好的選擇」。

兩者並非互斥：團隊可以先用固定分流實驗檢驗重要假設，再在適合的營運情境中使用MAB；也可以為MAB保留獨立的隨機對照組，以檢視其整體成效。

探索與利用是什麼？為何不能太早認定勝出版本？

探索（Exploration）是分配部分機會給資料較少或表現尚不確定的版本；利用（Exploitation）是優先選擇目前估計報酬較高的版本。如果只探索，可能浪費大量機會；如果只利用，則可能因早期偶然結果而過早放棄真正較好的方案。

例如一個網站剛開始測試兩種標題，A在前10次曝光有2次點擊，B有1次。A表面上略勝一籌，但樣本很少；若立刻停止展示B，便無法知道這個差距是否只是隨機波動。MAB的設計重點正是如何在這兩種成本之間取捨。

遺憾值（Regret）不是實際虧損報表

在常見的固定報酬機率模型中，累積遺憾值衡量的是：假如一開始就知道期望報酬最高的選項，理論上可得到的期望總報酬，與演算法實際選擇的期望總報酬之差。它是評估決策效率的數學指標，不等於企業帳上的損失金額，也不等於轉換率。

選項的表現若隨季節、客群或活動改變，固定最佳選項的假設就可能不適用，此時需要另外定義比較基準與演算法。

三種常見MAB演算法：Epsilon-Greedy、Thompson Sampling與UCB

三者都在處理探索與利用，但做決策的方式不同。沒有哪一種演算法對所有轉換率、流量與資料環境都最準確。

Epsilon-Greedy：用固定機率保留探索

Epsilon-Greedy會以機率ε進行隨機探索，其他時候選擇目前估計報酬最高的版本。假設ε＝0.1，代表每次有10%的機會進入探索程序，而不是保證10%的流量全都分配給較差版本；探索時如果在兩個版本中均勻抽選，也可能再次抽到目前最佳版本。

Thompson Sampling：以機率模型抽樣決策

Thompson Sampling使用目前資料形成各版本報酬的不確定性分布，再從這些分布抽樣以決定下一次選擇。若回饋是「轉換／未轉換」，常見的教學模型會採用Beta分布描述未知轉換機率，但真實資料是否符合模型假設仍須檢查。

Upper Confidence Bound（UCB）：重視可能被低估的選項

UCB將目前估計報酬與反映不確定性的探索項一起評估。樣本較少的版本可能因不確定性較高而得到探索機會；隨著資料累積，探索項通常逐漸縮小。不同UCB變體的公式與參數並不相同，不應把單一公式套用所有情境。

流量分配怎麼算？一個不保證成效的數學示例

假設一個網站測試A、B兩種訂閱按鈕，各自先獲得100次有效曝光：A有8次完成訂閱，B有5次。觀察到的樣本轉換率分別為8%及5%。這只能說明當下資料，不能據此證明A的真實轉換率必然較高。

若採用一種可動態分配流量的策略，後續可能分配較多訪問給A、較少給B；實際比例取決於使用的演算法、先驗、探索設定及新回饋，不存在統一的「看到8%與5%就改成80:20」規則。

假設使用Beta-Bernoulli模型

假設兩版本起初都採Beta(1,1)先驗，並把訂閱視為成功、未訂閱視為失敗，則上述觀察資料會形成A的Beta(9,93)與B的Beta(6,96)後驗分布。Thompson Sampling可從兩個分布各抽取一次可能的轉換機率，再選抽樣值較高的版本。抽樣會變動，因此每次決策並非固定選A。

這是數學示例，不是本站實測。真實測試還要處理同一人重複曝光、延遲轉換、追蹤遺失及流量來源變動，不能把示例的轉換率當成演算法可保證的成果。

如何選擇成功指標？點擊率不是唯一答案

如果演算法只獎勵點擊，就可能偏好容易吸引點擊、卻無法帶來有價值行為的版本。因此，開始測試前應決定主要指標、觀察期間與限制條件。

要先定義獎勵什麼時候才算成立

例如下單後可能取消或退款，按鈕點擊後也可能沒有完成註冊。若回饋延遲且分配器只看即時點擊，模型可能朝錯誤目標優化。要明確規定事件歸因、觀察窗口、去重方式與資料延遲處理。

Contextual Bandit是什麼？與一般MAB差在哪裡？

一般MAB只估計各版本的整體表現；Contextual Bandit（情境式多臂老虎機）則在做決策時納入當下可用的情境特徵，例如裝置類型、語言偏好或目前頁面的內容分類。不同情境可能對應不同的較佳版本。

例如同一個網站的行動版與桌面版介面不同，可將裝置型態納入模型，讓系統根據各自的實際回饋逐步更新策略。但這不代表iOS用戶必然偏好A、Android用戶必然偏好B；這類差異需要觀察資料支持。

個人化不代表可以任意收集個資

使用情境式模型前，應評估資料來源、隱私保護、保留期間及是否真的需要敏感特徵。若某種分配策略使特定群體長期只能看到較差的體驗，還要檢查公平性與服務品質。

跨裝置與不同訪客來源，為何可能讓結果失真？

流量不是均質的。假如實驗開始時多數訪客來自電子報，後期卻改由搜尋進站，整體轉換率變動不一定源於頁面版本。MAB若只看當前平均值，也可能把客群變化誤認成版本效果。

使用者跨裝置、重複到訪或同時參加其他實驗，會增加事件歸因的難度。若每次重新整理頁面就被當成獨立訪客，不但可能高估樣本量，也容易出現同一人反覆看到不同版本的問題。

實務上需要先定義隨機分配單位、訪客識別與版本黏著規則，再決定資料是否適合進行動態調整。

技術實作需要哪些資料與系統？

最簡單的MAB服務也需要可靠地完成四件事：記錄當次可選版本、依策略選出版本、記錄實際曝光，以及在回饋出現後更新模型。只記錄點擊卻沒有曝光分母，無法正確計算轉換率。

資料事件建議至少包含哪些欄位？

可依服務需求記錄匿名或假名化訪客識別、實驗ID、版本ID、分配時間、曝光事件、結果事件與事件時間。若準備事後分析自適應實驗，還應記錄當次的分配機率與策略版本，並設定適當的存取權限。

系統錯誤可能比演算法選錯更嚴重

重複計算事件、API逾時、資料更新延遲與版本發布不一致，都可能使演算法朝錯誤方向調整。實際上線前應用測試環境檢查回饋管線，並預備異常時切回安全的固定分配方案。

MAB常見誤區：分配更快，不等於判斷更準

誤區一：MAB一定提升轉換率

若兩版本表現相近、初期資料雜訊高，或演算法不適合變動環境，MAB未必優於固定分流。它的優點需要特定回饋速度、資料品質及演算法假設配合，不能宣稱固定提高30%或任何比例。

誤區二：流量少就必須用MAB

小流量通常代表可用資料較少，演算法更難分清真實差異與偶然波動。MAB可能減少某些探索成本，但不會憑空增加資訊量；必要時應簡化測試目標，或延長觀察期間。

誤區三：設定探索率後就不用再監控

探索率、模型先驗與回饋分布都可能影響結果。當使用者習慣、介面或商業條件改變，過去的最佳版本也可能不再適合，需要檢查資料漂移及是否保留足夠探索。

誤區四：MAB就是深度強化學習

Bandit模型只處理每次選擇及其對應的回饋，沒有必要假設它能完整推演長期狀態轉移。較複雜的強化學習問題需要另外的模型，不能把兩者完全畫上等號。

三種實務應用：網站、APP與內容推薦

網站與電商頁面

假設電商網站有三種商品介紹順序，可用MAB在活動期間逐步調整曝光權重，目標是提升符合條件的訂單完成率。這只是設計情境，並不是任何實際電商已獲得一定營收成長的紀錄。

APP操作流程

假設新用戶引導流程有兩個版本，可以先確認兩版都符合基本可用性與無障礙要求，再比較設定完成率。MAB可持續分配，但如果改版影響長期留存，仍需要更長的觀察或獨立實驗。

內容標題與推薦系統

假設一個資訊站想比較不同文章摘要，可將有效閱讀視為回饋訊號，而不只看是否點進頁面。若只追求高點擊，就可能導致誇張標題；因此應把誤導、退訂與內容品質列為保護性指標。

自適應分流會影響統計顯著性嗎？

會影響統計推論的前提。因為不同版本的樣本數與分配機率會隨早期結果改變，直接把資料當成固定比例、事前獨立抽樣的A/B測試，套用慣常的p值或信賴區間，可能產生錯誤判斷。

學術研究指出，適應性實驗可改善實驗期間的參與者效益，但估計版本效果與不確定性時，需要考慮自適應資料的性質。可採用適合此類實驗的加權、序列或其他推論方法；選哪一種應依實驗設計由具統計能力的人員判定。

「目前A比較好」不等於「已證明A優於B」

MAB的版本分配比例是演算法當前的決策，不是正式統計檢定結果。若研究目的是估計每個版本帶來多少效果、或驗證長期因果關係，固定隨機分流設計可能較容易解釋。

導入MAB測試的六個執行步驟

1. 界定問題：先確認要提升的是當期累積成效，還是要估計版本效果；後者不一定適合直接以MAB取代A/B測試。
2. 定義實驗與保護指標：說明何種行為算成功，以及錯誤率、退款率、退訂或使用者權益等不可忽略的指標。
3. 設計資料收集：確認曝光、分配機率、回饋事件及追蹤時間都有紀錄，避免重複曝光與延遲資料造成偏差。
4. 選擇策略並模擬：根據樣本規模、環境是否穩定及開發能力，評估Epsilon-Greedy、Thompson Sampling或UCB，不先假定任何策略最好。
5. 設定上線保護：檢查效能、資料隱私、異常處理、撤回方式與版本一致性，必要時保留固定分配對照組。
6. 定期解讀結果：同時檢查累積獎勵、探索程度、資料品質與長期影響，不把目前流量最高的版本直接稱為已證明的勝出者。

不必追求「一開始就全自動」。如果團隊缺乏可靠的事件追蹤，先把普通A/B測試和資料驗證做好，通常比急著導入複雜分配器更實際。

使用者權益、無障礙與演算法公平性

網站實驗除了成效指標，還要檢查各版本是否提供相同的必要資訊、能否以鍵盤及輔助科技操作，以及是否對部分使用者造成不合理的不便。不能為了提高點擊或付費轉換，而刻意隱藏重要條件。

對涉及醫療、金融或個人權益的決策，更不能只用短期點擊或完成率衡量「最佳」方案。資料收集、實驗分組與演算法運作都須遵守適用的隱私及其他規範；這些要求要依實際服務判斷，不能宣稱某種演算法天然合規。

2026年MAB工具怎麼選？先確認產品仍在服務

原文將Google Optimize列為2026年可用工具，但Google官方已確認Google Optimize與Optimize 360於2023年9月30日停止服務，因此不可再推薦它作為現行測試工具。

考慮商業實驗平台時，可閱讀VWO等業者公開的多臂老虎機測試技術說明，但必須另外查核當前方案是否真的支援自適應分流、使用何種演算法、如何處理資料及分析結果；不能將某一業者的實作當成所有產品的共同功能。

自建方案可用Python或其他語言實作基本Bandit決策流程。若使用第三方套件，仍須查詢最新維護狀態、授權、文件與安全性，不宜只因套件名稱提到Bandit就認定可直接用於正式環境。

多臂老虎機演算法能預測真正老虎機中獎嗎？

不能。Multi-Armed Bandit中的「老虎機」是數學命名，用於說明如何在報酬未知的選項間做連續決策，不是破解娛樂城電子老虎機的工具。

如果真正的老虎機使用符合設計的RNG獨立決定遊戲結果，過去的中獎紀錄不會因此告訴使用者下一轉何時會中獎。Bandit理論中的「選擇哪個方案、觀察報酬」也不能被改寫成「AI預測熱機、冷機或保證獲利」。

這也是本站保留此篇的意義：解釋「多臂老虎機」這個專業術語與真正遊戲機率的界線，避免只因名稱相似而混淆搜尋意圖。

結論：MAB適合持續決策，不是A/B測試的全面替代品

Multi-Armed Bandit Testing的價值是根據實際回饋動態調整資源分配，讓探索與利用在實驗進行中取得平衡。若目標是短期累積成效、回饋迅速且事件追蹤可靠，它可能是合理選項；若重視精確效果估計、長期因果影響或嚴格統計推論，固定分流的A/B測試仍有重要位置。

選擇方法前應先確認實驗目的、資料品質、保護性指標與分析能力。不論使用哪一種演算法，都沒有固定可保證的轉換率增幅，更不會改變隨機博弈遊戲的中獎機率。

資料來源與查核範圍

查核日期：2026年10月24日。本文根據以下出版品、研究與產品官方說明整理技術概念；數學示例為假設，非本站實驗或品牌實測。工具功能與價格如有變更，請以供應商當期正式資料為準。

• Cambridge University Press：Bandit Algorithms，Tor Lattimore與Csaba Szepesvári（2020），介紹多臂老虎機的主要模型與演算法。
• Microsoft Research：Thompson Sampling for Contextual Bandits with Linear Payoffs（2013），提供情境式Bandit與Thompson Sampling的研究基礎。
• Annual Review of Statistics and Its Application：Demystifying Inference After Adaptive Experiments（2025），討論自適應實驗的統計推論問題。
• Information and Software Technology：Multi-armed Bandits in the Wild（2019），整理線上實驗的限制與實務陷阱。
• Google Analytics說明：Google Optimize停止服務，核實2023年9月30日終止日期。
• VWO：Multi-Armed Bandit演算法介紹，供參考商業平台對動態分配與效益取捨的技術說明。