A/B 測試是什麼？A/B 測試怎麼做＋樣本數白話教學（小網站適用）

「路可，這兩個標題你覺得哪個比較好？」

這是我很常被問的問題。老實說，我的直覺有時候對、有時候錯，而且錯的次數比我願意承認的還多。我做過行銷廣告、SEO、電商，也管理超過 4,000 個網站，越做越相信一件事：客人實際怎麼做，比我們怎麼想重要。A/B 測試就是讓客人用行動幫你投票的方法。

不過網路上大部分 A/B 測試教學，預設你有大量流量。如果你的網站一天只有幾十到幾百個訪客，照著那些教學做，很容易得到一個看起來很漂亮、其實只是運氣的結論。這篇我會用白話講清楚樣本數的觀念，再告訴你小網站實際上可以怎麼測。

A/B 測試是什麼？為什麼不能只看前後差異？

A/B 測試的關鍵在於「同時」和「隨機」。兩個版本在同一段時間內上線，訪客隨機被分到其中一個版本，這樣兩組人遇到的外在條件都一樣，差異才能歸因於版本本身。

很多人做的其實是「前後比較」：上週用舊標題、這週換新標題，發現這週業績比較好，就說新標題有效。問題是這週可能剛好發薪日、剛好有網紅提到你、剛好競爭對手的廣告停了。你沒辦法分辨業績變好是因為標題，還是因為其他事情。

A/B 測試可以測哪些東西？

只要是會影響客人「下一步要不要行動」的元素都可以測。常見的有：

• 網頁：主標題、主視覺圖片、按鈕文字與位置、價格呈現方式、表單欄位數量、頁面長短
• Email：主旨、寄件人名稱、寄送時間、信中的行動按鈕
• 廣告：圖片或影片素材、標題、主要文案、受眾設定
• 結帳流程：步驟數、免運門檻的說法、付款方式的排列

如果你的目標是提高轉換率，最值得測的通常是Landing Page上方第一屏：標題、副標、主要按鈕。這是每個訪客一定會看到的地方，影響最大。

A/B 測試怎麼做？6 個步驟

步驟 1：只選一個要改善的指標

先決定這次測試要看哪一個數字，例如「報名表送出率」或「加入購物車率」。指標要事先講好，不要測完再挑一個對你有利的數字來看。

步驟 2：寫下你的假設

用一句話寫清楚：「如果我把 X 改成 Y，指標會變好，因為 Z。」例如：「如果把按鈕文字從『送出』改成『免費領取範本』，送出率會提高，因為訪客更清楚按下去會得到什麼。」寫下理由很重要，不管結果如何，你都會學到一件關於客人的事。

步驟 3：一次只改一個地方

標題、圖片、按鈕同時改，就算 B 版贏了，你也不知道是哪一個改動有效。小網站流量有限，更需要一次只測一個變因，把每一次測試的學習價值拉到最高。

步驟 4：決定樣本數和測試時間

開始之前先決定要跑多久、收集多少人，而不是看到結果「好像贏了」就停。這是最多人犯錯的一步，下一段我會用白話詳細說明。

步驟 5：讓兩個版本同時跑，中途不要一直偷看

測試期間每天打開來看，很容易在某天看到 B 版大幅領先就忍不住宣布勝利。但前幾天的數字波動本來就很大，提早結束很容易選錯。設好時間就讓它跑完。

步驟 6：看結果，把勝出版本上線，然後測下一個

有明確勝出就採用；沒有明顯差異也是一種結論，代表這個地方不是關鍵，可以換其他地方測。A/B 測試是一個持續的循環，不是做一次就結束。

樣本數要多少才夠？用丟硬幣來理解

樣本數不夠，你看到的差異很可能只是運氣。用丟硬幣來想最直覺：一枚公平的硬幣丟 10 次，出現 7 次正面一點都不奇怪，你不會因此說這枚硬幣偏向正面；但如果丟 1,000 次出現 700 次正面，你就會很確定這枚硬幣有問題。

A/B 測試也是一樣。假設 A 版有 100 人看、3 人購買，B 版有 100 人看、5 人購買，看起來 B 版好了快七成，但差距只有兩個人，換一批訪客很可能就反過來。這種結果就像丟 10 次硬幣，不足以下結論。

要怎麼估算需要多少人？

可以用網路上免費的「A/B 測試樣本數計算機」，通常只要輸入兩個數字：

• 現在的轉換率：例如目前 100 個訪客有 2 個購買，就是 2%
• 你想偵測到的最小提升：例如希望能分辨出從 2% 變成 3%

以這個例子試算，在常見的設定下（95% 信心水準、80% 檢定力），每個版本大約需要將近 4,000 個訪客，兩組加起來接近 8,000 人。如果你只想分辨更小的差異，例如 2% 變成 2.2%，每個版本需要的人數會變成大約 8 萬人，是原本的 20 倍左右。

這就是重點：你想分辨的差異越小，需要的人越多；你原本的轉換率越低，需要的人也越多。這也是為什麼小網站不太適合測「按鈕顏色」這種細微改動。

時間要跑多久？

除了人數，也要涵蓋完整的週期。平日和週末的訪客行為常常不一樣，Google 的 Firebase A/B 測試官方說明也建議一般實驗至少執行兩週。所以我的習慣是：至少跑滿兩週，而且要同時達到事先估算的樣本數，兩個條件都滿足才看結果。

流量很小的網站，還能做 A/B 測試嗎？

可以，但要換個做法。與其測很多細節，不如集中火力在少數影響大的地方。以下是我會建議小網站的方向：

1. 測大改動，不要測小細節

按鈕從藍色改綠色，差異通常很小，你的流量測不出來。改成完全不同的標題角度、完全不同的價格方案呈現、長頁面對比短頁面，差異比較大，樣本數需求就小很多。

2. 測流量最大、離成交最近的地方

首頁、主要商品頁、結帳頁的流量通常最集中。把有限的流量拿去測一個每月只有幾十人造訪的頁面，可能跑半年都沒結論。

3. 改看離得比較近的指標

如果購買太少，可以先看「點擊按鈕」或「加入購物車」這類發生次數比較多的行為。它們不完全等於營收，但能讓你更快得到方向。

4. 善用廣告和 Email 的內建測試

廣告平台和多數 Email 行銷工具都有內建的測試功能，會幫你分流和計算。廣告的好處是流量可以用預算買，比等自然流量快得多，很適合拿來測標題和文案角度，測出贏家再放回網站。想先多產出幾個值得測的版本，可以參考我寫的用 AI 寫廣告文案。Email 則可以先寄給一部分名單測試主旨，再把勝出版本寄給其他人，但名單只有幾百人時，差個幾封開信同樣可能只是運氣。

5. 流量真的太少，就先去問人

如果一個月只有幾百個訪客，與其硬做 A/B 測試，不如直接訪談幾位客人、看他們操作你的網站，或做一份簡單問卷。這不是統計證據，但在早期能讓你更快找到問題在哪。

做 A/B 測試最常踩的坑有哪些？

網站快取讓分流失效

這是我從網站維運角度最想提醒的一點。很多網站為了速度會開快取，把頁面先存起來直接給訪客。如果你的 A/B 測試工具是在網站端決定要顯示哪一版，快取可能把第一個訪客看到的版本存起來，之後所有人都拿到同一版，測試等於沒在測。我處理過很多快取把不該快取的頁面存起來而造成的怪問題，A/B 測試也是同樣道理。開始測之前，自己用無痕視窗多開幾次，確認兩個版本真的都會出現。

測試期間剛好碰上促銷或活動

雙十一、週年慶、突然爆紅的貼文，都會讓這段期間的訪客跟平常不一樣。這時候測出來的結果，不一定適用於平常的日子。可以的話避開大檔期，或在大檔期結束後再驗證一次。

只看贏的那組，不看細分

整體來看 B 版贏，但可能是電腦版大贏、手機版其實輸。手機流量佔多數的網站，要特別留意兩種裝置的表現是否一致。

測完不記錄

每一次測試的假設、時間、樣本數、結果都記下來。半年後你會有一份屬於自己客人的「偏好筆記」，這比任何網路上的最佳實踐都準。

常見問題

A/B 測試一定要用付費工具嗎？

不一定。廣告平台與很多 Email 工具都有內建測試功能；網頁的部分，也有網站系統或外掛提供分流功能。工具不是重點，重點是同時分流、一次一個變因、樣本與時間足夠。

A/B 測試會影響 SEO 嗎？

正確操作通常不會。要注意的是不要對搜尋引擎和一般訪客顯示刻意不同的內容，測試結束後盡快把勝出版本正式上線、移除測試用的版本。如果兩個版本是不同網址，要讓搜尋引擎知道哪一個才是正式頁面。

測試結果沒有明顯差異，代表白做了嗎？

不是。這代表你改的地方不是客人在意的重點，你可以把力氣轉向其他地方。只要測試設計正確，沒有差異也是有價值的資訊。

可以同時測三個以上的版本嗎？

可以，這叫 A/B/n 測試。但每多一個版本，流量就被切得更細，需要的總人數也會增加。小網站建議一次兩個版本就好。

測試跑到一半，B 版明顯領先，可以提早結束嗎？

不建議。前期數字波動很大，提早結束很容易把運氣當成實力。除非 B 版造成明顯的問題（例如網頁壞掉），否則照原定的時間和樣本數跑完再判斷。

結語：讓客人用行動投票

A/B 測試不是大公司的專利，小網站也能做，只是要用對方法：測影響大的改動、集中在流量最多的頁面、事先決定樣本數和時間、跑完再看結果。流量真的不夠時，用廣告買流量來測文案，或直接去問客人，都是很好的替代方案。

最重要的是養成「先假設、再驗證」的習慣。當你不再只靠感覺做決定，網站和廣告的成效會一點一點穩定地往上走。