如何用A/B測試，給企業(yè)增長開掛？

圖片來源@視覺中國

文 | 深響，作者｜吳鴻鍵

字節(jié)跳動旗下的短視頻APP“西瓜視頻”，原本叫“頭條視頻”。但為了讓其在短視頻行業(yè)更具品牌辨識度，團隊希望更名。

在經(jīng)過用戶調(diào)研和多輪征集篩選后，團隊選定4個待選名字進行A/B測試：西瓜視頻、奇妙視頻、筷子視頻、陽光視頻。最終的測試結(jié)果顯示：“西瓜視頻”和“奇妙視頻”的點擊率位列前二，分別比原名稱增加了5.22%、5.08%的點擊率。結(jié)合用戶調(diào)性等因素綜合考量，“頭條視頻”最終更名為“西瓜視頻”。

無獨有偶，一次快手內(nèi)部會議上，聯(lián)合創(chuàng)始人程一笑在聽到“只要公司開放更多資源，營收就能大幅提升”的說法時，也只提了一個要求：先做A/B測試。

上述決策過程反映的，其實是兩家數(shù)字化時代企業(yè)的共同思路：數(shù)據(jù)驅(qū)動、決策不完全依賴個人經(jīng)驗判斷。而A/B測試，正是該思路的集合體現(xiàn)。

互聯(lián)網(wǎng)巨頭先行驗證

大洋彼岸，在Google、Facebook、Netflix、亞馬遜的傳道下，A/B測試已是風(fēng)靡硅谷的增長利器。在中國，這一方法論先在頭部互聯(lián)網(wǎng)企業(yè)中應(yīng)用起來。

目前，BAT均以內(nèi)部自建的方式應(yīng)用A/B測試。同樣，新一代互聯(lián)網(wǎng)巨頭字節(jié)跳動、美團、滴滴也都建立了自己的A/B測試平臺，比如美團的Gemini、滴滴的阿波羅、今日頭條的Libra。

具體應(yīng)用上，以即時配送業(yè)務(wù)為例，美團以“提出假設(shè)、定義指標、檢驗假設(shè)（A/B測試）、分析學(xué)習(xí)、發(fā)布”五個步驟完成精細化的策略迭代，實現(xiàn)降本增效。類似的邏輯，滴滴應(yīng)用在城市運營領(lǐng)域、字節(jié)跳動則更是把A/B測試應(yīng)用到了產(chǎn)品命名、交互設(shè)計、推薦算法、用戶增長、廣告優(yōu)化等方方面面。

羅征曾任騰訊廣告副總裁，也在谷歌公司任職八年，目前為“像素偏移” 聯(lián)合創(chuàng)始人與CEO。據(jù)他的觀察，目前互聯(lián)網(wǎng)大廠普遍接受A/B測試的邏輯。在算法層面，技術(shù)團隊基本都能認同A/B測試的價值。“國內(nèi)（A/B測試）的起步雖然晚一些，但我不認為國內(nèi)的發(fā)展比國外差。”

但另一重不容忽略的事實是：大廠之外，A/B測試的滲透尚處于早期階段。

即使是同處于互聯(lián)網(wǎng)行業(yè)的中小企業(yè)，A/B測試的應(yīng)用仍然較少。自建A/B測試平臺需要人才和資金，推進A/B測試需要時間，要得出可靠的測試結(jié)果需要足夠的數(shù)據(jù)量。這些對于中小企業(yè)來說都是稀缺的。

此外，如果業(yè)務(wù)負責(zé)人缺少應(yīng)用新工具的意識，那么A/B測試再管用，在公司內(nèi)部也難以推行。而退一步講，就算創(chuàng)業(yè)者樂于嘗鮮、想靠外包的方式應(yīng)用A/B測試，市面上也沒有讓人一下就能想到的值得信賴的工具品牌。

互聯(lián)網(wǎng)行業(yè)尚且如此，傳統(tǒng)行業(yè)自不必說。雖然金融行業(yè)已有應(yīng)用A/B測試的案例，但主要針對的還是互聯(lián)網(wǎng)相關(guān)的產(chǎn)品，比如金融類APP上的功能測試。

問題隨之而來：產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型不是當(dāng)前的大熱點嗎？既然A/B測試的價值已經(jīng)得到巨頭認可，為什么還沒有獲得廣泛普及？

這既有客觀條件的約束，也跟關(guān)鍵位置上的“人”對于A/B測試的感知有關(guān)。

對于中小團隊來說，A/B測試的成本不菲，無論是時間、研發(fā)，還是對應(yīng)的機會成本。創(chuàng)業(yè)公司從0到1的時候，尤其看重迭代速度，晚幾天發(fā)布版本，目標市場可能就會被對手捷足先登，這樣的損失沒有人愿意承受。

再者，A/B測試存在較高的技術(shù)壁壘。分流是A/B測試的基礎(chǔ)，企業(yè)需要建立靠譜的A/B測試平臺，保證科學(xué)的流量分割、流量層直接的正交互斥，使得實驗不受干擾。此外，A/B測試平臺的指標設(shè)計和解讀、置信度的統(tǒng)計方法，也對應(yīng)著不小的研發(fā)資源投入。

成本和難度之外，A/B測試也對企業(yè)本身的數(shù)據(jù)基建提出要求。有些企業(yè)缺乏堅固的數(shù)據(jù)基建，并不具備使用A/B測試的能力。而當(dāng)一個既認可“數(shù)據(jù)驅(qū)動”理念、數(shù)據(jù)基建也過關(guān)的企業(yè)想推進A/B測試時，它會發(fā)現(xiàn)，即使能夠?qū)?shù)據(jù)進行聯(lián)動打通，市場上也少有成熟、可靠的A/B測試產(chǎn)品可供使用。

目前，國內(nèi)獨立第三方A/B測試工具還處于相對分散的狀態(tài)，尚待龍頭企業(yè)樹立標桿。部分互聯(lián)網(wǎng)大廠雖然錘煉出了一些可靠的A/B測試產(chǎn)品，但是對外開放還處于起步階段。

至于關(guān)鍵位置上的“人”的問題，一個典型的場景是，部分掌握話語權(quán)的產(chǎn)品經(jīng)理更愿意相信自己對于人性的認知和對于審美的把握，在其看來，數(shù)據(jù)只是輔助，真正影響決策的，還得是人的經(jīng)驗和洞察。

這或許不是行業(yè)環(huán)境的問題，而要追溯到中外教育理念的差異。A/B測試的理念從根源上更貼近西方教育中的邏輯、實驗、辯證思維。在國外，A/B測試基本不需要在理念層面做推廣，而國內(nèi)的情況則明顯不同。

諸多的客觀約束、加上人們對A/B測試的認識存在差異，種種因素的疊加下，行業(yè)存在不少對A/B測試的誤讀和兩極化判斷。但好在，已經(jīng)有不少資深從業(yè)者躬身入局，他們的切身感受，正是破解誤讀的關(guān)鍵。

A/B測試的三大誤區(qū)

根據(jù)「深響」與互聯(lián)網(wǎng)資深從業(yè)者，尤其是有過A/B測試實踐經(jīng)驗的專業(yè)人士的交流，目前行業(yè)內(nèi)存在的誤讀和兩極化判斷，主要體現(xiàn)為以下三大誤區(qū)：

誤區(qū)一：A/B測試是在浪費資源。

不只是中小企業(yè)，大公司內(nèi)部在迭代業(yè)務(wù)時也會存在類似的質(zhì)疑。除了上文已經(jīng)提到的搭建測試平臺所需的成本，A/B測試的資源投入還以更直觀的形式體現(xiàn)于執(zhí)行過程中。

一個最簡單的例子，某公司旗下的APP想要提升注冊轉(zhuǎn)化，此時，業(yè)務(wù)部門想應(yīng)用A/B測試，準備測試方案的過程需要協(xié)調(diào)各部門（比如設(shè)計、產(chǎn)品、運營）共同完成，而測試過程本身也是個需要投入時間的事情。測試做完，如果A/B測試效果不夠突出，公司內(nèi)部很容易出現(xiàn)“折騰一趟不劃算”的想法。

成本，是A/B測試無法規(guī)避的問題?！霸叫〉墓荆瑢Τ杀镜娜萑潭染驮降?。這永遠是一個取舍的問題”，羅征表示。

不過，小公司應(yīng)用A/B測試的情況也不算罕見。早在2012年，有瞰學(xué)社創(chuàng)始人&CEO、知名互聯(lián)網(wǎng)運營專家黃有璨就接觸過A/B測試，豐富的互聯(lián)網(wǎng)從業(yè)經(jīng)驗和創(chuàng)業(yè)經(jīng)驗，讓其對A/B測試的價值有更切身的體會。

在黃有璨看來，如果公司業(yè)務(wù)處于早期，那么A/B測試稍微控制不好，肯定會造成一定資源浪費。但當(dāng)業(yè)務(wù)比較成熟時，管理者思考的是：如果不做精細的A/B測試，要承擔(dān)的風(fēng)險是什么？

“假如這個測試能直接影響一年的收入，那么不做A/B測試，我要承擔(dān)的風(fēng)險可能是浪費三四個月的時間（在錯誤的決策上）。如果我投入資源做個詳細的A/B測試，可能要花一百萬或兩百萬，但這能幫助我節(jié)省下來三到四個月的風(fēng)險，這筆帳肯定能算明白?！秉S有璨告訴「深響」。

言而總之，A/B測試的成本問題，說到底是性價比問題。而看待A/B測試的性價比，不能只是靜態(tài)地看測試的瞬間，而是要放長線來考慮。如果一次A/B測試幫助企業(yè)前置思考，避免了錯誤方案的執(zhí)行，那絕對是“花小錢辦大事”，不存在資源浪費一說。

如何評價一個A/B測試是好是壞？在黃有璨看來，一方面要看A/B測試本身的成本夠不夠低，或者效率是不是最高，即財務(wù)上要能算得過來，測試反饋也要足夠快；另一方面，A/B測試結(jié)論的科學(xué)性和準確性和成本同樣重要。

交流中，黃有璨多次提到了變量控制的難度——用戶的構(gòu)成、時間上的差異、以及用戶來源渠道的不同等，都會影響A/B測試的準確性。只有當(dāng)測試環(huán)境相對干凈，不受額外變量的干擾，測試結(jié)果才有參考的價值。

“誰來設(shè)計A/B測試，他的思考或邏輯清晰不清晰，他是否能借A/B測試的信息反饋快速確定結(jié)論。這件事其實是更加重要的?！秉S有璨表示。

誤區(qū)二：小公司不需要A/B測試。

小公司需不需要A/B測試？這個問題其實已經(jīng)把A/B測試預(yù)設(shè)成“大費周章”的事，但流程只是表象，A/B測試真正重要的是其“對照實驗”和“數(shù)據(jù)驅(qū)動”的核心理念。

黃有璨向「深響」介紹了一段親身經(jīng)歷，在公司業(yè)務(wù)還未成熟的時候，為了測試一個課程的詳情頁轉(zhuǎn)化效率，黃有璨自己做了兩三個版本的詳情頁，將其放在不同的用戶樣本中進行測試，以“人肉”手段跑完了A/B測試，最后選用了數(shù)據(jù)最好的詳情頁版本。

在黃有璨看來，A/B測試不是巨頭的專利，它小到“一個人都可以做”。當(dāng)業(yè)務(wù)模型得到驗證，團隊規(guī)模發(fā)展到幾百人時，需要做A/B測試的場景也會越來越多，這時公司可以考慮讓第三方工具幫忙提升效率。

上述經(jīng)歷其實都在說明一件事：做不做A/B測試，跟公司規(guī)模無關(guān)。如果在意成本問題，那么接入第三方工具會是一個值得考慮的選擇。

在這方面，羅征向「深響」著重表達了自己對于小公司接入第三方工具的認可。“大部分小廠可以采用專門的SaaS服務(wù)，大廠通常會因為需求比較復(fù)雜和獨特而傾向自研?！?/p>

認為A/B測試浪費資源也好，認為小公司不需要A/B測試也好，這些其實都是可以通過“算賬”解決的問題。全盤否定不可取，而盲目買單A/B測試的做法，同樣不是明智之舉。

誤區(qū)三：A/B測試是萬能的。

互聯(lián)網(wǎng)造就了諸多增長神話，也顛覆了各行各業(yè)的底層邏輯。因此，不少從業(yè)者將“數(shù)據(jù)驅(qū)動”、尤其是以數(shù)據(jù)驅(qū)動為核心理念的A/B測試奉為信仰，他們把A/B測試當(dāng)作評判一切的標準，試圖將所有業(yè)務(wù)進行量化。

這是個典型的“手拿錘子，看什么都是釘子”的思路。

據(jù)羅征總結(jié)，A/B測試更適用于用戶數(shù)量大、且用戶之間關(guān)聯(lián)度不高，結(jié)果容易以數(shù)據(jù)衡量的領(lǐng)域，如廣告行業(yè)、搜索系統(tǒng)等。如果行業(yè)本身并不具備這些特征，或者壓根沒法執(zhí)行A/B測試，那么A/B測試的價值就很難體現(xiàn)。

羅征向「深響」描述了一個無法應(yīng)用A/B測試的場景：大部分內(nèi)容行業(yè)，比如綜藝節(jié)目，就基本不可能做A/B測試，而且做產(chǎn)品原始設(shè)計的時候，其實也是不能A/B測試的。

“有些事情就沒有辦法A/B測試，或者A/B測試的成本過大，你就做不到了?！?/p>

A/B測試的真正價值

生于硅谷的光鮮背景、加上國內(nèi)互聯(lián)網(wǎng)大廠的帶貨，A/B測試概念的熱度與日俱增。但太高的起點也讓其被太多模糊焦點的信息所裹挾。糾偏的第一步，在于回本溯源，回答一個所有企業(yè)都關(guān)心的問題：A/B測試真正的價值到底是什么？

第一點，最直觀的一點，A/B測試能真正落地數(shù)據(jù)驅(qū)動，幫助企業(yè)科學(xué)決策。在傳統(tǒng)的經(jīng)驗主義運營模式下，業(yè)務(wù)負責(zé)人能力再強，也難免有失手的時候。但作為一種前置驗證的手段，A/B測試的價值不僅能幫助企業(yè)準確評估哪個方案更好，還能評估出好多少、為決策提供量化參考。

今日頭條APP曾因整體UI風(fēng)格偏大齡被詬病。為了吸引更多年輕用戶和女性用戶，也為了在可接受的負向范圍內(nèi)改一版用戶評價更高的UI，今日頭條通過控制變量，開展了多次A/B測試，變量包括頭部色值飽和度、字號、字重、文字間距、底部tab icon等。

經(jīng)過多次測試，今日頭條APP最終找到了一套綜合效果最好的UI版本。新UI上線4個月后，圖文類時長顯著提升1.66%、搜索滲透顯著提升1.47%。高頻用戶逐漸適應(yīng)新UI的同時，用戶調(diào)研也顯示，年輕和女性用戶對新UI表現(xiàn)出了更明顯的偏好。

今日頭條APP的案例正好解釋了量化參考為何重要。在方案的實際執(zhí)行中，業(yè)務(wù)人員需要在資金、人力、時間、后續(xù)維護等方面做好平衡，需要找到邊際效益的臨界點。A/B測試對不同方案效果的量化，恰好提供了對應(yīng)的參考。

更重要的是，在不斷的測試過程中，企業(yè)還將沉淀知識，建立起一套科學(xué)的運營、優(yōu)化體系。這樣一來，業(yè)務(wù)的創(chuàng)新不再高度依賴于某個關(guān)鍵位置上的“人”，領(lǐng)導(dǎo)者敢于放權(quán)，自下而上的創(chuàng)新得以實現(xiàn)。

第二點，同時也是科學(xué)決策的另一面，A/B測試能幫助企業(yè)規(guī)避風(fēng)險。

假如一個帶有錯誤特性的新版本全量推給用戶，影響的可能是千萬、甚至上億用戶的體驗，后續(xù)挽回損失的代價也同樣讓企業(yè)難以承受。A/B測試可以通過分流出小部分流量進行測試，將負面影響控制在實驗范圍內(nèi)，防止錯誤決策造成更大的損失。

“A/B測試本質(zhì)上，是幫助我們提高選擇、判斷的準確性，以及提升決策時的效率，降低成本?！秉S有璨告訴「深響」。

第三點，從企業(yè)發(fā)展的長遠角度看，A/B測試是企業(yè)復(fù)利式增長的新標配，其盡可能地讓企業(yè)的每個決策都帶來正向收益，持續(xù)循環(huán)，最終實現(xiàn)指數(shù)級增長。

一家公司，從初創(chuàng)企業(yè)到獨角獸，再到成為行業(yè)巨頭，整個過程中最令人驚嘆的地方往往是：這家企業(yè)需要在每個重要節(jié)點都做出正確的選擇。如果稍有不慎，哪怕只是一次錯誤，也可能讓原處于高歌猛進狀態(tài)的企業(yè)走起下坡路。

道理不難懂，難點在于，沒有人能看到未來，只能盡最大努力基于已有信息作判斷。而A/B測試，是一個把消費者行為數(shù)據(jù)化、用數(shù)據(jù)對行為進行量化反饋的過程，這對企業(yè)預(yù)判趨勢大有裨益。

從心理上，用戶往往不知道自己要什么，但其選擇偏好其實已經(jīng)反映在了行為上，只是市場尚未有相應(yīng)供給，告訴他們“你要的是這個”罷了。通過A/B測試，企業(yè)能夠知曉消費者的選擇偏好，由此動態(tài)做出決策，這相當(dāng)于把“用戶中心”往前再推一步，變成“用戶決策中心”，確保每個決策都為企業(yè)帶來正向收益，實現(xiàn)復(fù)利效應(yīng)。

簡言之，A/B測試讓業(yè)務(wù)迭代、新品研發(fā)能夠有的放矢，原本不確定的決策，將變成確定的決策，企業(yè)得以精準洞察商機。

除了驅(qū)動增長之外，A/B測試還可以幫助企業(yè)“做減法”。當(dāng)前，很多企業(yè)推出了五花八門的服務(wù)，試圖在廣撒網(wǎng)中找到增長密碼，但用戶體驗不增反降。而A/B測試，恰能幫助企業(yè)精準地“做減法”，幫用戶簡化場景中的選擇。

最后，從更底層的理念層面看，A/B測試是落實數(shù)據(jù)驅(qū)動理念的最佳工具。讓理念得到落實，進而輻射、滲透到企業(yè)的血脈中，才是A/B測試更大的價值。

小到UI設(shè)計的改變、轉(zhuǎn)發(fā)按鈕的放置，大到組織的迭代升級，A/B測試的價值可以貫穿企業(yè)增長的全過程。

但要做好A/B測試并不容易，需要有足夠?qū)I(yè)的人來設(shè)計測試方案，也需要決策者對A/B測試有足夠的認同。這樣，A/B測試才不至于在推行之初就阻力重重。

萬事開頭難，何況是一個投入先于效果、且極其考驗決策者決心的工程。唯一可以確定的是，A/B測試的重要性日益凸顯，價值已經(jīng)非常明確。挑戰(zhàn)當(dāng)然有，但當(dāng)企業(yè)真正掌握這把增長利劍時，業(yè)務(wù)增長路徑就會豁然開朗。