A/B测试是个什么鬼？Facebook放弃这支30余人团队

文/吴宁川

近日，前 Facebook 工程师秦超的一篇关于 2010 年至 2015 年 Facebook 重新设计网站首页的过程的文章受到了很多关注。据他的记载，2012年，时任Facebook产品副总裁带领公司内部顶尖专家团队，历时半年多开发新主页，并进行了重大修改和更新。随后，Facebook 在首页进行了 A/B 测试：当测试达到 5% 的用户群时，所有数据指标都在下降；当测试达到12%的用户群时，下降趋势依然明显。于是，Facebook 不得不放弃了一个 30 多人的团队近一年努力的成果。

A/B 测试到底是什么？

A/B 测试已经是一种成熟的测试和开发方法，被谷歌的开发团队广泛采用。业内人士告诉记者，谷歌广告产品的每一次新变化都必须经过严格的在线测试验证效果，在保证搜索体验的同时提高广告的转化率。这种基于数据的互联网产品开发和运营可以显着加速创新，提升用户体验，达到事半功倍的效果。据谷歌广告质量控制部前工程师王野介绍，A/B测试优化可以为谷歌带来100亿美元的年收入增长。

简单来说，A/B测试就是对一个页面的A、B两个版本进行测试，统计哪个版本的点击率更高。最常见的 A/B 测试形式称为灰度测试，即对公司自身互联网用户群的 1%、2%、5% 和 10% 进行用户测试a b测试工具 吆喝科技，然后选择测试最佳的页面影响。推广到整个用户群。

事实上，几乎所有成功的互联网公司都不同程度地采用了A/B测试来优化网页，提高点击率。王野说，谷歌的每一款产品都有数百个不同的测试版本同时运行。测试数据决定了最终只能启动少量改动。这些更好的改变可以实现每月2%左右的收入增长。，最终达到 20% 的年增长率。

Facebook的经历更加充分地表明，在互联网世界中，没有永远的赢家，经验和直觉都不是互联网世界的游戏规则。只有通过不断的测试和反复的数据分析，才能证明一个观点或判断是正确的。从Facebook的例子可以看出，唯一快速、牢不可破、不断试错的背后，其实是“数据说话”的思维，而A/B测试是数据说话的有力工具。

技术支持与数据思维的跨界

A/B 测试听起来简单，但实际上是一个结合技术支持和数据思维的跨界领域。

记者在硅谷采访了美国 A/B 测试初创公司 Optimizely 的产品经理 Byron Jones。他介绍了A/B测试的一般五步法：分析、假设、构建测试、运行测试和效果评估。其中，分析、假设和构建测试属于数据分析阶段，而运行测试和效果评估属于技术支持范畴，相互配合、相辅相成。

在数据分析方面，A/B 测试主要是对抽样用户群做数学假设：根据统计原理和算法，找出统计上最显着的抽样用户群的特征、规模、实验组数和次数。在技​​术支持方面，A/B测试主要基于互联网大规模流量分割技术。针对不同的用户群划分不同的网页，然后通过服务器和网络控制完成流量分割，达到将不同网页传递给不同用户的目的。

在数据分析方面a b测试工具 吆喝科技，还有一个非常有趣的辛普森悖论。形象地说，当对50%的女性用户实施某种促销时，销量就会增加；当对 50% 的男性用户实施相同的促销时，销售额也会增加；但是当这两个人结合在一起的时候。当集团合并，再次执行相同的促销方式时，销售额反而下降了。因此，有必要通过相关的数学处理算法，尽可能地消除辛普森悖论。

A/B测试云服务已成垂直创业方向

互联网公司的A/B测试大多由内部团队负责，以谷歌为代表的大规模、专业化的A/B测试正在逐渐成熟。随着互联网的飞速发展，越来越多的企业需要开展互联网服务，全部自建A/B测试团队显然成本高昂。因此，基于SaaS模式的第三方专业A/B测试公司应运而生。

两个具有谷歌工程师背景的团队都在从事类似的服务初创公司：其中一个在美国创立了 Optimizely，并已完成 C 轮融资。公司成立五年以来，累计完成1.。45亿美元的融资。Optimizely的投资方包括著名的硅谷创投A16Z、贝恩资本、Salesforce Ventures等，公司目前拥有员工400余人，业务发展迅速。

另一支团队于去年回到中国成立了耀科技。这是王野的队伍。王烨在清华、耶鲁就读期间，参与了中国下一代互联网（CNGI）、网络应用流量优化（ALTO）等大型项目，并参与了耶鲁、微软研究院、NEC等多项技术创新项目北美实验室。2012年至2014年，王野在美国谷歌总部广告质量控制部工作。2014年，在看到中国互联网+的热潮后，他决定回国创业，以公有云的形式为国内企业和开发者提供成熟的A/B测试技术。

Yeoh Technology的产品叫AppAdhoc Optimizer，是一个基于A/B测试的优化平台。它于 2015 年 4 月全面推出，目前拥有 100 多家试用客户。Yeoh Technology支持测试流程的动态控制，多变量组合测试，大量并行测试，以及针对特定人群的定向测试。, Android) 终端。烨科技目前的投资机构包括锋锐资本、极客帮等。

2016年将是互联网+行动的关键一年。无论是传统企业的互联网服务，还是很多O2O、电商初创企业，都可以通过A/B测试等专业工具来研究在线用户行为，提升运营效率。避免经验和直觉思维的陷阱。

A/B测试告诉我们，在互联网+时代，“领导说”不算数，而是“数据说话”。