第4.3节、实验结果分析和总结

第4.3节、实验结果分析和总结

回到第一阶段：分析与学习

对于试验结果的分析应由分析师或具备数据分析能力的增长负责人进行。分析结果应当写进试验总结中，并包括以下内容：

• 试验名称和描述，包括使用的变量和目标客户。例如，试验是针对某个营销渠道还是只针对移动用户，抑或是针对付费用户？

• 试验类型。测试的是产品功能、网页或App某屏上的营销文案的修改还是某个创意，抑或是新的营销策略？

• 受影响的特征。这可能包括试验在网站上或是App中运行位置的截图，或者某个广告牌、电视或电台广告中某个创意的副本。

• 关键指标。通过试验希望改进的指标是什么？

• 试验时间点，包括起止日期，也要说明当天是一周中的哪一天。

• 试验假设与结果，包括最初的ICE得分、样本量、置信水平和统计功效。

• 潜在干扰因素。比如试验运行的季节，或者是否有其他促销活动可能影响了访客行为。

• 结论。

       这份总结应通过邮件发送给团队成员，同时附上一份备忘录，简要说明从试验中获得的收获。同时也要将总结保存到储存所有试验总结的数据库中，我们将这个数据库称为“知识库”（knowledge base）。这个知识库可以是共享文件服务器上一个所有成员均可访问的专门文件夹，也可以是公司维客或内网上的一个页面。在GrowthHackers的“Projects”系统中，知识库是软件的一个组成部分，里面还会显示某个试验是成功、失败还是没有确定结论。不论试验报告如何存储，关键是要确保团队能够轻松搜索到所有的试验结果，以便日后查阅并考虑调整变量重做试验的可能。这样做也能保证试验不会重复，这在快节奏试验过程中很容易发生。

       除了构建知识库之外，很多团队还会定期在整个公司范围内或给相关部门发送报告，使公司员工及时了解增长进展。根据不同的公司文化和规范，可以采用不同的沟通方式。以下是几个例子。

• 创建“试验成功”邮件发送列表，使接收者定期了解哪些试验取得了成功及试验对公司业务的积极影响。我们在英曼采取了这种做法，列表里有20个人，都是事先表明希望收到通知的同事。有的公司也会发送关于所有试验结果的邮件，其中也包括失败和结果不确定的试验。

• 对于使用Slack等即时通信软件的团队，可以考虑设立一个频道或是群聊，专门用于分享并讨论试验结果。在英曼，我们在公司的Slack账户中设立了一个频道专门用于分享新启动的试验和最近结束的试验结果，不论结果好坏都会在频道里通知。

• 在公司总览图里发布试验结果。如果公司不使用总览图，那么可以直接打印试验结果并张贴在办公室的公共区域，通过这种低技术含量的办法也能够有效地沟通试验进展。

增长会议

       鉴于上述过程主要都是围绕着增长会议开展的，有必要说明一下会议流程。我们建议每周召开一次增长会议，但是有些团队可能会选择每两周召开一次，这取决于它们能够在增长过程上付出的时间和精力。会议的目的是聚焦于成员提名的想法并共同决定试验计划，因此时间绝不应浪费在献计献策、集思广益上，想法应该早在会议之前按照我们前面介绍的过程提出。当然，团队也可以每个月召开一次额外的头脑风暴会。

       在GrowthHackers，我们制定了一套召开增长会议的规则，实践证明这套规则十分有效。不同的团队可以根据具体的团队需求调整规则的细节，但是这一套规则总体上适合任何规模、任何类型的团队或企业。

       我们每周二召开增长会议，以便将一周中的第一天空出来让团队完成必要的准备工作。每周一，团队成员会检查试验进展，结束能够结束的工作，或者收集数据以备第二天会议使用。增长负责人则会查看前一周的工作，包括以下内容：

• 查看顺利启动的试验数量并将之与团队的目标试验速度进行比较。

• 与数据分析师讨论，了解所有关键指标的最新进展，以便第二天向团队介绍并分发报告。

• 收集所有已完结试验的数据。

• 对前一周的工作与结果进行深入评估，包括总结试验对于增长的积极和消极影响。

• 对这些信息进行汇总，并将会议日程编入文件，在会议之前将这份文件分发给团队成员。有些团队会将这份文件上传到云中，比如Google Docs（谷歌在线办公软件）或Dropbox，还有些团队则使用诸如Google Sites（一个侧重于团队协作的网站编辑工具）、Confluence（一个专业的企业知识管理与协同软件）等软件的内部维客页面或者公司内网。

会议当天，增长团队会抽出一个小时根据以下日程召开会议。增长负责人除应主持会议之外，还应负责保证会议按照日程进行。

15分钟：回顾指标并更新关注领域

       增长负责人会回顾北极星指标和其他关键增长指标的最新数据，比如团队关注领域内的短期增长目标的进展，如之前提到的食品商店App团队会在会议上回顾上一周平均每位用户创造的收入、完成购买的用户数等数据。这能够帮助团队了解工作的进展、有哪些行之有效的想法以及有哪些可改进之处。

       除此之外，增长负责人也将突出说明以下信息：

主要积极因素：即指标的提升，这可能是试验带来的效果，也可能是受到团队工作以外因素的影响。例如，在食品商店App中加入了购物清单功能之后回购率上升，或是市场团队进行的App内促销带来了一批新App用户。

主要消极因素：即指标的下降，团队需要回顾有哪些因素阻碍了增长，比如App用户数量大幅减少，或是购买率下降，抑或是原定的营销计划没有获得预期效果或是被推迟。

增长关注领域：即团队关注的是用户体验的哪一方面或哪一个增长杠杆、团队是否有短期目标。如果关注领域不变，那么只需要再次确认。而如果关注领域发生变化，比如从获客转向留存或变现，那么会议应就新的关注领域及为何做出这一改变进行讨论。同时也应讨论为实现这一目标需要设定的短期目标，比如使一定比例的App用户将商品保存到购物清单中。

10分钟：回顾前一周的测试工作

       对前一周测试工作的回顾应包括以下内容：

节奏：前一周启动的试验数以及与团队目标的对比。

前一周的“Up Next”清单中有多少试验没有启动：对于这一点，会议应就试验推迟的原因进行讨论。

15分钟：从试验分析中获得的主要收获

       增长负责人和数据分析师以及具体某一项试验的负责人（比如负责一个新功能开发的产品经理）会回顾已启动试验的初步结果以及已完结试验的完整分析结果。他们会回答成员提出的任何问题、倾听关于进一步分析的建议并汇总团队关于试验的评估及下一步工作的安排。

15分钟：选择下一周期的增长试验

      团队会讨论下一轮提名的想法。增长负责人会邀请每一个成员简要介绍一下他们提名的想法，每提名一个想法之后团队会就这个想法的价值展开讨论。讨论的目的是达成共识，但如果出现分歧，应由增长负责人最后拍板。最后选定的试验将分配给不同成员，他们将作为试验负责人负责安排试验的启动。增长负责人将基于每个成员的专长选择最适合的人选负责不同的试验。例如，一个新的产品功能会分配给产品经理负责，而一个新的视频广告则可能分配给营销人员。任何值得开展但无法在一周之内筹备完成的试验将推迟到合适的日期，这一日期的选定则取决于相关团队或部门对于所需筹备时间的反馈。

5分钟：检查增长想法储备库

       在这5分钟的时间里，增长负责人会告知团队成员还有多少想法可供考虑或日后启动。如果备选想法的数量有所减少，那么增长负责人应鼓励团队在接下来一周提出更多想法。

增长只有“几周之遥”

       增长黑客过程对于增长的提升速度非常之快。有时候，一个点子从产生到成为重要增长驱动力只需要两周左右的时间，这包括花在试验前的数据分析和第一次增长会议上的时间。例如，在食品商店App的案例中，假设团队选定第一周启动的两个试验都产生了确定性的结果，其中一项试验的结果支持对App做出重大改进，而且这一改进能够立刻实现并落地。假设初次下单的10美元优惠活动使访客转化为初次消费用户的数量增加了15%。基于这一显著成果，团队决定将10美元优惠提供给每一个App新用户，这一决定带来了持续的15%的提升，初次下单用户带来的收入也大幅增加了。

        根据这一简单试验取得的成功，团队可能会发现另外一个十分值得测试的想法。例如，团队在回顾试验结果时可能会发现新用户的平均订单金额低于整体平均订单金额。于是团队可能会决定尝试一些旨在提高初次下单金额的办法。比如，他们提出了分级折扣的想法，即初次消费的金额越大，折扣就越高。

        增长黑客的一个优点是，即便失败的试验也能在极短的时间内给团队带来重要收获。假设另一项试验以失败告终，即突出显示购物满50美元免运费政策的做法并没有带来销量的增加。团队推测，可能是因为50美元的门槛太高了，于是决定为下一周的日程增加一项新的试验。可能这项新试验仍然没有带来订单量的显著增加，但是如果他们继续试验，他们可能会发现35美元的门槛刚好合适。团队可能只是多花了两周时间就收获了能够极大驱动增长的方法。

        截至目前，我们已经解决了数据问题，组建了团队，也了解了增长黑客过程，接下来就该进入本书的实战指导环节了。我们将分别介绍增长的几个主要杠杆——用户获取、激活、留存和变现，分享增长团队可以采用的策略和方法，以激发这几个领域的增长。同时，我们也会讲述更多增长团队的成功案例，看一看它们如何在这些领域发现并取得了巨大的成功。我们仍然会用食品商店App团队的案例一步一步地讲解如何将增长黑客过程付诸实践。