产品策划中,如何提高产品A/B测试的有效性

产品策划中,如何提高产品A/B测试的有效性

推荐语:在A/B测试算是近两年比较新的一种产品策划模式,简单来说就是做出多个测试,根据数据分析判断出哪种方案更好,更具备上线资格。但是实际的A/B测试中,也不能茫然看数据,如何提高A/B测试的有效性是需要解决的问题。

本文字数:2000  阅读时间:5分钟


可衡量才可促进”,但有时候我们却太过于关注数据,而忽略了用户心理。

这是个人觉得比较有意思的一篇文章,无论是创业公司还是N 角兽,都应该是数据驱动运营的,也的的确确确需要数据来衡量当前阶段的产出,发现可改进的点。“可衡量才可促进”,但有时候我们却太过于关注数据,而忽略了用户心理。 就算在产品正式上线前,在 A/B 测试上做足了功夫,测试了很多个版本,最终选择了转化率最高的一个版本。但你能保证你做的是有效的 A/B 测试吗?或许用户只是没得选,不得已才在所谓的“较高转化”的版本上花时间呢。 直入正题,这篇文章可能在你处理下面两种情况的时候对你有用:

  • 你可能正在制作或刚刚上线你的网站,但访问量太少使得 A/B 测试(分离测试)还不适用。同时你迫切想要通过测试来进行验证,让数据来支持那些很酷的想法和你的设计决策。
  • 尽管你的网站已经有了足够多的流量,并且也做了 A/B 测试,但转化率依然不达标。做 A/B 测试的时候你想有更大胆的假设,但没有时间来做定性研究(你用了图表和热力图)。

我们优化网站的时候,转化率不是要关注的唯一关键绩效指标(KPI)。或许还需要更深入的了解用户心理,衡量整个 AIDA (Attention , Interest ,Desire,Act)周期。这时候如果只是做了 A/B 测试,那么你的关注点可能就局限在用户的行为部分,这部分由转化率来衡量。对 BAT 这样体量的网站来说,你可以测试按钮颜色的改变,即便是为了转化率上 0.01% 的提高,这也是有意义的,因为这个微小的改变每天都会被数百万用户看到。 否则,你需要测试更大的变化来得到有意义的结果,但之后你可能也说不清楚为什么就产生了这样的结果。究竟是什么起了作用,是很引人注目的颜色,能“忽悠人”的文案,还是很有诱惑力的价值主张?你怎么知道哪些元素需要改进,哪些元素可以保留,因为它们的效果不错。用下面两个指标用来衡量:

  • 关注率(Attention Rate):只关注特定元素的用户人数。
  • 参与率(Engagement Rate):关注特定元素的用户人数和他们关注特定元素的时间。

确切地说,这两个注意力经济指标就是用来了解用户对产品认知的。关于这两个指标的获取,如果你钱多,就能用注意力跟踪研究,但还是得花不少时间。预算紧张,可以尝试预测注意力跟踪,经济实惠的一种方案,但是吧,仅仅是尝试啊,因为它的准确性真不敢恭维。看看下面这张图,这真的是有效的注意力预测?(难道不是应该关注胸,好吧,机器不好色)

倒是有一种叫 “Attensee(https://attensee.com)”的工具,既靠谱又经济,它提供更可信的见解(以交互研究的形式捕获真正的人类行为。嗯,一种黑科技),自由职业者和小机构也能负担得起。看看我们为了优化关注度和提高转化用 Attenses 做的实例研究,你应该问自己下面几个问题: 我对转换的元素有足够多的关注吗?人们不阅读网站,人们只是浏览网站寻找有价值的信息。你的网站传递有价值信息的速度越快,用户就越有可能会留下来阅读更多的你想要让他们看到的东西(订阅 / 注册 / 购买)。你的页面必须能够立即回答下面 3 个基本的问题:

1.你提供什么?

2.什么能使你所提供的更有趣?

3.访客下一步应该会做什么?

看一看上面的例子。你希望这三个区域有较高的参与率,所以很多用户会注意你在这些区域的内容,并花时间阅读它。我相信视觉网站优化在这里做了一个相当不错的工作。你可以从一个被调查者的观点看这项研究。 我的网站上有没有任何不必要的抢夺注意力的元素?整理你的元素布局,使得它没有任何营销信息,让用户把注意力放到真正有说服力的信息上。请看这个例子,Mint.com 的简约设计。这里的每一个元素都有它的目的,并且告诉我们关于这个产品的一些很优秀的特质。

人们是否明白我第一眼提供的?一旦你得到用户的注意,你必须确保你正在做的大部分工作是让用户真实了解你的产品是什么。这就是为什么你应该结合定量和定性数据。

这是 Mint.com 的图表。尽管这是一个精心设计的注意分布,你可以看到,只有一半的人回答正确,而几乎四分之一的受访者不知道在所有这些家伙是卖什么。这说明改善他们价值主张的空间很大(网站内容很太拖沓)。 像上面说的,很多情况下,还没到马上就要做 A/B 测试的地步,先把想传递给用户的想清楚,是否在有限的页面布局上提供给用户有价值的信息(对用户有用,用户感兴趣),是否足够简单(没有无效信息),是否足够直白(用户很容易明白你的产品是什么)。做好了上面的,接下来去开展有效的 A/B 测试吧。


小编观后:看来A/B测试也是有前提条件的,至少产品模式与用户预期是对等的状况,也是就是说产品的核心服务能够传播给受众用户,此时做A/B测试,才能是更好提高A/B测试的有效性。

来自短话说产品,由习得授权并编辑整理,欢迎学习~,投稿请发送 get@learnget.com

2

扫一扫,分享到微信

猜你喜欢

文章评论

请先 后评论

上一篇

如何理解数据统计工具的价值和要求

下一篇

千万用户级H5产品运营路径

微信公众号

微信公众号