О качестве А/В-теста

Все, кажется, одержимы A / B тестированием в наши дни: тестирование цветов кнопок на всевозможных ресурсах, различных вариаций корзины в зависимости от объема покупки, работы лэндингов и пр. Если вы хотите изучить, как запустить a/b тестирование и получить результаты, которые действительно могут помочь вам улучшить производительность вашего приложения, то мы расскажем об этом ниже.

Случайное тестирование А / Б конечно может привести к повышению коэффициента конверсии пользователей вашего приложения, но в большинстве случаев оно не даст вам никаких ощутимых результатов. Согласно исследованию, проведенному AppSumo, только один из восьми тестов на самом деле дает эффективный результат, чаще всего они не оправдывают затраченных усилий.

Почему А/Б тестирование проваливается?

В большинстве случаев, это происходит из-за недостатка входящей информации для обеспечения статистически значимых результатов: если результаты тестирования не приводят вас к выводам о том, какая из проверенных альтернатив лучше, то, скорее всего, они не являются статистически значимыми, и по тесту нельзя делать вывод о качестве приложения.

Другая, более серьёзная, проблема возникает тогда, когда А/В-тестирование показывает статистически значимые результаты, но они проигрывают старым “неусовершенствованным” характеристикам. Это происходит из-за того, что не было собрано достаточно данных, чтобы доказать эффективность таких изменений.

А/В-тестирование покажет вам нормальные результаты только тогда, когда тесты действительно имеют смысл и направлены на те элементы вашего приложения, которые потенциально могут улучшить его производительность и помочь вам достичь бизнес-целей.

Как определить значимость входящих данных?

Для осуществления А/B-тестирования, приносящего реально ценные результаты, нужно выполнить следующие пункты:

1. Чётко обозначьте цели. Имейте в виду, бизнес-цели вашего приложения имеют решающее значение при определении ключевых показателей, которые необходимо улучшить с помощью А/Б тестирования. Для подавляющего большинства мобильных приложений, наиболее важным показателем является коэффициент конверсии пользователей, которые совершают особое действие, приближающее вас к монетизации своего приложения.

2. Определение ключевых показателей эффективности. Ключевые показатели эффективности (KPI) – это показатели, которые отражают успех вашего приложения. А успех определяется количеством установок, заказов, временем, проведенным за приложением и пр. Это зависит от ваших бизнес-целей.

3. Помните, что хороший UI и UX являются ключами к успеху. Если вы будете невнимательны во время тестирования любых вариаций посадочной страницы, то ваши результаты могут быть совершенно неточными и не эффективными. Каждый вариант, включенный в ваши А/В тесты, должен быть разработан именно для ваших целевых пользователей и основан на обширных исследованиях.

Примеры правильного тестирования

Вот несколько реальных примеров, когда разумный А/В-тест дал существенные результаты, и это помогло повысить конверсию ресурса.

• Приложение runkeeper (трекер активности под iOS и Android) привлекло пользователей путем реорганизации стартового экрана;
• Skoda удалось увеличить количество установок приложения для водителей на 50% путем простого изменения порядка их скриншотов в магазине приложений.

Вывод: при проведении А/B-тестирования мобильного приложения нужно понимать, чего хотят пользователи и провести испытания для достижения по-настоящему значимых результатов.

Источник: https://yalantis.com