Вы сможете оценить итоги теста через несколько суток после начала эксперимента. Чтобы следить за процессом, выберите соответствующий эксперимент в списке и перейдите на страницу отчетов. a/b testing это Но как вы помните, важно избежать «ошибок подглядывания» и выждать достаточное время для выбранного трафика. А не бросаться сразу отменять изменения, если первые показания вас пугают.
Аналитики проводят A/B-тесты, чтобы помочь маркетологам подтвердить или опровергнуть их предположения. Разновидностью A/B-тестирования является многовариантное тестирование. Этот сервис «дружит» c GA и может получать данные прямо из аккаунта аналитики.
Инструменты для проведения A/B-тестирования
Прежде чем заменять прямоугольные кнопки, стоит проверить такую теорию. Нужно внести правки на сайт и дать клиентам оценить обновленный лендинг. — В самом начале проведения тестирования проверьте, действительно ли оно работает. Затем нужно разработать гипотезу о том, что именно поменяется, и, соответственно, что вы хотите проверить. Нужно понять, каких результатов вы ожидаете и какие у них могут быть обоснования.
Визуально он похож на графический редактор, в котором можно изменить любой элемент — цвет, текст, размер, расположение. Позволяет настраивать свыше 15 параметров для проведения эксперимента, частично интегрируется с Google Analytics, но без возможности импорта целей. Есть демоверсия на 30 дней с ограничением по трафику до 1000 посетителей. Результаты оценивались по коэффициенту каппа Коэна — показателю, который используется для оценки надёжности и эффективности научных классификаций.
Какие альтернативы тесту существуют
Обычно в качестве такой метрики берут коэффициент конверсии, но можно выбрать и промежуточную метрику вроде показателя кликабельности (CTR). К сожалению, не существует стандартного числа людей, которое следует тестировать. Тестируют не только компоненты сайта (хотя, нам, как веб-студии, это наиболее интересно). Вы можете использовать тесты A/B для оптимизации коэффициента конверсии платной рекламы, электронных писем и других каналов цифрового маркетинга. Чтобы получить чёткое представление о результатах А/В-теста, оба варианта должны быть протестированы одновременно при условии одного и того же размера выборки посетителей.
Мы рассмотрели алгоритм проведения теста на примере страниц сайта. Однако аналогичный подход с небольшими изменениями можно распространить и на другие виды исследования. Например, на выбор рекламного объявления или функционала мобильного приложения.
Как получить правильный размер выборки
Но бывает и обратная ситуация, когда изменение не повлияло на ключевую метрику. Делаем выводы, что гипотеза не подтвердилась и собираем все результаты для дальнейшего анализа тестирования. Удобно проводить тестирование с помощью инструмента на маркетинговой платформе Google — Optimize. Он бесплатный и может использоваться как на лендингах, так и на отдельной странице сайта. Для подключения понадобится аккаунт Google Analytics.
Обычно пользователи выбираются случайным образом и распределяются либо в контрольную группу, либо в экспериментальную группу. Затем мы запускаем эксперимент, в котором контрольная группа видит старую версию, а экспериментальная группа — новую. Проверка гипотез в статистике — это способ проверить результаты исследования, чтобы понять, есть ли у вас какие-либо существенные результаты. Наиболее важные и запутанные аспекты проверки гипотез — это определение нулевой и альтернативной гипотез. Специализированные сервисы избавляют вас от подсчетов вручную и помогают провести тест с нужным вам уровнем достоверности результатов. Тест Стьюдента помогает оценить значимость данных при измерении конверсии, среднего чека, средней глубины просмотра и подобных численных метрик.
Шаг 5. Проведение эксперимента и накопление данных
Однако нужно учитывать, что тесты не всегда успешны. Более 50% тестов заканчиваются тем, что специалисты отказываются от внесения предложенных правок. Воспринимайте АБ тестирование как полезный опыт, который помогает лучше понять потребности и поведение клиентов. При таком тестировании одновременно оцениваются один или несколько вариантов исследуемого объекта.
- Он нужен, чтобы вовремя заметить эти проблемы в развитии и предложить своевременную помощь обучающемуся и его семье.
- Продуктовый дизайнер из Сан-Франциско Лиза Шу рассказывает о простой последовательности шагов, которые помогут провести базовое тестирование.
- Точное количество людей, которое вам нужно для обоснованного теста, зависит от размера вашего бизнеса.
- Можно упустить важные моменты, которые повлияют на продвижение продукта.
- Но есть исследования, которые ставят надёжность результатов под сомнение.
Чтобы найти ответы на эти вопросы, используйте Google Analytics для отслеживания трафика, реферальных источников и другой ценной информации. В то время как заглавное фото на лендинге и то, что на нем изображено может оказать значительный эффект на уровень конверсии. Определившись с задачей и элементом, над которым будет проводиться эксперимент, переходим к разработке этого элемента. Например, «увеличить количество переходов по ссылке на 6%». Понятно, к чему нужно стремиться, и не приходится отвлекаться на другие показатели. Упоминание может пойти на пользу и увеличить конверсию ресурса.
А/В-тестирование чего можно проводить
Чем меньше этот показатель, тем ниже риск обнаружить в результатах эксперимента случайные данные. В онлайн-сервисах для проведения сплит-теста порог значимости выбирается автоматически. Для получения статистически значимых результатов нужно рассчитать размер аудитории, которой будет демонстрироваться контрольный или экспериментальный вариант продукта.
С его помощью можно проверить свои гипотезы и экспериментально оценить предпочтения посетителей – чтобы принять решение о том, стоит ли что-то менять или лучше оставить как есть. Это показатель, характеризующий разницу между результатами контрольной и экспериментальной групп, обусловленную случайностью. Стандартный порог значимости — 0,05, то есть в 5% случаев отклонения не имеют ценности для эксперимента.
