Что означает A/B эксперимент и зачем оно используется
A/B эксперимент являет из себя способ проверки пары а также нескольких версий страницы, интерфейса, сообщения, элемента действия, анкеты, рассылки, рекламного сообщения или другого цифрового блока. Его функция заключается в том этом, дабы понять, какой вариант лучше функционирует в фактической аудитории. Без опоры на гипотез без проверки а также оценочных суждений применяется проверка на живой аудитории, при которой контрольная доля просматривает вариант A, и тестовая — вариант B.
Этот принцип помогает формировать выводы с опорой на результатах информации, но не на индивидуальных вкусов а также нерегулярных наблюдений. В рамках обзорных материалах, среди них 1вин, часто отмечается, будто A/B проверка особо эффективно там, когда точечные изменения способны сказываться в отношении реакции аудитории: нажатия, оформления профилей, передачу заявок, глубину изучения, удержание, покупки, оформления подписок или иные целевые результаты. Эксперимент помогает понять, реально ли именно корректировка усиливает 1win результат.
Каким образом работает А/Б тестирование
Механизм сплит тестирования довольно понятен. Вначале определяется элемент, который необходимо оценить. Объектом проверки может оказаться название, цвет элемента действия, расположение блоков, сообщение подсказки, логика анкеты, картинка, цена, вариант предложения или позиция ключевого элемента. После этого создаются как минимум пары версии: контрольный а также обновленный. Вслед за подготовкой поток пользователей делится по версиями по до запуска определенным параметрам.
Одна доля посетителей сохраняет возможность видеть исходную вариацию, и вторая получает обновленную. Платформа накапливает сведения касательно поведении отдельной части и сопоставляет показатели. Когда вариант B дает лучший эффект с учетом нужном объеме данных, эту версию можно запускать. Если разницы нет а также тестовая страница функционирует менее эффективно, изменение не принимается. Именно в таком подходе как раз проявляется реальная значимость эксперимента: такой метод позволяет тестировать предположения перед полного 1вин запуска.
Для чего нужно А/Б тестирование
A/B эксперимент нужно для уменьшения неясности. Внутри онлайн сервисах в том числе небольшая правка имеет шанс влиять по части восприятие дизайна. Одиночный заголовок способен быть доступнее альтернативного, короткая анкета способна заполняться активнее расширенной, а более видимая кнопка способна повысить число нажатий. При отсутствии тестирования такие решения часто сохраняются предположениями.
Метод помогает развивать сервис постепенно. Без необходимости полной переделки целого ресурса или приложения получается оценивать точечные объекты а также измерять фактический результат. Это снижает угрозу ошибочных изменений, сокращает расход затраты и помогает формировать данные о поведении пользователей. С течением накоплением тестов команда 1 win получает не случайный совокупность суждений, вместо этого базу проверенных решений.
Какого типа блоки допустимо проверять
Тестировать допустимо практически любой объект, который воздействует в отношении действия пользователя. Как правило в большинстве случаев тестируют заголовки, вторичные заголовки, призывы к действию, тексты CTA-элементов, формы создания профиля, позицию блоков, визуалы, страницы позиций, очередность действий, сортировки, навигацию, визуальные блоки, сообщения, email-сообщения и рекламные материалы. Необходимо, для того чтобы указанный объект был соотнесен с конкретной конкретной задачей.
Когда задача заключается в процессе увеличении переданных обращений, разумно тестировать заявку, формулировку около формы, количество строк и видимость CTA. Когда необходимо повысить длину сессии, имеет смысл проверять переходы, модули подсказок, внутренние линки и структуру раздела. Если прямее связь 1win в паре корректировкой плюс метрикой, тем ценнее результат эксперимента.
Предположение в качестве база эксперимента
Каждый хороший A/B проверка запускается от гипотезы. Гипотеза объясняет, какое решение предлагается, почему такая правка имеет шанс воздействовать в отношении результат а также какой именно показатель обязан сдвинуться. В частности, допустимо допустить, если сокращение формы оформления аккаунта уменьшит количество отказов, поскольку что именно пользователю нужно будет меньший объем минут ради завершения процесса.
Корректная проверяемая идея не следует казаться очень размытой. Фраза типа «сделать интерфейс качественнее» не позволяет позволяет измерить результат. Гораздо более точный пример: «при условии что заменить растянутый надпись элемента действия на более краткий плюс понятный, количество переходов вырастет, поскольку что именно ожидаемый результат станет понятнее». Такая формулировка сразу 1вин задает объект проверки, логику плюс критерий.
Базовая а также тестовая выборки
На уровне А/Б тестировании контрольная часть просматривает исходный вариант, тогда как тестовая — обновленный. Подобное деление необходимо для честного сравнения. Когда просто поменять раздел и сопоставить результаты перед плюс вслед за, результат способен стать неточным по причине сезонности, промо нагрузки, перестройки потоков пользователей, информационного фона, технических ошибок или других сторонних условий.
Одновременный показ разных вариантов сокращает роль случайных обстоятельств. Контрольная и тестовая группы оказываются в похожей ситуации: один плюс самый одинаковый отрезок, одинаковые же источники посещений, схожие девайсы а также общий контекст. Следовательно отличие в метриках с большей 1 win повышенной степенью вероятности связано именно с корректировкой, а не только с внешними сторонними обстоятельствами.
Какие метрики используются внутри сплит экспериментах
Показатель — представляет собой показатель, по которому измеряется результат проверки. Определение показателя зависит от цели теста. В случае лендинга с анкетой существенны заполнения заявок, ради онлайн-магазина — добавления в покупку и покупки, ради медиа — глубина просмотра плюс период сессии, ради приложения — оформления профилей, первые действия, retention и дальнейшие 1win активности.
Необходимо различать основную плюс вторичные метрики. Ключевая отражает, для какого результата делается проверка. Дополнительные дают возможность понять вторичные последствия. Например, обновление кнопки может усилить переходы, при этом уменьшить ценность дальнейших событий. Из-за этого разумно смотреть не исключительно исключительно на первый этап, а также также в сторону последующее поведение: выполнение формы, повторные визиты, выходы, проблемы а также общую эффективность результата.
Расчетная достоверность
Расчетная достоверность отражает, насколько возможно, будто наблюдаемая расхождение в паре решениями не является считается статистическим шумом. Когда первый вариант незначительно обходит другой вслед за ряда десятков сессий, такой результат все еще не подтверждает показывает выигрыш. В условиях малом массиве наблюдений показатель способен резко измениться, если 1вин аудитория станет объемнее.
Ради достоверного итога нужно достаточное количество наблюдений. Если ниже планируемая разница в паре решениями, тем самым значительнее наблюдений потребуется собрать. Когда корректировка должна повысить показатель только на несколько %, тесту потребуется повышенный объем срока и посещений. Расчетная существенность помогает избегать формировать быстрые действия с опорой на основе временных изменений.
Размер наблюдений и срок эксперимента
Размер выборки сказывается в отношении точность вывода. В случае если проверка охватывает слишком небольшое число пользователей, выводы могут стать неточными. Например, малое число дополнительных кликов у одной выборке могут показываться как увеличение, но при крупном объеме окажутся нормальной случайностью. Следовательно перед запуском разумно рассчитывать, какое количество посетителей 1 win или конверсий необходимо ради подтверждения идеи.
Срок проверки дополнительно имеет роль. Слишком сжатый период проверки может не успеть учитывать отличия среди будними плюс праздничными днями, дневной по времени плюс послерабочей активностью, разными потоками трафика. Чаще всего эксперимент нужен чтобы охватывать завершенный круг действий пользователей. Вместе с таком подходе чрезмерно долгий период проверки также нежелателен, в случае если окружающие условия начинают ощутимо измениться.
По какой причине опасно изменять эксперимент во время запуска
Одна среди частых проблем — вносить изменения в проверку после момента запуска. Когда внутри процессе эксперимента обновить сообщение, сегмент, дизайн, правила показа либо цель, данные станут неоднородными. После этого окажется трудно выяснить, какой фактор точно повлияло на итог. Проверка снизит корректность, при этом результаты окажутся ненадежными 1win.
До момента запуском следует установить гипотезу, версии, метрики, деление аудитории а также критерии остановки. С момента старта лучше не нужно корректировать тест без серьезной основания. Если найдена неточность внутри запуске а также системный проблема, разумнее остановить тест, исправить проблему затем начать повторный проверку, вместо того чтобы пытаться анализировать некорректные наблюдения.
Синхронное проверка разных корректировок
В отдельных случаях возникает стремление проверить за один раз группу решений: новый headline, альтернативную CTA, упрощенную заявку и обновленный расположение элементов. Подобный подход может выдать суммарный показатель, при этом не объяснит, какой именно точно элемент сказался по части метрику. Когда измененная страница оказалась лучше, будет неясно, что повлияло лучше всего.
Ради точной проверки как правило меняют единственный важный фактор в 1вин одну проверку. Если нужно проверить несколько сочетаний, применяется многофакторное эксперимент. Оно многоуровневее, нуждается повышенного объема посещений и внимательной расшифровки. Ради многих целей А/Б тест с одной ясной идеей дает более понятный и полезный итог.
Примеры сплит экспериментов внутри UI
Внутри UI-средах A/B эксперимент часто задействуется с целью улучшения понятности шагов. Например, можно сравнить две версии формы: расширенную с большим набором полей и упрощенную с малым комплектом полей. Если короткая форма увеличивает объем завершенных регистраций без одновременного снижения качества заявок, этот вариант можно признавать гораздо более удачной.
Следующий сценарий — тестирование надписи кнопки. Нейтральная формулировка может оказаться не такой очевидной, чем прямое описание результата. Также тестируют позицию CTA-элементов, последовательность информационных секций, дизайн 1 win hint-элементов, использование индикатора прогресса, метод показа ошибок и объем этапов внутри процессе. Каждый такой фактор сказывается на степень того, в какой степени просто окончить целевое событие.
сплит эксперимент внутри контенте
Внутри контенте эксперимент позволяет выяснить, какие именно названия, тексты, построения а также типы лучше привлекают вовлечение. Можно сравнивать отличающиеся интро, длину текста, порядок аргументов, наличие списков, подачу карточек, подачу преимуществ либо стиль объяснения непростой темы. Вместе с этом сценарии необходимо измерять не только исключительно переходы, но и следующее поведение.
Заголовок способен увеличить количество нажатий, но в случае если контент не отвечает запросам, повысится доля отказов. Следовательно контентные тесты нужны чтобы учитывать глубину взаимодействия: период чтения, глубину страницы, перемещения внутри сайта, возвраты плюс завершение нужных результатов. Качественный результат — представляет собой не исключительно захват клика, а соответствие запроса плюс содержания.
A/B эксперимент на уровне почтовых рассылках
Внутри email-кампаниях часто сравнивают заголовки рассылок, название автора, первые предложения, момент отправки, размер письма, место элементов действия а также формулировки условий. Одна часть получателей открывает одну вариацию письма, второй сегмент — другую. Затем рассылкой сопоставляются открытия, клики, отказы от подписки, жалобы плюс следующие реакции на платформе.
Важно не сводить анализ значением открытий. Тема письма способна быть яркой а также получать интерес, при этом в случае если она не сможет совпадает контенту, нажатия и лояльность имеют шанс уменьшиться. Следовательно полезный почтовый эксперимент анализирует цельную цепочку: open-событие, клик, активность вслед за нажатия а также отклик получателей по отношению к рассылку.