Какой метод такое А/Б проверка плюс почему этот метод необходимо
A/B эксперимент составляет формат подход сравнения пары либо нескольких версий раздела, интерфейса, копирайта, кнопки, анкеты, рассылки, маркетингового объявления или иного онлайн элемента. Главная функция заключается в необходимости задаче, чтобы понять, какой формат лучше работает на реальном использовании. Взамен догадок плюс оценочных оценок задействуется тест в рамках настоящей посетителей, когда одна доля просматривает формат A, и тестовая — версию B.
Подобный принцип дает возможность принимать решения на результатах информации, но не на индивидуальных мнений а также нерегулярных выводов. В экспертных материалах, среди них 1win, часто указывается, что сплит эксперимент особенно ценно в тех случаях, при которых малые корректировки способны воздействовать в отношении поведение аудитории: нажатия, создания аккаунтов, отправку форм, длину сессии, лояльность, покупки, оформления подписок либо другие целевые действия. Эксперимент помогает увидеть, действительно ли конкретно корректировка улучшает 1win эффект.
Каким образом функционирует сплит эксперимент
Логика A/B эксперимента достаточно несложен. На первом этапе берется элемент, какой необходимо протестировать. Это способен быть название, оттенок CTA-элемента, порядок блоков, сообщение сообщения, структура формы, визуал, стоимость, тип предложения или место важного действия. Затем создаются не менее два версии: первоначальный плюс измененный. Затем этого посещения делится среди версиями согласно до запуска определенным правилам.
Контрольная группа посетителей продолжает просматривать исходную страницу, тогда как вторая открывает обновленную. Система собирает сведения про действиях отдельной части и сравнивает показатели. В случае если версия B дает лучший эффект при значительном объеме сведений, его можно запускать. В случае если отличия не наблюдается либо обновленная страница работает менее эффективно, правка отклоняется. Именно в таком подходе и проявляется практическая ценность проверки: эксперимент помогает проверять предположения до массового 1вин внедрения.
Зачем необходимо сплит проверка
А/Б тестирование важно с целью сокращения неопределенности. На уровне цифровых продуктах даже небольшая деталь способна сказываться по части восприятие интерфейса. Один заголовок способен стать понятнее другого, краткая форма может проходиться активнее длинной, и более видимая кнопка действия способна увеличить число кликов. При отсутствии тестирования эти результаты обычно остаются предположениями.
Подход позволяет улучшать продукт постепенно. Вместо полной переработки целого проекта а также приложения можно оценивать точечные блоки плюс измерять практический эффект. Такой подход снижает вероятность слабых изменений, сберегает время и средства плюс дает возможность накапливать данные о реакциях аудитории. С течением периодом команда 1 win формирует не комплект мнений, но базу валидированных действий.
Какие объекты получается проверять
Сравнивать можно практически каждый элемент, какой воздействует на поведение пользователя. Как правило в большинстве случаев оценивают headline-блоки, вторичные заголовки, призывы для переходу, тексты элементов действия, формы создания профиля, позицию элементов, визуалы, карточки продуктов, очередность этапов, инструменты отбора, навигацию, промоблоки, сообщения, письма а также промо объявления. Существенно, для того чтобы отобранный элемент оставался объединен с конкретной заданной задачей.
Когда ориентир заключается в необходимости увеличении заполненных форм, логично проверять форму, сообщение возле этого блока, объем строк плюс заметность CTA. Если важно повысить объем изучения, стоит проверять переходы, блоки подсказок, связанные переходы плюс построение материала. Насколько яснее соотношение 1win в паре изменением и задачей, тем самым информативнее итог эксперимента.
Гипотеза в качестве фундамент эксперимента
Любой качественный A/B проверка запускается от проверяемой идеи. Гипотеза формулирует, какое именно правка рассматривается, почему это изменение имеет шанс сказаться по части эффект плюс какой метрика должен измениться. К примеру, можно предположить, если сокращение формы регистрации снизит количество отказов, потому что именно посетителю потребуется значительно меньше времени с целью завершения шага.
Корректная проверяемая идея не должна должна казаться слишком размытой. Формулировка наподобие «сделать страницу качественнее» не позволяет дает возможность оценить эффект. Более полезный пример: «когда поменять длинный надпись CTA на короткий и конкретный, количество нажатий увеличится, поскольку что именно действие будет яснее». Эта идея сразу же 1вин указывает предмет эксперимента, логику плюс метрику.
Базовая и тестовая группы
На уровне сплит проверке исходная группа получает первоначальный формат, тогда как тестовая — измененный. Подобное деление необходимо ради объективного анализа. В случае если просто обновить версию и сравнить результаты до изменения плюс вслед за, результат способен испортиться из-за сезонности, маркетинговой кампании, изменения каналов пользователей, событий, технических ошибок или иных окружающих причин.
Одновременный показ разных решений уменьшает влияние непредвиденных обстоятельств. Контрольная и тестовая выборки находятся на уровне схожей среде: единый плюс же идентичный период, одинаковые идентичные источники пользователей, схожие девайсы и одинаковый окружение. Поэтому отличие по результатах с большей 1 win значительной долей уверенности связано в первую очередь с конкретным изменением, и не не столько с посторонними случайными условиями.
Какого типа метрики задействуются внутри А/Б экспериментах
Критерий — является значение, согласно которому измеряется результат эксперимента. Определение критерия определяется на основе цели проверки. Для лендинга с размещенной заявкой существенны заполнения заявок, ради торговой площадки — добавления в покупку а также покупки, для контентного проекта — объем чтения и период чтения, в случае приложения — создания аккаунтов, запуски, retention и повторные 1win события.
Необходимо отделять ключевую плюс вторичные критерии. Ключевая демонстрирует, зачем чего запускается проверка. Вспомогательные помогают понять сопутствующие эффекты. К примеру, правка CTA способно увеличить клики, при этом ухудшить ценность последующих шагов. Следовательно полезно оценивать не только на стартовый этап, а также также на следующее действие: выполнение формы, возвращения, отказы, ошибки и суммарную значимость действия.
Статистическая существенность
Статистическая достоверность демонстрирует, насколько возможно, будто зафиксированная отличие среди вариантами не является оказывается случайной. Если первый решение немного опережает альтернативный после пары малого числа сессий, это еще не доказывает преимущество. На фоне ограниченном массиве сведений результат может оперативно сдвинуться, после того как 1вин аудитория станет шире.
С целью достоверного итога нужно нужное количество наблюдений. Если ниже предполагаемая дельта в паре решениями, тем самым больше сведений необходимо собрать. В случае если корректировка обязано улучшить результат всего на пару %, тесту потребуется повышенный объем срока а также посещений. Статистическая существенность помогает избегать формировать преждевременные действия с опорой на основе временных изменений.
Масштаб наблюдений а также продолжительность теста
Объем выборки влияет в отношении качество результата. Если проверка получает очень ограниченный объем людей, выводы могут стать сомнительными. К примеру, несколько лишних переходов в одной группе имеют шанс выглядеть словно прирост, при этом на значительном масштабе станут простой погрешностью. Поэтому до момента старта полезно оценивать, какое количество посетителей 1 win а также конверсий необходимо для проверки предположения.
Срок проверки также сохраняет важность. Очень быстрый тест имеет шанс не учитывать отражать расхождения между обычными плюс нерабочими периодами, дневной по времени и послерабочей посещаемостью, отличающимися потоками посещений. Чаще всего проверка должен охватывать полный период поведения пользователей. Но при этом условии слишком затянутый тест тоже нежелателен, когда окружающие условия успевают существенно поменяться.
Почему нельзя менять эксперимент в течение время работы
Одна из из типичных проблем — вносить корректировки по ходу тест вслед за начала. Когда по ходу середине эксперимента поменять текст, аудиторию, интерфейс, правила демонстрации либо метрику, данные перемешаются. В таком случае окажется непросто выяснить, что именно сказалось по части итог. Проверка снизит чистоту, а выводы окажутся спорными 1win.
До момента запуском необходимо зафиксировать проверяемую идею, варианты, метрики, деление выборки а также условия окончания. С момента начала желательно не нужно менять условия без важной причины. Если обнаружена ошибка внутри конфигурации либо технический сбой, разумнее прервать эксперимент, устранить сбой и создать повторный эксперимент, вместо того чтобы пробовать объяснять некорректные данные.
Синхронное сравнение нескольких правок
Иногда появляется идея оценить сразу несколько изменений: другой текстовый блок, другую кнопку, сокращенную заявку а также измененный расположение элементов. Такой метод может выдать итоговый результат, при этом не покажет объяснит, какой точно фактор воздействовал в отношении результат. Когда измененная версия победила, останется неясно, что помогло эффективнее остального.
Для точной сравнения обычно корректируют отдельный существенный объект на 1вин одну проверку. Если необходимо сопоставить многие вариаций, используется многовариантное сравнение. Оно сложнее, нуждается большего трафика плюс внимательной оценки. В случае большинства сценариев А/Б эксперимент с одной единственной ясной гипотезой дает более корректный и ценный эффект.
Примеры A/B тестирования в дизайне
Внутри дизайнах A/B тестирование нередко применяется для повышения понятности шагов. К примеру, можно сравнить пару версии формы: расширенную с большим множеством строк плюс упрощенную с сокращенным числом данных. Если краткая форма повышает число оконченных оформлений профиля без одновременного ухудшения качества заявок, этот вариант получается оценивать гораздо более эффективной.
Другой пример — тестирование текста CTA. Нейтральная надпись имеет шанс оказаться менее понятной, чем точное описание шага. Кроме того проверяют позицию кнопок, очередность информационных блоков, подачу 1 win подсказок, присутствие шкалы выполнения, метод показа предупреждений и количество этапов в сценарии. Любой такой элемент влияет на степень того, насколько легко завершить заданное действие.
сплит проверка на уровне контенте
В содержании проверка помогает определить, какие именно headline-блоки, тексты, схемы и форматы эффективнее удерживают внимание. Можно сопоставлять несколько интро, длину текста, порядок доводов, присутствие маркированных блоков, дизайн блоков, описание выгод а также формат объяснения трудной задачи. Вместе с этом сценарии необходимо анализировать не исключительно лишь клики, однако и следующее действие.
Заголовок может повысить объем переходов, однако если содержание не сможет совпадает интересам, повысится процент отказов. Из-за этого контентные тесты должны учитывать ценность контакта: длительность чтения, глубину страницы, клики внутри ресурса, возвращения и завершение целевых действий. Качественный эффект — является не просто лишь привлечение внимания, вместо этого совпадение запроса плюс материала.
А/Б проверка на уровне email-рассылках
На уровне почтовых рассылках нередко сравнивают заголовки сообщений, имя автора, первые предложения, момент рассылки, длину письма, место кнопок плюс тексты условий. Часть аудитории открывает первую формат сообщения, часть — тестовую. Вслед за этим сопоставляются просмотры, нажатия, отказы от подписки, негативные сигналы а также следующие события внутри ресурсе.
Важно не останавливаться показателем открытий. Тема email способна быть яркой и получать интерес, но в случае если формулировка не сможет отвечает содержанию, переходы а также уверенность имеют шанс снизиться. Из-за этого качественный email-тест измеряет полную воронку: открытие, клик, поведение вслед за клика плюс ответ подписчиков на письмо.