A/B-тест посадочной страницы — это сравнение двух версий одной страницы на живом трафике, при котором аудитория случайно делится на группы и каждая группа видит только свой вариант. Корректным тест делает не сама замена заголовка или кнопки, а расчёт достаточного объёма выборки и статистическая проверка разницы между группами.

Ошибка в расчёте выборки приводит к двум противоположным проблемам: тест либо останавливают слишком рано и принимают случайный всплеск за закономерность, либо держат месяцами, теряя трафик и деньги. Ниже разобрано, как определить нужный объём данных, какие метрики считать и как интерпретировать результат, чтобы не выдать случайность за рост конверсии.

Что именно проверяет A/B-тест и что он проверить не может

A/B-тест отвечает на узкий вопрос: отличается ли целевая метрика между двумя версиями страницы больше, чем можно объяснить случайным разбросом. Целевой метрикой обычно служит конверсия — доля посетителей, совершивших нужное действие: заявку, звонок, покупку, регистрацию.

Тест не показывает, почему вариант выиграл, и не гарантирует, что результат сохранится при смене источника трафика, сезона или аудитории. Он фиксирует эффект в конкретных условиях проведения, поэтому вывод формулируется как «в данном сегменте трафика версия B дала конверсию выше», а не как «версия B лучше всегда».

Отдельно стоит учитывать, что тестировать имеет смысл страницу с уже стабильным потоком. Если трафик нерегулярный или его мало, разница между группами будет тонуть в шуме, и любой вывод окажется ненадёжным. Для страниц, где конверсия зависит от структуры оффера и сценария, полезно заранее продумать гипотезы — например, при разработке лендинга под лидогенерацию закладывают несколько вариантов первого экрана и формы.

Почему нельзя останавливать тест на первом «хорошем» результате

Главная причина недостоверных выводов — подглядывание в промежуточные данные и остановка теста в момент, когда разница выглядит убедительно. В первые дни, пока данных мало, колебания конверсии особенно велики, и почти всегда найдётся момент, когда один вариант «вырывается вперёд».

Если принимать решение по такому пику, вероятность ошибки резко возрастает: часть «побед» окажется случайностью, которая при продолжении теста исчезнет. Поэтому объём выборки и дату окончания теста фиксируют до запуска, а не подбирают по ходу.

Второй источник искажений — неравные условия. Если варианты показываются разным источникам трафика, в разное время суток или с разной скоростью загрузки, разница в конверсии может отражать эти факторы, а не саму страницу. Распределение посетителей между группами должно быть случайным и одновременным.

Как рассчитать необходимый размер выборки

Размер выборки — это количество посетителей (или конверсий) в каждой группе, при котором тест способен отличить реальный эффект от случайного. Расчёт опирается на три параметра, и все три нужно задать до старта.

Базовый уровень конверсии. Это текущая конверсия страницы, которую принимают за точку отсчёта. Чем ниже базовая конверсия, тем больше данных требуется: при конверсии в доли процента нужны тысячи посетителей, при двузначной — сотни.

Минимальный значимый эффект. Это наименьший прирост конверсии, который имеет для бизнеса практический смысл. Если улучшение на 0,2 процентного пункта не окупает затрат, нет смысла закладывать его в расчёт — тест должен ловить только тот эффект, ради которого его проводят.

Уровень значимости и мощность. Уровень значимости задаёт допустимую вероятность ложного срабатывания, мощность — вероятность обнаружить реальный эффект, если он есть. Стандартные ориентиры — значимость 5% и мощность 80%; их изменение напрямую увеличивает или уменьшает требуемую выборку.

Готовые калькуляторы A/B-тестов принимают эти три параметра и выдают нужный объём на группу. Практический вывод простой: чем меньше эффект, который нужно поймать, и чем ниже базовая конверсия, тем больше трафика потребуется и тем дольше будет идти тест.

Какие метрики считать и как не спутать их с доходом

Основная метрика теста должна быть одна и измеряться одинаково в обеих группах. Для посадочной страницы это чаще всего конверсия в целевое действие, посчитанная по одному и тому же событию аналитики.

Вспомогательные метрики — глубина просмотра, время на странице, скроллы, клики по второстепенным элементам — помогают понять поведение, но не заменяют основную. Рост вовлечённости при падении конверсии не означает, что вариант лучше.

Отдельно нужно следить за качеством лидов. Если вариант B даёт больше заявок, но среди них больше отказов и нецелевых обращений, рост конверсии не равен росту выручки. Там, где итог зависит от продаж, тест стоит связывать с последующими этапами воронки, а не только с фактом отправки формы.

Для товарных страниц метрика усложняется: важна не только конверсия в корзину, но и доля завершённых заказов. В таких проектах гипотезы проверяют на страницах с продуманной структурой каталога и карточки — например, при создании товарного e-commerce лендинга заранее определяют, какое действие считается целевым.

Как интерпретировать результат и не наврать с выводом

После набора запланированной выборки сравнивают конверсии групп и проверяют, превышает ли разница статистическую погрешность. Если разница в пределах случайного разброса, корректный вывод — «значимого эффекта не обнаружено», а не «вариант B немного лучше».

Отсутствие значимой разницы — тоже результат. Он означает, что проверенная гипотеза не дала измеримого улучшения, и ресурсы стоит направить на другую гипотезу, а не настаивать на внедрении варианта без оснований.

Если разница значима, её проверяют на устойчивость: сохраняется ли эффект на разных сегментах трафика и не вызван ли он единичным источником. После внедрения победившего варианта стоит продолжить наблюдение, чтобы убедиться, что прирост не был краткосрочным.

Итог теста фиксируют письменно: гипотеза, параметры расчёта, длительность, метрика, полученная разница и решение. Такая запись защищает от повторного «открытия» уже проверенных гипотез и позволяет накапливать знания о том, какие изменения действительно работают.

Частые ошибки, из-за которых тест врёт

Слишком короткий тест. Остановка до набора расчётной выборки даёт случайный результат, который не воспроизводится при повторном запуске.

Несколько изменений сразу. Если в варианте B одновременно изменены заголовок, кнопка и структура, невозможно понять, что именно дало эффект, а часть изменений может работать друг против друга.

Разный трафик в группах. Перекос в источниках, устройствах или времени показа искажает сравнение и создаёт ложную разницу конверсии.

Игнорирование сезонности. Тест, проведённый в нетипичный период, даёт результат, который не переносится на обычные недели. Для проектов с выраженной сезонностью спроса это особенно критично, и проверку гипотез планируют с учётом календаря — в том числе когда речь идёт о настройке аналитики рекламных кампаний, откуда приходит трафик на страницу.

Что делать после теста

Победивший вариант внедряют на постоянной основе, а проигравший не выбрасывают: он может подсказать новую гипотезу. Каждый завершённый тест сужает область поиска и повышает точность следующих решений.

Если тест показал отсутствие эффекта, разумно проверить более крупные изменения — структуру страницы, оффер, сценарий. Мелкие правки кнопок дают прирост редко, тогда как переработка логики страницы способна изменить конверсию заметнее. Когда накопилось несколько неподтверждённых гипотез, помогает тестирование и оптимизация интерфейса на уровне прототипов и пользовательских сценариев.

Вопросы и ответы

Сколько посетителей нужно для A/B-теста посадочной страницы? Единого числа нет: объём зависит от базовой конверсии, минимального значимого эффекта и выбранных уровней значимости и мощности. Рассчитывать его нужно под конкретную страницу через калькулятор, а не брать усреднённое значение.

Можно ли остановить тест, если один вариант явно лидирует? Нет, если расчётная выборка ещё не набрана. Ранняя остановка на «красивом» результате повышает вероятность принять случайность за закономерность.

Что делать, если тест не показал значимой разницы? Зафиксировать результат как отсутствие эффекта и перейти к следующей гипотезе. Иногда это сигнал, что нужно тестировать более крупные изменения, а не мелкие элементы.

Можно ли тестировать страницу с небольшим трафиком? Можно, но потребуется больше времени или более крупный ожидаемый эффект. При очень низком трафике надёжнее проверять гипотезы на уровне прототипов и качественных исследований, а не на живом трафике.

Вывод

Достоверность A/B-теста определяется не красотой варианта, а дисциплиной расчёта: зафиксированные до старта параметры выборки, единая метрика, равные условия для групп и отказ от остановки на промежуточных пиках. Такой подход превращает тест из лотереи в измеримый инструмент роста конверсии.