Как проверить, что правка на сайте повлияла на посетителей, а не совпала по времени
Как зафиксировать правку на сайте, выбрать показатель для сравнения и отличить реальный эффект от случайного совпадения, оформив результат в короткую заметку.
Сначала зафиксируйте, что именно меняется
Практическая задача проста: вы правите страницу сайта и хотите понять, повлияла ли правка на поведение посетителей. Короткий ответ: запишите изменение до запуска, выберите один показатель, сравните равные периоды до и после и честно отметьте, что осталось неясным.
Пример изменения: на странице услуги вы переставили блок с ценами выше блока с описанием работы. Или заменили кнопку «Отправить» на «Получить расчёт». Или сократили форму заявки с семи полей до трёх. Важно зафиксировать правку до того, как она станет видна посетителям: снимок экрана, точный текст старого и нового варианта, дата и время запуска. Без этого через неделю вы не вспомните, что именно меняли, и любой сдвиг в цифрах останется без объяснения.
Выберите один показатель и определите период
Сравнивать сразу несколько цифр неудобно: конверсия формы, время на странице, число просмотров, доля отписок. Выберите один показатель, который отвечает на конкретный вопрос. Если правка касалась формы заявки, логично смотреть на число отправленных заявок. Если меняли заголовок, разумно сравнить число переходов с главной страницы на эту страницу.
Период до и после правки должен быть сопоставим по длине и по характеру. Неделя против недели лучше, чем неделя против месяца. Учитывайте сезонность: если вы продаёте ремонт и сравниваете январь с июлем, различие может объяснить всё без вашей правки. Для малого сайта с небольшим трафиком разумно наблюдать не меньше двух недель после изменения, чтобы сгладить случайные колебания.
Отличите эффект от случайного совпадения
После правки показатель мог вырасти или упасть по чужой воле: запустили рекламу, изменился поиск, пришёл праздник, подрядчик поправил что-то ещё. Проверьте, не было ли других изменений одновременно. Если в тот же день вы обновили цены, изменили логотип и запустили рассылку, приписать рост любой одной правке невозможно.
Повторите наблюдение. Если после правки показатель вырос на первой неделе, а на второй вернулся к прежнему уровню, вероятнее всего, это был всплеск, а не устойчивый эффект. Если рост держится несколько недель и другие изменения исключены, вывод становится надёжнее. Но даже тогда это наблюдение, а не доказательство: без контрольной группы, где половина посетителей видит старую версию, причинно-следственную связь подтвердить нельзя.
Пример: как выглядит заметка о правке
Представьте, что вы сократили форму заявки на странице «Ремонт квартир» с пяти полей до двух: имя и телефон. До запуска вы записали: «12 марта, 10:00, убраны поля „Вид работ“, „Бюджет“, „Срок“». Показатель для сравнения: число отправленных заявок за неделю. Период до: 5–11 марта. Период после: 12–18 марта.
Через две недели вы открываете статистику и видите: заявок стало больше. Но в тот же период подрядчик обновил текст на главной странице, а в городе проходил строительный форум. Вы честно пишете в заметке: «Заявки выросли, но одновременно менялась главная страница и был внешний фактор. Вывод предварительный, нужна ещё неделя наблюдения». Такая запись защищает вас от самоуверенного вывода и даёт подрядчику точную задачу на проверку.
Оформите результат в короткую заметку
Заметка для себя или подрядчика должна отвечать на четыре вопроса: что изменили, что измерили, что получилось и что осталось неясным. Формат может быть простым: дата правки, описание изменения, выбранный показатель, цифры до и после, список других изменений за тот же период и явная пометка о надёжности вывода.
Не стремитесь к научной строгости, если у вас нет аналитической команды. Достаточно честного разделения: «показатель вырос», «возможно, это совпадение», «нужно повторить наблюдение». Эта дисциплина помогает не принимать случайный всплеск за результат и не откатывать полезную правку из-за одной неудачной недели.
Что делать, если данные неубедительны
Бывает, что после правки цифры почти не изменились. Это не значит, что правка бесполезна: на малом трафике даже полезное изменение может не проявиться в цифрах за две недели. Можно увеличить период наблюдения, проверить поведение посетителей вручную (например, почитать, что люди пишут в комментариях или заявках) и зафиксировать наблюдение как «не подтверждено, но не опровергнуто».
Если правка затрагивает важный для бизнеса элемент, а данные остаются неубедительными, разумно обсудить с подрядчиком возможность более длительного наблюдения или упрощения формы ещё сильнее. Главное, не принимать решение на основе одного совпадения и не отбрасывать правку без честной проверки.