Ваш коэффициент конверсии статистически значим?

Перевод статьи от Alex Bondov. Ссылка на оригинал (Англ) promosystems.org

Большинство специалистов воспринимают цифры в отчётах "как есть".

Например, если получено 3 конверсии из 10 кликов, тогда коэффициент конверсии составляет 30%.

Это правильно с точки зрения формулы коэффициента конверсии. Но в этом случае нет понимания, каким будет коэффициент в будущем.

3 конверсии из 10 кликов означает, что будущем ваш коэффициент конверсии будет где-то между 9% и 61%. Не стоит принимать решения, основываясь на таком широком диапазоне вероятных значений.

Вместо среднего значения учитывайте доверительный интервал коэффициента конверсии. Диапазон 9%-61% – это доверительный интервал.

На первый взгляд это сложно, но есть специальные калькуляторы, с которыми справится даже новичок. Гуглите "Калькулятор доверительного интервала для пропорции" (Confidence Interval of a Proportion calculator) или Доверительный интервал для пропорции (Confidence limits for a proportion). Результат расчётов выглядит так:

Этот расчёт означает, что если из 100 кликов вы получили 30 конверсий, то в будущем коэффициент конверсии вероятно будет между 21% и 40%. 

Рассчитывать доверительный интервал каждый раз не совсем удобно, поэтому вот таблица, в которой рассчитаны доверительные интервалы для самых частых значений коэффициента конверсии. Все значения рассчитаны для вероятности 95%.

Вероятные минимум и максимум коэффициента конверсии означают, что истинный коэффициент конверсии находится в этом диапазоне при соответствующем количестве конверсий.

Например, если из 3000 кликов вы получили 30 конверсий, то истинный КК находится в диапазоне между 0,7% (что на 30% ниже фактического коэффициента) и 1,4% (что на 42% выше фактического коэффициента).

А если из 7500 кликов вы получили 75 конверсий, значит истинный КК где-то между 0,8% и 1,25%. Это также означает, что в будущем ваш коэффициент конверсии может снизиться на 20% или увеличиться на 25%.

В зависимости от степени риска, на который вы готовы пойти, вы можете сами решить какая разница между фактическим и вероятным КК для вас достаточно значима.

Ниже упрощённая, прикладная таблица для принятия решений:

  

Например, если фактический КК находится в диапазоне 1% - 10%, значит вам нужно получить  минимум 30 конверсий, чтобы быть уверенным на 95%, что в дальнейшем фактический КК не снизится более, чем на 30%.

Если снижение конверсии на 30% кажется вам слишком сильным, тогда придётся подождать и набрать минимум 75 конверсий. В таком случае с вероятностью 95% фактический коэффициент конверсии не снизится более, чем на 20%.

Если вы хотите ещё точнее, можете воспользоваться калькулятором и определить нужное количество конверсий. В этом случае вам может понадобиться около 200 конверсии на объект. А при таких объёмах данных принятие решений лучше делегировать автоматическим стратегиям назначения ставок.

Помните: это нужное количество конверсий на объект, такой как ключевое слово или местоположение. Это не сумма конверсий во всем аккаунте.

Так как же определить статистически значим ли коэффициент конверсии?

Статистическая значимость –  это не категорический показатель. Это степень риска, которую вы готовы допустить. Мой подход: принимать решение, когда значение вероятно не снизится более, чем на 30% от текущего. Например, если текущий коэффициент 10%, я приму решение, когда КК скорее всего не упадет ниже 7%. В некоторых случаях нужно больше точности. Я не буду принимать решение, пока вероятное значение не будет колебаться более, чем на +/- 10% от текущего.

Кейс 1: нужно ли повышать ставки для эффективных местоположений?

Предположим, вы получили 100 кликов и 30 конверсий. 30% – хороший коэффициент для вашего бизнеса, и вы решаете поднять ставки. Но как быть уверенным, что он существенно не снизится со временем?

1. Определитесь с нижним порогом доверительного интервала. Нижний порог – это минимально допустимый для вас коэффициент конверсии. Допустим, вы не хотите, чтобы КК снизился более, чем на 20% от текущего (т.е. он не должен быть ниже 24%).

2. Впишите в калькулятор 100 кликов и 30 продаж. Он покажет, что КК может снизиться до 22% (нижний порог доверительного интервала). Значит пока что ваши значения статистически незначимы, чтобы поднимать ставки. Не меняйте ставки.

Кейс 2: нужно ли снизить ставки для неэффективной группы товаров?

Предположим, вы получили 1000 кликов и 10 продаж. Соответственно коэффициент конверсии составил 1%. Целевой КК для этой группы товаров – 3%. Вы хотите снизить ставки для этой группы. Но как быть уверенным, что в дальнейшем коэффициент не поднимется до 3%, если оставить всё как есть?

Впишите в калькулятор 1000 кликов и 10 конверсий. Он покажет, что тут КК может быть максимум 1,9%. В этом случае данные статистически значимы, и вы можете снижать ставки.

А что, если принять решение на основе незначимой статистики?

Приведём пример того, что может случиться, если вы решите изменить ставки для ключевых слов на основе незначимых данных. Это также применимо и для других объектов в рекламном аккаунте, будь то объявления, кампании, местоположения, возраст, пол и пр.

Например, за первый месяц работы ваши ключевые слова получили такую статистику.

Месяц 1

Скорее всего решение будет таким:

• снизить ставки для первого и второго ключей;
• и увеличить ставки для третьего и четвертого ключей.

А в следующем месяце может произойти следующее:

• Первый и второй ключевые слова отработали лучше, чем в первый месяц. Но они получили меньше конверсий, чем могли бы. Их ставка была низкой (вы же ее снизили), из-за чего они получили меньше кликов.
• Эффективность третьего и четвертого ключевых слов была ниже, чем в первый месяц. Вместе с более дорогими кликами (из-за более высокой ставки), их конверсии в итоге вышли слишком дорогими.

Месяц 2

Как видите, в итоге снизилась общая эффективность. Почему так происходит?

Вот, что случилось за второй месяц:

• первые два ключа показали максимальную конверсию своего доверительного интервала,
• третий и четвертый ключи сработали на минимальных значениях своего доверительного интервала.

В следующем месяце всё опять может измениться и перевернуть статистику с ног на голову. А причина будет той же – действия, основанные на незначимой статистике, приводят к непредсказуемым и противоречивым результатам.