Сколько теста нужно телевизионной рекламе?
Несмотря на страхи рекламодателей, исследователи не теряют интереса к этой теме, и сравнительно недавно компания Tiburon предложила проект Fastuna для тестирования роликов. В том числе, иногда публикуются результаты по открытым исследованиям различных роликов. Мы, уже более двадцати лет проводя тестирование по методике BAAR и накопив более тысячи протестированных рекламных роликов и несколько кинофильмов, решили сравнить подходы и результаты тестирования.
Чисто технологически Fastuna — очень простое исследование: респондентам показывают ролик и задают 10 оценочных вопросов про «видео». Безусловно, демонстрация изолированного ролика, вне конкурирующего окружения, является крайне неэкологичным, очень далекому от реальных ситуаций просмотра. Сама по себе ситуация тестирования приводит к известному гипертрофированию реакций относительно реального просмотра, такое акцентирование внимания на конкретном материале может порождать еще большие искажения. Но основным отличием BAAR является оценка происходящего в ролике непрерывно, а вопросы альтернативного варианта тестирования задаются после просмотра.
Сравнение результатов пяти роликов выявило, что оценки Fastuna действительно смещены в положительную зону, что может приводить к ложноположительным решениям по конкретным материалам.
При проведении BAAR респондентам не задают прямых вопросов, они выражают свое отношение вращением ручки (движением мыши при онлайн тестировании); при этом при повторных просмотрах растет вариативность ответов. При ответе на большинство вопросов, задаваемых при альтернативном BAAR методе вариативность ответов снижается, а для некоторых показателей «нормативность» находится на очень высоком уровне. Например, практически любой ролик получает значение «понятный» более 80%, т.е. чтобы респонденты признались в своей непонятливости, креативщикам нужно действительно постараться, что добиться от них в принципе тяжело.
Примером неверного вывода в результате систематических сдвигов оценок при использовании Fastuna может являться результат тестирования ролика «Чистая линия» вкусовые сосочки». Оценка «хороший результат» Fastuna никак не соответствует негативным оценкам при просмотре ролика, хотя в целом отношение к самому бренду у респондентов хорошее. В данном случае мы видим, как оценка бренда «забивает» оценку конкретного используемого рекламного материала, что делает использование Fastuna крайне рискованным для рекламодателей.
Примером такой же ложноположительной оценки является и оценка ролика пельменей «Сибирская коллекция» с Лолитой Милявской, получившей хорошие оценки по Fastuna и нейтральные по BAAR.
Такие ложноположительные результаты, свойственные Fastuna, очень опасны для рекламодателей в целом, а не только для тех, кто будет обманут в ожиданиях относительно своего ролика. Посекундные данные с пиплметром показали, что при снижении оценок на BAAR, при реальном просмотре растет переключение канала. В итоге те рекламодатели, выходы которых будут после таких неудачных вариантов переплачивать за выход больше, чем при более удачном в творческом отношении наполнении рекламного блока.
Также этот случай является хорошим примером, что тест рекламы как таковой не имеет содержательного смысла, целью правильного тестирования является не оценка рекламы, а выявление выраженности рекламных эффектов. Незачем обсуждать ролик, это бессмысленно; нужно измерять эффекты, связанные с объектом рекламирования.
Также этот случай является хорошим примером, что тест рекламы как таковой не имеет содержательного смысла, целью правильного тестирования является не оценка рекламы, а выявление выраженности рекламных эффектов. Незачем обсуждать ролик, это бессмысленно; нужно измерять эффекты, связанные с объектом рекламирования.