Глава 7. Маркетинговые исследования

1 2 3 4 5 6 7 8 9 10 11 12 13 14 
15 16 17 18 

 

7.1. Выбор понятий и терминов

 

В рассмотренных выше стохастических моделях применялись понятия и термины из нормативных и статистических источников, причем их состав минимизировался. Ограничения понятийного аппарата пределами необходимости способствует доходчивости и сокращает ошибки в расчётах.

Однако планирование маркетинговых исследований предполагает согласование работ, выполненных разными исполнителями, оперирующих собственной терминологией, а так же составление отчетов, понятных и убедительных для заказчиков или партнеров. С заказчиком должно говорить на языке ''заказанном'' – это заповедь маркетинга. С партнерами можно согласовывать терминологию, выясняя смысл, вкладываемый каждой стороной в основные понятия.

Первичным является понятие статистического ансамбля - множество одно­родных элементов. Выше это понятие ассоциировалось с партией, объем которой велик, оставаясь конечным, скажем, более 105. В маркетинговых источниках часто путаются понятия математической статистики и теории вероятностей. Критерий для различия­ – объем. В теории вероятностей оперируют генеральной совокупностью, устремляя объем к бесконечности. У партии объем конечный и статистический ан­самбль не обязательно устремлять к бесконечности. Различие весьма существенно, оно определяет корректность моделей. С  другой стороны, термин ''партия'' неодно­значен. Применительно к людям, политики и юристы вкладывают в него особый смысл.

Говоря о людях рационально пользоваться термином совокупность.

Граждане могут быть обижены, если их сосчитают как ''реализации'' или даже ''элементы''. По опыту кадровиков, лучше считать граждан единицами.

Итак, совокупность состоит из единиц в маркетинговом исследовании.

Понятие статического ансамбля подменяется во многих публикациях конту­ром выборки – ограничивающим все единицы совокупности. Полный перечень всех единиц составить невозможно и поэтому есть ошибка контура выборки, т.е. раз­ность между истинными и учтенными событиями или состояниями совокупности.

Маркетологи применяют методы составления выборок, отличающиеся от рассмотренных выше. Эти методы состоят из ''вероятностных'' (случайных) и ''невероятностных'' (неслучайных). Оперировать термином ''невероятность'' имеет смысл только с заказчиком, вежливо уточняя, что он имеет в виду.

К случайным относят методы, оперирующие с единицами, каждая из которых имеет известный шанс быть избранной в выборку. Это вроде думы, где все депутаты прошли процедуру голосования по одному алгоритму.

Случайные выборки составляются по одному из методов:

простой случайный отбор;

систематический отбор;

кластерный отбор;

стратифицированный отбор.

Простой случайный отбор – это обеспечение равного шанса всем едини­цам совокупности попасть в выборку, т.е. в соответствии с рекомендациями норма­тивно-справочной литературы.

Систематический отбор выполняется в два этапа.

Сначала проводят – простой случайный отбор  начальных номеров для поиска единиц, например, в справочнике – страница или колонка. Затем применяют ''интервал скачка'' т.е. отбирают каждый 250-ый адрес. 250 – здесь пример любого постоянного числа. Это ''удобство'' комплектования выборки привносит некоррект­ность и, как следствие, методическую погрешность в последующие оценки. Однако часто применяется при работе со списками, спецификациями и т.п.

Кластерный отбор основан на делении совокупности на подгруппы, каждая из которых представляет совокупность в целом. Совокупность делят на единицы, являющиеся равными по исследуемым признакам – кластеры. К примеру, страну де­лят на области с равным населением или доходом. На следующем этапе в одной об­ласти выделяют единицы с равным доходом и т.д.

Исследование распределений становиться многоуровневым оно может быть корректным в достаточной мере. Этот метод применяется для весьма сложных объ­ектов, для которых обоснована относительно высокая трудоёмкость.

При исследовании сложных объектов, недоступных делению на равные части, выделяют подгруппы – страты. Например, области страны различаются по всем признакам, но делить их по частям вне границ на карте бессмысленно. Вводят стратифицированный отбор. Страты выделяются по избранному признаку, к при­меру, числу семей. Выборки составляются внутри этих подгрупп, для каждой страты. Размер страты по отношению ко всей совокупности определяет размер вы­борки с учетом весовых коэффициентов, учитывающих их размер страт. Метод яв­ляется наиболее сложным, вносит существенные методические погрешности, так что применять его имеет смысл для объектов, недоступных другим подходам.

''Неслучайные'' методы состоят из приемов, трансформирующих составле­ние выборки в отбор комплекта.

Принято применять методы:

на основе принципа удобства;

отбор на основе суждений;

отбор на основе квот или в процессе обследования.

Принцип удобства реализуется исследователем, исходя из минимизации за­трат времени и усилий или доступности респондентов. К примеру, одобрение про­дукции завода (фирмы) можно получить, опрашивая сотрудников в день зарплаты.

Выборка на основе суждений базируется на мнении специалистов относи­тельно состава выборки. Однако специалисты далеко не всегда объективны. Есть ''науки'' телепатия, к примеру, созданные исключительно из некорректно составленных выборок. Есть ''лекари'', неизлечимых болезней демонстрирующие исцелившиеся единицы… Нет метода, внесшего подобное обилие недобросовестных наукообразных спекуляций, как волюнтаристские приемы составления выборок.

При опросах часто выбирается ''фокус'' группа. К примеру, могут быть выбраны 12 домохозяек, которые сообщают о себе заданную информацию. Однако поведение единицы становится неестественным, дополняется ''эффектом сцены'' и как следствие, чрезмерной погрешности.

Формирование выборок на основе квот базируется на заданном соотношении объемов с совокупностью. Выборка пополняется, пока не будет накоплена установленная квота.

Часто совмещают несколько методов в одном исследовании. Если, например, требуется выборка для оценки Всероссийского мнения о марках магнитофонов, то требуется алгоритм:

Россия состоит из 89 субъектов.

По методу простого отбора выбираются 9 субъектов (кроме Москвы и  Санкт-Петербурга).

Все населенные пункты делятся на 6 групп, по числу жителей.

Устанавливается квота: по 3 города и 2 поселка. Берут каждый 5-й населенный пункт из справочника и выясняют, в какую категорию он попал.

Выбирают случайно по 20 респондентов в каждом городе или селе. Всего 900 респондентов.

Несоблюдение статистических норм проявится в том, что окажутся вместе  поселки с нефтяниками и безработными, данные будут искажены и, несмотря на солидный объем выборки, не будет основания считать её представительной.

Выше говорилось о представительности выборки, как об уровне близости её статистических мер к мерам статистического ансамбля.

В маркетинговых исследованиях упоминают репрезентативность. Смысл этого термина может быть связан с математической моделью, т.е. дифференцируемыми функциями и N ® ¥.

Выбор алгоритма комплектования выборки для сложных объектов исследования, является задачей со многими неизвестными. Факторы, определяющие представительность планируемой выборки, неизвестны априорно, так что необходимы исходные данные, обычно специальный эксперимент, чтобы их ранжировать. Люди являются наиболее сложными объектами исследования. Выбор единиц совокупности должен быть особенно корректным, так что всяческие упрощения будут совсем некстати.

Единственным  критерием оценки правил составления выборки является сходимость выборок, определяемая апостериорно по итогам статистического анализа нескольких эмпирических распределений. Термин “сходимость” маркетологами практически не используется. Речь идет о свойстве выборок сохранять свои статистические меры по мере уменьшения объема. Очевидно, алгоритм формирования выборки тем корректнее, чем меньше меняются статистические меры при сокращении объема.

При необходимости корректировки состава выборки применяют один из 3 способов:

выборка с большим объемом;

замена респондента на следующего по списку;

повторная выборка.

К примеру, контуром выборки является телефонный справочник. Не ответил абонент, надо звонить следующему по списку. Рассылка почтой планируется, исходя из “нормы” – 5% присылающих ответы, поэтому надо посылать в 20 раз больше анкет, чем требуется для обработки данных. Повторную выборку комплектуют, когда слишком много отказов отвечать.

Методика исследований корректируется по мере проявления факторов, определяющих достоверность оценок. Однако эта коррекция осуществляется без обратной связи. Рассмотренная задача напоминает выбор колера для окрашивания стен. У хороших красок (статистических ансамблей) цвет не зависит от объема, так что можно смешать в баночке пигменты и связующее (выборку) будучи в уверенности, что полученный при пробном окрашивании цвет точно повторится на стенах (представительность). В реальности нередки “сюрпризы”, неучтенные факторы могут быть доминирующими и цвета “уплывают”.

 

7.2. Обоснование объема выборки

 

Объем выборки вносит основной вклад в затраты времени и средств на маркетинговые исследования и поэтому является темой сложных дискуссий между заказчиками и исполнителями.

Стремление минимизировать объемы выборок сопровождается требованиями всемерно повышать их представительность. Особое внимание уделяется условиям сбора и обработки данных.

Однако встречаются ситуации, в которых объемы выборок явно избыточны. Причинами тому являются традиции или реклама.

Избыточность объема не всегда повышает представительность, многие погрешности проявляются при любом объеме.

Маркетологи применяют несколько методик выбора объема выборки:

Правило ''большого пальца''. Принимается, к примеру, объем, составляющий 5% от совокупности, просто потому, что “5” ассоциируется с “отлично”.

Ссылки на публикации. Учитывается опыт аналогичных исследований, проведенных раньше. Регулярные исследования оптимизируют объем, например на уровне 3000 человек.

Расчет, исходя из выделенных на исследования ресурсов.

Расчетное обоснование объема базируется на достоверности оценок и рисков принятых решений в качестве исходных данных.

Предполагается взаимопонимание между заказчиками и исполнителями.

Вариация – понятие, применяемое маркетологами для оценок ''схожести'' и ''несхожести'' ответов в анкетах. В качестве меры для разноголосицы респондентов принято среднее квадратическое отклонение (СКО). Часто используются архаичные термины, типа ''кривых распределения'', подразумевающие функции распределения плотностей вероятности, которые аксиоматически непрерывны. Сужение понятия в конкретной задаче нуждается в предварительном согласовании.

Доверительный интервал – воспринимается всеми, как область, содержащая известную долю реализаций (единиц) внутри заданных границ. Маркетологи применяют всего два типа границ – на уровнях доверительных вероятностей 0,95 и 0,99. Им соответствует расчетное число Z – 1,96 и 2,56. Это число обозначает уровень названной вероятности на вертикальной шкале с нормальным масштабом –  и .

Для понимания полученных результатов предлагается вообразить 100 выборок, данные которых разместились в заданных интервалах и только 5 или 1 из них стали '' нарушителями''. В исследованиях есть всего одна выборка. “Экономия” на выборках вносит ошибку. Рассчитывается среднее квадратическое отклонение этой ошибки, зависящее в основном, от объема выборки.

Ошибка может быть симметрична относительно искомого значения, и тогда говорят о точности оценки  ± e.

По заданной точности рассчитывает объем выборки n. В частности, для ответов в альтернативной форме:

,

где:      n – объем выборки;

Z – нормированное отклонение: 1,95 или 2,56;

p – доля положительных ответов;

q – доля отрицательных ответов.

Размерности e, p, q одинаковые, например в %.

Вариация наибольшая, когда согласие и несогласие респондентов пополам и наименьшая при единогласном голосовании (берут ).

Если, например, точность ±10%, а ''да'' и ''нет'' поровну и 0,95 = g:

если g = 0,99 (Z = 2,56) точность ±3%, то n = 1067

Для ответов в количественной форме определяются статистические меры. Если, например, требуется среднее квадратическое отклонение s с точностью до ±10% на уровне g=0,95(Z=1,96), то ; если, например, s = 100, то n = 384.

Аналогичные формулы есть для всех точечных оценок –  и x т.п. Формулы справедливы в той мере, в которой соблюдается условия центральной предельной теоремы. А именно, совокупность должна быть суммой нескольких случайных величин, каждая из которых может не соответствовать нормальному распределению, но не должна быть доминирующей. Это условие соблюдается далеко не всегда на практике, и точность оценок может быть гораздо хуже рассчитанной.

''Сюрпризы'' изучаемых совокупностей могут быть учтены исключительно по функциональным оценкам, по доверительным интервалам для эмпирических распределений. Однако для “пилотных” оценок, при планировании исследований, приемлемы ориентировочные формулы – для представительных выборок из совокупностей с нормальным распределением.

 

7.3. Обоснование методики сбора данных

 

Алгоритм  сбора и обработки данных определяет степень представительности выборки и поэтому нуждается в согласовании, наряду с объемом.

Данные могут быть собраны исследователем или специально организованной группой. Могут быть привлечены коммерческие фирмы, принимающие заказы на сбор данных.

Если собирают данные сотрудники предприятия, например, маркетинговой службы, то их состав ограничен. Возможности предприятия не выходят за границы региона. С другой стороны,  сведения о самом предприятии могут быть исчерпывающими.

Специальные группы комплектуются из лиц, неограниченных по составу, например, студентов. Группы могут быть эффективны для телефонного или персонального опроса.

Однако им часто не достает квалификации и, к сожалению, заинтересованности в объективной информации. Велик соблазн ''помочь'' респондентам. Необходим контроль собираемых данных c диагностическими опросами, а также тренировочные занятия.

У профессиональных фирм обычно есть опыт маркетинговых исследований, есть кадры с достаточным уровнем подготовки, возможности исследований без географических ограничений с относительно высокой скоростью.

Стоимость  услуг таких компаний в три-пять раз превышает затраты на маркетинговую “самодеятельность”.

 

7.3.1. Методические погрешности при сборе данных

 

Ошибки интервьюеров при сборе данных обычно называют ''не выборочными''. Подразумеваются ошибки систематические, которые, наряду со случайными, сопровождают все измерения, включая анкетирование. В состав этих ошибок входят:

Выбор  единиц совокупности, которые не должны входить в выборку;

Отсутствие единиц совокупности, которые  должны входить в выборку;

Наличие элементов, которые не относятся к изучаемой совокупности, но введены в учет при обработке данных;

Исключение из выборки тех, кто отказался отвечать или не ответил по телефону;

Оценки ложные, вместо респондента;

Ошибки при записи и обработке данных.

Ошибки классифицируют на преднамеренные и непреднамеренные, сделанные респондентами или интервьюерами, адресованные на этапы сбора данных, обработки или интерпретации.

Преднамеренные ошибки интервьюера могут быть обманом (сам заполнил анкету) или давлением на респонедента (мимика, подсказки, жесты).

Непреднамеренные ошибки вызваны, в основном, незнанием всех аспектов методики сбора данных, а также утомлением интервьюеров.

Ошибки респондентов обусловлены нежеланием отвечать на часть вопросов (о доходах, возрасте и т.п.) или недоверием к интервьюеру, а также занятостью, предубеждением к опросам.

Внимание к ответам может быть недостаточным из-за отсутствия мотивации, неясности вопросов или концентрации мыслей на других темах.

 

7.3.2. Контроль качества данных

 

Контроль работы интервьюеров производится выборочно, путем надзора за их работой или проверки результатов работы. Проверяющий может незаметно подключаться к телефонной линии, либо присутствовать при опросах… Иногда ищут опрошенных респондентов и повторно их опрашивают.

Обучение интервьюеров проводятся на семинарах с разыгрыванием ролей  и пробным заполнением анкет. Для респондентов применяют стимулирование, типа подарков или лотерей. Пробуждают интерес респондентов к вопросам, устраняют фрагменты анкет, негативно воспринимаемые. Во многих случаях вводят в анкету градацию ''отказываюсь отвечать''.

 

7.3.3. Преобразование данных

 

Анкеты или прочие первичные формы учета данных обрабатываются после их заполнения. Собранные данные необходимо привести к виду, удобному для последующей обработки. Для этого их кодируют, представляют в матричной форме (табулируют), выбирают меры, характеризующие особенности собранных данных.

Маркетологи применяют четыре функции преобразования данных:

Обобщение – производится для удобства восприятия больших массивов данных.

Концептуализация – обоснование итогов обобщения, формулировка выводов по работе.

Коммуникация – разъяснение результатов работы в терминах, понятных заказчику, формирование общепонятного языка для общения.

Экстраполяция – оценки согласия выборочных данных с исследованной совокупностью.

Подобные термины нужно применять, именно  в том смысле, как их воспринимает заказчик, в отчетах и переговорах. Заказчики могут оперировать  терминами, самыми неожиданными для исследоватетелей в т.ч. некорректными, принуждая к ссылкам на авторитетные источники и составлению словарей с подробными переводами.

 

7.3.4. Методы статистического анализа

 

Выделяются пять видов статистического анализа:

Дескриптивный анализ. Оперирует статистическими мерами. Используются меры теоретических функций - среднее квадратическое отклонение, мода и т.п. и эмпирических функций, например, размах.

Выводной анализ. Использует статистические процедуры, например, проверку гипотез.

Анализ различий – используется при наличии двух групп населения, которые надо сравнить.

Анализ связей – предназначен для выявления статистических зависимостей.

Предсказательный анализ – вводит статистические методы прогнозирования.

Статистическая терминология в маркетинге насыщена избыточными и недостаточно корректными понятиями. Понятия  математической статистики смещаются, смешиваются с дополнительными категориями, объединяются со специальными терминами и т.п.

Статистические меры используются в отрыве от функций распределения, так что их правомерность, применительно к объектам исследования, неизвестна.

Мода применима к теоретическим функциям, поскольку они дифференцируемы, но для эмпирического распределения, она – источник недоразумений. Напротив, размах применим только для эмпирического распределения. Меры нормального распределения, рассчитанные для выборок с неизвестными статистическими характеристиками, вносят ошибки, сколь угодно большие. Могут быть и успехи исследователя, воспринятые заказчиком негативно.

Оценку параметров совокупности по выборочным данным производят на уровне доверительной вероятности 0,95 или 0,99. Например, среднее значение для совокупности  определяют:

где:      – среднее  значение в выборке,

,

где:  – среднее квадратическое отклонение выборочного среднего значения (оценка вариации выборочных средних),

Z  = 1,95 или 2,56.

            При альтернативной анкете:

,

где:       – среднее квадратическое отклонение выборочных средних значений;

            p – процент  респондентов, сказавших ''да''.

Если к, примеру, для членов Совета, среднее время t принятия решения – 45 мин при среднем квадратическом отклонении - 20 мин, то при уровне g = 0,95:

На всех заседаниях Совета решения принимаются за 6 - 84 мин.

 

7.3.5. Проверка гипотез

 

В математической  статистике принято расценивать результаты исследований выборки на соответствие или несоответствие статистическому ансамблю. При управлении или проектировании не возникает необходимости в таких процедурах, поскольку накапливается профессиональный опыт работы в пределах приемлемого риска. Многократно испытанные выборки, ''укладывались'' в рассчитанные границы, как правило, а исключения были не чаще допустимого. Когда сообщают о гибели самолета, непременно напоминают об остальных, успешно летающих, что доказывает исключительную безопасность полетов.

В отчетах и договорах не может быть аргументом опыт исследований. Заказчик вправе настаивать на ''гарантиях'' качества выполненной работы. Доверительные интервалы и вероятности являются характеристикой качества статистических исследований для заказчика и для читателей.

Проверка гипотезы состоит из пяти этапов:

Делается некоторое предположение относительно какой-либо характеристики совокупности, например, среднего значения.

Формируется выборка, определяются её статистические меры.

Сравниваются эмпирические и теоретические значения исследуемой характеристики.

Оценивается адекватность выборочных данных  выбранной гипотезе.

При несоответствии гипотезе выбирается другая и проверка  повторяется

Для проверки гипотез о средних значениях применяется формула:

,

где:      – выборочное среднее значение;

M(x) – теоретическое значение, математическое ожидание;

sx – среднее квадратическое отклонение  x;

n – объем выборки.

Например, готовя рекламу видеокамеры, определяется выборочное  среднее – 1750 у.е., а среднее теоретическое - 1800 у.е.  Выборка 100 единиц и среднее  квадратическое отклонение sx  = 350 у.е.

где:      Z - нормированное отклонение.

Для него среднее  квадратическое отклонение выборочной средней                = 35 у.е., найденное значение 1,43 меньше, к примеру, чем 1,96 соответствующее уровню доверительности 0,95.

При наличии нескольких выборок проверяется нуль-гипотеза о существенности различия средних

где:      x1 и x2 – средние для двух выборок;

 и  - средние  квадратические отклонения;

n1 и n2 - объемы первой и второй выборки

Приведенные примеры точечных оценок демонстрируют основные подходы к общеизвестным расчетам в маркетинге. Их достоверность для многих задач недостаточна. В методических материалах обычно подчеркивается, что суть маркетинговых задач такова, что они в принципе малодоступны моделированию, все решения эмоционально-качественные, а количественные оценки фрагментарны и ориентировочны. У многих маркетологов доминируют  в работе опыт и интуиция, т.е. эвристические методы. Особенно часто используются методы экспертных оценок.

 

7.4. Экспертные оценки

 

Экспертные оценки используют в двух вариантах: количественном и качественном.

Примером традиционных эвристических процедур являются экспертизы, консилиумы, совещания и т.п. Их алгоритмы обычно следуют из традиций. Итоги их работы подводятся в качественной форме. Часть задач, типа формирования маркетинговой стратегии, несомненно решаются в качественной форме.

Количественные методы нередко подвергаются критике. Общий смысл критических замечаний иллюстрируется высказыванием классика: ''Если выразить математически глупость, то получится глупость, но еще большая ''.

Корректность моделирования – необходимое условие для всех методов, безотносительно к маркетингу, и адекватность модели непременно подлежит проверке.

Выбор методов экспертных оценок диктуется необходимостью, поскольку их используют, когда нет других, более достоверных источников информации для принятия решений. Предполагается, что опыт эксперта является преобразованной информацией, первичные источники которой недоступны. Преобразование информации, накопленной ранее экспертами, по методике, обеспечивающей селекцию наиболее близкого к истине или оптимуму результата, является целевой функцией экспертных оценок.

Обычно в качестве экспертов маркетологи выбирают менеджеров и работников сбытовых подразделений. Статистические данные недоступны, особенно о фирмах-конкурентах, и эксперты используют оценки качественные: ''ниже'', на ''прекрасном уровне'' и т.п.

Главный недостаток всех экспертных оценок – их недоступность проверкам достоверности. Гипотеза об извечной правоте большинства, далеко не всегда срабатывает. Бывало, что все эксперты были за анафему генетике и кибернетике.

Экспертов тщательно отбирают в соответствии со спецификой рассматриваемых вопросов. Достоверность оценок проверяют в тех задачах, которые содержат оперативно осуществляющиеся события, ранее прогнозируемые экспертами. Ошибки прогнозирования классифицируются для  последующих оценок. При наличии, в частности, систематических погрешностей, вводят корректирующий коэффициент.

Одним из показателей, характеризующих эксперта, является его надежность. Оценивается частота случаев, когда он делал верный прогноз.

Группа экспертов организуется в очной или заочной формах. В очной форме работа экспертов проходит как деловая игра. В заочной форме эксперт заполняет анкету.

Выбор численности группы экспертов.

Выбирают число экспертов, исходя из следующих соображений. Если искомое число уменьшать, то оценки становятся субъективными, так что теряется смысл группы. При чрезмерном числе, достоверность меняется несущественно, но растет доля малоквалифицированных оценок. Группа превращается в толпу. Учитывается также число оцениваемых событий. Стремятся к равному числу экспертов по каждому событию.

Формирование вопросов и составление анкет.

Работа экспертов регламентируется  общими правилами:

независимость мнения каждого эксперта;

удобство работы с анкетой;

удовлетворительное для экспертов время  для ответов и уровень сложности;

анонимность ответов для членов группы;

коллективное обсуждение оцениваемых событий;

представление экспертам нужной информации.

Экспертам предлагается шкала оценок: от 0 до 1 или от 0 до 10. Необходимо учитывать, что рост числа баллов вовсе не увеличивает точность оценок для сложных объектов. Иллюстрацией этому являются оценки членов комиссии на защите дипломных проектов. Оценки всегда различаются на один или даже два балла. Фактически действует четырех бальная система, причем погрешности оценок перекрывают всю шкалу. Увеличение числа баллов в такой ситуации бессмысленно – оценки будут напоминать генератор случайных чисел.

Для субъективной оценки неизмеримых признаков наиболее рациональна – пятибалльная оценка. Учитывают естественную неточность субъективных оценок и школьную привычку к пяти баллам. Для особо нешкалируемых объектов, три балла, выраженных в градациях ''за'' , ''против'', ''ни то, ни сё''.

Расчеты упрощаются, если признается равная квалификация экспертов, в этом случае оценки можно суммировать:

,

где:      p – число экспертов;

            ai – оценки.

Во многих методиках введены степени компетентности экспертов. Ситуация напоминает акционерное собрание – вклад в решение определяется числом акций у каждого участника. Массы бедных акционеров попросту не участвуют в собраниях, не видя смысла в своих голосах. И эксперты в группе не должны быть слишком разными по опыту.

Научно-технические семинары гораздо демократичнее - все голоса равны: и маститого академика, и молодого специалиста.

Самая главная в стране группа - это  Государственная Дума. Там у депутатов равные голоса и неизвестны идеи насчет селекции депутатов по степени компетентности. Хотя что-то в этом есть.

Оценивают экспертов по десятибалльной шкале – это уровень теоретической подготовки, практический опыт, кругозор – hj.

Кто именно оценивает экспертов, обычно не уточняется, возможно, есть высшая инстанция как в судах.

Кроме того, сами эксперты самооцениваются – это субъективный показатель hi.

По этой оценке эксперт сам себе ставит баллы:

10 – специализация по данному вопросу, наличие законченных разработок – научные или практические, совпадение со служебной работой;

8 – в практических работах по теме участвует, но с узкой специализацией не совпадает;

5 – смежная область деятельности;

3 – знакомство с вопросом только по литературе.

Итак предполагается, что отсутствие специалиста, имеющего достаточный опыт и знания по рассматриваемому вопросу, компенсируется тремя читателями специальной литературы.

Все баллы делят на сто, после чего 0£ hj£1 трактуется как вероятность достоверной оценки экспертов.

Иногда применяют оценки экспертами друг друга. В отличие от кумушек у подъездов они  выставляет баллы.

Считается, что наличие нескольких ''оценщиков'' повышает достоверность оценки.

На первом этапе  с экспертами обсуждается индивидуально модель объекта, её показатели, уточняются формулировки и терминология в анкетах, форма таблиц с экспертными оценками и состав группы.

На втором этапе экспертам направляются анкеты с пояснительным письмом, в котором приведены цели работы, структура анкет и порядок их заполнения с примерами.

При возможности личного контакта экспертов возможны устные обсуждения всех вопросов. Однако самостоятельное заполнение анкет обязательно при соблюдении всех правил анкетирования. На третьем этапе производится сбор анкет, обработка данных и анализ полученных результатов. Наличие неких рангов для экспертов, очевидно, повышает достоверность оценок в некоторых задачах. Однако нужно учесть, что эксперты, отнесенные к ''низким'' кастам могут не воспринимать всерьёз заполнение таблиц, смысл группы исчезает.

Можно вообразить выборы, скажем, мэра, в которых пенсионер с уровнем 0,1, а политолог с 1. Мэр, возможно, найдется самый удачный, но основная часть избирателей не пойдет на выборы.

Важно уточнить особенности субъективных оценок в качестве измерительного средства. Это средство неточное, например, ±20%, как уже отмечалось. Но оно может  быть чувствительным, если проявляется при сравнении идентичных объектов. Сравнивая, к примеру, два утюга, эксперт может уловить самое малое преимущество одного, но баллы одному  утюгу содержат неизбежные, значительные погрешности.

7.5. Обработка экспертных оценок

 

Составляется таблица рангов важности.

В столбцах оцениваемое события Сi.

В строках выставленные оценки каждым экспертом. Наибольшая оценка соответствует первому рангу важности и т.д.

Таблица 18. Ранги важности

 

События Ci

1

2

3

Оценки

экспертов

 

Эксперт j=1

0,5

0,2

0,3

Эксперт j=2

0,3

0,6

0,1

Ранг

важности

Эксперт j=1

1

3

2

Эксперт j=1

2

1

3

Суммарный ранг важности

3

4

5

 

Далее рассчитывается коэффициент конкордации W, алгоритм расчета демонстрируется примером. Пусть было десять событий m = 10 оцениваемых тремя экспертами: N, Q, R.

В 1, 2 и 3 строках – оценки, выставленные экспертом каждому событию.

4 строка – сумма значений в столбце, т.е. оценок всех экспертов. Все значения в четвертой строке суммируются и сумма делится на число событий, здесь на 10 = A.

 

Таблица 19. Расчёт коэффициента конкордации.

Эксперты

Оценка

1

N

1

4,5

2

4,5

3

7

6

9

7,5

10

 

2

Q

2,5

1

2,5

4,5

4,5

8

9

6,5

10

6,5

 

3

R

2

1

4,5

4,5

4,5

4,5

8

8

8

10

 

4

5,52

6,5

9

13,5

12

20

23

23,5

25,5

26,5

A=16,6

5

-11

-10

-7,5

-3

-4,5

3,5

6,5

7

9

10

 

6

D2

121

10

56,25

9

20,25

12,25

42,25

49

81

100

SD2=

Sv=591

 

 

5 строка – из значения в 4 строке вычитается величина А, т.е. среднее значение.

6 строка – значения из 5 строки  в квадрате.

Значения  6 строки суммируется:

W=0,828

При анализе учитывается, что W приближается к нулю, если нет согласования в оценках и наоборот при W ® 1 эксперты демонстрируют полное согласие. Принято считать нормой W > 0,5, когда наличие согласованности заметно, но нет оснований подозревать экспертов в сговоре. Норма W от 0,5 до 0,8.

 

7.6. Анализ экспертных оценок

 

Последующая обработка таблиц с экспертными оценками, приводится во многих учебных пособиях и теоретических источниках, как правило, в сопровождении пространных и сложных вычислений. Для практических задач сложные расчеты, обычно, избыточны, поскольку привносят риск ошибочной трактовки результатов. Выводы по таблице с экспертными оценками, могут быть корректными без длинных формул.

Упрощения можно начать с коэффициента конкордации, заменив его мерами погрешностей экспертных оценок.

Для определения погрешностей экспертных оценок рационально ввести побольше градаций по заданному событию – не менее 10. Задача эксперта – назвать самый привлекательный для покупателей товар и самую приемлемую цену. В дальнейшем, нужно, провести опрос покупателей по аналогичной тематике и найти разности.

Расчет коэффициента коркордации, равно как и формальные оценки для экспертов непременно вводятся в отчеты, поскольку являются убедительным для заказчиков подтверждением компетентности и добросовестности авторов. Между тем в изложенных расчетах накоплены методические погрешности, для многих задач чрезмерные.

Прежде всего, оценка компетентности экспертов, это тема вовсе не совпадающая с целями исследований. На достоверность оценок экспертов влияет ряд факторов, среди которых компетентность может не доминировать. Коэффициент конкордации не имеет связи с погрешностями оценок, им пользуются интуитивно, без объективного обоснования.

Для объективного контроля экспертных оценок необходимы данные о погрешностях, достаточные для эмпирической функции распределения. Функция распределения погрешностей экспертных оценок строится аналогично всем прочим, определяющим точность, и доступна расчетам с заданной достоверностью.

Оценки экспертов признаются равноценными во всех операциях их совместной обработки. В качестве исходной принимается “презумпция невиновности” эксперта в ошибке. Погрешности экспертных оценок определяются в основном при наличии количественных признаков, которые можно предъявить экспертам в форме вопросов, а затем точно определить. Такие вопросы можно рассматривать в качестве образцовых мер. При отсутствии таковых недоступна определению систематическая погрешность экспертных оценок. Случайная погрешность определима без образцовой меры. Необходимым условием является численная оценка с числом градаций не менее 10.

Каждая градация должна быть статистически значимой. Если к примеру 20 экспертов ставит десятибалльные оценки так, что баллы от 1 до 7 не используются вовсе, придется признать их оценки трехбалльными – 8, 9, 10. Затем ввести десятичные доли, как у гимнастов и повторить оценки. Требуется не менее четырех градаций, используемых экспертами, не реже, чем дважды для 20 оценок каждая.

При наличии значительного размаха в оценках, с доминированием экстремальных значений, надо уменьшить число градаций, обеспечивая статистическую значимость центра группирования погрешностей.

Оцениваемый экспертами признак должен быть доступен проверке, насколько это возможно. К примеру, оценки качества товаров по ряду признаков могут включать объемы продаж, уровни дефектности, цены и т.п. числа, прогнозируемые экспертами и определяемые в дальнейшем по фактическим данным. Все экспертные оценки вносятся на вероятностный график.

Самой типичной темой для экспертных оценок являются цена нового товара, планируемого для ввода на местный рынок, и объем продаж на неделю. Смысл оценок конкретизируется, к примеру, цена удовлетворяет не менее чем  10% потенциальных покупателей, а условия продаж приравниваются к некоторому товару, который есть в магазинах. Оценки экспертов представлены на рис.53. 

После пробных продаж выяснилось, что цена нового товара, при которой не менее 10% потенциальных покупателей приобретают товар, составляет                     СФ = 1700 руб. Таким образом, систематическая погрешность экспертов составила +100 руб., а s - средняя квадратическая ошибка 200 руб.

Метрологическая аксиома – ошибка измерений, определяемая с образцовой мерой, определяет ошибки измерений всех выборок из исследуемой совокупности. В данном случае вводится допущение, что если среднее квадратическое отклонение sф у избранного признака составляет 0,2 размаха, то все прочие признаки определяются с той же погрешностью. Предполагается также, что шкалы для всех признаков, включая качественные, выбраны корректно в равной степени, так что систематические погрешности идентичны у измерений, независимо от признака.

 

 

 

 

 

 

 


Рис. 53. Вероятностный график экспертных оценок

В отличие от измерительных средств, эксперты доступны замене в произвольной последовательности. При известных погрешностях измерений доступны объективной оценке вклады экспертов в ошибку. Здесь отклонения от аппроксимирующей прямой F(x) рассматриваются как промахи. Если некий эксперт допускает промахи неоднократно, то его полезно исключить, несмотря на его, возможно, высокую компетентность. Столь же нежелательная альтернативная ситуация когда несколько экспертов дают одинаковые оценки многократно. Повторяющиеся оценки наиболее правдоподобные, являются основанием для комплектования будущей группы экспертов.

 

7.7. Методы сбора данных в маркетинговых исследования­х

 

Информационное обеспечение маркетинговых исследований включает в себя сбор данных по методам, классификация которых приведена на следующем рисунке (рис. 54).

Каждый метод сбора данных имеет свои преимущества и недостатки. Самые общие из них преимущества по скорости и цене у коммуникаций, а также по объективности и точности у наблюдений.

Недостатками коммуникаций являются субъективные факторы, а наблюдений – ограниченный состав доступных объектов.

В каждой конкретной ситуации требуется выбор наиболее эффективных правил и средств сбора данных.


Рис. 54. Методы сбора данных.

 

7.7.1. Наблюдение

 

Методы наблюдений отличаются от всех прочих невмешательством исполнителя в исследуемый процесс.

Различают четыре основных подхода к организации наблюдений:

прямое наблюдение адресуется непосредственно к объекту, скажем покупателям или клиентам, апробирующим товар;

косвенное наблюдение ориентировано на следствия исследуемого процесса, к примеру по  упаковкам, накопленным на свалке, судят об объемах продаж разных фирм;

открытое наблюдение предусматривает предупреждение людей о работе наблюдателей;

скрытое наблюдение предполагает неведение наблюдаемых лиц о наличии пристального внимания к ним;

структурированное наблюдение проводится по плану, который определяет, что именно и как наблюдать с оформлением специального места наблюдений и обработкой данных;

неструктурированное наблюдение фиксирует в исследуемой ситуации все встречающиеся эпизоды, включая непредсказуемые.

            Наблюдения могут быть полевыми или лабораторными. Проводятся наблюдения человеком или приборами с автоматической регистрацией данных. Приборы, как правило, более точны и объективны. К примеру, специальные устройства в телевизоре регистрируют время и номер канала включаемых передач, что для наблюдателей слишком сложно. Однако состав таких приборов на сегодня ограничен. 

            Результаты наблюдений фиксируются в блокнотах, на специальных бланках, посредством аудио и видеотехники и т.п.

 

7.7.2. Панельные наблюдения

 

Панель – постоянный предмет исследования, подвергаемый периодическим повторяющимися наблюдениями. Членами панели могут быть покупатели, семьи, организации и т.д.

Все виды панелей делятся на:

краткосрочные (менее года) и долгосрочные;

непосредственные и периодические, для сбора информации в заданном ритме;

потребительские, состоящие из семей или покупателей;

торговые, состоящие из торговых организаций;

экспертные, из специалистов по данной проблеме.

В ходе проведения панельных наблюдений:

выявляют доминирующие факторы и их динамику;

определяют тенденцию в изменениях общественного восприятия товаров;

изучают мотивы покупок и прогнозируют спрос.

 

7.7.3. Эксперимент

 

Экспериментальные исследования определяют причинно-следственные связи между независимыми переменными, к примеру, погодой, днем недели, адресом и зависимыми параметрами – число покупателей, объемом реализации, состав сделок и т.п.

Условия эксперимента планируется заранее и контролируется.

Эксперимент может быть пассивным и активным.

Пассивный эксперимент проходит при условиях, не зависящих от воли оператора.

Активный эксперимент – формируется экспериментатором. Все существенные условия эксперимента устанавливаются и поддерживаются в соответствии с планом эксперимента.

Эксперименты классифицируются:

изменение признаков одной группы до и после воздействия фактора, например, рекламы на покупателей;

изменение признаков у экспериментальной и контрольной групп после воздействия фактора;

исследование контрольной и экспериментальной групп до и после воздействия фактора, либо процессе воздействия.

Именно последний вариант является самым корректным.

В рекламе нередко упоминаются эксперименты в качестве обоснования, неких снадобий.

Некая единица избавилась от болезней или стала невесомой, приняв “эликсир”. Остается за кадром сколько единиц приняло участие в эксперименте, что случилось с остальными: худели они, полнели, обретали побочные эффекты, была ли группа с плацебо. Получается не   эксперимент, а рекламный трюк.

 

7.7.4. Опрос

 

Опросы являются основными инструментами маркетологов, применяются в 90% исследований.

Опросы могут быть в письменной и устной формах.

Устные опросы называют интервью.

Спрашивает интервьюер отвечает респондент. Респондентами могут быть прохожие, посетители, продавцы и т.п.

При письменном опросе респонденты получают опросные листы, предназначенные для передачи (пересылки) интервьюеру.

При устном опросе ответы фиксируются интервьюером в заданной форме.

 

Аккумулируют информацию тремя способами:

вопросы задает интервьюер;

респонденты сами заполняют опросные листы;

респонденты работают с компьютерами.

Первый способ обеспечивает обратную связь с респондентами и доверительные отношения с ними.

Второй способ отличается отсутствие влияния интервьюера и комфортными условиями для респондента.

Третий способ реализуется с наибольшей скоростью, доступностью видеоматериалов, совмещенных с вопросами, исключение ошибок интервьюера и т.п.

Методы сбора данных при опросе:

Интервью на дому у респондента. Самые доверительные отношения при получении данных, длительные беседы. Это самый дорогой вариант.

Интервью посетителей крупных магазинов. Метод относительно дешев, однако есть риск легкомысленного восприятия вопросов.

Интервью в офисах. Применяют для продукции предприятий, обычно с участием высококвалифицированных интервьюеров и демонстрациями товаров.

Телефонное интервью. Относительна малая стоимость и охват большого числа респондентов, но проблематичен контроль.

Телефонные интервью с параллельно работающих телефонов, к которым подключается контролер.

Телефонные интервью посредством компьютера. Автоматически набирается номер, на мониторе появляется очередной вопрос. Бывают полностью автоматизированный опрос. Ответы респондента вводятся с его телефона или его компьютера.

Групповое самостоятельное заполнение анкет используется для снижения затрат. Группа смотрит рекламный ролик и заполняет свои анкеты в присутствии интервьюера.

Самостоятельное заполнение анкет. Анкеты оставляют у респондентов а через некоторое время забирают. Это для тех, чье перемещение ограничено на период опроса.

Обследование на почте. Удобно респондентам, но чрезмерно низкий процент ответов » 5%, что делает этот метод дорогостоящим.

Качество собранных данных зависит от многих факторов, среди которых доминирует характеристики респондентов. Основными особенностями опрашиваемых лиц принято считать:

Степень охвата, определяется процентом респондентов, обладающих необходимыми свойствами, среди опрашиваемых лиц. К примеру, число пользователей видеокамер среди посетителей магазина, в котором проводится опрос.

Желание принять участие в опросе определяет долю респондентов, отказывающихся отвечать на вопросы. Основными причинами отказов является подозрительность или нежелание освещать личную жизнь, либо особенностями вопросов, затрагивающих нежелательные темы.

Возможность принятия участия в обследовании оценивает доступность для респондентов контракта с интервьюером (командировка, забывчивость, болезнь и т.п.).

Степень различия респондентов характеризует меру, в которой ожидаемая в итогах опроса информация распределилась между респондентами – от ключевой до ничтожной.

Объем и уровень сложности информации, запрашиваемые у респондентов, существенно влияют на долю респондентов, отвечающих на все вопросы респондентов, отвечающих на все вопросы квалифицированно, а также на длительность и на материальное оснащение опроса. Телефонные интервью самые короткие, а личные наиболее длительные. Наиболее сложные опросы затрагивают морально-этические аспекты, а самыми оснащенными являются компьютерные интервью в офисах.

 

7.7.5. Измерения в маркетинговых исследованиях

 

В общем случае под измерением понимается определение количественной меры или плотности некоего свойства, изучаемого исследователем.

Изучаемые свойства существенно различаются по доступности измерениям. Доступнее измерениям объективные характеристики – возраст, вес, доход и т.п. Менее доступные субъективные свойства – вкусы, привычки, отношения и т.п. “Неизмеримые” характеристики респондент переводит на шкалу плотности, которую необходимо разработать исследователю.

Известны четыре типа шкал:

Описание. Отличается единственным опознавателем (дескриптором) для каждой градации шкалы. Градации взаимонезависимы, для  каждой предусматривается альтернативные ответы “да”, “нет”. К примеру, марка, адрес, форма.

Порядок. Определяет относительный размер: больше, чем; меньше, чем; равен. К примеру, предпочтение одного цвета перед другим.

Расстояние. Определяет абсолютное расстояние между дескрипторами. К примеру, ранжирование признака, по которому делается выбор с оценкой весовых коэффициентов по каждой позиции.

Начальная точка. Отличает шкалы, имеющие единственное начало отсчета. Например, возраст имеет начало отсчета а отсутствие мнения об уровне помех не является нулевым уровнем покупательской позиции.

 

Таблица 20. Характеристики шкал.

Уровень

Измерений

Характеристики шкал

описание

порядок

расстояние

начальная точка

Шкала наименований

*

 

 

 

Шкала порядка

*

*

 

 

Интервальная шкала

*

*

*

 

Шкала отношений

*

*

*

*

Каждая последующая характеристика шкалы строится по предыдущей, так что “описание” является наиболее базовой характеристикой, присущей любой шкале.

Если шкала имеет «расстояние» то она обладает также “порядком” и “описанием”.

Применяется четыре уровня измерения, определяющие тип шкалы: наименований, порядка, интервальный и отношений.

Шкала наименований содержит только описание; объект представлен названием, без количественных характеристик. Оценки для этой шкалы возможны типа “согласен” и “не согласен”.

Шкала порядка  ранжирует ответы респондентов. Она имеет свойства шкалы наименований (номиналов) в сочетании с отношениями порядка. Если каждую пару категорий шкалы наименований удается упорядочить относительно друг друга то получается порядковая шкала. Чтобы отличить шкальные оценки от обычных чисел, их называют рангами.

Интервальная шкала обладает характеристикой расстояния между градациями шкалы, измеряемого посредством некоторой единицы измерений. На этой шкале разности между градациями имеют однозначный смысл, т.е. определимо равенство некоторых интервалов или который из них больше другого. Шкальные оценки можно складывать. Шкала может быть равномерной, т.е. равные интервалы имеют равные значения измеряемого признака.

Шкала отношений является единственной шкалой, имеющей нулевую точку, так что полученные результаты доступны количественному сравнению. Например, шумы в канале один превышает вдвое уровень в канале два.

Применительно к статистическим данным шкала наименований вводится для внесения статистических мер, соответствующих избранной гипотезе или внесения очередной реализации в некоторый интервал.

На шкале порядка используют коэффициенты ранговой корреляции, определяют квантили и т.п.

Интервальная шкала предназначена для преобразований, в частности, ее можно описать или растянуть, а также сдвинуть. Рассчитываются статистические меры, оцениваются доверительные интервалы.

Шкала отношений используется в прогнозирующих расчетах, при оценках точности и надежности.

Полученные результаты можно всегда перевести в более простую шкалу, но никогда наоборот.

Ниже приведены примеры вопросов, заданных в разных шкалах измерений, помогающие ощутить разницу в построении и оформлении.

 

 

 

Шкала наименований

 

Укажите марки электронной продукции, которые вы предпочитаете “да” или “нет”

Сони;

Панасоник;

Филипс;

прочие.

 

 

Шкала порядка

Проранжируйте, пожалуйста фирмы, производящие электронную аппаратуру и укажите место, которое занимает фирма в Ваших предпочтениях:

Сони - 1;

Панасоник - 2;

Филипс - 3;

прочие.

 

 

 

Шкала интервалов

Проранжируйте, пожалуйста, название фирмы по уровню надежности выпускаемых ими электронной аппаратуры:

                      очень низкая                     очень высокая

Сони             1      2      3      4      5      6      7      8      9

Панасоник   1      2      3      4      5      6      7      8      9

Филипс        1      2      3      4      5      6      7      8      9

 

 

 

 

Шкала отношений

Укажите, пожалуйста, приблизительно сумму, затраченную Вами на продукцию фирм, руб.

                          до 102    до 103    до 104   до 105

Панасоник  

Филипс

Сони

 

 

 

7.7.6. Эксперимент

 

Экспериментом в маркетинговых исследованиях называют измерения зависимых параметров при контроле и регулировании независимых параметров при условиях, организации и техническом оснащении, регламентирующих  действия источников погрешностей. Условия, организация, техническое оснащение и погрешности экспериментов прогнозируются при планировании эксперимента.

Применяются эксперименты двух типов: лабораторные и полевые:

эксперименты в искусственных условиях, исключающих воздействие побочных факторов;

эксперименты в реальных условиях. Часть таких экспериментов называют “пробный маркетинг” и  “тестирование рынка”.

В лабораторных условиях целесообразно изучать особенности реакции покупателей на составляющие части рекламы, дизайна, сервиса и т.п. К примеру, фрагменты рекламы, оставшиеся в памяти, реакцию на форму или размещение кнопок и т.п.

Тестирование рынка классифицирует на стандартное, контролируемое, электронное имитационное.

Стандартное тестирование включает в себя испытания товаров в обычных каналах сбыта, используемых конкретной фирмой. Для реализации требуется значительные затраты времени и средств. Основанием этих затрат является обострение конкуренции, необходимость модернизации маркетинговой стратегии. Апробация установочной партии товара, инновация в сервисе, в рекламе и т.п.

Контролируемое тестирование рынка проводится специализированными фирмами, которые заключают договоры с дистрибьюторами, избранными для эксперимента. Аналогия каналов, выбранных при планировании, может быть гипотезой, не соответствующей реальности.

Электронное тестирование отличается наличием идентификационных карточек, вручаемых участникам потребительской панели для предъявления при покупке товара. По карточкам автоматически фиксируется ситуация с покупками а заодно основные сведения о покупателях. Наименьшие затраты времени и средств.

Имитационное тестирование предполагает использование ограниченного объема данных о реакции потребителей в соответствии с избранной моделью. Стоимость оказывается 5-10% от стандартного тестирования. Достоверность зависит от гипотез, заложенных при выборе модели. В модели имитируются группы покупателей на базе предположений о вероятностях покупок.

Разработка форм для сбора данных в маркетинговых исследованиях принято, в соответствии с общенаучной практикой, вносить данные в специальные формы. Разработка этих форм является задачей, сложность которой возрастает для трудноизмеримых объектов. Наиболее сложны формы для данных о физических лицах, в частности, анкеты (вопросники).

Анкета, т.е. бланк для записи данных о респонденте рассматривается сегодня как продукт творческой работы исследователя, малодоступной формализации. Процесс разработки анкеты может быть необходимой составной частью работ по созданию программного продукта для задач, ранее недоступных для компьютерных решений.


                                              

Рис. 55. Этапы разработки анкеты

 

Этап 1. Предполагается, что исследователь обладает достаточными знаниями по теме для формирования гипотез о направлении работы. Эти гипотезы будут определять характер анкеты, т.е. как и от кого требуется собрать информацию и какие взаимосвязи надо изучить. Первоначально составляется макет таблицы для сбора информации. Вносятся данные, полученные путем опроса нескольких экспертов. Уточняются исходные гипотезы по критериям необходимости и достаточности данных для решения задачи исследования. Анализируются риски – избыточности вопросов с повышенным уровнем отказов отвечать, а также недостаточности вопросов с низкой эффективностью опроса.

Этап 2. От особенностей информации зависит вид анкеты и метод проведения опроса. Определяется степень стандартизации и открытости анкеты, а также используемые средства – лично, по телефону или почте. Выбор зависит от заданной достоверности и планируемых затрат времени и средств.

Этап 3. Содержание вопросов. Каждый потенциальный вопрос оценивается, является ли он необходимым. Если очевидно, что без этого вопроса в исследовании будет невосполнимый пробел, то рассматриваются варианты ввода нескольких вопросов, упрощающих и уточняющих ответы. К примеру, вопрос о выборе “Сони” может делиться на сравнения по престижу, по надежности, по дизайну и т.п.

Каждый вопрос проверяется на предмет наличия информации у респондента, необходимой для ответа. Нередки ответы респондентов на вопросы, о которых они имеют смутное представление. Для проверки воображаемой компетентности респондента в анкетах встречаются вопросы о несуществующих реально ситуациях, причем наблюдается значительная часть положительных ответов.

В сомнительных случаях предшествует сложному вопросу “фильтрующий”, типа “У Вас есть мнение о …”. В 20-25% случаев следуют ответы “не знаю”.

Необходимо учитывать два фактора, влияющие на достоверность ответа:

ошибка преувеличения, т.е. склонность помнить события так, будто оно произошло значительно позднее, чем на самом деле, или было более значимым;

потеря воспоминания, т.е. склонность забывать событие целиком, если оно не оставило ощутимый след. С течением времени воспоминания слабеют и преувеличения становятся реже;

откровенность респондента. Далеко не всю информацию, которой располагает респондент можно найти в его ответах. Некоторые люди более откровенны, другие склонны к секретности: обоснованной, либо проистекающей из мира эмоций. Некоторые вопросы вызывают неудовольствие респондента, исключая сотрудничество по оставшейся части анкеты. Если “опасные” вопросы не удается избежать, то надо сделать попытку подойти к ним косвенно.

Деликатные вопросы стремятся перенести к финишу опроса, а вначале располагать те, которые “разогревают” респондента, способствуют доверию. Кроме того, учитывают рост откровенности при обсуждении других людей, к примеру, легче назвать доходы соседей и друзей, чем собственные. Среднее от соседских доходов может правдоподобнее определять финансы респондента, чем его прямая оценка. Обычно называют точно самые скромные доходы, скажем пенсию, а те, кто побогаче, непременно “скромнее”.

Многим неприятен вопрос о возрасте, не всегда кстати вопрос о поле. Поэтому вводятся возрастные категории, скажем от 60+ до 20– и предпочтительные для респондента формы обращения: госпо(дин)жа или просто мужчина (женщина). Лишнее зачеркнуть.

Иногда используется модель случайного ответа, в которой респонденту достаются вопросы, которые интервьюер не знает и ответы не в состоянии прочесть. Часть вопросов является сугубо деликатной, скажем о стремлении обмануть партнера, а другая часть невинна. Номера вопросов задаются генератором случайных чисел. При обработке выявляются искомые взаимосвязи.

Этап 4. Форма ответа на каждый вопрос, может быть произвольной – для открытого вопроса или с ограниченным числом вариантов ответа, с двумя вариантами, с применением шкалы. Открытый вопрос с произвольным ответом типа “Почему вы купили ТВ Горизонт” отставляют свободу выбора за респондентом, не навязывает ему авторскую позицию. Кроме того, дает возможность проникнуть в мир респондента, ответить неизвестные исследователю аспекты задачи. Обычно открытые вопросы ставят в начале анкеты.

Закрытый вопрос предполагает многовариантные ответы. Под формулировкой вопроса размещаются варианты ответа, среди которых респондент ищет наиболее подходящий и отмечает его крестиком, точкой и т.п.

Число вариантов ограничено, обычно £ 10. Процесс опроса упрощается и для респондента и для интервьюера. Не надо мучительно придумывать свою версию ответа и анкеты доступны математической обработке.

К примеру, покупатель “Горизонта” выбирает ответы: “самый дешевый”, “патриотизм”, “ремонтопригодность, гарантия дольше”, “картинка лучше”, “прочее”. Здесь респондент принуждается выбрать одну из позиций, запланированных исследователем, причем его отношение к сумме этих позиций остается “за кадром”. Ему может быть неинтересен или неизвестен любой ответ на вопрос или есть другое мнение. Часть исследователей вводят вариант “не знаю”, а другие считают, что в нем может проявиться лень респондента, т.е. данные “не в тему”. Затруднения с ответами являются поводом для фильтрующих вопросов.

Необходимо учитывать шанс порядкового искажения. Порядок следования ответов существенно влияет на выбор респондента, явное предпочтение тем, что вначале. Особо важен порядок при телефонном опросе, поэтому рационально переставлять ответы случайным образом.

Дихотомический вопрос предполагает два ответа “да” и “нет”.

Этот вопрос можно преобразовать в многовариантный и наоборот. При последующей обработке альтернативные ответы проще других. Однако порядок следования ответов и здесь проявляется, поэтому половину опроса проводят с одним порядком ответов, а другую с обратным.

Шкалы. Многовариантные вопросы с ответами типа “много”, “мало”, “ничего” снабжаются шкалами. Удобство шкал заключается в доступности для респондентов внести нюансы в оценки внутри интервала и, кроме того, возможности предложить несколько шкал для сопоставляемых объектов с одинаковым масштабом представленным в начале анкеты. Респондент, ознакомившийся с инструкцией для всех последующих ответов сравнительно легко и быстро заполняет анкету.

 Формулировка вопроса.

От формулировки вопроса зависит риск “состояния не ответа” когда респондент не желает или не в силах отвечать после ответа на предыдущие вопросы.

Кроме того, может быть недостаточная точность оценки, когда запись отличается от действительного восприятия ответов респондентом. Среди источников недоразумений с ответами основным является уровень образования, несопоставимый у респондентов и автора вопросов. Поэтому во-первых надо использовать простые слова. И неясностей или двусмысленностей не должно быть.

Примерами непредсказуемости ответов могут быть разночтения слов “иногда”, “часто” воспринимаемые, как ежедневно или ежегодно. “Вы” могут относить к себе лично и к коллективу или нации. Негативно относятся респонденты к экстремальным оценкам, вроде “все”, “никогда”, “всегда”, “никто” и т.п.

Наводящие вопросы. Если вопросы задают направление ответов, их называют наводящими. Такие вопросы смещают ответы респондентов, что приводит к систематической погрешности оценок.

Вопросы не должны содержать скрытых альтернатив или допущений. Альтернативные ответ, который не содержится в составных частях вопроса, называют скрытой альтернативой. Когда вопрос сформулирован так, что он порождает разные ответы от разных респондентов, допускающих различные последствия, то он содержит скрытое допущение. Кроме того, вопрос может быть двухканальным, т.е. ориентированным на два ответа, что затрудняет ответ.

Этап 5. Определение последовательности вопросов. Сформулированные вопросы надо расставить так, чтобы получить единую анкету. Порядок следования вопросов имеет принципиальное значение.

Самые простые и интересные вопросы являются первоочередными. Они должны показать респонденту, что его мнение очень интересует кого-то, а это так приятно.

Туннельный подход. Один из подходов к выбору последовательности вопросов называют воронкообразным,  поскольку начинается с широко охвата и постепенно сужается к конкретной теме. Содержание вопросов плавно перетекает от одного к другому.

Разветвленный вопрос отсылает респондента к разным участкам анкеты в зависимости от его реакции на текущий вопрос. К примеру, после вопроса о наличии видеокамеры переходят к сюжетам съемок, либо к вопросу о любимых телепередачах. Такие вопросы применяют при личных или телефонных интервью, однако с осторожностью, поскольку могут запутать респондента.

Классификационный вопрос. Классификационные вопросы вводятся в конце анкеты. Они относятся к особенностям респондента и дают возможность выяснять зависимость основных данных в анкете от признаков, субъекта, например, демографических. Именно классификационные вопросы раздражают респондентов в наибольшей степени, так что основные вопросы должны им предшествовать.

Основные вопросы должны следовать в порядке возрастания сложности.

Этап 6. Физические признаки анкеты.

Внешний вид анкеты может повлиять на согласие респондента отвечать, особенно при почтовой связи. Необходима хорошая бумага и яркий текст.

Во введении отмечается конфиденциальность ответов и название финансирующей организации, а также название и цель проекта.

Замечено, что короткие анкеты лучше длинных если их насыщенность не чрезмерна. Короткие анкеты легче заполнять и удобнее сортировать.

Этап 7. Заключительным этапом является тестирование анкеты и корректировка, при необходимости уточняется восприятие вопросов респондентами, возможные затруднения. Ответы, полученные в итоге тестирования, кодируются и вносятся в таблицы, по которым составляется макет анкеты.

 

7.7.7. Шкалы, применяемые в анкетах

  

Шкала Лайкерта (Ликерта) называется также шкалой суммарных оценок, содержит степени согласия или несогласия респондентов с рядом утверждений:

Таблица 21. Шкала Лайкерта.

 

категорически не согласен

не согласен

безразличен

согласен

абсолютно согласен

ТВ горизонт

   надежнее

   дешевле

 

+

 

 

 

 

 

Разные степени согласия кодируются числами. Все вопросы располагаются случайным образом, так, чтобы негативные и позитивные ответы перемешались. Совокупный результат получается простым суммированием. Найденная сумма является относительным значением, используемым для сравнения нескольких объектов. Иногда для сравнения избирается стандарт. В качестве стандарта может быть среднее число очков для всей исследуемой совокупности. Процедура расчетов называется выработкой норм. Отличие от норм является оценкой, позитивной или негативной, объекта исследования.

Семантическая дифференциальная шкала содержит ячейки в наборе полярных прилагательных или предложений, которые наилучшим образом отражают их отношение к объекту.

Эта шкала особо полезна при исследованиях имиджа товара или фирмы. Прилагательные группируются в трех массивах:

массив оценок: плохой – хороший, полезный – никчемный;

массив силы: сильный – слабый, мощный – экономный;

массив активности: тихий – громкий, быстрый – вялый.


Шкала  разбита на промежуточные значения между экстремальными позициями. Респонденту предлагается отметить свою позицию точкой на шкале:

Рис. 56. Семантическая дифференциальная шкала.

На шкале могут сравниваться несколько обслуживающих фирм -      и      . В результате получают змеевидную диаграмму (так ее называют из-за формы). Эта шкала отличается удобством для респондентов и удобна для обработки, так, что пользуется заслуженной популярностью у маркетологов.

Шкала Стэпела. На этой шкале респондент указывает насколько достоверно, по его мнению каждое заявление определяет его ответ.

 

 

Таблица 22. Шкала Стэпела.

 

–5

–4

–3

–2

–1

+1

+2

+3

+4

+5

обслуживание вежливое

 

 

 

 

 

 

 

 

 

 

сотрудники компетентны

 

 

 

 

 

 

 

 

 

 

Эту шкалу можно рассматривать в качестве модификации предыдущей – отношение фиксируется в числовой форме, привязывается к центру положения нуля и нормируется погрешность оценок введением интервалов. Кроме того, здесь не требуется биполярные утверждения.

Все названные шкалы реализуют интервальное ранжирование, в том смысле, что марка, набравшая 20 очков, не является вдвое более привлекательной марки с 10 очками. Здесь устанавливается порядок следования марок в сознании респондентов.

Известны разновидности рейтинговых шкал. В частности, применяют размерности в процентах для тех лиц, кому привычнее именно так оценивать свои вкусы. Число градаций отношения к объекту может быть доведено до десяти, если респонденты демонстрируют достаточную чувствительность к нюансам оценок.

Оценки рейтинга на основе постоянной суммы производятся путем предложения разделить 100 очков между сравниваемыми объектами или показателями. Например, респонденту предложено вообразить себя с найденными 300$ в универмаге. Покупки с примерными ценами надо внести в таблицу, размеченную как указано выше. Принято считать оценки рейтинга на основе постоянной суммы чрезмерно сложными, однако они сглаживают гало-эффект. Гало-эффект возникает при сборе данных, когда переходят от одного суждения к другому.

Шкалы восприятия. Менеджерам фирмы необходимо знать доподлинно, как воспринимаются конкуренты и по каким именно признакам судят о них потребители. Восприятие оценивается по нескольким показателям, используются многомерные шкалы, чтобы не утомить чересчур респондентов вводят картинки, например:


Рис. 57. Шкалы восприятия.

Однако наращивание состава оценок и градаций по каждой практически не приводит к накоплению дополнительной информации для менеджеров, поскольку сам респондент зачастую не знает, что от него хотят. Он не сообщит свой выбор между фирмами А и Б, даже под пыткой, если эти фирмы вне его восприятия.

Главная методическая погрешность рассматриваемых оценок заключается в навязывании исследователям своего восприятия градаций между сравниваемыми объектами. Между тем, у респондента “оценочные возможности” несравненно ниже, чем у исследователя. Зачастую респондент сталкивается последний раз с оценками в школе. У него осталось рефлекторное пять – четыре – три – два. Если единица, то ЧП. Если ему предлагать 10 балльную или 100% шкалу, он может ее поделить на четыре части и фактически ставить школьные оценки. Тем более, что градации не регламентируются и недоступны контролю.

Исследователь может проверить респондентов в качестве измерительного средства. Маркетологи не применяют “калибровку” своих опросов или наблюдений, хотя эта процедура является традиционной для всех прочих измерительных средств. В частности, при выборе шкалы важны “чувствительность” и “точность”, т.е. число уверенно различаемых респондентами градаций в пределах шкалы и вариация оценок некоторого стандарта или эталона.

Проверка может быть проведена в отношении одного респондента, который вполне может оказаться замечательным экспертом, и в отношении выборки, составленной для исследований.

Необходимым условием является многократное предъявление респондентам объекта в ситуациях, исключающих взаимозависимость ответов. Вопросы в разное время с различными атрибутами и условиями, сравнение показателей со скрытой маркой и т.п. К примеру, одному респонденту предложить анкету с предполагаемыми ценами на 10-20 товаров. Истинные цены известны исследователю, а у респондента есть только реклама товаров, которые он не покупал.

Относительные погрешности оценок в этой анкете являются искомой величиной, характеризующей меру ошибок одного респондента. Для группы респондентов гораздо проще организовать такую проверку. Достаточно ввести вопрос с оценкой числа, которое известно исследователю и входящее в состав ответов анкеты.

Ошибки респондентов, если они не превышают саму измеряемую величину, имеют распределение, близкое и НР. Для малой выборки, 10-20 единиц, в ориентировочных расчетах используется “четырех сигмовая” зона. Например, оценивают респонденты товар, о котором исследователь доподлинно знает, что качество самое среднее. Истинное значение подразумевается исследователем в центре шкалы ЦИССЛ.

 


Рис. 58. “Четырех сигмовая” зона.

На рис. 58  десять респондентов расставили свои точки на шкале, группирующиеся в 4 интервалах. Эти интервалы изображаются на шкале и поскольку они содержат нужные для правила “3s” количество точек, то отмечается систематическая погрешность респондентов ЦРЕС – ЦИССЛ и случайная – здесь это ширина интервала.

Респонденты могут сколь угодно различаться по своим метрологическим способностям. Некто окажется экспертом, приближая свои погрешности к нулю, так что с ними полезно поддерживать постоянный контакт. Кто-нибудь сделает экстремальные ошибки – таких специалистов ценят, например в США, они полезны, если их погрешности стабильны. По экстремальным позициям можно в дальнейшем прогнозировать размах оценок всего статистического ансамбля с учетом погрешностей.

Погрешности оценок в анкетах не интересовали маркетологов до последнего времени, поскольку традиционно считалось, что покупатель всегда прав, даже когда делает ошибку, выбирая товар. Считалось выгодным всячески настаивать на покупке, гарантируя замену товара или возвращение денег особо недовольным.

Сегодня интенсивно развиваются институты, защищающие права потребителя. В частности, стали реальностью оценки всех потребительских свойств товара, скажем, на порядок точнее, чем у простых покупателей. Применяются необходимые технические средства и привлекаются профессиональные эксперты. Поэтому надежды на ошибки покупателей становятся бесперспективными.

Для иллюстрации рассматривается завод, приглашающий выпускников вуза на работу после защиты диплома. Решение отдела кадров приглашать только отличников, решено скорректировать путем дублирования защиты диплома на совете заводских специалистов. Для этого достаточно  трансляции с вузовской защиты на заседание специалистов.  Наблюдение может быть открытым или закрытым – на усмотрение организаторов. Заводским экспертам надо оценить защиту по нескольким шкалам, исходя из 10 баллов, а в вузе обычные 3 – 4 – 5.

Средний балл на защите в вузе обычно больше 4. Навязывается систематическая погрешность в плюс из-за претендентов на красный диплом, кому нельзя ставить меньше 5, и аутсайдеров, кому не хотят ставить 2, чтобы не тиражировать встречи с ними. Кроме того, оценки на защите относятся к разным признакам – бойкости ответов, аккуратности графики, очередности в списке и т.п.


Заводу нужны разные специалисты, но для всех есть общий признак – предлагаемый вклад в конкурентоспособность, от очевидного приращения до роковых потерь.

 

 

Рис. 59. Шкала уровня полезности.

Точки, отображающие дипломников на этой шкале, будут ранжировать их по уровню полезности для завода и, одновременно, погрешности вузовских оценок. Сегодня, они вполне могут быть “перевернутыми”, т.е. “5” не дотягивает до среднего уровня шкалы, а “3” с массой ошибок в чертежах и корявым изложением, явно в положительной ее части. Причиной этому является несопоставимость по сложности и трудоемкости решений, заимствованных на заводе, и самостоятельных.