6.1. Результаты исследования, их интерпретация и обобщение.

В данный материал сознательно не включен материал с изложением методов математико-статистической обработки данных. Во-первых, существует обширная учебная литера­тура, справочники и монографии, где эти вопросы изложены профес­сионально и подробно. Во-вторых, студенты изучают от­дельный курс " Методы математической статистики", а попрактико­ваться в их применении они могут, обрабатывая результаты лабора­торных исследований на практикуме по общей психологии. Поэтому содержание этой главы начинается с того момента, когда данные исследования уже обработаны и представлены в той или иной форме. Кроме того, применений статистических критериев уже позволило сделать вывод о принятии или отвержении статистической гипотезы Н1 или Н0.

Предположим, что статистическая гипотеза о различии резуль­татов экспериментальной и контрольной групп принята. Какие выводы мы можем сделать после обработки экспериментальных результатов? Итого любого исследования - преобразование "сырых" данных в реше­ние об обнаружении явления (различий в поведении двух и более групп), о статистической связи или причинной зависимости. Подт­верждение или опровержение статистической гипотезы о значимости обнаруженных сходств - различий, связей и т.д. должно быть ин­терпретировано как подтверждение (неопровержение) или опроверже­ние экспериментальной гипотезы. Как правило, исследователь пыта­ется подтвердить гипотезу о различиях поведения контрольной и экспериментальной групп. Нуль-гипотеза - гипотеза о тождестве групп.

При статистическом выводе возможны различные варианты реше­ний. Исследователь может принять или отвергнуть статистическую нуль-гипотезу, но она может быть объективно ("на самом деле") верной или ложной. Соответственно возможны четыре исхода: 1) при­нятие верной нуль-гипотезы; 2) отвержение ложной нуль-гипотезы; 3) принятие ложной нуль-гипотезы; 4) отвержение верной нуль-гипо­тезы. Два варианта решения правильны, два - ошибочны. Ошибочные варианты называются ошибками 1-го и 2-го рода.

Ошибку 1-го рода исследователь совершает, если отвергает ис­тинную нуль-гипотезу. Ошибка 2-го рода состоит в принятии ложной нуль-гипотезы (и отвержении верной исследовательской гипотезы о различиях).

Решение	Гипотеза
	Нуль-гипотеза верна	Исследовательская гипотеза верна
Отвержение нуль-гипотезы Принятие нуль-гипотезы	Ошибка 1-го рода   Верное решение	Верное решение   Ошибка 2-го рода

Чем больше число испытуемых и опытов, чем выше статистичес­кая достоверность вывода (принятый уровень значимости), тем мень­ше вероятность совершения ошибок первого рода. Например, если при а = 0,1 слабые различия между средними, определенные с помощью t-критерия, могут быть значимы, то при а = 0,05 и а = 0,001 зна­чимых различий мы можем не получить.

Ошибка 1-го рода особо значима в уточняющем (конфирматорном) эксперименте, а также в тех случаях, когда принятие неверной ги­потезы о различиях имеет практическую значимость. Допустим, при­нятие ложной гипотезы об интеллектуальных различиях представите­лей разных социальных страт или этнических групп имеет чрезвычай­но значимые социально-политические следствия.

Ошибка 2-го рода - отвержение верной исследовательской гипо­тезы и принятие нуль-гипотезы - особенно существенно при проведе­нии пробного (эксплораторного) эксперимента. Отклонение исследо­вательской гипотезы на начальной стадии может надолго закрыть до­рогу исследователям в данной предметной области. Поэтому уровень статистической достоверности при проведении эксплораторного экс­перимента на малых выборках стремятся понизить, т.е. выбирают а = 0,1 или а = 0,05. Исследователю, разумеется, приятнее получить подтверждение своим собственным мыслям, поэтому субъективная зна­чимость ошибок 2-го рода значительно ниже, чем субъективная зна­чимость ошибок 1-го рода.

Но для науки как сферы человеческой деятельности важнее по­лучить максимально достоверное знание, а не "засорять" научные журналы невалидными и ненадежными результатами. Поэтому стратегия исследований в любой области психологической науки такова: пере­ход от эксплораторного (поискового) эксперимента к конфирматорно­му (уточняющему), от низких уровней достоверности - к высоким, от исследований на малых выборках - к исследованиям на больших.

В конкретных же исследованиях значимость ошибок 1-го и 2-го рода может сильно зависеть от целей, которые преследуются в экс­перименте, от предмета изучения и характера решаемой исследова­тельской задачи и т.д. В обыденной жизни и профессиональной мы часто сталкиваемся с такими ситуациями, когда нам надо оценить сравнительную значимость ошибок 1-го и 2-го рода. Например, судья или присяжные, определяя виновность или невиновность подсудимого, должны для себя решить, что более значимо: признать невиновного виновным или виновного невиновным. Установка на "гуманность" дик­тует правило: пусть будут оправданы десять преступников, чем пострадает один невиновный. "Репрессивная" установка предполагает другое правило: пусть пострадают десять невиновных, лишь бы один виновный не ушел от наказания.

Принятие или отвержение статистической гипотезы не является единственным условием принятия или непринятия экспериментальной гипотезы. Если статистическая гипотеза отвергнута, то исследова­тель может это реализовать по разному. Он может завершить экспе­римент и предпринять попытку выдвижения новых гипотез. Экспери­ментатор может провести новое исследование на расширенной выборке с использованием модифицированного экспериментального плана и т.д. "Отрицательный" результат, как говорят опытные эксперимента­торы, тоже результат.

С позиции критического рационализма "отрицательные" выводы, отвергающие экспериментальную гипотезу, - это главный результат любого эксперимента, так как сам эксперимент есть способ выбра­ковки нежизнеспособных гипотез. Отклонение экспериментальной ги­потезы отнюдь не означает, что теорию, следствием которой она яв­лялась, следует сразу отбросить. Возможно, не верно сформулирова­на теоретическая гипотеза: в прямой вывод из теории может вкрасться ошибка. Не исключено, что теоретическая гипотеза верна, но ее экспериментальная версия некорректно сформулирована. При этом зачастую, даже подтверждение экспериментальной гипотезы не свидетельствует о подтверждении теории. Допустим, исходя из кон­цепции фасилитации, мы предполагаем, что эмоциональная поддержка действий испытуемого будет приводить к более успешному решению задач. Но вместо превентивной эмоциональной поддержки любых про­явлений интеллектуальной активности мы в эксперименте поощряли испытуемого за хорошую работу по окончании решения задания. Разу­меется, эффект будет обнаружен, но никакого отношения к исходной теоретической гипотезе он не имеет.

Рассмотрение различных частных случаев подтверждения или не­пожтверждения конкретных экспериментальных гипотез - дело увлека­тельное и вполне доступное любому студенту, который усвоил азы психологического экспериментирования. Предположим, что экспери­ментальная гипотеза подтверждена или, следуя строгой логике К. Поппера, не опровергнута. Требуется решить проблему обобщения ре­зультатов эксперимента: на какие группы испытуемых могут быть распространены выводы, в каких внешних условиях будут воспроизво­диться результаты, не будет ли влиять на результаты исследования смена экспериментатора?

В отличие от классического естествознания, экспериментальный результат в психологии должен быть инвариантен (не изменен) по отношению не только ко всем объектам данного типа, к пространс­твенно-временным (и некоторым другим) условиям проведения эксперимента, но  и  к  особенностям взаимодействия экспериментатора и испытуемого, а также к содержанию деятельности испытуемого.

1. Обобщение по отношению к объектам. Если мы провели экспе­римент на 30 испытуемых - мужчинах в возрасте от 20 до 25 лет, принадлежащих к семьям из среднего класса, обучающихся на 2-3 курсах университета, то, очевидно, нужно решить следующую пробле­му: на какую популяцию распространить? Предельным обобщением бу­дет отнесение выводов ко всем представителям вида Homo sapiens. Обычно исследователи заканчивают первую экспериментальную часть своей работы предельно широким обобщением. Дальнейшая исследова­тельская практика сводится не только к уточнению, но и к сужению диапазона применимости найденных закономерностей.

Исследования Скиннера по оперантному обучению на крысах, го­лубях и др. дали результаты, которые автор распространил на представителей других видов, занимающих верхние ступени эволюци­онной лестницы, в том числе и на человека. Эксперименты И.П. Пав­лова по выработке классических условных рефлексов у собак позво­лили выявить закономерности высшей нервной деятельности, общие для всех высших животных. Феномены Ж. Пиаже воспроизводятся при исследовании групп детей во Франции, США, России, Израиле и т.д.

Ограничителями генерализации выступают внепсихологические характеристики популяции: 1) биологические; 2) социокультурные.

К основным биологическим характеристикам относятся пол, воз­раст, раса, конституциональные особенности, физическое здоровье. В дифференциально-психологическом исследовании выявляются измене­ния зависимости между двумя переменными, которые относятся к до­полнительным признакам объекта изучения.

Социокультурные особенности являются вторым важнейшим огра­ничением обобщения результатов. Решается проблема возможности распространения данных на представителей других народов и культур в кросскультурных исследованиях. Аналогичная работа проводится по уточнению влияния на результаты эксперимента таких дополнительных переменных, как уровень образования и уровень доходов испытуемых, классовая принадлежность и т.д.

Бывает, что результаты эксперимента можно применить лишь к той популяции, представители которой вошли в состав эксперимен­тальных групп. Но в этом случае существует проблема: можно ли данные, полученные на экспериментальной выборке, распространить на всю популяцию? Решение этой проблемы зависит от того, насколь­ко в ходе планирования исследования и формирования эксперимен­тальной выборки соблюдалось требование репрезентативности.

Для проверки выводов, во-первых, проводят дополнительные эксперименты на группах представителей той же популяции, не во­шедших в первоначальную выборку. Во-вторых, стремятся максимально увеличить в уточняющих экспериментах численность эксперименталь­ной и контрольных групп.

2. Условия исследования. В психологическом исследовании важ­ны не столько пространственно-временные факторы (в отличие от фи­зического), сколько условия деятельности испытуемого, а тем более - особенности заданий. В какой мере влияют на результат вариации инструкции, материала заданий, действий испытуемого, предусмот­ренных в ней, вид мотивации, присутствие или отсутствие "обратной связи"? На все эти вопросы нельзя ответить, ограничившись прове­дением одного эксперимента. Исследователь должен варьировать в последующих экспериментальных сериях дополнительные переменные, относящиеся к характеристикам экспериментального задания, чтобы установить, являются ли результаты инвариантными по отношению к задаче испытуемого.

Классическим примером влияния особенностей задачи, решаемой испытуемым, на результат эксперимента стали психофизические исс­ледования абсолютных порогов чувствительности.

"Слепой опыт" позволяет исключить влияние на результат зна­ния испытуемого о том, когда и какое воздействие он получает.

3. Экспериментатор. Проблеме влияния экспериментатора на ре­зультаты исследования было уделено достаточно внимания. Следует лишь напомнить, что психология, в отличие от других научных дис­циплин, не может полностью исключить, "вынести за скобки" влияние личностных черт, мотивации, компетентности исследователя в ходе эксперимента.

"Двойной слепой опыт" позволяет контролировать влияние ожи­даний экспериментатора на результаты исследования. Однако полный контроль воздействия индивидуальных особенностей экспериментатора предполагает применения факторного плана вида K x L x M, где в качестве дополнительной переменной выступают экспериментаторы, различающиеся по полу, национальной принадлежности, возрасту, ин­дивидуально-психологическим особенностям и т.д.

Инвариантность результатов по отношению к личности экспери­ментатора особенно часто нарушается в социально-психологических и дифференциально-психологических исследованиях.

Вариация результатов исследования, определяемая влиянием экспериментатора, описана в большинстве практических руководств по проведению психологического эксперимента.

Поведем итог.

Исследователь может совершить две ошибки относительно гипо­тезы: 1) принять неверную экспериментальную гипотезу и 2) отверг­нуть верную экспериментальную гипотезу. В эксплораторном (поиско­вом) эксперименте опаснее ошибка второго рода. В конфирматорном (уточняющем) эксперименте большее значение имеет ошибка первого рода. Увеличение объема выборки и статистической достоверности вывода способствует минимизации ошибки первого рода.

Исследователей подстерегает опасность неправомерного обобще­ния результатов исследования. Ограничителями генерализации ре­зультатов выступают: 1) особенности выборки; 2) содержание экспе­римента (задания испытуемому, воздействия, среда); 3) личность экспериментатора.

Возможны две стратегии проведения дополнительных исследова­ний: 1) ограничение генерализации путем введения дополнительных переменных в план эксперимента; 2) индуктивный путь на основе пе­репроверки результатов на других рандомизированных эксперимен­тальных выборках.

Процедура эксперимента никогда не может дать абсолютно дос­товерного знания, так, как индукция принципиально не полна. Экс­перимент - это лучший способ критики и отбора идей, но не лучший способ порождения нового знания.