Для проверки гипотезы о том, что количество аргументов в сообщении может влиять на формирование мнения по центральному или по периферийному пути, к 46 студентам обратились с просьбой прочитать одно из трех сообщений, каждое из которых имело для них либо высокую, либо низкую актуальность. Во всех сообщениях было изложено предложение администрации повысить плату за обучение. При условии высокой актуальности в сообщении предлагалось повысить плату за обучение в том университете, в котором учились студенты, в то время как при условии низкой актуальности предлагалось повысить плату в другом, сравнимом с данным,

университете. В сообщении, прочитанном студентами, содержалось либо три убедительных аргумента (например, дополнительные средства помогут уменьшить количество студентов в каждой группе, что приведет к улучшению взаимодействия между студентами и преподавателем), либо три поверхностных аргумента (например, часть дополнительных средств можно использовать на усовершенствование классных досок в университете, что произведет хорошее впечатление на гостей университета), либо три убедительных и три поверхностных аргумента (причем убедительные аргументы перечислялись

сначала). После прочтения сообщения испытуемые делали пометку на отрезке длиной 64 мм, указывая таким образом, до какой степени они согласны с идеей повышения платы за обучение.

Если при условии низкой актуальности количество аргументов в сообщении служит периферийным признаком правильности сообщения, то испытуемые, прочитавшие сообщение с шестью аргументами, должны в большей степени соглашаться с повышением платы за обучение, чем испытуемые, прочитавшие любое из сообщений с тремя аргументами. С другой стороны, если при условии высокой актуальности испытуемые оценивают смысл аргументов, тогда сообщение с шестью аргументами должно занимать промежуточное положение между сообщениями с тремя сильными и тремя слабыми аргументами по степени выраженного испытуемыми согласия. Анализ результатов... показал, что при условии низкой актуальности убеждающее воздействие трех сильных аргументов было ненамного сильнее, чем трех слабых, но убеждающее воздействие шести аргументов (трех сильных и трех слабых) было значительно сильнее, чем в любом из случаев с тремя аргументами. При условии высокой актуальности убеждающее воздействие трех сильных аргументов было значительно сильнее, чем трех слабых, но убеждающее воздействие шести аргументов было незначительно сильнее, чем в случае с тремя сильными аргументами (хотя оно и превышало убеждающее воздействие трех слабых аргументов). Эти результаты показывают, что при условии низкой актуальности люди оценивают не смысл аргументов, а ориентируются на их количество в качестве периферийного признака, указывающего на достоинства предложения. Таким образом, при условии низкой актуальности на формирование установки оказывало влияние просто число представленных аргументов, а их качество не играло роли (периферийный путь). Однако при условии высокой актуальности у людей имелась мотивация обдумывать представленную им информацию, относящуюся к данной проблеме, поэтому качество аргументов было важнее, чем их количество (центральный путь).

Для обеспечения надежности основных результатов, полученных в нашем пилотажном исследовании, мы повторили эксперимент, несколько модифицировав его. Общая концепция оставалась прежней, но использовались другие манипуляции степенью актуальности и другая установка. В этом исследовании также варьировалась степень актуальности сообщения для испытуемых, и кроме того, они получали либо три, либо девять аргументов, причем все они содержали либо убедительные, либо поверхностные доводы в пользу защищаемой позиции. Кроме ключевой оценки установок проводилось также несколько дополнительных количественных оценок. Они включали в себя контроль над эксперимен-тальными манипуляциями и оценку наиболее значимых для испытуемых мыслей о полученном ими сообщении.

Наша основная гипотеза концептуально не отличалась от гипотезы, которая проверялась в пилотажном исследовании. А именно, мы выдвинули гипотезу о том, что при условии низкой актуальности проблемы количество аргументов в сообщении в большей степени определяет формирование установок, чем качество этих аргументов. При условии низкой актуальности увеличение количества аргументов, как убедительных, так и поверхностных, должно приводить к усилению убеждающего воздействия сообщения, поскольку испытуемые, у которых отсутствует мотивация обдумывать аргументы, будут пользоваться для принятия решения простым правилом «чем больше, тем лучше». С другой стороны, мы прогнозировали, что при условии высокой актуальности качество аргументов сообщения в большей степени определяет формирование установок, чем количество этих аргументов. Мы ожидали, что при условии высокой актуальности, когда у испытуемых имеется мотивация обдумывать информацию по данной проблеме, они будут думать над каждым из представленных им новых аргументов. Если при условии высокой актуальности реципиенты думают над каждым из новых аргументов, и в ответ на убедительные аргументы у них возникают благоприятные для изменения установки мысли, а в ответ на поверхностные аргументы - неблагоприятные, то в случае, когда представлены девять аргументов, установки, сформировавшиеся в ответ на убедительные аргументы, должны сильнее отличаться от установок, сформировавшихся в ответ на поверхностные аргументы, по сравнению со случаем, когда представлены только три аргумента.

МЕТОД

Процедура

В эксперименте участвовали 168 студентов и студенток университета штата Миссури, которые получили за это дополнительный зачет по вводному курсу психологии... Испытуемых тестировали группами по 6-14 человек в больших

аудиториях, чтобы они не взаимодействовали между собой. В течение одного сеанса эксперимента можно было воспроизвести все варианты условий, если присутствовало достаточное число испытуемых.

Когда испытуемые приходили в назначенную аудиторию, они получали папку, в которой была инструкция, текст и брошюра с вопросником. В инструкции объяснялось следующее:

Первое впечатление, производимое человеком, зависит от многих факторов - его наружности, одежды, голоса и т. д. Сегодня мы просим вас попытаться сформировать ваше впечатление о человеке, прочитав отрывок из написанного им текста.

После прочтения этих объясняющих суть дела комментариев и краткого описания автора (см. ниже), всех испытуемых просили прочитать текст, который находился в папке. Им также говорили, что, прочитав текст, они сразу же должны ответить на вопросы из брошюры, а затем отдать ее экспериментатору, который находился в аудитории. После завершения оценки зависимых переменных испытуемых провожали в другую комнату, где с ними проводилось подробное собеседование, их бла-годарили за участие и отпускали.

Что собой представляет пилотажное исследование? С какой целью оно проводится? На выполнение каких задач направлено?

Общая информация

Для начала давайте определимся, что же собой являет пилотажное исследование. Это обозначение используется для того, чтобы именовать пробные или небольшие поисковые (разведывательные) проверки существующего положения дел. Так, если нужно уточнить проблемы, более корректно поставить задачу и выдвинуть обоснованные гипотезы, то пилотажное исследование является наилучшим вариантом для этого. Особенная потребность в нём может быть в тех случаях, когда отсутствует литература по интересующей теме. Тогда пилотажное исследование проводится с целью восполнения информационного пробела.

Что оно собой представляет?

Пилотажное исследование - это в социологии вид анализа, при котором значительно ограничивается круг задач, количество опрошенных людей невелико, данные нерепрезентативные, а инструментарий и программа чрезвычайно упрощены. Из-за этого исследователь получает только примерную информацию о том, чем же является объект исследований. Эти знания используются для общей ориентации. Главный лозунг пилотажных исследований - дешево, быстро и приблизительно. Поэтому они применяются в тех случаях, когда проблема или вообще не изучена, или же познания о ней весьма жалки.

Как проводится?

Итак, нам уже известно, что пилотажное исследование - это социологическое исследование. Но как оно проводится? Здесь существует большое количество различных вариантов. Наиболее оптимальным считается неформализованное интервью с потенциальными респондентами. Но, увы, субъективность людей может повлиять на их ответы. Чтобы подкорректировать данные используют наблюдение со стороны специалистов. Для этого может формировать фокус-группа. Но тогда следует предельно сконцентрироваться на чем-то конкретном. Весьма популярным является и опрос экспертов. К ним относят специалистов или же простых людей, но которые обязательно должны иметь определённое отношении к проблемной области, что интересует исследователя. В качестве дополнения можно изучать документацию и статистические данные, где имеются нужные сведения для подтверждения/опровержения гипотезы или решения задачи. Весьма популярными являются и экспресс-опросы. Правда они, как правило, несмотря на свою грамотность, не ставят перед собой решение глубоких научных задач и развитие фундаментальной науки. С их помощью узнаётся сиюминутная важность чего-то для общества. При этом не суть важно, что выступает в качестве объекта: выборы Трампа президентом США, запрещение абортов или же что-то ещё. Как бы там ни было - получение данных осуществляется с целью наложить их на более масштабные процессы.

О надежности

Насколько можно доверять полученной информации? Учитывая, что пилотажное исследование - это пробное исследование, уже сам этот факт подразумевает высокую долю рисков. А если оно ещё проводится и не специалистами, а группой любителей (в качестве которых может выступать отдел кадров, журнал, кружок, хозяин веб-сайта), то в таком случае хотя и имеется свежая и нужная информация, она, тем не менее, является нерепрезентативной, и её надёжность весьма сомнительна. На первый взгляд, она может быть вполне надёжной. Но если подойти с научной точки зрения - тут-то и откроются её изъяны. Поэтому использовать пилотажные исследования имеет смысл только в том случае, когда не выдвигаются строгие требования относительно надежности. Первоначально следует затронуть выборку. Четких методических требований здесь нет. Как правило, полагают, что опрос 3-х десятков респондентов позволит получить требуемую информацию. Но при этом следует позаботиться о том, чтобы среди них были представители всех категорий людей, которые подпадают под исследование. При этом нужно стремиться к максимальному разнообразию. Кроме этого, следует позаботится о том, чтобы среди респондентов были люди, для которых тема представляет хоть какое-то значение. В качестве отборочных признаков выступает пол, образование, возраст, стаж работы и прочие подобные критерии.

Важность пилотажных исследований

В целом и общем этот аспект был рассмотрен ранее. Сейчас же давайте остановимся на этом по подробнее. Из самого названия понятно, что пилот проводится до начала основного исследования. Он необходим для того, чтобы проверить обоснованность задач и гипотез. Хотя также может быть использован и для методической отработки инструментария. В случае необходимости пилотное исследование помогает внести коррективы в модель, которые улучшат её работу, позволять уточнить характеристики, предмет, обосновать финансовые траты и сроки завершения. Ведь если будет проводиться полноценный мониторинг настроений в обществе и где-то закрадётся ошибка, то её наличие будет чревато значительными неприятностями. Такой подход оказывает благотворное влияние в вопросе экономии ресурсов. Для проверки эффективности и целесообразности использования имеющегося инструментария могут быть проведены также пилотажные исследования. Они же подходят и в качестве генеральной репетиции главного исследования. В таком случае проверяется успешность проведения первого этапа и оцениваются результаты. Также при исследовании нового объекта это позволяет наработать методический материал. Проверяются одновременно и организационные условия: как относятся респонденты к проводимому опросу, есть ли все нужные документы и оценивается качество материала. При этом регистрируются все затруднения, которые возникают в ходе дела.

Заключение

Само пилотажное исследование проходит, как правило, в группах. Вопрос только в том, насколько большими они являются. Существует два наиболее популярных варианта. Первый предусматривает приглашение всех респондентов в отдельную комнату, где они заполняют анкеты. Перед этим людей информируют про пилотаж, сообщают и объясняют его задачи и цели, инспектируют нюансы заполнения анкеты и просят высказывать все замечания. Второй вариант опирается на небольшие группы, которые состоят из 3-4 человек. При этом анкеты обсуждаются по мере их заполнения. Наибольший интерес для исследователей представляет качество задаваемых вопросов. В таких случаях наибольший интерес предоставляют, как правило, методические цели.

^

Основные принципы и способы проведения пилотажного исследования

После отбора психологических методик для проведения мероприятий ППО должна быть проведена проверка их прогностичности, т. е. осуществлена оценка их возможности решать поставленные перед ними задачи: дифференциация всех обследуемых по степени выраженности ПВК и прогнозирование вероятности успеха в профессиональной деятельности. С этой целью проводится так называемое пилотажное исследование.

Понятие «пилотажное исследование» (иногда его еще называют пилотное исследование) достаточно широко распространено в психологии. Причем под этим понятиям очень часто подразумевают совершенно разные мероприятия, проводимые с разными целями. Однако если обобщить все, что понимается под этим понятием, то его смысл сводится к проведению «пробного», «оценочного» или «ориентировочного» исследования.

Суть пилотажного исследования, проводимого с целью оценки прогностичности психодиагностических методик, заключается в обследовании группы лиц, уже выполняющих профессиональную деятельность, для которой планируется проводить отбор. При этом предполагается, что работающие по данной специальности люди обладают индивидуально-психологическими и личностными характеристиками, которые или мешают, или, наоборот, способствуют успешному выполнению профессиональных обязанностей. Поэтому если профессионально важные качества были определены верно, если правильно были подобраны методики, то результаты исследования должны иметь тесную связь с показателями успешности деятельности.

При проведении пилотажного исследования всегда возникает необходимость решить две проблемы:

– как определить критерии успешности деятельности, в отношении которых будет оцениваться прогностичность отобранных методик;

– как сформировать группу лиц, которые будут обследоваться.

Как правило, при формировании группы обследуемых для проверки прогностичности отобранных методик принимается одно из двух принципиальных решений: обследовать две группы лиц, имеющих полярные показатели успешности выполнения профессиональной деятельности, или провести обследование по принципу случайной выборки, т. е. обследовать всех, кого возможно.

В случае если оценка прогностичности отобранных методик проводится на основе результатов обследования полярных групп, то экспериментальная работа осуществляется в следующем порядке.

– На основании четко определенных критериев успешности деятельности формируются две группы работников: успешных и неуспешных, причем обследуемые группы должны быть сопоставимы по возрасту и полу.

– На завершающем этапе проводится математико-статистический анализ результатов.

Для реализации данного подхода на практике в первую очередь необходимо обеспечить репрезентативность выборки, для чего потребуется достаточно большая группа людей. Говоря о численности групп, следует вспомнить те требования, о которых говорилось выше (см. главу 8). Исходя из этих требований можно утверждать, что для обеспечения статистической достоверности результатов обе сравниваемые между собой группы успешных и неуспешных работников должны быть как минимум по 30 человек. Однако реально обеспечить такой объем выборки удается крайне редко, хотя бы потому, что руководство организации или предприятия вряд ли будет мириться с таким большим количеством неуспешных работников. Поэтому, несмотря на то что обследование полярных групп является идеальным вариантом, чаще всего при проведении пилотажного исследования в ходе разработки системы ППО разработчики обследуют случайную выборку работников предприятия.

При проведении пилотажного исследования по принципу случайной выборки, как правило, обследуются все работники, выполняющие одни и те же профессиональные обязанности, т. е. представители одной и той же профессии. В этом случае порядок работы выглядит следующим образом:

– проводится обследование работников предприятия, выполняющих профессиональные обязанности по должности, в отношении которой предполагается проводить профессиональный психологический отбор;

– на завершающем этапе проводится математико-статистический анализ полученных результатов.

Вместе с тем следует отметить, что бывают случаи, когда ни один из двух названных выше способов проведения пилотажного исследования не подходит для их осуществления в конкретных условиях. Например, это происходит тогда, когда разрабатывается система профотбора на вновь создаваемые профессии. Кроме этого, бывают ситуации, когда отобрать необходимое для проведения пилотажного исследования количество людей не представляется возможным. В этом случае психологу приходится моделировать выборку обследуемых; тогда этапность экспериментального исследования будет такой:

– на первом этапе моделируется экспериментальная выборка обследуемых и проводится психологическое тестирование;

– на втором этапе проводится математико-статистический анализ полученных результатов.

Наиболее сложным этапом в этом варианте проведения пилотажного исследования является этап моделирования экспериментальной выборки, поскольку от него зависит точность оценки соответствия отобранных методик условиям выполнения задач ППО. При моделировании экспериментальной выборки следует учитывать предполагаемый возраст людей, которым предстоит выполнять соответствующие профессиональные обязанности, а также их пол и образование. При этом желательно, чтобы профессиональная деятельность, которую они реально выполняют, предъявляла очень близкие по содержанию требования к наличию у работников соответствующих профессионально важных качеств, необходимых для успешной работы на новой должности. Также желательно учесть, что объем моделируемой выборки должен быть не менее 55–60 человек, а в идеальном случае – не менее 100.

Следует отметить, что все варианты проведения пилотажного исследования по оценке прогностичности методик, которые предполагается использовать в мероприятиях ППО, имеют весьма схожий этап – математико-статистический анализ полученных результатов. Однако содержание и порядок осуществления данного этапа могут быть различными. Рассмотрим этот этап более подробно.
^

Математико-статистический анализ результатов проведения пилотажного исследования

При проведении математико-статистического анализа результатов пилотажного исследования, выполненного на основе тестирования полярных (контрастных) групп, как правило, не осуществляется оценка нормального распределения результатов, поскольку предполагается, что результаты двух обследованных групп будут существенно различаться. Поэтому, прежде всего, ведется поиск отличий в результатах выполнения тестов представителями изучаемых групп. Для этого чаще всего используется t- критерий Стьюдента. При этом сначала оценивается степень различия в целом по группам, а затем – в зависимости от возраста и пола. В ходе этого анализа выявляются методики, по которым обследуемые группы имеют достаточно четкие различия, а также те, по которым достоверных различий обнаружено не было. Вполне естественно, что методики, подчеркивающие различия между сравниваемыми группами успешных и неуспешных работников, должны быть включены в перечень методик, рекомендованных для использования в мероприятиях профотбора.

Несколько сложнее принимается решение об использовании в мероприятиях профотбора методик, которые не позволили обнаружить различия в сравниваемых группах работников. На что следует обращать внимание при анализе результатов таких тестов? Прежде всего – на наличие в перечне проверяемых тестов двух или трех методик, оценивающих одно и то же психологическое качество. Если это было сделано и по одним методикам были установлены различия, а по другим – нет, то в перечне методик, которые будут рекомендованы для профотбора, оставляются только те методики, которые подтвердили существование различий между сравниваемыми группами. Соответственно те методики, по которым различия не выявили, должны быть исключены из списка.

Если же для изучения какого-то профессионально важного качества в перечень методик, проверяемых в ходе пилотажного исследования, была включена лишь одна методика и по результатам ее выполнения не было обнаружено различий между сравниваемыми группами успешных и неуспешных работников, то принятие решения о целесообразности ее использования в мероприятиях профотбора еще более усложняется. Во-первых, оценивается степень важности данного профессионально важного качества в общей структуре ПВК. Если это качество является второстепенным, то в некоторых случаях данным качеством можно пренебречь и исключить тест, не позволивший установить различия между группами, из перечня методик, рекомендуемых для использования в мероприятиях профотбора. Во-вторых, оценивается величина отклонения полученного t- критерия от величин достоверных различий. Как известно, в статистике существуют самые разные уровни достоверности значений, характеризующие степень вероятности того или иного события. По мнению большинства авторов, разрабатывающих методологию использования различных приемов статистического анализа в психологии, в качестве достоверных показателей t- критерия Стьюдента, характеризующих различия между двумя группами людей, следует брать те, которые соответствуют не менее 95 %-ному уровню вероятности, т. е. р ‹ 0,05. Соответственно показатели ниже этой величины следует относить к категории недостоверных.

Такая точка зрения вполне обоснованна в отношении различных психологических исследований. Однако при разработке системы ППО следует учитывать характер того или иного профессионально важного качества. Так, существуют такие ПВК, которые могут проявиться в полной мере только при выполнении реальной профессиональной деятельности. Например, многие методики по оценке стрессовой устойчивости человека демонстрируют наилучшую результативность в дифференциации испытуемых по развитию данного качества лишь тогда, когда испытуемые находятся в ситуации стресса. Поэтому всегда следует иметь в виду, что при проведении психологического тестирования обследуемый находится в условиях только тестирования, а не реальной деятельности. Именно данное обстоятельство определяет необходимость оценивать величину отклонения полученного показателя t- критерия от величин, характеризуемых как достоверно значимые. В определенных случаях показатели t- критерия, даже не достигнувшие уровня достоверно значимых показателей, могут быть оценены как вполне достаточные. Например, при сравнении результатов двух групп по 30 человек в каждой достоверно значимым считается показатель t- критерия от 2,042 и более, но как относиться к t = 1,711 или 1,800? Данная величина показателя t- критерия не достигает уровня значимости, при котором в психологии принято говорить о высокой достоверности. Однако с точки зрения статистики она является вполне значимой. В случае сопоставления результатов психологического обследования двух сравниваемых между собой групп по 30 человек в каждой величина t- критерия более 1,697 и менее 2,042 свидетельствует о том, что существует 90 % (р ‹ 0,1) вероятности того, что эти группы действительно имеют различия в выраженности соответствующей психологической характеристики. В этом случае в психологии принято говорить о существующих тенденциях. Поскольку была выявлена тенденция, то отказываться от использования или, наоборот, рекомендовать к использованию в мероприятиях профотбора такую методику без проведения дополнительного анализа не представляется возможным.

Дальнейший анализ заключается в выявлении взаимосвязи между показателями теста и показателями успешности деятельности. Для этого используется корреляционный анализ – метод математической статистики, позволяющий обнаружить связь между отдельными характеристиками одного объекта. В данном случае предполагается, что если успешность деятельности действительно обусловлена какими-то психологическими качествами, то между показателями развития этого качества (оцениваемого с помощью тестов) и показателями успешности деятельности должна быть тесная взаимосвязь. Если в ходе корреляционного анализа такая взаимосвязь была установлена для показателей теста, по которому была выявлена лишь тенденция к достижению значимых различий (т. е. различия в показателях по этой методике между двумя группами соответствуют р ‹ 0,1), то он может использоваться в мероприятиях профотбора. Если же коэффициент корреляции не достиг уровня достоверной значимости, то использовать такой тест в мероприятиях профотбора не рекомендуется.

Следует отметить, что результаты корреляционного анализа выступают в качестве решающих при оценке того, какую из двух или трех методик, характеризующих уровень развития одного и того же психологического качества, целесообразно использовать в структуре мероприятий ППО. Как было сказано выше, при проведении пилотажного исследования можно, а иногда вполне целесообразно использовать несколько психологических методик (параллельных тестов), оценивающих одно и то же качество, поскольку на разных выборках и в разных условиях психологические тесты иногда демонстрируют разные надежность и валидность. Если в ходе математико-статистического анализа результатов пилотажного обследования было установлено, что параллельные тесты имеют равные показатели при сопоставлении полярных групп, то предпочтение отдается той методике, которая имеет более высокие показатели в корреляционном анализе. При этом предполагается, что все коэффициенты (и t- критерий, и коэффициент корреляции) должны достигать уровня достоверной значимости, в противном случае нет смысла сравнивать между собой методики. Всегда следует помнить, что первоочередное внимание при отборе методик уделяется показателям статистической достоверности.

В отличие от предыдущего варианта проведения пилотажного исследования при обследовании случайной выборки работников предприятия или организации с помощью математико-статистического анализа результатов прежде всего оценивается близость полученных показателей тестов к нормальному распределению. Если это требование соблюдается, то можно утверждать, что используемая методика позволяет ранжировать людей в зависимости от уровня развития психологического качества, для оценки которого она и предназначена. В случае если нормального распределения не получено, то вопрос о возможности использования проверяемого теста в структуре мероприятий профотбора ставится под сомнение. Поэтому дальнейший анализ сводится к оценке характера распределения полученных показателей теста.

Как правило, при анализе распределения показателей теста можно столкнуться с одним из трех вариантов:

– распределение, близкое к нормальному;

– вершина графика распределения смещается вправо или влево (правая или левая асимметрия);

– график распределения имеет два и более пика.

Первый вариант распределения является идеальным и, как было отмечено выше, снимает на данном этапе анализа все вопросы о целесообразности использования теста в структуре мероприятий профотбора.

Во втором варианте, когда отмечается левая или правая асимметрия показателей, необходимо учитывать конструктивные особенности теста и особенности выборки обследуемых. Например, при высоком уровне развития ПВК у большинства обследуемых будет встречаться правая асимметрия. Часто данное явление наблюдается в случае, если на этапе приема на работу проводился какой-либо отбор. Поэтому, столкнувшись с правой асимметрией, следует проанализировать опыт работы обследуемых, эффективность их деятельности, уровень профессиональной подготовленности и др. Как правило, подобный анализ позволяет обнаружить закономерность возникновения асимметрии, обусловленной особенностями выборки обследуемых.

Вместе с тем асимметрия может быть обусловлена и конструктивными особенностями теста. С этой точки зрения следует проанализировать возможность устранения данной асимметрии с помощью разработки нормализованной шкалы, т. е. такой шкалы, которая формируется при переводе «сырых» показателей в стандартные (стэны, станайны и др.). Например, при использовании нормализованной шкалы были получены асимметричные результаты. В этом случае предпринимается попытка внести коррективы в существующую нормализованную шкалу. Если асимметрия была получена на «сырых» показателях, то предпринимается попытка ее устранения с помощью разработки соответствующей стандартной нормализованной шкалы.

Далее решение о применении теста в мероприятиях профотбора принимается при взаимном сопоставлении результатов анализа особенностей выборки и конструктивных особенностей теста. Однако если попытки создать нормализованную шкалу или внести изменения в уже существующую шкалу не увенчались успехом и асимметрию компенсировать не удается, то рекомендовать такой тест к использованию в мероприятиях профотбора все же нецелесообразно.

Один из самых сложных случаев анализа распределения – случай с наличием нескольких пиков на графике распределения показателей теста. Это так называемый вариант распределения с отрицательным эксцессом, который свидетельствует о смещении большинства результатов к полярным значениям. У этого распределения могут быть свои объяснения. Во-первых, все те же особенности выборки. Однако если отрицательный эксцесс действительно вызван особенностями выборки, то он должен быть присущ не одной методике, а сразу нескольким. Именно такое явление может отмечаться при анализе результатов, полученных при обследовании хорошо подобранных полярных групп. Если же отрицательный эксцесс присущ только одной или двум методикам, то, скорее всего, он обусловлен конструктивными особенностями теста. В этом случае следует или отказаться от использования теста в мероприятиях профотбора, или увеличить численность выборки обследуемых и провести повторное обследование испытуемых.

После анализа характера распределения показателей тестов при проведении пилотажного обследования случайной выборки осуществляется корреляционный анализ. На данном этапе отсеиваются те методики, которые не имеют достоверно значимых корреляционных связей с показателями успешности профессиональной деятельности.

На завершающем этапе математико-статистического анализа результатов пилотажного исследования, проведенного на случайной выборке, оценивается способность тестов дифференцировать всех обследованных в отношении критериев успешности деятельности. Для этого среди обследуемых выделяются три группы лиц – с высокими, средними и низкими показателями успешности. Далее производится сравнение результатов тестов между группами с высокими и низкими показателями успешности. Тесты, по которым были получены достоверные различия между сравниваемыми группами, и тесты, которые показали наличие позитивных тенденций, могут рассматриваться как рекомендуемые для включения в перечень методик, планируемых для использования в мероприятиях профотбора.

Однако чаще всего при обследовании случайной выборки психологи сталкиваются с ситуацией, когда не представляется возможным сформировать контрольные группы с высокими или низкими показателями успешности деятельности. Это бывает обусловлено недостаточностью объема выборки. Поэтому возможно применение обратного анализа. С этой целью все обследуемые разделяются на несколько групп в отношении показателей какого-то одного теста, после чего анализируются показатели успешности деятельности между выделенными группами. В случае если между группами лиц обнаружены различия в показателях успешности деятельности (хотя бы на уровне закономерностей, т. е. р ‹ 0,1 или выше), то тест может быть рекомендован к использованию в мероприятиях профотбора.

В ходе пилотажного исследования теста аналогичная работа должна быть проделана в отношении каждого проверяемого. Кроме этого, следует также учитывать, что в итоговом перечне методик, рекомендованных для решения задач профотбора, не должно быть параллельных тестов. Поэтому, если в пилотажном исследовании используются параллельные методики, на заключительном этапе следует выбрать из них те, которые показали наилучшую прогностичность.

Еще один вариант пилотажного исследования – обследование экспериментальной моделируемой выборки. Этот вариант проводится в ситуациях, когда не представляется возможным обследовать людей, выполняющих профессиональную деятельность, на которую планируется проводить отбор. Самым существенным недостатком в данной ситуации является отсутствие показателей успешности деятельности. В результате получить высокодостоверные результаты анализа, характеризующие прогностичность оцениваемых тестов, не представляется возможным. Поэтому, какие бы ни были получены результаты, они могут быть расценены как предварительные и после накопления в ходе практического использования тестов материала весь анализ должен быть проведен повторно и в полном объеме. Тем не менее и при этом варианте проведения пилотажного исследования используются методы математико-статистического анализа. Принято считать целесообразным проведение анализа распределения показателей используемых тестов. Методики, по результатам которых показатели обследуемых не соответствуют нормальному распределению, как правило, исключают из перечня методик, рекомендованных для использования в ППО.

Завершая разговор об анализе результатов пилотажного исследования, являющегося одним из этапов разработки системы ППО, следует подчеркнуть, что в представленном обзоре рассмотрены лишь наиболее распространенные приемы и способы анализа результатов обследования экспериментальных групп. В конкретных условиях создания системы профессионального психологического отбора могут быть использованы и другие методы анализа. Поэтому психолог, решающий задачи профотбора, должен не только знать психологические тесты, но и хорошо разбираться в математической статистике.

Пробно поисковый тип исследования, которое проводится до основного и является его упрощенной формой. В социальной психологии П. и. (рабочий термин «зондаж») применяется для установления необходимого объема выборки, уточнения содержания и числа… …

Пилотажное исследование - пробно поисковое исследование проводится до основного и является его упрощенной формой; применяется для установления необходимого объема выборки, уточнения содержания анкет, тестов. Пилотажное исследование важнейшая часть в планировании любого… … Исследовательская деятельность. Словарь

ПИЛОТАЖНОЕ ИССЛЕДОВАНИЕ - пробно поисковое исследование, которое проводится до основного и является его упрощенной формой; применяется для установления необходимого объема выборки, уточнения содержания анкет, тестов. Пилотажное исследование важнейшая часть в планировании… … Профессиональное образование. Словарь

ПИЛОТАЖНОЕ ИССЛЕДОВАНИЕ - (pilot study) мини версия запланированного эксперимента или наблюдения, используемая для проверки материально технического обеспечения и проекта. Так, опросный список может охватывать малую часть предложенной выборки населения, чтобы посмотреть,… … Большой толковый социологический словарь

Пилотажное исследование - (фр. piloter – вести самолёт) – предварительное исследование, нередко предшествующее основному и позволяющее более успешно планировать последнее …

ПИЛОТАЖНОЕ ИССЛЕДОВАНИЕ - (PILOT STUDY) Перед основной исследовательской стадией стадией сбора данных рекомендуется проверить программу исследования, прежде всего техники сбора данных, в небольшом пилотажном исследовании. Последнее позволяет в случае необходимости… … Социологический словарь

Пилотажное исследование - мелкомасштабная проверка мер и процедур исследования, преследующая цель заблаговременно выявить все слабые места в его плане или инструментарии … Социологический словарь Socium

пилотажное исследование (зондаж, поисковый эксперимент, претест) - пробно поисковое исследование, проводящееся до начала активного применения разработанного методического аппарата с целью его доработки, уточнения. В процессе п.и. устанавливается необходимый обьем выборки, уточняются детали анкет, тестов,… … Энциклопедический словарь по психологии и педагогике

Пробное (пилотажное) исследование - предназначается для проверки надежности методик и процедур основного исследования, схемы организации и проведения самого обследования и предшествует ему. В процессе П. и. вырабатывается наиболее оптимальный вариант (проект) методики организации и … Социологический справочник

исследование пилотажное - пробно поисковый тип исследования, кое проводится перед основным и является его упрощенной формой. В психологии социальной исследование пилотажное (рабочий термин зондаж) применяется для установления требуемого объема выборки, уточнения… … Большая психологическая энциклопедия

Разведывательное исследование часто называют также пилотажным ис следованием. Хотя правильнее считать его самостоятельным видом социоло гического исследования. Разведывательное и пилотажное исследования по хожи в двух аспектах:

♦ Цель - получить примерные данные о том или ином явлении либо апро­бировать применение методики к более широкомасштабным исследованиям.

« Объект - для проведения того и другого исследования нужна незначитель­ная совокупность объектов, поэтому они проводятся в ограниченные сроки.

Но в отличие от разведывательного, пилотажное исследование предназ­начено для отработки технических процедур и приемов, чаще всего - для ап­робации вопросника. Предварительная проверка опросного инструментария столь же важна для успеха исследования, считают Дж. Мангейм и Р. Рич, как пробная поездка - для успешной покупки подержанного автомобиля. Она помогает обнаружить проблемы, которые в полной мере могут проявиться только в полевых условиях.

При проведении пилотажного исследования необходимо учитывать правила:

4 Объем выборки в пилотажном исследовании не имеет четкого методи­ческого обоснования. Обычно полагают достаточным опросить около 30 рес­пондентов. Важно только, чтобы они представляли все существенные кате­гории планируемого объекта исследования".

Малая выборка в пилотаже вовсе не обязательно должна быть репре­зентативной по отношению к генеральной совокупности. Куда важнее дру­гое ее качество - разнообразие: она должна включать те группы респонден­тов, которые способны реагировать на инструментарий по-разному. Если ма­лообразованные люди составят в будущей выборке незначительную долю, их необходимо опрашивать в первую очередь именно потому, что они могут от­вечать на ваши умные вопросы совсем не так, как ожидается.

« В пилотажную выборку включают тех респондентов, которые представ­ляют наиболее важные для темы опроса социально-демографичекие призна­ки (пол, возраст, образование, стаж работы, содержание труда и т.п.).

В социальной психологии пилотажное исследование (рабочий термин «зондаж») применяется для установления необходимого объема выборки, уточнения содержания и числа вопросов анкеты, времени опроса и др. В за­рубежной и отечественной практике применения тестов (тестологии) пило­тажа (рабочий термин - «претест») служит средством выявления некоторых стандартов основного теста.

В социологии пилотаж проводится до основного исследования и высту­пает способом проверки обоснованности гипотез и задач, а также професси­онального уровня и методической отработанности инструментария. Пило­таж помогает оценить правильность модели выборки и внести в нее в случае необходимости соответствующие исправления; уточнить некоторые харак­теристики объекта и предмета исследования, обосновать финансовые расхо­ды и сроки проведения главного исследования. Пилотаж полезен также для тренировки группы интервьюеров (анкетеров).

Современные социологи придерживаются правила: прежде чем отдавать анкету в большой тираж, ее целесообразно опробовать в малотиражном (пи­лотажном) опросе, чтобы уточнить, правильно ли понимают вопросы рес­понденты, не слишком ли она длинна и утомительна, сколько времени за­нимает ее заполнение (или интервью), а в случае почтовой рассылки - сколь­ко дней проходит с момента отправления анкеты до получения ответов.

Шмерлина И.А. Процедурные начала исследовательской социологии. Учеб. пособие // http:// www.unn.ac.ru/ras/fl4/k2/courses/shmern.htm

Пилотажное исследование представляет собой исследование по «укорочен­ному» плану - в нем используются малые выборки, не в полной степени про­водится сбор информации, полученная информация анализируется только пс наиболее значимым критериям. Если пилотажное исследование проводится в цикле исследования хорошо изученной проблемы, оно позволяет «отточить» инструментарий исследования, выявить и устранить его дефекты и дефекты подходов к математическому анализу. Проведение пилотажного исследования в этом случае позволяет избежать сбора информации по «пустым» вопросам, ответы респондентов на которые не подлежат анализу, или неадекватно (не­однозначно) интерпретируются самими респондентами. Для поискового ис­следования (исследования в сфере недостаточно разработанной) пилотажное исследование предоставляет информацию для уточнения многих пунктов про­граммы, что в дальнейшем обеспечивает немалую экономию ресурсов.

Пилотаж полезен для: а) тестирования инструментария, в котором исследо­ватель вполне уверен, б) усовершенствования инструментария в ситуации, когда предмет исследования хуже известен исследователю. В первом случае инстру­ментарий проходит предварительное испытание в своем окончательном вари­анте. Во втором исследователь может захотеть поэкспериментировать с разны­ми вариантами (макетами) инструмента, чтобы узнать, какой из них удобнее е работе. Предварительное тестирование такого типа может включать в себя:

1.Тестирование различных словесных формулировок и форм вопросов.

2.Опробование анкеты, предназначающейся для самостоятельного запол­нения респондентом, в личном интервью, чтобы в процессе живого обще­ния с респондентом выявились возможные трудности ее заполнения.

3.Употребление открытых вопросов для выявления типичных ответов, которые затем можно будет включить в набор ответов на закрытые вопросы, с тем чтобы использовать последние в окончательном варианте.

4.Тестирование различных видов инструментария (почтовых анкет, очных интервью, телефонных интервью) с целью определения годности каждого из них 2 .

Рис. 28. Тестирование различных видов инструментария

Пилотаж можно считать генеральной репетицией к главному исследованию. Он позволяет сделать первые выводы о том, насколько успешно прошел этал подготовки к нему, какими могут быть ожидаемые результаты. В ходе такогс опроса собирается методическая информация, т.е. информация о качестве раз­работанного инструментария. Проверяются все организационные и методичес­кие условия будущего исследования, и прежде всего: доступность необходимых

Мангейм Дж.Б., Рич Р.К. Политология. Методы исследования. М.: Весь мир, 1997. С. 211-212.

документов, отношение респондентов к опросу и их реакция на вопросы анке­ты. Оценивая качества методики опроса, социолог регистрирует любые затруд­нения респондента, вызванные техникой заполнения, непониманием смысла вопросов, отдельных слов. Учитываются также все замечания и наблюдения ан­кетеров о методических недостатках, которые им удалось обнаружить.

Вернувшись с опроса, лучше сразу же сесть за свою анкету, просмот­реть ответы на все вопросы, отметить самые проблемные, а потом схо­дить на объект и пообщаться с респондентами.

Пилотаж проводится в двух вариантах. В первом - всю группу респон­дентов приглашают в отдельную комнату, где на столах разложены анкеты. Респондентов «вводят» в ситуацию пилотажа, т.е. объясняют его цели и за­дачи, инструктируют по технике заполнения анкеты и просят высказать после заполнения критические замечания, поговорить о неясностях и о тех вопро­сах, которые затрудняют работу с анкетой. Заполненные анкеты опускаются в опечатанные урны, после чего начинается групповое обсуждение содержа­ния опроса в целом. Показателями, позволяющими оценить пригодность анкетного вопроса, выступают число неответивших на вопрос и характер распределения ответов по шкале, используемой в вопросе.

Второй вариант пилотажного опроса предполагает приглашение группы из 3-4-х респондентов для обсуждения анкеты по мере ее заполнения: оп­рашиваемые делают пометки о качестве вопросов. Перед началом пилотажа их вводят в ситуацию экспертного опроса, объясняя, что содержание отве­тов не анализируется, так как опрос преследует только методические цели.