Психодіагностика - Галян І.М. - Технологія конструювання тесту

Пріоритетним у психодіагностиці є дослідницький діагностичний метод, де ключову роль відіграють тести: психологічного оцінювання здібностей (інтелектуальних функцій), умінь і навичок (координація, точність рухів), на сприймання (сприйняття запахів, слів, речень), опитувальники (анкети, прямі питальники), естетичні (переваги в музиці, мистецтві), проективні (проекція особистісних рис за неструктурованими ознаками), ситуаційні (поведінка в ситуації), ігрові методики (соціально-психологічні тренінги, діяльнісні або рольові ігри), фізіологічні (фізіологічні проби), фізичні (вага, розмір грудної клітки, зріст), випадкові спостереження (поведінка у процесі обстеження, стороння і додаткова інформація) та ін.

Усі психологічні методики поділяють на суб'єктивні, призначені для спостереження суб'єкта за собою як за об'єктом (питальники, анкети, автобіографії тощо); об'єктивні, що передбачають оцінювання через спостереження за зовнішньою діяльністю внутрішніх станів особистості; проективні (непрямі), які ґрунтуються на аналізі реакцій досліджуваних на уявний "особистісно-нейтральний" стимул.

Кожні методика і тест перед використанням мають бути сконструйованими, перевіреними, адаптованими.

Технологія конструювання тесту

При конструюванні тестів (методик) слід дотримуватися загальних вимог, а на практиці зважати на специфіку кожного з них. При конструюванні особистісних опитувальників використовують дедуктивну (змістову), індуктивну й екстернальну стратегії.

Дедуктивна (змістова) стратегія ґрунтується на теоретичних уявленнях про особистість, її структуру і функціонування. Розробник тесту конструює завдання, з допомогою яких оцінюватиме психологічний конструкт.

Індуктивна стратегія передбачає застосування факторного аналізу або інших статистичних процедур, заснованих на кореляційних зв'язках. Головна особливість індуктивної стратегії полягає в тому, що її дані окреслюють діагноз досліджуваного.

Екстернальна стратегія є емпіричною і ґрунтується на порівнянні контрастних груп.

Багато розробників особових опитувальників комбінує ці стратегії, намагаючись поєднати можливості оцінювання особистості шляхом дедуктивної стратегії з використанням різноманітних процедур індуктивної стратегії.

Багатоетапним є конструювання тесту (методики), що передбачає визначення кількості завдань (специфікація тесту), розроблення завдань, оформлення тесту, розроблення інструкції, пілотажне дослідження, аналіз завдань.

Визначення кількості завдань (специфікація тесту)

Перед створенням тесту з'ясовують його мету, розроблюють специфікацію (визначення кількості завдань).

Найзручніше зробити це у вигляді таблиці, у якій по горизонталі розташовують змістові сфери,- що передбачається виміряти, по вертикалі - їх маніфестації, тобто шляхи виявлення змістових сфер.

Наприклад, при створенні опитувальника подружнього статусу Дж. Руст і С. Голомбок послуговувалися опитуваннями експертів (сімейними терапевтами і консультантами), а також даними, отриманими від клієнтів цих фахівців. Експертів просили назвати сфери взаємин між чоловіком і жінкою, які вони вважали найважливішими для створення гармонійного шлюбу. Інформація від клієнтів дала змогу визначити складні ситуації у сімейному житті, які подружжя хотіло б змінити. На цій основі виокремили такі змістові сфери, як "спільні інтереси і міра залежності-незалежності", "вербальна і невербальна комунікація" , "довіра і повага" тощо. Побудова переліку вимірюваних властивостей залежить від мети тесту. При визначенні кількості завдань маніфестацій (виявів) важливо виокремити різні форми їх реалізації. Так, при конструюванні опитувальника подружнього статусу "установки і почуття, що виявляються у ставленнях" розглядалися як маніфестації "вербальні і невербальні комунікації" подружжя.

Зазвичай на кожній осі розміщують від 4 до 7 категорій. Менша їх кількість звужує процес конструювання опитувальника, більша - обтяжує. У результаті створюють решітку, кількість осередків у якій дорівнюватиме кількості запланованих для вивчення параметрів, помноженій на кількість їх поведінкових маніфестацій (табл. 2.1).

Таблиця 2.1. Специфікація (визначення кількості завдань) опитувальника подружнього статусу

Розробляючи опитувальники, як правило, створюють решітку розміром від 16 до 25 осередків (наприклад, 4x4, 4x5,5x4 або 5 х 5), оскільки вона є ідеальною для тесту, котрий можна сконструювати, пред'явити і обробити. Потім визначають кількість завдань для кожного з осередків, враховуючи важливість одного з параметрів щодо іншого або інших. Наприклад, змістовим сферам А і В слід приписати 40-відсоткове значення, а С і В - 10%. Одночасно кожній маніфестації А, В, С і 2> приписують 25-відсоткове значення. Загалом відсоткове значення всіх змістових сфер (по горизонталі) і всіх маніфестацій (по вертикалі) повинно дорівнювати 100%. Розташування відсотків визначає кількість завдань, що належать до окремого осередку. Після цього з'ясовують кількість завдань, яку слід включити в тест. При цьому враховують розмір решітки і час, передбачений для розв'язання завдань. Дослідник повинен забезпечити надійність тесту, що вимагає збільшення кількості завдань, і мінімізувати кількість завдань для того, щоб досліджуваний зміг концентрувати увагу під час обстеження. Оптимальним варіантом забезпечення надійності опитувальника є створення 20 завдань, виконання яких займає не більше 10 хв. Під час визначення кількості завдань тесту зважають на особливості досліджуваного контингенту. При пілотажному дослідженні, яке проводить розробник, кількість завдань попереднього варіанта тесту повинна бути принаймні на 50% більшою за ту, що буде включеною в остаточну версію.

Після визначення відсоткового значення кожного осередку решітки і встановлення кількості завдань для пілотажної версії тесту підраховують завдання для кожного осередку. У табл. 2.2 решітки містять кількість завдань для кожного осередку, яка необхідна для пілотажного дослідження за допомогою опитувальника з 80 питань.

Таблиця 2.2. Визначення відсоткового значення змістових сфер маніфестацій і кількості завдань опитувальника

Кількість завдань для кожного осередку підраховують шляхом множення кількості усіх завдань, призначених для вимірювання певної властивості особистості, на відсоткове значення її поведінкових виявів. Наприклад, кількість завдань для лівого крайнього осередку решітки дорівнює 25% до 32 завдань, що становить 8 завдань - 25/100 х 32 = 8. Кількість завдань для кожного осередку округлюють.

Розроблення завдань

Кожне завдання передбачає тільки одне чітке просте питання або сформульоване одне твердження, не допустимі завдання із двозначним формулюванням. Відповіді також мають бути простими. Обстежувані не повинні здогадуватися, для вимірювання чого призначене завдання. Вони повинні охоплювати конкретні, а не загальні аспекти поведінки. Наприклад, запитання "Чи подобається Вам спорт?" краще сформулювати конкретніше: "Ви регулярно граєте в яку-небудь спортивну гру?".

Слід уникати вживання таких слів, як "часто", "рідко" тощо, оскільки кожен розуміє їх по-своєму. Також слід уникати термінів на позначення почуттів, вибудовувати завдання у контексті поведінки. Наприклад, запитання "Чи подобається Вам читання художньої літератури?" краще замінити на "Чи читаєте ви художню літературу постійно? ".

Усі запропоновані варіанти відповідей досліджуваний повинен сприймати як можливі. Відповідь, сприйнята як явно неправильна, матиме малу вірогідність вибору.

Після розроблення завдань психолог повинен ще раз оцінити їх формулювання, переконатися, що всі вони зрозумілі і недвозначні. Для перевірки залучають двох-трьох експертів.

В особистісних опитувальниках, як правило, використовують три типи завдань: дихотомічні, трихотомічні і завдання з рейтинговими шкалами. Дуже поширені завдання з альтернативним вибором (дихотомічні), зрозумілі, легкі і зручні для оброблення. Вони потребують найменше часу для відповіді. Недоліками завдань з альтернативним вибором є незадоволенння запропонованою альтернативою, малий вибір варіантів відповіді. Перевага трихотомічних завдань ("так", "не знаю", "ні") в тому, що обстежувані можуть краще виразити себе, недоліком - актуалізування установки на вибір середнього варіанта (відповіді "незнаю", "інколи" тощо).

Розробляючи завдання, не варто пропонувати більше семи варіантів відповідей в опитувальниках, де є рейтингові шкали. Потрібно забезпечити достатню кількість градацій відповіді, щоб обстежувані могли адекватно виразити себе. В опитувальнику бажано використовувати тільки один тип завдань.

При розробленні завдань особистісних опитувальників важливо враховувати ймовірність актуалізації настановчих факторів. При цьому можливі такі види установок: на згоду; на соціально схвалювану відповідь; на невизначені відповіді; на крайні відповіді.

Установка на згоду може бути подолана за допомогою запровадження зворотних завдань, кількість яких повинна приблизно дорівнювати кількості прямих завдань. Наприклад, твердження "Я задоволений стосунками з матір'ю" може доповнювати протилежне - "Я не задоволений стосунками з матір'ю". При включенні зворотних завдань необхідно переконатися, що вони мають таке саме значення, що і завдання, від яких вони були утворені. Також слід уникати подвійних заперечень.

Установку на соціально схвалювану відповідь мінімізує виключення з опитувальники завдань, відповіді на які оцінюють обстежувані з погляду їх соціальної бажаності-небажаності. За неможливості це зробити потрібно сформулювати непряме питання, для того щоб спонукати до відповіді, яка б не просто передавала бажання обстежуваного зарекомендувати себе краще. Наприклад, твердження "Люди постійно налаштовані проти мене" (виявлення параноїдальних тенденцій) можна сформулювати: "Є люди, яким я повністю довіряю". Ефективною буде адресована досліджуваному вимога відповідати на кожне питання, не замислюючись довго і не аналізуючи кожне завдання.

При розробленні опитувальників дослідники використовують спеціальні завдання, призначені для виявлення осіб, схильних до соціально схвалюваних відповідей. Ці завдання складаються з питань, що стосуються незначної неправди, до якої вдаються всі люди ("Я ніколи не брешу" або "Я завжди приходжу своєчасно на зустрічі і побачення"). Осіб, які набрали велику кількість балів за такою шкалою, розглядають як таких, що дають соціально схвалювані відповіді. Тому їхні відповіді не можна розглядати як достовірні.

Установку на невизначені відповіді (відповіді середньої категорії), якщо не можна їх вилучити з опитувальника, долають за допомогою інструкції з вимогою до досліджуваного якомога рідше вдаватися до таких відповідей, а також формулювання питань, що не призводять до розсіювання уваги чи вибору найлегшої відповіді. Завдання формулюють так, щоб вибір не припадав на відповіді середньої категорії. Якщо опитувальник передбачає використання виключно дихотомічних завдань, то у процесі пілотажного дослідження можна дати завдання досліджуваним відзначати ті з них, які спричинили труднощі і вимагали невизначеної відповіді, щоб їх усунути.

Установка на крайні відповіді виявляється у завданнях із рейтинговими шкалами. Перевага рейтингових шкал, що уможливлюють досліджуваному право вибору, нівелюється дією установки на крайні відповіді, тому їх краще уникати.

Отже, найсприятливішими для вияву вказаних установок є невизначені та неоднозначні завдання. У процесі роботи над опитувальником завдання переформульовують, змінюють порядок їх пред'явлення, тому потрібно вести картотеку завдань, що дасть змогу працювати окремо над кожним з них. Можна також послуговуватись комп'ютерним банком завдань.

Оформлення тесту

Від оформлення і форми репрезентування методики, що визначається як її очевидна валідність, залежить її сприйняття досліджуваними. Опитувальник містить блок основної інформації, в якому є його назва, питання, що стосуються імені, статі, віку, освіти і деяких інших необхідних для дослідника даних. Обов'язково вказують дату заповнення опитувальника.

При компонуванні тексту опитувальника слід:

1) пронумерувати кожне завдання;

2) записати рядки на сторінці так, щоб вони були короткими і містили не більше 10-12 слів;

3) розташувати завдання по прямій вертикальній смузі зверху вниз у лівому кутку сторінки;

4) подати варіанти відповідей у вигляді прямої вертикальної смуги зверху вниз у правому кутку сторінки; забезпечити відповідність між кожним завданням і варіантами відповіді на нього (наприклад, за допомогою пунктирної лінії від колонки завдань до варіантів відповідей);

5) відокремити одне від одного завдання, використовуючи вільний простір;

6) згрупувати однакові завдання;

7) розбірливо надрукувати опитувальник.

Дизайн опитувальника формує сприйняття його як формального документа або наближає до гри (шрифт, колір паперу, розташування завдань).

Результати обстеження (різні форми їх представлення) не включають в опитувальник, хоча інколи у бланку, з яким працює досліджуваний, є підсумковий блок для заповнення психологом.

Розроблення інструкції

Вона повинна бути чіткою, доступною для розуміння, містити рекомендації, як вибирати відповідь і позначати її в опитувальнику. Також уміщують додаткову інформацію, яку розробник хоче повідомити обстежуваному (наприклад, "відповідайте так швидко, наскільки це можливо" або "відповідайте на кожне питання щиро, це дуже важливо для того, щоб ми мали нагоду надати вам необхідну допомогу"). Особливо виокремлюють інформацію, яка сприятиме ефективній роботі досліджуваного, наприклад про дотримання конфіденційності.

Пілотажне дослідження

Це дослідження спрямоване на виявлення слабких місць в опитувальнику, психологічних особливостей досліджуваних. Аналіз його результатів дає змогу остаточно сформулювати завдання. Наприклад, якщо опитувальник призначений для обстеження алкоголезалежних осіб, то пілотажне дослідження можна провести у спеціальних консультативних центрах, клініках. Коли опитувальник використовуватимуть стосовно дорослих і психічно нормальних представників популяції, необхідно сформувати репрезентативну групу досліджуваних, що складніше, ніж підібрати специфічну. При проведенні пілотажного дослідження не варто складати вибірку, оскільки це займає багато часу. Якщо неможливо створити репрезентативну вибірку, складають вибірку, подібну до неї. Особи, які беруть участь у пілотажному дослідженні, різні за демографічними показниками віку, статі, соціального статусу тощо. Пілотажну версію опитувальника пред'являють якнайбільшій кількості досліджуваних. Мінімальна їх кількість повинна бути вдвічі більшою за кількість завдань.

Аналіз завдань

Його здійснюють за результатами пілотажного дослідження, маючи на меті відбір найкращих завдань для остаточної версії опитувальника і визначення кількості правильних відповідей відповідно до "ключа" та дискримінативності кожного завдання. Спершу складають таблицю аналізу завдань (табл. 2.3), у кожній колонці якої (а, Ь, с, сі і т. д.) зафіксовано завдання, а у кожному рядку (1, 2, 3, 4, 5) - ім'я обстежуваного.

Таблиця 2.3. Матриця для аналізу завдань

При розробленні особистісних опитувальників у таблицю вписують відповідний бал за кожне пряме завдання, а за зворотні завдання (із протилежним змістом) проставляють таку саму величину бала, але з протилежним значенням. Потім підсумовують бали клітинок для отримання загального бала у кожному ряду і загального бала у кожній колонці. Після цього обчислюють показник, що визначає частку досліджуваних, які відповіли згідно з "ключем" опитувальника або індексом ефективності завдання. Цей показник підраховують шляхом поділу кількості обстежуваних, що дали правильну відповідь, на кількість усіх досліджуваних. Індекс для кожного завдання повинен знаходитися в інтервалі від 0,25 до 0,75 і дорівнювати в середньому 0,5 для всього опитувальника. Індекс, менший від 0,25, свідчить про неефективність завдання, оскільки незначна кількість обстежуваних відповіла на нього правильно, індекс, вищий за 0,75, указує на те, що отримано багато правильних відповідей. У

Індекс ефективності має бути розміщеним посередині між крайніми оцінками, тобто означати вибір середніх оцінок в оцінному континуумі кожним досліджуваним, і позначати варіацію різних оцінок.

Завдання (питання, твердження) включають в остаточну версію опитувальника лише в тому разі, коли вони є дискримінативними. Для визначення дискримінативності завдань використовують коефіцієнт кореляції кожного завдання із загальним балом всього тесту: чим вищий коефіцієнт кореляції, тим вища дискримінантність завдання, що є основним критерієм їх відбору до остаточної версії опитувальника. Як правило, мінімальна кореляція має дорівнювати 0,2. Завдання з негативною або нульовою кореляцією виключають.

Для розрахунку коефіцієнта кореляції застосовують коефіцієнт похідних моментів Пірсона вручну, а потім за допомогою комп'ютерних програм. Коефіцієнт похідних моментів Пірсона вираховують за формулою:

В остаточній версії має бути до 20 і більше завдань тесту. Завдання із низькою дискримінативністю до тесту включають, маючи певність, що у цій сфері вимірювання їх бракує. Іноді в остаточний варіант опитувальника вносять завдання з невисоким показником ефективності, але з високою дискримінативністю. Кількість прямих і зворотних завдань повинна бути приблизно однаковою. Для досліджуваних різної статі необхідно передбачити окремі процедури аналізу завдань.

Таблиця 2.4. Приклад розрахунку коефіцієнта кореляції Пірсона

Важливим етапом конструювання тестів є їх поліпшення. Для цього здійснюють, наприклад, зміну формулювання відповіді у завданні з "інколи" на "завжди", що підвищує показник ефективності тощо. Проте зміни у питаннях (твердженнях) можуть порушити надійність і валідність тесту, тому дослідник повинен зважати на параметри кожного завдання й основні критерії, дотримання яких сприятиме реалізації мети тесту.

Отже, конструювання тесту є досить громіздким, складним і відповідальним процесом, що вимагає від психолога глибоких академічних знань з різних галузей психології, належного рівня володіння математично-статистичним апаратом, а також здатності до узагальнення, прогнозування та інших компонентів аналітико-синтетичної діяльності.