Психодіагностика - Галян І.М. - Послідовність перевірки валідності

Вона відображає ступінь співвіднесення результатів тесту з базовими для нього теоретичними поняттями (конструктами). Тобто показує, наскільки результати, отримані за допомогою методики, можна розглядати в якості міри деякого теоретичного конструкту (досліджуваного психологічного фактора або властивостей особистості чи групи). Визначення цієї міри є завданням емпіричної валідизації методики.

Якщо тест розроблятимуть для встановлення ступеня розуміння мовлення, необхідно уявляти, які компоненти утворюють цей конструкт. Наприклад, слід вибрати із запропонованого переліку пункти, що стосуються розуміння мовлення дитиною:

а) відповідає на питання;

б) дуже уважна при слуханні;

в) переказує почуте своїми словами;

г) може дослівно запам'ятати текст із першого разу; ґ) здатна скласти план тексту;

д) ставить експериментатору багато запитань стосовно почутого.

Однак тільки частина з них стосується розглянутого конструкту. Проаналізувавши проблему, підбирають завдання, що відображають різні аспекти розуміння мовлення. Після цього формулюють гіпотези про те, як дані розроблюваного тесту будуть корелювати з іншими тестами, спрямованими на наближені і віддалені конструкти. Гіпотези перевіряють методами кореляційного і факторного аналізу. Підтвердження чи спростування сукупності очікуваних зв'язків характеризує конструктну валідність тесту.

Валідність конструкту має здебільшого теоретичну, а не прагматичну спрямованість. Тому її значення полягає не в безпосередній практико-діагностичній придатності до використання, а в теоретичному поясненні вимірюваних психологічних особливостей. Наприклад, типовими конструктами є розумовий розвиток, інтровертність, почуття страху перед іспитами тощо. Ці конструкти створюються шляхом теоретичних припущень щодо латентних ознак, їх впливів і різноманітних відношень до інших конструктів, а також впливу конструктів на поведінку, що спостерігається (за допомогою анкети можна виміряти почуття страху перед іспитами). Ступінь валідності виміру можна визначити лише в тому випадку, якщо перевірити можливість підтвердження позитивних чи негативних реакцій, що передбачаються теоретично (наприклад, чи падає під впливом тимчасового фактора успішність учня, який відчуває страх перед іспитами).

Для валідизації конструкту розроблені комплексні статистичні методи, наприклад аналіз факторів другого порядку і канонічний аналіз. Інструментарій має конструктивну валідність, якщо знайдені відношення відповідають теоретичній моделі.

Часто психолог не може підібрати для вимірюваної властивості жодного апробованого тесту з відомою валідністю. Тоді він формулює передбачувані гіпотези, які корелюватимуть його новий тест з іншими тестами, що вимірюють родинні характеристики досліджуваних. Ці гіпотези ґрунтуються на теоретичних уявленнях про вимірювану властивість. їх підтвердження вказує на валідність висунутого конструкту, тобто на конструктну валідність тесту, або передбачувану валідність.

Різновидом конструктної валідності є валідність за новою диференціацією - компонент конструктивної валідності, пов'язаний з віковою динамікою змін досліджуваної якості. Характеристика валідності за віковою диференціацією полягає у визначенні відповідності результатів тесту теоретично очікуваним віковим змінам, що спостерігають на практиці. Найбільше значення вал ідність за віковою диференціацією має для характеристики валідності тестів, які вимірюють психологічні властивості, функції, що відзначаються швидкою зміною під впливом індивідуального досвіду, вираженого ієрархічною структурою розвитку (поінформованість, навички, інтелектуальні операції тощо). Тому вона є основним оцінним критерієм при валідизації тестів інтелекту, зокрема призначених для дитячого віку. Тут закономірне підвищення результатів виконання завдань тесту в кожній наступній віковій групі є основним психометричним принципом діагностування рівня розвитку, базою для побудови психометричної шкали.

Від шляху визначення психологом діагностичного конструкту залежить стратегія включення у тест певних пунктів. Наприклад, Айзенк визначає поняття "нейротизм" як незалежне від екстраверсії - інтроверсії, що зумовлює однакову кількість у питальнику пунктів, з якими погоджуватимуться як невротичні інтроверти, так і невротичні екстраверти. Вектори цих пунктів рівномірно розподіляють у правому і лівому нижніх квадрантах. Якщо в тесті переважатимуть пункти з квадранта " нейротизм - інтроверсія", то, за теорією Айзенка, це означатиме, що шкала "нейротизм" виявляється навантаженою іррелевантним фактором - інтроверсією.

Відповідність пунктів вимірюваному фактору забезпечує конвергентну валідність тесту (перевірка міри близькості прямого або зворотного зв'язку), збалансованість пунктів щодо іррелевантних факторів - дискримінантну валідність (встановлення відсутності зв'язку). Емпірично ця валідність виражається у відсутності значущої кореляції з тестом, що вимірює незалежну властивість.

Найкраще встановлювати певну властивість за наявності процедури з відомою валідністю. У цьому разі кореляція між балами двох тестів (лінійна або рангова) показуватиме, чи володіє новий тест конвергентною валідністю стосовно старого. Якщо новий тест виявляє високу конвергентність результатів зі старим, одночасно є досконалішим у проведенні та обробленні, то психодіагности використовують новий тест замість старого.

Валідність інкриментна (англ. incremental - приріст, прибуток) - компонент критеріальної прогностичної валідності тесту, що відображає практичну цінність методики при проведенні відбору, виражається кількісно за допомогою коефіцієнта валідності. Показник інкриментної валідності вказує на роль тесту в поліпшенні відбору осіб для реальної діяльності, міру поліпшення результативності процедури відбору порівняно з традиційною, заснованою на аналізі об'єктивних відомостей, документів, бесід, прийомі з випробовувальним терміном тощо.

З характеристикою конструктної валідності пов'язаний факторний аналіз, що дає змогу статистично проаналізувати зв'язки показників досліджуваного тесту з іншими відомими і латентними факторами, виявити загальні і специфічні для групи зіставлюваних тестів фактори, ступінь їх представлення у результатах, тобто визначити факторні склад і навантаження результату тесту. Важливість такої процедури є підставою для виокремлення факторної валідності як виду конструктивної.

Отже, у психодіагностиці немає універсального підходу до характеристики валідності. Для валідизації кожного виду психодіагностичних процедур, окремих тестів можуть бути використані різні типи валідності. Відомості, що формують комплекс валідності, можна оцінити якісно і кількісно (за допомогою коефіцієнта валідності), інколи описати. Однак через складність, комплексність, ситуативність застосування методики валідність неможливо точно виміряти. Реальна валідність розкривається лише під час накопичення значного досвіду роботи з тестами, що радикально змінює уявлення про сферу застосування і ефективність методики.

Послідовність перевірки валідності

Універсальний алгоритм діяльності психолога з перевірки валідності створити важко, оскільки існують різні підходи до її забезпечення. Для прагматично зорієнтованих тестологів (англо-американська школа) основним завданням є пошук операціонально заданого соціально-прагматичного критерію валідності, за яким діагностичні тести і їх складові (пункти) підбирають ніби "автоматично" - у процесі емпірико-статистичних процедур збирання і кореляційного аналізу результатів.

Сучасні методологи психологічного тестування одностайно визнають оптимальною раціонально-емпірйчну стратегію конструювання тесту і перевірки валідності, яка передбачає:

- теоретичний аналіз діагностичного конструкту, розроблення теоретичної концепції.тестованої психічної властивості; виявлення системи взаємозалежних діагностичних конструктів, усередині якої новий діагностичний конструкт має певні структурно-функціональні зв'язки і відношення; прогнозування результатів кореляційних експериментів;

- виокремлення складових теоретичного конструкту; формулювання системи "емпіричних індикаторів" - операціонально однозначних показників, що фіксують прояв конструкту в різних поведінкових ситуаціях; конструювання пунктів тесту;

- визначення релевантного соціально-прагматичного критерію для перевірки валідності (ефективності) методики;

- планування і проведення кореляційного дослідження на спеціально підібраній вибірці досліджуваних, яким відоме (буде відоме) значення критеріального показника, а також результати подібних психологічних тестів. За необхідності здійснюють додаткове тестування з метою кореляційної перевірки конструктної валідності тесту (експертні оцінки при цьому розглядають як одну з можливих рівнобіжних процедур одержання критеріальної або психологічної інформації); оцінювання валідності емпіричних індикаторів;

- дослідження вірогідності результатів;

- відсіювання пунктів (індикаторів), що не задовольняють критеріїв валідності та вірогідності; вимірювання надійності для скороченої шкали, що складається тільки з валідних пунктів. Якщо надійність виявляється невисокою, то психолог повертається до першого етапу.

У психологічній діагностиці валідність є обов'язковою частиною інформації про методику (тест), що містить дані про ступінь узгодженості результатів тестування з іншими відомостями про досліджувану особистість, отриманими з різних джерел (теоретичні очікування, спостереження, експертні оцінки, результати інших достовірних методик), судження про обґрунтованість прогнозу розвитку досліджуваної якості, зв'язок досліджуваної поведінки чи особливості особистості з певними психологічними конструктами. Валідність також описує спрямованість методики і обґрунтованість висновків у конкретних умовах використання тесту.

Перевірка валідності застосовується на етапі розроблення й адаптації тесту, під час опрацювання отриманих з його допомогою даних.