Психодіагностика - Галян І.М. - Послідовність експертного оцінювання

Високу якість отриманих результатів забезпечує дотримання певного алгоритму дій при експертному оцінюванні. Моніторингова група, яка складається з експертів для організації експертизи, спочатку формулює дослідницьке завдання, підбирає компетентних фахівців, інструктує їх, розробляє оцінні параметри, забезпечує роботу експертів (технічне, математично-статистичне оброблення даних, логіко-семантичне оформлення суджень).

Оцінки експертів не завжди бувають точними, що нерідко зумовлюється їхніми особистісними якостями (некомпетентністю, упередженістю, несумлінністю, незацікавленістю в успіху справи, невпевненістю у собі) або прорахунками моніторингової групи (нечіткістю мети і завдань роботи, здійснення експертного опитування без спеціально розробленої програми, невиразністю інструкцій з оцінювання, недостатнім обліком впливу факторів, перекручуванням результатів експертизи, поверховістю в обробленні суджень експертів). Тому необхідно на цьому етапі подбати про максимальне наближення оцінок експертів до істини. Суб'єктивність експертного оцінювання не означає його неефективності, воно надає недостовірну інформацію лише через підбір некваліфікованих фахівців і неякісно організовану їх роботу.

Оцінювальна діяльність експертів передбачає:

1) підготовку до експертизи (вивчення порядку і правил оцінювання, ознайомлення зі способами реєстрації суджень, актуалізація знань у конкретній галузі);

2) дослідження об'єкта експертизи;

3) виникнення імпліцитної оцінки, за якої суб'єктивне враження слабо диференційоване і нестійке, не виражене засобами внутрішнього мовлення чи словами;

4) експлікацію (формулювання), а потім вербальне або символічне вираження оцінки;

5) перевірку правильності результату оцінювання;

6) аргументування оцінки;

7) участь в інформаційному обміні між експертами.

Робота експертів має бути стандартизованою. їх судження залежно від особливостей дослідження оформлюються у формі вільного чи стандартизованого інтерв'ю, анкетування з напівзакритими або відкритими питаннями.

Статистичне оброблення матеріалу традиційно здійснюють із застосуванням вимірювальних шкал: шкали найменувань, порядку (рангової), інтервалів, відношень (пропорцій). Моніторингова група, визначивши адекватний дослідженню тип вимірювальної шкали, розробляє для експертів конкретні параметри, які слід оцінити в індивідуальних судженнях.

Після оцінювання експертів дослідник перевіряє індивідуальні судження і обґрунтовує їх, виявляючи несуперечність складових; аналізує думки експертів, з'ясовуючи узгодженість їх між собою; виокремлює групу експертів з подібними та різними оцінками, визначаючи причини відмінності між індивідуальними думками; виявляє вплив компетентності експертів на зміст і обґрунтування їх оцінок.

На вірогідності результатів у процесі експертного оцінювання позначається оцінний суб'єктивізм, спричинений поліфункціональністю оцінки; необраховуваністю оцінних процедур; різним рівнем професійної підготовленості; індивідуально-особистісними особливостями експертів; сформованими до моменту оцінювання уявленнями про можливості досліджуваних; відмінностями в умінні абстрагуватися від наявних міжособистісних відносин з досліджуваними; характерологічними особливостями (відповідальність, сумлінність, зібраність, зацікавленість тощо); ситуаційними умовами оцінювання (втома); облаштуванням робочого місця (освітленість, температура приміщення); чергуванням різних за якістю відповідей або робіт; впливом на оцінку загального рівня досліджуваних. На вірогідність результатів експертного оцінювання також впливають:

- ефект ореолу (вплив на оцінку сформованих уявлень про можливості досліджуваних);

- ефект фасаду (залежність оцінки від враження, яке справив досліджуваний на момент оцінювання: зовнішній вигляд, стать, манери поведінки, логічність відповіді, впевненість);

- ефект контрасту (залежність оцінки від оцінок попередніх досліджуваних);

- ефект фону (вплив на оцінку загального рівня підготовленості досліджуваних).

Причиною перекручування результатів експертного оцінювання може бути специфіка оцінюваної сфери. За участю групи фахівців, які оцінюють об'єкт і дискутують про його характеристики, вплив багатьох причин спотворювань послаблюється, однак це не гарантує точності результатів.

При очному груповому оцінюванні недостовірність результатів може бути наслідком дії таких чинників:

1) прагнення до ідентифікації повідомлення з його джерелом, через що слухач приймає або спростовує думку залежно від ставлення до людини, яка її висловила, а не від реального змісту;

2) доцентровий тиск (усереднення експертних оцінок у процесі їх обговорення);

3) тенденція захищати власну позицію навіть після того, як експерт переконався в її неправильності;

4) прагнення домінувати, що виникає в осіб, які не є визнаними лідерами, але претендують на це;

5) вплив феномену "огрупнення мислення", що проявляється в підтриманні групового рішення;

6) нестійкість імпліцитної оцінки, що легко змінюється під впливом висловлених іншими експертами думок.

Ці фактори впливають і на підсумки групового оцінювання, що здійснюється в заочній формі, позбавленого безпосередньої взаємодії експертів між собою. Однак заочна форма експертизи передбачає кілька турів, що збільшує тривалість і трудомісткість процедури.

Отже, при збиранні інформації методом експертного оцінювання можлива організація й колективної роботи експертів. Наприклад, "мозкова атака" за заздалегідь підготовленим сценарієм, за якої експерти спільно розв'язують поставлені завдання, або метод комісії (виокремлення проблеми й обговорення різних пропозицій щодо її подолання). Одним із поширених технічних прийомів організації колективної роботи експертів є метод Дельфі, коли експерти розв'язують поставлені завдання, зберігаючи анонімність суджень. Опитування здійснюють методом ітерації у кілька турів. Починаючи з другого туру, експерти ознайомлюються з попередніми результатами в опрацьованому вигляді. Кожному експерту вказують на відхилення його оцінок, суджень від середніх значень. Якщо оцінка експерта сильно відрізняється від середньої, він повинен або аргументувати це відхилення, або внести уточнення у свої судження.

Помилки при проведенні експертизи пов'язані передусім з нечіткістю визначення цілей, неправильним добором експертів або невідповідністю цілей експертного опитування можливостям експертів, а також обранням неадекватної техніки її організації.