Соціологія - Сірий Є.В. - 2. Експертне оцінювання

Це - особливий різновид методу опитування, де вимоги, які застосовуються в масових опитуваннях, неприйнятні. В процесі масового опитування джерелом соціологічної інформації, яка дає оцінку тим чи іншим сторонам об'єкта дослідження, виступають і представники цього ж об'єкта. При експертному опитуванні ситуація інша. Експерти майже ніколи не виступають представниками об'єкта дослідження.

На початку, заходи та процедури експертних оцінок розроблялися головним чином для застосування футурологічної діяльності (передбачення, прогнозування), економічного планування, питань управління та наукознавства. Методологічна обумовленість застосування експертних оцінок в соціології найбільш проявляється при розгляді діагностичного аспекту експертизи. Тому, як правило, експертне оцінювання (опитування) широко використовується в розвідувальних та пробних дослідженнях для отримання попередніх даних про об'єкт, предмет аналізу, для уточнення гіпотез та завдань основного дослідження, для розробки прогнозу і доповнення та з'ясування певних процесів та явищ. Як правило, досліджують і такі ситуації, що пов'язані зі спробою прогнозувати зміну того чи іншого соціального явища, процесу, з необхідністю уявити стан предмета, який становить інтерес, або дати оцінку таким сторонам діяльності і характеристикам людей, за якими їхня самооцінка може виявитися хибною. Подібна інформація може надходити тільки від компетентних осіб - експертів, які мають глибокі знання про предмет або об'єкт дослідження.

Практика застосування експертних методик (як для вирішення проблем прогнозування, управління, так і в традиційних сферах соціологічного дослідження) показала, що вони такою ж мірою і важливі і надійні, як і метод масових опитувань з його розширеною методикою забезпечення репрезентативності. Експертні методики містять ряд експліційованих (спільних, схожих) понять: експертні системи, діагностика, експертне опитування та оцінювання, думки, сценарії. Але в соціології традиційно в експертизі акцентується на ролі опитування. Таким чином, експертне опитування посідає тут центральне місце. У свою чергу воно специфіціюється в двох основних формах експертної роботи: експертного опитування (з усіма різновидами – від індивідуального інтерв'ю до колективного генерування ідей та методу Дельфі) і діагностики.

Важливий момент при проведенні такого роду опитування - відбір експертів, передусім за рівнем їх компетентності. На першому етапі відбору як критерій доцільно використовувати дві ознаки: рід занять та стаж діяльності за профілем, що нас цікавить. За необхідності потрібно брати до уваги також і рівень, характер освіти, досвід, вік. Як завжди, перший список може бути досить широким, однак у подальшому його доцільно "звузити", оскільки не кожна людина здатна виступити в ролі експерта. Але основним серед усіх критеріїв відбору експертів є їх компетентність. Для її визначення застосовуються - з тим чи іншим ступенем точності - методи самооцінки експертів, оцінки результатів минулої діяльності кандидатів у експерти та колективні оцінки авторитетності експертів.

Метод самооцінки обумовлює оцінку кожним із кандидатів в експерти власної компетентності (як правило, за 5-бальною шкалою), включаючи показники, які характеризують ступінь його участі в досліджуваній проблемі. Використовують також різного роду довідники, типу "хто є хто", списки членів професійних груп і т. ін. Це допомагає визначити, де даний кандидат навчався, працював, якими аспектами професійної діяльності він займався. Критеріями відбору спеціалістів до експертної групи може служити також і кількість опублікованих праць і т. ін. Якщо кандидати в експерти знають один одного, то ефективним може бути метод колективної оцінки кожного із них іншими. Хоча деякі спеціалісти вважають, що колективні оцінки менш точні, ніж самооцінки, все-таки аналіз розходжень між ними дозволяє здійснити більш обумовлений підбір експертів.

Не менш ефективним виявляється метод "снігового нальоту": відібрані на першому етапі експерти називають компетентних спеціалістів, котрі, в свою чергу, включаються в процес відбору; ці ж відібрані експерти рекомендують інших спеціалістів. Цей процес завершується стабілізацією сукупності рекомендованих експертів, коли їх список перестає поповнюватися новими прізвищами. Після складання попереднього списку проводиться їх оцінка шляхом соціометричної процедури, де критерієм оцінки спеціаліста є частота рекомендацій його іншими експертами.

До експертної групи повинні входити спеціалісти, які здатні провести експертизу із врахуванням різних сторін досліджуваної проблеми. Тому до експертної групи бажано залучати спеціалістів, котрі представлять різні наукові напрями.

У прикладній соціології розроблено цілий ряд прийомів опитування експертів, які використовуються для отримання різного роду оцінок, в тому числі і прогностичних. Основний інструментарій експертних опитувань – анкета або бланк-інтерв'ю, які розроблені за спеціальною програмою. Відповідно до цього процедура опитування полягає або в анкетуванні, або в інтерв'юванні експертів. На відміну від масового опитування, програма опитування експертів не настільки деталізована і має переважно концептуальний характер. В ній, передусім, однозначно формулюються явища, які підлягають вивченню, та передбачаються у вигляді гіпотез можливі варіанти їх наслідків.

Продуктивним способом організації групової експертної оцінки є колективне обговорення індивідуальної думки або виділення із експертної групи найбільш кваліфікованих авторитетних експертів з метою корекції оцінок. Суттєвим моментом узгодження думок в процесі групового вибору є селекція найбільш мотивованих висновків. Експертне оцінювання – це не просто формулювання, відбір і обробка висновків експертів. Воно визначається насамперед роботою експертів щодо забезпечення аргументації висновків, їх мотивації та демонстрації того, чому надається перевага. Висновки (думка) - це свого роду ідейна позиція в системі різних варіантів особистої інформації, аналіз якої сприяє висуненню гіпотез та встановленню істини.

Простою формою застосування експертного методу (без процедури опитування) є формування спеціальних груп для вироблення спільного рішення із заданої проблеми. Іншою формою експертної оцінки є нарада, на якій колективний "розум", вищий за найрозумнішого із учасників. У випадках, коли не відомі навіть найбільш загальні підходи до проблеми і час не дозволяє проводити трудомісткі дослідження, ефективним може бути застосування методу "мозкової атаки" або "мозкового штурму" ("брейнстормінг"), що є різновидом наради, яка відрізняється від класичної рядом особливостей. Вироблення групового рішення в процесі "мозкової атаки" проводиться так:

■ формулюється узагальнено проблема, при цьому підкреслюється її ядро;

■ формуються дві групи учасників, з яких одна генерує ідеї, а інша відбирає цінні і потрібні;

■ формується група спостерігачів-секретарів;

■ починається "атака" із оголошення проблеми, яку необхідно вирішити;

■ всі ідеї фіксуються таким чином, що вони мають бути в полі зору всіх учасників;

■ ведучий підтримує всі висловлені ідеї, стимулюючи азарт розумового змагання;

■ група оцінки відбирає найбільш цікаві (перспективні) ідеї і на певному етапі формує нове, більш вузьке завдання, яке ближче до мети (цикл може повторюватися кілька разів).

Найбільший успіх "мозкового штурму" буде забезпечений за дотримання таких умов:

■ до кожної групи має входити до десяти чоловік із приблизно рівним соціальним статусом;

■ бажано, щоб експерти знали ім'я один одного;

■ нарада має проходити в невимушеній, зручній обстановці;

■ спостерігачі (котрі фіксують перспективні ідеї) для зручності повинні знаходитися поза групою.

При проведенні брейнстормінгу слід виходити з того, що потрібно отримати якомога більше будь-яких притаманних даній проблемі ідей і ні в якому разі не висловлювати ціннісного судження ні щодо зроблених пропозицій, ні щодо їх авторів. В даному випадку кількість ідей важливіша за якість. Учасники засідання не повинні перебивати один одного. Ідея, висловлена одним, може послужити поштовхом для нової ідеї (навести на думку) іншого.

Досить часто в прикладній соціології застосовують такий метод експертного прогнозу, як "метод Дельфі". Це - один з найбільш ефективних експертних методів. Свою назву метод отримав від старогрецького міста Дельфі, в якому жили мудреці, котрі передбачали розвиток майбутніх подій. Провіщання дельфійських мудреців принципово відрізнялися від пророчень звичайних жерців, бо вони обнародувалися лише після ретельного обговорення на раді і досконального ознайомлення всіх членів ради із обставинами справи. Збагачений сучасними знаннями старовинний метод оцінки майбутніх подій та становища шляхом опитування експертів почали називати методом Дельфі. Суть цієї форми експертного оцінювання - у проведенні ряду послідовних конфіденційних опитувань групи експертів з досліджуваної проблеми у кілька турів. Його мета – формування узгоджених думок на основі багаторазового опитування одних і тих же експертів. Після першого опитування та узагальнення результатів підсумки повідомляються учасникам експертної групи. Потім проводиться повторне опитування, в ході якого експерти або підтверджують свою точку зору, висловлену на попередньому етапі, або змінюють свою думку в узгодженні із думкою більшості. Так повторюється кілька разів. В ході такої процедури формується більш-менш узгоджена оцінка.

Дельфійський метод можна застосовувати як для прийняття рішень прогностичного характеру, так і для оцінки їх здійснення. Суттєвим недоліком методу Дельфі є його висока трудоємкість та довготривалість процедур.

Експертне опитування передбачає дотримування таких правил та вимог:

■ вказати, сутність якої проблеми вивчається, і мотив звернення до експерта;

■ дані, що підтверджують компетентність експерта (галузь знань, стан, кваліфікація);

■ інформація про зміст пропонованих питань;

■ правильне формулювання кожного проблематичного питання;

■ допоміжні зауваження, коментарі, пропозиції.

Від якості конкретних експертних оцінок залежить надійність рішень, що приймаються на їх основі, що великою мірою залежить і від якісного складу експертів, ретельності розробки процедури експертизи, рівня проведення опитування та обробки її результатів.

(Більш детально див. спеціальну літературу).