Прийняття управлінських рішень - Петруня Ю.Є. - 7.2. Формування експертних оцінок та оцінка узгодженості експертів

Управлінцю, який вдається до експертного способу визначення якості певного об'єкта, важливо отримати оцінки у зручному, формалізованому вигляді.

Формування експертних оцінок дуже важливе, тому що саме визначення методу оцінювання є одним із факторів, котрі впливають на якість експертизи. Можна виділити такі основні методи проведення експертних оцінок для визначення якості т об'єктів І експертами.

1. Метод бальних оцінок. Цей метод передбачає використання бальної шкали, межі якої визначені та відомі експертам.

Якщо експерти рівноправні (мають однакову вагу), то використовують найпростішу групову оцінку (хг), яка обчислюється як середньоарифметична бальних оцінок експерта для кожного 7-го об'єкта експертизи за формулою:

1 і

са 1 ^

1 і=1

де Ху - бальна оцінка і-го об'єкта /-м експертом, і = 1, т , і = 1,І, т

- кількість об'єктів, І - кількість експертів.

Коли кожний експерт має різну вагу (згідно з досвідом, ефективністю проведення експертиз, компетентністю тощо), тоді групова бальна оцінка об'єкта може бути обчислена як середньозважена:

х? = И<1іХу, і = 1, т, £ = 1,

і=1 і=1

де Ц] (] = 1,і) - вагові коефіцієнти компетентності експертів (визначені суб'єктивно).

Коли об'єкт оцінювання складний (з декількох частин, ознак) і водночас добре структурований, то доцільно провести експертизу його окремих складових і розглянути оцінки кожної частини (ознаки) за однаковою бальною шкалою.

За однакової важливості частин (ознак) досліджуваного об'єкта й рівної ваги експертів групова бальна оцінка об'єкта обчислюється за формулою:

1 і 1 і р -

хГ = т2хі] = -22хі]к, і =1 т

і 7=1 ІР 7=1*=1

де х7 = - 2 хт, х7к - оцінка і-го об єкта ]-м експертом к-і частини

рі=1

(ознаки), р - кількість частин (ознак).

За умови різної важливості частин (ознак) досліджуваного об'єкта й різної ваги експертів групова бальна оцінка об'єкта обчислюється за формулою:

і і р -

хГ = 2ціхі] = 2Ц] т^кхіік, і =1 т

7=1 7=1 к=1

в р (р л - ...

де X?6 = 2 акХ]к І 2ак = 1 І, ак (к = 1, р)_ вагові коефіцієнти частин

і=1 Vк=1 )

(ознак) об'єкта.

Зауважимо, що величини ц7 та ак найзручніше задавати або визначати так, щоб їхні числові значення містилися в межах від 0 до 1.

Вагові коефіцієнти компетентності експертів Ц] та частин (ознак) об'єкта ак можна визначати за диференціальним самооцінюванням і взаємним оцінюванням.

Коли застосовують диференціальне самооцінювання, то, як правило, оцінку дають за двома групами критеріїв: за критеріями, що характеризують ознайомленість експерта з основними джерелами інформації в досліджуваній галузі, та за критеріями, які характеризують ознайомленість з об'єктами експертизи (див. вище в 7.1).

Метод взаємного оцінювання передбачає побудову матриці, елементами якої є числа, що означають взаємні оцінки експертів (наприклад, це може бути кількість експертів, які вважають 7-го експерта компетентнішим, ніж _/-Й).

Основні переваги методу бальних оцінок:

- простота визначення групових оцінок об'єктів після проведення експертизи;

- можливість ураховувати компетентність експертів;

- можливість аналізу за допомогою як кількісних, так і якісних методів, що дозволяє порівняти результати. Якщо висновки збігаються, то можна констатувати, що вони достовірні і базуються на матеріалі експертизи, а не на методах обробки даних.

Водночас експертне оцінювання за допомогою бальних оцінок має недоліки, пов'язані з труднощами отримання об'єктивних початкових оцінок хіІ, ді, хіік. Дійсно, якщо експерти рівноправні, то у визначенні д, немає потреби. Розділяти оцінку об'єкта на окремі складові за певними ознаками (частинами) також не завжди раціонально. Особливо це стосується об'єктів, цілісність яких є основною рисою їх ефективного функціонування. Також це дуже трудомістка робота.

2. Метод абсолютних оцінок. Цей метод передбачає використання числової шкали оцінок, межі якої визначено технічними характеристиками об'єкта. Оцінка являє собою фізичну величину в певних одиницях вимірювання. Якщо припустити, що експерти мають однакову

вагу, використовують найпростішу групову оцінку , де х у - абсолютна оцінка і-го об'єкта у-м експертом, і = 1, т, і = 1, І. Коли кожний експерт має різну вагу (згідно з досвідом, ефективністю проведення експертиз, компетентністю тощо), тоді групова абсолютна оцінка об'єкта може бути обчислена за формулою середньозваженої групової

бальної оцінки х^3 (див. вище). Якщо якість досліджуваного об'єкта оцінюється за його окремими частинами (ознаками), то з однаковою важливістю частин (ознак) об'єкта і рівною вагою експертів групова

експертна оцінка об'єкта обчислюється за формулою х°в (див. вище),

а з різною важливістю його частин (ознак) та різною вагою експертів

групова експертна оцінка об'єкта обчислюється за формулою х[в

(див. вище), де замість бальних значень Хук записуються нормовані

значення оцінок, оскільки характеристики об'єктів можуть мати різні одиниці вимірювання.

3. Метод ранжування. Експерти оцінюють якість об'єктів за допомогою встановлення їх рангу (порядкового номера об'єкта, якщо всі об'єкти розташовують у порядку зростання їх якості). Чим більшу (меншу) суму рангів отримає об'єкт від усіх експертів, тим вища (нижча) його якість. Сума рангів об'єкта обчислюється за формулою:

і

І=1

де Гу =1, т - ранг об'єкта.

Середнє значення рангу для кожного і-го об'єкта експертизи за оцінкою і експертів для матриці експертизи R = (ту-)m/J розраховується

за формулою:

_ 1 і -

ri = т2rij, г = 1m.

l j=1

4. Метод відносних оцінок. Експерт дає відносну оцінку якості об'єкта. Цей метод використовує бальну або числову шкалу відношень і може застосовуватись, наприклад, в оцінці коефіцієнтів відносної важливості цілей стратегії або відносної важливості критеріїв. При цьому групова оцінка об'єкта розраховується за формулами середньоарифметичної та середньозваженої групових бальних оцінок (див. вище), де Ху - відносна оцінка г-го об'єктаj-м експертом, і = 1, m, j = 1,l. Сума відносних оцінок має дорівнювати одиниці.

5. Метод попарних порівнянь. Використовується тоді, коли експерти можуть порівняти об'єкти між собою попарно і встановити кращий об'єкт у кожній парі. Кожен експерт заповнює свою таблицю порівнянь. Порівнюючи об'єкти кожної пари між собою, експерт записує номер (і чи j) кращого об'єкта з кожної пари в клітинці, що міститься в 7-му рядку та j-му стовпці (табл. 7.2).

Існує метод повних попарних порівнянь (заповнюється вся таблиця) та частинних попарних порівнянь (заповнюється тільки одна половина таблиці).

Після заповнення таблиці методом частинних попарних порівнянь розраховується fij _ частота переваги 7-го об'єкта за оцінкою j-ro експерта (кількість чисел (і) в таблиці j-ro експерта).

Таблиця 7.2

ПОРІВНЯННЯ ОБ'ЄКТІВ ЗА МЕТОДОМ ЧАСТИННИХ ПОПАРНИХ ПОРІВНЯНЬ

Середня частота переваги / для 7-го об'єкта за всіма експертами визначається за формулою:

1 і -

/і =т2їц, і =1 т.

1 і=і

Якщо експерти мають різну вагу, то формула для обчислення середньої частоти має вигляд:

1 І=1

( і А _

де су - вага експерта, 2ау = 1 , І = 1, т.

і=1 )

Загальна кількість зіставлень М, виконаних кожним експертом методом частинних попарних порівнянь, обчислюється за формулою:

т(т -1)

N = -1--.

2

Оцінка якості (сі) ;'-го об'єкта визначається так:

N т(т -1) ^:=1 )

Метод повних попарних порівнянь передбачає заповнення всієї таблиці, кожна пара об'єктів порівнюється два рази і використовується для того, щоб оцінити якість роботи експерта, його точність і нейтралізувати можливу помилку. В ідеалі матриця повинна бути симетричною стосовно головної діагоналі.

Оцінка якості (с:) 7-го об'єкта обчислюється так:

/і /і .7- ,1

с: =- =-, і = 1, т |2 сі = 11,

N т(т -1) ^і=1 )

де / - середня частота переваги 7-го об'єкта, яка розраховується за наведеною вище формулою, т - кількість об'єктів. Переваги методу попарних порівнянь:

- простота у формуванні початкових матриць;

- чітке математичне обґрунтування здійснюваних операцій;

- можливість переходу до іншого подання експертної інформації (ранжування, бальні оцінки тощо).

Під час проведення експертизи дуже велике значення має узгодженість оцінок експертів, яку можна оцінити за допомогою спеціальних коефіцієнтів.

Визначити узгодженість оцінок двох експертів можна за допомогою лінійного коефіцієнта кореляції:

т

Е (хі - х ) o (Уі - у)

г - і=1 ,

р" _ 2 р" _ 2 '

у]ї;(хі -х) ^їхуі -у)

т т

де х = --, у = --, хі та у, - абсолютні або бальні значення

т т

оцінок об'єктів відповідно 1-м та 2-м експертами.

Істотність узгодженості оцінок експертів перевіряється так: а) зна-

г 4т - 2

ходять tcn = -. ; б) за таблицею критичних точок розподілу

Стьюдента для двосторонньої критичної області знаходять критичні точки ^р (а, у), де а - рівень значущості; v = т - 2 - кількість ступенів вільності; в) якщо | < tкp - оцінки експертів неузгоджені, якщо

^ся | > tкр - узгодженість оцінок експертів вважається істотною з імовірністю у = (1 - а).

Коефіцієнт рангової кореляції Спірмена доцільно використовувати для перевірки узгодженості експертних оцінок двох експертів, якщо ці оцінки не є числами. У цьому випадку кожній оцінці дається ранг иі (для першого експерта) та уі (для другого експерта), який являє собою порядковий номер експертної оцінки, якщо їх розташувати в порядку зростання якості об'єкта. Якщо при цьому деякі значення хі(уі) збігаються, то кожному з них присвоюється ранг, що дорівнює середньому арифметичному їх фактичних порядкових номерів.

Коефіцієнт рангової кореляції Спірмена р обчислюється за формулою:

т

Р = 1--~г-,

т(т -1)

де т - кількість оцінюваних об'єктів; і - різниця між рангами, присвоєними і-му об'єкту експертами, 0І = иі - уі, і = 1,т. иі уі - ранги 7-го об'єкта. (табл. 7.3).

Таблиця 7.3

РАНГИ ОБ'ЄКТІВ

Ранговий коефіцієнт кореляції р міститься в межах від - 1 до 1: -1 < р < 1, |р| < 1. Якщо р = 1, маємо повну узгодженість експертних оцінок, а якщо р = -1 - повну неузгодженість.

Якщо р Ф ±1, то оцінка узгодженості виконується за правилом:

а) знаходять за таблицею критичних значень величину ркр, яка залежить від обсягу сукупності к та рівня значущості а й визначається за

формулою: рКр = ікр (а; к--~, Де а ~~ рівень значущості; к = п - 2

- кількість ступенів вільності; п > 9 - обсяг вибірки; ґкр (а; к) - критична точка розподілу Стьюдента для двосторонньої критичної області;

б) порівняти модуль р з критичним значенням ркр. Якщо |р | > ркр,

то узгодженість оцінок експертів істотна з імовірністю у = (1 - а) і навпаки. Рівень значущості а зазвичай вибирається рівним 0,05 або 0,10 і являє собою імовірність ризику визнати зв'язок істотним, коли його насправді не існує.

Якщо зв'язок визнано істотним, то його щільність можна оцінювати за правилом трисекції:

- для |р| є (0,3рк;, + 0,7; 1] зв'язок вважаємо щільним;

- для |р| є (0,7ркр + 0,3; 0,3ркр + 0,7] - помірним;

- для |р| є (ркр; 0,7р кр + 0,3] - слабким.

Знак р визначає напрям залежності: якщо р > 0, то зв'язок прямий, і навпаки.

Якщо експертизу проводять більше двох експертів (І > 2) і вони можуть тільки визначити ранги об'єктів, то узгодженість їх оцінок оцінюється за допомогою множинного коефіцієнта конкордації Ц, запропонованого М. Кендаллом і Б. Смітом:

т _

122 № - я)2

цг =-і-1-

2 3 '

І (т - т)

де т - кількість об'єктів експертизи; І - кількість експертів;

Ri - сумарний ранг 7-го об'єкта за думками всіх експертів; R - середнє значення сумарних рангів;

Сумарний ранг 7-го об'єкта за думками всіх експертів розраховується за формулою:

Ri = 2zrj, і = 1,m,

де Tj - ранг 7-го об'єкта на думку j-ro експерта.

Середнє значення сумарних рангів визначається так:

R = l (m +1) 2 .

Коефіцієнт конкордапії W задовольняє умову: 0 < w < 1. Чим ближчий він до одиниці, тим оцінки експертів більш узгоджені.

Формула обчислення коефіцієнта конкордапії використовується тоді, коли немає однакових рангів у кожного експерта щодо об'єктів експертизи. Якщо існують повторення рангів (ранги зв'язані), то формула обчислення коефіцієнта координації має такий вигляд:

122(iR - R ) W =---,

і2 (т3 - m)-1 £ (t3j - tj )

7=1

де tj - кількість однакових рангів, виставлених j-м експертом.

Для оцінки значущості коефіцієнта конкордапії використовується X - критерій Пірсона. Розрахований критерій позначають як фактичний х і.

За відсутності зв'язку між рангами фактичне значення критерію Пірсона хф обчислюється так:

4 = 7-Г-Л, де S = 12^(^і " R. lmm -1) і=1

У разі наявності зв'язку між рангами, коли tj Ф 0, хф обчислюється так:

lm(m -1) ---

m - 1

Після цього перевірка значущості коефіцієнта конкордації здійснюється за правилом:

а) якщо хф > X(аау = т -1), що розраховується з таблиці критичних точок розподілу % , то коефіцієнт конкордації вважається значущим, а оцінки експертів узгодженими з надійністю (1 - а);

б) якщо хф < X(аау = т -1), то коефіцієнт конкордації вважається незначущим, а оцінки експертів - неузгодженими з надійністю (1 -а), де а - вибраний рівень значущості.

Висновки

1. Евристичні методи базуються на використанні особистісних якостей певних людей, тому числі управлінців. Вони передбачають включення творчого мислення в процесі розробки рішення, дозволяють генерувати нові ідеї, використання яких дає можливість підвищувати ефективність виконання управлінських завдань. Евристичні методи поширені у практиці розробки прогнозів ринкової кон'юнктури, динаміки ряду факторів, оскільки вибір поглядів експертів дозволяє здобути необхідну інформацію щодо певного процесу чи явища, отримати відповідні прогнозні оцінки.

2. До експертних методів зараховують комплекс логіко-матема-тичних процедур, з реалізацією яких прагнуть отримати від експертів інформацію про об'єкт чи процес дослідження в найбільшому обсязі; проаналізувати інформацію з метою прийняття ефективних управлінських рішень.

3. Методи експертних оцінок є засобом об'єднання формального й неформального аналізу проблеми. їх поділяють на індивідуальні та колективні. Індивідуальні експертні методи ґрунтуються на використанні думок експертів-фахівців незалежно один від одного. Методи колективних експертних оцінок передбачають виявлення колективної думки експертів щодо об'єкта чи процесу.

4. Для кількісного аналізу суб'єктивних оцінок експертів використовують спеціальні шкали вимірювання: рангову, бальну, числову, попарних порівнянь, вербально-числові шкали.

5. За характером постановки питань і формою відповідей можна виділити такі основні підходи до проведення експертних оцінок: 1) метод бальних оцінок; 2) абсолютних оцінок; 3) ранжування; 4) відносних оцінок; 5) попарних порівнянь.

6. Узгодженість думок експертів досліджується за допомогою таких коефіцієнтів: лінійного коефіцієнта кореляції, коефіцієнта рангової кореляції Спірмена, рангового коефіцієнта кореляції Кендалла, множинного коефіцієнта рангової кореляції (коефіцієнта конкордації).