Інформаційні технології та моделювання бізнес-процесів - Томашевський О.М. - 4.3. Технологія виявлення знань в базах даних (Knowledge Discovery in Databases)

Системи підтримки прийняття рішень, які містять базу знань і розробляються з використанням методів штучного інтелекту, називаються системами підтримки прийняття рішень на базі знань (Knowledge-based Decision Support Systems). Знання в цьому сенсі є інформацією, яка зберігається в пам'яті систем штучного інтелекту, містить в собі відомості про об'єкти і зв'язки предметної області, процеси взаємодії об'єктів в часі і просторі, яка містить правила, на основі яких виконується логічне доведення.

Виявлення знань в базах даних (Knowledge Discovery in Databases, KDD) - це послідовність дій, яку необхідно виконати для побудови моделі (видобування знань). Ця послідовність не описує певний алгоритм або математичний апарат, не залежить від наочної області. Це - набір операцій, комбінуючи які, можна отримати потрібне рішення.

KDD включає етапи підготовки даних, вибору інформативних ознак, очищення даних, застосування методів видобування знань, кінцевої обробки даних, інтерпретації отриманих результатів. Основою цього процесу є методи, що дозволяють знаходити закономірності і знання. Стисло розглянемо кроки, що виконуються на кожному етапі KDD (рис.4.3).

Підготовка початкового набору даних, у тому числі з різних джерел, вибору значущих параметрів, тощо. Для цього повинні існувати розвинуті інструменти доступу до різних джерел даних.

Попередня обробка даних. Дані можуть бути неповними, містити шуми, аномальні значення і т.д. Крім того, вони можуть бути в надмірний чи недостатній кількості.

Деякі задачі потребують доповнення даних певною апріорною інформацією. Якщо подати дані на вхід системи в існуючому (початковому) вигляді, то на виході не будуть отримані корисні знання. Вхідні дані повинні бути якісними та коректними.

Рис.4.3. Етапи КDD

Трансформація, нормалізація даних. Цей крок необхідний для тих методів, які вимагають представлення початкових даних в певному вигляді. Різні алгоритми аналізу вимагають спеціальним чином підготовлені дані, наприклад, для прогнозування необхідно перетворити часовий ряд за допомогою плаваючого вікна. До задач трансформації даних відносяться: плаваюче вікно, зведення типів, виділення часових інтервалів, перетворення безперервних значень в дискретні і навпаки, сортування, групування та інше.

Видобування знань. На цьому кроці застосовуються різні алгоритми для видобування знань. Це нейронні мережі, дерева рішень, алгоритми кластеризації, виявлення асоціацій, тощо.

Кінцева обробка даних - інтерпретація результатів і застосування отриманих знань в бізнес-додатках. Наприклад, необхідно отримати прогноз обсягів продажів на наступний місяць. Є мережа магазинів роздрібної торгівлі. Першим кроком буде збір хронології продажів в кожному магазині і об'єднання її в загальну вибірку даних. Наступний крок - попередня обробка зібраних даних: їх групування по місяцях, згладжування кривої продажів, усунення чинників, що мало впливають на обсяги продажів.

Далі будується модель залежності обсягів продажів від вибраних чинників. Це можна зробити за допомогою лінійної регресії або нейронних мереж. Так одержується прогноз - на вхід подається модель хронології продажів. Знаючи прогнозне значення, його можна використовувати, наприклад, в додатках оптимізації для кращого розміщення товару на складі.

Головна перевага КDD в тому, що отримані у такий спосіб знання можна розповсюджувати. Побудовану однією людиною модель можуть використовувати інші, без необхідності розуміння методик, за допомогою якої ці моделі побудовані.