Як пояснити результати моделі?

Однією з частих вимог бізнесу до моделей машинного навчання є пояснюваність.
Чому це важливо? Якщо ви запитаєте у лікаря чому діагноз саме такий, він розповість, який симптом “призвів” до цього діагнозу (наприклад специфічний висип та висока температура), однак моделі машинного навчання це здебільшого чорна скринька, яка просто видає діагноз (або його ймовірність). При розмові з представниками бізнесу результат такої чорної скриньки може викликати певну недовіру. Тому під час останнього проекту для великого європейського сайту оголошень довелося розбиратись з різними варіантами пояснюваності моделей.

Отже, розрізняють “глобальну” та “локальну” пояснюваність. “Глобальна” пояснюваність — ви можете пояснити, правила за якими модель “приймає рішення”. Ці правила однакові для всіх випадків (наприклад, ваги у лінійних моделях). Раніше доводилося обирати між точністю моделей та їх глобальною пояснюваністю.

Розрізняють "глобальну" та "локальну" пояснюваність. "Глобальна" пояснюваність - ви можете пояснити, правила за якими модель "приймає рішення". Ці правила однакові для всіх випадків (наприклад, ваги у лінійних моделях). "Локальна пояснюваність" - пояснює вагу ознак для окремих точок і зазвичай передбачає побудову додаткової моделі в цих точках. Ось приклад з з статті: "Why Should I Trust You?": Explaining the Predictions of Any Classifier (Ribeiro, Singh, and Guestrin 2016) де було запропоновано LIME(Locally Interpretable Model-Agnostic Explanations).

Наприклад, якщо ви застосували алгоритм для визначення об'єктів на фото і отримали результати: "електрогітара", "акустична гітара" та "лабрадор", то візуалізовані "ознаки, які відповідають за результат" виглядають так:

Або якщо ви натренуєте класифікатор "позитивний - негативний" відгук та візуалізуєте слова, які приводять до такого результату:

Чи визначаєте фактори, які впливали, чи врятуються пасажири Тітаніка. Аналогічно можна візуалізувати фактори, які визначили ймовірність конкретного діагнозу, ймовірність видачі кредиту чи конкретного продукту на вашому сайті.