МЕТОДЫ EXPLAINABLE AI И ИХ ПРИМЕНЕНИЕ В ФИНАНСОВЫХ И УПРАВЛЕНЧЕСКИХ РЕШЕНИЯХ

АННОТАЦИЯ

Алгоритмы машинного обучения, особенно глубокие нейронные сети, все активнее используются для решения сложных финансовых и управленческих задач: от кредитного скоринга до стратегического планирования. Однако повышение эффективности нередко сопровождается снижением прозрачности таких «черных ящиков» (black-box models). Концепция Explainable AI (XAI) нацелена на то, чтобы обеспечить понимание внутренних причин или ключевых факторов, повлиявших на результат работы алгоритмов. В данной статье рассматриваются основные методы XAI (LIME, SHAP, контрфактические объяснения и др.), описывается расширенная схема включения XAI в контур принятия решений, а также приводится эксперимент на реальном открытом датасете кредитного скоринга, демонстрирующий преимущества интерпретируемости в повышении доверия клиентов и соблюдении нормативных требований. Кроме того, обсуждается, как интеграция нескольких XAI-инструментов в единую систему влияет на управленческие и социальные аспекты, создавая новые возможности для практики и дальнейших исследований.

ABSTRACT

Machine learning algorithms, especially deep neural networks, are increasingly employed to address complex financial and managerial tasks, ranging from credit scoring to strategic planning. However, higher efficiency often comes at the expense of reduced transparency in such “black-box” models. The concept of Explainable AI (XAI) aims to provide an understanding of the internal factors that influence an algorithm’s outcome. This paper reviews the main XAI methods (LIME, SHAP, counterfactual explanations, etc.), describes an extended framework for incorporating XAI into the decision-making process, and presents an experiment on a real open-access credit scoring dataset, demonstrating how interpretability enhances client trust and meets regulatory requirements. Additionally, the study discusses how integrating multiple XAI tools into a unified system can affect managerial and social aspects, creating new opportunities for practical applications and further research.

Ключевые слова: Explainable AI, XAI, интерпретируемость, LIME, SHAP, контрфактические объяснения, кредитный скоринг, финансирование, управление рисками.

Keywords: Explainable AI, XAI, interpretability, LIME, SHAP, counterfactual explanations, credit scoring, finance, risk management

Введение. Современные методы машинного обучения демонстрируют высокую эффективность в анализе больших данных и повышении точности прогнозов в финансовом секторе и корпоративном управлении [1, 2].В частности, применение сложных (черных) моделей (например, градиентного бустинга или глубоких нейронных сетей) порождает проблему их непрозрачности [3, 4]. Эта проблема особенно актуальна там, где от решений алгоритма зависит материальное благополучие клиентов и компаний: отказ или одобрение кредита, оценка страховых рисков, а также широкий спектр управленческих задач (например, распределение инвестиций или выявление мошеннических операций) [5, 6].

Как уже отмечалось в ряде исследований и нормативных документов (например, в General Data Protection Regulation, GDPR, для стран ЕС [7]), организации должны предоставлять пользователям обоснование при вынесении алгоритмических решений. С другой стороны, компании стремятся укрепить доверие клиентов, минимизировать репутационные риски и повысить управляемость внутренних процессов [8, 9]. На этом фоне одним из ключевых направлений исследований стало XAI где разрабатываются подходы к интерпретации чёрных ящиков [1, 3, 10]. К ним относятся методы пост-фактум, такие как LIME, SHAP, контрфактические объяснения, а также inherently interpretable модели (например, решающие деревья и простые линейные классификаторы) [4, 11, 12]. В задачах кредитного скоринга, страхования и других финансовых сервисах XAI особенно востребован, поскольку интерпретируемость решений важна как для клиента, так и для соответствия нормативно-правовым актам [7, 9].

Целью настоящей статьи является:

1. Провести систематизацию основных подходов XAI и классифицировать их с точки зрения возможностей применения в финансовых и управленческих задачах.
2. Показать на примере кредитного скоринга практическую значимость XAI при обосновании сложных решений.
3. Рассмотреть влияние XAI на доверие клиентов, соответствие нормативным требованиям (например, GDPR), а также на формирование более прозрачных управленческих процессов.

Среди ключевых вкладов данной работы можно выделить несколько аспектов. Во-первых, обобщаются различные пост-хок (post-hoc) и inherently interpretable методы, детально анализируются их сильные и слабые стороны с учетом специфики реальной банковской практики. Во-вторых, разработана концептуальная схема интеграции XAI в контур принятия решений, охватывающая не только технические инструменты (например, SHAP), но и организационные меры (коммуникация с клиентами, аудит моделей). Наконец, приведен эксперимент с реальными данными, демонстрирующий, как системное применение XAI повышает доверие к алгоритмам, упрощает взаимодействие с регуляторами и снижает репутационные риски.

Основные методы XAI. XAI охватывает большое разнообразие подходов к интерпретации черных ящиков, которые условно делятся на пост-хок (post-hoc) и (b) изначально интерпретируемые (inherently interpretable) модели. Ниже кратко рассмотрены ключевые пост-хок методы (LIME, SHAP, контрфактические объяснения, Anchors, Grad-CAM/Integrated Gradients) и обсуждаются модели, которые изначально строятся с учетом интерпретируемости (решающие деревья, логистическая регрессия, GAMs). Также представлена сравнительная таблица с характеристиками каждого метода и предложена простейшая схема процесса XAI.

Post-hoc методы. Одним из самых популярных инструментов интерпретации считается метод LIME (Local Interpretable Model-agnostic Explanations). Он строит локальную интерпретируемую модель (обычно линейную) вокруг конкретного входного примера, приближая поведение основной (черной) модели в небольшой окрестности. Формально данная задача может быть записана следующим образом:

,

где  исходная черная модель, — интерпретируемая модель из заранее выбранного семейства , — мера расхождения между предсказаниями  и ,​ — распределение весов, подчеркивающих близость к анализируемой точке , а  — мера  простоты интерпретируемой модели. Основное преимущество LIME — это гибкость и возможность использовать его с любым типом исходной модели (нейросеть, бустинг, SVM и т. п.). При этом у метода есть недостаток: он дает объяснение лишь в локальной области вокруг отдельного примера и может проявлять нестабильность при небольших изменениях входных данных.

Другой широко распространенный метод — SHAP (SHapley Additive exPlanations), основанный на вычислении значений Шэпли из теории игр. Суть подхода заключается в том, чтобы оценить вклад каждого признака в предсказание на основе всех возможных подмножеств признаков. В математическом выражении значение Шэпли для признака iii обычно задается формулой:

,

где  — общее число признаков,  — подмножество признаков, а  — предсказание модели, используемой только на признаках из . SHAP имеет сильный теоретический фундамент и дает возможность выявить вклад признаков как в локальном, так и в глобальном масштабе. Основная трудность, с которой сталкиваются на практике, связана с вычислительной сложностью, особенно при большом числе признаков или высокой размерности данных.

Методы контрфактических объяснений (Counterfactual Explanations) ориентированы на определение минимальных изменений во входном векторе , которые способны перевести предсказание  из одной категории или диапазона в другой. В упрощенном виде это можно сформулировать следующим образом:

 при условии ,

где  — выбранная метрика стоимости изменений (например, сумма абсолютных разниц или число скорректированных признаков). Такие объяснения особенно привлекательны с точки зрения пользователя, так как прямо указывают, что необходимо изменить (увеличить доход, сократить просрочки), чтобы достичь желаемого результата (например, повысить вероятность одобрения кредита). Однако поиск контрфактических сценариев бывает нетривиальным, и полученное решение не всегда гарантированно единственное или полностью реалистичное.

Метод Anchors сосредоточен на выделении набора якорных правил (if-then), которые с высокой точностью описывают поведение модели в локальной области. Он дает компактные, человекочитаемые условия (например, «доход > N и отсутствие просрочек»), но при этом может оказаться довольно сложным в генерации, когда речь идет о многомерных и гетерогенных данных. Наконец, визуально-ориентированные методы (Grad-CAM, Integrated Gradients) хорошо подходят для задач компьютерного зрения, позволяя выделять участки изображения, наиболее сильно влияющие на решение сети. Тем не менее, их применимость к табличным или текстовым данным ограничена.

Inherently interpretable модели. В отличие от post-hoc-подходов, ориентированных на разъяснение уже обученной сложной модели, существует класс так называемых inherently interpretable моделей. Они проектируются таким образом, чтобы их структура и логику можно было прочитать из коробки. Классическим примером являются решающие деревья (Decision Trees), где при небольшой глубине каждое ветвление отвечает простому правилу if-then. Логистическая регрессия (Logistic Regression) также считается прозрачной, поскольку ее параметры напрямую показывают вклад признаков в итоговую вероятность. Однако в случае с сильно нелинейными или высоко размерными данными и дерево, и логистическая регрессия могут проявлять недостаточную гибкость либо терять свою интерпретируемость из-за усложнения структуры (слишком большие деревья, много взаимосвязанных переменных и т. п.). С другой стороны, обобщенные аддитивные модели (Generalized Additive Models, GAMs) зачастую помогают достичь более тонкого баланса, сохраняя интерпретируемость и учитывая при этом некоторые нелинейные эффекты в данных.

Решающие деревья. Обычно они не описываются одной глобальной формулой, так как решение представлено древовидной структурой правил вида if-then. Тем не менее, при обучении дерева мы стремимся минимизировать функцию потерь, которая может выражаться, например, через энтропию или индекс Джини. Для задачи классификации (бинарной) при выборе лучшего разбиения на каждом узле можно рассматривать критерий:

,

где   — мера неоднородности выборки (например, энтропия), а ​ и ​ — доли объектов, попавших в левую и правую ветви соответственно. Чем больше , тем более выгодно сделать данное разбиение (ветвление).

Логистическая регрессия

В самом простом виде модель описывается логистической функцией:

,

где  — вектор признаков, а ​ — параметры (веса) модели. Интерпретируемость достигается за счет того, что каждый коэффициент  указывает, каким образом соответствующий признак ​ влияет на логиты вероятности события (например, одобрение кредита). Чем больше (по модулю) ​, тем сильнее влияние признака на исход.

Обобщенные аддитивные модели. Это более гибкий вариант линейной модели, в котором линейная связь заменяется суммой гладких нелинейных функций от отдельных признаков:

,

где  — математическое ожидание отклика (например, вероятность класса),  — некоторая связующая функция (логит, лог и т. п.), а  — гладкие функции (например, сплайны или кусочно-линейные аппроксимации). Достоинство такого подхода состоит в том, что каждый признак работает через свою собственную функцию , что упрощает интерпретацию. Аналитик может визуализировать графики  и непосредственно увидеть, как меняется вклад признака при разных его значениях.

Inherently interpretable модели предоставляют более прозрачную логику работы из коробки, а их вычислительная реализация обычно проще и быстрее, чем комплексные пост-хок-методы. Однако в некоторых задачах (особенно с очень сложными нелинейными зависимостями и большим числом признаков) они могут уступать по точности глубоким нейросетям или ансамблям, что вынуждает искать баланс между уровнем интерпретируемости и качеством предсказаний.

Сравнительная таблица и схема процесса XAI

Для наглядного сопоставления различных подходов к XAI в Таблице 1 приведены основные характеристики каждого из рассмотренных методов, включая их ключевые достоинства и ограничения, а также типичные сферы применения.

Таблица 1.

Сравнительные характеристики методов XAI

Выбор оптимального метода зависит типа данных (табличные, изображения, тексты), количества и структуры признаков, а также от требований к глубине, точности и скорости объяснения. В частности, в финансовом секторе нередко требуется формировать пояснения к каждому кредитному решению (онлайн-режим), что может накладывать жесткие ограничения на вычислительную сложность (например, при использовании SHAP) или устойчивость (в случае LIME). Для подтверждения этих наблюдений на практике далее будет рассмотрен эксперимент на реальных данных кредитного скоринга, где оценим, каким образом пост-хок-методы могут повысить прозрачность нейросетевых решений.

Внедрение XAI в контур принятия решений

Рисунок 2 демонстрирует процесс промышленной интеграции XAI в банковскую инфраструктуру. Он охватывает подготовку данных (Data Pipeline), обучение основной модели машинного обучения (ML/NN), применение механизмов объяснений (LIME, SHAP, контрфактические подходы, Anchors), а также взаимодействие с заинтересованными сторонами (менеджерами, клиентами, аудиторами) и регуляторами. Важным элементом является и обратная связь (feedback), позволяющая уточнять модель, выявлять потенциальные источники дискриминации (bias) и корректировать правила принятия решений.

Рисунок 1. Интеграция XAI в общий процесс: от сбора данных и обучения модели до генерации объяснений и взаимодействия с регуляторами

Как видно из Рисунка 2, данные сначала проходят стадию предварительной обработки (очистка пропусков, кодирование категориальных признаков, агрегация статистик и т. д.). Затем обучается основная модель (это может быть нейронная сеть, градиентный бустинг или любая другая черная модель). После развертывания в промышленной среде (prod) к ней подключается модуль XAI, который сочетает несколько инструментов (LIME, SHAP, контрфактические объяснения, Anchors) и отвечает за генерацию пояснительных отчетов. Эти отчёты (explanation reports) поступают в пользовательский интерфейс (сотрудники банка, клиенты) и, при необходимости, в надзорные органы, осуществляющие аудит моделей и проверку на соответствие регуляторным требованиям (например, отсутствие дискриминации по полу/возрасту).

Присутствие блока «Обратная связь (feedback)» — ключевой элемент итерационного процесса. Менеджеры и аналитики, получая жалобы клиентов или замечания регуляторов, могут корректировать как базовую модель, так и правила XAI (например, уточнять пороги для контрфактических изменений или обновлять шаблоны пояснительных сообщений). Тем самым XAI не только даёт снимок причин текущего решения, но и помогает адаптировать систему принятия решений к новым рыночным условиям и ожиданиям общества.

Эксперимент с открытым датасетом кредитных карт

Данные и подготовка выборки

В качестве тестового набора данных для демонстрации возможностей XAI выбран датасет Default of Credit Card Clients из UCI Machine Learning Repository [14]. Он содержит 30 000 записей, каждая из которых соответствует клиенту банка с кредитной картой и включает такие параметры, как лимит кредитной карты (Limit Balance), пол (Gender), семейное положение (Marriage), возраст (Age), сведения о платежах за последние шесть месяцев (PAY_i), суммы задолженностей (BILL_AMT_i) и целевую метку default/no-default, отражающую факт (или отсутствие) дефолта по кредиту. Исходный код эксперимента (Python, TensorFlow, scikit-learn) размещён в открытом GitHub-репозитории [13].

В процессе предобработки удалялись записи с пропущенными значениями, а числовые признаки (лимит карты, суммы задолженностей, суммы выплат) подвергались нормализации (например, StandardScaler) для ускорения сходимости при обучении нейронной сети. Большинство категориальных признаков уже выражено в числовой форме (например, SEX = 1 или 2, MARRIAGE = 1, 2, 3), однако при необходимости можно использовать One-Hot или Label Encoding. В итоге формируется окончательная выборка с несколькими десятками признаков и бинарной целевой меткой (default или no-default).

Обучение модели

Все вычислительные эксперименты проводились в следующей конфигурации:

• ОС: Ubuntu 22.04.2 LTS (WSL2 под Windows 10/11)
• CPU: Intel(R) Core(TM) i7‑10750H @ 2.60 GHz (6 ядер / 12 потоков)
• ОЗУ: ~23 ГБ (доступно в WSL)
• Диск: SSD NVMe со скоростью чтения ~3200 МБ/с и записи ~2000 МБ/с

Для классификации клиентов на дефолтных (1) и недефолтных (0) была выбрана модель многослойного перцептрона (MLP), реализованная в среде TensorFlow. Архитектура содержала два скрытых слоя по 64 нейрона с активацией ReLU и выходной сигмоидальный нейрон для вероятности дефолта. Датасет разделили на обучающую (80%) и тестовую (20%) выборки, причем параметр stratify сохранил пропорции классов. Оптимизация производилась с помощью Adam (learning rate=0.001), размер мини-батча — 256, количество эпох — 20. После обучения итоговая точность на тестовой выборке достигла порядка 81.7%, а F1-мера — около 0.47, что указывает на дисбаланс классов: модель гораздо лучше распознает нулевой класс (нет дефолта), чем единичный (дефолт).

Для более детальной оценки полученных результатов была построена матрица ошибок, где по осям указаны истинные метки (0/1) и предсказанные моделью (0/1). Визуальное представление матрицы показано на Рисунке 2, из которого видно, что наибольшее количество ошибок приходится на неправильное определение дефолта у клиентов, которые, по сути, являются единичным классом (дефолт).

Рисунок 2. Матрица ошибок нейросетевой модели на тестовой выборке

SHAP-анализ

Чтобы понять, какие признаки делают наибольший вклад в итоговое решение модели, был использован метод SHAP (SHapley Additive exPlanations). Он вычисляет вклад каждого признака в прогноз, опираясь на теорию кооперативных игр. На Рисунке 3 приведен так называемый beeswarm-график, где каждая точка отображает значение SHAP конкретного признака для одного наблюдения. Цвет точек отражает величину самого признака (красный — высокое значение, синий — низкое).

Рисунок 3. Beeswarm-график SHAP с распределением значений по разным признакам

На Рисунке 4 показана столбчатая диаграмма с средними абсолютными значениями SHAP, позволяющая понять, какие признаки в целом наиболее сильно влияют на решения сети. Выяснилось, что главными факторами оказались признаки, связанные с историей просрочек (PAY_i), лимитом кредитной карты (LIMIT_BAL) и суммами задолженностей (BILL_AMT). Более высокие значения PAY_i заметно увеличивают вероятность дефолта, тогда как большой лимит (LIMIT_BAL) при прочих равных условиях коррелирует с более низким риском.

Рисунок 4. Столбчатая диаграмма SHAP, отражающая рейтинг важности признаков

Итоговые метрики и выводы

Итоговая сводная Таблица 2 иллюстрирует ключевые метрики на тестовой выборке. Точность ~0.817 говорит о том, что подавляющее большинство клиентов модель классифицирует верно, однако низкая F1-мера указывает на необходимость дополнительной настройки (баланс классов, подбор порога) при фокусе на детекции дефолта.

Таблица 2.

Итоговые показатели нейросетевой модели на тестовой выборке

Даже простой MLP-модель дает неплохой уровень точности, особенно для не-дефолтного класса, но для класса дефолт остается заметное количество ложных негативов. Инструмент SHAP обеспечивает прозрачность результатов, показывая, какие признаки в наибольшей степени влияют на решение модели и в каком направлении (повышая или понижая вероятность дефолта). Подобные механизмы важны для финансовых организаций, так как повышают доверие клиентов и соответствуют регуляторным требованиям по объяснимости (XAI).

Обсуждение результатов.

Результаты эксперимента на датасете UCI “Default of Credit Card Clients” показали, что даже относительно простая нейросетевая модель (MLP) даёт точность порядка 81.7 % при классификации дефолтов, однако её F1-мера остается сравнительно низкой, указывая на сложности при распознавании проблемных клиентов. Применение инструментов Explainable AI (в частности, SHAP) позволило выяснить, что на решение модели сильнее всего влияют история просрочек, лимит кредитной карты и сумма задолженностей. Это даёт финансовым организациям основание более тщательно контролировать соответствующие факторы в скоринговом процессе.

Важным прикладным аспектом является внедрение XAI в промышленную среду. На практике целесообразно провести пилотный проект в ограниченном сегменте кредитных заявок, чтобы собрать обратную связь о том, как клиенты реагируют на появление пояснений (сократится ли число жалоб, повысится ли понимание причин отказа или одобрения) и как это отразится на ключевых метриках (например, уровень невозврата кредитов, скорость принятия решения).

Такой подход упрощает процесс комплаенса: детализированные объяснения позволяют надзорным органам и внутренним аудиторам банка оперативно проверять логику скоринга, а при возникновении сомнений — корректировать модель или пересматривать набор признаков.

 В долгосрочной перспективе прозрачность и понятность алгоритмических решений укрепляют доверие клиентов и положительно влияют на репутацию банка.

Пользователи видят не просто формальное «одобрено/не одобрено», а получают чёткую мотивацию решения и могут оценить, какие шаги помогут повысить шансы на одобрение кредита.

При этом регуляторы всё чаще настаивают на недопустимости дискриминации и необходимости предоставлять осмысленное объяснение при автоматизированной обработке личных данных (GDPR и аналогичные правила).

Инструменты XAI (например, SHAP или контрфактические объяснения) помогают банку количественно доказывать отсутствие предвзятости по полу, возрасту или другим чувствительным признакам. Если в ходе аудита выявляется перекос, его можно устранить путем корректировки исходной выборки либо изменения параметров модели.

Таким образом, XAI становится неотъемлемым элементом ответственной и этичной аналитики в финансовой сфере.

Заключение.

XAI играет ключевую роль в повышении прозрачности и доверия к моделям машинного обучения в финансовом секторе. В данном исследовании показано, что даже при использовании относительно простой архитектуры (MLP) можно существенно повысить интерпретируемость решений с помощью таких пост-хок-методов, как SHAP или контрфактические объяснения.

Это не только облегчает взаимодействие с регуляторами, но и повышает лояльность клиентов, позволяя формировать детальные и понятные пояснения.

В дальнейших исследованиях планируется улучшить качество классификации дефолтов путём более тонкой балансировки классов и тонкой настройки гиперпараметров, а также расширить функциональность XAI за счёт мультимодальных подходов (учитывающих текстовые и поведенческие признаки).

Не менее важным направлением остается стандартизация прозрачных алгоритмических решений, что позволит банкам и другим организациям единообразно соблюдать регулятивные требования и удовлетворять ожидания общества в справедливых и понятных автоматизированных решениях. В завершение следует отметить, что настоящее исследование вносит вклад в область XAI, демонстрируя комплексную интеграцию нескольких инструментов (SHAP, контрфактические объяснения, управление логами и правилами) в единую систему — от сбора и подготовки данных до предоставления пояснений конечному пользователю. Теоретические положения подтверждены результатами эксперимента на реальном банковском датасете, включая контрфактический анализ, который дает ответ не только «почему модель приняла решение», но и «что изменить, чтобы решение стало другим».

Список литературы:

1. Ribeiro, M. T., Singh, S., Guestrin, C. “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. Proceedings of KDD, 2016.
2. Lundberg, S. M., Lee, S.-I. A Unified Approach to Interpreting Model Predictions. Proceedings of NIPS, 2017.
3. Molnar, C. Interpretable Machine Learning. Online book, 2019.
4. Doshi-Velez, F., Kim, B. Towards A Rigorous Science of Interpretable Machine Learning. arXiv preprint arXiv:1702.08608, 2017.
5. Adadi, A., Berrada, M. Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI). IEEE Access, 2018.
6. Guidotti, R. et al. A Survey of Methods for Explaining Black Box Models. ACM Computing Surveys, 2018.
7. European Union. Regulation 2016/679 (General Data Protection Regulation), 2016.
8. Rudin, C. Please Stop Explaining Black Box Models for High Stakes Decisions and Use Interpretable Models Instead. Nature Machine Intelligence, 1, 2019.
9. Barocas, S., Hardt, M., Narayanan, A. Fairness and Machine Learning. Book, 2019.
10. Gunning, D. Explainable Artificial Intelligence (XAI). DARPA, 2019.
11. Carletti, E., Dell’Ariccia, G., Vihriälä, E. Credit Scoring in the Digital Age: The Role of AI and Big Data in the Financial Sector. IMF Working Paper, 2020.
12. Montavon, G., Samek, W., Müller, K.-R. Methods for Interpreting and Understanding Deep Neural Networks. Digital Signal Processing, 2018.
13. Открытый репозиторий [Электронный ресурс]. – Режим доступа: https://github.com/anchmelev/xai-credit-scoring (дата обращения: 10.03.2025).
14. UCI Machine Learning Repository [Электронный ресурс]. – Режим доступа: https://archive.ics.uci.edu/dataset/350/default+of+credit+card+clients (дата обращения: 10.12.2023).