AIの業務適用で求められる説明可能なAI（XAI）を解説　-Part2 実践編

# はじめに
はじめまして。社内でデータサイエンティストを務めております@yoshie_ikenoです。

NTTデータ テクノロジーコンサルティング事業本部では、お客様企業のAI・データ活用を、コンサルティングから基盤構築、実行支援を通じた成果創出までワンストップで創出しており、その支援テクノロジーの一つとして DataRobot を提供しております。

今回は、2025年2月に開催した[AIの業務適用で求められる説明可能なAI（XAI）を解説](https://go.nttdata.com/l/547422/2024-12-18/8xxg57)セミナーでご紹介させていただいた内容を元に[理論編](https://qiita.com/yoshie_ikeno/items/8531377aa178c9d446c8)と実践編に分けて、XAIが必要とされる背景から技術、DataRobotを活用したXAIの活用事例についてご紹介をします。
セミナーは期間限定でオンデマンド配信中です。
本ブログは、その実践編として、デモデータを使ったXAIの具体的な活用事例や今後の展望についてご説明します。
XAIとはそもそも何なのかを知りたい方は、[理論編](https://qiita.com/yoshie_ikeno/items/8531377aa178c9d446c8)でXAIが必要とされる背景や代表的な技術について解説しているので、こちらもぜひご覧ください。

# DataRobotについて
DataRobot社は、人工知能（AI）に対するユニークなコラボレーション型のアプローチであるバリュー・ドリブン AIのリーダーです。

https://www.datarobot.com/jp/

DataRobot社の製品であるDataRobotは、自動機械学習（AutoML）プラットフォームであり、機械学習モデルの構築、トレーニング、評価、デプロイメントを自動化することができます。複雑なデータ分析を迅速かつ簡単に実行し、優れた予測モデルの作成をサポートすることが可能です。
近年では生成AI機能も強化し、予測AIとのコラボレーションによってさらなるAIサクセスの実現を加速させています。

# 本記事の想定読者
- AIを活用してみたいが、**ブラックボックス**だと言われていて不安
- AIの**予測の根拠**を説明できず、課題を感じている
- AIの**公平性**、**説明性**、**透明性**を担保できず、課題を感じている

# DataRobotを活用したXAIの活用事例
## 想定シナリオ
ローン申請に対して、申請者の情報から貸し倒れ確率を予測するモデルを構築しています。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/e6676cd6-4800-4ace-81ae-9419da64faf2.png)

このモデルを業務適用するために、上司や現場メンバへモデルの説明をする。
業務適用した後も、貸し倒れのリスクが高いと予測された申請者に対しては、貸出を拒否することになりますが、拒否理由を顧客に説明するシーンが想定されます。
貸し倒れの予測値を出すだけではなく、予測の説明が求められた場合を想定して、具体的なXAIの活用事例を紹介します。

## 使用するデータ
申請したローン契約情報、個人情報、外部情報、目的変数（＝貸し倒れ）が含まれたデータをモデルの学習データに利用し、貸し倒れを予測するモデルを構築します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/870f49c1-a641-4d13-9984-fc933697dbea.png)

## XAIの具体的な活用事例
### モデルが何を重視して予測しているのか知りたい場合
モデルをビジネス導入する際に、現場へモデルの説明をすることを想定し、**モデルの予測傾向がドメイン知識や直感に則したものなのか**確認します。
今回は、モデル全体の振る舞いとして、予測に有用だった特徴量が何かを確認するため、「特徴量のインパクト」を見ていきます。「特徴量のインパクト」では、SHAPとPermutation Importanceの2パターンの結果を確認することができます。
今回はPermutation Importanceで予測に有用な特徴量を確認していきます。

こちらが、「特徴量のインパクト」の画面です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/b5adb039-75cc-494e-a2eb-28380849bd70.png)
予測に有用だった特徴量が上から順に並んでおり、横軸は最も有用だった「信用」を100％としたときの相対的な有用性を表しています。
この結果を見ると、最も予測に対する有用性が高い特徴量は 「信用」、次点で 「ローン申請額」 「年収」 と続いており、それぞれ 「信用」 を100％としたときに、27%、12%程度の有用性があると分かりました。
この結果を現場にも説明し、ドメイン知識や直感に則しているかを確認してもらいます。
これにより、現場にモデルを導入する際の説明に活用する（＝予測の透明性を高める）ことができます。

### 各特徴量と予測値の1対1の関係を確認したい場合
モデルをビジネス導入する際に、現場へモデルの説明をすることを想定し、直感やドメイン知識通り、**ローン申請額が増加すると貸し倒れ率は増加するのか**を確認します。
今回は、モデル全体の振る舞いとして、ある特定の特徴量に注目し、その特徴量と予測値の関係性を確認するため、「特徴量ごとの作用」を見ていきます。
「特徴量ごとの作用」は、Partial Dependence PlotというXAIの技術を活用しています。

こちらが、「特徴量ごとの作用」の画面です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/ac07f910-489c-4e33-ad69-8934a178879c.png)
縦軸が、貸し倒れの予測値で、横軸がローン申請額の値になっています。
この結果を見ると、ローン申請額が増加すると、貸し倒れ確率が線形に増加する傾向があると分かりました。
先ほどと同様に、現場にモデルを導入する際の説明に活用する（＝予測の透明性を高める）ことができます。

### 特定のレコードの予測結果の理由が知りたい場合 
審査結果を顧客に説明することを想定し、ある1人の顧客の貸し倒れ予測の結果について、どの特徴量がどの程度この顧客の貸し倒れ確率に影響を及ぼしているかを確認します。
今回は、ある1つの予測結果に対する根拠を確認するため、「個々の予測の説明」を見ていきます。
「個々の予測の説明」は、SHAPというXAIの技術を活用しています。

こちらが、「個々の予測の説明」の画面です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/d98446d6-3c22-47c6-b728-3cba95d6fe1c.png)
ある顧客の貸し倒れ確率が、51％と高く予測されています。
貸し倒れ確率を増減させた主な要素として、
- 「信用」がEであること
- 「ローン申請額」が250万円であること
- 「勤務先情報」が欠損していること

が分かりました。
これにより、審査結果の理由を定量的にお客様に説明する（＝説明責任を果たす）ことができます。

# 今後の展望
## ビジネスで求められる説明とは
XAIで説明できることと、ビジネスで求められる説明は必ずしも一致しません。
ビジネス現場の要件を整理し、説明相手と目的に応じた方法で納得感をどう醸成させるかが重要になります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/944560be-3876-437b-ae60-56b0130eb718.png)

# 生成AIを組み合わせた活用例
XAIだけでは人を納得させるのは難しいですが、XAIと生成AIを組み合わせることで、より人間が解釈しやすい表現とし、納得感のある説明にすることが可能になります。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/bfc528ff-4b02-4265-9b38-344db137ea2b.png)

実現方法の詳細は、[DataRobotと生成AIで顧客へのメッセージを自動作成してみた](https://qiita.com/hk13/items/a561b3a1e2ccbcbc4fd9)でも紹介しているので、ご参照下さい。

## まとめ
XAIの実践編として、DataRobotを活用したXAIの具体的な事例と今後の展望についてご紹介しました。
私自身もブログ執筆しながら、AIを業務適用するために不可欠な技術だということを再認識しました。

今後も他の機能紹介記事や、デモ記事を紹介していきたいと思います！

### 参考書籍
本ブログ作成にあたっては、下記書籍を参考にしました。
1. XAI(説明可能なAI)--そのとき人工知能はどう考えたのか? (AI/Data Science実務選書),リックテレコム
2. 機械学習を解釈する技術〜予測力と説明力を両立する実践テクニック,技術評論社

## 仲間募集

NTTデータ テクノロジーコンサルティング事業本部 では、以下の職種を募集しています。

<details><summary>1. クラウド技術を活用したデータ分析プラットフォームの開発・構築(ITアーキテクト/クラウドエンジニア)</summary>

クラウド／プラットフォーム技術の知見に基づき、DWH、BI、ETL領域におけるソリューション開発を推進します。
https://enterprise-aiiot.nttdata.com/recruitment/career_sp/cloud_engineer

</details>

<details><summary>2. データサイエンス領域（データサイエンティスト／データアナリスト）</summary>

データ活用／情報処理／AI／BI／統計学などの情報科学を活用し、よりデータサイエンスの観点から、データ分析プロジェクトのリーダーとしてお客様のDX／デジタルサクセスを推進します。
https://enterprise-aiiot.nttdata.com/recruitment/career_sp/datascientist

</details>

<details><summary>3.お客様のAI活用の成功を推進するAIサクセスマネージャー</summary>

DataRobotをはじめとしたAIソリューションやサービスを使って、
お客様のAIプロジェクトを成功させ、ビジネス価値を創出するための活動を実施し、
お客様内でのAI活用を拡大、NTTデータが提供するAIソリューションの利用継続を推進していただく人材を募集しています。
https://nttdata.jposting.net/u/job.phtml?job_code=804

</details>

<details><summary>4.DX／デジタルサクセスを推進するデータサイエンティスト《管理職/管理職候補》</summary>
データ分析プロジェクトのリーダとして、正確な課題の把握、適切な評価指標の設定、分析計画策定や適切な分析手法や技術の評価・選定といったデータ活用の具現化、高度化を行い分析結果の見える化・お客様の納得感醸成を行うことで、ビジネス成果・価値を出すアクションへとつなげることができるデータサイエンティスト人材を募集しています。

https://nttdata.jposting.net/u/job.phtml?job_code=898

</details>


## ソリューション紹介

<details><summary> Trusted Data Foundationについて</summary><div>

～データ資産を分析活用するための環境をオールインワンで提供するソリューション～
https://www.nttdata.com/jp/ja/lineup/tdf/
最新のクラウド技術を採用して弊社が独自に設計したリファレンスアーキテクチャ（Datalake+DWH+AI/BI）を顧客要件に合わせてカスタマイズして提供します。
可視化、機械学習、DeepLearningなどデータ資産を分析活用するための環境がオールインワンで用意されており、これまでとは別次元の量と質のデータを用いてアジリティ高くDX推進を実現できます。

</div></details>

<details><summary> TDFⓇ-AM（Trusted Data Foundation - Analytics Managed Service）について</summary><div>

～データ活用基盤の段階的な拡張支援（Quick Start) と保守運用のマネジメント（Analytics Managed）をご提供することでお客様のDXを成功に導く、データ活用プラットフォームサービス～
https://www.nttdata.com/jp/ja/lineup/tdf_am/
TDFⓇ-AMは、データ活用をQuickに始めることができ、データ活用の成熟度に応じて段階的に環境を拡張します。プラットフォームの保守運用はNTTデータが一括で実施し、お客様は成果創出に専念することが可能です。また、日々最新のテクノロジーをキャッチアップし、常に活用しやすい環境を提供します。なお、ご要望に応じて上流のコンサルティングフェーズからAI/BIなどのデータ活用支援に至るまで、End to Endで課題解決に向けて伴走することも可能です。

</div></details>


<details><summary> NTTデータとDatabricksについて </summary>
NTTデータは、お客様企業のデジタル変革・DXの成功に向けて、「databricks」のソリューションの提供に加え、情報活用戦略の立案から、AI技術の活用も含めたアナリティクス、分析基盤構築・運用、分析業務のアウトソースまで、ワンストップの支援を提供いたします。

https://www.nttdata.com/jp/ja/lineup/databricks/

</details>


<details><summary>NTTデータとTableauについて </summary><div>

ビジュアル分析プラットフォームのTableauと2014年にパートナー契約を締結し、自社の経営ダッシュボード基盤への採用や独自のコンピテンシーセンターの設置などの取り組みを進めてきました。さらに2019年度にはSalesforceとワンストップでのサービスを提供開始するなど、積極的にビジネスを展開しています。

これまでPartner of the Year, Japanを4年連続で受賞しており、2021年にはアジア太平洋地域で最もビジネスに貢献したパートナーとして表彰されました。
また、2020年度からは、Tableauを活用したデータ活用促進のコンサルティングや導入サービスの他、AI活用やデータマネジメント整備など、お客さまの企業全体のデータ活用民主化を成功させるためのノウハウ・方法論を体系化した「デジタルサクセス」プログラムを提供開始しています。
https://www.nttdata.com/jp/ja/lineup/tableau/

</div></details>


<details><summary>NTTデータとAlteryxについて </summary><div>
Alteryxは、業務ユーザーからIT部門まで誰でも使えるセルフサービス分析プラットフォームです。

Alteryx導入の豊富な実績を持つNTTデータは、最高位にあたるAlteryx Premiumパートナーとしてお客さまをご支援します。

導入時のプロフェッショナル支援など独自メニューを整備し、特定の業種によらない多くのお客さまに、Alteryxを活用したサービスの強化・拡充を提供します。

https://www.nttdata.com/jp/ja/lineup/alteryx/

</div></details>

<details><summary>NTTデータとDataRobotについて </summary><div>
DataRobotは、包括的なAIライフサイクルプラットフォームです。

NTTデータはDataRobot社と戦略的資本業務提携を行い、経験豊富なデータサイエンティストがAI・データ活用を起点にお客様のビジネスにおける価値創出をご支援します。

https://www.nttdata.com/jp/ja/lineup/datarobot/

</div></details>

<details><summary> NTTデータとInformaticaについて</summary><div>

データ連携や処理方式を専門領域として10年以上取り組んできたプロ集団であるNTTデータは、データマネジメント領域でグローバルでの高い評価を得ているInformatica社とパートナーシップを結び、サービス強化を推進しています。
https://www.nttdata.com/jp/ja/lineup/informatica/

</div></details>

<details><summary>NTTデータとSnowflakeについて </summary><div>
NTTデータでは、Snowflake Inc.とソリューションパートナー契約を締結し、クラウド・データプラットフォーム「Snowflake」の導入・構築、および活用支援を開始しています。

NTTデータではこれまでも、独自ノウハウに基づき、ビッグデータ・AIなど領域に係る市場競争力のあるさまざまなソリューションパートナーとともにエコシステムを形成し、お客さまのビジネス変革を導いてきました。
Snowflakeは、これら先端テクノロジーとのエコシステムの形成に強みがあり、NTTデータはこれらを組み合わせることでお客さまに最適なインテグレーションをご提供いたします。

https://www.nttdata.com/jp/ja/lineup/snowflake/

</div></details>