AIの業務適用で求められる説明可能なAI（XAI）を解説　-Part1 理論編

# はじめに
はじめまして。社内でデータサイエンティストを務めております@yoshie_ikenoです。

NTTデータ テクノロジーコンサルティング事業本部では、お客様企業のAI・データ活用を、コンサルティングから基盤構築、実行支援を通じた成果創出までワンストップで創出しており、その支援テクノロジーの一つとして DataRobot を提供しております。

今回は、2025年2月に開催した[AIの業務適用で求められる説明可能なAI（XAI）を解説](https://go.nttdata.com/l/547422/2024-12-18/8xxg57)セミナーでご紹介させていただいた内容を元に理論編と実践編に分けて、XAIが必要とされる背景から技術、DataRobotを活用したXAIの活用事例についてご紹介をします。
セミナーは期間限定でオンデマンド配信中です。
本ブログは、その理論編として、XAIが必要とされる背景と代表的な技術についてご説明します。
[実践編](https://qiita.com/yoshie_ikeno/items/dd81d1b4205354ed35fb)では、デモデータを使ったXAIの具体的な活用事例や今後の展望について紹介してますので、こちらもぜひご覧ください。

# DataRobotについて
DataRobot社は、人工知能（AI）に対するユニークなコラボレーション型のアプローチであるバリュー・ドリブン AIのリーダーです。

https://www.datarobot.com/jp/

DataRobot社の製品であるDataRobotは、自動機械学習（AutoML）プラットフォームであり、機械学習モデルの構築、トレーニング、評価、デプロイメントを自動化することができます。複雑なデータ分析を迅速かつ簡単に実行し、優れた予測モデルの作成をサポートすることが可能です。
近年では生成AI機能も強化し、予測AIとのコラボレーションによってさらなるAIサクセスの実現を加速させています。

# 本記事の想定読者
- AIを活用してみたいが、**ブラックボックス**だと言われていて不安
- AIの**予測の根拠**を説明できず、課題を感じている
- AIの**公平性**、**説明性**、**透明性**を担保できず、課題を感じている

# XAI（説明可能なAI）の概略
## XAI（説明可能なAI）とは
XAIとは、AIの判断や予測根拠を人間が理解できる形で説明する技術や手法のことです。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/fd52b27d-544f-4ee3-a361-60e08b2ba802.png)

## 代表的なビジネス課題
AIのビジネス活用が広がるにつれ、ただ精度の良いAIではなく、説明可能であることが求められるシーンが多く出てきています。
<dl>
  <dt>公平性を担保したい</dt>
  <dd>学習データにバイアスが含まれると不公平な予測を行うリスクがある</dd>
  <dd>（例）社員の採用にAIを活用したいが、不公平な判断ロジックがないことを確認したい</dd>
  <dt>説明責任を果たしたい</dt>
  <dd>AIをビジネスに活用するため、予測の根拠を説明したり、問題が起きたときにその原因を説明したい</dd>
  <dd>（例）需要予測にAIを活用したいが、予測の根拠を説明して、上司や現場を説得する必要がある</dd>
  <dt>ビジネスへの期待効果</dt>
  <dd>AIが予測を外すと、命に係わる、多額の損失を生んでしまう可能性があり、AIの処理ロジックが明確になっている必要がある
</dd>
  <dd>（例）医療診断にAIを活用する際、AIの判断ロジックが明確になっている必要がある</dd>
</dl>

## XAIがもたらす効果とは
XAIを活用することで、意思決定の透明性や信頼性の向上、リスク管理の強化、要因分析による業務改善といった効果が期待できます。
<dl>
  <dt>説明責任を果たし、透明性を高めることで、意思決定の透明性と信頼性が向上する</dt>
  <dd>AIの予測結果がどの特徴量によって影響されたかが可視化され、ビジネス上の意思決定に対する透明性が向上します。</dd>
  <dd>これにより顧客やステークホルダーがAIの予測に対して信頼を持ちやすくなり、AI導入に対する心理的抵抗を軽減できます。</dd>
  <dt>公平性を担保し、説明責任を果たすことで、リスク管理を強化する</dt>
  <dd>AIがどのようにして判断を行っているかを理解することで、誤った予測や偏りのある結果を早期に検出し、リスクを軽減することができます。</dd>
  <dd>特に融資や医療診断などリスクの高い分野では、XAIによって判断根拠を明確にし、不正確な決定によるビジネスリスクを最小限に抑えることができます。</dd>
  <dt>予測の説明や透明性を活用することで、要因分析による業務改善にもつながる</dt>
  <dd>AIの予測結果だけでなく、予測に重要だった特徴量を見つけることができ、要因分析につなげることができます。</dd>
  <dd>例えば、B2Bのセールス活動において、どの顧客層が成約に寄与する要因かを特定することで、営業効率の向上やリード選定の精度向上を実現できます。</dd>
</dl>

## XAIの活用事例
XAIは、AI構築～業務適用の様々な場面で活用されます。
また、XAIの技術を活用し、AIの判断ロジックを要因分析や異常検知、マーケティングなどに応用するケースもあります。
### 1. AI構築～業務適用
- AI構築、トライアル（検証）
    - 精度改善のヒントを得る
    - 現場や上司へ予測の根拠を説明しAI活用について周囲の理解を得る
    - 業務適用判断
- 業務適用（本番）
    - 意思決定の根拠を納得できるように説明
    - 予測を外し損害が発生した場合、その理由を説明

### 2. AIの判断ロジックを活用
モデルの判断ロジックからルールを抽出し、要因分析、異常検知やマーケティングなどに活用する
>- 製造現場における不良発生原因の特定と、制御による生産性向上
>- 顧客の成約率向上に影響する要因特定による、効果的な施策の検討

# XAIの技術
## XAIの技術概要
XAIによるAIの説明は、対象とする説明範囲の違いによって「局所説明」と「大局説明」の２つに分類されます。

### 局所説明
個々の予測結果の判断理由を理解することを目的とします。「与えられる一つの事例（入力データ）に対する予測の過程」を説明します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/9eb1d67a-8f0c-4549-8488-5fbb9d3102ee.png)

### 大局説明
AIの全体的な振る舞いを理解することを目的とします。
様々な事例の予測を総合してみたときの「AI内部の支配的な傾向」を説明します。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/78f169c5-1c81-4186-bb4d-f5f5af2b15a7.png)

## 代表的なXAI技術
現在、膨大な種類のXAI技術が提案されています。
前述した通り、局所・大局説明で分類することもできますが、どんな種類のモデルでも利用できる”モデル非依存”のXAIもあれば、ディープラーニングに特化したXAIなど”モデル依存”のXAIもあります。

本ブログでは、”モデル非依存”のXAIを中心に、LIME、SHAP、Permutation Importance、Partial Dependence Plotの４つの技術についてご紹介します。
### LIME
説明対象データ近傍に生成したランダムデータをシンプルなモデル（線形モデルなど）を用いることで予測を説明する方法です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/aa2fa76f-8c18-4fbf-b0b1-728534dcb225.png)
### SHAP
特徴量の情報が加わることで予測値がベースラインから変化する大きさを求め、その平均値を貢献度とする手法です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/5953dd9e-d81b-4a9f-9c26-ebc017fccb42.png)

### Permutation Importance
確認したい特徴量の値をランダムシャッフルし、予測誤差の増減の度合いをその特徴量の貢献度とする手法です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/7417169f-73b4-4e76-962e-2f64e43aadb4.png)

### Partial Dependence Plot(PDP)
各データ点において他の特徴量を固定した条件下で、確認したい特徴量の値のみ変化させたときの予測平均を可視化する方法です。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/30ddfa4c-17ca-4451-a838-734289c00db3.png)

## XAIの評価・選定
XAIの特徴から、目的や条件にマッチするものを客観的に評価し、最後は、利用者が納得できるかという主観的な評価も踏まえ、利用するXAIを選択します。
目的や条件に応じたXAIを選定するには、各技術の特徴を把握する必要があります。

今回ご紹介した技術の主な特徴をXAIの選定表としてまとめました。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3567289/33f6618f-f2cb-48c7-8577-4a96e6940ab9.png)

## まとめ
XAIの理論編として、XAIが必要とされる背景と代表的な技術、XAIの評価・選定方法についてご紹介しました。
活用したいXAIが選定できれば、この後はXAIを実際に活用するフェーズに入ると思います。
XAIの[実践編](https://qiita.com/yoshie_ikeno/items/dd81d1b4205354ed35fb)では、DataRobotを活用し、簡単な操作でXAIの技術を活用する方法をご紹介しています。ぜひ、あわせてご参照下さい！

### 参考書籍
本ブログ作成にあたっては、下記書籍を参考にしました。
1. XAI(説明可能なAI)--そのとき人工知能はどう考えたのか? (AI/Data Science実務選書),リックテレコム
2. 機械学習を解釈する技術〜予測力と説明力を両立する実践テクニック,技術評論社

## 仲間募集

NTTデータ テクノロジーコンサルティング事業本部 では、以下の職種を募集しています。

<details><summary>1. クラウド技術を活用したデータ分析プラットフォームの開発・構築(ITアーキテクト/クラウドエンジニア)</summary>

クラウド／プラットフォーム技術の知見に基づき、DWH、BI、ETL領域におけるソリューション開発を推進します。
https://enterprise-aiiot.nttdata.com/recruitment/career_sp/cloud_engineer

</details>

<details><summary>2. データサイエンス領域（データサイエンティスト／データアナリスト）</summary>

データ活用／情報処理／AI／BI／統計学などの情報科学を活用し、よりデータサイエンスの観点から、データ分析プロジェクトのリーダーとしてお客様のDX／デジタルサクセスを推進します。
https://enterprise-aiiot.nttdata.com/recruitment/career_sp/datascientist

</details>

<details><summary>3.お客様のAI活用の成功を推進するAIサクセスマネージャー</summary>

DataRobotをはじめとしたAIソリューションやサービスを使って、
お客様のAIプロジェクトを成功させ、ビジネス価値を創出するための活動を実施し、
お客様内でのAI活用を拡大、NTTデータが提供するAIソリューションの利用継続を推進していただく人材を募集しています。
https://nttdata.jposting.net/u/job.phtml?job_code=804

</details>

<details><summary>4.DX／デジタルサクセスを推進するデータサイエンティスト《管理職/管理職候補》</summary>
データ分析プロジェクトのリーダとして、正確な課題の把握、適切な評価指標の設定、分析計画策定や適切な分析手法や技術の評価・選定といったデータ活用の具現化、高度化を行い分析結果の見える化・お客様の納得感醸成を行うことで、ビジネス成果・価値を出すアクションへとつなげることができるデータサイエンティスト人材を募集しています。

https://nttdata.jposting.net/u/job.phtml?job_code=898

</details>


## ソリューション紹介

<details><summary> Trusted Data Foundationについて</summary><div>

～データ資産を分析活用するための環境をオールインワンで提供するソリューション～
https://www.nttdata.com/jp/ja/lineup/tdf/
最新のクラウド技術を採用して弊社が独自に設計したリファレンスアーキテクチャ（Datalake+DWH+AI/BI）を顧客要件に合わせてカスタマイズして提供します。
可視化、機械学習、DeepLearningなどデータ資産を分析活用するための環境がオールインワンで用意されており、これまでとは別次元の量と質のデータを用いてアジリティ高くDX推進を実現できます。

</div></details>

<details><summary> TDFⓇ-AM（Trusted Data Foundation - Analytics Managed Service）について</summary><div>

～データ活用基盤の段階的な拡張支援（Quick Start) と保守運用のマネジメント（Analytics Managed）をご提供することでお客様のDXを成功に導く、データ活用プラットフォームサービス～
https://www.nttdata.com/jp/ja/lineup/tdf_am/
TDFⓇ-AMは、データ活用をQuickに始めることができ、データ活用の成熟度に応じて段階的に環境を拡張します。プラットフォームの保守運用はNTTデータが一括で実施し、お客様は成果創出に専念することが可能です。また、日々最新のテクノロジーをキャッチアップし、常に活用しやすい環境を提供します。なお、ご要望に応じて上流のコンサルティングフェーズからAI/BIなどのデータ活用支援に至るまで、End to Endで課題解決に向けて伴走することも可能です。

</div></details>


<details><summary> NTTデータとDatabricksについて </summary>
NTTデータは、お客様企業のデジタル変革・DXの成功に向けて、「databricks」のソリューションの提供に加え、情報活用戦略の立案から、AI技術の活用も含めたアナリティクス、分析基盤構築・運用、分析業務のアウトソースまで、ワンストップの支援を提供いたします。

https://www.nttdata.com/jp/ja/lineup/databricks/

</details>


<details><summary>NTTデータとTableauについて </summary><div>

ビジュアル分析プラットフォームのTableauと2014年にパートナー契約を締結し、自社の経営ダッシュボード基盤への採用や独自のコンピテンシーセンターの設置などの取り組みを進めてきました。さらに2019年度にはSalesforceとワンストップでのサービスを提供開始するなど、積極的にビジネスを展開しています。

これまでPartner of the Year, Japanを4年連続で受賞しており、2021年にはアジア太平洋地域で最もビジネスに貢献したパートナーとして表彰されました。
また、2020年度からは、Tableauを活用したデータ活用促進のコンサルティングや導入サービスの他、AI活用やデータマネジメント整備など、お客さまの企業全体のデータ活用民主化を成功させるためのノウハウ・方法論を体系化した「デジタルサクセス」プログラムを提供開始しています。
https://www.nttdata.com/jp/ja/lineup/tableau/

</div></details>


<details><summary>NTTデータとAlteryxについて </summary><div>
Alteryxは、業務ユーザーからIT部門まで誰でも使えるセルフサービス分析プラットフォームです。

Alteryx導入の豊富な実績を持つNTTデータは、最高位にあたるAlteryx Premiumパートナーとしてお客さまをご支援します。

導入時のプロフェッショナル支援など独自メニューを整備し、特定の業種によらない多くのお客さまに、Alteryxを活用したサービスの強化・拡充を提供します。

https://www.nttdata.com/jp/ja/lineup/alteryx/

</div></details>

<details><summary>NTTデータとDataRobotについて </summary><div>
DataRobotは、包括的なAIライフサイクルプラットフォームです。

NTTデータはDataRobot社と戦略的資本業務提携を行い、経験豊富なデータサイエンティストがAI・データ活用を起点にお客様のビジネスにおける価値創出をご支援します。

https://www.nttdata.com/jp/ja/lineup/datarobot/

</div></details>

<details><summary> NTTデータとInformaticaについて</summary><div>

データ連携や処理方式を専門領域として10年以上取り組んできたプロ集団であるNTTデータは、データマネジメント領域でグローバルでの高い評価を得ているInformatica社とパートナーシップを結び、サービス強化を推進しています。
https://www.nttdata.com/jp/ja/lineup/informatica/

</div></details>

<details><summary>NTTデータとSnowflakeについて </summary><div>
NTTデータでは、Snowflake Inc.とソリューションパートナー契約を締結し、クラウド・データプラットフォーム「Snowflake」の導入・構築、および活用支援を開始しています。

NTTデータではこれまでも、独自ノウハウに基づき、ビッグデータ・AIなど領域に係る市場競争力のあるさまざまなソリューションパートナーとともにエコシステムを形成し、お客さまのビジネス変革を導いてきました。
Snowflakeは、これら先端テクノロジーとのエコシステムの形成に強みがあり、NTTデータはこれらを組み合わせることでお客さまに最適なインテグレーションをご提供いたします。

https://www.nttdata.com/jp/ja/lineup/snowflake/

</div></details>