MSIISM Conference 2023
生成AIと今後の機械学習の方向性
2023 年 11 月 22 日 (水) 15:30～16:15 ＠501
株式会社 NTTデータ数理システム
データマイニング部 主任研究員 中道 祐希© 2023 NTT DATA Mathematical Systems Inc.

目次
1. はじめに
2. 従来の機械学習とLLM
3. 現状のLLMの課題
4. LLMでカバーしきれない技術領域
5. Alkanoによる分析支援の高度化の方向性© 2023 NTT DATA Mathematical Systems Inc.

2

0１
はじめに

© 2023 NTT DATA Mathematical Systems Inc.

3

4

概要
2022年11月にChatGPTが公開されてから大規模言語モデル(LLM：Large Language Model)が世の中に瞬く間に広がり、言語翻訳、文章の要約と自然言語処理の狭い領域のタスクが高度化されただけではなく、調査、文章の生成、プログラムの生成といったよりクリエイティブな広い領域の仕事をこなせるようになってきた。

但しLLMに仕事を完全に任せてよいかというとそうではなく、生成物に対する説明責任やプロセスの透明性、倫理面などの観点からまだまだ人間の介在が必要としているのが実情である。
本発表ではLLMとLLMの基礎となった機械学習について振り返り、人間(お客様)の分析支援を高度化するという観点で次を述べる。
1.
2.
3.
4.

従来の機械学習とLLM
LLMの課題LLMがでカバーしきれない技術領域
Alkanoによる分析支援の高度化の方向性© 2023 NTT DATA Mathematical Systems Inc.

4

0２
従来の機械学習とLLM© 2023 NTT DATA Mathematical Systems Inc.

5

機械学習とLLMの関係© 2023 NTT DATA Mathematical Systems Inc.

6

7

機械学習って何？
機械学習とは?
機械がデータから何らかのルールを学習できるようにする技術、活動のこと
10年ほど前にニューラルネットワークで大きな技術的進展⇒ 画像認識、自然言語処理、ボードゲームなどで人間以上のパフォーマンス
AI
ニューラルネットワークの特別な場合がDeep Learning(深層学習)

機械学習
SVM

ニューラルネットワーク

決定木
強化学習

クラスタリング

アンサンブル学習

ベイジアン
ネットワーク

Deep Learningの特別な場合が大規模言語モデル(LLM)

LLMを用いた代表的なサービスがChatGPT© 2023 NTT DATA Mathematical Systems Inc.

7

8

深層学習の発展により人間の能力を超えるようになってきたコンピュータによる画像認識の精度を競う国際コンペティション（ILSVRC）
深層学習を利用したチームが２０１２年に圧勝し、注目が集まるきっかけに人間よりも高精度に認識できる方法が登場

人間の誤認識率は5%程度

参考： http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture9.pdf© 2023 NTT DATA Mathematical Systems Inc.

8

9

LLMによる翻訳、文章やプログラムの生成
大規模言語モデル（LLM）
GPT-3やGPT-4と呼ばれる大規模言語モデルにより数行の入力テキスト(プロンプト)で文章やプログラムの生成が可能に代表的なサービスとして ChatGPT がある
２０１７年
Transformer の発明

深層学習における前後の文脈を考慮したモデル構造(Attention)が発明され大規模なモデル構造で効率的に学習可能に。

大規模データ・大規模なモデル構造を用いた大規模言語モデルの誕生 (GPT-n)

参考：オープンAIとは何者か ChatGPTの舞台裏に4つのブレークスルー
https://business.nikkei.com/atcl/NBD/19/special/01384/?%20i_cid=nbpnb_tobira_230320_3 © 2023 NTT DATA Mathematical Systems Inc.

9

LLMの中身ニューラルネットワーク、深層学習からLLMまで© 2023 NTT DATA Mathematical Systems Inc.

10

11

ニューラルネットワークの基本構造
ニューラルネットワークは入力層、中間層、出力層から構成される
入力データ 𝒙 は入力層、中間層、出力層と各層で計算を順番に実行され、最終的に出力値 𝒚 が得られる。

中間層が2層以上の場合に深層学習と呼ぶ
入力層中間層

中間層1

出力層
中間層 L𝑥1

𝑥1

𝒛1 =𝒙𝒙⋮⋮𝑥𝐷
入力データ 𝒙(𝐷 次元)

𝒛2⋮𝒛 𝐿+1⋮⋮𝒛 𝐿+2𝑧 𝐿+2 𝑀𝑥𝐷
𝐷個のユニット𝑦1 = 𝑧 𝐿+2 1𝑧 𝐿+2 1𝑀個のユニット© 2023 NTT DATA Mathematical Systems Inc.

𝒚⋮𝑦𝑀 = 𝑧 𝐿+2 𝑀
出力値 𝒚(𝑀 次元)
1112

各層のパラメータと処理内容
各層の各ユニットの演算は比較的単純①前の層の出力値を重み付け合計、②活性化関数で変換 ⇒ 出力値はユニットを表す【層 𝑙 + 1 のユニット 𝑖 の出力値の計算方法】
1. 前の層の出力値の重みづけ合計
𝑀𝑙

層1(入力層)𝑢 𝑙+1 𝑖 = ෍ 𝑊 𝑙+1 𝑗,𝑖 𝑧 𝑙 𝑗 + 𝑏 𝑙+1 𝑖𝑗=1𝑙+12. 活性化関数 𝑓𝑧 𝑙+1 𝑖 = 𝑓 𝑙+1∙ で変換
𝑢 𝑙+1 𝑖

中間層が1層で活性化関数が恒等(𝑓 2•⇒ 線形モデル ： 解釈が容易

層𝑙+1層𝑙𝑧𝑙1𝑥1𝑥 = 𝑥)

• 中間層が2層以上(一般に活性化関数が非線形)⇒ 深層学習 ： 複雑で解釈困難

𝑊⋯

⋮

𝑧𝑙2

𝑙+1

𝑢 𝑙+1 1𝑧 𝑙+1 1

Σ

𝑓 𝑙+1

層𝐿+2(出力層)

𝑧 𝐿+2 11,1

𝑊 𝑙+1 1,2

⋯ ⋮𝑧 𝐿+2 𝑀𝑥𝐷⋮

𝑧𝑙3
𝑊 𝑙+1 1,3

• 中間層を大規模化(一般に活性化関数が非線形)⇒ 大規模言語モデル ： 解釈不能
© 2023 NTT DATA Mathematical Systems Inc.

12

13

大規模言語モデルによる文章生成のイメージ①入力した文章の次の単語を生成する。
例えば「This is a」を入力して次の単語の「pen」を生成する。
生成
This

最初の文章

𝐹1 25.0% pen𝑥 (𝑡−3)a𝑥 (𝑡−1)

大規模言語モデル

𝐹3 0.1%

run𝑥 (𝑡)予測値(確率)⋯𝑥 (𝑡−2)

lion

⋯

is

𝐹2 5.0%pen

𝐹𝑊 0.03% ***最も確率が高い「pen」が予測値として生成される

次の文章

pen𝑥 (𝑡)②生成した単語「pen」が元の文章に追加される③同様にして次の文章の次の単語を生成する④この操作を繰り返すことで最初の文章に続く文章が生成される© 2023 NTT DATA Mathematical Systems Inc.

13

14

ChatGPTの概要
大雑把に言うと2段階でLLMを学習して実用的な文章生成が可能に①Pre-training(LLMの学習)
大量のラベルなしテキストデータを用いて学習 ⇒ 言語構造・意味・文脈を把握②Fine-tuning(LLMの追加学習)「人間がより好む応答」の情報を与えて追加学習 ⇒ 有害な応答を排除して実用的な文章生成【Pre-training】

文章 𝒙 を抽出

𝐹1𝑥 (𝑡−𝐿)

⋯⋯

𝐹2 ∙

(言語構造・意味・文脈に相当)(生成部分に相当)

次に来る単語を予測・生成

𝐹2⋯𝑥 (𝑡−1)

𝐹1 ∙⋯𝑥(𝑡−2)𝐹𝑊𝑥 (𝑡)𝐹1 ∙ と𝐹2 ∙ を学習

大量のテキストデータ【Fine-tuning】⋯𝐹1 ∙𝐹3 ∙𝑥 (𝑡−1)(言語構造・意味・文脈に相当)(生成部分に相当)

𝐹1 ∙ を固定して𝐹3 ∙ を学習(※)(※)正確には強化学習と呼ばれる学習方法で逐次的に生成した文章全体を評価してフィードバック⋯

𝑥 (𝑡−2)

人間が好む文章を生成

𝐹2⋯

アノテータによるテキストデータ

𝐹1𝑥 (𝑡−𝐿)⋯好ましい文章 𝒙𝐹𝑊𝑥 (𝑡)出力に近い部分を𝐹2 ∙ から
𝐹3 ∙ に調整(変更)© 2023 NTT DATA Mathematical Systems Inc.

14

15

LLM(ChatGPT)で可能なこと基本的な利用例

プロンプトと呼ばれる(文章)を入力すると、後に続く尤もらしい文章を生成可能⇒ 言語翻訳、文章の要約が最初に想定される使い方
応用例の一例(※1)
プロンプトに質問や依頼を入力して答えを得る⇒ 調査、QA、文章(メール、プレゼン、会議、小説)の作成、問題解決・意思決定支援
さらにプロンプトの与え方を工夫⇒ プログラミング(※1) 参考： 『ChatGPTエフェクト 破壊と創造のすべて』© 2023 NTT DATA Mathematical Systems Inc.

15

03
現状のLLMの課題© 2023 NTT DATA Mathematical Systems Inc.

16

17

LLMの課題前章で見たようにLLMは大量のテキストデータを用いて学習を行い、与えた文章(プロンプトと呼ぶ)の次に出現しそうな単語、または人間が好みそうな単語の系列(文章)を生成する。

言い換えるとLLMは過去のデータから尤もらしい回答を生成しているのに過ぎないと言える。
このようなLLMの性質を踏まえた上で、LLMを利用する際によく直面する懸念事項を挙げてみた。
1. ハルシネーション(幻覚)の問題
2. 著作権の問題
3. 結果の透明性、解釈性の問題© 2023 NTT DATA Mathematical Systems Inc.

17

18

ハルシネーション(幻覚)の問題
ハルシネーション(幻覚)とは?

尤もらしい嘘の出力が生成されること(AIが「幻覚」を見て出力しているように見えるためこのように呼ばれる)
ハルシネーションの例
最近、生成AIを用いて作成したフェイクニュースが拡散して騒ぎになった(※1)
作者が『○○〇 有名人 支持者』というキーワードで生成した文章をそのまま掲載したとのこと。
対策
LLMは本来無関係であるにも関わらず、過去に共起した単語同士を結び付けて生成する可能性がある。
(疑似相関の問題)
過去のデータにないような領域に対する予測がうまくいかないことも知られている。
(領域外予測の問題)⇒ LLMを利用する際は、出力された文章を人間が判断した上で利用する必要がある。
(※1) 芸能人が特定の政党○○〇を応援するようなコメントの内容であった。(※〇〇〇は実際の政党名)© 2023 NTT DATA Mathematical Systems Inc.

18

19

著作権の問題LLMと著作権LLMの生成物が既存の著作物と類似している場合には著作権侵害に該当する場合がある。
「影の図書館」問題
最近、LLMの学習データに大量の海賊版書籍が含まれていることが判明して公開を断 念、または延期したケースが記事に掲載された(※1)
海外では権利者の許諾なしにLLMの学習にデータを用いて訴訟になった場合が多い(※2)
対策
利用者は前頁と同様に出力された文章を人間が判断した上で利用する必要がある。
⇒ 但し、どの著作物と類似しているかの判断は難しい
開発者は海賊版データを削除してLLMを学習し直す必要がある。最近では特定の情報(例えばハリー・ポッターの文章)を忘れさせる(unlearn)する技術が報告されている(※3)(※1) https://business.nikkei.com/atcl/gen/19/00537/102500040/(※2) 現行の日本の著作権法(著作権法30条の4)では(方法を問わず)著作物を用いた学習は問題ない可能性が高い(※3) https://browse.arxiv.org/pdf/2310.02238.pdf© 2023 NTT DATA Mathematical Systems Inc.

19

20

結果の透明性、解釈性の問題
プロセスや根拠が求められる場面

与信審査業務では意思決定のプロセス(透明性)や、判断理由(解釈性)が問われる。
LLMの問題点
LLMでは入力から出力までのプロセスが解釈不能であり、出力結果に何が起因しているかを分析することは困難。
仮にLLMで与信の精度が大幅に向上しても「どのようにしてその判断に至ったか」、「審査に 通らない理由は何か」に答えることができないため、使えない。
対策は?
LLMのモデル構造上の問題なのでLLMだけでは解決することは困難。

© 2023 NTT DATA Mathematical Systems Inc.

20

04
LLMでカバーしきれない技術領域© 2023 NTT DATA Mathematical Systems Inc.

21

22

概要
前章で述べたようにLLMは過去のデータを基に尤もらしい予測を繰り返すものであり、学習していない領域の予測や、予測に至った理由の説明、事象間の疑似相関と真の関連性の区別が苦手である。
人間が意思決定する場合は単なる結果を見て判断するのではなく、なぜその結果に至ったのかというプロセスや結果に寄与している要因、事前に把握している原因と結果の関連性やそれらの発生メカニズムも加味して判断を行う。
本章ではLLMがカバーしきれない部分であるモデルの解釈、説明に関する技術や、因果に対する技術を紹介する。

© 2023 NTT DATA Mathematical Systems Inc.

22

説明可能なAI(XAI)について© 2023 NTT DATA Mathematical Systems Inc.

23

24

XAIの歴史的な経緯
AI(機械学習)の普及と課題

2010年代から始まった第3次AIブーム以降AI(機械学習)の活用領域が広がった。
但し、AIは処理や条件が学習によって獲得されるため、出力結果を厳密に制御することができない。
従って与信審査のような公平性や倫理面の妥当性が求められる業務ではそのまま使えない。
新たな要求・ 2016年：EU一般データ保護規則GDPR(General Data Protection Regulation)(※1)
透明性、説明責任、データ主体(個人)に主導権がある⇒ 個人に及ぶリスクを評価し、データの処理方法について説明責任を果たすことが求められる・ 2019年：G20で承認された「人間中心のAIの社会原則」(※2)
社会原則は下記の7原則から構成される
人間中心、教育・リテラシー、プライバシー確保、セキュリティ確保、公正競争確保、イノベーション、公平性・説明責任及び透明性(※1) https://ja.wikipedia.org/wiki/EU一般データ保護規則(※2) https://www.soumu.go.jp/main_content/000637103.pdf© 2023 NTT DATA Mathematical Systems Inc.

24

25

公平性、説明責任、透明性とは?
公正性(Fairness)

年齢、性別、人種などの特定の属性によって不利になるような予測を行わない。
⇒ 学習データのバイアス(偏り)解消、 特定の属性を特徴量から除外、などの措置が必要⇒ AI適用のシナリオに沿って、多様な視点でデータとAIを検証する必要性
説明責任(Accountability)
AIが誤った出力を行った場合に誤りがどこにあり、その責任が誰/何にあるのかを明確にする。
⇒ AIが出力に至った根拠を提示し、原因を明確にする仕組みが必要
透明性(Transparency)
利用者が理解できる形でAIシステムの情報を提示する。
⇒ 学習データの明示、 検証方法の明示、 処理を行う基準や根拠の明示© 2023 NTT DATA Mathematical Systems Inc.

25

26

XAIとは?
公正性、説明責任、透明性で共通で求められる機能

AIが学習によって獲得した処理、 出力を決定した根拠、を説明できること⇒ この機能をAIの説明可能性と呼ぶ
アルゴリズムの複雑性(表現力)と説明可能性の高さのトレードオフ
一般にアルゴリズムが複雑なほど表現力が高く、複雑な推論処理を模倣可能だが、人間が解釈困難
反対にAIのアルゴリズムがシンプルなほど説明可能性が高いが、現実世界を模倣困難
深層学習(LLM)、勾配ブースティング： 表現力が大きく、 説明可能性が低い
線形モデル、決定木 ⇒ 次頁で説明： 表現力が小さく、 説明可能性が高い
説明可能なAI(XAI:eXplainable Artificial Intelligence)とは複雑な表現力と説明可能性の高さを両立するために提案されている技術⇒ 様々なAIをあらゆる観点から理解する目的のために研究・提案されている技術の総称© 2023 NTT DATA Mathematical Systems Inc.

26

27

説明可能性が高いアルゴリズムの例
線形モデル

出力値(予測対象の数値や確率)を特徴量の重み付け線形和で表現⇒ 出力の根拠は数式で明示化⇒ 出力値に対する特徴量の影響度合いは回帰係数を見ればよい(※) 菖蒲データをAlkanoの決定木で分類した例【決定木の例(※)】

決定木
if-thenルール(分岐条件)を積み上げた樹形図で入力データを分類⇒ 出力値の根拠は、そのデータが辿る分岐条件を見ればよい【線形モデルの例】

勾配ブースティング：
複数の決定木からアンサンブル(集合学習)したモデル⇒ 木の個数が多いと解釈困難

𝑦 = 1 + 2𝑥1 + 5𝑥2
𝑥1 = 1、𝑥2 = 1 のデータ

花びら長=47、花びら幅=14のデータ【出力値】
𝑦の予測値は 1 + 2 ∗ 1 + 5 ∗ 1 = 8【出力値】
種類はVersicolor【影響度合い】𝑥1 が1増えると出力値は2増える
𝑥2 が1増えると出力値は5増える【根拠】
花びら長： 19.03 < 47
花びら幅： 14 ≦ 17.01© 2023 NTT DATA Mathematical Systems Inc.

27

28

XAIの分類XAIによるAIの説明は大きく2つの観点で分類される。
大局説明と局所説明
・ 大局説明 ： AIモデルの全体的な振る舞い、内部の支配的傾向を理解することを目的とする手法
例 ： 予測全体に対する特徴量の寄与度、 予測までの判断ロジックの可視化
・ 局所説明 ： 個々の事例(入力データ1件)の予測結果の判断理由を理解することを目的とする手法
例 ： (ある1つの事例の)予測結果に対する特徴量の寄与度
モデル依存型とモデル不問型
・ モデル依存型 ： 説明対象のモデル構造に特化した手法。 適用できるモデルが限定される。
例 ： 深層学習モデルにおけるユニット間の重みを用いた手法
・ モデル不問型 ： 適用できるモデルに特に制約がない手法。 対象モデルの構造を生かすことは困難
本資料では主にモデル不問型の手法について紹介する。
© 2023 NTT DATA Mathematical Systems Inc.

28

29

XAIの分類
主なXAI手法を「大局/局所」、「モデル依存/モデル不問」の観点で下の図にまとめた(※1)(※1) 各ラベルの四角の大きさは関係ない。 SHAP、決定木、線形モデルは大局説明/局所説明の両方が可能なので領域を横断する形で配置

モデル依存型

モデル不問型Feature Importance(Random Forest / 勾配ブースティング)

ALE(Accumulated Local Effects)

Permutation Importance

PDP(Partial Dependence Plot)

Tree Surrogate

大局説明決定木

線形モデルSHAPCAMGrad-CAM

局所説明

深層学習モデルに対応

ICE(Individual Conditional Expectation)

Integrated Gradients

Attention

LIME

Attentionベースの深層学習モデルに対応© 2023 NTT DATA Mathematical Systems Inc.

29

30

Permutation Importance(大局説明)
考え方
モデルに重要な特徴量であればその特徴量をランダムな値にすると精度低下が起きるはず⇒ 元の精度からランダムな値にした場合の精度の減少度合いを重要度とする

アルゴリズムの概要① 元のデータの予測精度を算出② ある特徴量をランダムにシャッフルしたデータの予測精度を算出(下図では2列目をシャッフル)③ ①から②を引いた値をその特徴量の重要度とする
何度もランダムにシャッフルした平均値を重要度とする。
付帯情報として標準偏差を用いる場合もある。

引用: https://www.kaggle.com/dansbecker/permutation-importance/© 2023 NTT DATA Mathematical Systems Inc.

30

タイタニックデータの例(Permutation Importance)

31

事例の概要
Permutation Importanceを用いてモデルで寄与している特徴量の重要度を算出する。
入力データの概要
タイタニック号の生存者に関するデータ(タイタニックデータ)を用いる。(※1)
個人(ID、名前)、年齢、性別、家族構成、乗船情報(運賃、クラス等)、生存フラグをカラムに持つ。
機械学習モデルの概要
モデルの表現力が高い勾配ブースティングを用いる。
生存フラグ(0:死亡、1:生存)を予測するモデルを学習データから構築する。

予測精度
評価データの正解率を予測精度とする。

(※1) データコンペティッションサイト「Kaggle」のデータセットである。学習データと評価データの2つのファイルに分かれ、コンペ参加者は評価データの精度を競う。

© 2023 NTT DATA Mathematical Systems Inc.

31

32

タイタニックデータの例(Permutation Importance)
Permutation Importanceの結果を下表に掲載。
モデルに寄与している特徴量
Title(名前から抽出した「Mrs」、「Miss」、「Master」、「Officer」などの敬称)、
Sex(性別)、Family(家族構成)、Age(年齢)、Fare(運賃)の重要度が高いモデルの全体的な振る舞い(解釈)ID、名前などの過学習を起こしそうな不適切な特徴量はない。
敬称、性別、家族構成、年齢、運賃が予測に効いている。

モデルの妥当性
重要度は沈没の際に「女性や子供が優先的に救助された」事実と整合。
モデルがおかしな挙動をしていないことが伺える。

平均値© 2023 NTT DATA Mathematical Systems Inc.

標準偏差32

33

LIME(局所説明)
考え方

複雑なモデルでも事例(説明対象データ)の近傍に限れば予測値を単純な線形モデルで近似できるはず⇒ 事例付近において局所的に予測値を目的変数とする線形回帰を行う

アルゴリズムの概要(イメージを下図に掲載(※2))① 事例データを摂動(※1)させて近傍データを生成② 近傍データに対してAIモデルを適用して予測値を取得③ ①で得られたデータを説明変数、②で得られたデータを目的変数とするリッジ回帰モデルを作成

データ種類によって①の近傍データの生成方法が異なる。
データ種類 ：
テーブルデータ、画像データ、テキストデータ

事例データ近傍近傍データ(※1) 摂動とはデータの一部分を削除したり、ノイズを加えたりする操作(※2) 図引用： 「why should I trust you. Explaining the predictions of any classiffer, (2016)」© 2023 NTT DATA Mathematical Systems Inc.

33

34

タイタニックデータの例(LIME)
タイタニックデータ、勾配ブースティングモデルに対してある事例のLIMEを算出した結果を下図に掲載。
予測結果(生存確率)に対する特徴量の寄与度
男性(Sex=male)であることは(生存確率に対して)マイナスに大きく寄与している。
チケット代が高額(Pclass<=2.0)、少年(Title=Master(※1))がプラスに大きく寄与している(※1) Title(敬称)がMasterは「少年」を表す

結果の解釈
この事例の生存に対する予測確率は97%である。
男性であるものの、少年であることとチケット代が高額であることが生存率増加に大きく寄与する。
【事例データ】【LIMEの出力結果】

下記のような文章をLLM(BERTモデル)で分類する場合も同様にしてLIMEで特徴量(単語)の寄与度を算出した例がある。
'超薄型パソコンの新機種が年末までに世界での販売エリアを大幅拡大。'© 2023 NTT DATA Mathematical Systems Inc.

34

35

LLMとXAI
前頁で述べたようにLLMを用いた個々の文章の分類結果に対して、どの単語が予測にどのように寄与しているかをLIMEを用いて説明を行うことが可能である。
但し、LLMで用いられているパラメータは非常に大規模(GPT-3は1750億個)であり、予測までの判断ロジックは事実上不透明である。
従って与信審査のように判断プロセスの透明性も求められる場合は、現状ではLLMを用いずに、従来の機械学習の中から精度と可読性のバランスを考えてモデルを検討した方がよいと考えられる。

© 2023 NTT DATA Mathematical Systems Inc.

35

36

参考資料

大坪直樹・中江俊博・深沢祐太・豊岡 祥・坂元哲平・佐藤 誠・五十嵐健太・市原大暉・堀内新吾［共著］(2021)『XAI（説明可能なAI）──そのとき人工知能はどう考えたのか？』
リックテレコム

XAIについては様々な論文は存在するが体系的にまとめられた資料は少ない。
本章では主にこちらの書籍を参考にした。

© 2023 NTT DATA Mathematical Systems Inc.

36

因果について© 2023 NTT DATA Mathematical Systems Inc.

38

因果関係とは因果関係とは原因と結果の関係であり、原因が結果に「違い」をもたらすときその２つの事象の間に因果関係があると言います。

例

はみがき粉の購入が歯ブラシの購入に影響を与える『はみがき粉を購入することで、歯ブラシを購入しやすくなるだろうか？』 という問いに対して実際にはみがき粉の購入がトリガーとなり、歯ブラシの購入が促進される場合。

原因

結果原因が結果に違いをもたらす

はみがき粉Aの購入類似の事象について関係性の推論をすることも可能
歯ブラシAの購入背景要因が存在すると事象間の関連を因果関係として説明できない場合 ⇒ 疑似相関の問題© 2023 NTT DATA Mathematical Systems Inc.

38

39因果関係と疑似相関

例

チョコレートの消費量とノーベル賞受賞者数
チョコレートの消費量とノーベル賞受賞者数は相関関係があり『チョコレートの消費量を多くするとノーベル賞受賞者数が増える』という因果関係が考えられそうだが実際には背景要因として『国の豊かさ』が関係しており、チョコレートの消費量とノーベル賞受賞者数は（因果的に）無関係

このような関係のことを疑似相関と呼びます
背景要因
国の豊かさ

因果関係があるように見える
図：チョコレートの消費量と国ごとのノーベル賞受賞者数の散布図*
原因
チョコレート消費量

結果
ノーベル賞受賞者数* Messerli, F. H. (2012). Chocolate consumption, cognitive function, and Nobel laureates. N Engl J Med, 367(16), 1562-1564.
© 2023 NTT DATA Mathematical Systems Inc.

39

40

LLMの仕組みと原理的な課題
LLMは相関関係と因果関係を区別できない
過去の経験から尤もらしい回答を生成しているのに過ぎず、事象間に存在する本質的な関係性を理解してません。
そのため、LLMは疑似相関の問題に直面します。

因果関係を問う質問＋関連する背景情報

尤もらしい回答だが誤った回答
LLM

相関関係にもとづく過去の経験から似た回答を生成

それらしい回答は生成されるものの、関連する背景情報をLLMに与えても疑似相関の問題を解決できないことが知られている。
（Jin et al., 2023)
因果関係と相関関係を区別できないためまったくの未知の事象の推論も苦手

因果関係を識別し推論する方法

因果推論 と 因果探索
Jin, Z., Liu, J., Lyu, Z., Poff, S., Sachan, M., Mihalcea, R., Diab, M., and Schölkopf, B. (2023). Can Large Language Models Infer Causation fromCorrelation?. arXiv preprint arXiv:2306.05836.
© 2023 NTT DATA Mathematical Systems Inc.

40

41

因果推論で因果関係をとらえる
因果推論 ： Causal Inference
因果効果を推計する技術
２つの事象の間の因果的な結びつきの強さを推計する技術。
「もし～だったら」という反事実的思考を数理モデル化することで、因果の強さを測る。

例

風邪薬の投与による快復効果
Aさんに風邪薬を投与した結果、快復したことが確認されたが本当に薬の効果だったのかは分からない。
そこで「もし投与しなかったらどうだった？」という反事実を考えることにより、その効果量を推計する。

快復した投与した場合結果の差で結びつきの強さを推計する

Aさんへの風邪薬の投与もし投与しなかったら…?

?
© 2023 NTT DATA Mathematical Systems Inc.

41

42

因果探索により現象を理解する
因果探索 ： Causal Discovery
未知なる因果関係を発見する技術
２つの事象の間の因果関係を識別し、現象に内在する因果関係を明らかにする技術。
因果推論同様に「もし～だったら」という反事実的思考を数理モデル化することで、因果関係を識別する。

因果探索で因果関係を推定© 2023 NTT DATA Mathematical Systems Inc.

42

43

LLMを活用して因果推論を行う

情報の整理、関連性の把握

LLM
LLMを用いて…

LLMを用いて…

⚫ 煩雑な情報を整理してもらう⚫ 因果構造から仮説を立ててもらう⚫ 効果検証の結果を解釈してもらう⚫ ネクストアクションの提案をしてもらう

因果探索

因果構造の理解、因果仮説の立案

因果推論

因果仮説をもとに効果検証© 2023 NTT DATA Mathematical Systems Inc.

43

05
Alkanoによる分析支援の高度化の方向性© 2023 NTT DATA Mathematical Systems Inc.

44

現状のAlkanoの分析支援© 2023 NTT DATA Mathematical Systems Inc.

46

データ分析プラットフォーム Alkano

専門性の高いデータサイエンススキル や
プログラミング経験 がないビジネスパーソンのために、簡単に機械学習の各種手法を実現できるプラットフォーム
可視化機能

豊富な
データ処理・分析機能

モデル・パラメータの自動探索（AutoML）機能
2024年3月末
搭載予定

分析フロー構築

機能の単位：アイコン

伴走型サポートと使いこなしていただくための豊富な 情報提供
公開サイト 「攻略ガイド」© 2023 NTT DATA Mathematical Systems Inc.

46

47

XAIへの取り組み

XAI機能を、モデル解釈アイコンとして提供
Alkano で学習した機械学習モデルに対して、➢ 変数の重要度➢ 特徴量の値の変化が予測値に及ぼす影響を求め、可視化することが可能

変数の重要度

特徴量の変化が予測値に及ぼす影響：ALE Plot
© 2023 NTT DATA Mathematical Systems Inc.

47

48

ベイジアンネットワーク構築支援ツール BayoLinkS

大量のデータから依存関係を抽出し、わかりやすいインタフェースでベイジアンネットワークを構築するためのソフトウェア
事象間の確率的な依存関係をグラフィカルに表現

構造学習によりデータから事象間の確率的な構造を推定し、前提条件を与えた場合の事象の変化を確率推論により求めることが可能© 2023 NTT DATA Mathematical Systems Inc.

48

今後の分析支援の高度化© 2023 NTT DATA Mathematical Systems Inc.

50

テキスト分析とLLM

分析 × LLM がもたらす価値：解釈・行動支援 による 知見の発掘
LLMによる全自動での分析

LLMには「幻覚」の問題があり、分析結果の解釈や行動決定における「正解」の提示・自動生成を期待するのは、今日の技術では困難。

LLMが「仮説」「次の行動方針」を提示し、テキスト分析の効率化・負担を軽減
この結果は○○な可能性があります。
次は□□の機能を試してみませんか？

LLM は ”ユーザーの支援” に徹し、ユーザー自身の「分析スキル向上」 と 「新しい知見の発掘」を促します。

試作品を展示エリアにて紹介しています。
皆様のご意見をお待ちしております。
© 2023 NTT DATA Mathematical Systems Inc.

50

51

ベイジアンネットワーク と 統計的因果推論

ベイジアンネットワークでは、データに存在する事象から効率的に確率的な構造の推定を行うことが可能

学習データ

反事実的思考を取り入れた
統計的因果推論・因果探索への取り組みの拡大へ
さらに、その際の仮説立案や解釈にLLMを活用すべく研究開発へ© 2023 NTT DATA Mathematical Systems Inc.

51

© 2023 NTT DATA Mathematical Systems Inc.