数理科学のいまとこれから

2023年 11 月 22 日
シミュレーション＆マイニング部 伊藤 孝太朗© 2023DATAMathematicalSystemsInc.
Inc.
© 2023
NTT NTTDATAMathematicalSystems•••••

機械学習と数理最適化とシミュレーション
大規模言語モデルの波
数理科学の今(技術編)
数理科学の今(ビジネス編)
数理科学とビジネスのこれから© 2023 NTT DATA Mathematical Systems Inc.

2

本日講演でわかること✓ 機械学習、数理最適化、シミュレーション それぞれ得意領域があり適切に組み合わせる必要がある。1章✓ 僕たちの仕事は、技術と課題・やりたいことを結びつけることである。1章✓ 機械学習、数理最適化、シミュレーション の境界領域で注目されている技術トピック 2, 3章✓ 機械学習、数理最適化、シミュレーション を組み合わせて課題解決した事例と日本の数理科学ビジネスの状況 4章✓ LLMの発展にともなう、他の数理科学技術のビジネス応用の方向性。我々の役割の変化 5章© 2023 NTT DATA Mathematical Systems Inc.

3機械学習と数理最適化とシミュレーション© 2023 NTT DATA Mathematical Systems Inc.

4

3種の神器：数理システムの技術アセット© 2023 NTT DATA Mathematical Systems Inc.

5

なぜ3種の神器か： 3種の神器を組み合わせる✓ 多くのビジネス課題は、課題を細かく分析すると、既知入出力の仕組みが未知

出力の推定あるの部分、入出力のデータがない部分、やりたいことが最適な値の探索 である部分振る舞いの観察に分解することができる。3種の神器がそれぞれのニーズをカバーできる。
✓ 課題例：行政施設の効率化
利便性利用者の待ち時間の増大を抑える。
利用者の利便性を落とさず、施設運営を効率化したい。

効率化
人員配置を工夫し人件費を節約する。

イレギュラーな需要が発生しても待ち時間が極度に増大しないか確認
工夫するとは各時間帯・各業務の需要を予測

需要の多い業務・時間帯に多くの人員を配置する。

スタッフの希望シフトを考慮しつつ少ない人数で需要を満たすシフト表を構築。

© 2023 NTT DATA Mathematical Systems Inc.

6

なぜ3種の神器か： 3種の神器を組み合わせる✓ 多くのビジネス課題は、課題を細かく分析すると既知入出力の仕組みが未知

出力の推定あるの部分、入出力のデータがない部分、やりたいことが最適な値の探索 である部分
振る舞いの観察に分解することができる。3種の神器がそれぞれのニーズをカバーできる。
✓ 課題例：行政施設の効率化
利便性利用者の待ち時間の増大を抑える。
利用者の利便性を落とさず、施設運営を効率化したい。

効率化
人員配置を工夫し人件費を節約する。

イレギュラーな需要が発生しても待ち時間が極度に増大しないか確認
工夫するとは各時間帯で各業務の利用者が訪れる機構：未知過去の利用者数のデータ：ありやりたいこと：出力の推定

各時間帯・各業務の需要を予測

需要の多い業務・時間帯に多くの人員を配置する。

スタッフの希望シフトを考慮しつつ少ない人数で需要を満たすシフト表を構築。

© 2023 NTT DATA Mathematical Systems Inc.

7なぜ3種の神器か： 3種の神器を組み合わせる✓ 多くのビジネス課題は、課題を細かく分析すると、既知入出力の仕組みが未知

出力の推定あるの部分、入出力のデータがない部分、やりたいことが最適な値の探索 である部分
振る舞いの観察に分解することができる。3種の神器がそれぞれのニーズをカバーできる。
✓ 課題例：行政施設の効率化
利便性

利用者の待ち時間の増大を抑える。
利用者の利便性を落とさず、施設運営を効率化したい。

効率化
人員配置を工夫し人件費を節約する。

イレギュラーな需要が発生しても待ち時間が極度に増大しないか確認
工夫するとは各時刻にシフトと需要が与えられたときの需要が満たされる割合：既知
やりたいこと：最適なシフト表の探索

各時間帯・各業務の需要を予測

需要の多い業務・時間帯に多くの人員を配置する。

スタッフの希望シフトを考慮しつつ少ない人数で需要を満たすシフト表を構築。

© 2023 NTT DATA Mathematical Systems Inc.

8

なぜ3種の神器か： 3種の神器を組み合わせる✓ 多くのビジネス課題は、課題を細かく分析すると、既知入出力の仕組みが未知

出力の推定あるの部分、入出力のデータがない部分、やりたいことが最適な値の探索 である部分
振る舞いの観察に分解することができる。3種の神器がそれぞれのニーズをカバーできる。
需要に対する待ち時間≅需要に対する業務フロー：既知
過去の待ち時間のデータ：なし
やりたいこと：振る舞いの観察✓ 課題例：行政施設の効率化
利便性

利用者の待ち時間の増大を抑える。
利用者の利便性を落とさず、施設運営を効率化したい。

効率化
人員配置を工夫し人件費を節約する。

イレギュラーな需要が発生しても待ち時間が極度に増大しないか確認
工夫するとは各時間帯・各業務の需要を予測

需要の多い業務・時間帯に多くの人員を配置する。

スタッフの希望シフトを考慮しつつ少ない人数で需要を満たすシフト表を構築。

© 2023 NTT DATA Mathematical Systems Inc.

9

なぜ3種の神器か： 3種の神器の比較✓ 機械学習、数理最適化、シミュレーションの「おおざっぱな」比較。
苦手なこと

例

データから入力と出力の関係を学習・推定する。

全く知らない入力に対する出力の推定

教師あり学習
需要予測
感情推定
etc.

なし

目的関数をできるだけ良くする変数の組み合わせ・値を探す。

モデル内の不確定要素の決定。

連続最適化
組み合わせ最適化
etc.

なし

さまざまな入力に対して出力の振る舞いを観察する。

モデル内の不確定要素の決定。

微分方程式
人流シミュレーション
etc.

モデル

(過去の)入出力の組機
械学
習システムの入力と出力の関係
未知

システムの入力と出力の関係がたくさん存在。

数
理
最適化

変数と目的関数の関係
既知シミ
ュ
レーシ
ョ
ン

システムの入力と出力の関係(入力が出力へと変化する法則)
既知

やりたいこと© 2023 NTT DATA Mathematical Systems Inc.

10

なぜ3種の神器か： 3種の神器を組み合わせる✓ 多くのビジネス課題は、課題を細かく分析すると、既知入出力の仕組みが未知

出力の推定あるの部分、入出力のデータがない部分、やりたいことが最適な値の探索 である部分振る舞いの観察に分解することができる。3種の神器がそれぞれのニーズをカバーできる。
✓ 課題例：行政施設の効率化
利便性利用者の待ち時間の増大を抑える。
利用者の利便性を落とさず、施設運営を効率化したい。

効率化
人員配置を工夫し人件費を節約する。

シミュレーション
イレギュラーな需要が発生しても待ち時間が極度に増大しないか確認
工夫するとは

機械学習
各時間帯・各業務の需要を予測

需要の多い業務・時間帯に多くの人員を配置する。

数理最適化
スタッフの希望シフトを考慮しつつ少ない人数で需要を満たすシフト表を構築。

© 2023 NTT DATA Mathematical Systems Inc.

11

3種の神器と我々の役割✓ 我々の役割は、技術を課題を適切にマッチングすること。
課題・やりたいこと

技術最新技術の調査検討。
GUIを利用したツールの構築。
適切な技術の選択、組み合わせの設計。
実際のソリューションの実装。

よりわかりやすく、より使いやすく

我々の役割
技術と課題のマッチング

課題のヒアリング。
課題の定式化。
解きたい問題を解ける問題へ。

より緻密に、より細かく© 2023 NTT DATA Mathematical Systems Inc.

12

3種の神器と我々の役割✓ 我々の役割は、技術を課題を適切にマッチングすること。
課題・やりたいこと

技術最新技術の調査検討。
GUIを利用したツールの構築。
適切な技術の選択、組み合わせの設計。
実際のソリューションの実装。

よりわかりやすく、より使いやすく皆様の役割
我々の役割
技術と課題のマッチング

課題のヒアリング。
課題の定式化。
解きたい問題を解ける問題へ。

より緻密に、より細かく© 2023 NTT DATA Mathematical Systems Inc.

13

02
大規模言語モデルの波© 2023 NTT DATA Mathematical Systems Inc.

14

LLM（大規模言語モデル）© 2023 NTT DATA Mathematical Systems Inc.

15

ChatGPTの台頭• 2022/11/30にOpenAIが公開。
公開から1週間で100万ユーザー、 2か月で1億ユーザーに到達。
高すぎる性能から大きな話題に。
• 2023年3月にはGPT-4が登場。さらに高性能化。画像もインプット可能に。
• 2023/11/6には GPT-4 Turbo が登場。
より長文に対応し、2023年4月までの情報を学習、etc.

◼ 安全な対話能力
LLMは基本的に、インターネットから収集した大量のテキストデータに基づいて訓練されるが、良くない表現まで学び取ってしまう。
ChatGPTでは、さらに「チャットボットとして人間がより好む応答」の情報を人がフィードバック（RLHFと呼ばれる）。不適切な言葉遣いや偏見を含む回答が減り、実用性が向上した。

© 2023 NTT DATA Mathematical Systems Inc.

16

GPTs
• 外部テキストやAPIと組み合わせて、それぞれ自由なカスタムChatGPTを作る機能。
⇒ アイデア次第で様々な応用が可能。

https://openai.com/blog/introducing-gpts© 2023 NTT DATA Mathematical Systems Inc.

17

LLMの役割

課題・やりたいこと技術
LLM?
最新技術の調査検討。
GUIを利用したツールの構築。
適切な技術の選択、組み合わせの設計。
実際のソリューションの実装。

我々の役割技術と課題のマッチング

課題のヒアリング。
課題の定式化。
解きたい問題を解ける問題へ。

© 2023 NTT DATA Mathematical Systems Inc.

18

LLMの役割

課題・やりたいこと

技術最新技術の調査検討。
GUIを利用したツールの構築。

我々の役割適切な技術の選択、組み合わせの設計。

LLM?
技術と課題のマッチング

実際のソリューションの実装。

課題のヒアリング。
課題の定式化。
解きたい問題を解ける問題へ。

© 2023 NTT DATA Mathematical Systems Inc.

19

LLMの役割✓ LLMは技術と課題をつなぐ役割も担い得る。
課題・やりたいこと

技術最新技術の調査検討。
GUIを利用したツールの構築。

我々の役割適切な技術の選択、組み合わせの設計。

LLM?
技術と課題のマッチング

実際のソリューションの実装。

課題のヒアリング。
課題の定式化。
解きたい問題を解ける問題へ。

© 2023 NTT DATA Mathematical Systems Inc.

20

03
数理科学の今(技術編)© 2023 NTT DATA Mathematical Systems Inc.

21

数理最適化✕機械学習/LLM✓ 深層強化学習を利用した組み合わせ最適化問題へのアプローチ。

数理最適化をより高速に

Neural Networkで解を直接推定or
既存のアルゴリズムの一部をNeural Networkへ置き換え(分枝限定法における変数選択など)

巡回セールスマン問題※何度も問題を解いて目的関数の値を確認し、Neural Networkを更新していく。

✓ LLMに直接数理最適化問題を解かせる。

◯最適化の高速化✕制約条件の考慮✕最適化ソルバとしての「汎化性能」
Mazyavkina, Nina, et al. "Reinforcement learning for combinatorial
optimization: A survey." Computers & Operations Research 134(2021): 105400.
https://www.msiism.jp/article/reinforcement-learning-forcombinatorial-optimization.html

数理最適化をより扱いやすく問題を直接自然言語で記述。
“解”候補と目的関数値の履歴をプロンプトに与え、目的関数値をより良くする”解”候補を出力させる。

◯複雑な定式化を必要とせず自然言語で問題を記述✕制約条件の考慮✕大規模な問題の扱い
Yang, Chengrun, et al. "Large language models asoptimizers." arXiv preprint arXiv:2309.03409 (2023).

© 2023 NTT DATA Mathematical Systems Inc.

22

シミュレーション✕機械学習/LLM✓ 微分方程式をDeep Learningで解く。

シミュレーションをより高速に地球規模の天候シミュレーション。 ◯シミュレーションの高速化
10日間のシミュレーションをTPU v4で1分。
微分方程式を利用したスーパコンピュータによる数値解法のアプローチでは2時間。精度も一部指標で上回る。

✕学習データの構築

Lam, Remi, et al. "GraphCast: Learning skillful medium-range global weather forecasting." arXiv preprint arXiv:2212.12794 (2022).

✓ エージェントにLLMを組み込んだシミュレーション

エージェントをより人間らしく感染症の広がりに対する人々の振る舞いをシミュレート。

株式売買のためのディスカッションとシミュレーション

感染が広がるとひきこもるので感染者数が減少、収まってくると外出して感染が拡大、という「感染者数の波」が再現。

Li, Yang, et al. "TradingGPT: Multi-Agent System with Layered Memory andDistinct Characters for Enhanced Financial Trading Performance." arXiv
preprint arXiv:2309.03736 (2023).

Williams+: Epidemic Modeling with Generative Agents, arxiv: 2306.02552 (2023)© 2023 NTT DATA Mathematical Systems Inc.

23

新しい“機会学習”?：In Context Learning (ICL)「推論のみで少数の例示からパターンを“学習”し、新しい例に正しく適用できる」というLLMの性質。
LLMの最も盛んな利用方法の一つ。

© 2023 NTT DATA Mathematical Systems Inc.

24

新しい“機会学習”?：In Context Learning (ICL)✓ In Context Learning において”学習”される”モデル”はどこにあるのか。
⇒LLMの特定の層における最後の入力トークンに対する出力が、ICLによって”学習”されるモデルパラメータの役割を果たす。
Roee Hendel, Mor Geva, Amir
Globerson, In-Context Learning
Creates TaskVectors,arXiv:2310.15916, 2023

✓ In Context Learningにおいて”モデル”はどのように”学習”されるのか。
⇒LLMのTransformer1層が勾配降下法の1stepのような役割を果たす。

※LLMがICLによってどのようにさまざまなタスクを解いているのか明らかになりつつある。

Von Oswald, Johannes, et al. "Transformers learn in-context by gradient descent."
InternationalConference on Machine Learning. PMLR, 2023.

人類が未だにうまく扱えていないタスクをLLMが解く機構を分析することで、新たなアルゴリズムの発見の可能性も。
(AI for Science)© 2023 NTT DATA Mathematical Systems Inc.

25

04
数理科学の今(ビジネス編)© 2023 NTT DATA Mathematical Systems Inc.

26

機械学習✕数理最適化✕シミュレーション ビジネス事例✓ 沖電気工業株式会社様物流手配における業界横断的な輸配送計画調整(最適化)と自動交渉(シミュレーション)を組み合わせたプラットフォーム✓ 複数社の配送計画を統合し、業界全体で移動コストが小さくなるような効率のよい新たな配送計画を作成。
✓ 配送計画によっては特定の配送業者が損をしてしまうことになるので、AIが価格交渉を行う。
✓ 交渉が決裂した場合は条件を変更して新たな配送計画を作成する。

交渉シミュレーションのイメージ
https://www.msiism.jp/article/oki-ai-negotiation.html© 2023 NTT DATA Mathematical Systems Inc.

27

機械学習✕数理最適化✕シミュレーション ビジネス事例✓ 株式会社セブン＆アイ・ホールディングス様
即時配送と計画配送の実応用にむけた配送最適化アルゴリズムの開発。
✓ ネットコンビニ事業の配送効率を最適化したい。
✓ 新注文発生時、すでに複数のタスクを持っている各配達員の誰に新しい配達を任せるべきか。
✓ 配達員の総移動距離、総注文数などからなるコスト関数が最小となる配達員に新しい注文を差配。

？

？

✓ 実際の注文履歴通りの注文が発生していった場合の配達を地図上でシミュレーション。KPI(遅配件数、必要配達員人数etc.)を最適化すようにコスト関数内の不確定パラメータを最適化。

三好大悟, et al. "即時配送と計画配送の実応用にむけた配送最適化アルゴリズム開発." 人工知能学会全国大会論文集 第 37 回 (2023). 一般社団法人 人工知能学会, 2023.
© 2023 NTT DATA Mathematical Systems Inc.

28

すばらしい事例は多々あるが・・・：日本のAIビジネスの現状✓ 世界的にみて、日本のAIのビジネス活用の活発度は研究開発の活発度と比較して極めて少ない。
✓ 日本のAIブームは始まってすらいないという現状。研究開発結果を社会に還元できていない。
2021 AI総合活性度ランキング

2021 AI経済活性度ランキング
青：研究開発活性度(採択論文数など複数の指標から計算)
緑：経済活性度(企業のAIに対する内部投資など複数の指標から計算)

2021 13th

2020 18th
2019 22th2018 20th

AI研究開発活性度と比べてAI経済活性度が低い

Stanford university Human centered Artificial Intelligence, Artificial Intelligence Index Report 2023, arXiv:2310.03715© 2023 NTT DATA Mathematical Systems Inc.

29

05
数理科学とビジネスのこれから© 2023 NTT DATA Mathematical Systems Inc.

30

LLMの影響：StockX現象✓ StockX✓ 時価総額約4000億円。スニーカーなどコレクター要素の高い品の個人間取引プラットフォーム。

https://stockx.com/about/ja-jp/how-it-works-ja-jp/© 2023 NTT DATA Mathematical Systems Inc.

31

LLMの影響：StockX現象✓ StockX現象
支配的なマッチングプラットフォームによる市場全体の活性化を受けて、プラットフォームの欠点が顕在化。その欠点を解決する形で、当該プラットフォームが支配的だと思われていた市場の特定セクションに別のプラットフォームが隆盛する現象。
欠点の顕在化

売りたい人

探パ
しーてトいナるー
人をeBayPairs
Tinder

買いたい人

探パ
しーてトいナるー
人をコレクション性の高いアイテムでは、、✓ ニセモノを購入してしまうリスク。
✓ 値付けの妥当性がわからない。

StockX✓ コレクターアイテム特化✓ 真贋鑑定✓ 値動きの可視化
欠点の顕在化✓ マッチングしない。
✓ 本気度が異なる。

https://prtimes.jp/main/html/rd/p/000000566.000007950.html

結婚相談所✓ 入会手数料によるスクリーニング✓ 仲人による服装のアドバイスなど© 2023 NTT DATA Mathematical Systems Inc.

32

LLMの影響：StockX現象✓ LLMは技術と課題をラフにマッチングする役割を担いうる。
✓ LLMの影響で数理科学全体の活性度の上昇を期待。
✓ LLMに対するStockX現象に相当する我々の役割や技術が今後さらに重要になる可能性がある。そのためには、LLMでできること、できないこと、LLM利用ユーザのペインを理解することが重要。
欠点の顕在化技術

LLM課
題✓ LLMが提供しきれない価値とは？

みなさま
僕たち

技術

課
題

✓ 僕たちが提供できる価値とは？

ぜひ、他の講演もご聴講ください。

© 2023 NTT DATA Mathematical Systems Inc.

33

ツールとしてのLLM

課題・やりたいこと技術
LLM
最新技術の調査検討。
GUIを利用したツールの構築。
適切な技術の選択、組み合わせの設計。
実際のソリューションの実装。

我々の役割
技術と課題のマッチング

課題のヒアリング。
課題の定式化。
解きたい問題を解ける問題へ。

© 2023 NTT DATA Mathematical Systems Inc.

34

ツールとしてのLLM✓ ツールとしても極めて興味深い技術であり、われわれも様々な検討を行っております。
分析アシスタント

製品操作に対するQAチャット

ぜひ、展示ブースへお越しください。
ディスカッション
させてください！

© 2023 NTT DATA Mathematical Systems Inc.

35

© 2023 NTT DATA Mathematical Systems Inc.