DX時代のAI技術の進化について
AI技術の進化とDX時代のための要件

富士フィルムビジネスイノベーション

渡部雅夫

本日の内容1. 現在までのAI技術の進化
1. 機械学習技術の進化
2. 機械学習以外のAI技術の進化
2. これからのAI技術の進化
より安く/早く/お手軽に、より複雑な課題を解決、DX時代の多種多様なデータに向けた汎用AI
3. まとめ現在までのAI技術の進化 - 機械学習技術の進化
機械学習技術の進化は、”様々なアルゴリズムの計算”から”誰でも使えるツール”へ<機械学習アルゴリズムの黎明>

Kmeans(k平均法)
1967 James MacQueenが命名
最もシンプルでかつ、実用性に富んだ分類器<初期のブレークスルー>

カーネル法
サポートベクトルマシン

スパースモデリング
決定木(ID3)

Lasso

1979 John Ross Quinlan

R言語
2000年代データの抽出や変換、モデルの適用、推論と予測、結果の作図とレポートなど、データ解析における機能を容易に利用できる言語/ライブ

最もシンプルでかつ、実用性に富んだ分類器
ニューラルネットワーク
深層学習
線形代数を元にした
各種最適化アルゴリズム各種グラフアルゴリズム
グラフ理論を元にした探索/分類アルゴリズム<高級言語の機械学習ライブラリの充実>

確率的生成モデル
ベイズ推定<次世代ブレークスルー>
XAI（説明可能なAI）

次世代深層学習
少数データからの学習
自己教師あり学習ラリ
Python
2000年代容易に書ける言語
豊富なライブラリ

記号推論との融合

確率的生成モデルと深層学習との融合機械学習技術の進化(1) 機械学習アルゴリズムの黎明様々な”計算”を実現する為のアルゴリズムが開発される

K-means(K-近傍法)
シンプルなアルゴリズムだが、反面素性が明確であり、かつ教師なし学習が可能であるため、対象データの分析や、他のアルゴリズムとの組み合わせ様々な応用があり、非常に広い用途で利用可能な機械学習

https://scikit-learn.org/stable/auto̲examples/cluster/fifiplot̲kmeans̲digits.html

Decision Tree
説明できる機械学習の文脈でも利用される。Rule t等のルールのパターン抽出という観点では、深層学習等では実現できない機能が実現できる。またアンサンブル学習することで、実用的な精度も得られる

https://dataaspirant.com/decision-treeclassi er-implementation-in-r/

Linear regression
線形代数をベースとしたアルゴリズム。さまざまな数学的(線形代数)のアプローチで応用は幅広い

https://tomoshige-n.hatenablog.com/entry/
2014/08/14/013616

機械学習技術の進化(2) 初期のブレークスルー
計算手法の”ブレークスルー”の発見と実用化(今日の機械学習技術の基盤)
カーネル法
特徴ベクトルを高次元に非線形変換しするカーネル関数を用いることで、特徴空間中のデータの座標の明示的な計算を経由せずに、特徴空間での内積をデータから直接計算するアプローチ。
SVM等の応用もあるが、近年では、ガウス過程での計算アルコリズムでも用いられ、深層学習との同質性も証明されている。

スパース学習(正則化)
データのパラメータ(特徴ベクトル)の複雑さに制約をかけて最適化を行うことで、重要でないデータの影響を排除する。

機械学習プロフェッショナルシリー

機械学習プロフェッショナルシリーズ

ズ「ガウス過程と機械学習」より「スパース性に基づく機械学習」より

深層学習
従来のパーセプトロンの課題であった勾配消失等の問題を確率的勾配降下法やAdaGrad等を使って解決。

https://jp.mathworks.com/
discovery/deep-learning.html

ベイズ推定
結果の確率(今の事象)から、原因の確率を推定することで、全てを司る神のしくみを解明しようとしたベイズ牧師が考えた定理(ベイズの定理)からスタート。

https://yolo-kiyoshi.com/
2019/11/17/post-1492/

機械学習技術の進化(3). 高級言語の機械学習ライブラリの充実(1)“計算”から”ツール”への進化→機械学習技術が誰でも容易に利用可能へ
Python Scikit-Learn
Classi er Comparison

10種類の分類アルゴリズムを一度に評価

R Caret(Classification AndRegression Training), 200種類以上のモデルを統一的に扱える
R/Caretを使った画像処理

レポジトリ”https://scikit-learn.org/stable/auto̲examples/classi cation/plot̲classi er̲comparison.html#sphx-glr-auto-examples-classi cation-plotclassi er-comparison-py"より100行程度のコードをダウンロードすることで動作させる

fifififififi

ことが可能"https://valentinitnelav.github.io/satellite-image-classi cationr/"に記載されているコードをサンプルとして利用することで動作可能

機械学習技術の進化(4) 高級言語の機械学習ライブラリの充実(2)
深層学習や確率的生成モデル等のの複雑な計算(理論)も細かな実装を考えず利用可能へ
勾配降下法による重みの計算

Kerasによるモデル

解析結果

From eras import models
From eras import layers
Network = model.Sequential()
Network.add(layers.Dense(512, avtivation=ʻrelyʼ,input?
shape(28*28)))
Network.add(layers.Dense(10,activation=ʻsoftmaxʼ))「PythonとKerasによるディープラーニング」より

状態空間モデルの数学的表現
xt=xt-1+εt-1
yt=xt+δtεt〜N(0,σε)
δt〜N(0,σε)
https://stats.biopapyrus.jp/bayesian-statistics/
estimation/state-space-representation.html

STANによるモデル「PythonとKerasによるディープラーニング」より

解析結果

機械学習技術の進化(5) 次世代機械学習の進化(1)
深層学習の複雑なモデル化によるより高度な課題への対応
Transformer
全結合層を用いたエンコーダー・デコーダーモデルにAttensionを組み合わせたモデル。BERT、XLNET、GPT-2等の近年のNLPのSoTAのベースとして使われている

https://qiita.com/omiita/items/07e69aef6c156d23c538

Graph Neural Network
従来の深層学習が扱うデータの集まり(ベクトル)や、格子状に配列されたデータ(画像)、逐次データ(テキスト、音声)よりも表現力が大きいグラフ型データを学習するための枠組み

https://ai-scholar.tech/articles/gnn/GNN̲review

機械学習技術の進化(6) 次世代機械学習の進化(2)既存の機械学習の課題の解決:スモールデータでの機械学習、説明できる機械学習
弱ラベル(半教師あり)学習
スモールデータ学習の技術の一つである弱ラベル学習の一つであるマルチインスタンス学習。個々のデータにはラベルがついておらず、いくつかのデータが入ったバッグにラベルがついている。医療での病理部検出や知らせん言語処理等で用いられている

https://tech.preferred.jp/ja/blog/extendingmultiple-instance-learning-using-lesionannotation/

説明できる機械学習
ブラックボックス化した機械学習結果をホワイトボックス化する学習技術。ブラックボックスの学習モデルでの結果に対して、統計的な分析を加えたり、シンプルなモデルを適応することでホワイトボックス化する

https://atmarkit.itmedia.co.jp/ait/articles/
1908/19/news022.html

機械学習技術の進化(6). 次世代機械学習の進化(3)記号データ(ナレッジグラフ)と数値データ(機械学習)の融合
記号データ(ナレッジグラフ)技術

Explainable AIの実現

知識グラフは、物理的または非物理的に「存在する」ものとその関係性を表した 複雑で抽象的なルールや知識を表したものまで多種多様にわたるデータ。

知識グラフデータと機械学習技
術を組み合わせて検索した結果に説明性を付与
Google knowledge graph)
Knowledge Graph enhanced
chat bot using graph QL

知識グラフデータと機械学習を組み合わせてチャットボッ
トの会話をよりフレキシブルにする
https://www.asahi-net.or.jp/~ax2s-kmtn/internet/
rdf/NOTE-rdf11-primer-20140225.html

https://wordlift.io/blog/en/building-aknowledge-graph-based-chatbot/

Semantic Image Manipulation

知識グラフデータと機械学習を組み合わせて画像を言葉で変換する

機械学習技術機械学習以外のAI技術の進化「学習」技術以外にも大きく裾野を広げているAI技術*人工知能学界: AIマップより

「論理」の応用から始まる古典AIの進化
古典的なAI技術
エージェント、探索、制約満足度問題、敵対探索、論理、計画、マルコフ意思決定プロセス、強化学習等現在のAI技術の基本的なアイデアが提示されている「論理」の拡張(高速化)SAT
SATソルバ()は暗号、計画、スケジューリングなどの決定可能な有限な問題の解決策を高速に見つけようとするためのツールでLSIのロジックテスト、経路探索等様々な分野で利用されている「論理」の拡張(拡張論理)ASP
一般的な論理ツールでは抽出困難なコンフリクト(矛盾)がある集合の中から、安定して矛盾ない論理集合群を見つけてくれる。Prologの派生
プラグインとしてOSSが提供されているト ロ
制約と電気制約を満たしつつ，電 力の損失を最小にするスイッチの開閉状態を求める配電網問題や、ソフトウェアテストケースの生成等で用いられているPythonのコードは以下よりダウンロードして利用できる
https://www.msoos.org/
http://aima.cs.berkeley.edu/python/readme.html

ポジ

機械学習以外のAI技術の進化(1)https://potassco.org/clasp/機械学習以外のAI技術の進化(2)記号情報(知識)活用の進化
初期のエキスパートシステムCLIPS
ルールデータとコーディングデータの分離
人が問題解決をするときの重要な機能である条件分岐を計算機で使うために、条件分岐(ルール)データと、その他の処理データを分割したもの。
現在でも様々なアプリケーションで活用される
https://www.clipsrules.net/

確率と論理の融合(SRL、PLL)

ルールデータの機械学習による抽出(決定木、RuleFit)
2008年に、explainable Machine Learningの文脈で発表された決定木から特徴量を自動で抽出するモデル。さまざまな分岐条件の組み合わせのうちどれが効いているかをスパースモデリングを組み合わせて計算する
https://github.com/christophM/rule tSRL(stastical relational learning 統計的関係学習)はRDB等の関係データに確率を導入しようというものでMLN(Markov Logic Network)等のバラツキを加えた意思決定等に用いられる。
PLL(probabilistic logic learning;確率論理学習)は帰納論理プログラミング(ILP;inductive logicprogramming)のように論理プログラミングに確率の過程を導入するものとなる。近年は深層学習と組み合わせたモデルもある。

fiff

https://www.semanticscholar.org/paper/Inductive-LogicProgramming-via-Di erentiable-Deep-Payani-Fekri/
e85119cb887cc6ae8d496c7c08bc87768622da5a

機械学習以外のAI技術の進化(3)
人と機械との会話の進化
初めての対話エンジンEliza

深層学習を用いた対話エンジン

1966年にMITのワイゼンバウムが開発したもの。精神療法の患者向けで、アルゴリズム的には非常にシンプルなランダムマッチング構成となっていた。にもかかわらず、多くの人がバックに人の存在を感じていた。

2017年に発表されたベイズモデル(VAE)と深層学習(HRED)を組み合わせたVHRED(Latent
Variable Hierarchical Recurrent EncoderDecoder)、発話/応答のシーケンスのペアを学習させ、発話から応答を生成するモデルにベイズモ
デルを組み合わせて揺らぎのある応答を成功させたもの

ナレッジグラフを用いた
マルチスクリプト対話エンジン
2018年にAAAIに報告されたナレッジグラフと機械学習を組み合わせてマルチスレッド会話を実現したもの。

https://github.com/norvig/paiplisp/blob/master/lisp/eliza1.lisp

fiSerban, I.V., Sordoni, A., Lowe, R., Charlin, L., Pineau, J., Courville, A., and Bengio,
Y.: A hierarchical latent variable encoder-decoder model for generating dialogues, In
Proceedings of the Thirty-First AAAI Confer-ence on Arti cial Intelligence,
pp.3295-3301, 2017.

https://arxiv.org/abs/1801.10314

これからのAI技術の進化の方向性
1. 特定のデータ群に対応したドメイン特化型モノリシックAIソリューション

→ より安く/早く/お手軽にクラウド/OSSの活用(汎用フレームワークの徹底活用)、パラメータの自動最適化、学習データの準備の簡素化(少量データでの学習)

2. 複数のAIモジュールを組み合わせたより高度な課題の解決→ より複雑な課題への対応
アルゴリズムへの深い理解と複合カスタマイゼーション可能なPFの選択、分散処理

3. DX時代の多種多様なデータに向けた汎用AIとしての進化→ 多種多様なデータデータと多様なニーズにフレキシブルへの対応
セマンティックウェブサービス、マルチエージェントシステム、マイクロサービス

1. より安く/早く/お手軽にシンプルなAIソリューションの低コスト化
フレームワークのモデル最適化の学習データ準備の低コスト化

低コスト化

コスト化

クラウドサービス/OSSの活用ベイズ最適化等のハイパーパーメータ自動最適化ツールを用いた機械学習の最適化

少数データの機械学習あるいは教師なし学習による低コスト化

Gemini eye Integration

NECが開発した技術は、大きく分けて次の3つ。

2. より複雑な課題への対応
AIモジュールの組み合わせによる高度な課題の解決
ツールの視点から計算の視点へ

ツール利用の進化

単純なアンサンプルだけはなく異なったのアルゴリズムを再帰的/複合的に組み合わせさまざまなライブラリを統一的に扱えるPFを利用した
コーディングの効率化/再利用化(例:Clojure)<pythonライブラリとの連携><Rライブラリとの連携>

https://deus-ex-machina-ism.com/?p=31717

https://deus-ex-machina-ism.com/?p=31877

Clojre上でpythonのライブラリである

機械学習プロフェッショナルシfi

リーズ「音声認識」よりtransformersを利用してzero-shot-Clojre上でRの確率プログラミングライブ

classi cationを行ない、さらにexplainable

ラリであるStanを用いてベイズ推定を行っmachine learningのライブラリであるlimeをた例

組み合わせた例

3. 多種多様なデータデータと多様なニーズにフレキシブルへの対応(1)DX時代の多種多様なデータに向けた汎用AIとしての進化<DX時代のデータとは>• デジタルがリアルを飲み込む(OMO)ので、デジタルがビジネスの生命線になる• あらゆる存在(人/モノ)から生成される大量のイベントデータをリアルタイム処理してアクションを起こすことが競合
優位性構築に必須となる• 様々なステークホルダーとダイナミックに連携して優れたユーザーエクスペリエンスを提供することが求められる*書籍「アフターデジタル」で取り上げられている中国のデジタル化(デジタライゼーション)の実態

DX後の世界では、現在とは桁違いの多種多様なデータを扱いつつ、様々な規模の多様なビジネスの要求に柔軟に対応できることがもとめられる。

3. 多種多様なデータデータと多様なニーズにフレキシブルへの対応(2)DX要求に対するAI技術の課題
モノリシックなAIアプリケーションでは、多種多様なデータ(DX要求)に対応できない<ノーフリーランチ定理>

領域を特定した最適化ルーチン
にて実現

実現困難

モノリシックな構造ですべ*wiki ノーフリーランチ定理ページより「あらゆる問題で性能の良い汎用最適化戦略は理論上不可能であり、ある戦略が他の戦略より性能がよいのは、現に解こうとしている特定の問題に対して特殊化（専門化）されている場合のみである」ての領域に適用可能なAiア
プリケーションは構築困難*pythonとKerasによるディープラーニングより

3.多種多様なデータデータと多様なニーズにフレキシブルへの対応(3)DX時代のNext AIの方向性
様々なモデル(アルゴリズム)を持つAI moduleを分散処理して、特定のドメインのAIを構築して、それらを組み合わせて利用する。

多様なデータ組み合わせる手段(マルチエージェントシステム、マイクロサービス、データ指向アーキテクチャ、イベントドリブンアーキテクチャ、Web of Things ets)

AIソリューション
AI
モジュール

AI
モジュール

AI
モジュール

AI
モジュール

多様な応用

DX時代のNext AI技術の方向性(1)セマンティックサービスとWOTそれぞれのモジュールに意味的にハンドリング可能なメタデータを付与して利用
セマンティックウェブサービス
サービスの意味を支えるオントロジー技術と、オントロジー記述を解釈してサービスを実行するWeb技術をベースとした、メタデータを中心としたデータハンドリング

WoT (Web of Things)技術
Webのオープン標準技術を使ってIoTを実現するという概念であり、Webの標準化団体であるW3CのWeb of Things Interest Groupにて検討が行われているもの。
Rest等のWeb API、プロトコルのマッチング、セキュリティ等の規格とオントロジーを利用した「モノ」のメタデータの提供からなる。後述のデータ指向アーキテクチャと組み合わせてフレキシブルなサービスを構築

DX時代のNext AIの方向性(2)マルチエージェントシステムと強化学習によるアプローチ
初期のアイデア
1986年にミンスキーによって書かれた邦
題「心の社会」人の知能の働きをエージェントの組み合わせのプロセスとした。人間の知能についての多くの気づきを与えてくれる古典図書

マルチエージェントシステム
複数のエージェントから構成されるシステムであり、それぞれ異なった判定アルゴリズムを持って、モノリシッ
クなシステムでは困難な課題をシステム全体で解く
NetLogo(http://ccl.northwestern.edu/netlogo/index.shtml)によるPagerank simulation

強化学習システムある環境下におけるエージェントが、現在の状況を観測し、とるべき行動を決定する問題を扱う機械学習技術。マルチエージェントと組み合わせ判定を環境に合わせて最適化
openAIgym(https://github.com/openai/gym)を使ったCAR-Racing)DX時代のNext AIの方向性(3)マイクロサービスとドメイン駆動開発とデータ指向アーキテクチャ
マイクロサービス
AIモジュールを機能単位ではなく、サービス単位で分割構成、それらと前述のメタデータ等を組み合わせてフレキシブルなAIソリューションを構築

iMagazine
https://www.imagazine.co.jp/マイクロサー
ビス導入時の開発・運用のポイント/

ドメイン駆動開発

データ指向アーキテクチャ

サービス単位で分割する際に、サービスドメインに分割し、ドメイン駆動開発的なアプローチで機能を抽出して、メタデータを付与

データ指向アーキテクチャとしてイベントベースアーキテクチャにより、さまざまな要求のあるデータに対して、マイクロサービスと組み合わせてフレキシブルなサービスを構築

データ指向アプリケーション
ドメイン駆動開発

まとめ•機械学習技術の進化の流れは、”様々なアルゴリズムの計算”から”誰でも利用可能なツール”へ」•近年の機械学習技術の進化は、「スモールデータ」「説明」「記号データとの融合」等のより深い課題を解決する方向に向かっている•機械学習以外の人工知能技術も様々なものがあり、機械学習技術などと組み合わさって進化している。

•今後の人工知能の進化の方向性としては(1)より安く、よりお手軽に、(2)様々な技術を融合したより高度な課題への対応、(3)DX時代に対応した多種多様なデータ/要求にフレキシブルに対応する等になる•(3)の課題に対するNext AI技術の候補としては、セマンティックサービス、マルチエージェントと強化学習、マイクロサービスとの融合等最新のICT技術と組み合わされた様々なアプローチが模索されている。
*本日発表内容の詳細はブログでも(https://deus-ex-machina-ism.com/)公開しております