◇第三部 人工知能（Artificial Intelligence）関連
Part3. Artificial Intelligence株式会社 インシリコデータ
湯田 浩太郎Contents:
挨拶：Greetings:
株式会社 インシリコデータ （ In Silico Data, Ltd.）
湯田 浩太郎（Kohtaro Yuta）◆導入 計算毒性学と「化学データサイエンス」
Introduction: Computational Toxicology and “Chemical Data Science”◇第一部 計算機化学（Computer Chemistry）関連
Part1. Computer Chemistry◇第二部 化学多変量解析／パターン認識（ケモメトリックス（Chemometrics））関連
Part2. Chemical multivariate analysis / pattern recognition (Chemometrics)◇第三部 人工知能（Artificial Intelligence）関連
Part3. Artificial Intelligence◇第四部 インシリコ創薬関連
Part4. Insilico drug design

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field

生命科学分野での人工知能への期待分野と適用／成果

Expected fields and applications / results for artificial intelligence in the life science field

適用分野
Application fields

化学／創薬

バイオ

医療

Chemistry / Drug design

Bio

Medical care

初期Initial⇒ ルールベース型 Rule base type
人工知能
Artificial intelligence

期待成果
Expected results

現在Current⇒
機械学習型（深層学習）Machine deep learning
新薬デザイン、最適化、ドラグ・リポジショ
ニング、毒性評価、New drug design,
optimization, dragrepositioning, toxicity
assessment, etc.

遺伝子解析、遺伝子
探索、発現プロフィー
ル解析、ＳＮＰｓ探索、Gene analysis, genesearch, expression
profile analysis, SNPs
search, etc.

自動診断、画像解析、
音声解析、その他
Automatic diagnosis,
image analysis, audio
analysis, etc.

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field□最新／現役／話題の人工知能システム☆ルールベース型人工知能 Rule-based artificial intelligence
DEREK ⇒ 化合物の毒性評価システム Compound toxicity evaluation system☆コグニティブコンピュータ Cognitive computer
Watson (IBM) ⇒クイズ番組で勝利 Win a quiz show
医療関連分野で実績を出しつつあるProven in the medical field☆機械学習（深層学習）型システム Machine/ Deep learning
アルファ碁 AlphaGo（グーグル）⇒
世界のトッププロ棋士（イ・セドル）に４勝一敗で勝利
・学習回数：数千万局＞三千万局（自己対局）
・ルールの自動獲得：囲碁のルールを自動的に学習した？
Win 4 wins and 1 loss against the world's top professional athletes・ Number of learning: tens of millions of stations> 30 million stations (self-playing)・ Automatic rule acquisition: Did you automatically learn Go rules?

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field☆機械学習（深層学習）型システムMachine/ Deep learning
アルファ碁 AlfaGo（グーグル）⇒
世界のトッププロ棋士（イ・セドル）に４勝一敗で勝利
Win 4 wins and 1 loss against the world's top professional athletes

勝因？：ルール型対局から一種のパターン認識型対局に変えた
この結果、対局勝利まで今後十年かかるといわれた評価を覆した
The cause of victory? : Changed from a rule type game to a kind of pattern recognition type gameAs a result, it overturned the evaluation that it would take 10 years to win the game.

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field□対局の条件と特徴的結果 Game conditions and characteristic results
・学習サンプル数：数千万局＞三千万局（自己対局）
Number of learning samples: tens of millions> 30 million (self-playing)・ルールの自動獲得：囲碁のルールを自動的に学習した？
Automatic rule acquisition: Did you automatically learn Go rules?

上記事実から受ける期待イメージ： Expected image from the above facts

大量のデータを用いて深層学習させると、新規で何らかの重大なルールが発見でき、新しい研究に繋がるのではないか？
If deep learning is performed using a large amount of data, can some new
and important rules be discovered, leading to new research?
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field□ 化学分野での人工知能の歴史
当初から現在まで
ルールベース型人工知能
最初に人工知能として開発。
実用システムや研究システムが多数開発済み。
技術的にほぼ完成状態。
長所や欠点が見えている。
研究的に新規性が殆ど無いため、論文になりにくい状況

現在注目中
機械学習型
（ニューラルネットワーク）
人工知能
機械学習型人工知能
システムとしての実績はないが、今後の展開が期待されている⇓
深層学習
未知要素が多く、期待値が高論文になりやすい状況
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field□ 機械学習型人工知能の全体的歴史と主要トピックス□人工知能に注目させたトピックス：成功事例：アルファ碁□人工知能に注目させたトピックス：失敗事例：チャットボット「Tay」□人工知能の歴史：多変量解析／パターン認識と人工知能◆過古の多変量解析/パターン認識と人工知能との関係
殆ど関連性が無く、全く別の研究分野として扱われてきた
唯一、単層型のパーセプトロンが、分類機として使われていた◆現在における多変量解析/パターン認識と人工知能との関係
現在の深層学習を基本とする人工知能は、ニューラルネットワークが基本。
殆どの場合、ニューラルネットワークは多変量解析／パターン認識に分類される。この結果、両分野の境界は殆ど存在しなくなった。
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field

人工知能に注目させたトピックス□ 成功事例
AlphaGo（アルファ碁）が人間に打ち勝って世界一になった。
人間がコンピュータに勝てる最後の分野の神話が崩れた

碁の学習アルゴリズムに深層学習を適用していた
留意点：学習に使われた対局数が数千万という数に達している
サンプル数が少ない場合は成果を期待しにくい
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field

人工知能の成功トピックスに隠れた事実○ 極めて多数のサンプルが必要
・ネットワーク構造が複雑なため、過剰適合の回避に極めて多数のサンプルが必要
・学習数が少ないと強くならない○ 要因解析実施が極めて困難
・ネットワーク構造が複雑なため
・なぜアルファ碁が強いのかがわからない
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field■ 失敗事例
人工知能の対話型ロボット「Tay」がヘイト発言を乱発

Twitter等の内容からヘイト発言を学習してしまった

留意点：人工知能における学習サンプルの重要性
学習内容により人工知能は大きく変化する

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field

人工知能の失敗事例に学ぶべき事実
人工知能は学習内容に忠実に行動する（善人にも悪人にもなる）○ 学習用サンプルの品質や内容の吟味・望ましい判断が出来るように学習させる
ノイズ情報を極力避けて学習〇偏りのない学習をさせる
・学習には、正解と誤答の両方が必要
例：文献データは成功事例。
文献データを多数集めても、失敗事例データが無いと、人工知能は正しい評価ができない
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field

人工知能と多変量解析／パターン認識
現在の機械学習型人工知能は多変量解析／パターン認識と基本は同じ○ 多数のサンプルが必要
・過剰適合や偶然相関の回避〇学習には、正解と誤答の両方必要
・人工知能も多変量解析／パターン認識も
機械学習により知識や情報を得る
・学習内容が偏っていると、結果も偏ってくる
・多変量解析／パターン認識ではサンプル数の多いクラスに振り分けられる
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field
化合物構造式中心で展開される化学と、
数値／文字中心で展開される自人工知能のギャップの解消□ルールベース型人工知能：過去から現在
化合物の情報学的操作に関する技術は
LHASAシステムの開発過程でほとんど解決済□機械学習型人工知能：現在
機械学習で化合物を扱う技術は、化学多変量解析／
パターン認識（ケモメトリクス分野）でほとんど解決済

構造式を細かに扱わない深層学習に問題あり
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field

人工知能言語1958:LISP(List Processor)
1972:Prolog
1994:Python

ルールベース型人工知能＊第五世代コンピュータ（日本）

従来型人工知能
実用システム多数

多変量解析/パターン認識
重回帰、パーセプトロン、ＰＣＡ、クラスタリング、他

機械学習発展・新アプローチ
ニューラルネットワーク、
遺伝的アルゴリズム、ファジイ、他

深層学習開発／展開

新世代
人工知能
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field

二種類の人工知能■知識整理および適用型□発見型および要因解析型

ルールベース型人工知能

機械学習型人工知能
ニューラルネットワーク
深層学習

解決すべき問題点：
・目的解決に適したルール作成
・ルール間の階層、衝突回避
・エキスパートの存在必要

解決すべき問題点：
・データ解析上の問題点
過剰適合、偶然相関、クラス
分布、欠損データ、他
・解析手法の特性／限界・解析結果の解釈
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field◇ルールベース型人工知能：
時人
代工
の知
変
化能
にの
よ変
る化

人工知能の初期に実施された。
限界；適用可能な妥当なルールベースを作りこむことが難しい

IoT等の発展により、ビッグデータ時代に突入◇機械学習型人工知能：最近のメインアプローチ
大量のデータを用いて学習し、自動的に知識表現を獲得
ニューラルネットなどの機械学習手法が発達
最近のディープラーニング等が展開されている
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field
化学分野で現在展開されている人工知能システム□歴史的に化学関連分野への人工知能適用の歴史は長い
化学分野では数式に乗らない事項が多く、経験則が重要となることが多い⇒人工知能が活躍する地盤がある□適用事例は多い
・機器スペクトルデータの解析支援システム
・有機合成支援システム
・毒性予測システム・構造-活性相関支援システム
・創薬化学者支援システム
・その他
従来より展開されてきた化学分野の人工知能システムは、その展開上化学的なノウハウや考え方等のアナログ的な内容を、デジタルに変換する事が必要⇒ルールベース型
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field

人工知能による毒性予測関連支援システム：
ルールベース型人工知能

DEREK: Deductive Estimation of Risk
from Existing Knowledge
HazardExpert:
RIPT: Rule Induction for Predictive Toxicology
TOX-MATCH:
DART: Decision Analysis by Ranking Techniques
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field
現在における多変量解析/パターン認識と人工知能との関係

多変量解析/パターン認識と人工知能は

機械学習により繋がっている
多変量解析/パターン認識
人工知能
様々な
データ解析手法

既存のルール（特化型、汎用型）

クラス分類
発見された
機械学習
フィッティング
新ルール
マッピング
クラスタリング ビッグデータ
深層学習
他(DNN, CNN,RNN)
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field

パーセプトロンの学習アルゴリズム

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field

単純パーセプトロン

学習による判別関数の創出

100%分類

エラーフィードバックトレーニング
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field

エラーフィードバックトレーニングのイメージと計算式
修正前の判別関数

判別関数の修正

修正後の判別関数

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field

バックプロパゲーション計算式の一部

https://qiita.com/43x2/items/50b55623c890564f1893

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能概論と化学分野の人工知能
Introduction to artificial intelligence and artificial intelligence in the chemical field

多変量解析／パターン認識

人工知能

二クラス分類

犬と猫を識別する判別関数の修正

識別のための学習

様々な判別手法

バックプロパゲーション

ニューラルネットワーク

ニューラルネットワーク

Bayes、SVM、AdaBoost、他
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

1. 人工知能概論と化学分野の人工知能
・ケモメトリックスと人工知能の関係

多変量解析／パターン認識

人工知能

機械学習
エラーフィードバックトレーニング

学習

ニューラルネットワーク

ニューラルネットワーク
脳のシミュレーター

脳のシミュレーター
分類手法

深層学習

エラーフィードバックトレーニング、他

Bayes、SVM、AdaBoost、他
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

1. 人工知能概論と化学分野の人工知能
・ケモメトリックスと人工知能の関係
現在における多変量解析/パターン認識と人工知能との関係

多変量解析/パターン認識と人工知能は

機械学習により繋がっている
多変量解析/パターン認識
人工知能
様々な
データ解析手法

既存のルール（特化型、汎用型）

クラス分類
発見された
機械学習
フィッティング
新ルール
マッピング
クラスタリング ビッグデータ
深層学習
他(DNN, CNN,RNN)
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

2. ルールベース型人工知能
・特徴：人間のノウハウの活用
ノウハウ取り出し＆活用型

人間の有するノウハウ
ルールとして取り出し

ノウハウデータベース

ノウハウ発見＆活用型

開発関連情報ビッグデータニューラルネットワーク
深層学習

人工知能システム

取り出されたノウハウや知識
ネットワーク構造として人工知能の適用

人工知能の適用
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

2. ルールベース型人工知能
・特徴：人間のノウハウの活用◇人工知能の基本的なアプローチ
初期の人工知能は人間の有するノウハウを取り出し、システム上で高度かつ高速に実施を目指す
適用限界：
・ルール取り出しの困難さ
・ルールのプログラミングでの限界・ルールが多くいなると運用困難

ノウハウ活用型
人工知能

現在の人工知能は大量データから何らかのノウハウを取り出し、そのノウハウを用いて仕事をする
適用への期待：・ルール取り出しの自動化
運用上の難点：・ルールの取り出し困難
・学習用サンプル数が大ノウハウ発見型
人工知能

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□化合物関連分野での様々な化学データサイエンス適用事例

化合物関連データベース
パブリックデータベース
インハウスデータベース
研究用データベース
データベース融合、データ収集、串刺し検索、＊一元一項対応＊＊プロトコル統一＊＊化合物互変異性対応＊＊サンプルポピュレーション＊＊その他＊

データ解析と要因解析
二クラス分類重回帰（フィッテイング）
ニューラルネットワーク
マッピング
クラスタリング
PCA
ＰＬＳ
グラフ表示
その他
＊チャンスコリレーション＊＊オーバーフィッテイング＊＊内挿性、外挿性＊＊最小化合物数＊＊線形、非線形＊解析目的
構造－活性相関ドラグデザインバーチャルスクリーニング
ドラグリポジショニング
リード化合物検索
リード化合物再構築
並列創薬
構造－毒性相関化合物毒性評価/予測
脱毒性デザイン
構造－物性相関機能性化合物デザイン
メタボロミクス
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□化合物関連分野での様々な化学データサイエンス適用事例
・創薬関連（インシリコスクリーニング、AI創薬、ドラグリポジショニング）化合物関連データベース
パブリックデータベース
インハウスデータベース
研究用データベース

薬理活性／毒性関連
化合物データベース

薬理活性評価解析目的

判別関数

構造－活性相関ドラグデザインバーチャルスクリーニング
ドラグリポジショニング
リード化合物検索
リード化合物再構築
並列創薬

重回帰式

薬理活性／毒性がターゲット

構造－毒性相関化合物毒性評価/予測
脱毒性デザイン
構造－物性相関機能性化合物デザイン
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能
・特徴：ニューロンを用いた脳のシミュレーション◇ニューロンは、他のニューロンからの信号を受ける樹状突起（dendrite）と、他のニューロンに信号を送る軸索（axon）がある

http://kazoo04.hatenablog.com/entry/agi-ac-3

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence
特徴：ニューロンを用いた脳のシミュレーション
Features: Brain simulation using neurons

パーセプトロン
perceptron

https://udemy.benesse.co.jp/ai/neural-network.html
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence
特徴：ニューロンを用いた脳のシミュレーション
Features: Brain simulation using neurons

単ニューロンモデル
Single neuron model

http://www.tamagawa.ac.jp/teachers/aihara/kouzou.html

ネットワークニューロンモデル
Network neuron model

http://www.sys.ci.ritsumei.ac.jp/project/theory/nn/nn.html
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence
単ニューロンモデル
Single neuron model

ネットワークニューロンモデル
Network neuron model

パーセプトロン Perceptron

ニューラルネットワーク N.N.
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence◇閉鎖型ニューラルネットワーク
Closed neural network
ボルツマンマシン
Boltzmann machine
最適化などに利用される
Used for optimization

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence

パーセプトロンとニューラルネットワーク Perceptron and neural network＊ニューラルネットワークは単純なネットワーク構造を利用した
パーセプトロンを基本として発展＊パーセプトロンは簡単な二分類問題も解決できないということで、衰退＊パーセプトロンの限界を打破したアプローチとしてニューラルネットワークが提案* Neural networks are based on a perceptron that uses a simple network structure.
* Perceptron declines because it cannot solve simple two-classification problems* A neural network is proposed as an approach that breaks the limits of perceptron.

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence
パーセプトロンとニューラルネットワーク Perceptron and neural network

パーセプトロン：線形分類機
ニューラルネットワーク：非線形分類機＊パーセプトロンは脳の機能を模したアプローチとして開発され、最終目標は
AI(人工知能）への展開であった＊ニューラルネットワークはその改良系で、ネットワーク構造が多層構造となった＊最近の深層学習はニューラルネットワークのネットワーク構造をさらに複雑にした* Perceptron was developed as an approach that mimics the function of the brain, and the final
goal was to develop AI (artificial intelligence)* Neural network is an improved version of the network structure.
* Recent deep learning has further complicated the network structure of neural networks.
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence
パーセプトロンとニューラルネットワーク Perceptron and neural network
バックプロパゲーションによる
非線形フィッティングのイメージ図
Image of nonlinear fitting by backpropagation

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence
パーセプトロンとニューラルネットワーク Perceptron and neural network
バックプロパゲーションによる
非線形フィッティングのイメージ図
Image of nonlinear fitting by backpropagation

中間層の段数が大きくなると非線形性が強くなる
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence・ニューラルネットワークのバックプロパゲーション
Backpropagation of neural networks

http://sinhrks.hatenablog.com/entry/2014/11/30/085119

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence
実行環境：機械学習手法の発展（深層学習：ディープラーニング）
Execution environment: Development of machine learning methods (deep learning: deep learning)◇ニューラルネットワークから深層学習へ From neural network to deep learning
中間層を増やすことで分類性が向上することは明白であったが、効率的なバックプロパゲーションアルゴリズムが無かったので展開が遅れていた。しかし、効率的に学習結果を前に戻すアルゴリズムが開発されたことで深層学習が開発された。
現在では、中間層が多層になった深層学習が次世代ニューラルネットワーク（人工知能）として脚光を浴びている。

順伝搬型
ニューラルネットワーク
Forward propagationneural networkhttps://nnadl-ja.github.io/nnadl_site_ja/chap6.html

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence
実行環境：機械学習手法の発展（深層学習：ディープラーニング）
Execution environment: Development of machine learning methods (deep learning: deep learning)

順伝搬型
ニューラルネットワーク
Forward propagationneural network

http://sinhrks.hatenablog.com/entry/2014/12/21/232145

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence
・開発歴：畳み込みニューラルネットワーク Convolutional neural network
畳み込みニューラルネットワーク（Convolutional Neural Network）
CNNは、全結合層だけでなく畳み込み層(Convolution Layer)とプーリング層(Pooling Layer)から構成されるニューラルネットワークのことだ。

CNN is a neural network thatconsists not only of allconnected layers, but also of
convolution layers and poolinglayers.
https://www.youtube.com/watch?v=Kr84vlulqTA

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence
・開発歴：畳み込みニューラルネットワーク Convolutional neural network

http://sinhrks.hatenablog.com/entry/2014/12/07/203048

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence
リカレント（再帰型）ニューラルネットワーク（Recurrent Neural Networks)
・中間層の出力データを再び入力データとして利用することを特徴とする
The output data of the intermediate layer is used again as input data
・時系列データの解析や言語処理等に利用される
Used for time-series data analysis and language processing

https://www.slideshare.net/NVIDIAJapan/ss-75109746

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence
リカレント（再帰型）ニューラルネットワーク（Recurrent Neural Networks)◇リカレントニューラルネットワークには様々なタイプがある
There are various types of recurrent neural networks
基本の考え方は、自身の出力を改めて入力に使うことである
The basic idea is to use your output again as input
Simple RNN

LSTM (Long Short-Term Memory)https://deepage.net/deep_learning/2017/05/23/recurrent-neural-networks.html

GRU（Gated Recurrent Unit)

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence・機械学習型人工知能構築上での留意点（１）Points to keep in mind when building machine-learning artificial intelligence◇学習用に使うサンプル数が極めて大（化合物関連分野でのサンプル収集）
The number of samples used for learning is extremely large(sample collection in compound-related fields)
・データ解析手法として展開する場合、サンプル数が少ないと偶然相関や過剰適合が起こり人工知能の信頼性が低下する
・ When deploying as a data analysis method, if the number of samples is small, accidental correlationand overfitting will occur, reducing the reliability of artificial intelligence◇学習用サンプルでは、情報が偏らないようにする事が必要
In the learning sample, it is necessary to prevent information from being biased
・人工知能にかぎらず、データ解析という観点でもサンプルデータの偏りは危険
Sample data bias is dangerous not only for artificial intelligence but also for data analysis
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence・機械学習型人工知能構築上での留意点（２）Points to keep in mind when building machine-learning artificial intelligence◇ネットワーク構造が極めて複雑なので要因解析ができない
Factors cannot be extracted because the network structure is extremely complex
・構造－活性/毒性/物性相関等の研究では、要因抽出が極めて大事である
Factor extraction is extremely important in research on structure-activity /toxicity / physical property relationships, etc.

◇データクレンジング(Data Cleaning)が大事 Data cleansing is important
・学習用サンプルデータは様々な形でのノイズがない状態であることが望ましい
The sample data for learning should be free from noise in various forms

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence・機械学習型人工知能構築上での留意点（３）Points to keep in mind when building machine-learning artificial intelligence◇学習用に使うサンプル数が極めて大（化合物関連分野でのサンプル収集）
The number of samples used for learning is extremely large(sample collection in compound-related fields)
・データ解析手法として展開する場合、サンプル数が少ないと偶然相関や過剰適合が起こり人工知能の信頼性が低下する
When deployed as a data analysis method, if the number of samples is small,
accidental correlation and overfitting will occur, reducing the reliability of artificial
intelligence・ニューラルネットワークはパーセプトロン等と比較してネットワーク構造が複雑なため、偶然相関や過剰適合が起こりやすい。
A neural network has a more complicated network structure than a perceptron or the like.
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence・機械学習型人工知能構築上での留意点（4）Points to keep in mind when building machine-learning artificial intelligence・深層学習はニューラルネットワークよりも更にネットワーク構造が複雑である。このため、深層学習をデータ解析として利用する場合は、サンプル数を大きくすることが必須。
Deep learning has a more complicated network structure than a neural network.
For this reason, it is essential to increase the number of samples when using deeplearning as a data analysis.

①世界一となったアルファ碁は、コンピューター同士での対局での強化学習を含めて、全体で数千万局の学習をこなしている
Alpha Go, the world's best, has tens of millions of studies in total,
including computer-to-computer reinforcement learning②画像認識で飛躍的な認識率を上げた例では、数百万件の画像データ利用
In the case of a dramatic increase in image recognition, millions of images are used
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field

・機械学習型人工知能適用上での解決すべき点や対応
Points and solutions to be solved when applying machine learning type artificial intelligence

１．化合物情報の扱い Handling of compound information
・化合物の画像情報、異性体の扱い、一元一項対応
Compound image information, handling of isomers, one-to-one correspondence

２．サンプル数の問題 Sample number problem
・異性体の扱いによるサンプル数の水増し Increased number of samples by handling isomers
・少ないサンプル時の対応；転移学習、スパースモデリング、他
Support for small samples; transfer learning, sparse modeling, etc.

３．要因説明の問題 Problem of factor explanation
・ネットワークからの情報取り出し Retrieving information from the network・ネットワーク構造の単純化 Simplification of network structure
https://kivantium.net/deep-for-chem

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field

化合物情報の扱いHandling of compound information： Graph convolution
・Graph convolutionは最近のニューラルネットワーク型人工知能の展開過程で、化合物情報を数値データ化する手法としてトポロジー理論を用いて展開された。

Graph convolution was developed by using topology theory as a method to convert compound information into numerical data in the processof recent development of neural network type artificial intelligence.

・トポロジーによる化合物情報の数値化であるが、同様のアプローチは構造－活性相関が展開された当初より既に展開されていた。

Although it is the digitization of compound information by topology, a similar approach has already been developed since the beginning of thestructure-activity relationship.

・トポロジーによる化合物の数値化には、Hosoyaインデックス、MCI(MolecularConnectivity Index)、その他、多種多様のインデックスが提唱されて来た。
Housoya index, MCI (Molecular Connectivity Index), and various other indexes have been proposed for quantifying compounds by topology.

・それぞれのインデックスは、創薬や物性等の研究分野で精力的に展開され、様々な薬理活性や、化合物物性との相関研究が発表されてきた。

Each index has been energetically developed in research fields such as drug discovery and physical properties, and various pharmacologicalactivities and correlation studies with compound physical properties have been published.

https://kivantium.net/deep-for-chem

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field

化合物情報の扱いHandling of compound information： Graph convolution

https://kivantium.net/deep-for-chem

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field

化合物情報の扱いHandling of compound information： Graph convolution

https://kivantium.net/deep-for-chem

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field

化合物情報の扱いHandling of compound information： Graph convolution
分子設計にDeep Leaningを持ち込んだ研究が[Gómez-Bombarelli+, 2016]です。この研究では分子の文字列表現であるSMILES記法を
variational autoencoder (VAE) を用いて実数ベクトルに変換し、ベイズ最適化で最適化したベクトルをSMILESに戻すことで分子を設計しています。この手法の問題点はVAE空間上で最適化ベクトルをSMILESに戻したときに生成される文字列が文法的に正しくないなどの理由で分子と対応しなくなる率が非常に高かったことです。

Research that brought Deep Leaning tomolecular design is [Gómez-Bombarelli +,2016]. In this research, the SMILES notation,
which is the string representation of themolecule, is converted to a real vector using
the variational autoencoder (VAE), and thevector optimized by Bayesian optimization isreturned to SMILES to design the molecule.
The problem with this method is that therate at which the generated vector is notcompatible with the numerator because theoptimization vector is returned to SMILES in
the VAE space is very high.

https://kivantium.net/deep-for-chem

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field□現在の人工知能による医療や創薬へのアプローチ
Current approaches to medical and drug discovery using artificial intelligence●ＷＡＴＳＯＮとの連携による医療関連アプローチ
Medical-related approach in cooperation with WATSON●深層学習採用による創薬関連アプローチ
Drug design related approaches by employing deep learning
現在時点では話題提供的なものが多く、深層学習もトライアル的で、本格的な成功事例を伴うケースはないといえる。
多数のＪｏｕｒｎａｌを入力し、結果として新薬候補が得られたということも報告されているが、実際に薬理活性が出たという報告はない。
At present, many topics are offered, deep learning is trial-like, and it can be said that there are no caseswith full-scale success stories.
Although it has been reported that a large number of Journals were entered and a new drug candidate wasobtained as a result, there was no report that pharmacological activity actually appeared.
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2018

２０１８．１２．０９（日）All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2018◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field

・機械学習型人工知能の有する基本的弱点

Fundamental weaknesses of machine learning type artificial intelligence

タイトル「AI、弱点克服へ厚い壁」

日本経済新聞 ２０１８年１２月９日（朝刊）

本文中：感情表現や判断力まだまだ Emotional expression and judgment
１．「僕の“耳”は遠くの音声を認識できない。マイクの近くで話してね」“My“ ears ”can't recognize distant speech. Speak near the microphone.”
２．「僕は状況に合わせて抑揚をつける話し方が下手なんだ。・・・人間のように喜怒哀楽をうまく表現できない」"I'm not good at speaking with inflection in accordance with the situation .... I can't express emotions
like humans well.“

３．「僕は賢いと思われているけど、物覚えがいいだけで、判断力は高くないよ」“I think I'm smart, but I just remember things and not judge.”
４．「人間には考えられない見間違いを起こすこともあるよ」“It can make mistakes that humans cannot think of.”５．「人間は手を使って様々な作業が器用にできるね。だけど僕は、本をつかむのさえ苦労しているよ」“Human can use his hands to do various tasks dexterously, but I have a hard time even grabbing a book.”
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field

・機械学習型人工知能の有する基本的弱点

Fundamental weaknesses of machine learning type artificial intelligence

タイトル「AI、弱点克服へ厚い壁」

日本経済新聞 ２０１８年１２月９日（朝刊）

図中：今のAIではできないことも多い
１．人間には考えられない見間違いもThere are many things that AI can't do

Misunderstandings that humans cannot think of

２．離れた場所の音声の内容を認識できない

Unable to recognize remote audio content

３．膨大なデータがないと賢くならない

You won't be smart without a lot of data

４．状況に応じた抑揚をつけられない

Can't give inflection according to the situation

５．人間の何気ない動きで難しいものもThings that are difficult due to human casual movement

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field
・学習した事や獲得情報以外への適用困難
一秒後の状態認識できない⇒動く自動車の写真解析で一秒後を予測できない⇒動くものと動かないものを認識する学習必要＊サンプル数が十分であっても、学習で獲得できないものがある
・ Difficult to apply to thingsother than learning and acquired
information⇒ Cannot recognize state after
1 second ⇒ Cannot predict
after 1 second from photo
analysis of moving car ⇒Learning to recognize moving
and non-moving objects isrequired* Even if the number of samples
is sufficient, there are things
that cannot be acquired bylearning
https://japanese.engadget.com/2016/11/28/1-5-ai-mit/

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field

・機械学習型人工知能の有する基本的弱点

Fundamental weaknesses of machine learning type artificial intelligence◇学習用に使うサンプル数が極めて大（化合物関連分野でのサンプル収集）
The number of samples used for learning is extremely large(sample collection in compound-related fields)
・データ解析手法として展開する場合、サンプル数が少ないと偶然相関や過剰適合が起こり人工知能の信頼性が低下する
When deployed as a data analysis method, if the number of samples is small,
accidental correlation and overfitting will occur, reducing the reliability of artificial
intelligence◇学習用サンプルでは、情報が偏らないようにする事が必要
In the learning sample, it is necessary to ensure that the information is not biased
・人工知能にかぎらず、データ解析という観点でもサンプルデータの偏りは危険
Sample data bias is dangerous not only for artificial intelligence but also for data analysis
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field

・機械学習型人工知能の有する基本的弱点

Fundamental weaknesses of machine learning type artificial intelligence◇ネットワーク構造が極めて複雑なので要因抽出ができない

Factors cannot be extracted because the network structure is
extremely complex
・構造－活性/毒性/物性相関等の研究では、要因抽出が極めて大事である
Factor extraction is extremely important in research on structure-activity /toxicity / physical property relationships, etc.
◇データクレンジング(Data Cleaning)が大事 Data cleansing is important
・学習用サンプルデータは様々な形でのノイズがない状態であることが望ましい
The sample data for learning should be free from noise in various forms
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field

・人工知能適用における化学的問題
Chemical problems in artificial intelligence applications.
全ての過程は化学的な基本の上に立つ

創薬関連
データベース

人工知能
仕事Job１，２，３、・・

仕事Job１，２，３、・・

創薬関連：
・薬理活性
・安全性
・ＡＤＭＥ
・物性
・スペクトル・文献
・その他
仕事Job１，２，３、・・
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□機械学習型人工知能 Machine learning type artificial intelligence

創薬は化合物構造式中心の世界

Drug discovery is a world centeredon compound structural formulas

化学研究者の思考過程は化合物構造式で考え、相互コミニュケートし、化合物構造式で答える。

The chemical researcher's thinking process is
considered by the compound structural formula,communicates with each other, and answers withthe compound structural formula.

It is important that the artificial intelligencesystem can interact with the researcher
人工知能システムが、利用者である研究者と、
who is the user in the compound structural
化合物構造式で対話できることが重要
formulaExample: Drug researcher
What part of the compound structural
例：創薬研究者
formula should be changed and how to
薬理活性を強くするには、化合物構造式のどの部分をstrengthen the pharmacological
どのように変化させればいいの？⇒研究者との対話必要 activity? ⇒Needs dialogue withresearchers
Just like chess, shogi, and
チェス、将棋、碁のように、盤上の座標を指定するようにはゆかない samurai, you can't specify thecoordinates on the board. Also,
また、勝つだけで良いというわけでもない
it's not just to win
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能適用における化学的問題
Chemical problems in artificial intelligence applications.
Begins with compound structural
formula and ends with compound
structural formula
Researchers' thought processes all startwith compound structural formulas□化合物構造式に始まり、化合物構造式に終わる
・研究者の思考過程は総て化合物構造式で終始する・化合物の表現の問題： Compound expression problems
化合物名、分子式、二次元構造式、３次元構造式、等々
同じ化合物が表現系により様々な形式を取り、それぞれの表現系が持つ情報の内容や情報量も異なる。

The same compound takes various forms
depending on the expression system, such ascompound name, molecular formula, twodimensional structural formula, three-dimensional
structural formula, etc., and the contents andamount of information of each expression system
are different.

Even if there are a huge amount of・入力の問題：Input issues
journals and general chemical
Ｊｏｕｒｎａｌ や一般の化学文献が膨大な量あっても、人工知能のliterature, it is necessary to
input compound structure
学習に必要となる化合物構造情報を正確に入力させることが必要。 accurately
information necessary for learning
artificial intelligence.
・結果の問題：Result issues
the results come out, it is important to
結果が出たら、人工知能情報の化学情報への変換が重要 Once
convert artificial intelligence information tochemical information
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能適用における化学的問題
Chemical problems in artificial intelligence applications.

例：化合物の「一元多項」問題
・人工知能に複数の顔で入ってきた化合物の扱い？
同一化合物であることをチェックする機能必須
・学習過程で異なる化合物と判定される可能性

Example: “One-way multiplet” problem for compounds
・ Handling compounds that have entered artificial
intelligence with multiple faces?
Require function to check that they are the same compound・ Possibility of being judged as a different compound in thelearning process

例：Journal情報利用上での問題
・化学やバイオ関連分野の論文は基本的に成功事例
成功のみ掲載されている。このような成功事例のみを学習した結果提案される化合物は、
成功／失敗化合物？ → 失敗というフィルターがない
・入力Journal数は精度の保証にならない
数が多いほど上記の偏向学習が進んでいることの証拠

Example: Problems using Journal information
・ Chemical and bio-related fields are basically
successful cases
Is the compound proposed as a result of learning
only successful examples a success / failurecompound? → No filter for failure
・ Input Journal number does not guarantee
accuracy
Evidence that the above-mentioned biased
learning is progressing as the number increases

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能適用における化学的問題
Chemical problems in artificial intelligence applications.
化学者の思考過程で必須
Essential in the chemist's thinking process

化学者はイメージも議論も出来ない
Ｍｏｌファイル：

IUPAC名：(5α,6α)-7,8-didehydro-4,5-epoxy-17-methylmorphinan-3,6-diol

ＳＭＩＬＥＳ名：
OC(C=CC1CC2N3C)=C(OC4C(O)C=5)C1C4(CC3)C2C5

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

□人工知能適用における化学的問題
Chemical problems in artificial intelligence applications.
＊化学者がイメージできる情報は化合物構造式で、数字や文字だけでは議論も出来ない• Information that chemists can imagine is compound structural
formulas, which cannot be discussed only with numbers and letters.

＊コンピュータが扱えるのは数字と文字コードで、構造式イメージ情報は扱えない• Computers can handle numbers and character codes,
not structural image information.

人工知能実施の上で、上記２事象間のギャップを埋めることが必要
Necessary to fill the gap between the above two
events when implementing artificial intelligence
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field
・機械学習における問題 Problems in machine learning□最近の人工知能は機械学習がメインである
利点：□ Recent artificial intelligence is mainly
machine learningadvantage:・ Can handle large amounts of data
・大量のデータを扱える・ Contents that could not be expanded
・従来は人工知能で展開出来なかった内容を展開できる with artificial intelligence can be expanded.
・ No need for know-how (rules)
・ノウハウ（ルール）等を必要としない：データがあれば良い Develop in fields where there is no knowhow
ノウハウがない分野での展開が可能となる・ It may be possible to discover new
・新たな知見を発見出来る可能性がある
knowledge

欠点：問題点・化学的な知見をシステムに理解させられるか？
・結果のフィードバックが手法的に困難・新たな知見を人間が解釈できるレベルへの具象化が困難

Disadvantages: problems
・ Can the system understand chemical
knowledge?
・ Result feedback is technically difficult
・ It is difficult to make new knowledge
into a level that humans can interpret
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field
・機械学習における問題 Problems in machine learning□深層学習実施上での留意点 Points to keep in mind when conducting deep learning
１．学習に用いるサンプル数問題→過剰適合の回避
Number of samples used for learning → avoiding overfitting

ネットワークの階層が深いと、学習に必要なサンプル数が急激に増大
If the network hierarchy is deep, the number of samples required for learning increases rapidly.

２．学習の偏り回避→サンプルの学習内容が大事
Avoid learning bias → Learning content of the sample is important

３．現在は画像／音声／文字認識が主体のネットワーク構成
Currently, the network configuration mainly consists of image / sound / character recognition

４．結果が良くても、ネットワークから要因情報を取り出すことが極めて困難
Even if the result is good, it is extremely difficult to extract factor information from the network.

All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field
・生命科学分野における今後の人工知能の展開（１）Development of future artificial intelligence in the life science field□展開分野 Deployment field
歴史的に化学生物分野での人工知能展開事例は多い
Historically, there are many cases of artificial intelligence deployment in the field of chemical biology□実施手法 Implementation method
現実の条件に即した機械学習の改良／開発
Improvement / development of machine learning according to actual conditions□ハイブリッド型 Hybrid type
・機械学習およびルールベースMachine learning and rule base・多変量解析／パターン認識との連携Cooperation with multivariate analysis / pattern recognition□Ｉｏｔや分析／医療機器との連携 Collaboration with IoT and analysis / medical devices□その他の展開 Other developments
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019◆化学分野で人工知能を適用する時の注意とまとめ
Notes and summary when applying artificial intelligence in the chemical field
・生命科学分野における今後の人工知能の展開（１）Development of future artificial intelligence in the life science field□ Is it possible to use large amounts of data efficiently?
□大量データの効率的な使用が可能か
・ If the data format and information contents are not complete,・データの形式や、情報内容が不揃いである場合は機械学習で it is difficult to handle with machine learning, and it isimportant to organize the data for artificial intelligence
扱うことが困難であり、人工知能用にデータの整理が重要
・ Even if there is a quantity, information necessary for the・量があっても、人工知能の実施目的に必要な情報が取りpurpose of artificial intelligence cannot be extracted, or biased
出せない、あるいは偏った情報では学習に使えない
information cannot be used for learning□化学構造式の正確な理解を機械学習で行う技術
・化学特有の様々な問題を、大量のデータから自動的に学習することには困難が予想される□ Machine learning technology for accurate
understanding of chemical structural formulas・ It is expected that it will be difficult toautomatically learn various problems specific tochemistry from a large amount of data.

創薬や安全性等の化合物を解析対象とする場合、機械学習のみならず、
既存のノウハウ導入や、多変量解析/パターン認識（ケモメトリックス）
技術等との連携を念頭に、総合的なアプローチを考えるのが最も合理的
When targeting compounds such as drug discovery and safety, a comprehensive approach not only with machine learning but also withexisting know-how and multivariate analysis / pattern recognition (chemometrics) technology The most reasonable to think about
All Rights Reserved, Copyright ©
INSILICODATA LIMITED 2019

Thank you for your attention
株式会社 インシリコデータ
湯田 浩太郎http://www.insilicodata.com