【別添資料2】プレゼン資料様式

画像と機械学習を使った混合物割合診断システム

北海道大学
化学反応創成研究拠点
特任助教

猪熊グループ
井手 雄紀
2022年10月4日
1

従来技術とその問題点
化学反応収率（定量性）を確認する方法
90％

NMR

60％

80％
80％

溶液状態で分析を行う
色や形状などからある程度予測可能（目視判断）
経験および知識量によって予想結果が異なる

GC
80％

HPLC
溶解性に大きく依存
分析精度においても経験差あり
2

従来技術とその問題点
既に実用化されているものには、プラントなどで利用される溶液状態の観察およびデータ管理により化学反応をモニタリングする手法があるが、・溶液画像だけでなく溶液温度などの関連情報も取得し、大量のデータ管理が必要である
・大量のデータを解析するため、膨大な計算コストが必要となり、広く活用されるまでには至っていない
3

新技術の特徴・従来技術との比較研究者の眼として顕微鏡による画像データの取得

研究者の頭として機械学習による画像診断システム構築

撮影した試料画像（データセット）
データ取り込み収率予測
80％

画像撮影条件の最適化（倍率,明度, 背景色等 ）機械学習によるモデル作成

機械学習による画像診断システムを活用することで、経験値・勘という不明瞭なパラメータの評価・判断を行う

4

新技術の特徴・従来技術との比較• 従来では固体化合物画像の診断について、特定化合物の有無のような定性診断に限られていたが、混合割合や反応収率のような定量診断にも適用可能となった。
• 本技術の適用により、従来の溶液状態での定量技術に加えて固体状態の画像にも適用が可能となるため、適用可能な材料が大きく増えることが期待される。
5

実験データ・結果紹介
例1. 画像診断システムの構築-2成分系-（砂糖と⾷塩）
検討条件: 市販の砂糖と塩を使用

市販品砂糖スクロース(C12H22O11: MW=342.3)

市販品食塩
塩化ナトリウム(NaCl: MW=58.44)

有機化合物

無機化合物

CH2OH
H

O
H
OH

CH2OH

H

H

O
HOH
O

OH
H

OH

OH

H

CH2OH・混合比率を確認する分析手法は限定的
・目視判断が難しい画像も機械学習により精度よく診断可能6

実験データ・結果紹介
例1. 画像診断システムの構築-2成分系-（砂糖と⾷塩）
画像取得セットアップ

混合試料の作成

撮影装置の設定
・拡大倍率
・背景色・明度バランス

試料の厚さ: <0.90 mm

7

実験データ・結果紹介
例1. 画像診断システムの構築-2成分系-（砂糖と⾷塩）
画像取集

砂糖100%
砂糖 食塩
100% 0%

砂糖 食塩
90% 10%

砂糖 食塩
45% 55%

砂糖 食塩
20% 80%

砂糖 食塩
70% 30%砂糖 食塩
0% 100%8

実験データ・結果紹介
例1. 画像診断システムの構築-2成分系-（砂糖と⾷塩）
機械学習
使用プログラム
Python
使用パッケージ
Pytorchなど

9実験データ・結果紹介
例1. 画像診断システムの構築-2成分系-（砂糖と⾷塩）
機械学習モデルを利⽤した画像診断結果

Pred
実際に混ぜた値 True
予測値

砂糖(mol%)

食塩(mol%)

56%
58%

44%
42%

10

実験データ・結果紹介
例1. 画像診断システムの構築-2成分系-（砂糖と⾷塩）
機械学習モデルを利⽤した画像診断結果

Pred
True

砂糖食塩

98%
100%

2%0%

Pred
True

87%
89%

13%
11%

Pred
True

27%
27%

73%
73%

Pred
True

1%
0%

99%
100%

11実験データ・結果紹介
例1. 画像診断システムの構築-2成分系-（砂糖と⾷塩）
機械学習モデルを利⽤した画像診断結果

推定値

砂糖の混合比率のプロット

RMSE: 0.039
MAE: 0.031
R2: 0.98
品質管理手法の1つとして応用可能

実際に混ぜた値

12実験データ・結果紹介
例2. 画像診断システムの構築-3成分系検討条件: 市販の砂糖、塩、うま味調味料を使用

砂糖（スクロース）

C12H22O11
MW=342.3

⾷塩

うまみ（塩化ナトリウム）（グルタミン酸ナトリウム）

NaCl
MW=58.4

砂糖 食塩 うまみ
Pred 80% 10％ 10%
True 83% 13％ 4%

Pred 30% 55％ 15%
True 32% 51％ 17%

Pred 9% 54％ 37%
True 8% 50％ 42%

Pred 3% 17％ 80%
True 3% 20％ 77%

C5H8NO4Na
MW=169.1

13

実験データ・結果紹介
例2. 画像診断システムの構築-3成分系機械学習モデルを利⽤した画像診断結果
砂糖

食塩

推定値

うまみ

実際に混ぜた値

3種の化合物を用いた混合物画像においても高い診断精度で適用可能
14

実験データ・結果紹介
例3. 配位⼦と⾦属錯体
検討条件: 合成した化合物を利用

NH

N

N

H2TPP ZnIITPP
Pred
99%
1%
True
100%
0%

Pred
True

48%
50%

52%
50%

Pred
True

Pred
True

4%0%

96%
100%

NZnNHNNN

H2TPPZnIITPP（配位子）（亜鉛錯体）ZnIITPPの割合
78%75%

推定値

22%
25%

MSE = 0.0029

実際値15実験データ・結果紹介
例4. 固体反応収率(加熱脱炭酸反応)
検討条件: 実際に反応した画像を利用

p-アミノサリチル酸

m-アミノフェノール

(PAS)

(MAP)

• 無溶媒（固体）反応• 副反応物の生成なし• 粉末から結晶に変化
16実験データ・結果紹介
例4. 固体反応収率(加熱脱炭酸反応)
画像診断結果原料 反応物(収率)
67%
71%

33%
29%

Pred
True

63%
62%

37%
38%

Pred
True

51%
50%

49%
50%

Pred
True

48%
48%

52%
52%

反応収率

推定収率

Pred
True

RMSE: 0.057
MAE: 0.41
実収率
加熱反応収率においても診断適用可能
17

実験データ・結果紹介
例5. 画像診断システムの応用例-結晶多型の存在割合・グリシンの結晶多型検討条件: 試薬会社より購入したグリシンの再結晶操作により異なる結晶多形試料の作成

OH 2N

OH

グリシン

α-グリシン（単斜晶系）

γ-グリシン（三方晶系）
CrystEngComm., 2013, 15, 1218–1224.

α = 100%（針状結晶）

α = 50%γ = 50%γ = 100%（ブロック状結晶）18

実験データ・結果紹介
例5. 画像診断システムの応用例-結晶多型の存在割合α-γ-

Pred
True

78%
81%

22%
19%

Pred
True

62%70%

38%
30%

Pred
True

29%
30%

71%
70%

Pred
True

2%
7%

98%
93%

推定値 (wt%)

結果

MAE = 0.21
実際値 (wt%)

結晶多型の違いを画像から診断可能19

実験データ・結果紹介
例6. 鏡像異性体を用いた画像診断
検討条件: 試薬会社より購入した鏡像異性体(エナンチオマー)の酒石酸を使用
OH O
HO

結果

HOOH
Oα]D26 = -11 (C=20)

OH O

OHOHOOH

D(–)-酒石酸
26

L(+)-酒石酸
26[α]D = -11 (C=20)[α]D = +11 (C=20)
L-体

D-体

Pred 84wt% 16wt%
True 82wt% 18wt%

L-体

D-体

Pred 61wt% 39wt%
True 60wt% 40wt%

L-体[α]D26 = +11 (CD-体Pred 10wt% 90wt%
True8wt% 92wt%

20

実験データ・結果紹介
例6. 鏡像異性体を用いた画像診断
結果

推定値 (wt%)

D-酒石酸の重量割合(wt%)

鏡像異性体過剰率(%ee)

変換
MAE: 0.061
RMSE: 0.073
R2: 0.94
実際値 (wt%)
効果| L体の物質量 – D体の物質量 |鏡像異性体過剰率(%ee) =×100
L体の物質量+D体の物質量任意割合の混合画像から機械学習により、混合重量割合の推定を行う。その結果から鏡像異性体過剰率(%ee)の診断も行うことが可能となった。
21

実験データ・結果紹介
例7.多成分系から目的化合物の混合割合の画像診断
検討条件: 試薬会社より購入したナフタレン(目的化合物)とその他化合物（シリカゲル、アルミナ、セライト）を混合させた多成分存在系において、目的化合物のナフタレンの割合を求める

ナフタレン

シリカゲル

目的化合物

結果

アルミナ

セライト

その他化合物
ナフタレン

その他

Pred 87wt% 13wt%
True 85wt% 15wt%

ナフタレン

その他

Pred 45wt% 55wt%
True 46wt% 54wt%（全て20倍拡大率での画像）
ナフタレン

その他

Pred 13wt% 87wt%
True 10wt% 90wt%

22実験データ・結果紹介
例7.多成分系から目的化合物の混合割合の画像診断結果

ナフタレンの重量割合(wt%)

効果

推定値 (wt%)

複数種の化合物（今回は4種）が含まれる混合画像で機械学習をおこなった結
果、目的化合物に着目した混合重量割合の推定を高い精度にて達成した。
したがって、廃棄固体物中などから再利用すべき化合物がどれくらい含まれているか診断するというような工業的な応用へも期待される。
実際値 (wt%)

MAE: 0.037
RMSE: 0.055
R2: 0.9623

実験データ・結果紹介
例8. Google colaboratoryを活用した迅速な画像診断
検討条件: 誰でも簡単に迅速で行うことを目的としてGoogle colaboratoryを活用して、混合割合を算出可能な画像診断システムの構築
システム1：画像1枚から推定値を出すことが可能な画像診断システム
https://colab.research.google.com/drive/1v88D3DMrAJGhb95z_fj8lO9WSy4W16dD?usp=sharing

・訓練画像はあらかじめ読み込ませており、学習モデルを組込済・推定用画像をアップロードして画像診断を行う。所要時間は約10秒/枚
システム2：実際値と推定値のプロット図および診断評価指標を取得可能な画像診断システム
https://colab.research.google.com/drive/1HrXTFVGDix-1yFgi1kP86nM7oXOvrBVS?authuser=1

・訓練画像はあらかじめ読み込ませており、学習モデルを組込済
・推定用画像をアップロードして画像診断を行う。所要時間は約10秒/枚
システム3：学習モデル作成から行う画像診断システム
https://colab.research.google.com/drive/1v88D3DMrAJGhb95z_fj8lO9WSy4W16dD?authuser=0

・実測画像データセットをアップロードすることにより学習モデルの作成。
・推定画像データセットもアップロードし、作成した学習モデルを用いて画像診断を行う。
所要時間は約1時間

24実験データ・結果紹介
例8. Google colaboratoryを活用した迅速な画像診断
システム1：画像1枚から推定値を出すことが可能な画像診断システム
https://colab.research.google.com/drive/1v88D3DMrAJGhb95z_fj8lO9WSy4W16dD?usp=sharing

・訓練画像はあらかじめ読み込ませており、学習モデルを組込済
・推定用画像をアップロードして画像診断を行う。所要時間は約10秒/枚

25

実験データ・結果紹介
例8. Google colaboratoryを活用した迅速な画像診断
システム2：実際値と推定値のプロット図および診断評価指標を取得可能な画像診断システム
https://colab.research.google.com/drive/1HrXTFVGDix-1yFgi1kP86nM7oXOvrBVS?authuser=1

・訓練画像はあらかじめ読み込ませており、学習モデルを組込済
・推定用画像をアップロードして画像診断を行う。所要時間は約10秒/枚

26

実験データ・結果紹介
例8. Google colaboratoryを活用した迅速な画像診断
システム3：学習モデル作成から行う画像診断システム
https://colab.research.google.com/drive/1v88D3DMrAJGhb95z_fj8lO9WSy4W16dD?authuser=0

・実測画像データセットをアップロードすることにより学習モデルの作成。
・推定画像データセットもアップロードし、作成した学習モデルを用いて画像診断を行う。
所要時間は約1時間

27実験データ・結果紹介
例9. iPod touchを利用した画像診断
検討条件: 一般的な画像撮影装置（今回はiPod touchを利用）を用いて、混合割合を算出可能な画像診断システムの構築（砂糖と食塩の混合試料)

正方形へ
トリミング

iPod touch(72 ppi)

オリジナル画像(3264 x 2448 px)

データセット使用画像(1536 x 1536 px)

28

実験データ・結果紹介
例9. iPod touchを利用した画像診断
結果

砂糖

食塩

食塩

砂糖の重量割合(wt%)

推定値 64wt% 36wt%
実測値 62wt% 38wt%

推定値 (wt%)

推定値 96wt% 4wt%
実測値 99wt% 1wt%

砂糖

砂糖食塩

推定値 36wt% 64wt%
実測値 37wt% 63wt%

砂糖

食塩

推定値 5wt% 95wt%
実測値 8wt% 92wt%

MAE: 0.060
RMSE: 0.073
R2: 0.94
実際値 (wt%)

効果

一般的な画像記録装置のiPod touch
から画像診断を行うことができた。
29

想定される用途・応用先
例1) 薬局での薬剤の調剤確認システムへの応用

・手作業での薬剤調剤における人為的ミス防止・他管理システムとの組み合わせによりエラー率の抑制
・画像データの蓄積に伴い、より高精度診断が可能

手作業による調剤30

想定される用途・応用先
例2) ロボットを利用した創薬開発現場への適用

・自動秤量や化合物管理、機器分析まで全自動で稼働
・反応化合物への分析法の1つとして導入
・48時間以上の連続稼動が可能
・規格化された画像および大量データの収集が可能

A. I. Cooper et al., Nature, 2020, 583, 237–241.
31

想定される用途・応用先
例3) 研究室やプラントでの反応追跡システムへの適用

・化学反応の進行度確認システムの構築
・簡易かつ迅速な新規非破壊分析手法として利用可能

反応収率

・化成品の品質管理としての利用に適している

反応時間
32

想定される用途・応用先• 本技術の特徴を生かすためには、既に確立されている化成物製造の品質管理に適用することで人件費の削減ならびにヒューマンエラーの防止等の効果が得られる。
• 上記以外に、新型ロボットなどへ画像診断システムを組み込むなどで様々な用途への応用が期待される。
• また、達成された画像診断システムに着目すると、画像取集手法や画像データの活用といった分野や用途に展開することも可能と思われる。
33

実用化に向けた課題• 様々な化合物による混合物画像を利用して、混合割合を診断できるところまで開発済み。
形状の再現性が低い化合物や未知の化合物が含まれている場合、診断精度は低下する。
• 実用化に向けて、より高い診断精度を求める
場合は、画像取得方法ならびに機械学習プロセス処理に対する最適化の両面から取り組む。

34

企業への期待• 実際に製薬調剤や化成品製造にて品質管理システムの導入を検討している企業との共同研究を希望。
• 大学や研究機関向けのロボット・非破壊分析システムを構築・開発中の企業には、本技術の導入が有効と考えられる。
• 画像を利用している本技術は身近なシステムおよびロボットにも応用可能だと考えている。
35

本技術に関する知的財産権• 発明の名称• 出願番号• 出願人• 発明者：画像診断システム及び学習方法：特願2021－168299：北海道大学：猪熊 泰英、瀧川 一学、井手 雄紀

36

お問い合わせ先北海道大学 産学・地域協働推進機構
産学協働マネージャー 星 聡
産学・地域協働推進機構 ワンストップ窓口
https://www.mcip.hokudai.ac.jp/about/onestop.html

37