強化学習に基づく精度保証つき
迅速ラマン計測on the fly Raman microscope
北海道大学 電子科学研究所社会創造数学研究センター
化学反応創成研究拠点(WPI-ICReDD)
大阪大学 産業科学研究所
教授 小松崎民樹
2023年1月20日

2

研究開発の背景・病気の細胞診ー 蛍光染色画像による細胞・組織の形態情報のみに依拠ー

簡便かつ、化学情報も含んだ、多元的情報が大事

形態情報だけでは識別困
難な病気も多く存在

・細胞・組織のラマン分光イメージングの推進
ー 細胞や生体組織の化学環境を無標識に生きたまま観察ー 試料内に含まれる分子を網羅的に反映ー 病理診断の信頼性が向上

3

従来技術と問題点
・一般に細胞・組織の分光イメージングは時間が掛かる

従来法による工夫

ー すべての波数を計測しないで、特定の波数のみ計測
ー 低い解像度で計測
ー 非自明な数学的なモデルを想定して計測・計測するプロセスと解析するプロセスは独立→時間・コストが浪費
独立／直列的

計測する

解析する

4

従来技術と問題点
・従来の人工知能（AI）と計測技術の関係機械学習
解析する
“がん”

点スキャン

...

...

...

...

機械学習
“がん”

ライン
スキャン

...

...

...

機械学習

励起照射の形・パターンは一定、計測とAI部分は独立、非自明な仮定を前提

新技術の特徴
精度を保証する計測介入型AI技術、数百から数万倍の迅速化が実現
・計測過程にAIが介入し、逐次的に最適な実験条件を計測装置にフィードバック。無駄を省き必要な分光情報を重点的に獲得することで、診断精度を保証した迅速化を実現。
...
“がん”

強化学習

強化学習

強化学習

計測時間と精度のトレードオフ関係を越えた精度の実現
・ユーザーが「最大許容誤診断率」δを事前に設定できる→ユーザーの多様なニーズに応答新技術の特徴・病理応用における細胞診の従来法との比較
蛍光染色

従来型ラマン分光法

本技術

計測時間

長*

長短（4-5桁短縮**）

精度

△

○

○

分光情報

×

○

○

定量性

△

○

○

客観性

△

○

○

形態情報

○

○

○

本技術

*試料調整に時間が掛かる（数時間～1日）**ショット数比較

・計測時間と精度のトレードオフ関係を越えた診断精度の実現
・従来の細胞診では判定困難な病気診断への応用
・分光情報が識別に必要となる品質管理へも展開可能新技術の手法7

多腕バンディットは試行錯誤で学習する強化学習の1分野
腕（アーム）

エージェント(意思決定主体)報酬

腕を選択

bandit (盗賊)
…

…

当たる確率
=1

1

=3

1

=2
…

…

01

0 1

報酬は・当たったら１・外れたら０
知識利用

…
…

=

背後の分布

←playerは知らない

…

0 1

0 1

…

0 1探索

信頼区間
各腕に対して得られる標本平均, ,…, :平均 をもつ未知の分布から独立に抽出

多腕バンディット手法=

信頼下界 ≤1≤ 信頼上界≥1−

真の平均 は − 以上の確率で信頼区間に存在することが数学的に証明
未知の分布

信頼下界

真の平均
信頼区間( 少)信頼区間( 多)の増大

信頼上界新技術の手法
平均値 をもつ未知の分布

悪い腕
良い腕> 閾値< 閾値

信頼区間
[;]

悪い腕

閾値

…

…

…

…

良い腕

少なくとも1つの悪腕が存在すれば、そのスロットマシーンの集合は悪性と、すべて良腕が存在すれば、良性と少なくとも (－ )%の確率で評価する問題

K. Tabata, A. Nakamura, J. Honda, T. Komatsuzaki, Machine Learning 109, 327-372 (2020).

新技術の手法
悪い腕
良い腕> 閾値< 閾値

悪性
悪い腕

閾値

…

…

…

…

良い腕少なくとも1つの悪腕が存在すれば、そのスロットマシーンの集合は悪性と、すべて良腕が存在すれば、良性と少なくとも (－ )%の確率で評価する問題

真の平均値 は閾値よりも大きい値を「(100－ )%以上の確率で」取る

真の平均値 は閾値よりも小さい値を「(100－ )%以上の確率で」取る

K. Tabata, A. Nakamura, J. Honda, T. Komatsuzaki, Machine Learning 109, 327-372 (2020).

新技術の手法
悪い腕
良い腕> 閾値< 閾値悪性

悪性

…

…

…

…

悪い腕

閾値
良い腕

少なくとも1つの悪腕が存在すれば、そのスロットマシーンの集合は悪性と、すべて良腕が存在すれば、良性と少なくとも (－ )%の確率で評価する問題

K. Tabata, A. Nakamura, J. Honda, T. Komatsuzaki, Machine Learning 109, 327-372 (2020).

新技術の手法
真の報酬期待値がある閾値よりも高い腕を同定する

がんの確率がある閾値よりも高いラマン画像部位を同定する

腕小区画
小区画 内の1ピクセル上のラマンスペクトルを計測する

報酬の標本平均 ( )小区画 の癌確率の標本平均( )・・・腕を一回引く

新技術の特徴
甲状腺濾胞がん細胞株（がん）のラマンAI計測→がん領域の小区画を自律的かつ効率的に計測

計測時間
信頼上界・下界がん

正常

小区画 の時刻 における積算照射点数

新技術の特徴
甲状腺上皮細胞株（非がん）のラマンAI計測→非がん試料でも自律的かつ効率的に計測.

12345.

6789 10. 11 12 13 14 15

計測時間
がん

正常

小区画 の時刻 における積算照射点数

新技術の特徴

計測者が設定する最大許容誤診断率を数学的に保証
精度保証を担保した
照射点数／照射可能点数＝1440/96000

2160/96000

最大許容誤診断率= 0.1

1680/96000= 0.001

2400/96000= 0.05

confidence= 0.00001

confidence

縦軸：各小区画のがん（赤）／非がん（青）の信頼度、シート：所望の診断精度(＞1-δ)を達成するための信頼度

甲状腺濾胞
癌細胞株（がん）点スキャンラマン装置（標準）甲状腺濾胞上皮細胞株（非がん）20556～32000倍 4883～6671倍＊効率はラマン画像にがんが含まれるか否かを同定するのに要したショット数比較で評価

新技術の特徴① 試料上の任意の箇所を計測できること。
② 計測データを即座に解析し、最適な計測条件を決定できること。
③ 解析結果に基づき、計測条件をダイナミックに制御可能なこと。

癌の度合いが高い領域

プログラマブル照明ラマン散乱顕微鏡
1．オンザフライラマン顕微鏡（田畑ら 投稿中．田畑らMach. Learn. 2020, 小松崎 SPIE Photonics West 2023 USA (招待講演); FACSS SciX 2022, USA (招待講演); SPIE Photonics Europe 2022, France (招待講演); FACSS SciX 2021, USA (招待講演）、特願 2018－244664）

2．バーコードラマン顕微鏡（論文執筆中、特許申請準備中）Detector
CCD Camera

SLM
Laser light

PC for control

Raman lightOn the fly Raman microscopeの概略図

パターン照明下で、ラマン分光
計測

各ラマンスペク 未確定 バンディットアルゴリズ
ム、トムソンサンプリン
トルを解析し、グ/UCBにより次の照診断。
明パターンを決定。
確定

ラマンスペクトル

決定された
照明パターン
をSLMで形成

終了

PC
レーザー

照明パターン
空間位相変調器(LCOS-SLM)

試料対物レンズＺ
分光器
冷却CCDカメラ

ラマン光17

バンディットアルゴリズムによる試料検出
目標：PMMAを多く含むグリッドの存在（“悪性領域”）を1-δの信頼度で少ない照射点数で検出
18
照明光の分布Larger PMMA index
Smaller PMMA index

計測されたスペクトル
ムービー再生： x6

バンディットアルゴリズムによる試料検出

Intensity [a.u.]

目標：PMMAを多く含むグリッドの存在（“悪性領域”）を1-δの信頼度で少ない照射点数で検出High PS index

High PMMA index
1000 1500 2000 2500 3000
Raman shift[cm-1]

13回の露光で診断終了（全点検出に比べて約19 倍高速）・バンディッド：１露光当たりの計測点数 = 84 点
・全点検出に必要な測定点数： 20356 点（ 500 µm x 500 µm）

新技術の特徴
・精度保証を実現する小区画の設定手法
ー 照射の点拡がり関数の有限幅のため、ピクセル単位では100％の精度は実現困難
ー 細胞の大きさほどの小区画に分割→画像単位で任意の精度を保証（試料依存）

照射の点拡がり関数

・迅速な診断を実現

細胞の大きさほどの小区画

ー 最大許容誤診断率を４桁低く設定しても迅速に診断想定される用途
・細胞・組織の形態情報以外での診断
ー 従来の細胞診では判定困難な病気診断への応用
ー 人手不足の技師の判定の代用
・乳がん診断（手術すべきか否かの迅速診断）
・IPS細胞の成熟度の評価
ー 分化細胞誘導（心筋シートなど）の際の未熟細胞除去
・肝細胞、癌細胞の薬剤応答
ー 薬剤応答を迅速に判定
・異常検出
ー マイクロプラスチック
ー アスベスト実用化に向けた課題
・ラマン分光イメージングデータから、所望の物性を推定・予測するAI解析が必要ー 前処理機械学習部分のパッケージ化
ー キラーアプリの探索（非アルコール性脂肪肝疾患）

非アルコール性脂肪性肝疾患：1500～2000万人
正常肝Normal

単純性脂肪肝
NAFL

脂肪性肝炎
NASH

肝硬変

ラット肝組織におけるNASHラマン指標分布

・ラマン計測による術中迅速診断の実現

組織学的にNAFLと診断される組織の一部に、すでにNASHへの進行が顕在化

50µm企業への期待・計測装置系企業

ー 計測介入型AI技術のラマン分光装置以外への展開可能性
ー On the fly ラマン顕微鏡の商品化の可能性の検討

・創薬、医薬関係企業

ー キラーアプリ探索、ニーズ探索本技術に関する知的財産権•発明の名称 ：計測制御装置、分光計測装置、及び計測制御方法• 出願番号 ：特願2018－244664• 出願人 ：北海道大学、大阪大学• 発明者 ：中村篤祥, 田畑公次, 小松崎民樹、藤田克昌•発明の名称 ：ＮＡＳＨ予測装置及びＮＡＳＨ予測方法• 出願番号 ：特願2021-041383• 出願人 ：北海道大学、京都府公立大学法人、大阪大学• 発明者 ：小松崎民樹、テイラージェームズニコラス、原田義規、岡嶋亮、田中秀央、伊藤義人、藤田克昌、熊本康昭

お問い合わせ先北海道大学 産学・地域協働推進機構
産学協働マネージャー 岩村 相哲
産学・地域協働推進機構 ワンストップ窓口

https://www.mcip.hokudai.ac.jp/about/onestop.html