立石科学技術振興財団

助成研究成果集(第32号) 2023

［ 研究助成 (A) ]複合現実を用いた化学反応ネットワーク向けユーザーインターフェースの開発
Development of Mixed Reality User Interface for Visualizing Chemical Reaction Network2221004

研究代表者

横浜市立大学 大学院
生命医科学研究科

特任助教

石田

祥

一

ターフェースが主流であるが，それが化学者に[研 究 の 目 的]とって最も自然であるかは未解明である。また，
本研究は，化学者が自然かつ直感的に操作でAI が提案する多数の合成経路案を個別に確認きる形で，有機化合物の合成経路および化学反したり，それらを元に構築される巨大な化学反応ネットワークを視覚的に表現するための新規応ネットワークを俯瞰するためには，ディスプユーザーインターフェースの開発を行うものでレイの限られた空間中で自然で効果的な可視化ある。

や直感的な操作はかなり難しいのが現状である。

第 3 次人工知能 (AI) ブーム以降，有機化

そこで本研究では，現実空間に直接操作が可合物の合成経路探索を行う AI の開発が盛んに能な形でホログラムを融合させる技術である複行われ，現在では現実的かつ実際に合成可能な合現実に着目し，化学者が自然かつ直感的に操合成経路を提案することが可能な AI もいくつ作可能な新規ユーザーインターフェースの開発か開発されてきている (Klucznik et al., Chem,に取り組んだ。

2018; Coley et al., Science, 2019)。近年，合成経[研究の内容，成果]

路探索 AI が急速な発展を遂げた一方で，AIが提案する候補経路は非常に膨大なものになってきており，化学者が直感的かつ簡便にそれら1．複合現実ユーザーインターフェースの開発
本研究では，Microsoft HoloLens 2 を用いて，を評価可能なユーザーインターフェース開発のある入力化合物に対する多数の合成経路で構成重要性が高まってきている。
コンピューターが普及しはじめた 1960 年代された化学反応ネットワークをホログラムとしの頃から既に，合成経路探索 AI のパイオニアて表示する複合現実インターフェースを開発しである Corey らはそのツールに求められる要た (図 1)。化学反応ネットワークは入力分子件の一つとして，化学者にとって最も自然で簡を根ノードとした探索木として表現が可能であ便な形式でグラフィカルに操作できることと言る。化学反応ネットワークの構成要素は，分子及している (Corey and Wipke, Science, 1969)。と化学反応をノード，それらのつながりをエッ

通常，化学者は常に 3 次元的に化合物や化学反ジとした 2 種類のデータである。化学反応ネッ

応を評価していることから，それらを提示する

トワークは根ノードを頂点とし，反応ステップインターフェースも 3 次元であることが自然で数毎に等間隔で下に探索木を展開して描画した。

あるといえる。しかし，現在に至るまでディス各ノード間は適切な間隔を保つよう，物理エンプレイとマウスを用いた 2 次元のユーザーインジンを用いて力の相互作用が働くようにした。

― 1 ―立石科学技術振興財団

2．化学反応ネットワークデータ
本研究では合成経路探索 AI ツールである
ASKCOS Tree Builder (https: //askcos. mit.
edu/retro/network/) を用いて入力分子に対する化学反応ネットワークデータを取得した。
化学反応ネットワークデータは JSON フォー
マットで格納されており，化合物および化学反応 デ ー タ は 文 字 列 表 現 で あ る Simplified
図1

複合現実中における化学反応ネットワーク全体像

Molecular Input Line entry System (SMILES)
形式で保存されている。化学反応に関連する開発は主に XR 開発が可能なゲームエンジン

データとして，ASKCOS の可視化ツールで標である Unity (version: 2021. 3. 26f1) と Micro-

準で表示されている，① その反応が Reaxys 化

soft が提供する複合現実アプリケーション開発

学反応データベース中に登録されている件数，向けの Mixed Reality Toolkit 2 (MRTK2, ver-② ASKCOS の高速フィルターモデルによりそ

sion: 2. 8. 3)を用いて実施した。Unity を用いての反応に割り当てられたもっともらしさを表す

化学反応ネットワークを構成する各オブジェク

ス コ ア (Plausibility)，③ ASKCOS の ニ ュ ートをデータセットから作成するプログラムを開ラルネットワークモデルによる，前駆体と前駆

発 し，そ こ に MRTK2 の コ ン ポ ー ネ ン ト を体を生成するために使用した化学反応の関連度

Unity で作成したオブジェクトに組み込むこと

スコア (Template score)，の 3 つを本研究でで，ホログラムの空間操作が可能となる。また，も採用した。

ユーザーが快適にユーザーインターフェースを複合現実インターフェース中で化合物と化学利用できるよう，フレームレートは 30 fps 以反応を投影するためには，三次元座標を含む上維持を目標として開発を進めた。

MOL 形式ファイル (化合物のみ) と 2 次元構

複合現実インターフェースには主に以下の 3造を描画した PNG ファイルが必要である。現つの機能を実装した。① 化学反応ネットワー

在これらのファイルを Microsoft Hololens 2 上クを現実の 3 次元空間に配置機能，② 化合物

で JSON ファイルから適切に作成可能なライを 2 次元および 3 次元構造で描画し，移動・回

ブ ラ リ が 存 在 し な い た め，本 研 究 で は 別 途

転・拡大縮小等の直感的な操作機能，③ 化学

RDKit を用いた Python プログラムを開発し，反応ノードをタッチした際，その化学反応の 2それらのファイルを準備した。

次元画像および関連情報の表示機能，を実装した。本 研 究 で 開 発 し た ア プ リ ケ ー シ ョ ン は

3．デモンストレーション

GitHub 上にて以下のリンクで公開している

3. 1

化学反応ネットワークの構成要素の概要(https://github.com/sishida21/Retrosynthesis

本研究では，化学反応ネットワーク中におい-Route-MR-Visualizer)。ユ ー ザ ー は GitHubて，化合物と化学反応を表すノードはそれぞれからレポジトリを手元の PC にクローンし，半 透 明 の Sphere オ ブ ジ ェ ク ト と 黄 緑 色 のUnity でビルド作業および Visual Studio を用

Capsule オブジェクトとして投影される (図 1)。

いて Microsoft Hololens 2 に配置することで誰各ノードを繋ぐエッジは Cylinder オブジェク

でも本ユーザーインターフェースを試すことがトとして投影している。化合物の三次元構造をできる。

表 現 す る た め に，原 子 と 結 合 は そ れ ぞ れSphere オブジェクトと Cylinder オブジェクト― 2 ―Tateisi Science and Technology Foundationを用いた。原子の色としては一般的に適応されている色 (水素：白，炭素：灰，窒素：青，酸素：赤，フ ッ 素・塩 素：緑，臭 素：茶，ヨ ウ素：紫，硫 黄：黃，リ ン：橙，そ の 他：薄 灰)を割り当てた。化学反応ネットワークのサイズは 2 m 立方体の範囲に収まるように調整した。
3. 2HoloLens 2 を通した化学反応ネットワークの操作

図3

化学反応ネットワーク中で有機化合物は 2 次

化学反応ノードをクリックした際に表示される化学反応式の画像 (左) および関連情報 (右)元と 3 次元構造の表示に対応しており，標準では化合物を 3 次元構造を表示させている。化合件数・Plausibility・Template score である。

物の投影方法の変更は，スタートジェスチャー

各 ノ ー ド は 移 動・回 転 (図 4a)・拡 大 縮 小(手の平を内側に向ける) で表示されるボタン(図 4b) を直感的なハンドジェスチャーで実行を押すことで実行される (図 2)。

することが可能である。また，Microsoft Holo

化学反応に関する情報は化学反応を表すノー

Lens 2 ではユーザーから離れたホログラムでドをタップすることで表示・非表示を切り替え

あっても手の中心から放出される光線 (ハンドることができる (図 3)。表示される情報は，レイ) を手の延長として利用することが可能でノードの左側にそのノードが表す化学反応式のある。本研究におけるこの機能の活用例として，

画像，右側にその反応が持つ Reaxys 中の登録ユーザーから遠く離れたノードを近くで確認したい場合にそのノードをユーザーの近くに引き寄せる (図 5) や，遠く離れた化学反応ノードをクリックするなどが考えられる。

図4

化合物ノードに対しての回転・拡大縮小操作

また，現在のユーザーインターフェースでは，空間中の同じ場所で Microsoft Hololens 2 からアプリケーションを起動することにより，複数人で同一の場所に化学反応ネットワークを投影することが可能である。空間中の厳密な位置は
図2化合物の 2 次元・3 次元構造の表示切り替え一致しないものの，複数人が同時に化学反応― 3 ―立石科学技術振興財団

ネットワークを確認し，その場で議論をするこていく予定である。その機能としては，注目しとは十分可能である。Virtual Reality とは異なたいホログラム・情報のみに投影を切り替え可り，現実にあるものを参照しながら議論をする能な機能および，複数人で利用する際にお互いことも可能であるため，より化学者にとって自の操作をリアルタイムで共有可能にする機能で然な議論を促進できると考えられる。

ある。
現状の課題としては，事前に手元の PC でRDKit による化学反応ネットワークデータが格納されている JSON データを処理する必要があるため，各ユーザーがそれぞれ手元でアプリケーションを Microsoft HoloLens 2 にコンパイル・展開しなければいけないことである。この課題に関しては，別途その処理をするサーバーを用意することで，Microsoft HoloLens 2
ではそれらの操作を実施せずその処理済データを取得することにより解決可能である。この課
題が解決されれば，Microsoft Store で本アプ
リ ケ ー シ ョ ン を 公 開 し，ユ ー ザ ー は JSONファイルのみを指定すれば利用可能になること

図5が期待される。複数人でリアルタイムでお互い化合物ノードに対してのドラッグ・プッシュ操作の 操 作 を 共 有 す る た め に は，Azure Spatial
Anchor と Photon Unity Network というサービスを利用すれば実装可能であるが，本アプリ[今後の研究の方向，課題]

ケーションが起動時に化学反応ネットワークの本研究が長期的に目指す姿は，化学者の直感

ホログラムを構築する仕様のためこれらのサーを最大限引き出すユーザーインターフェースのビスを組み込むことは非常に困難である。これ開発および普及である。今回開発したユーザーに関しては，アプリケーションの仕様変更も考

インターフェースは，プロトタイプとして化学慮しつつ追加機能の実装を通して対応していく

反応ネットワークを複合現実の中でホログラム予定である。また，化学者に実際に本ユーザーとして投影し，それらを原始的な操作である移インターフェースを利用してフィードバックを動・回転・拡大縮小を可能にしたものである。

もらい，機能追加および改善をしていく。

また，本ユーザーインターフェースの普及を目指して，GitHub 上にて今回開発したプログラ
ム等を公開している (https://github.com/sis[成果の発表，論文など]
GitHub 上 で の ア プ リ ケ ー シ ョ ン の 公 開：https: //hida21/Retrosynthesis-Route-MR-Visualizer)。

github. com/sishida21/Retrosynthesis-Route-MR-

今後は，投影されるホログラムをより洗練してVisualizer

いくこと，そしていくつか追加の機能実装をし― 4 ―