みずほリサーチ＆テクノロジーズ技報 Vol．2 No．1

調査レポート拡散モデルを用いた分子構造生成
デジタルエンジニアリングチーム
主任コンサルタント

石田純一
発展著しい機械学習分野で，近年特に注目を集めている技術の１つが拡散モデルである．拡散モデルはDALLE 2（OpenAI 社），Imagen（Google 社）といった高精度な画像生成エンジンのコア技術として活用されたことで，世界的な研究開発に火が付いた．既に画像だけではなく音楽生成，分子生成，動画生成といった幅広い用途への適用が進められている．本稿では，特に分子構造生成における拡散モデルの適用事例を調査し，その概要と将来的な展望を述べる．

1 はじめにキスト生成，音楽生成，分子生成，動画生成など適用範囲が広がっている．

人工知能（Artificial Intelligence，AI）技術は過去十

当部では科学技術分野における多様なソリューシ年の間に著しい進展を遂げた．特にコンピュータビョンを提供しており，特に材料、化学ならびに創薬のジョンと自然言語処理は AI 技術開発の中核分野となための AI を重要な開発項目と位置付けている．そこっており，人間が作成したものと見分けられないレ

で本稿では，拡散モデルの概要について説明したのベルでの画像・文章生成技術が既に実現している．こち，特に分子構造生成モデルについて最新の適用事

れら 2 つの分野にまたがる技術として，文章の指示例を示すとともに，今後の展開について述べる．

に従い画像を生成する text-to-image が注目を集めて

2 拡散モデルいる．2022 年に OpenAI 社，Google 社から立て続けに発表された画像生成エンジン DALL・E 2 と Imagen
は，それまでの技術とは一線を画す卓越した画像生拡散モデルの直観的なイメージを図 1 に示す．学成能力を有しており，プロンプトと呼ばれる指示文習対象データ𝑥 （ここでは分子構造）に対し，段階的章に忠実な画像を生成することができる．さらににノイズを付加することで，完全なノイズデータ𝑥Stability AI 社により高精度な学習済みモデル Stableを生成する．続けて，ノイズを除去する逆プロセスをDiffusion がオープンソースで公開され，ローカル端経て真のデータを復元する．ノイズ除去の方法とし末や Google Colaboratory といった環境で気軽に画像て，ノイズそのものを学習対象とするノイズ除去拡生成を楽しむことができる．

散確率モデル（Denoising Diffusion Probabilistic Model，

これらの技術のコアにあるのが，拡散モデルと呼DDPM)やスコアと呼ばれるデータ分布の勾配を学習ばれる訓練データの分布を学習し新規データを生成対象とするノイズ除去スコアベースモデルする機械学習モデルである．従来，生成モデルとして（Denoising Score-based Model，DSM）といった異な敵 対 的 生 成 ネ ッ ト ワ ー ク （ Generative Adversarial

るアプローチが知られており，それらがまとめて拡Network，GAN）の研究が最も盛んに進められてきた散モデルと呼ばれる 1,2)．本稿では代表的な手法であが，パラメータ調整が非常に難しく，生成データに多る DDPM と DSM の概要について説明する．なお，様性がない（モード崩壊）といった課題があった．拡

これらのアプローチの学習対象は係数部分を除き等散モデルを用いることで高精度かつ多様なデータを価であることが証明されており，確率微分方程式で生成できることから，近年は画像生成のみならずテ統一的に表現する試みも行われている．

1

みずほリサーチ＆テクノロジーズ技報 Vol.2 No.1

ランダムノイズ 𝑥𝑥

分子構造 𝑥

順方向（ノイズ付加）

・・・・・・逆方向（ノイズ除去）
図 1

3 次元原子座標を学習対象とした場合の拡散モデルによる分子生成イメージ

2.1 DDPM

𝐿DDPM では，学習データが完全なランダムノイズ= 𝔼 ~[ , ],,[||𝜀 − 𝜀 (𝑥 , 𝑡)|| ](5)になるまでガウスノイズを段階的に付加する．その後，これを逆にたどりノイズを除去するニューラル

ここで𝜀 はノイズを表すニューラルネットワークでネットワークを訓練することでデータを復元する．

あり，𝜀 はステップ𝑡におけるノイズである．直観的分子構造等のデータ𝑥 に対する𝑇ステップのノイズには，ノイズ付加データのうち，どの部分がノイズで付加過程は以下の式で表される．

あるかをニューラルネットワークが学習する．得られたデータ分布の勾配を用いて，新しいデータがサンプリングされる．

𝑞(𝑥 : |𝑥 ) =𝑞(𝑥 |𝑥(1))

2.2 DSM𝑞(𝑥 |𝑥)= 𝒩 𝑥 ; 1−𝛽 𝑥,𝛽 𝐈

DSM では，真のデータ分布𝑞(𝑥)のデータ𝑥に関す(2)る勾配を，ニューラルネットワーク𝑝 の勾配を用いて推定する．

ここで𝑞(𝑥 )は潜在変数𝑥 の分布，𝒩は多変量正規分
布，𝛽 はステップ𝑡における分散を制御するハイパー

𝑠 (𝑥) = ∇ 𝑝 (𝑥)パラメータであり，ノイズ付加されたデータはガウ(6)ス分布から生成される．一方，ノイズ除去を行う逆方向プロセスは学習可能な分布𝑝 を用いて以下のようここで𝑠 はスコア関数と呼ばれている．真のデータに表され，ノイズ除去データも学習可能なパラメー

分布の勾配∇ 𝑞(𝑥)をスコア関数で近似することで，タ𝜃を含むガウス分布から生成される．

以下のサンプリング手法によりデータを生成することが可能となる．

𝑝 (𝑥 : ) = 𝑝(𝑥 )𝑝 (𝑥|𝑥 ) = 𝒩 𝑥𝑝 (𝑥|𝑥 ); 𝜇 (𝑥 , 𝑡), Σ (𝑥 , 𝑡)

(3)

𝑥(4)

← 𝑥 + 𝜀∇ 𝑞(𝑥) + √2𝜀𝑧 , 𝑖 = 0, 1, ⋯ , 𝐾(7)

ここで𝑧 はガウス分布から生成されるノイズであり，
𝜀 → 0, 𝐾 → ∞とすることで解が収束する．

ここで𝑝(𝑥 ) = 𝒩(𝑥 ; 0，𝐈)であり，完全なランダム

𝑠 は一般にスコアマッチングと呼ばれる手法によノイズに対応する．また𝑝 (𝑥 )は逆プロセスにおけるり推定されるが，データ分布が疎な領域では推定精潜在変数𝑥 の分布である．学習データ𝑥 に関する対数度が下がるという欠点がある．これに対処するため，尤度log𝑝 (𝑥 )を最大化するため，変分下限を計算す

データ全域に段階的にノイズを付加し完全にランダる．文献 1)に従う再パラメータ化および単純化を行う

ム化する．その状態から段階的にノイズを除去し，異ことで，目的関数𝐿なるノイズレベルにおけるスコアを段階的に学習すは以下のようなノイズに関する二乗誤差として表される．

ることで，推定精度を向上させることができる．
さらに文献 2)では，順方向・逆方向プロセスを確率2

みずほリサーチ＆テクノロジーズ技報 Vol．2 No．1
微分方程式（Stochastic Differential Equation， SDE）

布を学習し，学習データに含まれない未知の分子構の解として滑らかに表現することで，モデルの高精造を生成することを目的とする．実用上は所望の物度化に成功している．ノイズ付加順方向 SDE は以下性を有する新規構造を生成することがより重要であのように書き下すことができる．

る．文献 3,4)では，低分子が従う並進・回転対称性を保つための特殊なタイプのニューラルネットワーク

d𝑥 = 𝑓(𝑥, 𝑡)d𝑡 + 𝑔(𝑡)d𝑤(8)を活用し，拡散モデルを構築している．低分子は構成原子の 3 次元座標や周辺情報を組み込んだ行列形式

ここで𝑥は連続的な時間変数𝑡に関するデータ分布でで表現されており，いずれのケースでも従来手法にある．𝑤は標準 Wiener 過程であり，d𝑤は無限小の比べてより多様かつ現実的な分子生成に成功していホワイトノイズに対応する．𝑓はドリフト係数，𝑔はる．

拡散係数と呼ばれる．一方，逆方向プロセスは以下のコンフォーマー生成は特に創薬分野において重要ようになる．

視されている技術である．生体中での多様な構造変化に対応した構造群がコンフォーマーとして呼ばれ，

d𝑥 = [𝑓(𝑥, 𝑡) − 𝑔(𝑡) ∇ log𝑞 (𝑥)]d𝑡 + 𝑔(𝑡)d𝑤(9)

それらの集団的な振る舞いによって分子の特性が決まる．コンフォーマー生成では特にねじれ角の自由右辺に登場する∇ log𝑝 (𝑥)をスコア関数で近似する度が重要であるという発想に基づき，文献 6)ではねじため，以下の目的関数を最小化する。

れ角のみを学習対象としている．これにより，3 次元座標を生成する場合より数桁高速なコンフォーマー

𝔼 , [𝜆(𝑡)||𝑠 (𝑥 , 𝑡) − ∇ log𝑞 (𝑥 )|| ](10)

生成を可能としている．また，得られた構造は
OMEGA や RDKit といった一般的なソフトウェアを𝜆(𝑡)は重みパラメータであり，スコアマッチングによ上回る多様性や，真の構造アンサンブルに近い化学り式(10)を計算しニューラルネットワーク𝑠 を学習的特性を示している．
生成モデルは分子動力学（Molecular Dynamics，MD）する．微小変位d𝑥を用いて𝑥を順次更新することにより，データが生成される．

計算のような動的構造の生成にも活用されている．
文献 7)では拡散モデルを MD 計算におけるトラジェ

3 分子構造生成モデル

クトリ生成に活用し，原子の座標を直接生成することによって，トラジェクトリの安定性を評価する指拡散モデルを分子生成に活用した研究事例は，本標において他の機械学習手法より優れた結果を示し稿の執筆時点でも増加の一途を遂げている．表 1 にた．

は，2022 年 9 月現在報告されている拡散モデルによ3.2 タンパク質

る分子生成の報告事例を整理した．適用先のターゲットは低分子，タンパク質，結晶材料の 3 種類に大タンパク質は低分子に比べ構成原子数が膨大であ別され，それらに対し様々な目的で拡散モデルが適り，アミノ酸と呼ばれる 20 種類の構成要素の組み合用されている．以下，各ターゲットに対する研究開発わせから成る．生体内ではタンパク質と他の分子系の状況を説明する．との相互作用が重要であり，低分子系に比べより多様な目的で拡散モデルの事例が報告されている 8-13)．

3.1 低分子

構成原子数が膨大であることから，生成データ対

低分子は比較的小規模な分子系であり，材料科学・象をタンパク質の主要骨格である主鎖の特徴に限定創薬の多くの場面で活用されるため，以前から生成した事例が目立った．生成データからタンパク質のモデルの適用対象として活発な研究が進められてき構造を復元するため，アミノ酸残基間の角度や距離，た．拡散モデルの適用例として，既に新規構造生成，主鎖に結合した側鎖の結合角を拡散モデルによってコンフォーマー生成，分子動力学計算におけるトラ生成するなど，様々な工夫が施されている 9-12)．生成

ジェクトリ生成といった様々な用途が報告されてい可能なタンパク質の大きさに制約が課される場合がる 3-7).

あるが，ネイティブ構造に近い構造の生成，条件付き新規構造生成は，学習データセットの分子構造分構造生成，モチーフ周辺のタンパク質の構造補完（イ3みずほリサーチ＆テクノロジーズ技報 Vol.2 No.1
表 1

適用系

拡散モデルを活用した分子生成に関する主要文献（2022 年 9 月現在）

目的

生成対象

手法

概要

3 次元座標，原子種類

DDPM

等変量グラフネットワークを利用し３次元分子構造を生成 3)

隣接行列，特徴行列

DSM

3 次元座標

DDPM

ねじれ角

DSM

新規構造生成低分子コンフォーマー
生成
トラジェクトリ

各時刻の 3 次元座標，原子種類，速度

生成

DSM

学習データ分布外かつ所望の物性を有する分子を生成 4)
座標を生成する拡散モデルによりコンフォーマーを生成 5)フレキシブルな自由度であるねじれ角を生成しコンフォーマーを作成 6)
分子動力学トラジェクトリを生成 7)
任意のモチーフ構造にインペインテ

新規構造生成3 次元座標

DDPM

原子間角度

DDPM

Cα 原子座標，クォータニ
オン，側鎖結合角，アミノDDPM

DSM

残基間角度，距離
アミノ酸種類，Cα 原子座

抗体生成

最大 128 残基の多様かつ新規な主鎖を生成 9)タンパク質の構造・配列を生成，マスクされた領域のインペインティン
グも可能 10)

酸種類

タンパク質

ィングすることでタンパク質の主鎖を生成 8)

標，配向DDPM

ネイティブに近いタンパク質構造を生成，また条件付き生成も可能 11)
抗原と作用する抗体の相補性決定領域（CDR）の配列と構造を生成 12)
タンパク質骨格テンプレート，低分結晶複合体生成

3 次元座標DSM子グラフ構造を入力として複合体構造の座標を生成 13)

新規構造生成3 次元座標，原子種類

DSM

結晶材料構造を生成 14)

ンペインティング）などいくつかの成功例が報告さ料データベースも他の研究グループによって公開されている．また，薬剤設計において重要となる抗原とれている 15)．

相互作用する抗体の相補性決定領域（Complementary

4 今後の展望

Determining Region，CDR）の配列・構造設計に活用された事例や，タンパク質とリガンドを入力とした結合構造の生成，妥当なリガンドポーズの生成など

以上，拡散モデルを用いた分子生成技術に関して多くの活用方法が模索されている．

概説した．猛烈なスピードで世界的に研究が進められており，表 1 に記載した研究事例は文献 14)を除き3.3 結晶材料

2022 年に報告されたものであることは特筆に値する．

拡散モデルは低分子，タンパク質系への適用がメ

特に創薬分野においては多様なアプリケーションがインストリームとなっているが，結晶材料生成にお模索されており，コンフォーマー生成やドッキングける適用事例も報告されている．結晶系では並進・回構造の生成では既に従来手法を上回る精度が報告さ

転対称性に加えて，周期的対称性を考慮したモデルれている．実際の薬剤設計の現場へ導入可能なレベを構築する必要がある．文献14)

では，これらの対称ルでの，優れた実力が証明されつつあると言える．

性を保持したニューラルネットワークを用いて結晶材料科学への応用方法として，生成モデルを用い材料を扱っており，構造の再構成，新規構造の生成，た新規化合物のデータベース構築や，それを活用し特性最適化において既存手法を上回る精度を報告した量子化学計算による有望素材のスクリーニングとている．本モデルによって生成された仮想 2 次元材いった方向性が想定される．実用的な材料開発を指4みずほリサーチ＆テクノロジーズ技報 Vol．2 No．1
向した場合，特定の環境下における化学的安定性や

2) Song, Yang, et al.: Score-based generative modeling

複数の物性に最適化した材料が要求されるが，現在

through stochastic differential equations, arXiv:2011．
13456 (2020)の生成モデルではそれらすべての要求に応えることは難しい．そのため，大量に生成された候補材料に対

3) Hoogeboom, Emiel, et al.: Equivariant diffusion for

してスクリーニングを行うことで，未知の機能性材

molecule generation in 3d, arXiv:2203.17003 (2022)
4) Lee, Seul, Jaehyeong Jo, and Sung Ju Hwang:

料を効率的に探索できる可能性がある．

Exploring Chemical Space with Score-based Out-of-

一方で，拡散モデル一般の課題として挙げられるのがサンプリング速度の遅さである．データをノイ

distribution Generation, arXiv:2206.07632 (2022)

ズ化するために大量のステップを要するため，デー

5) Xu, Minkai, et al.: Geodiff: A geometric diffusion
model

タ生成に長大な時間を要する．高速化に向けた検討

formolecularconformation

generation,

arXiv:2203.02923 (2022)

は盛んに進められており、サンプリング間隔を間引いたり圧縮された潜在空間におけるデータに対して

6) Jing, Bowen, et al.: Torsional Diffusion for Molecular

拡散モデルを適用するといった試みが行われている。

Conformer Generation, arXiv:2203.02923 (2022)

高精度化と高速化の両立は拡散モデルにおける重要

7) Wu, Fang, et al.: A score-based geometric model for

な研究テーマとして今後も活発に開発が進められる

molecular dynamics simulations, arXiv:2204.08672

であろう．

(2022)
8) Trippe, Brian L., et al.: Diffusion probabilistic

5 結びmodeling of protein backbones in 3D for the motifscaffolding problem, arXiv:2206.04119 (2022)

本稿では，近年注目を集める拡散モデルについて， 9) Wu, Kevin E., et al.: Protein structure generation via
DDPM，DSM の 2 つのアプローチと材料・創薬分野

folding diffusion, arXiv:2209.15611 (2022)

における主な研究開発動向を概説した．創薬を中心

10) Anand, Namrata, and Tudor Achim: Protein Structureとして多様な適用例が報告されており，拡散モデル

and Sequence Generation with Equivariant Denoisingを用いることで従来の機械学習生成モデルに対してDiffusion Probabilistic Models, arXiv:2205.15019

優位または競争力のある結果を達成できる．特にコ(2022)

ンフォーマー生成やドッキング構造生成では，従来

11) Lee, Jin Sub, and Philip M. Kim: ProteinSGM: Score-

手法を大きく上回る精度が報告されており，基礎研

based generative modeling for de novo protein design,究に留まらず実際の開発現場へと導入可能な糸口がbioRxiv (2022)

見えつつある．一方で，生成分子の特定環境下での化

12) Luo, Shitong, et al.: Antigen-specific antibody design

学安定性や学習データに含まれていない物性の特性and optimization with diffusion-based generativemodels, bioRxiv (2022)は保証されていないため，量子化学計算等の従来の手法との適切な組み合わせが必要となるだろう．ま13) Qiao, Zhuoran, et al.: Dynamic-Backbone Protein-

た，化合物は実際に合成されることで初めて実用的

Ligand Structure Prediction with Multiscale Generativeな価値が生まれる．コンピュータ上での予想から一Diffusion Models, arXiv:2209.15171 (2022)
14) Xie, Tian, et al.: Crystal diffusion variational

歩踏み込んだ，実材料に関する検証が今後期待されautoencoder

る．

for

periodicmaterialgeneration,

arXiv:2110.06197 (2021)
15) Lyngby, Peder, and Kristian Sommer Thygesen: Data-

引 用 文 献1) Ho, Jonathan, Ajay Jain, and Pieter Abbeel: Denoising

driven discovery of novel 2D materials by deep

diffusion probabilistic models, Advances in Neuralgenerative models, arXiv:2206.12159 (2022)

Information Processing Systems 33 (2020): 6840-6851

5