化学反応の高精度な予測は，実験を行う前に実験結果の予測ができることから，創薬をはじめとする分野で実験コストの削減の視点から注目されている．これまでに化学反応予測モデルの開発は活発に行われてきたが，利用可能な学習データが限られていたことから，分布外データへのモデルの微調整（ファインチューニング）を想定した事前学習モデルに関する研究は限定的であった．本研究では，大規模化学反応データベースを用いた事前学習を通じて化学反応基盤モデルを構築した．本モデルを活用することで，従来のモデルと比較して非常に少ないファインチューニングデータで，優れた予測性能を実現できることを示した．

薬の開発には莫大なコストがかかり，1つの薬が市場に出るまでに10年以上の期間と10億ドル以上の資金が必要になるとされている1．さらに，薬の開発コストは増加し続けており2，創薬コストの削減に向けてAIの活用が期待されている3．創薬における課題の一つとして，候補となる化学構造が実際に合成可能かどうかを評価することや，合成のための反応において十分な収率が得られるかどうかを判断する必要がある．通常，これらの問題への対処には多くの実験コストがかかる．これに対し，合成経路の設計を補助するために生成物から反応物を予測する逆反応予測モデルや，反応条件の最適化を目的とした収率予測モデルを活用することで、実験効率の向上が期待されている．化学構造を扱う問題の多くは，化合物をSimplifiedMolecular-InputLine-EntrySystem(SMILES)4という文字列で表現することで，自然言語処理分野の技術を活用することができる．例えば，化学反応を反応物から生成物への変換ととらえることで，言語翻訳と類似するタスクとみなすことができ，系列変換モデルであるtext-to-texttransfertransformer(T5)5を化学反応の予測に活用した例が報告されている6．ベンチマーク性能において優れた化学反応予測モデルであっても，実際の現場での利用においてはしばしば次のような課題が存在する．第一に，学習データと現場で扱う新規反応の間に乖離があり，これがモデルの適用を困難にする．第二に，モデルの微調整に必要な数千件の反応データを現場で用意するのが難しい．実際に我々の予備実験においても，既存手法で良く用いられる化合物データベースであるZINC7を学習データとして使用し，T5をMaskedLanguageModel(MLM)による自己教師あり学習で事前学習した結果は，下流タスクでのベンチマーク予測性能が向上するものの外部データに対する予測性能には課題があり，そのモデルの微調整には多くの下流タスク用学習データを必要とすることが明らかとなった．本研究では，従来の事前学習済みモデルが下流タスクで多くの学習データを必要とする原因について，事前学習に用いるデータと下流タスクのデータおよびタスク間に大きな乖離が存在することが影響しているという仮説を立て，これに対処するために，大規模な化学反応データベースであるOpenReaction.Database(ORD)8を用いた二段階の事前学習を提案する．ORDには特許文書，学術論文，製薬企業の実験ノートから収集された化学反応が集約されており，広範な化学反応空間を網羅するデータベースである．我々の提案モデルは，一段階目で，SMILES表記された単一化合物を学習するために，化合物データベースであるZINC7を学習データとして使用し，二段階目では反応内の複数化合物間の関係を学習するために，ORDを用いた事前学習を行う．本稿では，この二段階学習によって得られたモデルを化学反応基盤モデルと呼び，基盤モデルとして，生成物予測，逆反応予測，収率予測の3つ下流タスクにおいて微調整を行い，ベンチマークで評価する．さらに，微調整用の学習データの件数を変化させた評価実験を行い，利用可能なデータが少数しかない場合におけるモデルの挙動を検証する．