物性値に関する相対感覚のLLMへの導入の効果

大規模言語モデル（LargeLanguageModel;LLM）は様々な実用的な言語生成タスクにおいて利用されている[2]．しかし，高度な専門性を要するドメインにおいては，汎用的なLLMの性能は依然として限定的である[3]．その主な要因は，LLMの事前学習データにおける専門情報の不足にある．特定の科学技術分野における専門的文書の量は限られており，また企業や研究機関が保有するクローズドな実験データなどは学習対象に含まれていない[4]．そのため，専門領域特有の高度専門的な概念を言語モデルとして獲得できていないという課題がある．このような未学習の専門知識を補完し，特定のドメインへ適応させるための主要なアプローチとして検索拡張生成[5]（Retrieval-AugmentedGeneration;RAG）とファインチューニング[6]（Fine-tuning）という２つの方法がある．RAGに関しては，新素材や新材料に関する生成において，RAGの検索対象に直接生成の参考にできる情報が含まれていないという問題がある[7]．また，検索された断片的な情報を統合して深い論理的推論を行う能力は，依然としてLLMのその分野における事前学習済み言語モデルの能力に依存している[8]．ファインチューニングにおいても，専門領域の学習データは一般的なテキストと比較して極めて少量であることが多く，大規模なパラメータを持つモデルを十分に最適化するには至らない場合がある[9]．特に材料科学などのドメインでは，テキスト情報だけでなく，化学組成や物性値といった数値データの相関や物理的な法則性をモデル内部に正確に埋め込むことは難しく，単なる言語的なパターンの学習に留まってしまうという限界がある[10]．そのため，本研究ではLLMに物性値といった数値情報や物性知識をどのように追加学習することが効果的であるかを明らかにすることを目的とする．材料固有の物理的な性質をより直感的に捉えるためのアプローチとして，物性に関する相対感覚の概念を導入する．具体的には，特定の物性値の絶対値を直接予測させるのではなく，複数の物質間における物理量の比較タスクを学習プロセスに組み込む．このような比較学習を通じて，モデルは単なるテキストとしての専門用語だけでなく，物質間に存在する相関関係や物理的なポテンシャルの高低といった感覚的な関係性を獲得することが期待される．