画像と他の表現（SMILESやグラフ）を細粒度で整合させるためには、マルチモーダル学習のアプローチを採用することが効果的です。具体的には、MaskMolの知識ガイド付きピクセルマスキングを利用して、画像とSMILESやグラフの情報を相互に補完することができます。例えば、分子の画像を生成する際に、SMILES表現から得られる構造情報を用いて、特定の原子や結合を強調するマスキングを行うことができます。
このようにして、モデルは異なる表現から得られる情報を統合し、分子の特徴を多角的に学習することができます。さらに、細粒度のマスキングを通じて、モデルは特定の部分に焦点を当て、微細な構造変化を捉える能力が向上します。これにより、活性崖の予測精度が向上し、より信頼性の高い構造-活性関係（SAR）の理解が促進されます。