生物医学分野では化学構造やタンパク質配列といったマルチモーダルな分野知識が知識ベースとして整備されている．しかし，既存の情報抽出における知識拡張手法はテキスト情報を中心としており，このような知識を十分に活用できていない．また，知識は互いに複雑に関係しており，単純なグラフ構造では表現が困難である．本研究では，知識ベースからマルチモーダル知識ハイパーグラフを構築し，ハイパーグラフニューラルネットワークで表現学習を行い，その表現を言語モデルに統合する手法を提案する．実験では，生物医学情報抽出ベンチマークにおいてマルチモーダル知識ハイパーグラフの有効性を確認した．

生物医学分野において，文献から構造化された知識を獲得する情報抽出は，膨大な文献に含まれる情報を整理するための重要な技術として長らく研究されてきた．固有表現抽出（NamedEntityRecognition;NER）や関係抽出（RelationExtraction;RE）などの技術を用いて自動的に抽出された遺伝子，タンパク質，疾患，薬剤といったエンティティやその関係は，知識ベースの構築や仮説生成の支援に役立つと期待されている．近年，事前学習済み言語モデルや大規模言語モデルを用いた情報抽出が発展している．しかし，生物医学分野の文書の解析には事前学習のテキストには含まれない外部の様々な分野知識が必要である．例えば，生物医学分野では，同一のエンティティが文献中で異なる表記で言及されることが多く（例：「aspirin」「acetylsalicylicacid」），その正規化には標準化のための知識ベースが必要となる．また，化学物質の異性体のように，テキストのみでは区別が困難キスト化された情報のみを使用するが，提案手法はマルチモーダル知識ハイパーグラフにより化学構造やタンパク質情報を直接活用する．な概念も存在し，化学構造などの情報が必要となる．さらに，希少疾患や新規化合物が記述された文書は限られるため，外部知識による補完が重要である．言語モデルの推論における知識拡張手法として，外部の知識ベースを推論時に参照する検索拡張手法が提案されている．例えば，GraphRAG[1,2]は知識グラフにコミュニティ検出を行い，構造的な関係性を活用して推論経路を言語モデルに提供する．HyperGraphRAG[3]は，ハイパーグラフを用いて任意個の要素間の関係を保持したまま情報を検索することで，複雑な関係の理解を可能にする．一方で，既存の検索拡張手法はテキスト情報を中心としており，生物医学分野の外部知識に含まれるマルチモーダル情報を十分に活用できていない．生Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).パーグラフを抽出する．HNNsによる事前学習で表現を学習し，ソフトプロンプトにより言語モデルに統合する．層で行う．1階層目では，各エンティティとそれを表すマルチモーダルなノード（化学構造ノード，配列ノード）と結ぶ定義型ハイパーエッジを生成する．2階層目では，二項関係を意味論的に統合し，作用機序（薬剤-タンパク質-疾患），中心性ハブ（多数の関係を持つ薬剤・疾患・曝露因子），生物学的パスウェイ，オントロジー階層，化学構造の類似性によるクラスタ，タンパク質相互作用の6つのパターンでハイパーエッジを構築する．各モダリティは特化型エンコーダで埋め込みを取得し，共通次元に射影する（詳細は付録A）．3.2ハイパーグラフ表現学習各ノードのマルチモーダル属性（テキスト，化学構造，配列）は，ReDAF[11]に基づく融合機構により，関係タイプに応じて適応的に重み付けし，統合する（詳細は付録B）．融合後のノード表現に対して，SE-HSSL[13]を基盤としたハイパーグラフニューラルネットワーク（HNNs）を適用する．HNNsは2段階のメッセージパッシングでノード表現を学習する．まず，ハイパーエッジ内のノード表現を生成し，次に各ノードが所属するハイパーエッジの表現を統合してしてノード表現を更新する．事前学習では，特徴ドロップと接続ドロップによるデータ拡張を行い，ノードレベルとグループレベルの対照学習損失および，ノードとハイパーエッジ間のメンバーシップを予測するMIL-NCE損失により，高次構造を考慮した表現を獲得する（詳細は付録B）．3.3言語モデルへの統合学習済みのHNNsを言語モデルに統合し，入力テキストに関連するサブハイパーグラフの知識を活用した情報抽出を実現する．3.3.1パターンベースのサブハイパーグラフ抽出入力テキストから軽量のNERモデル[14]でエンティティメンションを抽出し，SapBERT[15]によりハイパーグラフのエンティティにリンクする．リンクされたエンティティ𝐸seedを起点として，関連するハイパーエッジを選択しサブハイパーグラフ𝐻subを構築する．まず，𝐸seedに接続する全てのハイパーエッジを候補として収集する．次に，各ハイパーエッジにパターンタイプに応じた関連度スコアを付与する（詳細は付録A）．作用機序やパスウェイなどの高次関係を優先し，エンティティ定義のような単純な関係の優先度を下げることで，生物学的な関係に関わる構造を優先的に抽出する．最後に，スコア上位𝑁個のハイパーエッジを選択してサブハイパーグラフを構成する．3.3.2ソフトプロンプトによる知識注入抽出したサブハイパーグラフをHNNsでエンコードし，ノード表現とハイパーエッジ表現の両方をプーリングしてグラフ埋め込みgを得る．(1|𝑉|)∑∑g=1𝑣∈𝑉h𝑣+1𝑒∈𝐸h𝑒(1)|𝐸|