ソースコードの構造情報を言語モデルに統合する際の主な課題は、構造グラフと大規模な事前学習済み言語モデルとの互換性の欠如です。具体的には、プログラミング言語の構造は、抽象構文木（AST）、制御フローグラフ（CFG）、データフローグラフ（DFG）などのグラフ構造で表現されますが、これらの情報を言語モデルに効果的に組み込むことは難しいです。従来の手法では、グラフ情報をテキストトークンに線形化するか、トランスフォーマーアーキテクチャを変更する必要があり、これがモデルのスケーラビリティや事前学習済みモデルとの互換性を制限しています。また、グラフの複雑さやノード間の関係性を適切に表現するための新しいアプローチが求められています。これらの課題を克服するためには、グラフ情報を外部から処理し、言語モデルの内部構造を変更せずに統合する方法が必要です。