GraphicalAbstract(GA)は論文の要点を視覚的に伝える重要な表現手段である.効果的なGAの作成には高度なデザインスキルが求められ,設計支援技術の実現が期待される.本研究では,約14.5万の論文とGAを含む141万枚の図からなるデータセットSciGA-140kを構築した.また,GA設計支援の前段として,Abstractを基に論文内からGAとして適切な図を検索するタスクAbst2GARetrievalを提案する.我々はCLIPを基盤とするベースラインを設計し,提案タスクの有効性を示した.ベースラインは他の論文のGAを検索し,デザイン案を提示する支援機能も提供する.我々のアプローチはGA設計支援の新たな方向性を示し,AIforScienceの発展に貢献する.

科学的発見とその伝達は新たな知識の構築に不可欠であるが,その進展は研究者の限られた資源に依存している．この課題解決に向け,科学的発見の自動化が注目され,AIforScienceが幅広く議論されてきた[1,2,3]．同様に,スライド[4]やポスター[5],図の生成[6]など,研究成果の伝達支援も重要である．GraphicalAbstract（GA）は,論文の提案手法や結果を要約する視覚的表現である．論文のIntroductionで参照される図1やティザー画像も同様の役割を担い,読者に研究内容を効果的に伝える[7]．一方,効果的なGAの作成には研究内容を的確に視覚化するスキルが求められる[8,9,10]．論文内の図を再利用・加工して作成されることも多く,魅力的なGAの作成には適切な構成要素の選定が鍵となる.本研究では,GA設計支援を目的とした初の大規模論文データセットSciGA-140kを構築する．SciGA-140kは144,883件の論文のFull-Textとメタデータ,GAを含む1,148,191枚の関連画像を収録し,論文の本文と図の統合的な解析の基盤を提供する.成方法に基づくラベルが付与されている．また,本研究では,GA設計プロセスの効率化に寄与する以下のタスクを定義する:1)intra-GARecommendation:同一論文内からGAに適した図を推薦するタスク.2)inter-GARecommendation:ある論文のGA作成において,参考となる他の論文のGAを推薦するタスク.これらに対する直感的なアプローチは,入力された図の評価値を直接推定することであるが,この古典的な手法は図の視覚的特徴のみに依存し,論文の文脈を捉えられない.そこで,我々はintra-GARecommendationに焦点を当て,Abstractをクエリとし,論文内からGA構成要素に適した図を検索するタスクAbst2GARetrievalを提案する.そのベースラインでは,CLIP[11]を基盤にAbstractと図を同一空間に投影し,その類似度をGA構成要素としての妥当性と解釈してintra-GARecommendationを実現する．また,このベースラインのinter-GARecommendationに対する応用可能性を示し,将来的なGA設計支援の統一フレームワークの基盤を提供する．我々のアプローチはGA設計を効率化し,AIforScienceの新たな応用の幅を広げる..