Sketch2Diagram:視覚的指示を入力とするダイアグラム生成

ダイアグラムは複雑な情報を視覚的にわかりやすく伝えることができる表現方法であり，学術・教育・ビジネスなどで広く利用される．ダイアグラムの意味をAIが正しく理解すると同時に，複雑な情報をダイアグラムの形式で表現できることは高度なコミュニケーションが可能なAIの実現に向けて重要である．ダイアグラムに対する質問応答[1,2]，説明生成[3,4,5]など，ダイアグラムを入力として自然言語を生成するタスクで多くの研究が行われてきた一方，ダイアグラムを生成する研究は非常に少ない．自然言語による指示を入力としてダイアグラムを生成する研究[6,7,8]は一部行われているが，複雑なダイアグラムの生成において全ての情報を言語で表現することは難しくコストも高い．本研究では，スケッチという人間にとって直感的に表現可能な視覚的指示を入力としてダイアグラムを生成するタスクに取り組む（図1）．ラフな手書きスケッチ画像から整ったダイアグラムを自動生成できれば，簡易な指示で低コストに高品質なダイアグ1）https://sketikz.github.io/ラムを生成することが可能となる．また，本研究ではダイアグラムの表現形式としてLaTeXの描画パッケージであるTikZコード2）を用いる．学術的な図などの生成において，TikZやGraphvizといった描画用のコードををコンパイルすることで任意の解像度の高品質なダイアグラム画像を生成できる．また，中間表現としてコードというテキスト形式の出力を用いることで，大規模言語モデル（LLM）の生成能力を直接活用することができる[6]．自然画像生成で一般的であるtext-to-imageモデル[9]のようにラスタ画像を直接生成する方法に比べ，コードを利用する方法は高解像度の画像の生成が行いやすい[6]，要素間の関係性をより正確に扱える[10]，などダイアグラム生成に適した様々なメリットがある．スケッチによる視覚的指示を入力としたダイアグラム生成は有望な方向性であるものの，学習・評価に利用可能なベンチマークデータセットが整備されていない点が大きな課題である．本研究では，スケッチ画像からTikZ形式のダイアグラムを生成するためのベンチマークデータセットSketikZを初めて構築した．このデータは，多様な環境で作成した3231件のリアルなスケッチ画像とTikZ形式のダイアグラムデータからなる．さらに，コード特化型LLMと画像エンコーダを活用し，画像を理解してTikZコードを生成可能なマルチモーダルモデルImgTikZを構築した．学習用の大規模データ拡張や，複数候補生成と最適候補選択を組み合わせる推論方法により，7BサイズのモデルながらGPT-4oに匹敵するダイアグラム生成能力を達成した．