Sketch2Diagram:視覚的指示を入力とするダイアグラム生成

スケッチ画像を理解してベクター形式のダイアグラムを生成するためのベンチマークデータセットSkeTikZを提案する1）．SkeTikZは，人手で作成したスケッチ画像とTikZ形式のダイアグラムがペアになった初めてのデータセットである．さらに，画像を理解してTikZ形式のダイアグラムを生成可能なマルチモーダルモデルImgTikZを提案する．ImgTikZは，コード生成に特化した大規模言語モデルと画像エンコーダを活用したモデルであり，実験によって7B規模のモデルサイズながらGPT-4oに匹敵するダイアグラム生成能力を有することを確認した．また，スケッチ作成のツールによって画像認識の難易度が大きく変わることを確認した．