自然画像で学習された画像埋め込みにダイアグラムを特徴づける情報は含まれているか？

ダイアグラムは，データや概念を整理し，図示したものである．テキストでの表現に加えて，視覚的な表現を用いることにより理解を促す効果があるため，ビジネス[1]や教育[2]，学術研究[3]をはじめとする多くの分野で広く用いられている．また，自然言語からダイアグラムを生成する研究[4,5]が行われるなど，ダイアグラムの理解・生成に関する研究の重要度は高まっている．ダイアグラムの視覚的情報には，ノード間を結ぶエッジやテキストなどで表される記号的な意味情報と，それらをさらに見やすく表現するためのレイアウトや色使いといったデザインの大きく2つの要素がある．これら2つの要素を適切に用いることで，ダイアグラムは効果的に情報を伝達する．そのため，ダイアグラムの分類や検索といった研究を行ベースノードの色が異なるベースと同じ意味ベースと異なる意味ABABエッジの色が異なるエッジが逆向きABABテキスト無しノードの形が異なるABムの埋め込み分布の違いを調べた．分布内での距離が大きいほど，異なるダイアグラムとしてモデルが認識していると考えられる．エッジが逆向きのダイアグラムは，意味的には大きな違いがあるものの，埋め込み空間における距離は小さかった．うにあたり，ダイアグラムの意味とデザインに焦点を当てることが重要であるといえる．ダイアグラムが持つ意味やデザインを考慮して分類や検索といった研究を行うための道具として，画像埋め込みがある．実際に画像を扱う研究において，分類[6]や検索[7]，生成画像の評価[8,9]に至るまで，画像埋め込みが用いられている．つまり，ダイアグラムの特徴を正しく理解可能な埋め込みを構築することで，ダイアグラムの検索や分類といった様々な研究に応用できる．しかしながら，既存の画像を埋め込むモデルの学習データは自然画像が中心であり，ダイアグラムは少ないと考えられる．1）ここでの自然画像は，現実世界の一部を切り取った写真のような画像を指している．またダイアグラムは，特定の情報を表現するために意図的に設計されているため，背景の乱雑さや複雑なテクスチャといった情報は抑制されてお1）今回実験に用いるInceptionV3は画像分類を行うために学習されたモデルであり，学習データの中にdiagramやﬁgureといったラベルは存在していなかった..り，自然画像とは本質的に異なる[2]．そのため，既存の画像埋め込みにダイアグラムを特徴づける情報が含まれていない可能性があるが，その検証はなされていない．そこで本研究では，既存の画像埋め込みにダイアグラムを特徴づける情報が含まれているかを調査した．その結果，エッジの色や向きといったピクセル数が小さい要素に関する情報が含まれていない，または取り出しにくい形で含まれている可能性があることが明らかになった．この結果は，ダイアグラムを扱うことができる新たなモデルが必要であることを示唆している．