JaWildText:日本語文字認識性能評価のための実世界画像データセット

画像と自然言語を理解し汎用的なタスクで推論する視覚言語モデル（VisionLanguageModel;VLM）の基盤能力の一つに，画像内文字認識（OpticalCharacterRecognition;OCR）がある．画像中の文字は高レベル推論や実用タスクに不可欠であり，RobustReadingChallenge[1]を始め，画像内テキストを扱う画像質問応答（VisualQuestionAnswering;VQA）[2,3,4]が盛んに提案されてきた．また近年ではVLMを基盤としたOCR特化モデル[5,6,7]も開発されている．しかしながら，これらの多くは英語や中国語の文字を主たる認識対象とし，実世界画像における日本語の文字認識およびその下流タスクには十分に取り組まれていない．日本語は漢字仮名交じり記法やアルファベットとの混植，読み方向の併存といった固有の表記体系を持つ．加えて実世界画像は，傾きや照明などの撮影条件の変化，背景の写り込みや部分的な遮蔽が生じるため，文字認識および推論を一層困難にする．このような条件下での日本語文字理解性能を包括的に評価するためには，実世界画像を対象とし，文字認(iii)手書き文字OCRから構成された，文字認識性能評価のための実世界画像データセットである．識と下流タスクを一貫して扱うことが必要である．多言語文字認識[8,9]や文書画像理解[10]など日本語を対象とした既存の課題も存在するが，表1に示すように既存のデータセットだけでは課題の網羅性が不十分である．このような評価基盤の欠落が，VLM研究の日本語環境への適応を阻害している．これらの課題を解決するため，我々は実世界で撮影された335枚の画像から構成される日本語文字理解評価データセットJaWildTextを構築する．図1に示すように，JaWildTextは(i)文字密度の高い掲示物を対象とした，シーンテキストを含む画像を用いた質問応答（高密度STVQA），(ii)レシート画像を用いた情報抽出（レシートKIE），および(iii)手書き文字画像の文字認識（手書き文字OCR）という実世界で頻出する三つの類型から構成され，文字認Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).る四角形の数を表す．サブセット#画像#領域#文字#文字種縦書(%)高密度STVQA1024,45647,8231,6887.9レシートKIE1255,53043,3511,067