FreeDonut:E2E文書理解モデルにおけるAttentionを用いた文字領域アノテーション不要なテキスト検出手法の提案

文書（Document）は生活のあらゆる場面で利用される．文書を自動で処理する自動文書処理（AutomatedDocumentProcessing）のニーズは極めて高く,機械学習に基づく視覚的文書理解（VisualDocumentUnderstanding,以下VDU）モデルが提案されている．既存のVDUモデルは，テキストの検出（Detection），認識（Recognition），解析（Parsing）の3つのモデルを組み合わせるため,モデル学習及びアノテーションのコストが大きく，特にテキストの位置を人手で記録するコストが課題視されている.学習コスト削減のために，単一モデルでVDUをE2Eに実施するモデルが提案されている．E2E文書理解モデルは，画像と画像から抽出したいテキストのみで学習でき，位置の教師データを必要としない*Equallycontributed.CorrespondencetoGeewookKimアノテーションの両方が必須となるが，E2Eモデルは位置アノテーションを必要としないためコストが大幅に削減可能．のでコストが大幅に削減できる（図1参照）．また，複数のモデルを組み合わせる既存手法とは異なり，一つのモデルをE2Eに学習するだけでVDUを実現できるため学習コストも削減できる．E2E文書理解モデルは文書分類（Classification），情報抽出（InformationExtraction），質疑応答（QuestionAnswering）などのアプリケーションで高い性能を達成したと既存研究[1,2]より報告されている．しかし，VDUアプリケーションには,例えば文書画像から個人情報に該当するテキストをマスキングするといった,テキストの位置が必要となる場合もある．本研究では，テキスト位置の教師データを必要としない利点を保ちつつ，E2E文書理解モデルによってテキスト位置を獲得する手法を提案する．モデルがテキストを出力するとき，画像上で対応するテキスト領域に注視点が分布すると仮定して，Transformerから得られるAttentionMapからテキスト位置を獲得した．実験ではKimetal.[1]のモデルを用いて，古文書の画像からくずし字を検出して認識するタスク[3]に対して，最新のOCRモデル[4]との比較により有効性を検証した．