既存のテキスト認識手法は実世界におけるデータセットのサンプル数が少ないため，合成データセットを用いて学習がされているが、実世界で発生する問題に対応できない。そこで，ラベルがない実画像の利用によってテキスト認識モデルの可能性を引き出すことが考えられており，テキスト認識に対する自己教師あり学習手法が検討されている。本研究では、MaskedImageModelingを利用し、文脈情報を考慮した新たなマスキング戦略を提案した。実験の結果，提案するマスキング戦略の有効性が実証された．

情景画像中のテキスト認識は自然なシーンにおけるテキストの読み取りを目標としており，幅広い応用が存在するため重要なタスクとなっている．光学式文字認識(OCR)の分野は大きく発展したが，実世界で発生するフォントや文字の形，撮影環境による問題によって，情景画像中のテキスト認識は現在も難しいタスクとなっている．既存のテキスト認識手法の多くは実世界におけるデータセットのサンプル数が少ないため，大規模な合成データセットを用いて学習がされている．しかし，実データと合成データのドメインギャップにより，実世界で発生する問題に対応できない．そこで，アノテーションされていない実画像の利用によってテキスト認識モデルの可能性を引き出すことが考えられており，テキスト認識に対する自己教師あり学習手法が検討されている．これまでの研究では，ContrastiveLearning（対照学習）の導入が試みられている．SeqCLR[1]は，テキスト認識のためのsequence-to-sequence対照学習手法を提案した．PerSec[2]はテキスト認識のための階層的な対照学習手法を提案した．自然言語処理では，BERT[3]がMaskedLanguageModeling(MLM)による大きな成功を収めている．画像分野ではBERTに触発され，データの一部を削除し，削除した部分を復元する考え方を画像に適用したMaskedImageModeling(MIM)が提案されている．2つの手法は類似しており，PIXEL[4]は文をテキスト画像に変換し，MIMを用いることでBERTと同程度の結果を出している．本研究では，MIMをテキスト認識に適用し，単語の文脈情報を反映した自己教師あり事前学習を行うことを目的としている．特に，MIM手法としてMaskedAutoEncoder(MAE)[5]を利用し，マスキング戦略に対して変更を行った．具体的には，横方向には，ランダムなスパンに対してマスキングを行い，縦方向には一様なマスキングを行う．ランダムマスキングよりも，意味のある単位（文字や複数文字）をマスクすることで，抽象度の高いモデルを作るような効果があると考えられる．提案するスパンマスキングで事前学習を行うとランダムマスキングよりも0.8%以上高い正解率が得られた．本論文の貢献は以下の3点である．1.テキスト認識に対して初めてMAEを利用した事前学習を行った．