画像ベースとテキストベースのモデルを用いた表の構造解析の性能検証

表の構造解析とは，表画像から表の構造的要素(行，列，ヘッダー)を抽出し，対応するHTMLやLaTeXに変換するタスクのことである．本タスクにより，世の中に存在する多くの表を機械的に処理しまとめることで，文書管理や情報抽出[1]などの多くの技術の応用につながる．表の構造解析の初期の研究[2,3]ではルールベースにより表の解析を行っていたが近年では深層学習の発展とともに様々な解析モデルが発展してきた．数ある手法の中でも特に主流になっているのがimage-to-textのモデルである[4,5,6,7]．これらは,画像エンコーダ・テキストデコーダから構成され,画像エンコーダで特徴量を抽出し,テキストデコーダによりHTMLタグを生成していく.一方で画像のみではなく，画像とテキス<td>[]</td>…decoderAmountNames10item1Encoder𝒙𝟎,𝒚𝟎,𝒙𝟏,𝒚𝟏20item2decoder(a)TableFormer(HTMLのタグとセルの座標を⽣成)AmountNames10item1<td></td>…decoderEncoder20item2(b)TableVLM(HTMLのタグのみを⽣成)AmountNames10item1<td>Names</td>…decoderEncoder20item2(c)Ours(HTML全てを⽣成する)トの両方を入力とするマルチモーダルのエンコーダを用いたモデル[8]が登場しているが，実際にどちらの特徴量を扱うモデルが表の構造解析に適しているのかというのは検討の余地がある．図1の(a)は画像ベースのTableformerであり，HTMLタグとそのセルの座標を別々に出力するのに対し，(b)はマルチモーダルのTableVLMであり，HTMLのタグのみを出力する．本研究では(c)のようなHTML全てを1つのデコーダで出力するという枠組みのなかで，Encoderをテキストベース，画像ベース，またはマルチモーダルの3つのモデルで表の構造解析のベンチマークであるPubTabNetとFinTabNetの精度を比較することで優れているモデルを分析した．その結果として以下の知見が得られた．•完全なHTML(タグとセルの内容)を生成する方が,他の生成の仕方よりも優れている.•テキストベースやマルチモーダルモデルは，データ効率が良く少量のデータでも精度が得られる•大量のデータが得られる状況下では，画像ベースが一番優れている.現を得て，デコーダで自己回帰的にHTMLのトークンを生成する