表は科学論文，webサイト，新聞など様々な媒体に現れるため，表を解析することは膨大な文書を管理するために重要である．表の構造解析を解くために，深層学習ベースの画像エンコーダとテキストデコーダから構成される画像ベースのモデルが考案され，非常に高い精度を達成している．一方，エンコーダにマルチモーダルのモデルを使用する研究が登場している．こうした背景から実際にエンコーダには画像ベースのモデルとマルチモーダルのモデルのどちらが優れているか比較することは重要である．本研究では，表の構造解析のエンコーダ・デコーダモデルを構築し，エンコーダに画像ベース，テキストベース,マルチモーダルの3つの異なるモデルを使用し，表の構造解析のスコアを比較することで，どのモデルが優れているのかの比較を行なった．実験の結果，画像ベースのアプローチが良いと示唆された.

表の構造解析とは，表画像から表の構造的要素(行，列，ヘッダー)を抽出し，対応するHTMLやLaTeXに変換するタスクのことである．本タスクにより，世の中に存在する多くの表を機械的に処理しまとめることで，文書管理や情報抽出[1]などの多くの技術の応用につながる．表の構造解析の初期の研究[2,3]ではルールベースにより表の解析を行っていたが近年では深層学習の発展とともに様々な解析モデルが発展してきた．数ある手法の中でも特に主流になっているのがimage-to-textのモデルである[4,5,6,7]．これらは,画像エンコーダ・テキストデコーダから構成され,画像エンコーダで特徴量を抽出し,テキストデコーダによりHTMLタグを生成していく.一方で画像のみではなく，画像とテキス<td>[]</td>…decoderAmountNames10item1Encoder𝒙𝟎,𝒚𝟎,𝒙𝟏,𝒚𝟏20item2decoder(a)TableFormer(HTMLのタグとセルの座標を⽣成)AmountNames10item1<td></td>…decoderEncoder20item2(b)TableVLM(HTMLのタグのみを⽣成)AmountNames10item1<td>Names</td>…decoderEncoder20item2(c)Ours(HTML全てを⽣成する)トの両方を入力とするマルチモーダルのエンコーダを用いたモデル[8]が登場しているが，実際にどちらの特徴量を扱うモデルが表の構造解析に適しているのかというのは検討の余地がある．図1の(a)は画像ベースのTableformerであり，HTMLタグとそのセルの座標を別々に出力するのに対し，(b)はマルチモーダルのTableVLMであり，HTMLのタグのみを出力する．本研究では(c)のようなHTML全てを1つのデコーダで出力するという枠組みのなかで，Encoderをテキストベース，画像ベース，またはマルチモーダルの3つのモデルで表の構造解析のベンチマークであるPubTabNetとFinTabNetの精度を比較することで優れているモデルを分析した．その結果として以下の知見が得られた．•完全なHTML(タグとセルの内容)を生成する方が,他の生成の仕方よりも優れている.•テキストベースやマルチモーダルモデルは，データ効率が良く少量のデータでも精度が得られる•大量のデータが得られる状況下では，画像ベースが一番優れている.現を得て，デコーダで自己回帰的にHTMLのトークンを生成する