本研究では，非構造ドキュメント画像の情報抽出に取り組む．光学文字認識（OCR）の結果に対して大規模言語モデルを適用することで高精度な情報抽出が行えることが報告されているが，文書画像は一般に文字だけでなく，図形や文字の色などを含んだレイアウトも用いて情報を表現している．そのためOCRによって文字情報に劣化させる方法に比べ，画像を直接扱うLargeVision-LanguageModelの方がより高精度に抽出できる可能性がある．そこで，非構造ドキュメントとしてメニュー画像を対象とし，この方法で情報抽出を行い従来手法と比較した．

光学文字認識（OpticalCharacterRecognition,OCR）は画像から文字を抽出する技術であり，文書のデジタル化や請求書の読み取り[1]などの効率化に寄与している．例えば，飲食店のメニュー画像を元にメニュー情報を掲載サイトへ入稿する作業は多くの工数がかかるが，OCRを適用することで効率化できうる．しかし，請求書の読み取りや入稿ではOCRの結果の羅列だけでは不十分であり，検出した単語の関係性を整理し情報を抽出することが必要である．以下では，OCR結果をOCRテキストと呼び，OCR結果に含まれる単語の座標をOCR座標と呼ぶ．請求書の読み取りにおいてはOCRと大規模言語モデル（LargeLanguageModel,LLM）を組み合わせると精度良く情報抽出できることが報告されている[1]．また，一般的に表構造の乏しいメニュー画像においてもLLMを活用することで高精度な抽出ができることが報告されている[2,3]が，これらの研究は料理名と価格のみを抽出していた．一方で，実際のメニュー画像には図1のようにカテゴリや料理に付随する説明文も含まれる．そこで本研究では，料理名と価格に加えてカテゴリと料理の説明文も抽出する．例えば図１では「自慢の逸品」カテゴリに対して「もつ煮:900円」，「揚出し豆腐:600円」，「唐揚げ小:600円:揚げたてサクサク！」，「唐揚げ大:200円:揚げたてサクサク！」を抽出する．つまり，従来手法に比べて抽出する項目が増えるため，生成すべき構造が複雑になる．多くのメニュー画像ではカテゴリと料理の対応関係はボックスなどの図形や文字の色で区別されることが多く，OCRテキストに含まれる文字情報のみでは高精度な抽出が難しい．従来のLLMは言語のみを入力としていたが，視覚基盤モデル[4]と統合することで，言語と視覚を統合して扱うLargeVision-LanguageModel（LVLM）が台頭し，これにより画像とテキストの両方を高精度に認識できるようになった[5]．そのため，LVLMを用いることでOCRを介さずに直接メニュー画像を入力でき，従来のLLMでは難しい図形や文字の色で区別されるカテゴリを高精度に抽出できると期待される．そこで，本研究では，カテゴリや説明文を持ったメニュー画像を含むデータを対象に，OCRを用いないLVLMによる抽出に取り組んだ．OCRとLLMを用いる従来手法[2]と比較することで，LVLMの有効性を検証する．なお，従来手法では横書きのメニュー画像のみを対象にしていたが，実際のメニ.ュー画像には縦書きも多く存在する．そのため本研究では縦書き画像も含めて検証する．