スマートグラスを想定した講義補助を目的とした板書文字認識

近年の大規模言語モデル（LLM）の発達により，携帯機器上でもOCR/ARを介して実世界の文字情報を翻訳・要約などへ接続する応用が現実的になりつつある．中でもスマートグラスは視界内提示とハンズフリー性により学習支援への応用が期待される[1]．一方，教育分野のLLM活用はオンデマンド用途が中心で，講義進行に追従する準リアルタイム支援は計算資源・遅延・誤情報リスクの点で依然難しい[2,3]．このため講義場面では，下流処理の安定性を左右する一次OCR誤りを抑えるOCR後処理（post-correction）の堅牢化が重要となる．本研究は，スマートグラスを想定した教育支援アプリケーション開発の一要素として，一次OCRテキストをLLMで補正することに焦点を当てる．本研究の特徴は次の2点である．第一に，講師音声（ASR書き起こし）を文脈ヒントとしてLLMへ提示し，専門用語・表記ゆれ・誤分割の修正を促す．第二に，講義資料に多い数式混在を考慮し，文と数式を同一方針で扱わず，軽量な判定に基づいて処理経路を切り替えることで，LLMの効率と精度の両立を図る．本稿の貢献は次の3点である．•OCR信頼度と形式判定を組み合わせたルーティング（pass/text/image/math_image/mixed_math）を設計し，準リアルタイム利用で問題となる計算資源を難例に集中させる枠組みを示す．•講義音声をphase単位に分割し，対象静止画に対応する区間ヒントを与えることで，LLM後処理に必要な文脈を局所化して提示する手法を提案する．•21枚の講義静止画で評価し，BLEU-1/CER/WERの改善とともに，失敗パターン（低OCR精度・mixed_mathの誤判定）を分析する．本稿ではOCR後処理に焦点を当てるが，将来的には本成果を利用して，(1)数式の逐次説明，(2)用語の語釈提示，(3)音声と板書の対応付け，など多様な講義支援機能へ拡張する予定である．