スマートグラスを想定した講義補助を目的とした板書文字認識

スマートグラスによる講義支援では，黒板・スライドのOCR結果を翻訳・要約などの下流処理へ接続するが，日本語文と数式が混在する講義資料ではOCR誤りが多く，下流処理の安定性を損なう．本研究は準リアルタイム利用を想定し，OCR結果に講師音声（ASR）を文脈ヒントとして付与してLLMで後処理するパイプラインを提案する．提案法は信頼度に基づくルーティングと，数式／混在テキスト向けの分岐，phase別音声ヒント，出力制限ポリシを統合する．理工系日本語講義の静止画21枚で評価した結果，PaddleOCR単独に対して最大32.6%のCER改善，41.3%のWER改善，83.2%のBLEU-1上昇を確認し，残る失敗要因も分析した．