構造化知識蒸留とVisualAttention最適化によるドメイン特化型VLMの構築

NTT東日本は通信局舎からお客様宅を結ぶ通信ネットワークを構築しており，それらを構成する，光ケーブル，電柱，マンホール，管路など膨大な量の設備を保守している．通信設備の建設，保守の作業は高所作業が多く，安全管理が極めて重要である．安全管理の手法として，作業現場で撮影した画像を基にした危険個所のフィードバックを行っているが，目視確認に依存しており，効率性や品質担保の観点から自動判定する技術が求められていた．従来の物体検知モデル[1]では特定の物体検出は可能であるが，作業現場全体の状況理解や危険予知といった複雑なタスクには対応できない．近年，Vision-LanguageModel（VLM）[2,3,4]により画像とテキストの統合処理が可能となったが，医療[5]や建設[6]の研究が示すように，特定ドメインでは専門知識への適応が不可欠である．そこで本研究では，構造化知識蒸留とVisualAttention最適化を統合した，通信設備保守に特化したVLMの構築手法を提案する．データ面では，従来の知識蒸留における汎用VLMによる単純な画像説明に対し，業務マニュアルの組み込み，危険予知の4段階構造化，専門用語の正規化により専門知識を効果的に注入する．モデル面では，SoftRegistersによるVisualAttentionSink抑制により，背景などの無関係な領域への過剰な注視を軽減し，視覚的根拠の信頼性を向上させる．具体的には，(1)業務知識を付与した高品質合成データの生成手法，(2)知識蒸留とLoRA（Low-RankAdaptation）[7]による効率的ファインチューニング，(3)SoftRegistersによるVisualAttention制御，(4)LLM-as-a-Judge[8,9]によるドメイン特化評価の4点を提案する．