トラブル報告書に特有のフィールド情報を用いたBERTの追加学習

本研究では，インフラ分野のトラブル報告書を用いてBERTの追加学習をするためのフィールド分類タスクを提案する．トラブル報告書に特有のフィールド情報を文脈として活用するので，含まれる文の数が少ないトラブル報告書でも，フィールドが持つ文や単語の潜在的な意味(特徴)を文脈として学習することができる．文ベクトル表現の分布を可視化するとともに，マスクした単語を推測するタスクや報告書からトラブル表現を抽出するタスクで評価実験を行い，提案手法によって追加学習されたBERTの効果を検証した．