本研究では，インフラ分野のトラブル報告書を用いてBERTの追加学習をするためのフィールド分類タスクを提案する．トラブル報告書に特有のフィールド情報を文脈として活用するので，含まれる文の数が少ないトラブル報告書でも，フィールドが持つ文や単語の潜在的な意味(特徴)を文脈として学習することができる．文ベクトル表現の分布を可視化するとともに，マスクした単語を推測するタスクや報告書からトラブル表現を抽出するタスクで評価実験を行い，提案手法によって追加学習されたBERTの効果を検証した．

インフラ事業において，電力・化学プラントなどの運用・保守の作業現場で発生したトラブルを記録している報告書が大量に蓄積されている．我々は，過去の大量のトラブル報告書からトラブルに関係するイベント(「配管に亀裂」「水位が低下」など)の抽出，因果関係の推論といった構造化技術の研究開発に注力している[1]．トラブル報告書に記載された情報を構造化することで，「トラブルが発生した部品」や「効果のあった対処」を早期に把握することが可能になり，保守作業現場の生産性向上に貢献できる．しかし，トラブル報告書には機器番号や業務用語など一般文書には含まれない用語が数多く含まれている．そのため，日本語Wikipediaで事前学習されたBERT[2]で文や単語の埋め込み表現を取得しても，系列ラベリングによってトラブルに関係するイベントを抽出する下流タスクで性能を上げにくい課題がある．そこで，トラブル報告書からなるコーパスを用いたBERTの追加学習を通して，インフラ分野に適する文や単語の表現を取得することによって，イベント抽出などの下流タスクでの性能を向上させることを狙う．トラブル報告書では含まれる文の数が少ないという特徴があるため，従来の学習手法[2]ではBERTの追加学習が困難である．一方，トラブル報告書は現象や処置などの複数の項目から構成され，各項目にはトラブルに関する詳細情報が文字や記号で記載されている(以下，既定の項目および当該項目に書かれたテキストデータをフィールドと呼ぶ)．図１に示すように，トラブル報告書は横方向に沿った複数のフィールドにトラブルに関する詳細情報が記載されている．縦方向の同じフィールドには類似表現が記載されている．このため，横や縦方向を考慮するフィールドの関係性が利用できると考える．そこで本研究では，トラブル報告書に特有のフィールド情報を文脈として活用してBERTの追加学習をするため，フィールド分類タスク(FieldClassification)を提案する．具体的には，従来のNSP(NextSentencePrediction)の代わりにフィールド分類を通して，特徴ベクトル空間上の潜在的なフィールドの関係性に従ってテキストデータを分類することにより，クラスごとに同じフィールドの関係性をもつテキストのベクトル表現を近似的に学習する．提案手法によって追加学習されたBERTの効果を検証するため，文のベクトル表現の可視化，マスク単語の推定タスクとトラブルイベント抽出による評価実験を行う．