二段階のファインチューニングを行ったBERTによる変数定義抽出

化学や鉄鋼などの製造プロセスにおいて，物理モデルが活用されている.物理モデルは数式に基づいて設計され，実プラントでは計測できない状態量やプラントの将来の挙動を予測し，生産効率の改善や装置設計，制御系設計，運転条件の最適化などを行うのに活用される．多くの場合，物理モデル構築には，専門知識に加えて膨大な量の文献調査とモデル構築に必要な情報の抽出・統合が必要である．しかし，複数の文献の内容を精査しその関連性を把握するには，非常に多くの時間と労力がかかる．この負担を軽減するために，我々は複数の文献から情報を抽出し，組み合わせ，物理モデルを自動構築する人工知能（Automatedphysicalmodelbuilder;AutoPMoB）の開発に取り組んでいる[2]．AutoPMoBを実現するには，文献に含まれる変数の定義を正確に抽出する手法が必要であり，本研究はこの手法の開発に取り組む．本研究では定義抽出対象の変数を特殊トークンで置換した文をBERT（BidirectionalEncoderRepresentationsfromTransformers）[3]に入力して定義抽出を行う手法を提案する．提案手法はシンプルであり実装が容易であるだけでなく，すべての変数を統一的に扱うことができる．化学プロセスに関する論文より作成したデータセットを用いて，既存手法と提案手法の性能を比較する．