二段階のファインチューニングを行ったBERTによる変数定義抽出

製造プロセスのデジタルツインを実現するためには，物理モデルが必要である．しかし，物理モデルの構築には多大な労力を要するため，我々はこの作業の自動化に取り組んでいる．本研究ではその要素技術として化学プロセス関連論文からの変数定義の抽出手法を提案する．提案手法は対象とする変数を特殊トークンに置換した文をBERTに入力することで文中の定義の位置を予測する．他分野のデータセットと化学プロセス関連論文データセットを順に用いて二段階のファインチューニングを行い，変数定義抽出モデルを構築した．提案手法を適用することで，沼本ら[1]の特徴量を用いた手法よりも高い性能を実現し，正解率85.6%を達成した．