人間とBERTによる文間接続関係の同定の比較と性能検証

文間の関係推定は対話，要約，文章生成など様々なタスクで必要とされる処理であり，自然言語処理の重要な問題となっている．特に，接続関係は，論理的関係の把握及びその構成において，大きな役割を果たしていると考えられている[1]．計算機に文間接続関係を同定させる試みとして，山本らは，単語と構文的要素に基づく大量のテキストデータを使用した統計的手法を提案した[2]．さらなるシステムの向上のため，斎藤らは，被験者に対し，テキスト全体を提示した条件と二文だけの情報を提示した条件の2通りにおける接続関係の推定結果から接続関係間の近さを定量化し，SVM（SupportVectorMachine）を使った二値分類によって得られる近さと同じ傾向になることを示した．このように，計算機による分析と人間の認知を比較することは，計算機モデルをどのように向上させるかといった糸口を得るアプローチになる[3]．また，同じSVMの手法を用いて，続く二文に加えて前後各二文から品詞，文間類似度，係り受けの構文パタン等の素性を取り出し，多値分類を行ったものがある[4]．近年では，再帰的ニューラルネットワークを用いて文の概念ベクトルを計算，文間接続関係をRAE（RecursiveAutoEncoder）を用いて同定する試みも行われている[5]．さらに，趙らは，BERTのMaskedLanguageModelを用いて，少量データではあるが，マスクされた箇所に入る最も高い確率の接続詞を推定するという手法を提案している[6]．このように，機械学習アプローチによる接続関係の同定に関する取り組みが進められてきたものの，深層学習等によるSOTAが様々なタスクで達成されてからは，斎藤らが行ったような認知との比較が行われた研究は少ない．そこで本研究では，大量のテキストデータを学習したBERTモデルによる文間接続関係の同定結果と人間による同定結果を比較し，計算機による同定の傾向およびシステム改善の課題について考察する．