BERTを用いた多言語同時学習による疾患分類

医療分野でのデジタル化の進展に伴い，電子形式の医療記録（EHR）が推進されている．それにより大量のテキストデータが発生し，医療における自然言語処理の研究にも注目が集まっている[1]．しかし，そのドメインの特異性から，専門家によるアノテーションが必要で時間と人件費のコストが大きく，患者のプライバシーに配慮して非公開にされるデータセットも多い[2]．したがって医療ドメインではアノテーションされた学習用コーパスの不足が続いている．特に英語以外の言語で書かれたデータではこの傾向が強く，関連研究の進展が遅い．このような言語資源のアンバランスは，多言語環境に適した技術によって克服することができる．さらに，同じタスクであれば言語を超えた共通の特徴が存在する可能性もある．異なる言語の医学文章を解析することで，語の曖昧性（コロナとCOVID-19など）が解消され，各国の希少疾病の研究などの発展に貢献すると考えられる．マルチタスク学習は，機械学習の様々な分野で利用されている[3]．自然言語処理の研究においては，少量のラベル付きデータセットを処理し，関連するタスク間の表現を学習するためによく用いられている[4,5]．医療分野では，固有表現抽出や関係抽出などのタスクにマルチタスク学習を適用する研究が盛んに行われている[6,7,8]．多言語を用いた研究においては，マルチタスク学習は主に対訳問題の解決に用いられている[9,10]．本研究では，英語・日本語・中国語の3つの言語の医療分野におけるマルチラベル分類タスクに対して，BERTに基づくマルチタスク学習のフレームワークを流用し，同時に学習するモデルを提案する（以降MTLと呼ぶ）．その性能をシングルタスク学習(STL)との比較する．また，多言語MTLモデルにおける言語類似度の影響を調べるために，アブレーションテストも行う．