情報ボトルネック法を用いた視線・脳情報デコード手法の提案

眼球運動や脳活動の記録は，人間の持つ言語能力がどのように機能するのかを理解する上で，重要な役割を担ってきた[1,2]．近年の研究では，アイトラッキングデータやEEGにより記録された脳波を用いて自然言語処理タスクを改善することができると報告されており[3]．この効果は固有表現認識や関係抽出，センチメント分析など，複数のタスクにおいて一貫して確認されている．これらの結果から，視線や脳波などの情報が統語的情報，語彙的情報，あるいは言語処理の際の認知負荷など様々な情報を含んでおり，それらが自然言語処理タスクにおいて有益な特徴となっていることが予想される．しかしながら，それぞれの認知データは言語処理の全ての過程を反映した情報であり，特定のタスクにとって無関係な情報を含んでいる．特に脳波は一般的に高次元なデータであり，特定のタスクでどの脳領域の情報が有用か，あるいはどの周波数帯域の脳波が有用か，などを事前に知ることは困難である．そこで，本研究では，認知データから特定のタスクにとって有益な情報のみを取り出すための手法として，認知情報ボトルネック法を提案する．具体的には，一般的な情報ボトルネック法[4]を継承し，それを同時に記録された視線と脳波に適用することで，マルチモーダル設定での学習に用いることのできる単一の埋め込み表現へ変換する．情報ボトルネック法の目的関数はタスクの精度を最大化しつつ入力情報をなるべく圧縮するものであり，視線や脳波の持つ様々な情報からタスクにとって必要な情報のみを取り出すことができる．またその際には次元数を削減することができるため，次元数に大きく差のある視線と脳波を同時に学習に用いることが容易になる．実験では，提案手法を用いて圧縮した認知データを用いることで，圧縮を行わなかった認知データを用いた時よりもタスクの精度が改善されることを検証した．その結果，圧縮した認知データは，行わなかったものやその他の単純な圧縮手法に比べて精度を改善することが分かった．