自然言語処理における属性単位での反学習

深層学習モデルの学習に際し，データ内に偏りや破損を含む例が存在した場合，訓練されたモデルが有害なバイアスを示すなど，望ましくない生成を行う場合がある．こうした問題を背景として注目を集めているのが反学習である．反学習はモデルが学習されたデータの特定のサブセットからの影響を取り除く問題として定義される．また，近年では人々が過去に公開されてしまった個人情報を削除することを求められる「忘れられる権利」を背景として自然言語処理領域でも検証されている．従来の自然言語処理における反学習はで利用者側の視点に立ってある個別の情報を削除できるかに力点が置かれる．そのため，既存の手法は特定の個別情報に対して反学習アルゴリズムを適用した場合に，その個別情報を削除できているかを検証するものが主である[1]．一方で，モデル提供者側の視点に立った場合，要求に応じて特定の個別情報で反学習を適用するのみでは対応できない問題が存在している．それが，モデルが提供者側にとってリスクとなる情報を出力することである．例えば，提供しているモデルが個人情報を吐き出してしまった場合，モデルを提供していた責任問題へと発展する．実際，韓国のチャットボットIrudaは特定の人々の名前，住所，口座番号といった情報を生成してしまうことが明らかになり利用が停止された[2]．そのため，モデル提供者側がリスクを削減するために望ましくない情報に対し，予め反学習を用いることは有望な方向性である．しかし，モデル提供者にとってコーパスが含む反学習したい全ての個別情報を網羅することは困難であり，ごく一部のサブセットしか利用できないと想定される．すなわち，このような状況では，一部のサブセットだけを用いて，電話番号や口座番号のような特定の属性へと汎化させて反学習を行うことが求められる．これは現在主流である特定の個別情報で反学習後の評価を行う設定とは乖離している．そこで，本研究ではある属性についての反学習が汎化しているかを検証するためのデータセットと問題設定を提案する．反学習の評価のために設計されたデータセットは確認される限り，初めてのものである．提案データセットは主体と主体に紐づく複数の属性の情報で構成され，ある主体の他の属性の知識を維持しながら，対象の属性の知識を反学習できるか検証できる．本データセットを用いて，既存研究で用いられている手法が属性単位での反学習に適応可能か調査する．さらに，設定下で提案手法であるラビング(Rubbing)が代表的な反学習手法と比較して，サンプル効率や敵対的な入力に対する頑健性において安定して性能を発揮できることを示す．