埋め込みノルムによる連続的な文難易度制御

テキスト平易化[1]とは，文の主要な意味を保持しつつ難解な表現を平易に言い換えるタスクである．この技術は，様々な読者の読解支援[2–4]に有用なだけでなく，言語教育支援においては各学習者の言語能力に合わせた教材の提供[5]にも貢献する．多様な読者や学習者に対応するために，近年のテキスト平易化は，出力文の難易度制御[6–9]に重点を置いている．これらの先行研究では，目標難易度を指示する<3>などの記号（目標難易度トークン）を入力文頭に加えることで出力文の難易度を制御している．しかし，複数の目標難易度トークンを個別に学習するため，それらの間の相互作用がなく，難易度の順序関係を充分に学習できない．また，目標難易度トークンは事前に語彙に登録するため，離散的な難易度しか扱えない．そして，これらの手法では入力文の難易度を明示的に認識しないため，平易な表現も編集してしまうという課題がある．これらの課題に対処するために，本研究では，目標難易度に依存しない共通の難易度トークン（図1の[Lv]）を用意する．そして，この難易度トークンの埋め込みのノルムに難易度を反映し，難解な文ほど大きいノルムで表現する．これによって，難易度の順序関係の学習および連続値としての表現の両方を，自然に実現できる．提案手法をTransformer[10]ベースのエンコーダ・デコーダモデルに適用すると，符号化器において入力文の難易度を明示的に表現できる．そして，難易度埋め込みのノルムを（向きはそのまま）目標難易度の大きさまで縮めて復号器に渡すことで，出力文の難易度を制御できる．提案手法の有効性を検証するために，英文の難易度推定および難易度制御の性能を評価した．ここで，文難易度の基準には，CEFR1）を採用した．実験の結果，両タスクにおいて提案手法の有効性を確認できた．本研究の貢献は，以下の3点である．1.Transformerモデル内で難易度を明示的に表現および編集する手法を提案し，単一モデルで難易度推定と難易度制御の両方を実行可能にした．