日本語テキスト難易度の主観的かつ多層的なアノテーション

難易度推定は，テキストの難易度を計算論的に評価する計算言語学の主要な研究課題のひとつである[1]．先行研究では，単語・文・文書といった言語単位ごとに独立したコーパスが構築されており，文書レベルではOneStopEnglish[2]やNewsela[3]，文レベルではCEFR-SP[4]，単語レベルではCompLex[5,6]やCWI[7,8]などがある．これらの先行研究では，各言語単位の難易度が個別の対象として扱われており，単語・文・文書の異なる粒度間における難易度の関係性については，充分に検討されていない．難解な語彙の出現や文構造の複雑さは文書の可読性に影響を与えると考えられるが，これらを同一の枠組みで分析可能な言語資源は限られており，複数の言語単位を横断して一貫した基準で難易度を付与したコーパスは存在しない．また，これらの先行研究では，難易度判断における読み手の主観的ばらつきや個人差が充分に考慮されていない．テキストの難易度は，読み手の知識や経験などに依存するため，同一のテキストであっても読み手によって感じられる難易度は異なる．例えば，日本語学習者における単語難易度の判断が，母語の違いによって大きく異なることが報告されており[9,10]，読み手の属性を考慮した難易度推定の重要性が示唆されている．これらの課題に対処するために，本研究では，日本語の新聞記事を対象として，単語・文・文書の複数の言語単位に対する主観的な難易度アノテーションを，統一的な枠組みで付与したコーパスを構築する．先行研究とは異なり，同一のアノテータが共通の基準で各言語単位の難易度を判断することで，言語単位間における難易度の関係を一貫した形で分析可能とする．また，複数の年齢層および性別のアノテータを採用することで，アノテータ属性と難易度判断の関係を定量的に明らかにする．さらに，構築したコーパスを用いて，言語的特徴に加えて読み手の属性情報を考慮する難易度推定モデルを構築し，読み手に特化した難易度推定の有効性を検証する．