読解時の視線認識情報と音声発話コーパスを用いたポーズの予測とその比較

音声言語で言葉を伝達する際、ポーズ（音声的な間）の挿入により文章が分かりやすくなる箇所がある。ポーズは発話時だけではなく音読や黙読といった読解時にも利用され、文章に明示されていなくても人間は頭の中で文章にポーズを挿入しながら読解していると考えられる。また、人間同士でのコミュニケーションが成立することから、ポーズの適切な挿入箇所は大多数の人間で一致すると考えられる。発話理解や読解におけるポーズの役割は構文・意味的な区切りのマーカーで、曖昧性解消に寄与すると考える。文章中のポーズ位置予測は音声合成システムにおける特徴量として活用でき、音声の自然さや分かりやすさが向上しうる。テキストベースでも、暗黙のポーズを推測しながら処理することで言語処理に必要な情報を取り込めるため、将来的には言語モデルの学習や推測に資すると期待できる。多くの文章には読点が含まれるため、読点ごとにポーズを入れるといったルールベースの手法も考えられるが、それだけでは音声的に適切な位置にポーズが挿入されるとは言えない。元の発話文黒い目のきれいな女の子黒い/目のきれいな女の子黒い目の/きれいな女の子黒い目のきれいな/女の子ポーズを挿入した発話文3か所にポーズの挿入が可能である。表1の下段に示した、ポーズ（’/’で表す）を挿入した3通りを比較すると、ポーズの挿入位置によって構文構造の解釈が変わり、文章の意味が違ってくる。なおこの例では、同時に複数のポーズを挿入すると曖昧性が解消できず、かえって分かりにくくなる。このような曖昧性解消に資する場合以外にも、ポーズの適切な挿入で音声発話が聞き取りやすくなったり、読解しやすくなることもある。文章中のポーズ予測に関する研究では、LSTMなどの深層学習を用いた手法が、英語を主な対象として提案されてきた[1,2,3]。また近年の深層学習手法の発展に伴い、BERT[4]などを用いたポーズ位置の予測が英語[5]と日本語[6]を対象に報告されている。この日本語を対象としたポーズ予測では、音声合成の品質向上のためのポーズ予測を目的に、様々な特徴量、モデル構造の効果を検証している。本研究では、「間」としてのポーズの役割に焦点を置き、適切なポーズ挿入位置とその予測について探求するとともに、音声発話と読解とでポーズの挿入に差異があるのか探求する。そのために、音声発話におけるポーズ情報として日本語話し言葉コーパス（CSJ）[7]を、読解時の情報として現代日本語書き言葉均衡コーパス（BCCWJ）[8]の一部に付与された読解時の視線認識情報データ[9]（以下ではBCCWJ-EyeTrackと呼ぶ）を用いる。この二つのデータから訓練・評価の組を組み替えて事前学習済みBERTをファインチューニングし、ポーズ位置.の推測とその結果の比較分析をする。