漫才対話の収集及び自動アノテーションのパイプラインの検討

笑いは健康に良い影響を及ぼしている．漫才動画鑑賞を用いた実験から，笑うことによる認知機能改善とストレス応答抑制の有効性や[1]，他者と笑うことによる高齢期での機能不全のリスクの軽減など[2]，いくつもの医学研究が健康に対する笑いの影響を示している[3]．また，笑いは大抵誰かと一緒にいるときに起こると報告されており[4]，コミュニケーションの中で笑いが起きやすいと考えられる．これらのことから，対話システムに笑いを引き起こすユーモアを実装することで，ユーザの心身の満足度向上が期待される．対話システムへのユーモアの実装を目的として，会話におけるユーモアの理解や生成を学習するためのデータセットの構築を試みる．荒木ら[5]は，ユーモアの面白さを評価する標準的なデータセットの構築の第一段階として，駄洒落データベースの構築を行なった．日本人の笑いは2人以上の時に多く成立し，「合いの手」が入ることで笑いが起こる「会話型」コミュニケーションにおける笑いが多い[6]．しかし，駄洒落はジョークの一種であり，対話へのユーモアの応用を考慮すると，文脈を必要とするユーモアに着目する必要がある．また，コミュニケーションにおける笑いを発話のみから判断するのは適切ではない．Mehrabianは2つの研究を基に，7%の言葉，38%の音声，55%の表情から感情を伝えると導いた[7,8]．笑い声や笑い顔が人類に共通し，強い共鳴性を持つことからも，コミュニケーションにおける笑いに対して非言語コミュニケーションの要素を考慮することが重要だと考えられる．そこで，マルチモーダル漫才対話ユーモアデータセットの構築を試みる．Patroら[9]はTVシリーズのシットコムを用いてラフトラックを予測するマルチモーダルデータセットを構築した．これを参考とし，話者情報，発話テキスト，発話開始／終了時間，面白さ，笑い声区間のアノテーションを行う．しかし，これら全てのアノテーションは負荷の高い作業であり，アノテータ毎に時間のずれや表記ゆれ等による不一致が起こりやすいため，再現性が低いと考えられる．アノテータが自動アノテーションの結果を修正することで，アノテーションの再現性を向上できると考え，本研究では発話テキスト，発話開始／終了時間，笑い声区間を対象とした自動アノテーション手法を検討し，データセット作成のためのパイプライン構築を試みる．