エントレインメント尺度および戦略が対話システムの評価に与える影響の調査

対話が進行するにつれて，語彙，構文構造，文体，韻律など，様々な要素において話者間のふるまいが類似する現象をエントレインメントとよぶ．エントレインメントは対話タスクの成功率や自然さと相関することが報告されており，その追跡を通じて対話システムの性能を評価しようとする試みがある[1,2,3,4]．我々はこれまでに，対話文脈においてエントレインメントを柔軟に考慮するように応答文を選択する手法を構築してきた[5,6,7]．この中で，WordMover’sDistance（WMD）に基づく尺度[2,3]と，BidirectionalEncoderRepresentationsfromTransformers（BERT）に基づく尺度[4]の二種類のエントレインメント尺度（スコア）を定義して用いてきた．また，どのような対話文脈でどのようなエントレインメント尺度を持つ応答を選択するか決定するため，人間による対話コーパスを用いてエントレインメント予測モデルを学習し，目標とする同調度合いを決定するエントレインメント戦略を構築してきた．これらの手法に対してコーパス内の対話履歴を正解データとみなした定量評価実験を行ってきたものの，対話システム構築にあたっては実際のユーザによる評価が重要である．そこで本研究では，各エントレインメント尺度と，エントレインメント予測モデルにその他の戦略を織り込んだ複数のエントレインメント戦略の組み合わせを用い，エントレインメントを行う対話モデルにおける最適な設定を網羅的に探索する．具体的には，各組み合わせによってリランキングされた対話応答に対してクラウドソーシングによる主観評価実験を行う．