子ども向け対話エージェント構築のための親子絵本読み対話コーパスの収集と分析

絵本を一緒に読むことは，子どもの言語・コミュニケーションスキルの発達を促す重要な親子の活動である[1,2]．特に，絵本の読み聞かせの中で，親が物語について子どもに問いかけ，子どもが自分自身の考えを共有する対話型読み聞かせは効果的であるとされている[3,4,5]．しかしながら，親の時間的制約や各家庭の事情により，すべての家庭が十分にこの機会を持てるとは限らない．このような背景から，親子の絵本読みを支援するシステムがこれまでに開発されてきた．例えば，Xuら[6,7]は読み聞かせ中のあらかじめ決められたタイミングで準備された質問を提示するシステムを開発した．また，Zhangら[8]やYaoら[9]は読み聞かせモジュールと質問応答モジュールを事前に決められた順序で切り替えるシステムを開発した．一方，実際の対話型読み聞かせでは質問応答や感想共有が任意のタイミングで行われる．システムがこのような制御を実現するためには，対話型読み聞かせにおける親子のインタラクションを理解する必要がある．これまで，読み聞かせコーパスを用いて多くの分析が行われてきたが[10,11,12,13]，対話型読み聞かせコーパスを扱った研究はほとんど存在しない．そこで本研究では，対話型読み聞かせの中で親が用いる対話戦略を明らかにし，それをもとに子ども向け対話型絵本読み聞かせエージェントを設計するために，親子による対話型絵本読み聞かせのコーパスを構築した．図1に，収集したデータの一例を示す1）．収録したコーパスには36組の親子による70対話の音声・映像データ(計10.7時間)が含まれる．さらに初期分析のために，対話の書き起こしに対しては，親子のコミュニケーションに関する対話行為タグの付与と使用されたクイズおよび質問の分類を行った．本稿では，これらのアノテーションを用いて，対話型読み聞かせにおける親子のインタラクションの言語的側面を分析する．本研究の貢献は二つある．第一に，36組の親子による対話型読み聞かせを収録したマルチモーダル対話コーパスを構築した．第二に，子どもの発話率に基づいて書き起こしを分析し，親の対話戦略および1）図中の絵本は，中川李枝子・山脇（大村）百合子作『ぐりとぐら』pp.24–25．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).概要親子の数36対話数70子どもの年齢3–7子どもの参加者数(女/男)16/20親の参加者数(女/男)33/3対話時間総計10.7時間1対話あたり(平均±標準偏差)9.17±2.15分総発話数子ども2,699親8,495問いかけ回数クイズ323質問196以上の割合となったタグのみを表示．タグ名子ども親読み聞かせ0.0%50.7%宣言0.1%5.0%陳述11.0%5.5%質問9.6%19.0%評価3.8%5.7%明確化要求8.2%1.6%応答57.9%6.3%と質問の数はそれぞれ323，196であった．の割合を示した．親では，読み聞かせ，質問，応答，評価，陳述，宣言の割合が高かった一方で，子どもでは，応答，陳述，質問，明確化要求の割合が高かった．このことは，対話型読み聞かせにおいて，親が主導になって読み聞かせや問いかけ，フィードバックを行い，子どもは質問に答えたり，自発的な発話や確認要求を行ったりすることで対話が行われていることを示唆する．3コーパス分析既存の読み聞かせシステムでは，子どもの特性に合わせて対話戦略を調整する必要があることが知られている[8,17]．収録したコーパスにおいても，子どもの発話量の多寡によってインタラクションの傾向が異なることが観測された．そこで本稿では，発話量の異なる群間で対話がどのように異なるのかを調べるため，二つの群に分けて分析を行った．分割は各対話における子どもの発話率を基準とし，閾値は中央値である0.23とした．分析には，対話行為タグおよびクイズと質問のアノテーションを用いた．3.1対話行為3.1.1対話行為系列のモデル化対話型読み聞かせにおける対話の流れを分析するために，対話行為タグの系列を隠れマルコフモデル（HiddenMarkovModel;HMM）を用いてモデル化した[18]．観測シンボルは，親の13種類と子の13種類の対話行為タグを合わせた26種類とした．モデルは，すべての状態間で遷移を持つエルゴードなカテゴリカルHMMとして実装した．学習には，Pythonのhmmlearn4）パッケージを用いた．初期状態分布は一様分布とし，状態遷移確率および出力確率は各状態で総和が1になるようランダムに初期化した．状態数は1から10までで変化させて学習した．各条件に対して学習は100イテレーション行い，BICが最小となるモデルを分析に用いた．3.1.2対話の流れの分析たHMMを示す．モデルの特徴を明確にするため，出力確率が0.05を超えるタグ名と遷移確率が0.02を超える遷移のみを表示した．辺の太さは遷移確率に比例する．これらの図から，二群の最適な状態数は異なることが分かる．3つの状態は両群に共通する一方で，発話率が高い群には1つ状態が多く含まれていた．共通する3つの状態は，親が絵本読みを繰り返す状態（S0），親が質問や評価を行う状態（S1），子どもが応答・陳述を行う状態（S2）として解釈することができる．遷移確率に注目すると，親が絵本読みを繰り返す状態における自己遷移確率が最も高い一方で，残りの二つの状態間の遷移確率も比較的高いことが読み取れる．これらの結果は，3つの状態が，親が読み聞かせの最中に質問し，それに対して子どもが応答するという対話型読み聞かせの基本的な流れを表していると考えられる．特に，発話率が低い群では，親が絵本読みを繰り返す状態からの遷移が主に親が質問や評価を行う状態に向かっており，親が対話を主導する傾向が強いことが示された．子どもの発話率が高い群に固有な状態（S3）は，親による子どもの発話に対する応答と子どもによる自発的な発話を表しており，比較的高い自己遷移ループを持つ．付録Bに，S3として推定された対4）https://github.com/hmmlearn/hmmlearnorg/licenses/by/4.0/).話区間の一例を示す．この区間から，通常の質問・応答のやり取りの後に，親の相槌や掘り下げ質問，子どもの自己開示に移行していることが読み取れる．従って，この状態は親が子どもの話を傾聴している状態と解釈できる．以上の結果より，目標とする対話システムは，単純な質問・応答のやり取りを行う能力だけではなく，特に子どもが積極的に対話に参加する場合には傾聴するといった戦略をとる必要があると考えられる．3.2クイズおよび質問の種類び質問におけるWH型とYes/No型の使用頻度を示す．両群において，クイズは主にWH型で構成されていることがわかる．一方，質問は子どもの発話率が高い群の親が，低い群の親と比べて，WH型をより頻繁に用いる傾向が見られた．この結果は対話システムが子どもの発話率に応じて問いかけの種類を調整する必要があることを示唆する．る．図より，両群において主にCharacterとActionに関するクイズが使用されていることが分かる．一方，Causalrelationship，Outcomeresolution，Predictionはほとんど使用されていなかった．これらのクイズは，特定の出来事が生じた原因や次に起こることのの種類の頻度予測といった物語内の出来事の因果関係や時間関係を扱う．対話型読み聞かせでは，読み聞かせと質問応答が並行して進むため，このような質問は使用されにくかったと考えられる．4結論本研究では，対話型読み聞かせが可能な対話エージェントの開発のために，親子の対話型読み聞かせコーパスを構築した．また，対話行為およびクイズと質問の種類に関する分析から，対話の流れや質問のパターンが子どもの発話率に応じて異なることを明らかにした．この結果から，システムは子どもの発話率に応じて対話戦略を適応させる必要があることが示唆された．今後は，追加収録によってコーパスを拡張するとともに，音声や非言語的ふるまいを含めたより詳細な分析を行う予定である．さらに，構築されたモデルに基づく対話システムを実装し，ユーザ評価によってその有効性を検証する．org/licenses/by/4.0/).