観測した周囲の状況を曖昧な発話に統合した対話ロボットによる気の利いた行動選択

に，人間と生活環境を共にする対話ロボットは，単人と協働する対話ロボットは，ユーザの要求が曖に相手からの要求に応じて動作するだけではなく，昧な場合でもユーザが必要とする行動を取ることがユーザ発話に紐づいた状況に応じて能動的に振る舞期待される．言い換えれば，対話ロボットはユーザいを決定することが求められる．発話の内容のみでなく，ユーザの周囲の状況を正確こうした気の利いた行動をとることができるシスに理解して気の利いた行動を選択する必要がある．テムを実現するため，これまでにユーザの曖昧な要本研究では，このように周囲の状況から得られるマ求とユーザの周囲の状況を表す画像，およびロボッルチモーダル情報を活用するロボットの行動選択モトの気の利いた行動で構成されるコーパスを収集しデルを構築した．また，モデルに入力するユーザ発てきた[6]．このコーパスは，ユーザ発話のテキス話や周囲の状況を人手で書き起こした場合と自動認トやロボットの一人称視点を想定した画像というマ識した場合を比較した．実験結果より，気の利いたルチモーダルな情報を統合的に活用し，ロボットが行動をとるために必要な周囲の状況を選択的に与えそのユーザの状況にあった行動(気の利いた行動)をることで行動の選択精度が向上することがわかっ選択することを想定している．このデータで，入力た．また，周囲の状況に関して精度に限りがある自をユーザの発話と周囲の状況，出力を気の利いた行動認識結果を用いた場合でも，単純な事前学習モデ動として教師ありで分類するベースラインモデルルで抽出した特徴量を用いる場合よりは高精度で行を構築した．このとき，特に状況についてシステム動を選択できることが明らかになった．が正しく認識をできるよう，様々な説明的な特徴量のアノテーションを入力として利用した．これは例