に，人間と生活環境を共にする対話ロボットは，単人と協働する対話ロボットは，ユーザの要求が曖に相手からの要求に応じて動作するだけではなく，昧な場合でもユーザが必要とする行動を取ることがユーザ発話に紐づいた状況に応じて能動的に振る舞期待される．言い換えれば，対話ロボットはユーザいを決定することが求められる．発話の内容のみでなく，ユーザの周囲の状況を正確こうした気の利いた行動をとることができるシスに理解して気の利いた行動を選択する必要がある．テムを実現するため，これまでにユーザの曖昧な要本研究では，このように周囲の状況から得られるマ求とユーザの周囲の状況を表す画像，およびロボッルチモーダル情報を活用するロボットの行動選択モトの気の利いた行動で構成されるコーパスを収集しデルを構築した．また，モデルに入力するユーザ発てきた[6]．このコーパスは，ユーザ発話のテキス話や周囲の状況を人手で書き起こした場合と自動認トやロボットの一人称視点を想定した画像というマ識した場合を比較した．実験結果より，気の利いたルチモーダルな情報を統合的に活用し，ロボットが行動をとるために必要な周囲の状況を選択的に与えそのユーザの状況にあった行動(気の利いた行動)をることで行動の選択精度が向上することがわかっ選択することを想定している．このデータで，入力た．また，周囲の状況に関して精度に限りがある自をユーザの発話と周囲の状況，出力を気の利いた行動認識結果を用いた場合でも，単純な事前学習モデ動として教師ありで分類するベースラインモデルルで抽出した特徴量を用いる場合よりは高精度で行を構築した．このとき，特に状況についてシステム動を選択できることが明らかになった．が正しく認識をできるよう，様々な説明的な特徴量のアノテーションを入力として利用した．これは例

えば，ユーザ発話時点でのコーヒーテーブル上の物対話ロボット・システムが人と協働することを想体，ユーザの把持物体，ユーザの姿勢などが含まれ定したこれまでの研究の多くは，ユーザの要求がロる．こうした特徴量をベースラインモデルの入力とボットに対して明示される，あるいはシステムの問して利用した場合，大規模事前学習モデルを用いてい返しによって要求が明確化されることを仮定して抽出した特徴量のみを与える場合よりも気の利いたいた[1,2]．しかし実際には，ユーザ自身が持つ要行動選択の精度が大きく向上することがわかった．求が曖昧で，ユーザから明示的な要求を示すことがしかし，実際にロボットでこうした特徴量を利用できない場合も多い[3,4]．“曖昧”とはユーザが何する場合，状況に対する説明的な特徴量をいかに自らかの潜在的な要求を持っているにも関わらず，そ動認識して利用できるかという問題が生じる．そこの要求の条件を明確に言語化できない状況にあるで本研究ではこれらの特徴量を自動認識した場合にことを意味する[5]．こうした曖昧な要求に対して，どの程度の精度で気の利いた行動を選択できるか検気心の知れた人間同士であれば気を利かせて相手が証した．この検証には，一般に広く用いることがで必要としそうな補助を行動として起こすことができきる音声認識，物体認識，姿勢推定などのモデルをる．例えば，人が起きたタイミングで水を持ってい利用した．実験結果より，説明的な特徴量を自動認く，ため息をついたときに「どうしましたか？」な識した場合，アノテーションで与えた特徴量を使う―1377―.ている．バナナを持ってくる，充電ケーブルを持ってくる，コップを持ってくる，ケチャップを持ってくる，宅配便を持ってくる，ペットボトルを持ってくる，リモコンを持ってくる，スマホを持ってくる，お菓子を持ってくる，ティッシュ箱を持ってくる，充電ケーブルを片付ける，コップを片付ける，ケチャップを片付ける，ミニカーを片付ける，ペットボトルを片付ける，リモコンを片付ける，スマホを片付ける，お菓子を片付ける，ティッシュ箱を片付ける，ゴミをゴミ箱に捨てる，缶切りを持ってくる，クッキングシートを持ってくる，グラスを持ってくる，おろし器を持ってくる，キッチンペーパーを持ってくる，レモンを持ってくる，オリーブオイルを持ってくる，じゃがいもを持ってくる，サランラップを持ってくる，水筒を持ってくる，缶切りを棚にしまう，クッキングシートを棚にしまう，グラスを棚にしまう，おろし器を棚にしまう，キッチンペーパーを棚にしまう，ペットボトルを冷蔵庫にしまう，サランラップを棚にしまう，タッパーをレンジに入れる，タッパーを冷蔵庫にしまう，水筒を棚にしまう場合よりも行動選択の精度が大幅に低下するものの，事前学習モデルを用いて抽出した特徴量のみを用いる場合と比較して高い精度が実現されることがわかった．