モバイルマニピュレーションタスクにおける曖昧な指示文からの対象物体選択

近年，日常生活を支援する家庭用サービスロボットへの期待が高まっている．そのようなロボットの基本的なタスクの一つがモバイルマニピュレーションタスクである．モバイルマニピュレーションタスクは，移動ロボットがユーザが指示した対象物体を把持し，別の場所へと持っていくタスクである．このようなタスクにおいて，ユーザの指示発話はロボットが理解しやすい定型文ではなく，日常的に使用している自然言語を用いる方がユーザにとっては望ましい．しかしそのような指示発話では，ユーザが必ずしも対象物体を明示的に発話しない場合があり，そのような曖昧な指示発話の理解が必要となる．そこで，本稿では物体名が明示的に含まれないユーザの発話から，環境に存在する物体の情報を利用することで，対象物体を特定する手法を提案する．図1が想定するタスクであり，ユーザが環境の中にある物体を持ってくることをロボットに要求カップ麺を持っていこうお腹すいたなし，ロボットはその発話と環境にある物体から対象物体を特定しユーザに届ける．このようなタスクにおいて，対象物体を選択するためには，ユーザの発話と要求される物体の関係を正しく理解する必要がある．提案手法では物体のリストを文字列として学習済み言語モデルBERT(BidirectionalEncoderRepresentationsfromTransformers)[1]に入力し，リスト内の各物体が対象物体であるか否かを表すラベル列を予測する系列ラベリング問題として扱う．これにより，ユーザが対象物体を明示的に発話しない場合や，学習データには含まれない新規の物体が存在する場合であっても対象物体を特定することができる．関連研究としてユーザが明示的に対象物体を発話することを想定したモバイルマニピュレーションタスク[2]があるが，本手法のように曖昧な指示文を想定していない．また，学習済み言語モデルを用いて，行動や物体を特定する手法[3][4]も提案されているが，これらの手法では新規物体を扱うためには，再学習（ファインチューニング）が必要となる．一方，本手法では，物体選択を系列ラベリング問題.符号化トークン化ユーザ発話⽂：対象物体喉が渇いた確率LinearSoftmax0.10弁当、LinearSoftmaxBERT0.21ボールペン物体リスト環境中の、LinearSoftmax0.05掃除機、LinearSoftmax0.93お茶とすることで，新規物体に対しても再学習することなく，対応することができる．