実世界のマルチモーダル情報に基づく指示語を含んだ言語指示の外部照応解析

ロボットが家庭環境で生活支援を提供するには，指示語を含む曖昧な言語指示から対象を特定する外部照応解析が重要になる．内部照応解析と異なり外部照応解析はテキスト外の情報を求めるため実世界の情報を総合的に用いて曖昧性を解消することが重要になる．本研究では，実世界のマルチモーダル情報を用いた外部照応により，指示語を含む言語指示における曖昧性の解消を目指す．具体的には，物体カテゴリ，指示語，指差しの3つの情報とロボットが事前に環境を探索して得た物体知識を用いて外部照応を行う．家庭環境を模したフィールドにおいて，ユーザが指示した物体を特定するタスクを実施し，複数の条件において物体特定の精度を評価した．この結果，提案手法は複数のモダリティ情報を用いた外部照応により，ベースライン手法よりも高い精度で物体が特定できる事が明らかになった．