実世界のマルチモーダル情報に基づく指示語を含んだ言語指示の外部照応解析

「あれ取って」などのユーザの曖昧な言語指示を現場環境の情報に基づいて理解し，具体的なタスクを達成する事は，生活支援ロボットにおいて重要な課題である[1]．従来，自然言語処理の分野において照応解析の研究が実施されているが，その多くは言語情報のみを文脈として扱っている[2–4]．照応解析とは代名詞や指示語のような照応詞の指示対象を推定することであり，内部照応と外部照応の2種類がある．内部照応は文章中の照応詞の前後の文章からその照応詞にあたる語を予測することである．一方，外部照応はその場の環境のものから照応詞に対応するものを予測することである．答えや手掛かりが文章中にある問題の場合は内部照応により解決できるが，「あれ取って」などの指示語を含んだShelfBottle:0.9Bottle:0.1あのペットボトル取ってBottle:0.8Bottle:0.1境内を事前に探索して得た情報からユーザが指示した物体を特定する．緑色の円はユーザが指示した物体が存在する確率が高い領域を表す．この場合は赤い四角で囲まれたコーヒーを指示物体として特定した．言語指示を理解するには，言語以外の情報を参照する外部照応を解く必要がある[5]．また，指示語を含んだ言語指示では，指差しなどのジェスチャーも重要な情報となり，ジェスチャー情報に基づいて対象を推定する研究が報告されている[6–9]．Chenらは，画像と言語の大規模データセットから対象を特定する深層学習モデルを提案したが，画像内にユーザと対象物体が含まれる制約がある[9]．Huらは，物体と言語，指差し情報から空間における対象の位置を推定する手法を提案したが，指示語の情報は推定に用いられていない[7]．本研究では，実世界のマルチモーダル情報を外的な文脈として用いて，指示語を含んだ言語指示の外部照応解析の実現を目指す．具体的には，物体カテゴリ，指示語，指差しの3つの情報を用いた外部照応解析により，指示語の指示対象における曖昧性を解消する手法を提案する．図１に本研究の概要図を示す．ここで，物体カテゴリ情報は言語情報内の物.2次元占有格子地図物体の3次元位置情報ロボットが事前探索𝑶YOLOv5によって得た情報𝑷𝑶指示語情報「あの」「あのペットボトル物体カテゴリ情報「ペットボトル」取ってきて」𝒆,𝒘MediaPipe𝒆,𝒘体の部位の3次元位置情報指差し情報骨格検出𝒆=(𝑥𝑒,𝑦𝑒,𝑧𝑒)ユーザの目の3次元位置𝒘=(𝑥𝑤,𝑦𝑤,𝑧𝑤)ユーザの手首の3次元位置𝒓=(𝑥𝑟,𝑦𝑟,𝑧𝑟)ロボットの足元の3次元位置𝛼ユーザとロボット間の内分点を決定する実数値𝛽ガウス分布の共分散を決定する実数値𝑙[m]ユーザとロボット間のユークリッド距離𝑘[m]ユーザの目と手首間のユークリッド距離𝑐ア系列の平均と分散を決定する実数値𝐸33×3の単位行列体カテゴリを表す語，指示語情報は言語情報内の指示語を表す語とする．例えば，図1のように“あのペットボトル取って”という発話がされた時，“ペットボトル”が物体カテゴリ情報，“あの”が指示語情報に該当する．また，指差し情報はユーザが指をさしている画像とする．実験では，指示語を含む言語命令から目標物体を特定するタスクを複数の条件で実施し，物体特定の精度をベースライン手法[7,9]と比較し，提案手法の特性と課題を明らかにする．