(57)【要約】【課題】対象者が存在する場所を認識する際の精度を向上させる。【解決手段】コンピュータによって実行される方法であって、一つ以上のセンサを用いて、環境をセンシングしたセンサデータを取得する取得ステップと、前記センサデータに基づいて、前記環境内にいる対象者を検出する検出ステップと、前記対象者の位置を判定する判定ステップと、前記環境から事前に抽出された、特徴に関するデータが蓄積された特徴データベースに対して、前記対象者の位置を用いて問い合わせを行い、前記対象者の近傍にある特徴を抽出するクエリステップと、前記特徴が特定のシーンタイプに含まれる確率を表す関連付け尤度値に基づいて、複数のシーンタイプの中からシーンタイプを選択する選択ステップと、を含む。【選択図】図３
2017157201.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータによって実行される方法であって、
一つ以上のセンサを用いて、環境をセンシングしたセンサデータを取得する取得ステップと、
前記センサデータに基づいて、前記環境内にいる対象者を検出する検出ステップと、
前記対象者の位置を判定する判定ステップと、
前記環境から事前に抽出された、特徴に関するデータが蓄積された特徴データベースに対して、前記対象者の位置を用いて問い合わせを行い、前記対象者の近傍にある特徴を抽出するクエリステップと、
前記特徴が特定のシーンタイプに含まれる確率を表す関連付け尤度値に基づいて、複数のシーンタイプの中からシーンタイプを選択する選択ステップと、
を含む、方法。
【請求項２】
選択されたシーンタイプに基づいて、一つ以上の自律ルーチンを実行する実行ステップをさらに含む、
請求項１に記載の方法。
【請求項３】
前記関連付け尤度値は、時刻に応じて異なる値を取りうる、
請求項１に記載の方法。
【請求項４】
前記関連付け尤度値は、前記特徴が前記シーンタイプに属する確率、前記特徴を使用して正確にシーンタイプを分類する事前確率、任意の基準点に対するＮ次元における位置およびサイズ、をそれぞれ記述するスコアである、
請求項１に記載の方法。
【請求項５】
前記関連付け尤度値は、下記の数式を使用して計算される確率である、
2017157201.tif 000005
請求項１に記載の方法。
【請求項６】
前記一つ以上のセンサを使用して前記環境を事前に走査し、前記一つ以上のセンサから得られたセンサデータを使用して、前記環境から特徴を抽出し、前記抽出した特徴を前記特徴データベースに記憶させる登録ステップをさらに含む、
請求項１に記載の方法。
【請求項７】
前記選択ステップでは、
前記対象者の近傍のエリアについて特徴の偏りを検出し、前記偏りに基づいて判定したシーンの指向性にさらに基づいてシーンタイプを選択する、
請求項１に記載の方法。
【請求項８】
前記一つ以上のセンサのうちの少なくとも一つは、距離画像を取得するカメラである、
請求項１に記載の方法。
【請求項９】
前記判定ステップでは、前記対象者の移動先を推定し、当該移動先を前記対象者の位置とする、
請求項１に記載の方法。
【請求項１０】
一つ以上のセンサを用いて、環境をセンシングしたセンサデータを取得する取得手段と、
前記センサデータに基づいて、前記環境内にいる対象者を検出する検出手段と、
前記対象者の位置を判定する判定手段と、
前記環境から事前に抽出された、特徴に関するデータが蓄積された特徴データベースに対して、前記対象者の位置を用いて問い合わせを行い、前記対象者の近傍にある特徴を抽出するクエリ手段と、
前記特徴が特定のシーンタイプに含まれる確率を表す関連付け尤度値に基づいて、複数のシーンタイプの中からシーンタイプを選択する選択手段と、
を含む、システム。
【請求項１１】
選択されたシーンタイプに基づいて、一つ以上の自律ルーチンを実行する実行手段をさらに含む、
請求項１０に記載のシステム。
【請求項１２】
前記関連付け尤度値は、時刻に応じて異なる値を取りうる、
請求項１０に記載のシステム。
【請求項１３】
前記関連付け尤度値は、前記特徴が前記シーンタイプに属する確率、前記特徴を使用して正確にシーンタイプを分類する事前確率、任意の基準点に対するＮ次元における位置およびサイズ、をそれぞれ記述するスコアである、
請求項１０に記載のシステム。
【請求項１４】
前記関連付け尤度値は、下記の数式を使用して計算される確率である、
2017157201.tif 000006
請求項１０に記載のシステム。
【請求項１５】
前記一つ以上のセンサを使用して前記環境を事前に走査し、前記一つ以上のセンサから得られたセンサデータを使用して、前記環境から特徴を抽出し、前記抽出した特徴を前記特徴データベースに記憶させる登録手段をさらに含む、
請求項１０に記載のシステム。
【請求項１６】
前記選択手段は、
前記対象者の近傍のエリアについて特徴の偏りを検出し、前記偏りに基づいて判定したシーンの指向性にさらに基づいてシーンタイプを選択する、
請求項１０に記載のシステム。
【請求項１７】
前記一つ以上のセンサのうちの少なくとも一つは、距離画像を取得するカメラである、
請求項１０に記載のシステム。
【請求項１８】
前記判定手段は、前記対象者の移動先を推定し、当該移動先を前記対象者の位置とする、
請求項１０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、人間を中心とした場所認識方法に関する。
【背景技術】
【０００２】
（関連出願への相互参照）
本出願は、"AUTONOMOUS HUMAN-CENTRIC PLACE RECOGNITION"と題し、２０１６年２月２９日に出願された米国特許出願第１５／０５７，０３２号の優先権を主張する。当該出願は、その全体が本明細書中に参照として組み込まれる。
【０００３】
今日、多くの自律コンピュータシステムは、様々な異なるアプリケーション向けの検出技法および認識技法に依存している。場所および環境の分類において、複雑な聴覚、視覚、または多様な学習を使用して、システムは迅速に向上している。しかしながら、課題は、良いデータの分類ではなく、むしろ知識が必要な際の不十分なセンサのポジショニングを克服することにある。例えば、長椅子の上の人物と対話するロボットは、人物の後方にある大きい壁を捉える場合があるが、その壁は環境を正確に分類するための十分な複雑さを持っていない場合がある。あるいは、比較的視界が開けている環境であっても、いくつかの部屋は多目的であり、単純な分類ストラテジーが通用しない。さらに、ロボットがある部屋から隣の部屋へ移動するとき、ロボットはしばしば、その移動を識別し、正確な状況を判断することが困難である。ロボットなどの自律エージェントが分類結果に基づいて判断を行う必要があるとき、これらの「境界条件」は、モバイルセンサの配置に対する重大な障害になる。
【０００４】
場所の認識またはラベル付けは新しい分野ではない。それは通常、シーン（シーン）認識や場所分類とも呼ばれる。現時点では、現在観察されているシーンのタイプを識別するために使用できる様々な手法およびセンサが存在する。非特許文献１に記載されている、環境内で物体のタイプを分類し、次いでそれらの物体に関連する意味のある場所ラベルを学ぶ既存の方法などが存在する。
【０００５】
例えば、非特許文献２に記載されているような、現在オンラインで利用可能な、単一視点分類用の大規模画像データベースを利用する、深層学習における新しい研究である直線画像ベースの分類を行う既存の方法も存在する。
【０００６】
しかしながら、上記の単一観察による分類方法では、カメラまたはセンサのポジショニングが十分でない場合において、自身で場所ラベルを識別することができない。例えば、二つ以上の環境を含んでいる場所をカテゴリ分けする際に、どちらか片方の環境のみを回答したり、あるいはどちらも回答しないといった失敗をすることがある。
【０００７】
センサのポジショニングにおけるこれらの問題を修正するために、ロボット工学コミュニティは、物理空間上でセンサデータを融合させることに注目した。議論された一つの可能性は、一般に入手可能な位置センサ、例えばＧＰＳを使用して、画像の位置を既にラベル付けされたマップと比較することである。そして、場所を推定するために、ＧＰＳが予測した位置と分類された場所ラベルの組合せが使用される。「Scene Classification for
Place Recognition」と題し、Boris Babenko，Hartwig Adam，John FlynnおよびHartmut
Nevenによって、特許文献１において説明されているこの手法は、不十分にポジショニングされたセンサによる問題を改善する。しかし、当該発明は、都市または観光地のような大きい場所カテゴリ用に設計されている。また、当該発明は、小さい屋内環境、遷移領域、または多目的空間によるラベル付けの課題を解決しない。
【０００８】
別の形態のセンサ融合は、環境のトポロジカルなマップを構築することである。非特許文献３に記載されている着想は、単一画像の手法ではなく、それらの前に来た画像と著しく異なる画像を探ることで、モバイルセンサからのビデオストリームを活用する。
環境をマッピングする際、ロボットは、同様の種類の領域をクラスタ化し、ある部屋と隣の部屋との間の変化点（change points）を自己識別する。得られたマップはトポロジ
カルグラフである。この方法は、不十分なセンサのポジショニングに対する改善を示すが、各部屋が同一の目的を有し、遷移（transitions）が明確に定義されていること（実際
の環境では該当しないことがある）を仮定している。実際のマップを生成しないで分類アルゴリズムを改善するためのさらなる同様の手法は、「Detecting and Labeling Places using Runtime Change-point Detection」と題し、Ananth Ranganathanによって特許文献２において説明されている。
【０００９】
代替的な融合方法は、占有グリッドである。Ananth RanganathanおよびJongwoo Limは
、非特許文献４において、場所認識アルゴリズムによる各測定結果を使用し、ロボットが空間内を移動するに従って占有グリッドを更新することを開示している。重要なことに、各測定結果の更新は、カメラによって観察された視界領域を反映し、占有グリッド内の障害物と空きスペースの両方についての分類を学習するよう試みる。トポロジカルマップと同様に、このセンサ融合戦略は、特にカメラからの基本的な指向性問題を克服する助けになるが、さらなる問題ももたらす。
第一に、マップは場所認識問題に直接回答しない。マップを仮定すると、ロボットはそのアプリケーション内で使用するための場所ラベルをどのように識別するのか？このグループは、いずれのアプリケーションにもマップを適用せず、そのため、人間−ロボット間対話、または任意の他の領域において得られた融合表現を最も良く利用する方法に対処しない。第二の問題は、このマップが点群データに焦点が当てられた静的表現であることである。マップ表現に対してリアルタイムで変更を行うか、または非点群データを組み込むことは、いずれも多目的環境における曖昧さを低減することに役立つ場合があるが、困難さを伴う。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許第８７９８３７８号公報
【特許文献２】米国特許第８５６５５３８号公報
【非特許文献】
【００１１】
【非特許文献１】Shrihari Vasudevan, Stefan Gachter, Marc Berger & Roland Siegwart, "Cognitive Maps for Mobile Robots - An Object based Approach", Intelligent Robots and Systems(IROS), サンディエゴ, 米国, 2007年
【非特許文献２】Bolei Zhou, Agata Lapedriza, Jianxiong Xiao, Antonio Torralba, Aude Oliva, "Learning Deep Features for Scene Recognition using Places Database", NIPS, 2014年
【非特許文献３】Aravindhan K Krishnan, K Madhava Krishna, "A Visual Exploration Algorithm using Semantic Cues that Constructs Image based Hybrid Maps", Intelligent Robots and Systems(IROS), 台北, 台湾, 2010年
【非特許文献４】Ananth Ranganathan, Jongwoo Lim, "Visual Place Categorization in Maps", Intelligent Robots and Systems(IROS), サンフランシスコ, 米国, 2011年
【発明の概要】
【００１２】
人間−ロボット間対話などの自律的な実装形態向けの場所認識のユーザビリティを改善するため、本明細書は、エビデンスが蓄積されたデータベースに問い合わせるために対話
対象者（例えば、人間）の検出位置を使用する、発明的な人間中心の手法を開示する。
人間−ロボット間対話の状況において、この手法は、人物が位置する場所の機能に部分的に基づいて、ロボットが必要とする関連情報を識別することができる。この態様は、モバイルロボットによる場所認識の失敗原因となる境界条件を安定させるために使用することができる。
【００１３】
本開示に記載される主題の一つの発明的態様によれば、システムは、
一つ以上のセンサを用いて、環境をセンシングしたセンサデータを取得する取得手段と、前記センサデータに基づいて、前記環境内にいる対象者を検出する検出手段と、前記対象者の位置を判定する判定手段と、前記環境から事前に抽出された、特徴に関するデータが蓄積された特徴データベースに対して、前記対象者の位置を用いて問い合わせを行い、前記対象者の近傍にある特徴を抽出するクエリ手段と、前記特徴が特定のシーンタイプに含まれる確率を表す関連付け尤度値に基づいて、複数のシーンタイプの中からシーンタイプを選択する選択手段と、を含む。
【００１４】
一般に、本開示に記載される主題の別の発明的態様は、
コンピュータによって実行される方法であって、一つ以上のセンサを用いて、環境をセンシングしたセンサデータを取得する取得ステップと、前記センサデータに基づいて、前記環境内にいる対象者を検出する検出ステップと、前記対象者の位置を判定する判定ステップと、前記環境から事前に抽出された、特徴に関するデータが蓄積された特徴データベースに対して、前記対象者の位置を用いて問い合わせを行い、前記対象者の近傍にある特徴を抽出するクエリステップと、前記特徴が特定のシーンタイプに含まれる確率を表す関連付け尤度値に基づいて、複数のシーンタイプの中からシーンタイプを選択する選択ステップと、を含む方法において具現化することができる。
【００１５】
他の態様は、上記その他の発明的態様のための対応する方法、システム、装置、およびコンピュータプログラム製品を含む。
【００１６】
上記その他の実装形態は、各々、場合によっては、以下の特徴および／または動作のうちの一つまたは複数を含む場合がある。
例えば、特徴および／または動作は、選択されたシーンタイプに基づいて、一つ以上の自律ルーチンを実行してもよい。
また、前記関連付け尤度値は、時刻に応じて異なる値を取り得てもよい。
また、前記関連付け尤度値は、前記特徴が前記シーンタイプに属する確率、前記特徴を使用して正確にシーンタイプを分類する事前確率、任意の基準点に対するＮ次元における位置およびサイズ、をそれぞれ記述するスコアであってもよい。
また、前記関連付け尤度値は、下記の数式を使用して計算されてもよい。
2017157201.tif 000003
また、前記一つ以上のセンサを使用して前記環境を事前に走査し、前記一つ以上のセンサから得られたセンサデータを使用して、前記環境から特徴を抽出し、前記抽出した特徴を前記特徴データベースに記憶させてもよい。
また、前記対象者の近傍のエリアについて特徴の偏りを検出し、前記偏りに基づいて判定したシーンの指向性にさらに基づいてシーンタイプを選択してもよい。
また、前記一つ以上のセンサのうちの少なくとも一つは、距離画像を取得するカメラであってもよい。
また、前記対象者の移動先を推定し、当該移動先を前記対象者の位置としてもよい。
【００１７】
本開示において提示される新規の検出技術は、いくつかの点で特に有利である。例えば、場所認識方程式（place recognition equation）に人間の位置を組み込むことで、人間
−ロボット間対話に対する回答の関連性が最大化される。具体的には、人間の位置と、検索用に設計されたデータベースを用いることで、人間−ロボット間対話のための複雑なシーンの曖昧さを除去し、指向性センサ、多目的ルーム（例えば、スタジオアパート、台所／ダイニング、寝室／オフィスなど）、および遷移領域を伴うシナリオにおいて、場所の認識性能を向上させることが可能になる。
【００１８】
加えて、通常、物体の移動や、環境が変化する様々な空間を使用することなどに起因して時間とともに不正確になる、ある環境内の物体の固定位置をマッピングする固定マップのみを利用することとは対照的に、本検出技法は、ロボットなどの自動化デバイスが人間とのより多くの情報に基づく計算的対話に使用することができる、環境の動的、文脈的、かつ時間的に関係する描写を生成する。
より具体的には、検索可能なデータベース内に場所認識のエビデンスを生成することで、動的環境をより良く反映することができる、より動的な分類アルゴリズムが可能になる。例えば、予想されるインタラクションの時間によって検索することで、人間が直ちに認識するであろう部屋の、時間変化する態様を明らかにすることができる。また、認識された物体の人間への近さが場所認識スコアに組み込まれ、対話中のロボットの動きおよび／または注意をガイドするための、局所的な場所の遷移を推定することができる。上記の利点は例として提供されること、および本技法は、多数の他の利点および利益を有することができることを理解されたい。
【００１９】
本開示は、添付図面の図において限定としてではなく例として示され、添付図面では、同様の構成要素を参照するために同様の参照番号が使用される。
【図面の簡単な説明】
【００２０】
【図１】本発明に係る例示的なシステムのブロック図である。
【００２１】
【図２Ａ】例示的なコンピューティングデバイスのブロック図である。
【００２２】
【図２Ｂ】例示的な特徴モジュールのブロック図である。
【００２３】
【図３】抽出された特徴と人間の位置に基づいてシーンを認識するためのプロセス例のフローチャートである。
【００２４】
【図４】特徴データベースに記憶されるデータの例である。
【００２５】
【図５】シーンを認識するための方法例のフローチャートである。
【００２６】
【図６】特定の環境から特徴を抽出し、特徴データベースに投入するための方法例のフローチャートである。
【００２７】
【図７】スコアを計算するための方法例のフローチャートである。
【００２８】
【図８】シーンを認識する自律ロボットを含む家屋の例である。
【００２９】
【図９】本発明に係る場所認識技法の利点を表す表である。
【発明を実施するための形態】
【００３０】
図１は、人間中心の場所認識を行う例示的なシステム１００のブロック図である。図示されたように、システム１００は、計算サーバ１０１と、（ライン１１８で描写されたように）ユーザ１２５によってアクセスされ、当該ユーザと対話する検出システム１０３を
含む。
実装形態に応じて、計算は、二つ以上のコンピューティングシステム（例えば、計算サーバ１０１および検出システム１０３、二つ以上の検出システム１０３）にわたって分散して行われてもよい。また、それらの間で動的にシフトされてもよく、検出システム１０３によって別個に実行されてもよい。そのため、システム１００は、計算サーバ１０１を含まない場合もある。
【００３１】
計算サーバ１０１が含まれる実施形態においては、検出システム１０３および計算サーバ１０１は、それぞれ信号線１０６および１０８を介して、ネットワーク１０５に通信可能に結合する。例えば、検出システム１０３および計算サーバ１０１は、センサデータ、特徴データ、認識データなどのデータを交換するために、ネットワーク１０５を介して互いに通信可能に結合する。図１の信号線１０６および１０８は、一つまたは複数の有線接続またはワイヤレス接続であり得る。さらなる例として、検出システム１０３は、処理用に計算サーバ１０１にセンサデータを送信することができ、計算サーバ１０１は、本明細書に記載されるようにデータを処理して物体を検出および認識し、認識された物体を記述するデータや結果を検出システム１０３に送ることができる。
計算サーバ１０１が含まれない実施形態では、検出システム１０３は、自律的に、または他の検出システム１０３（不図示）と連携して動作し、物体、シーン、人間の位置などを検出および認識することができる。例えば、検出システム１０３は、本明細書において説明される計算を実行するために、他の同様の検出システム１０３とコンピュータネットワークを介してネットワーク接続されてもよい。
【００３２】
なお、図１は、単一の検出システム１０３および計算サーバ１０１を描写するが、様々な異なるシステム環境およびシステム構成が可能であり、考察され、本開示の範囲内であることを理解されたい。例えば、いくつかの実施形態は、追加のまたはより少ないコンピューティングデバイス、サービス、ネットワークを含む場合があり、他のコンピューティングデバイス上にローカルまたはリモートに様々な機能を実装する場合がある。さらに、様々なエンティティが、単一のコンピューティングデバイスもしくはシステムに統合されるか、または追加のコンピューティングデバイスもしくはシステムなどにわたって分散される場合がある。例えば、検出モジュール１３５は、コンピューティングデバイスやシステムの組合せにわたって、または一つのコンピューティングデバイスやシステムの中に記憶され、それらによって実行可能であり、分散される場合がある。
【００３３】
ネットワーク１０５は、標準タイプのネットワーク、有線、またはワイヤレスであり得るし、スター形、トークンリング、または他の既知の構成などの、任意の数の構成を有する場合がある。ネットワーク１０５は、一つもしくは複数のローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）（例えばインターネット）、仮想プライベートネットワーク（ＶＰＮ）、ピアツーピアネットワーク、近距離無線通信（例えばＢｌｕｅｔｏｏｔｈ（登録商標））、セルラーネットワーク（例えば、３Ｇ、４Ｇ、他の世代）、または、それを介して複数のコンピューティングノードが通信することができる任意の他の相互接続されたデータパスを含む場合がある。データは、例えば、様々なインターネットレイヤ、トランスポートレイヤ、またはアプリケーションレイヤのプロトコルを含む、様々な異なる通信プロトコルを使用して、ネットワーク１０５のノード間で、暗号化または非暗号化された形態で送信される場合がある。例えば、データは、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、伝送制御プロトコル（ＴＣＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、セキュアハイパーテキスト転送プロトコル（ＨＴＴＰＳ）、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、リアルタイム転送プロトコル（ＲＴＰ）およびリアルタイム転送制御プロトコル（ＲＴＣＰ）、ボイスオーバーインターネットプロトコル（ＶＯＩＰ）、ファイル転送プロトコ
ル（ＦＴＰ）、ウェブソケット（ＷＳ）、ワイヤレスアクセスプロトコル（ＷＡＰ）、様々なメッセージングプロトコル（ＳＭＳ、ＭＭＳ、ＸＭＳ、ＩＭＡＰ、ＳＭＴＰ、ＰＯＰ、ＷｅｂＤＡＶなど）、または他の既知のプロトコルを使用して、ネットワークを介して送信される場合がある。
【００３４】
検出システム１０３は、環境内にある物体の有意性を知覚、認識、および解釈して、アクションを実行することが可能な自律コンピューティングシステムであるか、またはそれに含まれる場合がある。例えば、検出システム１０３は、車に乗っているドライバーまたは同乗者を認識する能力を有するインテリジェントカーであるか、またはその中に組み込まれる場合がある。さらなる例では、検出システム１０３は、人間や他のロボットと連携して、様々なタスクを実行することができるソーシャルロボット、または人口密集環境内で動作する自律システムであるか、またはその中に組み込まれる場合がある。
いくつかの実施形態では、検出システム１０３は、物体を検出および認識するための構成要素として他のシステムの中に組み込まれる場合がある。例えば、検出システム１０３は、ゲーミングシステム、テレビジョン、モバイルフォン、タブレット、ラップトップ、ワークステーション、サーバなどのクライアントデバイスの中に組み込まれる場合がある。例えば、検出システム１０３は、ある特定の一人または複数の人物が特定の位置に存在するかどうかを判定するためにマシンまたはコンピュータシステムの中に組み込まれる場合があり、マシンまたはコンピュータシステムは、その特定の一人または複数の人物が特定の位置に存在する場合、特定のプログラムをオン／オフまたは実行することができる。
【００３５】
いくつかの実施形態では、検出システム１０３は、一つもしくは複数のセンサ１５５、（一つもしくは複数のプロセッサを表す場合がある）プロセッサ１９５および検出モジュールのインスタンス１３５を含む計算ユニット１１５、特徴データベース１９７、インターフェース１７５を含む場合がある。描写されたように、センサ１５５は、信号線１２２を介して計算ユニット１１５に通信可能に結合される。特徴データベース１９７は、信号線１２４を介して計算ユニット１１５に通信可能に結合される。インターフェース１７５は、信号線１２６を介して計算ユニット１１５に通信可能に結合される。いくつかの実施形態では、検出モジュールのインスタンス１３５、またはそれの様々な構成要素は、本明細書内の他の場所に記載されるように、計算サーバ１０１に記憶され、それによって実行可能であり得る。検出モジュールのインスタンス１３５はまた、本明細書では個別に呼ばれるか、または総称して検出モジュール１３５と呼ばれる。
【００３６】
計算ユニット１１５、センサ１５５、特徴データベース１９７、およびインターフェース１７５の各々が、単数形または複数形で本明細書において描写および参照されているが、検出システム１０３は、任意の数の計算ユニット１１５、センサ１５５、特徴データベース１９７、インターフェース１７５を含むことができることを認識されたい。さらに、構成に応じて、検出システム１０３は、オペレーティングシステム、プログラム、様々な追加センサ、モーター、ムーブメントアセンブリ、スピーカ、ディスプレイデバイスなどの入力／出力デバイス、ネットワーク１０５に通信可能に結合された他のデバイス（例えば、計算サーバ１０１、他の検出システム１０３（不図示）、任意の他の適切なシステム（不図示））とのワイヤレス通信用のトランシーバユニットおよびアンテナなどの、図１に示されていない他の構成要素を含む場合があることを理解されたい。
【００３７】
センサ１５５は、周辺環境から光および他の信号を取り込み、深度データなどのセンサデータを生成および処理するように構成された、一つまたは複数のセンサを含む。例えば、センサ１５５は、ＲＧＢ−Ｄカメラ、立体カメラ、構造光カメラ／スキャナ、飛行時間カメラ、干渉計、変調イメージャ、レーザー測距器、明視野カメラ、強化ＣＣＤカメラなどのレンジカメラを含む場合があるが、これに限定されない。また、超音波センサ、カラーカメラ、赤外線カメラなどの他のタイプのセンサが使用される場合があることを理解さ
れたい。いくつかの実施形態では、センサ１５５や検出システム１０３は、加速度計、ジャイロスコープ、温度計、気圧計、熱電対、マイクロフォン、または他の従来の検知デバイスなどの、様々なタイプのセンサの組合せを含む場合がある。ＭＥＳＡ  ＩｍａｇｉｎｇによるＳｗｉｓｓ  Ｒａｎｇｅｒセンサ、ＭｉｃｒｏｓｏｆｔによるＫｉｎｅｃｔ（登録商標）センサ、様々な立体視システムなどは、センサ１５５が含む場合があるカメラのさらなる非限定的な例である。センサ１５５は計算ユニット１１５の中に組み込まれる場合があるか、またはワイヤレス接続もしくは有線接続を介して計算ユニット１１５に結合される異種デバイスであり得る。
【００３８】
様々な実施形態では、センサ１５５は、本明細書内の他の場所に記載されるように、センサデータ（例えば、センサ１５５によって取り込まれた物体に関連する距離情報を記述する深度データ）を生成し、処理用に計算ユニット１１５や計算サーバ１０１に送ることができる。
【００３９】
計算ユニット１１５は、図２Ａに描写されるコンピューティングデバイス２００などの、任意のプロセッサベースのコンピューティングデバイスを含む。一実施形態では、計算ユニット１１５は、本明細書内の他の場所に記載されるように、センサ１５５からセンサデータを受信し、センサデータを処理し、処理に基づいてインターフェース１７５を介して提示用の結果を生成および供給し、処理に基づいて様々なプログラムをトリガし、処理に基づいて検出システム１０３または関連システムの挙動や運動を制御し、計算サーバ１０１と連携してセンサデータを処理することができる。いくつかの実施形態では、計算ユニット１１５は、処理されたセンサデータや、そこから処理された結果を特徴データベース１９７に記憶することができる。プロセッサ１９５および検出モジュール１３５については、少なくとも図２Ａ〜図９を参照してより詳細に記載される。
【００４０】
インターフェース１７５は、ユーザ１２５と計算ユニット１１５との間の通信を処理するように構成されたデバイスである。例えば、インターフェース１７５には、ユーザ１２５に検出情報を表示するための画面、ユーザ１２５に音声情報を出力するためのスピーカ、音声やボイスコマンドを取り込むためのマイクロフォン、インジケータ（例えば、ＬＥＤ）、ならびに、ユーザ１２５との通信を容易にする任意の他の入力／出力構成要素のうちの一つまたは複数が含まれる。いくつかの実施形態では、インターフェース１７５は、計算ユニット１１５からユーザ１２５に出力を送信するように構成される。例えば、インターフェース１７５は、ユーザ１２５が近傍内にいることを計算ユニット１１５が検出した場合に、ユーザ１２５に音声で挨拶するためのオーディオシステムを含む。インターフェース１７５は、本明細書に記載される機能を提供するための他のタイプのデバイスを含む場合があることを理解されたい。
【００４１】
ユーザ１２５は人間のユーザである。一実施形態では、ユーザ１２５は、道路上にある車両に座っているドライバーまたは同乗者である。別の実施形態では、ユーザ１２５は、ロボットと対話する、家屋内に位置する人間である。さらなる実施形態では、ユーザは、コンピューティングデバイスの従来のユーザである。ユーザ１２５は、計算ユニット１１５との間で様々なタイプのデータを送受信するインターフェース１７５と対話するか、または場合によっては、それに入力を供給し、出力を受信することができる。
【００４２】
特徴データベース１９７は、一つもしくは複数のスタティックランダムアクセスメモリ（ＳＲＡＭ）デバイス、フラッシュメモリ、ハードディスクドライブ、ディスクベースのメモリデバイス（例えば、ＣＤ、ＤＶＤ、Ｂｌｕｅ−ｒａｙ（登録商標）、フロッピーディスク（登録商標）など）、または他の何らかの既知の揮発性もしくは不揮発性の物理的記憶デバイスなどの、非一時的記憶媒体に記憶される。特徴データベース１９７は、検出システム１０３、または、検出システム１０３とは別個であるか、それに結合されるか、
もしくはそれによってアクセス可能な別のコンピューティングデバイスやストレージシステムに含まれる場合がある。いくつかの実施形態では、特徴データベース１９７は、検出システム１０３や計算サーバ１０１によって動作可能なデータベース管理システム（ＤＢＭＳ）に関連するデータを記憶することができる。例えば、ＤＢＭＳは、構造化問合せ言語（ＳＱＬ）のＤＢＭＳ、非ＳＱＬのＤＢＭＳ、フラットファイルシステム、従来型ファイルシステムなどを含んでもよい。場合によっては、ＤＢＭＳは、行と列から構成される多次元テーブルにデータを記憶し、プログラムに基づいた動作を使用して、データの行を操作、すなわち、挿入、問合せ、更新、削除することができる。特徴データベース１９７のさらなる態様は下記で説明される。
【００４３】
計算サーバ１０１は、検出システム１０３が物体を検出および認識することを容易にするための、プロセッサ（不図示）と、非一時的コンピュータ可読記憶媒体（例えば、メモリ）（不図示）とを有する、任意のコンピューティングデバイスである。いくつかの実施形態では、計算サーバ１０１は、検出モジュールのインスタンス１３５を含む。ネットワークベースの実施形態では、計算サーバ１０１は、検出システム１０３や他の情報源から、センサデータ、認識データ、位置データ、本明細書で説明された任意の他のデータを受信することができ、データを処理し、検出システム１０３に必要な処理結果を送る。
【００４４】
図２Ａは、図示された実施形態による、検出モジュール１３５と、プロセッサ１９５と、メモリ２３７と、通信ユニット２４５と、センサ１５５と、特徴データベース１９７とを含む、コンピューティングデバイス２００のブロック図である。コンピューティングデバイス２００の構成要素は、バス２２０によって通信可能に結合される。いくつかの実施形態では、コンピューティングデバイス２００は、検出システム１０３や計算サーバ１０１のアーキテクチャの代表である。
【００４５】
メモリ２３７は、データを記憶し、コンピューティングデバイス２００の他の構成要素にデータへのアクセスを提供することができる。いくつかの実装形態では、メモリ２３７は、プロセッサ１９５によって実行され得る命令やデータを記憶することができる。例えば、メモリ２３７は、検出モジュール１３５やその構成要素を記憶することができる。メモリ２３７はまた、例えば、オペレーティングシステム、ハードウェアドライバ、他のソフトウェアアプリケーション、データベースなどを含む、他の命令およびデータを記憶することが可能である。メモリ２３７は、プロセッサ１９５およびコンピューティングデバイス２００の他の構成要素との通信のために、バス２２０に結合することができる。
【００４６】
メモリ２３７は、プロセッサ１９５によって、またはそれとともに処理するための、命令、データ、コンピュータプログラム、ソフトウェア、コード、ルーチンなどを、含有、記憶、通信、伝搬、または搬送することができる装置またはデバイスを含む、一つまたは複数の非一時的コンピュータ使用可能（例えば、読取り可能、書込み可能などの）媒体を含む。いくつかの実装形態では、メモリ２３７は、揮発性メモリおよび不揮発性メモリのうちの一つまたは複数を含む。例えば、メモリ２３７は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）デバイス、スタティックランダムアクセスメモリ（ＳＲＡＭ）デバイス、ディスクリートメモリデバイス（例えば、ＰＲＯＭ、ＦＰＲＯＭ、ＲＯＭ）、ハードディスクドライブ、光ディスクドライブ（ＣＤ、ＤＶＤ、Ｂｌｕｅ−ｒａｙ（登録商標）など）のうちの一つまたは複数を含む場合があるが、これらに限定されない。メモリ２３７は単一のデバイスであり得るか、または複数のタイプのデバイスおよび構成を含む場合があることを理解されたい。
【００４７】
通信ユニット２４５は、ワイヤレスまたは有線接続を使用して通信可能に結合された他のコンピューティングデバイスにデータを送信し、それらからデータを受信する。通信ユニット２４５は、データを送受信するための一つまたは複数の有線インターフェースやワ
イヤレストランシーバを含む場合がある。通信ユニット２４５は、ネットワーク１０５に結合し、（構成に応じて）検出システム１０３や計算サーバ１０１などの他のコンピューティングノードと通信することができる。通信ユニット２４５は、ネットワーク１０５に関して上記で説明された通信方法などの標準の通信方法を使用して、他のコンピューティングノードとデータを交換することができる。
【００４８】
検出モジュール１３５は、センサデータを受信するためにセンサ１５５に結合することができる。いくつかの実施形態では、センサ１５５から受信されるセンサデータは、深度画像を表す深度データを含む場合がある。深度画像は、一つまたは複数の物体を含むシーンを描写する画像であり得る。物体は、生物または非生物、生命体または非生命体などであり得る。例示的な物体には、人間、動物、家具、備品、車、器具などが含まれるが、これらに限定されない。
【００４９】
例示的な検出モジュール１３５を描写する図２Ｂにおいて示されたように、検出モジュール１３５は、画像プロセッサ２０２と、特徴抽出器２０４と、分類モジュール２０６と、対象者位置推定器２０８と、シーン認識モジュール２１０とを含む場合があるが、検出モジュール１３５は、追加の構成要素を含む場合があり、また、様々な構成要素は単一のモジュールに組み合わされるか、もしくはさらなるモジュールに分割される場合があることを理解されたい。
【００５０】
画像プロセッサ２０２、特徴抽出器２０４、分類モジュール２０６、対象者位置推定器２０８、シーン認識モジュール２１０は、ソフトウェア、ハードウェア、または上記の組合せとして実装することができる。いくつかの実装形態では、画像プロセッサ２０２、特徴抽出器２０４、分類モジュール２０６、対象者位置推定器２０８、シーン認識モジュール２１０は、バス２２０やプロセッサ１９５により、互いに、またはコンピューティングデバイス２００の他の構成要素に通信可能に結合することができる。いくつかの実装形態では、構成要素１３５，２０２，２０４，２０６，２０８，２１０のうちの一つまたは複数は、それらの機能を実現するためにプロセッサ１９５によって実行可能な命令のセットである。さらなる実装形態では、構成要素１３５，２０２，２０４，２０６，２０８，２１０のうちの一つまたは複数は、メモリ２３７に記憶され、それらの機能を実現するためにプロセッサ１９５によってアクセス可能かつ実行可能である。上記の実装形態のいずれにおいても、これらの構成要素１３５，２０２，２０４，２０６，２０８，２１０は、プロセッサ１９５およびコンピューティングデバイス２００の他の構成要素との連携および通信に適合することができる。
【００５１】
画像プロセッサ２０２、特徴抽出器２０４、分類モジュール２０６、対象者位置推定器２０８、シーン認識モジュール２１０のさらなる構造、動作、機能は、少なくとも図３〜図９を参照して下記で説明される。
【００５２】
図３は、抽出された特徴および推定された人間の位置に基づいてシーンを認識するための例示的なプロセスのフローチャートである。図示されたように、ロボットなどの検出システムは、人間などの対象者と対話する際に、検出された対象者の位置を利用して、対象環境についてのデータが蓄積されたデータベースに問い合わせを行う。検出システム１０３は、対象者検出／追跡システムを含むか、それと連携することができる。場合によっては、これは、対象者位置推定器２０８によって具現化される。対象者の位置は、本明細書で言及されるように、検出された対象者の現在の位置であってもよく、対象者の現在の速度に基づいて算出された、将来のある時点で予想される位置であってもよい。対象者位置推定器２０８は、データベースを検索するために、必要に応じてｎ次元で対象者を検出するように構成される。これらのｎ次元は、特徴データベース１９７に記憶された他の項目である特徴と同じ素性（origin）に関して参照されるか、またはそれと調整可能である。
【００５３】
対象者の位置は、いくつかの異なる方法で検出することができる。いくつかの実施形態では、対象者位置推定器２０８は、本明細書内の他の場所で説明されるように、フレーム内に対象者を含むセンサ１５５によって取り込まれた画像データを処理して、既知の基準点に対する対象者の位置を特定することができる。さらなる実施形態では、対象者は、位置特定センサ（例えば、ＧＰＳセンサ）を備える携帯型電子デバイス（例えば、ウェアラブル、携帯電話、タブレット、ラップトップなど）などの、位置情報を特定できるデバイス、あるいは、そのデバイスのＩＰアドレス、またはサードパーティによりデバイス上で実行されたマルチラテレーションもしくは三角測量に基づいてサードパーティによって特定された位置情報を受信および供給することが可能なデバイスを携帯している場合がある。これらの実施形態では、対象者のデバイスは、ネットワーク１０５（例えば、ＰＡＮ，ＬＡＮ，ＷＡＮなど）を介して検出システム１０３または計算サーバ１０１に位置データを送信するようにプログラムすることができ、対象者位置推定器２０８は、通信ユニット２４５を介して位置データを受信し、それを処理して対象者の位置を推定することができる。
【００５４】
ブロック３０４において対象者の位置が推定されると、検出システム１０３は、ブロック３０６において、本明細書によって開示されるシーン認識方法を使用して、対象者と対話する方法を決定する。場所（より具体的には、対象者に直接関係する可能性が最も高いシーン）を特定することで、検出システム１０３によって遂行されるべきインタラクションの適切な方法についての貴重なデータ（例えば、どの固有情報が対象者に伝達されるべきか、どの情報が対象者から要求されるか、困難な手法を実行する方法、対象者が検出システム１０３に現在要求しているタスクのタイプなど）が提供される。
【００５５】
人物の近傍で収集されたセンサデータが多くない場合、以下の理由のうちの少なくとも一つまたは複数に起因して、正確な場所認識ができない場合がある。
・対象者が、シーン分類のための情報が十分に無い環境にいる場合（例えば、カメラが壁に向いている場合や、マイクが静かな部屋に設置されている場合など）
・対象者が、二つの部屋の間にある境界領域（boundary region）に立っている場合（セ
ンサが指向性である場合、センサの方向によって、得られる分類結果が変わってしまう）・対象者が位置する部屋が、多目的な部屋である場合（部屋の異なる部分が、時刻によって異なる目的に変わる場合など）
【００５６】
これらの場合の各々について考えると、少なくとも、正しい分類結果は、センサが現在見ることができるものではなく、対話対象者が環境内で位置する場所に依存する。すなわち、背景技術で記載した解決策は不十分なものである。
図３において描写され、本明細書を通して記載される手法は、対象者の位置を検出および追跡することによってこの問題を解決し、当該位置を使用して、環境内で取り込まれたセンサデータから抽出された特徴を蓄積したデータベース１９７に問い合わせる。
詳細には、一つまたは複数のセンサ１５５が、センサデータの様々なセットを取り込む。ブロック３０２において、特徴抽出器２０４は、センサデータから環境に応じた特徴を抽出するように構成される。
なお、本発明における特徴とは、環境中に存在するものであれば、どのようなものであってもよい。例えば、特徴は、人間の周辺に存在しうる物体（家具、食器、書籍、文具類、電化製品、小物類、生活用品等）であってもよい。
分類モジュール２０６は、確率スコアを使用して特徴をシーンタイプに分類するように構成される。抽出された特徴を表す特徴データと、確率スコアを反映する分類データは、互いに環境に関連して、特徴データベース１９７に記憶される。
【００５７】
図４は、特徴データベース１９７に記憶されるデータを表した図である。図示されたよ
うに、特徴データベース１９７は、特徴データ４０２、分類データ４０４、シーンデータ４０６、環境データ４０８を記憶する。
【００５８】
特徴データベース１９７には、多様な方法でデータを投入することができる。例えば、検出システム１０３（例えば、ロボット）は、検出システム１０３がセンサ１５５を利用して、環境を自律的に自己探索するようにプログラムすることができ、環境の様々な態様を表すセンサデータを取り込むことができる。また、特徴抽出器２０４は、センサデータを処理して特徴を抽出し、抽出された特徴を特徴データベース１９７に投入することができる。
別の例では、環境内に設置された固定センサ、一つ以上の検出システム１０３のセンサ１５５、環境内の他のデバイスに含まれるセンサ（例えば、家電、ビルコントロール、セキュリティシステム、ポータブルデバイスなどのユーザエレクトロニクス製品）などの複数の異なるセンサが、センサデータを取得し、ネットワーク１０５を介して、特徴抽出３０２による処理のために検出システム１０３や計算サーバ１０１に供給し、供給されたこれらのセンサデータのセットや、これらから抽出された特徴を調整（例えば、同一の基準点から取得、スケールマッチング、同じ素性について格納する等）してもよい。
【００５９】
特徴データ４０２は、特定の環境内で検出され、特定の環境に関係する多様な特徴を含む。例えば、特徴は点群に含まれる点である。例えば、Ｍ個の点群がＲＧＢ−Ｄセンサによって取得されると、点群または個別センサのいずれかを使用して特徴やシーンが分類され、各３Ｄポイントに対応するＭ個の特徴が、得られた分類スコアとともに記録される。
【００６０】
別の例では、特徴は、一点の家具または検出されたカップもしくは皿のような環境内の対象物を反映した情報である。各物体は三次元の物理的位置、関連付けられたサイズ、および関連する検出時刻（detection time）を有する。さらに、各物体は様々なタイプのシーンの各々に含まれる尤度を有する。例えば、皿は、ほとんどの場合、台所または食事エリアで見つかり、その存在はそれらの環境（台所または食事エリア）のうちの一つを暗示するはずである。
【００６１】
いくつかの実施形態では、特徴は分類スコアと関連付けられる。分類スコアは、分類器によって認識された特定のシーンタイプに特徴が属する確率、その特徴を使用して正確にシーンを分類する事前確率、任意の基準点に対するＮ次元における位置およびサイズを表したデータである。
【００６２】
図示されたように、各特徴は、追跡および検索の目的で、特徴ＩＤなどの一意の識別子を持つ場合がある。特徴の説明、当該特徴が環境内にあるはずの時間または時刻（毎日でない場合、当該特徴が環境内にあるはずの任意の日付）、特徴のサイズ、および環境内の特徴の位置などの、各特徴の様々な態様を記憶することができる。
【００６３】
分類データ４０４は、一つまたは複数の分類された環境内の位置、位置に関連する特徴、および特徴がそれらの位置内に存在する尤度を反映する尤度スコアをインデックス付けする。いくつかの実施形態では、環境内のいくつかの位置は、環境についての追加情報を取得するにつれて時間とともに更新されるシードデータ（初期尤度）をプリフェッチし、投入することができる。所定の環境についての追加の位置や特徴などを表すデータが取り込まれるにつれて、分類データは、既存の特徴および位置についてのより関係する尤度スコア、新しい特徴および位置についての新しい尤度スコアなどの、より正確な情報で更新される。
【００６４】
描写された例では、分類データは、各特徴の特徴ＩＤを、各位置（２Ｄ，３Ｄなどの座標または他の適切な一意の識別情報を使用して表現することができる）と、当該特徴ＩＤ
に関連付いた特徴が存在する尤度を表す尤度スコアと関連付ける。加えて、データの完全性の目的で、二つ以上の環境が所定の検出システム１０３によって処理されるため、特徴ＩＤおよび位置は、特徴が抽出された特定の環境の環境ＩＤに合わせることができる。
【００６５】
シーンデータ４０６は、シーンの種別（以下、シーンタイプ）ごとの一意の識別子、タイトルおよび説明を含むデータである。また、環境データ４０８は、検出システム１０３によって監視されている任意の環境についての一意の識別子、各環境の寸法、および各環境の説明を含むデータである。なお、シーンタイプは、対象者が自分自身を見つけることができる任意の特定のシーンを反映するようにあらかじめ決めることができ、（例えば、ロボット、ロボットのグループ、一つまたは複数のロボットと通信するサーバシステムなどによって）機械学習することができる。例示的なシーンタイプとして、自宅またはオフィスなどの住居の様々な部屋、バス停留所、中庭、歩道、横断歩道、建物の階段といった公共の屋外ロケーションが含まれ得る。
【００６６】
図５は、シーンを認識するための例示的な方法５００のフローチャートである。
ブロック５０２において、センサ１５５が、特定の環境を表すセンサデータを取り込む。
センサデータは特徴抽出器２０４に供給され、ブロック５０４において、対象者位置推定器が当該センサデータを処理し、環境内にいる一人または複数の対話対象者、および環境内の当該対象者の位置を検出する。追加または代替として、対象者位置推定器２０８は、本明細書内の他の場所で説明されるサードパーティソースなどの他のソースから位置データを受信して、環境内にいる対象者の位置を特定してもよい。
【００６７】
ブロック５０６において、シーン認識モジュール２１０が、環境に関係し、関連付け尤度値（確率または尤度スコアとも呼ばれる）を使用して、シーンタイプと関連付けられるか、または関連付け可能である、多様な特徴が投入された特徴データベース１９７に、位置（location）および探索領域の寸法（search region dimension）を用いて問い合わせ
る。いくつかの実施形態では、尤度値は事前に生成され、（例えば、分類データとして）特徴データベース１９７に記憶される。さらなる実施形態では、尤度値は、シーンタイプごとに生成され、実行時に更新される場合がある。
【００６８】
ブロック５０８において、シーン認識モジュール２１０が、探索領域の寸法によって定義された探索領域内に特徴が存在する尤度値に基づいて、様々なシーンタイプの中からシーンタイプを選択する。
【００６９】
ブロック５１０において、検出モジュール１３５は、選択されたシーンタイプに基づいて一つまたは複数の自律ルーチンを実行し、それにより、検出システム１０３が対象者と正確かつ文脈的に対話することが可能になる。
例えば、シーンタイプを特定した後で、検出モジュール１３５は、シーンタイプに基づいて、シーンタイプに関連する情報の取出し、対象者や一つ以上の特徴と対話する（例えば、ユーザの名前を使用してユーザに挨拶する）ための一つまたは複数の出力デバイス（例えば、ディスプレイ、スピーカ、センサ、モーチベータなど）の制御、物体（例えば、特定の人物／ユーザ）に関連するアカウント情報の取得などの、シーンタイプに基づく動作を実行するプログラムの動作をトリガすることができる。
【００７０】
図６は、特定の環境の特徴を抽出して分類し、分類された特徴を特徴データベースに投入するための例示的な方法６００のフローチャートである。
ブロック６０２において、画像プロセッサ２０２が、センサ１５５を使用して特定の環境をスキャンする。センサからセンサデータを受信すると、画像プロセッサ２０２は物体についてのセンサデータを処理する。
【００７１】
画像プロセッサ２０２は、センサデータを受信および処理するためにセンサ１５５に通信可能に結合され、本明細書内の他の場所で説明されるさらなる処理のために、特徴抽出器２０４および対象者位置推定器２０８に処理されたセンサデータを供給することができる。いくつかの実施形態では、センサデータは、基準点に対する物体の位置を記述する深度画像データを含む場合がある。例えば、センサ１５５は、センサ１５５によって取り込まれた物体を含む深度画像を記述する多次元（例えば３Ｄ）データを生成する多次元深度センサを含む。深度画像データは、画像内の物体を形成するピクセルについてのＲＧＢ値を含む場合がある。場合によっては、深度画像データは、トリプレットまたは空間座標のアレイの形態の多次元（例えば３Ｄ）深度点群などの、物体と関連付けられた位置情報を含む場合がある。場合によっては、深度画像データは、そのＸ座標とＹ座標を表す各ピクセルの列番号と行番号、ならびにそのＺ座標を表すピクセルの値を含む場合がある。
【００７２】
画像プロセッサ２０２は、センサ１５５によって取り込まれた深度画像を記述する深度画像データを使用して、深度画像に含まれる個別の物体を特定することができる。深度撮像を使用すると、物体のセグメント化を簡略化することを含む様々な利点を得ることができる。深度画像内で、物体は、しばしば、それらの相対深度により画像内で互いから分離することができる。例えば、（センサ１５５の位置などの所定の基準点から測定された）同じ相対距離を有する二つの隣接するピクセルは、同じ物体に属する可能性があるが、基準点に対してかなり異なる距離を有する二つのピクセルは、画像内の異なる物体に属する可能性がある。これは、独立して立っている物体を互いからより容易に区別することに役立つ。
【００７３】
ブロック６０４において、特徴抽出器２０４が、センサ１５５によって供給され、画像プロセッサ２０２によって処理されたセンサデータを使用して、環境の特徴を抽出する。例えば、特徴抽出器２０４は、画像プロセッサ２０２からセンサデータ内の物体を記述する物体データを受信することができ、物体データおよびセンサデータをさらに処理して、基準点に対する特徴の位置、特徴のサイズ、特徴の位置特定時間（location time of the
feature）、特徴の位置特定頻度（location frequency of the feature）、特徴につい
ての他の記述的情報などの、物体を具現化し、物体と関連する特徴を抽出することができる。
【００７４】
ブロック６０６において、分類モジュール２０６が、各シーンタイプに対する特徴ごとの尤度スコアを生成する。尤度スコアは、その特徴が当該シーンタイプ内で現れる確率を表す。尤度スコアを生成するための例示的な方法が、図７を参照して下記に記載される。
【００７５】
尤度スコアが生成された後、ブロック６０８において、分類モジュール２０６が、本明細書内の他の場所でさらに説明されるように、検出された物体ごとに抽出された特徴、およびシーンタイプに対する特徴についての分類スコアを、環境用の特徴データベース１９７に投入する。
【００７６】
いくつかの実施形態では、各特徴は２次元または三次元の特徴仕様（feature specification）を有し、追加の属性（検索基準）として、時間を有する場合もある。これは、結
果の解像度を高めることができるため有利である。例えば、多目的空間（例えば部屋）の用途は、時間とともに変化する場合がある。テーブルを有する空間は、１日のほとんどの間便利な会議空間であり、物体ベースまたはリアルタイム画像／音声分類は、それを正確に分類することができる。しかしながら、昼食時には、それは食事スペースとなり、食べ物および皿、ならびに、食事に関する他の物体（例えば図８参照）の存在が、割り当てられた分類スコアに影響を及ぼす。
対象者の位置（または対象者の位置ベースの探索エリア）と時間の両方によってデータ
ベースを検索することで、元来記述することが困難である多目的環境の、より微細であり、正確な分類が可能になる。
【００７７】
いくつかの実施形態では、特徴データベース１９７は、検出された対象者の近傍における場所認識の傾斜（偏り）を生成するために使用することができる。ある特定の場所タイプ、例えば台所を示す特徴が対象者の周囲にランダムに分散されている場合、シーン認識モジュール２１０によって生成された傾斜は、「台所らしさ」の指向性が最小であることを示す。
しかし、台所に強く関連する特徴や、台所についてのシーン結果が、人物の片側において支配的である、すなわちランダムに分散されていない場合、傾斜は、支配的な特徴への強い指向性を示す。すなわち、特定のシーンが特定の方向に強く現れていることを示す。
シーン認識モジュール２１０は、傾斜を使用して遷移領域（すなわち、台所と廊下の間といったように場所やシーンが変化する領域）を識別し、それにより、対象者と対話するように検出システム１０３の挙動を制御する。
【００７８】
例えば、シーン認識モジュール２１０によって特定された指向性は、ロボットが対話のための状況を探ることを支援することができる。ある特定のシーンに強く関連付けられた領域の近くに位置する人物は、それらのエリアを利用するために、しばしばその近傍にいる。指向性センサ（例えばカメラ）との局所的な傾斜または注意機構の焦点（focus of an attention mechanism）に従うことによって、例えば、図８に関して本明細書内の他の
場所で説明されるように、ロボットは、人物との対話のための環境状況を識別するか、または人間の活動を認識するその能力を向上させることができる。
【００７９】
図７は、スコアを計算するための例示的な方法７００のフローチャートである。図示されたように、ブロック７０２において、対象者位置推定器２０８は、本明細書内の他の場所で説明されるように、ｎ次元で表された対象者の位置を特定し、ブロック７０４において、シーン認識モジュール２１０は、探索エリアの寸法を特定する。いくつかの実施形態では、探索エリアの寸法は、アプリケーションに最も適するように、実行時またはコンパイル時に指定される場合がある。
いくつかのさらなる実施形態では、シーン認識モジュール２１０は、適応的に探索エリアの寸法を計算する。例えば、初期寸法から始めて、位置が当該寸法を満たす特徴についてデータベースへの問い合わせを行い、結果が曖昧な場合（すなわち、信頼度が所定の閾値よりも低い場合や、対象者周辺における顕著な特徴が所定の閾値よりも小さい場合）に、所定の閾値（最大、最小等）が満たされるまで寸法を大きく（または小さく）していってもよい。
探索エリアの寸法の一例は探索半径であり得るが、探索エリアは他の形態（多角形、楕円、不連続など）を取る場合があり、寸法は、その境界を特定するのに十分なエリアの複数の態様を記述することができることを理解されたい。
【００８０】
次に、ブロック７０６において、方法７００は、探索エリアの寸法によって定義された探索エリア内の特徴のサブセットｆｆを特定する。いくつかの実施形態では、シーン認識モジュール２１０は、探索エリアの寸法によって定義されたエリア内に含まれている特徴について特徴データベース１９７に問い合わせる。特徴は、ある特定の基準点に対する環境内の位置およびサイズによってインデックス付けすることができ、問合せは、探索エリアの寸法に基づいて対象のエリアを指定することができる。
【００８１】
図８は、探索エリアおよびその中に含まれている特徴のさらなる例を示す。具体的には、図８は、シーンを認識する自律ロボット８２６を含む家屋８００を表したものである。家屋８００は住宅である。対象者８２０は、居間８０２と台所８０４との間に位置し、住宅は、寝室８０６、浴室８０８、およびトイレ、リアエントランス８１０などの、いくつ
かの他の部屋を含む。これらの部屋の各々についてのシーンタイプは、あらかじめ定義され、自律ロボット８２６（この場合、検出システム１０３を反映する）によるアクセスのために記憶される。
【００８２】
居間８０２は、ソファ８１８、サイドテーブル８２２、絨毯８１６などの、居間の中に収容される典型的な物体を含む。同様に、台所８０４は、この例ではおよそ食事時なので、食器類がセットされているダイニングテーブル８１４などの、典型的な台所にある様々な物体を含む。
【００８３】
ロボット８２６は、対話対象者８２０の近くに位置する。ロボット８２６は、居間８０２と台所８０４との間を移動する対象者８２０の位置を追跡している。点線８２８は、居間８０２と台所８０４の間の移動を表すものである。
ロボット８２６は対象者８２０が移動していると判断したため、ロボット８２６のシーン認識モジュール２１０は、対象者８２０が移動している先の近傍に位置する、半径ｒによって定義された探索エリア内の特徴（この場合、食器がセットされたダイニングテーブル）について特徴データベース１９７に問い合わせる。
特徴データベース１９７において、８５％の確率でダイニングテーブル８１４が台所８０４内に位置し、９５％の確率で食器類が台所内に位置するものとする。
対照的に、４５％の確率でダイニングテーブル８１４が居間８０２内に位置し、２５％の確率で食器類が居間８０２内に位置するものとする（対象者は、時々ソファで食事を取るため）。
これらの値および／または他の変数（例えば、時刻、以前の履歴など）を利用して、シーン認識モジュール２１０は、ユーザが台所に向かっていると判断する。また、当該判断に応答して、検出モジュール１３５が、ユーザが台所に向かっているとの判断に基づいて、ロボット８２６の挙動を制御する。例えば、ロボット８２６は、冷蔵庫または流し台に向かう誘導が必要とされるかどうか、食事を準備するための情報が必要かどうか、または任意の他の人々をテーブルに呼ぶ必要があるかどうかを、対象者８２０に尋ねることができる。
【００８４】
図７に戻る。ブロック７０８において、人の位置を中心とする、指定された半径内の特徴のサブセットｆｆが識別される。また、方法７００は、下記の式を使用して、個々の特徴（ｆｆにおけるｉ）が与えられた各シーンタイプの確率Ｐ（ｓ｜ｆｆｉ）、およびｆｆｉを観測する確率から、複合シーン確率Ｐ（ｆｆ｜ｓ）を、シーンタイプｓごとに計算する。
【数１】
2017157201.tif 000004
【００８５】
背景技術において説明された手法などの他の手法に比べて、本明細書に記載された、人間中心の場所認識技法のさらなる利点は、図９の表９００にて要約されている。
【００８６】
上記の説明では、説明の目的で、本開示を完全に理解するために、多数の具体的な詳細が明記されている。しかしながら、本明細書に記載された技術は、これらの具体的な詳細なしに実践され得ることを理解されたい。さらに、説明を不明瞭にすることを回避するために、様々なシステム、デバイス、および構造がブロック図の形で示される。例えば、特定のハードウェア、ソフトウェア、およびユーザインターフェースを有するように、様々な実装形態が記載される。しかしながら、本開示は、データおよびコマンドを受信することができる任意のタイプのコンピューティングデバイス、ならびにサービスを提供する任意の周辺デバイスに適用される。
【００８７】
場合によっては、様々な実装形態は、コンピュータメモリ内のデータビット上の演算のアルゴリズムおよびシンボル表現の観点から、本明細書に提示される場合がある。本明細書において、かつ一般的に、アルゴリズムは、望ましい結果に導く自己矛盾のない１組の演算であると考えられる。演算は、物理量の物理的操作を必要とする演算である。必ずしもそうであるとは限らないが、通常、これらの量は、記憶、転送、合成、比較、および他の方法で操作することが可能な電気信号または磁気信号の形態をとる。主に共通使用の理由で、これらの信号をビット、値、素子、シンボル、文字、用語、番号などとして参照することは、時には好都合であると証明されている。
【００８８】
しかしながら、これらおよび同様の用語のすべてが、適切な物理量と関連付けられ、これらの量に適用される便利なラベルにすぎないことは留意されるべきである。以下の説明から明白であると別段に明記されていない限り、本開示全体にわたって、「処理」、「計算」、「算出」、「決定」、「表示」などを含む用語を利用する説明は、コンピュータシステムのレジスタおよびメモリ内の物理（電子）量として表されるデータを操作し、コンピュータシステムのメモリもしくはレジスタ、または他のそのような情報を記憶、送信、もしくは表示するデバイス内の物理量と同様に表される他のデータに変換する、コンピュータシステムまたは同様の電子コンピューティングデバイスのアクションおよびプロセスを参照する。
【００８９】
本明細書に記載された様々な実装形態は、本明細書において演算を実行するための装置に関係する場合がある。この装置は、必要な目的のために特別に構築される場合があるか、またはコンピュータに記憶されたコンピュータプログラムによって、選択的にアクティブ化または再構成される汎用コンピュータを備える場合がある。そのようなコンピュータプログラムは、限定はしないが、各々がコンピュータシステムバスに結合される、フロッピーディスク、光ディスク、ＣＤ  ＲＯＭ、および磁気ディスクを含む任意のタイプのディスク、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カードもしくは光カード、不揮発性メモリを有するＵＳＢキーを含むフラッシュメモリ、または電子命令を記憶するのに適した任意のタイプの媒体を含む、コンピュータ可読記憶媒体に記憶される場合がある。
【００９０】
本明細書に記載された技術は、ハードウェアの実装形態、ソフトウェアの実装形態、またはハードウェアとソフトウェアの両方の構成要素を含んでいる実装形態の形態をとることができる。例えば、技術は、限定はしないが、ファームウェア、常駐ソフトウェア、マイクロコードなどを含む、ソフトウェアに実装することができる。さらに、技術は、コンピュータもしくは任意の命令実行システムによって使用されるか、またはそれとともに使用されるプログラムコードを提供するコンピュータ使用可能媒体またはコンピュータ可読媒体からアクセス可能な、コンピュータプログラム製品の形態をとることができる。この説明の目的で、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、命令実行装置、または命令実行デバイスによって使用されるか、またはそれとともに使用されるプログラムを、内蔵、記憶、通信、伝搬、または転送することができる、任意の非一時的記憶装置であり得る。
【００９１】
プログラムコードを記憶または実行するのに適したデータ処理システムは、システムバスを介してメモリ素子に直接的または間接的に結合された少なくとも一つのプロセッサを含む場合がある。メモリ素子は、プログラムコードの実際の実行中に利用されるローカルメモリ、バルクストレージ、および、実行中にバルクストレージからコードが取り出されねばならない回数を低減するために、少なくともいくつかのプログラムコードの一時的ストレージを提供するキャッシュメモリを含むことができる。（限定はしないが、キーボード、ディスプレイ、ポインティングデバイスなどを含む）入力／出力デバイスまたはＩ／Ｏデバイスは、直接または介在するＩ／Ｏコントローラを介して、システムに結合するこ
とができる。
【００９２】
ネットワークアダプタはまた、データ処理システムが、介在する専用ネットワークおよび／または公共ネットワークを介して、他のデータ処理システム、ストレージデバイス、リモートプリンタなどに結合されるようになることを可能にするために、システムに結合することができる。ワイヤレス（例えば、Ｗｉ−Ｆｉ（登録商標））トランシーバ、Ｅｔｈｅｒｎｅｔアダプタ、およびモデムは、ネットワークアダプタのほんの数例にすぎない。専用ネットワークおよび公共ネットワークは、任意の数の構成および／またはトポロジーを有する場合がある。データは、例えば、様々なインターネットレイヤ、トランスポートレイヤ、またはアプリケーションレイヤのプロトコルを含む、様々な異なる通信プロトコルを使用して、ネットワークを介してこれらのデバイス間で送信することができる。例えば、データは、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、伝送制御プロトコル（ＴＣＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、セキュアハイパーテキスト転送プロトコル（ＨＴＴＰＳ）、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）、リアルタイムストリーミングプロトコル（ＲＴＳＰ）、リアルタイム転送プロトコル（ＲＴＰ）およびリアルタイム転送制御プロトコル（ＲＴＣＰ）、ボイスオーバーインターネットプロトコル（ＶＯＩＰ）、ファイル転送プロトコル（ＦＴＰ）、ウェブソケット（ＷＳ）、ワイヤレスアクセスプロトコル（ＷＡＰ）、様々なメッセージングプロトコル（ＳＭＳ、ＭＭＳ、ＸＭＳ、ＩＭＡＰ、ＳＭＴＰ、ＰＯＰ、ＷｅｂＤＡＶなど）、または他の既知のプロトコルを使用して、ネットワークを介して送信される場合がある。
【００９３】
最後に、本明細書に提示された構造、アルゴリズム、および／またはインターフェースは、任意の特定のコンピュータまたは他の装置に本質的に関係しない。様々な汎用システムは、本明細書における教示によるプログラムとともに使用される場合があるか、または必要な方法ブロックを実施するためにより特化した装置を構築することが好都合であると証明する場合がある。様々なこれらのシステムに必要な構造は、上記の説明から明らかになる。加えて、本明細書は、いかなる特定のプログラミング言語も参照して記載されていない。本明細書に記載された明細書の教示を実装するために、様々なプログラミング言語を使用できることが諒解されよう。
【００９４】
上記の発明を実施するための形態は、例示および説明の目的で提示されている。本明細書を開示されたそのままの形態に徹底または限定するものではない。上記の教示に照らして、多くの修正形態または変形形態が可能である。本開示の範囲は、この発明を実施するための形態によって限定されず、むしろ本出願の特許請求の範囲によって限定されるものである。当業者によって理解されるように、本明細書は、その趣旨または本質的な特性から逸脱することなく、他の固有の形態で具現化される場合がある。同様に、モジュール、ルーチン、特徴、属性、方法、および他の態様の特定の命名および分割は、必須または重要ではなく、本明細書またはその特徴を実装するメカニズムは、様々な名称、分割、および／またはフォーマットを有する場合がある。
【００９５】
さらに、本開示のモジュール、ルーチン、特徴、属性、方法、および他の態様は、ソフトウェア、ハードウェア、ファームウェア、または上記の任意の組合せとして実装することができる。また、その例がモジュールである本明細書の構成要素がソフトウェアとして実装される場合はいつでも、構成要素は、スタンドアロンプログラムとして、より大きいプログラムの一部として、複数の別々のプログラムとして、静的もしくは動的にリンクされたライブラリとして、カーネルのロード可能なモジュールとして、デバイスドライバとして、ならびに／または、現在知られているか、もしくは将来知られるすべておよび任意の他の方法で、実装することができる。加えて、本開示は、任意の固有のプログラミング言語における、または任意の固有のオペレーティングシステムもしくは動作環境のための
実装に少しも限定されない。
【図１】
2017157201.tif 000007
【図２Ａ】
2017157201.tif 000008
【図２Ｂ】
2017157201.tif 000009
【図３】
2017157201.tif 000010
【図４】
2017157201.tif 000011
【図５】
2017157201.tif 000012
【図６】
2017157201.tif 000013
【図７】
2017157201.tif 000014
【図８】
2017157201.tif 000015
【図９】
2017157201.tif 000016