(57)【要約】  深度センサをトリガし、かつ/または帯域幅を制限し、かつ/またはプライバシーを維持するためのシステム、装置、および方法が提示される。深度センサの使用を、単に光学画像が不十分であるときに制限することにより、モバイルデバイスの電力が節約される。さらに、光学画像のサイズを、オブジェクトを検出するのに必要な画像の部分だけに減少させることにより不必要または所望でない情報を通信しないことによって、帯域幅が節約されプライバシーが維持される。
2017506840.tif 000002
【特許請求の範囲】
【請求項１】
モバイルデバイスにおいて、深度センサをトリガするための方法であって、
画像検知デバイスで画像をキャプチャするステップと、
前記画像内のオブジェクトをサーチするために前記画像のうちの少なくとも一部をサーバに送るステップと、
十分な確実性をもって前記オブジェクトが前記画像中に見いだされなかったことを示す表示を受け取るステップと、
前記深度センサを有効にして深度情報をキャプチャするステップと、
前記深度情報を深度マップへと変換するステップと、
前記深度マップのうちの少なくとも一部を前記サーバに送るステップと
を含む方法。
【請求項２】
前記深度センサを無効にするステップをさらに含む、請求項1に記載の方法。
【請求項３】
前記深度マップのうちの前記少なくとも一部を前記サーバに送るステップが、
少なくとも部分的に前記深度マップに基づいて、前記深度マップを部分的な深度マップへと解析するステップと、
前記サーバに前記部分的な深度マップを送るステップと
を含む、請求項1に記載の方法。
【請求項４】
前記深度マップのうちの前記少なくとも一部を前記サーバに送るステップが、
より新しい画像をキャプチャするステップと、
前記サーバに前記より新しい画像および前記深度マップのうちの前記少なくとも一部を送るステップと
を含む、請求項1に記載の方法。
【請求項５】
前記深度センサが赤外線深度センサを備える、請求項1に記載の方法。
【請求項６】
深度センサをトリガするためのモバイルデバイスであって、
画像をキャプチャする画像検知デバイスと、
前記画像内のオブジェクトをサーチするために、前記画像のうちの少なくとも一部をサーバに送る送信器と、
十分な確実性をもって前記オブジェクトが見いだされなかったことを示す表示を受け取る受信器と、
深度情報をキャプチャする前記深度センサと、
前記画像検知デバイス、前記送信器、前記受信器、および前記深度センサに結合されるプロセッサと
を備え、前記プロセッサが、
前記深度センサを有効にし、
前記深度情報を深度マップへと変換し、
前記深度マップのうちの少なくとも一部を前記サーバに送信する
ように構成される、モバイルデバイス。
【請求項７】
前記プロセッサが、前記深度センサを無効にするようにさらに構成される、請求項6に記載のモバイルデバイス。
【請求項８】
前記プロセッサが、
少なくとも部分的に前記深度マップに基づいて、前記深度マップを部分的な深度マップへと解析するようにさらに構成され、
前記送信器が前記サーバに前記部分的な深度マップをさらに送る、請求項6に記載のモバイルデバイス。
【請求項９】
前記画像検知デバイスが、
より新しい画像をキャプチャするようにさらに構成され、
前記送信器が、前記サーバに前記より新しい画像および前記深度マップのうちの前記少なくとも一部をさらに送る、請求項6に記載のモバイルデバイス。
【請求項１０】
前記深度センサが赤外線深度センサを備える、請求項6に記載のモバイルデバイス。
【請求項１１】
深度センサをトリガするためのモバイルデバイスであって、
画像検知デバイスで画像をキャプチャするための手段と、
前記画像内のオブジェクトをサーチするために、前記画像のうちの少なくとも一部をサーバに送るための手段と、
十分な確実性をもって前記オブジェクトが前記画像中に見いだされなかったことを示す表示を受け取るための手段と、
前記深度センサを有効にして深度情報をキャプチャするための手段と、
前記深度情報を深度マップへと変換するための手段と、
前記深度マップのうちの少なくとも一部を前記サーバに送るための手段と
を備える、モバイルデバイス。
【請求項１２】
前記深度センサを無効にするための手段をさらに備える、請求項11に記載のモバイルデバイス。
【請求項１３】
前記深度マップのうちの前記少なくとも一部を前記サーバに送るための前記手段が、
少なくとも部分的に前記深度マップに基づいて、前記深度マップを部分的な深度マップへと解析するための手段と、
前記サーバに前記部分的な深度マップを送るための手段と
を備える、請求項11に記載のモバイルデバイス。
【請求項１４】
前記深度マップのうちの前記少なくとも一部を前記サーバに送るための手段が、
より新しい画像をキャプチャするための手段と、
前記サーバに前記より新しい画像および前記深度マップのうちの前記少なくとも一部を送るための手段と
を備える、請求項11に記載のモバイルデバイス。
【請求項１５】
前記深度センサが赤外線深度センサを備える、請求項11に記載のモバイルデバイス。
【請求項１６】
モバイルデバイスが深度センサをトリガするための非過渡的コンピュータ可読記憶媒体であって、そこに記憶されるプログラムコードを含み、
画像検知デバイスで画像をキャプチャするステップ、
前記画像内のオブジェクトをサーチするために前記画像のうちの少なくとも一部をサーバに送るステップ、
十分な確実性をもって前記オブジェクトが前記画像中に見いだされなかったことを示す表示を受け取るステップ、
前記深度センサを有効にして深度情報をキャプチャするステップ、
前記深度情報を深度マップへと変換するステップ、および
前記深度マップのうちの少なくとも一部を前記サーバに送るステップ
のためのプログラムコードを含む、非過渡的コンピュータ可読記憶媒体。
【請求項１７】
前記プログラムコードが前記深度センサを無効にするステップのためのプログラムコードをさらに含む、請求項16に記載の非過渡的コンピュータ可読記憶媒体。
【請求項１８】
前記深度マップのうちの前記少なくとも一部を前記サーバに送るステップのための前記プログラムコードが、
少なくとも部分的に前記深度マップに基づいて、前記深度マップを部分的な深度マップへと解析するステップ、および
前記サーバに前記部分的な深度マップを送るステップ
のためのプログラムコードを含む、請求項16に記載の非過渡的コンピュータ可読記憶媒体。
【請求項１９】
前記深度マップのうちの前記少なくとも一部を前記サーバに送るステップのための前記プログラムコードが、
より新しい画像をキャプチャするステップと、
前記サーバに前記より新しい画像および前記深度マップのうちの前記少なくとも一部を送るステップと
を含む、請求項16に記載の非過渡的コンピュータ可読記憶媒体。
【請求項２０】
前記深度センサが赤外線深度センサを備える、請求項16に記載の非過渡的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、2014年8月15日に出願された「Strategies for triggering depth sensors and transmitting RGBD images in a cloud-based object recognition system」と題する米国特許出願第14/461,000号の利益および優先権を主張し、その出願は2013年11月27日に出願された「Strategies for triggering depth sensors and transmitting RGBD images in a cloud-based object recognition system」と題する米国仮特許出願第61/909,963号の利益および優先権を米国特許法第119条の下で主張し、参照により本明細書にその両方が全体として組み込まれる。
【０００２】
本開示は、一般的に、深度センサシステム、装置、および方法に関し、より詳細には、モバイルデバイスの深度センサをいつ使用するかを決定すること、および/またはモバイルデバイスから送られる画像の帯域幅を最小化することに関する。
【背景技術】
【０００３】
モバイル電話および他のモバイルデバイスは、1つまたは複数の画像センサ、画像検知デバイス、慣性センサ、磁気コンパス、およびGNSSセンサなどのいくつかのセンサを含む場合がある。光学式カメラなどの画像検知デバイスは、1つまたは複数の前面および/または背面カメラを含む場合がある。慣性センサは、加速度計および/またはジャイロスコープを含む場合がある。GNSSセンサは、GPS受信器を含む場合がある。将来のモバイルデバイスは、Kinect深度センサおよび/または構造化光センサを含む場合もある。電力最適化および小型化の進歩によって、そのようなセンサを備えるモバイルデバイスの可能性がより高くなる。
【０００４】
Kinect深度センサは、一緒に働く、赤外線プロジェクタおよびCMOS(相補型金属酸化膜半導体)センサなどの単色受信器を含む。赤外線プロジェクタは、既知パターンを送信する。単色受信器は、オブジェクトがどこに配置され、どのくらいの距離に置かれるのかを決定するために使用できる、反射赤外線画像を受け取る。
【０００５】
構造化光センサは、オブジェクト上に予め定められた光パターンを送信する。同時に、1つまたは複数の画像センサが、近くにあるオブジェクトから反射される光パターンを観測する。戻って反射されるパターンは、モバイルデバイスとオブジェクトとの間の距離が変化するにつれて変わる。したがって、戻って反射されるパターンは、オブジェクトがどこに配置され、どのくらいの距離に置かれるのかを決定するために、やはり使用することができる。
【０００６】
そのようなセンサは、モバイルデバイスが、深度のスナップ画像を撮ることをいつでも可能にするが、信号を送信するために著しく電力が必要になる。この信号は、次いで、モバイルデバイスに戻して反射されて受け取られ、このことによって追加の電力が必要になる。さらに、大量の帯域幅を占有して、クラウドベースのオブジェクト検出のために画像を送信する。加えて、部分画像と比較して、オブジェクトについての画像を受け取り、通してサーチするときに、サーチ時間が著しく長い。さらに、プライバシー情報が、画像中に露呈する可能性がある。たとえば、画像の背景が、画像を撮る人物の位置を明らかにする可能性がある。必要とされるのは、オブジェクト検出および認識時間を改善し、一方、より少ない帯域幅、画像処理電力を使用し、かつ/またはプライバシーを増加する方法である。
【発明の概要】
【課題を解決するための手段】
【０００７】
電力消費を減少し、帯域幅を減少し、かつ/またはプライバシーを増加するためのシステム、装置、および方法が開示される。
【０００８】
いくつかの態様によれば、モバイルデバイスにおいて、深度センサをトリガするための方法が開示され、方法は、画像検知デバイスで画像をキャプチャするステップと、画像内のオブジェクトをサーチするために画像のうちの少なくとも一部をサーバに送るステップと、十分な確実性をもってオブジェクトが画像中に見いだされなかったことを示す表示を受け取るステップと、深度センサを有効にして深度情報をキャプチャするステップと、深度情報を深度マップへと変換するステップと、深度マップのうちの少なくとも一部をサーバに送るステップとを含む。
【０００９】
いくつかの態様によれば、深度センサをトリガするためのモバイルデバイスが開示され、モバイルデバイスは、画像をキャプチャする画像検知デバイスと、画像内のオブジェクトをサーチするために、画像のうちの少なくとも一部をサーバに送る送信器と、十分な確実性をもってオブジェクトが見いだされなかったことを示す表示を受け取る受信器と、深度情報をキャプチャする深度センサと、画像検知デバイス、送信器、受信器、および深度センサに結合されるプロセッサとを備え、プロセッサが、深度センサを有効にし、深度情報を深度マップへと変換し、深度マップのうちの少なくとも一部をサーバに送信するように構成される。
【００１０】
いくつかの態様によれば、深度センサをトリガするためのモバイルデバイスが開示され、モバイルデバイスは、画像検知デバイスで画像をキャプチャするための手段と、画像内のオブジェクトをサーチするために画像のうちの少なくとも一部をサーバに送るための手段と、十分な確実性をもってオブジェクトが画像中に見いだされなかったことを示す表示を受け取るための手段と、深度センサを有効にして深度情報をキャプチャするための手段と、深度情報を深度マップへと変換するための手段と、深度マップのうちの少なくとも一部をサーバに送るための手段とを含む。
【００１１】
いくつかの態様によれば、モバイルデバイスが深度センサをトリガするための非過渡的コンピュータ可読記憶媒体が開示され、そこに記憶されるプログラムコードを含み、画像検知デバイスで画像をキャプチャするステップ、画像内のオブジェクトをサーチするために画像のうちの少なくとも一部をサーバに送るステップ、十分な確実性をもってオブジェクトが画像中に見いだされなかったことを示す表示を受け取るステップ、深度センサを有効にするステップ、深度情報をキャプチャするステップ、深度情報を深度マップへと変換するステップ、および深度マップのうちの少なくとも一部をサーバに送るステップのためのプログラムコードを含む。
【００１２】
他の態様は、当業者には以下の詳細な記載から容易に明らかとなることが理解されよう。ここで、以下の詳細な記載は、様々な態様を例として示し記載する。図面および詳細な記載は、本質的に例示と見なされるべきであり、限定と見なされるべきではない。
【００１３】
本発明の実施形態は、図面を参照して、例のためにのみ記載されることになる。
【図面の簡単な説明】
【００１４】
【図１】オブジェクトをサーチするために、モバイルデバイスとリモートサーバとの間で画像を通信する方法を図示する図である。
【図２】モバイルデバイスとリモートサーバとの間で、対応する深度マップを有する画像を通信する方法を図示する図である。
【図３】本発明のいくつかの実施形態に従い、オブジェクトを検出できないとき、またはオブジェクトが光学画像中に低い信頼性で検出されるときにのみ、深度マップまたは部分的な深度マップを送る方法を示す図である。
【図４】本発明のいくつかの実施形態に従い、オブジェクトを検出できないとき、またはオブジェクトが光学画像中に低い信頼性で検出されるときにのみ、深度マップまたは部分的な深度マップを送る方法を示す図である。
【図５】本発明のいくつかの実施形態に従い、オブジェクトを検出できないとき、またはオブジェクトが光学画像中に低い信頼性で検出されるときにのみ、深度マップまたは部分的な深度マップを送る方法を示す図である。
【図６】本発明のいくつかの実施形態に従い、オブジェクトを検出できないとき、またはオブジェクトが光学画像中に低い信頼性で検出されるときにのみ、深度マップまたは部分的な深度マップを送る方法を示す図である。
【図７】本発明のいくつかの実施形態に従い、深度マップに基づいて、画像および/または深度マップを制限する方法を示す図である。
【図８】本発明のいくつかの実施形態に従い、深度マップに基づいて、画像および/または深度マップを制限する方法を示す図である。
【図９】本発明のいくつかの実施形態に従い、深度マップに基づいて、画像および/または深度マップを制限する方法を示す図である。
【図１０】本発明のいくつかの実施形態に従い、深度マップに基づいて、画像および/または深度マップを制限する方法を示す図である。
【図１１】本発明のいくつかの実施形態に従う、サーバを使用することがないモバイルデバイスにおける方法を図示する図である。
【図１２】本発明のいくつかの実施形態に従う、モバイルデバイスを示す図である。
【図１３】本発明のいくつかの実施形態に従う、サーバを示す図である。
【図１４】本発明のいくつかの実施形態に従う、深度センサをトリガするための、モバイルデバイスにおける方法を図示する図である。
【発明を実施するための形態】
【００１５】
添付された図面に関連して下に記載される詳細な説明は、本開示の様々な態様の説明として意図されており、本開示が実施され得る唯一の態様を表すことは意図されていない。本開示において説明される各態様は、単に本開示の例または例示として提供されており、必ずしも他の態様より好ましいまたは有利であると解釈されるべきではない。詳細な説明は、本開示を完全に理解してもらうために、具体的な細部を含む。しかしながら、これらの特定の細部を用いることなく本開示を実践できることは、当業者には明らかであろう。場合によっては、本開示の概念を曖昧にするのを避けるために、周知の構造およびデバイスがブロック図の形で示される。頭字語および他の説明的な用語法は、単に便宜的に、そして明確にするために使用される場合があり、本開示の範囲を限定することは意図していない。
【００１６】
本明細書で使用するモバイルデバイスは、セルラー電話、モバイルフォンもしくは他のワイヤレス通信デバイス、個人通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報管理器(PIM)、携帯情報端末(PDA)、ラップトップ、またはワイヤレス通信および/もしくはナビゲーション信号を受信することが可能な他の好適なモバイルデバイスなどの、移動局(MS)もしくはユーザ機器(UE)と呼ばれることがある。「モバイルデバイス」という用語は、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、またはパーソナルナビゲーションデバイス(PND)において行われるかにかかわらず、短距離ワイヤレス、赤外線、有線接続、または他の接続などによって、PNDと通信するデバイスを含むことも意図している。また、「モバイルデバイス」とは、衛星信号の受信、支援データの受信、および/または位置関連処理がデバイス、サーバ、またはネットワークに関係する他のデバイスで発生するかどうかにかかわらず、インターネット、WiFi、または他のネットワークを介してなどでサーバと通信することが可能である、ワイヤレス通信デバイス、コンピュータ、ラップトップ、タブレット、ヘッドマウントディスプレイ、ウェアラブルコンピューティングデバイスなどを含むすべてのデバイスを含むことが意図される。上記の任意の動作可能な組合せも、「モバイルデバイス」と見なされる。
【００１７】
(光学式カメラなど)画像検知デバイスからのカラー画像(赤-緑-青画像またはRGB画像)および(深度検知デバイスから処理された)深度マップ(D)が同時に提示され、RGB-DまたはRGBD画像を形成することができる。深度検知デバイスまたは深度センサからの深度情報が、深度マップ(D)へと処理される。画像は、光学画像、2次元(2-D)画像、RGB画像などをやはり含む。オブジェクトは、たとえば拡張現実(AR)アプリケーションでの対応する深度マップ(D)に基づいて、RGB画像においてより容易かつ迅速に見いだすことができる。以前に記載したように、深度センサは、深度マップ(D)を形成するために戻して反射される信号を送信するためにかなりの量の電力を使用する。したがって、開示されるものは、モバイルデバイス上の深度センサの使用を、光学画像が不十分であるときに制限するシステム、装置、および方法である。さらに、開示されるものは、モバイルデバイスまたはクラウド内のリモートサーバによってオブジェクトを検出するために必要な画像の部分だけに、光学画像の帯域幅を減少させるシステム、装置、および方法である。
【００１８】
図1は、オブジェクトをサーチするために、モバイルデバイス100とリモートサーバ200との間で画像を通信する方法110を図示する。リモートサーバ200は、クラウドベースのオブジェクト認識システムであってよい。いくつかの方法は、特定のオブジェクトを見いだすために、サーバ200に深度センサ情報を使用することなく画像全体を通信することができる。この場合、120において、モバイルデバイス100が光学画像をキャプチャする。さらに、モバイルデバイス100のカメラまたは他の画像検知デバイスが、画像をキャプチャするための手段としての役割を果たす。130において、モバイルデバイス100が画像を送り、リモートサーバ200が画像を受け取る。モバイルデバイス100の送受信器または送信器が、オブジェクトをサーチするために、サーバ200に画像を送るための手段としての役割を果たす。サーバ200の送受信器または受信器が、モバイルデバイス100から画像を受け取るための手段としての役割を果たす。140において、サーバ200は、画像内のオブジェクトをサーチする。サーバ200のプロセッサが、画像内のオブジェクトをサーチするための手段としての役割を果たす。150において、この例では、オブジェクトが画像中に検出されなかったことを示す、否定応答を含む結果を、サーバ200が送り、モバイルデバイス100が受け取る。サーバ200の送受信器または送信器が、オブジェクトが画像中に見いだされなかったことを示す否定応答を送るための手段としての役割を果たす。モバイルデバイス100の送受信器または受信器が、(オブジェクトが画像中に見いだされなかったことを示す)否定応答または(オブジェクトが画像中に見いだされたが、閾値を超える高い不確実性または低い信頼性を有することを示す)部分応答を受け取るための手段としての役割を果たす。いくつかの実施形態では、深度センサは、オブジェクトをより高い確実性を有して検出するために使用することができる。
【００１９】
図2は、モバイルデバイス100とリモートサーバ200との間で、対応する深度マップを有する画像を通信する方法210を図示する。画像は、光学画像、可視画像、紫外線画像、赤外線画像などであってよい。220において、モバイルデバイス100が、画像センサで画像を、深度センサで深度マップ(D)をキャプチャし、両方が同じオブジェクトを含む。230において、モバイルデバイス100が、画像および深度マップ(D)の両方をサーバ200に通信する。240において、サーバ200が、画像および/または深度マップ(D)を使用してオブジェクトをサーチする。たとえば、サーチは、深度マップ(D)での予備サーチに基づいて画像において生じてよい。サーチは、画像においての予備サーチに基づいて深度マップ(D)において生じてよい。サーチは、オブジェクトと画像および/または深度マップ(D)との相関として生じてよい。250において、サーバ200は、この場合は、サーバ200が深度マップ(D)に基づいて画像においてオブジェクトを見いだしたことを示す肯定応答である、サーチ結果を通信する。各画像で深度マップ(D)をキャプチャするために深度センサを使用する場合、過剰な電力を使用する可能性がある。また、画像全体および深度マップを通信する場合、過剰な帯域幅を使用する可能性がある。
【００２０】
図3〜図6は、本発明のいくつかの実施形態に従い、オブジェクトを検出できないとき、またはオブジェクトが画像中に低い信頼性で検出されるときにのみ、深度マップまたは部分的な深度マップを送る方法を示す。
【００２１】
図3では、方法300は、オブジェクトが画像をサーチすることにより検出できない、または低い信頼性で検出されるときにのみ深度マップ(D)を送る。310において、モバイルデバイス100が画像をキャプチャする。320において、モバイルデバイス100からサーバ200に画像が通信される。あるいは、モバイルデバイス100が、下に記載されるサーバ200の機能を実施する場合がある。これらの場合、モバイルデバイス100は、サーバ200において実施されると記される動作を実施し、モバイルデバイス100とサーバ200との間でメッセージを送受信しない。
【００２２】
330において、サーバ200は、オブジェクトをサーチするが、この例ではオブジェクトを見いだすことができない。オブジェクトは、特定の人物の顔など、予め定められてよく、またはオブジェクトは、任意の顔などより一般的であってよい。340において、サーチの結果が、サーバ200からモバイルデバイス100に通信される。この例では、サーバ200は、モバイルデバイス100に(画像中に特定のオブジェクトが見いだされなかったことを示す)否定応答を戻して送る。サーバ200は、(画像中に特定のオブジェクトが見いだされたが、十分な信頼性がない、または不確実性が高すぎることを示す)低い信頼値を有する肯定応答を同等に送る場合がある。サーバ200が十分に高い確実性を有するオブジェクトを見いだす場合、サーバ200は、肯定応答を送ることができ、モバイルデバイス100は、深度センサのトリガを省くことができる。
【００２３】
350において、モバイルデバイス100は、否定応答に基づいて深度センサをトリガする。すなわち、モバイルデバイス100は、深度センサを有効にして、カメラによりキャプチャされたものと同じオブジェクトを含む深度マップ(D)を深度センサでキャプチャする。モバイルデバイス100は、深度マップ(D)により密接に対応した新しい画像を、常にまたは任意選択でキャプチャすることができる。深度マップ(D)をキャプチャした後、モバイルデバイス100は、深度センサを無効にする。有効にするステップ、キャプチャするステップ、および無効にするステップのシーケンスは、否定応答または高い不確実性を有する肯定応答を受け取ることに基づく。応答を受け取る受信器または送受信器は、深度マップ(D)をキャプチャするように深度センサをトリガするための手段としての役割を果たす。深度センサをトリガすることにより、モバイルデバイス100は、深度センサが深度マップ(D)をキャプチャするために使用される期間の間のみ、深度センサを有効にして作動させる。深度センサが深度マップ(D)を一度キャプチャしたら、深度センサは、電池の電力を節約するために無効にされる。
【００２４】
360において、深度マップ(D)は、モバイルデバイス100からサーバ200に通信される。モバイルデバイス100が深度マップ(D)により密接に対応した新しい画像をキャプチャする実施形態では、モバイルデバイス100が新しい画像を送る場合もある。モバイルデバイス100の送受信器または送信器が、サーバ200に深度マップ(D)を送るための手段としての役割を果たす。サーバ200の送受信器または受信器が、サーバ200において深度マップ(D)を受け取るための手段としての役割を果たす。370において、サーバ200は、(320において受け取った)元の画像または(360において受け取った)新しい画像内のオブジェクトをサーチするが、今回は、360からの深度マップを使用する。380において、結果が、サーバ200からモバイルデバイス100に通信される。この例では、結果は、画像内のオブジェクトをサーチが見いだしたことを示す肯定応答を含む。
【００２５】
図4は、部分的な深度マップを使用する方法400を示す。410において、モバイルデバイス100が画像をキャプチャする。420において、モバイルデバイス100からサーバ200に画像が通信される。430において、サーバ200は、画像内で既知の顔または一般的な顔などのオブジェクトをサーチする。440において、結果が、サーバ200からモバイルデバイス100に否定応答として通信される。この例では、応答は、サーチがオブジェクトを見いだせなかったことを示す否定応答であり、あるいは、応答は、サーチがオブジェクトを見いだしたが不十分な確実性を有することを示す肯定応答であった可能性がある。
【００２６】
450において、モバイルデバイス100は、440において受け取った否定応答に基づいて、深度センサを有効にして、深度マップ(D)を深度センサでキャプチャし、深度センサを無効にする。460において、モバイルデバイス100は、深度マップ自体に基づいて深度マップ(D)を解析し、そのことによって、部分的な深度マップ(D')がもたらされる。
【００２７】
モバイルデバイス100のプロセッサは、深度マップ(D)を、深度マップ自体に基づく部分的な深度マップ(D')へと解析するための手段としての役割を果たす。たとえば、深度マップ(D)を解析するために、SLAMなどを使用することができる。あるいは、深度マップ(D)のエッジまたは元の画像中のエッジを、深度マップ(D)を解析するために使用することができる。あるいは、部分的な深度マップ(D')が、固定範囲の深度のみを含む。たとえば、部分的な深度マップ(D')は、固定範囲内(たとえば、深度センサから1メートル以内)の深度測定値を含み、固定範囲の外側の深度測定値を除外する場合がある。あるいは、部分的な深度マップ(D')は、中間の範囲(たとえば、0.5メートルから2メートル)の深度測定値のみを含み、この中間の範囲の外側の深度測定値を除外する場合がある。あるいは、部分的な深度マップ(D')は、固定距離を超える(たとえば、2メートルより遠い)深度測定値を含み、この固定距離よりも近い深度測定値を除外する場合がある。
【００２８】
いくつかの実施形態では、特定のオブジェクトまたはプライベートな情報(人間の顔、人間の頭、人間の輪郭、テキスト、またはナンバープレートなど)は、モバイルデバイス100により検出されるが、部分的な深度マップ(D')、(410においてキャプチャされる)画像および/または部分的な画像からは、覆い隠される、さもなければ除外される。このやり方では、完全な深度マップにキャプチャされる特定の部屋またはある種の建造物の情報など、位置識別情報を除外することによって、部分的な深度マップにおいてプライバシーが維持される。プライバシーを維持することに加えて、完全な深度マップ(D)と比較して、部分的な深度マップ(D')を送るために、より狭い帯域幅が必要となる。
【００２９】
470において、部分的な深度マップ(D')は、モバイルデバイス100からサーバ200に通信される。モバイルデバイス100の送信器または送受信器は、オブジェクトをサーチするため、部分的な深度マップ(D')をサーバ200に送るための手段としての役割を果たす。上に議論したように、オブジェクトは、具体的(すなわち、特定の人物の顔のように事前に知られている)または一般的(すなわち、すべての顔または任意のナンバープレートのように一般的)のいずれかであってよい。サーバ200の受信器または送受信器が、モバイルデバイス100から部分的な深度マップ(D')を受け取るための手段としての役割を果たす。いくつかの実施形態では、410においてキャプチャされる画像よりも深度マップ(D)により良好に一致する新しい画像を、450においてキャプチャすることができる。なぜならば、新しい画像は、部分的な深度マップ(D')と時間的により近くキャプチャされ、したがって、部分的な深度マップ(D')とより密接に相関することができるからである。これらの実施形態では、新しい画像または新しい画像の部分を、470において、部分的な深度とともに送ることができる。
【００３０】
部分的な深度マップ(D')は、ユーザ構成可能なパラメータ、ユーザの環境の識別情報の存在など、1つまたは複数の要因に依存する場合がある。480において、サーバ200は、(420から受け取った)画像、または(470から受け取った)新しい画像もしくは部分的な画像においてオブジェクトを再びサーチするが、今回は、部分的な深度マップ(D')を使用する。サーバ200のプロセッサは、部分的な深度マップ(D')に基づいて、再びオブジェクトをサーチするための手段としての役割を果たす。490において、この場合、オブジェクトが見いだされたことを示す肯定応答で、結果がサーバ200からモバイルデバイス100に通信される。
【００３１】
画像および/または深度マップ(D)の解析は、閾値の一定の範囲で発生することができる。たとえば、一定の範囲は、閾値距離よりも短い深度を含む(または除外する)場合がある(0<distance<Th1)。あるいは、一定の範囲は、第1の閾値距離と第2の閾値距離との間のすべての要素を含む(または除外する)場合がある(Th1<distance<Th2)。あるいは、一定の範囲は、閾値距離よりも長いすべての要素を含む(または除外する)場合がある(Th2<distance<∞)。事前にまたは動的に、閾値(Th1および/またはTh2)を選択することができる。たとえば、閾値は、一定の割合の距離を含むが他の距離を除外する(たとえば、最も近い20%および最も遠い30%を除外し、中間の50%を含む)ように動的に設定することができる。一定の範囲内の1つまたは複数の要素が、画像の単一の部分(たとえば、最も大きい部分)を占有することができる。あるいは、一定の範囲内の要素が、画像の1つよりも多いばらばらな部分を占有することができる。
【００３２】
図5では、モバイルデバイス100は、図3および図4の方法500を実施する。510において、モバイルデバイス100は、画像センサで画像をキャプチャする。520において、モバイルデバイス100は、オブジェクトをサーチするために、サーバ200に画像を送る。530において、モバイルデバイス100は、否定応答を受け取る。応答は、オブジェクトが見いだされなかったことを示す否定応答、あるいは、オブジェクトが見いだされたが不十分な確実性を有するまたは高い不確実性を有することを示す応答のいずれかである。540において、モバイルデバイス100は、否定応答または高い不確実性の表示を受け取ることに基づいて、深度センサで深度マップ(D)をキャプチャする。この点において、実施形態は、550またはその代わりに560および570のいずれかに進み、次いで580において再び一緒になる。
【００３３】
540から550に続く実施形態における550において、モバイルデバイス100は、今回は深度マップ(D)を使用して再びオブジェクトをサーチするために、サーバ200に深度マップ(D)を送る。これらの実施形態は、次いで580に続く。540から560に続く他の実施形態における560において、モバイルデバイス100は、深度マップ(D)自体に基づいて深度マップ(D)を解析し、それにより、部分的な深度マップ(D')がもたらされる。570において、モバイルデバイス100は、オブジェクトを見いだすために、サーバ200に部分的な深度マップ(D')を送る。570において、モバイルデバイス100は、部分的な深度マップ(D')を送る。両方の場合で、新しい画像をキャプチャし、深度マップ(D)または部分的な深度マップ(D')とともに送ることができる。580において、モバイルデバイス100は、この例では、オブジェクトが見いだされたことを示す肯定応答を受け取る。
【００３４】
図6では、サーバ200は、図3および図4の方法600を実施する。610において、サーバ200が、モバイルデバイス100から画像を受け取る。620において、サーバ200が、画像内のオブジェクトをサーチする。630において、サーバ200は、オブジェクトが画像中に見いだされなかったことを示す否定応答、またはオブジェクトが見いだされたが不十分な確実性を有することを示す応答を送る。この点で、実施形態は、640および650に進むか、または660および670に進み、その後680で再び合流する。
【００３５】
640において、サーバ200は、モバイルデバイス100から応答に応答して送られる深度マップ(D)を受け取る。この点において、サーバ200は、上に示されたように新しい画像を受け取ることもできる。650において、サーバ200が、深度マップを使用してオブジェクトをサーチする。いくつかの実施形態では、660において、サーバ200は、モバイルデバイス100から部分的な深度マップ(D')を代わりに受け取る。さらに、サーバ200は、610において受け取った画像よりも深度マップ(D)とより密接に相関することができる新しい画像を受け取ることもできる。応答に基づいて、モバイルデバイス100から部分的な深度マップ(D')が送られる。670において、サーバ200が、部分的な深度マップ(D')を使用してオブジェクトをサーチする。680において、全深度マップまたは部分的な深度マップを使用するサーチの結果のいずれかに基づいて、サーバ200は、この例では、画像においてオブジェクトが見いだされたことを示す肯定応答を送る。
【００３６】
図7〜図10は、本発明のいくつかの実施形態に従い、深度マップ(D)に基づいて、画像および/または深度マップ(D)を制限する方法を示す。図7では、方法700が示される。710において、モバイルデバイス100は、画像センサで画像を、深度センサで深度マップ(D)をキャプチャする。画像は、カラー画像(RGB画像)であってよく、深度マップ(D)は、単色画像であってよい。720において、モバイルデバイス100は、深度マップ(D)に基づいて画像を解析し、部分的な画像がもたらされる。730において、モバイルデバイス100は、サーバ200に部分的な画像のみを通信する。あるいは、モバイルデバイス100は、図8に示されるように、サーバ200に部分的な画像および部分的な深度マップ(D')のみを通信する場合がある。740において、サーバ200は、部分的な画像内でオブジェクトをサーチする。
【００３７】
730において画像全体ではなく部分的な画像のみを通信することにより、帯域幅のリソース、送信時間、および送信電力が節約される。さらに、部分的な画像は、上に示されたように、より良好にプライバシーを維持することができる。さらに、740において、画像全体ではなく部分的な画像をのみサーチすることにより、より小さい画像上でサーチを実施するため、時間を節約することができる。プライバシー問題のために部分的な画像が通信される場合、サーバ200は、ユーザの位置または環境を決定できなくてよく、または他の識別マーカを受け取らなくてよい。
【００３８】
いくつかの実施形態では、モバイルデバイスにおいて深度センサをトリガするための方法が開示される。方法は、画像検知デバイスで画像をキャプチャするステップと、深度センサを有効にするステップと、深度情報をキャプチャして深度センサを無効にするステップと、深度情報を深度マップへと変換するステップと、深度マップに基づいて画像を解析し部分的な画像をもたらすステップと、部分的な画像内のオブジェクトをサーチするために部分的な画像をサーバに送るステップとを含む。実施形態は、深度マップまたは部分的な深度マップを送ることもできる。そのような様式では、人間の顔、人間の頭、人間の輪郭、テキスト、またはナンバープレートなどのプライベートな情報を除外することにより、プライバシーを維持することができる。
【００３９】
図8では、方法800において、部分的な画像および対応する部分的な深度マップ(D')の両方が通信される。810において、モバイルデバイス100は、画像センサで画像を、深度センサで深度マップ(D)をキャプチャする。820において、モバイルデバイス100は、深度マップ(D)に基づいて画像および深度マップ(D)を解析し、部分的な画像および部分的な深度マップ(D')がもたらされる。830において、モバイルデバイス100が、部分的な画像および部分的な深度マップ(D')をサーバ200に通信する。840において、サーバ200は、部分的な深度マップ(D')に基づいて、部分的な画像においてオブジェクトをサーチする。サーバ200に部分的な画像および部分的な深度マップ(D')の両方を提供することによって、サーバ200は、モバイルデバイス100が行うことができるよりも厳しい試験または網羅的な試験を実施することができる。また、部分的な画像および部分的な深度マップ(D')を提供することによって、プライバシーを維持することができる。
【００４０】
図9では、モバイルデバイス100は、図7および図8の方法900を実施する。910において、モバイルデバイス100は、画像センサで画像を、深度センサで深度マップ(D)を、両方ともキャプチャする。いくつかの実施形態では、処理は、920および930に続き、一方他の実施形態では、処理は940および950に続く。両方の場合で、実施形態は、960において再び一緒になる。
【００４１】
920において、サーバ200は、深度マップ(D)に基づいて画像を解析し、それにより部分的な画像がもたらされる。930において、サーバ200は、サーバ200がオブジェクトをサーチするために、サーバ200に部分的な画像を送る。他の実施形態では、940において、モバイルデバイス100が、深度マップ(D)に基づいて画像および深度マップ(D)を解析し、それにより部分的な画像および対応する部分的な深度マップ(D')がもたらされる。950において、モバイルデバイス100が、部分的な画像および部分的な深度マップ(D')をサーバ200に送る。実施形態は、960において再び一緒になり、オブジェクトが見いだされたという、サーバ200により送られた肯定応答を、モバイルデバイス100において受け取る。
【００４２】
図10では、サーバ200は、図7および図8の方法1000を実施する。いくつかの実施形態は、1010および1020を実施し、一方他の実施形態は、1030および1040を実施し、その後1050で合流する。1010において、サーバ200が、モバイルデバイス100から部分的な画像を受け取る。1020において、サーバ200は、部分的な画像においてオブジェクトをサーチする。他の実施形態では、1030において、サーバ200は、モバイルデバイス100から部分的な画像および部分的な深度マップ(D')の両方を受け取る。1040において、サーバ200は、部分的な深度マップ(D')に基づいて、部分的な画像においてオブジェクトをサーチする。1050において、方法は合流し、本例では、オブジェクトが部分的な画像中に見いだされたことを示す肯定応答をサーバ200が送る。
【００４３】
図11は、本発明のいくつかの実施形態に従う、サーバ200を使用することがないモバイルデバイス100における方法1100を図示する。モバイルデバイス100が上に記載されたようなサーバ200の機能を実施する場合、モバイルデバイス100は、モバイルデバイス100自体にトリガを実施して深度センサを有効にし、画像または深度マップ(D)のいずれも送信しないことによって、帯域幅が制限され、プライバシーが本質的に維持される。
【００４４】
1110において、モバイルデバイス100が画像をキャプチャする。画像は、モバイルデバイス100内で、1110から1120に渡される。1120において、(サーバ200ではなく)モバイルデバイス100が画像でオブジェクトをサーチする。この例では、モバイルデバイス100は、モバイルデバイス100がオブジェクトを見いだせなかったことを示す否定応答を渡す。1130において、モバイルデバイス100は、深度センサを有効にして、深度マップを深度センサでキャプチャし、深度センサを無効にする。
【００４５】
深度マップ(D)がモバイルデバイス100の内部にとどまるので、モバイルデバイス100は、帯域幅またはプライバシーの理由のために深度マップ(D)を解析する必要がない。深度マップは、モバイルデバイス100内で、1130から1140に渡される。再び、(1110からの元の画像と同様に)新しい画像をキャプチャすることができる。1140において、(サーバ200ではなく)モバイルデバイス100がオブジェクトを再びサーチするが、今回は、深度マップ(D)の恩恵を被る。ステップ1140からの肯定応答は、十分な確実性をもってオブジェクトが見いだされたことを示す。
【００４６】
図12〜図13は、本発明のいくつかの実施形態に従う、モバイルデバイス100およびサーバ200をそれぞれ示す。図12では、モバイルデバイス100は、バス1210、画像センサ1220、深度センサ1230、(点線で示されるような)他の任意選択のセンサ1240、およびプロセッサ1250を含む。バス1210は、画像センサ1220、深度センサ1230、および任意選択のセンサ1240を一緒にプロセッサ1250に結合する。画像センサ1220または画像検知デバイスが画像をキャプチャする。画像センサ1220は、より新しい画像を再キャプチャすることがある。
【００４７】
深度センサ1230は、赤外線(IR)プロジェクタ1232およびIRセンサ1234を含む。深度センサ1230は、深度情報をキャプチャする。同様に、深度センサ1230が、固有のパターンまたは並べたパターンを送信するための送信器および対応する受信器を含む場合がある。他のセンサ1240としては、加速度計、ジャイロスコープ、光センサ、磁力計またはコンパス、温度計などが挙げられる。プロセッサ1250は、画像センサ1220、送信器1274、受信器1272、および深度センサ1230に結合される。プロセッサ1250は、深度センサ1230を有効にし、深度情報を深度マップへと変換するように構成される。プロセッサは、深度センサを無効にするようにさらに構成することができる。
【００４８】
モバイルデバイス100は、バス1210またはプロセッサ1250に結合される、メモリ1260および送受信器1270を含む場合もできる。メモリ1260は、本明細書に記載される実施形態を実施するためのコードを含むことができる。送受信器1270は、受信器1272および送信器1274を含み、モバイルデバイス100がサーバ200と通信することを可能にする。受信器1272は、オブジェクトが画像中に見いだされなかったこと、またはオブジェクトが見いだされたが不十分な確実性を有することを示す表示を受け取る。送信器1274は、画像内のオブジェクトをサーチするために、サーバ200に画像のうちの少なくとも一部を送る。画像のうちの少なくとも一部としては、部分的な画像または完全な画像が挙げられる。送信器1274は、サーバ200に深度マップのうちの少なくとも一部をさらに送ることができる。送信器1274は、サーバ200に、より新しい画像および深度マップのうちの少なくとも一部の両方を送ることができる。プロセッサ1250は、少なくとも部分的に深度マップに基づいて、深度マップを部分的な深度マップへと解析するように構成されることがある。プロセッサ1250は、部分的な画像を形成するために、プライベートな情報に基づいて画像の部分を除外するように構成されることがある。
【００４９】
図13では、サーバ200は、プロセッサ1320、メモリ1310、および送受信器1330を含む。メモリ1310は、本明細書に記載される実施形態を実施するためのコードを含むことができる。送受信器1330は、サーバ200がモバイルデバイス100と通信することを可能にする。
【００５０】
本明細書で使用される部分的な画像は、たとえば、一定の範囲内またはプライベートな情報を含まない画像の一部または複数の部分を表す。そのようなプライベートな情報は、人間の顔、人間の頭、人間の輪郭、テキスト、およびナンバープレートのうちの1つまたは複数を含む場合がある。部分的な画像は、部分的な画像の1つまたは複数の部分の周りのバッファ区域を含む場合がある。部分的な画像は、矩形、卵形、または自由な形の画像であってよい。
【００５１】
部分的な深度マップ(D')は、部分的な画像に対応する。すなわち、部分的な画像によりカバーされる(またはカバーされない)区域は、部分的な深度マップ(D')によりカバーされる(またはカバーされない)。このことにおいて、部分的な画像は、対応する部分的な深度マップ(D')と対をなす。あるいは、画像は部分的な画像へと解析されるが、全深度マップ(D)が通信される。いくつかの実施形態では、部分的な画像および部分的な深度マップ(D')は、一定の範囲にかかわらず、プライベートな情報を除外する。プライベートな情報(または識別情報)は、個人を識別するために使用する場合がある。他の実施形態では、部分的な画像および部分的な深度マップ(D')は、たとえば一定の範囲内である場合に、プライベートな情報を除外する。
【００５２】
図14は、本発明のいくつかの実施形態に従う、深度センサをトリガするための、モバイルデバイス100における方法1400を図示する。1410において、モバイルデバイス100は、画像検知デバイスまたは他の画像センサで画像をキャプチャする。画像検知デバイスは、画像をキャプチャするための手段としての役割を果たす。画像検知デバイスは、新しい画像、第2の画像、またはリフレッシュ画像をキャプチャするための手段としての役割を果たす場合もある。
【００５３】
1420において、モバイルデバイス100は、画像内のオブジェクトをサーチするために、サーバ200に画像のうちの少なくとも一部を送る。送信器は、画像内のオブジェクトをサーチするため、サーバ200に画像のうちの少なくとも一部を送るための手段としての役割を果たす。送信器は、サーバ200に深度マップのうちの少なくとも一部を送るための手段、サーバ200に部分的な深度マップを送るための手段、および/またはサーバ200にリフレッシュ画像および深度マップのうちの少なくとも一部を送るための手段としての役割を果たす場合もある。画像のうちの少なくとも一部を送る送信器は、プライベートな情報に基づいて、画像のうちの複数部分を除外する場合がある。そのようなプライベートな情報は、人間の顔、人間の頭、人間の輪郭、テキスト、またはナンバープレートのうちの少なくとも1つを含む場合がある。
【００５４】
1430において、モバイルデバイス100は、オブジェクトが画像中に見いだされなかったことを示す表示を受け取る。受信器は、オブジェクトが画像中に見いだされなかったことを示す表示を受け取るための手段としての役割を果たす。
【００５５】
1440において、モバイルデバイス100は、深度センサを有効にして、深度センサで深度情報をキャプチャする。モバイルデバイス100は、任意選択で深度センサを無効にする。プロセッサは、深度センサを有効にし、深度情報をキャプチャし、深度センサを無効にするための手段としての役割を果たす。さらにプロセッサは、少なくとも部分的に深度マップに基づいて、深度マップを部分的な深度マップへと解析するための手段としての役割を果たす場合がある。
【００５６】
1450において、モバイルデバイス100は、深度情報を深度マップへと変換する。プロセッサは、深度情報を深度マップへと変換するための手段としての役割も果たす。モバイルデバイス100は、サーバ200に深度マップのうちの少なくとも一部をさらに送ることができる。モバイルデバイス100は、少なくとも部分的に深度マップに基づいて、深度マップを部分的な深度マップへと解析し、次いで、サーバ200に部分的な深度マップを送ることができる。サーバ200に深度マップのうちの少なくとも一部を送るステップが、より新しい画像をキャプチャするステップ、ならびにサーバ200に新しい画像および深度マップのうちの少なくとも一部を送るステップを含む場合がある。
【００５７】
モバイルデバイス100の深度センサをトリガするための、サーバ200における方法は以下を含む。サーバ200が、モバイルデバイス100内の画像検知デバイスによりキャプチャされた、モバイルデバイス100からの画像のうちの少なくとも一部を受け取る。サーバ200は、画像内のオブジェクトをサーチする。サーバ200は、モバイルデバイス100が深度センサを有効にして深度情報をキャプチャするために、画像中にオブジェクトが見いだされなかったことを示す表示を送る。
【００５８】
方法は、サーバ200がモバイルデバイス100から深度マップのうちの少なくとも一部を受け取るステップをさらに含む場合があり、ここで深度マップは、深度センサからの深度情報から変換される。いくつかの実施形態では、深度マップのうちの少なくとも一部は、モバイルデバイス100により解析される部分的な深度マップであり、部分的な深度マップを形成する。いくつかの実施形態では、サーバ200は、モバイルデバイス100から深度マップのうちの少なくとも一部を受け取り、より新しい画像および深度マップのうちの少なくとも一部をサーバ200へと受け取るステップを含む。ここで、リフレッシュ画像は、モバイルデバイス100によりキャプチャされる。方法は、サーバ200が画像のうちの少なくとも一部を受け取るステップをさらに含み、プライベートな情報に基づいて画像のうちの複数の部分を除外する部分的な画像を受け取るステップを含む。
【００５９】
実施形態は、モバイルデバイス100の深度センサをトリガするためのサーバ200を含み、以下を含む。(1)モバイルデバイス100内の画像検知デバイスによりキャプチャされた、画像のうちの少なくとも一部をモバイルデバイス100から受け取るための受信器、(2)モバイルデバイス100が深度センサを有効にして深度情報をキャプチャするために、画像中にオブジェクトが見いだされなかったことまたはオブジェクトが見いだされたが不十分な確実性をもつことのいずれかを示す表示を送るための送信器、および(3)受信器および送信器に結合されるプロセッサであって、画像内のオブジェクトについて画像のうちの少なくとも一部をサーチするように構成されるプロセッサ。
【００６０】
実施形態は、モバイルデバイス100の深度センサをトリガするためのサーバ200を含み、以下を含む。(1)モバイルデバイス100内の画像検知デバイスによりキャプチャされた、画像のうちの少なくとも一部をモバイルデバイス100から受け取るための手段、(2)画像内のオブジェクトについて画像のうちの少なくとも一部をサーチするための手段、(3)モバイルデバイス100が深度センサを有効にして深度情報をキャプチャするために、画像中にオブジェクトが見いだされなかったことまたはオブジェクトが見いだされたが不十分な確実性をもつことのいずれかを示す表示を送るための手段。
【００６１】
実施形態は、サーバ200がモバイルデバイス100の深度センサをトリガするための非過渡的コンピュータ可読記憶媒体を含み、そこに記憶されるプログラムコードを含み、上の方法を実施するプログラムコードを含む。
【００６２】
本明細書に記載される方法論は、用途に応じて、様々な手段で実装することができる。たとえば、これらの方法論は、ハードウェア、ファームウェア、ソフトウェア、またはこれらの任意の組合せで実装することができる。ハードウェア実施態様の場合、各処理ユニットは、本明細書に記載された機能を実行するように設計された、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組合せにおいて実現することができる。
【００６３】
ファームウェアおよび/またはソフトウェア実装について、方法論は、本明細書に記載された機能を実施するモジュール(たとえば、手続き、機能など)で実装することができる。たとえば、モバイルデバイス100が深度センサをトリガするための非過渡的コンピュータ可読記憶媒体は、本明細書に記載された方法を実施するためそこに記憶されるプログラムコードを含むことができる。本明細書に記載される方法論を実装する際に、命令を有形に具体化する任意の機械可読媒体を使用することができる。たとえば、ソフトウェアコードをメモリに記憶し、プロセッサユニットにより実行することができる。メモリは、プロセッサユニット内、またはプロセッサユニットの外部に実装することができる。本明細書で使用する「メモリ」という用語は、任意のタイプの長期的、短期的、揮発性、不揮発性、または他のメモリのことをいい、任意の特定のタイプのメモリもしくはメモリの数、またはメモリが格納される媒体のタイプに限定されるべきでない。
【００６４】
ファームウェアおよび/またはソフトウェアで実装される場合、コンピュータ可読媒体上に、1つもしくは複数の命令またはコードとして機能を記憶する場合がある。例としては、データ構造で符号化されたコンピュータ可読媒体およびコンピュータプログラムで符号化されたコンピュータ可読媒体が挙げられる。コンピュータ可読媒体は物理的コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによりアクセス可能な、任意の利用可能な媒体であってよい。例として、限定しないが、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光学ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または命令もしくはデータ構造の形で所望のプログラムコードを記憶するために使用可能であり、コンピュータによりアクセス可能な任意の他の媒体、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピーディスクおよびブルーレイディスクを含む、本明細書で使用する、ディスク(disk)およびディスク(disc)を含むことができる。ここで、ディスク(disk)は通常磁気的にデータを再生し、ディスク(disc)はレーザで光学的にデータを再生する。上記の組合せは、やはりコンピュータ可読媒体の範囲内に含まれるものとする。
【００６５】
コンピュータ可読媒体上の記憶に加えて、命令および/またはデータは、通信装置に含まれる伝送媒体上の信号として提供することができる。たとえば、通信装置は、命令およびデータを示す信号を有する送受信器を含むことができる。命令およびデータは、1つまたは複数のプロセッサに、請求項に概説される機能を実装させるように構成される。すなわち、通信装置は、開示される機能を実行するための情報を示す信号を有する伝送媒体を含む。最初は、通信装置に含まれる伝送媒体は、開示された機能を実行するための情報の第1の部分を含むことができ、2度目は、通信装置に含まれる伝送媒体は、開示された機能を実行するための情報の第2の部分を含むことができる。
【００６６】
本開示の態様の上の記載は、当業者が本開示を作り使用することが可能になるように提供される。これらの態様への種々の変更は当業者には容易に明らかになり、本明細書において規定された一般原理は、本開示の趣旨または範囲から逸脱することなく他の態様に適用することができる。
【符号の説明】
【００６７】
100  モバイルデバイス
200  サーバ
1210  バス
1220  画像センサ
1230  深度センサ
1232  赤外線(IR)プロジェクタ
1234  IRセンサ
1240  他のセンサ
1250  プロセッサ
1260  メモリ
1270  送受信器
1272  受信器
1274  送信器
1310  メモリ
1320  プロセッサ
1330  送受信器
【図１】
2017506840.tif 000003
【図２】
2017506840.tif 000004
【図３】
2017506840.tif 000005
【図４】
2017506840.tif 000006
【図５】
2017506840.tif 000007
【図６】
2017506840.tif 000008
【図７】
2017506840.tif 000009
【図８】
2017506840.tif 000010
【図９】
2017506840.tif 000011
【図１０】
2017506840.tif 000012
【図１１】
2017506840.tif 000013
【図１２】
2017506840.tif 000014
【図１３】
2017506840.tif 000015
【図１４】
2017506840.tif 000016
【手続補正書】
【提出日】平成28年5月30日(2016.5.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
モバイルデバイスにおいて、深度センサをトリガするための方法であって、
画像検知デバイスで画像をキャプチャするステップと、
前記画像内のオブジェクトをサーチするために前記画像のうちの少なくとも一部をサーバに送るステップと、
十分な確実性をもって前記オブジェクトが前記画像中に見いだされなかったことを示す表示を受け取るステップと、
前記表示に基づいて前記深度センサを有効にして深度情報をキャプチャするステップと、
前記深度情報を深度マップへと変換するステップと、
前記深度マップのうちの少なくとも一部を前記サーバに送るステップと
を含む方法。
【請求項２】
前記深度センサを無効にするステップをさらに含む、請求項1に記載の方法。
【請求項３】
前記深度マップのうちの前記少なくとも一部を前記サーバに送るステップが、
少なくとも部分的に前記深度マップに基づいて、前記深度マップを部分的な深度マップへと解析するステップと、
前記サーバに前記部分的な深度マップを送るステップと
を含む、請求項1に記載の方法。
【請求項４】
前記深度マップのうちの前記少なくとも一部を前記サーバに送るステップが、
より新しい画像をキャプチャするステップと、
前記サーバに前記より新しい画像および前記深度マップのうちの前記少なくとも一部を送るステップと
を含む、請求項1に記載の方法。
【請求項５】
前記深度センサが赤外線深度センサを備える、請求項1に記載の方法。
【請求項６】
深度センサをトリガするためのモバイルデバイスであって、
画像をキャプチャする画像検知デバイスと、
前記画像内のオブジェクトをサーチするために、前記画像のうちの少なくとも一部をサーバに送る送信器と、
十分な確実性をもって前記オブジェクトが見いだされなかったことを示す表示を受け取る受信器と、
深度情報をキャプチャする前記深度センサと、
前記画像検知デバイス、前記送信器、前記受信器、および前記深度センサに結合されるプロセッサと
を備え、前記プロセッサが、
前記表示に基づいて前記深度センサを有効にし、
前記深度情報を深度マップへと変換し、
前記深度マップのうちの少なくとも一部を前記サーバに送信する
ように構成される、モバイルデバイス。
【請求項７】
前記プロセッサが、前記深度センサを無効にするようにさらに構成される、請求項6に記載のモバイルデバイス。
【請求項８】
前記プロセッサが、
少なくとも部分的に前記深度マップに基づいて、前記深度マップを部分的な深度マップへと解析するようにさらに構成され、
前記送信器が前記サーバに前記部分的な深度マップをさらに送る、請求項6に記載のモバイルデバイス。
【請求項９】
前記画像検知デバイスが、
より新しい画像をキャプチャするようにさらに構成され、
前記送信器が、前記サーバに前記より新しい画像および前記深度マップのうちの前記少なくとも一部をさらに送る、請求項6に記載のモバイルデバイス。
【請求項１０】
前記深度センサが赤外線深度センサを備える、請求項6に記載のモバイルデバイス。
【請求項１１】
深度センサをトリガするためのモバイルデバイスであって、
画像検知デバイスで画像をキャプチャするための手段と、
前記画像内のオブジェクトをサーチするために、前記画像のうちの少なくとも一部をサーバに送るための手段と、
十分な確実性をもって前記オブジェクトが前記画像中に見いだされなかったことを示す表示を受け取るための手段と、
前記表示に基づいて前記深度センサを有効にして深度情報をキャプチャするための手段と、
前記深度情報を深度マップへと変換するための手段と、
前記深度マップのうちの少なくとも一部を前記サーバに送るための手段と
を備える、モバイルデバイス。
【請求項１２】
前記深度センサを無効にするための手段をさらに備える、請求項11に記載のモバイルデバイス。
【請求項１３】
前記深度マップのうちの前記少なくとも一部を前記サーバに送るための前記手段が、
少なくとも部分的に前記深度マップに基づいて、前記深度マップを部分的な深度マップへと解析するための手段と、
前記サーバに前記部分的な深度マップを送るための手段と
を備える、請求項11に記載のモバイルデバイス。
【請求項１４】
前記深度マップのうちの前記少なくとも一部を前記サーバに送るための手段が、
より新しい画像をキャプチャするための手段と、
前記サーバに前記より新しい画像および前記深度マップのうちの前記少なくとも一部を送るための手段と
を備える、請求項11に記載のモバイルデバイス。
【請求項１５】
前記深度センサが赤外線深度センサを備える、請求項11に記載のモバイルデバイス。
【請求項１６】
モバイルデバイスが深度センサをトリガするためのコンピュータ可読記憶媒体であって、そこに記憶されるプログラムコードを含み、
画像検知デバイスで画像をキャプチャするステップ、
前記画像内のオブジェクトをサーチするために前記画像のうちの少なくとも一部をサーバに送るステップ、
十分な確実性をもって前記オブジェクトが前記画像中に見いだされなかったことを示す表示を受け取るステップ、
前記表示に基づいて前記深度センサを有効にして深度情報をキャプチャするステップ、
前記深度情報を深度マップへと変換するステップ、および
前記深度マップのうちの少なくとも一部を前記サーバに送るステップ
のためのプログラムコードを含む、コンピュータ可読記憶媒体。
【請求項１７】
前記プログラムコードが前記深度センサを無効にするステップのためのプログラムコードをさらに含む、請求項16に記載のコンピュータ可読記憶媒体。
【請求項１８】
前記深度マップのうちの前記少なくとも一部を前記サーバに送るステップのための前記プログラムコードが、
少なくとも部分的に前記深度マップに基づいて、前記深度マップを部分的な深度マップへと解析するステップ、および
前記サーバに前記部分的な深度マップを送るステップ
のためのプログラムコードを含む、請求項16に記載のコンピュータ可読記憶媒体。
【請求項１９】
前記深度マップのうちの前記少なくとも一部を前記サーバに送るステップのための前記プログラムコードが、
より新しい画像をキャプチャするステップと、
前記サーバに前記より新しい画像および前記深度マップのうちの前記少なくとも一部を送るステップと
を含む、請求項16に記載のコンピュータ可読記憶媒体。
【請求項２０】
前記深度センサが赤外線深度センサを備える、請求項16に記載のコンピュータ可読記憶媒体。
【国際調査報告】
2017506840.tif 000017
2017506840.tif 000018
2017506840.tif 000019