(57)【要約】  モバイルデバイスの画像取込ユニットによって、対象物を含むシーンの画像を取り込むことと、モバイルデバイスの運動を判断することと、取り込まれた画像から、モバイルデバイスの判断された運動に少なくとも部分的に基づいて、対象物の1つまたは複数の変化する特徴の変動を検出することとを含み、1つまたは複数の変化する特徴の変動は、シーン内の対象物の位置から独立している、方法を含む、システム、装置、デバイス、方法、コンピュータプログラム製品、媒体および他の実施態様が開示される。
2016538053.tif 000002
【特許請求の範囲】
【請求項１】
モバイルデバイスの画像取込ユニットによって、対象物を含むシーンの画像を取り込むステップと、
前記モバイルデバイスの運動を判断するステップと、
前記取り込まれた画像から、前記モバイルデバイスの前記判断された運動に少なくとも部分的に基づいて前記対象物の1つまたは複数の変化する特徴の変動を検出するステップとを含み、前記1つまたは複数の変化する特徴の前記変動は前記シーン内の前記対象物の位置から独立している、方法。
【請求項２】
前記対象物の前記1つまたは複数の変化する特徴は、前記対象物の表面において生じる小さい運動特徴、または前記対象物の前記表面において生じる色変化のうちの1つまたは複数を含む、請求項1に記載の方法。
【請求項３】
前記対象物の前記1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断するステップをさらに含む、請求項1に記載の方法。
【請求項４】
前記対象物の前記1つまたは複数の変化する特徴は、血管内に流れる血液に起因する皮膚組織の色変化、または脈動する組織のうちの1つまたは複数を含み、前記対象物の前記1つまたは複数の変化する特徴に関連付けられる前記バイオメトリック特性は、心拍数、血圧または呼吸数のうちの1つまたは複数を含む、請求項3に記載の方法。
【請求項５】
前記モバイルデバイスの前記運動を判断するステップは、
前記画像取込ユニットによって取り込まれた画像内に現れる静止した基準物体の位置を追跡するステップと、
前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて前記モバイルデバイスの前記運動を判断するステップとを含む、請求項1に記載の方法。
【請求項６】
前記モバイルデバイスの前記判断された運動に少なくとも部分的に基づいて前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出するステップは、
前記静止した基準物体の前記追跡された位置に基づいて前記1つまたは複数の取り込まれた画像のうちの少なくとも2つを位置合わせするステップと、
前記位置合わせされた2つ以上の取り込まれた画像から前記対象物の前記1つまたは複数の変化する特徴の前記変動を判断するステップとを含む、請求項5に記載の方法。
【請求項７】
前記モバイルデバイスの前記運動を判断するステップは、
前記モバイルデバイスの1つまたは複数のセンサから1つまたは複数の測定値を得るステップと、
前記1つまたは複数のセンサから得られた前記1つまたは複数の測定値に基づいて前記モバイルデバイスの前記運動を判断するステップとを含む、請求項1に記載の方法。
【請求項８】
前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出するステップは、
前記モバイルデバイスの前記画像取込ユニットの基準系を決定するステップと、
前記取り込まれた画像のうちの2つ以上を前記モバイルデバイスの前記画像取込ユニットの前記基準系に合わせるステップと、
前記対象物の前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記画像取込ユニットの前記基準系に合わせられた、前記取り込まれた画像のうちの前記2つ以上を処理するステップとを含む、請求項1に記載の方法。
【請求項９】
前記対象物の前記1つまたは複数の変化する特徴を検出するステップは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記1つまたは複数の取り込まれた画像にフィルタリングプロセスを適用するステップを含む、請求項1に記載の方法。
【請求項１０】
前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出するステップは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用するステップを含み、前記2つ以上の取り込まれた画像は前記モバイルデバイスの前記判断された運動に基づいて位置合わせされる、請求項1に記載の方法。
【請求項１１】
前記オイラー運動増幅プロセスは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記2つ以上の取り込まれた画像に対してフィルタリング動作を実行するステップと、
前記1つまたは複数の変化する特徴の前記抽出された変動を増幅するステップとを含む、請求項10に記載の方法。
【請求項１２】
画像取込ユニットと、
コントローラとを備え、前記コントローラは、
前記画像取込ユニットによって、対象物を含むシーンの画像を取り込むことと、
モバイルデバイスの運動を判断することと、
前記取り込まれた画像から、前記モバイルデバイスの前記判断された運動に少なくとも部分的に基づいて前記対象物の1つまたは複数の変化する特徴の変動を検出することとを含む動作をもたらすように構成され、前記1つまたは複数の変化する特徴の前記変動は前記シーン内の前記対象物の位置から独立している、モバイルデバイス。
【請求項１３】
前記コントローラは、
前記対象物の前記1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断することを含むさらなる動作をもたらすようにさらに構成され、前記対象物の前記1つまたは複数の変化する特徴は、血管内に流れる血液に起因する皮膚組織の色変化、または脈動する組織のうちの1つまたは複数を含み、前記対象物の前記1つまたは複数の変化する特徴に関連付けられる前記バイオメトリック特性は、心拍数、血圧または呼吸数のうちの1つまたは複数を含む、請求項12に記載のモバイルデバイス。
【請求項１４】
前記モバイルデバイスの前記運動を判断することは、
前記画像取込ユニットによって取り込まれた前記画像内に現れる静止した基準物体の位置を追跡することと、
前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて前記モバイルデバイスの前記運動を判断することとを含む、請求項12に記載のモバイルデバイス。
【請求項１５】
前記モバイルデバイスの前記運動を判断することは、
前記モバイルデバイスの1つまたは複数のセンサから1つまたは複数の測定値を得ることと、
前記1つまたは複数のセンサから得られた前記1つまたは複数の測定値に基づいて前記モバイルデバイスの前記運動を判断することとを含む、請求項12に記載のモバイルデバイス。
【請求項１６】
前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出することは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用することを含み、前記2つ以上の取り込まれた画像は前記モバイルデバイスの前記判断された運動に基づいて位置合わせされる、請求項12に記載のモバイルデバイス。
【請求項１７】
前記オイラー運動増幅プロセスは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記2つ以上の取り込まれた画像に対してフィルタリング動作を実行することと、
前記1つまたは複数の変化する特徴の前記抽出された変動を増幅することとを含む、請求項16に記載のモバイルデバイス。
【請求項１８】
対象物を含むシーンの画像を取り込むための手段と、
装置の運動を判断するための手段と、
前記取り込まれた画像から、装置の前記判断された運動に少なくとも部分的に基づいて前記対象物の1つまたは複数の変化する特徴の変動を検出するための手段とを備え、前記1つまたは複数の変化する特徴の前記変動は前記シーン内の前記対象物の位置から独立している、装置。
【請求項１９】
前記対象物の前記1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断するための手段をさらに備え、前記対象物の前記1つまたは複数の変化する特徴は、血管内に流れる血液に起因する皮膚組織の色変化または脈動する組織のうちの1つまたは複数を含み、前記対象物の前記1つまたは複数の変化する特徴に関連付けられる前記バイオメトリック特性は、心拍数、血圧または呼吸数のうちの1つまたは複数を含む、請求項18に記載の装置。
【請求項２０】
前記装置の前記運動を判断するための前記手段は、
前記取り込むための手段によって取り込まれた前記画像内に現れる静止した基準物体の位置を追跡するための手段と、
前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて前記装置の前記運動を判断するための手段とを備える、請求項18に記載の装置。
【請求項２１】
前記装置の前記運動を判断するための前記手段は、
前記装置の1つまたは複数のセンサから1つまたは複数の測定値を得るための手段と、
前記1つまたは複数のセンサから得られた前記1つまたは複数の測定値に基づいて前記装置の前記運動を判断するための手段とを備える、請求項18に記載の装置。
【請求項２２】
前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出するための前記手段は、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用するための手段を備え、前記2つ以上の取り込まれた画像は前記装置の前記判断された運動に基づいて位置合わせされる、請求項18に記載の装置。
【請求項２３】
前記オイラー運動増幅プロセスは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記2つ以上の取り込まれた画像に対してフィルタリング動作を実行することと、
前記1つまたは複数の変化する特徴の前記抽出された変動を増幅することとを含む、請求項22に記載の装置。
【請求項２４】
プロセッサ上で実行可能なコンピュータ命令を用いてプログラムされたプロセッサ可読媒体であって、前記コンピュータ命令は、実行されるときに、
モバイルデバイスの画像取込ユニットによって、対象物を含むシーンの画像を取り込むことと、
前記モバイルデバイスの運動を判断することと、
前記取り込まれた画像から、前記モバイルデバイスの前記判断された運動に少なくとも部分的に基づいて前記対象物の1つまたは複数の変化する特徴の変動を検出することとを含む動作をもたらし、前記1つまたは複数の変化する特徴の前記変動は前記シーン内の前記対象物の位置から独立している、プロセッサ可読媒体。
【請求項２５】
実行されるときに、
前記対象物の前記1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断することを含むさらなる動作をもたらす命令をさらに含み、前記対象物の前記1つまたは複数の変化する特徴は、血管内に流れる血液に起因する皮膚組織の色変化、または脈動する組織のうちの1つまたは複数を含み、前記対象物の前記1つまたは複数の変化する特徴に関連付けられる前記バイオメトリック特性は、心拍数、血圧または呼吸数のうちの1つまたは複数を含む、請求項24に記載のプロセッサ可読媒体。
【請求項２６】
前記モバイルデバイスの前記運動を判断することは、
前記画像取込ユニットによって取り込まれた前記画像内に現れる静止した基準物体の位置を追跡することと、
前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて前記モバイルデバイスの前記運動を判断することとを含む、請求項24に記載のプロセッサ可読媒体。
【請求項２７】
前記モバイルデバイスの前記判断された運動に少なくとも部分的に基づいて前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出することは、
前記静止した基準物体の前記追跡された位置に基づいて前記1つまたは複数の取り込まれた画像のうちの少なくとも2つを位置合わせすることと、
前記位置合わせされた2つ以上の取り込まれた画像から前記対象物の前記1つまたは複数の変化する特徴の前記変動を判断することとを含む、請求項26に記載のプロセッサ可読媒体。
【請求項２８】
前記モバイルデバイスの前記運動を判断することは、
前記モバイルデバイスの1つまたは複数のセンサから1つまたは複数の測定値を得ることと、
前記1つまたは複数のセンサから得られた前記1つまたは複数の測定値に基づいて前記モバイルデバイスの前記運動を判断することとを含む、請求項24に記載のプロセッサ可読媒体。
【請求項２９】
前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出することは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用することを含み、前記2つ以上の取り込まれた画像は前記モバイルデバイスの前記判断された運動に基づいて位置合わせされる、請求項24に記載のプロセッサ可読媒体。
【請求項３０】
前記オイラー運動増幅プロセスは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記2つ以上の取り込まれた画像に対してフィルタリング動作を実行することと、
前記1つまたは複数の変化する特徴の前記抽出された変動を増幅することとを含む、請求項29に記載のプロセッサ可読媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
一部のモバイル電話アプリケーションは、たとえば、フラッシュおよびカメラレンズの上に指を置いて、輝度の変動を追跡することによって、人の脈拍数を測定するためにも使用することができる。また、他のモバイル電話アプリケーションは、胸に電話を置いて、大きく呼吸することによって、人の呼吸頻度を測定するために使用することができる。
【先行技術文献】
【非特許文献】
【０００２】
【非特許文献１】H.Y Wuら「Eulerian Video Magnification for Revealing Subtle Changes in the World」(ACM Transactions on Graphics(TOG), SIGGRAPH 2012, Conference Proceedings, Volume 31 Issue 4, Article No. 65, July 2012)
【非特許文献２】Guha Balakrishnanら「Detecting Pulse From Head Motions in Video」(CVPR 2013)
【非特許文献３】W. Verkruysseら「Remote plethysmographic imaging using ambient light」(Optics Express, Vol. 16, Issue 26, pp. 21434-21445(2008))
【発明の概要】
【課題を解決するための手段】
【０００３】
いくつかの変形形態において、方法が開示される。方法は、モバイルデバイスの画像取込ユニットによって、対象物を含むシーンの画像を取り込むステップと、モバイルデバイスの運動を判断するステップと、取り込まれた画像から、モバイルデバイスの判断された運動に少なくとも部分的に基づいて対象物の1つまたは複数の変化する特徴の変動を検出するステップとを含み、1つまたは複数の変化する特徴の変動は、シーン内の対象物の位置から独立している。
【０００４】
本方法の実施形態は、以下の特徴のうちの1つまたは複数を含む、本開示において説明される特徴のうちの少なくともいくつかを含む場合がある。
【０００５】
対象物の1つまたは複数の変化する特徴は、たとえば、対象物の表面において生じる小さい運動特徴、および/または対象物の表面において生じる色変化のうちの1つまたは複数を含むことができる。
【０００６】
方法はさらに、対象物の1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断するステップを含むことができる。
【０００７】
対象物の1つまたは複数の変化する特徴は、たとえば、血管内に流れる血液に起因する皮膚組織の色変化および/または脈動する組織のうちの1つまたは複数を含むことができ、対象物の1つまたは複数の変化する特徴に関連付けられるバイオメトリック特性は、たとえば、心拍数、血圧および/または呼吸数のうちの1つまたは複数を含むことができる。
【０００８】
モバイルデバイスの運動を判断するステップは、画像取込ユニットによって取り込まれた画像内に現れる静止基準物体の位置を追跡するステップと、取り込まれた画像内の静止基準物体の追跡された位置に基づいてモバイルデバイスの運動を判断するステップとを含むことができる。
【０００９】
モバイルデバイスの判断された運動に少なくとも部分的に基づいて対象物の1つまたは複数の変化する特徴の変動を検出するステップは、静止基準物体の追跡された位置に基づいて1つまたは複数の取り込まれた画像のうちの少なくとも2つを位置合わせするステップと、位置合わせされた2つ以上の取り込まれた画像から対象物の1つまたは複数の変化する特徴の変動を判断するステップとを含むことができる。
【００１０】
モバイルデバイスの運動を判断するステップは、モバイルデバイスの1つまたは複数のセンサから1つまたは複数の測定値を得るステップと、1つまたは複数のセンサから得られた1つまたは複数の測定値に基づいて、モバイルデバイスの運動を判断するステップとを含むことができる。
【００１１】
対象物の1つまたは複数の変化する特徴の変動を検出するステップは、モバイルデバイスの画像取込ユニットの基準系を決定するステップと、取り込まれた画像のうちの2つ以上をモバイルデバイスの画像取込ユニットの基準系に合わせるステップと、対象物の1つまたは複数の変化する特徴の変動を抽出するために、画像取込ユニットの基準系に合わせられた、取り込まれた画像のうちの2つ以上を処理するステップとを含むことができる。
【００１２】
対象物の1つまたは複数の変化する特徴を検出するステップは、1つまたは複数の変化する特徴の変動を抽出するために、1つまたは複数の取り込まれた画像にフィルタリングプロセスを適用するステップを含むことができる。
【００１３】
対象物の1つまたは複数の変化する特徴の変動を検出するステップは、1つまたは複数の変化する特徴の変動を抽出するために、取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用するステップを含むことができ、それらの2つ以上の取り込まれた画像はモバイルデバイスの判断された運動に基づいて位置合わせされている。
【００１４】
オイラー運動増幅プロセスは、1つまたは複数の変化する特徴の変動を抽出するために、2つ以上の取り込まれた画像に対してフィルタリング動作を実行するステップと、1つまたは複数の変化する特徴の抽出された変動を増幅するステップとを含むことができる。
【００１５】
いくつかの変形形態では、画像取込ユニットと、コントローラとを含むデバイスが開示される。コントローラは、画像取込ユニットによって、対象物を含むシーンの画像を取り込むことと、モバイルデバイスの運動を判断することと、取り込まれた画像から、モバイルデバイスの判断された運動に少なくとも部分的に基づいて対象物の1つまたは複数の変化する特徴の変動を検出することとを含む動作をもたらすように構成され、1つまたは複数の変化する特徴の変動は、シーン内の対象物の位置から独立している。
【００１６】
本デバイスの実施形態は、本方法に関して上で説明された特徴のうちの少なくともいくつかを含む、本開示において説明される特徴のうちの少なくともいくつかを含むことができる。
【００１７】
いくつかの変形形態において、装置が開示される。装置は、対象物を含むシーンの画像を取り込むための手段と、装置の運動を判断するための手段と、取り込まれた画像から、装置の判断された運動に少なくとも部分的に基づいて対象物の1つまたは複数の変化する特徴の変動を検出するための手段とを含み、1つまたは複数の変化する特徴の変動は、シーン内の対象物の位置から独立している。
【００１８】
本装置の実施形態は、本方法および本デバイスに関して上で説明された特徴のうちの少なくともいくつか、ならびに以下の特徴のうちの1つまたは複数を含む、本開示において説明される特徴のうちの少なくともいくつかを含むことができる。
【００１９】
装置はさらに、対象物の1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断するための手段を含むことができる。対象物の1つまたは複数の変化する特徴は、たとえば、血管内に流れる血液に起因する皮膚組織の色変化および/または脈動する組織のうちの1つまたは複数を含むことができ、対象物の1つまたは複数の変化する特徴に関連付けられるバイオメトリック特性は、たとえば、心拍数、血圧および/または呼吸数のうちの1つまたは複数を含むことができる。
【００２０】
装置の運動を判断するための手段は、取り込むための手段によって取り込まれた画像内に現れる静止基準物体の位置を追跡するための手段と、取り込まれた画像内の静止基準物体の追跡された位置に基づいて装置の運動を判断するための手段とを含むことができる。
【００２１】
装置の運動を判断するための手段は、装置の1つまたは複数のセンサから1つまたは複数の測定値を得るための手段と、1つまたは複数のセンサから得られた1つまたは複数の測定値に基づいて、装置の運動を判断するための手段とを含むことができる。
【００２２】
対象物の1つまたは複数の変化する特徴の変動を検出するための手段は、1つまたは複数の変化する特徴の変動を抽出するために、取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用するための手段を含むことができ、それらの2つ以上の取り込まれた画像は装置の判断された運動に基づいて位置合わせされている。
【００２３】
いくつかの変形形態において、プロセッサ可読媒体が開示される。プロセッサ可読媒体は、プロセッサ上で実行可能なコンピュータ命令でプログラムされ、コンピュータ命令は、実行されるときに、モバイルデバイスの画像取込ユニットによって、対象物を含むシーンの画像を取り込むことと、モバイルデバイスの運動を判断することと、取り込まれた画像から、モバイルデバイスの判断された運動に少なくとも部分的に基づいて対象物の1つまたは複数の変化する特徴の変動を検出することとを含む動作をもたらし、1つまたは複数の変化する特徴の変動は、シーン内の対象物の位置から独立している。
【００２４】
本プロセッサ可読媒体の実施形態は、本方法、本デバイス、および本装置に関して上で説明された特徴のうちの少なくともいくつかを含む、本開示において説明される特徴のうちの少なくともいくつかを含むことができる。
【００２５】
別段の規定がない限り、本明細書において使用されるすべての技術的および科学的用語は、一般にまたは従来理解されるのと同じ意味を有する。本明細書において使用されるときに、「1つの(aおよびan)」という冠詞は、その冠詞の1つまたは2つ以上の(すなわち、少なくとも1つの)文法的な対象物を指す。例として、「ある要素(an element)」は、1つの要素、または2つ以上の要素を意味する。本明細書において使用されるときに「約」および/または「およそ」は、量、持続時間などの測定可能な値を指すとき、指定された値からの±20%もしくは±10%、±5%、または+0.1%のばらつきを包含するが、これは、そのようなばらつきが、本明細書において説明されるシステム、デバイス、回路、方法、および他の実施態様との関連で適切であるためである。本明細書において使用されるときに「実質的に」は、量、持続時間、物理的属性(周波数など)などの測定可能な値を指すとき、同様に、指定された値からの±20%もしくは±10%、±5%、または+0.1%のばらつきを包含するが、これは、そのようなばらつきが、本明細書において説明されるシステム、デバイス、回路、方法、および他の実施態様との関連で適切であるためである。
【００２６】
特許請求の範囲を含む、本明細書において使用されるとき、「のうちの少なくとも1つ(at least one of)」または「のうちの1つまたは複数(one or more of)」によって始められる項目のリスト内で使用される「または(or)」もしくは「および(and)」は、列挙された項目の任意の組合せが使用できることを示す。たとえば、「A、B、またはCのうちの少なくとも1つ」のリストは、AまたはBまたはCまたはABまたはACまたはBCおよび/またはABC(すなわち、AおよびBおよびC)の組合せのうちのいずれかを含む。さらに、項目A、B、またはCの2つ以上の発生または使用が可能である限り、A、B、および/またはCの複数の使用は、考えられる組合せの一部を形成することができる。たとえば、「A、B、またはCのうちの少なくとも1つ」(あるいは、「A、B、またはCのうちの1つまたは複数」)のリストは、A、AA、AAB、AAA、BB、BCCなどを含むこともできる。
【００２７】
特許請求の範囲を含む、本明細書において使用されるとき、特に明記しない限り、機能、動作、または特徴が項目および/または条件「に基づく(based on)」という文言は、機能、動作、または特徴が述べられた項目および/または条件に基づくこと、そして、その述べられた項目および/または条件に加えて1つもしくは複数の項目および/または条件に基づくことができることを意味する。
【００２８】
本開示の他のおよびさらなる目的、特徴、態様、ならびに利点は、添付の図面の以下の詳細な説明により、より深く理解されるようになる。
【図面の簡単な説明】
【００２９】
【図１】シーンの画像を取り込み、処理するためにモバイルデバイスによって実行される動作を示す図である。
【図２】モバイルデバイスに関する例示的な動作環境の概略図である。
【図３】例示的なモバイルデバイスのブロック図である。
【図４】シーン内の物体の1つまたは複数の変化する特徴を検出する例示的な手順の流れ図である。
【図５】例示的なコンピューティングシステムの概略図である。
【発明を実施するための形態】
【００３０】
本明細書において、デバイス(たとえば、モバイルデバイスのような非固定モバイルデバイス)の画像取込ユニット(たとえば、カメラ)によって、対象物(人など)を含むシーンの画像を取り込むステップを含む方法を含む、システム、装置、デバイス、方法、コンピュータプログラム製品、媒体および他の実施態様が記述される。また、方法は、デバイスの運動を判断するステップと、デバイスの判断された運動に少なくとも部分的に基づいて、取り込まれた画像から、対象物の1つまたは複数の変化する特徴の変動を検出するステップとを含み、1つまたは複数の変化する特徴の変動は、シーン内の対象物の位置から独立している。検出された1つまたは複数の変化する特徴の変動は、たとえば、人の脈動する組織、皮膚色変化などの対象物の表面上で生じる小さい運動変動を含むことができ、そのような変動は、物体によって経験される広域的な位置(もしあるなら)から独立している。たとえば、脈動する組織のような小さい運動変動は、人が移動するか否か、および/またはシーン内で人が偶然居合わせるシーンにおいて生じる。言い換えると、追跡され、検出される1つまたは複数の変化する特徴の変動は、対象物の広域的な位置の変動ではなく、対象物の特定の特徴に関して生じる変動である。
【００３１】
いくつかの実施形態では、そして後に明らかになるように、モバイルデバイス(ハンドヘルドデバイスとも呼ばれる)の運動を判断するステップは、画像取込ユニットによって取り込まれた複数の画像内に現れる静止基準物体、すなわち、シーン内の固定位置に配置される何らかの基準点(たとえば、ランプ、テーブル、または短い持続時間の画像取込期間中に一般的に静止している任意の他の物体)の位置を追跡するステップと、複数の取り込まれた画像内の基準物体の追跡された位置に基づいてデバイスの運動を判断するステップとを含むことができる。すなわち、基準物体が静止したままであることがわかっているか、または静止したままであると推定されるある期間中にいくつかの取り込まれた画像内の基準物体を追跡することによって、基準物体の位置の変化は、モバイルデバイスが受けた動きに起因すると考えることができる。したがって、取り込まれた画像を位置合わせすることができ、それにより、シーン内の物体において生じる小さい変動を判断できるようになる。
【００３２】
たとえば、図1を参照すると、モバイルデバイス110の画像取込ユニット(たとえば、電荷結合デバイス(CCD)のようなカメラ)によって取り込まれる例示的なシーン100が示される。画像取込ユニット(この図には示されない)は、自動的に、またはユーザの起動に応答して、シーンの画像114a〜nを取り込むように構成される(画像取込ユニットの視野が、図1において、破線112aと112bとの間のエリアとして示される)。図1に示されるように、取り込まれたシーンは、小さい変動を示す特徴を含む、人120のような対象物を含む。たとえば、人は、移動していない場合であっても、その人の呼吸パターンおよび/または心拍に従って、組織表面エリアの上下動を有することになる。これらの小さい変動は、画像取込ユニットによって取り込まれた画像から検出/判断することができ(後に明らかになる)、検出/判断された小さい変動に対応する人のバイオメトリック特性(たとえば、呼吸頻度、心拍数)を計算することができる。
【００３３】
シーン内の対象物の特徴の小さい運動変動の判断は、一般的に、取り込まれたシーン内の変動がシーン内の物体または物体の特定の特徴が受けた実際の変動(たとえば、その表面エリア上の物体の小さい変動)に起因すると考えることができるように、画像取込ユニットが動かない/静止していることを必要とする。しかしながら、画像取込ユニットを備えているモバイルデバイスを使用しているとき、モバイルデバイスの位置が小刻み動くことによって(デバイスを一定の安定した位置に維持/保持できないため)、物体がシーンの取り込まれた画像内に現れるときに、物体の位置に変化/シフトが生じる。したがって、いくつかの実施形態では、モバイルデバイス110(またはハンドヘルドユニットからデータを受信する何らかの他の遠隔サーバ)は、モバイルデバイスの運動を追跡し、シーン内で生じる実際の運動(物体の変化する特徴の小さい運動であるか、またはシーン内の1つまたは複数の物体の広域的な運動である)を判断することができるように、取り込まれた画像を位置合わせする(図1のブロック116によって概略的に表される)。いくつかの実施態様では、そして後にさらに詳細に論じられるように、モバイルデバイスの運動は、種々の取り込まれた画像において一般的に静止していることがわかっているか、または静止していると推定することができる基準物体の位置を追跡し、追跡された基準物体の異なる位置に基づいて異なる取り込まれた画像を位置合わせすることによって判断することができる。図1に示される例示的なシーン100では、モバイルデバイス110は、テーブル124上に配置されるランプ122のような基準物体を追跡することができる。しかしながら、静止していることがわかっているか、または静止していると推定される任意の他の物体が、小刻みな動きおよび小規模の動きを生じる傾向があるモバイルデバイスによって取り込まれた異なる画像を位置合わせするために追跡することができる基準物体としての役割を果たすことができる。異なる画像が位置合わせされると、監視されている対象物(呼吸頻度および心拍数を監視する必要がある動いていない人など)に関連付けられる光学的/視覚的変動を、物体の変化する特徴に起因すると考えることができる。
【００３４】
いくつかの実施形態では、モバイルデバイスが受けた運動を判断することは、デバイスの運動を測定するように構成される搭載センサ(たとえば、図3において概略的に示される)、たとえば、慣性センサ(方位センサとも呼ばれる)を用いて実行することができる。そのような慣性センサは、たとえば、加速度計、ジャイロスコープ、磁力計などを含むことができる。したがって、そのような実施形態では、モバイルデバイスの運動を判断することは、モバイルデバイスの1つまたは複数のデバイスセンサから1つまたは複数の測定値を得ることと、1つまたは複数のセンサから得られた1つまたは複数の測定値に基づいて、モバイルデバイスの運動(たとえば、以前に判断された方位に対する方位の変化)を判断することとを含むことができる。いくつかの実施形態では、モバイルデバイスの運動は基準物体の追跡と、デバイスの1つまたは複数の慣性センサによって実行される測定値との両方に基づいて判断することができる。異なる時点においてデバイスの画像取込ユニットによって取り込まれた画像をそれに基づいて位置合わせすることができるか、または別の方法で相関をとることができる、モバイルデバイスの運動を判断する他のプロセス/技法を用いることもできる。
【００３５】
異なる時点においてデバイスの画像取込ユニットによって取り込まれた異なる画像の位置合わせ/相関を可能にする、モバイルデバイス(図1のデバイス110など)の判断された運動に基づいて、物体の広域的な位置から独立している対象物の特徴の変動が、(たとえば、図1のブロック118によって概略的に表される処理動作の一部として)判断される。いくつかの実施態様では、物体の変化する特徴の変動(たとえば、脈動する表面エリア組織の位置の変動、表面エリア組織の色の変動など)を検出することは、変化する特徴の変動を抽出するために、デバイスの画像取込ユニットによって取り込まれた画像を処理することを含むことができる。たとえば、そのような処理は、変化する特徴を検出し、および/または抽出するために、後にさらに詳細に説明されるように、オイラー運動増幅プロセスを適用することを含むことができる。変化する特徴の変動を抽出するために、取り込まれた画像に、他のタイプのフィルタリングプロセス/技法を適用することもできる。変化する特徴の変動を判断することは、画像に含まれる他の視覚情報に対してそのような変動を増幅する/拡大する(たとえば、特定の検出された特徴変動の振幅を画像内の他の特徴より大きく増幅する)ことを含むことができる。判断された特徴から、判断された特徴に関連付けられる情報を導出することができる。たとえば、人の皮膚色の変動(人の脈拍または血圧を示す)、または人の皮膚表面の小さい位置変動(脈拍または呼吸数を示す脈動)が判断される実施形態では、判断される変動を用いて、人のバイオメトリック特性(脈拍、呼吸数、血圧など)を導出することができる。
【００３６】
図2を参照すると、モバイルデバイス208のようなモバイルデバイスに関する例示的な動作環境200の概略図が示される。モバイルデバイス(ワイヤレスデバイスまたは移動局とも呼ばれる)208は、図1に示されたモバイルデバイス110に類似とすることができ、屋内通信用のWLANなどのローカルエリアネットワークデバイス(または、ローカルエリアネットワークノード)、フェムトセル、ブルートゥース（登録商標）ベースの送受信機、他のタイプの屋内通信ネットワークノード、ワイドエリアワイヤレスネットワークノード、衛星通信システムなどを含む、複数のタイプの他の通信システム/デバイスとともに動作し、やりとりするように構成することができ、それにより、モバイルデバイス208は種々のタイプの通信システムと通信するための1つもしくは複数のインターフェースを含むことができる。本明細書において使用されるとき、モバイルデバイス208が通信することができる通信システム/デバイスは、アクセスポイント(AP)とも呼ばれる。また、モバイルデバイス208は、モバイルデバイスの運動を判断し、デバイスの画像取込ユニットによって取り込まれた画像から観測可能または検出可能である対象物の1つまたは複数の変化する特徴(たとえば、小規模の運動)の変動(その変動以外では、静止している場合もある)を(変化する特徴が肉眼によって観測されるにはあまりにも小さいか、または微細であっても)検出するように構成することもできる。また、そのデバイスは、監視されている物体の特徴の検出された/判断された変動に基づいて、種々のパラメータおよび値(たとえば、デバイスの画像取込ユニットによって監視されている人に関するバイオメトリック特性/パラメータの値)を判断するように構成することができる。いくつかの実施形態では、処理のうちの少なくともいくつか(たとえば、取り込まれた画像から物体の特徴の変動を判断すること)は、デバイス208が(図2に示される通信ノードのうちの1つまたは複数を介して)通信リンクを確立することができる遠隔サーバ(たとえば、図2に示されるサーバ210)によって実行することができる。
【００３７】
言及されたように、動作環境200は、1つもしくは複数の異なるタイプのワイヤレス通信システムまたはワイヤレス通信ノードを含むことができる。そのようなノードは、ワイヤレスアクセスポイント(または、WAP)とも呼ばれ、たとえば、WiFi基地局、フェムトセル送受信機、ブルートゥース（登録商標）送受信機、セルラー基地局、WiMax送受信機などを含む、LANおよび/またはWANワイヤレス送受信機を含むことができる。したがって、たとえば、引き続き図2を参照すると、動作環境200は、モバイルデバイス208とのワイヤレス音声および/またはデータ通信のために使用することができるローカルエリアネットワークワイヤレスアクセスポイント(LAN-WAP)206a〜eを含むことができる。また、LAN-WAP206a〜eは、いくつかの実施形態では、たとえば、到達時間技法または信号強度技法に基づく、たとえば、三辺測量を基にした手順の実施態様を通して、独立した位置データ源として利用することができる。LAN-WAP206a〜eは、建物内で動作し、WWANより狭い地理的領域にわたって通信を実行することができる、ワイヤレスローカルエリアネットワーク(WLAN)の一部とすることができる。さらに、いくつかの実施形態では、LAN-WAP206a〜eは、WWANネットワークの一部であるピコセルまたはフェムトセルとすることもできる。いくつかの実施形態では、LAN-WAP206a〜eは、たとえば、WiFiネットワーク(802.11x)、セルラーピコネットおよび/またはフェムトセル、ブルートゥース（登録商標）ネットワークなどの一部とすることができる。LAN-WAP206a〜eはまた、屋内測位システムの一部を形成することもできる。図2には5つのLAN-WAPアクセスポイントが示されるが、任意の数のそのようなLAN-WAPを使用することが可能であり、いくつかの実施形態では、動作環境200は、LAN-WAPアクセスポイントをまったく含まない場合があるか、または単一のLAN-WAPアクセスポイントを含む場合がある。さらに、図2に示されるLAN-WAP206a〜eの各々は、移動可能なノードとすることができるか、または、別の方法で再配置可能とすることができる。
【００３８】
図2にさらに示されるように、動作環境200は、いくつかの実施形態では、ワイヤレス音声および/またはデータ通信のために使用することができ、それを介してモバイルデバイス208がその位置/ロケーションを判断することができる独立した別の情報源としての役割を果たすこともできる、複数の1つもしくは複数のタイプのワイドエリアネットワークワイヤレスアクセスポイント(WAN-WAP)204a〜cを含むこともできる。WAN-WAP204a〜cは、セルラー基地局、および/または、たとえば、WiMAX(たとえば、802.16)、フェムトセル送受信機など、他のワイドエリアワイヤレスシステムを含むことができるワイドエリアワイヤレスネットワーク(WWAN)の一部とすることができる。WWANは、図2には示されない他の既知のネットワーク構成要素を含む場合もある。通常、WWAN内の各WAN-WAP204a〜204cは、固定位置から動作し、大都市および/または地方エリアにわたるネットワークカバレージを提供することができる。図2には3つのWAN-WAPが示されるが、任意の数のそのようなWAN-WAPを使用することができる。いくつかの実施形態では、動作環境200は、WAN-WAPをまったく含まない場合があるか、または単一のWAN-WAPを含む場合がある。さらに、図2に示されるWAN-WAP204a〜cの各々は、移動可能なノードとすることができるか、または、再配置可能とすることができる。
【００３９】
したがって、(データを交換するため、デバイス208の位置を特定できるようにするためなどの)モバイルデバイス208との間の通信は、いくつかの実施形態では、ワイドエリアワイヤレスネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などの種々のワイヤレス通信ネットワークを用いて実施することもできる。「ネットワーク」および「システム」という用語は、交換可能に使用することができる。WWANは、符号分割多重接続(CDMA)ネットワーク、時分割多重接続(TDMA)ネットワーク、周波数分割多重接続(FDMA)ネットワーク、直交周波数分割多重接続(OFDMA)ネットワーク、シングルキャリア周波数分割多重接続(SC-FDMA)ネットワーク、WiMax(IEEE802.16)などとすることができる。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実現することができる。cdma2000は、IS-95規格、IS-2000規格、および/またはIS-856規格を含む。TDMAネットワークは、モバイル通信用グローバルシステム(GSM（登録商標）:Global System for Mobile Communications)、デジタルアドバンストモバイルフォンシステム(D-AMPS:Digital Advanced Mobile Phone System)、または何らかの他のRATを実現することができる。GSM（登録商標）およびW-CDMAは、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書に記載されている。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書に記載されている。3GPP文書および3GPP2文書は、公的に入手可能である。また、WLANはIEEE802.11xネットワークとすることもでき、WPANはブルートゥース（登録商標）ネットワーク、IEEE802.15x、または何らかの他のタイプのネットワークとすることができる。また、本明細書において説明される技法は、WWAN、WLAN、および/またはWPANの任意の組合せのために使用することもできる。
【００４０】
いくつかの実施形態では、図2にさらに示されるように、モバイルデバイス208は、モバイルデバイス208に関する独立した位置情報源として用いることができる衛星測位システム(SPS)202a〜bから情報を少なくとも受信するように構成することもできる。したがって、モバイルデバイス208は、SPS衛星からジオロケーション情報を導出するための信号を受信するように特に設計された1つまたは複数の専用SPS受信機を含むことができる。したがって、いくつかの実施形態では、モバイルデバイス208は、SPS衛星202a〜b、WAN-WAP204a〜c、および/またはLAN-WAP206a〜eのうちのいずれか1つもしくは組合せと通信することができる。
【００４１】
本明細書で使用する場合、モバイルデバイスまたは移動局(MS)は、セルラーワイヤレス通信デバイスもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、パーソナル情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、あるいはワイヤレス通信信号および/またはナビゲーション位置特定信号などのナビゲーション信号を受信できる他の適切なモバイルデバイスなどのデバイスを指す。「移動局」(または「モバイルデバイス」もしくは「ワイヤレスデバイス」)という用語は、デバイスもしくはパーソナルナビゲーションデバイス(PND)において衛星信号受信、支援データ受信、および/または位置関連処理が行われるかどうかにかかわらず、短距離ワイヤレス、赤外線、有線接続、またはその他の接続などの、PNDと通信するデバイスを含むことも目的とする。また、「移動局」は、インターネット、WiFi、または他のネットワークなどを介してサーバとの通信が可能である、ワイヤレス通信デバイス、コンピュータ、ラップトップ、タブレットデバイスなどを含むすべてのデバイスを、衛星信号受信、支援データ受信、および/もしくは位置関連処理がそのデバイスにおいて行われるか、サーバにおいて行われるか、またはネットワークに関連する別のデバイスにおいて行われるかにかかわらずに含むことを目的とする。上記の任意の動作可能な組合せも、「移動局」と考えられる。いくつかの実施形態では、デバイスの運動を判断する手順、判断されたデバイスの運動に少なくとも部分的に基づいて、1つもしくは複数の取り込まれた画像内に現れる物体の特徴の変動を検出する手順などを含む、本明細書において説明される手順は、ワイヤレス機能(たとえば、他の遠隔デバイスとワイヤレス通信するための機能)を有しないデバイスによって実行される場合もある。
【００４２】
ここで図3を参照すると、図1および図2に関連してそれぞれ説明されたデバイス110および/またはデバイス208に類似とすることができるモバイルデバイス300のブロック図が示される。図3に示されるように、モバイルデバイス300は、たとえば、磁力計、加速度計(たとえば、3D加速度計)、ジャイロスコープなどとすることができる、少なくとも1つの方位センサ(空間センサまたは慣性センサとも呼ばれる)320を含むことができる。1つの方位センサのみが示されるが、デバイス300内にさらなるセンサが含まれる場合もある。移動局は、ディスプレイもしくはスクリーンなどの、ユーザインターフェースデバイス上に表示することができる静止画像または動画(たとえば、ビデオシーケンス)を生成することができるカメラ330(たとえば、電荷結合デバイス(CCD)タイプのカメラ、CMOSタイプのカメラなど)のような、画像取込ユニットをさらに含む。
【００４３】
モバイルデバイス300は、アンテナ344を介してSPS衛星(図2の衛星202a〜bなど)から信号を受信する衛星測位システム(SPS)受信機のような受信機340を含むことができる。また、モバイルデバイス300は、1つもしくは複数のワイヤレスアクセスポイント(図2のLAN-WAP206a〜eおよび/またはWAN-WAP204a〜cのいずれかなど)との間で通信を送り、受信するように構成されるか、あるいはワイヤレス/セルラー通信用に構成された任意の他のタイプのネットワークノードを備える、たとえば、セルラーモデムまたはワイヤレスネットワーク無線受信機/送信機などとすることができるワイヤレス送受信機335を含むこともできる。ワイヤレス送受信機との間の通信は、専用アンテナ336を介して、アンテナ344を介して、または何らかの他のアンテナを介して可能にすることができる。必要なら、モバイルデバイス300は、セルラーモデムおよびワイヤレスネットワーク無線受信機/送信機としての役割を果たす別の送受信機を含むことができる。
【００４４】
少なくとも1つの方位センサ320、カメラ330、SPS受信機340およびワイヤレス送受信機335は、コントローラ350に接続され、コントローラ350と通信する。コントローラ350は、たとえば、少なくとも1つの方位センサ320、カメラ330、SPS受信機340、および/またはワイヤレス送受信機335からデータを受け取り、処理するように構成され、デバイス300の種々の搭載ユニット/モジュールの動作、およびモバイルデバイス300の一般的な動作を制御するように構成される。また、コントローラ350は、たとえば、画像内に現れる、静止していると推定されるか、または静止していることがわかっている基準物体の位置を追跡すること、基準物体の追跡された位置に基づいてデバイスの運動を判断すること、デバイスの判断された運動に基づいて、取り込まれた画像を位置合わせするか、または別の方法で相関をとること、対象物の特徴の変動を検出すること(そのような特徴変動は、静止物体とすることができる物体の位置から一般的に独立している)などを含む、カメラ330によって取り込まれた画像を処理するように構成することもできる。コントローラ350は、いくつかの実施態様では、プロセッサ352および関連メモリ354と、クロック353と、ハードウェア356と、ソフトウェア358と、ファームウェア357とを含むことができる。移動局コントローラ350は、いくつかの実施形態では、明確にするために、プロセッサ352とは別に示されるが、プロセッサ352の一部を構成することができる専用画像処理エンジン355をさらに含むことができる。画像処理エンジン355は、画像を処理し、かつ/または本明細書で説明する手順の動作のうちの少なくともいくつかを実行するように構成される。いくつかの実施形態では、本明細書において説明される手順の動作のうちの少なくともいくつかは、モバイルデバイス300によって遠隔実行することができる。たとえば、本明細書において説明される画像処理動作のうちの少なくとも一部を遠隔サーバ(たとえば、図1のサーバ210)において実行するために、カメラ330によって取り込まれた画像に関する画像データのうちのある量をそのようなサーバに通信することができる。
【００４５】
また、モバイルデバイス300は、コントローラ350と通信するユーザインターフェース360を含み、たとえば、コントローラ350はデータを受け取り、ユーザインターフェース360を制御する。ユーザインターフェース360は、カメラ330によって生成された画像を含む、画像を表示することができるディスプレイ362を含む。ディスプレイ362はさらに、制御メニューおよび位置情報を表示することができる。ユーザインターフェース360はさらに、たとえば、キーパッド364、タッチスクリーン(図示せず)、マイクロフォンおよびスピーカ(図示せず)、またはユーザがそれを通して移動局300に情報を入力することができる他の入力デバイスのような、入力インターフェースデバイスを含む。
【００４６】
ここで図4を参照すると、物体の1つまたは複数の変化する特徴を検出する例示的な手順400の流れ図が示される。手順400は、モバイルデバイス(図1、図2および図3にそれぞれ示されるデバイス110、208または300など)の画像取込ユニット(たとえば、CCDまたはCMOSカメラのようなカメラ)によって、対象物を含むシーンの画像を取り込むこと、410を含む。監視されることになる対象物を含むシーンの画像を取り込むことは、モバイルデバイスを携帯し、画像取込ユニットを起動することができるユーザの裁量で実行することができる。その代わりに、および/またはそれに加えて、画像を取り込むことは、何らかの所定の条件が満たされるか、またはそのような条件と一致すると判断するのに応答して、自動的に開始することができる。たとえば、画像取込ユニットは、a)何らかの所定の時刻に、b)対象物に関連付けられるワイヤレスデバイス(RFIDタグなど)からの識別信号を受信するのに応答して、c)モバイルデバイスによって受信された視覚または音声情報に基づいて物体を認識するのに応答して、などによって起動することができる。いくつかの実施形態では、スクリーンディスプレイ(図3に示すデバイス300のディスプレイ362など)は、ユーザが所望の対象物にカメラを適切に向けることができるように、デバイスのカメラを用いて撮影された画像を提示することができる。いくつかの実施形態では、モバイルデバイスは、複数の画像を併用し、複数の画像からの複数の対象物を監視できるように、複数のカメラ(たとえば、背面カメラおよび正面カメラ、側面のうちの1つに位置する別のカメラなど)を含むことができる。
【００４７】
図4にさらに示されるように、手順400は、モバイルデバイスの運動を判断すること、420も含む。言及されるように、ユーザによって保持され、関心のある対象物(たとえば、そのバイオメトリック特性が測定されることになる患者)に向けられるモバイルデバイスは、小刻みな動きのような小さい動きを受けやすく、結果として、シーンに対するデバイス(それゆえ、デバイスの搭載画像取込ユニット)の方位、シーンからのデバイスの距離などに変化が生じる場合がある。それに加えて、またはその代わりに、デバイスは、デバイスを保持するユーザが意図的に異なる場所に移動するときなどに、さらに大きい動きを受ける場合がある。結果として、デバイスが受ける運動/動きが判断され、デバイスが異なる場所にあった間に取り込まれた画像を位置合わせできるようにする。
【００４８】
いくつかの実施態様では、モバイルデバイスの運動は、モバイルデバイス上に位置する1つまたは複数の慣性(方位)センサを通して測定されるようなデバイスの方位の変化に少なくとも部分的に基づいて判断することができる。たとえば、モバイルデバイスは、いくつかの実施形態ではマイクロ電気機械システム(MEMS)技術に基づいて実現される3-D加速度計のような加速度計を含むことができる。いくつかの実施形態では、3-D加速度計は、たとえば、3つの1-D加速度計を用いて実現することができる。そのデバイスは、2つ以上の3-D加速度計を含む場合もある。加速度計は、少なくとも2つの軸を基準にして測定することができる、局所的な水平面のような平面内で直線運動、すなわち、並進を検知/測定するように構成される。そのような加速度計は、物体の傾斜を測定するように構成することもできる。したがって、3D加速度計によれば、加速度計に関して下方を指示する重力方向だけでなく、直交座標空間(x,y,z)内の物体の運動を検知することができる。いくつかの実施形態では、デバイスはジャイロスコープセンサを含むこともでき、ジャイロスコープセンサは、マイクロ電気機械システム(MEMS)技術に基づいて実現することができ、単軸ジャイロスコープ、2軸ジャイロスコープ、またはたとえば、3つの直交軸についての運動を検知するように構成される3-Dジャイロスコープとすることができる。MEMSベースのジャイロスコープの代わりに、またはそれに加えて、他のタイプのジャイロスコープを用いることができる。いくつかの実施形態では、モバイルデバイスは、磁界の強さおよび/または方向を測定するように構成される磁力計をさらに含むことができ、いくつかの実施形態では、磁北(真北に対する方位に変換することができる)に対する絶対方位を測定することができる。いくつかの実施態様では、MEMSベースの磁力計を使用することができる。そのようなMEMSベースのセンサは、MEMS導体を通る電流によって生成されるローレンツ力によって引き起こされる運動を検出するように構成することができる。たとえば、ホール効果磁力計、回転コイル磁力計などの磁力計を含む、他のタイプの磁力計も、MEMSベースの実施態様の代わりに、またはそれに加えて、モバイルデバイスの実施態様において用いることができる。モバイルデバイスは、他のタイプのセンサデバイスを含むことができる。
【００４９】
したがって、1つまたは複数の慣性センサを用いて得られた測定値に基づいて、モバイルデバイスが受けた運動(たとえば、デバイスの画像取込ユニットによって取り込まれた2つの連続した画像間の間隔中に受けた運動)を判断することができる。判断された運動は、その間隔中に進行した距離、方位の相対的変化などを含むことができる。いくつかの実施形態では、デバイスの絶対位置または方位を知る必要がない場合があることに留意されたい。むしろ、そのような実施形態では、後に取り込まれた画像を早期に取り込まれた画像と位置合わせするために、たとえば、連続する画像取込間の間隔中の方位の変化またはその間隔中にデバイスが進行する距離しか判断する必要がない。
【００５０】
いくつかの実施形態では、画像は、基準画像と後続の画像との間のホモグラフィを計算することによって位置合わせされる。ホモグラフィ行列は、トラッカによって特徴点間の対応に基づいて推定することができる。代替的には、ホモグラフィ行列は、センサによって推定された回転行列および並進行列から計算することができる(たとえば、画像に対する面法線がわかっている場合)。面法線は、トラッカによって、特徴対応から推定することができる。この情報が入手可能であると、トラッカおよびセンサからの観測結果を、たとえば、カルマンフィルタを用いて合成して、カメラの姿勢を推定することができる。こうして、回転行列R、並進行列Tおよび面法線nを仮定すると、ホモグラフィ行列は、以下の式によって与えられる。
H=R+(1/d)nT'
ただし、dは平面までの距離であり、一般性を失うことなく、1に設定することができ、T'は転置並進行列である。
【００５１】
言及されたように、いくつかの実施形態では、モバイルデバイスが受ける運動は、静止していることがわかっているか、または静止していると推定されるシーン内の基準物体を追跡することによって判断することができる。したがって、基準物体の位置の変化は、デバイスによる運動に起因すると考えることができる。それゆえ、第1の取り込まれた画像から第2の後続の取り込まれた画像までの基準物体の位置、方位および/または寸法の変化は、基準物体を位置合わせし直すために、それゆえ、第2の画像の全体を第1の画像に位置合わせするために用いることができる。いくつかの実施形態では、基準物体の追跡は、基準物体の特徴に関する容易に認識可能な点を識別することによって実行することができる。基準物体は、あらかじめデバイスに知られている場合がある。その代わりに、またはそれに加えて、いくつかの実施形態では、モバイルデバイスを操作するユーザが、追跡されることになる基準物体を(たとえば、タッチスクリーンまたは何らかの他の入力インターフェースを通して)識別することができる。したがって、追跡されることになる物体は、動的に選択することができる。いくつかの実施形態では、2つ以上の基準物体が識別され、追跡される場合がある。追跡される物体内の適切な点を識別する他の方法およびプロセスを用いることもできる。
【００５２】
いくつかの実施形態では、基準物体の基準点が第1の画像および第2の画像の座標系において識別されると(しかしながら、3つ以上の画像が用いられる場合もあることに留意されたい)、各画像座標系における、それらの点の座標を用いて、変換行列Tを導出することができ、変換行列Tは、第2の画像を、その座標系から第1の画像の座標系に変換することになり、それにより、シーンの第2の画像内の静止している物体と、シーンの第1の取り込まれた画像内に現れるときに同じ静止している物体と位置合わせできるようになる。いくつかの実施形態では、変換行列Tの導出は、基準点が第1の画像の座標系内で表されるとき、第2の画像内の基準点の座標を同じ基準点の座標系にマッピングする変換行列Tのパラメータの値を求めることによって実行することができる。
【００５３】
図4を再び参照すると、図示されるように、シーンの画像が取り込まれ、モバイルデバイスの運動が判断されると、シーン内の対象物の位置から独立している物体の1つまたは複数の変化する特徴の変動(たとえば、物体の表面において生じる小さい運動、色変化など)が、デバイスの判断された運動に少なくとも部分的に基づいて、取り込まれた画像から検出される、430。言及されるように、いくつかの実施態様では、モバイルデバイスの判断された運動を用いて、取り込まれた画像を基準画像(たとえば、早期に取り込まれた画像)と位置合わせするか、または別の方法で第1の取り込まれた画像に対応する第1の基準系を判断し、他の取り込まれた画像の基準系を第1の基準系に合わせる。取り込まれた画像のうちの少なくともいくつかが位置合わせされると、位置合わせされた画像に画像処理動作(たとえば、フィルタリング動作)を適用して、物体の位置(相対または絶対)から独立している監視されている対象物の1つまたは複数の変化する特徴を分離し、および/または抽出する。監視される物体が人である状況では、物体の変化する特徴の判断された変動から、人のバイオメトリック特性(たとえば、心拍数、呼吸頻度など)を判断することができる。たとえば、人の皮膚の色は一般的に、血液循環とともに変化し、それゆえ、人の1つまたは複数の取り込まれた画像から判断される色変動を用いて、人の心拍数を判断することができる。
【００５４】
いくつかの実施形態では、1つまたは複数の取り込まれた画像の処理は(たとえば、画像が位置合わせされると)、一連の画像を異なる空間周波数帯域に分解することができる空間および時間処理の組合せを含むことができる(たとえば、異なる空間周波数帯が異なる信号対雑音比を有する場合があるという事実、および時間処理中に用いられる種々の線形近似が、ある帯域には適しているが、他の帯域には適していない場合があるという事実を考慮に入れるため)。画像を異なる周波数帯域に分解することは、いくつかの実施形態では、空間フィルタリング動作(たとえば、ローパスフィルタリング)を通して実行することができ、その後、いくつかの実施形態では、ダウンサンプリング動作が行われる場合がある。
【００５５】
異なる空間周波数帯域に分解されると、種々の分解された帯域に時間処理を適用することができる(時間フィルタリングは、状況によっては、空間並進を近似する場合がある)。いくつかの実施形態では、同じ時間処理が種々の帯域に適用される。たとえば、同じ時間フィルタ(たとえば、時間バンドパスフィルタ)がすべての空間周波数帯に適用される場合がある。そのような実施形態では、種々の画像の種々の帯域のためのピクセル値は、後に時間フィルタを適用することができる時間関数近似(たとえば、テーラー級数近似)を用いて表すことができる。用いられる時間フィルタは、観測される/判断されることになる具体的な特性によって決まる場合がある。たとえば、判断されることになる特性が人の脈拍数(人の顔または腕において生じる皮膚の色または皮膚の脈動のような変化する特徴から判断されることになる)である場合には、適用されることになる時間バンドパスフィルタは、0.4Hz〜4Hz(1分あたり24〜240の心拍数に対応する)の周波数範囲においてフィルタリングを行うことができる。いくつかの実施形態では、異なる帯域に異なるフィルタリング動作を適用することができる。
【００５６】
いくつかの実施形態では、種々の空間周波数帯域に時間フィルタリング動作を適用した後に、結果として生成された信号は、特定の帯域に関連付けられる特定の増幅率だけ増幅することができる。このようにして、いくつかの実施形態では、より良好な信号対雑音比を有するか、または時間関数近似がより適切である帯域は、信号対雑音比が良くないか、または時間信号関数近似が必ずしも正確でない帯域より、大きい増幅率だけ増幅することができる。時間フィルタリングおよび増幅動作を含む時間処理は、オイラー処理とも呼ばれる。
【００５７】
いくつかの実施形態では、種々の空間帯域内の結果として生成される増幅された時間信号は、時間フィルタリング動作を通して帯域信号から除去されたそれぞれの成分に再び加算され、結果として加算された信号(ここでは、それぞれ、増幅された時間フィルタリング後の信号と、時間フィルタリングを通して除去された成分とを含む)を合成して、結果として、検出/判断されることになる小さい特徴変動が増幅されている信号を生成する。
【００５８】
オイラー処理の一例として、特定の時刻tにおける特定の場所xに関する強度I(x,t)が以下のように表される、特定の帯域の信号を考える。
I(x,t) = f(x + δ(t))
ただし、δ(t)は変位関数である。
【００５９】
画像が一次テーラー級数として表すことができると仮定すると、I(x,t)は以下のように表すことができる。
【００６０】
【数１】
2016538053.tif 000003
【００６１】
信号I(x,t)にバンドパスフィルタを適用し、f(x)を除去する結果として、以下の信号B(x,t)が生成される。
【００６２】
【数２】
2016538053.tif 000004
【００６３】
その信号は、その後、増幅率α(それは、対象とする特定の空間帯域によって決まる可変増幅率とすることができる)だけ増幅され、増幅された信号を元の信号I(x,t)に加算して、処理済み信号を与える。
【００６４】
【数３】
2016538053.tif 000005
【００６５】
したがって、変位関数δ(t)は拡大されている。
【００６６】
その後、生成された合成後の結果的な信号にさらなる処理を適用して、判断されることになる所望の特性を判断することができる(たとえば、モバイルデバイスの画像取込ユニットで監視される対象物が人、または人の頭もしくは腕のような人のあるエリアであるときの脈拍数または呼吸頻度)。たとえば、結果として生成された画像を処理して、ある期間内に生じる、結果として生成された画像内に現れる変化する特徴のサイクル数を解析し、判断することができる(たとえば、監視される人の脈拍数を示す、変化する皮膚色のサイクルが1分間に何回生じるか)。いくつかの実施形態では、判断されることになる特性は、帯域のうちの1つまたは複数に対応する個々の増幅された信号(画像内の含まれる他の視覚情報に対して増幅される)のうちの1つまたは複数から(すなわち、分解された帯域の元の信号成分を加算し、および/または結果として生成された帯域信号を合成して1つの合成画像にすることによって合成複合画像を生成することなく)導出することができる。オイラー画像処理に関するさらなる詳細は、たとえば、H.Y Wuら「Eulerian Video Magnification for Revealing Subtle Changes in the World」(ACM Transactions on Graphics(TOG), SIGGRAPH 2012, Conference Proceedings, Volume 31 Issue 4, Article No. 65, July 2012)において提供され、その内容は、その全体を参照することにより本明細書に援用される。物体内の小運動を増幅する別の手順が、Guha Balakrishnanら「Detecting Pulse From Head Motions in Video」(CVPR 2013)において記述されており、その内容は、その全体を参照することにより本明細書に援用される。
【００６７】
いくつかの実施形態では、物体の変化する特徴を判断/検出できるようにする他のタイプの処理を用いることもできる。たとえば、そこからバイオメトリック特性を判断することができるフォトプレチスモグラフィ信号を得ることに基づく処理を実現することができる。そのような処理のさらなる詳細が、たとえば、W. Verkruysseら「Remote plethysmographic imaging using ambient light」(Optics Express, Vol. 16, Issue 26, pp. 21434-21445(2008))において提供され、その内容は、その全体を参照することにより本明細書に援用される。
【００６８】
モバイルデバイスのための運動判断を実行する手順、物体の1つまたは複数の変化する特徴の変動(そこから、バイオメトリックパラメータのような特性/値を判断することができる)を検出する動作を含む、本明細書において説明される種々の手順および動作は、1つまたは複数のプロセッサベースのコンピューティングシステムによって容易にすることができる。図5を参照すると、例示的なコンピューティングシステム500の概略図が示される。本明細書において説明されるデバイス、サーバ、および/またはシステムのうちの1つもしくは複数(たとえば、図2に示されるデバイス、アクセスポイント、またはサーバのうちのいずれか)は、少なくとも部分的に、例示的なコンピューティングシステム500と同様とすることができるコンピューティングシステムの一部またはすべてを使用して実現することができる。
【００６９】
コンピューティングシステム500は、通常、中央プロセッサユニット512を含む、パーソナルコンピュータ、専用コンピューティングデバイスなどのプロセッサベースのデバイス510を含む。CPU512に加えて、そのシステムは、メインメモリと、キャッシュメモリと、バスインターフェース回路(図示せず)とを含む。プロセッサベースのデバイス510は、コンピュータシステムに関連付けられるハードドライブおよび/またはフラッシュドライブなどの大容量記憶デバイス514を含むことができる。コンピューティングシステム500は、キーボード、またはキーパッド516、およびユーザがそれらにアクセスすることができる場所に配置することができるモニタ520、たとえば、CRT(陰極線管)モニタもしくはLCD(液晶ディスプレイ)モニタ(たとえば、モバイルデバイスの画面)をさらに含むことができる。
【００７０】
プロセッサベースのデバイス510は、たとえば、本明細書において説明される手順の実施態様を容易にするように構成される(いくつかの実施形態では、手順の動作のうちのいくつかは、モバイルデバイスなどの第1のデバイスにおいて実行される場合があり、一方、他の手順の動作は、モバイルデバイスと通信するシステムにおいて実行される場合がある)。したがって、大容量記憶デバイス514は、プロセッサベースのデバイス510上で実行されるとき、プロセッサベースのデバイスに、本明細書において説明される手順の実施態様を容易にする動作を実行させるコンピュータプログラム製品を含むことができる。プロセッサベースのデバイスは、入出力機能を可能にする周辺デバイスをさらに含むことができる。そのような周辺デバイスは、たとえば、CD-ROMドライブおよび/もしくはフラッシュドライブ、または関連コンテンツを接続されたシステムにダウンロードするためのネットワーク接続を含むことができる。そのような周辺デバイスは、それぞれのシステム/デバイスの一般的な動作を可能にするためのコンピュータ命令を含むソフトウェアをダウンロードするために使用される場合もある。その代わりに、および/またはそれに加えて、いくつかの実施形態では、コンピューティングシステム500の実施態様において、専用論理回路、たとえば、FPGA(フィールドプログラマブルゲートアレイ)、DSPプロセッサ、またはASIC(特定用途向け集積回路)を用いることができる。プロセッサベースのデバイス510とともに含まる場合がある他のモジュールは、スピーカ、サウンドカード、それによってユーザがコンピューティングシステム500に入力を与えることができるポインティングデバイス、たとえば、マウスまたはトラックボールである。プロセッサベースのデバイス510はオペレーティングシステムを含むことができる。
【００７１】
(プログラム、ソフトウェア、ソフトウェアプリケーションまたはソフトウェアコードとしても知られる)コンピュータプログラムは、プログラマブルプロセッサ用の機械命令を含み、ハイレベル手続き型および/もしくはオブジェクト指向プログラミング言語で、ならびに/またはアセンブリ/機械言語で実現することができる。本明細書において用いられるとき、「機械可読媒体」という用語は、機械可読信号として機械命令を受信する非一時的機械可読媒体を含む、機械命令および/もしくはデータをプログラマブルプロセッサに与えるために使用される任意の非一時的コンピュータプログラム製品、装置、および/またはデバイス(たとえば、磁気ディスク(disc)、光ディスク(disk)、メモリ、プログラマブル論理デバイス(PLD))を指す。
【００７２】
メモリは、処理ユニット内で実装されるかあるいは処理ユニットの外部で実装することができる。本明細書において用いられるとき、「メモリ」という用語は、任意の種類の長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリを指しており、いずれかの特定のタイプのメモリもしくはメモリ数に限定されるべきではなく、または、メモリが記憶される媒体のタイプに限定されるべきではない。
【００７３】
機能が、ファームウェアおよび/またはソフトウェアにおいて実施される場合には、コンピュータ可読媒体上に1つまたは複数の命令またはコードとして記憶することができる。例として、データ構造を符号化したコンピュータ可読媒体、およびコンピュータプログラムを符号化したコンピュータ可読媒体がある。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスすることができる任意の入手可能な媒体とすることができる。例であって、限定はしないが、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク(disk)ストレージ、磁気ディスク(disk)ストレージ、半導体ストレージ、または他のストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用することができ、コンピュータによってアクセスすることができる、任意の他の媒体を含むことができ、本明細書において用いられるとき、ディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
【００７４】
コンピュータ可読媒体に記憶することに加えて、命令および/またはデータは、通信装置に含まれる伝送媒体上の信号として与えることができる。たとえば、通信装置は、命令およびデータを示す信号を有する送受信機を含むことができる。命令およびデータは、1つまたは複数の処理ユニットに、特許請求の範囲において概説される機能を実施させるように構成される。すなわち、通信装置は、開示される機能を実行するための情報を示す信号を伴う伝送媒体を含む。最初に、通信装置に含まれる送信媒体は、開示された機能を実行するための情報の第1の部分を含むことができ、2度目に、通信装置に含まれる送信媒体は、開示された機能を実行するための情報の第2の部分を含むことができる。
【００７５】
本明細書において説明される主題のうちのいくつかまたはすべては、(たとえば、データサーバとして)バックエンド構成要素を含むか、もしくは(たとえば、アプリケーションサーバなどの)ミドルウェア構成要素を含むか、またはフロントエンド構成要素(たとえば、それを介してユーザが本明細書において説明される主題の実施形態とやりとりことができるグラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータ)、あるいはそのようなバックエンド構成要素、ミドルウェア構成要素、またはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムにおいて実施することができる。本システムの構成要素は、任意の形態または媒体のデジタルデータ通信、たとえば、通信ネットワークによって相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、およびインターネットを含む。
【００７６】
コンピューティングシステムは、クライアントとサーバとを含むことができる。クライアントおよびサーバは、概して、互いに離れており、一般に、通信ネットワークを通してやりとりする。クライアントおよびサーバの関係は、概して、それぞれのコンピュータ上で実行され、互いに対してクライアント-サーバ関係を有するコンピュータプログラムにより生じる。
【００７７】
特定の実施形態が本明細書において詳細に論じられてきたが、これは、例として例示するためだけに論じられ、以下の添付の請求項の範囲に関して限定することは意図していない。詳細には、特許請求の範囲によって定められる本発明の趣旨および範囲から逸脱することなく、種々の置換、改変、および修正を行うことができると考えられる。他の態様、利点、および修正は、以下の請求項の範囲内にあると見なされる。提示される請求項は、本明細書において開示された実施形態および特徴を表す。他の特許請求されない実施形態および特徴も考えられる。したがって、他の実装形態も以下の特許請求の範囲内にある。
【符号の説明】
【００７８】
100  シーン
110  モバイルデバイス
112a  破線
112b  破線
114a〜n  画像
116  ブロック
118  ブロック
120  人
122  ランプ
124  テーブル
200  動作環境
202a〜b  衛星測位システム(SPS)
204a〜c  ワイドエリアネットワークワイヤレスアクセスポイント(WAN-WAP)
206a〜e  ローカルエリアネットワークワイヤレスアクセスポイント(LAN-WAP)
208  モバイルデバイス
210  サーバ
300  モバイルデバイス
320  方位センサ
330  カメラ
335  ワイヤレス送受信機
336  専用アンテナ
340  受信機
344  アンテナ
350  コントローラ
352  プロセッサ
353  クロック
354  メモリ
355  画像処理エンジン
356  ハードウェア
357  ファームウェア
358  ソフトウェア
360  ユーザインターフェース
362  ディスプレイ
364  キーパッド
500  コンピューティングシステム
510  プロセッサベースのデバイス
512  中央プロセッサユニット(CPU)
514  大容量記憶デバイス
516  キーパッド
520  モニタ
【図１】
2016538053.tif 000006
【図２】
2016538053.tif 000007
【図３】
2016538053.tif 000008
【図４】
2016538053.tif 000009
【図５】
2016538053.tif 000010
【手続補正書】
【提出日】平成28年5月20日(2016.5.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
モバイルデバイスの画像取込ユニットによって、対象物を含むシーンの画像を取り込むステップと、
前記画像取込ユニットによって取り込まれた前記画像内に現れる静止した基準物体の位置を追跡するステップと、
前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて前記モバイルデバイスの運動を判断するステップと、
前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて判断される前記モバイルデバイスの前記運動に少なくとも部分的に基づいて、前記取り込まれた画像から、前記対象物の表面上で生じる小さい運動変動を含む1つまたは複数の変化する特徴の変動を検出するステップとを含み、前記1つまたは複数の変化する特徴の前記変動は前記シーン内の前記対象物の位置から独立している前記対象物の前記表面上で生じる前記小さい運動変動を含む、方法。
【請求項２】
前記対象物の前記1つまたは複数の変化する特徴は、前記対象物の前記表面において生じる色変化をさらに含む、請求項1に記載の方法。
【請求項３】
前記対象物の前記1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断するステップをさらに含む、請求項2に記載の方法。
【請求項４】
前記対象物の前記1つまたは複数の変化する特徴は、血管内に流れる血液に起因する皮膚組織の色変化、または脈動する組織のうちの1つまたは複数を含み、前記対象物の前記1つまたは複数の変化する特徴に関連付けられる前記バイオメトリック特性は、心拍数、血圧または呼吸数のうちの1つまたは複数を含む、請求項3に記載の方法。
【請求項５】
前記モバイルデバイスの前記判断された運動に少なくとも部分的に基づいて前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出するステップは、
前記静止した基準物体の前記追跡された位置に基づいて前記1つまたは複数の取り込まれた画像のうちの少なくとも2つを位置合わせするステップと、
前記位置合わせされた2つ以上の取り込まれた画像から前記対象物の前記1つまたは複数の変化する特徴の前記変動を判断するステップとを含む、請求項1に記載の方法。
【請求項６】
前記モバイルデバイスの前記運動を判断するステップは、
前記モバイルデバイスの1つまたは複数のセンサから1つまたは複数の測定値を得るステップと、
前記1つまたは複数のセンサから得られた前記1つまたは複数の測定値に基づいて前記モバイルデバイスの前記運動を判断するステップとを含む、請求項1に記載の方法。
【請求項７】
前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出するステップは、
前記モバイルデバイスの前記画像取込ユニットの基準系を決定するステップと、
前記取り込まれた画像のうちの2つ以上を前記モバイルデバイスの前記画像取込ユニットの前記基準系に合わせるステップと、
前記対象物の前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記画像取込ユニットの前記基準系に合わせられた、前記取り込まれた画像のうちの前記2つ以上を処理するステップとを含む、請求項1に記載の方法。
【請求項８】
前記対象物の前記1つまたは複数の変化する特徴を検出するステップは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記1つまたは複数の取り込まれた画像にフィルタリングプロセスを適用するステップを含む、請求項1に記載の方法。
【請求項９】
前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出するステップは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用するステップを含み、前記2つ以上の取り込まれた画像は前記モバイルデバイスの前記判断された運動に基づいて位置合わせされる、請求項1に記載の方法。
【請求項１０】
前記オイラー運動増幅プロセスは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記2つ以上の取り込まれた画像に対してフィルタリング動作を実行するステップと、
前記1つまたは複数の変化する特徴の前記抽出された変動を増幅するステップとを含む、請求項9に記載の方法。
【請求項１１】
画像取込ユニットと、
コントローラとを備え、前記コントローラは、
前記画像取込ユニットによって、対象物を含むシーンの画像を取り込むことと、
前記画像取込ユニットによって取り込まれた前記画像内に現れる静止した基準物体の位置を追跡することと、
前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいてモバイルデバイスの運動を判断することと、
前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて判断される前記モバイルデバイスの前記運動に少なくとも部分的に基づいて、前記取り込まれた画像から、前記対象物の表面上で生じる小さい運動変動を含む1つまたは複数の変化する特徴の変動を検出することとを含む動作をもたらすように構成され、前記1つまたは複数の変化する特徴の前記変動は前記シーン内の前記対象物の位置から独立している前記対象物の前記表面上で生じる前記小さい運動変動を含む、モバイルデバイス。
【請求項１２】
前記コントローラは、
前記対象物の前記1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断することを含むさらなる動作をもたらすようにさらに構成され、前記対象物の前記1つまたは複数の変化する特徴は、血管内に流れる血液に起因する皮膚組織の色変化をさらに含み、前記対象物の前記1つまたは複数の変化する特徴に関連付けられる前記バイオメトリック特性は、心拍数、血圧または呼吸数のうちの1つまたは複数を含む、請求項11に記載のモバイルデバイス。
【請求項１３】
前記モバイルデバイスの前記運動を判断することは、
前記モバイルデバイスの1つまたは複数のセンサから1つまたは複数の測定値を得ることと、
前記1つまたは複数のセンサから得られた前記1つまたは複数の測定値に基づいて前記モバイルデバイスの前記運動を判断することとを含む、請求項11に記載のモバイルデバイス。
【請求項１４】
前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出することは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用することを含み、前記2つ以上の取り込まれた画像は前記モバイルデバイスの前記判断された運動に基づいて位置合わせされる、請求項11に記載のモバイルデバイス。
【請求項１５】
前記オイラー運動増幅プロセスは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記2つ以上の取り込まれた画像に対してフィルタリング動作を実行することと、
前記1つまたは複数の変化する特徴の前記抽出された変動を増幅することとを含む、請求項14に記載のモバイルデバイス。
【請求項１６】
対象物を含むシーンの画像を取り込むための手段と、
前記画像を取り込むための手段によって取り込まれた前記画像内に現れる静止した基準物体の位置を追跡するための手段と、
前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて装置の運動を判断するための手段と、
前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて判断される装置の前記運動に少なくとも部分的に基づいて、前記取り込まれた画像から、前記対象物の表面上で生じる小さい運動変動を含む1つまたは複数の変化する特徴の変動を検出するための手段とを備え、前記1つまたは複数の変化する特徴の前記変動は前記シーン内の前記対象物の位置から独立している前記対象物の前記表面上で生じる前記小さい運動変動を含む、装置。
【請求項１７】
前記対象物の前記1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断するための手段をさらに備え、前記対象物の前記1つまたは複数の変化する特徴は、血管内に流れる血液に起因する皮膚組織の色変化をさらに含み、前記対象物の前記1つまたは複数の変化する特徴に関連付けられる前記バイオメトリック特性は、心拍数、血圧または呼吸数のうちの1つまたは複数を含む、請求項16に記載の装置。
【請求項１８】
前記装置の前記運動を判断するための前記手段は、
前記装置の1つまたは複数のセンサから1つまたは複数の測定値を得るための手段と、
前記1つまたは複数のセンサから得られた前記1つまたは複数の測定値に基づいて前記装置の前記運動を判断するための手段とを備える、請求項16に記載の装置。
【請求項１９】
前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出するための前記手段は、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用するための手段を備え、前記2つ以上の取り込まれた画像は前記装置の前記判断された運動に基づいて位置合わせされる、請求項16に記載の装置。
【請求項２０】
前記オイラー運動増幅プロセスは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記2つ以上の取り込まれた画像に対してフィルタリング動作を実行することと、
前記1つまたは複数の変化する特徴の前記抽出された変動を増幅することとを含む、請求項19に記載の装置。
【請求項２１】
プロセッサ上で実行可能なコンピュータ命令を用いてプログラムされたプロセッサ可読記憶媒体であって、前記コンピュータ命令は、実行されるときに、
モバイルデバイスの画像取込ユニットによって、対象物を含むシーンの画像を取り込むことと、
前記画像取込ユニットによって取り込まれた前記画像内に現れる静止した基準物体の位置を追跡することと、
前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて前記モバイルデバイスの運動を判断することと、
前記取り込まれた画像内の前記静止した基準物体の前記追跡された位置に基づいて判断される前記モバイルデバイスの前記運動に少なくとも部分的に基づいて、前記取り込まれた画像から、前記対象物の表面上で生じる小さい運動変動を含む1つまたは複数の変化する特徴の変動を検出することとを含む動作をもたらし、前記1つまたは複数の変化する特徴の前記変動は前記シーン内の前記対象物の位置から独立している前記対象物の前記表面上で生じる前記小さい運動変動を含む、プロセッサ可読記憶媒体。
【請求項２２】
実行されるときに、
前記対象物の前記1つまたは複数の変化する特徴に関連付けられる1つまたは複数のバイオメトリック特性を判断することを含むさらなる動作をもたらす命令をさらに含み、前記対象物の前記1つまたは複数の変化する特徴は、血管内に流れる血液に起因する皮膚組織の色変化をさらに含み、前記対象物の前記1つまたは複数の変化する特徴に関連付けられる前記バイオメトリック特性は、心拍数、血圧または呼吸数のうちの1つまたは複数を含む、請求項21に記載のプロセッサ可読記憶媒体。
【請求項２３】
前記モバイルデバイスの前記判断された運動に少なくとも部分的に基づいて前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出することは、
前記静止した基準物体の前記追跡された位置に基づいて前記1つまたは複数の取り込まれた画像のうちの少なくとも2つを位置合わせすることと、
前記位置合わせされた2つ以上の取り込まれた画像から前記対象物の前記1つまたは複数の変化する特徴の前記変動を判断することとを含む、請求項21に記載のプロセッサ可読記憶媒体。
【請求項２４】
前記モバイルデバイスの前記運動を判断することは、
前記モバイルデバイスの1つまたは複数のセンサから1つまたは複数の測定値を得ることと、
前記1つまたは複数のセンサから得られた前記1つまたは複数の測定値に基づいて前記モバイルデバイスの前記運動を判断することとを含む、請求項21に記載のプロセッサ可読記憶媒体。
【請求項２５】
前記対象物の前記1つまたは複数の変化する特徴の前記変動を検出することは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記取り込まれた画像のうちの2つ以上にオイラー運動増幅プロセスを適用することを含み、前記2つ以上の取り込まれた画像は前記モバイルデバイスの前記判断された運動に基づいて位置合わせされる、請求項21に記載のプロセッサ可読記憶媒体。
【請求項２６】
前記オイラー運動増幅プロセスは、
前記1つまたは複数の変化する特徴の前記変動を抽出するために、前記2つ以上の取り込まれた画像に対してフィルタリング動作を実行することと、
前記1つまたは複数の変化する特徴の前記抽出された変動を増幅することとを含む、請求項25に記載のプロセッサ可読記憶媒体。
【国際調査報告】
2016538053.tif 000011
2016538053.tif 000012
2016538053.tif 000013
2016538053.tif 000014