(57)【要約】  電子デバイス上のソフトウェアプログラムを制御するためのジェスチャに基づくユーザインターフェースのためのコンピュータ実装方法およびジェスチャに基づくユーザインターフェースシステムが、述べられ、本方法は、前記電子デバイスでの多開口画像センサから画像データを受け取るステップであって、前記画像センサが、第1の開口を使用して電磁(EM)スペクトルの少なくとも第1の部分および1つまたは複数の第2の開口を使用してEMスペクトルの少なくとも第2の部分に画像センサを同時にさらすように構成される、ステップと、前記画像センサの画像面上に前記第1の開口および前記1つまたは複数の第2の開口によって結像される物体の少なくとも一部、好ましくは人体部分の少なくとも一部と関連する前記画像データの少なくとも1つのエリアでシャープネス情報を決定するステップと、前記シャープネス情報の少なくとも一部に基づいて深度情報、好ましくは1つまたは複数の深度マップを生成するステップと、前記深度情報に基づいて前記物体の動きと関連するジェスチャの少なくとも一部を認識するステップとを含む。
2015522193.tif 000002
【特許請求の範囲】
【請求項１】
電子デバイス上のソフトウェアプログラムを制御するためのジェスチャに基づくユーザインターフェースのためのコンピュータ実装方法であって、
前記電子デバイスでの多開口画像センサから画像データを受け取るステップであって、前記画像センサが、第1の開口を使用して電磁(EM)スペクトルの少なくとも第1の部分および1つまたは複数の第2の開口を使用してEMスペクトルの少なくとも第2の部分に画像センサを同時にさらすように構成される、ステップと、
前記画像センサの画像面上に前記第1の開口および前記1つまたは複数の第2の開口によって結像される物体の少なくとも一部、好ましくは人体部分の少なくとも一部と関連する前記画像データの少なくとも1つのエリアでシャープネス情報を決定するステップと、
前記シャープネス情報の少なくとも一部に基づいて深度情報、好ましくは1つまたは複数の深度マップを生成するステップと、
前記深度情報に基づいて前記物体の動きと関連するジェスチャの少なくとも一部を認識するステップとを含む、方法。
【請求項２】
電磁スペクトルの前記第1の部分と関連する第1の画像データを決定するステップと、
電磁スペクトルの前記第2の部分と関連する第2の画像データを決定するステップと、
前記第1の画像データでの前記物体の画像の少なくとも一部と関連する第1のシャープネス情報および前記第2の画像データでの前記物体の前記画像の少なくとも一部と関連する第2のシャープネス情報を前記画像センサと前記物体との間の距離に関連付けることによって深度情報を生成するステップとをさらに含む、請求項1に記載の方法。
【請求項３】
前記深度情報は、前記電子デバイスのメモリに記憶された所定の深度関数に基づいて生成され、前記深度情報が、前記画像データでのシャープネス情報を前記画像センサと前記物体との間の距離に関連付けるように構成され、好ましくは前記深度情報が、前記画像データでのシャープネス情報を前記電子デバイスのメモリに記憶された一組のブラーカーネルからの少なくとも1つのブラーカーネルに関連付けるように構成され、前記ブラーカーネルの各々は、所定の深度値と関連する、請求項1または2に記載の方法。
【請求項４】
前記深度情報を生成するステップは、
前記画像データでの窓を選択するステップであって、好ましくは前記窓が、1つまたは複数の画素を備える、ステップと、
最小化アルゴリズムに基づいて前記窓でのシャープネス情報を一組のブラーカーネルでの1つのブラーカーネルに関連付けるステップと、
前記ブラーカーネルと関連する深度値を前記窓での1つまたは複数の画素に割り当てるステップとを含む、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記最小化アルゴリズムは、
前記ブラーカーネルの少なくとも1つを前記窓での前記シャープネス情報と畳み込むステップを含む、請求項4に記載の方法。
【請求項６】
電磁スペクトルの前記第2の部分と関連する第2の画像データを決定するステップと、
前記第2の画像データで少なくとも2つの横方向に変位した画像を決定するステップであって、前記画像の各々が、第2の開口と関連し、前記画像が、前記画像センサの前のある距離に位置決めされる物体と関連する、ステップと、
前記電子デバイスのメモリに記憶された所定の深度関数に基づいて深度情報を生成するステップであって、前記深度情報が、前記横方向に変位した画像間の距離を前記画像センサと前記物体との間の距離に関連付けるように構成される、ステップとをさらに含む、請求項1に記載の方法。
【請求項７】
前記多開口画像センサは、前記第2の開口の各々が前記画像センサの画像面上に物体を結像するように互いに関して構成される2つ以上の第2の開口を備え、前記横方向に変位した画像間の前記距離は、前記物体と前記画像センサとの間の前記距離の関数である、請求項6に記載の方法。
【請求項８】
第2の高周波数画像データを決定するステップと、
自己相関関数を通じて前記第2の高周波数画像データを走らせることによって前記距離を決定するステップとをさらに含む、請求項6または7に記載の方法。
【請求項９】
深度情報を生成するステップは、
深度値を前記多開口画像センサによって生成される前記画像データの少なくとも一部に割り当てることによって1つまたは複数の深度マップを形成するステップをさらに含む、請求項1から8のいずれか一項に記載の方法。
【請求項１０】
EMスペクトルの前記第1の部分は、EMスペクトルの可視部の少なくとも一部と関連し、かつ/またはEMスペクトルの前記第2の部分は、EMスペクトルの不可視部の少なくとも一部、好ましくは赤外線スペクトルと関連する、請求項1から9のいずれか一項に記載の方法。
【請求項１１】
前記深度マップに基づいて前記画像データと関連する画像フレームの少なくとも一部での関心のある領域(ROI)の少なくとも一部を決定するステップ、好ましくは前景深度値と関連する画素に基づいて前記関心のある領域を決定するステップを含み、前記前景深度値は、前記多開口画像センサの画像面に比較的近い深度値の所定の範囲内にある、請求項1から10のいずれか一項に記載の方法。
【請求項１２】
カラー情報に基づいて前記画像データと関連する画像フレームの少なくとも一部での関心のある領域の少なくとも一部を決定するステップ、好ましくは人体の一部と関連するカラー情報に実質的に一致するカラー情報に基づいて前記関心のある領域を決定するステップを含む、請求項1から11のいずれか一項に記載の方法。
【請求項１３】
前記ジェスチャを認識するステップは、
前記深度マップから1つまたは複数の深度特徴を抽出するステップ、好ましくは請求項11または12に記載のステップによって決定されるような関心のある領域での前記深度マップから深度特徴を抽出するステップと、オプションとして、
EMスペクトルの前記第1の部分と関連する第1の低周波数画像データを第2の高周波数画像データと混合することによって形成される強化画像から1つまたは複数の2D特徴を抽出するステップと、
前記深度特徴およびオプションとして前記2D特徴を前記人体部分、好ましくは手または指の部分と関連する1つまたは複数の基準特徴と照合するステップとを含む、請求項1から12のいずれか一項に記載の方法。
【請求項１４】
前記ジェスチャを認識するステップは、
前記深度マップに基づいて身体部分の少なくとも一部の1つまたは複数の軌跡、好ましくは1つまたは複数の空間軌跡を決定するステップと、
前記決定された軌跡を所定のジェスチャと関連する基準軌跡と相互に関係付けるステップと、
もし前記決定された1つまたは複数の軌跡が1つまたは複数の基準軌跡と相互に関連があるならば、所定のジェスチャの検出を確立するステップと、
前記所定のジェスチャに基づいて前記ソフトウェアプログラムを制御するステップとを含む、請求項1から13のいずれか一項に記載の方法。
【請求項１５】
前記身体部分は、指先であり、前記方法は、次のステップ、
多開口撮像システムの視野で1つまたは複数の所定の軌跡にわたって1つまたは複数の指先を動かすことに基づいて前記ソフトウェアプログラムを制御するステップと、
前記電子デバイスから所定距離の平面で指先を動かすことによって前記ソフトウェアプログラムを制御するステップと、
前記画像センサの視野で第1の距離から第2の距離まで指先を動かすことに基づいて前記ソフトウェアプログラムでの起動または停止機能を制御するステップと、
第1の検出された指先を第2の検出された指先に対して動かすこと、好ましくは前記画像センサの視野で1つまたは複数の所定の軌跡にわたって第1の指先を第2の指先に対して動かすことによって前記ソフトウェアプログラムを制御するステップとの少なくとも1つをさらに含む、請求項14に記載の方法。
【請求項１６】
身体部分は、指先であり、前記方法は、
前記深度マップに基づいて前記画像データで指先と関連する関心のある領域を決定するステップと、
EMスペクトルの前記第1の部分と関連する第1の低周波数画像データを第2の高周波数画像データと混合することによって形成される強化画像から1つまたは複数の方向性特徴を抽出するステップと、
前記抽出された方向性特徴をユーザの指紋と関連する方向性基準特徴と照合することによって前記ユーザを認証するステップとをさらに含む、請求項1から13のいずれか一項に記載の方法。
【請求項１７】
電子デバイスで使用するためのジェスチャに基づくユーザインターフェースシステムであって、前記ユーザインターフェースシステムが、前記電子デバイス上のソフトウェアプログラムを制御するように構成され、前記システムが、
画像データを生成するための多開口画像センサであって、第1の開口を使用して電磁(EM)スペクトルの少なくとも第1の部分および1つまたは複数の第2の開口を使用してEMスペクトルの少なくとも第2の部分に画像センサを同時にさらすように構成される多開口画像センサと、
前記画像センサの画像面上に前記第1の開口および前記1つまたは複数の第2の開口によって結像される物体の少なくとも一部、好ましくは人体部分の少なくとも一部と関連する前記画像データの少なくとも1つのエリアでシャープネス情報を生成するための1つまたは複数のフィルタと、
前記シャープネス情報の少なくとも一部に基づいて深度情報、好ましくは1つまたは複数の深度マップを生成するように構成される生成器と、
前記深度情報に基づいて前記物体の動きと関連するジェスチャを認識するように構成されるジェスチャ認識モジュールとを備える、ジェスチャに基づくユーザインターフェースシステム。
【請求項１８】
前記深度情報は、前記第1の開口と関連する第1のシャープネス情報および前記1つまたは複数の第2の開口と関連する第2のシャープネス情報を前記画像センサと前記物体との間の距離に関連付けるように構成される、または前記深度情報は、前記第2の開口の少なくとも2つと関連する少なくとも2つの横方向に変位した画像間の距離を前記物体と前記画像センサとの間の距離に関連付けるように構成される、請求項17に記載のジェスチャに基づくユーザインターフェースシステム。
【請求項１９】
前記深度情報は、前記第1の開口と関連する第1のシャープネス情報および前記1つまたは複数の第2の開口と関連する第2のシャープネス情報を前記電子デバイスのメモリに記憶された一組のブラーカーネルからの少なくとも1つのブラーカーネルに関連付けるように構成され、前記ブラーカーネルの各々は、前記画像センサと前記物体との間の距離と関連する、請求項17に記載のジェスチャに基づくユーザインターフェースシステム。
【請求項２０】
前記ジェスチャ認識モジュールは、
前記深度マップに基づいて身体部分の少なくとも一部の1つまたは複数の軌跡、好ましくは1つまたは複数の空間軌跡を決定し、
前記決定された軌跡を所定のジェスチャと関連する基準軌跡と相互に関連付け、
もし前記決定された1つまたは複数の軌跡が1つまたは複数の基準軌跡と相互に関連があるならば、所定のジェスチャの検出を確立し、
前記所定のジェスチャに基づいて前記ソフトウェアプログラムを制御するように構成される、請求項17から19のいずれか一項に記載のジェスチャに基づくユーザインターフェースシステム。
【請求項２１】
前記ジェスチャ認識モジュールは、
多開口撮像システムの視野で1つまたは複数の所定の軌跡にわたって1つまたは複数の指先を動かすことに基づいて前記ソフトウェアプログラムを制御し、前記電子デバイスから所定距離の平面で指先を動かすことによって前記ソフトウェアプログラムを制御し、前記画像センサの視野で第1の距離から第2の距離まで指先を動かすことに基づいて前記ソフトウェアプログラムでの起動または停止機能を制御し、かつ/または、第1の検出された指先を第2の検出された指先に対して動かすこと、好ましくは前記画像センサの視野で1つまたは複数の所定の軌跡にわたって第1の指先を第2の指先に対して動かすことによって前記ソフトウェアプログラムを制御するように構成される、請求項17から20のいずれか一項に記載のジェスチャに基づくユーザインターフェースシステム。
【請求項２２】
ジェスチャに基づくユーザインターフェースを提供するためのコンピュータプログラムであって、コンピュータシステムのメモリで走るとき、請求項1から16のいずれか一項に記載の方法ステップを実行するように構成されるソフトウェアコード部分を備える、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャに基づくユーザインターフェースに関し、特に、排他的ではないが、ジェスチャに基づくユーザインターフェースのためのコンピュータ実装方法、ジェスチャに基づくユーザインターフェースシステムおよびそのような方法を使用するコンピュータプログラム製品に関する。
【背景技術】
【０００２】
モバイル通信、自動車、ゲームおよびバイオメトリクスなどの様々な技術分野で使用されるマルチメディア処理デバイスは一般に、ユーザがグラフィカルユーザインターフェースを介してデバイスと対話するためにタッチスクリーン技術を使用する。タッチスクリーンに基づくユーザインターフェースは、電子デバイスと対話するための簡単でかつ直観的な方法を提供することができるが、それはなお、制限を有する。
【０００３】
タッチスクリーンは、二次元インターフェースを提供するだけであり、それによってユーザが電子デバイスと対話することができる方法を限られた組のタッチスクリーンジェスチャに制限し、そのためより複雑なまたはフィンアクション(fin action)制御となる。例えば、タッチスクリーンは、ペンに広がる圧力に応じて異なる線厚さを達成できるスクリーンに図形を描くための例えば図形プログラムを可能にするユーザインターフェースをエミュレートするには適していない。タッチスクリーンを使用してそのような結果を達成するためには、典型的にはユーザによる一連のメニュー形式の入力動作(例えば、異なるペン厚さを選択すること)が、必要とされる。
【０００４】
さらに、ユーザがタッチスクリーンと対話することができる方法は、スクリーンのサイズによって強く決定される。特に小型スクリーン電子デバイスの場合には、スクリーンに表示される多数の項目との対話は、困難である。その上、それは、ユーザが電子デバイスに近接近することを必要とする。しかしながら、ある状況では、例えば車中で電子デバイスを操作するとき、運転者は、実際にそれに触ることなく、電子デバイスと遠隔で対話することができることが望ましいこともある。
【０００５】
上述の問題のいくつかを軽減するために、現在は、ユーザが電子デバイスを制御するために使用することができるジェスチャの数がかなり拡張されるように、三次元ジェスチャを使用して電子デバイスの制御を可能にする、ジェスチャに基づくユーザインターフェースが、開発されている。例えば、プレーヤのジェスチャを使用してゲームを制御することができるような動き検出を可能にする、マイクロソフトのキネクト(Kinect)などのゲーム機インターフェースが、開発されている。典型的には、これらのシステムは、深度マップ生成光学処理システムに頼っている。
【０００６】
Zhou Ren他による論文「Depth camera based hand gesture recognition and its applications in human-computer interaction」、IEEE International Conference on Information, Communication, and Signal Processing (ICICS)、Singapore、2011年12月は、マイクロソフトのキネクトセンサによって生成される深度マップを使用する手のジェスチャ認識システムを述べる。そのシステムは、手のジェスチャを認識する能力があったが、そのシステムは、例えば小さい指の動きによる制御を可能にする精度が欠けている。An他による論文「Hand gesture recognition using 3D depth data」は、深度マップがTOF深度カメラによって生成される手のジェスチャ認識システムを述べる。これらのシステムは、モバイルデバイスへの統合に適しておらず、小さい手および/または指のジェスチャに基づいてモバイルデバイス上のソフトウェアプログラムの正確でかつきめの細かい制御を得るために必要とされる、空間的(すなわち、平面での)および深度の両方の精度を提供しない。
【０００７】
さらに、上述のシステムは、モバイルアプリケーションに適していないまたは少なくともあまり適していない。キネクトセンサは、赤外線スペックルの所定パターンをあるシーンでの物体に投影するように構成される赤外線レーザダイオードを使用し、投影されたパターンでのシフトは、赤外線画像センサによって獲得され、関心のあるシーンの深度マップを再構成するために使用される。しかしながら、モバイル電子デバイスの設計では、赤外線放射源などの電力消費要素は、望ましくない。その上、モバイル設計は、電力消費量に重大な制約を加えるだけでなく、またそれ故にできるだけ少ない構成要素を備えるべきである光学システムを収納するための限定空間だけを可能にする設計空間にも重大な制約を加える。TOFカメラへの追加の制限は、極めて短い距離を使用するときの短い飛行時間である。数cmの場合、時間分解能要件は、極端になる。
【０００８】
それ故に、手および/または指のジェスチャを使用して正確でかつきめの細かい制御を可能にする、モバイルデバイスのためのジェスチャに基づくユーザインターフェースシステムを提供するための方法およびシステムの必要性が、当技術分野にある。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来技術で知られている欠点の少なくとも1つを低減するまたは取り除くことが、本発明の目的である。
【課題を解決するための手段】
【００１０】
第1の態様では、本発明は、電子デバイス上のソフトウェアプログラムを制御するためのジェスチャに基づくユーザインターフェースのためのコンピュータ実装方法に関してもよく、前記方法は、前記電子デバイスでの多開口画像センサから画像データを受け取るステップであって、前記画像センサが、第1の開口を使用して電磁(EM)スペクトルの少なくとも第1の部分および1つまたは複数の第2の開口を使用してEMスペクトルの少なくとも第2の部分に画像センサを同時にさらすように構成される、ステップと、前記画像センサの画像面上に前記第1の開口および前記1つまたは複数の第2の開口によって結像される物体の少なくとも一部、好ましくは人体部分の少なくとも一部と関連する前記画像データの少なくとも1つのエリアでシャープネス情報を決定するステップと、前記シャープネス情報の少なくとも一部に基づいて深度情報、好ましくは1つまたは複数の深度マップを生成するステップと、前記深度情報に基づいて前記物体の動きと関連するジェスチャの少なくとも一部を認識するステップとを含む。
【００１１】
それ故に、本方法は、電子デバイスのためのジェスチャに基づくユーザインターフェースを提供する簡単な方法を可能にする。多開口画像センサは、赤外線画像データでのシャープネス情報を使用して深度マップの効率的でかつ正確な決定を可能にするので、モバイルデバイスに容易に統合でき、高エネルギー消費を引き起こさないユーザインターフェースが、レンダリングされてもよい。
【００１２】
一実施形態では、前記方法はさらに、電磁スペクトルの前記第1の部分と関連する第1の画像データを決定するステップと、電磁スペクトルの前記第2の部分と関連する第2の画像データを決定するステップと、前記第1の画像データでの前記物体の画像の少なくとも一部と関連する第1のシャープネス情報および前記第2の画像データでの前記物体の前記画像の少なくとも一部と関連する第2のシャープネス情報を前記画像センサと前記物体との間の距離に関連付けることによって深度情報を生成するステップとを含んでもよい。
【００１３】
一実施形態では、前記深度情報は、前記電子デバイスのメモリに記憶された所定の深度関数に基づいて生成されてもよい。前記深度情報は、前記画像データでのシャープネス情報を画像センサと物体との間の距離に関連付けるように構成されてもよい。本方法は、その製造の間に電子デバイスに実装されてもよい所定の深度関数の使用を可能にする。
【００１４】
一実施形態では、前記深度情報は、前記画像データでのシャープネス情報を前記電子デバイスのメモリに記憶された一組のブラーカーネルからの少なくとも1つのブラーカーネルに関連付けるように構成されてもよく、前記ブラーカーネルの各々は、所定の深度値と関連する。
【００１５】
一実施形態では、前記深度情報を生成するステップは、前記画像データでの窓を選択するステップであって、好ましくは前記窓が、1つまたは複数の画素を備える、ステップと、最小化アルゴリズムに基づいて前記窓でのシャープネス情報を前記組のブラーカーネルの1つのブラーカーネルに関連付けるステップと、前記ブラーカーネルと関連する深度値を前記窓での1つまたは複数の画素に割り当てるステップとを含んでもよい。フィルタバンクでの定義済みブラーカーネルは、画像データで測定されるブラー情報を距離に効率的に関連付けるために使用されてもよい。
【００１６】
一実施形態では、前記最小化アルゴリズムは、前記ブラーカーネルの少なくとも1つを前記窓での前記シャープネス情報と畳み込むステップを含んでもよい。
【００１７】
一実施形態では、前記方法はさらに、電磁スペクトルの前記第2の部分と関連する第2の画像データを決定するステップと、前記第2の画像データで少なくとも2つの横方向に変位した画像を決定するステップであって、前記画像の各々が、第2の開口と関連し、前記画像が、画像センサの前のある距離に位置決めされる物体と関連する、ステップと、前記電子デバイスのメモリに記憶された所定の深度関数に基づいて深度情報を生成するステップであって、前記深度情報が、前記横方向に変位した画像間の距離を前記画像センサと前記物体との間の距離に関連付けるように構成される、ステップとを含んでもよい。
【００１８】
単一の赤外線開口と比較すると、多数の赤外線開口の使用は、より小さい開口の使用を可能にし、それによって被写界深度のさらなる強化および深度情報を決定するための精度の改善を達成する。さらに、深度マップは、1つの物体と関連する赤外線画像(またはその高周波数画像データ)間の横方向変位をカメラと物体との間の距離に単に変換するだけによって赤外線画像データに基づいて生成されてもよい。
【００１９】
一実施形態では、前記多開口画像センサは、前記第2の開口の各々が、前記画像センサの画像面上に物体を結像するように互いに関して構成される2つ以上の第2の開口を備えてもよく、前記横方向に変位した画像間の距離は、前記物体と前記画像センサとの間の距離の関数である。
【００２０】
なお別の実施形態では、本方法は、第2の高周波数画像データを決定するステップと、自己相関関数を通じて前記第2の高周波数画像データを走らせることによって前記距離を決定するステップとを含んでもよい。速くかつ効率的な自己相関関数が、深度マップを決定するために使用されてもよい。
【００２１】
一実施形態では、深度情報を生成するステップはさらに、深度値を前記多開口画像センサによって生成される前記画像データの少なくとも一部に割り当てることによって1つまたは複数の深度マップを形成するステップを含んでもよい。一実施形態では、EMスペクトルの前記第1の部分は、EMスペクトルの可視部の少なくとも一部と関連する。他の実施形態では、EMスペクトルの前記第2の部分は、EMスペクトルの不可視部の少なくとも一部と関連する。なお別の実施形態では、EMスペクトルの前記第2の部分は、赤外線スペクトルと関連する。
【００２２】
一実施形態では、本方法はさらに、前記深度マップに基づいて前記画像データと関連する画像フレームの少なくとも一部での関心のある領域(ROI)の少なくとも一部を決定するステップを含んでもよい。別の実施形態では、本方法は、前景深度値と関連する画素に基づいて前記関心のある領域を決定するステップを含んでもよく、前記前景深度値は、多開口画像センサの画像面に比較的近い深度値の所定の範囲内にある。一実施形態では、前景深度値の範囲は、1から100cm、好ましくは2から60cm、より好ましくは5から50cmであってもよい。
【００２３】
一実施形態では、本方法は、カラー情報に基づいて前記画像データと関連する画像フレームの少なくとも一部での関心のある領域の少なくとも一部を決定するステップ、好ましくは人体の一部と関連するカラー情報に実質的に一致するカラー情報に基づいて前記関心のある領域を決定するステップを含んでもよい。それ故に、この実施形態では、カラー画像からのカラー情報は、深度マップが生成されるべき画像データでのエリアを効率的に選択するために使用されてもよい。
【００２４】
一実施形態では、前記ジェスチャを認識するステップは、1つまたは複数の深度特徴を前記深度マップから抽出するステップを含んでもよい。別の実施形態では、前記ジェスチャを認識するステップは、関心のある領域での前記深度マップから深度特徴を抽出するステップを含んでもよい。なお別の実施形態では、前記ジェスチャを認識するステップは、EMスペクトルの前記第1の部分と関連する第1の低周波数画像データを前記第2の高周波数画像データと混合することによって形成される強化画像から1つまたは複数の2D特徴を抽出するステップと、前記深度特徴およびオプションとして前記2D特徴を前記人体部分と関連する1つまたは複数の基準特徴と照合するステップとを含んでもよく、一実施形態では、前記人体部分は、手または指の部分であってもよい。それ故に、本方法は、深度情報および赤外線画像データからのシャープネス情報に基づいて強化されるカラー画像から抽出される特徴の両方に基づくジェスチャ認識を可能にする。
【００２５】
別の実施形態では、1つまたは複数の2D特徴は、赤外線画像データから抽出されてもよい。
【００２６】
一実施形態では、前記ジェスチャを認識するステップは、前記深度マップに基づいて前記身体部分の少なくとも一部の1つまたは複数の軌跡、好ましくは1つまたは複数の空間軌跡を決定するステップと、前記決定された軌跡を所定のジェスチャと関連する基準軌跡と相互に関連付けるステップと、もし前記決定された1つまたは複数の軌跡が1つまたは複数の基準軌跡と相互に関連があるならば、所定のジェスチャの検出を確立するステップと、前記所定のジェスチャに基づいて前記ソフトウェアプログラムを制御するステップとを含んでもよい。
【００２７】
様々な実施形態では、前記方法はさらに、次のステップ、すなわち前記多開口撮像システムの視野で1つまたは複数の所定の軌跡にわたって1つまたは複数の指先を動かすことに基づいて前記ソフトウェアプログラムを制御するステップと、前記電子デバイスから所定距離の平面で指先を動かすことによって前記ソフトウェアプログラムを制御するステップと、前記画像センサの視野で第1の距離から第2の距離まで指先を動かすことに基づいて前記ソフトウェアプログラムでの起動または停止機能を制御するステップと、前記第1の検出された指先を前記第2の検出された指先に対して動かすこと、好ましくは前記画像センサの視野で1つまたは複数の所定の軌跡にわたって前記第1の指先を前記第2の指先に対して動かすことによって前記ソフトウェアプログラムを制御するステップとの少なくとも1つを含んでもよい。
【００２８】
さらなる実施形態では、前記身体部分は、指先であってもよい。なおさらなる実施形態では、前記方法は、前記深度マップに基づいて前記画像データで指先と関連する関心のある領域を決定するステップと、EMスペクトルの前記第1の部分と関連する第1の低周波数画像データを前記第2の高周波数画像データと混合することによって形成される強化画像から1つまたは複数の方向性特徴を抽出するステップと、前記抽出された方向性特徴をユーザの指先と関連する方向性基準特徴と照合することによって前記ユーザを認証するステップとを含んでもよい。
【００２９】
さらなる態様では、本発明は、電子デバイスで使用するためのジェスチャに基づくユーザインターフェースシステムに関連してもよく、前記ユーザインターフェースシステムは、前記電子デバイス上のソフトウェアプログラムを制御するように構成され、前記システムは、画像データを生成するための多開口画像センサであって、第1の開口を使用して電磁(EM)スペクトルの少なくとも第1の部分および1つまたは複数の第2の開口を使用してEMスペクトルの少なくとも第2の部分に画像センサを同時にさらすように構成される、多開口画像センサと、前記画像センサの画像面上に前記第1の開口および前記1つまたは複数の第2の開口によって結像される物体の少なくとも一部、好ましくは人体部分の少なくとも一部と関連する前記画像データの少なくとも1つのエリアでシャープネス情報を生成するための1つまたは複数のフィルタと、前記シャープネス情報の少なくとも一部に基づいて深度情報、好ましくは1つまたは複数の深度マップを生成するように構成される生成器と、前記深度情報に基づいて前記物体の動きと関連するジェスチャを認識するように構成されるジェスチャ認識モジュールとを備えてもよい。
【００３０】
一実施形態では、前記深度情報が、前記第1の開口と関連する第1のシャープネス情報および前記1つまたは複数の第2の開口と関連する第2のシャープネス情報を画像センサと物体との間の距離に関連付けるように構成される、または、前記深度情報が、前記第2の開口の少なくとも2つと関連する少なくとも2つの横方向に変位した画像間の距離を前記物体と前記画像センサとの間の距離に関連付けるように構成される、前記ユーザインターフェースシステムであってもよい。
【００３１】
一実施形態では、前記ユーザインターフェースシステムでの前記深度情報は、前記第1の開口と関連する第1のシャープネス情報および前記1つまたは複数の第2の開口と関連する第2のシャープネス情報を前記電子デバイスのメモリに記憶された一組のブラーカーネルからの少なくとも1つのブラーカーネルに関連付けるように構成され、前記ブラーカーネルの各々は、画像センサと物体との間の距離と関連する。
【００３２】
一実施形態では、前記ジェスチャ認識モジュールは、前記深度マップに基づいて前記身体部分の少なくとも一部の1つまたは複数の軌跡、好ましくは1つまたは複数の空間軌跡を決定し、前記決定された軌跡を所定のジェスチャと関連する基準軌跡と相互に関連付け、もし前記決定された1つまたは複数の軌跡が1つまたは複数の基準軌跡と相互に関連があるならば、所定のジェスチャの検出を確立し、前記所定のジェスチャに基づいて前記ソフトウェアプログラムを制御するように構成されてもよい。
【００３３】
さらなる実施形態では、前記ジェスチャ認識モジュールは、次の機能、すなわち前記多開口撮像システムの視野で1つまたは複数の所定の軌跡にわたって1つまたは複数の指先を動かすことに基づいて前記ソフトウェアプログラムを制御すること、前記電子デバイスから所定距離の平面で指先を動かすことによって前記ソフトウェアプログラムを制御すること、前記画像センサの視野で第1の距離から第2の距離まで指先を動かすことに基づいて前記ソフトウェアプログラムでの起動または停止機能を制御すること、および/または、前記第1の検出された指先を前記第2の検出された指先に対して動かすこと、好ましくは前記画像センサの視野で1つまたは複数の所定の軌跡にわたって前記第1の指先を前記第2の指先に対して動かすことによって前記ソフトウェアプログラムを制御することの少なくとも1つのために構成されてもよい。
【００３４】
それ故に、上記の実施形態から、本発明によるジェスチャに基づくユーザインターフェースシステムは、ソフトウェアプログラムの直観的なジェスチャに基づく制御を可能にするということになる。本ユーザインターフェースは、多開口画像センサの画像データを使用して生成される深度マップに基づいて電子デバイスまたはその上で走るアプリケーションの正確な制御を可能にする。本ユーザインターフェースシステムは、モバイル機器などの電子機器での使用に適しており、ユーザが電子デバイスと物理的接触することを必要とせずにその上で走るアプリケーションの制御を可能にする。
【００３５】
本発明はまた、ジェスチャに基づくユーザインターフェースを提供するためのコンピュータプログラム製品に関してもよく、前記コンピュータプログラム製品は、コンピュータシステムのメモリで走るとき、上で述べられたような方法ステップのいずれかを実行するように構成されるソフトウェアコード部分を備える。
【００３６】
本発明はさらに、本発明による実施形態を概略的に示すことになる添付の図面を参照して例示されることになる。本発明は、これらの具体的実施形態に決して限定されないことが理解されよう。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態によるジェスチャに基づくユーザインターフェースを備える電子デバイスを描写する図である。
【図２】本発明の一実施形態によるジェスチャに基づくユーザインターフェースを可能にする多開口撮像システムを描写する図である。
【図３Ａ】本発明の一実施形態によるジェスチャに基づくユーザインターフェースを可能にするための多開口を較正するためのシステムを描写する図である。
【図３Ｂ】本発明の一実施形態によるジェスチャに基づくユーザインターフェースを可能にするための多開口を較正するための方法を描写する図である。
【図４Ａ】本発明の一実施形態によるジェスチャに基づくユーザインターフェースで使用するための深度マップを生成するためのシステムを描写する図である。
【図４Ｂ】本発明の一実施形態によるジェスチャに基づくユーザインターフェースで使用するための深度マップを生成するための方法を描写する図である。
【図５】多開口撮像システムによって生成される画像および関連する深度マップを描写する図である。
【図６】さらなる実施形態による深度情報を生成するための多開口撮像システムの概略図を描写する図である。
【図７】本発明の一実施形態によるジェスチャに基づくユーザインターフェースを可能にするためのシステムを描写する図である。
【図８Ａ】本発明の一実施形態によるジェスチャに基づくユーザインターフェースに基づいて電子デバイスまたはその上で走るアプリケーションを制御するところを描写する図である。
【図８Ｂ】本発明の一実施形態によるジェスチャに基づくユーザインターフェースに基づいて電子デバイスまたはその上で走るアプリケーションを制御するステップを描写する図である。
【図９Ａ】本発明の別の実施形態によるジェスチャに基づくユーザインターフェースに基づいて電子デバイスまたはその上で走るアプリケーションを制御するところを描写する図である。
【図９Ｂ】本発明の別の実施形態によるジェスチャに基づくユーザインターフェースに基づいて電子デバイスまたはその上で走るアプリケーションを制御するステップを描写する図である。
【図１０Ａ】本発明の別の実施形態によるジェスチャに基づくユーザインターフェースに基づいて電子デバイスまたはその上で走るアプリケーションを制御するところを描写する図である。
【図１０Ｂ】本発明の別の実施形態によるジェスチャに基づくユーザインターフェースに基づいて電子デバイスまたはその上で走るアプリケーションを制御するところを描写する図である。
【図１１Ａ】本発明の一実施形態による生体認証プロセスで使用するためのジェスチャに基づくユーザインターフェースを描写する図である。
【図１１Ｂ】本発明の一実施形態による生体認証プロセスで使用するためのジェスチャに基づくユーザインターフェースを描写する図である。
【発明を実施するための形態】
【００３８】
図1は、本発明の一実施形態によるジェスチャに基づくユーザインターフェース(UI)システムを備える電子デバイスを描写する。特に、図1は、多開口画像センサ101と、多開口画像センサによって生成されるデータを処理しかつ電子デバイスまたはその上で走るソフトウェアアプリケーションとのユーザ対話、特にジェスチャに基づくユーザ対話を可能にするように構成されるデータ処理モジュール103とを備えるジェスチャに基づくUIシステムを備える電子デバイス100を描写する。出力モジュール128、例えば発光ディスプレイまたは投影に基づくディスプレイは、ユーザ対話に関する視覚情報をユーザに提供するように構成されてもよい。
【００３９】
電子デバイスは、デジタルカメラの一部であってもよくまたは携帯電話、電子タブレット、ウェブカメラ、バイオメトリックセンサ、イメージスキャナもしくは画像獲得機能性を必要とする任意の他のマルチメディアデバイスに統合されてもよい。多開口画像センサは、二次元画素アレイを形成する感光性サイト(画素)の行および列を備える画像センサ102を備えてもよい。画像センサは、CMOS(相補型金属酸化膜半導体)アクティブ画素センサまたはCCD(電荷結合デバイス)画像センサであってもよい。別法として、画像センサは、他のSi(例えば、a-Si)、III-V族(例えば、GaAs)または導電性ポリマーに基づく画像センサ構造に関連してもよい。
【００４０】
多開口画像センサはさらに、関心のあるシーンと関連する物体を画像センサの撮像面上に焦点を合わせて投影するための光学レンズシステム104を備えてもよい。画像センサの露光は、シャッター106および波長選択性多開口システム108を使用して制御される。多開口システム(簡潔に多開口)は、電磁(EM)放射の第1の部分、例えば可視部、およびEMスペクトルの少なくとも第2の部分、例えばEMスペクトルの赤外線の部分などの非可視部で画像センサを露光するための所定数の波長選択性開口を備える光学アセンブリに関連する。
【００４１】
波長選択性多開口画像センサの詳細な説明およびその有利な使用は、参照により本出願にこれによって組み込まれる、国際特許出願WO2011/101035およびWO2011/101036でより詳細に述べられる。多開口センサの一実装形態は、図2で概略的に描写される。多開口システム206は、ストップ208、EMスペクトルの第1の部分で画像センサを露光するための第1のサイズの少なくとも第1の波長選択性開口210およびEMスペクトルの第2の部分で画像センサを露光するための第2のサイズの少なくとも第2の波長選択性開口212を備えてもよい。
【００４２】
一実施形態では、多開口システム206は、2つの異なる薄膜光学フィルタ、すなわちEMスペクトルの第1の帯域での放射について透明である第1の開口210を形成する基板の中央での所定形状、例えば円形状の第1の薄膜フィルタ、およびEMスペクトルの第2の帯域での放射について透明である第2の薄膜フィルタを有する透明基板を備えてもよい。第1の開口210を画定する第1の薄膜フィルタは、第2のフィルタの周りに、例えば同心円状の輪で形成されてもよい。第1の開口の外径は、ストップ208を画定する不透明開口ホルダでの開口部によって画定されてもよい。別法として、ストップは、基板に堆積された不透明薄膜層を使用して実現されてもよい。
【００４３】
一実施形態では、第1のフィルタは、可視光および赤外線放射の少なくとも一部の両方について透明であってもよい。別の実施形態では、第1のフィルタは、可視光についてだけ透明であるように、赤外線放射のすべてまたは少なくとも実質的に一部を反射するように構成されてもよい。2つの開口を備える多開口システムが、3つ以上の開口を例えば同心円状の輪の形で備える多開口に容易に拡張されてもよく、その場合各開口が、EMスペクトルでの特定の帯域、例えば特定のカラー帯域(赤色、緑色、青色もしくはそれらの組合せ)または赤外線帯域(例えば、近赤外線、中赤外線もしくは遠赤外線またはそれらの組合せ)と関連する放射を透過させることは、当業者にとって明らかである。
【００４４】
一実施形態では、第1の薄膜フィルタは、赤外線スペクトルでの放射を反射しかつ可視スペクトルでの放射を透過させる二色性フィルタを備えてもよい。二色性フィルタ(時々はまた干渉フィルタとも呼ばれる)は、当技術分野でよく知られており、典型的には、赤外線放射(例えば、約750から1250ナノメートルの間の波長を有する放射)またはその一部を反射しかつスペクトルの可視部での放射を透過させるように構成される、特定の厚さの多数の薄膜誘電体層を備える。
【００４５】
レンズシステム204に入るEM放射への画像センサの露出は、シャッターおよび多開口システム206によって制御されてもよい。シャッターが、開いていると、開口は、画像センサ216を露光するEMスペクトルの異なる部分と関連する放射のコリメーションおよび量を制御する。シャッターは、機械的シャッターであってもよく、または別法として、シャッターは、画像センサに統合された電子シャッターであってもよい。光が、レンズシステムによって画像センサに投影されるとき、各画素は、その画素に入射する電磁放射(エネルギー)に比例する電気信号を生じさせる。
【００４６】
画像センサの撮像面上に投影される画像のカラー情報を得るために、典型的にはカラーフィルタアレイ214(CFA)が、レンズと画像センサとの間に挿入される。カラーフィルタアレイは、画像センサの各画素が、対応する画素フィルタを有するように画像センサと統合されてもよい。各カラーフィルタは、所定のカラー帯域の光を画素に通すように構成される。通常は、赤色、緑色および青色(RGB)フィルタの組合せが、使用されるが、しかしながら、他のフィルタ方式、例えばCYGM(青緑色、黄色、緑色、赤紫色)、RGBE(赤色、緑色、青色、鮮緑色)、その他もまた、可能である。好ましくは、画像センサはまた、赤外線(IR)画素、すなわち多開口システムの小さいIR透明開口を通るIR EM放射の少なくとも一部を獲得するように構成される画素を備えてもよい。
【００４７】
組み合わせたカラーおよび赤外線画像センサは、可視光を阻止しかつIR放射については透明である画素フィルタとCFAを組み合わせて赤外線/カラーフィルタアレイ(ICFA)218にすることによって実現されてもよい。別法として、画像センサは、積層フォトダイオードのアレイとして実装されてもよい。これらのフォトダイオードの一部は、シリコン基板内に埋め込まれてもよく、その場合基板表面に近いフォトダイオードは、短波長の放射、例えば青色光により敏感であり、基板により深く埋め込まれるフォトダイオードは、より長い波長の放射、例えば赤色または赤外線放射により敏感である。
【００４８】
露光された画像センサの各画素は、電磁放射に比例する電気信号を生じさせる。画素のアレイはそれ故に、カラーフィルタアレイを通過したまたは積層フォトダイオードのアレイによって吸収された電磁エネルギー(放射)の空間分布を表す画像データを生成する。画素から受け取った信号は、1つまたは複数のオンチップ増幅器を使用して増幅されてもよい。ここで、カラーまたは赤外線画素と関連する信号は、カラーまたは赤外線チャンネルとそれぞれ呼ばれてもよい。各チャンネルは、別々の増幅器によって増幅されてもよく、それによって異なるカラーについて別々にISO感度を制御することを可能にする。
【００４９】
それ故に、画像センサの出力は、多数のカラーチャンネル(例えば、R、G、BチャンネルまたはC、Y、G、Mチャンネル、その他)および1つまたは複数の赤外線チャンネルと関連する画像データを作成するように構成される。これらの可視および赤外線チャンネルと関連する画像データはこの後、簡潔にカラー画像データおよび赤外線画像データとそれぞれ呼ばれる。画像センサの一回の露光に基づいて生成される画像データは、カラーチャンネル(カラー画像フレーム)および赤外線チャンネル(赤外線画像フレーム)と関連する画像フレームに分解されてもよい画像フレームを規定する。これらの画像フレームは、これらを目に見える画像フォーマットにレンダリングするために、既知のデモザイキング(demosaicing)アルゴリズムを使用して処理されてもよい。
【００５０】
図1で描写されるように、画像センサによって生成される画素信号は、データ処理モジュールによって処理されてもよく、例えばサンプリングされ、量子化されて、所定のデータフォーマットの画像フレームに変換されてもよい。そのために、データ処理モジュールは、1つまたは複数のアナログデジタル(A/D)変換器110を備えてもよい。一実施形態では、A/D変換器は、画像センサのチップに統合されてもよい。このように、多開口画像センサは、画像フレームまたはその一部の流れを連続的に作成してもよく、それらは、補間、フィルタリング、ホワイトバランス、輝度補正、データ圧縮技法(例えば、MPEGまたはJPEG型技法)などのよく知られた信号処理機能を果たすように構成されるデジタルシグナルプロセッサ112(DSP)によって処理される。
【００５１】
DSPは、カラーおよび赤外線画像データを処理しかつ画像フレームと関連するシャープネス情報を決定するように構成される信号処理機能124を備えてもよい。シャープネス情報は、例えば高域デジタルフィルタを画像データに適用することによって得られてもよい。シャープネス情報は、例えば低ノイズ赤外線チャンネルから抽出され、1つまたは複数のカラーチャンネルでのシャープネスを強化するために使用されてもよい。例えば、比較的ノイズの多いカラーチャンネル(例えば、RGBカラーチャンネル)と関連する画像データは、低域フィルタ処理され、カラー画像でデモザイキングされ(demosaiced)、その後低ノイズ赤外線チャンネルの高周波数画像データと組み合わされて(混合されて)、赤外線強化カラー画像に、すなわち強化された被写界深度(DOF)を有するカラー画像にされてもよい。
【００５２】
より詳しくは、画像センサの画素は、限られたDOFを有する可視スペクトルエネルギーと関連する第1の(比較的)広い開口の画像信号を受け取って、大きいDOFを有する赤外線スペクトルエネルギーと関連する第2の小さい開口の画像信号を重ね合わせてもよい。従って、レンズの焦点面に近い物体は、可視光による比較的小さい焦点ぼけを有して画像センサの画像面上に投影され、一方焦点面からより遠くに位置する物体は、赤外線放射による比較的小さい焦点ぼけを有して画像面上に投影される。
【００５３】
DSPは、高周波数フィルタを使用してIR画像データをフィルタ処理することによってIR画像データからシャープネス情報、すなわち高周波数情報を抽出してもよい。高周波数IR画像データは、RGB画像(比較的大きい第1の開口と関連する)と混合されてもよく、それによって画像のDOFを増加させる。このように、多開口システムは、簡単でかつコスト効率の良い方法で固定焦点レンズを有するデジタルカメラについて被写界深度(DOF)の拡張およびISO感度の増加を可能にすることができる。
【００５４】
例えば、典型的なF値の7 (焦点距離7mmおよび1mmの開口直径)を有する簡単な携帯電話カメラのDOFは、例えば0.5mmの直径についての14から0.2mm以下の直径についての70に至るまでの間で変化してもよい、少なくとも第2の開口を使用して改善されてもよく、ただしF値は、焦点距離fおよび開口の有効直径の比によって定義される。好ましい実装形態は、カメラに比較的近い物体のシャープネスを得るために2から4の間の可視光についてのF値およびより離れた物体のシャープネスを得るために16から22の間の赤外線開口についてのF値を備える多開口を含む光学システムを含む。
【００５５】
既知のデジタル撮像システムへの多開口システムの実装は、わずかな適合を必要とするだけであり、それ故に大量生産およびモバイルアプリケーションに適している。さらに、以下でより詳細に述べられることになるように、多開口システムは、多開口センサによって獲得される画像データに基づいて関心のあるシーンでの関連する物体の距離情報、例えば深度マップの決定を可能にする。
【００５６】
データ処理モジュールはさらに、獲得した画像データ(例えば、原画像データ)およびおそらくはデータ処理した画像データを一時的に記憶するための1つまたは複数のバッファ116と、多開口画像センサによって作成される一連の画像フレームでジェスチャ認識モジュール126によって検出される特定のジェスチャによって制御されてもよい1つまたは複数のアプリケーション、ソフトウェアプログラムを備える、EEPROMまたは別の種類の不揮発性メモリなどのメモリ118とを備えてもよい。
【００５７】
一連の画像フレームでの特定の物体が、ジェスチャ、例えば手または指のジェスチャとして分類されてもよいかどうかを決定するために、深度マップ生成器114は、多開口画像センサによって生成された画像フレームに基づいて深度マップを連続的に生成してもよい。ジェスチャ認識モジュールは、画像で手(またはその一部)を検出し、その先端の所定部分(例えば、1つもしくは複数の指および/または指先)を追跡し、これらの部分の所定の動きをジェスチャとして分類するために、これらの深度マップおよびオプションとして関連する強化カラー画像を使用してもよい。特定のジェスチャが、認識されると、ジェスチャ認識モジュールは、アプリケーションの制御を可能にする制御信号を生成してもよい。このように、多開口画像センサおよびデータ処理モジュールはそれ故に、電子デバイスまたはその上で走るソフトウェアアプリケーションを制御するためのジェスチャに基づくUIシステムを形成する。
【００５８】
多開口システム、データ処理モジュールおよび表示モジュールでの電子的に制御される要素は、電子デバイスおよびジェスチャに基づくユーザインターフェース(UI)システムの動作を管理するためのセントラルプロセッサ(図示されず)にデータバス134によって接続される。ジェスチャに基づくユーザインターフェース(UI)システムが、手のジェスチャ、特に1つまたは複数の指の動きと関連する手のジェスチャを効率的にかつ正確に決定することを可能にするための機能およびプロセスは、図3〜図6を参照してより詳細に以下で述べられる。
【００５９】
手および/または指のジェスチャを正確に認識するために、ジェスチャに基づくユーザインターフェース(UI)システムは、多開口センサによって生成される各画像フレームまたは少なくともいくつかの画像フレームについて深度マップ(または深度マップの少なくとも一部)を連続的に生成する。以下でより詳細に述べられることになるように、深度マップは、多開口画像センサによって獲得される画像データおよび画像の一部を特定の深度値sに割り当てるように構成されるDPSでの深度関数R(s)に基づいて決定される。
【００６０】
一実施形態では、深度関数Rは、カメラレンズから離れた異なる距離の物体についてカラー画像成分および赤外線画像成分のシャープネス情報を分析することによって決定されてもよい。ここで、シャープネス情報の分析は、画像センサによって測定される物体空間での撮像点のぼけスポット直径に対応する、いわゆる錯乱円の分析を含んでもよい。焦点ぼけを表すぼけディスク直径は、焦点面での点については非常に小さく(ゼロ)、物体空間でこの平面から前景または背景へ離れると、次第に大きくなる。ぼけディスクが、最大許容錯乱円cよりも小さい限り、それは、十分に鮮明で、DOF範囲の一部と考えられる。既知のDOF式から、物体の深度、すなわちカメラからのその距離sと画像センサ上に撮像されるその物体の焦点ぼけの量(すなわち、シャープネス)との間に直接的関係があるということになる。ぼけはさらに、撮像システムと関連する光学パラメータ、特にレンズパラメータに依存する。
【００６１】
それ故に、多開口撮像システムでは、赤外線画像でのIR成分のシャープネスに対してカラー画像のRGB成分のシャープネスの増加または減少は、撮像される物体のレンズからの距離に依存する。例えば、もしレンズが、3メートルに焦点を合わせられるならば、RGB成分およびIR成分の両方のシャープネスは、同じこともある。対照的に、1メートルの距離の物体については、赤外線画像のために使用される小さい開口に起因して、RGB成分のシャープネスは、赤外線成分のシャープネスよりも著しく少ないこともある。この依存性は、カメラレンズからの物体の距離を推定するために使用されてもよい。
【００６２】
特に、もしレンズが、大きい(「無限の」)焦点に設定されるならば(この点は、多開口システムの過焦点距離Hと呼ばれることもある)、カメラは、カラー成分および赤外線成分が等しく鮮明である画像での点を決定することができる。画像でのこれらの点は、カメラから比較的大きい距離(典型的には背景)に位置する物体に対応する。過焦点距離Hから離れて位置する物体については、赤外線成分とカラー成分との間でのシャープネスの相対的差は、物体とレンズとの間の距離sの関数として増加することになる。1つのスポット(例えば、1つまたは一群の画素)で測定されるカラー画像でのシャープネス情報と赤外線画像でのシャープネス情報との間の比はこの後、深度関数R(s)と呼ばれることになる。
【００６３】
深度関数R(s)は、カメラレンズから異なる所定距離sに位置する1つまたは複数の撮像されるテスト物体と関連する多開口画像データでのカラー成分および赤外線成分のシャープネス情報が決定される、較正方法を使用して得られてもよい。深度関数は、製造業者によってあらかじめ決定されてもよく、関数としてDPSに実装されてもよい。
【００６４】
シャープネス情報に基づいて距離を決定する他の方法もまた、本発明から逸脱することなく可能である。例えば、シャープネス情報を空間領域で例えば高域フィルタを使用して分析する代わりに、シャープネス情報はまた、周波数領域で分析されてもよい。例えば、一実施形態では、実行中の離散フーリエ変換(DFT)が、シャープネス情報を得るために使用されてもよい。DFTは、カラー画像および赤外線画像の両方のフーリエ係数を計算するために使用されてもよい。これらの係数、特に高周波数係数の分析は、距離の表示を提供することができる。
【００６５】
例えば、一実施形態では、カラー画像および赤外線画像での特定のエリアと関連する高周波数DFT係数間の絶対差または比は、距離のための表示として使用されてもよい。さらなる実施形態では、フーリエ成分は、赤外線およびカラー信号と関連するカットオフ周波数を分析するために使用されてもよい。例えば、もし画像の特定のエリアで、赤外線画像信号のカットオフ周波数が、カラー画像信号のカットオフ周波数よりも大きいならば、その時この差は、距離の表示を提供することができる。
【００６６】
一実施形態では、距離関数は、異なる深度と関連する多数のブラーカーネルに基づいてもよい。画像の所定の窓での焦点ぼけは、鮮明な、ぼけのない窓および所定のフィルタHd(この後はまた距離または深度dと関連するブラーカーネルまたはデフォーカスカーネルとも呼ばれる)の局所畳み込みとして述べられてもよい。それ故に、画像での各窓について、上述の焦点ぼけは、多開口画像センサ構成(例えば、レンズ、画像センサおよび開口パラメータによって規定される)に特有である所定のブラーカーネルと関連付けられてもよい。
【００６７】
この関係は、多開口画像センサによって生成される画像データから深度マップを効率的にレンダリングするために使用されてもよい。そのために、ジェスチャに基づくユーザインターフェース(UI)システムを備える電子デバイスの製造中にまたは製造後に、ある範囲の深度d1、d2、・・・、dNと関連するブラーカーネルHdi(i=1、・・・、N)を備える少なくとも1つのフィルタバンクが、赤外線およびカラー画像データに基づいて生成され、ジェスチャに基づくユーザインターフェース(UI)システムのメモリに記憶される、較正方法が、実行される。
【００６８】
そのようなフィルタバンクを生成するためのプロセスは、図3Aおよび図3Bでより詳細に例示される。この図は、較正設定およびブラーカーネルHdi(i=1、・・・、N)のフィルタバンクを決定するための方法を描写し、テスト物体304は、多開口センサ302を備える電子デバイスから離れて所定距離dに位置決めされる。次いで、テスト物体の物体距離dと関連する多開口画像データが、生成される(ステップ312)。一実施形態では、エッジフィルタまたは別の適切なフィルタが、正確な深度推定が達成されてもよいように、十分なエッジ情報を備える撮像テスト物体と関連する所定の窓を決定するために使用されてもよい。
【００６９】
さらなるステップ316では、カラーおよび赤外線画像データが、窓でのカラーチャンネルおよび赤外線チャンネルのシャープネス情報を得るために高域フィルタ処理される。特に、高周波数フィルタ処理したカラー画像データは、第1の開口で画像センサを露光することによって得られるカラーチャンネルと関連するシャープネス情報YRGBを備え、高周波数フィルタ処理した赤外線画像データは、第2の(より小さい)開口で画像センサを露光することによって同じ窓でシャープネス情報XIRを備える。YRGBとXIRとの間の関係、すなわち、
【００７０】
【数１】
2015522193.tif 000003
【００７１】
は、その特定の距離についてブラーカーネルの推定を可能にし、ただし、
【００７２】
【数２】
2015522193.tif 000004
【００７３】
は、畳み込み演算子である。
【００７４】
一実施形態では、画像フレームの窓での1つまたは複数の画素と関連するブラーカーネルHdは、適切な最適化アルゴリズムを使用してその窓での高周波数画像データYRGBおよびXIRに基づいて推定されてもよい。例えば、ブラーカーネルは、Tikhonov正則化法が、解を安定させるために使用される、例えばLu Yuan他による論文「Image Deblurring with Blurred/Noisy image pairs」、ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2007 Volume 26 Issue 3、2007年7月、NY、USA、で述べられるような制約付き(constrained)最小二乗最適化法を使用する反復カーネル推定を使用して決定されてもよい。
【００７５】
図3Aは、ブラーカーネル最適化プロセスを概略的に描写する。この方式では、画像フレームの特定の窓、例えば1つの画素または一群の画素でのシャープネス情報YRGBおよびXIRは、線形最小二乗最適化アルゴリズム306に入力されてもよい。特に、窓と関連するYRGBおよびXIRは、アルゴリズムの出力が、電子デバイスのメモリ310に記憶される推定ブラーカーネルHd312である、最適化アルゴリズム306に入力されてもよい。このプロセスは、各深度について関連するブラーカーネルが生成されるように、異なる物体距離(深度)di(i=1、・・・、N)について繰り返されてもよい。
【００７６】
それ故に、上記から、特定の多開口画像センサ構成と関連する所定数の推定ブラーカーネルHdiを備えるフィルタバンクは、多開口画像センサの前の所定の物体距離に位置決めされるテスト物体(の一部)の第1の開口と関連するカラー画像データおよび第2の開口と関連する赤外線画像データを生成するステップと、前記カラーおよび赤外線画像データと関連するシャープネス情報を決定するステップと、最小化アルゴリズムを使用して前記カラーおよび赤外線画像データの少なくとも一部に基づいてその物体距離と関連するブラーカーネルを推定するステップと、ブラーカーネルおよび関連する物体距離(深度)をメモリに記憶するステップと、異なる物体距離について上のプロセスを繰り返すステップとによって生成されてもよいということになる。
【００７７】
そのプロセスは、例えば図1で描写されるようなデータ処理モジュールのメモリ118で事前に構成されてもよい一組のブラーカーネルHdi(i=1、・・・、N)を備えるメモリバンクが形成されるように、所望の値、例えば0.1から100cmの間で選択される値にわたって物体距離を増加させることによって繰り返されてもよい。これらのフィルタは、多開口画像センサによって生成される各画像フレームについて距離マップを効率的に生成するために、ジェスチャに基づくユーザインターフェース(UI)システムによって使用される。
【００７８】
一実施形態では、ブラーカーネルは、1つのカラーチャンネル、例えば緑色チャンネルYGまたは青色チャンネルYBと関連する画像データに基づいて形成されてもよい。別の実施形態では、ブラーカーネルは、2つ以上のカラーチャンネルと関連する画像データに基づいて形成されてもよい。カラーチャンネルの数は、深度マップを正確に決定するために増加してもよい。
【００７９】
図4Aおよび図4Bは、本発明の一実施形態によるジェスチャに基づくUIシステムで使用するための深度マップを生成するためのシステムおよび方法を描写する。特に、図4Aは、多開口画像センサによって生成される画像データに基づいて深度マップを生成するための深度マップ生成器の一部を描写する。ジェスチャに基づくUIシステムは、各々が特定の物体距離(深度)diと関連する、一組のNブラーカーネルHdi(i=1、・・・、N)404を備えるフィルタバンク402を備えるメモリを備えてもよい。フィルタバンクは、図3Aおよび図3Bを参照して述べられるようなプロセスを使用してジェスチャに基づくUIシステムのメモリで決定され、事前に構成されてもよい。
【００８０】
多開口画像センサは、画像データ、例えば画像フレーム406を作成してもよく(ステップ410)、それはその後、データ処理モジュールによって処理される。特に、一実施形態では、所定の窓408と関連するカラーおよび赤外線画像データは、カラーチャンネルY'RGBおよび赤外線チャンネルX'IRについてシャープネス情報を得るために、高周波数フィルタ処理される(ステップ412)。Y'RGBおよびX'IRは、未知の物体距離d'に関係し、それは、ノンブラインド逆畳み込み方式に基づいて高周波数画像データ(例えば、異なるカラーおよび赤外線チャンネルのシャープネス情報)をフィルタバンクでの適切なブラーカーネルHd'に関連付けることによって決定されてもよい。この逆畳み込み操作は、最小化機能に基づいて決定されてもよい(ステップ414)。
【００８１】
一実施形態では、所定の窓と関連するブラーカーネルは、最小化アルゴリズムに基づいて決定されてもよく、ただし、
【００８２】
【数３】
2015522193.tif 000005
【００８３】
は、フィルタバンクでのブラーカーネルの各々または少なくとも一部について反復して決定される。そのアルゴリズムは、最適なブラーカーネルの決定を助けるために、先行自然画像(natural images prior)、先行ガウス分布(Gaussian prior)または先行スパース(sparse prior)などの様々な既知の方法を使用してもよい。
【００８４】
所定の窓と関連する距離(深度)d'は、最低出力レベルを生じさせるブラーカーネルHd'に基づいて決定される(ステップ416)。もしすべての出力レベルが、所定値を上回るならば、距離は、その特定の窓での画素に関連付けられるはずがない。このプロセスは、多開口画像センサによってレンダリングされる画像フレームまたは画像フレームの一部の各画素または画素の群について繰り返されてもよく、それ故に深度値が画像フレーム(または画像フレームの一部)での画素の実質的部分に割り当てられる、深度マップを形成する。
【００８５】
それ故に、上記から、深度マップは、フィルタバンクでのブラーフィルタを画像フレームの特定の窓での赤外線チャンネルおよびカラーチャンネルのシャープネス情報と関連付けることによって決定されてもよいということになる。逆畳み込みアルゴリズムは、ブラーフィルタを決定するために使用されてもよい。既知の高速逆畳み込みアルゴリズムは、多開口撮像システムによって生成される一連の画像フレームと関連する深度マップの実時間動的生成を可能にするために選択されてもよい。
【００８６】
図5は、本発明の一実施形態による多開口撮像システムによって生成された画像502および関連する深度マップ504を描写する。深度マップでは、深度情報は、グレースケールを使用して例示され、グレースケールが暗いほど、物体は、画像センサのより近くに位置する。シャープネス情報のないまたは少しだけを有する画像フレームでのあるエリア、すなわちどんなエッジもない滑らかなエリアは、距離を決定するのにあまり適してない。これらのエリア(所定のグレーカラー506で表される)は、深度マップ生成機能によって無視される。別法として、これらのエリアと関連する深度値は、周囲の計算された深度値(図示されず)によって推定されてもよい。
【００８７】
図6は、さらなる実施形態による深度情報を生成するための多開口撮像システム600の概略図を描写する。この実施形態では、深度情報は、代替多開口構成を使用して得られる。例えば図2で描写されるような中央に1つの赤外線開口の代わりに、図6での多開口606は、より大きいカラー開口610の外周を形成するストップのエッジに(または周辺に沿って)多数の小さい赤外線開口612を備える。これらの多数の小さい開口は、図2で描写されるような単一の赤外線開口よりも実質的に小さく、それによって焦点が合っている物体は、これらの小さい開口によってRGBI画像センサの撮像面616上に鮮明な単一の赤外線画像620として結像されるという効果を提供する。
【００８８】
対照的に、焦点がはずれている物体は、撮像面上に2つの横方向に変位した赤外線画像622、623として結像される。ここで、少なくとも第1の赤外線開口と関連する第1の赤外線画像622は、少なくとも第2の赤外線開口と関連する第2の赤外線画像623に関して特定の距離Δにわたって変位する。普通は焦点がはずれたレンズと関連する連続的にぼけた画像の代わりに、多数の小さい赤外線開口を備える多開口は、鮮明な離散画像の形成を可能にする。単一の赤外線開口と比較すると、多数の赤外線開口の使用は、より小さい開口の使用を可能にし、それによって被写界深度のさらなる強化を達成する。物体が焦点から遠くはずれるほど、画像が変位する距離Δは、より大きい。それ故に、2つの横方向に変位した赤外線画像間の距離Δは、物体とカメラレンズとの間の距離(深度)の関数であり、深度関数R(s)を決定するために使用されてもよい。それ故に、この場合、深度関数R(s)は、カメラレンズから多数の距離でのテスト物体を撮像し、それらの異なる距離でのΔを測定することによって決定されてもよい。R(s)は、カメラのメモリに記憶されてもよく、そこでそれは、深度マップを生成するためにDSPによって使用されてもよい。
【００８９】
可視および赤外線画像信号の両方を1つの画像フレームで同時に獲得した後、DSPは、例えば既知のデモザイキングアルゴリズムを使用して、獲得した原モザイク画像でのカラーおよび赤外線画素信号を分離してもよい。DSPはその後、物体の焦点が合っているエリアおよび物体の焦点がはずれているエリアを含んでもよい赤外線画像データの高周波数成分を得るために、赤外線画像データに高域フィルタを使用してもよい。
【００９０】
さらに、DSPは、自己相関関数を使用して高周波数赤外線画像データに基づいて深度情報を導き出してもよい。このプロセスは、図6で概略的に描写される。高周波数赤外線画像616(の一部)の自己相関関数624を取ると、単一スパイク628が、焦点が合っている撮像物体の高周波数エッジに現れることになる。対照的に、自己相関関数は、焦点がはずれている撮像物体の高周波数エッジに二重スパイク626を生成することになる。ここで、スパイク間のシフトは、2つの高周波数画像間の横方向変位Δを表し、それは、撮像物体とカメラレンズとの間の距離sに依存する。
【００９１】
それ故に、高周波数赤外線画像(の一部)の自己相関関数を取ると、二重スパイク(またはピーク)が、物体の焦点がはずれている高周波数赤外線画像での位置に現れることになる。2つのピーク間の距離は、距離測度(すなわち、焦点距離から離れる距離)を提供する。さらに、単一スパイクは、物体の焦点が合っている画像での位置に現れることになる。DSPは、所定の深度関数R(s)を使用して二重スパイク間の距離をある距離に関連付けることによって自己相関関数を処理し、その中の情報を深度マップに変換してもよい。それ故に、この実施形態では、深度マップは、赤外線画像(またはその高周波数画像データ)間の横方向変位をカメラと物体との間の距離に単に変換することよって赤外線画像データだけに基づいて生成されてもよい。
【００９２】
図7は、本発明の一実施形態によるジェスチャに基づくUIシステムの少なくとも一部を描写する。特に、図7は、多開口画像データを生成するための多開口画像センサ702を備えるジェスチャに基づくUIシステム700(の一部)を概略的に描写し、その画像データは、バッファ703に一連の画像フレーム(流れ)として一時的に記憶され、フィルタバンク716でのフィルタに基づいて深度マップを連続的に生成するために深度マップ生成器708によって使用される。本システムはさらに、一連の画像フレームでのジェスチャを認識するためのジェスチャ認識モジュール705を備える。いくつかの実施形態では、画像データは、デジタルシグナルプロセッサ704(図1を参照して述べられるような)によって事前に処理されてもよい。特に、画像データは、そのチャンネルと関連するシャープネス情報YRGB、XIRを得るために、高周波数フィルタを通じて赤外線チャンネルおよび/または1つもしくは複数のカラーチャンネルと関連する画像データを走らせることによって事前に処理されてもよい。別の実施形態では、カラーおよび赤外線画像データは、強化カラー画像、すなわち図1を参照して上で述べられたような赤外線チャンネルからのシャープネス情報で強化されるカラー画像を生成するために処理されてもよい。
【００９３】
深度マップ生成器708は、画像フレームでの赤外線チャンネルおよび1つまたは複数のカラーチャンネルならびに図4Aおよび図4Bを参照して詳細に述べられるようなフィルタバンク716に基づいて深度マップを決定してもよい。
【００９４】
ジェスチャ認識モジュールは、一連の画像フレームで特定の物体を検出し、その物体をジェスチャ、例えば手または指のジェスチャに関連付けるように構成されてもよい。ジェスチャ認識モジュールは一般に、物体、例えば手(またはその一部)を画像データで検出し、検出物体を一連の画像フレームで追跡するための物体追跡機能714を備える。ジェスチャ認識モジュールはさらに、ジェスチャ、例えば手または指のジェスチャを認識するためのジェスチャ認識機能720を備えてもよい。この機能は、検出物体の軌跡が所定ジェスチャの軌跡として分類されても(またはそれと照合されても)よいかどうかを決定するために、検出物体の軌跡を分析する。
【００９５】
一実施形態では、手のジェスチャは、カメラに比較的近い、例えば1から100cmの範囲内にある画像データと関連すると仮定される。それ故に、近くの物体、例えば手もしくはその一部またはポインティングデバイスの深度情報に基づいて、背景が、区別されてもよい。このように、画像フレームで関心のある1つまたは複数の領域(ROI)は、いわゆる前景深度値に基づいて決定されてもよい。前景深度値、すなわちカメラに関して最も近いまたは少なくとも所定の(近い)距離範囲内の深度値と関連する画素は、背景と区別されてもよい。
【００９６】
さらなる実施形態では、手検出プロセスはさらに、図1を参照して上で述べられたように、高周波数フィルタ処理した赤外線画像フレームを低周波数フィルタ処理したカラー画像フレームと混合することによって作成される強化カラー画像を使用して改善されてもよい。この赤外線強化カラー画像は、手またはその一部と関連する関心のある1つまたは複数の領域(ROI)を見出すために、カラー(すなわち、皮膚の色)および形状の観点から画像を分析するための手認識機能712によって分析されてもよい。この情報は、深度マップでの深度情報に基づいて決定されるようなROIについての情報と組み合わされてもよい。このように、手またはその一部710と関連してもよい画素を備える1つまたは複数のROIを正確に認識することが、可能である。
【００９７】
手(またはその一部)の深度マップまたは一連の深度マップは次いで、ジェスチャ認識モジュールによって使用される。ここで、特徴が、既知の特徴抽出方法を使用して抽出され、メモリ718に記憶された基準(モデル)特徴と比較されてもよい。
【００９８】
物体追跡機能714は、特徴抽出機能715および特徴照合機能716を備えてもよい。特徴抽出機能は、1つまたは複数の画像フレーム、例えば赤外線強化カラーフレーム、または深度マップを受け取ってもよい。この機能は次いで、所定のROIでの適切な特徴(すなわち、エッジまたは隅部などの画像または深度マップでの特有の構造)を抽出し、これらの抽出特徴をメモリに一時的に記憶してもよい。
【００９９】
一実施形態では、関心のある物体、典型的には身体部分を含む、関心のある領域(ROI)は、深度マップに基づいて決定されてもよい。例えば、手および/または指の特徴を扱うときは、ROIは、画像センサに比較的近い物体を表す前景深度値、すなわち小さい深度値に基づいて決定されてもよい(それは通常、手および指のジェスチャに関する場合である)。このように、画像センサに近い1つまたは複数の物体と関連する1つまたは複数のROIは、カメラからさらに遠く離れた背景に位置する物体と効果的に区別されてもよい。一実施形態では、このように決定されたROIの位置は次いで、関連する赤外線強化カラー画像の同じROIでの画素を分析する(例えば、特徴を抽出する)ために使用されてもよい。
【０１００】
特徴は、通常特徴記述子と呼ばれる特有のデータ構造の形で記憶されてもよい。SIFT(スケール不変特徴変換)、SURF(迅速なロバスト特徴)、HIP(ヒストグラム強度パッチ)、BRIEF(2進ロバスト独立基本特徴)、ORB(指向性BRIEF)、形状コンテキスト(shape context)、その他を含む、様々な既知の特徴記述子フォーマットが、使用されてもよい。
【０１０１】
ROIでの特徴を抽出した後、特徴照合機能716が、実行されてもよい。特徴照合機能は、認識すべき物体、例えば手および/もしくは指の部分または指紋と関連するデータベース718に記憶された基準特徴を受け取ってもよい。これらの基準特徴は、電子デバイスのメモリに事前に供給されまたはネットワークでのサーバーから取り込まれてもよい。その後、抽出特徴は、認識すべき物体の基準特徴と照合されてもよく、その照合は、例えば2つのベクトル間のユークリッド距離、2つのビットマスク間のハミング距離、その他に基づいて計算されてもよい。このように、照合される抽出/基準特徴の対が、生成されてもよく、エラー値が、各対に割り当てられてもよい。エラー値と関連するしきい値パラメータは、どの照合される対が首尾よく一致した特徴対と考えられるかを決定するために使用されてもよい。もし十分に大きい数の首尾よく一致した対が、生成されるならば、これらの特徴は、そのような物体を規定すると決定されてもよい。
【０１０２】
次いで、検出物体の軌跡が、連続する画像フレームについて特徴抽出および照合のプロセスを繰り返すことによって追跡されてもよい。追跡は、例えばAl-Hamadi他による論文、題名「Hand Gesture Recognition Based on Combined Feature Extraction」、International Journal of Information and Mathematical Sciences 6:1、2010年で述べられるような方式に基づいてもよい。連続する画像フレームについて、特徴抽出および照合の機能は、1つまたは複数の所定の物体点(例えば、手の重心座標または1つもしくは複数の指先座標)の位置、向きおよび速度の特徴を決定してもよい。
【０１０３】
そのような点の位置が、適切な座標系(例えば、デカルト座標系)で決定されるとき、向きおよび速度は、あるフレームレートに従って生成される連続フレームでのそれらの点の座標に基づいて導き出されてもよい。このように、各画像フレームについて、位置、向きおよび速度の特徴を含む、関連するベクトルが、決定されてもよい。ベクトルの順序集合は、追跡される物体の時空軌跡を規定してもよく、軌跡がデータベース718に記憶された特定の基準ジェスチャに対応するかどうかを決定するために、隠れマルコフモデルに入力されてもよい。
【０１０４】
別の実施形態では、赤外線強化カラー画像などの2D画像から導き出される特徴の時間発展を使用する代わりに、3D特徴が、深度マップに基づいて導き出されてもよい。一実施形態では、例えば、Suryanarayan他による論文、題名「Dynamic Hand Pose Recognition using Depth Data」、Pattern Recognition (ICPR)、2010 20th International Conference Istanbul、2010年8月23〜26日で述べられるような3D立体形状記述子(3D volumetric shape descriptor)が、プロセス深度マップ特徴を決定するために使用されてもよい。3D立体形状記述子は、スケール不変法で手の3Dポーズを記述するために円筒座標系を使用する。
【０１０５】
さらなる実施形態では、ジェスチャ認識モジュールは、物体(例えば、手および/または1つもしくは複数の指先)を追跡し、ソフトウェアアプリケーションを制御するためのジェスチャとしてそのような物体の軌跡を識別するために、赤外線強化画像フレームおよび関連する深度マップの両方(一部)を使用してもよい。さらに、本発明は、上述の特徴抽出およびジェスチャ認識方法に限定されず、他の既知の技法がまた、所望の効果を達成するために使用されてもよいと考えられる。
【０１０６】
いったんジェスチャ認識モジュールが、追跡される物体を所定のジェスチャとして識別すると、そのモジュールは、ソフトウェアアプリケーションに送られてもよい所定の制御信号を生成してもよい。制御信号に基づいて、ソフトウェアアプリケーションは、認識されたジェスチャに従ってある機能を起動する。電子デバイスまたはその上で実行されるアプリケーションを制御する様々な方法が、図8から図11を参照してより詳細に以下で述べられる。
【０１０７】
図8は、本発明の一実施形態によるジェスチャに基づくユーザインターフェースシステムに基づいて電子デバイスまたはその上で走るアプリケーションを制御する原理を描写する。図8A〜図8Cは、簡単な単一の指のジェスチャまたは指している物体と関連するジェスチャの深度マップに基づく電子デバイスまたはその上で走るアプリケーションの制御を描写する。この特定の設定では、ユーザは、ジェスチャに基づくユーザインターフェースシステムの多開口画像センサの視野で指を位置決めしてもよい(ステップ802)。次いで、多開口画像センサによって生成される画像データに基づいて、指のグレースケール深度マップが、電子デバイスのメモリに記憶された所定の深度関数に基づいて生成されてもよい(図8Bおよび図8C)。一実施形態では、深度関数は、図3および図4を参照して論じられたような一組のブラーカーネルを備えるフィルタバンクを備えてもよい(ステップ804)。深度マップは、ジェスチャ認識モジュールによって連続的に更新されてもよく、そのモジュールはさらに、画像での所定の物体(この特定の例では指の一部)を深度マップで認識し、電子デバイスに最も近い指の部分、例えば指先を決定するために物体認識および追跡機能を実行してもよい。指の部分を識別した後、指先の動きは、三次元で追跡されてもよく(ステップ806)、軌跡がデータベースに記憶された所定のジェスチャの軌跡と関連する可能性があるかどうかを決定する(ステップ806)。
【０１０８】
例えば、ユーザは、その指先を電子デバイスに向かって第1の位置(図8B)から第2の位置(図8C)まで所定の時間内に動かしてもよい。この動きは、z軸方向(この例では電子デバイスの主平面に実質的に垂直な方向)での指先の相対的動きとして検出されてもよい。ジェスチャ認識モジュールは、一連の深度マップに基づいて動いている指先の軌跡を決定し、この軌跡をメモリに記憶された所定の軌跡と比較してもよい。もし指先の追跡される軌跡が、記憶された軌跡に実質的に一致するならば、ジェスチャモジュールは、一致した軌跡を制御信号と関連付けてもよい。例えば、図8Bおよび図8Cでの指先の簡単な軌跡は、電子デバイスのディスプレイ上である項目またはメニューを起動するまたは選択するための起動ジェスチャを規定してもよい(マウスボタンを押すことに似ている)。
【０１０９】
それ故に、単一の指のジェスチャ(の一部)に基づいて、指先、すなわち多開口画像センサに最も近い手の部分が、深度マップに基づいて追跡されてもよく、それによって電子デバイスのディスプレイを使用して表示されるカーソル制御のエミュレーションを可能にする。指先の位置は、多開口画像センサによって生成される画像フレームの流れに基づいて生成される、多数のその後の深度マップに基づいて追跡されてもよい。画像センサに向かう深度方向での指先の速い動きは、起動機能を引き起こすための起動ジェスチャとしてジェスチャ認識モジュールによって認識されてもよい(マウスのクリック動作に似ている)。
【０１１０】
一実施形態では、ジェスチャの意味は、前に認識されたジェスチャに依存してもよい。例えば、一実施形態では、上で述べられたような起動ジェスチャの後、画像センサの方向でのその後の速い指の動きは、停止機能を引き起こすための停止ジェスチャとしてジェスチャ認識モジュールによって認識されてもよい。
【０１１１】
様々なジェスチャが、指先の1つまたは複数の軌跡に基づいて規定されてもよい。上で述べられたように、画像センサに向かう速い指の動きは、単一のクリック起動(停止)として認識されてもよい。
【０１１２】
別の実施形態では、距離に基づく「クリックアンドホールド(click-and-hold)」のジェスチャ制御は、画像センサに向かう速い指の動きに関係する第1の軌跡であって、指が画像センサから所定距離で押し下げられる場合(すなわち、下向きのクリック)、第2の軌跡が所定距離の平面での指の動きを規定する場合(すなわち、下方クリックを保持)、および第3の軌跡が画像センサから離れる指の動き(後方へ)によって規定される場合(クリック解放)を含む、ジェスチャの所定の連続によって規定されてもよい。
【０１１３】
なお別の実施形態では、動作に基づく「クリックアンドホールド」のジェスチャ制御は、ソフトウェアプログラムを第1の(停止した)状態から第2の(起動した)状態に移動させるためのカメラに向かう速い指の動きに関係する第1の軌跡(すなわち、下向きのクリック)、第2の軌跡が所定距離の平面での指の動きを規定する場合(すなわち、下方クリックを保持)、および第3の軌跡がソフトウェアプログラムを第2の(起動した)状態から第1の(停止した)状態に移動させて戻すためのカメラに向かう第2の速い指の動きによって規定される場合(クリック解放)を含む、ジェスチャの所定の連続によって規定されてもよい。
【０１１４】
さらに、ジェスチャ認識モジュールは、一連の深度マップに基づいて多数の指先の軌跡を決定し、これらの軌跡をメモリに記憶された所定の軌跡と比較してもよい。例えば、図9Aで描写されるように、ユーザは、ジェスチャに基づくユーザインターフェースシステムの多開口画像センサの視野で少なくとも2つの指を位置決めしてもよい。ユーザは、指を視野に保ちながら、彼または彼女の指を互いに対して動かしてもよい。例えば、1つの特定のジェスチャは、第1または第2の指先のどちらかが電子デバイスに最も近くなるように指を互いに対して動かすことに関連してもよい。ジェスチャ認識モジュールは、2つの指先を検出し、一連の深度マップに基づいて2つの動いている指先の軌跡を決定し、これらの軌跡をメモリに記憶された所定の軌跡と比較してもよい。もし指先の追跡される軌跡が、記憶された軌跡に実質的に一致するならば、ジェスチャモジュールは、一致した軌跡を制御信号と関連付けてもよい。
【０１１５】
例えば、図9Aで描写される二指ジェスチャは、ゲーム、例えば飛行シミュレータまたはレーシングゲームでの車両などの模擬物体の動きを制御するために使用されてもよく、その場合2つの指先の相対位置が、ソフトウェア模擬車両が動いている方向を決定する。もし第1の指が、電子デバイスに最も近いならば、ジェスチャに基づくユーザインターフェースは、シミュレーションソフトウェアプログラムが模擬物体を第1の方向(例えば、左)に動かすための制御信号を生成してもよく、もし第2の指が、電子デバイスに最も近いならば、物体は、第2の方向(例えば、右)に動いてもよい。
【０１１６】
一実施形態では、大きさ値が、第1の指と第2の指との間の深度の差に関連付けられてもよい。そのような大きさ値は、ソフトウェアプログラムのさらなるジェスチャ制御を提供することができる。例えば、大きさ値は、物体の動きを制御するための上述のソフトウェアプログラムで使用されてもよく、その場合物体は、2つの指先の間に存在する深度差が大きいかまたは小さいかに応じて急旋回するまたは大きく旋回するように制御されてもよい。
【０１１７】
それ故に、上記の実施形態から、本発明によるジェスチャに基づくユーザインターフェースシステムは、ソフトウェアプログラムの直観的なジェスチャに基づく制御を可能にするということになる。本ユーザインターフェースは、多開口画像センサ部の画像データを使用して生成される深度マップに基づいて電子デバイスまたはその上で走るアプリケーションの正確な制御を可能にする。本ユーザインターフェースシステムは、ユーザが電子デバイスと物理的接触することを必要とせずにその上で走るアプリケーションの制御を可能にするモバイル機器での使用に適している。
【０１１８】
上記のジェスチャに基づく制御の実施形態は、図9Bで概略的に描写され、その図では獲得された多開口画像データ(ステップ902)およびブラーカーネルを備えるフィルタバンクに基づいて、深度マップが、生成される(ステップ904)。深度マップは、ユーザの2つ以上の指先を認識して追跡するために、グラフィカルユーザインターフェースシステムの物体追跡機能およびジェスチャ認識機能に入力されてもよい。指先の軌跡は、ソフトウェアアプリケーションを制御するための二指または多指ジェスチャとして認識されてもよく(ステップ906)、その場合少なくとも2つの指先間の相対深度差は、ソフトウェアアプリケーションによって入力として使用される大きさ値を決定することができる。
【０１１９】
図10Aおよび図10Bは、本発明の別の実施形態によるジェスチャに基づくユーザインターフェースに基づいて電子デバイスまたはその上で走るアプリケーションを制御することを描写する。図10Aおよび図10Bは、深度マップに基づくソフトウェアアプリケーションの制御を描写し、そこでは指の三次元の動きが、スクリーンに書くことおよび/または描くことを制御するために使用される。例えば、図10Aでは、図形ソフトウェアプログラムは、画像センサおよびディスプレイ1002に向かう方向1012の指先の速い動きと関連する第1のジェスチャによって引き起こされてもよい。このジェスチャは、ジェスチャに基づくユーザインターフェースによって認識され、図形機能、例えば線描画機能を起動することができる。その後、ユーザは、その指先をディスプレイに平行な平面で動かしてもよく、指先の2Dの動きが、ディスプレイへの線1010の描画を可能にする。ユーザが、スクリーンから離れる方向1014に指先を速く動かすと、ジェスチャに基づくユーザインターフェースは、図形機能の停止を引き起こすことができる。
【０１２０】
図10Bは、図10Aで描写される図形ソフトウェアプログラムのさらなる変形形態を描写する。この特定の実施形態では、2D平面で指先を動かすことによって線を描くとき、電子デバイスにより近い指先を緩やかに動かす圧力が、エミュレートされてもよい。それ故に、その場合には、電子デバイスからの指先の距離は、より幅広くなる線1016をもたらすペン圧力を示す。それ故に、指が適切でかつ正確な制御を提供しないタッチセンサ式ディスプレイと対照的に、図10Aおよび図10Bでの実施形態は、ジェスチャに基づくユーザインターフェースシステムが、そのユーザインターフェース(タッチスクリーンなど)と物理的接触する必要性なく、ソフトウェアアプリケーションを正確に制御するために深度情報を使用することができることを例示する。
【０１２１】
図11Aおよび図11Bは、本発明の一実施形態による生体認証プロセスでのジェスチャに基づくユーザインターフェースシステムの使用を例示する。この特定の実施形態では、電子デバイスは、本発明のジェスチャに基づくユーザインターフェースシステムによってレンダリングされる生体データを使用してユーザを認証するまたは識別するためのソフトウェアプログラムを備えてもよい。一実施形態では、そのプログラムは、画像データを生成するために、多開口画像センサの視野に指を入れるようにユーザに要請してもよい(ステップ1102)。ジェスチャ認識モジュールはその後、指先(画像センサに最も近い)をROIとして決定するために、多開口画像データおよび事前に構成されたフィルタバンクでの一組のブラーカーネルを使用して撮像された指の深度マップを生成してもよい(ステップ1104)。
【０１２２】
その深度マップと関連する赤外線強化画像は、ROIから指紋特徴を抽出するために使用されてもよい。一実施形態では、特徴は、指紋でのいわゆる特徴点(すなわち、隆線の端点および/または分岐点)に基づいて抽出されてもよい。これらの抽出された特徴点の特徴は次いで、認証すべきユーザの指紋の特徴点と関連する記憶された基準特徴と照合される。
【０１２３】
一実施形態では、特徴は、方向性フィルタアルゴリズム、好ましくは方向性ガボールフィルタアルゴリズムまたはその派生物を使用して赤外線強化カラー画像でのROIから抽出されてもよい(ステップ1106)。その場合、指紋のROIは、一組の方向性フィルタを備えるガボール型フィルタバンクを使用して所定数の方向でフィルタ処理される。その後、方向性特徴が、方向性フィルタに基づいて決定され、記憶された一組の方向性基準特徴と照合され、その結果もし一致が見出されるならば、ユーザが、認証されてもよい(ステップ1108)。一致は、もしROIと関連する特徴と基準特徴との間の差が、あるしきい値を下回るならば、決定されてもよい。
【０１２４】
本発明の実施形態は、コンピュータシステムで使用するためのプログラム製品として実装されてもよい。プログラム製品のプログラムは、実施形態(本明細書で述べられる方法を含む)の機能を規定し、種々のコンピュータ可読記憶媒体に含有されてもよい。実例となるコンピュータ可読記憶媒体は、(i)情報が永久に記憶される書き込み不可の記憶媒体(例えば、CD-ROMドライブによって読み出し可能なCD-ROMディスク、フラッシュメモリ、ROMチップまたは任意の種類の固体不揮発性半導体メモリなどのコンピュータ内の読み出し専用メモリデバイス)、および(ii)変更可能な情報が記憶される書き込み可能な記憶媒体(例えば、ディスケットドライブ内のフロッピー（登録商標）ディスクもしくはハードディスクドライブまたは任意の種類の固体ランダムアクセス半導体メモリ)を含むが、限定されない。
【０１２５】
いずれか1つの実施形態との関連で述べられるどんな特徴も、単独で、または他の述べられる特徴と組み合わせて使用されてもよく、また任意の他の実施形態または任意の他の実施形態の任意の組合せの1つもしくは複数の特徴と組み合わせて使用されてもよいことが、理解されるべきである。その上、本発明は、上で述べられた実施形態に限定されず、それらは、添付の請求項の範囲内で変更されてもよい。
【符号の説明】
【０１２６】
100  電子デバイス
101  多開口画像センサ
102  画像センサ
103  データ処理モジュール
104  光学レンズシステム
106  シャッター
108  多開口システム
110  アナログデジタル(A/D)変換器
112  デジタルシグナルプロセッサ(DSP)
114  深度マップ生成器
116  バッファ
118  メモリ
124  信号処理機能
126  ジェスチャ認識モジュール
128  出力モジュール
134  データバス
【図１】
2015522193.tif 000006
【図２】
2015522193.tif 000007
【図３Ａ】
2015522193.tif 000008
【図３Ｂ】
2015522193.tif 000009
【図４Ａ】
2015522193.tif 000010
【図４Ｂ】
2015522193.tif 000011
【図５】
2015522193.tif 000012
【図６】
2015522193.tif 000013
【図７】
2015522193.tif 000014
【図８Ａ】
2015522193.tif 000015
【図８Ｂ】
2015522193.tif 000016
【図９Ａ】
2015522193.tif 000017
【図９Ｂ】
2015522193.tif 000018
【図１０Ａ】
2015522193.tif 000019
【図１０Ｂ】
2015522193.tif 000020
【図１１Ａ】
2015522193.tif 000021
【図１１Ｂ】
2015522193.tif 000022
【国際調査報告】
2015522193.tif 000023
2015522193.tif 000024
2015522193.tif 000025