(57)【特許請求の範囲】
【請求項１】
２つのカメラの接続直線に対して被写体が近付いているか遠ざかっているかを、前記２つのカメラによって捕捉された前記被写体の画像の深さ変化と、前記２つのカメラの結像面内での前記被写体の前記画像の移動トレースの特徴と、の関数として決定する、
ことを有する方法。
【請求項２】
カメラの結像面内での前記被写体の前記画像の前記移動トレースの前記特徴は、該カメラの前記結像面を定める２つの軸のうちの１つにおける移動方向を有する、請求項１に記載の方法。
【請求項３】
前記２つのカメラは同じ座標系によって定められ、前記被写体は、前記２つのカメラの前記接続直線に近付いていることを、前記深さ変化の減少が所定の閾値より大きく、且つ一方のカメラの或る軸における前記被写体の前記移動トレースの前記移動方向が他方のカメラの同じ軸におけるそれとは異なる、ことによって決定される、請求項２に記載の方法。
【請求項４】
前記２つのカメラにおける前記移動トレースは、前記軸において互いに向かって移動する、請求項３に記載の方法。
【請求項５】
前記２つのカメラは同じ座標系によって定められ、前記被写体は、前記２つのカメラの前記接続直線から遠ざかっていることを、前記深さ変化の増大が所定の閾値より大きく、且つ一方のカメラの或る軸における前記被写体の前記移動トレースの前記移動方向が他方のカメラの同じ軸におけるそれとは異なる、ことによって決定される、請求項２に記載の方法。
【請求項６】
前記２つのカメラにおける前記移動トレースは、前記軸において互いから離れるように移動する、請求項５に記載の方法。
【請求項７】
カメラの結像面内での前記被写体の前記移動トレースの前記特徴は、該カメラの前記結像面の２つの軸における前記移動トレースの座標同士の間の比を有する、請求項１に記載の方法。
【請求項８】
２つのカメラの接続直線に対して被写体が近付いているか遠ざかっているかを、前記２つのカメラによって捕捉された前記被写体の画像の深さ変化と、前記２つのカメラの結像面内での前記被写体の前記画像の移動トレースの特徴と、の関数として決定する手段、
を有する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して３次元（３Ｄ）技術に関し、より具体的には３Ｄ系内でプッシュ＆プルジェスチャーを認識する方法及び装置に関する。
【背景技術】
【０００２】
ますます多くの３Ｄムービーの出現に伴い、ホームユーザ用の３Ｄレンダリング装置がますます普及しつつある。３Ｄユーザインタフェース（ＵＩ）の登場を受け、ジェスチャー認識の使用が３ＤのＵＩ制御の最も直接的な手法であることは明らかである。プル（引くこと）及びプッシュ（押すこと）は、認識されるべきジェスチャーのうちの２つの一般的なジェスチャーである。理解され得るように、プルのジェスチャーは、ユーザが物を自身の方に近付けることとして理解されることができ、プッシュのジェスチャーは、ユーザが物を押して遠ざけることとして理解されることができる。
【０００３】
従来のプル及びプッシュの認識は、ユーザの手とカメラとの間の距離の変化に基づくものである。具体的には、上記距離が小さくなることをカメラが検出する場合には、そのジェスチャーはプッシュとして決定されることになり、上記距離が大きくなる場合には、そのジェスチャーはプルとして決定されることになる。
【０００４】
図１は、従来技術におけるデュアルカメラ式ジェスチャー認識システムを示す例示的な図である。
【０００５】
図１に示すように、ジェスチャー認識のために２つのカメラが使用される。カメラは、ウェブカメラ、Ｗｉｉ（登録商標）リモコン（ＷｉｉＭｏｔｅ）ＩＲカメラ、又はユーザが指でなぞること（フィンガートレース）を検出可能なその他の種類のカメラとし得る。例えば、ＩＲカメラは、ユーザの手の中のＩＲ放射体を追跡するために使用されることができる。なお、フィンガートレース検出は、ジェスチャー認識における重要な技術でもあるが、本願で議論される主題ではない。故に、この開示においては、ユーザのフィンガートレースは各カメラによって容易に検出されることが可能であると仮定する。また、この開示の全体を通して、カメラは左上座標系内にあると仮定する。
【０００６】
図２は、図１のデュアルカメラ式ジェスチャー認識システムによる深さ（奥行き）情報検出の幾何学を示す例示的な図である。なお、深さ（奥行き）なる用語は、ここでは、そのジェスチャーが認識されるべき被写体とカメラの結像面との間の距離を意味する。
【０００７】
同じ光学パラメータを有する左カメラＬ及び右カメラＲが、レンズの軸をＯｌとＯｒとの間の接続線に対して垂直にして、それぞれ、Ｏｌ及びＯｒに配置される。点Ｐは、再現されるべき被写体であり、この場合にはユーザの指である。点Ｐは、認識のために、２つのカメラのレンズの範囲内に位置する必要がある。
【０００８】
図２内のパラメータｆは、２つのカメラの焦点距離である。図２内のＰｌ及びＰｒは、それぞれ、左カメラ及び右カメラの仮想的な投影面を表している。Ｔは、２つのカメラ間の距離である。Ｚは、点Ｐと２つのカメラの接続線との間の垂直距離である。システムの動作中、Ｐは、２つのカメラそれぞれの仮想投影面上に画像化されることになる。２つのカメラは前額平行配置である（それぞれの画像が行で揃えられ、一方のカメラの全ての画素行が他方のカメラの対応する行と正確に整列する）ので、ｘｌ及びｘｒは、左カメラ及び右カメラにおける点Ｐのｘ軸座標である。三角法理論によれば、図２のこれらのパラメータの関係は、以下の式：
【０００９】
【数１】
0005485470.tif 000002
によって記述することができる。
【００１０】
この公式において、ｄは、単純にｄ＝ｘｌ−ｘｒとして定義される視差である。
【００１１】
しかしながら、３Ｄユーザインタフェースにおいては、例えば右、左、上、下、ヴィクトリー（Ｖ字）、サークル（円）、プッシュ、プル及びプレスなど、認識すべきその他のジェスチャーが数多く存在し、これらもまたカメラ内で深さ変化を生じさせ得る。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
故に、深さ情報のみに基づいてプル及びプッシュを決定する従来技術においては、誤った認識が生じ得る。
【課題を解決するための手段】
【００１３】
本発明の一態様によれば、２つのカメラによってジェスチャー認識する方法が提供される。この方法は、ジェスチャーを行う被写体からカメラまでの距離と、２つのカメラの結像面内での被写体の移動トレースの特徴との関数として、そのジェスチャーがプッシュ又はプルであるかを決定することを有する。
【００１４】
本発明の他の一態様によれば、２つのカメラによってジェスチャー認識する装置が提供される。この装置は、ジェスチャーを行う被写体からカメラまでの距離と、２つのカメラの結像面内での被写体の移動トレースの特徴との関数として、そのジェスチャーがプッシュ又はプルであるかを決定する手段を有する。
【図面の簡単な説明】
【００１５】
本発明のこれら及びその他の態様、特徴及び利点が、添付の図面に関する以下の説明から明らかになる。
【図１】従来技術におけるデュアルカメラ式ジェスチャー認識システムを示す例示的な図である。
【図２】図１のデュアルカメラ式ジェスチャー認識システムによる深さ情報検出の幾何学を示す例示的な図である。
【図３】プッシュのジェスチャーでの左カメラ及び右カメラにおけるフィンガートレースを示す例示的な図である。
【図４】プルのジェスチャーでの左カメラ及び右カメラにおけるフィンガートレースを示す例示的な図である。
【図５】左のジェスチャーでの左カメラ及び右カメラにおけるフィンガートレースを示す例示的な図である。
【図６】右のジェスチャーでの左カメラ及び右カメラにおけるフィンガートレースを示す例示的な図である。
【図７】上のジェスチャーでの左カメラ及び右カメラにおけるフィンガートレースを示す例示的な図である。
【図８】下のジェスチャーでの左カメラ及び右カメラにおけるフィンガートレースを示す例示的な図である。
【図９】本発明の一実施形態に係るジェスチャー認識方法を示すフローチャートである。
【図１０】異なる配置のステレオカメラにおける立体視範囲を示す例示的な図である。
【図１１】角度αを有するように置かれたステレオカメラの臨界線見積もり方法を示す例示的な図である。
【図１２】論理的な左カメラ及び右カメラの決定方法を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態の様々な態様を説明する。完全な理解をもたらすために、説明の目的で、具体的な構成及び詳細事項を説明する。しかしながら、当業者に認識されるように、本発明は、ここに提示される具体的詳細事項を用いずに実施されてもよい。
【００１７】
上述の従来技術の欠点に鑑み、本発明は、深さ変化と、２つのカメラの深さ方向に垂直な平面内に画像化される動作トレースと、の関数としてプッシュ＆プルのジェスチャーを認識する、３Ｄ系でのプッシュ＆プルジェスチャー認識の方法及び装置を提供する。
【００１８】
先ず、図３−８を参照して、複数のジェスチャーに関する左カメラ及び右カメラにおけるフィンガートレースについての本願発明者の研究結果を説明する。
【００１９】
図３−８において、横線及び縦線は、１つのジェスチャーの中点のベースとなる座標軸であり、矢印は、対応するカメラにおける移動方向を指し示している。図３−８において、座標の原点は左上隅である。Ｘ軸座標は右方向で増加し、Ｙ軸座標は下方で増加する。Ｚ軸座標は、Ｘ軸とＹ軸とによって定められる平面に垂直であり、図３−８においては示されていない。
【００２０】
図３は、プッシュのジェスチャーでの左カメラ及び右カメラにおけるフィンガートレースを示す例示的な図である。図３に示されるように、プッシュジェスチャーの場合、深さ変化（低減）に加えて、左カメラにおけるフィンガートレースと右カメラにおけるフィンガートレースとが互いに向かって移動する。
【００２１】
図４は、プルのジェスチャーでの左カメラ及び右カメラにおけるフィンガートレースを示す例示的な図である。図４に示されるように、プルジェスチャーの場合、深さ変化（増大）に加えて、左カメラにおけるフィンガートレースと右カメラにおけるフィンガートレースとが互いから離れるように移動する。
【００２２】
図５−８は、それぞれ、左、右、上及び下のジェスチャーでの左カメラ及び右カメラにおけるフィンガートレースを示す例示的な図である。これらの図に示されるように、左、右、上及び下のジェスチャーの場合、左カメラにおけるフィンガートレースと右カメラにおけるフィンガートレースとが、深さ変化ももたらし得るが、同じ方向に移動する。
【００２３】
このように、深さ変化に加えて、左カメラ及び右カメラにおけるプッシュジェスチャー及びプルジェスチャーのＸ軸方向でのフィンガートレースの移動方向が、上、下、右、左のジェスチャーのそれとは極めて異なることが見て取れる。
【００２４】
さらに、左カメラ及び右カメラにおけるＸ軸方向とＹ軸方向とでのフィンガートレースの移動比も、プッシュ及びプルジェスチャーと上述のその他のジェスチャーとの間で異なっている。
【００２５】
左、右、上及び下のジェスチャーもＺ軸方向での変化をもたらし得るので、プッシュ及びプルのジェスチャーの認識が、深さ変化のみ、すなわち、この場合にはΔＺ（終点のｚから始点のｚを引いたもの）のみに基づく場合、左、右、上及び下のジェスチャーもプッシュ又はプルとして認識されてしまい得る。
【００２６】
以上に鑑み、本発明の実施形態は、ΔＺと、左及び右のカメラにおけるＸ方向のフィンガートレース移動方向とに基づいて、プッシュ＆プルジェスチャーを認識することを提案する。
【００２７】
また、Ｘ軸方向とＹ軸方向とでのスケール比もジェスチャー認識に考慮され得る。
【００２８】
次の表は、上述のパラメータに基づくジェスチャー認識基準を示している。
【００２９】
【表１】
0005485470.tif 000003
上の表において、
【００３０】
【数２】
0005485470.tif 000004
であり、ＴＨ＿ＺはΔＺに関する閾値設定である。
【００３１】
上の表において、矢印付きの線は、そのジェスチャーでのＸ軸方向の移動方向を意味している。理解され得るように、ｘ軸移動方向とスケール比（ｘ／ｙ）とを用いて、プッシュ／プルを左／右から区別することができる。何故なら、左／右ジェスチャーではｘ軸方向の移動が２つのカメラで同じ向きであるとともに、左／右ジェスチャーではスケール比（ｘ／ｙ）が非常に大きくなるからである。また、上／下ジェスチャーではスケール比（ｘ／ｙ）が非常に小さくなるので、スケール比（ｘ／ｙ）を用いてプッシュ／プルを上／下から区別することができる。
【００３２】
図９は、本発明の一実施形態に係るジェスチャー認識方法を示すフローチャートである。
【００３３】
図９に示すように、ジェスチャーの開始時から終了時まで、左カメラ及び右カメラによって捕捉されたデータが、それぞれ、アレイＬ（ArrayL）及びアレイＲ（ArrayR）に格納される。
【００３４】
なお、左カメラ及び右カメラという概念は論理的な視点からのものである。すなわち、それらはともに論理カメラである。例えば、左カメラはスクリーンの左側の位置に置かれたカメラではない。従って、続くステップにて、認識システムはカメラ交換を検出し、アレイＬとアレイＲとが交換される。
【００３５】
そして、後続ステップ群にて、上述の表で説明したように、深さ変化と、左カメラ及び右カメラにおけるＸ軸方向のフィンガートレースの移動方向と、スケール比（Ｘ／Ｙ）とに基づいて、ジェスチャーが認識される。
【００３６】
図９に示すように、プル及びプッシュのジェスチャーは、より高い優先度を有する。左、右、上及び下は２番目の優先度を有する。サークル及びヴィクトリーは３番目の優先度を有し、プレス及び動作なしは最も低い優先度を有する。このような優先度のランク付けの利点は、プル及びプッシュのジェスチャーの認識率を向上させ、一部のユーザ誤使用をフィルタリング除去し得ることである。
【００３７】
セットされたステレオカメラが前額平行としてセットされた場合、一部の使用状況では深さの視界範囲が小さくなり得る。故に、場合により、ステレオカメラは特定の角度で配置される。
【００３８】
図１０は、異なる配置のステレオカメラにおける立体視範囲を示す例示的な図である。図１０（ａ）は、ステレオカメラが前額平行としてセットされた場合を示している。図１０（ｂ）は、ステレオカメラが角度αを有する場合を示している。
【００３９】
実際の結像面はレンズの収束面であるので、実際の結像面はレンズの後方にあるはずである。正確性を保証するという前提の下に理解を容易にするため、結像面をカメラの前方に描き、レンズを一点に描くこととする。
【００４０】
ステレオカメラが、図１０（ｂ）に示すような配置にて角度αを有する場合、２つのカメラの光軸の交点（点Ｃ）を通り且つ横線に平行な、１つの臨界線が存在することになる。実際、ユーザは、２つのカメラの主光軸の交点である点Ｃの位置の大まかな見積もりを得ることができ、この場合、２つの主光軸間の角度は２αである。光の点がこの臨界線より上にある場合（例えば、点Ａ）、左カメラにおけるＸ軸の値が右カメラのそれより大きくなる。光の点がこの臨界線より下にある場合（例えば、点Ｂ）、左カメラにおけるＸ軸の値が右カメラのそれより小さくなる。すなわち、１つの光の点がステレオカメラから遠ざかるように移動する場合、視差の値（左カメラのＸ軸座標の値から右カメラのＸ軸座標の値を引いたもの）は、正からゼロへ減少し、そして負の値へと進む、という傾向を有することになる。
【００４１】
図１１は、角度αを有するように置かれたステレオカメラの臨界線見積もり方法を示す例示的な図である。
【００４２】
この図の三角形に従って結像面（又はカメラ）が横方向に対して偏角αを有する場合、臨界線とカメラとの間の距離Ｚを、式：
Ｚ＝ｔａｎ（α）・Ｔ
として理解することができる。
【００４３】
角度αで置かれるステレオカメラの臨界線が見積もられた後、論理的な左カメラ又は右カメラが検出され得る。図１２は、論理的な左カメラ及び右カメラの決定方法のフローチャートである。
【００４４】
図１２に示すように、認識システムが始動されるとき、２つのステレオカメラの角度に基づいて、２つの点（右上及び左下）を有するキャリブレーション面がユーザの前に表示される。
【００４５】
次に、システムは、その面が臨界線の前方にあるか否かを決定する。
【００４６】
その面が臨界線の前方にある場合、論理カメラは、ユーザが上記２つの点をクリックした後に、２つのカメラにおけるＸ軸座標の値に基づいて検出される。具体的には、Ｌｘ＞Ｒｘの場合、２つの論理カメラを交換する必要はない。そうでない場合には、２つの論理カメラは交換される必要がある。
【００４７】
上記面が臨界線の前方にない場合、論理カメラは、ユーザが上記２つの点をクリックした後に、２つのカメラにおけるＸ軸座標の値に基づいて検出される。具体的には、Ｌｘ＞Ｒｘの場合、２つの論理カメラを交換する必要がある。そうでない場合には、２つの論理カメラは交換される必要がない。
【００４８】
当業者に理解され得るように、ステレオカメラが前額平行配置を有する場合、上記測定面は無限の場所にあることになる。故に、カメラ交換の要否を判断するには、ＬｘとＲｘとを比較するだけでよい。前額平行配置においては、論理的な左カメラ及び右カメラのＬｘ及びＲｘは、例えばＬｘ＞Ｒｘといった固定関係を有する。Ｌｘ＞Ｒｘを検出した場合、カメラは入れ違っておらず、Ｌｘ＜Ｒｘを検出した場合、カメラは入れ違っており、すなわち、右位置に論理的な左カメラがあり且つ左位置に論理的な右カメラがある。
【００４９】
理解されるように、例示の実施形態には数多くの変更を為すことができ、また、添付の請求項によって定められる本発明の精神及び範囲を逸脱することなく、その他の構成を考え出すことができる。
【図１】
0005485470.tif 000005
【図２】
0005485470.tif 000006
【図３】
0005485470.tif 000007
【図４】
0005485470.tif 000008
【図５】
0005485470.tif 000009
【図６】
0005485470.tif 000010
【図７】
0005485470.tif 000011
【図８】
0005485470.tif 000012
【図９】
0005485470.tif 000013
【図１０】
0005485470.tif 000014
【図１１】
0005485470.tif 000015
【図１２】
0005485470.tif 000016