(57)【特許請求の範囲】
【請求項１】
第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、
第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出装置であって、
前記第１の画像から、前記第１の画像上における前記操作者の指先位置である第１の位置を検出する指先位置検出手段と、
前記第２の画像から、前記第２の画像上における前記操作者の指軸の位置姿勢を検出する指軸位置姿勢検出手段と、
前記第１の位置と前記指軸とに基づき検出される前記第２の画像上における前記操作者の指先位置である第２の位置と、前記第１の位置とから、前記操作者の指先の三次元位置を推定する三次元指先位置推定手段とを有し、
前記指軸位置姿勢検出手段は、前記第２の画像に対して、複数の指領域の正規化相関テンプレートを使用し、前記複数の指領域の正規化相関テンプレートの中から最も類似度の高い正規化相関テンプレートを選択し、当該選択した最も類似度の高い正規化相関テンプレートの基準線を前記指軸として検出し、
前記複数の指領域の正規化相関テンプレートは、前記基準線とともに、高い輝度の領域と低い輝度の領域との２つの領域を有し、
前記２つの領域は、２つの長方形領域であって、前記２つの長方形領域の長辺と前記基準線は互いに平行であることを特徴とする三次元指先位置検出装置。
【請求項２】
前記第１のカメラは、前記操作者の手指と同じ色合いを含まない背景下で前記操作者の手指を撮影し、
前記指先位置検出手段は、前記背景の色情報を用いて、前記第１の画像から、前記背景の色以外の画素からなる領域を手指領域として抽出し、当該抽出した手指領域の半島突端の位置を前記第１の位置として検出することを特徴とする請求項１に記載の三次元指先位置検出装置。
【請求項３】
前記第１のカメラは、前記操作者の手指と同じ色合いを含まない背景下で前記操作者の手指を撮影し、
前記指先位置検出手段は、背景差分を用いて、前記第１の画像から手指領域を抽出し、当該抽出した手指領域の半島突端の位置を前記第１の位置として検出することを特徴とする請求項１に記載の三次元指先位置検出装置。
【請求項４】
前記三次元指先位置推定手段は、前記第１の位置に対応する前記第２の画像上のエピポーラ線と前記指軸との交点位置を、前記第２の位置として検出し、前記第１の位置と前記第１のカメラのレンズ中心とを結ぶ三次元空間における直線と、前記第２の位置と前記第２のカメラのレンズ中心とを結ぶ三次元空間における直線とを最短で結ぶ線分の中点を、前記操作者の指先の三次元位置として推定することを特徴とする請求項１に記載の三次元指先位置検出装置。
【請求項５】
第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、
第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出方法であって、
前記第１の画像から、前記第１の画像上における前記操作者の指先位置である第１の位置を検出する第１のステップと、
前記第２の画像から、前記第２の画像上における前記操作者の指軸の位置姿勢を検出する第２のステップと、
前記第１の位置と前記指軸とに基づき検出される前記第２の画像上における前記操作者の指先位置である第２の位置と、前記第１の位置とから、前記操作者の指先の三次元位置を推定する第３のステップとを有し、
前記第２のステップは、前記第２の画像に対して、複数の指領域の正規化相関テンプレートを使用し、前記複数の指領域の正規化相関テンプレートの中から最も類似度の高い正規化相関テンプレートを選択し、当該選択した最も類似度の高い正規化相関テンプレートの基準線を前記指軸として検出するステップであり、
前記複数の指領域の正規化相関テンプレートは、前記基準線とともに、高い輝度の領域と低い輝度の領域との２つの領域を有し、
前記２つの領域は、２つの長方形領域であって、前記２つの長方形領域の長辺と前記基準線は互いに平行であることを特徴とする三次元指先位置検出方法。
【請求項６】
請求項１ないし請求項４のいずれか１項に記載の三次元指先位置検出装置の各手段を、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元指先位置検出方法、三次元指先位置検出装置、およびプログラムに係わり、特に、２台のカメラで撮影した操作者の手指の画像から画像処理によって、操作者の指先の三次元位置を検出する技術に関する。
【背景技術】
【０００２】
街頭に設置されている情報キオスク端末や、家庭電化製品などの操作対象機器の操作では、リモコンを使用して操作する、もしくは操作対象機器に備えられたボタンやタッチスクリーンにより操作するという形態が主流であるが、リモコンを用いる形態では、リモコンを紛失した場合に操作ができない、また、ボタンやタッチスクリーンを用いる形態では、不衛生なので機器に直接触れたくない、といった理由から、操作者が行うジェスチャを認識することにより操作対象機器を操作する形態が考案されてきている。
その形態は様々であり、ジェスチャとしては、首振り、頷き、眼球運動、ウインク、腕振り、指差し等、また、操作者の動きをセンシングするデバイスとしては、奥行き情報の取得が可能なデバイスや通常のビデオカメラといったバリエーションがある。
この場合、ジェスチャ認識システムを、従来の物理的な機器を代替するものという観点から捉えた場合、通常、ボタンやタッチスクリーンは指で操作されていることから、ジェスチャとして指の動きを用いる形態に妥当性があると考えられる。ここで、指の動きとは、指の曲げ伸ばし等ではなく、指先の位置の変位のことである。また、コストの観点からは、ハードウェア構成を安価に実現できる、通常のビデオカメラを用いる形態に妥当性があると考えられる。
以上の考察から、本発明では、指の動きによるジェスチャを通常のビデオカメラで撮影して認識する形態を対象とすることにした。
さて、このようなジェスチャ認識システムでは、先ずは、撮影された画像上において指先位置を検出することが必要となるが、これまでに、そのための技術がいくつか考案されている。（例えば、下記、特許文献１参照）原理としては、手指を撮影したカラー画像から、色相・明度・彩度に基づいて肌色であると判定された画素からなる領域を抽出し、その領域の形状を基に指先位置を検出するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３８６３８０９号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前述の特許文献１に明記されているように、指を撮影したカラー画像から、色相・明度・彩度に基づいて肌色であると判定された画素からなる領域を抽出し、その領域の形状を基に指先位置を検出する方法では、手領域と他の肌色物体は重ならないことが必須条件であり、例えば、図１（ａ）の１０１に示すように、手指を撮影する際に背後に顔が映り込んで、図１（ｂ）に示すように、画像上において手領域に他の肌色領域に重なっている場合、検出される領域が手領域と顔領域との和集合領域１０２となるため、指先位置を正しく検出することは原理的に不可能である。
本発明が想定している、ジェスチャ認識システムを利用する場面では、一般に、操作者以外の人物が存在するので、色情報に基づいて領域を抽出する方法を用いることはできない。これに対して、図２に示すような輝度画像において、勾配をもとに推定される輪郭を利用する方法が考えられる。なお、図２は輝度画像の一部を示すものであり、２０１は撮影された指、２０２は指軸である。
しかしながら、ＱＶＧＡ等の低解像度のカメラを用いる場合、図３（ａ）に示すように、指先の輪郭３０１に対して、その法線方向が指軸２０２と同じになる輪郭区分３０２を考えると、図３（ｂ）に示すように、同区分の輪郭推定に寄与する画素３０３の数が極端に少ないため、指先先端の指軸方向の位置を正しく推定することは困難である。更に、ノイズが強い場合や手指の背後に複雑な背景が映りこむ場合には、いっそう困難となる。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、三次元指先位置検出方法および三次元指先位置検出装置において、２台のカメラで撮影した操作者の手指の画像から画像処理によって、操作者の手指の三次元位置を検出する技術を提供することにある。
また、本発明は、前述の三次元指先位置検出方法をコンピュータに実行させるためのプログラムを提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【課題を解決するための手段】
【０００５】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
（１）第１のカメラで第１の方向から操作者の手指を撮影した第１の画像と、第２のカメラで前記第１の方向とは異なる第２の方向から操作者の手指を撮影した第２の画像とから、画像処理によって操作者の指先の三次元位置を検出する三次元指先位置検出装置であって、前記第１の画像から、前記第１の画像上における前記操作者の指先位置である第１の位置を検出する指先位置検出手段と、前記第２の画像から、前記第２の画像上における前記操作者の指軸の位置姿勢を検出する指軸位置姿勢検出手段と、前記第１の位置と前記指軸とに基づき検出される前記第２の画像上における前記操作者の指先位置である第２の位置と、前記第１の位置とから、前記操作者の指先の三次元位置を推定する三次元指先位置推定手段とを有し、前記指軸位置姿勢検出手段は、前記第２の画像に対して、複数の指領域の正規化相関テンプレートを使用し、前記複数の指領域の正規化相関テンプレートの中から最も類似度の高い正規化相関テンプレートを選択し、当該選択した最も類似度の高い正規化相関テンプレートの基準線を前記指軸として検出し、前記複数の指領域の正規化相関テンプレートは、前記基準線とともに、高い輝度の領域と低い輝度の領域との２つの領域を有し、前記２つの領域は、２つの長方形領域であって、前記２つの長方形領域の長辺と前記基準線は互いに平行である。
（２）（１）において、前記第１のカメラは、前記操作者の手指と同じ色合いを含まない背景下で前記操作者の手指を撮影し、前記指先位置検出手段は、前記背景の色情報を用いて、前記第１の画像から、前記背景の色以外の画素からなる領域を手指領域として抽出し、当該抽出した手指領域の半島突端の位置を前記第１の位置として検出する。
【０００６】
（３）（１）において、前記第１のカメラは、前記操作者の手指と同じ色合いを含まない背景下で前記操作者の手指を撮影し、前記指先位置検出手段は、背景差分を用いて、前記第１の画像から手指領域を抽出し、当該抽出した手指領域の半島突端の位置を前記第１の位置として検出する。
（４）（１）において、前記三次元指先位置推定手段は、前記第１の位置に対応する前記第２の画像上のエピポーラ線と前記指軸との交点位置を、前記第２の位置として検出し、前記第１の位置と前記第１のカメラのレンズ中心とを結ぶ三次元空間における直線と、前記第２の位置と前記第２のカメラのレンズ中心とを結ぶ三次元空間における直線とを最短で結ぶ線分の中点を、前記操作者の指先の三次元位置として推定する。
（５）また、本発明は、前述の三次元指先位置検出装置により実行される三次元指先位置検出方法である。
（６）また、本発明は、前述の（１）ないし（５）の何れかに記載の三次元指先位置検出装置の各手段を、コンピュータに実行させるためのプログラムである。
【発明の効果】
【０００７】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、２台のカメラで撮影した操作者の手指の画像から画像処理によって、操作者の手指の三次元位置を容易に検出することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】手指を撮影する際に背後に顔が映り込んだ画像と、検出された肌色領域を例示する図である。
【図２】手指を撮影した輝度画像を例示する図である。
【図３】指先の輪郭と、その法線方向が指軸と同じになる輪郭区分の推定に寄与する画素を例示する図である。
【図４】本発明の実施例の三次元指先位置検出装置の概略構成を示すブロック図である。
【図５】本発明の実施例の三次元指先位置検出装置において、カメラ、ブルーバック、および手指の配置を例示する図である。
【図６】本発明の実施例の三次元指先位置検出装置の処理手順を説明するためのフローチャートである。
【図７】本発明の実施例の三次元指先位置検出装置において、第１のカメラで撮影された画像、抽出された手指領域、および検出された指先位置を示す図である。
【図８】本発明の実施例の三次元指先位置検出装置において、指軸の位置姿勢を検出するための濃淡画像用テンプレート群を示す図である。
【図９】本発明の実施例の三次元指先位置検出装置において、テンプレートによる類似度評価を説明するための図である。
【図１０】本発明の実施例の三次元指先位置検出装置において、指軸の位置姿勢の定義を説明するための図である。
【図１１】本発明の実施例の三次元指先位置検出装置において、第２のカメラの画像上の指先位置を求める方法を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図４は、本発明の実施例の三次元指先位置検出装置の概略構成を示すブロック図である。本実施例の三次元指先位置検出装置は、第１のカメラ４０１と、第２のカメラ４０２と、指先位置検出手段４０３と、指軸位置姿勢検出手段４０４と、三次元指先位置推定手段４０５とを有する。
本実施例では、実際には、図５に示すように、第１のカメラ４０１と、第２のカメラ４０２と、ブルーバック背景５０２と、手指５０１とを配置する。
第１のカメラ４０１は、ブルーバック背景下に手指５０１を撮影できるように固定設置する。第２のカメラについては、その光軸と第１のカメラ４０１の光軸との両方を、空間中に置いたある平面に投影した際に、第１のカメラ４０１の光軸と第２のカメラ４０２の光軸を投影した線同士の成す角度がもっとも小さくなるように平面を移動し、その時の角度が９０°、即ち、投影した線同士が直交するように、第２のカメラ４０２を固定することが望ましい。
なお、図５では、ブルーバック背景５０２を使用しているが、床が肌の色と同じ色合いを含まない場合は、そのままブルーバック背景として代用できる。この場合、第１のカメラ４０１は鉛直下向きに設置することになる。
【００１０】
図６は、本実施例の三次元指先位置検出装置の処理手順を説明するためのフローチャートである。次に、本実施例における、操作者の指の三次元位置の検出手順について、図６を用いて説明する。
（１）ステップ６０１
このステップでは、指先位置検出手段４０３が、予め取得しておいたブルーバックの色情報を用い、図７（ａ）に示す第１のカメラ４０１で撮影した画像７０１において、ブルーバック領域７０２以外の領域を手指領域として抽出し、図７（ｂ）に示す、当該抽出した手指領域の半島突端（図７（ｂ）において上向きの半島となる部分の突端７０３）の位置を指先位置として検出する。なお、背景差分により手指領域を抽出してもよい。
（２）ステップ６０２
このステップでは、指軸位置姿勢検出手段４０４が、図８に示す濃淡画像用テンプレート（本発明の指領域の正規化相関テンプレート）群８０１を用いて、指軸の位置姿勢を検出する。
ここで、１つの濃淡画像用テンプレート８０２は、それぞれの相対位置姿勢が固定である基準線８０３と、基準位置８０４と、高い輝度の領域８０５と、低い輝度の領域８０６とから構成されており、濃淡画像用テンプレート群８０１は、基準線８０３の傾きが異なる複数枚のテンプレートから構成されている。
高い輝度の領域８０５と、低い輝度の領域８０６の領域の形状は細長いことが望ましく、また、それぞれの領域内の輝度値ＩＢおよびＩＤについては、それぞれの面積をＡＢおよびＡＤとしたとき、下記（１）式に示す連立方程式を満たす値であり、正負および０の値をとる。
ＡＢ・ＩＢ２＋ＡＤ・ＩＤ２＝１
ＡＢ・ＩＢ＋ＡＤ・ＩＤ＝０    ・・・・・・・・・・・・・    （１）
なお、高い輝度の領域８０５と、低い輝度の領域８０６のそれぞれの領域としては、前述の領域形状に一様に分布する疎領域でも良い。また、それぞれの領域内の輝度値として、一様でない値を用いても良い。
【００１１】
さて、指軸の位置姿勢については以下の通りである。
図９（ａ）に示すように、第２のカメラの輝度画像における全ての指軸の候補位置９０１に対して、濃淡画像用テンプレート群８０１の全てのテンプレートを適用し、正規化相関値を類似度として算出する。
例えば、図９（ｂ）に示すように、図９（ａ）の９０１で示す候補位置において、９０２で示すテンプレートを適用する場合、画像上での候補位置９０１にテンプレート９０２の基準点を合わせた際に、テンプレート９０２の高い輝度の領域および低い輝度の領域に対応する画像上での評価対象領域９０３および９０４が特定されるが、これら領域に対して、下記（２）式により、類似度Ｃを算出する。ここ類似度Ｃの値の範囲は、−１から１である。
Ｃ＝Ｅ／Ａ、  但し、Ｅ＝ＩＢ・ΣＢ（ｉ−ｉＡ）＋ＩＤ・ΣＤ（ｉ−ｉＡ）
・・・・・・・・・・・・・・・・・・・・  （２）
ここで、（２）式において、Ａは評価対象領域９０３および９０４の和領域の面積の和、ｉは輝度画像の輝度値、ｉＡは評価対象領域９０３および９０４の和領域における輝度値の平均値、ΣＢ（ｉ−ｉＡ）およびΣＤ（ｉ−ｉＡ）はそれぞれ評価対象領域９０３および９０４における各画素値ｉからｉＡを引いた値の総和を表す。
そして、図１０に示すように、最も高い類似度Ｃに対応する候補位置１００１と、最も高い類似度Ｃに対応するテンプレートの基準線８０３のＸ軸１００４からの傾き１００２から、指軸１００３を求める。
なお、Ｅが一定の値の範囲にない場合には、類似度Ｃを評価しないとしても良い。また、ステップ６０１で求められた第１のカメラ４０１の画像上での指先位置に対応する、第２のカメラ４０２の画像上でのエピポーラ線を基に、候補位置の領域を絞り込むことで不要な計算を省いても良い。
【００１２】
（３）ステップ６０３
このステップでは、三次元指先位置推定手段４０５が、図１１に示すように、ステップ６０１で求めた第１のカメラ４０１の画像における指先位置７０３に対応する第２のカメラ４０２の画像上のエピポーラ線１１０１と、ステップ６０２で求めた指軸１００３との交点位置１１０２を、第２のカメラ４０２の画像における指先位置として求める。
（４）ステップ６０４
このステップでは、三次元指先位置推定手段４０５が、ステップ６０１で求めた第１のカメラ４０１の画像における指先位置７０３と第１のカメラ４０１のレンズ中心とを結ぶ三次元空間における直線と、ステップ６０３で求めた第２のカメラ４０２の画像における指先位置１１０２と第２のカメラ４０２のレンズ中心とを結ぶ三次元空間における直線との交点を求め、これを指先の三次元位置とする。
なお、通常は、これら三次元空間における直線は交わらないので、これら三次元空間における直線への距離の二乗和が最小となる位置を以って、指先の三次元位置としても良い。即ち、第１のカメラ４０１の画像における指先位置７０３と第１のカメラ４０１のレンズ中心とを結ぶ三次元空間における直線と、第２のカメラ４０２の画像における指先位置１１０２と第２のカメラ４０２のレンズ中心とを結ぶ三次元空間における直線とを最短で結ぶ線分の中点を、操作者の指先の三次元位置として推定する。
【００１３】
以上説明したように、本実施例によれば、第２のカメラ４０２で撮影した画像の輝度画像において、操作者の指の指軸の位置姿勢の検出は容易であるとともに、ブルーバック背景下で検出が容易な操作者の手指を、第１のカメラ４０１で撮影した画像から操作者の指の指先位置を併せて用いることで、指先の三次元位置を容易に検出することができる。
本実施例のジェスチャ認識技術は、街頭に設置されている情報キオスク端末や家庭電化製品などの操作対象機器の操作に応用することが可能となる。
なお、前述の説明において、本実施例の三次元指先位置検出装置における指先位置検出手段４０３と、指軸位置姿勢検出手段４０４と、三次元指先位置推定手段４０５とは、コンピュータに実行させることも可能であり、その場合に、本実施例の三次元指先位置検出装置における指先位置検出手段４０３と、指軸位置姿勢検出手段４０４と、三次元指先位置推定手段４０５の動作は、コンピュータ内のハードディスクなどに格納されるプログラムを、コンピュータが実行することにより行われる。このプログラムは、ＣＤ−ＲＯＭ、あるいは、ネットワークを介したダウンロードにより供給される。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【符号の説明】
【００１４】
１０１  手指を撮影する際に背後に顔が映り込んだ画像の例
１０２  手領域と顔領域との和集合領域
２０１  撮影された指
２０２  指軸
３０１  指先の輪郭
３０２  輪郭区分
３０３  輪郭区分の輪郭推定に寄与する画素
４０１  第１のカメラ
４０２  第２のカメラ
４０３  指先位置検出手段
４０４  指軸位置姿勢検出手段
４０５  三次元指先位置推定手段
５０１  ブルーバック背景下に撮影される手指
５０２  ブルーバック背景
７０１  第１のカメラの画像
７０２  ブルーバック領域
７０３  半島突端の位置
８０１  テンプレート群
８０２  テンプレート
８０３  基準線
８０４  基準位置
８０５  高い輝度の領域
８０６  低い輝度の領域
９０１  候補位置
９０２  適用テンプレート
９０３，９０４  評価対象領域
１００１  最も高い類似度に対応する候補位置
１００２  最も高い類似度に対応するテンプレートの基準線の傾き
１００３  指軸
１００４  Ｘ軸
１１０１  第２のカメラの画像におけるエピポーラ線
１１０２  第２のカメラの画像における指先の位置
【図１】
0005416489.tif 000002
【図２】
0005416489.tif 000003
【図３】
0005416489.tif 000004
【図４】
0005416489.tif 000005
【図５】
0005416489.tif 000006
【図６】
0005416489.tif 000007
【図７】
0005416489.tif 000008
【図８】
0005416489.tif 000009
【図９】
0005416489.tif 000010
【図１０】
0005416489.tif 000011
【図１１】
0005416489.tif 000012