(57)【要約】【課題】指の本数を正確に認識できる装置および方法を提供する。【解決手段】画像撮像装置１と、撮像画像中でのエッジ基準方向設定手段と、設定したエッジ基準方向に対して画像を垂直方向に走査してエッジラインを抽出するエッジライン画像取得手段と、画像中での指太さ基準値設定手段と、エッジ基準方向に対して垂直方向に走査し、前記エッジライン画像取得手段により抽出したエッジラインにおけるエッジ強度が正の値を持つ正のエッジラインと交差し、かつ、同じ走査線上に次に現れるエッジラインが負のエッジ強度を持つ負のエッジラインである場合には、前記正のエッジラインと前記負のエッジラインとの間隔を計測し、計測した間隔と設定した指太さ基準値との差分を求め、この差分が小さければ、前記２本のラインの間に対応する領域を指領域として抽出する指領域抽出手段と、前記指領域の数をカウントする指領域数カウント手段とを有する。【選択図】    図１
2006163662.tif 000002
【特許請求の範囲】
【請求項１】
手の指を何本伸ばしているのかを認識する指本数認識装置であって、
手の画像を撮像する撮像手段と、
前記撮像手段により撮像した画像において、手の向きに対応するエッジ基準方向を設定するエッジ基準方向設定手段と、
前記撮像手段により撮像した画像において、前記エッジ基準方向設定手段により設定したエッジ基準方向に対して垂直方向に走査してエッジラインを抽出し、エッジライン画像を取得するエッジライン画像取得手段と、
前記撮像手段により撮像した画像中での、指太さ基準値を設定する指太さ基準値設定手段と、
前記エッジ基準方向設定手段により設定したエッジ基準方向に対して垂直方向に走査し、
前記エッジライン画像取得手段により抽出したエッジラインにおけるエッジ強度が正の値を持つ正のエッジラインと交差し、かつ、同じ走査線上に次に現れるエッジラインが負のエッジ強度を持つ負のエッジラインである場合には、前記正のエッジラインと前記負のエッジラインとの間隔を計測し、
計測した間隔と前記指太さ基準値設定手段により設定した指太さ基準値との差分を求め、この差分に基づいて、前記２本のラインの間に対応する領域を指領域として抽出する指領域抽出手段と、
前記指領域の数をカウントする指領域数カウント手段と、
を有することを特徴とする指本数認識装置。
【請求項２】
前記指太さ基準値設定手段は、
前記指領域抽出手段により計測した前記正のエッジラインと負のエッジラインとの間隔のうち、最大となる間隔を掌の幅の値として設定し、
設定した掌の幅の値を基準として、前記指太さ基準値を設定することを特徴とする請求項１記載の指本数認識装置。
【請求項３】
前記エッジ基準方向設定手段は、
前記撮像手段により撮像した画像における、複数の方向のエッジ頻度をそれぞれ算出し、
算出したそれぞれのエッジ頻度を比較し、最も頻度が高い方向を前記エッジ基準方向とすることを特徴とする請求項１記載の指本数認識装置。
【請求項４】
前記エッジライン画像取得手段は、
前記エッジ基準方向設定手段によって設定されたエッジ基準方向およびその±４５°の３方向について前記エッジライン画像を作成し、
作成した前記エッジライン画像の各エッジ領域の中心付近を滑らかに通るエッジラインを抽出することを特徴とする請求項３記載の指本数認識装置。
【請求項５】
手の指を何本伸ばしているのかを認識する指本数認識方法であって、
手の画像を撮像する撮像工程と、
前記撮像工程において撮像した画像中で、手の向きに対応するエッジ基準方向を設定するエッジ基準方向設定工程と、
前記撮像工程において撮像した画像中で、前記エッジ基準方向設定工程において設定したエッジ基準方向に対して垂直方向に走査してエッジラインを抽出し、エッジライン画像を取得するエッジライン画像取得工程と、
前記撮像工程において撮像した画像中での、指太さ基準値を設定する指太さ基準値設定工程と、
前記エッジ基準方向設定工程において設定したエッジ基準方向に対して垂直方向に走査し、
前記エッジライン画像取得工程において抽出したエッジラインにおけるエッジ強度が正の値を持つ正のエッジラインと交差し、かつ、同じ走査線上に次に現れるエッジラインが負のエッジ強度を持つ負のエッジラインである場合には、前記正のエッジラインと前記負のエッジラインとの間隔を計測し、
計測した間隔と前記指太さ基準値設定工程において設定した指太さ基準値との差分を求め、この差分に基づいて、前記２本のラインの間に対応する領域を指領域として抽出する指領域抽出工程と、
前記指領域の数をカウントする指領域数カウント工程と、
を有することを特徴とする指本数認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手の指を何本伸ばしているのかを認識する指本数認識装置および方法に関する。
【背景技術】
【０００２】
カメラ等で撮像した画像から、手の形状を認識するためのシステムが下記特許文献１に記載されている。  
このシステムでは、まず、カラー画像の肌色情報に基づいて撮像した画像を２値化し、ノイズを除去し、手領域を抽出する。次に、抽出された手領域を細線画像化し、細線化画像から手の方向を検出する。次に、検出された手の方向に対して垂直方向に走査し、前記手領域上にかかるラン長を計測する。次に、計測したラン長の頻度の分布を求め、頻度が最大となるラン長を指の幅の閾値として設定する。次に、手の方向に対して垂直に走査し、前記ラン長が前記指の幅の閾値以下であれば指領域として抽出し、前記細線化画像と前記指領域との論理積から、指に対応する指領域を抽出する。なお、前記２値化画像のノイズ除去の際に、２値化画像の平滑化された輪郭線を抽出し、輪郭線の形状からも指本数を推定する。この推定値を利用して、前記指に対応する線として抽出した線のうち、ノイズに対応する線を除去する。以上の結果、最終的に指に対応する線が抽出される、というものである。
【０００３】
【特許文献１】特開２００３−３４６１６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来のシステムでは、撮像した原画像の輝度値と固定された閾値とに基づき、２値化によって手領域を抽出し、抽出された手領域について、ラン長、輪郭形状、および細線化画像を求め、これらを用いて指領域を抽出するという構成になっているため、手の輝度値が想定する閾値範囲から外れた場合、例えば可視画像における光学的な外乱や赤外線画像における手の温度の変化等が発生する場合に対応できずに正確な手領域を抽出することができず、誤認識し得るという問題がある。  
本発明の目的は、このような誤認識を抑制し、指の本数を正確に認識することができる指本数認識装置および方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、手の画像を撮像する撮像手段と、撮像した画像において、手の向きに対応するエッジ基準方向を設定するエッジ基準方向設定手段と、撮像した画像において、前記エッジ基準方向設定手段により設定したエッジ基準方向に対して垂直方向に走査してエッジラインを抽出し、エッジライン画像を取得するエッジライン画像取得手段と、撮像した画像中での、指太さ基準値を設定する指太さ基準値設定手段と、設定したエッジ基準方向に対して垂直方向に走査し、抽出したエッジラインにおけるエッジ強度が正の値を持つ正のエッジラインと交差し、かつ、同じ走査線上に次に現れるエッジラインが負のエッジ強度を持つ負のエッジラインである場合には、前記正のエッジラインと前記負のエッジラインとの間隔を計測し、計測した間隔と設定した指太さ基準値との差分を求め、この差分に基づいて、前記２本のラインの間に対応する領域を指領域として抽出する指領域抽出手段と、前記指領域の数をカウントする指領域数カウント手段とを有するという構成になっている。
【発明の効果】
【０００６】
本発明によれば、誤認識を抑制し、指の本数を正確に認識することができる指本数認識装置および方法を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。  
《指本数認識装置の構成》
図２は、本発明の実施の形態の指本数認識装置の構成を示す図である。  
図２において、１は画像撮像装置、２は演算装置、３はメモリ、４は指本数に基づく処理装置である。画像撮像装置１は、指本数認識装置の使用者がかざした手の画像を撮像する。例えば電子式カメラである。演算装置２は、画像撮像装置１により撮像された画像を処理し、使用者がかざした手において伸ばしている指の本数を認識する。メモリ３は、演算装置２における認識処理の実行時に必要な情報を蓄える。演算装置２において認識された指の本数の情報は、指本数に基づく処理装置４に引き渡す。指本数に基づく処理装置４では、使用者が伸ばした指の本数の情報を入力とする、任意の処理を行う。例えば手の形状（指の本数）をコンピュータの入力情報として、それに基づいて各種の処理を実行する。なお、本実施の形態における処理が可能であれば、構成は別の形態で置き換えても構わないことは言うまでもない。
【０００８】
《処理フロー》
図１は、本実施の形態の指本数認識装置および方法の処理フローの概要を示す図である。以下、図１に基づいて指本数認識の処理の概要について述べる。  
まず、Ｓ１０１において、画像撮像装置（図２参照）により使用者がかざした手の画像を取得する。  
次に、Ｓ１０２において、Ｓ１０１で取得した画像に対し、演算装置２により指の本数の認識に利用するエッジを抽出するエッジ基準方向、すなわち、画像中での手の向きを設定する。  
次に、Ｓ１０３において、Ｓ１０１で取得した画像に対し、Ｓ１０２で設定したエッジ基準方向に対して垂直方向に走査（サーチ）し、エッジ基準方向に基づいたエッジラインを抽出し、エッジライン画像を作成する。  
次に、Ｓ１０４において、Ｓ１０３で作成したエッジライン画像を用いて、画像中における指の太さ（幅）の基準値（以下、指太さ基準値と記す）を設定する。  
次に、Ｓ１０５において、Ｓ１０２で設定したエッジ基準方向に対して垂直方向に走査し、Ｓ１０３で抽出したエッジラインにおけるエッジ強度が正の値を持つ正のエッジラインと交差し、かつ、同じ走査線上に次に現れるエッジラインが負のエッジ強度を持つ負のエッジラインである場合には、正のエッジラインと負のエッジラインとの間隔を計測する。そして、計測した間隔とＳ１０４で設定した指太さ基準値との差分を求める。そして、この差分が小さければ、２本のエッジラインの間を指に対応する領域であるとして指領域を抽出抽出した指領域抽出画像を作成する。  
次に、Ｓ１０６において、Ｓ１０５で作成した指領域抽出画像中における指領域の数をカウントする。  
最後に、Ｓ１０７において、Ｓ１０６でカウントした指領域の数は、指の本数に対応するとして、指の本数に基づいた任意の処理を行う。
【０００９】
以下、図１に示す処理フローにおける、各処理段階での処理内容について述べる。  
〈画像の取得〉
Ｓ１０１では、図２の画像撮像装置１で示したような任意の撮像系を利用して、使用者がかざした手の画像を取得し、処理対象画像として演算部２に引き渡す。演算部２は、必要に応じて、引き渡された画像に対して任意のノイズ除去処理を行ってもよい。演算部２に引き渡さらた時点での処理対象画像を、Ｉ（ｎ）とする。ここで、ｎ＝１，…，Ｎであり、処理対象画像の画素は全部でＮ画素であるとし、ｎは処理対象画像の各画素に対応しているとする。
【００１０】
〈エッジ基準方向の設定〉
Ｓ１０２では、Ｓ１０１で取得した画像に対し、Ｓ１０３以降の処理でエッジラインを抽出するためのエッジ基準方向を設定する。図３は、Ｓ１０２のエッジ基準方向の設定における処理フローを示す図である。  
本実施の形態では、エッジ基準方向は、画像の縦方向あるいは横方向のいずれかであるとする。  
まず、Ｓ３０１およびＳ３０２において、縦方向および横方向のエッジの頻度を算出する。  
Ｓ３０１では、縦方向のエッジの頻度を取得する。Ｓ１０１で取得した処理対象画像Ｉ（ｎ）に対し、縦エッジライン画像Ｅｖ（ｎ）＝Ｓｖ（Ｉ（ｎ））を取得する。Ｓｖ（・）は、Ｓｏｂｅｌフィルタ等の任意の縦エッジ抽出フィルタである。このとき、｜Ｅｖ（ｎ）｜＞θｅなる画素数を縦方向のエッジ頻度Ｈｖであるとする。θｅは任意の閾値である。  
Ｓ３０２では、横方向のエッジの頻度を取得する。Ｓ１０１で取得した処理対象画像Ｉ（ｎ）に対し、横エッジライン画像Ｅｈ（ｎ）＝Ｓｈ（Ｉ（ｎ））を取得する。Ｓｈ（・）は、Ｓｏｂｅｌフィルタ等の任意の横エッジ抽出フィルタである。このとき、｜Ｅｈ（ｎ）｜＞θｅなる画素数を横方向のエッジ頻度Ｈｈであるとする。θｅは任意の閾値である。
【００１１】
次に、Ｓ３０３において、縦方向のエッジの頻度Ｈｖと横方向のエッジの頻度Ｈｈとを比較する。Ｈｖ＞Ｈｈを満たせばＳ３０４に進み、満たさなければ、Ｓ３０５に進む。  
Ｓ３０４ではエッジ基準方向を縦方向であるとし、エッジ基準方向を識別する変数ＭＤ＝９０とする。  
Ｓ３０５ではエッジ基準方向を横方向であるとし、エッジ基準方向を識別する変数ＭＤ＝０とする。  
ここで、エッジ基準方向を識別する変数ＭＤは、処理対象画像の水平方向を０°とした場合の角度に対応しており、ここでは横方向、すなわち、０°か、縦方向、すなわち、９０°かのいずれかであることから、横方向、すなわち、ｘ方向であれば、エッジをＭＤ＝０に置き、縦方向、すなわち、ｙ方向であれば、ＭＤ＝９０と置いた。  
なお、エッジが主にどちらの方向を向いているのかさえ分かれば、ここで示した処理以外の方法を用いても構わない。また、縦と横以外の任意の方向をエッジ基準方向としても構わない。さらに、エッジ基準方向、すなわち、画面中での手の向きが既知である場合には、その方向をメモリ３に記憶して参照することでＭＤ値を設定しても構わない。
【００１２】
〈エッジライン画像の取得〉
Ｓ１０３において、Ｓ１０１で取得した画像に対し、Ｓ１０２で設定したエッジ基準方向に基づいたエッジラインを抽出し、エッジライン画像を作成する。  
Ｓ１０３における処理の内容を、図４〜図６を用いて説明する。図４はＳ１０３のエッジラインの抽出における処理フローを示す図、図５（ａ）〜（ｂ）はエッジラインの抽出について説明する図、図６は、エッジラインの補正について説明する図である。  
まず、Ｓ４０１において、Ｓ１０１で取得した処理対象画像Ｉ（ｎ）に対し、Ｓ１０２で求めたエッジ基準方向ＭＤと、エッジ基準方向ＭＤの±４５°方向の３方向についての、エッジライン画像Ｇ（ｎ）＝Ｓ（Ｉ（ｎ））を取得する。Ｓ（・）はエッジ取得のためのフィルタであり、Ｓｏｂｅｌフィルタ等の任意の手法を用いる。  
次に、Ｓ４０２では、Ｓ４０１で作成したエッジライン画像Ｇ（ｎ）に対し、正の閾値以上のエッジ強度を持つ画素に１のラベルを付加（ラベリング）し、負の閾値以下の強度を持つ画素に２のラベルを付加し、それ以外の画素に０のラベルを付加し、３値化画像Ｔ（ｎ）を得る。すなわち、Ｇ（ｎ）＞θｐであれば、Ｔ（ｎ）＝１、Ｇ（ｎ）＜θｍであれば、Ｔ（ｎ）＝２、それ以外を、Ｔ（ｎ）＝０とする。ここで、θｐおよびθｍは任意の閾値とする。  
次に、Ｓ４０３では、Ｓ４０２で３値化した画像Ｔ（ｎ）に対し、ノイズ除去を行う。ノイズ除去した画像をＴ‘（ｎ）＝Ｍ（Ｔ（ｎ））とする。ここで、Ｍ（・）は任意のノイズ除去フィルタであり、膨張縮退フィルタなどの任意の手法を用いて構わない。
【００１３】
Ｓ４０１からＳ４０３の過程を、図５（ａ）〜（ｄ）を用いて説明する。ここでは、エッジ基準方向は縦方向であるとする。図５（ａ）は入力画像の一部を示す。図５（ａ）における被撮像物５０１は指を２本伸ばした手であり、画像にノイズが多く存在していたとする。このとき、任意の手法でＳ４０１でのエッジライン画像を取得し、Ｓ４０２での３値化、およびＳ４０３でのノイズ除去を行うと、その結果、図５（ｂ）に示すエッジ領域が得られる。図５（ｂ）において、５０２、５０４は正のエッジ領域であり、この領域に属する画素をｎｐとすると、Ｇ（ｎｐ）＞θｐであり、Ｔ（ｎｐ）＝１である。また、５０３、５０５は負のエッジ領域であり、この領域に属する画素をｎｍとすると、Ｇ（ｎｍ）＜θｍであり、Ｔ（ｎｍ）＝２である。それ以外の領域に属する画素をｎｏとすると、Ｔ（ｎｏ）＝０である。
【００１４】
Ｓ４０４以降では、Ｓ４０３でノイズ除去した３値化画像Ｔ‘（ｎ）に対し、細線化処理を行う。Ｔ‘（ｎ）＝１，２であるエッジに対応する個々の領域について、領域毎に一本も枝分かれしていない滑らかな曲線を得る。そのための手法として、本実施の形態ではＳ４０４からＳ４０５の手順を取る。ここでは、引き続き、エッジ基準方向が縦である場合について説明する。  
Ｓ４０４では、正のエッジに対応するＴ‘（ｎ）＝１である画素が連結している個所をそれぞれ一つの領域として、また、負のエッジに対応するＴ‘（ｎ）＝２である画素が連結している個所をそれぞれ一つの領域として、ラベルを付加した画像Ｋ（ｎ）を得る（クラスタリング）。Ｋ（ｎ）はラベルが付加された各領域に対応するそれぞれの画素について、ラベル値を付加した、ラベル画像である。正エッジの領域に対応する画素は、Ｋ（ｎｐ）＝１，２…，Ｋｐの値を持つ。ここで、Ｋｐは、正エッジの領域数である。同様に、負エッジの領域に対応する画素は、Ｋ（ｎｍ）＝−１，−２，…，−Ｋｍの値を持つ。ここで、Ｋｍは、負のエッジの領域数である。なお、ラベルを付加した結果、あるラベルに所属する画素数が任意の閾値以下であれば、ノイズによる領域であるとしてその画素のラベルを０に置換することで、ノイズ除去も可能である。
【００１５】
図５を用いて説明すると、図５（ｂ）における各領域に上記のようにラベルを付加し、ラベル画像を作成する。図５（ｃ）にラベル画像が示される。図５（ｂ）においては、エッジ領域５０２と５０４、５０３と５０５とは、それぞれ同じ値を持っていたが、図５（ｃ）においては、エッジ領域５０２、５０４、５０３、５０５は、それぞれ別のラベル値が割り当てられており、それぞれ別の領域として認識することが可能である。
【００１６】
Ｓ４０５では、エッジラインを設定する。まず、Ｓ４０４でラベリングした各領域について、エッジ基準方向に対して垂直方向に走査し、エッジ基準方向にある１画素毎に、エッジ基準方向に対する垂直方向（すなわち、ここでは水平方向、ｘ方向）の中点をエッジラインのノードとして仮設定する。例として、エッジ基準方向が縦方向の場合について、図６を用いて説明する。  
Ｓ４０４でラベルを付加した領域における、あるクラスタラベルがｋである図６に示すエッジ領域６０１について、エッジラインを設定することを考える。ｙ方向の最小座標ｙｓから最大座標ｙｅまで、各ｙ座標について、エッジ基準方向と垂直方向、すなわち、ｘ方向に走査する。このとき、あるｙ座標値において、Ｋ（ｎ）＝ｋである画素のうち、ｘ座標の最大値ｘｒ（ｙ）と、最小値ｘｌ（ｙ）との中間ｘｍ（ｙ）＝（ｘｒ（ｙ）＋ｘｌ（ｙ））／２を、座標ｙにおけるエッジラインのノード６０２として仮設定する。この時点では、図６（ａ）に示すように、ｘ座標値の増減が激しいノード群が得られる。続いて、各ノードのｘｍ（ｙ）（ｙｓ＜ｙ＜ｙｅ）が滑らかになるように補正を行う。補正方法は任意の手法を用いて構わないが、例えば、上下の近傍数ノードのｘ座標値を参照し、その平均として新しいｘ座標値を得る。このようにして、図６（ｂ）に示すような滑らかなノード６０３のノード群に修正し、これらのノード６０３を繋いだラインを最終的なエッジラインとする。最終的に得られたエッジライン上の画素値を、Ｓ４０４でのラベル番号１または２に置き換え、それ以外の領域については０に置き換え、エッジライン画像Ｌ（ｎ）とする。すなわち、エッジライン画像Ｌ（ｎ）＝１，２，…，Ｋｐ，０，−１，−２，…，−Ｋｍを得る。
【００１７】
図５（ｃ）におけるエッジ領域５０６、５０７、５０８、５０９は、ノイズやエッジのボケの影響で、ノイズの多い形状で得られる。そのため、単純にエッジ領域５０６〜５０９の中心座標を繋いだラインをエッジラインとした場合には、ノイズの影響で、本来の指の形状から外れたエッジラインが得られてしまう。そこで、Ｓ４０５では、単純にエッジ領域５０６〜５０９の中心座標を繋いだラインを仮ラインとして抽出した後、そのラインのノイズを除去することで、本来の指の形状に沿った、滑らかなラインを抽出する。結果として、図５（ｄ）に示すようなエッジライン５１０、５１１、５１２、５１３が得られる。なお、エッジライン抽出の結果、ラインの長さが任意の閾値範囲外であれば、そのラインに所属する画素値を０とすることで消去し、ノイズ除去することも可能である。  
なお、一つのエッジ領域に対し、エッジのピーク付近を通り、かつ、枝分かれしていない、一本の滑らかなエッジラインを得ることができれば、本実施の形態での細線化手法以外の手法を用いても構わない。
【００１８】
〈指太さ基準値の設定〉
Ｓ１０４において、Ｓ１０３で作成したエッジライン画像を用いて、画像中における指太さ基準値を設定する。  
ここでも、エッジ基準方向は縦の場合について説明する。エッジ基準方向が横の場合には、縦横の関係を入れ替えればよい。  
図７および図８を用いて説明する。図７は、掌の幅の抽出について説明する図、図８は、指太さ基準値の設定の根拠について説明する図である。  
まず、画像中における掌の幅Ｗｍａｘを求める。  
図７（ａ）に示すような入力画像であった場合、図７（ｂ）に示すようなエッジライン画像が得られる。図７（ｂ）のエッジライン画像に対し、エッジ基準方向に対して垂直方向に左上から走査する。各ｙ座標での走査線上で、正のラベルのエッジラインと交差してから次に交差するラインが負のエッジラインである場合に、正のラベルのエッジラインとの交点と負のラベルのエッジラインとの交点との距離を計測する。全画面について走査した結果、最大の距離Ｗｍａｘを、掌の幅であるとして記録する。図７（ｂ）では、７０１に示す距離がＷｍａｘに相当する。
【００１９】
次に、指太さ（幅）基準値Ｗｆｉｎを求める。Ｗｆｉｎ＝α×Ｗｍａｘとする。αは任意の閾値であり、一般には０．２５前後が適当である。この根拠について図８を用いて説明する。  
一般に、掌の幅と指の幅との相対値は一定である。このことを用いると、画像中における手の大きさが異なった場合であっても、画像中における掌の幅さえ分かれば、画像中における指の幅も求まる。画像中における手の大きさの変化の要因としては、(1)カメラと手との距離が変化する、(2)手の大きさに個体差がある、といったことが挙げられる。
【００２０】
〈指領域の抽出〉
Ｓ１０５において、Ｓ１０２で設定したエッジ基準方向に対して垂直方向に走査し、走査線上に現れた正のエッジライン上の点と、同じ走査線上に次に現れる負のエッジラインとの間隔を計測し、計測した間隔とＳ１０４で設定した指太さ基準値との差分を求め、差分が小さければ、その正負２点のエッジラインの間は指に対応する指領域であるとして抽出した、指領域抽出画像を作成する。  
Ｓ１０５での指領域の抽出の処理内容について図９を用いて説明する。図９は、指領域の抽出について説明する図である。エッジ基準方向が縦、すなわち、ＭＤ＝９０であるとする。  
最終的な指領域抽出画像をＦ（ｎ）とする。まず、Ｆ（ｎ）を、全画素についてＦ（ｎ）＝０に初期化する。  
Ｓ１０４での処理結果として、図９（ａ）に示すエッジライン画像が得られたとする。このエッジライン画像に対し、エッジ基準方向に対して垂直方向に左上から走査し、各ｙ座標での走査線上で、正のラベルのエッジラインと交差してから次に交差するラインが負のエッジラインである場合に、正のラベルのエッジラインとの交点と負のラベルのエッジラインとの交点との距離（間隔）を計測する。この距離をＷｐとする。ここで、添字ｐは、１、２、…、Ｐの値とし、Ｐは正のエッジラインと負のエッジラインに挟まれる箇所の総数である。計測された距離Ｗｐと指太さ基準値Ｗｆｉｎとを比較し、｜Ｗｐ−Ｗｆｉｎ｜＜θｆｉｎであれば、正のエッジラインと負のエッジラインとに挟まれたｐ番目の直線上の画素はＦ（ｎ）＝１に置換する。θｆｉｎは任意の閾値である。
【００２１】
指以外の領域、すなわち、掌や手首、腕について得られたラインは、正のエッジラインと負のエッジラインとに挟まれた距離Ｗｐと指太さ基準値Ｗｆｉｎとの差分が閾値以上であるため、これらのラインに挟まれた領域については、Ｆ（ｎ）＝０のままである。
【００２２】
以上を図９を用いて説明すると、図９（ａ）における距離９０１、９０２は、指太さ基準値Ｗｆｉｎとの差分が小さい。そのため、距離９０１、９０２上の画素は１となる。一方、距離９０３は指太さ基準値Ｗｆｉｎと比較して差分が大きい。そのため、距離９０３上の画素は０となる。  
以上の作業により、指領域抽出画像Ｆ（ｎ）は、指領域に対応する画素においてＦ（ｎ）＝１の値を、それ以外の画素においては、Ｆ（ｎ）＝０の値をとる。図９（ｂ）において、９０４、９０５は指領域である。
【００２３】
〈指領域のカウント〉
Ｓ１０６において、Ｓ１０５において作成した指領域抽出画像Ｆ（ｎ）における指領域の数Ｆｉｎ＿Ｎｕｍをカウントする。カウント方法はラベリング等の任意の手法を用いればよい。
【００２４】
〈指本数に基づく処理手段〉
Ｓ１０７において、Ｓ１０６でカウントした指領域の数は指の本数に対応するとして、指の本数に基づいた任意の処理を行う。例えば手の形状（指の本数）をコンピュータの入力情報として、それに基づいて各種の処理を実行する。
【００２５】
以上説明したように、本実施の形態の指本数認識装置は、手の指を何本伸ばしているのかを認識する指本数認識装置であって、手の画像を撮像する画像撮像装置１と、画像撮像装置１により撮像した画像において、手の向きに対応するエッジ基準方向を設定するエッジ基準方向設定手段と、画像撮像装置１により撮像した画像において、前記エッジ基準方向設定手段により設定したエッジ基準方向に対して垂直方向に走査してエッジラインを抽出し、エッジライン画像を取得するエッジライン画像取得手段と、画像撮像装置１により撮像した画像中での、指太さ基準値を設定する指太さ基準値設定手段と、前記エッジ基準方向設定手段により設定したエッジ基準方向に対して垂直方向に走査し、前記エッジライン画像取得手段により抽出したエッジラインにおけるエッジ強度が正の値を持つ正のエッジラインと交差し、かつ、同じ走査線上に次に現れるエッジラインが負のエッジ強度を持つ負のエッジラインである場合には、前記正のエッジラインと前記負のエッジラインとの間隔を計測し、計測した間隔と前記指太さ基準値設定手段により設定した指太さ基準値との差分を求め、この差分に基づいて、前記２本のラインの間に対応する領域を指領域として抽出する指領域抽出手段と、前記指領域の数をカウントする指領域数カウント手段とを有するという構成になっている。
【００２６】
また、本実施の形態の指本数認識方法は、手の指を何本伸ばしているのかを認識する指本数認識方法であって、手の画像を撮像する撮像工程と、前記撮像工程において撮像した画像中で、手の向きに対応するエッジ基準方向を設定するエッジ基準方向設定工程と、前記撮像工程において撮像した画像中で、前記エッジ基準方向設定工程において設定したエッジ基準方向に対して垂直方向に走査してエッジラインを抽出し、エッジライン画像を取得するエッジライン画像取得工程と、前記撮像工程において撮像した画像中での、指太さ基準値を設定する指太さ基準値設定工程と、前記エッジ基準方向設定工程において設定したエッジ基準方向に対して垂直方向に走査し、前記エッジライン画像取得工程において抽出したエッジラインにおけるエッジ強度が正の値を持つ正のエッジラインと交差し、かつ、同じ走査線上に次に現れるエッジラインが負のエッジ強度を持つ負のエッジラインである場合には、前記正のエッジラインと前記負のエッジラインとの間隔を計測し、計測した間隔と前記指太さ基準値設定工程において設定した指太さ基準値との差分を求め、この差分に基づいて、前記２本のラインの間に対応する領域を指領域として抽出する指領域抽出工程と、前記指領域の数をカウントする指領域数カウント工程とを有するという構成になっている。
【００２７】
上記従来のシステムでは、撮像した原画像の輝度値と固定された閾値とに基づき、２値化によって手領域を抽出し、抽出された手領域について、ラン長、輪郭形状、および細線化画像を求め、これらを用いて指領域を抽出するという構成になっているため、手の輝度値が想定する閾値範囲から外れた場合、例えば可視画像における光学的な外乱や赤外線画像における手の温度の変化等が発生する場合に対応できずに正確な手領域を抽出することができず、誤認識し得るという問題がある。また、指の幅の閾値を設定する際に、ラン長の頻度を計測し、頻度最大となるラン長を指の幅の閾値とし、その閾値以下の幅のラン長を持つ手領域を指領域として抽出するという構成になっているため、頻度最大となるラン長が指の幅に対応しない場合、すなわち、指以外の掌や手首のラン長の頻度が指のラン長の頻度よりも多い場合、例えば手領域として手首も含めて広範囲に抽出される場合や、掌に対して指が短い、指本数が少ない等の場合において誤認識し得るという問題がある。さらに、原画像の輝度値に基づき、固定された閾値を元に２値化することによって手領域を抽出し、抽出された手領域について細線化画像を求め、細線化された線の方向ベクトルから手の方向を検出し、検出された手の方向に対して垂直方向に走査することで、ラン長の頻度を求め、頻度最大となるラン長を指の幅の閾値として設定するという構成になっているため、画像にノイズが多い場合には、２値化によって得られる手領域の形状にもノイズが多くなってしまい、その結果、細線化画像のラインも手の形状に沿った方向を向かないことがあり得る。そのような場合において、手の方向を正しく獲得することができず、ラン長に基づく指領域の閾値が正確に得られず、誤った指領域を抽出し得るため、結果として誤認識し得るという問題がある。  
本実施の形態によれば、認識に用いる情報は、エッジの情報、すなわち、画像の空間微分に基づく値であり、画像の輝度値そのものの大きさを用いない構成なので、手の輝度情報に依存せずに認識ができる、すなわち、上記従来技術のような可視画像における光学的な外乱や、赤外線画像における手の温度変化等に基づき手領域の輝度変化が発生する場合でも、指本数を認識することができる。
【００２８】
また、前記指太さ基準値設定手段は、前記指領域抽出手段により計測した前記正のエッジラインと負のエッジラインとの間隔のうち、最大となる間隔を掌の幅の値として設定し、設定した掌の幅の値を基準として、前記指太さ基準値を設定するようになっている。このように正の強度を持つエッジラインと負の強度を持つエッジラインとが隣接しており、かつ、両者の間隔が最大となる距離を掌の幅の値として設定し、掌の幅を基準として正規化することで指の太さ基準値を設定するという構成にすることにより、手領域として手首も含めて広範囲に抽出される場合や、掌に対して指が短い、指本数が少ない、等の場合においても、指太さの基準値は誤設定されることが無いため、結果として安定して指本数の認識ができる。また、それとともに、掌を基準に正規化されているため、手の大きさの個体差や、撮像系と被写体である手との距離の変化に伴う画像中での手の大きさの変化等が生じた場合であっても、指太さの基準値は誤設定されることが無いため、結果として安定して指本数を認識することができる。  
また、前記エッジ基準方向設定手段は、画像撮像装置１により撮像した画像における、複数の方向のエッジ頻度をそれぞれ算出し、算出したそれぞれのエッジ頻度を比較し、最も頻度が高い方向を前記エッジ基準方向とするようになっている。このように走査方向の決定は、取得した画像における、任意の複数の方向についてその方向のエッジ頻度をそれぞれ算出し、算出されたそれぞれのエッジ頻度を比較し、最も頻度が高い方向を手の基準方向とするという構成にすることにより、ノイズが多い画像であってもノイズの影響を受けにくく、安定した認識を行うことができる。  
また、前記エッジライン画像取得手段は、前記エッジ基準方向設定手段によって設定されたエッジ基準方向およびその±４５°の３方向について前記エッジライン画像を作成し、作成した前記エッジライン画像の各エッジ領域の中心付近を滑らかに通るエッジラインを抽出するようになっている。このようにエッジラインの作成方法として、エッジの基準方向およびその±４５°の３方向についてエッジを算出したエッジライン画像を作成し、エッジライン画像における各エッジ領域の中心を滑らかに通るラインを抽出するという構成にすることにより、画像にノイズが多い場合や、画像のコントラストが弱く、輪郭が鮮鋭でない場合、すなわち、エッジライン画像のエッジ領域の形状にノイズが多い場合であっても、安定したエッジラインを抽出することができ、結果として安定した指本数認識ができる。
【００２９】
なお、以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。  
また、特許請求の範囲における各構成要素と、発明の実施の形態における各構成要素との対応について説明すると、実施の形態の画像撮像装置１、図１のＳ１０１が特許請求の範囲の撮像手段に、演算装置２およびＳ１０２がエッジ基準方向設定手段に、演算装置２およびＳ１０３がエッジライン画像取得手段に、演算装置２およびＳ１０４が指太さ基準値設定手段に、演算装置２およびＳ１０５が指領域抽出手段に、演算装置２およびＳ１０６が指領域数カウント手段にそれぞれ対応する。また、Ｓ１０１が撮像工程に、Ｓ１０２がエッジ基準方向設定工程に、Ｓ１０３がエッジライン画像取得工程に、Ｓ１０４が指太さ基準値設定工程に、Ｓ１０５が指領域抽出工程に、Ｓ１０６が指領域数カウント工程にそれぞれ対応する。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施の形態の指本数認識装置および方法の処理フローの概要を示す図である。
【図２】本発明の実施の形態の指本数認識装置の構成を示す図である。
【図３】図１のエッジ基準方向の設定における処理フローを示す図である。
【図４】図１のエッジラインの抽出における処理フローを示す図である。
【図５】本発明の実施の形態のエッジラインの抽出について説明する図である。
【図６】本発明の実施の形態のエッジラインの補正について説明する図である。
【図７】本発明の実施の形態の掌の幅の抽出について説明する図である。
【図８】本発明の実施の形態の指太さ基準値の設定の根拠について説明する図である。
【図９】本発明の実施の形態の指領域の抽出について説明する図である。
【符号の説明】
【００３１】
１…画像撮像装置                    ２…演算装置
３…メモリ                          ４…指本数に基づく処理装置
５０１…被撮像物            ５０２、５０４…正のエッジ領域
５０３、５０５…負のエッジ領域
５０６、５０７、５０８、５０９…エッジ領域
５１０、５１１、５１２、５１３…エッジライン
６０１…エッジ領域          ６０２、６０３…ノード
７０１、８０１、８０２、８０３、８０４、９０１、９０２、９０３…距離
９０４、９０５…指領域
【図１】
2006163662.tif 000003
【図２】
2006163662.tif 000004
【図３】
2006163662.tif 000005
【図４】
2006163662.tif 000006
【図５】
2006163662.tif 000007
【図６】
2006163662.tif 000008
【図７】
2006163662.tif 000009
【図８】
2006163662.tif 000010
【図９】
2006163662.tif 000011