(57)【要約】【課題】位置及び向きの少なくとも一方によって見え方の変化する対象物を精度よく認識する認識装置を提供する。【解決手段】認識装置は、座標設定部２、第１記憶部３、識別部４、判定部５、抽出部６、第２記憶部７を備える。認識装置は、予め対象物の識別結果を用いて基準座標系を設定しておき、それぞれの対象物の識別結果について、対象物の基準座標系での相対的な位置座標から求められる重み係数と対象物の識別結果を表す類似度から重み付き類似度を求め、これを用いて対象物の認識を行う。【選択図】      図１
2009301382.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から認識対象物の候補領域を抽出する抽出部と、
前記認識対象物に対応するテンプレート情報を複数記憶する第１記憶部と、
前記候補領域と前記複数のテンプレート情報の各々とを照合して、前記複数のテンプレート情報の各々に対する前記候補領域の類似度を計算する識別部と、
前記認識対象物について予め定めた識別範囲情報に基づいて、又は、前記識別部の出力と予め定めた識別範囲情報とに基づいて、基準座標系を前記入力画像中に設定する座標設定部と、
前記基準座標系の各位置において、前記テンプレート情報の出現する確率が高いほど高い値となる重み係数を記憶する第２記憶部と、
前記基準座標系内での前記各位置において、前記複数のテンプレート情報の各々に対する前記類似度と前記重み係数とを乗算した重み付き類似度をそれぞれ求め、求めた重み付き類似度に基づいて前記入力画像中の前記認識対象物を判定する判定部と、
を備えることを特徴とする認識装置。
【請求項２】
前記第１記憶部は、前記認識対象物の位置及び向きの少なくとも一方によって前記認識対象物の見え方が異なる場合は、前記異なる見え方に応じた前記テンプレート情報を記憶することを特徴とする請求項１に記載の認識装置。
【請求項３】
前記座標系設定部は、前記基準座標系を、少なくとも前記入力画像中の前記候補領域の位置に基づいて設定することを特徴とする請求項１に記載の認識装置。
【請求項４】
前記認識対象物は、ユーザーの手、足、又は、その他の部位であることを特徴とする請求項１に記載の認識装置。
【請求項５】
前記判定部は、前記基準座標系の前記各位置において、前記重み付け類似度が上位から一定数の前記テンプレート情報に基づいて、前記入力画像中の前記認識対象物を判定することを特徴とする請求項１に記載の認識装置。
【請求項６】
前記入力画像を入力する画像入力部を備えることを特徴とする請求項１乃至請求項５のいずれか１
項に記載の認識装置。
【請求項７】
入力画像から認識対象物の候補領域を抽出する抽出ステップと、
前記認識対象物に対応するテンプレート情報を第１記憶部に複数記憶させる第１記憶ステップと、
前記候補領域と前記複数のテンプレート情報の各々とを照合して、前記複数のテンプレート情報の各々に対する前記候補領域の類似度を識別部に計算させる識別ステップと、
前記認識対象物について予め定めた識別範囲情報に基づいて、又は、前記識別部からの出力と予め定めた識別範囲情報とに基づいて、基準座標系を前記入力画像中に設定する座標設定ステップと、
前記基準座標系の各位置において、前記テンプレート情報の出現する確率が高いほど高い値となる重み係数を第２記憶部に記憶させる第２記憶ステップと、
前記基準座標系内での前記各位置において、前記複数のテンプレート情報の各々に対する前記類似度と前記重み係数とを乗算した重み付き類似度をそれぞれ求め、求めた重み付き類似度に基づいて前記入力画像中の前記認識対象物を判定する判定ステップと、
を有することを特徴とする認識方法。
【請求項８】
入力画像から認識対象物の候補領域を抽出する抽出機能と、
前記認識対象物に対応するテンプレート情報を第１記憶部に複数記憶させる第１記憶機能と、
前記候補領域と前記複数のテンプレート情報の各々とを照合して、前記複数のテンプレート情報の各々に対する前記候補領域の類似度を識別部に計算させる識別機能と、
前記認識対象物について予め定めた識別範囲情報に基づいて、又は、前記識別部からの出力と予め定めた識別範囲情報とに基づいて、基準座標系を前記入力画像中に設定する座標設定機能と、
前記基準座標系の各位置において、前記テンプレート情報の出現する確率が高いほど高い値となる重み係数を第２記憶部に記憶させる第２記憶機能と、
前記基準座標系内での前記各位置において、前記複数のテンプレート情報の各々に対する前記類似度と前記重み係数とを乗算した重み付き類似度をそれぞれ求め、求めた重み付き類似度に基づいて前記入力画像中の前記認識対象物を判定する判定機能と、
をコンピュータに実行させるための認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認識装置及びその方法に関し、特に対象物の動作により非接触で機器を操作することのできる認識装置及びその方法に関する。
【背景技術】
【０００２】
カメラで撮影した画像から、予め教示しておいたユーザーの手形状を認識し、これにより機器を操作することのできる認識装置が提案されている（特許文献１参照）。
【０００３】
特許文献１では、例えば、握りこぶしで親指を立てた手形状と、握りこぶしの手形状の２種類の手形状を対象としたときに、親指を立てた手形状をスイッチオン、握りこぶしの手形状をスイッチオフと登録しておけば、ユーザーが握りこぶしから親指を立てる動作をすることによって、非接触で機器のスイッチを入れる操作ができる。
【特許文献１】特開２００６−３５０４３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、例えば、右手を左に動かした場合は、カメラには手の甲側が写り、右手を右に動かした場合は掌側が写るというように、手の位置及び向きの少なくとも一方によって手の見え方が違う。そのため、教示が必要な手形状の種類が増大し、識別コストがかかるという問題点があった。
【０００５】
また、手の位置及び向きの少なくとも一方によって見え方が大きく変化することは、手の位置及び向きの少なくとも一方の変化によって教示したデータからのずれが大きいということであり、このような手形状を精度よく認識することは困難であるという問題点があった。
【０００６】
そこで、本発明は、上記問題点に鑑み、高精度かつ低コストで手などの対象物を認識することができる認識装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の認識装置は、入力画像から認識対象物の候補領域を抽出する抽出部と、前記認識対象物に対応するテンプレート情報を複数記憶する第１記憶部と、前記候補領域と前記複数のテンプレート情報の各々とを照合して、前記複数のテンプレート情報の各々に対する前記候補領域の類似度を計算する識別部と、前記認識対象物について予め定めた識別範囲情報に基づいて、又は、前記識別部の出力と予め定めた識別範囲情報とに基づいて、基準座標系を前記入力画像中に設定する座標設定部と、前記基準座標系の各位置において、前記テンプレート情報の出現する確率が高いほど高い値となる重み係数を記憶する第２記憶部と、前記基準座標系内での前記各位置において、前記複数のテンプレート情報の各々に対する前記類似度と前記重み係数とを乗算した重み付き類似度をそれぞれ求め、求めた重み付き類似度に基づいて前記入力画像中の前記認識対象物を判定する判定部と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、高精度かつ低コストで手などの対象物を認識することができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態の認識装置について図面に基づいて説明する。
【００１０】
（第１の実施形態）
第１の実施形態では、図２に示すように人差し指をさしたポインティング形状で指さし方向の左右を判別する場合を例示的に説明する。
【００１１】
図１は、第１の実施形態の認識装置の構成を示す図である。図１において、矢印は処理の流れを概略的に示している。図１の構成図に示すように、本実施形態の認識装置は、座標設定部２、第１記憶部３、識別部４、判定部５、抽出部６、第２記憶部７と、を備える。
【００１２】
なお、本実施形態の認識装置の各部の各機能は、コンピュータに記憶又は伝送されたコンピュータ読み取り可能なプログラムによってコンピュータに実行させることが可能である。
【００１３】
画像入力部１は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの撮像素子を有する。画像入力部１は、ユーザーの手などの認識対象物を含む画像を撮影して、抽出部６に出力する。なお、画像入力部１は、本実施形態の認識装置の内部に設けられてもよいし、本実施形態の認識装置の外部に設けられてもよい。
【００１４】
抽出部６は、画像入力部１に接続される。抽出部６は、画像入力部１から入力された画像において、ユーザーの手などの認識対象物の候補となり得る候補領域を様々な位置及びスケールで切り出して、切り出した候補画像を識別部４に出力する。
【００１５】
このときに、例えば、抽出部６は、ユーザーの手の候補領域になる可能性のない青色や緑色などの色をもつ領域を一定比率以上含む領域を識別部４には出力しないなどの処理を行ってもよい。
【００１６】
また、座標設定部２が識別範囲を設定した場合は、識別範囲内だけで候補領域を切り出して識別部４に出力することも可能である。
【００１７】
座標設定部２は、識別部４から出力された、手形状の種別と類似度を用いて、画像内の基準座標系を計算する。この処理の流れを図５のフローチャートに沿って説明する。
【００１８】
ステップＳ５０１では、識別部４は、抽出部６から入力された候補領域と、人差し指が正面を向いた手形状のテンプレート情報との類似度を算出する。
【００１９】
ステップＳ５０２では、識別部４は、ステップＳ５０１で算出した類似度が予め定めた閾値以上であるか否かを判断する。予め定めた閾値以上である場合には（ステップＳ５０２で「Ｙｅｓ」）、ステップＳ５０３に進む。予め定めた閾値未満である場合には（ステップＳ５０２で「Ｎｏ」）、ステップＳ５０４に進む。
【００２０】
ステップＳ５０３では、座標設定部２は、候補領域の中心の位置を基準座標系の原点（基準座標中心）に設定する。また、座標設定部２は、図３に示すように、候補領域のサイズに縦横別の一定数を乗じて縦基準長、横基準長を設定する。この基準長は、手の移動範囲に対応している。
【００２１】
なお、この基準座標系については、直交座標、極座標系、又は、斜交座標系であるか、そして、各軸の向きなどの基本的な体系は、予め決められている。座標設定部２は、その基本的な体系に基づいて、基準座標系の原点（中心）、縦基準長、横基準長を設定する。
【００２２】
ステップＳ５０４では、識別部４は、抽出部６から入力された候補領域と、顔のテンプレート情報との類似度を算出する。この結果、予め定めた閾値以上の類似度が得られれば（ステップＳ５０５で「Ｙｅｓ」）、ステップＳ５０７に進む。予め定めた閾値未満の類似度が得られた場合には（ステップＳ５０５で「Ｎｏ」）、ステップＳ５０６に進む。
【００２３】
ステップＳ５０６では、座標設定部２は、候補領域の中心位置から、候補領域のサイズに予め定め
た一定の数値を乗じただけ移動した座標を基準座標系の原点（基準座標中心）に設定する。また、座標設定部２は、顔のサイズに一定数を乗じて基準長に設定する。
【００２４】
ステップＳ５０７では、座標設定部２は、顔も検出されない場合は（ステップＳ５０５で「Ｎｏ」）、予め定めたデフォルトの位置と長さを基準座標系に設定する。
【００２５】
第１記憶部３は、例えば、特許文献１において示されたテンプレート生成記憶部を用いることができる。すなわち、認識対象物となる複数の手形状や顔領域について、対応するテンプレート情報を生成し記憶しておき、必要に応じて記憶したテンプレート情報を識別部４に出力する。
【００２６】
ここで、手形状のテンプレート情報は、手形状は同一であるが、位置及び向きの少なくとも一方の変化によって撮影した見え方が異なる複数の手形状のテンプレート情報を含む。
【００２７】
なお、テンプレート情報は、手などの画像のそのものの他に、この画像のエッジ情報、二値化した情報であってもよい。
【００２８】
識別部４は、例えば、特許文献１にて示された識別部を用いることができる。識別部４は、抽出部６から入力された候補領域と、第１記憶部３に記憶された手形状や顔領域に対応するテンプレート情報とを、それぞれ照合して類似度を算出する。この計算は、例えばテンプレートマッチングによって行う。
【００２９】
その結果、類似度が閾値より高い場合に、照合したテンプレート情報のＩＤ情報と照合で得られた類似度、候補領域の位置及びサイズ、又は候補領域の左上と右下の座標などの幾何情報を出力する。
【００３０】
識別部４からの出力は、類似度が最高値から上位の一定数の候補領域であってもよいし、類似度が閾値以上の候補領域があれば最高値の候補領域だけを出力し、閾値を超える類似度がない場合には類似度が上位から一定数の候補領域を出力するものであってもよい。
【００３１】
判定部５は、識別部４で識別した手形状の類似度だけでなく、手形状の基準座標系内での位置を用いて、識別結果を判定する。
【００３２】
ユーザーが自然な姿勢で動作を行う場合、例えば掌側を見せたポインティング形状（手形状）は、ユーザーの体の外側で出現する可能性が高く、無理な姿勢を取らない限り体の正面で出現することはない。
【００３３】
基準座標系の各位置に対して、類似度につける重み係数をそれぞれ第２記憶部７から呼び出す。図４は、直交座標系である基準座標系内での横座標に対して類似度につける重み係数を表している。縦軸は、重み係数を示し、横軸は、横座標を示す。外枠の四角形は、基準座標系の縦横の基準長で定めた識別範囲、すなわち、手の識別範囲を表し、識別範囲内に示した曲線が重み係数を表している。基準座標系における各位置において、手形状のテンプレート情報の出現する確率が高いほど、重み係数も高い値となる。図４に示した５本の曲線は曲線の下に示した見え方の異なる手形状Ａ〜Ｅに対応するもので、識別範囲の中央部で重み係数の値が高くなる曲線は、曲線の下にある正面向きの手形状に相当する曲線である。他に、左端の掌側が見えた手形状Ａについては、識別範囲内の左端で重み係数が高く、中央部や右側では低くなっている。
【００３４】
また、これら重み係数は、基準座標系の相対的な位置に対応して第２記憶部７に記憶されており、座標設定部２において、基準座標系の原点、縦基準長、横基準長が設定されて、初めて一義的に重み係数と基準座標系の位置とが関係付けられる。
【００３５】
以下、判定部５の処理を順に説明する。
【００３６】
まず、識別部４から識別結果を入力する。一般に識別結果は複数あり、一つの識別結果は、照合に用いたテンプレート情報のＩＤ情報、類似度、候補領域の中心座標とサイズなど幾何情報で構成される。
【００３７】
次に、それぞれの識別結果について、そのテンプレート情報のＩＤ情報から第２記憶部７に記憶された手形状毎の重み係数テーブルを検索する。
【００３８】
次に、識別結果中の候補領域中心の横座標と重み係数テーブルを検索して重み係数を求め、識別結果の類似度に重み係数を乗算して重み付き類似度を求める。
【００３９】
次に、それぞれの識別結果について重み付け類似度を求めて、重み付け類似度に基づいて結果を出力する。
【００４０】
次に、この出力結果については、外部からの要求に応じて、重み付け類似度が最大の候補、重み付け類似度の上位一定数の候補などを手形状として出力する。
【００４１】
本実施形態によれば、対象にしているポインティング形状は、互いによく似た形状であり、類似度だけで互いに判別するのは困難であるが、判定部５では形状は同一であるが方向が異なるために見え方の違う手形状について、基準座標系内での位置に基づいて、出現する可能性の高い位置では大きく、出現する可能性の低い位置では小さく重み付けすることによって識別精度を向上することができる。
【００４２】
（第２の実施形態）
第２の実施形態では、掌を開いた、ジャンケンの「パー」形の手形状のうち、直立した手形状と、少し伏せた形の２種類の手形状を用いて、例えばテレビのボリュームなど制御対象となる装置のパラメータ値増減をコントロールする場合を例示的に説明する。
【００４３】
図６は、第２の実施形態の認識装置の構成を示す図である。図６において、矢印は処理の流れを概略的に示している。本実施形態の各部について、図１の認識装置の各部と同様の部分は同一符号で示す。本実施形態が、第１の実施形態と異なる点は、ディスプレイ部８を備えることにある。
【００４４】
ディスプレイ部８は、手で行う操作をイメージした画像が表示される。本実施形態では、図７に示すように、ユーザーが上から掌で押さえて左右に動かすことにより回転が可能なダイヤルを示している。
【００４５】
認識装置の処理の流れを順に説明する。
【００４６】
まず、ユーザーはシステムに向かって直立した掌形状を見せる。
【００４７】
次に、座標設定部２は、識別範囲を設けていない状態であり、候補領域識別部６は全画面を対象に候補領域を抽出し識別部４に出力する。
【００４８】
次に、識別部４では、「パー」形状を識別して出力する。
【００４９】
次に、判定部５は、基準座標が設定されていない状態であるので、類似度がデフォルトの閾値より高ければ、「パー」形状の識別結果をディスプレイ部８に出力する。
【００５０】
次に、ディスプレイ部８は、この識別結果を入力し、ＴＶ又はＰＣのモニタなどディスプレイ装置の画面上に図７のダイヤルを表示する。このとき画像入力部１の入力画像を左右反転した画像、又は、ユーザーの手を含む領域を切り出した部分画像を左右反転し、ダイヤルの上にオーバーレイ表示する。また、手の候補領域の位置は、手の候補領域のサイズに一定数を乗じた画素数だけダイヤルの上端より、上に位置するように表示する。
【００５１】
画像をそのままオーバーレイ表示して見にくい場合は、ユーザーの画像にＳｏｂｅｌオペレータなどエッジ抽出処理を施してエッジの強度を明度としたエッジ画像をオーバレイしてもよい。
【００５２】
次に、座標設定部２は、基準座標系を設定していない状態で識別部４から直立した掌形状の手形状Ｆの識別結果を入力すると、例えば、図８に示すようにこの手形状Ｆの位置を基準に識別範囲を設定する。図７のダイヤル表示は、ダイヤルの上部の湾曲面をユーザーが掌で押さえて左右に動かすことを想定している。したがって、識別範囲の設定では、まず直立した手形状Ｆの位置が上端で左右の中心とする。識別した手形状のサイズから、一般的なユーザーの手の大きさと肘から指先までの長さの比を用いて手の中心から肘までの長さを推定し、この値を識別範囲の高さとする、これにより、ユーザーがダイヤルを押さえるために手を伏せた時の手の位置が識別範囲の下端となる。また、識別範囲の幅は、識別範囲高さに予め定めた一定比率を乗じた値とする。
【００５３】
次に、掌形状の類似度が先の閾値以下であれば、識別対象を顔に絞って識別部４で形状を識別する。この結果、予め定めた閾値以上の類似度が得られれば、このときの顔の候補領域の中心位置から、候補領域のサイズに予め定めた一定の数値を乗じただけ移動した座標を基準座標とし、同じく顔のサイズに一定数を乗じて幅と高さを決めた識別範囲を設定する。
【００５４】
次に、第１記憶部３と識別部４は、第１の実施形態と同じ構成であり、抽出部６から入力した候補領域と、第１記憶部３に記憶された手形状や顔領域に対応するテンプレート情報とで、それぞれ照合して類似度を算出する。その結果、類似度が一定閾値より高い場合に、照合したテンプレート情報のＩＤ情報と照合で得られた類似度、候補領域の位置やサイズを出力する。
【００５５】
次に、判定部５は、識別部４で識別した手形状の類似度だけでなく、手形状の基準座標系内での位置を用いて、識別結果を判定する。本実施形態は、ユーザーがダイヤルの上に手を置いて回転させる動作を想定している。
【００５６】
この動作では、例えばユーザーがダイヤルを左から右へ回転させる操作を行う場合、掌をダイヤルの上に置いたときに手を伏せた掌形状の手形状Ｇになり、左から右へと動くジェスチャになる。１回の掌の移動で不足する場合、手を右から左へ戻して再度、上記した左から右への動作を繰り返す。手を戻すときには、ユーザーはダイヤル上に手を置かず、手を上げて戻すので、直立した掌形状の手形状Ｆで右から左への戻し操作を行う。
【００５７】
判定部５についてさらに詳しく説明する。
【００５８】
図９は、判定部５の重み係数を示した図である。
【００５９】
図９は、直立した掌と伏せた掌の２種類の手形状Ｆ、Ｇについての重み係数を表したグラフである。縦軸は、縦座標を示し、横軸は、重み係数を示す。手形状Ｆ、Ｇの重み係数は、識別範囲内の縦座標によって変動する。手形状Ｆの重み係数は、上へ行くほど大きく、下へ行くほど小さくなっている。手形状Ｇの重み係数は、上へ行くほど小さく、下へ行くほど大きくなっている。これらの重み係数は、第２記憶部７に記憶されており、識別判定処理を行うときに判定部５に入力される。
【００６０】
以下、判定部５の処理を順に説明する。
【００６１】
まず、識別部４から識別結果を入力する。一般に識別結果は複数あり、一つの識別結果は、照合に用いたテンプレート情報のＩＤ情報、類似度、候補領域の中心座標とサイズなど幾何情報で構成される。
【００６２】
次に、それぞれの識別結果について、そのテンプレートＩＤ情報から第２記憶部７に記憶された手形状毎の重み係数テーブルを検索する。
【００６３】
次に、識別結果中の候補領域中心の縦座標と重み係数テーブルとを検索して重み係数を求め、識別結果の類似度に重み係数を乗算して重み付き類似度を求める。
【００６４】
次に、それぞれの識別結果について重み付け類似度を求めて、重み付け類似度が最大の候補を出力する。ユーザーの手がダイヤルに近い場所にある場合に手を伏せた手形状Ｇの重みが高く、ダイヤルの上方向の離れた位置にある場合は直立した掌の手形状Ｆの重みが高い。そのため、手の位置及び向きの少なくとも一方が変わっただけで、見え方の近い手形状についても、位置情報を用いることにより、精度よく識別することができる。
【００６５】
次に、この結果を用いて、手を伏せた手形状Ｇでの動き情報を使ってＴＶのボリュームなど対象機器のパラメータを制御することにより、ユーザーの自然な動作により機器の操作を行うことができる。
【００６６】
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【００６７】
上記各実施形態では、手形状を認識させたが、これに限らず足形状やユーザーの身体の他の部位の形状を認識させてもよい。
【図面の簡単な説明】
【００６８】
【図１】第１の実施形態の認識装置の構成を示す図である。
【図２】ポインティング形状の例を示す図である。
【図３】基準座標系を示す図である。
【図４】基準座標系における重み係数を示す図である。
【図５】座標設定部の処理フローチャートである。
【図６】第２の実施形態の認識装置の構成を示す図である。
【図７】ディスプレイ部で表示するダイヤルの図である。
【図８】第２の実施形態の基準座標系を示す図である。
【図９】第２の実施形態の判定部の重み係数を示す図である。
【符号の説明】
【００６９】
１    画像入力部
２    座標設定部
３    第１記憶部
４    識別部
５    判定部
６    抽出部
７    第２記憶部
【図１】
2009301382.tif 000003
【図２】
2009301382.tif 000004
【図３】
2009301382.tif 000005
【図４】
2009301382.tif 000006
【図５】
2009301382.tif 000007
【図６】
2009301382.tif 000008
【図７】
2009301382.tif 000009
【図８】
2009301382.tif 000010
【図９】
2009301382.tif 000011