(57)【要約】【課題】ステレオカメラを用いた画像認識において、手領域、指領域の距離検出能力に優れた画像認識装置を提供する。【解決手段】手指を含む対象物をステレオ撮像し、ステレオマッチング法により第１ブロックサイズで視差画像を生成する視差画像生成部２０と、視差画像を使って、手指の領域を抽出する手指領域抽出部３０と、手指領域に対応して第１ブロックサイズと異なるサイズに変更されたブロックサイズで手指領域についてステレオマッチング法により手指領域視差画像を生成し、手指領域視差画像に基づいて手指の距離情報を算出する手指距離算出部４０と、を有して画像認識装置を構成する。【選択図】図１１
2018132952.tif 000002
【特許請求の範囲】
【請求項１】
手指を含む対象物をステレオ撮像し、ステレオマッチング法により第１ブロックサイズで視差画像を生成する視差画像生成部と、
前記視差画像を使って、手指領域を抽出する手指領域抽出部と、
前記手指領域に対応して前記第１ブロックサイズと異なるサイズに変更されたブロックサイズで前記手指領域についてステレオマッチング法により手指領域視差画像を生成し、前記手指領域視差画像に基づいて前記手指の距離情報を算出する手指距離算出部と、
を有することを特徴とする画像認識装置。
【請求項２】
前記手指距離算出部は、前記手指領域抽出部により抽出された手領域に対応する第２ブロックサイズを前記変更されたブロックサイズとして前記手領域についてステレオマッチング法により手領域視差画像を生成し、前記手領域視差画像に基づいて手の距離情報を算出することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記第１ブロックサイズは初期設定のブロックサイズであり、前記第２ブロックサイズは前記手領域を覆うブロックサイズに設定されることを特徴とする請求項２に記載の画像認識装置。
【請求項４】
前記第２ブロックサイズは、前記手領域における掌半径×２＋１、に設定されることを特徴とする請求項３に記載の画像認識装置。
【請求項５】
前記手指距離算出部は、前記手指領域抽出部により抽出された指領域に対応する第３ブロックサイズを前記変更されたブロックサイズとして前記指領域についてステレオマッチング法により指領域視差画像を生成し、前記指領域視差画像に基づいて指の距離情報を算出することを特徴とする請求項１から４のいずれか１項に記載の画像認識装置。
【請求項６】
前記第１ブロックサイズは初期設定のブロックサイズであり、前記第３ブロックサイズは前記指領域を覆うブロックサイズに設定されることを特徴とする請求項５に記載の画像認識装置。
【請求項７】
前記第３ブロックサイズは、前記指領域における掌半径×０．８（偶数の場合は、＋１にして奇数にする）、に設定されることを特徴とする請求項６に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関し、特に、ステレオカメラを用いた画像認識装置に関する。
【背景技術】
【０００２】
従来の技術として、ステレオ画像における物体の視差を算出する画像認識装置が知られている（例えば、特許文献１参照）。
【０００３】
この画像認識装置は、左カメラ及び右カメラで撮像した左・右画像を左画像メモリ及び右画像メモリに格納し、左画像ブロック設定部及び右画像ブロック設定部が、ここからブロックマッチングを行う最大サイズの画像データ（画像処理ブロック）を取り込む。また、左画像ブロックマスク部及び右画像ブロックマスク部が、画像処理ブロックをマスクして有効画像領域を規定し、マッチング処理部が、左右の有効画像領域の類似性を評価することにより視差を算出する。この画像認識装置において、ブロックマッチングにおけるブロックサイズを変更する等により、物体の視差を算出する場合の処理負荷を低減している。
【０００４】
また、カメラによる撮像画像を２値化処理し、この画像から掌の中心位置、指先位置等を検出する画像認識装置が知られている（例えば、特許文献２参照）。
【０００５】
この画像認識装置は、２値化処理及び孤立点除去後の画像に対して、手領域内部の点から輪郭までの最短距離を算出し、この最短距離が最大となる位置を検出し、この位置を掌の中心位置と認定する。また、掌サイズ検出部は、中心位置から輪郭までの最短距離により距離変換値を算出して、これにより掌の大きさを認定する。また、指先位置検出部は、極大値を取る方向における輪郭線上の位置を指先位置として、指先位置の座標を得る。このような手法により、掌の中心位置、指先位置等を求めることができるとされている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−８９４９８号公報
【特許文献２】国際公開第２０１５/０３７２７３号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献２の画像認識装置で示した方法により手領域、指領域を抽出し、この領域に対して、特許文献１の画像認識装置に示すような方法により物体の視差を算出する場合において、適切なテクスチャが得られずに、精度よく手領域、指領域の距離を算出できない場合があるという問題があった。
【０００８】
したがって、本発明の目的は、ステレオカメラを用いた画像認識において、手領域、指領域の距離検出能力に優れた画像認識装置を提供することにある。
【課題を解決するための手段】
【０００９】
［１］上記目的を達成するため、手指を含む対象物をステレオ撮像し、ステレオマッチング法により第１ブロックサイズで視差画像を生成する視差画像生成部と、前記視差画像を使って、手指領域を抽出する手指領域抽出部と、前記手指領域に対応して前記第１ブロックサイズと異なるサイズに変更されたブロックサイズで前記手指領域についてステレオマッチング法により手指領域視差画像を生成し、前記手指領域視差画像に基づいて前記手指の距離情報を算出する手指距離算出部と、を有することを特徴とする画像認識装置を提供する。
【００１０】
［２］また、前記手指距離算出部は、前記手指領域抽出部により抽出された手領域に対応する第２ブロックサイズを前記変更されたブロックサイズとして前記手領域についてステレオマッチング法により手領域視差画像を生成し、前記手領域視差画像に基づいて手の距離情報を算出することを特徴とする上記［１］に記載の画像認識装置であってもよい。
【００１１】
［３］また、前記第１ブロックサイズは初期設定のブロックサイズであり、前記第２ブロックサイズは前記手領域を覆うブロックサイズに設定されることを特徴とする上記［２］に記載の画像認識装置であってもよい。
【００１２】
［４］また、前記第２ブロックサイズは、前記手領域における掌半径×２＋１、に設定されることを特徴とする上記［３］に記載の画像認識装置であってもよい。
【００１３】
［５］また、前記手指距離算出部は、前記手指領域抽出部により抽出された指領域に対応する第３ブロックサイズを前記変更されたブロックサイズとして前記指領域についてステレオマッチング法により指領域視差画像を生成し、前記指領域視差画像に基づいて指の距離情報を算出することを特徴とする上記［１］から［４］のいずれか１に記載の画像認識装置であってもよい。
【００１４】
［６］また、前記第１ブロックサイズは初期設定のブロックサイズであり、前記第３ブロックサイズは前記指領域を覆うブロックサイズに設定されることを特徴とする上記［５］に記載の画像認識装置であってもよい。
【００１５】
［７］また、前記第３ブロックサイズは、前記指領域における掌半径×０．８（偶数の場合は、＋１にして奇数にする）、に設定されることを特徴とする上記［６］に記載の画像認識装置であってもよい。
【発明の効果】
【００１６】
本発明の画像認識装置によれば、ステレオカメラを用いた画像認識において、手領域、指領域の距離検出能力に優れた画像認識装置を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。
【図２】図２（ａ）は、左カメラ画像（輝度画像）であり、図２（ｂ）は、右カメラ画像（輝度画像）である。
【図３】図３は、視差画像生成部により生成された視差画像を示す。
【図４】図４は、第１手指領域候補を抽出した結果である。
【図５】図５は、エッジ抽出画像である。
【図６】図６は、第２手指領域候補を抽出した結果である。
【図７】図７は、第１手指領域候補と第２手指領域候補の論理積の結果に基づいて最も手指らしい領域を手指領域として抽出した結果である。
【図８】図８（ａ）は、撮像された手の輝度画像の一例であり、図８（ｂ）は、この手の画像情報から２値化処理により得られた２値画像であり、図８（ｃ）は、２値画像から得られた距離変換画像である。
【図９】図９（ａ）は、指先候補を抽出するためのトレースをトレース開始点（基準点）から開始することを説明する２値画像図であり、図９（ｂ）は、横軸をトレース位置、縦軸を輪郭と掌中心との距離とした図、図９（ｃ）は、抽出した指先を×（指先）で図示した２値画像図である。
【図１０】図１０（ａ）は、掌位置検出結果を示し、図１０（ｂ）は、指先位置検出結果を示す。
【図１１】図１１（ａ）は、左カメラ画像から検出した掌、指先位置を示し、図１１（ｂ）は、右カメラ画像から検出した掌、指先位置を示す。
【図１２】図１２（ａ）は、比較例であって、初期設定のブロックサイズ（第１ブロックサイズ）でブロックマッチングした場合の左カメラ画像から検出した掌、指先位置を示し、図１２（ｂ）は、同様にして右カメラ画像から検出した掌、指先位置を示す。
【発明を実施するための形態】
【００１８】
（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、手指を含む対象物をステレオ撮像し、ステレオマッチング法により第１ブロックサイズで視差画像を生成する視差画像生成部２０と、視差画像を使って、手指の領域を抽出する手指領域抽出部３０と、手指領域に対応して第１ブロックサイズと異なるサイズに変更されたブロックサイズで手指領域についてステレオマッチング法により手指領域視差画像を生成し、手指領域視差画像に基づいて手指の距離情報を算出する手指距離算出部４０と、を有して構成されている。
【００１９】
図１は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。図１に示すように、画像認識装置１は、撮像手段としてステレオカメラ１００を備えている。ステレオカメラ１００は、右カメラ１１０、左カメラ１２０で構成され、手指２００を含む対象物をステレオ撮像するものである。右カメラ１１０、左カメラ１２０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。
【００２０】
右カメラ１１０、左カメラ１２０は、所定の周期Ｔでほぼ同一対象を撮像して、右フレーム画像ＳＲ、左フレーム画像ＳＬを画像処理部５へ出力する。この右フレーム画像ＳＲ、左フレーム画像ＳＬは、右カメラ１１０と左カメラ１２０の配置間隔を視差として有する、輝度画像である。
【００２１】
（画像処理部５）
画像処理部５は、輝度画像生成部１０、視差画像生成部２０、手指領域抽出部３０、手指距離算出部４０等から概略構成されている。画像処理部５は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、画像処理部５が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また画像処理部５は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００２２】
（輝度画像生成部１０）
輝度画像生成部１０は、ステレオカメラ１００から入力された右フレーム画像ＳＲ、左フレーム画像ＳＬに対して、画像処理を行なう前処理として補正等を行ない、後の画像処理の元画像となる輝度画像を生成するものである。補正等には、例えば、各カメラの歪補正、右カメラ１１０と左カメラ１２０同士の光軸ずれ補正等である。回転、平行移動、スケール調整等はアフィン変換により行なうことができる。これらの補正、キャリブレーションにより、ブロックマッチングを行なう前提となる、右フレーム画像ＳＲと左フレーム画像ＳＬの水平線が一致した輝度画像（元画像）が生成される。
【００２３】
（視差画像生成部２０）
視差画像生成は、ステレオマッチング手法(左右カメラでの対応点を探索し視差を算出)として、ブロックマッチングにより行なう。なお、その他の手法として、ダイナミックプログラミング、セミグローバルブロックマッチング、グラフカット等を用いることができる。
【００２４】
図２（ａ）は、左カメラ画像（左フレーム画像ＳＬの輝度画像）であり、図２（ｂ）は、右カメラ画像（右フレーム画像ＳＲの輝度画像）である。ブロックマッチングは、例えば、左カメラ画像を基準画像とし、右カメラ画像を比較画像とする。基準画像のある１つの点の周囲にブロックを設定し、比較画像内のある点の周囲に同じ大きさのブロックを設定して対応点を探索する対応点探索法により行なうことができる。
【００２５】
この対応探索法では、比較画像上で、初期設定のブロックサイズである第１ブロックサイズのブロックをずらしながら互いのブロックの相関演算を行い、評価関数が最も大きいブロックの座標のずれ（視差）が算出される。初期設定のブロックサイズである第１ブロックサイズは、例えば、１５×１５画素である。このずれ量は、画像座標系の対応する位置の輝度値に置き換えられ、画像形態の距離画像として保存される。そして、この距離画像が有する距離情報を用いて、実空間での距離を得ると共に、ジェスチャー判定等の各種認識処理を行なうことができる。評価関数(マッチングさせるための類似度を評価)は、ＳＡＤ、ＳＳＤ、ＮＣＣ、ＺＮＣＣ等を用いることができる。
【００２６】
図３は、上記の手法を用いた視差画像生成部２０により生成された視差画像を示す。ブロックマッチング＋ＳＡＤ(Sum of Absolute Difference)を用いることで、処理時間を優先させることができる。ただし、図３に示すように、手の輪郭が膨張、変形している。また、この視差画像には、手指のほかに、身体の一部、また、蛍光灯（背景）が一緒に映りこんでいる。
【００２７】
（手指領域抽出部３０）
手指領域抽出部３０は、視差画像生成部２０で生成された視差画像を使って、手領域を抽出し、または、指領域を抽出する。
【００２８】
（手指領域の抽出）
手指領域の抽出は、視差画像に基づいて、連結領域に分割する。領域分割は例えば、隣接する画素との距離差が一定の闇値以下である時にその画素同士が連結領域であると判定することで実現できる。この連結領域に分割することで、前景と背景を分離することができる。
【００２９】
（第１手指領域候補の抽出）
分割した各領域の面積と、領域内の距離の平均値を算出する。距離(の平均値)が一定以内の領域の中から、面積が一定以上の領域を抽出し、距離画像から得られた手指領域候補とする。図４は、第１手指領域候補抽出部により第１手指領域候補を抽出した結果である。この例では、２つの領域（領域１と領域２）が抽出された。背景の蛍光灯とは分離できているが、手形状は背景が連結して正確には抽出できていないことがわかる。
【００３０】
（第２手指領域候補の抽出）
図５は、エッジ抽出画像である。図２（ａ）、（ｂ）で示した左カメラ画像、右カメラ画像の一方の画像（輝度画像）からエッジ部分の輝度画像を生成したものである。輝度画像生成は、対象物をステレオ撮像した少なくとも一方の画像に基づいてエッジ部分の輝度画像を生成するものである。本実施の形態では、輝度画像(左カメラ画像)からエッジ抽出を行う。エッジ抽出手法としては、ｓｏｂｅｌ、ｃａｎｎｙ、ｌａｐｌａｃｉａｎ等、種々のフィルタを用いることができる。
【００３１】
第２手指領域候補の抽出は、エッジ抽出された輝度画像に基づいて手指の手指領域候補を第２手指領域候補として抽出する。エッジ部分の輝度値の平均値を算出し、２値化閾値とする。そして、この２値化閾値を用いて輝度画像を２値化し、この輝度画像から得られた画像を第２手指領域候補とする。
【００３２】
図６は、第２手指領域候補を抽出した結果である。この抽出した結果から、手形状は輪郭に沿って抽出できているが、背景の蛍光灯の一部が連結していることがわかる。
【００３３】
（手指領域の抽出）
手指領域の抽出は、第１手指領域候補と第２手指領域候補に基づいて、手指領域を抽出する。手指領域の抽出は、視差画像から得られた第１手指領域候補と、輝度画像から得られた第２手指領域候補の論理積（ＡＮＤ）を取り、手指領域を抽出する。
【００３４】
ここで、最も手指らしい領域を手指領域として抽出する。例えば、手指らしさの判定として、最も上方にある領域とする方法、面積が最も大きい領域とする方法、形状の複雑度（＝周囲長の２乗／面積）が最も大きい領域とする方法、等が考えられる。
【００３５】
図７は、第１手指領域候補と第２手指領域候補の論理積の結果であり、最も手指らしい領域を手指領域として抽出した結果である。図７から、視差画像と輝度画像のそれぞれの長所を生かし、手形状に沿った手指領域抽出ができている。すなわち、図４で示した領域１と領域２を有する第１手指領域候補と、図６で示した背景の蛍光灯の一部が手指領域に連結している第２手指領域候補の論理積の結果から、最も手指らしい手指領域が抽出できていることがわかる。
【００３６】
（手領域の抽出）
図８（ａ）は、撮像された手の輝度画像の一例であり、図８（ｂ）は、この手の画像情報から２値化処理により得られた２値画像であり、図８（ｃ）は、２値画像から得られた距離変換画像である。
【００３７】
手領域の抽出は、図８（ａ）の輝度画像から、２値化処理により、図８（ｂ）に示すような手の手領域を検出する。手領域の抽出は、図８（ｃ）に示すような距離変換画像２５０から、手領域を抽出する。手領域は、掌の中心位置Ｃと大きさ（半径値）Ｒとして抽出される。
【００３８】
ここで、図８（ｃ）に示す距離変換画像２５０は、２値画像上の領域内画素の画素値を領域輪郭との最短距離値に置き換えた画像として生成される。距離変換画像２５０は、図８（ｃ）において距離変換値が大きいほど白くなるように表示している。図８（ｃ）において、掌の中心位置Ｃは、最大距離変換値をもつ画素として検出することができる。また、図８（ｂ）において、この中心位置Ｃから領域輪郭までの最小値を掌の半径Ｒとして検出することができる。
【００３９】
（指領域の抽出）
図９（ａ）は、指先候補を抽出するためのトレースをトレース開始点（基準点Ｃ）から開始することを説明する２値画像図であり、図９（ｂ）は、横軸をトレース位置、縦軸を輪郭と掌中心との距離とした図、図９（ｃ）は、抽出した指先を×（指先）で図示した２値画像図である。
【００４０】
基準点を、中心検出で求めた図８（ａ）で示す点Ｃとする。手領域の輪郭となる全ての画素と掌中心である基準点（点Ｃ）との距離を算出し、距離が極大値となる画素を指先として抽出する。
【００４１】
図９（ａ）に示すように、トレース開始／終了点を時計周りに輪郭に沿って、輪郭画素と基準点（点Ｃ）との距離を算出する。その結果は、横軸をトレース位置、縦軸を輪郭と基準点（点Ｃ）との距離、とした図９（ｂ）で示すような図となる。図９（ａ）に示すように手指の形が明確である場合は、図９（ｂ）で示すように、各指先の位置を抽出できる。また、基準点（点Ｃ）から各指先の位置までの距離により、中指、親指を判断することが可能である。
【００４２】
図９（ｃ）は、図９（ｂ）の極大値から抽出した指先位置をそれぞれ輪郭上の×印で図示した２値画像図である。この２値画像図から、親指、人差し指、中指、薬指、小指を検出していることがわかる。
【００４３】
図１０（ａ）は、掌位置検出結果を示し、図１０（ｂ）は、指先位置検出結果を示す。掌位置は、図１０（ａ）に示すように、掌の中心位置Ｃと大きさ（半径値）Ｒとして検出されている。また、指先位置は、図１０（ｂ）に示すように、中指Ｐ１、薬指Ｐ２、人差し指Ｐ３、小指Ｐ４、親指Ｐ５の各指先位置が検出されている。
【００４４】
（手指距離算出部４０）
手指距離算出部４０は、手指領域に対応して第１ブロックサイズと異なるサイズに変更されたブロックサイズで手指領域についてステレオマッチング法により手指領域視差画像を生成し、この手指領域視差画像に基づいて手指の距離情報を算出する。手（掌）領域においては、手指距離算出部４０は、手領域に対応して第１ブロックサイズと異なるサイズに変更されたブロックサイズで手領域についてステレオマッチング法により手領域視差画像を生成し、手領域視差画像に基づいて手領域の距離情報を算出する、また、指領域においては、指領域に対応して第１ブロックサイズと異なるサイズに変更されたブロックサイズで指領域についてステレオマッチング法により指領域視差画像を生成し、指領域視差画像に基づいて指領域の距離情報を算出する。
【００４５】
手指領域視差画像の生成は、視差画像生成部２０と同様のステレオマッチング法（ブロックマッチング）であるが、手指領域抽出部３０で抽出された手領域又は指領域に対応して、その領域だけをピンポイントでステレオマッチング法（ブロックマッチング）により行なうものである。これにより、必要な掌または指領域について、以下に示す所定のブロックサイズにより生成された手指領域視差画像によって距離情報を算出することができる。
【００４６】
視差画像生成部２０でのステレオマッチング法は、第１ブロックサイズとして初期設定のブロックサイズでブロックマッチングを行なった。これに対して、手指距離算出部４０による手領域の抽出では、第１ブロックサイズと異なる所定のブロックサイズとして、手領域を覆う第２ブロックサイズに設定される。また、手指距離算出部４０による指領域の抽出では、第１ブロックサイズと異なる所定のブロックサイズとして、指領域を覆う第３ブロックサイズに設定される。
【００４７】
（手の距離情報算出）
手の距離情報算出では、図２（ａ）、（ｂ）で示した元画像（左、右カメラ画像（輝度画像））上で、対象となる点、すなわち、距離情報を算出したい掌のみを点探索する。
【００４８】
手の距離が近い場合、掌が明るくなりテクスチャ(明暗の差)が無くなるため、初期設定のブロックサイズ（ここでは１５×１５）では掌位置の対応点を特定することができない場合がある。そのため、掌の対応点探索時の第２ブロックサイズは、テクスチャが確実に含まれるよう手領域である掌全体を覆うように変更する。例えばここでは、第２ブロックサイズ辺＝掌半径Ｒ×２＋１、とする。
【００４９】
手（掌）の距離情報算出に合わせてブロックサイズを第２ブロックサイズに変更した時の対応点探索結果を図１１に示す。図１１（ａ）は、左カメラ画像から検出した掌、指先位置を示し、図１１（ｂ）は、右カメラ画像から検出した掌、指先位置を示す。図１１（ａ）、図１１（ｂ）からわかるように、第２ブロックサイズに変更したことにより、掌のテクスチャが確実に含まれるので、正確な掌の探索が行われていることがわかる。
【００５０】
上記示したように、手指領域抽出部３０で抽出された手（掌）の位置において、図２（ａ）、（ｂ）で示す元画像上で、輝度画像から視差画像を生成することにより、手（掌）の距離情報を算出することができる。
【００５１】
視差画像生成部２０で示した視差画像の生成と同様の方法により、手指領域抽出部３０で抽出された手（掌）の位置において、元画像（輝度画像）から手領域視差画像を生成する。距離＝カメラの焦点距離×カメラ間距離／視差、であるので、手領域視差画像から距離画像に変換することができる。これにより、手（掌）の距離情報を算出することができる。
【００５２】
（指の距離情報算出）
指の距離情報算出では、図２（ａ）、（ｂ）で示した元画像（左、右カメラ画像（輝度画像））上で、対象となる点、すなわち、距離情報を算出したい指のみを点探索する。
【００５３】
指先は以下のような要因により、初期設定のブロックサイズ（ここでは１５×１５）では対応付けが困難となる場合がある。（１）各指先で類似した特徴を持つため、同じ高さに複数の指先が存在すると、対応点が特定できない。（２）掌と異なり背景と隣接しているため、左右のカメラから同じ指先を見たときの背景が異なりやすい。この場合、同じ指先でも特徴に差が生じてしまい、対応付けが困難となる。そのため、背景の見え方の違いによる影響を小さくしつつ、各指先に特徴差が現れるように、指先の太さよりもある程度大きいブロックサイズを用いるように変更する。例えば、ここでは指の第一関節が入る程度の大きさとして、第３ブロックサイズ辺＝掌半径Ｒ×０．８(偶数の場合、＋１して奇数にする)に設定する。
【００５４】
指の距離情報算出に合わせてブロックサイズを第３ブロックサイズに変更した時の対応点探索結果を図１１に示す。図１１（ａ）は、左カメラ画像から検出した掌、指先位置を示し、図１１（ｂ）は、右カメラ画像から検出した掌、指先位置を示す。図１１（ａ）、図１１（ｂ）からわかるように、第３ブロックサイズに変更したことにより、指のテクスチャが確実に含まれ、背景の見え方の違いによる影響を低減できるので、正確な指の探索が行われていることがわかる。
【００５５】
上記示したように、手指領域抽出部３０で抽出された指の位置において、図２（ａ）、（ｂ）で示す元画像上で、輝度画像から指領域視差画像を生成することにより、探索する指の距離情報を算出することができる。
【００５６】
視差画像生成部２０で示した視差画像の生成と同様の方法により、手指領域抽出部３０で抽出された指の位置において、元画像（輝度画像）から指領域視差画像を生成する。距離＝カメラの焦点距離×カメラ間距離／視差、であるので、指領域視差画像から距離画像に変換することができる。これにより、探索する手（掌）の距離情報を算出することができる。
【００５７】
（比較例）
図１２（ａ）は、比較例であって、初期設定のブロックサイズ（第１ブロックサイズ）でブロックマッチングした場合の左カメラ画像から検出した掌、指先位置を示し、図１２（ｂ）は、同様にして右カメラ画像から検出した掌、指先位置を示す。
【００５８】
手の距離情報算出では、図１２（ａ）に示すように、左カメラ画像から検出した掌、指先位置は対応点探索ができている。しかし、図１２（ｂ）に示すように、右カメラ画像から検出した掌は、初期設定のブロックサイズ（第１ブロックサイズ）ではブロックサイズが小さくテクスチャが無いため、掌を誤対応して検出している。また、右カメラ画像から検出した指では、背景の蛍光灯の影響により薬指に対応付けできず、類似した特徴を持つ人差し指に誤対応して検出している。
【００５９】
このように、初期設定のブロックサイズ（第１ブロックサイズ）でブロックマッチングした場合には、掌、指先位置の検出において誤対応が発生する場合がある。この掌、指先位置の対応点探索において誤対応が発生すると、これに基づく距離情報の算出精度が大きく低下する。
【００６０】
（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本実施の形態に係る画像認識装置１は、手指を含む対象物をステレオ撮像し、ステレオマッチング法により第１ブロックサイズで視差画像を生成する視差画像生成部２０と、視差画像を使って、手指の領域を抽出する手指領域抽出部３０と、手指領域に対応して第１ブロックサイズと異なるサイズに変更されたブロックサイズで手指領域についてステレオマッチング法により手指領域視差画像を生成し、手指領域視差画像に基づいて手指の距離情報を算出する手指距離算出部４０と、を有して構成されている。手指距離の算出において、ステレオマッチング法によるブロックサイズを初期設定の第１ブロックサイズと異なるサイズに変更してブロックマッチングを行なうので、必要な掌または指領域について探索精度が向上する。これにより、ステレオカメラを用いた画像認識において、手領域、指領域の距離検出能力に優れた画像認識装置を提供することができる。
（２）手の距離情報算出では、掌の対応点探索時の第２ブロックサイズは、テクスチャが確実に含まれるよう手領域である掌全体を覆うように変更する。これにより、掌のテクスチャが確実に含まれるので、正確な掌の探索が可能となり、正確に手（掌）の距離情報を算出することができる。
（３）指の距離情報算出では、指の対応点探索時の第３ブロックサイズは、背景の見え方の違いによる影響を小さくしつつ、各指先に特徴差が現れるように、指先の太さよりもある程度大きいブロックサイズを用いるように変更する。これにより、指のテクスチャが確実に含まれ、背景の見え方の違いによる影響を低減できるので、正確な指の探索が可能となり、正確に各指の距離情報を算出することができる。
【００６１】
以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６２】
１…画像認識装置、５…画像処理部、１０…輝度画像生成部、２０…視差画像生成部、３０…手領域候補抽出部、４０…手指距離算出部、１００…ステレオカメラ、１１０…右カメラ、１２０…左カメラ、２００…手指、２５０…距離変換画像、ＳＬ…左フレーム画像、ＳＲ…右フレーム画像
【図１】
2018132952.tif 000003
【図２】
2018132952.tif 000004
【図３】
2018132952.tif 000005
【図４】
2018132952.tif 000006
【図５】
2018132952.tif 000007
【図６】
2018132952.tif 000008
【図７】
2018132952.tif 000009
【図８】
2018132952.tif 000010
【図９】
2018132952.tif 000011
【図１０】
2018132952.tif 000012
【図１１】
2018132952.tif 000013
【図１２】
2018132952.tif 000014