(57)【要約】【課題】ステレオカメラを用いた画像認識において、手領域抽出処理の異常検知が可能な画像認識装置を提供する。【解決手段】手指２００を含む対象物をステレオカメラ１００により撮像した画像に基づいて手領域を抽出し、手領域の大きさ及び対象物までの距離を検出する画像検出部５と、記手領域の大きさ及び対象物までの距離により算出された評価値に基づいて、手領域の抽出が正常にできているかどうかの判定を行なう異常検知部７と、を有し、異常検知部７は、評価値が所定の閾値以下のときに、手領域の抽出が異常であると判定するように画像認識装置を構成する。【選択図】図１０
2018180779.tif 000002
【特許請求の範囲】
【請求項１】
手指を含む対象物をステレオカメラにより撮像した画像に基づいて手領域を抽出し、前記手領域の大きさ及び前記対象物までの距離を検出する画像検出部と、
前記手領域の大きさ及び前記対象物までの距離により算出された評価値に基づいて、前記手領域の抽出が正常にできているかどうかの判定を行なう異常検知部と、を有し、
前記異常検知部は、前記評価値が所定の閾値以下のときに、前記手領域の抽出が異常であると判定することを特徴とする画像認識装置。
【請求項２】
前記評価値は、前記手領域の大きさと前記対象物までの距離の積により算出されることを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記閾値は、前記対象物までの距離が近すぎる場合に前記手領域の抽出が異常であると判定する値に設定されていることを特徴とする請求項１又は２に記載の画像認識装置。
【請求項４】
前記画像検出部は、ステレオ撮像の際に前記対象物を前記ステレオカメラ側から照明する照明部を有することを特徴とする請求項１又は２に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関し、特に、ステレオカメラを用いた画像認識装置における手領域抽出処理の異常検知手段を備えた画像認識装置に関する。
【背景技術】
【０００２】
従来の技術として、カメラによる撮像画像を２値化処理し、この画像から手の平を検出する画像認識装置が知られている（例えば、特許文献１参照）。
【０００３】
この画像認識装置は、２値化処理及び孤立点除去後の画像に対して、手領域内部の点から輪郭までの最短距離を算出し、この最短距離が最大となる位置を検出し、この位置を手の平の中心位置と認定する。また、手の平サイズ検出部は、中心位置から輪郭までの最短距離により距離変換値を算出して、これにより手の平の大きさを認定する。手の平サイズ検出部で得られた手の平半径を示す情報等は、手特徴情報として蓄積部に蓄積され、動作判断部により例えばジェスチャ判断に利用される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１５／０３７２７３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の画像認識装置で示した手領域の抽出においては、手がカメラに近づくほど手の照度が高くなり、テクスチャが失われることから距離情報を算出できなくなる。そのため、手と背景の境界付近の輝度の変化が激しい領域のみ抽出されることとなり、誤認識となる問題があった。
【０００６】
したがって、本発明の目的は、ステレオカメラを用いた画像認識において、手領域抽出処理の異常検知が可能な画像認識装置を提供することにある。
【課題を解決するための手段】
【０００７】
［１］上記目的を達成するため、手指を含む対象物をステレオカメラにより撮像した画像に基づいて手領域を抽出し、前記手領域の大きさ及び前記対象物までの距離を検出する画像検出部と、前記手領域の大きさ及び前記対象物までの距離により算出された評価値に基づいて、前記手領域の抽出が正常にできているかどうかの判定を行なう異常検知部と、を有し、前記異常検知部は、前記評価値が所定の閾値以下のときに、前記手領域の抽出が異常であると判定することを特徴とする画像認識装置を提供する。
【０００８】
［２］前記評価値は、前記手領域の大きさと前記対象物までの距離の積により算出されることを特徴とする上記［１］に記載の画像認識装置であってもよい。
【０００９】
［３］また、前記閾値は、前記対象物までの距離が近すぎる場合に前記手領域の抽出が異常であると判定する値に設定されていることを特徴とする上記［１］又は［２］に記載の画像認識装置であってもよい。
【００１０】
［４］また、前記画像検出部は、ステレオ撮像の際に前記対象物を前記ステレオカメラ側から照明する照明部を有することを特徴とする上記［１］から［３］までのいずれか１に記載の画像認識装置であってもよい。
【発明の効果】
【００１１】
本発明の画像認識装置によれば、ステレオカメラを用いた画像認識において、手領域抽出処理の異常検知が可能な画像認識装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。
【図２】図２（ａ）は、左カメラ画像であり、図２（ｂ）は、右カメラ画像である。
【図３】図３は、視差画像生成部により生成された視差画像を示す。
【図４】図４は、第１手領域候補抽出部により第１手領域候補を抽出した結果である。
【図５】図５（ａ）は、輝度画像（左カメラ画像）であり、図５（ｂ）は、エッジ抽出画像である。
【図６】図６は、第２手領域候補抽出部により第２手領域候補を抽出した結果である。
【図７】図７（ａ）は、第１手領域候補と第２手領域候補の論理積の結果であり、図７（ｂ）は、図７（ａ）の結果に基づいて最も手らしい領域を手領域として抽出した結果である。
【図８Ａ】図８Ａは、本発明の実施の形態に係る画像認識装置の手領域抽出の処理手順の一例である。
【図８Ｂ】図８Ｂは、本発明の実施の形態に係る画像認識装置の異常判定の処理手順の一例である。
【図９】図９（ａ）は、撮像された手の輝度画像の一例であり、図９（ｂ）は、この手の画像情報から２値化処理により得られた２値画像であり、図９（ｃ）は、２値画像から得られた距離変換画像である。
【図１０】図１０は、実距離（ステレオカメラから対象物までの距離）と評価値（手の平の大きさ×カメラとの距離）との関係図である。
【図１１】図１１は、実距離が近い場合において、手指の一部が撮像できない状態で手領域抽出が正しくできない例であり、図１１（ａ）は元画像（輝度画像）、図１１（ｂ）は距離画像、図１１（ｃ）は抽出に失敗した場合の手領域画像の例である。
【発明を実施するための形態】
【００１３】
（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、手指２００を含む対象物をステレオカメラ１００により撮像した画像に基づいて手領域を抽出し、手領域の大きさ及び対象物までの距離を検出する画像検出部５と、記手領域の大きさ及び対象物までの距離により算出された評価値に基づいて、手領域の抽出が正常にできているかどうかの判定を行なう異常検知部７と、を有し、異常検知部７は、評価値が所定の閾値以下のときに、手領域の抽出が異常であると判定するように構成されている。
【００１４】
また、画像検出部５は、手指２００を含む対象物をステレオ撮像した画像に基づいて視差画像を生成する視差画像生成部２０と、視差画像に基づいて手指の手領域候補を第１手領域候補として抽出する第１手領域候補抽出部３０と、対象物をステレオ撮像した少なくとも一方の画像に基づいてエッジ部分の輝度画像を生成する輝度画像生成部４０と、輝度画像に基づいて手指の手領域候補を第２手領域候補として抽出する第２手領域候補抽出部５０と、第１手領域候補と第２手領域候補に基づいて、手指の手領域を抽出する手領域抽出部６０と、を有して構成されている。
【００１５】
図１は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。図１に示すように、画像認識装置１は、撮像手段としてステレオカメラ１００を備えている。ステレオカメラ１００は、右カメラ１１０、左カメラ１２０で構成され、手指２００を含む対象物をステレオ撮像するものである。右カメラ１１０、左カメラ１２０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。また、図１に示すように、例えば、右カメラ１１０と左カメラ１２０の間に、対象物をステレオカメラ側から照明する照明部１３０を備えている。この照明部１３０は、照明範囲１３０ａに対して、例えば赤外光を照射する赤外照明装置である。
【００１６】
右カメラ１１０、左カメラ１２０は、所定の周期Ｔでほぼ同一対象を撮像して、右フレーム画像ＳＲ、左フレーム画像ＳＬを画像検出部５へ出力する。この右フレーム画像ＳＲ、左フレーム画像ＳＬは、右カメラ１１０と左カメラ１２０の配置間隔を視差として有する、輝度画像である。
【００１７】
［画像検出部５］
画像検出部５は、キャリブレーション部１０、視差画像生成部２０、第１手領域候補抽出部３０、輝度画像生成部４０、第２手領域候補抽出部５０、手領域抽出部６０等から概略構成されている。画像検出部５は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、画像検出部５が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また画像検出部５は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００１８】
（キャリブレーション部１０）
キャリブレーション部１０は、ステレオカメラ１００から入力された右フレーム画像ＳＲ、左フレーム画像ＳＬを画像処理を行なう前処理として、補正等を行なうものである。例えば、各カメラの歪補正、右カメラ１１０と左カメラ１２０同士の光軸ずれ補正等である。回転、平行移動、スケール調整等はアフィン変換により行なうことができる。これらのキャリブレーションにより、ブロックマッチングを行なう前提となる、右フレーム画像ＳＲと左フレーム画像ＳＬの水平線の一致が可能となる。
【００１９】
（視差画像生成部２０）
視差画像生成は、ステレオマッチング手法(左右カメラでの対応点を探索し視差を算出)として、ブロックマッチングにより行なう。なお、その他の手法として、ダイナミックプログラミング、セミグローバルブロックマッチング、グラフカット等を用いることができる。
【００２０】
図２（ａ）は、左カメラ画像（左フレーム画像ＳＬの輝度画像）であり、図２（ｂ）は、右カメラ画像（右フレーム画像ＳＲの輝度画像）である。ブロックマッチングは、例えば、左カメラ画像を基準画像とし、右カメラ画像を比較画像とする。基準画像のある１つの点の周囲にブロックを設定し、比較画像内のある点の周囲に同じ大きさのブロックを設定して対応点を探索する対応点探索法により行なうことができる。
【００２１】
この対応点探索法では、比較画像上でブロックをずらしながら互いのブロックの相関演算を行い、評価関数が最も大きいブロックの座標のずれ（視差）が算出される。このずれ量は、画像座標系の対応する位置の輝度値に置き換えられ、画像形態の距離画像として保存される。そして、この距離画像が有する距離情報を用いて、実空間での距離を得ると共に、ジェスチャ判定等の各種認識処理を行なうことができる。評価関数(マッチングさせるための類似度を評価)は、ＳＡＤ、ＳＳＤ、ＮＣＣ、ＺＮＣＣ等を用いることができる。
【００２２】
図３は、上記の手法を用いた視差画像生成部２０により生成された視差画像を示す。ブロックマッチング＋ＳＡＤ(Sum of Absolute Difference)を用いることで、処理時間を優先させることができる。ただし、図３に示すように、手の輪郭が膨張、変形している。また、この視差画像には、手指のほかに、身体の一部、また、蛍光灯（背景）が一緒に映りこんでいる。
【００２３】
（第１手領域候補抽出部３０）
第１手領域候補抽出部３０は、視差画像から手領域候補を抽出するものである。視差画像から距離画像に変換する。距離＝カメラの焦点距離×カメラ間距離／視差により変換することができる。
【００２４】
次に、この得られた距離画像に基づいて、連結領域に分割する。領域分割は例えば、隣接する画素との距離差が一定の閾値以下である時にその画素同士が連結領域であると判定することで実現できる。この連結領域に分割することで、前景と背景を分離することができる。
【００２５】
分割した各領域の面積と、領域内の距離の平均値を算出する。距離(の平均値)が一定以内の領域の中から、面積が一定以上の領域を抽出し、距離画像から得られた手領域候補とする。図４は、第１手領域候補抽出部により第１手領域候補を抽出した結果である。この例では、２つの領域（領域１と領域２）が抽出された。背景の蛍光灯とは分離できているが、手形状は背景がブロックマッチングの影響により輪郭が膨張し正確には抽出できていないことがわかる。
【００２６】
（輝度画像生成部４０）
輝度画像生成部４０は、対象物をステレオ撮像した少なくとも一方の画像に基づいてエッジ部分の輝度画像を生成するものである。図２（ａ）、（ｂ）で示した左カメラ画像、右カメラ画像の一方の画像（輝度画像）からエッジ部分の輝度画像を生成する。
【００２７】
図５（ａ）は、輝度画像（左カメラ画像）であり、図５（ｂ）は、エッジ抽出画像である。本実施の形態では、輝度画像(左カメラ画像)からエッジ抽出を行う。エッジ抽出手法としては、ｓｏｂｅｌ、ｃａｎｎｙ、ｌａｐｌａｃｉａｎ等、種々のフィルタを用いることができる。
【００２８】
（第２手領域候補抽出部５０）
第２手領域候補抽出部５０は、エッジ抽出された輝度画像を基にして得られた手指の手領域候補を第２手領域候補として抽出する。エッジ部分の輝度値の平均値を算出し、２値化閾値とする。そして、第２手領域候補抽出部５０は、この２値化閾値を用いて輝度画像を２値化し、この輝度画像から得られた画像を第２手領域候補とする。
【００２９】
図６は、第２手領域候補抽出部により第２手領域候補を抽出した結果である。この抽出した結果から、手形状は輪郭に沿って抽出できているが、背景の蛍光灯の一部が連結していることがわかる。
【００３０】
（手領域抽出部６０）
手領域抽出部６０は、第１手領域候補と第２手領域候補に基づいて、手指の手領域を抽出する。手領域抽出部６０は、視差画像から得られた第１手領域候補と、輝度画像から得られた第２手領域候補の論理積（ＡＮＤ）を取り、手指の手領域を抽出する。
【００３１】
ここで、最も手らしい領域を手領域として抽出する。例えば、手らしさの判定として、最も上方にある領域とする方法、面積が最も大きい領域とする方法、形状の複雑度（＝周囲長の２乗／面積）が最も大きい領域とする方法、等が考えられる。
【００３２】
図７（ａ）は、第１手領域候補と第２手領域候補の論理積の結果であり、図７（ｂ）は、図７（ａ）の結果に基づいて最も手らしい領域を手領域として抽出した結果である。図７（ｂ）から、視差画像と輝度画像のそれぞれの長所を生かし、手形状に沿った手領域抽出が可能となっていることがわかる。すなわち、図４で示した領域１と領域２を有する第１手領域候補と、図６で示した背景の蛍光灯の一部が手領域に連結している第２手領域候補の論理積の結果から、最も手らしい手領域が抽出できていることがわかる。
【００３３】
（本実施の形態に係る画像認識装置１の画像検出部の処理フロー例）
図８Ａは、本発明の実施の形態に係る画像認識装置の手領域抽出の処理手順の一例である。
【００３４】
画像認識装置１の動作において、まず、画像検出部５に、右カメラ１１０、左カメラ１２０からのカメラ画像の入力処理Ｐ１０が実行される。次に、キャリブレーション部１０によるキャリブレーションＰ２０が実行される。
【００３５】
画像検出部５において、視差画像生成部２０による視差画像生成プロセスＰ３１、第１手領域候補抽出部３０により視差画像から距離画像への変換処理Ｐ３２、連結領域に分割処理Ｐ３３、分割した各領域の面積と領域内の距離の平均値を算出処理Ｐ３４、第１手領域候補の抽出処理Ｐ３５が実行される。
【００３６】
また、画像検出部５において、輝度画像生成部４０による輝度画像(左カメラ画像)からエッジ抽出処理Ｐ４１、エッジ部分の輝度値の平均値を算出し２値化閾値とする処理Ｐ４２、２値化閾値を用いて輝度画像を２値化しこの輝度画像から得られた画像を第２手領域候補とする処理Ｐ４３が実行される。
【００３７】
手領域抽出部６０において、２つの手領域候補画像のＡＮＤをとり、視差画像と輝度画像を併用した手領域候補の抽出処理Ｐ５０、最も手らしさの高い領域を手領域として抽出処理Ｐ６０が実行される。
【００３８】
画像認識装置１は、手領域抽出画像として出力処理Ｐ７０を行なうことができる。
【００３９】
上記の処理プロセスにおいて、Ｐ３１からＰ３５、Ｐ４１からＰ４３は、並列的に処理するものとして図示したが、直列的に処理するようにしてもよい。
【００４０】
［異常検知部７］
異常検知部７は、評価値算出部７０、異常判定部８０等から概略構成されている。異常検知部７は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、異常検知部７が動作するためのプログラム、閾値等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また異常検知部７は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００４１】
（評価値算出部７０）
評価値算出部７０は、手領域の大きさと対象物までの距離の積により算出する。手領域の大きさは、手の平の大きさを手の大きさとして定義する。ここで、手の平の大きさは、例えば次のような方法で取得できる。手領域抽出画像から距離変換画像（手領域内部画素の輝度値を手の輪郭画素からの最短距離（単位はｐｉｘｅｌ、に変換した画像）を作成する。距離変換画像内で最大距離変換値を持つ画素が手の平の中心Ｃであり、その距離変換値が手の平の大きさＲとなる。
【００４２】
（手領域の抽出）
図９（ａ）は、撮像された手の輝度画像の一例であり、図９（ｂ）は、この手の画像情報から得られた手領域抽出画像であり、図９（ｃ）は、手領域抽出画像から得られた距離変換画像である。
【００４３】
手領域の抽出は、図９（ａ）の元画像（輝度画像）を基にして、上記説明した第１手領域候補と第２手領域候補から手領域抽出部６０における処理により、図９（ｂ）に示すような手領域を検出する。手領域の抽出は、図９（ｃ）に示すような距離変換画像２５０から、手の平領域Ｆを抽出する。手の平領域Ｆは、手の平の中心位置Ｃと大きさ（半径値）Ｒとして抽出される。
【００４４】
ここで、図９（ｃ）に示す距離変換画像２５０は、手領域抽出画像上の領域内画素の画素値を領域輪郭との最短距離値に置き換えた画像として生成される。距離変換画像２５０は、図９（ｃ）において距離変換値が大きいほど白くなるように表示している。図９（ｃ）において、手の平の中心位置Ｃは、最大距離変換値をもつ画素として検出することができる。また、図９（ｂ）において、この中心位置Ｃから領域輪郭までの最小値を手の平の半径Ｒとして検出することができる。
【００４５】
（手とカメラとの距離の算出）
手とカメラ（ステレオカメラ１００）との距離を実距離として求める。手とカメラとの距離は、手領域から手の平を抽出し、手の平の中心画素（中心位置Ｃ）の距離情報を用いる。
【００４６】
例えば、手の平の中心画素と同じ画像座標の画素値を、既に生成された距離画像から抽出することができる。これにより、手の平の中心画素（中心位置Ｃ）の距離Ｌを距離情報として算出することができる。
【００４７】
評価値Ｅは、抽出した手の平の距離Ｌと大きさ（手の平の半径Ｒ）を掛け合わせた値とする。
【００４８】
（異常判定部８０）
異常判定部８０は、評価値Ｅが所定の閾値以上となるとき、正しく手領域が抽出できていると判定する。所定の閾値は、手領域を正しく抽出できた際の評価値Ｅと手領域を正しく評価できなかった際の評価値Ｅを予め確認しておき、これ等を区別できる値に設定する。
【００４９】
例えば、距離情報の取得に、ＳＡＤを評価値としたブロックマッチング手法を用いる場合、テクスチャの少ない（輝度の変化が少ない）領域の距離を算出することができない。本実施の形態のように、照明部１３０が対象物をステレオカメラ側から照明する構成では、手がカメラに近づくほど手の照度が高くなり、テクスチャが失われることから距離情報を算出できなくなる。そのため、手と背景の境界付近の輝度の変化が激しい領域のみ抽出されることとなり、誤認識となる。このような場合は、手の大きさ（手の平の半径Ｒ）が小さく検出される場合が多く、評価値Ｅが所定の閾値以下になった場合に手領域抽出は異常であると判定することができる。
【００５０】
（本実施の形態に係る画像認識装置１の異常検出部の処理フロー例）
図８Ｂは、本発明の実施の形態に係る画像認識装置の異常判定の処理手順の一例である。
【００５１】
画像認識装置１の異常判定において、まず、評価値算出部７０において、評価値Ｅを算出する（Ｐ８０）。
【００５２】
評価値算出部７０は、前述したように、手領域の抽出により手の平の中心位置Ｃと大きさ（半径値）Ｒを算出する。また、手とカメラ（ステレオカメラ１００）との距離を実距離として求める。評価値算出部７０は、抽出した手の平の距離Ｌと大きさ（手の平の半径Ｒ）との積として評価値Ｅを算出する。
【００５３】
異常判定部８０は、評価値Ｅが所定の閾値以上かどうかを判断する（Ｐ９０）。評価値Ｅが所定の閾値以上の場合は、Ｐ１００へ進み（Ｐ９０：Ｙｅｓ）、評価値Ｅが所定の閾値以上でない場合は、Ｐ１１０へ進む（Ｐ９０：Ｎｏ）。
【００５４】
異常検知部７は、手領域の抽出は正常と判定する（Ｐ１００）。これにより、手領域の抽出により得られた画像認識情報に基づいて、例えば、ジェスチャ認識等の処理を実行することができる。
【００５５】
異常検知部７は、手領域の抽出は異常と判定する（Ｐ１１０）。これにより、手領域の抽出を再度実行することができる。また、手領域の誤認識に基づいてジェスチャ認識等の実行を行なうことが抑制できるので、余計な演算等が不要となる効果を有する。
【００５６】
ここで、図１０は、実距離（ステレオカメラから対象物までの距離）と評価値Ｅ（手の平の大きさ×カメラとの距離）との関係図である。手の平の大きさ［pixel］を点線で示し、手の平とカメラとの距離［ｍｍ］を破線で示し、いずれも実測に基づく値をプロットしている。また、手の平の大きさ×カメラとの距離を実線で示す。
【００５７】
図１０からわかるように、実距離（ステレオカメラから対象物までの距離）が近いところで、手の平の大きさ×カメラとの距離、すなわち、評価値Ｅが急激に低下している。閾値を適切に設定（図１０では、閾値を９０００）することにより、手領域抽出が正常か異常かを判定することが可能となる。
【００５８】
（手領域抽出における異常判定の一例）
図１１は、実距離が近い場合において、手指の一部が撮像できない状態で手領域抽出が正しくできない例であり、図１１（ａ）は元画像（輝度画像）、図１１（ｂ）は距離画像、図１１（ｃ）は抽出に失敗した場合の手領域画像の例である。
【００５９】
ステレオカメラ１００からの距離が規定範囲内にある物体が、輝度画像内のどの領域に映っているかを正しく認識できないと、手領域の抽出も正しく行うことができない。距離情報の取得に、ＳＡＤを評価値としたブロックマッチング手法を用いる場合、テクスチャの少ない（輝度の変化が少ない）領域の距離を算出することができない。手指２００がステレオカメラ１００に近づくほど手の照度が高くなり、テクスチャが失われることから距離情報を算出できなくなる。そのため、手指２００と背景の境界付近の輝度の変化が激しい領域のみ抽出されることとなり、誤認識となる。
【００６０】
また、手指がステレオカメラ１００に近すぎる場合は、図１１（ａ）、（ｂ）に示すように、手指の輪郭が見切れて、輪郭が途切れてしまう。このような理由からも手領域の抽出において誤認識が生じてしまう。
【００６１】
図１１（ｂ）において手領域内部の距離が算出できておらず、手領域が複数に分断されている。複数の領域が得られた場合、その大きさや形状の複雑さから手領域として１つを選択し、その結果が図１１（ｃ）となる。手領域がこの図１１（ｃ）のように抽出されると、手の平の大きさが小さく検出されることになる。その結果、評価値Ｅ（手の平の大きさ×カメラとの距離）が正常な抽出に基づく評価値よりも小さな値として算出されることになる。
【００６２】
以上に基づいて、評価値Ｅの判定の閾値を、手領域を正しく抽出できた際の評価値Ｅと手領域を正しく評価できなかった際の評価値Ｅを予め確認しておき、これ等を区別できる値に設定することで、手領域抽出が正常か異常かを判定することが可能となる。
【００６３】
（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本実施の形態に係る画像認識装置１は、手指２００を含む対象物をステレオカメラ１００により撮像した画像に基づいて手領域を抽出し、手領域の大きさ及び対象物までの距離を検出する画像検出部５と、記手領域の大きさ及び対象物までの距離により算出された評価値に基づいて、手領域の抽出が正常にできているかどうかの判定を行なう異常検知部７と、を有し、異常検知部７は、評価値が所定の閾値以下のときに、手領域の抽出が異常であると判定するように構成されている。これにより、ステレオカメラを用いた画像認識において、手領域抽出処理の異常検知が可能な画像認識装置を提供することができる。
（２）本実施の形態では、評価値Ｅを、抽出した手の平の距離Ｌと大きさ（手の平の半径Ｒ）を掛け合わせた値、すなわち、手の平の距離Ｌ×手の平の半径Ｒとする。異常判定部８０において、評価値Ｅが所定の閾値以上でない場合、手領域の抽出は異常と判定する。これにより、手領域の抽出を再度実行することができる。また、手領域の誤認識に基づいてジェスチャ認識等の実行を行なうことが抑制できるので、余計な演算等が不要となる効果を有する。
（３）手領域の異常判定において使用する所定の閾値は、手領域を正しく抽出できた際の評価値Ｅと手領域を正しく評価できなかった際の評価値Ｅを予め確認しておき、これ等を区別できる値に適切に設定することができるので、手領域抽出が正常か異常かを正確に判定することが可能となる。
【００６４】
以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６５】
１…画像認識装置、５…画像検出部、７…異常検知部、１０…キャリブレーション部、２０…視差画像生成部、３０…手領域候補抽出部、４０…輝度画像生成部、５０…手領域候補抽出部、６０…手領域抽出部、７０…評価値算出部、８０…異常判定部、１００…ステレオカメラ、１１０…右カメラ、１２０…左カメラ、１３０…照明部、２００…手指、２５０…距離変換画像、ＳＬ…左フレーム画像、ＳＲ…右フレーム画像
【図１】
2018180779.tif 000003
【図２】
2018180779.tif 000004
【図３】
2018180779.tif 000005
【図４】
2018180779.tif 000006
【図５】
2018180779.tif 000007
【図６】
2018180779.tif 000008
【図７】
2018180779.tif 000009
【図８Ａ】
2018180779.tif 000010
【図８Ｂ】
2018180779.tif 000011
【図９】
2018180779.tif 000012
【図１０】
2018180779.tif 000013
【図１１】
2018180779.tif 000014