(57)【要約】      （修正有）【課題】ステレオカメラを用いた画像認識において、処理時間を軽減でき、手領域の検出能力に優れた画像認識装置を提供する。【解決手段】画像認識装置１は、手指２００を含む対象物をステレオ撮像した画像に基づいて視差画像を生成する視差画像生成部２０と、視差画像に基づいて手指の手領域候補を第１手領域候補として抽出する第１手領域候補抽出部３０と、対象物をステレオ撮像した少なくとも一方の画像に基づいてエッジ部分の輝度画像を生成する輝度画像生成部４０と、輝度画像に基づいて手指の手領域候補を第２手領域候補として抽出する第２手領域候補抽出部５０と、第１手領域候補と第２手領域候補に基づいて、手指の手領域を抽出する手領域抽出部６０と、を有する。【選択図】図１
2018128886.tif 000002
【特許請求の範囲】
【請求項１】
手指を含む対象物をステレオ撮像した画像に基づいて視差画像を生成する視差画像生成部と、
前記視差画像に基づいて前記手指の手領域候補を第１手領域候補として抽出する第１手領域候補抽出部と、
前記対象物をステレオ撮像した少なくとも一方の画像に基づいてエッジ部分の輝度画像を生成する輝度画像生成部と、
前記輝度画像に基づいて前記手指の手領域候補を第２手領域候補として抽出する第２手領域候補抽出部と、
前記第１手領域候補と前記第２手領域候補に基づいて、前記手指の手領域を抽出する手領域抽出部と、
を有することを特徴とする画像認識装置。
【請求項２】
前記視差画像生成部は、ブロックマッチングによるものであることを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記手領域抽出部は、前記第１手領域候補と前記第２手領域候補の論理積により前記手領域を抽出することを特徴とする請求項１又は２に記載の画像認識装置。
【請求項４】
前記手領域抽出部は、前記第１手領域候補と前記第２手領域候補に基づいて、複数の手領域を抽出し、この抽出された複数の手領域から最も手らしい領域を手領域として抽出することを特徴とする請求項１から３のいずれか１項に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関し、特に、ステレオカメラを用いた画像認識装置に関する。
【背景技術】
【０００２】
従来の技術として、ステレオ画像における物体の視差を算出する画像認識装置が知られている（例えば、特許文献１参照）。
【０００３】
この画像認識装置は、左カメラ及び右カメラで撮像した左・右画像を左画像メモリ及び右画像メモリに格納し、左画像ブロック設定部及び右画像ブロック設定部が、ここからブロックマッチングを行う最大サイズの画像データ（画像処理ブロック）を取り込む。また、左画像ブロックマスク部及び右画像ブロックマスク部が、画像処理ブロックをマスクして有効画像領域を規定し、マッチング処理部が、左右の有効画像領域の類似性を評価することにより視差を算出する。この画像認識装置において、ブロックマッチングにおけるブロックサイズを変更する等により、物体の視差を算出する場合の処理負荷を低減している。
【０００４】
また、カメラによる撮像画像を２値化処理し、この画像から手の平を検出する画像認識装置が知られている（例えば、特許文献２参照）。
【０００５】
この画像認識装置は、２値化処理及び孤立点除去後の画像に対して、手領域内部の点から輪郭までの最短距離を算出し、この最短距離が最大となる位置を検出し、この位置を手の平の中心位置と認定する。また、手の平サイズ検出部は、中心位置から輪郭までの最短距離により距離変換値を算出して、これにより手の平の大きさを認定する。手の平サイズ検出部で得られた手の平半径を示す情報等は、手特徴情報として蓄積部に蓄積され、動作判断部により例えばジェスチャー判断に利用される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−８９４９８号公報
【特許文献２】国際公開第２０１５／０３７２７３号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１の画像認識装置では、視差を算出する場合の処理負荷低減により、算出される距離画像精度が低下するという問題がある。また、特許文献２の画像認識装置で示した手領域の抽出においては、距離画像精度が低下した距離画像では手の平の輪郭抽出等の高度な手領域抽出を精度良く行なえないという問題があった。
【０００８】
したがって、本発明の目的は、ステレオカメラを用いた画像認識において、処理時間を軽減でき、手領域の検出能力に優れた画像認識装置を提供することにある。
【課題を解決するための手段】
【０００９】
［１］上記目的を達成するため、手指を含む対象物をステレオ撮像した画像に基づいて視差画像を生成する視差画像生成部と、前記視差画像に基づいて前記手指の手領域候補を第１手領域候補として抽出する第１手領域候補抽出部と、前記対象物をステレオ撮像した少なくとも一方の画像に基づいてエッジ部分の輝度画像を生成する輝度画像生成部と、前記輝度画像に基づいて前記手指の手領域候補を第２手領域候補として抽出する第２手領域候補抽出部と、前記第１手領域候補と前記第２手領域候補に基づいて、前記手指の手領域を抽出する手領域抽出部と、を有することを特徴とする画像認識装置を提供する。
【００１０】
［２］前記視差画像生成部は、ブロックマッチングによるものであることを特徴とする上記［１］に記載の画像認識装置であってもよい。
【００１１】
［３］また、前記手領域抽出部は、前記第１手領域候補と前記第２手領域候補の論理積により前記手領域を抽出することを特徴とする上記［１］又は［２］に記載の画像認識装置であってもよい。
【００１２】
［４］また、前記手領域抽出部は、前記第１手領域候補と前記第２手領域候補に基づいて、複数の手領域を抽出し、この抽出された複数の手領域から最も手らしい領域を手領域として抽出することを特徴とする上記［１］から［３］までのいずれか１に記載の画像認識装置であってもよい。
【発明の効果】
【００１３】
本発明の画像認識装置によれば、ステレオカメラを用いた画像認識において、処理時間を軽減でき、手領域の検出能力に優れた画像認識装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。
【図２】図２（ａ）は、左カメラ画像であり、図２（ｂ）は、右カメラ画像である。
【図３】図３は、視差画像生成部により生成された視差画像を示す。
【図４】図４は、第１手領域候補抽出部により第１手領域候補を抽出した結果である。
【図５】図５（ａ）は、輝度画像（左カメラ画像）であり、図５（ｂ）は、エッジ抽出画像である。
【図６】図６は、第２手領域候補抽出部により第２手領域候補を抽出した結果である。
【図７】図７（ａ）は、第１手領域候補と第２手領域候補の論理積の結果であり、図７（ｂ）は、図７（ａ）の結果に基づいて最も手らしい領域を手領域として抽出した結果である。
【図８】図８は、本発明の実施の形態に係る画像認識装置の手領域抽出の処理手順の一例である。
【発明を実施するための形態】
【００１５】
（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、手指２００を含む対象物をステレオ撮像した画像に基づいて視差画像を生成する視差画像生成部２０と、視差画像に基づいて手指の手領域候補を第１手領域候補として抽出する第１手領域候補抽出部３０と、対象物をステレオ撮像した少なくとも一方の画像に基づいてエッジ部分の輝度画像を生成する輝度画像生成部４０と、輝度画像に基づいて手指の手領域候補を第２手領域候補として抽出する第２手領域候補抽出部５０と、第１手領域候補と第２手領域候補に基づいて、手指の手領域を抽出する手領域抽出部６０と、を有して構成されている。
【００１６】
図１は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。図１に示すように、画像認識装置１は、撮像手段としてステレオカメラ１００を備えている。ステレオカメラ１００は、右カメラ１１０、左カメラ１２０で構成され、手指２００を含む対象物をステレオ撮像するものである。右カメラ１１０、左カメラ１２０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。
【００１７】
右カメラ１１０、左カメラ１２０は、所定の周期Ｔでほぼ同一対象を撮像して、右フレーム画像ＳＲ、左フレーム画像ＳＬを画像処理部５へ出力する。この右フレーム画像ＳＲ、左フレーム画像ＳＬは、右カメラ１１０と左カメラ１２０の配置間隔を視差として有する、輝度画像である。
【００１８】
（画像処理部５）
画像処理部５は、キャリブレーション部１０、視差画像生成部２０、第１手領域候補抽出部３０、輝度画像生成部４０、第２手領域候補抽出部５０、手領域抽出部６０等から概略構成されている。画像処理部５は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、画像処理部５が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また画像処理部５は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００１９】
（キャリブレーション部１０）
キャリブレーション部１０は、ステレオカメラ１００から入力された右フレーム画像ＳＲ、左フレーム画像ＳＬを画像処理を行なう前処理として、補正等を行なうものである。例えば、各カメラの歪補正、右カメラ１１０と左カメラ１２０同士の光軸ずれ補正等である。回転、平行移動、スケール調整等はアフィン変換により行なうことができる。これらのキャリブレーションにより、ブロックマッチングを行なう前提となる、右フレーム画像ＳＲと左フレーム画像ＳＬの水平線の一致が可能となる。
【００２０】
（視差画像生成部２０）
視差画像生成は、ステレオマッチング手法(左右カメラでの対応点を探索し視差を算出)として、ブロックマッチングにより行なう。なお、その他の手法として、ダイナミックプログラミング、セミグローバルブロックマッチング、グラフカット等を用いることができる。
【００２１】
図２（ａ）は、左カメラ画像（左フレーム画像ＳＬの輝度画像）であり、図２（ｂ）は、右カメラ画像（右フレーム画像ＳＲの輝度画像）である。ブロックマッチングは、例えば、左カメラ画像を基準画像とし、右カメラ画像を比較画像とする。基準画像のある１つの点の周囲にブロックを設定し、比較画像内のある点の周囲に同じ大きさのブロックを設定して対応点を探索する対応点探索法により行なうことができる。
【００２２】
この対応探索法では、比較画像上でブロックをずらしながら互いのブロックの相関演算を行い、評価関数が最も大きいブロックの座標のずれ（視差）が算出される。このずれ量は、画像座標系の対応する位置の輝度値に置き換えられ、画像形態の距離画像として保存される。そして、この距離画像が有する距離情報を用いて、実空間での距離を得ると共に、ジェスチャー判定等の各種認識処理を行なうことができる。評価関数(マッチングさせるための類似度を評価)は、ＳＡＤ、ＳＳＤ、ＮＣＣ、ＺＮＣＣ等を用いることができる。
【００２３】
図３は、上記の手法を用いた視差画像生成部２０により生成された視差画像を示す。ブロックマッチング＋ＳＡＤ(Sum of Absolute Difference)を用いることで、処理時間を優先させることができる。ただし、図３に示すように、手の輪郭が膨張、変形している。また、この視差画像には、手指のほかに、身体の一部、また、蛍光灯（背景）が一緒に映りこんでいる。
【００２４】
（第１手領域候補抽出部３０）
第１手領域候補抽出部３０は、視差画像から手領域候補を抽出するものである。視差画像から距離画像に変換する。距離＝カメラの焦点距離×カメラ間距離／視差により変換することができる。
【００２５】
次に、この得られた距離画像に基づいて、連結領域に分割する。領域分割は例えば、隣接する画素との距離差が一定の闇値以下である時にその画素同士が連結領域であると判定することで実現できる。この連結領域に分割することで、前景と背景を分離することができる。
【００２６】
分割した各領域の面積と、領域内の距離の平均値を算出する。距離(の平均値)が一定以内の領域の中から、面積が一定以上の領域を抽出し、距離画像から得られた手領域候補とする。図４は、第１手領域候補抽出部により第１手領域候補を抽出した結果である。この例では、２つの領域（領域１と領域２）が抽出された。背景の蛍光灯とは分離できているが、手形状は背景がブロックマッチングの影響により輪郭が膨張し正確には抽出できていないことがわかる。
【００２７】
（輝度画像生成部４０）
輝度画像生成部４０は、対象物をステレオ撮像した少なくとも一方の画像に基づいてエッジ部分の輝度画像を生成するものである。図２（ａ）、（ｂ）で示した左カメラ画像、右カメラ画像の一方の画像（輝度画像）からエッジ部分の輝度画像を生成する。
【００２８】
図５（ａ）は、輝度画像（左カメラ画像）であり、図５（ｂ）は、エッジ抽出画像である。本実施の形態では、輝度画像(左カメラ画像)からエッジ抽出を行う。エッジ抽出手法としては、ｓｏｂｅｌ、ｃａｎｎｙ、ｌａｐｌａｃｉａｎ等、種々のフィルタを用いることができる。
【００２９】
（第２手領域候補抽出部５０）
第２手領域候補抽出部５０は、エッジ抽出された輝度画像に基づいて手指の手領域候補を第２手領域候補として抽出する。エッジ部分の輝度値の平均値を算出し、２値化閾値とする。そして、第２手領域候補抽出部５０は、この２値化閾値を用いて輝度画像を２値化し、この輝度画像から得られた画像を第２手領域候補とする。
【００３０】
図６は、第２手領域候補抽出部により第２手領域候補を抽出した結果である。この抽出した結果から、手形状は輪郭に沿って抽出できているが、背景の蛍光灯の一部が連結していることがわかる。
【００３１】
（手領域抽出部６０）
手領域抽出部６０は、第１手領域候補と第２手領域候補に基づいて、手指の手領域を抽出する。手領域抽出部６０は、視差画像から得られた第１手領域候補と、輝度画像から得られた第２手領域候補の論理積（ＡＮＤ）を取り、手指の手領域を抽出する。
【００３２】
ここで、最も手らしい領域を手領域として抽出する。例えば、手らしさの判定として、最も上方にある領域とする方法、面積が最も大きい領域とする方法、形状の複雑度（＝周囲長の２乗／面積）が最も大きい領域とする方法、等が考えられる。
【００３３】
図７（ａ）は、第１手領域候補と第２手領域候補の論理積の結果であり、図７（ｂ）は、図７（ａ）の結果に基づいて最も手らしい領域を手領域として抽出した結果である。図７（ｂ）から、視差画像と輝度画像のそれぞれの長所を生かし、手形状に沿った手領域抽出が可能となっていることがわかる。すなわち、図４で示した領域１と領域２を有する第１手領域候補と、図６で示した背景の蛍光灯の一部が手領域に連結している第２手領域候補の論理積の結果から、最も手らしい手領域が抽出できていることがわかる。
【００３４】
（本実施の形態に係る画像認識装置１の処理フロー例）
図８は、本発明の実施の形態に係る画像認識装置の手領域抽出の処理手順の一例である。
【００３５】
画像認識装置１の動作において、まず、画像処理部５に、右カメラ１１０、左カメラ１２０からのカメラ画像の入力処理Ｐ１０が実行される。次に、キャリブレーション部１０によるキャリブレーションＰ２０が実行される。
【００３６】
画像処理部５において、視差画像生成部２０による視差画像生成プロセスＰ３１、第１手領域候補抽出部３０により視差画像から距離画像への変換処理Ｐ３２、連結領域に分割処理Ｐ３３、分割した各領域の面積と領域内の距離の平均値を算出処理Ｐ３４、第１手領域候補の抽出処理Ｐ３５が実行される。
【００３７】
また、画像処理部５において、輝度画像生成部４０による輝度画像(左カメラ画像)からエッジ抽出処理Ｐ４１、エッジ部分の輝度値の平均値を算出し２値化閾値とする処理Ｐ４２、２値化閾値を用いて輝度画像を２値化しこの輝度画像から得られた画像を第２手領域候補とする処理Ｐ４３が実行される。
【００３８】
手領域抽出部６０において、２つの手領域候補画像のＡＮＤをとり、視差画像と輝度画像を併用した手領域候補の抽出処理Ｐ５０、最も手らしさの高い領域を手領域として抽出処理Ｐ６０が実行される。
【００３９】
画像認識装置１は、手領域抽出画像として出力処理Ｐ７０を行なうことができる。
【００４０】
上記の処理プロセスにおいて、Ｐ３１からＰ３５、Ｐ４１からＰ４３は、並列的に処理するものとして図示したが、直列的に処理するようにしてもよい。
【００４１】
（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本実施の形態に係る画像認識装置１は、手指２００を含む対象物をステレオ撮像した画像に基づいて視差画像を生成する視差画像生成部２０と、視差画像に基づいて手指の手領域候補を第１手領域候補として抽出する第１手領域候補抽出部３０と、対象物をステレオ撮像した少なくとも一方の画像に基づいてエッジ部分の輝度画像を生成する輝度画像生成部４０と、輝度画像に基づいて手指の手領域候補を第２手領域候補として抽出する第２手領域候補抽出部５０と、第１手領域候補と第２手領域候補に基づいて、手指の手領域を抽出する手領域抽出部６０と、を有して構成されている。視差画像から得られた第１手領域候補と、輝度画像から得られた第２手領域候補に基づいて、手指の手領域を抽出するので、精度のよい手指の手領域抽出が可能となる。すなわち、手の形状が正確ではないが、距離情報から背景と前景を分離可能な距離画像（視差画像）と、背景と前景の区別は難しいが、輝度情報から手の形状が正確に得られやすい輝度画像を併用することで、手形状に沿った手領域抽出を行うことが可能となる。
（２）距離画像（視差画像）から得られた第１手領域候補と、輝度画像から得られた第２手領域候補に基づいて手指の手領域を抽出するので、処理時間を低減するために距離精度を低下させても、手の形状に沿った精度のよい手領域抽出が可能となる。
（３）また、距離画像と輝度画像を組み合わせることで、それぞれの短所を補完することが可能となる。すなわち、距離画像は、輪郭形状は正確に出せないが、距離情報を活用した領域の分離が可能であり、一方、輝度画像は、輪郭形状はエッジ情報を用いて正確に抽出可能だが、輝度値が近い領域との分離が難しい。本実施の形態に係る画像認識装置１は、これらの短所を補完した手領域抽出が可能となる。
（４）以上から、複数の領域が抽出された場合でも、最も手らしい領域に絞り込むことが可能となり、ステレオカメラを用いた画像認識において、処理時間を軽減でき、手の平の検出能力に優れた画像認識装置を提供することができる。
【００４２】
以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４３】
１…画像認識装置、５…画像処理部、１０…キャリブレーション部、２０…視差画像生成部、３０…手領域候補抽出部、４０…輝度画像生成部、５０…手領域候補抽出部、６０…手領域抽出部、１００…ステレオカメラ、１１０…右カメラ、１２０…左カメラ、２００…手指、ＳＬ…左フレーム画像、ＳＲ…右フレーム画像
【図１】
2018128886.tif 000003
【図２】
2018128886.tif 000004
【図３】
2018128886.tif 000005
【図４】
2018128886.tif 000006
【図５】
2018128886.tif 000007
【図６】
2018128886.tif 000008
【図７】
2018128886.tif 000009
【図８】
2018128886.tif 000010