(57)【要約】      （修正有）【課題】誤マッチングの抑制と処理速度の向上とを両立させることができる画像認識装置及び画像認識方法を提供する。【解決手段】画像認識装置１のブロックマッチング部３１は、ステレオカメラ２が撮像した基準画像２００に写る認識対象９の特徴点を含む領域に類似する類似領域を比較画像３００から探索するブロックマッチング処理において得られた認識対象９までの距離Ｄに基づいて探索幅を定めてブロックマッチング処理を行うように構成されている。【選択図】図１
2018206063.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラが撮像した基準画像に写る認識対象の特徴点を含む領域に類似する類似領域を比較画像から探索するブロックマッチング処理において得られた前記認識対象までの距離に基づいて探索幅を定めて前記ブロックマッチング処理を行うブロックマッチング部を備えた画像認識装置。
【請求項２】
前記ブロックマッチング部は、異なる定数を前記距離の逆数に乗算して前記特徴点に加算し、前記探索幅の始点と終点を定める、
請求項１に記載の画像認識装置。
【請求項３】
前記ブロックマッチング部は、前記特徴点に対応する前記類似領域の対応点が前記探索幅の始点又は終点に予め設定された範囲内であった場合に前記探索幅を更新する、
請求項１又は２に記載の画像認識装置。
【請求項４】
認識対象を撮像するステレオカメラから基準画像及び比較画像を取得し、
前記認識対象までの距離を取得し、
前記基準画像に写る前記認識対象の特徴点を含む領域に類似する類似領域を前記比較画像から探索するための探索幅を前記距離に基づいて定めてブロックマッチング処理を行う、
画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置及び画像認識方法に関する。
【背景技術】
【０００２】
従来の技術として、ステレオ画像を撮像する一対のカメラと、ステレオ画像からブロックマッチングにより物体の視差を算出する手段と、物体の視差から物体までの距離を算出する手段と、を備えたステレオ画像処理装置が知られている（例えば、特許文献１参照）。
【０００３】
このステレオ画像処理装置は、物体の視差を算出する手段がブロックマッチングの進行状況に応じて、ブロックマッチングで使用するブロックのサイズを変更するので、視差を算出する際の処理負荷を低減することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−８９４９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし従来のステレオ画像処理装置は、ブロックのサイズを変えながら画像の一部の端から端まで何度か探索し、さらに得られた類似度を示すスコアを同一条件で評価するために正規化を行うので、この構成を採用しない場合と比べて処理時間が掛かる可能性があり、また広い範囲を探索するので、誤マッチングが生じる可能性がある。
【０００６】
従って本発明の目的は、誤マッチングの抑制と処理速度の向上とを両立させることができる画像認識装置及び画像認識方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、ステレオカメラが撮像した基準画像に写る認識対象の特徴点を含む領域に類似する類似領域を比較画像から探索するブロックマッチング処理において得られた認識対象までの距離に基づいて探索幅を定めてブロックマッチング処理を行うブロックマッチング部を備えた画像認識装置を提供する。
【発明の効果】
【０００８】
本発明によれば、誤マッチングの抑制と処理速度の向上とを両立させることができる。
【図面の簡単な説明】
【０００９】
【図１】図１（ａ）は、第１の実施の形態に係る画像認識装置のブロック図の一例であり、図１（ｂ）は、視差の一例を示す概略図である。
【図２】図２（ａ）は、第１の実施の形態に係る画像認識装置の基準画像の一例を示す概略図であり、図２（ｂ）は、比較画像の一例を示す概略図である。
【図３】図３（ａ）は、第１の実施の形態に係る画像認識装置の認識対象が遠い場合の探索幅の一例を示す概略図であり、図３（ｂ）は、認識対象が近い場合の探索幅の一例を示す概略図である。
【図４】図４は、第１の実施の形態に係る画像認識装置の動作の一例を示すフローチャートである。
【図５】図５は、第２の実施の形態に係る画像認識装置の探索幅の更新の一例について説明するための概略図である。
【図６】図６は、第２の実施の形態に係る画像認識装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（実施の形態の要約）
実施の形態に係る画像認識装置は、ステレオカメラが撮像した基準画像に写る認識対象の特徴点を含む領域に類似する類似領域を比較画像から探索するブロックマッチング処理において得られた認識対象までの距離に基づいて探索幅を定めてブロックマッチング処理を行うブロックマッチング部を備えて概略構成されている。
【００１１】
この画像認識装置は、類似領域を探索する探索幅を限定するので、広い範囲を探索する場合と比べて、似た領域を検出するような誤マッチングを抑制することができる。また画像認識装置は、類似領域を探索する探索幅を限定するので、マッチング処理を行う回数が減って処理負荷が低減すると共に処理速度を向上させることができる。従って画像認識装置は、誤マッチングの抑制と処理速度の向上とを両立させることができる。
【００１２】
[第１の実施の形態]
（画像認識装置１の概要）
図１（ａ）は、第１の実施の形態に係る画像認識装置のブロック図の一例であり、図１（ｂ）は、視差の一例を示す概略図である。図２（ａ）は、第１の実施の形態に係る画像認識装置の基準画像の一例を示す概略図であり、図２（ｂ）は、比較画像の一例を示す概略図である。図３（ａ）は、第１の実施の形態に係る画像認識装置の認識対象が遠い場合の探索幅の一例を示す概略図であり、図３（ｂ）は、認識対象が近い場合の探索幅の一例を示す概略図である。なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ａ）では、主な信号や情報の流れを矢印で示している。
【００１３】
画像認識装置１は、例えば、図１（ａ）に示すように、認識対象９をステレオカメラ２で撮像し、撮像された画像を画像処理部３によって処理して認識対象９を認識するように構成されている。なお本実施の形態の認識対象９は、一例として、手の平であるがこれに限定されず、車や人などの他の物体であっても良い。
【００１４】
（ステレオカメラ２の構成）
ステレオカメラ２は、例えば、図１（ａ）に示すように、左カメラ２０及び右カメラ２１を備えている。この左カメラ２０及び右カメラ２１は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。
【００１５】
左カメラ２０及び右カメラ２１は、同期され、周期的に撮像するように構成されている。そして左カメラ２０は、撮像した画像を左フレーム画像ＳＬとして画像処理部３に出力する。この左フレーム画像ＳＬは、例えば、図１（ｂ）に示す基準画像２００である。また右カメラ２１は、撮像した画像を右フレーム画像ＳＲとして画像処理部３に出力するように構成されている。この右フレーム画像ＳＲは、例えば、図１（ｂ）に示す比較画像３００である。
【００１６】
ステレオカメラ２から認識対象９までの距離Ｄは、例えば、図１（ａ）に示すように、基線長をＢ、焦点距離をｆ、視差をＳとすると、基線長Ｂ×焦点距離ｆ／視差Ｓによって求められる。なお基線長Ｂは、左カメラ２０及び右カメラ２１の対物レンズ間の距離である。
【００１７】
（画像処理部３の構成）
画像処理部３は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、画像処理部３が動作するためのプログラムなどが格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また画像処理部３は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００１８】
画像処理部３は、例えば、図１（ａ）に示すように、キャリブレーション部３０と、ブロックマッチング部３１と、手領域抽出部３２と、を備えて概略構成されている。
【００１９】
（キャリブレーション部３０）
キャリブレーション部３０は、ステレオカメラ２から入力された右フレーム画像ＳＲと左フレーム画像ＳＬに対して、画像処理を行なう前処理として補正などを行なうものである。例えば、左カメラ２０及び右カメラ２１の歪補正、左カメラ２０及び右カメラ２１の光軸ずれ補正などである。回転、平行移動、スケール調整などの補正は、例えば、アフィン変換により行なうことができる。これらのキャリブレーションにより、ブロックマッチングを行なう前提となる、左フレーム画像ＳＬと右フレーム画像ＳＲの水平線の一致が可能となる。
【００２０】
（ブロックマッチング部３１の構成）
ブロックマッチング部３１は、例えば、認識対象９を撮像した基準画像２００及び比較画像３００に基づいて視差画像を生成する。
【００２１】
またブロックマッチング部３１は、例えば、図１（ａ）〜図３（ｂ）に示すように、ステレオカメラ２が撮像した基準画像２００に写る認識対象９の特徴点を含む領域に類似する類似領域５を比較画像３００から探索するブロックマッチング処理において得られた認識対象９までの距離Ｄに基づいて探索幅Ｌを定めてブロックマッチング処理を行うように構成されている。
【００２２】
このブロックマッチング処理とは、例えば、図２（ａ）及び図２（ｂ）に示すように、基準画像２００の特徴点Ｘ１に対応する比較画像３００の対応点Ｘａを探索する対応点探索法による処理である。具体的には、ブロックマッチング処理は、基準画像２００の特徴点Ｘ１の周囲にブロック４を設定し、比較画像３００内の座標（Ｘ１，Ｙ１）の周囲に同じ大きさのブロック４を設定して水平方向、つまり直線Ｙ１上を移動させ、特徴点Ｘ１に対応する対応点Ｘａを探索する対応点探索法による処理である。なお特徴点Ｘ１は、基準画像２００に写る認識対象９上の点（Ｘ１，Ｙ１）である。またブロック４の移動量は、例えば、数画素単位である。
【００２３】
この対応点探索法では、例えば、図２（ｂ）に示すように、比較画像３００上でブロック４をずらしながら互いのブロックの相関演算を行い、評価関数が最も大きいブロックの座標のずれが算出される。このずれが視差Ｓである。そしてずれの量は、画像座標系の対応する位置の輝度値に置き換えられ、画像形態の距離画像として保存される。そして、この距離画像が有する距離情報を用いて、実空間での距離Ｄを得ると共に、ジェスチャ判定などの各種認識処理を行なうことができる。評価関数(マッチングさせるための類似度を評価)は、ＳＡＤ、ＳＳＤ、ＮＣＣ、ＺＮＣＣなどを用いることができる。
【００２４】
本実施の形態では、ブロックマッチングとＳＡＤ(Sum of Absolute Difference)によって視差画像を生成する。なお画像座標系は、例えば、図２（ａ）〜図３（ｂ）に示すように、画像の左上を原点とするＸＹ座標系である。
【００２５】
なお認識対象９の特徴点Ｘ１を含む領域とは、基準画像２００に設定されたブロック４内の領域であり、この領域に類似する類似領域５とは、比較画像３００の対応点Ｘａが中心に位置するブロック４内の領域である。
【００２６】
ブロックマッチング部３１は、ブロックマッチング処理で得られた視差Ｓから距離Ｄを算出する。なお変形例として距離Ｄは、例えば、レーダなどの手段によって測定されたものであっても良い。
【００２７】
ここでステレオカメラ２と認識対象９までの距離Ｄが遠い場合、例えば、図３（ａ）に示すように、距離Ｄが近い場合と比べて、比較画像３００に写る認識対象９の画像が小さい。またステレオカメラ２と認識対象９までの距離Ｄが近い場合、例えば、図３（ｂ）に示すように、距離Ｄが遠い場合と比べて、比較画像３００に写る認識対象９の画像が大きい。
【００２８】
探索幅Ｌが一定の場合、比較画像３００の認識対象９の画像の大きさに幅があるので、特徴点Ｘ１に対応する対応点Ｘａが他の点とされたり、対応点Ｘａがないとされたりする誤マッチングが生じる可能性がある。
【００２９】
そこでブロックマッチング部３１は、異なる定数（β，γ）を距離Ｄの逆数に乗算して特徴点Ｘ１に加算し、探索幅Ｌの始点Ｘ２と終点Ｘ３を定めるように構成されている。つまり以下の式（１）及び式（２）によって探索幅Ｌを定める。
探索幅Ｌの始点Ｘ２＝Ｘ１＋β×（１／Ｄ）・・・（１）
探索幅Ｌの終点Ｘ３＝Ｘ１＋γ×（１／Ｄ）・・・（２）
ただしβ，γは定数であり、β＜γである。
【００３０】
（手領域抽出部３２の構成）
手領域抽出部３２は、一例として、ブロックマッチング部３１によって生成された視差画像に基づいて認識対象９の手領域候補を第１の手領域候補として抽出し、基準画像２００及び比較画像３００の少なくとも一方の画像に基づいて生成したエッジ部分の輝度画像から認識対象９の手領域候補を第２の手領域候補として抽出し、第１の手領域候補と第２の手領域候補の論理積（ＡＮＤ）を取ることによって認識対象９の手領域を抽出するように構成されている。この抽出された手領域は、ジェスチャの判定などに使用される。なお手領域抽出部３２は、上述の抽出方法に限定されず、他の抽出方法であっても良い。
【００３１】
以下に本実施の形態の画像認識装置１の動作の一例について図４のフローチャートに従って説明する。
【００３２】
（動作）
画像認識装置１のキャリブレーション部３０は、画像認識を行う前、キャリブレーションを行う。続いて画像認識装置１のブロックマッチング部３１は、定数（β，γ）を設定する（Ｓｔｅｐ１）。この定数の設定は、予め定められた初期値とする。
【００３３】
次にブロックマッチング部３１は、探索幅Ｌの始点（Ｘ１）と終点（Ｘ２）の初期化を行う（Ｓｔｅｐ２）。
【００３４】
次にブロックマッチング部３１は、ステレオカメラ２から基準画像２００及び比較画像３００を取得する（Ｓｔｅｐ３）。
【００３５】
次にブロックマッチング部３１は、ブロックマッチング処理を行う（Ｓｔｅｐ４）。具体的には、ブロックマッチング部３１は、基準画像２００にブロック４を設定し、このブロック４に対応する比較画像３００の位置にブロック４を設定し、当該ブロック４を水平移動させながら類似度を算出する。
【００３６】
次に手領域抽出部３２は、上述の方法によって認識対象９を抽出する（Ｓｔｅｐ５）。
【００３７】
次にブロックマッチング部３１は、認識対象９が抽出できた場合（Ｓｔｅｐ６：Ｙｅｓ）、視差Ｓなどに基づいて距離Ｄを取得する（Ｓｔｅｐ７）。なおブロックマッチング部３１は、レーダなどの手段によって距離Ｄが測定される場合、このレーダなどの手段から距離Ｄを取得する。
【００３８】
次にブロックマッチング部３１は、取得した距離Ｄと上述の式（１）及び式（２）とに基づいて探索幅Ｌの始点（Ｘ２）及び終点（Ｘ３）を再設定し（Ｓｔｅｐ８）、次の基準画像２００及び比較画像３００を取得するため、ステップ３に処理を進める。
【００３９】
ここでステップ６においてブロックマッチング部３１は、認識対象９が抽出できなかった場合（Ｓｔｅｐ６：Ｎｏ）、次の基準画像２００及び比較画像３００から認識対象９を抽出するため、ステップ２に処理を進める。
【００４０】
（第１の実施の形態の効果）
本実施の形態に係る画像認識装置１は、誤マッチングの抑制と処理速度の向上とを両立させることができる。具体的には、画像認識装置１は、類似領域５を探索する探索幅Ｌを限定するので、広い範囲を探索する場合と比べて、似た領域を検出するような誤マッチングを抑制することができる。また画像認識装置１は、類似領域５を探索する探索幅Ｌを限定するので、マッチング処理を行う回数が減って処理負荷が低減すると共に処理速度を向上させることができる。従って画像認識装置１は、誤マッチングの抑制と処理速度の向上とを両立させることができる。
【００４１】
［第２の実施の形態］
第２の実施の形態は、探索幅Ｌの更新頻度を抑制する点で第１の実施の形態と異なっている。
【００４２】
図５は、第２の実施の形態に係る画像認識装置の探索幅の更新の一例について説明するための概略図である。なお以下に記載する実施の形態において、第１の実施の形態と同じ機能及び構成を有する部分は、第１の実施の形態と同じ符号を付し、その説明は省略するものとする。
【００４３】
本実施の形態のブロックマッチング部３１は、例えば、図５に示すように、特徴点Ｘ１に対応する類似領域５の対応点Ｘａが探索幅Ｌの始点Ｘ２又は終点Ｘ３に予め設定された範囲（範囲Ｌ１及び範囲Ｌ２の少なくとも一方）内であった場合に探索幅Ｌを更新する。言い換えるならブロックマッチング部３１は、対応点Ｘａが探索幅Ｌ内であって、かつ探索幅Ｌに設定された範囲Ｌ１及び範囲Ｌ２の外である場合、探索幅Ｌの更新を行わない。
【００４４】
この範囲Ｌ１及び範囲Ｌ２は、例えば、図５に斜線で示す範囲である。範囲Ｌ１及び範囲Ｌ２は、探索幅Ｌの範囲内であって、少なくともＸａ＜Ｘ２＋α、Ｘａ＞Ｘ３−αの一方によって規定される範囲である。このαは、定数であっても良いし、距離Ｄの関数として定義されても良い。本実施の形態では、一例として、範囲Ｌ１及び範囲Ｌ２を設定するものとし、またα＝ξ×（１／Ｄ）とされる。このξは、ゼロより大きい定数である。
【００４５】
以下に本実施の形態の画像認識装置１の動作の一例について図６のフローチャートに従って説明する。
【００４６】
（動作）
画像認識装置１のキャリブレーション部３０は、画像認識を行う前、キャリブレーションを行う。続いて画像認識装置１のブロックマッチング部３１は、定数（β，γ，ξ）を設定する（Ｓｔｅｐ１１）。この定数の設定は、予め定められた初期値とする。
【００４７】
次にブロックマッチング部３１は、探索幅Ｌの始点（Ｘ１）と終点（Ｘ２）の初期化を行う（Ｓｔｅｐ１２）。
【００４８】
次にブロックマッチング部３１は、ステレオカメラ２から基準画像２００及び比較画像３００を取得する（Ｓｔｅｐ１３）。
【００４９】
次にブロックマッチング部３１は、ブロックマッチング処理を行う（Ｓｔｅｐ１４）。
【００５０】
次に手領域抽出部３２は、上述の方法によって認識対象９を抽出する（Ｓｔｅｐ１５）。
【００５１】
次にブロックマッチング部３１は、認識対象９が抽出できた場合（Ｓｔｅｐ１６：Ｙｅｓ）、視差Ｓなどに基づいて距離Ｄを取得する（Ｓｔｅｐ１７）。
【００５２】
次にブロックマッチング部３１は、対応点Ｘａが探索幅Ｌ内であり、かつ予め定められた範囲Ｌ１及び範囲Ｌ２内である場合（Ｓｔｅｐ１８：Ｙｅｓ）、取得した距離Ｄに基づいて探索幅Ｌの始点（Ｘ２）及び終点（Ｘ３）を再設定すると共に範囲Ｌ１及び範囲Ｌ２を再設定し（Ｓｔｅｐ１９）、次の基準画像２００及び比較画像３００を取得するため、ステップ１３に処理を進める。
【００５３】
ここでステップ１６においてブロックマッチング部３１は、認識対象９が抽出できなかった場合（Ｓｔｅｐ１６：Ｎｏ）、次の基準画像２００及び比較画像３００から認識対象９を抽出するため、ステップ１２に処理を進める。
【００５４】
またステップ１８においてブロックマッチング部３１は、対応点Ｘａが探索幅Ｌ内であり、かつ予め定められた範囲Ｌ１及び範囲Ｌ２の外である場合（Ｓｔｅｐ１８：Ｎｏ）、ステップ１３に処理を進める。
【００５５】
（第２の実施の形態の効果）
本実施の形態の画像認識装置１は、探索幅Ｌの更新頻度を抑制することにより、処理負荷が低減すると共に処理速度が向上する。
【００５６】
変形例として画像認識装置１は、上記の実施の形態の構成に限定されず、認識対象９を撮像するステレオカメラ２から基準画像２００及び比較画像３００を取得し、認識対象９までの距離Ｄを取得し、基準画像２００に写る認識対象９の特徴点Ｘ１を含む領域に類似する類似領域５を比較画像３００から探索するための探索幅Ｌを距離Ｄに基づいて定めてブロックマッチング処理を行う、画像認識方法を実行するように構成されれば良い。
【００５７】
上述の実施の形態及び変形例に係る画像認識装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）などによって実現されても良い。
【００５８】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均などの範囲に含まれる。
【符号の説明】
【００５９】
１…画像認識装置、２…ステレオカメラ、３…画像処理部、４…ブロック、５…類似領域、９…認識対象、２０…左カメラ、２１…右カメラ、３０…キャリブレーション部、３１…ブロックマッチング部、３２…手領域抽出部、２００…基準画像、３００…比較画像
【図１】
2018206063.tif 000003
【図２】
2018206063.tif 000004
【図３】
2018206063.tif 000005
【図４】
2018206063.tif 000006
【図５】
2018206063.tif 000007
【図６】
2018206063.tif 000008