(57)【要約】【課題】手の向きに関わらず検出対象の手の部位を検出することができる画像処理装置及び画像処理方法を提供する。【解決手段】画像処理装置１は、検出対象の手の部位が含まれる候補領域１２１を検出する候補領域検出部１２と、候補領域１２１が検出された場合、中心を基準領域１４０、基準領域１４０の周囲を周辺領域１４１〜周辺領域１４８として候補領域１２１を９等分し、基準領域１４０における手領域１０１の密度と周辺領域１４１〜周辺領域１４８における手領域１０１の密度の差から周辺領域１４１〜周辺領域１４８の密度差を算出する算出部１４と、密度差に関する密度差しきい値を有し、算出された周辺領域１４１〜周辺領域１４８の密度差と密度差しきい値とを比較して候補領域１２１に検出対象の手の部位が検出されたか否かを判定する制御部１６と、を備えて概略構成されている。【選択図】図２
2018025973.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像に対して二値化処理を行い、手領域を画素値１、その他の領域を画素値０とする二値化画像を生成する二値化処理部と、
探索窓を用いて前記二値化画像を走査し、検出対象の手の部位が含まれる候補領域を検出する候補領域検出部と、
前記候補領域が検出された場合、中心を基準領域、前記基準領域の周囲を周辺領域として前記候補領域を９等分し、前記基準領域における手領域の密度と前記周辺領域における手領域の密度の差から前記周辺領域の密度差を算出する算出部と、
前記密度差に関する密度差しきい値を有し、算出された前記周辺領域の前記密度差と前記密度差しきい値とを比較して前記候補領域に前記検出対象の手の部位が検出されたか否かを判定する判定部と、
を備えた画像処理装置。
【請求項２】
前記判定部は、前記検出対象の手の部位として指先を検出する場合、前記密度差がマイナスの前記密度差しきい値以下だとその周辺領域を＋１点、前記密度差がマイナスの前記密度差しきい値より大きいとその周辺領域を−１点とし、８つの周辺領域の合計点数が０点以上である場合、指先が検出されたと判定する、
請求項１に記載の画像処理装置。
【請求項３】
前記判定部は、前記検出対象の手の部位として指又を検出する場合、前記密度差が前記密度差しきい値以上だとその周辺領域を＋１点、前記密度差が前記密度差しきい値より小さいとその周辺領域を−１点とし、８つの周辺領域の合計点数が０点以上である場合、指又が検出されたと判定する、
請求項１に記載の画像処理装置。
【請求項４】
前記判定部は、前記基準領域を中心として対称な周辺領域の点数が共に−１点の場合、合計点から５点減算する、
請求項２又は３に記載の画像処理装置。
【請求項５】
撮像された画像に対して二値化処理を行い、手領域を画素値１、その他の領域を画素値０とする二値化画像を生成し、
探索窓を用いて前記二値化画像を走査し、検出対象の手の部位が含まれる候補領域を検出し、
前記候補領域が検出された場合、中心を基準領域、前記基準領域の周囲を周辺領域として前記候補領域を９等分し、前記基準領域における手領域の密度と前記周辺領域における手領域の密度の差から前記周辺領域の密度差を算出し、
前記密度差に関する密度差しきい値を有し、算出された前記周辺領域の前記密度差と前記密度差しきい値とを比較して前記候補領域に前記検出対象の手の部位が検出されたか否かを判定する画像処理方法。
【請求項６】
前記検出対象の手の部位として指先を検出する場合、前記密度差がマイナスの前記密度差しきい値以下だとその周辺領域を＋１点、前記密度差がマイナスの前記密度差しきい値より大きいとその周辺領域を−１点とし、８つの周辺領域の合計点数が０点以上である場合、指先が検出されたと判定する、
請求項５に記載の画像処理方法。
【請求項７】
前記検出対象の手の部位として指又を検出する場合、前記密度差が前記密度差しきい値以上だとその周辺領域を＋１点、前記密度差が前記密度差しきい値より小さいとその周辺領域を−１点とし、８つの周辺領域の合計点数が０点以上である場合、指又が検出されたと判定する、
請求項５に記載の画像処理方法。
【請求項８】
前記基準領域を中心として対称な周辺領域の点数が共に−１点の場合、合計点から５点減算する、
請求項６又は７に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来の技術として、画像から指先候補を検出する指先候補検出手段と、指先候補検出手段が検出した指先候補から或る方向に所定距離延伸する肌領域を、指として検出する指検出手段と、指検出手段が検出した指の本数に基づいて、ジェスチャの種別を特定するジェスチャ種別特定手段と、を備えるジェスチャ認識装置が知られている（例えば、特許文献１参照。）。
【０００３】
このジェスチャ認識装置の指先候補検出手段は、画像上に対して、所定の大きさの矩形領域で走査し、矩形領域に含まれる肌領域の割合が所定範囲内であり、かつ肌領域の重心位置が矩形領域の下半分に位置する肌領域を指先候補とするように構成されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２０６９３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし従来のジェスチャ認識装置は、画像上において指先が上を向いているものしか指先候補として検出されず、また指股を検出できない。
【０００６】
従って本発明の目的は、手の向きに関わらず検出対象の手の部位を検出することができる画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、撮像された画像に対して二値化処理を行い、手領域を画素値１、その他の領域を画素値０とする二値化画像を生成する二値化処理部と、探索窓を用いて二値化画像を走査し、検出対象の手の部位が含まれる候補領域を検出する候補領域検出部と、候補領域が検出された場合、中心を基準領域、基準領域の周囲を周辺領域として候補領域を９等分し、基準領域における手領域の密度と周辺領域における手領域の密度の差から周辺領域の密度差を算出する算出部と、密度差に関する密度差しきい値を有し、算出された周辺領域の密度差と密度差しきい値とを比較して候補領域に検出対象の手の部位が検出されたか否かを判定する判定部と、を備えた画像処理装置を提供する。
【発明の効果】
【０００８】
本発明によれば、手の向きに関わらず検出対象の手の部位を検出することができる。
【図面の簡単な説明】
【０００９】
【図１】図１（ａ）は、実施の形態に係る画像処理装置の一例が搭載された車両内部の概略図であり、図１（ｂ）は、画像処理装置の一例を示すブロック図である。
【図２】図２（ａ）は、実施の形態に係る画像処理装置のラスタスキャンの一例を説明するための概略図であり、図２（ｂ）は、候補領域の一例を示す概略図である。
【図３】図３（ａ）は、実施の形態に係る画像処理装置が算出する中心領域と周辺領域の手の密度の一例を示す概略図であり、図３（ｂ）は、中心領域と周辺領域の密度差の算出結果の一例を示す概略図であり、図３（ｃ）は、周辺領域の採点結果の一例を示す概略図である。
【図４】図４（ａ）は、実施の形態に係る画像処理装置が検出したクラスの一例を示す概略図であり、図４（ｂ）は、クラスの一例の周辺を拡大した概略図である。
【図５】図５（ａ）は、候補領域が指先に近い部分である一例を示す概略図であり、図５（ｂ）は、この候補領域を拡大した一例を示す概略図である。
【図６】図６（ａ）は、手が横向きになっている際の指先を候補領域とした一例を示す概略図であり、図６（ｂ）は、この候補領域を拡大した一例を示す概略図である。
【図７】図７（ａ）は、手が横向きになっている際の斜め向きの指先を候補領域とした一例を示す概略図であり、図７（ｂ）は、この候補領域を拡大した一例を示す概略図である。
【図８】図８（ａ）は、指先を閉じるようにされた指先に近い部分を候補領域とした一例を示す概略図であり、図８（ｂ）は、この候補領域を拡大した一例を示す概略図である。
【図９】図９（ａ）は、指先を閉じるようにされた指先に近い部分を指幅の３倍の探索窓でラスタスキャンを行って候補領域とした一例を示す概略図であり、図９（ｂ）は、この候補領域を拡大した一例を示す概略図である。
【図１０】図１０（ａ）は、指先を閉じるようにされた指先に近い部分を指幅の１．５倍の探索窓でラスタスキャンを行って候補領域とした一例を示す概略図であり、図１０（ｂ）は、この候補領域を拡大した一例を示す概略図である。
【図１１】図１１（ａ）は、指又の検出の一例を説明するための概略図であり、図１１（ｂ）は、指又を含む候補領域の一例を示す概略図であり、図１１（ｃ）は、指又から離れた候補領域の一例を示す概略図である。
【図１２】図１２（ａ）〜図１２（ｃ）は、実施の形態に係る探索窓のサイズと候補領域の関係を説明するための概略図である。
【図１３】図１３は、実施の形態に係る手領域の最大内接円の一例を示す概略図である。
【図１４】図１４は、実施の形態の画像処理装置の画像処理方法の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（実施の形態の要約）
実施の形態に係る画像処理装置は、撮像された画像に対して二値化処理を行い、手領域を画素値１、その他の領域を画素値０とする二値化画像を生成する二値化処理部と、探索窓を用いて二値化画像を走査し、検出対象の手の部位が含まれる候補領域を検出する候補領域検出部と、候補領域が検出された場合、中心を基準領域、基準領域の周囲を周辺領域として候補領域を９等分し、基準領域における手領域の密度と周辺領域における手領域の密度の差から周辺領域の密度差を算出する算出部と、密度差に関する密度差しきい値を有し、算出された周辺領域の密度差と密度差しきい値とを比較して候補領域に検出対象の手の部位が検出されたか否かを判定する判定部と、を備えて概略構成されている。
【００１１】
この画像処理装置は、検出対象の手の部位が含まれる候補領域を基準領域と８つの周辺領域とに分け、この領域ごとに算出した密度差と密度差しきい値とを比較することで、検出対象の手の部位が検出されたか否かを判定するので、矩形領域内の手の領域の重心位置が矩形領域の下半分に位置する手の領域を指先候補とする場合と比べて、手の向きに関わらず検出対象の手の部位を検出することができる。
【００１２】
[実施の形態]
（画像処理装置１の概要）
図１（ａ）は、実施の形態に係る画像処理装置の一例が搭載された車両内部の概略図であり、図１（ｂ）は、画像処理装置の一例を示すブロック図である。図２（ａ）は、実施の形態に係る画像処理装置のラスタスキャンの一例を説明するための概略図であり、図２（ｂ）は、候補領域の一例を示す概略図である。図３（ａ）は、実施の形態に係る画像処理装置が算出する中心領域と周辺領域の手の密度の一例を示す概略図であり、図３（ｂ）は、中心領域と周辺領域の密度差の算出結果の一例を示す概略図であり、図３（ｃ）は、周辺領域の採点結果の一例を示す概略図である。なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｂ）では、主な情報の流れを矢印で示している。さらに数値範囲を示す「Ａ〜Ｂ」は、Ａ以上Ｂ以下の意味で用いるものとする。
【００１３】
画像処理装置１は、一例として、図１（ａ）及び図１（ｂ）に示すように、車両８のカメラ８１によって撮像された撮像領域８１０の画像に基づいて検出対象である手の部位の検出を行うものである。このカメラ８１は、例えば、ＣＣＤ（Charge Coupled Device）素子やＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子などの固体撮像素子を有し、撮像領域８１０を撮像した画像の情報である画像情報Ｓ１を周期的に画像処理装置１に出力するように構成されている。またカメラ８１は、一例として、図１（ａ）に示すように、車両８のセンターコンソール８０に配置された表示装置８２の上方に配置されている。なお画像処理装置１は、車載に限定されない。
【００１４】
画像処理装置１は、例えば、電子機器８３に電気的に接続され、この電子機器８３に後述する判定情報Ｓ５を出力する。電子機器８３は、一例として、取得した判定情報Ｓ５に基づいて撮像領域８１０においてなされたジェスチャを判定するジェスチャ判定装置である。電子機器８３は、判定したジェスチャに応じて表示装置８２に表示されたカーソルなどを移動させたり、表示された画像をスクロールさせたりするように構成されている。
【００１５】
この画像処理装置１は、例えば、図１（ｂ）に示すように、二値化処理部１０と、候補領域検出部１２と、算出部１４と、判定部としての制御部１６と、を備えて概略構成されている。
【００１６】
画像処理装置１は、検出対象の手の部位として指先１０５又は指又１０６を検出し、後述する代表座標３４０を算出するように構成されている。なお指先１０５とは、一例として、指の先端から第一関節までを示すものとする。また指又１０６とは、一の指と一の指と隣り合う指の間のつけ根部分を示すものとする。以下では、画像処理装置１の具体的な構成について説明する。
【００１７】
（二値化処理部１０の構成）
二値化処理部１０は、図２（ａ）に示すように、撮像された画像に対して二値化処理を行い、手領域１０１を画素値１、その他の領域（背景領域１０２）を画素値０とする二値化画像１００を生成する。撮像された画像は、カメラ８１から画像情報Ｓ１として取得する。本実施の形態では、図２（ａ）に示すように、手領域１０１を白、背景領域１０２を斜線で示している。
【００１８】
二値化処理の方法は、手の輪郭が抽出可能な方法であれば良く、一例として、画像における肌色領域を手領域１０１とする方法が用いられる。また二値化処理部１０は、一例として、二値化処理によって得られた手領域１０１の輪郭線の角度変化を算出し、この角度変化が大きな位置を手首としてこの領域を除外して二値化画像１００を生成するように構成されている。
【００１９】
二値化処理部１０は、二値化処理した二値化画像１００の情報である二値化画像情報Ｓ２を生成して制御部１６を介して候補領域検出部１２に出力する。この二値化画像１００は、例えば、図２（ａ）に示すように、左上を原点とするＸＹ座標が設定されている。
【００２０】
（候補領域検出部１２の構成）
候補領域検出部１２は、探索窓１２０を用いて二値化画像１００を走査し、検出対象の手の部位が含まれる候補領域１２１を検出する。この探索は、一例として、探索窓１２０に予め定められた割合の手領域１０１が含まれていることを条件として行われる。候補領域１２１は、探索窓１２０内の領域である。
【００２１】
候補領域検出部１２は、図２（ａ）に示すように、探索窓１２０を用いて二値化画像１００の左から右に向かって上から下へと順番に走査するラスタスキャンを行う。
【００２２】
この探索窓１２０は、図２（ｂ）に示すように、正方形であり、その幅Ｗ１が指の幅Ｗ２の１．５〜３．０倍の範囲で変更される。候補領域検出部１２は、当該範囲で探索窓１２０のサイズを変えながら検出対象の手の部位を探索する。
【００２３】
探索窓１２０のサイズが１つである場合、撮像領域８１０内の手の姿勢や撮像された手の状態などによって全ての指先や指又を検出することが困難である。従って候補領域検出部１２は、上述の範囲内で探索窓１２０のサイズを変えながら探索するように構成されている。
【００２４】
なお変形例として候補領域検出部１２は、予め指の幅Ｗ２の情報が与えられていない場合、手領域１０１に外接する矩形のサイズ、手領域１０１の最大内接円３５のサイズなどから二値化画像１００における指の幅Ｗ２を推定して探索窓１２０のサイズの範囲を定めても良い。
【００２５】
候補領域検出部１２は、候補領域１２１の情報である候補領域情報Ｓ３を生成し、制御部１６を介して算出部１４に出力される。
【００２６】
（算出部１４の構成）
算出部１４は、候補領域１２１が検出された場合、中心を基準領域１４０、基準領域１４０の周囲を周辺領域１４１〜周辺領域１４８として候補領域１２１を９等分し、基準領域１４０における手領域１０１の密度と周辺領域１４１〜周辺領域１４８における手領域１０１の密度の差から周辺領域１４１〜周辺領域１４８の密度差を算出する。
【００２７】
周辺領域１４１〜周辺領域１４８は、図２（ｂ）に示すように、ラスタスキャンの方向に合わせて左上から右上、左中から右中、左下から右下に向かって並んでいる。
【００２８】
手領域１０１の密度は、基準領域１４０、及び周辺領域１４１〜周辺領域１４８内の手領域１０１の割合から算出される。この密度は、図３（ａ）に示すように、０．０（０％）〜１．０（１００％）の値を取る。
【００２９】
算出部１４は、取得した候補領域情報Ｓ３に基づいて探索窓１２０で囲まれた領域（候補領域１２１）を基準領域１４０、周辺領域１４１〜周辺領域１４８に等分割し、領域ごとに手領域１０１の密度を算出する。そして算出部１４は、周辺領域１４１〜周辺領域１４８の密度から基準領域１４０の密度を減算して密度差を算出する。算出部１４は、算出した密度差の情報を密度差情報Ｓ４として制御部１６に出力する。図３（ｂ）は、図３（ａ）に示した密度に基づいて算出部１４が算出した密度差の一例である。
【００３０】
（制御部１６の構成）
図４（ａ）は、実施の形態に係る画像処理装置が検出したクラスの一例を示す概略図であり、図４（ｂ）は、クラスの一例の周辺を拡大した概略図である。
【００３１】
制御部１６は、密度差に関する密度差しきい値を有し、算出された周辺領域１４１〜周辺領域１４８の密度差と密度差しきい値とを比較して候補領域１２１に検出対象の手の部位が検出されたか否かを判定する。
【００３２】
具体的には、制御部１６は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１６が動作するためのプログラムと、クラス間しきい値１６０と、指先密度差しきい値１６１と、指又密度差しきい値１６２と、が格納されている。ＲＡＭは、例えば、一時的に演算結果などを格納する記憶領域として用いられる。
【００３３】
クラス間しきい値１６０は、同じ指に対して複数の候補領域１２１が検出された際、新規の指なのか検出済みの指なのかを判定するクラスタリングを行うために用いられるしきい値である。制御部１６は、例えば、新規に検出対象の手の部位を検出した場合、検出済み候補の座標と新規候補の座標の距離を算出する。制御部１６は、当該距離がクラス間しきい値１６０以内であった場合、新規候補を検出済み候補と判定する。また制御部１６は、当該距離がクラス間しきい値１６０より長い場合、新規候補を新規クラス（新規の検出対象の手の部位）であると判定する。
【００３４】
図４（ａ）は、指先１０５が検出対象の手の部位である場合のクラス（クラス３０〜クラス３４）を示している。このクラス３０〜クラス３４は、小指から親指に対応している。このクラスは、探索窓１２０のサイズを変えながらラスタスキャンが行われた際、１つの指に対して重複した探索窓１２０を示している。
【００３５】
上述の新規候補の座標は、指先候補を検出した探索窓１２０内の手領域１０１に基づいて算出された座標である。また検出済み候補の座標は、例えば、図４（ｂ）に示すように、重複した探索窓１２０の平均座標である代表座標３４０とされる。なお検出対象の手の部位が指又１０６である場合は、後述する。
【００３６】
指先密度差しきい値１６１及び指又密度差しきい値１６２は、密度差しきい値である。つまり検出対象の手の部位が指先１０５である場合、制御部１６は、密度差しきい値として指先密度差しきい値１６１を用いる。また検出対象の手の部位が指又１０６である場合、制御部１６は、密度差しきい値として指又密度差しきい値１６２を用いる。
【００３７】
以下では、指先１０５及び指又１０６の検出について説明する。
【００３８】
（指先１０５の検出について）
図５（ａ）は、候補領域が指先に近い部分である一例を示す概略図であり、図５（ｂ）は、この候補領域を拡大した一例を示す概略図である。図６（ａ）は、手が横向きになっている際の指先を候補領域とした一例を示す概略図であり、図６（ｂ）は、この候補領域を拡大した一例を示す概略図である。図７（ａ）は、手が横向きになっている際の斜め向きの指先を候補領域とした一例を示す概略図であり、図７（ｂ）は、この候補領域を拡大した一例を示す概略図である。
【００３９】
制御部１６は、検出対象の手の部位として指先１０５を検出する場合、密度差がマイナスの指先密度差しきい値１６１以下だとその周辺領域を＋１点、密度差がマイナスの指先密度差しきい値１６１より大きいとその周辺領域を−１点として採点し、８つの周辺領域１４１〜周辺領域１４８の合計点数が０点以上である場合、指先１０５が検出されたと判定する。なお以下では、指先密度差しきい値１６１は、一例として、０．５とする。
【００４０】
なお追加の条件として制御部１６は、基準領域１４０を中心として対称な周辺領域の点数が共に−１点の場合、合計点から５点減算する。この対象な周辺領域は、周辺領域１４１と周辺領域１４８、周辺領域１４２と周辺領域１４７、周辺領域１４３と周辺領域１４６、及び周辺領域１４４と周辺領域１４５である。制御部１６は、この条件を追加することによってより精度の高い判定を行うことが可能になる。
【００４１】
図５（ａ）に示すように、探索窓１２０が指先に近い部分に位置する場合、つまりこの部分が候補領域１２１とされた場合、制御部１６は、基準領域１４０との密度差を算出する。そして制御部１６は、図５（ｂ）に示すように、上述の条件に基づいて周辺領域１４１〜周辺領域１４８の密度差を指先密度差しきい値１６１と比較して採点を行う。
【００４２】
図５（ｂ）に示すように、この周辺領域１４１〜周辺領域１４８の合計点数は、４点となる。しかし基準領域１４０を中心として対称となる周辺領域１４２と周辺領域１４７が共に−１となっている。従って制御部１６は、４点から５点を減算し、この候補領域１２１の合計点を−１点とする。制御部１６は、合計点が−１点であり、０点より小さいので、指先１０５ではないと判定する。
【００４３】
次に図６（ａ）に示すように、手が横方向に向いている指先１０５が候補領域１２１とされた場合、制御部１６は、基準領域１４０との密度差を算出する。そして制御部１６は、図６（ｂ）に示すように、上述の条件に基づいて周辺領域１４１〜周辺領域１４８の密度差を指先密度差しきい値１６１と比較して採点を行う。
【００４４】
図６（ｂ）に示すように、この周辺領域１４１〜周辺領域１４８の合計点数は、６点となる。従って制御部１６は、合計点が６点であり、０点以上であるので、指先１０５であると判定する。
【００４５】
次に図７（ａ）に示すように、手が横方向に向いており、さらに斜めとなる指先１０５が候補領域１２１とされた場合、制御部１６は、基準領域１４０との密度差を算出する。そして制御部１６は、図７（ｂ）に示すように、上述の条件に基づいて周辺領域１４１〜周辺領域１４８の密度差を指先密度差しきい値１６１と比較して採点を行う。
【００４６】
図７（ｂ）に示すように、この周辺領域１４１〜周辺領域１４８の合計点数は、６点となる。従って制御部１６は、合計点が６点であり、０点以上であるので、指先１０５であると判定する。図６（ａ）及び図７（ａ）に示すように、手が横向きであっても指先１０５を精度良く検出することができる。
【００４７】
続いて以下では、指が閉じられた場合の判定について説明する。
【００４８】
図８（ａ）は、指先を閉じるようにされた指先に近い部分を候補領域とした一例を示す概略図であり、図８（ｂ）は、この候補領域を拡大した一例を示す概略図である。図９（ａ）は、指先を閉じるようにされた指先に近い部分を指幅の３倍の探索窓でラスタスキャンを行って候補領域とした一例を示す概略図であり、図９（ｂ）は、この候補領域を拡大した一例を示す概略図である。図１０（ａ）は、指先を閉じるようにされた指先に近い部分を指幅の１．５倍の探索窓でラスタスキャンを行って候補領域とした一例を示す概略図であり、図１０（ｂ）は、この候補領域を拡大した一例を示す概略図である。
【００４９】
図８（ａ）に示すように、指が閉じられている際の複数の指先１０５が候補領域１２１とされた場合、制御部１６は、基準領域１４０との密度差を算出する。そして制御部１６は、図８（ｂ）に示すように、上述の条件に基づいて周辺領域１４１〜周辺領域１４８の密度差を指先密度差しきい値１６１と比較して採点を行う。
【００５０】
図８（ｂ）に示すように、この周辺領域１４１〜周辺領域１４８の合計点数は、０点となる。従って制御部１６は、合計点が０点以上であるので、指先１０５であると判定する。
【００５１】
図９（ａ）に示すように、指の幅の３倍のサイズを有する探索窓１２０を用いて候補領域１２１が検出された場合、制御部１６は、基準領域１４０との密度差を算出する。そして制御部１６は、図９（ｂ）に示すように、上述の条件に基づいて周辺領域１４１〜周辺領域１４８の密度差を指先密度差しきい値１６１と比較して採点を行う。
【００５２】
図９（ｂ）に示すように、この周辺領域１４１〜周辺領域１４８の合計点数は、−２点となる。しかし基準領域１４０を中心として対称となる周辺領域１４４と周辺領域１４５が共に−１となっている。従って制御部１６は、−２点から５点を減算し、この候補領域１２１の合計点を−７点とする。制御部１６は、合計点が−７点であり、０点より小さいので、指先１０５ではない、つまり指先１０５の検出ができないと判定する。
【００５３】
図１０（ａ）に示すように、指の幅の１．５倍のサイズを有する探索窓１２０を用いて候補領域１２１が検出された場合、制御部１６は、基準領域１４０との密度差を算出する。そして制御部１６は、図１０（ｂ）に示すように、上述の条件に基づいて周辺領域１４１〜周辺領域１４８の密度差を指先密度差しきい値１６１と比較して採点を行う。
【００５４】
図１０（ｂ）に示すように、この周辺領域１４１〜周辺領域１４８の合計点数は、０点となる。従って制御部１６は、合計点が０点以上であるので、指先１０５であると判定する。
【００５５】
続いて以下では、検出対象の手の部位が指又１０６である場合について説明する。
【００５６】
（指又１０６の検出について）
図１１（ａ）は、指又の検出の一例を説明するための概略図であり、図１１（ｂ）は、指又を含む候補領域の一例を示す概略図であり、図１１（ｃ）は、指又から離れた候補領域の一例を示す概略図である。
【００５７】
制御部１６は、検出対象の手の部位として指又１０６を検出する場合、密度差が指又密度差しきい値１６２以上だとその周辺領域を＋１点、密度差が指又密度差しきい値１６２より小さいとその周辺領域を−１点とし、８つの周辺領域１４１〜周辺領域１４８の合計点数が０点以上である場合、指又１０６が検出されたと判定する。なお指又密度差しきい値１６２は、一例として、０．０２である。
【００５８】
また制御部１６は、指先１０５と同様に、追加の条件として基準領域１４０を中心として対称な周辺領域の点数が共に−１点の場合、合計点から５点減算する。
【００５９】
図１１（ａ）に示すように、候補領域１２１が指又１０６を含む位置にある場合について説明する。制御部１６は、まず基準領域１４０との密度差を算出する。そして制御部１６は、図１１（ｂ）に示すように、上述の条件に基づいて周辺領域１４１〜周辺領域１４８の密度差を指又密度差しきい値１６２と比較して採点を行う。
【００６０】
図１１（ｂ）に示すように、この周辺領域１４１〜周辺領域１４８の合計点数は、６点となる。従って制御部１６は、合計点が６点であり、０点以上であるので、指又１０６であると判定する。
【００６１】
次に候補領域１２１が指又１０６から離れた位置にある場合について説明する。制御部１６は、まず基準領域１４０との密度差を算出する。そして制御部１６は、図１１（ｃ）に示すように、上述の条件に基づいて周辺領域１４１〜周辺領域１４８の密度差を指又密度差しきい値１６２と比較して採点を行う。
【００６２】
図１１（ｃ）に示すように、この周辺領域１４１〜周辺領域１４８の合計点数は、４点となる。しかし基準領域１４０を中心として対称となる周辺領域１４２と周辺領域１４７が共に−１となっている。従って制御部１６は、４点から５点を減算し、この候補領域１２１の合計点を−１点とする。制御部１６は、合計点が−１点であり、０点より小さいので、指又１０６ではないと判定する。
【００６３】
次に指先密度差しきい値１６１と指又密度差しきい値１６２についてさらに説明する。
【００６４】
図１２（ａ）〜図１２（ｃ）は、実施の形態に係る探索窓のサイズと候補領域の関係を説明するための概略図である。図１２（ａ）は、探索窓１２０のサイズが３９×３９画素であり、指又密度差しきい値１６２が０．５であるように設定した画像処理の検出結果を示している。図１２（ｂ）は、図１２（ａ）よりも探索窓１２０のサイズが小さくされており、探索窓１２０のサイズが３０×３０画素であり、指又密度差しきい値１６２が０．５であるように設定した画像処理の検出結果を示している。図１２（ｃ）は、図１２（ａ）及び図１２（ｂ）と比べて指又密度差しきい値１６２が小さくされ、探索窓１２０のサイズが３９×３９画素であり、指又密度差しきい値１６２が０．０２であるように設定した画像処理の検出結果を示している。
【００６５】
図１２（ａ）は、指又密度差しきい値１６２が指先密度差しきい値１６１と同じ値とされている。この場合、中指と薬指の間の指又１０６が狭いため、探索窓１２０を他の指又１０６を検出できた探索窓１２０と同じ大きさとすると、画像処理の結果、中指と薬指の間の指又１０６が検出されない非検出領域１２５となった。
【００６６】
また図１２（ｂ）に示すように、探索窓１２０を小さくして画像処理を行ったところ、親指と薬指の間、小指と薬指の間の指又１０６が広くて非検出領域１２５となった。
【００６７】
これは、指又１０６が指先１０５と異なり、指の開き具合でその形状が大きく変わることに起因している。従って探索窓１２０を大きくすると、指又１０６が狭い場合に検出されず、また探索窓１２０を小さくすると、指又１０６が広い場合に検出されない問題が生じる。
【００６８】
そこで図１２（ｃ）では、指又密度差しきい値１６２を０．５から０．０２に下げて感度を上げている。その結果、図１２（ｃ）に示すように、指又１０６の全てが検出されるようになった。以上より、画像処理装置１は、指又密度差しきい値１６２を指先密度差しきい値１６１よりも小さくして高感度とすることにより、探索窓１２０が同じ大きさであっても共通の方法で指先１０５及び指又１０６を検出することができる。従って画像処理装置１は、指先１０５と指又１０６とを用途に応じて切り分けて検出することが可能となる。
【００６９】
図１３は、実施の形態に係る手領域の最大内接円の一例を示す概略図である。ここで上述の画像処理方法を行った場合、指先１０５の検出結果と同様に、同じ指又１０６に対して複数の検出結果が得られる。そこで指又１０６の場合もクラスタリングを行って代表座標３４０を定める。この指又検出の場合、図１３に示すように、手領域１０１の最大内接円３５の中心３５０に最も近い候補領域１２１の座標を代表座標３４０とする。
【００７０】
以下に、本実施の形態の画像処理方法について図１４のフローチャートを参照しながら説明する。
【００７１】
（画像処理方法）
画像処理装置１の二値化処理部１０は、撮像された画像に対して二値化処理を行い、手領域１０１を画素値１、その他の領域（背景領域１０２）を画素値０とする二値化画像１００を生成する（Ｓｔｅｐ１）。具体的には、二値化処理部１０は、カメラ８１から取得した画像情報Ｓ１に基づく画像に対して二値化処理を行って二値化画像１００を生成し、二値化画像情報Ｓ２として候補領域検出部１２に出力する。
【００７２】
次に候補領域検出部１２は、探索窓１２０を用いて二値化画像１００を走査し、検出対象の手の部位（指先１０５又は指又１０６）が含まれる候補領域１２１を検出する（Ｓｔｅｐ２）。具体的には、候補領域検出部１２は、探索窓１２０の大きさを適宜変えながら二値化画像１００を走査（ラスタスキャン）し、候補領域１２１を検出する。候補領域検出部１２は、検出した候補領域１２１の情報である候補領域情報Ｓ３を算出部１４に出力する。
【００７３】
次に算出部１４は、候補領域１２１が検出された場合、中心を基準領域１４０、基準領域１４０の周囲を周辺領域１４１〜周辺領域１４８として候補領域１２１を９等分し、基準領域１４０における手領域１０１の密度と周辺領域１４１〜周辺領域１４８における手領域１０１の密度の差から周辺領域１４１〜周辺領域１４８の密度差を算出する（Ｓｔｅｐ３）。具体的には、算出部１４は、探索窓１２０のサイズが一例として、３９×３９画素である場合、取得した候補領域情報Ｓ３に基づく候補領域１２１に含まれる１５２１画素の内、画素値が１である割合から密度を算出する。算出部１４は、密度差を算出すると、密度差情報Ｓ４を生成して制御部１６に出力する。
【００７４】
次に制御部１６は、算出された周辺領域１４１〜周辺領域１４８の密度差と密度差しきい値とを比較して候補領域１２１に検出対象の手の部位が検出されたか否かを判定する（Ｓｔｅｐ４）。
【００７５】
制御部１６は、検出対象の手の部位として指先１０５を検出する場合、密度差がマイナスの指先密度差しきい値１６１以下だとその周辺領域を＋１点、密度差がマイナスの指先密度差しきい値１６１より大きいとその周辺領域を−１点とし、８つの周辺領域１４１〜周辺領域１４８の合計点数が０点以上である場合、指先１０５が検出されたと判定する。なお制御部１６は、追加の条件として基準領域１４０を中心として対称な周辺領域の点数が共に−１点の場合、合計点から５点減算する。
【００７６】
また制御部１６は、検出対象の手の部位として指又１０６を検出する場合、密度差が指又密度差しきい値１６２以上だとその周辺領域を＋１点、密度差が指又密度差しきい値１６２より小さいとその周辺領域を−１点とし、８つの周辺領域の合計点数が０点以上である場合、指又１０６が検出されたと判定する。なお制御部１６は、追加の条件として基準領域１４０を中心として対称な周辺領域の点数が共に−１点の場合、合計点から５点減算する。
【００７７】
制御部１６は、検出対象の手の部位が検出されると、クラスタリングを行って代表座標３４０を算出し、算出した代表座標３４０の情報である判定情報Ｓ５を接続された電子機器に出力する（Ｓｔｅｐ５）。
【００７８】
（実施の形態の効果）
本実施の形態に係る画像処理装置１は、手の向きに関わらず検出対象の手の部位を検出することができる。具体的には、画像処理装置１は、検出対象の手の部位が含まれる候補領域１２１を基準領域１４０と８つの周辺領域１４１〜周辺領域１４８とに分け、この領域ごとに算出した密度差と密度差しきい値とを比較することで、検出対象の手の部位が検出されたか否かを判定するので、矩形領域内の手の領域の重心位置が矩形領域の下半分に位置する手の領域を指先候補とする場合と比べて、手の向きに関わらず検出対象の手の部位を検出することができる。
【００７９】
画像処理装置１は、検出対象の手の部位として指先１０５と指又１０６を独立して検出することができるので、接続された電子機器８３の要求に応じて検出対象を切り分けることができる。
【００８０】
画像処理装置１は、指先１０５及び指又１０６の正確な代表座標３４０を判定情報Ｓ５として出力することができるので、後段の処理の精度が向上する。
【００８１】
上述の実施の形態及び変形例に係る画像処理装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）などによって実現されても良い。
【００８２】
また他の実施の形態として装置又はシステムが、撮像された画像に対して二値化処理を行い、手領域１０１を画素値１、その他の領域を画素値０とする二値化画像１００を生成し、探索窓１２０を用いて二値化画像１００を走査し、検出対象の手の部位が含まれる候補領域１２１を検出し、候補領域１２１が検出された場合、中心を基準領域１４０、基準領域１４０の周囲を周辺領域１４１〜周辺領域１４８として候補領域１２１を９等分し、基準領域１４０における手領域１０１の密度と周辺領域１４１〜周辺領域１４８における手領域１０１の密度の差から周辺領域１４１〜周辺領域１４８の密度差を算出し、密度差に関する密度差しきい値を有し、算出された周辺領域１４１〜周辺領域１４８の密度差と密度差しきい値とを比較して候補領域１２１に検出対象の手の部位が検出されたか否かを判定する画像処理方法を実施するように構成されても良い。
【００８３】
この画像処理方法において検出対象の手の部位として指先１０５を検出する場合、密度差がマイナスの指先密度差しきい値１６１以下だとその周辺領域を＋１点、密度差がマイナスの指先密度差しきい値１６１より大きいとその周辺領域を−１点とし、８つの周辺領域１４１〜周辺領域１４８の合計点数が０点以上である場合、指先１０５が検出されたと判定するようにされる。なおこの画像処理方法では、追加の条件として基準領域１４０を中心として対称な周辺領域の点数が共に−１点の場合、合計点から５点減算する。
【００８４】
また画像処理方法において検出対象の手の部位として指又１０６を検出する場合、密度差が指又密度差しきい値１６２以上だとその周辺領域を＋１点、密度差が指又密度差しきい値より小さいとその周辺領域を−１点とし、８つの周辺領域１４１〜周辺領域１４８の合計点数が０点以上である場合、指又１０６が検出されたと判定する。なおこの画像処理方法では、追加の条件として基準領域１４０を中心として対称な周辺領域の点数が共に−１点の場合、合計点から５点減算する。
【００８５】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８６】
１…画像処理装置、８…車両、１０…二値化処理部、１２…候補領域検出部、１４…算出部、１６…制御部、３０〜３４…クラス、３５…最大内接円、８０…センターコンソール、８１…カメラ、８２…表示装置、８３…電子機器、１００…二値化画像、１０１…手領域、１０２…背景領域、１０５…指先、１０６…指又、１２０…探索窓、１２１…候補領域、１２５…非検出領域、１４０…基準領域、１４１〜１４８…周辺領域、１６０…クラス間しきい値、１６１…指先密度差しきい値、１６２…指又密度差しきい値、３４０…代表座標、３５０…中心、８１０…撮像領域
【図１】
2018025973.tif 000003
【図２】
2018025973.tif 000004
【図３】
2018025973.tif 000005
【図４】
2018025973.tif 000006
【図５】
2018025973.tif 000007
【図６】
2018025973.tif 000008
【図７】
2018025973.tif 000009
【図８】
2018025973.tif 000010
【図９】
2018025973.tif 000011
【図１０】
2018025973.tif 000012
【図１１】
2018025973.tif 000013
【図１２】
2018025973.tif 000014
【図１３】
2018025973.tif 000015
【図１４】
2018025973.tif 000016