(57)【要約】【課題】手の平の誤検出を抑制することができる画像認識装置を提供する。【解決手段】画像認識装置１は、例えば、入力する画像情報から得られた距離変換画像２５０の距離変換値２５１が最大となる位置を中心位置Ｃとした手の平候補１２２の半径Ｒと、距離変換画像２５０から求められた指先候補の指先位置Ｐと中心位置Ｃまでの距離Ｌと、が予め定められた条件を満たす場合、手の平候補１２２を求める手の平であると判定し、予め定められた条件を満たさない場合、手の平候補１２２内の距離変換値２５１をゼロとして次の手の平候補を再度抽出させる判定部１５０を備えて概略構成されている。【選択図】図４
2018132986.tif 000002
【特許請求の範囲】
【請求項１】
入力する画像情報から得られた距離変換画像の距離変換値が最大となる位置を中心位置とした手の平候補の半径と、前記距離変換画像から求められた指先候補の指先位置と前記中心位置までの距離と、が予め定められた条件を満たす場合、前記手の平候補を求める手の平であると判定し、前記予め定められた条件を満たさない場合、前記手の平候補内の前記距離変換値をゼロとして次の手の平候補を再度抽出させる判定部を備えた画像認識装置。
【請求項２】
前記画像情報から２値化処理により手領域を検出する手領域検出部と、
前記手領域の領域内画素の画素値を領域輪郭との最短距離値に置き換えた前記距離変換画像を生成し、前記距離変換画像から求められる前記距離変換値が最大となる位置を前記中心位置として前記手の平候補を抽出する手の平候補抽出部と、
前記手領域における指先方向を示す長手方向を検出する長手方向検出部と、
前記手領域における指先方向を示す長手方向を検出し、前記手の平候補の前記中心位置から前記長手方向に最も遠い指先候補の前記指先位置を検出する指先位置検出部と、
を備えた、
請求項１に記載の画像認識装置。
【請求項３】
前記指先位置検出部は、前記手の平候補の前記中心位置と全ての手の輪郭画素との距離を算出し、距離が極大値となる画素を指先候補として抽出し、前記手の平候補の前記中心位置から前記長手方向に最も遠い指先候補を指先位置として検出する、
請求項２に記載の画像認識装置。
【請求項４】
前記判定部は、前記手の平候補の前記中心位置から前記最も遠い指先候補の前記指先位置までの距離を前記手の平候補の半径で除算した数が予め定められたしきい値以下である場合、前記手の平候補を求める手の平であると判定する、
請求項１乃至３のいずれか１項に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関する。
【背景技術】
【０００２】
従来の技術として、赤外線カメラによる撮像画像を２値化処理し、この画像から手の平を検出する画像認識装置が知られている（例えば、特許文献１参照）。
【０００３】
この画像認識装置は、２値化処理及び孤立点除去後の画像に対して、手領域内部の点から輪郭までの最短距離を算出し、この最短距離が最大となる位置を検出し、この位置を手の平の中心位置と認定する。また手の平サイズ検出部は、中心位置から輪郭までの最短距離により距離変換値を算出して、これにより手の平の大きさを認定する。手の平サイズ検出部で得られた手の平半径を示す情報などは、手特徴情報として蓄積部に蓄積され、動作判断部により例えばジェスチャ判断に利用される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１５／０３７２７３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし従来の画像認識装置は、２値画像に腕や服の袖が映り込み、かつ、腕の幅や服の袖の幅が手の平よりも太く映った場合、距離変換値が最大となる画素が手の平の中心とは異なり、誤検出となる問題があった。
【０００６】
従って本発明の目的は、手の平の誤検出を抑制することができる画像認識装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様は、入力する画像情報から得られた距離変換画像の距離変換値が最大となる位置を中心位置とした手の平候補の半径と、距離変換画像から求められた指先候補の指先位置と中心位置までの距離と、が予め定められた条件を満たす場合、手の平候補を求める手の平であると判定し、予め定められた条件を満たさない場合、手の平候補内の距離変換値をゼロとして次の手の平候補を再度抽出させる判定部を備えた画像認識装置を提供する。
【発明の効果】
【０００８】
本発明によれば、手の平の誤検出を抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】図１（ａ）は、本実施の形態に係る画像認識装置の配置の一例を示す概略図であり、図１（ｂ）は、画像認識装置のブロック図の一例である。
【図２】図２（ａ）は、本実施の形態に係る画像認識装置のカメラで撮像された手の輝度画像の一例を示す概略図であり、図２（ｂ）は、輝度画像に対して行われた２値化処理により得られた２値画像の一例を示す概略図であり、図２（ｃ）は、２値画像から得られた距離変換画像の一例を示す概略図である。
【図３】図３（ａ）は、実施の形態に係る画像認識装置の長手方向検出部が行う長手方向の検出方法の一例を説明するための概略図であり、図３（ｂ）は、手の平候補の半径と手の平候補の中心位置から指先位置までの距離とを説明するための概略図であり、図３（ｃ）は、距離変換値がゼロとされた距離変換画像の一例を示す概略図である。
【図４】図４は、実施の形態に係る画像認識装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（実施の形態の要約）
実施の形態に係る画像認識装置は、入力する画像情報から得られた距離変換画像の距離変換値が最大となる位置を中心位置とした手の平候補の半径と、距離変換画像から求められた指先候補と中心位置までの距離と、が予め定められた条件を満たす場合、手の平候補を求める手の平であると判定し、予め定められた条件を満たさない場合、手の平候補内の距離変換値をゼロとして次の手の平候補を再度抽出させる判定部を備えて概略構成されている。
【００１１】
この画像認識装置は、手の平候補が予め定められた条件を満たさない場合、当該手の平候補内の距離変換値をゼロとして再度手の平候補を抽出させるので、この構成を採用しない場合と比べて、手の平の誤検出を抑制することができる。
【００１２】
[実施の形態]
（画像認識装置１の概要）
図１（ａ）は、本実施の形態に係る画像認識装置の配置の一例を示す概略図であり、図１（ｂ）は、画像認識装置のブロック図の一例である。図２（ａ）は、本実施の形態に係る画像認識装置のカメラで撮像された手の輝度画像の一例を示す概略図であり、図２（ｂ）は、輝度画像に対して行われた２値化処理により得られた２値画像の一例を示す概略図であり、図２（ｃ）は、２値画像から得られた距離変換画像の一例を示す概略図である。図３（ａ）は、実施の形態に係る画像認識装置の長手方向検出部が行う長手方向の検出方法の一例を説明するための概略図であり、図３（ｂ）は、手の平候補の半径と手の平候補の中心位置から指先位置までの距離とを説明するための概略図であり、図３（ｃ）は、距離変換値がゼロとされた距離変換画像の一例を示す概略図である。
【００１３】
なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｂ）では、主な信号などの流れを矢印で示している。さらに数値範囲を示す「Ａ〜Ｂ」は、Ａ以上Ｂ以下の意味で用いるものとする。
【００１４】
この画像認識装置１は、一例として、車両に搭載された電子機器と電気的に接続されている。この電子機器は、例えば、なされたジェスチャによって操作されるものである。そして画像認識装置１は、このジェスチャを判定するために手の平を認識し、認識した手の平の情報（後述する手の平情報Ｓ３）を当該電子機器に出力するように構成されている。
【００１５】
画像認識装置１は、例えば、図１（ａ）〜図２（ｃ）に示すように、入力する画像情報から得られた距離変換画像２５０の距離変換値２５１が最大となる位置を中心位置Ｃとした手の平候補１２２の半径Ｒと、距離変換画像２５０から求められた指先候補の指先位置（後述する指先位置Ｐ）と中心位置Ｃまでの距離（後述する距離Ｌ）と、が予め定められた条件を満たす場合、手の平候補１２２を求める手の平であると判定し、予め定められた条件を満たさない場合、手の平候補１２２内の距離変換値２５１をゼロとして次の手の平候補を再度抽出させる判定部１５０を備えて概略構成されている。
【００１６】
この画像認識装置１は、例えば、図１（ｂ）に示すように、手領域検出部１１０と、手の平候補抽出部１２０と、長手方向検出部１３０と、指先位置検出部１４０と、判定部１５０と、を有する制御部１００を備えて概略構成されている。
【００１７】
手領域検出部１１０は、フレーム画像Ｓ（ｎ）から２値化処理により手領域８１を検出する。手の平候補抽出部１２０は、手領域８１の領域内画素の画素値を領域輪郭との最短距離値に置き換えた距離変換画像２５０を生成し、距離変換画像２５０から求められる距離変換値２５１が最大となる位置を中心位置Ｃとして手の平候補１２２を抽出する。
【００１８】
長手方向検出部１３０は、手領域８１における指先方向を示す長手方向を検出する。指先位置検出部１４０は、手領域８１における指先方向を示す長手方向を検出し、手の平候補１２２の中心位置Ｃから長手方向に最も遠い指先候補の指先位置Ｐを検出する。
【００１９】
この指先位置検出部１４０は、手の平候補１２２の中心位置Ｃと全ての手の輪郭画素との距離を算出し、距離が極大値となる画素を指先候補として抽出し、手の平候補１２２の中心位置Ｃから長手方向に最も遠い指先候補を指先位置Ｐとして検出する。
【００２０】
判定部１５０は、手の平候補１２２の中心位置Ｃから最も遠い指先候補の指先位置までの距離Ｌを手の平候補１２２の半径Ｒで除算した数が予め定められたしきい値Ｔｈ以下である場合、手の平候補１２２を求める手の平であると判定する。判定部１５０は、このしきい値Ｔｈを有している。
【００２１】
図１（ａ）に示すように、画像認識装置１は、取付部５０にカメラ１０が装着されて、略水平方向に撮像する。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。カメラ１０の撮像範囲６０と略同一となる範囲を照明２０が照明する。この照明２０は、例えば、図１（ｂ）に示すように、制御部１００から供給される駆動信号Ｓ２に基づいて撮像範囲６０を照明する。
【００２２】
なお撮像する光の波長は任意の周波数の光が使用可能であるが、赤外光、近赤外光を使用して照明、撮像するシステムが好ましい。これにより、操作者が撮像時に照明光を見ることがなく、撮像時の違和感を抑制あるいは軽減することができる。
【００２３】
カメラ１０は、所定の方向から操作者の手８０を周期的に撮像し、上述のフレーム画像Ｓ（ｎ）を画像情報として制御部１００へ出力する。Ｓ（ｎ）のｎは、時系列的に付されたフレームの番号を示している。また所定の方向とは、操作者の手の平側を撮像する方向である。なおフレーム画像Ｓ（ｎ）には、一例として、図２（ａ）などに示すように、操作者の手８０以外に袖８２が映り込んでいる。
【００２４】
（制御部１００の構成）
制御部１００は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１００が動作するためのプログラムなどが格納されている。ＲＡＭは、例えば、複数のフレーム画像Ｓ（ｎ）や一時的に演算結果などを格納する記憶領域として用いられる。また制御部１００は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００２５】
（手領域検出部１１０の構成）
手領域検出部１１０は、例えば、図２（ｂ）に示すように、カメラ１０から入力されるフレーム画像Ｓ（ｎ）に対する２値化処理により、手８０の手領域８１を検出するように構成されている。具体的には、手領域検出部１１０は、例えば、入力したフレーム画像Ｓ（ｎ）から背景除去した輝度画像２１０を生成し、明るさが予め定められたしきい値以上の領域を手領域８１として抽出した２値画像２２０を生成する。なお図２（ｂ）に示す２値画像２２０は、一例として、操作者の手８０以外に袖８２が映り込んだ画像とされている。
【００２６】
ここで、例えば、カメラ１０が運転席と助手席の斜め前方に位置するセンターコンソールに配置される場合、乗員がいない際の車内が背景となる。手領域検出部１１０は、例えば、当該背景の画像を記憶し、フレーム画像Ｓ（ｎ）と当該背景の画像の差分を求めて背景除去した輝度画像２１０を生成する。この背景は、一例として、予め記憶されていても良いし、時間や季節などの環境の変化を考慮して撮像された画像とされても良い。
【００２７】
（手の平候補抽出部１２０の構成）
手の平候補抽出部１２０は、例えば、図２（ｃ）に示す距離変換画像２５０から手の平候補１２２を抽出するように構成されている。この手の平候補１２２は、中心位置Ｃを中心とする半径Ｒの円として抽出される。なお半径Ｒは、例えば、性別、年齢、人種などを考慮して実測した値に基づいて定められる。
【００２８】
ここで距離変換画像２５０は、例えば、上述のように、２値画像２２０上の領域内画素の画素値を領域輪郭との最短距離値に置き換えた画像として生成される。距離変換画像２５０は、図２（ｃ）に示すように、距離変換値２５１が大きいほど白くなるように表示されている。図２（ｃ）に示す点Ｃは、最大距離変換値をもつ画素である。
【００２９】
手の平候補抽出部１２０は、この点Ｃを手の平候補１２２の中心位置Ｃとして抽出する。そして手の平候補抽出部１２０は、例えば、図２（ｂ）に示すように、中心位置Ｃを中心とする半径Ｒの円を手の平候補１２２として抽出する。図２（ｂ）に示す例では、服の袖８２が手の平よりも太く映っているため、袖８２の部分の距離変換値２５１が大きくなり、この袖８２の部分を手の平候補１２２として抽出している。
【００３０】
（長手方向検出部１３０の構成）
長手方向検出部１３０は、例えば、図３（ｂ）で示すように、手８０の長手方向の検出を行なう。図３（ｂ）に示す長手方向は、中心位置Ｃから指先位置Ｐに向かう方向、又はその逆方向である。長手方向の検出方法としては、例えば、図３（ａ）に示す慣性主軸を用いた検出方法などが考えられる。
【００３１】
図３（ａ）で示すような領域３００の長手方向（角度θ）は、以下に示す式（１）の解として求まる。
ｔａｎ２θ＋｛Ｍ（２，０）−Ｍ（０，２）｝／Ｍ（１，１）×ｔａｎθ−１＝０…（１）
ただしモーメントＭ（ｐ，ｑ）＝Σ（ｉｊ）ｉｐｊｑｆｉｊ
｛ｆｉｊ｝は、図形内で１をとり、図形外で０を取る２値画像とする。
またｉは、図３（ａ）に示す座標系の横軸、ｊは、縦軸である。
長手方向検出部１３０は、上述の式で算出された主軸方向αを長手方向とする。
【００３２】
（指先位置検出部１４０の構成）
指先位置検出部１４０は、図３（ａ）で示した主軸方向α（長手方向）を示す角度θから長手方向を定め、指先方向の推定を行なうように構成されている。なお指先方向は、例えば、図１（ａ）で示すように、カメラ１０の配置と撮影条件から、上向きを指先方向とすることが可能である。
【００３３】
そして指先位置検出部１４０は、手の平候補抽出部１２０で抽出した手の平候補１２２の中心位置Ｃと全ての手の輪郭画素との距離を算出し、距離が極大値となる画素を指先候補、極小値となる画素を指又候補として抽出する。抽出した指先候補のうち、手の平候補１２２の中心位置Ｃから見て指先方向に最も遠い指先候補を指先位置Ｐとして検出する。
【００３４】
図３（ｂ）では、小さい丸印の極大値を指先候補として図示し、また大きい丸印の極小値を指又候補として図示している。指先位置検出部１４０は、例えば、上向きが長手方向なので、図３（ｂ）に◎（二重丸）で示す位置を指先位置Ｐとして推定する。
【００３５】
画像認識装置１は、正確な手の平候補１２２を抽出できた場合、正確な指先と指又を検出することができ、後段の処理による正確なジェスチャの判定に利用される。
【００３６】
（判定部１５０の構成）
判定部１５０は、手の平候補１２２の半径Ｒと、中心位置Ｃから指先位置Ｐまでの距離Ｌと、が予め定められた条件を満たす場合、手の平候補１２２を手の平と判定する。この予め定められた条件とは、以下の条件式（２）である。
距離Ｌ／半径Ｒ≦しきい値Ｔｈ…（２）
しきい値Ｔｈは、一例として、手の平の大きさと手の平の中心から指先までの距離との比を示しており、性別、年齢、人種などを考慮して実測した値に基づいて定められ、およそ３．０〜４．０である。本実施の形態のしきい値Ｔｈは、一例として、３．５である。
【００３７】
判定部１５０は、式（２）が成り立つ場合、中心位置Ｃを有する手の平候補１２２を求める手の平であると判定する。しかし判定部１５０は、式（２）が成り立たない場合、例えば、図３（ｃ）に示すように、成り立たないと判定された手の平候補１２２の範囲に含まれる、つまり中心位置Ｃを中心とする半径Ｒの円内の距離変換値２５１をゼロとする。図３（ｃ）に斜線で示すゼロ領域２５２は、距離変換値２５１がゼロとされた領域を示している。
【００３８】
判定部１５０は、手の平候補１２２が式（２）を満たさない場合、再度手の平候補抽出部１２０に手の平候補１２２を抽出させる。この際、満たさないとされた手の平候補１２２の距離変換値２５１がゼロとされるので、この範囲の距離変換値２５１が抽出されることがない。
【００３９】
図３（ｃ）では、次に距離変換値２５１が大きい位置を中心位置Ｃａとして図示している。手の平候補抽出部１２０は、中心位置Ｃａを中心として半径Ｒの円を新たに手の平候補１２２とする。なお指先位置は、Ｐのままである。
【００４０】
そして判定部１５０は、中心位置Ｃａと指先位置Ｐまでの距離Ｌと半径Ｒとに基づいて式（２）が成り立つか否かを判定する。本実施の形態では、中心位置Ｃａは、図３（ｃ）に示すように、中心位置Ｃよりも指先位置Ｐから遠いので式（２）を満たさない。従って判定部１５０は、中心位置Ｃａを中心とするする半径Ｒの円内の距離変換値２５１をゼロとする。
【００４１】
画像認識装置１は、この動作を繰り返し、式（２）を満たす手の平候補１２２を探索する。本実施の形態では、一例として、図３（ｃ）に示す中心位置Ｃｂが次に手の平候補１２２の中心とされる。判定部１５０は、この中心位置Ｃｂと指先位置Ｐまでの距離Ｌと半径Ｒが式（２）を満たすので、この中心位置Ｃｂを中心とする手の平候補１２２を求める手の平と判定する。この手の平候補１２２は、図３（ａ）に示す手の平であるので、判定部１５０の判定精度が高いことが分かる。
【００４２】
制御部１００は、判定した手の平候補１２２の座標などの情報を含む手の平情報Ｓ３を生成し、接続された電子機器に出力する。
【００４３】
以下に、本実施の形態の画像認識装置１の動作の一例について図４のフローチャートに従って説明する。
【００４４】
（動作）
画像認識装置１の手領域検出部１１０は、カメラ１０からフレーム画像Ｓ（ｎ）が入力すると、２値化処理を行って手領域８１を検出する（Ｓｔｅｐ１）。
【００４５】
次に手の平候補抽出部１２０は、手領域検出部１１０が検出した手領域８１が含まれる２値画像２２０に基づいて距離変換画像２５０を生成し、この距離変換画像２５０に基づいて手の平候補１２２を抽出する（Ｓｔｅｐ２）。
【００４６】
次に長手方向検出部１３０は、手領域８１における指先方向を示す長手方向を検出する（Ｓｔｅｐ３）。
【００４７】
次に指先位置検出部１４０は、手の平候補１２２の中心位置Ｃから検出された長手方向に最も遠い指先候補を探索し、最も遠い指先候補を指先位置Ｐとする（Ｓｔｅｐ４）。
【００４８】
次に判定部１５０は、手の平候補１２２の中心位置Ｃから指先位置Ｐまでの距離Ｌを手の平候補１２２の半径Ｒで除算した数が予め定められたしきい値Ｔｈ以下であるか否かを確認する。判定部１５０は、距離Ｌ／半径Ｒがしきい値Ｔｈ以下である場合（Ｓｔｅｐ５：Ｙｅｓ）、この手の平候補１２２を求める手の平であると判定する（Ｓｔｅｐ６）。そして制御部１００は、当該手の平候補１２２の座標などの情報を含む手の平情報Ｓ３を生成して接続された電子機器に出力する。
【００４９】
ここでステップ５において判定部１５０は、距離Ｌ／半径Ｒがしきい値Ｔｈより大きい場合（Ｓｔｅｐ５：Ｎｏ）、この手の平候補１２２内の距離変換値２５１をゼロとする（Ｓｔｅｐ７）。そして判定部１５０は、手の平候補抽出部１２０に指示して次の手の平候補１２２を抽出させ（Ｓｔｅｐ８）、再度ステップ５に進んで新たな手の平候補１２２に対して判定を行う。
【００５０】
（実施の形態の効果）
本実施の形態に係る画像認識装置１は、手の平の誤検出を抑制することができる。具体的には、画像認識装置１は、抽出された手の平候補１２２が予め定められた条件である距離Ｌ／半径Ｒ≦Ｔｈを満たさない場合、当該手の平候補１２２内の距離変換値２５１をゼロとして条件が満たされるまで繰り返し判定を行う。従って画像認識装置１は、この構成を採用しない場合と比べて、フレーム画像Ｓ（ｎ）に映り込んだ腕や服装の形状に依らず、手の平の誤検出を抑制することができる。
【００５１】
画像認識装置１は、条件が満たされない場合、手の平候補１２２内の距離変換値２５１をゼロとするので、この構成を採用しない場合と比べて、当該手の平候補１２２内の点を新たに中心位置Ｃとして抽出することがなく、処理速度が向上する。
【００５２】
画像認識装置１は、手の平の認識精度が高いので、後段に行われるジェスチャの認識精度向上させることができる。
【００５３】
上述の実施の形態及び変形例に係る画像認識装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）などによって実現されても良い。
【００５４】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均などの範囲に含まれる。
【符号の説明】
【００５５】
１…画像認識装置、１０…カメラ、２０…照明、５０…取付部、６０…撮像範囲、８０…手、８１…手領域、８２…袖、１００…制御部、１１０…手領域検出部、１２０…手の平候補抽出部、１２２…手の平候補、１３０…長手方向検出部、１４０…指先位置検出部、１５０…判定部、２１０…輝度画像、２２０…２値画像、２５０…距離変換画像、２５１…距離変換値、２５２…ゼロ領域、３００…領域
【図１】
2018132986.tif 000003
【図２】
2018132986.tif 000004
【図３】
2018132986.tif 000005
【図４】
2018132986.tif 000006