(57)【要約】【課題】手の平の検出能力に優れた画像認識装置を提供する。【解決手段】手領域８１の領域内画素の画素値を領域輪郭との最短距離値に置き換えた距離変換画像２５０を生成し、これに基づいて、第１手の平候補１２２を抽出する第１候補抽出部１２０と、手領域における指先方向を示す長手方向を検出する長手方向検出部１３０と、手領域８１における指先方向を示す長手方向を検出し、第１手の平候補１２２の中心位置Ｃ１から長手方向に最も遠い指先位置Ｐを検出する指先位置検出部１４０と、距離変換画像２５０上で、第１手の平候補１２２の中心位置Ｃ１と指先位置Ｐを結ぶ尾根線を探索し、尾根線上の距離変換値が極大となる画素を第２手の平候補１５２として抽出する第２候補抽出部１５０と、第１手の平候補１２２又は第２手の平候補１５２のうちで最も手の平らしい方を所定の条件に基づいて判定して選択することにより手の平を検出する手の平判定部１６０と、を有して画像認識装置を構成する。【選択図】図２
2018097455.tif 000002
【特許請求の範囲】
【請求項１】
画像情報から２値化処理により手領域を検出する手領域検出部と、
前記手領域の領域内画素の画素値を領域輪郭との最短距離値に置き換えた距離変換画像を生成し、これに基づいて、第１手の平候補を抽出する第１候補抽出部と、
前記手領域における指先方向を示す長手方向を検出する長手方向検出部と、
前記手領域における指先方向を示す長手方向を検出し、前記第１手の平候補の中心位置から前記長手方向に最も遠い指先候補を指先位置として検出する指先位置検出部と、
前記距離変換画像上で、前記第１手の平候補の中心位置と前記指先位置を結ぶ尾根線を探索し、前記尾根線上の距離変換値が極大となる画素を第２手の平候補として抽出する第２候補抽出部と、
前記第１手の平候補又は前記第２手の平候補のうちで最も手の平らしい方を所定の条件に基づいて判定して選択することにより手の平を検出する手の平判定部と、
を有することを特徴とする画像認識装置。
【請求項２】
前記第１候補抽出部は、前記第１手の平候補の中心位置を、前記距離変換画像から求められる距離変換値が最大となる位置として求めることを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記指先位置検出部は、前記第１手の平候補の前記中心位置と全ての手の輪郭画素との距離を算出し、距離が極大値となる画素を指先候補として抽出し、前記第１手の平候補の前記中心位置から前記長手方向に最も遠い指先候補を指先位置として検出することを特徴とする請求項１又は２に記載の画像認識装置。
【請求項４】
前記手の平判定部は、前記第１手の平候補又は前記第２手の平候補の中心位置と前記指先位置との距離、前記中心位置の距離変換値、及び所定の値に設定された閾値とから判定して、前記指先位置から最も近い候補、または、前記指先位置から最も遠い候補を選択することを特徴とする請求項１から３のいずれか１項に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関し、特に、操作者の手の平検出機能を備えた画像認識装置に関する。
【背景技術】
【０００２】
従来の技術として、赤外線カメラによる撮像画像を２値化処理し、この画像から手の平を検出する画像認識装置が知られている（例えば、特許文献１参照）。
【０００３】
この画像認識装置は、２値化処理及び孤立点除去後の画像に対して、手領域内部の点から輪郭までの最短距離を算出し、この最短距離が最大となる位置を検出し、この位置を手の平の中心位置と認定する。また、手の平サイズ検出部は、中心位置から輪郭までの最短距離により距離変換値を算出して、これにより手の平の大きさを認定する。手の平サイズ検出部で得られた手の平半径を示す情報等は、手特徴情報として蓄積部に蓄積され、動作判断部により例えばジェスチャー判断に利用される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１５／０３７２７３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の画像認識装置では、２値画像に腕や服の袖が映り込み、かつ、腕の幅や服の袖の幅が手の平よりも太く映った場合、距離変換値が最大となる画素は手の平の中心とは異なり、誤検出となる問題があった。
【０００６】
したがって、本発明の目的は、手の平の検出能力に優れた画像認識装置を提供することにある。
【課題を解決するための手段】
【０００７】
［１］上記目的を達成するため、画像情報から２値化処理により手領域を検出する手領域検出部と、前記手領域の領域内画素の画素値を領域輪郭との最短距離値に置き換えた距離変換画像を生成し、これに基づいて、第１手の平候補を抽出する第１候補抽出部と、前記手領域における指先方向を示す長手方向を検出する長手方向検出部と、前記手領域における指先方向を示す長手方向を検出し、前記第１手の平候補の中心位置から前記長手方向に最も遠い指先候補を指先位置として検出する指先位置検出部と、前記距離変換画像上で、前記第１手の平候補の中心位置と前記指先位置を結ぶ尾根線を探索し、前記尾根線上の距離変換値が極大となる画素を第２手の平候補として抽出する第２候補抽出部と、前記第１手の平候補又は前記第２手の平候補のうちで最も手の平らしい方を所定の条件に基づいて判定して選択することにより手の平を検出する手の平判定部と、を有することを特徴とする画像認識装置を提供する。
【０００８】
［２］前記第１候補抽出部は、前記第１手の平候補の中心位置を、前記距離変換画像から求められる距離変換値が最大となる位置として求めることを特徴とする上記［１］に記載の画像認識装置であってもよい。
【０００９】
［３］また、前記指先位置検出部は、前記第１手の平候補の前記中心位置と全ての手の輪郭画素との距離を算出し、距離が極大値となる画素を指先候補として抽出し、前記第１手の平候補の前記中心位置から前記長手方向に最も遠い指先候補を指先位置として検出することを特徴とする上記［１］又は［２］に記載の画像認識装置であってもよい。
【００１０】
［４］また、前記手の平判定部は、前記第１手の平候補又は前記第２手の平候補の中心位置と前記指先位置との距離、前記中心位置の距離変換値、及び所定の値に設定された閾値とから判定して、前記指先位置から最も近い候補、または、前記指先位置から最も遠い候補を選択することを特徴とする上記［１］から［３］までのいずれか１に記載の画像認識装置であってもよい。
【発明の効果】
【００１１】
本発明の画像認識装置によれば、手の平の検出能力に優れた画像認識装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態に係る画像認識装置の配置の一例を示す側面図である。
【図２】図２は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。
【図３】図３（ａ）は、撮像された手の輝度画像の一例であり、図３（ｂ）は、この手の画像情報から２値化処理により得られた２値画像であり、図３（ｃ）は、２値画像から得られた距離変換画像である。
【図４】図４は、長手方向の検出を行なうための慣性主軸を用いた検出方法を示す座標図である。
【図５】図５（ａ）は、指先方向の推定結果を示す図であり、図５（ｂ）は、指先位置の推定結果を示す図である。
【図６】図６（ａ）は、第１手の平候補と指先を結ぶ尾根線を示す図であり、図６（ｂ）は、尾根線上の距離変換値を示す図である。
【図７】図７は、本発明の実施の形態に係る画像認識装置の動作を示すフローチャートである。
【図８】図８は、上記のフローにより検出された手の平の検出結果の一例である。
【発明を実施するための形態】
【００１３】
（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、画像情報から２値化処理により手領域８１を検出する手領域検出部１１０と、手領域８１の領域内画素の画素値を領域輪郭との最短距離値に置き換えた距離変換画像２５０を生成し、これに基づいて、第１手の平候補１２２を抽出する第１候補抽出部１２０と、手領域における指先方向を示す長手方向を検出する長手方向検出部１３０と、手領域８１における指先方向を示す長手方向を検出し、第１手の平候補１２２の中心位置Ｃ１から長手方向に最も遠い指先位置Ｐを検出する指先位置検出部１４０と、距離変換画像２５０上で、第１手の平候補１２２の中心位置Ｃ１と指先位置Ｐを結ぶ尾根線を探索し、尾根線上の距離変換値が極大となる画素を第２手の平候補１５２として抽出する第２候補抽出部１５０と、第１手の平候補１２２又は第２手の平候補１５２のうちで最も手の平らしい方を所定の条件に基づいて判定して選択することにより手の平を検出する手の平判定部１６０と、を有して構成されている。
【００１４】
図１は、本発明の実施の形態に係る画像認識装置の配置の一例を示す側面図である。図１に示すように、画像認識装置１は、取付部５０に撮像手段としてのカメラ１０が装着されて、略水平方向に撮像する。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。カメラ１０の撮像範囲６０と略同一となる範囲を照明２０が照明する。なお、撮像する光の波長は任意の周波数の光が使用可能であるが、赤外光、近赤外光を使用して照明、撮像するシステムが好ましい。これにより、操作者が撮像時に照明光を見ることがなく、撮像時の違和感を防止あるいは軽減することができる。
【００１５】
カメラ１０は、所定の方向から操作者の手８０を撮像し、フレーム画像Ｓ（ｎ）を画像情報として制御部１００へ出力する。本実施の形態では、所定の方向は、操作者の手の平側を撮像する方向とする。なお、フレーム画像には、図３（ａ）等に示すように、操作者の手８０以外に袖８２が映り込んでいる。
【００１６】
（制御部１００の構成）
図２は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。制御部１００は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１００が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また制御部１００は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００１７】
制御部１００は、手領域検出部１１０、第１候補抽出部１２０、長手方向検出部１３０、指先位置検出部１４０、第２候補抽出部１５０、及び、手の平判定部１６０を備えている。
【００１８】
（手領域検出）
図３（ａ）は、撮像された手の輝度画像の一例であり、図３（ｂ）は、この手の画像情報から２値化処理により得られた２値画像であり、図３（ｃ）は、２値画像から得られた距離変換画像２５０である。
【００１９】
手領域検出部１１０は、カメラ１０から入力されるフレーム画像Ｓ（ｎ）に基づく手の画像情報から２値化処理により、図３（ｂ）に示すような手８０の手領域８１を検出する。手領域検出部１１０は、例えば、画像情報に基づいて、図３（ａ）に示すような背景除去した輝度画像２１０を生成し、明るさが所定の閾値以上の領域を手領域８１として抽出した２値画像２２０を生成する。図３（ｂ）は、この手の画像情報から２値化処理により得られた２値画像である。なお、図３（ｂ）に示すように、２値画像２２０は、操作者の手８０以外に袖８２が映り込んだ画像となっている。
【００２０】
（第１手の平候補の抽出）
第１候補抽出部１２０は、図３（ｃ）に示すような距離変換画像２５０から、第１手の平候補１２２を抽出する。第１手の平候補１２２は、第１手の平候補の中心位置Ｃ１と大きさ（半径値）Ｒ１として抽出される。
【００２１】
ここで、図３（ｃ）に示す距離変換画像２５０は、２値画像２２０上の領域内画素の画素値を領域輪郭との最短距離値に置き換えた画像として生成される。距離変換画像２５０は、図３（ｃ）において距離変換値が大きいほど白くなるように表示している。図３（ｃ）において、点Ｃ１は、最大距離変換値をもつ画素である。
【００２２】
第１候補抽出部１２０は、この点Ｃ１を第１手の平候補１２２の中心位置Ｃ１として抽出する。また、この中心位置Ｃ１での距離変換値を第１手の平候補１２２の大きさ（半径値）Ｒ１として抽出する。この抽出された第１手の平候補１２２の中心位置Ｃ１、大きさ（半径値）Ｒ１を図３（ｂ）に示す。図３（ｂ）に示す例では、服の袖が手の平よりも太く映っているため、袖部分の距離変換値が大きくなり、この袖部分を第１手の平候補１２２として抽出している。
【００２３】
（長手方向検出）
長手方向検出部１３０は、図３（ｂ）で示す手８０の長手方向の検出を行なう。なお、上向き方向を指先方向とする。長手方向の検出方法としては、例えば、次に示す慣性主軸を用いた検出方法が考えられる。
【００２４】
図４は、長手方向の検出を行なうための慣性主軸を用いた検出方法を示す座標図である。図４で示すような領域３００の長手方向（角度θ）は下式の解として求まる。
2018097455.tif 000003
ただし、モーメント  
2018097455.tif 000004
2018097455.tif 000005
は、図形内で１をとり、図形外で０をとる２値画像とする。
【００２５】
（指先位置の検出）
（指先方向の推定）
図５（ａ）は、指先方向の推定結果を示す図である。指先位置検出部１４０は、図４で示した主軸方向（長手方向）を示す角度θから、図５（ａ）の矢印で示す方向を長手方向として、指先方向の推定を行なう。なお、図１で示したように、カメラ１０の配置と撮影条件から、上向きを指先方向とすることができる。
【００２６】
（指先位置の推定）
図５（ｂ）は、指先位置の推定結果を示す図である。指先位置検出部１４０は、第１手の平候補の抽出ステップで抽出した第１手の平候補１２２の中心位置Ｃ１と全ての手の輪郭画素との距離を算出し、距離が極大値となる画素を指先候補、極小値となる画素を指又候補として抽出する。抽出した指先候補のうち、第１手の平候補１２２の中心位置Ｃ１から見て指先方向に最も遠い指先候補を指先位置Ｐとして検出する。
【００２７】
図５（ｂ）において、小さい丸印の極大値を指先候補として図示し、また、大きい丸印の極小値を指又候補として図示する。図５（ａ）で示した指先方向（上向き）から、図５（ｂ）に◎（二重丸）で示す位置を指先位置Ｐとして推定することができる。
【００２８】
（第２手の平候補の抽出）
図６（ａ）は、図３（ｃ）で示した距離変換画像２５０上に第１手の平候補と指先を結ぶ尾根線を示す距離変換画像２５１であり、図６（ｂ）は、尾根線上の距離変換値を示す図である。なお、距離変換画像２５１は、第１手の平候補の抽出で行なったと同様に、距離変換画像２５１は、第１手の平候補の中心位置Ｃ１と指先位置Ｐを結ぶ尾根線２５２を探索しながら、図３（ｂ）で示した２値画像２２０上の領域内画素の画素値を領域輪郭との最短距離値に置き換えた画像として生成される。
【００２９】
第２候補抽出部１５０は、距離変換画像２５１上で、第１手の平候補の中心位置Ｃ１と指先位置Ｐを結ぶ尾根線２５２を探索する。尾根線２５２は、距離変換値が高い箇所を通りながら上記２点を結ぶ線である。尾根線２５２を探索する際、尾根線２５２上の距離変換値が極大値Ｑとなる画素を手の平候補として抽出する。第２候補抽出部１５０は、この手の平候補を第２手の平候補１５２の中心位置Ｃ２として抽出する。また、この中心位置Ｃ２での距離変換値を第２手の平候補１５２の大きさ（半径値）Ｒ２として抽出する。
【００３０】
なお、本実施の形態では、図６（ｂ）に示すように尾根線上の極大値は１つの例としたが、複数の極大値、すなわち複数の手の平候補が抽出される場合がある。複数の手の平候補が抽出された場合において、第ｉ手の平候補の中心位置をＣｉ、大きさ（半径値）Ｒｉとする。
【００３１】
（手の平判定）
手の平判定部１６０は、第１手の平候補１２２又は第２手の平候補１５２のうちで最も手の平らしい方を所定の条件に基づいて判定して選択することにより、手の平を検出する。手の平判定部１６０は、第２候補抽出部１５０により第２手の平候補１５２が抽出されたかどうかを判断し、また、所定の条件に基づいて、第１手の平候補１２２又は第２手の平候補１５２のどちらがより手の平らしいかを判定する。以下に、手の平判定のフローチャートに基づいて説明する。
【００３２】
図７は、本発明の実施の形態に係る画像認識装置１の動作を示すフローチャートである。画像認識装置１の動作がスタートすると、制御部１００は、手領域検出部１１０により前述した手領域検出（Ｓｔｅｐ１）、第１候補抽出部１２０により前述した第１手の平候補の抽出（Ｓｔｅｐ２）、長手方向検出部１３０により前述した長手方向検出（Ｓｔｅｐ３）、指先位置検出部１４０により前述した指先位置Ｐの検出（Ｓｔｅｐ４）、第２候補抽出部１５０により前述した第２手の平候補の抽出（Ｓｔｅｐ５）を実行する。
【００３３】
なお、Ｓｔｅｐ２の第１手の平候補の抽出は、Ｓｔｅｐ３の長手方向検出の後に実行してもよい。また、Ｓｔｅｐ５の第２手の平候補の抽出において複数の手の平候補の抽出が可能なときは第ｉ手の平候補の中心位置をＣｉ、大きさ（半径値）Ｒｉとして抽出する。
【００３４】
制御部１００の手の平判定部１６０は、第２手の平候補が抽出できたかどうかを判定する（Ｓｔｅｐ６）。すなわち、第１手の平候補以外の手の平候補が抽出できたかどうかを判定する。抽出できた場合はＳｔｅｐ７へ進み（Ｓｔｅｐ６：Ｙｅｓ）、抽出できない場合はＳｔｅｐ８へ進む（Ｓｔｅｐ６：Ｎｏ）。
【００３５】
手の平候補のうち、下記条件式を満たし、もっとも指先位置Ｐに近い候補を手の平とする（Ｓｔｅｐ７）。
条件式：Ｄｉ/Ｒｉ≦Ｔｈ  を満たし（ｉ＝１、２、・・・）、最も指先位置Ｐに近い候補を手の平とする。この条件式は、手の平の大きさと指先までの距離の比から手らしさを判定するものである。ここで、Ｄｉは、手の平候補の中心位置Ｃｉと指先位置Ｐとの距離である。また、Ｔｈは閾値であり、本実施例では一例として、Ｔｈ＝３．５である。
【００３６】
手の平候補のうち、下記条件式を満たし、もっとも指先位置Ｐから遠い候補を手の平とする（Ｓｔｅｐ８）。
条件式：Ｄｉ/Ｒｉ≦Ｔｈ  を満たし、最も指先位置Ｐから遠い候補を手の平とする。ここで、Ｄｉは、手の平候補の中心位置Ｃｉと指先位置Ｐとの距離である。また、Ｔｈは閾値であり、本実施例では一例として、Ｔｈ＝３．５である。
【００３７】
図８は、上記のフローにより検出された手の平の検出結果の一例である。第１候補抽出部１２０により第１手の平候補１２２が検出され、第２候補抽出部１５０により第２手の平候補１５２が検出された検出結果を示す。本実施の形態では、第２手の平候補の抽出を行ない、手の平判定により、手の平の大きさと指先までの距離の比から手らしさを判定する。これにより、図８で示す第２手の平候補１５２を最も手の平らしいと判定して手の平として検出する。したがって、画像に映り込んだ腕や服装の形状によらず手の平を検出することが出来る。
【００３８】
（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本実施の形態に係る画像認識装置１は、画像情報から２値化処理により手領域８１を検出する手領域検出部１１０と、手領域８１の領域内画素の画素値を領域輪郭との最短距離値に置き換えた距離変換画像２５０を生成し、これに基づいて、第１手の平候補１２２を抽出する第１候補抽出部１２０と、手領域における指先方向を示す長手方向を検出する長手方向検出部１３０と、手領域８１における指先方向を示す長手方向を検出し、第１手の平候補１２２の中心位置Ｃ１から長手方向に最も遠い指先位置Ｐを検出する指先位置検出部１４０と、距離変換画像２５０上で、第１手の平候補１２２の中心位置Ｃ１と指先位置Ｐを結ぶ尾根線を探索し、尾根線上の距離変換値が極大となる画素を第２手の平候補１５２として抽出する第２候補抽出部１５０と、第１手の平候補１２２又は第２手の平候補１５２のうちで最も手の平らしい方を所定の条件に基づいて判定して選択することにより手の平を検出する手の平判定部１６０と、を有して構成されている。第２候補抽出部１５０により、１又は２以上の第２手の平候補を抽出すると共に、所定の条件により、最も手の平らしい方を選択することにより手の平を検出するので、手の平の検出能力に優れた画像認識装置を提供することができる。
（２）本実施の形態では、第２手の平候補の抽出を行ない、手の平判定により、手の平の大きさと指先までの距離の比から手らしさを判定する。従来技術では、図８で示す第１手の平候補１２２を手の平として検出してしまうが、本実施の形態では、図８で示す第２手の平候補１５２を最も手の平らしいと判定して手の平として検出する。したがって、画像に映り込んだ腕や服装の形状によらず手の平を検出することが可能となる。
【００３９】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４０】
１…画像認識装置、１０…カメラ、２０…照明、５０…取付部、６０…撮像範囲、８０…手、８１…手領域、８２…袖
１００…制御部、１１０…手領域検出部、１２０…第１候補抽出部、１２２…第１手の平候補、１３０…長手方向検出部、１４０…先位置検出部、１５０…第２候補抽出部、１５２…第２手の平候補、１６０…手の平判定部
２１０…輝度画像、２２０…２値画像、２５０、２５１…距離変換画像、２５２…尾根線
３００…領域
θ…角度
Ｃ１、Ｃ２…中心位置
【図１】
2018097455.tif 000006
【図２】
2018097455.tif 000007
【図３】
2018097455.tif 000008
【図４】
2018097455.tif 000009
【図５】
2018097455.tif 000010
【図６】
2018097455.tif 000011
【図７】
2018097455.tif 000012
【図８】
2018097455.tif 000013