(57)【要約】      （修正有）【課題】指先の検出能力に優れた画像認識装置を提供する。【解決手段】画像認識装置１は、制御部１００に、手の画像情報から２値化処理により手領域を検出する手領域検出部１１０と、手領域における手の平の中心位置を検出する中心検出部１２０と、手領域における指先方向を示す長手方向を検出する長手方向検出部１３０と、中心位置及び長手方向に基づいて指先候補の抽出範囲（±θ°の角度範囲内）を設定する範囲設定部１４０と、抽出範囲内において、手領域の輪郭部における指先候補を抽出する指先候補抽出部１５０と、指先候補抽出部１５０により抽出された指先候補から手の指先を判定する指先判定部１６０と、を有する。【選択図】図２
2018185708.tif 000002
【特許請求の範囲】
【請求項１】
手の画像情報から２値化処理により前記手の手領域を検出する手領域検出部と、
前記手領域における手の平の中心位置を検出する中心検出部と、
前記手領域における指先方向を示す長手方向を検出する長手方向検出部と、
前記中心位置及び前記長手方向に基づいて指先候補の抽出範囲を設定する範囲設定部と、
前記抽出範囲内において、前記手領域の輪郭部における指先候補を抽出する指先候補抽出部と、
前記指先候補抽出部により抽出された指先候補から前記手の指先を判定する指先判定部と、
を有することを特徴とする画像認識装置。
【請求項２】
前記指先判定部は、抽出された前記指先候補において、前記手の平の中心位置から指先候補までの距離が大きいものから最大５つを指先と判定する、ことを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記範囲設定部は、前記長手方向を基準として前記中心位置から所定の角度範囲に前記抽出範囲を設定する、ことを特徴とする請求項１又は２に記載の画像認識装置。
【請求項４】
前記角度範囲は±１１０°である、ことを特徴とする請求項３に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関し、特に、操作者の指先検出機能を備えた画像認識装置に関する。
【背景技術】
【０００２】
従来の技術として、赤外線カメラによる撮像画像を２値化処理し、この画像から指先位置を検出する画像認識装置が知られている（例えば、特許文献１参照）。
【０００３】
この画像認識装置は、２値化処理及び孤立点除去後の画像に対して、手領域内部の点から輪郭までの最短距離を算出し、この最短距離が最大となる位置を検出し、この位置を手のひらの中心位置と認定する。中心位置から横軸に角度（左９０度から右９０度まで）、縦軸に各角度における（各方向における）輪郭までの距離をとった角度距離曲線図が得られる。極大値は手領域画像の指先の方向（角度）に現れる。指先位置検出部は、極大値を取る方向における輪郭線上の位置を指先位置として、指先位置の座標を得る。また、複数ある極大値の間にある極小値は、指と指の間である指又部分の方向（角度）に現れる。このような手法により、指先位置を求めることができるとされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１５／０３７２７３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の画像認識装置では、指と指の間を大きく広げた場合は指先位置を十分に抽出できない。また、抽出範囲を広げすぎると手首や腕、袖等のノイズを抽出する等の問題があった。
【０００６】
したがって、本発明の目的は、指先の検出能力に優れた画像認識装置を提供することにある。
【課題を解決するための手段】
【０００７】
［１］上記目的を達成するため、手の画像情報から２値化処理により前記手の手領域を検出する手領域検出部と、前記手領域における手の平の中心位置を検出する中心検出部と、前記手領域における指先方向を示す長手方向を検出する長手方向検出部と、前記中心位置及び前記長手方向に基づいて指先候補の抽出範囲を設定する範囲設定部と、前記抽出範囲内において、前記手領域の輪郭部における指先候補を抽出する指先候補抽出部と、前記指先候補抽出部により抽出された指先候補から前記手の指先を判定する指先判定部と、を有することを特徴とする画像認識装置を提供する。
【０００８】
［２］前記指先判定部は、抽出された前記指先候補において、前記手の平の中心位置から指先候補までの距離が大きいものから最大５つを指先と判定する、ことを特徴とする上記［１］に記載の画像認識装置であってもよい。
【０００９】
［３］また、前記範囲設定部は、前記長手方向を基準として前記中心位置から所定の角度範囲に前記抽出範囲を設定する、ことを特徴とする上記［１］又は［２］に記載の画像認識装置であってもよい。
【００１０】
［４］また、前記角度範囲は±１１０°である、ことを特徴とする上記［３］に記載の画像認識装置であってもよい。
【発明の効果】
【００１１】
本発明の画像認識装置によれば、指先の検出能力に優れた画像認識装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の実施の形態に係る画像認識装置の配置の一例を示す側面図である。
【図２】図２は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。
【図３】図３（ａ）は、撮像された手の輝度画像の一例であり、図３（ｂ）は、この手の画像情報から２値化処理により得られた２値画像図である。
【図４】図４（ａ）は、距離変換画像の一例であり、図４（ｂ）は、図４（ａ）から求められた手の平の中心位置を２値画像上に示す２値画像図である。
【図５】図５は、長手方向の検出を行なうための慣性主軸を用いた検出方法を示す座標図である。
【図６】図６は、主軸方向を０°として±θ°の抽出範囲（角度範囲）と指先候補を黒点で示す図である。
【図７】図７は、±θ°の角度範囲で指先候補を抽出した場合の指先を黒点と各距離ｄｉ（ｉ＝１〜５）で示した図である。
【図８】図８（ａ）は、指と指の隙間を大きく広げた状態の手において、各指と手の平の中心の成す角が最大となるのが１３０°（親指と小指のなす角）である場合の手の平の図であり、図８（ｂ）は、θ＝±１３０°とした場合の範囲に腕などのノイズが含まれる場合の図である。
【図９】図９（ａ）は、手の平の中心を基準とした指先方向と各指の成す角度のうち、もっとも角度が大きくなる組み合わせは、親指と薬指でこの角度が約１１０°であり、θは最大でも約１１０°あればすべての指を検出可能であることを示す図であり、図９（ｂ）、（ｃ）は、θ＝±１１０°とした場合、±θ°の角度範囲内に手首が含まれず、ノイズ除去も十分に可能となることを示す図である。
【発明を実施するための形態】
【００１３】
（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、手８０の画像情報から２値化処理により手８０の手領域を検出する手領域検出部１１０と、手領域における手の平の中心位置を検出する中心検出部１２０と、手領域における指先方向を示す長手方向を検出する長手方向検出部１３０と、中心位置及び長手方向に基づいて指先候補の抽出範囲（±θ°の角度範囲内）を設定する範囲設定部１４０と、抽出範囲内において、手領域の輪郭部における指先候補を抽出する指先候補抽出部１５０と、指先候補抽出部１５０により抽出された指先候補から手の指先を判定する指先判定部１６０と、を有して構成されている。
【００１４】
図１は、本発明の実施の形態に係る画像認識装置の配置の一例を示す側面図である。図１に示すように、画像認識装置１は、取付部５０に撮像手段としてのカメラ１０が装着されて、略水平方向に撮像する。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。カメラ１０の撮像範囲６０と略同一となる範囲を照明２０が照明する。なお、撮像する光の波長は任意の周波数の光が使用可能であるが、赤外光、近赤外光を使用して照明、撮像するシステムが好ましい。これにより、操作者が撮像時に照明光を見ることがなく、撮像時の違和感を防止あるいは軽減することができる。
【００１５】
カメラ１０は、所定の方向から操作者の手８０を撮像し、撮像したフレーム画像Ｓ（ｎ）を画像情報として制御部１００へ出力する。本実施の形態では、所定の方向は、操作者の手の平側を撮像する方向とする。
【００１６】
（制御部１００の構成）
図２は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。制御部１００は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１００が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また制御部１００は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００１７】
制御部１００は、手領域検出部１１０、中心検出部１２０、長手方向検出部１３０、範囲設定部１４０、指先候補抽出部１５０、及び指先判定部１６０を備えている。
【００１８】
（手領域検出）
図３（ａ）は、撮像された手の輝度画像の一例であり、図３（ｂ）は、この手の画像情報から２値化処理により得られた２値画像図である。手領域検出部１１０は、カメラ１０から入力されるフレーム画像Ｓ（ｎ）に基づく手の画像情報から２値化処理により手８０の手領域を検出する。手領域検出部１１０は、例えば、画像情報に基づいて、図３（ａ）に示すような背景除去した輝度画像２１０を生成し、明るさが所定の閾値以上の領域を手領域として抽出した２値画像２２０を生成する。図３（ｂ）は、この手の画像情報から２値化処理により得られた２値画像である。
【００１９】
（中心検出）
図４（ａ）は、距離変換画像の一例であり、図４（ｂ）は、図４（ａ）から求められた手の平の中心位置を２値画像上に示す２値画像図である。中心検出部１２０は、中心検出により、手の平の中心位置Ｃの推定を行なう。手領域の中から手の平の中心位置Ｃを、例えば次のような手法で推定する。図３（ｂ）で示した２値画像から距離変換画像を図４（ａ）に示すように作成し、図４（ｂ）に示すように、距離変換値が最も大きい画素を手の平の中心位置Ｃとする。ここで、距離変換画像とは、２値画像上の領域内画素の画素値を、領域の輪郭Ｒからの最短距離に置き換えた画像である。
【００２０】
（長手方向検出）
長手方向検出部１３０は、図３（ｂ）で示す手８０の長手方向の検出を行なう。なお、上向き方向を指先方向とする。長手方向の検出方法としては、例えば、次に示す慣性主軸を用いた検出方法が考えられる。
【００２１】
図５は、長手方向の検出を行なうための慣性主軸を用いた検出方法を示す座標図である。図５で示すような領域３００の長手方向（角度φ）は下式の解として求まる。
2018185708.tif 000003
ただし、モーメント  
2018185708.tif 000004
2018185708.tif 000005
は、図形内で１をとり、図形外で０を取る２値画像とする。またｉは、図５に示す座標系の横軸、ｊは、縦軸である。長手方向検出部１３０は、上述の式で算出された主軸方向φを長手方向とする。
【００２２】
（指先候補の抽出範囲設定）
範囲設定部１４０は、指先候補の抽出範囲の設定を行なう。図６は、主軸方向を０°として±θ°の抽出範囲（角度範囲）と指先候補を黒点で示す図である。θの決め方としては、次の条件を満たすθとする。すなわち、指と指の隙間を大きく広げた状態ですべての指先が±θ°の範囲内に収まる、また、手首を中心に手を回転させたとき、±θ°の範囲内に手首や腕などのノイズが含まれない、ことを条件とする。
【００２３】
図６に示すように、主軸方向を０°として±θ°の角度範囲を設定すると、抽出範囲内に指先候補が抽出される。また、手首や腕等の一部が抽出されるが、±θ°の範囲外のために指先候補としては排除されることがわかる。
【００２４】
（指先候補抽出）
指先候補抽出部１５０は、±θ°の抽出範囲内において、手領域の輪郭部における指先候補を抽出する。図７に示すように、手の平の中心位置Ｃと手の輪郭Ｒ上の点との距離ｄを算出する。算出された距離ｄiが閾値ｄth以上となるものを指先候補とすることができる。また、算出された距離ｄiが閾値ｄth以上で、輪郭Ｒに沿って極大値をとるものを指先候補とすることができる。
【００２５】
このような抽出方法により、図７示すように、指先候補Ｆ１〜Ｆ５が抽出される。各指先候補Ｆ１〜Ｆ５と手の平の中心位置Ｃとの距離ｄ１〜ｄ５は、それぞれ閾値ｄth以上である。また、±θ°の抽出範囲外の、指先候補は排除されている。
【００２６】
（指先判定）
指先判定部１６０は、抽出された指先候補から手の指先を判定する。指先候補抽出部１５０による指先候補は、±θ°の抽出範囲内のものであり、手首や腕などのノイズに基づく指先候補は排除されることが期待できる。しかし、指先候補抽出部１５０による指先候補は、５つ（親指から小指までの５つ）とは限られないので、指先判定部１６０により指先を判定する。
【００２７】
指先判定部１６０は、手の平中心Ｃからの距離diが関値以上となる指先候補のうち、距離が遠いものから最大５つの指先候補を指先と判定する。これにより、種々のノイズに基づく指先候補が抽出されても、指の本数だけの指先を判定することができる。
【００２８】
（抽出範囲、角度範囲±θ°の検討）
図８（ａ）は、指と指の隙間を大きく広げた状態の手において、各指と手の平の中心の成す角が最大となるのが１３０°（親指と小指のなす角）である場合の手の平の図であり、図８（ｂ）は、θ＝±１３０°とした場合の範囲に腕などのノイズが含まれる場合の図である。
【００２９】
図８（ａ）に示すように、指と指の隙間を大きく広げた状態の手において、各指と手の平の中心Ｃとの成す角が最大となるのは約１３０°(親指と小指の成す角)であり、θは大きくとも±１３０°あればすべての指を検出可能となる。(仮に指先方向として親指または小指が選択されてもθが±１３０°もあれば小指または親指はこの±１３０°の範囲に収まる。
【００３０】
しかし、図８（ｂ）に示すように、θ＝±１３０°とした場合、この±１３０°の範囲に腕などのノイズが含まれる場合がある。すなわち、図８（ｂ）に示すように、排除しきれない非指先の凸部（指先候補）が含まれる場合がある。
【００３１】
（±θ°の好ましい値）
図９（ａ）は、手の平の中心を基準とした指先方向と各指の成す角度のうち、もっとも角度が大きくなる組み合わせは、親指と薬指でこの角度が約１１０°であり、θは最大でも約１１０°あればすべての指を検出可能であることを示す図であり、図９（ｂ）、（ｃ）は、θ＝±１１０°とした場合、±θ°の角度範囲内に手首が含まれず、ノイズ除去も十分に可能となることを示す図である。
【００３２】
長手方向検出部１３０により長手方向検出を行ない、これを指先方向の基準とする手法を用いた場合、推定される指先方向は概ね人差し指から薬指の間のいずれかの方向となる。このとき、手の平の中心Ｃを基準とした指先方向と各指の成す角度のうち、もっとも角度が大きくなる組み合わせは、親指と薬指になる。図９（ａ）に示すように、この角度が約１１０°であり、θは最大でも±１１０°あればすべての指を検出可能ということになる。
【００３３】
また、θ＝±１１０°とした場合は、手首の角度のよらず、±１１０°の範囲内には手首が含まれず、ノイズ除去も十分に可能となる。すなわち、抽出範囲、角度範囲をθ＝±１１０°に設定することにより、指先の検出率が向上する。
【００３４】
（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本実施の形態に係る画像認識装置１は、手８０の画像情報から２値化処理により手８０の手領域を検出する手領域検出部１１０と、手領域における手の平の中心位置Ｃを検出する中心検出部１２０と、手領域における指先方向を示す長手方向を検出する長手方向検出部１３０と、中心位置Ｃ及び長手方向に基づいて指先候補の抽出範囲（±θ°の角度範囲内）を設定する範囲設定部１４０と、抽出範囲内において、手領域の輪郭部における指先候補を抽出する指先候補抽出部１５０と、指先候補抽出部１５０により抽出された指先候補から手の指先を判定する指先判定部１６０と、を有して構成されている。中心位置Ｃ及び長手方向に基づいて指先候補の抽出範囲（±θ°の角度範囲内）を設定するので、指と指の隙間を大きく広げた状態でもすべての指先が±θ°の範囲内に収まる。また、手首を中心に手を回転させたとき、±θ°の範囲内に手首や腕などのノイズが含まれない。これにより、指先の検出能力に優れた画像認識装置を提供することができる。
（２）抽出範囲±θ°の具体的な値としてθ°＝±１１０°を見出だした。θ°＝±１３０°に設定すると、指と指の隙間を大きく広げた状態の手において、すべての指を検出可能となる。しかし、図８（ｂ）に示したように、腕などのノイズが含まれる場合がある。一方、手の平の中心Ｃを基準とした指先方向と各指の成す角度のうち、もっとも角度が大きくなる組み合わせは、親指と薬指でこの角度が約１１０°であり、θは最大でも約１１０°あればすべての指を検出可能である。また、θ＝±１１０°とした場合は、手首の角度のよらず、±１１０°の範囲内には手首が含まれず、ノイズ除去も十分に可能となる。これにより、θ°の好ましい値としてθ＝±１１０°を設定することにより、確実に指先候補を抽出して判定することが可能になる。
【００３５】
以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００３６】
１…画像認識装置、１０…カメラ、２０…照明、５０…取付部、６０…撮像範囲、８０…手、１００…制御部、１１０…手領域検出部、１２０…中心検出部、１３０…長手方向検出部、１４０…範囲設定部、１５０…指先候補抽出部、１６０…指先判定部、２１０    …輝度画像、２２０…２値画像、３００…領域、φ…角度、θ…角度、距離ｄi、閾値ｄth
【図１】
2018185708.tif 000006
【図２】
2018185708.tif 000007
【図３】
2018185708.tif 000008
【図４】
2018185708.tif 000009
【図５】
2018185708.tif 000010
【図６】
2018185708.tif 000011
【図７】
2018185708.tif 000012
【図８】
2018185708.tif 000013
【図９】
2018185708.tif 000014