(57)【要約】      （修正有）【課題】単眼カメラによりカメラの光軸方向の変化量も検出が可能な画像認識装置を提供する。【解決手段】所定の方向から撮像対象物である操作者の手を撮像する撮像手段としてのカメラ１０と、このカメラ１０により撮像された所定の方向と直交する面内の画像情報に基づいて、操作者の手の輝度変化又はサイズ変化により操作者の手の所定の方向における変化量を検出する制御部と、を有して画像認識装置を構成する。【選択図】図１
2017211302.tif 000002
【特許請求の範囲】
【請求項１】
所定の方向から撮像対象物を撮像する撮像手段と、
前記撮像手段により撮像された前記所定の方向と直交する面内の画像情報に基づいて、前記撮像対象物の輝度変化又はサイズ変化により前記撮像対象物の前記所定の方向における変化量を検出する制御部と、
を有することを特徴とする画像認識装置。
【請求項２】
前記撮像手段はカメラであり、前記所定の方向は前記カメラの光軸方向であることを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記撮像対象物は操作者の手であり、前記制御部は、前記カメラの光軸方向を含む３軸方向のはらい動作を識別することを特徴とする請求項１又は２に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関する。
【背景技術】
【０００２】
従来の技術として、ステレオカメラを使用して、検出速度を上げることができる対象物の位置決定方法による画像認識装置が提案されている。この位置決定方法は、最初の２回の測定においては、ステレオカメラによる測定を行うが、３回目の測定においては、一方のカメラのみを用いて測定を行い、他方のカメラについては、今までの対象物の移動軌跡から現在の位置を予測し、それから画像位置を予測する。このようにして、一方のカメラの実測画像位置、他方のカメラの予測画像位置を用いて、ステレオ計測により対象物のＸ、Ｙ、Ｚの３次元直交座標系における位置を決定する。３回目以降は、この動作を、実測するカメラを交互に切り換えて行う。これにより、画像認識装置における計測速度を向上させることができるとされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１４７４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の画像認識装置では、撮像対象物のカメラの光軸方向の変化量を検出するために、ステレオカメラによるステレオ計測を行なう必要がある。したがって、ステレオ計測の装置がコスト高になると共に、交互にカメラを切り換えた画像情報に基づいて３次元の画像位置を検出する必要があった。
【０００５】
したがって、本発明の目的は、単眼カメラによりカメラの光軸方向の変化量も検出が可能な画像認識装置を提供することにある。
【課題を解決するための手段】
【０００６】
［１］上記目的を達成するため、所定の方向から撮像対象物を撮像する撮像手段と、前記撮像手段により撮像された前記所定の方向と直交する面内の画像情報に基づいて、前記撮像対象物の輝度変化又はサイズ変化により前記撮像対象物の前記所定の方向における変化量を検出する制御部と、を有することを特徴とする画像認識装置を提供する。
【０００７】
［２］前記撮像手段はカメラであり、前記所定の方向は前記カメラの光軸方向であることを特徴とする上記［１］に記載の画像認識装置であってもよい。
【０００８】
［３］また、前記撮像対象物は操作者の手であり、前記制御部は、前記カメラの光軸方向を含む３軸方向のはらい動作を識別することを特徴とする上記［１］又は［２］に記載の画像認識装置であってもよい。
【発明の効果】
【０００９】
本発明の画像認識装置によれば、単眼カメラによりカメラの光軸方向の変化量も検出が可能な画像認識装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施の形態に係る画像認識装置の配置の一例を示す概略斜視図である。
【図２】図２は、本発明の実施の形態に係る画像認識装置のブロック図の一例を示している。
【図３】図３（ａ）は、図１のＡ矢視による撮像画面の一例を示すフレーム画像Ｓ（ｎ）であり、図３（ｂ）は、図１のＡ矢視による撮像画面の背景画像の一例を示すフレーム画像Ｓ（０）である。
【図４】図４（ａ）は、撮像したフレーム画像Ｓ（ｎ）から背景画像であるフレーム画像Ｓ（０）を除去したフレーム画像Ｓ１（ｎ）であり、図４（ｂ）は、撮像対象物である手がＺ方向(上方向)へ移動した場合の次のフレーム画像Ｓ１（ｎ＋１）である。
【図５】図５（ａ）は、撮像したフレーム画像Ｓ（ｎ）から背景画像であるフレーム画像Ｓ（０）を除去して２値化したフレーム画像Ｓ２（ｎ）であり、図５（ｂ）は、撮像対象物である手がＺ方向(上方向)へ移動した場合の次のフレーム画像Ｓ２（ｎ＋１）である。
【図６】図６は、手の位置がカメラ中心の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。
【図７】図７は、手の位置がカメラ中心から右側の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。
【図８】図８は、手の位置がカメラ中心から左側の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。
【図９】図９は、手の位置がカメラ中心から前方の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。
【図１０】図１０は、手の位置がカメラ中心から後方の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。
【図１１】図１１は、図１のＡ矢視による撮像画面で掌が下向きから右向きへ回転した場合の撮像画面の一例である。
【発明を実施するための形態】
【００１１】
（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、所定の方向から撮像対象物である操作者の手８０を撮像する撮像手段としてのカメラ１０と、このカメラ１０により撮像された所定の方向と直交する面内の画像情報に基づいて、操作者の手８０の輝度変化又はサイズ変化により操作者の手８０の所定の方向における変化量を検出する制御部３０と、を有して構成されている。
【００１２】
なお、上記の所定の方向はカメラ１０の光軸方向（Ｚ軸方向）に設定されている。
【００１３】
図１は、本発明の実施の形態に係る画像認識装置の配置の一例を示す概略斜視図である。また、図２は、本発明の実施の形態に係る画像認識装置のブロック図の一例を示している。
【００１４】
図１に示すように、画像認識装置１は、撮像手段としてのカメラ１０が上方向に配置され、図示のＡ方向、すなわち、カメラ１０の光軸方向（Ｚ軸方向）を撮像する。本実施の形態では、カメラ１０は１台である単眼システムである。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。カメラ１０の撮像範囲６０と略同一となる範囲を赤外照明２０が照明する。なお、撮像する光の波長は任意の周波数の光が使用可能であるが、赤外光、近赤外光を使用して照明、撮像する。これにより、操作者が撮像時に照明光を見ることがなく、撮像時の違和感を防止あるいは軽減することができる。
【００１５】
（カメラ１０）
図１に示すように、カメラ１０は、下方向から操作者の手８０を撮像し、カメラ１０の光軸方向（Ｚ軸方向）と直交する面内の画像情報である画像データをフレーム画像１００として、所定のフレーム周期で制御部３０へ出力する。このフレーム画像１００は、例えば、後述する図３（ｂ）に示すような背景１１０を含んだフレーム画像である。フレーム画像１００は、図２に示すように、ある時刻におけるｎフレーム目のフレーム画像Ｓ（ｎ）を制御部３０へ出力する。
【００１６】
なお、後述する図３（ｂ）に示すような背景画像のみを予め撮像し、このフレーム画像Ｓ（０）を背景画像とする。
【００１７】
（照明２０）
また、図１、２に示すように、制御部３０には、照明２０が接続されている。なお、照明は複数台が制御部３０に接続されていてもよい。図１に示すように、照明２０は、カメラ１０の撮像範囲（画角）をカバーする範囲に赤外光を照射して撮像対象物を照明する。
【００１８】
（制御部３０の構成）
図２に示すように、制御部３０には、１台のカメラ１０が接続されている。また、制御部３０には、照明２０が接続されている。
【００１９】
制御部３０は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部３０が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また制御部３０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００２０】
制御部３０は、画像処理部３１、重心検出部３２、輝度検出部３３、サイズ検出部３４、および動作識別部３５を備えている。
【００２１】
（画像処理部３１）
画像処理部３１は、カメラ１０から入力される各フレーム画像Ｓ（ｎ）を後工程の重心検出、輝度検出、サイズ検出等を行なうために、背景除去、２値化処理等の画像処理を予め実行するための前工程である。
【００２２】
図３（ａ）は、図１のＡ矢視による撮像画面の一例を示すフレーム画像Ｓ（ｎ）であり、図３（ｂ）は、図１のＡ矢視による撮像画面の背景画像の一例を示すフレーム画像Ｓ（０）である。この背景画像であるフレーム画像Ｓ（０）は、差分画像の算出処理の基準画像となるので、時間により変化しない画像であることが好ましい。
【００２３】
図４（ａ）は、撮像したフレーム画像Ｓ（ｎ）から背景画像であるフレーム画像Ｓ（０）を除去したフレーム画像Ｓ１（ｎ）である。すなわち、フレーム画像Ｓ１（ｎ）は、カメラ１０から入力されるフレーム画像Ｓ（ｎ）から背景のみを撮像したフレーム画像Ｓ（０）を差し引いて算出される。
【００２４】
（重心検出部３２）
重心検出部３２は、背景除去されたフレーム画像Ｓ１（ｎ）に基づいて、重心Ｇの位置を算出することにより検出する。重心Ｇの位置のＸ座標は、図４（ａ）の中の数値の平均値である。平均値は、手８０が存在する画素のＸ座標の値の合計を、手８０が存在する画素の数で割ることにより計算できる。同様にして、重心Ｇの位置のＹ座標は、図４（ａ）の中の数値の平均値である。平均値は、手８０が存在する画素のＹ座標の値の合計を、手８０が存在する画素の数で割ることにより計算できる。図４（ａ）に示すように、フレーム画像Ｓ１（ｎ）の左下に原点をとり、右方向をＸ、上方向をＹとして、上記説明した重心計算により、重心Ｇ（ｘ、ｙ）を算出する。
【００２５】
なお、図１のＡ矢視による図４（ａ）のフレーム画像Ｓ１（ｎ）は、右方向がＸ方向、前方向がＹ方向、上方向がＺ方向となる。
【００２６】
（輝度検出部３３）
輝度検出部３３は、背景除去されたフレーム画像Ｓ１（ｎ）に基づいて、輝度検出を行なう。本実施の形態では、図１に示すように、操作者の手８０に対してカメラ１０の側から照明２０を当てている。したがって、撮像された図４（ａ）で示すフレーム画像Ｓ１（ｎ）は、掌部分の輝度が高く、背景部分は輝度が低い。
【００２７】
ここで、図４（ｂ）は、撮像対象物である手がＺ方向(上方向)へ移動した場合の次のフレームのフレーム画像Ｓ１（ｎ＋１）である。時間と共に操作者の手８０がＺ方向(上方向)へ移動している場合には、後のフレーム画像では操作者の手８０が小さく撮像される。したがって、操作者の手８０の輝度変化を検出できる。図１に示す構成の場合は、操作者の手８０がＺ方向(上方向)へ移動している場合の輝度変化は輝度が下がり、逆に、手８０が下方向へ移動している場合の輝度変化は輝度が上がる。
【００２８】
なお、例えば、図１に示すような構成において、操作者の手８０を下側から撮像し、照明を上からの自然光（外光）とすると、いわゆる逆光での撮像条件となる。このような場合は、操作者の手８０がＺ方向(上方向)へ移動している場合の輝度変化は輝度が上がり、逆に、手８０が下方向へ移動している場合の輝度変化は輝度が下がる。
【００２９】
いずれの場合でも、撮像対象物の撮像方向、照明方向を予め設定することにより、撮像対象物である操作者の手８０のＺ方向(上又は下方向)への移動を輝度変化により検出できる。また、設定した撮像方向、照明方向により、検出した輝度変化から、操作者の手８０の移動方向(上又は下方向)を特定することができる。
【００３０】
（サイズ検出部３４）
サイズ検出部３４は、背景除去され、２値化したフレーム画像Ｓ２（ｎ）に基づいて、サイズ検出を行なう。図５（ａ）は、撮像したフレーム画像Ｓ（ｎ）から背景画像であるフレーム画像Ｓ（０）を除去して２値化したフレーム画像Ｓ２（ｎ）である。
【００３１】
図１に示すように、操作者の手８０に対してカメラ１０の側から照明２０を当てると、撮像された図４（ａ）で示したフレーム画像Ｓ１（ｎ）は、掌部分の輝度が高く、背景部分は輝度が低い。サイズ検出部３４は、画像処理部３１により２値化して、図５（ａ）に示すようなフレーム画像Ｓ２（ｎ）を生成する。
【００３２】
サイズ検出部３４は、図５（ａ）に示すような２値化されたフレーム画像Ｓ２（ｎ）の手８０の領域の面積を算出することにより、手８０のサイズを検出することができる。すなわち、２値化されたフレーム画像Ｓ２（ｎ）の手８０の領域が１（Ｈｉｇｈ）、背景部分が０（Ｌｏｗ）であるとすると、フレーム画像Ｓ２（ｎ）の中の１（Ｈｉｇｈ）の部分の画素数をカウントすることにより、手８０のサイズを検出することができる。
【００３３】
ここで、図５（ｂ）は、撮像対象物である手８０がＺ方向(上方向)へ移動した場合の次のフレーム画像Ｓ２（ｎ＋１）である。時間と共に操作者の手８０がＺ方向(上方向)へ移動している場合には、後のフレーム画像では操作者の手８０が小さく撮像される。したがって、操作者の手８０のサイズ変化が検出できる。図１に示す構成の場合は、操作者の手８０がＺ方向(上方向)へ移動している場合のサイズ変化はサイズが小さくなり、逆に、手８０が下方向へ移動している場合のサイズ変化はサイズが大きくなる。
【００３４】
（動作識別部３５）
図６は、手の位置がカメラ中心の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。図７は、手の位置がカメラ中心から右側の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。図８は、手の位置がカメラ中心から左側の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。図９は、手の位置がカメラ中心から前方の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。また、図１０は、手の位置がカメラ中心から後方の場合の手の移動方向と重心位置、輝度、サイズの関係を示す対応表である。なお、図１に示すように、右、左、前、後ろ、上、下の方向を設定する。
【００３５】
重心検出部３２により検出された撮像対象物である操作者の手８０の重心位置Ｇ（ｘ、ｙ）、輝度検出部３３により検出された輝度変化、及び、サイズ検出部３４により検出されたサイズ変化に基づいて、手８０の動き、動作を識別することができる。
【００３６】
（手８０の位置がカメラ中心の場合）
手８０の位置がカメラ中心であるＺ軸上で移動する場合は、図６で示す対応表のような変化を示す。手８０の位置がカメラ中心にある状態で、手８０が上方向に移動すると、手８０の重心位置は変化無く、輝度は下がり、サイズは小さくなる。一方、手８０の位置がカメラ中心にある状態で、手８０が下方向に移動すると、重心位置は変化無く、輝度は上がり、サイズは大きくなる。また、手８０が左方向に移動すると、重心位置は左に移動し、輝度及びサイズは変化無しである。手８０が右方向に移動すると、重心位置は右に移動し、輝度及びサイズは変化無しである。また、手８０が前方向に移動すると、重心位置は前方向に移動し、輝度及びサイズは変化無しである。手８０が後ろ方向に移動すると、重心位置は後ろ方向に移動し、輝度及びサイズは変化無しである。
【００３７】
（手８０の位置がカメラ中心から右側の場合）
手８０の位置がカメラ中心から右側で移動する場合は、図７で示す対応表のような変化を示す。手８０の位置がカメラ中心から右側にある状態で、手８０が上方向に移動すると、手８０の重心位置は左（中央）寄りに移動し、輝度は下がり、サイズは小さくなる。一方、手８０の位置がカメラ中心から右側にある状態で、手８０が下方向に移動すると、重心位置は右（外側）寄りに移動し、輝度は上がり、サイズは大きくなる。また、手８０が左方向に移動すると、重心位置は左に移動し、輝度及びサイズは変化無しである。手８０が右方向に移動すると、重心位置は右に移動し、輝度及びサイズは変化無しである。また、手８０が前方向に移動すると、重心位置は前方向に移動し、輝度及びサイズは変化無しである。手８０が後ろ方向に移動すると、重心位置は後ろ方向に移動し、輝度及びサイズは変化無しである。
【００３８】
（手８０の位置がカメラ中心から左側の場合）
手８０の位置がカメラ中心から左側で移動する場合は、図８で示す対応表のような変化を示す。手８０の位置がカメラ中心から左側にある状態で、手８０が上方向に移動すると、手８０の重心位置は右（中央）寄りに移動し、輝度は下がり、サイズは小さくなる。一方、手８０の位置がカメラ中心から左側にある状態で、手８０が下方向に移動すると、重心位置は左（外側）寄りに移動し、輝度は上がり、サイズは大きくなる。また、手８０が左方向に移動すると、重心位置は左に移動し、輝度及びサイズは変化無しである。手８０が右方向に移動すると、重心位置は右に移動し、輝度及びサイズは変化無しである。また、手８０が前方向に移動すると、重心位置は前方向に移動し、輝度及びサイズは変化無しである。手８０が後ろ方向に移動すると、重心位置は後ろ方向に移動し、輝度及びサイズは変化無しである。
【００３９】
（手８０の位置がカメラ中心から前方側の場合）
手８０の位置がカメラ中心から前方側で移動する場合は、図９で示す対応表のような変化を示す。手８０の位置がカメラ中心から前方側にある状態で、手８０が上方向に移動すると、手８０の重心位置は後ろ（中央）寄りに移動し、輝度は下がり、サイズは小さくなる。一方、手８０の位置がカメラ中心から前方側にある状態で、手８０が下方向に移動すると、重心位置は前（外側）寄りに移動し、輝度は上がり、サイズは大きくなる。また、手８０が左方向に移動すると、重心位置は左に移動し、輝度及びサイズは変化無しである。手８０が右方向に移動すると、重心位置は右に移動し、輝度及びサイズは変化無しである。また、手８０が前方向に移動すると、重心位置は前方向に移動し、輝度及びサイズは変化無しである。手８０が後ろ方向に移動すると、重心位置は後ろ方向に移動し、輝度及びサイズは変化無しである。
【００４０】
（手８０の位置がカメラ中心から後方側の場合）
手８０の位置がカメラ中心から後方側で移動する場合は、図１０で示す対応表のような変化を示す。手８０の位置がカメラ中心から後方側にある状態で、手８０が上方向に移動すると、手８０の重心位置は前（中央）寄りに移動し、輝度は下がり、サイズは小さくなる。一方、手８０の位置がカメラ中心から後方側にある状態で、手８０が下方向に移動すると、重心位置は後ろ（外側）寄りに移動し、輝度は上がり、サイズは大きくなる。また、手８０が左方向に移動すると、重心位置は左に移動し、輝度及びサイズは変化無しである。手８０が右方向に移動すると、重心位置は右に移動し、輝度及びサイズは変化無しである。また、手８０が前方向に移動すると、重心位置は前方向に移動し、輝度及びサイズは変化無しである。手８０が後ろ方向に移動すると、重心位置は後ろ方向に移動し、輝度及びサイズは変化無しである。
【００４１】
上記示した図６から図１０の対応表から、動作識別部３５は、撮像対象物である操作者の手８０の移動方向を検出できる。この検出は、手８０の位置がカメラ中心、カメラ中心から右側、左側、カメラ中心から前方、後方のいずれの位置であっても、可能である。
【００４２】
動作識別部３５は、輝度変化を検出することにより、撮像対象物である操作者の手８０が上又は下方向に移動したことを検出できる。
【００４３】
動作識別部３５は、サイズ変化を検出することにより、撮像対象物である操作者の手８０が上又は下方向に移動したことを検出できる。
【００４４】
動作識別部３５は、撮像対象物である操作者の手８０の重心位置が、左、右、前、後ろへの変化を検出することにより、それぞれ、左、右、前、後ろへの変化を検出することができる。
【００４５】
（手８０が回転を伴って動く場合）
図１１は、図１のＡ矢視による撮像画面で手８０の掌８１が下向きから右向きへ回転した場合の撮像画面の一例である。一例として、掌８１が下向きから右向きへ手が回転する場合、輝度は上がり、サイズは小さくなるので、輝度が上がってサイズが大きくなる下方への移動と区別することが可能となる。
【００４６】
（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本発明の実施の形態に係る画像認識装置１は、所定の方向から撮像対象物である操作者の手８０を撮像する撮像手段としてのカメラ１０と、このカメラ１０により撮像された所定の方向と直交する面内の画像情報に基づいて、操作者の手８０の輝度変化又はサイズ変化により操作者の手８０の所定の方向における変化量を検出する制御部３０と、を有して構成されている。操作者の手８０の輝度変化とサイズ変化の情報を組み合わせて手８０の動きを検出するので、カメラが１台である単眼システムであっても、カメラの光軸方向の変化量も検出が可能となる。
（２）カメラの光軸方向の移動検出が可能となることから、単眼カメラシステムにより、３軸（３次元）の動きを認識することが可能となる。
（３）単眼カメラシステムであるので、ステレオカメラやＴＯＦカメラに比べて安価に画像認識装置を構成することが可能となる。
（４）輝度変化だけではなくサイズ変化とのアンド条件とすることで、外乱光の影響を抑制することが可能となる。
（５）輝度変化だけではなくサイズ変化とのアンド条件とすることで、手ブレ（回転）の影響を抑制することが可能となる。
（６）上記のような操作者の手８０の移動検出が可能となるので、制御部３０は、単眼カメラシステムによる３軸（３次元）でのジェスチャー動作（例えば、はらい動作等）の動作認識が可能となる。
【００４７】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４８】
１…画像認識装置
１０…カメラ
２０…照明
３０…制御部
３１…画像処理部
３２…重心検出部
３３…輝度検出部
３４…サイズ検出部
３５…動作識別部
６０…撮像範囲
８０…手
８１…掌
１００…フレーム画像
１１０…背景
Ｇ…重心
Ｓ（０）、Ｓ１（ｎ）、Ｓ２（ｎ）…フレーム画像
【図１】
2017211302.tif 000003
【図２】
2017211302.tif 000004
【図３】
2017211302.tif 000005
【図４】
2017211302.tif 000006
【図５】
2017211302.tif 000007
【図６】
2017211302.tif 000008
【図７】
2017211302.tif 000009
【図８】
2017211302.tif 000010
【図９】
2017211302.tif 000011
【図１０】
2017211302.tif 000012
【図１１】
2017211302.tif 000013