(57)【要約】      （修正有）【課題】右手、左手の認識性に優れた画像認識装置を提供する。【解決手段】所定の方向から操作者の手を撮像する撮像手段としてのカメラ１０と、このカメラ１０により撮像された手の画像情報に基づいて、撮像された手の重心Ｇを検出する重心検出部３２と、撮像された手の指先位置を検出する指先検出部３３と、重心Ｇと指先位置とにより操作者の手が右手であるか左手であるかを判別する判別部３４と、を備えた制御部３０と、を有して画像認識装置を構成する。【選択図】図２
2017204183.tif 000002
【特許請求の範囲】
【請求項１】
所定の方向から操作者の手を撮像する撮像手段と、
前記撮像手段により撮像された手の画像情報に基づいて、前記撮像された手の重心を検出する重心検出部と、前記撮像された手の指先位置を検出する指先検出部と、前記重心と前記指先位置とにより前記操作者の手が右手であるか左手であるかを判別する判別部と、を備えた画像処理部と、
を有することを特徴とする画像認識装置。
【請求項２】
前記指先検出部は、前記重心からの各指先位置を検出することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記判別部は、前記重心と前記重心から最も遠い指先位置を所定の比で内分した内分点を算出し、前記重心と前記最も遠い指先位置を結ぶ線分に直交し、かつ、前記内分点を通る線分に対して、前記重心側にある指先位置を親指と判別し、これに基づいて前記操作者の手が右手であるか左手であるかを判別することを特徴とする請求項１又は２に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関する。
【背景技術】
【０００２】
従来の技術として、所定の動作を行った動作者を特定することができる画像認識装置がある。この画像認識装置は、形状識別手段を備えている。形状識別手段は、動画において顔検出手段によって検出された手が右手であるかまたは左手であるかを識別し、動作者特定手段は、識別された手が右手であった場合、ユーザの顔が上記右手の右側に位置しかつその手に最も近い人物を動作者として特定する一方、識別された手が左手であった場合、ユーザの顔が左手の左側に位置し、かつその手に最も近い人物を、動作者として特定する（例えば、特許文献１参照）。
【０００３】
上記構成によれば、動作者が、全ての指を延ばした形状を作った手を挙手すると、その手の親指がその手の右端部に位置しているか、または、その手の左端部に位置しているかに基づき、手を識別する。すなわち、手のひらを動画撮影部の方向に向けている場合、全ての指を延ばした形状とした右手（左手）を撮影した動画においては、その手の右端部（左端部）に親指が位置することになるので、これに基づき、手を識別する。従って、動作者が特別な動作を行うことなしに、上記形状の手を挙手するという簡単な動作によって、動作者の手を識別し、動作者を特定することができるとされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−４８９３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１の画像認識装置では、位置が最も低い先端部を親指とすると、手の向きによっては小指を親指と認識してしまう場合があり、右手と左手を誤認識してしまうという問題があった。
【０００６】
したがって、本発明の目的は、右手、左手の認識性に優れた画像認識装置を提供することにある。
【課題を解決するための手段】
【０００７】
［１］上記目的を達成するため、所定の方向から操作者の手を撮像する撮像手段と、前記撮像手段により撮像された手の画像情報に基づいて、前記撮像された手の重心を検出する重心検出部と、前記撮像された手の指先位置を検出する指先検出部と、前記重心と前記指先位置とにより前記操作者の手が右手であるか左手であるかを判別する判別部と、を備えた画像処理部と、を有することを特徴とする画像認識装置を提供する。
【０００８】
［２］前記指先検出部は、前記重心からの各指先位置を検出することを特徴とする上記［１］に記載の画像認識装置であってもよい。
【０００９】
［３］また、前記判別部は、前記重心と前記重心から最も遠い指先位置を所定の比で内分した内分点を算出し、前記重心と前記最も遠い指先位置を結ぶ線分に直交し、かつ、前記内分点を通る線分に対して、前記重心側にある指先位置を親指と判別し、これに基づいて前記操作者の手が右手であるか左手であるかを判別することを特徴とする上記［１］又は［２］に記載の画像認識装置であってもよい。
【発明の効果】
【００１０】
本発明の画像認識装置によれば、右手、左手の認識性に優れた画像認識装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】図１（ａ）は、本発明の実施の形態に係る画像認識装置の配置の一例を示す側面図であり、図１（ｂ）は、Ａ矢視による撮像画面の一例を示す撮像画面図である。
【図２】図２は、本発明の実施の形態に係る画像認識装置のブロック図の一例を示している。
【図３Ａ】図３Ａは、背景画像の一例を示すフレーム画像である。
【図３Ｂ】図３Ｂは、図１（ｂ）で示した撮像画面から図３Ａで示した背景画像であるフレーム画像Ｓ（０）を除去したフレーム画像Ｓ１（ｎ）である。
【図３Ｃ】図３Ｃは、図３Ｂの撮像画像から輪郭のみを抽出した輪郭画像であり、このフレーム画像Ｓ２（ｎ）に基づいて、指先位置の算出をするための説明図である。
【図３Ｄ】図３Ｄは、図３Ｃで算出した重心Ｇおよび指先位置に基づいて、親指の位置を判別して、操作者の手が右手であるか左手であるかを判別するための説明図である。
【図４】図４は、親指位置と右手、左手の判別を行なうための判別条件を示す判別表である。
【発明を実施するための形態】
【００１２】
（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、所定の方向から操作者の手８０を撮像する撮像手段としてのカメラ１０と、このカメラ１０により撮像された手８０の画像情報に基づいて、撮像された手８０の重心Ｇを検出する重心検出部３２と、撮像された手８０の指先位置（Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５）を検出する指先検出部３３と、重心Ｇと指先位置（Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５）とにより操作者の手８０が右手であるか左手であるかを判別する判別部３４と、を備えた制御部３０と、を有して構成されている。
【００１３】
図１（ａ）は、本発明の実施の形態に係る画像認識装置の配置の一例を示す側面図であり、図１（ｂ）は、Ａ矢視による撮像画面の一例を示す撮像画面図である。図２は、本発明の実施の形態に係る画像認識装置のブロック図の一例を示している。
【００１４】
図１（ａ）に示すように、画像認識装置１は、取付部５０に撮像手段としてのカメラ１０が装着されて、略水平方向に撮像する。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。カメラ１０の撮像範囲６０と略同一となる範囲を照明２０が照明する。なお、撮像する光の波長は任意の周波数の光が使用可能であるが、赤外光、近赤外光を使用して照明、撮像するシステムが好ましい。これにより、操作者が撮像時に照明光を見ることがなく、撮像時の違和感を防止あるいは軽減することができる。
【００１５】
（カメラ１０）
図１（ｂ）に示すように、カメラ１０は、所定の方向から操作者の手８０を撮像し、撮像した画像データをフレーム画像１００として、随時制御部３０へ出力する。本実施の形態では、所定の方向は、操作者の手８０の掌側を撮像する方向とする。このフレーム画像１００は、例えば、図１（ｂ）に示すような背景１１０を含んだフレーム画像である。フレーム画像１００は、ある時刻におけるｎフレーム目のフレーム画像Ｓ（ｎ）を制御部３０へ出力する。
【００１６】
また、後述する図３Ａに示すような背景画像のみを予め撮像し、この背景画像をフレーム画像Ｓ（０）とする。
【００１７】
図２に示すように、制御部３０には、カメラ１０が接続されている。なお、カメラは複数台が制御部３０に接続され、必要に応じて２台以上のカメラから入力されるフレーム画像１００を使用して画像処理を行なうことも可能である。
【００１８】
（照明２０）
また、図２に示すように、制御部３０には、照明２０が接続されている。なお、照明は複数台が制御部３０に接続されていてもよい。
【００１９】
（制御部３０の構成）
制御部３０は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部３０が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また制御部３０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。
【００２０】
制御部３０は、画像処理部３１、重心検出部３２、指先検出部３３、および、判別部３４を備えている。
【００２１】
画像処理部３１は、カメラ１０から入力される各フレーム画像Ｓ（ｎ）を後工程の重心検出、指先検出等を行なうために、背景除去、２値化処理、輪郭抽出等の画像処理を予め実行するための前工程である。
【００２２】
図３Ａは、背景画像の一例を示すフレーム画像である。図３Ａに示す背景画像は、予め背景のみを撮像したフレーム画像Ｓ（０）である。このフレーム画像Ｓ（０）は、差分画像の算出処理の基準画像となるので、時間により変化しない画像であることが好ましい。
【００２３】
また、図３Ｂは、図１（ｂ）で示した撮像画面から図３Ａで示した背景画像であるフレーム画像Ｓ（０）を除去したフレーム画像Ｓ１（ｎ）である。すなわち、フレーム画像Ｓ１（ｎ）は、カメラ１０から入力されるフレーム画像Ｓ（ｎ）から背景のみを撮像したフレーム画像Ｓ（０）を差し引いて算出される。
【００２４】
（重心検出部３２の動作）
重心検出部３２は、背景除去されたフレーム画像Ｓ１（ｎ）に基づいて、重心Ｇの位置を算出することにより検出する。重心Ｇの位置のｘ座標は、図３Ｂの中の数値の平均値である。平均値は、手８０が存在する画素のｘ座標の値の合計を、手８０が存在する画素の数で割ることにより計算できる。同様にして、重心Ｇの位置のｙ座標は、図３Ｂの中の数値の平均値である。平均値は、手８０が存在する画素のｙ座標の値の合計を、手８０が存在する画素の数で割ることにより計算できる。図３Ｂに示すように、フレーム画像Ｓ１（ｎ）の左上に原点Ｏをとり、右方向をｘ、下方向をｙとして、上記説明した重心計算により、重心Ｇ（ｘ、ｙ）を算出する。
【００２５】
（指先検出部３３の動作）
指先検出部３３は、背景除去されたフレーム画像Ｓ１（ｎ）を、画像処理部３１により、２値化処理、輪郭抽出処理を行なうことにより、フレーム画像Ｓ２（ｎ）を生成する。ここで、図３Ｃは、図３Ｂの撮像画像から輪郭のみを抽出した輪郭画像であり、このフレーム画像Ｓ２（ｎ）に基づいて、指先位置の算出をするための説明図である。重心検出部３２で検出した重心Ｇを原点Ｇ（０、０）とするＸ、Ｙ座標とする。
【００２６】
指先検出部３３は、図３Ｃに示すように、反時計方向に角度θをとり、この時の原点Ｇ（０、０）から引いた線分と輪郭画像、すなわち、フレーム画像Ｓ２（ｎ）と交差する点Ｐ（Ｘ、Ｙ）を算出する。角度θを所定の角度範囲で変化させて、線分ＧＰを算出する。撮像画像が手の場合は、線分ＧＰの長さは、５つの極大値Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５をとる。すなわち、小指の指先に対応するＰ１、薬指の指先に対応するＰ２、中指の指先に対応するＰ３、人先指の指先に対応するＰ４、親指の指先に対応するＰ５である。このように、線分ＧＰの長さの５つの極大値を検出する処理により、指先の検出及びその位置検出ができる。
【００２７】
（判別部３４の動作）
図３Ｄは、図３Ｃで算出した重心Ｇおよび指先位置に基づいて、親指の位置を判別して、操作者の手が右手であるか左手であるかを判別するための説明図である。判別部３４は、図３Ｄに示すように、原点Ｇ（０、０）と中指の指先に対応するＰ３との線分ＧＰ３を所定の分割比で内分した内分点Ｐｄを算出する。この所定の分割比は、任意に設定できるが、親指の位置を検出する場合は、例えば、ａ：ｂ＝３：１、２：１等に設定する。図３Ｄは、ａ：ｂ＝２：１に設定している。
【００２８】
判別部３４は、図３Ｄに示すように、内分点Ｐｄを通り、線分ＧＰ３に直交する直線Ｌを計算する。図３Ｄに示すように、この直線Ｌを境界線として、親指と他の指、特に小指が区別される。この直線Ｌに対して、指先が重心Ｇ側にある指を親指と判別する。すなわち、指先位置Ｐ５が重心Ｇ側にあるので、指先位置Ｐ５の指を親指と判別する。
【００２９】
図４は、親指位置と右手、左手の判別を行なうための判別条件を示す判別表である。上記説明した判別方法により親指の位置が決定されるので、この親指の位置が線分ＧＰ３の左側にあるか右側にあるかにより、その手が左手か右手かを判別することができる。図４の判別表によれば、親指位置が線分ＧＰ３の左側にある場合は、左手、親指位置が線分ＧＰ３の右側にある場合は、右手と判別することができる。
【００３０】
なお、前述したように、上記の左手、右手の判別は、カメラ１０が操作者の手８０の掌側を撮像する場合を前提としている。したがって、カメラ１０が操作者の手８０の甲側を撮像する場合は、左と右の判別プロセスが反対となる。
【００３１】
（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本発明の実施の形態に係る画像認識装置１は、所定の方向から操作者の手８０を撮像する撮像手段としてのカメラ１０と、このカメラ１０により撮像された手８０の画像情報に基づいて、撮像された手８０の重心Ｇを検出する重心検出部３２と、撮像された手８０の指先位置（Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５）を検出する指先検出部３３と、重心Ｇと指先位置（Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５）とにより操作者の手８０が右手であるか左手であるかを判別する判別部３４と、を備えた制御部３０と、を有して構成されている。重心の検出、指先の検出を行なうことにより、親指を検出し、この親指の位置に基づいて右手、左手を判別する。したがって、手の向きが回転し小指が最も低い位置に見えても、親指を正しく認識し、右手、左手を判別可能である。
（２）また、手が傾き親指が細く見えても、親指を正しく認識し、右手、左手を判別可能である。したがって、右手、左手の認識性に優れた画像認識装置を提供することができる。
（３）本発明の実施の形態に係る画像認識装置１を例えば、タッチパッド上での右手、左手判別に適用する場合は、タッチパッド上で右手、左手を判別することにより操作者を判断するので、タッチパッドの使用可否制御が可能となる。これにより、タッチパッドが車両に搭載される場合は、操作者が運転者の場合においてタッチパッドの使用を制限する等が可能となり、車両運転時の安全が確保できる。
【００３２】
以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００３３】
１…画像認識装置
１０…カメラ
２０…照明
３０…制御部
３１…画像処理部
３２…重心検出部
３３…指先検出部
３４…判別部
５０…取付部
６０…撮像範囲
８０…手
１００…フレーム画像
１１０…背景
Ｇ…重心
Ｏ…原点
Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５…指先位置
Ｐｄ…内分点
Ｓ（０）、Ｓ１（ｎ）、Ｓ２（ｎ）…フレーム画像
θ…角度
Ｌ…直線
【図１】
2017204183.tif 000003
【図２】
2017204183.tif 000004
【図３Ａ】
2017204183.tif 000005
【図３Ｂ】
2017204183.tif 000006
【図３Ｃ】
2017204183.tif 000007
【図３Ｄ】
2017204183.tif 000008
【図４】
2017204183.tif 000009