(57)【要約】【課題】物体を画像認識するにあたり、画像上の対象物の簡易な特定を可能にした画像処理装置、画像処理プログラム及びジェスチャ認識システムを提供する。【解決手段】画像認識部１２は、画像撮影部４が撮影した画像情報Ｄを画像認識処理し、画像に映り込む対象物に対応する領域を検出する。画像特定部１３は、画像認識部１２で検出した対象物に対応する領域が分断されていた場合、画像情報Ｄにおける画像座標系の座標軸方向（本例は車両１の前後方向）を基に、これら分断された領域が人体のどの部位であるのかを特定する。【選択図】図１
2018195052.tif 000002
【特許請求の範囲】
【請求項１】
画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部から、前記対象物が映り込んだ画像を表す画像情報を取得する画像取得部と、
前記対象物に対応する領域を検出する画像認識処理を、前記画像取得部で取得した前記画像情報に対して実行する画像認識部と、
前記画像認識部で検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する画像特定部と
を備えた画像処理装置。
【請求項２】
前記画像座標系の座標軸方向は、前記画像撮影部が設置される車両の前後方向に設定され、
前記画像特定部は、前記対象物に対応する領域が分断されていた場合、前記車両の前後方向を基に、前記分断されたどの領域が手及び腕部であるのかを確定する
請求項１に記載の画像処理装置。
【請求項３】
前記画像撮影部は、画素ごとに物体との間の距離を表す３次元距離情報を含む前記画像情報を取得し、
前記画像認識部は、前記画像撮影部から取得した前記画像情報に含まれる前記３次元距離情報を基に、前記画像認識を実行する
請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像特定部は、前記分断された領域間の離れ距離を画像上で求め、当該離れ距離と閾値とを比較することにより、前記分断された領域として確定するか否かを判断する
請求項１〜３のうちいずれか一項に記載の画像処理装置。
【請求項５】
前記画像特定部は、前記分断された領域が更に複数に分断していた場合、これらの分断された領域間の離れ距離が閾値未満であれば、１つの領域として処理する
請求項１〜４のうちいずれか一項に記載の画像処理装置。
【請求項６】
画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部から、前記対象物が映り込んだ画像を表す画像情報を取得する第１ステップと、
前記対象物に対応する領域を検出する画像認識処理を、前記第１ステップで取得した画像情報に対して実行する第２ステップと、
前記第２ステップで検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する第３ステップと
をコンピュータに実行させる画像処理プログラム。
【請求項７】
画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部と、
前記対象物が映り込んだ画像を表す画像情報を前記画像撮影部から取得する画像取得部と、
前記対象物に対応する領域を検出する画像認識処理を、前記画像取得部で取得した前記画像情報に対して実行する画像認識部と、
前記画像認識部で検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する画像特定部と、
前記画像特定部により特定された画像を基にユーザによるジェスチャ操作を判定し、その判定結果を基に機器を制御するジェスチャ制御部と
を備えたジェスチャ認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を画像認識する画像処理装置、画像処理プログラム及びジェスチャ認識システムに関する。
【背景技術】
【０００２】
従来、カメラ等によって撮影された画像を画像認識することによりユーザのジェスチャ操作を判定し、その判定結果を基に機器を制御するジェスチャ認識システムが開発されている。撮影画像を画像認識する画像処理装置としては、特許文献１の技術が周知である。特許文献１は、被写体として腕が映り込んだ画像に基づき、前腕部から上腕部にかけて検出したエッジ点のうち、欠損箇所を人体の腕の流れに沿ってハフ変換で補完した上で、ユーザのジェスチャ操作を判定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９４８４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１は、画像に欠損が生じた場合、欠損部分をハフ変換によって補完した上で対象物を判定する。よって、画像認識処理を開始してから対象物を特定するまでの処理量が増加してしまう問題があった。
【０００５】
本発明の目的は、物体を画像認識するにあたり、画像上の対象物の簡易な特定を可能にした画像処理装置、画像処理プログラム及びジェスチャ認識システムを提供することにある。
【課題を解決するための手段】
【０００６】
前記問題点を解決する画像処理装置は、画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部から、前記対象物が映り込んだ画像を表す画像情報を取得する画像取得部と、前記対象物に対応する領域を検出する画像認識処理を、前記画像取得部で取得した前記画像情報に対して実行する画像認識部と、前記画像認識部で検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する画像特定部とを備えた。
【０００７】
本構成によれば、画像認識処理を通じて、画像上に映る対象物に対応する領域を検出し、領域が分断されていた場合、画像情報における画像座標系の座標軸方向から、分断された領域が人体のどの部位であるのかを特定する。このため、画像認識処理により検出された領域を画像座標系の座標軸方向と単に比較する処理により、分断された領域が人体のどの部位であるのかを特定することが可能となる。よって、画像上の対象物を簡易に特定することが可能となる。
【０００８】
前記画像処理装置において、前記画像座標系の座標軸方向は、前記画像撮影部が設置される車両の前後方向に設定され、前記画像特定部は、前記対象物に対応する領域が分断されていた場合、前記車両の前後方向を基に、前記分断されたどの領域が手及び腕部であるのかを確定することが好ましい。この構成によれば、画像認識処理により検出された領域と車両の前後方向とを単に比較するという処理により、画像の手及び腕部を簡易に特定することが可能となる。
【０００９】
前記画像処理装置において、前記画像撮影部は、画素ごとに物体との間の距離を表す３次元距離情報を含む前記画像情報を取得し、前記画像認識部は、前記画像撮影部から取得した前記画像情報に含まれる前記３次元距離情報を基に、前記画像認識を実行することが好ましい。この構成によれば、３次元距離情報を含む画像情報を画像認識処理して、画像上に映る人体の一部分を立体画像で取得する。ところで、この方式の場合、例えば光の反射率が著しく高い又は低い部分を取り込むことができず、この部分が分断された領域となってしまう可能性がある。しかし、本構成の場合、仮に領域が分断されてしまっても、分断された領域が人体のどの部位であるのかが特定されるので、正しい画像認識の処理結果を得るのに有利となる。
【００１０】
前記画像処理装置において、前記画像特定部は、前記分断された領域間の離れ距離を画像上で求め、当該離れ距離と閾値とを比較することにより、前記分断された領域として確定するか否かを判断することが好ましい。この構成によれば、分断された領域間の離れ距離と閾値とを比較するという簡素な処理により、分断された領域として取り扱うべきか否かを容易に判定することが可能となる。
【００１１】
前記画像処理装置において、前記画像特定部は、前記分断された領域が更に複数に分断していた場合、これらの分断された領域間の離れ距離が閾値未満であれば、１つの領域として処理することが好ましい。この構成によれば、分断された領域が更に細かく分離していたとしても、これら分断された領域を１つの領域として認識することが可能となる。よって、より精度よく画像認識処理を行うのに有利となる。
【００１２】
前記問題点を解決する画像処理プログラムは、画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部から、前記対象物が映り込んだ画像を表す画像情報を取得する第１ステップと、前記対象物に対応する領域を検出する画像認識処理を、前記第１ステップで取得した画像情報に対して実行する第２ステップと、前記第２ステップで検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する第３ステップとをコンピュータに実行させる。
【００１３】
前記問題点を解決するジェスチャ認識システムは、画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部と、前記対象物が映り込んだ画像を表す画像情報を前記画像撮影部から取得する画像取得部と、前記対象物に対応する領域を検出する画像認識処理を、前記画像取得部で取得した前記画像情報に対して実行する画像認識部と、前記画像認識部で検出した前記対象物に対応する領域が分断されていた場合、前記画像情報における画像座標系の座標軸方向を基に、前記分断された領域が前記人体のどの部位であるのかを特定する画像特定部と、前記画像特定部により特定された画像を基にユーザによるジェスチャ操作を判定し、その判定結果を基に機器を制御するジェスチャ制御部とを備えた。
【発明の効果】
【００１４】
本発明によれば、物体を画像認識するにあたり、画像上の対象物を簡易に特定することができる。
【図面の簡単な説明】
【００１５】
【図１】一実施形態の画像処理装置及びジェスチャ認識システムの構成図。
【図２】（ａ），（ｂ）は画像撮影部の配置例を示す運転席の斜視図。
【図３】３次元距離画像図。
【図４】３次元距離画像の立体的なモデル図。
【図５】分断画像の部位確定の説明図。
【図６】画像処理時に実行されるフローチャート。
【発明を実施するための形態】
【００１６】
以下、画像処理装置、画像処理プログラム及びジェスチャ認識システムの一実施形態を図１〜図６に従って説明する。
図１に示すように、車両１は、ユーザによるジェスチャ操作を認識して機器２を制御するジェスチャ認識システム３を備える。本例のジェスチャ認識システム３は、画像撮影部４により撮影された画像情報Ｄを基にユーザのジェスチャ操作を画像認識し、そのジェスチャ操作に応じた態様に機器２を制御する。機器２は、例えば車載機器５であることが好ましい。車載機器５は、例えばセンターディスプレイ、カーナビゲーションシステム、空調装置、音量装置、オーディオ装置等がある。
【００１７】
画像撮影部４は、画像認識の対象物（ユーザの手及び腕部等）を撮影可能であって、例えば物体との間の３次元距離情報Ｄａを含む画像情報Ｄを取得する測距式（距離画像カメラ）である。距離画像カメラは、例えばＴＯＦ（Time of Flight）カメラやＴＯＦセンサであってもよい。距離画像カメラは、例えばカメラから赤外線を放射し、その反射光の時間遅れから距離画像、すなわち距離情報付きの画像情報Ｄを出力する。このように、画像情報Ｄは、物体との間の距離データも含めた３次元距離情報Ｄａを有する。
【００１８】
ジェスチャ認識システム３は、画像撮影部４から入力する画像情報Ｄを画像認識処理してジェスチャ操作を検出する画像処理装置８を備える。画像処理装置８は、画像撮影部４によって撮影された画像に映るユーザの手（指先）を画像認識し、手（指先）の動きを追跡することにより、ユーザのジェスチャ操作を検出する。画像認識処理は、画像から物体（人体）を検出できる画像認識方法であれば、種々の方法が採用可能である。
【００１９】
ジェスチャ操作は、例えばユーザの手を用いたハンドジェスチャ操作であることが好ましい。ハンドジェスチャ操作の場合、例えば人差し指を所定の態様に動かすことにより、機器２を所定態様に制御する。ハンドジェスチャ操作は、手の動きのみを用いた操作の他に、例えば手の動きと音声とを組み合わせた操作でもよい。手の動きと音声とを組み合わせた操作の場合、例えば機器２を指差しし、具体的な操作内容を声で発することにより、機器２を制御する。
【００２０】
画像処理装置８は、画像撮影部４から画像情報Ｄを取得する画像取得部１１を備える。画像取得部１１は、画像認識の対象物としての人体の少なくとも一部分を撮像する画像撮影部４から、対象物が写り込んだ画像を表す画像情報Ｄを取得する。本例の場合、画像取得部１１は、画像撮影部４からユーザの手及び腕部が映った画像情報Ｄを取得する。
【００２１】
画像処理装置８は、画像取得部１１が取得した画像情報Ｄを画像認識処理する画像認識部１２を備える。画像認識部１２は、画像認識の対象物に対応する領域Ｒを検出する画像認識処理を、画像取得部１１で取得した画像情報Ｄに対して実行する。本例の場合、画像認識部１２は、画像上に映る人体の少なくとも一部（本例は手及び腕部）の画像を認識し、手及び腕部が映った画像を抽出する。
【００２２】
画像処理装置８は、画像撮影部４で検出することができない反射率の物体が映り込んでいた場合、手及び腕部の向きから手及び腕部の画像を予測する手画像検出機能を備える。これは、ＴＯＦカメラの特性として、反射率が低すぎる物体（反射しない物体）や、反射率が高すぎる物体（全反射する物体）を検出することができないからである。例えば、腕に装着される腕時計は金属や革ベルトの各部分が撮影されず、手と腕部が分断された画像となってしまい、手を検出することができない可能性が生じる。本例は、これに対処する技術である。
【００２３】
画像処理装置８は、画像認識部１２で検出した対象物に対応する領域Ｒが分断されていた場合に、分断された領域Ｒが人体のどの部位（本例は手及び腕部）であるのかを特定する画像特定部１３を備える。本例の画像特定部１３は、領域Ｒが分断されていた場合、画像情報Ｄにおける画像座標系（Ｘ，Ｙ，Ｚ軸の各座標）の座標軸方向（Ｘ軸方向、Ｙ軸方向、Ｚ軸方向）を基に、分断されたどの領域Ｒが手及び腕部であるのかを特定する。画像特定部１３は、領域Ｒが分断されていた場合、車両１の前後方向を基に、分断されたどの領域Ｒが手及び腕部であるのかを確定する。
【００２４】
画像処理装置８は、画像認識を用いたジェスチャ操作の作動を制御するジェスチャ制御部１４を備える。ジェスチャ制御部１４は、画像特定部１３によって手及び腕部が特定された画像を基にユーザによるジェスチャ操作を判定し、その判定結果を基に機器２を制御する。ジェスチャ制御部１４は、認識したジェスチャ操作に応じた制御指令ＳｒをボディＥＣＵ１５に出力し、ボディＥＣＵ１５を通じて機器２を制御する。
【００２５】
次に、図２〜図６を用いて、本発明の実施例であるジェスチャ認識システム３（画像処理装置８）の作用及び効果を説明する。
図２（ａ），（ｂ）に示すように、画像撮影部４は、例えば車両１が電源オン（例えばＡＣＣオンやＩＧオン）に操作されると、画像撮影を開始する。図２（ａ）は、人体の手や腕部を上方から画像撮影部４で撮影する例である。この場合、画像撮影部４は、マップランプ内に配置されるとよい。また、図２（ｂ）は、人体の手や腕部を下方から画像撮影部４で撮影する例である。この場合、画像撮影部４は、例えばセンターコンソール等に設置されたタッチパッド付近に配置されるとよい。
【００２６】
ユーザは、ジェスチャ操作によって機器２を制御する場合、運転者であれば、運転席から前方に手を伸ばし、手（人差し指）を所定態様に沿って動かす。このとき、運転席から伸ばした手は、手が車両前方に位置し、腕部が車両後方に位置する。このため、画像撮影部４は、車両前方に手が位置し、車両後方に腕部が位置した画像情報Ｄを取得する。画像撮影部４は、取得した３次元距離情報Ｄａを含む画像情報Ｄを画像処理装置８に出力する。画像処理装置８は、画像撮影部４から出力された画像情報Ｄを画像取得部１１で取得する。
【００２７】
図３及び図４に示すように、画像認識部１２は、３次元距離情報Ｄａを含む画像情報Ｄを画像認識処理して、画像上の物体を画像認識する。本例の場合、まず画像認識部１２は、画像に映り込んだ人体らしい全ての領域（候補領域）Ｒを特定する処理、いわゆるラベル付けを実施する。候補領域Ｒの特定方法の一例として、以下の（Ｉ）〜（ＩＶ）が想定される。
（Ｉ）色が肌色の領域
（ＩＩ）輝度が閾値を超える領域
（ＩＩＩ）エッジ検出にてエッジで囲まれる領域のうち、面積が閾値以上の領域
（ＩＶ）画像撮影部４からの距離が同一と見なせる範囲内に被写体が存在する領域
画像認識部１２は、抽出した領域（候補領域）Ｒに対し、これらにラベル付けをする。ところで、本例の場合、ユーザの腕に腕時計が装着されているので、画像情報Ｄは、手の付け根で腕と手が分断した画像となっている。また、中指に指輪等の装飾具が付けられているので、画像情報Ｄは、中指が途中で分断した画像となっている。このため、本例の領域（候補領域）Ｒは、手部分、腕部分、中指部分となる。よって、画像認識部１２は、手部分、腕部分及び中指部分のそれぞれの画像にラベルを付ける。ここでは、手部分にラベル「Ｌ１」が付され、腕部分にラベル「Ｌ２」が付され、中指部分にラベル「Ｌ３」が付される。
【００２８】
続いて、図５に示すように、画像特定部１３は、領域（候補領域）Ｒの位置関係に従って、各領域（候補領域）Ｒが、どのような領域であるのかを特定する。本例の画像特定部１３は、画像情報Ｄのラベル付けが済むと、車両１の前後方向を基に、画像情報Ｄ上の手及び腕部を確定する。車両１の前後方向は、画像撮影部４をどの向きに設置するかによって一義的に決まるので、画像処理装置８（画像特定部１３）には、画像座標系のどの向きが車両１の前後方向であるのかが予め入力されている。本例の場合、図５の紙面において画像座標系の上下方向をＸ軸とし、左右方向を画像座標系のＹ軸方向とすると、Ｘ軸方向が車両前後方向に設定されている。
【００２９】
ここで、画像特定部１３は、領域Ｒの種類特定にあたり、分断された領域（候補領域）Ｒの互いの離れ距離Ｌを求め、この離れ距離Ｌと閾値Ｌｋとを比較することにより、分断された領域（候補領域）Ｒとして処理すべきか否かを判断する。このとき、離れ距離Ｌが閾値Ｌｋ未満であれば、これら領域（候補領域）Ｒを、１つの領域Ｒとして取り扱ってもよい。この場合の離れ距離Ｌは、画像座標系のＸ−Ｙ平面上における距離（すなわち、画像平面上の距離）、Ｚ方向（すなわち、ＴＯＦカメラで計測した距離）のいずれでもよい。
【００３０】
本例の場合、領域（候補領域）Ｒの「ラベルＬ１」と「ラベルＬ２」は、大きく離れた画像となっている。このため、画像特定部１３は、「ラベルＬ１」と「ラベルＬ２」との離れ距離Ｌが、閾値Ｌｋ以上となることを確認する。よって、画像特定部１３は、「ラベルＬ１」と「ラベルＬ２」とが分断された領域Ｒであると判断する。すなわち、ラベルＬ１とラベルＬ２は、それぞれ分断画像であると判定される。
【００３１】
一方、領域（候補領域）Ｒの「ラベルＬ１」と「ラベルＬ３」とは、僅か離れた画像となっている。このため、画像特定部１３は、「ラベルＬ１」と「ラベルＬ３」との離れ距離Ｌが、閾値Ｌｋ未満となることを確認する。よって、画像特定部１３は、「ラベルＬ１」と「ラベルＬ３」とを、分断された領域Ｒではなく、１つの領域Ｒとして処理する。
【００３２】
画像特定部１３は、ラベルＬ１（ラベルＬ３を含む）とラベルＬ２とに対し、これらがどの領域Ｒであるのかを特定する。本例の画像特定部１３は、車両１の前後方向を基に、ラベルＬ１（ラベルＬ３を含む）とラベルＬ２が、手及び腕部のどちらであるのかを特定する。ここでは、画像特定部１３は、車両前方に位置するラベルＬ１（ラベルＬ３を含む）を「手」として確定し、車両後方に位置するラベルＬ２を「腕部」として確定する。
【００３３】
なお、画像認識部１２は、各領域Ｒの種類（手及び腕部）を特定すると、画像情報Ｄにおいてエッジが立つ部位を指先候補（図５に示す丸印）として認識し、これらエッジが連なる一帯の画像領域を手の平候補（図５に示す四角印）として認識し、手の平の重心位置を手の重心候補（図５に示す三角印）として認識する。
【００３４】
画像認識部１２は、画像特定部１３によって特定された領域Ｒが、認識対象として確かであるか否かを確認する。認識対象の確認方法としては、例えば認識対象を指とするのであれば、指の輪郭が、規定された条件を満たすか否かを判定する方法などが想定される。
【００３５】
画像認識部１２は、認識対象が確かであれば、領域Ｒが人体のどの部分（手及び腕部）であるのかの判定結果を確定する。そして、画像認識部１２は、以上の画像認識処理を所定サイクルで繰り返すことにより、画像上に映る手及び腕部を認識する。ジェスチャ制御部１４は、以上の画像認識処理によって検出された手の動きからジェスチャ操作を判定し、そのジェスチャ操作に応じた態様に車載機器５を制御する。
【００３６】
図６に示すフローチャートに沿って、本例の画像処理装置８の動作のまとめを説明する。
ステップ１０１において、画像取得部１１は、画像認識の対象物として人体の少なくとも一部分（本例は手及び腕部）が映り込んだ画像情報Ｄ（３次元距離情報Ｄａ）を画像撮影部４から取得する。なお、ステップ１０１が第１ステップに相当する。
【００３７】
ステップ１０２において、画像認識部１２は、対象物に対応する領域（候補領域）Ｒを検出する画像認識処理を、画像取得部１１で取得した画像情報Ｄに対して実行する。本例の場合、画像に映り込んだ人体らしい全ての領域Ｒを抽出し、これらにラベルを付ける。なお、ステップ１０２が第２ステップに相当する。
【００３８】
ステップ１０３において、画像特定部１３は、画像認識部１２で検出した対象物に対応する領域（候補領域）Ｒが分断されていた場合、各領域（候補領域）Ｒが人体のどの部分（手及び腕部）であるのかを特定する。本例の場合、車両前方に映る領域Ｒ（ラベルＬ１）を「手」と認識し、車両後方に映る領域Ｒ（ラベルＬ２）を「腕部」として認識する。なお、ステップ１０３が第３ステップに相当する。
【００３９】
ステップ１０４において、画像認識部１２は、ステップ１０３で特定した領域Ｒが、認識対象として確かであるかを確認する。
ステップ１０５において、ジェスチャ制御部１４は、認識対象が確かであれば、その画像を基にユーザのジェスチャ操作を判定し、その判定結果に応じた態様に機器２（車載機器５）を制御する。これにより、ユーザは、単なるハンドジェスチャを通じて、機器２を操作することが可能となる。よって、機器２の操作の利便性が向上する。
【００４０】
さて、本例の場合、画像認識処理を通じて、画像上に映る対象物に対応する領域Ｒを検出し、領域Ｒが分断されていた場合、画像情報Ｄにおける画像座標系の座標軸方向から、分断された領域Ｒが人体のどの部位であるのかを特定する。このため、画像認識処理により検出された領域Ｒを画像座標系の座標軸方向と単に比較する処理により、分断された領域Ｒが人体のどの部位であるのかを特定することが可能となる。よって、画像情報Ｄに映る対象物を容易に特定することができる。
【００４１】
画像座標系の座標軸方向は、画像撮影部４が設置される車両１の前後方向に設定される。画像特定部１３は、対象物に対応する領域Ｒが分断されていた場合、車両１の前後方向を基に、分断されたどの領域Ｒが手及び腕部であるのかを確定する。よって、画像認識処理により検出された領域Ｒと車両１の前後方向とを単に比較するという処理により、画像情報Ｄの手及び腕部を簡易に特定することができる。
【００４２】
画像撮影部４は、画像ごとに物体との間の距離を表す３次元距離情報Ｄａを含む画像情報Ｄを取得する。画像認識部１２は、画像撮影部４から取得した画像情報Ｄに含まれる３次元距離情報Ｄａを基に、画像認識を実行する。本例の場合、３次元距離情報Ｄａを含む画像情報Ｄを画像認識処理して、画像上に映る手及び腕部を立体画像で取得する。ところで、この方式の場合、例えば光の反射率が著しく高い又は低い部分を取り込むことができず、この部分が分断された領域Ｒとなってしまう可能性がある。しかし、本例の場合、仮に領域Ｒが分断されてしまっても、分断された領域Ｒが人体のどの部位であるのかが特定されるので、正しい画像認識の処理結果を得るのに有利となる。
【００４３】
画像特定部１３は、分断された領域Ｒの間の離れ距離Ｌを画像上で求め、この離れ距離Ｌと閾値Ｌｋとを比較することにより、分断された領域Ｒとして確定するか否かを判断する。よって、分断された領域Ｒの間の離れ距離Ｌと閾値Ｌｋとを比較するという簡素な処理により、分断された領域Ｒとして取り扱うべきか否かを容易に判定することができる。
【００４４】
画像特定部１３は、分断された領域Ｒが更に複数に分断していた場合、これら分断された領域Ｒの間の離れ距離Ｌが閾値Ｌｋ未満であれば、１つの領域Ｒとして処理する。このため、分断された領域Ｒが更に細かく分離していたとしても、これら画像を１つの領域Ｒとして認識することが可能となる。よって、より精度よく画像認識処理を行うのに有利となる。
【００４５】
なお、実施形態はこれまでに述べた構成に限らず、以下の態様に変更してもよい。
・分断された領域Ｒの間の距離Ｌが許容値以上（許容範囲以上）となる場合、これを判定から除くようにしてもよい。この場合、画像処理時に不要と想定される画像を判定から除去することが可能となるので、画像認識の処理精度を確保するのに有利となる。
【００４６】
・分断された領域Ｒは、２つに限定されず、３つ以上とした場合でも、本例の判定ロジックを採用することができる。
・画像撮影部４の取り付け位置は、例えばインストルメントパネルなど、他の位置に変更可能である。
【００４７】
・画像撮影部４は、１つに限定されず、複数設けられてもよい。
・画像撮影部４は、ＴＯＦカメラ（ＴＯＦセンサ）に限定されず、種々の距離画像カメラが使用可能である。
【００４８】
・画像情報Ｄは、使用する画像撮影部４の種類に応じて、適宜変更してもよい。
・画像情報Ｄは、距離情報付きの３次元情報に限定されず、２次元情報としてもよい。
・画像認識処理は、例えば画像処理、画像処理アルゴリズム、パターンマッチング、画像特徴抽出など、種々の手法が採用可能である。画像処理は、例えば画像に処理加工を施して情報を取り出す処理である。画像処理アルゴリズムは、例えば画像に対してコンピュータによる数学的な処理変換をかけて形状を特定する処理である。パターンマッチングは、例えば取得画像をテンプレートと比較して画像を認識する処理である。画像特徴抽出は、例えば画像から特徴を抽出して形状を特定する処理である。
【００４９】
・画像認識の対象物は、手及び腕部に限定されず、他の人体の一部に変更してもよい。
・ジェスチャ操作は、例えばパワースライドドアの開閉操作や、車両１の自動駐車するときに使用される操作としてもよい。
【００５０】
・座標軸方向は、車両１の前後方向に限定されず、他の方向に適宜変更可能である。また、座標軸方向は、画像座標系のＸ軸方向に限らず、Ｙ軸方向、−Ｘ軸方向、−Ｙ軸方向に変更してもよい。
【００５１】
・座標軸方向は、画像座標系の軸に沿う方向に限定されず、軸（Ｘ軸やＹ軸）に対して傾く線としてもよい。
・ジェスチャ認識システム３及び画像処理装置８は、車両１に適用されることに限定されず、他の機器や装置に使用してもよい。
【符号の説明】
【００５２】
１…車両、２…機器、３…ジェスチャ認識システム、４…画像撮影部、５…車載機器、８…画像処理装置、１１…画像取得部、１２…画像認識部、１３…画像特定部、１４…ジェスチャ制御部、Ｄ…画像情報、Ｄａ…３次元距離情報、Ｒ…領域（候補領域）、Ｌ…距離、Ｌｋ…閾値。
【図１】
2018195052.tif 000003
【図２】
2018195052.tif 000004
【図３】
2018195052.tif 000005
【図４】
2018195052.tif 000006
【図５】
2018195052.tif 000007
【図６】
2018195052.tif 000008