(57)【要約】【課題】物体を画像認識するにあたり、画像上に映る指の形状の精度よい判定を可能にした画像処理装置、画像処理プログラム及びジェスチャ認識システムを提供する。【解決手段】画像認識部１２は、画像情報Ｄにおいて対象物が写り込んだ領域である手画像を認識する画像認識処理を、画像取得部１１で取得した画像情報Ｄに対して実行する。指形状判定部１３は、画像認識部１２が認識した手画像が映る画像座標系の少なくとも奥行き方向の距離を基に、手の指の形状を判定する。【選択図】図１
2018195053.tif 000002
【特許請求の範囲】
【請求項１】
画像認識の対象物としての手を撮像する画像撮影部から、前記対象物が写り込んだ画像を表す画像情報を取得する画像取得部と、
前記画像情報において前記対象物が写り込んだ領域である手画像を認識する画像認識処理を、前記画像取得部で取得した前記画像情報に対して実行する画像認識部と、
前記画像認識部が認識した前記手画像が映る画像座標系の少なくとも奥行き方向の距離を基に、前記手の指の形状を判定する指形状判定部と
を備えた画像処理装置。
【請求項２】
前記画像撮影部は、画素ごとに物体との間の距離を表す３次元距離情報を含む前記画像情報を取得し、
前記画像認識部は、画像撮影部から取得した前記画像情報に含まれる前記３次元距離情報を基に、前記画像認識を実行する
請求項１に記載の画像処理装置。
【請求項３】
前記指形状判定部は、前記手画像における対象物の構成部分において画像座標系の奥行き方向の距離が最も近い部分と、前記手画像に映る指先との間の距離を求め、当該距離から前記手の指の形状を判定する
請求項１又は２に記載の画像処理装置。
【請求項４】
前記指形状判定部は、前記手画像における画像座標系の奥行き方向の距離の配列から前記手の指の形状を判定する
請求項１又は２に記載の画像処理装置。
【請求項５】
前記指形状判定部は、前記手画像における画像座標系の奥行き方向の距離において、当該距離の分布又は距離変化の傾きを基に、前記手の指の形状を判定する
請求項４に記載の画像処理装置。
【請求項６】
画像認識の対象物としての手を撮像する画像撮影部から、前記対象物が写り込んだ画像を表す画像情報を取得する第１ステップと、
前記画像情報において前記対象物が写り込んだ領域である手画像を認識する画像認識処理を、前記第１ステップで取得した前記画像情報に対して実行する第２ステップと、
前記第２ステップで認識した前記手画像が映る画像座標系の少なくとも奥行き方向の距離を基に、前記手の指の形状を判定する第３ステップと
をコンピュータに実行させる画像処理プログラム。
【請求項７】
画像認識の対象物としての手を撮像する画像撮影部と、
前記対象物が写り込んだ画像を表す画像情報を前記画像撮影部から取得する画像取得部と、
前記画像情報において前記対象物が写り込んだ領域である手画像を認識する画像認識処理を、前記画像取得部で取得した前記画像情報に対して実行する画像認識部と、
前記画像認識部が認識した前記手画像が映る画像座標系の少なくとも奥行き方向の距離を基に、前記手の指の形状を判定する指形状判定部と、
前記指形状判定部によって特定された画像上の手の指の動きを基に、ユーザの手の指を用いたジェスチャ操作を判定し、その判定結果を基に機器を制御するジェスチャ制御部と
を備えたジェスチャ認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を画像認識する画像処理装置、画像処理プログラム及びジェスチャ認識システムに関する。
【背景技術】
【０００２】
従来、カメラ等によって撮影された画像を画像認識することによりユーザのジェスチャ操作を判定し、その判定結果を基に機器を制御するジェスチャ認識システムが開発されている。撮影画像を画像認識する画像処理装置としては、特許文献１の技術が周知である。特許文献１は、撮影画像を画像処理した結果に基づき、指の本数や、画像平面における特定の点から指先までの距離を特定して、手の指の形状を判定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３８６３８０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、例えば指を開いた手形状は、画像の撮影方向に応じて、指差ししている手画像のように映り込む場合がある。例えば、指を開いた手形状を、手の平や手の甲から撮影した場合には、指を開いた画像として認識できるのに対し、手を側方から撮影した場合、画像撮影の奥行き方向に指が重なって並んでしまう。よって、指を開いた手形状を指差し形状と誤って判定してしまう可能性があった。
【０００５】
本発明の目的は、物体を画像認識するにあたり、画像上に映る指の形状の精度よい判定を可能にした画像処理装置、画像処理プログラム及びジェスチャ認識システムを提供することにある。
【課題を解決するための手段】
【０００６】
前記問題点を解決する画像処理装置は、画像認識の対象物としての手を撮像する画像撮影部から、前記対象物が写り込んだ画像を表す画像情報を取得する画像取得部と、前記画像情報において前記対象物が写り込んだ領域である手画像を認識する画像認識処理を、前記画像取得部で取得した前記画像情報に対して実行する画像認識部と、前記画像認識部が認識した前記手画像が映る画像座標系の少なくとも奥行き方向の距離を基に、前記手の指の形状を判定する指形状判定部とを備えた。
【０００７】
本構成によれば、画像認識処理を通じて、画像認識の対象物としての手画像を検出し、その手画像において画像座標系の少なくとも奥行き方向の距離を基に、画像上に映る手の指の形状を判定する。このように、本構成の場合、単に画像座標系の平面画像から指の形状を認識するのではなく、画像座標系の奥行き方向の距離を用いて、手画像に映る指の形状を判定する。よって、画像上に映る手の指の形状を精度よく判定することが可能となる。
【０００８】
前記画像処理装置において、前記画像撮影部は、画素ごとに物体との間の距離を表す３次元距離情報を含む前記画像情報を取得し、前記画像認識部は、画像撮影部から取得した前記画像情報に含まれる前記３次元距離情報を基に、前記画像認識を実行することが好ましい。この構成によれば、３次元距離情報を含む画像情報を画像認識処理して、画像上に映る人体の手を立体画像で取得する。よって、立体画像を用いて、画像上に映る指の形状を精度よく判定することが可能となる。
【０００９】
前記画像処理装置において、前記指形状判定部は、前記手画像における対象物の構成部分において画像座標系の奥行き方向の距離が最も近い部分と、前記手画像に映る指先との間の距離を求め、当該距離から前記手の指の形状を判定することが好ましい。この構成によれば、指差し操作したときにとる手の特有の形状特徴を利用して、指の形状を精度よく判定することが可能となる。
【００１０】
前記画像処理装置において、前記指形状判定部は、前記手画像における画像座標系の奥行き方向の距離の配列から前記手の指の形状を判定することが好ましい。この構成によれば、手画像における画像座標系の奥行き方向の距離について、その配列を確認するという簡素な処理により、画像上に映る手の指の形状を判定することが可能となる。
【００１１】
前記画像処理装置において、前記指形状判定部は、前記手画像における画像座標系の奥行き方向の距離において、当該距離の分布又は距離変化の傾きを基に、前記手の指の形状を判定することが好ましい。この構成によれば、手画像における画像座標系の奥行き方向の距離について、距離の分布又は距離変化の傾きを確認するという簡素な処理により、画像上に映る手の指の形状を判定することが可能となる。
【００１２】
前記問題点を解決する画像処理プログラムは、画像認識の対象物としての手を撮像する画像撮影部から、前記対象物が写り込んだ画像を表す画像情報を取得する第１ステップと、前記画像情報において前記対象物が写り込んだ領域である手画像を認識する画像認識処理を、前記第１ステップで取得した前記画像情報に対して実行する第２ステップと、前記第２ステップで認識した前記手画像が映る画像座標系の少なくとも奥行き方向の距離を基に、前記手の指の形状を判定する第３ステップとをコンピュータに実行させる。
【００１３】
前記問題点を解決するジェスチャ認識システムは、画像認識の対象物としての手を撮像する画像撮影部と、前記対象物が写り込んだ画像を表す画像情報を前記画像撮影部から取得する画像取得部と、前記画像情報において前記対象物が写り込んだ領域である手画像を認識する画像認識処理を、前記画像取得部で取得した前記画像情報に対して実行する画像認識部と、前記画像認識部が認識した前記手画像が映る画像座標系の少なくとも奥行き方向の距離を基に、前記手の指の形状を判定する指形状判定部と、前記指形状判定部によって特定された画像上の手の指の動きを基に、ユーザの手の指を用いたジェスチャ操作を判定し、その判定結果を基に機器を制御するジェスチャ制御部とを備えた。
【発明の効果】
【００１４】
本発明によれば、物体を画像認識するにあたり、画像上に映る指の形状を精度よく判定することができる。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態の画像処理装置及びジェスチャ認識システムの構成図。
【図２】画像撮影部の配置例を示す運転席の斜視図。
【図３】３次元距離画像図。
【図４】３次元距離画像の立体的なモデル図。
【図５】（ａ），（ｂ）は指の形状の判定の仕方の説明図。
【図６】画像処理時に実行されるフローチャート。
【図７】（ａ），（ｂ）は第２実施形態で示す指の形状の判定の仕方の説明図。
【図８】（ａ），（ｂ）は指の形状の判定の仕方の説明図。
【発明を実施するための形態】
【００１６】
（第１実施形態）
以下、画像処理装置、画像処理プログラム及びジェスチャ認識システムの第１実施形態を図１〜図６に従って説明する。
【００１７】
図１に示すように、車両１は、ユーザによるジェスチャ操作を認識して機器２を制御するジェスチャ認識システム３を備える。本例のジェスチャ認識システム３は、画像撮影部４により撮影された画像情報Ｄを基にユーザのジェスチャ操作を画像認識し、そのジェスチャ操作に応じた態様に機器２を制御する。機器２は、例えば車載機器５であることが好ましい。車載機器５は、例えばセンターディスプレイ、カーナビゲーションシステム、空調装置、音量装置、オーディオ装置等がある。
【００１８】
画像撮影部４は、画像認識の対象物（ユーザの手等）を撮影可能であって、例えば物体との間の３次元距離情報Ｄａを含む画像情報Ｄを取得する測距式（距離画像カメラ）である。距離画像カメラは、例えばＴＯＦ（Time of Flight）カメラやＴＯＦセンサであってもよい。距離画像カメラは、例えばカメラから赤外線を放射し、その反射光の時間遅れから距離画像、すなわち距離情報付きの画像情報Ｄを出力する。このように、本例の画像情報Ｄは、物体との間の距離データも含めた３次元距離情報Ｄａを有する。
【００１９】
ジェスチャ認識システム３は、画像撮影部４から入力する画像情報Ｄを画像認識処理してジェスチャ操作を検出する画像処理装置８を備える。画像処理装置８は、画像撮影部４によって撮影された画像に映るユーザの手（指先）を画像認識し、手（指先）の動きを追跡することにより、ユーザのジェスチャ操作を検出する。画像認識処理は、画像から物体（人体）を検出できる画像認識方法であれば、種々の方法が採用可能である。
【００２０】
ジェスチャ操作は、例えばユーザの手を用いたハンドジェスチャ操作であることが好ましい。ハンドジェスチャ操作の場合、例えば人差し指を所定の態様に動かすことにより、機器２を所定態様に制御する。ハンドジェスチャ操作は、手の動きのみを用いた操作の他に、例えば手の動きと音声とを組み合わせた操作でもよい。手の動きと音声とを組み合わせた操作の場合、例えば機器２を指差しし、具体的な操作内容を声で発することにより、機器２を制御する。
【００２１】
画像処理装置８は、画像撮影部４から画像情報Ｄを取得する画像取得部１１を備える。画像取得部１１は、画像認識の対象物としての手を撮像する画像撮影部４から、対象物が写り込んだ画像を表す画像情報Ｄを取得する。本例の場合、画像取得部１１は、画像撮影部４からユーザの手が映った画像情報Ｄを取得する。
【００２２】
画像処理装置８は、画像取得部１１が取得した画像情報Ｄを画像認識処理する画像認識部１２を備える。画像認識部１２は、画像情報Ｄにおいて対象物が写り込んだ領域Ｒである手画像Ｒ’を認識する画像認識処理を、画像取得部１１で取得した画像情報Ｄに対して実行する。本例の場合、画像認識部１２は、画像認識処理を通じて、画像上に映るユーザの手画像Ｒ’を認識し、この手画像Ｒ’から、手の指先と握り込み部分とを抽出する。
【００２３】
画像処理装置８は、画像認識部１２が認識した画像に映る手の指の形状を精度よく検出可能な指差し画像検出機能を備える。ところで、ユーザが指差しして（一本指を立てて）ジェスチャ操作を行う場合、このときの指の形状を画像認識する必要がある。しかし、例えば指を広げた手の画像を撮影したとき、この手を側方から撮影すると、指が重なった状態となってしまい、これを指差し状態として検出してしまう可能性が生じる。本例は、これに対処する技術である。
【００２４】
画像処理装置８は、画像認識部１２が認識した手画像Ｒ’において手の指の形状を判定する指形状判定部１３を備える。本例の指形状判定部１３は、画像認識部１２が認識した手画像Ｒ’が映る画像座標系の少なくとも奥行き方向の距離を基に、手の指の形状を判定する。本例の場合、指形状判定部１３は、画像座標系における指先及び握り込み部分の間の距離Ｌから、手の指の形状を判定する。
【００２５】
画像処理装置８は、画像認識を用いたジェスチャ操作の作動を制御するジェスチャ制御部１４を備える。ジェスチャ制御部１４は、指形状判定部１３によって指の形状が特定された手画像Ｒ’を基にジェスチャ操作を判定し、その判定結果を基に機器２を制御する。ジェスチャ制御部１４は、認識したジェスチャ操作に応じた制御指令ＳｒをボディＥＣＵ１５に出力し、ボディＥＣＵ１５を通じて機器２を制御する。
【００２６】
次に、図２〜図６を用いて、本発明の実施例であるジェスチャ認識システム３（画像処理装置８）の作用及び効果を説明する。
図２に示すように、画像撮影部４は、例えば車両１が電源オン（例えばＡＣＣオンやＩＧオン）に操作されると、画像撮影を開始する。図２は、人体の手や腕部を下方から画像撮影部４で撮影する例である。この場合、画像撮影部４は、例えばセンターコンソール等に設置されたタッチパッド付近に配置されるとよい。ユーザは、ジェスチャ操作によって機器２を制御する場合、運転者であれば、運転席から前方に手を伸ばし、人差し指を所定態様に沿って動かす。
【００２７】
画像撮影部４は、取得した３次元距離情報Ｄａを含む画像情報Ｄを画像処理装置８に出力する。画像処理装置８は、画像撮影部４から出力された画像情報Ｄを画像取得部１１で取得する。
【００２８】
図３及び図４に示すように、画像認識部１２は、３次元距離情報Ｄａを含む画像情報Ｄを画像認識処理して、画像上の物体を画像認識する。本例の場合、まず画像認識部１２は、画像に映り込んだ人体らしい全ての領域（候補領域）Ｒを特定する処理、いわゆるラベル付けを実施する。候補領域Ｒの特定方法の一例として、以下の（Ｉ）〜（ＩＶ）が想定される。
（Ｉ）色が肌色の領域
（ＩＩ）輝度が閾値を超える領域
（ＩＩＩ）エッジ検出にてエッジで囲まれる領域のうち、面積が閾値以上の領域
（ＩＶ）画像撮影部４からの距離が同一と見なせる範囲内に被写体が存在する領域
画像認識部１２は、抽出した領域（候補領域）Ｒに対し、ラベル付けをする。本例の場合、手の映り込んだ領域Ｒにラベルが付され、このラベルが人体の手であるか否かの判定を実行する。画像認識部１２は、ラベルが手の形状であることの条件を満足すれば、このラベルを手画像Ｒ’の候補として認識する。
【００２９】
なお、画像認識部１２は、画像情報Ｄから３次元状の手画像Ｒ’の候補として抽出すると、その手画像Ｒ’においてエッジが立つ部位を指先候補（図３に示す丸印）として認識し、これらエッジが連なる一帯の画像領域を手の平候補（図３に示す四角印）として認識し、手の平の重心位置を手の重心候補（図３に示す三角印）として認識する。
【００３０】
図４に示すように、指形状判定部１３は、画像認識部１２により抽出された３次元状の手画像Ｒ’のうち、エッジが立つ部位を、「差し指の先端Ｐ１」として認識する。また、指形状判定部１３は、３次元状の手画像Ｒ’のうち立体的な物体の集合部分２０において、画像座標系の奥行き方向の距離が最も近い箇所を「指の握り込み部分Ｐ２」として認識する。指形状判定部１３は、画像座標系の奥行き方向において、「差し指の先端Ｐ１」と「指の握り込み部分Ｐ２」との間の距離Ｌ（３次元距離）を算出し、この距離Ｌと閾値Ｌｋとを比較する。
【００３１】
図５（ａ）に示すように、３次元状の手画像Ｒ’が手の指差し操作の場合には、差し指の先端Ｐ１と指の握り込み部分Ｐ２との間の距離Ｌが大きくなる。このため、指形状判定部１３は、差し指の先端Ｐ１と指の握り込み部分Ｐ２との間の距離Ｌが閾値Ｌｋ以上となることを確認するので、このときの手画像Ｒ’を「指差し画像」と認識する。
【００３２】
一方、図５（ｂ）に示すように、３次元状の手画像Ｒ’が手の指を開いた操作の場合には、差し指の先端Ｐ１と指の握り込み部分Ｐ２との間の距離Ｌが小さくなる。このため、指形状判定部１３は、差し指の先端Ｐ１と指の握り込み部分Ｐ２との間の距離Ｌが閾値Ｌｋ未満であることを確認するので、このときの手画像Ｒ’を「偽の指差し画像」と認識する。すなわち、距離Ｌが閾値Ｌｋ未満の場合には、手画像Ｒ’を「指差し画像」と認識しない。
【００３３】
画像認識部１２は、画像認識処理にて得た領域Ｒ、すなわち手画像Ｒ’が、認識対象として確かであるか否かを確認する。認識対象の確認方法としては、例えば認識対象を指とするのであれば、指の輪郭が、規定された条件を満たすか否かを判定する方法などが想定される。
【００３４】
画像認識部１２は、認識対象が確かであれば、領域Ｒが、指差しの手画像Ｒ’である判定結果を確定する。そして、画像認識部１２は、以上の画像認識処理を所定サイクルで繰り返すことにより、画像上に映る指差しの手画像Ｒ’を認識する。ジェスチャ制御部１４は、以上の画像認識処理によって検出された手（人差し指）の動きからジェスチャ操作を判定し、そのジェスチャ操作に応じた態様に車載機器５を制御する。
【００３５】
図６に示すフローチャートに沿って、本例の画像処理装置８の動作のまとめを説明する。
ステップ１０１において、画像取得部１１は、画像認識の対象物として人体の少なくとも一部分（本例は手）が映り込んだ画像情報Ｄ（３次元距離情報Ｄａ）を画像撮影部４から取得する。なお、ステップ１０１が第１ステップに相当する。
【００３６】
ステップ１０２において、画像認識部１２は、画像情報Ｄにおいて対象物が写り込んだ領域Ｒである手画像Ｒ’を認識する画像認識処理を、画像取得部１１で取得した画像情報Ｄに対して実行する。ここでは、例えば画像に映り込んだ人体らしい領域Ｒを抽出し、これにラベルを付け、手画像Ｒ’か否かを判定する。ラベル付けした画像が手画像Ｒ’の条件を満足すれば、この画像を手画像Ｒ’の候補として認識する。なお、ステップ１０２が第２ステップに相当する。
【００３７】
ステップ１０３において、指形状判定部１３は、画像認識した手画像Ｒ’から、手の指の形状を判定する。本例の場合、指形状判定部１３は、差し指の先端Ｐ１と指の握り込み部分Ｐ２との間の距離Ｌが閾値Ｌｋ以上であれば、画像上の手を「指差し画像」と認識する。なお、ステップ１０３が第３ステップに相当する。
【００３８】
ステップ１０４において、画像認識部１２は、ステップ１０３で特定した手画像Ｒ’が、認識対象として確かであるかを確認する。
ステップ１０５において、ジェスチャ制御部１４は、認識画像が確かであれば、その画像を基にユーザのジェスチャ操作を判定し、その判定結果に応じた態様に機器２（車載機器５）を制御する。これにより、ユーザは、単なるハンドジェスチャを通じて、機器２を操作することが可能となる。よって、機器２の操作の利便性が向上する。
【００３９】
さて、本例の場合、画像撮影部４が撮影した３次元距離情報Ｄａを画像認識処理して画像上の手画像Ｒ’を認識し、その手画像Ｒ’において画像座標系の少なくとも奥行き方向（Ｚ軸方向）の距離を基に、画像上に映る手の指の形状を判定する。このように、本例の場合、単に画像座標系の平面画像から指形状を認識するのではなく、画像座標系の奥行き方向の距離を用いて、手画像Ｒ’に映る指の形状を判定する。よって、画像上に映る手の指の形状を精度よく判定することができる。
【００４０】
画像撮影部４は、物体との間の３次元距離情報を取得する測距式である。画像認識部１２は、画像撮影部４から取得した３次元距離情報Ｄａを基に、画像認識を実行する。本例の場合、３次元距離情報Ｄａを画像認識処理して、画像上に映る手及び腕部を立体画像で取得する。よって、この種の３次元距離情報Ｄａを用いて、画像上に映る指の形状を精度よく判定することができる。
【００４１】
指形状判定部１３は、手画像Ｒ’から立体的な物体の集合部分２０（対象物の構成部分に相当）を抽出し、この集合部分２０において画像座標系の奥行き方向（Ｚ軸方向）の距離が最も近い部分と、手画像Ｒ’に映る指先との間の距離Ｌを求め、この距離Ｌから手の指の形状を判定する。よって、指差し操作したときにとる手の特有の形状特徴を利用して、指の形状を精度よく判定することができる。
【００４２】
（第２実施形態）
次に、第２実施形態を図７及び図８に従って説明する。なお、第２実施形態は、第１実施形態の指の形状の判定手法を変更した実施例である。よって、第１実施形態と同じ部分には同一符号を付して詳しい説明を省略し、異なる部分についてのみ詳述する。
【００４３】
図７（ａ），（ｂ）及び図８（ａ），（ｂ）に示すように、指形状判定部１３は、手画像Ｒ’における画像座標系の奥行き方向の距離を確認し、これら奥行き方向の距離の配列から手の指の形状を判定する。手画像Ｒ’の画像座標系における奥行き方向の距離の配列としては、例えば画像座標系における奥行き方向の距離の分布（図７（ａ），（ｂ）参照）や、画像座標系における奥行き方向の距離変化の傾きΔＬｚ（図８（ａ），（ｂ）参照）などがある。
【００４４】
図７（ａ），（ｂ）の例の場合、指形状判定部１３は、手画像Ｒ’における画像座標系の奥行き方向の距離において、その距離分布を確認する。このとき、指形状判定部１３は、奥行き方向の距離が急に大きくなるとともにその距離が広く存在する距離分布を認識すると、手画像Ｒ’を「指差し画像」と認識する（図７（ａ）参照）。一方、そのような距離分布をとらない手画像Ｒ’は、「指差し画像」ではないと認識する（図７（ｂ）参照）。
【００４５】
図８（ａ），（ｂ）の例の場合、指形状判定部１３は、手画像Ｒ’における画像座標系の奥行き方向の距離において、その距離変化の傾きΔＬｚを確認する。このとき、指形状判定部１３は、奥行き方向の距離変化の傾きΔＬｚが閾値未満の場合、手画像Ｒ’を「指差し画像」と認識する（図８（ａ）参照）。このような傾きΔＬｚをとるのは、指差しした手の特徴として、手の握り込み部分が指先のかなり手前に存在するからである。一方、指形状判定部１３は、奥行き方向の距離変化の傾きΔＬｚが閾値以上の場合、手画像Ｒ’を「指差し画像」ではないと認識する。（図８（ｂ）参照）。
【００４６】
さて、本例の場合、指形状判定部１３は、手画像Ｒ’における画像座標系の奥行き方向の距離を確認し、これら奥行き方向の距離の配列（本例は、距離の分布や距離変化の傾きΔＬｚ）から手の指の形状を判定する。よって、手画像Ｒ’が映る画像座標系の奥行き方向の距離について、その配列を確認するという簡素な処理によっても、画像上に映る手の指の形状を判定することができる。
【００４７】
なお、実施形態はこれまでに述べた構造に限らず、以下の態様に変更してもよい。
・各実施形態において、差し指の先端Ｐ１及び指の握り込み部分Ｐ２の間の距離Ｌは、３次元画像上の奥行き方向の距離であればよい。すなわち、画像座標系の奥行き方向は、画像座標系のＺ軸に沿う方向に限定されず、Ｚ軸に対して所定量から向く方向としてもよい。要は、画像座標系の奥行き方向は、画像平面（Ｘ−Ｙ平面）に対して交差する線に沿う方向であればよい。
【００４８】
・各実施形態において、画像撮影部４の取り付け位置は、例えばインストルメントパネルなど、他の位置に変更可能である。
・各実施形態において、画像撮影部４は、１つに限定されず、複数設けられてもよい。
【００４９】
・各実施形態において、画像撮影部４は、ＴＯＦカメラ（ＴＯＦセンサ）に限定されず、種々の距離画像カメラが使用可能である。
・各実施形態において、画像情報Ｄは、使用する画像撮影部４の種類に応じて、適宜変更してもよい。
【００５０】
・各実施形態において、画像情報Ｄは、距離情報付きの３次元情報であれば、種々の情報に変更してもよい。
・各実施形態において、画像認識処理は、例えば画像処理、画像処理アルゴリズム、パターンマッチング、画像特徴抽出など、種々の手法が採用可能である。画像処理は、例えば画像に処理加工を施して情報を取り出す処理である。画像処理アルゴリズムは、例えば画像に対してコンピュータによる数学的な処理変換をかけて形状を特定する処理である。パターンマッチングは、例えば取得画像をテンプレートと比較して画像を認識する処理である。画像特徴抽出は、画像から特徴を抽出して形状を特定する処理である。
【００５１】
・各実施形態において、判定対象の指形状は、指差し形状に限定されず、例えば二本指を突き出した指形状など、他の形状に変更可能である。
・各実施形態において、指形状の判定方法は、指先と指の握り込み部分との間の距離差を確認する手法や、画像座標系における奥行き方向の距離の配列を確認する手法に限定されず、他の手法に適宜変更できる。
【００５２】
・各実施形態において、ジェスチャ操作は、例えばパワースライドドアの開閉操作や、車両１の自動駐車するときに使用される操作としてもよい。
・各実施形態において、ジェスチャ認識システム３及び画像処理装置８は、車両１に適用されることに限定されず、他の機器や装置に使用してもよい。
【符号の説明】
【００５３】
１…車両、２…機器、３…ジェスチャ認識システム、４…画像撮影部、５…車載機器、８…画像処理装置、１１…画像取得部、１２…画像認識部、１３…指形状判定部、１４…ジェスチャ制御部、２０…集合部分、Ｄ…画像情報、Ｄａ…３次元画像情報、Ｒ…領域、Ｒ’…手画像、Ｌ…距離、Ｌｋ…閾値、Ｐ１…差し指の先端、Ｐ２…指の握り部分。
【図１】
2018195053.tif 000003
【図２】
2018195053.tif 000004
【図３】
2018195053.tif 000005
【図４】
2018195053.tif 000006
【図５】
2018195053.tif 000007
【図６】
2018195053.tif 000008
【図７】
2018195053.tif 000009
【図８】
2018195053.tif 000010