(57)【要約】【課題】  ハンドパターンスイッチ装置及びハンドパターン操作方法に関し、簡素な構成で、的確なハンドパターン認識に基づく入力操作が実現できるようにする。【解決手段】  検出基点から検出領域空間内に存在する対象物を捉え、検出基点からの対象物の各部分の方向及び距離を検出する対象物検出センサ５と、検出された方向及び距離に基づいて、操作者の指示操作に係るハンドパターンを抽出するハンドパターン抽出手段２と、抽出されたハンドパターンに基づいて操作者の指示操作を判別する指示操作判別手段３と、判別された指示操作に対応した指令対象に所定の動作を指令する動作指令手段４とを備える。【選択図】        図１
2006285370.tif 000002
【特許請求の範囲】
【請求項１】
検出基点から検出領域空間内に存在する対象物を捉え、上記検出基点からの上記対象物の各部分の方向及び該各部分までの距離を検出する対象物検出センサと、
上記対象物検出センサにより検出された上記の方向及び距離に基づいて、操作者の指示操作に係るハンドパターンを抽出するハンドパターン抽出手段と、
上記ハンドパターン抽出手段により抽出された上記ハンドパターンに基づいて上記操作者の上記指示操作を判別する指示操作判別手段と、
上記指示操作判別手段により判別された上記指示操作に対応した指令対象に所定の動作を指令する動作指令手段と
を備えたことを特徴とする、ハンドパターンスイッチ装置。
【請求項２】
上記ハンドパターン抽出手段は、上記距離に基づいて上記ハンドパターンを構成する上記対象物の各部分の上記方向を選別するとともに、該各部分を上記ハンドパターンとして抽出する
ことを特徴とする、請求項１記載のハンドパターンスイッチ装置。
【請求項３】
上記検出領域空間は、車両の車室内空間の一部であって、
上記指令対象は、上記車両に搭載された機器である
ことを特徴とする、請求項１又は２記載のハンドパターンスイッチ装置。
【請求項４】
上記対象物検出センサは、上記検出領域空間内を撮像して撮像面上における上記対象物の形状を画像として検出するとともに該画像の各部分に対応する上記対象物までの距離を検出し、
上記ハンドパターン抽出手段は、上記対象物検出センサで検出された上記の画像及び距離に基づいて上記ハンドパターンを抽出する
ことを特徴とする、請求項１〜３のいずれか１項に記載のハンドパターンスイッチ装置。
【請求項５】
上記ハンドパターン抽出手段は、上記対象物検出センサで検出された上記距離に基づいて、該対象物検出センサで検出された上記画像から上記ハンドパターンの画像を抽出するとともに、
上記指示操作判別手段は、上記ハンドパターン抽出手段で抽出された上記ハンドパターンの画像に基づいて、上記ハンドパターンによる指示操作を判別する
ことを特徴とする、請求項４記載のハンドパターンスイッチ装置。
【請求項６】
上記ハンドパターン抽出手段は、予め設定された所定距離範囲内に存在する上記対象物の各部分のみを上記ハンドパターンとして抽出する
ことを特徴とする、請求項１〜５のいずれか１項に記載のハンドパターンスイッチ装置。
【請求項７】
上記ハンドパターン抽出手段は、抽出された上記ハンドパターンの上記検出基点に対する距離の大きさに応じて、予め複数設定された上記ハンドパターンの種別を判別するパターン種別判別手段を有し、
上記指示操作判別手段は、上記パターン種別判別手段で判別された上記ハンドパターンの種別に応じて、上記ハンドパターンによる指示操作が異なるものと判別する
ことを特徴とする、請求項１〜６のいずれか１項に記載のハンドパターンスイッチ装置。
【請求項８】
上記パターン種別判別手段は、抽出された上記ハンドパターンが、予め設定された所定距離範囲内を上記距離方向に分割した複数の分割距離範囲のうちのいずれの分割距離範囲に属しているかを判別して、上記ハンドパターンの種別を判別する
ことを特徴とする、請求項７記載のハンドパターンスイッチ装置。
【請求項９】
上記指示操作判別手段は、上記ハンドパターン抽出手段で抽出された上記ハンドパターンの経時的形状変化に基づき、上記ハンドパターンの動作による指示操作を認識する形状動作認識手段を有する
ことを特徴とする、請求項４〜８のいずれか１項に記載のハンドパターンスイッチ装置。
【請求項１０】
上記指示操作判別手段は、上記対象物検出センサで検出された上記画像の各部分に対応する上記対象物までの経時的距離変化に基づき、上記ハンドパターンの動作による指示操作を認識する距離動作認識手段を有する
ことを特徴とする、請求項４〜９のいずれか１項に記載のハンドパターンスイッチ装置。
【請求項１１】
上記対象物検出センサは、上記対象物への照射波及びその反射波の位相差に基づいて該対象物までの距離を検出するとともに、上記対象物検出センサに対する上記反射波の入射角に応じて該対象物の形状を上記撮像面上における平面像として検出する三次元画像センサである
ことを特徴とする、請求項４〜１０のいずれか１項に記載のハンドパターンスイッチ装置。
【請求項１２】
上記ハンドパターン抽出手段は、上記三次元画像センサで検出された上記平面像の中から、予め設定された所定距離範囲内に存在する上記対象物の平面像を上記ハンドパターンの画像として抽出するとともに、
上記指示操作判別手段は、上記ハンドパターン抽出手段で抽出された上記画像を閾値処理により二値化画像へ変換する二値化変換手段と、該二値化変換手段で変換された上記二値化画像における上記操作者の指示操作として掌及び指の姿勢を特定する手指姿勢特定手段とを有し、該手指姿勢特定手段で特定された上記掌及び指の姿勢に応じた上記指示操作を判別する
ことを特徴とする、請求項１１記載のハンドパターンスイッチ装置。
【請求項１３】
上記対象物検出センサは、上記車室内空間における天井面側に固設されるとともに、該天井面よりも下方及び上記車室内の下方に配設されたシフトレバーのノブよりも上方の領域における対象物を検出する
ことを特徴とする、請求項３〜１２のいずれか１項に記載のハンドパターンスイッチ装置。
【請求項１４】
上記指示操作判別手段は、上記シフトレバーの上に上記ハンドパターンに係る上記操作者の手が載置されているものとして、上記シフトレバーのノブよりも上方の所定領域における上記ハンドパターンから上記操作者の上記指示操作を判別する
ことを特徴とする、請求項１３項に記載のハンドパターンスイッチ装置。
【請求項１５】
車両の車室内に固設された対象物検出センサを用いて操作者のジェスチャを指示操作として検出することにより、車両に搭載された機器に対する所定の操作を実施するハンドパターン操作方法であって、
上記対象物検出センサにより、所定の検出領域空間内における対象物の形状及び該対象物までの距離を検出し、
上記対象物まで距離に基づいて上記対象物の中から上記操作者の指示操作に係るハンドパターンを抽出した後に、
上記対象物の該形状に基づいて抽出された上記ハンドパターンによる指示操作を判別して上記所定の操作を実施する
ことを特徴とする、ハンドパターン操作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャを用いて車載機器への操作入力を行うためのハンドパターンスイッチ装置及びハンドパターン操作方法に関する。
【背景技術】
【０００２】
従来より、電子機器に対する入力操作のためのヒューマンインタフェース技術として、ジェスチャを用いた入力操作を実現するジェスチャ入力操作システムが研究されている。このシステムでは、各種スイッチやキーボード，タッチパネル等の物理的な操作を必要とする従来の入力操作デバイスに代わる新たな入力操作手段として、身振りや手振り等のジェスチャを用いて直感的な入力操作を可能とする仮想的操作デバイスを提供する手法が数々提案されている。
【０００３】
そして近年、自動車産業の分野における上述の技術の応用例として、例えば、乗員が示す手の形状や動作（ハンドパターン）を入力操作として検出するとともに、その入力操作に応じて、車両に搭載されるオーディオ装置，カーナビゲーション装置，通信装置，空調装置等の様々な車載機器を制御する技術が開発されている。このような技術によれば、ドライバが運転中に前方から目を離すことなく、各種の車載機器の操作を行うことができる。
【０００４】
例えば、特許文献１には、車載機器の操作入力装置において、物体反射光を画像として検出するイメージセンサ，カメラを利用して、手の形状で表される形状ジェスチャと手の動いた方向を示す方向ジェスチャとを検出し、形状ジェスチャの種類に応じて車載機器の操作メニューを選択するとともに、方向ジェスチャに基づいて操作メニュー上における変更パラメータの変更方向（増加方向，減少方向等といった変更を与える方向であり、変更量に対応するもの）を指示する制御構成が記載されている。このような制御構成により、使用者（ドライバ等の操作者）にとって直感的にわかりやすく自然な操作が可能な操作装置を提供することができるようになっている。
【０００５】
また、特許文献２には、車載機器の非接触式の情報入力装置であって、運転者の手を含めた所定領域を撮像する遠赤外線センサをイグニッションキーの鍵体頭部に設けた構成が記載されている。このような構成により、撮像した画像の中から、ステアリングホイールの位置を基準位置として運転者のハンドパターンを正確に抽出し、通常の運転動作にかかる手の動作の誤検出を防止できるようになっている。
【特許文献１】特開２００１−２１６０６９号公報
【特許文献２】特開２００５−４７４１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、これらのような従来の一般的な車載機器用のジェスチャ操作入力装置では、操作入力のジェスチャを検出するための検出手段として、ＣＣＤカメラや赤外線カメラ等の撮像装置が用いられており、撮像装置で撮像された画像データに対して様々な演算処理を施すことによって操作者のハンドパターンを検出，認識する方法が採用されている。
このような画像認識においては、操作者のハンドパターンである手の形状，動作を認識するために、画像データ内における手の部分と背景部分とを識別する必要がある。しかし、特許文献１，２に例示されたような従来の操作入力装置では、光学的な撮像装置で撮像された平面画像が用いられているため、照度条件や背景部分の状態に依ってはハンドパターンの識別が困難な場合がある。
【０００７】
特に、車室内における撮像環境は、外光変化等による外乱の影響を受けやすく、照度条件や背景部分の状態を一般化することができない。そのため、例えばハンドパターン動作を行う手の一部分にのみ直射日光が当たっているような場合や、肌の色と似た色を持つ物体が背景部分に写り込んでいるような場合には、ハンドパターンの認識精度を向上させることが困難なのである。
【０００８】
また、このような課題に対し、複数の撮像装置を設けることにより、撮像された複数の画像データに基づいてハンドパターンを立体的に抽出する方法も提案されている。つまり、複数の画像データ間における差分情報に基づいて、撮像範囲中の物体の空間的な位置関係を検出して、それらの中からハンドパターンのみを抽出する方法である。しかしこの場合、手の形状や動作を三次元的に把握する必要があり、演算ロジックが複雑になるだけでなく、処理負荷やそれに係るコストが著しく増加してしまう。
【０００９】
本発明は、上述の課題に鑑み創案されたもので、簡素な構成で、的確なハンドパターン認識に基づく入力操作が実現可能なハンドパターンスイッチ装置及びハンドパターン操作方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目標を達成するため、本発明のハンドパターンスイッチ装置（請求項１）は、検出基点から検出領域空間内に存在する対象物を捉え、上記検出基点からの上記対象物の各部分の方向及び該各部分までの距離を検出する対象物検出センサと、上記対象物検出センサにより検出された上記の方向及び距離に基づいて、操作者の指示操作に係るハンドパターンを抽出するハンドパターン抽出手段と、上記ハンドパターン抽出手段により抽出された上記ハンドパターンに基づいて上記操作者の上記指示操作を判別する指示操作判別手段と、上記指示操作判別手段により判別された上記指示操作に対応した指令対象に所定の動作を指令する動作指令手段とを備えたことを特徴としている。
【００１１】
なお、対象物検出センサが検出する対象物各部分の方向とは、検出領域空間内における対象物の三次元の位置情報のうち、距離情報を除く情報によって規定される方向であり、二次元の位置情報である。
また、上記ハンドパターン抽出手段は、上記距離に基づいて上記ハンドパターンを構成する上記対象物の各部分の上記方向を選別するとともに、該各部分を上記ハンドパターンとして抽出することが好ましい（請求項２）。
【００１２】
つまりこの場合、検出領域空間内における対象物の三次元の位置情報のうち、距離情報によって二次元の位置情報が選別されて、その結果がハンドパターンとして抽出されることになる。
また、上記検出領域空間は、車両の車室内空間の一部であって、上記指令対象は、上記車両に搭載された機器であることが好ましい（請求項３）。
【００１３】
また、上記対象物検出センサは、上記検出領域空間内を撮像して撮像面上における上記対象物の形状を画像として検出するとともに該画像の各部分に対応する上記対象物までの距離を検出し、上記ハンドパターン抽出手段は、上記対象物検出センサで検出された上記の画像及び距離に基づいて上記ハンドパターンを抽出することが好ましい（請求項４）。
また、上記ハンドパターン抽出手段は、上記対象物検出センサで検出された上記距離に基づいて、該対象物検出センサで検出された上記画像から上記ハンドパターンの画像を抽出するとともに、上記指示操作判別手段は、上記ハンドパターン抽出手段で抽出された上記ハンドパターンの画像に基づいて、上記ハンドパターンによる指示操作を判別することが好ましい（請求項５）。
【００１４】
また、上記ハンドパターン抽出手段は、予め設定された所定距離範囲内に存在する上記対象物の各部分のみを上記ハンドパターンとして抽出することが好ましい（請求項６）。
また、上記ハンドパターン抽出手段は、抽出された上記ハンドパターンの上記検出基点に対する距離の大きさに応じて、予め複数設定された上記ハンドパターンの種別を判別するパターン種別判別手段を有し、上記指示操作判別手段は、上記パターン種別判別手段で判別された上記ハンドパターンの種別に応じて、上記ハンドパターンによる指示操作が異なるものと判別することが好ましい（請求項７）。
【００１５】
この場合、上記パターン種別判別手段は、抽出された上記ハンドパターンが、予め設定された所定距離範囲内を上記距離方向に分割した複数の分割距離範囲のうちのいずれの分割距離範囲に属しているかを判別して、上記ハンドパターンの種別を判別することがより好ましい（請求項８）。
また、上記指示操作判別手段は、上記ハンドパターン抽出手段で抽出された上記ハンドパターンの経時的形状変化に基づき、上記ハンドパターンの動作による指示操作を認識する形状動作認識手段を有することが好ましい（請求項９）。
【００１６】
また、上記指示操作判別手段は、上記対象物検出センサで検出された上記画像の各部分に対応する上記対象物までの経時的距離変化に基づき、上記ハンドパターンの動作による指示操作を認識する距離動作認識手段を有することが好ましい（請求項１０）。
なお、上記対象物検出センサは、上記対象物への照射波及びその反射波の位相差に基づいて該対象物までの距離を検出するとともに、上記対象物検出センサに対する上記反射波の入射角に応じて該対象物の形状を上記撮像面上における平面像として検出する三次元画像センサであることが好ましい（請求項１１）。
【００１７】
さらにこの場合、上記ハンドパターン抽出手段は、上記三次元画像センサで検出された上記平面像の中から、予め設定された所定距離範囲内に存在する上記対象物の平面像を上記ハンドパターンの画像として抽出するとともに、上記指示操作判別手段は、上記ハンドパターン抽出手段で抽出された上記画像を閾値処理により二値化画像へ変換する二値化変換手段と、該二値化変換手段で変換された上記二値化画像における上記操作者の指示操作として掌及び指の姿勢を特定する手指姿勢特定手段とを有し、該手指姿勢特定手段で特定された上記掌及び指の姿勢に応じた上記指示操作を判別することがより好ましい（請求項１２）。
【００１８】
なお、上記対象物検出センサは、上記車室内空間における天井面側に固設されるとともに、該天井面よりも下方及び上記車室内の下方に配設されたシフトレバーのノブよりも上方の領域における対象物を検出することが好ましい（請求項１３）。
また、上記指示操作判別手段は、上記シフトレバーの上に上記ハンドパターンに係る上記操作者の手が載置されているものとして、上記シフトレバーのノブよりも上方の所定領域における上記ハンドパターンから上記操作者の上記指示操作を判別することが好ましい（請求項１４）。
【００１９】
また、本発明のハンドパターン操作方法（請求項１５）は、車両の車室内に固設された対象物検出センサを用いて操作者のジェスチャを指示操作として検出することにより、車両に搭載された機器に対する所定の操作を実施するハンドパターン操作方法であって、上記対象物検出センサにより、所定の検出領域空間内における対象物の形状及び該対象物までの距離を検出し、上記対象物まで距離に基づいて上記対象物の中から上記操作者の指示操作に係るハンドパターンを抽出した後に、上記対象物の該形状に基づいて抽出された上記ハンドパターンによる指示操作を判別して上記所定の操作を実施することを特徴としている。
【発明の効果】
【００２０】
本発明のハンドパターンスイッチ装置（請求項１）によれば、検出領域空間内に存在する対象物の方向情報及び距離情報に基づいて、正確に対象物及びその各部分を把握することができる。また、検出された対象物全体の中からハンドパターンを抽出して、操作者の指示操作を判別することができ、指令対象に対して指示操作に応じた所定の動作を指令することができる。
【００２１】
また、本発明のハンドパターンスイッチ装置（請求項２）によれば、対象物の各部分の距離情報を参照することによって、その対象物を距離に基づく切り分けによって把握することができる。また、切り分けられた対象物の各部分をハンドパターンとして抽出することによって、容易且つ正確に操作者の指示操作を判別することができる。また、ハンドパターン抽出に係る演算の処理負荷を低減させることができ、容易且つ正確にハンドパターンを抽出することができる。
【００２２】
また、本発明のハンドパターンスイッチ装置（請求項３）によれば、対象物の検出に係る外乱要因の多い車両の車室空間内において、ハンドパターンによる車載機器制御を正確に実施することができる。
また、本発明のハンドパターンスイッチ装置（請求項４）によれば、対象物検出センサが検出した対象物からのハンドパターンの抽出を、対象物までの距離のみに基づいて行うため、ハンドパターン抽出に係る演算の処理負荷を低減させることができ、容易且つ正確にハンドパターンを抽出することができる。また、ハンドパターンの指示操作は、撮像された対象物の画像に基づいて認識されるため、光学式センサを用いた従来の技術における制御ロジックやノウハウを活用することができる。また、これらのような効果を簡素な構成で安価に実現することができる。
【００２３】
また、本発明のハンドパターンスイッチ装置（請求項５）によれば、ハンドパターンによる指示操作を認識する際に、抽出されたハンドパターンのみを参照するため、処理負荷をより低減させることができる。
また、本発明のハンドパターンスイッチ装置（請求項６）によれば、簡素な構成でハンドパターンの抽出精度を向上させることができる。
【００２４】
また、本発明のハンドパターンスイッチ装置（請求項７）によれば、多様なハンドパターンのバリエーション（種別）を設定することができる。例えば、一つのハンドパターンの動作に対して、対象物検出センサに対する距離に応じた、異なる操作指示操作をあてがうことができる。
また、本発明のハンドパターンスイッチ装置（請求項８）によれば、ハンドパターンの種別を分割距離範囲によって区分することができる。つまり、ハンドパターンのバリエーション（種別）と対象物検出センサまでの距離とが対応付けられている場合に、同一のバリエーションが対応付けられる距離範囲を分割距離範囲として設定することができ、操作者にとって直感的に理解しやすい操作範囲の幅を設けることができる。そして、このような幅を持った分割距離範囲を複数設けることができる。
【００２５】
また、本発明のハンドパターンスイッチ装置（請求項９）によれば、簡素な構成で、経時的なハンドパターン形状の変化を認識することができ、対象物検出センサの撮像面内方向へ移動するハンドパターンの動作を認識することができる。
また、本発明のハンドパターンスイッチ装置（請求項１０）によれば、簡素な構成で、経時的なハンドパターン距離の変化を認識することができ、対象物検出センサの撮像面に対し垂直な方向（すなわち、距離方向）へ移動するハンドパターンの動作を認識することができる。
【００２６】
また、本発明のハンドパターンスイッチ装置（請求項１１）によれば、三次元画像センサを利用して、撮像面上における平面像及び対象物までの距離を容易に検出することができる。これにより、光学式センサを用いた従来の技術における制御ロジックやノウハウを効果的に活用することができる。
また、本発明のハンドパターンスイッチ装置（請求項１２）によれば、抽出されたハンドパターンの画像から、そのハンドパターンの指示操作を容易に認識することができる。
【００２７】
また、本発明のハンドパターンスイッチ装置（請求項１３）によれば、操作者にとってジェスチャ操作が容易である領域を対象物検出センサで検出することができ、使い勝手を向上させることができる。また、シフトレバーの操作とジェスチャ操作とを容易に判別することができ、ジェスチャの認識精度を向上させることができる。
また、本発明のハンドパターンスイッチ装置（請求項１４）によれば、シフトレバーの上に載置されている操作者の手をハンドパターンの指示操作として判別することができる。また操作者は、シフトレバーの上に手を乗せた状態でハンドパターンの指示操作を行うことができる。つまり、指示操作のために手や腕を大きく動かす必要がなく、シフトレバーへ手を掛けた自然な姿勢のまま車載機器類の操作を実施することができ、操作者の手や腕への負担を軽減させることができ、極めて使い勝手の良いハンドパターンスイッチ装置を提供することが可能となる。
また、指示操作判別手段がハンドパターンから指示操作を判別する領域を、シフトレバーのノブよりも上方の所定領域に設定するという簡素な構成で、容易にこのような効果を奏することができる。
【００２８】
また、本発明のハンドパターン操作方法（請求項１５）によれば、ハンドパターン抽出に係る演算の処理負荷を低減させることができ、正確且つ容易にハンドパターンを抽出することができる。また、これにより、操作者の指示操作を正確に判別することができ、指令対象に対して指示操作に応じた動作を的確に指令することができるようになり、制御性を向上させることができる。
【発明を実施するための最良の形態】
【００２９】
以下、図面により、本発明の実施の形態について説明する。
図１〜図９は本発明の一実施形態としてのハンドパターンスイッチ装置を示すもので、図１は本装置の全体構成を示す模式的構成図、図２は本装置が適用された車両の車室内における対象物検出センサの撮像領域を示す模式的俯瞰図、図３は本装置の対象物検出センサによって撮像された距離画像の特性を説明するための模式図であり、（ａ）は距離画像を示す模式図、（ｂ）は距離画像を撮像した検出領域及び距離帯を説明するための模式図、（ｃ）は距離画像から距離帯ａ部分を抽出した画像、（ｄ）は距離画像から距離帯ｂ部分を抽出した画像、（ｅ）は距離画像から距離帯ｃ部分を抽出した画像、図４は本装置で抽出されたハンドパターンの形状及び距離を擬似的な三次元形状として描画した斜投影図、図５は本装置の対象物検出センサからの距離に応じて設定される分割距離範囲を示す模式図、図６，図７は本装置における制御内容を示す制御フロー図、図８は本装置に対して操作指示を与えるための手指形状の例を示す図であり、（ａ）は人差し指及び親指を立てた手指形状、（ｂ）は親指を出し入れする動作を伴った手指形状、（ｃ）は人差し指を立てた状態で右方向へ移動する動きを伴った手指形状、（ｄ）は人差し指を立てた状態で左方向へ移動する動きを伴った手指形状をそれぞれ示し、図９は本装置を用いた操作者による操作指示状況を示す模式的な車室内斜視図である。
【００３０】
［全体構成］
図１は、本ハンドパターンスイッチ装置が適用された車両の車室内と、本ハンドパターンスイッチ装置における制御装置の機能的な構成とを示している。まず、図１に示すように、車室７内の運転席前方には、操作者（ドライバ）によって操舵されるステアリングホイール（ハンドル）が設けられ、運転席より助手席側の側方には変速機を制御するためのシフトレバー８が設けられている。
【００３１】
運転席の前面にはインストルメントパネルが配されており、車両に搭載される車載機器や各種計器類がその内部に配設されるようになっている。また、このインストルメントパネルには、車載オーディオ装置や空調装置の操作パネル６が、運転席側及び助手席側の双方からの操作が容易であるように、例えば車幅方向中間部のシフトレバー８の前方に配置されている。なお、本ハンドパターンスイッチ装置が適用された車両においては、車載オーディオ装置及び空調装置が、この操作パネル６を用いて直接操作できるだけでなく、本ハンドパターンスイッチ装置を用いてジェスチャ（一般には「ハンドパターン，手形状，掌指形状」等とも呼ばれ、これらの「ハンドパターン，手形状，掌指形状」の動作についても含むものとする）による入力操作ができるようになっている。
【００３２】
本ハンドパターンスイッチ装置は、入力操作としての手振り形状やその動作（ハンドパターン）等を撮像する三次元画像センサ５と、三次元画像センサ５による検出情報に基づき車載オーディオ装置及び空調装置を制御する制御装置としてのＥＣＵ（コントロールユニット）１と、ＥＣＵ１からの出力信号によって音声や信号音等を発するスピーカ１１とを備えて構成されている。
【００３３】
三次元画像センサ（対象物検出センサ）５は、図１に示すように、シフトレバー８から上方における天井面側において、撮像範囲を下方へ配向されて固設されている。この三次元画像センサ（以下、単にセンサともいう）５とは、車両の車室７内における所定の検出領域（検出領域空間、図１中において一点鎖線で囲まれた領域）１０内の対象物を画像として検出するセンサであって、撮像面上における対象物の形状及び検出領域１０内における検出基点から対象物までの距離Ｄを検出する機能も有している。
【００３４】
なお、ここでいう撮像面とは、画像として検出される対象物が投射される仮想的な二次元平面のことを指し、これについては後述する。また、ここでいう対象物とは、検出領域１０内に存在する撮像の対象一般を指しており、例えば入力操作としての手振りだけでなく、その背景部分に存在するシフトレバー８等も対象物に含まれている。
また、センサ５が対象物を検出する検出領域１０は、運転席と助手席との間（車幅方向の中間）の空間であって、図２に一点鎖線で示されたような平面視における矩形領域とセンサ５とによって挟まれる、略四角錐の空間領域（図１中に一点鎖線で示す）の内部空間全体となっている。なお、この検出領域１０の平面視における位置及び広さは、図２に示すように、運転者が着座した姿勢で自然に手を伸ばすことのできる位置であって、少なくとも運転者の手形状の全体像を把握しうる程度の広さに設定されており、例えば本実施形態では、シフトレバー８を含んで運転席の左側方の領域に設定されている。
【００３５】
本実施形態における三次元画像センサ５は、検出領域１０内に存在する対象物へレーザー装置やＬＥＤを用いて赤外線を照射して、対象物から反射する反射波を検出し、照射波と反射波との位相差に基づいて対象物までの距離Ｄを検出するようになっている。また、対象物から反射した反射波のセンサ５に対する入射角に応じて対象物の存在方向を特定し、対象物の形状を撮像面上における平面像として検出するようになっている。
【００３６】
つまり、三次元画像センサ５は、撮像面上における対象物の形状（すなわち、立体形状ではなく、検出領域空間内における対象物の三次元の位置情報のうち、距離情報を除く情報によって規定される方向であり、二次元の位置情報）と対象物までの距離Ｄとの２種類の検出情報によって、対象物の存在を検出するようになっている。ここで検出された対象物の形状及び対象物までの距離Ｄは、ＥＣＵ１へ入力されるようになっている。
【００３７】
なお、センサ５内で検出された対象物の存在を、前述の撮像面上に投射される画像として仮想的に図示すると、図３（ａ）に示すような画像となる。この図３（ａ）には、図３（ｂ）に示すように、操作者が検出範囲１０内でジェスチャを行っているときに検出された対象物が投射されている。また、図３中における色の濃淡は対象物の各部分の距離Ｄに対応しており、検出領域１０内において三次元センサ５に近いほど薄く（ここでは、目の粗いハッチ表示）、遠いほど濃く（ここでは、密なハッチ表示）表現されている。
【００３８】
つまり、センサ５で検出される対象物は、照度や輝度といった光学的な情報を含まない（対象物の存在のみを示す）平面画像において、画像を構成する単位画素の各々に対し、平面に垂直な方向への位置情報（つまり、センサ５との距離情報）が１つだけ与えられたような、擬似的な三次元形状を成すことになる。なお、この擬似的な三次元形状を模式的に表したものを、図４に示す。ここでは、センサ５によって手のみが検出された場合を想定して、擬似的な三次元形状が示されている。
【００３９】
図４では、対象物の存在する点の集合としての対象物の平面形状が、まずｘｙ平面にプロットされている。つまり、この図をｚ軸方向から眺めたときの図形が、センサ５において検出された形状に一致する。そして、この図形を構成する各々の点に対して、ｚ軸方向に対象物までの距離Ｄが与えられ、各点をｘ軸方向，ｙ軸方向へ連結する格子状の仮想線がグリッドラインとして描かれている。これにより、センサ５側から見た手（ここでは、手の甲側）の凹凸形状を立体的に捉えることができる擬似的な三次元形状が描画されることになる。
【００４０】
なお、前述の通り、対象物の距離Ｄ、すなわちｚ軸方向の値は、対象が存在する各点（対象物の各部分）に対してだた１つだけ与えられるようになっているため、ここに示された三次元形状とは手の表側の形状のみであり、図４に示すように、手の裏面（掌面）が明確とならない形状、すなわち、対象物に対しあたかもセンサ５側の方向からテーブルクロスを掛けたかのような曲面として形成された三次元形状となる。
【００４１】
また、図３（ａ）に示された画像を構成する各単位画素の距離Ｄ情報に着目して、略同一の距離帯に存在する対象物のみを抽出して描画すると、図３（ｃ）〜（ｅ）に示すような画像となる。図３（ｂ）に示す距離帯ａにおける画像は、操作者の手の形状のみが存在する図３（ｃ）に示すような形状となり、距離帯ａよりもやや下方の距離帯ｂにおける画像は、ジェスチャとしての意味を持たない背景としてのシフトレバー８先端のシフトノブの形状が描かれた図３（ｄ）のような形状となり、距離帯ｂよりもさらに下方の距離帯ｃにおける画像は、操作者の足部分の形状が描かれた図３（ｅ）のような形状となる。
【００４２】
［ＥＣＵ］
次に、ＥＣＵ１の機能について説明する。ＥＣＵ１には、対象物の中から操作者の指示操作に係るハンドパターンを抽出するハンドパターン抽出部（ハンドパターン抽出手段）２と、ハンドパターンによる指示操作を認識する指示操作判別部（指示操作判別手段）３と、車載機器に対する所定の操作を実施する動作指令部（動作指令手段）４と、ハンドパターン抽出部２及び指示操作判別部３において認識されたハンドパターンの形状やその距離を経時的に記憶するメモリ９とを備えて構成されている。
【００４３】
ハンドパターン抽出部２は、センサ５で検出された距離Ｄに基づいて、対象物の中から操作者の指示操作に係るハンドパターン、すなわち、車載機器を操作するために為されたジェスチャを抽出するようになっている。具体的には、検出された対象物のうち、所定距離範囲内に存在する対象物のみをハンドパターンとして抽出するようになっている。なお、本実施形態における所定距離範囲は、シフトレバー８のシフトノブよりも上方の位置であって、センサ５からの距離が第１距離Ｄ1未満の範囲に設定されている。
【００４４】
ここでは、所定距離範囲内に存在する対象物（ハンドパターン）が、画像として抽出されるようになっている。ここで抽出された画像としてのハンドパターンは、指示操作判別部３へ入力されるようになっている。例えば、このハンドパターンの画像として、図３（ｃ）に示すような操作者の手の形状の画像が抽出される。また、ここで抽出されたハンドパターンの距離Ｄの情報は、随時メモリ９で記憶されるようになっている。
【００４５】
つまり、ハンドパターン抽出部２では、センサ５から得られた図３（ａ）に示す距離画像から、手の形状が存在する図３（ｃ）に示す画像のみが抽出され、図３（ｄ），（ｅ）に示すようなシフトノブや操作者の足といった背景部分の画像が削除されることになる。そしてこのような画像の選別が、距離Ｄの大きさに応じて行われているのである。したがって、本実施形態では、検出領域空間内における対象物の三次元の位置情報のうち、距離情報によって二次元の位置情報が選別されて、その結果がハンドパターン（対象物に関する、二次元の位置情報の集まり）として抽出されることになる。
【００４６】
また、ハンドパターン抽出部２は、距離Ｄの大きさに応じて、予め複数設定されたハンドパターンの種別を判別するパターン種別設定部（パターン種別判別手段）２ａを有している。パターン種別設定部２ａは、ハンドパターン抽出部２で抽出されたハンドパターンの種別を設定するための機能部であり、ハンドパターンが所定距離範囲内を距離方向に分割した複数の分割距離範囲のうちのいずれの分割距離範囲に属しているかを判定して、ハンドパターンの種別を判別するようになっている。
【００４７】
例えばパターン種別設定部２ａでは、図５に示すように、閾値としての第１距離Ｄ1、第２距離Ｄ2及び第３距離Ｄ3がＤ1＞Ｄ2＞Ｄ3≧０となるように予め設定されている。そして、対象物の距離Ｄがこれらの閾値で分割される距離範囲のうち、どの範囲に属しているかによって、ハンドパターンの種別を判定するようになっている。図５に示された例では、Ｄ1＞Ｄ≧Ｄ2である距離範囲が第１分割距離範囲として設定され、Ｄ2＞Ｄ≧Ｄ3である距離範囲が第２分割距離範囲として設定され、Ｄ3＞Ｄ≧０である距離範囲が第３分割距離範囲として設定されるようになっている。
【００４８】
また、ハンドパターンの種別とは、そのハンドパターンの形状又は動作に対応付けられる操作指示の内容を区別するための種類区分のことをいう。例えば本実施形態では、ハンドパターン抽出部２において抽出されたハンドパターンが異なる分割距離範囲間を移動した場合には、そのハンドパターンが音声アナウンスに係るハンドパターンであると認識されるようになっている。つまり、図３（ｂ）中において、操作者によるハンドパターンが上下方向（センサ５に対する離接方向）に移動した場合には、その後操作対象となる車載機器の機能が選択された場合に（これについては後述する）、選択された車載機器の機能名称がスピーカ１１によって音声アナウンスされるようになっている。
【００４９】
つまり、本実施形態では、ハンドパターンが存在する距離範囲を特定することによって、例えば同一のハンドパターンの形状、動作に対して、複数の異なる操作指示操作を対応させることや、ハンドパターンが存在する距離範囲の変化に対応する機能を予め設定しておくことができるようになっている。なお、ここで判定されたハンドパターンの種別は、随時メモリ９で記憶されるようになっている。
【００５０】
指示操作判別部３は、センサ５で検出された、撮像面上における対象物の形状に基づき、ハンドパターン抽出部２で抽出されたハンドパターンによる指示操作を認識するようになっている。本実施形態では、センサ５で検出された対象物の形状のうち、ハンドパターン抽出部２で抽出されたハンドパターンに対応する形状に基づいて、ハンドパターンによる指示操作を認識するようになっている。なお、本実施形態の指示操作判別部３は、ハンドパターンの形状の経時的な変化、すなわち、動作を認識して、ハンドパターンによる指示操作を認識することができるようにもなっている。
【００５１】
このように機能すべく、指示操作判別部３は、二値化変換部（二値化変換手段）３ａと、手指姿勢特定部（手指姿勢特定手段）３ｂと、動作認識部３ｃとを備えて構成されている。
まず、二値化変換部３ａは、ハンドパターン抽出部２で抽出された画像を閾値処理により二値化画像へ変換するように機能する。なお、この二値化変換部３ａにおける画像の二値化処理とは、例えば画像を構成する単位画素の各々の濃度（この場合、距離Ｄに対応するもの）を予め設定された閾値濃度との大小関係に応じて二つの値に変換する一般的な二値化処理のことをいう。つまりここでは、ハンドパターンの距離情報に関するモノクロ画像が生成されることになる。
【００５２】
手指姿勢特定部（手指姿勢特定手段）３ｂは、二値化変換部３ａで変換された二値化画像における操作者の指示操作として掌及び指の姿勢を特定するように機能する。ここでは、二値化画像中から、掌を内包する掌正方形の大きさ及び向きを決定するとともに、掌の輪郭線の形状に基づいて小指、親指等の手指位置を決定する、従来の姿勢特定方法が用いられる。掌及び指の姿勢を特定することによって、例えば、操作者がどの指をどちらの方向へ伸ばしているかといった、ハンドパターンの形状的な特性を把握することができるようになっている。なお、ここで抽出された掌及び指の姿勢（すなわち、ハンドパターンの形状）は、随時メモリ９で記憶されるようになっている。
【００５３】
一方、動作認識部３ｃはハンドパターンの動作を把握するための機能部であり、経時的形状変化（ハンドパターン形状の時間経過に伴う変動）に基づく動作の指示操作を認識する形状動作認識部（形状動作認識手段）３ｄと、経時的距離変化（ハンドパターンの距離Ｄの時間経過に伴う変動）に基づく動作の指示操作を認識する距離動作認識部（距離動作認識手段）３ｅとを備えて構成されている。
【００５４】
この動作認識部３ｃでは、メモリ９に記憶されたハンドパターンの形状及びその距離Ｄの経時的変化の履歴に基づいて、ハンドパターンの動作を認識する。例えば、形状動作認識部３ｄは、掌及び指の姿勢を変化させるような動作を認識し、距離動作認識部３ｅは、ハンドパターンの距離方向へ移動させるような動作を認識するようになっている。
上述の各機能部で特定，認識されたハンドパターンの形状や種別及びその動作に基づいて、指示操作判別部３は、操作者によるハンドパターン操作の指示操作を判別するようになっている。ここで判別された指示操作は、動作指令部４へ入力されるようになっている。
【００５５】
なお、本実施形態では、指示操作判別部３において判別される具体的な指示操作が、図８（ａ）〜（ｄ）に示すようなハンドパターンの形状に対して設定されている。
まず、図８（ａ）に示すように、人差し指及び親指を立てた状態の手指形状のハンドパターン形状（ハンドパターン形状Ａ）が検出された場合、指示操作判別部３は、操作者がハンドパターンによる指示操作を望んでいるものと判断する。つまり、指示操作判定部３は、これに続くハンドパターンによる指示操作を待機する待機状態となる。したがって、このハンドパターン形状を検出しない場合には、以下に説明する各ハンドパターン形状及ハンドパターン動作が仮に検出されたとしても、それらに対応する指示操作が認識されないようになっている。このような構成により、ハンドパターンの誤認識及び本装置の誤作動を防止できるようになっている。
【００５６】
また、図８（ｂ）に示すように、何れの指も立てていない状態と親指のみを立てた状態の手指形状が順に検出された（ハンドパターン動作Ｂが検出された）場合、指示操作判別部３は、これらの手指形状の繰り返し回数に応じて、操作対象となる車載機器の機能を選択するようになっている。つまり、操作者による親指の出し入れ操作によって、複数の車載機器のうちの操作したい車載機器の機能を一つ選択できるようになっている。
【００５７】
例えば、親指の出し入れが１回行われるとエアコンの風量操作機能が選択され、２回行われるとエアコンの温度操作機能が選択され、さらに、３回行われると車載オーディオ装置の音量操作機能が選択されるようになっている。なお、親指の出し入れが４回行われると、再びエアコンの風量操作機能が選択されるようになっており、繰り返しこれらの機能を順番に選択することができるようになっている。
【００５８】
また、これらのような操作によって各機能が選択された後に、図８（ｃ），（ｄ）に示すように、人差し指を立てた手指形状の左方向又は右方向への移動が掲出された場合、指示操作判別部３は、ハンドパターンの移動方向に応じて選択された各機能における操作量が設定されるようになっている。例えば、エアコンの風量操作機能が選択されている状態で、図８（ｃ）に示すように、人差し指が右方向へ移動する動きを伴った手指形状（ハンドパターン動作Ｃ）が検出されると、そのハンドパターンが風量を増加（風量up）させるための指示操作であると判別されるようになっている。また、例えば図８（ｄ）に示すように、人差し指が左方向へ移動する動きを伴った手指形状（ハンドパターン動作Ｄ）が検出されると、そのハンドパターンが風量を減少（風量down）させるための指示操作であると判別されるようになっている。
【００５９】
なお、本実施形態では、操作者によるハンドパターンの操作指示が、シフトレバー８のシフトノブに手を掛けた状態で実施されるものとして、センサ５からの距離が第１距離Ｄ1未満の範囲、且つ、第２所定距離Ｄ2以上の範囲に存在するハンドパターンが、指示操作判別部３において所定の指示操作として判別されるようになっている。つまりここでは、シフトレバー８よりも上方の所定領域Ｄ2≦Ｄ＜Ｄ1の範囲内で抽出されたハンドパターン以外は、たとえ図８（ａ）〜（ｄ）に示されたようなハンドパターンであっても、車載機器を操作するための指示操作ではないと判別されるようになっている。
【００６０】
上述のように、指示操作判別部３で判別されたハンドパターンの指示操作は、動作指令部４への入力されるようになっており、動作指令部４は指示操作判別部３で判別された指示操作に対応した指令対象に所定の動作を指令するようになっている。このようにして、操作者のハンドパターン操作によって、車両に搭載された機器に対する所定の操作が実施されるようになっている。
【００６１】
［フローチャート］
本発明の一実施形態にかかるハンドパターンスイッチ装置は上述のように構成されて、以下に説明する制御フローに従って制御を実施する。図６，図７に示された制御フローはＥＣＵ４の内部において所定周期で適宜繰り返し実行されている。なお、図６に示された制御フローは、本装置におけるメインフローであり、図７に示された制御フローは、ハンドパターンの指示操作を認識するフローである。
【００６２】
まず、メインフローにおいてステップＡ１０では、センサ５によって所定の検出領域１０内における対象物が像として検出される。そして、ここで検出された対象物の形状及び対象物までの距離ＤはＥＣＵ１へ入力されて、ステップＡ２０へ進む。
ステップＡ２０では、ハンドパターン抽出部２において、検出された対象物までの距離Ｄの大きさが第１距離Ｄ1未満であるか否かが判定される。ここで、Ｄ＜Ｄ1である場合にはステップＡ３０へ進み、Ｄ≧Ｄ1である場合にはそのままこのフローを終了する。
【００６３】
なお、ステップＡ２０において、第１距離Ｄ1は、センサ５からシフトレバー８のシフトノブよりも上方の所定の位置までの距離であるように設定されている。そのため、シフトレバー８のシフトノブよりも下方に対象物が検出された場合には、このフローが終了することになる。したがって、従来の技術のように、ハンドパターンと周辺（背景部分）との輝度，照度差等を考慮する必要がなくなり、検出データの中から背景部分を容易に削除することが可能となる。
【００６４】
ステップＡ３０では、距離Ｄが第１距離Ｄ1範囲にある対象物が、ハンドパターンとして抽出される。このハンドパターンは画像として抽出されるとともに、ハンドパターンの距離Ｄの情報がメモリ９で記憶された後に、指示操作判別部３へ入力されて、ステップＡ４０へ進む。
ステップＡ４０では、二値化変換部２ａにおいて、入力されたハンドパターン画像が二値化変換され、続くステップＡ５０では、前ステップで変換された二値化画像からハンドパターンの形状として掌及び指の姿勢が特定され、メモリ９において記憶される。
【００６５】
続くステップＡ６０では、メモリ９に記憶されたハンドパターンの距離Ｄの情報とハンドパターンの形状とに基づいて、ハンドパターンによる指示操作を認識する指示内容認識フローが実行される。そして続くステップＢ７０において、指示内容認識フローで設定された音声フラグＦｖがＦｖ＝１であるか否かが判定される。
音声フラグＦｖとは、本ハンドパターンスイッチにおいて現在選択されている車載機器の機能（すなわち、ここではエアコンの風量，エアコンの温度及び車載オーディオ装置の音量）を音声によって操作者へアナウンスするためのフラグである。このフラグがＦｖ＝１に設定されているときにはこのようなアナウンスが実施され、このフラグがＦｖ＝０に設定されているときにはアナウンスが実施されないようになっている。
【００６６】
ここで、Ｆｖ＝１である場合には、現在選択されている車載機器の機能、すなわち、エアコンの風量，エアコンの温度及び車載オーディオ装置の音量のいずれかが音声でアナウンスされ、ステップＡ９０へ進んでＦｖ＝０に戻され、ステップＢ１００へ進む。また、Ｆｖ＝０である場合には、そのままステップＡ１００へ進む。なお、この音声フラグについては後述する。その後ステップＡ１００では、指示内容認識フローで認識されたハンドパターンの指示操作に従って、車載機器に対する所定の操作が実施されてこのフローを終了する。
【００６７】
次に、ステップＡ６０に係る指示内容認識フローについて、図７を用いて説明する。
まず、指示内容認識フローのステップＢ１０では、パターン種別判定部２ａにおいて、ハンドパターン抽出部２において抽出されたハンドパターンが異なる分割距離範囲間を移動したか否かが判定される。つまりここでは、操作者によるハンドパターンが上下方向（センサ５に対する離接方向）に移動したか否かが判定されることになる。ここで、ハンドパターンが異なる分割距離範囲間を移動したと判定された場合には、ステップＢ２０へ進んで音声フラグＦｖをＦｖ＝１に設定してステップＢ３０へ進む。一方、ハンドパターンが異なる分割距離範囲間を移動したと判定されなかった場合には、Ｆｖ＝０のままステップＢ３０へ進む。
【００６８】
ステップＢ３０では、動作認識部３ｃにおいて、メモリ９に記憶されたハンドパターンの形状及びその距離の履歴に基づきハンドパターンの動作が認識され、続くステップＢ４０では、ハンドパターンの形状や種別及びその動作に基づき、指示操作判別部３において、操作者によるハンドパターン操作の指示操作が認識されて、このフローを終了する。
なお、ステップＢ４０における指示操作の認識において、指示操作判定部３は、シフトレバー８の上に操作者の手が載せられているものとして、シフトレバー８のシフトノブよりも上方の所定領域、すなわち、Ｄ2≦Ｄ＜Ｄ1の領域におけるハンドパターンから、操作者の車載機器を操作するための指示操作を判別するようになっている。したがって、シフトレバー８に手を掛けた状態でのハンドパターン操作を認識することができ、操作者は、シフトレバーの上に手を乗せた自然な姿勢のままハンドパターンの指示操作を行うことができることになる。
【００６９】
［効果］
このように、本発明のハンドパターンスイッチ装置によれば、三次元画像センサ５が検出した対象物の中からハンドパターンを抽出するにあたり、対象物までの距離Ｄの情報を用いてハンドパターンとその他の背景部分とを切り分けるため、ハンドパターンの抽出精度を向上させることができるとともに、ハンドパターン抽出に係る演算の処理負荷を軽減させることができ、容易且つ正確にハンドパターンを抽出することができるようになる。
【００７０】
また、本実施形態では、対象物の形状や距離といった照度条件に左右されないパラメータを用いてハンドパターンを抽出，認識するようになっているため、外乱に強い制御が可能となる。
またこのとき、図９に示すように、操作者がシフトレバー８に手を掛けた状態でハンドパターンによる操作を実施しようとした場合であっても、センサ５の検出領域がシフトレバー８のシフトノブよりも上方の所定領域Ｄ＜Ｄ1に設定されているため、従来の技術のように、ハンドパターンと周辺（背景部分）との輝度，照度差等を考慮する必要がなく、容易に指示操作にかかるハンドパターンを判別することができる。
【００７１】
また、指示操作判別部３において、操作者によるハンドパターンの操作指示がシフトレバー８のシフトノブに手をかけた状態で実施されるものとして、ハンドパターンの存在する領域が所定領域Ｄ2≦Ｄ＜Ｄ1にあるか否かが判別される。つまり、所定領域Ｄ2≦Ｄ＜Ｄ1に存在する対象物が指示操作にかかるハンドパターンとして判別されるため、操作者は、シフトレバーの上に手を乗せた状態でハンドパターンの指示操作を行うことができる。したがって、指示操作のために手や腕を大きく動かす必要がなく、シフトレバーへ手を掛けた自然な姿勢のまま車載機器類の操作を実施することができる。このように、本実施形態のハンドパターンスイッチ装置によれば、操作者の手や腕への負担を軽減させることができ、極めて使い勝手の良いハンドパターンスイッチ装置を提供することが可能となる。
【００７２】
また、本装置によれば、所定領域Ｄ2≦Ｄ＜Ｄ1内のハンドパターンについて、その形状や動作に応じて操作者の指示操作内容が判別されるため、例えば、シフトノブ上に載せられた操作者の手指形状やその動作が、単なるシフトレバー操作のためのものなのか、それとも本装置の指示操作のためのものなのかを判別することができ、シフトレバー８の操作（シフトチェンジ操作）を行う手指の動作が指示操作として誤認識されることがない。
【００７３】
また、たとえ指示操作のためのハンドパターンと同一のハンドパターン形状及び動作が抽出されていたとしても、ハンドパターンの存在する領域が所定領域Ｄ2≦Ｄ＜Ｄ1内でなければ、それを指示操作であると判別することはないため、シフトレバー８の上に手を載せていない状態で為された操作を指示操作と誤認識することがなく、認識精度をより向上させることができる。
【００７４】
また、抽出されたハンドパターンは、平面画像として処理することが可能であるため、例えば従来培ってきたＣＣＤカメラ等を用いたハンドパターン認識技術における制御ロジックやノウハウを活用することができ、二次元データに対する演算処理によってハンドパターンを識別するような手法をそのまま活用することができる。これにより、的確なハンドパターンの認識を、簡素な構成で安価に実現することができる。
【００７５】
また、上述の実施形態においては、ハンドパターン種別判定部２ａにおいて、対象物までの距離Ｄの大きさに応じたハンドパターンの種別を設定することができる。つまり、同じハンドパターンの形状，動作であっても、対象物検出センサに対する距離Ｄが異なれば、操作指示操作が異なるものとなるような設定が可能となる。これにより、操作のためのハンドパターンの形状、動作の数を減らすことができ、操作入力を簡易化することができる。
【００７６】
たとえ数多くのジェスチャ動作を認識可能なジェスチャ操作装置であっても、操作者がそれらのジェスチャ動作の全てを暗記していなければ操作入力できないのであれば、操作者にとって使いやすい操作装置であるとはいえない。しかし、本実施形態のハンドパターンスイッチ装置によれば、操作者が予め覚えておかなければならないジェスチャ動作の数を減らすことができるため、極めてユーザビリティの高い操作装置を提供することが可能となるのである。
【００７７】
また、本装置では、ハンドパターンの形状や距離といった静的なジェスチャの認識だけでなく、簡素な構成で、時間経過に伴うジェスチャの変動、すなわち、ジェスチャ動作（すなわち、動的なジェスチャ）を認識することができる。その際、三次元画像センサ５の撮像面内方向へのジェスチャ動作（距離方向への移動を含まない動作）を認識することができるだけでなく、撮像面に対し垂直な方向へのジェスチャ動作をも認識することができる。
【００７８】
また、本実施形態における三次元画像センサ５は、対象物までの距離Ｄを検出するとともに、対象物の形状を平面像として検出する画像センサであるため、平面像としてのハンドパターンを抽出するプロセスがシンプルであるうえ、抽出されたハンドパターンの画像からそのハンドパターンの指示操作を容易に認識することができる。
【００７９】
［その他］
以上、本発明の実施形態を説明したが、本発明はかかる実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
【００８０】
例えば、上述の実施形態では、車両の車室空間内における対象物を検出する手段として、三次元画像センサ５が用いられているが、例えば超音波などを利用して車室空間内における対象物までの距離及び方向を検出するソナーセンサの類を対象物検出センサとして用いてもよい。この場合の対象物検出センサは、車室内における所定領域内の対象物を撮像するものとはいえないが、対象物の存在方向に基づいてその対象物の画像を内部的に検出しているものと考えると、実質的に対象物の平面的な形状を捉えているとみなすことができる。したがって、上述の実施形態と同様の作用効果を期待することができる。また同様に、レーザーレーダー等を対象物検出センサとして用いてもよい。
【００８１】
また、三次元画像センサ５が撮像する対象物の検出領域１０は、車種や車室７の内部形状，本装置の主な用途等に応じて適宜変更可能である。
また上述の実施形態では、図５に示されたように、３種類の分割距離範囲を備えており、ハンドパターンが異なる分割距離範囲間を移動した場合に、選択されている車載機器の機能が音声アナウンスで報知されるようになっているが、ハンドパターンとその指示操作との対応付けに関して、各々の分割距離範囲において異なる対応付けがなされるように構成することもできる。例えば、第１分割距離範囲のハンドパターンは、上述の実施形態の通りエアコン及び車載オーディオ装置の指示操作として判別されるのに加えて、第２分割距離範囲及び第３分割距離範囲のハンドパターンを、別の車載装置（カーナビゲーション装置や室内灯等）の指示操作として判別するように構成してもよい。
【００８２】
例えばこの場合、上述の実施形態における図７に示すような指示内容認識フローの代わりに、図１０に示すようなフローに従って制御が行われる。
まず、図１０に示すフローにおいて、ステップＣ１０では、パターン種別判定部２ａにおいて、メモリ９に記憶されたハンドパターンの距離Ｄの大きさが第２距離Ｄ2以上であって第１距離Ｄ1未満であるか否かが判定される。つまりここでは、ハンドパターン抽出部２で抽出されたハンドパターンの種別が、第１分割距離範囲に属しているか否かが判定されることになる。ここで、Ｄ2≦Ｄ＜Ｄ1である場合にはステップＣ３０へ進み、ハンドパターンが第１分割距離範囲に属しているものとしてハンドパターンの種別（例えば、カーナビゲーション装置に関する種類のもの等）が判定されて、ステップＣ６０へ進む。また、Ｄ2≦Ｄ＜Ｄ1でない場合（すなわち、少なくともＤ＜Ｄ2である場合）には、ステップＣ２０へ進む。
【００８３】
なお、ここで判定されるハンドパターンの距離Ｄとは、メインフローにおいて直前に抽出されたハンドパターンの距離Ｄのことを指し、例えばメモリ９上に複数の距離情報が記憶されている場合には、それらのうちの最新ものが用いられるようになっている。
ステップＣ２０では、ハンドパターンの距離Ｄの大きさが、第３距離Ｄ3以上であって第２距離Ｄ2未満であるか否かが判定される。つまりここでは、ハンドパターン抽出部２で抽出されたハンドパターンの種別が、第２分割距離範囲に属しているか否かが判定されることになる。ここで、Ｄ3≦Ｄ＜Ｄ2である場合にはステップＣ４０へ進み、ハンドパターンが第２分割距離範囲に属しているものとしてハンドパターンの種別（例えば、室内灯に関する種類のもの等）が判定されて、ステップＣ６０へ進む。また、Ｄ3≦Ｄ＜Ｄ2でない場合には、Ｄ＜Ｄ3であるから、ステップＣ５０へ進み、ハンドパターンが第３分割距離範囲に属しているものとしてハンドパターンの種別（例えば、車載通信装置に関する種類のもの等）が判定され、ステップＣ６０へ進む。
【００８４】
ステップＣ６０では、動作認識部３ｃにおいて、メモリ９に記憶されたハンドパターンの形状及びその距離の履歴に基づきハンドパターンの動作が認識される。そして、続くステップＣ７０では、ハンドパターンの形状や種別及びその動作に基づき、指示操作判別部３において、操作者によるハンドパターン操作の指示操作が認識されて、このフローを終了する。
【００８５】
このような構成によれば、ハンドパターンの操作位置（センサ５までの距離）に応じた指示操作を多段階に判別することによって、スイッチ装置を多機能化することができる。
また、ハンドパターンの種別を区分する分割距離範囲は、操作者にとって直感的に理解しやすい操作範囲の幅にすることができる。例えば、Ｄ1〜Ｄ2間の距離幅や、Ｄ2〜Ｄ3間の距離幅は任意に設定できるものであり、これらの距離幅は本実施形態のように予め設定されたものであってもよいし、操作者によって適宜調整できるようなものであってもよい。また、この分割距離範囲の個数は任意であり、分割数を増加させるほどハンドパターンの種別を増やすことができる。
【００８６】
また、上述の実施形態では、指示操作判別部３において、操作者によるハンドパターンの操作指示がシフトレバー８のシフトノブに手をかけた状態で実施されるものとして、シフトレバー８のノブよりも上方の所定領域Ｄ2≦Ｄ＜Ｄ1におけるハンドパターンから指示操作を判別するようになっているが、このような指示操作を判別する範囲についても、適宜設定することが可能である。
【００８７】
また、上述の実施形態では、図８（ｃ），（ｄ）に示すように、選択された車載機器の各機能における操作量（エアコンの風量操作量や温度操作量，車載オーディオ装置の音量操作量等）が、手指形状の左方向又は右方向への動作によって設定されるようになっているが、このような構成の代わりに、手の上下方向（センサ５に対する離接方向）への移動によって各機能における操作量を設定するように構成してもよい。例えば、車載オーディオが選択されている場合に、手を上方へ移動させることによって音量を大きく設定し、手を下方へ移動させることによって音量を小さく設定することなどが考えられる。これにより、車載装置をより直感的に操作することが可能となる。
【図面の簡単な説明】
【００８８】
【図１】本発明の一実施形態にかかるハンドパターンスイッチ装置の全体構成を示す模式的構成図である。
【図２】本発明の一実施形態にかかるハンドパターンスイッチ装置が適用された車両の車室内における対象物検出センサの撮像領域を示す模式的俯瞰図である。
【図３】本発明の一実施形態にかかるハンドパターンスイッチ装置の対象物検出センサによって撮像された距離画像の特性を説明するための模式図であり、（ａ）は距離画像を示す模式図、（ｂ）は距離画像を撮像した検出領域及び距離帯を説明するための模式図、（ｃ）は距離画像から距離帯ａ部分を抽出した画像、（ｄ）は距離画像から距離帯ｂ部分を抽出した画像、（ｅ）は距離画像から距離帯ｃ部分を抽出した画像である。
【図４】本発明の一実施形態にかかるハンドパターンスイッチ装置で抽出されたハンドパターンの形状及び距離を擬似的な三次元形状として描画した斜投影図である。
【図５】本発明の一実施形態にかかるハンドパターンスイッチ装置の対象物検出センサからの距離に応じて設定される分割距離範囲を示す模式図である。
【図６】本発明の一実施形態にかかるハンドパターンスイッチ装置における制御内容を示す制御フロー図である。
【図７】本発明の一実施形態にかかるハンドパターンスイッチ装置における制御内容を示す制御フロー図である。
【図８】本発明の一実施形態にかかるハンドパターンスイッチ装置に対して操作指示を与えるための手指形状の例を示す図であり、（ａ）は人差し指及び親指を立てた手指形状、（ｂ）は親指を出し入れする動作を伴った手指形状、（ｃ）は人差し指を立てた状態で右方向へ移動する動きを伴った手指形状、（ｄ）は人差し指を立てた状態で左方向へ移動する動きを伴った手指形状をそれぞれ示している。
【図９】本発明の一実施形態にかかるハンドパターンスイッチ装置を用いた操作者による操作指示状況を示す模式的な車室内斜視図である。
【図１０】本発明の変形例にかかるハンドパターンスイッチ装置における制御内容を示す制御フロー図である。
【符号の説明】
【００８９】
１  ＥＣＵ（コントロールユニット）
２  ハンドパターン抽出部（ハンドパターン抽出手段）
２ａ  パターン種別判定部（パターン種別判定手段）
３  指示操作判別部（指示操作判別手段）
３ａ  二値化変換部（二値化変換手段）
３ｂ  手指姿勢特定部（手指姿勢特定手段）
３ｃ  動作認識部
３ｄ  形状動作認識部（形状動作認識手段）
３ｅ  距離動作認識部（距離動作認識手段）
４  動作指令部（動作指令手段）
５  三次元画像センサ（対象物検出センサ）
６  操作パネル
７  車室
８  シフトレバー
９  メモリ
１０  検出領域（所定領域）
１１  スピーカ
【図１】
2006285370.tif 000003
【図２】
2006285370.tif 000004
【図３】
2006285370.tif 000005
【図４】
2006285370.tif 000006
【図５】
2006285370.tif 000007
【図６】
2006285370.tif 000008
【図７】
2006285370.tif 000009
【図８】
2006285370.tif 000010
【図９】
2006285370.tif 000011
【図１０】
2006285370.tif 000012