(57)【要約】【課題】運転員の意図を確実に認識して、その手指の形状や動きからスイッチ操作情報を確実に得ることのできるハンドパターンスイッチ操作を提供する。【解決手段】入力画像から認識した手指が予め設定した手指形状をなし、手の検出位置が所定時間に亘って変位しないことをスイッチ操作の開始指示として認識し（操作開始認識手段）、スイッチ操作の開始後、新たに認識した手指が予め設定した手指形状をなして予め設定した動きパターンを描く都度、複数のスイッチ制御対象の中の１つを選択する（スイッチ対象設定手段）。そしてスイッチ制御対象が選択された後、手指の形状および／または手の動きに応じて上記スイッチ制御対象に対するスイッチ操作情報を求める（操作検出手段）。【選択図】　　　図３
2004145723.tif 000002
【特許請求の範囲】
【請求項１】
所定の撮像領域におかれた手指を撮像し、その入力画像から手指形状を認識すると共に上記撮像領域内における掌の動きを検出して所定のスイッチ操作情報を得るハンドパターンスイッチ装置であって、
認識した手指形状が予め設定した第１の手指形状をなし、前記撮像領域内における掌の検出位置が所定時間に亘って変位しないことを検出してスイッチ操作の開始を認識する操作開始認識手段と、
スイッチ操作の開始後、認識した手指形状が予め設定した第２の手指形状をなし、前記撮像領域内において検出される掌の動きが予め設定した動きパターンを描く都度、複数のスイッチ制御対象の中の１つを巡回的に選択するスイッチ対象設定手段と、
スイッチ制御対象が選択された後、前記撮像領域内において検出される掌の動きに応じて上記スイッチ制御対象に対するスイッチ操作情報を求める操作検出手段と
を具備したことを特徴とするハンドパターンスイッチ装置。
【請求項２】
前記操作開始認識手段は、前記第１の手指形状をなす手指が特定の物を把持し、または触れてないことを確認してスイッチ操作の開始を決定する確認機能を備えてなる請求項１に記載のハンドパターンスイッチ装置。
【請求項３】
前記第１の手指形状は、物を把持する際の形状であり、前記第２の手指形状は、物を指差す際の形状である請求項１に記載のハンドパターンスイッチ装置。
【請求項４】
請求項１に記載のハンドパターンスイッチ装置において、
更にスイッチ制御対象が選択された後、認識した手指形状が予め設定した第３の手指形状をなし、前記撮像領域内における掌の検出位置が所定時間に亘って変位しないことを検出して前記操作検出手段の起動を促す動作切換手段を備えることを特徴とするハンドパターンスイッチ装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく、また車両の運転を妨げることなしに簡易に操作するに好適なハンドパターンスイッチ装置に関する。
【０００２】
【関連する背景技術】
空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく操作する技術として、カメラを用いて運転者の身体の一部（例えば左手）を撮像し、その画像パターンを認識して上記車両搭載機器に対する操作情報を得ることが提唱されている（例えば特許文献１参照）。また運転者の手指の形状や動きとして示されるジェスチァを検出して車両搭載機器に対する操作情報を得ることも提唱されている（例えば特許文献２参照）。
【０００３】
この種の技術は、例えば手指を撮像した画像から手指の形状を認識するパターン認識処理や、認識した掌の位置変化を追跡することでその動きを検出する動き検出処理等によって実現されるもので、ハンドパターンスイッチ等と称される。
【０００４】
【特許文献１】
特開平１１−１３４０９０号公報
【特許文献２】
特開２００１−２１６０６９号公報
【０００５】
【発明が解決しようとする課題】
ところで車両に搭載されたハンドパターンスイッチ装置は、基本的には予め設定されている手指の撮像領域（認識領域）に存在する運転員の手指の形状やその動きを検出するだけである。この為、例えば運転操作に伴って不本意に運転員の手指が上記撮像領域に侵入すると、そのときの手指の形状や動きまでが検出することになる。すると運転員（スイッチ操作者）の意図に拘わることなく、誤ってスイッチ操作情報が出力される虞がある。
【０００６】
また手指の撮像領域（認識領域）内に、例えばギヤシフトレバーのような運転操作機器が存在すると、その運転操作機器を操作する手指の動きまでを検出することになり、この場合にも運転員の意図とは関係のないスイッチ操作情報が出力されることになる。従ってハンドパターンスイッチ装置においては、撮像領域内に存在する手指が該スイッチ装置の操作を意図するものであるか否かを区別することが重要となる。
【０００７】
本発明はこのような事情を考慮してなされたもので、その目的は、運転員（スイッチ操作者）の意図を確実に認識し、その撮像領域（認識領域）に存在する手指の形状や動きから各種制御対象に対するスイッチ操作情報を確実に得ることのできる操作性（取扱い性）の良いハンドパターンスイッチ装置を提供することにある。
【０００８】
【課題を解決するための手段】
上述した目的を達成するべく本発明に係るハンドパターンスイッチ装置は、所定の撮像領域におかれた手指を撮像し、その入力画像から手指形状を認識すると共に上記撮像領域内における掌の動きを検出して所定のスイッチ操作情報を得るものであって、
特に入力画像から認識した手指形状が予め設定した第１の手指形状をなして前記撮像領域内における掌の検出位置が所定時間に亘って変位しないことを検出してスイッチ操作の開始を認識する操作開始認識手段と、スイッチ操作の開始後、新たに認識した手指形状が予め設定した第２の手指形状をなして前記撮像領域内において検出される掌の動きが予め設定した動きパターンを描く都度、複数のスイッチ制御対象の中の１つを巡回的に選択するスイッチ対象設定手段と、そしてスイッチ制御対象が選択された後、前記撮像領域内において検出される手指の形状および／または掌の動きに応じて上記スイッチ制御対象に対するスイッチ操作情報を求める操作検出手段とを備えたことを特徴としている。
【０００９】
即ち、本発明に係るハンドパターンスイッチ装置は、入力画像から認識される手指の形状が予め設定した手指形状であって、しかもその手指の検出位置が所定時間に亘って変化しない（停止している）とき、この状態を運転員（スイッチ操作者）によるスイッチ装置の操作意図であると認識し、その上でその後の手指の形状や動きを認識して所定のスイッチ操作情報を出力するようにしたことを特徴としている。
【００１０】
好ましくは前記操作開始認識手段においては、予め設定された第１の手指形状をなす手指が、例えばその撮像領域（認識領域）内に設けられているギヤシフトレバーのような特定の物を把持し、または特定の物に触れてないことを確認してスイッチ操作の開始を決定する確認機能を備えるようにしても良い。この確認機能としては、例えば上記特定の物に組み込まれた接触（圧力）センサからの出力をモニタするような機能として実現される。
【００１１】
また前記第１の手指形状を、例えば物を把持する際の形状とし、また前記第２の手指形状を、例えば物を指差す際の形状としてそれぞれ設定し、実際のスイッチ類を操作する場合の手指形状を模擬したものとしておけば、感覚的にスイッチ操作にとまどいがなくなり、直感的に意図する手指形状を形作ることが可能となるので、その操作性を良好なものとすることができる。
【００１２】
更には所定の手指形状とその動きによってスイッチ制御対象が選択された後、認識した手指形状が予め設定した第３の手指形状をなして前記撮像領域内における手の検出位置が所定時間に亘って変位しないことを検出して前記操作検出手段の起動を促す動作切換手段を設けておけば、制御対象の選択動作と選択した制御対象に対するスイッチ操作情報の入力動作とを明確に区別してその認識処理を実行することが可能となる。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態に係るハンドパターンスイッチ装置について説明する。
図１は実施例装置の要部概略構成を示す図で、車両における運転席の様子とマイクロコンピュータ等によって実現される装置の機能を示している。運転席には運転員（ドライバ）によって操舵されるステアリングホイール（ハンドル）１やコンビネーションスイッチ（図示せず）等が設けられ、またそのコンソールパネルにはオーディオ機器や空調機器等の操作部２が設けられている。このような運転席上方の天井には、ステアリングホイール１の側方を撮像領域とし、該撮像領域に向けて腕を伸ばした運転員の手指を撮像するビデオカメラ３が設けられている。このカメラ３は、ＣＣＤカメラ等の小型のものからなる。
【００１４】
ちなみに前記カメラ３による撮像領域３ａは、図２に示すようにステアリングホイール１の側方の、該ステアリングホイール１の外周部から少なくとも５０ｍｍ離れた位置、好ましくは１００ｍｍ程度離れた位置として設定されている。またこの撮像領域３ａは、ステアリングホイール１の側方に腕を伸ばした運転員の掌の指先方向に略６００ｍｍ、また掌の幅方向に略３５０ｍｍの大きさを有する略長方形状の領域として設定されている。
【００１５】
このようにして設定された撮像領域３ａは、ステアリングホイール１を把持する、或いはそのコラムシャフトに設けられたコンビネーションスイッチ（図示せず）を操作する運転員の手指を撮像することがない領域である。特に運転員が運転席の側部に設けられた腕掛け（アームレスト）５に腕を乗せたまま、その運転姿勢を崩すことなく腕を伸ばし得る位置であって、オーディオ機器等の操作部２に手指が触れることのない位置である。
【００１６】
尚、このように設定された撮像領域３ａにギヤシフトレバー（図示せず）が配置されているような場合には、撮像領域３ａに伸ばされた手指がギヤシフトレバーを操作している状態であるか、或いはスイッチ操作を行う状態であるかを判定する確認機能を設けておくことが好ましい。この確認機能としては、例えばギヤシフトレバーに設けた感圧センサを介して運転員によるギヤシフトレバーの把持を検出するようにしておけば良い。このような工夫を講じておけば、撮像領域３ａに延ばされた手指が、ギヤシフトレバーを操作しているか、或いはハンドパターンスイッチ装置を操作している状態であるかを容易に判別することが可能となり、運転操作をスイッチ操作情報として誤って検出することを確実に防ぐことができる。またカメラ３としてステレオ（立体視）カメラを用いて手指の高さ位置（カメラ３からの距離）を検出し、これによって撮像領域３ａに延ばされた手指がギヤシフトレバーを操作しているか、或いはギヤシフトレバーの上方空間に位置付けられているかを判別するようにしても良い。
【００１７】
さてハンドパターンスイッチ装置は、基本的には上記カメラ３によって撮像される運転員の手指の形状や動きをその入力画像から認識処理し、その認識結果に基づいて所定のスイッチ操作情報を得るものであり、上記操作部２に代わって前述したオーディオ機器や空調機器等に対してスイッチ操作情報を与える役割を担う。
【００１８】
具体的にはハンドパターンスイッチ装置は、図１に示すようにカメラ３によって撮像された入力画像を２値化処理してその背景画像成分を除去し、手指の画像だけを抽出する２値化処理部１１と、２値化処理によって抽出された画像から手指の形状を認識する形状認識部１２、および認識した手指の形状からその掌の重心位置を求める重心検出部１３を備える。
【００１９】
更にハンドパターンスイッチ装置は、上記形状認識部１２による認識結果、および重心検出部１３により検出された掌の重心位置に従って運転員の手指の形状やその動きにより示されるスイッチ操作を認識する操作指示認識部１４を備える。この操作指示認識部１４は、概略的にはメモリ１５に予め登録された手指形状パターンを参照しながらその手指形状を判定（識別）する形状判定部１６、掌の重心位置の移動を追跡して手指の変位を検出する変位量検出部１７、および掌の動きを時間経過として監視するタイマ１８を備える。そして操作指示認識部１４は、これらの判定・監視結果に基づいて、運転員の手指の形状とその動きとによって特定される所定のスイッチ操作情報を求め、このスイッチ操作情報を前記オーディオ機器や空調機器等に対して出力するように構成される。
【００２０】
尚、操作指示認識部１４には、上述した判定結果等に従って運転員に対して所定のガイダンス（アナウンス）を行うガイド部１９が設けられている。このガイダンスは、例えばオーディオ機器や空調機器（操作対象機器）、更には音量・チャネル設定、或いは風量・温度等（操作対象機能）を特定する音声メッセージや、そのスイッチ操作を示す「ピッ」や「ピー」等の確認音としてスピーカ２０を介して運転員に報知される。
【００２１】
基本的には上述した如く構成されるハンドパターンスイッチ装置において、この発明が特徴とするところは、図３に例示するスイッチ操作動作の流れに示されるように、予め設定した手指形状でその手指の位置を所定時間に亘って停止させたとき、この状態を運転員（スイッチ操作者）によるスイッチ装置の操作意図であると認識し（操作開始認識手段）、その後、手指の形状と動きとに基づくスイッチ操作の検出処理を実行するようにしたことを特徴としている。
【００２２】
このスイッチ操作動作について説明すると、このハンドパターンスイッチ装置においてはスイッチ操作を指定する手指形状として、例えば図４（ａ）〜（ｄ）に示すような手指パターンが用いられる。具体的には図４（ａ）に示すような握り拳形状の手指パターン［手形状１］、図４（ｂ）に示すような人差し指を立てた指差し形状の手指パターン［手形状２］、図４（ｃ）に示すような親指を立てた手指形状のパターン［手形状３］、そして図４（ｄ）に示すような親指と人差し指とを立てた手指形状のパターン［手形状４］が用いられる。
【００２３】
ちなみに指差し形状の手指パターンおよびは親指と人差し指とを立てた手指パターンは、スイッチを押圧操作するイメージを表現している。また握り拳形状の手指パターンは、レバー状のスイッチを把持して前後にシフト操作するイメージを表しており、更に親指を立てた手指形状は、待機指示を表すイメージを表している。このような手指形状のパターンは、その形状的な特徴を示すデータとして前述したメモリ１５に予め登録されている。そして入力画像から認識される手指の形状と上記メモリ１５に登録されたパターンとの一致度（類似度）を計算することにより、手指形状の判別に用いられる。
【００２４】
さて運転員がステアリングホイール１を握って車両を操舵している場合には、動作状態Ａ１に示すように運転員の手指は撮像領域３ａから外れており、そのときの入力画像は車室内の背景として排除処理される画像成分だけであるのでハンドパターンスイッチ装置が作動することはない。
これに対して運転員の手指がステアリングホイール１を外れて動作状態Ａ２に示すように撮像領域３ａ内に入り込むと、これによって手指に対する認識処理が開始される。この場合、例えば手指が握り拳形状［手形状１］をなし、その掌が所定時間（例えば１秒以上）に亘って移動しない（停止している）とき、この状態を運転員がスイッチ操作を意図していると認識してスイッチ操作情報の入力開始を指示することが望ましい。
【００２５】
しかる後、手指の形状がスイッチを押圧操作する指差し形状のパターン［手形状４］に変更されたか否かを判定する。そして指差し形状のパターンが検出された場合には、動作状態Ａ３に示すように選択スイッチを繰り返し押圧操作（プッシュ）して所定の機器を選択指定するものとして、その動きの検出が行われる。具体的には指差し形状の手指が前後に動く（変位する）ことをその掌の重心位置の変化（移動）から検出し、そのプッシュ操作を検出する。この場合、１回のプッシュ動作が検出される都度、例えば図５（ａ）に示すようにその制御対象機器を「エアコン」，「ラジオ」，「テープ」，「ＣＤ」等として巡回的に選択指定するようにその制御アルゴリズムを設定しておけば良い。特にこの際、１回のプッシュ動作が検出される都度、「ピッ」等の操作確認音を出力するようにしたり、選択された制御対象を音声メッセージとして報知することも有用である。このようなガイダンスにより、運転員はその操作状態を目で確認することなく選択指定した機器を認識することが可能となるので運転操作に専念することが可能となる。そして所望とする制御対象機器が選択された後、手指形状が変化したときにはこの状態を制御対象機器の選択が完了し、運転員が次のスイッチ操作を意図していると認識するようにすれば良い。
【００２６】
具体的には動作状態Ａ５に示すように指差し形状のパターン［手形状２］に変更されたか否かを判定する。そして指差し形状のパターン［手形状２］が前後に移動したとき、これを選択スイッチを繰り返し押圧操作（プッシュ）して所定の制御対象を選択指定するものとして、その動きの検出が行われる。具体的にはこの場合には、指差し形状の手指が前後に動く（変位する）ことを手指の重心位置の変化（移動）から検出し、そのプッシュ操作を検出する。そして１回のプッシュ動作が検出される都度、例えば図５（ａ）に示すように制御対象機器として「エアコン」が選択されている場合には、その制御対象を「温度」，「風量」，「風向」，「内外気」等として巡回的に選択指定する。また制御対象機器として「ラジオ」が選択されている場合には、その制御対象を「音量」，「チャネル」，「ＦＭ／ＡＭ」，「周波数調整」等として巡回的に選択指定する。
【００２７】
同様に制御対象機器として「テープ」が選択されている場合には、その制御対象を「リバース」，「早送り」，「頭出し」，「取出し」等として巡回的に選択指定するようにし、また制御対象機器として「ＣＤ」が選択されている場合には、その制御対象を「早送り」，「頭出し」，「リピート」，「取出し」等として巡回的に選択指定するようにすれば良い。
【００２８】
そして上述した如く所望とする制御対象を選択したならば、例えば動作状態Ａ６に示すようにその手指形状を親指を立てたパターン［手形状３］に変更し、制御対象の選択完了と、次に実行すべきスイッチ操作情報の入力開始を指示する。この指示についても手指形状が親指を立てた［手形状３］をなし、その掌が所定時間（例えば１秒以上）に亘って移動しない（停止している）とき、この状態を運転員が次のスイッチ操作を意図していると認識するようにすれば良い。この場合、その確認音として前述した確認音とは異なる「ピー」等の音を発することことが好ましい。
【００２９】
その後、動作状態Ａ７に示すように手指形状を握り拳形状［手形状１］に変更し、手指の前後移動によってスイッチ操作情報を入力する。このとき握り拳形状の手指の動きをその重心位置の変位量等から検出し、その動きに対応したスイッチ操作情報を出力する。具体的にはこのスイッチ操作情報の入力においては、前述したプッシュ操作により選択指定された制御対象に応じて検出すべき情報内容を変更する。
【００３０】
即ち、制御対象によってはその制御量（スイッチ操作情報）を大きな変化量で多段階（ステップ的）に変更したいものと、小さい変化量で連続的に細かく変更したいものとがある。従って選択した操作対象に応じて、例えば手指の動き量（変位量）をスイッチ操作情報とする距離モード（動作状態Ａ８ａ）、所定距離だけ変位した手指の停止時間からそのスイッチ操作情報を求める時間モード（動作状態Ａ８ｂ）、またはこれらのモードを併用した距離・時間モード（動作状態Ａ８ｃ）を選択的に設定する。
【００３１】
ちなみに上記距離モードは、基準位置からの手の移動量に応じて多段階にスイッチ操作情報を出力するモードであり、ラジオ放送のチャネル選択や空調設備における風量・風向を選択設定する場合に好適である。また時間モードは、基準位置から変位させた掌の停止時間に応じたスイッチ操作情報を出力するモードであり、オーディオ機器の音量や空調機器における温度等を細かく調節する場合等に好適である。更に前記距離・時間モードは、掌の僅かな移動時にはその移動量に応じたスイッチ操作情報を出力し、掌が所定距離以上移動した場合には、その移動位置での掌の停止時間に応じたスイッチ操作情報を出力するモードである。この距離・時間モードは制御対象を粗調整した後、更に微調整する場合等に好適なものである。
【００３２】
前述した操作指示認識部１４は、上述した如く制御対象に応じて選択的に設定される入力モード（距離モード／時間モード／距離・時間モード）に応じて前記撮像領域３ａ内での手の動きを追跡し、手の移動量（変位量とその変位方向）や移動が停止した手の停止時間を計測する。そしてこれらの計測結果に応じたスイッチ操作情報を出力することになる。
【００３３】
尚、各種のスイッチ制御対象と上述した各モードとの対応関係や、スイッチ操作量として検出する内容（検出距離や時間）については予め固定的に設定しておけば良い。しかし前述した操作指示認識部１４が備える、例えば図６に示す制御画面１４ａを用いてスイッチ操作者（運転員）の好み等に応じて適宜変更し得るようにしておいても良い。具体的には複数のスイッチ制御対象のそれぞれについてどの入力モードでスイッチ操作情報を入力するかを選択的に指定し、またその検出単位となる掌の変位量（移動距離）や計測時間等をそれぞれ可変設定し得るようにしておけば良い。
【００３４】
図７〜図１１は、上述した処理機能を実現する操作指示認識部１４での概略的な処理手順を示している。この処理手順について説明すると、ハンドパターンスイッチ装置の起動に伴い、先ずカメラ３による撮像領域（認識領域）の設定や２値化処理における閾値の設定等からなるシステム系の初期設定を行う〈ステップＳ１〉。しかる後、手指形状の認識や手指の移動を計測するためのパラメータ値等をクリアすると共に、制御フラグを“０”に設定してスイッチ情報検出に対する初期化を実行する〈ステップＳ２〉。
【００３５】
以上の初期化処理を実行した後、先ず入力画像中の手指形状を認識し〈ステップＳ３〉、その手指形状が前述した［手形状１］，［手形状２］，［手形状３］，［手形状４］のいずれであるかを判定する〈ステップＳ４ａ，Ｓ４ｂ〉。そして手指の形状が指差し型の［手形状２］である場合には、前回検出されている手形状が何であったかを判定する〈ステップＳ５〉。そして前回の手形状が指差し型の［手形状２］以外であるならば、［手形状２］による機能選択のモードが設定されたとしてそのときに検出される掌の重心位置を基準位置Ａとして登録する〈ステップＳ６〉。そして掌の移動距離を管理するパラメータＢ’を“０”に設定した後〈ステップＳ７〉、前回の手形状を［手形状２］に更新して〈ステップＳ８〉前述したステップＳ３からの処理を繰り返し実行する。
【００３６】
これに対して前回の手形状が指差し型の［手形状２］であるならば〈ステップＳ５〉、次にそのときに検出される掌の重心位置の前述した基準位置Ａからの変位量（移動量）Ｂを求める〈ステップＳ９〉。そしてパラメータＢ’が判定閾値Ｈ１に満たしてなく、且つ今回検出された変位量（移動量）Ｂが所定の判定閾値Ｈ１を越えていると言う２つの条件が満たされている否かを判定する〈ステップＳ１０〉。そして上記条件が満たされている場合には、［手形状２］の状態で前述した機能選択の為のプッシュ操作がなされたとして、制御対象を１段階変更する〈ステップＳ１１〉。その後、前回の手形状を［手形状２］に更新して〈ステップＳ８〉前述したステップＳ３からの処理を繰り返し実行する。
【００３７】
尚、上記変位量Ｂが所定の判定閾値Ｈ１を越えていない等して条件が満たされていない場合には〈ステップＳ１０〉、前述したパラメータＢ’として上記変位量Ｂをセットした後〈ステップＳ１２〉、前回の手形状を［手形状２］に更新し〈ステップＳ８〉、その後、前述したステップＳ３からの処理を繰り返し実行する。このステップＳ３からステップＳ８に至る処理により、［手形状２］の手指形状で所定の移動量だけプッシュ操作がなされたとき、前述した機能選択が実行されて制御対象が選択的に設定される。
【００３８】
尚、ステップＳ４ａにおいて手指の形状が指差し型の［手形状４］であると判定された場合には、図８に示すように前回検出されている手形状が何であったかを判定する〈ステップＳ５ａ〉。そして前回の手形状が指差し型の［手形状４］以外であるならば、［手形状４］による装置選択のモードが設定されたとして、そのときに検出される掌の重心位置を基準位置Ｅとして登録する〈ステップＳ６ａ〉。そして掌の移動距離を管理するパラメータＦ’を“０”に設定した後〈ステップＳ７ａ〉、前回の手形状を［手形状４］に更新して〈ステップＳ８ａ〉前述したステップＳ３からの処理を繰り返し実行する。
【００３９】
これに対して前回の手形状が指差し型の［手形状４］であるならば〈ステップＳ５ａ〉、次にそのときに検出される掌の重心位置の前述した基準位置Ｅからの変位量（移動量）Ｆを求める〈ステップＳ９ａ〉。そしてパラメータＦ’が判定閾値Ｈ４に満たしてなく、且つ今回検出された変位量（移動量）Ｆが所定の判定閾値Ｈ４を越えていると言う２つの条件が満たされている否かを判定する〈ステップＳ１０ａ〉。そして上記条件が満たされている場合には、［手形状４］の状態で前述した機能選択の為のプッシュ操作がなされたとして、制御対象を１段階変更する〈ステップＳ１１ａ〉。その後、前回の手形状を［手形状４］に更新して〈ステップＳ８ａ〉前述したステップＳ３からの処理を繰り返し実行する。
【００４０】
尚、上記変位量Ｆが所定の判定閾値Ｈ４を越えていない等して条件が満たされていない場合には〈ステップＳ１０ａ〉、前述したパラメータＦ’として上記変位量Ｆをセットした後〈ステップＳ１２ａ〉、前回の手形状を［手形状４］に更新し〈ステップＳ８ａ〉、その後、前述したステップＳ３からの処理を繰り返し実行する。このステップＳ３からステップＳ８ａに至る処理により、［手形状４］の手指形状で所定の移動量だけプッシュ操作がなされたとき、前述した装置選択が実行されて制御対象が選択的に設定される。
【００４１】
一方、前述したステップＳ４ｂにおいて手指形状が［手形状１］または［手形状３］であることが検出された場合には、次に図８に示すようにその手指形状が［手形状１］であるか、或いは［手形状３］であるかが判定される〈ステップＳ１３〉。そして［手形状３］であるならば、前述した動作待機状態を指定していると判定し、そのときに検出される手の重心位置を基準位置Ｃとして登録する〈ステップＳ１４〉。この際、掌が所定時間に亘って動かないこと（停止していること）を確認するようにしても良い。また同時に後述する移動距離の計測に用いる制御パラメータＤ’を“０”にセットする〈ステップＳ１５〉。その後、前回の手形状を［手形状３］に更新した後〈ステップＳ１６〉、前述したステップＳ３からの処理を繰り返し実行する。
【００４２】
これに対して手指形状が［手形状１］であることが判定された場合には〈ステップＳ１３〉、次に前回検出されている手指形状が何であったかを判定する〈ステップＳ１７〉。そして前回の手指形状が［手形状３］であったならば、操作情報の入力モードが設定されたとして制御フラグを“１”に設定すると共に、移動距離の計測パラメータｎと停止時間の計測パラメータｔをそれぞれ“０”にセットする〈ステップＳ１８〉。また前回の手指形状が握り拳型の［手形状１］であったならば、制御フラグが“１”であるか否かを判定することで操作情報の入力モードが既に設定されているか否かを調べ〈ステップＳ１９〉、制御フラグが“１”である場合にはそのときに検出される掌の重心位置と、前述した基準位置Ｃとの距離Ｄを検出する〈ステップＳ２０〉。
【００４３】
そして先に機能選択された制御対象に応じて、前述した３種類の入力モードの内のどのモードでスイッチ操作情報を検出するかを判定し〈ステップＳ２１〉、判定された入力モードに従って、スイッチ操作情報の検出処理を実行する。
尚、前回の手形状が［手形状１］または［手形状３］でない場合〈ステップＳ１７〉、或いは制御フラグが“１”でない場合には〈ステップＳ１９〉、前述したステップＳ２に示される初期設定からの処理手順を繰り返し実行する。この処理によって前述した動作状態Ａ２で示したスイッチ操作情報の入力開始が指示されることになる。また前回の手形状が［手形状１］であっても、制御フラグが“１”でない場合には、例えば手指が所定時間に亘って停止していることを確認して、前述したステップＳ２に示される初期設定からの処理手順を繰り返し実行する。
【００４４】
ちなみに距離モードによるスイッチ操作情報の検出処理については、図９に例示するように、前述した基準位置Ｃからの距離Ｄと制御パラメータＤ’の値とを比較し〈ステップＳ２２〉、その大小関係に応じて掌が前進しているか、後退しているかを判定する。そして掌を前進移動させている場合には、後述する条件１の下でその移動距離が所定の計測単位距離を上回ったか否かを判定し〈ステップＳ２３〉、所定の計測単位距離を上回っている場合には、制御パラメータｎをインクリメントした後〈ステップＳ２４〉、その設定（スイッチ操作情報）を１段階増加させる〈ステップＳ２５〉。
【００４５】
逆に掌が後退している場合には、後述する条件２の下でその移動距離が所定の計測単位距離を上回ったか否かを判定し〈ステップＳ２６〉、移動距離が所定の計測単位距離を上回っている場合には、制御パラメータｎをデクリメントした後〈ステップＳ２７〉、その設定（スイッチ操作情報）を１段階減少させる〈ステップＳ２８〉。
【００４６】
尚、上記条件１は、距離Ｄと距離Ｃとの差（移動量）が、制御パラメータｎによって可変設定される所定ステップ数の移動距離を上回り、且つ制御パラメータＤ’の値と距離Ｃとの差（移動量）が、制御パラメータｎによって可変設定される所定ステップ数の移動距離未満であるとして設定される。つまり掌の移動量が、所定の計測単位距離を所定ステップ数だけ移動したか否かを判定する条件である。また条件２は、掌の移動方向が逆向き（後退）の場合における同様な判定条件である。
【００４７】
以上のようにして掌の移動距離に応じたスイッチ操作情報を得たならば、前記制御パラメータＤ’として距離Ｄを登録し〈ステップＳ２９〉、その判定基準を更新する。そして前回の手形状として［手形状１］を登録した後〈ステップＳ３０〉、前述したステップＳ３からの処理に復帰する。そしてこの処理を繰り返し実行することで、掌の移動量に応じたスイッチ操作情報が、段階的に出力されることになる。
【００４８】
一方、時間モードが設定された場合には、図１０に例示する手順に従ってその検出処理が実行される。この場合には、先ず移動距離Ｄが第３の閾値Ｈ３を越えているか否かが判定される〈ステップＳ３１〉。第３の閾値Ｈ３に至っていない場合には、時間パラメータｔを“０”とし〈ステップＳ３２〉、前回の手形状として［手形状１］を登録した後〈ステップＳ３３〉、前述したステップＳ３からの処理に復帰する。
【００４９】
これに対して移動距離Ｄが第３の閾値Ｈ３を越えている場合には〈ステップＳ３１〉、時間パラメータｔをカウントアップする〈ステップＳ３４〉。そしてカウントアップされた時間パラメータｔが基準時間Ｔ１に至ったとき〈ステップＳ３５〉、その設定（スイッチ操作情報）を１段階増加させる〈ステップＳ３６〉。そして時間パラメータｔを“０”にリセットした後〈ステップＳ３７〉、前回の手形状として［手形状１］を登録し〈ステップＳ３３〉、前述したステップＳ３からの処理に復帰する。
【００５０】
また移動距離Ｄが逆方向に第３の閾値Ｈ３を越えている場合には〈ステップＳ３１〉、時間パラメータｔをカウントアップする〈ステップＳ３８〉。そしてカウントアップされた時間パラメータｔが基準時間Ｔ１に至ったとき〈ステップＳ３９〉、その設定（スイッチ操作情報）を１段階減少させる〈ステップＳ４０〉。そして時間パラメータｔを“０”にリセットした後〈ステップＳ４１〉、前回の手形状として［手形状１］を登録し〈ステップＳ３３〉、前述したステップＳ３からの処理に復帰する。このような一連の処理によって、掌が所定の距離を移動して停止したとき、その停止時間に応じたスイッチ操作情報が出力されることになる。
【００５１】
尚、距離・時間モードは上述した距離モードの処理と時間モードの処理とを、手の移動距離に応じて使い分けることによって実行される。具体的には図１１に示すように前述した制御パラメータｎの値を判定する〈ステップＳ４２〉。そしてパラメータｎが“−２”から“２”の範囲内であるか、或いは“３”以上または“−３”未満であるかによって、ステップＳ２２ａからステップＳ３３ａに示す距離モードの処理、またはステップＳ２４ａからステップＳ４１ａに示した時間モードの処理をそれぞれ実行すれば良い。尚、ステップＳ２２ａからステップＳ３３ａに示す処理は、前述したステップＳ２２からステップＳ３３に示す処理に相当するものである。またステップＳ２４ａからステップＳ４１ａに示す処理は、前述したステップＳ２４からステップＳ４１に示す処理に相当するものである。
【００５２】
かくして上述した如く機能するハンドパターンスイッチ装置によれば、予め設定した手指形状が検出され、その掌が所定時間に亘って停止していることが検出されたとき、この状態を運転員（スイッチ操作者）が意図的に動作していると判断してスイッチ操作情報の入力（検出）を開始するので、偶然的に撮像領域３ａに入り込んだ手指の形状とその動きをスイッチ操作情報として誤検出することがなくなる。従って運転員が意図して手指・腕を動かした場合にだけ、これに伴って検出されるスイッチ操作情報を確実に出力することが可能となる。
【００５３】
また動作状態Ａ６に示したように所定の手指形状［手形状３］が所定の時間に亘って停止した状態を検出して、それまでのスイッチ操作の完了を確認し、次のスイッチ動作に待機するので、複数種のスイッチ操作の区切りを明確に判断して一連のスイッチ操作処理を円滑に進めることが可能となる。特に装置の選択処理、選択した装置における制御対象の選択処理、更には選択した制御対象に対するスイッチ操作情報の入力処理を明確に区分してそれぞれ実行することができるので、スイッチ操作の簡素化を図ってその操作性を高めることができる等の実用上多大なる効果が奏せられる。
【００５４】
尚、本発明は上述した実施形態に限定されるものではない。実施形態においては右ハンドル車を前提として説明したが、左ハンドル車の場合にも同様に適用可能なことは言うまでもなく、またトラック等の大型車に限らず普通乗用車等にも同様に適用可能である。その制御対象についても、例えばワイパのオン・オフやその作動間隔の調整、サイドミラーの開閉等に拡張することも勿論可能である。
【００５５】
また実施形態においては、動作状態Ａ３に示す制御対象機器の選択と、動作状態Ａ５に示す制御対象機能の選択とを同じ手指形状で行うようにしたが、図３に動作状態Ａ９として示すように、互いに異なる手指形状で選択指示を行うようにしても良い。具体的には人差し指と親指とを立てた手指形状を用いて装置の選択を行い、人差し指だけを立てた手指形状で機能の選択を行うようにしても良い。この場合には、その手指形状の変化から装置選択の完了を検出するようにしても良い。
【００５６】
また簡易なシステムにあっては、図５（ｂ）に示すようにその制御対象を「音量」，「チャネル」，「温度」，「風量」等としてその装置と一括して巡回的に選択するように構成することも可能である。また情報入力に用いる手指の形状は、上述した例に限定されないことも言うまでもない。その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。
【００５７】
【発明の効果】
以上説明したように本発明によれば、運転員（スイッチ操作者）が意図して所定の手指形状を形作り、所定時間に亘って手を移動させないとき、この状態をスイッチ操作の入力指示であると認識するので、偶発的に（不本意に）その撮像領域（認識領域）に入り込んだ手指の形状や動きを認識することがなく、従って誤ったスイッチ操作情報を出力することがない。また運転員（スイッチ操作者）にとってはスイッチ装置を操作したいときにだけ、上述した手指形状を形作り、撮像領域内で所定時間に亘って手を停止させるだけで良いので、余分な操作負担を掛けることなく簡易に、しかも確実にスイッチ装置を操作することができる等の実用上多大なる効果が奏せられる。
【００５８】
またハンドパターンスイッチ装置にとっては、その操作者の意図を容易に、しかも確実に判断し、意図された手指の形状や動きだけを確実に認識することができる。従って種々の制御対象に対してスイッチ操作情報を適切に出力することができる等の利点がある。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るハンドパターンスイッチ装置の概略構成を示す図。
【図２】図１に示すハンドパターンスイッチ装置における手指の撮像領域を示す図。
【図３】ハンドパターンスイッチ装置におけるスイッチ操作情報の指示入力動作の概略的な手順を示す図。
【図４】ハンドパターンスイッチ装置に対してスイッチ操作指示を与えるための手指形状の例を示す図。
【図５】手指によるプッシュ操作に伴う制御対象の選択例を示す図。
【図６】制御対象に対応付ける入力モードの設定画面の例を示す図。
【図７】ハンドパターンスイッチ装置におけるスイッチ操作情報入力の為の概略的な処理手順の一部を示す図。
【図８】図７に示す処理手順に続く処理手順を示す図。
【図９】距離モードでのスイッチ操作情報の検出手順を示す図。
【図１０】時間モードでのスイッチ操作情報の検出手順を示す図。
【図１１】距離・時間モードでのスイッチ操作情報の検出手順を示す図。
【符号の説明】
１　ステアリングホイール
２　オーディオ機器等の操作部
３　カメラ
１１　２値化処理部
１２　形状認識部
１３　重心位置検出部
１４　操作指示認識部
１５　メモリ
１６　形状判定部
１７　変位量検出部
１８　タイマ
１９　ガイド部
【図１】
2004145723.tif 000003
【図２】
2004145723.tif 000004
【図３】
2004145723.tif 000005
【図４】
2004145723.tif 000006
【図５】
2004145723.tif 000007
【図６】
2004145723.tif 000008
【図７】
2004145723.tif 000009
【図８】
2004145723.tif 000010
【図９】
2004145723.tif 000011
【図１０】
2004145723.tif 000012
【図１１】
2004145723.tif 000013