(57)【要約】【課題】全ての走行環境下において安定した撮影を可能とし、運転員のハンドパターンを良好に識別することを可能としたハンドパターンスイッチを提供する。【解決手段】撮像装置３は、撮像領域Ａの急激な照度の変化に対応するため常時通常ＣＣＤカメラ３１と近赤外線ＣＣＤカメラ３２とにより撮像し、照度判定手段３４により通常ＣＣＤカメラ３１からの画像の画面上の平均的な濃淡から照度を検知し、濃度のピーク値が閾値よりも小さいときには照度が十分であると判定して画像装置切換手段３５により通常カメラＣＣＤ３１からの画像を出力させ、濃度のピーク値が閾値よりも大きいときには照度が不足すると判定して近赤外線照射手段３３を点灯させ、近赤外線ＣＣＤカメラ３２により撮像してその画像を出力する。これにより、急激に照度が変化したときや夜間の走行等全ての走行環境下で安定した撮影が可能となる。【選択図】      図３
2004170873.tif 000002
【特許請求の範囲】
【請求項１】
所定の撮像領域内に置かれた手指を撮像し、その入力画像から手指形状を認識すると共に、前記撮像領域内における手の動きを検出して所定のスイッチ操作情報を得るハンドパターンスイッチ装置であって、
撮像装置が手指を撮像した画像の濃淡から照度を判定する照度判定手段と、
前記照度判定手段の判定結果が閾値以下になった場合に前記手指に近赤外線を照射する近赤外線照射手段及び前記手指を撮像する近赤外線カメラと、
前記近赤外線照射手段及び近赤外線カメラ作動に切り換える撮像装置切換手段とを備えたことを特徴とするハンドパターンスイッチ装置。
【請求項２】
前記撮像装置切換手段は、前記撮像装置が撮像した手指の画像の前記照度判定手段の判定時間が設定時間より長い場合には、近赤外線の照射と近赤外線カメラの作動に切り換える機能を備えることを特徴とする請求項１記載のハンドパターンスイッチ装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ハンドパターンスイッチ装置に関する。
【０００２】
【従来の技術】
車両には運転に直接必要なライト、ワイパ、ウインカ等の機器の他、ラジオ・ＣＤ等の音響機器や、空調機器等の付属品が装備されている。ライト、ワイパ、ウインカ等の機器は、運転員がステアリングホイール操作をしながら容易に且つ確実に操作し得るようにステアリングホイールの近傍に配置されているのに対し、付属品の操作スイッチ類は、インストルメントパネル（以下「インパネ」という）の中央に集中して配置されており、片方の手でステアリングホイール操作をしながらもう片方の手で操作することとなり、運転姿勢を維持した状態での操作がし難いばかりでなく、前方不注意になる虞がある。
【０００３】
そこで、近年、運転員がステアリングホイールから片方の手を無理なく離してその手指の形状やしぐさ（以下「ハンドパターン」という）をカメラで撮影して画像処理によって認識し、前記付属品のスイッチ操作を行うようにしたハンドパターンスイッチ装置が提案されている（特許文献１参照）。
【０００４】
【特許文献１】
特開平１１−１３４０９０号公報
【０００５】
【発明が解決しようとする課題】
ところで、車室内で運転員のハンドパターンを画像処理によって認識するハンドパターン装置において、認識する画像は、通常の明るさであれば、アイリス機能により通常カメラで幅広い照度での撮影が可能であり、また、暗い場所では、暗視カメラにより撮影することができる。このように明暗の場所夫々の撮影手段が存在するものの、車室内のように日射しがあるときから夜間まで走行したり、トンネルがあったり、地下道を走行する等室内照度が大きく変化する環境では（カメラを切り換える等）何らかの対策をしなければ撮影することが難しいという問題がある。
【０００６】
このため、本発明では、全ての走行環境下において安定した撮影を可能とし、運転員のハンドパターンを良好に識別することを可能としたハンドパターンスイッチ装置を提供することを目的としている。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明では、所定の撮像領域内に置かれた手指を撮像し、その入力画像から手指形状を認識すると共に、前記撮像領域内における手の動きを検出して所定のスイッチ操作情報を得るハンドパターンスイッチ装置であって、撮像装置が手指を撮像した画像の濃淡から照度を判定する照度判定手段と、前記照度判定手段の判定結果が閾値以下になった場合に前記手指に近赤外線を照射する近赤外線照射手段及び前記手指を撮像する近赤外線カメラと、前記近赤外線照射手段及び近赤外線カメラ作動に切り換える撮像装置切換手段とを備えたことを特徴としている。
【０００８】
撮像装置は、撮像領域の急激な照度の変化に対応するため、常時通常カメラと近赤外線カメラとにより撮像している。そして、通常カメラからの画像を照度判定手段に取り込み、画面上の平均的な濃淡から照度を検知し、濃度のピーク値が閾値よりも小さいときには照度が十分である（明るい）と判定し、撮像装置切換手段が通常カメラからの画像を出力させ、前記濃度のピーク値が閾値よりも大きいときには照度が不足すると判定して近赤外線照射手段を点灯させ、近赤外線カメラにより撮像領域における手指を撮像してその画像を出力する。これにより、トンネルに入った場合のように急激に照度が変化したときや、夜間の走行等全ての走行環境下（照度条件）で安定した撮影が可能となる。しかも、近赤外線は、目に見えないため運転中に撮像領域に照射した照明が視界に入ることもなく運転に何ら支承を来すことがない。
【０００９】
この場合、撮像装置切換手段は、撮像装置としての通常カメラ又は近赤外線カメラが撮像した画像の照度判定手段の判定時間が設定時間より長い場合に近赤外線の照射と近赤外線カメラにより撮像した画像に切り換えることで、誤動作や近赤外線の無駄な照射を防止することが可能となる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態に係るハンドパターンスイッチ装置について説明する。
図１は実施例装置の要部概略構成を示す図で、車両における運転席の様子とマイクロコンピュータ等によって実現される装置の機能を示している。運転席には運転員（ドライバ）によって操舵されるステアリングホイール１やコンビネーションスイッチ（図示せず）等が設けられ、またそのコンソールパネルにはオーディオ機器や空調機器等の操作部２が設けられている。このような運転席上方の天井には、ステアリングホイール１の側方を撮像領域Ａとし、該撮像領域Ａに向けて腕を伸ばした運転員の手指を撮像する撮像装置３が設けられている。
【００１１】
撮像装置３は、図３に示すように撮像装置としての通常ＣＣＤカメラ３１、近赤外線ＣＣＤカメラ３２、近赤外線照射手段３３、照度判定手段３４、通常ＣＣＤカメラ３１から出力される画像と近赤外線ＣＣＤカメラ３２から出力される画像とを切り換える撮像装置切換手段３５等により構成されている。通常ＣＣＤカメラ３１及び近赤外線ＣＣＤカメラ３２は、撮像領域Ａ（図２）内における手指を撮像し、近赤外線照射手段３３は、撮像領域Ａに近赤外線を照射する。通常ＣＣＤカメラ３１は、常時撮像領域Ａ内における手指を撮影し、近赤外線ＣＣＤカメラ３２は、夜間やトンネル内において撮像領域Ａにおける照度が不足するときに近赤外線照射手段３３から照射される近赤外光を用いて撮像領域Ａ内の手指を撮影する。
【００１２】
照度判定手段３４は、光センサの代わりとして撮像領域Ａ内における照度を検出するもので、常時通常ＣＣＤカメラ３１により撮影した画面上の平均的な濃淡から撮像領域Ａにおける照度を検知する。即ち、照度判定手段３４は、図４に示す濃度ヒストグラムにおいて通常ＣＣＤカメラ３１が撮影した画面上の平均的な濃度（黒）のピーク値が或る閾値よりも小さい（白い）ときには照度が十分である（明るい）と判定し、前記閾値よりも大きい（黒い）時には照度が不足すると判定して対応する信号を出力する。照度判定手段３４は、照度が不足すると判定したときには近赤外線照射手段３４を点灯して撮像領域Ａに近赤外線を照射させる。撮像装置切換手段３５は、照度が十分ある場合は通常ＣＣＤカメラ３１により撮影した手指の画像を出力させ、照度が不十分な場合は近赤外線ＣＣＤカメラ３２により撮像した手指の画像を出力させる。照度判定手段３４における閾値は、通常ＣＣＤカメラ３１の感度や画素数等ＣＣＤカメラの性能により最適な値に設定される。
【００１３】
ハンドパターンスイッチ装置は、基本的には撮像装置３によって撮像される運転員の手指の形状や動きをその入力画像から認識処理し、その認識結果に基づいて所定のスイッチ操作情報を得るものであり、上記操作部２に代わって前述したオーディオ機器や空調機器等に対してスイッチ操作情報を与える役割を担う。具体的にはハンドパターンスイッチ装置は、図１に示すように撮像装置３の通常ＣＣＤカメラ３１又は近赤外線ＣＣＤカメラ３２によって撮像された入力画像を２値化処理してその背景画像成分を除去し、手指画像だけを抽出する手指抽出部１１と、抽出された手指画像からその掌の重心位置を求める重心検出部１２、掌の重心位置を基準にして該掌を拡げた位置に指画像の存在有無から手指の形状を認識する形状認識部１３とを備える。
【００１４】
更に、ハンドパターンスイッチ装置は、形状認識部１３による認識結果、及び重心検出部１２により検出された運転員の手指の形状やその動きにより示されるスイッチ操作を認識する操作指示認識部１４を備える。この操作指示認識部１４は、概略的には上記形状認識部１３にて認識された情報を基にその手指形状を判定（識別）する形状判定部１６、手指の重心位置の移動を追跡して手指の変位を検出する変位量検出部１７、及び手指の動きを時間経過として監視するタイマ１８を備える。そして操作指示認識部１４は、これらの判定・監視結果に基づいて、運転員の手指の形状とその動きとによって特定される所定のスイッチ操作情報を求め、このスイッチ操作情報を前記オーディオ機器や空調機器等に対して出力するように構成される。
【００１５】
尚、操作指示認識部１４には、上述した判定結果等に従って運転員に対して所定のガイダンスを行うガイド部１９が設けられている。このガイダンスは、例えばオーディオ機器や空調機器（操作対象機器）、更には音量・チャンネル設定、或いは風量・温度等（操作対象機能）を特定する音声メッセージや、そのスイッチ操作を示す「ピッ」や「ピー」等の確認音としてスピーカ２０を介して運転員に報知される。
【００１６】
撮像装置３による撮像領域Ａは、図２に示すようにステアリングホイール１の側方の、該ステアリングホイール１の外周部から少なくとも５０ｍｍ離れた位置、好ましくは１００ｍｍ程度離れた位置として設定される。特に、運転員が運転席の側部に設けられた腕掛け（アームレスト）５に腕を乗せたまま、その運転姿勢を崩すことなく腕を伸ばし得る位置であって、オーディオ機器等の操作部２に手指が触れることのない位置として設定されている。因みにこの撮像領域Ａは、ステアリングホイール１の側方に腕を伸ばした運転員の手の指先方向に略６００ｍｍ、また手の幅方向に略３５０ｍｍの大きさを有する略長方形状の領域として設定されている。
【００１７】
即ち、この撮像領域Ａは、ステアリングホイール１を把持する、或いはそのコラムシャフトに設けられたコンビネーションスイッチ（図示せず）を操作する運転員の手指を撮像することがない領域であって、しかも運転員が大きく腕を動かすことなく手指を移動させ得る領域として設定されている。これにより運転操作に伴う手指の動きを、誤ってスイッチ操作情報として検出することが防止されている。また、オーディオ機器等の操作部２を直接操作する手指についても、これを検出することがないように設定されている。
【００１８】
尚、このように設定された撮像領域Ａにギヤシフトレバー（図示せず）が配置されているような場合には、例えばギヤシフトレバーに設けた感圧センサを介して運転員によるギヤシフトレバーの把持を検出するようにしておけば良い。このような工夫を講じておけば、撮像領域Ａに伸ばされた手指が、ギヤシフトレバーを操作しているか、或いはハンドパターンスイッチ装置を操作している状態であるかを容易に判別することが可能となり、運転操作をスイッチ操作情報として誤って検出することを確実に防ぐことができる。またカメラ３としてステレオ（立体視）カメラを用いて手指の高さ位置（カメラ３からの距離）を検出し、これによって撮像領域Ａに伸ばされた手指がギヤシフトレバーを操作しているか、或いはギヤシフトレバーの上方空間に位置付けられているかを判別するようにしても良い。
【００１９】
因みに上述した如く設定される撮像領域Ａは、運転員が腕掛け（アームレスト）５に腕を乗せたまま、その運転姿勢を崩すことなく自然に腕を伸ばすことができ、しかも仮想的にスイッチ操作する際に運転員が実感し得る手指の動き（変位）を基準として設定される。即ち、オーディオ機器等に組み込まれた各種スイッチを実際に押圧操作するような場合には、その反力としてスイッチ操作を実感することができる。しかし所定の空間において仮想的にスイッチ操作する場合には、手指の移動に伴う反力がないことから、スイッチ操作を直接的に体感することがなく、むしろスイッチ操作を行う自らの手指や腕の動きの感覚として感じることになる。
【００２０】
撮像装置３による撮像領域Ａの位置とその大きさは、例えば後述するように多段階のスイッチ操作（シフト操作）を前後方向に５段階に亘って行うことを想定し、また運転員の体形や運転姿勢等によってステアリングホイール１の側方に伸ばされる手指の基準位置が変化することを考慮して定められている。
このように設定された撮像領域Ａによれば、運転操作に伴う手指・腕の動きを検出することなく、ステアリングホイール１から離れた手指の違和感のない自然な動きの下で、その手指を確実に撮像することができる。しかもスイッチ操作に伴って手指の位置が動いても、その動きを撮像領域Ａ内に確実に捉えることができるので、手指の形状認識やその移動量（変位量）の検出を比較的簡易な画像処理の下で容易に行うことができる。
【００２１】
また、逆に運転員からすれば、その運転姿勢を崩すことなくステアリングホイール１の側方に腕を伸ばすだけで良く、オーディオ機器等の操作部２に直接触れることなく、予め設定された手指形状を形作って手指を動かすだけで所望とするスイッチ操作を行い得る。従って、運転員の操作負担を軽くすることができる。また、運転操作に伴う手指や腕の動きがスイッチ操作指示として検出されることがないので、ハンドパターンスイッチ装置を意識することなく運転操作に集中することができ、必要に応じて手指を撮像領域Ａに移動させるだけで、簡易にスイッチ操作指示を与えることが可能となる等の利点がある。
【００２２】
次に、ハンドパターンスイッチ装置における操作形態の一例について簡単に説明する。このハンドパターンスイッチ装置においては、スイッチ操作を指定する手指形状として、例えば図５（ａ）〜（ｃ）に示すような手指パターンが用いられる。具体的には図５（ａ）に示すように人差し指を立てた指差し形状の手指パターン、図５（ｂ）に示すような親指を立てた手指形状のパターン、そして図５（ｃ）に示すような握り拳形状の手指パターンが用いられる。因みに、指差し形状の手指パターンは、スイッチを押圧操作するイメージを表現している。また握り拳形状の手指パターンは、レバー状のスイッチを把持して前後にシフト操作するイメージを表しており、更に親指を立てた手指形状は、待機指示を表すイメージを表している。
【００２３】
さて、撮像装置３は、図６に示す手順に従って通常ＣＣＤカメラ３１又は近赤外線ＣＣＤカメラ３２からの画像を出力する。撮像装置３は、撮像領域Ａの急激な照度の変化に対応するため、常時通常ＣＣＤカメラ３１と近赤外線ＣＣＤカメラ３２とにより撮影している。そして、常時通常ＣＣＤカメラ３１（ステップＳ１）からの画像を照度判定手段３４に取り込み（ステップＳ２）、画面上の平均的な濃淡から撮像領域Ａ内の手指の照度を検知し、濃度（黒）のピーク値が閾値よりも小さいときには照度が十分である（明るい）と判定し（ステップＳ３）、撮像装置切換手段３５が通常ＣＣＤカメラ３１からの画像を出力させる（ステップＳ７）。
【００２４】
照度判定手段３４は、ステップＳ３において濃淡のピーク値が閾値よりも大きいときには照度が不足すると判定し、次いで、照度が不足している時間を判定する（ステップＳ４）。即ち、照度が不足している時間が所定の設定時間例えば、０．５秒よりも短いか否かを判定し、短いときにはステップＳ３に戻り、長いときには近赤外線照射手段３３を点灯させて（ステップＳ５）、近赤外線ＣＣＤカメラ３２により撮像領域Ａにおける手指を撮像し（ステップＳ６）、その画像を出力する（ステップＳ７）。これにより、誤動作を防止して、トンネルに入った場合のように急激に照度が変化したときや、夜間の走行等全ての走行環境下（照度条件）で安定した撮影が可能となる。しかも、近赤外線は、目に見えないため運転中に撮像領域Ａに照射した照明が視界に入ることもなく運転に何ら支承を来すことがない。
【００２５】
次に、前述した手指形状の下で指示入力されるスイッチ情報は、概略的には図７に示す手順に従って認識される。即ち、運転員がステアリングホイール１を握って車両を操舵している場合には、動作状態Ａ１に示すように運転員の手指は撮像領域Ａから外れており、そのときの入力画像は車室内の背景として排除処理される画像成分だけであるのでハンドパターンスイッチ装置が作動することはない。これに対して運転員の手指がステアリングホイール１を外れて動作状態Ａ２に示すように撮像領域Ａ内に入り込むと、これによって手指に対する認識処理が開始される。この場合、例えば、手指を握り拳形状にすることで、スイッチ操作情報の入力開始を指示することが望ましい。
【００２６】
しかる後、手指の形状がスイッチを押圧操作する指差し形状のパターンに変更されたか否かを判定する。そして、指差し形状のパターンが検出された場合には、動作状態Ａ３に示すように選択スイッチを繰り返し押圧操作（プッシュ）して所定の機能・機器を選択指定するものとして、その動きの検出が行われる。具体的には指差し形状の手指が前後に動く（変位する）ことを掌の重心位置の変化（移動）から検出し、そのプッシュ操作を検出する。この場合、１回のプッシュ動作が検出される都度、例えば、図８に示すようにその制御対象を「音量」、「チャンネル（ｃｈ）」、「温度」、「風量」等として巡回的に選択指定するようにその制御アルゴリズムを設定しておけば良い。特に、この際１回のプッシュ動作が検出される都度、「ピッ」等の操作確認音を出力するようにしたり、選択された制御対象を音声メッセージとして報知することも有用である。このようなガイダンスにより運転員は、その操作状態を目で確認することなく認識することが可能となるので運転操作に専念することが可能となる。
【００２７】
そして、所望とする制御対象が選択されたならば今までとは異なる手指パターンとして、動作状態Ａ４に示すように手指形状を親指を立てたパターンに変更し、機能選択操作の完了とスイッチ操作量の入力開始を指示する。この場合、その確認音として前述した確認音とは異なる「ピー」等の音を発することことが好ましい。
【００２８】
その後、動作状態Ａ５に示すように手指形状を握り拳形状に変更し、手指の前後移動によってスイッチ操作情報を入力する。そして握り拳形状の手指の動きを掌の重心位置の変位量等から検出し、その動きに対応したスイッチ操作情報を出力する。具体的にはこのスイッチ操作情報の入力においては、前述したプッシュ操作により選択指定された制御対象に応じて検出すべき情報内容を変更する。即ち、制御対象によってはその制御内容を多段階（ステップ的）に変更したいものと、連続的に変更したいものとがある。従って、選択した操作対象に応じて例えば、手指の動き量（変位量）をスイッチ操作情報とする距離モード（動作状態Ａ６ａ）、所定距離だけ変位した手指の停止時間からそのスイッチ操作情報を求める時間モード（動作状態Ａ６ｂ）、またはこれらのモードを併用した距離・時間モード（動作状態Ａ６ｃ）を選択的に設定する。
【００２９】
因みに上記距離モードについては、ラジオ放送のチャンネル選択や空調設備における風量・風向を選択設定する場合に好適である。また、時間モードについてオーディオ機器の音量や空調機器における温度等を調節する場合等に好適である。更に、距離・時間モードについては、上述したように設定される各種操作情報を微調整する場合等に好適である。そして、設定されたモードに応じて入力画像内における掌の重心位置の変位量や停止時間を検出し、これらの検出結果に応じて所定のスイッチ操作情報を出力するようにすれば良い。
【００３０】
上述したようにハンドパターンスイッチ装置によれば、簡易にして効果的に、しかも運転操作に伴う手指や腕の動きの影響を受けることなしに、手指の形状とその動きによるスイッチ操作指示を的確に検出することができる。そして、その検出結果に応じて所定の車両搭載機器に対して適切にスイッチ操作情報を与えることが可能となる。特に、スイッチ操作を指示する手指を撮像する領域（撮像領域Ａ）がステアリングホイール１の側方の位置であって、運転員がその運転姿勢を崩すことなく自然に腕を伸ばし得る範囲に設定されているので、運転員に操作負担を掛けることがない。従って、オーディオ機器等の操作部２を直接操作する感覚を維持しながら、容易にハンドパターンスイッチ装置を介してスイッチ操作情報を指示入力することが可能となる。
【００３１】
尚、本発明は上述した実施形態に限定されるものではない。実施形態においては右ハンドル車を前提として説明したが、左ハンドル車の場合にも同様に適用可能なことは言うまでもなく、またトラック等の大型車に限らず普通乗用車等にも同様に適用可能である。
更に、制御対象についても、例えば、ワイパのオン・オフやその作動間隔の調整、サイドミラーの開閉等に拡張することも勿論可能である。その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。
【００３２】
【発明の効果】
以上説明したように本発明によれば、ハンドパターンスイッチ装置は、トンネルに入ったときのように急激に照度が変化したときや、夜間の走行等全ての走行環境下（照度条件）で安定した手指の形状を撮影することが可能となる。しかも、撮像領域に近赤外線を照射して近赤外線カメラにより撮影する際、近赤外線は、目に見えないため運転中に撮像領域に照射した照明が視界に入ることもなく運転に何ら支承を来すことがない。
【００３３】
また、照度判定時間が設定時間より長い場合に近赤外線の照射と近赤外線カメラにより撮像した画像に切り換えることで、近赤外線の無駄な照射を防止することが可能となる。また、運転員の運転操作に伴う手指や腕の動きの影響を受けることなく手指の形状とその動きによるスイッチ操作指示を的確に検出することができ、所定の車両搭載機器に対して適切にスイッチ操作情報を与えることが可能となる等の効果がある。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るハンドパターンスイッチ装置の概略構成を示す図である。
【図２】図１に示すハンドパターンスイッチ装置における手指の撮像領域を示す図である。
【図３】図１に示す撮像装置の構成を示すブロック図である。
【図４】図３に示す撮像装置における通常ＣＣＤカメラによる照度の判定の一例を示す図である。
【図５】ハンドパターンスイッチ装置に対してスイッチ操作指示を与えるための手指形状の一例を示す図である。
【図６】図３に示す撮像装置における通常ＣＣＤカメラの画像と近赤外線ＣＣＤカメラの画像とを切り換える手順を示すフローチャートである。
【図７】ハンドパターンスイッチ装置におけるスイッチ操作情報の指示入力手順を示す図である。
【図８】手指によるプッシュ操作に伴う制御対象の選択例を示す図である。
【符号の説明】
１  ステアリングホイール
２  オーディオ機器等の操作部
３  撮像装置
１１  ２値化処理部
１２  重心位置検出部
１３  形状認識部
１４  操作指示認識部
１６  形状判定部
１７  変位量検出部
１８  タイマ
１９  ガイド部
３１  通常ＣＣＤカメラ（撮像装置）
３２  近赤外線ＣＣＤカメラ（撮像装置）
３３  近赤外線照射手段
３４  照度判定手段
３５  撮像装置（カメラ）切換手段
【図１】
2004170873.tif 000003
【図２】
2004170873.tif 000004
【図３】
2004170873.tif 000005
【図４】
2004170873.tif 000006
【図５】
2004170873.tif 000007
【図６】
2004170873.tif 000008
【図７】
2004170873.tif 000009
【図８】
2004170873.tif 000010