(57)【要約】【課題】  撮像する環境の照度が変化しても正確に手を認識することができるハンドパターンスイッチ装置を提供することにある。【解決手段】  手の動作を撮像するカメラ３及びこのカメラ３の撮像結果により操作対象が操作されるハンドパターンスイッチ装置において、カメラ３の撮像範囲に手が存在しない状態で撮像した画像を初期画像データとして保存する保存手段Ｓ１と、カメラ３の撮像範囲に手が存在する状態で撮像した画像である原画像データと前記初期画像データとの差分画像データを得る差分手段Ｓ２と、この差分手段で得られた手元近傍の画像データに基づいて、その手元近傍の平均輝度を求める輝度検出手段Ｓ６と、この輝度検出手段で算出された平均輝度に基づいた閾値で原画像データを２値化処理する処理手段Ｓ８とを具備した。【選択図】      図３
2005242694.tif 000002
【特許請求の範囲】
【請求項１】
手の動作を撮像する撮像手段及びこの撮像手段の撮像結果により操作対象が操作されるハンドパターンスイッチ装置において、
前記撮像手段の撮像範囲に手が存在しない状態で撮像した画像を初期画像データとして保存する保存手段と、
前記撮像手段の撮像範囲に手が存在する状態で撮像した画像である原画像データと前記初期画像データとの差分画像データを得る差分手段と、
この差分手段で得られた手元近傍の画像データに基づいて、その手元近傍の平均輝度を求める輝度検出手段と、
この輝度検出手段で算出された平均輝度に基づいた閾値で原画像データを２値化処理する処理手段とを具備したことを特徴とするハンドパターンスイッチ装置。
【請求項２】
前記輝度検出手段は、前記差分画像データのうち、差のある部分を白に差の無い部分を黒に変換する変換手段と、
この変換手段により変換された後に白となる面積の一番大きい部分を手部分と抽出する抽出手段とを具備したことを特徴とする請求項1記載のハンドパターンスイッチ装置。
【請求項３】
前記処理手段は、前記輝度検出手段で検出された平均輝度値より設定値だけ小さい値より大きい場合には白に変換することを特徴とする請求項1記載のハンドパターンスイッチ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空調機器やオーディオ機器等の車両搭載機器やサイドミラー等の車両付帯機器の動作を、該車両搭載機器の操作パネルに触れることなく、また車両の運転を妨げることなしに簡易に操作するに好適なハンドパターンスイッチ装置に関する。
【背景技術】
【０００２】
空調機器やオーディオ機器等の車両搭載機器の動作を、該車両搭載機器の操作パネルに触れることなく操作する技術として、カメラを用いて運転者の身体の一部（例えば、左手）を撮像し、その画像パターンを認識して上記車両搭載機器に対する操作情報を得ることが提唱されている（例えば、特許文献１を参照）。また運転者の手の形状や動きとして示されるジェスチャを検出して車両搭載機器に対する操作情報を得ることも提唱されている（例えば、特許文献２を参照）。
【０００３】
この種の技術は、例えば手を撮像した画像から手の形状を認識するパターン認識処理や、認識した手の位置変化を追跡することでその動きを検出する動き検出処理等によって実現されるもので、ここでは、便宜上、ハンドパターンスイッチ等と称する。
【特許文献１】特開平１１−１３４０９０号公報
【特許文献２】特開２００１−２１６０６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したハンドパターンスイッチ装置を用いて車両搭載機器の動作を操作する場合、運転員（操作者）の手形状やその動きを確実に、しかも正確に検出することが必要である。なお、以下「手」には手指や掌を含み、場合により「手指」や「掌」と表現する。
【０００５】
この為には、先ず運転員（操作者）の手を撮像した画像中にどの部分が手や掌であるかを正確に認識する必要がある。
【０００６】
撮像した画像中から手を認識する場合に、手と背景を分離する必要がある。画像中の手部分は明るく（白）、それ以外の背景は暗め（黒）であることから、撮像した画像の輝度値が閾値より明るい場合には「白」、暗い場合には「黒」に変換することにより、背景から手部分を抽出していた。
【０００７】
ところで、運転員（操作者）の手を撮像する環境の照度は変化する。このように環境が変化しても前述した閾値が固定であると、正確に背景から手部分を抽出できないという問題があった。
【０００８】
本発明は、上記の点に鑑みてなされたもので、その目的は、撮像する環境の照度が変化しても正確に手を認識することができるハンドパターンスイッチ装置を提供することにある。
【課題を解決するための手段】
【０００９】
請求項1記載の発明は、手の動作を撮像する撮像手段及びこの撮像手段の撮像結果により操作対象が操作されるハンドパターンスイッチ装置において、前記撮像手段の撮像範囲に手が存在しない状態で撮像した画像を初期画像データとして保存する保存手段と、前記撮像手段の撮像範囲に手が存在する状態で撮像した画像である原画像データと前記初期画像データとの差分画像データを得る差分手段と、この差分手段で得られた手元近傍の画像データに基づいて、その手元近傍の平均輝度を求める輝度検出手段と、この輝度検出手段で算出された平均輝度に基づいた閾値で原画像データを２値化処理する処理手段とを具備したことを特徴とする。
【００１０】
請求項２記載の発明は、請求項1記載の輝度検出手段は、前記輝度検出手段は、前記差分画像データのうち、差のある部分を白に差の無い部分を黒に変換する変換手段と、この変換手段により変換された後に白となる面積の一番大きい部分を手部分と抽出する抽出手段とを具備したことを特徴とする。
【００１１】
請求項３記載の発明は、請求項1記載の処理手段は、前記処理手段は、前記輝度検出手段で検出された平均輝度値より設定値だけ小さい値より大きい場合には白に変換することを特徴とする。
【発明の効果】
【００１２】
請求項１及び２記載の発明によれば、手の動作を撮像する撮像手段及びこの撮像手段の撮像結果により操作対象が操作されるハンドパターンスイッチ装置において、運転員（操作者）の手を撮像する環境の照度が変化しても、リアルタイムに閾値を変化させているので、確実に手を認識することができるハンドパターンスイッチ装置を提供することができる。
【００１３】
請求項３記載の発明によれば、原画像の白の輝度値にばらつきがあった場合でも、確実に手部分を白に変換することができる。
【発明を実施するための最良の形態】
【００１４】
以下図面を参照して本発明の一実施の形態について説明する。図１は実施例装置の要部概略構成を示す図で、車両における運転席の様子とマイクロコンピュータ等によって実現されるハンドパターンスイッチ装置の機能を示している。運転席の前方には運転員（ドライバ）によって操舵されるステアリングホイール１やコンビネーションスイッチ（図示せず）等が設けられ、またコンソールパネルにはオーデイオ機器や空調機器等の操作部２が設けられている。また運転席斜め上方の天井には、ステアリングホイール１の側方を撮像領域とし、該撮像領域に向けて腕を伸ばした運転員の手を撮像する為のビデオカメラ３が設けられている。このカメラ３は、ＣＣＤカメラ等の小型のものである。尚、ハンドパターンスイッチ装置に対する操作は、上記撮像領域に掌を略水平にして位置付けし、この状態から所定の、例えば親指を選択的に屈曲させる（出し入れする）と共に、手の位置を左右に変位させる（動かす）ことで行われる。尚、カメラ３にて撮像されるのは手の甲であるが、ここでは撮像された手の甲を掌として説明する。
【００１５】
さて、ハンドパターンスイッチ装置は、基本的には上記カメラ３によって撮像される運転員の手の形状や動きをその入力画像から認識処理し、その認識結果に基づいて所定のスイッチ操作情報を得るものであり、上述した操作部２に代わって前述したオーディオ機器や空調機器等に対してスイッチ操作情報を与える役割を担う。具体的にはハンドパターンスイッチ装置は、カメラ３によって撮像された入力画像を２値化処理してその背景画像成分を除去し、腕の先端側、主に掌と手の画像成分を抽出する２値化処理部１１と、２値化処理によって抽出された掌と手の画像からその重心位置を求める重心検出部１２、および手の形状を認識する形状認識部１３を備える。
【００１６】
更に、ハンドパターンスイッチ装置は、上記形状認識部１３による認識結果、および重心検出部１２により検出された手の重心位置に従って、運転員の手形状や動きにより示されるスイッチ操作を認識する操作指示認識部１４を備える。この操作指示認識部１４は、概略的にはメモリ１５に予め登録された特定の手形状パターンとその役割との関係を参照して、前述した如く認識された手形状が意図する操作の種別を判定（識別）する機能判定部１６、特定の指先形状をした手の重心位置の移動、或いは指の動きを追跡してその基準位置か変位量を検出する変位量検出部１７、および手の動きを時間経過として監視するタイマ１８を備える。そして、操作指示認識部１４は、これらの判定・監視結果に基づいて、運転員の手形状と動きとによって特定される所定のスイッチ操作情報を求め、このスイッチ操作情報を、例えば前述したオーディオ機器や空調機器等に対して出力するように構成される。
【００１７】
尚、操作指示認識部１４には、上述した判定結果に従って運転員に対して所定のガイダンスを行うガイド部１９が設けられている。このガイダンスは、例えばオーディオ機器や空調機器（操作対象機器）、更には音量・チャンネル設定、或いは風量・温度等（操作対象機能）を特定する音声メッセージや、そのスイッチ操作（操作量）を示す「ピッ」や「ピー」等の確認音としてスピーカ２０を介して運転員に報知される。この操作指示認識部１４における具体的な動作形態、即ち、オーディオ機器や空調機器等の複数の制御対象に対するスイッチ操作情報の出力制御については後述する。
【００１８】
さて、前記カメラ３による撮像領域Ａは、図２に示すようにステアリングホイール１の側方の、該ステアリングホイール１の外周部から少なくとも５０mm離れた位置、好ましくは１００mm程度離れた位置として設定される。特に運転員が運転席の側部に設けられた腕掛け（アームレスト）５に腕を乗せたまま、その運転姿勢を崩すことなく腕を伸ばし得る位置であって、オーディオ機器等の操作部２に手が触れることのない位置として設定されている。例えば、この撮像領域Ａは、ステアリングホイール１の側方に腕を伸ばし、その運転姿勢を崩すことなく腕を伸ばした運転員の手先方向に略６００mm、または手の幅方向に略３５０mmの大きさを有する略矩形の領域と設定しても良い。この撮像領域Ａの地の色は黒色である。
【００１９】
次に、上記のように構成された本発明の一実施の形態の動作について説明する。本実施の形態では、カメラ３で撮像した手の認識処理をすることにより、簡易にスイッチ操作指示を与えている。この認識処理は、先ず画像サンプリング時間（例えば、１５Hz）毎に撮像された撮像領域Ａの入力画像を画像サンプリング時間と同じ周期を有する判定サンプリング時間で算出された閾値に従ってサンプリングされ、例えば背景部分を黒、画像中の腕と手に相当する部分を白として２値化処理部１１において２値化処理することから開始される。
【００２０】
この２値化処理について図３のフローチャートを参照して説明する。まず、撮像領域Ａに運転員の手が存在していない画像を初期画像としてメモリ１５に保存する（ステップＳ１）。この初期画像は図４に示すように撮像領域Ａ全域に亘ってその画像の輝度値が記憶される。
【００２１】
次に、撮像領域Ａに運転員の手が存在している画像をカメラ３で撮像する。このカメラ３による撮像は１５Hzのサンプリング時間毎に撮像される。このように撮像領域Ａに運転員の手が存在している画像は原画像として図５に示すようにメモリ１５に保存される。ここで、カメラ３により撮像された画像データは１画素が８ビットの輝度値を有する。つまり、１（黒）〜２５６（白）の輝度値を有する。
【００２２】
そして、原画像の輝度値から背景としての初期画像の輝度値を差し引いた差分画像が算出される（ステップＳ２）。この差分画像データは図６に示すようにメモリ１５に保存される。
【００２３】
次に、メモリ１５に保存された差分画像データのうち、下端部領域Ｂのみを閾値判定領域Ｂとして着目する（ステップＳ３）。つまり、閾値判定領域Ｂの始点ａ及び終点ｂのアドレスが把握される。ここで、領域Ｂに着目したのは、手が必ず存在すると予測できるからである。
【００２４】
そして、閾値判定領域Ｂに属する差分画像データのうち初期画像データと差がある部分を白データ（“１”）、それ以外を黒データ（“０”）に変換する処理がなされる（ステップＳ４）。  
つまり、閾値判定領域Ｂ中の手が存在する部分を“１”（白）、それ以外を“０”（黒）に変換する処理がなされる。
【００２５】
そして、ステップＳ４に変換された閾値判定領域Ｂ中の“１”（白）の面積が一番大きくなる部分を抽出する（ステップＳ５）。つまり、閾値判定領域Ｂ中の“１”（白）の面積が一番大きくなる部分が運転員の手部分（具体的には手首部分）Ｃと判定される。
【００２６】
そして、メモリ３に記録されている原画像の手部分Ｃの平均輝度値を算出する（ステップＳ６）。この平均輝度値は８ビットのデータである。
【００２７】
そして、この平均輝度値を基に２値化閾値として決定され、メモリ３に記憶される（ステップＳ７）。
【００２８】
そして、メモリ１５に記憶されている原画像データをこの２値化閾値で２値化処理する（ステップＳ８）。
【００２９】
ところで、この２値化閾値は次のように決められる。つまり、ステップＳ６で算出された手部分Ｃの平均輝度が「１５０」であったとすると、「１５０−３０（設定値）＝１２０」を２値化閾値として用いている。原画像データの手部分Ｃの平均輝度値をｘとしたとき、実際の手全体の輝度値はｘ±３０に分布していることが判明した。従って、単純に原画像データの輝度値が平均輝度値ｘ以上であれば白、平均輝度値より小さければ黒としてしまうと、原画像データのうち「ｘ−３０」〜ｘまでを黒と変換されてしまい、本来の手よりも小さい手であると判別されてしまう虞がある。
【００３０】
このような不具合を回避するため、ここでは「平均輝度値ｘ−３０」を２値化閾値としている。この閾値の場合、平均輝度値ｘに比べ閾値が小さくなる方向のため、灰色部分（白黒が明確でない部分、例えば原画像における手の輪郭付近）はより白と判断されやすくなる。従って、本来の手に近似した手を判別できる。なお、閾値を「平均輝度値ｘ＋３０」とすると、これは平均輝度値ｘに比べ閾値が大きくなる方向であり、上述した灰色部分より黒と判断されやすくなる。このため、平均輝度値ｘにより判別された手よりもさらに小さい手であると判別されてしまうこととなる。
【００３１】
そして、メモリ１５に記憶されている原画像データのうち面積が一番大きくなる部分以外は排除される（ステップＳ９）。例えば、撮像領域Ａ内に手以外で白いもの、例えばタバコケースが存在していた場合には、不要な画像データ（ノイズ）として原画像データから排除される。
【００３２】
このようにして、２値化処理された後に、重心検出部１２で手の画像からその重心位置を求め、形状認識部１３で手の形状を認識し、操作指示認識部１４で運転員の手形状によってスイッチ操作情報が求められる。
【００３３】
このようにして、１５Ｈｚの画像サンプリング時間毎に撮像領域Ａに存在する運転者の手の画像データを読み取り、同じく１５Ｈｚで２値化閾値を決定した後に、２値化処理しているので、ほぼリアルタイムに形状認識部１３で手の形状を認識することができる。
【００３４】
従って、撮像領域Ａの環境が変化した場合でも２値化処理をその環境の変化に追従させることができる。つまり、トンネルに入ったり出たりするような場合に確実に撮像領域Ａに存在する運転員の手の形状を認識することができる。
【００３５】
なお、前述したステップＳ４の処理はステップＳ２の中で行うようにしても良い。
【００３６】
さらに、閾値判定領域Ｂは必ずしも実施の形態の場所に限るものではない。例えば、シフトノブの近傍を閾値判定領域としても良い。
【００３７】
さらには、輝度値の頻度分布に基づいて頻度分範囲を学習するようにしても良い。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施の形態に係わるハンドパターンスイッチ装置の概略構成を示す図。
【図２】図１に示すハンドパターンスイッチ装置における手の撮像領域を示す図。
【図３】同実施の形態に係わる２値化処理を説明するためのフローチャート。
【図４】同実施の形態に係わる初期画像を示す図。
【図５】同実施の形態に係わる原画像を示す図。
【図６】同実施の形態に係わる差分画像を示す図。
【図７】同実施の形態に係わる差分画像の閾値判定領域を示す図。
【符号の説明】
【００３９】
１…ステアリングホイール、２…オーディオ機器等の操作部、３…カメラ、
１１…２値化処理部、１２…重心位置検出部、１３…形状認識部、
１４…操作指示認識部、１５…メモリ、１６…形状判定部。
【図１】
2005242694.tif 000003
【図２】
2005242694.tif 000004
【図３】
2005242694.tif 000005
【図４】
2005242694.tif 000006
【図５】
2005242694.tif 000007
【図６】
2005242694.tif 000008
【図７】
2005242694.tif 000009