(57)【要約】【課題】赤外線カメラの撮像データからハンドコマンドを正確に抽出・判定する。【解決手段】所定の検出領域を撮像する赤外線カメラ１０と、撮像データに基づいて乗員の手の形状および／または手の動きを抽出する抽出手段２１と、抽出された手の形状および／または手の動きに対応するコマンドを判定する判定手段２２と、判定されたコマンドを実行させる実行手段２３と、赤外線カメラ１０が撮像する検出領域の背景面を、乗員の温度に赤外線カメラ１０の最小温度分解能を加えた第１所定温度よりも高い温度となるように加温する背景加温手段５０を備えた。【選択図】  図１
2006350844.tif 000002
【特許請求の範囲】
【請求項１】
所定の検出領域を撮像する赤外線カメラと、
前記赤外線カメラの撮像データに基づいて乗員の手の形状および／または手の動きを抽出する抽出手段と、
前記抽出手段により抽出された手の形状および／または手の動きに対応するコマンドを判定する判定手段と、
前記判定手段により判定されたコマンドを実行させる実行手段と、を有するコマンド入力装置であって、
前記赤外線カメラが撮像する検出領域の背景面を、乗員の温度に前記赤外線カメラの最小温度分解能を加えた第１所定温度よりも高い温度となるように加温する背景加温手段を備えたコマンド入力装置。
【請求項２】
前記背景加温手段は、点在させた複数の発熱体を有する請求項１に記載のコマンド入力装置。
【請求項３】
前記背景加温手段は、検出領域内の所定点から放射状に配置させた線状の発熱体を有する請求項１に記載のコマンド入力装置。
【請求項４】
前記背景加温手段は、網目状に配置させた線状の発熱体を有する請求項１に記載のコマンド入力装置。
【請求項５】
前記背景加温手段は、扇状に配置させた線状の発熱体を有する請求項１に記載のコマンド入力装置。
【請求項６】
前記発熱体は、前記抽出手段が手の形状を抽出する際の特徴点を通るように配置された請求項５に記載のコマンド入力装置。
【請求項７】
前記背景加温手段は、同心円状に配置させた線状の発熱体を有する請求項１に記載のコマンド入力装置。
【請求項８】
前記背景加温手段は、螺旋状に配置させた線状の発熱体を有する請求項１に記載のコマンド入力装置。
【請求項９】
前記背景加温手段は、螺旋状に配置させた線状の発熱体を回転させる回転機構をさらに備える請求項８に記載のコマンド入力装置。
【請求項１０】
前記背景加温手段は、前記検出領域周囲の温度を検出し、検出した検出領域周囲の温度が第２所定温度よりも低い場合には、前記背景面を加温する熱量を減ずる請求項1〜９のいずれかに記載のコマンド入力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載コンピュータに対するコマンドであって、乗員により表現されるコマンドの入力を受け付けるコマンド入力装置に関し、特に、赤外線カメラを用いたコマンド入力装置に関する。
【背景技術】
【０００２】
車両に搭載される車載機器の多様化に伴い、ドライバが行う入力操作は複雑化している。運転中のドライバの負担を軽減するため、運転者がステアリングを握りながら差し出した指の形状や動きをイメージセンサで認識し、指の形状や動きに応じたコマンドを受け付ける入力装置が提案されている。通常のカメラでは撮像が難しい夜間や暗い場所でも指の形状等を認識できるようにするため、この種の装置においては、対象物から放出される赤外線を検出する赤外線イメージセンサを採用するものがある（特許文献１、特許文献２参照）。
【０００３】
しかしながら、季節、気温、乗員の温度（体温、手の温度等）によっては、検出対象物となる手と背景の温度差（赤外線量の差）が小さいため、手の形状や動きを背景から抽出することができず、運転者が提示したコマンドが認識不能又は誤認識されてしまうという問題があった。
【特許文献１】特開２００１−２１６０６９号公報
【特許文献２】特開２００３−１３１７８５号公報
【発明の開示】
【０００４】
本発明は、乗員が示した手の形状等によるコマンドの認識率を向上させることを目的とする。
【０００５】
この発明によれば、赤外線カメラが所定の検出領域を撮像して得た撮像データに基づいて乗員の手の形状および／または手の動きを抽出し、抽出された手の形状および／または手の動きに対応するコマンドを判定し、判定されたコマンドを実行させるコマンド入力装置であって、赤外線カメラが撮像する検出領域の背景面を、乗員の温度に前記赤外線カメラの最小温度分解能を加えた第１所定温度よりも高い温度となるように加温する背景加温手段をさらに備えたコマンド入力装置が提供される。
【０００６】
これにより、認識対象となる手と背景面との間に温度差を生じさせることができるため、季節、気温、運転者の手の温度等の影響を受けずに、乗員が示した手の形状等によるコマンドを正確に認識することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の実施形態を図面に基づいて説明する。  
本実施形態のコマンド入力装置１００は車両に搭載され、図１に示すように乗員が車両のステアリングを握りながら手若しくは指の形態（差し出した指・差し出した指の本数など）又は手若しくは指の動作により表現したコマンドの入力を受け付ける。本実施形態のコマンドは、車両搭載のオーディオ装置、エアコン、ナビゲーション装置等の車載装置に対する制御命令である。
【０００８】
図２には、本実施形態のコマンド入力装置１００のブロック構成を示した。図２に示すように、コマンド入力装置１００は、赤外線カメラ１０と、入力制御装置２０と、背景加熱手段５０とを備えている。コマンド入力装置１００は、外部の車載装置２００と車載ＬＡＮにより情報授受が可能なように接続されている。コマンド入力装置１００は、車載ＬＡＮを介して受け付けたコマンドを車載装置２００に向けて送出する。
【０００９】
本実施形態のコマンド入力装置１００は、乗員によって示されたコマンドを赤外線カメラ１０で撮像し、その撮像データに基づいてコマンドの抽出・判定を行う。図３に、赤外線カメラ１０の配置を示した。図３は乗員の手７がステアリングを握った状態を上方から見下ろした場合の検出領域６を示す。図３に示すように、本実施形態の赤外線カメラ１０は、ステアリングコラム２に取り付けられており、ステアリング１を握る乗員の手７と背景面となるフロントドア４の内壁面とを含む所定の検出領域を撮像し、検出領域内の背景面と乗員の手の赤外線データを取得する。このように検出領域を設定したのは、撮像データに乗員の手と背景以外の対象物、例えばその乗員の身体の一部を含まないようにするためである。これにより、背景面と検出対象となる乗員の手のみを撮像することができるため、乗員が示す手の形態等を正確に抽出することができる。なお、図３では右側ステアリング車両における各構成の配置を示したが、左側ステアリング車両では左右が反対の位置関係となる。
【００１０】
同図に示すように、本実施形態では、赤外線カメラ１０が撮像する検出領域の背景面となるフロントドア４の内壁面を加熱する背景加熱手段５０を設けた。本実施形態の背景加熱手段５０は電気式の発熱体５１（５１Ａ〜５１Ｆ）であり、赤外線カメラ１０により撮像される領域のフロントドア４の内壁面の内側に埋め込まれている。
【００１１】
また、本実施形態の背景加熱手段５０は、発熱体５１の加熱を制御する加熱コントローラ５２を備え、赤外線カメラ１０が撮像する検出領域の背景面を、乗員の温度に赤外線カメラ１０の最小温度分解能（ＮＥＴＤ：Noise Equivalent Temp. Difference）を加えた第１所定温度よりも高い温度となるように加温する。具体的に、加熱コントローラ５２は、背景面の温度を検出する背景面温度センサ５２１を備え、背景面温度センサ５２１が測定した背景面の温度が第１所定温度未満である場合には、第１所定温度となるまで背景面を加熱する。
【００１２】
本例の第１所定温度は「乗員の温度」に最小温度分解能を加えた値である。この「乗員の温度」は任意に定義することができ、例えば、予め設定した「乗員の体温」を「乗員の温度」と定義してもよいし、予め設定した「乗員の手の温度」を「乗員の温度」と定義してもよい。乗員の体温や乗員の手の温度は、十分数のモニタの手の温度の実測値に基づいて予め算出しておくことが好ましいが、コマンド入力装置１００を使用する乗員の温度の実測値に基づいて定義してもよい。つまり、赤外線カメラ１０の撮像データに基づいて乗員の体温や手の温度を測定し、その測定値に基づいて「乗員の温度」を設定してもよい。なお、最小温度分解能の温度値は、搭載する赤外線カメラ１０それぞれの最小温度分解能の温度値に基づいて予め設定する。
【００１３】
特に限定されないが、背景加熱手段５０は検出領域周囲の温度を検出する周囲温度モニタ５３を備え、加熱コントローラ５２は検出した検出領域周囲の温度が第２所定温度よりも低い場合には、背景面を加熱する熱量を減ずるように制御することが好ましい。検出領域周囲の温度が低い場合には、検出対象となる乗員の温度（乗員の体温、乗員の手の温度を含む）も低くなると推察できる。このため、本例では、乗員の温度の低下に応じて背景面に加える熱量も低減させ、背景面の加熱を過剰に行わないように熱量を制御する。これにより背景面の加熱に要する消費エネルギーを節約することができる。
【００１４】
本実施形態の背景加熱手段５０は、検出領域の背景面を加温できるヒータであれば特に限定されないが、具体的な態様を図４〜図９に示した。
【００１５】
図４（Ａ）は、点在させた複数の発熱体５１Ａを有する背景加熱手段５０を示した。この背景加熱手段５０はドア内壁面４の内側に内蔵されている。図４（Ｂ）に、図４（Ａ）に示した背景加熱手段５０の一部Ｐを拡大して示した。各発熱体５１Ａは電気的に接続され、背景面を一様に加熱する。これにより、全面を加熱するよりも消費エネルギーを節約することができる。
【００１６】
図５（Ａ）は、検出領域内の所定点から放射状に配置された線状の発熱体５１Ｂを有する背景加熱手段５０を示した。所定点の位置は特に限定されないが、検出領域において撮像される乗員の掌の中央部分に設定することが好ましい。この背景加熱手段５０はドア内壁面４の内側に内蔵されている。図５（Ｂ）に、図５（Ａ）に示した背景加熱手段５０に手の像を重ねた状態を示した。手の指は放射状に延びているため、放射状に設けられた発熱体５１Ｂが、背景面中の指に対応する部分を効率的に加熱することができる。これにより、指と背景との温度差を効率的に生成することができ、全面を加熱するよりも消費エネルギーを節約することができる。
【００１７】
図６（Ａ）は、網目状に配置された線状の発熱体５１Ｃを有する背景加熱手段５０を示した。この背景加熱手段５０はドア内壁面４の内側に内蔵されている。図６（Ｂ）に、図６（Ａ）に示した背景加熱手段５０に手の像を重ねた状態を示した。各発熱体５１Ｃは電気的に接続され、背景面を一様に加熱する。これにより、全面を加熱するよりも消費エネルギーを節約することができる。また、手の指は放射状に延びており、手の指と網目状の発熱体５１Ｃとが交差するため、発熱体の位置（発熱体により特に加熱される部分の位置）を基準として手の大きさや指の位置を判断することができる。
【００１８】
図７（Ａ）は、扇状に配置された線状の発熱体５１Ｄを有する背景加熱手段５０を示した。この背景加熱手段５０はドア内壁面４の内側に内蔵されている。図７（Ｂ）に、図７（Ａ）に示した背景加熱手段５０に手の像を重ねた状態を示した。手の指は放射状に延びているため、放射状に設けられた発熱体５１Ｄが、背景面中の指に対応する部分を効率的に加熱することができる。これにより、検出対象となる指と背景面との温度差を効率的に生成することができ、全面を加熱するよりも消費エネルギーを節約することができる。また、特に限定されないが、発熱体５１Ｄは、手の形状等を抽出する際の特徴点Ｑを通過するように配置させることが好ましい。このようにすることで、手の特徴点と対応する背景面との間に効率的に温度差を生成することができ、手の形状等を正確に認識することができる。
【００１９】
図８（Ａ）は、同心円状に配置された線状の発熱体５１Ｅを有する背景加熱手段５０を示した。この背景加熱手段５０はドア内壁面４の内側に内蔵されている。図８（Ｂ）に、図８（Ａ）に示した背景加熱手段５０に手の像を重ねた状態を示した。各発熱体５１Ｅは電気的に接続され、背景面を一様に加熱する。これにより、全面を加熱するよりも消費エネルギーを節約することができる。また、一般に手の指は放射状に延びており、手の指と同心円状の発熱体５１Ｅとが交差するため、発熱体の位置（発熱体により特に加熱される部分の位置）を基準として手の大きさや指の位置を判断することができる。
【００２０】
図９（Ａ）は、螺旋状に配置された線状の発熱体５１Ｆを有する背景加熱手段５０を示した。この背景加熱手段５０はドア内壁面４の内側に内蔵されている。図９（Ｂ）に、図９（Ａ）に示した背景加熱手段５０に手の像を重ねた状態を示した。各発熱体５１Ｆは電気的に接続され、背景面を一様に加熱する。これにより、全面を加熱するよりも消費エネルギーを節約することができる。また、一般に手の指は放射状に延びており、手の指と同心円状の発熱体５１Ｅとが交差するため、発熱体の位置（発熱体により特に加熱される部分の位置）を基準として手の大きさや指の位置を判断することができる。また、本例の背景加熱手段５０は１本の線状の発熱体５１Ｆで構成できるので、電気的な接続が複雑になることを防ぐことができる。特に限定されないが、螺旋状に配置させた線状の発熱体を回転させる回転機構をさらに備えることが好ましい。螺旋状の発熱体５１Ｆが回転することにより、背景面全体を斑なく加熱することができる。
【００２１】
以上のように構成された背景加熱手段５０の温度調節動作を図１０のフローチャートに基づいて説明する。
【００２２】
図１０に示すように、動作開始後（Ｓ１）、背景面温度センサ５２１は、検出領域の背景面となる車両フロントドア４の内壁面の温度Ｔ１を検出する（Ｓ２）。検出した背景面の温度Ｔ１が予め設定された第１所定温度Ｐ１よりも低いか否かを判断する（Ｓ３）。第１所定温度Ｐ１の設定手法は特に限定されないが、図１１（Ａ）に示すように、本例では乗員の体温（乗員の温度に対応）３７℃に最小温度分解能値よりも大きいαを加えた温度を第１所定温度と定義した。加熱コントローラ５３は、背景面の温度Ｔ１が第１所定温度Ｐ１よりも低い場合（Ｓ３でＹes）、背景面の加熱を開始する（Ｓ４）。加熱開始後、背景面温度センセ５２１は背景面の温度を監視する。加熱コントローラ５３は背景面の温度Ｔ１が第１所定温度Ｐ１以上となるまで背景面を加熱する(Ｓ５でＮｏ)。加熱コントローラ５３は背景面の温度Ｔ１が第１所定温度Ｐ１以上となったら(Ｓ５でＹｅｓ)、背景面の加熱を中止する(Ｓ６)。背景面温度センサ５２１は背景面の温度の監視を終了命令が入力されるまで継続する（Ｓ７〜Ｓ９）。
【００２３】
特に限定されないが、本実施形態では、Ｓ２〜Ｓ９までの処理と並行して、Ｓ１０〜Ｓ１２の処理を行う。この処理は、検出領域周囲の温度（気温）に応じて背景面の加熱の熱量を減ずる処理である。本例では、背景面の加熱量を節約するために、検出領域周囲の温度（気温）がＴ２以下である場合には、第１所定温度Ｐ１をこれよりも低い第１所定温度Ｐ２に補正する。図１１（Ｂ）に示すように、気温が低下すると体温及び手の表面温度も低下する。つまり、気温が低い場合には背景面をＰ１まで加熱しなくても、背景面の温度と乗員の体温又は手の表面温度との間に最小温度分解能以上の差を生成することができる。本実施形態の加熱コントローラ５２は、周囲の気温が所定温度Ｔ２よりも低い場合には、背景面の加熱設定温度Ｐ１を低く補正（Ｐ２）し、背景面を加熱する熱量を減ずるように加熱制御を行う。なお、加熱量を節約する手法はこの手法に限定されず、背景加熱手段５０の出力量を所定量だけ減じてもよいし、背景加熱手段５０の出力時間を所定時間だけ減じてもよい。
【００２４】
本実施形態によれば、背景面を第１所定温度まで加熱することにより、検出対象物となる手と背景面との間に最小温度分解能以上の温度差を生成することができる。このため、季節、気温、運転者の体温（手の温度）にかかわらず、赤外線カメラの撮像データに基づいて、乗員の手の形状や動きを背景から区別し、これらを正確に抽出することができる。特に限定されないが、背景加熱手段５０は入力制御装置２０の動作に先立って動作し、検出対象となる乗員の手又は指等と背景面との間に最小温度分解能に応じた所定の温度差を生じさせておくことが好ましい。背景面が加熱された状態で入力制御装置２０を動作させることにより、入力制御装置２０は背景面と乗員の手等に生成された温度差に基づいて正確にコマンドの抽出、判定を行うことができる。
【００２５】
続いて、入力制御装置２０について説明する。本実施形態の「入力制御装置２０」は、抽出手段２１と判定手段２２と、実行手段２３とを備え、赤外線カメラ１０により撮像された画像に基づいて乗員が示したコマンドを実行させる。
【００２６】
「抽出手段２１」は、赤外線カメラ１０により撮像された撮像データから、手の形状および／または手の動きを抽出する。抽出手法は特に限定されないが、人間の手の表皮温度（２４〜３４℃）を基準とした温度帯域に含まれる温点の分布を抽出し、この分布から人間の手の形状および／または人間の手の動きを抽出する。
【００２７】
「判定手段２２」は、抽出手段２１により抽出された手の形状および／または手の動きに基づいてコマンドの内容を判定する。判定の手法は特に限定されず、抽出された手の形状および／または手の動きを、その特徴点（指先など）に基づいて認識してもよいし、パターンマッチング手法により判定してもよい。本実施形態では、抽出された手の形状および／または手の動きと、予めコマンドにそれぞれ割り振られた手の形状および／または手の動きとを対比して、抽出された手の形状および／または手の動きのコマンドを判定する。判定手段２２は、コマンドの内容と手の形状および／または手の動きとを予め対応づけた対応情報を、読み込み可能な記憶手段（ＲＡＭまたはＲＯＭ）から取得する。対応情報においては、手の形状および／または手の動きから予め対応づけられた所定のコマンドが特定される。所定の手の形状（例えば指の本数）等と所定のコマンド（例えば機器のＯＮ／ＯＦＦ）とを対応づけてもよいし、コマンドの階層構造に応じて、所定の手の形状（例えば指の本数）等の組み合わせと、所定のコマンド（例えばオーディオ選択後の音量ＵＰ／ＤＯＷＮ）とを対応づけてもよい。
【００２８】
「実行手段２３」は、判定手段２２により判定されたコマンドを実行させる。実行手段２３は、判定されたコマンドが制御する装置へ向けて、そのコマンドを送出する。コマンドを取得した各車載装置２００は、取得したコマンドに応じた機能を動作させる。
【００２９】
入力制御装置２０の制御手順を図１２に示した。図１２に示すように、起動後(Ｓ１０１)、赤外線カメラ１０は、ステアリング１を握る乗員の手を含む所定の検出領域を撮像する（Ｓ１０２）。抽出手段２１は、赤外線カメラ１０が取得した撮像データに基づいて乗員の手の形状および／または乗員の手の動きを抽出する(Ｓ１０３)。判定手段２２は、抽出手段２１により抽出された乗員の手の形状および／又は手の動きに対応するコマンドを判定する（Ｓ１０４）。実行手段２３は判定手段２２により判定されたコマンドを車載装置２００の制御手段に向けて出力する（Ｓ１０５）。車載装置２００は、受け付けたコマンドに基づいて車載装置２００を制御する。
【００３０】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【００３１】
【図１】本実施形態のコマンド入力装置の使用例を示す図である。
【図２】本実施形態のコマンド入力装置のブロック構成図である。
【図３】本実施形態の検出領域の一例を示す図である。
【図４】（Ａ）（Ｂ）は本実施形態の背景加熱手段の第１の例を示す図である。
【図５】（Ａ）（Ｂ）は本実施形態の背景加熱手段の第２の例を示す図である。
【図６】（Ａ）（Ｂ）は本実施形態の背景加熱手段の第３の例を示す図である。
【図７】（Ａ）（Ｂ）は本実施形態の背景加熱手段の第４の例を示す図である。
【図８】（Ａ）（Ｂ）は本実施形態の背景加熱手段の第５の例を示す図である。
【図９】（Ａ）（Ｂ）は本実施形態の背景加熱手段の第６の例を示す図である。
【図１０】本実施形態の背景加熱手段の制御手順を示すフローチャート図である。
【図１１】本実施形態の背景加熱手段の制御手法を説明するための図である。
【図１２】本実施形態の入力制御装置の制御手順を示すフローチャート図である。
【符号の説明】
【００３２】
１００…コマンド入力装置
１０…赤外線カメラ
２０…入力制御装置
２１…抽出手段
２２…判定手段
２３…実行手段
５０…背景加熱手段
５１Ａ〜５１Ｆ…発熱体
５２…加熱コントローラ
５３…周囲温度モニタ
１…ステアリング
２…ステアリングコラム
４…フロントドア
７…乗員の手
７１…乗員の指
２００・・・車載装置
【図１】
2006350844.tif 000003
【図２】
2006350844.tif 000004
【図３】
2006350844.tif 000005
【図４】
2006350844.tif 000006
【図５】
2006350844.tif 000007
【図６】
2006350844.tif 000008
【図７】
2006350844.tif 000009
【図８】
2006350844.tif 000010
【図９】
2006350844.tif 000011
【図１０】
2006350844.tif 000012
【図１１】
2006350844.tif 000013
【図１２】
2006350844.tif 000014