(57)【要約】【課題】乗員の動きにかかわらず乗員情報が検出可能な乗員検出装置および方法を提供する。【解決手段】車室内を撮像する撮像手段１１の画像を用いたエッジ情報作成手段１２と、エッジ情報に基づくエッジ領域抽出手段１３と、エッジ領域に基づくエッジテンプレート作成手段１４と、前回と今回の画像との差分情報作成手段１５と、差分情報に基づく差分領域抽出手段１６と、差分領域に基づく差分テンプレート作成手段１７と、差分テンプレート更新手段１８と、エッジテンプレートと更新された差分テンプレートとのテンプレート統合手段２０と、統合テンプレートにより取得された位置情報と画像からの温度情報に基づいて、乗員情報を抽出する乗員情報抽出手段２１とを備える。【選択図】    図４
2005301719.tif 000002
【特許請求の範囲】
【請求項１】
車室内に設置され、車室内の乗員情報を検出する乗員検出装置において、
車室内の温度分布を表わす熱画像情報を含む画像を取得する撮像手段と、
前記撮像手段により取得された画像を用いて、エッジ情報を作成するエッジ情報作成手段と、
前記エッジ情報作成手段により作成されたエッジ情報の中から、所定条件を満たす画素により囲まれたエッジ領域を抽出するエッジ領域抽出手段と、
前記エッジ領域抽出手段により抽出されたエッジ領域に基づいて、該エッジ領域に所定値を設定し、それ以外の領域には別の所定値を設定することによりエッジテンプレートを作成するエッジテンプレート作成手段と、
前記撮像手段により取得された前回の画像と今回の画像との差分をとることにより差分情報を作成する差分情報作成手段と、
前記差分情報作成手段により作成された差分情報の中から、所定条件を満たす画素により囲まれた差分領域を抽出する差分領域抽出手段と、
前記差分領域抽出手段により抽出された差分領域に基づいて、該差分領域に所定値を設定し、それ以外の領域には別の所定値を設定することにより差分テンプレートを作成する差分テンプレート作成手段と、
前記差分テンプレートを更新する差分テンプレート更新手段と、
前記撮像手段により取得された画像および前記差分テンプレート更新手段により更新された差分テンプレートを記憶する記憶手段と、
前記エッジテンプレート作成手段により作成されたエッジテンプレートと、前記差分テンプレート更新手段により更新された差分テンプレートとの共通領域を抽出し、該共通領域に所定値を設定し、それ以外の領域には別の所定値を設定することによりエッジ情報と差分情報に基づいた統合テンプレートを作成するテンプレート統合手段と、
前記テンプレート統合手段により取得された位置情報と前記撮像手段により取得された画像からの温度情報に基づいて、乗員情報を算出して出力する乗員情報抽出手段と、
を備えたことを特徴とする乗員検出装置。
【請求項２】
前記エッジ情報は、少なくとも縦エッジ情報を含むことを特徴とする請求項１記載の乗員検出装置。
【請求項３】
前記エッジ領域抽出手段および前記差分領域抽出手段において、
前記撮像手段により取得された熱画像情報の所定領域の平均温度を背景温度として抽出し、該背景温度に基づいて各領域抽出のための所定条件をそれぞれ変更することを特徴とする請求項１または２記載の乗員検出装置。
【請求項４】
前記差分テンプレート更新手段は、
前記差分情報作成手段により作成される差分情報の量に応じて、前記差分テンプレート作成手段により作成された前回までの差分テンプレートに今回の差分テンプレートの情報を追加する処理、
または今回の差分テンプレートに全更新する処理
のいずれかを選択して、差分テンプレートの更新を行うことを特徴とする請求項１ないし３のいずれかに記載の乗員検出装置。
【請求項５】
前記テンプレート統合手段は、
前記共通領域に個別のラベル番号を付けるラベル番号付け手段と、
前記ラベル番号付け手段により付けられたラベル番号に基づいて、各共通領域の水平方向の成分が垂直方向に共通な領域は同一対象であると判断し、同一のラベル番号となるようにラベル番号を更新するラベル更新手段とを有し、
前記乗員情報抽出手段は、
前記撮像手段により取得された画像からの温度情報を参照する際に、同一のラベル番号が付けられた位置を一つの対象情報として処理することを特徴とする請求項１ないし４のいずれかに記載の乗員検出装置。
【請求項６】
前記乗員情報抽出手段は、
乗員の有無を抽出することを特徴とする請求項１ないし請求項５のいずれかに記載の乗員検出装置。
【請求項７】
前記乗員情報抽出手段は、
乗員の位置を抽出することを特徴とする請求項１ないし請求項６のいずれかに記載の乗員検出装置。
【請求項８】
前記乗員情報抽出手段は、
乗員の顔温度を抽出することを特徴とする請求項１ないし請求項７のいずれかに記載の乗員検出装置。
【請求項９】
車室内の乗員情報を検出する乗員検出方法において、
車室内の温度分布を表わす熱画像情報を含む画像を取得する撮像工程と、
前記撮像工程により取得された画像を用いて、エッジ情報を作成するエッジ情報作成工程と、
前記エッジ情報作成工程により作成されたエッジ情報の中から、所定条件を満たす画素により囲まれたエッジ領域を抽出するエッジ領域抽出工程と、
前記エッジ領域抽出工程により抽出されたエッジ領域に基づいて、該エッジ領域に所定値を設定し、それ以外の領域には別の所定値を設定することによりエッジテンプレートを作成するエッジテンプレート作成工程と、
前記撮像工程により取得された前回の画像と今回の画像との差分をとることにより差分情報を作成する差分情報作成工程と、
前記差分情報作成工程により作成された差分情報の中から、所定条件を満たす画素により囲まれた差分領域を抽出する差分領域抽出工程と、
前記差分領域抽出工程により抽出された差分領域に基づいて、該差分領域に所定値を設定し、それ以外の領域には別の所定値を設定することにより差分テンプレートを作成する差分テンプレート作成工程と、
前記差分テンプレートを更新する差分テンプレート更新工程と、
前記エッジテンプレート作成工程により作成されたエッジテンプレートと、前記差分テンプレート更新工程により更新された差分テンプレートとの共通領域を抽出し、該共通領域に所定値を設定し、それ以外の領域には別の所定値を設定することによりエッジ情報と差分情報に基づいた統合テンプレートを作成するテンプレート統合工程と、
前記テンプレート統合工程により取得された位置情報と前記撮像工程により取得された画像からの温度情報に基づいて、乗員情報を算出して出力する乗員情報抽出工程とを有することを特徴とする乗員検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両等の乗り物における乗員検出装置および方法に関する。
【背景技術】
【０００２】
近年、自動車などの車両の安全性や快適性を向上させるために、乗員の有無、位置等の状態を検出し、その情報に応じた制御を行うことが提案されている。このような情報を検出する装置としては、例えば下記特許文献１に記載されたものがある。  
この装置は、同一被写体について時間差をもって撮像された２枚の原画像のエッジ画像をそれぞれ作成し、該エッジ画像の差分処理を行い、移動したエッジ成分に基づいて乗員の頭部位置の検出を行う。これにより、背景エッジを無くして、動きのある被写体の情報を効率的に得ることができる、というものである。
【０００３】
【特許文献１】特開２０００−１１３１６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来装置にあっては、エッジ成分の動き情報によってのみ乗員に関する情報を検出するようにしているため、乗員が頭部付近で手を動かした場合にも動き情報が発生し、乗員状態の判定や頭部位置を誤判定してしまう。また、乗員は車両のゆれやその他自然な動作により常にわずかながら動いていることを前提としているため、乗員が動いている場合には、背景エッジを除外して乗員情報を得ることが可能である。しかし、乗員が動かない場合や初期状態では、検出不可能となる。  
本発明は上記の点に鑑みてなされたもので、乗員の動きにかかわらず乗員情報が検出可能な乗員検出装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明は、車室内の乗員情報を検出する乗員検出装置において、車室内の熱画像情報を含む画像を取得する撮像手段と、取得された画像を用いてエッジ情報を作成するエッジ情報作成手段と、作成されたエッジ情報の中から所定条件を満たす画素により囲まれたエッジ領域を抽出するエッジ領域抽出手段と、抽出されたエッジ領域に所定値を設定し、それ以外の領域には別の所定値を設定することによりエッジテンプレートを作成するエッジテンプレート作成手段と、前回の画像と今回の画像との差分をとることにより差分情報を作成する差分情報作成手段と、作成された差分情報の中から所定条件を満たす画素により囲まれた差分領域を抽出する差分領域抽出手段と、抽出された差分領域に所定値を設定し、それ以外の領域には別の所定値を設定することにより差分テンプレートを作成する差分テンプレート作成手段と、差分テンプレートを更新する差分テンプレート更新手段と、取得された画像および更新された差分テンプレートを記憶する記憶手段と、エッジテンプレートと更新された差分テンプレートとの共通領域を抽出し、該共通領域に所定値を設定し、それ以外の領域には別の所定値を設定することにより統合テンプレートを作成するテンプレート統合手段と、テンプレート統合手段により取得された位置情報と取得された画像からの温度情報に基づいて、乗員情報を抽出する乗員情報抽出手段とを備えている。
【発明の効果】
【０００６】
本発明によれば、乗員の動きにかかわらず乗員情報が検出可能な乗員検出装置および方法を提供することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の実施の形態について図面に基づいて詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。  
図１は本発明の一実施の形態の乗員検出装置のハードウェアを示す構成図である。本実施の形態の乗員検出装置は、図１に示すように、ＩＲカメラ（赤外線カメラ）１、マイクロコンピュータ２から構成され、後続の装置として、モニタ３、エアバッグ制御装置４、エアコン制御装置５が接続されている。
【０００８】
図２は本実施の形態におけるカメラの取り付け状態を示す図で、（ａ）は側面図、（ｂ）は上面図である。  
ＩＲカメラ１は、車両の例えばマップランプ部またはセンタークラスタ部等に設置され、車室内の熱画像を撮像して温度情報を出力するものである。また、設置されるＩＲカメラ１は１台で車両全体の乗員を検出するようにしても良いし、乗員ごとに複数台用いても良い。本実施の形態では、図２に示すように車両のセンタークラスタ部に設置されたＩＲカメラ１で、車両の右側を撮像する場合を説明するものとする。ＩＲカメラ１から出力される温度情報としては、ＩＲカメラ１内のＩＲ検知素子（熱検知素子）で得られたアナログ信号を例えば０〜２５５にデジタル化された二次元情報で表わす場合もあるが、本実施の形態では、０〜２５５のデジタル値に対して温度変換定数により温度変換された二次元情報を、熱画像情報とする。
【０００９】
図３は本実施の形態における撮像領域を示す図である。図３において、３０は運転席乗員、３０ａは運転席乗員３０の頭部、３１はサイドガラス、３２はリアガラス、３３は天井である。
【００１０】
マイクロコンピュータ２は、ＩＲカメラ１により取得された熱画像情報を処理して図３の運転席乗員３０のいる座席、すなわち、座席ごとの乗員の有無を特定する。それとともに、図３の運転席乗員３０の頭部３０aの顔の表面温度分布から頭部３０aの位置と顔の代表温度を検出する。
【００１１】
そして、後続装置であるモニタ３は、マイクロコンピュータ２の出力である座席ごとの乗員の有無、頭部位置および顔の代表温度や熱画像情報そのものを表示する。  
また、エアバッグ制御装置４は、マイクロコンピュータ２の出力である座席ごとの乗員の有無および頭部位置に基づいて、例えば乗員不在の座席のエアバッグを開かない等のエアバッグの展開制御を行う。  
さらに、エアコン制御装置５は、マイクロコンピュータ２の出力である座席ごとの乗員の有無、頭部位置および顔の代表温度に基づいて、例えばエアコン制御における乗員の表面温度を利用した快適空調制御等を行う。
【００１２】
図４は本実施の形態の乗員検出装置を機能的に表現した機能ブロック図である。図４において、１１は車室内の温度分布を表わす熱画像情報を含む画像を取得する撮像手段である。１２は撮像手段１１により取得された画像を用いて、エッジ情報を作成するエッジ情報作成手段である。１３はエッジ情報作成手段１２により作成されたエッジ情報の中から、所定条件を満たす画素により囲まれたエッジ領域を抽出するエッジ領域抽出手段である。１４はエッジ領域抽出手段１３により抽出されたエッジ領域に基づいて、該エッジ領域に所定値を設定し、それ以外の領域には別の所定値を設定することによりエッジテンプレートを作成するエッジテンプレート作成手段である。１５は撮像手段１１により取得された前回の画像と今回の画像との差分をとることにより差分情報を作成する差分情報作成手段である。１６は差分情報作成手段１５により作成された差分情報の中から、所定条件を満たす画素により囲まれた差分領域を抽出する差分領域抽出手段である。１７は差分領域抽出手段１６により抽出された差分領域に基づいて、該差分領域に所定値を設定し、それ以外の領域には別の所定値を設定することにより差分テンプレートを作成する差分テンプレート作成手段である。１８は差分テンプレートを更新する差分テンプレート更新手段である。１９は撮像手段１１により取得された画像および差分テンプレート更新手段１８により更新された差分テンプレートを記憶する記憶手段（メモリ）である。２０はエッジテンプレート作成手段１４により作成されたエッジテンプレートと、差分テンプレート更新手段１８により更新された差分テンプレートとの共通領域を新たな着目領域として抽出し、該共通領域に所定値を設定し、それ以外の領域には別の所定値を設定することによりエッジ情報と差分情報に基づいた統合テンプレートを作成するテンプレート統合手段である。２１はテンプレート統合手段２０により取得された位置情報と撮像手段１１により取得された画像からの温度情報に基づいて、乗員情報を算出して出力する乗員情報抽出手段である。
【００１３】
図４に示す機能ブロックと、図１に示すハードウェアとして表現したものとを対比させると、図１のＩＲカメラ１が図４の撮像手段１１に、図１のマイクロコンピュータ２が図４のエッジ情報作成手段１２、エッジ領域抽出手段１３、エッジテンプレート作成手段１４、差分情報作成手段１５、差分領域抽出手段１６、差分テンプレート作成手段１７、差分テンプレート更新手段１８、記憶手段１９、テンプレート統合手段２０、乗員情報抽出手段２１にそれぞれ相当する。
【００１４】
図５は図４に示したテンプレート統合手段２０の内容を示す機能ブロック図である。すなわち、テンプレート統合手段２０は、図５に示すように、共通領域抽出手段２０１、ラベル番号付け手段２０２、ラベル番号更新手段２０３から構成される。共通領域抽出手段２０１は、図４のエッジテンプレート作成手段１４により作成されたエッジテンプレートと、図４の差分テンプレート更新手段１８により更新された差分テンプレートとの共通領域を抽出する。ラベル番号付け手段２０２は該共通領域に個別のラベル番号を付ける。ラベル番号更新手段２０３は、ラベル番号付け手段２０２により付けられたラベル番号に基づいて、各共通領域の水平方向の成分が垂直方向に共通な領域は同一対象であると判断して、同一のラベル番号となるようにラベル番号を更新する。なお、図４の乗員情報抽出手段２１は、撮像手段１１により取得された画像からの温度情報を参照する際に、同一のラベル番号が付けられたｘｙ方向に関する位置を一つの対象情報として処理するようになっている。以下、各手段について詳細に説明する。
【００１５】
図６は本実施の形態の乗員検出装置および方法における処理の流れを示すフローチャートである。  
以下、図６に基づき本実施の形態における動作について説明する。  
図６に示すように、乗員検出処理を開始すると、まず、ステップ１（Ｓ１）において、以降の処理の実行に使用するカウンタやフラグを初期設定する初期化の処理を実行する。例えば、差分テンプレートの初期値として、座席のヘッドレスト位置周辺の領域だけテンプレートの値を１に設定し、それ以外を０とするものとする。差分テンプレートは、二次元情報内で乗員の頭部が存在すると思われる候補位置の情報がわかるものであればよく、存在すると思われる領域とそうでない領域の違いがわかれば１や０という値に限定されるものではない。
【００１６】
次に、ステップ２（Ｓ２）において、図１のＩＲカメラ１により車室内の温度分布を示す熱画像情報を含む画像を取得してマイクロコンピュータ２の処理領域に取り込む。このとき取得される二次元熱画像情報は、表面温度が高い場所ほど濃度値が高い画像となる。なお、このような情報を取得するのに、例えば車室内の乗員全てが一枚の画像に写るようにしてもよいし、座席ごとに設定されたＩＲカメラ１で、一人一人写るようにしてもよい。本実施の形態では、図２に示す位置にＩＲカメラ１を設置して、図３に示すように一台のＩＲカメラ１で運転席乗員３０を写す場合を例に挙げて説明する。  
図７は、本実施の形態における乗員の動きについて説明するための図である。（ａ）は時刻Ｔ−１における車室内の温度画像、（ｂ）は時刻Ｔで頭を傾けた場合を示す。図７（ａ）に示すように運転席乗員３０が前回の時刻Ｔ−１の状態に対して、図７（ｂ）に示すように時刻Ｔで矢印に示すごとく首を傾けた場合について述べる。それ以外の乗員を含んだ画像を処理する場合には、例えばＩＲカメラ１の設置状態から各座席の乗員が存在すると思われる領域に分割して領域ごとに抽出を行えば、それ以降の処理は本実施の形態と同様な処理でよい。
【００１７】
次に、ステップ３（Ｓ３）において、ステップ２（Ｓ２）で取り込まれた二次元熱画像情報を用いてエッジ情報を作成する（図４のエッジ情報作成手段１２）。例えばソーベルオペレータを用いて水平方向の濃度勾配を抽出することで縦エッジ画像を作成する。図８は本実施の形態におけるエッジテンプレートの作成例を示す図である。（ａ）はエッジ処理（エッジ情報）、（ｂ）は領域テンプレート（エッジ領域）、（ｃ）はエッジテンプレートを示す。  
入力画像が図７（ｂ）である場合のエッジ情報の例を図８（ａ）に示す。このエッジ情報は濃度勾配に応じて＋エッジと−エッジという符号を有するものである。本実施の形態では縦エッジ情報を作成するようにしているが、もちろん横エッジ情報を併用しても構わない。すなわち、エッジ情報は、少なくとも縦エッジ情報を含むものである。
【００１８】
次に、ステップ４（Ｓ４）において、ステップ３（Ｓ３）で作成されたエッジ情報に基づいて、所定条件を満たす画素により囲まれた着目領域、すなわち、着目するエッジで挟まれたエッジ領域を図８（ｂ）に示すように抽出する（図４のエッジ領域抽出手段１３）。なお、この着目するエッジの符号の組み合わせは、背景温度により変更する。すなわち、図４のエッジ領域抽出手段１３および差分領域抽出手段１６において、撮像手段１１により取得された熱画像情報の所定領域の平均温度を背景温度として抽出し、該背景温度に基づいて各領域抽出のための所定条件をそれぞれ変更する。そのために乗員が存在しないと思われる領域の平均温度を算出して、この平均温度が所定値Ｔｈよりも高い場合には、乗員の表面温度より背景温度が高温であると判断し、所定値Ｔｈ以下の場合には乗員の表面温度より背景温度の方が低温であると判断する。そして、背景が低温の場合と高温の場合とでエッジの符号の組み合わせを入れ替えることで背景温度が変わっても乗員のエッジ情報が確実に抽出できるようにする。
【００１９】
次に、ステップ５（Ｓ５）において、ステップ４（Ｓ４）で抽出したエッジ領域に基づいて、該エッジ領域に所定値を設定し、それ以外の領域には別の所定値を設定することにより、エッジテンプレートを作成する（図４のエッジテンプレート作成手段１４）。例えば、抽出されたエッジ領域に相当する位置の値を例えば１に設定し、それ以外を０と設定することで、図８（ｃ）に示すようなエッジテンプレートを作成する。このエッジテンプレートは、二次元情報内で乗員の頭部が存在すると思われる候補位置の情報がわかるものであればよく、存在すると思われる領域とそうでない領域の違いがわかれば１や０という値に限定されるものではない。
【００２０】
次に、ステップ６（Ｓ６）において、撮像手段１１により取得された前回の画像と今回の画像との差分をとることにより差分情報を作成する（図４の差分情報作成手段１５）。すなわち、ステップ２（Ｓ２）で取り込まれた二次元熱画像情報に対して、動き情報の抽出処理を行う。これは、時間の異なる二つの熱画像情報の差を求める処理、つまり、差分処理により動きが発生した部分だけを抽出して差分情報とする処理である。記憶手段１９に記憶されている前回の熱画像情報と、ステップ２（Ｓ２）で取り込まれた二次元熱画像情報の差分処理を行う。そして、ＩＲ検知素子の温度情報の出力バラツキ範囲が±Ｔｄである場合には、＋Ｔｄ以上または−Ｔｄ以下の温度変化がある部分を動き情報とする。すなわち、前回の処理から温度情報が所定量である＋Ｔｄ以上または−Ｔｄ以下変化した位置を抽出する。図９は本実施の形態における差分テンプレートの作成例を示す図である。（ａ）は差分処理（差分情報）、（ｂ）は領域テンプレート（差分領域）、（ｃ）は差分テンプレートを示す。  
このような処理により、例えば図７（ｂ）に示したように運転席乗員３０が頭部３０ａ（首）を傾けた場合には、温度変化が大きな位置として図９（ａ）に示すような動き情報が得られる。この動き情報には、温度変化が大きかった画素の位置情報に加えて、画素の持つ値の符号により、その位置の温度が低温に変化したのか高温に変化したのかの温度変化情報が含まれている。このような動き情報を抽出して、次のステップに進む。
【００２１】
次に、ステップ７（Ｓ７）において、ステップ６（Ｓ６）で作成された差分情報に基づいて、着目する情報で挟まれた差分領域を抽出する（図４の差分領域抽出手段１６）。すなわち、作成された差分情報の中から、所定条件を満たす画素により囲まれた差分領域を抽出する。例えば、図７（ｂ）に示したように運転席乗員３０の頭部３０ａが移動した場合、差分情報として抽出された頭部３０ａの両脇の温度変化は、片側の温度変化が高くなった場合には、その反対側の温度変化は低くなる。この特徴を利用して、頭部３０ａが存在する位置の候補として、図９（ａ）に示すような動き情報があった場合には、図９（ｂ）に示すような差分領域を抽出する。この差分領域の抽出の際、ステップ７（Ｓ７）において、背景温度の方が低温であると判定されている場合には、ｘ座標の小さな方から走査して高温の領域を抽出し、背景温度の方が高温であると判定されている場合には、ｘ座標の小さな方から走査して低温の領域を抽出するものとする。
【００２２】
次に、ステップ８（Ｓ８）において、ステップ７（Ｓ７）で抽出した差分領域に基づいて、該差分領域に所定値を設定し、それ以外の領域には別の所定値を設定することにより差分テンプレートを作成する（図４の差分テンプレート作成手段１７）。例えば、抽出された領域に相当する位置の値を例えば１に設定し、それ以外を０と設定することで、図９（ｃ）に示すような差分テンプレートを作成する。この差分テンプレートは、二次元情報内で乗員の頭部が存在すると思われる候補位置の情報がわかるものであればよく、存在すると思われる領域とそうでない領域の違いがわかれば１や０という値に限定されるものではない。
【００２３】
次に、ステップ９（Ｓ９）において、乗員の動き量に基づいて差分テンプレートの更新処理を行う（図４の差分テンプレート更新手段１８）。図１０（ａ）〜（ｃ）は本実施の形態における差分テンプレートの更新例を示す図である。  
この処理での基本的な考えは、ステップ６（Ｓ６）で抽出された動き情報の量が所定値Ｔｍより大きな場合にはステップ８（Ｓ８）で抽出した差分テンプレートを新たな差分テンプレートとし、動き情報の量が所定値Ｔｍ以下の場合には記憶手段１９に記憶されている前回の差分テンプレート（図１０（ａ）に相当）に、ステップ８（Ｓ８）で抽出した今回の差分テンプレート（図１０（ｂ）に相当）を追加（両テンプレートのＯＲ演算）して、新たな差分テンプレート（図１０（ｃ）に相当）とするものである。なお、本実施の形態では、動き情報の量に基づいた差分テンプレートの更新について記載したが、この処理に加えて、抽出された差分情報の位置に応じて差分テンプレートの更新方法を変更してもかまわない。すなわち、動き情報の位置によって前回の差分テンプレートに追加するかどうかを判定するようにしてもよい。このように差分テンプレートの更新は、ステップ６（Ｓ６）により作成される差分情報の量に応じて、ステップ８（Ｓ８）により作成された前回までの差分テンプレートに、今回の差分テンプレートの情報を追加する処理、または今回の差分テンプレートに全更新する処理のいずれかを選択して行う。そして、この更新された差分テンプレートを記憶手段１９に記憶して次のステップに進む。
【００２４】
次に、ステップ１０（Ｓ１０）において、ステップ５（Ｓ５）で作成されたエッジテンプレートとステップ９（Ｓ９）で作成された差分テンプレートの統合処理を行う（図４のテンプレート統合手段２０）。すなわち、作成されたエッジテンプレートと更新された差分テンプレートとの共通領域を新たな着目領域として抽出し、該共通領域に所定値を設定し、それ以外の領域には別の所定値を設定することによりエッジ情報と差分情報に基づいた統合テンプレートを作成する。図１１は本実施の形態におけるテンプレート統合処理例を示す図である。（ａ）はエッジテンプレート、（ｂ）は差分テンプレート、（ｃ）は統合テンプレートを示す。  
例えば、エッジテンプレートが図１１（ａ）に示すように抽出され、差分テンプレートが図１１（ｂ）に示すように抽出されている場合、両テンプレートの論理積演算を行うことにより、共通領域を図１１（ｃ）に示す乗員位置参照統合テンプレートとして抽出する（図５の共通領域抽出手段２０１）。
【００２５】
次に、ステップ１１（Ｓ１１）において、ステップ１０（Ｓ１０）で作成された共通領域に個別のラベル番号を付ける乗員位置参照テンプレートのラベリング処理を行う（図５のラベル番号付け手段２０２）。図１２（ａ）、（ｂ）は本実施の形態におけるラベルの更新例を示す図である。  
図１１（ｃ）に示した例では、抽出された領域が１つであるので問題ないが、例えば乗員が眼鏡をかけているような場合には、図１２（ａ）に示すように額領域と顔の下部領域が分離してしまう。このような場合には、それぞれの領域に異なるラベル番号を付ける。
【００２６】
次に、ステップ１２（Ｓ１２）において、ステップ１１（Ｓ１１）でラベル番号付けされた領域に対して、リラベリング処理を行う（図５のラベル番号更新手段２０３）。例えば、乗員が眼鏡をかけているような場合には、上述のごとく図１２（ａ）に示したように額領域と顔の下部領域が分離してしまうが、本来この分離された領域は同一乗員の顔情報なので、同じものとして扱う方が望ましい。したがって、図１２（ｂ）に示すように、各共通領域の水平方向の成分が垂直方向に共通な部分がある領域は同一対象であると判断して、異なるラベル番号が付いている領域を同じラベル番号にする。このように、付けられたラベル番号に基づいて、各共通領域の水平方向の成分が垂直方向に共通な領域は同一対象であると判断し、同一のラベル番号となるようにラベル番号を更新する。以上の処理により、ラベル番号付けされた乗員位置参照テンプレートを作成して次のステップに進む。
【００２７】
次に、ステップ１３（Ｓ１３）において、ステップ１０（Ｓ１０）により取得された位置情報とステップ２（Ｓ２）により取得された画像からの温度情報に基づいて、乗員情報を算出して出力する。すなわち、ステップ１２（Ｓ１２）で作成された図１１（ｃ）に示す乗員位置参照統合テンプレートに基づいて、ステップ２（Ｓ２）で得られた二次元熱画像情報から温度情報を参照し、例えば乗員の有無および頭部位置、および顔の代表温度を乗員情報として抽出する（図４の乗員情報抽出手段２１）。具体的には、乗員位置参照統合テンプレートを走査して、ラベル番号ごとに値が１となっている画素位置の温度を二次元熱画像情報から読み出し、ラベル番号ごとの平均温度を算出する。そして、再度乗員位置参照統合テンプレートを走査して、値が１となっている画素位置の温度をラベル番号ごとに二次元熱画像情報から読み出し、この平均値よりも高い温度情報を乗員情報抽出用情報とする。この処理で抽出された情報の平均値を求め、例えば動き情報が過去にあって、かつ、平均温度が所定範囲内である場合には乗員がいると判断し、そうでない場合は乗員がいないと判断する。さらに、乗員がいると判断された場合には、例えば乗員抽出用情報の分布の重心位置を乗員の頭部位置として抽出し、乗員抽出用情報の平均値を乗員の代表温度として抽出する。このような乗員情報を抽出して次のステップに進む。なお、乗員情報の抽出は、乗員の有無、乗員の位置、乗員の顔温度の少なくとも一つを抽出する。
【００２８】
最後に、ステップ１４（Ｓ１４）において、ステップ１３（Ｓ１３）で抽出された乗員情報を、モニタ３、エアバッグ制御装置４、エアコン制御装置５等の後続の装置へ出力した後にステップ２（Ｓ２）に戻り、以下同様の処理を繰り返す。
【００２９】
以上説明したように本実施の形態の乗員検出装置および方法は、車室内の温度分布を表わす熱画像情報を含む画像を取得し、この画像を用いてエッジ情報を作成し、このエッジ情報のうち、所定条件を満たす画素により囲まれたエッジ領域に所定値を設定し、それ以外の領域には別の所定値を設定してエッジテンプレートを作成し、取得した前回の画像と今回の画像との差分をとって差分情報を作成し、この差分情報のうち、所定条件を満たす画素により囲まれた差分領域に所定値を設定し、それ以外の領域には別の所定値を設定して差分テンプレートを作成し、この差分テンプレートを更新し、エッジテンプレートと更新した差分テンプレートとの共通領域に所定値を設定し、それ以外の領域には別の所定値を設定してエッジ情報と差分情報に基づいた統合テンプレートを作成し、統合テンプレートにおける位置情報と画像からの温度情報に基づいて、乗員情報を算出して出力するようになっている。上記従来技術が時間の異なる２枚の原画像を用いて、エッジ画像を作成してからエッジ画像の差分画像を作成して位置検出を行うのに対して、本発明では、時間の異なる２枚の原画像を用いて、エッジ画像と原画像の差分画像をそれぞれ作成して、整合性判断を行ってから位置検出を行う。このように境界情報を抽出するエッジ処理と動き情報を抽出する差分処理との両方から、乗員が存在する領域を特定し、撮像した画像情報から乗員情報を検出するようにしているので、頭部以外の動きがあった場合にその動きに影響されることなく、乗員の有無を確実に検出することが可能である。また、動き情報が発生しない初期状態や短時間動き情報がない場合でも、その都度エッジ処理により位置が特定できるため、乗員の有無を確実に検出することが可能である。つまり、動き情報がない場合に前回の出力を保持するのではなく、毎回結果が得られる。そして、この乗員の有無の出力信号により、乗員の有無に基づいたエアバッグ展開のオン、オフの制御や空調吹出し口の制御を行うことが可能である。
【００３０】
また、抽出された各領域において、垂直方向に見たときに重なる部分がある領域は同一対象の情報として扱うようにしているので、例えば眼鏡をかけた乗員の顔領域が上下で二つに分割されていたとしても同一の情報として抽出することが可能である。  
また、乗員の頭部位置を算出して出力するようにしているので、乗員の頭部位置に基づいたエアバッグの展開力制御や空調の吹出し口および吹出し方向制御を行うことが可能である。  
また、熱画像情報を取得して、この温度情報に基づいて乗員情報を抽出するようにしているので、乗員と荷物との判断を容易に行うことが可能である。  
また、背景の温度分布に基づいて、乗員の動きを検出する温度変化状態の組み合わせや、境界検出時のエッジ符号の組み合わせを変更するようにしているので、車室内の温度が乗員の表面温度よりも高い場合や低い場合にかかわらず、乗員の位置や動きを安定して検出することが可能である。  
さらに、乗員の代表温度を算出して出力するようにしているので、乗員の温感に基づいた空調の温度制御を行うことが可能である。
【００３１】
上記のような効果があるので、対象の境界を抽出するエッジ処理と対象の動きを抽出する差分処理によって乗員の存在する領域を特定して、その領域に相当する位置の画像情報に基づいて乗員状態を抽出するようにすることにより、乗員の動きにかかわらず乗員の存在、位置、温度等の状態が検出可能な装置および方法を提供することができる。  
なお、以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態の乗員検出装置のハードウェアを示す構成図である。
【図２】（ａ）は本発明の実施の形態におけるカメラの取り付け状態を示す側面図、（ｂ）は上面図である。
【図３】本発明の実施の形態における撮像領域を示す図である。
【図４】本発明の実施の形態の乗員検出装置を機能的に表現した機能ブロック図である。
【図５】図４のテンプレート統合手段の内容を示す機能ブロック図である。
【図６】本発明の実施の形態の乗員検出装置および方法における処理の流れを示すフローチャートである。
【図７】本発明の実施の形態における乗員の動きについて説明するための図で、（ａ）は時刻Ｔ−１における車室内の温度画像、（ｂ）は時刻Ｔで頭を傾けた場合を示す図である。
【図８】本発明の実施の形態におけるエッジテンプレートの作成例を示す図で、（ａ）はエッジ処理、（ｂ）は領域テンプレート、（ｃ）はエッジテンプレートを示す図である。
【図９】本発明の実施の形態における差分テンプレートの作成例を示す図で、（ａ）は差分処理、（ｂ）は領域テンプレート、（ｃ）は差分テンプレートを示す図である。
【図１０】（ａ）〜（ｃ）は本発明の実施の形態における差分テンプレートの更新例を示す図である。
【図１１】本発明の実施の形態におけるテンプレート統合処理例を示す図で、（ａ）はエッジテンプレート、（ｂ）は差分テンプレート、（ｃ）は統合テンプレートを示す図である。
【図１２】（ａ）、（ｂ）は本発明の実施の形態におけるラベルの更新例を示す図である。
【符号の説明】
【００３３】
１…ＩＲカメラ                    ２…マイクロコンピュータ
３…モニタ                        ４…エアバッグ制御装置
５…エアコン制御装置
１１…撮像手段                    １２…エッジ情報作成手段
１３…エッジ領域抽出手段          １４…エッジテンプレート作成手段
１５…差分情報作成手段            １６…差分領域抽出手段
１７…差分テンプレート作成手段    １８…差分テンプレート更新手段
１９…記憶手段                    ２０…テンプレート統合手段
２１…乗員情報抽出手段
３０…運転席乗員                ３０ａ…運転席乗員の頭部
３１…サイドガラス                ３２…リアガラス
３３…天井
２０１…共通領域抽出手段          ２０２…ラベル番号付け手段
２０３…ラベル番号更新手段
【図１】
2005301719.tif 000003
【図２】
2005301719.tif 000004
【図３】
2005301719.tif 000005
【図４】
2005301719.tif 000006
【図５】
2005301719.tif 000007
【図６】
2005301719.tif 000008
【図７】
2005301719.tif 000009
【図８】
2005301719.tif 000010
【図９】
2005301719.tif 000011
【図１０】
2005301719.tif 000012
【図１１】
2005301719.tif 000013
【図１２】
2005301719.tif 000014