(57)【特許請求の範囲】
【請求項１】
車両のエアバッグ装置の制御に用いるため、乗員の状態を検出する装置であって、
被写体を撮像する撮像手段と、前記撮像手段からの画像信号からエッジ画像を抽出する抽出手段とを備えた被写体の検出装置であり、
同一被写体について時間差をもって撮像された画像信号から抽出される第１の前記エッジ画像と第２の前記エッジ画像との差分画像を形成する形成手段と、
前記形成された差分画像に基づいて、少なくとも乗員の有無、大人子供の区別、および頭部の位置を含む乗員の状態を判定する状態判定手段と、
を備えることを特徴とする乗員の検出装置。
【請求項２】
前記状態判定手段は、前記撮像手段で撮像した画像を小領域ごとに区分してマトリクスを形成するとともに該マトリクスを長方形領域に分割し、該長方形領域における所定のしきい値よりも明るいピクセルの数に基づいて乗員の状態を判定することを特徴とする請求項１に記載の乗員の検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、撮像装置で撮像される被写体を検出する装置に関し、より具体的には被写体の画像から静止部分を削除することにより動きのある被写体を検出する検出装置に関する。
【０００２】
【従来の技術】
近年、自動車などの車両の安全性および快適性を向上させるために、乗員の有無および状態を検出し、その情報に応じた制御を行うことが提案されている。その典型的な例が車両衝突時に作動するエアバッグ装置の制御である。エアバッグ装置は乗員の有無、大人子供などの区別、乗員の座席での姿勢、乗員の頭部の位置などに応じて最適に作動させることが要請されている。
【０００３】
特開平８−２６８２２０号公報には、自動車において複数の乗員検出センサを用いて子供乗員が立っている状態、乗員が手を延ばしている状態などを検出し、その状態に応じてエアバッグの作動を制御することが記載されている。
【０００４】
また、特開平５−１００８４号公報には、自動車において運転者の頭部をＣＣＤ撮像装置で撮像し、特異点までの距離を計算して後頭部の位置を求め、この後頭部の位置に合うようにヘッドレストに位置を自動調整することが記載されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の技術では撮像装置から得られる画像信号から乗員に関係する画像信号だけを取り出すことができないため、複雑な演算を行うにもかかわらず乗員の状態、位置などに関する十分な情報を得ることができない。
【０００６】
したがって、この発明の目的は、撮像装置で得られる画像信号から動きある被写体部分を検出することにある。
【０００７】
また、一面においてこの発明の目的は、車両の乗員の状態に関する十分な情報を得る被写体検出装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため請求項１に記載の発明の被写体検出装置は、被写体を撮像する撮像手段と、撮像手段からの画像信号からエッジ画像を抽出する抽出手段とを備えた被写体の検出装置であり、同一被写体について時間差をもって撮像された画像信号から抽出される第１の前記エッジ画像と第２の前記エッジ画像との差分画像を形成する形成手段と、形成された差分画像に基づいて被写体の状態を検出する検出手段とを備える。
【０００９】
請求項１の発明によると、時間差をもって撮像された画像信号から抽出した第１のエッジ画像と第２のエッジ画像との差分をとるので、２つの画像の中の静止部分の画像は消去され、動きのある画像部分だけが抽出される。すなわち、エッジ画像に含まれる動きのない背景部分が消去され実質的に動きのある被写体だけに関するエッジ画像が得られる。したがって、効率的に動きのある被写体の状態、位置などに関する情報を得ることができる。
【００１０】
請求項２に記載の発明は請求項１に記載の被写体検出装置であって、検出装置は車両に搭載されるためのものであり、検出手段は、乗員の状態を判定する状態判定手段を備える。
【００１１】
請求項２の発明によると、動きのある被写体である乗員だけに関するエッジ画像が得られ、これに基づいて乗員の状態を判定するので、正確な判定をすることができる。すなわち、乗員は、車両のゆれその他自然な動作により常にわずかながら動いている。これに対し乗員の背景となる座席、ドア、アームレストなどは撮像装置との間に相対的な動きがない。したがって、差分画像形成処理により背景は消去され、実質的に乗員だけに関するエッジ情報が得られ、このエッジ情報に基づいて正確に乗員の状態を判定することができる。
【００１２】
請求項３に記載の発明は請求項１に記載の被写体検出装置であって、車両に搭載されるためのものであり、検出手段は、差分画像の形状から乗員の頭部の位置を判定する頭部位置判定手段を備える。
【００１３】
請求項３の発明によると、実質的に動きのある被写体である乗員だけに関する差分画像の形状から乗員の頭部の位置を判定するので、正確な判定を行うことができる。
【００１４】
【発明の実施の形態】
次に図面を参照して、この発明の実施の形態を車載の乗員検出装置を例として説明する。カメラ１は、典型的には２次元のＣＣＤアレイを用いた撮像装置で、運転席または助手席の乗員を撮影するように車両室内の前方の上方に設置されている。夜間でも使用することができるようにカメラ１の近傍に赤外線光源を設けて撮像領域を非可視光領域の赤外線で照射するようにするのが好ましい。この場合、カメラの前面に実質的にこの照射赤外線だけを通すフィルタを設けることが好ましい。このようなＣＣＤカメラおよび赤外線光源については上述の特開平５ー１００８４号公報に詳しく記載されている。
【００１５】
カメラ１は、ＣＣＤ撮像素子の上に画像を結像させ、電子式走査を行って得られた電気信号をＡ／Ｄ変換（アナログ／ディジタル変換）しディジタル画像信号を得る。このディジタル画像信号は、画素（ピクセル）ごとにその階調を予め決められた数のビットで示す。この例では、ＣＣＤ撮像素子は、白黒画像を形成するが、カラーＣＣＤカメラを用いることもできる。この場合、各ピクセルは、カラーの要素および階調を表すに十分な数のビットで構成される。
【００１６】
画像メモリ２は、カメラ１で形成されたディジタル画像信号（以下画像データという）を格納する。画像メモリ２は、ＤＲＡＭ（ダイナミック・ランダム・アクセス・メモリ）またはＳＲＡＭ（スタチック・ランダム・アクセス・メモリ）のような半導体メモリで構成する。画像メモリ用として市販されているデュアルポートメモリを使用してもよい。
【００１７】
エッジ画像抽出部３は、メモリ２に格納された画像データに対して演算を実行して画像のエッジを抽出する。エッジの抽出方法としていくつかの手法が知られており、この実施例ではSobelフィルタ（Sobelオペレータともいう）を用いてエッジ抽出を実行する。この手法では、３ｘ３画素の矩形近傍を用いた演算を行う。すなわち、画像データのピクセルｆijについてこれと隣合う近傍の８つの画素を含めた３ｘ３画素を取り出し、この３ｘ３画素に対して表１に示す第１のSobelフィルタとの積和演算を実行して元のピクセルｆijに対応するピクセルｇijを得る。この演算をすべてのピクセルについて実行することにより第１の変換画像が得られる。
【００１８】
積和演算は、３ x ３要素のSobel フィルタをｗ（Δｉ,Δｊ）で表すと、次の式で表される。この演算の詳細は、例えば「テレビジョン画像情報工学ハンドブック」テレビジョン学会編、1990年のｐ398−399に記載されている。
【００１９】
【数１】
0004031122.tif 000002
【００２０】
同様の積和演算を表２に示す第２のSobelフィルタについて実行して第２の変換画像を形成し、第１および第２の変換画像の対応するピクセルの絶対値を加算することによりエッジ抽出されたエッジ画像が得られる。第２のSobel フィルタは、第１のSobel フィルタを９０°回転したもので、第１のSobel フィルタが縦方向のエッジ強度を算出し、第２のSobel フィルタが横方向のエッジ強度を算出する。
【００２１】
【表１】
−１  ０  １
−２  ０  ２
−１  ０  １
【００２２】
【表２】
0004031122.tif 000003
【００２３】
図２（ａ）は、カメラ１で撮像された自動車の助手席の画像で子供が着座しているのが見られる。図２（ｂ）は、図１（ａ）の画像に対して上述のエッジ抽出のための演算を実行することによって得られたエッジ画像である。子供の輪郭、シートの輪郭、ドア内側の輪郭などが浮かび上がっている。
【００２４】
こうして得られたエッジ画像はバッファメモリ９に格納される。バッファメモリ９は、画像メモリ２の一部分であってよい。エッジ画像抽出部３は、一定の周期、たとえば３３ミリ秒ごとにエッジ画像を形成し、バッファメモリ９に格納する。
【００２５】
時間差分画像形成部４は、図３（ａ）に示す今回得られたエッジ画像と図３（ｂ）に示す前回に得られたエッジ画像との差をとる。図３（ｂ）のエッジ画像は、図３（ａ）のものよりも３３ミリ秒前に撮像された画像から抽出されたエッジ画像である。
【００２６】
２つの画像からの差分画像は、２つの画像について対応するそれぞれのピクセルの値の差をとることによって形成される。この処理によって２つの画像について等しいピクセルは消去される。したがって、被写体について動きのない部分のエッジ画像は消去され、動きのある部分だけのエッジが差分画像として現れる。こうして差分画像には座席、ドアなどの背景部分のエッジ画像が消え、動きのある乗員のエッジ画像だけが抽出されることになる。
【００２７】
こうして得られる差分画像の各ピクセルについて、２値化部５は、所定のしきい値より明るいピクセルを白ピクセル（ビット１）、所定のしきい値より暗いピクセルを黒ピクセル（ビット０）に分類することによって２値化する。こうして得られる２値化された差分画像を図３（ｃ）に示す。
【００２８】
図４は、単眼ＣＣＤカメラ１と座席シート１１との位置的関係を示す。この実施例では、乗員の状態を検出するため、画像を２００ピクセル ｘ １４０ピクセルの領域で切り出し、この領域を１０ピクセル ｘ １０ピクセルの小領域ごとに区分し、２０ ｘ １４の小領域のマトリクスを形成する。図５は、このような小領域のマトリクスを示す。
【００２９】
ピクセルカウント部７は、図３（ｃ）の２値化された差分画像について小領域ごとに白ピクセルの数をカウントし、所定のしきい値、たとえばマトリクス全体について平均した小領域当たりの白ピクセルの数、と比較し、このしきい値より低い小領域を０、このしきい値より高い小領域を１に分類する。こうして各小領域が１または０に分類される。こうして得られる２０ ｘ １４のマトリクスを図６に示す。
【００３０】
乗員状態判定部８は、図６のマトリクスを図７に示す１から５の５つの長方形領域に分割し、各長方形領域についてビット１の数の合計を計算する。１つの長方形は、図６のマトリクスの４列に相当し、４ ｘ １４ビットからなる。こうして得られた長方形領域１〜５のそれぞれにおけるビット１の数をカウントし、５つの長方形領域におけるビット１の数に基づいて乗員の状態を判定する。
【００３１】
図８は、このような判定を行うアルゴリズムの一例を示す。図８においてＴＨ１〜ＴＨ７は、しきい値で、たとえば次のような値である。ＴＨ１：８、ＴＨ２：２２、ＴＨ３：１１、ＴＨ４：１０、ＴＨ５：１０、ＴＨ６：２０、ＴＨ７：４６。
【００３２】
長方形領域におけるビット１の数は、たとえば１０秒間に測定される値の平均値を用いるようにするのがよい。こうすることにより、判定を安定させることができる。
【００３３】
長方形領域１〜５すべてについてビット１の数がＴＨ１以下のときは、被写体について動きがほとんど検知されていないので、乗員がいないものと判定する（１０２）。長方形領域１、２および５についてビット１の数がＴＨ２以下で、長方形領域３および４についてビット１の数がＴＨ３以下で、かつ長方形領域１、２および５におけるビット１の数がそれぞれ領域３におけるビット１の数より小さいときは（１０３）、シートの中央に多少の動きがあることを示すので、逆向きのチャイルドシート、すなわち座席シートに対面するチャイルドシートが取り付けられていると判定する（１０４）。
【００３４】
長方形領域５におけるビット１の数が領域４のものより大きいか、または領域４におけるビット１の数が領域３におけるビット１の数より大きく、しかも領域５におけるビット１の数がTH４以下であるときは（１０５）、シート前方の動きが多いことを示すので、スタンディング・チャイルドすなわち子供が立っていると判定する（１０６）。
【００３５】
さらに、領域１および５におけるビット１の数がＴＨ５以下で、領域２および４におけるビット１の数がＴＨ６以下であり、かつ領域３におけるビット１の数がＴＨ７以下であるときは（１０７）、全体的に動きがあるけれども少ないので、大人が着座していると判定する（１０８）。これに該当しないときは子供が正常に着座していると判定する（１０９）。
【００３６】
ここにあげた判定手法は、あくまでも１つの例に過ぎず、図３（ｃ）の差分画像が得られると、この画像から乗員の頭、腕などに該当する特定の領域を切り出してその領域における白ピクセルの数に基づいて乗員の状態を判定するなど、多くの手法を考えることができ、これらはすべてこの発明の範囲に含まれる。
【００３７】
次に図１の頭部位置判定部６の機能を説明する。カメラ１で撮像される図９の画像についてエッジ画像抽出部３でエッジ抽出を行い、所定時間をあけて形成した２つのエッジ画像に基づいて時間差分画像形成部４で差分画像を形成し、２値化部で２値化する。こうして形成された差分画像を図１０に示す。
【００３８】
エッジ画像抽出部３によるエッジ抽出のための上述したＳｏｂｅｌフィルタを用いた演算により画像の明るさの不連続点としてのエッジ強度とともにエッジの方向（角度）が得られる。このエッジの方向に垂直に所定の長さ、たとえば模型的な人間の頭の半径程度の長さ、の直線をエッジのピクセルを中心に両方向に引き、その両端にフラグを立てると、頭の中心付近に多数のフラグが集中する。図１１は、こうして得られたフラグの画像で頭の中心部分にフラグが集中していることがわかる。頭部位置判定部６は、この画像を走査してフラグの密度の高い領域を求め、その位置に基づいて乗員の頭の位置を判定する。
【００３９】
以上にこの発明を具体的な実施例に沿って説明したが、この発明はこのような実施例に限定されるものではない。
【００４０】
【発明の効果】
請求項１の発明によると、エッジ画像に含まれる動きのない背景部分が消去され実質的に動きのある被写体だけに関するエッジ画像が得られ、効率的に動きのある被写体の状態、位置などに関する情報を得ることができる。
【００４１】
請求項２の発明によると、動きのある被写体である乗員だけに関するエッジ画像が得られ、これに基づいて乗員の状態を判定するので、正確な判定をすることができる。
【００４２】
請求項３の発明によると、実質的に動きのある被写体である乗員だけに関する差分画像の形状から乗員の頭部の位置を判定するので、正確な判定を行うことができる。
【図面の簡単な説明】
【図１】この発明の一実施例の乗員の状態検出装置の全体的なブロック図。
【図２】ＣＣＤカメラで撮像された画像およびエッジ抽出した画像を示す図面に代わる写真。
【図３】２つのエッジ画像から差分画像を形成する形態を説明する図面に代わる写真。
【図４】カメラと座席シートとの位置関係を示す図。
【図５】画像領域を小領域に区分けする態様を示す図面に代わる写真。
【図６】小領域の２値の分布を示す図。
【図７】画像領域を長方形の領域に区分けする態様を示す図面に代わる写真。
【図８】乗員の状態を判定する手法の一例を示すフローチャート。
【図９】ＣＣＤカメラで撮像されたもう一つの画像を示す図面に代わる写真。
【図１０】図９の画像からエッジ抽出した画像を示す図面に代わる写真。
【図１１】図１０の画像に基づいて頭部検出のためのフラグを立てた状態を示す図面に代わる写真。
【符号の説明】
１      カメラ（撮像手段）
２      画像メモリ（画像記憶手段）
３      エッジ画像抽出部（抽出手段）
４      時間差分画像形成部（形成手段）
６      頭部位置判定部（頭部位置判定手段）
８      乗員状態判定部（状態判定手段）
【図１】
0004031122.tif 000004
【図２】
0004031122.tif 000005
【図３】
0004031122.tif 000006
【図４】
0004031122.tif 000007
【図５】
0004031122.tif 000008
【図６】
0004031122.tif 000009
【図７】
0004031122.tif 000010
【図８】
0004031122.tif 000011
【図９】
0004031122.tif 000012
【図１０】
0004031122.tif 000013
【図１１】
0004031122.tif 000014