(57)【要約】  【課題】乗員と座席との温度差が小さい場合でも、比較的少ない演算処理で両者を識別し、確実に乗員の存否や位置を検出できる乗員位置検出装置を提供する。  【解決手段】ヘッドレスト１３の位置を検出し、ヘッドレスト１３と乗員の頭との境界となるヘッドレスト表面ライン位置を求め、赤外線カメラにより撮影された画像から前記ヘッドレスト表面ライン位置にエッジを抽出できるように、輝度弁別閾値Ｔｅを調整し、また、前記ヘッドレスト表面ライン位置に対して所定の相対幾何学位置に既知の顔面ラインパターンの物標を抽出できるように、前記輝度弁別閾値Ｔｅから所定量だけ輝度弁別閾値を調整し、調整された輝度において抽出された顔面ラインの中から、乗員モデル形状の各部形状の物標（例えば顔面中の鼻の位置）を抽出するように構成した乗員位置検出装置。【選択図】図６
2005049253.tif 000002
【特許請求の範囲】
【請求項１】
車室内の乗員の着座位置を検出する装置であって、
座席および乗員の着座姿勢を撮像する赤外線カメラと、
座席の位置を検出する座席位置検出手段と、
前記座席位置検出手段の情報に基づいて座席と乗員との境界となる表層線位置を求める表層線演算手段と、
前記表層線演算手段の演算結果に基づいて、前記赤外線カメラにより撮影された画像から前記表層線位置に輝度弁別線を抽出できるように、輝度弁別閾値を調整する第１の輝度弁別閾値調整手段と、
前記表層線位置に対して所定の相対幾何学位置に、予め定められた乗員モデル形状の物標を抽出できるように、前記第１の輝度弁別閾値調整手段で求めた輝度弁別閾値から所定量だけ輝度弁別閾値を調整する第２の輝度弁別閾値調整手段と、
前記第２の輝度弁別閾値調整手段により調整された輝度弁別閾値において画像上に抽出された画像パターンの中から、乗員モデル形状の各部形状の物標を抽出する乗員抽出手段と、
を備えたことを特徴とする乗員位置検出装置。
【請求項２】
前記乗員抽出手段は、乗員の顔部を抽出する顔部抽出手段と、前記乗員の顔部の垂直方向位置を判別する顔位置判別手段と、を備えたことを特徴とする請求項１に記載の乗員位置検出装置。
【請求項３】
前記赤外線カメラにより取得された画像の所定領域の輝度値から室内温度を検出する温度検出手段を備え、前記各手段における処理を、前記温度検出手段の検出結果において乗員と座席との温度差が所定値以下の場合にのみ行わせることを特徴とする請求項１または請求項２に記載の乗員位置検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の座席における乗員の有無や位置を検出する乗員位置検出装置に関する。
【背景技術】
【０００２】
最近、車両の乗員の安全を確保するため、非常時にエアバッグを展開させて乗員の身体を保護するエアバッグ装置が実用化されている。  
上記のようなエアバッグ装置では、車両の乗客席（運転者席の隣の席、いわゆる助手席）に乗員が存在しない場合は、エアバッグを展開させる必要が無く、また、身体の小さな子供（例えば６才程度の大きさ以下の子供）の場合には、非常時にエアバッグを展開しても身体の保護効果が発揮されない可能性もあるため、車両の座席に所定以上の大きさの乗員が存在するか否かを検知する必要がある。  
そのため、下記特許文献１に記載のように、赤外線センサを用いて、車室内の温度を検出し、乗員と背景（例えば座席のヘッドレスト）との温度差から乗員の有無、位置を検出する装置が開発されている。しかし、一般に赤外線センサは車室内で想定される温度範囲、例えば０〜５０℃を検出できるような測定レンジに設定されているので、車室内の温度が高く、乗員の体温に近い場合には、乗員とヘッドレストとの微小な温度差を区別することは出来なかった。そのため上記従来例では、乗員と背景との温度差が小さい場合、つまり車室内の温度が体温に近い場合には、乗員を検出することが困難となるので、ドアの開閉、車外映像、乗員の動き、顔の温度推定等を補助機能として用いることにより乗員検出性能を向上させる。
【０００３】
【特許文献１】特開平１１−２９５４４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記のような従来例においては、乗員と背景との温度差を高精度で判別するものではなく、上記のような補助手段を用いて識別補助を行っているので、補助手段が適用できないような場合には、乗員と背景との分離が困難であった。  
本発明は上記のごとき問題を解決するためになされたものであり、乗員と座席との温度差が小さい場合でも、比較的少ない演算処理で両者を識別し、確実に乗員の存否や位置を検出することのできる乗員位置検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１においては、座席（例えばヘッドレスト）の位置を検出し、座席と乗員（例えばヘッドレストと頭）との境界となる表層線位置（例えばヘッドレスト表面ライン位置）を求め、赤外線カメラにより撮影された画像から前記表層線位置に輝度弁別線（エッジ）を抽出できるように、輝度弁別閾値（Ｔｅ）を調整し、また、前記表層線位置に対して所定の相対幾何学位置に既知の乗員モデル形状（例えば顔面ラインパターン）の物標を抽出できるように、前記輝度弁別閾値Ｔｅから所定量だけ輝度弁別閾値を調整し、調整された輝度弁別閾値において抽出された画像パターン（例えば顔面ライン）の中から、乗員モデル形状の各部形状の物標（例えば顔面中の鼻の位置）を抽出するように構成している。
【発明の効果】
【０００６】
単純形状の表層線（ヘッドレスト表面ラインのエッジ線）を抽出し、表層線を抽出することが可能な輝度弁別閾値（Ｔｅ）から顔面ラインパターンを検出するための第２の輝度弁別閾値を算出しているので、処理の効率化が図られ、処理時間、コスト面で有利となる。そのため室温と顔温度とが接近している高温下でも、乗員の顔を素早く検出し、乗員の有無の判断と乗員の位置（例えば鼻の位置）を検出することが出来るので、大人か子供かの判断を正確に行うことが可能になり、エアバッグ等の展開可否判断が可能となる。
【発明を実施するための最良の形態】
【０００７】
図１は、本発明の一実施例の機能ブロック図である。  
図１において、赤外線カメラ１は、車室内の座席（この場合は運転席の隣の乗客席、いわゆる助手席）に着座した乗員を横位置から撮像するように設置されている。具体的には、例えばフロントガラスとサイドガラスとの間にあるＡピラー（運転席の斜め前方にある柱）に取り付ける。乗員位置演算手段２は赤外線カメラ１で撮像した画像から乗員の位置を演算する。乗員判別手段３は乗員位置演算手段２の演算結果から乗員の有無および乗員の種別（大人か子供か）を判定する。乗員判別手段３の判定結果はエアバッグ制御装置等に送られ、エアバッグ展開を行うか否かの判断に利用される。  
上記の乗員位置演算手段２と乗員判別手段３は、例えばマイクロコンピュータ等で構成される。
【０００８】
図２〜図５は、本実施例における演算内容を示すフローチャートである。図２〜図５において、（Ａ）〜（Ｇ）はそれぞれ同符号の個所で接続されるものとする。  
図２において、ステップＳ１で電源が投入されると、ステップＳ２でシートバックの倒れ角θおよび距離Ｄを読み込む。倒れ角θおよび距離Ｄは図６に示すような関係にある。なお、距離Ｄは既知の値であり、倒れ角θは角度センサの値を読み込む。
【０００９】
図６は、座席および着座した乗員を横位置から見た図であり、（ａ）は全体の図形、（ｂ）は各符号の位置関係を示す。図６に示すように、座席は下部のシート１１、シートバック（背当て部）１２およびヘッドレスト１３からなる。ただし、シートバックが乗員の頭位置まである、いわゆるハイバックシートのようにヘッドレスト１３が無い場合もある。図示のごとく、倒れ角θはシートバックの水平方向からの角度である。また、距離Ｄはシートバックの支持部（下端部）から基準位置Ｄ０までの距離である。なお、基準位置Ｄ０は座席の後ろ側の適当な位置に設定する。
【００１０】
次に、図２のステップＳ３では、ヘッドレスト１３の表面ラインＨ１の位置（ヘッドレストに乗員の頭が接する位置）を計算する。図６に示したように、シートバックの最上位置Ｄ１は既知の距離Ｄと検出した倒れ角θから算出することが出来、また、ヘッドレストの厚さＷが既知であることから、基準位置Ｄ０を基準とした表面ラインＨ１の位置が算出できる。
【００１１】
次に、ステップＳ４では、赤外線カメラ１の画像を取り込む。  
次に、ステップＳ５では、赤外線カメラ１の画像についてヘッドレスト１３の領域を計算する。  
次に、ステップＳ６では、赤外線カメラ１の画像からヘッドレストの領域を抽出し、その平均温度Ｔ１を検出する。  
次に、ステップＳ７では、赤外線カメラ１の画像を２値化する際の閾値Ｔ２を平均温度Ｔ１から順次上昇させる。この温度刻みは１回の演算周期ごとに例えば０.１℃ずつ上昇させる。
【００１２】
次に、図３のステップＳ８では、２値化された画像に表れるエッジ（温度境界ライン）がステップＳ３で求めたヘッドレストの表面ラインとほぼ一致するか否かを判断する。つまり、ステップＳ３で求めたヘッドレスト表面ラインの位置に温度境界ライン（ヘッドレストと髪の毛との境界）が現れるように、閾値Ｔ２の値を微小ずつ変化させ、水平方向の１画素差分によりエッジ線を抽出し、ハフ変換によりエッジ線の存在式を計算する。その存在式においてヘッドレスト表面ラインの式との係数差が所定値以下であれば、エッジ線ありと判断する。
【００１３】
ステップＳ８でヘッドレスト表面ラインと一致するエッジが検出された場合（ＹＥＳ）には、ステップＳ１３へ行き、エッジを抽出した際の閾値をＴｅとして保存する。  
ステップＳ８でヘッドレスト表面ラインと一致するエッジが検出されなかった場合（ＮＯ）には、ステップＳ９でＴ２がＴ１＋３℃以上になった否かを判別する。ＮＯの場合、つまり温度上昇が未だ３℃に達しない場合には、図２のステップＳ７へ戻り、温度を順次上昇させる。Ｔ２がＴ１＋３℃以上になった場合（ＹＥＳ）には、ステップＳ１０に行き、今度は赤外線カメラ１の画像を２値化する際の閾値Ｔ２を平均温度Ｔ１から順次下降させる。この温度刻みは１回の演算周期ごとに例えば０.１℃ずつ下降させる。
【００１４】
次に、ステップＳ１１では、再び２値化された画像に表れるエッジ（温度境界ライン）がステップＳ３で求めたヘッドレストの表面ラインとほぼ一致するか否かを判断する。  
ステップＳ１１でヘッドレスト表面ラインと一致するエッジが検出された場合（ＹＥＳ）には、ステップＳ１３へ行き、エッジを抽出した際の閾値をＴｅとして保存する。ヘッドレスト表面ラインと一致するエッジが検出されなかった場合（ＮＯ）には、ステップＳ１２でＴ２がＴ１−３℃以下になった否かを判別する。ＮＯの場合、つまり温度下降が未だ３℃に達しない場合には、ステップＳ１０へ戻り、温度を順次下降させる。温度下降が３℃に達した場合（ＹＥＳ）は、エッジが無かったもの、つまり乗員が存在しなかったものでとして図２のステップＳ２へ戻る。  
上記のように、平均温度から±３℃の範囲で閾値を少しずつ（例えば０.１℃刻み）変化させることにより、ヘッドレストの表面ラインを精密に検出することが出来る。
【００１５】
次に、ステップＳ１４では、顔面ラインパターンを読み込む。この顔面ラインパターンは、図１０に示すように、一般的な顔面（横顔）の外形ラインの形状と大きさをパターン化してテンプレートに記憶しておいたものである。
【００１６】
次に、図４のステップＳ１５では、赤外線カメラ１の画像を２値化する際の閾値Ｔ３をエッジを抽出した際の閾値Ｔｅから順次上昇させる。この温度刻みは１回の演算周期ごとに例えば０.１℃ずつ上昇させる。なお、この際、下限の閾値はＴ２に固定しておく。  
次に、ステップＳ１６では、２値化された画像に表れるエッジ（温度境界ライン）がステップＳ１４で読み込んだ顔面ラインパターンにほぼ一致するか否かを判断する。この方法は前記ステップＳ８と同様である。
【００１７】
ステップＳ１６で顔面ラインパターンと一致するエッジが検出された場合（ＹＥＳ）には、図５のステップＳ２１へ行く。顔面ラインパターンと一致するエッジが検出されなかった場合（ＮＯ）には、ステップＳ１７〜２０で、前記と同様に、閾値Ｔｅから±３℃の範囲で閾値を少しずつ（例えば０.１℃刻み）変化させ、エッジを検出する。そしてエッジが検出された場合は図５のステップＳ２１へ行き、エッジが検出されなかった場合、つまり乗員が存在しなかった場合は図２のステップＳ２へ戻る。
【００１８】
次に、ステップＳ２１では、鼻の頂点座標Ｎｍａｘを検出する。これは検出されたエッジのうち、顔面ラインパターンで鼻の形状に相当する突出した形状の頂点の座標を検出する。  
次に、ステップＳ２２では、基準位置Ｄ０と鼻の頂点座標Ｎｍａｘとの垂直方向の距離Ｈｍａｘを検出する。これはほぼシート面から鼻の位置までの高さに相当し、乗員の背丈の大きさに対応する。  
次に、ステップＳ２３では、Ｈｍａｘが７０ｃｍ以上か否かを判断する。  
ステップＳ２３でＹＥＳの場合は、ステップＳ２４で乗員が大人であると判断する。ＮＯの場合にはステップＳ２５で乗員が子供であると判断し、ステップＳ２６でエアバッグ展開禁止信号をエアバッグ制御装置へ送出する。
【００１９】
なお、これまで説明した処理は、ヘッドレストと人体との温度差が小さく、識別が困難な場合に必要な処理であるから、例えばヘッドレスト平均温度が３５度±３℃の場合にのみに行う。それ以外の状態、つまりヘッドレストと人体との温度差が大きい場合は、乗員の検出は容易であるから、一般的な２値化処理を行う。
【００２０】
ここで図６〜図１０について説明する。  
図６（ａ）は、助手席の乗員を運転席Ａピラーに設置した赤外線カメラにより撮影した図であり、この場合には乗員の目は赤外線カメラでは写らない。  
また、図６（Ｂ）は、各符号の位置関係を示す図である。図６（Ｂ）に示すように、基準位置Ｄ０と倒れ角θからシートバックの最上位置Ｄ１を算出する。そしてＤ１とヘッドレスト厚みＷ１よりヘッドレスト表面ライン位置Ｈ１を計算する。
【００２１】
図７は、通常の測定レンジ設定の赤外線カメラで撮像した画像例を示す図である。図示のように、例えばヘッドレストと乗員の頭（髪の毛）との温度差が０.５℃のように極めて近い場合には、赤外線カメラの測定レンジを一般的な車両の室内温度である０℃から５０℃に設定していると、全て同じ値になり区別がつかない。
【００２２】
図８は、前記ステップＳ８〜Ｓ１２における処理例を示す図であり、例えば閾値Ｔ１＋０.３℃の場合にはエッジが現われず、閾値Ｔ１＋０.５℃でエッジが現われた場合を示している。
【００２３】
図９は、ステップＳ７〜ステップＳ１３の処理によって抽出されたエッジ線の右側所定領域（頭存在可能領域）の中に、予め記憶された顔面ラインテンプレートの形状、大きさに等しいパタンが存在するか否かを探索する処理（ステップＳ１４〜Ｓ１９）を示す図である。この場合には、エッジ輝度Ｔｅを起点として±３℃の範囲で輝度値Ｔ３を変化させながら水平１画素微分により顔面エッジを抽出しつつ探索する。
【００２４】
図１０は、抽出された顔面ラインから鼻の頂点座標Ｎｍａｘを計算し、シート基準位置Ｄ０との垂直方向の高さＨｍａｘを計算する処理を示す図である。
【００２５】
上記のように、本実施例においては、単純形状の表層線（ヘッドレスト表面ラインのエッジ線）を抽出し、表層線を抽出することが可能な輝度弁別閾値（Ｔｅ）から顔面ラインパターンを検出するための第２の輝度弁別閾値を算出している。一般に、座席位置から乗員存在領域を限定してその中から表層線同定手段なしに複雑な乗員モデル形状を抽出するのは処理時間が過大となるが、本実施例では、上記のように構成したことにより、処理の効率化が図られ、処理時間、コスト面で有利となる。そのため室温と顔温度とが接近している高温下でも、乗員の顔を素早く検出し、乗員の有無の判断と乗員の位置（例えば鼻の位置）を検出することが出来るので、大人か子供かの判断を正確に行うことが可能になり、エアバッグ等の展開可否判断が可能となる。
【００２６】
また、座席と乗員との温度差が大きい低温時には、本発明のような処理を実施しないでも、低コストロジックで高速に乗員の検出が可能であるから、そのような状態では、通常の処理に切り替えることにより、演算の高速化が可能となり、かつ複雑な口ジックによる誤動作も防止できる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施例の機能ブロック図。
【図２】本発明における乗員位置検出の演算内容を示すフローチャートの一部。
【図３】本発明における乗員位置検出の演算内容を示すフローチャートの他の一部。
【図４】本発明における乗員位置検出の演算内容を示すフローチャートの他の一部。
【図５】本発明における乗員位置検出の演算内容を示すフローチャートの他の一部。
【図６】座席および着座した乗員を横位置から見た図であり、（ａ）は全体の図形、（ｂ）は各符号の位置関係を示す。
【図７】通常のレンジ設定の赤外線カメラで撮像した画像例を示す図。
【図８】ステップＳ８〜Ｓ１２における処理例を示す図。
【図９】抽出されたエッジ線の右側所定領域（頭存在可能領域）の中に、予め記憶された顔面ラインテンプレートの形状、大きさに等しいパタンが存在するか否かを探索する処理を示す図。
【図１０】抽出された顔面ラインから鼻の頂点座標Ｎｍａｘを計算し、シート基準位置Ｄ０との垂直方向の高さＨｍａｘを計算する処理を示す図。
【符号の説明】
【００２８】
１…赤外線カメラ                      ２…乗員位置演算手段
３…乗員判別手段                    １０…シート
１２…シートバック（背当て部）        １３…ヘッドレスト
【図１】
2005049253.tif 000003
【図２】
2005049253.tif 000004
【図３】
2005049253.tif 000005
【図４】
2005049253.tif 000006
【図５】
2005049253.tif 000007
【図６】
2005049253.tif 000008
【図７】
2005049253.tif 000009
【図８】
2005049253.tif 000010
【図９】
2005049253.tif 000011
【図１０】
2005049253.tif 000012