(57)【要約】【課題】画像処理の複雑化を抑止しつつ乗員を特定可能な自動車用乗員検出装置を提供すること。【解決手段】エリアイメージセンサ１から出力される画像信号から乗員の頭部輪郭に近似する楕円を検出頭部楕円として抽出し、所定種類の乗員の頭部輪郭に近似する楕円を参考頭部楕円として前記乗員の種類ごとに記憶し、検出頭部楕円に近似する前記参考頭部楕円を頭部楕円候補として選択し、この頭部楕円候補に対応する乗員の種類を現在着座している乗員の種類として決定する。【選択図】図１
2004053324.tif 000002
【特許請求の範囲】
【請求項１】
車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像する少なくとも１個のエリアイメージセンサと、
前記エリアイメージセンサから出力される前記乗員の頭部に関する画像情報に基づいて前記乗員に関する情報である乗員情報を抽出する乗員情報抽出手段と、抽出した前記乗員情報に基づいて車載の衝突安全装置を制御する制御装置と、
を備える自動車用衝突安全制御装置において、
前記乗員情報抽出手段は、
乗員の頭部輪郭に近似するとともに少なくとも一部は楕円形状の線分を有する閉曲線を含むライン形状に関する情報を参考頭部画像情報としてあらかじめ記憶しており、
前記エリアイメージセンサから出力される画像信号から、前記乗員の頭部の外輪郭を意味する頭部輪郭に近似するとともに少なくとも一部は楕円形状の線分を有する閉曲線を含むライン形状に関する情報を検出頭部画像情報として抽出し、
前記検出頭部画像情報と前記参考頭部画像情報との近似の度合いを判定し、
近似の度合いが大きい場合に前記検出頭部画像情報は乗員の頭部に相当すると判定した場合に、前記検出頭部画像情報に含まれる情報を前記乗員情報として前記制御装置に出力することを特徴とする自動車用衝突安全制御装置。
【請求項２】
請求項１記載の自動車用衝突安全制御装置において、
前記検出頭部モデル形状及び参考頭部画像情報は、前記頭部輪郭に近似する楕円形状に関する情報であることを特徴とする自動車用衝突安全制御装置。
【請求項３】
請求項２記載の自動車用衝突安全制御装置において、
前記衝突安全装置は、エアバッグ装置であることを特徴とする自動車用衝突安全制御装置。
【請求項４】
請求項２記載の自動車用衝突安全制御装置において、
前記乗員情報抽出手段は、
種々の乗員の種類に対応する多数の参考頭部画像情報を記憶し、
前記検出頭部画像情報と前記参考頭部画像情報との比較により抽出した最も近似する前記参考頭部画像情報に相当する前記乗員の種類を今回の乗員の種類と判定することを特徴とする自動車用衝突安全制御装置。
【請求項５】
請求項２記載の自動車用衝突安全制御装置において、
前記乗員情報抽出手段は、前記検出頭部画像情報と前記参考頭部画像情報との近似の度合いが小さい場合に、空席と判定することを特徴とする自動車用衝突安全制御装置。
【請求項６】
請求項２記載の自動車用衝突安全制御装置において、
前記乗員情報抽出手段は、判定した前記乗員の頭部に相当する前記検出頭部画像情報の前後方向位置を、前記乗員情報として抽出することを特徴とする自動車用衝突安全制御装置。
【請求項７】
請求項２記載の自動車用衝突安全制御装置において、
前記乗員情報抽出手段は、乗員の頭部であると判定した前記検出頭部画像情報を、次回もしくは今後の前記検出頭部画像情報との近似度合い判定に用いる前記参考頭部画像情報として採用することを特徴とする自動車用衝突安全制御装置。
【請求項８】
請求項２記載の自動車用衝突安全制御装置において、
前記乗員情報抽出手段は、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍を次回の検出頭部画像情報の抽出において優先処理することを特徴とする自動車用衝突安全制御装置。
【請求項９】
請求項８記載の自動車用衝突安全制御装置において、
前記乗員情報抽出手段は、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍のみを次回の検出頭部画像情報の抽出において処理することを特徴とする自動車用衝突安全制御装置。
【請求項１０】
請求項９記載の自動車用衝突安全制御装置において、
前記乗員情報抽出手段は、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍のみを次回の検出頭部画像情報の抽出において優先処理したにもかかわらず前記検出頭部画像情報を抽出できなかった場合、次回の検出頭部画像情報の抽出において全ての画像領域を処理することを特徴とする自動車用衝突安全制御装置。
【請求項１１】
請求項８記載の自動車用衝突安全制御装置において、
前記乗員情報抽出手段は、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍のみを次回の検出頭部画像情報抽出において優先処理したにもかかわらず前記検出頭部画像情報を抽出できなかった場合、続いて全ての画像領域を処理して前記検出頭部画像情報を抽出することを特徴とする自動車用衝突安全制御装置。
【請求項１２】
請求項２記載の自動車用衝突安全制御装置において、
前記乗員情報抽出手段は、
前記楕円形状に関する情報として、楕円の形状、位置に関する数値パラメータの比較により前記近似の度合いを判定することを特徴とする自動車用衝突安全制御装置。
【請求項１３】
請求項２記載の自動車用衝突安全制御装置において、
前記エリアイメージセンサは、
前記座席の側方に配置されていることを特徴とする自動車用衝突安全制御装置。
【請求項１４】
請求項２記載の自動車用衝突安全制御装置において、
前記エリアイメージセンサは、
前記座席の互いに異なる側方に別々に配置されていることを特徴とする自動車用衝突安全制御装置。
【請求項１５】
請求項２記載の自動車用衝突安全制御装置において、
前記エリアイメージセンサは、
前記座席の側方と前記座席の前方に配置されて前記座席の上方空間を撮像することを特徴とする自動車用衝突安全制御装置。
【請求項１６】
請求項２記載の自動車用衝突安全制御装置において、
前記エリアイメージセンサは、
前記座席の前方に配置された立体視測距用の一対のエリアイメージセンサの少なくとも一つにより構成されていることを特徴とする自動車用衝突安全制御装置。
【請求項１７】
請求項２記載の自動車用衝突安全制御装置において、
前記エリアイメージセンサと前記乗員との間の距離を計測する測距手段を備え、
前記乗員情報抽出手段は、計測した前記距離に基づいて前記乗員情報の検出精度の向上のための処理を行うことを特徴とする自動車用衝突安全制御装置。
【請求項１８】
車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像する少なくとも１個のエリアイメージセンサと、
前記エリアイメージセンサから出力される前記乗員の頭部に関する画像情報に基づいて前記乗員に関する情報である乗員情報を抽出する乗員情報抽出手段と、
抽出した前記乗員情報に基づいて車載の衝突安全装置を制御する制御装置と、
を備える自動車用衝突安全制御装置において、
乗員の頭部に関する画像情報を参考頭部画像情報としてあらかじめ記憶しており、
前記エリアイメージセンサから出力される画像信号から前記乗員の頭部に対応する情報を検出頭部画像情報として抽出し、
前記検出頭部画像情報と前記参考頭部画像情報との近似の度合いを判定し、
近似の度合いが大きい場合に前記検出頭部画像情報は乗員の頭部に相当すると判定した場合に、前記検出頭部画像情報に含まれる情報を前記乗員情報として前記制御装置に出力し、
乗員の頭部であると判定した前記検出頭部画像情報を、次回もしくは今後の前記検出頭部画像情報との近似度合い判定に用いる前記参考頭部画像情報として採用することを特徴とする自動車用衝突安全制御装置。
【請求項１９】
車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像する少なくとも１個のエリアイメージセンサと、
前記エリアイメージセンサから出力される前記乗員の頭部に関する画像情報に基づいて前記乗員に関する情報である乗員情報を抽出する乗員情報抽出手段と、抽出した前記乗員情報に基づいて車載の衝突安全装置を制御する制御装置と、
を備える自動車用衝突安全制御装置において、
乗員の頭部に関する画像情報を参考頭部画像情報としてあらかじめ記憶しており、
前記エリアイメージセンサから出力される画像信号から前記乗員の頭部に対応する情報を検出頭部画像情報として抽出し、
前記検出頭部画像情報と前記検出頭部画像情報との近似の度合いを判定し、
近似の度合いが大きい場合に前記検出頭部画像情報は乗員の頭部に相当すると判定して前記乗員情報として前記制御装置に出力し、
前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍を次回の検出頭部画像情報の抽出において優先処理することを特徴とする自動車用衝突安全制御装置。
【請求項２０】
請求項１９記載の自動車用衝突安全制御装置において、
前記乗員情報抽出手段は、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍のみを次回の検出頭部画像情報の抽出において処理することを特徴とする自動車用衝突安全制御装置。
【請求項２１】
請求項２０記載の自動車用衝突安全制御装置において、
前記乗員情報抽出手段は、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍のみを次回の検出頭部画像情報抽出において優先処理したにもかかわらず前記検出頭部画像情報を抽出できなかった場合、次回の検出頭部画像情報の抽出において全ての画像領域を処理することを特徴とする自動車用衝突安全制御装置。
【請求項２２】
請求項１９記載の自動車用衝突安全制御装置において、
前記乗員情報抽出手段は、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍のみを次回の検出頭部画像情報抽出において優先処理したにもかかわらず前記検出頭部画像情報を抽出できなかった場合、続いて全ての画像領域を処理して前記検出頭部画像情報を抽出することを特徴とする自動車用衝突安全制御装置。
【請求項２３】
請求項１８又は１９記載の自動車用衝突安全制御装置において、
前記エリアイメージセンサは、
立体視測距用の一対のエリアイメージセンサの少なくとも一つにより構成されていることを特徴とする自動車用衝突安全制御装置。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、乗員頭部検出機能を有する自動車用衝突安全制御装置に関する。
【０００２】
【従来の技術】
従来より、大人、子供といった乗員の種類に応じて車両衝突時のエアバッグ展開制御モードを変更させる技術が知られている。また、人間の顔部をカラーエリアイメージセンサにより撮像し、得た画像信号から肌色の色度情報をもつ画像領域を顔画像情報として抽出し、この顔画像情報に基づいて人間の頭部を抽出することも提案されている。
【０００３】
また、同様の手法により取得した顔の細部形状パターン（顔の造作）を顔画像情報として抽出し、この顔画像情報に基づいて乗員の頭部を抽出することも提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、肌色の画像領域により人間を特定する場合、人種により顔の色が大幅に異なるため、実用化が容易ではなかった。
【０００５】
また、眼、鼻、口、耳などの細部形状パターンにより乗員を特定する場合、眼鏡やマスクなどの装着がノイズとなる他、エリアイメージセンサに対する顔の向きが異なると顔の細部形状パターンが大幅に変化するため画像処理が複雑化してしまい、更に顔の向きによっては顔の細部形状パターンを良好に判別できないという問題があった。特に、たとえば車両用の乗員特定装置としては処理時間の短縮のために演算規模の抑制が重要である。
【０００６】
本発明は上記問題に鑑みなされたものであり、画像処理の複雑化を抑止しつつ乗員を特定可能な自動車用衝突安全制御装置を提供することをその目的としている。
【０００７】
【課題を解決するための手段】
請求項１記載の第一発明の自動車用衝突安全制御装置は、車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像する少なくとも１個のエリアイメージセンサと、前記エリアイメージセンサから出力される前記乗員の頭部に関する画像情報に基づいて前記乗員に関する情報である乗員情報を抽出する乗員情報抽出手段と、抽出した前記乗員情報に基づいて車載の衝突安全装置を制御する制御装置とを備える自動車用衝突安全制御装置において、
前記乗員情報抽出手段は、乗員の頭部輪郭に近似するとともに少なくとも一部は楕円形状の線分を有する閉曲線を含むライン形状に関する情報を参考頭部画像情報としてあらかじめ記憶しており、前記エリアイメージセンサから出力される画像信号から、前記乗員の頭部の外輪郭を意味する頭部輪郭に近似するとともに少なくとも一部は楕円形状の線分を有する閉曲線を含むライン形状に関する情報を検出頭部画像情報として抽出し、前記検出頭部画像情報と前記参考頭部画像情報との近似の度合いを判定し、近似の度合いが大きい場合に前記検出頭部画像情報は乗員の頭部に相当すると判定した場合に、前記検出頭部画像情報に含まれる情報を前記乗員情報として前記制御装置に出力することを特徴としている。
【０００８】
本発明によれば、乗員頭部の外輪郭形状に基づいて乗員の頭部を抽出する。頭部輪郭（外輪郭）形状は、略楕円形状の簡単な閉曲線形状をなし、更に、その回転は首を中心として行われるため、頭部はその長軸を中心軸としてなされ、かつ、この長軸は主として略垂直方向に保持され、その結果、頭部の外輪郭形状は、個人差による形状差や頭部の向きによる形状変化が小さいため、判定のための参考頭部形状である参考頭部画像情報の記憶負担並びに画像処理負担が少なく、演算処理時間を短縮でき、判定精度に優れる。このため、従来の眼、鼻、口などの顔の細部形状を認識する顔部判定に比較して、特に高速処理性が要求されるエアバッグ制御に用いる自動車用衝突安全制御装置として実用性に優れる。また、めがねやマスクなどの装着品による隠ぺいが顔の細部形状を判定する場合などに比較して相対的に小さいため、それによる判定精度の低下が小さい利点がある。
【０００９】
なお、エリアイメージセンサから出力される映像信号（順次出力されるフレーム信号）の一つのフレーム信号または適宜撮影される画像信号により二次元撮像空間（行列配置された所定数の画素空間、単に画像領域とも呼ぶものとする）に表示される物体の二次元画像からその外輪郭線（単に輪郭線）を抽出する技術は周知かつ容易である。
【００１０】
また、本発明では、検出頭部画像情報や参考頭部画像情報として用いる頭部の外輪郭に相当するとともに少なくとも一部が楕円である閉曲線を用いる。これにより、検出頭部画像情報としての二次元パターン、記憶する参考頭部画像情報としての二次元パターンが簡素となって、記憶、認識処理を簡素化することができる。更に、このような簡単な閉曲線は、近似的にそれを示す数式（軸線、曲率半径、曲率中心点などのパラメータを含むことができる）により規定することができ、上記両モデル形状の比較を一層、簡素化かつ高速化することができる。
【００１１】
請求項２記載の態様は請求項１記載の発明において、前記検出頭部モデル形状及び参考頭部画像情報は、前記頭部輪郭に近似する楕円形状に関する情報とされる。
【００１２】
すなわち、頭部は大略楕円形状としみなして大過ないので、一層、その規定が簡単となり、処理の簡素化、高速化を実現することができる。つまり、検出頭部画像情報、参考頭部画像情報として、頭部輪郭に近似する楕円形状に関する情報を記憶、比較するので、画像認識演算、記憶を更に簡素化することができる。ここでいう楕円形状に関する情報とは、楕円の形状に関する数値パラメータと、楕円の位置及び姿勢に関する数値パラメータにより定義されることができる。
【００１３】
請求項３記載の態様は請求項２記載の発明において、前記衝突安全装置がエアバッグ装置であることを特徴としている。
【００１４】
これにより、エアバッグ装置は、乗員頭部に関する情報である乗員情報たとえばその大きさ、位置、有無などの最新の情報を速やかに得ることができ、それに基づいてエアバッグを制御することができる。その結果、たとえば乗員の種類や位置などに応じてエアバッグを適切に展開制御することができる。
【００１５】
請求項４記載の構成は請求項２記載の自動車用衝突安全制御装置において更に、前記乗員情報抽出手段が、種々の乗員の種類に対応する多数の参考頭部画像情報を記憶し、前記検出頭部画像情報と前記参考頭部画像情報との比較により抽出した最も近似する前記参考頭部画像情報に相当する前記乗員の種類を今回の乗員の種類と判定することを特徴としている。
【００１６】
これにより、乗員の種類を速やかに判定することができ、たとえば頭部の最新位置を速やかに演算する必要がある頭部位置適応制御式エアバッグ展開制御において特に好適である。
【００１７】
請求項５記載の構成は請求項２記載の自動車用衝突安全制御装置において更に、前記乗員情報抽出手段は、前記検出頭部画像情報と前記参考頭部画像情報との近似の度合いが小さい場合に、空席と判定することを特徴としている。
【００１８】
これにより、たとえば従来の座席荷重検出式の乗員検出装置では判別できない荷物と乗員との区別を本発明により判別することができ、たとえば荷物の場合にはエアバッグの展開を中止したりすることができる。
【００１９】
請求項６記載の構成によれば請求項２記載の自動車用衝突安全制御装置において更に、前記乗員情報抽出手段は、判定した前記乗員の頭部に相当する前記検出頭部画像情報の前後方向位置を、前記乗員情報として抽出することを特徴としている。
【００２０】
これにより、たとえば従来の座席荷重検出式の乗員検出装置では判別できない乗員の頭部の前後方向位置を本発明により判別することができ、たとえば頭部が前方に位置する（エアバッグに近接する）場合には、エアバッグの展開を緩やかに行ったりすることができる。
【００２１】
請求項７記載の構成によれば請求項２記載の自動車用衝突安全制御装置において更に、前記乗員情報抽出手段は、乗員の頭部であると判定した前記検出頭部画像情報を、次回もしくは今後の前記検出頭部画像情報との近似度合い判定に用いる前記参考頭部画像情報として採用することを特徴としている。
【００２２】
頭部の判定に用いる参考乗員画像情報としての楕円は毎回（毎フレーム）の判定処理において異なることがないので、これにより判定演算を高速化することができ、また、特定の自動車に乗降する乗員の種類はほとんど決まっているので、検出頭部画像情報に相当する楕円を参考頭部画像情報の楕円として登録し、それをパターンマッチングにおいて先に処理することにより、ほとんどの場合において演算を早期に完了することができる。
【００２３】
請求項８記載の構成は請求項２記載の自動車用衝突安全制御装置において更に、前記乗員情報抽出手段は、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍を次回の検出頭部画像情報の抽出において優先処理することを特徴としているので、頭部判定に要する時間を短縮することができる。これは、ほとんどの場合において頭部は急速に移動することはなく、前回において頭部としての楕円に相当する検出頭部画像情報を検出した画像領域近傍を優先処理すればほとんどの場合の場合において検出頭部画像情報としての楕円を抽出できるという認識に着目したものである。
【００２４】
請求項９記載の構成は請求項８記載の自動車用衝突安全制御装置において更に、前記乗員情報抽出手段は、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍のみを次回の検出頭部画像情報の抽出において処理するので、無駄な画像処理を減らすことができる。
【００２５】
請求項１０記載の態様は請求項９記載の自動車用衝突安全制御装置において更に、前記乗員情報抽出手段が、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍のみを次回の検出頭部画像情報の抽出において優先処理したにもかかわらず前記検出頭部画像情報を抽出できなかった場合、次回の検出頭部画像情報の抽出において全ての画像領域を処理することを特徴としている。
【００２６】
これにより、画像領域を制限しての頭部相当楕円である検出頭部画像情報の抽出に失敗したとしても、次回の処理において再度の失敗を防止することができる。
【００２７】
請求項１１記載の構成は請求項８記載の自動車用衝突安全制御装置において更に、前記乗員情報抽出手段は、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍のみを次回の検出頭部画像情報抽出において優先処理したにもかかわらず前記検出頭部画像情報を抽出できなかった場合、続いて全ての画像領域を処理して前記検出頭部画像情報を抽出することを特徴としている。
【００２８】
これにより、もしも制限画像領域内にて頭部に相当する楕円の抽出に失敗しても、最終的に頭部に相当する楕円の抽出を確実に行うことができる。
【００２９】
請求項１２記載の構成は請求項２記載の自動車用衝突安全制御装置において更に、前記乗員情報抽出手段は、前記楕円形状に関する情報として、楕円の形状、位置に関する数値パラメータの比較により前記近似の度合いを判定することを特徴としている。
【００３０】
これにより、複雑な二次元画像領域同士のパターンマッチング処理を必要とせず、近似判定処理を簡素化することができる。
【００３１】
請求項１３記載の態様は請求項２記載の自動車用衝突安全制御装置において更に、前記エリアイメージセンサが、前記座席の側方に配置されているので、車体前後方向における乗員の頭部位置を同時に容易に合わせて取得することができる。エアバッグなどの自動車用安全装置では、乗員頭部の車体前後方向位置が特に重要な情報であるが、この態様によれば、この情報の取得と上記乗員種類情報の取得とに同一のエリアイメージセンサを共用することができる。
【００３２】
請求項１４記載の構成は請求項２記載の自動車用衝突安全制御装置において更に、前記エリアイメージセンサが、前記座席の互いに異なる側方に別々に配置されていることを特徴としている。
【００３３】
これにより、頭部の回動などにかかわらず正確に乗員種類判定を行うことができる。すなわち、頭部の向きの大きな変化が生じても、両エリアイメージセンサの一方は他方よりもより精度よく頭部に相当する楕円を抽出することができるので、乗員頭部判定精度を向上することができる。
【００３４】
請求項１５記載の構成は請求項２記載の自動車用衝突安全制御装置において更に、前記エリアイメージセンサは、前記座席の側方と前記座席の前方に配置されて前記座席の上方空間を撮像するので、乗員姿勢の左右の揺れ及び前後の揺れを良好に検出することができ、検出したこれらの揺れに基づいてエリアイメージセンサと乗員頭部との間の距離の変動による検出頭部楕円の形状誤差を補正して正確な乗員種類判定を実施することができる。また、乗員の肩幅など、乗員体格に関する有益な情報も取得することができる。更に、頭部の向きの大きな変化が生じても、両エリアイメージセンサの一方は他方よりもより精度よく頭部に相当する楕円を抽出することができるので、乗員頭部判定精度を向上することができる。
【００３５】
請求項１６記載の構成によれば請求項２記載の自動車用衝突安全制御装置において更に、前記エリアイメージセンサは、前記座席の前方に配置された立体視測距用の一対のエリアイメージセンサの少なくとも一つにより構成されているので、頭部の前後方向位置の測定と、頭部の判定とを共通のエリアイメージセンサを用いて実施することができ、装置構成を簡素化することができる。
【００３６】
請求項１７記載の構成によれば請求項２記載の自動車用衝突安全制御装置において更に、前記エリアイメージセンサと前記乗員との間の距離を計測する測距手段を備え、前記乗員情報抽出手段は、計測した前記距離に基づいて前記乗員情報の検出精度の向上のための処理を行うことを特徴としている。
【００３７】
これにより、エリアイメージセンサと乗員頭部とを結ぶ方向における乗員頭部のずれによる検出頭部楕円の大きさの変動による判定誤差を防止することができる。
【００３８】
請求項１８記載の第二発明の自動車用衝突安全制御装置は、車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像する少なくとも１個のエリアイメージセンサと、前記エリアイメージセンサから出力される前記乗員の頭部に関する画像情報に基づいて前記乗員に関する情報である乗員情報を抽出する乗員情報抽出手段と、抽出した前記乗員情報に基づいて車載の衝突安全装置を制御する制御装置とを備える自動車用衝突安全制御装置において、
乗員の頭部に関する画像情報を参考頭部画像情報としてあらかじめ記憶しており、前記エリアイメージセンサから出力される画像信号から前記乗員の頭部に対応する情報を検出頭部画像情報として抽出し、前記検出頭部画像情報と前記参考頭部画像情報との近似の度合いを判定し、近似の度合いが大きい場合に前記検出頭部画像情報は乗員の頭部に相当すると判定した場合に、前記検出頭部画像情報に含まれる情報を前記乗員情報として前記制御装置に出力し、乗員の頭部であると判定した前記検出頭部画像情報を、次回もしくは今後の前記検出頭部画像情報との近似度合い判定に用いる前記参考頭部画像情報として採用することを特徴としている。
【００３９】
頭部の判定に用いる参考乗員画像情報としての乗員の頭部に関する画像情報は毎回（毎フレーム）の判定処理において異なることがないので、これにより判定演算を高速化することができ、また、特定の自動車に乗降する乗員の種類はほとんど決まっているので、検出頭部画像情報に相当する乗員の頭部に関する画像情報を、参考頭部画像情報としての乗員の頭部に関する画像情報として登録し、それをパターンマッチングにおいて先に処理することにより、ほとんどの場合において演算を早期に完了することができる。
【００４０】
請求項１９記載の第三発明の自動車用衝突安全制御装置は、車両に装備されて座席に着座する乗員を含む二次元撮像空間を撮像する少なくとも１個のエリアイメージセンサと、前記エリアイメージセンサから出力される前記乗員の頭部に関する画像情報に基づいて前記乗員に関する情報である乗員情報を抽出する乗員情報抽出手段と、抽出した前記乗員情報に基づいて車載の衝突安全装置を制御する制御装置とを備える自動車用衝突安全制御装置において、
乗員の頭部に関する画像情報を参考頭部画像情報としてあらかじめ記憶しており、前記エリアイメージセンサから出力される画像信号から前記乗員の頭部に対応する情報を検出頭部画像情報として抽出し、前記検出頭部画像情報と前記検出頭部画像情報との近似の度合いを判定し、近似の度合いが大きい場合に前記検出頭部画像情報は乗員の頭部に相当すると判定して前記乗員情報として前記制御装置に出力し、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍を次回の検出頭部画像情報の抽出において優先処理することを特徴としているので、頭部判定に要する時間を短縮することができる。これは、ほとんどの場合において頭部は急速に移動することはなく、前回において頭部としての検出頭部画像情報を検出した画像領域近傍を優先処理すればほとんどの場合の場合において検出頭部画像情報を抽出できるという認識に着目したものである。
【００４１】
請求項２０記載の構成は請求項１９記載の自動車用衝突安全制御装置において更に、前記乗員情報抽出手段が、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍のみを次回の検出頭部画像情報の抽出において処理するので、無駄な画像処理を減らすことができる。
【００４２】
請求項２１記載の構成は請求項２０記載の自動車用衝突安全制御装置において更に、前記乗員情報抽出手段が、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍のみを次回の検出頭部画像情報抽出において優先処理したにもかかわらず前記検出頭部画像情報を抽出できなかった場合、次回の検出頭部画像情報の抽出において全ての画像領域を処理することを特徴としている。
【００４３】
これにより、画像領域を制限しての検出頭部画像情報の抽出に失敗した後の次回の処理において再度の失敗を防止することができる。
【００４４】
請求項２２記載の構成は請求項１９記載の自動車用衝突安全制御装置において更に、前記乗員情報抽出手段が、前記乗員の頭部と前回判定した前記検出頭部画像情報が存在した画像領域近傍のみを次回の検出頭部画像情報抽出において優先処理したにもかかわらず前記検出頭部画像情報を抽出できなかった場合、続いて全ての画像領域を処理して前記検出頭部画像情報を抽出することを特徴としている。
【００４５】
これにより、もしも制限画像領域内にて頭部に相当する検出頭部画像情報の抽出に失敗しても、最終的に頭部に相当する検出頭部画像情報の抽出を確実に行うことができる。
【００４６】
請求項２３記載の構成は請求項１８又は１９記載の自動車用衝突安全制御装置において更に、前記エリアイメージセンサが、立体視測距用の一対のエリアイメージセンサの少なくとも一つにより構成されていることを特徴としているので、頭部の前後方向位置の測定と、頭部の判定とを共通のエリアイメージセンサを用いて実施することができ、装置構成を簡素化することができる。
【００４７】
【発明を実施するための形態】
本発明の自動車用衝突安全制御装置の好適な態様を以下に説明する。
（全体構成）
１個のエリアイメージセンサを用いる自動車用衝突安全制御装置を図１に示す。図１において、１は車体２の側面上方に固定されて助手席３を撮像するエリアイメージセンサであって、エリアイメージセンサ１は助手席３の上方空間をその側方から斜めに緩やかに見下ろす姿勢で撮像し、映像信号をＡ／Ｄコンバータ４により画素ごとにデジタル信号に変換してマイコン構成の画像信号処理装置５に出力する。この映像信号は、順次出力される所定本数の走査線信号からなり、所定周期で順次出力されるフレーム信号（二次元画像信号）からなる。
【００４８】
なお、エリアイメージセンサ１は、赤外線スペクトル領域に感度を有し、助手席は図示しない赤外線ランプにより照射されて、エリアイメージセンサ１の夜間撮像を可能としている。
【００４９】
画像信号処理装置５は、受け取ったフレーム画像をフレームメモリに蓄え、雑音除去、二次元空間上の輪郭強調、２値化などの処理を行った後、この実施例の特徴をなす後述の乗員決定処理を行う。なお、Ａ／Ｄコンバータ４を用いる代わりに、エリアイメージセンサ１から出力されるアナログ映像信号を２値化して画像信号処理装置５に出力してもよく、もしくはエリアイメージセンサ１から出力されるアナログ映像信号を公知の水平輪郭強調、垂直輪郭強調処理してから画像信号処理装置５に出力してもよく、あるいはエリアイメージセンサ１自体が２値映像信号を出力するようにしてもよい。
【００５０】
なお、フレーム画像を高速取得する特殊なエリアイメージセンサを採用し、画像信号処理装置の一部又は全部をハードウエア構成とすることが可能であることは当然である。また、信号処理精度の向上のために２値信号ではなくたとえば８ビット程度のデジタル信号を画像信号処理装置５に入力するようにしてもよい。
【００５１】
画像信号処理装置５は、乗員の頭部に関する情報（存在の有無又はその種別又はその前後方向位置など）を抽出し、それをエアバッグ制御装置６に出力し、エアバッグ制御装置６は入力された乗員の頭部に関する情報に基づいてエアバッグの展開制御を調節する。エアバッグ展開制御の調節の具体的処理自体は、本発明の要旨ではないので説明を省略する。
（画像信号処理装置５による乗員決定処理）
この実施例の乗員決定処理を図２に示すフローチャートにより説明する。なお、この実施例では、この乗員決定処理はマイコンにより遂行されるが、専用のハードウエア回路により処理することにより処理時間を短縮することは当然可能である。
【００５２】
まず、輝度差が生じる二つの領域の境界をなす二次元撮像空間中の境界線を抽出する（Ｓ１００）。この境界線は通常、多数の閉曲線形状すなわち輪郭線をなすが、単なる線分も混在する。
【００５３】
次に、これら多数の境界線から略楕円形状の輪郭線を抽出する（Ｓ１０２）。この略楕円形状の輪郭線の抽出は、この輪郭線により囲まれる略楕円形状領域を抽出することと同義である。ここでいう略楕円形状と、それ以外の閉曲線形状とは、輪郭線全周にわたる曲率半径の変化のパターンにより分別することができる他、上記略楕円形状領域の中心点と輪郭線各部との距離の変化により決定してもよい。上記略楕円形状の閉曲線は個々に細かい凹凸をもつが、境界線のこのような凹凸を除去することにより平均的な曲率半径の変化を抽出し、この平均的な曲率半径の変化に基づいて輪郭線が略楕円形状であるかどうかを検出する。なお、輪郭線の局部的な曲率半径の抽出は、たとえば輪郭線の所定画素距離離れた３座標点をサンプリングし、これら３座標点の空間関係により取得することができるが、その他の局部的曲率半径抽出方式を採用することもできる。そして、局部的曲率半径の変化を閉曲線全体にわたって演算することにより、曲率半径変化があらかじめ記憶する楕円形状特有のパターンをもつ閉曲線を上記略楕円形状の閉曲線として抽出する。
【００５４】
次に、抽出した略楕円形状の輪郭線から、あらかじめ記憶する頭部楕円形状範囲に入るものを抽出し、これに近似する楕円を検出頭部楕円として決定する（Ｓ１０４）。なお、このあらかじめ記憶する頭部楕円形状範囲は、すべての種類の頭部に相当する楕円が含まれるように設定される。これにより、略楕円形状ではあっても頭部とは全くみなすことはできない形状、大きさの輪郭線が除去される。なお、この検出頭部楕円は、楕円を規定する数値パラメータとして記憶されてもよく、又は、楕円形状を二次元パターンとして記憶されてもよい。この数値パラメータとしては、長径長さ、短径長さ、中心座標位置、長軸の傾き、曲率半径などを含むことができる。
【００５５】
次に、Ｓ１０４にて検出頭部楕円が抽出されたかどうかを判定し（Ｓ１０６）、なければなければ、乗員が着座していないものと判定し、それを出力して（Ｓ１０８）、Ｓ１００にリターンし、検出頭部楕円があればＳ１１０に進む。
【００５６】
Ｓ１１０では、抽出した検出頭部楕円と、あらかじめ記憶する種々の乗員の頭部に形状が近似する楕円（以下、参考頭部楕円と呼称する）とを比較することによりこの検出頭部楕円に近似する参考頭部楕円があるかどうかを調べあればそれを頭部候補楕円とする。上記比較にもかかわらず今回抽出した検出頭部楕円に近似する参考頭部楕円がなければＳ１０８に進んで乗員が着座していないものと判定し、それを出力して（Ｓ１０８）、Ｓ１００にリターンする。なお、この参考頭部楕円及び頭部候補楕円も検出頭部楕円と同様に二次元パターンで表示してもよく、あるいは上記楕円規定数値パラメータにより表示してもよい。また、上記比較は、二次元パターンマッチング処理により実施してもよく、あるいは楕円を規定する数値パラメータを比較して行ってもよい。
【００５７】
Ｓ１１０にて、頭部候補楕円があれば、この頭部候補楕円（すなわち検出頭部楕円に近似する参考頭部楕円）に対応する乗員の種別を着座乗員の種別（たとえば大人、子供）として決定し、出力する（Ｓ１１２）。なお、その他の態様として、このＳ１１０にて、乗員の種類を判定するのではなく、単に乗員の頭部に相当する頭部候補楕円の検出により、乗員頭部の存在を判定するようにしてもよい。
【００５８】
次に、上記説明した各ステップからなる今回のフレーム画像処理により抽出した検出頭部楕円を含む所定の二次元画像領域を次回にフレーム画像処理（Ｓ１００〜Ｓ１１０）を実施する次回演算画像領域として決定する（Ｓ１１４）。なお、この次回演算画像領域は、着座乗員の頭部の所定の速度での移動時においても、次回にこの頭部が十分にこの次回演算領域内に含まれる大きさに設定される。図３に、次回演算領域の例を示す。なお、今回取得した次回演算領域中に次回の演算において検出頭部楕円が抽出できなかった場合には、再度、二次元撮像空間全体にわたって上記検出頭部楕円抽出処理を行ってもよい。
【００５９】
次に、今回抽出した検出頭部楕円を新しい参考頭部楕円として登録して（Ｓ１１４）、Ｓ１００にリターンする。このようにすれば、次回の検出頭部楕円と参考頭部楕円との比較において真っ先にこの新しく登録した参考頭部楕円を比較に用いることにより、次回の演算時間を有効に短縮することができる。なお、この新しく登録した考頭部楕円を首を中心として傾けたり、回動した楕円も参考頭部楕円として登録してもよい。
【００６０】
（実施例効果）
上記説明した乗員決定方式によれば、見る角度により変化が小さく、かつ、個人差が小さく、比較処理が容易な頭部楕円形状を用いて乗員を判定しているので、判定精度の低下を抑止しつつ信号処理の簡単化、高速化を実現することができる。
【００６１】
（変形態様）
上記実施例において、乗員が着座していない状態のフレーム画像から抽出した境界線を記憶しておき、今回のフレーム画像からＳ１００で抽出した境界線のうち、上記記憶境界線を除去してからＳ１０２に進めば、偽ノイズを良好に除去することができる。
【００６２】
（変形態様）
乗員が帽子を被っている場合や特殊な髪型をしている場合の乗員頭部形状を参考頭部楕円として登録しておくことにより、このような場合の判定精度を向上することができる。また、髪型や帽子の有無に無関係な頭部の下半分のみを参考頭部楕円の下半分と比較することもできる。
【００６３】
（変形態様）
参考頭部楕円の登録において、エリアイメージセンサへモデル画像を入力して学習させることも可能であり、学習結果としての記憶情報を格納するＲＯＭを実装してもよい。
【００６４】
（変形態様）
上記実施例では、エリアイメージセンサ１が撮像する二次元撮像空間における頭部候補楕円の形状を判定したが、乗員姿勢の左右方向の揺れにより、この二次元撮像空間中の検出頭部楕円の大きさが変動するという問題がある。この問題を解消するには、エリアイメージセンサ１と乗員頭部との間の距離を測定し、この距離に基づいて撮像した検出頭部楕円の大きさを拡縮すればよい。この拡縮は、検出頭部楕円を示す数値パラメータを補正するだけでもよい。これにより、上記問題を解決することができる。
【００６５】
上記距離測定のために、図４に示すようにエリアイメージセンサ１に対して前後方向に所定距離離れて第２のエリアイメージセンサ１’を配置し、これら二つのエリアイメージセンサ１、１’が出力する画像の二次元撮像空間における左右方向のずれに基づいて、乗員頭部までの距離を演算することができる。この測距方式は立体視式測距方式として公知であり、本発明の要旨でもないので詳細な説明を省略する。すなわち、エリアイメージセンサ１は上記頭部までの距離測定と乗員判定との両方に共用することができる。
【００６６】
（変形態様）
上記頭部の楕円形状に基づく乗員特定処理に加えて、たとえば検出頭部楕円の高さ方向座標位置などに基づいて乗員体格の大小を判定することも可能である。
【００６７】
（変形態様）
上記実施例では、エリアイメージセンサ１が助手席側方に配置されているので、二次元撮像空間における左右方向（車両の前後方向）における検出頭部楕円の中心座標位置により、頭部の車両前後方向位置を検出することができ、これに基づいて算出したエアバッグまでの頭部の距離を簡単に算出することができる。このエアバッグからの頭部までの距離は、エアバッグの展開制御において重要情報として利用することができる。すなわち、エリアイメージセンサ１は上記頭部の距離測定と乗員判定との両方に共用することができる。
【００６８】
（変形態様）
図４に示す変形態様において、第２のエリアイメージセンサ１’を図５に示すようにエリアイメージセンサ１に対して助手席を挟んで反対側に配置することも可能である。この場合においても、両エリアイメージセンサ１、１’の出力から検出した検出頭部楕円の中心座標の位置のずれにもとづいて車体左右方向における検出頭部楕円の位置を演算し、この位置から検出頭部楕円と両エリアイメージセンサ１、１’との間の距離を演算し、この距離に基づいて図４を用いる上記変形態様と同様に、検出頭部楕円の二次元撮像空間中の大きさを実際の大きさに補正することができる。
【００６９】
また、この変形態様では、両エリアイメージセンサ１、１’が出力する映像信号をそれぞれ検出頭部楕円を求めて乗員種別判定することができるので、乗員が頭部を回しても判定精度を向上することができる。
【００７０】
（変形態様）
図４、図５に示す変形態様において、第２のエリアイメージセンサ１’を図６に示すように助手席前方に配置することも可能である。この変形態様によれば、エリアイメージセンサ１の二次元撮像空間中における検出頭部楕円の左右方向位置から車両前後方向位置を容易に検出することができ、エリアイメージセンサ１の二次元撮像空間中における検出頭部楕円の左右方向位置から車両左右方向位置を容易に検出することができるる。したがって、エリアイメージセンサ１により求めた検出頭部楕円の車体前後方向位置に基づいてエリアイメージセンサ１’で求めた検出頭部楕円の大きさを補正し、エリアイメージセンサ１’により求めた検出頭部楕円の車体左右方向位置に基づいてエリアイメージセンサ１で求めた検出頭部楕円の大きさを補正することができ、検出頭部楕円の形状比較による人物判定精度
を改善することができる。
【００７１】
また、この変形態様では、両エリアイメージセンサ１、１’が出力する映像信号をそれぞれ検出頭部楕円を求めて乗員種別判定することもできるので、乗員が頭部を回しても判定精度を向上することができる。更に、この変形態様では、乗員肩幅等を検出することで乗員体格をより正確に検知することも可能となる。
【００７２】
（変形態様）
変形態様を図７を参照して以下に説明する。
【００７３】
Ｓ１０６において検出頭部楕円がない場合に、二次元撮像空間全部においてＳ１００、Ｓ１０２、Ｓ１０４を順次実施し（Ｓ１１８）、その結果、検出頭部楕円があったかどうかを判定し（Ｓ１２０）、なければＳ１０８へ、あればＳ１１０へ進む。
【００７４】
このようにすれば、図３の次回演算画像領域内に検出頭部楕円がなく、その外側の二次元撮像空間に検出頭部楕円がある場合でも検出頭部楕円を抽出することができる。
【００７５】
この場合には、Ｓ１１４において次回演算領域として二次元撮像空間の全体が設定される。なお、Ｓ１１８、Ｓ１２０を実施しない場合でも、検出頭部楕円がない場合にはＳ１１４にて次回演算領域として二次元撮像空間の全体が設定されるべきである。
【００７６】
（変形態様）
変形態様を図８に示す。
【００７７】
この変形態様では、上記乗員頭部検出用のエリアイメージセンサ１として、一対のエリアイメージセンサ１０、１１を有する立体視測距装置を用いる。このようにすれば、エリアイメージセンサ１０、１１により、乗員頭部検出と、立体視によるその測距との両方を実施することができ、エリアイメージセンサの共用により装置構成を簡素化することができる。
【図面の簡単な説明】
【図１】本発明の自動車用衝突安全制御装置の実施例を示す模式平面図である。
【図２】図１における乗員決定処理を示すフローチャートである。
【図３】次回演算画像領域を説明する説明図である。
【図４】２個のエリアイメージセンサを用いる変形態様を示す模式平面図である。
【図５】２個のエリアイメージセンサを用いる変形態様を示す模式平面図である。
【図６】２個のエリアイメージセンサを用いる変形態様を示す模式平面図である。
【図７】変形態様を示すフローチャートである。
【図８】２個のエリアイメージセンサを用いる変形態様を示す模式平面図である。
【符号の説明】
１、１’　エリアイメージセンサ
５　画像信号処理装置
【図１】
2004053324.tif 000003
【図２】
2004053324.tif 000004
【図３】
2004053324.tif 000005
【図４】
2004053324.tif 000006
【図５】
2004053324.tif 000007
【図６】
2004053324.tif 000008
【図７】
2004053324.tif 000009
【図８】
2004053324.tif 000010