(57)【特許請求の範囲】
【請求項１】
車室内の撮像領域を撮像して撮像結果を出力する撮像手段と、
前記撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段と、
前記距離画像を構成する複数の画素毎に前記３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される前記３次元空間での位置座標を内部座標とする内部座標設定手段と、
前記３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる前記内部座標の総数に係るスコア値を算出し、前記複数の画素毎に対応する前記内部座標が含まれる前記単位空間の前記スコア値を前記複数の画素毎に対応させて示すスコア画像を生成するスコア画像生成手段と、
前記スコア画像を構成する複数の画像領域のうちから前記スコア値に基づいて前記車室内の乗員の頭部領域を抽出する頭部領域抽出手段と
を備えることを特徴とする乗員頭部検知装置。
【請求項２】
前記頭部領域抽出手段は、
前記３次元空間での複数の前記内部座標の分布に対してエッジを抽出するエッジ抽出手段と、
前記エッジに応じて前記スコア画像を複数の分割領域に分割する領域分割手段と、
前記複数の分割領域のうち前記内部座標の平均値の差が所定差以下の前記分割領域同士を単一の結合領域に結合する領域結合手段とを備え、
前記複数の画像領域を前記分割領域および前記結合領域により構成することを特徴とする請求項１に記載の乗員頭部検知装置。
【請求項３】
前記頭部領域抽出手段は、
前記複数の画像領域のうち、前記スコア値の平均値が閾平均値以下の前記画像領域と、体積が上限体積値以上または下限体積値以下の前記画像領域と、所定方向の幅寸法が所定閾値以上の前記画像領域とを、前記頭部領域の候補から除外する領域除外手段を備えることを特徴とする請求項１または請求項２に記載の乗員頭部検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、乗員頭部検知装置に関する。
【背景技術】
【０００２】
従来、例えば、１対の撮像装置によって人の顔領域を撮像して、距離情報を含むカラー画像を生成し、このカラー画像の距離情報から顔の輪郭を表す輪郭モデルを生成すると共に、肌色の画像領域およびエッジを抽出し、エッジおよび肌色の画像領域と、輪郭モデルとの間の相関から、顔領域を検出する装置が知られている（例えば、特許文献１参照）。
また、従来、例えば乗員の種類毎に頭部輪郭に近似する参考楕円を記憶しておき、撮像装置から出力される画像信号から乗員の頭部輪郭に近似される楕円を抽出し、該楕円と参考楕円との対応から乗員の種類を特定する装置が知られている（例えば、特許文献２参照）。 
また、従来、例えば人の頭部を楕円形にモデル化したモデルを記憶しておき、１対の撮像装置の撮像により得られる距離情報を有するグレースケール画像から、モデルと最も高い相関値を有する画像領域を頭部であると検出する装置が知られている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２１６１２９号公報
【特許文献２】特開２００４−５３３２４号公報
【特許文献３】特開２００７−２１３３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記従来技術に係る装置において、カラー画像を用いる場合には撮像装置が高価であると共に、人種などによって肌の色が異なることから顔領域を精度良く検出することができない虞があり、また、顔が隠れている場合には頭部を検出することができないという問題が生じる。
また、予め記憶している参考画像やモデルに対するマッチングを演算する場合には、演算負荷が増大する虞があり、撮像装置の撮像により得られる画像領域の撮影方向や大きさによっては、参考画像やモデルに対するマッチングが困難であったり、誤検出が増大してしまう虞がある。
【０００５】
本発明は上記事情に鑑みてなされたもので、演算負荷の増大を防止しつつ検知精度を向上させることが可能な乗員頭部検知装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決して係る目的を達成するために、本発明の第１態様に係る乗員頭部検知装置は、車室内の撮像領域を撮像して撮像結果を出力する撮像手段（例えば、実施の形態での受光部２２）と、前記撮像結果に基づき、３次元空間での前記撮像領域の距離の情報を有する距離画像を生成する距離画像生成手段（例えば、実施の形態での処理部２３）と、前記距離画像を構成する複数の画素毎に前記３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される前記３次元空間での位置座標を内部座標とする内部座標設定手段（例えば、実施の形態での内部座標設定部５２）と、前記３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる前記内部座標の総数に係るスコア値を算出し、前記複数の画素毎に対応する前記内部座標が含まれる前記単位空間の前記スコア値を前記複数の画素毎に対応させて示すスコア画像を生成するスコア画像生成手段（例えば、実施の形態でのスコア画像生成部５３）と、前記スコア画像を構成する複数の画像領域のうちから前記スコア値に基づいて前記車室内の乗員の頭部領域を抽出する頭部領域抽出手段（例えば、実施の形態でのステップＳ０４〜Ｓ０９、領域分割部５４と領域結合部５５と球形状判定部５６と体積判定部５７とヘッドレスト判定部５８と頭部領域判定部５９）とを備える。
【０００７】
さらに、本発明の第２態様に係る乗員頭部検知装置では、前記頭部領域抽出手段は、前記３次元空間での複数の前記内部座標の分布に対してエッジを抽出するエッジ抽出手段（例えば、実施の形態でのステップＳ４１、領域分割部５４）と、前記エッジに応じて前記スコア画像を複数の分割領域に分割する領域分割手段（例えば、実施の形態でのステップＳ４３、領域分割部５４）と、前記複数の分割領域のうち前記内部座標の平均値の差が所定差以下の前記分割領域同士を単一の結合領域に結合する領域結合手段（例えば、実施の形態でのステップＳ０５、領域結合部５５）とを備え、前記複数の画像領域を前記分割領域および前記結合領域により構成する。
【０００８】
さらに、本発明の第３態様に係る乗員頭部検知装置では、前記頭部領域抽出手段は、前記複数の画像領域のうち、前記スコア値の平均値が閾平均値以下の前記画像領域と、体積が上限体積値以上または下限体積値以下の前記画像領域と、所定方向（例えば、車両左右方向など）の幅寸法が所定閾値以上の前記画像領域とを、前記頭部領域の候補から除外する領域除外手段（例えば、実施の形態でのステップＳ０６〜Ｓ０８、球形状判定部５６と体積判定部５７とヘッドレスト判定部５８）を備える。
【発明の効果】
【０００９】
本発明の第１態様に係る乗員頭部検知装置によれば、画素毎に設定される法線ベクトルの逆方向に固定長の逆ベクトルによる内部座標を用いた投票方式によって単位空間毎のスコア値を算出し、スコア値が所定の大きさの球形状の指標となることに応じて乗員の頭部領域を抽出することから、演算負荷の増大を防止しつつ検知精度を向上させることができる。
【００１０】
つまり、予め記憶する参考画像やモデルを用いること無しに乗員の頭部領域を抽出することができることから、演算負荷の増大や演算速度の低下を防止することができる。
また、撮像装置の撮像により得られる画像領域の撮影方向や大きさなどに依存して頭部領域の抽出が大きく変動してしまうことを防止することができ、抽出結果の信頼性および安定性を向上させることができる。
また、カラー画像を用いること無しに、あるいは、顔領域の検出を必要とせずに、乗員の頭部領域を抽出することができ、装置構成に要する費用が嵩むことを防止し、頭部領域の誤検知を抑制し、的確な抽出を行なうことができる。
【００１１】
さらに、本発明の第２態様に係る乗員頭部検知装置によれば、複数の分割領域のうち内部座標の平均値の差が所定差以下の分割領域同士を単一の結合領域に結合することから、例えば乗員が着用している帽子のつば部分などにおいてエッジが抽出されることで頭部領域が不必要に分割された場合であっても適切に結合することができ、頭部領域を適切に抽出することができる。
【００１２】
さらに、本発明の第３態様に係る乗員頭部検知装置によれば、頭部領域の誤検知を抑制し、的確な抽出を行なうことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態に係る乗員頭部検知装置の構成図である。
【図２】本発明の実施の形態に係る乗員頭部検知装置の構成図である。
【図３】本発明の実施の形態に係る偏微分フィルターのカーネルの例を示す図である。
【図４】本発明の実施の形態に係る観測画素座標Ｐ（ｖ，ｕ）と頭部ベクトルＨ（ｖ，ｕ）と内部座標Ｉ（ｖ，ｕ）との対応関係を模式的に示す図である。
【図５】本発明の実施の形態に係るボクセル空間Ｖの一例をシート座標系で示す図である。
【図６】本発明の実施の形態に係る距離画像の各画素（ｖ，ｕ）と内部座標Ｉ（ｖ，ｕ）とボクセル空間Ｖとの対応関係の例を示す図である。
【図７】本発明の実施の形態に係る距離画像Ｌの一例と、３次元空間でのボクセル空間Ｖ単位でのスコア値の分布の一例と、スコア画像Ｓの一例とを示す図である。
【図８】本発明の実施の形態に係る２値化画像Ｂの一例と、領域分割画像Ｅの一例とを示す図である。
【図９】本発明の実施の形態に係る領域分割部によって分割された２つの画像領域Ｅａ，Ｅｂと、領域結合部によって２つの画像領域Ｅａ，Ｅｂが結合された画像領域Ｆ０との例を示す図である。
【図１０】本発明の実施の形態に係る領域分割部によって分割された２つの画像領域Ｅａ，Ｅｂと、領域結合部によって２つの画像領域Ｅａ，Ｅｂが結合された画像領域Ｆ０との例を示す図である。
【図１１】本発明の実施の形態に係る領域結合部により生成された領域結合画像Ｆの一例と、球形状判定部による処理後の領域結合画像Ｆの一例と、体積判定部による処理後の領域結合画像Ｆの一例と、ヘッドレスト判定部による処理後の領域結合画像Ｆの一例とを示す図である。
【図１２】本発明の実施の形態に係る領域結合画像Ｆを構成する画像領域Ｆｍのカメラ座標系での各軸の最大値および最小値の一例を示す図である。
【図１３】本発明の実施の形態に係るシート座標系での法線ベクトルＮ（ｖ，ｕ）と正面領域ＳＡとの対応関係の一例を示す図である。
【図１４】本発明の実施の形態に係る距離画像から抽出された正面領域ＳＡの一例を示す図である。
【図１５】本発明の実施の形態に係る乗員頭部検知装置の動作を示すフローチャートである。
【図１６】図１５に示す内部座標設定の処理を示すフローチャートである。
【図１７】図１５に示すスコア画像生成の処理を示すフローチャートである。
【図１８】図１５に示す領域分割の処理を示すフローチャートである。
【図１９】図１５に示す領域結合の処理を示すフローチャートである。
【図２０】図１５に示す球形状判定の処理を示すフローチャートである。
【図２１】図１５に示す体積判定の処理を示すフローチャートである。
【図２２】図１５に示すヘッドレスト判定の処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態に係る乗員頭部検知装置について添付図面を参照しながら説明する。
【００１５】
本実施の形態による乗員頭部検知装置１０は、例えば図１、図２に示すように、単眼距離画像センサ１１と、制御装置１２とを備えて構成され、例えば車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御するエアバッグシステム１５の一部を構成している。
【００１６】
単眼距離画像センサ１１は単眼の撮像装置であって、例えば、車両１３のルーフ前部の中央部（例えば、左右のサンバイザー間の位置など）に配置され、少なくとも車室内のシート１６（例えば、助手席）およびシート１６に着座した乗員やシート１６に設置されたチャイルドシートなどを撮像対象として含み、これらの撮像対象を斜め上方の前方側から撮像するように設定されている。
【００１７】
単眼距離画像センサ１１は、例えば、発光部２１と、受光部２２と、処理部２３とを備えて構成されている。
【００１８】
発光部２１は、例えば、赤外線領域の光を発光するＬＥＤなどの発光体３１と、発光体３１の発光を制御する駆動回路３２と、発光体３１の発光による光を撮像対象に向けて拡散させる散乱板３３とを備えて構成されている。
【００１９】
駆動回路３２は、例えば、受光部２２から出力される発光制御の指令信号と、処理部２３から出力される光量制御の指令信号とに応じて制御される。
【００２０】
受光部２２から出力される発光制御の指令信号は、発光部２１の動作と受光部２２の動作との同期をとって、発光部２１から出力された発光パルスと、この発光パルスが撮像対象で反射されて受光部２２に入力されて成る受光パルスとの位相差（時間差）を検知可能にするために、発光パルスの発光タイミングを指示する。
処理部２３から出力される光量制御の指令信号は、発光部２１から出力される発光パルスの発光量を指示する。
【００２１】
受光部２２は、例えば、発光部２１から撮像対象に向けて照射された発光パルスが撮像対象で反射されてなる受光パルスを受けるレンズ３６と、フィルター３７と、レンズ３６およびフィルター３７を透過した受光パルスを検出するＣＭＯＳセンサなどの受光素子３８とを備えて構成されている。
【００２２】
受光部２２は、処理部２３から出力される制御信号に応じて発光部２１に発光制御の指令信号を出力すると共に、受光素子３８による受光パルスの検出結果として画像データを出力する。
この画像データは、受光素子３８において受光パルスが検出された位置（つまり、撮像対象での発光パルスの反射点の位置）に対応する二次元配列の画素から構成され、各画素は、受光素子３８で検出された受光パルスの光量（つまり、パルス数）の情報と、発光パルスと受光パルスとの位相差（時間差）の情報とを有している。
【００２３】
処理部２３は、発光部２１に光量制御の指令信号を出力すると共に、受光部２２に各種動作を指示する制御信号を出力しており、例えば、距離画像生成部４１と、輝度画像生成部４２とを備えて構成されている。
【００２４】
距離画像生成部４１は、受光部２２から出力された画像データに基づき、各画素毎に、発光パルスと受光パルスとの位相差（時間差）の情報と発光パルスおよび受光パルスの速度（つまり光の速度）とから、３次元空間での単眼距離画像センサ１１から撮像対象の反射点までの距離の情報を生成する。そして、二次元配列の各画素毎に単眼距離画像センサ１１から撮像対象までの距離を示す距離画像を生成して、この距離画像を制御装置１２に出力する。
【００２５】
輝度画像生成部４２は、受光部２２から出力される画像データに基づき、二次元配列の各画素毎に受光素子３８により検出された受光パルスの光量（つまり、パルス数）を示す輝度画像を生成して、この輝度画像を制御装置１２に出力する。
【００２６】
制御装置１２は、例えば、画像処理部５１と、内部座標設定部５２と、スコア画像生成部５３と、領域分割部５４と、領域結合部５５と、球形状判定部５６と、体積判定部５７と、ヘッドレスト判定部５８と、頭部領域判定部５９と、乗員判定部６０と、駆動制御部６１とを備えて構成されている。
【００２７】
画像処理部５１は、先ず、単眼距離画像センサ１１から出力された距離画像に基づき、二次元配列の各画素毎の距離の情報に対応する３次元空間での撮像対象の反射点の位置をカメラ座標系で記述し、このカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、二次元配列の各画素毎に対応させて示す３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を生成する。
【００２８】
なお、カメラ座標系は、例えば単眼距離画像センサ１１の受光素子３８の撮像面に直交する受光軸をＺ軸とするＸＹＺ座標系である。
そして、これらのＸＹＺ画像に対して、輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
【００２９】
さらに、画像処理部５１は、カメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）を、シート座標系つまり車両前後方向をＴ軸かつ車両左右方向をＢ軸かつ車両上下方向をＨ軸とするＴＢＨ座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）に変換して、予め記憶している車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去する。
そして、このデータ除去後のシート座標系での各軸成分（Ｔ座標、Ｂ座標、Ｈ座標）をカメラ座標系での各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）に変換して、この変換後の各軸成分（Ｘ座標、Ｙ座標、Ｚ座標）による３つのＸ画像およびＹ画像およびＺ画像（ＸＹＺ画像）を出力する。
【００３０】
内部座標設定部５２は、画像処理部５１から出力された３つのＸＹＺ画像に基づき、距離画像を構成する複数の画素毎に３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする。
【００３１】
先ず、内部座標設定部５２は、画像処理部５１から出力された３つのＸＹＺ画像に対して、例えば図３（Ａ）、（Ｂ）に示すカーネルからなるソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、３つのＸＹＺ画像毎に横偏微分画像（Ｘ横偏微分画像Ｘｕ、Ｙ横偏微分画像Ｙｕ、Ｚ横偏微分画像Ｚｕ）および縦偏微分画像（Ｘ縦偏微分画像Ｘｖ、Ｙ縦偏微分画像Ｙｖ、Ｚ縦偏微分画像Ｚｖ）を算出する。
【００３２】
そして、内部座標設定部５２は、例えば下記数式（１）に示すように記述される縦画素ｖおよび横画素ｕで指定される距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ（ｖ，ｕ）を、各横偏微分画像の画素値（Ｘ横偏微分画像Ｘｕ（ｖ，ｕ）、Ｙ横偏微分画像Ｙｕ（ｖ，ｕ）、Ｚ横偏微分画像Ｚｕ（ｖ，ｕ））および各縦偏微分画像の画素値（Ｘ縦偏微分画像Ｘｖ（ｖ，ｕ）、Ｙ縦偏微分画像Ｙｖ（ｖ，ｕ）、Ｚ縦偏微分画像Ｚｖ（ｖ，ｕ））と、カメラ座標系での各軸（Ｘ軸、Ｙ軸、Ｚ軸）の単位ベクトル（ｉ、ｊ、ｋ）とに基づき算出する。
【００３３】
【数１】
0005401440.tif 000002
【００３４】
そして、内部座標設定部５２は、例えば下記数式（２）に示すように、法線ベクトルＮ（ｖ，ｕ）を画素面積｜Ｎ（ｖ，ｕ）｜で除算して正規化を行ない、さらに、符号を反転させることによって、逆ベクトルＥを算出する。
【００３５】
【数２】
0005401440.tif 000003
【００３６】
そして、内部座標設定部５２は、例えば下記数式（３）に示すように、人体の頭部の厚さに対する所定頭部厚ＨｅａｄＴｈｉｃｋ（例えば、９０ｍｍなど）を逆ベクトルＥ（ｖ，ｕ）に乗算して、固定長の頭部ベクトルＨ（ｖ，ｕ）を算出する。
【００３７】
【数３】
0005401440.tif 000004
【００３８】
そして、内部座標設定部５２は、例えば図４および下記数式（４）、（５）に示すように、距離画像の各画素（ｖ，ｕ）の位置をカメラ座標系で示す観測画素座標Ｐ（ｖ，ｕ）と頭部ベクトルＨ（ｖ，ｕ）と合成して、内部座標Ｉ（ｖ，ｕ）を算出する。
【００３９】
【数４】
0005401440.tif 000005
【００４０】
【数５】
0005401440.tif 000006
【００４１】
そして、内部座標設定部５２は、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）の各軸成分（Ｘ内部座標、Ｙ内部座標、Ｚ内部座標）を、各画素（ｖ，ｕ）毎の画素値に対応させて示す３つのＸ内部座標画像ＩＸおよびＹ内部座標画像ＩＹおよびＺ内部座標画像ＩＺを生成する。
【００４２】
スコア画像生成部５３は、３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる内部座標Ｉ（ｖ，ｕ）の総数に係るスコア値を算出し、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、各画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像Ｓを生成する。
【００４３】
先ず、スコア画像生成部５３は、例えば図５に示すように、単眼距離画像センサ１１の撮像領域を含む３次元空間を構成する複数の単位空間（３次元の座標空間）として、例えば、所定長（例えば、５０ｍｍなど）を一辺の長さとする複数の立方体（ボクセル空間）Ｖを設定する。
【００４４】
そして、スコア画像生成部５３は、例えば図６（Ａ），（Ｂ）に示すように、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれるボクセル空間Ｖに対して、各画素（ｖ，ｕ）の画素面積をスコア値として加算する。
これにより、例えば図７（Ａ）に示すような距離画像Ｌの全画素（ｖ，ｕ）に対して、ボクセル空間Ｖ毎のスコア値の加算が完了すると、例えば図７（Ｂ）に示すような３次元空間でのボクセル空間Ｖ単位でのスコア値の分布が得られる。
【００４５】
そして、スコア画像生成部５３は、例えば図７（Ｃ）に示すように、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれるボクセル空間Ｖのスコア値を、各画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像Ｓを生成する。
【００４６】
領域分割部５４は、内部座標設定部５２により生成された３つの各内部座標画像ＩＸ，ＩＹ，ＩＺ毎に、例えば図３（Ａ）、（Ｂ）に示すカーネルからなるソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、横偏微分画像および縦偏微分画像を算出する。
【００４７】
そして、領域分割部５４は、３つの各内部座標画像ＩＸ，ＩＹ，ＩＺ毎に横偏微分画像と縦偏微分画像とを合成することによって、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを生成する。
そして、例えば下記数式（６）に示すように、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを合成して、さらに、画素面積｜Ｎ（ｖ，ｕ）｜で除算して正規化を行なうことによって、３次元空間での複数の内部座標Ｉ（ｖ，ｕ）の分布に対してエッジを抽出した内部エッジ画像Ｄを生成する。
【００４８】
【数６】
0005401440.tif 000007
【００４９】
そして、領域分割部５４は、例えば下記数式（７）に示すように、内部エッジ画像Ｄにおいて、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ未満の領域を「１」とし、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ以上の領域を「０」とする２値化処理を行なうことによって、例えば図８（Ａ）に示すような２値化画像Ｂを生成する。
【００５０】
【数７】
0005401440.tif 000008
【００５１】
そして、領域分割部５４は、２値化画像Ｂにおいて、例えば８近傍ラベリングなどのラベリング処理を行なうことによって、例えば図８（Ｂ）に示すような、複数の異なる画像領域Ｅｎ（ｎは任意の自然数）からなる領域分割画像Ｅを生成する。
【００５２】
領域結合部５５は、内部座標設定部５２により生成された３つの各内部座標画像ＩＸ，ＩＹ，ＩＺを参照しつつ、領域分割部５４により生成された領域分割画像Ｅにおいて、複数の画像領域のうち内部座標Ｉ（ｖ，ｕ）の平均値の差が所定差以下の画像領域同士を単一の画像領域に結合して、領域結合画像Ｆを生成する。
なお、領域分割画像Ｅにおいて互いに結合されなかった画像領域は、変更無しに領域結合画像Ｆに含まれる。
【００５３】
例えば、内部エッジ画像Ｄにおいて乗員が着用している帽子のつば部分などに起因して所定閾値ＥｄｇｅＴｈｒｅｓｈ以上のエッジが抽出されと、例えば図９（Ａ），図１０（Ａ）に示すように、領域分割部５４によって乗員の頭部領域が２つの画像領域Ｅａ，Ｅｂに分割される。
一方、２つの画像領域Ｅａ，Ｅｂは単一の人体部位である頭部領域であることから、各画像領域Ｅａ，Ｅｂでの内部座標Ｉ（ｖ，ｕ）はほぼ等しく、２つの画像領域Ｅａ，Ｅｂ間において内部座標Ｉ（ｖ，ｕ）の平均値の差は所定差以下となり、例えば図９（Ｂ），図１０（Ｂ）に示すように、領域結合部５５によって２つの画像領域Ｅａ，Ｅｂが単一の画像領域Ｆ０に結合される。
【００５４】
球形状判定部５６は、スコア画像生成部５３により生成されたスコア画像Ｓを参照しつつ、領域結合部５５により生成された領域結合画像Ｆにおいて、複数の画像領域のうち、スコア値の平均値が所定の閾平均値以下の画像領域を除去する。
【００５５】
例えば、球形状判定部５６は、図１１（Ａ）に示すように複数の画像領域Ｆ１，…，Ｆｎにより構成される領域結合画像Ｆから、球形状度合いが閾値以下の画像領域、例えばシート平面部、乗員の肘、腹部などに対応する画像領域を除去し、例えば図１１（Ｂ）に示すような除去後の領域結合画像Ｆを生成する。
【００５６】
体積判定部５７は、画像処理部５１により生成されたＸＹＺ画像を参照しつつ、球形状判定部５６による処理後の領域結合画像Ｆにおいて、複数の画像領域のうち、体積が上限体積値以上または下限体積値以下の画像領域を除去する。
例えば乗員の胴体部に対応する画像領域Ｆ３と乗員の左右の大腿部に対応する画像領域Ｆ４，Ｆ５とを除去し、例えば図１１（Ｃ）に示すような除去後の領域結合画像Ｆを生成する。
なお、上限体積値および下限体積値は、人体の頭部の体積に対する閾値であって、人体の頭部の体積が上限体積値未満かつ下限体積値よりも大きいとして予め記憶されている。
【００５７】
例えば、体積判定部５７は、図１２に示すように、領域結合画像Ｆを構成する複数の画像領域Ｆｍ（ｍは任意の自然数）毎に、カメラ座標系での各軸の最大値（ＸＭＡＸ，ＹＭＡＸ，ＺＭＡＸ）および最小値（ＸＭＩＮ，ＹＭＩＮ，ＺＭＩＮ）を算出する。
そして、下記数式（８）に示すように、各軸の最大値（ＸＭＡＸ，ＹＭＡＸ，ＺＭＡＸ）および最小値（ＸＭＩＮ，ＹＭＩＮ，ＺＭＩＮ）から体積ｖｏｌを算出し、この体積ｖｏｌが、人体の頭部の体積に対する所定範囲を外れる上限体積値以上または下限体積値以下であるか否かを判定する。
【００５８】
【数８】
0005401440.tif 000009
【００５９】
これにより、体積判定部５７は、例えば図１１（Ｂ）に示すように複数の画像領域Ｆ１，…，Ｆ５により構成される領域結合画像Ｆから、体積が上限体積値以上または下限体積値以下となる画像領域、例えば乗員の胴体部に対応する画像領域Ｆ３と乗員の左右の大腿部に対応する画像領域Ｆ４，Ｆ５とを除去し、例えば図１１（Ｃ）に示すような除去後の領域結合画像Ｆを生成する。
【００６０】
ヘッドレスト判定部５８は、画像処理部５１により生成されたＸＹＺ画像を参照しつつ、体積判定部５７による処理後の領域結合画像Ｆにおいて、複数の画像領域のうち、所定方向（例えば、車両左右方向であるＢ方向など）の幅寸法が所定閾値以上の画像領域を除去する。
【００６１】
先ず、ヘッドレスト判定部５８は、例えば図１３，図１４に示すように、内部座標設定部５２により算出された法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとして距離画像から抽出する。
そして、ヘッドレスト判定部５８は、領域結合画像Ｆを構成する複数の画像領域のうち、正面領域ＳＡが抽出された画像領域毎に対して、正面領域ＳＡのシート座標系でのＢ軸の最大値および最小値から車両左右方向の幅寸法（Ｂ方向幅）を算出する。
【００６２】
そして、ヘッドレスト判定部５８は、例えば図１１（Ｃ）に示すように複数の画像領域Ｆ１，Ｆ２により構成される領域結合画像Ｆから、Ｂ方向幅が所定閾値以上の正面領域ＳＡを有する画像領域、例えばシート１６のヘッドレスト１６ａに対応する画像領域Ｆ１を除去し、例えば図１１（Ｄ）に示すような除去後の領域結合画像Ｆを生成する。
なお、Ｂ方向幅に対する所定閾値は、人体の頭部よりも大きなＢ方向幅を有する部位、例えばシート１６のヘッドレスト１６ａなどを抽出するために予め記憶されている値である。例えば図１３に示すように、距離画像から検知されるヘッドレスト１６ａのＢ方向幅ＬＢ１およびバックレスト１６ｂのＢ方向幅ＬＢ２は所定閾値以上となり、これらに対応する正面領域ＳＡを有する画像領域は領域結合画像Ｆから除去される。
【００６３】
頭部領域判定部５９は、スコア画像生成部５３により生成されたスコア画像Ｓを参照しつつ、ヘッドレスト判定部５８による処理後の領域結合画像Ｆにおいて、複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する。
【００６４】
乗員判定部６０は、頭部領域判定部５９により抽出された頭部領域に基づき、乗員の種別や姿勢や各種の補助シート（チャイルドシートやブースターシートなど）の有無などを判定する。
駆動制御部６１は、乗員判定部６０による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御する。
【００６５】
本実施の形態による乗員頭部検知装置１０は上記構成を備えており、次に、この乗員頭部検知装置１０の動作について説明する。
【００６６】
先ず、例えば図１５に示すステップＳ０１においては、単眼距離画像センサ１１から出力された距離画像に対する前処理として、カメラ座標系でのＸＹＺ画像を生成し、これらのＸＹＺ画像に対して輝度画像を参照して平滑化およびノイズ除去などの画像処理を行なう。
そして、画像処理後のＸＹＺ画像を、一時的にシート座標系の画像に変換して車室内の所定の構造物（例えば、ピラー、ドア、ダッシュボード、センターコンソールなど）に関連するデータを除去し、この除去後の画像を、再びカメラ座標系でのＸＹＺ画像に変換する。
【００６７】
次に、ステップＳ０２〜ステップＳ０５においては、ＸＹＺ画像において乗員の頭部が存在する頭部領域の候補となる領域を抽出する処理を行なう。
先ず、ステップＳ０２においては、ＸＹＺ画像に対応する距離画像を構成する複数の画素毎に３次元空間での法線ベクトルの逆方向に固定長の逆ベクトルを算出し、該逆ベクトルにより指定される３次元空間での位置座標を内部座標とする内部座標設定の処理を行なう。
【００６８】
次に、ステップＳ０３においては、３次元空間を構成する複数の単位空間毎に該単位空間内に含まれる内部座標の総数に係るスコア値を算出し、距離画像の各画素毎に対応する内部座標が含まれる単位空間のスコア値を、所定の大きさの球形状の指標として、各画素毎の画素値に対応させて示すスコア画像Ｓを生成するスコア画像生成の処理を行なう。
【００６９】
次に、ステップＳ０４においては、３次元空間での複数の内部座標の分布に対してエッジを抽出して、エッジに応じてスコア画像Ｓを複数の画像領域に分割する領域分割の処理を行なう。
次に、ステップＳ０５においては、複数の画像領域のうち内部座標の平均値の差が所定差以下の画像領域同士を単一の画像領域に結合する領域結合の処理を行なう。
【００７０】
次に、ステップＳ０６〜ステップＳ０８においては、上述したステップＳ０２〜ステップＳ０５において頭部領域の候補となる領域として抽出された領域のうちから、頭部領域の候補として適さない領域を除外する処理を行なう。
先ず、ステップＳ０６においては、複数の画像領域のうちから、所定の大きさの球形状の度合いが所定程度よりも低い画像領域を除去する球形状判定の処理を行なう。
【００７１】
次に、ステップＳ０７においては、複数の画像領域のうちから、体積が人体の頭部の体積に対する所定範囲を外れる画像領域を除去する体積判定の処理を行なう。
次に、ステップＳ０８においては、複数の画像領域のうちから、所定方向の幅寸法が人体の頭部に対する所定寸法範囲を外れる画像領域を除去するヘッドレスト判定の処理を行なう。
【００７２】
次に、ステップＳ０９においては、この時点で頭部領域の候補として残っている複数の画像領域のうち、スコア値の平均値が最も高い画像領域を、乗員の頭部が存在する頭部領域であると判定する頭部領域判定の処理を行なう。
次に、ステップＳ１０においては、抽出された頭部領域に基づき、乗員の種別や姿勢や各種の補助シート（チャイルドシートやブースターシートなど）の有無などを判定する乗員判定の処理を行なう。
【００７３】
次に、ステップＳ１１においては、乗員判定の処理による判定結果と、例えば車両１３の急減速を検出する加速度センサなどの衝突センサ７０から出力される検出結果の信号とに基づき、車両１３に搭載されたエアバッグ（例えば、フロントエアバッグ）１４の展開を制御し、エンドに進む。
【００７４】
以下に、上述したステップＳ０２での内部座標設定の処理について説明する。
先ず、例えば図１６に示すステップＳ２１においては、３つのＸＹＺ画像に対して、例えばソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、３つのＸＹＺ画像毎に横偏微分画像および縦偏微分画像を算出する。
【００７５】
次に、ステップＳ２２においては、上記数式（１）を用いて、横偏微分画像および縦偏微分画像と、カメラ座標系での各軸（Ｘ軸、Ｙ軸、Ｚ軸）の単位ベクトルとにより、縦画素ｖおよび横画素ｕで指定される距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ（ｖ，ｕ）を算出する。
【００７６】
次に、ステップＳ２３においては、上記数式（２），（３）を用いて、法線ベクトルＮ（ｖ，ｕ）の逆方向に固定長の逆ベクトル、つまり頭部ベクトルＨ（ｖ，ｕ）を算出する。
【００７７】
次に、ステップＳ２４においては、上記数式（４），（５）を用いて、距離画像の各画素（ｖ，ｕ）の位置をカメラ座標系で示す観測画素座標Ｐ（ｖ，ｕ）と頭部ベクトルＨ（ｖ，ｕ）と合成して、内部座標Ｉ（ｖ，ｕ）を算出し、リターンに進む。
【００７８】
以下に、上述したステップＳ０３でのスコア画像生成の処理について説明する。
先ず、例えば図１７に示すステップＳ３１においては、単眼距離画像センサ１１の撮像領域を含む３次元空間を構成する複数の単位空間（３次元の座標空間）として、所定長（例えば、５０ｍｍなど）を一辺の長さとする複数の立方体（ボクセル空間）Ｖを設定する。
【００７９】
次に、ステップＳ３２においては、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれるボクセル空間Ｖに対して、各画素（ｖ，ｕ）の画素面積をスコア値として加算する。
【００８０】
次に、ステップＳ３３においては、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）が含まれるボクセル空間Ｖのスコア値を、各画素（ｖ，ｕ）毎の画素値に対応させて示すスコア画像Ｓを生成し、リターンに進む。
【００８１】
以下に、上述したステップＳ０４での領域分割の処理について説明する。
先ず、例えば図１８に示すステップＳ４１においては、距離画像の各画素（ｖ，ｕ）毎に対応する内部座標Ｉ（ｖ，ｕ）の各軸成分（Ｘ内部座標、Ｙ内部座標、Ｚ内部座標）を、各画素（ｖ，ｕ）毎の画素値に対応させて示す３つのＸ内部座標画像ＩＸおよびＹ内部座標画像ＩＹおよびＺ内部座標画像ＩＺ毎に、例えばソーベルフィルターなどの偏微分フィルターによる畳み込み演算により、各画素毎に横方向の偏微分と縦方向の偏微分とを行なうことによって、横偏微分画像および縦偏微分画像を算出する。
【００８２】
次に、ステップＳ４２においては、３つの各内部座標画像ＩＸ，ＩＹ，ＩＺ毎に横偏微分画像と縦偏微分画像とを合成することによって、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを生成する。
そして、３つの内部エッジ画像ＤＸ，ＤＹ，ＤＺを合成し、画素面積｜Ｎ（ｖ，ｕ）｜で除算して正規化を行なうことによって、３次元空間での複数の内部座標Ｉ（ｖ，ｕ）の分布に対してエッジを抽出した内部エッジ画像Ｄを生成する。
そして、内部エッジ画像Ｄにおいて、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ未満の領域を「１」とし、画素値が所定閾値ＥｄｇｅＴｈｒｅｓｈ以上の領域を「０」とする２値化処理を行なうことによって、２値化画像Ｂを生成する。
【００８３】
次に、ステップＳ４３においては、２値化画像Ｂにおいて、例えば８近傍ラベリングなどのラベリング処理を行なうことによって、複数の異なる画像領域からなる領域分割画像Ｅを生成し、リターンに進む。
【００８４】
以下に、上述したステップＳ０５での領域結合の処理について説明する。
先ず、例えば図１９に示すステップＳ５１においては、領域分割画像Ｅを構成する複数の画像領域毎に内部座標Ｉ（ｖ，ｕ）の平均値を算出する。
次に、ステップＳ５２においては、内部座標Ｉ（ｖ，ｕ）の平均値の差が所定差よりも大きい画像領域同士は、互いに独立した画像領域であるとし、一方、内部座標Ｉ（ｖ，ｕ）の平均値の差が所定差以下の画像領域同士は単一の画像領域に結合して、領域結合画像Ｆを生成し、リターンに進む。
【００８５】
以下に、上述したステップＳ０６での球形状判定の処理について説明する。
先ず、例えば図２０に示すステップＳ６１においては、領域結合画像Ｆを構成する複数の画像領域毎にスコア値の平均値を算出する。
次に、ステップＳ６２においては、領域結合画像Ｆを構成する複数の画像領域のうちから、スコア値の平均値が所定の閾平均値以下の画像領域を除去し、リターンに進む。
【００８６】
以下に、上述したステップＳ０７での体積判定の処理について説明する。
先ず、例えば図２１に示すステップＳ７１においては、領域結合画像Ｆを構成する複数の画像領域毎に、カメラ座標系での各軸の最大値および最小値を算出し、上記数式（８）を用いて、各軸の最大値および最小値から画像領域の体積を算出する。
次に、ステップＳ７２においては、領域結合画像Ｆを構成する複数の画像領域のうちから、体積が所定範囲を外れる上限体積値以上または下限体積値以下である画像領域を除去し、リターンに進む。
【００８７】
以下に、上述したステップＳ０８でのヘッドレスト判定の処理について説明する。
先ず、例えば図２２に示すステップＳ８１においては、距離画像の各画素（ｖ，ｕ）毎の法線ベクトルＮ（ｖ，ｕ）が車両左右方向（Ｂ方向）に傾く角度が所定閾角度以下である領域を正面領域ＳＡとして距離画像から抽出する。
【００８８】
次に、ステップＳ８２においては、領域結合画像Ｆを構成する複数の画像領域のうち、正面領域ＳＡが抽出された画像領域毎に対して、正面領域ＳＡのシート座標系でのＢ軸の最大値および最小値から車両左右方向の幅寸法（Ｂ方向幅）を算出する。
【００８９】
次に、ステップＳ８３においては、領域結合画像Ｆを構成する複数の画像領域のうちから、Ｂ方向幅が所定閾値以上の正面領域ＳＡを有する画像領域を除去し、リターンに進む。
【００９０】
上述したように、本実施の形態による乗員頭部検知装置１０によれば、先ず、単眼距離画像センサ１１から出力される距離画像の画素毎に、法線ベクトルＮ（ｖ，ｕ）の逆方向に固定長の逆ベクトル（頭部ベクトルＨ（ｖ，ｕ））による内部座標Ｉ（ｖ，ｕ）を算出する。そして、内部座標Ｉ（ｖ，ｕ）を用いた投票方式によってボクセル空間Ｖ毎のスコア値を算出し、スコア値が所定の大きさの球形状の指標となることに応じて乗員の頭部領域を抽出することから、演算負荷の増大を防止しつつ頭部領域の検知精度を向上させることができる。
【００９１】
つまり、予め記憶する参考画像やモデルを用いること無しに乗員の頭部領域を抽出することができることから、演算負荷の増大や演算速度の低下を防止することができる。
また、単眼距離画像センサ１１の撮像により得られる画像領域の撮影方向や大きさなどに依存して頭部領域の抽出が大きく変動してしまうことを防止することができ、抽出結果の信頼性および安定性を向上させることができる。
また、カラー画像を用いること無しに、あるいは、顔領域の検出を必要とせずに、乗員の頭部領域を抽出することができ、装置構成に要する費用が嵩むことを防止し、頭部領域の誤検知を抑制し、的確な抽出を行なうことができる。
【００９２】
さらに、複数の分割領域のうち内部座標の平均値の差が所定差以下の分割領域同士を単一の結合領域に結合することから、例えば乗員が着用している帽子のつば部分などにおいてエッジが抽出されることで頭部領域が不必要に分割された場合であっても適切に結合することができ、頭部領域を適切に抽出することができる。
【００９３】
さらに、頭部領域の候補となる領域として抽出された領域のうちから、スコア値と体積と所定方向の幅寸法とに基づいて、頭部領域の候補として適さない領域を除外する処理を行なうことから、頭部領域の誤検知を抑制し、的確な抽出を行なうことができる。
【００９４】
なお、上述した実施の形態において、領域結合部５５は複数の画像領域の内部座標Ｉ（ｖ，ｕ）の平均値に基づいて画像領域同士を結合するとしたが、これに限定されず、平均値以外の他の指標に基づいて画像領域同士を結合してもよい。
【００９５】
また、上述した実施の形態において、球形状判定部５６は複数の画像領域のスコア値の平均値に基づいて画像領域を除去するとしたが、これに限定されず、平均値以外の他の指標に基づいて画像領域を除去してもよい。
【符号の説明】
【００９６】
１０  乗員頭部検知装置
１１  単眼距離画像センサ
１２  制御装置
２２  受光部（撮像手段）
２３  処理部（距離画像生成手段）
５１  画像処理部
５２  内部座標設定部（内部座標設定手段）
５３  スコア画像生成部（スコア画像生成手段）
５４  領域分割部（頭部領域抽出手段、エッジ抽出手段、領域分割手段）
５５  領域結合部（頭部領域抽出手段、領域結合手段）
５６  球形状判定部（頭部領域抽出手段、領域除外手段）
５７  体積判定部（頭部領域抽出手段、領域除外手段）
５８  ヘッドレスト判定部（頭部領域抽出手段、領域除外手段）
５９  頭部領域判定部（頭部領域抽出手段）
６０  乗員判定部
６１  駆動制御部
ステップＳ０４〜Ｓ０９  頭部領域抽出手段
ステップＳ０５  領域結合手段
ステップＳ０６〜Ｓ０８  領域除外手段
ステップＳ４１  エッジ抽出手段
ステップＳ４３  領域分割手段
【図１】
0005401440.tif 000010
【図２】
0005401440.tif 000011
【図３】
0005401440.tif 000012
【図４】
0005401440.tif 000013
【図６】
0005401440.tif 000014
【図１３】
0005401440.tif 000015
【図１５】
0005401440.tif 000016
【図１６】
0005401440.tif 000017
【図１７】
0005401440.tif 000018
【図１８】
0005401440.tif 000019
【図１９】
0005401440.tif 000020
【図２０】
0005401440.tif 000021
【図２１】
0005401440.tif 000022
【図２２】
0005401440.tif 000023
【図５】
0005401440.tif 000024
【図７】
0005401440.tif 000025
【図８】
0005401440.tif 000026
【図９】
0005401440.tif 000027
【図１０】
0005401440.tif 000028
【図１１】
0005401440.tif 000029
【図１２】
0005401440.tif 000030
【図１４】
0005401440.tif 000031