(57)【要約】      （修正有）【課題】シート上の乗員に関する情報を精度良く且つ簡便に検出する技術を提供する。【解決手段】３Ｄカメラ１１２と、３Ｄカメラ１１２において検出された三次元画像に基づいて、シート上の検出体の立体表面形状に関する情報を抽出する情報抽出処理部１５１と、情報抽出処理部１５１によって抽出された情報を、所定の座標系の数値座標に変換する変換処理部１５２と、変換処理部１５２によって変換された数値座標のうち、検出体と３Ｄカメラ１１２との間に延在する座標軸の座標成分に関し、任意の二点についての第１及び第２の座標成分と、これら任意の二点の中点についての第３の座標成分を用い、第１及び第２の座標成分の平均値を第３の座標成分から差し引いた演算値を導出する演算処理部１５３と、演算処理部１５３によって導出された演算値に基づいて、任意の二点及び中点によって形成される線分の凹凸形状を判定する判定処理部１５４を有する構成とされる。【選択図】図１
2008269496.tif 000002
【特許請求の範囲】
【請求項１】
車両シート上の車両乗員に関する情報を検出する乗員情報検出システムであって、
車両シート領域に向けて配設され、三次元画像を検出する画像検出部と、
前記画像検出部において検出された三次元画像に基づいて、前記車両シート上の検出体の立体表面形状に関する情報を抽出する情報抽出処理部と、
前記情報抽出処理部によって抽出された情報を、所定の座標系の数値座標に変換する変換処理部と、
前記変換処理部によって変換された数値座標のうち、前記検出体と前記画像検出部との間に延在する座標軸の座標成分に関し、任意の二点についての第１及び第２の座標成分と、これら任意の二点の中点についての第３の座標成分を用い、前記第１及び第２の座標成分の平均値を前記第３の座標成分から差し引いた演算値を導出する演算処理部と、
前記演算処理部によって導出された前記演算値に基づいて、前記任意の二点及び前記中点によって形成される線分の凹凸形状を判定する判定処理部と、
を備え、
前記判定処理部は、前記演算値が負である場合に前記線分によって前記画像検出部に向かう凸部が形成され、前記演算値が正である場合に前記線分によって前記画像検出部に向かう凹部が形成され、また前記演算値が零である場合に前記線分によって平面が形成されていると判定することを特徴とする乗員情報検出システム。
【請求項２】
請求項１に記載の乗員情報検出システムであって、
前記演算処理部は、前記任意の二点及び前記中点によって形成される線分が前記画像検出部に向かう凸部を形成すると前記判定処理部が判定した場合に、更に前記検出体のうち前記中点を中心とした径方向に関する距離或いは回転方向に関する角度が前記任意の二点とは異なる複数組みの二点を設定し、各組みの二点及び前記中点について前記第１及び第２の座標成分の平均値を前記第３の座標成分から差し引いた演算値をそれぞれ導出する第２の演算ステップを有し、
前記判定処理部は、前記演算処理部によって導出された各演算値に基づいて、各組みの二点及び前記中点によって形成される線分の凹凸形状をそれぞれ判定し、前記画像検出部に向かう凸部を形成する線分の頻度が相対的に多い場合に、前記中点が車両乗員の顔情報を形成していると判定する第２の判定ステップを有することを特徴とする乗員情報検出システム。
【請求項３】
請求項２に記載の乗員情報検出システムであって、
前記演算処理部は、前記第２の演算ステップにおいて、前記中点を中心とした径方向に関する距離を、車両乗員の顔の大きさに応じて予め規定された規定距離内において設定することを特徴とする乗員情報検出システム。
【請求項４】
請求項２または３に記載の乗員情報検出システムであって、
前記演算処理部は、前記検出体の車両上方側から車両下方側の順で前記任意の二点及び前記中点を設定し、
前記判定処理部は、前記第２の判定ステップにおいて車両乗員の顔情報を形成していると最初に判定した中点の位置に基づいて、当該車両乗員の顔の位置を判定する第３の判定ステップを有することを特徴とする乗員情報検出システム。
【請求項５】
請求項４に記載の乗員情報検出システムであって、
前記判定処理部は、前記第３の判定ステップにおいて判定した車両乗員の顔の位置に基づいて、当該車両乗員の体格ないし姿勢を判定する第４の判定ステップを有することを特徴とする乗員情報検出システム。
【請求項６】
請求項１〜５のうちのいずれかに１項に記載の乗員情報検出システムと、
車両事故発生の際に車両乗員を拘束する乗員拘束装置と、
前記判定処理部が前記第４の判定ステップにおいて判定した、前記車両乗員の体格ないし姿勢に応じて、前記乗員拘束装置による拘束態様を可変とする制御装置と、
を備える構成であることを特徴とする乗員拘束システム。
【請求項７】
エンジン走行系統と、
電装系統と、
前記エンジン走行系統及び電装系統の駆動制御を行う駆動制御装置と、
車両シートと、
前記車両シート領域に向けて配設され、三次元画像を検出する画像検出装置と、
前記画像検出装置により得られた情報を、前記駆動制御装置にて処理する処理装置と、
を有し、
前記処理装置は、請求項１〜５のうちのいずれかに１項に記載の乗員情報検出システムを備えることを特徴とする車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載される乗員情報検出システムの構築技術に関するものである。
【背景技術】
【０００２】
従来、車両事故の際、エアバッグなどによって車両乗員を拘束する乗員拘束装置が知られている。例えば、下記特許文献１には、車両乗員の状態を推定する乗員状態推定手段として、車両乗員を撮影するカメラ等を用い、当該乗員状態推定手段が推定した乗員の状態に基づいて、エアバッグなどの乗員拘束手段を制御しようとする構成が開示されている。
【特許文献１】特開２００２−２６４７４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、車両事故の際などに車両乗員の拘束を図るこの種の乗員拘束装置においては、車両シート上の車両乗員の体格や姿勢などの情報を、カメラなどの検知手段を用いて精度良く把握する技術に対する要請が高い。例えば、車両乗員の実際の体格と外観上の体格に関しては、着衣の厚み等により両体格に誤差を生じるところ、車両乗員の実際の体格を精度良く把握することが必要とされる。しかしながら、上記特許文献１には、車両乗員の状態を検知手段によって推定する思想の開示はあるものの、車両乗員の体格や姿勢等を精度良く把握するのに有効な具体的構成についての記載は見られない。また、車両乗員の体格や姿勢等を演算する処理に関しては、演算処理負荷や記憶容量を抑えた簡便な処理を用いる要請がある。
そこで、本発明は、かかる点に鑑みてなされたものであり、車両シート上の車両乗員に関する情報を精度良く且つ簡便に検出するのに有効な技術を提供することを課題とする。
【課題を解決するための手段】
【０００４】
前記課題を解決するために、本発明が構成される。本発明は、典型的には自動車において車両シート上の車両乗員に関する情報を検出する乗員情報検出システムに対し適用することができるが、自動車以外の車両において、車両シート上の車両乗員に関する情報を検出する乗員情報検出システムの構築技術に対しても同様に、本発明を適用することが可能である。ここでいう「車両」には、自動車、航空機、船舶、電車、バス、トラック等の各種の車両が包含される。
【０００５】
本発明にかかる乗員検出システムは、車両シート上の車両乗員に関する情報を検出するシステムであって、画像検出部、情報抽出処理部、変換処理部、演算処理部及び判定処理部を少なくとも備える。ここでいう「車両乗員」には、車両シート上に直接的に着座した運転席乗員（運転者）、助手席乗員、後部座席乗員をはじめ、チャイルドシートやジュニアシートなどを介して間接的に着座した乗員などが包含される。また、本発明において「車両乗員に関する情報」には、車両乗員の体格、車両乗員の姿勢、車両乗員の位置、車両乗員の各身体部位の位置や形状、車両乗員の有無などが広く包含される。
【０００６】
画像検出部は、車両シート領域に向けて配設され、三次元画像を検出する機能を有する。ここでいう「車両シート領域」は、車両シートの周辺領域であって、典型的にはシートバックやヘッドレストの前方領域ないし上部領域や、シートクッションの上方領域として規定される。この画像検出部としては、単眼Ｃ−ＭＯＳ３Ｄカメラや複眼ステレオ３Ｄカメラ、レーザースキャナーなどが用いられる。この画像検出部の設置場所に関しては、車両シートに向かう位置を適宜選択することが可能であり、典型的にはピラー、ダッシュボード、ルームミラー近傍等を選択することができる。また、この画像検出部は、必要に応じて１または複数設置することが可能である。
【０００７】
情報抽出処理部は、画像検出部において検出された三次元画像に基づいて、車両シート上の検出体の立体表面形状に関する情報を抽出する処理を行う。このとき、画像検出部によって検出された三次元画像は距離情報を含んでおり、画像検出部からの距離に応じた情報を抽出することが可能である。これによって、車両シート領域の検出体の画像情報（三次元画像情報）が精度良く抽出されることとなる。この情報抽出処理部によって抽出された情報は、変換処理部によって、所定の座標系の数値座標に変換される。ここでいう「所定の座標系」として、直交座標系、極座標系、斜交座標系、一般化座標系等、種々の座標系を用いることができる。
【０００８】
演算処理部は、変換処理部によって変換された数値座標のうち、検出体と画像検出部との間に延在する座標軸の座標成分に関し、任意の二点についての第１及び第２の座標成分と、これら任意の二点の中点についての第３の座標成分を用い、第１及び第２の座標成分の平均値を第３の座標成分から差し引いた演算値を導出する処理を行う。
【０００９】
判定処理部は、演算処理部によって導出された演算値に基づいて、任意の二点及び中点によって形成される線分、すなわち三点によって形成される線分の凹凸形状を判定する処理を行う。そして、この判定処理部は、演算値が負である場合に線分によって画像検出部（車両前方）に向かう凸部が形成され、演算値が正である場合に線分によって画像検出部に向かう凹部が形成され、また演算値が零である場合に線分によって平面が形成されていると判定する。この判定処理は、車両乗員の顔は球形ないし卵形であり、画像検出部（車両前方）に向かう凸部は車両乗員の顔を形成している可能性が高いという考えに基づくものである。
【００１０】
本発明にかかる乗員検出システムのこのような構成によれば、車両シート上の車両乗員の三次元画像から得られる情報のうち、特に車両乗員の顔に特化した情報に着目するとともに、顔を特定するに際し、座標変換された数値座標のうちの任意の三点によって形成される凹凸形状を判定することによって、車両シート上の車両乗員の顔情報を精度良く、また演算処理負荷や記憶容量を抑えて簡便に検出することが可能となる。
【００１１】
本発明にかかる更なる形態の乗員検出システムでは、前記の演算処理部は、更に第２の演算ステップを有し、また前記の判定処理部は、更に第２の判定ステップを有するのが好ましい。
演算処理部の第２の演算ステップでは、任意の二点及び中点によって形成される線分が画像検出部に向かう凸部を形成すると判定処理部が判定した場合に、更に検出体のうち中点を中心とした径方向に関する距離或いは回転方向に関する角度が任意の二点とは異なる複数組みの二点を設定し、各組みの二点及び中点について第１及び第２の座標成分の平均値を第３の座標成分から差し引いた演算値をそれぞれ導出する。
判定処理部の第２の判定ステップでは、演算処理部によって導出された各演算値に基づいて、各組みの二点及び前記中点によって形成される線分の凹凸形状をそれぞれ判定し、画像検出部に向かう凸部を形成する線分の頻度が相対的に多い場合に、中点が車両乗員の顔情報を形成していると判定する。当該線分の頻度が相対的に多いか否かの判別に関しては、当該線分の度数（数）、当該線分が全部の線分に占める割合、更にこれら度数や割合に対応した各種のパラメータに基づいて判別を行うことができる。このような構成によれば、更に演算処理部の第２の演算ステップ及び判定処理部の第２の判定ステップを遂行することによって、車両シート上の車両乗員の顔情報の検出精度を高めることが可能となる。
【００１２】
本発明にかかる更なる形態の乗員検出システムでは、前記の演算処理部は、第２の演算ステップにおいて、中点を中心とした径方向に関する距離を、車両乗員の顔の大きさに応じて予め規定された規定距離内において設定するのが好ましい。
このような構成によれば、車両乗員の一般的な顔の大きさの範囲外の点について、顔以外の凸部に関する演算値が演算されるのを防止することが可能となる。
【００１３】
本発明にかかる更なる形態の乗員検出システムでは、前記の演算処理部は、検出体の車両上方側から車両下方側の順で任意の二点及び中点を設定し、また前記の判定処理部は、第３の判定ステップを有するのが好ましい。この第３の判定ステップでは、第２の判定ステップにおいて車両乗員の顔情報を形成していると最初に判定した中点の位置に基づいて、当該車両乗員の顔の位置を判定する。この演算処理及び判定処理は、車両乗員の顔は体の各部位のうちの最上位にあり、車両上方側から車両下方側に向けて検索を行うことによって車両乗員の顔を速やかに検出することができるという考えに基づくものである。
このような構成によれば、車両乗員の顔を検出するまでに要する演算処理負荷や記憶容量を抑えることができるため合理的である。
【００１４】
本発明にかかる更なる形態の乗員検出システムでは、前記の判定処理部は、第４の判定ステップを有するのが好ましい。この第４の判定ステップでは、第３の判定ステップにおいて判定した車両乗員の顔の位置に基づいて、当該車両乗員の体格ないし姿勢を判定する。
このような構成によれば、車両乗員の顔の位置に関する情報を用いて、当該車両乗員の体格ないし姿勢に関する情報を精度良く且つ簡便に検出することが可能となる。
【００１５】
本発明にかかる乗員拘束システムは、上述の各乗員情報検出システム、乗員拘束装置及び制御装置を少なくとも備える。乗員拘束装置は、車両事故発生の際に車両乗員を拘束する装置として構成される。ここでいう「乗員拘束装置」には、エアバッグ装置（エアバッグモジュール）やシートベルト装置などの乗員拘束デバイスが広く包含される。
制御装置は、判定処理部が第４の判定ステップにおいて判定した、車両乗員の体格ないし姿勢に応じて、乗員拘束装置による拘束態様を可変とする装置として構成される。例えば、車両事故の際、エアバッグに展開膨張用のガスを供給するガス供給手段としてのインフレータの動作（ガス圧力、ガス流量など）や、シートベルトを制御するプリテンショナーやリトラクタなどの動作（シートベルトの張力の巻き取り量、巻き取り速度など）が、車両乗員の体格ないし姿勢に基づいて可変とされる。なお、この制御装置は、乗員拘束装置の制御専用として構成されてもよいし、或いは車両のエンジン走行系統や電装系統を駆動制御する装置と兼用とされてもよい。
このような構成によれば、車両乗員に関する信頼性の高い情報に応じて、乗員拘束装置による乗員拘束態様が制御されることとなり、これによって車両乗員の拘束徹底が図られる。
【００１６】
本発明にかかる車両は、エンジン走行系統、電装系統、駆動制御装置、車両シート、画像検出装置及び処理装置を少なくとも備える。
エンジン走行系統は、エンジン及び車両の走行に関与する系統として構成される。電装系統は、車両に使われる電機部品に関与する系統として構成される。駆動制御装置は、エンジン走行系統及び電装系統の駆動制御を行う装置として構成される。画像検出装置は、車両シート領域に向けて配設され、三次元画像を検出する装置として構成される。処理装置は、画像検出装置により得られた情報を、駆動制御装置にて処理する装置として構成される。この処理装置は、上述の各乗員情報検出システムを備える構成とされる。本構成において、乗員情報検出システムによって検出された、車両乗員に関する情報は、処理手段において適宜処理され、車両乗員を拘束するべく作動する乗員拘束装置をはじめ、車両に関する種々の制御に用いられる。
このような構成によれば、乗員情報検出システムによって精度良く検出された、車両乗員に関する情報を、車両に関する種々の制御に用いる車両が提供されることとなる。
【発明の効果】
【００１７】
以上のように、本発明によれば、車両シート上の車両乗員の三次元画像から得られる情報のうち、特に車両乗員の顔に特化した情報に着目するとともに、顔を特定するに際し、座標変換された数値座標のうちの任意の三点によって形成される凹凸形状を判定することによって、車両シート上の車両乗員に関する情報を精度良く且つ簡便に検出することが可能となった。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態につき図面を参照しつつ詳細に説明する。
【００１９】
本発明における「乗員拘束システム」の一実施の形態である車両搭載用の乗員拘束システム１００の構成が図１に示される。
図１に示すように、本実施の形態の乗員拘束システム１００は、本発明における「車両」としての自動車にて、運転席の車両乗員用として搭載されるものであり、撮影手段１１０、制御手段１２０及び乗員拘束装置２００を主体に構成されている。また、当該車両は、特に図示しないものの、エンジン及び車両の走行に関与する系統であるエンジン走行系統（本発明における「エンジン走行系統」に相当）、車両に使われる電機部品に関与する系統である電装系統（本発明における「電装系統」に相当）、エンジン走行系統及び電装系統の駆動制御を行う駆動制御手段を備える。当該駆動制御手段は、乗員拘束システム１００を構成する制御手段１２０（本発明における「制御装置」及び「処理装置」に相当する）によって兼用されてもよいし、或いはエンジン走行系統や電装系統に専用に設けられてもよい。
【００２０】
撮影手段１１０は、撮影デバイスとしての３Ｄカメラ１１２及びデータ転送回路を含む構成とされる。３Ｄカメラ１１２は、Ｃ−ＭＯＳ又はＣＣＤ（電荷結合素子）を用いたうえで、光センサをアレイ状（格子状）に配置した３Ｄ（三次元画像）式のカメラ（「モニター」といもいう）として構成される。この３Ｄカメラ１１２によって、単一視点に関する三次元画像が得られることとなり、検出体までの距離が複数回計測されて立体表面形状が検出されることで、当該検出体の有無、大きさ、位置、姿勢などが認識される。この３Ｄカメラ１１２として、単眼Ｃ−ＭＯＳ３Ｄカメラや複眼ステレオ３Ｄカメラを用いることができる。この撮影手段１１０（３Ｄカメラ１１２）が、本発明における「車両シート領域に向けて配設され、三次元画像を検出する画像検出部」に相当する。この３Ｄカメラ１１２にかえて、三次元画像を得るレーザースキャナーを用いることもできる。
【００２１】
この３Ｄカメラ１１２は、典型的には、自動車の車両前方のインパネ、Ａピラー又はフロントガラス周辺に埋め込み状に設置されるとともに、１または複数の車両乗員を撮影可能な向きに取り付けられる。運転席シート１０側のＡピラーに設置された３Ｄカメラ１１２によって運転者Ｐが撮影される様子が図２に示される。
【００２２】
制御手段１２０は、更に画像処理部１３０、演算手段（ＭＰＵ）１５０、記憶部１７０、入出力部１９０、また特に図示しないものの入出力装置、周辺装置等を少なくとも備える。この制御手段１２０は、撮影手段１１０の３Ｄカメラ１１２によって撮影された画像に基づいて、乗員情報に関する処理を行う乗員情報処理装置（ＣＰＵ）として構成される。この制御手段１２０と、撮影手段１１０（３Ｄカメラ１１２）とによって、本発明における「乗員情報検出システム」が構成される。
【００２３】
画像処理部１３０は、品質の良い画像を得るためのカメラ制御や、３Ｄカメラ１１２によって撮影した画像を加工分析するための画像処理制御を行う手段として構成される。具体的には、カメラ制御においては、フレームレート、シャッター時間、感度調整、精度補正が行われ、ダイナミックレンジや輝度、ホワイトバランスなどが調整される。また、画像処理制御においては、画像の回転補正やレンズ歪み補正、フィルター演算、差分演算などの画像前処理演算と、形状判定やトラッキングなどの画像認識処理演算が実行される。
【００２４】
本実施の形態の演算手段１５０は、情報抽出処理部１５１、変換処理部１５２、演算処理部１５３及び判定処理部１５４を少なくとも備える。この演算手段１５０は、情報抽出処理部１５１、変換処理部１５２、演算処理部１５３及び判定処理部１５４のうちの複数を、構成或いは機能において適宜組み合わせてもよい。
【００２５】
演算手段１５０を構成する情報抽出処理部１５１では、３Ｄカメラ１１２において検出された三次元画像に基づいて、運転席シート上の検出体の立体表面形状に関する情報を抽出する処理を行う。この情報抽出処理部１５１が、本発明における「情報抽出処理部」に相当する。この情報抽出処理部１５１は、具体的には、画像処理部１３０の三次元画像から、運転席シート領域のうちシートバック上部領域の画像情報のみを抽出（導出）する。ここでいう「運転席シート領域」は、運転席シートの周辺領域であって、典型的にはシートバックやヘッドレストの前方領域ないし上部領域や、シートクッションの上方領域として規定される。
【００２６】
演算手段１５０を構成する変換処理部１５２は、情報抽出処理部１５１によって抽出された情報を、所定の座標系の数値座標に変換する処理を行う。この座標系としては、直交座標系、極座標系、斜交座標系、一般化座標系等、種々の座標系を用いることができる。情報抽出処理部１５１によって抽出された情報が、この変換処理部１５２によって直交座標系の数値座標に変換された画素情報Ｐ１が図３に示される。また、この変換処理部１５２は、３Ｄカメラ１１２を中心とした座標系を座標変換し、車体を中心とした座標系に変換する処理を行う。車体を中心とした座標系としては、車体前方側から車両乗員を視た視点に関する座標系、車体側方から車両乗員を視た視点に関する座標系、車体上方から車両乗員を視た視点に関する座標系などを用いることができる。３Ｄカメラ１１２を中心とした座標系が、この変換処理部１５２によって車体前方側から運転者Ｐを視た視点に関する座標系に変換された画素情報Ｐ２が図４に示される。なお、この座標変換処理については、図５に示すような回転行列を用いることができる。ここでいう変換処理部１５２が、本発明における「変換処理部」に相当する。
【００２７】
演算手段１５０を構成する演算処理部１５３は、変換処理部１５２によって得られた画素情報Ｐ２のうちの任意の三点を用いて、運転者の凹凸形状を判別する凹凸形状判別値Ｖを演算する。本実施の形態の画素情報Ｐ２のうちの任意の三点に関しては図６が参照される。図６に示すように、本実施の形態では、任意の三点として点Ａ（Ｘａ，Ｙａ，Ｚａ）、点Ｂ（Ｘｂ，Ｙｂ，Ｚｂ）、点Ｃ（Ｘｃ，Ｙｃ，Ｚｃ）が設定される。この場合、点Ｃは、運転者の立体表面形状のうち点Ａと点Ｂとの中点とされ、点Ａまでの距離と点Ｂまでの距離が合致する（距離ｒ＝ａ）。これら三点の設定に際しては、任意の点Ａ及び点Ｂを設定した上で、その中点である点Ｃを設定してもよいし、或いは任意の点Ｃを設定した上で、その両側の点Ａ及び点Ｂを設定してもよい。ここでいう任意の点Ａ及び点Ｂが、本発明における「任意の二点」に相当し、ここでいう点Ｃが、本発明における「中点」に相当する。また、ここでいう演算処理部１５３が、本発明における「演算処理部」に相当する。
【００２８】
本実施の形態の凹凸形状判別値Ｖに関しては、図７が参照される。図７に示すように、本実施の形態では、点Ａ〜点Ｃの三点のそれぞれの距離情報、すなわち各点についてＺ軸の座標成分Ｚａ、Ｚｂ、Ｚｃを用いる。この場合のＺ軸は、運転者と３Ｄカメラ１１２との間に延在する座標軸であり、本発明における「検出体と画像検出部との間に延在する座標軸」に相当する。本実施の形態では、Ｚａ及びＺｂの平均値をＺｃから差し引いた演算値を凹凸形状判別値Ｖとして規定している。ここでいう座標成分Ｚａ、座標成分Ｚｂ及び座標成分Ｚｃが、本発明における「第１の座標成分」、「第２の座標成分」及び「第３の座標成分」にそれぞれ対応している。
【００２９】
演算手段１５０を構成する判定処理部１５４は、演算処理部１５３によって演算された凹凸形状判別値Ｖに基づいて、点Ａ〜点Ｃの三点によって形成される線分の凹凸形状を判定する。具体的には、Ｖ＜０であるとき、点Ａ〜点Ｃの三点によって形成される線分が車両前方側に向かう凸部を形成すると判定される。また、Ｖ＞０であるとき、点Ａ〜点Ｃの三点によって形成される線分が車両前方側に向かう凹部を形成すると判定される。また、Ｖ＝０であるとき、三点によって形成される線分が平面を形成すると判定される。ここでいう判定処理部１５４が、本発明における「判定処理部」に相当する。
【００３０】
点Ａ〜点Ｃの三点によって形成される線分が３Ｄカメラ１１２に向かう凸部を形成すると判定処理部１５４が判定した場合には、更に点Ａ〜点Ｃの周辺領域の凹凸形状を詳細に検索し、その検索結果に基づいて当該凸部が運転者の顔を形成している可能性を判定する。典型的には、演算処理部１５３によって顔形状信頼値Ｓを演算し、この顔形状信頼値Ｓに基づいて、点Ｃが運転者の顔を形成している可能性を判定処理部１５４によって判定する。
【００３１】
本実施の形態の顔形状信頼値Ｓに関しては、図８が参照される。図８に示すように、顔形状信頼値Ｓの演算に際し、点Ｃを中心とした径方向に関する距離或いは回転方向に関する角度が点Ａ及び点Ｂとは異なる複数組みの二点を設定する。例えば、点Ｃを中心とした径方向に関する距離ｒがａであり、回転方向に関する角度θがθ１である点Ａ’及び点Ｂ’の組み合わせや、点Ｃを中心とした径方向に関する距離ｒがｂであり、回転方向に関する角度θがθ１である点Ａ”及び点Ｂ”の組み合わせを設定する。ここでいう点Ａ’及び点Ｂ’の組み合わせや、点Ａ”及び点Ｂ”の組み合わせによって、本発明における「中点を中心とした径方向に関する距離或いは回転方向に関する角度が任意の二点とは異なる複数組みの二点」が構成される。なお、複数組みの二点の設定に際しては、点Ｃを中心とした径方向に関する距離と回転方向に関する角度のうちの少なくとも一方が、複数組みの二点と任意の二点とで異なっていればよい。
そして、演算処理部１５３は、点Ｃを中心とした径方向に関する距離或いは回転方向に関する角度を種々変更した場合の凹凸形状判別値Ｖを、前述の方法によってそれぞれ演算する。この演算処理は、車両乗員の顔は球形ないし卵形であり、３Ｄカメラ１１２（車両前方）に向かう凸部は車両乗員の顔を形成している可能性が高いという考えに基づくものである。この演算処理が、本発明における「第２の演算ステップ」に相当する。
【００３２】
なお、点Ｃを中心とした径方向に関する距離ｒは、車両乗員の一般的な顔の大きさに応じて予め規定された規定距離内において設定されるのが好ましい。これにより、車両乗員の一般的な顔の大きさの範囲外の点について、顔以外の凸部に関する凹凸形状判別値Ｖが演算されるのを防止することが可能となる。車両乗員の顔の大きさの範囲外の点についても凹凸形状判別値Ｖを演算する設定においては、規定距離をこえた点に関する凹凸形状判別値Ｖが負となった場合に、検出された凸部が車両乗員の顔である可能性が極めて低いと判定して、後述する顔形状信頼値Ｓを減算する処理を行うようにしてもよい。また、点Ｃを中心とした回転方向に関する角度θは、典型的には１８０°から３６０°の範囲内において設定されるのが好ましい。
【００３３】
点Ｃを中心とした径方向に関する距離或いは回転方向に関する角度を種々変更した場合の凹凸形状判別値Ｖを用い、Ｖ＜０のとき加算関数Ｃｏｎｆ＝１、Ｖ≧０のとき加算関数Ｃｏｎｆ＝０としたうえで、加算関数の合計によって顔形状信頼値Ｓをあらわす。そして、判定処理部１５４は、この顔形状信頼値Ｓが予め設定されたしきい値を上回る場合に、車両前方側の３Ｄカメラ１１２に向かう凸部を形成する線分の頻度が相対的に多く、点Ｃが運転者の顔情報を形成していると判定する。この判定処理が、本発明における「第２の判定ステップ」に相当する。このような構成によれば、車両乗員の顔情報の検出精度を高めることが可能となる。なお、この第２の判定ステップにおける判定に関しては、顔形状信頼値Ｓ以外のパラメータ、例えば車両前方側の３Ｄカメラ１１２に向かう凸部を形成する線分の度数（数）、当該線分が全部の線分に占める割合などを用いることもできる。
【００３４】
また、演算処理部１５３は、変換処理部１５２によって得られた画素情報Ｐ２のうちの任意の三点の設定に関しては、車両上方側から車両下方側の順で行うのが好ましい。この場合、判定処理部１５４は、前記第２の判定ステップにおいて車両乗員の顔情報を形成していると最初に判定した点Ｃの位置に基づいて、当該車両乗員の顔の位置を判定する。この演算処理及び判定処理は、車両乗員の顔は体の各部位のうちの最上位にあり、車両上方側から車両下方側に向けて検索を行うことによって車両乗員の顔を速やかに検出することができるという考えに基づくものである。この判定処理が、本発明における「第３の判定ステップ」に相当する。このような構成によれば、車両乗員の顔情報を検出するまでに要する演算処理負荷や記憶容量を抑えることができるため合理的である。
【００３５】
判定処理部１５４は、更に前記第３の判定ステップにおいて判定した車両乗員の顔の位置に基づいて、当該車両乗員の体格及び姿勢を判定する。この判定処理が、本発明における「第４の判定ステップ」に相当する。このような構成によれば、車両乗員の顔の位置に関する情報を用いて、当該車両乗員の体格ないし姿勢に関する情報を精度良く且つ簡便に検出することが可能となる。
【００３６】
図１に戻って、本実施の形態の記憶部１７０は、演算制御ソフトウエアに加えて、補正用のデータや前処理用のバッファーフレームメモリー、認識演算のための定義データや基準パターン、演算手段１５０における各種の演算処理結果や判定処理結果、また演算処理や判定処理で用いる規定値などを予め記録（記憶）する手段として構成される。
【００３７】
本実施の形態の入出力部１９０は、記憶部１７０の情報に基づいて、乗員拘束装置２００に対し制御信号を出力する。乗員拘束装置２００は、車両事故発生の際に、車両乗員を拘束するべく作動する、エアバッグ装置（エアバッグモジュール）やシートベルト装置などの乗員拘束デバイスの１または複数によって構成される。この乗員拘束装置２００が、本発明における「乗員拘束装置」に相当する。この乗員拘束装置２００は、入出力部１９０から出力された情報に基づいて車両乗員の拘束態様を制御する。具体的には、検出された車両乗員の顔の位置、体格、姿勢などに適した適正な態様で乗員拘束を行う。また、必要に応じては、この乗員拘束装置２００に加え、警報デバイス（表示出力、音声出力など）等を設置することもできる。
【００３８】
一例として、インフレータ（ガス供給手段）及びエアバッグを備えるエアバッグモジュールを乗員拘束装置２００とした場合には、インフレータは、車両事故の際、入出力部１９０からの制御信号に基づいて作動し、エアバッグに対し展開膨張用のガスを供給するとともに、このインフレータからエアバッグへと供給されるガスの圧力や流量は、運転者Ｐの体格に関する情報に応じて可変とされる。これにより、乗員拘束領域に展開膨張したエアバッグによる拘束能力（乗員拘束態様）が、車両乗員の体格に応じて変わることとなる。
【００３９】
なお、入出力部１９０と乗員拘束装置２００の間に、車両全体に関する制御を行うＥＣＵが介在する構成を採用することもできる。本構成の場合には、判定処理部１５４における判定結果をはじめ、車両に関する情報、周辺の交通状況に関する情報、天候や時間帯に関する情報などに基づいて、ＥＣＵが乗員拘束装置２００に対し制御信号を出力することができる。車両に関する情報の具体例としては、レーダーやカメラによる車両の衝突予知情報、車両ドアの開閉、シートベルトの装脱着、ブレーキの作動、車速、ステアリング操舵角度などがある。
【００４０】
以上のように、本実施の形態によれば、特に車両乗員を検出するシステムにおいて、車両シート上の車両乗員の三次元画像から得られる情報のうち、特に車両乗員の顔に特化した情報に着目するとともに、顔を特定するに際し、座標変換された数値座標のうちの任意の三点によって形成される凹凸形状を判定することによって、車両シート上の車両乗員の顔情報を精度良く、また演算処理負荷や記憶容量を抑えて簡便に検出することが可能となる。
また、本実施の形態によれば、車両乗員の拘束徹底を図るのに有効な乗員拘束システム１００や、当該乗員拘束システム１００を備えた車両が提供されることとなる。
【００４１】
（他の実施の形態）
なお、本発明は上記の実施の形態のみに限定されるものではなく、種々の応用や変形が考えられる。例えば、上記実施の形態を応用した次の各形態を実施することもできる。
【００４２】
本発明では、演算処理部１５３による第２の演算ステップや、判定処理部１５４による第２の判定ステップ、第３の判定ステップ及び第４の判定ステップは、必要に応じて適宜省略することもできる。
【００４３】
また、上記実施の形態では、撮影手段１１０及び制御手段１２０からなる乗員情報検出システムによって検出された車両乗員の顔情報を、乗員拘束装置２００の制御に用いる場合について記載したが、本発明では、当該顔情報を乗員拘束装置２００以外の他の作動装置の制御に用いることもできる。
【００４４】
また、上記実施の形態では、運転席乗員用として搭載される乗員拘束システム１００について記載したが、本発明の乗員拘束装置の構成は、運転席のみならず、助手席や後部座席の車両乗員用として適用可能である。この際、撮影手段として用いる３Ｄカメラ１１２は、必要に応じて自動車の車両前方のインパネ、ピラー、ドア、ガラス、シート等、各種の車体構成部分に適宜設置される。
【００４５】
また、上記実施の形態では、運転席シートに直に着座する車両乗員の顔情報を導出する場合について記載したが、本発明を、チャイルドシートやジュニアシートなどの介在物を介して間接的に車両シートに着座する車両乗員に顔情報を導出する構成に用いることもできる。
【００４６】
また、上記実施の形態では、自動車に装着される乗員拘束装置の構成について記載したが、自動車をはじめ、航空機、船舶、電車、バス、トラック等の各種の車両に装着される乗員拘束装置の構成に対し本発明を適用することができる。
【図面の簡単な説明】
【００４７】
【図１】本発明における「乗員拘束装置」の一実施の形態である車両搭載用の乗員拘束システム１００の構成を示す図である。
【図２】運転席シート１０側のＡピラーに設置された３Ｄカメラ１１２によって運転者Ｐが撮影される様子を示す図である。
【図３】本実施の形態の変換処理部１５２によって直交座標系の数値座標に変換された画素情報Ｐ１を示す図である。
【図４】本実施の形態の変換処理部１５２によって車体前方側から運転者Ｐを視た視点に関する座標系に変換された画素情報Ｐ２を示す図である。
【図５】座標変換処理における回転行列を示す図である。
【図６】本実施の形態の画素情報Ｐ２のうちの任意の三点を示す図である。
【図７】本実施の形態の凹凸形状判別値Ｖについて説明する図である。
【図８】本実施の形態の顔形状信頼値Ｓについて説明する図である。
【符号の説明】
【００４８】
１０…運転席シート
１００…乗員拘束システム
１１０…撮影手段
１１２…３Ｄカメラ
１２０…制御手段
１３０…画像処理手段
１５０…演算手段（ＭＰＵ）
１５１…情報抽出処理部
１５２…変換処理部
１５３…演算処理部
１５４…判定処理部
１７０…記憶部
１９０…入出力部
２００…乗員拘束装置
【図１】
2008269496.tif 000003
【図２】
2008269496.tif 000004
【図３】
2008269496.tif 000005
【図４】
2008269496.tif 000006
【図５】
2008269496.tif 000007
【図６】
2008269496.tif 000008
【図７】
2008269496.tif 000009
【図８】
2008269496.tif 000010