(57)【要約】【課題】  車両後方側シートの後席乗員に関する情報を精度良く検出するのに有効な技術を提供する。【解決手段】  本発明にかかる乗員検出システム１００は、３Ｄカメラ１１２と、３Ｄカメラ１１２によって撮影された三次元画像から、車両後方側シート領域のうちのシートバック上部領域の第１の画像情報と、シートバック上部領域以外の第２の画像情報のうち、第１の画像情報のみを抽出する情報抽出処理部１５１と、情報抽出処理部１５１によって抽出された画像情報を、車両後方側シートに着座する複数の後席乗員の各着座領域に関して分割する分割処理部１５２と、分割処理部１５２によって分割された画像情報のそれぞれにつき、３Ｄカメラ１１２から規定距離にて離間した位置における二次元画像に占める乗員情報の割合に基づいて、車両後方側シートの各着座領域に着座している後席乗員に関する情報を導出する画像変換処理部１５３、画像抽出部１５４、乗員情報演算部１５５及び判定処理部１５６を備える構成とされる。【選択図】      図１
2008261749.tif 000002
【特許請求の範囲】
【請求項１】
車室内において車両後方側シートに向けて配設され、車両後方側シート領域の三次元画像を得る撮影部と、
前記撮影部によって得られた三次元画像から、前記車両後方側シート領域のうちのシートバック上部領域の第１の画像情報と、前記シートバック上部領域以外の第２の画像情報のうち、前記第１の画像情報のみを抽出する情報抽出処理部と、
前記情報抽出処理部によって抽出された前記第１の画像情報を、前記車両後方側シートに着座する複数の後席乗員の各着座領域に関して分割する分割処理部と、
前記分割処理部によって分割された画像情報のそれぞれにつき、前記撮影部から規定距離にて離間した位置における二次元画像に占める乗員情報の割合に基づいて、前記車両後方側シートの各着座領域に着座している後席乗員に関する情報を導出する導出処理部と、
を備える構成であることを特徴とする乗員検出装置。
【請求項２】
車室内において車両後方側シートに向けて配設され、車両後方側シート領域の三次元画像を得る撮影部と、
前記撮影部によって得られた三次元画像から、前記車両後方側シート領域のうちのシートバック上部領域の第１の画像情報と、前記シートバック上部領域以外の第２の画像情報のうち、前記第１の画像情報のみを抽出する情報抽出処理部と、
前記情報抽出処理部によって抽出された前記第１の画像情報を、前記車両後方側シートに着座する複数の後席乗員の各着座領域に関して分割する分割処理部と、
前記分割処理部によって分割された画像情報のそれぞれにつき、各着座領域における検出体の体積に基づいて、前記車両後方側シートの各着座領域に着座している後席乗員に関する情報を導出する導出処理部と、
を備える構成であることを特徴とする乗員検出装置。
【請求項３】
車両後方側シートに着座した後席乗員に関する情報を検出する乗員情報検出部と、
前記乗員情報検出部における検出結果に基づいて作動する作動装置と、
を備え、
前記乗員情報検出部は、請求項１または２に記載の乗員検出装置を用いて構成され、当該乗員検出装置の前記導出処理部において導出された情報に基づいて、前記作動装置が作動する構成であることを特徴とする作動装置制御システム。
【請求項４】
車両に搭載されるシートベルトシステムであって、
請求項１または２に記載の乗員検出装置と、
車両後方側シートに着座した後席乗員に対し装着される後席乗員拘束用のシートベルトと、
前記車両後方側シートの各着座領域に対応して設けられたシートベルトバックルと、
前記シートベルトに設けられて、シートベルト装着時に前記シートベルトバックルに係合するトングと、
前記乗員検出装置の前記導出処理部において導出された情報に基づいて、前記車両後方側シートの着座領域に後席乗員が着座しているとき、当該着座領域に対応する前記シートベルトバックル及びトングの少なくとも一方の位置を報知する報知部と、
を備える構成であることを特徴とするシートベルトシステム。
【請求項５】
請求項４に記載のシートベルトシステムであって、
前記報知部は、正規のシートベルト装着時に互いに係合する前記シートベルトバックル及びトングの位置を報知する構成であることを特徴とするシートベルトシステム。
【請求項６】
車両に搭載されるシートベルトシステムであって、
請求項１または２に記載の乗員検出装置と、
車両後方側シートに着座した後席乗員に対し装着される後席乗員拘束用のシートベルトと、
前記車両後方側シートの各着座領域に対応して設けられたシートベルトバックルと、
前記シートベルトに設けられて、シートベルト装着時に前記シートベルトバックルに係合するトングと、
前記シートベルトバックル及びトングが係合したことを検出するバックル検出センサと、
前記乗員検出装置の前記導出処理部において導出された情報、及び前記バックル検出センサにおける検出結果に基づいて、前記シートベルトの装着結果を出力する出力部と、
を備える構成であることを特徴とするシートベルトシステム。
【請求項７】
エンジン走行系統と、
電装系統と、
前記エンジン走行系統及び電装系統の駆動制御を行う車両制御装置と、
請求項３に記載の作動装置制御システムと、
を有することを特徴とする車両。
【請求項８】
エンジン走行系統と、
電装系統と、
前記エンジン走行系統及び電装系統の駆動制御を行う車両制御装置と、
車両後方側シートに着座した後席乗員をシートベルトによって拘束するシートベルト装置と、
を有し、
前記シートベルト装置は、請求項４〜６のうちのいずれか１項に記載のシートベルトシステムを用いて構成されることを特徴とする車両。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載される乗員検出技術に係り、詳しくは車両後方側シートに着座した後席乗員に関する情報を検出する技術に関するものである。
【背景技術】
【０００２】
従来、カメラ等の撮影手段を用いて、車両シート上の着座物に関する情報を検出する種々の技術が知られている。例えば、下記特許文献１においては、対象物の二次元的な撮影が可能なカメラを車両乗員の前方に設置し、当該カメラを介して車両シートに着座する乗員の位置を検出しようとする検出装置の構成が開示されている。
【特許文献１】特開２００３−２９４８５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、例えばシートベルトによって乗員を拘束するシートベルト装置のうち、特に車両後方側シートに対し装着されるシートベルト装置にあっては、後席乗員によるシートベルト装着率向上を図る要請がある。本要請に応えるためには、実際に車両後方側シート着座している後席乗員に関する情報を精度良く検出することが必要とされる。また、後席乗員に関する情報を精度良く検出するこのような技術は、後席乗員用のシートベルト装置をはじめ、その他の運転支援装置に対しても同様に有効とされる。
ところが、上記特許文献１に記載の検出装置のように、カメラを介して車両乗員を二次元的に撮影する構成においては、例えば背景と後席乗員との色の差や、肌と服との色の差が少ない場合に、後席乗員の検出を確実に行うのが難しく、後席乗員に関する所望の情報を精度良く検出するのが難しい。
そこで、本発明は、かかる点に鑑みてなされたものであり、車両後方側シートの後席乗員に関する情報を精度良く検出するのに有効な技術を提供することを課題とする。
【課題を解決するための手段】
【０００４】
前記課題を解決するために、本発明が構成される。本発明は、典型的には自動車において車両後方側シートに着座した後席乗員に関する情報を検出する乗員検出装置に対し適用することができるが、自動車以外の車両においても同様に、本発明を適用することが可能である。
【０００５】
本発明にかかる乗員検出装置は、撮影部、情報抽出処理部、分割処理部及び導出処理部を少なくとも備える。
【０００６】
撮影部は、車室内において車両後方側シートに向けて配設され、車両後方側シート領域の三次元画像を得る機能を有する。この撮影部としては、単眼Ｃ−ＭＯＳ３Ｄカメラや複眼ステレオ３Ｄカメラ、レーザースキャナーなどが用いられる。この撮影部の設置場所に関しては、車両後方側シートに向かう位置を適宜選択することが可能であり、典型的にはルームミラー近傍を選択することができる。また、この撮影部は、必要に応じて１または複数設置することが可能である。
【０００７】
ここでいう「車両後方側シート」とは、車両後方側に配設された各種の車両シートを広く含む主旨であり、車両シートが２列構成の場合には前側から２列目の車両シートが、また車両シートが複数列構成の場合には前側から１列目の車両シート以外の車両シートが、車両後方側シートとされる。また、ここでいう「車両後方側シート領域」は、車両後方側シートの周辺領域であって、典型的にはシートバックやヘッドレストの前方領域ないし上部領域や、シートクッションの上方領域として規定される。
【０００８】
情報抽出処理部は、撮影部によって得られた三次元画像から、車両後方側シート領域のうちのシートバック上部領域の第１の画像情報と、シートバック上部領域以外の第２の画像情報のうち、第１の画像情報のみを抽出する処理を行う。すなわち、車両後方側シート領域以外の第２の画像情報や、車両後方側シート領域のうちのシートバック上部領域以外の第２の画像情報を除く第１の画像情報が、この情報抽出処理部によって選択的に抽出される。このとき、撮影部によって撮影された三次元画像は距離情報を含んでおり、撮影部からの距離に応じた情報を抽出することが可能である。これによって、後席乗員が前席乗員に部分的に重なって撮影された場合であっても、車両後方側シートのシートバック上部領域にある後席乗員の画像情報（三次元画像情報）が精度良く抽出されることとなる。
【０００９】
ここでいう「シートバック上部領域」とは、車両後方側シートの各部位のうち、シートバック上部に相当する領域であって、例えば車両前方側シートに着座している前席乗員が邪魔になりにくく、車両後方側シートに着座している後席乗員に関する情報を得るのに効果的な領域とされる。このシートバック上部領域は、典型的には、車両後方側シートに着座した後席乗員の肩部を通る水平面、車両後方側シートに着座した後席乗員の頭部上方を通る水平面、車両後方側シートに着座した後席乗員の頭部前方を通る水平面、車両後方側シートに着座した後席乗員の頭部後方を通る水平面、車両後方側シートの左右のシートバック側部を通る垂直面によって区画される領域として規定される。
【００１０】
分割処理部は、情報抽出処理部によって抽出された第１の画像情報を、車両後方側シートに着座する複数の後席乗員の各着座領域に関して分割する処理を行う。具体的には、車両後方側シートの定員が２人の場合には、情報抽出処理部にて抽出された画像情報が２つの着座領域に関し分割され、車両後方側シートの定員が３人の場合には、情報抽出処理部にて抽出された画像情報が３つの着座領域に関し分割される。この分割処理は、特徴のある検出エリアを各着座領域ごとに設定する処理ということもできる。
【００１１】
導出処理部は、分割処理部によって分割された画像情報のそれぞれにつき、撮影部から規定距離にて離間した位置における二次元画像に占める乗員情報の割合に基づいて、車両後方側シートの各着座領域に着座している後席乗員に関する情報を導出する処理を行う。この導出処理は、典型的には、二次元画像を抽出する処理と、抽出した二次元画像に占める乗員情報の割合を演算する処理と、演算した乗員情報の割合から後席乗員に関する情報を導出する処理を順次遂行することによって可能となる。これらの処理は、各々が別個独立した処理部によって遂行されてもよいし、或いは単一の処理部によって遂行されてもよい。
【００１２】
二次元画像を抽出する処理では、典型的には、三次元画像を車両正面、車両上方、或いは車両側方からみた二次元画像に変換する処理を用いることができる。この処理では、撮影部から後席乗員の存在可能性が高い位置までの距離を、規定距離として予め設定するのが好ましい。抽出した二次元画像に占める乗員情報の割合を演算する処理では、当該二次元画像の総ドット数に対する乗員情報の割合を演算するのが好ましい。これにより、二次元画像に占める後席乗員の大きさが得られる。ここでいう「ドット」とは、「画素」或いは「ピクセル」とも称呼され、デジタル画像を構成する単位である、色のついた「点」とされ、距離（奥行き）や透明度などの情報を含む。正方形或いは長方形の当該ドットを規則正しく縦横に並べられた一枚の画像によってデジタル画像が表現される。演算した乗員情報の割合から後席乗員に関する情報を導出する処理では、抽出した二次元画像に占める乗員情報の割合を、予め設定した規定割合或いは割合の範囲と比較した比較結果を用いるのが好ましい。ここでいう「後席乗員に関する情報」には、後席乗員の有無、大きさ、位置、姿勢などが広く包含される。これにより、例えば二次元画像に占める後席乗員の大きさが基準をこえている場合に後席乗員が着座していると判定される一方、二次元画像に占める後席乗員の大きさが基準を下回る場合に後席乗員が着座していない（空席である）と判定される。
【００１３】
本発明にかかる乗員検出装置のこのような構成によれば、距離情報を含む三次元画像に基づく各処理によって、車両後方側シートの各着座領域における後席乗員に関する情報を、精度良く検出することが可能とされる。検出された当該情報は、事故の際にシートベルトによって後席乗員を拘束するシートベルト装置、事故の際にエアバッグによって後席乗員を拘束するエアバッグ装置などにおいて運転支援を行う制御に用いられるのが好ましい。また、本構成では、撮影部によって撮影された三次元画像から、車両後方側シートのシートバック上部領域に相当する画像情報のみを抽出する処理を行うとともに、更に当該画像情報につき、撮影部から規定距離にて離間した位置における二次元画像を抽出する処理を行う構成であるため、二次元画像を抽出するまでの一連の画像処理に関する処理負荷を抑えることができ、また必要となる記憶領域を減少させるのに効果的である。
【００１４】
本発明にかかる別の形態の乗員検出装置は、撮影部、情報抽出処理部、分割処理部及び導出処理部を少なくとも備える。撮影部、情報抽出処理部及び分割処理部は、それぞれ前述の撮影部、情報抽出処理部及び分割処理部と同様の構成とされる。
導出処理部は、分割処理部によって分割された画像情報のそれぞれにつき、各着座領域における検出体の体積に基づいて、車両後方側シートの各着座領域に着座している後席乗員に関する情報を導出する処理を行う。この導出処理は、典型的には、各着座領域における検出体の体積を演算する処理と、演算した検出体の体積から後席乗員に関する情報を導出する処理を順次遂行することによって可能となる。これらの処理は、各々が別個独立した処理部によって遂行されてもよいし、或いは単一の処理部によって遂行されてもよい。
後席乗員に関する情報を導出する処理では、導出した検出体の体積と、予め設定した規定体積或いは体積の範囲と比較した比較結果を用いるのが好ましい。ここでいう「後席乗員に関する情報」には、後席乗員の有無、大きさ、位置、姿勢などが広く包含される。
【００１５】
本発明にかかる乗員検出装置のこのような構成によれば、距離情報を含む三次元画像に基づく各処理によって、車両後方側シートの各着座領域における後席乗員に関する情報を、精度良く検出することが可能とされる。検出された当該情報は、事故の際にシートベルトによって後席乗員を拘束するシートベルト装置、事故の際にエアバッグによって後席乗員を拘束するエアバッグ装置などにおいて運転支援を行う制御に用いられるのが好ましい。また、本構成では、撮影部によって撮影された三次元画像から、車両後方側シートのシートバック上部領域に相当する画像情報のみを抽出する処理を行うとともに、更に当該画像情報につき、各着座領域における検出体の体積を導出する処理を行う構成であるため、検出体の体積を導出するまでの一連の画像処理に関する処理負荷を抑えることができ、また必要となる記憶領域を減少させるのに効果的である。
【００１６】
本発明にかかる作動装置制御システムは、車両後方側シートに着座した後席乗員に関する情報を検出する乗員情報検出部と、乗員情報検出部における検出結果に基づいて作動する作動装置を備える構成とされる。この作動装置制御システムでは、乗員情報検出部が前述の乗員検出装置を用いて構成され、当該乗員検出装置の導出処理部において導出された情報に基づいて、作動装置が作動する構成とされる。この作動装置は、具体的には、事故の際にシートベルトによって後席乗員を拘束するシートベルト装置、事故の際に後席乗員の前方或いは側方にて展開膨張するエアバッグによって後席乗員を拘束するエアバッグ装置、事故の際に車両後方側シートのシートクッションを上方へと持ち上げることによって、後席乗員が座面に沿ってシートベルトを潜ろうとする現象、いわゆる「サブマリン現象」と称呼される現象の発生を阻止或いは抑制するための装置などの構成要素として構成される。
本発明にかかる作動装置制御システムのこのような構成によれば、車両後方側シートにおける後席乗員に関し精度良く検出された情報に基づいて作動装置が作動するため、作動装置を適正に作動させるのに効果的である。
【００１７】
本発明にかかるシートベルトシステムは、車両に搭載されるものであって、前述の乗員検出装置と、車両後方側シートに着座した後席乗員に対し装着される後席乗員拘束用のシートベルトと、車両後方側シートの各着座領域に設けられたシートベルトバックルと、シートベルトに設けられシートベルト装着時にシートベルトバックルに係合するトングと、報知部を少なくとも備える。このシートベルトシステムにおける報知部は、乗員検出装置の導出処理部において導出された情報に基づいて、車両後方側シートの着座領域に後席乗員が着座しているとき、当該着座領域に対応するシートベルトバックル及びトングの少なくとも一方の位置を報知する機能を有する。具体的には、車両後方側シートに着座した後席乗員に対応するシートベルトバックルやトングの位置が、この報知部によって報知される。この報知部の構成に関しては、シートベルトバックルやトング自体を光らせる、シートベルトバックルをせり出させる（突出させる）、トングを送り出す、トングを上下に摺動させる、モニターパネルに表示する等の手段を用いることができる。
本発明にかかるシートベルトシステムのこのような構成によれば、車両後方側シートにおける後席乗員に関し精度良く検出された情報を用いた上で、当該後席乗員に対しバックルやトングの存在を認知させることが可能となる。これにより、シートベルトバックルやトングの存在に認知度を高めることで、後席乗員のシートベルト装着率を高めるのに効果的である。
【００１８】
本発明にかかる更なる形態のシートベルトシステムでは、前述の報知部は、正規のシートベルト装着時に互いに係合するシートベルトバックル及びトングの位置を報知する機能を有する。
本発明にかかるシートベルトシステムのこのような構成によれば、例えば後席右側乗員用のシートベルトバックルに後席左側乗員用のトングが装着されるような誤ったバックル操作がなされるのを防止することができ、シートベルト本来の乗員拘束機能を発揮させることが可能となる。
【００１９】
本発明にかかる別の形態のシートベルトシステムは、前述の乗員検出装置と、車両後方側シートに着座した後席乗員に対し装着される後席乗員拘束用のシートベルトと、車両後方側シートの各着座領域に設けられたシートベルトバックルと、シートベルトに設けられシートベルト装着時にシートベルトバックルに係合するトングと、トングがシートベルトバックルに係合したことを検出するバックル検出センサと、出力部を少なくとも備える。このシートベルトシステムにおける出力部は、前述の乗員検出装置の導出処理部において導出された情報、及びバックル検出センサにおける検出結果に基づいて、シートベルトの装着結果を出力する機能を有する。この出力部は、例えば検出結果を表示出力可能なモニターパネルやメーターパネル、ガイダンスを音声出力するスピーカーなどを用いて構成される。
本発明にかかるシートベルトシステムのこのような構成によれば、車両後方側シートにおける後席乗員に関し精度良く検出された情報を用いた上で、当該後席乗員がシートベルト未装着である場合に、運転者を含む前席乗員や後席乗員に対しシートベルトの装着を促すことで、後席乗員のシートベルト装着率を高めるのに効果的である。
【００２０】
本発明にかかる車両は、エンジン走行系統と、電装系統と、車両制御装置と、前述の作動装置制御システムを少なくとも備える。
エンジン走行系統は、エンジン及び車両の走行に関与する系統として構成される。電装系統は、車両に使われる電機部品に関与する系統として構成される。車両制御装置は、エンジン走行系統及び電装系統の駆動制御を行う機能を有する装置として構成される。
本発明にかかる車両のこのような構成によれば、車両後方側シートにおける後席乗員に関し精度良く検出された情報に基づいて作動装置が作動するため、作動装置を適正に作動させるのに効果的である。
【００２１】
本発明にかかる別の形態の車両は、エンジン走行系統と、電装系統と、車両制御装置と、シートベルト装置を少なくとも備える。
エンジン走行系統は、エンジン及び車両の走行に関与する系統として構成される。電装系統は、車両に使われる電機部品に関与する系統として構成される。車両制御装置は、エンジン走行系統及び電装系統の駆動制御を行う機能を有する装置として構成される。シートベルト装置は、車両後方側シートに着座した後席乗員をシートベルトによって拘束する機能を有し、前述のシートベルトシステムを用いて構成される。
本発明にかかる車両のこのような構成によれば、撮影部によって撮影された三次元画像に基づく各処理により、車両後方側シートにおける後席乗員に関し精度良く検出された情報を用いて制御を行うシートベルト装置を搭載する車両が提供されることとなる。
【発明の効果】
【００２２】
以上のように、本発明によれば、車両後方側シートの後席乗員に関する情報を精度良く検出することが可能となった。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態につき図面を参照しつつ詳細に説明する。まず、図１を参照しながら、本発明における「乗員検出装置」の一実施の形態である乗員検出装置１００の構成につき説明する。
【００２４】
本実施の形態に係る車両搭載用の乗員検出装置１００のシステム構成が図１に示される。図１に示すように、本実施の形態の乗員検出装置１００は、本発明における「車両」としての自動車車両にて、運転者に関する情報を検出するために搭載されるものであり、撮影手段１１０及び制御手段１２０を主体に構成されている。更に、この乗員検出装置１００は、車両側の駆動制御装置であるＥＣＵ２００及び作動装置２１０とともに、所定の車両支援システム（本発明における「作動装置制御システム」や「シートベルトシステム」に相当するシステム）を構成する。当該車両は、特に図示しないものの、エンジン及び車両の走行に関与する系統であるエンジン走行系統（本発明における「エンジン走行系統」に相当）、車両に使われる電機部品に関与する系統である電装系統（本発明における「電装系統」に相当）、エンジン走行系統及び電装系統の駆動制御を行う車両制御装置（ＥＣＵ２００）を少なくとも備える。この場合の車両制御装置が、本発明における「車両制御装置」に相当する。
【００２５】
本実施の形態の撮影手段１１０は、撮影デバイスとしての３Ｄカメラ１１２及びデータ転送回路を含む構成とされる。３Ｄカメラ１１２は、Ｃ−ＭＯＳ又はＣＣＤ（電荷結合素子）を用いたうえで、光センサをアレイ状（格子状）に配置した３Ｄ（三次元画像）式のカメラ（「モニター」といもいう）として構成される。このカメラによって、単一視点に関する三次元画像が得られることとなり、検出体までの距離が複数回計測されて立体表面形状が検出されることで、当該検出体の有無、大きさ、位置、姿勢などが認識される。この３Ｄカメラ１１２として、単眼Ｃ−ＭＯＳ３Ｄカメラや複眼ステレオ３Ｄカメラを用いることができる。この撮影手段１１０（３Ｄカメラ１１２）が、本発明における「車室内にて車両後方側シートに向けて配設され、三次元画像を得る撮影部」に相当する。この３Ｄカメラ１１２にかえて、三次元画像を得るレーザースキャナーを用いることもできる。
【００２６】
なお、本実施の形態の３Ｄカメラ１１２は、自動車のインナーリヤビューミラー周辺部、サイドミラー周辺部、ダッシュボードの左右センター部分などにおいて、車両後方の所定の動作範囲に向けて配置される。ここでう「所定の動作範囲」として、典型的には車室内の乗員領域のうち、少なくとも後方側シートに着座した乗員の頭部や上半身が及ぶ領域（シートバック上部領域）を含む範囲として規定される。この範囲に、前席乗員や前席シートなどが含まれてもよい。これにより、３Ｄカメラ１１２を用いて、少なくとも後方側シート上に着座している後席乗員に関する情報が、周期的に複数回、計測されることとなる。
【００２７】
３Ｄカメラ１１２による撮影画像に関しては、図２が参照される。この図２には、本実施の形態の３Ｄカメラ１１２による撮影画像の一例が示される。図２に示す例では、車両前方側シート１０に着座した前席乗員１０ａの後方に、車両後方側シート１２に着座した後席乗員１２ａが部分的に撮影された画像について示している。この車両後方側シート１２は、車両シートが２列構成の場合には前側から２列目の車両シートとされ、また車両シートが複数列構成の場合には前側から１列目の車両シート以外の車両シートとされる。
【００２８】
また、特に図示しないものの、本実施の形態の乗員検出装置１００には、車両バッテリの電力をこの３Ｄカメラ１１２に供給する電源装置が搭載されている。この３Ｄカメラ１１２によるこの撮影は、例えばイグニッションキーがＯＮ状態になったとき、あるいは運転席内に装着された着座センサ（図示省略）が、当該運転席に着座した乗員を検知したときに開始されるように設定される。
【００２９】
本実施の形態の制御手段１２０は、更に画像処理部１３０、演算部（ＭＰＵ）１５０、記憶部１７０、入出力部１９０、また特に図示しないものの各種の周辺装置を少なくとも備える。この制御手段１２０は、３Ｄカメラ１１２によって撮影された画像に基づいて、乗員情報に関する処理を行う乗員情報処理装置（ＣＰＵ）として構成される。
【００３０】
画像処理部１３０は、品質の良い画像を得るためのカメラ制御や、３Ｄカメラ１１２によって撮影した画像を加工分析するための画像処理制御を行う手段として構成される。具体的には、カメラ制御においては、フレームレート、シャッター時間、感度調整、精度補正が行われ、ダイナミックレンジや輝度、ホワイトバランスなどが調整される。また、画像処理制御においては、画像の回転補正やレンズ歪み補正、フィルター演算、差分演算などの画像前処理演算と、形状判定やトラッキングなどの画像認識処理演算が実行される。
【００３１】
本実施の形態の演算部１５０は、情報抽出処理部１５１、分割処理部１５２、画像変換処理部１５３、画像抽出部１５４、乗員情報演算部１５５及び判定処理部１５６を少なくとも備える。この演算部１５０は、情報抽出処理部１５１、分割処理部１５２、画像変換処理部１５３、画像抽出部１５４、乗員情報演算部１５５及び判定処理部１５６のうちの複数を、構成或いは機能において適宜組み合わせてもよい。
【００３２】
演算部１５０を構成する情報抽出処理部１５１では、画像処理部１３０からの情報に基づいて、後方側シートに着座している後席乗員に関する情報を抽出する処理を行う。この情報抽出処理部１５１が、本発明における「情報抽出処理部」に相当する。
この情報抽出処理部１５１は、具体的には、画像処理部１３０の三次元画像から、車両後方側シート領域のうちのシートバック上部領域の第１の画像情報と、シートバック上部領域以外の第２の画像情報のうち、第１の画像情報のみを抽出（導出）する。すなわち、車両後方側シート領域以外の第２の画像情報や、車両後方側シート領域のうちのシートバック上部領域以外の第２の画像情報を除く第１の画像情報が、この情報抽出処理部によって選択的に抽出される。ここでいう「車両後方側シート領域」は、車両後方側シート１２の周辺領域であって、典型的にはシートバックやヘッドレストの前方領域ないし上部領域や、シートクッションの上方領域として規定される。なお、この情報抽出処理部１５１に際し、３Ｄカメラ１１２によって検出された表面立体形状を数値座標として座標系に数値化する処理を行うのが好ましい。この座標系としては、直交座標系、極座標系、斜交座標系、一般化座標系等、種々の座標系を用いることができる。
【００３３】
車両後方側シート１２のシートバック上部領域に関しては、図３が参照される。この図３には、本実施の形態の情報抽出処理部１５１にてシートバック上部領域として規定される領域Ａ１が示される。図３に示すこの領域Ａ１は、車両後方側シート１２に着座した乗員の肩部を通る水平面Ｓ１、車両後方側シート１２に着座した後席乗員の頭部上方を通る水平面Ｓ２、車両後方側シート１２に着座した後席乗員の頭部前方を通る水平面Ｓ３、車両後方側シート１２に着座した後席乗員の頭部後方を通る水平面Ｓ４、車両後方側シート１２の左右のシートバック側部を通る垂直面Ｓ５，Ｓ６によって区画される領域とされる。
【００３４】
演算部１５０を構成する分割処理部１５２は、情報抽出処理部１５１にて抽出された画像情報（シートバック上部領域の第１の画像情報）を、車両後方側シートに着座する各乗員の着座領域に関して分割する処理を行う。この分割処理部１５２が、本発明における「分割処理部」に相当する。
この分割処理部１５２は、具体的には、車両後方側シートの定員が２人の場合に、情報抽出処理部１５１にて抽出された画像情報を２分割する処理を行い、車両後方側シートの定員が３人の場合に、情報抽出処理部１５１にて抽出された画像情報を３分割する処理を行う。なお、当該車両の車両後方側シートの定員に関する情報は、記憶部１７０にて予め記憶される。この分割処理は、特徴のある検出エリアを各着座領域ごとに設定する処理ということもできる。
【００３５】
この分割処理部１５２における処理に関しては、図４が参照される。この図４には、本実施の形態の分割処理部１５２における処理の様子が示される。図４に示すように、情報抽出処理部１５１にて抽出された画像情報を２分割する処理に関しては、領域Ａ１が２つの分割領域Ｂ１及びＢ２に分割され、情報抽出処理部１５１にて抽出された画像情報を３分割する処理に関しては、領域Ａ１が３つの分割領域Ｃ１〜Ｃ３に分割される。領域Ａ１が分割された各分割領域は、後席乗員の特徴を検出することが可能な検出エリアとされる。
【００３６】
演算部１５０を構成する画像変換処理部１５３は、分割処理部１５２にて得られた各分割領域における画像情報（三次元情報）を、車両正面かららみた二次元画像に変換する処理を行う。必要に応じては、車両正面かららみた二次元画像にかえて、車両上方、或いは車両側方からみた二次元画像を用いてもよい。
【００３７】
演算部１５０を構成する画像抽出部１５４は、画像変換処理部１５３において変換された二次元画像から、３Ｄカメラ１１２から規定距離にて離間した位置における二次元画像を抽出する（抜き出す）処理を行う。この処理に関し、３Ｄカメラ１１２から後席乗員の存在可能性が高い位置までの距離を、規定距離として予め設定し、記憶部１７０に記憶させておくのが好ましい。
【００３８】
上記画像変換処理部１５３及び画像抽出部１５４における具体的な処理に関しては、図５が参照される。この図５には、本実施の形態の画像変換処理部１５３及び画像抽出部１５４における処理の様子が示される。分割処理部１５２にて得られた分割領域Ｃ３における画像情報（三次元情報）を、画像変換処理部１５３において車両正面かららみた二次元画像に変換することによって、図５中の変換画像Ｄ１のような画像が得られることとなる。また、画像抽出部１５４では、この変換画像Ｄ１から、３Ｄカメラ１１２から規定距離にて離間した位置における画像を抽出することによって、抽出処理中画像Ｄ２を経て、規定面Ｓ７に関する抽出処理後画像（二次元画像）Ｄ３が得られることとなる。
【００３９】
演算部１５０を構成する乗員情報演算部１５５は、画像抽出部１５４において抽出した二次元画像に占める乗員情報の割合を演算する。この乗員情報演算部１５５における処理に関しては、図６が参照される。この図６には、本実施の形態の乗員情報演算部１５５における処理の様子が示される。図６に示すように、乗員情報演算部１５５においては、図５中の抽出処理後画像Ｄ３の総ドット数（例えば１６×３５ドット）に対する乗員情報の割合を演算する。これにより、抽出処理後画像Ｄ３に占める後席乗員の大きさが得られる。ここでいう「ドット」とは、「画素」或いは「ピクセル」とも称呼され、デジタル画像を構成する単位である、色のついた「点」とされ、距離（奥行き）や透明度などの情報を含む。正方形或いは長方形の当該ドットを規則正しく縦横に並べられた一枚の画像によってデジタル画像が表現される。
【００４０】
演算部１５０を構成する判定処理部１５６は、乗員情報演算部１５５において演算された情報に基づいて、各分割領域において検出された検出体に後席乗員が含まれるか否かを判定する。具体的には、抽出処理後画像Ｄ３の総ドット数に対する乗員情報の割合が基準値をこえている場合に、後席乗員が着座していると判定する一方、当該割合が基準値を下回る場合に、後席乗員が着座していない（空席である）と判定する。この判定処理と、この判定処理の前処理（前記の画像変換処理部１５３、画像抽出部１５４及び乗員情報演算部１５５における処理）は、分割処理部１５２にて分割された２つ或いは３つの分割領域のすべてに関して行う。この判定処理部１５６と前記の画像変換処理部１５３、画像抽出部１５４及び乗員情報演算部１５５とによって、本発明における「導出処理部」が構成される。なお、判定処理部１５６は、乗員情報演算部１５５において演算された情報に基づいて、後席乗員の有無を判定する構成に限定されるものではなく、必要に応じては、後席乗員の有無に加えて或いはかえて、後席乗員の大きさ、位置、姿勢などを判定する構成であってもよい。
【００４１】
本実施の形態の記憶部１７０は、演算制御ソフトウエアに加えて、補正用のデータや前処理用のバッファーフレームメモリー、認識演算のための定義データや基準パターン、演算部１５０における各種の処理結果を記録（記憶）する手段として構成される。
【００４２】
本実施の形態の入出力部１９０は、車両全体に関する制御を行うＥＣＵ２００との間で、判定処理部１５６における判定結果をはじめ、車両に関する情報、周辺の交通状況に関する情報、天候や時間帯に関する情報などが入力され認識結果を出力する。車両に関する情報の具体例としては、レーダーやカメラによる車両の衝突予知情報、車両ドアの開閉、シートベルトの装脱着、ブレーキの作動、車速、ステアリング操舵角度などがある。本実施の形態では、この入出力部１９０から出力された情報に基づいて、ＥＣＵ２００が作動装置２１０に対し駆動制御信号を出力する構成とされる。なお、入出力部１９０は、作動装置２１０に対し制御信号を出力することが可能であればよく、図１に示すように、作動装置２１０との間にＥＣＵ２００が介在する構成であってもよいし、或いは作動装置２１０に対し直接的に制御信号を出力する構成であってもよい。ここでいう作動装置２１０が、本発明における「作動装置」に相当する。
【００４３】
以上のように、本実施の形態の乗員検出装置１００によれば、３Ｄカメラ１１２によって撮影された三次元画像に基づく各処理によって、車両後方側シート１２に着座した後席乗員に関する情報を精度良く検出することが可能とされる。すなわち、距離情報を含む三次元画像を用いる場合には、背景と後席乗員との色の差や、肌と服との色の差が少ないような場合等であっても、距離により情報を抽出することが可能であるため、二次元画像を撮影する場合に比べて高い検出精度を確保することが可能となる。
また、本実施の形態では、３Ｄカメラ１１２によって撮影された三次元画像から、車両後方側シート１２のシートバック上部領域の第１の画像情報と、車両後方側シート領域以外の第２の画像情報のうちの第１の画像情報のみを抽出する処理を行い、更に当該第１の画像情報につき、３Ｄカメラ１１２から規定距離にて離間した位置における二次元画像を抽出する処理を行う構成であるため、二次元画像を抽出するまでの一連の画像処理に関する処理負荷を抑えることができ、また必要となる記憶領域を減少させるのに効果的である。
【００４４】
なお、上記演算部１５０の構成に関しては、別の形態を採用することができる。例えば、画像変換処理部１５３、画像抽出部１５４及び乗員情報演算部１５５にかえて、体積演算部１６３を備える演算部１６０を用いることができる。別実施の形態の演算部１６０の構成が図７に示される。図７に示される体積演算部１６３は、分割処理部１５２にて得られた各分割領域における画像情報（三次元情報）につき、各着座領域における検出体の体積を演算する処理を行う。そして、判定処理部１５６では、この体積演算部１６３において演算した検出体の体積に基づいて、各分割領域において検出された検出体に後席乗員が含まれるか否かを判定する。具体的には、演算した検出体の体積が基準値をこえている場合に、後席乗員が着座していると判定する一方、当該体積が基準値を下回る場合に、後席乗員が着座していない（空席である）と判定する。この判定処理と、この判定処理の前処理である体積演算処理は、分割処理部１５２にて分割された２つ或いは３つの分割領域のすべてに関して行う。この判定処理部１５６と体積演算部１６３とによって、本発明における「導出処理部」が構成される。このような構成の演算部１６０を用いる場合であっても、演算部１５０を用いる場合の前述の作用効果と同様の作用効果を奏する。
【００４５】
また、本実施の形態の作動装置２１０は、下記の各形態のシートベルト装置やエアバッグ装置等の構成要素として用いられる。ここでいうシートベルト装置やエアバッグ装置等が、本発明における「作動装置制御システム」に相当し、特にシートベルト装置が、本発明における「シートベルトシステム」に相当する。シートベルト装置やエアバッグ装置の具体的構成に関しては図８が参照される。図８には、図１中の乗員検出装置１００を搭載した車両の構成が示される。
【００４６】
第１の形態として、後席乗員情報（乗員の有無、乗員の着座位置）、或いは乗員乗降情報と車両ドアの開閉情報を用いて、後席乗員に装着されたシートベルト２０用のシートベルトバックル２１やトング２２の存在位置、或いはシートベルトバックル２１やトング２２の選択を、後席乗員に対し報知する報知機構を搭載した第１のシートベルト装置が構成される。この報知機構は、例えばシートベルトバックル２１自体やトング２２自体を光らせる、シートベルトバックル２１をせり出させる（突出させる）、トング２２を送り出す、トング２２を上下に摺動させる、モニターパネル１３に表示することによって報知動作を遂行する。ここでいう報知機構によって、本発明における「報知部」が構成される。なお、車両ドアの開閉情報は、車両ドアセンサ１４によって検知される。
このような構成のシートベルト装置を用いることによって、車両後方側シートに着座した後席乗員に対しシートベルトバックルやトングの存在を認知させることが可能となる。これにより、シートベルトバックルやトングの存在に認知度を高めることで、後席乗員のシートベルト装着率を高めるのに効果的である。
【００４７】
また、第２の形態として、後席乗員情報（乗員の有無、乗員の着座位置）を用いて、運転者に対し後席乗員のシートベルト装着結果（装着状態）を報知する報知機構を備えた第２のシートベルト装置が構成される。この報知機構は、例えばモニターパネル１３やメーターパネル１５に表示出力する、ガイダンスをスピーカーにて音声出力することによって報知動作を遂行する。ここでいう報知機構によって、本発明における「報知部」が構成される。
このような構成のシートベルト装置を用いることによって、車両後方側シートに着座した後席乗員がシートベルト未装着である場合に、運転者を含む前席乗員や後席乗員に対しシートベルトの装着を促すことが可能となる。
【００４８】
また、第３の形態として、後席乗員情報（乗員の有無、乗員の着座位置）を用いて、運転者或いは後席乗員に対しシートベルトバックル２１とトング２２の組み合わせが正しく行われたか否かを報知する報知機構を備えた第３のシートベルト装置が構成される。この報知機構は、例えばモニターパネル１３やメーターパネル１５における表示出力や音出力、特定部位の発光ないし振動などによって報知動作を遂行する。ここでいう報知機構によって、本発明における「作動部」が構成される。
このような構成のシートベルト装置を用いることによって、例えば後席右側乗員用のシートベルトバックルに後席左側乗員用のトングが装着されるような誤ったバックル操作がなされるのを防止することができ、シートベルト本来の乗員拘束機能を発揮させることが可能となる。
【００４９】
また、第４の形態として、後席乗員情報（乗員の有無、乗員の着座位置）を用いて、シートベルト２０の装着を促すシートベルト装着促進機能を搭載した第４のシートベルト装置が構成される。このシートベルト装着促進動作は、例えばシートベルトバックル２１をせり出させる（突出させる）、トング２２を送り出す、シートベルト２０に作用する別の部材（シートベルトリーチャー）を駆動装置３０或いは３１によって駆動させることによって遂行される。このような構成のシートベルト装置を用いることによって、シートベルト２０の装着を後席乗員に対し積極的に促すことが可能となる。
【００５０】
なお、上記の各シートベルト装置におけるシートベルト２０、シートベルトバックル２１及びトング２２が、それぞれ本発明における「シートベルト」、「シートベルトバックル」及び「トング」に対応している。
【００５１】
また、第５の形態として、後席乗員情報（乗員の有無、乗員の着座位置）と、更なる情報としてのシートベルトバックルとトングのバックル締結情報を用いて、車両事故の際にシートベルト２０に弛みを巻き取るプリテンショナー２３を作動させる第５のシートベルト装置が構成される。このような構成のシートベルト装置を用いることによって、車両事故の際にシートベルト２０に弛みを巻き取るプリテンショナー２３を適正に作動させ、これによってシートベルトによる乗員拘束性を高めることが可能となる。
【００５２】
また、第６の形態として、後席乗員情報（乗員の有無、乗員の着座位置）を用いて、後席乗員拘束用のエアバッグ等を作動させる機能を搭載した作動装置が構成される。この作動装置は、具体的には、車両前方側シート１０の下方や天井部分に装着されて事故の際に後席乗員の前方にて展開膨張するエアバッグ４０、事故の際に後席乗員のドア側にて展開膨張するサイドエアバッグ４１、事故の際に後席乗員同士の間にて展開膨張する中間エアバッグ４２などを用いて構成される。更には、車両後方側シート１２のシートクッションを、エアバッグ或いは他の駆動機構を介して上方へと持ち上げることによって、後席乗員が座面に沿ってシートベルトを潜ろうとする現象、いわゆる「サブマリン現象」と称呼される現象の発生を阻止或いは抑制するための規制装置４３や、事故の際に車両前方側シート１０と車両後方側シート１２との間をカーテン状の部材によって仕切ることによって、後席乗員や荷物などが前方へと移動するのを規制する装置などの構成要素によって、作動装置が構成されてもよい。このような構成の作動装置を用いることによって、車両事故の際にエアバッグ４０やサイドエアバッグ４１などの乗員拘束手段を適正に作動させ、これによって乗員拘束性を高めることが可能となる。
【００５３】
また、その他の形態として、後席乗員情報（乗員の有無、乗員の着座位置）を用いて、チャイルドシート装着時にシートベルトロックを行う装置や報知を行う装置、また当該後席乗員情報を用いて、チャイルドシート装着時や小児のような小柄な乗員が着座している場合にドアロックを行う装置や報知を行う装置などが構成される。
【００５４】
以上のように、本実施の形態の乗員検出装置１００を用いれば、３Ｄカメラ１１２によって撮影された三次元画像に基づく各処理により、車両後方側シート１２における後席乗員に関し精度良く検出された情報を用いて制御を行うシートベルト装置やエアバッグ装置が提供される。また、これらのシートベルト装置やエアバッグ装置を搭載した車両が提供される。
【００５５】
（他の実施の形態）
本発明は上記の実施の形態のみに限定されるものではなく、種々の応用や変形が考えられる。例えば、上記実施の形態を応用した次の各形態を実施することもできる。
【００５６】
上記実施の形態では、自動車に装着される乗員検出装置１００の構成について記載したが、自動車をはじめ、航空機、船舶、バス、電車等の各種の車両に装着される乗員検出装置の構成に対し本発明を適用することができる。
【図面の簡単な説明】
【００５７】
【図１】本実施の形態に係る車両搭載用の乗員検出装置１００のシステム構成を示す図である。
【図２】本実施の形態の３Ｄカメラ１１２による撮影画像の一例を示す図である。
【図３】本実施の形態の情報抽出処理部１５１にてシートバック上部領域として規定される領域Ａ１を示す図である。
【図４】本実施の形態の分割処理部１５２における処理の様子を示す図である。
【図５】本実施の形態の画像変換処理部１５３及び画像抽出部１５４における処理の様子を示す図である。
【図６】本実施の形態の乗員情報演算部１５５における処理の様子を示す図である。
【図７】別実施の形態の演算部１６０の構成を示す図である。
【図８】図１中の乗員検出装置１００を搭載した車両の構成を示す図である。
【符号の説明】
【００５８】
１０…車両前方側シート
１０ａ…前席乗員
１２…車両後方側シート
１２ａ…後席乗員
１３…モニターパネル
１４…車両ドアセンサ
１５…メーターパネル
２０…シートベルト
２１…シートベルトバックル
２２…トング
２３…プリテンショナー
３０，３１…駆動装置
４０…後席エアバッグ
４１…サイドエアバッグ
４２…中間エアバッグ
４３…規制装置
１００…乗員検出装置
１１０…撮影手段
１１２…３Ｄカメラ
１２０…制御手段
１３０…画像処理部
１５０…演算部（ＭＰＵ）
１５１…情報抽出処理部
１５２…分割処理部
１５３…画像変換処理部
１５４…画像抽出部
１５５…乗員情報演算部
１５６…判定処理部
１６０…演算部（ＭＰＵ）
１６３…体積演算部
１７０…記憶部
１９０…入出力手段
２００…ＥＣＵ
２１０…作動装置
【図１】
2008261749.tif 000003
【図２】
2008261749.tif 000004
【図３】
2008261749.tif 000005
【図４】
2008261749.tif 000006
【図５】
2008261749.tif 000007
【図６】
2008261749.tif 000008
【図７】
2008261749.tif 000009
【図８】
2008261749.tif 000010