(57)【要約】【課題】車室内の乗員を高い精度で検出する。【解決手段】車室内の撮像画像を取得する画像取得機能と、車両において検出された車両情報を取得する車両情報取得機能と、撮像画像から検出された物体の像に対応する画像領域の経時的な画像変化量と車両情報とに基づいて、車室内に存在する物体が乗員であるか否かを判断して乗員を検出する乗員検出機能と、を有する制御装置１０を備えた乗員検出装置１００を提供する。【選択図】  図１
2014210477.tif 000002
【特許請求の範囲】
【請求項１】
車両の車室内を撮像するカメラから車室内の撮像画像を取得する画像取得手段と、
前記車両の動きに関し、前記車両において検出された車両情報を取得する車両情報取得手段と、
前記撮像画像に基づいて検出された物体の像に対応する画像領域の経時的な画像変化量と、当該物体の動きが検出されたタイミングにおける前記車両情報とに基づいて、前記車室内に存在する物体が乗員であるか否かを判断して乗員を検出する乗員検出手段と、を有する乗員検出装置。
【請求項２】
前記乗員検出手段は、前記撮像画像に基づいて検出された物体の像に対応する画像領域の経時的な画像変化量から検出された物体の動きの態様と、当該物体の動きが検出されたタイミングにおける前記車両情報とに基づいて、前記車室内に存在する物体が乗員であるか否かを判断して乗員を検出することを特徴とする請求項１に記載の乗員検出装置。
【請求項３】
前記乗員検出手段は、
前記車両の車幅方向の加速度が所定値以上である旨の車両情報が検出されたときに、
前記検出された物体の動きの態様が下端を中心とした搖動運動態様である場合には、前記検出された物体は乗員であると判断することを特徴とする請求項２に記載の乗員検出装置。
【請求項４】
前記乗員検出手段は、
前記車両の車幅方向の加速度が所定値以上である旨の車両情報が検出されたときに、
前記検出された物体の動きの態様が上端を中心とした搖動運動態様である場合には、前記検出された物体は乗員ではないと判断することを特徴とする請求項２又は３に記載の乗員検出装置。
【請求項５】
前記乗員検出手段は、
前記車両の車幅方向の加速度が所定値以上である旨の車両情報が検出されたときに、
前記検出された物体の動きの態様が倒れ込み後に倒れ込み状態が所定時間以上継続する場合には、前記検出された物体は乗員ではないと判断することを特徴とする請求項２〜４の何れか一項に記載の乗員検出装置。
【請求項６】
前記乗員検出手段は、
前記車両の車幅方向の加速度が所定値以上である旨の車両情報が検出されたときに、
前記検出された物体の動きの態様が水平移動後に位置変動が所定時間以上無い場合には、前記検出された物体は乗員ではないと判断することを特徴とする請求項２〜５の何れか一項に記載の乗員検出装置。
【請求項７】
前記乗員検出手段は、
前記車両の車幅方向の加速度が所定値以上である旨の車両情報が検出されたときに、
前記検出された物体の動きの態様が前記車幅方向の加速度と逆相の変位の運動態様である場合には、前記検出された物体は乗員ではないと判断することを特徴とする請求項２〜６の何れか一項に記載の乗員検出装置。
【請求項８】
前記乗員検出手段は、
前記撮像画像に基づいて検出された物体の像に対応する画像領域の経時的な画像変化量から検出された物体の大きさの変化態様と、当該物体の大きさの変化が検出されたタイミングにおける前記車両情報とに基づいて、前記車室内に存在する物体が乗員であるか否かを判断して乗員を検出することを特徴とする請求項１〜７の何れか一項に記載の乗員検出装置。
【請求項９】
前記乗員検出手段は、
前記車両の車長方向の負の加速度が所定値以上である旨の車両情報が検出されたときに、
前記検出された物体の大きさの変化態様が、当該物体の大きさが拡大した後にその状態が復元する態様である場合には、前記検出された物体は乗員であると判断することを特徴とする請求項８に記載の乗員検出装置。
【請求項１０】
前記乗員検出手段は、
前記車両の車長方向の負の加速度が所定値以上である旨の車両情報が検出されたときに、
前記検出された物体の大きさの変化態様が、当該物体の大きさが拡大した後にその状態が所定時間継続する態様である場合には、前記検出された物体は乗員ではないと判断することを特徴とする請求項８又は９に記載の乗員検出装置。
【請求項１１】
前記乗員検出手段は、
前記車両の車長方向の正の加速度が所定値以上である旨の車両情報が検出されたときに、
前記検出された物体の大きさの変化態様が、当該物体の大きさが縮小した後にその大きさが復元する態様である場合には、前記検出された物体は乗員であると判断することを特徴とする請求項８〜１０の何れか一項に記載の乗員検出装置。
【請求項１２】
前記乗員検出手段は、
前記車両の車長方向の正の加速度が所定値以上である旨の車両情報が検出されたときに、
前記検出された物体の大きさの変化態様が、当該物体の大きさが縮小した後にその状態が所定時間継続する態様である場合には、前記検出された物体は乗員ではないと判断することを特徴とする請求項８〜１１の何れか一項に記載の乗員検出装置。
【請求項１３】
前記乗員検出手段は、
前記車両の車長方向の正の加速度が所定値以上である旨の車両情報が検出されたときに、
前記検出された物体の大きさの変化態様が、当該物体の大きさが拡大するとともにその重心位置が変化し、その状態が所定時間継続する態様である場合には、前記検出された物体は乗員ではないと判断することを特徴とする請求項８〜１２の何れか一項に記載の乗員検出装置。
【請求項１４】
前記乗員検出手段は、
前記車両の車長方向の正の加速度が所定値以上である旨の車両情報が検出されたときに、
前記検出された物体の大きさの変化態様が、当該物体の大きさが縮小するとともにその重心位置が変化し、その状態が所定時間継続する態様である場合には、前記検出された物体は乗員ではないと判断することを特徴とする請求項８〜１３の何れか一項に記載の乗員検出装置。
【請求項１５】
前記車両から取得した車両情報に基づいて、前記車両のドライバの降車を判断する降車判断手段と、
前記降車判断手段により前記ドライバの降車後に前記乗員検出手段により乗員であると判定された物体が車内に存在している場合には、前記ドライバにその旨を報知する報知手段と、をさらに備えることを特徴とする請求項１〜１４の何れか一項に記載の乗員検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車室に設けられたカメラの撮像画像に基づいて、後席の乗員を検出する乗員検出装置に関する。
【背景技術】
【０００２】
この種の装置に関し、車室内のカメラの撮像画像に基づいて、乗員の有無や状態を検出する検出装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１１３１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置では、エッジ画像の差分に基づいて被写体の状態や位置に関する情報を得ることができるが、後席に置かれた荷物を乗員と誤検知する場合があるという問題がある。
【０００５】
本発明が解決しようとする課題は、車両の後席に置かれた荷物を、車両の後席に居る乗員として誤検出することを防止することである。
【課題を解決するための手段】
【０００６】
本発明は、撮像画像に基づいて検出された物体の像に対応する画像領域の経時的な画像変化量と、その物体の動きが検出されたタイミングにおける車両情報とに基づいて、車室内に存在する物体が乗員であるか否かを判断することにより、上記課題を解決する。
【発明の効果】
【０００７】
本発明によれば、車両の動きと車室内の物体の動きとの関係に基づいて車室内の物体が乗員を検出するので、荷物や外乱光による虚像と乗員とを判別できるため、車室内の乗員を精度よく検知することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る車室内監視システム１のブロック構成図である。
【図２】本実施形態のカメラの設置例を示す図である。
【図３】後席の映像の一例を示す図である。
【図４Ａ】車両情報と、乗員又は荷物の動きの態様との関係の一例を示す図である。
【図４Ｂ】車両情報と、乗員又は荷物の像の大きさの変化態様との関係の一例を示す図である。
【図５】本実施形態に係る車室内監視システム１の制御手順を説明するためのフローチャートである。
【図６】本実施形態に係る乗員検出装置１００の制御手順を説明するためのフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る乗員検出装置を、車室内監視システム１に適用した場合を例にして説明する。
【００１０】
図１は、本実施形態に係る乗員検出装置１００を備える車室内監視システム１のブロック構成を示す図である。乗員検出装置１００及びこれを含む車室内監視システム１は、車両に搭載されている。車室内監視システム１は、自車両の車室内の様子を監視し、ドライバに必要な情報を提供する。乗員検出装置１００は、自車両の車室内の情報として、車室内に人員（乗員）が存在するか否かを検出する。
【００１１】
図１に示すように、車室内監視システム１は、乗員検出装置１００と、車載装置２００とを有する。車載装置２００は、車両コントローラ５０と、各種機器６０と、ナビゲーション装置７０とを備える。乗員検出装置１００と各車載装置２００とは、相互に情報の授受を行うためにＣＡＮ（Controller Area Network）その他の車載ＬＡＮによって接続されている。
【００１２】
本実施形態の各種機器６０は、シフトレバーの位置を検出するシフトレバー６１と、車両にかかる加速度量に応じて出力される加速度センサ６２と、車両の速度を検出して出力する車速センサ６３と、車両の施錠状態を検出して出力する施錠装置６４と、車載装置２００内の時間を計時する時計６５と、車両の操舵量を検出して出力する操舵装置６６と、を有する。これらの各種機器群６０は、車両コントローラ５０を介して又は直接に、検出された情報を乗員検出装置１００へ出力する。
【００１３】
本実施形態のナビゲーション装置７０は、位置検出装置７１と、地図情報７２とを備え、自車両の現在位置から目的地までの経路を示してドライバを誘導する。また、本実施形態のナビゲーション装置７０は、外部との通信が可能であり、各地点の降雨情報を含む気象情報を取得し、乗員に提供する情報提供機能７３を備える。ナビゲーション装置７０は、取得した情報、演算した情報を、乗員検出装置１００、ディスプレイ３０、スピーカ７４に出力する。
【００１４】
また、同図に示すように、本実施形態の乗員検出装置１００は、制御装置１０と、カメラ２０と、ディスプレイ３０とを備える。
【００１５】
本実施形態のカメラ２０は、ＣＣＤ等の撮像素子を用いたカメラであり、車室内の後席を撮像する。図２は、カメラ２０の設置例を示す図である。図２（Ａ）は車両Ｖを上方から見た場合のカメラ２０の設置位置を示し、図２（Ｂ）は車両Ｖを側方から見た場合のカメラ２０の設置位置を示す。カメラ２０の数や配置場所は特に限定されず、本実施形態では、図２に示すように、車両Ｖの車室内天井付近に広角のカメラ２０を一つ設置する。
【００１６】
図３は、カメラ２０により撮像された後席映像の一例を示す。図３に示すように、カメラ２０は、撮像領域Ｐの中に、カメラ２０は前席の運転席ＳＴＦＲと助手席ＳＴＦＬ、及び後席の右側座席ＳＴＲＲと左側座席ＳＴＲＬの像が含まれるように撮像する。この映像には、後席の左側座席ＳＴＲＬに着座する乗員(子供)ＰＳ１の像が含まれる。
【００１７】
本実施形態のディスプレイ３０は、車両のドライバが視認可能なダッシュボード周囲に設置され、後席の撮像画像や案内情報などを提示する。
【００１８】
続いて、本実施形態の制御装置１０について説明する。本実施形態の乗員検出装置１００の制御装置１０は、カメラ２０の撮像画像に基づいて後席上の物体を検出し、その物体が人員であるか否かを判断し、その判断結果に基づいて車室内の監視を行うプログラムが格納されたＲＯＭ（Read Only Memory）１２と、このＲＯＭに格納されたプログラムを実行することで、乗員検出装置１００と車室内監視システム１として機能する動作回路としてのＣＰＵ（Central Processing Unit）１１と、アクセス可能な記憶装置として機能するＲＡＭ（Random Access Memory）１３と、を備えるコンピュータである。
【００１９】
本実施形態に係る乗員検出装置１００の制御装置１０は、画像取得機能と、車両情報取得機能と、乗員検出機能とを有する。さらに、本実施形態の制御装置１０は、実施態様に応じて、降車判断機能と、報知機能とをさらに有する。本実施形態の制御装置１０は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行する。
【００２０】
以下、本実施形態に係る乗員検出装置１００の各機能について説明する。
【００２１】
まず、本実施形態の制御装置１０の画像取得機能について説明する。制御装置１０は、カメラ２０が撮像した自車両周囲の撮像画像を取得する。取得した撮像画像は、後席の乗員の検出処理に利用されるとともに、後席の映像としてディスプレイ３０に提示される画像として利用される。
【００２２】
本実施形態の車両情報取得機能について説明する。制御装置１０は、車両の動きに関し、車両において各種機器６０により検出された車両情報を取得する。車両の動きに関する車両情報は各種機器６０から直接に取得してもよいし、各種機器から車両コントローラ５０を介して取得してもよい。車両情報としては、加速度センサ６２から取得する加速度、車速センサ６３から取得する自車両の車速、操舵装置６４から取得する操舵角などを例示することができる。加速度センサ６２は、車幅方向の加速度、いわゆる横方向の横Ｇと、車長方向の加速度、いわゆる縦方向の縦Ｇの少なくとも何れか一方を取得する。縦Ｇについては、取得した車速の経時的な変化に基づいて算出して得てもよい。横Ｇについては、取得した操舵量の経時的な変化に基づいて算出して得てもよい。さらに、横Ｇについては、ナビゲーション装置７０の地図情報７２が取得する道路曲率と車速情報に基づいて算出して得てもよい。道路曲率については、ＩＴＳ（Intelligent Transport Systems）などが提供し、情報提供機能７３が取得した道路曲率情報と車速情報に基づいて算出して得てもよい。
【００２３】
本実施形態の制御装置１０の乗員検出機能について説明する。制御装置１０は、カメラ２０により連続して撮像された撮像画像について差分比較を行い、連続して出力される画像の差分値より車室内に存在する物体を検出する。制御装置１０は、異なる時刻で取得された撮像画像の差分に所定の特徴が抽出された場合には、特徴が抽出された場所に物体が存在すると判断する。制御装置１０は、撮像画像の画像差分に基づいて検出された物体の像に対応する画像領域Ｘ（図３参照）に着目する。
【００２４】
そして、制御装置１０は、撮像画像に基づいて検出された物体の像に対応する画像領域の経時的な画像変化量と、その物体の動きが検出されたタイミングにおける車両情報とに基づいて、車室内に存在する物体が乗員であるか否か、つまり、検出された物体が人員であるのか荷物等であるのかを判断して乗員を検出する。
【００２５】
本実施形態の制御装置１０は、車両情報に基づいて車両が走行中であり、車両に所定量以上の車両運動が発生したと判定されたタイミングにおいて、車室内に存在する物体の動きにより、車室内の物体を乗員であるか荷物であるかを判断する。
【００２６】
制御装置１０は、撮像画像に基づいて検出された物体の像に対応する画像領域の経時的な画像変化量から検出された物体の動きの態様と、その物体の動きが検出されたタイミングにおける車両情報とに基づいて、車室内に存在する物体が乗員であるか否かを判断して乗員を検出する。
【００２７】
車室内の物体が人員である場合には、シートベルトやチャイルドシートによって座席に固定されており、車室内の物体が荷物である場合には、通常、座席上に固定されることなく置かれている。本発明では、このような座席との固定関係の違いによって物体の動きの態様が異なる点に着目し、車両の挙動と物体の動きの態様との関係に基づいて、その物体の属性が人員であるのか荷物などであるのかを判断する。
【００２８】
また、車室内の撮像画像に経時的な差分画像を生じさせるのは、実在する物体のみではない。車両は移動するため、その光環境は刻々と変化する。自車両の移動により街灯から車室内に差し込む光（外乱光）の状態は異なり、互いに移動する対向車両や後続車両のヘッドライトから車室内に差し込む光（外乱光）の状態も異なる。これらの外乱光は、車室内の撮像画像に経時的な差分画像を生じさせる。ただし、これらの外乱光により生じる物体の像（虚像）の大きさの変化態様も、シートベルトやチャイルドシートによって座席に固定されている人員の像の大きさの変化態様と異なる特徴を示す。本発明では、座席に存在する人員の像の大きさの変化態様と、外乱光による形成される虚像の大きさの変化態様とが異なる点に着目し、車両の挙動と物体の像の大きさの変化態様との関係に基づいて、その物体の属性が人員であるのか外乱光による虚像であるのかを判断する。
【００２９】
以下、車両の挙動と物体の動きの態様との関係に基づいて、その物体の属性が人員であるのか荷物などであるのかを判断する手法を説明する。
【００３０】
図４Ａは、車両情報と、物体の動きの態様／物体に対応する画像領域の面積の変化態様との関係の一例を示す図である。同図には、一定値以上の車両情報（車両の挙動）が発生したときの乗員以外の乗車物体の動きの変化態様と物体に対応する画像領域の面積の変化態様とを模式的に示す図である。図４Ａに示す楕円形の図形は、車室内において検出された物体の像に対応する画像領域を示す。
【００３１】
図４Ａには、所定量以上の車幅方向に沿う左右の横Ｇが生じた場合の物体（に対応する画像領域）の動きの態様を上段に示し、所定量以上の車長方向に沿う正負の縦Ｇ（減速Ｇ／加速Ｇ）が生じた場合の物体（に対応する画像領域）の動きの態様を下段に示す。
【００３２】
まず、所定量以上の車幅方向に沿う左右の横Ｇが生じた場合の物体（に対応する画像領域）の動きの態様に基づいて物体が人員であるか否かを判断する手法について説明する。
【００３３】
所定値以上の左右の横Ｇが発生したときに、車室内において検出された物体が乗員である場合には、それらはシートベルトやチャイルドシートによって身体が座席に拘束されているので、図４Ａの上段の左側に示すように、物体に対応する画像領域は下端を中心とした振子運動を含む搖動運動の態様の動きを示す。特に限定されないが、本実施形態における搖動運動とは、揺れ動くことであり、その物体内又は物体外の搖動中心に対して、物体の一部又は全部が相対的に大きい移動量で動くことを含む。搖動の反復回数は一回以上である。他方、車室内において検出された物体が荷物である場合には、図４Ａの上段の右側に示すように、物体に対応する画像領域は、下端を中心とした振子運動を含む搖動運動の態様の動きを示すことはなく、上端を中心とした搖動運動の動きや、変位後、その状態が維持されて元の位置には戻らない動きを示す。後席のヘッドレストやサイドドア上部のフックに掛けられたジャケットなどは、車両の横Ｇの発生時に上端を中心とした搖動運動の動きを示し、座席の座面上に置かれた荷物などは、車両の横Ｇ発生時において搖動運動はせず、変位したまま元の位置には戻らない動きを示す。つまり、車両に所定量以上の横Ｇがかかった場合において、人員に生じる動きの態様は、荷物などに生じる動きの態様とは異なる。
【００３４】
本実施形態の制御装置１０は、車両の車幅方向の加速度が所定値以上である旨の車両情報が検出されたときに、検出された物体の動きの態様が下端を中心とした搖動運動態様である場合には、検出された物体は乗員であると判断する。これにより、車両に所定量以上の横Ｇがかかったときに観察される、シートベルトやチャイルドシートによって身体が座席に拘束されている人員の特徴的な動きの態様に基づいて、車室内の物体が乗員であるか荷物等であるかを高い精度で判断することができる。
【００３５】
本実施形態の制御装置１０は、車両の車幅方向の加速度が所定値以上である旨の車両情報が検出されたときに、検出された物体の動きの態様が上端を中心とした搖動運動の態様である場合には、検出された物体は乗員ではないと判断する。これにより、車両に所定量以上の横Ｇがかかったときに観察される、後席のヘッドレストやフックに上端が掛止されているジャケットやカバンなどの荷物の特徴的な動きの態様に基づいて、車室内の物体が乗員であるか荷物等であるかを高い精度で判断することができる。
【００３６】
本実施形態の制御装置１０は、車両の車幅方向の加速度が所定値以上である旨の車両情報が検出されたときに、検出された物体の動きの態様が倒れ込み後に倒れ込み状態が所定時間以上継続する場合には、検出された物体は乗員ではないと判断する。これにより、車両に所定量以上の横Ｇがかかったときに観察される、後席の座面に置かれ、座面上を自由に動く荷物の特徴的な動きの態様に基づいて、車室内の物体が乗員であるか荷物等であるかを高い精度で判断することができる。
【００３７】
次に、所定量以上の車長方向に沿う前後の縦Ｇが生じた場合の物体（に対応する画像領域）の物体の大きさの変化態様に基づいて物体が人員であるか、荷物であるかを判断する手法について説明する。前後の縦Ｇには減速時に生じる負の減速Ｇと、加速時に生じる正の加速Ｇとが観察される。
【００３８】
車両に縦Ｇがかかると、車室内の物体にも縦方向の重力がかかる。車室内の物体は車両にかかる縦Ｇの影響で、前方又は後方に移動する。物体が前後に移動するとカメラ２０からの位置が変動するために、撮像画像において物体が占める画像領域の大きさ（面積）が変化する。
【００３９】
本実施形態の制御装置１０は、この点に着目し、撮像画像に基づいて検出された物体の像に対応する画像領域の大きさ、つまり物体の大きさの変化態様と、その物体の大きさの変化が検出されたタイミングにおける車両情報とに基づいて、車室内に存在する物体が乗員であるか又は荷物であるかを判断して乗員を検出する。これにより、車両に所定量以上の縦Ｇがかかった場合の人員に生じる特徴的な動きの変化に応じた画像領域の面積変化の態様に基づいて、車室内の物体が人員であるか荷物であるかを高い精度で判別することができる。
【００４０】
まず、減速時において生じる負の減速Ｇが車両に生じた場合を説明する。減速時において物体は減速の反動でカメラ２０に接近する方向に移動する。このため、カメラ２０に撮像されている撮像面おける物体が占める画像領域の面積が一時的に増加する。このような減速時において、所定値以上の負の縦Ｇが発生したときに、車室内において検出された物体が乗員である場合には、それらはシートベルトやチャイルドシートによって身体が座席に拘束されているので、図４Ａの下段第１行目の左側に示すように、物体に対応する画像領域が一度は拡大するものの時間が経つと元の大きさに戻る。他方、所定値以上の負の縦Ｇが発生したときに、車室内において検出された物体が荷物である場合には、後席の座面の上に拘束されることなく置かれた載置された荷物は、車両の減速時に負の縦Ｇが発生すると倒れ込む、又は袋内に積み上げられた内包物が崩れ、物体は減速の反動でカメラ２０に接近する方向に移動する。このような減速時においては、図４Ａの下段第１行目の右側に示すように、物体に対応する画像領域は拡大した状態が所定時間以上継続し、所定時間内には元の大きさにもどることはない。つまり、車両に所定量以上の負の縦Ｇがかかった場合において、人員に生じる画像領域の大きさの変化態様は、荷物などに生じる画像領域の大きさの変化態様とは異なる。
【００４１】
具体的に、本実施形態の制御装置１０は、車両の車長方向の負の加速度が所定値以上である旨の車両情報が検出されたときに、検出された物体の大きさの変化態様が拡大後にそのままの状態とはならずに、拡大後に所定時間以内に復元する態様である場合には、検出された物体は乗員であると判断する。これにより、車両に所定量以上の負の縦Ｇがかかったときに観察される、シートベルトやチャイルドシートによって身体が座席に拘束されている人員の像の特徴的な大きさの変化態様に基づいて、車室内の物体が乗員であるか荷物等であるかを高い精度で判断することができる。
【００４２】
本実施形態の制御装置１０は、車両の車長方向の負の加速度が所定値以上である旨の車両情報が検出されたときに、検出された物体の大きさの変化態様が拡大後に拡大状態が戻ることなく、その拡大状態が所定時間継続する態様である場合には、検出された物体は乗員ではないと判断する。これにより、車両に所定量以上の負の縦Ｇがかかったときに観察される、後席の座面で倒れ込んだり中身が崩れたりする際の荷物の像の大きさの変化態様に基づいて、車室内の物体が乗員であるか荷物等であるかを高い精度で判断することができる。
【００４３】
次に、加速時（速度増加時）において生じる正の加速Ｇが車両に生じた場合を説明する。加速時において物体は加速の反動でカメラ２０から離隔する方向に移動する。このため、カメラ２０に撮像されている撮像面おける物体が占める画像領域の面積が一時的に減少する。上述したように車室内に実在する人員等は、シートベルトやチャイルドシートによって身体が座席に拘束されているので、図４Ａの下段第２行目の左側に示すように、物体に対応する画像領域が一度は縮小するものの時間が経つと元の大きさに戻る。他方、所定値以上の正の縦Ｇが発生したときに、車室内において検出された物体が荷物である場合には、後席の座面の上に拘束されることなく置かれた載置された荷物は、車両の加速時に正の縦Ｇが発生すると倒れ込む、又は袋内に積み上げられた内包物が崩れ、物体は加速の反動でカメラ２０から離隔する方向に移動する。このような加速時においては、図４Ａの下段第２行目の右側に示すように、物体に対応する画像領域は縮小した状態が所定時間以上継続し、所定時間内には元の大きさにもどることはない。つまり、車両に所定量以上の正の縦Ｇがかかった場合において、人員に生じる画像領域の大きさの変化態様と、荷物の画像領域の大きさの変化態様とは異なる。
【００４４】
具体的に、本実施形態の制御装置１０は、車両の車長方向の正の加速度が所定値以上である旨の車両情報が検出されたときに、検出された物体の大きさの変化態様が縮小後に復元する態様である場合には、検出された物体は乗員であると判断する。これにより、車両に所定量以上の正の縦Ｇがかかったときに観察される、シートベルトやチャイルドシートによって身体が座席に拘束されている人員の特徴的な動きの態様に基づいて、車室内の物体が乗員であるか荷物等であるかを高い精度で判断することができる。
【００４５】
本実施形態の制御装置１０は、車長方向の正の加速度が所定値以上である旨の車両情報が検出されたときに、検出された物体の大きさの変化態様が縮小後に縮小状態が所定時間継続する態様である場合には、検出された物体は乗員ではないと判断する。これにより、車両に所定量以上の正の縦Ｇがかかったときに観察される、後席の座面で倒れ込んだり中身が崩れたりする際の荷物の特徴的な動きの態様に基づいて、車室内の物体が乗員であるか荷物等であるかを高い精度で判断することができる。
【００４６】
以下、車両の挙動と物体の動きの態様との関係に基づいて、その物体が人員であるのか他車両のヘッドライト光などの外乱光による虚像であるのかを判断する手法を説明する。
【００４７】
図４Ｂは、車両情報と、物体の動きの態様／物体に対応する画像領域の面積の変化態様との関係の一例を示す図である。同図には、一定値以上の車両情報（車両の挙動）が発生したときの乗員以外の乗車物体の動きの変化態様と物体に対応する画像領域の面積の変化態様とを模式的に示す図である。図４Ｂに示す楕円形の図形は、車室内において検出された物体の像に対応する画像領域を示す。
【００４８】
図４Ａには、所定量以上の車幅方向に沿う左右の横Ｇが生じた場合の物体（に対応する画像領域）の動きの態様を上段に示し、所定量以上の車長方向に沿う正負の縦Ｇ（減速Ｇ／加速Ｇ）が生じた場合の物体（に対応する画像領域）の動きの態様を下段に示す。
【００４９】
まず、所定量以上の車幅方向に沿う左右の横Ｇが生じた場合の物体（に対応する画像領域）の動きの態様に基づいて物体が人員であるか否かを判断する手法について説明する。
【００５０】
所定値以上の左右の横Ｇが発生したときに、車室内において検出された物体が乗員である場合には、上述したように、物体に対応する画像領域は下端を中心とした振子運動を含む搖動運動の態様の動きを示す。他方、検出された物体が、他車両のヘッドライトや街灯などの外乱光により生じた虚像である場合には、図４Ｂの上段の右側に示すように、物体（虚像）に対応する画像領域は、下端を中心とした振子運動を含む搖動運動の態様の動きを示すことはなく、車幅方向に沿って平行移動し、変位後消失する。又は、同図に示すように、物体（虚像）に対応する画像領域は、下端を中心とした振子運動を含む搖動運動の態様の動きを示すことはなく、車両の横Ｇに応じた運動に対して逆相の変位を示す。これらは、自車両に対して前方から接近してくる対向車両のヘッドライト光が車室内に差し込むことにより生じた虚像により観察される。
【００５１】
具体的に、本実施形態の制御装置１０は、車両の車幅方向の加速度が所定値以上である旨の車両情報が検出されたときに、検出された物体の動きの態様が水平移動後に位置変動が所定時間以上無い場合には、検出された物体は乗員ではないと判断する。これにより、車両に所定量以上の横Ｇがかかったときに観察される、シートベルトやチャイルドシートによって身体が座席に拘束されている人員の特徴的な動きの態様に基づいて、車室内の物体が乗員であるか外乱光による虚像であるかを高い精度で判断することができる。
【００５２】
本実施形態の制御装置１０は、車両の車幅方向の加速度が所定値以上である旨の車両情報が検出されたときに、検出された物体の動きの態様が車幅方向の加速度と逆相の変位の運動態様である場合には、検出された物体は乗員ではないと判断する。これにより、車室内に差し込んだ外乱光によって生じる虚像の特徴的な動きの態様、特に、車両に生じる横Ｇの方向と、検出された物体（虚像）の変位の方向との関係が逆相となることにより、車室内の物体が乗員であるか外乱光により生じた虚像等であるかを高い精度で判断することができる。
【００５３】
次に、所定量以上の車長方向に沿う前後の縦Ｇが生じた場合の物体（に対応する画像領域）の物体の大きさの変化態様に基づいて物体が人員であるか、虚像であるかを判断する手法について説明する。前後の縦Ｇには減速時に生じる負の減速Ｇと、加速時に生じる正の加速Ｇとが観察される。
【００５４】
車両に縦Ｇがかかると、車室内の物体にも縦方向の重力がかかる。車室内の物体は車両にかかる縦Ｇの影響で、前方又は後方に移動する。物体が前後に移動するとカメラ２０からの位置が変動するために、撮像画像において物体が占める画像領域の大きさ（面積）が変化する。他方、車室内に差し込む外乱光により生じた虚像には、車両に縦Ｇが生じてもその影響を受けることはない。このため、外乱光により生じた物体（虚像）は、車室内に実在する物体とは、画像領域の面積変化の態様が異なる。
【００５５】
本実施形態の制御装置１０は、この点に着目し、撮像画像に基づいて検出された物体の像に対応する画像領域の大きさ、つまり物体の大きさの変化態様と、その物体の大きさの変化が検出されたタイミングにおける車両情報とに基づいて、車室内に存在する物体が乗員であるか否かを判断して乗員を検出する。これにより、車両に所定量以上の縦Ｇがかかった場合の人員に生じる特徴的な動きの変化に応じた画像領域の面積変化の態様に基づいて、車室内の物体が人員であるか虚像であるかを高い精度で判別することができる。
【００５６】
まず、減速時において生じる負の減速Ｇが車両に生じた場合を説明する。先述したように、車室内の乗員は減速の反動でカメラ２０に接近する方向に移動する。このため、図４Ｂの下段第１行目の左側に示すように、カメラ２０に撮像されている撮像面おける物体が占める画像領域の面積が一時的に増加し、その後復元する。他方、所定値以上の負の縦Ｇが発生したときに、車室内において外乱光による虚像が発生している場合には、図４Ｂの下段第１行目の右側に示すように、画像領域は拡大するとともに物体として検出された画像領域の重心も変位する。そして、その状態は所定時間以上継続し、所定時間以内に元の状態には戻らない。つまり、車両に所定量以上の負の縦Ｇがかかった場合において、人員に生じる画像領域の大きさの変化態様と、虚像の画像領域の大きさの変化態様とは異なる。
【００５７】
具体的に、本実施形態の制御装置１０は、車両の車長方向の正の加速度が所定値以上である旨の車両情報が検出されたときに、検出された物体の大きさの変化態様が、拡大するとともにその重心位置が変化し、その状態が所定時間継続する態様である場合には、検出された物体は乗員ではないと判断する。これにより、車両に所定量以上の負の縦Ｇがかかったときに観察される、車室内に実在する物体とは異なる外乱光による虚像の大きさの変化態様に基づいて、車室内の物体が乗員であるか虚像であるかを高い精度で判断することができる。
【００５８】
次に、加速時（速度増加時）において生じる正の加速Ｇが車両に生じた場合を説明する。加速時において物体は加速の反動でカメラ２０から離隔する方向に移動する。このため、カメラ２０に撮像されている撮像面おける物体が占める画像領域の面積が一時的に減少する。上述したように車室内に実在する人員等は、シートベルトやチャイルドシートによって身体が座席に拘束されているので、図４Ｂの下段第２行目の左側に示すように、乗員に対応する画像領域が一度は縮小するものの時間が経つと元の大きさに戻る。他方、所定値以上の正の縦Ｇが発生したときに、車室内において検出された物体が外乱光による虚像である場合には、図４Ｂの下段第２行目の右側に示すように、画像領域は縮小するとともに物体として検出された画像領域の重心も変位する。そして、その状態は所定時間以上継続し、所定時間以内には元の状態には戻らない。つまり、車両に所定量以上の正の縦Ｇがかかった場合において、人員に生じる画像領域の大きさの変化態様と、虚像の画像領域の大きさの変化態様とは異なる。
【００５９】
具体的に、本実施形態の制御装置１０は、車両の車長方向の正の加速度が所定値以上である旨の車両情報が検出されたときに、検出された物体の大きさの変化態様が、物体の大きさが縮小するとともにしかつその重心位置が変化し、その状態が所定時間継続する態様である場合には、検出された物体は乗員ではないと判断する。これにより、車両に所定量以上の正の縦Ｇがかかったときに観察され人員の特徴的な動きの態様と、外乱光により生じる虚像の特徴的な動きの態様とに基づいて、車室内の物体が乗員であるか虚像であるかを高い精度で判断することができる。
【００６０】
次に、降車判断機能について説明する。本実施形態の制御装置１０は、車両から取得した車両情報に基づいて、車両のドライバの降車を判断する。制御装置１０は、シフトレバー６１のシフトレバー情報、車速センサ６３の車速信号、施錠装置６４の施錠信号から現在の車両の状態を取得し、自車両が走行中、降車準備時、施錠時のいずれの状態であるかを判断する。具体的には、シフトレバー情報がパーキング位置以外であり、車速信号が0km/hではない場合には、自車両が走行中であると判断する。車速信号が0km/hであり、シフトレバー情報がパーキング位置となった場合に降車準備中と判断する。さらに、施錠信号に基づいて施錠時と判断する。
【００６１】
最後に報知機能について説明する。降車判断機能によりドライバの降車後に乗員であると判断された物体が車内に存在している場合には、ドライバにその旨を報知する。報知機能は、降車判断機能と、乗員検出機能の処理結果に基づいてドライバが降車時に車両内に物体が置き去りにされていることを報知する。第１の報知態様としては、降車判断機能により降車準備中と判断されたタイミングにおいて、乗員検出機能が車室内の物体が乗員であると判断しているときには、ドライバに置き去りを報知する。第２の報知態様としては、降車状態判断機能が施錠時と判断されたタイミングにおいて、乗員検出機能が乗員と判断した物体が車室内に置去りにされていると判断しているときには、ドライバに置き去りを報知する。本実施形態の車室内監視システム１は、出力装置としてディスプレイ３０、スピーカ４０（ブザー機能を備える）を備え、報知機能の指令に呼応してテキストによる報知情報をディスプレイ３０に表示し、又は音声による報知情報をスピーカ４０により出力する。
【００６２】
続いて、本実施形態の車室内監視システム１の監視制御手順を、図５のフローチャートに基づいて説明する。図５には、車室内の乗員が置き去られていることを監視する処理を示す。本発明の乗員の検知処理については、後に詳述する。なお。図５に示す処理内容は、所定周期で連続的に行われる。
【００６３】
図５に示すように、ステップＳ１において、以降の処理の実行に使用するタイマーやカウンタ、フラグを初期設定する初期化の処理を実行する。次にステップＳ２において、制御装置１０は、車載装置２００から車両情報を取得する。車両情報は、加速度情報、シフトレバー情報、施錠情報、時間情報、車速情報、操舵情報、ナビゲーション装置７０の案内情報又は外部から取得した情報を含む。
【００６４】
続くＳ３において、制御装置１０は、ドライバの降車動作（又は運転動作）を判断する。本実施形態では、走行中（非降車）、降車準備時、施錠時のいずれの状態であるかを判断する。具体的に、制御装置１０は、シフトレバー６１がパーキング位置以外であり、車速信号が0km/hでない場合には自車両は走行中であると判断し、ステップＳ４へ進む。制御装置１０は、車速信号が0km/hであり、シフトレバー６１がパーキング位置となった場合には降車準備中と判断し、ステップＳ５へ進む。さらに、制御装置１０は、施錠信号に基づいて施錠時と判断し、ステップＳ６へ進む。
【００６５】
ステップＳ４において、制御装置１０は、自車両の現在の走行状態は走行中であると保持し、Ｓ７へ進む。そしてステップＳ５では、現在の車両状態を降車準備時であると保持し、Ｓ８へ進む。そしてステップＳ６では、現在の車両状態を施錠時であると保持し、Ｓ１１へ進む。
【００６６】
ステップ４に続くステップＳ７において、制御装置１０は乗車検出処理を行う。本実施形態の制御装置１０は、乗員検出領域Ｘにおける特徴をそれぞれ経時的に抽出し、その抽出結果に基づいて車室内に存在する物体が乗員であるか否かを判断して乗員を検出し、ステップＳ２へ戻る。
【００６７】
ステップＳ５に続くステップＳ８において、前回処理のステップＳ７で判断した乗員検出処理に基づいて分岐処理を行う。ステップＳ７において、乗車乗員が存在すると判断されている場合、ステップＳ９へ進み、そうでなければ処理を終了する。
【００６８】
ステップＳ９において、制御装置１０は、物体の置去りを検知する処理のためにカメラ２０に後席を撮像させ、その撮像画像を格納する。
【００６９】
ステップＳ１０において、制御装置１０は、降車準備中のドライバに、乗員がいることを報知するための一次報知処理を行う。一次報知処理は、ディスプレイ３０に、ステップＳ９においてカメラ１２で撮像された画像を表示し、ドライバに乗員の存在を思い出させ、乗員の置忘れを防止させる。一次報知処理終了後、ステップ２へ戻る。
【００７０】
ステップＳ６に続くステップＳ１１において、前回処理のステップＳ７で判断した乗員検出処理に基づいて分岐処理を行う。ステップＳ７において、乗車乗員が存在すると判断されている場合、ステップＳ１２へ進み、そうでなければ処理を終了する。
【００７１】
続くステップＳ１２において、置去り検知処理を行う。置去り検知処理は、カメラ２０で現在の車室内画像を撮像し、前回処理のＳ９で取得し格納された画像と差分比較を行う。差分比較の結果、差分が存在しない場合、乗員は依然乗車中であり、車両から降りていないと考えられるので置去りされていると判断する。また、差分が存在する場合、乗車した乗員は降車していると判断する。
【００７２】
ステップＳ１３において、ステップＳ１２で判断した置去り検知処理に基づいて分岐処理を行う。ステップＳ１２において、乗員の置去りがされていると判断されている場合、ステップＳ１４へ進み、そうでなければ処理を終了する。
【００７３】
ステップＳ１４において、乗員の置き忘れをドライバに報知するための二次報知処理を行う。二次報知処理は、スピーカ３０により乗員の置忘れをドライバに警報する。そして、全体の処理を終了する。
【００７４】
なお、本実施形態では置忘れを警報して直ぐ終了するようにしているが、置忘れが解消されるまで、または、ドライバの意思（例えば再度の施錠動作）を確認できるまで警報を継続するようにしても良い。ドライバに物体の乗車を思い出させ、物体の置忘れを防止させる。２次報知処理終了後、処理を終了する。
【００７５】
次に、乗員検出処理を、図６のフローチャートに基づいて説明する。本実施形態の乗員検出処理は、図５に示す車室内監視処理のフロー中におけるステップＳ７に位置づけられる。
【００７６】
図６に示すように、ステップＳ７０１において、前回の処理の乗員検出処理の結果に基づいて分岐処理を行う。過去の乗員検出処理における結果が「乗車乗員が有る」という判断である場合には、ステップＳ７０７へ進み、そうでなければＳ７０２以降の処理を行う。
【００７７】
そして、ステップＳ７０２において、車室内のカメラ２０によって撮像された撮像画像に基づいて車室内に存在する物体の検出処理を行い、物体の動きを物体の像を含む画像領域の画像変化として記憶する。
【００７８】
カメラ２０により取得した車室内の撮像画像に基づいて、乗車物体の検出処理を行い、乗車物体の動きを画像領域の変化として保持する手法は特に限定されず、本願出願時に知られた手法を適宜に用いることができる。
【００７９】
次にステップＳ７０３において、ステップＳ７０２の物体検知処理に基づいて分岐処理を行う。ステップＳ７０２において、乗車物体が検出された場合には、ステップＳ７０４へ進み、そうでなければステップＳ７０５へ進む。
【００８０】
そして、Ｓ７０４において、乗車物体が存在する旨の結果を取得し、ステップＳ７０５において、乗車物体は無いとする旨の結果を取得する。ステップＳ７０６において、ステップＳ７０４，Ｓ７０５の結果を記憶し、ステップＳ７０７へ進む。
【００８１】
次にＳ７０７において、車両情報を取得し、その車両情報に基づいて車両の運動を判定する。車両運動の判定処理においては、加速度情報（車幅方向の横加速度、車長方向の縦加速度を含む）、車速情報、操舵情報、ナビゲーション情報を取得し、車両の運動を判定する。
【００８２】
Ｓ７０８において、先にステップＳ７０６において記憶された車室内の物体の有無に基づいて分岐処理を行う。過去の物体検出処理の結果、乗車物体が有ると判定されている場合にはステップＳ７０９へ進み、そうでなければ処理を終了する。
【００８３】
ステップS７０９において、ステップＳ７０７で判定された車両運動状態に基づいて分岐処理を行う。ステップＳ７０７での判定処理において、一定量以上の車両運動が発生した、例えば、所定量以上の縦方向又は横方向の加速度が検出されたタイミングを抽出する。車両運動が検出された場合にはステップＳ７１０へ進み、そうでなければ処理を終了する。
【００８４】
さらに、ステップＳ７１０において、保持された車室内の物体が人員であるかそれ以外の荷物又は虚像であるかの弁別処理を行う。制御装置１０は、撮像画像に基づいて検出された物体の像に対応する画像領域の経時的な画像変化量と、その物体の動きが検出されたタイミングにおける車両情報とに基づいて、車室内に存在する物体が乗員であるか否かを判断する。検出された物体が乗員であるか、又は荷物等であるかは、図４Ａに示す条件を用いて判断することができる。また、物体された物体が実在する乗員であるか、又は虚像であるかについては、図４Ｂに示す条件を用いて判断することができる。
【００８５】
ステップＳ７１０の物体の判断処理の結果に応じてステップＳ７１１において分岐処理を行う。ステップＳ７１１において判断結果が乗員であればステップＳ７１２に進み、車室内において検出された物体が乗員である旨の結果を記憶又は出力する。他方、ステップＳ７１１において判断結果が乗員であればステップＳ７１３に進み、車室内において検出された物体が乗員ではなく、荷物又は虚像である旨の結果を記憶又は出力する。その後、処理を終了する。
【００８６】
本実施形態の乗員検出装置１００によれば、以下の効果を奏する。
【００８７】
[１]本実施形態の乗員検出装置１００によれば、撮像画像に基づいて検出された物体の像に対応する画像領域の経時的な画像変化量と、その物体の動きが検出されたタイミングにおける車両情報とに基づいて、車両の動きと車室内の物体の動きとの関係に基づいて車室内の物体が乗員であるか又は荷物や外乱光による虚像であるかを判別するため、車室内の乗員を精度よく検知することができる。つまり、外乱光や荷物を除外するので、乗員乗車の誤検出を低減することができる。車室内の物体が乗員か荷物かどうかの弁別を、画像処理の結果と車両運動の関係性より推定するので、車両運動による荷物の誤検出を低減することができる。また、車室内の物体の動きを画像領域の情報として検出するので、乗車物体の動きの変化を領域の重心と領域の端部の相対関係変化より簡便に計算することができるので、処理に必要な負荷を下げることができる。
【００８８】
[２]本実施形態の乗員検出装置１００によれば、物体の動きの態様と車両情報とに基づいて車室内に存在する物体が乗員であるか否かを判断して乗員を検出するので、車両の動きと車室内の物体の動きとの関係に基づいて車室内の物体が乗員であるか又は荷物であるかを判別するため、車室内の乗員を精度よく検知することができる。
【００８９】
[３]本実施形態の乗員検出装置１００によれば、車両に所定量以上の横Ｇがかかったときに検出された物体の動きの態様が下端を中心とした搖動運動態様である場合には、検出された物体は乗員であると判断するので、車両に所定量以上の横Ｇがかかったときに観察される、シートベルトやチャイルドシートによって身体が座席に拘束されている人員の特徴的な動きの態様に基づいて、車室内の物体が乗員であるか荷物等であるかを高い精度で判断することができる。
【００９０】
[４]本実施形態の乗員検出装置１００によれば、車両に所定量以上の横Ｇがかかったときに検出された物体の動きの態様が上端を中心とした搖動運動態様である場合には検出された物体は乗員ではないと判断するので、車両に所定量以上の横Ｇがかかったときに観察される、後席のヘッドレストやフックに上端が掛止されているジャケットやカバンなどの荷物の特徴的な動きの態様に基づいて、車室内の物体が乗員であるか荷物等であるかを高い精度で判断することができる。
【００９１】
[５]本実施形態の乗員検出装置１００によれば、車両に所定量以上の横Ｇがかかったときに検出された物体の動きの態様が倒れ込み後に倒れ込み状態が所定時間以上継続する場合には、検出された物体は乗員ではないと判断するので、車両に所定量以上の横Ｇがかかったときに観察される、後席の座面に置かれ、座面上を自由に動く荷物の特徴的な動きの態様に基づいて、車室内の物体が乗員であるか荷物等であるかを高い精度で判断することができる。
【００９２】
[６]本実施形態の乗員検出装置１００によれば、車両に所定量以上の横Ｇがかかったときに検出された物体の動きの態様が水平移動後に位置変動が所定時間以上無い場合には、検出された物体は乗員ではないと判断するので、車両に所定量以上の横Ｇがかかったときに観察される、シートベルトやチャイルドシートによって身体が座席に拘束されている人員の特徴的な動きの態様に基づいて、車室内の物体が乗員であるか外乱光による虚像であるかを高い精度で判断することができる。
【００９３】
[７]本実施形態の乗員検出装置１００によれば、車両に所定量以上の横Ｇがかかったときに検出された物体の動きの態様が車幅方向の加速度と逆相の変位の運動態様である場合には、検出された物体は乗員ではないと判断するので、車室内に差し込んだ外乱光によって生じる虚像の特徴的な動きの態様、特に、車両に生じる横Ｇの方向と、検出された物体（虚像）の変位の方向との関係が逆相となることにより、車室内の物体が乗員であるか外乱光により生じた虚像等であるかを高い精度で判断することができる。
【００９４】
[８]本実施形態の乗員検出装置１００によれば、撮像画像に基づいて検出された物体の像に対応する画像領域の経時的な画像変化量から検出された物体の大きさの変化態様と、この物体の大きさの変化が検出されたタイミングにおける車両情報とに基づいて、車室内に存在する物体が乗員であるか否かを判断して乗員を検出するので、車両の動きと車室内の物体の大きさの変化態様との関係に基づいて車室内の物体が乗員であるか又は外乱光による虚像であるかを判別するため、車室内の乗員を精度よく検知することができる。
【００９５】
[９]本実施形態の乗員検出装置１００によれば、車両に所定量以上の負の縦Ｇがかかったときに検出された物体の大きさの変化態様が、その物体の大きさが拡大した後にその状態が復元する態様である場合には、検出された物体は乗員であると判断するので、車両に所定量以上の負の縦Ｇがかかったときに観察される、シートベルトやチャイルドシートによって身体が座席に拘束されている人員の特徴的な動きの態様に基づいて、車室内の物体が乗員であるか否かを高い精度で判断することができる。
【００９６】
[１０]本実施形態の乗員検出装置１００によれば、検出された物体の大きさの変化態様が、その物体の大きさが拡大した後にその状態が所定時間継続する態様である場合には、検出された物体は乗員ではないと判断するので、車両に所定量以上の負の縦Ｇがかかったときに観察される、後席の座面で倒れ込んだり中身が崩れたりする際の荷物の特徴的な動きの態様に基づいて、車室内の物体が乗員であるか荷物であるかを高い精度で判断することができる。
【００９７】
[１１]本実施形態の乗員検出装置１００によれば、車両に所定量以上の正の縦Ｇがかかったときに検出された物体の大きさの変化態様が、その物体の大きさが縮小した後にその大きさが復元する態様である場合には、検出された物体は乗員であると判断するので、車両に所定量以上の正の縦Ｇがかかったときに観察される、シートベルトやチャイルドシートによって身体が座席に拘束されている人員の特徴的な動きの態様に基づいて、車室内の物体が乗員であるか否かを高い精度で判断することができる。
【００９８】
[１２]本実施形態の乗員検出装置１００によれば、車両に所定量以上の正の縦Ｇがかかったときに検出された物体の大きさの変化態様が、その物体の大きさが縮小した後にその状態が所定時間継続する態様である場合には、検出された物体は乗員ではないと判断するので、車両に所定量以上の正の縦Ｇがかかったときに観察される、後席の座面で倒れ込んだり中身が崩れたりする際の荷物の特徴的な動きの態様に基づいて、車室内の物体が乗員であるか荷物等であるかを高い精度で判断することができる。
【００９９】
[１３]本実施形態の乗員検出装置１００によれば、車両に所定量以上の負の縦Ｇがかかったときに検出された物体の大きさの変化態様が、その物体の大きさが拡大するとともにその重心位置が変化し、その状態が所定時間継続する態様である場合には、検出された物体は乗員ではないと判断するので、車両に所定量以上の負の縦Ｇがかかったときに観察される、車室内に実在する物体とは異なる外乱光による虚像の大きさの変化態様に基づいて、車室内の物体が乗員であるか虚像であるかを高い精度で判断することができる。
【０１００】
[１４]本実施形態の乗員検出装置１００によれば、車両に所定量以上の正の縦Ｇがかかったときに検出された物体の大きさの変化態様が、その物体の大きさが縮小するとともにその重心位置が変化し、その状態が所定時間継続する態様である場合には、検出された物体は乗員ではないと判断するので、車両に所定量以上の正の縦Ｇがかかったときに観察され人員の特徴的な動きの態様と、外乱光により生じる虚像の特徴的な動きの態様とに基づいて、車室内の物体が乗員であるか虚像であるかを高い精度で判断することができる。
【０１０１】
[１５]本実施形態の乗員検出装置１００によれば、ドライバの降車後に乗員の存在が判断された場合にはドライバにその旨を報知するので、上述のように高い精度で降車時における乗員の存在を判断し、その結果を乗員に伝達することができる。
【０１０２】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【０１０３】
すなわち、本明細書では、本発明に係る乗員検出装置１００と車載装置２００とを備える車室内監視システム１を例にして説明するが、本発明はこれに限定されるものではない。
【０１０４】
本明細書では、本発明に係る乗員検出装置の一態様として、制御装置１０と、カメラ２０と、ディスプレイ３０とを備える乗員検出装置１００を一例として説明するが、これに限定されるものではない。
【０１０５】
本明細書では、画像取得手段と、車両情報取得手段と、乗員検出手段と、を備える本発明に係る乗員検出装置の一例として、画像取得機能と、車両情報取得機能と、乗員検出機能とを実行する制御装置１０を備える乗員検出装置１００を一例として説明するが、これに限定されるものではない。
【０１０６】
本明細書では、画像取得手段と、車両情報取得手段と、乗員検出手段と、降車判断手段と、報知手段とを備える本発明に係る乗員検出装置の一例として、画像取得機能と、車両情報取得機能と、乗員検出機能と、降車判断機能とを実行する制御装置１０と、ディスプレイ３０／スピーカ４０と、カメラ２０とを有する乗員検出装置１００を一例として説明するが、これに限定されるものではない。
【符号の説明】
【０１０７】
１…車室内監視システム
１００…乗員検出装置
１０…制御装置
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
２０…カメラ
３０…ディスプレイ
４０…スピーカ
２００…車載装置
５０…車両コントローラ
６０…各種機器
７０…ナビゲーション装置
【図１】
2014210477.tif 000003
【図２】
2014210477.tif 000004
【図３】
2014210477.tif 000005
【図４Ａ】
2014210477.tif 000006
【図４Ｂ】
2014210477.tif 000007
【図５】
2014210477.tif 000008
【図６】
2014210477.tif 000009