(57)【要約】【課題】一例として、車両のシートに着座した乗員の有無を高精度に判別することができる乗員検知装置を提供する。【解決手段】実施形態にかかる乗員検知装置は、入力部と、判定部と、検出部と、閾値変更部と、を備える。入力部は、撮像装置によって撮像された車両の室内の撮像画像と、車両の室内に設けられたシートに設けられた荷重センサで検出された荷重と、を入力する。判定部は、荷重が所定の閾値以上の場合に、乗員がシートに着座していると判定する。検出部は、撮像画像から、撮像画像における乗員の顔の確からしさを示す顔判定度を求める。閾値変更部は、顔判定度に応じて閾値を変更する。【選択図】図６
2018083589.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって撮像された車両の室内の撮像画像と、前記車両の室内に設けられたシートに設けられた荷重センサで検出された荷重と、を入力する入力部と、
前記荷重が所定の閾値以上の場合に、乗員が前記シートに着座していると判定する判定部と、
前記撮像画像から、前記撮像画像における前記乗員の顔の確からしさを示す顔判定度を求める検出部と、
前記顔判定度に応じて前記閾値を変更する閾値変更部と、
を備える乗員検知装置。
【請求項２】
前記閾値変更部は、前記顔判定度が高いほど、前記閾値を小さく変更する、
請求項１に記載の乗員検知装置。
【請求項３】
前記閾値変更部は、前記顔判定度と所定の基準との差が所定の範囲に含まれる場合は、前記閾値を変更しない、
請求項１または２に記載の乗員検知装置。
【請求項４】
前記判定部は、前記検出された荷重が閾値以上となり、かつ、前記顔判定度が所定の基準以上となる前記撮像画像を取得した時刻と、前記荷重が一定以上増加した時刻との差が所定の時間以内である場合に、前記乗員が前記シートに着座していると判定する、
請求項１〜３のいずれか１項に記載の乗員検知装置。
【請求項５】
前記撮像画像の顔判定度が所定の基準より低い場合に、前記検出された荷重を荷重補正値として記憶部に保存する補正値設定部と、
前記検出された荷重から、前記記憶部に記憶された荷重補正値を減算することで前記荷重の値を補正する荷重補正部と、
をさらに備え、
前記判定部は、前記荷重補正部が補正した後の荷重が前記閾値以上の場合に、前記乗員が前記シートに着座していると判定する、
請求項１〜４のいずれか１項に記載の乗員検知装置。
【請求項６】
撮像装置によって撮像された車両の室内の撮像画像と、前記車両の室内に設けられたシートに設けられた荷重センサで検出された荷重と、を入力するステップと、
前記荷重が所定の閾値以上の場合に、乗員が前記シートに着座していると判定するステップと、
前記撮像画像から、前記撮像画像における前記乗員の顔の確からしさを示す顔判定度を求めるステップと、
前記顔判定度に応じて前記閾値を変更するステップと、
をコンピュータに実行させるための乗員検知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、乗員検知装置および乗員検知プログラムに関する。
【背景技術】
【０００２】
従来、車両のシート（座席）に設置した荷重センサを用いて、シートに着座した乗員を検知する乗員検知装置が知られている。また、車内をカメラで撮像することにより、乗員を検知する乗員検知装置も知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１５０６６２号公報
【特許文献２】特開２００７−１９８９２９号公報
【特許文献３】特開２００６−２０５８４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のように荷重によって乗員を検知する乗員検知装置は、シートに置かれた荷物等の荷重によって、乗員が着座していると誤判定する場合があり、シートに着座した乗員の有無を高精度に判定することが困難であった。また、カメラの撮像画像から乗員を検知する乗員検知装置では、撮像条件によっては乗員の有無を高精度に判定することが困難な場合があった。
【０００５】
そこで、本発明の課題の一つは、例えば、車両のシートに着座した乗員の有無を高精度に判別することができる乗員検知装置および乗員検知プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明の実施形態にかかる乗員検知装置は、一例として、撮像装置によって撮像された車両の室内の撮像画像と、車両の室内に設けられたシートに設けられた荷重センサで検出された荷重と、を入力する入力部と、荷重が所定の閾値以上の場合に、乗員がシートに着座していると判定する判定部と、撮像画像から、撮像画像における乗員の顔の確からしさを示す顔判定度を求める検出部と、顔判定度に応じて閾値を変更する閾値変更部と、を備える。よって、一例としては、乗員検知装置によれば、荷物等の荷重による誤検知を防止し、車両のシートに着座した乗員の有無を高精度に判別することができる。
【０００７】
上記乗員検知装置では、一例として、閾値変更部は、顔判定度が高いほど、閾値を小さく変更する。よって、一例としては、乗員検知装置によれば、体重の軽い乗員が着座した場合にも、高精度に乗員を検知することができる。また、他の一例としては、乗員検知装置によれば、人間の体重と同程度の荷物がシート上に置かれた場合であっても、乗員と誤検知することを防止することができる。
【０００８】
上記乗員検知装置では、一例として、閾値変更部は、顔判定度と所定の基準との差が所定の範囲に含まれる場合は、閾値を変更しない。よって、一例としては、乗員検知装置によれば、信頼性の高い顔判定度のみを用いることにより、乗員の有無をより高精度に判定することができる。
【０００９】
上記乗員検知装置では、一例として、判定部は、検出された荷重が閾値以上となり、かつ、顔判定度が所定の基準以上となる撮像画像を取得した時刻と、荷重が一定以上増加した時刻との差が所定の時間以内である場合に、乗員がシートに着座していると判定する。よって、一例としては、乗員検知装置によれば、荷重が閾値以上であるか否かと、荷重の変動のタイミングと顔判定のタイミングの一致の両方を条件とすることで、誤検知を防止し、より高精度に乗員の有無を判定することができる。
【００１０】
上記乗員検知装置は、一例として、撮像画像の顔判定度が所定の基準より低い場合に、検出された荷重を荷重補正値として記憶部に保存する補正値設定部と、検出された荷重から、記憶部に記憶された荷重補正値を減算することで荷重の値を補正する荷重補正部と、をさらに備える。また、上記乗員検知装置では、一例として、判定部は、荷重補正部が補正した後の荷重が閾値以上の場合に、乗員がシートに着座していると判定する。よって、一例としては、乗員検知装置によれば、入力した荷重から荷物による荷重を除くことにより、乗員の体重による荷重を高精度に検知することができる。このため、一例としては、乗員検知装置によれば、乗員の有無をより高精度に判定することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施形態１にかかる乗員検知装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。
【図２】図２は、実施形態１にかかる撮像装置の撮像範囲の一例が示された図である。
【図３】図３は、実施形態１にかかる車両用のシートの一例が示された側面図である。
【図４】図４は、実施形態１にかかる車両用のシートの一例が示された平面図である。
【図５】図５は、実施形態１にかかる乗員検知システムのハードウェア構成の一例を示す図である。
【図６】図６は、実施形態１にかかるＥＣＵの機能的構成の一例を示すブロック図である。
【図７】図７は、実施形態１にかかる顔検出の一例を示す図である。
【図８】図８は、実施形態１にかかる顔判定度の分布の一例を示すヒストグラムである。
【図９】図９は、実施形態１にかかるＥＣＵによる乗員検知処理の手順の一例を示すフローチャートである。
【図１０】図１０は、実施形態２にかかるＥＣＵによる乗員検知処理の手順の一例を示すフローチャートである。
【図１１】図１１は、実施形態３にかかるＥＣＵの機能的構成の一例を示すブロック図である。
【図１２】図１２は、実施形態３にかかるＥＣＵによるタイミング判定処理の手順の一例を示すフローチャートである。
【図１３】図１３は、実施形態３にかかるＥＣＵによる乗員検知処理の手順の一例を示すフローチャートである。
【図１４】図１４は、実施形態４にかかるＥＣＵの機能的構成の一例を示すブロック図である。
【図１５】図１５は、実施形態４にかかるＥＣＵによる空席状態の荷重検知処理の手順の一例を示すフローチャートである。
【図１６】図１６は、実施形態４にかかるＥＣＵによる乗員検知処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
（実施形態１）
以下、本実施形態の乗員検知装置を車両１０に搭載した例をあげて説明する。
図１は、本実施形態にかかる乗員検知装置を搭載する車両１０の車室１２の一部が透視された状態の一例が示された斜視図である。本実施形態において、乗員検知装置（乗員検知システム）を搭載する車両１０は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよい。また、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。
【００１３】
図１に例示されるように、車両１０は、不図示の乗員（運転者、同乗者）が乗車する車室１２を構成している。車室１２内には、運転者用のシート１４ａ（運転席）、同乗者用のシート１４ｂ（助手席）、不図示の後部座席等が設けられている。運転者および同乗者は、乗員の一例である。また、シート１４ａ，１４ｂに臨む状態で、ステアリングホイール１６や、ダッシュボード１８等が設けられている。
【００１４】
ステアリングホイール１６やダッシュボード１８内には、シート１４ａおよびシート１４ｂ用のエアバッグが格納されている。また、シート１４ａおよびシート１４ｂの背面に、後部座席（不図示）用のエアバッグが格納されても良い。また、車両１０は、ドア（不図示）に格納されたサイドエアバッグをさらに備えても良い。
【００１５】
また、ダッシュボード１８のほぼ中央部には、各種情報を運転者や同乗者に提供する情報提供部としてモニタ装置２０が設けられている。モニタ装置２０は、例えば、ＬＣＤ（liquid  crystal  display）や、ＯＥＬＤ（organic  electroluminescent  display）等で構成される表示装置２２を備える。また、モニタ装置２０は、音声出力装置（例えば、スピーカ）を備える。表示装置２２は、例えば、タッチパネル等、透明な操作入力部で覆われている。
【００１６】
車両１０は、シート１４ａ、１４ｂ等を撮像する撮像装置２４を備える。撮像装置２４は、例えば、ＣＣＤ（Charge  Coupled  Device）カメラ等である。撮像装置２４は、例えば、図１に示されるようにダッシュボード１８のほぼ中央に位置するモニタ装置２０に設けることができる。撮像装置２４は、車両１０の車内を撮影（撮像）し、撮像により得た画像データである撮像画像を、後述のＥＣＵへ順次出力する。
【００１７】
図２は、本実施形態にかかる撮像装置２４の撮像範囲の一例が示された図である。図２に示すように、撮像装置２４はシート１４ａ、１４ｂの両方を撮像範囲に含めるため、１つの撮像装置２４でシート１４ａ、１４ｂの着座状態を検出することができる。あるいは、車両１０は、複数の撮像装置２４を備え、シート１４ａとシート１４ｂとを別個に撮像する構成を採用しても良い。
【００１８】
図３は、本実施形態にかかる車両１０用のシート１４ｂの一例が示された側面図である。図３に示すように、シート１４ｂは、シートクッション２と、シートバック３と、ヘッドレスト４と、を備える。シートバック３は、シートクッション２の後端部に対して傾動自在に設けられる。ヘッドレスト４は、シートバック３の上端に設置される。また、車両１０の床部Ｆには、車両１０の前後方向に延びる左右一対のロアレール５が設けられる。各ロアレール５には、それぞれ、延伸方向に沿って当該ロアレール５上を相対移動可能なアッパレール６が装着される。各ロアレール５およびアッパレール６が形成するシートスライド装置７は、シート１４ｂを支持する。
【００１９】
図３に示すように、本実施形態のシート１４ｂはシートクッション２の下方に荷重センサ２６ｆ、２６ｒを備える。例えば、荷重センサ２６ｆ、２６ｒは、アッパレール６とシートクッション２の間に設置される。荷重センサ２６ｆ、２６ｒは、シート１４ｂの荷重を計測（検知）するセンサである。
【００２０】
本実施形態におけるシート１４ｂの荷重は、シート１４ｂに加えられる重量（加重）である。例えば、荷重センサ２６ｆ、２６ｒは、シート１４ｂのシートクッション２上に置かれた荷物の重量や、乗員の体重をシート１４ｂの荷重として計測する。これに限らず、シート１４ｂの背面に設けられたフック（不図示）に荷物が吊り下げられた場合や、シート１４ａ（運転席）の乗員がシート１４ｂ上に手をついて体重を加えた場合等にも、シート１４ｂには荷重が加えられる。荷重センサ２６ｆ、２６ｒはこれらの荷重を計測する。
【００２１】
荷重センサ２６ｆ、２６ｒは、例えば、周知の歪みセンサやロードセルを採用しても良い。また、荷重センサ２６ｆはシート１４ｂの前側に、荷重センサ２６ｒはシート１４ｂの後側にそれぞれ設置される。以下、２つの荷重センサを特に区別する必要のない場合は、荷重センサ２６と称する。
【００２２】
図４は、本実施形態にかかる車両用のシート１４ｂの一例が示された平面図である。図４は、シート１４ｂを上方から見た場合の、シートクッション２、シートバック３、ヘッドレスト４の構成を示す。また、図４に示すように、アッパレール６はアッパレール６ａとアッパレール６ｂの２本が対になっている。アッパレール６ａはシート１４ｂの右側（運転席側）に位置し、アッパレール６ｂはシート１４ｂの左側（窓側）に位置する。図４に示すように、荷重センサ２６ｆ、２６ｒは、右側のアッパレール６ａとシートクッション２との間に設置される。本実施形態の乗員検知システムでは、シート１４ｂの右前側と右後側に設置された２つの荷重センサ２６でシート１４ｂの荷重を計測するため、少ない荷重センサ２６数で、効率的にシート１４ｂの荷重を計測することができる。
【００２３】
図３および図４ではシート１４ｂ（助手席）を例として説明したが、シート１４ａ（運転席）も同様の構成を備えても良い。シート１４ａが荷重センサ２６を備える場合、荷重センサ２６の設置位置は、シート１４ｂとは左右逆となる。すなわち、シート１４ａはアッパレール６ｂの側（助手席側）に荷重センサ２６を備える。また、荷重センサ２６は、後部座席（不図示）にも設置されるものとしても良い。
【００２４】
次に、本実施形態にかかる車両１０における乗員検知装置を有する乗員検知システムについて説明する。図５は、本実施形態にかかる乗員検知システム１００のハードウェア構成の一例を示す図である。図５に例示されるように、乗員検知システム１００では、ＥＣＵ３０や、ドアセンサ２５、荷重センサ２６、エアバッグ２７等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。車内ネットワーク２３は、例えば、ＣＡＮ（Controller  Area  Network）として構成されている。ＥＣＵ３０は、車内ネットワーク２３を通じて制御信号を送ることで、エアバッグ２７等を制御することができる。また、ＥＣＵ３０は、車内ネットワーク２３を介して、４つのドアセンサ２５、２つの荷重センサ２６（２６ｆ、２６ｒ）の検出結果等を、受け取ることができる。また、ＥＣＵ３０は、撮像装置２４から撮像画像を受け取ることができる。ここで、ＥＣＵ３０は、本実施形態における乗員検知装置の一例である。
【００２５】
４個のドアセンサ２５のそれぞれは、それぞれ異なるドアに配設されている。各ドアセンサ２５は、対応するドアが開状態であるか閉状態であるかを少なくとも検出する。なお、各ドアセンサ２５は、ドアが開いている角度を検出するものであってもよい。また、ドアセンサ２５の数は４に限定されない。本実施形態においては、ドアセンサ２５は、少なくとも助手席のドアの開閉を検出できるものとする。
【００２６】
ＥＣＵ３０は、例えば、ＣＰＵ３１（Central  Processing  Unit）や、ＳＳＤ３２（Solid  State  Drive、フラッシュメモリ）、ＲＯＭ３３（Read  Only  Memory）、ＲＡＭ３４（Random  Access  Memory）等を有している。ＣＰＵ３１は、車両１０全体の制御を行う。ＣＰＵ３１は、ＲＯＭ３３等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。ＲＡＭ３４は、ＣＰＵ３１での演算で用いられる各種のデータを一時的に記憶する。また、ＳＳＤ３２は、書き換え可能な不揮発性の記憶部であって、ＥＣＵ３０の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ３１や、ＲＯＭ３３、ＲＡＭ３４等は、同一パッケージ内に集積されうる。また、ＥＣＵ３０は、ＣＰＵ３１に替えて、ＤＳＰ（Digital  Signal  Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ３２に替えてＨＤＤ（Hard  Disk  Drive）が設けられてもよいし、ＳＳＤ３２やＨＤＤは、ＥＣＵ３０とは別に設けられてもよい。
【００２７】
上述した各種センサ等の構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。また、図５では、乗員検知システム１００は乗員検知装置としての１つのＥＣＵ３０を備える構成を一例として説明したが、これに限らず、乗員検知システム１００は複数のＥＣＵを備える構成を採用しても良い。
【００２８】
次に、本実施形態におけるＥＣＵ３０の機能的構成について説明する。図６は、本実施形態にかかるＥＣＵ３０の機能的構成の一例を示すブロック図である。図６に示すように、ＥＣＵ３０は、入力部９０と、検出部９１と、閾値変更部９２と、判定部９３として主に機能する。図６に示される、入力部９０、検出部９１、閾値変更部９２、判定部９３の各構成は、ＣＰＵ３１が、ＲＯＭ３３内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェア回路で実現するように構成しても良い。
【００２９】
図６に示される記憶部９５は、例えばＳＳＤ３２等の記憶装置によって構成される。記憶部９５は、後述の荷重の閾値と、顔学習データベース９５１とを記憶する。また、記憶部９５は、後述の判定部９３が判定した乗員検知結果を記憶する構成を採用しても良い。
【００３０】
入力部９０は、撮像装置２４から、撮像装置２４が撮像した撮像画像を入力する。また、入力部９０は、荷重センサ２６から、荷重センサ２６が検知したシート１４ｂの荷重を入力する。さらに、入力部９０は、ドアセンサ２５から助手席のドアの開閉を示す信号を入力する。入力部９０は、入力した撮像画像およびドアの開閉を示す信号を検出部９１に送出する。また、入力部９０は、入力した荷重を判定部９３に送出する。
【００３１】
検出部９１は、入力部９０から取得した撮像画像における顔判定度を求める。顔判定度とは、乗員の顔の確からしさを示す指標である。顔判定度は、撮像画像に乗員の顔が含まれることが確かであるほど高くなる。図７は、本実施形態にかかる顔検出の一例を示す図である。図７に示す撮像画像は、シート１４ｂに着座した乗員Ｍの顔を含むものとする。検出部９１は、撮像画像から乗員Ｍの顔である可能性がある範囲９００を検出し、さらに、当該範囲９００の画像が、どの程度顔らしいかの度合を評価する。
【００３２】
例えば、検出部９１は、記憶部９５に予め記憶された顔学習データベース９５１を用いて、ニューラルネットワーク等によって撮像画像の顔判定度を求める構成を採用しても良い。例えば、顔学習データベース９５１は複数の被験者（モデル）の３次元顔モデルのデータや、顔の部品のデータ、特徴点のデータを含むものとしても良い。また、検出部９１は、撮像画像から公知の技術を用いて３次元顔モデルを生成し、顔学習データベース９５１のデータと比較することにより顔らしさを評価する構成を採用しても良い。例えば、検出部９１が撮像画像から顔である可能性のある範囲を検出することができない場合、撮像画像に顔判定度が最も低くなるものとする。また、検出部９１が検出した範囲の画像における、顔らしさの度合が高いほど、撮像画像の顔判定度が高くなるものとする。上述の顔検出および顔判定度の算出の手法は一例であり、これに限定するものではない。
【００３３】
図８は、本実施形態にかかる顔判定度の分布の一例を示すヒストグラムである。図８の横軸は顔判定度を示し、縦軸は各判定度における標本数（度数）を正規化した、正規化度数を示す。図８は、顔を撮像した撮像画像と、顔以外を撮像した撮像画像に対して、検出部９１が顔判定度数を求めた場合の、検出部９１の出力結果を示す。図８に示すように、顔を撮像した撮像画像における顔判定度は、“１”以上となる。顔判定度が高いほど、当該撮像画像における乗員Ｍの顔の確からしさの度合が高いため、当該撮像画像はより確実に乗員Ｍの顔を含む。また、顔以外を撮像した撮像画像における顔判定度は、“１”未満となる。顔判定度が低いほど、当該撮像画像が乗員Ｍの顔を含まないことが確かとなる。検出部９１は、顔判定度を閾値変更部９２に送出する。
【００３４】
本実施形態においては、顔判定度“１”を、撮像画像に顔が含まれるか否かを切り分ける基準値ａとするが、当該値は一例であり、これに限らない。本実施形態における基準値ａは、所定の基準の一例である。また、本実施形態では顔判定度を０〜６の値で示すが、これに限らない。例えば、検出部９１は顔判定度をＡ、Ｂ、Ｃ等のランク等で示しても良いし、単に“高”または“低”に分類してもよい。
【００３５】
図６に戻り、判定部９３は、入力部９０から取得した荷重が閾値以上の場合に、乗員Ｍがシート１４ｂに着座していると判定する。判定部９３は、乗員Ｍの有無の判定結果（乗員検知結果）を記憶部９５に保存する構成を採用しても良い。あるいは、判定部９３は、判定結果を外部装置（不図示）に出力する構成を採用しても良い。
【００３６】
閾値変更部９２は、検出部９１から取得した顔判定度に応じて、荷重の閾値を変更する。具体的には、閾値変更部９２は、検出部９１から取得した顔判定度が高いほど閾値が小さくなるよう、閾値を変更する。例えば、記憶部９５に記憶された荷重の閾値は、顔判定度が図８に示した基準値ａである場合に合わせた初期値であるとする。閾値変更部９２は、顔判定度が基準値ａ以上の場合は、閾値を初期値よりも小さくする。このように閾値変更部９２が閾値を変更することにより、判定部９３は、顔判定度が高い場合は、より小さい荷重であっても、乗員Ｍがシート１４ｂに着座していると判定する。
【００３７】
また、閾値変更部９２は、顔判定度が基準値ａ未満の場合は、閾値を初期値よりも大きくする。このように閾値変更部９２が閾値を変更することにより、判定部９３は、顔判定度が低い場合は、より大きい荷重であっても、乗員Ｍはシート１４ｂに着座していないと判定する。閾値変更部９２は、変更した閾値を、判定部９３に送出する。
【００３８】
本実施形態では閾値の初期値は、顔判別度が基準値ａの場合の荷重の閾値としたが、これに限らない。例えば、顔判定度が低い場合に合わせて閾値の初期値を高く設定し、顔判別度が高いほど、閾値変更部９２が閾値を小さく変更する構成を採用しても良い。
【００３９】
次に、以上のように構成された本実施形態の乗員検知処理について説明する。図９は、本実施形態にかかるＥＣＵ３０による乗員検知処理の手順の一例を示すフローチャートである。このフローチャートの処理は、例えば、入力部９０がドアセンサ２５からドアの開閉を示す信号を入力した場合に開始する。または、このフローチャートの処理は、車両１０のイグニッション電源がオンの場合に、一定時間ごとに開始するものとしても良い。
【００４０】
入力部９０は、撮像装置２４から撮像画像を入力する（Ｓ１）。入力部９０は、入力した撮像画像を、検出部９１に送出する。
【００４１】
検出部９１は、入力した撮像画像における顔判定度を求める（Ｓ２）。検出部９１は、求めた顔判定度を、閾値変更部９２に送出する。
【００４２】
閾値変更部９２は、検出部９１から取得した顔判定度が高いほど、荷重の閾値を小さくする（Ｓ３）。閾値変更部９２は、変更した閾値を、判定部９３に送出する。
【００４３】
入力部９０は、荷重センサ２６から荷重の計測値を入力する（Ｓ４）。入力部９０は、入力した荷重の計測値を、判定部９３に送出する。
【００４４】
判定部９３は、入力部９０が入力した荷重の値と、閾値変更部９２が変更した荷重の閾値とを取得する。判定部９３は、入力した荷重の値が、荷重の閾値以上である場合（Ｓ５“Ｙｅｓ”）、乗員Ｍがシート１４ｂに着座していると判断し、「乗員あり」と判定する（Ｓ６）。
【００４５】
また、判定部９３は、入力した荷重の値が、荷重の閾値未満である場合（Ｓ５“Ｎｏ”）、シート１４ｂに着座している乗員Ｍがいないと判断し、「乗員なし」と判定する（Ｓ７）。判定部９３が乗員Ｍの有無を判定すると、このフローチャートの処理は終了する。
【００４６】
ＥＣＵ３０は、判定部９３が判定した乗員検知結果に基づいて、衝撃を検知した場合にエアバッグ２７を展開するか否かモードの切り替えの制御を行う。例えば、ＥＣＵ３０は、最新の判定結果が「乗員あり」である場合に、エアバッグ２７を展開モードにし、最新の判定結果が「乗員なし」である場合に、エアバッグ２７を非展開モードにする。
【００４７】
このように、本実施形態におけるＥＣＵ３０では、検出部９１が、車両１０の内部が撮像された撮像画像から、撮像画像における乗員Ｍの顔の確からしさを示す顔判定度を求め、閾値変更部９２が、顔判定度に応じて荷重の閾値を変更する。そして、車両１０のシート１４ｂの荷重センサ２６で検出された荷重が閾値以上の場合に、判定部９３が、乗員Ｍがシート１４ｂに着座していると判定する。このため、本実施形態におけるＥＣＵ３０によれば、荷物等の荷重による誤検知を防止し、車両１０のシート１４ｂに着座した乗員Ｍの有無を高精度に判別することができる。
【００４８】
また、閾値変更部９２は、撮像画像における顔判定度が高いほど、荷重の閾値を小さく変更するため、本実施形態におけるＥＣＵ３０によれば、体重の軽い乗員が着座した場合にも、高精度に乗員Ｍを検知することができる。また、言い換えれば、撮像画像における顔判定度が低い場合には、荷重の閾値が大きくなるため、本実施形態におけるＥＣＵ３０によれば、人間の体重と同程度の荷物がシート１４ｂ上に置かれた場合であっても、乗員と誤検知することを防止することができる。
【００４９】
また、本実施形態におけるＥＣＵ３０では、撮像画像における顔判定度を求めるだけではなく、荷重による判定も行うため、撮像条件に関わらず、乗員検知の信頼性を維持することができる。例えば、撮像装置２４のレンズの曇りや汚れ、逆光等により撮像画像が不鮮明なために顔判定度を精度良く求めることが困難な場合でも、荷重による判定を行うことで、乗員Ｍが着座したことを検知することができる。また、本実施形態におけるＥＣＵ３０では、後部座席等の乗員Ｍの顔が撮像画像に映りこんだ場合や、シート１４ｂの模様によって撮像画像の顔判定度が高くなる場合でも、荷重による判定を合わせて行うことにより、誤検知を防止することができる。
【００５０】
また、本実施形態の判定部９３は高精度に乗員Ｍを検知することができるため、エアバッグ２７を展開するか否かのモードの切り替えをより高精度に制御することができる。例えば、ＥＣＵ３０は、着座した乗員Ｍの体重が軽い場合でも、エアバッグ２７を展開することができる。また、ＥＣＵ３０は、シート１４ｂに荷物が置かれた場合に、荷物を乗員Ｍと誤検知してエアバッグ２７が展開することを防止することができる。このように、本実施形態におけるＥＣＵ３０によれば、高精度に乗員Ｍを検知することにより、安全性の高いエアバッグ２７の展開制御を提供することができる。
【００５１】
また、ＥＣＵ３０がシート１４ｂに着座した乗員Ｍがシートベルトを未着用の状態で車両１０が発進した場合に警報等を発するシートベルトリマインダ機能を備える場合に、ＥＣＵ３０は、乗員検知結果に応じて警報を発するか否かを制御する構成を採用しても良い。例えば、ＥＣＵ３０は、最新の判定結果が「乗員あり」で、かつ、シートベルトが装着されていない場合に、警報等を発してシートベルトの装着を促す構成を採用しても良い。当該構成を採用する場合、ＥＣＵ３０は、体重の軽い乗員Ｍが着座した場合にも、シートベルトの着用を促す警報を発することができる。また、ＥＣＵ３０は、シート１４ｂに荷物が置かれた場合に、荷物を乗員Ｍと誤検知してシートベルトの着用を促す警報が発せられることを防止することができる。
【００５２】
本実施形態では、シート１４ｂ（助手席）に着座した乗員Ｍを検知する例を説明したが、これに限らず、本実施形態の乗員検知装置は、シート１４ａ（運転席）や後部座席に対しても、適用することができる。
【００５３】
また、本実施形態では荷重センサ２６はシート１４ｂに対して２つ設置される構成とするが、これに限らない。例えば、シート１４ｂに対して４つの荷重センサ２６が設置される構成を採用しても良い。
【００５４】
また、本実施形態では、顔判定度に応じて閾値変更部９２が荷重の閾値を変更する構成を採用したが、これに限らない。例えば、ＥＣＵ３０は、顔判定度が高いほど、計測した荷重の値に加算をする構成を採用しても良い。
【００５５】
（実施形態２）
実施形態１では、撮像画像における顔判定度と基準値ａとの差異の大小に関わらず、顔判定度に応じて荷重の閾値を変更していた。一方、本実施形態では、顔判定度と基準値ａとの差異が所定の範囲内に含まれる場合は、荷重の閾値を変更しない。
【００５６】
本実施形態のＥＣＵ３０のハードウェア構成および機能的構成は、図５、図６で説明した実施形態１の構成と同様である。また、本実施形態の閾値変更部９２は、顔判定度と基準値ａとの差異が所定の範囲内に含まれる場合は、荷重の閾値を変更しない。具体的には、本実施形態の閾値変更部９２は、顔判定度が、図８に示す第１の基準値ｂ１以上、かつ、第２の基準値ｂ２未満の範囲に含まれる場合は、荷重の閾値を変更しない。言い換えれば、本実施形態の閾値変更部９２は、顔判定度が第１の基準値ｂ１未満、または、第２の基準値ｂ２以上の場合に、顔判定度が高いほど、荷重の閾値を小さくする。
【００５７】
図８に示すように、顔判定度の基準値ａは、撮像画像に顔が含まれるか否かの境目である。顔判定度が基準値ａよりも高いほど、撮像画像にはより確実に顔が含まれる。言い換えれば、顔判定度が基準値ａよりも低いほど、撮像画像にはより確実に顔が含まれない。すなわち、撮像画像の顔判定度と基準値ａの差が大きくなるほど、撮像画像に顔が含まれるか否かの判定の信頼性が高くなる。本実施形態では、より確実に撮像画像に顔が含まれる場合、および、より確実に撮像画像に顔が含まれない場合にのみ、閾値変更部９２が荷重の閾値を変更することで、乗員Ｍの有無をより高精度に判定する。
【００５８】
本実施形態では、図８に示す第１の基準値ｂ１以上、かつ、第２の基準値ｂ２未満の範囲を、所定の範囲とする。図８に示すように、第１の基準値ｂ１は基準値ａよりも顔判定度が低い。また、第２の基準値ｂ２は、基準値ａよりも顔判定度が高い。図８では、一例として、基準値ａの顔判定度を“１”、第１の基準値ｂ１の顔判定度を“０．５”、第２の基準値ｂ２の顔判定度を“２”とする。すなわち、本実施形態では、顔判定度から基準値ａ（“１”）を減算した値が、“−０．５”から“＋１”の範囲に含まれる場合、閾値変更部９２は、荷重の閾値を変更する。本実施形態における各基準値の値は一例であり、これに限らない。
【００５９】
図１０は、本実施形態にかかるＥＣＵ３０による乗員検知処理の手順の一例を示すフローチャートである。このフローチャートの開始条件は、実施形態１と同様である。また、Ｓ１の撮像画像の入力、およびＳ２の顔判定度を求める処理は、図９に示す実施形態１の処理と同様である。
【００６０】
本実施形態の閾値変更部９２は、顔判定度が第１の基準値ｂ１以上、かつ、第２の基準値ｂ２未満の範囲に含まれる場合は（Ｓ１０“Ｙｅｓ”）、撮像画像の顔判定度と基準値ａとの差異が所定の範囲に含まれるため、荷重の閾値を変更しない。また、本実施形態の閾値変更部９２は、顔判定度が第１の基準値ｂ１未満、または、第２の基準値ｂ２以上の場合に（Ｓ１０“Ｎｏ”）、顔判定度が高いほど、荷重の閾値を小さくする（Ｓ３）。
【００６１】
Ｓ４の荷重の計測値の入力から、Ｓ６およびＳ７の乗員Ｍの有無の判定までの処理は、図９に示す実施形態１の処理と同様である。
【００６２】
このように、本実施形態におけるＥＣＵ３０は、撮像画像の顔判定度と基準値ａとの差異が所定の範囲に含まれる場合は、荷重の閾値を変更しない。すなわち、本実施形態におけるＥＣＵ３０は、顔判定度が撮像画像に顔が含まれるか否かの境目付近の値をとる場合は、顔判定度の結果を採用しない。このため、本実施形態のＥＣＵ３０によれば、信頼性の高い顔判定度のみに基づいて乗員検知を行うことにより、乗員Ｍの有無をより高精度に判定することができる。
【００６３】
（実施形態３）
本実施形態では、実施形態１の荷重の閾値による乗員Ｍの有無の判定に対して、さらに、顔判定のタイミングと、シートの荷重が増加したタイミングとが一致することを条件として追加する。例えば、乗員Ｍが車両１０に乗り込み、シート１４ｂに着座する場合、撮像装置２４が乗員Ｍの顔を撮像する時刻と、シート１４ｂの荷重が増加するタイミングとは、一致する。本実施形態では、このようなタイミングの一致の有無を判定することで、乗員Ｍの有無をより高精度に判定する。
【００６４】
顔判定のタイミングは、撮像画像の顔判定値が所定の値以上となる場合の、当該撮像画像の撮像時刻とする。また、シートの荷重が増加したタイミングは、荷重が一定以上増加した時刻とする。一定以上の増加とは、例えば荷重が１０ｋｇ以上増加することとする。また、タイミングが一致するとは、顔判定のタイミングと、シートの荷重が増加したタイミングとの時間差が、所定の時間以内であることをいう。
【００６５】
図１１は、本実施形態にかかるＥＣＵ３０の機能的構成の一例を示すブロック図である。図１１に示すように、ＥＣＵ３０は、入力部１０９０と、検出部１０９１と、閾値変更部９２と、判定部１０９３と、タイミング判定部９４として主に機能する。図１１に示される、入力部１０９０、検出部１０９１、閾値変更部９２、判定部１０９３、タイミング判定部９４の各構成は、ＣＰＵ３１が、ＲＯＭ３３内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェア回路で実現するように構成しても良い。閾値変更部９２は、図６で説明した実施形態１と同様である。
【００６６】
図１１に示される記憶部１０９５は、実施形態１と同様に、例えばＳＳＤ３２等の記憶装置によって構成され、実施形態１と同様の内容に加えて、さらに、荷重計測データベース９５２を記憶する。
【００６７】
入力部１０９０は、実施形態１と同様の機能を有する他、入力した撮像画像と、当該撮像画像を入力した時刻、すなわち当該撮像画像の撮像時刻とを対応付けて、タイミング判定部９４に送出する。また、入力部１０９０は、入力した荷重と、当該荷重を入力した時刻、すなわち当該荷重の計測時刻とを対応付けた荷重計測データを、記憶部１０９５の荷重計測データベース９５２に保存する。入力部１０９０は、ＥＣＵ３０内の不図示の計時回路から時刻を取得する構成を採用しても良い。また、入力部１０９０は、不図示の外部装置から時刻を取得する構成を採用しても良い。
【００６８】
タイミング判定部９４は、顔判定のタイミングとシートの荷重が増加したタイミングの時間差が所定の時間以内の場合に、タイミングが一致すると判断する。言い換えれば、タイミング判定部９４は、顔判定度が所定の基準以上となる撮像画像を入力した時刻と、シートの荷重が一定以上増加した時刻との差が所定の時間以内である場合、タイミングが一致すると判断する。例えば、タイミング判定部９４は、顔判定のタイミングとシートの荷重が増加したタイミングの時間差が±５秒以内の場合、タイミングが一致すると判断する。本実施形態における顔判定度の所定の基準とは、例えば、図８に示す基準値ａとする。あるいは、図８に示す第２の基準値ｂ２を、所定の基準としても良い。
【００６９】
具体的には、タイミング判定部９４は、入力部１０９０から、撮像画像と撮像時刻とを取得する。また、タイミング判定部９４は、当該撮像画像について、検出部１０９１が求めた顔判定度が基準値ａ以上である場合に、当該撮像画像の撮像時刻から過去５秒以内の荷重計測データを荷重計測データベース９５２から検索し、荷重の増加量を算出する。当該撮像画像の撮像時刻から過去５秒以内の荷重の増加量が１０ｋｇ以上であれば、タイミング判定部９４は、顔判定のタイミングとシートの荷重が増加したタイミングが一致すると判断する。
【００７０】
また、顔判定度が基準値ａ以上の撮像画像の撮像時刻から、過去５秒以内の荷重の増加量が１０ｋｇ未満であれば、タイミング判定部９４は、当該撮像画像の撮像時刻から５秒経過するまで、荷重計測データの取得と、荷重の増加量の算出を繰り返す。当該撮像画像の撮像時刻から５秒経過するまでに、荷重が１０ｋｇ以上増加した場合、タイミング判定部９４は、顔判定のタイミングとシートの荷重が増加したタイミングが一致すると判断する。
【００７１】
顔判定度が基準値ａ以上の撮像画像の撮像時刻から過去５秒以内、または当該撮像画像撮像時刻から５秒経過するまでに、荷重が１０ｋｇ以上増加しない場合、タイミング判定部９４は、顔判定のタイミングとシートの荷重が増加したタイミングが一致しないと判断する。
【００７２】
また、顔判定度が基準値ａ以上とならない場合、タイミングの判定の基準となる顔判定のタイミングが検知されない。このような場合、タイミング判定部９４は、顔検出なしと判定する。タイミング判定部９４は、タイミング判定結果を、例えば記憶部１０９５に保存する。あるいは、タイミング判定部９４は、タイミング判定結果を、判定部１０９３に送出しても良い。
【００７３】
検出部１０９１は、実施形態１と同様の機能を有する。また、本実施形態の検出部１０９１は、さらに、タイミング判定処理において、求めた顔判定度をタイミング判定部９４に送出する。また、検出部１０９１は、乗員検知処理においては、求めた顔判定度を閾値変更部９２に送出する。
【００７４】
具体的には、タイミング判定処理は、例えば、入力部１０９０がドアセンサ２５から、ドアが開状態となったことを示す信号を入力した場合に開始するものとする。また、乗員検知処理は、タイミング判定処理が終了した後に開始するものとする。例えば、検出部１０９１は、入力部１０９０からドアが開状態となったことを示す信号を取得した場合には、求めた顔判定度をタイミング判定部９４に送出する構成を採用しても良い。また、検出部１０９１は、タイミング判定部９４からタイミング判定処理の終了の通知を取得した場合には、乗員検知処理において、求めた顔判定度を閾値変更部９２に送出する構成を採用しても良い。
【００７５】
判定部１０９３は、入力部１０９０から取得した荷重が閾値以上となり、かつ、タイミング判定結果が「タイミング一致」である場合に、乗員Ｍがシート１４ｂに着座していると判定する。すなわち、判定部１０９３は、検出された荷重が閾値以上となり、かつ顔判定度が所定の基準以上となる撮像画像を取得した時刻と、荷重が一定以上増加した時刻との差が所定の時間以内である場合に、乗員Ｍがシート１４ｂに着座していると判定する。判定部１０９３は、乗員Ｍの有無の判定結果（乗員検知結果）を記憶部１０９５に保存する構成を採用しても良い。あるいは、判定部１０９３は、判定結果を外部装置（不図示）に出力する構成を採用しても良い。
【００７６】
上述のタイミング判定部９４は、顔判定度と荷重の増加量によってタイミングを判定するものであるため、乗員Ｍがシート１４ｂに乗り込んだことを検知することができる。一方で、乗員Ｍが継続してシート１４ｂに着座し続けているか否かは、判定部１０９３が定期的に荷重を閾値と比較することにより、判定することができる。
【００７７】
次に、以上のように構成された本実施形態のタイミング判定処理について説明する。図１２は、本実施形態にかかるＥＣＵ３０によるタイミング判定処理の手順の一例を示すフローチャートである。このフローチャートの処理は、例えば、入力部１０９０がドアセンサ２５からドアが開状態となったことを示す信号を入力した場合に開始する。あるいは、このフローチャートの処理は、車両１０のイグニッション電源がオン状態となった場合に開始するものとしても良い。
【００７８】
入力部１０９０は、撮像装置２４から撮像画像を入力する（Ｓ２１）。入力部１０９０は、入力した撮像画像と当該撮像画像の撮像時刻を対応付けて、検出部１０９１に送出する。また、入力部１０９０は、荷重センサ２６から、荷重の計測値を入力する（Ｓ２２）。入力部１０９０は、入力した荷重と当該荷重の計測時刻とを対応付けた荷重計測データを、記憶部１０９５の荷重計測データベース９５２に保存する。入力部１０９０は、当該フローチャートの処理が終了するまで、一定時間ごと、例えば１秒ごとに荷重の計測値を入力し、入力した荷重と当該荷重の計測時刻とを対応付けた荷重計測データを、記憶部１０９５の荷重計測データベース９５２に保存する。
【００７９】
検出部１０９１は、入力した撮像画像における顔判定度を求める（Ｓ２３）。検出部１０９１は、当該撮像画像の顔判定度と、撮像時刻とを、タイミング判定部９４に送出する。
【００８０】
タイミング判定部９４は、検出部１０９１から取得した顔判定度と、基準値ａとを比較する（Ｓ２４）。タイミング判定部９４は、顔判定度が基準値ａ以上であると判断した場合は（Ｓ２４“Ｙｅｓ”）、当該撮像画像の撮像時刻から過去５秒以内の荷重計測データを荷重計測データベース９５２から検索する。過去５秒以内の荷重増加量が１０ｋｇ以上である場合（Ｓ２５“Ｙｅｓ”）、タイミング判定部９４は、顔判定のタイミングと座席の荷重が増加したタイミングが一致する（「タイミング一致」）と判定する（Ｓ２６）。
【００８１】
また、タイミング判定部９４は、過去５秒以内の荷重増加量が１０ｋｇ未満である場合（Ｓ２５“Ｎｏ”）、当該撮像画像の撮像時刻から５秒経過したか否かを判断する（Ｓ２７）。タイミング判定部９４が、当該撮像画像の撮像時刻から５秒経過していないと判断した場合（Ｓ２７“Ｎｏ”）、タイミング判定部９４は、当該撮像画像の撮像時刻から５秒経過するまで、Ｓ２５およびＳ２７の処理を繰り返す。この間、入力部１０９０が一定時間ごとに荷重の計測値を入力し、入力した荷重と当該荷重の計測時刻とを対応付けた荷重計測データを、記憶部１０９５の荷重計測データベース９５２に保存するという、Ｓ２２の処理が継続している。タイミング判定部９４は、Ｓ２５およびＳ２７の処理を繰り返すことで、新たに入力された荷重の増加量を算出する。
【００８２】
当該撮像画像の撮像時刻から５秒経過するまでに、荷重が１０ｋｇ以上増加しない場合（Ｓ２５“Ｎｏ”、Ｓ２７“Ｙｅｓ”）、タイミング判定部９４は、顔判定のタイミングと座席の荷重が増加したタイミングが一致しない（「タイミング不一致」）と判定する（Ｓ２８）。
【００８３】
一方、顔判定度が基準値ａ未満である場合は（Ｓ２４“Ｎｏ”）、タイミング判定部９４および入力部１０９０は、このフローチャートの処理の開始から一定時間が経過するまでは（Ｓ２９“Ｎｏ”）、Ｓ２１〜Ｓ２４およびＳ２９の処理を繰り返す。例えば、車両１０のドアが開状態となってから、乗員Ｍが車両１０に乗り込み、撮像装置２４の方に顔を向けるまでに時間を要する場合がある。タイミング判定部９４、入力部１０９０および検出部１０９１が、一定時間当該処理を繰り返すことで、処理開始から乗員Ｍの顔の撮像までに時間を要した場合でも、タイミングの判定の対象とすることができる。
【００８４】
このフローチャートの処理開始から一定時間が経過しても、顔判定度が基準値ａ以上となる撮像画像が入力されない場合（Ｓ２９“Ｙｅｓ”）、タイミング判定部９４は、「顔検出なし」と判定する（Ｓ３０）。タイミング判定部９４は、判定結果を、例えば記憶部１０９５に保存する。あるいは、タイミング判定部９４は、タイミング判定結果を、判定部１０９３に送出しても良い。
【００８５】
図１２では、処理の開始から一定時間が経過した場合に処理を終了するとしたが、これに限らない。例えば、タイミング判定部９４、入力部１０９０および検出部１０９１は、「タイミング一致」または「タイミング不一致」の判定結果を得るまで、Ｓ２１〜Ｓ２５、Ｓ２７の処理を繰り返す構成を採用しても良い。あるいは、判定結果が「タイミング不一致」または「顔検出なし」である場合は、このフローチャートの処理が再度開始する構成を採用しても良い。
【００８６】
次に、本実施形態の乗員検知処理について説明する。図１３は、本実施形態にかかるＥＣＵ３０による乗員検知処理の手順の一例を示すフローチャートである。このフローチャートの処理は、タイミング判定部９４によって、タイミング判定結果が記憶部１０９５に保存された場合に開始する。また、このフローチャートの処理は、イグニッション電源がオン状態の場合に、一定時間ごとに開始するものとしても良い。
【００８７】
Ｓ４１の撮像画像の入力から、Ｓ４５の入力した荷重と閾値とを比較する処理は、図９で説明した実施形態１のＳ１からＳ５の処理と同様である。
【００８８】
本実施形態の判定部１０９３は、入力した荷重が閾値以上である場合に（Ｓ４５“Ｙｅｓ”）、さらに、タイミング判定結果が「タイミング一致」であるか否かを判断する（Ｓ４６）。判定部１０９３は、記憶部１０９５に保存されたタイミング判定結果を取得しても良いし、図１２のタイミング判定処理の終了時に、タイミング判定部９４から判定結果を取得しても良い。
【００８９】
タイミング判定結果が「タイミング一致」である場合（Ｓ４６“Ｙｅｓ”）、判定部１０９３は、乗員Ｍがシート１４ｂに着座していると判断し、「乗員あり」と判定する（Ｓ４７）。
【００９０】
タイミング判定結果が「タイミング一致」でない場合（Ｓ４６“Ｎｏ”）、判定部１０９３は、シート１４ｂに着座している乗員Ｍがいないと判断し、「乗員なし」と判定する（Ｓ４８）。また、判定部１０９３は、実施形態１と同様に、入力した荷重が閾値未満である場合に（Ｓ４５“Ｎｏ”）、シート１４ｂに着座している乗員Ｍがいないと判断し、「乗員なし」と判定する（Ｓ４８）。判定部１０９３が乗員Ｍの有無を判定すると、このフローチャートの処理は終了する。
【００９１】
上述のように、図１３の乗員検知処理は、タイミング判定処理の後に実行される他、車両１０のイグニッション電源がオン状態である場合に定期的に実行されるものとしても良い。乗員検知処理を定期的に実行することにより、判定部１０９３は、例えば、「乗員あり」と判定された後に乗員Ｍがシート１４ｂから降りた場合に、荷重が閾値以下になったことを検知し、「乗員なし」と判定する。
【００９２】
このように、本実施形態の判定部１０９３は、検出された荷重が閾値以上となり、かつ、顔判定度が所定の基準以上となる撮像画像を取得した時刻と、荷重が一定以上増加した時刻との差が所定の時間以内である場合に、乗員Ｍがシート１４ｂに着座していると判定する。このため、本実施形態の判定部１０９３によれば、荷重が閾値以上であるか否かと、荷重の変動のタイミングと顔判定のタイミングの一致の両方を条件とすることで、誤検知を防止し、より高精度に乗員Ｍの有無を判定することができる。
【００９３】
例えば、シート１４ｂ上に荷物が置かれたことによって荷重が変動した場合は、撮像画像における顔判定度が基準値ａ以上とならないため、荷物を乗員Ｍと誤検知することを防止することができる。また、シート１４ｂの模様が顔に類似している場合や、後部座席の乗員の顔が撮像画像に映りこんだ場合に、撮像画像における顔判定度が高くなっても、シート１４ｂの荷重の増加のタイミングと一致しないため、誤検知を防止することができる。
【００９４】
本実施形態では、顔判定のタイミングと座席の荷重が増加したタイミングの一致と、荷重が閾値以上であることの両方の条件を満たす場合に、判定部１０９３が、乗員Ｍがシート１４ｂに着座していると判定したが、これに限らない。例えば、ＥＣＵ３０は、図１２に示したタイミング判定処理を単独で実行し、判定結果が「タイミング一致」の場合に、乗員Ｍがシート１４ｂに着座したと判断し、「乗員あり」と判定する構成を採用しても良い。当該構成を採用する場合、より少ない処理で乗員Ｍの有無を検知するので、処理負荷を軽減することができる。
【００９５】
また、ＥＣＵ３０は、顔判定度に応じた荷重の閾値の変更を必ずしも行わなくとも良い。例えば、ＥＣＵ３０は、タイミング判定処理の判定結果が「タイミング一致」の場合に、入力した荷重が、記憶部１０９５に記憶された荷重の閾値以上である場合に、乗員Ｍがシート１４ｂに着座したと判断し、「乗員あり」と判定する構成を採用しても良い。
【００９６】
また、本実施形態では、顔判定度が基準値ａ以上である場合を基準として、その前後５秒以内の荷重の増加量が１０ｋｇ以上であるか否かを判定したが、これに限らない。例えば、所定の時間内に荷重が１０ｋｇ以上増加したことを検出し、荷重が１０ｋｇ以上増加した時刻を基準として、この時刻の前後５秒以内に顔判定度が基準値ａ以上となるか否かを判定する構成を採用しても良い。
【００９７】
また、本実施形態では、一定以上の荷重の増加の基準を１０ｋｇとしたが、これは一例であり、荷重の増加量の基準はこれに限らない。また、本実施形態では、タイミング判定部９４がタイミングが一致すると判断する時間差を±５秒としたが、これは一例であり、時間差の基準はこれに限らない。
【００９８】
また、本実施形態では、タイミング判定処理において、入力部１０９０が荷重の計測値を入力する構成を採用したが、これに限らない。例えば、入力部１０９０は、タイミング判定処理の開始とは関わりなく、常に一定時間ごと、例えば１秒ごとに荷重の計測値を入力し、記憶部１０９５に荷重計測データを保存し続ける構成を採用しても良い。
【００９９】
また、本実施形態では、「タイミング不一致」と「顔検出なし」とを区別したが、これに限らない。タイミング判定部９４は、単に、タイミングが一致するか否かを判定する構成を採用しても良い。
【０１００】
また、本実施形態のＥＣＵ３０では、タイミング判定処理の後に乗員検知処理を実行するが、乗員検知処理の中にタイミング判定処理を組み込んでも良い。
【０１０１】
（実施形態４）
実施形態１では、シート１４ｂの荷重によって、乗員Ｍの有無を判定している。しかしながら、シート１４ｂの背面のポケットに荷物が格納されている場合等には、乗員による荷重と共に、荷物による荷重も計測される。本実施形態のＥＣＵ３０は、荷重計測値から空席状態における荷重を減算することにより、乗員による荷重を精度良く推定し、より高精度に乗員検知を行う。
【０１０２】
本実施形態における空席状態は、乗員Ｍがシート１４ｂに着座していない状態、言い換えれば無人状態を意味する。空席状態は、シート１４ｂに荷物等が置かれている状態や、シート１４ｂの背面のポケットやフックに荷物がある状態を含む。
【０１０３】
図１４は、本実施形態にかかるＥＣＵ３０の機能的構成の一例を示すブロック図である。図１４に示すように、ＥＣＵ３０は、入力部２０９０と、検出部２０９１と、閾値変更部９２と、判定部２０９３と、記憶部２０９５と、補正値設定部９６と、荷重補正部９７として主に機能する。図１４に示される、入力部２０９０、検出部２０９１、閾値変更部９２、判定部２０９３、補正値設定部９６、荷重補正部９７、の各構成は、ＣＰＵ３１が、ＲＯＭ３３内に格納されたプログラムを実行することで実現される。なお、これらの構成をハードウェア回路で実現するように構成しても良い。閾値変更部９２は、図６で説明した実施形態１と同様である。
【０１０４】
図１４に示される記憶部２０９５は、実施形態１と同様に、例えばＳＳＤ３２等の記憶装置によって構成され、実施形態１と同様の内容に加えて、さらに、後述の荷重補正値を記憶する。
【０１０５】
補正値設定部９６は、空席状態におけるシート１４ｂの荷重を、荷重補正値として設定する。具体的には、補正値設定部９６は、検出部２０９１が求めた撮像画像の顔判定度が所定の基準未満の場合に、入力部２０９０が入力した荷重を、空席状態の荷重と判断する。本実施形態における顔判定度の所定の基準とは、例えば、図８に示す基準値ａとする。あるいは、図８に示す第２の基準値ｂ２を、所定の基準としても良い。
【０１０６】
補正値設定部９６は、空席状態におけるシート１４ｂの荷重を、荷重補正値として記憶部２０９５に保存する。シート１４ｂのポケット等に格納された荷物は、常に同じ重さであるとは限らない。そこで、本実施形態のＥＣＵ３０では、後述の空席状態の荷重検知処理を定期的に実行することにより、補正値設定部９６が最新の空席状態の荷重を検知し、荷重補正値を更新する。
【０１０７】
荷重補正部９７は、入力部２０９０が入力した荷重から、荷重補正値を減算することにより、荷重を補正する。例えば、シート１４ｂの背面のポケット等に予め３ｋｇの荷物が格納されている場合、空席状態における荷重は３ｋｇである。乗員検知処理において、入力部２０９０が入力した荷重が４０ｋｇである場合、荷重補正部９７は、当該荷重から３ｋｇを減算し、荷重を３７ｋｇに補正する。言い換えれば、荷重補正部９７は、入力部２０９０が入力した荷重から、空席状態における荷重を減算することにより、乗員Ｍの体重による荷重を推定する。荷重補正部９７は、補正後の荷重を、判定部２０９３に送出する。
【０１０８】
入力部２０９０は、実施形態１と同様の機能を有する他、空席状態の荷重検知処理においては、入力した荷重を補正値設定部９６に送出する。
【０１０９】
検出部２０９１は、実施形態１と同様の機能を有する。本実施形態の検出部２０９１は、さらに、空席状態の荷重検知処理において、求めた顔判定度を補正値設定部９６に送出する。また、検出部２０９１は、乗員検知処理においては、求めた顔判定度を閾値変更部９２に送出する。
【０１１０】
空席状態の荷重検知処理と、乗員検知処理のいずれかを実行するかは、例えば、時刻によって区別されても良い。例えば、空席状態の荷重検知処理は、１時間おき等の一定時間ごとに開始するものとしても良い。また、空席状態の荷重検知処理は、イグニッション電源がオフ状態であっても、一定時間ごとに実行される構成を採用しても良い。当該構成を採用する場合、本実施形態のＥＣＵ３０は、不図示のバッテリーから電源を供給される構成を採用しても良い。一方、乗員検知処理は、例えば入力部２０９０がドアの開閉を示す信号を入力した場合に開始される。あるいは、乗員検知処理は、イグニッション電源がオン状態の場合に、一定時間ごとに実行されるものとしても良い。乗員検知処理の実行間隔は、空席状態の荷重検知処理よりも短時間であるとする。
【０１１１】
判定部２０９３は、荷重補正部９７から、補正後の荷重を取得し、また、閾値変更部９２から、変更後の閾値を取得する。判定部２０９３は、荷重補正部９７が補正した後の荷重が閾値以上の場合に、乗員Ｍがシート１４ｂに着座していると判定する。
【０１１２】
次に、以上のように構成された本実施形態の空席状態の荷重検知処理について説明する。図１５は、本実施形態にかかるＥＣＵ３０による空席状態の荷重検知処理の手順の一例を示すフローチャートである。このフローチャートの処理は、例えば、１時間おき等の一定時間ごとに開始する。
【０１１３】
入力部２０９０は、撮像装置２４から撮像画像を入力する（Ｓ５１）。入力部２０９０は、入力した撮像画像を、検出部２０９１に送出する。また、入力部２０９０は、荷重センサ２６から荷重の計測値を入力する（Ｓ５２）。入力部２０９０は、入力した荷重を、補正値設定部９６に送出する。
【０１１４】
検出部２０９１は、入力した撮像画像における顔判定度を求める（Ｓ５３）。検出部２０９１は、求めた顔判定度を、補正値設定部９６に送出する。
【０１１５】
補正値設定部９６は、検出部２０９１が求めた撮像画像の顔判定度が基準値ａ未満の場合に（Ｓ５４“Ｙｅｓ”）、入力部２０９０が入力した荷重を、空席状態の荷重と判断する。補正値設定部９６は、空席状態の荷重を、荷重補正値として記憶部２０９５に保存する（Ｓ５５）。前回以前のこのフローチャートの処理によって保存された荷重補正値が記憶部２０９５に、保存されている場合、補正値設定部９６は、最新の荷重補正値で上書きをする構成を採用しても良い。
【０１１６】
また、補正値設定部９６は、検出部２０９１が求めた撮像画像の顔判定度が基準値ａ以上の場合に（Ｓ５４“Ｎｏ”）、入力部２０９０が入力した荷重は、空席状態の荷重ではないと判断し、処理を終了する。
【０１１７】
次に、本実施形態の乗員検知処理について説明する。図１６は、本実施形態にかかるＥＣＵ３０による乗員検知処理の手順の一例を示すフローチャートである。このフローチャートの処理は、例えば入力部２０９０がドアの開閉を示す信号を入力した場合に開始する。あるいは、このフローチャートの処理は、イグニッション電源がオン状態の場合に、一定時間ごとに実行されるものとしても良い。
【０１１８】
Ｓ６１の撮像画像の入力から、Ｓ６３の荷重の閾値の変更の処理は、図９で説明した実施形態１のＳ１からＳ３の処理と同様である。
【０１１９】
入力部２０９０は、荷重センサ２６から荷重の計測値を入力する（Ｓ６４）。入力部２０９０は、入力した荷重の計測値を、荷重補正部９７に送出する。
【０１２０】
荷重補正部９７は、入力部２０９０が入力した荷重から、記憶部２０９５に記憶された荷重補正値を減算する（Ｓ６５）。荷重補正部９７は、減算後の荷重を判定部２０９３に送出する。
【０１２１】
判定部２０９３は、荷重補正部９７が減算した荷重と、閾値変更部９２が変更した荷重の閾値と、を取得する。判定部２０９３は、減算後の荷重が閾値以上の場合（Ｓ６６“Ｙｅｓ”）、乗員Ｍがシート１４ｂに着座していると判断し、「乗員あり」と判定する（Ｓ６７）。
【０１２２】
また、判定部２０９３は、減算後の荷重が、荷重の閾値未満である場合（Ｓ６６“Ｎｏ”）、シート１４ｂに着座している乗員Ｍがいないと判断し、「乗員なし」と判定する（Ｓ６８）。判定部２０９３が乗員Ｍの有無を判定すると、このフローチャートの処理は終了する。
【０１２３】
このように、本実施形態のＥＣＵ３０は、撮像画像の顔判定度が所定の基準より低い場合に、補正値設定部９６が、荷重センサ２６によって検出された荷重を荷重補正値として記憶部２０９５に保存し、荷重補正部９７が、当該荷重補正値で荷重を補正する。このため、本実施形態のＥＣＵ３０によれば、検出された荷重から荷物による荷重を除くことにより、乗員Ｍの体重による荷重を高精度に検知することができる。従って、本実施形態のＥＣＵ３０によれば、車両１０のシート１４ｂに着座した乗員Ｍの有無をより高精度に判別することができる。
【０１２４】
本実施形態のＥＣＵ３０では、乗員検知処理の前に、予め空席状態の荷重検知処理を行い、荷重補正値を算出しているが、これに限らない。例えば、乗員検知処理の判定結果が「乗員なし」であった場合、当該乗員検知処理において入力した荷重を、荷重補正値として記憶部２０９５に記憶し、次回以降の乗員検知処理で荷重の補正に使用しても良い。
【０１２５】
また、本実施形態では、空席状態の荷重検知処理は、例えば１時間おきに開始するとしたが、当該処理の実行間隔はこれに限らない。例えば、当該処理の実行間隔は１日おき等でも良い。
【０１２６】
また、本実施形態のＥＣＵ３０では、撮像画像における顔判定度を、空席状態の検知と、荷重の閾値の変更の両方に使用したが、これに限らない。例えば、本実施形態のＥＣＵ３０は、荷重の閾値の変更を行わない構成を採用しても良い。
【０１２７】
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
【符号の説明】
【０１２８】
２…シートクッション、３…シートバック、４…ヘッドレスト、５…ロアレール、６，６ａ，６ｂ…アッパレール、７…シートスライド装置、１０…車両、１２…車室、１４，１４ａ，１４ｂ…シート、１６…ステアリングホイール、１８…ダッシュボード、２０…モニタ装置、２２…表示装置、２３…車内ネットワーク、２４…撮像装置、２５…ドアセンサ、２６，２６ｆ，２６ｒ…荷重センサ、２７…エアバッグ、３０…ＥＣＵ、３１…ＣＰＵ、３２…ＳＳＤ、３３…ＲＯＭ、３４…ＲＡＭ、９０，１０９０，２０９０…入力部、９１，１０９１，２０９１…検出部、９２…閾値変更部、９３，１０９３，２０９３…判定部、９４…タイミング判定部、９５，１０９５，２０９５…記憶部、９６…補正値設定部、９７…荷重補正部、１００…乗員検知システム、９５１…顔学習データベース、９５２…荷重計測データベース、ａ…基準値、ｂ１…第１の基準値、ｂ２…第２の基準値、Ｆ…床部、Ｍ…乗員。
【図１】
2018083589.tif 000003
【図２】
2018083589.tif 000004
【図３】
2018083589.tif 000005
【図４】
2018083589.tif 000006
【図５】
2018083589.tif 000007
【図６】
2018083589.tif 000008
【図７】
2018083589.tif 000009
【図８】
2018083589.tif 000010
【図９】
2018083589.tif 000011
【図１０】
2018083589.tif 000012
【図１１】
2018083589.tif 000013
【図１２】
2018083589.tif 000014
【図１３】
2018083589.tif 000015
【図１４】
2018083589.tif 000016
【図１５】
2018083589.tif 000017
【図１６】
2018083589.tif 000018