(57)【要約】  乗員検知装置（１００）は、車室内撮像用のカメラ（２）による撮像画像における複数個の顔に対応する複数個の顔領域を検出する処理を実行する顔領域検出部（１１）と、撮像画像における複数個の座席に対応する複数個の座席領域のうち、複数個の顔領域のうちのいずれか２個以上の顔領域を含む座席領域が存在するか否かを判定する第１判定部（１２）と、２個以上の顔領域を含む座席領域が存在する状態の継続時間が基準時間を超えたか否かを判定する第２判定部（１３）と、継続時間が基準時間を超えたとき、警告を出力する制御を実行する警告出力制御部（１４）とを備える。
2019146043.tif 000002
【特許請求の範囲】
【請求項１】
車室内撮像用のカメラによる撮像画像における複数個の顔に対応する複数個の顔領域を検出する処理を実行する顔領域検出部と、
前記撮像画像における複数個の座席に対応する複数個の座席領域のうち、前記複数個の顔領域のうちのいずれか２個以上の顔領域を含む座席領域が存在するか否かを判定する第１判定部と、
前記２個以上の顔領域を含む座席領域が存在する状態の継続時間が基準時間を超えたか否かを判定する第２判定部と、
前記継続時間が前記基準時間を超えたとき、警告を出力する制御を実行する警告出力制御部と、
を備える乗員検知装置。
【請求項２】
前記２個以上の顔領域に対応する２個以上の顔の各々に対する個人認証処理を実行する個人認証部を備え
前記警告出力制御部は、前記個人認証処理の結果に応じた内容の前記警告を出力する制御を実行する
ことを特徴とする請求項１記載の乗員検知装置。
【請求項３】
前記２個以上の顔領域に対応する２個以上の顔間の距離を算出する顔間距離算出部を備え、
前記警告出力制御部は、前記顔間距離算出部により算出された距離に応じた内容の前記警告を出力する制御を実行する
ことを特徴とする請求項１記載の乗員検知装置。
【請求項４】
前記複数個の座席の各々に設けられている重量センサによる検出値を用いて、前記複数個の座席の各々における重量の変化の有無を判定する第３判定部を備え、
前記顔領域検出部は、前記複数個の座席のうちの少なくとも１個の座席における重量が変化したとき、前記複数個の顔領域を検出する処理を実行する
ことを特徴とする請求項１記載の乗員検知装置。
【請求項５】
前記２個以上の顔領域に対応する２個以上の顔の各々のサイズを推定する顔サイズ推定部を備え、
前記警告出力制御部は、前記顔サイズ推定部による推定結果に応じた内容の前記警告を出力する制御を実行する
ことを特徴とする請求項１記載の乗員検知装置。
【請求項６】
車室内撮像用のカメラによる撮像画像における複数個の顔に対応する複数個の顔領域を検出する処理を実行する顔領域検出部と、
前記撮像画像における複数個の座席に対応する複数個の座席領域のうち、前記複数個の顔領域のうちのいずれか２個以上の顔領域を含む座席領域が存在するか否かを判定する第１判定部と、
前記２個以上の顔領域を含む座席領域が存在する状態の継続時間が基準時間を超えたか否かを判定する第２判定部と、
前記継続時間が前記基準時間を超えたとき、警告を出力する制御を実行する警告出力制御部と、
を備える乗員検知システム。
【請求項７】
顔領域検出部が、車室内撮像用のカメラによる撮像画像における複数個の顔に対応する複数個の顔領域を検出する処理を実行するステップと、
第１判定部が、前記撮像画像における複数個の座席に対応する複数個の座席領域のうち、前記複数個の顔領域のうちのいずれか２個以上の顔領域を含む座席領域が存在するか否かを判定するステップと、
第２判定部が、前記２個以上の顔領域を含む座席領域が存在する状態の継続時間が基準時間を超えたか否かを判定するステップと、
警告出力制御部が、前記継続時間が前記基準時間を超えたとき、警告を出力する制御を実行するステップと、
を備える乗員検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、乗員検知装置、乗員検知システム及び乗員検知方法に関する。
【背景技術】
【０００２】
従来、車両内の乗員を検知する技術が開発されている。例えば、特許文献１には、車室内撮像用のカメラを用いて乗員を検知する技術が開示されている。また、特許文献２には、各座席の座面部に設けられている重量センサを用いて乗員を検知する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２５２８６３号公報
【特許文献２】特開２００５−２３１５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の乗員検知技術は、いずれも、１個の座席に１人の乗員がいることを前提に乗員を検知するものである。これに対して、現実の車両においては、例えば大人が子供を抱きかかえているとき又は母親等が子供に授乳しているときなど、１個の座席に２人以上の乗員がいる状況が想定される。従来の乗員検知技術は、１個の座席に２人以上の乗員がいる状態に対応していないため、かかる状態において乗員を正常に検知することができない問題があった。【０００５】
本発明は、上記のような課題を解決するためになされたものであり、１個の座席に２人以上の乗員がいる状態に対応した乗員検知装置、乗員検知システム及び乗員検知方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の乗員検知装置は、車室内撮像用のカメラによる撮像画像における複数個の顔に対応する複数個の顔領域を検出する処理を実行する顔領域検出部と、撮像画像における複数個の座席に対応する複数個の座席領域のうち、複数個の顔領域のうちのいずれか２個以上の顔領域を含む座席領域が存在するか否かを判定する第１判定部と、２個以上の顔領域を含む座席領域が存在する状態の継続時間が基準時間を超えたか否かを判定する第２判定部と、継続時間が基準時間を超えたとき、警告を出力する制御を実行する警告出力制御部とを備えるものである。
【発明の効果】
【０００７】
本発明によれば、上記のように構成したので、１個の座席に２人以上の乗員がいる状態に対応した乗員検知装置、乗員検知システム及び乗員検知方法を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１に係る乗員検知装置の要部を示すブロック図である。
【図２】２個以上の顔領域を含む座席領域の一例を示す説明図である。
【図３】図３Ａは、本発明の実施の形態１に係る乗員検知装置のハードウェア構成を示すブロック図である。図３Ｂは、本発明の実施の形態１に係る乗員検知装置の他のハードウェア構成を示すブロック図である。
【図４】図４Ａは、本発明の実施の形態１に係る乗員検知装置の動作を示すフローチャートである。図４Ｂは、本発明の実施の形態１に係る乗員検知装置の他の動作を示すフローチャートである。
【図５】本発明の実施の形態１に係る乗員検知システムの要部を示すブロック図である。
【図６】図６Ａは、本発明の実施の形態１に係る乗員検知システムのシステム構成を示すブロック図である。図６Ｂは、本発明の実施の形態１に係る乗員検知システムの他のシステム構成を示すブロック図である。図６Ｃは、本発明の実施の形態１に係る乗員検知システムの他のシステム構成を示すブロック図である。図６Ｄは、本発明の実施の形態１に係る乗員検知システムの他のシステム構成を示すブロック図である。
【図７】本発明の実施の形態２に係る乗員検知装置の要部を示すブロック図である。
【図８】図８Ａは、本発明の実施の形態２に係る乗員検知装置の動作を示すフローチャートである。図８Ｂは、本発明の実施の形態２に係る乗員検知装置の他の動作を示すフローチャートである。
【図９】本発明の実施の形態２に係る乗員検知システムの要部を示すブロック図である。
【図１０】本発明の実施の形態３に係る乗員検知装置の要部を示すブロック図である。
【図１１】図１１Ａは、本発明の実施の形態３に係る乗員検知装置の動作を示すフローチャートである。図１１Ｂは、本発明の実施の形態３に係る乗員検知装置の他の動作を示すフローチャートである。
【図１２】本発明の実施の形態３に係る乗員検知システムの要部を示すブロック図である。
【図１３】本発明の実施の形態４に係る乗員検知装置の要部を示すブロック図である。
【図１４】図１４Ａは、本発明の実施の形態４に係る乗員検知装置の動作を示すフローチャートである。図１４Ｂは、本発明の実施の形態４に係る乗員検知装置の他の動作を示すフローチャートである。
【図１５】本発明の実施の形態４に係る乗員検知システムの要部を示すブロック図である。
【図１６】本発明の実施の形態５に係る乗員検知装置の要部を示すブロック図である。
【図１７】図１７Ａは、本発明の実施の形態５に係る乗員検知装置の動作を示すフローチャートである。図１７Ｂは、本発明の実施の形態５に係る乗員検知装置の他の動作を示すフローチャートである。
【図１８】本発明の実施の形態５に係る乗員検知システムの要部を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
【００１０】
実施の形態１．
図１は、実施の形態１に係る乗員検知装置の要部を示すブロック図である。図１を参照して、実施の形態１の乗員検知装置１００について説明する。
【００１１】
車両１は、車室内撮像用のカメラ２を有している。カメラ２は、例えば、車両１の車室内前方部に設けられたカラーカメラ、モノクロカメラ又は赤外線カメラにより構成されている。カメラ２は、例えば、車両１の左右方向に対する中心部に配置されており、車両１内の複数個の座席を含む範囲を前方から撮像するものである。以下、カメラ２により撮像された画像を「撮像画像」という。
【００１２】
顔領域検出部１１は、撮像画像を示す画像データをカメラ２から取得するものである。顔領域検出部１１は、当該取得された画像データに対する画像認識処理を実行することにより、撮像画像における人間の顔に対応する領域（以下「顔領域」という。）を検出するものである。この画像認識処理は、顔特徴点を用いるものであっても良く、又は機械学習の結果を用いるものであっても良い。以下、撮像画像における顔領域を検出する処理を「顔領域検出処理」という。
【００１３】
通常、顔領域検出処理により検出される顔領域は車両１内の乗員の顔と一対一に対応するものであり、顔領域検出処理により検出される顔領域の個数は車両１内の乗員の人数に応じたものとなる。すなわち、顔領域検出処理により０個の顔領域、１個の顔領域又は複数個の顔領域が検出される。以下、車両１内に複数人の乗員がおり、顔領域検出処理により複数個の顔領域が検出される例を中心に説明する。
【００１４】
ここで、撮像画像における車両１内の複数個の座席と一対一に対応する複数個の領域を「座席領域」という。第１判定部１２には、撮像画像における複数個の座席領域の各々の座標などを示す情報が予め記憶されている。第１判定部１２は、撮像画像における複数個の顔領域の各々の座標などを示す情報を顔領域検出部１１から取得する。第１判定部１２は、これらの情報を用いて、２個以上の顔領域を含む座席領域が存在するか否かを判定するものである。
【００１５】
図２に、２個以上の顔領域を含む座席領域の一例を示す。図中、Ｓは１個の座席を示しており、ＳＡは当該１個の座席に対応する１個の座席領域を示している。また、Ｐ１，Ｐ２は２人の乗員を示しており、Ｆ１，Ｆ２は当該２人の乗員の顔を示しており、ＦＡ１，ＦＡ２は当該２人の乗員の顔に対応する２個の顔領域を示している。
【００１６】
図２に示す如く、１個の座席Ｓに２人の乗員Ｐ１，Ｐ２がいる状態である。より具体的は、大人である一方の乗員Ｐ１が座席Ｓに着座しており、かつ、この乗員Ｐ１が子供である他方の乗員Ｐ２を抱きかかえている状態である。このため、１個の座席領域ＳＡに２個の顔領域ＦＡ１，ＦＡ２が含まれている。
【００１７】
第２判定部１３は、第１判定部１２により２個以上の顔領域を含む座席領域が存在すると判定された場合、２個以上の顔領域を含む座席領域が存在する状態の継続時間（以下「第１継続時間」という。）をカウントするものである。第２判定部１３は、第１継続時間が所定時間（以下「第１基準時間」という。例えば１０秒。）を超えたか否かを判定するものである。
【００１８】
第２判定部１３は、第１継続時間が第１基準時間を超えた後、第１判定部１２により２個以上の顔領域を含む座席領域が存在しないと判定された場合、２個以上の顔領域を含む座席領域が存在しない状態の継続時間（以下「第２継続時間」という。）をカウントするものである。第２判定部１３は、第２継続時間が所定時間（以下「第２基準時間」という。例えば１０秒。）を超えたか否かを判定するものである。
【００１９】
警告出力制御部１４は、第２判定部１３により第１継続時間が第１基準時間を超えたと判定されたとき、出力装置３を用いて車両１の運転者に対する警告を出力する制御（以下「警告出力制御」という。）を開始するものである。警告出力制御部１４は、第２判定部１３により第２継続時間が第２基準時間を超えたと判定されたとき、警告出力制御を終了するものである。
【００２０】
ここで、警告出力制御の具体例について説明する。例えば、出力装置３はディスプレイにより構成されている。警告出力制御部１４は、チャイルドシートに着座していない子供の有無の確認を促すメッセージなどを含む画像（以下「確認画像」という。）を当該ディスプレイに表示させる。または、例えば、出力装置３はスピーカーにより構成されている。警告出力制御部１４は、チャイルドシートに着座していない子供の有無の確認を促すメッセージなどを含む音声（以下「確認音声」という。）を当該スピーカーに出力させる。
【００２１】
顔領域検出部１１、第１判定部１２、第２判定部１３及び警告出力制御部１４により、乗員検知装置１００の要部が構成されている。
【００２２】
次に、図３を参照して、乗員検知装置１００の要部のハードウェア構成について説明する。
【００２３】
図３Ａに示す如く、乗員検知装置１００はコンピュータにより構成されており、当該コンピュータはプロセッサ２１及びメモリ２２を有している。メモリ２２には、当該コンピュータを顔領域検出部１１、第１判定部１２、第２判定部１３及び警告出力制御部１４として機能させるためのプログラムが記憶されている。メモリ２２に記憶されているプログラムをプロセッサ２１が読み出して実行することにより、顔領域検出部１１、第１判定部１２、第２判定部１３及び警告出力制御部１４の機能が実現される。
【００２４】
また、メモリ２２は、顔領域検出部１１、第１判定部１２、第２判定部１３及び警告出力制御部１４の処理に用いられる各種データ（例えば撮像画像を示す画像データなど）を記憶するものである。なお、撮像画像を示す画像データは、個々の座席領域毎に分割されてメモリ２２に記憶されるものであっても良い。または、撮像画像を示す画像データは、前部座席に対応する座席領域と後部座席に対応する座席領域とに分割されてメモリ２２に記憶されるものであっても良い。
【００２５】
プロセッサ２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などを用いたものである。メモリ２２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクなどを用いたものである。
【００２６】
または、図３Ｂに示す如く、顔領域検出部１１、第１判定部１２、第２判定部１３及び警告出力制御部１４の機能が専用の処理回路２３により実現されるものであっても良い。処理回路２３は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）などを用いたものである。
【００２７】
または、顔領域検出部１１、第１判定部１２、第２判定部１３及び警告出力制御部１４のうちの一部の機能がプロセッサ２１及びメモリ２２により実現されて、残余の機能が処理回路２３により実現されるものであっても良い。
【００２８】
次に、図４のフローチャートを参照して、乗員検知装置１００の動作について説明する。
【００２９】
まず、ステップＳＴ１にて、顔領域検出部１１は、撮像画像を示す画像データをカメラ２から取得して、顔領域検出処理を実行する。顔領域検出部１１は、顔領域検出処理により検出された複数個の顔領域の各々の座標などを示す情報を第１判定部１２に出力する。
【００３０】
次いで、ステップＳＴ２にて、第１判定部１２は、ステップＳＴ１で顔領域検出部１１により出力された情報などを用いて、２個以上の顔領域を含む座席領域が存在するか否かを判定する。２個以上の顔領域を含む座席領域が存在しないと判定された場合（ステップＳＴ２“ＮＯ”）、乗員検知装置１００の処理はステップＳＴ１に戻る。他方、２個以上の顔領域を含む座席領域が存在すると判定された場合（ステップＳＴ２“ＹＥＳ”）、乗員検知装置１００の処理はステップＳＴ３に進む。
【００３１】
次いで、ステップＳＴ３にて、第２判定部１３は、２個以上の顔領域を含む座席領域が存在する状態の継続時間が所定時間を超えたか否か、すなわち第１継続時間が第１基準時間を超えたか否かを判定する。この第１継続時間は第２判定部１３によりカウントされたものである。第１継続時間が第１基準時間以内である場合（ステップＳＴ３“ＮＯ”）、乗員検知装置１００の処理はステップＳＴ１に戻る。他方、第１継続時間が第１基準時間を超えたとき（ステップＳＴ３“ＹＥＳ”）、乗員検知装置１００の処理はステップＳＴ４に進む。
【００３２】
次いで、ステップＳＴ４にて、警告出力制御部１４は警告出力制御を開始する。具体的には、例えば、警告出力制御部１４は、確認画像をディスプレイに表示させたり、又は確認音声をスピーカーに出力させたりする。
【００３３】
次いで、ステップＳＴ１１にて、顔領域検出部１１は、撮像画像を示す画像データをカメラ２から取得して、顔領域検出処理を実行する。顔領域検出部１１は、顔領域検出処理により検出された複数個の顔領域の各々の座標などを示す情報を第１判定部１２に出力する。
【００３４】
次いで、ステップＳＴ１２にて、第１判定部１２は、ステップＳＴ１１で顔領域検出部１１により出力された情報などを用いて、２個以上の顔領域を含む座席領域が存在するか否かを判定する。２個以上の顔領域を含む座席領域が存在すると判定された場合（ステップＳＴ１２“ＹＥＳ”）、乗員検知装置１００の処理はステップＳＴ１１に戻る。他方、２個以上の顔領域を含む座席領域が存在しないと判定された場合（ステップＳＴ１２“ＮＯ”）、乗員検知装置１００の処理はステップＳＴ１３に進む。
【００３５】
次いで、ステップＳＴ１３にて、第２判定部１３は、２個以上の顔領域を含む座席領域が存在しない状態の継続時間が所定時間を超えたか否か、すなわち第２継続時間が第２基準時間を超えたか否かを判定する。この第２継続時間は第２判定部１３によりカウントされたものである。第２継続時間が第２基準時間以内である場合（ステップＳＴ１３“ＮＯ”）、乗員検知装置１００の処理はステップＳＴ１１に戻る。他方、第２継続時間が第２基準時間を超えたとき（ステップＳＴ１３“ＹＥＳ”）、乗員検知装置１００の処理はステップＳＴ１４に進む。
【００３６】
次いで、ステップＳＴ１４にて、警告出力制御部１４は警告出力制御を終了する。
【００３７】
なお、第１継続時間が第１基準時間を超えるよりも先に２個以上の顔領域を含む座席領域が存在する状態が解消された場合（すなわちステップＳＴ３“ＮＯ”と判定された後にステップＳＴ２“ＮＯ”と判定された場合）、警告出力制御部１４は、その旨を車両１の運転者に通知するものであっても良い。具体的には、例えば、警告出力制御部１４は、チャイルドシートに着座していない子供が存在する可能性のある状態が解消されたことを示すメッセージなどを含む画像をディスプレイに表示させたり、又は当該メッセージなどを含む音声をスピーカーに出力させたりするものであっても良い。
【００３８】
また、車両１に操作入力装置（不図示）が設けられており、確認画像又は確認音声に対する応答用の操作（以下「応答操作」という。）が入力されるものであっても良い。応答操作がチャイルドシートに着座していない子供が存在することを示すものである場合において、車両１が走行中であるとき、警告出力制御部１４は、警告出力制御の一環として、車両１の減速及び停止を促すメッセージなどを含む画像をディスプレイに表示させたり、又は当該メッセージなどを含む音声をスピーカーに出力させたりするものであっても良い。また、応答操作がチャイルドシートに着座していない子供が存在することを示すものである場合において、車両１が駐停車中であるとき、警告出力制御部１４は、警告出力制御の一環として、車両１の発進を抑止するメッセージなどを含む画像をディスプレイに表示させたり、又は当該メッセージなどを含む音声をスピーカーに出力させたりするものであっても良い。操作入力装置は、例えば、タッチパネル、ハードウェアキー、リモートコントローラー、ジェスチャー入力装置又は音声認識装置などにより構成されている。
【００３９】
また、車両１に各座席用のエアバッグ（不図示）が設けられており、乗員検知装置１００は、これらのエアバッグを制御するエアバッグ制御部（不図示）を有するものであっても良い。エアバッグ制御部は、応答操作がチャイルドシートに着座していない子供が存在することを示すものである場合、２個以上の顔領域を含む座席領域に対応する座席用のエアバッグを作動停止状態に設定するものである。その後、第２判定部１３により第２継続時間が第２基準時間を超えたと判定されたとき（ステップＳＴ１３“ＹＥＳ”）、エアバッグ制御部は当該座席用のエアバッグの作動停止状態を解除するものである。
【００４０】
また、車室内撮像用のカメラ２は、複数個のカメラにより構成されているものであっても良い。例えば、車両１内の複数個の座席の各々に対する前方部に少なくとも１個のカメラが設けられており、これらのカメラにより車室内撮像用のカメラ２が構成されているものであっても良い。
【００４１】
また、図５に示す如く、顔領域検出部１１、第１判定部１２、第２判定部１３及び警告出力制御部１４により、乗員検知システム２００の要部が構成されているものであっても良い。この場合、顔領域検出部１１、第１判定部１２、第２判定部１３及び警告出力制御部１４の各々は、車両１に搭載自在な車載情報機器３１、車両１に持ち込み自在なスマートフォンなどの携帯情報端末３２、又は、車載情報機器３１若しくは携帯情報端末３２と通信自在なサーバ装置３３のうちのいずれかに設けられているものであれば良い。
【００４２】
図６Ａ〜図６Ｄの各々は、乗員検知システム２００の要部のシステム構成を示している。図６Ａ〜図６Ｄに示す如く、車載情報機器３１、携帯情報端末３２又はサーバ装置３３のうちのいずれか二以上が連携することにより乗員検知システム２００の機能が実現されるものであれば良い。
【００４３】
以上のように、実施の形態１の乗員検知装置１００は、車室内撮像用のカメラ２による撮像画像における複数個の顔に対応する複数個の顔領域を検出する処理（顔領域検出処理）を実行する顔領域検出部１１と、撮像画像における複数個の座席に対応する複数個の座席領域のうち、複数個の顔領域のうちのいずれか２個以上の顔領域を含む座席領域が存在するか否かを判定する第１判定部１２と、２個以上の顔領域を含む座席領域が存在する状態の継続時間（第１継続時間）が基準時間（第１基準時間）を超えたか否かを判定する第２判定部１３と、継続時間（第１継続時間）が基準時間（第１基準時間）を超えたとき、警告を出力する制御（警告出力制御）を実行する警告出力制御部１４とを備える。これにより、１個の座席に２人以上の乗員がいる状態に対応した乗員検知装置１００を実現することができる。また、チャイルドシートに着座していない子供の有無の確認などを車両１の運転者に促すことができる。
【００４４】
また、実施の形態１の乗員検知システム２００は、車室内撮像用のカメラ２による撮像画像における複数個の顔に対応する複数個の顔領域を検出する処理（顔領域検出処理）を実行する顔領域検出部１１と、撮像画像における複数個の座席に対応する複数個の座席領域のうち、複数個の顔領域のうちのいずれか２個以上の顔領域を含む座席領域が存在するか否かを判定する第１判定部１２と、２個以上の顔領域を含む座席領域が存在する状態の継続時間（第１継続時間）が基準時間（第１基準時間）を超えたか否かを判定する第２判定部１３と、継続時間（第１継続時間）が基準時間（第１基準時間）を超えたとき、警告を出力する制御（警告出力制御）を実行する警告出力制御部１４とを備える。これにより、１個の座席に２人以上の乗員がいる状態に対応した乗員検知システム２００を実現することができる。また、チャイルドシートに着座していない子供の有無の確認などを車両１の運転者に促すことができる。
【００４５】
また、実施の形態１の乗員検知方法は、顔領域検出部１１が、車室内撮像用のカメラ２による撮像画像における複数個の顔に対応する複数個の顔領域を検出する処理（顔領域検出処理）を実行するステップＳＴ１と、第１判定部１２が、撮像画像における複数個の座席に対応する複数個の座席領域のうち、複数個の顔領域のうちのいずれか２個以上の顔領域を含む座席領域が存在するか否かを判定するステップＳＴ２と、第２判定部１３が、２個以上の顔領域を含む座席領域が存在する状態の継続時間（第１継続時間）が基準時間（第１基準時間）を超えたか否かを判定するステップＳＴ３と、警告出力制御部１４が、継続時間（第１継続時間）が基準時間（第１基準時間）を超えたとき、警告を出力する制御（警告出力制御）を実行するステップＳＴ４とを備える。これにより、１個の座席に２人以上の乗員がいる状態に対応した乗員検知方法を実現することができる。また、チャイルドシートに着座していない子供の有無の確認などを車両１の運転者に促すことができる。
【００４６】
実施の形態２．
図７は、実施の形態２に係る乗員検知装置の要部を示すブロック図である。図７を参照して、実施の形態２の乗員検知装置１００ａについて説明する。なお、図７において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。
【００４７】
個人認証部１５は、第１判定部１２により２個以上の顔領域を含む座席領域が存在すると判定された場合において、第２判定部１３により第１継続時間が第１基準時間を超えたと判定されたとき、当該２個以上の顔領域と一対一に対応する２個以上の顔の各々に対する個人認証処理を実行するものである。以下、実施の形態２において、２個以上の顔領域を含む座席領域における当該２個以上の顔領域を「認証対象顔領域」といい、当該座席領域に対応する座席にいる２人以上の乗員を「認証対象乗員」という。
【００４８】
個人認証部１５による個人認証処理は、いわゆる「顔認証」によるものである。個人認証部１５には、顔認証用のデータベースが予め記憶されている。このデータベースは、複数人分の個人情報（例えば、車両１の所有者の氏名、車両１の所有者の家族の氏名、及び、これらの人間の血縁関係などを示す情報）と、当該複数人分の顔認証用の特徴量を示す情報とを対応付けてなるものである。
【００４９】
顔領域検出部１１は、顔領域検出処理により複数個の顔領域が検出されたとき、当該複数個の顔領域の各々における顔認証用の特徴量を抽出する機能を有している。個人認証部１５は、各認証対象顔領域における顔認証用の特徴量を示す情報を顔領域検出部１１から取得する。個人認証部１５は、当該取得された情報が示す特徴量とデータベース内の特徴量とを比較することにより、各認証対象乗員の個人情報がデータベースに含まれているか否かを判定する。
【００５０】
各認証対象乗員の個人情報がデータベースに含まれている場合、個人認証部１５は、各認証対象乗員の個人情報を警告出力制御部１４ａに出力する。他方、各認証対象乗員の個人情報がデータベースに含まれていない場合、個人認証部１５は、その旨を示す情報を警告出力制御部１４ａに出力する。すなわち、個人認証部１５は、個人認証処理の結果を警告出力制御部１４ａに出力するものである。
【００５１】
警告出力制御部１４ａは、個人認証部１５による個人認証処理の結果に応じた内容の警告を出力する制御、すなわち警告出力制御を実行するものである。より具体的には、警告出力制御部１４ａは、個人認証部１５により各認証対象乗員の個人情報が出力された場合、これらの個人情報に基づく内容の警告を出力する制御を実行するものである。
【００５２】
例えば、実施の形態１にて図２を参照して説明したものと同様の状態において、乗員Ｐ１が母親であり、乗員Ｐ２が当該母親の子供であるものとする。実施の形態１の乗員検知装置１００においては、乗員Ｐ１，Ｐ２間の血縁関係及び乗員Ｐ１，Ｐ２の各々の氏名などが不明である。このため、警告出力制御部１４は、チャイルドシートに着座していない子供の有無の確認を促すメッセージなどを確認画像又は確認音声に含めるものであった。
【００５３】
これに対して、実施の形態２の乗員検知装置１００ａにおいては、個人認証部１５による個人認証処理が成功した場合、個人認証部１５による個人認証処理の結果が乗員Ｐ１，Ｐ２間の血縁関係及び乗員Ｐ１，Ｐ２の各々の氏名などを示すものとなる。そこで、警告出力制御部１４ａは、例えば、母親が子供を抱きかかえていないかどうかの確認を促すメッセージなどを確認画像又は確認音声に含める。
【００５４】
なお、個人認証部１５による個人認証処理の結果に各認証対象乗員の個人情報が含まれていない場合、警告出力制御部１４ａは実施の形態１の乗員検知装置１００と同様に、チャイルドシートに着座していない子供の有無の確認を促すメッセージなどを確認画像又は確認音声に含めるものであっても良い。
【００５５】
顔領域検出部１１、第１判定部１２、第２判定部１３、警告出力制御部１４ａ及び個人認証部１５により、乗員検知装置１００ａの要部が構成されている。
【００５６】
乗員検知装置１００ａの要部のハードウェア構成は、実施の形態１にて図３を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、個人認証部１５の機能はプロセッサ２１及びメモリ２２により実現されるものであっても良く、又は処理回路２３により実現されるものであっても良い。
【００５７】
次に、図８のフローチャートを参照して、乗員検知装置１００ａの動作について説明する。なお、図８において、図４に示すステップと同様のステップには同一符号を付して説明を省略する。
【００５８】
第１判定部１２により２個以上の顔領域を含む座席領域が存在すると判定された場合において（ステップＳＴ２“ＹＥＳ”）、第２判定部１３により第１継続時間が第１基準時間を超えたと判定されたとき（ステップＳＴ３“ＹＥＳ”）、個人認証部１５は個人認証処理を実行する（ステップＳＴ５）。個人認証処理の具体例は既に説明したとおりであるため、再度の説明は省略する。
【００５９】
次いで、ステップＳＴ４ａにて、警告出力制御部１４ａは、ステップＳＴ５における個人認証処理の結果に応じた内容の警告を出力する制御、すなわち警告出力制御を開始する。警告出力制御部１４ａによる警告出力制御の具体例は既に説明したとおりであるため、再度の説明は省略する。その後、ステップＳＴ１４ａにて、警告出力制御部１４ａは警告出力制御を終了する。
【００６０】
なお、警告出力制御部１４ａは、個人認証部１５による個人認証処理の結果に応じた内容の警告を出力する制御を実行するものであれば良い。確認画像又は確認音声に含まれるメッセージの内容は、上記の具体例に限定されるものではない。
【００６１】
そのほか、乗員検知装置１００ａは、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。
【００６２】
また、図９に示す如く、顔領域検出部１１、第１判定部１２、第２判定部１３、警告出力制御部１４ａ及び個人認証部１５により、乗員検知システム２００ａの要部が構成されているものであっても良い。
【００６３】
乗員検知システム２００ａの要部のシステム構成は、実施の形態１にて図６を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、車載情報機器３１、携帯情報端末３２又はサーバ装置３３のうちのいずれか二以上が連携することにより乗員検知システム２００ａの機能が実現されるものであれば良い。
【００６４】
以上のように、実施の形態２の乗員検知装置１００ａは、２個以上の顔領域に対応する２個以上の顔の各々に対する個人認証処理を実行する個人認証部１５を備え、警告出力制御部１４ａは、個人認証処理の結果に応じた内容の警告を出力する制御を実行する。個人認証処理の結果を用いることにより、２人以上の乗員がいる座席の状況などに応じて、より具体的な内容のメッセージを含む警告を出力することが可能となる。
【００６５】
実施の形態３．
図１０は、実施の形態３に係る乗員検知装置の要部を示すブロック図である。図１０を参照して、実施の形態３の乗員検知装置１００ｂについて説明する。なお、図１０において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。
【００６６】
顔間距離算出部１６は、第１判定部１２により２個以上の顔領域を含む座席領域が存在すると判定された場合において、第２判定部１３により第１継続時間が第１基準時間を超えたと判定されたとき、当該２個以上の顔領域と一対一に対応する２個以上の顔のうちの各２個の顔間の距離（以下「顔間距離」という。）を算出するものである。
【００６７】
具体的には、例えば、顔間距離算出部１６は、撮像画像における当該２個以上の顔領域の各々の座標などを示す情報を顔領域検出部１１から取得する。顔間距離算出部１６は、当該取得された情報を用いて、当該２個以上の顔領域のうちの各２個の顔領域の中心部間の距離（以下「顔領域間距離」という。）を算出する。通常、顔領域間距離はピクセル値により表されるものである。顔間距離算出部１６は、顔領域間距離をピクセル値からメートル値に換算することにより顔間距離を算出する。すなわち、顔間距離は実空間における距離であり、かつ、顔間距離は撮像画像の撮像面に沿う方向の距離である。
【００６８】
警告出力制御部１４ｂは、顔領域検出部１１により算出された顔間距離に応じた内容の警告を出力する制御、すなわち警告出力制御を実行するものである。
【００６９】
具体的には、例えば、警告出力制御部１４ｂは、顔間距離を所定距離（以下「基準距離」という。）と比較する。顔間距離が基準距離以下である場合、警告出力制御部１４ｂは、例えば、大人に抱きかかえられている子供の有無の確認を促すメッセージなどを含む確認画像をディスプレイに表示させたり、又は当該メッセージなどを含む確認音声をスピーカーに出力させたりする。または、例えば、警告出力制御部１４ｂは、授乳中の子供の有無の確認を促すメッセージなどを含む確認画像をディスプレイに表示させたり、又は当該メッセージなどを含む確認音声をスピーカーに出力させたりする。
【００７０】
他方、顔間距離が基準距離よりも大きい場合、警告出力制御部１４ｂは実施の形態１の乗員検知装置１００と同様に、チャイルドシートに着座していない子供の有無の確認を促すメッセージなどを含む確認画像をディスプレイに表示させたり、又は当該メッセージなどを含む確認音声をスピーカーに出力させたりする。
【００７１】
すなわち、１個の座席に２人以上の乗員がいる状態の具体例として、例えば、大人が子供を抱きかかえている状態（以下「第１状態」という。）、母親等が子供に授乳している状態（以下「第２状態」という。）、又は、着座中の大人の膝間に子供がいる状態（以下「第３状態」という。）などが想定される。基準距離は、大人の平均的な体格などに基づき、第１状態及び第２状態と、それ以外の状態（例えば第３状態）とを識別可能な値に設定されている。これにより、顔間距離が基準距離以下である場合、より具体的な内容のメッセージを警告画像又は警告音声に含めることができる。
【００７２】
顔領域検出部１１、第１判定部１２、第２判定部１３、警告出力制御部１４ｂ及び顔間距離算出部１６により、乗員検知装置１００ｂの要部が構成されている。
【００７３】
乗員検知装置１００ｂの要部のハードウェア構成は、実施の形態１にて図３を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、顔間距離算出部１６の機能はプロセッサ２１及びメモリ２２により実現されるものであっても良く、又は処理回路２３により実現されるものであっても良い。
【００７４】
次に、図１１のフローチャートを参照して、乗員検知装置１００ｂの動作について説明する。なお、図１１において、図４に示すステップと同様のステップには同一符号を付して説明を省略する。
【００７５】
第１判定部１２により２個以上の顔領域を含む座席領域が存在すると判定された場合において（ステップＳＴ２“ＹＥＳ”）、第２判定部１３により第１継続時間が第１基準時間を超えたと判定されたとき（ステップＳＴ３“ＹＥＳ”）、顔間距離算出部１６は顔間距離を算出する（ステップＳＴ６）。顔間距離の算出方法の具体例は既に説明したとおりであるため、再度の説明は省略する。
【００７６】
次いで、ステップＳＴ４ｂにて、警告出力制御部１４ｂは、ステップＳＴ６で算出された顔間距離に応じた内容の警告を出力する制御、すなわち警告出力制御を開始する。警告出力制御部１４ｂによる警告出力制御の具体例は既に説明したとおりであるため、再度の説明は省略する。その後、ステップＳＴ１４ｂにて、警告出力制御部１４ｂは警告出力制御を終了する。
【００７７】
なお、顔間距離算出部１６は、撮像画像における縦方向の顔領域間距離と、撮像画像における横方向の顔領域間距離とを算出するものであっても良い。顔間距離算出部１６は、縦方向の顔領域間距離をピクセル値からメートル値に換算することにより、実空間における上下方向の顔間距離を算出するものであっても良い。顔間距離算出部１６は、横方向の顔領域間距離をピクセル値からメートル値に換算することにより、実空間における左右方向の顔間距離を算出するものであっても良い。
【００７８】
この場合、警告出力制御部１４ｂは、上下方向の顔間距離を所定距離（以下「第１基準距離」という。）と比較して、上記と同様の警告出力制御を実行するものであっても良い。また、警告出力制御部１４ｂは、左右方向の顔間距離を所定距離（以下「第２基準距離」という。）と比較して、左右方向の顔間距離が第２基準距離よりも大きい場合、警告出力制御の実行をキャンセルするものであっても良い。これは、左右方向の顔間距離が第２基準距離よりも大きい場合、例えば前部座席に対応する座席領域に後部座席にいる乗員の顔が写り込んでいる可能性などがあるためである。
【００７９】
また、警告出力制御部１４ｂは、顔領域検出部１１により算出された顔間距離に応じた内容の警告を出力する制御を実行するものであれば良い。確認画像又は確認音声に含まれるメッセージの内容は、上記の具体例に限定されるものではない。
【００８０】
また、乗員検知装置１００ｂは、実施の形態２の乗員検知装置１００ａと同様の個人認証部１５を有するものであっても良い。この場合、警告出力制御部１４ｂは、個人認証部１５による個人認証処理の結果及び顔領域検出部１１により算出された顔間距離に応じた内容の警告を出力する制御を実行するものであっても良い。
【００８１】
そのほか、乗員検知装置１００ｂは、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。
【００８２】
また、図１２に示す如く、顔領域検出部１１、第１判定部１２、第２判定部１３、警告出力制御部１４ｂ及び顔間距離算出部１６により、乗員検知システム２００ｂの要部が構成されているものであっても良い。
【００８３】
乗員検知システム２００ｂの要部のシステム構成は、実施の形態１にて図６を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、車載情報機器３１、携帯情報端末３２又はサーバ装置３３のうちのいずれか二以上が連携することにより乗員検知システム２００ｂの機能が実現されるものであれば良い。
【００８４】
以上のように、実施の形態３の乗員検知装置１００ｂは、２個以上の顔領域に対応する２個以上の顔間の距離（顔間距離）を算出する顔間距離算出部１６を備え、警告出力制御部１４ｂは、顔間距離算出部１６により算出された距離（顔間距離）に応じた内容の警告を出力する制御（警告出力制御）を実行する。これにより、大人が子供を抱きかかえている状態又は母親等が子供に授乳している状態などである蓋然性が高いとき、より具体的な内容のメッセージを含む警告を出力することができる。
【００８５】
実施の形態４．
図１３は、実施の形態４に係る乗員検知装置の要部を示すブロック図である。図１３を参照して、実施の形態４の乗員検知装置１００ｃについて説明する。なお、図１３において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。
【００８６】
車両１内の各座席の座面部には、重量センサ４が設けられている。第３判定部１７は、これらの重量センサ４による検出値を所定の時間間隔にて取得するものである。第３判定部１７は、当該取得された検出値を用いて、車両１内の各座席における重量の変化の有無を判定するものである。顔領域検出部１１は、第３判定部１７により少なくとも１個の座席の重量が変化したと判定されたとき、顔領域検出処理を実行するようになっている。
【００８７】
顔領域検出部１１、第１判定部１２、第２判定部１３、警告出力制御部１４及び第３判定部１７により、乗員検知装置１００ｃの要部が構成されている。
【００８８】
乗員検知装置１００ｃの要部のハードウェア構成は、実施の形態１にて図３を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、第３判定部１７の機能はプロセッサ２１及びメモリ２２により実現されるものであっても良く、又は処理回路２３により実現されるものであっても良い。
【００８９】
次に、図１４のフローチャートを参照して、乗員検知装置１００ｃの動作について説明する。なお、図１４において、図４に示すステップと同様のステップには同一符号を付して説明を省略する。
【００９０】
まず、ステップＳＴ７にて、第３判定部１７は、重量センサ４による検出値を取得する。第３判定部１７は、当該取得された検出値を用いて、車両１内の各座席における重量の変化の有無を判定する。より具体的には、第３判定部１７は、車両１内の各座席における検出値が第１の値による安定状態から第２の値による安定状態に遷移したか否かを判定する。
【００９１】
第３判定部１７により少なくとも１個の座席の重量が変化したと判定されたとき、より具体的には少なくとも１個の座席における検出値が第１の値による安定状態から第２の値による安定状態に遷移したと判定されたとき（ステップＳＴ７“ＹＥＳ”）、乗員検知装置１００ｃの処理はステップＳＴ１に進む。これにより、顔領域検出部１１による顔領域検出処理が実行されて（ステップＳＴ１）、ステップＳＴ２以降の処理が実行される。
【００９２】
なお、重量センサ４による検出値の用途は、第３判定部１７による判定に限定されるものではない。例えば、乗員検知装置１００ｃは、車両１内の各座席における重量の変化量を所定の閾値と比較することにより、座席間を移動した乗員が大人であるか子供であるかを判定する体格判定部（不図示）を備えるものであっても良い。
【００９３】
例えば、ある座席（以下「第１座席」という。）に設置されたチャイルドシートに子供が着座している状態から、他の座席（以下「第２座席」という。）に着座している大人が当該子供を抱きかかえている状態に遷移したとき、第１座席における重量が減少するとともに第２座席における重量が増加する。このとき、第１座席における重量の減少量及び第２座席における重量の増加量は、いずれも、当該子供の体重に応じた値となり、閾値未満の値となる。体格判定部は、これらの変化量が閾値未満の値であるため、第１座席から第２座席に移動した乗員が子供であると判定する。
【００９４】
また、乗員検知装置１００ｃは、実施の形態２の乗員検知装置１００ａと同様の個人認証部１５を有するものであっても良い。この場合、警告出力制御部１４は、個人認証部１５による個人認証処理の結果に応じた内容の警告を出力する制御を実行するものであっても良い。
【００９５】
また、乗員検知装置１００ｃは、実施の形態３の乗員検知装置１００ｂと同様の顔間距離算出部１６を有するものであっても良い。この場合、警告出力制御部１４は、顔間距離算出部１６により算出された顔間距離に応じた内容の警告を出力する制御を実行するものであっても良い。
【００９６】
また、乗員検知装置１００ｃは、実施の形態２の乗員検知装置１００ａと同様の個人認証部１５及び実施の形態３の乗員検知装置１００ｂと同様の顔間距離算出部１６を有するものであっても良い。この場合、警告出力制御部１４は、個人認証部１５による個人認証処理の結果及び顔間距離算出部１６により算出された顔間距離に応じた内容の警告を出力する制御を実行するものであっても良い。
【００９７】
そのほか、乗員検知装置１００ｃは、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。
【００９８】
また、図１５に示す如く、顔領域検出部１１、第１判定部１２、第２判定部１３、警告出力制御部１４及び第３判定部１７により、乗員検知システム２００ｃの要部が構成されているものであっても良い。
【００９９】
乗員検知システム２００ｃの要部のシステム構成は、実施の形態１にて図６を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、車載情報機器３１、携帯情報端末３２又はサーバ装置３３のうちのいずれか二以上が連携することにより乗員検知システム２００ｃの機能が実現されるものであれば良い。
【０１００】
以上のように、実施の形態４の乗員検知装置１００ｃは、複数個の座席の各々に設けられている重量センサ４による検出値を用いて、複数個の座席の各々における重量の変化の有無を判定する第３判定部１７を備え、顔領域検出部１１は、複数個の座席のうちの少なくとも１個の座席における重量が変化したとき、複数個の顔領域を検出する処理（顔領域検出処理）を実行する。これにより、顔領域検出処理の実行頻度を低減することができる。この結果、プロセッサ２１又は処理回路２３の処理負荷を低減することができる。
【０１０１】
実施の形態５．
図１６は、実施の形態５に係る乗員検知装置の要部を示すブロック図である。図１６を参照して、実施の形態５の乗員検知装置１００ｄについて説明する。なお、図１６において、図１に示すブロックと同様のブロックには同一符号を付して説明を省略する。
【０１０２】
顔サイズ推定部１８は、第１判定部１２により２個以上の顔領域を含む座席領域が存在すると判定された場合において、第２判定部１３により第１継続時間が第１基準時間を超えたと判定されたとき、当該２個以上の顔領域と一対一に対応する２個以上の顔の各々のサイズ（以下「顔サイズ」という。）を推定するものである。
【０１０３】
具体的には、例えば、顔サイズ推定部１８は、当該２個以上の顔領域の各々のサイズ（以下「顔領域サイズ」という。）を示す情報を顔領域検出部１１から取得する。通常、顔領域サイズは縦方向のピクセル値及び横方向のピクセル値により表されるものである。顔サイズ推定部１８は、これらのピクセル値をメートル値に換算することにより顔サイズを推定する。すなわち、顔サイズは実空間におけるサイズである。
【０１０４】
警告出力制御部１４ｄは、顔サイズ推定部１８による推定結果に応じた内容の警告を出力する制御、すなわち警告出力制御を実行するものである。
【０１０５】
具体的には、例えば、警告出力制御部１４ｄは、顔サイズ推定部１８により推定された個々の顔サイズを所定の閾値と比較する。この閾値は、当該個々の顔サイズに対応する顔が大人の顔であるか子供の顔であるかを識別可能な値に設定されている。
【０１０６】
２個以上の顔領域を含む座席領域において、より上方に配置されている顔領域に対応する顔のサイズが閾値以上であり、かつ、より下方に配置されている顔領域に対応する顔のサイズが閾値未満である場合、警告出力制御部１４ｄは、例えば、大人に抱きかかえられている子供の有無の確認を促すメッセージなどを含む確認画像をディスプレイに表示させたり、又は当該メッセージなどを含む確認音声をスピーカーに出力させたりする。または、例えば、警告出力制御部１４ｄは、授乳中の子供の有無の確認を促すメッセージなどを含む確認画像をディスプレイに表示させたり、又は当該メッセージなどを含む確認音声をスピーカーに出力させたりする。
【０１０７】
他方、この条件が満たされていない場合、警告出力制御部１４ｄは警告出力制御の実行をキャンセルする。例えば、２個以上の顔がいずれも大人の顔である場合、前部座席に対応する座席領域に後部座席にいる乗員の顔が写り込んでいる可能性がある。このような場合に不要な警告が出力されるのを回避することができる。
【０１０８】
顔領域検出部１１、第１判定部１２、第２判定部１３、警告出力制御部１４ｄ及び顔サイズ推定部１８により、乗員検知装置１００ｄの要部が構成されている。
【０１０９】
乗員検知装置１００ｄの要部のハードウェア構成は、実施の形態１にて図３を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、顔サイズ推定部１８の機能はプロセッサ２１及びメモリ２２により実現されるものであっても良く、又は処理回路２３により実現されるものであっても良い。
【０１１０】
次に、図１７のフローチャートを参照して、乗員検知装置１００ｄの動作について説明する。なお、図１７において、図４に示すステップと同様のステップには同一符号を付して説明を省略する。
【０１１１】
第１判定部１２により２個以上の顔領域を含む座席領域が存在すると判定された場合において（ステップＳＴ２“ＹＥＳ”）、第２判定部１３により第１継続時間が第１基準時間を超えたと判定されたとき（ステップＳＴ３“ＹＥＳ”）、顔サイズ推定部１８は顔サイズを推定する（ステップＳＴ８）。顔サイズの推定方法の具体例は既に説明したとおりであるため、再度の説明は省略する。
【０１１２】
次いで、ステップＳＴ４ｄにて、警告出力制御部１４ｄは、ステップＳＴ８で推定された顔サイズに応じた内容の警告を出力する制御、すなわち警告出力制御を開始する。警告出力制御部１４ｄによる警告出力制御の具体例は既に説明したとおりであるため、再度の説明は省略する。その後、ステップＳＴ１４ｄにて、警告出力制御部１４ｄは警告出力制御を終了する。
【０１１３】
なお、警告出力制御部１４ｄは、顔サイズ推定部１８による推定結果に応じた内容の警告を出力する制御を実行するものであれば良い。確認画像又は確認音声に含まれるメッセージの内容は、上記の具体例に限定されるものではない。
【０１１４】
また、乗員検知装置１００ｄは、実施の形態２の乗員検知装置１００ａと同様の個人認証部１５を有するものであっても良い。この場合、警告出力制御部１４ｄは、個人認証部１５による個人認証処理の結果及び顔サイズ推定部１８による推定結果に応じた内容の警告を出力する制御を実行するものであっても良い。
【０１１５】
また、乗員検知装置１００ｄは、実施の形態３の乗員検知装置１００ｂと同様の顔間距離算出部１６を有するものであっても良い。この場合、警告出力制御部１４ｄは、顔間距離算出部１６により算出された顔間距離及び顔サイズ推定部１８による推定結果に応じた内容の警告を出力する制御を実行するものであっても良い。
【０１１６】
また、乗員検知装置１００ｄは、実施の形態２の乗員検知装置１００ａと同様の個人認証部１５及び実施の形態３の乗員検知装置１００ｂと同様の顔間距離算出部１６を有するものであっても良い。この場合、警告出力制御部１４ｄは、個人認証部１５による個人認証処理の結果、顔間距離算出部１６により算出された顔間距離及び顔サイズ推定部１８による推定結果に応じた内容の警告を出力する制御を実行するものであっても良い。
【０１１７】
また、乗員検知装置１００ｄは、実施の形態４の乗員検知装置１００ｃと同様の第３判定部１７を有するものであっても良い。
【０１１８】
そのほか、乗員検知装置１００ｄは、実施の形態１にて説明したものと同様の種々の変形例を採用することができる。
【０１１９】
また、図１８に示す如く、顔領域検出部１１、第１判定部１２、第２判定部１３、警告出力制御部１４ｄ及び顔サイズ推定部１８により、乗員検知システム２００ｄの要部が構成されているものであっても良い。
【０１２０】
乗員検知システム２００ｄの要部のシステム構成は、実施の形態１にて図６を参照して説明したものと同様であるため、図示及び説明を省略する。すなわち、車載情報機器３１、携帯情報端末３２又はサーバ装置３３のうちのいずれか二以上が連携することにより乗員検知システム２００ｄの機能が実現されるものであれば良い。
【０１２１】
以上のように、実施の形態５の乗員検知装置１００ｄは、２個以上の顔領域に対応する２個以上の顔の各々のサイズ（顔サイズ）を推定する顔サイズ推定部１８を備え、警告出力制御部１４ｄは、顔サイズ推定部１８による推定結果に応じた内容の警告を出力する制御（警告出力制御）を実行する。これにより、大人が子供を抱きかかえている状態又は母親等が子供に授乳している状態などである蓋然性が高いとき、より具体的な内容のメッセージを含む警告を出力することができる。
【０１２２】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１２３】
本発明の乗員検知装置は、例えば、車両用の乗員モニタリングシステムに応用することができる。
【符号の説明】
【０１２４】
１  車両、２  カメラ、３  出力装置、４  重量センサ、１１  顔領域検出部、１２  第１判定部、１３  第２判定部、１４，１４ａ，１４ｂ，１４ｄ  警告出力制御部、１５  個人認証部、１６  顔間距離算出部、１７  第３判定部、１８  顔サイズ推定部、２１  プロセッサ、２２  メモリ、２３  処理回路、３１  車載情報機器、３２  携帯情報端末、３３  サーバ装置、１００，１００ａ，１００ｂ，１００ｃ，１００ｄ  乗員検知装置、２００，２００ａ，２００ｂ，２００ｃ，２００ｄ  乗員検知システム。
【図１】
2019146043.tif 000003
【図２】
2019146043.tif 000004
【図３】
2019146043.tif 000005
【図４】
2019146043.tif 000006
【図５】
2019146043.tif 000007
【図６】
2019146043.tif 000008
【図７】
2019146043.tif 000009
【図８】
2019146043.tif 000010
【図９】
2019146043.tif 000011
【図１０】
2019146043.tif 000012
【図１１】
2019146043.tif 000013
【図１２】
2019146043.tif 000014
【図１３】
2019146043.tif 000015
【図１４】
2019146043.tif 000016
【図１５】
2019146043.tif 000017
【図１６】
2019146043.tif 000018
【図１７】
2019146043.tif 000019
【図１８】
2019146043.tif 000020
【国際調査報告】
2019146043.tif 000021
2019146043.tif 000022
2019146043.tif 000023
2019146043.tif 000024