(57)【要約】【課題】乗員パラメータをリセットするか否かの切り替えを適切に実行する。【解決手段】本開示の一例としての乗員モニタリング装置は、車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する取得部と、取得部により取得された撮像画像が、少なくとも、乗員の顔の特徴部分は含まないが乗員の体の少なくとも一部を含む第１の画像と、乗員の体を全く含まない第２の画像と、のいずれに該当するかを判別する判別部と、撮像画像に基づいて乗員の顔の状態変化をモニタリングし、判別部による判別結果に応じて、乗員の顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える処理部と、を備える。【選択図】図４
2020052773.tif 000002
【特許請求の範囲】
【請求項１】
車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する取得部と、
前記取得部により取得された前記撮像画像が、少なくとも、前記乗員の顔の特徴部分は含まないが前記乗員の体の少なくとも一部を含む第１の画像と、前記乗員の体を全く含まない第２の画像と、のいずれに該当するかを判別する判別部と、
前記撮像画像に基づいて前記乗員の顔の状態変化をモニタリングし、前記判別部による判別結果に応じて、前記乗員の顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える処理部と、
を備える、乗員モニタリング装置。
【請求項２】
前記判別部は、前記撮像画像が、前記第１の画像と、前記第２の画像と、前記乗員の顔を含む第３の画像と、のいずれに該当するかを判別し、
前記処理部は、
前記撮像画像が前記第１の画像に該当すると前記判別部により判別された場合、前記撮像画像に基づいて前記乗員の顔に関する顔情報を検出することなく、前記乗員パラメータを保持し、
前記撮像画像が前記第２の画像に該当すると前記判別部により判別された場合、前記撮像画像に基づいて前記顔情報を検出することなく、前記乗員パラメータをリセットし、
前記撮像画像が前記第３の画像に該当すると前記判別部により判別された場合、前記撮像画像に基づいて前記顔情報を検出するとともに、前記乗員パラメータを更新する、
請求項１に記載の乗員モニタリング装置。
【請求項３】
前記取得部は、前記撮像画像を継続的に複数回取得し、
前記処理部は、
前記撮像画像が前記第３の画像に該当すると前記判別部により判別された場合、前記顔情報を検出するとともに前記乗員パラメータを更新した後、前記取得部により次に取得される前記撮像画像に基づいて前記顔情報のトラッキングを実行し、
前記撮像画像が前記第１の画像または前記第２の画像に該当すると前記判別部により判別された場合、前記顔情報を検出することなく前記乗員パラメータを保持またはリセットした後、前記顔情報のトラッキングを実行することなく、前記取得部により次に取得される前記撮像画像を対象とした前記判別部による判別結果に応じて、前記顔情報を検出するか否か、および、前記乗員パラメータを保持するかリセットするか更新するか、を切り替える、
請求項２に記載の乗員モニタリング装置。
【請求項４】
前記取得部は、前記撮像画像を継続的に複数回取得し、
前記処理部は、前記撮像画像が前記第２の画像に該当すると前記判別部により判別された後、最初に、前記撮像画像が前記第３の画像に該当すると前記判別部により判別された場合に、前記撮像画像に基づいて前記乗員を識別し、識別結果に応じて、乗員ごとに予め設定されたサービスを実行する、
請求項２または３に記載の乗員モニタリング装置。
【請求項５】
前記乗員パラメータは、前記乗員の顔の三次元の形状を含む構造を表す三次元モデルにおける、前記乗員の眼球の中心の位置を含む、
請求項１〜４のいずれか１項に記載の乗員モニタリング装置。
【請求項６】
前記判別部は、前記撮像画像と同様の情報を含む学習用画像と、当該学習用画像が少なくとも前記第１の画像と前記第２の画像とのいずれに該当するかと、を機械学習により学習することで生成される学習済みモデルに基づいて、前記取得部により取得された前記撮像画像が少なくとも前記第１の画像と前記第２の画像とのいずれに該当するかを判別する、
請求項１〜５のいずれか１項に記載の乗員モニタリング装置。
【請求項７】
車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する取得ステップと、
前記取得ステップにおいて取得された前記撮像画像が、少なくとも、前記乗員の顔は含まないが前記乗員の体の少なくとも一部を含む第１の画像と、前記乗員の体を全く含まない第２の画像と、のいずれに該当するかを判別する判別ステップと、
前記撮像画像に基づいて前記乗員の顔の状態変化をモニタリングし、前記判別ステップにおける判別結果に応じて、前記乗員の顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える処理ステップと、
を備える、乗員モニタリング方法。
【請求項８】
コンピュータに、
車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する取得ステップと、
前記取得ステップにおいて取得された前記撮像画像が、少なくとも、前記乗員の顔は含まないが前記乗員の体の少なくとも一部を含む第１の画像と、前記乗員の体を全く含まない第２の画像と、のいずれに該当するかを判別する判別ステップと、
前記撮像画像に基づいて前記乗員の顔の状態変化をモニタリングし、前記判別ステップにおける判別結果に応じて、前記乗員の顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える処理ステップと、
を実行させる、乗員モニタリングプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、乗員モニタリング装置、乗員モニタリング方法、および乗員モニタリングプログラムに関する。
【背景技術】
【０００２】
従来、車両の乗員の顔を撮像することで得られる撮像画像に基づいて、乗員の顔の状態変化をモニタリングする技術が知られている。このような従来の技術では、撮像画像に写っている乗員の顔の検出結果に応じて適宜調整される乗員パラメータに基づいて、乗員の顔に関する顔情報の検出（および検出された顔情報のトラッキング）を含む乗員モニタリング処理が実行される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−２５２３０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような従来の技術において、たとえば乗員の入れ替わりが発生した場合には、乗員パラメータをリセットし、入れ替わり後の乗員に対応するように乗員パラメータを初期値から再調整することができれば有益である。そこで、乗員パラメータをリセットするタイミングとして、たとえば、撮像画像から乗員の顔の特徴部分（目や鼻、口など）が検出されない状況が発生したタイミングが考えられる。
【０００５】
しかしながら、撮像画像から乗員の顔の特徴部分が検出されない状況は、乗員が入れ替わりの際に車両から不在になる場合に発生するだけでなく、車両から不在にはなっていないものの撮像画像に顔の特徴部分が写らない位置に乗員が存在している場合にも発生しうる。後者の場合では、乗員の入れ替わりは発生していないので、乗員パラメータをリセットすると、たとえば、乗員パラメータの再調整のための無駄な処理が必要となったり、乗員モニタリング処理の精度が低下したりすることがある。
【０００６】
そこで、本開示の課題の一つは、乗員パラメータをリセットするか否かの切り替えを適切に実行することが可能な乗員モニタリング装置、乗員モニタリング方法、および乗員モニタリングプログラムを提供することである。
【課題を解決するための手段】
【０００７】
本開示の一例としての乗員モニタリング装置は、車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する取得部と、取得部により取得された撮像画像が、少なくとも、乗員の顔の特徴部分は含まないが乗員の体の少なくとも一部を含む第１の画像と、乗員の体を全く含まない第２の画像と、のいずれに該当するかを判別する判別部と、撮像画像に基づいて乗員の顔の状態変化をモニタリングし、判別部による判別結果に応じて、乗員の顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える処理部と、を備える。
【０００８】
上述した乗員モニタリング装置によれば、撮像画像が第１の画像と第２の画像とのいずれに該当するか、すなわち乗員の入れ替わりが発生した可能性が高いか否かに応じて、乗員パラメータをリセットするか否かの切り替えを適切に実行することができる。
【０００９】
上述した乗員モニタリング装置において、判別部は、撮像画像が、第１の画像と、第２の画像と、乗員の顔を含む第３の画像と、のいずれに該当するかを判別し、処理部は、撮像画像が第１の画像に該当すると判別部により判別された場合、撮像画像に基づいて乗員の顔に関する顔情報を検出することなく、乗員パラメータを保持し、撮像画像が第２の画像に該当すると判別部により判別された場合、撮像画像に基づいて顔情報を検出することなく、乗員パラメータをリセットし、撮像画像が第３の画像に該当すると判別部により判別された場合、撮像画像に基づいて顔情報を検出するとともに、乗員パラメータを更新する。このような構成によれば、撮像画像が第１の画像と第２の画像と第３の画像とのいずれに該当するかに応じて、顔情報を検出するか否かを適切に切り替えることができるとともに、乗員パラメータを保持するかリセットするか更新するかを適切に切り替えることができる。
【００１０】
この場合において、取得部は、撮像画像を継続的に複数回取得し、処理部は、撮像画像が第３の画像に該当すると判別部により判別された場合、顔情報を検出するとともに乗員パラメータを更新した後、取得部により次に取得される撮像画像に基づいて顔情報のトラッキングを実行し、撮像画像が第１の画像または第２の画像に該当すると判別部により判別された場合、顔情報を検出することなく乗員パラメータを保持またはリセットした後、顔情報のトラッキングを実行することなく、取得部により次に取得される撮像画像を対象とした判別部による判別結果に応じて、顔情報を検出するか否か、および、乗員パラメータを保持するかリセットするか更新するか、を切り替える。このような構成によれば、撮像画像が顔情報のトラッキングを実行可能な第３の画像に該当するか否かに応じて、顔情報のトラッキングを実行するか否かを適切に切り替えることができる。
【００１１】
また、上述したような、撮像画像が第１の画像と第２の画像と第３の画像とのいずれに該当するかを判別する判別部を備えた乗員モニタリング装置において、取得部は、撮像画像を継続的に複数回取得し、処理部は、撮像画像が第２の画像に該当すると判別部により判別された後、最初に、撮像画像が第３の画像に該当すると判別部により判別された場合に、撮像画像に基づいて乗員を識別し、識別結果に応じて、乗員ごとに予め設定されたサービスを実行する。このような構成によれば、乗員の入れ替わりが発生した可能性が高い場合に、入れ替わり後の乗員を識別することで、乗員ごとに適切なサービスを実行することができる。
【００１２】
上述した乗員モニタリング装置において、乗員パラメータは、乗員の顔の三次元の形状を含む構造を表す三次元モデルにおける、乗員の眼球の中心の位置を含む。このような構成によれば、三次元モデルにおける乗員の眼球の中心の位置を乗員パラメータとしてリセットするか否かを適切に切り替えることができる。
【００１３】
また、上述した乗員モニタリング装置において、判別部は、撮像画像と同様の情報を含む学習用画像と、当該学習用画像が少なくとも第１の画像と第２の画像とのいずれに該当するかと、を機械学習により学習することで生成される学習済みモデルに基づいて、取得部により取得された撮像画像が少なくとも第１の画像と第２の画像とのいずれに該当するかを判別する。このように構成すれば、学習済みモデルに基づいて、撮像画像の判別を容易に実行することができる。
【００１４】
本開示の他の一例としての乗員モニタリング方法は、車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する取得ステップと、取得ステップにおいて取得された撮像画像が、少なくとも、乗員の顔は含まないが乗員の体の少なくとも一部を含む第１の画像と、乗員の体を全く含まない第２の画像と、のいずれに該当するかを判別する判別ステップと、撮像画像に基づいて乗員の顔の状態変化をモニタリングし、判別ステップにおける判別結果に応じて、乗員の顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える処理ステップと、を備える。
【００１５】
上述した乗員モニタリング方法によれば、撮像画像が第１の画像と第２の画像とのいずれに該当するか、すなわち乗員の入れ替わりが発生した可能性が高いか否かに応じて、乗員パラメータをリセットするか否かの切り替えを適切に実行することができる。
【００１６】
本開示のさらに他の一例としての乗員モニタリングプログラムは、コンピュータに、車両内において乗員の顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する取得ステップと、取得ステップにおいて取得された撮像画像が、少なくとも、乗員の顔は含まないが乗員の体の少なくとも一部を含む第１の画像と、乗員の体を全く含まない第２の画像と、のいずれに該当するかを判別する判別ステップと、撮像画像に基づいて乗員の顔の状態変化をモニタリングし、判別ステップにおける判別結果に応じて、乗員の顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える処理ステップと、を実行させる。
【００１７】
上述した乗員モニタリングプログラムによれば、撮像画像が第１の画像と第２の画像とのいずれに該当するか、すなわち乗員の入れ替わりが発生した可能性が高いか否かに応じて、乗員パラメータをリセットするか否かの切り替えを適切に実行することができる。
【図面の簡単な説明】
【００１８】
【図１】図１は、実施形態にかかる車両の構成の一例を示した例示的かつ模式的な図である。
【図２】図２は、実施形態にかかる撮像装置の配置の一例を示した例示的かつ模式的な図である。
【図３】図３は、実施形態にかかる乗員モニタリングシステムのシステム構成を示した例示的かつ模式的なブロック図である。
【図４】図４は、実施形態にかかる乗員モニタリング装置の機能を示した例示的かつ模式的なブロック図である。
【図５】図５は、実施形態にかかる第１の画像の一例を示した例示的かつ模式的な図である。
【図６】図６は、実施形態にかかる第２の画像の一例を示した例示的かつ模式的な図である。
【図７】図７は、実施形態にかかる第３の画像の一例を示した例示的かつ模式的な図である。
【図８】図８は、実施形態にかかる乗員モニタリング装置が実行する初期検出処理を示した例示的かつ模式的なフローチャートである。
【図９】図９は、実施形態にかかる乗員モニタリング装置が実行する個人認識処理を示した例示的かつ模式的なフローチャートである。
【図１０】図１０は、実施形態にかかる乗員モニタリング装置が実行するトラッキング処理を示した例示的かつ模式的なフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本開示の実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例であって、以下の記載内容に限られるものではない。
【００２０】
まず、図１および図２を参照して、実施形態による車両１の概略的な構成について説明する。図１は、実施形態にかかる車両１の構成の一例を示した例示的かつ模式的な図であり、図２は、実施形態にかかる撮像装置２０１の配置の一例を示した例示的かつ模式的な図である。
【００２１】
図１に示されるように、実施形態にかかる車両１は、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有した四輪の自動車である。以下では、簡単化のため、前輪３Ｆおよび後輪３Ｒを総称して車輪３と記載することがある。実施形態では、４つの車輪３の一部または全部の横滑り角が、操舵部３０３ａの操舵などに応じて変化（転舵）する。
【００２２】
また、図１に示されるように、実施形態にかかる車両１は、乗員（図１には不図示）が乗車する車室２ａを有している。車室２ａ内には、乗員としての運転者Ｘ（図１には不図示）が運転席２ｂから操作可能な状態で、操舵部３０３ａが設けられている。操舵部３０３ａは、たとえば、ダッシュボード（インストルメントパネル）１２から突出するように設けられたステアリングホイールやハンドルなどとしてとして構成される。なお、実施形態において、車室２ａ内に運転席２ｂ以外の座席が存在していてもよいことは、言うまでもない。
【００２３】
また、車室２ａ内には、各種の画像を出力可能な表示部８と、各種の音を出力可能な音声出力部９と、を有したモニタ装置１１が設けられている。モニタ装置１１は、たとえば、車室２ａ内のダッシュボードの車幅方向（左右方向）の中央部に設けられている。図１に示される例において、表示部８は、指やスタイラスなどの指示体が近接（接触を含む）した位置の座標を検出可能な操作入力部１０によって覆われている。これにより、乗員は、表示部８に表示される画像を視認することができるとともに、操作入力部１０上で指示体を用いた入力操作（たとえばタッチ操作）を行うことで、各種の操作を入力することができる。
【００２４】
また、図２に示されるように、操舵部３０３ａを支持する支持部２０２には、撮像装置２０１が設けられている。撮像装置２０１は、たとえばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラとして構成される。
【００２５】
ここで、実施形態において、撮像装置２０１は、運転席２ｂに着座した運転者Ｘの顔が存在する可能性のある領域を撮像するように構成されている。より具体的に、撮像装置２０１は、運転席２ｂに着座した運転者Ｘの顔が視野の中心に位置するように、視野角および姿勢が調整されている。
【００２６】
撮像装置２０１は、車両１の運転が行われている間、運転者Ｘの顔の撮像を所定の時間間隔で周期的に実行し、撮像により得た撮像画像（に対応した画像データ）を順次、後述する乗員モニタリング装置３１０（図３および図４参照）に出力する。詳細は後述するが、乗員モニタリング装置３１０は、撮像装置２０１の撮像によって得られる撮像画像に基づいて、運転者Ｘの顔に関する顔情報の検出（および検出された顔情報のトラッキング）を含む乗員モニタリング処理を実行することで、運転者Ｘの顔の状態変化をモニタリングする。
【００２７】
なお、図２には図示されていないが、実施形態では、撮像装置２０１が撮像する領域に光を照射する照明部が設けられてもよい。この場合、赤外線を照射する赤外線照明を使用すれば、運転者Ｘにまぶしさを感じさせることなく、撮像装置２０１による撮像を補助することができる。
【００２８】
また、以下では、撮像装置２０１によって得られる、運転席２ｂに着座した運転者Ｘの顔が存在する可能性のある領域の情報を含む撮像画像に基づいて実行される乗員モニタリング処理について説明するが、乗員モニタリング処理は、運転者Ｘ以外の乗員に対しても実行可能である。すなわち、乗員モニタリング処理は、撮像装置２０１とは異なる位置に設けられる、運転席２ｂ以外の他の座席に着座した乗員の顔が存在する可能性のある領域を撮像する撮像部によって得られる撮像画像に基づいても、同様に実行可能である。
【００２９】
次に、図３を参照して、乗員モニタリング処理を実行する乗員モニタリング装置３１０を含む乗員モニタリングシステム３００のシステム構成について説明する。なお、図３に示されるシステム構成は、あくまで一例であるので、様々に設定（変更）可能である。
【００３０】
図３は、実施形態にかかる乗員モニタリングシステム３００のシステム構成を示した例示的かつ模式的なブロック図である。図３に示されるように、乗員モニタリングシステム３００は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、撮像装置２０１と、モニタ装置１１と、乗員モニタリング装置３１０と、車載ネットワーク３５０と、を有している。
【００３１】
制動システム３０１は、車両１の減速を制御する。制動システム３０１は、制動部３０１ａと、制動制御部３０１ｂと、制動部センサ３０１ｃと、を有している。
【００３２】
制動部３０１ａは、たとえばブレーキペダルなどといった、車両１を減速させるための装置である。
【００３３】
制動制御部３０１ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータにより構成されるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）である。制動制御部３０１ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、制動部３０１ａを作動させることで、車両１の減速度合を制御する。
【００３４】
制動部センサ３０１ｃは、制動部３０１ａの状態を検出するための装置である。たとえば、制動部３０１ａがブレーキペダルとして構成される場合、制動部センサ３０１ｃは、制動部３０１ａの状態として、ブレーキペダルの位置または当該ブレーキペダルに作用している圧力を検出する。制動部センサ３０１ｃは、検出した制動部３０１ａの状態を車載ネットワーク３５０に出力する。
【００３５】
加速システム３０２は、車両１の加速を制御する。加速システム３０２は、加速部３０２ａと、加速制御部３０２ｂと、加速部センサ３０２ｃと、を有している。
【００３６】
加速部３０２ａは、たとえばアクセルペダルなどといった、車両１を加速させるための装置である。
【００３７】
加速制御部３０２ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータにより構成されるＥＣＵである。加速制御部３０２ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、加速部３０２ａを作動させることで、車両１の加速度合を制御する。
【００３８】
加速部センサ３０２ｃは、加速部３０２ａの状態を検出するための装置である。たとえば、加速部３０２ａがアクセルペダルとして構成される場合、加速部センサ３０２ｃは、アクセルペダルの位置または当該アクセルペダルに作用している圧力を検出する。加速部センサ３０２ｃは、検出した加速部３０２ａの状態を車載ネットワーク３５０に出力する。
【００３９】
操舵システム３０３は、車両１の進行方向を制御する。操舵システム３０３は、操舵部３０３ａと、操舵制御部３０３ｂと、操舵部センサ３０３ｃと、を有している。
【００４０】
操舵部３０３ａは、たとえばステアリングホイールやハンドルなどといった、車両１の転舵輪を転舵させる装置である。
【００４１】
操舵制御部３０３ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータにより構成されるＥＣＵである。操舵制御部３０３ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、操舵部３０３ａを作動させることで、車両１の進行方向を制御する。
【００４２】
操舵部センサ３０３ｃは、操舵部３０３ａの状態を検出するための装置である。たとえば、操舵部３０３ａがステアリングホイールとして構成される場合、操舵部センサ３０３ｃは、ステアリングホイールの位置または当該ステアリングホイールの回転角度を検出する。なお、操舵部３０３ａがハンドルとして構成される場合、操舵部センサ３０３ｃは、ハンドルの位置または当該ハンドルに作用している圧力を検出してもよい。操舵部センサ３０３ｃは、検出した操舵部３０３ａの状態を車載ネットワーク３５０に出力する。
【００４３】
変速システム３０４は、車両１の変速比を制御する。変速システム３０４は、変速部３０４ａと、変速制御部３０４ｂと、変速部センサ３０４ｃと、を有している。
【００４４】
変速部３０４ａは、たとえば、シフトレバーなどといった、車両１の変速比を変更するための装置である。
【００４５】
変速制御部３０４ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータにより構成されるＥＣＵである。変速制御部３０４ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、変速部３０４ａを作動させることで、車両１の変速比を制御する。
【００４６】
変速部センサ３０４ｃは、変速部３０４ａの状態を検出するための装置である。たとえば、変速部３０４ａがシフトレバーとして構成される場合、変速部センサ３０４ｃは、シフトレバーの位置または当該シフトレバーに作用している圧力を検出する。変速部センサ３０４ｃは、検出した変速部３０４ａの状態を車載ネットワーク３５０に出力する。
【００４７】
障害物センサ３０５は、車両１の周囲に存在しうる障害物に関する情報を検出するための装置である。障害物センサ３０５は、たとえば、障害物までの距離を検出するソナーなどといった測距センサを含んでいる。障害物センサ３０５は、検出した情報を車載ネットワーク３５０に出力する。
【００４８】
走行状態センサ３０６は、車両１の走行状態を検出するための装置である。走行状態センサ３０６は、たとえば、車両１の車輪速を検出する車輪速センサや、車両１の前後方向または左右方向の加速度を検出する加速度センサや、車両１の旋回速度（角速度）を検出するジャイロセンサなどを含んでいる。走行状態センサ３０６は、検出した走行状態を車載ネットワーク３５０に出力する。
【００４９】
乗員モニタリング装置３１０は、乗員モニタリングシステム３００を統括的に制御するための装置である。乗員モニタリング装置３１０は、撮像装置２０１によって得られる撮像画像に基づいて、運転者Ｘの顔に関する顔情報の検出（および検出された顔情報のトラッキング）を含む乗員モニタリング処理を実行することで、運転者Ｘの顔の状態変化をモニタリングする。なお、顔情報とは、運転者Ｘの目に関する目情報や、運転者Ｘの口に関する口情報、運転者Ｘの表情に関する表情情報などを含むデータである。目情報とは、目（瞼）の開閉状態や視線の向きなどを示すデータであり、口情報とは、口の開閉状態（会話の状態）などを示すデータである。
【００５０】
乗員モニタリング装置３１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３１０ａと、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３１０ｂと、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３１０ｃと、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）３１０ｄと、表示制御部３１０ｅと、音声制御部３１０ｆと、を有したＥＣＵとして構成されている。
【００５１】
ＣＰＵ３１０ａは、乗員モニタリング装置３１０を統括的に制御するハードウェアプロセッサである。ＣＰＵ３１０ａは、ＲＯＭ３１０ｂなどに記憶された各種の制御プログラム（コンピュータプログラム）を読み出し、当該各種の制御プログラムに規定されたインストラクションにしたがって各種の機能を実現する。各種の制御プログラムには、乗員モニタリング処理を実現するための乗員モニタリングプログラムが含まれる。
【００５２】
ＲＯＭ３１０ｂは、上述した各種の制御プログラムの実行に必要なパラメータなどを記憶する不揮発性の主記憶装置である。
【００５３】
ＲＡＭ３１０ｃは、ＣＰＵ３１０ａの作業領域を提供する揮発性の主記憶装置である。
【００５４】
ＳＳＤ３１０ｄは、書き換え可能な不揮発性の補助記憶装置である。なお、実施形態にかかる乗員モニタリング装置３１０においては、補助記憶装置として、ＳＳＤ３１０ｄに替えて（またはＳＳＤ３１０ｄに加えて）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）が設けられてもよい。
【００５５】
表示制御部３１０ｅは、乗員モニタリング装置３１０で実行されうる各種の処理のうち、主として、撮像装置２０１から得られた撮像画像に対する画像処理や、モニタ装置１１の表示部８に出力する画像データの生成などを司る。
【００５６】
音声制御部３１０ｆは、乗員モニタリング装置３１０で実行されうる各種の処理のうち、主として、モニタ装置１１の音声出力部９に出力する音声データの生成などを司る。
【００５７】
車載ネットワーク３５０は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、モニタ装置１１の操作入力部１０と、乗員モニタリング装置３１０と、を通信可能に接続する。
【００５８】
ところで、従来、乗員モニタリング処理は、撮像画像に写っている乗員の顔の検出結果に応じて適宜調整される乗員パラメータに基づいて実行される。乗員パラメータの例としては、たとえば、乗員の顔の三次元の形状を含む構造を表す三次元モデルにおける乗員の眼球の中心の位置（所定の座標系における座標）や、当該三次元モデルを特定するための複数の点の位置（所定の座標系における座標）などが挙げられる。
【００５９】
上記のような従来の技術において、たとえば乗員の入れ替わりが発生した場合には、乗員パラメータをリセットし、入れ替わり後の乗員に対応するように乗員パラメータを初期値から再調整することができれば有益である。そこで、乗員パラメータをリセットするタイミングとして、たとえば、撮像画像から乗員の顔の特徴部分（目や鼻、口など）が検出されない状況が発生したタイミングが考えられる。
【００６０】
しかしながら、撮像画像から乗員の顔の特徴部分が検出されない状況は、入れ替わりの際に車両１から乗員が不在になる場合に発生するだけでなく、車両１から不在にはなっていないものの撮像画像に顔の特徴部分が写らない位置に乗員が存在している場合にも発生しうる。後者の場合では、乗員の入れ替わりは発生していないので、乗員パラメータをリセットすると、たとえば、乗員パラメータの再調整のための無駄な処理が必要となったり、乗員モニタリング処理の精度が低下したりすることがある。
【００６１】
そこで、実施形態は、乗員モニタリング装置３１０に次の図４に示されるような機能を持たせることで、乗員パラメータをリセットするか否かの切り替えを適切に実行することを実現する。
【００６２】
図４は、実施形態にかかる乗員モニタリング装置３１０の機能を示した例示的かつ模式的なブロック図である。図４に示される機能は、ソフトウェアとハードウェアとの協働によって実現される。すなわち、図４に示される例において、乗員モニタリング装置３１０の機能は、ＣＰＵ３１０ａがＲＯＭ３１０ｂなどに記憶された所定の制御プログラムを読み出して実行した結果として実現される。なお、実施形態では、図４に示される機能の少なくとも一部が専用のハードウェア（回路）によって実現されてもよい。
【００６３】
図４に示されるように、実施形態にかかる乗員モニタリング装置３１０は、取得部４０１と、判別部４０２と、処理部４０４と、を有している。
【００６４】
取得部４０１は、撮像装置２０１によって得られる撮像画像を、所定の制御タイミングで継続的に複数回取得する。前述したように、撮像画像は、車両１内において運転者Ｘの顔が存在する可能性のある領域の情報を含んでいる。
【００６５】
判別部４０２は、取得部４０１により取得された撮像画像が、顔の特徴部分（目や鼻、口など）は含まないが体の少なくとも一部を含む第１の画像と、顔の特徴部分はおろか体を全く含まない第２の画像と、顔の特徴部分を含む第３の画像と、のいずれに該当するかを判別する。
【００６６】
より具体的に、判別部４０２は、機械学習の結果として生成される学習済みモデル４０３を有しており、当該学習済みモデル４０３に基づいて、撮像画像が、第１の画像、第２の画像、および第３の画像のいずれに該当するか否かを判別する。学習済みモデル４０３は、たとえば、第１の画像、第２の画像、または第３の画像のいずれに該当するかのラベルを複数の学習用画像のそれぞれに対して付与し、これらの学習用画像とラベルとの組み合わせを教師データとした教師あり学習によって生成することが可能である。なお、学習用画像は、たとえば撮像画像と同条件下で撮像された画像であり、撮像画像と同様の情報を含んでいるものとする。実施形態において、学習済みモデル４０３を生成するための機械学習は、教師あり学習に限らず、教師なし学習や強化学習、これら３つの学習スキームのうち１つ以上の組み合わせなどであってもよい。
【００６７】
ここで、第１の画像、第２の画像、および第３の画像の具体例について簡単に説明する。
【００６８】
図５は、実施形態にかかる第１の画像の一例を示した例示的かつ模式的な図である。この図５に示される画像５００は、運転者Ｘの顔の特徴部分は含まないが体の少なくとも一部を含んでいるので、第１の画像の一例である。より具体的に、画像５００は、運転席２ｂに運転者Ｘが座っており、運転者Ｘの手Ｈを含む体の一部は写っているものの顔の特徴部分は手Ｈによって隠されているので写っていない状況を表している。
【００６９】
図５に示される画像５００のような第１の画像からは、運転者Ｘの顔に関する顔情報を検出できないので顔情報の検出（および検出した顔情報のトラッキング）を含む乗員モニタリング処理に利用することは不可能であるが、運転者Ｘが車内に存在していること自体を検出することは可能である。以下では、第１の画像を便宜的に隠れ画像と表現することがある。
【００７０】
また、図６は、実施形態にかかる第２の画像の一例を示した例示的かつ模式的な図である。この図６に示される画像６００は、運転者Ｘの顔はおろか体の一部も全く含まないので、第２の画像の一例である。より具体的に、画像６００は、運転者Ｘが全く写っておらず運転席２ｂのみが写っている状況を表している。
【００７１】
図６に示される画像６００のような第２の画像からは、運転者Ｘの顔情報を全く検出できないので顔情報の検出（および検出した顔情報のトラッキング）を含む乗員モニタリング処理に利用することは不可能である。さらに言えば、第２の画像からは、運転者Ｘの顔情報はおろか、運転者Ｘが車内に存在していることも当然に検出されないので、第２の画像は、入れ替わりなどのために車内から運転者Ｘが不在になった状況を表しているといえる。以下では、第２の画像を便宜的に不在画像と表現することがある。
【００７２】
また、図７は、実施形態にかかる第３の画像の一例を示した例示的かつ模式的な図である。この図７に示される画像７００は、運転者Ｘの顔の特徴部分を含んでいるので、第３の画像の一例である。より具体的に、画像７００は、運転者Ｘの顔の全体があらわになった状況を表している。
【００７３】
図７に示される画像７００のような第３の画像からは、運転者Ｘの顔情報を検出することができる。したがって、第３の画像は、顔情報の検出（および検出した顔情報のトラッキング）を含む乗員モニタリング処理に利用することができる。以下では、第３の画像を便宜的に検出可能画像と表現することがある。
【００７４】
ここで、取得部４０１により取得される撮像画像が不在画像に該当する場合、運転者Ｘの入れ替わりが発生した可能性が高いと判断できるので、乗員パラメータをリセットするのが適切である。
【００７５】
一方、取得部４０１により取得される撮像画像が不在画像に該当する場合、顔情報を検出すること自体は不可能であるが、運転者Ｘの入れ替わりは発生しておらず、その後も引き続き同一人物の顔情報を検出することになると判断できるので、乗員パラメータはリセットせずにそのまま保持するのが適切である。
【００７６】
また、取得部４０１により取得される撮像画像が検出可能画像に該当する場合、当該検出可能画像から最新の顔情報を検出することが可能であるので、当該最新の顔情報に基づいて、乗員パラメータを更新するのが適切である。
【００７７】
このように、取得部４０１により取得される撮像画像が、不在画像、隠れ画像、および検出可能画像のいずれに該当するかに応じて、乗員パラメータの適切な取り扱い方が異なっている。
【００７８】
そこで、図４に戻り、処理部４０４は、判別部による判別結果に応じて、運転者Ｘの顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える。以下、処理部４０４の機能についてより詳細に説明する。
【００７９】
処理部４０４は、乗員モニタリング処理の初期段階として撮像画像から最初に顔情報を検出する初期検出モードと、初期検出処理において検出された顔情報のトラッキングを実行するトラッキングモードと、の２つの制御モードにそれぞれ対応した機能モジュールを有している。
【００８０】
すなわち、処理部４０４は、初期検出モードに対応した処理としての初期検出処理を実行する初期検出処理部４０５と、トラッキングモードに対応した処理としてのトラッキング処理を実行するトラッキング処理部４０６と、を有している。
【００８１】
処理部４０４の制御モードは、たとえば取得部４０１により撮像画像が取得された場合に、初期検出モードに設定される。
【００８２】
前述したように、撮像画像が検出可能画像に該当する場合、運転者Ｘの顔情報を検出することが可能である。したがって、実施形態において、処理部４０４の初期検出処理部４０５は、撮像画像が検出可能画像に該当する場合、撮像画像と現在の乗員パラメータとに基づいて、顔情報を検出するとともに乗員パラメータを更新する。
【００８３】
より具体的に、実施形態において、処理部４０４の初期検出処理部４０５は、撮像画像が検出可能画像に該当する場合、顔の三次元の形状を含む構造を表すデータとして取得される三次元モデルを表す乗員パラメータを、検出可能画像の特徴点にマッチするように適宜調整することで、顔情報を検出するとともに乗員パラメータを更新する。
【００８４】
初期検出処理部４０５により顔情報が正常に検出されると、処理部４０４の制御モードがトラッキングモードに設定される。
【００８５】
そして、処理部４０４のトラッキング処理部４０６は、次に取得される撮像画像と、更新された乗員パラメータと、に基づいて、初期検出処理において検出された顔情報のトラッキングを実行する。
【００８６】
一方、前述したように、撮像画像が隠れ画像または不在画像に該当する場合、運転者Ｘの顔情報を検出することは不可能である。したがって、実施形態において、処理部４０４の初期検出処理部４０５は、撮像画像が隠れ画像または不在画像に該当する場合、顔情報の検出を実行しないとともに、乗員パラメータを更新しない。
【００８７】
より具体的に、実施形態において、処理部４０４の初期検出処理部４０５は、撮像画像が隠れ画像に該当する場合、顔情報を検出することなく、乗員パラメータを保持し、撮像画像が不在画像に該当する場合、顔情報を検出することなく、乗員パラメータをリセットする。
【００８８】
このように、撮像画像が隠れ画像または不在画像に該当する場合、初期検出処理においてトラッキングの対象となる顔情報が検出されない。したがって、この場合、処理部４０４は、初期検出処理部４０５による初期検出処理の実行後、トラッキング処理部４０６による顔情報のトラッキングを実行することなく、初期検出処理部４０５による初期検出処理を再度実行する。すなわち、この場合、処理部４０４は、次に取得される撮像画像を対象とした判別部４０２による判別結果に応じて、顔情報を検出するか否かを切り替えるとともに、乗員パラメータを保持するかリセットするか更新するかを切り替える。
【００８９】
ところで、前述したように、撮像画像は、取得部４０１により継続的に複数回取得される。このような構成においては、撮像画像が不在画像から検出可能画像に変化したタイミングは、運転者Ｘの入れ替わりが発生し、かつ、新たな運転者Ｘを撮像画像に基づいて明確に識別可能になったと判断することができる最初のタイミングに相当する。このタイミングで個人認識処理を実行すれば、オーディオや空調などの設定や、運転席２ｂの位置の調整などといった、運転者Ｘごとに予め設定（カスタマイズ）されたサービスを、識別された新たな運転者Ｘに対して適切に提供することが可能になる。
【００９０】
そこで、実施形態において、処理部４０４は、上記のような個人認識処理を実行する個人認識処理部４０７を有している。個人認識処理部４０７は、撮像画像が不在画像に該当すると判別部４０２により判別された後、最初に、撮像画像が検出可能画像に該当すると判別部４０２により判別された場合に、撮像画像に基づいて運転者Ｘを識別し、識別結果に応じて予め設定されたサービスを実行する処理を、個人認識処理として実行する。運転者Ｘの識別は、たとえば画像認識処理などによって撮像画像から取得される個人の識別情報に基づいて実行される。
【００９１】
以下、実施形態にかかる初期検出処理、個人認識処理およびトラッキング処理のより詳細な内容について、フローチャートとともに説明する。
【００９２】
まず、初期検出処理の詳細について説明する。
【００９３】
図８は、実施形態にかかる乗員モニタリング装置３１０が実行する初期検出処理を示した例示的かつ模式的なフローチャートである。初期検出処理は、たとえば、処理部４０４の制御モードが初期検出モードに設定され、かつ、取得部４０１により撮像画像が取得された場合に実行される。
【００９４】
図８に示されるように、初期検出処理においては、まず、Ｓ８０１において、初期検出処理部４０５は、撮像画像における顔の位置を検出する。
【００９５】
そして、Ｓ８０２において、初期検出処理部４０５は、撮像画像における顔の向きを検出する。
【００９６】
そして、Ｓ８０３において、判別部４０２は、撮像画像の判別を実行する。
【００９７】
そして、Ｓ８０４において、初期検出処理部４０５は、Ｓ８０２の判別結果に基づいて、撮像画像が、図７に示される画像７００のような検出可能画像に該当するか否かを判断する。
【００９８】
Ｓ８０４において、撮像画像が検出可能画像に該当すると判断された場合、Ｓ８０５に処理が進む。そして、Ｓ８０５において、個人認識処理部４０７は、次の図９に示されるような個人認識処理を実行する。
【００９９】
図９は、実施形態にかかる乗員モニタリング装置３１０が実行する個人認識処理を示した例示的かつ模式的なフローチャートである。前述したように、個人認識処理とは、運転者Ｘの入れ替わりに応じて運転者Ｘごとに予め設定されたサービスを実行する処理である。
【０１００】
図９に示されるように、個人認識処理においては、まず、Ｓ９０１において、個人認識処理部４０７は、判別部４０２による判別処理（図８に示されるＳ８０３参照）の前回の実行時に、撮像画像が不在画像に該当すると判定されていたか否かを判断する。
【０１０１】
Ｓ９０１において、撮像画像が不在画像に該当すると前回は判定されていないと判断された場合、運転者Ｘの入れ替わりは発生していないと判断することができる。したがって、この場合、運転者Ｘの識別が実行されることなく処理が終了し、図８に示されるＳ８０５の処理が終了する。
【０１０２】
一方、Ｓ９０１において、撮像画像が不在画像に該当すると前回判定されていたと判断された場合、現在のタイミングが、運転者Ｘの入れ替わりが発生し、かつ、新たな運転者Ｘを撮像画像に基づいて明確に識別可能になった最初のタイミングであると判断することができる。したがって、この場合、Ｓ９０２に処理が進み、当該Ｓ９０２において、個人認識処理部４０７は、新たな運転者Ｘを特定するために、撮像画像に対して画像認識処理などを実行し、撮像画像から、個人を識別するための識別情報を取得する。
【０１０３】
そして、Ｓ９０３において、個人認識処理部４０７は、Ｓ９０２で取得された識別情報に応じて、入れ替わり後の運転者Ｘに対して予め設定されたサービスを決定する。なお、乗員モニタリング装置３１０には、たとえば、複数の運転者Ｘの識別情報と、当該複数の運転者Ｘごとに予め設定（カスタマイズ）されたサービスに関する情報と、が対応付けられた状態で記憶されているものとする。
【０１０４】
そして、Ｓ９０４において、個人認識処理部４０７は、Ｓ９０３で決定したサービスを実行する。これにより、オーディオや空調などの設定や、運転席２ｂの位置の調整などといったサービスを、入れ替わり後の運転者Ｘに応じた適切な内容で提供することが可能となる。
【０１０５】
Ｓ９０４の処理が終了すると、図８に示されるＳ８０５の処理が終了する。
【０１０６】
そして、図８に戻り、Ｓ８０６において、初期検出処理部４０５は、現在保持している乗員パラメータを調整しながら、撮像画像と、顔の三次元の形状を含む構造を表すデータとして取得される三次元モデルと、のフィッティングを実行し、撮像画像に含まれる顔の位置および向きを、より詳細に検出する。初期検出処理におけるフィッティングは、たとえば、顔の三次元の形状を含む構造を表す統計的なデータとして予め設定された初期モデルに基づいて実行される。
【０１０７】
そして、Ｓ８０７において、初期検出処理部４０５は、Ｓ８０６におけるフィッティングの結果に基づいて、運転者Ｘの顔に関する顔情報を検出する。前述したように、顔情報とは、目に関する目情報（瞼の開閉状態や視線の向きなど）や、口に関する口情報（会話の状態など）、表情に関する表情情報などを含むデータである。
【０１０８】
そして、Ｓ８０８において、初期検出処理部４０５は、顔情報が正常に検出されたか否かを判断する。たとえば、初期検出処理部４０５は、顔情報の検出のために直近に実行された一連の処理としてのＳ８０５〜Ｓ８０７の処理のそれぞれについて、その信頼度を示す値（スコア）を算出し、当該スコアに基づいて、Ｓ８０８の判断を実行する。
【０１０９】
Ｓ８０８において、顔情報が正常に検出されたと判断された場合、Ｓ８０９に処理が進む。そして、Ｓ８０９において、初期検出処理部４０５は、Ｓ８０６におけるフィッティングの結果を反映するように、乗員パラメータを更新する。
【０１１０】
そして、Ｓ８１０において、初期検出処理部４０５は、処理部４０４の次の制御モードをトラッキングモードに設定する。そして、処理が終了する。
【０１１１】
一方、Ｓ８０８において、顔情報が正常に検出されなかったと判断された場合、Ｓ８１１に処理が進む。そして、Ｓ８１１において、初期検出処理部４０５は、乗員パラメータを更新することなくそのまま保持する。
【０１１２】
そして、Ｓ８１２において、初期検出処理部４０５は、処理部４０４の次の制御モードを初期検出モードに設定する。そして、処理が終了する。
【０１１３】
なお、Ｓ８０４において、撮像画像が検出可能画像に該当しないと判断された場合、Ｓ８１３に処理が進む。そして、Ｓ８１３において、初期検出処理部４０５は、Ｓ８０３の判別結果に基づいて、撮像画像が、図５に示される画像５００のような隠れ画像に該当するか否かを判断する。
【０１１４】
Ｓ８１３において、撮像画像が隠れ画像に該当すると判断された場合、顔情報の検出および乗員パラメータの更新は実行されない。したがって、この場合、Ｓ８１１に処理が進む。なお、Ｓ８１１以降の処理については、既に説明したため、ここでは説明を省略する。
【０１１５】
一方、Ｓ８１３において、撮像画像が隠れ画像に該当しないと判断された場合、Ｓ８１４に処理が進む。そして、Ｓ８１４において、初期検出処理部４０５は、Ｓ８０３の判別結果に基づいて、撮像画像が、図６に示される画像６００のような不在画像に該当するか否かを判断する。
【０１１６】
Ｓ８１３において、撮像画像が隠れ画像に該当すると判断された場合、顔情報の検出が実行されることなく、乗員パラメータのリセットが実行される。したがって、この場合、Ｓ８１５に処理が進み、当該Ｓ８１５において、初期検出処理部４０５は、乗員パラメータを初期値にリセットする。
【０１１７】
Ｓ８１５の処理が終了すると、Ｓ８１２に処理が進み、また、Ｓ８１４において、撮像画像が隠れ画像に該当しないと判断された場合にも、Ｓ８１２に処理が進むが、Ｓ８１２以降の処理については、既に説明したため、ここでは説明を省略する。
【０１１８】
次に、トラッキング処理の詳細について説明する。
【０１１９】
図１０は、実施形態にかかる乗員モニタリング装置３１０が実行するトラッキング処理を示した例示的かつ模式的なフローチャートである。トラッキング処理は、たとえば、処理部４０４の制御モードがトラッキングモードに設定され、かつ、取得部４０１により撮像画像が取得された場合に実行される。
【０１２０】
図１０に示されるように、トラッキング処理においては、まず、Ｓ１００１において、トラッキング処理部４０６は、撮像画像における顔の位置のトラッキングを実行する。なお、トラッキングは、初期検出処理における各種の検出結果を利用して、探索範囲を限定したり、マッチングのためのテンプレートを流用したり、連続するフレーム間の差分に基づいて変化した部分を特定したりすることができる。したがって、一般に、トラッキングは、初期検出処理における各種の検出に比べて、処理速度が速い。
【０１２１】
そして、Ｓ１００２において、トラッキング処理部４０６は、撮像画像における顔の向きのトラッキングを実行する。
【０１２２】
そして、Ｓ１００３において、トラッキング処理部４０６は、現在保持している乗員パラメータを調整しながら、撮像画像と三次元モデルとのフィッティングを実行する。なお、トラッキング処理におけるフィッティングは、たとえば、前回の初期検出処理またはトラッキング処理において調整された後の最新の三次元モデルに基づいて実行される。
【０１２３】
そして、Ｓ１００４において、トラッキング処理部４０６は、Ｓ１００３におけるフィッティングの結果に基づいて、初期検出処理において検出された顔情報のトラッキングを実行する。
【０１２４】
そして、Ｓ１００５において、トラッキング処理部４０６は、顔情報のトラッキングが正常に実行されたか否かを判断する。たとえば、トラッキング処理部４０６は、顔情報のトラッキングのために直近に実行された一連の処理のそれぞれについて、その信頼度を示す値（スコア）を算出し、当該スコアに基づいて、Ｓ１００５の判断を実行する。
【０１２５】
Ｓ１００５において、顔情報のトラッキングが正常に実行されたと判断された場合、Ｓ１００６に処理が進む。そして、Ｓ１００６において、トラッキング処理部４０６は、Ｓ１００３におけるフィッティングの結果を反映するように、乗員パラメータを更新する。
【０１２６】
そして、Ｓ１００７において、トラッキング処理部４０６は、処理部４０４の次の制御モードをトラッキングモードに設定する。そして、処理が終了する。
【０１２７】
一方、Ｓ１００５において、顔情報のトラッキングが正常に実行されなかったと判断された場合、Ｓ１００８に処理が進む。そして、Ｓ１００８において、トラッキング処理部４０６は、乗員パラメータを更新することなくそのまま保持する。
【０１２８】
そして、Ｓ１００９において、トラッキング処理部４０６は、処理部４０４の次の制御モードを初期検出モードに設定する。そして、処理が終了する。
【０１２９】
以上説明したように、実施形態にかかる乗員モニタリング装置３１０は、取得部４０１と、判別部４０２と、処理部４０４と、を有している。取得部４０１は、車両１内において乗員としての運転者Ｘの顔が存在する可能性のある領域を撮像することで得られる撮像画像を取得する。判別部４０２は、取得部４０１により取得された撮像画像が、少なくとも、図５に示される画像５００のような隠れ画像、すなわち運転者Ｘの顔の特徴部分は含まないが運転者Ｘの体の少なくとも一部を含む第１の画像と、図６に示される画像６００のような不在画像、すなわち運転者Ｘの体を全く含まない第２の画像と、のいずれに該当するかを判別する。処理部４０４は、撮像画像に基づいて乗員の顔の状態変化をモニタリングし、判別部４０２による判別結果に応じて、運転者Ｘの顔の状態変化をモニタリングするために設定される乗員パラメータをリセットするか否かを切り替える。
【０１３０】
実施形態にかかる乗員モニタリング装置３１０によれば、撮像画像が隠れ画像と不在画像とのいずれに該当するか、すなわち運転者Ｘの入れ替わりが発生した可能性が高いか否かに応じて、乗員パラメータをリセットするか否かの切り替えを適切に実行することができる。
【０１３１】
実施形態にかかる乗員モニタリング装置３１０において、判別部４０２は、撮像画像が、隠れ画像と、不在画像と、図７に示される画像７００のような検出可能画像、すなわち乗員の顔を含む第３の画像と、のいずれに該当するかを判別する。そして、処理部４０４は、撮像画像が隠れ画像に該当すると判別部４０２により判別された場合、撮像画像に基づいて運転者Ｘの顔に関する顔情報を検出することなく、乗員パラメータを保持し、撮像画像が不在画像に該当すると判別部４０２により判別された場合、撮像画像に基づいて顔情報を検出することなく、乗員パラメータをリセットし、撮像画像が検出可能画像に該当すると判別部４０２により判別された場合、撮像画像に基づいて顔情報を検出するとともに、乗員パラメータを更新する。このような構成によれば、撮像画像が隠れ画像と不在画像と検出可能画像とのいずれに該当するかに応じて、顔情報を検出するか否かを適切に切り替えることができるとともに、乗員パラメータを保持するかリセットするか更新するかを適切に切り替えることができる。
【０１３２】
また、実施形態にかかる乗員モニタリング装置３１０において、取得部４０１は、撮像画像を継続的に複数回取得する。そして、処理部４０４は、撮像画像が検出可能画像に該当すると判別部４０２により判別された場合、顔情報を検出するとともに乗員パラメータを更新した後、取得部４０１により次に取得される撮像画像に基づいて顔情報のトラッキングを実行し、撮像画像が隠れ画像または不在画像に該当すると判別部４０２により判別された場合、顔情報を検出することなく乗員パラメータを保持またはリセットした後、顔情報のトラッキングを実行することなく、取得部４０１により次に取得される撮像画像を対象とした判別部４０２による判別結果に応じて、顔情報を検出するか否か、および、乗員パラメータを保持するかリセットするか更新するか、を切り替える。このような構成によれば、撮像画像が顔情報のトラッキングを実行可能な検出可能画像に該当するか否かに応じて、顔情報のトラッキングを実行するか否かを適切に切り替えることができる。
【０１３３】
また、実施形態にかかる乗員モニタリング装置３１０において、処理部４０４は、撮像画像が不在画像に該当すると判別部４０２により判別された後、最初に、撮像画像が検出可能画像に該当すると判別部４０２により判別された場合に、撮像画像に基づいて運転者Ｘを識別し、識別結果に応じて、運転者Ｘごとに予め設定されたサービスを実行する。このような構成によれば、運転者Ｘの入れ替わりが発生した可能性が高い場合に、入れ替わり後の運転者Ｘを識別することで、運転者Ｘごとに適切なサービスを実行することができる。
【０１３４】
また、実施形態にかかる乗員モニタリング装置３１０において、乗員パラメータは、運転者Ｘの顔の三次元の形状を含む構造を表す三次元モデルにおける、運転者Ｘの眼球の中心の位置を含む。このような構成によれば、三次元モデルにおける運転者Ｘの眼球の中心の位置を乗員パラメータとしてリセットするか否かを適切に切り替えることができる。
【０１３５】
また、実施形態にかかる乗員モニタリング装置３１０において、判別部４０２は、撮像画像と同様の情報を含む学習用画像と、当該学習用画像が少なくとも第１の画像と第２の画像とのいずれに該当するかと、を機械学習により学習することで生成される学習済みモデル４０３に基づいて、取得部４０１により取得された撮像画像が少なくとも第１の画像と第２の画像とのいずれに該当するかを判別する。このように構成すれば、学習済みモデル４０３に基づいて、撮像画像の判別を容易に実行することができる。
【０１３６】
なお、実施形態において、乗員パラメータは、三次元モデルにおける運転者Ｘの眼球の中心の位置のような、乗員の顔の形状を含む構造を特定するためのパラメータに制限されるものではない。すなわち、乗員パラメータは、乗員の顔の状態変化をモニタリングするために設定されうるパラメータであれば、性別や年齢などといった、乗員の顔に直接的には関係ないパラメータも含みうる。
【０１３７】
また、実施形態にかかる乗員モニタリング装置３１０において実行される乗員モニタリングプログラムは、インターネットなどのネットワーク経由で提供または配布されてもよい。すなわち、実施形態にかかる乗員モニタリング装置３１０において実行される乗員モニタリングプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納された状態で、ネットワーク経由でのダウンロードを受け付ける、といった形で提供されてもよい。
【０１３８】
以上、本開示の実施形態を説明したが、上述した実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１３９】
１  車両
３１０  乗員モニタリング装置
４０１  取得部
４０２  判別部
４０３  学習済みモデル
４０４  処理部
【図１】
2020052773.tif 000003
【図２】
2020052773.tif 000004
【図３】
2020052773.tif 000005
【図４】
2020052773.tif 000006
【図５】
2020052773.tif 000007
【図６】
2020052773.tif 000008
【図７】
2020052773.tif 000009
【図８】
2020052773.tif 000010
【図９】
2020052773.tif 000011
【図１０】
2020052773.tif 000012