(57)【要約】【課題】車室内のデザインおよびレイアウトの自由度を低下させることなく、眼球情報を精度良く検出する。【解決手段】本開示の一例としての眼球情報検出装置は、車両内において乗員の顔が存在する可能性のある領域を、当該領域に光を照射する照明装置に近接して設けられた撮像装置によって撮像することで得られる撮像画像を取得する取得部と、取得部により取得される撮像画像と同様の情報を含む学習用画像と、当該学習用画像に写っている乗員の眼球に関する眼球情報の正解値と、を機械学習により学習することで生成される学習済みモデルに基づいて、取得部により取得される撮像画像を入力として、当該撮像画像に対応した眼球情報を出力する検出部と、を備える。【選択図】図４
2020052770.tif 000002
【特許請求の範囲】
【請求項１】
車両内において乗員の顔が存在する可能性のある領域を、当該領域に光を照射する照明装置に近接して設けられた撮像装置によって撮像することで得られる撮像画像を取得する取得部と、
前記取得部により取得される前記撮像画像と同様の情報を含む学習用画像と、当該学習用画像に写っている乗員の眼球に関する眼球情報の正解値と、を機械学習により学習することで生成される学習済みモデルに基づいて、前記取得部により取得される前記撮像画像を入力として、当該撮像画像に対応した前記眼球情報を出力する検出部と、
を備える、眼球情報検出装置。
【請求項２】
前記検出部は、前記眼球が赤目として写っている第１の画像と、前記眼球が前記赤目以外の態様で写っている第２の画像と、を含む前記学習用画像と、当該学習用画像としての前記第１の画像と前記第２の画像とのそれぞれに対応した前記眼球情報の正解値と、に基づいて生成される前記学習済みモデルに基づいて、前記撮像画像において前記眼球が前記赤目として写っているか否かに関わらず、前記撮像画像に対応した前記眼球情報を出力する、
請求項１に記載の眼球情報検出装置。
【請求項３】
前記検出部は、前記眼球情報として、瞳孔の位置を出力する、
請求項１または２に記載の眼球情報検出装置。
【請求項４】
前記取得部は、車室内の所定の位置において前記照明装置と一体的に設けられた前記撮像装置によって得られる前記撮像画像を取得する、
請求項１〜３のうちいずれか１項に記載の眼球情報検出装置。
【請求項５】
車両内において乗員の顔が存在する可能性のある領域を、当該領域に光を照射する照明装置に近接して設けられた撮像装置によって撮像することで得られる撮像画像を取得する取得ステップと、
前記取得ステップにおいて取得される前記撮像画像と同様の情報を含む学習用画像と、当該学習用画像に写っている乗員の眼球に関する眼球情報の正解値と、を機械学習により学習することで生成される学習済みモデルに基づいて、前記取得ステップにおいて取得される前記撮像画像を入力として、当該撮像画像に対応した前記眼球情報を出力する検出ステップと、
を備える、眼球情報検出方法。
【請求項６】
車両内において乗員の顔が存在する可能性のある領域を、当該領域に光を照射する照明装置に近接して設けられた撮像装置によって撮像することで得られる撮像画像を取得する取得部と、
前記取得部により取得される前記撮像画像と同様の情報を含む学習用画像と、当該学習用画像に写っている乗員の眼球に関する眼球情報の正解値と、を機械学習により学習することで生成される学習済みモデルに基づいて、前記取得部により取得される前記撮像画像を入力として、当該撮像画像に対応した前記眼球情報を出力する検出部と、
前記検出部から出力される前記眼球情報に基づいて、前記乗員の視線の変化をモニタリングする処理部と、
を備える、乗員モニタリング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、眼球情報検出装置、眼球情報検出方法、および乗員モニタリング装置に関する。
【背景技術】
【０００２】
従来から、車両の乗員の顔を撮像装置によって撮像することで得られる撮像画像に基づいて、たとえば乗員の瞳孔の位置などといった、乗員の眼球に関する眼球情報を検出する技術が検討されている。
【０００３】
一般に、撮像画像において、目は、光の具合に応じて、赤目として写ったり他の態様で写ったりする。そこで、従来、撮像方向と同一の方向から乗員の顔（目）に向けて光を照射する照明と、撮像方向とは異なる方向から乗員の顔（目）に向けて光を照射する照明と、の２種類の照明を使用し、前者の照明で光が照射されているときに取得される撮像画像と、後者の照明で光が照射されているときに取得される撮像画像と、の２種類の撮像画像の差分に基づいて、撮像画像における目の写り方の変動によらずに眼球情報を検出する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２５４６９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のような従来の技術においては、同じ位置に対して異なる方向から光を照射させるために、２種類の照明を、互いにある程度離れた位置に配置する必要があるので、眼球情報の検出精度は確保される一方で、車室内のデザインおよびレイアウトの自由度が低下する。
【０００６】
そこで、本開示の課題の一つは、車室内のデザインおよびレイアウトの自由度を低下させることなく、眼球情報を精度良く検出することが可能な眼球情報検出装置、眼球情報検出方法、および乗員モニタリング装置を提供することである。
【課題を解決するための手段】
【０００７】
本開示の一例としての眼球情報検出装置は、車両内において乗員の顔が存在する可能性のある領域を、当該領域に光を照射する照明装置に近接して設けられた撮像装置によって撮像することで得られる撮像画像を取得する取得部と、取得部により取得される撮像画像と同様の情報を含む学習用画像と、当該学習用画像に写っている乗員の眼球に関する眼球情報の正解値と、を機械学習により学習することで生成される学習済みモデルに基づいて、取得部により取得される撮像画像を入力として、当該撮像画像に対応した眼球情報を出力する検出部と、を備える。
【０００８】
上述した眼球情報検出装置によれば、照明装置と撮像装置とが近接して設けられた構成において、学習済みモデルを利用して、眼球情報の正解値に基づく出力を得ることができる。したがって、車室内のデザインおよびレイアウトの自由度を低下させることなく、眼球情報を精度良く検出することができる。
【０００９】
上述した眼球情報検出装置において、検出部は、眼球が赤目として写っている第１の画像と、眼球が赤目以外の態様で写っている第２の画像と、を含む学習用画像と、当該学習用画像としての第１の画像と第２の画像とのそれぞれに対応した眼球情報の正解値と、に基づいて生成される学習済みモデルに基づいて、撮像画像において眼球が赤目として写っているか否かに関わらず、撮像画像に対応した眼球情報を出力する。このような構成によれば、撮像画像において眼球が赤目として写っているか否かに関わらず、眼球情報を精度良く検出することができる。
【００１０】
また、上述した眼球情報検出装置において、検出部は、眼球情報として、瞳孔の位置を出力する。このような構成によれば、瞳孔の位置を精度良く検出することができる。
【００１１】
また、上述した眼球情報検出装置において、取得部は、車室内の所定の位置において照明装置と一体的に設けられた撮像装置によって得られる撮像画像を取得する。このような構成によれば、照明装置と撮像装置とが一体的にまとめて配置されるので、車室内のデザインおよびレイアウトの自由度の低下をより抑制しながら、眼球情報を精度良く検出することができる。
【００１２】
本開示の他の一例としての眼球情報検出方法は、車両内において乗員の顔が存在する可能性のある領域を、当該領域に光を照射する照明装置に近接して設けられた撮像装置によって撮像することで得られる撮像画像を取得する取得ステップと、取得ステップにおいて取得される撮像画像と同様の情報を含む学習用画像と、当該学習用画像に写っている乗員の眼球に関する眼球情報の正解値と、を機械学習により学習することで生成される学習済みモデルに基づいて、取得ステップにおいて取得される撮像画像を入力として、当該撮像画像に対応した眼球情報を出力する検出ステップと、を備える。
【００１３】
上述した眼球情報検出方法によれば、照明装置と撮像装置とが近接して設けられた構成において、学習済みモデルを利用して、眼球情報の正解値に基づく出力を得ることができる。したがって、車室内のデザインおよびレイアウトの自由度を低下させることなく、眼球情報を精度良く検出することができる。
【００１４】
本開示のさらに他の一例としての乗員モニタリング装置は、車両内において乗員の顔が存在する可能性のある領域を、当該領域に光を照射する照明装置に近接して設けられた撮像装置によって撮像することで得られる撮像画像を取得する取得部と、取得部により取得される撮像画像と同様の情報を含む学習用画像と、当該学習用画像に写っている乗員の眼球に関する眼球情報の正解値と、を機械学習により学習することで生成される学習済みモデルに基づいて、取得部により取得される撮像画像を入力として、当該撮像画像に対応した眼球情報を出力する検出部と、検出部から出力される眼球情報に基づいて、乗員の視線の変化をモニタリングする処理部と、を備える。
【００１５】
上述した乗員モニタリング装置によれば、照明装置と撮像装置とが近接して設けられた構成において、学習済みモデルを利用して、眼球情報の正解値に基づく出力を得ることができる。したがって、車室内のデザインおよびレイアウトの自由度を低下させることなく、眼球情報を精度良く検出することができ、ひいては乗員の視線の変化を精度良くモニタリングすることができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、実施形態にかかる車両の構成の一例を示した例示的かつ模式的な図である。
【図２】図２は、実施形態にかかる車両に設けられる撮像装置および照明装置の配置の一例を示した例示的かつ模式的な図である。
【図３】図３は、実施形態にかかる乗員モニタリングシステムのシステム構成を示した例示的かつ模式的なブロック図である。
【図４】図４は、実施形態にかかる乗員モニタリング装置の機能を示した例示的かつ模式的なブロック図である。
【図５】図５は、実施形態にかかる赤目画像の一例を示した例示的かつ模式的な図である。
【図６】図６は、実施形態にかかる黒目画像の一例を示した例示的かつ模式的な図である。
【図７】図７は、実施形態にかかる視線検出方法の一例を示した例示的かつ模式的な図である。
【図８】図８は、実施形態にかかる乗員モニタリング装置が実行する初期検出処理を示した例示的かつ模式的なフローチャートである。
【図９】図９は、実施形態にかかる乗員モニタリング装置が実行するトラッキング処理を示した例示的かつ模式的なフローチャートである。
【図１０】図１０は、実施形態にかかる乗員モニタリング装置が実行する瞳孔検出処理を示した例示的かつ模式的なフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本開示の実施形態を図面に基づいて説明する。以下に記載する実施形態の構成、ならびに当該構成によってもたらされる作用および結果（効果）は、あくまで一例であって、以下の記載内容に限られるものではない。
【００１８】
まず、図１および図２を参照して、実施形態による車両１の概略的な構成について説明する。図１は、実施形態にかかる車両１の構成の一例を示した例示的かつ模式的な図であり、図２は、実施形態にかかる車両１に設けられる撮像装置２０１および照明装置２０３の配置の一例を示した例示的かつ模式的な図である。
【００１９】
図１に示されるように、実施形態にかかる車両１は、左右２つの前輪３Ｆと、左右２つの後輪３Ｒと、を有した四輪の自動車である。以下では、簡単化のため、前輪３Ｆおよび後輪３Ｒを総称して車輪３と記載することがある。実施形態では、４つの車輪３の一部または全部の横滑り角が、操舵部３０３ａの操舵などに応じて変化（転舵）する。
【００２０】
また、図１に示されるように、実施形態にかかる車両１は、乗員（図１には不図示）が乗車する車室２ａを有している。車室２ａ内には、乗員としての運転者Ｘ（図１には不図示）が運転席２ｂから操作可能な状態で、操舵部３０３ａが設けられている。操舵部３０３ａは、たとえば、ダッシュボード（インストルメントパネル）１２から突出するように設けられたステアリングホイールやハンドルなどとしてとして構成される。なお、実施形態において、車室２ａ内に運転席２ｂ以外の座席が存在していてもよいことは、言うまでもない。
【００２１】
また、車室２ａ内には、各種の画像を出力可能な表示部８と、各種の音を出力可能な音声出力部９と、を有したモニタ装置１１が設けられている。モニタ装置１１は、たとえば、車室２ａ内のダッシュボードの車幅方向（左右方向）の中央部に設けられている。図１に示される例において、表示部８は、指やスタイラスなどの指示体が近接（接触を含む）した位置の座標を検出可能な操作入力部１０によって覆われている。これにより、乗員は、表示部８に表示される画像を視認することができるとともに、操作入力部１０上で指示体を用いた入力操作（たとえばタッチ操作）を行うことで、各種の操作を入力することができる。
【００２２】
また、図２に示されるように、車室２ａ内における所定の位置、より具体的には操舵部３０３ａを支持する支持部２０２には、撮像装置２０１と、照明装置２０３と、が設けられている。撮像装置２０１は、たとえばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラとして構成され、照明装置２０３は、たとえば赤外線照明として構成される。
【００２３】
ここで、実施形態では、撮像装置２０１と照明装置２０３とが一体的に設けられている。これにより、撮像装置２０１と照明装置２０３とは、実質的に同じ位置から運転席２ｂに着座した運転者Ｘの顔が存在する可能性のある領域に面している。
【００２４】
より具体的に、撮像装置２０１は、運転席２ｂに着座した運転者Ｘの顔が存在する可能性のある領域を撮像可能なように角度および姿勢が調整されており、照明装置２０３は、運転席２ｂに着座した運転者Ｘの顔が存在する可能性のある領域に光を照射可能なように角度および姿勢が調整されている。
【００２５】
撮像装置２０１は、車両１の運転が行われている間、運転者Ｘの顔の撮像を所定の時間間隔で周期的に実行し、撮像により得た撮像画像（に対応した画像データ）を順次、後述する乗員モニタリング装置３１０（図３および図４参照）に出力する。詳細は後述するが、乗員モニタリング装置３１０は、撮像装置２０１の撮像によって得られる撮像画像に基づいて、たとえば運転者Ｘの瞳孔の位置（中心位置）などといった、運転者Ｘの眼球に関する眼球情報を検出する。そして、乗員モニタリング装置３１０は、検出した眼球情報に基づいて、運転者Ｘの視線に関する視線情報の検出（および検出された視線情報のトラッキング）を含む乗員モニタリング処理を実行し、運転者Ｘの視線の変化をモニタリングする。
【００２６】
なお、以下では、撮像装置２０１によって得られる、運転席２ｂに着座した運転者Ｘの顔が存在する可能性のある領域の情報を含む撮像画像に基づいて実行される乗員モニタリング処理について説明するが、乗員モニタリング処理は、運転者Ｘ以外の乗員に対しても実行可能である。すなわち、乗員モニタリング処理は、撮像装置２０１とは異なる位置に設けられる、運転席２ｂ以外の他の座席に着座した乗員の顔が存在する可能性のある領域を撮像する撮像部によって得られる撮像画像に基づいても、同様に実行可能である。
【００２７】
次に、図３を参照して、乗員モニタリング処理を実行する乗員モニタリング装置３１０を含む乗員モニタリングシステム３００のシステム構成について説明する。なお、図３に示されるシステム構成は、あくまで一例であるので、様々に設定（変更）可能である。
【００２８】
図３は、実施形態にかかる乗員モニタリングシステム３００のシステム構成を示した例示的かつ模式的なブロック図である。図３に示されるように、乗員モニタリングシステム３００は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、撮像装置２０１と、モニタ装置１１と、乗員モニタリング装置３１０と、車載ネットワーク３５０と、を有している。
【００２９】
制動システム３０１は、車両１の減速を制御する。制動システム３０１は、制動部３０１ａと、制動制御部３０１ｂと、制動部センサ３０１ｃと、を有している。
【００３０】
制動部３０１ａは、たとえばブレーキペダルなどといった、車両１を減速させるための装置である。
【００３１】
制動制御部３０１ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータにより構成されるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）である。制動制御部３０１ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、制動部３０１ａを作動させることで、車両１の減速度合を制御する。
【００３２】
制動部センサ３０１ｃは、制動部３０１ａの状態を検出するための装置である。たとえば、制動部３０１ａがブレーキペダルとして構成される場合、制動部センサ３０１ｃは、制動部３０１ａの状態として、ブレーキペダルの位置または当該ブレーキペダルに作用している圧力を検出する。制動部センサ３０１ｃは、検出した制動部３０１ａの状態を車載ネットワーク３５０に出力する。
【００３３】
加速システム３０２は、車両１の加速を制御する。加速システム３０２は、加速部３０２ａと、加速制御部３０２ｂと、加速部センサ３０２ｃと、を有している。
【００３４】
加速部３０２ａは、たとえばアクセルペダルなどといった、車両１を加速させるための装置である。
【００３５】
加速制御部３０２ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータにより構成されるＥＣＵである。加速制御部３０２ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、加速部３０２ａを作動させることで、車両１の加速度合を制御する。
【００３６】
加速部センサ３０２ｃは、加速部３０２ａの状態を検出するための装置である。たとえば、加速部３０２ａがアクセルペダルとして構成される場合、加速部センサ３０２ｃは、アクセルペダルの位置または当該アクセルペダルに作用している圧力を検出する。加速部センサ３０２ｃは、検出した加速部３０２ａの状態を車載ネットワーク３５０に出力する。
【００３７】
操舵システム３０３は、車両１の進行方向を制御する。操舵システム３０３は、操舵部３０３ａと、操舵制御部３０３ｂと、操舵部センサ３０３ｃと、を有している。
【００３８】
操舵部３０３ａは、たとえばステアリングホイールやハンドルなどといった、車両１の転舵輪を転舵させる装置である。
【００３９】
操舵制御部３０３ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータにより構成されるＥＣＵである。操舵制御部３０３ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、操舵部３０３ａを作動させることで、車両１の進行方向を制御する。
【００４０】
操舵部センサ３０３ｃは、操舵部３０３ａの状態を検出するための装置である。たとえば、操舵部３０３ａがステアリングホイールとして構成される場合、操舵部センサ３０３ｃは、ステアリングホイールの位置または当該ステアリングホイールの回転角度を検出する。なお、操舵部３０３ａがハンドルとして構成される場合、操舵部センサ３０３ｃは、ハンドルの位置または当該ハンドルに作用している圧力を検出してもよい。操舵部センサ３０３ｃは、検出した操舵部３０３ａの状態を車載ネットワーク３５０に出力する。
【００４１】
変速システム３０４は、車両１の変速比を制御する。変速システム３０４は、変速部３０４ａと、変速制御部３０４ｂと、変速部センサ３０４ｃと、を有している。
【００４２】
変速部３０４ａは、たとえば、シフトレバーなどといった、車両１の変速比を変更するための装置である。
【００４３】
変速制御部３０４ｂは、たとえば、ＣＰＵなどといったハードウェアプロセッサを有したコンピュータにより構成されるＥＣＵである。変速制御部３０４ｂは、たとえば車載ネットワーク３５０経由で入力される指示に基づいてアクチュエータ（不図示）を駆動し、変速部３０４ａを作動させることで、車両１の変速比を制御する。
【００４４】
変速部センサ３０４ｃは、変速部３０４ａの状態を検出するための装置である。たとえば、変速部３０４ａがシフトレバーとして構成される場合、変速部センサ３０４ｃは、シフトレバーの位置または当該シフトレバーに作用している圧力を検出する。変速部センサ３０４ｃは、検出した変速部３０４ａの状態を車載ネットワーク３５０に出力する。
【００４５】
障害物センサ３０５は、車両１の周囲に存在しうる障害物に関する情報を検出するための装置である。障害物センサ３０５は、たとえば、障害物までの距離を検出するソナーなどといった測距センサを含んでいる。障害物センサ３０５は、検出した情報を車載ネットワーク３５０に出力する。
【００４６】
走行状態センサ３０６は、車両１の走行状態を検出するための装置である。走行状態センサ３０６は、たとえば、車両１の車輪速を検出する車輪速センサや、車両１の前後方向または左右方向の加速度を検出する加速度センサや、車両１の旋回速度（角速度）を検出するジャイロセンサなどを含んでいる。走行状態センサ３０６は、検出した走行状態を車載ネットワーク３５０に出力する。
【００４７】
乗員モニタリング装置３１０は、乗員モニタリングシステム３００を統括的に制御するための装置である。乗員モニタリング装置３１０は、撮像装置２０１によって得られる撮像画像に基づいて、運転者Ｘの視線に関する視線情報の検出（および検出された視線情報のトラッキング）を含む乗員モニタリング処理を実行することで、運転者Ｘの視線の変化をモニタリングする。
【００４８】
乗員モニタリング装置３１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３１０ａと、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３１０ｂと、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３１０ｃと、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）３１０ｄと、表示制御部３１０ｅと、音声制御部３１０ｆと、を有したＥＣＵとして構成されている。
【００４９】
ＣＰＵ３１０ａは、乗員モニタリング装置３１０を統括的に制御するハードウェアプロセッサである。ＣＰＵ３１０ａは、ＲＯＭ３１０ｂなどに記憶された各種の制御プログラム（コンピュータプログラム）を読み出し、当該各種の制御プログラムに規定されたインストラクションにしたがって各種の機能を実現する。各種の制御プログラムには、乗員モニタリング処理を実現するための乗員モニタリングプログラムが含まれる。
【００５０】
ＲＯＭ３１０ｂは、上述した各種の制御プログラムの実行に必要なパラメータなどを記憶する不揮発性の主記憶装置である。
【００５１】
ＲＡＭ３１０ｃは、ＣＰＵ３１０ａの作業領域を提供する揮発性の主記憶装置である。
【００５２】
ＳＳＤ３１０ｄは、書き換え可能な不揮発性の補助記憶装置である。なお、実施形態にかかる乗員モニタリング装置３１０においては、補助記憶装置として、ＳＳＤ３１０ｄに替えて（またはＳＳＤ３１０ｄに加えて）、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）が設けられてもよい。
【００５３】
表示制御部３１０ｅは、乗員モニタリング装置３１０で実行されうる各種の処理のうち、主として、撮像装置２０１から得られた撮像画像に対する画像処理や、モニタ装置１１の表示部８に出力する画像データの生成などを司る。
【００５４】
音声制御部３１０ｆは、乗員モニタリング装置３１０で実行されうる各種の処理のうち、主として、モニタ装置１１の音声出力部９に出力する音声データの生成などを司る。
【００５５】
車載ネットワーク３５０は、制動システム３０１と、加速システム３０２と、操舵システム３０３と、変速システム３０４と、障害物センサ３０５と、走行状態センサ３０６と、モニタ装置１１の操作入力部１０と、乗員モニタリング装置３１０と、を通信可能に接続する。
【００５６】
ところで、従来、撮像方向と同一の方向から乗員の顔（目）に向けて光を照射する照明と、撮像方向とは異なる方向から乗員の顔（目）に向けて光を照射する照明と、の２種類の照明を使用し、前者の照明で光が照射されているときに取得される撮像画像と、後者の照明で光が照射されているときに取得される撮像画像と、の２種類の撮像画像の差分に基づいて、眼球情報を検出する方法が提案されている。
【００５７】
一般に、撮像画像において、目は、光の具合に応じて、赤目として写ったり他の態様で写ったりするので、上記のような２種類の照明を使用した従来の技術によれば、撮像画像における目の写り方の変動によらずに眼球情報を検出することが可能になる。
【００５８】
しかしながら、上記のような従来の技術においては、同じ位置に対して異なる方向から光を照射させるために、２種類の照明を、互いにある程度離れた位置に配置する必要があるので、眼球情報の検出精度は確保される一方で、車室内のデザインおよびレイアウトの自由度が低下する。
【００５９】
そこで、実施形態は、乗員モニタリング装置３１０を、次の図４に示されるように構成することで、車室２ａ内のデザインおよびレイアウトの自由度を低下させることなく、眼球情報を精度良く検出することを実現する。乗員モニタリング装置３１０は、眼球情報検出装置の一例である。
【００６０】
図４は、実施形態にかかる乗員モニタリング装置３１０の機能を示した例示的かつ模式的なブロック図である。図４に示される機能は、ソフトウェアとハードウェアとの協働によって実現される。すなわち、図４に示される例において、乗員モニタリング装置３１０の機能は、ＣＰＵ３１０ａがＲＯＭ３１０ｂなどに記憶された所定の制御プログラムを読み出して実行した結果として実現される。なお、実施形態では、図４に示される機能の少なくとも一部が専用のハードウェア（回路）によって実現されてもよい。
【００６１】
図４に示されるように、実施形態にかかる乗員モニタリング装置３１０は、取得部４０１と、検出部４０２と、処理部４０４と、を有している。
【００６２】
取得部４０１は、撮像装置２０１によって得られる撮像画像を、所定の制御タイミングで継続的に複数回取得する。前述したように、撮像画像は、車両１内において運転者Ｘの顔が存在する可能性のある領域の情報を含んでいる。
【００６３】
検出部４０２は、学習済みモデル４０３を有しており、当該学習済みモデル４０３に基づいて、取得部４０１により取得される撮像画像を入力として、当該撮像画像に対応した眼球情報を出力する。実施形態において、検出部４０２は、以下のように生成された学習済みモデル４０３に基づいて、撮像画像において眼球が赤目として写っているか否かに関わらず、撮像画像に対応した眼球情報を出力する。
【００６４】
学習済みモデル４０３は、たとえば取得部４０１により取得される撮像画像と同条件下で撮像された、撮像画像と同様の情報を含む学習用画像と、当該学習用画像に写っている運転者Ｘの眼球に関する眼球情報の正解値と、を機械学習により学習することで生成される。より具体的に、学習済みモデル４０３は、眼球が赤目として写っている第１の画像と、眼球が赤目以外の態様で写っている第２の画像と、を含む学習用画像と、当該学習用画像としての第１の画像と第２の画像とのそれぞれに対応した眼球情報の正解値と、を機械学習により学習することで生成される。なお、学習済みモデル４０３を生成するための機械学習は、教師あり学習であってもよいし、教師なし学習や強化学習、これら３つの学習スキームのうち１つ以上の組み合わせなどであってもよい。
【００６５】
ここで、第１の画像および第２の画像の具体例について簡単に説明する。
【００６６】
図５は、実施形態にかかる第１の画像の一例を示した例示的かつ模式的な図である。この図５に示される画像５００は、運転者Ｘの目Ｅにおける瞳孔Ｐを含む周辺領域が通常の黒目Ｂ（図６参照）とは異なる赤目Ｒとして写っているので、第１の画像に該当する。実施形態において、学習済みモデル４０３は、画像５００が入力された場合に当該画像５００内で赤目Ｒとして写っている瞳孔Ｐの中心位置Ｘ５００の座標を出力するモデルとして生成される。
【００６７】
また、図６は、実施形態にかかる第２の画像の一例を示した例示的かつ模式的な図である。この図６に示される画像６００は、運転者Ｘの目Ｅにおける瞳孔Ｐの周辺領域が通常の黒目Ｂとして写っているので、第２の画像に該当する。実施形態において、学習済みモデル４０３は、画像６００が入力された場合に当該画像６００内で黒目Ｂとして写っている瞳孔Ｐの中心位置Ｘ６００の座標を出力するモデルとして生成される。
【００６８】
このように、実施形態では、学習用画像において眼球がどのように写っているか、より具体的には学習用画像において目Ｅが赤目Ｒとして写っているか黒目Ｂとして写っているかに関わらず、学習用画像における瞳孔Ｐの中心位置の正解値が学習されることで、学習済みモデル４０３が生成される。したがって、この学習済みモデル４０３を利用した検出部４０２は、撮像画像における眼球の写り方に関わらず、眼球情報として、撮像画像における瞳孔の中心位置を精度良く出力することが可能である。
【００６９】
ところで、次の図７に示されるように、瞳孔の中心位置を用いれば、前述した視線情報の一例としての視線の方向を容易に検出することが可能である。
【００７０】
図７は、実施形態にかかる視線検出方法の一例を示した例示的かつ模式的な図である。図７に示されるように、三次元のモデルとして構成された眼球ＥＢの中心位置Ｘ７００と、虹彩Ｉの内側の瞳孔Ｐの中心位置Ｘ７０１と、が分かれば、視線の方向を、眼球モデルの中心位置Ｘ７００から瞳孔Ｐの中心位置Ｘ７０１に向かう方向Ａ７００として検出することができる。
【００７１】
眼球ＥＢの中心位置Ｘ７００は、運転者Ｘの顔の三次元の形状を含む構造を表すデータとして取得される三次元モデルのパラメータの一つとして記憶しておくことが可能であり、瞳孔Ｐの中心位置Ｘ７０１は、上記の学習済みモデル４０３に基づいて求めることが可能である。
【００７２】
図４に戻り、処理部４０４は、上記のような方法で視線の方向を検出するとともにその変化を検出することで運転者Ｘの視線の変化をモニタリングする処理を、乗員モニタリング処理として実行する。以下、処理部４０４の機能についてより詳細に説明する。
【００７３】
処理部４０４は、乗員モニタリング処理の初期段階として撮像画像から最初に顔情報を検出する初期検出モードと、初期検出処理において検出された顔情報のトラッキングを実行するトラッキングモードと、の２つの制御モードにそれぞれ対応した機能モジュールを有している。
【００７４】
すなわち、処理部４０４は、初期検出モードに対応した処理としての初期検出処理を実行する初期検出処理部４０５と、トラッキングモードに対応した処理としてのトラッキング処理を実行するトラッキング処理部４０６と、を有している。
【００７５】
処理部４０４の制御モードは、たとえば取得部４０１により撮像画像が取得された場合に、初期検出モードに設定される。
【００７６】
初期検出モードにおいて、処理部４０４の初期検出処理部４０５は、検出部４０２により検出された眼球情報としての瞳孔の中心位置を取得するとともに、顔の三次元の形状を含む構造を表すデータとして取得される三次元モデルに基づくフィッティングを実行することで眼球の中心位置を取得し、取得した２つの中心位置に基づいて、視線情報としての視線の方向を検出する。なお、フィッティングとは、三次元モデルを示すパラメータを、撮像画像の特徴点にマッチするように適宜調整する処理のことである。
【００７７】
そして、初期検出処理部４０５により視線情報が正常に検出されると、処理部４０４の制御モードがトラッキングモードに設定される。
【００７８】
トラッキングモードにおいて、処理部４０４のトラッキング処理部４０６は、次に取得される撮像画像に対する検出部４０２の検出結果と、次に取得される撮像画像と上記の三次元モデルとのフィッティングと、に基づいて、初期検出処理において検出された視線情報のトラッキングを実行する。
【００７９】
以下、実施形態にかかる初期検出処理およびトラッキング処理のより詳細な内容について、フローチャートとともに説明する。
【００８０】
まず、初期検出処理の詳細について説明する。
【００８１】
図８は、実施形態にかかる乗員モニタリング装置３１０が実行する初期検出処理を示した例示的かつ模式的なフローチャートである。初期検出処理は、たとえば、処理部４０４の制御モードが初期検出モードに設定され、かつ、取得部４０１により撮像画像が取得された場合に実行される。
【００８２】
図８に示されるように、初期検出処理においては、まず、Ｓ８０１において、初期検出処理部４０５は、撮像画像における顔の位置を検出する。
【００８３】
そして、Ｓ８０２において、初期検出処理部４０５は、撮像画像における顔の向きを検出する。
【００８４】
そして、Ｓ８０３において、検出部４０２は、撮像画像に基づいて当該撮像画像に写っている瞳孔の中心位置を検出する瞳孔検出処理を実行する。この瞳孔検出処理の具体的内容については、後で説明するため、ここでは説明を省略する。
【００８５】
そして、Ｓ８０４において、初期検出処理部４０５は、撮像画像と、顔の三次元の形状を含む構造を表すデータとして取得される三次元モデルと、のフィッティングを実行する。これにより、眼球の中心位置が検出される。なお、初期検出処理におけるフィッティングは、たとえば、顔の三次元の形状を含む構造を表す統計的なデータとして予め設定された初期モデルに基づいて実行される。
【００８６】
そして、Ｓ８０５において、初期検出処理部４０５は、Ｓ８０３における瞳孔検出処理の結果として検出される瞳孔の中心位置と、Ｓ８０４におけるフィッティングの結果に基づいて検出される眼球の中心位置と、に基づいて、運転者Ｘの視線の方向に関する視線情報を検出する。
【００８７】
そして、Ｓ８０６において、初期検出処理部４０５は、視線情報が正常に検出されたか否かを判断する。たとえば、初期検出処理部４０５は、視線情報の検出のために直近に実行された一連の処理のそれぞれについて、その信頼度を示す値（スコア）を算出し、当該スコアに基づいて、Ｓ８０６の判断を実行する。
【００８８】
Ｓ８０６において、視線情報が正常に検出されたと判断された場合、Ｓ８０７に処理が進む。そして、Ｓ８０７において、初期検出処理部４０５は、処理部４０４の次の制御モードをトラッキングモードに設定する。そして、処理が終了する。
【００８９】
一方、Ｓ８０６において、視線情報が正常に検出されなかったと判断された場合、Ｓ８０８に処理が進む。そして、Ｓ８０８において、初期検出処理部４０５は、処理部４０４の次の制御モードを初期検出モードに設定する。そして、処理が終了する。
【００９０】
次に、トラッキング処理の詳細について説明する。
【００９１】
図９は、実施形態にかかる乗員モニタリング装置３１０が実行するトラッキング処理を示した例示的かつ模式的なフローチャートである。トラッキング処理は、たとえば、処理部４０４の制御モードがトラッキングモードに設定され、かつ、取得部４０１により撮像画像が取得された場合に実行される。
【００９２】
図９に示されるように、トラッキング処理においては、まず、Ｓ９０１において、トラッキング処理部４０６は、撮像画像における顔の位置のトラッキングを実行する。なお、トラッキングは、初期検出処理における各種の検出結果を利用して、探索範囲を限定したり、マッチングのためのテンプレートを流用したり、連続するフレーム間の差分に基づいて変化した部分を特定したりすることができる。したがって、一般に、トラッキングは、初期検出処理における各種の検出に比べて、処理速度が速い。
【００９３】
そして、Ｓ９０２において、トラッキング処理部４０６は、撮像画像における顔の向きのトラッキングを実行する。
【００９４】
そして、Ｓ９０３において、検出部４０２は、撮像画像に基づいて当該撮像画像に写っている瞳孔の中心位置を検出する瞳孔検出処理を実行する。この瞳孔検出処理の具体的内容については、後で説明するため、ここでは説明を省略する。
【００９５】
そして、Ｓ９０４において、トラッキング処理部４０６は、撮像画像と、顔の三次元の形状を含む構造を表すデータとして取得される三次元モデルと、のフィッティングを実行する。これにより、眼球の中心位置が検出される。なお、トラッキング処理におけるフィッティングは、たとえば、前回の初期検出処理またはトラッキング処理において調整された後の最新の三次元モデルに基づいて実行される。
【００９６】
そして、Ｓ９０５において、トラッキング処理部４０６は、Ｓ８０３における瞳孔検出処理の結果として検出される瞳孔の中心位置と、Ｓ８０４におけるフィッティングの結果に基づいて検出される眼球の中心位置と、に基づいて、運転者Ｘの視線の方向に関する視線情報のトラッキングを実行する。
【００９７】
そして、Ｓ９０６において、トラッキング処理部４０６は、視線情報のトラッキングが正常に実行されたか否かを判断する。たとえば、トラッキング処理部４０６は、視線情報のトラッキングのために直近に実行された一連の処理のそれぞれについて、その信頼度を示す値（スコア）を算出し、当該スコアに基づいて、Ｓ９０６の判断を実行する。
【００９８】
Ｓ９０６において、視線情報のトラッキングが正常に実行されたと判断された場合、Ｓ９０７に処理が進む。そして、Ｓ９０７において、トラッキング処理部４０６は、処理部４０４の次の制御モードをトラッキングモードに設定する。そして、処理が終了する。
【００９９】
一方、Ｓ９０６において、顔情報のトラッキングが正常に実行されなかったと判断された場合、Ｓ９０８に処理が進む。そして、Ｓ９０８において、トラッキング処理部４０６は、処理部４０４の次の制御モードを初期検出モードに設定する。そして、処理が終了する。
【０１００】
最後に、上記のＳ８０３およびＳ９０３で実行される瞳孔検出処理の詳細について説明する。
【０１０１】
図１０は、実施形態にかかる乗員モニタリング装置３１０が実行する瞳孔検出処理を示した例示的かつ模式的なフローチャートである。
【０１０２】
図１０に示されるように、瞳孔検出処理においては、まず、Ｓ１００１において、検出部４０２は、取得部４０１により取得された撮像画像を学習済みモデル４０３に入力する。
【０１０３】
そして、Ｓ１００２において、検出部４０２は、Ｓ１００１における入力に応じた学習済みモデル４０３からの出力を、瞳孔の中心の位置として検出する。
【０１０４】
Ｓ１００２の処理が終了すると、上記のＳ８０３およびＳ９０３の処理が終了し、上記のＳ８０４およびＳ９０４にそれぞれ処理が戻る。
【０１０５】
以上説明したように、実施形態にかかる乗員モニタリング装置３１０は、取得部４０１と、検出部４０２と、処理部４０４と、を有している。取得部４０１は、車両１内において乗員としての運転者Ｘの顔が存在する可能性のある領域を、当該領域に光を照射する照明装置２０３に近接して設けられた撮像装置２０１によって撮像することで得られる撮像画像を取得する。検出部４０２は、取得部４０１により取得される撮像画像と同様の情報を含む学習用画像と、当該学習用画像に写っている運転者Ｘの眼球に関する眼球情報の正解値と、を機械学習により学習することで生成される学習済みモデル４０３に基づいて、取得部４０１により取得される撮像画像を入力として、当該撮像画像に対応した眼球情報を出力する。処理部４０４は、検出部４０２から出力される眼球情報に基づいて、運転者Ｘの視線の変化をモニタリングする。
【０１０６】
実施形態にかかる乗員モニタリング装置３１０によれば、照明装置２０３と撮像装置２０１とが近接して設けられた構成において、学習済みモデル４０３を利用して、眼球情報の正解値に基づく出力を容易に得ることができる。したがって、車室２ａ内のデザインおよびレイアウトの自由度を低下させることなく、眼球情報を精度良く検出することができ、ひいては運転者Ｘの視線の変化を精度良くモニタリングすることができる。
【０１０７】
実施形態にかかる乗員モニタリング装置３１０において、検出部４０２は、眼球が赤目として写っている第１の画像と、眼球が赤目以外の態様で写っている第２の画像と、を含む学習用画像と、当該学習用画像としての第１の画像と第２の画像とのそれぞれに対応した眼球情報の正解値と、に基づいて生成される学習済みモデル４０３に基づいて、撮像画像において眼球が赤目として写っているか否かに関わらず、撮像画像に対応した眼球情報を出力する。このような構成によれば、撮像画像において眼球が赤目として写っているか否かに関わらず、眼球情報を精度良く検出することができる。
【０１０８】
また、実施形態にかかる乗員モニタリング装置３１０において、検出部４０２は、眼球情報として、瞳孔の位置を出力する。このような構成によれば、瞳孔の位置を精度良く検出することができる。
【０１０９】
また、実施形態にかかる乗員モニタリング装置３１０において、取得部４０１は、車室２ａ内の所定の位置において照明装置２０３と一体的に設けられた撮像装置２０１によって得られる撮像画像を取得する。このような構成によれば、照明装置２０３と撮像装置２０１とが一体的にまとめて配置されるので、車室２ａ内のデザインおよびレイアウトの自由度の低下をより抑制しながら、眼球情報を精度良く検出することができる。
【０１１０】
なお、上述した実施形態では、眼球情報検出装置の一例として、取得部４０１と検出部４０２と処理部４０４とを有した乗員モニタリング装置３１０が例示されている。しかしながら、他の実施形態として、取得部４０１と検出部４０２とを有した、処理部４０４を有しない装置を、眼球情報検出装置とする構成も考えられる。
【０１１１】
以上、本開示の実施形態を説明したが、上述した実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１１２】
１  車両
２ａ  車室
３１０  乗員モニタリング装置（眼球情報検出装置）
４０１  取得部
４０２  検出部
４０３  学習済みモデル
４０４  処理部
【図１】
2020052770.tif 000003
【図２】
2020052770.tif 000004
【図３】
2020052770.tif 000005
【図４】
2020052770.tif 000006
【図５】
2020052770.tif 000007
【図６】
2020052770.tif 000008
【図７】
2020052770.tif 000009
【図８】
2020052770.tif 000010
【図９】
2020052770.tif 000011
【図１０】
2020052770.tif 000012