(57)【要約】【課題】搭乗者の視線の状態を精度よく監視することができる監視システムを提供する。【解決手段】監視システム１は、カメラ１３を上下方向から視た場合にカメラ１３を挟んで左右方向に配置され、搭乗者１０１の顔１０１ａに対して光を照射する一対の右側光源１１Ｒ及び左側光源１１Ｌを備え、右側光源１１Ｒと左側光源１１Ｌとを、カメラ１３の撮影ごとに交互に点灯させる。カメラ１３は、右側光源１１Ｒの点灯に応じて撮影した第１の顔画像３１と、左側光源１１Ｌの点灯に応じて撮影した第２の顔画像３３とをそれぞれ取得する。制御装置１５は、第１の顔画像３１と、第１の顔画像３１が取得された時点の直近に取得された第２の顔画像３３とに基づいて視線の状態を判定する。【選択図】図６
2020075596.tif 000002
【特許請求の範囲】
【請求項１】
車両の搭乗者の顔を連続して撮影して顔画像を取得するカメラと、
前記カメラを上下方向から視た場合に前記カメラを挟んで左右方向に配置され、前記搭乗者の顔に光を照射する一対の右側光源及び左側光源と、
前記右側光源と前記左側光源とを、前記カメラの撮影ごとに交互に点灯させる点灯制御手段と、
前記カメラで取得された複数の顔画像を用いて、少なくとも前記搭乗者の目の開閉を含む視線の状態を判定し、当該判定結果に基づいて車両制御を行う制御手段と、を備え、
前記カメラは、
前記右側光源の点灯に応じて撮影した第１の顔画像と、前記左側光源の点灯に応じて撮影した第２の顔画像とをそれぞれ取得し、
前記制御手段は、
前記第１の顔画像と、前記第１の顔画像が取得された時点の直近に取得された前記第２の顔画像とに基づいて前記視線の状態を判定する、
ことを特徴とする監視システム。
【請求項２】
前記顔画像を用いて前記搭乗者の顔の向きを判定する顔向き判定手段と、
前記搭乗者の顔の向きが前記カメラから視て正対していると判定された場合、前記第１の顔画像を、前記右側光源と対向する前記搭乗者の右顔側の第１の右顔画像と、前記右側光源からの距離が前記搭乗者の右顔側より遠い左顔側の第１の左顔画像とに分割し、かつ前記第２の顔画像を、前記左側光源と対向する前記搭乗者の左顔側の第２の左顔画像と、前記左側光源からの距離が前記搭乗者の左顔側より遠い右顔側の第２の右顔画像とに分割する顔画像分割手段と、
前記第１の左顔画像と前記第２の右顔画像とを合成して１つの顔画像を作成する顔画像合成手段と、を備え、
前記制御手段は、
前記顔画像合成手段で作成された顔画像に基づいて前記視線の状態を判定する、
請求項１に記載の監視システム。
【請求項３】
前記顔画像を用いて前記搭乗者の顔の向きを判定する顔向き判定手段をさらに備え、
前記点灯制御手段は、
前記搭乗者の顔の向きが前記カメラから視て右方向に回転していると判定された場合には、前記左側光源を点灯させ、前記搭乗者の顔の向きが前記カメラから視て左方向に回転していると判定された場合には、前記右側光源を点灯させ、
前記カメラは、
前記右側光源の点灯に応じて撮影した単独判定用顔画像と、前記左側光源の点灯に応じて撮影した単独判定用顔画像とをそれぞれ取得し、
前記制御手段は、
各前記単独判定用顔画像に基づいて前記視線の状態を判定する、
請求項１に記載の監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システムに関する。
【背景技術】
【０００２】
従来、車両のドライバの視線の状態（例えば、まばたき等）を検出する目状態検出装置が提案されている（例えば、特許文献１，２参照）。このようなドライバの監視システムでは、外乱光（例えば、太陽光）の影響を受ける車両内でも安定した品質で顔を撮影するために、近赤外線（ＮＩＲ）を射出する光源でドライバの顔を照明して撮影を行っている。また、従来の監視システムでは、外乱光を除去するための可視光カットフィルタを通してドライバの顔を撮影するものもある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−９４２２１号公報
【特許文献２】特許第４３５６７３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述した監視システムでは、眼鏡を着用したドライバの顔を撮影した場合、目の手前にある眼鏡のレンズに光源が映り込んで目の撮影が阻害され、得られた顔画像からドライバの視線の状態を識別することができないおそれがあり、改善の余地がある。
【０００５】
本発明の目的は、搭乗者の視線の状態を精度よく監視することができる監視システムを提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る監視システムは、車両の搭乗者の顔を連続して撮影して顔画像を取得するカメラと、前記カメラを上下方向から視た場合に前記カメラを挟んで左右方向に配置され、前記搭乗者の顔に光を照射する一対の右側光源及び左側光源と、前記右側光源と前記左側光源とを、前記カメラの撮影ごとに交互に点灯させる点灯制御手段と、前記カメラで取得された複数の顔画像を用いて、少なくとも前記搭乗者の目の開閉を含む視線の状態を判定し、当該判定結果に基づいて車両制御を行う制御手段と、を備え、前記カメラは、前記右側光源の点灯に応じて撮影した第１の顔画像と、前記左側光源の点灯に応じて撮影した第２の顔画像とをそれぞれ取得し、前記制御手段は、前記第１の顔画像と、前記第１の顔画像が取得された時点の直近に取得された前記第２の顔画像とに基づいて前記視線の状態を判定する、ことを特徴とする。
【０００７】
また、上記監視システムにおいて、前記顔画像を用いて前記搭乗者の顔の向きを判定する顔向き判定手段と、前記搭乗者の顔の向きが前記カメラから視て正対していると判定された場合、前記第１の顔画像を、前記右側光源と対向する前記搭乗者の右顔側の第１の右顔画像と、前記右側光源からの距離が前記搭乗者の右顔側より遠い左顔側の第１の左顔画像とに分割し、かつ前記第２の顔画像を、前記左側光源と対向する前記搭乗者の左顔側の第２の左顔画像と、前記左側光源からの距離が前記搭乗者の左顔側より遠い右顔側の第２の右顔画像とに分割する顔画像分割手段と、前記第１の左顔画像と前記第２の右顔画像とを合成して１つの顔画像を作成する顔画像合成手段と、を備え、前記制御手段は、前記顔画像合成手段で作成された顔画像に基づいて前記視線の状態を判定する、ものである。
【０００８】
また、上記監視システムにおいて、前記顔画像を用いて前記搭乗者の顔の向きを判定する顔向き判定手段をさらに備え、前記点灯制御手段は、前記搭乗者の顔の向きが前記カメラから視て右方向に回転していると判定された場合には、前記左側光源を点灯させ、前記搭乗者の顔の向きが前記カメラから視て左方向に回転していると判定された場合には、前記右側光源を点灯させ、前記カメラは、前記右側光源の点灯に応じて撮影した単独判定用顔画像と、前記左側光源の点灯に応じて撮影した単独判定用顔画像とをそれぞれ取得し、前記制御手段は、各前記単独判定用顔画像に基づいて前記視線の状態を判定する、ものである。
【発明の効果】
【０００９】
本発明に係る監視システムは、搭乗者の視線の状態を精度よく監視することができる、という効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施形態に係る監視システムが適用される車両の室内の概略構成を示す模式図である。
【図２】図２は、実施形態に係る監視システムの概略構成を示すブロック図である。
【図３】図３は、実施形態に係る監視システムの制御装置の第１点灯制御の一例を示すフローチャート図である。
【図４】図４は、実施形態に係る監視システムの制御装置の第２点灯制御の一例を示すフローチャート図である。
【図５】図５は、実施形態に係る監視システムの制御措置の視線状態判定の一例を示すフローチャート図である。
【図６】図６は、実施形態に係る監視システムの右側光源点灯時の状態の一例を示す模式図である。
【図７】図７は、実施形態に係る監視システムの左側光源点灯時の状態の一例を示す模式図である。
【図８】図８は、実施形態に係る監視システムの顔画像の分割及び合成を説明するための模式図である。
【図９】図９は、実施形態に係る監視システムの右側光源点灯時の状態の他の一例を示す模式図である。
【図１０】図１０は、実施形態に係る監視システムの左側光源点灯時の状態の他の一例を示す模式図である。
【図１１】図１１（ａ）及び図１１（ｂ）は、実施形態に係る監視システムの単独判定用顔画像の一例を示す模式図である。
【発明を実施するための形態】
【００１１】
以下に、本発明に係る監視システムの実施形態について図面を参照しつつ詳細に説明する。なお、下記実施形態により本発明が限定されるものではない。下記実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。また、下記実施形態における構成要素は、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
【００１２】
［実施形態］
本発明の実施形態に係る監視システムについて図１〜図１１を参照して説明する。監視システム１は、図１に示すように、自動車等の車両１００に搭載され、当該車両１００の座席１０２に着座した搭乗者１０１の視線の状態を監視し、搭乗者１０１に対する様々な処理を行うものである。視線の状態とは、目の開閉（まばたき）を含めた目の状態を意味する。搭乗者１０１は、監視システム１による監視の対象者であり、例えば車両１００の運転者である。本実施形態の搭乗者１０１は、眼鏡１０１ｃを着用しているものとする。なお、本実施形態では、車両１００は、自動車である場合について説明するが、例えば、バス、電車等であってもよい。
【００１３】
監視システム１は、図２に示すように、右側光源１１Ｒと、左側光源１１Ｌと、カメラ１３と、制御手段としての制御装置１５とを備える。監視システム１は、車両１００内のバッテリ（不図示）等から受電して動作する。
【００１４】
右側光源１１Ｒ及び左側光源１１Ｌは、カメラ１３を上下方向から視た場合にカメラ１３を挟んで左右方向に配置され、搭乗者１０１の顔１０１ａに光を照射する一対の光源である。右側光源１１Ｒ及び左側光源１１Ｌは、それぞれが近赤外線を出射する光源であり、例えば近赤外ＬＥＤ（近赤外発光ダイオード）等で構成される。右側光源１１Ｒ及び左側光源１１Ｌは、それぞれが車両１００の座席１０２に着座した搭乗者１０１の顔を照明する。右側光源１１Ｒ及び左側光源１１Ｌは、例えば、車両１００のインストルメントパネル（不図示）内に設置される。
【００１５】
右側光源１１Ｒは、信号線１７を介して制御装置１５に電気的に接続されており、制御装置１５からの点灯信号または消灯信号に応じて点灯または消灯する。左側光源１１Ｌは、信号線１８を介して制御装置１５に電気的に接続されており、制御装置１５からの点灯信号または消灯信号に応じて点灯または消灯する。右側光源１１Ｒ及び左側光源１１Ｌは、それぞれがカメラ１３の撮影タイミングに併せて発光するように、制御装置１５により制御される。ここでいう発光とは、制御装置１５から順に出力された点灯信号、消灯信号に応じて、光源（右側光源１１Ｒ及び左側光源１１Ｌ）が点灯から消灯に状態変化するものを意味する。
【００１６】
カメラ１３は、車両１００の搭乗者１０１の顔１０１ａを連続して撮影して顔画像を取得するものである。カメラ１３は、照明光として可視光線と赤外光線との双方による撮影が可能なカメラである。カメラ１３は、例えば、図８に示すように、右側光源１１Ｒの点灯に応じて撮影した第１の顔画像３１、左側光源１１Ｌの点灯に応じて撮影した第２の顔画像３３をそれぞれ取得することができる。また、カメラ１３は、図１１に示すように、右側光源１１Ｒの点灯に応じて撮影した単独判定用顔画像３９、左側光源１１Ｌの点灯に応じて撮影した単独判定用顔画像４０をそれぞれ取得することができる。カメラ１３は、信号線１９を介して制御装置１５に接続されており、一定のタイミングで連続して撮影した複数の顔画像を制御装置１５に出力する。カメラ１３は、制御装置１５から受信する制御信号に応じて、撮影を行う。カメラ１３は、搭乗者１０１の座席１０２から正面方向に設置されており、例えば、車両１００のインストルメントパネル（不図示）内に設置される。カメラ１３の撮影間隔は、一般的なまばたきの速さ（例えば１００〜１５０ｍｓｅｃ）を考慮して設定されることが好ましく、例えば１５ｍｓｅｃとする。なお、カメラ１３の撮影間隔は、これに限定されるものではない。
【００１７】
制御装置１５は、監視システム１の各部を統括的に制御する部分である。制御装置１５は、搭乗者１０１の顔１０１ａの視線状態の監視や車両１００の各部を制御するための各種の演算処理を実行する。制御装置１５は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の中央演算処理装置、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御装置１５は、カメラ１３で取得された複数の顔画像を用いて、搭乗者１０１の目１０１ｂの開閉を含む視線の状態を判定し、当該判定結果に基づいて車両制御を行うものである。制御装置１５は、カメラ１３から複数の顔画像を入力する。制御装置１５は、複数の顔画像のうち、第１の顔画像３１と、第１の顔画像３１が取得された時点の直近に取得された第２の顔画像３３とに基づいて視線の状態を判定する。制御装置１５は、点灯制御部２１と、顔認識部２２と、顔向き判定部２３と、顔画像分割部２４と、顔画像合成部２５と、視線状態判定部２６と、警告部２７とを含んで構成される。なお、これらは制御装置１５が有する機能の一部であり、この他に、車両１００の各部を制御するための機能を有していてもよい。
【００１８】
点灯制御部２１は、点灯制御手段の一例であり、右側光源１１Ｒと左側光源１１Ｌとを、カメラ１３の撮影ごとに交互に点灯させる機能を有する。点灯制御部２１は、右側光源１１Ｒを点灯させる場合には、右側光源１１Ｒに点灯信号を出力し、左側光源１１Ｌを点灯させる場合には、左側光源１１Ｌに点灯信号を出力する。点灯制御部２１は、右側光源１１Ｒ及び左側光源１１Ｌの両方を点灯させる場合、右側光源１１Ｒ及び左側光源１１Ｌの両方に点灯信号を出力する。また、点灯制御部２１は、右側光源１１Ｒを消灯させる場合には、右側光源１１Ｒに消灯信号を出力し、左側光源１１Ｌを消灯させる場合には、左側光源１１Ｌに消灯信号を出力する。点灯制御部２１は、右側光源１１Ｒ及び左側光源１１Ｌの両方を消灯させる場合、右側光源１１Ｒ及び左側光源１１Ｌの両方に消灯信号を出力する。点灯制御部２１は、カメラ１３の撮影に連動して点灯信号、消灯信号を右側光源１１Ｒ及び左側光源１１Ｌに対して出力する。すなわち、右側光源１１Ｒの点灯に応じて撮影された第１の顔画像３１と、左側光源１１Ｌの点灯に応じて撮影された第２の顔画像３３とに基づいて視線の状態を判定することから、点灯制御部２１は、カメラ１３の撮影ごとに交互に右側光源１１Ｒと左側光源１１Ｌとに対して点灯信号と消灯信号とを連続して出力する。
【００１９】
顔認識部２２は、カメラ１３から入力された顔画像を解析して、特徴点（例えば、顔の輪郭、目や鼻、口の形及び位置、眼鏡の有無）を抽出する。顔認識方法としては、例えば、主成分分析を使った固有顔、線形判別分析、弾性バンチグラフマッチング、隠れマルコフモデル、ニューロン動機づけによるダイナミックリンク照合などの周知の顔認識アルゴリズムを使用するとよい。顔認識部２２は、抽出した特徴点を顔向き判定部２３に出力する。なお、顔認識部２２は、抽出した特徴点に基づいて、予め登録された顔画像と照合して、登録された人物か否かを判定するように構成されていてもよい。
【００２０】
顔向き判定部２３は、顔向き判定手段の一例であり、顔画像を用いて搭乗者１０１の顔１０１ａの向きを判定する機能を有する。顔向き判定部２３は、顔認識部２２により抽出された特徴点に基づいて、顔画像に含まれる搭乗者１０１の顔１０１ａの向きがカメラ１３に対して正対しているか否か、すなわち顔１０１ａの向きが正面を向いているか否かを判定することができる。また、顔向き判定部２３は、カメラ１３から入力された顔画像を解析して、顔画像に含まれる搭乗者１０１の顔１０１ａの向きがカメラ１３から視て右方向に回転しているか否か、すなわち顔１０１ａの向きが右側を向いているか否かを判定することができる。さらに、顔向き判定部２３は、カメラ１３から入力された顔画像を解析して、顔画像に含まれる搭乗者１０１の顔１０１ａの向きがカメラ１３から視て左方向に回転しているか否か、すなわち顔１０１ａの向きが左側を向いているか否かを判定することができる。
【００２１】
顔画像分割部２４は、顔画像分割手段の一例であり、搭乗者１０１の顔１０１ａの向きがカメラ１３から視て正対していると判定された場合、第１の顔画像３１を、右側光源１１Ｒと対向する搭乗者の右顔側の第１の右顔画像３１Ｒと、右側光源１１Ｒからの距離が搭乗者１０１の右顔側より遠い左顔側の第１の左顔画像３１Ｌとに分割する機能を有する。また、顔画像分割部２４は、搭乗者１０１の顔１０１ａの向きがカメラ１３から視て正対していると判定された場合、第２の顔画像３３を、左側光源１１Ｌと対向する搭乗者１０１の左顔側の第２の左顔画像３３Ｌと、左側光源１１Ｌからの距離が搭乗者１０１の左顔側より遠い右顔側の第２の右顔画像３３Ｒとに分割する機能を有する。
【００２２】
顔画像合成部２５は、顔画像合成手段の一例であり、第１の左顔画像３１Ｌと第２の右顔画像３３Ｒとを合成して１つの顔画像を作成する機能を有する。制御装置１５は、図８に示すように、顔画像合成部２５により合成された合成顔画像３５に基づいて視線の状態を判定し、当該判定結果に基づいて搭乗者１０１に対して警告等を行う。
【００２３】
視線状態判定部２６は、制御手段の一例であり、第１の顔画像と、第１の顔画像が取得された時点の直近に取得された第２の顔画像とに基づいて視線の状態を判定する機能を有する。視線状態判定部２６は、図１１に示すように、右側光源１１Ｒの点灯に応じて撮影した単独判定用顔画像３９及び左側光源１１Ｌの点灯に応じて撮影した単独判定用顔画像４０に基づいて搭乗者１０１の視線の状態を判定する。制御装置１５は、カメラ１３で取得された複数の単独判定用顔画像３９，４０を用いて視線の状態を判定し、当該判定結果に基づいて搭乗者１０１に対して警告等を行う。
【００２４】
警告部２７は、制御手段の一例であり、搭乗者１０１に対して警告を行う機能を有する。警告部２７は、例えば警告音を発したり、座席１０２を振動させたりして搭乗者１０１に注意を促す。なお、警告部２７による警告方法は、これらに限定されるものではなく、搭乗者１０１に対して注意を促すものであれば、例えば臭いを発するものであってもよいし、電気的または物理的な衝撃を与えるものであってもよい。
【００２５】
次に、監視システム１における第１点灯制御について図３を参照して説明する。
【００２６】
ステップＳ１では、顔向き判定部２３は、顔の向きが正対しているか否かを判定する。顔向き判定部２３は、例えば、カメラ１３で取得された顔画像を用いて搭乗者１０１の顔１０１ａの向きがカメラ１３に対して正対している状態か否かを判定する。顔１０１ａの向きが正対していない場合には、ステップＳ８の第２点灯制御処理に移行する。一方、顔１０１ａの向きが正対している場合には、ステップＳ２〜ステップＳ７の第１点灯制御処理に移行する。
【００２７】
ステップＳ２では、点灯制御部２１は、図６に示すように、右側光源１１Ｒを点灯させる。右側光源１１Ｒは、点灯制御部２１による点灯信号を制御装置１５から受信すると点灯状態となる。
【００２８】
ステップＳ３では、カメラ１３は、右側光源１１Ｒにより照明された搭乗者１０１の顔１０１ａを撮影して顔画像を取得し、当該顔画像のデータを制御装置１５に対して出力する。
【００２９】
ステップＳ４では、点灯制御部２１は、右側光源１１Ｒを消灯させる。右側光源１１Ｒは、点灯制御部２１による消灯信号を制御装置１５から受信すると消灯状態となる。
【００３０】
ステップＳ５では、点灯制御部２１は、図７に示すように、左側光源１１Ｌを点灯させる。左側光源１１Ｌは、点灯制御部２１による点灯信号を制御装置１５から受信すると点灯状態となる。
【００３１】
ステップＳ６では、カメラ１３は、左側光源１１Ｌにより照明された搭乗者１０１の顔１０１ａを撮影して顔画像を取得し、当該顔画像のデータを制御装置１５に対して出力する。
【００３２】
ステップＳ７では、点灯制御部２１は、左側光源１１Ｌを消灯させる。左側光源１１Ｌは、点灯制御部２１による消灯信号を制御装置１５から受信すると消灯状態となり、ステップＳ１に戻る。
【００３３】
次に、監視システム１における第２点灯制御について図４を参照して説明する。本処理は、図３のステップＳ８の第２点灯制御処理である。
【００３４】
ステップＳ１１では、顔向き判定部２３は、顔の向きが右方向に回転しているか否かを判定する。顔向き判定部２３は、例えば、カメラ１３で取得された顔画像を用いて搭乗者１０１の顔１０１ａの向きがカメラ１３から視て右方向に回転しているか否かを判定する。顔向き判定部２３は、図１０に示すように、顔１０１ａの向きが右方向に回転していると判定した場合は、ステップＳ１２に進む。一方、顔１０１ａの向きが右方向に回転していないと判定した場合は、ステップＳ１５に進む。
【００３５】
ステップＳ１２では、点灯制御部２１は、上記ステップＳ５と同様に、左側光源１１Ｌを点灯させる。左側光源１１Ｌは、点灯制御部２１による点灯信号を制御装置１５から受信すると点灯状態となる。
【００３６】
ステップＳ１３では、カメラ１３は、上記ステップＳ６と同様に、左側光源１１Ｌにより照明された搭乗者１０１の顔１０１ａを撮影して顔画像を取得し、当該顔画像のデータを制御装置１５に対して出力する。
【００３７】
ステップＳ１４では、点灯制御部２１は、上記ステップＳ７と同様に、左側光源１１Ｌを消灯させる。左側光源１１Ｌは、点灯制御部２１による消灯信号を制御装置１５から受信すると消灯状態となり、本処理を終了してリターンする。
【００３８】
ステップＳ１５では、顔向き判定部２３は、顔の向きが左方向に回転しているか否かを判定する。顔向き判定部２３は、例えば、カメラ１３で取得された顔画像を用いて搭乗者１０１の顔１０１ａの向きがカメラ１３から視て左方向に回転しているか否かを判定する。顔向き判定部２３は、図９に示すように、顔１０１ａの向きが右方向に回転していると判定した場合は、ステップＳ１６に進む。一方、顔１０１ａの向きが左方向に回転していないと判定した場合は、本処理を終了してリターンする。
【００３９】
ステップＳ１６では、点灯制御部２１は、上記ステップＳ２と同様に、右側光源１１Ｒを点灯させる。右側光源１１Ｒは、点灯制御部２１による点灯信号を制御装置１５から受信すると点灯状態となる。
【００４０】
ステップＳ１７では、カメラ１３は、上記ステップＳ３と同様に、右側光源１１Ｒにより照明された搭乗者１０１の顔１０１ａを撮影して顔画像を取得し、当該顔画像のデータを制御装置１５に対して出力する。
【００４１】
ステップＳ１８では、点灯制御部２１は、上記ステップＳ４と同様に、右側光源１１Ｒを消灯させる。右側光源１１Ｒは、点灯制御部２１による消灯信号を制御装置１５から受信すると消灯状態となり、本処理を終了してリターンする。
【００４２】
次に、監視システム１の視線状態の判定処理について図５、図８を参照して説明する。
【００４３】
ステップＳ２２では、顔向き判定部２３は、顔の向きが正対しているか否かを判定する。顔向き判定部２３は、例えば、カメラ１３で取得された顔画像を用いて搭乗者１０１の顔１０１ａの向きがカメラ１３に対して正対している状態か否かを判定する。顔１０１ａの向きが正対していない場合には、ステップＳ２６に移行する。一方、顔１０１ａの向きが正対している場合には、ステップＳ２３に移行する。
【００４４】
ステップＳ２３では、顔画像分割部２４は、図８に示すように、第１の顔画像３１を、右側光源１１Ｒと対向する搭乗者１０１の右顔側の第１の右顔画像３１Ｒと、右側光源１１Ｒからの距離が搭乗者１０１の右顔側より遠い左顔側の第１の左顔画像３１Ｌとに分割する。第１の顔画像３１は、顔の中心線３１ａを挟んで第１の右顔画像３１Ｒと第１の左顔画像３１Ｌとに分割される。本実施形態の第１の顔画像３１は、例えば、右側光源１１Ｒが眼鏡１０１ｃの右側レンズに映り込んでしまい、搭乗者１０１の右目の視線方向が正確に把握できない状態にあるものとする。
【００４５】
ステップＳ２４では、顔画像分割部２４は、図８に示すように、第２の顔画像３３を、左側光源１１Ｌと対向する搭乗者１０１の左顔側の第２の左顔画像３３Ｌと、左側光源１１Ｌからの距離が搭乗者１０１の左顔側より遠い右顔側の第２の右顔画像３３Ｒとに分割する。第２の顔画像３３は、顔の中心線３３ａを挟んで第２の右顔画像３３Ｒと第２の左顔画像３３Ｌとに分割される。本実施形態の第２の顔画像３３は、例えば、左側光源１１Ｌが眼鏡１０１ｃの左側レンズに映り込んでしまい、搭乗者１０１の左目の視線方向が正確に把握できない状態にあるものとする。
【００４６】
次に、ステップＳ２５では、顔画像合成部２５は、ステップＳ２３で分割された第１の左顔画像３１Ｌと、ステップＳ２４で分割された第２の右顔画像３３Ｒとを合成して１つの顔画像を作成する。
【００４７】
ステップＳ２６では、視線状態判定部２６は、ステップＳ２５にて顔画像合成部２５により作成された顔画像に基づいて、搭乗者１０１の視線の状態を判定する。視線状態判定部２６は、例えば、搭乗者１０１の目１０１ｂが閉じられている頻度が高い場合、搭乗者１０１がいねむりをしていると推定することができる。
【００４８】
ステップＳ２７では、警告部２７は、ステップＳ２６にて判定された視線の状態に基づいて、搭乗者１０１に所定の方法で警告を行って本処理を終了する。例えば、警告部２７は、警告音を鳴らして搭乗者１０１に注意を促す。
【００４９】
以上説明したように、本実施形態に係る監視システム１は、カメラ１３を上下方向から視た場合にカメラ１３を挟んで左右方向に配置され、搭乗者１０１の顔１０１ａに対して光を照射する一対の右側光源１１Ｒ及び左側光源１１Ｌを備え、右側光源１１Ｒと左側光源１１Ｌとを、カメラ１３の撮影ごとに交互に点灯させる。カメラ１３は、右側光源１１Ｒの点灯に応じて撮影した第１の顔画像３１と、左側光源１１Ｌの点灯に応じて撮影した第２の顔画像３３とをそれぞれ取得する。制御装置１５は、第１の顔画像３１と、第１の顔画像３１が取得された時点の直近に取得された第２の顔画像３３とに基づいて視線の状態を判定する。
【００５０】
本実施形態に係る監視システム１は、例えば眼鏡のレンズに光源が映り込んでいない側の顔の視線の状態を判定することができ、眼鏡１０１ｃを着用した搭乗者１０１であっても目１０１ｂの状態を精度よく監視することができる。従来、眼鏡を着用した搭乗者の顔を２つの光源を同時に発光して撮影した場合、眼鏡の各レンズに光源が映り込んで目の撮影が阻害され、得られた顔画像からドライバの視線の状態を識別できず、搭乗者の視線の状態を監視することが困難な場合がある。そこで、右側光源１１Ｒの点灯に応じて撮影した第１の顔画像３１と、左側光源１１Ｌの点灯に応じて撮影した第２の顔画像３３とを取得し、第１の顔画像３１と、第１の顔画像３１が取得された時点の直近に取得された第２の顔画像３３とに基づいて視線の状態を判定する。これにより、眼鏡を着用している搭乗者の視線の状態を監視する場合であっても、眼鏡のレンズの一方に光源が映り込んでいない顔画像を取得することが可能となり、当該顔画像が時系列に沿って複数あることで、搭乗者の視線の経時的変化を判定することができる。この結果、従来のシステム構成を変更することなく、監視精度を向上させることができる。また、従来は、２つの光源から搭乗者の顔に照射される光を偏光板を通して縮小させていたが、当該偏光板が不要となるので、部品コストを低く抑えることができる。この偏光板は、赤外線照明の放射強度（顔に照射する光の強さ）を下げてしまうことから、必要な放射強度を得るために光源のＬＥＤの個数が増えたり、ＬＥＤの消費電流値が上がったりしていたが、偏光板が不要となるので、部品コストをより低く抑えることができる。
【００５１】
また、本実施形態に係る監視システム１は、顔画像分割部２４が、搭乗者１０１の顔１０１ａの向きがカメラ１３から視て正対していると判定された場合、第１の顔画像３１を、右側光源１１Ｒと対向する搭乗者１０１の右顔側の第１の右顔画像３１Ｒと、右側光源１１Ｒからの距離が搭乗者１０１の右顔側より遠い左顔側の第１の左顔画像３１Ｌとに分割し、第２の顔画像３３を、左側光源１１Ｌと対向する搭乗者１０１の左顔側の第２の左顔画像３３Ｌと、左側光源１１Ｌからの距離が搭乗者１０１の左顔側より遠い右顔側の第２の右顔画像３３Ｒとに分割する。顔画像合成部２５は、第１の左顔画像３１Ｌと第２の右顔画像３３Ｒとを合成して１つの合成顔画像３５を作成する。制御装置１５は、顔画像合成部２５で作成された合成顔画像３５に基づいて視線の状態を判定する。上記構成により、作成された合成顔画像３５を用いて視線の状態を判定することができ、眼鏡１０１ｃを着用した搭乗者１０１であっても目１０１ｂの状態を精度よく監視することができる。
【００５２】
また、本実施形態に係る監視システム１は、点灯制御部２１が、搭乗者１０１の顔の向きがカメラ１３から視て右方向に回転していると判定された場合には、左側光源１１Ｌを点灯させ、搭乗者１０１の顔１０１ａの向きがカメラ１３から視て左方向に回転していると判定された場合には、右側光源１１Ｒを点灯させる。カメラ１３は、右側光源１１Ｒの点灯に応じて撮影した単独判定用顔画像３９と、左側光源１１Ｌの点灯に応じて撮影した単独判定用顔画像４０とをそれぞれ取得する。制御装置１５は、各単独判定用顔画像３９，４０に基づいて視線の状態を判定する。上記構成により、搭乗者１０１の顔１０１ａの向きに応じて、点灯させる光源を制御し、各光源の点灯に応じて撮影した顔画像を用いて視線の状態を判定するので、眼鏡のレンズに光源が映り込んでいない状態の顔画像を用いて視線の状態を判定することができる。この結果、眼鏡１０１ｃを着用した搭乗者１０１であっても目１０１ｂの状態を精度よく監視することができる。
【００５３】
上記実施形態では、搭乗者１０１の顔１０１ａの向きがカメラ１３から視て正対していると判定された場合、顔画像合成部２５で作成された合成顔画像３５に基づいて視線の状態を判定しているが、これに限定されるものではない。例えば、各顔画像を左顔画像と右顔画像とに分割することなく、第１の顔画像３１及び第２の顔画像３３に基づいて視線の状態を判定してもよい。すなわち、眼鏡を着用した搭乗者の顔を撮影した場合、顔の向きがカメラから視て正対しているときであっても、必ずしも眼鏡のレンズに光源が映り込むとは限らないことから、第１の顔画像３１及び第２の顔画像３３の各顔画像における搭乗者１０１の両目の視線の状態を判定してもよい。これにより、顔画像を分割して合成する処理が不要となり、視線状態の判定処理に要する時間を短縮することができる。
【００５４】
また、各顔画像を第１の左顔画像３１Ｌと第１の右顔画像３１Ｒ、第２の左顔画像３３Ｌと第２の右顔画像３３Ｒとに分割し、分割した各顔画像に基づいて視線の状態を判定してもよい。例えば、第１の左顔画像３１Ｌ及び第２の左顔画像３３Ｌの各左顔画像における搭乗者１０１の片目の視線の状態を判定してもよいし、第１右顔画像３１Ｒ及び第２右顔画像３３Ｒの各右顔画像における搭乗者１０１の片目の視線の状態を判定してもよい。これにより、顔画像を合成する処理が不要となり、視線状態の判定処理に要する時間を短縮することができる。
【００５５】
上記実施形態では、監視システム１は、搭乗者１０１の眼鏡１０１ｃの着用有無にかかわらず、右側光源１１Ｒと左側光源１１Ｌとを、カメラ１３の撮影ごとに交互に点灯させているが、これに限定されるものではない。例えば、搭乗者１０１の眼鏡１０１ｃの着用有無に応じて、右側光源１１Ｒ及び左側光源１１Ｌの点灯方法を異なるようにしてもよい。具体的には、搭乗者１０１が眼鏡１０１ｃを着用していない場合には、カメラ１３の撮影ごとに右側光源１１Ｒ及び左側光源１１Ｌを同時に発光させ、搭乗者１０１が眼鏡１０１ｃを着用している場合には、右側光源１１Ｒと左側光源１１Ｌとを、カメラ１３の撮影ごとに交互に点灯させる。これにより、搭乗者１０１が眼鏡１０１ｃを着用していない場合、搭乗者１０１の顔１０１ａを均等に照明することができ、撮影により得られた顔画像における不要な影の発生を抑止して、搭乗者１０１の視線の状態を精度よく監視することができる。ここで搭乗者１０１が眼鏡１０１ｃを着用しているか否かを判定する方法として、例えばカメラ１３から得られた顔画像を解析する方法が挙げられる。
【符号の説明】
【００５６】
１  監視システム
１１Ｒ  右側光源
１１Ｌ  左側光源
１３  カメラ
１５  制御装置
２１  点灯制御部
２２  顔認識部
２３  顔向き判定部
２４  顔画像分割部
２５  顔画像合成部
２６  視線状態判定部
２７  警告部
３１  第１の顔画像
３１Ｒ  第１の右顔画像
３１Ｌ  第１の左顔画像
３１ａ，３３ａ  顔の中心線
３３  第２の顔画像
３３Ｒ  第２の右顔画像
３３Ｌ  第２の左顔画像
３５  合成顔画像
３９，４０  単独判定用顔画像
１００  車両
１０１  搭乗者
１０１ａ  顔
１０１ｂ  目
１０１ｃ  眼鏡
１０２  座席
【図１】
2020075596.tif 000003
【図２】
2020075596.tif 000004
【図３】
2020075596.tif 000005
【図４】
2020075596.tif 000006
【図５】
2020075596.tif 000007
【図６】
2020075596.tif 000008
【図７】
2020075596.tif 000009
【図８】
2020075596.tif 000010
【図９】
2020075596.tif 000011
【図１０】
2020075596.tif 000012
【図１１】
2020075596.tif 000013