(57)【要約】【課題】従来の技術では、顔向き検出の精度のさらなる向上が求められていた。【解決手段】運転者監視システム１００は、異なる光学特性を示す光の情報を有する複数の画像信号を生成するカメラ６と、複数の画像信号の少なくとも１つの画像信号に基づいて運転者の顔の特徴点を認識し、顔の特徴点に基づいて運転者が脇見または居眠りをしているか否かを判定する信号処理回路２０とを備える。【選択図】図１
2015194884.tif 000002
【特許請求の範囲】
【請求項１】
レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置と、
前記複数の画像信号の少なくとも１つの画像信号に基づいて運転者の顔の特徴点を認識する顔認識部と、
前記顔の特徴点に基づいて前記運転者が脇見または居眠りをしているか否かを判定する脇見・居眠り判定部と
を含む信号処理回路と
を備えた、運転者監視システム。
【請求項２】
近赤外光を照射する補助照明をさらに備え、
前記信号処理回路は、
前記複数の画像信号を合成して合成画像信号を生成する画像合成部と、
前記運転者の顔向きを判定する顔向き判定部と
をさらに含み、
前記少なくとも２つの光学領域は、第１の透過率特性を有する第１の光学領域、前記第１の透過率特性とは異なる第２の透過率特性を有する第２の光学領域、前記第１および第２の透過率特性とは異なる第３の透過率特性を有する第３の光学領域、ならびに前記第１、第２および第３の透過率特性とは異なる第４の透過率特性を有する第４の光学領域を含み、
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、
前記画像合成部は、前記第１の撮像領域から取得された第１の画像信号、前記第２の撮像領域から取得された第２の画像信号、前記第３の撮像領域から取得された第３の画像信号、および前記第４の撮像領域から取得された第４の画像信号を合成して前記合成画像信号を生成し、
前記顔認識部は、前記合成画像信号に基づいて前記運転者の顔の特徴点を認識し、
前記顔向き判定部は、前記顔の特徴点に基づいて前記運転者の顔向きを判定し、
前記脇見・居眠り判定部は、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定する、請求項１に記載の運転者監視システム。
【請求項３】
近赤外光を照射する補助照明をさらに備え、
前記信号処理回路は、
前記複数の画像信号を合成して合成画像信号を生成する画像合成部と、
前記運転者までの距離を演算する距離演算部と、
前記運転者の顔向きを判定する顔向き判定部と
をさらに含み、
前記少なくとも２つの光学領域は、第１の透過率特性を有する第１および第３の光学領域と、前記第１の透過率特性とは異なる第２の透過率特性を有する第２および第４の光学領域とを含み、
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、
前記画像合成部は、前記第１の撮像領域から取得された第１の画像信号および前記第２の撮像領域から取得された第２の画像信号を合成して第１の合成画像信号を生成し、前記第３の撮像領域から取得された第３の画像信号および前記第４の撮像領域から取得された第４の画像信号を合成して第２の合成画像信号を生成し、
前記距離演算部は、前記第１および第２の合成画像信号に基づいて前記運転者までの距離を演算し、
前記顔認識部は、前記第１の合成画像信号および前記運転者までの距離に基づいて前記運転者の顔の３次元特徴点を認識し、
前記顔向き判定部は、前記３次元特徴点に基づいて前記運転者の顔向きを判定し、
前記脇見・居眠り判定部は、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定する、請求項１に記載の運転者監視システム。
【請求項４】
近赤外光を照射する補助照明をさらに備え、
前記信号処理回路は、
前記複数の画像信号を合成して合成画像信号を生成する画像合成部と、
前記運転者までの距離を演算する距離演算部と、
前記運転者の顔向きを判定する顔向き判定部と
をさらに含み、
前記少なくとも２つの光学領域は、第１の合焦特性を有する第１の光学領域、前記第１の合焦特性とは異なる第２の合焦特性を有する第２の光学領域、前記第１および第２の合焦特性とは異なる第３の合焦特性を有する第３の光学領域、ならびに前記第１、第２および第３の合焦特性とは異なる第４の合焦特性を有する第４の光学領域を含み、
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、
前記画像合成部は、前記第１の撮像領域から取得された第１の画像信号、前記第２の撮像領域から取得された第２の画像信号、前記第３の撮像領域から取得された第３の画像信号、および前記第４の撮像領域から取得された第４の画像信号を合成して前記合成画像信号を生成し、
前記距離演算部は、前記第１、第２、第３および第４の画像信号に基づいて、前記運転者までの距離を演算し、
前記顔認識部は、前記合成画像信号および前記運転者までの距離に基づいて前記運転者の顔の３次元特徴点を認識し、
前記顔向き判定部は、前記３次元特徴点に基づいて前記運転者の顔向きを判定し、
前記脇見・居眠り判定部は、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定する、請求項１に記載の運転者監視システム。
【請求項５】
近赤外光を照射する補助照明をさらに備え、
前記信号処理回路は、
前記複数の画像信号を合成して合成画像信号を生成する画像合成部と、
前記運転者までの距離を演算する距離演算部と
前記運転者の顔向きを判定する顔向き判定部と
をさらに含み、
前記少なくとも２つの光学領域は、第１の透過率特性および第１の合焦特性を有する第１の光学領域、前記第１の透過率特性とは異なる第２の透過率特性および前記第１の合焦特性を有する第２の光学領域、前記第１の透過率特性および前記第１の合焦特性とは異なる第２の合焦特性を有する第３の光学領域、ならびに前記第２の透過率特性および前記第２の合焦特性を有する第４の光学領域を含み、
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、
前記画像合成部は、前記第１の撮像領域から取得された第１の画像信号および前記第２の撮像領域から取得された第２の画像信号を合成して第１の合成画像信号を生成し、前記第３の撮像領域から取得された第３の画像信号および前記第４の撮像領域から取得された第４の画像信号を合成して第２の合成画像信号を生成し、前記第１および第２の合成画像を合成して第３の合成画像信号をさらに生成し、
前記距離演算部は、前記第１および第２の合成画像信号に基づいて前記運転者までの距離を演算し、
前記顔認識部は、前記第３の合成画像信号および前記運転者までの距離に基づいて前記運転者の顔の３次元特徴点を認識し、
前記顔向き判定部は、前記３次元特徴点に基づいて前記運転者の顔向きを判定し、
前記脇見・居眠り判定部は、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定する、請求項１に記載の運転者監視システム。
【請求項６】
レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する第１および第２の撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から得られる複数の画像信号を出力する第１および第２の撮像装置と、
近赤外光を照射する補助照明と、
前記第１の撮像装置から出力される前記複数の画像信号を合成して第１の合成画像信号を生成する第１の画像合成部と、
前記第２の撮像装置から出力される前記複数の画像信号を合成して第２の合成画像信号を生成する第２の画像合成部と、
前記第１および第２の合成画像信号から得られる視差量を用いて運転者までの距離を演算する距離演算部と、
前記第１の合成画像信号および前記運転者までの距離に基づいて前記運転者の顔の３次元特徴点を認識する３次元顔認識部と、
前記３次元特徴点に基づいて前記運転者の顔向きを判定する顔向き判定部と、
前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定する脇見判定部と
を含む信号処理回路と
を備え、
前記少なくとも２つの光学領域は、第１の透過率特性を有する第１の光学領域、前記第１の透過率特性とは異なる第２の透過率特性を有する第２の光学領域、前記第１および第２の透過率特性とは異なる第３の透過率特性を有する第３の光学領域、ならびに前記第１、第２および第３の透過率特性とは異なる第４の透過率特性を有する第４の光学領域を含み、
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、
前記第１の画像合成部は、前記第１の撮像領域から取得された第１の画像信号、前記第２の撮像領域から取得された第２の画像信号、前記第３の撮像領域から取得された第３の画像信号、および前記第４の撮像領域から取得された第４の画像信号を合成して前記第１の合成画像を生成し、
前記第２の画像合成部は、前記第１の撮像領域から取得された第１の画像信号、前記第２の撮像領域から取得された第２の画像信号、前記第３の撮像領域から取得された第３の画像信号、および前記第４の撮像領域から取得された第４の画像信号を合成して前記第２の合成画像を生成する、運転者監視システム。
【請求項７】
第１の偏光軸の方向に振動する近赤外光を照射する補助照明をさらに備え、
前記信号処理回路は、
前記複数の画像信号の中から１つを選択する画像選択部と、
前記運転者の目の開口度を検出する目開度検出部と
をさらに含み、
前記少なくとも２つの光学領域は、前記第１の偏光軸の方向に振動する光を透過させる第１の偏光特性を有する第１の光学領域および前記第１の偏光軸の方向と垂直な第２の偏光軸の方向に振動する光を透過させる第２の偏光特性を有する第２の光学領域を含み、
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域および前記第２の光学領域に対応した第２の撮像領域を含み、
前記画像選択部は、前記第１の撮像領域から取得された第１の画像信号から構成される第１の画像中の画素の飽和度合と、前記第２の撮像領域から取得された第２の画像信号から構成される第２の画像中の画素の飽和度合とを比較することによって、前記第１の画像信号および前記第２の画像信号からいずれか１つを選択し、
前記顔認識部は、選択された画像信号に基づいて前記運転者の顔の特徴点を認識し、
前記目開度検出部は、前記顔の特徴点に基づいて前記運転者の目の開口度を検出し、
前記脇見・居眠り判定部は、前記目の開口度の検出結果に応じて前記運転者が居眠りをしているか否かを判定する、請求項１に記載の運転者監視システム。
【請求項８】
第１の偏光軸の方向に振動する光を照射する補助照明をさらに備え、
前記信号処理回路は、
前記複数の画像信号を合成して合成画像信号を生成する画像合成部と、
前記複数の画像信号の中から１つを選択する画像選択部と、
前記運転者の目の開口度を検出する目開度検出部と
をさらに含み、
前記少なくとも２つの光学領域は、前記第１の偏光軸の方向に振動する光を透過させる第１の偏光特性および第１の透過率特性を有する第１の光学領域、前記第１の偏光特性および前記第１の透過率特性とは異なる第２の透過率特性を有する第２の光学領域、前記第１の偏光軸の方向と垂直な第２の偏光軸の方向に振動する光を透過させる第２の偏光特性および前記第１の透過率特性を有する第３の光学領域、および前記第２の偏光特性および前記第２の透過率特性を有する第４の光学領域を含み、
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、
前記画像合成部は、前記第１の撮像領域から取得された第１の画像信号および前記第２の撮像領域から取得された第２の画像信号を合成して第１の合成画像信号を生成し、前記第３の撮像領域から取得された第３の画像信号および前記第４の撮像領域から取得された第４の画像信号を合成して第２の合成画像信号を生成し、
前記画像選択部は、前記第１の合成画像信号から構成される第１の画像中の画素の飽和度合と、前記第２の合成画像信号から構成される第２の画像中の画素の飽和度合とを比較することによって、前記第１の合成画像信号および前記第２の合成画像信号からいずれか１つを選択し、
前記顔認識部は、選択された合成画像信号に基づいて前記運転者の顔の特徴点を認識し、
前記目開度検出部は、前記顔の特徴点に基づいて前記運転者の目の開口度を検出し、
前記脇見・居眠り判定部は、前記目の開口度の検出結果に応じて前記運転者が居眠りをしているか否かを判定する、請求項１に記載の運転者監視システム。
【請求項９】
レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する第１および第２の撮像装置であって、前記各光学領域を通過した光の情報を示し、前記各撮像領域から得られる複数の画像信号を出力する第１および第２の撮像装置と、
第１の偏光軸の方向に振動する近赤外光を照射する補助照明と、
前記第１の撮像装置から出力される前記複数の画像信号から第１の選択画像信号を選択する第１の画像選択部と、
前記第２の撮像装置から出力された前記複数の画像信号から第２の選択画像信号を選択する第２の画像選択部と、
前記第１および第２の選択画像信号から得られる視差量を用いて運転者までの距離を演算する距離演算部と、
前記第１の選択画像信に基づいて前記運転者の顔の２次元特徴点を認識する顔認識部と、
前記２次元特徴点に基づいて前記運転者の目の開口度を検出する目開度検出部と、
前記目の開口度の検出結果に応じて、前記運転者が居眠りをしているか否かを判定する居眠り判定部と、
前記第１の選択画像信および前記運転者までの距離に基づいて前記運転者の顔の３次元特徴点を認識する３次元顔認識部と、
前記顔の３次元特徴点に基づいて前記運転者の顔向きを判定する顔向き判定部と、
前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定する脇見判定部と
を含む信号処理回路と
を備え、
前記少なくとも２つの光学領域は、前記第１の偏光軸の方向に振動する光を透過させる第１の偏光特性を有する第１の光学領域および前記第１の偏光軸の方向と垂直な第２の偏光軸の方向に振動する光を透過させる第２の偏光特性を有する第２の光学領域を含み、
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域および前記第２の光学領域に対応した第２の撮像領域を含み、
前記第１の画像選択部は、前記第１の撮像領域から取得された第１の画像信号から構成される第１の画像中の画素の飽和度合と、前記第２の撮像領域から取得された第２の画像信号から構成される第２の画像中の画素の飽和度合とを比較することによって、前記第１の画像信号および前記第２の画像信号のいずれか１つを前記第１の選択画像信号として選択し、
前記第２の画像選択部は、前記第１の撮像領域から取得された第１の画像信号から構成される第１の画像中の画素の飽和度合と、前記第２の撮像領域から取得された第２の画像信号から構成される第２の画像中の画素の飽和度合とを比較することによって、前記第１の画像信号および前記第２の画像信号のいずれか１つを前記第２の選択画像信号として選択する、運転者監視システム。
【請求項１０】
前記補助照明を点灯させた後、前記画素の飽和度合に応じて前記補助照明を消灯させる補助照明制御部をさらに備えた、請求項７から９のいずれかに記載の運転者監視システム。
【請求項１１】
近赤外光を照射する補助照明をさらに備え、
前記信号処理回路は、
前記運転者の顔向きを判定する顔向き判定部と、
前記運転者の顔色の変化から心拍数を推定する心拍数推定部と、
推定された心拍数に基づいて前記運転者の体調を判定する体調判定部と
をさらに含み、
前記少なくとも２つの光学領域は、前記近赤外光を透過させる第１の分光特性を有する第１の光学領域、可視光帯域における赤色の光を透過させる第２の分光特性を有する第２の光学領域、可視光帯域における緑色の光を透過させる第３の分光特性を有する第３の光学領域、および可視光帯域における青色の光を透過させる第４の分光特性を有する第４の光学領域を含み、
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、
前記顔認識部は、前記第１の撮像領域から取得された第１の画像信号に基づいて前記運転者の顔の特徴点を認識する第１の顔認識部と、前記第２、第３および第４の撮像領域からそれぞれ取得された第２、第３および第４の画像信号の少なくとも１つに基づいて前記運転者の顔の特徴点を認識する第２の顔認識部とを含み、
前記顔向き判定部は、前記第１の顔認識部によって認識された特徴点に基づいて前記運転者の顔向きを判定し、
前記脇見・居眠り判定部は、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定し、
前記心拍数推定部は、前記第２の顔認識部によって認識された顔の特徴点に着目して前記運転者の顔色の変化を検出し、心拍数を推定する、請求項１に記載の運転者監視システム。
【請求項１２】
レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する第１および第２の撮像装置であって、前記各光学領域を通過した光の情報を示し、前記各撮像領域から得られる複数の画像信号を出力する第１および第２の撮像装置と、
近赤外光を照射する補助照明と、
視差量を用いて運転者までの距離を演算する距離演算部と、
前記運転者の顔の２次元特徴点を認識する第１の顔認識部と、
前記運転者の顔の３次元特徴点を認識する第２の顔認識部と、
前記顔の特徴点に基づいて前記運転者の顔向きを判定する顔向き判定部と、
前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定する脇見判定部と、
前記運転者の顔色の変化から心拍数を推定する心拍数推定部と、
推定された心拍数に基づいて前記運転者の体調を判定する体調判定部と
を含む信号処理回路と
を備え、
前記少なくとも２つの光学領域は、前記近赤外光を透過させる第１の分光特性を有する第１の光学領域、可視光帯域における赤色の光を透過させる第２の分光特性を有する第２の光学領域、可視光帯域における緑色の光を透過させる第３の分光特性を有する第３の光学領域、および可視光帯域における青色の光を透過させる第４の分光特性を有する第４の光学領域を含み、
前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、
前記距離演算部は、前記第１および第２の撮像装置の前記第１の撮像領域からそれぞれ取得された第１の画像信号から得られる視差量を用いて前記運転者までの距離を演算し、
前記第１の顔認識部は、前記第１の撮像装置の前記第２、第３および第４の撮像領域からそれぞれ取得された第２、第３および第４の画像信号の少なくとも１つに基づいて前記運転者の顔の２次元特徴点を認識し、
前記第２の顔認識部は、前記第１の撮像装置の前記第１の撮像領域から取得された第１の画像信号および前記運転者までの距離に基づいて前記運転者の顔の３次元特徴点を認識し、
前記顔向き判定部は、前記３次元特徴点に基づいて前記運転者の顔向きを判定し、
前記脇見判定部は、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定し、
前記心拍数推定部は、前記顔の２次元特徴点に着目して前記運転者の顔色の変化を検出し、心拍数を推定する、運転者監視システム。
【請求項１３】
前記運転者までの距離に基づいて前記運転者の姿勢を検知する姿勢検知部と、
前記姿勢検知部の検知結果に基づき、エアバックを展開するか否かを判定し、前記エアバックの展開および展開速度を制御するエアバック展開制御部と
をさらに備えた、請求項３から６、９および１２のいずれかに記載の運転者監視システム。
【請求項１４】
前記脇見・居眠り判定部の判定結果に応じて、前記運転者に警告を発する警告装置をさらに備えた、請求項１に記載の運転者監視システム。
【請求項１５】
レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置から出力される複数の画像信号であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号の少なくとも１つを解析することによって、運転者が脇見および／または居眠りをしているか否かを監視する運転者監視方法であって、
前記複数の画像信号の少なくとも１つの画像信号に基づいて前記運転者の顔の特徴点を認識するステップと、
前記顔の特徴点に基づいて前記運転者が脇見または居眠りをしているか否かを判定するステップと
を包含する、運転者監視方法。
【請求項１６】
レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置から出力される複数の画像信号であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号の少なくとも１つを解析することによって、運転者が脇見および／または居眠りをしているか否かを監視する運転者監視システムにおいて用いられるコンピュータプログラムであって、前記運転者監視システムのコンピュータに、
前記複数の画像信号の少なくとも１つの画像信号に基づいて前記運転者の顔の特徴点を認識するステップと、
前記顔の特徴点に基づいて前記運転者が脇見または居眠りをしているか否かを判定するステップと
を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、運転者を監視する運転者監視システムに関する。
【背景技術】
【０００２】
近年、車内に搭載されたカメラを用いて運転者を撮影し、撮影画像を解析することによって、運転者の顔向きを検出し、運転者が脇見や居眠り運転を行っていないかを監視する運転者監視システムが提案されている。
【０００３】
特許文献１に開示された運転者監視システムでは、車内のダッシュボード上の左右の離れた位置に配置された２台のカメラを用いて、運転者を左右から撮影する。２台のカメラから得られた撮影画像から顔部品の特徴点の位置を推定し、推定した位置に基づいて顔向きを検出する。顔部品の特徴点とは、例えば眉毛、目および口である。この運転者監視システムによれば、単眼カメラと比べて、精度よく顔向きを検出することができる。
【０００４】
特許文献２に開示された運転者監視システムでは、複数のレンズの基線方向が垂直方向（鉛直方向）と一致した複眼カメラを用いて運転者を撮影する。撮影画像から顔部品の特徴点の３次元位置を視差量に基づいて検出し、運転者の顔向きを推定する。この運転者監視システムによれば、３次元情報に基づいて十分な精度で顔向きを検出することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２５７３３３号公報
【特許文献２】特許第４９８９７６２５号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した従来の技術では、顔向き検出の精度のさらなる向上が求められていた。本願の、限定的ではない例示的なある実施形態は、顔向き検出の精度を向上させることが可能な運転者監視システムを提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の一態様は、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置と、前記複数の画像信号の少なくとも１つの画像信号に基づいて運転者の顔の特徴点を認識する顔認識部と、前記顔の特徴点に基づいて前記運転者が脇見または居眠りをしているか否かを判定する脇見・居眠り判定部とを含む信号処理回路とを備えた、運転者監視システムを含む。
【０００８】
上述の一般的かつ特定の態様は、方法およびコンピュータプログラムを用いて実装され、または方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
【発明の効果】
【０００９】
本発明の一態様にかかる運転者監視システムによれば、単一のカメラを用いて、より精度よく顔向きを検出することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１による運転者監視システム１００のブロック構成図である。
【図２】カメラユニット１０が車内に搭載される様子を示す模式図である。
【図３】カメラユニット１０を運転者２からみた場合の正面図である。
【図４】カメラ６の構成例を示す模式図である。
【図５】実施の形態１による光学素子Ｌ２を被写体側から見た正面図である。
【図６】（ａ）は、実施の形態１による光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性を説明するための図であり、（ｂ）は、実施の形態１の変形例による光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性を説明するための図である。
【図７】実施の形態１によるアレイ状光学素子Ｋの斜視図である。
【図８】（ａ）は、実施の形態１による、アレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。
【図９】人間の顔の模式図である。
【図１０】実施の形態１の変形例による運転者監視システム１００Ａのブロック構成図である。
【図１１】実施の形態１の変形例によるカメラユニット１０を運転者からみた場合の正面図である。
【図１２】実施の形態２による運転者監視システム２００のブロック構成図である。
【図１３】（ａ）は、実施の形態２による光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性を説明するための図であり、（ｂ）は、実施の形態２の変形例による光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性を説明するための図である。
【図１４】実施の形態３による運転者監視システム３００のブロック構成図である。
【図１５】実施の形態３による光学素子Ｌ２を被写体側から見た正面図である。
【図１６】（ａ）は、実施の形態３による光学領域Ｄ１およびＤ２の光学特性を説明するための図であり、（ｂ）は、実施の形態３の変形例による光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性説明するための図である。
【図１７】実施の形態３によるアレイ状光学素子Ｋの斜視図である。
【図１８】（ａ）は、実施の形態３による、アレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。
【図１９】実施の形態３の変形例による運転者監視システム３００Ａのブロック構成図である。
【図２０】実施の形態４による運転者監視システム４００のブロック構成図である。
【図２１】実施の形態４による光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性を説明するための図である。
【図２２】実施の形態４の変形例による運転者監視システム４００Ａのブロック構成図である。
【図２３】実施の形態１による運転者監視システム１００の動作を示すフローチャートである。
【図２４】実施の形態２による被写体までの距離と鮮鋭度（画像のシャープさ）の関係の例を示すグラフである。
【発明を実施するための形態】
【００１１】
本願発明者は、従来の運転者監視システムの構成を詳細に検討し、以下に示すような問題を見出した。
【００１２】
車内に搭載されたカメラ（以下、「撮像装置」と称する場合がある。）を用いて運転者を撮影しているときに、横からの強い日の光（横日）が車内に差し込むと、横日の反射により、撮影画像の片側半分が飽和してしまうことがある。その場合、撮影画像を解析しても、運転者の顔認識を正しく行うことはできない。そのため、運転者の顔向きを精度よく検出することが困難となる。また、トンネルの出口や逆光下など急激に明るさが変化する環境においても同様の問題が生じる。従来の運転者監視システムは、撮影環境に対して高いロバスト性を有しているとは言い難い。
【００１３】
特許文献１および２の運転者監視システムでは、運転者とカメラとの距離は、ステレオビジョンの原理を用いて求まるので、２台のカメラ（複眼カメラを含む）が必要となる。したがって、カメラを搭載するカメラユニットを小型化にするという観点では、運転者監視システムの構成は十分とは言えない。また、運転者が眼鏡を装着している場合、補助光が眼鏡で反射するので、顔部品の１つである目が位置する画像領域に白飛びが発生し、目の動きを検出できなくなる。
【００１４】
可視光から得られるカラー画像を解析することにより、運転者の顔色の変化を検出して、心拍数を検知する技術が知られている。心拍数を検知することに加えて、例えば、近赤外光から得られる画像を解析して運転者の顔向きが検出される。その場合、カラー画像用のカメラと近赤外光用のカメラとが必要になり、運転者監視システムの規模が増大してしまう。
【００１５】
このような従来技術の課題に鑑み、本願発明者は、新規な構成を有する運転者監視システムに想到した。本発明の一態様の概要は以下のとおりである。
【００１６】
本発明の一態様である運転者監視システムは、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置と、前記複数の画像信号の少なくとも１つの画像信号に基づいて運転者の顔の特徴点を認識する顔認識部と、前記顔の特徴点に基づいて前記運転者が脇見または居眠りをしているか否かを判定する脇見・居眠り判定部とを含む信号処理回路とを備える。
【００１７】
ある態様において、近赤外光を照射する補助照明をさらに備え、前記信号処理回路は、前記複数の画像信号を合成して合成画像信号を生成する画像合成部と、前記運転者の顔向きを判定する顔向き判定部とをさらに含み、前記少なくとも２つの光学領域は、第１の透過率特性を有する第１の光学領域、前記第１の透過率特性とは異なる第２の透過率特性を有する第２の光学領域、前記第１および第２の透過率特性とは異なる第３の透過率特性を有する第３の光学領域、ならびに前記第１、第２および第３の透過率特性とは異なる第４の透過率特性を有する第４の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、前記画像合成部は、前記第１の撮像領域から取得された第１の画像信号、前記第２の撮像領域から取得された第２の画像信号、前記第３の撮像領域から取得された第３の画像信号、および前記第４の撮像領域から取得された第４の画像信号を合成して前記合成画像信号を生成し、前記顔認識部は、前記合成画像信号に基づいて前記運転者の顔の特徴点を認識し、前記顔向き判定部は、前記顔の特徴点に基づいて前記運転者の顔向きを判定し、前記脇見・居眠り判定部は、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定してもよい。
【００１８】
ある態様において、近赤外光を照射する補助照明をさらに備え、前記信号処理回路は、前記複数の画像信号を合成して合成画像信号を生成する画像合成部と、前記運転者までの距離を演算する距離演算部と、前記運転者の顔向きを判定する顔向き判定部とをさらに含み、前記少なくとも２つの光学領域は、第１の透過率特性を有する第１および第３の光学領域と、前記第１の透過率特性とは異なる第２の透過率特性を有する第２および第４の光学領域とを含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、前記画像合成部は、前記第１の撮像領域から取得された第１の画像信号および前記第２の撮像領域から取得された第２の画像信号を合成して第１の合成画像信号を生成し、前記第３の撮像領域から取得された第３の画像信号および前記第４の撮像領域から取得された第４の画像信号を合成して第２の合成画像信号を生成し、前記距離演算部は、前記第１および第２の合成画像信号に基づいて前記運転者までの距離を演算し、前記顔認識部は、前記第１の合成画像信号および前記運転者までの距離に基づいて前記運転者の顔の３次元特徴点を認識し、前記顔向き判定部は、前記３次元特徴点に基づいて前記運転者の顔向きを判定し、前記脇見・居眠り判定部は、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定してもよい。
【００１９】
ある態様において、近赤外光を照射する補助照明をさらに備え、前記信号処理回路は、前記複数の画像信号を合成して合成画像信号を生成する画像合成部と、前記運転者までの距離を演算する距離演算部と、前記運転者の顔向きを判定する顔向き判定部とをさらに含み、前記少なくとも２つの光学領域は、第１の合焦特性を有する第１の光学領域、前記第１の合焦特性とは異なる第２の合焦特性を有する第２の光学領域、前記第１および第２の合焦特性とは異なる第３の合焦特性を有する第３の光学領域、ならびに前記第１、第２および第３の合焦特性とは異なる第４の合焦特性を有する第４の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、前記画像合成部は、前記第１の撮像領域から取得された第１の画像信号、前記第２の撮像領域から取得された第２の画像信号、前記第３の撮像領域から取得された第３の画像信号、および前記第４の撮像領域から取得された第４の画像信号を合成して前記合成画像信号を生成し、前記距離演算部は、前記第１、第２、第３および第４の画像信号に基づいて、前記運転者までの距離を演算し、前記顔認識部は、前記合成画像信号および前記運転者までの距離に基づいて前記運転者の顔の３次元特徴点を認識し、前記顔向き判定部は、前記３次元特徴点に基づいて前記運転者の顔向きを判定し、前記脇見・居眠り判定部は、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定してもよい。
【００２０】
ある態様において、近赤外光を照射する補助照明をさらに備え、前記信号処理回路は、前記複数の画像信号を合成して合成画像信号を生成する画像合成部と、前記運転者までの距離を演算する距離演算部と前記運転者の顔向きを判定する顔向き判定部とをさらに含み、前記少なくとも２つの光学領域は、第１の透過率特性および第１の合焦特性を有する第１の光学領域、前記第１の透過率特性とは異なる第２の透過率特性および前記第１の合焦特性を有する第２の光学領域、前記第１の透過率特性および前記第１の合焦特性とは異なる第２の合焦特性を有する第３の光学領域、ならびに前記第２の透過率特性および前記第２の合焦特性を有する第４の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、前記画像合成部は、前記第１の撮像領域から取得された第１の画像信号および前記第２の撮像領域から取得された第２の画像信号を合成して第１の合成画像信号を生成し、前記第３の撮像領域から取得された第３の画像信号および前記第４の撮像領域から取得された第４の画像信号を合成して第２の合成画像信号を生成し、前記第１および第２の合成画像を合成して第３の合成画像信号をさらに生成し、前記距離演算部は、前記第１および第２の合成画像信号に基づいて前記運転者までの距離を演算し、前記顔認識部は、前記第３の合成画像信号および前記運転者までの距離に基づいて前記運転者の顔の３次元特徴点を認識し、前記顔向き判定部は、前記３次元特徴点に基づいて前記運転者の顔向きを判定し、前記脇見・居眠り判定部は、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定してもよい。
【００２１】
本発明の他の一態様である運転者監視システムは、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する第１および第２の撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から得られる複数の画像信号を出力する第１および第２の撮像装置と、近赤外光を照射する補助照明と、前記第１の撮像装置から出力される前記複数の画像信号を合成して第１の合成画像信号を生成する第１の画像合成部と、前記第２の撮像装置から出力される前記複数の画像信号を合成して第２の合成画像信号を生成する第２の画像合成部と、前記第１および第２の合成画像信号から得られる視差量を用いて運転者までの距離を演算する距離演算部と、前記第１の合成画像信号および前記運転者までの距離に基づいて前記運転者の顔の３次元特徴点を認識する３次元顔認識部と、前記３次元特徴点に基づいて前記運転者の顔向きを判定する顔向き判定部と、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定する脇見判定部とを含む信号処理回路とを備え、前記少なくとも２つの光学領域は、第１の透過率特性を有する第１の光学領域、前記第１の透過率特性とは異なる第２の透過率特性を有する第２の光学領域、前記第１および第２の透過率特性とは異なる第３の透過率特性を有する第３の光学領域、ならびに前記第１、第２および第３の透過率特性とは異なる第４の透過率特性を有する第４の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、前記第１の画像合成部は、前記第１の撮像領域から取得された第１の画像信号、前記第２の撮像領域から取得された第２の画像信号、前記第３の撮像領域から取得された第３の画像信号、および前記第４の撮像領域から取得された第４の画像信号を合成して前記第１の合成画像を生成し、前記第２の画像合成部は、前記第１の撮像領域から取得された第１の画像信号、前記第２の撮像領域から取得された第２の画像信号、前記第３の撮像領域から取得された第３の画像信号、および前記第４の撮像領域から取得された第４の画像信号を合成して前記第２の合成画像を生成する。
【００２２】
ある態様において、前記運転者までの距離に基づいて前記運転者の姿勢を検知する姿勢検知部と、前記姿勢検知部の検知結果に基づき、エアバックを展開するか否かを判定し、前記エアバックの展開および展開速度を制御するエアバック展開制御部とをさらに備えていてもよい。
【００２３】
ある態様において、第１の偏光軸の方向に振動する近赤外光を照射する補助照明をさらに備え、前記信号処理回路は、前記複数の画像信号の中から１つを選択する画像選択部と、前記運転者の目の開口度を検出する目開度検出部とをさらに含み、前記少なくとも２つの光学領域は、前記第１の偏光軸の方向に振動する光を透過させる第１の偏光特性を有する第１の光学領域および前記第１の偏光軸の方向と垂直な第２の偏光軸の方向に振動する光を透過させる第２の偏光特性を有する第２の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域および前記第２の光学領域に対応した第２の撮像領域を含み、前記画像選択部は、前記第１の撮像領域から取得された第１の画像信号から構成される第１の画像中の画素の飽和度合と、前記第２の撮像領域から取得された第２の画像信号から構成される第２の画像中の画素の飽和度合とを比較することによって、前記第１の画像信号および前記第２の画像信号からいずれか１つを選択し、前記顔認識部は、選択された画像信号に基づいて前記運転者の顔の特徴点を認識し、前記目開度検出部は、前記顔の特徴点に基づいて前記運転者の目の開口度を検出し、前記脇見・居眠り判定部は、前記目の開口度の検出結果に応じて前記運転者が居眠りをしているか否かを判定してもよい。
【００２４】
ある態様において、第１の偏光軸の方向に振動する光を照射する補助照明をさらに備え、前記信号処理回路は、前記複数の画像信号を合成して合成画像信号を生成する画像合成部と、前記複数の画像信号の中から１つを選択する画像選択部と、前記運転者の目の開口度を検出する目開度検出部とをさらに含み、前記少なくとも２つの光学領域は、前記第１の偏光軸の方向に振動する光を透過させる第１の偏光特性および第１の透過率特性を有する第１の光学領域、前記第１の偏光特性および前記第１の透過率特性とは異なる第２の透過率特性を有する第２の光学領域、前記第１の偏光軸の方向と垂直な第２の偏光軸の方向に振動する光を透過させる第２の偏光特性および前記第１の透過率特性を有する第３の光学領域、および前記第２の偏光特性および前記第２の透過率特性を有する第４の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、前記画像合成部は、前記第１の撮像領域から取得された第１の画像信号および前記第２の撮像領域から取得された第２の画像信号を合成して第１の合成画像信号を生成し、前記第３の撮像領域から取得された第３の画像信号および前記第４の撮像領域から取得された第４の画像信号を合成して第２の合成画像信号を生成し、前記画像選択部は、前記第１の合成画像信号から構成される第１の画像中の画素の飽和度合と、前記第２の合成画像信号から構成される第２の画像中の画素の飽和度合とを比較することによって、前記第１の合成画像信号および前記第２の合成画像信号からいずれか１つを選択し、前記顔認識部は、選択された合成画像信号に基づいて前記運転者の顔の特徴点を認識し、前記目開度検出部は、前記顔の特徴点に基づいて前記運転者の目の開口度を検出し、前記脇見・居眠り判定部は、前記目の開口度の検出結果に応じて前記運転者が居眠りをしているか否かを判定してもよい。
【００２５】
本発明の他の一態様である運転者監視システムは、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する第１および第２の撮像装置であって、前記各光学領域を通過した光の情報を示し、前記各撮像領域から得られる複数の画像信号を出力する第１および第２の撮像装置と、第１の偏光軸の方向に振動する近赤外光を照射する補助照明と、前記第１の撮像装置から出力される前記複数の画像信号から第１の選択画像信号を選択する第１の画像選択部と、前記第２の撮像装置から出力された前記複数の画像信号から第２の選択画像信号を選択する第２の画像選択部と、前記第１および第２の選択画像信号から得られる視差量を用いて運転者までの距離を演算する距離演算部と、前記第１の選択画像信に基づいて前記運転者の顔の２次元特徴点を認識する顔認識部と、前記２次元特徴点に基づいて前記運転者の目の開口度を検出する目開度検出部と、前記目の開口度の検出結果に応じて、前記運転者が居眠りをしているか否かを判定する居眠り判定部と、前記第１の選択画像信および前記運転者までの距離に基づいて前記運転者の顔の３次元特徴点を認識する３次元顔認識部と、前記顔の３次元特徴点に基づいて前記運転者の顔向きを判定する顔向き判定部と、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定する脇見判定部とを含む信号処理回路とを備え、前記少なくとも２つの光学領域は、前記第１の偏光軸の方向に振動する光を透過させる第１の偏光特性を有する第１の光学領域および前記第１の偏光軸の方向と垂直な第２の偏光軸の方向に振動する光を透過させる第２の偏光特性を有する第２の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域および前記第２の光学領域に対応した第２の撮像領域を含み、前記第１の画像選択部は、前記第１の撮像領域から取得された第１の画像信号から構成される第１の画像中の画素の飽和度合と、前記第２の撮像領域から取得された第２の画像信号から構成される第２の画像中の画素の飽和度合とを比較することによって、前記第１の画像信号および前記第２の画像信号のいずれか１つを前記第１の選択画像信号として選択し、前記第２の画像選択部は、前記第１の撮像領域から取得された第１の画像信号から構成される第１の画像中の画素の飽和度合と、前記第２の撮像領域から取得された第２の画像信号から構成される第２の画像中の画素の飽和度合とを比較することによって、前記第１の画像信号および前記第２の画像信号のいずれか１つを前記第２の選択画像信号として選択する。
【００２６】
ある態様において、前記運転者までの距離に基づいて前記運転者の姿勢を検知する姿勢検知部と、前記姿勢検知部の検知結果に基づき、エアバックを展開するか否かを判定し、前記エアバックの展開および展開速度を制御するエアバック展開制御部とをさらに備えていてもよい。
【００２７】
ある態様において、前記補助照明を点灯させた後、前記画素の飽和度合に応じて前記補助照明を消灯させる補助照明制御部をさらに備えていてもよい。
【００２８】
ある態様において、近赤外光を照射する補助照明をさらに備え、前記信号処理回路は、前記運転者の顔向きを判定する顔向き判定部と、前記運転者の顔色の変化から心拍数を推定する心拍数推定部と、推定された心拍数に基づいて前記運転者の体調を判定する体調判定部とをさらに含み、前記少なくとも２つの光学領域は、前記近赤外光を透過させる第１の分光特性を有する第１の光学領域、可視光帯域における赤色の光を透過させる第２の分光特性を有する第２の光学領域、可視光帯域における緑色の光を透過させる第３の分光特性を有する第３の光学領域、および可視光帯域における青色の光を透過させる第４の分光特性を有する第４の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、前記顔認識部は、前記第１の撮像領域から取得された第１の画像信号に基づいて前記運転者の顔の特徴点を認識する第１の顔認識部と、前記第２、第３および第４の撮像領域からそれぞれ取得された第２、第３および第４の画像信号の少なくとも１つに基づいて前記運転者の顔の特徴点を認識する第２の顔認識部とを含み、前記顔向き判定部は、前記第１の顔認識部によって認識された特徴点に基づいて前記運転者の顔向きを判定し、前記脇見・居眠り判定部は、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定し、前記心拍数推定部は、前記第２の顔認識部によって認識された顔の特徴点に着目して前記運転者の顔色の変化を検出し、心拍数を推定してもよい。
【００２９】
本発明の他の一態様である運転者監視システムは、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する第１および第２の撮像装置であって、前記各光学領域を通過した光の情報を示し、前記各撮像領域から得られる複数の画像信号を出力する第１および第２の撮像装置と、近赤外光を照射する補助照明と、視差量を用いて運転者までの距離を演算する距離演算部と、前記運転者の顔の２次元特徴点を認識する第１の顔認識部と、前記運転者の顔の３次元特徴点を認識する第２の顔認識部と、前記顔の特徴点に基づいて前記運転者の顔向きを判定する顔向き判定部と、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定する脇見判定部と、前記運転者の顔色の変化から心拍数を推定する心拍数推定部と、推定された心拍数に基づいて前記運転者の体調を判定する体調判定部とを含む信号処理回路とを備え、前記少なくとも２つの光学領域は、前記近赤外光を透過させる第１の分光特性を有する第１の光学領域、可視光帯域における赤色の光を透過させる第２の分光特性を有する第２の光学領域、可視光帯域における緑色の光を透過させる第３の分光特性を有する第３の光学領域、および可視光帯域における青色の光を透過させる第４の分光特性を有する第４の光学領域を含み、前記少なくとも２つの撮像領域は、前記第１の光学領域に対応した第１の撮像領域、前記第２の光学領域に対応した第２の撮像領域、前記第３の光学領域に対応した第３の撮像領域、および前記第４の光学領域に対応した第４の撮像領域を含み、前記距離演算部は、前記第１および第２の撮像装置の前記第１の撮像領域からそれぞれ取得された第１の画像信号から得られる視差量を用いて前記運転者までの距離を演算し、前記第１の顔認識部は、前記第１の撮像装置の前記第２、第３および第４の撮像領域からそれぞれ取得された第２、第３および第４の画像信号の少なくとも１つに基づいて前記運転者の顔の２次元特徴点を認識し、前記第２の顔認識部は、前記第１の撮像装置の前記第１の撮像領域から取得された第１の画像信号および前記運転者までの距離に基づいて前記運転者の顔の３次元特徴点を認識し、前記顔向き判定部は、前記３次元特徴点に基づいて前記運転者の顔向きを判定し、前記脇見判定部は、前記運転者の顔向きの判定結果に応じて前記運転者が脇見をしているか否かを判定し、前記心拍数推定部は、前記顔の２次元特徴点に着目して前記運転者の顔色の変化を検出し、心拍数を推定する。
【００３０】
ある態様において、前記運転者までの距離に基づいて前記運転者の姿勢を検知する姿勢検知部と、前記姿勢検知部の検知結果に基づき、エアバックを展開するか否かを判定し、前記エアバックの展開および展開速度を制御するエアバック展開制御部とをさらに備えていてもよい。
【００３１】
ある態様において、前記脇見・居眠り判定部の判定結果に応じて、前記運転者に警告を発する警告装置をさらに備えていてもよい。
【００３２】
本発明の他の一態様である方法は、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置から出力される複数の画像信号であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号の少なくとも１つを解析することによって、運転者が脇見および／または居眠りをしているか否かを監視する運転者監視方法であって、前記複数の画像信号の少なくとも１つの画像信号に基づいて前記運転者の顔の特徴点を認識するステップと、前記顔の特徴点に基づいて前記運転者が脇見または居眠りをしているか否かを判定するステップとを包含する。
【００３３】
本発明の他の一態様であるコンピュータプログラムは、レンズ、および異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置から出力される複数の画像信号であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号の少なくとも１つを解析することによって、運転者が脇見および／または居眠りをしているか否かを監視する運転者監視システムにおいて用いられるコンピュータプログラムであって、前記運転者監視システムのコンピュータに、前記複数の画像信号の少なくとも１つの画像信号に基づいて前記運転者の顔の特徴点を認識するステップと、前記顔の特徴点に基づいて前記運転者が脇見または居眠りをしているか否かを判定するステップとを実行させる。
【００３４】
上記態様による運転者監視システムによれば、光学領域の光学特性を様々に設定することにより、単一の撮像装置を用いて、例えば、ハイダミックレンジ（以降、「ＨＤＲ」と称する。）の撮影、単眼測距、光の偏光特性を利用した撮影、光の分光特性を利用した撮影を行うことが可能になる。これらの撮影によって得られた画像情報を解析することにより、運転者が脇見または居眠りをしているかを精度よく判定することができる。
【００３５】
以下、図面を参照しながら、本発明による運転者監視システムの実施形態を説明する。
【００３６】
（実施の形態１）
まず、図１〜３を参照して、本実施の形態による運転者監視システム１００の構成および機能を説明する。
【００３７】
図１は、本実施の形態による運転者監視システム１００のブロック構成図を示す。運転者監視システム１００は、カメラユニット１０と、信号処理回路２０と、コントローラ３０と、警告装置４０とを備えている。なお、警告装置４０は、運転者監視システム１００の構成要素でなくてもよく、運転者監視システム１００に接続される外部機器であってもよい。本願明細書では、警告装置４０は、運転者監視システム１００の構成要素であるものとして説明する。
【００３８】
カメラユニット１０は、運転者に向けて補助照明光として近赤外光を照射する。カメラ６は、運転者の像を検出し、互いに異なる光の透過率特性を示す光の情報を有する複数の画像信号を生成する。
【００３９】
信号処理回路２０は、複数の画像信号を合成してＨＤＲの合成画像信号を生成し、ＨＤＲの合成画像信号に基づいて運転者が脇見をしているか否かを判定する。
【００４０】
警告装置４０は、信号処理回路２０が、運転者が脇見をしていると判定した場合、脇見運転をしていることを運転者に警告する。
【００４１】
コントローラ３０は、運転者監視システム１００全体を制御する。コントローラ３０は、半導体素子などにより構成される。コントローラ３０は、典型的にはマイクロコンピュータによって実現される。コントローラ３０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
【００４２】
図２は、カメラユニット１０が自動車４内に搭載される様子を示す模式図である。例えば、カメラユニット１０は、車内のステアリングコラム５の上に配置される。カメラユニト１０は、ステアリングホイール３を通して正面から見上げるように、運転者２を撮影する。なお、カメラユニット１０は、ステアリングコラム５の上に配置されていなくてもよく、運転者２の顔を撮影できるあらゆる場所に配置され得る。例えば、カメラユニット１０は、フロントガラスの上部、またはダッシュボードの上部に配置されていてもよい。
【００４３】
信号処理回路２０およびコントローラ３０は、カメラユニット１０内に設けられていてもよいし、例えば、信号処理回路２０は、車内のカーナビゲーションシステム（不図示）の装置内に設けられていてもよい。この場合、カメラユニット１０とカーナビゲーションシステムとの間で、有線または無線の通信が双方向で行われる。または、信号処理回路２０の機能がスマートフォン（不図示）に実装されており、カメラユニット１０とスマートフォンとの間で、有線または無線の通信が双方向で行われ得る。スマートフォンは警告装置として機能し、スマートフォンの画面上に警告が表示されてもよい。
【００４４】
図３は、カメラユニット１０を運転者２からみた場合の正面図である。カメラユニット１０は、カメラ６および補助照明７を含む。補助照明７は、運転手に向けて近赤外光を補助光をして照射する。補助照明７は、例えばＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）から構成される。図３には、運転手を均一に照射する観点から、カメラ６を基準にして４つのＬＥＤを左右対称に２つずつ配置する例を示している。
【００４５】
図４〜８を参照して、カメラ６の構成の一例を説明する。本発明の実施形態によるカメラ６の構成は、以下で例示するものに限られない。
【００４６】
図４は、カメラ６の構成例を示す模式図である。カメラ６は、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎとを備える。
【００４７】
撮像素子Ｎは、例えばＣＭＯＳセンサやＣＣＤセンサである。
【００４８】
レンズ光学系Ｌは、レンズＬ１、絞りＳおよび光学素子Ｌ２を含む。被写体（不図示）から入射した光束Ｂの光線方向は、レンズＬ１により屈曲され、絞りＳで不要な光線が排除される。レンズＬ１は、一枚のレンズで構成されていてもよいし、複数枚のレンズ（レンズ群）で構成されていてもよい。光学素子Ｌ２は、絞りＳ近傍に配置される。なお、絞りＳは、光学素子Ｌ２の被写体側ではなく、光学素子Ｌ２の撮像素子Ｎ側に配置されてもよい。また、レンズ光学系Ｌが複数枚のレンズで構成される場合、レンズとレンズの間に絞りＳが配置されてもよい。
【００４９】
図５は、光学素子Ｌ２を被写体側から見た正面図である。光学領域Ｄ１、Ｄ２、Ｄ３、およびＤ４は、光軸Ｖに垂直な平面を、光軸Ｖと交わる直線ｌ１、ｌ２によって４つに分割した領域である。直線ｌ１と直線ｌ２とは、光軸Ｖに垂直な平面において、互いに垂直に交わっている。原則として、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４は、等しい面積を有している。また、破線ｓは、絞りＳの位置を示している。ただし、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４は異なる面積を有していてもよい。
【００５０】
図６（ａ）は、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性を示し、図６（ｂ）は、本実施の形態の変形例による光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性を示している。本実施の形態のカメラ６のレンズ光学系Ｌは、図６（ａ）に示す光の透過率特性を有する複数の光学領域を含んでいる。図６（ａ）に示すように、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４において、光の透過率は、それぞれ、１００％、２５％、６．２５％、および１．５６２５％である。すなわち、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の透過率の比は、６４：１６：４：１であり、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の透過率は、互いに異なっている。光学領域は、互いに光の透過率が異なるＮＤフィルタ（Ｎｅｕｔｒａｌ  Ｄｅｎｓｉｔｙ  Ｆｉｌｔｅｒ）を配置することにより形成することがきる。
【００５１】
図７は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光学要素Ｍ２が格子状に配置されている。それぞれの光学要素Ｍ２の断面（縦方向および横方向それぞれの断面）は曲面であり、それぞれの光学要素Ｍ２は、撮像素子Ｎ側に突出している。このように、光学要素Ｍ２はマイクロレンズであり、アレイ状光学素子Ｋは、マイクロレンズアレイとなっている。
【００５２】
図８（ａ）は、アレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、図８（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、かつ撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。また、アレイ状光学素子Ｋは、光学要素Ｍ２が形成された面が撮像面Ｎｉ側を向くように配置されている。
【００５３】
撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは、画素Ｐ１、Ｐ２、Ｐ３およびＰ４に区別できる。画素Ｐ１、Ｐ２、Ｐ３およびＰ４は、それぞれ、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４を通過した光の大部分が入射する画素である。図８（ｂ）において、画素Ｐ１Ａ、Ｐ１Ｂ、・・・は、画素Ｐ１に分類され、第１の撮像領域Ｃ１を形成する。画素Ｐ２Ａ、Ｐ２Ｂ、・・・は、画素Ｐ２に分類され、第２の撮像領域Ｃ２を形成する。画素Ｐ３Ａ、Ｐ３Ｂ、・・・は、画素Ｐ３に分類され、第３の撮像領域Ｃ３を形成する。画素Ｐ４Ａ、Ｐ４Ｂ、・・・は、画素Ｐ４に分類され、第４の撮像領域Ｃ４を形成する。
【００５４】
アレイ状光学素子Ｋは、光学領域Ｄ１を通過した光を、光学領域Ｄ１に対応した第１の撮像領域Ｃ１内の画素に入射させ、光学領域Ｄ２を通過した光を、光学領域Ｄ２に対応した第２の撮像領域Ｃ２内の画素に入射させ、光学領域Ｄ３を通過した光を、光学領域Ｄ３に対応した第３の撮像領域Ｃ３内の画素に入射させ、光学領域Ｄ４を通過した光を、光学領域Ｄ４に対応した第４の撮像領域Ｃ４内の画素に入射させる。
【００５５】
撮像面Ｎｉには、単位領域Ｍ２Ｉが、縦方向（列方向）および横方向に、複数配置されている。それぞれの単位領域Ｍ２Ｉには、２行２列の画素Ｐ１〜Ｐ４から構成される４つの画素が設けられている。撮像面Ｎｉにおける１つの単位領域Ｍ２Ｉは、アレイ状光学素子Ｋにおける１つの光学要素Ｍ２に対応している。撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３およびＰ４の表面を覆うようにマイクロレンズＭｓが設けられている。
【００５６】
単位領域Ｍ２Ｉ内に配置される画素（例えば画素Ｐ１Ａ、Ｐ２Ａ、Ｐ３Ａ、Ｐ４Ａ）には、被写体における同じ部分からの光が入射する。
【００５７】
撮像素子Ｎは、撮像領域Ｃ１に入射した光の量に応じて第１の画像信号Ｉ１を生成し、第２の撮像領域Ｃ２に入射した光の量に応じて第２の画像信号Ｉ２を生成し、撮像領域Ｃ３に入射した光の量に応じて第３の画像信号Ｉ３を生成し、撮像領域Ｃ４に入射した光の量に応じて第４の画像信号Ｉ４を生成する。
【００５８】
カメラユニット１０は、撮像領域Ｃ１、Ｃ２、Ｃ３およびＣ４に対応した第１の画像信号Ｉ１、第２の画像信号Ｉ２、第３の画像信号Ｉ３および第４の画像信号Ｉ４をそれぞれ出力する。
【００５９】
なお、光学領域を４分割にする例を示したが、光学領域は、２分割、３分割または５分割以上にされていてもよい。光学領域の構造は、設計仕様等を考慮して適宜決定することができる。
【００６０】
再び、図１を参照しながら、信号処理回路２０の詳細を説明する。
【００６１】
信号処理回路２０は、画像合成部２１と、顔認識部２２と、顔向き判定部２３と、脇見判定部２４とを有する。
【００６２】
信号処理回路２０は、半導体素子などにより構成される。信号処理回路２０は、典型的にはイメージシグナルプロセッサ（ＩＳＰ）によって実現され得る。信号処理回路２０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。
【００６３】
なお、本実施の形態では、信号処理回路２０とコントローラ３０とは、それぞれ独立した回路として、運転者監視システム１００内に実装される例を示すが、本発明はこれに限定されない。例えば、信号処理回路２０およびコントローラ３０の機能が、１チップの集積回路に実装されていても構わない。例えば、この集積回路は、汎用のプロセッサによって実現され得る。プロセッサ内部のメモリに、各構成要素の機能を発揮するコンピュータプログラムが実装されており、プロセッサが逐次コンピュータプログラムを実行することにより、各構成要素の機能が実現されてもよい。
【００６４】
信号処理回路２０は、撮像素子Ｎから出力された、第１の画像信号Ｉ１、第２の画像信号Ｉ２、第３の画像信号Ｉ３および第４の画像信号Ｉ４の合成画像信号Ｉ５に基づいて、運転者の顔向きを検出し、運転者が脇見をしているか否かを判定する。信号処理回路２０は、運転者が脇見をしているか否かの判定結果を、後段の警告装置４０に出力する。
【００６５】
画像合成部２１は、第１の画像信号Ｉ１から第１の画像情報Ｉ１ａを生成し、第２の画像信号Ｉ２から第２の画像情報Ｉ２ａを生成し、第３の画像信号Ｉ３から第３の画像情報Ｉ３ａを生成し、第４の画像信号Ｉ４から第４の画像情報Ｉ４ａを生成する。
【００６６】
例えば、第１、第２、第３および第４の画像情報Ｉ１ａ、Ｉ２ａ、Ｉ３ａおよびＩ４ａとは、輝度値を示す画像情報である。カメラユニット１０から出力される画像信号がＲＡＷデータであるとき、画像合成部２１は、ＲＡＷデータ（画像信号）を輝度信号（画像情報）に変換する。なお、カメラユニット１０は、ＲＡＷデータに限らず、輝度信号や色差信号を出力しても構わない。この場合、信号処理回路２０は、受信した輝度信号をそのまま処理すればよい。カメラユニット１０から出力される画像信号は、輝度信号を含んでいてもよい。信号処理回路２０は、カメラユニット１０から出力される画像信号に基づいて画像解析を行ってもよいし、変換後の画像情報に基づいて画像解析を行ってもよい。本願明細書では、信号処理回路２０は、変換後の画像情報に基づいて画像解析を行うものとして、各実施の形態による信号処理回路２０を説明する。
【００６７】
画像合成部２１は、第１、第２、第３および第４の画像情報Ｉ１ａ、Ｉ２ａ、Ｉ３ａおよびＩ４ａを合成してＨＤＲの合成画像情報Ｉ５ａを生成する。ＨＤＲに関する公知の技術を広く用いることによって、画像情報の合成は実現される。第１、第２、第３および第４の画像情報Ｉ１ａ、Ｉ２ａ、Ｉ３ａおよびＩ４ａはそれぞれ、互いに光の透過率が異なる光学領域を通過した光の情報を有している。画像合成部２１は、これらの画像情報を合成することにより、ＨＤＲの合成画像情報を生成する。これにより、白飛びや黒潰れが抑制された合成画像情報Ｉ５ａが得られる。
【００６８】
顔認識部２２は、合成画像情報Ｉ５ａに基づいて運転者の顔の特徴点を認識する。図９は、人間の顔の模式図である。図９に示すように、運転者の顔の特徴点としては、例えば、眉６５、６６、目尻６１、６２および口元６３、６４が挙げられる。顔認識部２２は、合成画像情報Ｉ５ａを解析して合成画像情報Ｉ５ａが示す画像中から顔の特徴点を抽出（認識）する。例えば、顔の特徴点の抽出には、公知のパターン認識の手法を用いることができるので、本願明細書では、顔の特徴点の抽出方法の詳細は割愛する。
【００６９】
顔向き判定部２３は、顔認識部２２によって抽出された顔の特徴量を用いて運転者の顔向きを判定する。具体的には、顔向き判定部２３は、顔の特徴量に基づいてパターンマッチング用のテンプレートを作成する。顔向き判定部２３は、カメラ６から順次出力される画像に対して、運転者の顔向きを推定し、かつ、テンプレートを用いたテンプレートマッチングを実行することによって、顔追跡を行う。なお、運転者の顔向きの推定や、テンプレートマッチングについての詳細は、例えば、特許文献２に開示されている。
【００７０】
顔向き判定部２３は、運転者の顔向きの判定結果に応じて運転者が脇見をしているか否かを判定する。具体的には、顔向き判定部２３は、顔向きの推定結果およびテンプレートマッチングにより得られた相関値に基づいて運転者の顔向きを判定する。顔向き判定部２３は、顔向きの判定結果を後段の脇見判定部２４に出力する。なお、上記の説明は一例であり、顔向きの検出には、公知の方法を広く用いることができる。
【００７１】
脇見判定部２４は、顔向きの検出結果を受けて、所定時間において継続して顔向きが所定の範囲内であるときに、運転者が脇見をしていると判定する。「顔向き」とは、主として運転者の目線の向きを意味する。例えば、所定の範囲とは、目線の仰角および俯角がそれぞれ１０度以上である範囲である。
【００７２】
なお、本願明細書では、脇見判定部２４と後述する居眠り判定部２８とを総称して「脇見・居眠り判定部」と称する。
【００７３】
警告装置４０は、例えば、警告メッセージを表示するモニターおよび／または警告音を発するスピーカから構成され得る。警告装置４０は、脇見判定部２４の判定結果に応じて運転者に警告を発して、注意を促す。
【００７４】
次に、図２３を参照しながら、運転者監視システム１００の動作を説明する。
【００７５】
図２３は、運転者監視システム１００の動作のフローチャートを示す。
【００７６】
カメラユニット１０は、撮像領域Ｃ１、Ｃ２、Ｃ３およびＣ４に対応した第１の画像信号Ｉ１、第２の画像信号Ｉ２、第３の画像信号Ｉ３および第４の画像信号Ｉ４をそれぞれ出力する（ステップＳ１００）。
【００７７】
次に、画像合成部２１は、第１の画像信号Ｉ１から第１の画像情報Ｉ１ａを生成し、第２の画像信号Ｉ２から第２の画像情報Ｉ２ａを生成し、第３の画像信号Ｉ３から第３の画像情報Ｉ３ａを生成し、第４の画像信号Ｉ４から第４の画像情報Ｉ４ａを生成する（ステップＳ１０１）。
【００７８】
次に、画像合成部２１は、第１、第２、第３および第４の画像情報Ｉ１ａ、Ｉ２ａ、Ｉ３ａおよびＩ４ａを合成してＨＤＲの合成画像情報Ｉ５ａを生成する（ステップＳ１０２）。
【００７９】
次に、顔認識部２２は、合成画像情報Ｉ５ａに基づいて運転者の顔の特徴点を認識する（ステップＳ１０３）。
【００８０】
次に、顔向き判定部２３は、顔認識部２２によって認識された顔の特徴点に基づいて運転者の顔向きを判定する（ステップＳ１０４）。
【００８１】
次に、脇見判定部２４は、運転者の顔向きの判定結果に応じて運転者が脇見をしているか否かを判定する。脇見判定部２４は、顔向きの検出結果を受けて、所定時間において継続して顔向きが所定の範囲内であるときに、運転者が脇見をしていると判定する（ステップＳ１０５）。
【００８２】
次に、脇見判定部２４が、運転者が脇見運転をしていると判定した場合、警告装置４０は、運転者に警告を発する（ステップＳ１０６）。一方で、脇見判定部２４が、運転者が脇見運転をしていないと判定した場合、警告装置４０は、運転者に警告を発しない（ステップＳ１０７）。
【００８３】
本実施の形態によれば、単一の撮像装置を用いてＨＤＲの撮影を行うことが可能になる。ＨＤＲの画像を用いた画像解析がなされるので、明るさが変化する環境下においても、高いロバスト性が確保され、運転者が脇見をしているかを精度よく判定することができる。
【００８４】
次に、図６（ｂ）を参照しながら、本実施の形態の変形例を説明する。
【００８５】
図６（ｂ）は、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４での光の透過率をそれぞれ示している。本実施の形態の変形例では、光学領域Ｄ１〜Ｄ４の光透過率特性（フィルタ特性）が、上述した実施の形態の図６（ａ）に示すフィルタ特性とは異なる。また、本実施の形態の変形例による信号処理回路２０は、運転者までの距離を演算する距離演算部（不図示）をさらに有している。
【００８６】
図６（ｂ）に示すように、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４において、光の透過率は、それぞれ、１００％、６．２５％、１００％および６．２５％である。すなわち、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の透過率の比は、１６：１：１６：１である。
【００８７】
画像合成部２１は、第１の画像情報Ｉ１ａと第２の画像情報Ｉ２ａとを合成してＨＤＲの第１の合成画像情報Ｉ５ａ１を生成し、第３の画像情報Ｉ３ａと第４の画像情報Ｉ４ａとを合成してＨＤＲの第２の合成画像情報Ｉ５ａ２を生成する。
【００８８】
距離演算部は、第１の合成画像情報Ｉ５ａ１および第２の合成画像情報Ｉ５ａ２から得られる位相差（視差）に基づいて運転者までの距離を演算する。これは、デジタルカメラに用いられている、いわゆるＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）の位相方式の原理に相当する。
【００８９】
距離演算部は、第１の合成画像情報Ｉ５ａ１および第２の合成画像情報Ｉ５ａ２に基づいて運転者までの距離を演算する。
【００９０】
顔認識部２２は、第１の合成画像情報Ｉ５ａ１および運転者までの距離情報に基づいて運転者の顔の３次元特徴点を認識する。
【００９１】
顔向き判定部２３は、顔の３次元特徴点を用いて運転者の顔向きを判定する。
【００９２】
脇見判定部２４は、運転者の顔向きの判定結果に応じて運転者が脇見をしているか否かを判定する。
【００９３】
本実施の形態の変形例によれば、上述したＨＤＲの効果に加えて、単一の撮像装置を用いてステレオ撮影の効果を得ることができる。このように、顔の特徴点のみならず、運転者までの距離情報を含めて顔の３次元特徴点に基づく画像解析がなされるので、より精度よく顔向きを検出できる。この結果、運転者が脇見をしているか否かをより精度よく判定することができる。
【００９４】
次に、図１０および１１を参照しながら、本実施の形態の他の変形例を説明する。
【００９５】
図１０は、２台のカメラ６Ａ、６Ｂを搭載した運転者監視システム１００Ａのブロック構成を示す。図１１は、運転者監視システム１００Ａ内のカメラユニット１０を運転者からみた場合の正面図である。
【００９６】
図１０および１１に示すように、カメラユニット１０には２台のカメラ６Ａ、６Ｂが配置されており、カメラユニット１０は、複眼カメラとして機能する。なお、２台のカメラは、図示するような垂直方向に直交する方向（水平方向）に配置されていなくてもよく、垂直方向に配置されていてもよい。
【００９７】
運転者監視システム１００Ａは、カメラユニット１０と、信号処理回路２０と、コントローラ３０と、警告装置４０とを備えている。また、運転者監視システム１００Ａは、オプションとして、姿勢検知部５１と、エアバック展開制御部５２とを備えていてもよい。
【００９８】
カメラユニット１０は、２台のカメラ６Ａ、６Ｂと、補助照明７とを含む。カメラ６Ａ、６Ｂは、図６（ａ）または（ｂ）に示す光学特性を有する光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４を含んでいる。カメラ６Ａ、６Ｂの構造は、上述したカメラ６の構造と同じであるので、カメラユニット１０によってＨＤＲの撮影を行うことができる。
【００９９】
カメラユニット１０は、カメラ６Ａにおいて生成された第１の画像信号Ｉ１Ａ、第２の画像信号Ｉ２Ａ、第３の画像信号Ｉ３Ａおよび第４の画像信号Ｉ４Ａと、カメラ６Ｂにおいて生成された第１の画像信号Ｉ１Ｂ、第２の画像信号Ｉ２Ｂ、第３の画像信号Ｉ３Ｂおよび第４の画像信号Ｉ４Ｂとを出力する。
【０１００】
信号処理回路２０は、第１の画像合成部２１Ａと、第２の画像合成部２１Ｂと、顔モデル生成部２２Ａと、顔向き判定部２３と、脇見判定部２４と、距離演算部２５とを有する。
【０１０１】
第１の画像合成部２１Ａは、第１の画像信号Ｉ１Ａから第１の画像情報Ｉ１ａを生成し、第２の画像信号Ｉ２Ａから第２の画像情報Ｉ２ａを生成し、第３の画像信号Ｉ３Ａから第３の画像情報Ｉ３ａを生成し、第４の画像信号Ｉ４Ａから第４の画像情報Ｉ４ａを生成する。
【０１０２】
第１の画像合成部２１Ａは、第１の画像情報Ｉ１ａ、第２の画像情報Ｉ２ａ、第３の画像情報Ｉ３ａおよび第４の画像情報Ｉ４ａを合成して第１の合成画像情報Ｉ５ａを生成する。
【０１０３】
第２の画像合成部２１Ｂは、第１の画像信号Ｉ１Ｂから第１の画像情報Ｉ１ｂを生成し、第２の画像信号Ｉ２Ｂから第２の画像情報Ｉ２ｂを生成し、第３の画像信号Ｉ３Ｂから第３の画像情報Ｉ３ｂを生成し、第４の画像信号Ｉ４Ｂから第４の画像情報Ｉ４ｂを生成する。
【０１０４】
第２の画像合成部２１Ｂは、第１の画像情報Ｉ１ｂ、第２の画像情報Ｉ２ｂ、第３の画像情報Ｉ３ｂおよび第４の画像情報Ｉ４ｂを合成して第２の合成画像情報Ｉ５ｂを生成する。
【０１０５】
距離演算部２５は、第１の合成画像情報Ｉ５ａと第２の合成画像情報Ｉ５ｂとに基づいて視差量を求め、下記の式１に従って運転者までの距離Ｄ５を演算する。
距離：Ｄ５＝Ｌ×ｆ／（ｚ×ｐ）      （式１）
ここで、Ｌ（ｍｍ）は、基線の長さであり、ｆ（ｍｍ）は、レンズ光学系Ｌの焦点距離であり、ｐ（ｍｍ／画素）は、撮像素子Ｎの画素ピッチであり、ｚ（ｍｍ）は、視差量である。
【０１０６】
距離演算部２５は、例えば特許文献２に開示された手法を用いてブロックマッチングによって視差量を求めることができる。なお、視差量の算出においては、特許文献２に開示された手法に限らず、公知の技術を広く用いることができる。
【０１０７】
顔モデル生成部（３次元顔認識部）２２Ａは、第１の合成画像情報Ｉ５ａおよび運転者までの距離情報Ｄ５に基づいて運転者の顔の３次元特徴点を認識し、３次元顔モデルを生成する。例えば特許文献２に開示された手法を用いて３次元顔モデルを作成することができる。
【０１０８】
顔向き判定部２３は、３次元特徴点に基づいて運転者の顔向きを判定する。具体的には、顔向き判定部２３は、３次元顔モデルに基づいてパターンマッチング用のテンプレートを作成する。顔向き判定部２３は、カメラ６Ａから順次出力される画像に対して、運転者の顔向きを推定し、かつ、テンプレートを用いたテンプレートマッチングを実行することによって、顔追跡を行う。顔向き判定部２３は、顔向きの推定結果およびテンプレートマッチングにより得られた相関値に基づいて運転者の顔向きを判定する。顔向き判定部２３は、顔向きの判定結果を後段の脇見判定部に出力する。
【０１０９】
脇見判定部２４は、顔向きの判定結果を受けて、所定時間において継続して顔向きが所定の範囲内であるときに、運転者が脇見をしていると判定する。例えば、所定の範囲とは、目線の仰角および俯角がそれぞれ１０度以上である範囲である。
【０１１０】
警告装置４０は、脇見判定部２４の判定結果に応じて運転者に警告を発する。
【０１１１】
本実施の形態の他の変形例によれば、上述したＨＤＲの効果に加えて、ステレオ撮影の効果を得ることができる。このように、顔の特徴点のみならず、運転者までの距離情報を含む顔の３次元特徴点に基づく画像解析がなされるので、より精度よく顔向きを検出でき、運転者が脇見をしているかをより精度よく判定することができる。
【０１１２】
運転者監視システム１００Ａは、オプションとして、姿勢検知部５１およびエアバック展開制御部５２をさらに備えていてもよい。
【０１１３】
姿勢検知部５１は、第１の合成画像情報Ｉ５ａと運転者までの距離情報Ｄ５とに基づいて運転者の姿勢を検知する。
【０１１４】
エアバック展開制御部５２は、姿勢検知部５１の検知結果に基づき、エアバックを展開するか否かを判定する。例えば、エアバック展開制御部５２は、座席のヘッドレストに対する運転者の頭部の位置に応じて、エアバックを展開するか否かを判定する。または、エアバック展開制御部５２は、運転者の顔がエアバックの配置位置の近傍に位置しているときは、エアバックを展開しないと判定するようにしてもよい。エアバック展開制御部５２は、エアバック４１を展開するか否かの判定結果に応じて、エアバック４１の展開および展開速度を制御する。
【０１１５】
従来は、車の座席に重量センサが搭載されており、その重量センサが検知する重量の変化に応じて、運転者の姿勢が検知されていた。
【０１１６】
本実施の形態の他の変形例によれば、画像処理によって姿勢を検知できるので、姿勢を検知するために重量センサなどの物理センサをわざわざ設けなくてもよい。このように、運転監視システムの規模の縮小および低コスト化を実現できる。
【０１１７】
（実施の形態２）
まず、図１２を参照しながら、本実施の形態による運転者監視システム２００の構成および機能を説明する。
【０１１８】
図１２は、本実施の形態による運転者監視システム２００のブロック構成図を示す。なお、実施の形態１による運転者監視システム１００の構成要素と同一の構成要素には、同じ参照符号を付している。
【０１１９】
運転者監視システム２００は、カメラユニット１０と、信号処理回路２０と、コントローラ３０と、警告装置４０とを備えている。また、運転者監視システム２００は、オプションとして、姿勢検知部５１と、エアバック展開制御部５２とを備えていてもよい。
【０１２０】
カメラユニット１０は、運転者に向けて近赤外光を補助照明光として照射する。カメラ６Ｃは、運転者の像を検出し、異なる合焦特性を示す光の情報を有する複数の画像信号を生成する。
【０１２１】
信号処理回路２０は、複数の画像信号を合成して合成画像信号を生成する。また、信号処理回路２０は、複数の画像信号から運転者までの距離を求め、合成画像信号および運転者までの距離に基づいて運転者が脇見をしているか否かを判定する。
【０１２２】
警告装置４０は、信号処理回路２０が、運転者が脇見をしていると判定した場合、脇見運転をしていることを運転者に警告する。
【０１２３】
また、実施の形態１で説明したとおり、姿勢検知部５１およびエアバック展開制御部５２の処理結果に応じて、車内のエアバック４１が展開される。
【０１２４】
図１２および１３（ａ）を参照して、カメラ６Ｃの構成の一例を説明する。
【０１２５】
図１３（ａ）は、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性を示し、図１３（ｂ）は、本実施の形態の変形例による光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性を示している。なお、本実施の形態におけるカメラ６Ｃの構成は、光学領域が互いに異なる合焦特性を有している点以外は、実施の形態１でのカメラ６の構成と同じであるので、共通の構成要素についての詳細は割愛する。
【０１２６】
光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４は、それぞれ第１の合焦特性、第２の合焦特性、第３の合焦特性および第４の合焦特性を有している。光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４の合焦特性は互いに異なっている。具体的には、図１３（ａ）に示すように、光学領域Ｄ１は、焦点距離がｆ１である光学レンズから形成され、光学領域Ｄ２は、焦点距離がｆ２である光学レンズから形成され、光学領域Ｄ３は、焦点距離がｆ３である光学レンズから形成され、光学領域Ｄ４は、焦点距離がｆ４である光学レンズから形成されている。焦点距離ｆ１、ｆ２、ｆ３およびｆ４は互いに異なっている。光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の曲率半径や非球面係数や屈折率を調整することにより、レンズ光学系Ｌの合焦特性を異ならせることができる。
【０１２７】
なお、本実施の形態において、「合焦特性が異なる」とは、所定の波長の光で比較した場合に、その光学系において光の集光に寄与する特性の少なくとも１つが異なることをいう。具体的には、所定の波長の光で比較した場合に、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４を通過した光によるレンズ光学系Ｌの焦点距離、焦点が合う被写体までの距離、鮮鋭度が一定の値以上となる距離範囲などが異なることをいう。
【０１２８】
撮像素子Ｎは、撮像領域Ｃ１、Ｃ２、Ｃ３およびＣ４に対応した第１の画像信号Ｉ１、第２の画像信号Ｉ２、第３の画像信号Ｉ３および第４の画像信号Ｉ４をそれぞれ出力する。第１の画像信号Ｉ１、第２の画像信号Ｉ２、第３の画像信号Ｉ３および第４の画像信号Ｉ４は、第１の合焦特性、第２の合焦特性、第３の合焦特性および第４の合焦特性から得られた光の情報をそれぞれ有している。
【０１２９】
再び、図１２を参照しながら、信号処理回路２０の詳細を説明する。
【０１３０】
信号処理回路２０は、画像合成部２１と、顔モデル生成部２２Ａと、顔向き判定部２３と、脇見判定部２４と、距離演算部２５とを有する。
【０１３１】
画像合成部２１は、第１の画像信号Ｉ１から第１の画像情報Ｉ１ａを生成し、第２の画像信号Ｉ２から第２の画像情報Ｉ２ａを生成し、第３の画像信号Ｉ３から第３の画像情報Ｉ３ａを生成し、第４の画像信号Ｉ４から第４の画像情報Ｉ４ａを生成する。
【０１３２】
画像合成部２１は、第１の画像情報Ｉ１ａ、第２の画像情報Ｉ２ａ、第３の画像情報Ｉ３ａおよび第４の画像情報Ｉ４ａを合成して合成画像情報Ｉ５ａを生成する。
【０１３３】
距離演算部２５は、第１の画像情報Ｉ１ａ、第２の画像情報Ｉ２ａ、第３の画像情報Ｉ３ａおよび第４の画像情報Ｉ４ａを用いて、合成画像信号Ｉ５から形成される画像中の各画素に対応した運転者までの距離Ｄ５を演算する。４つの光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の合焦特性は互いに異なるため、第１の画像情報Ｉ１ａ、第２の画像情報Ｉ２ａ、第３の画像情報Ｉ３ａおよび第４の画像情報Ｉ４ａが示す画像の鮮鋭度（輝度を用いて算出される値）は、被写体までの距離によって異なる。メモリ（不図示）には、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４のそれぞれを通過した光の像の鮮鋭度と被写体までの距離との相関関係が記憶されている。距離演算部２５は、第１の画像情報Ｉ１ａ、第２の画像情報Ｉ２ａ、第３の画像情報Ｉ３ａおよび第４の画像情報Ｉ４ａから形成される各画像の鮮鋭度と上記相関関係とに基づいて、被写体までの距離を得ることができる。
【０１３４】
図２４を参照して、被写体までの距離と鮮鋭度との関係の一例を説明する。
【０１３５】
図２４は、被写体までの距離と鮮鋭度との関係の一例を示すグラフである。点像強度分布の変化に伴い、鮮鋭度も変化する。点像の大きさが小さくなるほど画像の鮮鋭度が増すため、被写体までの距離と鮮鋭度の関係は、図２４のような関係になる。図２４のグラフにおいて、Ｇ１は画素Ｐ１で生成された画像（光学領域Ｄ１を通過した光によって生成された画像）の所定領域の鮮鋭度を示しており、Ｇ２、Ｇ３およびＧ４はそれぞれ画素Ｐ２、Ｐ３およびＰ４で生成された画像の所定領域の鮮鋭度を示している。図２４におけるＺの範囲は、Ｇ２が変化し、かつＧ１がほとんど変化しない領域を示している。Ｚの範囲では、このような関係を利用して被写体までの距離を求めることができる。例えば、Ｚの範囲では、被写体までの距離と、鮮鋭度Ｇ１とＧ２との比に相関があるため、予め被写体までの距離と、鮮鋭度Ｇ１、Ｇ２の比との相関関係をメモリに記憶しておけばよい。
【０１３６】
鮮鋭度以外に、輝度値のコントラスト比に基づいて被写体までの距離を求めてもよいし、または、点像強度分布を用いて被写体までの距離を求めてもよい。例えば、国際公開第２０１３／０８０５５２号が、被写体までの距離を求める手法の詳細を開示している。
【０１３７】
顔モデル生成部２２Ａは、合成画像情報Ｉ５ａと運転者までの距離情報に基づいて運転者の顔の３次元特徴点を認識し、３次元顔モデルを作成する。
【０１３８】
顔向き判定部２３は、３次元特徴点に基づいて運転者の顔向きを判定する。具体的には、顔向き判定部２３は、３次元顔モデルに基づいてパターンマッチング用のテンプレートを作成する。顔向き判定部２３は、カメラ６Ｃから順次出力される画像に対して、運転者の顔向きを推定し、かつ、テンプレートを用いたテンプレートマッチングを実行することによって、顔追跡を行う。顔向き判定部２３は、顔向きの推定結果およびテンプレートマッチングにより得られた相関値に基づいて運転者の顔向きを判定する。
【０１３９】
脇見判定部２４は、顔向きの検出結果を受けて、所定時間において継続して顔向きが所定の範囲内であるときに、運転者が脇見をしていると判定する。
【０１４０】
警告装置４０は、脇見判定部２４の判定結果に応じて運転者に警告を発する。
【０１４１】
本実施の形態によれば、単眼測距により、顔の特徴点のみならず、運転者までの距離情報を含む顔の３次元特徴点に基づく画像解析がなされるので、より精度よく顔向きを検出でき、運転者が脇見をしているかをより精度よく判定することができる。
【０１４２】
運転者監視システム２００は、オプションとして、姿勢検知部５１およびエアバック展開制御部５２をさらに備えていてもよい。
【０１４３】
姿勢検知部５１は、合成画像情報Ｉ５ａと運転者までの距離とに基づいて運転者の姿勢を検知する。
【０１４４】
エアバック展開制御部５２は、姿勢検知部５１の検知結果に基づき、エアバックを展開するか否かを判定する。エアバック展開制御部５２は、エアバック４１を展開するか否かの判定結果に応じて、エアバック４１の展開および展開速度を制御する。
【０１４５】
次に、図１３（ｂ）を参照しながら、本実施の形態の変形例を説明する。
【０１４６】
図１３（ｂ）は、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４での光学特性をそれぞれ示している。本実施の形態の変形例では、光学領域Ｄ１〜Ｄ４の光学特性が、上述した実施の形態の図１３（ａ）に示す光学特性とは異なる。
【０１４７】
図１３（ｂ）に示すように、光学領域Ｄ１およびＤ２は、第１の合焦特性を有し、光学領域Ｄ３およびＤ４は、第２の合焦特性を有している。具体的には、光学領域Ｄ１およびＤ２は、焦点距離がｆ１である光学レンズから形成され、光学領域Ｄ３およびＤ４は、焦点距離がｆ２である光学レンズから形成されている。焦点距離ｆ１およびｆ２は互いに異なる値である。さらに、光学領域Ｄ１およびＤ３において、光の透過率は１００％であり、光学領域Ｄ２およびＤ４において、光の透過率は６．２５％である。すなわち、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光の透過率の比は、１６：１：１６：１である。
【０１４８】
画像合成部２１は、第１の画像情報Ｉ１ａと第２の画像情報Ｉ２ａとを合成してＨＤＲの第１の合成画像情報Ｉ５ａを生成し、第３の画像信号Ｉ３ａと第４の画像信号Ｉ４ａとを合成してＨＤＲの第２の合成画像情報Ｉ５ｂを生成する。画像合成部２１は、第１の合成画像情報Ｉ５ａおよび第２の合成画像情報Ｉ５ｂをさらに合成して第３の合成画像情報Ｉ５ｃを生成する。
【０１４９】
距離演算部２５は、第１の合成画像情報Ｉ５ａおよび第２の合成画像情報Ｉ５ｂを用いて、第３の合成画像情報Ｉ５ｃから形成される画像中の各画素に対応した運転者までの距離を演算する。
【０１５０】
本実施の形態の変形例によれば、単眼測距およびＨＤＲの効果を得ることができる。運転者までの距離情報を含む顔の３次元特徴点に基づく画像解析がなされるので、より精度よく顔向きを検出できる。この結果、運転者が脇見をしているかをより精度よく判定することができ、かつ、明るさが変化する環境下においても、高いロバスト性が確保される。
【０１５１】
（実施の形態３）
まず、図１４を参照しながら、本実施の形態による運転者監視システム３００の構成および機能を説明する。
【０１５２】
図１４は、本実施の形態による運転者監視システム３００のブロック構成図を示す。なお、実施の形態１および２による運転者監視システム１００および２００の構成要素と同一の構成要素には、同じ参照符号を付している。
【０１５３】
運転者監視システム３００は、カメラユニット１０と、信号処理回路２０と、コントローラ３０と、警告装置４０とを備えている。また、運転者監視システム３００は、オプションとして、補助照明制御部５３を備えていてもよい。
【０１５４】
カメラユニット１０は、補助照明光として、第１の偏光軸の方向に振動する近赤外光を運転者に向けて照射する。カメラ６Ｄは、運転者の像を検出し、互いに異なる偏光特性を示す光の情報を有する２つの画像信号を生成する。
【０１５５】
信号処理回路２０は、所定の条件に従い２つの画像信号から１つを選択する。信号処理回路２０は、選択した画像信号に基づいて運転者の顔の特徴点を認識し、運転者の目の開口度を検出して、運転者が居眠りをしているか否かを判定する。
【０１５６】
警告装置４０は、信号処理回路２０が、運転者が居眠りをしていると判定した場合、居眠り運転をしていることを運転者に警告する。
【０１５７】
図１５〜１７を参照して、カメラ６Ｄの構成の一例を説明する。本発明の実施形態によるカメラ６Ｄの構成は、以下で例示するものに限られない。
【０１５８】
図１５は、光学素子Ｌ２を被写体側から見た正面図である。光学領域Ｄ１およびＤ２は、光軸Ｖに垂直な平面を２つに分割した領域である。原則として、光学領域Ｄ１およびＤ２は、等しい面積を有している。また、破線ｓは、絞りＳの位置を示している。ただし、光学領域Ｄ１およびＤ２は異なる面積を有していてもよい。
【０１５９】
図１６（ａ）は、光学領域Ｄ１およびＤ２の光学特性を示し、図１６（ｂ）は、本実施の形態の変形例による光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性を示している。図１６（ａ）に示すように光学領域は２分割されている。光学領域Ｄ１は、第１の偏光軸の方向（例えば、垂直方向）に振動する光のみを透過する第１の偏光特性を有し、光学領域Ｄ２は、第１の偏光軸の方向と直交した第２の偏光軸の方向（例えば、水平方向）に振動する光のみを透過する第２の偏光特性を有する。光学領域Ｄ１およびＤ２は、光の偏光方向が互いに直交した偏光フィルタによって形成され得る。
【０１６０】
図１７は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光軸Ｖに垂直な面内で横方向に細長い複数の光学要素Ｍ１が縦方向に配置されている。それぞれの光学要素Ｍ１の断面（縦方向および横方向それぞれの断面）は、撮像素子Ｎ側に突出した円弧状の形状を有している。このように、アレイ状光学素子Ｋはレンチキュラレンズの構成を有している。
【０１６１】
図１８（ａ）は、アレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、図１８（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは画素Ｐ１およびＰ２に区別できる。
【０１６２】
画素Ｐ１は、横方向（行方向）に１行に並んで配置されている。縦方向（列方向）において、画素Ｐ１は１つおきに配置されている。また、画素Ｐ２は、横方向（行方向）に１行に並んで配置されている。縦方向（列方向）において、画素Ｐ２は１つおきに配置されている。また、画素Ｐ１の行と画素Ｐ２の行は、縦方向（列方向）に交互に配置されている。
【０１６３】
アレイ状光学素子Ｋは、その光学要素Ｍ１の１つが、撮像面Ｎｉ上における１行の画素Ｐ１および１行の画素Ｐ２からなる２行の画素に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐ１およびＰ２の表面を覆うようにマイクロレンズＭｓが設けられている。
【０１６４】
アレイ状光学素子Ｋは、光学素子Ｌ２上の光学領域Ｄ１（図１５）を通過した光束Ｂ１（図１８において実線で示される光束Ｂ１）の大部分が、撮像面Ｎｉ上の画素Ｐ１に到達し、光学領域Ｄ２を通過した光束（図１８において破線で示される光束Ｂ２）の大部分が、撮像面Ｎｉ上の画素Ｐ２に到達するように設計されている。具体的には、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。
【０１６５】
図１８（ｂ）において、画素群Ｐ１は、第１の撮像領域Ｃ１を形成し、画素群Ｐ２は、第２の撮像領域Ｃ２を形成する。
【０１６６】
カメラユニット１０は、第１の偏光特性を示す光の情報を有する第１の画像信号Ｉ１と、第２の偏光特性を示す光の情報を有する第２の画像信号Ｉ２とを出力する。
【０１６７】
再び、図１４を参照しながら、信号処理回路２０の詳細を説明する。
【０１６８】
信号処理回路２０は、画像生成部２９と、画像選択部２６と、顔認識部２２と、目開度検出部２７と、居眠り判定部２８とを有する。
【０１６９】
画像生成部２９は、第１の画像信号Ｉ１から第１の画像情報Ｉ１ａを生成し、第２の画像信号Ｉ２から第２の画像情報Ｉ２ａを生成する。
【０１７０】
画像選択部２６は、第１の画像情報Ｉ１ａから生成される第１の画像中の目付近の領域に対応した画素の飽和度合と、第２の画像情報Ｉ２ａから形成される第２の画像中の目付近の領域に対応した画素の飽和度合とを比較することによって、第１の画像情報Ｉ１ａおよび第２の画像情報Ｉ２ａのいずれか１つを選択する。画像選択部２６は、目付近の領域に対応した画素の飽和度合が小さい画像であることを示す画像情報を選択する。
【０１７１】
顔認識部２２は、選択された画像情報に基づいて運転者の顔の特徴点を認識する。具体的には、顔認識部２２は、選択された画像情報を解析して目（瞼）の特徴点を認識する。
【０１７２】
目開度検出部２７は、認識された特徴点に基づいて運転者の目の開口度を検出する。
【０１７３】
居眠り判定部２８は、所定時間において継続して目の開口度が所定量以下であるか否かに応じて、運転者が居眠りをしているか否かを判定する。例えば、居眠り判定部２８は、２秒間継続して目の開口度が５０％以下であるときに、運転者が居眠りをしていると判定する。
【０１７４】
警告装置４０は、脇見判定部２４の判定結果に応じて運転者に警告を発する。
【０１７５】
従来は、運転者が眼鏡を装着しているときに、補助照明光が眼鏡で反射して、画像中の目付近の領域において、画素の飽和が発生するので、目の開口度を検出することは困難であった。
【０１７６】
補助照明７は、第１の偏光軸の方向（垂直方向）に振動する近赤外光であるため、眼鏡のような鏡面での反射光も第１の偏光軸の方向に振動している。本願明細書では、垂直方向に振動する光の偏光を垂直偏光と称する。一方で、肌などでの反射は拡散反射となるので、肌での反射光は全ての方向に振動した光（非偏光）となる。このため、補助照明７による眼鏡での反射光によって、第１の画像では、目付近の領域において、画像の飽和が発生することがある。補助照明光は、垂直偏光であり、光学領域Ｄ２を透過しないので、第２の画像では、目付近の領域において画像の飽和は発生しない。このため、画像選択部２６は、目付近の領域において画像の飽和が発生していない第２の画像情報Ｉ２ａを選択する。
【０１７７】
本実施の形態によれば、運転者が眼鏡を装着していても、眼鏡での反射光の影響を受けることなく、目の開口度を正確に検出でき、居眠り運転であるか否かを正確に判定できる。
【０１７８】
外光に対するロバスト性を向上させるために、運転者監視システム３００は、補助照明制御部５３をさらに備えていてもよい。
【０１７９】
補助照明制御部５３は、補助照明７を点灯させた後、画素の飽和度合に応じて補助照明を消灯させる。具体的には、補助照明制御部５３は、補助照明７が点灯しているとき、第１の画像中の目付近の領域および第２の画像中の目付近の領域のいずれにおいても、画素の飽和が確認される場合に、補助照明７を消灯させる。また、補助照明制御部５３は、補助照明７が消灯しているとき、第２の画像中の目付近の領域において、画素の飽和が確認されない場合、補助照明７を点灯させる。
【０１８０】
補助照明光以外にも外光による眼鏡での反射光に起因して、目付近の領域において画素の飽和が発生することがある。このようなときは、垂直偏光した補助照明光の反射によって、第１の画像中の目付近の領域において画素の飽和が発生し、水平偏光した外光により、第２の画像中の目付近の領域において画素の飽和が発生している状態である。すなわち、第１の画像中の目付近の領域および第２の画像中の目付近の領域のいずれにおいても、画素の飽和が確認される場合である。
【０１８１】
そこで、補助照明７を消灯することによって、第１の画像中の目付近の領域での画素の飽和を低減することができる。画像選択部２６は、目付近の領域において画像の飽和が発生していない第１の画像情報Ｉ１ａを選択すればよい。
【０１８２】
これにより、運転者が眼鏡を装着しており、外光が強い場合であっても、眼鏡での反射光の影響を受けることなく、目の開口度を正確に検出でき、居眠り運転であるか否かを正確に判定できる。
【０１８３】
なお、夜間においては補助照明が必要であるので、画素の飽和が発生しているとき以外は補助照明７を点灯しておくことが好ましい。外光による眼鏡での反射光の影響が減少し、第２の画像中の目付近の領域での画素の飽和がなくなれば、補助照明７を点灯させればよい。
【０１８４】
次に、図１６（ｂ）を参照しながら、本実施の形態の変形例を説明する。
【０１８５】
図１６（ｂ）に示す光学領域は、４分割されている。光学領域Ｄ１およびＤ２は、第１の偏光軸の方向（例えば、垂直方向）に振動する光のみを透過する第１の偏光特性を有する。光学領域Ｄ３およびＤ４は、第１の偏光軸の方向に直交した第２の偏光軸の方向（例えば、水平方向）に振動する光のみを透過する第２の偏光特性を有する。また、光学領域Ｄ１およびＤ３での光の透過率は、１００％であり、光学領域Ｄ２およびＤ４での光の透過率は、６．２５％である。すなわち、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の透過率の比は、１６：１：１６：１である。例えば、光学領域は、ＮＤフィルタと偏光フィルタとを積層することにより形成され得る。なお、本実施の形態の変形例では光学領域が４分割されているので、アレイ状光学素子Ｋとして図７に示すようなマイクロレンズアレイを用いる。
【０１８６】
この変形例による信号処理回路２０は、画像生成部２９の代わりに画像合成部２１を有している。他の構成要素は、本実施の形態の信号処理回路２０の構成要素と共通している。
【０１８７】
画像合成部２１は、第１の画像信号Ｉ１から第１の画像情報Ｉ１ａを生成し、第２の画像信号Ｉ２から第２の画像情報Ｉ２ａを生成し、第３の画像信号Ｉ３から第３の画像情報Ｉ３ａを生成し、第４の画像信号Ｉ４から第１の画像情報Ｉ４ａを生成する。
【０１８８】
画像合成部２１は、第１の画像情報Ｉ１ａおよび第２の画像情報Ｉ２ａを合成して第１の画像合成情報Ｉ５ａを生成し、第３の画像情報Ｉ３ａおよび第４の画像情報Ｉ４ａを合成して第２の画像合成情報Ｉ５ｂを生成する。
【０１８９】
画像選択部２６は、第１の画像合成情報Ｉ５ａから生成される第１の画像中の目付近の領域に対応した画素の飽和度合と、第２の画像合成情報Ｉ５ｂから形成される第２の画像中の目付近の領域に対応した画素の飽和度合とを比較することによって、第１の画像合成情報Ｉ５ａおよび第２の画像合成情報Ｉ５ｂのいずれか１つを選択する。
【０１９０】
本実施の形態の変形例によれば、実施の形態１と同様に、ＨＤＲの画像を用いた画像解析が行えるので、外光に対するロバスト性をさらに向上させることができる。
【０１９１】
次に、図１９を参照しながら、本実施の形態の他の変形例を説明する。
【０１９２】
図１９は、２台のカメラ６Ｅ、６Ｆを搭載した運転者監視システム３００Ａのブロック構成を示す。カメラユニット１０には２台のカメラ６Ｅ、６Ｆが配置されており、カメラユニット１０は、複眼カメラとして機能する。
【０１９３】
運転者監視システム３００Ａは、カメラユニット１０と、信号処理回路２０と、コントローラ３０と、警告装置４０とを備えている。また、運転者監視システム３００Ａは、オプションとして、姿勢検知部５１と、エアバック展開制御部５２とを備えていてもよい。
【０１９４】
カメラユニット１０は、２台のカメラ６Ｅ、６Ｆと、補助照明７とを含む。カメラ６Ｅ、６Ｆは、図１６（ａ）または（ｂ）に示す光学特性を有する光学領域を含んでいる。以降の説明では、カメラ６Ｅ、６Ｆは、図１６（ａ）に示す光学特性を有する光学領域Ｄ１およびＤ２を含んでいるものとする。カメラ６Ｅ、６Ｆの構造は、本実施の形態のカメラ６Ｄの構造と同じである。
【０１９５】
カメラユニット１０は、カメラ６Ｅにおいて生成された第１の画像信号Ｉ１Ａおよび第２の画像信号Ｉ２Ａと、カメラ６Ｆにおいて生成された第１の画像信号Ｉ１Ｂおよび第２の画像信号Ｉ２Ｂとを出力する。
【０１９６】
第１の画像生成部２９Ａは、第１の画像信号Ｉ１Ａから第１の画像情報Ｉ１ａを生成し、第２の画像信号Ｉ２Ａから第２の画像情報Ｉ２ａを生成する。第２の画像生成部２９Ｂは、第１の画像信号Ｉ１Ｂから第１の画像情報Ｉ１ｂを生成し、第２の画像信号Ｉ２Ｂから第２の画像情報Ｉ２ｂを生成する。
【０１９７】
第１の画像選択部２６Ａは、第１の画像情報Ｉ１ａから生成される第１の画像中の目付近の領域に対応した画素の飽和度合と、第２の画像情報Ｉ２ａから生成される第２の画像中の目付近の領域に対応した画素の飽和度合とを比較することによって、第１の画像情報Ｉ１ａおよび第２の画像情報Ｉ２ａのいずれか１つを選択する。第１の画像選択部２６Ａは、目付近の領域に対応した画素の飽和度合が小さい画像であることを示す画像情報を選択する。
【０１９８】
第２の画像選択部２６Ｂは、第１の画像情報Ｉ１ｂから生成される第１の画像中の目付近の領域に対応した画素の飽和度合と、第２の画像情報Ｉ２ｂから生成される第２の画像中の目付近の領域に対応した画素の飽和度合とを比較することによって、第１の画像情報Ｉ１ｂおよび第２の画像情報Ｉ２ｂのいずれか１つを選択する。第１の画像選択部２６Ａは、目付近の領域に対応した画素の飽和度合が小さい画像であることを示す画像情報を選択する。
【０１９９】
距離演算部２５は、第１の画像選択部２６Ａが選択した画像情報と第２の画像選択部２６Ｂが選択した画像情報とに基づいて視差量を求め、上述した式１に従って運転者までの距離Ｄ５を演算する。
【０２００】
顔認識部２２は、第１の画像選択部２６Ａが選択した画像情報に基づいて運転者の顔の特徴点を認識する。
【０２０１】
目開度検出部２７は、認識された特徴点に基づいて運転者の目の開口度を検出する。
【０２０２】
居眠り判定部２８は、所定時間において継続して目の開口度が所定量以下であるか否かに応じて、運転者が居眠りをしているか否かを判定する。例えば、居眠り判定部２８は、所定時間において継続して目の開口度が５０％以下であるときに、運転者が居眠りをしていると判定する。
【０２０３】
顔モデル生成部（３次元顔認識部）２２Ａは、第１の画像選択部２６Ａが選択した画像情報と運転者までの距離情報Ｄ５に基づいて運転者の顔の３次元特徴点を認識し、３次元顔モデルを作成する。
【０２０４】
顔向き判定部２３は、３次元顔モデルに基づいてパターンマッチング用のテンプレートを作成する。顔向き判定部２３は、カメラ６Ｅから順次出力される画像に対して、運転者の顔向きを推定し、かつ、テンプレートを用いたテンプレートマッチングを実行することによって、顔追跡を行う。顔向き判定部２３は、顔向きの推定結果およびテンプレートマッチングにより得られた相関値に基づいて運転者の顔向きを判定する。
【０２０５】
脇見判定部２４は、顔向きの判定結果を受けて、所定の時間において継続して顔向きが所定の範囲内であるときに、運転者が脇見をしていると判定する。例えば、所定の範囲とは、目線の仰角および俯角がそれぞれ１０度以上である範囲である。
【０２０６】
警告装置４０は、脇見判定部２４の判定結果に応じて運転者に警告を発する。
【０２０７】
本実施の形態の他の変形例によれば、偏光特性を利用して外光に対するロバスト性を向上させることができる。また、脇見運転の判定および居眠り運転の判定を同時に行うことができる。さらに、ステレオ撮影の効果により、顔の特徴点のみならず、運転者までの距離情報を含めて顔の３次元特徴点に基づく画像解析がなされるので、より精度よく顔向きを検出でき、運転者が脇見や居眠りをしているかをより精度よく判定することができる。
【０２０８】
運転者監視システム３００Ａは、オプションとして、補助照明制御部５３と、姿勢検知部５１と、エアバック判定展開部５２をさらに備えていてもよい。この場合、２台のカメラを用いて、脇見運転の判定、居眠り運転の判定およびエアバック展開の判定を画像処理によって同時に行うことができ、運転監視システムの低コスト化を実現できる。
【０２０９】
（実施の形態４）
まず、図２０を参照しながら、本実施の形態による運転者監視システム４００の構成および機能を説明する。
【０２１０】
図２０は、本実施の形態による運転者監視システム４００のブロック構成図を示す。なお、実施の形態１および２による運転者監視システム１００および２００の構成要素と同一の構成要素には、同じ参照符号を付している。
【０２１１】
運転者監視システム４００は、カメラユニット１０と、信号処理回路２０と、コントローラ３０と、警告装置４０とを備えている。
【０２１２】
カメラユニット１０は、近赤外光を運転者に向けて補助照明光として照射する。カメラ６Ｇは、運転者の像を検出し、近赤外光の情報を示す画像信号（以降、「ＩＲ画像信号」と称する。）およびカラー画像信号を生成する。
【０２１３】
信号処理回路２０は、ＩＲ画像信号に基づいて運転者の顔向きを検出し、運転者が脇見をしているか否かの判定を行う。また、信号処理回路２０は、カラー画像情報に基づいて運転者の顔色の変化から心拍数を推定し、運転者の体調を判定する。
【０２１４】
警告装置４０は、信号処理回路２０が、運転者が居眠りをしていると判定した場合や、運転者の体調が悪いと判定した場合に、運転者に警告する。
【０２１５】
図２１は、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性を示す。光学領域は４つに分割されており、光学領域Ｄ１は、近赤外光だけを透過させる第１の分光特性を有し、光学領域Ｄ２は、可視光帯域における赤色の光だけを透過させる第２の分光特性を有し、光学領域Ｄ３は、可視光帯域における緑色の光だけを透過させる第３の分光特性を有し、光学領域Ｄ４は、可視光帯域における青色の光だけを透過させる第４の分光特性を有する。
【０２１６】
カメラユニット１０は、近赤外光の情報を有する第１の画像信号Ｉ１と、赤色（Ｒ）の光の情報を有する第２の画像信号Ｉ２と、緑色（Ｇ）の光の情報を有する第３の画像信号Ｉ３と、青色（Ｂ）の光の情報を有する第４の画像信号Ｉ４とを出力する。
【０２１７】
再び、図２０を参照しながら、信号処理回路２０の詳細を説明する。
【０２１８】
信号処理回路２０は、画像生成部２９と、第１および第２の顔認識部２２Ｂ、２２Ｃと、顔向き判定部２３と、心拍数推定部３１と、脇見判定部２４と、体調判定部３２とを有する。
【０２１９】
画像生成部２９は、第１の画像信号Ｉ１（ＩＲ画像信号）から近赤外光の情報を示すＩＲ画像情報を生成し、第２、第３および第４の画像信号Ｉ２、Ｉ３およびＩ４からカラー画像情報を生成する。カラー画像情報は、輝度や色差の情報に限らず、ＲＧＢの各成分の輝度値（画素値）を含んでいてもよい。
【０２２０】
顔認識部２２は、第１の顔認識部２２Ｂおよび第２の顔認識部２２Ｃを含んでいる。
【０２２１】
第１の顔認識部２２Ｂは、ＩＲ画像情報に基づいて運転者の顔の特徴点を認識する。
【０２２２】
第２の顔認識部２２Ｃは、カラー画像情報に基づいて運転者の顔の特徴点を認識する。例えば、カラー画像情報が、ＲＧＢの各成分の輝度値を示している場合、第２の顔認識部２２Ｃは、各成分の輝度値に基づいて運転者の顔の特徴点を認識することができる。または、第２の顔認識部２２Ｃは、Ｇ成分の輝度値に基づいて運転者の顔の特徴点を認識してもよい。
【０２２３】
顔向き判定部２３は、第１の顔認識部２２Ｂによって認識された顔の特徴点を用いて運転者の顔向きを判定する。
【０２２４】
脇見判定部２４は、顔向きの判定結果を受けて、所定の時間において継続して顔向きが所定の範囲内であるときに、運転者が脇見をしていると判定する。例えば、所定の範囲とは、目線の仰角および俯角がそれぞれ１０度以上である範囲である。
【０２２５】
心拍数推定部３１は、第２の顔認識部２２Ｃによって認識された顔の特徴点に着目して運転者の顔色の変化を検出し、心拍数を推定する。顔色の変化から心拍数を推定する方法として、例えば以下のような手法が知られている。
【０２２６】
心拍による血圧の微小な変化が起こると、顔での反射光の量が変化する。血圧の微小な増加によって、顔での反射光の光量は微減し、血圧の微小な減少によって、顔での反射光の光量は微増する。顔に多くの血流が流れれば、顔の皮膚は光をより吸収するので、心臓の鼓動に応じて光の反射率が変化する。ＲＧＢ成分を独立に分析することにより、心拍による色の変動分だけを分離して、その変動量を心拍の変化とみなすことができる。例えば、撮影した動画の各フレームのＲＧＢ成分ごとに輝度の波形を生成して、３つの波形に共通するノイズを除去した後に、Ｇ成分の波形のピーク値から脈拍数を推定することができる。
【０２２７】
体調判定部３２は、所定時間において継続して推定心拍数が所定値以上、または所定値以下であるとき、運転者は体調不良であると判定する。なお、所定時間および所定値は、医学の観点から決定することができる。
【０２２８】
警告装置４０は、脇見判定部２４および体調判定部３２の判定結果に応じて運転者に警告を発する。
【０２２９】
従来は、顔向き判定用の赤外線カメラと、心拍数を推定するためのカラーカメラとの２台が必要であったので、カメラユニット１０のサイズを縮小することが困難であった。
【０２３０】
本実施の形態によれば、１台のカメラにより、ＩＲ画像およびカラー画像を同時に取得できるので、顔向きの判定および体調の判定を同時に行うことができる。また、カメラユニット１０のサイズを縮小できる。
【０２３１】
次に、図２２を参照しながら、本実施の形態の変形例を説明する。
【０２３２】
図２２は、２台のカメラ６Ｈ、６Ｉを搭載した運転者監視システム４００Ａのブロック構成を示す。カメラユニット１０には２台のカメラ６Ｈ、６Ｉが配置されており、カメラユニット１０は、複眼カメラとして機能する。
【０２３３】
運転者監視システム４００Ａは、カメラユニット１０と、信号処理回路２０と、コントローラ３０と、警告装置４０とを備えている。また、運転者監視システム４００Ａは、オプションとして、姿勢検知部５１と、エアバック展開制御部５２とを備えていてもよい。
【０２３４】
カメラユニット１０は、２台のカメラ６Ｈ、６Ｉと、補助照明７とを含む。カメラ６Ｈ、６Ｉは、カメラ６Ｇと同様に、図２１に示す光学特性を有する光学領域を含んでいる。カメラ６Ｈ、６Ｉの構造は、本実施の形態のカメラ６Ｇの構造と同じである。
【０２３５】
カメラユニット１０は、カメラ６Ｈ、６Ｉから取得された画像信号として、近赤外光の情報を有する第１の画像信号Ｉ１Ａ、Ｉ１Ｂと、赤色（Ｒ）の光の情報を有する第２の画像信号Ｉ２Ａ、Ｉ２Ｂと、緑色（Ｇ）の光の情報を有する第３の画像信号Ｉ３Ａ、Ｉ３Ｂと、青色（Ｂ）の光の情報を有する第４の画像信号Ｉ４Ａ、Ｉ４Ｂとを出力する。
【０２３６】
信号処理回路２０は、第１および第２の画像生成部２９Ａおよび２９Ｂと、距離演算部２５と、顔認識部２２と、顔モデル生成部２２Ａと、心拍数推定部３１と、体調判定部３２と、顔向き判定部２３と、脇見判定部２４とを有している。
【０２３７】
第１の画像生成部２９Ａは、カメラ６Ｈから取得された、第１の画像信号Ｉ１Ａから近赤外光の情報を示すＩＲ画像情報Ａを生成し、第２、第３および第４の画像信号Ｉ２Ａ、Ｉ３ＡおよびＩ４Ａからカラー画像情報Ａを生成する。
【０２３８】
第２の画像生成部２９Ｂは、カメラ６Ｉから取得された、第１の画像信号Ｉ１Ｂから近赤外光の情報を示すＩＲ画像情報Ｂを生成し、第２、第３および第４の画像信号Ｉ２Ｂ、Ｉ３およびＩ４Ｂからカラー画像情報Ｂを生成する。なお、カラー画像情報Ａ、Ｂは、ＲＧＢの各成分の輝度値を含んでいてもよい。
【０２３９】
距離演算部２５は、ＩＲ画像情報ＡとＩＲ画像情報Ｂとに基づいて視差量を求め、上記の式１に従って運転者までの距離Ｄ５を演算する。
【０２４０】
顔認識部２２は、カラー画像情報Ａに基づいて運転者の顔の２次元特徴点を認識する。例えば、カラー画像情報が、ＲＧＢの各成分の輝度値を示している場合、顔認識部２２は、各成分の輝度値に基づいて運転者の顔の特徴点を認識してもよい。
【０２４１】
顔モデル生成部２２Ａは、ＩＲ画像情報Ａと運転者までの距離情報Ｄ５に基づいて運転者の顔の３次元特徴点を認識し、３次元顔モデルを作成する。
【０２４２】
顔向き判定部２３は、３次元顔モデルを用いて運転者の顔向きを判定する。
【０２４３】
脇見判定部２４は、顔向きの検出結果を受けて、所定の時間において継続して顔向きが所定の範囲内であるときに、運転者が脇見をしていると判定する。例えば、所定の範囲とは、目線の仰角および俯角がそれぞれ１０度以上である範囲である。
【０２４４】
心拍数推定部３１は、顔認識部２２によって認識された顔の２次元特徴点に着目して運転者の顔色の変化を検出し、心拍数を推定する。
【０２４５】
体調判定部３２は、所定時間において継続して推定心拍数が所定値以上、または所定値以下であるとき、運転者は体調不良であると判定する。
【０２４６】
警告装置４０は、脇見判定部２４および体調判定部３２の判定結果に応じて運転者に警告を発する。
【０２４７】
本実施の形態によれば、ステレオ撮影の効果を得ることができ、かつ、顔向きの判定および体調の判定を同時に画像処理で行うことができる。また、カメラユニット１０のサイズを縮小できる。
【０２４８】
運転者監視システム４００Ａは、オプションとして、姿勢検知部５１、エアバック判定展開部５２を備えていてもよい。この場合、２台のカメラを用いて、脇見運転の判定、体調の判定およびエアバック展開の判定を画像処理によって同時に行うことができ、運転監視システムの低コスト化を実現できる。
【０２４９】
実施の形態１から４において説明したとおり、異なる光学特性を有する少なくとも２つの光学領域を通過したそれぞれの光の像が１つの撮像装置において同時に取得される。信号処理回路２０は、同時に取得された光の像の複数の画像信号を合成することによって、または複数の画像信号からいずれか１つを選択することによって、合成または選択された画像信号に基づいて運転者の顔の特徴点を認識する。
【０２５０】
実施の形態１による運転者監視システムと同様に、信号処理回路２０内の各処理部の機能ごとに分割した処理単位によって、実施の形態２から４による運転者監視システムの動作フローを規定することができる。
【０２５１】
本発明の技術はさらに、上述の脇見・居眠り運転をしているか否かを判定する処理を規定するソフトウェア（プログラム）にも適用され得る。そのようなプログラムに規定される動作は、例えば図２３に示すとおりである。このようなプログラムは、可搬型の記録媒体に記録されて提供され得る他、電気通信回線を通じても提供され得る。コンピュータに内蔵されたプロセッサがこのようなプログラムを実行することにより、上記の実施の形態で説明した各種動作を実現することができる。
【産業上の利用可能性】
【０２５２】
本願に開示された運転者監視システムは、自動車、電車、および飛行機などの乗物に搭載されるシステムに利用できる。
【符号の説明】
【０２５３】
２        ：運転者
３        ：ステアリングホイール
４        ：自動車
５        ：ステアリングコラム
６、６Ａ、６Ｂ、６Ｃ、６Ｄ、６Ｅ、６Ｆ、６Ｇ、６Ｈ、６Ｉ        ：カメラ
７        ：補助照明
１０      ：カメラユニット
２０      ：信号処理回路
２１      ：画像合成部
２１Ａ    ：第１の画像合成部
２１Ｂ    ：第２の画像合成部
２２      ：顔認識部
２２Ａ    ：顔モデル生成部
２２Ｂ    ：第１の顔認識部
２２Ｃ    ：第２の顔認識部
２３      ：顔向き判定部
２４      ：脇見判定部
２５      ：距離演算部
２６      ：画像選択部
２６Ａ    ：第１の画像選択部
２６Ｂ    ：第２の画像選択部
２７      ：目開度検出部
２８      ：判定部
２９      ：画像生成部
２９Ａ    ：第１の画像生成部
２９Ｂ    ：第２の画像生成部
３０      ：コントローラ
３１      ：心拍数推定部
３２      ：体調判定部
４０      ：警告装置
４１      ：エアバック
５１      ：姿勢検知部
５２      ：エアバック判定展開部
５２      ：エアバック展開制御部
５３      ：補助照明制御部
６１、６２      ：目尻
６３、６４      ：口元
６５、６６      ：眉
１００、１００Ａ、２００、３００、３００Ａ、４００、４００Ａ    ：運転者監視システム
Ｋ        ：アレイ状光学素子
Ｌ        ：レンズ光学系
Ｌ１      ：レンズ
Ｌ２      ：光学素子
Ｍ１、Ｍ２      ：光学要素
Ｍ２Ｉ    ：単位領域
Ｍｓ      ：マイクロレンズ
Ｎ        ：撮像素子
Ｎｉ      ：撮像面
Ｐ        ：画素
Ｓ        ：絞り
Ｖ        ：光軸
【図１】
2015194884.tif 000003
【図２】
2015194884.tif 000004
【図３】
2015194884.tif 000005
【図４】
2015194884.tif 000006
【図５】
2015194884.tif 000007
【図６】
2015194884.tif 000008
【図７】
2015194884.tif 000009
【図８】
2015194884.tif 000010
【図９】
2015194884.tif 000011
【図１０】
2015194884.tif 000012
【図１１】
2015194884.tif 000013
【図１２】
2015194884.tif 000014
【図１３】
2015194884.tif 000015
【図１４】
2015194884.tif 000016
【図１５】
2015194884.tif 000017
【図１６】
2015194884.tif 000018
【図１７】
2015194884.tif 000019
【図１８】
2015194884.tif 000020
【図１９】
2015194884.tif 000021
【図２０】
2015194884.tif 000022
【図２１】
2015194884.tif 000023
【図２２】
2015194884.tif 000024
【図２３】
2015194884.tif 000025
【図２４】
2015194884.tif 000026