(57)【要約】【課題】乗員および／または運転環境に影響することなく、高速かつ正確に乗員の顔を認識できる車室内監視装置を提供する。【解決手段】本発明の車室内監視装置は、自車の車室内における乗員を監視する車室内監視装置であって、乗員が車室内に存在するか否かを判定する乗員判定手段と、乗員判定手段によって車室内に乗員が存在すると判定された場合、乗員が存在する車室内の画像である乗車後画像を取得する乗車後画像取得手段と、乗員が存在しない車室内の画像である乗車前画像と乗車後画像との差分である差分画像を取得する差分画像取得手段と、差分画像に基づいて、監視する乗員を検出する対象となる検出対象領域を設定する検出対象領域設定手段と、検出対象領域設定手段によって設定された検出対象領域から乗員の顔を検出する顔検出手段と、顔検出手段によって検出された顔を監視する監視手段とを備える。【選択図】図２
2012044404.tif 000002
【特許請求の範囲】
【請求項１】
自車の車室内における乗員を監視する車室内監視装置であって、
前記乗員が車室内に存在するか否かを判定する乗員判定手段と、
前記乗員判定手段によって車室内に乗員が存在すると判定された場合、前記乗員が存在する車室内の画像である乗車後画像を取得する乗車後画像取得手段と、
前記乗員が存在しない車室内の画像である乗車前画像と前記乗車後画像との差分である差分画像を取得する差分画像取得手段と、
前記差分画像に基づいて、監視する乗員を検出する対象となる検出対象領域を設定する検出対象領域設定手段と、
前記検出対象領域設定手段によって設定された検出対象領域から前記乗員の顔を検出する顔検出手段と、
前記顔検出手段によって検出された顔を監視する監視手段とを備える、車室内監視装置。
【請求項２】
前記乗員の乗車直前に前記車室内を撮影して、前記乗車前画像を取得する乗車前画像取得手段を、さらに備える、請求項１に記載の車室内監視装置。
【請求項３】
前記自車のドアが開錠されたか否かを判定するドア開錠判定手段を、さらに備え、
前記ドア開錠判定手段によって自車のドアが開錠されたと判定された場合、前記乗車前画像取得手段は、前記車室内を撮影して、前記乗車前画像を取得することを特徴とする、請求項２に記載の車室内監視装置。
【請求項４】
前記乗車後画像取得手段は、前記乗員が運転座席に着座したタイミングで前記車室内を撮影することを特徴とする、請求項１〜３のいずれかに記載の車室内監視装置。
【請求項５】
前記乗車後画像取得手段は、前記乗員が運転する体勢となるタイミングで前記車室内を撮影することを特徴とする、請求項１〜３のいずれかに記載の車室内監視装置。
【請求項６】
前記乗車後画像取得手段は、シフトレンジがドライブレンジに設定されたタイミングで前記車室内を撮影することを特徴とする、請求項１〜３のいずれかに記載の車室内監視装置。
【請求項７】
運転座席および／またはステアリングコラムが予め設定された位置から移動したか否かを判定する移動判定手段と、
前記移動判定手段によって前記運転座席および／またはステアリングコラムが移動したと判定された場合、前記運転座席および／またはステアリングコラムが予め設定された位置から移動した移動量を算出する移動量算出手段と、
前記移動量算出手段によって算出された移動量に基づいて、前記乗車前画像を補正する乗車前画像補正手段とを、さらに備え、
前記差分画像取得手段は、前記乗車前画像補正手段によって補正された乗車前画像と、前記乗車後画像との差分である差分画像を取得することを特徴とする、請求項１〜６のいずれかに記載の車室内監視装置。
【請求項８】
運転座席および／またはステアリングコラムが予め設定された位置から移動したか否かを判定する移動判定手段と、
前記移動判定手段によって前記運転座席および／またはステアリングコラムが移動したと判定された場合、前記顔検出手段は、前記乗車後画像の全範囲から前記乗員の顔を検出することを特徴とする、請求項１〜６のいずれかに記載の車室内監視装置。
【請求項９】
自車の車室内における乗員を監視する車室内監視装置が実行する車室内監視方法であって、
前記乗員が車室内に存在するか否かを判定する乗員判定ステップと、
前記乗員判定ステップで車室内に乗員が存在すると判定された場合、前記乗員が存在する車室内の画像である乗車後画像を取得する乗車後画像取得ステップと、
前記乗員が存在しない車室内の画像である乗車前画像と前記乗車後画像との差分である差分画像を取得する差分画像取得ステップと、
前記差分画像に基づいて、監視する乗員を検出する対象となる検出対象領域を設定する検出対象領域設定ステップと、
前記検出対象領域設定ステップで設定された検出対象領域から前記乗員の顔を検出する顔検出ステップと、
前記顔検出ステップで検出された顔を監視する監視ステップとを含む、車室内監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車の車室内を監視する車室内監視装置に関し、より特定的には、自車に搭載されたカメラ等によって撮像された画像に基づいて、車室内の乗員を監視する車室内監視装置に関する。
【背景技術】
【０００２】
従来、自車に搭載されたカメラ等によって、車室内の乗員を監視する車室内監視装置が開発されている。より詳細には、車室内監視装置では、カメラ等によって撮像された画像から、各画素の輝度（濃淡）を比較することによってエッジ情報を取得し、当該エッジ情報に基づいて顔らしい形状の候補を検出する。そして、車室内監視装置は、当該顔らしい形状の候補から、車室内の乗員の顔を認識し、乗員の目の位置および状態を監視して、所謂、居眠り運転および脇見運転を防止する。そこで、このような車室内監視装置では、高速かつ正確に乗員の顔を認識することが求められている。
【０００３】
例えば、特許文献１では、カメラ等によって撮像された画像から、自動または手動で顔領域を選択し、当該選択された顔領域から、さらに顔を含む必要領域を正確に絞り込む技術が開示されている。換言すれば、特許文献１では、カメラ等によって撮像された画像から、段階的に顔領域および必要領域を絞り込んで、顔以外の背景を排除することによって、正確に顔を認識している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３５２５６０号公報
【特許文献２】特開２００９−１７６００５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の車室内監視装置では、カメラ等によって撮像された画像の全範囲から顔らしい形状の候補を検出して、当該顔らしい形状の候補から車室内の乗員の顔を認識していたため、当該顔認識処理について、特に、初期顔検出処理に膨大な時間がかかるという問題があった。また、エッジ情報に基づいて顔らしい形状の候補を複数検出するため、例えば、顔の形状に類似するヘッドレスト等を、顔と誤認識するという問題もあった。
【０００６】
また、乗員毎に座席における着座位置が異なったり、座席位置および／またはステアリング位置を調整したりする。上述した特許文献１では、カメラ等によって撮像された画像から、自動または手動で顔領域を選択するため、初期段階で安定して正確に顔領域を選択することができず、その結果、高速かつ正確に乗員の顔を認識することができないという問題がある。
【０００７】
それ故に、本発明の目的は、乗員および／または運転環境に影響することなく、高速かつ正確に乗員の顔を認識できる車室内監視装置を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の車室内監視装置は、自車の車室内における乗員を監視する車室内監視装置であって、乗員が車室内に存在するか否かを判定する乗員判定手段と、乗員判定手段によって車室内に乗員が存在すると判定された場合、乗員が存在する車室内の画像である乗車後画像を取得する乗車後画像取得手段と、乗員が存在しない車室内の画像である乗車前画像と乗車後画像との差分である差分画像を取得する差分画像取得手段と、差分画像に基づいて、監視する乗員を検出する対象となる検出対象領域を設定する検出対象領域設定手段と、検出対象領域設定手段によって設定された検出対象領域から乗員の顔を検出する顔検出手段と、顔検出手段によって検出された顔を監視する監視手段とを備える。
かかる構成により、差分画像取得手段は、乗車前画像と乗車後画像との差分である差分画像を取得し、検出対象領域設定手段は、差分画像に基づいて、監視する乗員を検出する対象となる検出対象領域を設定し、顔検出手段は、検出対象領域設定手段によって設定された検出対象領域から乗員の顔を検出するため、乗員および／または運転環境に影響することなく、高速かつ正確に乗員の顔を認識できる。
【０００９】
好ましくは、乗員の乗車直前に車室内を撮影して、乗車前画像を取得する乗車前画像取得手段を、さらに備える。
かかる構成により、乗車前画像取得手段は、乗員の乗車直前に車室内を撮影して、乗車前画像を取得するため、乗員以外の部分について乗車前画像と乗車後画像とが近似し、検出対象領域設定手段は、差分画像に基づいて、監視する乗員を検出する対象となる検出対象領域を設定し易くなる。
【００１０】
好ましくは、自車のドアが開錠されたか否かを判定するドア開錠判定手段を、さらに備え、ドア開錠判定手段によって自車のドアが開錠されたと判定された場合、乗車前画像取得手段は、車室内を撮影して、乗車前画像を取得することを特徴とする。
かかる構成により、乗車前画像取得手段は、ドア開錠判定手段によって自車のドアが開錠されたと判定された場合、車室内を撮影して、乗車前画像を取得するため、乗員以外の部分について乗車前画像と乗車後画像とがさらに近似し、検出対象領域設定手段は、差分画像に基づいて、監視する乗員を検出する対象となる検出対象領域を設定し易くなる。
【００１１】
さらに、好ましい乗車後画像取得手段は、乗員が運転座席に着座したタイミングで車室内を撮影することを特徴とする。
かかる構成により、乗車後画像取得手段は、乗員が運転座席に着座したタイミングで車室内を撮影するため、当該撮影された乗車後画像は、乗員が運転している状態の画像に近似する。つまり、検出対象領域設定手段によって設定された検出対象領域から検出された乗員の顔は、運転している状態の乗員の顔に近似することになり、監視手段は、乗員の顔を監視し易くなる。
【００１２】
さらに、好ましい乗車後画像取得手段は、乗員が運転する体勢となるタイミングで車室内を撮影することを特徴とする。
かかる構成により、乗車後画像取得手段は、乗員が運転する体勢となるタイミングで車室内を撮影するため、当該撮影された乗車後画像は、乗員が運転している状態の画像にさらに近似する。つまり、検出対象領域設定手段によって設定された検出対象領域から検出された乗員の顔は、運転している状態の乗員の顔にさらに近似することになり、監視手段は、乗員の顔を監視し易くなる。
【００１３】
さらに、好ましい乗車後画像取得手段は、シフトレンジがドライブレンジに設定されたタイミングで車室内を撮影することを特徴とする。
かかる構成により、乗車後画像取得手段は、シフトレンジがドライブレンジに設定されたタイミングで車室内を撮影するため、当該撮影された乗車後画像は、乗員が運転している状態の画像にさらに近似する。つまり、検出対象領域設定手段によって設定された検出対象領域から検出された乗員の顔は、運転している状態の乗員の顔にさらに近似することになり、監視手段は、乗員の顔を監視し易くなる。
【００１４】
また、好ましくは、運転座席および／またはステアリングコラムが予め設定された位置から移動したか否かを判定する移動判定手段と、移動判定手段によって運転座席および／またはステアリングコラムが移動したと判定された場合、運転座席および／またはステアリングコラムが予め設定された位置から移動した移動量を算出する移動量算出手段と、移動量算出手段によって算出された移動量に基づいて、乗車前画像を補正する乗車前画像補正手段とを、さらに備え、差分画像取得手段は、乗車前画像補正手段によって補正された乗車前画像と、乗車後画像との差分である差分画像を取得することを特徴とする。
かかる構成により、移動量算出手段は、運転座席および／またはステアリングコラムが予め設定された位置から移動した移動量を算出し、乗車前画像補正手段は、移動量算出手段によって算出された移動量に基づいて乗車前画像を補正する。これにより、乗員よって運転座席位置および／またはステアリング位置が調整された場合であっても、乗員以外の部分について、補正された乗車前画像と乗車後画像とが近似し、検出対象領域設定手段は、差分画像に基づいて、監視する乗員を検出する対象となる検出対象領域を設定し易くなる。
【００１５】
また、好ましくは、運転座席および／またはステアリングコラムが予め設定された位置から移動したか否かを判定する移動判定手段と、移動判定手段によって運転座席および／またはステアリングコラムが移動したと判定された場合、顔検出手段は、乗車後画像の全範囲から乗員の顔を検出することを特徴とする。
かかる構成により、上述したように運転座席および／またはステアリングコラムが予め設定された位置から移動した移動量を算出し、算出された移動量に基づいて乗車前画像を補正することによって、膨大な処理時間を費やしてしまう場合には、顔検出手段は、乗車後画像の全範囲から乗員の顔を検出し、無駄な処理を実行しなくて済む。
【００１６】
上記目的を達成するために、本発明の車室内監視方法は、自車の車室内における乗員を監視する車室内監視装置が実行する車室内監視方法であって、乗員が車室内に存在するか否かを判定する乗員判定ステップと、乗員判定ステップで車室内に乗員が存在すると判定された場合、乗員が存在する車室内の画像である乗車後画像を取得する乗車後画像取得ステップと、乗員が存在しない車室内の画像である乗車前画像と乗車後画像との差分である差分画像を取得する差分画像取得ステップと、差分画像に基づいて、監視する乗員を検出する対象となる検出対象領域を設定する検出対象領域設定ステップと、検出対象領域設定ステップで設定された検出対象領域から乗員の顔を検出する顔検出ステップと、顔検出ステップで検出された顔を監視する監視ステップとを含む。
かかる構成により、差分画像取得ステップでは、乗車前画像と乗車後画像との差分である差分画像を取得し、検出対象領域設定ステップでは、差分画像に基づいて、監視する乗員を検出する対象となる検出対象領域を設定し、顔検出ステップでは、検出対象領域設定ステップで設定された検出対象領域から乗員の顔を検出するため、乗員および／または運転環境に影響することなく、高速かつ正確に乗員の顔を認識できる。
【００１７】
また、上記目的を達成するために、上述した本発明の車室内監視装置の各構成が行うそれぞれの処理は、一連の処理手順を与える車室内監視方法として捉えることができる。この方法は、一連の処理手順をコンピュータに実行させるためのプログラムの形式で提供される。このプログラムは、コンピュータ読み取り可能な記録媒体に記録された形態で、コンピュータに導入されてもよい。
【発明の効果】
【００１８】
上述のように、本発明の車室内監視装置によれば、乗員および／または運転環境に影響することなく、高速かつ正確に乗員の顔を認識できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態に係る車室内監視装置１００のハードウェア構成を示すブロック図
【図２】本発明の第１の実施形態に係る車室内監視装置１００の概略構成を示す機能ブロック図
【図３】本発明の第１の実施形態に係る車室内監視装置１００が実行する車室内監視方法３００の処理の流れを示すフローチャート
【図４】乗員が存在しない車室内の画像である乗車前画像４００を示す図
【図５】乗員が存在する車室内の画像である乗車後画像５００を示す図
【図６】乗車前画像４００と乗車後画像５００との差分である差分画像６００を示す図
【図７】図６に示した差分画像６００から乗員を検出する対象となる検出対象領域７００を示す図
【図８】図７に示した検出対象領域７００から乗員の顔を検出する様子を示す図
【図９】本発明の第２の実施形態に係る車室内監視装置９００のハードウェア構成を示すブロック図
【図１０】本発明の第２の実施形態に係る車室内監視装置９００の概略構成を示す機能ブロック図
【図１１】本発明の第２の実施形態に係る車室内監視装置９００が実行する車室内監視方法１１００の処理の流れを示すフローチャート
【発明を実施するための形態】
【００２０】
以下、本発明の各実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る車室内監視装置１００のハードウェア構成を示すブロック図である。図１において、車室内監視装置１００は、ドライバモニタカメラ１１と、ドア開閉検知センサ１２と、乗員検知センサ１３と、ドライバモニタＥＣＵ（Electronic Control Unit）１４とを備える。
【００２１】
ドライバモニタカメラ１１は、例えば、ステアリングコラムに設置されており、車室内を撮影する。より詳細には、ドライバモニタカメラ１１は、ドライバモニタＥＣＵ１４からの撮影タイミング制御信号に基づいて、車室内を撮影し、当該撮影した画像データをドライバモニタＥＣＵ１４に送信する。
【００２２】
ドア開閉検知センサ１２は、例えば、キーレスエントリーシステムであって、ドアが開錠されたことを検知した場合、ドア開錠検知情報をドライバモニタＥＣＵ１４に送信する。
【００２３】
乗員検知センサ１３は、例えば、座席に加わる荷重によって乗員を検知するセンサであって、乗員を検知した場合、ドライバ検知情報をドライバモニタＥＣＵ１４に送信する。
【００２４】
ドライバモニタＥＣＵ１４は、ドア開閉検知センサ１２から送信されるドア開錠検知情報、および乗員検知センサ１３から送信されるドライバ検知情報に基づいて、撮影タイミング制御信号をドライバモニタカメラ１１に送信する。さらに、ドライバモニタＥＣＵ１４は、ドライバモニタカメラ１１によって撮像された画像を処理することによって、車室内の乗員の顔を認識し、当該認識した乗員の顔を監視する。ドライバモニタＥＣＵ１４における処理の詳細は、後述する。
【００２５】
図２は、本発明の第１の実施形態に係る車室内監視装置１００の概略構成を示す機能ブロック図である。図２において、車室内監視装置１００は、ドア開錠判定手段１０１と、乗車前画像取得手段１０２と、乗員判定手段１０３と、乗車後画像取得手段１０４と、差分画像取得手段１０５と、検出対象領域設定手段１０６と、顔検出手段１０７と、監視手段１０８とを備える。
【００２６】
ドア開錠判定手段１０１は、自車のドアが開錠されたか否かを判定する。具体的には、ドア開錠判定手段１０１は、例えば、キーレスエントリーシステムであって、乗員が操作するリモート鍵と、自車に搭載されているＥＣＵとの間の通信によってドアが開錠されたことを検知する。
【００２７】
乗車前画像取得手段１０２は、乗員が存在しない車室内の画像である乗車前画像を取得する。具体的には、例えば、乗車前画像取得手段１０２は、ステアリングコラムに設置されたドライバモニタカメラであって、乗員が自車に乗車する直前に、乗員が存在しない車室内を撮影して乗車前画像を取得すればよい。なお、本実施形態では、乗員が自車に乗車する直前とは、自車のドアが開錠されたタイミングである。
【００２８】
乗員判定手段１０３は、乗員が車室内に存在するか否かを判定する。具体的には、乗員判定手段１０３は、乗員が乗車したことを検知するものであって、例えば、座席に加わる乗員荷重をセンサによって検知すればよい。
【００２９】
乗車後画像取得手段１０４は、乗員が存在する車室内を撮影し、乗員が存在する車室内の画像である乗車後画像を取得する。具体的には、乗車後画像取得手段１０４は、例えば、ステアリングコラムに設置されたドライバモニタカメラであって、乗員が運転座席に着座したタイミングで車室内を撮影し、乗車後画像を取得する。
【００３０】
差分画像取得手段１０５は、乗車前画像取得手段１０２によって取得された乗車前画像と、乗車後画像取得手段１０４によって取得された乗車後画像との差分である差分画像を取得する。
【００３１】
検出対象領域設定手段１０６は、差分画像取得手段１０５によって取得された差分画像に基づいて、検出対象領域を設定する。検出対象領域とは、乗車後画像から監視する乗員の顔を探索する際、当該乗員の顔を探索する対象となる領域である。
【００３２】
顔検出手段１０７は、検出対象領域設定手段１０６によって設定された検出対象領域から乗員の顔を検出する。
【００３３】
監視手段１０８は、顔検出手段１０７によって検出された顔を監視する。具体的には、監視手段１０８は、ステアリングコラムに設置されたドライバモニタカメラによって乗員の顔を監視する。
【００３４】
なお、上述したドア開錠判定手段１０１〜監視手段１０８は、例えば、ドライバモニタＥＣＵである制御手段（図示せず）によって制御されている。
【００３５】
次に、本発明の第１の実施形態に係る車室内監視装置１００が実行する車室内監視方法について、処理の流れを詳しく説明する。図３は、本発明の第１の実施形態に係る車室内監視装置１００が実行する車室内監視方法３００の処理の流れを示すフローチャートである。図３において、車室内監視方法３００は、ドア開錠判定ステップＳ３０１と、乗車前画像取得ステップＳ３０２と、乗員判定ステップＳ３０３と、乗車後画像取得ステップＳ３０４と、差分画像取得ステップＳ３０５と、検出対象領域設定ステップＳ３０６と、顔検出ステップＳ３０７と、監視ステップＳ３０８とを含む。
【００３６】
ドア開錠判定ステップＳ３０１において、ドア開錠判定手段１０１は、自車のドアが開錠されたか否かを判定する。具体的には、ドア開錠判定手段１０１は、キーレスエントリーシステムにおいて、乗員が操作するリモート鍵と、自車に搭載されているＥＣＵとの間の通信によってドアが開錠されたか否かを判定する。ドア開錠判定手段１０１は、自車のドアが開錠されたと判定した場合、乗車前画像取得手段１０２にドア開錠検知情報を通知して、乗車前画像取得ステップＳ３０２の処理に進む（ドア開錠判定ステップＳ３０１のＹｅｓ）。一方、ドア開錠判定手段１０１は、自車のドアが開錠されていないと判定した場合、ドア開錠判定ステップＳ３０１の処理を繰り返す（ドア開錠判定ステップＳ３０１のＮｏ）。換言すれば、ドア開錠判定手段１０１は、ドア開錠判定ステップＳ３０１を繰り返して、自車のドアが開錠するか否かを監視している。
【００３７】
乗車前画像取得ステップＳ３０２において、乗車前画像取得手段１０２は、乗員が存在しない車室内の画像である乗車前画像を取得する。図４は、乗員が存在しない車室内の画像である乗車前画像４００を示す図である。乗車前画像取得手段１０２は、ドア開錠判定手段１０１からのドア開錠検知情報に基づいて、ステアリングコラムに設置されたドライバモニタカメラによって車室内を撮影して、乗車前画像４００を取得する。
【００３８】
乗員判定ステップＳ３０３において、乗員判定手段１０３は、乗員が車室内に存在するか否かを判定する。具体的には、乗員判定手段１０３は、ドア開錠判定ステップＳ３０１で自車のドアが開錠されたと判定された後、座席に加わる荷重によって、乗員が着座したか否かを判定する。乗員判定手段１０３は、乗員が着座したと判定した場合、ドライバ検知情報を乗車後画像取得手段１０４に通知して、乗車後画像取得ステップＳ３０４の処理に進む（乗員判定ステップＳ３０３のＹｅｓ）。一方、乗員判定手段１０３は、乗員が着座していないと判定した場合、乗員判定ステップＳ３０３の処理を繰り返す（乗員判定ステップＳ３０３のＮｏ）。換言すれば、乗員判定手段１０３は、乗員判定ステップＳ３０３を繰り返して、乗員が車室内に存在するか否かを監視している。
【００３９】
乗車後画像取得ステップＳ３０４において、乗車後画像取得手段１０４は、乗員が存在する車室内を撮影し、乗員が存在する車室内の画像である乗車後画像を取得する。図５は、乗員が存在する車室内の画像である乗車後画像５００を示す図である。乗車後画像取得手段１０４は、乗員判定手段１０３からのドライバ検知情報に基づいて、ステアリングコラムに設置されたドライバモニタカメラによって車室内を撮影して、乗車後画像５００を取得する。
【００４０】
差分画像取得ステップＳ３０５において、差分画像取得手段１０５は、乗車前画像取得ステップＳ３０２で取得された乗車前画像４００と、乗車後画像取得ステップＳ３０４で取得された乗車後画像５００との差分である差分画像を取得する。具体的には、乗車前画像４００と乗車後画像５００とについて、各画素における輝度値を比較することによって、差分画像を生成する。図６は、乗車前画像４００と乗車後画像５００との差分である差分画像６００を示す図である。図４に示した乗車前画像４００と、図５に示した乗車後画像５００とについて、例えば、車室内における背景（後部座席、運転座席、ヘッドレスト等）は同様であって、差異点は、座席に乗員が着座している点である。したがって、図６に示すように、座席に着座している乗員のみの差分画像６００が生成される。
【００４１】
検出対象領域設定ステップＳ３０６において、検出対象領域設定手段１０６は、差分画像取得ステップＳ３０５で取得された差分画像６００に基づいて、検出対象領域を設定する。図７は、図６に示した差分画像６００から乗員を検出する対象となる検出対象領域７００を示す図である。図７において、検出対象領域設定手段１０６は、差分画像６００における乗員の範囲に応じた検出対象領域７００を設定している。ここで、差分画像６００では、車室内の背景（例えば、後部座席、運転座席、ヘッドレスト等）が削除されているため、検出対象領域設定手段１０６は、ステアリングコラムに設置されたドライバモニタカメラによって撮影された車室内の全範囲に比べて、絞り込んだ範囲に検出対象領域７００を設定することができる。
【００４２】
顔検出ステップＳ３０７において、顔検出手段１０７は、検出対象領域設定ステップＳ３０６で設定された検出対象領域７００から乗員の顔を検出する。図８は、図７に示した検出対象領域７００から乗員の顔を検出する様子を示す図である。図８において、顔検出手段１０７は、検出対象領域７００から、先ず、乗員の顔の輪郭を認識し、順に、顔の詳細部分（目、鼻、口など）を検出する。なお、顔を検出する方法としては、例えば、顔の特徴点毎に探索範囲を設定して、詳細部分まで正確に検出する方法がある（特許文献２を参照）。
【００４３】
監視ステップＳ３０８において、監視手段１０８は、顔検出ステップＳ３０７で検出された顔を監視する。より詳細には、監視手段１０８は、ステアリングコラムに設置されたドライバモニタカメラによって乗員の顔を監視し、例えば、顔が正面を向いていない場合および瞼が閉じた場合には、脇見運転および居眠り運転と判定し、乗員に対して警告を促す。
【００４４】
以上のように、本発明の第１の実施形態に係る車室内監視装置１００および車室内監視方法３００によれば、乗車前画像４００と乗車後画像５００との差分である差分画像６００を取得し、当該差分画像６００に基づいて、ステアリングコラムに設置されたドライバモニタカメラによって撮影された車室内の全範囲に比べて、絞り込んだ検出対象領域７００を設定する。そして、当該検出対象領域７００から乗員の顔を検出するため、乗員および／または運転環境に影響することなく、高速かつ正確に乗員の顔を認識できる。
【００４５】
特に、本実施形態では、乗車前画像４００および乗車後画像５００を取得する両場面において、ステアリングコラムに設置されたドライバモニタカメラによって車室内を撮影する環境（例えば、車室内の明るさ等）を近似させている。具体的には、乗車前画像４００について、乗員が自車に乗車する直前である自車のドアが開錠されたタイミングで車室内を撮影することによって、座席に着座した乗員以外の環境を、乗車後画像５００を取得する場面に近似するものにしている。これにより、座席に着座している乗員のみの差分画像６００を生成することができ、当該差分画像６００に基づいて検出対象領域７００を設定することができる。
【００４６】
なお、本実施形態では、乗員が存在しない車室内を撮影するタイミングを自車のドアが開錠されたタイミングとしていたが、これに限定されるものではない。例えば、乗員が自車のドアノブを引いたタイミング、および乗員によって実際に自車のドアが開けられたタイミングであっても構わない。
【００４７】
さらに、乗車前画像４００は、毎回、乗員が乗車する直前に、ステアリングコラムに設置されたドライバモニタカメラによって車室内を撮影することによって取得しても構わないが、メモリ等の記録手段によって予め記録しても構わない。ただし、上述したように、乗車前画像４００および乗車後画像５００を取得する両場面において、車室内の環境を近似させていることが好ましいため、環境条件に応じた複数の乗車前画像を予め記録している方がより好ましい。例えば、車室内の環境（車室内の明るさ）に影響のある場面を想定して、時間帯（朝、昼、夜）、天気（晴れ、曇り、雨）、季節（春、夏、秋、冬）、停車位置（日向、日陰、灯のある街道、灯のない山道）等、またはこれらの組み合わせで、複数の乗車前画像を予め記録してもよい。これにより、乗車後画像５００を撮像する場面における車室内の環境（車室内の明るさ等）に近似する乗車前画像を選択することによって、座席に着座している乗員のみの差分画像６００を生成することができ、当該差分画像６００に基づいて検出対象領域７００を設定することができる。
【００４８】
なお、本実施形態では、乗員が存在する車室内を撮影するタイミングを乗員が着座したタイミングとしていたが、これに限定されるものではない。例えば、シフトレンジがドライブレンジに設定されたタイミング、乗員がハンドルを握ったタイミング、エンジンが始動されたタイミング、および車両が動き出したタイミング等、乗員が運転する体勢となる状況を検知できるタイミングであれば、何でも構わない。
【００４９】
＜第２の実施形態＞
図９は、本発明の第２の実施形態に係る車室内監視装置９００のハードウェア構成を示すブロック図である。図９において、車室内監視装置９００は、ドライバモニタカメラ１１と、ドア開閉検知センサ１２と、乗員検知センサ１３と、ドライバモニタＥＣＵ１４と、シート調整機構９１と、ステアリングコラム調整機構９２とを備える。なお、図９において、図１に示した本発明の第１の実施形態に係る車室内監視装置１００と同一の構成については、同一の参照符号を付すことによって、詳細な説明は省略する。本実施形態では、主に、本発明の第１の実施形態と異なる構成について説明する。
【００５０】
シート調整機構９１は、例えば、乗員が着座した後、乗員が運転し易い体勢となるように運転座席位置を調整するものであって、調整した運転座席位置を示すシート位置情報をドライバモニタＥＣＵ１４に送信する。
【００５１】
ステアリングコラム調整機構９２は、例えば、乗員が着座した後、乗員が運転し易い体勢となるようにハンドル位置を調整する。これにより、ステアリングコラムに設置されているドライバモニタカメラの位置も移動することになる。したがって、ステアリングコラム調整機構９２は、調整したハンドル位置（移動したドライバモニタカメラ位置）を示すチルトテレスコピック位置情報をドライバモニタＥＣＵ１４に送信する。
【００５２】
ドライバモニタＥＣＵ１４は、乗員が自車に乗車する直前に、ドライバモニタカメラ１１によって乗員が存在しない車室内を撮影して乗車前画像を取得した後、シート調整機構９１から送信されるシート位置情報、およびステアリングコラム調整機構９２から送信されるチルトテレスコピック位置情報に基づいて、当該乗車前画像を補正する。ドライバモニタＥＣＵ１４における処理の詳細は、後述する。
【００５３】
図１０は、本発明の第２の実施形態に係る車室内監視装置９００の概略構成を示す機能ブロック図である。図１０において、車室内監視装置９００は、ドア開錠判定手段１０１と、乗車前画像取得手段１０２と、乗員判定手段１０３と、乗車後画像取得手段１０４と、移動判定手段９０１と、移動量算出手段９０２と、乗車前画像補正手段９０３と、差分画像取得手段９０４と、検出対象領域設定手段１０６と、顔検出手段１０７と、監視手段１０８とを備える。なお、図１０において、図２に示した本発明の第１の実施形態に係る車室内監視装置１００と同一の構成については、同一の参照符号を付すことによって、詳細な説明は省略する。本実施形態では、主に、本発明の第１の実施形態と異なる構成について説明する。
【００５４】
移動判定手段９０１は、運転座席および／またはステアリングコラムが予め設定された位置から移動したか否かを判定する。具体的には、移動判定手段９０１は、例えば、シート調整機構および／またはステアリングコラム調整機構と連携して、運転座席および／またはステアリングコラムが予め設定された位置から移動したことを認識すればよい。
【００５５】
移動量算出手段９０２は、移動判定手段９０１によって運転座席および／またはステアリングコラムが移動したと判定された場合、運転座席および／またはステアリングコラムが予め設定された位置から移動した移動量を算出する。具体的には、移動量算出手段９０２は、シート調整機構からシート位置情報を取得して、運転座席が予め設定された位置から上下左右前後にどれだけ移動したかを算出する。また、移動量算出手段９０２は、ステアリングコラム調整機構からチルトテレスコピック位置情報を取得して、ステアリングコラムに設置されているドライバモニタカメラが予め設定された位置から上下左右前後にどれだけ移動したかを算出する。
【００５６】
乗車前画像補正手段９０３は、移動量算出手段９０２によって算出された移動量に基づいて、乗車前画像を補正する。例えば、運転座席が予め設定された位置から車両の前方に移動していた場合、乗車前画像補正手段９０３は、乗車前画像のうち運転座席画像を、当該移動量に基づいて拡大することによって、乗車前画像を補正する。また、ドライバモニタカメラが予め設定された位置から上方に移動していた場合、乗車前画像補正手段９０３は、当該移動量に基づいて乗車前画像全体を下方にずらすことによって、乗車前画像を補正する。
【００５７】
差分画像取得手段９０４は、乗車前画像補正手段９０３によって補正された乗車前画像と、乗車後画像取得手段１０４によって取得された乗車後画像との差分である差分画像を取得する。
【００５８】
なお、上述した移動判定手段９０１〜差分画像取得手段９０４は、例えば、ドライバモニタＥＣＵである制御手段（図示せず）によって制御されている。
【００５９】
次に、本発明の第２の実施形態に係る車室内監視装置９００が実行する車室内監視方法について、処理の流れを詳しく説明する。図１１は、本発明の第２の実施形態に係る車室内監視装置９００が実行する車室内監視方法１１００の処理の流れを示すフローチャートである。図１１において、車室内監視方法１１００は、ドア開錠判定ステップＳ３０１と、乗車前画像取得ステップＳ３０２と、乗員判定ステップＳ３０３と、移動判定ステップＳ１１０１と、移動量算出ステップＳ１１０２と、乗車前画像補正ステップＳ１１０３と、乗車後画像取得ステップＳ１１０４と、差分画像取得ステップＳ１１０５と、検出対象領域設定ステップＳ３０６と、顔検出ステップＳ３０７と、監視ステップＳ３０８とを含む。なお、図１１において、図３に示した本発明の第１の実施形態に係る車室内監視方法３００と同一の構成については、同一の参照符号を付すことによって、詳細な説明は省略する。本実施形態では、主に、本発明の第１の実施形態と異なる構成について説明する。
【００６０】
乗員判定ステップＳ３０３において、乗員判定手段１０３は、乗員が着座したと判定した場合、ドライバ検知情報を乗車後画像取得手段１０４に通知して、移動判定ステップＳ１１０１の処理に進む（乗員判定ステップＳ３０３のＹｅｓ）。一方、乗員判定手段１０３は、乗員が着座していないと判定した場合、乗員判定ステップＳ３０３の処理を繰り返す（乗員判定ステップＳ３０３のＮｏ）。
【００６１】
移動判定ステップＳ１１０１において、移動判定手段９０１は、運転座席および／またはステアリングコラムが予め設定された位置から移動したか否かを判定する。移動判定手段９０１は、運転座席および／またはステアリングコラムが予め設定された位置から移動したと判定した場合、移動量算出ステップＳ１１０２の処理に進む（移動判定ステップＳ１１０１のＹｅｓ）。一方、移動判定手段９０１は、運転座席および／またはステアリングコラムが予め設定された位置から移動していないと判定した場合、乗車後画像取得ステップＳ１１０４の処理に進む（移動判定ステップＳ１１０１のＮｏ）。
【００６２】
なお、移動判定手段９０１は、乗員判定ステップＳ３０３で乗員が着座したと判定してから所定の時間までの間、運転座席および／またはステアリングコラムが予め設定された位置から移動したと判定しない場合、運転座席および／またはステアリングコラムが予め設定された位置から移動していないと判定すればよい。また、移動判定手段９０１は、乗員判定ステップＳ３０３で乗員が着座したと判定してから、エンジンが始動するまで、または車両が動き出すまでの間、運転座席および／またはステアリングコラムが予め設定された位置から移動したと判定しない場合、運転座席および／またはステアリングコラムが予め設定された位置から移動していないと判定してもよい。
【００６３】
移動量算出ステップＳ１１０２において、移動量算出手段９０２は、移動判定ステップＳ１１０１で運転座席および／またはステアリングコラムが移動したと判定された場合、運転座席および／またはステアリングコラムが予め設定された位置から移動した移動量を算出する。例えば、移動量算出手段９０２は、乗車前画像を撮像した際の運転座席位置（Ｘ，Ｙ，Ｚ）＝（Ｘ１，Ｙ１，Ｚ１）と、運転座席が調整された場合における移動後の運転座席位置（Ｘ，Ｙ，Ｚ）＝（Ｘ２，Ｙ２，Ｚ２）とに基づいて、運転座席の移動量（ΔＸ，ΔＹ，ΔＺ）＝（Ｘ２−Ｘ１，Ｙ２−Ｙ１，Ｚ２−Ｚ１）を算出する。同様に、移動量算出手段９０２は、乗車前画像を撮像した際のステアリングコラムに設置されているドライバモニタカメラ位置と、ステアリングコラムが調整された場合における移動後のドライバモニタカメラ位置とに基づいて、ドライバモニタカメラの移動量を算出する。
【００６４】
乗車前画像補正ステップＳ１１０３において、乗車前画像補正手段９０３は、移動量算出ステップＳ１１０２で算出された運転座席の移動量、および／またはドライバモニタカメラの移動量に基づいて乗車前画像を補正する。より詳細には、乗車前画像補正手段９０３は、乗車前画像取得ステップＳ３０２で撮像した乗車前画像を、座席に着座した乗員以外の環境を後述する乗車後画像取得ステップＳ１１０４で撮像する乗車後画像に近似させるように補正する。
【００６５】
具体的には、例えば、運転座席が、乗車前画像取得ステップＳ３０２で乗車前画像を撮像した際の運転座席位置から、車両の前方（Ｚ軸正の方向）に、所定の距離（ΔＺ）移動していた場合、乗車前画像補正手段９０３は、乗車前画像のうち運転座席画像をΔＺに応じて拡大する。また、運転座席が、乗車前画像取得ステップＳ３０２で乗車前画像を撮像した際の運転座席位置から、上方（Ｙ軸正の方向）に、所定の距離（ΔＹ）移動していた場合、乗車前画像補正手段９０３は、乗車前画像のうち運転座席画像をΔＹに応じて上方にずらす。なお、運転座席の移動量（ΔＸ，ΔＹ，ΔＺ）に応じた乗車前画像の補正方法について、例えば、運転座席画像の拡大率または縮小率、および上下左右方向への補正量は予め設定されていてもよい。
【００６６】
また、例えば、乗車前画像取得ステップＳ３０２で乗車前画像を撮像した際のドライバモニタカメラ位置から、乗員方向（Ｚ軸負の方向）に、所定の距離（ΔＺ）移動していた場合、乗車前画像補正手段９０３は、乗車前画像全体をΔＺに応じて拡大する。また、ドライバモニタカメラが、乗車前画像取得ステップＳ３０２で乗車前画像を撮像した際のドライバモニタカメラ位置から、上方（Ｙ軸正の方向）に、所定の距離（ΔＹ）移動していた場合、乗車前画像補正手段９０３は、乗車前画像全体をΔＹに応じて下方にずらす。なお、ドライバモニタカメラの移動量（ΔＸ，ΔＹ，ΔＺ）に応じた乗車前画像の補正方法について、例えば、乗車前画像の拡大率または縮小率、および上下左右方向への補正量は予め設定されていてもよい。
【００６７】
乗車後画像取得ステップＳ１１０４において、乗車後画像取得手段１０４は、乗員が存在する車室内を撮影し、乗員が存在する車室内の画像である乗車後画像を取得する。詳細には、乗車後画像取得手段１０４は、移動判定ステップＳ１１０１で運転座席および／またはステアリングコラムが予め設定された位置から移動したか否かを示す移動判定結果を受けて、ステアリングコラムに設置されたドライバモニタカメラによって車室内を撮影して、乗車後画像を取得する。これは、例えば、ドライバモニタカメラによって車室内を撮影した後、ドライバモニタカメラ位置が移動してしまうと、乗車前画像と乗車後画像とにおいて、座席に着座した乗員以外の環境（例えば、背景等）が異なるからである。
【００６８】
差分画像取得ステップＳ１１０４において、運転座席および／またはステアリングコラムが予め設定された位置から移動した場合、差分画像取得手段９０４は、乗車前画像補正ステップＳ１１０３で補正された乗車前画像と、乗車後画像取得ステップＳ１１０４で取得された乗車後画像との差分である差分画像を取得する。一方、運転座席および／またはステアリングコラムが予め設定された位置から移動していない場合、差分画像取得手段９０４は、乗車前画像取得ステップＳ３０２で取得された乗車前画像と、乗車後画像取得ステップＳ１１０４で取得された乗車後画像との差分である差分画像を取得する。
【００６９】
このように、運転座席および／またはステアリングコラムが予め設定された位置から移動した場合であっても、乗車前画像と乗車後画像とにおいて、座席に着座した乗員以外の環境（例えば、背景等）が近似させている。これにより、差分画像取得ステップＳ１１０４で生成される差分画像は、本発明の第１の実施形態の図６に示したように、座席に着座している乗員のみの差分画像６００を生成することができる。
【００７０】
以上のように、本発明の第２の実施形態に係る車室内監視装置９００および車室内監視方法１１００によれば、運転座席および／またはステアリングコラムが予め設定された位置から移動した場合であっても、本発明の第１の実施形態と同様に、座席に着座している乗員のみの差分画像６００を取得し、当該差分画像６００に基づいて、ステアリングコラムに設置されたドライバモニタカメラによって撮影された車室内の全範囲に比べて、絞り込んだ検出対象領域７００を設定する。そして、当該検出対象領域７００から乗員の顔を検出するため、乗員および／または運転環境に影響することなく、高速かつ正確に乗員の顔を認識できる。
【００７１】
なお、本実施形態では、乗車前画像について、毎回、乗員が乗車する直前に、ステアリングコラムに設置されたドライバモニタカメラによって車室内を撮影し、運転座席の移動量、および／またはドライバモニタカメラの移動量に基づいて乗車前画像を補正していたが、補正後の乗車前画像をメモリ等の記録手段によって予め記録しても構わない。例えば、移動後の運転座席、および／または移動後のドライバモニタカメラを想定して、当該想定に応じた複数の乗車前画像を予め記録しておく。さらに、車室内の環境（車室内の明るさ）に影響のある場面を想定して、時間帯（朝、昼、夜）、天気（晴れ、曇り、雨）、季節（春、夏、秋、冬）、停車位置（日向、日陰、灯のある街道、灯のない山道）等、またはこれらの組み合わせで、複数の乗車前画像を予め記録してもよい。これにより、乗車前画像を補正する処理を簡略化でき、より高速に乗員の顔を認識できる。
【００７２】
また、乗車前画像を補正する処理が複雑になって、乗車前画像を補正する処理に時間がかかる場合には、乗車前画像と乗車後画像とに基づいて差分画像を生成せずに、乗車後画像における車室内の全範囲から乗員の顔を検出するようにしても構わない。
【産業上の利用可能性】
【００７３】
本発明は、車室内の乗員を監視する車室内監視装置等に適用可能であって、初期段階において、高速かつ正確に乗員の顔を検出する処理等に有用である。
【符号の説明】
【００７４】
１１    ドライバモニタカメラ
１２    ドア開閉検知センサ
１３    乗員検知センサ
１４    ドライバモニタＥＣＵ
９１    シート調整機構
９２    ステアリングコラム調整機構
１００、９００    車室内監視装置
１０１    ドア開錠判定手段
１０２    乗車前画像取得手段
１０３    乗員判定手段
１０４    乗車後画像取得手段
１０５、９０４    差分画像取得手段
１０６    検出対象領域設定手段
１０７    顔検出手段
１０８    監視手段
３００、１１００    車室内監視方法
４００    乗車前画像
５００    乗車後画像
６００    差分画像
７００    検出対象領域
９０１    移動判定手段
９０２    移動量算出手段
９０３    乗車前画像補正手段
Ｓ３０１    ドア開錠判定ステップ
Ｓ３０２    乗車前画像取得ステップ
Ｓ３０３    乗員判定ステップ
Ｓ３０４、Ｓ１１０４    乗車後画像取得ステップ
Ｓ３０５、Ｓ１１０５    差分画像取得ステップ
Ｓ３０６    検出対象領域設定ステップ
Ｓ３０７    顔検出ステップ
Ｓ３０８    監視ステップ
Ｓ１１０１    移動判定ステップ
Ｓ１１０２    移動量算出ステップ
Ｓ１１０３    乗車前画像補正ステップ
【図１】
2012044404.tif 000003
【図２】
2012044404.tif 000004
【図３】
2012044404.tif 000005
【図４】
2012044404.tif 000006
【図５】
2012044404.tif 000007
【図６】
2012044404.tif 000008
【図７】
2012044404.tif 000009
【図８】
2012044404.tif 000010
【図９】
2012044404.tif 000011
【図１０】
2012044404.tif 000012
【図１１】
2012044404.tif 000013