(57)【要約】【課題】車両の走行環境の変化に伴い明るさが大きく変化した場合であっても、運転者の顔画像からの特徴点の抽出が可能な運転状態監視装置を提供する。【解決手段】運転状態監視装置１は、撮像器１０により撮像して得られた運転者の顔画像を取得する画像取得部１１と、取得した顔画像を複数の領域に分割する画像分割部１２と、顔画像の各領域の平均輝度が所定の輝度値に近づくように、領域に含まれる画素の輝度値を領域毎に補正する画像補正部１３とを備える。画像補正部１３は、領域毎に輝度値の補正を行うので、それぞれの領域の明るさに応じて適切に補正できる。また、この補正により、各領域の画素の輝度値を画像解析の可能な一定の範囲内に収束させることができる。【選択図】図１
2010049491.tif 000002
【特許請求の範囲】
【請求項１】
撮像器により運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態に基づいて運転者の運転状態を監視する運転状態監視装置において、
前記顔画像を複数の領域に分割する画像分割手段と、
前記顔画像の各領域の平均輝度が所定の輝度値に近づくように、前記各領域の輝度値を補正する画像補正手段と
を備えることを特徴とする運転状態監視装置。
【請求項２】
前記画像補正手段により補正された前記顔画像の前記各領域間の境界部分の輝度値を、前記領域間の境界を跨いで一方の領域から他方の領域に向かうに従って輝度値が連続的に変化するように調整する画像調整手段を更に備えることを特徴とする請求項１記載の運転状態監視装置。
【請求項３】
前記画像補正手段は、前記顔画像の前記各領域の輝度値の分布が前記所定の輝度値を中心に圧縮されるように前記輝度値を補正すること
を特徴とする請求項１または２記載の運転状態監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像器により運転者の顔画像を取得し、取得した顔画像に基づいて運転者の運転状態を監視する運転状態監視装置に関するものである。
【背景技術】
【０００２】
近年、車両を運転している運転者の顔画像を取得し、この顔画像を解析処理することにより、運転状態を監視する監視装置が開発されている。この監視装置では、取得した顔画像における目、鼻及び口といった特徴点を抽出し、これらの特徴点の状態や顔の向き等に基づいて運転状態が判断される。例えば、特許文献１に記載される顔向き判別装置では、取得した顔画像における顔の位置及び顔の中心位置を検出して顔の向きを求め、この検出結果の精度の指標となる信頼度を併せて算出している。
【特許文献１】特開２００７−７２６２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
取得した顔画像からの特徴点の抽出には、例えばエッジ検出等の画像解析技術が用いられる。このため、装置が採用する画像解析アルゴリズムにより認識可能な程度に、顔画像においてこれらの特徴点が顕在化されている必要がある。しかしながら、車両の走行環境の変化に伴って、取得される顔画像の状態は様々に変化する。特に、運転者の顔に太陽光が直接に当たっている場合には、光が当たっている部分の明るさは非常に明るくなり、影となる部分の明るさは相対的に非常に暗くなる。撮像器は、制御プログラムにより明るさに対応して露出やシャッター速度を制御しようとするが、その制御可能な範囲を超えてしまうと、いわゆる白とびまたは黒つぶれといった現象が顔画像の一部の領域で発生する場合がある。これらの現象は、顔画像の輝度値が、画像解析の可能な一定の範囲を超えて分布した場合に発生する。このような領域に特徴点が含まれていた場合には、画像解析により特徴点を抽出することはできない。
【０００４】
そこで、本発明の課題は、車両の走行環境の変化に伴い明るさが大きく変化した場合であっても、運転者の顔画像からの特徴点の抽出が可能な運転状態監視装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明は、撮像器により運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態に基づいて運転者の運転状態を監視する運転状態監視装置において、顔画像を複数の領域に分割する画像分割手段と、顔画像の各領域の平均輝度が所定の輝度値に近づくように、各領域の輝度値を補正する画像補正手段とを備えることを特徴とする。
【０００６】
本発明の運転状態監視装置では、撮像器により取得した運転者の顔画像を複数の領域に分割し、分割された領域毎に輝度値の補正を行うので、それぞれの領域の明るさに応じて適切な補正を行うことができる。この補正は、各領域の平均輝度値が所定の輝度値に近づくように行われるので、各領域の輝度値を、画像解析の可能な一定の範囲内に収束させることができる。従って、取得した顔画像の輝度値が、画像解析の可能な一定の範囲を超えて分布した場合であっても、取得した顔画像からの特徴点の抽出が可能となる。
【０００７】
また、本発明に係る運転状態監視装置では、画像補正手段により補正された顔画像の各領域間の境界部分の輝度値を、領域間の境界を跨いで一方の領域から他方の領域に向かうに従って輝度値が連続的に変化するように調整する画像調整手段を更に備えることを特徴とする。
【０００８】
本発明の運転状態監視装置では、領域毎に輝度値の補正が行われるので、各領域間の境界において、大きく輝度値が異なる場合がある。このままの顔画像に対して、例えばエッジ検出のような画像処理により特徴点の検出を行うと、各領域間の境界が何らかの特徴点と判定されてしまう可能性がある。本発明では、各領域間の境界を跨いで一方の領域から他方の領域に向かうに従って輝度値が連続的に変化するように、各領域間の境界部分の輝度値を調整するので、各領域間の境界を何らかの特徴点と誤判断することなく、顔画像の解析を行うことが可能となる。
【０００９】
また、本発明の運転状態監視装置では、画像補正手段は、顔画像の各領域の輝度値の分布が所定の輝度値を中心に圧縮されるように輝度値を補正することを特徴とする。
【００１０】
本発明の運転状態監視装置では、各領域の輝度値の分布が所定の輝度値を中心に圧縮されるように各領域の輝度値が補正されるので、各領域の平均輝度値は所定の輝度値に近づけられる。従って、各領域の輝度値を画像解析の可能な一定の範囲内に確実に収束させることが可能となる。
【発明の効果】
【００１１】
本発明によれば、車両の走行環境の変化に伴い明るさが大きく変化し、撮像器により取得した顔画像の輝度値が画像解析の可能な一定の範囲を超えて分布した場合であっても、運転者の顔画像からの特徴点の抽出が可能となる。その結果、より適切な運転状態の監視が可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明に係る運転状態監視装置の実施形態について詳細に説明する。なお、全図中、同一又は相当部分には同一符号を付すこととする。
【００１３】
図１は、本発明に係る運転状態監視装置の実施形態を示す概略構成図である。運転状態監視装置１は、撮像器１０と、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）２０とを備える。ＥＣＵ２０は、画像取得部１１、画像分割部１２、画像補正部１３、画像調整部１４及び運転状態判断部１５を備える。ＥＣＵ２０は、ＣＰＵ、ＲＯＭ、ＲＡＭおよび入出力インターフェース等により構成される。
【００１４】
運転状態監視装置１は、撮像器１０により車両の運転者の顔画像を取得し、取得した顔画像の特徴点を抽出し、抽出した特徴点の状態に基づいて運転者の運転状態を監視する装置である。顔画像の特徴点は、例えば目、鼻及び口といった顔の部位であり、これらの特徴点は、例えばエッジ検出等の画像処理技術を用いて抽出される。そして、運転状態監視装置１は、例えば目の瞬き、鼻及び口の位置から判別した顔の向き等の特徴点の状態に基づいて、運転者の運転状態を監視する。
【００１５】
撮像器１０は、運転者の顔画像を撮像し、撮像した顔画像のデータを画像取得部１１に送出する。この撮像器１０は、例えば赤外線カメラ等により構成される。
【００１６】
画像取得部１１は、撮像器１０から送出された顔画像のデータを取得する。図２は、撮像された顔画像を示す図である。図２に示される顔画像では、顔の左下側から光が入射しており、顔の左下の領域の輝度が大きくなっている。一方、入射光の影となる顔の右上側の領域の輝度は小さくなっている。画像取得部１１は、取得した顔画像のデータを画像分割部１２に送出する。
【００１７】
画像分割部１２は、画像取得部１１から送出された顔画像のデータを取得し、取得した顔画像を複数の領域に分割する。図３〜図４は、顔画像の分割の例を示す図である。図３は、元の顔画像の縦及び横の長さを１／２にして均等にＡ〜Ｄの領域に４分割した場合の例である。このように、画像分割部１２は、予め設定された分割の仕方に従って顔画像を分割することができる。また、図４は、取得した顔画像の輝度分布に従って４分割した場合の例である。この顔画像は、画像内の輝度値に基づいて引かれる所定の間隔の等高線によりＡ〜Ｄの領域に分割されている。画像分割部１２は、複数の領域に分割した顔画像のデータを画像補正部１３に送出する。
【００１８】
画像補正部１３は、画像分割部１２から送出された顔画像のデータを取得し、分割された顔画像の各領域の平均輝度が所定の輝度値に近づくように、領域に含まれる画素の輝度値を領域毎に補正する。図５は、顔画像中のある領域における補正前後の輝度値の分布を示す図である。
【００１９】
図５（ａ）は、補正前の輝度値の分布を示す図である。補正前においては、この領域の画素の平均輝度値は輝度ＬＡである。画像補正部１３は、例えば顔画像の領域に含まれる画素の輝度値の分布が所定の輝度値ＬＭを中心に所定の割合で圧縮されるように画素の輝度値を補正する。
【００２０】
図５（ｂ）は、補正後の輝度値の分布を示す図である。ここでの補正は、低輝度側及び高輝度側の補正幅をそれぞれ補正幅ＣＬ及び補正幅ＣＨとして、画素の輝度値の分布を（２５６−（ＣＬ＋ＣＨ））／２５６の割合で圧縮して行われる。図５（ｂ）の例では、補正幅ＣＬ及び補正幅ＣＨは共に３２である。これらの補正幅は、例えば領域に含まれる画素の平均輝度値ＬＡと所定の輝度値ＬＭとの差に応じて設定することができる。具体的には、補正幅ＣＬ及び補正幅ＣＨは、平均輝度値ＬＡと所定の輝度値ＬＭとの差に所定の係数を乗じて得るように構成することが可能である。この所定の係数は、運転状態監視装置１が採用する画像解析アルゴリズムに依存して設定することができる。図５（ｂ）に示すように、この領域の補正後の画素の平均輝度値は輝度ＬＢであり、補正前に比べて所定の輝度値ＬＭに近づいている。なお、この所定の輝度値ＬＭは、輝度の階調幅の中心値であることが好ましい。例えば、輝度の階調幅が０〜２５５である場合には、所定の輝度値ＬＭを１２７に設定することができる。
【００２１】
図６は、顔画像の各領域の画素の輝度値を領域毎に補正した例を示す図である。図６（ａ）は、補正前の領域Ａ〜Ｄの輝度値の分布を示す図である。領域Ａ〜Ｄの平均輝度値はそれぞれ、輝度Ｌａ１、Ｌｂ１、Ｌｃ１、Ｌｄ１で示される。図６（ｂ）は、補正後の領域Ａ〜Ｄの輝度値の分布を示す図である。領域Ａ〜Ｄの平均輝度値はそれぞれ、輝度Ｌａ２、Ｌｂ２、Ｌｃ２、Ｌｄ２で示される。なお、図６（ａ）、図６（ｂ）のいずれのヒストグラムにおいても、横軸は輝度値を表し、縦軸は画素数を表している。補正後における各領域の平均輝度値はいずれも、補正前と比較して所定の輝度値ＬＭに近づいている。このように、領域毎に輝度値の補正が行われるので、それぞれの領域の輝度分布に応じて適切な補正を行うことができる。また、この補正は各領域の平均輝度値が所定の輝度値に近づくように行われるので、各領域に含まれる画素の輝度値を画像解析の可能な一定の範囲内に収束させることができる。
【００２２】
なお、以上の説明では、顔画像の領域に含まれる画素の輝度値の分布が所定の輝度値ＬＭを中心に所定の割合で圧縮されるように画素の輝度値を補正することとしたが、補正の仕方はこれに限られない。例えば、画像補正部１３は、いわゆるレベル補正により、各領域の画素の輝度値を補正することができる。このレベル補正は、指定した輝度の範囲に分布する画素の輝度値を、別に指定した輝度の範囲に同じ割合で分布するように補正する処理である。例えば、図７（ａ）では、ある領域の画素の輝度値は輝度値０〜１３０近傍に分布し、低輝度側に偏っている。この領域の画素に対して輝度値０〜２５５の範囲に輝度値が分布するようにレベル補正を行うと、図７（ｂ）に示すような輝度値の分布が得られる。この補正により、領域に含まれる画素の平均輝度値を、例えば輝度値１２７に設定される所定の輝度値ＬＭに近づけることができる。
【００２３】
画像補正部１３は、以上のように分割した領域毎に補正した顔画像のデータを画像調整部１４に送出する。
【００２４】
画像調整部１４は、画像補正部１３から送出された顔画像のデータを取得する。上記のように、運転状態監視装置１では、分割した領域毎に輝度値の補正が行われるので、例えば図８に示すように、各領域間の境界において輝度値が大きく異なる場合がある。このような状態の顔画像に対して、例えばエッジ検出のような画像処理により特徴点の検出を行うと、各領域間の境界が何らかの特徴点と判定されてしまう可能性がある。この誤判定を防止するために、画像調整部１４は、各領域間の境界を跨いで一方の領域から他方の領域に向かうに従って輝度値が滑らかに連続的に変化するように、各領域間の境界部分の画素の輝度値を調整する。
【００２５】
図９及び図１０を用いて、輝度値の調整について具体的に説明する。ここでは、図９に示す領域Ａと領域Ｃとの境界Ｐを含む部分において、境界Ｐからの距離が距離ｇ以内にある画素の輝度値を調整する場合について説明する。この調整は、図１０に示すように、領域Ａの点ａと領域Ｃの点ｃとの間の輝度差（Ｙａ−Ｙｃ）の傾きに応じて、点ａと点ｃとの間の画素の輝度値を変更して行われる。領域Ａの点ａから点Ｐに向かって距離ｄＡにある画素の輝度値ＹＰは、下記式（１）で表される。式（１）における輝度値Ｙｄは、点ａからの距離ｄＡにある画素の調整前の輝度値である。
ＹＰ＝Ｙｄ−（Ｙａ−Ｙｃ）／２／ｇ×ｄＡ  …（１）
【００２６】
領域Ｃの点ｃから点Ｐに向かって距離ｄＣにある画素の輝度値ＹＰは、以下に示す式（２）で表される。式（２）における輝度値Ｙｄは、点ｃからの距離ｄＣにある画素の調整前の輝度値である。
ＹＰ＝Ｙｄ＋（Ｙａ−Ｙｃ）／２／ｇ×ｄＣ  …（２）
【００２７】
全ての領域間の境界において、以上説明したような調整を行うことにより、領域間の境界が画像処理により特徴点として検出されることを防止できる。なお、距離ｇは、画像解析のアルゴリズム等の特性に基づいて、各領域間の境界を特徴点として検出しない程度の値に予め設定することができる。図１１は、各領域間の境界部分の画素の輝度値が調整された顔画像を示す図である。図１１に示されるように、各領域間の境界を跨いで一方の領域から他方の領域に向かうに従って輝度値が滑らかに変化している。
【００２８】
画像調整部１４は、以上のように輝度値の調整が行われた顔画像のデータを運転状態判断部１５に送出する。
【００２９】
運転状態判断部１５は、画像調整部１４から送出された顔画像のデータを取得し、取得した顔画像の特徴点を画像処理により抽出する。さらに、運転状態判断部１５は、抽出した特徴点の状態に基づいて運転者の運転状態を監視する。ここで、顔画像の特徴点は、例えば目、鼻及び口といった顔の部位であり、運転状態判断部１５は、例えば目の瞬き、鼻及び口の位置から判別した顔の向き等の特徴点の状態に基づいて、運転者の運転状態を監視する。
【００３０】
以上において、画像分割部１２は、顔画像を複数の領域に分割する画像分割手段を構成する。画像補正部１３は、顔画像の各領域の平均輝度が所定の輝度値に近づくように、各領域の輝度値を補正する画像補正手段を構成する。画像調整部１４は、画像補正手段により補正された顔画像の各領域間の境界部分の輝度値を、各領域間の境界を跨いで一方の領域から他方の領域に向かうに従って輝度値が連続的に変化するように調整する画像調整手段を構成する。
【００３１】
以上のように本実施形態にあっては、画像分割部１２によって運転者の顔画像を複数の領域に分割し、画像補正部１３によって各領域毎に輝度値の補正を行うので、それぞれの領域の明るさに応じて適切な補正を行うことができる。また、この補正は、各領域の平均輝度値が所定の輝度値に近づくように行われるので、各領域に含まれる画素の輝度値を、画像解析の可能な一定の範囲内に収束させることができる。従って、画像取得部１１により取得された顔画像の画素の輝度値が、運転状態判断部１５による画像解析の可能な一定の範囲を超えて分布した場合であっても、取得した顔画像からの特徴点の抽出が可能となる。
【００３２】
また、画像補正部１３は、輝度値の分布が所定の輝度値を中心に圧縮されるように各領域の画素の輝度値を補正するので、各領域の平均輝度値は所定の輝度値に近づけられる。従って、各領域に含まれる画素の輝度値を画像解析の可能な一定の範囲内に確実に収束させることが可能となる。また、画像補正部１３は、所定の輝度値に対する各領域の平均輝度値のずれに応じて輝度値の分布を圧縮する際の割合を設定するので、各領域の輝度平均値が大きくずれていても、適切に所定の輝度値に近づくように画素の輝度値の補正を行うことができる。さらに、画像補正部１３は、各領域の平均輝度値が輝度の階調幅の中心値に近づけられるように補正を行うため、各領域の画素の輝度値は、より適切に画像解析可能な範囲に収束される。
【００３３】
さらに、本実施形態にあっては、画像調整部１４が、顔画像の各領域間の境界を跨いで一方の領域から他方の領域に向かうに従って輝度値が連続的に変化するように、領域間の境界部分の画素の輝度値を調整するので、運転状態判断部１５は、各領域間の境界を何らかの特徴点と誤判断することなく、顔画像の解析を行うことが可能となる。
【図面の簡単な説明】
【００３４】
【図１】本発明に係る運転状態監視装置の一実施形態を示す概略構成図である。
【図２】撮像された顔画像の例を示す図である。
【図３】顔画像を４分割した一例を示す図である。
【図４】顔画像を４分割した他の例を示す図である。
【図５】顔画像中のある領域における補正前後の輝度値の分布を示す図である。
【図６】顔画像の各領域の画素の輝度値を領域毎に補正した一例を示す図である。
【図７】レベル補正による顔画像のある領域の補正の一例を示す図である。
【図８】輝度値の補正後の顔画像を示す図である。
【図９】顔画像において、輝度値の調整を行う２つの領域間の境界の位置を示す図である。
【図１０】顔画像の境界部分の画素の輝度値を調整する手法を示す図である。
【図１１】各領域間の境界部分の画素の輝度値が調整された顔画像を示す図である。
【符号の説明】
【００３５】
１…運転状態監視装置、１０…撮像器、１１…画像取得部、１２…画像分割部（画像分割手段）、１３…画像補正部（画像補正手段）、１４…画像調整部（画像調整手段）、１５…運転状態判断部、２０…ＥＣＵ。
【図１】
2010049491.tif 000003
【図５】
2010049491.tif 000004
【図６】
2010049491.tif 000005
【図７】
2010049491.tif 000006
【図１０】
2010049491.tif 000007
【図２】
2010049491.tif 000008
【図３】
2010049491.tif 000009
【図４】
2010049491.tif 000010
【図８】
2010049491.tif 000011
【図９】
2010049491.tif 000012
【図１１】
2010049491.tif 000013