(57)【要約】  【課題】  外乱光に影響されず、かつ、サングラスを着用している場合でも適用できる顔画像抽出技術を提供することを課題とする。  【構成】  動きのある人の顔画像を連続して抽出する方法において、顔等の対象物を照明する赤外線照明灯を点灯して該対象物を撮影するステップと照明灯を消灯して該対象物を撮影するステップとを含む撮影ステップと、上記両撮影画像から差分画像を得て、該差分画像の２値化処理、２値化された差分画像のノイズ削減処理を含む基本処理ステップと、該空間内における対象物の存否を判定するステップと、対象物が存在する場合にその対象物のマスクを作成し、背景を除去する顔部分抽出ステップとを具備したことを特徴とする。【選択図】 図１
2007025758.tif 000002
【特許請求の範囲】
【請求項１】
動きのある人の顔画像を連続して抽出する方法において、顔等の対象物を照明する赤外線照明灯を点灯して該対象物を撮影するステップと照明灯を消灯して該対象物を撮影するステップとを含む撮影ステップと、上記両撮影画像から差分画像を得て、該差分画像の２値化処理、２値化された差分画像のノイズ削減処理を含む基本処理ステップと、該空間内における対象物の存否を判定するステップと、対象物が存在する場合にその対象物のマスクを作成し、背景を除去する顔部分抽出ステップとを具備したことを特徴とする人の顔画像抽出方法。
【請求項２】
前記撮影ステップは、照明灯を点灯した状態で複数フレームを撮影し，照明灯を消灯した状態で点灯した状態より少数のフレームを撮影するステップを繰り返して行うことを特徴とする請求項１に記載の人の顔画像抽出方法。
【請求項３】
前記対象物の存否判定ステップは、基本処理された画像の全画素数に対する高輝度画素数の割合を求めて、該割合が所定値以上の場合に対象物が存在すると判定することを特徴とする請求項１に記載の人の顔画像抽出方法。
【請求項４】
前記マスク作成ステップは、基本処理された画像の高輝度画素の凸形状外側輪郭を求めるステップであることを特徴とする請求項１に記載の人の顔画像抽出方法。
【請求項５】
前記顔部分の抽出ステップは、前記照明撮影画像又は２値画像に対して前記マスク内部の撮影画像を抽出することを特徴とする請求項１に記載の人の顔画像抽出方法。
【請求項６】
薄暗い空間における動きのある人の顔画像を連続して抽出する方法において、顔等の対象物に近接する位置に設けられた赤外線等の照明光を点灯して該対象物を撮影するステップと照明光を消灯して該対象物を撮影するステップとを含む撮影ステップと、上記両撮影画像から差分画像を得るステップと、該差分画像のノイズ削減処理、差分画像の２値化処理を含む基本処理ステップと、該空間内における対象物の存否を判定するステップと、対象物が存在する場合にその対象物の顔にサングラスの存否を判定するステップと、サングラスがあると判定した場合にサングラス部分領域の鮮明画像を求めるステップと、を具備したことを特徴とする人の顔画像抽出方法。
【請求項７】
前記サングラスの存否を判定するステップは、前記差分画像の所定方向について画素の輝度和を求めてヒストグラムを作成し、該ヒストグラムのパターンによりサングラスの存否を判定することを特徴とする請求項６に記載の人の顔画像抽出方法。
【請求項８】
前記サングラス部分の鮮明画像を求めるステップは、前記差分画像に対してサングラス領域を求め、該領域に対して輝度の基準レベル及び輝度レンジを変更して鮮明画像を求めることを特徴とする請求項６に記載の人の顔画像抽出方法。
【請求項９】
薄暗い空間における動きのある人の顔画像を抽出する装置において、人の顔に対して近距離に配置された赤外線等の光源と、人の顔を撮影するカメラと、撮影画像を処理する処理装置を具備し、前記処理装置は前記光源を点灯した明撮影画像と光源を点灯しない暗撮影画像から差分画像を求め、差分画像の全画素に対する高輝度画素の割合を求め、人の存在又は非存在を判定する処理を行い、人が存在した場合にその人物の顔マスクを作成し、背景を除去して顔画像を抽出する処理装置を具備することを特徴とすることを特徴とする人の顔画像抽出装置。
【請求項１０】
前記処理装置は、更に、人が存在した場合にその人物がサングラスを使用しているか否かを判定し、サングラスを使用していると判定した場合は基準輝度レベル及び輝度レンジを変更して、サングラス領域のより明瞭な顔画像を作成する第２処理装置を具備することを特徴とする請求項９に記載の人の顔画像抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮影画像から人の顔画像を切り出して顔の特徴又は顔の一部、例えば眼の虹彩などを利用する分野、具体的には視線方向の検出、或いは、顔の判別等に利用する画像処理の技術分野に属する。
【背景技術】
【０００２】
従来から、人の顔情報又は顔の一部の情報を利用する情報処理システムへの応用研究、開発がなされてきた。例えば、人の虹彩から視線方向を検出して、指先を自由に使えない人たちのための計算機へのデータ入力手段として利用されている。この様な技術に関するものとしては、特許文献１、特許文献２がある。
【特許文献１】公開特許公報、特開２００３−２８０８０５（データ入力装置）
【特許文献２】公開特許公報、特開２００４−１１０５１３（ポインタ移動制御システム）これらの特許文献は視線方向を検出し、視線方向によりディスプレイ上に表示されているキーボードのキーを特定してキー操作を可能にした技術に関するものである。
【０００３】
また、車の運転の補助手段としても視線方向の検出が利用されている。この様な技術に関するものとしては、特許文献３〜特許文献７等がある。
【特許文献３】公開特許公報、特開２００４−８５２８０（視線方向検出方法等）
【特許文献４】公開特許公報、特開平７−９６８０３（車両用インタフェース）
【特許文献５】公開特許公報、特開平９−５３９１７（車両用視線方向計測装置）
【特許文献６】公開特許公報、特開２００２―２７４２６５（ミラー調整装置）
【特許文献７】公開特許公報、特開２００３−１５８１６（ステレオカメラを使用した顔・視線認識装置）
【０００４】
特許文献３には対象人物の瞳の中心位置と瞳の半径、眼球の中心点を利用して視線方向を求める技術が開示されている。このための撮影装置としてパン・チルト角が変更できるカメラが対象人物の前方に設置されている。特許文献４，５は車両運転用に視線方向を検出するもので、何れも２個の照明手段を備えている。前者は視線方向により補助の前照灯の照射方向等を変化させる技術が開示されており、後者には瞳孔が明るい場合と暗い場合の処理手段を切り替えて広い範囲の明るさに対応した技術が開示されている。特許文献６にはドライバーの顔の特徴点及び顔の向きを抽出してミラーの角度を調節する技術が開示されており、特許文献７には複数のカメラを利用して眼周辺の画像領域からドライバーが眼を閉じているか否かを検出して、視線方向検出のエラーを回避する技術が開示されている。
【０００５】
以上の従来技術の他に、外乱光が大きく変化する条件下でも、対象者の顔面上の特徴や状態を短時間で撮影画像から検出できるようにした装置が特許文献８に開示されている。この従来装置は、赤外線ＬＥＤ、ハーフミラー、周囲の明暗を検出する照度センサー、ハーフミラーを通過した赤外線を撮影するＣＣＤカメラ、及び、複数の画像処理手段を具備し、照度センサーからの明暗に応じて画像処理手段を選択するようにしたものである。
【特許文献８】公開特許公報、特開平８―８３３４４（画像処理装置及び人物判定装置）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
以上に説明したように、顔の撮影画像を利用して顔（又は、顔の一部、例えば眼）の特徴（例えば、視線方向）を検出する従来装置は種々のものが開発されている。しかしながら、簡単な装置（例えば、１個の撮影カメラ）で外乱光に影響されず、対象が動いている状態を連続的に鮮明な顔画像を抽出する装置が開発されていないし、また、対象人物がサングラスを着用している場合にも利用できる鮮明な顔画像を抽出する装置が開発されていない。
本発明は、上記事実に鑑みなされたものであり、外乱光に影響されず、かつ、サングラスを着用している場合でも適用できる顔画像抽出技術を提供することを課題としている。
【課題を解決するための手段】
【０００７】
本発明は上記の課題を解決するための手段として以下の構成を採用している。即ち、
請求項１に記載の発明は、動きのある人の顔画像を連続して抽出する方法において、顔等の対象物を照明する赤外線等の照明光を点灯して該対象物を撮影するステップと照明光を消灯して該対象物を撮影するステップとを含む撮影ステップと、上記両撮影画像から差分画像を得て、該差分画像の２値化処理、２値化された差分画像のノイズ削減処理を含む基本処理ステップと、該空間内における対象物の存否を判定するステップと、対象物が存在する場合にその対象物のマスクを作成し、背景を除去する顔部分を抽出ステップとを具備したことを特徴としている。
【０００８】
また、請求項２に記載の発明は、請求項１に記載の方法において、前記撮影ステップは、照明灯を点灯した状態で複数のフレームを撮影し、照明灯を消灯した状態で点灯した状態より少数のフレームを撮影するステップを繰り返して行うことを特徴としている。
【０００９】
また、請求項３に記載の発明は、請求項１に記載の方法において、前記対象物の存否判定ステップは、基本処理された画像の全画素数に対する高輝度画素数の割合を求めて、該割合が所定値以上の場合に対象物が存在すると判定することを特徴とする請求項１に記載の人の顔画像抽出方法。
【００１０】
また、請求項４に記載の発明は、請求項１に記載の方法において、前記マスク作成ステップは、基本処理された画像の高輝度画素の凸形状外側輪郭を抽出するステップであることを特徴とする。
【００１１】
また、請求項５に記載の発明は、請求項１に記載の方法において、前記顔部分の抽出ステップは、前記照明撮影画像又は２値画像に対して前記マスク内部の撮影画像を抽出することを特徴とする。
【００１２】
請求項６に記載の発明は、薄暗い空間における動きのある人の顔画像を連続して抽出する方法において、顔等の対象物に近接する位置に設けられた赤外線等の照明光を点灯して該対象物を撮影するステップと照明光を消灯して該対象物を撮影するステップとを含む撮影ステップと、上記両撮影画像から差分画像を得るステップと、該差分画像のノイズ削減処理、差分画像の２値化処理を含む基本処理ステップと、該空間内における対象物の存否を判定するステップと、対象物が存在する場合にその対象物の顔にサングラスの存否を判定するステップと、サングラスがあると判定した場合にサングラス部分領域の鮮明画像を求めるステップと、を具備したことを特徴とする人の顔画像抽出方法。
【００１３】
また、請求項７に記載の発明は、請求項６に記載の方法において、前記サングラスの存否を判定するステップは、前記差分画像の所定方向について画素の輝度和を求めてヒストグラムを作成し、該ヒストグラムのパターンによりサングラスの存否を判定することを特徴とする。
【００１４】
また、請求項８に記載の発明は、請求項６に記載の方法において、前記サングラス部分の鮮明画像を求めるステップは、前記照明撮影画像に対してサングラス領域を求め、該領域に対して輝度の基準レベル及び輝度レンジを変更して鮮明画像を求めることを特徴とする。
【００１５】
請求項９に記載の発明は、薄暗い空間における動きのある人の顔画像を抽出する装置において、人の顔に対して近距離に配置された赤外線等の光源と、人の顔を撮影するカメラと、撮影画像を処理する処理装置を具備し、前記処理装置は前記光源を点灯した明撮影画像と光源を点灯しない暗撮影画像から差分画像を求め、差分画像の全画素に対する高輝度画素の割合を求め、人の存在又は非存在を判定する処理を行い、人が存在した場合にその人物の顔マスクを作成し、背景を除去して顔画像を抽出する処理装置を具備することを特徴とすることを特徴とする。
【００１６】
また、請求項１０に記載の発明は、請求項９に記載の装置において、前記処理装置は、更に、人が存在した場合にその人物がサングラスを使用しているか否かを判定し、サングラスを使用していると判定した場合は輝度の基準レベル及び輝度レンジを変更して、サングラス領域のより明瞭な顔画像を作成する第２処理装置を具備することを特徴とする。
【発明の効果】
【００１７】
請求項１に記載の発明では、照明灯を消灯した状態で撮影する画像を基準画像として差分画像を作成し、該差分画像からドライバの存否を検出することにより無駄な処理、誤った処理をしないようにできるという効果が得られる。また、マスクを作成することにより、ドライバの顔、サングラスを検出でき、サングラスがある場合の処理に変更できるという効果が得られる。
請求項２に記載の発明によれば、照明灯を消灯した状態で撮影する画像は差分画像を作成する際に基準画像として必要だが、照明灯を消灯した状態では本来の処理ができないため、処理速度をできるだけ低下させないように少数フレームを撮影し、繰り返し撮影することで外部照明の変化に対応できるという効果が得られる。
請求項３に記載の発明によれば、ドライバの存否を知ることにより処理を変更でき、無駄な撮影を省くことができるという効果が得られる。
請求項４に記載の発明によれば、マスクによりドライバの顔部分を抽出でき、以後の処理が迅速にできるという効果が得られる。
請求項５に記載の発明によれば、マスクによりドライバの顔部分を抽出できる。
請求項６〜８に記載の発明によれば、ドライバがサングラスをかけていることを検出することにより、処理を変更できる。
請求項９に記載の発明によれば、照明灯を消灯した状態で撮影する画像を基準画像として差分画像を作成し、該差分画像からドライバの存否を検出することにより無駄な処理、誤った処理をしないようにできる。また、マスクを作成することにより、ドライバの顔、サングラスを検出でき、サングラスをかけている場合の処理に変更できる。
請求項１０に記載の発明によれば、サングラスを検出することにより、サングラスをかけている場合の処理に変更できる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を車の運転者に適用した実施形態を図に基づいて説明する。本実施形態は車の運転者の顔画像を連続的に（例えば、１秒間に数十枚程度の画像を撮影する場合）抽出して、運転者の視線を監視する場合について説明する。図１は、本方法発明の流れを示すフローチャートであり、図２は本実施形態の装置の全体構成例を示す。
【００１９】
図２において，運転室１０内に設けられた運転席１１の前方にはフロントガラス１２が設けられている。フロントガラス１２の上方の適当な位置に赤外線光を発する光源１３が配置されている。光源１３は、運転者の顔との距離が近接して配置され、照射方向が顔の方向に向けられている。また、カメラ１４は，例えばディジタルビデオカメラで可視光領域をカットするフィルタを装着しており、運転者の顔画像が連続的に撮影可能に構成されている。光源１３及びカメラ１４はカバー等に覆われて装飾的工夫されており、運転に支障を生じないように構成されている。また、光源１３及びカメラ１４は適当な位置に配置されたコンピュータ１５によって点灯及び消灯のタイミング及び撮影のタイミングが制御されている。撮影画像はコンピュータ１５の図示していない記録装置に記録される。なお、運転室１０内は比較的暗く、光源１３を消灯しても撮影は可能であるが、フレーム当たりの撮影時間が短いため、消灯した状態では撮影画像の十分なコントラストが得られず、速い連続撮影は困難である。この様な暗さの空間を薄暗い空間と言うことにする。
【００２０】
次に図１に基づいて、本実施形態の方法の手順について説明する。図１において，ステップＳ１では光源１３を点灯した状態で複数フレームに顔写真を撮影する。以下，この撮影画像を明撮影画像（照明撮影画像）ということにする。また、明撮影画像の撮影中又は前後に光源１３を消灯した状態で１枚の顔写真を撮影する。以下，この撮影画像を暗撮影画像（又は、消灯撮影画像）ということにする。従って，撮影画像は図３（Ａ）に示すように１番目のフレーム２０ａ〜ｎ番目のフレーム２０ｎまでを明撮影画像とし、（ｎ＋１）番目のフレーム２１を暗撮影画像とする。１フレーム〜（ｎ＋１）フレームを１組とし、これを繰り返す。ここで、「ｎ」は撮影時間を短くすれば、大きな値を取ることができ、運転者の顔画像の動きが連続的になり、好ましい。しかし、赤外線を使用した撮影では露光時間を余り小さくすることはできない。通常「ｎ」は（１０〜３０）位にする。なお、以下でａ、ｂ、ｎ等の記号を省略した参照番号を使用するときは記号のついた番号の全体を指す物とする。
【００２１】
次に、ステップＳ２では画像の基本処理を行う。ここで、基本処理としては明撮影画像と暗撮影画像の差分画像を作成し，差分画像を２値化した後にノイズ削減処理を行う。なお、画像の回転や縮小、拡大等の処理を基本処理に含めてもよい。
差分画像の作成は（１〜ｎ）フレームの原画像２０ａ・・・２０ｎの各々に対して画素ごとに基本画像の画素の輝度を減算する。従って，図３（Ｂ）に示すように、ｎ個の差分画像（２３ａ〜２３ｎ）が得られる。これらの差分画像２３は室外から差し込んだ光や車内灯等の影響を無くし、純粋に光源１３による撮影画像の輝度を示すものとしてよい。また、光源１３による明るさは距離の２乗に比例して減少するので、光源１３に近い顔画像は輝度が高く、光源１３から遠距離にある背景画像は輝度が低くなる。このために、顔画像がより鮮明に撮影される。
【００２２】
差分画像の２値化は適当な閾値を選択して画素の輝度を（１，０）の２値に変換する。閾値は顔の部分と背景部分が明確になるように選択する。次いで、２値化された画像のノイズ削減処理を行う。ノイズ削減処理は画素を縮小、拡大してノイズを除去するモホロジー処理（膨張・収縮処理ともいう。）を適用して行う。このモホロジー処理は、公知技術であり、その詳細は特許文献９に記載されている。簡単に説明すれば、２値画像に含まれる小さな雑音（点状のノイズ）を消去するために膨張処理，収縮処理という処理を使用してこれらのノイズを除去するものである。これらの処理によって図３（Ｃ）の２値化画像２４ａ，２４ｂ、・・２４ｎが得られる。
【特許文献９】永松秀人他３名、「膨張・収縮処理」、ＩＳＤＬ Ｒｅｐｏｒｔ Ｎｏ．２００２０６０８０１３，２００２年９月２７日
【００２３】
ステップＳ３では，運転席に人が存在するか否かの判断を行う。この判断のために、基本処理した２値画像の各フレーム（２４ａ〜２４ｎ）に対して全画素数と高輝度画素数の割合を求める。この割合が所定の基準値よりも大きいときは人が居ると判断し、小さい場合は居ないと判断する。この判断基準は人が居る場合は光源１３から放射する光（赤外線等）が人の顔に当たって反射し、カメラ１４のレンズに入射し、フレームの画像に明るい部分が多くなり、人が居ない場合は光源１３から放射する光の大部分が背景に吸収され，フレームの画像が暗くなるという事実に基づくものである。従って，基準値はカメラの位置によってフレーム中の顔の占める面積大きさやサングラスを着用している人のことも考慮して定める。なお、人が居ない場合に背景として入る運転座席を赤外線の反射しにくい材料にしておくと正確率が高まる。人が居ない場合は処理手続きを中止し，一定時間経過後に再開する。人が居る場合はステップＳ４を実行する。なお、人の存否判断は２値画像２４の１個のフレーム（例えば，２４ａ）で行ってもよい。更に、この場合はステップＳ１〜ステップＳ３をフレームごとに行なうことにより人の存否判断の処理が簡単になり、処理時間の短縮ができる。
【００２４】
ステップＳ４では、２値画像２４を利用して顔マスク２５を作成する。ここで、顔マスクは顔と背景のなす境界線の内部領域を指す。従って，顔マスクの輪郭形状は多少の差異はあっても大体卵形又は卵形に類似した略凸形状である。このような事実上の情報を活用すれば、かなり正確な顔マスクが作成できる。輪郭形状が得られたら、鼻や口や眼或いはサングラス等によって小さな輝度（輝度０）の暗領域が輪郭形状内にある場合はこの領域を大きな輝度（輝度１）の領域に変換する。これによって顔マスクは大きな輝度（輝度１）の領域として得られる。
【００２５】
ステップＳ５は、顔マスク２５と２値化されていない差分画像２３を利用して顔画像の切り出しを行う。差分画像２３は外部からの光や室内灯等の影響を無くし，光源１３のみから照射した顔画像であるため、得られる顔画像２６はノイズが少なく精度の高い情報が得られる。顔画像の切り出しは差分画像２３のフレームで顔マスク２５の明るい領域（輝度が１の領域）に対応する画素部分のみを抽出することによって顔画像２６が得られる。
【００２６】
次に、視線方向の検出等のように眼の部分の画像が必要な場合であって，対象とする人物がサングラスを掛けている可能性がある場合には以下のよう（ステップＳ６〜ステップ８）に行う。ステップＳ６ではサングラスの着用の有無を判定する。このために、２値画像２４を横方向（水平方向）に走査して、各行に関し画素の輝度を加算して列方向を座標軸とするヒストグラムを作成する。サングラスを着用している場合はサングラス部分について撮影画像の画素輝度が低い。従って，ヒストグラムの値がサングラス部分で小さくなるので、これをパターン認識（パターンマッチング）で判定する。図４（Ａ）、（Ｂ）に２値画像２４と差分画像２３を利用して作成したヒストグラムの例を示す。この例からも理解できるように２値画像２４を利用する方が判定は容易であるが、差分画像２３を利用してもよい。
【００２７】
サングラスなしと判定した場合は次の処理（例えば、ステップＳ９）を実行し，サングラスありと判定した場合はステップＳ７で、サングラス領域の顔画像の鮮明化処理を行う。鮮明化処理としては、２値画像２４のサングラス領域に対して、基準輝度レベルと輝度レンジ（輝度の上限値と下限値の間の幅）を変更して、サングラス領域の分解能を上げて鮮明化する。例えば、基準輝度レベルを低くし、輝度レンジを狭くする。他の鮮明化処理としては照明灯１３の光量を増やとか、撮影時間を長くするようにしてもよい。
【００２８】
ステップＳ８では、必要に応じて（必要がなければ省略する）鮮明化されたサングラス領域の顔画像と残りの領域の顔画像２６とを合成して、より鮮明な顔画像を得る。
【００２９】
本実施形態では差分画像を利用した処理を行っているために薄暗い空間における人の顔画像が明確に得られるという効果、並びに、連続画像を利用しているので人の顔の一部又は全体の動きを把握できるという効果が得られる。また、人の存否の判断を利用しているので、人の居ない場合には無用な処理を無くすことができる。更に，サングラスを着用している場合にも明確な顔画像が得られるという効果がある。
以上本発明の実施形態を図面に基づいて詳述してきたが、本発明の技術的範囲はこれに限られるものではなく、特許請求の範囲に記載された事項に基づいて決定される。
【図面の簡単な説明】
【００３０】
【図１】実施形態の方法のフローチャートを示す。
【図２】本実施形態の構成を示す。
【図３】（Ａ）〜（Ｅ）撮影画像と処理された画像の関係を示す。
【図４】（Ａ）２値画像のヒストグラム（Ｂ）差分画像のヒストグラム。
【符号の説明】
【００３１】
１０          運転席
１２          フロントガラス
１３          ディジタルカメラ
１４          照明灯
１５          処理装置（コンピュータ）
２０          明撮影画像（照明撮影画像）
２１          暗撮影画像（消灯撮影画像）
２３          差分画像
２４          ２値画像
２５          顔マスク
２６          顔画像
【図１】
2007025758.tif 000003
【図２】
2007025758.tif 000004
【図３】
2007025758.tif 000005
【図４】
2007025758.tif 000006
【手続補正書】
【提出日】平成17年7月12日(2005.7.12)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007025758.tif 000007
【図２】
2007025758.tif 000008
【図３】
2007025758.tif 000009
【図４】
2007025758.tif 000010