(57)【特許請求の範囲】
【請求項１】
各々がグレーレベル値を有する複数の画素で表現される、人の顔の像である顔映像における目の位置を検出する目位置検出装置であって、
前記顔映像を取り囲むようなウィンドウを生成するウィンドウ生成手段と、
前記ウィンドウ顔映像からヒストグラムを抽出するヒストグラム抽出手段と、
予め定められたしきい値より大きい前記ヒストグラムの局部最大値をピークとして検出し、前記検出したピークの個数と３とを比較するピーク検出手段と、
前記ピークの個数が３である場合、前記ウィンドウ顔映像の各々に対するヒストグラムにおける、ピーク値を含む最低画素値または０画素値点間の範囲の画素数であるエリアを計算するエリア計算手段と、
前記計算されたエリアのうち最大のエリアを選択し、前記最大のエリアを用いて目の位置を決定する最大エリア選択手段とを含むことを特徴とする目位置検出装置。
【請求項２】
前記顔映像をフィルタリングして前記顔映像における雑音を除去することによって、フィルタリング済みの顔映像を得るフィルタリング手段を更に含むことを特徴とする請求項１に記載の目位置検出装置。
【請求項３】
前記フィルタリング手段が、メジアンフィルタであることを特徴とする請求項２に記載の目位置検出装置。
【請求項４】
前記ウィンドウ生成手段から生成されたウィンドウが長方形であることを特徴とする請求項１に記載の目位置検出装置。
【請求項５】
前記ウィンドウ生成手段が、ラスタスキャニング方法を用いて前記顔映像全体をスキャニングすることを特徴とする請求項４に記載の目位置検出装置。
【請求項６】
前記ヒストグラムが、前記ウィンドウ顔映像における画素の周波数をグレーレベル値の関数としてプロットすることにより得られ、前記ヒストグラムの水平軸はグレーレベルを表し、垂直軸は前記ウィンドウ顔映像における各グレーレベルに対応する周波数を表すことを特徴とする請求項１に記載の目位置検出装置。
【請求項７】
各々がグレーレベル値で表現される複数の画素を有する顔映像における目の位置を、ヒストグラムを用いて検出する目位置検出方法であって、
前記顔映像をフィルタリングして、フィルタリング済みの顔映像を得る第１過程と、
前記フィルタリング済みの顔映像内のウィンドウを生成する第２過程と、
前記ウィンドウからヒストグラムを抽出する第３過程と、
前記ヒストグラムのピークを検出する第４過程と、
前記ピークの個数が３であるかを判別して、個数が３個であると前記ウィンドウを候補ウィンドウとして決定する第５過程と、
前記候補ウィンドウの３つのピークのうち、最小のピーク値と最大のピーク値を有する２つのピークを決定する第６過程と、
前記候補ウィンドウにおいて、前記最小のピーク値を有するピークを取囲む領域における画素の個数を表すエリアＡMAXと、前記最大のピーク値を有するピークを取囲む領域における画素の個数を表すエリアＡMINとの和をとり、和エリアＡTを計算する第７過程と、
前記候補ウィンドウに対する前記和エリアＡTとそれに対応する位置ベクトルとを格納する第８過程と、
前記格納された和エリアＡTのうち、最も大きいＡTを選択して、それに対応する位置ベクトルを前記目の位置として出力する第９過程とを含むことを特徴とする目位置検出方法。
【請求項８】
２つの目の位置を検出する場合、前記和エリアＡTのうち、２つの最大の和エリアＡTを選択して、それに対応する位置ベクトルを両側の目の位置として出力することを特徴とする請求項７に記載の目位置検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人の顔の映像における目の位置を検出する装置及びその方法に関し、特に、ヒストグラムを用いて、顔映像における目の位置を検出する目位置検出装置及びその方法に関する。
【０００２】
【従来の技術】
周知のように、顔映像は目、鼻、口、及び顔の輪郭のような特徴によって区別できる。このような特徴のうち、目は顔のなかで最も重要な特徴を有している。しかし、映像上の目の位置を正確に検出することは非常に難しい作業である。
【０００３】
そのような問題を解決するために、赤外線を用いる目位置検出システムが提案されてきた。
【０００４】
図１は、従来の目位置検出システム１０の概略的なブロック図であって、米国特許第５，２９３，４２７号明細書に、ＥＹＥ  ＰＯＳＩＴＩＯＮ  ＤＥＴＥＣＴＩＯＮ  ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ  ＴＨＥＲＥＦＯＲなる名称で開示されている。この、車の運転者等の目の位置を検出するための目位置検出システム１０は、赤外線ストローブ１２、ＴＶカメラ１４、Ａ／Ｄコンバーター１６、イメージメモリ１８、目ウィンドウ検出部２０、虹彩検出部２２、運転者状態判別部２４、及びタイミング回路２６を備えている。システム１０において、赤外線ストローブ１２は赤外線を運転者の顔に照射する。ＴＶカメラ１４は赤外線により照射される顔の映像を撮像する。タイミング回路２６は、赤外線ストローブ１２から放射された赤外線のタイミングとＴＶカメラにより撮像された顔映像のタイミングとを一致させる。Ａ／Ｄコンバーター１６はＴＶカメラ１４によって得られた顔映像のアナログ信号（アナログ顔信号）を、顔映像のデジタル信号（デジタル顔信号）に変換する。イメージメモリ１８はＡ／Ｄコンバータ１６からデジタル顔信号を受け取り、それを格納する。目ウィンドウ検出部２０はイメージメモリ１８内に格納されている映像信号に基づいて、二つの目を含む領域を検出する。虹彩検出部２２は、目ウィンドウ検出部２０によって検出された領域内の映像信号を処理して、虹彩位置を検出する。運転者状態判別部２４は虹彩検出部２２によって検出された結果に基づいて、例えば、運転者が居眠りしているか、または他の所を見ているかを判別する。
【０００５】
しかしながら、従来の目位置検出システム１０においては、赤外線を放射する赤外線ストローブ１２が必要であるため、システムの構造が複雑となり、更に、目の位置を検出するには映像データを２値化する必要があるので、検出プロセスが複雑となるという不都合があった。
【０００６】
【発明が解決しようとする課題】
従って、本発明の主な目的は、ヒストグラムを用いて、顔映像における目の位置を効果的且つ高い信頼性をもって検出する目位置検出装置及び目位置検出方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために、本発明によれば、各々がグレーレベル値を有する複数の画素で表現される、人の顔の像である顔映像における目の位置を検出する目位置検出装置であって、
前記顔映像を取り囲むようなウィンドウを生成するウィンドウ生成手段と、
前記ウィンドウ顔映像からヒストグラムを抽出するヒストグラム抽出手段と、
前記ヒストグラムからピークを検出し、前記検出したピークの個数と予め定められた数とを比較するピーク検出手段と、
前記ピークの個数と前記予め定められた数とが一致する場合、前記ウィンドウ顔映像の各々に対するヒストグラムにおける、ピーク値を含む最低画素値または０画素値点間の範囲の画素数であるエリアを計算するエリア計算手段と、
前記計算されたエリアのうち最大のエリアを選択し、前記最大のエリアを用いて目の位置を決定する最大エリア選択手段
とを含むことを特徴とする目位置検出装置が提供される。
【０００８】
【発明の実施の形態】
以下、本発明の好適実施例について図面を参照しながらより詳しく説明する。
【０００９】
図２は、本発明による目位置検出装置１００の概略的なブロック図であって、この装置は、フィルタ１１０、ウィンドウ生成部１２０、ヒストグラム取出部１３０、ピーク検出部１４０、エリア計算部１５０、スイッチ１６０、及び選択部１７０から構成される。
【００１０】
本発明は主に顔映像に関するものであって、この顔映像は例えば、ＴＶカメラ（図示せず）によって撮像される。図３には、一例として顔映像２００が示されており、Ｘ軸の方向の５２０個の画素及びＹ軸の方向の５００個の画素よりなる。顔映像２００のフィールドのアングルは顔全体が顔映像２００内に丁度収まるように調整される。顔映像２００が入力顔信号としてフィルター１１０に入力される前、顔映像２００はＡ／Ｄコンバータ（図示せず）によってデジタル顔映像信号に変換される。
【００１１】
フィルター１１０は受け取ったデジタル顔映像信号を前処理して、次のプロセッサに供給する。詳述すると、フィルター１１０は入力映像信号に含まれたノイズ、例えば、インパルスノイズを取り除いてフィルタリング済みの映像信号を生成する。微少量のノイズを取り除くには十字形のメジアンフィルターを用いてもよい。ここで、フィルタリング処理は画素単位で行われ、また多様な公知のローパスフィルターがノイズ除去のために用いられてもよい。
【００１２】
フィルター１１０からのフィルタリング済みの映像はウィンドウ生成部１２０に供給される。このウィンドウ生成部１２０はフィルタリング済みの映像内に複数のサーチウィンドウを順次生成する。本発明の好適な実施例において、サーチウィンドウ２２０は図３に示すような長方形である。ウィンドウ生成部１２０はラスタスキャニング方法（ｒａｓｔｅｒ  ｓｃａｎｎｉｎｇ  ｍｅｔｈｏｄ）を用いてフィルタリング済みの映像の全体をスキャニングし、各サーチウィンドウの位置を表す位置ベクトルＰＶをラインＬ１０を通じてスイッチ１６０に供給する。
【００１３】
ヒストグラム取出部１３０は、ウィンドウ生成部１２０により生成された各サーチウィンドウ内に含まれるフィルタリング済みの映像のヒストグラムを取出す。サーチウィンドウのヒストグラムは、サーチウィンドウ内においてフィルタリング済みの映像の画素の周波数をグレーレベル値の関数としてプロットすることにより求められる。また、このヒストグラム取出部１３０は、各画素のグレーレベル値が０〜２５５である時、サーチウィンドウ内の画素の個数をカウントして各グレーレベル値に対する周波数を計算する。図５には、本発明によるヒストグラムの一例が示されている。このヒストグラムにおいて、水平軸はグレーレベルを表し、垂直軸はサーチウィンドウにおける各グレーレベルを有する画素の周波数を表す。
【００１４】
その後、ヒストグラム取出部１３０は取出してヒストグラムをピーク検出部１４０に供給する。このピーク検出部１４０は受け取ったヒストグラムに基づいて、図５に示したように、０〜２５５のグレーレベル領域内で例えば、３つのピークＰ１、Ｐ２、Ｐ３を検出する。これらのピークを検出する前に、ヒストグラムは平滑化、即ち、ヒストグラムの各値を平均してヒストグラム上の小さい揺れ（ｆｌｕｃｔｕａｔｉｏｎ）を除去する。ヒストグラム上のピークはピーク点（例えば、Ｐ１）を取囲むグレーレベルのクラスタとして定義され得、またヒストグラムの局部最大値であり、そのピークに対応する周波数は予め定められたしきい値より大きい。図５に示したように、予め定められたしきい値ＴＨはヒストグラム内の各画素の平均周波数として決定してもよい。即ち、ピークとは、入力映像において他のグレーレベルよりも頻繁に現れるグレーレベルのクラスタを表す。
【００１５】
ピーク検出部１４０は図４に示すように、瞳孔２２３及び白目２２１を取囲むか、またはカバーしているサーチウィンドウ（例えば、２２０）を候補ウィンドウとして検出する。この候補ウィンドウは白目２２１、皮膚２２２、瞳孔２２３の間の異なるコントラストによって、３つの領域に分けられ得る。よって、ピーク検出部１４０により検出されたピークの個数が３である場合、ピーク検出部１４０は、３個のピークを有するサーチウィンドウ２２０を候補ウィンドウとして取り決め、該当候補ウィンドウのヒストグラム及びピーク情報をエリア計算部１５０に供給し、サーチウィンドウが候補ウィンドウ２２０であることを表すスイッチ信号をラインＬ２０を通じてスイッチ１６０に供給する。ここで、ピーク情報はヒストグラム内のピークに対応する画素値を有する。スイッチ１６０はピーク検出部１４０からのスイッチ信号に応じて、ウィンドウ生成部１２０と選択部１７０との間の接続を行って選択部１７０に候補ウィンドウに対応する位置ベクトルが供給されるようにする。
【００１６】
続いて、エリア計算部１５０は図５に示したように、最初、候補ウィンドウに対するヒストグラム上の３つのピークのうち、２つのピーク（例えば、最大の画素値を有する第１ピークＰ1と、最少の画素値を有する第２ピークＰ2）を検出する。その後、エリア計算部１５０は、第１ピークＰ1を有するエリアＡ1と第３ピークＰ3を有するエリアＡ3とを計算する。エリアＡ1は０〜Ｌ1の間に存在する画素の数を表し、エリアＡ3はＬ2〜２５５の間に存在する画素の数を表す。Ｌ1はＰ1とＰ2との間の最も小さい周波数を有する画素値に対応し、Ｌ2はＰ2とＰ3の間の最も小さい周波数を有する画素値に対応する。その後、エリア計算部１５０は両エリアＡ1とＡ3の和エリアＡTを計算して、ラインＬ５０を通じて選択部１７０に供給する。ここで、エリアＡ1は瞳孔２２３内の画素の数、エリアＡ3は白目２２１内の画素の数を各々表す。
【００１７】
選択部１７０は、入力顔映像から得られた全ての候補ウィンドウに対する和エリアＡtのうち最大の和エリアを選択して、この最大の和エリアを有する候補ウィンドウに対応する位置ベクトルＰＶを入力顔映像の目の位置として出力する。
【００１８】
図６及び図７には、本発明によって目位置決定方法を説明するためのフローチャートが示されている。
【００１９】
ＴＶカメラから入力された顔映像は目位置検出装置１００に入力され（ステップＳ１０）、この顔映像はフィルター１０によりフィルタリングされ（ステップＳ２０）、フィルター１１０からのフィルタリング済みの顔映像はウィンドウ生成部１２０に入力され、ここでラスタスキャニング法にてフィルタリング済みの映像全体を走査して、サーチウィンドウと該当サーチウィンドウの位置ベクトルＰＶとを順次生成する（ステップＳ３０）。ステップＳ４０にて、ヒストグラム取出部１３０によって各サーチウィンドウ内のフィルタリング済みの映像からヒストグラムが取出される。その後、ピーク検出部１４０によってヒストグラム上でピークが検出される（ステップＳ５０）。
【００２０】
ステップＳ６０にて、ピーク検出部１４０によってヒストグラム内のピークの個数が３個であるか否かが判別され、判別の結果が真である場合は該当サーチウィンドウは候補ウィンドウとして決定され、プロセスはステップＳ７０に進み、そうでない場合にはステップＳ１００に進む。
【００２１】
ステップＳ７０にて、エリア計算部１５０は各候補ウィンドウに対する三つのピーク点のうち、最大及び最小画素値に対応する二つのピーク点を検出する。ステップＳ８０にて、エリア計算部１５０は和エリアＡT、即ち、ステップＳ７０で求められた２つのピーク点を含むピーク内における画素の総数を計算する。ステップＳ９０にて、各候補ウィンドウに対する和エリアＡT及び位置ベクトルＰＶが選択部１７０に格納され、プロセスはステップＳ１００に進む。
【００２２】
ステップＳ１００にて、プロセスは全ての顔映像に対するサーチウィンドウが全て処理されたか否かが判別され、全てのサーチウィンドウが処理されない場合、プロセスはステップＳ４０に戻る。全て処理された場合には、選択部１７０は全ての顔映像に対する候補ウィンドウの和エリアＡTのうち最大の和エリアを選択する（ステップＳ１２０）。続いて、ステップＳ１３０にて、選択部１７０は最大の和エリアＡTを有する候補ウィンドウに対応する位置ベクトルを出力し、プロセスは終了する。
【００２３】
上記において、本発明の好適な実施の形態について説明したが、本発明の請求範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。
【００２４】
【発明の効果】
従って、本発明によれば、顔映像の目の位置を検出するために赤外線を放射する赤外線ストローブを備える必要がなくなり、システムの構造が単純化され、且つ取出された顔映像のヒストグラムを用いて目の位置を高い信頼性をもって検出することが可能となる。
【図面の簡単な説明】
【図１】従来の目位置検出装置の概略的なブロック図である。
【図２】本発明による目位置検出装置の概略的なブロック図である。
【図３】本発明のサーチウィンドウを含む顔映像の概略図である。
【図４】図３に示す瞳孔及び白目を含むサーチウィンドウを示す概略図である。
【図５】図４中のサーチウィンドウのヒストグラムを示す模式図である。
【図６】本発明による目位置検出方法を説明するためのフローチャートである。
【図７】本発明による目位置検出方法を説明するためのフローチャートである。
【符号の説明】
１０、１００    目位置検出装置
１２    赤外線ストローブ
１４    ＴＶカメラ
１６    Ａ／Ｄコンバーター
１８    イメージメモリ
２０    目ウィンドウ検出部
２２    虹彩検出部
２４    運転者状態判別部
２６    タイミング回路
１１０    フィルター
１２０    ウィンドウ生成部
１３０    ヒストグラム取出部
１４０    ピーク検出部
１５０    エリア計算部
１６０    スイッチ
１７０    選択部
２００    顔映像
２２０    サーチウィンドウ
２２１    白目
２２２    皮膚
２２３    瞳孔
【図１】
0004004634.tif 000002
【図２】
0004004634.tif 000003
【図３】
0004004634.tif 000004
【図４】
0004004634.tif 000005
【図５】
0004004634.tif 000006
【図６】
0004004634.tif 000007
【図７】
0004004634.tif 000008