(57)【要約】【課題】  ハフ変換において、投票空間の量子化精度を下げずに計算量を低減する。【解決手段】  顔の動画像を取得する顔画像取得部１０１と、顔画像の両目の各々に対して検出領域を設定する検出領域設定部１０３と、検出領域からエッジを検出するエッジ検出部１０４と、検出されたエッジを、その方向に基づいて第１〜第４エッジに分類する分類部１０５と、検出されたエッジの各画素に対応する投票領域の範囲を、各画素が第１〜第４エッジのどのエッジに属するかに応じて、最大投票点が含まれるように小さく制限し、制限した領域を制限投票領域として設定する投票領域設定部１０６と、制限投票領域から最大投票点を検出する探索部１０７とを備える。【選択図】      図２
2005309862.tif 000002
【特許請求の範囲】
【請求項１】
画像中に含まれる図形を、ハフ変換により抽出する図形抽出プログラムであって、
前記画像からエッジを検出するエッジ検出手段と、
検出されたエッジを、その方向に基づく特徴に応じて分類する分類手段と、
エッジ上の各画素に対応する投票領域の範囲を、各画素が属するエッジの特徴に応じて、最大投票点が含まれるように小さく制限する制限手段と、
ハフ変換を用いて、制限された投票領域内を探索し、最大投票点を検出する探索手段としてコンピュータを機能させることを特徴とする図形抽出プログラム。
【請求項２】
前記分類手段は、画像上の軸成分の偏微分値を基に、検出されたエッジの特徴を算出し、前記エッジを分類することを特徴とする請求項１記載の図形抽出プログラム。
【請求項３】
前記図形は、前記画像の第１の方向に設定されたｘ軸と、前記第１の方向に交わる第２の方向に設定されたｙ軸との２軸からなる２次元空間内において、（ｘ−ｕ）2＋（ｙ−ｖ）2＝ｒ2で表される円であり（但し、ｕ，ｖは円の中心、ｒは円の半径を示す）、
前記エッジ検出手段は、前記第１及び第２の方向のエッジを検出し、
前記分類手段は、検出された第１の方向のエッジを、第１のエッジと、前記第１のエッジよりｘ軸上の増加側に位置する第２のエッジとに分類すると共に、検出された第２の方向のエッジを、第３のエッジと、第３のエッジに対してｙ軸上の増加側に位置する第４のエッジとに分類することを特徴とする請求項１又は２記載の図形抽出プログラム。
【請求項４】
前記制限手段は、前記第１のエッジの各画素（ｘ，ｙ）に対応する投票領域をｕ＞ｘの範囲に制限し、前記第２のエッジの各画素（ｘ，ｙ）に対応する投票領域をｕ＜ｘの範囲に制限し、前記第３のエッジの各画素（ｘ，ｙ）に対応する投票領域をｖ＞ｙの範囲に制限し、前記第４のエッジの各画素（ｘ，ｙ）に対応する投票領域をｖ＜ｙの範囲に制限することを特徴とする請求項３記載の図形抽出プログラム。
【請求項５】
前記エッジ検出手段は、前記画像をｘ軸に対して偏微分することにより、前記第１及び第２のエッジを検出し、前記画像をｙ軸に対して偏微分することにより、前記第３及び第４のエッジを検出することを特徴とする請求項４記載の図形抽出プログラム。
【請求項６】
前記図形は相対的に輝度の低い円形領域であり、
前記画像の各画素の輝度をｆ（ｘ，ｙ）とすると、
前記分類手段は、∂ｆ（ｘ，ｙ）／∂ｘ＜０の画素を基準として前記第１のエッジを分類し、∂ｆ（ｘ，ｙ）／∂ｘ＞０の画素を基準として前記第２のエッジを分類し、∂ｆ（ｘ，ｙ）／∂ｙ＜０の画素を基準として前記第３のエッジを分類し、∂ｆ（ｘ，ｙ）／∂ｙ＞０の画素を基準として前記第４のエッジを分類することを特徴とする請求項５記載の図形抽出プログラム。
【請求項７】
前記円形領域は、人物の瞳であることを特徴とする請求項６記載の図形抽出プログラム。
【請求項８】
画像中に含まれる図形を、ハフ変換により抽出する図形抽出方法であって、
コンピュータが、前記画像からエッジを検出するエッジ検出ステップと、
コンピュータが、検出されたエッジを、その方向に基づく特徴に応じて分類する分類ステップと、
コンピュータが、エッジ上の各画素に対応する投票領域の範囲を、各画素が属するエッジの特徴に応じて、最大投票点が含まれるように小さく制限する制限ステップと、
コンピュータが、ハフ変換を用いて、制限された投票領域内を探索し、最大投票点を検出するステップとを備えることを特徴とする図形抽出方法。
【請求項９】
画像中に含まれる図形を、ハフ変換により抽出する図形抽出装置であって、
前記画像からエッジを検出するエッジ検出手段と、
検出されたエッジを、その方向に基づく特徴に応じて分類する分類手段と、
エッジ上の各画素に対応する投票領域の範囲を、各画素が属するエッジの特徴に応じて、最大投票点が含まれるように小さく制限する制限手段と、
ハフ変換を用いて、制限された投票領域内を探索し、最大投票点を検出する探索手段とを備えることを特徴とする図形抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中に含まれる閉曲線からなる図形を、ハフ変換により抽出する技術に関するものである。
【背景技術】
【０００２】
画像から直線、円、楕円等の図形を抽出する手法としてハフ（Hough）変換が従来より広く知られている。このハフ変換は、ノイズに対し頑強で、エッジの途切れが多発している場合であっても、正確に図形を抽出することができるという特徴を有している。
【０００３】
以下、従来のハフ変換による円の抽出処理を説明する。まず、画像に対してエッジ検出処理を実行する。次に、検出したエッジ上の各画素に対応する投票領域を投票空間内に設定する。円は、ｘ軸及びｙ軸の２軸からなる２次元空間（画像空間）内において、（ｘ−ｕ）2＋（ｙ−ｖ）2＝ｒ2・・・式（１）で表される。
【０００４】
ここで、画像空間では、ｕ，ｖ，ｒは、円の位置及び大きさを決定する定数であるが、ハフ変換では、これらｕ，ｖ，ｒを変数、ｘ、ｙを定数とし、ｕ，ｖ，ｒの３軸からなる投票空間（パラメータ空間）を考える。投票空間では、式（１）は中心軸がｕ＝ｘ，ｖ＝ｙを通り、かつ、ｒ軸に平行な円錐を表す。この円錐の円錐面が投票領域である。そして、エッジ上の各画素（ｘ，ｙ）に対応する投票領域を投票空間上に設定し、これら投票領域が最も多く重なる点である最大投票点から式（１）の円の中心（ｕ，ｖ）及び半径ｒを決定する。これにより円が抽出される。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、ハフ変換では、処理の高速化を図るために、投票空間の量子化サイズを粗く設定し、計算量を低減させることが従来より行なわれている。しかしながら、量子化サイズを粗く設定すれば、それに伴って、抽出精度が低下するという問題が生じる。
【０００６】
本発明の目的は、図形を高精度に抽出することができるとともに、抽出処理時間を短縮することができる図形検出プログラム、図形抽出方法、及び図形抽出装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る図形抽出プログラムは、画像中に含まれる図形を、ハフ変換により抽出する図形抽出プログラムであって、前記画像からエッジを検出するエッジ検出手段と、検出されたエッジを、その方向に基づく特徴に応じて分類する分類手段と、エッジ上の各画素に対応する投票領域の範囲を、各画素が属するエッジの特徴に応じて、最大投票点が含まれるように小さく制限する制限手段と、ハフ変換を用いて、制限された投票領域内を探索し、最大投票点を検出する探索手段としてコンピュータを機能させることを特徴とする。
【０００８】
この構成によれば、エッジ検出手段によって、抽出対象となる図形を含む画像のエッジが検出され、検出されたエッジが、分類手段によって、方向に基づく特徴毎に分類される。ここで、ハフ変換を用いて円や楕円等の閉曲線からなる図形を抽出すると、閉曲線のエッジ上の各画素は、閉曲線の中心に対してどこに位置するかの予測がつけば、対応する投票領域において、どのあたりに最大投票点が位置するかを大まかに知ることができる。また、特徴を同一とするエッジに属する各画素に対応する投票領域において、最大投票点は、相対的に同じような位置に存在する。
【０００９】
そして、制限手段によって、エッジ上の各画素に対応する投票領域の範囲が、最大投票点を含むように各画素が属するエッジの特徴毎に小さく制限され、探索手段によって、制限された投票領域内が探索され、最大投票点が検出され、図形が抽出される。そのため、エッジ上の各画素に対応する投票領域の範囲を、その方向に基づく特徴毎に、同一条件で小さく制限しても、制限した投票領域内に最大投票点が含まれることとなる。その結果、図形を高精度に抽出することができるとともに、抽出処理時間を短縮することができる。
【００１０】
また、前記分類手段は、画像上の軸成分の偏微分値を基に、検出されたエッジの特徴を算出し、前記エッジを分類することが好ましい。
【００１１】
この構成によれば、軸成分に対する偏微分値を基に、エッジの特徴が算出され、その特徴に応じてエッジが分類されているため、抽出対象となる図形の中心に対し、エッジがどのあたりに位置するかをより正確にふまえてエッジを分類することができる。その結果、エッジの特徴毎に投票領域の範囲を小さく制限しても、その範囲内に最大投票点がより確実に含まれることとなり、図形の抽出精度をさらに高めることができる。
【００１２】
また、前記図形は、前記画像の第１の方向に設定されたｘ軸と、前記第１の方向に交わる第２の方向に設定されたｙ軸との２軸からなる２次元空間内において、（ｘ−ｕ）2＋（ｙ−ｖ）2＝ｒ2で表される円であり（但し、ｕ，ｖは円の中心、ｒは円の半径を示す）、前記エッジ検出手段は、前記第１及び第２の方向のエッジを検出し、前記分類手段は、検出された第１の方向のエッジを、第１のエッジと、前記第１のエッジよりｘ軸上の増加側に位置する第２のエッジとに分類すると共に、検出された第２の方向のエッジを、第３のエッジと、第３のエッジに対してｙ軸上の増加側に位置する第４のエッジとに分類することが好ましい。
【００１３】
この構成によれば、抽出対象となる画像に対して第１及び第２の方向のエッジが検出され、第１の方向のエッジは、第１及び第２のエッジに分類され、第２の方向のエッジは、第３及び第４のエッジに分類されているため、円のエッジをその方向に応じてより適正に分類することができる。
【００１４】
また、前記制限手段は、前記第１のエッジの各画素（ｘ，ｙ）に対応する投票領域をｕ＞ｘの範囲に制限し、前記第２のエッジの各画素（ｘ，ｙ）に対応する投票領域をｕ＜ｘの範囲に制限し、前記第３のエッジの各画素（ｘ，ｙ）に対応する投票領域をｖ＞ｙの範囲に制限し、前記第４のエッジの各画素（ｘ，ｙ）に対応する投票領域をｖ＜ｙの範囲に制限することを特徴とすることが好ましい。
【００１５】
この構成によれば、抽出対象となる画像に対して第１及び第２の方向のエッジが検出され、第１の方向のエッジは、第１及び第２のエッジに分類され、第２の方向のエッジは、第３及び第４のエッジに分類され、第１のエッジの各画素（ｘ，ｙ）は、投票領域がｕ＞ｘの範囲に制限され、第２のエッジの各画素（ｘ，ｙ）は、投票領域がｕ＜ｘの範囲に制限され、第３のエッジの各画素（ｘ，ｙ）は、投票領域がｖ＞ｙの範囲に制限され、第４のエッジの各画素（ｘ，ｙ）は投票領域がｖ＜ｙの範囲に制限されるため、投票領域内に最大投票点がより確実に含まれ、図形の抽出精度をさらに高めることができる。
【００１６】
また、前記エッジ検出手段は、前記画像をｘ軸に対して偏微分することにより、前記第１の方向のエッジを検出し、前記画像をｙ軸に対して偏微分することにより、前記第２の方向のエッジを検出することことが好ましい。
【００１７】
この構成によれば、ｘ軸及びｙ軸に対する偏微値を基にエッジの検出が行われているため、第１及び第２の方向のエッジをより正確に検出することができる。
【００１８】
また、前記図形は相対的に輝度の低い円形領域であり、前記画像の各画素の輝度をｆ（ｘ，ｙ）とすると、前記分類手段は、∂ｆ（ｘ，ｙ）／∂ｘ＞０の画素からなるエッジを前記第１のエッジとし、∂ｆ（ｘ，ｙ）／∂ｘ＜０の画素からなるエッジを前記第２のエッジとし、∂ｆ（ｘ，ｙ）／∂ｙ＜０の画素からなるエッジを前記第３のエッジとし、∂ｆ（ｘ，ｙ）／∂ｙ＞０の画素からなるエッジを前記第４のエッジとして分類することを特徴とすることが好ましい。
【００１９】
この構成によれば、ｆ（ｘ，ｙ）／∂ｘ＞０の画素からなるエッジが第１のエッジとされ、∂ｆ（ｘ，ｙ）／∂ｘ＜０の画素からなるエッジが第２のエッジとされ、∂ｆ（ｘ，ｙ）／∂ｙ＜０の画素からなるエッジが第３のエッジとされ、∂ｆ（ｘ，ｙ）／∂ｙ＞０の画素からなるエッジが第４のエッジとされるため、最大投票点が含まれるように投票領域の範囲を小さく制限するにあたり、周囲に対して相対的に輝度が低い図形のエッジをより適正に分類することができる。
【００２０】
また、前記円形領域は、人物の瞳であることが好ましい。この構成によれば、顔画像から人物の瞳を高精度かつ高速に抽出することができる。
【００２１】
本発明にかかる図形抽出方法は、画像中に含まれる図形を、ハフ変換により抽出する図形抽出方法であって、コンピュータが、前記画像からエッジを検出するエッジ検出ステップと、コンピュータが、検出されたエッジを、その方向に基づく特徴に応じて分類する分類ステップと、コンピュータが、エッジ上の各画素に対応する投票領域の範囲を、各画素が属するエッジの特徴に応じて、最大投票点が含まれるように小さく制限する制限ステップと、コンピュータが、ハフ変換を用いて、制限された投票領域内を探索し、最大投票点を検出するステップとを備えることを特徴とする。
【００２２】
この構成によれば、エッジ検出手段によって、抽出対象となる図形を含む画像のエッジが検出され、検出されたエッジが、分類手段によって、方向に基づく特徴毎に分類される。ここで、ハフ変換を用いて円や楕円等の閉曲線からなる図形を抽出すると、閉曲線のエッジ上の各画素は、閉曲線の中心に対してどこに位置するかの予測がつけば、対応する投票領域において、どのあたりに最大投票点が位置するかを大まかに知ることができる。また、特徴を同一とするエッジに属する各画素に対応する投票領域において、最大投票点は、相対的に同じような位置に存在する。
【００２３】
そして、制限手段によって、エッジ上の各画素に対応する投票領域の範囲が、最大投票点を含むように各画素が属するエッジの特徴毎に小さく制限され、探索手段によって、制限された投票領域内が探索され、最大投票点が検出され、図形が抽出される。そのため、エッジ上の各画素に対応する投票領域の範囲を、その方向に基づく特徴毎に、同一条件で小さく制限しても、制限した投票領域内に最大投票点が含まれることとなる。その結果、図形を高精度に抽出することができるとともに、抽出処理時間を短縮することができる。
【００２４】
また、本発明にかかる図形抽出装置は、画像中に含まれる図形を、ハフ変換により抽出する図形抽出装置であって、前記画像からエッジを検出するエッジ検出手段と、検出されたエッジを、その方向に基づく特徴に応じて分類する分類手段と、エッジ上の各画素に対応する投票領域の範囲を、各画素が属するエッジの特徴に応じて、最大投票点が含まれるように小さく制限する制限手段と、ハフ変換を用いて、制限された投票領域内を探索し、最大投票点を検出する探索手段とを備えることを特徴とする。
【００２５】
この構成によれば、エッジ検出手段によって、抽出対象となる図形を含む画像のエッジが検出され、検出されたエッジが、分類手段によって、方向に基づく特徴毎に分類される。ここで、ハフ変換を用いて円や楕円等の閉曲線からなる図形を抽出すると、閉曲線のエッジ上の各画素は、閉曲線の中心に対してどこに位置するかの予測がつけば、対応する投票領域において、どのあたりに最大投票点が位置するかを大まかに知ることができる。また、特徴を同一とするエッジに属する各画素に対応する投票領域において、最大投票点は、相対的に同じような位置に存在する。
【００２６】
そして、制限手段によって、エッジ上の各画素に対応する投票領域の範囲が、最大投票点を含むように各画素が属するエッジの特徴毎に小さく制限され、探索手段によって、制限された投票領域内が探索され、最大投票点が検出され、図形が抽出される。そのため、エッジ上の各画素に対応する投票領域の範囲を、その方向に基づく特徴毎に、同一条件で小さく制限しても、制限した投票領域内に最大投票点が含まれることとなる。その結果、図形を高精度に抽出することができるとともに、抽出処理時間を短縮することができる。
【発明の効果】
【００２７】
本発明にかかる図形検出装置によれば、図形を高精度に抽出することができるとともに、抽出処理時間を短縮することができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照しつつ本発明の一実施の形態について説明する。本図形抽出装置は、人間の動画像を取得し、ハフ変換により眼の瞳を抽出する処理を行なうものである。図１は、本発明の一実施の形態による図形抽出装置の構成を示すブロック図である。図１に示す図形抽出装置は、通常のコンピュータ等から構成され、入力装置１、ＲＯＭ（リードオンリメモリ）２、ＣＰＵ（中央演算処理装置）３、ＲＡＭ（ランダムアクセスメモリ）４、外部記憶装置５、表示装置６、記録媒体駆動装置７、及びビデオインターフェイス（Ｉ／Ｆ）９を備える。各ブロックは内部のバスに接続され、このバスを介して種々のデータ等が入出され、ＣＰＵ３の制御の下、種々の処理が実行される。またビデオＩ／Ｆ９には、人間の顔の動画像を撮影するカメラ１０が接続されている。
【００２９】
入力装置１は、キーボード、マウス等から構成され、操作者が種々のデータ及び操作指令等を入力するために使用される。ＲＯＭ２には、ＢＩＯＳ（Basic Input/Output System）等のシステムプログラムが記憶される。外部記憶装置５は、ハードディスクドライブ等から構成され、所定のＯＳ（Operating System）及び図形抽出プログラム等が記憶される。ＣＰＵ３は、外部記憶装置５から図形抽出プログラム等を読み出し、各ブロックの動作を制御する。ＲＡＭ４は、ＣＰＵ３の作業領域等として用いられる。
【００３０】
表示装置６は、液晶表示装置等から構成され、ＣＰＵ３の制御の下に種々の操作画面及び人間の顔画像等を表示する。また、必要に応じて顔画像等を印字する印刷装置を付加してもよい。記録媒体駆動装置７は、ＣＤ−ＲＯＭドライブ、フレキシブルディスクドライブ等から構成される。
【００３１】
なお、図形抽出プログラムの記録方法は、上記の例に特に限定されず、ＣＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体８に図形抽出プログラムを記録し、記録媒体駆動装置７により記録媒体８から図形抽出プログラムを読み出して外部記憶装置５にインストールして実行するようにしてもよい。また、図１に示す図形抽出装置が通信装置等を備え、図形抽出プログラムが所定のネットワークを介して図１に示す図形抽出装置に接続された他のコンピュータ等に記憶されている場合、当該コンピュータからネットワークを介して図形抽出プログラムをダウンロードして実行するようにしてもよい。
【００３２】
図２は、図１に示す図形抽出装置の機能的構成を説明するブロック図である。本図形抽出装置は、ＣＰＵ３が図形抽出プログラムを実行することにより、顔画像取得部１０１、フレームメモリ１０２、検出領域設定部１０３、エッジ検出部１０４、分類部１０５、投票領域設定部１０６、探索部１０７、表示制御部１０８、及び表示部１０９として機能する。
【００３３】
顔画像取得部１０１は、カメラ１０及びビデオＩ／Ｆ９等から構成され、人間の顔の動画像を所定のフレームレート（例えば１秒あたり３０枚）で取得し、アナログデジタル変換を施してデジタルの画像データとし、フレームメモリ１０２に出力する。ここで、顔画像取得部１０１は、正面方向から見て、頭部が上側となるように顔の動画像を取得する。フレームメモリ１０２は、ＲＡＭ３から構成され、顔画像取得部１０１によって取得された所定枚数のフレーム画像の画像データを記憶する。ここで、１枚のフレーム画像は、人間の顔の画像（顔画像）を含む所定行×所定列のマトリックス形式で表現される画素からなる矩形状の画像であり、各画素の画素データは、Ｒ（赤），Ｇ（緑），Ｂ（青）の色成分を含み、各色成分は、例えば０〜２５５の階調で表される。また、フレーム画像は、例えば左下の頂点の座標を原点とし、横方向にｘ軸、縦方向にｙ軸が設定される。以下、ｘ軸、ｙ軸によって規定される２次元空間を画像空間と称する。
【００３４】
検出領域設定部１０３は、ＣＰＵ３等から構成され、顔画像中の左右の眼の各々に対し、眼全域を含み、かつ、眼全域よりも多少サイズが大きな矩形状の領域である検出領域を設定する。検出領域設定部１０３は、本出願人が先に出願した特開２００３−４４８３７号公報に開示された技術を用いて眼、鼻、口、及び顔の輪郭等の特徴部分のおよその位置を特定し、特定した位置に基づいて、フレーム画像中における両眼の各々に対するおよその位置とサイズとを特定し、特定した位置とサイズとから検出領域のサイズと位置とを決定して検出領域を設定する。ここで、眼全域とは、黒眼及び白眼を含む領域をいう。
【００３５】
エッジ検出部１０４は、ＣＰＵ３等から構成され、検出領域内の画像に対して、縦方向（ｙ軸方向）のエッジを検出する処理を実行するとともに、横方向（ｘ軸方向）のエッジを検出する処理を実行することにより、検出領域画像からエッジを検出する。具体的には、エッジ検出部１０４は、各画素の輝度をｆ（ｘ，ｙ）とすると、∂ｆ（ｘ，ｙ）／∂ｘの演算を行なうことにより縦方向のエッジを検出し、∂ｆ（ｘ，ｙ）／∂ｙの演算を行なうことにより、横方向のエッジを検出する。ここで、輝度ｆ（ｘ，ｙ）は、上記色成分の値をＲ，Ｇ，Ｂにより表すと、例えばｆ（ｘ，ｙ）＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂによって算出される。
【００３６】
分類部１０５は、ＣＰＵ３等から構成され、エッジ検出部１０４によって検出されたエッジをその方向に応じて第１〜第４エッジに分類する。具体的には、分類部１０５は、エッジ検出部１０４によって検出されたエッジを、∂ｆ（ｘ，ｙ）／∂ｙ＜０の画素を基準として第１エッジに分類し、∂ｆ（ｘ，ｙ）／∂ｙ＞０の画素を基準として第２エッジに分類し、∂ｆ（ｘ，ｙ）／∂ｘ＜０の画素を基準として第３エッジに分類し、∂ｆ（ｘ，ｙ）／∂ｘ＞０の画素を基準として第４エッジに分類する。
【００３７】
投票領域設定部１０６は、ＣＰＵ３等から構成され、エッジ検出部１０４によって検出されたエッジの各画素に対応する投票領域を、各画素が第１〜第４エッジのうち、いずれのエッジに属するかに応じて、その範囲が小さくなるように、かつ、投票空間の最大投票点が含まれるように制限し、制限した領域を制限投票領域として設定する。本図形抽出装置は、式（１）を用いて人間の瞳を抽出するものであるため、投票空間は、ｕ，ｖ，ｒの３軸からなる３次元空間で表され、投票領域は円錐面となる。
【００３８】
探索部１０７は、ＣＰＵ３から構成され、投票領域設定部１０６によって設定された制限投票領域上の各点に対する投票数を算出し、投票数が最大の投票点、すなわち、制限投票領域が最も重なる点である最大投票点を検出する。これにより、探索対象となる瞳が抽出される。ここで、投票数とは、投票空間内のある点において、その点を通る制限投票領域の数を示す数値である。
【００３９】
表示制御部１０８は、ＣＰＵ３等から構成され、探索部１０７によって抽出された瞳のエッジを示す画像を、フレームメモリ１０２に記憶された対応するフレーム画像に合成して、表示部１０９に出力する。
【００４０】
表示部１０９は、表示装置６から構成され、表示制御部１０８によって各フレーム画像に瞳のエッジを示す画像が合成された人間の顔画像を表示する。
【００４１】
本実施形態では、エッジ検出部１０４がエッジ検出手段の一例に相当し、分類部１０５が分類手段の一例に相当し、投票領域設定部１０６が制限手段の一例に相当し、探索部１０７が探索手段の一例に相当する。
【００４２】
次に、本画像抽出装置の動作について、図３のフローチャートを用いて説明する。まず、ステップＳ１０１において、顔画像取得部１０１は、顔画像を取得し、フレームメモリ１０２に記憶させる。ステップＳ１０２において、検出領域設定部１０３は、フレームメモリ１０２から１枚のフレーム画像を読み出し、両眼のそれぞれに対して検出領域を設定する。図４は、左眼ＬＥに設定された検出領域Ｄ１を示した図面である。図４において、左眼ＬＥは、瞳ＢＥ及び白眼ＷＥを含む。左眼ＬＥの上側に示されたＬの符号が付された曲線は、二重ラインを示している。なお、右眼ＲＥに対しても、左眼ＬＥに設定された検出領域Ｄ１と同様に検出領域が設定される。
【００４３】
次に、ステップＳ１０３において、エッジ検出部１０４は、検出領域Ｄ１の画像に対し、∂ｆ（ｘ，ｙ）／∂ｘ、すなわちｘ方向に対する偏微分と、∂ｆ（ｘ，ｙ）／∂ｙ、すなわちｙ方向に対する偏微分とを実行し、検出領域Ｄ１の画像中のエッジを検出する。
【００４４】
図５は、エッジ検出部１０４によって検出されたエッジの一例を示した図面であり、（ａ）はｘ方向に対する偏微分によって検出されたエッジＥ１及びＥ２を示し、（ｂ）はｙ方向に対する偏微分によって検出されたエッジＥ３及びＥ４を示し、（ｃ）は両偏微分によって検出されたエッジＥを示している。
【００４５】
図４に示すように瞳ＢＥの左側のエッジは、白眼ＷＥの領域と瞳ＢＥの領域とが接している。そのため、この付近の画像はｘの増大とともに輝度が大きく低下する。したがって、瞳ＢＥの左側のエッジ付近の画素のｘ方向に対する偏微分値は負の値となる。
【００４６】
また、瞳ＢＥの右側のエッジは、白眼ＷＥの領域と瞳ＢＥの領域が接している。そのため、この付近の画像はｘの増大にともなって輝度が大きく上昇する。したがって、瞳ＢＥの右側のエッジ付近の画素のｘ方向に対する偏微分値は正の値となる。一方、瞳ＢＥ、白眼ＷＥの内部、肌の領域は、輝度がほとんど変化しない。その結果、検出領域Ｄ１をｘ方向に偏微分すると、図５（ａ）に示すように、エッジＥ１及びＥ２が検出されることとなる。なお、図中、黒く塗りつぶされた部分は偏微分値が負であることを示し、白抜きの部分は偏微分値が正であることを示し、グレーの部分は偏微分値が０であることを示している。
【００４７】
また、図４に示すように、左眼ＬＥの上側のエッジは、白眼ＷＥと睫とが接しているとともに、瞳ＢＥ及び睫と肌とが接している。そのため、この付近の画像は、ｙ方向の増大にともなって輝度が大きく増大する。したがって、左眼ＬＥの上側のエッジ付近の画素のｙ方向に対する偏微分値は正の値となる。また、図４に示すように、瞳ＢＥの下側のエッジは、白眼ＷＥと瞳ＢＥとが接している。そのため、この付近の画像は、ｙ方向の増大にともなって輝度が大きく低下する。したがって、瞳ＢＥの下側のエッジ付近の画素の偏微分値は負の値をとる。その結果、検出領域Ｄ１をｙ方向に偏微分すると、図５（ｂ）に示すようなエッジＥ３とエッジＥ４とが検出される。なお、図中、黒く塗りつぶされた部分は偏微分値が負であることを示し、白抜きの部分は偏微分値が正であることを示し、グレーの部分は偏微分値が０であることを示している。
【００４８】
そして、検出領域Ｄ１に対するｘ方向への偏微分及びｙ方向への偏微分によって、図５（ｃ）に示すようなエッジＥが検出領域Ｄ１から検出されることとなる。
【００４９】
ステップＳ１０４において、分類部１０５は、図５（ｃ）に示すように、検出領域Ｄ１の各画素の偏微分値に応じて、エッジＥを第１乃至第４エッジＥＡ〜ＥＤに分類する。第１乃至第４エッジＥＡ〜ＥＤは、エッジＥ１〜Ｅ４にほぼ対応すると考えてよいが、図５（ａ）及び（ｂ）に示すように、エッジＥ１の下端の一部と、エッジＥ３の左端の一部とは重なっており、また、エッジＥ２の下端の一部と、エッジＥ３の右端の一部とは重なっている。ここで、エッジＥ２は下端にいくにつれてｘに対する偏微分値の絶対値が小さくなり、また、エッジＥ３も左端にいくにつれてｙに対する偏微分値の絶対値は小さくなる。そこで、分類部１０５は、エッジＥ１において、ｘに対する偏微分値の絶対値よりもｙに対する偏微分値の絶対値が大きくなった画素を基準としてエッジＥＡとエッジＥＣとの境界を定める。また、分類部１０５は、同様にして、エッジＥ２において、ｘに対する偏微分値の絶対値よりもｙに対する偏微分値の絶対値が大きくなった画素を基準としてエッジＥＣとエッジＥＢとの境界を定める。これにより、エッジＥがエッジＥＡ〜ＥＤの４種類のエッジに分類される。
【００５０】
ステップＳ１０５において、投票領域設定部１０６は、エッジＥ上の各画素が第１〜第４エッジＥＡ〜ＥＤのうち、どのエッジに属するかに応じて、各画素に対応する制限投票領域を設定する。
【００５１】
図６は、画像空間における画素と、画素に対応する制限投票領域との関係を示した図面であり、（ａ）は検出領域Ｄ１内のエッジを示し、（ｂ）は第４エッジＥＤに属する各画素Ｐ４に対応する制限投票領域を示し、（ｃ）は第１エッジＥＡに属する各画素Ｐ１に対応する制限投票領域を示し、（ｄ）は第３エッジＥＣに属する各画素Ｐ３に対応する制限投票領域を示し、（ｅ）は第２エッジＥＢに属する各画素Ｐ２に対応する制限投票領域を示している。
【００５２】
すなわち、投票領域設定部１０６は、式（２）〜式（５）で表される投票領域を、それぞれ、式（６）〜式（９）で制限し、制限した領域を、画素Ｐ１（ｘ，ｙ）〜Ｐ４（ｘ，ｙ）に対応する制限投票領域として設定する。
（ｕ−ｘ）2＋（ｖ−ｙ）2＝ｒ2・・・式（２）  ｖ＜ｙ・・・式（６）
（ｕ−ｘ）2＋（ｖ−ｙ）2＝ｒ2・・・式（３）  ｕ＞ｘ・・・式（７）
（ｕ−ｘ）2＋（ｖ−ｙ）2＝ｒ2・・・式（４）  ｖ＞ｙ・・・式（８）
（ｕ−ｘ）2＋（ｖ−ｙ）2＝ｒ2・・・式（５）  ｕ＜ｘ・・・式（９）
これにより、第４エッジＥＤ上の各画素Ｐ４は、（ｂ）に示すように、ｒ軸に平行であり（ｕ，ｖ）＝（ｘ，ｙ）を通る直線を中心軸とする円錐の手前側半分の円錐面が制限投票領域として設定される。また、第１エッジＥＡ上の各画素Ｐ１は、（ｃ）に示すように、ｒ軸に平行であり、（ｕ，ｖ）＝（ｘ，ｙ）を通る直線を中心軸とする円錐の右側半分の円錐面が制限投票領域として設定される。さらに、第３エッジＥＣ上の各画素Ｐ３は、（ｄ）に示すように、ｒ軸に平行であり、（ｕ，ｖ）＝（ｘ，ｙ）を通る直線を中心軸とする円錐の後ろ側半分の円錐面が制限投票領域として設定される。さらに、第２エッジＥＢ上の各画素Ｐ２は投票領域は、（ｅ）に示すように、ｒ軸に平行であり、（ｕ，ｖ）＝（ｘ，ｙ）を通る直線を中心軸とする円錐の左側半分の円錐面が制限投票領域として設定される。
【００５３】
次に、投票領域、制限投票領域、及び最大投票点との関係について図７及び図８を用いて説明する。図７は、第１〜第４エッジＥＡ〜ＥＤと、投票領域Ｃ１〜Ｃ４との関係を示した図面であり、（ａ）は第１〜第４エッジＥＡ〜ＥＤを示し、（ｂ）は投票領域Ｃ１〜Ｃ４を示している。（ｂ）に示す投票領域Ｃ１〜Ｃ４は、それぞれ、画素Ｐ１（ｘ，ｙ）〜Ｐ４（ｘ，ｙ）に対応する投票領域を示し、十字印を付した点は、最大投票点ＭＰ（ｕ，ｖ，ｒ）を示している。
【００５４】
図７に示すように、最大投票点ＭＰは、投票領域Ｃ４に対しては、ｖ＜ｙの範囲に存在し、投票領域Ｃ１に対しては、ｕ＞ｘの範囲に存在し、投票領域Ｃ３に対しては、ｖ＞ｙの範囲に存在し、投票領域Ｃ２に対しては、ｕ＜ｘの範囲に存在することが分かる。
【００５５】
図８は、最大投票点ＭＰが存在するｕ−ｖ平面上における投票領域を示した図面である。なお、図８では、説明を分かりやすくするために、背景として図５（ｃ）で示すエッジの画像を重ね合わせている。このｕ−ｖ平面において、投票領域Ｃは、エッジ上の画素Ｐを中心とする半径ｒの円で表される。この半径ｒは、抽出対象となる瞳ＢＥの半径に一致する。そのため、ｕ−ｖ平面において、図５（ｃ）で示すエッジの画像を重ね合わせると、各画素Ｐに対応する投票領域Ｃの重なりが多く発生する点、すなわち、最大投票点ＭＰは、瞳の中心に位置することになる。
【００５６】
このことから、画像空間において、エッジ上の各画素が、瞳ＢＥの中心に対して、どの位置に存在するかが分かれば、エッジ上の各画素に対応する投票領域において、どのあたりに最大投票点ＭＰが位置するかを予測することができる。
【００５７】
例えば、第４エッジＥＤ上の画素Ｐ４（ｘ，ｙ）に対応する投票領域Ｃ４において、最大投票点ＭＰは、下側半分の円錐面上、すなわち、ｖ＜ｙの範囲内に位置し、上側半分の円錐面上、すなわち、ｖ＞ｙの範囲内に位置しないことが分かる。同様に、第１エッジＥＡ上の画素Ｐ１（ｘ，ｙ）に対応する投票領域Ｃ１において、最大投票点ＭＰは、右半分の円錐面上、すなわち、ｕ＞ｘの範囲内に位置し、左半分の円錐面上、すなわち、ｕ＜ｘの範囲内に位置しないことが分かる。また、第３エッジＥＣ上の画素Ｐ３に対応する投票領域Ｃ３において、最大投票点ＭＰは、上半分の円錐面上、すなわち、ｖ＞ｙの範囲内に位置し、下半分の円錐面上、すなわち、ｖ＜ｙの範囲内に位置しないことが分かる。さらに、第２エッジＥＢ上の画素Ｐ２（ｘ，ｙ）に対応する投票領域Ｃ２において、最大投票点ＭＰは、左半分の円錐面上、すなわち、ｕ＜ｘの範囲内に位置し、右半分の円錐面上、すなわちｕ＞ｘの範囲内に位置しないことが分かる。
【００５８】
したがって、図８中、閉曲線Ｌで囲む領域において、最大投票点ＭＰは明らかに存在しないため、この領域において、最大投票点ＭＰを探索することは無駄である。そこで、投票領域設定部１０６は、式（２）で表される第４エッジＥＤ上の各画素Ｐ４に対応する投票領域Ｃ４を、式（６）の範囲に制限したものを制限投票領域として設定する。また、式（３）で表される第１エッジＥＡ上の各画素Ｐ１に対応する投票領域Ｃ１を、式（７）の範囲に制限したものを制限投票領域として設定する。さらに、式（４）で表される第３エッジＥＣ上の各画素Ｐ３に対応する投票領域Ｃ３を、式（８）の範囲に制限したものを制限投票領域として設定する。さらに、式（５）で表される第２エッジＥＢ上の各画素Ｐ２に対応する投票領域Ｃ２を、式（９）の範囲に制限したものを制限投票領域として設定する。これにより、投票領域の範囲を小さくして、最大投票点ＭＰの検出速度を高めている。
【００５９】
図３に示すステップＳ１０６において、探索部１０７は、制限投票領域内を探索して最大投票点ＭＰを検出し、検出した最大投票点ＭＰのｕ，ｖ，ｒ値を、円の中心（ｕ，ｖ）及び半径をｒとする円が抽出対象となる瞳ＢＥのエッジとされ、瞳が抽出される（ステップＳ１０７）。
【００６０】
ステップＳ１０８において、表示制御部１０８は、瞳ＢＥが検出されたフレーム画像をフレームメモリ１０２から読み出し、読み出したフレーム画像に瞳のエッジを示す画像を合成し、表示部１０９に表示する。
【００６１】
ステップＳ１０９において、処理されたフレーム画像が最終のフレーム画像でない場合（ステップＳ１０９でＮＯ）、処理がステップＳ１０２に戻され、以降のフレーム画像に対してステップＳ１０２〜Ｓ１０８の処理が実行される。一方、処理したフレーム画像が最終のフレーム画像である場合（ステップＳ１０９でＹＥＳ）、処理が終了される。
【００６２】
このように、本図形抽出装置によれば、顔画像の眼の領域に検出領域Ｄ１を設定し、検出領域Ｄ１をｘ及びｙに対して偏微分して得られる偏微分値からエッジを第１〜第４エッジＥＡ〜ＥＤに分類し、分類したエッジ別にエッジ上の各画素に対応する制限投票領域を設定し、設定した制限投票領域内を探索し最大投票点を検出しているため、計算量を低減することができ、高精度、かつ、高速に瞳を抽出することができる。また、本図形抽出装置は、このようにして処理の高速化を図っているため、動画像から図形を抽出する場合、特に有用となる。さらに、本図形抽出装置は、両眼の各々に対して検出領域を設定し、設定した検出領域内において、瞳の抽出処理を行なっているため、瞳以外の画像が瞳の画像として誤認識して抽出されることを防止することができる。
【００６３】
なお、本発明は、以下の態様を採用してもよい。
【００６４】
（１）上記実施形態では、人間の瞳を抽出したが、これに限定されず、猿、犬等の他の生物の瞳を抽出してもよい。また、本発明は、瞳のように、外部に対して内部の輝度が低い円形の図形以外の図形を抽出することもできる。例えば、外部に対して内部の輝度が高い円の図形を抽出してもよい。この場合、分類部１０５は、∂ｆ／∂ｘ＞０を第１エッジＥＡとし、∂ｆ／∂ｘ＜０を第２エッジＥＢとし、∂ｆ／∂ｙ＞０を第３エッジＥＣとし、∂ｆ／∂ｙ＜０を第４エッジＥＤとして分類すればよい。また、本発明は、円以外の例えば楕円等の閉曲線からなる図形を抽出する処理に適用してもよい。この場合、閉曲線の種類に応じて、投票空間の次元数は変動する。例えば楕円を抽出する場合、投票空間は５次元空間となる。そして、これに応じて、エッジの分類パターン及び投票領域の制限するパターンを適宜変更すればよい。
【００６５】
（２）上記実施形態では、人間の顔画像の瞳に対して本発明を適用していたが、これに限定されず、機械部品（例えば、ネジ穴や電気回路の基板にある穴）の画像に対して本発明を適用させてもよい。
【００６６】
（３）上記実施形態では、エッジを４種類に分類し、それに応じて４つのパターンで投票領域を制限したが、これに限定されず、エッジを５種類以上に分類してもよい。分類数を増やすにつれて、制限投票領域の範囲が小さくなるため、最大投票点の検出時間を短縮することができる。
【００６７】
（４）本発明を人間の顔の動画像に対して仮想的に化粧を施す化粧シミュレーション装置に適用させてもよい。化粧シミュレーション装置では、瞳を検出し、検出した瞳を基準として、鼻、口等の他の顔部品を検出することが行なわれるが、この場合、本発明を、前記瞳を検出する処理に適用すればよい。また、本発明を、人間の視線を検出する視線検出装置に適用させてもよい。
【００６８】
（５）上記実施形態では、顔の動画像から瞳を抽出する処理を例に挙げて説明したが、これに限定されず、顔の静止画像から瞳を抽出してもよい。この場合、動画像において、１枚のフレーム画像に対して行なった処理を、静止画像に対して実行すればよい。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施の形態による図形抽出装置の構成を示すブロック図である。
【図２】本図形抽出装置の機能を説明するブロック図である。
【図３】本画像抽出装置の動作を示すフローチャートである。
【図４】左眼に設定された検出領域を示した図面である。
【図５】エッジ検出部によって検出されたエッジの一例を示した図面であり、（ａ）はｘ方向に対する偏微分によって検出されたエッジを示し、（ｂ）はｙ方向に対する偏微分によって検出されたエッジを示し、（ｃ）は両偏微分によって検出されたエッジを示している。
【図６】画像空間における画素と、画素に対応する制限投票領域との関係を示した図面であり、（ａ）は画像空間を示し、（ｂ）は第１エッジに属する画素に対応する制限投票領域を示し、（ｃ）は第２エッジに属する画素に対応する制限投票領域を示し、（ｄ）は第３エッジに属する画素に対応する制限投票領域を示し、（ｅ）は第４エッジに属する画素に対応する制限投票領域を示している。
【図７】第１〜第４エッジと、投票領域との関係を示した図面でり、（ａ）は第１〜第４エッジを示し、（ｂ）は投票領域を示している。
【図８】最大投票点が存在するｕ−ｖ平面上における投票領域を示した図面である。
【符号の説明】
【００７０】
１０  カメラ
１０１  顔画像取得部
１０２  フレームメモリ
１０３  検出領域設定部
１０４  エッジ検出部
１０５  分類部
１０６  投票領域設定部
１０７  探索部
１０８  表示制御部
１０９  表示部
【図１】
2005309862.tif 000003
【図２】
2005309862.tif 000004
【図３】
2005309862.tif 000005
【図４】
2005309862.tif 000006
【図５】
2005309862.tif 000007
【図６】
2005309862.tif 000008
【図７】
2005309862.tif 000009
【図８】
2005309862.tif 000010