(57)【特許請求の範囲】
【請求項１】
入力画像から抽出対象画像を抽出するための画像抽出装置であって、
前記抽出対象画像を記憶する記憶手段と、
前記入力画像の入力を受付けるための入力手段と、
前記入力画像を複数の異なる倍率で変換することで、前記入力画像を前記異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換手段と、
前記変換手段で変換された画像群の内の１の画像と前記抽出対象画像との２つの画像を用いて、前記抽出対象画像と前記変換手段で変換された前記入力画像に対して設定された探索領域との比較を行なうことで、前記探索領域から前記抽出対象画像を抽出する抽出手段と、
前記入力画像に前記探索領域を設定する設定手段とを備え、
前記抽出手段は、前記画像群の内の画像ごとに、前記倍率の大きさに従った順で前記比較を行ない、
前記設定手段は、前記抽出手段が、前記画像群の内の前記倍率の大きさに従った次の倍率の画像を用いて次の前記比較を行なう際に、前記次の比較に用いられる前記変換手段で変換された前記入力画像に対して、その直前までのそれぞれ比較において前記抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、前記次の比較における前記探索領域として設定する、画像抽出装置。
【請求項２】
前記設定手段は、前記次の比較の直前までの前記それぞれ比較において前記抽出対象画像が抽出された領域を、前記それぞれの比較に用いた前記入力画像の倍率と前記次の比較に用いられる前記入力画像の倍率との比率に基づいて変換して前記非探索領域とし、前記次の比較に用いられる前記変換手段で変換された前記入力画像から前記非探索領域を除いた領域を、前記次の比較における前記探索領域として設定する、請求項１に記載の画像抽出装置。
【請求項３】
入力画像から抽出対象画像を抽出するための画像抽出装置であって、
前記抽出対象画像を記憶する記憶手段と、
前記入力画像の入力を受付けるための入力手段と、
前記抽出対象画像を複数の異なる倍率で変換することで、前記抽出対象画像を前記異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換手段と、
前記変換手段で変換された画像群の内の１の画像と前記入力画像との２つの画像を用いて、前記変換手段で変換された前記抽出対象画像と前記入力画像に対して設定された探索領域との比較を行なうことで、前記探索領域から前記抽出対象画像を抽出する抽出手段と、
前記入力画像に前記探索領域を設定する設定手段とを備え、
前記抽出手段は、前記画像群の内の画像ごとに、前記倍率の大きさに従った順で前記比較を行ない、
前記設定手段は、前記抽出手段が、前記画像群の内の前記倍率の大きさに従った次の倍率の画像を用いて次の前記比較を行なう際に、前記入力画像に対して、その直前までのそれぞれ比較において前記抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、前記次の比較における前記探索領域として設定する、画像抽出装置。
【請求項４】
前記抽出手段は、前記画像群の中から、前記２つの画像のうちの前記入力画像に対応する画像の面積に対して、前記２つの画像のうちの前記抽出対象画像に対応する画像の面積の割合が最も大きい画像より、前記割合が小さくなる順となるように前記倍率で変換された画像を順に選択して前記比較を行なう、請求項１〜３のいずれかに記載の画像抽出装置。
【請求項５】
前記抽出手段で抽出された、前記入力画像中の前記抽出対象画像の位置と、前記抽出手段で前記抽出対象画像が抽出された際の前記比較に用いた前記変換手段で変換された画像群の内の前記１の画像の倍率とを前記抽出の結果として出力するための出力手段をさらに備える、請求項１〜４のいずれかに記載の画像抽出装置。
【請求項６】
抽出対象画像を記憶した画像抽出装置において入力画像から前記抽出対象画像を抽出する方法であって、
前記入力画像の入力を受付ける入力ステップと、
前記入力画像を複数の異なる倍率で変換することで、前記入力画像を前記異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換ステップと、
前記入力画像に前記抽出対象画像を抽出するための領域である探索領域を設定する設定ステップと、
前記変換ステップで変換された画像群の内の１の画像と前記抽出対象画像との２つの画像を用いて、前記抽出対象画像と前記変換ステップで変換された前記入力画像に対して設定された前記探索領域との比較を行なうことで、前記探索領域から前記抽出対象画像を抽出する抽出ステップとを備え、
前記抽出ステップでは、前記画像群の内の画像ごとに、前記倍率の大きさに従った順で前記比較を行ない、
前記設定ステップでは、前記抽出ステップで、前記画像群の内の前記倍率の大きさに従った次の倍率の画像を用いて次の前記比較を行なう際に、前記次の比較に用いられる前記変換ステップで変換された前記入力画像に対して、その直前までのそれぞれ比較において前記抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、前記次の比較における前記探索領域として設定する、画像抽出方法。
【請求項７】
前記設定ステップでは、前記次の比較の直前までの前記それぞれ比較において前記抽出対象画像が抽出された領域を、前記それぞれの比較に用いた前記入力画像の倍率と前記次の比較に用いられる前記入力画像の倍率との比率に基づいて変換して前記非探索領域とし、前記次の比較に用いられる前記変換手段で変換された前記入力画像から前記非探索領域を除いた領域を、前記次の比較における前記探索領域として設定する、請求項６に記載の画像抽出方法。
【請求項８】
抽出対象画像を記憶した画像抽出装置において入力画像から前記抽出対象画像を抽出する方法であって、
前記入力画像の入力を受付ける入力ステップと、
前記抽出対象画像を複数の異なる倍率で変換することで、前記抽出対象画像を前記異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換ステップと、
前記入力画像に前記抽出対象画像を抽出するための領域である探索領域を設定する設定ステップと、
前記変換ステップで変換された画像群の内の１の画像と前記入力画像との２つの画像を用いて、前記変換ステップで変換された前記抽出対象画像と前記入力画像に対して設定された前記探索領域との比較を行なうことで、前記探索領域から前記抽出対象画像を抽出する抽出ステップとを備え、
前記抽出ステップでは、前記画像群の内の画像ごとに、前記倍率の大きさに従った順で前記比較を行ない、
前記設定ステップでは、前記抽出ステップで、前記画像群の内の前記倍率の大きさに従った次の倍率の画像を用いて次の前記比較を行なう際に、前記次の比較に用いられる前記変換ステップで変換された前記入力画像に対して、その直前までのそれぞれ比較において前記抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、前記次の比較における前記探索領域として設定する、画像抽出方法。
【請求項９】
前記抽出ステップでは、前記画像群の中から、前記２つの画像のうちの前記入力画像に対応する画像の面積に対して、前記２つの画像のうちの前記抽出対象画像に対応する画像の面積の割合が最も大きい画像より、前記割合が小さくなる順となるように前記倍率で変換された画像を順に選択して前記比較を行なう、請求項６〜８のいずれかに記載の画像抽出方法。
【請求項１０】
前記抽出ステップで抽出された、前記入力画像中の前記抽出対象画像の位置と、前記抽出ステップで前記抽出対象画像が抽出された際の前記比較に用いた前記変換ステップで変換された画像群の内の前記１の画像の倍率とを前記抽出の結果として出力するステップをさらに備える、請求項６〜９のいずれかに記載の画像抽出方法。
【請求項１１】
抽出対象画像を記憶した画像抽出装置に、入力画像から前記抽出対象画像を抽出する処理を実行させるためのプログラムであって、
前記入力画像の入力を受付ける入力ステップと、
前記入力画像を複数の異なる倍率で変換することで、前記入力画像を前記異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換ステップと、
前記入力画像に前記抽出対象画像を抽出するための領域である探索領域を設定する設定ステップと、
前記変換ステップで変換された画像群の内の１の画像と前記抽出対象画像との２つの画像を用いて、前記抽出対象画像と前記変換ステップで変換された前記入力画像に対して設定された前記探索領域との比較を行なうことで、前記探索領域から前記抽出対象画像を抽出する抽出ステップとを前記画像抽出装置に実行させ、
前記抽出ステップでは、前記画像群の内の画像ごとに、前記倍率の大きさに従った順で前記比較を行ない、
前記設定ステップでは、前記抽出ステップで、前記画像群の内の前記倍率の大きさに従った次の倍率の画像を用いて次の前記比較を行なう際に、前記次の比較に用いられる前記変換ステップで変換された前記入力画像に対して、その直前までのそれぞれ比較において前記抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、前記次の比較における前記探索領域として設定する、画像抽出プログラム。
【請求項１２】
前記設定ステップでは、前記次の比較の直前までの前記それぞれ比較において前記抽出対象画像が抽出された領域を、前記それぞれの比較に用いた前記入力画像の倍率と前記次の比較に用いられる前記入力画像の倍率との比率に基づいて変換して前記非探索領域とし、前記次の比較に用いられる前記変換手段で変換された前記入力画像から前記非探索領域を除いた領域を、前記次の比較における前記探索領域として設定する、請求項１１に記載の画像抽出プログラム。
【請求項１３】
抽出対象画像を記憶した画像抽出装置に、入力画像から前記抽出対象画像を抽出する処理を実行させるためのプログラムであって、
前記入力画像の入力を受付ける入力ステップと、
前記抽出対象画像を複数の異なる倍率で変換することで、前記抽出対象画像を前記異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換ステップと、
前記入力画像に前記抽出対象画像を抽出するための領域である探索領域を設定する設定ステップと、
前記変換ステップで変換された画像群の内の１の画像と前記入力画像との２つの画像を用いて、前記変換ステップで変換された前記抽出対象画像と前記入力画像に対して設定された前記探索領域との比較を行なうことで、前記探索領域から前記抽出対象画像を抽出する抽出ステップとを前記画像抽出装置に実行させ、
前記抽出ステップでは、前記画像群の内の画像ごとに、前記倍率の大きさに従った順で前記比較を行ない、
前記設定ステップでは、前記抽出ステップで、前記画像群の内の前記倍率の大きさに従った次の倍率の画像を用いて次の前記比較を行なう際に、前記次の比較に用いられる前記変換ステップで変換された前記入力画像に対して、その直前までのそれぞれ比較において前記抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、前記次の比較における前記探索領域として設定する、画像抽出プログラム。
【請求項１４】
前記抽出ステップでは、前記画像群の中から、前記２つの画像のうちの前記入力画像に対応する画像の面積に対して、前記２つの画像のうちの前記抽出対象画像に対応する画像の面積の割合が最も大きい画像より、前記割合が小さくなる順となるように前記倍率で変換された画像を順に選択して前記比較を行なう、請求項１１〜１３のいずれかに記載の画像抽出プログラム。
【請求項１５】
前記抽出ステップで抽出された、前記入力画像中の前記抽出対象画像の位置と、前記抽出ステップで前記抽出対象画像が抽出された際の前記比較に用いた前記変換ステップで変換された画像群の内の前記１の画像の倍率とを前記抽出の結果として出力するステップをさらに前記画像抽出装置に実行させる、請求項１１〜１４のいずれかに記載の画像抽出プログラム。
【請求項１６】
請求項１１〜１５のいずれかに記載の画像抽出プログラムを記録した、コンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は画像抽出装置、画像抽出方法および画像抽出プログラムに関し、特に、効率よく画像の抽出を行なうことのできる画像抽出装置、画像抽出方法および画像抽出プログラムに関する。
【０００２】
【従来の技術】
画像抽出の目的の１つとして、人物認証や作業解析などを行なうため、与えられた画像中に含まれる顔を抽出することが考えられる。しかし、画像中に含まれる顔は、対象の距離の違いや個体差などから、大きさが未知である。そこで、大きさが未知の顔を、画像中に含まれる背景などから区別して抽出する技術が必要となる。
【０００３】
従来より行なわれていた画像抽出技術では、顔のサンプルである参照画像を用いて、与えられた画像中の領域を、少しずつスキャンしながら比較し、顔を抽出する方法が行なわれている。参照画像または与えられた画像の大きさを変化させた画像ピラミッドを形成し、画像ピラミッドに沿って、いろいろな大きさの参照画像で、画像中の全ての領域をスキャンする。
【０００４】
さらに、特開平７−４９９４９号公報においては、解像度の最も低い画像ピラミッドの最上層において、探索領域（探索点）と参照画像との相関値を求め、所定の相関値を持った点群を作成し、点群のうち代表点を画像ピラミッドの次層の探索点として絞込んで、対象画像を抽出する発明が開示されている。
【０００５】
また、特開平１０−２１３８９号公報においては、解像度の最も低い画像ピラミッドの最上層において抽出された候補点での近傍点を下層での検索に用い、候補点を絞込むことで相関値計算の回数を減らし、高速で対象画像を抽出する発明が開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら上述の発明においては、与えられた画像より任意の大きさの顔の抽出を行なうことができない。すなわち、特定の大きさの顔は、参照画像と比較することで抽出することができるが、画像に含まれている、特定されない大きさの顔を抽出することができない。
【０００７】
また従来の画像抽出方法を用いて任意の大きさの顔を抽出する場合は、多種類の大きさの参照画像でスキャンする必要があり、大変時間のかかる処理であった。
【０００８】
そこでこの発明では、与えられた画像に含まれる任意の大きさの対象画像（例えば顔）を効率よく抽出することのできる画像抽出装置、画像抽出方法および画像抽出プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明のある局面に従うと、画像抽出装置は入力画像から抽出対象画像を抽出するための画像抽出装置であって、抽出対象画像を記憶する記憶手段と、入力画像の入力を受付けるための入力手段と、入力画像を複数の異なる倍率で変換することで、入力画像を異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換手段と、変換手段で変換された画像群の内の１の画像と抽出対象画像との２つの画像を用いて、抽出対象画像と変換手段で変換された入力画像に対して設定された探索領域との比較を行なうことで、探索領域から抽出対象画像を抽出する抽出手段と入力画像に探索領域を設定する設定手段とを備える。抽出手段は、画像群の内の画像ごとに、倍率の大きさに従った順で前記比較を行ない、設定手段は、抽出手段が、画像群の内の倍率の大きさに従った次の倍率の画像を用いて次の比較を行なう際に、次の比較に用いられる変換手段で変換された入力画像に対して、その直前までのそれぞれ比較において抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、次の比較における探索領域として設定する。
好ましくは、設定手段は、次の比較の直前までのそれぞれ比較において抽出対象画像が抽出された領域を、それぞれの比較に用いた入力画像の倍率と次の比較に用いられる入力画像の倍率との比率に基づいて変換して非探索領域とし、次の比較に用いられる変換手段で変換された入力画像から非探索領域を除いた領域を、次の比較における探索領域として設定する。
本発明の他の局面に従うと、画像抽出装置は入力画像から抽出対象画像を抽出するための画像抽出装置であって、抽出対象画像を記憶する記憶手段と、入力画像の入力を受付けるための入力手段と、抽出対象画像を複数の異なる倍率で変換することで、抽出対象画像を異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換手段と、変換手段で変換された画像群の内の１の画像と入力画像との２つの画像を用いて、変換手段で変換された抽出対象画像と入力画像に対して設定された探索領域との比較を行なうことで、探索領域から抽出対象画像を抽出する抽出手段と、入力画像に探索領域を設定する設定手段とを備える。抽出手段は、画像群の内の画像ごとに、倍率の大きさに従った順で前記比較を行ない、設定手段は、抽出手段が、画像群の内の倍率の大きさに従った次の倍率の画像を用いて次の比較を行なう際に、入力画像に対して、その直前までのそれぞれ比較において抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、次の比較における探索領域として設定する。
【００１０】
好ましくは、抽出手段は、画像群の中から、上記２つの画像のうちの入力画像に対応する画像の面積に対して、上記２つの画像のうちの抽出対象画像に対応する画像の面積の割合が最も大きい画像より、その割合が小さくなる順となるように上記倍率で変換された画像を順に選択して比較を行なう。
好ましくは、画像抽出装置は、抽出手段で抽出された、入力画像中の抽出対象画像の位置と、抽出手段で抽出対象画像が抽出された際の比較に用いた変換手段で変換された画像群の内の１の画像の倍率とを抽出の結果として出力するための出力手段をさらに備える。
【００１１】
本発明のさらに他の局面に従うと、画像抽出方法は抽出対象画像を記憶した画像抽出装置において入力画像から抽出対象画像を抽出する方法であって、入力画像の入力を受付ける入力ステップと、入力画像を複数の異なる倍率で変換することで、入力画像を異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換ステップと、入力画像に抽出対象画像を抽出するための領域である探索領域を設定する設定ステップと、変換ステップで変換された画像群の内の１の画像と抽出対象画像との２つの画像を用いて、抽出対象画像と変換ステップで変換された入力画像に対して設定された探索領域との比較を行なうことで、探索領域から抽出対象画像を抽出する抽出ステップとを備える。抽出ステップでは、画像群の内の画像ごとに、倍率の大きさに従った順で前記比較を行ない、設定ステップでは、抽出ステップで、画像群の内の前記倍率の大きさに従った次の倍率の画像を用いて次の前記比較を行なう際に、次の比較に用いられる変換ステップで変換された入力画像に対して、その直前までのそれぞれ比較において抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、次の比較における探索領域として設定する。
好ましくは、設定ステップでは、次の比較の直前までのそれぞれ比較において抽出対象画像が抽出された領域を、それぞれの比較に用いた入力画像の倍率と次の比較に用いられる入力画像の倍率との比率に基づいて変換して非探索領域とし、次の比較に用いられる変換手段で変換された入力画像から非探索領域を除いた領域を、次の比較における探索領域として設定する。
本発明のさらに他の局面に従うと、画像抽出方法は抽出対象画像を記憶した画像抽出装置において入力画像から抽出対象画像を抽出する方法であって、入力画像の入力を受付ける入力ステップと、抽出対象画像を複数の異なる倍率で変換することで、抽出対象画像を異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換ステップと、入力画像に抽出対象画像を抽出するための領域である探索領域を設定する設定ステップと、変換ステップで変換された画像群の内の１の画像と入力画像との２つの画像を用いて、変換ステップで変換された抽出対象画像と入力画像に対して設定された探索領域との比較を行なうことで、探索領域から抽出対象画像を抽出する抽出ステップとを備える。抽出ステップでは、画像群の内の画像ごとに、倍率の大きさに従った順で前記比較を行ない、設定ステップでは、抽出ステップで、画像群の内の倍率の大きさに従った次の倍率の画像を用いて次の比較を行なう際に、次の比較に用いられる変換ステップで変換された入力画像に対して、その直前までのそれぞれ比較において抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、次の比較における探索領域として設定する。
【００１２】
好ましくは、抽出ステップでは、画像群の中から、上記２つの画像のうちの入力画像に対応する画像の面積に対して、上記２つの画像のうちの抽出対象画像に対応する画像の面積の割合が最も大きい画像より、その割合が小さくなる順となるように倍率で変換された画像を順に選択して比較を行なう。
好ましくは、画像抽出方法は、抽出ステップで抽出された、入力画像中の抽出対象画像の位置と、抽出ステップで抽出対象画像が抽出された際の比較に用いた変換ステップで変換された画像群の内の１の画像の倍率とを抽出の結果として出力するステップをさらに備える。
【００１３】
また本発明の他の局面に従うと、画像抽出プログラムは抽出対象画像を記憶した画像抽出装置に、入力画像から抽出対象画像を抽出する処理を実行させるためのプログラムであって、入力画像の入力を受付ける入力ステップと、入力画像を複数の異なる倍率で変換することで、入力画像を異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換ステップと、入力画像に抽出対象画像を抽出するための領域である探索領域を設定する設定ステップと、変換ステップで変換された画像群の内の１の画像と抽出対象画像との２つの画像を用いて、抽出対象画像と変換ステップで変換された入力画像に対して設定された探索領域との比較を行なうことで、探索領域から抽出対象画像を抽出する抽出ステップとを前記画像抽出装置に実行させる。抽出ステップでは、画像群の内の画像ごとに、倍率の大きさに従った順で前記比較を行ない、設定ステップでは、抽出ステップで、画像群の内の倍率の大きさに従った次の倍率の画像を用いて次の比較を行なう際に、次の比較に用いられる変換ステップで変換された入力画像に対して、その直前までのそれぞれ比較において抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、次の比較における探索領域として設定する。
好ましくは、設定ステップでは、次の比較の直前までのそれぞれ比較において抽出対象画像が抽出された領域を、それぞれの比較に用いた入力画像の倍率と次の比較に用いられる入力画像の倍率との比率に基づいて変換して非探索領域とし、次の比較に用いられる変換手段で変換された入力画像から非探索領域を除いた領域を、次の比較における探索領域として設定する。
また本発明の他の局面に従うと、画像抽出プログラムは抽出対象画像を記憶した画像抽出装置に、入力画像から抽出対象画像を抽出する処理を実行させるためのプログラムであって、入力画像の入力を受付ける入力ステップと、抽出対象画像を複数の異なる倍率で変換することで、抽出対象画像を異なる倍率でそれぞれ変換された複数の画像からなる画像群に変換する変換ステップと、入力画像に抽出対象画像を抽出するための領域である探索領域を設定する設定ステップと、変換ステップで変換された画像群の内の１の画像と入力画像との２つの画像を用いて、変換ステップで変換された抽出対象画像と入力画像に対して設定された探索領域との比較を行なうことで、探索領域から抽出対象画像を抽出する抽出ステップとを画像抽出装置に実行させる。抽出ステップでは、画像群の内の画像ごとに、倍率の大きさに従った順で比較を行ない、設定ステップでは、抽出ステップで、画像群の内の倍率の大きさに従った次の倍率の画像を用いて次の比較を行なう際に、次の比較に用いられる変換ステップで変換された入力画像に対して、その直前までのそれぞれ比較において抽出対象画像が抽出された領域に対応したそれぞれの領域を非探索領域として除いた領域を、次の比較における探索領域として設定する。
【００１４】
好ましくは、抽出ステップでは、画像群の中から、上記２つの画像のうちの入力画像に対応する画像の面積に対して、上記２つの画像のうちの抽出対象画像に対応する画像の面積の割合が最も大きい画像より、その割合が小さくなる順となるように倍率で変換された画像を順に選択して比較を行なう。
好ましくは、画像抽出プログラムは、抽出ステップで抽出された、入力画像中の抽出対象画像の位置と、抽出ステップで抽出対象画像が抽出された際の比較に用いた変換ステップで変換された画像群の内の１の画像の倍率とを抽出の結果として出力するステップをさらに画像抽出装置に実行させる。
【００１５】
また本発明の他の局面に従うと、記録媒体は、上述の画像抽出プログラムを記録した、コンピュータ読取可能な記録媒体である。
【００１６】
【発明の実施の形態】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００１７】
図１は、本実施の形態における画像抽出装置の構成を示すブロック図である。
本実施の形態においては、図１に示される画像抽出装置を用いて、入力された画像から、顔画像を抽出する画像抽出処理を行なうものとして以下の説明を行なう。
【００１８】
図１を参照して、画像抽出装置は、画像入力部１０１と、参照画像記憶部１０２と、縮小画像生成部１０３と、画像メモリ１０４と、画像切出し部１０５と、画像比較処理部１０６と、探索領域設定部１０７と、探索領域記憶部１０８と、顔位置記憶部１０９と、顔位置調整出力部１１０とを含む。
【００１９】
画像入力部１０１は、画像の外部からの入力を行なう。
参照画像記憶部１０２は、顔であるか否かを判断するための参照画像を記憶する。参照画像記憶部１０２で記憶される参照画像は、１枚でもよいし、複数枚でもよい。
【００２０】
縮小画像生成部１０３は、画像入力部１０１より入力された画像を階層化し、画像メモリ１０４に記憶する処理を行なう。縮小画像生成部１０３において階層化された縮小画像については、後に詳細な説明を行なう。
【００２１】
画像メモリ１０４は、画像入力部１０１から入力された原画像と、縮小画像生成部１０３で階層化された縮小画像とを記憶する。
【００２２】
画像切出し部１０５は、画像入力部１０１から入力された原画像、または縮小画像生成部１０３で階層化された縮小画像から、画像比較処理部１０６で比較参照処理を行なうために、部分画像を切出す。
【００２３】
画像比較処理部１０６は、参照画像記憶部１０２に記憶された参照画像と、画像切出し部１０５で作成された部分画像とを比較し、画像切出し部１０５で作成された部分画像が顔であるか否かを判断し、顔を抽出する。
【００２４】
探索領域設定部１０７は、縮小画像生成部１０３において階層化された縮小画像に対して、画像比較処理部１０６で顔であるか否かを判断する探索領域を設定する。
【００２５】
探索領域記憶部１０８は、探索領域設定部１０７での探索領域の設定を記憶する。
【００２６】
顔位置記憶部１０９は、画像比較処理部１０６で抽出された顔の位置と、当該顔の抽出された階層の情報とを記憶する。
【００２７】
顔位置調整出力部１１０は、各階層で抽出された顔を、当該顔が抽出された階層に基づいて大きさを設定し、顔の大きさの設定と、抽出された顔の位置とを出力する。
【００２８】
図２に、図１に示される画像抽出装置で行なう画像抽出処理について、フローチャートを示す。
【００２９】
図２を参照して、画像入力部１０１より画像が入力されると（Ｓ１）、縮小画像生成部１０３において、階層化された縮小画像が作成される（Ｓ２）。ステップＳ１で入力された原画像と、ステップＳ２で縮小画像生成部１０３において作成された縮小画像とは、画像メモリ１０４に記憶される。以下の処理において、必要に応じて、画像メモリ１０４より読出される。
【００３０】
画像抽出装置では、ステップＳ２において作成された階層化された縮小画像のうち、顔の探索がなされていない最上位の階層の縮小画像があるか否かを判断する（Ｓ３）。
【００３１】
ステップＳ３において、顔の探索がなされていない、その時点での最上位の階層の縮小画像がある場合（Ｓ３でＹｅｓ）、その階層の縮小画像に探索領域が含まれているか否かを判断する（Ｓ４）。
【００３２】
抽出処理の開始時は、最上位の階層にある縮小画像から顔の探索が開始される。すなわち、最初の探索の階層である最上位の階層の縮小画像では、全ての領域が探索領域に設定されている。
【００３３】
ステップＳ４において、探索がなされていない最上位の階層の縮小画像に、探索領域が含まれている場合、画像切出し部１０５は、参照画像記憶部１０２に記憶されている参照画像の大きさにあわせて、縮小画像から部分画像を切出す（Ｓ５）。
【００３４】
ステップＳ５で切出された部分画像は、画像比較処理部１０６において、参照画像記憶部１０２に記憶されている参照画像と比較され（Ｓ６）、顔であるか否かが判断される（Ｓ７）。
【００３５】
ステップＳ７において、当該部分画像が顔領域であると判断された場合（Ｓ７でＹｅｓ）、判断された顔の位置と、抽出された階層の情報とが、顔位置記憶部１０９に記憶される（Ｓ８）。
【００３６】
探索を行なった部分画像が、属する縮小画像の探索領域の最後であるか否かが監視されており（Ｓ９）、当該階層の縮小画像に探索領域が残されているときは（Ｓ９でＹｅｓ）、探索を行なう領域を移動し（Ｓ１０）、他の部分画像に対してステップＳ４以降の処理を繰返す。
【００３７】
探索を行なった部分画像が、探索を行なう当該階層の縮小画像の探索領域の最後の部分画像であり、当該階層の縮小画像に探索領域が残されていないときは（Ｓ９でＮｏ）、探索領域設定部１０７は、当該階層での探索結果に基づいて、次層での探索領域を設定する（Ｓ１１）。また、ステップＳ１１で設定された探索領域は、探索領域記憶部１０８に記憶される。
【００３８】
画像抽出装置では、探索を行なう階層を次階層に移す（Ｓ１２）。次階層では、ステップＳ１１で設定された探索領域において、ステップＳ３以下に示される、画像抽出処理が繰返される。
【００３９】
以上の画像抽出処理は、縮小画像の最上位階層から最下位階層まで行なわれる。最下階層まで探索が行なわれ、探索すべき階層の縮小画像がなくなると、上述の画像抽出処理は終了される。
【００４０】
全階層の探索が終了すると（Ｓ３でＮｏ）、顔位置記憶部１０９に記憶された、抽出された顔の位置と、当該顔が抽出された階層の情報とに基づいて、顔位置調整出力部１１０では、抽出された顔の位置と大きさを示して抽出結果を出力する（Ｓ１３）。
【００４１】
さらに以下に具体例を挙げ、より詳細な説明を行なう。
図３に、画像ピラミッドの具体例を示す。図３に示される画像ピラミッドは、図２のステップＳ２において、縮小画像生成部１０３で作成され、画像メモリ１０４に記憶される。
【００４２】
縮小画像生成部１０３では、画像入力部１０１から入力された原画像に対して、適当な縮小比ｋで画像の縮小処理を行ない、原画像の階層化を行なう。図３に示される画像ピラミッドは、階層化された原画像を段階的に表わす。
【００４３】
縮小比ｋは、入力画像に対する縮小画像の縮小度合いを表わし、縮小比ｋが大きくなるに伴ない、縮小画像はより小さく縮小されるものとする。すなわち、縮小比ｋが大きくなるに伴ない、縮小画像の解像度は低くなる。
【００４４】
なお、縮小画像生成部１０３では、縮小処理において、画像のエイリアジング（アナログ信号を標本化する際の折返しエラー）を除去するために、フィルタリング処理が行なわれる。
【００４５】
また、抽出される顔領域が、画像全体に占める割合の最小値または最大値が既知の場合には、最上位階層または最下位階層の縮小率を上述の割合にあわせてもよい。すなわち、縮小画像生成部１０３においては、縮小処理にとらわれず、必要に応じて、入力画像の拡大処理が行なわれても構わない。したがって、図３において最下位階層は入力画像である原画像であると示されているが、上述の場合は入力画像でなく、拡大画像であっても、縮小画像であってもよい。
【００４６】
図２のステップＳ６において、画像比較処理部１０６は、図３に示される各階層の縮小画像から切出された部分画像を、参照画像記憶部１０２に記憶されている参照画像と比較することで、顔領域を探索する。
【００４７】
図４は、探索処理の具体例を示す図である。
図４では、入力画像が上段に、入力画像に対して縮小処理を行なった縮小画像が下段に示されている。また、図４では、（ａ）における縮小比ｋａが（ｂ）の縮小比ｋｂより大きいことが示されている。すなわち（ａ）に示される縮小画像の方が、（ｂ）に示される縮小画像よりも縮小率が大きい。
【００４８】
図２のステップＳ５において画像切出し部１０５は、縮小画像生成部１０３で縮小された縮小画像より、参照画像と同じ大きさの部分画像を切出す。部分画像は、入力画像の縦横にｎ画素ずつずらして、一定間隔毎に切出される。図４に示されるように、切出される間隔のｎ画素は、参照画像の大きさと等しいかまたはより小さく設定されることで、縮小画像の領域全体をもれなく探索することができる。
【００４９】
図４を参照して、図２のステップＳ６では、入力画像の端から探索が開始され、ステップＳ９およびＳ１０で、縦横にｎ画素毎ずらして切出された部分画像に沿って移動して探索が行なわれる。ステップＳ９およびＳ１０で移動して探索が行なわれることで、領域全体の探索が行なわれる。
【００５０】
図２のステップＳ６において行なわれる、参照画像と、切出された部分画像との比較および判定方法としては、例えばテンプレートマッチングやニューラルネットを用いた方法、またＳＶＭ（Support Vector Machine）などの手法が知られている。本発明においては、顔の比較判定方法について、上述の方法に限らずどのような方法を用いても構わないため、ここでの、比較判定方法についての具体的な説明は行なわない。
【００５１】
画像比較処理部１０６においては、参照画像と、部分画像とが比較されて顔領域であることが判断されるため、判断されるためには、縮小画像に含まれる顔の大きさが、参照画像と同じ大きさであることが必要である。したがって、顔の入力画像に占める面積が大きい場合には、図４の（ａ）に示されるように大きな縮小比ｋａにて縮小することで、顔の面積を参照画像と同じ大きさになるように縮小でき、参照画像との比較が可能になる。逆に、顔の入力画像に占める面積が小さい場合には、図４の（ｂ）に示されるように小さな縮小比ｋｂにて縮小する、または拡大することで、顔の面積を参照画像と同じ大きさになるように縮小または拡大でき、参照画像との比較が可能になる。
【００５２】
次に、図５は、探索領域設定処理の具体例を示す図である。図５の（ａ），（ｂ）および（ｃ）は、それぞれ、階層１，２および３の縮小画像を示す。また、階層１，２および３の縮小画像は、入力画像に対して、それぞれ縮小比ｋ１，ｋ２およびｋ３（ｋ１＞ｋ２＞ｋ３）にて縮小されているものとする。
【００５３】
図２のステップＳ３において、探索領域設定部１０７は、未探索階層を判断し、最上位階層から探索を開始するよう設定する。すなわち、当該階層の縮小画像中に占める参照画像の割合が最も大きい階層から探索が開始される。つまり、最も小さく縮小された、縮小比ｋが最も大きい階層の縮小画像から探索が開始される。
【００５４】
図５においては、上述の縮小比ｋの最も大きい階層の縮小画像は、（ａ）に示される階層１の縮小画像である。
【００５５】
図５（ａ）は、図２のステップＳ７において、参照画像と比較されて、領域１１が顔であると判断されたことを示している。
【００５６】
図２のステップＳ８において、顔位置記憶部１０９に、顔位置として図５（ａ）の領域１１と、階層の情報として階層１の縮小比ｋ１とが記憶される。顔層の情報は、縮小比ｋのみでなく、必要に応じて、その他の情報が記憶されてもよい。
【００５７】
引続いて図２のステップＳ１１では、探索領域設定部１０７は、ステップＳ８で記憶された顔位置と階層１の情報とに基づいて、次探索階層である階層２における探索領域を、図５（ｂ）に設定する。探索領域設定部１０７においては、前探索階層である階層１において顔であると判断された図５（ａ）の領域１１に対応する、図５（ｂ）の領域１２に対し、もはや顔は含まれないと判断される。したがって、次探索階層である階層２において、図５（ｂ）に斜線で示される領域１２を非探索領域として除かれた部分が、探索領域として設定される。また設定された探索領域は、探索領域記憶部１０８に記憶される。
【００５８】
さらに図２のステップＳ７において、画像比較処理部１０６で、参照画像と比較されて、図５（ｂ）の領域１３が顔であると判断される。さらに探索領域設定部１０７で、階層１での処理と同様に、次階層の設定が行なわれる。すなわち、探索領域設定部１０７は、図５（ｃ）に示される、次階層である階層３において、階層１の領域１１に対応する領域１２’および階層２の領域１３に対応する領域１４が非探索領域として除かれた部分を、探索領域に設定する。
【００５９】
図２のステップＳ６で画像比較処理部１０６において参照画像と部分画像とを比較する際、部分画像の領域の全てが、非探索領域である場合は、その部分画像と参照画像との比較は行なわれない。
【００６０】
上述のように、縮小比ｋの最も大きな最上位階層から探索処理を行なうことで、探索が次階層に移行する際に、第ｍ位階層の縮小画像の縮小比ｋｍと、第ｍ＋１位階層の縮小画像の縮小比ｋ（ｍ＋１）との比に応じて、非探索領域の大きさが拡大される。図３に示される画像ピラミッドの最下位階層になるまで、上述の探索を繰返すことで、下位階層に移行するほど非探索領域の大きさが拡大し、探索領域の大きさは縮小していく。したがって、最上位階層から最下位階層に向かって探索を行なうことで、参照画像との比較処理を実行する回数が少なくなり、未知の大きさの顔を効率よく抽出することができる。
【００６１】
なお、本実施の形態においては、入力された画像の中から、未知の大きさの顔を抽出する抽出方法について説明を行なったが、抽出対象は、顔に限定されず、その他の、未知の大きさの抽出対象を抽出することが考えられる。
【００６２】
また、本実施の形態においては、入力画像を縮小または拡大し、図３に示される画像ピラミッドを作成したが、入力画像の大きさは固定し、参照画像を縮小または拡大し、画像ピラミッドを作成してもよい。その場合、画像ピラミッドの最下位である、縮小比の小さい参照画像（一番大きい参照画像）から比較を行なうことで、上述の効率のよい顔の探索が実現される。
【００６３】
さらに、上述の画像抽出装置が行なう画像抽出方法を、プログラムとして提供することもできる。このようなプログラムは、コンピュータ読取り可能なプログラムである。
【００６４】
プログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ、ＲＯＭ、ＲＡＭおよびメモリカードなどの記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【００６５】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。
【００６６】
なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
【００６７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】  本実施の形態における画像抽出装置の構成を示すブロック図である。
【図２】  図１に示される画像抽出装置で行なう画像抽出処理を表わすフローチャートである。
【図３】  画像ピラミッドの具体例を示す図である。
【図４】  探索処理の具体例を示す図である。
【図５】  探索領域設定処理の具体例を示す図である。
【符号の説明】
１，２，３，ｍ  階層、１１，１２，１２’，１３，１４  非探索領域、１０１  画像入力部、１０２  参照画像記憶部、１０３  縮小画像生成部、１０４  画像メモリ、１０５  画像切出し部、１０６  画像比較処理部、１０７  探索領域設定部、１０８  探索領域記憶部、１０９  顔位置記憶部、１１０  顔位置調整出力部、ｋ，ｋａ，ｋｂ，ｋ１，ｋ２，ｋ３，ｋｍ，ｋ（ｍ＋１）  縮小比、ｎ  画素数。
【図１】
0004665355.tif 000002
【図２】
0004665355.tif 000003
【図３】
0004665355.tif 000004
【図４】
0004665355.tif 000005
【図５】
0004665355.tif 000006