(57)【要約】【課題】画像上の被写体の領域をより正確に特定できるようにする。【解決手段】被写体マップ生成部２１は、入力画像から、入力画像の各領域における、被写体の領域らしさを示す被写体マップを生成する。グラディエントマップ生成部２２は、被写体マップにおける被写体らしさの変化の度合いを示すグラディエントマップを生成する。閾値処理部２３および閾値処理部２４は、高い閾値ＴＨｈおよび低い閾値ＴＨｌを用いてグラディエントマップを２値化し、閾値マップとする。合成マップ生成部２５は、低い閾値ＴＨｌの閾値マップにより被写体らしいと特定された領域のうち、高い閾値ＴＨｈの閾値マップにより被写体らしいと特定された領域が含まれる領域が、被写体の領域であるとして、入力画像の各領域における被写体らしさを示す合成マップを生成する。本発明は、画像処理装置に適用することができる。【選択図】図１
2010266982.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から、前記入力画像上の被写体の領域が有する特徴の特徴量を抽出して、前記入力画像の各領域における前記被写体の領域らしさを示す被写体マップを生成する被写体マップ生成手段と、
第１の閾値を用いた閾値処理により前記被写体マップを２値化して、前記被写体が含まれる連結領域を特定するための第１の閾値マップを生成する第１の閾値処理手段と、
第２の閾値を用いた閾値処理により前記被写体マップを２値化して、前記第１の閾値マップにより特定される前記連結領域内の領域であって、前記被写体らしい領域を特定するための第２の閾値マップを生成する第２の閾値処理手段と、
前記第１の閾値マップにより特定された１または複数の前記連結領域のうち、前記第２の閾値マップにより前記被写体らしい領域であると特定された領域を含む前記連結領域が、前記被写体の領域であるとして、前記入力画像上の前記被写体の領域を特定するための合成マップを生成する合成マップ生成手段と
を備える画像処理装置。
【請求項２】
前記合成マップ生成手段は、前記第２の閾値マップにより前記被写体らしい領域であると特定された領域を含む前記連結領域のうち、予め定められた面積以上の前記連結領域が前記被写体の領域であるとして前記合成マップを生成する
請求項１に記載の画像処理装置。
【請求項３】
前記合成マップは、前記入力画像の領域ごとの、前記被写体の領域であるか否かを示す２値の情報が、前記入力画像の各領域に対応して並べられた情報とされ、
前記合成マップと前記被写体マップとの論理積を求め、その論理積の演算結果を第３の閾値を用いた閾値処理により２値化することで、前記入力画像上の前記被写体の領域を特定する被写体特定情報を生成する被写体特定情報生成手段をさらに備える
請求項１に記載の画像処理装置。
【請求項４】
前記被写体特定情報生成手段は、前記論理積の演算結果における、前記合成マップにより前記被写体の領域と特定された被写体領域と同じ領域ごとに、前記被写体マップに基づいて前記第３の閾値を求める
請求項３に記載の画像処理装置。
【請求項５】
前記被写体マップに基づいて、前記入力画像の各領域における、前記被写体マップにより示される前記被写体の領域らしさの変化の度合いを示すグラディエントマップを生成するグラディエントマップ生成手段をさらに備え、
前記第１の閾値処理手段および前記第２の閾値処理手段は、前記グラディエントマップに対して閾値処理を行って、前記第１の閾値マップおよび前記第２の閾値マップを生成する
請求項１に記載の画像処理装置。
【請求項６】
前記第１の閾値処理手段および前記第２の閾値処理手段は、前記グラディエントマップに基づいて、前記第１の閾値および前記第２の閾値を算出する
請求項５に記載の画像処理装置。
【請求項７】
入力画像から、前記入力画像上の被写体の領域が有する特徴の特徴量を抽出して、前記入力画像の各領域における前記被写体の領域らしさを示す被写体マップを生成する被写体マップ生成手段と、
第１の閾値を用いた閾値処理により前記被写体マップを２値化して、前記被写体が含まれる連結領域を特定するための第１の閾値マップを生成する第１の閾値処理手段と、
第２の閾値を用いた閾値処理により前記被写体マップを２値化して、前記第１の閾値マップにより特定される前記連結領域内の領域であって、前記被写体らしい領域を特定するための第２の閾値マップを生成する第２の閾値処理手段と、
前記第１の閾値マップにより特定された１または複数の前記連結領域のうち、前記第２の閾値マップにより前記被写体らしい領域であると特定された領域を含む前記連結領域が、前記被写体の領域であるとして、前記入力画像上の前記被写体の領域を特定するための合成マップを生成する合成マップ生成手段と
を備える画像処理装置の画像処理方法であって、
前記被写体マップ生成手段が、前記入力画像から前記被写体マップを生成し、
前記第１の閾値処理手段が、前記第１の閾値を用いた閾値処理により前記第１の閾値マップを生成し、
前記第２の閾値処理手段が、前記第２の閾値を用いた閾値処理により前記第２の閾値マップを生成し、
前記合成マップ生成手段が、前記第１の閾値マップおよび前記第２の閾値マップから前記合成マップを生成する
ステップを含む画像処理方法。
【請求項８】
入力画像から、前記入力画像上の被写体の領域が有する特徴の特徴量を抽出して、前記入力画像の各領域における前記被写体の領域らしさを示す被写体マップを生成し、
第１の閾値を用いた閾値処理により前記被写体マップを２値化して、前記被写体が含まれる連結領域を特定するための第１の閾値マップを生成し、
第２の閾値を用いた閾値処理により前記被写体マップを２値化して、前記第１の閾値マップにより特定される前記連結領域内の領域であって、前記被写体らしい領域を特定するための第２の閾値マップを生成し、
前記第１の閾値マップにより特定された１または複数の前記連結領域のうち、前記第２の閾値マップにより前記被写体らしい領域であると特定された領域を含む前記連結領域が、前記被写体の領域であるとして、前記入力画像上の前記被写体の領域を特定するための合成マップを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、画像上の被写体の領域をより正確に特定できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、画像上の被写体の領域を特定するための技術として、ビジュアルアテンションと呼ばれる技術が知られている（例えば、非特許文献１参照）。
【０００３】
ビジュアルアテンションでは、入力された入力画像から、輝度情報、色情報、エッジ情報が抽出され、それらの抽出された情報に基づいて求められた情報マップが足し合わされて、１つのSaliency Map（以下、被写体マップと呼ぶこととする）が生成される。
【０００４】
この被写体マップは、入力画像の各領域における被写体の領域らしさを示す情報である。つまり、被写体マップ上の画素の画素値は、その画素と同じ位置にある入力画像の画素（領域）の被写体の領域らしさを示している。したがって、被写体マップを用いれば、入力画像上のどの領域に被写体が含まれているかを特定することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Laurent Itti, Christof Koch, and Ernst Niebur, "A Model of Saliency-Based Visual Attention for Rapid Scene Analysis"
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した技術では、入力画像上の被写体の領域をより正確に特定することは困難であった。具体的には、被写体マップを用いて入力画像上の被写体の領域を特定する場合、被写体マップ上の画素のうち、予め定められた閾値以上の画素値を有する画素からなる領域が被写体の領域とされる。
【０００７】
そのため、閾値によっては、ノイズ等の要因により被写体でない領域まで被写体の領域であると誤検出されたり、本来、被写体の領域とされるべき領域が、被写体の領域とされなかったりすることがあった。すなわち、より正確に被写体の領域を特定するには、入力画像ごとに適切な閾値を定める必要があるが、適切な閾値を定めることは容易ではなかった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、画像上の被写体の領域をより正確に特定できるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の一側面の画像処理装置は、入力画像から、前記入力画像上の被写体の領域が有する特徴の特徴量を抽出して、前記入力画像の各領域における前記被写体の領域らしさを示す被写体マップを生成する被写体マップ生成手段と、第１の閾値を用いた閾値処理により前記被写体マップを２値化して、前記被写体が含まれる連結領域を特定するための第１の閾値マップを生成する第１の閾値処理手段と、第２の閾値を用いた閾値処理により前記被写体マップを２値化して、前記第１の閾値マップにより特定される前記連結領域内の領域であって、前記被写体らしい領域を特定するための第２の閾値マップを生成する第２の閾値処理手段と、前記第１の閾値マップにより特定された１または複数の前記連結領域のうち、前記第２の閾値マップにより前記被写体らしい領域であると特定された領域を含む前記連結領域が、前記被写体の領域であるとして、前記入力画像上の前記被写体の領域を特定するための合成マップを生成する合成マップ生成手段とを備える。
【００１０】
前記合成マップ生成手段には、前記第２の閾値マップにより前記被写体らしい領域であると特定された領域を含む前記連結領域のうち、予め定められた面積以上の前記連結領域が前記被写体の領域であるとして前記合成マップを生成させることができる。
【００１１】
前記合成マップは、前記入力画像の領域ごとの、前記被写体の領域であるか否かを示す２値の情報が、前記入力画像の各領域に対応して並べられた情報とされ、前記合成マップと前記被写体マップとの論理積を求め、その論理積の演算結果を第３の閾値を用いた閾値処理により２値化することで、前記入力画像上の前記被写体の領域を特定する被写体特定情報を生成する被写体特定情報生成手段をさらに設けることができる。
【００１２】
前記被写体特定情報生成手段には、前記論理積の演算結果における、前記合成マップにより前記被写体の領域と特定された被写体領域と同じ領域ごとに、前記被写体マップに基づいて前記第３の閾値を求めさせることができる。
【００１３】
画像処理装置には、前記被写体マップに基づいて、前記入力画像の各領域における、前記被写体マップにより示される前記被写体の領域らしさの変化の度合いを示すグラディエントマップを生成するグラディエントマップ生成手段をさらに設け、前記第１の閾値処理手段および前記第２の閾値処理手段には、前記グラディエントマップに対して閾値処理を行って、前記第１の閾値マップおよび前記第２の閾値マップを生成させることができる。
【００１４】
前記第１の閾値処理手段および前記第２の閾値処理手段には、前記グラディエントマップに基づいて、前記第１の閾値および前記第２の閾値を算出させることができる。
【００１５】
本発明の一側面の画像処理方法またはプログラムは、入力画像から、前記入力画像上の被写体の領域が有する特徴の特徴量を抽出して、前記入力画像の各領域における前記被写体の領域らしさを示す被写体マップを生成し、第１の閾値を用いた閾値処理により前記被写体マップを２値化して、前記被写体が含まれる連結領域を特定するための第１の閾値マップを生成し、第２の閾値を用いた閾値処理により前記被写体マップを２値化して、前記第１の閾値マップにより特定される前記連結領域内の領域であって、前記被写体らしい領域を特定するための第２の閾値マップを生成し、前記第１の閾値マップにより特定された１または複数の前記連結領域のうち、前記第２の閾値マップにより前記被写体らしい領域であると特定された領域を含む前記連結領域が、前記被写体の領域であるとして、前記入力画像上の前記被写体の領域を特定するための合成マップを生成するステップを含む。
【００１６】
本発明の一側面においては、入力画像から、前記入力画像上の被写体の領域が有する特徴の特徴量が抽出されて、前記入力画像の各領域における前記被写体の領域らしさを示す被写体マップが生成され、第１の閾値を用いた閾値処理により前記被写体マップが２値化されて、前記被写体が含まれる連結領域を特定するための第１の閾値マップが生成され、第２の閾値を用いた閾値処理により前記被写体マップが２値化されて、前記第１の閾値マップにより特定される前記連結領域内の領域であって、前記被写体らしい領域を特定するための第２の閾値マップが生成され、前記第１の閾値マップにより特定された１または複数の前記連結領域のうち、前記第２の閾値マップにより前記被写体らしい領域であると特定された領域を含む前記連結領域が、前記被写体の領域であるとして、前記入力画像上の前記被写体の領域を特定するための合成マップが生成される。
【発明の効果】
【００１７】
本発明の一側面によれば、画像上の被写体の領域をより正確に特定することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】被写体マップ生成部の構成例を示す図である。
【図３】輝度情報抽出部の構成例を示す図である。
【図４】色情報抽出部の構成例を示す図である。
【図５】エッジ情報抽出部の構成例を示す図である。
【図６】顔情報抽出部の構成例を示す図である。
【図７】動き情報抽出部の構成例を示す図である。
【図８】被写体枠表示処理を説明するフローチャートである。
【図９】被写体マップ生成処理を説明するフローチャートである。
【図１０】輝度情報抽出処理を説明するフローチャートである。
【図１１】色情報抽出処理を説明するフローチャートである。
【図１２】エッジ情報抽出処理を説明するフローチャートである。
【図１３】顔情報抽出処理を説明するフローチャートである。
【図１４】動き情報抽出処理を説明するフローチャートである。
【図１５】被写体領域抽出処理を説明するフローチャートである。
【図１６】グラディエントマップの生成について説明する図である。
【図１７】閾値の算出について説明する図である。
【図１８】合成マップの生成について説明する図である。
【図１９】２値化マップの生成について説明する図である。
【図２０】被写体領域情報の生成について説明する図である。
【図２１】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２０】
［画像処理装置の構成］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００２１】
画像処理装置１１は、例えば、カメラ等の撮像装置に搭載され、撮像された入力画像から被写体の領域を特定し、入力画像とともに被写体の領域を囲む枠を表示させる。なお、以下、入力画像上における被写体の領域を被写体領域とも呼ぶこととし、入力画像上に表示される被写体領域を囲む枠を被写体枠とも呼ぶこととする。
【００２２】
画像処理装置１１は、被写体マップ生成部２１、グラディエントマップ生成部２２、閾値処理部２３、閾値処理部２４、合成マップ生成部２５、２値化マップ生成部２６、矩形整形部２７、および表示制御部２８から構成される。画像処理装置１１では、撮像された入力画像が、被写体マップ生成部２１および表示制御部２８に供給される。
【００２３】
被写体マップ生成部２１は、供給された入力画像に基づいて、入力画像の各領域における、被写体の含まれる領域らしさを示す情報である被写体マップを生成し、グラディエントマップ生成部２２に供給する。ここで、被写体は、ユーザが入力画像を一瞥した場合に、ユーザが注目すると推定される入力画像上の物体、つまりユーザが目を向けると推定される物体とされる。したがって、被写体は必ずしも人に限られる訳ではない。
【００２４】
グラディエントマップ生成部２２は、被写体マップ生成部２１から供給された被写体マップから、被写体らしさのエッジ部分を抽出し、そのエッジの大きさ（エッジ強度）を示すグラディエントマップを生成する。ここで、被写体らしさのエッジ部分とは、被写体マップの被写体らしさを示す値、つまり被写体マップ上の画素の画素値が、急峻に変化する領域をいう。したがって、グラディエントマップの各画素の画素値は、被写体マップにおける画素値（被写体らしさを示す値）の変化の度合いを示している。
【００２５】
グラディエントマップ生成部２２は、生成したグラディエントマップを閾値処理部２３、閾値処理部２４、および２値化マップ生成部２６に供給する。
【００２６】
閾値処理部２３および閾値処理部２４は、グラディエントマップ生成部２２から供給されたグラディエントマップを用いて、グラディエントマップから、入力画像上の被写体らしい領域を抽出するために用いる閾値を求める。なお、閾値処理部２３および閾値処理部２４のそれぞれにおいては、互いに異なる閾値が求められる。
【００２７】
また、閾値処理部２３および閾値処理部２４は、求めた閾値を用いた閾値処理によりグラディエントマップを２値化して、入力画像における被写体を含む領域を示す閾値マップを生成し、生成した閾値マップを合成マップ生成部２５に供給する。ここで、閾値マップにおいて、入力画像上の被写体を含む領域であるとされる領域は、グラディエントマップの画素の画素値が閾値以上である領域である。
【００２８】
合成マップ生成部２５は、閾値処理部２３および閾値処理部２４から供給された閾値マップを用いて合成マップを生成して、２値化マップ生成部２６に供給する。
【００２９】
例えば、合成マップ生成部２５は、２つの閾値マップの何れかにおいて、被写体を含む領域であるとされた、互いに隣接する領域（画素）を連結して得られる１つの領域を連結領域とする。そして、合成マップ生成部２５は、連結領域のうち、２つの閾値マップにおいて、被写体を含む領域とされた領域を含む連結領域を示す情報を合成マップとする。
【００３０】
２値化マップ生成部２６は、グラディエントマップ生成部２２から供給されたグラディエントマップと、合成マップ生成部２５から供給された合成マップとを用いて、２値化マップを生成し、矩形整形部２７に供給する。ここで、２値化マップは、合成マップにより示される連結領域内の領域のうち、その領域に対応するグラディエントマップの画素の画素値が、所定の閾値以上である領域を示す情報である。
【００３１】
矩形整形部２７は、２値化マップ生成部２６から供給された２値化マップにより示される領域を含む矩形の領域を、被写体の含まれる被写体領域とし、その被写体領域を示す被写体領域情報を表示制御部２８に供給する。表示制御部２８は、供給された入力画像と、矩形整形部２７からの被写体領域情報とに基づいて図示せぬ表示部を制御し、表示部に被写体枠の表示された入力画像を表示させる。
【００３２】
また、図１の被写体マップ生成部２１は、より詳細には、図２に示すように構成される。
【００３３】
すなわち、被写体マップ生成部２１は、輝度情報抽出部５１、色情報抽出部５２、エッジ情報抽出部５３、顔情報抽出部５４、動き情報抽出部５５、およびマップ生成部５６から構成される。
【００３４】
輝度情報抽出部５１は、供給された入力画像に基づいて、入力画像の各領域における、輝度に関する情報を示す輝度情報マップを生成し、マップ生成部５６に供給する。色情報抽出部５２は、供給された入力画像に基づいて、入力画像の各領域における、色に関する情報を示す色情報マップを生成し、マップ生成部５６に供給する。
【００３５】
エッジ情報抽出部５３は、供給された入力画像に基づいて、入力画像の各領域における、エッジに関する情報を示すエッジ情報マップを生成し、マップ生成部５６に供給する。顔情報抽出部５４は、供給された入力画像に基づいて、入力画像の各領域における、被写体としての人の顔に関する情報を示す顔情報マップを生成し、マップ生成部５６に供給する。動き情報抽出部５５は、供給された入力画像に基づいて、入力画像の各領域における、動きに関する情報を示す動き情報マップを生成し、マップ生成部５６に供給する。
【００３６】
なお、以下、輝度情報抽出部５１乃至動き情報抽出部５５から出力される、輝度情報マップ乃至動き情報マップのそれぞれを個々に区別する必要のない場合、単に情報マップとも称する。これらの情報マップに含まれる情報は、被写体の含まれる領域により多く含まれる特徴の特徴量を示す情報とされ、その情報が入力画像の各領域に対応させて並べられたものが情報マップとされる。
【００３７】
つまり、輝度情報抽出部５１乃至動き情報抽出部５５は、入力画像から、被写体の領域がより多く有する特徴の特徴量を抽出して、入力画像の各領域における特徴量を示す情報である情報マップを生成する。したがって、各情報マップにおける、より情報量の多い領域、すなわち特徴量の多い領域に対応する入力画像上の領域は、より被写体が含まれる可能性の高い領域となり、各情報マップにより入力画像における被写体の含まれる領域を特定することができる。
【００３８】
マップ生成部５６は、輝度情報抽出部５１乃至動き情報抽出部５５から供給された輝度情報マップ、色情報マップ、エッジ情報マップ、顔情報マップ、および動き情報マップを線形結合し、被写体マップを生成する。すなわち、輝度情報マップ乃至動き情報マップの各領域の情報（特徴量）が、同じ位置にある領域ごとに重み付き加算されて被写体マップが生成される。マップ生成部５６は、生成した被写体マップをグラディエントマップ生成部２２に供給する。
【００３９】
次に、図３乃至図７を参照して、図２の輝度情報抽出部５１乃至動き情報抽出部５５のより詳細な構成について説明する。
【００４０】
図３は、輝度情報抽出部５１のより詳細な構成例を示す図である。
【００４１】
輝度情報抽出部５１は、輝度画像生成部８１、ピラミッド画像生成部８２、差分算出部８３、および輝度情報マップ生成部８４から構成される。
【００４２】
輝度画像生成部８１は、供給された入力画像を用いて、入力画像の画素の輝度値を、画素の画素値とする輝度画像を生成し、ピラミッド画像生成部８２に供給する。ここで、輝度画像の任意の画素の画素値は、その画素と同じ位置にある入力画像の画素の輝度値を示している。
【００４３】
ピラミッド画像生成部８２は、輝度画像生成部８１から供給された輝度画像を用いて、互いに解像度の異なる複数の輝度画像を生成し、それらの輝度画像を輝度のピラミッド画像として差分算出部８３に供給する。
【００４４】
例えば、レベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像が生成され、レベルＬ１のピラミッド画像が最も解像度が高く、レベルＬ１からレベルＬ８まで順番にピラミッド画像の解像度が低くなるものとする。
【００４５】
この場合、輝度画像生成部８１により生成された輝度画像が、レベルＬ１のピラミッド画像とされる。また、レベルＬｉ（但し、１≦ｉ≦７）のピラミッド画像における、互いに隣接する４つの画素の画素値の平均値が、それらの画素と対応するレベルＬ（ｉ＋１）のピラミッド画像の１つの画素の画素値とされる。したがって、レベルＬ（ｉ＋１）のピラミッド画像は、レベルＬｉのピラミッド画像に対して縦横半分（割り切れない場合は切り捨て）の画像となる。
【００４６】
差分算出部８３は、ピラミッド画像生成部８２から供給された複数のピラミッド画像のうち、互いに階層の異なる２つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めて輝度の差分画像を生成する。なお、各階層のピラミッド画像は、それぞれ大きさ（画素数）が異なるので、差分画像の生成時には、より小さい方のピラミッド画像が、より大きいピラミッド画像に合わせてアップコンバートされる。
【００４７】
差分算出部８３は、予め定められた数だけ輝度の差分画像を生成すると、生成したそれらの差分画像を正規化し、輝度情報マップ生成部８４に供給する。輝度情報マップ生成部８４は、差分算出部８３から供給された差分画像に基づいて輝度情報マップを生成し、マップ生成部５６に供給する。
【００４８】
図４は、図２の色情報抽出部５２のより詳細な構成例を示す図である。
【００４９】
色情報抽出部５２は、ＲＧ差分画像生成部１１１、ＢＹ差分画像生成部１１２、ピラミッド画像生成部１１３、ピラミッド画像生成部１１４、差分算出部１１５、差分算出部１１６、色情報マップ生成部１１７、および色情報マップ生成部１１８から構成される。
【００５０】
ＲＧ差分画像生成部１１１は、供給された入力画像を用いて、入力画像の画素のＲ（赤）成分とＧ（緑）成分との差分を、画素の画素値とするＲＧ差分画像を生成し、ピラミッド画像生成部１１３に供給する。ＲＧ差分画像の任意の画素の画素値は、その画素と同じ位置にある入力画像の画素のＲの成分と、Ｇの成分との差分の値を示している。
【００５１】
ＢＹ差分画像生成部１１２は、供給された入力画像を用いて、入力画像の画素のＢ（青）成分とＹ（黄）成分との差分を、画素の画素値とするＢＹ差分画像を生成し、ピラミッド画像生成部１１４に供給する。ＢＹ差分画像の任意の画素の画素値は、その画素と同じ位置にある入力画像の画素のＢ（青）成分と、Ｙ（黄）成分との差分の値を示している。
【００５２】
ピラミッド画像生成部１１３およびピラミッド画像生成部１１４は、ＲＧ差分画像生成部１１１およびＢＹ差分画像生成部１１２から供給されたＲＧ差分画像およびＢＹ差分画像を用いて、互いに解像度の異なる複数のＲＧ差分画像およびＢＹ差分画像を生成する。
そして、ピラミッド画像生成部１１３およびピラミッド画像生成部１１４は、生成したそれらのＲＧ差分画像およびＢＹ差分画像を、ＲＧの差分のピラミッド画像、およびＢＹの差分のピラミッド画像として差分算出部１１５および差分算出部１１６に供給する。
【００５３】
例えば、ＲＧの差分のピラミッド画像、およびＢＹの差分のピラミッド画像として、輝度のピラミッド画像の場合と同様に、それぞれレベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像が生成される。
【００５４】
差分算出部１１５および差分算出部１１６は、ピラミッド画像生成部１１３およびピラミッド画像生成部１１４から供給された複数のピラミッド画像のうち、互いに階層の異なる２つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めてＲＧの差分の差分画像、およびＢＹの差分の差分画像を生成する。なお、各階層のピラミッド画像は、それぞれ大きさが異なるので、差分画像の生成時には、より小さい方のピラミッド画像がアップコンバートされて、より大きい方のピラミッド画像と同じ大きさとされる。
【００５５】
差分算出部１１５および差分算出部１１６は、予め定められた数だけＲＧの差分の差分画像、およびＢＹの差分の差分画像を生成すると、生成したそれらの差分画像を正規化し、色情報マップ生成部１１７および色情報マップ生成部１１８に供給する。色情報マップ生成部１１７および色情報マップ生成部１１８は、差分算出部１１５および差分算出部１１６から供給された差分画像に基づいて色情報マップを生成し、マップ生成部５６に供給する。色情報マップ生成部１１７ではＲＧの差分の色情報マップが生成され、色情報マップ生成部１１８ではＢＹの差分の色情報マップが生成される。
【００５６】
図５は、図２のエッジ情報抽出部５３のより詳細な構成例を示す図である。
【００５７】
エッジ情報抽出部５３は、エッジ画像生成部１４１乃至エッジ画像生成部１４４、ピラミッド画像生成部１４５乃至ピラミッド画像生成部１４８、差分算出部１４９乃至差分算出部１５２、およびエッジ情報マップ生成部１５３乃至エッジ情報マップ生成部１５６から構成される。
【００５８】
エッジ画像生成部１４１乃至エッジ画像生成部１４４は、供給された入力画像に対して、ガボアフィルタを用いたフィルタ処理を施し、例えば０度、４５度、９０度、および１３５度の方向のエッジ強度を画素の画素値とするエッジ画像を生成し、ピラミッド画像生成部１４５乃至ピラミッド画像生成部１４８に供給する。
【００５９】
例えば、エッジ画像生成部１４１により生成されるエッジ画像の任意の画素の画素値は、その画素と同じ位置にある入力画像の画素における０度の方向のエッジ強度を示している。なお、各エッジの方向とは、ガボアフィルタを構成するガボア関数における角度成分により示される方向をいう。
【００６０】
ピラミッド画像生成部１４５乃至ピラミッド画像生成部１４８は、エッジ画像生成部１４１乃至エッジ画像生成部１４４から供給された各方向のエッジ画像を用いて、互いに解像度の異なる複数のエッジ画像を生成する。そして、ピラミッド画像生成部１４５乃至ピラミッド画像生成部１４８は、生成したそれらの各方向のエッジ画像を、エッジの各方向のピラミッド画像として差分算出部１４９乃至差分算出部１５２に供給する。
【００６１】
例えば、エッジの各方向のピラミッド画像として、輝度のピラミッド画像の場合と同様に、それぞれレベルＬ１乃至レベルＬ８までの８つの階層のピラミッド画像が生成される。
【００６２】
差分算出部１４９乃至差分算出部１５２は、ピラミッド画像生成部１４５乃至ピラミッド画像生成部１４８から供給された、複数のピラミッド画像のうち、互いに階層の異なる２つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めてエッジの各方向の差分画像を生成する。なお、各階層のピラミッド画像は、それぞれ大きさが異なるので、差分画像の生成時には、より小さい方のピラミッド画像がアップコンバートされる。
【００６３】
差分算出部１４９乃至差分算出部１５２は、予め定められた数だけエッジの各方向の差分画像を生成すると、生成したそれらの差分画像を正規化し、エッジ情報マップ生成部１５３乃至エッジ情報マップ生成部１５６に供給する。エッジ情報マップ生成部１５３乃至エッジ情報マップ生成部１５６は、差分算出部１４９乃至差分算出部１５２から供給された差分画像に基づいて、各方向のエッジ情報マップを生成し、マップ生成部５６に供給する。
【００６４】
図６は、図２の顔情報抽出部５４のより詳細な構成例を示す図である。
【００６５】
顔情報抽出部５４は、顔検出部１８１および顔情報マップ生成部１８２から構成される。
【００６６】
顔検出部１８１は、供給された入力画像から被写体としての人の顔の領域を検出し、その検出結果を顔情報マップ生成部１８２に供給する。顔情報マップ生成部１８２は、顔検出部１８１からの検出結果に基づいて顔情報マップを生成し、マップ生成部５６に供給する。
【００６７】
図７は、図２の動き情報抽出部５５のより詳細な構成例を示す図である。
【００６８】
動き情報抽出部５５は、ローカルモーションベクタ抽出部２１１、グローバルモーションベクタ抽出部２１２、差分算出部２１３、および動き情報マップ生成部２１４から構成される。
【００６９】
ローカルモーションベクタ抽出部２１１は、供給された入力画像と、その入力画像とは撮像時刻の異なる他の入力画像とを用いて、入力画像の各画素の動きベクトルをローカルモーションベクタとして検出し、差分算出部２１３に供給する。グローバルモーションベクタ抽出部２１２は、供給された入力画像と、その入力画像とは撮像時刻の異なる他の入力画像とを用いて、入力画像の各画素の動きベクトルを求め、さらに例えば、それらの各画素の動きベクトルの平均値をグローバルモーションベクタとし、差分算出部２１３に供給する。このグローバルモーションベクタは、入力画像全体の動きの方向を示している。
【００７０】
差分算出部２１３は、ローカルモーションベクタ抽出部２１１からのローカルモーションベクタと、グローバルモーションベクタ抽出部２１２からのグローバルモーションベクタとの差分の絶対値を求めて動きの差分画像を生成し、動き情報マップ生成部２１４に供給する。ここで、動きの差分画像における任意の画素の画素値は、その画素と同じ位置にある入力画像の画素のローカルモーションベクタと、入力画像全体のグローバルモーションベクタとの差分の絶対値を示している。したがって、動きの差分画像の画素の画素値は、入力画像の画素に表示される物体（または背景）の入力画像全体に対する、つまり背景に対する相対的な動き量を示している。
【００７１】
動き情報マップ生成部２１４は、差分算出部２１３からの動きの差分画像に基づいて動き情報マップを生成し、マップ生成部５６に供給する。なお、より詳細には、動き情報マップの生成は、入力画像として、時間的に連続して撮像されたものが供給された場合、例えば、入力画像が連写されたものや、動画像である場合に行われる。
【００７２】
［画像処理装置の動作］
ところで、画像処理装置１１に入力画像が供給されると、画像処理装置１１は、入力画像の被写体領域を特定して、入力画像上に被写体枠を表示させる被写体枠表示処理を開始する。以下、図８のフローチャートを参照して、画像処理装置１１による被写体枠表示処理について説明する。
【００７３】
ステップＳ１１において、被写体マップ生成部２１は、被写体マップ生成処理を行って、供給された入力画像から被写体マップを生成する。また、ステップＳ１２において、画像処理装置１１は、被写体領域抽出処理を行って、生成された被写体マップから被写体領域を特定する。被写体領域が特定されると、矩形整形部２７は、その被写体領域を示す被写体領域情報を表示制御部２８に供給する。
【００７４】
なお、被写体マップ生成処理および被写体領域抽出処理の詳細は後述する。
【００７５】
ステップＳ１３において、表示制御部２８は、供給された入力画像と、矩形整形部２７からの被写体領域情報とに基づいて、入力画像上に被写体枠を表示させ、被写体枠表示処理は終了する。すなわち、表示制御部２８は、図示せぬ表示部に入力画像を供給して表示させ、さらに被写体領域情報に基づいて、入力画像上に被写体枠を表示させる。
【００７６】
このようにして、画像処理装置１１は、入力画像から被写体マップを生成し、さらに被写体マップから被写体領域を特定して、入力画像上に被写体枠を表示させる。
【００７７】
次に、図９のフローチャートを参照して、図８のステップＳ１１の処理に対応する被写体マップ生成処理について説明する。
【００７８】
ステップＳ４１において、輝度情報抽出部５１は、輝度情報抽出処理を行って、供給された入力画像に基づいて輝度情報マップを生成し、マップ生成部５６に供給する。そして、ステップＳ４２において、色情報抽出部５２は、色情報抽出処理を行って、供給された入力画像に基づいて色情報マップを生成し、マップ生成部５６に供給する。
【００７９】
ステップＳ４３において、エッジ情報抽出部５３は、エッジ情報抽出処理を行って、供給された入力画像に基づいてエッジ情報マップを生成し、マップ生成部５６に供給する。また、ステップＳ４４において、顔情報抽出部５４は、顔情報抽出処理を行って、供給された入力画像に基づいて顔情報マップを生成し、マップ生成部５６に供給する。さらに、ステップＳ４５において、動き情報抽出部５５は、動き情報抽出処理を行って、供給された入力画像に基づいて動き情報マップを生成し、マップ生成部５６に供給する。
【００８０】
なお、これらの輝度情報抽出処理、色情報抽出処理、エッジ情報抽出処理、顔情報抽出処理、および動き情報抽出処理の詳細は後述する。また、より詳細には、動き情報抽出処理は、時間的に連続して撮像された入力画像が、被写体マップ生成部２１に供給されなかった場合には行われない。
【００８１】
ステップＳ４６において、マップ生成部５６は、輝度情報抽出部５１乃至動き情報抽出部５５から供給された輝度情報マップ乃至動き情報マップを用いて、被写体マップを生成し、グラディエントマップ生成部２２に供給する。
【００８２】
例えば、マップ生成部５６は、情報マップごとに予め求められている重みである、情報重みＷｂを用いて各情報マップを線形結合し、さらに、その結果得られたマップの画素値に、予め求められた重みである、被写体重みＷｃを乗算して正規化し、被写体マップとする。
【００８３】
つまり、これから求めようとする被写体マップ上の注目する画素を注目画素とすると、各情報マップの注目画素と同じ位置の画素の画素値に、情報マップごとの情報重みＷｂが乗算され、情報重みＷｂの乗算された画素値の総和が、注目画素の画素値とされる。さらに、このようにして求められた被写体マップの各画素の画素値に、被写体マップに対して予め求められた被写体重みＷｃが乗算されて正規化され、最終的な被写体マップとされる。
【００８４】
なお、より詳細には、色情報マップとして、ＲＧの差分の色情報マップと、ＢＹの差分の色情報マップとが用いられ、エッジ情報マップとして、０度、４５度、９０度、１３５度のそれぞれの方向のエッジ情報マップが用いられて、被写体マップが生成される。また、被写体重みＷｃは予め学習により求められており、正規化は、被写体マップの各画素の画素値が、０から１までの間の値となるようになされる。
【００８５】
このようにして被写体マップが生成されると、被写体マップ生成処理は終了し、その後処理は図８のステップＳ１２に進む。
【００８６】
以上のように、被写体マップ生成部２１は、供給された入力画像から各特徴の特徴量を抽出し、情報マップを生成する。そして、被写体マップ生成部２１は、生成した各情報マップから被写体マップを生成する。
【００８７】
次に、図１０乃至図１４のフローチャートを参照して、図９のステップＳ４１乃至ステップＳ４５の処理のそれぞれに対応する処理について説明する。
【００８８】
まず、図１０のフローチャートを参照して、図９のステップＳ４１の処理に対応する輝度情報抽出処理について説明する。
【００８９】
ステップＳ７１において、輝度画像生成部８１は、供給された入力画像を用いて輝度画像を生成し、ピラミッド画像生成部８２に供給する。例えば、輝度画像生成部８１は、入力画像の画素のＲ、Ｇ、およびＢの各成分の値に、成分ごとに予め定められた係数を乗算し、係数の乗算された各成分の値の和を、入力画像の画素と同じ位置にある輝度画像の画素の画素値とする。つまり、輝度成分（Ｙ）および色差成分（Ｃｂ，Ｃｒ）からなるコンポーネント信号の輝度成分が求められる。なお、画素のＲ、Ｇ、およびＢの各成分の値の平均値が、輝度画像の画素の画素値とされてもよい。
【００９０】
ステップＳ７２において、ピラミッド画像生成部８２は、輝度画像生成部８１から供給された輝度画像に基づいて、レベルＬ１乃至レベルＬ８の各階層のピラミッド画像を生成し、差分算出部８３に供給する。
【００９１】
ステップＳ７３において、差分算出部８３は、ピラミッド画像生成部８２から供給されたピラミッド画像を用いて差分画像を生成して正規化し、輝度情報マップ生成部８４に供給する。正規化は、差分画像の画素の画素値が、例えば０乃至２５５の間の値となるように行われる。
【００９２】
具体的には、差分算出部８３は、各階層の輝度のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計５つの輝度の差分画像が得られる。
【００９３】
例えば、レベルＬ６およびレベルＬ３の組み合わせの差分画像が生成される場合、レベルＬ６のピラミッド画像が、レベルＬ３のピラミッド画像の大きさに合わせてアップコンバートされる。つまり、アップコンバート前のレベルＬ６のピラミッド画像の１つの画素の画素値が、その画素に対応する、アップコンバート後のレベルＬ６のピラミッド画像の互いに隣接するいくつかの画素の画素値とされる。そして、レベルＬ６のピラミッド画像の画素の画素値と、その画素と同じ位置にあるレベルＬ３のピラミッド画像の画素の画素値との差分が求められ、その差分が差分画像の画素の画素値とされる。
【００９４】
これらの差分画像を生成する処理は、輝度画像にバンドパスフィルタを用いたフィルタ処理を施して、輝度画像から所定の周波数成分を抽出することと等価である。このようにして得られた差分画像の画素の画素値は、各レベルのピラミッド画像の輝度値の差、つまり入力画像における所定の画素における輝度と、その画素の周囲の平均的な輝度との差分を示している。
【００９５】
一般的に、画像において周囲との輝度の差分の大きい領域は、その画像を見る人の目を引く領域であるので、その領域は被写体の領域である可能性が高い。したがって、各差分画像において、より画素値の大きい画素が、より被写体の領域である可能性の高い領域であることを示しているということができる。
【００９６】
ステップＳ７４において、輝度情報マップ生成部８４は、差分算出部８３から供給された差分画像に基づいて輝度情報マップを生成し、マップ生成部５６に供給する。輝度情報マップが輝度情報マップ生成部８４からマップ生成部５６に供給されると、輝度情報抽出処理は終了し、処理は図９のステップＳ４２に進む。
【００９７】
例えば、輝度情報マップ生成部８４は、供給された５つの差分画像を、予め求められた差分画像ごとの重みである差分重みＷａにより重み付き加算し、１つの画像を求める。すなわち、各差分画像の同じ位置にある画素の画素値のそれぞれに差分重みＷａが乗算されて、差分重みＷａが乗算された画素値の総和が求められる。
【００９８】
なお、輝度情報マップの生成時において、各差分画像が同じ大きさとなるように、差分画像のアップコンバートが行われる。
【００９９】
このようにして、輝度情報抽出部５１は、入力画像から輝度画像を求め、その輝度画像から輝度情報マップを生成する。このようにして得られた輝度情報マップによれば、入力画像において、輝度の差の大きい領域、つまり入力画像を一瞥した観察者の目に付きやすい領域を簡単に検出することができる。
【０１００】
次に、図１１のフローチャートを参照して、図９のステップＳ４２の処理に対応する色情報抽出処理について説明する。
【０１０１】
ステップＳ１０１において、ＲＧ差分画像生成部１１１は、供給された入力画像を用いて、ＲＧ差分画像を生成し、ピラミッド画像生成部１１３に供給する。
【０１０２】
ステップＳ１０２において、ＢＹ差分画像生成部１１２は、供給された入力画像を用いてＢＹ差分画像を生成し、ピラミッド画像生成部１１４に供給する。
【０１０３】
ステップＳ１０３において、ピラミッド画像生成部１１３およびピラミッド画像生成部１１４は、ＲＧ差分画像生成部１１１からのＲＧ差分画像、およびＢＹ差分画像生成部１１２からのＢＹ差分画像を用いて、ピラミッド画像を生成する。
【０１０４】
例えば、ピラミッド画像生成部１１３は、解像度の異なる複数のＲＧ差分画像を生成することにより、レベルＬ１乃至レベルＬ８の各階層のピラミッド画像を生成し、差分算出部１１５に供給する。同様に、ピラミッド画像生成部１１４は、解像度の異なる複数のＢＹ差分画像を生成することにより、レベルＬ１乃至レベルＬ８の各階層のピラミッド画像を生成し、差分算出部１１６に供給する。
【０１０５】
ステップＳ１０４において、差分算出部１１５および差分算出部１１６は、ピラミッド画像生成部１１３およびピラミッド画像生成部１１４から供給されたピラミッド画像に基づいて差分画像を生成して正規化し、色情報マップ生成部１１７および色情報マップ生成部１１８に供給する。差分画像の正規化では、例えば、画素の画素値が０乃至２５５の間の値となるようにされる。
【０１０６】
例えば、差分算出部１１５は、各階層のＲＧの差分のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計５つのＲＧの差分の差分画像が得られる。
【０１０７】
同様に、差分算出部１１６は、各階層のＢＹの差分のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計５つのＢＹの差分の差分画像が得られる。
【０１０８】
これらの差分画像を生成する処理は、ＲＧ差分画像またはＢＹ差分画像にバンドパスフィルタを用いたフィルタ処理を施して、ＲＧ差分画像またはＢＹ差分画像から所定の周波数成分を抽出することと等価である。このようにして得られた差分画像の画素の画素値は、各レベルのピラミッド画像の特定の色成分の差、つまり入力画像の画素における特定の色の成分と、その画素の周囲の平均的な特定の色の成分との差分を示している。
【０１０９】
一般的に、画像において周囲と比べて目立つ色の領域、つまり特定の色成分の周囲との差分の大きい領域は、その画像を見る人の目を引く領域であるので、その領域は被写体の領域である可能性が高い。したがって、各差分画像において、より画素値の大きい画素が、より被写体の領域である可能性の高い領域であることを示しているということができる。
【０１１０】
ステップＳ１０５において、色情報マップ生成部１１７および色情報マップ生成部１１８は、差分算出部１１５からの差分画像、および差分算出部１１６からの差分画像を用いて色情報マップを生成し、マップ生成部５６に供給する。
【０１１１】
例えば、色情報マップ生成部１１７は、差分算出部１１５から供給されたＲＧの差分の差分画像を、予め求められた差分画像ごとの差分重みＷａにより重み付き加算して、１つのＲＧの差分の色情報マップとする。
【０１１２】
同様に、色情報マップ生成部１１８は、差分算出部１１６から供給されたＢＹの差分の差分画像を、予め求められた差分重みＷａにより重み付き加算して、１つのＢＹの差分の色情報マップとする。なお、色情報マップの生成時において、各差分画像が同じ大きさとなるように、差分画像のアップコンバートが行われる。
【０１１３】
色情報マップ生成部１１７および色情報マップ生成部１１８が、このようにして得られたＲＧの差分の色情報マップ、およびＢＹの差分の色情報マップをマップ生成部５６に供給すると、色情報抽出処理は終了し、処理は図９のステップＳ４３に進む。
【０１１４】
このようにして、色情報抽出部５２は、入力画像から特定の色の成分の差分の画像を求め、その画像から色情報マップを生成する。このようにして得られた色情報マップによれば、入力画像において、特定の色成分の差の大きい領域、つまり入力画像を一瞥した観察者の目に付きやすい領域を簡単に検出することができる。
【０１１５】
なお、色情報抽出部５２では、入力画像から抽出される色の情報として、Ｒ（赤）の成分と、Ｇ（緑）の成分の差分、およびＢ（青）の成分と、Ｙ（黄）の成分との差分が抽出されると説明したが、色差成分Ｃｒと色差成分Ｃｂなどが抽出されるようにしてもよい。ここで、色差成分Ｃｒは、Ｒ成分と輝度成分との差分であり、色差成分Ｃｂは、Ｂ成分と輝度成分との差分である。
【０１１６】
図１２は、図９のステップＳ４３の処理に対応するエッジ情報抽出処理を説明するフローチャートである。以下、このエッジ情報抽出処理について説明する。
【０１１７】
ステップＳ１３１において、エッジ画像生成部１４１乃至エッジ画像生成部１４４は、供給された入力画像に対して、ガボアフィルタを用いたフィルタ処理を施し、０度、４５度、９０度、および１３５度の方向のエッジ強度を画素の画素値とするエッジ画像を生成する。そして、エッジ画像生成部１４１乃至エッジ画像生成部１４４は、生成されたエッジ画像をピラミッド画像生成部１４５乃至ピラミッド画像生成部１４８に供給する。
【０１１８】
ステップＳ１３２において、ピラミッド画像生成部１４５乃至ピラミッド画像生成部１４８は、エッジ画像生成部１４１乃至エッジ画像生成部１４４からのエッジ画像を用いて、ピラミッド画像を生成し、差分算出部１４９乃至差分算出部１５２に供給する。
【０１１９】
例えば、ピラミッド画像生成部１４５は、解像度の異なる複数の０度方向のエッジ画像を生成することにより、レベルＬ１乃至レベルＬ８の各階層のピラミッド画像を生成し、差分算出部１４９に供給する。同様に、ピラミッド画像生成部１４６乃至ピラミッド画像生成部１４８は、レベルＬ１乃至レベルＬ８の各階層のピラミッド画像を生成して差分算出部１５０乃至差分算出部１５２に供給する。
【０１２０】
ステップＳ１３３において、差分算出部１４９乃至差分算出部１５２は、ピラミッド画像生成部１４５乃至ピラミッド画像生成部１４８からのピラミッド画像を用いて差分画像を生成して正規化し、エッジ情報マップ生成部１５３乃至エッジ情報マップ生成部１５６に供給する。差分画像の正規化では、例えば、画素の画素値が０乃至２５５の間の値となるようにされる。
【０１２１】
例えば、差分算出部１４９は、ピラミッド画像生成部１４５から供給された、各階層の０度方向のエッジのピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の組み合わせのピラミッド画像の差分を求める。これにより、合計５つのエッジの差分画像が得られる。
【０１２２】
同様に、差分算出部１５０乃至差分算出部１５２は、各階層のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、各方向のエッジについて、それぞれ合計５つの差分画像が得られる。
【０１２３】
これらの差分画像を生成する処理は、エッジ画像にバンドパスフィルタを用いたフィルタ処理を施して、エッジ画像から所定の周波数成分を抽出することと等価である。このようにして得られた差分画像の画素の画素値は、各レベルのピラミッド画像のエッジ強度の差、つまり入力画像の所定の位置のエッジ強度と、その位置の周囲の平均的なエッジ強度との差を示している。
【０１２４】
一般的に、画像において周囲と比べてエッジ強度の強い領域は、その画像を見る人の目を引く領域であるので、その領域は被写体の領域である可能性が高い。したがって、各差分画像において、より画素値の大きい画素が、より被写体の領域である可能性の高い領域であることを示しているということができる。
【０１２５】
ステップＳ１３４において、エッジ情報マップ生成部１５３乃至エッジ情報マップ生成部１５６は、差分算出部１４９乃至差分算出部１５２からの差分画像を用いて各方向のエッジ情報マップを生成し、マップ生成部５６に供給する。
【０１２６】
例えば、エッジ情報マップ生成部１５３は、差分算出部１４９から供給された差分画像を、予め求められた差分重みＷａにより重み付き加算して０度方向のエッジ情報マップとする。
【０１２７】
同様に、エッジ情報マップ生成部１５４乃至エッジ情報マップ生成部１５６は、差分算出部１５０乃至差分算出部１５２からの差分画像を差分重みＷａにより重み付き加算する。これにより、４５度、９０度、および１３５度の各方向のエッジ情報マップが得られる。なお、エッジ情報マップの生成時において、各差分画像が同じ大きさとなるように、差分画像のアップコンバートが行われる。
【０１２８】
エッジ情報マップ生成部１５３乃至エッジ情報マップ生成部１５６が、このようにして得られた各方向の合計４つのエッジ情報マップをマップ生成部５６に供給すると、エッジ情報抽出処理は終了し、処理は図９のステップＳ４４に進む。
【０１２９】
このようにして、エッジ情報抽出部５３は、入力画像から特定の方向のエッジの差分画像を求め、その差分画像からエッジ情報マップを生成する。このようにして得られた方向ごとのエッジ情報マップによれば、入力画像において、周囲の領域と比べて、特定の方向へのエッジ強度の大きい領域、つまり入力画像を一瞥した観察者の目に付きやすい領域を簡単に検出することができる。
【０１３０】
なお、エッジ情報抽出処理では、エッジの抽出にガボアフィルタが用いられると説明したが、その他、Sobelフィルタや、Robertsフィルタなどのエッジ抽出フィルタが用いられるようにしてもよい。
【０１３１】
次に、図１３のフローチャートを参照して、図９のステップＳ４４の処理に対応する顔情報抽出処理について説明する。
【０１３２】
ステップＳ１６１において、顔検出部１８１は、供給された入力画像から、人の顔の領域を検出し、その検出結果を顔情報マップ生成部１８２に供給する。例えば、顔検出部１８１は、入力画像に対してガボアフィルタを用いたフィルタ処理を施し、入力画像から人の目、口、鼻などの特徴的な領域を抽出することにより、入力画像における顔の領域を検出する。
【０１３３】
ステップＳ１６２において、顔情報マップ生成部１８２は、顔検出部１８１からの検出結果を用いて顔情報マップを生成し、マップ生成部５６に供給する。
【０１３４】
例えば、入力画像からの顔の検出結果として、顔が含まれると推定される入力画像上の矩形の領域（以下、候補領域と称する）が複数検出されたとする。ここで、入力画像上の所定の位置近傍に複数の候補領域が検出され、それらの候補領域の一部が互いに重なることもあることとする。すなわち、例えば、入力画像上の１つの顔の領域に対して、その顔を含む複数の領域が候補領域として得られた場合には、それらの候補領域の一部が互いに重なることになる。
【０１３５】
顔情報マップ生成部１８２は、顔の検出により得られた候補領域に対して、候補領域ごとに、入力画像と同じ大きさの検出画像を生成する。この検出画像は、検出画像上における処理対象の候補領域と同じ領域内の画素の画素値が、候補領域とは異なる領域内の画素の画素値よりも大きい値とされる。
【０１３６】
また、検出画像上の画素の画素値は、より人の顔が含まれる可能性が高いと推定された候補領域の画素と同じ位置の画素ほど、画素値が大きくなる。顔情報マップ生成部１８２は、このようにして得られた検出画像を足し合わせて、１つの画像を生成して正規化し、顔情報マップとする。したがって、顔情報マップ上において、入力画像上の複数の候補領域の一部が重なる領域と同じの領域の画素の画素値は大きくなり、より顔が含まれる可能性が高いことになる。なお、正規化は、顔情報マップの画素の画素値が、例えば０乃至２５５の間の値となるようにされる。
【０１３７】
顔情報マップが生成されると、顔情報抽出処理は終了し、処理は図９のステップＳ４５に進む。
【０１３８】
このようにして、顔情報抽出部５４は、入力画像から顔を検出し、その検出結果から顔情報マップを生成する。このようにして得られた顔情報マップによれば、入力画像における被写体としての人の顔の領域を簡単に検出することができる。
【０１３９】
さらに、図１４のフローチャートを参照して、図９のステップＳ４５の処理に対応する動き情報抽出処理について説明する。
【０１４０】
ステップＳ１９１において、ローカルモーションベクタ抽出部２１１は、供給された入力画像を用いて、勾配法などにより入力画像の各画素のローカルモーションベクタを検出し、差分算出部２１３に供給する。
【０１４１】
ステップＳ１９２において、グローバルモーションベクタ抽出部２１２は、供給された入力画像を用いてグローバルモーションベクタを検出し、差分算出部２１３に供給する。
【０１４２】
ステップＳ１９３において、差分算出部２１３は、ローカルモーションベクタ抽出部２１１からのローカルモーションベクタと、グローバルモーションベクタ抽出部２１２からのグローバルモーションベクタとの差分の絶対値を求めて動きの差分画像を生成する。そして、差分算出部２１３は、生成した動きの差分画像を動き情報マップ生成部２１４に供給する。
【０１４３】
ステップＳ１９４において、動き情報マップ生成部２１４は、差分算出部２１３から供給された差分画像を正規化して動き情報マップとし、マップ生成部５６に供給する。ここで、差分画像の正規化は、各画素の画素値が、例えば０乃至２５５の間の値となるようにされる。動き情報マップが生成されると、動き情報抽出処理は終了し、処理は図９のステップＳ４６に進む。
【０１４４】
このようにして、動き情報抽出部５５は、入力画像から動きを検出し、その検出結果から動き情報マップを生成する。このようにして得られた動き情報マップによれば、入力画像における動きのある物体の領域を簡単に検出することができる。入力画像において、動きのある物体の領域は、入力画像を一瞥した観察者の目に付きやすい領域であり、被写体である可能性が高い。
【０１４５】
以上において説明した輝度情報抽出処理乃至動き情報抽出処理により、各情報マップが得られ、これらの情報マップから被写体マップが生成される。
【０１４６】
次に、図１５のフローチャートを参照して、図８のステップＳ１２の処理に対応する被写体領域抽出処理について説明する。
【０１４７】
ステップＳ２２１において、グラディエントマップ生成部２２は、被写体マップ生成部２１のマップ生成部５６から供給された被写体マップを用いてグラディエントマップを生成し、閾値処理部２３、閾値処理部２４、および２値化マップ生成部２６に供給する。
【０１４８】
例えば、被写体マップ上の互いに直交する方向をｘ方向およびｙ方向とすると、グラディエントマップ生成部２２は、被写体マップのｘ方向の画素値の変化を示すｘ方向勾配マップと、被写体マップのｙ方向の画素値の変化を示すｙ方向勾配マップとを生成する。そして、グラディエントマップ生成部２２は、生成したｘ方向勾配マップおよびｙ方向勾配マップの和をグラディエントマップとする。
【０１４９】
具体的には、図１６の左上に示すように、被写体マップＳＭ上の図中、上下方向に並ぶラインＬ１およびラインＬ２に注目すると、ラインＬ１の画素の画素値と、ラインＬ２の画素の画素値との差分の絶対値が、ラインＬ１の画素と同じ位置にあるｙ方向勾配マップの画素の画素値とされる。
【０１５０】
なお、図１６において、図中、縦方向がｙ方向であるとし、図中、横方向がｘ方向であるものとする。また、ラインＬ１およびラインＬ２は、ｘ方向に並ぶ被写体マップＳＭの画素の列である。また、図１６では、ラインＬ１の２画素だけ図中、下側にある画素の列がラインＬ２とされている。
【０１５１】
例えば、被写体マップＳＭのラインＬ１の左端の画素の画素値と、ラインＬ２の左端の画素の画素値との差分の絶対値が、ラインＬ１の左端の画素と同じ位置にあるｙ方向勾配マップの画素の画素値とされる。このようにして求められたｙ方向勾配マップは、被写体マップＳＭのｙ方向への画素の画素値の変化の度合い、つまり被写体らしさのエッジの強度を示している。
【０１５２】
ここで、ラインＬ１とラインＬ２とが互いに隣接したラインとされないのは、入力画像の各位置と、その位置に対する被写体らしさの変化の度合い、つまり求めた差分の絶対値とに位置のずれが生じることを防止するためである。なお、ラインＬ２は、ラインＬ１に対して２画素分だけ、図中下側にあるラインに限らず、ラインＬ１に対して２画素以上、下側にあるラインであればよい。
【０１５３】
同様に、図１６の左下に示すように、被写体マップＳＭ上の図中、左右方向に並ぶラインＬ３およびラインＬ４に注目すると、ラインＬ３の画素の画素値と、ラインＬ４の画素の画素値との差分の絶対値が、ラインＬ３の画素と同じ位置にあるｘ方向勾配マップの画素の画素値とされる。
【０１５４】
なお、ラインＬ３およびラインＬ４は、ｙ方向に並ぶ被写体マップＳＭの画素の列である。また、図１６では、ラインＬ３の２画素だけ図中、右側にある画素の列がラインＬ４とされている。
【０１５５】
例えば、被写体マップＳＭのラインＬ３の上端の画素の画素値と、ラインＬ４の上端の画素の画素値との差分の絶対値が、ラインＬ３の上端の画素と同じ位置にあるｘ方向勾配マップの画素の画素値とされる。このようにして求められたｘ方向勾配マップは、被写体マップＳＭのｘ方向への画素の画素値の変化の度合い、つまり被写体らしさのエッジの強度を示している。
【０１５６】
なお、ラインＬ４も、ラインＬ３に対して２画素分だけ、図中右側にあるラインに限らず、ラインＬ３に対して２画素以上、右側にあるラインであればよい。
【０１５７】
グラディエントマップ生成部２２は、このようにして求めたｘ方向勾配マップとｙ方向勾配マップとを加算し、グラディエントマップＧＭとする。すなわち、グラディエントマップＧＭの注目する画素を注目画素とすると、注目画素と同じ位置にあるｘ方向勾配マップの画素の画素値と、注目画素と同じ位置にあるｙ方向勾配マップの画素の画素値との和が、注目画素の画素値とされる。なお、グラディエントマップの画素の画素値が大きいほど、その画素と同じ位置にある入力画像の画素は、被写体領域を構成する画素である可能性が高いことを示している。
【０１５８】
このようにして得られたグラディエントマップを用いれば、被写体マップと比べて、より確実に画像上の被写体の位置を特定することができるようになる。
【０１５９】
例えば、被写体マップの被写体の領域の画素の画素値は、その画素が被写体の中心の領域に近いほど大きくなり、被写体の中心から離れるほど小さくなることが多い。いま、被写体マップの被写体の領域の画素値が、被写体の輪郭部分から中心部分まで同じ勾配で変化するものとする。
【０１６０】
この場合、被写体マップにおいて、画素値が予め定められた閾値以上の画素からなる領域を、被写体の領域であるとするときには、閾値の値によって被写体とされる領域の大きさが変化するため、入力画像から正確に被写体の領域を抽出することが困難となる。具体的には、閾値が大きくなるほど、被写体とされる領域が小さくなってしまう。また、閾値を小さくし過ぎると、ノイズの影響により、被写体ではない領域まで被写体の領域であるとされてしまうことになる。
【０１６１】
これに対して、グラディエントマップの画素の画素値は、被写体らしさの変化の度合い、つまり被写体マップの画素値の勾配を示している。したがって、被写体マップの被写体の領域の画素値が、被写体の輪郭部分から中心部分まで同じ勾配で変化するとした場合、グラディエントマップでは、被写体の領域内の画素の画素値は、全ての画素がほぼ同じ値となる。したがって、グラディエントマップを用いて入力画像から抽出された被写体の領域は、閾値によって殆ど大きさが変化せず、より正確に被写体の領域を抽出することができる。
【０１６２】
図１５のフローチャートの説明に戻り、ステップＳ２２２において、閾値処理部２３は、グラディエントマップ生成部２２から供給されたグラディエントマップを用いて、被写体を抽出するための高い閾値ＴＨｈを算出する。
【０１６３】
例えば、閾値処理部２３は、図１７に示すように、グラディエントマップＧＭから、そのグラディエントマップＧＭの画素値の範囲をビンとしたヒストグラムＨＳを生成する。
【０１６４】
具体的には、グラディエントマップＧＭの画素の画素値のとり得る値の範囲が０から１である場合、１００個のビンからなり、横軸をビンの値、縦軸を各ビンに属すグラディエントマップＧＭの画素の数、つまり画素の頻度値とするヒストグラムＨＳが生成される。例えば、１つのビンには、画素値が0乃至0.01であるグラディエントマップＧＭの画素が属すことになり、このビンの中央値は、0.005とされる。
【０１６５】
次に、閾値処理部２３は、生成したヒストグラムＨＳの各ビンの頻度値を２値化して、２値化後のビンの値を、ビンの中央値の小さい順番に並べて得られる情報をヒストグラムビン情報ＨＢＩとして生成する。ここで、ビンの頻度値の２値化は、頻度値が０である場合に２値化後の値を０とし、頻度値が０以外の正の値である場合に２値化後の値を１とすることにより行われる。したがって、例えば、中央値の最も小さいビンの頻度値が５である場合、ヒストグラムビン情報ＨＢＩの先頭の値は１となる。
【０１６６】
さらに、閾値処理部２３は、ヒストグラムビン情報ＨＢＩの最後尾から、２値化後の値が１である、予め定められたａ番目（例えば、１８番目など）のビンの中央値を、高い閾値ＴＨｈとする。例えば、ヒストグラムビン情報ＨＢＩの値が、最後尾から順番に「１」、「０」、「１」、「１」であり、上述したａの値が「３」であるとする。この場合、最後尾から、２値化後の値が１である３番目のビンは、ヒストグラムビン情報ＨＢＩの最後尾から４番目の値に対応するビンであるので、そのビンの中央値が高い閾値ＴＨｈとされる。
【０１６７】
図１５のフローチャートの説明に戻り、ステップＳ２２３において閾値処理部２４は、グラディエントマップ生成部２２から供給されたグラディエントマップを用いて、被写体を抽出するための低い閾値ＴＨｌを算出する。
【０１６８】
例えば、閾値処理部２４は、閾値処理部２３が生成するヒストグラムと同じヒストグラムを生成するとともに、グラディエントマップ全体の画素数の予め定められたｂパーセント（例えば、１２パーセント）に相当する画素数Ｂを求める。そして、閾値処理部２４は、グラディエントマップの画素のうち、Ｂ番目に画素値が大きい画素が属するヒストグラムのビンの中央値を低い閾値ＴＨｌとする。
【０１６９】
すなわち、グラディエントマップ全体において、画素値の大きい上位ｂパーセントの画素のうち、最も画素値が小さい画素が選択され、その画素が属するヒストグラムのビンの中央値が、低い閾値ＴＨｌとされる。
【０１７０】
以上のようにして求められた、低い閾値ＴＨｌと高い閾値ＴＨｈは、グラディエントマップを用いて、入力画像から被写体領域を抽出するために用いられる。
【０１７１】
低い閾値ＴＨｌは、入力画像から、被写体が含まれている可能性があるとされる領域を抽出するための閾値である。すなわち、グラディエントマップにおいて、画素値が低い閾値ＴＨｌ以上である画素からなる領域と同じ位置にある入力画像の領域のなかには、確実に被写体が含まれている領域もあるが、被写体は含まれておらず、ノイズが含まれている領域もあることになる。
【０１７２】
また、高い閾値ＴＨｈは、入力画像から、確実に被写体が含まれている可能性が高いとされる領域、つまり被写体らしい領域を抽出するための閾値である。すなわち、グラディエントマップにおいて、画素値が高い閾値ＴＨｈ以上である画素からなる領域と同じ位置にある入力画像の領域には、確実に被写体が含まれている可能性が高いが、その領域は、実際の被写体の領域よりも狭い可能性がある。したがって、入力画像上には、被写体領域とされた領域以外にも、実際には被写体が含まれる領域がある可能性がある。
【０１７３】
ここで、高い閾値ＴＨｈと低い閾値ＴＨｌは、低い閾値ＴＨｌよりも高い閾値ＴＨｈが、より大きい値となるように、これらの閾値を求めるための定数ａおよびｂが、予め統計的に求められている。
【０１７４】
したがって、低い閾値ＴＨｌにより被写体の領域であると特定された入力画像上の領域には、高い閾値ＴＨｈにより被写体の領域であると特定された入力画像上の領域が必ず含まれることになる。つまり、高い閾値ＴＨｈは、低い閾値ＴＨｌを用いて検出される被写体らしい領域よりも、より確実に被写体らしい領域を検出するための閾値であるといえる。
【０１７５】
なお、高い閾値ＴＨｈよりも低い閾値ＴＨｌが、大きくなってしまった場合には、求められた低い閾値ＴＨｌが高い閾値ＴＨｈとして用いられ、求められた高い閾値ＴＨｈが低い閾値ＴＨｌとして用いられるようにしてもよい。また、定数ａおよびｂが、予め求められている他の値に変更されて、再度、高い閾値ＴＨｈおよび低い閾値ＴＨｌが求められるようにしてもよい。
【０１７６】
さらに、高い閾値ＴＨｈおよび低い閾値ＴＨｌは、グラディエントマップから求めると説明したが、高い閾値ＴＨｈおよび低い閾値ＴＨｌが予め定められていてもよい。
【０１７７】
ステップＳ２２４において、閾値処理部２３および閾値処理部２４は、求めた高い閾値ＴＨｈおよび低い閾値ＴＨｌを用いてグラディエントマップを閾値処理し、閾値マップを生成する。
【０１７８】
すなわち、閾値処理部２３は、生成しようとする閾値マップの注目する画素を注目画素として、注目画素と同じ位置にあるグラディエントマップの画素の画素値が、高い閾値ＴＨｈ以上である場合、注目画素の画素値を１とする。また、閾値処理部２３は、注目画素と同じ位置にあるグラディエントマップの画素の画素値が、高い閾値ＴＨｈ未満である場合、注目画素の画素値を０とする。閾値処理部２３は、このようにして求めた閾値マップを合成マップ生成部２５に供給する。
【０１７９】
同様に、閾値処理部２４は、生成しようとする閾値マップの注目する画素を注目画素として、注目画素と同じ位置にあるグラディエントマップの画素の画素値が、低い閾値ＴＨｌ以上である場合、注目画素の画素値を１とする。また、閾値処理部２４は、注目画素と同じ位置にあるグラディエントマップの画素の画素値が、低い閾値ＴＨｌ未満である場合、注目画素の画素値を０とする。閾値処理部２４は、このようにして求めた閾値マップを合成マップ生成部２５に供給する。
【０１８０】
ステップＳ２２５において、合成マップ生成部２５は、閾値処理部２３および閾値処理部２４から供給された閾値マップに基づいて、合成マップを生成する。
【０１８１】
具体的には、合成マップ生成部２５は、閾値処理部２３から供給された閾値マップと、閾値処理部２４から供給された閾値マップとを加算して、新たな１つのマップを生成する。すなわち、新たに生成されるマップの注目する画素を注目画素とすると、その注目画素と同じ位置にある２つの閾値マップのそれぞれの画素の画素値の和が、注目画素とされる。したがって、新たに生成されるマップの画素の画素値は、０、１、２の何れかの値をとることになる。
【０１８２】
これにより、例えば、図１８の図中、左側に示すマップＭが得られる。なお、図１８において、１つの四角形はマップ上の１つの画素を表しており、四角形内の数値は、その四角形により表される画素の画素値を示している。また、数値の記載のない四角形は、画素値が０である画素を表している。
【０１８３】
図中、左側のマップＭでは、画素値が１または２である画素が互いに隣接している領域が複数あり、それらの領域は、被写体の含まれている可能性のある領域とされる。
【０１８４】
次に、合成マップ生成部２５は、図中、中央に示すように、画素値が１または２である画素からなる領域であって、互いに隣接する画素からなる領域を連結領域とする。例えば、図の中央の例では、４つの領域ＣＲ１乃至領域ＣＲ４が連結領域とされる。
【０１８５】
さらに、合成マップ生成部２５は、マップＭの連結領域のうち、画素値が２である画素を含み、かつ面積が３画素以上である連結領域を選択する。そして合成マップ生成部２５は、選択した連結領域内の画素の画素値を１とし、その他の画素の画素値を０として、その結果得られたマップを合成マップとする。
【０１８６】
例えば、図１８の例では、領域ＣＲ１乃至領域ＣＲ４のうち、面積が３画素未満である連結領域ＣＲ３と、画素値が２である画素が含まれない連結領域ＣＲ４が除外され、図中、右側に示すように、領域ＣＲ１および領域ＣＲ２が選択される。この領域ＣＲ１および領域ＣＲ２は、画素値が２である画素を含み、面積も３画素以上の領域である。
【０１８７】
そして、選択された領域ＣＲ１および領域ＣＲ２内の画素の画素値が１とされ、それ以外の画素の画素値が０とされて合成マップとされる。合成マップにおいて、画素値が１である画素は、被写体領域を構成するとされた画素であり、画素値が０である画素は、被写体領域を構成しないとされた画素である。
【０１８８】
ここで、合成マップ生成前のマップＭにおいて、連結領域とされた領域は、グラディエントマップにおいて、高い閾値ＴＨｈまたは低い閾値ＴＨｌの少なくとも何れかの閾値以上の画素値を有する画素からなる領域である。したがって、マップＭの連結領域は被写体領域の候補を示しているということができる。
【０１８９】
合成マップを生成するにあたり、マップＭの連結領域から、画素値が２である画素を含まない連結領域と、面積が３画素未満である連結領域とが除外されるのは、次の理由からである。
【０１９０】
すなわち、マップＭの画素値が２である画素は、その画素と同じ位置のグラディエントマップの画素の画素値が、高い閾値ＴＨｈおよび低い閾値ＴＨｌのどちらよりも大きいことを表している。つまり、その画素と同じ位置の入力画像の領域は、被写体領域である可能性が高いことを示している。
【０１９１】
これに対して、マップＭの画素値が１である画素は、その画素と同じ位置のグラディエントマップの画素の画素値が、低い閾値ＴＨｌよりは大きいが、高い閾値ＴＨｈよりは小さいことを表している。つまり、その画素と同じ位置の入力画像の領域は、確実とはいえないが被写体領域である可能性があることを示している。
【０１９２】
したがって、マップＭにおいて、画素値が２である画素をより多く含む連結領域ほど、より被写体領域である可能性が高くなり、画素値が１である画素のみからなる連結領域は、被写体領域である可能性はあるが、その可能性はそれほど高くはないことになる。そこで、画素値が１である画素のみからなる連結領域を、被写体領域の候補から除外することで、より高い精度で入力画像から被写体領域を抽出できるようになる。
【０１９３】
また、一般に、面積が小さい領域は被写体領域ではなく、ノイズの領域である可能性が極めて高いので、予め定められた所定の面積未満の連結領域、例えば３画素未満の連結領域は、被写体領域の候補から除外される。これにより、より高い精度で入力画像から被写体領域を抽出できるようになる。
【０１９４】
合成マップ生成部２５は、以上のようにして合成マップを生成すると、生成した合成マップを２値化マップ生成部２６に供給する。
【０１９５】
図１５のフローチャートの説明に戻り、ステップＳ２２６において、２値化マップ生成部２６は、グラディエントマップ生成部２２からのグラディエントマップを用いて、合成マップ生成部２５からの合成マップの連結領域ごとに閾値を求める。
【０１９６】
ステップＳ２２７において、２値化マップ生成部２６は、求めた閾値を用いて連結領域ごとに閾値処理を行い、２値化マップを生成する。
【０１９７】
例えば、図１９に示すように、２値化マップ生成部２６は、グラディエントマップＧＭと、合成マップＣＭとの論理積を求める。なお、図１９において、１つの四角形はマップ上の１つの画素を表しており、四角形内の数値は、その四角形により表される画素の画素値を示している。
【０１９８】
論理積により得られるマップをマップＡＭとし、マップＡＭの注目する画素を注目画素とする。この場合、２値化マップ生成部２６は、注目画素と同じ位置にあるグラディエントマップＧＭの画素の画素値と、注目画素と同じ位置にある合成マップＣＭの画素の画素値との積を求め、その結果得られた値を注目画素の画素値とする。
【０１９９】
合成マップＣＭでは、連結領域とされた領域ＣＲ１および領域ＣＲ２の画素の画素値のみが１であるので、マップＡＭにおいて、領域ＣＲ１’および領域ＣＲ２’内の画素の画素値は、その画素と同じ位置にあるグラディエントマップＧＭの画素の画素値となる。また、マップＡＭにおいて、領域ＣＲ１’および領域ＣＲ２’に含まれない画素の画素値は、全て０となる。
【０２００】
なお、マップＡＭの領域ＣＲ１’および領域ＣＲ２’は、合成マップＣＭにおける領域ＣＲ１および領域ＣＲ２と同じ位置にある領域である。以下、これらの領域ＣＲ１’および領域ＣＲ２’についても連結領域と呼ぶこととする。
【０２０１】
次に、２値化マップ生成部２６は、得られたマップＡＭの連結領域ごとに閾値を求める。例えば、２値化マップ生成部２６は、マップＡＭの連結領域内の画素の画素値のうち、最大の値を求め、その値に対して予め定められている値を、その連結領域の閾値とする。
【０２０２】
例えば、連結領域内の画素値の最大値が４以上である場合、その連結領域の閾値が４とされ、連結領域内の画素値の最大値が４未満である場合、その連結領域の閾値が１とされるものとする。
【０２０３】
この場合、マップＡＭの領域ＣＲ１’内の画素の画素値の最大値は９であるので、２値化マップ生成部２６は、領域ＣＲ１’の閾値を４とする。同様に、マップＡＭの領域ＣＲ２’内の画素の画素値の最大値は３であるので、２値化マップ生成部２６は、領域ＣＲ２’の閾値を１とする。
【０２０４】
なお、連結領域に対する閾値は予め統計的に求められる。また、より詳細には、グラディエントマップの画素の画素値は、０乃至１までの間の値とされるため、例えば、連結領域内の画素値の最大値が0.4以上であれば閾値は0.33とされ、連結領域内の画素値の最大値が0.4未満であれば閾値は0.08などとされる。
【０２０５】
さらに、連結領域に対する閾値は、例えば連結領域内の画素値の最大値が大きくなるほど、閾値も大きくなるように設定される。これは、連結領域内に、より画素値の大きい画素が含まれるほど、その連結領域において、真に被写体領域である部分を構成する画素の画素値、つまりその画素と同じ位置のグラディエントマップＧＭの画素値も、より大きくなると推定されるためである。
【０２０６】
したがって、被写体領域の候補とされた連結領域から、その連結領域に対して定められた閾値以上の画素値を有する画素のみからなる領域を抽出すれば、真に被写体領域であると推定される領域を抽出できるはずである。
【０２０７】
そこで、２値化マップ生成部２６は、領域ＣＲ１’および領域ＣＲ２’のそれぞれに対して求めた閾値により、マップＡＭを２値化して２値化マップＴＭとする。
【０２０８】
具体的には、２値化マップ生成部２６は、マップＡＭの領域ＣＲ１’内の画素のうち、画素値が領域ＣＲ１’の閾値４以上である画素の画素値を１とし、画素値が領域ＣＲ１’の閾値４未満である画素の画素値を０とする。さらに、２値化マップ生成部２６は、マップＡＭの領域ＣＲ２’内の画素のうち、画素値が領域ＣＲ２’の閾値１以上である画素の画素値を１とし、画素値が領域ＣＲ２’の閾値１未満である画素の画素値を０とする。
【０２０９】
例えば、図１９の図中、右側の例では、得られた２値化マップＴＭでは、２つの領域ＳＲ１および領域ＳＲ２内の画素の画素値が１とされ、他の画素の画素値は０とされる。
【０２１０】
つまり、連結領域とされた領域ＣＲ１’のうち、領域ＳＲ１内の画素の画素値のみが１とされ、他の領域ＣＲ１’内の画素の画素値は０とされている。また、連結領域とされた領域ＣＲ２’では、領域ＣＲ２’内の画素の画素値は、全て１とされている。
【０２１１】
このようにして得られた２値化マップＴＭにおいて、画素値が１である画素からなる領域は、真に被写体領域であると推定される領域である。したがって、例えば入力画像において、２値化マップＴＭの領域ＳＲ１および領域ＳＲ２と同じ位置にある領域が、被写体領域とされる。
【０２１２】
２値化マップ生成部２６は、２値化マップを生成すると、生成した２値化マップを矩形整形部２７に供給する。
【０２１３】
図１５のフローチャートの説明に戻り、ステップＳ２２８において、矩形整形部２７は、２値化マップ生成部２６から供給された２値化マップから、被写体領域を特定し、被写体領域を示す被写体領域情報を表示制御部２８に供給する。
【０２１４】
例えば、図２０の左側に示す２値化マップＴＭが矩形整形部２７に供給された場合、矩形整形部２７は、２値化マップＴＭにおいて、画素値が１である画素からなる領域であって、互いに隣接する画素からなる領域を連結領域とする。例えば、図中央の例では、２つの領域ＳＲ１および領域ＳＲ２が連結領域とされる。
【０２１５】
そして、矩形整形部２７は、図中、右側に示すように、連結領域とされた領域ＳＲ１および領域ＳＲ２を囲む矩形の枠Ｗ１および枠Ｗ２を、被写体領域を囲む被写体枠の位置であるとして、枠Ｗ１および枠Ｗ２の位置を示す情報を被写体領域情報として生成する。そして、矩形整形部２７は、生成した被写体領域情報を表示制御部２８に供給する。
【０２１６】
図２０の例のように、被写体領域を示す領域を矩形化して、枠Ｗ１および枠Ｗ２とし、これらの枠の領域の位置を示す被写体領域情報を生成することにより、後段のアプリケーションプログラムにおいて、容易に被写体枠を表示させることができる。つまり、特定された被写体の領域に基づいて、被写体を囲む枠を決定する処理が不要となる。
【０２１７】
このようにして矩形整形部２７から、表示制御部２８に被写体領域情報が供給されると、被写体領域抽出処理は終了し、処理は図８のステップＳ１３に進む。
【０２１８】
以上のようにして、画像処理装置１１は、被写体マップからグラディエントマップを生成し、さらにグラディエントマップに対して２つの閾値を用いた閾値処理を行って得られたマップから、被写体領域を特定する。
【０２１９】
このように、被写体マップからグラディエントマップを生成し、さらにグラディエントマップに対して２つの閾値を用いた閾値処理を行って得られたマップから、被写体領域を特定することにより、画像上の被写体の領域をより正確に特定することができる。
【０２２０】
すなわち、グラディエントマップの画素の画素値は、被写体らしさを示す値の変化の度合いを示す値とされるので、上述したように、被写体マップと比べて、より確実に画像から被写体領域を抽出することができる。
【０２２１】
また、グラディエントマップに対して、互いに大きさの異なる２つの閾値のそれぞれを用いて閾値処理して得られた閾値マップを加算して、その結果得られたマップの画素を、特定の条件を満たすか否かにより２値化することで、ノイズの領域を除外して、被写体とされるべき領域を、より正確に抽出することができる。
【０２２２】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２２３】
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２２４】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０２２５】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０２２６】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０２２７】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２２８】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【０２２９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２３０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２３１】
１１  画像処理装置，  ２１  被写体マップ生成部，  ２２  グラディエントマップ生成部，  ２３  閾値処理部，  ２４  閾値処理部，  ２５  合成マップ生成部，  ２６  ２値化マップ生成部，  ２７  矩形整形部，  ２８  表示制御部
【図１】
2010266982.tif 000003
【図２】
2010266982.tif 000004
【図３】
2010266982.tif 000005
【図４】
2010266982.tif 000006
【図５】
2010266982.tif 000007
【図６】
2010266982.tif 000008
【図７】
2010266982.tif 000009
【図８】
2010266982.tif 000010
【図９】
2010266982.tif 000011
【図１０】
2010266982.tif 000012
【図１１】
2010266982.tif 000013
【図１２】
2010266982.tif 000014
【図１３】
2010266982.tif 000015
【図１４】
2010266982.tif 000016
【図１５】
2010266982.tif 000017
【図１６】
2010266982.tif 000018
【図１７】
2010266982.tif 000019
【図１８】
2010266982.tif 000020
【図１９】
2010266982.tif 000021
【図２０】
2010266982.tif 000022
【図２１】
2010266982.tif 000023