(57)【特許請求の範囲】
【請求項１】
連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、
前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段と
を備え、
前記判定手段は、注目する前記被写体としての人物の領域である人物領域の幅と、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したか否かを判定し、
前記特定手段は、前記判定手段により前記人物領域の幅と前記顔領域の高さとの比が、フレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する
画像処理装置。
【請求項２】
被写体を撮像する撮像手段をさらに備え、
前記特定手段は、前記判定手段により前記被写体領域の形状の変化が判定された前記フレームの画像を特定し、前記撮像手段に、特定した前記フレームの画像の撮像を指示する
請求項１に記載の画像処理装置。
【請求項３】
連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、
前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法において、
前記判定手段が、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、
前記特定手段が、前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップと
を含み、
前記判定ステップの処理は、注目する前記被写体としての人物の領域である人物領域の幅と、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したか否かを判定し、
前記特定ステップの処理は、前記判定ステップの処理により前記人物領域の幅と前記顔領域の高さとの比が、フレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する
画像処理方法。
【請求項４】
連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、
前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップと
を含む処理をコンピュータに実行させ、
前記判定ステップの処理は、注目する前記被写体としての人物の領域である人物領域の幅と、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したか否かを判定し、
前記特定ステップの処理は、前記判定ステップの処理により前記人物領域の幅と前記顔領域の高さとの比が、フレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する
プログラム。
【請求項５】
連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、
前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段と
を備え、
前記判定手段は、矩形領域としての前記被写体領域の縦横比が、所定数フレーム間変化していないか否かを判定し、
前記特定手段は、前記判定手段により前記被写体領域の縦横比が、所定数フレーム間変化していないと判定されたときのフレームの画像を特定する
画像処理装置。
【請求項６】
被写体を撮像する撮像手段をさらに備え、
前記特定手段は、前記判定手段により前記被写体領域の縦横比が、所定数フレーム間変化していないと判定された前記フレームの画像を特定し、前記撮像手段に、特定した前記フレームの画像の撮像を指示する
請求項５に記載の画像処理装置。
【請求項７】
連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、
前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法において、
前記判定手段が、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、
前記特定手段が、前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップと
を含み、
前記判定ステップの処理は、矩形領域としての前記被写体領域の縦横比が、所定数フレーム間変化していないか否かを判定し、
前記特定ステップの処理は、前記判定ステップの処理により前記被写体領域の縦横比が、所定数フレーム間変化していないと判定されたときのフレームの画像を特定する
画像処理方法。
【請求項８】
連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、
前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段と
を備え、
前記判定手段は、矩形領域としての前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したか否かを判定し、
前記特定手段は、前記判定手段により前記被写体領域の縦横比が、１フレーム毎のフレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する
画像処理装置。
【請求項９】
被写体を撮像する撮像手段をさらに備え、
前記特定手段は、前記判定手段により前記被写体領域の形状の変化が判定された前記フレームの画像を特定し、前記撮像手段に、特定した前記フレームの画像の撮像を指示する
請求項８に記載の画像処理装置。
【請求項１０】
前記複数フレームの画像における前記被写体領域の位置を検出する検出手段をさらに備え、
前記判定手段は、前記検出手段により、前記被写体領域の位置が所定の領域内にあることが検出された場合に、矩形領域としての前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したか否かを判定し、
前記特定手段は、前記判定手段により前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する
請求項８に記載の画像処理装置。
【請求項１１】
連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法において、
前記判定手段が、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、
前記特定手段が、前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップと
を含み、
前記判定ステップの処理は、矩形領域としての前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したか否かを判定し、
前記特定ステップの処理は、前記判定ステップの処理により前記被写体領域の縦横比が、１フレーム毎のフレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する
画像処理方法。
【請求項１２】
連続する複数フレームの画像において、注目する前記被写体としての人物の領域である人物領域の高さと、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比と、予め決められた目標値とを比較する比較手段と、
前記比較手段による比較の結果、前記人物領域の高さと前記顔領域の高さとの比と、前記目標値との差が、所定の閾値より小さいとされたフレームの画像を特定する特定手段と
を備える画像処理装置。
【請求項１３】
連続する複数フレームの画像において、注目する前記被写体としての人物の領域である人物領域の高さと、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比と、予め決められた目標値とを比較する比較手段と、
前記比較手段による比較の結果、前記人物領域の高さと前記顔領域の高さとの比と、前記目標値との差が、所定の閾値より小さいとされたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法において、
前記比較手段が、連続する複数フレームの画像において、注目する前記被写体としての人物の領域である人物領域の高さと、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比と、予め決められた目標値とを比較する比較ステップと、
前記特定手段が、前記比較ステップの処理による比較の結果、前記人物領域の高さと前記顔領域の高さとの比と、前記目標値との差が、所定の閾値より小さいとされたフレームの画像を特定する特定ステップと
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、ベストショット画像を得るようにする画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ等の撮像装置において、被写体である人の顔を検出し、その顔の表情を検出する表情検出機能を備えることにより、被写体の顔の表情が笑顔であることを検出したときに、自動的に撮像画像を記録する技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４１９７０１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１においては、シャッタのトリガは顔の表情のみであり、顔以外の被写体の状態の変化、例えば、走っている人が転んだ瞬間や、動き回る子供が止まった瞬間等を、自動的に撮像画像として記録することはできなかった。また、特許文献１の技術は、人以外の、表情を持たない被写体には適用することができなかった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、特に、より確実にベストショット画像を得るようにするものである。
【課題を解決するための手段】
【０００６】
本発明の第１の側面の画像処理装置は、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備え、前記判定手段は、注目する前記被写体としての人物の領域である人物領域の幅と、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したか否かを判定し、前記特定手段は、前記判定手段により前記人物領域の幅と前記顔領域の高さとの比が、フレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する。
【０００７】
前記画像処理装置には、被写体を撮像する撮像手段をさらに設け、前記特定手段には、前記判定手段により前記被写体領域の形状の変化が判定された前記フレームの画像を特定し、前記撮像手段に、特定した前記フレームの画像の撮像を指示させることができる。
【００１２】
本発明の第１の側面の画像処理方法は、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法であって、前記判定手段が、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、前記特定手段が、前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップとを含み、前記判定ステップの処理は、注目する前記被写体としての人物の領域である人物領域の幅と、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したか否かを判定し、前記特定ステップの処理は、前記判定ステップの処理により前記人物領域の幅と前記顔領域の高さとの比が、フレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する。
【００１３】
本発明の第１の側面のプログラムは、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップとを含む処理をコンピュータに実行させ、前記判定ステップの処理は、注目する前記被写体としての人物の領域である人物領域の幅と、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したか否かを判定し、前記特定ステップの処理は、前記判定ステップの処理により前記人物領域の幅と前記顔領域の高さとの比が、フレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する。
【００１４】
本発明の第１の側面においては、注目する被写体としての人物の領域である人物領域の幅と、人物領域に含まれる、人物の顔の領域である顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したか否かが判定され、人物領域の幅と顔領域の高さとの比が、フレーム間で、所定の閾値より大きく変化したと判定されたときのフレームの画像が特定される。
本発明の第２の側面の画像処理装置は、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備え、前記判定手段は、矩形領域としての前記被写体領域の縦横比が、所定数フレーム間変化していないか否かを判定し、前記特定手段は、前記判定手段により前記被写体領域の縦横比が、所定数フレーム間変化していないと判定されたときのフレームの画像を特定する。
前記画像処理装置には、被写体を撮像する撮像手段をさらに設け、前記特定手段には、前記判定手段により前記被写体領域の形状の変化が判定された前記フレームの画像を特定させ、前記撮像手段に、特定した前記フレームの画像の撮像を指示させることができる。
本発明の第２の側面の画像処理方法は、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法において、前記判定手段が、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、前記特定手段が、前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップとを含み、前記判定ステップの処理は、矩形領域としての前記被写体領域の縦横比が、所定数フレーム間変化していないか否かを判定し、前記特定ステップの処理は、前記判定ステップの処理により前記被写体領域の縦横比が、所定数フレーム間変化していないと判定されたときのフレームの画像を特定する。
本発明の第２の側面においては、矩形領域としての被写体領域の縦横比が、所定数フレーム間変化していないか否かが判定され、被写体領域の縦横比が、所定数フレーム間変化していないと判定されたときのフレームの画像が特定される。
本発明の第３の側面においては、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備え、前記判定手段は、矩形領域としての前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したか否かを判定し、前記特定手段は、前記判定手段により前記被写体領域の縦横比が、１フレーム毎のフレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する。
前記画像処理装置には、被写体を撮像する撮像手段をさらに設け、前記特定手段には、前記判定手段により前記被写体領域の形状の変化が判定された前記フレームの画像を特定させ、前記撮像手段には、特定した前記フレームの画像の撮像を指示させることができる。
前記画像処理装置には、前記複数フレームの画像における前記被写体領域の位置を検出する検出手段をさらに設け、前記判定手段には、前記検出手段により、前記被写体領域の位置が所定の領域内にあることが検出された場合に、矩形領域としての前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したか否かを判定させ、前記特定手段には、前記判定手段により前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したと判定されたときのフレームの画像を特定させることができる。
本発明の第３の側面の画像処理方法は、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定手段と、前記判定手段により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法であって、前記判定手段が、連続する複数フレームの画像において、注目する前記被写体の領域である被写体領域の形状の変化を判定する判定ステップと、前記特定手段が、前記判定ステップの処理により前記被写体領域の形状の変化が判定されたフレームの画像を特定する特定ステップとを含み、前記判定ステップの処理は、矩形領域としての前記被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したか否かを判定し、前記特定ステップの処理は、前記判定ステップの処理により前記被写体領域の縦横比が、１フレーム毎のフレーム間で、前記所定の閾値より大きく変化したと判定されたときのフレームの画像を特定する。
本発明の第３の側面においては、矩形領域としての被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したか否かが判定され、被写体領域の縦横比が、１フレーム毎のフレーム間で、所定の閾値より大きく変化したと判定されたときのフレームの画像が特定される。
【００１５】
本発明の第４の側面の画像処理装置は、連続する複数フレームの画像において、注目する前記被写体としての人物の領域である人物領域の高さと、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比と、予め決められた目標値とを比較する比較手段と、前記比較手段による比較の結果、前記人物領域の高さと前記顔領域の高さとの比と、前記目標値との差が、所定の閾値より小さいとされたフレームの画像を特定する特定手段とを備える。
【００１６】
本発明の第４の側面の画像処理方法は、連続する複数フレームの画像において、注目する前記被写体としての人物の領域である人物領域の高さと、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比と、予め決められた目標値とを比較する比較手段と、前記比較手段による比較の結果、前記人物領域の高さと前記顔領域の高さとの比と、前記目標値との差が、所定の閾値より小さいとされたフレームの画像を特定する特定手段とを備える画像処理装置の画像処理方法であって、前記比較手段が、連続する複数フレームの画像において、注目する前記被写体としての人物の領域である人物領域の高さと、前記人物領域に含まれる、前記人物の顔の領域である顔領域の高さとの比と、予め決められた目標値とを比較する比較ステップと、前記特定手段が、前記比較ステップの処理による比較の結果、前記人物領域の高さと前記顔領域の高さとの比と、前記目標値との差が、所定の閾値より小さいとされたフレームの画像を特定する特定ステップとを含む画像処理方法。
【００１７】
本発明の第４の側面においては、連続する複数フレームの画像において、注目する被写体としての人物の領域である人物領域の高さと、人物領域に含まれる、人物の顔の領域である顔領域の高さとの比と、予め決められた目標値とが比較され、比較の結果、人物領域の高さと顔領域の高さとの比と、目標値との差が、所定の閾値より小さいとされたフレームの画像が特定される。
【発明の効果】
【００１８】
本発明の一側面によれば、より確実にベストショット画像を得ることが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】被写体追尾部の構成例を示すブロック図である。
【図３】被写体マップ生成部の構成例を示すブロック図である。
【図４】被写体候補領域矩形化部の構成例を示すブロック図である。
【図５】被写体領域選択部の構成例を示すブロック図である。
【図６】被写体追尾処理について説明するフローチャートである。
【図７】被写体マップ生成処理について説明するフローチャートである。
【図８】被写体マップ生成処理の具体例を示す図である。
【図９】被写体候補領域矩形化処理について説明するフローチャートである。
【図１０】被写体候補領域矩形化処理の具体例を示す図である。
【図１１】被写体領域選択処理について説明するフローチャートである。
【図１２】帯域特徴量マップの被写体領域特徴量和について説明する図である。
【図１３】重み係数について説明する図である。
【図１４】制御部の機能構成例を示すブロック図である。
【図１５】自動シャッタ処理について説明するフローチャートである。
【図１６】被写体領域の縦横比の変化について説明する図である。
【図１７】制御部の他の機能構成例を示すブロック図である。
【図１８】自動シャッタ処理について説明するフローチャートである。
【図１９】制御部のさらに他の機能構成例を示すブロック図である。
【図２０】自動シャッタ処理について説明するフローチャートである。
【図２１】所定領域内における被写体領域の縦横比の変化について説明する図である。
【図２２】画像処理装置の他の構成例を示すブロック図である。
【図２３】図２２の制御部の機能構成例を示すブロック図である。
【図２４】自動シャッタ処理について説明するフローチャートである。
【図２５】被写体領域と顔領域との比の変化について説明する図である。
【図２６】制御部の他の機能構成例を示すブロック図である。
【図２７】自動シャッタ処理について説明するフローチャートである。
【図２８】被写体領域と顔領域との比の変化について説明する図である。
【図２９】画像処理装置のさらに他の構成例を示すブロック図である。
【図３０】図２９の制御部の機能構成例を示すブロック図である。
【図３１】フレーム特定処理について説明するフローチャートである。
【図３２】コンピュータのハードウェアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について図を参照して説明する。
【００２１】
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００２２】
画像処理装置１１は、例えば、動きのある被写体を撮像するデジタルビデオカメラや、デジタルスチルカメラなどの撮像装置に備えられる。
【００２３】
画像処理装置１１は、光学系３１、イメージャ３２、デジタル信号処理部３３、表示部３４、制御部３５、レンズ駆動部３６、インタフェース制御部３７、およびユーザインタフェース３８から構成される。
【００２４】
光学系３１は、図示せぬ撮像レンズを含む光学系として構成される。光学系３１に入射した光は、CCD（Charge Coupled Device）等の撮像素子で構成されるイメージャ３２により光電変換される。イメージャ３２により光電変換された電気信号（アナログ信号）は、図示せぬA/D（Analog to Digital）変換部によりデジタル信号の画像データに変換され、デジタル信号処理部３３に供給される。
【００２５】
デジタル信号処理部３３は、イメージャ３２からの画像データに対して、所定の信号処理を施す。デジタル信号処理部３３は、前処理部５１、デモザイク処理部５２、YC生成部５３、解像度変換部５４、被写体追尾部５５、およびCODEC５６を備えている。
【００２６】
前処理部５１は、前処理として、イメージャ３２からの画像データに対し、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を施す。デモザイク処理部５２は、前処理部５１により前処理された画像データに対し、画像データの各画素がＲ，Ｇ，Ｂ全ての色成分を有するように、画素の色成分を補完するデモザイク処理を施す。
【００２７】
YC生成部５３は、デモザイク処理部５２によりデモザイク処理された、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。解像度変換部５４は、YC生成部５３で処理された画像データに対して、解像度変換処理を実行する。
【００２８】
被写体追尾部５５は、YC生成部５３によって生成された輝度信号および色信号からなる画像データを基に、画像データに対応する入力画像における被写体を検出し、追尾する被写体追尾処理を実行する。
【００２９】
ここで、被写体の検出は、ユーザが入力画像を一瞥した場合に、ユーザが注目すると推
定される入力画像上の物体、つまりユーザが目を向けると推定される物体が被写体であるとして行われる。したがって、被写体は必ずしも人物に限られる訳ではない。
【００３０】
被写体追尾部５５は、被写体追尾処理の結果得られた、入力画像における被写体が含まれる領域を表す被写体枠についてのデータを制御部３５に供給する。なお、被写体追尾部５５の詳細については、図２を参照して後述する。
【００３１】
CODEC５６は、YC生成部５３または解像度変換部５４で生成された画像データや、DRAM４０に記録された画像データを必要に応じて符号化し、図示せぬ記録メディアに記録させたり、符号化された画像データを復号したりする。CODEC５６で復号された画像データ、または解像度変換部５４で得られた画像データは、表示部３４に供給されて表示される。表示部３４は、例えば液晶ディスプレイなどからなり、制御部３５の制御に従ってデジタル信号処理部３３から供給された画像データに対応する入力画像を表示する。
【００３２】
制御部３５は、インタフェース制御部３７から供給される制御信号に応じて、画像処理装置１１の各部を制御する。
【００３３】
例えば、制御部３５は、デジタル信号処理部３３に、各種の信号処理に用いられるパラメータ等を供給するとともに、デジタル信号処理部３３からの、各種の信号処理の結果得られたデータを取得し、インタフェース制御部３７に供給する。
【００３４】
また、制御部３５は、被写体追尾部５５からの、入力画像における被写体が含まれる領域を表す被写体枠についてのデータに基づいて、表示部３４に表示されている入力画像上に、被写体枠を表示させる。
【００３５】
さらに、制御部３５は、光学系３１を構成する撮像レンズを駆動させたり、絞りなどを調節させたりするための制御信号をレンズ駆動部３６に供給する。また、制御部３５は、イメージャ３２による入力画像の撮像を制御する。
【００３６】
ユーザインタフェース３８は、ユーザが画像処理装置１１に対する指示を入力するときに操作されるボタンやレバー、スイッチ、マイクロホン等の入力装置、ユーザに対して情報を提示するランプやスピーカ等の出力装置などから構成される。
【００３７】
例えば、ユーザインタフェース３８は、ユーザインタフェース３８としてのボタンが操作されると、その操作に応じた制御信号を、インタフェース制御部３７を介して制御部３５に供給する。
【００３８】
［被写体追尾部の構成例］
次に、図２を参照して、図１の被写体追尾部５５の構成例について説明する。
【００３９】
図２の被写体追尾部５５は、被写体マップ生成部７１、被写体候補領域矩形化部７２、被写体領域選択部７３、および重み係数算出部７４から構成される。
【００４０】
被写体マップ生成部７１は、入力画像が有する輝度や色等の特徴毎に、入力画像の所定フレームの所定領域における特徴量を示す特徴量マップを生成し、重み係数算出部７４に供給する。また、被写体マップ生成部７１は、生成した特徴量マップと、重み係数算出部７４から供給される特徴量毎の重み係数とに基づいて、入力画像における被写体の領域らしさを示す被写体マップを生成する。
【００４１】
より具体的には、被写体マップ生成部７１は、特徴毎の特徴量マップの各領域の情報（特徴量）を、同じ位置にある領域毎に重み付き加算して被写体マップを生成する。被写体マップ生成部７１は、生成した被写体マップを被写体候補領域矩形化部７２に供給する。
【００４２】
なお、各特徴量マップにおいて、より情報量の多い領域、つまり特徴量の多い領域に対応する入力画像上の領域は、被写体が含まれる可能性のより高い領域となり、したがって、各特徴量マップにより入力画像における被写体の含まれる領域を特定することができる。
【００４３】
被写体候補領域矩形化部７２は、被写体マップ生成部７１からの被写体マップにおいて、被写体の候補となる領域、すなわち、被写体マップにおける情報量の多い領域を含む矩形領域を求め、その矩形領域の座標を表す座標情報を、被写体領域選択部７３に供給する。また、被写体候補領域矩形化部７２は、被写体マップ上で座標情報により表される矩形領域に関する情報（以下、領域情報という）を算出し、座標情報に対応付けて被写体領域選択部７３に供給する。
【００４４】
被写体領域選択部７３は、追尾対象となる、注目すべき被写体が含まれる矩形領域である被写体領域を、被写体候補領域矩形化部７２からの領域情報に基づいて矩形領域の中から選択し、その被写体領域の座標情報を制御部３５（図１）および重み係数算出部７４に供給する。
【００４５】
重み係数算出部７４は、被写体マップ生成部７１からの所定フレームの各特徴量マップ上の、被写体領域に対応する領域における特徴量のうち、相対的に大きい特徴量に対応する次フレームの特徴量マップを重み付けする重み係数を算出し、被写体マップ生成部７１に供給する。
【００４６】
このような構成により、被写体追尾部５５は、入力画像のフレーム毎に、被写体領域を表す被写体枠を求めることができる。
【００４７】
［被写体マップ生成部の構成例］
次に、図３を参照して、図２の被写体マップ生成部７１の構成例について説明する。
【００４８】
図３の被写体マップ生成部７１は、特徴量マップ生成部１１１、帯域特徴量マップ生成部１１２、帯域特徴量マップ合成部１１３、および合成特徴量マップ合成部１１４から構成される。
【００４９】
特徴量マップ生成部１１１は、入力画像の所定フレームから、輝度や色といった特徴に関する情報（特徴量）を示す特徴量マップを特徴量毎に生成し、帯域特徴量マップ生成部１１２に供給する。
【００５０】
帯域特徴量マップ生成部１１２は、特徴量マップ生成部１１１からの各特徴量マップにおける特徴量から、所定の帯域成分の特徴量を所定の回数だけ抽出し、抽出したそれぞれの特徴量を示す帯域特徴量マップを生成し、重み係数算出部７４および帯域特徴量マップ合成部１１３に供給する。
【００５１】
帯域特徴量マップ合成部１１３は、帯域特徴量マップ生成部１１２からの帯域特徴量マップを、重み係数算出部７４からの重み係数に基づいて特徴量毎に合成することで、合成特徴量マップを生成し、重み係数算出部７４および合成特徴量マップ合成部１１４に供給する。
【００５２】
合成特徴量マップ合成部１１４は、帯域特徴量マップ合成部１１３からの合成特徴量マップを、重み係数算出部７４からの重み係数に基づいて合成することで、被写体マップを生成し、被写体候補領域矩形化部７２（図２）に供給する。
【００５３】
ここで、以下においては、上述した帯域特徴量マップおよび合成特徴量マップを、単に、特徴量マップともいう。
【００５４】
［被写体候補領域矩形化部の構成例］
次に、図４を参照して、図２の被写体候補領域矩形化部７２の構成例について説明する。
【００５５】
図４の被写体候補領域矩形化部７２は、２値化処理部１３１、ラベリング処理部１３２、矩形領域座標算出部１３３、および領域情報算出部１３４から構成される。
【００５６】
２値化処理部１３１は、被写体マップ生成部７１から供給された被写体マップにおける、入力画像の各画素に対応する情報を、所定の閾値に基づいて０または１のいずれかの値に２値化して、ラベリング処理部１３２に供給する。ここで、以下においては、被写体マップにおいて、入力画像の各画素に対応する情報を、単に、画素ともいう。
【００５７】
ラベリング処理部１３２は、２値化処理部１３１からの、２値化された被写体マップにおいて、１の値である画素が隣接する領域（以下、連結領域という）に対してラベリングし、矩形領域座標算出部１３３に供給する。
【００５８】
矩形領域座標算出部１３３は、ラベリング処理部１３２からの、連結領域がラベリングされた被写体マップにおいて、連結領域を含む（囲む）矩形領域の座標を算出し、その座標を表す座標情報を、被写体マップとともに領域情報算出部１３４に供給する。
【００５９】
領域情報算出部１３４は、矩形領域座標算出部１３３からの被写体マップ上で座標情報により表される矩形領域に関する情報である領域情報を算出し、座標情報に対応付けて被写体領域選択部７３（図１）に供給する。
【００６０】
［被写体領域選択部の構成例］
次に、図５を参照して、被写体領域選択部７３の構成例について説明する。
【００６１】
図５の被写体領域選択部７３は、領域情報比較部１５１および被写体領域決定部１５２から構成される。
【００６２】
領域情報比較部１５１は、被写体候補領域矩形化部７２からの各矩形領域の領域情報と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域の領域情報とを比較し、比較結果を被写体領域決定部２５２に供給する。
【００６３】
被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、１フレーム前の被写体領域の領域情報に最も近い領域情報に対応付けられている座標情報で表される矩形領域を被写体領域とする。被写体領域決定部１５２は、決定した被写体領域の座標情報を制御部３５（図１）および重み係数算出部７４（図２）に供給するとともに、被写体領域の領域情報を、領域情報記憶部１５３に供給する。
【００６４】
領域情報記憶部１５３は、被写体領域決定部１５２からの、被写体領域の領域情報を記憶する。領域情報記憶部１５３に記憶された被写体領域の領域情報は、１フレーム後に、領域情報比較部１５１に読み出される。
【００６５】
［被写体追尾処理］
以下においては、画像処理装置１１の被写体追尾処理について説明する。
【００６６】
図６は、画像処理装置１１の被写体追尾処理について説明するフローチャートである。被写体追尾処理は、例えば、ボタンとしてのユーザインタフェース３８がユーザに操作されることで、画像処理装置１１の動作モードが被写体追尾処理を実行する被写体追尾処理モードに遷移し、表示部３４に表示されている入力画像において、追尾対象としての被写体の所定領域がユーザにより選択されたときに開始される。
【００６７】
ステップＳ１１において、被写体追尾部５５の被写体マップ生成部７１は、被写体マップ生成処理を行い、被写体マップを生成して、被写体候補領域矩形化部７２に供給する。
【００６８】
［被写体マップ生成処理］
ここで、図７および図８を参照して、被写体マップ生成処理の詳細について説明する。図７は、被写体マップ生成処理について説明するフローチャートであり、図８は、被写体マップ生成処理の具体例を示す図である。
【００６９】
図７のフローチャートのステップＳ３１において、被写体マップ生成部７１の特徴量マップ生成部１１１は、入力画像の所定フレームから、輝度や色等の特徴（特徴量毎）に特徴量マップを生成し、帯域特徴量マップ生成部１１２に供給する。
【００７０】
具体的には、図８に示されるように、入力画像２００から、輝度に関する情報を示す輝度情報マップＦ１、色に関する情報を示す色情報マップＦ２乃至ＦＫ、エッジに関する情報を示すエッジ情報マップＦ（Ｋ＋１）乃至ＦＭの、Ｍ種類の特徴量マップが生成される。
【００７１】
輝度情報マップＦ１においては、入力画像の各画素から得られる輝度成分（輝度信号）Ｙが、入力画像の各画素に対応する情報となり、色情報マップＦ２乃至ＦＫにおいては、入力画像の各画素から得られる色成分（色信号）Ｒ，Ｇ，Ｂが、入力画像の各画素に対応する情報となる。また、エッジ情報マップＦ（Ｋ＋１）乃至ＦＭにおいては、例えば、入力画像の各画素における０度、４５度、９０度、および１３５度の方向のエッジ強度が、入力画像の各画素に対応する情報となる。
【００７２】
なお、上述した特徴量マップについて、画素のＲ，Ｇ，Ｂの各成分の値の平均値を輝度情報マップＦ１の情報（特徴量）としてもよいし、色差成分Ｃｒ，Ｃｂや、Lab色空間におけるａ*座標成分およびｂ*座標成分を色情報マップＦ２乃至ＦＫの情報としてもよい。また、０度、４５度、９０度、および１３５度以外の方向のエッジ強度をエッジ情報マップＦ（Ｋ＋１）乃至ＦＭの情報としてもよい。
【００７３】
ステップＳ３２において、帯域特徴量マップ生成部１１２は、各特徴量マップにおける特徴量から、所定の帯域成分の特徴量をＮ回抽出し、抽出したそれぞれの特徴量を示す帯域特徴量マップを生成して、重み係数算出部７４および帯域特徴量マップ合成部１１３に供給する。
【００７４】
具体的には、図８に示されるように、輝度情報マップＦ１における輝度情報から、所定の帯域１乃至帯域Ｎの輝度情報が抽出され、その帯域それぞれの輝度情報を示す帯域輝度情報マップＲ１１乃至Ｒ１Ｎが生成される。また、色情報マップＦ２乃至ＦＫにおける色情報から、所定の帯域１乃至帯域Ｎの色情報が抽出され、その帯域それぞれの色情報を示す帯域色情報マップＲ２１乃至Ｒ２Ｎ，…，ＲＫ１乃至ＲＫＮが生成される。さらに、エッジ情報マップＦ（Ｋ＋１）乃至ＦＭにおけるエッジ情報から、所定の帯域１乃至帯域Ｎのエッジ情報が抽出され、その帯域それぞれのエッジ情報を示す帯域エッジ情報マップＲ（Ｋ＋１）１乃至Ｒ（Ｋ＋１）Ｎ，…，ＲＭ１乃至ＲＭＮが生成される。このように、帯域特徴量マップ生成部１１２は、（Ｍ×Ｎ）種類の帯域特徴量マップを生成する。
【００７５】
ここで、帯域特徴量マップ生成部１１２の処理の一例について説明する。
【００７６】
例えば、帯域特徴量マップ生成部１１２は、各特徴量マップを用いて、互いに解像度の異なる複数の特徴量マップを生成し、それらの特徴量マップをその特徴量のピラミッド画像とする。例えば、レベルＬ１乃至レベルＬ８までの８つの解像度の階層のピラミッド画像が生成され、レベルＬ１のピラミッド画像が最も解像度が高く、レベルＬ１からレベルＬ８まで順番にピラミッド画像の解像度が低くなるものとする。
【００７７】
この場合、特徴量マップ生成部１１１により生成された特徴量マップが、レベルＬ１のピラミッド画像とされる。また、レベルＬｉ（但し、１≦ｉ≦７）のピラミッド画像における、互いに隣接する４つの画素の画素値の平均値が、それらの画素と対応するレベルＬ（ｉ＋１）のピラミッド画像の１つの画素の画素値とされる。したがって、レベルＬ（ｉ＋１）のピラミッド画像は、レベルＬｉのピラミッド画像に対して縦横半分（割り切れない場合は切り捨て）の画像となる。
【００７８】
また、帯域特徴量マップ生成部１１２は、複数のピラミッド画像のうち、互いに階層の異なる２つのピラミッド画像を選択し、選択したピラミッド画像の差分を求めて各特徴量の差分画像をＮ枚生成する。なお、各階層のピラミッド画像は、それぞれ大きさ（画素数）が異なるので、差分画像の生成時には、より小さい方のピラミッド画像が、より大きいピラミッド画像に合わせてアップコンバートされる。
【００７９】
例えば、帯域特徴量マップ生成部１１２は、各階層の特徴量のピラミッド画像のうち、レベルＬ６およびレベルＬ３、レベルＬ７およびレベルＬ３、レベルＬ７およびレベルＬ４、レベルＬ８およびレベルＬ４、並びにレベルＬ８およびレベルＬ５の各階層の組み合わせのピラミッド画像の差分を求める。これにより、合計５つの特徴量の差分画像が得られる。
【００８０】
具体的には、例えば、レベルＬ６およびレベルＬ３の組み合わせの差分画像が生成される場合、レベルＬ６のピラミッド画像が、レベルＬ３のピラミッド画像の大きさに合わせてアップコンバートされる。つまり、アップコンバート前のレベルＬ６のピラミッド画像の１つの画素の画素値が、その画素に対応する、アップコンバート後のレベルＬ６のピラミッド画像の互いに隣接するいくつかの画素の画素値とされる。そして、レベルＬ６のピラミッド画像の画素の画素値と、その画素と同じ位置にあるレベルＬ３のピラミッド画像の画素の画素値との差分が求められ、その差分が差分画像の画素の画素値とされる。
【００８１】
このように、差分画像を生成することで、特徴量マップにバンドパスフィルタを用いたフィルタ処理を施すように、特徴量マップから所定の帯域成分の特徴量を抽出することができる。
【００８２】
なお、以上の説明において、特徴量マップから抽出される帯域の幅は、差分画像を求める際の、ピラミッド画像の各階層の組み合わせによって決まるが、この組み合わせは任意に決定される。
【００８３】
また、所定の帯域成分の特徴量の抽出は、上述した差分画像による手法に限らず、他の手法を用いるようにしてもよい。
【００８４】
図７のフローチャートに戻り、ステップＳ３３において、帯域特徴量マップ合成部１１３は、帯域特徴量マップ生成部１１２からの帯域特徴量マップを、重み係数算出部７４からの重み係数群ＷＲに基づいて特徴量毎に合成する。帯域特徴量マップ合成部１１３は、合成した帯域特徴量マップ（合成特徴量マップ）を、重み係数算出部７４および合成特徴量マップ合成部１１４に供給する。
【００８５】
具体的には、図８に示されるように、帯域輝度情報マップＲ１１乃至Ｒ１Ｎは、重み係数算出部７４からの帯域輝度情報マップ毎の重みである重み係数ｗ１１乃至ｗ１Ｎにより重み付き加算され、合成特徴量マップＣ１が求められる。また、帯域色情報マップＲ２１乃至Ｒ２Ｎ，…，ＲＫ１乃至ＲＫＮは、重み係数算出部７４からの帯域色情報マップ毎の重みである重み係数ｗ２１乃至ｗ２Ｎ，…，ｗＫ１乃至ｗＫＮにより重み付き加算され、合成特徴量マップＣ２乃至ＣＫが求められる。さらに、帯域エッジ情報マップＲ（Ｋ＋１）１乃至Ｒ（Ｋ＋１）Ｎ，…，ＲＭ１乃至ＲＭＮは、重み係数算出部７４からの帯域エッジ情報マップ毎の重みである重み係数ｗ（Ｋ＋１）１乃至ｗ（Ｋ＋１）Ｎ，…，ｗＭ１乃至ｗＭＮにより重み付き加算され、合成特徴量マップＣＫ＋１乃至ＣＭが求められる。このように、帯域特徴量マップ合成部１１３は、Ｍ種類の合成特徴量マップを生成する。なお、重み係数群ＷＲの詳細については後述するが、重み係数群ＷＲの各重み係数は、０乃至１の値を有する。但し、１回目の被写体マップ生成処理においては、重み係数群ＷＲの各重み係数は全て１とされ、帯域特徴量マップは、重みなしで加算される。
【００８６】
ステップＳ３４において、合成特徴量マップ合成部１１４は、帯域特徴量マップ合成部１１３からの合成特徴量マップを、重み係数算出部７４からの重み係数群ＷＣに基づいて合成することで、被写体マップを生成し、被写体候補領域矩形化部７２に供給する。
【００８７】
具体的には、図８に示されるように、合成特徴量マップＣ１乃至ＣＭは、重み係数算出部７４からの帯域輝度情報マップ毎の重みである重み係数ｗ１乃至ｗＭを用いて線形結合される。さらに、線形結合の結果得られたマップの画素値に、予め求められた重みである被写体重みが乗算され正規化されて、被写体マップ２０１を求める。なお、重み係数群ＷＣの詳細については後述するが、重み係数群ＷＣの各重み係数は、０乃至１の値を有する。但し、１回目の被写体マップ生成処理においては、重み係数群ＷＣの各重み係数は全て１とされ、合成特徴量マップは、重みなしで線形結合される。
【００８８】
つまり、これから求めようとする被写体マップ上の注目する位置（画素）を注目位置とすると、各合成特徴量マップの注目位置と同じ位置（画素）の画素値に、合成特徴量マップごとの重み係数が乗算され、重み係数の乗算された画素値の総和が、注目位置の画素値とされる。さらに、このようにして求められた被写体マップの各位置の画素値に、被写体マップに対して予め求められた被写体重みが乗算されて正規化され、最終的な被写体マップとされる。例えば、正規化は、被写体マップの各画素の画素値が、０から２５５までの間の値となるようになされる。
【００８９】
以上のようにして、被写体マップ生成部７１は、特徴量マップから、帯域特徴量マップおよび合成特徴量マップを生成することにより、被写体マップを生成する。
【００９０】
図６のフローチャートに戻り、ステップＳ１２において、被写体候補領域矩形化部７２は、被写体候補領域矩形化処理を行い、被写体マップ生成部７１からの被写体マップにおいて、被写体の候補となる領域を含む矩形領域を求める。
【００９１】
［被写体候補領域矩形化処理］
ここで、図９および図１０を参照して、被写体候補領域矩形化処理の詳細について説明する。図９は、被写体候補領域矩形化処理について説明するフローチャートであり、図１０は、被写体候補領域矩形化処理の具体例を示す図である。
【００９２】
図９のフローチャートのステップＳ５１において、被写体候補領域矩形化部７２の２値化処理部１３１は、被写体マップ生成部７１から供給された被写体マップにおける情報を、所定の閾値に基づいて０または１のいずれかの値に２値化し、ラベリング処理部１３２に供給する。
【００９３】
より具体的には、２値化処理部１３１は、図１０の上から１番目に示される、０から２５５までの間の値である被写体マップ２０１の各画素の画素値に対して、例えば、閾値１２７より小さい値の画素値を０とし、１２７より大きい値の画素値を１とする。これによって、図１０の上から２番目に示されるような２値化マップ２０２が得られる。図１０で示される２値化マップ２０２においては、白で示される部分（画素）が１の画素値を有し、黒で示される部分（画素）が０の画素値を有している。なお、ここでは、閾値を１２７であるものとしたが、他の値であってもよい。
【００９４】
ステップＳ５２において、ラベリング処理部１３２は、２値化処理部１３１から２値化マップ２０２（２値化された被写体マップ）において、例えば、モルフォロジー演算等によって得られる、１である画素値の画素が隣接する連結領域に対してラベリングし、矩形領域座標算出部１３３に供給する。
【００９５】
より具体的には、例えば、図１０の上から３番目に示されるように、２値化マップ２０２においては、連結領域２１１が、ラベル「１」でラベリングされ、連結領域２１２が、ラベル「２」でラベリングされる。
【００９６】
ステップＳ５３において、矩形領域座標算出部１３３は、ラベリング処理部１３２からの２値化マップ２０２において、連結領域を含む（囲む）矩形領域の座標を算出し、その座標を表す座標情報を、２値化マップ２０２とともに領域情報算出部１３４に供給する。
【００９７】
より具体的には、図１０の上から４番目に示されるように、２値化マップ２０２において、ラベル「１」でラベリングされた連結領域２１１を外側から囲む矩形枠（外接枠）２２１が検出され、その矩形枠の、例えば図中左上および右下の頂点の座標が求められる。また、ラベル「２」でラベリングされた連結領域２１２を外側から囲む矩形枠２２２が検出され、その矩形枠の、例えば図中左上および右下の頂点の座標が求められる。
【００９８】
ステップＳ５４において、領域情報算出部１３４は、矩形領域座標算出部１３３からの座標情報と、被写体マップ生成部７１からの被写体マップに基づいて、被写体マップ上で矩形枠に囲まれる矩形領域についての領域情報を算出する。
【００９９】
より具体的には、領域情報算出部１３４は、２値化マップ２０２における矩形枠２２１，２２２を表す、矩形領域座標算出部１３３からの座標情報に基づいて、矩形枠のサイズおよび中心位置の座標を、矩形領域についての領域情報として算出する。領域情報算出部１３４は、算出した領域情報を、矩形領域座標算出部１３３からの座標情報に対応付けて被写体領域選択部７３に供給する。
【０１００】
以上のようにして、被写体候補領域矩形化部７２は、被写体マップにおいて、注目すべき被写体の候補となる各領域を囲む矩形枠、および、被写体マップ上でその矩形枠で囲まれる領域の特徴を表す領域情報を求める。
【０１０１】
図６のフローチャートに戻り、ステップＳ１３において、被写体領域選択部７３は、被写体領域選択処理を行い、注目すべき被写体が含まれる矩形領域である被写体領域を、被写体領域選択部７３からの領域情報に基づいて矩形領域の中から選択する。
【０１０２】
［被写体領域選択処理］
ここで、図１１のフローチャートを参照して、被写体領域選択処理の詳細について説明する。
【０１０３】
ステップＳ７１において、領域情報比較部１５１は、被写体候補領域矩形化部７２からの各矩形領域の領域情報と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域の領域情報とを比較し、比較結果を被写体領域決定部１５２に供給する。
【０１０４】
より具体的には、例えば、領域情報比較部１５１は、被写体候補領域矩形化部７２からの、被写体マップ上での各矩形領域を囲む矩形枠のサイズと、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域を囲む矩形枠（被写体枠）のサイズとを比較する。また、例えば、領域情報比較部１５１は、被写体候補領域矩形化部７２からの、被写体マップ上での各矩形領域を囲む矩形枠の中心位置の座標と、領域情報記憶部１５３に記憶されている１フレーム前の被写体領域を囲む矩形枠（被写体枠）の中心位置の座標とを比較する。
【０１０５】
ステップＳ７２において、被写体領域決定部１５２は、領域情報比較部１５１からの比較結果に基づいて、１フレーム前の被写体領域を囲む矩形枠（被写体枠）のサイズまたは中心位置の座標に最も近い矩形枠のサイズまたは中心位置を有する矩形領域を被写体領域とする。被写体領域決定部１５２は、決定した被写体領域の座標情報を制御部３５および重み係数算出部７４に供給するとともに、被写体領域の領域情報（被写体枠のサイズまたは中心位置）を、領域情報記憶部１５３に供給する。
【０１０６】
但し、１回目の被写体領域選択処理において、領域情報記憶部１５３には、１フレーム前の被写体領域の領域情報は記憶されていないので、被写体追尾処理の開始時にユーザによって選択された被写体の所定領域（以下、初期選択領域という）を含む矩形領域が被写体領域とされる。
【０１０７】
以上のようにして、被写体領域選択部７３は、被写体の候補となる矩形領域の中から、注目すべき被写体の被写体領域を選択する。
【０１０８】
［重み係数の算出］
図６のフローチャートに戻り、ステップＳ１４において、重み係数算出部７４は、被写体マップ生成部７１からの帯域特徴量マップおよび合成特徴量マップと、被写体領域選択部７３からの被写体領域を表す座標情報とに基づいて、図８で示された重み係数群ＷＲ，ＷＣを算出する。
【０１０９】
より具体的には、図１２に示されるように、所定の帯域特徴量マップＲｍｎ（１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）上の、被写体領域を表す被写体枠２３１に対応する矩形領域内の特徴量（情報量）の和を被写体領域特徴量和ｒｍｎとした場合、図１３の上側に示されるような重み係数群ＷＲが算出される。
【０１１０】
図１３の重み係数群ＷＲにおける係数のそれぞれは、図８で示された重み係数ｗ１１乃至ｗＭＮのそれぞれに対応している。なお、図１３において、Max[a,…,z]は、値ａ乃至ｚのうちの最大値を表すものとする。
【０１１１】
例えば、図１３の重み係数群ＷＲにおける上から１番目の行の各係数は、図８で示された、「帯域１」である特徴量毎の帯域特徴量マップＲ１１乃至ＲＭ１についての重み係数ｗ１１乃至ｗＭ１を示している。図１３に示されるように、重み係数ｗ１１乃至ｗＭ１は、分母が帯域特徴量マップＲ１１乃至ＲＭ１それぞれについての被写体領域特徴量和ｒ１１乃至ｒＭ１のうちの最大値とされ、分子が帯域特徴量マップＲ１１乃至ＲＭ１それぞれについての被写体領域特徴量和ｒ１１乃至ｒＭ１とされる係数であり、０乃至１の値をとる。
【０１１２】
同様に、図１３の重み係数群ＷＲにおける上からＮ番目の行の各係数は、図８で示された、「帯域Ｎ」である特徴量毎の帯域特徴量マップＲ１Ｎ乃至ＲＭＮについての重み係数ｗ１Ｎ乃至ｗＭＮを示している。図１３に示されるように、重み係数ｗ１Ｎ乃至ｗＭＮは、分母が帯域特徴量マップＲ１Ｎ乃至ＲＭＮそれぞれについての被写体領域特徴量和ｒ１Ｎ乃至ｒＭＮのうちの最大値とされ、分子が帯域特徴量マップＲ１Ｎ乃至ＲＭＮそれぞれについての被写体領域特徴量和ｒ１Ｎ乃至ｒＭＮとされる係数であり、０乃至１の値をとる。
【０１１３】
すなわち、重み係数ｗ１ｎ乃至ｗＭｎによれば、「帯域ｎ」である特徴量毎の帯域特徴量マップＲ１ｎ乃至ＲＭｎにおいて、被写体領域特徴量和が最大となる特徴量の帯域特徴量マップに最大値１となる重み付けがされ、その他の帯域特徴量マップには、被写体領域特徴量和に応じた重み付けがされる。
【０１１４】
また、所定の合成特徴量マップＣｍ（１≦ｍ≦Ｍ）上の、被写体領域を表す矩形枠２２１に対応する矩形領域内の特徴量（情報量）の和を被写体領域特徴量和ｃｍとした場合、図１３の下側に示されるような重み係数群ＷＣが算出される。
【０１１５】
図１３の重み係数群ＷＣにおける係数のそれぞれは、図８で示された重み係数ｗ１乃至ｗＭのそれぞれに対応している。
【０１１６】
つまり、図１３の重み係数群ＷＣにおける各係数は、図８で示された、特徴量毎の合成特徴量マップＣ１乃至ＣＭについての重み係数ｗ１乃至ｗＭを示している。図１３に示されるように、重み係数ｗ１乃至ｗＭは、分母が合成特徴量マップＣ１乃至ＣＭそれぞれについての被写体領域特徴量和ｃ１乃至ｃＭのうちの最大値とされ、分子が合成特徴量マップＣ１乃至ＣＭそれぞれについての被写体領域特徴量和ｃ１乃至ｃＭとされる係数であり、０乃至１の値をとる。
【０１１７】
すなわち、重み係数ｗ１乃至ｗｍによれば、特徴量毎の合成特徴量マップＣ１乃至ＣＭにおいて、被写体領域特徴量和が最大となる特徴量の合成特徴量マップに最大値１となる重み付けがされ、その他の帯域特徴量マップには、被写体領域特徴量和に応じた重み付けがされる。
【０１１８】
重み係数算出部７４は、算出した重み係数群ＷＲを、被写体マップ生成部７１の帯域特徴量マップ合成部１１３に供給するとともに、重み係数群ＷＣを、被写体マップ生成部７１の合成特徴量マップ合成部１１４に供給する。図６のフローチャートにおいては、ステップＳ１４の後、次フレームについての被写体追尾処理が実行され、この処理が１フレーム毎に繰り返される。
【０１１９】
以上の処理によれば、入力画像の所定のフレームについての特徴量毎の特徴量マップにおける、そのフレームで選択された被写体領域に対応する領域の特徴量の相対的な大きさに応じて、次フレームについての特徴量毎の特徴量マップに対する重み係数が決定される。したがって、フレーム間で特徴量が変動するような場合であっても、複数の特徴量のうちの被写体を最もよく表す特徴量の特徴量マップが最も大きく重み付けされた被写体マップが生成されるので、被写体の状態が変動するような環境下でも、被写体をより安定して追尾することが可能となる。
【０１２０】
また、被写体領域は、被写体全体を含むように決定されるので、被写体の一部の領域の状態が変動するような環境下でも、被写体をより安定して追尾することができる。
【０１２１】
特に、従来の被写体追尾の手法において、被写体領域内のいずれかの座標（またはその座標を含む一部領域）が同定されるような場合では、被写体全体を追尾することができず、AF（Auto Focus）やAE（Auto Exposure）、ACC（Auto Color Control）の検波枠を正しく設定することができなかった。また、被写体領域内で特徴量が同一である同一特徴量領域が同定されるような場合では、上述の場合よりは検波枠を設定する精度を上げることができるが、同一特徴量領域は、被写体領域のごく一部に過ぎないことが多く、十分な検波精度は得られなかった。
【０１２２】
一方、上述した被写体追尾処理によれば、被写体全体を含む被写体領域を同定できるので、検波精度を上げることができ、ひいては、追尾結果を様々なアプリケーションに適用することが可能となる。
【０１２３】
また、従来の被写体追尾の手法には、例えば、人間の全体像を学習により辞書に登録する等して、人間を検出・追尾するものもあるが、辞書に登録されていない人間以外の被写体を追尾することはできない。さらに、辞書に登録される情報（画像）の量は膨大な量となるため、装置規模が大きくなってしまう。
【０１２４】
一方、上述した被写体追尾処理によれば、任意の被写体を検出・追尾することができる上に、辞書等に膨大な量の情報を登録する必要がないので、装置規模をコンパクトにすることができる。
【０１２５】
以上においては、特徴量として、輝度成分、色成分、およびエッジ方向を用いるものとしたが、これに限らず、例えば、動き情報等を加えるようにしてもよい。また、用いられる特徴量は、例えば、輝度成分と色成分のような、相補的な関係にあるものが好適であり、適宜、選択されるようにしてもよい。
【０１２６】
また、以上においては、Ｍ×（Ｎ＋１）種類の特徴量マップに対応して、Ｍ×（Ｎ＋１）種類の重み係数を算出するようにしたが、一部の特徴量マップに対応する重み係数のみを、適宜算出するようにすることで、画像処理装置１１における演算量を抑えることができる。例えば、合成特徴量マップＣ１乃至ＣＭのＭ種類の特徴量マップに対応する重み係数ｗ１乃至ｗＭのみを算出するようにしてもよい。
【０１２７】
さらに、以上においては、領域情報算出部１３４は、矩形領域の領域情報として、矩形枠のサイズおよび中心位置の座標を算出するようにしたが、矩形領域内の画素値の積分値やピーク値（最大値）を算出するようにしてもよい。この場合、被写体領域選択処理（図１１）においては、１フレーム前の被写体領域内の画素値の積分値またはピーク値に最も近い領域内の画素値の積分値またはピーク値を有する矩形領域が被写体領域とされる。
【０１２８】
ところで、画像処理装置１１が、静止画像を撮像するデジタルスチルカメラとして構成される場合、ユーザは、表示部３４に表示されている動画像（ファインダ画像）を確認しながら、所望のタイミングでシャッタ操作を行うことで、静止画像を撮像する。
【０１２９】
このように構成される画像処理装置１１には、上述した被写体追尾処理の追尾結果を適用したアプリケーションの一例として、ユーザによるシャッタ操作でなく、追尾した被写体の状態の変化に応じて、静止画像を撮像する自動シャッタ処理を実行させることができる。
【０１３０】
［制御部の機能構成例］
ここで、図１４を参照して、上述した被写体追尾処理によって追尾した被写体の状態の変化に応じて、静止画像を撮像する自動シャッタ処理を実行する制御部３５の機能構成例について説明する。
【０１３１】
図１４の制御部３５は、座標情報取得部３３１、領域形状判定部３３２、撮像制御部３３３を備えている。
【０１３２】
座標情報取得部３３１は、被写体追尾部５５（図１）から、入力画像の１フレーム毎に供給されてくる被写体領域の座標情報を取得し、領域形状判定部３３２に供給する。
【０１３３】
領域形状判定部３３２は、座標情報取得部３３１からの被写体領域の座標情報に基づいて、入力画像のフレーム間での被写体領域の形状の変化を判定する。具体的には、領域形状判定部３３２は、被写体領域の座標情報で表される、矩形領域としての被写体領域の縦横比の、フレーム間での変化を判定し、判定の結果に応じた情報を、撮像制御部３３３に供給する。
【０１３４】
撮像制御部３３３は、領域形状判定部３３２からの情報に基づいて、イメージャ３２、デジタル信号処理部３３、およびレンズ駆動部３６を制御することで、撮像レンズの駆動、絞りの調節、画像データに対する信号処理や図示せぬ記録メディアへの記録等を制御する。すなわち、撮像制御部３３３は、画像処理装置１１による撮像を制御する。
【０１３５】
［自動シャッタ処理］
次に、図１５のフローチャートを参照して、画像処理装置１１による自動シャッタ処理について説明する。
【０１３６】
ステップＳ３１１において、被写体追尾部５５は、図６のフローチャートで説明した被写体追尾処理を実行し、被写体領域の座標情報を制御部３５に供給する。
【０１３７】
ステップＳ３１２において、座標情報取得部３３１は、被写体追尾部５５からの被写体領域の座標情報を取得し、領域形状判定部３３２に供給する。
【０１３８】
ステップＳ３１３において、領域形状判定部３３２は、座標情報取得部３３１からの被写体領域の座標情報に基づいて、１フレーム毎に、入力画像における被写体領域の縦横比を監視し、フレーム間で、被写体領域の縦横比が所定の閾値より大きく変化したか否かを判定する。
【０１３９】
ステップＳ３１３において、被写体領域の縦横比が所定の閾値より大きく変化していないと判定された場合、処理はステップＳ３１１に戻り、ステップＳ３１１乃至Ｓ３１３の処理が繰り返される。
【０１４０】
一方、ステップＳ３１３において、被写体領域の縦横比が所定の閾値より大きく変化したと判定された場合、領域形状判定部３３２は、被写体領域の縦横比が所定の閾値より大きく変化した旨の情報を、撮像制御部３３３に供給する。
【０１４１】
例えば、図１６の左側に示されるように、（ｎ−１）フレーム目の入力画像において、被写体である子供が駆けていたとする。ここで、（ｎ−１）フレーム目の入力画像における被写体領域を表す被写体枠Ｈ（ｎ−１）の高さをHh(n-1)とし、幅をHw(n-1)とすると、被写体領域の縦横比P(n-1)は、Hh(n-1)/Hw(n-1)で表される。
【０１４２】
そして、図１６の右側に示されるように、ｎフレーム目の入力画像において、被写体である子供が転倒した場合、ｎフレーム目の入力画像における被写体領域の縦横比P(n)=Hh(n)/Hw(n)は、（ｎ−１）フレーム目の入力画像における被写体領域の縦横比P(n-1)と比較して変化する。
【０１４３】
このとき、領域形状判定部３３２によって、（ｎ−１）フレーム目の入力画像における被写体領域の縦横比P(n-1)と、ｎフレーム目の入力画像における被写体領域の縦横比P(n)との差|P(n)-P(n-1)|が、所定の閾値より大きいと判定されると、被写体領域の縦横比が所定の閾値より大きく変化した旨の情報が、撮像制御部３３３に供給される。
【０１４４】
図１５のフローチャートに戻り、ステップＳ３１４において、撮像制御部３３３は、領域形状判定部３３２から、被写体領域の縦横比が所定の閾値より大きく変化した旨の情報が供給されると、イメージャ３２、デジタル信号処理部３３、およびレンズ駆動部３６に、撮像を指示する情報を供給する。これにより、デジタル信号処理部３３においては、図１６に示されたｎフレーム目の入力画像に対応する画像データに対して所定の信号処理が施され、その結果得られた画像データが図示せぬ記録メディアに記録される。
【０１４５】
以上の処理によれば、被写体が含まれる被写体領域の縦横比が大きく変化したときに、静止画像が撮像される。これにより、図１６を参照して説明したような、子供が転倒した瞬間等の決定的瞬間を逃さずに撮像することができる。また、被写体追尾処理において、被写体として鳥が選択された場合には、その鳥を囲う被写体枠（被写体領域）の縦横比の変化によって、鳥が羽ばたく瞬間等を撮像することができる。このように、人以外の、表情を持たない被写体であっても、より確実にベストショット画像を得ることが可能となる。
【０１４６】
なお、上述した説明においては、被写体領域の縦横比を、（被写体領域の高さ）/（被写体領域の幅）で表すようにしたが、（被写体領域の幅）/（被写体領域の高さ）で表わすようにしてもよい。
【０１４７】
また、上述した説明においては、フレーム間での、被写体領域の縦横比の変化を判定するようにしたが、単に、フレーム間での、被写体領域の高さや幅の変化を判定するようにしてもよい。
【０１４８】
以上においては、被写体の状態が変化したときに静止画像を撮像する構成について説明したが、被写体の状態の変化が停止したときに静止画像を撮像するようにしてもよい。
【０１４９】
［制御部の他の機能構成例］
そこで、図１７を参照して、被写体の状態の変化が停止したときに静止画像を撮像する画像処理装置１１に設けられる制御部３５の機能構成例について説明する。
【０１５０】
なお、図１７の制御部３５において、図１４の制御部３５に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１５１】
すなわち、図１７の制御部３５において、図１４の制御部３５と異なるのは、領域形状判定部３３２に代えて、領域形状判定部４３１を設けた点である。
【０１５２】
領域形状判定部４３１は、座標情報取得部３３１からの被写体領域の座標情報に基づいて、被写体領域の座標情報で表される、矩形領域としての被写体領域の縦横比の、所定数フレーム間の変化を判定し、判定の結果に応じた情報を、撮像制御部３３３に供給する。
【０１５３】
［自動シャッタ処理］
次に、図１８のフローチャートを参照して、図１７の制御部３５を備える画像処理装置１１による自動シャッタ処理について説明する。
【０１５４】
なお、図１８のフローチャートのステップＳ４１１，Ｓ４１２，Ｓ４１４の処理は、図１５のフローチャートのステップＳ３１１，Ｓ３１２，Ｓ３１４の処理と基本的に同様であるので、その説明は省略する。
【０１５５】
すなわち、ステップＳ４１３において、領域形状判定部４３１は、座標情報取得部３３１からの被写体領域の座標情報に基づいて、１フレーム毎に、入力画像における被写体領域の縦横比を監視し、被写体領域の縦横比が、所定数フレーム間変化していないか否かを判定する。
【０１５６】
ステップＳ４１３において、被写体領域の縦横比が、所定数フレーム間で変化したと判定された場合、処理はステップＳ４１１に戻り、ステップＳ４１１乃至Ｓ４１３の処理が繰り返される。
【０１５７】
一方、ステップＳ４１３において、被写体領域の縦横比が、所定数フレーム間変化していないと判定された場合、領域形状判定部４３１は、被写体領域の縦横比が所定数フレーム間変化していない旨の情報を、撮像制御部３３３に供給する。
【０１５８】
例えば、（ｎ−ｑ）フレーム目からｎフレーム目までのｑフレーム間で、被写体領域の縦横比P(n-q)，・・・，P(n)の変化の幅がほとんどない場合、すなわち、被写体の状態の変化が停止したとき、被写体領域の縦横比が所定数フレーム間変化していない旨の情報が、撮像制御部３３３に供給される。これにより、撮像制御部３３３によってｎフレーム目の入力画像の撮像が指示される。
【０１５９】
以上の処理によれば、被写体が含まれる被写体領域の縦横比が所定数フレーム間変化していないときに、静止画像が撮像される。これにより、例えば、動き回って立ったりしゃがんだりを繰り返す子供の動作が止まった数秒間を逃さずに撮像することができる。また、被写体追尾処理において、被写体として鳥が選択された場合には、空中で鳥が羽ばたきを止めた数秒間を撮像することができる。このように、人以外の、表情を持たない被写体であっても、より確実にベストショット画像を得ることが可能となる。
【０１６０】
以上においては、被写体の状態の変化に応じて静止画像を撮像する構成について説明したが、この構成では、入力画像上の被写体の位置に関わらず撮像されるので、被写体が端の方にいる画像が得られてしまう。このような画像は、決してよい構図の画像とは言えない可能性が高い。
【０１６１】
［制御部のさらに他の機能構成例］
そこで、図１９を参照して、被写体の位置と、被写体の状態の変化とに応じて静止画像を撮像する画像処理装置１１に設けられる制御部３５の機能構成例について説明する。
【０１６２】
なお、図１９の制御部３５において、図１４の制御部３５に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１６３】
すなわち、図１９の制御部３５において、図１４の制御部３５と異なるのは、位置検出部５３１を新たに設けた点である。
【０１６４】
位置検出部５３１は、座標情報取得部３３１からの被写体領域の座標情報に基づいて、入力画像の所定のフレームにおける被写体の位置を検出し、その位置に応じて、座標情報取得部３３１からの被写体領域の座標情報を、領域形状判定部３３２に供給する。
【０１６５】
［自動シャッタ処理］
次に、図２０のフローチャートを参照して、図１９の制御部３５を備える画像処理装置１１による自動シャッタ処理について説明する。
【０１６６】
なお、図２０のフローチャートのステップＳ５１１，Ｓ５１２，Ｓ５１４，Ｓ５１５の処理は、図１５のフローチャートのステップＳ３１１乃至Ｓ３１４の処理と基本的に同様であるので、その説明は省略する。
【０１６７】
すなわち、ステップＳ５１３において、位置検出部５３１は、座標情報取得部３３１からの被写体領域の座標情報に基づいて、１フレーム毎に、入力画像における被写体領域の位置を監視し、被写体領域の位置が、入力画像における所定領域内にあるか否かを判定する。位置検出部５３１によって検出される被写体領域の位置は、例えば、矩形領域である被写体領域の４頂点の全ての座標であってもよいし、被写体領域の中心位置の座標であってもよい。また、所定領域は、入力画像において、入力画像の中心付近に設定されるものとする。
【０１６８】
ステップＳ５１３において、被写体領域の位置が所定領域内にないと判定された場合、処理はステップＳ５１１に戻り、ステップＳ５１１乃至Ｓ５１３の処理が繰り返される。
【０１６９】
一方、ステップＳ５１３において、被写体領域の位置が所定領域内にあると判定された場合、位置検出部５３１は、座標情報取得部３３１からの被写体領域の座標情報を、領域形状判定部３３２に供給する。
【０１７０】
これにより、図２１に示されるように、破線で示される領域Ａ内に被写体領域がある場合に、領域形状判定部３３２によって、（ｎ−１）フレーム目の入力画像における被写体領域の縦横比P(n-1)と、ｎフレーム目の入力画像における被写体領域の縦横比P(n)との差|P(n)-P(n-1)|が、所定の閾値より大きいと判定されると、被写体領域の縦横比が所定の閾値より大きく変化した旨の情報が、撮像制御部３３３に供給され、撮像制御部３３３によってｎフレーム目の入力画像の撮像が指示される。
【０１７１】
以上の処理によれば、入力画像上の所定領域内で、被写体が含まれる被写体領域の縦横比が大きく変化したときに、静止画像が撮像される。これにより、図２１に示されるような、子供が転倒した瞬間等の決定的瞬間を逃さずに、より良い構図で撮像することができる。また、被写体追尾処理において、被写体として鳥が選択された場合には、その鳥を囲う被写体枠（被写体領域）の縦横比の変化によって、鳥が羽ばたく瞬間等をより良い構図で撮像することができる。このように、人以外の、表情を持たない被写体であっても、より良い構図で、より確実にベストショット画像を得ることが可能となる。
【０１７２】
なお、以上においては、入力画像上の所定領域内で、被写体の状態が変化したときに静止画像を撮像する構成について説明したが、図１９の制御部３５において、領域形状判定部３３２に代えて、図１７の領域形状判定部４３１を設けることで、入力画像上の所定領域内で、被写体の状態の変化が停止したときに静止画像を撮像するようにもできる。
【０１７３】
また、以上においては、所定領域は、入力画像の中心付近に設定されるものとしたが、ユーザにより、入力画像上の任意の位置に設定されるようにもできる。これにより、ユーザの所望の構図の画像を撮像することができるようになる。
【０１７４】
以上においては、人物に限られない被写体の状態の変化に応じて静止画像を撮像する構成について説明したが、被写体が人物である場合、人物の顔を検出し、被写体（人物）全体と顔との関係に応じて静止画像を撮像するようにしてもよい。
【０１７５】
［画像処理装置の他の構成例］
図２２は、被写体としての人物の顔を検出し、被写体（人物）全体と顔との関係に応じて静止画像を撮像するようにした画像処理装置の構成例を示している。
【０１７６】
なお、図２２の画像処理装置６１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０１７７】
すなわち、図２２の画像処理装置６１１において、図１の画像処理装置１１と異なるのは、デジタル信号処理部３３において顔検出部６２１を新たに設け、制御部３５に代えて、制御部６２２を設けた点である。
【０１７８】
顔検出部６２１は、YC生成部５３によって生成された輝度信号および色信号からなる画像データに基づいて、画像データにより表示される入力画像において、被写体追尾部５５によって検出された被写体としての人物の被写体領域から顔を検出し、顔の領域（以下、顔領域という）を表す座標情報を制御部６２２に供給する。
【０１７９】
制御部６２２は、被写体追尾部５５からの被写体領域および顔検出部６２１からの顔領域の座標情報に基づいて、静止画像を撮像する自動シャッタ処理を実行する。
【０１８０】
［制御部の機能構成例］
ここで、図２３を参照して、制御部６２２の機能構成例について説明する。
【０１８１】
なお、図２３の制御部６２２において、撮像制御部６３３は、図１４の制御部３５における撮像制御部３３３と基本的に同様の機能を有するので、その説明は省略する。
【０１８２】
座標情報取得部６３１は、被写体追尾部５５から、入力画像の１フレーム毎に供給されてくる被写体領域の座標情報を取得するとともに、顔検出部６２１から、入力画像の１フレーム毎に供給されてくる顔領域の座標情報を取得し、領域形状判定部６３２に供給する。
【０１８３】
領域形状判定部６３２は、座標情報取得部６３１からの被写体領域および顔領域の座標情報に基づいて、被写体領域と顔領域との比の、フレーム間での変化を判定し、判定の結果に応じた情報を、撮像制御部６３３に供給する。
【０１８４】
［自動シャッタ処理］
次に、図２４のフローチャートを参照して、図２３の制御部６２２を備える図２２の画像処理装置６１１による自動シャッタ処理について説明する。
【０１８５】
なお、図２４のフローチャートのステップＳ６１１，Ｓ６１５の処理は、図１５のフローチャートのステップＳ３１１，Ｓ３１４の処理と基本的に同様であるので、その説明は省略する。
【０１８６】
すなわち、ステップＳ６１２において、顔検出部６２１は、入力画像において、被写体追尾部５５による被写体追尾処理によって検出された被写体としての人物の被写体領域から顔を検出し、顔領域を表す座標情報を制御部６２２に供給する。
【０１８７】
ステップＳ６１３において、座標情報取得部６３１は、被写体追尾部５５および顔検出部６２１からの被写体領域および顔領域の座標情報を取得し、領域形状判定部６３２に供給する。
【０１８８】
ステップＳ６１４において、領域形状判定部６３２は、座標情報取得部６３１からの被写体領域および顔領域の座標情報に基づいて、１フレーム毎に、入力画像における被写体領域と顔領域との比を監視し、フレーム間で、被写体領域と顔領域との比が所定の閾値より大きく変化したか否かを判定する。
【０１８９】
より具体的には、領域形状判定部６３２は、座標情報取得部６３１からの被写体領域および顔領域の座標情報に基づいて、フレーム間で、被写体領域を表す被写体枠Ｈの幅Hwと顔領域を表す顔枠Ｆの高さFhとの比Fh/Hwが、所定の閾値より大きく変化したか否かを判定する。
【０１９０】
ステップＳ６１４において、被写体領域と顔領域との比が所定の閾値より大きく変化していないと判定された場合、処理はステップＳ６１１に戻り、ステップＳ６１１乃至Ｓ６１４の処理が繰り返される。
【０１９１】
一方、ステップＳ６１４において、被写体領域と顔領域との比が所定の閾値より大きく変化したと判定された場合、領域形状判定部６３２は、被写体領域と顔領域との比が所定の閾値より大きく変化した旨の情報を、撮像制御部６３３に供給する。
【０１９２】
例えば、図２５の左側に示されるように、（ｎ−１）フレーム目の入力画像において、被写体である子供が駆けていた場合、被写体領域と顔領域との比Q(n-1)は、被写体領域を表す被写体枠Ｈ（ｎ−１）の幅Hw(n-1)と、顔領域を表す顔枠Ｆ（ｎ−１）の高さFh(n-1)を用いて、Fh(n-1)/Hw(n-1)で表される。
【０１９３】
そして、図２５の右側に示されるように、ｎフレーム目の入力画像において、被写体である子供が転倒した場合、ｎフレーム目の入力画像における被写体領域と顔領域との比Q(n)=Fh(n)/Hw(n)は、（ｎ−１）フレーム目の入力画像における被写体領域と顔領域との比Q(n-1)と比較して変化する。
【０１９４】
このとき、領域形状判定部６３２によって、（ｎ−１）フレーム目の入力画像における被写体領域と顔領域との比Q(n-1)と、ｎフレーム目の入力画像における被写体領域と顔領域との比Q(n)との差|Q(n)-Q(n-1)|が、所定の閾値より大きいと判定されると、被写体領域と顔領域との比が所定の閾値より大きく変化した旨の情報が、撮像制御部６３３に供給される。これにより、撮像制御部６３３によってｎフレーム目の入力画像の撮像が指示される。
【０１９５】
以上の処理によれば、被写体領域と顔領域との比が大きく変化したときに、静止画像が撮像される。これにより、図２５に示されるような、子供が転倒した瞬間等の決定的瞬間を逃さずに撮像することができ、より確実にベストショット画像を得ることが可能となる。
【０１９６】
なお、図２３の制御部６２２において、座標情報取得部６３１の後段に、図１９の位置検出部５３１を設けることで、入力画像上の所定領域内で、被写体領域と顔領域との比が大きく変化したときに静止画像を撮像するようにもできる。
【０１９７】
また、以上においては、人物である被写体の被写体領域と、人物の一部である顔の顔領域との比が変化したときに静止画像を撮像するようにしたが、被写体と、その被写体の一部とをそれぞれ検出することができれば、それぞれの領域の比の変化に応じて、人物以外の被写体を撮像するようにもできる。
【０１９８】
以上においては、被写体領域と顔領域との比が変化したときに静止画像を撮像する構成について説明したが、被写体領域と顔領域との比が、予め決められた所定値になったときに静止画像を撮像するようにしてもよい。
【０１９９】
［制御部の他の機能構成例］
そこで、図２６を参照して、被写体領域と顔領域との比が、予め決められた所定値になったときに静止画像を撮像する画像処理装置６１１に設けられる制御部６２２の構成例について説明する。
【０２００】
なお、図２６の制御部６２２において、図２３の制御部６２２に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０２０１】
すなわち、図２６の制御部６２２において、図２３の制御部６２２と異なるのは、領域形状判定部６３２に代えて、領域比比較部７３１を設けた点である。
【０２０２】
領域比比較部７３１は、座標情報取得部６３１からの被写体領域の座標情報に基づいて、入力画像の所定のフレームにおける被写体領域と顔領域との比と、予め決められた目標値とを比較し、比較の結果に応じた情報を撮像制御部６３３に供給する。なお、目標値は、ユーザによって任意に設定されるようにできる。
【０２０３】
［自動シャッタ処理］
次に、図２７のフローチャートを参照して、図２６の制御部６２２を備える図２２の画像処理装置６１１による自動シャッタ処理について説明する。
【０２０４】
なお、図２７のフローチャートのステップＳ７１１乃至Ｓ７１３，Ｓ７１５の処理は、図２４のフローチャートのステップＳ６１１乃至Ｓ６１３，Ｓ６１５の処理と基本的に同様であるので、その説明は省略する。
【０２０５】
すなわち、ステップＳ７１４において、領域比比較部７３１は、座標情報取得部６３１からの被写体領域および顔領域の座標情報に基づいて、入力画像の所定のフレームにおける被写体領域と顔領域との比と、予め決められた目標値とを比較する。
【０２０６】
より具体的には、領域比比較部７３１は、被写体領域および顔領域の座標情報に基づいて、被写体領域と顔領域との比と、目標値との差が所定の閾値より小さいか否かを判定する。
【０２０７】
ステップＳ７１４において、被写体領域と顔領域との比と、目標値との差が所定の閾値より小さくないと判定された場合、処理はステップＳ７１１に戻り、ステップＳ７１１乃至Ｓ７１４の処理が繰り返される。
【０２０８】
一方、ステップＳ７１４において、被写体領域と顔領域との比と、目標値との差が所定の閾値より小さいと判定された場合、すなわち、被写体領域と顔領域との比と目標値とが、同一または略同一になった場合、領域比比較部７３１は、被写体領域と顔領域との比と、目標値との差が所定の閾値より小さくなった旨の情報を、撮像制御部６３３に供給する。
【０２０９】
例えば、図２８の左側に示されるように、ｐフレーム目の入力画像において、被写体である子供が奥から手前へ駆けているとする。ここで、被写体領域と顔領域との比S(p)は、ｐフレーム目の入力画像における被写体領域を表す被写体枠Ｈ（ｐ）の高さHh(p)と、顔領域を表す顔枠Ｆ（ｐ）の高さFh(p)を用いて、Hh(p)/Fh(p)で表される。
【０２１０】
そして、図２８の右側に示されるように、被写体である子供が、画像処理装置６１１の至近距離に近づき、Ｎフレーム目の入力画像において、被写体領域と顔領域との比S(N)=Hh(N)/Fh(N)と目標値との差が、所定の閾値より小さいと判定されると、被写体領域と顔領域との比と、目標値との差が所定の閾値より小さくなった旨の情報が、撮像制御部６３３に供給される。これにより、撮像制御部６３３によってＮフレーム目の入力画像の撮像が指示される。
【０２１１】
以上の処理によれば、被写体領域と顔領域との比と目標値との差が所定の閾値より小さくなったときに、静止画像が撮像される。これにより、図２８に示されるような、子供が近づいてきて、撮像範囲における人物の大きさ（いわゆるショット）が、上半身を撮像するバストショットとなった瞬間を撮像することができ、より確実にベストショット画像を得ることが可能となる。
【０２１２】
また、目標値を調整することによって、全身像を撮像するフルショットや、顔を撮像するアップショット等、ユーザの好みのショットで、静止画像を撮像することができるようになる。
【０２１３】
以上においては、画像処理装置が、静止画像を撮像するデジタルスチルカメラとして構成される場合の処理について説明してきたが、動画像を撮像するデジタルビデオカメラとして構成される場合、画像処理装置には、被写体追尾処理の追尾結果を適用したアプリケーションの一例として、追尾した被写体の状態の変化に応じて、動画像における所定のフレームを特定するフレーム特定処理を実行させることができる。
【０２１４】
［画像処理装置のさらに他の構成例］
ここで、図２９を参照して、上述した被写体追尾処理によって追尾した被写体の状態の変化に応じて、動画像における所定のフレームを特定するフレーム特定処理を実行する画像処理装置の構成例について説明する。
【０２１５】
なお、図２９の画像処理装置８１１において、図１の画像処理装置１１に設けられたものと同様の機能を備える構成については、同一名称および同一符号を付するものとし、その説明は、適宜省略するものとする。
【０２１６】
すなわち、図２９の画像処理装置８１１において、図１の画像処理装置１１と異なるのは、制御部３５に代えて、制御部８２１を設けた点である。
【０２１７】
制御部８２１は、被写体追尾部５５からの被写体領域の座標情報に基づいて、動画像における所定のフレームを特定するフレーム特定処理を実行する。
【０２１８】
［制御部の機能構成例］
ここで、図３０を参照して、制御部８２１の機能構成例について説明する。
【０２１９】
なお、図３０の制御部８２１において、座標情報取得部８３１および領域形状判定部８３２は、図１４の制御部３５における座標情報取得部３３１および領域形状判定部３３２と基本的に同様の機能を有するので、その説明は省略する。
【０２２０】
フレーム特定部８３３は、領域形状判定部８３２からの情報に基づいて、デジタル信号処理部３３を制御して、デジタル信号処理部３３において信号処理が施され、図示せぬ記録メディアへ記録される入力画像の所定のフレームを特定させる。
【０２２１】
［フレーム特定処理］
次に、図３１のフローチャートを参照して、図３０の制御部８２１を備える図２９の画像処理装置８１１によるフレーム特定処理について説明する。
【０２２２】
なお、図３１のフローチャートのステップＳ８１１乃至Ｓ８１３の処理は、図１５のフローチャートのステップＳ３１１乃至Ｓ３１３の処理と基本的に同様であるので、その説明は省略する。
【０２２３】
すなわち、ステップＳ８１４において、フレーム特定部８３３は、領域形状判定部８３２から、被写体領域の縦横比が所定の閾値より大きく変化した旨の情報が供給されると、デジタル信号処理部３３を制御し、入力画像に対して、所定のフレームを特定するためのタグを付加させる。これにより、所定のフレームを特定するタグがメタデータとして付加された動画像が、図示せぬ記録メディアに記録される。
【０２２４】
以上の処理によれば、被写体が含まれる被写体領域の縦横比が大きく変化したときに、動画像においてフレームを特定するタグが付加される。これにより、記録された動画像を編集する場合などにおいて、子供が転倒した瞬間等の決定的瞬間を、簡単に検索することが可能となる。
【０２２５】
なお、以上においては、被写体領域の縦横比が大きく変化したときに、動画像においてフレームを特定する構成について説明したが、図３０の制御部８２１において、領域形状判定部８３２に代えて、図１７の領域形状判定部４３１を設けることで、入力画像上の所定領域内で、被写体の状態の変化が停止したときに動画像においてフレームを特定するようにもできる。
【０２２６】
また、図３０の制御部８２１において、座標情報取得部８３１の後段に、図１９の位置検出部５３１を設けることで、入力画像上の所定領域内で、被写体の状態が変化したときに動画像においてフレームを特定するようにもできる。
【０２２７】
さらに、画像処理装置８１１のデジタル信号処理部３３に、図２２の顔検出部６２１を設け、図３０の制御部８２１において、領域形状判定部８３２に代えて、図２３の領域形状判定部６３２を設けることで、被写体領域と顔領域との比が大きく変化したときに、動画像においてフレームを特定するようにもできる。
【０２２８】
また、被写体領域と顔領域との比が大きく変化したときに、フレーム特定部８３３が、デジタル信号処理部３３に対して、図示せぬ記録メディアへの動画像の記録を開始または終了させる指示を供給するようにしてもよい。
【０２２９】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、プログラム記録媒体からインストールされる。
【０２３０】
図３２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２３１】
コンピュータにおいて、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０２３２】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホン等よりなる入力部９０６、ディスプレイ、スピーカ等よりなる出力部９０７、ハードディスクや不揮発性のメモリ等よりなる記憶部９０８、ネットワークインタフェース等よりなる通信部９０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等のリムーバブルメディア９１１を駆動するドライブ９１０が接続されている。
【０２３３】
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０２３４】
コンピュータ（CPU９０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリ等よりなるパッケージメディアであるリムーバブルメディア９１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２３５】
そして、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０２３６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２３７】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２３８】
１１  画像処理装置，  ３４  表示部，  ３５  制御部，  ５５  被写体追尾部，  ７１  被写体マップ生成部，  ７２  被写体候補領域矩形化部，  ７３  被写体領域選択部，  ７４  重み係数算出部，  １１１  特徴量マップ生成部，  １１２  帯域特徴量マップ生成部，  １１３  帯域特徴量マップ合成部，  １１４  合成特徴量マップ合成部，  １３１  ２値化処理部，  １３２  ラベリング処理部，  １３３  矩形領域座標算出部，  １３４  領域情報算出部，  １５１  領域情報比較部，  １５２  被写体領域決定部，  ２００  入力画像，  ２０１  被写体マップ，  ２２１，２２２  矩形領域，  ２３１  被写体枠，  ３３２  領域形状判定部，  ３３３  撮像制御部，  ４３１  領域形状判定部，  ５３１  位置検出部，  ６３２  領域形状判定部，  ６３３  撮像制御部，  ７３１  領域比比較部，  ８３２  領域形状判定部，  ８３３  フレーム特定部
【図１】
0005577793.tif 000002
【図２】
0005577793.tif 000003
【図３】
0005577793.tif 000004
【図４】
0005577793.tif 000005
【図５】
0005577793.tif 000006
【図６】
0005577793.tif 000007
【図７】
0005577793.tif 000008
【図８】
0005577793.tif 000009
【図９】
0005577793.tif 000010
【図１０】
0005577793.tif 000011
【図１１】
0005577793.tif 000012
【図１２】
0005577793.tif 000013
【図１３】
0005577793.tif 000014
【図１４】
0005577793.tif 000015
【図１５】
0005577793.tif 000016
【図１６】
0005577793.tif 000017
【図１７】
0005577793.tif 000018
【図１８】
0005577793.tif 000019
【図１９】
0005577793.tif 000020
【図２０】
0005577793.tif 000021
【図２１】
0005577793.tif 000022
【図２２】
0005577793.tif 000023
【図２３】
0005577793.tif 000024
【図２４】
0005577793.tif 000025
【図２５】
0005577793.tif 000026
【図２６】
0005577793.tif 000027
【図２７】
0005577793.tif 000028
【図２８】
0005577793.tif 000029
【図２９】
0005577793.tif 000030
【図３０】
0005577793.tif 000031
【図３１】
0005577793.tif 000032
【図３２】
0005577793.tif 000033