(57)【要約】【課題】被写体を検出するための時間を短縮するとともに、被写体を精度よく検出できるようにする。【解決手段】被写体検出領域決定回路７は、被写体検出回路６から出力される信号Ｓ６、及びＣＰＵ８から出力される信号Ｓ８１を入力する。そして、信号Ｓ８１が動画記録の待機中であることを示す０である場合は、画面全体を検出領域として設定し、信号Ｓ８１が動画の記録中であることを示す１である場合は、被写体検出回路６から出力された信号Ｓ６における被写体の大きさから、検出領域の大きさを決定する。【選択図】図１
2010136204.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する画像入力手段と、
前記画像入力手段によって入力された画像データから特定の被写体を検出する被写体検出手段と、
前記被写体検出手段による検出を行う領域を決定する領域決定手段と、
前記画像入力手段によって入力された画像データを記録媒体に記録する記録手段とを有し、
前記領域決定手段は、前記記録手段による動画像データの記録中であるか否かに応じて、前記被写体の検出を行う領域の決定方法を切り換えることを特徴とする画像処理装置。
【請求項２】
前記領域決定手段は、前記記録手段による動画像データの記録中でない場合は、前記画像データの画面全体を前記被写体の検出を行う領域として決定し、前記記録手段による動画像データの記録中である場合は、前記被写体の検出を行う領域を限定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域決定手段は、前記記録手段による動画像データの記録中でない場合は、前記被写体検出手段による検出結果の履歴に基づかずに前記被写体の検出を行う領域を決定し、前記記録手段による動画像データの記録中である場合は、前記被写体検出手段による検出結果の履歴に基づいて前記被写体の検出を行う領域を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記領域決定手段は、前記記録手段による動画像データの記録中である場合は、前記被写体検出手段によって検出された被写体の大きさに応じて、被写体の検出を行う領域の大きさを決定することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記画像入力手段は、レンズと、前記レンズによって投影された被写体像から画像データを生成する撮像素子とを有することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記領域決定手段は、前記記録手段による動画像データの記録中である場合は、前記レンズの位置に応じて、被写体の検出を行う領域の大きさを決定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記領域決定手段は、前記記録手段による動画像データの記録中である場合は、電子ズームの倍率に応じて、被写体の検出を行う領域の大きさを決定することを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記被写体検出手段は、前記記録手段による動画像データの記録中である場合は、前記記録媒体に記録する画像データとは異なる画像サイズで検出を行うことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項９】
画像データを入力する画像入力工程と、
前記画像入力工程において入力された画像データから特定の被写体を検出する被写体検出工程と、
前記被写体検出工程における検出を行う領域を決定する領域決定工程と、
前記画像入力工程において入力された画像データを記録媒体に記録する記録工程とを有し、
前記領域決定工程においては、前記記録工程における動画像データの記録中であるか否かに応じて、前記被写体の検出を行う領域の決定方法を切り換えることを特徴とする画像処理方法。
【請求項１０】
画像データを入力する画像入力工程と、
前記画像入力工程において入力された画像データから特定の被写体を検出する被写体検出工程と、
前記被写体検出工程における検出を行う領域を決定する領域決定工程と、
前記画像入力工程において入力された画像データを記録媒体に記録する記録工程とをコンピュータに実行させ、
前記領域決定工程においては、前記記録工程における動画像データの記録中であるか否かに応じて、前記被写体の検出を行う領域の決定方法を切り換えるようにコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
請求項１０に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、プログラム及び記憶媒体に関し、特に、特定の被写体を検出するために用いて好適な技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラにおいては、人間の顔など特定の被写体の位置や大きさを画像認識アルゴリズムにより推定する技術が実用化されている。この特定の被写体の検出においては、予め用意されたデータベースと検出用画像とを使用したパターンマッチング等の処理を行い、特定の被写体が検出用画像に存在するかどうか検索を行っている。
【０００３】
ところが、特定の被写体を検出する処理を行うためには、複雑な演算を何度も行わなければならず、処理時間が多くかかるという問題があった。特に、被写体が動いている場面が多いと考えられる動画撮影時には、被写体の検出に時間を要することは致命的である。そこで、この問題を解決するために、例えば、特許文献１に記載のデジタルカメラのように、被写体の検出を行う領域を限定し、その領域内で被写体を検出する処理を行うことによって、被写体を検出するための処理に必要となる時間を短縮することが考えられる。
【０００４】
【特許文献１】特開２００７−１１０５７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載される従来技術では、処理時間の短縮を達成することは可能であるが、被写体の検出を行う領域が、初めに検出された被写体の位置にひっぱられてしまう。例えば、デジタルカメラやデジタルビデオカメラで動画を撮影する場合は、被写体が動いていることが多いため、主たる被写体が画面のどこにいるかは不確かであり、被写体の検出領域を初期値としてどこに設定するか決定することは難しい。
【０００６】
本発明は前述の問題点に鑑み、被写体を検出するための時間を短縮するとともに、被写体を精度よく検出できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、画像データを入力する画像入力手段と、前記画像入力手段によって入力された画像データから特定の被写体を検出する被写体検出手段と、前記被写体検出手段による検出を行う領域を決定する領域決定手段と、前記画像入力手段によって入力された画像データを記録媒体に記録する記録手段とを有し、前記領域決定手段は、前記記録手段による動画像データの記録中であるか否かに応じて、前記被写体の検出を行う領域の決定方法を切り換えることを特徴とする。
【０００８】
本発明の画像処理方法は、画像データを入力する画像入力工程と、前記画像入力工程において入力された画像データから特定の被写体を検出する被写体検出工程と、前記被写体検出工程における検出を行う領域を決定する領域決定工程と、前記画像入力工程において入力された画像データを記録媒体に記録する記録工程とを有し、前記領域決定工程においては、前記記録工程における動画像データの記録中であるか否かに応じて、前記被写体の検出を行う領域の決定方法を切り換えることを特徴とする。
【０００９】
本発明のプログラムは、画像データを入力する画像入力工程と、前記画像入力工程において入力された画像データから特定の被写体を検出する被写体検出工程と、前記被写体検出工程における検出を行う領域を決定する領域決定工程と、前記画像入力工程において入力された画像データを記録媒体に記録する記録工程とをコンピュータに実行させ、前記領域決定工程においては、前記記録工程における動画像データの記録中であるか否かに応じて、前記被写体の検出を行う領域の決定方法を切り換えるようにコンピュータに実行させることを特徴とする。
【００１０】
本発明の記憶媒体は、前記に記載のプログラムを記憶したことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、動画像データを記録している時であっても、被写体を検出するための処理に必要となる時間を短縮するとともに、被写体の検出精度を向上させることができる。
【発明を実施するための最良の形態】
【００１２】
（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る撮像装置１００の構成例を示すブロック図である。
図１において、撮像装置１００は、レンズ１、撮像素子２、ＡＦＥ（Analog Front End）３、カメラ信号処理回路４、動画記録処理回路５、被写体検出回路６、被写体検出領域決定回路７、及びＣＰＵ８を備えている。
【００１３】
レンズ１に投影されて撮像素子２に被写体像が結像されると、撮像素子２は、被写体像を光電変換により電気信号に変換してアナログ画像信号Ｓ２を生成しＡＦＥ３に出力する。撮像素子２から出力されたアナログ画像信号Ｓ２は、ＡＦＥ３内部のＡ／Ｄ変換器によりデジタル画像信号に変換され、画像信号Ｓ３として出力される。なお、レンズ１、撮像素子２及びＡＦＥ３は画像入力手段として機能する。
【００１４】
カメラ信号処理回路４は、ＡＦＥ３から出力される画像信号Ｓ３を入力し、アパーチャ補正、ガンマ補正、ホワイトバランス等の撮像系の信号処理を行い、画像信号Ｓ４として動画記録処理回路５に出力する。
【００１５】
動画記録処理回路５は、カメラ信号処理回路４から出力される画像信号Ｓ４、及びＣＰＵ８から出力される信号Ｓ８１を入力する。そして、動画像データを記録する場合は、カメラ信号処理回路４から出力された画像信号Ｓ４を不図示の記録メディア（記録媒体）に対して記録し、それ以外の状態の時には何も処理を行わないようにする。
【００１６】
被写体検出回路６は、ＡＦＥ３から出力される画像信号Ｓ３、被写体検出領域決定回路７から出力される信号Ｓ７、及びＣＰＵ８から出力される信号Ｓ８１を入力する。そして、不図示のデータベースに予め保存されている特定の画像パターンと入力された画像信号Ｓ３の画像とのパターンマッチングを行うことにより、複数の被写体の検出を行う。そして、検出された被写体の座標位置及び大きさについての情報を信号Ｓ６として出力する。
【００１７】
被写体検出領域決定回路７は、被写体検出回路６から出力される信号Ｓ６、及びＣＰＵ８から出力される信号Ｓ８１を入力する。そして、ＣＰＵ８から出力される信号Ｓ８１の状態に応じて、被写体検出回路６から出力される信号Ｓ６における被写体が検出された座標位置及び大きさから、次回の被写体検出を行う領域を算出し、信号Ｓ７として出力する。
【００１８】
ＣＰＵ８は、動画の記録中であるか否かを示す信号を信号Ｓ８１として出力する。動画の記録中である場合は信号Ｓ８１を１として出力し、動画記録の待機中である場合は、信号Ｓ８１を０として出力する。
【００１９】
以下、各ブロックの処理の詳細な内容について説明する。
動画記録処理回路５は、前述したように、カメラ信号処理回路４から出力される画像信号Ｓ４、及びＣＰＵ８から出力される信号Ｓ８１を入力する。このとき、ＣＰＵ８から出力された信号Ｓ８１が１であった場合は、動画の記録中であることを示しているので、カメラ信号処理回路４から出力される画像信号Ｓ４を記録メディアに対して記録する。一方、ＣＰＵ８から出力された信号Ｓ８１が０であった場合は、動画の記録を行っていない状態であるので、何も処理は行わず、待機する。
【００２０】
図９は、本実施形態における被写体検出回路６による被写体検出の処理手順の一例を示すフローチャートである。
図９において、ＡＦＥ３から出力される画像信号Ｓ３、被写体検出領域決定回路７から出力される信号Ｓ７、及びＣＰＵ８から出力される信号Ｓ８１を入力すると、処理を開始する。被写体を検出する際には、ＡＦＥ３から出力された画像信号Ｓ３の画像について、被写体検出領域決定回路７から出力された信号Ｓ７で指定された画像の位置、大きさに対して行う。
【００２１】
まず、ステップＳ９０１において、ＡＦＥ３から出力された画像信号Ｓ３を不図示のメモリに画像データとして保持する。次に、メモリに保持した画像データに対して、被写体検出領域決定回路７から出力された信号Ｓ７の情報に応じて、読み出し開始アドレス及び読み出し画像サイズの調整を行う。そしてデータベースに予め保存してある画像パターンとメモリから読み出した画像データとのパターンマッチングを行うことにより、複数の被写体の検出処理を開始する。
【００２２】
次に、ステップＳ９０２において、ＣＰＵ８から出力された信号Ｓ８１の判別を行う。この判別の結果、ＣＰＵ８から出力された信号Ｓ８１が１であった場合は、動画の記録中であるため、ステップＳ９０３に進み、ＡＦＥ３から出力された画像信号Ｓ３が更新された時点で検出処理を打ち切る。そして、その時点で検出されている被写体の座標及び大きさについての情報を信号Ｓ６として出力する。なお、被写体検出回路６の処理速度によっては、ＡＦＥ３から出力された画像信号Ｓ３が更新された時点では、ごく一部の領域からしか被写体の検出を行えない場合がある。このような場合は、被写体検出回路６の処理速度に応じて設定された回数だけ、画像信号Ｓ３が更新された時点で検出処理を打ち切るようにすればよい。
【００２３】
一方、ステップＳ９０２の判別の結果、ＣＰＵ８から出力された信号Ｓ８１が０であった場合は、動画記録が待機中であるため、ステップＳ９０４に進む。ＡＦＥ３から出力された画像信号Ｓ３が更新されても、被写体検出処理が終了していない場合は、メモリに保持された画像データの更新を行わないようにする。そして、ステップＳ９０４において被写体検出処理を継続し、被写体検出処理が終了した時点で、検出されている被写体の座標位置及び大きさについての情報を信号Ｓ６として出力する。なお、被写体検出処理が終了すると、次のステップＳ９０５において、ＡＦＥ３から出力される画像信号Ｓ３によりメモリに保持された画像データの更新を行う。
【００２４】
次に、ステップＳ９０６において、被写体検出処理を終了するか否かを判別する。この判別の結果、終了する場合はそのまま処理を終了し、終了しない場合は、ステップＳ９０１に戻り、再び被写体検出処理を開始する。
【００２５】
図１０は、本実施形態における被写体検出領域決定回路７による検出領域を決定する処理手順の一例を示すフローチャートである。
図１０において、被写体検出回路６から出力された信号Ｓ６、及びＣＰＵ８から出力された信号Ｓ８１を入力すると、処理を開始する。そして、ステップＳ１００１において、ＣＰＵ８から出力された信号Ｓ８１の判別を行う。
【００２６】
この判別の結果、ＣＰＵ８から出力された信号Ｓ８１が０であった場合は、動画記録が待機中であるため、ステップＳ１００２に進む。動画記録が待機中の間は、画面全体で被写体検出処理を行うため、ステップＳ１００２において、読み出し開始アドレス、及び読み出し画像サイズを、メモリに保持した画像データにおいて全画面となるように設定し、信号Ｓ７として出力する。そして、ステップＳ１００３において、被写体検出回路６から出力された信号Ｓ６を検出結果の履歴として保持しておく。履歴の保持を行う信号の数は、外部から設定された値でも、予め決められている値でもよい。
【００２７】
一方、ステップＳ１００１の判別の結果、ＣＰＵ８から出力された信号Ｓ８１が１であった場合は、動画の記録中であるため、ステップＳ１００４に進む。そして、ステップＳ１００４において、被写体検出回路６から出力された信号Ｓ６に基づいて、検出されたそれぞれの被写体の位置及び大きさから、次に出力される画像信号Ｓ３にて被写体の検出を行うための検出領域を決定する。被写体検出回路６にて複数の被写体が検出されたのであれば、その被写体の位置及び大きさに応じて、複数の検出領域が決定される。このとき、それぞれの検出領域は、対応する被写体の大きさから、図２に示す関係に従ってその大きさが決定される。そして、被写体検出回路６から出力された信号Ｓ６に含まれる被写体の座標位置の情報とともに信号Ｓ７として出力する。
【００２８】
なお、図２に示すものは一例であり、検出領域の大きさの最小値が０より大きくなっており、検出された被写体の大きさが大きくなるに従って検出領域の大きさが大きくなり、かつ、検出領域の大きさが検出された被写体の大きさよりも大きくなっていればよい。
【００２９】
次に、ステップＳ１００５において、被写体検出回路６から出力された信号Ｓ６と、保持していた検出結果の履歴との比較を行う。そして、被写体検出回路６で検出された被写体の位置及び大きさと、検出結果の履歴として保持されていた被写体の位置及び大きさを比較し、その相関値が最も高いものを同一の被写体であると判断する。この相関値には閾値を設けており、相関値がこの閾値に達する被写体が存在しない場合には、同一の被写体は存在しないと判断する。この比較の結果、検出結果の履歴に含まれている被写体のうち、今回、被写体検出回路６にて検出されなかった被写体が存在する場合は、ステップＳ１００６に進む。これは、以前は検出できていた被写体が、今回は検出できなかったことを示す。そして、ステップＳ１００６において、今回検出されなかった被写体が、被写体検出回路６から出力される信号Ｓ６に続けてＮ回以上含まれていなかったか否かを判別する。これは、被写体は静止しているとは限らないため、被写体が後ろを向いたり、他の被写体が前を横切ったりすることで、それまで検出できていた被写体が一時的に検出できなくなることがある。そこで、それまで検出できていた被写体が検出できなくなったとしても、それが一時的なものであれば、検出領域として維持することが望ましい。そのため、連続して検出できなかった回数がＮ回に達したか否かによって、検出領域として維持するか否かを切り換える。
【００３０】
この判別の結果、信号Ｓ６に含まれていない回数がＮ回未満である被写体については、検出対象の領域とするため、ステップＳ１００７に進む。そして、ステップＳ１００７において、履歴の被写体の大きさから、図２に示した関係によって、検出領域の大きさを決定し、履歴の被写体の座標位置の情報とともに信号Ｓ７に追加する。すなわち、信号Ｓ７には、被写体検出回路６で今回検出された被写体の位置及び大きさに基づく検出領域と、被写体検出回路６で今回は検出されなかったが、過去Ｎ回以内に検出された被写体の位置及び大きさに基づく検出領域が含まれる。なお、閾値とするＮ回は、外部から設定された値でも、予め決められている値でもよい。
【００３１】
一方、ステップＳ１００５の比較の結果、検出結果の履歴に含まれている結果がすべて、被写体検出回路６から出力された信号Ｓ６に含まれている場合は、ステップＳ１００８に進む。また、ステップＳ１００６の判別の結果、Ｎ回以上含まれていなかった場合も、ステップＳ１００８に進む。つまり、信号Ｓ７には、被写体検出回路６で今回検出された被写体の位置及び大きさに基づく検出領域のみが含まれる。
【００３２】
次に、ステップＳ１００８において、検出領域を決定する処理を終了するか否かを判別する。この判別の結果、終了する場合はそのまま処理を終了し、終了しない場合は、ステップＳ１００１に戻り、再び検出領域を決定する処理を開始する。
なお、被写体検出領域決定回路７は、被写体検出回路６がそれまでに一度も被写体を検出できていなかったり、検出結果の履歴にある被写体全てについてＮ回以上検出できなかったりした場合には、検出領域として初期値を設定しておく。この初期値によれば、画像信号Ｓ３が更新されるまでの間で被写体が検出できる範囲のうち最も広い面積となる領域が、画面の中央部に被写体検出領域として設定される。被写体の存在確率の高い画面中央部を中心に、なるべく広い範囲を被写体検出領域に設定することで、少しでも被写体を検出する確率を高くするためである。
【００３３】
以上のように本実施形態によれば、動画記録の待機中と動画の記録中とで被写体検出を行う領域を変更して、被写体を検出する方法を変更するようにした。動画記録の待機中は画面の広い範囲にわたってなるべく多くの被写体を検出し、それらの履歴を蓄積しておくことで、予め被写体の検出領域に適した領域を抽出することができる。そして、動画記録中は、この蓄積された情報に基づいて、検出領域を限定して被写体の検出を行うことで、被写体の検出に要する時間を向上させることができる。これにより、動画の記録中において被写体を高精度に検出するとともに、被写体を検出する処理に必要となる時間の短縮を実現することができる。
【００３４】
（第２の実施形態）
以下、本発明の第２の実施形態について、図面を参照しながら説明する。
図３は、本実施形態に係る撮像装置３００の構成例を示すブロック図である。
図３において、撮像装置３００は、レンズ１、撮像素子２、ＡＦＥ３、カメラ信号処理回路４、動画記録処理回路５、被写体検出回路６、被写体検出領域決定回路７２、ＣＰＵ８２、及びレンズ駆動制御回路９を備えている。なお、レンズ１、撮像素子２、ＡＦＥ３、カメラ信号処理回路４、動画記録処理回路５、及び被写体検出回路６については、その動作が第１の実施形態と同様なため説明を割愛する。本実施形態では、被写体検出領域決定回路７２、ＣＰＵ８２、及びレンズ駆動制御回路９についてのみ説明を行う。
【００３５】
ＣＰＵ８２は、動画記録の状態を示す信号を信号Ｓ８１として出力するとともに、レンズ駆動の制御に関する信号を信号Ｓ８２として出力する。第１の実施形態と同様に、動画の記録中であった場合は信号Ｓ８１を１として出力し、動画記録の待機中である場合は、信号Ｓ８１を０として出力する。
【００３６】
被写体検出領域決定回路７２は、被写体検出回路６から出力される信号Ｓ６及びＣＰＵ８２から出力される信号Ｓ８１及び信号Ｓ８２を入力する。ＣＰＵ８２から出力される信号Ｓ８１が０であった場合は、動画記録が待機中であることを意味しているため、次のような処理を行う。
【００３７】
動画記録が待機中の間は、図１０のステップＳ１００２と同様に、画面全体で被写体検出処理を行うため、読み出し開始アドレス、及び読み出し画像サイズを、メモリに保持した画像データにおいて全画面となるように設定し、信号Ｓ７２として出力する。また、ステップＳ１００３と同様に、被写体検出回路６から出力された信号Ｓ６を検出結果の履歴として保持しておく。履歴の保持を行う数は、外部から設定された値でも、予め決められている値でもよい。
【００３８】
一方、ＣＰＵ８２から出力された信号Ｓ８１が１であった場合は、動画の記録中であることを意味しているため、次のような処理を行う。被写体検出領域回路７２は、被写体検出回路６から出力された信号Ｓ６の検出された被写体の大きさから、図４（ａ）に示した関係に従って検出領域の大きさを決定する。そして、被写体検出回路６から出力された信号Ｓ６に含まれる被写体の座標位置の情報とともに、信号Ｓ７２として出力する。
【００３９】
図４（ａ）に示す検出領域の大きさの最小値Ａｗは、図４（ｂ）に示す関係によって決定する。また、ＣＰＵ８２から出力される信号Ｓ８２の値によって、レンズ１の位置情報を取得し、その位置情報からＡの値を求め、オフセットとして設定することによって、検出領域の大きさの設定を行う。
【００４０】
なお、図４（ａ）に示すものは一例である。検出された大きさが大きくなるに従って検出領域の大きさが大きくなり、検出された大きさが同じときにワイド側よりもテレ側の方が検出領域の大きさが大きくなっていれば、レンズ１の位置によってグラフの特性が変化していてもよい。また、図４（ｂ）に示したものも一例であり、レンズ１の位置がワイド端からテレ端方向に移動するに従って、Ａの値が大きくなるようになっていればよい。
【００４１】
次に、図１０のステップＳ１００５と同様に、被写体検出回路６から出力された信号Ｓ６と、保持していた検出結果の履歴との比較を行う。この比較の結果、検出結果の履歴に含まれている被写体のうち、被写体検出回路６にて今回は検出されなかった被写体が存在する場合は、Ｎ回連続で検出に失敗するまで、検出対象の領域として維持する。この点は第１の実施形態と同様である。
【００４２】
そして、履歴の被写体の大きさから、図４（ａ）及び図４（ｂ）に示した関係によって、検出領域の大きさを決定し、履歴の被写体の座標位置の情報とともに信号Ｓ７２として出力する。なお、閾値とするＮ回とは、外部から設定された値でも、予め決められている値でもよい。
【００４３】
一方、レンズ駆動制御回路９は、ＣＰＵ８２から出力された信号Ｓ８２を入力し、信号Ｓ８２によって、レンズ１を動かす方向及びレンズ１の移動量を算出する。そして、レンズ１を駆動するための制御信号を信号Ｓ９として出力する。
【００４４】
以上のように本実施形態によれば、動画記録の待機中と動画の記録中とで被写体検出を行う領域を変更して、被写体を検出する方法を変更し、さらに、ズームレンズの位置情報に応じて被写体を検出する領域の大きさを動的に制御するようにした。これにより、動画の記録中において被写体を高精度に検出するとともに、被写体を検出する処理に必要となる時間の短縮を実現することができる。
【００４５】
（第３の実施形態）
以下、本発明の第３の実施形態について、図面を参照しながら説明する。
図５は、本実施形態に係る撮像装置５００の構成例を示すブロック図である。
図５において、撮像装置５００は、レンズ１、撮像素子２、ＡＦＥ３、カメラ信号処理回路４、動画記録処理回路５、被写体検出回路６、被写体検出領域決定回路７３、ＣＰＵ８３、及びリサイズ処理回路１０を備えている。
【００４６】
なお、レンズ１、撮像素子２、ＡＦＥ３、カメラ信号処理回路４、及び被写体検出回路６については、その動作が第１の実施形態と同様なため説明を割愛する。また、動画記録処理回路５についても、入力される信号がリサイズ処理回路１０から出力される画像信号Ｓ１０となっただけで、その動作は第１の実施形態と同様なため説明を割愛する。本実施形態では、被写体検出領域決定回路７３、ＣＰＵ８３、及びリサイズ処理回路１０についてのみ説明を行う。
【００４７】
ＣＰＵ８３は、動画記録の状態を示す信号を信号Ｓ８１として出力するとともに、電子ズームのズーム倍率に関する信号を信号Ｓ８３として出力する。第１の実施形態と同様に、動画の記録中であった場合は、信号Ｓ８１を１として出力し、動画記録の待機中であった場合は、信号Ｓ８１を０として出力する。
【００４８】
被写体検出領域決定回路７３は、被写体検出回路６から出力される信号Ｓ６及びＣＰＵ８３から出力される信号Ｓ８１及び信号Ｓ８３を入力する。ＣＰＵ８３から出力される信号Ｓ８１が０であった場合は、動画記録が待機中であることを意味しているため、次のような処理を行う。
【００４９】
動画記録が待機中の間は、図１０のステップＳ１００２と同様に、画面全体で被写体検出処理を行うため、読み出し開始アドレス、及び読み出し画像サイズを、メモリに保持した画像データの全画面となるように設定し、信号Ｓ７３として出力する。また、ステップＳ１００３と同様に、被写体検出回路６から出力された信号Ｓ６を検出結果の履歴として保持しておく。履歴の保持を行う数は、外部から設定された値でも、予め決められている値でもよい。
【００５０】
一方、ＣＰＵ８３から出力された信号Ｓ８１が１であった場合は、動画の記録中であることを意味しているため、次のような処理を行う。図６は、本実施形態において、動画の記録中にリサイズ処理回路１０によってリサイズ処理が行われている例を示す概念図である。
【００５１】
ＣＰＵ８３から出力される信号Ｓ８３のズーム倍率が０の時は、カメラ信号処理回路４から出力される画像信号Ｓ４の画像全体を動画として記録する。このため、切り出し処理は行わず、画面全体を被写体検出領域とする。また、動画記録処理回路５で動画の記録処理を行う画像サイズは一定である。したがって、ズーム倍率が高くなるに従って、カメラ信号処理回路４から出力される画像信号Ｓ４の画像から、リサイズ処理回路１０において切り出し処理を行う画像サイズは小さくなる。そこで、ＣＰＵ８３から出力される信号Ｓ８３のズーム倍率に応じて被写体の検出領域を変化するように制御を行う。
【００５２】
ＣＰＵ８３から出力される信号Ｓ８３のズーム倍率から、図７に示した関係に従って検出領域の大きさを決定し、リサイズ処理によって切り出し画像と中央が一致する座標位置の情報とともに信号Ｓ７３として出力する。なお、図７に示したものは一例であり、ズーム倍率が高くなるに従って、検出領域が小さくなっていればよい。
【００５３】
また、被写体検出回路６から出力される信号Ｓ６を用いて、被写体の検出結果に応じて被写体検出処理の領域の大きさを変化させても同様の効果を得ることができる。被写体検出回路６から出力される信号Ｓ６における検出された被写体の大きさのうち、最も被写体が大きい検出結果から、図８に示した関係によって検出領域の大きさに乗算する係数を決定する。そして、図７に示す関係から得た検出領域の大きさに対してその係数を乗算することによって検出領域の大きさを決定し、リサイズ処理によって切り出し画像と中央が一致する座標位置の情報とともに信号Ｓ７３として出力する。
【００５４】
なお、被写体検出回路６から出力された信号Ｓ６において被写体が検出されなかった場合は、検出結果の履歴を参照する。その結果、連続してＮ回検出されていなかった場合は乗算を行わず、図７に示す関係から得られた検出領域の大きさを信号Ｓ７３として出力する。
【００５５】
一方、検出結果の履歴を参照した結果、Ｎ回以内に被写体が検出されていた場合は、検出結果の履歴から図８に示した関係によって、検出領域の大きさに乗算する係数を決定する。そして、図７に示した関係から得た検出領域の大きさに対してその係数を乗算することによって検出領域の大きさを決定し、リサイズ処理によって切り出し画像と中央が一致する座標位置の情報とともに信号Ｓ７３として出力する。なお、図８に示したものは一例であり、検出されたサイズが大きくなるに従って、係数が大きくなっていればよい。
【００５６】
なお、リサイズ処理回路１０は、カメラ信号処理回路４から出力される画像信号Ｓ４、及びＣＰＵ８３から出力される信号Ｓ８３を入力する。そして、リサイズ処理回路１０では、ＣＰＵ８３から出力される、ズーム倍率を示す信号Ｓ８３の値に応じて、カメラ信号処理回路４から出力される画像信号Ｓ４の画像の中央部分の切り出しサイズを決定する。そして、拡大処理を行って画像信号Ｓ１０として動画記録処理回路５に出力する。
【００５７】
以上のように本実施形態によれば、動画記録の待機中と動画の記録中とで被写体検出を行う領域を変更して、被写体を検出する方法を変更し、さらに、電子ズームのズーム倍率の情報に応じて検出領域の大きさを動的に制御するようにした。これにより、動画の記録中において被写体を高精度に検出するとともに、被写体を検出する処理に必要となる時間の短縮を実現することができる。
【００５８】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００５９】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００６０】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図９及び図１０に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００６１】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００６２】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００６３】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００６４】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【００６５】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００６６】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００６７】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００６８】
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態において、検出された被写体の大きさと検出領域との関係の一例を示す図である。
【図３】本発明の第２の実施形態に係る撮像装置の構成例を示すブロック図である。
【図４】本発明の第２の実施形態において、検出された被写体の大きさ、レンズの位置、及び検出領域との関係の一例を示す図である。
【図５】本発明の第３の実施形態に係る撮像装置の構成例を示すブロック図である。
【図６】本発明の第３の実施形態において、動画の記録中にリサイズ処理回路によってリサイズ処理が行われている例を示す概念図である。
【図７】本発明の第３の実施形態において、ズーム倍率と検出領域との関係の一例を示す図である。
【図８】本発明の第３の実施形態において、検出された被写体の大きさと検出領域に乗算する係数との関係の一例を示す図である。
【図９】本発明の第１の実施形態における被写体検出回路による被写体検出の処理手順の一例を示すフローチャートである。
【図１０】本発明の第１の実施形態における被写体検出領域決定回路による検出領域を決定する処理手順の一例を示すフローチャートである。
【符号の説明】
【００７０】
１  レンズ
２  撮像素子
３  ＡＦＥ
４  カメラ信号処理回路
５  動画記録処理回路
６  被写体検出回路
７  被写体検出領域決定回路
８  ＣＰＵ
１００  撮像装置
【図１】
2010136204.tif 000003
【図２】
2010136204.tif 000004
【図３】
2010136204.tif 000005
【図４】
2010136204.tif 000006
【図５】
2010136204.tif 000007
【図６】
2010136204.tif 000008
【図７】
2010136204.tif 000009
【図８】
2010136204.tif 000010
【図９】
2010136204.tif 000011
【図１０】
2010136204.tif 000012