(57)【要約】  時系列的に撮像された第１の画像および第２の画像の合焦状態の特徴量を取得する特徴量取得部と、第１の画像および第２の画像それぞれを複数の画像領域に分割し、画像領域ごとに特徴量の頻度分布を求める演算部と、画像領域ごとに、第１の画像と第２の画像との頻度分布の差分を計算し、差分した頻度分布に基づいて被写体の動きを検出する動き検出部と、を備える。
2012093663.tif 000002
【特許請求の範囲】
【請求項１】
時系列的に撮像された第１の画像および第２の画像の合焦状態の特徴量を取得する特徴量取得部と、
前記第１の画像および第２の画像それぞれを複数の画像領域に分割し、前記画像領域ごとに前記特徴量の頻度分布を求める演算部と、
前記画像領域ごとに、前記第１の画像と前記第２の画像との前記頻度分布の差分を計算し、差分した前記頻度分布に基づいて被写体の動きを検出する動き検出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記動き検出部は、前記差分した頻度分布のうち、第１の閾値以下の前記特徴量および前記第１の閾値より大きい第２の閾値以上の前記特徴量の頻度の変化量に基づいて、前記被写体の動きを検出する
ことを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記第１の画像および第２の画像において前記被写体を認識する被写体認識部を備え、
前記動き検出部は、前記差分した頻度分布と認識された前記被写体に対応する領域の大きさとに基づいて、前記被写体の動きの方向を検出する
ことを特徴とする画像処理装置。
【請求項４】
請求項１または請求項２に記載の画像処理装置において、
前記動き検出部は、処理対象の画像領域と周辺の画像領域とにおける前記頻度分布の相関に基づいて前記被写体に対応する領域の大きさを求め、前記差分した頻度分布と前記被写体に対応する領域の大きさとに基づいて、前記被写体の動きの方向を検出することを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
前記特徴量取得部は、標本化関数に基づいて決定したフィルタを用いて前記特徴量を取得することを特徴とする画像処理装置。
【請求項６】
請求項２に記載の画像処理装置において、
前記第１の画像および第２の画像を新たな教師データとして用い学習し、前記第１の閾値および前記第２の閾値の値を更新する閾値学習部を備える
ことを特徴とする画像処理装置。
【請求項７】
請求項２または請求項６に記載の画像処理装置において、
シーンごとに前記第１の閾値および前記第２の閾値の値を記憶する記憶部と、
前記第１の画像および第２の画像に撮像されたシーンを認識するシーン認識部と、
認識された前記シーンに応じて、前記第１の閾値および第２の閾値の値を設定する閾値設定部と、を備える
ことを特徴とする画像処理装置。
【請求項８】
撮像された第１の画像と第２の画像との合焦状態を示す情報を取得する取得部と、
前記第１の画像及び第２の画像の対応する領域において、それぞれの合焦状態を比較する比較手段と、
前記比較手段の合焦状態の比較結果に基づいて、被写体の動きを検出する動き検出部とを備えることを特徴とする画像処理装置。
【請求項９】
被写体を撮像して画像を生成する撮像部と、
請求項１ないし請求項８のいずれか１項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項１０】
時系列的に撮像された第１の画像および第２の画像を入力する入力手順、
前記第１の画像および第２の画像の合焦状態の特徴量を取得する特徴量取得手順、
前記第１の画像および第２の画像それぞれを複数の画像領域に分割し、前記画像領域ごとに前記特徴量の頻度分布を求める演算手順、
前記画像領域ごとに、前記第１の画像と前記第２の画像との前記頻度分布の差分を計算し、差分した前記頻度分布に基づいて被写体の動きを検出する動き検出手順、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１１】
撮像された第１の画像と第２の画像との合焦状態を示す情報を取得する取得手順、
前記第１の画像及び第２の画像の対応する領域において、それぞれの合焦状態を比較する比較手順、
前記比較手順の合焦状態の比較結果に基づいて、被写体の動きを検出する動き検出手順、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の動きを検出することができる画像処理装置、撮像装置および画像処理プログラムに関する。
【背景技術】
【０００２】
従来、動画などのように時系列的に連続して撮像された画像から、被写体の動きを検出するために、例えば、オプティカルフローの手法を用いて行われる（特許文献１など参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１３４６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、オプティカルフローなどの手法による被写体の動きを検出する従来技術では、膨大な演算量が必要となり、回路規模が増大し時間が掛かるという問題がある。【０００５】
上記従来技術が有する問題に鑑み、本発明の目的は、回路規模を増大させることなく、高速かつ精度よく被写体の動きを検出することができる技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明を例示する画像処理装置の一態様は、時系列的に撮像された第１の画像および第２の画像の合焦状態の特徴量を取得する特徴量取得部と、第１の画像および第２の画像それぞれを複数の画像領域に分割し、画像領域ごとに特徴量の頻度分布を求める演算部と、画像領域ごとに、第１の画像と第２の画像との頻度分布の差分を計算し、差分した頻度分布に基づいて被写体の動きを検出する動き検出部と、を備える。【０００７】
また、動き検出部は、差分した頻度分布のうち、第１の閾値以下の特徴量および第１の閾値より大きい第２の閾値以上の特徴量の頻度の変化量に基づいて、被写体の動きを検出してもよい。【０００８】
また、第１の画像および第２の画像において被写体を認識する被写体認識部を備え、動き検出部は、差分した頻度分布と認識された被写体に対応する領域の大きさとに基づいて、被写体の動きの方向を検出してもよい。【０００９】
また、動き検出部は、処理対象の画像領域と周辺の画像領域とにおける頻度分布の相関に基づいて被写体に対応する領域の大きさを求め、差分した頻度分布と被写体に対応する領域の大きさとに基づいて、被写体の動きの方向を検出してもよい。【００１０】
また、特徴量取得部は、標本化関数に基づいて決定したフィルタを用いて特徴量を取得してもよい。【００１１】
また、第１の画像および第２の画像を新たな教師データとして用い学習し、第１の閾値および第２の閾値の値を更新する閾値学習部を備えてもよい。【００１２】
また、シーンごとに第１の閾値および第２の閾値の値を記憶する記憶部と、第１の画像および第２の画像に撮像されたシーンを認識するシーン認識部と、認識されたシーンに応じて、第１の閾値および第２の閾値の値を設定する閾値設定部と、を備えてもよい。【００１３】
本発明を例示する画像処理装置の他の態様は、撮像された第１の画像と第２の画像との合焦状態を示す情報を取得する取得部と、第１の画像及び第２の画像の対応する領域において、それぞれの合焦状態を比較する比較手段と、比較手段の合焦状態の比較結果に基づいて、被写体の動きを検出する動き検出部とを備える。【００１４】
本発明を例示する撮像装置の一態様は、被写体を撮像して画像を生成する撮像部と、本発明の画像処理装置と、を備える。【００１５】
本発明を例示する画像処理プログラムの一態様は、時系列的に撮像された第１の画像および第２の画像を入力する入力手順、第１の画像および第２の画像の合焦状態の特徴量を取得する特徴量取得手順、第１の画像および第２の画像それぞれを複数の画像領域に分割し、画像領域ごとに特徴量の頻度分布を求める演算手順、画像領域ごとに、第１の画像と第２の画像との頻度分布の差分を計算し、差分した頻度分布に基づいて被写体の動きを検出する動き検出手順、をコンピュータに実行させる。【００１６】
本発明を例示する画像処理プログラムの別の態様は、撮像された第１の画像と第２の画像との合焦状態を示す情報を取得する取得手順、第１の画像及び第２の画像の対応する領域において、それぞれの合焦状態を比較する比較手順、比較手順の合焦状態の比較結果に基づいて、被写体の動きを検出する動き検出手順、をコンピュータに実行させる。【００１７】
本発明によれば、回路規模を増大させることなく、高速かつ精度よく被写体の動きを検出することができる。
【図面の簡単な説明】
【００１８】
【図１】一の実施形態に係るデジタルカメラの構成の一例を示すブロック図
【図２】フレームとのたたみ込み演算を行うフィルタの一例を示す図
【図３】現フレームと過去フレームとの頻度分布およびその差分の一例を示す図
【図４】一の実施形態に係るデジタルカメラによる処理動作の一例を示すフローチャート
【図５】他の実施形態に係るデジタルカメラの構成の一例を示すブロック図
【図６】他の実施形態に係るデジタルカメラによる処理動作の一例を示すフローチャート
【発明を実施するための形態】
【００１９】
《一の実施形態》
図１は、本発明の一の実施形態に係るデジタルカメラの構成の一例を示すブロック図である。
【００２０】
本実施形態のデジタルカメラは、撮像光学系１１、撮像素子１２、ＤＦＥ１３、ＣＰＵ１４、メモリ１５、操作部１６、モニタ１７、メディアインタフェース（メディアＩ／Ｆ）１８を有する。ＤＦＥ１３、メモリ１５、操作部１６、モニタ１７、メディアＩ／Ｆ１８は、それぞれＣＰＵ１４に接続される。
【００２１】
撮像素子１２は、撮像光学系１１を通過した光束によって結像される被写体像を撮像するデバイスである。この撮像素子１２の出力はＤＦＥ１３に入力される。なお、本実施形態の撮像素子１２は、順次走査方式の固体撮像素子（ＣＣＤなど）であっても、ＸＹアドレス方式の固体撮像素子（ＣＭＯＳなど）であってもよい。
【００２２】
また、撮像素子１２の受光面には、複数の受光素子がマトリックス状に配列されている。撮像素子１２の各受光素子には、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子１２の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。これにより、撮像素子１２はカラーの画像を取得できる。
【００２３】
ここで、デジタルカメラによる撮像において、撮像素子１２は操作部１６のレリーズ釦の全押し操作に応答して上記カラーの画像（本画像）を撮像する。また、撮影モードでの撮像素子１２は、撮像待機時にも所定間隔毎に構図確認用画像（スルー画像）を撮像する。このスルー画像のデータは、撮像素子１２から間引き読み出しで出力される。なお、スルー画像のデータは、後述するように、モニタ１７での画像表示や、ＣＰＵ１４による各種の演算処理に使用される。
【００２４】
ＤＦＥ１３は、撮像素子１２から入力される画像信号のＡ／Ｄ変換や、欠陥画素補正などの信号処理を行うデジタルフロントエンド回路である。このＤＦＥ１３は、本実施形態において撮像素子１２とともに撮像部を構成し、撮像素子１２より入力される画像信号を画像データとしてＣＰＵ１４に出力する。
【００２５】
ＣＰＵ１４は、デジタルカメラの各部を統括的に制御するプロセッサである。例えば、ＣＰＵ１４は、撮像素子１２の出力に基づいて、公知のコントラスト検出によるオートフォーカス（ＡＦ）制御や公知の自動露出（ＡＥ）演算などをそれぞれ実行する。また、ＣＰＵ１４は、ＤＥＦ１３からの画像データに対して、補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理、色変換処理などのデジタル処理を施す。
【００２６】
さらに、本実施形態のＣＰＵ１４は、画像処理プログラムの実行により、特徴量取得部２０、ノイズ除去部２１、顔認識部２２、演算部２３、動き検出部２４として動作する。
【００２７】
特徴量取得部２０は、デジタルカメラにより撮像されたスルー画像や動画のフレームに対し、標本化関数に基づいて決定される係数の配列からなるフィルタによる畳み込み演算を行い、合焦状態を示す特徴量を算出する。ここで、本実施形態では、標本化関数として次式（１）に示す点広がり関数（Point Spread Function、ＰＳＦ）を用い、そのＰＳＦに基づいて決定された、例えば、図２に示すような係数の配列のフィルタを用いる。
【００２８】
【数１】
2012093663.tif 000003
【００２９】
なお、ＰＳＦとして、被写界深度内の合焦点付近での微小なボヤケを捉えることができる程度の小さな径のものを用いるのがよく、フィルタの大きさは、３ピクセル×３ピクセルや５ピクセル×５ピクセルなどとするのが好ましい。
【００３０】
特徴量取得部２０は、図２に示すフィルタによる、フレームの注目画素の画素位置を中心とする３ピクセル×３ピクセルの大きさの領域の画素値に対する畳み込み演算により、注目画素における合焦状態を示す特徴量（以下、「利得」という）を取得する。ここで、被写界深度内に位置する画素は、大きな利得の値（高利得）を有し、被写界深度外に位置する画素は、小さな利得の値（低利得）を有する。特徴量取得部２０は、利得を画素値とするフレームを出力する。
【００３１】
ノイズ除去部２１は、特徴量取得部２０から出力されたフレームに対して、例えば、モルフォロジ処理などの公知のノイズ除去の手法を適用し、特に、スパイク状のノイズを除去する。
【００３２】
顔認識部２２は、被写体認識部として、フレームに顔認識処理を適用して、撮像された人物（被写体）の顔を認識する。この顔認識処理は公知のアルゴリズムによって行われる。一例として、顔認識部２２は、公知の特徴点抽出処理によって、眉，目，鼻，唇の各端点などの特徴点をフレームから抽出し、これらの特徴点に基づいて顔領域か否かを判定する。あるいは、顔認識部２２は、予め用意された顔画像等と判定対象のフレームとの相関係数を求め、この相関係数が一定の閾値を超えるときに顔領域と判定してもよい。
【００３３】
演算部２３は、フレームをＭ×Ｎ個の画像領域に分割し、画像領域ごとに利得の頻度分布を求める。ここで、Ｍ、Ｎは自然数とする。
【００３４】
動き検出部２４は、画像領域ごとに、現フレーム（第１の画像）と１つ前の過去フレーム（第２の画像）との利得の頻度の差分を計算し、差分した頻度分布に基づいて被写体の動きを検出する。例えば、処理対象の画像領域において、現フレームと過去フレームとの利得の頻度分布が図３（ａ）に示すような場合、差分した頻度分布は、図３（ｂ）に示すようになる。なお、本実施形態では、閾値Ｔｈ１（第１の閾値）以下の利得を低利得とし、閾値Ｔｈ２（第２の閾値）以上の利得を高利得とする。
【００３５】
図３（ｂ）に示すように、低利得の頻度が増加し、高利得の頻度が減少した場合、動き検出部２４は、被写体が、画面上を動いて処理対象の画像領域から隣接する画像領域へ出て行く、または被写界深度内から被写界深度外へ視線方向に移動する「アウト」の動きとして検出する。また、低利得の頻度が減少し、高利得の頻度が増加した場合、動き検出部２４は、被写体が、画面上を動いて隣接する画像領域から処理対象の画像領域に入って来る、または被写界深度外から被写界深度内へ視線方向に移動する「イン」の動きとして検出する。さらに、動き検出部２４は、後述するように、顔認識部２２の顔認識結果を用いることで、被写体の動きの検出とともにその動きの方向の検出も行う。
【００３６】
なお、閾値Ｔｈ１およびＴｈ２は、例えば、１０００〜１００００のサンプル画像を教師データとして公知の学習手法に適用して、学習することにより予め決められた値であるとする。
【００３７】
メモリ１５は、フレームの画像データや閾値Ｔｈ１、Ｔｈ２とともに、ＣＰＵ１４によって実行される制御プログラムや画像処理プログラムなどの各種プログラムを記憶する不揮発性の半導体メモリである。
【００３８】
操作部１６は、例えば、撮像モードの切換設定の入力や、静止画、連写または動画の撮像指示などをユーザから受け付ける。
【００３９】
モニタ１７は、液晶モニタなどのモニタであり、ＣＰＵ１４の制御指示によって各種画像を表示する。
【００４０】
メディアＩ／Ｆ１８には、不揮発性の記憶媒体１９を着脱可能に接続できる。そして、メディアＩ／Ｆ１８は、記憶媒体１９に対してデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体１９の一例としてメモリカードを図示する。
【００４１】
次に、図４のフローチャートを参照しつつ、本実施形態に係るデジタルカメラによる処理動作について説明する。なお、以下の説明において、処理対象となる画像は、スルー画像とする。
【００４２】
ＣＰＵ１４は、ユーザによりデジタルカメラの電源投入指示（例えば、操作部１６に含まれる電源釦の押し操作など）を受け付けると、制御プログラムおよび画像処理プログラムを実行する。これらの制御プログラムおよび画像処理プログラムは、例えば、メモリ１５に記録されている。ＣＰＵ１４は、撮像素子１２にスルー画像の撮像を開始させ、モニタ１７に表示する。ＣＰＵ１４は、ステップＳ１０１からの処理を開始する。
【００４３】
ステップＳ１０１：ＣＰＵ１４は、撮像素子１２によって撮像されたスルー画像を、現フレーム（第１の画像）としてＤＦＥ１３から読み込む。同時に、ＣＰＵ１４は、現フレームの１つ前に撮像され不図示の内部メモリに記録されたスルー画像を過去フレーム（第２の画像）として読み込む。
【００４４】
ステップＳ１０２：特徴量取得部２０は、現フレームおよび過去フレームのそれぞれに対し、図２に示すようなフィルタによる畳み込み演算を行い、注目画素における利得を取得する。特徴量取得部２０は、利得からなる現フレームおよび過去フレームを出力する。
【００４５】
ステップＳ１０３：ノイズ除去部２１は、特徴抽出部２０から出力された現フレームおよび過去フレームに対し、ノイズ除去処理を施す。
【００４６】
ステップＳ１０４：顔認識部２２は、現フレームおよび過去フレームそれぞれに対して、顔検出処理を行う。顔認識部２２は、フレームごとに、認識された顔領域を顔データとして内部メモリ（不図示）に記録する。
【００４７】
ステップＳ１０５：演算部２３は、現フレームおよび過去フレームそれぞれをＭ×Ｎ個の画像領域に分割し、画像領域ごとに利得の頻度分布を求める。
【００４８】
ステップＳ１０６：動き検出部２４は、画像領域ごとに、現フレームと過去フレームとの頻度分布の差分を計算し、差分した頻度分布に基づいて被写体が動いたか否かを判定する。すなわち、動き検出部２４は、例えば、図３（ｂ）に示すように、低利得および高利得の頻度の変化量が０でない場合、その画像領域の被写体は動いたと判定する。一方、動き検出部２４は、低利得および高利得の頻度の変化量が０の場合、被写体は動いていないと判定する。動き検出部２４は、全ての画像領域について判定し、被写体の動きが検出された画像領域を抽出し内部メモリ（不図示）に記録する。
【００４９】
ステップＳ１０７：動き検出部２４は、ステップＳ１０６において動き検出された被写体と、ステップＳ１０４において顔認識された被写体とが同一被写体か否かを判定する。動き検出部２４は、顔認識された被写体の顔領域が、動き検出された画像領域と一致するか否かを判定する。動き検出部２４は、一致する場合、動き検出された被写体は、顔認識された被写体であると判定する。ＣＰＵ１４は、動き検出された被写体の顔領域を、例えば、モニタ１７にハイライト表示する。ＣＰＵ１４は、ステップＳ１０８（ＹＥＳ側）へ移行する。
【００５０】
一方、動き検出部２４は、一致しない場合、動き検出された被写体は、顔認識された被写体ではなく、背景の樹木などであると判定し、ＣＰＵ１４は、ステップＳ１０１（ＮＯ側）へ移行する。
【００５１】
ステップＳ１０８：動き検出部２４は、検出結果および顔認識結果に基づいて、被写体の動きを特定する。動き検出部２４は、被写体の顔領域の大きさが、現フレームと過去フレームとにおいて変化したか否かを判定する。動き検出部２４は、顔領域の大きさが増加する場合、被写体は視線方向でデジタルカメラの方に向かって来る向きの動きであると特定する。一方、動き検出部２４は、顔領域の大きさが減少する場合、被写体は視線方向でデジタルカメラから離れる向きの動きであると特定する。
【００５２】
一方、動き検出部２４は、顔領域の大きさが変化しなかった場合、被写体は画面上を移動する動きであると特定する。
【００５３】
なお、動き検出部２４は、例えば、各フレームにおける顔領域の重心位置を求め、その重心位置が現フレームと過去フレームとで変化した向きを、画面上の動きの向きとして特定してもよい。
【００５４】
ＣＰＵ１４は、得られた動き検出の結果を、公知の背景推定や主要被写体推定の手法に適用し、例えば、背景と主要被写体とを分離する。ＣＰＵ１４は、その主要被写体の画像領域において、ＡＦ制御、ＡＥ演算、オートホワイトバランス（ＡＷＢ）演算やカラープロセス制御などを行ったり、または、その主要被写体の物体認識処理を行ったりする。
【００５５】
ステップＳ１０９：ＣＰＵ１４は、ユーザより撮像指示（例えば、操作部１６に含まれるレリーズ釦の全押し操作など）を受け付けたか否かを判定する。ＣＰＵ１４は、撮像指示を受け付けていない場合、現フレームを過去フレームとしてメモリ１５に記録し、ステップＳ１０１（ＮＯ側）へ移行する。一方、ＣＰＵ１４は、撮像指示を受け付けた場合、ステップＳ１１０（ＹＥＳ側）へ移行する。
【００５６】
ステップＳ１１０：ＣＰＵ１４は、主要被写体の撮像を行う。なお、動画撮像の場合、ＣＰＵ１４は、動画の撮像中、スルー画像の場合と同様に、動画の各フレームについて現フレームおよび過去フレームとし、ステップＳ１０１からステップＳ１０８と同様の処理を行うのが好ましい。ＣＰＵ１４は、その撮像の間、主要被写体に対して、上記ＡＦ制御などを行うとともに、被写体追尾、電子手振れ制御、オートズームなどを行うのが好ましい。そして、ＣＰＵ１４は、撮像終了指示を受け付けた場合、一連の処理を終了する。
【００５７】
このように、本実施形態では、各フレームに対して、標本化関数に基づいて決定したフィルタによる畳み込み演算を行い、画像領域ごとに利得の頻度分布を求め、フレーム間の利得の頻度分布の差分に基づいて被写体の動きを検出することにより、オプティカルフローなどの従来技術と比べて少ない演算量で、高速かつ精度よく被写体の動きを検出することができる。
【００５８】
また、演算量が少ないことから、デジタルカメラの回路規模の増大を回避することができる。
【００５９】
さらに、上記検出結果と顔認識結果とを合わせることにより、容易に被写体の動きを３次元的に検出することができる。
《他の実施形態》
図５は、本発明の他の実施形態に係るデジタルカメラの構成の一例を示すブロック図である。本実施形態に係るデジタルカメラにおいて、図１に示す一の実施形態に係るデジタルカメラの構成と同一のものについては、同一の符号を付し詳細な説明は省略する。
【００６０】
本実施形態に係るデジタルカメラと一の実施形態のものとの相違点は、顔認識部２２が省略され、動き検出部２４が、現フレームおよび過去フレームそれぞれにおいて、処理対象の画像領域と周辺の画像領域とにおける利得の頻度分布の相関を計算し、その相関結果に基づいて被写体を認識する。
【００６１】
そこで、図６のフローチャートを参照しつつ、本実施形態に係るデジタルカメラによる処理動作について説明する。なお、以下の説明において、一の実施形態の場合と同様に、処理対象となる画像は、スルー画像とする。
【００６２】
ＣＰＵ１４は、ユーザによりデジタルカメラの電源投入指示（例えば、操作部１６に含まれる電源釦の押し操作など）を受け付けると、制御プログラムおよび画像処理プログラムを実行する。これらの制御プログラムおよび画像処理プログラムは、例えば、メモリ１５に記録されている。ＣＰＵ１４は、撮像素子１２にスルー画像の撮像を開始させ、モニタ１７に表示する。ＣＰＵ１４は、ステップＳ２０１からの処理を開始する。
【００６３】
ステップＳ２０１：ＣＰＵ１４は、撮像素子１２によって撮像されたスルー画像を、現フレームとしてＤＦＥ１３から読み込む。同時に、ＣＰＵ１４は、現フレームの１つ前に撮像され不図示の内部メモリに記録されたスルー画像を過去フレームとして読み込む。
【００６４】
ステップＳ２０２：特徴量取得部２０は、現フレームおよび過去フレームのそれぞれに対し、図２に示すようなフィルタによる畳み込み演算を行い、注目画素における利得を取得する。特徴量取得部２０は、利得からなる現フレームおよび過去フレームを出力する。
【００６５】
ステップＳ２０３：ノイズ除去部２１は、特徴抽出部２０から出力された現フレームおよび過去フレームに対し、ノイズ除去処理を施す。
【００６６】
ステップＳ２０４：演算部２３は、現フレームおよび過去フレームそれぞれをＭ×Ｎ個の画像領域に分割し、画像領域ごとに利得の頻度分布を求める。
【００６７】
ステップＳ２０５：動き検出部２４は、現フレームおよび過去フレームそれぞれにおいて、注目画像領域とその周辺の画像領域との頻度分布、特に、高利得の頻度分布の形状に対する相関から同一被写体か否かを判定する。すなわち、動き検出部２４は、高利得の頻度分布における相関係数が所定値以上の場合、注目画像領域とその周辺の画像領域との被写体は同一であると判定する。一方、動き検出部２４は、高利得の頻度分布における相関係数が所定値より小さい場合、注目画像領域とその周辺の画像領域との被写体は異なると判定する。そして、動き検出部２４は、現フレームおよび過去フレーム全ての画像領域について相関処理を行い、同一被写体と判定された画像領域を抽出し内部メモリ（不図示）に記録する。
【００６８】
なお、動き検出部２４は、同一被写体か否かの判定にあたり、例えば、被写体が有する色成分情報なども合わせて行うのが好ましい。また、本実施形態では、同一被写体と判定された画像領域の大きさを、相関処理により認識された被写体の大きさとする。
【００６９】
ステップＳ２０６：動き検出部２４は、画像領域ごとに、現フレームと過去フレームとの頻度分布の差分を計算し、差分した頻度分布に基づいて被写体が動いたか否かを判定する。すなわち、動き検出部２４は、例えば、図３（ｂ）に示すように、低利得および高利得の頻度の変化量が０でない場合、その画像領域の被写体は動いたと判定する。一方、動き検出部２４は、低利得および高利得の頻度の変化量が０の場合、被写体は動いていないと判定する。動き検出部２４は、全ての画像領域について判定し、被写体の動きが検出された画像領域を抽出し内部メモリ（不図示）に記録する。
【００７０】
ステップＳ２０７：動き検出部２４は、ステップＳ２０６において動き検出された被写体と、ステップＳ２０５において認識された被写体とが同一被写体か否かを判定する。動き検出部２４は、相関処理により認識された被写体の画像領域が、動き検出された画像領域と一致するか否かを判定する。動き検出部２４は、一致する場合、動き検出された被写体は、相関処理により認識された被写体であると判定する。ＣＰＵ１４は、動き検出された被写体の画像領域を、例えば、モニタ１７にハイライト表示する。ＣＰＵ１４は、ステップＳ２０８（ＹＥＳ側）へ移行する。
【００７１】
一方、動き検出部２４は、一致しない場合、動き検出された被写体は、相関処理により認識された被写体ではなく、背景の樹木などであると判定し、ＣＰＵ１４は、ステップＳ２０１（ＮＯ側）へ移行する。
【００７２】
ステップＳ２０８：動き検出部２４は、検出結果および相関結果に基づいて、被写体の動きを特定する。動き検出部２４は、相関処理により認識された被写体の大きさが、現フレームと過去フレームとにおいて変化したか否かを判定する。動き検出部２４は、被写体の大きさが増加する場合、被写体は視線方向でデジタルカメラの方に向かって来る向きの動きであると特定する。一方、動き検出部２４は、被写体の大きさが減少する場合、被写体は視線方向でデジタルカメラから離れる向きの動きであると特定する。一方、動き検出部２４は、被写体の大きさが変化しなかった場合、被写体は画面上を移動する動きであると特定する。
【００７３】
なお、動き検出部２４は、各フレームにおける相関処理により認識された被写体の画像領域の重心位置を求め、その重心位置が現フレームと過去フレームとで変化した向きを、画面上の動きの向きとして特定してもよい。
【００７４】
ＣＰＵ１４は、得られた動き検出の結果を、公知の背景推定や主要被写体推定の手法に適用し、例えば、背景と主要被写体とを分離する。ＣＰＵ１４は、その主要被写体の画像領域において、ＡＦ制御、ＡＥ演算、オートホワイトバランス（ＡＷＢ）演算やカラープロセス制御などを行ったり、または、その主要被写体の物体認識処理を行ったりする。
【００７５】
ステップＳ２０９：ＣＰＵ１４は、ユーザより撮像指示（例えば、操作部１６に含まれるレリーズ釦の全押し操作など）を受け付けたか否かを判定する。ＣＰＵ１４は、撮像指示を受け付けていない場合、現フレームを過去フレームとしてメモリ１５に記録し、ステップＳ２０１（ＮＯ側）へ移行する。一方、ＣＰＵ１４は、撮像指示を受け付けた場合、ステップＳ２１０（ＹＥＳ側）へ移行する。
【００７６】
ステップＳ２１０：ＣＰＵ１４は、主要被写体の撮像を行う。なお、動画撮像の場合、ＣＰＵ１４は、動画の撮像中、スルー画像の場合と同様に、動画の各フレームについて現フレームおよび過去フレームとし、ステップＳ２０１からステップＳ２０８と同様の処理を行うのが好ましい。ＣＰＵ１４は、その撮像の間、主要被写体に対して、上記ＡＦ制御などを行うとともに、被写体追尾、電子手振れ制御、オートズームなどを行うのが好ましい。そして、ＣＰＵ１４は、撮像終了指示を受け付けた場合、一連の処理を終了する。
【００７７】
このように、本実施形態では、各フレームに対して、標本化関数に基づいて決定したフィルタによる畳み込み演算を行い、画像領域ごとに利得の頻度分布を求め、フレーム間の利得の頻度分布の差分に基づいて被写体の動きを検出することにより、オプティカルフローなどの従来技術と比べて少ない演算量で、高速かつ精度よく被写体の動きを検出することができる。
【００７８】
また、演算量が少ないことから、デジタルカメラの回路規模の増大を回避することができる。
【００７９】
さらに、上記検出結果と相関結果とを合わせることにより、容易に被写体の動きを３次元的に検出することができる。
《実施形態の補足事項》
（１）上記実施形態では、特徴量取得部２０、ノイズ除去部２１、顔認識部２２、演算部２３、動き検出部２４の各処理を、ＣＰＵ１４がソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いてこれらの各処理をハードウエア的に実現してもよい。
【００８０】
（２）本発明の画像処理装置は、上記実施形態のデジタルカメラの例に限定されない。例えば、動画をコンピュータに読み込ませ、コンピュータに画像処理プログラムを実行させることにより、コンピュータを本発明の画像処理装置として動作させてもよい。
【００８１】
（３）上記実施形態では、特徴抽出部２０が求めた利得の値をそのまま用いて処理したが、本発明はこれに限定されない。例えば、特徴抽出部２０は、図２に示すようなフィルタを用いて求めた利得の値を、フレームにおける利得の最大値で正規化したものを利得としてもよい。これにより、デジタルカメラが、たとえ同じシーンを撮像している場合であっても、例えば、晴れから曇りに変わることによって、明るさが変化して利得が変化するために、見かけ上被写体が動いたとする誤検出を回避することができる。
【００８２】
（４）上記実施形態では、閾値Ｔｈ１およびＴｈ２は固定値としたが、本発明はこれに限定されない。例えば、ＣＰＵ１４は、現フレームおよび過去フレームを新たな教師データとして用いて学習することにより、閾値Ｔｈ１およびＴｈ２の値を更新してもよい。
【００８３】
また、メモリ１５は、閾値Ｔｈ１およびＴｈ２の値として、夜景やポートレートなどの撮像シーンに応じたものを記憶し、ＣＰＵ１４は、フレームに撮像されたシーンを認識し、そのシーン認識結果に応じて使用する閾値Ｔｈ１およびＴｈ２の値を決定し設定してもよい。この場合、ＣＰＵ１４は、現フレームおよび過去フレームを新たな教師データとして用いて学習する際、現フレームおよび過去フレームのシーンを認識し、認識されたシーンの閾値Ｔｈ１およびＴｈ２の値を更新することが好ましい。
【００８４】
（５）上記実施形態では、図２に示すようなフィルタとして、標本化関数の１つであるＰＳＦにより決定された係数の配列を用いたが、本発明はこれに限定されない。例えば、正規分布関数やラプラス関数などを用いて決定した係数の配列をフィルタとして用いてもよい。
【００８５】
（６）上記実施形態では、現フレームおよび過去フレームそれぞれをＭ×Ｎ個の画像領域に分割し、画像領域ごとに利得の頻度分布を求めた（ステップＳ１０５）。しかし、演算部２３は、現フレーム、過去フレームのそれぞれの一部の領域の利得の頻度分布を求めてもよい。その際には、演算部２３は、現フレームと過去フレームとの対応する領域の利得の頻度分布を求めるとよい。
【００８６】
（７）上記実施形態、実施形態の補足において、利得の頻度分布を求める領域は、厳密に一致していなくてもよい。
【００８７】
（８）上記実施形態では、動きを検出するのに、画像領域ごとに頻度分布を求め、頻度分布の差分を計算したが、必ずしも差分を計算しなくてもよい。例えば、現フレーム及び過去のフレームの対応する領域において、それぞれの合焦状態を比較して、その合焦状態の比較結果（合焦状態の変化）に基づいて、被写体の動きを検出することとしてもよい。
【００８８】
（９）上記実施形態のおける図４、図６のフローチャートで示した制御プログラムおよび画像処理プログラムは、デジタルカメラやパーソナルコンピュータにダウンロードして実行されることとしてもよい。また、ＣＤ、ＤＶＤ、ＳＤカード、その他の半導体メモリ等の記録媒体に記録して、カメラやパーソナルコンピュータで実行されることとしてもよい。
【００８９】
以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神及び権利範囲を逸脱しない範囲で前述のような実施形態の特徴点及び利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良及び変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物及び均等物によることも可能である。
【符号の説明】
【００９０】
１１…撮像光学系、１２…撮像素子、１３…ＤＥＦ、１４…ＣＰＵ、１５…メモリ、１６…操作部、１７…モニタ、１８…メディアＩ／Ｆ、１９…記憶媒体、２０…特徴量取得部、２１…ノイズ除去部、２２…顔認識部、２３…演算部、２４…動き検出部
【図１】
2012093663.tif 000004
【図２】
2012093663.tif 000005
【図３】
2012093663.tif 000006
【図４】
2012093663.tif 000007
【図５】
2012093663.tif 000008
【図６】
2012093663.tif 000009
【国際調査報告】
2012093663.tif 000010
2012093663.tif 000011