(57)【要約】【課題】被写体の動静状態を判定すること。【解決手段】テンプレートマッチング部１０４ａは、入力画像の各フレームと、複数のテンプレート画像とのテンプレートマッチングを行って、複数のテンプレート画像の中から入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレートとして選択し、入力画像の所定領域を合致領域として抽出する。被写体追跡部１０４ｃは、抽出された合致領域内の画像について、フレーム間での動きを追跡することによって、複数フレームの画像間で被写体の動きを追跡する。被写体動静状態判定部１０４ｄは、各テンプレート画像が選択された回数に基づいて、被写体が動状態にあるか静状態にあるかを判定する。【選択図】図１
2009188480.tif 000002
【特許請求の範囲】
【請求項１】
時系列で入力される複数の入力画像間で被写体の動きを追跡するための被写体追跡プログラムであって、
コンピュータに、
前記入力画像と、複数のテンプレート画像とのテンプレートマッチングを行って、前記複数のテンプレート画像の中から前記入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレートとして選択し、前記入力画像の前記所定領域を合致領域として抽出するテンプレートマッチング手順と、
前記テンプレートマッチング手順によって抽出された前記合致領域内の画像について、複数の前記入力画像間での動きを追跡することによって、複数の前記入力画像間で被写体の動きを追跡する被写体追跡手順と、
前記テンプレートマッチング手順によって、各テンプレート画像が前記選択テンプレート画像として選択された回数に基づいて、被写体が動状態にあるか静状態にあるかを判定する動静状態判定手順とを実行させるための被写体追跡プログラム。
【請求項２】
請求項１に記載の被写体追跡プログラムにおいて、
前記複数のテンプレート画像は、追跡対象とする被写体を異なる時刻に撮影した複数の画像のそれぞれから被写体を含む範囲内を抽出した画像であることを特徴とする被写体追跡プログラム。
【請求項３】
請求項１または２に記載の被写体追跡プログラムにおいて、
前記動静状態判定手順による判定結果に基づいて、被写体追跡中における自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理の実行タイミングを決定する制御手順をさらに備えることを特徴とする被写体追跡プログラム。
【請求項４】
請求項３に記載の被写体追跡プログラムにおいて、
前記制御手順は、被写体追跡の開始時点に前記自動焦点調整処理、前記自動露出調整処理、および前記自動ホワイトバランス調整処理を実行し、被写体追跡中は、所定時間間隔で前記動静状態判定手順による判定結果を監視し、前記動静状態判定手順によって被写体が動状態であると判定された場合には、前記自動焦点調整処理、前記自動露出調整処理、および前記自動ホワイトバランス調整処理を実行し、前記動静状態判定手順によって被写体が静状態であると判定された場合には、前記自動焦点調整処理、前記自動露出調整処理、および前記自動ホワイトバランス調整処理の実行を停止することを特徴とする被写体追跡プログラム。
【請求項５】
請求項１〜４のいずれか一項に記載の被写体追跡プログラムを実行する実行手段を備えることを特徴とする被写体追跡装置。
【請求項６】
画像を撮像する撮像手段と、
請求項１〜４のいずれか一項に記載の被写体追跡プログラムを実行する実行手段とを備え、
前記実行手段は、前記撮像手段で撮像され、時系列で入力される複数の入力画像間で被写体の動きを追跡して、被写体の動静状態を判定することを特徴とするカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数フレーム間で被写体を追跡するための被写体追跡プログラム、被写体追跡装置、およびカメラに関する。
【背景技術】
【０００２】
次のようなデジタルカメラが知られている。このデジタルカメラは、現在画像信号と以前画像信号との差分に基づいて、両画像信号間での動き変化量を算出する。そして、算出した動き変化量に基づいて、シャッタースピードを決定する（例えば、特許文献１）。
【０００３】
【特許文献１】特開平１１−８８７６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のデジタルカメラでは、現在画像信号と以前画像信号との差分に基づいて動き変化量を算出するため、被写体が動いたのかカメラが動いたのかを判別することができず、被写体の動静状態を正確に検出することはできなかった。
【課題を解決するための手段】
【０００５】
本発明による被写体追跡プログラムは、時系列で入力される複数の入力画像間で被写体の動きを追跡するための被写体追跡プログラムであって、コンピュータに、入力画像と、複数のテンプレート画像とのテンプレートマッチングを行って、複数のテンプレート画像の中から入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレートとして選択し、入力画像の所定領域を合致領域として抽出するテンプレートマッチング手順と、テンプレートマッチング手順によって抽出された合致領域内の画像について、複数の入力画像間での動きを追跡することによって、複数の入力画像間で被写体の動きを追跡する被写体追跡手順と、テンプレートマッチング手順によって、各テンプレート画像が選択テンプレート画像として選択された回数に基づいて、被写体が動状態にあるか静状態にあるかを判定する動静状態判定手順とを実行させることを特徴とする。
複数のテンプレート画像は、追跡対象とする被写体を異なる時刻に撮影した複数の画像のそれぞれから被写体を含む範囲内を抽出した画像であることが好ましい。
動静状態判定手順による判定結果に基づいて、被写体追跡中における自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理の実行タイミングを決定する制御手順をさらに備えるようにしてもよい。
制御手順は、被写体追跡の開始時点に自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理を実行し、被写体追跡中は、所定時間間隔で動静状態判定手順による判定結果を監視し、動静状態判定手順によって被写体が動状態であると判定された場合には、自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理を実行し、動静状態判定手順によって被写体が静状態であると判定された場合には、自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理の実行を停止するようにしてもよい。
本発明による被写体追跡装置は、上記いずれかの被写体追跡プログラムを実行する実行手段を備えることを特徴とする、
本発明によるカメラは、画像を撮像する撮像手段と、上記いずれかの被写体追跡プログラムを実行する実行手段とを備え、実行手段は、撮像手段で撮像され、時系列で入力される複数の入力画像間で被写体の動きを追跡して、被写体の動静状態を判定することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、被写体の動静状態を正確に検出することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本実施の形態における被写体追跡装置としてカメラを使用した場合の一実施の形態の構成を示すブロック図である。カメラ１００は、入力スイッチ１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。
【０００８】
入力スイッチ１０１は、使用者によって操作される種々の入力部材を含んでいる。例えば、この入力スイッチ１０１には、レリーズボタンやデジタルカメラ１００を操作するための種々の操作ボタンが含まれる。
【０００９】
レンズ１０２は、複数の光学レンズ群から構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳであり、レンズ１０２を通して入力される被写体像を撮像して、撮像した画像データを制御装置１０４へ出力する。なお、本実施の形態におけるカメラ１００においては、撮像素子１０３は、使用者による入力スイッチ１０１に含まれるレリーズボタンが押下されることにより被写体像の撮像を行う。このとき、レリーズボタンが押下された時点の１フレームの画像を静止画像として撮像することもでき、また、レリーズボタンが押下されてから次にレリーズボタンが押下されるまでの間、被写体像を所定の時間間隔で連続して複数フレーム撮像することによって、動画像を撮影することもできる。
【００１０】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、撮像素子１０３から入力される画像データ（静止画像データまたは動画像データ）をモニタ１０６に出力して表示し、さらにメモリカードスロット１０５に挿入されているメモリカード内に記憶する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
【００１１】
制御装置１０４はまた、テンプレートマッチング部１０４ａと、テンプレート更新部１０４ｂと、被写体追跡部１０４ｃと、被写体動静状態判定部１０４ｄとを機能的に有している。そして、これらの各部による処理によって、撮像素子１０３から動画像データが入力された場合に、動画像データを構成する各フレームの画像内に存在する被写体をフレーム間で追跡することができる。以下、撮像素子１０３から動画像データが入力された場合のフレーム間での被写体追跡処理について説明する。
【００１２】
テンプレートマッチング部１０４ａは、テンプレートマッチング処理の基準となる複数のテンプレート画像と、撮像素子１０３から時系列で入力される各フレームの画像データ（ターゲット画像）とのマッチング演算を行う。テンプレートマッチングの手法は公知であるため詳細な説明は省略するが、例えば相互相関法や残差逐次検定法などの手法を用いればよい。
【００１３】
すなわち、テンプレートマッチング部１０４ａは、ターゲット画像上にテンプレート画像とのマッチングを行うための矩形枠をターゲット領域として設定し、ターゲット領域の位置をターゲット画像内で所定量ずつ、例えば１画素ずつ移動させながらそれぞれの位置におけるターゲット領域内の画像とテンプレート画像との類似度を算出する。そして、テンプレートマッチング部１０４ａは、ターゲット画像全体に対してテンプレートマッチング処理を実行した結果、ターゲット画像内でテンプレート画像との類似度が最も高い所定領域、すなわち矩形枠を抽出する。
【００１４】
テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果に基づいて、テンプレート画像を更新する。
【００１５】
被写体追跡部１０４ｃは、テンプレートマッチング部１０４ａによって抽出された領域をフレーム間で追跡することによって、撮像素子１０３から入力される動画像データ内での追跡対象の被写体を追跡する。
【００１６】
被写体動静状態判定部１０４ｄは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果に基づいて、追跡対象の被写体の動静状態、すなわち、被写体が激しく動いている状態（動状態）にあるか、静止している状態、または動きが少ない状態（静状態）にあるかを判定する。なお、制御装置１０４が備える各要素による処理の詳細については、後述する。
【００１７】
本実施の形態では、テンプレート画像として、追跡対象とする被写体を異なる時刻に撮影した複数の画像のそれぞれから被写体を含む範囲内を抽出した画像を用いる。この追跡対象とする被写体を含む画像は使用者によってあらかじめ撮影されて準備されているものとする。具体的には撮像素子１０３から入力される動画像内に含まれる主要被写体の画像として、人物の顔の画像や特定の物体の画像などを異なる時間に撮影した画像が準備される。
【００１８】
例えば、図２に示すように、ターゲット画像２ａ内の電車の動きをフレーム間で追跡する場合には、使用者は被写体としての電車を異なる時刻に撮影した３枚の画像２ｂ〜２ｄをテンプレート画像としてあらかじめ準備しておく。このとき、異なる時刻に撮影されたテンプレート画像２ｂ〜２ｄのうち、最も古い時刻に撮影されたテンプレート画像２ｂを「ＯＬＤ」、その次の古い時刻に撮影されたテンプレート画像２ｃを「ＣＵＲＲＥＮＴ」、最新の時刻に撮影されたテンプレート画像２ｄを「ＮＥＷ」と設定する。
【００１９】
なお、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」は、後述するテンプレート更新部１０４ｂによるテンプレート更新処理において、更新を行う対象を明確にするために便宜的に付与した名称であり、各テンプレート画像の名称は必ずしもこれに限定されるものではない。また、テンプレート更新処理における「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の役割については、後述する。
【００２０】
テンプレート画像として被写体を異なる時刻に撮影した複数枚の画像をあらかじめ用意することができない場合には、被写体を撮影した１枚の画像を用いて複数枚のテンプレート画像を擬似的に作成してもよい。例えば、被写体を撮影した１枚の画像を拡大・縮小することにより複数枚のテンプレート画像を擬似的に作成してもよく、被写体を撮影した１枚の画像の濃度を変更することにより複数枚のテンプレート画像を擬似的に作成してもよい。
【００２１】
被写体を撮影した１枚の画像を拡大・縮小することにより複数枚のテンプレート画像を擬似的に作成する場合には、被写体を撮影した１枚の画像そのものを「ＣＵＲＲＥＮＴ」とし、「ＣＵＲＲＥＮＴ」を所定の倍率で拡大または縮小した画像を「ＯＬＤ」とし、「ＯＬＤ」とは異なる倍率で「ＣＵＲＲＥＮＴ」を拡大または縮小した画像を「ＮＥＷ」とすればよい。
【００２２】
また、被写体を撮影した１枚の画像の濃度を変更することにより複数枚のテンプレート画像を擬似的に作成する場合には、被写体を撮影した１枚の画像そのものを「ＣＵＲＲＥＮＴ」とし、「ＣＵＲＲＥＮＴ」を明るくした画像を「ＯＬＤ」、「ＣＵＲＲＥＮＴ」を暗くした画像を「ＮＥＷ」とするなどすればよい。また、これ以外の方法により複数枚のテンプレート画像を擬似的に作成してもよい。
【００２３】
テンプレートマッチング部１０４ａは、撮像素子１０３から動画像データの入力が開始されると、各フレームの画像をターゲット画像２ａとし、このターゲット画像２ａと「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の３枚のテンプレート画像のそれぞれとをマッチング処理してテンプレートマッチングを行う。例えば、ターゲット領域が図２に示すターゲット領域Ａに示す位置にある場合には、そのときのターゲット領域Ａ内の画像と、「ＯＬＤ」２ｂ、「ＣＵＲＲＥＮＴ」２ｃ、および「ＮＥＷ」２ｄとをテンプレートマッチング処理する。
【００２４】
そして、テンプレートマッチング部１０４ａは、ターゲット画像２ａ全体に対してテンプレートマッチング処理を実行した結果、ターゲット画像２ａ内で「ＯＬＤ」２ｂとの類似度が最も高いターゲット領域、「ＣＵＲＲＥＮＴ」２ｃとの類似度が最も高いターゲット領域、および「ＮＥＷ」２ｄとの類似度が最も高いターゲット領域をそれぞれ検出する。そして、これらの中でターゲット領域との類似度が最も高いテンプレート画像を選択テンプレート画像として選択し、そのときのターゲット領域を合致領域として抽出する。
【００２５】
このとき、動画像データに含まれる追跡対象の被写体が動いている場合には、被写体の形状がフレーム間で変化することとなり、あらかじめ準備したテンプレート画像をそのまま使用した場合には、被写体形状の変化に伴って各テンプレート画像とターゲット領域内の画像との類似度が次第に低下していくことになる。このため、被写体追跡部１０４ｃによる被写体追跡の精度が次第に低下していく可能性が高い。
【００２６】
したがって、テンプレート更新部１０４ｂは、被写体の動きに応じてテンプレート画像を逐次更新することによって、被写体の形状が時々刻々変化する場合でもテンプレートマッチング部１０４ａによるテンプレートマッチングの精度を向上させて、被写体追跡部１０４ｃが精度高く物体の追跡を行えるようにする。具体的にはテンプレート更新部１０４ｂは、次のようなテンプレート更新処理を実行する。
【００２７】
すなわち、テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果に基づいて、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の内、少なくとも１枚を更新する。なお、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像は、処理開始時には上述したようにあらかじめ撮影された画像、または擬似的に作成された画像が設定されているが、テンプレート更新処理が実行されることによって、次の（Ａ）〜（Ｃ）に示すテンプレート画像に置き換えられ、逐次更新されていくことになる。
【００２８】
（Ａ）「ＣＵＲＲＥＮＴ」（現テンプレート画像）
「ＣＵＲＲＥＮＴ」としては、直近のテンプレート更新時に選択された選択テンプレート画像が設定される。
（Ｂ）「ＯＬＤ」（旧選択テンプレート画像）
「ＯＬＤ」としては、直近のテンプレート更新時に（Ａ）の「ＣＵＲＲＥＮＴ」が設定されるまでの間「ＣＵＲＲＥＮＴ」に設定されていたテンプレート画像が設定される。すなわち、一世代前の「ＣＵＲＲＥＮＴ」が「ＯＬＤ」として設定される。
（Ｃ）「ＮＥＷ」（新テンプレート画像）
「ＮＥＷ」としては、直近のテンプレート更新時に、ターゲット画像２ａ上で「ＣＵＲＲＥＮＴ」に設定されたテンプレート画像と最も類似度が高いと判定されたターゲット領域内の画像、すなわち上述した合致領域内の画像が取り込まれて設定される。
【００２９】
テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果が、以下に説明する所定の条件を満たす場合にのみ、（Ａ）〜（Ｃ）の条件に合致する画像を各テンプレート画像として更新する。具体的には次の（ａ）〜（ｃ）に示すようにテンプレート画像の更新処理を行う。
【００３０】
（ａ）テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、ターゲット画像２ａ内で「ＣＵＲＲＥＮＴ」との類似度が最も高いターゲット領域が上述した合致領域として抽出された場合の処理（選択テンプレート画像として「ＣＵＲＲＥＮＴ」が選択された場合の処理）
この場合には、テンプレート更新部１０４ｂは、テンプレート画像の更新は行わずに、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の設定を維持する。すなわち、前回のテンプレート更新時に最も類似度が高いと判定されたテンプレート画像が現在も最も類似度が高いと判定されていることから、被写体の動きが少なくテンプレート画像の更新の必要はないと判断して、テンプレート画像の更新は行わない。
【００３１】
（ｂ）テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、ターゲット画像２ａ内で「ＯＬＤ」との類似度が最も高いターゲット領域が合致領域として抽出された場合の処理（選択テンプレート画像として「ＯＬＤ」が選択された場合の処理）
この場合には、テンプレート更新部１０４ｂは、所定回数以上、例えば７回以上「ＯＬＤ」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば、一致を表す類似度が１であり、不一致を示す類似度が０である場合には、類似度の平均が０．８以上であるか否かを判断する。そして、テンプレート更新部１０４ｂは、上記更新条件を満たさないと判断した場合には、今までのテンプレート画像の更新は行わずに、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の設定を維持する。
【００３２】
これに対して、テンプレート更新部１０４ｂは、上記更新条件を満たすと判断した場合には、次のようにテンプレート画像を更新する。すなわち、今まで「ＯＬＤ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、今まで「ＣＵＲＲＥＮＴ」として設定されていたテンプレート画像を「ＯＬＤ」に設定する。これによって、最も類似度が高いと判定されたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、一世代前の「ＣＵＲＲＥＮＴ」を「ＯＬＤ」として設定することができる。同時にテンプレート更新部１０４ｂは、このときにターゲット画像２ａ上で更新前の「ＯＬＤ」との類似度が最も高いと判定されたターゲット領域内の画像、すなわち合致領域内の画像を取り込んで新たに「ＮＥＷ」に設定する。
【００３３】
（ｃ）テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、ターゲット画像２ａ内で「ＮＥＷ」との類似度が最も高いターゲット領域が合致領域として選択された場合の処理（選択テンプレート画像として「ＮＥＷ」が選択された場合の処理）
この場合には、テンプレート更新部１０４ｂは、所定回数以上、例えば７回以上「ＮＥＷ」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるか否かを判断する。そして、テンプレート更新部１０４ｂは、上記更新条件を満たさないと判断した場合には、今までのテンプレート画像の更新は行わずに、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の設定を維持する。
【００３４】
これに対して、テンプレート更新部１０４ｂは、上記更新条件を満たすと判断した場合には、次のようにテンプレート画像を更新する。すなわち、今まで「ＮＥＷ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、今まで「ＣＵＲＲＥＮＴ」として設定されていたテンプレート画像を「ＯＬＤ」に設定する。これによって、最も類似度が高いと判定されたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、一世代前の「ＣＵＲＲＥＮＴ」を「ＯＬＤ」として設定することができる。同時にテンプレート更新部１０４ｂは、このときにターゲット画像２ａ上で更新前の「ＮＥＷ」との類似度が最も高いと判定されたターゲット領域内の画像、すなわち合致領域内の画像を取り込んで新たに「ＮＥＷ」に設定する。
【００３５】
このようにテンプレート画像を更新することによって、被写体の動きに応じた形状の変化に対応して、精度の高いテンプレートマッチング処理を行うことができる。また、「ＯＬＤ」または「ＮＥＷ」が所定回数以上連続して選択され、かつその間の類似度の平均が所定の類似度以上である場合にのみテンプレート画像の更新を行うようにしたので、フレームごとにテンプレート画像の更新を行う従来の手法と比較して、テンプレート画像の更新頻度を抑えて安定したテンプレートマッチング処理を行うことができる。
【００３６】
例えば、６００フレームの静止画で構成される動画像を従来の手法により各フレームごとにテンプレート画像を更新した場合には、６００回のテンプレート画像の更新が発生するが、本実施の形態による手法を使用することにより、テンプレート画像の更新回数を３０回程度まで減らすことが可能となり、処理の負荷を低減することができる。
【００３７】
被写体動静状態判定部１０４ｄは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理によって、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像がそれぞれ何回ずつ選択されたかをカウントする。例えば、被写体動静状態判定部１０４ｄは、テンプレートマッチング処理が開始される前に、各テンプレート画像の選択回数をカウントするためのカウンタを制御装置１０４が備えるＳＤＲＡＭ内に生成し、各カウンタのカウント値の初期値を０としておく。そして、被写体動静状態判定部１０４ｄは、テンプレートマッチング部１０４ａによっていずれかのテンプレート画像が選択される度に、選択されたテンプレート画像用に生成したカウンタのカウンタ値に１を加算する。
【００３８】
すなわち、被写体動静状態判定部１０４ｄは、テンプレートマッチング部１０４ａによって、「ＯＬＤ」が選択された場合には、「ＯＬＤ」用のカウンタ（ＯＬＤカウンタ）のカウンタ値に１を加算する。被写体動静状態判定部１０４ｄは、テンプレートマッチング部１０４ａによって、「ＣＵＲＲＥＮＴ」が選択された場合には、「ＣＵＲＲＥＮＴ」用のカウンタ（ＣＵＲＲＥＮＴカウンタ）のカウンタ値に１を加算する。被写体動静状態判定部１０４ｄは、テンプレートマッチング部１０４ａによって、「ＮＥＷ」が選択された場合には、「ＮＥＷ」用のカウンタ（ＮＥＷカウンタ）のカウンタ値に１を加算する。
【００３９】
そして、被写体動静状態判定部１０４ｄは、所定のタイミングで、上記カウント値に基づいて被写体の動静状態を判定する。ここでいう「所定のタイミング」については、後述する。被写体動静状態判定部１０４ｄは、具体的には、次式（１）により算出される動静係数を用いて、被写体の動静状態を判定する。
動静係数  ＝  （ＯＬＤカウンタのカウント値＋ＮＥＷカウンタのカウント値）／ＣＵＲＲＥＮＴカウンタのカウンタ値  ・・・（１）
【００４０】
被写体の動状態にある場合には、テンプレート更新部１０４ｂによるテンプレートの更新頻度が多くなり、結果として「ＮＥＷ」または「ＯＬＤ」が選択される回数が増える。よって、被写体動静状態判定部１０４ｄは、動静係数の算出結果が所定値以上、例えば１以上である場合に、被写体の動静状態は動状態であると判定する。これに対して、被写体が静状態にある場合には、テンプレート更新部１０４ｂによるテンプレートの更新が発生せず、結果として「ＣＵＲＲＥＮＴ」ばかりが選択されることになる。よって、被写体動静状態判定部１０４ｄは、動静係数の算出結果が所定値未満、例えば１未満である場合に、被写体の動静状態は静状態であると判定する。
【００４１】
例えば、図３に示すように、テンプレート更新部１０４ｂによって「ＯＬＤ」が１１５回、「ＣＵＲＲＥＮＴ」が１０８回、「ＮＥＷ」が９９回選択された場合には、式（１）により、動静係数＝（１１５＋９９）／１０８＝１．９８となる。この算出結果は、１以上であるため被写体動静状態判定部１０４ｄは、被写体の動静状態は動状態であると判定する。これに対して、図４に示すように、テンプレート更新部１０４ｂによって「ＯＬＤ」が１６回、「ＣＵＲＲＥＮＴ」が１４０回、「ＮＥＷ」が４６回選択された場合には、式（１）により、動静係数＝（１６＋４６）／１４０＝０．４４３となる。この算出結果は、１未満であるため被写体動静状態判定部１０４ｄは、被写体の動静状態は静状態であると判定する。
【００４２】
制御装置１０４は、被写体動静状態判定部１０４ｄによる判定結果を撮影のために用いる。本実施の形態では、被写体動静状態判定部１０４ｄによる判定結果を、被写体追跡中におけるＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ／自動焦点調整）処理、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ／自動露出調整）処理、ＡＷＢ（Ａｕｔｏ  ＷｈｉｔｅＢａｌａｎｃｅ／自動ホワイトバランス調整）処理の実行タイミングを決定するために用いる例について説明する。
【００４３】
制御装置１０４は、使用者によってカメラ１００のモードが撮影を行うためのモード（撮影モード）に設定されると、所定時間間隔で撮像素子１０３から入力される画像を画像処理して表示用画像データを生成し、モニタ１０６へ出力する。これによって、モニタ１０６にはスルー画が表示される。その後、使用者によって入力スイッチ１０１に含まれるレリーズボタンが半押しされると、制御装置１０４は、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行して、焦点調整、露出調整、およびホワイトバランス調整を行う。
【００４４】
テンプレートマッチング部１０４ａは、撮像素子１０３から入力されたスルー画の各コマを対象として、上述したテンプレートマッチング処理を行って、画像内の被写体を特定する。テンプレート更新部１０４ｂは、上述したように、テンプレートマッチング部１０４ａによるテンプレート画像の選択状況に応じて、テンプレート画像を更新する。そして、被写体追跡部１０４ｃは、スルー画の各コマ間で被写体を追跡する。
【００４５】
被写体動静状態判定部１０４ｄは、被写体追跡部１０４ｃが被写体追跡を開始した後には、各フレームごとに被写体の動静状態を判定する。そして、制御装置１０４は、被写体追跡中に所定時間間隔で被写体動静状態判定部１０４ｄによる判定結果を監視する。
【００４６】
制御装置１０４は、被写体動静状態判定部１０４ｄが被写体が動状態にあると判定した場合には、被写体の状態が変化したことにより、再度、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行する必要があると判定し、これらの処理を行う。これに対して、制御装置１０４は、被写体動静状態判定部１０４ｄが被写体が静状態にあると判定した場合には、被写体の状態はそれほど変化しておらず、前回のＡＦ処理、ＡＥ処理、およびＡＷＢ処理の結果を用いることができるため、再度のＡＦ処理、ＡＥ処理、およびＡＷＢ処理の実行は不要であると判定し、これらの処理を行わない（停止する）。
【００４７】
このように、被写体の動静状態を判定し、その判定結果に基づいてＡＦ処理、ＡＥ処理、およびＡＷＢ処理の実行タイミングを決定することにより、被写体が静状態にあるとき、すなわち被写体の動きが少ない場合には、前回のＡＦ処理、ＡＥ処理、およびＡＷＢ処理の結果を用いて撮影を行うことができるため、再度のＡＦ処理、ＡＥ処理、およびＡＷＢ処理の実行を省くことができ、撮影処理を高速化することができる。また、ＣＰＵの負荷を低減することにより節電効果も期待できる。これに対して、被写体が動状態にあるときには、その都度、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行することによって、被写体の変化に応じた焦点調整、露出調整、およびホワイトバランス調整を行うことができる。
【００４８】
図５は、本実施の形態におけるカメラ１００の処理を示すフローチャートである。図５に示す処理は、使用者によってレリーズボタンが半押しされると起動するプログラムとして、制御装置１０４によって実行される。
【００４９】
ステップＳ１において、制御装置１０４は、上述したように、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行して、焦点調整、露出調整、およびホワイトバランス調整を行う。その後、ステップＳ１０へ進み、テンプレートマッチング部１０４ａは、上述したようにターゲット画像２ａ内でターゲット領域を移動させながら、ターゲット領域内の画像と、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、および「ＮＥＷ」のそれぞれのテンプレート画像とをテンプレートマッチング処理した結果、最も類似度が高いテンプレート画像を選択テンプレートとして選択する。テンプレートマッチング部１０４ａは、さらにターゲット画像２ａ内おける選択テンプレートと最も類似度が高いターゲット領域を合致領域として抽出する。その後、ステップＳ２０へ進む。
【００５０】
ステップＳ２０では、物体追跡部１０４ｂは、動画像の前フレームにおける合致領域と現フレームにおける合致領域とに基づいて被写体の追跡を行って、ステップＳ３０へ進む。ステップＳ３０では、テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、選択されたテンプレート画像が「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、および「ＮＥＷ」のいずれであるかを判断する。選択されたテンプレート画像が「ＣＵＲＲＥＮＴ」であると判断した場合には、テンプレート画像の更新を行わず、後述するステップＳ５５へ進む。
【００５１】
これに対して、選択されたテンプレート画像が「ＯＬＤ」であると判断された場合には、ステップＳ４０へ進む。ステップＳ４０では、テンプレート更新部１０４ｂは、上述したように、所定回数以上、例えば７回以上「ＯＬＤ」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるという更新条件を満たすか否かを判断する。更新条件を満たさないと判断した場合には、テンプレート画像の更新を行わず、後述するステップＳ５５へ進む。
【００５２】
一方、更新条件を満たすと判断した場合には、ステップＳ４１へ進み、テンプレート更新部１０４ｂは、今まで「ＯＬＤ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、今まで「ＣＵＲＲＥＮＴ」として設定されていたテンプレート画像を「ＯＬＤ」に設定し、合致領域内の画像を取り込んで新たに「ＮＥＷ」に設定する。その後、ステップＳ５５へ進む。
【００５３】
また、選択されたテンプレート画像が「ＮＥＷ」であると判断された場合には、ステップＳ５０へ進む。ステップＳ５０では、テンプレート更新部１０４ｂは、上述したように、所定回数以上、例えば７回以上「ＮＥＷ」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるという更新条件を満たすか否かを判断する。更新条件を満たさないと判断した場合には、テンプレート画像の更新を行わず、後述するステップＳ５５へ進む。
【００５４】
一方、更新条件を満たすと判断した場合には、ステップＳ５１へ進み、テンプレート更新部１０４ｂは、今まで「ＮＥＷ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、今まで「ＣＵＲＲＥＮＴ」として設定されていたテンプレート画像を「ＯＬＤ」に設定し、合致領域内の画像を取り込んで新たに「ＮＥＷ」に設定する。その後、ステップＳ５５へ進む。
【００５５】
ステップＳ５５では、被写体動静状態判定部１０４ｄは、上述したように、テンプレート更新部１０４ｂによる各テンプレート画像の選択回数に基づいて、式（１）を用いて動静係数を算出することによって、被写体の動静状態を判定する。その後、ステップＳ６０へ進む。ステップＳ６０では、制御装置１０４は、撮像素子１０３からの動画像データ（スルー画）の入力が終了したか否かを判断する。動画像データの入力が終了したと判断した場合には処理を終了する。
【００５６】
これに対して、動画像データの入力が終了していないと判断した場合にはステップＳ７０へ進む。ステップＳ７０では、制御装置１０４は、被写体動静状態判定部１０４ｄによって、被写体が動状態であると判定されたか否かを判断する。肯定判断した場合には、ステップＳ１へ戻り、再度、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行した後、ステップＳ１０以降の処理を繰り返す。これに対して、ステップＳ７０で否定判断した場合には、ステップＳ１０へ戻る。すなわち、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行することなく、ステップＳ１０以降の処理を繰り返す。
【００５７】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）テンプレートマッチング部１０４ａは、入力画像の各フレームと、複数のテンプレート画像とのテンプレートマッチングを行って、複数のテンプレート画像の中から入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレートとして選択し、入力画像の所定領域を合致領域として抽出する。被写体追跡部１０４ｃは、テンプレートマッチング部１０４ａによって抽出された合致領域内の画像について、フレーム間での動きを追跡することによって、複数フレームの画像間で被写体の動きを追跡する。被写体動静状態判定部１０４ｄは、テンプレートマッチング部１０４ａによって、各テンプレート画像が選択された回数に基づいて、被写体が動状態にあるか静状態にあるかを判定する。これによって、被写体の動静状態を精度高く判定することができる。
【００５８】
（２）複数のテンプレート画像としては、追跡対象とする被写体を異なる時刻に撮影した複数の画像のそれぞれから被写体を含む範囲内を抽出した画像を用いるようにした。これによって、被写体が動いた場合であっても、いずれかのテンプレート画像とマッチする可能性が高くなり、被写体追跡の精度を維持することができる。
【００５９】
（３）制御装置１０４は、被写体動静状態判定部１０４ｄによる判定結果に基づいて、被写体追跡中における自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理の実行タイミングを決定するようにした。これによって、被写体の動静状態に応じた最適なタイミングで自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理を実行することが可能になる。
【００６０】
（４）制御装置１０４は、被写体追跡の開始時点（レリーズボタン半押し時）に自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理を実行し、被写体追跡中は、所定時間間隔で被写体動静状態判定部１０４ｄによる判定結果を監視するようにした。そして、制御装置１０４は、被写体が動状態であると判定された場合には、自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理を実行し、被写体が静状態であると判定された場合には、自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理の実行を停止するようにした。これによって、被写体の動きが少ない場合には、前回のＡＦ処理、ＡＥ処理、およびＡＷＢ処理の結果を用いて撮影を行うことができるため、再度のＡＦ処理、ＡＥ処理、およびＡＷＢ処理の実行を省くことができ、撮影処理を高速化することができる。また、ＣＰＵの負荷を低減することにより節電効果も期待できる。これに対して、被写体が動状態にあるときには、その都度、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行することによって、被写体の変化に応じた焦点調整、露出調整、およびホワイトバランス調整を行うことができる。
【００６１】
―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、被写体動静状態判定部１０４ｄによる判定結果をスルー画表示中におけるＡＦ処理、ＡＥ処理、およびＡＷＢ処理のタイミングを決定するために用いる例について説明した。しかしながら、被写体動静状態判定部１０４ｄによる判定結果を他の目的で使用するようにしてもよい。例えば、制御装置１０４は、上述した実施の形態と同様に、使用者によってレリーズボタンが半押しされたときに、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行する。そして、制御装置１０４は、使用者によってレリーズボタンが全押しされたときに、被写体動静状態判定部１０４ｄによる判定結果に基づいて、再度、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行する必要があるか否かを判定するようにしてもよい。
【００６２】
すなわち、制御装置１０４は、使用者によってレリーズボタンが全押しされた場合には、その時に入力されたフレームにおける被写体の動静状態に基づいて、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行するか否かを判定する。そして、被写体の状態が動状態であると判定した場合には、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行してから画像の取得を行ない、被写体の状態が静状態であると判定した場合には、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行せずに画像の取得を行なう。これによって、被写体が動いているときには、最新の被写体の状態に応じた焦点調整、露出調整、およびホワイトバランス調整を行うことができる。一方、被写体の動きが少ない場合には、画像取得時のＡＦ処理、ＡＥ処理、およびＡＷＢ処理を省略して、レリーズタイムラグを短縮することができる。
【００６３】
（２）上述した実施の形態では、被写体追跡装置としてカメラ１００を使用する例について説明した。しかしながら、本発明は、撮影機能を備えた他の機器、例えばカメラ付き携帯電話やビデオカメラに適用することも可能である。
【００６４】
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
【図面の簡単な説明】
【００６５】
【図１】カメラの一実施の形態の構成を示すブロック図である。
【図２】ターゲット画像およびテンプレート画像の具体例を示す図である。
【図３】各テンプレート画像の選択回数の具体例を示す第１の図である。
【図４】各テンプレート画像の選択回数の具体例を示す第２の図である。
【図５】カメラ１００の処理を示すフローチャート図である。
【符号の説明】
【００６６】
１００  カメラ、１０１  入力スイッチ、１０２  レンズ、１０３  撮像素子、１０４  制御装置、１０４ａ  テンプレートマッチング部、１０４ｂ  テンプレート更新部、１０４ｃ  被写体追跡部、１０４ｄ  被写体動静状態判定部、１０５  メモリカードスロット、１０６  モニタ
【図１】
2009188480.tif 000003
【図２】
2009188480.tif 000004
【図３】
2009188480.tif 000005
【図４】
2009188480.tif 000006
【図５】
2009188480.tif 000007