(57)【要約】【課題】撮像時に特定の動きを持つ被写体を目的とした静止画像を自動的に得るようにしたり、再生された動画コンテンツから、特定の動きを持つ画像部分を抽出して静止画像等として保存する処理を適切に実現する。【解決手段】処理対象の画像データ、例えば撮像動作により取り込まれる時間的に連続したフレームの画像データや、動画コンテンツから再生される時間的に連続したフレームの画像データについて、その画像内容として表れる動体の動きを、予め設定した動きパターンと比較し、動きパターンに該当する動きであるか否かにより、画像データの有効化（例えば静止画としての保存）を行う。特に動き検出枠として画面上の領域範囲や、動き検出枠についての動きの方向性、動きの量などを設定したり、或いは複数の動き検出枠についての順番を設定しておくことで、簡易に多様な動きパターンを指定できるようにする。【選択図】図２
2009200713.tif 000002
【特許請求の範囲】
【請求項１】
処理対象の画像データが、予め設定された動きパターンに該当する画像内容の画像データであるか否かを判定する判定手段と、
上記判定手段によって、上記動きパターンに該当すると判定された画像データを有効化する有効化手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
時間的な連続性を有する複数のフレームの画像データを処理対象として取得する取得手段をさらに備え、
上記判定手段は、上記取得手段によって取得された各フレームの画像データのうちで１又は複数フレームの画像データを、上記動きパターンに該当する画像内容の画像データと判定し、
上記有効化手段は、上記判定手段によって、上記動きパターンに該当すると判定された１又は複数フレームの画像データを有効化することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記判定手段は、
一のフレームの画像データについて、他のフレームとの比較処理により画像内容における動体画像を検出し、検出された動体画像を用いて、当該一のフレームの画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定する動体検出処理と、
上記動体検出処理で、上記動きパターンを構成する候補となると判定された画像データを仮保存する仮保存処理と、
上記仮保存処理で仮保存された１又は複数フレームの画像データが、上記動きパターンに該当する画像であるか否かを判定するパターン該当判定処理と、
を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
上記判定手段は、上記動体検出処理においては、
一のフレームの画像データにおいて検出された上記動体画像と、上記動きパターンの設定情報として画面上の範囲を指定するように設定されている動き検出枠とを用いて、当該一のフレームの画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
上記判定手段は、上記動体検出処理において、
画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定するための処理の１つとして、上記動体画像の全部又は一部が上記動き検出枠の範囲内にあるか否かの検査を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
上記判定手段は、上記動体検出処理において、
画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定するための処理の１つとして、上記動体画像の動き方向もしくは動きの量が、上記動き検出枠について設定されている動き方向もしくは動きの量に該当するか否かの検査を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
上記判定手段は、上記仮保存処理においては、
上記動体検出処理で、上記動きパターンを構成する候補となると判定された画像データを含む複数フレームの画像データを仮保存することを特徴とする請求項３に記載の画像処理装置。
【請求項８】
上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されている場合において、
上記判定手段は、上記パターン該当判定処理においては、
仮保存された複数フレームの画像データが、上記動きパターンに該当する画像であるか否かを判定するために、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、複数の上記動き検出枠のそれぞれの範囲に入ったか否かを検査することを特徴とする請求項３に記載の画像処理装置。
【請求項９】
上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されている場合において、
上記判定手段は、上記パターン該当判定処理においては、
仮保存された複数フレームの画像データが、上記動きパターンに該当する画像であるか否かを判定するために、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、複数の上記動き検出枠のそれぞれの範囲に入った順序を検査することを特徴とする請求項３に記載の画像処理装置。
【請求項１０】
上記取得手段は、被写体の撮像動作により時間的に連続したフレーム画像を取得する撮像部として構成されることを特徴とする請求項２に記載の画像処理装置。
【請求項１１】
上記取得手段は、時間的に連続したフレーム画像を記録媒体から読み出す再生部として構成されることを特徴とする請求項２に記載の画像処理装置。
【請求項１２】
上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が設定されているとともに、
上記判定手段は、上記取得手段によって取得された各フレームの画像データのうちで、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、上記動き検出枠の範囲に入ったか否かを検査し、該検査結果を用いて、上記動体画像を含む１又は複数フレームの画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項１３】
上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されているとともに、
上記判定手段は、上記取得手段によって取得された各フレームの画像データのうちで、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、複数の上記動き検出枠のそれぞれの範囲に入ったか否かを検査し、該検査結果を用いて、上記動体画像を含む１又は複数フレームの画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項１４】
上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が設定されているとともに、
上記判定手段は、上記取得手段によって取得された各フレームの画像データのうちで、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、上記動き検出枠の範囲に、その動き検出枠について設定された方向性もしくは動きの量で入ったか否かを検査し、該検査結果を用いて、上記動体画像を含む１又は複数フレームの画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項１５】
上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されているとともに、
上記判定手段は、上記取得手段によって取得された各フレームの画像データのうちで、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、複数の上記動き検出枠のそれぞれの範囲に入った順序を検査し、該検査結果を用いて、上記動体画像を含む１又は複数フレームの画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項１６】
上記有効化手段は、上記有効化として、上記動きパターンに該当すると判定された画像データを記録媒体に記録することを特徴とする請求項１に記載の画像処理装置。
【請求項１７】
上記有効化手段は、上記有効化として、上記動きパターンに該当すると判定された画像データが有効画像データとして抽出可能な状態とすることを特徴とする請求項１に記載の画像処理装置。
【請求項１８】
上記有効化手段は、上記動きパターンに該当しないと判定された画像データを破棄することを特徴とする請求項１に記載の画像処理装置。
【請求項１９】
複数の動きパターンが予め設定され、操作に応じて一の動きパターンが選択されて、上記判定手段での判定に用いられることを特徴とする請求項１に記載の画像処理装置。
【請求項２０】
上記動きパターンが、操作に応じて新規に設定可能とされていることを特徴とする請求項１に記載の画像処理装置。
【請求項２１】
処理対象の画像データが、予め設定された動きパターンに該当する画像内容の画像データであるか否かを判定する判定ステップと、
上記判定ステップによって、上記動きパターンに該当すると判定された画像データを有効画像データとして処理する有効化ステップと、
を備えたことを特徴とする画像処理方法。
【請求項２２】
処理対象の画像データが、予め設定された動きパターンに該当する画像内容の画像データであるか否かを判定する判定ステップと、
上記判定ステップによって、上記動きパターンに該当すると判定された画像データを有効画像データとして処理する有効化ステップと、
を情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法、プログラムに関し、特に画像内容としての動体の動きを判定して適切な処理動作を実行する技術に関する。
【背景技術】
【０００２】
【特許文献１】特開２００６−２４６３６１号公報
【特許文献２】特開２００６−１２１７６１号公報
【０００３】
例えばデジタルスチルカメラなどの撮像装置においては、被写体の動きや変化を検出して静止画撮像を行う技術が知られている。
上記特許文献１では、動画撮像中の静止画撮像に関して、被写体の動きが大きいとき、手振れの少ないとき、顔認識した場合などに自動撮像を行う手法を提示している。
また上記特許文献２には、画像認識でユーザが指定した部分の輝度・色相が変化したとき、あるいは画像が変化したときを検出し、自動的に静止画撮像を行う手法が提示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら従来では、被写体としてユーザが狙う動きを的確にかつ簡易な手法で検出して撮像を行い、例えば静止画像として記憶することなどは解決されていない。
例えば動き検出により静止画撮像を行う場合、検出された動きがユーザが目的としている動きではない場合が多く、それによってユーザが所望しない無駄な静止画撮像が数多くなされてしまうといったことが生じやすい。
一例としては、或る風景をバックに、被写体として狙った物体や生物等の動体を撮像しようとするときに、動き検出によって自動撮像を実行させても、狙った動体の動きではなく、バックで木の葉が風で動いてしまったような場合にも静止画撮像が行われてしまう。
【０００５】
つまり動き検出による自動撮像では、ユーザの使用目的によっては的確な撮像が実行できない場合があった。
一方で、一般的に、動きのある特定の物体を狙って写真を撮像するのは熟練した撮像技術が必要で、動き検出による自動撮像を用いない場合、素人には困難であった。
そこで本発明では、撮像時には狙った動体をより的確に判定して静止画撮像等を実現できるような技術を提案する。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、処理対象の画像データが、予め設定された動きパターンに該当する画像内容の画像データであるか否かを判定する判定手段と、上記判定手段によって、上記動きパターンに該当すると判定された画像データを有効画像データとする有効化手段とを備える。
また、時間的な連続性を有する複数のフレームの画像データを処理対象として取得する取得手段をさらに備え、上記判定手段は、上記取得手段によって取得された各フレームの画像データのうちで１又は複数フレームの画像データを、上記動きパターンに該当する画像内容の画像データと判定し、上記有効化手段は、上記判定手段によって、上記動きパターンに該当すると判定された１又は複数フレームの画像データを有効画像データとする。
【０００７】
また上記判定手段は、一のフレームの画像データについて、他のフレームとの比較処理により画像内容における動体画像を検出し、検出された動体画像を用いて、当該一のフレームの画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定する動体検出処理と、上記動体検出処理で上記動きパターンを構成する候補となると判定された画像データを仮保存する仮保存処理と、上記仮保存処理で仮保存された１又は複数フレームの画像データが上記動きパターンに該当する画像であるか否かを判定するパターン該当判定処理とを行う。
この場合、上記判定手段は、上記動体検出処理においては、一のフレームの画像データにおいて検出された上記動体画像と、上記動きパターンの設定情報として画面上の範囲を指定するように設定されている動き検出枠とを用いて、当該一のフレームの画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定する。
また、上記判定手段は、上記動体検出処理において、画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定するための処理の１つとして、上記動体画像の全部又は一部が上記動き検出枠の範囲内にあるか否かの検査を行う。
また、上記判定手段は、上記動体検出処理において、画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定するための処理の１つとして、上記動体画像の動き方向若しくは動きの量が、上記動き検出枠について設定されている動き方向もしくは動きの量に該当するか否かの検査を行う。
また上記判定手段は、上記仮保存処理においては、上記動体検出処理で、上記動きパターンを構成する候補となると判定された画像データを含む複数フレームの画像データを仮保存する。
また上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されている場合において、上記判定手段は、上記パターン該当判定処理においては、仮保存された複数フレームの画像データが、上記動きパターンに該当する画像であるか否かを判定するために、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、複数の上記動き検出枠のそれぞれの範囲に入ったか否かを検査する。
また上記判定手段は、上記パターン該当判定処理においては、仮保存された複数フレームの画像データが、上記動きパターンに該当する画像であるか否かを判定するために、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、複数の上記動き検出枠のそれぞれの範囲に入った順序を検査する。
【０００８】
上記取得手段は、被写体の撮像動作により時間的に連続したフレーム画像を取得する撮像部として構成される。
或いは上記取得手段は、時間的に連続したフレーム画像を記録媒体から読み出す再生部として構成される。
【０００９】
また上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が設定されているとともに、上記判定手段は、上記取得手段によって取得された各フレームの画像データのうちで、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、上記動き検出枠の範囲に入ったか否かを検査し、該検査結果を用いて、上記動体画像を含む１又は複数フレームの画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行う。
また上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されているとともに、上記判定手段は、上記取得手段によって取得された各フレームの画像データのうちで、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、複数の上記動き検出枠のそれぞれの範囲に入ったか否かを検査し、該検査結果を用いて、上記動体画像を含む１又は複数フレームの画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行う。
また上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が設定されているとともに、上記判定手段は、上記取得手段によって取得された各フレームの画像データのうちで、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、上記動き検出枠の範囲に、その動き検出枠について設定された方向性もしくは動きの量で入ったか否かを検査し、該検査結果を用いて、上記動体画像を含む１又は複数フレームの画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行う。
また上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されているとともに、上記判定手段は、上記取得手段によって取得された各フレームの画像データのうちで、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、複数の上記動き検出枠のそれぞれの範囲に入った順序を検査し、該検査結果を用いて、上記動体画像を含む１又は複数フレームの画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行う。
【００１０】
また上記有効化手段は、上記有効化として、上記動きパターンに該当すると判定された画像データを記録媒体に記録する。
また上記有効化手段は、上記有効化として、上記動きパターンに該当すると判定された画像データが有効画像データとして抽出可能な状態とする。
また上記有効化手段は、上記動きパターンに該当しないと判定された画像データを破棄する。
また複数の動きパターンが予め設定され、操作に応じて一の動きパターンが選択されて、上記判定手段での判定に用いられるようにする。
また上記動きパターンが、操作に応じて新規に設定可能とされるようにする。
【００１１】
本発明の画像処理方法は、処理対象の画像データが、予め設定された動きパターンに該当する画像内容の画像データであるか否かを判定する判定ステップと、上記判定ステップによって、上記動きパターンに該当すると判定された画像データを有効画像データとして処理する有効化ステップとを備える。
本発明のプログラムは、上記画像処理方法としての各ステップを情報処理装置に実行させるプログラムである。
【００１２】
このような本発明では、処理対象の画像データ、例えば撮像動作により取り込まれる時間的に連続したフレームの画像データや、動画コンテンツから再生される時間的に連続したフレームの画像データについて、その画像内容として表れる動体の動きを、予め設定した動きパターンと比較し、動きパターンに該当する動きであるか否かにより、画像データの有効化（例えば静止画としての保存など）を行う。
特に動き検出枠として画面上の領域範囲や、動き検出枠についての動きの方向性、動きの量などを設定したり、或いは複数の動き検出枠についての順番を設定しておくことで、その動き検出枠により設定された動きパターンとしては、目的の画像（被写体）を判定するための適切な基準となる。
即ち撮像時に特定の動きを持つ被写体を目的とした静止画像を自動的に得るようにしたり、再生された動画コンテンツから、特定の動きを持つ画像部分を抽出して静止画像等として保存するような際に、適切な動作を実現できる。
【発明の効果】
【００１３】
本発明によれば、処理対象の画像データの画像内容において、予め設定された特定の動きパターンに該当する動きが検出された場合に、その画像データを適切に有効化できる。例えば動きパターンに該当する動きが表現された１枚又は複数枚の一連の静止画像として保存できる。特に動き検出枠を用いて的確に動きを判定することで、目的とする画像を的確に判別して有効化できる。
これによって、例えば撮像部によって得られた時間的に連続性を有するフレーム画像を処理対象とする場合、ユーザが、特に撮像技能に熟練していなくとも、狙った動きのある被写体の画像を的確に撮像結果として得ることができる。
また、再生部によって記録媒体から読み出された時間的に連続したフレーム画像を処理対象とする場合、ユーザが面倒な操作を行わなくとも、所望の動きのある画像を的確に抽出することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態を次の順序で説明する。
［１．第１の実施の形態（撮像装置）］
＜１−１：概要＞
＜１−２：撮像装置の構成＞
＜１−３：動き検出自動撮像動作＞
＜１−４：動きパターンの設定＞
＜１−５：撮像装置に適用した場合の効果＞
［２．第２の実施の形態（撮像装置）］
［３．第３の実施の形態（撮像装置）］
［４．第４の実施の形態（情報処理装置）］
【００１５】
［１．第１の実施の形態（撮像装置）］
＜１−１：概要＞
第１の実施の形態としてデジタルスチルカメラとしての撮像装置に本発明を適用した例を説明する。
本例ではユーザが撮像装置で特定の動きのある被写体の撮像を目的とし、適切なタイミングで１枚又は多数枚（例えばいわゆる連写としての撮像）の静止画撮像を行いたいという場合に好適なものである。
【００１６】
撮像装置は被写体画像について特定の動きパターンを検出し、その動きパターンに該当する被写体が撮された画像データを静止画データとして保存する。
撮像時には、ユーザは、予め設定された動きパターンを指定する。なお、後述するように予め設定された動きパターンとは、多数の動きパターンがプリセットされていても良いし、ユーザが自分で設定しても良い。
【００１７】
動きパターンの設定は動き検出枠によってなされる。図１（ａ）（ｂ）（ｃ）に画面上で設定される動き検出枠の例を示す。なおここでいう画面とは、被写体の撮像画像データとして得られる画像範囲に相当する。
図１（ａ）は、画面内でそれぞれ特定の領域範囲に、動き検出枠Ｗ１，Ｗ２，Ｗ３が設定されている例である。
この場合、各動き検出枠Ｗ１，Ｗ２，Ｗ３には、右から左に向かう矢印を付記しているが、これは、各動き検出枠Ｗ１，Ｗ２，Ｗ３には、方向性も設定されていることを示すものとしている。
さらに、各動き検出枠Ｗ１，Ｗ２，Ｗ３には枠内に数字を付記しているが、これは各動き検出枠Ｗ１，Ｗ２，Ｗ３に順番が設定されていることを示すものとしている。
この動き検出枠Ｗ１，Ｗ２，Ｗ３は、例えば被写体としての何らかの動体が、撮像装置の前を左から右に移動していくような動きパターンを指定するものとなる。つまり、被写体となる何らかの動体が、まず最初に動き検出枠Ｗ１の領域に左から進入し、次にその動体が動き検出枠Ｗ２の領域に進入し、さらに続いて動体が動き検出枠Ｗ３の領域に進入するという場合である。
【００１８】
撮像装置には、その撮像動作により、被写体画像は、例えば時間的な連続性をもった複数フレームの画像データとして取り込まれる。
一般にデジタルスチルカメラは、ユーザがシャッタチャンスを狙っている間も、ライブビュー若しくはプレビューなどと呼ばれる動画撮像（撮像素子部による画像取込）を行い、連続したフレーム画像をモニタ画面に動画表示することを行っている。そしてユーザがシャッタボタンを押したことに応じて、そのタイミングで得られるフレーム画像を、１枚の静止画データとして、記録媒体に保存する。
このため、被写体の動きは、常にライブビューとして取り込まれている各フレーム画像データについてフレーム比較処理で検出できる。
そして被写体画像のうちで動体画像が検出された場合、その動体画像が、時系列順の各フレームにおける最初のフレームで動き検出枠Ｗ１の領域内にあり、次のフレームで動き検出枠Ｗ２の領域に達し、さらに次のフレームで動き検出枠Ｗ３の領域に入ったような場合は、上記のように、「被写体としての何らかの動体が、撮像装置の前を左から右に移動した」というような動きパターンを検出できることになる。
そのような場合に、それら一連のフレーム画像データを、動きパターンに該当する被写体画像として有効化する。例えば連写による静止画データとして保存する。このような動作により、ユーザが狙った動きの被写体が得られたタイミングの静止画撮像を自動撮像として的確に実行できる。
【００１９】
一例を図２，図３で説明する。
ユーザが、図１（ａ）のような動き検出枠Ｗ１，Ｗ２，Ｗ３として或る特定の動きパターンを設定した上で、撮像装置を所望の被写体に向けて自動撮像（後述する動き検出自動撮像実行モード）を開始させたとする。
図２（ａ）は、自動撮像開始後に、ライブビューとして得られる或るフレームＦ＃０の画像であるとする。その後、或るフレームＦ＃１において、図２（ｂ）の画像が得られ、まず動体画像（鳥の画像）が動き検出枠Ｗ１に、その方向性の条件どおり左側から進入したことが検出されたとする。
さらに次のフレームＦ＃２において、図２（ｃ）の画像が得られ、動体画像（鳥の画像）が動き検出枠Ｗ２に、その方向性の条件どおり左側から進入したことが検出されたとする。
さらに次のフレームＦ＃３において、図２（ｄ）の画像が得られ、動体画像（鳥の画像）が動き検出枠Ｗ３に、その方向性の条件どおり左側から進入したことが検出されたとする。
この一連のフレームＦ＃１、Ｆ＃２、Ｆ＃３は、それらの各画像データに含まれている動体画像が、その複数フレームで表現される動きが、３つの動き検出枠Ｗ１，Ｗ２，Ｗ３についてそれぞれ設定された領域及び方向性に合致し、かつ、３つの動き検出枠Ｗ１，Ｗ２，Ｗ３に設定されている順番どおりのものであったと判定できる。
そこでこの場合、フレームＦ＃１、Ｆ＃２、Ｆ＃３の各画像データを、有効化する。例えば図３（ａ）（ｂ）（ｃ）に示す３枚の静止画像として記録媒体に保存する。
つまりユーザにとっては、単に動き検出自動撮像としてのモードで撮像装置を動作させるだけで、決定的瞬間の連写撮像結果を得ることができる。
そして、被写体として望む動きは、動き検出枠Ｗ１，Ｗ２，Ｗ３によって詳細に設定できるため、望む動きの被写体を高い確率で得ることができる。例えば図２の例の場合、風などの影響で花の部分が大きく揺らいだとしても、動き検出枠Ｗ１，Ｗ２，Ｗ３によって設定される動きパターンとしての条件は満たさないため、そのときのフレーム画像データが静止画として保存されることはない。ユーザにとっては目的としていない画像がむやみに多数保存されないことになる。
【００２０】
動き検出枠による動きパターンの設定は、多様に考えられる。
図１（ｂ）は、動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４を各領域に設定するとともに、それぞれの動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４は、左上方から右下方に向かう方向性を設定した例である。但しこの場合、各動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４の順序（以下「枠順序」という）は設定無しとする。
図１（ｃ）は、動き検出枠Ｗ１，Ｗ２，Ｗ３を各領域に設定するとともに、各動き検出枠Ｗ１，Ｗ２，Ｗ３について枠順序を設定した場合である。但し、それぞれの動き検出枠Ｗ１，Ｗ２，Ｗ３において方向性は設定無しとする。
例えばこのように、動き検出枠について、その領域範囲、枠順序、方向性、さらに後述するが動きの量（速さ）などを設定し或いは設定から外すことで、ユーザが撮像の目的とする動きを的確に検出して自動撮像を行うことができる。
【００２１】
図４に各種の適用例を示す。
図４（ａ）は、例えば図１（ｂ）のような動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４を設定した場合の例である。
これは例えば運動会その他の陸上競技、あるいは水泳競技のゴールシーンを斜め上からのアングルで自動撮像するための動き検出パターンとして好適である。
ユーザは、各動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４が、例えば競技におけるそれぞれのコースのゴール近辺を狙うようにする。各動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４について枠順序は設定されていない。
この場合は、たとえば４人の各競技者が画面の左上から走ってきて、各競技者がそれぞれ各動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４枠部分を通過したときに、競技者の順位に関係なく４枚の静止画データが保存される。もしくは、その４枚を含むより多数の静止画データが保存されたり、１つの動き検出枠についての該当タイミング毎に高速連写としての多数の静止画データが保存されるようにしてもよい。
【００２２】
図４（ｂ）は、例えばゴルフのスイングを自動撮像する場合などに好適な動き検出パターンである。動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４において、スイングの軌道に合わせた枠順序が設定され、またそれぞれゴルフクラブの動き方向に合わせた方向性が設定されている。この場合は、動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４にそれぞれ設定された順序及びベクトル方向にしたがう動体を検出した場合に一連の静止画データの保存が行われるため、結果的にゴルフスイングのフォーム分解写真のような一連の静止画データが得られる。また設定によっては、動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４のそれぞれに該当した時点でそれぞれ高速連写としての画像保存を行ったり、動き検出枠Ｗ１の該当時点（もしくはそれより少し前の時点）から、動き検出枠Ｗ４の該当時点（もしくはそれより少し後の時点）までの連続した多数の静止画データが保存されるようにすることもできる。
【００２３】
図４（ｃ）は、例えば競馬のゴールシーンなどをほぼ横方向斜め上からのアングルで自動撮像する場合などに好適な動き検出パターンである。
動き検出枠Ｗ１について方向性を指定する。例えばこの場合は、動き検出枠Ｗ１に先頭馬が達した時点で一枚の静止画データが保存される。また、設定によっては、その後の多数の静止画を連写として保存するようにしても良い。
【００２４】
図４（ｄ）は、電車の通るシーンを横からのアングルで自動撮像する場合などに好適な動き検出パターンである。動き検出枠Ｗ１，Ｗ２，Ｗ３について枠順序を設定し、また方向性を設定している。この場合は、たとえば電車が左から進行して、動き検出枠Ｗ１，Ｗ２，Ｗ３を通過した時点で１枚ずつ静止画データが保存される。設定によっては、動き検出枠Ｗ１，Ｗ２，Ｗ３のそれぞれに該当した時点でそれぞれ高速連写としての画像保存を行ったり、動き検出枠Ｗ１の該当時点（もしくはそれより少し前の時点）から、動き検出枠Ｗ４の該当時点（もしくはそれより少し後の時点）までの連続した多数の静止画データが保存されるようにすることもできる。
なお、この場合には、画面上で左から右方向に電車が通過した場合は静止画保存が行われるが、右から左方向に電車が通過した場合は、目的の動きパターンではないとされて静止画保存は行われない。
枠順序として、複数の枠順序をＯＲ条件として設定できるようにし、また方向性の設定をなくせば、上り線、下り線の両方での電車の通過タイミングでの静止画データ取得が実現できる。例えば「Ｗ１→Ｗ２→Ｗ３」という枠順序か、「Ｗ３→Ｗ２→Ｗ１」という枠順序をＯＲ条件で設定すればよい。
【００２５】
＜１−２：撮像装置の構成＞
例えば以上のような自動撮像を実現する実施の形態の撮像装置の構成例を図５で説明する。
図５に示す撮像装置１は、電池４、電池電圧検出部５、可変光学系３、光学部品７、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３、タイミング制御部１４、画像処理部１５、操作部１６、制御部１７、画像メモリ１８、圧縮／伸長部１９、表示画像生成部２０、表示部２１、タッチパネル２２、動き検出部２４、メモリカード用インタフェース部２６、外部インタフェース部２８、不揮発性メモリ２９を備える。
Ａ／Ｄ変換部１３、画像処理部１５、制御部１７、メモリ１８、圧縮／伸長部１９、表示画像生成部２０、メモリカード用インタフェース部２６、外部インタフェース部２８および動き検出部２４は、バス２５を介して相互に接続されている。
【００２６】
電池４は、撮像装置１の各部に対してその動作に必要な電力（出力電圧Ｖｃｃ）を供給する。電池４から各部への電力供給は、撮像装置１の動作状態に応じて実行または停止される。この電力供給状態の制御は、制御部１７によって行われる。電池４の出力電圧Ｖｃｃ（電池電圧）は、電池電圧検出部５によって検出される。この電池電圧の検出結果は、電池電圧検出部５から制御部１７へ出力される。
【００２７】
可変光学系３は、複数の光学レンズ群よりなる撮像レンズや、絞り、シャッター等によって構成される。光学部品７は、光学フィルタやカバーガラスなどによって構成される。被写体からの光束が可変光学系３と光学部品７を通過することにより、撮像素子８上に被写体像が結像される。
【００２８】
撮像素子８は、可変光学系３によって結像される被写体像を撮像し、撮像された被写体像に対応する画像信号（撮像信号）を出力する。
撮像素子８は、複数の画素から構成される矩形形状の撮像領域を有し、各画素に蓄積された電荷に対応するアナログ信号である画像信号を、画素単位で順次、アナログ信号処理部１２に出力する。撮像素子８としては、例えばＣＣＤ（Charge Coupled Device）センサアレイ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイなどが用いられる。この撮像素子８は例えば単板式カラーＣＣＤなどとして構成される。
【００２９】
アナログ信号処理部１２は、内部にＣＤＳ（相関２重サンプリング）回路や、ＡＧＣ（オートゲインコントロール）回路などを有し、入力された画像信号に対して所定のアナログ処理を行う。
Ａ／Ｄ変換部１３は、アナログ信号処理部１２で処理されたアナログ信号をデジタル信号に変換する。
タイミング制御部１４は、制御部１７により制御され、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３、画像処理部１５の各動作のタイミングを制御する。
Ａ／Ｄ変換部１３でデジタル信号に変換された画像データは一旦画像メモリ１８に記憶される。
【００３０】
動き検出部２４は、画像メモリ１８に保存された複数フレームの画像データに対して、動体を検出するとともに、その動きの軌道あるいは軌跡を算出する。この処理の詳細は後述する。
【００３１】
画像処理部１５は、画像メモリ１８から画像データを読み出し、画サイズ変換を行う。例えば、撮像素子８で撮像された数百万画素以上の画像データを、ＳＤ(７２０×４８０：Standard Definition)、ＨＤ(１９２０×１０８０：High Definition)といった動画用のサイズに変換する。静止画撮像処理とする場合は、画像サイズを変換せずにそのまま後段の処理に進む事もできる。
また画像処理部１５はいわゆる絵作りが行う。具体例としては、γ補正、ホワイトバランス調整、エッジ強調等である。画サイズ変換、絵作りを終えた画像データは、再び画像メモリ１８に保存される。
【００３２】
画像メモリ１８に保存された画像データは、モニタ表示用のデータや、撮像結果としての静止画もしくは動画としての撮像画像データとして用いられる。
モニタ表示（いわゆるライブビュー表示や動画／静止画撮像モニタ表示）のためには、画像データは表示画像生成２０に供給され、各種アイコンや時刻情報などの別画像を重ね合わされ、サイズ変換され表示部２１で表示出力される。
表示部２１は液晶パネルや有機ＥＬ（Electroluminescence）パネルなどにより構成される。
【００３３】
また、撮像画像（記録画像）として用いられる画像データについては、画像メモリ１８から読み出されて圧縮／伸張部１９に供給され、一般的にはＪＰＥＧ(Joint Photographic Experts Group)、ＭＰＥＧ(Moving Picture Experts Group)などの方式による容量圧縮処理を受ける。
メモリカード用インタフェース部２６は、電子カメラ１の内部にセットされたメモリカード９０（カード状のリムーバブルメモリ）に対してデータの読出／書込を行う。圧縮／伸長部１９で圧縮処理された画像データは、メモリカード用インタフェース２６によってメモリカード９０に書き込まれる。
動画撮像あるいは静止画連写の際は、このようなデータフローが連続的に次々と処理されていく。
【００３４】
なお、ここでは記録媒体として可搬性のメモリカード９０を例に挙げているが、撮像結果として残す静止画若しくは動画としての画像データを記録する記録媒体は他の種のものでもよい。例えば光ディスク等の可搬性ディスクメディアを用いるようにしても良いし、ＨＤＤ（Hard Disk Drive）を搭載して記録するようにしてもよい。さらには内蔵型のフラッシュメモリなどを用いても良い。
【００３５】
外部インタフェース部２８は、例えばＵＳＢ（Universal Serial Bus）などの信号規格にしたがって、所定のケーブルを介して外部装置との各種データの送受信を行う。
操作部１６は、各種の操作ボタンやスイッチ類を有している。これには、レリーズボタン、カメラモード切り換え用の選択ダイヤル（モードダイヤル）、再生画像を表示部２１に表示するためのボタン（再生ボタン）などが含まれる。操作部１６の出力は制御部１７に入力される。
【００３６】
タッチパネル２２と表示部２１とでタッチスクリーン２３が構成される。
表示部２１は、表示画像生成部２０から供給される表示データに基づく表示として、撮像装置１の操作状態に応じて各種の操作画像を表示したり、撮像素子８で撮像した被写体像やメモリカード９０に格納された画像データに基づく再生画像を表示したりする。
タッチパネル２２の任意の位置に指が触れる等して押下されると、つまりユーザにより所定の操作入力がなされると、該タッチパネル２２より押下された位置の座標が検出され、当該座標に係る信号が制御部１７に送出され、該制御部１７は該座標に対応する所定の情報を取得し、該情報に基づいて所定の処理を実行する。
【００３７】
不揮発性メモリ２９（例えばフラッシュメモリ）は、撮像装置１の制御用ソフトウェア、カメラの設定データや、上述した動き検出パターンの設定データ（動き検出枠の設定情報）等が記録される。また後述する動き検出自動撮像の動作においては、動き検出に応じた仮保存処理において、画像データが一時的に不揮発性メモリ２９に保存される。
【００３８】
制御部１７は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像装置１の全体を制御する。
このコントローラ１１は内部のＲＯＭ等に保持したプログラム及びユーザの操作に基づいて、各種演算処理や各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。
【００３９】
動き検出部２４は画像メモリ１８に格納された複数のフレーム画像から動体を検出するとともに、その動きの軌道あるいは軌跡を算出する。
以下、画像情報に含まれる被写体の動きを検出する方法について説明する。まず、動き検出に適用される手法の一例として、ブロックマッチングについて説明する。
図６は、動き検出に適用されるブロックマッチング法を示す概念図である。
【００４０】
図６に示すように、注目するフレーム画像（以下、便宜的に「現フレーム画像」という。）Ｆｎと、一つ前の時刻におけるフレーム画像（以下、便宜的に「前フレーム画像」という。）Ｆｍの特定位置のブロック（領域）Ｂｎ、Ｂｍについて、パターンマッチングを行う。
パターンマッチングの方法は、例えば、ブロックＢｎ中の画素Ｘ（ｎ）と、これをｉ画素分ずらしたブロックＢｍ中の画素Ｘ（ｎ−ｉ）との差分の絶対値和Ｓを次の式（１）に従って求め、この絶対値和Ｓ、すなわち評価量を最小にするずれ位置ｉを探索して動き量を検出するものである。
Ｓ＝Σ｜Ｘ（ｎ）−Ｘ（ｎ−ｉ）｜     ・・・式（１）
ここで、式（１）における総和計算Σは、ブロックＢｎに属する全ての画素Ｘｎについて実行される。
このように、ブロックマッチング法においては、現フレーム画像Ｆｎをブロックに分割し、ブロック単位で前フレーム画像Ｆｍとの類似位置をパターンマッチングにより探索して、フレーム画像に含まれる被写体の動作速度や方向等の動きを検出する。
【００４１】
なお、動き検出に適用される手法としては、上述したブロックマッチング法のほかに、フレーム画像中に含まれる被写体領域の特徴成分の変化から動きベクトルを算出する手法を適用することもできる。
この手法は、まず、フレーム画像に含まれる輝度成分に対してラプラシアン処理を行い、処理画像の零交点を領域境界線として検出し、連続した境界線により閉じられた部分を独立した領域（被写体領域）として抽出する。あるいは、フレーム画像に含まれる色成分を解析し、色相変化の少ない連続した部分を代表色に置き換えて一つの領域として抽出する。
そして、抽出された領域の特徴成分、例えば領域の重心位置を検出し、フレーム画像間での変化量を算出することにより、領域全体としての平行移動量を示す動きベクトルとして求められる。したがって、算出された変化量を当該領域の動きパラメータとして出力することにより、被写体領域内の任意の画素位置に対して、動きベクトルの値（移動量、方向）を計算で求めることができる。
【００４２】
また、動き検出のさらに別の手法としては、フレーム画像内の輪郭線成分を多数検出し、検出した多数の輪郭線をグループにまとめ、ニューラルネットワーク処理により画像全体の動きを検出する手法を適用することもできる。
【００４３】
＜１−３：動き検出自動撮像動作＞
以上のような撮像装置１において、ユーザが動き検出自動撮像モードとしての動作を実行させる場合について説明していく。
なお、以下の説明では、本発明の請求項でいう判定手段、有効化手段、取得手段としての各機能に相当する動作を述べるが、判定手段としての動作は、主に動き検出部２４と制御部１７の演算及び制御処理、及び当該制御に基づく画像メモリ１８，不揮発性メモリ２９での動作によって実現される。また有効化手段としての動作は、主に制御部１７の制御処理と、不揮発性メモリ２９、メモリカードインターフェース部２６の動作によって実現される。また処理対象の画像データを取得する取得手段とは、この場合、可変光学系３、光学部品７、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３、タイミング制御部１４、画像処理部１５、画像メモリ１８によって構成される撮像部の動作、つまり被写体画像の撮像により時間的に連続するフレーム画像データを画像メモリ１８に取り込む動作として実現される。
【００４４】
まず図７により、撮像装置１が動き検出自動撮像モードを開始するまでの手順を述べる。
図７（ａ）は表示部２１に表示される設定メニュー画面の例を示している。上述のように表示部２１にはタッチパネル２２が配置されているため、表示内容に応じたタッチ検出によりＧＵＩ（Graphical User Interface）が実現される。なお、以下述べるメニュー操作等は、ユーザの操作部１６からの操作によって行われるようにすることも当然可能である。
例えばユーザが、画面表示されたメニューボタン１００にタッチ操作した場合、制御部１７は、図示する主メニュー項目１０１を表示部２１に表示させる。例えば本体設定、シーン選択、ストロボ選択など、カメラ動作に応じた各種の項目が表示され、その１つとして動き検出自動撮像モードの項目が表示される。
ここでユーザが、主メニュー項目内で動き検出自動撮像モードを選択すると、制御部１７は、図示するサブメニュー１０２を表示部２１に表示させる。このサブメニュー１０２では、登録されている多数の動きパターンが選択可能として表示される。
各動きパターンは、上述したように１又は複数の動き検出枠（Ｗ１，Ｗ２・・等）によって特定の動きが設定されたものである。動きパターンとしては、プリセットされた標準的なパターンや、ユーザが新規登録したカスタマイズパターンなどが登録されているものとする。
ユーザが、サブメニュー１０２において、或る動きパターンの項目にタッチ操作すると、その動きパターンが選択決定され、制御部１７はその動きパターンの選択決定に応じて、動き検出自動撮像準備モードに移行し、例えば図７（ｂ）のような表示を表示部２１に実行させる。
この場合、画面上では、動き検出による自動撮像のモードに入ったことを示すアイコン１１０が表示され、また、ユーザによって選択された動きパターンが、動き検出枠Ｗ１，Ｗ２，Ｗ３により表示される。例えば図示の例の場合の動きパターンは、３つの動き検出枠Ｗ１，Ｗ２，Ｗ３で、それぞれの方向性、及び枠順序が設定されている。ユーザはこれを見ることで、自分がどのような動きパターンを設定したか理解できる。
実際にはこの時点で、表示部２１には、この図７（ｂ）の動き検出枠Ｗ１，Ｗ２，Ｗ３等とともに、ライブビュー画像も表示される。
つまり制御部１７は撮像動作及びライブビューモニタ動作を各部に実行させ、これによって現在撮像装置１が向けられている方向の光景も表示部２１に表示される。
ユーザは、動き検出枠Ｗ１，Ｗ２，Ｗ３を、実際の光景に重ね合わせて見ながら、カメラアングルやズームの調整などを行う。またこのときに、選択した動きパターンが、これから撮像しようとする目的の被写体光景に対して適切であるか否かの判断もできる。もし適切でないと判断したら、メニュー操作によって図７（ａ）の設定メニュー画面に戻し、動きパターンの選択をやり直せばよい。
【００４５】
動き検出自動撮像準備モードにおいてアングル等を決定したら、ユーザは開始操作を行う。例えば操作部１６のシャッタボタンを押す操作を行う。制御部１７は、シャッタボタン操作を開始操作として認識し、動き検出自動撮像実行モードに移行する。この場合、制御部１７は、動き検出自動撮像動作を各部に開始させる指示を行う共に、表示部２１の画面上には、図７（ｃ）に示すように動き検出枠Ｗ１，Ｗ２，Ｗ３やライブビュー画像とともに、「自動撮像実行中」を示すアイコン１１１を表示させる。
そしてこの動き検出自動撮像実行モードでの動作により、選択され設定された動きパターンに応じた動体を検出した場合に、自動的に静止画撮像が行われるものとなる。
ユーザは、このような自動撮像を終了させる際には、終了操作を行う。例えば動き検出自動撮像実行モードの際に、再度ユーザがシャッターボタンを押した場合に、制御部１７は終了操作と認識するようにすればよい。終了操作を検出したら制御部１７は自動撮像動作を終了させ、動き検出自動撮像準備モードに戻す。
【００４６】
このようにユーザ操作に応じて動き検出自動撮像が実行される。動き検出自動撮像実行モードにおける動作を以下説明する。
図８は、上述した、動き検出自動撮像準備モードと動き検出自動撮像実行モードにおけるモード遷移を示しているが、特に動き検出自動撮像実行モードにおいては、図示のように、動体検出処理、仮保存処理、動きパターン完了チェック処理が、ライブビューとして撮像される各フレーム毎に繰り返し行われる。
【００４７】
図９は動き検出自動撮像実行モードにおける制御部１７の処理を示している。
動き検出自動撮像実行モードが開始されると、制御部１７は、ステップＦ１でユーザの終了操作を監視しながら、ステップＦ２，Ｆ３，Ｆ４の実行制御を行う。
制御部１７はステップＦ２の動体検出処理では、ライブビュー画像として撮像されて画像メモリ１８に取り込まれた１つのフレームの画像データを、処理対象として動き検出部２４に転送させ、動き検出部２４で動体検出及び動体と動き検出枠の関係を検査させる。
また制御部１７はステップＦ３の仮保存処理においては、動体検出処理の結果に応じて仮保存の制御を行う。即ち処理対象となったフレームについてのステップＦ２の動体検出処理の結果として、このフレーム画像データが、今回設定している動きパターンを構成する候補となるか否かが判断されるが、候補となるのであれば、そのフレームの画像データを、不揮発性メモリ２９に仮保存させる。
また制御部１７は、ステップＦ４の動きパターン完了チェック処理として、不揮発性メモリ２９に仮保存されている画像データが、今回選択設定した動きパターンに該当しているか否か、又は引き続き次の仮保存を待つか否かを判断する。
ステップＦ２，Ｆ３，Ｆ４の処理が繰りかえされ、例えば３回目の仮保存が行われて３枚の候補としての画像データが仮保存された時点で、その３つの画像データが、今回の動きパターンに該当すると判断した場合は、制御部１７はその３つの画像データを、自動撮像の結果としての静止画データとして、メモリカード９０に保存させるように制御する。
一方、そのように候補として仮保存された１又は複数の画像データが、今回の動きパターンに該当するものではないと判断した場合、制御部１７は、それらを不揮発性メモリ２９から消去する制御を行う。
このようなステップＦ２，Ｆ３，Ｆ４の処理が、ユーザが終了操作を行うまで繰りかえされることで、もし動きパターンに該当する動きの光景があれば、その都度、その光景が静止画撮像データとしてメモリカードに保存される。つまりユーザの望む撮像が自動的に実行される。
【００４８】
ステップＦ２，Ｆ３，Ｆ４の動体検出処理、仮保存処理、動きパターン完了チェック処理について詳細に説明していく。
図１０は、ステップＦ２の動体検出処理として制御部１７が動き検出部２４に指示して実行させる処理を示している。
上述のように、撮像動作によって、ライブビュー画像としての各フレームの画像データが画像メモリ１８に逐次保存されていき、表示部２１ではライブビューモニタ表示が行われるが、これと平行して、各フレーム画像は、順次動き検出部２４に転送され、１フレームごとに図１０の動体検出処理に供される。
なお、ここでは各フレームが順次図１０の処理に供されるとして説明するが、必ずしもライブビュー動画を構成する全フレームを動体検出処理の対象とする必要はなく、何フレームおきというように間欠的にフレーム画像を動き検出部２４に転送して動体検出処理の対象とすることも考えられる。
【００４９】
ステップＦ１０１では、動き検出部２４は、画像メモリ１８から転送されてきた１つのフレームについて動体画像の検出や、動体画像の位置と動きベクトルの検出を行う。例えば図６で述べたように、その直前に処理対象としたフレーム画像データを前フレーム画像Ｆｍ、今回転送されてきたフレーム画像データを現フレーム画像Ｆｎとして、ブロックマッチング法により、現フレーム画像Ｆｎに含まれる動体としての被写体の検出や、その動きの量、方向等の動きベクトルを検出する。
【００５０】
このステップＦ１０１において、今回のフレームについて１個又は複数個の動体画像が検出されるか、あるいは動体画像は存在しないという検出結果が得られる。
動き検出部２４の処理により、今回のフレームにおいて動体画像が存在しないとされた場合は、ステップＦ１０２からこの図１０の処理を終了し、制御部１７は次のステップＦ３としての仮検出処理に移る。仮検出処理の詳細は図１６（ａ）で後述するが、このような場合は、撮像フラグがオンとはなっていない（後述するが、撮像フラグは図１０のステップＦ１１２でオンとされる）ため、ステップＦ２０１から仮保存を行わずに処理を終え、次のステップＦ４の動きパターン完了チェック処理に進む。動きパターン完了チェック処理の詳細は図１７で後述するが、この場合もステップＦ３００（及びＦ３１１，Ｆ３１２）から処理を終える。
そして図９のステップＦ１を介して、ステップＦ２に戻り、次のフレームの動体検出処理に移る。
つまり、図１０のステップＦ１０１で、今回のフレームには動体が存在しないと判定された場合は、そのまま図９の処理を一巡して、再びステップＦ１０１から、新たなフレームについての処理が行われることになる。
【００５１】
ステップＦ１０１で、今回のフレーム内で１又は複数の動体画像が検出された場合、動き検出部２４は、図１２（ａ）のような動体チェック用パラメータを設定し、これを用いて図１０の以降の処理を実行していく。
図１２（ａ）の動体チェック用パラメータは、今回のフレームで検出した動体画像の数と、動き検出自動撮像実行モードで選択されている動きパターンにおける動き検出枠の設定情報に基づいて設定する。
【００５２】
ここで図１２（ｃ）には動き検出枠の設定情報を示している。例えば今回選択した動きパターンが３つの動き検出枠Ｗ１，Ｗ２，Ｗ３を有するものとした場合、その動きパターンの設定情報の内容とは、この図１２（ｃ）のように、各動き検出枠枠Ｗ１，Ｗ２，Ｗ３の枠位置（Ｐｗ１、Ｐｗ２、Ｐｗ３）、動きベクトル（Ｖｗ１、Ｖｗ２、Ｖｗ３）、枠順序（Ｎｗ１、Ｎｗ２、Ｎｗ３）の設定情報となる。
枠位置（Ｐｗ１、Ｐｗ２、Ｐｗ３）とは、動き検出枠枠Ｗ１，Ｗ２，Ｗ３のそれぞれの画面上の領域範囲を示す情報（例えば座標情報）である。
動きベクトル（Ｖｗ１、Ｖｗ２、Ｖｗ３）とは、動き検出枠枠Ｗ１，Ｗ２，Ｗ３のそれぞれについての動きの方向、動きの量（速さ）若しくは設定無しを示す情報である。
枠順序（Ｎｗ１、Ｎｗ２、Ｎｗ３）は、各枠についての枠順序を示す情報、若しくは枠順序設定無しを示す情報である。
【００５３】
今回ユーザが選択した動きパターンとして、この例のように３つの動き検出枠枠Ｗ１，Ｗ２，Ｗ３が設定されており、またステップＦ１０１で３つの動体画像が検出された場合を想定すると、動き検出部２４は、図１２（ａ）のように３つの動体画像Ｍ１，Ｍ２，Ｍ３と、３つの動き検出枠Ｗ１，Ｗ２，Ｗ３のそれぞれの関係でチェックを行うためのパラメータを設定する。
パラメータｒｃは、各動体画像が、各動き検出枠に触れているか否かを示すものとする。
パラメータＷｆｉｎは、動き検出枠と動体画像の間のチェックを終えたことを示すものとする。
パラメータＭｆｉｎは、検出された動体画像について検査を終えたことを示すものとする。
これらのパラメータが更新されながら、図１０の処理が実行されていく。
なお、パラメータｒｃ、Ｗｆｉｎ、Ｍｆｉｎの値は、このステップＦ１０１で図１２（ａ）のように設定される初期時点では、全て無効値とされている。
【００５４】
また図１２（ｂ）は、動きパターンチェック用パラメータとして、例えば制御部１７が一連の図９の処理期間に使用するパラメータを示している。
「通過番号」のパラメータは、各動き検出枠枠Ｗ１，Ｗ２，Ｗ３についての順序を判定するために用いられる。
「撮像フラグ」のパラメータは、ステップＦ３の仮保存処理の実行判断に用いられる。
「ＮＧフラグ」のパラメータは、動きパターン完了チェック処理の結果、仮保存された画像データが動きパターンに該当しないことを示す場合に用いられる。
「通過枠カウント」のパラメータは、動き検出枠枠Ｗ１，Ｗ２，Ｗ３の領域範囲に動体画像が該当することに応じてカウントされるものとされ、動体が通過した動き検出枠の数を示すものとして動きパターン完了チェック処理で用いられる。
これらの各パラメータについては、以降説明する処理で用いられる都度、言及する。
【００５５】
図１０のステップＦ１０１において、現フレーム内で１又は複数の動体が検出され、例えば図１２（ａ）のような動体チェック用パラメータを設定した場合、動き検出部２４は、処理をステップＦ１０２からＦ１０３に進める。
ステップＦ１０３では、まず動体画像の１つ（例えば図１２（ａ）の動体Ｍ１）を検査対象とし、この動体画像が、例えば動き検出枠Ｗ１，Ｗ２，Ｗ３の１つ又は複数に触れているかを検査する。つまり動体画像が画面上で動き検出枠Ｗ１，Ｗ２，Ｗ３のそれぞれの中に入ってるか否かを検査する。
【００５６】
或る動体画像Ｍが或る動き検出枠Ｗに触れているか否かの判定は、例えば図１４に示すような手法で実行できる。
まず、動体画像Ｍの重心の座標（Ｐｘ１，Ｐｙ１）と動き検出枠Ｗの中心の座標（Ｐｘ２，Ｐｙ２）から両者のＸ軸の距離ｄｘと、ｙ軸の距離ｄｙを求める。これは以下の式（２）（３）で行う。
ｄｘ＝｜Ｐｘ１−Ｐｘ２｜          ・・・式（２）
ｄｙ＝｜Ｐｙ１−Ｐｙ２｜          ・・・式（３）
そして動体画像Ｍの幅Ｍｗ、高さＭｈと、動き検出枠Ｗの幅Ｗｗ、高さＷｈを用い、
ｄｘ≦（Ｍｗ＋Ｗｗ）／２
あるいは、
ｄｙ≦（Ｍｈ＋Ｗｈ）／２
のいずれかが満たされていれば、両者が触れていると判断できる。
なお動体画像Ｍについての位置や幅、高さの情報はステップＦ１０１の画像解析で検出されている。また動き検出枠についての位置や幅、高さの情報は、図１２（ｃ）の設定情報における枠位置の情報から取り出すことができる。
【００５７】
例えば図１２（ａ）に示すように３つの動体画像Ｍ１，Ｍ２，Ｍ３が検出され、動き検出枠Ｗ１，Ｗ２，Ｗ３が設定されているとき、まずステップＦ１０３では動体画像Ｍ１について、動き検出枠Ｗ１，Ｗ２，Ｗ３のそれぞれを対象とし、上記の演算で「触れているか否か」を検出する。そしてその検出結果を図１２（ａ）の動体チェック用パラメータに反映させる。
仮に、動体画像Ｍ１については、動き検出枠Ｗ１に触れており、動き検出枠Ｗ２，Ｗ３には触れていないという判定がなされた場合、動体チェック用パラメータについては、図１３（ａ）のように値を書き込む。即ち、パラメータｒｃとして、動体画像Ｍ１と動き検出枠Ｗ１について、触れていることを示す値（図では○で示す）を書き込む。動体画像Ｍ１と動き検出枠Ｗ２，Ｗ３の関係については、触れていないことを示す値（図では−で示す）を書き込む。また触れていない動体画像と動き検出枠どうしに関しては、以降の検査処理は不要となるため、動体画像Ｍ１と動き検出枠Ｗ２，Ｗ３の関係でのパラメータＷｆｉｎに検査不要を示す値（図では−で示す）を書き込む。
【００５８】
次にステップＦ１０４では、ステップＦ１０３の検査結果として、対象としている動体画像Ｍ１は、１以上の動き検出枠Ｗに触れているか否かにより処理を分岐する。つまり図１３（ａ）の状態での動体チェック用パラメータを確認すればよい。
もし、動体画像Ｍ１が、いずれの動き検出枠Ｗ１，Ｗ２，Ｗ３にも触れていなければ、ステップＦ１０６で、当該動体画像Ｍ１について、パラメータＭｆｉｎを「検査済み」を示す値を書き込んでステップＦ１０２に戻る。
一方、例えば図１３（ａ）の場合は、動体画像Ｍ１が、動き検出枠Ｗ１に触れているという検査結果が得られていた場合であるが、少なくとも１つの動き検出枠に触れていることで動き検出部２４は処理をステップＦ１０５に進め、動体画像Ｍ１が触れた動き検出枠を抽出する。この場合は動き検出枠Ｗ１を検査対象として抽出することになる。なお、もし動体画像Ｍ１が複数の動き検出枠に触れていた場合は、それらを検査対象とする。
【００５９】
ステップＦ１０７では、検査対象として抽出された１又は複数の動き検出枠において、未検査の動き検出枠の有無を確認する。未検査の動き検出枠があれば、ステップＦ１０８以降で、その１つについて検査を行う。
例えば図１３（ａ）の状況で、動体画像Ｍ１との関係において検査対象として抽出された動き検出枠Ｗ１は、この時点ではパラメータＷｆｉｎは「検査済み」とはなっていないため、未検査の動き検出枠が存在するとして、ステップＦ１０８に進み、動き検出枠Ｗ１についての検査が行われることになる。
ステップＦ１０８では、検査を行う動き検出枠についての設定情報を確認する。この場合、図１２（ｃ）の設定情報から、動き検出枠Ｗ１についての動きベクトルの情報を確認することになる。
【００６０】
上述したように、動き検出枠については、その領域範囲に加えて、動きベクトル（方向性や量）を設定でき、それを特定の動きパターンを構成する条件に加えることができる。その場合、或る動体画像が或る動き検出枠に触れ、かつ動体画像の動きが、その動き検出枠に設定されている動きベクトルと合致していたら、そのフレーム画像は、一連の動きパターンを構成する候補の１つとしての仮保存の条件を満たす。
また動きベクトルの設定がなければ、動き検出枠に動体画像が触れたていたら、それで仮保存の条件が満たされることになる。
【００６１】
もし今回、動き検出枠Ｗ１について設定情報を確認した結果、動きベクトルが設定されていないのであれば、仮保存の条件が満たされたとして、ステップＦ１０９からＦ１１２に進み、撮像フラグをオンとする。撮像フラグは、図１２（ｂ）に示したように、例えば制御部１７が管理するパラメータである。従って動き検出部２４は、ステップＦ１０９において制御部１７に撮像フラグオンを要求し、制御部１７はこれに応じて撮像フラグをオンとする。
【００６２】
一方、動き検出枠Ｗ１について動きベクトルが設定されてたら、ステップＦ１１０に進み、その動きベクトル設定と動体画像Ｍ１の動きベクトルとを比較して、合致しているか否かを判断する。
【００６３】
動きベクトルの比較の手法を図１５に示す。
あらかじめ動き検出枠Ｗ１に対して設定された動きベクトルをＶ０とし、動き検出で検出された動体画像ＭのベクトルをＶ１とする。動きベクトルＶ０は、動き検出枠Ｗの設定時に座標から求められる。また動きベクトルＶ１はステップＦ１０１での解析時に求められる。
この動きベクトルＶ０、Ｖ１について、この２つのベクトルの間の角度θを求める。
Ｖ０＝（ｘ０，ｙ０），Ｖ１＝（ｘ１，ｙ１）とするならば、角度θは以下の式で求められる。
θ＝arccos（ｘ０×ｘ１＋ｙ０×ｙ１）／sqr((ｘ０2＋ｙ０2)×(ｘ１2＋ｙ１2))
・・・式（４）
但し、arcos(n)はｎのアークコサインを求める関数、sqr(n)はｎの平方根を求める関数である。
【００６４】
動体画像Ｍの動きベクトルＶ１と動き検出枠Ｗに設定された動きベクトルＶ０が一致するかどうかの判定方法は、ひとつの例としては、例えばθが３０度以内なら同じ方向を向いていると判断する。
また、ベクトルの大きさ（動きの量）に関しては、図２７で述べるように撮像装置１に動き検出の３つのレベル「強」「中」「弱」の設定値を設け、ユーザに撮像装置１に対し動き検出の感度をあらかじめ設定させておき、それによって判断する方法を設ける。この３つのレベルの動きベクトルの大きさの範囲は設計時の調整事項で撮像装置１の商品仕様に依存してさまざまに取りうる。
【００６５】
ステップＦ１１０では、動き検出部２４は例えばこのような処理で、動き検出枠Ｗ１の動きベクトル設定と動体画像Ｍ１の動きベクトルとを比較する。
そして合致していれば、仮保存の条件を満たしたとして、ステップＦ１１２に進み、動き検出部２４は制御部１７に撮像フラグをオンとするように通知し、制御部１７はこれに応じて撮像フラグをオンとする。
【００６６】
現在検査中の動き検出枠Ｗ１について、動きベクトル設定が無く、もしくはベクトル合致としてステップＦ１１２で撮像フラグがオンとされたら、続いてステップＦ１１３で、動き検出部２４からの通知に基づいて制御部１７が、検査中の動き検出枠Ｗ１について、通過番号、通過枠カウントのパラメータの更新を行う。図１２（ｂ）に示したように、動きパターンチェック用パラメータとしては、今回の動きパターンを構成する各動き検出枠Ｗ１，Ｗ２，Ｗ３の通過番号と、動体画像が触れた通過枠数をカウントするパラメータが用いられるが、これらが、例えば制御部１７が図１１の処理を行うことで更新される。
【００６７】
ステップＦ１５０では、現在検査中の動き検出枠（この時点では動き検出枠Ｗ１）は、通過番号が記入済であるか否かを確認する。
もし、既に記入済であれば、何もパラメータ更新を行わずに図１１の処理を終える。
未記入であれば、ステップＦ１５１に進み、その時点の通過枠カウントの値をインクリメントする。通過枠カウントの初期値は「０」であり、今回、通過枠カウント＝０であったとしたら、通過枠カウント＝１とされる。そして、ステップＦ１５２では、今回の処理が、現フレームについての処理（即ちステップＦ１０１から開始された今回の図１０の処理）で、通過番号の最初の記入機会であるか否かを確認する。
そして現フレームで最初の記入機会であったら、ステップＦ１５３に進み、既に記入されている通過番号の最大値に＋１した値を、現在検査している動き検出枠（動き検出枠Ｗ１）の通過番号とする。
現在説明している動き検出枠Ｗ１の場合、それまで動き検出枠Ｗ１，Ｗ２，Ｗ３の通過番号はいずれも「０」であるため、今回は、動き検出枠Ｗ１の通過番号＝１とされることになる。
【００６８】
なお、現在のフレームに関しての図１０の処理において、後に、他の動き検出枠（例えば動き検出枠Ｗ３）の検査において図１１のステップＦ１５２に進んだ場合は、現フレームの最初の記入機会ではないためステップＦ１５４に進む。その場合は、既に記入されている通過番号の最大値を、そのときに検査している動き検出枠（例えば動き検出枠Ｗ３）の通過番号とする。つまり、その場合、動き検出枠Ｗ１、Ｗ３の両方が、通過番号＝１となる。これは同じフレーム内で、動体画像との関係で動き検出枠Ｗ１、Ｗ３の両方について仮保存の条件が満たされたことが検出されたことになるためであり、動き検出枠Ｗ１、Ｗ３として枠順序として同順位となるようにするためである。
【００６９】
例えば動き検出枠Ｗ１についての検査において、図１０のステップＦ１１３で上記図１１の処理が行われたら、図１０のステップＦ１１４に進む。
また上記ステップＦ１１１で、ベクトル比較の結果、動体画像Ｍ１は動き検出枠Ｗ１に設定された動きベクトルと合致していないと判断された場合は、仮保存条件は満たされず、ステップＦ１１２、Ｆ１１３の処理を行わずにステップＦ１１４に進む。
このステップＦ１１４に進んだ段階では、検査中の動き検出枠Ｗ１について、動体画像Ｍ１との関係のチェックが終了したことになるため、動体チェック用パラメータにおいてパラメータＷｆｉｎを、図１３（ｂ）のように、検査済を示す値（図では「済」で示す）に更新する。そしてステップＦ１０７に戻る。
【００７０】
またこの時点で、先に動体画像Ｍ１との関係においてステップＦ１０５で抽出された全ての動き検出枠、つまりパラメータｒｃが「○」とされた動き検出枠（この場合動き検出枠Ｗ１のみ）は、全て検査済となったため、ステップＦ１０７からＦ１０６に進む。そしてこれまで検査していた動体画像Ｍ１について検査済とする。即ち同じく図１３（ｂ）で示すように動体画像Ｍ１についてのパラメータＭｆｉｎを、検査済を示す値（図では「済」で示す）に更新する。
【００７１】
そしてステップＦ１０２に戻る。このときに、まだ未検査の動体画像の有無を確認する。図１３（ｂ）の動体チェック用パラメータから、まだ動体画像Ｍ２，Ｍ３が未検査であることがわかる。そこでステップＦ１０３から、続いて動体画像Ｍ２についての検査処理を開始する。
動体画像Ｍ２についての各ステップの処理は、ここまで述べてきた動体画像Ｍ１についての処理と同様であるため、ここからは処理の流れを簡単に述べていく。
動体画像Ｍ２についてのステップＦ１０３の検査結果では、この動体画像Ｍ２が、動き検出枠Ｗ１，Ｗ３に触れていたとする。
その場合、図１３（ｃ）のように、動体画像Ｍ２と、動き検出枠Ｗ１，Ｗ３の関係についてパラメータｒｃが「○」とされ、ステップＦ１０５で動き検出枠Ｗ１，Ｗ３が検査対象として抽出される。そしてステップＦ１０８以降で、まず動き検出枠Ｗ１が、動体画像Ｍ２との関係において検査される。
そしてこの場合に、その検査結果に応じて、仮保存条件が満たされればステップＦ１１２，Ｆ１１３で撮像フラグや通過番号、通過枠カウントの処理が行われる。
但し、先に行った、動体画像Ｍ１と動き検出枠Ｗ１との検査においてステップＦ１１２，Ｆ１１３の処理が行われていたと仮定すると、この場合に、動き検出枠Ｗ１と動体画像Ｍ２との関係において仮保存条件が満たされても、ステップＦ１１２，Ｆ１１３では実質的なパラメータ更新処理は行われない。撮像フラグは既にオンであり、またステップＦ１１３としての図１１の処理は、現在検査中の動き検出枠Ｗ１については、既に通過番号は記入されているため、何もパラメータ更新は行わずに処理を抜けるためである。
動き検出枠Ｗ１と動体画像Ｍ２との関係についての検査が終えると、ステップＦ１１４では、図１３（ｄ）のように、動体画像Ｍ２に対する動き検出枠Ｗ１のパラメータＷｆｉｎが「済」とされる。
そしてステップＦ１０７に戻るが、この場合は、まだ動き検出枠Ｗ３が未検査とされているため、ステップＦ１０８以降で、動き検出枠Ｗ３と動体画像Ｍ２の関係において検査が行われる。
もし、ここで動き検出枠Ｗ３と動体画像Ｍ２の関係で仮保存条件を満たした場合は、この場合もステップＦ１１２の処理が行われるが、同様に撮像フラグはオンのままである。またステップＦ１１３で図１１の処理が行われるときは、ステップＦ１５２→Ｆ１５４と進んで、上述したように動き検出枠Ｗ３については動き検出枠Ｗ１と同順位として、通過番号＝１とされることになる。
その後、ステップＦ１１４で動体画像Ｍ２に対する動き検出枠Ｗ３のパラメータＷｆｉｎが「済」とされると、未検査の動き検出枠は無くなるため、ステップＦ１０７からＦ１０６に進み、動体画像Ｍ２についてパラメータＭｆｉｎが「済」とされる。
【００７２】
そして続いて動体画像Ｍ３についての検査が、ステップＦ１０３以降で行われる。ここで、動体画像Ｍ３は、動き検出枠Ｗ１，Ｗ２，Ｗ３のいずれにも触れていないとされると、ステップＦ１０４からＦ１０６に進み、動体画像Ｍ２についてパラメータＭｆｉｎが「済」とされる。この時点で、ステップＦ１０２で未検査の動体画像は無しということになり、ここで今回のフレームに対する図１０の処理を終え、図９のステップＦ３としての仮保存処理に進むことになる。
【００７３】
ステップＦ３としての仮保存処理としては、制御部１７は図１６（ａ）の処理を行う。
制御部１７はまずステップＦ２０１で撮像フラグを確認する。ここで撮像フラグ＝オフであれば、そのまま仮保存を行わずに当該処理を終える。
撮像フラグ＝オンである場合は、先の図１０の処理で、或る動体画像と或る動き検出枠の関係において、少なくとも１回は仮保存条件が満たされた場合である。
そこで制御部１７はステップＦ２０２に進み、今回のフレーム画像の仮保存制御を行う。即ち今回、動き検出部２４で処理させた現フレームの画像データを、まず圧縮／伸長部１９で保存のための圧縮処理させ、圧縮処理させた画像データを不揮発性メモリ２９に転送して仮保存させる。
【００７４】
なお、仮保存処理として図１６（ｂ）の処理も考えられるが、これについては第２の実施の形態として後述する。
【００７５】
図１６（ａ）の仮保存処理に続いて、制御部１７は、図９のステップＦ４として動きパターン完了チェック処理を行う。動きパターン完了チェック処理は、仮保存処理された画像データが、ユーザが撮像目的として選んだ動きパターン、つまり今回の動き検出枠の設定されるパターンに合致したているか否かを判定する処理である。
例えば制御部１７はステップＦ４として、図１７に示す処理を行う。
【００７６】
制御部１７は図１７のステップＦ３００では、撮像フラグ＝オンであるか否かを確認する。
この時点で撮像フラグ＝オフとなっているのは、今回処理対象としていたフレームが、動きパターンを構成する候補とはならず、上記図１６（ａ）の処理でで仮保存されなかった場合である。
このような場合で撮像フラグ＝オフであれば、制御部１７はステップＦ３１１に進み、その時点で仮保存されている画像データが存在するか否かを確認する。
また仮保存されている１又複数の画像データが存在する場合は、ステップＦ３１２で、その仮保存された画像データのうちで最後に仮保存された画像データ以降、所定フレーム（Ｘフレーム）以上連続して撮像フラグ＝オフとなっているか（つまり、仮保存した以降のフレームで仮保存条件を満たさないフレームがＸフレーム以上連続したか）を確認する。
仮保存された画像データが存在しない場合、或いは存在するが、その後仮保存されないフレームがＸフレーム以上連続しない場合は、制御部１７はそのまま何もせずに動きパターン完了チェック処理を終える。その場合、制御部１７は図９のステップＦ１を介してステップＦ２に進み、次のフレームについて、図１０の動体検出処理を動き検出部２４に実行させることになる。
【００７７】
上記ステップＦ３１１で、仮保存された画像データが無い場合とは、まだ動きパターンの候補となる画像データが１枚も得られていない時点の場合である。従って、制御部１７はそのまま次のフレームの処理に移行する。
また、ステップＦ３１２で、仮保存された画像データが存在するが、その仮保存以降、連続してＸフレームにわたって撮像フラグ＝オフ（つまり仮保存されなかった）場合とは、今回の動きパターンの候補となりそうな画像データを仮保存したが、その後、或る程度のフレーム期間で目的とする被写体の動きを構成する被写体画像が得られなかった場合である。これは、そもそも仮保存した画像データは、目的とする動きを構成する被写体の画像ではなかったと判断することが順当である。
そこで制御部１７は、ステップＦ３１２からＦ３０９に進み、不揮発性メモリ２９に仮保存されている撮像画像を削除する。
そしてステップＦ３０８で、その時点までの判定に用いる図１２（ｂ）の動きパターンチェック用パラメータの各値をリセットし、ステップＦ３１０を介して図９のステップＦ１→Ｆ２と移行する。つまり、動きパターン検出動作を次のフレームから初期状態で開始させるようにする。
なお、ステップＦ３１２で、まだＸフレーム連続するまでには至っていないと判定される場合は、まだ仮保存されている画像データが有効な画像か無効な画像かを判断するには早すぎるとし、そのまま次のフレームに移るようにしている。
【００７８】
ステップＦ３００で撮像フラグ＝オンである場合は、今回処理対象としていたフレーム画像データが、直前の仮保存処理で不揮発性メモリ２９に仮保存された場合である。
この場合、その時点で仮保存されている１又は複数のフレームの画像データが、目的とする動きパターンを構成しているか否かを判断する。
まずステップＦ３０１で制御部１７は、今回選択されている動きパターンの設定として、枠順序が設定されているか否かを確認する。
枠順序が設定されていなければ、ステップＦ３０１からＦ３０２に進み、通過枠カウント（図１２（ｂ）参照）の値が、動き検出枠の数となっているか否かを確認する。
通過枠カウントの値が、動き検出枠の数に達していなければ、その時点で仮保存されている１又は複数のフレームの画像データでは、まだ目的とする動きパターンが満たされておらず、また仮保存されている画像データが、有効か無効かも判定できない状態であるとし、制御部１７はステップＦ３１０で撮像フラグをオフにリセットした上で、図９のステップＦ１に戻り、ステップＦ２で、次のフレームについて、図１０の動体検出処理を動き検出部２４に実行させる。
【００７９】
また、今回の動きパターンとして枠順序が設定されている場合は、ステップＦ３０１からＦ３０３に進み、このときも通過枠カウント（図１２（ｂ）参照）の値が、動き検出枠の数となっているか否かを確認する。
通過枠カウントの値が、動き検出枠の数に達していなければ、その時点で仮保存されている１又は複数のフレームの画像データでは、まだ目的とする動きパターンが満たされておらず、また仮保存されている画像データが、有効か無効かも判定できない状態であるとし、制御部１７はステップＦ３１０で撮像フラグをオフにリセットした上で、図９のステップＦ１に戻り、ステップＦ２で、次のフレームについて、図１０の動体検出処理を動き検出部２４に実行させる。
【００８０】
例えば動きパターンが３つの動き検出枠Ｗ１，Ｗ２，Ｗ３で設定されている場合において、仮保存処理された最初の１フレームの画像が、動き検出枠Ｗ１のみについて動体画像Ｍが触れていた場合、通過枠カウント値＝１となっている。このような場合、後続するフレームのチェックを行わなければ、複数のフレームで目的とする動きパターンが構成されるか否かは判断できない。
そのため、通過枠カウント値＝動き検出枠数となるまでは（つまり、１又は複数フレームの間に、全ての動き検出枠Ｗ１，Ｗ２，Ｗ３に動体画像が触れたことが検出されるまでは）、判定は行わずに次のフレームの処理に進むようにしている。
【００８１】
被写体の動きによっては、後続の各フレームに対して、図９のステップＦ２，Ｆ３，Ｆ４が繰り返されていくことで、複数フレームが仮保存処理された時点で、通過枠カウント値＝動き検出枠数となる場合がある。
なお、もちろん、その後、各フレーム画像として候補となる画像が検出されず、仮保存されない状況が続くこともあるが、その場合は、上記のようにステップＦ３１２→Ｆ３０９→Ｆ３０８で、動きパターン検出が初期状態からやり直される状態となる。
付記しておくが、被写体である動体の大きさや動きの速さと、撮像動作のフレームレートの関係によっては、１フレームの画像のみで、複数の全ての動き検出枠に動体画像が触れる（或いはベクトル合致状態で触れる）ということはあり得る。つまり１フレームの画像データが仮保存されたのみの時点でも、ステップＦ３０２又はＦ３０３で通過枠カウント値＝動き検出枠数となり、以降の処理で動きパターンの合致判定を行う場合も無いわけではない。
【００８２】
まず、今回の選択されている動きパターンとして、枠順序が設定されていない場合について説明する。
その場合、ステップＦ３０２で、通過枠カウント値＝動き検出枠数となった時点で、目的の動きパターンが検出されたものとなる。例えば図１（ｂ）、図４（ａ）に示した４人の競技者を被写体とする例のような場合、それぞれの競技者の画像が動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４に対して、動きベクトルが合致する状態で触れたタイミングの画像データがそれぞれ仮保存されていく。同着の場合もあるため、被写体の動きに応じて、１〜４枚の画像データが仮保存される。
つまりその場合、通過枠カウント値＝動き検出枠数となった時点で、仮保存されている１枚又は２枚又は３枚又は４枚の画像データによっては、各競技者のゴールシーンの画像を含んでいることになる。
そこで通過枠カウント値＝動き検出枠数となったら、仮保存されている１又複数の画像データは、目的とする動きパターンを構成する有効な画像データであるとして処理する。
即ち制御部１７はステップＦ３０６に進み、不揮発性メモリ２９に仮保存されている１又複数の画像データをメモリカード９０に記録する。つまり今回撮像された正規の撮像画像データとしてメモリカード９０に記録する。
なお、この場合、メモリカード９０への記録と共に（或いはメモリカード９０への記録は行わずに）不揮発性メモリ２９内で、仮保存画像データが、仮保存ではない有効画像データ（実際の撮像データ）として管理されるようにしてもよい。
【００８３】
このステップＦ３０６でメモリカード９０へ記録が行われることで、自動的に最適なタイミングでの１回の撮像（１枚の撮像又は連写撮像）が行われたことになる。
ステップＦ３０７では、制御部１７は、動き検出パターン完了回数をカウントアップする。これは、本例の動き検出自動撮像実行モードの間に実際に撮像（１枚の撮像又は連写撮像）が行われた回数を示す値である。
【００８４】
この動き検出パターン完了回数の値は、例えば図２０のように、動き検出自動撮像実行モードの間、表示部２１上で完了表示１１２として表示させるようにすれば、ユーザは、目的の動きの画像（１枚画像又は連写画像）が何回撮像されたかを知ることができる。
なお、動き検出自動撮像実行モードは、表示部２１では、被写体のモニタ画像と重畳させて、この図２０のように動き検出枠等の表示が行われるが、例えば上記図１０の動体検出処理の際で、仮保存条件が満たされた際に、その条件が満たされた動き検出枠の表示色を変化させるなどすれば、ユーザにとって分かり易い表示を提供できる。
【００８５】
その後、制御部１７は、ステップＦ３０８で動きパターンチェック用パラメータを全てリセットし、図９のステップＦ１に戻る。
つまり、またパラメータ初期状態から自動撮像動作が継続される。
【００８６】
次に、動き検出枠に枠順序が設定されていた場合について述べる。
その場合、図１７の処理はある時点でステップＦ３０１→Ｆ３０３と進み、そのときに通過枠カウント値＝動き検出枠数となっていれば、ステップＦ３０４で各動き検出枠の通過順のチェックを行うことになる。即ち被写体の動きが、設定した順序で各動き検出枠に触れているか否かを判定する。
【００８７】
制御部１７は、このステップＦ３０４の処理を、例えば図１８のように実行する。
まずステップＦ３５０で、変数ｎを「１」とする。
次にステップＦ３５１で、比較元ポインタを、動き検出枠Ｗ（ｎ）にセットする。
今回の動きパターンとして、３つの動き検出枠Ｗ１，Ｗ２，Ｗ３が設定されており、このＷ１，Ｗ２，Ｗ３の順序が枠順序として設定されているとする。この場合、比較元ポインタはまず図１９に示すように、枠順序が先頭である動き検出枠Ｗ１にセットされる。
制御部１７はステップＦ３５２では、現在の動き検出枠Ｗ（ｎ）は、最後の動き検出枠（動き検出枠Ｗ３）であるか否かを判定する。これは、比較元ポインタが最後の動き検出枠Ｗ３にセットされた時点で、図１８の処理が終了することを意味する。
【００８８】
比較元ポインタが最初に動き検出枠Ｗ１にセットされた時点では、制御部１７はステップＦ３５３に進むことになり、変数ｍ＝ｎ＋１とする。
そして制御部１７はステップＦ３５４で、比較先ポインタを、動き検出枠Ｗ（ｍ）にセットする。つまり図１９のように動き検出枠Ｗ２に比較先ポインタがセットされる。
ステップＦ３５５では、制御部１７は比較元ポインタが示す動き検出枠Ｗ（ｎ）の通過番号（図１２（ｂ）参照）と、比較先ポインタが示す動き検出枠Ｗ（ｍ）の通過番号を比較する。
もし（動き検出枠Ｗ（ｎ）の通過番号の値）≦（動き検出枠Ｗ（ｍ）の通過番号の値）であれば、この２つの動き検出枠の順序関係はＯＫである。
つまり動き検出枠Ｗ１は、動き検出枠Ｗ２より、早い順序（若しくは同時）に動体画像が触れたものとなるためである。
一方（動き検出枠Ｗ（ｎ）の通過番号の値）＞（動き検出枠Ｗ（ｍ）の通過番号の値）であると場合、動体画像が、動き検出枠Ｗ１より先に動き検出枠Ｗ２に触れた場合となるため、その時点で、枠順序が適切でないとしてＮＧ判定される。この場合ステップＦ３５６でＮＧフラグをオンとして図１８の処理を終える。
【００８９】
動き検出枠Ｗ（ｎ）と動き検出枠Ｗ（ｍ）の順序関係がＯＫであれば、続いて制御部１７はステップＦ３５７で、その時点で動き検出枠Ｗ（ｍ）が最後の順序の動き検出枠であるか否かを確認する。
ｍ＝２の時点では、動き検出枠Ｗ２は最後の順序の動き検出枠（この場合、動き検出枠Ｗ３）ではないので、制御部１７はステップＦ３５８に進み、変数ｍをインクリメントする。そしてステップＦ３５４に戻って、比較先ポインタを、動き検出枠Ｗ（ｍ）にセットする。従って今度は比較先ポインタは動き検出枠Ｗ３にセットされ、ステップＦ３５５の比較処理は、（動き検出枠Ｗ１の通過番号の値）≦（動き検出枠Ｗ３の通過番号の値）であるか否かが判定される。この条件が満たされれば、動き検出枠Ｗ１は、動き検出枠Ｗ３より、早い順序（若しくは同時）に動体画像が触れたものとなり、この順序関係はＯＫである。
一方、制御部１７は、これが満たされなければ、動体画像が、動き検出枠Ｗ１より先に動き検出枠Ｗ３に触れたこととなるため、枠順序が適切でないとしてステップＦ３５６でＮＧフラグをオンとして図１８の処理を終える。
【００９０】
上記順序関係がＯＫの場合、制御部１７は、比較先ポインタが示している動き検出枠Ｗ（ｍ）＝最後の動き検出枠Ｗ３となると、次にステップＦ３５７からＦ３５９に進み、変数ｎをインクリメントする。そしてステップＦ３５１で比較元ポインタを動き検出枠Ｗ（ｎ）、即ち今度は動き検出枠Ｗ２にセットする。
そしてステップＦ３５２，Ｆ３５３，Ｆ３５４として上記同様に処理が進行するため、今度はステップＦ３５５では、（動き検出枠Ｗ２の通過番号の値）≦（動き検出枠Ｗ３の通過番号の値）であるか否かが判定される。この条件が満たされれば、動き検出枠Ｗ２は、動き検出枠Ｗ３より、早い順序（若しくは同時）に動体画像が触れたものとなり、この順序関係はＯＫである。一方、これが満たされなければ、動体画像が、動き検出枠Ｗ２より先に動き検出枠Ｗ３に触れたこととなるため、枠順序が適切でないとしてステップＦ３５６でＮＧフラグをオンとして図１８の処理を終える。
【００９１】
ステップＦ３５５で順序関係がＯＫであったら、この場合も比較先ポインタが示している動き検出枠Ｗ（ｍ）＝最後の動き検出枠Ｗ３であるため、制御部１７は次にステップＦ３５７からＦ３５９に進み、変数ｎをインクリメントする。そしてステップＦ３５１で比較元ポインタを動き検出枠Ｗ（ｎ）、即ち今度は動き検出枠Ｗ３にセットする。但しこの時点でステップＦ３５２で、動き検出枠Ｗ（ｎ）＝最後の動き検出枠Ｗ３となり、処理が終了される。
【００９２】
結局この図１８の処理では、複数の動き検出枠の各組み合わせにおいて順序関係を調べていく処理となり、いずれかの組み合わせで逆順序となることがなければ、ＮＧフラグはオンとされない。
通過番号は、上述のように図１０のステップＦ１１３における図１１の処理で、値が代入されるものであるが、各動き検出枠にいては、最初に動体画像Ｍが触れた時点として順位を示す値となる。
例えば３つの動き検出枠Ｗ１，Ｗ２，Ｗ３を想定すると、図１７のステップＦ３０４に進む時点では、仮保存されている画像データ数は、１フレーム又は２フレーム又は３フレームとなる。すると、通過番号としてとり得る値の組み合わせは、図１９に（１）〜（１１）として示すものとなる。
ここで図１９の（１）の組み合わせは、最も典型的な場合として、例えば図２（ｂ）（ｃ）（ｄ）の画像データが仮保存されたような状況の場合である。
【００９３】
図２、図２１を参照して、このような場合の処理の経過を説明しておく。
まず図２（ａ）のフレームＦ＃０を処理しているときは、動体画像が検出されないため、図９のステップＦ２，Ｆ３，Ｆ４としては、特に何も行われない。次に図２（ｂ）のフレームＦ＃１に処理が移った時点で、ステップＦ２の動体検出処理において、鳥の画像が動体画像Ｍ１として検出され、図１０，図１１の処理が行われる。この図１０の処理完了時点で、各パラメータは図２１（ａ）のようになっている。つまり、鳥の画像と動き検出枠Ｗ１の関係で仮保存条件が満たされることで、通過番号として、動き検出枠Ｗ１について「１」とされる。また通過枠カウント＝１とされる。
撮像フラグはオンとなるため、次のステップＦ３の仮保存処理（図１６（ａ））で、当該フレームＦ＃１の画像データが仮保存される。
そしてステップＦ４として、図１７の処理が行われるが、この時点では通過枠カウント＝１で、動き検出枠数に達していないので、そのまま処理を抜け、次に図２（ｃ）のフレームＦ＃２についての処理に移る。
【００９４】
この場合ステップＦ２の動体検出処理においても、鳥の画像が動体画像Ｍ１として検出され、図１０，図１１の処理が行われる。この図１０の処理完了時点で、各パラメータは図２１（ｂ）のようになる。つまり、鳥の画像と動き検出枠Ｗ１、Ｗ２の関係で仮保存条件が満たされる。動き検出枠Ｗ１は既に通過番号が記入されているため、更新されないが、動き検出枠Ｗ２について、通過番号＝２とされ、また通過枠カウント＝２とされる。
撮像フラグはオンとなるため、次のステップＦ３の仮保存処理（図１６（ａ））で、当該フレームＦ＃２の画像データが仮保存される。
そしてステップＦ４として、図１７の処理が行われるが、この時点では通過枠カウント＝２で、動き検出枠数に達していないので、そのまま処理を抜け、次に図２（ｄ）のフレームＦ＃３についての処理に移る。
【００９５】
この場合ステップＦ２の動体検出処理においても、鳥の画像が動体画像Ｍ１として検出され、図１０，図１１の処理が行われる。この図１０の処理完了時点で、各パラメータは図２１（ｃ）のようになる。つまり、鳥の画像と動き検出枠Ｗ１、Ｗ２、Ｗ３の関係で仮保存条件が満たされる。動き検出枠Ｗ１、Ｗ２は既に通過番号が記入されているため、更新されないが、動き検出枠Ｗ３について、通過番号＝３とされる。また通過枠カウント＝３とされる。
撮像フラグはオンとなるため、次のステップＦ３の仮保存処理（図１６（ａ））で、当該フレームＦ＃３の画像データが仮保存される。
そしてステップＦ４として、図１７の処理が行われるが、この時点では通過枠カウント＝３で、動き検出枠数に達する。これによってステップＦ３０４の処理で枠順序の検査が行われる。
このとき、動き検出枠Ｗ１，Ｗ２，Ｗ３についての通過番号は、図１９の（１）の状態となっている。
そしてこの場合、図１８の処理ではＮＧフラグはオンとならない。つまり仮保存されたフレームＦ＃１，Ｆ＃２，Ｆ＃３の画像データは、枠順序の条件も満たしていると判定される。
【００９６】
結局図１８の処理で，枠順序ＯＫとなるのは、図１９の（１）〜（４）の場合である。（５）〜（１１）の場合は、図１８の処理過程でＮＧフラグがオンとされることになる。
【００９７】
図１７のステップＦ３０４で以上のように枠順序の確認が行われたら、その結果に応じてステップＦ３０５で処理を分岐する。つまりＮＧフラグ＝オフの場合、設定した枠順序が満たされているとしてステップＦ３０６に進む。
そしてステップＦ３０６では、制御部１７は仮保存されている１又複数の画像データは、目的とする動きパターンを構成する有効な画像データであるとして処理する。即ち不揮発性メモリ２９に仮保存されている１又複数の画像データをメモリカード９０に記録する。
このステップＦ３０６でメモリカード９０へ記録が行われることで、自動的に最適なタイミングでの１回の撮像（１枚の撮像又は連写撮像）が行われたことになる。例えば図２（ｂ）（ｃ）（ｄ）の連写画像が「撮像」されたものとなる。
ステップＦ３０７では、制御部１７は、動き検出パターン完了回数をカウントアップする。
そして制御部１７は、ステップＦ３０８で動きパターンチェック用パラメータを全てリセットし、図９のステップＦ１に戻る。
つまり、またパラメータ初期状態から自動撮像動作が継続される。
【００９８】
一方、図１７のステップＦ３０４の処理（つまり図１８の処理）で、ＮＧフラグがオンとなった場合は、以下のように処理が行われる。
例えば通過番号が図１９に示す（５）〜（１１）の場合は、枠順序の設定が満たされていないためＮＧフラグがオンとされるが、その場合制御部１７、図１７の処理をステップＦ３０５からＦ３０９に進め、不揮発性メモリ２９に仮保存されている画像データを無効なものとして削除する制御を行う。
即ち、この時点までに仮保存させてた画像データは、目的とする動きを構成する被写体の画像ではなかったと判断され、削除されることになる。
そして制御部１７はステップＦ３０８で、その時点までの判定に用いる図１２（ｂ）の動きパターンチェック用パラメータの各値をリセットし、ステップＦ３１０を介して図９のステップＦ１→Ｆ２と移行する。つまり、動きパターン検出動作を次のフレームから初期状態で開始させるようにする。
【００９９】
本例の動き検出自動撮像実行モードでは、ユーザの終了操作が図９のステップＦ１で検知され、動き検出自動撮像準備モードに戻るまでの間、以上説明してきた処理が継続して行われる。
その結果、動きパターンに合致した画像データが、ユーザの意図する撮像結果として、メモリカード９０に保存される状態になる。
また、動きパターンに合致すると判断されるまでは、その候補となる画像データが仮保存されるが、合致しないとされた場合は、それらの仮保存された画像データは無駄な画像データだとみなされて破棄される。
これらのことから、被写体が意図する動作を示した場合の画像が高い確率で自動撮像されメモリカード９０に保存されるとともに、無駄な画像が保存されることを極力減らすことができる。
【０１００】
なお、もちろんこのような撮像装置１の処理に関しては、ユーザの撮像装置１に対する設定変更により変更可能にしておき、仮保存された画像データは、動きパターンに合致しないと判断された場合にも、削除はせずに、例えば不揮発性メモリ２９内で保存しておき、後にユーザが確認した上で、有効な画像とするか無効なものとして削除するかを選択できるようにしてもよい。
またこのように一旦無効と判断された画像データを不揮発性メモリ２９等で削除しないで保存しておく場合、その保存領域に容量の制約を設け、容量オーバとなったときに、随時古い画像データから上書きしてしまうなどの工夫をとることも考えられる。
【０１０１】
また、有効化とは、メモリカード９０に撮像画像として保存することとしたが、上述もしたように、不揮発性メモリ２９等の内部メモリにおいて有効な撮像画像（ユーザが撮像結果として通常意識する画像データとして）保存しても良いし、或いは外部インターフェース部２８によって他の機器に接続されている場合は、当該他の機器に、撮像結果の画像データとして転送するようにしてもよい。
【０１０２】
また、仮保存された画像データについて有効／無効の判断は、図１７の処理によるものとしたが、もちろん有効判断する条件は多様に考えられる。
上記例では、枠順序が設定されていない場合は、動体が全ての枠に触れた場合に仮保存された画像データを有効とし、また枠順序が設定されている場合は、動体が全ての枠に、枠順序に従った順序で触れた場合に、仮保存された画像データを有効とした。
実際には、これに限らず、以下のような条件としたり、或いはユーザが以下のような条件を選択することも考えられる。
【０１０３】
・動体画像が１又は複数の動き検出枠の少なくとも１つに触れたら有効とする。
・動体画像が複数の動き検出枠のうちで、予め設定された数に触れたら有効とする。
・動体画像が複数の動き検出枠の少なくとも過半数に触れたら有効とする。
・動体画像が１又は複数の動き検出枠の少なくとも１つに、設定された動きベクトルに合致した状態で触れたら有効とする。
・動体画像が複数の動き検出枠の少なくとも過半数に、設定された動きベクトルに合致した状態で触れたら有効とする。
・複数の動き検出枠について、枠順序設定と動きベクトル設定がされている場合に、枠順序と動きベクトルの両方が合致する場合に加えて、ＯＲ条件として、動きベクトル設定には合致しないが枠順序が正しい場合と、動きベクトル設定に合致するが枠順序が正しくない場合も、有効とする。
・枠順序について、図１９の（１）〜（１１）のうちで、ＯＫとする通過番号の組み合わせを任意に選択できるようにする。
【０１０４】
以上は例示であって、これ以外にも有効判断の条件は多様に考えられるが、例えば多様な有効判断条件を用いること、或いはユーザが選択可能とすることで、ユーザの撮像目的に合致する自動撮像を精度良く実行できるようになる。
【０１０５】
＜１−４：動きパターンの設定＞
ここでは本例の撮像装置１において上記のように用いられる動きパターンを、ユーザが自分で新たに作成する場合の手法について説明する。即ち動き検出枠の設定手法である。
【０１０６】
図２２（ａ）には、撮像装置１のタッチスクリーン２３上に示された設定メニュー１２０を示している。ユーザはこの設定メニューで「動きパターン登録」の項目を選択する。制御部１７は、このようなユーザ操作に応じて、図２２（ｂ）の動きパターン選択画面１２１を表示部２１（タッチスクリーン２３）に表示させる。
ユーザは、この動きパターン選択画面１２１において、すでに登録されている動きパターン（パターンＡ、Ｂ、Ｃ等）を選択するか、新規にパターンを作成するかをタッチすることで選ぶことができる。
【０１０７】
ユーザが登録パターン若しくは新規作成を選択することに応じて、制御部１７は図２２（ｃ）の動き検出領域設定画面１２２を表示部２１に表示させる。
ユーザはこの動き検出領域設定画面１２２を用いて、登録されている動きパターンの動き検出枠を編集したり、新規に動き検出枠を作成するなどの作業を行う。例えば被写体を検出する動き検出枠の領域を矩形の枠として指定し、その大きさや位置を設定できる。また各動き検出枠についての条件、つまり方向性や動きの量などの動きベクトル設定や、枠順序についての設定などを行うことができる。
【０１０８】
その後、ユーザが動き検出枠の作成／編集作業を完了し、「決定」の操作を行ったら、制御部１７は図２２（ｄ）の動きパターン検出完了条件設定画面１２３を表示部２１に表示させる。
ユーザは、この動きパターン検出完了条件設定画面１２３によって、動き検出の完了条件（例えば上記図１７の処理での有効化判断の条件）とする通過枠個数の設定や枠順序のチェックを行うか否かの選択を可能としている。
ユーザが「戻る」操作を行った場合は、制御部１７は図２２（ｂ）の動き検出領域設定画面１２２に戻す処理を行う。ユーザは動き検出枠の領域設定をやり直すことができる。  動きパターン検出完了条件設定画面１２３での条件設定を終えてユーザが「決定」操作を行ったら、制御部１７は図２２（ｂ）の動きパターン選択画面に戻す処理を行う。このとき、制御部１７は、今回作成された動きパターンを、新たな動きパターンとして登録する処理を行い、以降ユーザが選択できるようにする。
【０１０９】
図２２（ｃ）の動き検出領域設定画面１２２の詳細について図２３で説明する。
ここでは、動体画像を検出する範囲と位置を表す矩形の枠の設定方法の一例について述べる。以下に述べる表示動作は、ユーザの操作に応じて制御部１７の表示制御処理で実行される。
タッチスクリーン２３の画面上に表示される動き検出領域設定画面１２２には、動き検出枠を設定できる範囲としての点線１３３が表示されている。また、追加ボタンＢ１、削除ボタンＢ２、決定ボタンＢ３が表示されている。またベクトル設定ボタンＢ４，ベクトル自動設定ボタンＢ５も表示される。
【０１１０】
ユーザが追加ボタンＢ１をタッチすると、新規に動き検出枠（例えば動き検出枠Ｗ１）が画面上の空きスペースに表示される。この図では、２つの動き検出枠Ｗ１，Ｗ２が追加ボタン１の２回の操作に応じて表示された状態を示している。
新規追加された動き検出枠は所定の大きさで画面上に現れる。もし、画面上の空きスペースが小さく、新たな動き検出枠が表示できない場合は、制御部１７は動き検出枠を追加せずエラーメッセージを表示してユーザに通知するなどを行う。
また、この新規追加した動き検出枠は自動的に選択状態になる。画面上に複数の動き検出枠が表示されているときは、ユーザは選択状態にしたい動き検出枠にタッチすればよい。
【０１１１】
画面上に表示された動き検出枠（Ｗ１，Ｗ２）の左上には、その動き検出枠の番号を示す数字（順序表示１３６）が表示される。この順序表示１３６としての番号は、動き検出枠が生成された順にカウントアップされ、その動き検出枠に付随される順序データとして管理される。つまり、この番号が、上述した枠順序の設定とされ、動きパターンの判定に使用される。ユーザは、後述する動き検出パターン完了条件設定の際に、この番号が有効か無効化かを選択できる。つまり枠順序の設定を行うか行わないかの選択である。
なお、ここでは動き検出枠の生成順に動き検出枠の順番が設定されるようにしているが、任意数の動き検出枠を生成させた後、ユーザが任意に枠順序を設定したり、枠順序を変更したりすることができるようにしてもよい。
【０１１２】
選択状態の動き検出枠の四隅にはボタン１３４が表示される。図では動き検出枠Ｗ２が選択状態となっている例を示している。非選択の動き検出枠（この場合動き検出枠Ｗ１）にはこの四隅のボタンは表示されない。
ユーザはこのボタン１３４にタッチしながら動かす（ドラッグ操作する）ことで動き検出枠の範囲を拡大・縮小することができる。ただし、縮小・拡大の可変範囲を規定しても良い。例えば縮小できる最小のサイズは新規追加した時点で現れた動き検出枠の大きさとし、それ以下には縮小できないようにしてもよい。
【０１１３】
また、選択中の動き検出枠（Ｗ２）の中央には十字印１３５が表示される。ユーザはこの十字印１３５をドラッグ操作することで動き検出枠（Ｗ２）全体の位置を動かすことができる。ただし、動き検出枠は点線１３３よりも外側には移動できない。つまり、動き検出枠の範囲は必ず点線１３３の内側になければならない。制御部１７は、ユーザがそれ以上の領域にドラッグしようとしても当該動き検出枠を移動させないようにする。
【０１１４】
ある動き検出枠が選択された状態でユーザが削除ボタンＢ２にタッチした場合、制御部１７は、当該動き検出枠を削除する。このとき実際に削除する前にダイアログを表示して「ＯＫ」「キャンセル」をユーザに選択できるようにすると良い。
【０１１５】
画面上に複数の動き検出枠がある場合は、動き検出枠と他の動き検出枠は一部重なっても良い。ただし、同じ大きさの動き検出枠が完全に同じ位置にあったり、或る大きさの動き検出枠が別の動き検出枠の内側に存在することはなどはできないようにしてもよい。制御部１７は、ユーザがそのような位置に或る動き検出枠をドラッグして移動しようとしたときは、動き検出枠を移動させずにエラーメッセージをユーザに通知するなどを行ってもよい。もちろん、動き検出枠同士は一部であっても重なってはいけないような制限を設けても良い。
【０１１６】
動き検出枠に対しては、動きベクトル設定を行うことができる。
ユーザはまず、任意の動き検出枠を選択状態にし、ベクトル設定ボタンＢ４を押す。ベクトル設定ボタンＢ４は一回押すと、押下状態を表すアイコン表示に変化する。そしてこの場合は、この画面が動きベクトル設定モードとして振舞うことをユーザに示すものとなる。このときにもう一度ベクトル設定ボタンＢ４をタッチすると、ふたたび前述の枠の大きさ・位置の設定モードに戻る。
【０１１７】
動きベクトル設定モードでは、図２４に示すように、選択中の動き検出枠（Ｗ２）に対し画面上の任意の位置にポイントＰ１が出現する。また、ポイントＰ１から選択中の動き検出枠（Ｗ２）の中心Ｐ０に向かって矢印Ｖ０が描画される。この矢印Ｖ０が動き検出枠（Ｗ２）に対するベクトル方向を示す。
また、この矢印は編集中を表す色（例えば赤）で描画されるとよい。
このとき、ユーザが選択中の動き検出枠（Ｗ２）の外側の、画面上の任意の位置をタッチすれば、ポイントＰ１が任意の位置に移動する。ポイントＰ１は点線１０３の外側に移動できるようにしてもよい。つまりタッチスクリーン２３の画面範囲内で移動できるようにすればよい。ポイントＰ１が移動した場合は、移動したポイントＰ１の位置をベースに矢印Ｖ０が再描画される。
【０１１８】
また、ユーザが選択中の動き検出枠（Ｗ２）の内側の任意の位置にタッチした場合は、ポイントＰ１、矢印Ｖ０の表示が消えるようにする。例えばこの状態は、選択中の動き検出枠に対しては動きベクトルを設定していないことを示すものとする。
【０１１９】
ユーザが動き検出枠の動きベクトルの設定を終了したい場合は、ベクトル設定ボタンＢ４をふたたび押すことで、前述の枠の大きさ・位置の設定モードに戻る。一度設定した動きベクトルは、決定されたことを示す色（例えば黒）で描画される。
さらに、ユーザが別の動き検出枠に対して動きベクトルを設定したい場合は、その動き検出枠をタッチし選択状態にし、ベクトル設定ボタンＢ４を押して動きベクトル設定モードにして、上記同様に操作を行えばよい。
【０１２０】
動き検出枠に対するベクトル方向を変更する例を図２５に示す。
この場合は、選択中の動き検出枠（Ｗ２）の外側のポイントＰ１から動き検出枠の中心Ｐ０に向かうベクトル方向ではなく、逆の動き検出枠（Ｗ２）の中心Ｐ０から外のポイントＰ１に向かうベクトル方向を設定したい場合である。
指定方法としては、前述の動きベクトル設定モードにおいて、一度ポイントＰ１の位置を決めた後に、ユーザが再度ポイントＰ１と同じ座標をタッチする。制御部１７はこれを方向切り換えの指示として認識し、ベクトルを逆方向に設定する。この場合ポイントＰ１を何度もタッチすることでベクトル方向をＰ１→Ｐ０、Ｐ０→Ｐ１と切り替えることができるようにする。また矢印Ｖ０の描画もベクトルの方向に追随して行う。
【０１２１】
また、動きベクトルを自動設定するモードも用意される。
ユーザが画面上のベクトル自動設定ボタンＢ５をタッチすることで、各動き検出枠に設定する動きベクトルを、動き検出枠の順番に従って自動決定するモードになる。
図２６に、３つの動き検出枠Ｗ１，Ｗ２，Ｗ３が生成されている状態を示しているが、このときにユーザがベクトル自動設定ボタンＢ５を押した場合、制御部１７は、図のように各動き検出枠Ｗ１，Ｗ２，Ｗ３の中心Ｐ０を基準にベクトル自動設定を行う。
即ち、矢印Ｖ０として、動き検出枠Ｗ１の中心から動き検出枠Ｗ２の中心を結ぶベクトルを設定し、また矢印Ｖ１として、動き検出枠Ｗ２の中心から動き検出枠Ｗ３の中心を結ぶベクトルを設定する。
このモードの場合、ユーザは各動き検出枠について個別の動きベクトルを設定することができないようにしてもよい。
【０１２２】
続いて、動きベクトルの大きさの設定について図２７で述べる。
動きベクトルの大きさ（動きの量）は、撮像装置１が動きを検出する感度として項目設定できるのが最も望ましい。
この場合では、図２７（ａ）に示すようなＧＵＩ設定メニューにおいてユーザが動きベクトル検出感度を「強」「中」「弱」の３つのレベルから選択できるようにする。
強・・・動きベクトルが「小」のときに検出する
中・・・動きベクトルが「中」のときに検出する
弱・・・動きベクトルが「大」のときに検出する
この強中弱をチェックボックス１４２でユーザが選択し、ＯＫＢ端１４１で選択決定できるようにする。
【０１２３】
また、動きベクトルの大、中、小の判定方法の一例としては、図２７（ｂ）に示すように、１フレーム分での動体画像の動きベクトルの大きさと、タッチスクリーンの解像度の大きさとを比較することで行う。ここでは一例として、図２７（ｂ）示すように、前述の枠位置の設定可能領域を示す点線枠１０３の高さをｈとしたときに、下記のように閾値を定めるとする。
大・・・１フレームで動体画像が高さｈの１／２以上動いたとき
中・・・１フレームで動体画像が高さｈの１／４〜１／２動いたとき
小・・・１フレームで動体画像が高さｈの１／４以下動いたとき
この「大」「中」「小」を決める閾値は撮像装置１の使用時の調整パラメータとして、容易に変更可能な設計にしておくと良い。また、ユーザが上記パラメータを撮像装置１の設定値として設定できるようにＧＵＩメニューを設けることも考えられる。
【０１２４】
動きベクトルの大きさの設定について、別の例を図２８に示す。
図２８（ａ）は、前述の図２４の動きベクトル設定画面の動きベクトル方向設定時に、ユーザが選択中の動き検出枠の外側の任意の位置にポイントＰ１を指定した際に、Ｐ１→Ｐ０間の距離をそのまま動きベクトルの大きさとして設定する例を示している。
また図２８（ｂ）では、動きベクトルの大きさを３種類（大、中、小）を用意しておき、それぞれＧＵＩ上の矢印線の描画色を変えて表示する。例えば
赤線・・・動き大
黄線・・・動き中
青線・・・動き小
として定めておき、ユーザが任意の色を指定してから、動きベクトルの方向を指定するようにする。撮像装置１による、この動き大、動き中、動き小の判定方法は前述の図２７（ｂ）の手法を使えばよい。
【０１２５】
この図２８（ａ）（ｂ）で述べた２つの手法によれば、動き検出枠ごとに異なる動きベクトルの大きさを指定できるという点で、より精密な動きパターン設定が可能になるという利点がある。
以上の図２７、図２８（ａ）（ｂ）の動きベクトルの大きさの設定方式については、このうちのいずれかを撮像装置１に採用してもよいし、すべての設定方式を撮像装置１に盛り込み、ユーザが任意の方式を選択できるようにすることも可能である。
【０１２６】
ここまで、図２２（ｃ）の動き検出領域設定画面１２２上で、ユーザが動き検出枠の領域範囲の設定、枠順序設定、動きベクトルの方向性や大きさの設定などを行うことを述べてきた。これらの作業を完了したら、ユーザは決定ボタンＢ３を操作する。
ユーザが決定ボタンＢ３を押すと、動き検出枠の領域範囲の設定が終了したとして、制御部１７は、図２２（ｄ）に示した動きパターン検出完了条件設定画面１２３に遷移する処理を行う。
【０１２７】
続いて図２２（ｄ）の動きパターン検出完了条件設定画面１２３を用いたユーザ操作を図２９で説明する。
動きパターン検出完了条件とは、例えば上記図１７のような動きパターン完了チェック処理において、動きパターンに合致したとして有効判定する際の条件の設定を意味する。例えば上述したように、図１７の例では、枠順序が設定されていない場合は、動体が全ての枠に触れた場合に仮保存された画像データを有効とし、また枠順序が設定されている場合は、動体が全ての枠に、枠順序に従った順序で触れた場合に、仮保存された画像データを有効とした。
さらに上述したように、例えば動体画像が複数の動き検出枠のうちで、予め設定された数に触れたら有効とするなど、条件としては各種考えられる。
ここでは一例として、動き検出枠の枠順序を条件に入れるか否かの設定や、動体画像が触れた枠の数の設定をできるようにした例を示す。
【０１２８】
図２９の動きパターン検出完了条件設定画面１２３においては、先に動き検出領域設定画面１２２で設定された動き検出枠による動きパターン設定表示１５１が表示される。
また通過枠個数設定部１５２と、個数調整ボタンＢ１１が表示される。
また順番チェックボックス１５３と、チェックボックスＢ１４が表示される。
また戻るボタンＢ１３、決定ボタンＢ１２が表示される。
【０１２９】
動きパターン設定表示１５１として、現在作成中の動きパターンが表示されるが、ユーザは、もしこの動きパターンを修正したいと思った場合は、戻るボタンＢ１３を押せばよい。この場合制御部１７は、再び図２２の（ｃ）の動き検出領域設定画面１２２に戻るように制御する。
【０１３０】
ユーザは、動きパターン設定表示１５１で表示されている動きパターンについて、判定条件として枠順序を機能させるか否かを設定できる。
即ち順番チェックボックス１５３におけるチェックボックスＢ１４をタッチすることで、順番チェックの有無を選択できる。順番チェックの有無とは、図１７で述べた枠順序の判定を条件に加えるか否かであり、この設定に基づいて、図１７のステップＦ３０１の処理分岐がなされるものとなる。
【０１３１】
またユーザは、動きパターン設定表示１５１で表示されている動きパターンについて、判定条件として通過枠個数を設定できる。即ち通過枠個数設定部１５２において個数調整ボタンＢ１１で数値を変更することで、任意の数を設定できる。例えば図のように３つの動き検出枠が生成されている場合、通過枠個数として「１」「２」「３」のいずれかを選択できる。
この通過枠個数とは、図１７のステップＦ３０２，Ｆ３０３でのべた「動き検出枠の数」に相当する。先の図１７の説明では、この「動き検出枠の数」＝「動き検出枠の総数」として固定であるものとして説明したため、「動体画像が全ての動き検出枠に触れた」ということを１つの判定条件とするものとなったが、例えばこの通過枠個数の設定によれば、例えば動き検出枠が３つの動きパターンの場合に、「動体画像が１つの動き検出枠に触れた」或いは「動体画像が２つの動き検出枠に触れた」という条件とすることもできることになる。
【０１３２】
なお、通過枠個数の設定、順番チェックの設定については、デェフォルトとしては、例えば通過枠個数＝生成された動き検出枠の総数、順番チェック＝「しない」などとしておくことが考えられる。
また、当然ながらこれらの設定は、動き検出枠が１つの場合は無用である。その場合、通過枠個数設定部１５２、順番チェックボックス１５３の表示部分はタッチ操作を無効としたり表示をトーンダウンするなどすることが適切である。
【０１３３】
ここでは通過枠個数と順番チェックの有無の設定を行う例を示したが、当然、より多様な条件設定ができるようにしてもよい。
ユーザは、この動きパターン検出完了条件設定画面１２３で条件を選択したあと、決定ボタンＢ１２をタッチする。すると制御部１７は、条件設定完了として、図２２の動きパターン選択画面１２１に戻すようにする。
なお、この動きパターン検出完了条件設定画面１２３を終了する際には、設定された情報を表示してユーザに再度確認を促し「ＯＫ」「キャンセル」などの選択可能にしても良い。
例えば以上のようにして、ユーザは任意に動きパターンを生成し、撮像装置１で使用できるように登録することができる。
制御部１７は、生成された動きパターンの情報については、制御部１７の内部の不揮発性メモリや、不揮発性メモリ２９の所定領域などに記憶し、以降、動き検出自動撮像の実行の際に、図７（ａ）の設定メニューから選択できるようにする。
【０１３４】
＜１−５：撮像装置に適用した場合の効果＞
以上、撮像装置１における動き検出自動撮像の動作、及び動きパターンの設定などについて説明してきたが、このような実施の形態の撮像装置１によれば、次のような効果が得られる。
【０１３５】
一般的に、動きのある物体を狙って写真撮像するのは熟練した撮像技術が必要で、素人には困難であったが、本例の撮像装置１を使えば、ユーザが簡単な操作で狙った構図で動く物体を撮ることができる。
たとえば、サッカー観戦をしていて、ゴール前にフレームを合わせて構えていれば、シャッターチャンスを逃すことなく、決定的瞬間を撮像することができる。
また、ある程度動きが予測できるものに関しては、動きのパターンを設定することが可能なので、撮像者がカメラを保持して待機している必要がない。
例えば図２〜図４で述べた、動きの素早い生物の写真や鉄道写真などを目的とする場合、撮像地点、アングル、フレームを固定したまま、長時間被写体を待つ必要のある場合でも、ユーザがその間カメラの前で待機する必要はなく、別のことをやりながらでも、狙った構図で撮像を行うことができる。
また、例えば運動会の場合でかけっこのシーンを撮像するときに、ゴール前にフレームを固定して、競技者だけを狙ってゴールシーンを効果的に撮像することができる。また、高速撮像の設定も可能なので、競馬の写真判定のような使い方も可能である。
【０１３６】
また動きパターンの設定は、動き検出枠の配置や数、動き検出枠に対するベクトルという単純な組み合わせで行われる。このため１つの動き検出枠のみを設定する簡単なものから、複数の動き検出枠を用い、動きベクトルや枠順序の設定などを設けるなどにより、多様な動きや、或る程度複雑な動きに対しても対応できる。
これにより、さまざま撮像シーンの性質に合わせて動き検出パターンを選ぶことができ、ユーザの意図に近い被写体の動きパターンで撮像が行える。つまり、撮りたい目的としての各種の被写体の動きに柔軟に対応できる。
【０１３７】
この動き検出枠による動きパターンの設定については、より多様な設定例も考えられる。例えば図３０（ａ）は、一部の動き検出枠について枠順序を設定した例である。動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４のうち、動き検出枠Ｗ１は枠順序１番、動き検出枠Ｗ２は枠順序２番とするが、動き検出枠Ｗ３，Ｗ４は順序を指定しないものとする。この場合、「Ｗ１→Ｗ２→Ｗ３→Ｗ４」という順番に動体画像が通過した場合と、「Ｗ１→Ｗ２→Ｗ４→Ｗ３」という順番に動体画像が通過した場合のいずれもが、枠順序ＯＫと判定される。
また図３０（ｂ）は、一部の動き検出枠について動きベクトルを設定した例である。動き検出枠Ｗ１のみ動きベクトルが設定され、動体画像が右から進入した場合に、ベクトル合致とする。他の動き検出枠Ｗ２，Ｗ３は、どのような方向性で動体画像が検出されてもよいとする。
また図３０（ｃ）は、一部の動き検出枠について枠順序を設定し、一部の動き検出枠には動きベクトルを設定した例である。動き検出枠Ｗ１は枠順序１番とするが、他の動き検出枠は順序指定しない。動き検出枠Ｗ２，Ｗ３は動きベクトルを設定している。
以上のような多様な設定の組み合わせによって、目的とする被写体に対して、より的確な動きパターン検出を行うことも可能となる。
【０１３８】
また、撮像したいシーンや動きパターンの選択等によっては、高速撮像、連続撮像としての撮像も実行されるので、シャッターチャンスを逃すことなく、動く物体の決定的瞬間を捉えることが可能である。
またそれらの場合に、意図した動きをした場合のみ写真を撮像する（有効な画像として保存する）ので、無駄な枚数をたくさん撮像するということはない。
また、従来は、特に動きが速い被写体に対しては、所望のシーンの前後に合わせて連続撮像するなどを行って、たくさん撮像された写真の中から、ユーザが望んでいる構図や動きのものを、後の編集作業で取捨選択することが必要であったが、本例によれば大きく期待はずれの写真を撮像してしまうケースが減少する。
【０１３９】
また、動き検出パターンを作成する機能を設けているので、ユーザが自由な動き検出パターンを作成することができる。
またユーザが作成した動き検出パターンは、任意の数だけ撮像装置１に保存し、自動撮像時に任意のパターンを設定できるので、様々なケースですばやく撮像したい構図と動き検出パターンを設定することができ、非常に利便性が高い。
【０１４０】
また、動き検出自動撮像実行中は、図２０のように、自動撮像とわかるようにアイコン１１１の表示を行ったり、動き検出枠を表示したり、完了回数表示１１２を行うようにしている。また動体画像の通過が検出された動き検出枠については色を変えるなどの表示を行う。これによって、ユーザは被写体がどの動き検出枠を通ったか、動く検出パターンで撮像された回数は何回か、などをリアルタイムに確認することができる。これにより的確に自動撮像を停止するか継続するかなどの判断ができる。
【０１４１】
なお、動き検出自動撮像を行う際には、検出された動体画像にあわせて露出調整、フォーカス調整を行うようにすることで、その被写体がきれいに写るような画像を残すことができ、より好適である。
即ち制御部１７は、動き検出部２４で検出される動体画像について、露光制御値やフォーカス制御値を求め、それによって可変光学系３のレンズや絞りの調整、タイミング制御部１４を指示して電子シャッタ調整、アナログ信号処理部でゲイン調整などを行うことができるためである。
【０１４２】
なお、この本例のような撮像装置１は、防犯カメラ用途などとしても好適に使用できる。また本例のような撮像装置１を用いれば、例えば低コストのカメラで効果的に連続撮像を行いたい場合などに、高速連写機能を持たなくても、ユーザの望んだ的確なタイミングで連続撮像を行うことができる。
【０１４３】
ところで、上記例では、動き検出枠は矩形の枠として説明してきたが、もちろんその枠形状は限定されない。
例えば動きパターンをユーザが作成するために図２３のように動き検出枠を設定する場合や、或いは予め撮像装置１に記憶されている動きパターンにおける動き検出枠については図３１に示すような多様な枠形状が考えられる。
図３１（ａ）は、動き検出枠を任意の形状の幾何学図形とした例である。図３１（ｂ）は任意の位置を結ぶ多角形としての動き検出枠の形状例である。図３１（ｃ）はユーザがフリーハンドで描いた曲線を閉じたパスで示した、動き検出枠の形状例である。
即ち動き検出枠は、動体顔図を検出する位置と範囲を示すものであればよくその枠形状はどのようなものでもよい。
撮像装置１の実装によっては、これら複数の動き検出枠の形状を用意し、編集メニューでユーザに選択させることや、動きパターン設定時にユーザに選択させるようにしてもよい。
【０１４４】
［２．第２の実施の形態（撮像装置）］
続いて第２の実施の形態について説明する。これは、同じく図５のような構成の撮像装置１として実現できる例であるが、特に仮保存処理の際に、図１６（ｂ）の処理を採用する場合の例である。
【０１４５】
ユーザ操作によって動き検出自動撮像実行モードとされた際の制御部１７の処理を図３２に示す。
ステップＦ１１は、上述した図９のステップＦ１と同様、ユーザの終了操作を監視する処理を示している。
ステップＦ１２では、制御部１７は、撮像動作で得られた現フレームを画像メモリ１８から動き検出部２４に転送させ、動き検出部２４に動体検出処理を実行させる。動き検出部２４（及び制御部１７）は、このステップＦ１２で、上述した図１０の処理を実行することになる。
【０１４６】
図１０の処理を終えたら、続いて図３２のステップＦ１３として制御部１７は仮保存処理を行う。
この場合制御部１７は図１６（ｂ）の処理を実行する。
まず、ステップＦ２１０で撮像フラグがオンであるか否かにより処理を分岐する。撮像フラグがオフであれば、何もせず、次の図３２のステップＦ１４に進む。
図１０の説明で述べたように、動体画像が条件に合致してある動き検出枠に触れた場合、当該フレームは仮保存対象とするものとして撮像フラグはオンとなる。
撮像フラグがオンであったら、制御部１７は図１６（ｂ）の処理をステップＦ２１０からＦ２１１に進める。
まずステップＦ２１１で制御部１７は、連写期間のタイムカウントを開始する。そしてステップＦ２１２でフレーム画像データを、不揮発性メモリ２９に仮保存させる。なお、この仮保存の段階で画像データを圧縮／伸長部１９で圧縮処理させてもよいが、この仮保存の際には、圧縮処理をしないでもよい。また、必ずしも不揮発性メモリ２９で仮保存しなくてもよく、画像メモリ１８内で、該当する複数フレームが仮保存データとして管理されるようにしてもよい。
この処理を、ステップＦ２１３で連写期間のカウントがタイムアウトとなるまで繰り返す。
【０１４７】
つまりこの場合は、或るフレーム画像データを対象として動体検出処理が行われた結果、撮像フラグがオンとなったら、仮保存処理の際に、所定の連写期間の間、複数のフレーム画像データが不揮発性メモリ２９に仮保存されることになる。
仮保存されるフレームとしては、動体検出処理対象としたフレームを先頭に、連写期間内に撮像されて画像メモリ１８に取り込まれてくる複数フレームとなる。
【０１４８】
図３２のステップＦ１３として、このような仮保存処理を行ったら、制御部１７はステップＦ１４で、仮保存処理を実行したか否かで処理を分岐する。
この場合、撮像フラグがオフであって直前のステップＦ１３で仮保存が行われていなければ、ステップＦ１１に戻り、終了操作が無ければステップＦ１２から同様の処理を行う。
【０１４９】
一方、直前のステップＦ１３で複数フレームの仮保存が行われた場合は、制御部１７はステップＦ１５に進む。まず、仮保存された複数フレームの画像データのうちで、直前のステップＦ１２で動体検出処理対象となったフレームの次のフレームを抽出する。
そして当該抽出したフレーム画像データを動き検出部２４に転送させ、ステップＦ１６として、上記図１０の動体検出処理を実行させる。
【０１５０】
このステップＦ１６の動体検出処理の後、制御部１７はステップＦ１７で、図１７の動きパターン完了チェック処理を行う。
この場合、最初に仮保存のトリガとなったフレームと、その次のフレームが、それぞれステップＦ１２とＦ１６で動体検出処理対象となっているが、その処理結果を反映した動きパターンチェック用パラメータ（図１２（ｂ）参照）を用いて、図１７の処理により、動きパターンに合致した画像データであるか否か（或いはまだ引き続き次のフレームについても確認が必要か）を判断できる。
【０１５１】
図１７の処理でまだ条件が未確定であって、ステップＦ３０６若しくはＦ３０９の処理がなされない場合（処理未確定）は、制御部１７はステップＦ１８からＦ１９に進み、仮保存した全画像データについて動体検出処理を行ったか否かを確認する。まだ未処理の次のフレームの画像データがあれば、ステップＦ１５に戻って、次のフレームの画像データを動き検出部２４に転送させ、ステップＦ１６として、上記図１０の動体検出処理を実行させる。そして動体検出処理の後、制御部１７はステップＦ１７で、図１７の動きパターン完了チェック処理を行う。
【０１５２】
このような処理の過程で、ステップＦ１７の動き検出パターン完了チェック処理において、動きパターンに合致する条件が満たされたら、図１７のステップＦ３０６で仮保存された複数の画像データに対しての有効化が行われる。
即ち、制御部１７はステップＦ１３で仮保存した複数フレーム分の画像データが、いわゆる連写の静止画像としてメモリカード９０に保存する処理を行う。なお、仮保存の際に圧縮処理を施していなければ、この時点で、仮保存された各画像データを圧縮／伸長部１９で圧縮処理させた上でメモリカードインターフェース部２６に転送させ、メモリカード９０に書き込むようにすればよい。
この場合はステップＦ１８で処理確定とされ、ステップＦ１１に戻って、再び初期状態から自動撮像動作を開始する。
【０１５３】
一方、ステップＦ１７の動き検出パターン完了チェック処理において、動きパターンに合致する条件に該当しないとし、例えばＮＧフラグがオンとなったら、ステップＦ３０９で無効化処理が行われる。この場合、制御部１７は、仮保存した複数フレーム分の画像データを削除する。
この場合もステップＦ１８で処理確定とされ、ステップＦ１１に戻って、再び初期状態から自動撮像動作を継続する。
【０１５４】
また、ステップＦ１７の動き検出パターン完了チェック処理において処理未確定が継続した場合において、仮保存した全フレーム分の動体検出処理が終わったような場合は、ステップＦ１９からＦ２０に進む。この場合も、仮保存した複数フレーム分の画像データは、動きパターンに該当するものではなかったと判断し、制御部１７は、仮保存した複数フレーム分の画像データを削除する。そしてステップＦ１１に戻って、再び初期状態から自動撮像動作を行う。
【０１５５】
この図３２のような処理は、即ち、或るフレームの画像データにおいて撮像フラグがオンとなったら、そのフレーム以降、連写期間として設定した期間のフレームを仮保存する。そして、仮保存した後に、各フレームの動体検出処理、動き検出パターン完了チェック処理を行って、動きパターンに該当する一連の画像であるか否かを判断し、有効化又は無効化処理を行うものである。
【０１５６】
この処理例を採用しても上述した第１の実施の形態と同様の効果を得ることができる。また、特に動体検出処理や動き検出パターン完了チェック処理の所要時間と、フレームレートの関係などで、動体検出処理や動き検出パターン完了チェック処理が１フレーム期間に間に合わないような場合は、特にこの図３２に処理は好適となる。
【０１５７】
なお、仮保存する際には、ステップＦ１２で動体検出処理対象としたフレームよりも時間的に前のフレームを先頭にして連写期間内に撮像される複数フレームとしてもよい。例えば画像メモリ１８には、撮像された各フレームを或る程度の時間、残しておくようにすれば、動体検出処理対象としたフレームよりも時間的に前のフレームから、動体検出処理対象としたフレームを含む複数のフレームを仮保存することができる。
また、この場合に仮保存するフレームは、撮像動作のフレームレートにもよるが、連続するフレームとしてもよいし、１フレームおき、数フレームおきなど、間欠的にフレームを抽出して仮保存してもよい。
また、連写期間内に撮像される複数フレームを仮保存するとしたが、特にタイムカウントを行わず、後続する所定フレーム数の画像データを仮保存するようにしてもよい。
もちろん仮保存の際の連写期間や、フレーム数などはユーザが設定できるようにすることもできる。
更に、上述した第１の実施の形態としての図９の処理のステップＦ３において図１６（ｂ）の仮保存処理を採用する例も考えられる。
【０１５８】
［３．第３の実施の形態（撮像装置）］
同じく撮像装置１として実現できる処理例として、第３の実施の形態を図３３で説明する。これは、撮像装置１が動画撮像を行っている期間に、選択した特定の動きパターンに合致する画像を抽出する処理である。
【０１５９】
図３３は制御部１７の処理である。
制御部はステップＦ３０で、例えばユーザ操作などに応じて動画撮像を開始させる。即ち撮像素子部８、アナログ信号処理部１２，Ａ／Ｄ変換部１３、画像処理部１５の処理を介して画像メモリ１８に転送されてくる動画としての各フレームの画像データについて、圧縮／伸長部１９で圧縮処理させ、メモリカードインターフェース部２６に転送させてメモリカード９０に動画データとして保存させる処理を実行させる。
【０１６０】
このような動画撮像処理の過程において、制御部１７は、ステップＦ３２で動体検出処理を動き検出部２４に実行させる。即ち動画を構成するフレーム画像データから現フレームのデータを画像メモリ１８から動き検出部２４に転送させ、図１０の処理を実行させる。
また制御部１７は、ステップＦ３３で、図１６（ａ）の仮保存処理を実行し、ステップＦ３４で図１７の動き検出パターン完了チェック処理を実行する。
即ち、動画撮像処理動作と平行して、各フレーム画像データについて、ステップＦ３２，Ｆ３３，Ｆ３４の処理を行う。
するとこの場合は、動画を構成するフレームのうちで、選択した動きパターンの候補となる画像データが不揮発性メモリ２９に仮保存され、また動きパターンとの合致条件が満たされることで、仮保存された画像データが有効な静止画像としてメモリカード９０等に保存されることになる。
【０１６１】
つまりこの場合は、動画撮像が行われることに加え、その撮像された動画データの中で、動きパターンに合致した１又は複数の画像データが、静止画像としてメモリカード９０に保存されることになる。ユーザにとっては、動画撮像を行いつつ、被写体が特定の動きパターンとなったタイミングでの静止画像を得ることができる。
【０１６２】
なお、この場合、静止画データは、必ずしも動画データと独立して保存しなくても良い。例えば図１７のステップＦ３０６で行う有効化は、該当するフレーム画像データを、動画データと独立した静止画データとして保存しても良いが、動画データ内で、当該静止画となるフレームをマーキングするような手法を採っても良い。
例えば動画データ内に付加するメタデータとして、該当するフレームについて動きパターンに合致したフレームであることを示す情報を付加するようにすればよい。
或いは、該当するフレームナンバを管理する有効化フレーム管理情報を作成しても良い。つまり動きパターンに合致したとして有効化するフレームのフレームナンバやタイムコードを、記録する。
これらの手法によれば、後に、メタデータやフレームナンバ等を用いて、動画データから該当するフレームを抽出することができる。つまりユーザにとっては静止画として記録された状態と同様に提示できるものとなる。
つまり、動きパターンに該当すると判定された１又は複数フレームの画像データについての有効化の処理としては、メタデータ付加やフレームナンバ管理など、或いはさらに他の手法で、有効画像として抽出可能な状態とするものとしてもよい。
【０１６３】
この第３の実施の形態のように動画撮像中にも動きパターンに合致したタイミングの自動撮像を適応できるようにすることで、幅広い撮像スタイルで活用できる。
また、ここでは動画撮像中に、特定の動きパターンに合致する静止画像を得るものとしたが、通常の動画撮像にも動き検出自動撮像は適用できる。
即ち、動画撮像動作は、すべて仮保存として扱い、動きパターンに合致したシーンのみを最終的に撮像データとして保存することも、当然実行可能である。
【０１６４】
［４．第４の実施の形態（情報処理装置）］
続いて第４の実施の形態として、本発明を情報処理装置に適用する例を示す。情報処理装置の例としてパーソナルコンピュータを挙げる。
図３４はパーソナルコンピュータ（以下「ＰＣ」）２００の構成例を示している。
ＰＣ２００は図示するように、ＣＰＵ（Central Processing Unit）２１１、メモリ部２１２、ネットワークインターフェース部２１３、ディスプレイコントローラ２１４、入力機器インターフェース部２１５、ＨＤＤインターフェース部２１６、キーボード２１７、マウス２１８、ＨＤＤ２１９、表示装置２２０、バス２２１、外部機器インターフェース部２２２、メモリカードインターフェース部２２３などを有する。
【０１６５】
ＰＣ２００のメインコントローラであるＣＰＵ２１１は、メモリ部２１２に格納されているプログラムに応じて、各種の制御処理を実行する。ＣＰＵ２１１は、バス２２１によって他の各部と相互接続されている。
バス２２１上の各機器にはそれぞれ固有のメモリアドレス又はＩ／Ｏアドレスが付与されており、ＣＰＵ２１１はこれらアドレスによって機器アクセスが可能となっている。バス２２１の一例はＰＣＩ（Peripheral Component Interconnect）バスである。
【０１６６】
メモリ部２１２は揮発メモリ、不揮発性メモリの双方を含むものとして示している。例えばプログラムを格納するＲＯＭ（Read Only Memory）、演算ワーク領域や各種一時記憶のためのＲＡＭ（Random Access Memory）、ＥＥＰ−ＲＯＭ（Electrically Erasable and Programmable Read Only Memory）等の不揮発性メモリを含む。
このメモリ部２１２には、ＣＰＵ２１１において実行されるプログラムコードやＰＣ２００に固有の識別情報その他の情報を格納したり、通信データのバッファ領域や実行中の作業データのワーク領域に用いられる。
【０１６７】
ネットワークインターフェース部２１３は、イーサネット（Ethernet：登録商標）などの所定の通信プロトコルに従って、ＰＣ２００をインターネットやＬＡＮ（Local Area Network）などのネットワークに接続する。ＣＰＵ２１１はネットワークインターフェース部２１３を介して、ネットワーク接続された各機器と通信を行うことができる。
【０１６８】
ディスプレイコントローラ２１４は、ＣＰＵ２１１が発行する描画命令を実際に処理するための専用コントローラであり、例えばＳＶＧＡ（Super Video Graphic Array）又はＸＧＡ（eXtended Graphic Array）相当のビットマップ描画機能をサポートする。ディスプレイコントローラ２１４において処理された描画データは、例えばフレームバッファ（図示しない）に一旦書き込まれた後、表示装置２２０に画面出力される。表示装置２２０は、例えば、有機ＥＬ（Electroluminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイや、液晶表示ディスプレイ（Liquid Crystal Display）などとして形成される。
【０１６９】
入力機器インターフェース部２１５は、キーボード２１７やマウス２１８などのユーザ入力機器をＰＣ２００としてのコンピュータシステムに接続するための装置である。
即ちＰＣ２００に対するユーザの操作入力がキーボード２１７及びマウス２１８を用いて行われ、その操作入力情報が、入力機器インターフェース部２１５を介してＣＰＵ２１１に供給される。
【０１７０】
ＨＤＤインターフェース部２１６は、ハードディスクドライブ（ＨＤＤ）２１９に対する書込／読出のインターフェース処理を行う。
ＨＤＤ２１９は、周知の通り記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェアプログラムを実行可能な状態でＨＤＤ２１９上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ２１９には、ＣＰＵ２１１が実行すべきオペレーティングシステムのプログラムコードや、アプリケーションプログラム、デバイスドライバなどが不揮発的に格納されている。
ＨＤＤ２１９に格納されている各種プログラムは、ＰＣ２００の起動時やユーザ層に応じたアプリケーションプログラムの起動時などに、メモリ部２１２に展開される。ＣＰＵ２１１はメモリ部２１２に展開されたプログラムに基づいた処理を行う。
【０１７１】
外部機器インターフェース部２２２は、例えばＵＳＢ規格（Universal Serial Bus）などにより接続された外部機器とのインターフェースである。
本例の場合、外部機器としては、例えばデジタルスチルカメラやビデオカメラ、ビデオプレーヤなどが想定される。
ＰＣ２００は、この外部機器インターフェース部２２２を介した通信により、デジタルスチルカメラ等からの画像データの取込などが可能となる。
なお、外部機器インターフェース部２２２は、ＵＳＢ規格に限らず、例えばＩＥＥＥ（Institute of Electrical and Electronics Engineers）１３９４など、他のインターフェース規格であってもよい。
【０１７２】
メモリカードインターフェース部２２３は、メモリカード９０に対するデータの書込／読出を行う。
例えば上述した撮像装置１のようなデジタルスチルカメラ、或いはビデオカメラ等で用いられたメモリカード９０を装着することで、そのメモリカード９０から画像データを読み込むこともできる。
【０１７３】
このようなＰＣ２００では、ＣＰＵ２１１におけるソフトウエア構造、即ちアプリケーションプログラム、ＯＳ（Operating System）、デバイスドライバなどのソフトウエアに基づく演算処理／制御動作を行うことで、各種動作が実行される。
本例の場合、後述する図３５の処理が行われるが、この処理を行うためのプログラムは、例えばＨＤＤ２１９にインストールされ、起動時にメモリ部２１２に展開される。ＣＰＵ２１１はメモリ部２１２に展開されたプログラムに基づいて必要な演算処理や制御処理を実行する。
【０１７４】
なお、本実施の形態で機能する、図３５の処理をＣＰＵ２１１に実行させるプログラムは、ＰＣ２００等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
【０１７５】
このようなＰＣ２００においては、例えばＨＤＤ２１９に、各種の画像コンテンツを格納することができる。例えばユーザがデジタルスチルカメラやビデオカメラで撮像した画像コンテンツを取り込んでＨＤＤ２１９に格納することで、ユーザは、このＰＣ２００を用いて撮像した画像を再生させて楽しむこともできる。
また、ユーザが撮像した画像コンテンツだけでなく、例えば外部のビデオプレーヤ等で再生され外部インターフェース部２２２から取り込んだ画像コンテンツ、或いはネットワークインターフェース部２１３によりネットワーク経由で外部サーバからダウンロードした画像コンテンツもＨＤＤ２１９に格納し、再生させることができる。
【０１７６】
これらの画像コンテンツとして、動画コンテンツがＨＤＤ２１９に格納されていたり、メモリカード９０に動画コンテンツが格納されている際に、本例の動作として、それらの動画コンテンツを対象として図３５の処理を行うことができる。
【０１７７】
図３５は、プログラムに応じて実行されるＣＰＵ２１１の処理を示している。
ユーザが、或る動画コンテンツを指定して再生操作することで、この図３５の処理が開始される。
ステップＦ５０は再生終了の監視処理を示している。ユーザの再生終了操作、もしくは動画コンテンツの再生終了となることに応じて、ＣＰＵ２１１はステップＦ５０から処理を終える。
【０１７８】
再生が行われている間は、ＣＰＵ２１１はステップＦ５１〜Ｆ５５の処理を繰り返すことになる。
ステップＦ５１は、例えばＨＤＤ２１９等から再生対象となっている動画コンテンツの動画ストリームデータの読出制御を行う。ＣＰＵ２１１の制御に基づいてＨＤＤ２１９，ＨＤＤインターフェース部２１６で動画ストリームデータの読み出し処理が継続的に行われる。
ステップＦ５２ではＣＰＵ２１１の制御に基づき、動画ストリームデータのデコード、デコードしたフレーム画像データの表示、フレーム画像データのメモリへの展開などが行われる。
即ちＨＤＤ２１９等から逐次読み出されてくる動画ストリームデータは、ＨＤＤインターフェース部２１６やＣＰＵ２１１等でデコード処理が行われ、ディスプレイコントローラ２１４で表示用の処理が行われ、表示装置２２０で表示される。つまり一連の動画再生処理である。
このとき、デコードされた各フレームの画像データは、メモリ部２１２において一時的に保存されながら、以降のステップＦ５３，Ｆ５４、Ｆ５５の処理に供される。
ステップＦ５３では、ＣＰＵ２１１は、現フレームを対象として、動体検出処理を行う。即ち図１０の処理を実行する。
また、ステップＦ５４では、ＣＰＵ２１１は仮保存処理として図１６（ａ）の処理を実行する。なおこの場合、図１６（ａ）でいう撮像フラグがオンとなっていた場合、そのフレームの画像データを、仮保存処理として、メモリ部２１２内の所定領域に仮保存すればよい。
またステップＦ５５では、ＣＰＵ２１１は動き検出パターン完了チェック処理として、図１７の処理を実行する。
【０１７９】
即ち本例では、動画再生中に、各フレーム画像データに対して、ステップＦ５３，Ｆ５４，Ｆ５５の処理を行う。これにより動きパターンに合致する候補となるフレーム画像データが仮保存されると共に、動きパターンに合致すると判定された時点で、仮保存された１又は複数フレームの画像データが有効化される。
例えば動画コンテンツから抽出した静止画データとして、メモリ部２１２の所定領域、或いはＨＤＤ２１９，あるいはメモリカード９０等に保存されればよい。
【０１８０】
このようにＰＣ２００において、上述した図１０，図１６，図１７の処理と同様の処理を実行させることで、動画再生中に、ユーザが所望するシーンの画像、つまりユーザが選択した動きパターンに合致したシーンの画像が、１又は複数の静止画像として抽出され、保存されることになる。なお、もちろん静止画でなく、動画として抽出されて保存されても良い。
これによってユーザは動画コンテンツの中から、特に抽出させたいシーンを容易にとりだし、例えばそれをファイル化して再生を楽しむことなども可能となる。
例えばユーザにとっては、例えば自分でビデオカメラで動画撮像した動画コンテンツを対象として図３５の処理を実行させることで、目的とするシーンの静止画又は動画を自動的に抽出させることができ、非常に便利なものとなる。
【０１８１】
なお、この場合も有効化としては、該当シーンの画像が独立して保存されるものではなく、メタデータ付加やフレームナンバ管理、コンテンツ内のアドレス管理などの形態で、抽出可能な状態とするものであってもよい。さらには、該当シーンの画像を他の機器に送信して他の機器側で保存されるようにするものでもよい。
また、図３５の処理は表示装置２２０で動画再生表示を行いながら実行するものとしたが、もちろん再生表示を伴わなくても良い。
つまりユーザが動画コンテンツを指定することで、表示を行わずに図３５の処理が行われ、その結果として動きパターンが合致する静止画又は動画シーンが抽出されるという処理としても良い。もちろんその場合、動画コンテンツを高速再生するなどして、より短時間で所望の動きパターンのシーンを抽出させることもでき、より有用となる。
【０１８２】
また上記例では例えばＨＤＤ２１９やメモリカード９０に記憶された動画コンテンツを対象としてシーン抽出を行うものとしたが、抽出処理の対象とする動画コンテンツは多様に考えられる。
例えば図３４には示していないが、ＤＶＤドライブ、ブルーレイディスクドライブなどが接続されることで、ＤＶＤやブルーレイディスクなどの光ディスクに記録された画像コンテンツを再生することもでき、その場合、光ディスクに記録された動画コンテンツを対象として図３５の処理を行って、所望の動きパターンのシーンを抽出させることもできる。さらにテレビジョン放送チューナ等を搭載、又は接続しているのであれば、放送コンテンツを対象として所望の動きパターンのシーンを抽出させることもできる。
【０１８３】
本例では情報処理装置としてパーソナルコンピュータを例に挙げたが、例えば携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機器、ビデオ編集機、その他画像データを用いる多様な情報処理装置に本発明は適用できる。また、この図３５のような処理動作を、第１の実施の形態で挙げた撮像装置１（デジタルスチルカメラ、ビデオカメラ）等で実現することもできる。
【図面の簡単な説明】
【０１８４】
【図１】本発明の実施の形態の動き検出枠の説明図である。
【図２】実施の形態の動き検出動作の説明図である。
【図３】実施の形態で保存される画像例の説明図である。
【図４】実施の形態の動き検出動作の各種の例の説明図である。
【図５】実施の形態の撮像装置のブロック図である。
【図６】実施の形態の動体検出処理の説明図である。
【図７】実施の形態の動き検出自動撮像に関するモード遷移の説明図である。
【図８】実施の形態の動き検出自動撮像準備モードと動き検出自動撮像実行モードの遷移の説明図である。
【図９】第１の実施の形態の動き検出自動撮像実行モードの処理のフローチャートである。
【図１０】実施の形態の動体検出処理のフローチャートである。
【図１１】実施の形態の通過番号及び通過枠カウントの処理のフローチャートである。
【図１２】実施の形態の処理で用いるパラメータの説明図である。
【図１３】実施の形態の動体検出処理過程のパラメータ値の遷移の説明図である。
【図１４】実施の形態の動体画像と動き検出枠の触れの判定処理の説明図である。
【図１５】実施の形態の動体画像と動き検出枠のベクトル判定処理の説明図である。
【図１６】実施の形態の仮保存処理のフローチャートである。
【図１７】実施の形態の動きパターン完了チェック処理のフローチャートである。
【図１８】実施の形態の動き検出枠の通過順チェック処理のフローチャートである。
【図１９】実施の形態の動き検出枠の通過順チェック処理の説明図である。
【図２０】実施の形態の動き検出自動撮像実行中の画面表示例の説明図である。
【図２１】実施の形態の動き検出自動撮像実行中のパラメータ変化の説明図である。
【図２２】実施の形態の動きパターン生成の説明図である。
【図２３】実施の形態の動き検出領域設定画面の説明図である。
【図２４】実施の形態の動きベクトル設定の説明図である。
【図２５】実施の形態の動きベクトルの方向指定の説明図である。
【図２６】実施の形態の自動的な動きベクトル設定の説明図である。
【図２７】実施の形態の動きベクトルの大きさ設定の説明図である。
【図２８】実施の形態の動きベクトルの大きさ設定の説明図である。
【図２９】実施の形態の動きパターン検出完了条件設定画面の説明図である。
【図３０】実施の形態の動き検出枠の設定例の説明図である。
【図３１】実施の形態の動き検出枠の形状例の説明図である。
【図３２】第２の実施の形態の動き検出自動撮像実行モードの処理のフローチャートである。
【図３３】第３の実施の形態の動き検出自動撮像実行モードの処理のフローチャートである。
【図３４】実施の形態のパーソナルコンピュータのブロック図である。
【図３５】第４の実施の形態の動画再生時の処理のフローチャートである。
【符号の説明】
【０１８５】
１  撮像装置、３  可変光学系、８  撮像素子、１２  アナログ信号処理部、１３  Ａ／Ｄ変換部、１４  タイミング制御部、１５  画像処理部、１６  操作部、１７  制御部、１８  画像メモリ、１９  圧縮／伸長部、２０  表示画像生成部、２１  表示部、２２  タッチパネル、２４  動き検出部、２６  メモリカード用インタフェース部、２８  外部インタフェース部、２９  不揮発性メモリ、９０  メモリカード、２００  パーソナルコンピュータ、２１１  ＣＰＵ、２１２  メモリ部、２１３  ネットワークインターフェース部、２１４  ディスプレイコントローラ、２１５  入力機器インターフェース部、２１６  ＨＤＤインターフェース部、２１７  キーボード、２１８  マウス、２１９  ＨＤＤ、２２０  表示装置、２２２  外部機器インターフェース部、２２３  メモリカードインターフェース部
【図１】
2009200713.tif 000003
【図２】
2009200713.tif 000004
【図３】
2009200713.tif 000005
【図４】
2009200713.tif 000006
【図５】
2009200713.tif 000007
【図６】
2009200713.tif 000008
【図７】
2009200713.tif 000009
【図８】
2009200713.tif 000010
【図９】
2009200713.tif 000011
【図１０】
2009200713.tif 000012
【図１１】
2009200713.tif 000013
【図１２】
2009200713.tif 000014
【図１３】
2009200713.tif 000015
【図１４】
2009200713.tif 000016
【図１５】
2009200713.tif 000017
【図１６】
2009200713.tif 000018
【図１７】
2009200713.tif 000019
【図１８】
2009200713.tif 000020
【図１９】
2009200713.tif 000021
【図２０】
2009200713.tif 000022
【図２１】
2009200713.tif 000023
【図２２】
2009200713.tif 000024
【図２３】
2009200713.tif 000025
【図２４】
2009200713.tif 000026
【図２５】
2009200713.tif 000027
【図２６】
2009200713.tif 000028
【図２７】
2009200713.tif 000029
【図２８】
2009200713.tif 000030
【図２９】
2009200713.tif 000031
【図３０】
2009200713.tif 000032
【図３１】
2009200713.tif 000033
【図３２】
2009200713.tif 000034
【図３３】
2009200713.tif 000035
【図３４】
2009200713.tif 000036
【図３５】
2009200713.tif 000037
【手続補正書】
【提出日】平成21年4月8日(2009.4.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
処理対象の画像データが、予め設定された動きパターンに該当する画像内容の画像データであるか否かを判定する判定手段と、
上記判定手段によって、上記動きパターンに該当すると判定された画像データを有効化する有効化手段と、
を備えた画像処理装置。
【請求項２】
上記判定手段は、
一のフレームの画像データについて、動体画像を検出し、検出された動体画像を用いて、当該一のフレームの画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定する動体検出処理と、
上記動体検出処理で上記動きパターンを構成する候補となると判定された画像データを仮保存する仮保存処理と、
上記仮保存処理で仮保存された画像データが、上記動きパターンに該当する画像であるか否かを判定するパターン該当判定処理と、
を行う請求項１に記載の画像処理装置。
【請求項３】
上記判定手段は、上記動体検出処理においては、
一のフレームの画像データにおいて検出された上記動体画像と、上記動きパターンの設定情報として画面上の範囲を指定するように設定されている動き検出枠とを用いて、当該一のフレームの画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定する請求項２に記載の画像処理装置。
【請求項４】
上記判定手段は、上記動体検出処理において、
画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定するための処理の１つとして、上記動体画像の全部又は一部が上記動き検出枠の範囲内にあるか否かの検査を行う請求項３に記載の画像処理装置。
【請求項５】
上記判定手段は、上記動体検出処理において、
画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定するための処理の１つとして、上記動体画像の動き方向もしくは動きの量が、上記動き検出枠について設定されている動き方向もしくは動きの量に該当するか否かの検査を行う請求項３に記載の画像処理装置。
【請求項６】
上記判定手段は、上記仮保存処理においては、
上記動体検出処理で、上記動きパターンを構成する候補となると判定された画像データを含む複数フレームの画像データを仮保存する請求項２に記載の画像処理装置。
【請求項７】
上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されている場合において、
上記判定手段は、上記パターン該当判定処理においては、
仮保存された複数フレームの画像データが、上記動きパターンに該当する画像であるか否かを判定するために、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、複数の上記動き検出枠のそれぞれの範囲に入ったか否かを検査する請求項２に記載の画像処理装置。
【請求項８】
上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されている場合において、
上記判定手段は、上記パターン該当判定処理においては、
仮保存された複数フレームの画像データが、上記動きパターンに該当する画像であるか否かを判定するために、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、複数の上記動き検出枠のそれぞれの範囲に入った順序を検査する請求項２に記載の画像処理装置。
【請求項９】
上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が設定されており、
上記判定手段は、各画像データに含まれている動体画像が、上記動き検出枠の範囲に入ったか否かを検査した検査結果を用いて、上記動体画像を含む画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行う請求項１に記載の画像処理装置。
【請求項１０】
上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されており、
上記判定手段は、各画像データに含まれている動体画像が、複数の上記動き検出枠のそれぞれの範囲に入ったか否かを検査した検査結果を用いて、上記動体画像を含む画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行う請求項１に記載の画像処理装置。
【請求項１１】
上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が設定されており、
上記判定手段は、各画像データに含まれている動体画像が、上記動き検出枠の範囲に、その動き検出枠について設定された方向性もしくは動きの量で入ったか否かを検査した検査結果を用いて、上記動体画像を含む画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行う請求項１に記載の画像処理装置。
【請求項１２】
上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されており、
上記判定手段は、各画像データに含まれている動体画像が、複数の上記動き検出枠のそれぞれの範囲に入った順序を検査した検査結果を用いて、上記動体画像を含む画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行う請求項１に記載の画像処理装置。
【請求項１３】
上記有効化手段は、上記有効化として、上記動きパターンに該当すると判定された画像データを記録媒体に記録する請求項１に記載の画像処理装置。
【請求項１４】
上記有効化手段は、上記有効化として、上記動きパターンに該当すると判定された画像データが有効画像データとして抽出可能な状態とする請求項１に記載の画像処理装置。
【請求項１５】
上記有効化手段は、上記動きパターンに該当しないと判定された画像データを破棄する請求項１に記載の画像処理装置。
【請求項１６】
処理対象の画像データが、予め設定された動きパターンに該当する画像内容の画像データであるか否かを判定する判定ステップと、
上記判定ステップによって、上記動きパターンに該当すると判定された画像データを有効画像データとして処理する有効化ステップと、
を備えた画像処理方法。
【請求項１７】
処理対象の画像データが、予め設定された動きパターンに該当する画像内容の画像データであるか否かを判定する判定ステップと、
上記判定ステップによって、上記動きパターンに該当すると判定された画像データを有効画像データとして処理する有効化ステップと、
を情報処理装置に実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の画像処理装置は、処理対象の画像データが、予め設定された動きパターンに該当する画像内容の画像データであるか否かを判定する判定手段と、上記判定手段によって、上記動きパターンに該当すると判定された画像データを有効画像データとする有効化手段とを備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
また上記判定手段は、一のフレームの画像データについて、動体画像を検出し、検出された動体画像を用いて、当該一のフレームの画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定する動体検出処理と、上記動体検出処理で上記動きパターンを構成する候補となると判定された画像データを仮保存する仮保存処理と、上記仮保存処理で仮保存された画像データが、上記動きパターンに該当する画像であるか否かを判定するパターン該当判定処理とを行う。
この場合、上記判定手段は、上記動体検出処理においては、一のフレームの画像データにおいて検出された上記動体画像と、上記動きパターンの設定情報として画面上の範囲を指定するように設定されている動き検出枠とを用いて、当該一のフレームの画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定する。
また、上記判定手段は、上記動体検出処理において、画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定するための処理の１つとして、上記動体画像の全部又は一部が上記動き検出枠の範囲内にあるか否かの検査を行う。
また、上記判定手段は、上記動体検出処理において、画像データが上記動きパターンを構成する候補となる画像データであるか否かを判定するための処理の１つとして、上記動体画像の動き方向もしくは動きの量が、上記動き検出枠について設定されている動き方向もしくは動きの量に該当するか否かの検査を行う。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、上記判定手段は、上記仮保存処理においては、上記動体検出処理で、上記動きパターンを構成する候補となると判定された画像データを含む複数フレームの画像データを仮保存する。
また、上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されている場合において、上記判定手段は、上記パターン該当判定処理においては、仮保存された複数フレームの画像データが、上記動きパターンに該当する画像であるか否かを判定するために、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、複数の上記動き検出枠のそれぞれの範囲に入ったか否かを検査する。
また、上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されている場合において、上記判定手段は、上記パターン該当判定処理においては、仮保存された複数フレームの画像データが、上記動きパターンに該当する画像であるか否かを判定するために、複数フレームの各画像データに含まれている動体画像が、その複数フレームで表現される動きとして、複数の上記動き検出枠のそれぞれの範囲に入った順序を検査する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が設定されており、上記判定手段は、各画像データに含まれている動体画像が、上記動き検出枠の範囲に入ったか否かを検査した検査結果を用いて、上記動体画像を含む画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行う。
また上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されており、上記判定手段は、各画像データに含まれている動体画像が、複数の上記動き検出枠のそれぞれの範囲に入ったか否かを検査した検査結果を用いて、上記動体画像を含む画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行う。
また上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が設定されており、上記判定手段は、各画像データに含まれている動体画像が、上記動き検出枠の範囲に、その動き検出枠について設定された方向性もしくは動きの量で入ったか否かを検査した検査結果を用いて、上記動体画像を含む画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行う。
また上記動きパターンの設定情報として画面上の範囲を指定する動き検出枠が複数個設定されており、上記判定手段は、各画像データに含まれている動体画像が、複数の上記動き検出枠のそれぞれの範囲に入った順序を検査した検査結果を用いて、上記動体画像を含む画像データが、上記動きパターンに該当する画像内容の画像データであるか否かの判定を行う。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また上記有効化手段は、上記有効化として、上記動きパターンに該当すると判定された画像データを記録媒体に記録する。
また上記有効化手段は、上記有効化として、上記動きパターンに該当すると判定された画像データが有効画像データとして抽出可能な状態とする。
また上記有効化手段は、上記動きパターンに該当しないと判定された画像データを破棄する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
以下、本発明の実施の形態を次の順序で説明する。
［１．第１の実施の形態（撮像装置）］
＜１−１：概要＞
＜１−２：撮像装置の構成＞
＜１−３：動き検出自動撮像動作＞
＜１−４：動きパターンの設定＞
＜１−５：撮像装置に適用した場合の利点＞
［２．第２の実施の形態（撮像装置）］
［３．第３の実施の形態（撮像装置）］
［４．第４の実施の形態（情報処理装置）］
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
［１．第１の実施の形態（撮像装置）］
＜１−１：概要＞
第１の実施の形態としてデジタルスチルカメラとしての撮像装置に本発明を適用した例を説明する。
本例ではユーザが撮像装置で特定の動きのある被写体の撮像を目的とし、適切なタイミングで１枚又は複数枚（例えばいわゆる連写としての撮像）の静止画撮像を行いたいという場合に好適なものである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
撮像装置は被写体画像について特定の動きパターンを検出し、その動きパターンに該当する被写体が撮された画像データを静止画データとして保存する。
撮像時には、ユーザは、予め設定された動きパターンを指定する。なお、後述するように予め設定された動きパターンとは、複数の動きパターンがプリセットされていても良いし、ユーザが自分で設定しても良い。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
図４に各種の適用例を示す。
図４（ａ）は、例えば図１（ｂ）のような動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４を設定した場合の例である。
これは例えば運動会その他の陸上競技、あるいは水泳競技のゴールシーンを斜め上からのアングルで自動撮像するための動き検出パターンとして好適である。
ユーザは、各動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４が、例えば競技におけるそれぞれのコースのゴール近辺を狙うようにする。各動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４について枠順序は設定されていない。
この場合は、たとえば４人の各競技者が画面の左上から走ってきて、各競技者がそれぞれ各動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４枠部分を通過したときに、競技者の順位に関係なく４枚の静止画データが保存される。もしくは、その４枚を含むより多数の静止画データが保存されたり、１つの動き検出枠についての該当タイミング毎に高速連写としての複数の静止画データが保存されるようにしてもよい。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
図４（ｂ）は、例えばゴルフのスイングを自動撮像する場合などに好適な動き検出パターンである。動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４において、スイングの軌道に合わせた枠順序が設定され、またそれぞれゴルフクラブの動き方向に合わせた方向性が設定されている。この場合は、動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４にそれぞれ設定された順序及びベクトル方向にしたがう動体を検出した場合に一連の静止画データの保存が行われるため、結果的にゴルフスイングのフォーム分解写真のような一連の静止画データが得られる。また設定によっては、動き検出枠Ｗ１，Ｗ２，Ｗ３，Ｗ４のそれぞれに該当した時点でそれぞれ高速連写としての画像保存を行ったり、動き検出枠Ｗ１の該当時点（もしくはそれより少し前の時点）から、動き検出枠Ｗ４の該当時点（もしくはそれより少し後の時点）までの連続した複数の静止画データが保存されるようにすることもできる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
図４（ｃ）は、例えば競馬のゴールシーンなどをほぼ横方向斜め上からのアングルで自動撮像する場合などに好適な動き検出パターンである。
動き検出枠Ｗ１について方向性を指定する。例えばこの場合は、動き検出枠Ｗ１に先頭馬が達した時点で一枚の静止画データが保存される。また、設定によっては、その後の複数の静止画を連写として保存するようにしても良い。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
図４（ｄ）は、電車の通るシーンを横からのアングルで自動撮像する場合などに好適な動き検出パターンである。動き検出枠Ｗ１，Ｗ２，Ｗ３について枠順序を設定し、また方向性を設定している。この場合は、たとえば電車が左から進行して、動き検出枠Ｗ１，Ｗ２，Ｗ３を通過した時点で１枚ずつ静止画データが保存される。設定によっては、動き検出枠Ｗ１，Ｗ２，Ｗ３のそれぞれに該当した時点でそれぞれ高速連写としての画像保存を行ったり、動き検出枠Ｗ１の該当時点（もしくはそれより少し前の時点）から、動き検出枠Ｗ４の該当時点（もしくはそれより少し後の時点）までの連続した複数の静止画データが保存されるようにすることもできる。
なお、この場合には、画面上で左から右方向に電車が通過した場合は静止画保存が行われるが、右から左方向に電車が通過した場合は、目的の動きパターンではないとされて静止画保存は行われない。
枠順序として、複数の枠順序をＯＲ条件として設定できるようにし、また方向性の設定をなくせば、上り線、下り線の両方での電車の通過タイミングでの静止画データ取得が実現できる。例えば「Ｗ１→Ｗ２→Ｗ３」という枠順序か、「Ｗ３→Ｗ２→Ｗ１」という枠順序をＯＲ条件で設定すればよい。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
また、動き検出のさらに別の手法としては、フレーム画像内の輪郭線成分を複数検出し、検出した複数の輪郭線をグループにまとめ、ニューラルネットワーク処理により画像全体の動きを検出する手法を適用することもできる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
＜１−３：動き検出自動撮像動作＞
以上のような撮像装置１において、ユーザが動き検出自動撮像モードとしての動作を実行させる場合について説明していく。
なお、以下の説明では、本発明の請求項でいう判定手段、有効化手段としての各機能に相当する動作を述べるが、判定手段としての動作は、主に動き検出部２４と制御部１７の演算及び制御処理、及び当該制御に基づく画像メモリ１８，不揮発性メモリ２９での動作によって実現される。また有効化手段としての動作は、主に制御部１７の制御処理と、不揮発性メモリ２９、メモリカードインターフェース部２６の動作によって実現される。
また本例の撮像装置１においては処理対象の画像データを取得する取得手段としての機能が、この場合、可変光学系３、光学部品７、撮像素子８、アナログ信号処理部１２、Ａ／Ｄ変換部１３、タイミング制御部１４、画像処理部１５、画像メモリ１８によって構成される撮像部の動作、つまり被写体画像の撮像により時間的に連続するフレーム画像データを画像メモリ１８に取り込む動作として実現される。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
まず図７により、撮像装置１が動き検出自動撮像モードを開始するまでの手順を述べる。
図７（ａ）は表示部２１に表示される設定メニュー画面の例を示している。上述のように表示部２１にはタッチパネル２２が配置されているため、表示内容に応じたタッチ検出によりＧＵＩ（Graphical User Interface）が実現される。なお、以下述べるメニュー操作等は、ユーザの操作部１６からの操作によって行われるようにすることも当然可能である。
例えばユーザが、画面表示されたメニューボタン１００にタッチ操作した場合、制御部１７は、図示する主メニュー項目１０１を表示部２１に表示させる。例えば本体設定、シーン選択、ストロボ選択など、カメラ動作に応じた各種の項目が表示され、その１つとして動き検出自動撮像モードの項目が表示される。
ここでユーザが、主メニュー項目内で動き検出自動撮像モードを選択すると、制御部１７は、図示するサブメニュー１０２を表示部２１に表示させる。このサブメニュー１０２では、登録されている複数の動きパターンが選択可能として表示される。
各動きパターンは、上述したように１又は複数の動き検出枠（Ｗ１，Ｗ２・・等）によって特定の動きが設定されたものである。動きパターンとしては、プリセットされた標準的なパターンや、ユーザが新規登録したカスタマイズパターンなどが登録されているものとする。
ユーザが、サブメニュー１０２において、或る動きパターンの項目にタッチ操作すると、その動きパターンが選択決定され、制御部１７はその動きパターンの選択決定に応じて、動き検出自動撮像準備モードに移行し、例えば図７（ｂ）のような表示を表示部２１に実行させる。
この場合、画面上では、動き検出による自動撮像のモードに入ったことを示すアイコン１１０が表示され、また、ユーザによって選択された動きパターンが、動き検出枠Ｗ１，Ｗ２，Ｗ３により表示される。例えば図示の例の場合の動きパターンは、３つの動き検出枠Ｗ１，Ｗ２，Ｗ３で、それぞれの方向性、及び枠順序が設定されている。ユーザはこれを見ることで、自分がどのような動きパターンを設定したか理解できる。
実際にはこの時点で、表示部２１には、この図７（ｂ）の動き検出枠Ｗ１，Ｗ２，Ｗ３等とともに、ライブビュー画像も表示される。
つまり制御部１７は撮像動作及びライブビューモニタ動作を各部に実行させ、これによって現在撮像装置１が向けられている方向の光景も表示部２１に表示される。
ユーザは、動き検出枠Ｗ１，Ｗ２，Ｗ３を、実際の光景に重ね合わせて見ながら、カメラアングルやズームの調整などを行う。またこのときに、選択した動きパターンが、これから撮像しようとする目的の被写体光景に対して適切であるか否かの判断もできる。もし適切でないと判断したら、メニュー操作によって図７（ａ）の設定メニュー画面に戻し、動きパターンの選択をやり直せばよい。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
ここで図１２（ｃ）には動き検出枠の設定情報を示している。例えば今回選択した動きパターンが３つの動き検出枠Ｗ１，Ｗ２，Ｗ３を有するものとした場合、その動きパターンの設定情報の内容とは、この図１２（ｃ）のように、各動き検出枠Ｗ１，Ｗ２，Ｗ３の枠位置（Ｐｗ１、Ｐｗ２、Ｐｗ３）、動きベクトル（Ｖｗ１、Ｖｗ２、Ｖｗ３）、枠順序（Ｎｗ１、Ｎｗ２、Ｎｗ３）の設定情報となる。
枠位置（Ｐｗ１、Ｐｗ２、Ｐｗ３）とは、動き検出枠Ｗ１，Ｗ２，Ｗ３のそれぞれの画面上の領域範囲を示す情報（例えば座標情報）である。
動きベクトル（Ｖｗ１、Ｖｗ２、Ｖｗ３）とは、動き検出枠Ｗ１，Ｗ２，Ｗ３のそれぞれについての動きの方向、動きの量（速さ）若しくは設定無しを示す情報である。
枠順序（Ｎｗ１、Ｎｗ２、Ｎｗ３）は、各枠についての枠順序を示す情報、若しくは枠順序設定無しを示す情報である。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
今回ユーザが選択した動きパターンとして、この例のように３つの動き検出枠Ｗ１，Ｗ２，Ｗ３が設定されており、またステップＦ１０１で３つの動体画像が検出された場合を想定すると、動き検出部２４は、図１２（ａ）のように３つの動体画像Ｍ１，Ｍ２，Ｍ３と、３つの動き検出枠Ｗ１，Ｗ２，Ｗ３のそれぞれの関係でチェックを行うためのパラメータを設定する。
パラメータｒｃは、各動体画像が、各動き検出枠に触れているか否かを示すものとする。
パラメータＷｆｉｎは、動き検出枠と動体画像の間のチェックを終えたことを示すものとする。
パラメータＭｆｉｎは、検出された動体画像について検査を終えたことを示すものとする。
これらのパラメータが更新されながら、図１０の処理が実行されていく。
なお、パラメータｒｃ、Ｗｆｉｎ、Ｍｆｉｎの値は、このステップＦ１０１で図１２（ａ）のように設定される初期時点では、全て無効値とされている。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
また図１２（ｂ）は、動きパターンチェック用パラメータとして、例えば制御部１７が一連の図９の処理期間に使用するパラメータを示している。
「通過番号」のパラメータは、各動き検出枠Ｗ１，Ｗ２，Ｗ３についての順序を判定するために用いられる。
「撮像フラグ」のパラメータは、ステップＦ３の仮保存処理の実行判断に用いられる。
「ＮＧフラグ」のパラメータは、動きパターン完了チェック処理の結果、仮保存された画像データが動きパターンに該当しないことを示す場合に用いられる。
「通過枠カウント」のパラメータは、動き検出枠Ｗ１，Ｗ２，Ｗ３の領域範囲に動体画像が該当することに応じてカウントされるものとされ、動体が通過した動き検出枠の数を示すものとして動きパターン完了チェック処理で用いられる。
これらの各パラメータについては、以降説明する処理で用いられる都度、言及する。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
動きベクトルの比較の手法を図１５に示す。
あらかじめ動き検出枠Ｗ１に対して設定された動きベクトルをＶ０とし、動き検出で検出された動体画像ＭのベクトルをＶ１とする。動きベクトルＶ０は、動き検出枠Ｗの設定時に座標から求められる。また動きベクトルＶ１はステップＦ１０１での解析時に求められる。
この動きベクトルＶ０、Ｖ１について、この２つのベクトルの間の角度θを求める。
Ｖ０＝（ｘ０，ｙ０），Ｖ１＝（ｘ１，ｙ１）とするならば、角度θは以下の式で求められる。
θ＝arcos（ｘ０×ｘ１＋ｙ０×ｙ１）／sqr((ｘ０2＋ｙ０2)×(ｘ１2＋ｙ１2))
・・・式（４）
但し、arcos(n)はｎのアークコサインを求める関数、sqr(n)はｎの平方根を求める関数である。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
図１６（ａ）の仮保存処理に続いて、制御部１７は、図９のステップＦ４として動きパターン完了チェック処理を行う。動きパターン完了チェック処理は、仮保存処理された画像データが、ユーザが撮像目的として選んだ動きパターン、つまり今回の動き検出枠の設定されるパターンに合致しているか否かを判定する処理である。
例えば制御部１７はステップＦ４として、図１７に示す処理を行う。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
制御部１７は図１７のステップＦ３００では、撮像フラグ＝オンであるか否かを確認する。
この時点で撮像フラグ＝オフとなっているのは、今回処理対象としていたフレームが、動きパターンを構成する候補とはならず、上記図１６（ａ）の処理で仮保存されなかった場合である。
このような場合で撮像フラグ＝オフであれば、制御部１７はステップＦ３１１に進み、その時点で仮保存されている画像データが存在するか否かを確認する。
また仮保存されている１又複数の画像データが存在する場合は、ステップＦ３１２で、その仮保存された画像データのうちで最後に仮保存された画像データ以降、所定フレーム（Ｘフレーム）以上連続して撮像フラグ＝オフとなっているか（つまり、仮保存した以降のフレームで仮保存条件を満たさないフレームがＸフレーム以上連続したか）を確認する。
仮保存された画像データが存在しない場合、或いは存在するが、その後仮保存されないフレームがＸフレーム以上連続しない場合は、制御部１７はそのまま何もせずに動きパターン完了チェック処理を終える。その場合、制御部１７は図９のステップＦ１を介してステップＦ２に進み、次のフレームについて、図１０の動体検出処理を動き検出部２４に実行させることになる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】０１２３
【補正方法】変更
【補正の内容】
【０１２３】
また、動きベクトルの大、中、小の判定方法の一例としては、図２７（ｂ）に示すように、１フレーム分での動体画像の動きベクトルの大きさと、タッチスクリーンの解像度の大きさとを比較することで行う。ここでは一例として、図２７（ｂ）示すように、前述の枠位置の設定可能領域を示す点線枠１０３の高さをｈとしたときに、下記のように閾値を定めるとする。
大・・・１フレームで動体画像が高さｈの１／２より大きく動いたとき
中・・・１フレームで動体画像が高さｈの１／４〜１／２動いたとき
小・・・１フレームで動体画像が高さｈの１／４未満動いたとき
この「大」「中」「小」を決める閾値は撮像装置１の使用時の調整パラメータとして、容易に変更可能な設計にしておくと良い。また、ユーザが上記パラメータを撮像装置１の設定値として設定できるようにＧＵＩメニューを設けることも考えられる。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】０１３４
【補正方法】変更
【補正の内容】
【０１３４】
＜１−５：撮像装置に適用した場合の利点＞
以上、撮像装置１における動き検出自動撮像の動作、及び動きパターンの設定などについて説明してきたが、このような実施の形態の撮像装置１によれば、次のような利点が得られる。