(57)【要約】【課題】二重像化を低減し、より少ない演算量で画像内の動体を消去することができる画像処理装置を提供する。【解決手段】イメージャ2は、光学系を介して受光面に結像された像に基づく画像信号を生成する。ローカルベクトル算出部5は、イメージャ2により生成された2つの画像信号に基づく2枚の画像の一方を第1の画像、他方を第2の画像として第1の画像及び第2の画像をブロックに分割し、ブロック毎に第1の画像と第2の画像の間のブロックの変位量を算出する。動体検出部6は、変位量に基づいて画像内の動体を検出する。合成部7は、動体検出部6による検出の結果に基づいて第1の画像及び第2の画像のうちの一方のブロックを選択し、選択したブロックを結合することにより画像の合成を行う。【選択図】図１
2012124662.tif 000002
【特許請求の範囲】
【請求項１】
光学系を介して受光面に結像された像に基づく画像信号を生成する撮像部と、
前記撮像部により生成された2つの画像信号に基づく2枚の画像の一方を第1の画像、他方を第2の画像として前記第1の画像及び前記第2の画像をブロックに分割し、ブロック毎に前記第1の画像と前記第2の画像の間のブロックの変位量を算出する第1の算出部と、
前記変位量に基づいて画像内の動体を検出する動体検出部と、
前記動体検出部による検出の結果に基づいて前記第1の画像及び前記第2の画像のうちの一方のブロックを選択し、選択したブロックを結合することにより画像の合成を行う合成部と、
を有する画像処理装置。
【請求項２】
前記動体検出部はさらに、前記変位量に基づいて前記第1の画像の各ブロックの変位後の座標を算出し、
前記第1の画像の合成対象ブロックの座標と前記第1の画像のいずれかのブロックの変位後の座標との距離が閾値未満の場合に、前記動体検出部は、当該第1の画像の合成対象ブロックに対応する前記第2の画像の合成対象ブロックに動体が含まれると判定する請求項1に記載の画像処理装置。
【請求項３】
前記第1の算出部はさらに、算出した変位量の信頼度を算出し、
前記合成部は、前記信頼度が低い場合には、前記第2の画像の合成対象ブロックに動体が含まれれば前記第1の画像の合成対象ブロックを選択し、前記第2の画像の合成対象ブロックに動体が含まれなければ前記第2の画像の合成対象ブロックを選択する請求項1に記載の画像処理装置。
【請求項４】
前記第1の画像と前記第2の画像に共通する画像全体の変位量を算出する第2の算出部をさらに有し、
前記動体検出部は、前記第1の算出部により算出されたブロック毎の変位量と前記第2の算出部により算出された画像全体の変位量とに基づいて動体の検出を行い、
前記合成部は、前記第2の画像の合成対象ブロックを選択する場合に、当該合成対象ブロックの位置から、前記第2の算出部により算出された画像全体の変位量分ずれた位置に対応するブロックを選択する請求項1に記載の画像処理装置。
【請求項５】
前記合成部は、前記第1の画像の合成対象ブロックに動体が検出され、当該第1の画像の合成対象ブロックに対応する位置にある前記第2の画像の合成対象ブロックに動体が検出されなかった場合、当該第2の画像の合成対象ブロックを選択する請求項1に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に、被写体内の移動物体（動体）を消去した画像を得る画像処理装置に関する。
【背景技術】
【０００２】
被写体内の移動物体を消去した画像を得るための技術が、例えば特許文献1等で開示されている。特許文献1では、N枚の画像をブロックに分割し、2枚目以降の画像のブロックをアフィン変換し、1枚目の画像に加算する。最後に、加算された画像データについて画素毎にNで除算を行う。このように特許文献1では、アフィン変換で静止物体の位置を合わせ、画素毎にN枚の画像の平均をとることで動体を消去することが可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2007-306107号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、アフィン変換や画素毎の除算を行うため演算量が多いという問題があった。また、画像の加算を行うため、静止物体の位置合わせがうまくいかない場合に静止物体が二重像化するという問題があった。また、平均化により動体を消去する方法を用いるため、好適に動体を消去するためには2枚より多い枚数の画像データが必要であった。
【０００５】
本発明は、上述した課題に鑑みてなされたものであって、二重像化を低減し、より少ない演算量で画像内の動体を消去することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたもので、光学系を介して受光面に結像された像に基づく画像信号を生成する撮像部と、前記撮像部により生成された2つの画像信号に基づく2枚の画像の一方を第1の画像、他方を第2の画像として前記第1の画像及び前記第2の画像をブロックに分割し、ブロック毎に前記第1の画像と前記第2の画像の間のブロックの変位量を算出する第1の算出部と、前記変位量に基づいて画像内の動体を検出する動体検出部と、前記動体検出部による検出の結果に基づいて前記第1の画像及び前記第2の画像のうちの一方のブロックを選択し、選択したブロックを結合することにより画像の合成を行う合成部と、を有する画像処理装置である。
【０００７】
また、本発明の画像処理装置において、前記動体検出部はさらに、前記変位量に基づいて前記第1の画像の各ブロックの変位後の座標を算出し、前記第1の画像の合成対象ブロックの座標と前記第1の画像のいずれかのブロックの変位後の座標との距離が閾値未満の場合に、前記動体検出部は、当該第1の画像の合成対象ブロックに対応する前記第2の画像の合成対象ブロックに動体が含まれると判定する。
【０００８】
また、本発明の画像処理装置において、前記第1の算出部はさらに、算出した変位量の信頼度を算出し、前記合成部は、前記信頼度が低い場合には、前記第2の画像の合成対象ブロックに動体が含まれれば前記第1の画像の合成対象ブロックを選択し、前記第2の画像の合成対象ブロックに動体が含まれなければ前記第2の画像の合成対象ブロックを選択する。
【０００９】
また、本発明の画像処理装置は、前記第1の画像と前記第2の画像に共通する画像全体の変位量を算出する第2の算出部をさらに有し、前記動体検出部は、前記第1の算出部により算出されたブロック毎の変位量と前記第2の算出部により算出された画像全体の変位量とに基づいて動体の検出を行い、前記合成部は、前記第2の画像の合成対象ブロックを選択する場合に、当該合成対象ブロックの位置から、前記第2の算出部により算出された画像全体の変位量分ずれた位置に対応するブロックを選択する。
【００１０】
また、本発明の画像処理装置において、前記合成部は、前記第1の画像の合成対象ブロックに動体が検出され、当該第1の画像の合成対象ブロックに対応する位置にある前記第2の画像の合成対象ブロックに動体が検出されなかった場合、当該第2の画像の合成対象ブロックを選択する。
【発明の効果】
【００１１】
本発明によれば、最小では2枚の画像で動体の消去が可能となる。また、画像を加算するのではなく、動体の検出結果に基づいてブロックを選択し、選択したブロックを結合することにより画像の合成を行うので、二重像化を低減し、より少ない演算量で画像内の動体を消去することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第1の実施形態による撮像装置の構成を示すブロック図である。
【図２】本発明の第1の実施形態による撮像装置の動作を示すフローチャートである。
【図３】本発明の第1の実施形態におけるローカルベクトルの算出方法を示す参考図である。
【図４】本発明の第1の実施形態による撮像装置の動作を示すフローチャートである。
【図５】本発明の第1の実施形態による撮像装置の動作を示すフローチャートである。
【図６】本発明の第1の実施形態における変位座標テーブルの作成方法を示す参考図である。
【図７】本発明の第1の実施形態による撮像装置の動作を示すフローチャートである。
【図８】本発明の第1の実施形態における合成方法を示す参考図である。
【図９】本発明の第2の実施形態による撮像装置の動作を示すフローチャートである。
【図１０】本発明の第2の実施形態による撮像装置の動作を示すフローチャートである。
【図１１】本発明の第2の実施形態による撮像装置の動作を示すフローチャートである。
【図１２】本発明の第2の実施形態における合成方法を説明するための参考図である。
【図１３】本発明の第3の実施形態による撮像装置の構成を示すブロック図である。
【図１４】本発明の第3の実施形態による撮像装置の動作を示すフローチャートである。
【図１５】本発明の第3の実施形態による撮像装置の動作を示すフローチャートである。
【図１６】本発明の第3の実施形態における合成方法を示す参考図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照し、本発明の実施形態を説明する。
【００１４】
（第1の実施形態）
まず、本発明の第1の実施形態を説明する。図１は、本実施形態による撮像装置（画像処理装置）の構成を示している。図1に示す撮像装置は、レンズ1と、イメージャ2（撮像素子）と、キャプチャ部3と、DRAM4と、ローカルベクトル算出部5と、動体検出部6と、合成部7と、画像処理部8と、記録部9と、メモリカード10とを有して構成されている。
【００１５】
レンズ1は、被写体から入射する光をイメージャ2の受光面に結像する。イメージャ2は、受光面に結像した像に基づいて画像信号を生成する。キャプチャ部3は、イメージャ2から出力された画像信号をキャプチャする。DRAM4は、キャプチャ部3によってキャプチャされた画像信号を一時的に保持する。ローカルベクトル算出部5は、画像信号に基づいて、後述するローカルベクトルを算出する。動体検出部6は、ローカルベクトルに基づいて画像内の動体を検出する。合成部7は、動体検出部6によって検出された動体を含まないように画像の合成を行う。画像処理部8は、画像信号に対して記録のための画像処理を行う。記録部9は、画像処理部8によって処理された画像信号をメモリカード10に記録する。メモリカード10は、例えば撮像装置に着脱可能な記録媒体である。
【００１６】
次に、本実施形態の動作について説明する。図2は、本実施形態の動作を示している。レンズ1は、入射した光をイメージャ2の受光面に結像し、イメージャ2は画像信号を出力する。キャプチャ部3は、イメージャ2から出力された1フレームの画像信号をキャプチャし、DRAM4へ書き込む（ステップS91）。本明細書ではこれ以降、画像信号に対する処理の内容をより分かりやすくするため、画像信号に対する処理を、表示装置に表示されて視覚的に判別される画像に対する処理に置き換えて説明する。
【００１７】
キャプチャ部3がキャプチャした画像が1枚目（1フレーム目）の画像であれば、その画像は基準画像として認識され（ステップS93）、再びキャプチャが行われる。キャプチャ部3がキャプチャした画像が2枚目以降（2フレーム目以降）の画像であれば、その画像はサーチ画像として認識される（ステップS94）。
【００１８】
続いて、ローカルベクトル算出部5は、DRAM4に記録された基準画像とサーチ画像の画像信号を読み出してローカルベクトルを算出する（ステップS95）。図3は、ステップS95においてローカルベクトル算出部5が基準画像とサーチ画像からローカルベクトルを算出する方法を示している。先ず、ローカルベクトル算出部5は基準画像及びサーチ画像を、図3に示すように複数のブロックに分割する。図3の例では、基準画像及びサーチ画像は12個のブロックに分割されている。ローカルベクトル算出部5は、基準画像の各ブロックについて、サーチ画像とマッチング（パターンマッチング）を行い、ブロックの変位量及び変位の方向を算出する。図3の例では、基準画像において、車を含む2つのブロック300，310が、サーチ画像において左方向に変位している。このようにして算出した各ブロックの変位量をベクトルの大きさとして持ち、変位の方向をベクトルの方向とするベクトルを各ブロックのローカルベクトルとする。
【００１９】
動体検出部6は、ローカルベクトル算出部5が算出したローカルベクトルを受け取り、基準画像及びサーチ画像上の動体位置を検出する（ステップS96）。図4は、ステップS96における動体位置の検出方法を示している。
【００２０】
先ず、動体検出部6は変位座標テーブルを作成する（ステップS1）。変位座標テーブルは、動体の移動後の座標を示す変位座標を記憶するテーブルである。図5は、ステップS1における変位座標テーブルの作成方法を示している。動体検出部6は、変位座標テーブルを作成するために各ブロックについて以下の処理を行う（ステップS21，S25）。
【００２１】
はじめに、動体検出部6はローカルベクトルの大きさが閾値以上であるか否かを判定する（ステップS22）。ローカルベクトルの大きさが閾値以上である場合、図6に示すようにローカルベクトルとブロックの座標を加算し（ステップS23）、加算結果を変位座標として変位座標テーブルに記憶する（ステップS24）。図6では、基準画像のブロック600の座標(20,20)に対してブロック600のローカルベクトル(-10,0)を加算した変位座標(10,20)が算出され、基準画像のブロック610の座標(30,20)に対してブロック610のローカルベクトル(-10,0)を加算した変位座標(20,20)が算出されている。一方、ローカルベクトルの大きさが閾値未満である場合、当該ブロックについては変位座標が算出されない。
【００２２】
変位座標テーブルの作成後、動体検出部6は、各ブロックに対して動体位置の検出を行う（ステップS2，S11）。先ず、動体検出部6は、ローカルベクトルの大きさが閾値以上であるか否かを判定する（ステップS3）。ローカルベクトルの大きさが閾値未満である場合、動体検出部6は、基準画像の当該ブロックに動体が含まれないと判定する（ステップS10）。一方、ローカルベクトルの大きさが閾値以上である場合、動体検出部6は、基準画像の当該ブロックに動体が含まれると判定する（ステップS4）。
【００２３】
基準画像の当該ブロックに動体が含まれると判定した場合、動体検出部6は、変位座標テーブルに記憶されている各変位座標に対して以下の処理を行う（ステップS5，S8）。動体検出部6は、変位座標と当該ブロックの座標との距離が閾値以下であるか否かを判定する（ステップS6）。変位座標は、基準画像に含まれる動体と同一の動体のサーチ画像での座標に相当する。このため、変位座標と当該ブロックの座標との距離が閾値以下である場合、基準画像の当該ブロックに対応するサーチ画像のブロックに動体が含まれることになり、変位座標と当該ブロックの座標との距離が閾値を超える場合、基準画像の当該ブロックに対応するサーチ画像のブロックには動体が含まれないことになる。
【００２４】
各変位座標について順次判定を行っていき、いずれかの変位座標と当該ブロックの座標との距離が閾値以下である場合、動体検出部6は、基準画像の当該ブロックに対応するサーチ画像のブロックに動体が含まれると判定する（ステップS7）。一方、全ての変位座標と当該ブロックの座標との距離が閾値を超える場合、動体検出部6は、基準画像の当該ブロックに対応するサーチ画像のブロックに動体は含まれないと判定する（ステップS9）。
【００２５】
ここで、基準画像及びサーチ画像の対応するブロックとは、各画像の画角内において同一位置となるブロックである。例えば、基準画像の左上隅のブロックにはサーチ画像の左上隅のブロックが対応し、基準画像の右下隅のブロックにはサーチ画像の右下隅のブロックが対応する。
【００２６】
動体検出部6によって動体検出に関する処理が行われた後、合成部7は、動体検出部6が検出した結果に基づいて、DRAM4から基準画像とサーチ画像の画像信号を読み出し、ブロック毎に画像を結合して画像の合成を行う（ステップS97）。この合成とは、合成後の画像の画角が、ブロックに分割する前の画角となるよう、各ブロックの画像信号を合成することである。図7は、ステップS97における合成の方法を示している。
【００２７】
合成部7は、動体検出部6から基準画像及びサーチ画像の各ブロックの動体検出結果を受け取り、各ブロックについて以下の処理を行う（ステップS31，S37）。合成部7は、動体検出部6から受け取った動体検出結果において基準画像の当該ブロックに動体が含まれるか否かを判定する（ステップS32）。基準画像の当該ブロックに動体が含まれない場合、動体検出部6は基準画像の当該ブロックを選択し、選択済みのブロックと結合して合成を行う（ステップS33）。
【００２８】
一方、基準画像の当該ブロックに動体が含まれる場合、合成部7は、サーチ画像の当該ブロックに動体が含まれるか否かを判定する（ステップS34）。サーチ画像の当該ブロックに動体が含まれない場合、合成部7はサーチ画像の当該ブロックを選択し、選択済みのブロックと結合して合成を行う（ステップS35）。一方、サーチ画像の当該ブロックに動体が含まれる場合、合成部7は当該ブロックを、合成が未完了のブロックとしてサーチ画像の当該ブロックを選択し、選択済みのブロックと結合して合成を行う（ステップS36）。
【００２９】
図8は、この合成の様子を示している。図8の例では、基準画像のブロック800，810において動体が含まれると判定される（ステップS32）。基準画像において、ブロック800，810を除く他の10個のブロックでは動体が含まれていないと判定される（ステップS32）ため、それらのブロックでは基準画像のブロックが選択され、合成が行われる（ステップS33）。動体が含まれる基準画像のブロック800，810のうち、ブロック800に対応するサーチ画像のブロック820でも動体が含まれると判定される（ステップS34）ため、ブロック820を用いて合成が行われるが、合成は未完了である（ステップS36）。また、ブロック810に対応するサーチ画像のブロック830に動体が含まれないと判定される（ステップS34）ため、ブロック830が選択され、合成が行われる（ステップS35）。
【００３０】
合成部7が合成処理を行った結果、合成が未完了であるブロックが残っている場合（ステップS98）、合成した画像が新たな基準画像として認識され（ステップS99）、次のサーチ画像がイメージャ2で撮像され、合成が未完了であるブロックを含む基準画像に対して、前述した処理と同様に合成処理が行われる。また、合成が未完了であるブロックが残っていない場合（ステップS98）、合成が完了する。
【００３１】
上述したように、本実施形態によれば、画像を加算する従来の方法に代えて、動体の検出結果に基づいて基準画像又はサーチ画像から動体が含まれないブロックを選択し、選択したブロックを結合することにより画像の合成を行うので、画像を加算して平均をとる方法で問題になりやすい二重像化を低減し、より少ない演算量で画像内の動体を消去することができる。また、本実施形態によれば、最小では2枚の画像で動体の消去が可能となるため、より少ない演算量で画像内の動体を消去することができる。
【００３２】
また、図4のステップS6の判定を行うことによって、基準画像のブロックに対応するサーチ画像のブロックにおける動体の有無を判定することが可能となる。さらに、サーチ画像のブロックにおける動体の有無に応じてサーチ画像のブロックを選択するか否かを判定する（ステップS34）ことによって、合成時により正確に動体を消去することができる。
【００３３】
（第2の実施形態）
次に、本発明の第2の実施形態を説明する。本実施形態による撮像装置の構成は、図1に示した構成と同様である。本実施形態では、ローカルベクトル算出部5は、ローカルベクトルを算出すると同時に各ローカルベクトルの信頼度を算出する。例えば、ローカルベクトル算出部5は、基準画像のブロックと、当該ブロックからローカルベクトル分変位した位置のサーチ画像におけるブロックとで各画素の差分の絶対値を算出し、それらを加算する（これを差分絶対値和と呼ぶ）。差分絶対値和は、ブロック間の相関が高いほど小さくなるため、例えば差分絶対値和と閾値を比較し、差分絶対値和が閾値以下であれば高信頼度と判定し、差分絶対値和が閾値を超えれば低信頼度と判定する。
【００３４】
図9は、本実施形態の動体検出時の処理を示している。先ず、動体検出部6は、ローカルベクトル算出部5からローカルベクトルと信頼度を受け取り、変位座標テーブルを作成する（ステップS41）。図10は、本実施形態の変位座標テーブル作成時の処理を示している。
【００３５】
動体検出部6は、各ブロックについて以下の処理を行う（ステップS51，S56）。動体検出部6は、ローカルベクトル算出部5により算出された信頼度を判定する（ステップS52）。信頼度が低い場合、動体検出部6は変位座標テーブルに変位座標を登録しない。信頼度が高い場合には、図5のステップS22〜S24と同様のステップS53〜S55の処理が行われる。
【００３６】
変位座標テーブルの作成後、動体検出部6は、各ブロックに対して動体位置の検出を行う（ステップS43，S413）。先ず、動体検出部6は、ローカルベクトル算出部5により算出された信頼度を判定する（ステップS43）。信頼度が低い場合、動体検出部6は基準画像の当該ブロックが不明であると認識する（ステップS44）。この場合、変位座標テーブルについての処理（ステップS47，S410）が行われる。信頼度が高い場合には、図4のステップS3以降と同様の処理が行われる。
【００３７】
図11は、本実施形態の合成処理を示している。合成部7は、動体検出部6から基準画像及びサーチ画像の各ブロックの動体検出結果を受け取り、各ブロックについて以下の処理を行う（ステップS61，S613）。
【００３８】
先ず、合成部7は、基準画像の当該ブロックが不明であるか否かを判定する（ステップS62）。当該ブロックが不明でない場合のステップS63〜S67の処理は図7のステップS32〜S36の処理と同様である。一方、当該ブロックが不明である場合、合成部7は、サーチ画像の当該ブロックに動体が含まれているか否かを判定する（ステップS68）。
【００３９】
サーチ画像の当該ブロックに動体が含まれる場合、合成部7は基準画像の当該ブロックを選択し、選択済みのブロックと結合して合成を行う（ステップS69）。一方、サーチ画像の当該ブロックに動体が含まれない場合、合成部7はサーチ画像の当該ブロックを選択し、選択済みのブロックと結合して合成を行う（ステップS610）。さらに、合成部7は、当該ブロックが、前フレームで仮合成を行ったブロックであるか否かを判定する（ステップS611）。当該ブロックが、前フレームで仮合成を行ったブロックでない場合、当該ブロックは本フレームにおける合成だけでは確定せず、仮合成を行ったブロックとして扱われ（ステップS612）、次のフレームにおいて、仮合成を行ったブロックを含む基準画像と次のサーチ画像を用いて合成が行われる。
【００４０】
図9に示したように、ステップS48で変位座標テーブル内の変位座標とブロックの座標との距離が閾値以下でないと、サーチ画像に動体が含まれると判定されない。すなわち、サーチ画像に動体が含まれると判定されるためには、変位座標の算出が必要となる。また、図10に示したように、信頼度が高信頼度でないと、変位座標は算出されない。このため、ステップS68でサーチ画像の当該ブロックに動体が含まれると判定された場合、ステップS61，S613のループで処理対象としている基準画像の当該ブロック以外のいずれかのブロックに含まれる動体がサーチ画像の当該ブロックに移動しており、基準画像の当該ブロックには動体が含まれていないといえる。したがって、ステップS69では基準画像の当該ブロックが選択される。
【００４１】
図12は、上記のステップS68でサーチ画像の当該ブロックに動体が含まれないと判定されるケースを示している。図12(a)は、基準画像に存在していた動体が高速に移動してサーチ画像の画角の範囲から外れるフレームアウトを示している。図12(b)は、基準画像に存在していなかった動体が高速に移動してサーチ画像の画角の範囲に入るフレームインを示している。動体がフレームアウト或いはフレームインする場合、ローカルベクトルの信頼度は低信頼度となる。
【００４２】
上述したように、サーチ画像に動体が含まれると判定されるためには、変位座標の算出が必要となるが、フレームイン或いはフレームアウトする動体は基準画像、サーチ画像の一方には含まれていないため、信頼度が低信頼度となり、この動体に基づく変位座標は算出されない。したがって、フレームアウトやフレームインの場合、サーチ画像の当該ブロックに動体が含まれないと判定され、フレームアウトとフレームインを区別することができず、サーチ画像の当該ブロックにおける動体の有無を正確に判定することができない。そこで、本実施形態では、ステップS610で一旦サーチ画像を選択して仮合成を行う。図12(b)の場合、仮合成したサーチ画像のブロックを含む合成後の基準画像を用いて合成を行う際、次フレームのサーチ画像では動体がフレームアウトしている可能性が高いため、当該ブロックについてはサーチ画像のブロックを選択することにより、動体を消去することができる。
【００４３】
上述したように、本実施形態によれば、各ブロックのローカルベクトルの信頼度を参照することで誤った動体の検出を行わないようにすることができる。そのため、合成時に正確に動体を除去することが可能となる。
【００４４】
（第3の実施形態）
次に、本発明の第3の実施形態を説明する。図13は、本実施形態による撮像装置の構成を示している。図13に示す撮像装置では、図1に示した構成と比較して、グローバルベクトル算出部11が追加されている。それ以外の構成については、図1に示した構成と同様である。
【００４５】
グローバルベクトル算出部11は、手ぶれ等による画像全体の変位量及び変位の方向を示すグローバルベクトルを算出する。たとえばローカルベクトルのヒストグラムを計算し、最頻出のベクトルをグローバルベクトルとする等により、グローバルベクトルの算出が可能である。
【００４６】
図14は、本実施形態の動体検出時の処理を示している。先ず、動体検出部6は、ローカルベクトル算出部5からローカルベクトルと信頼度を受け取り、変位座標テーブルを作成する（ステップS71）。図15は、本実施形態の変位座標テーブル作成時の処理を示している。
【００４７】
動体検出部6は、各ブロックについて以下の処理を行う（ステップS81，S85）。動体検出部6は、ローカルベクトルとグローバルベクトルのベクトル和を算出し、そのベクトル和の大きさが閾値以上であるか否かを判定する（ステップS82）。ベクトル和の大きさが閾値以上である場合、図5のステップS23〜S24の処理と同様のステップS83〜S84の処理により、変位座標テーブルが作成される。一方、ベクトル和の大きさが閾値未満である場合、変位座標の算出は行われない。
【００４８】
変位座標テーブルの作成後、動体検出部6は、各ブロックに対して動体位置の検出を行う（ステップS73，S711）。先ず、動体検出部6は、ローカルベクトルとグローバルベクトルのベクトル和を算出し、そのベクトル和の大きさが閾値以上であるか否かを判定する（ステップS73）。ベクトル和の大きさが閾値未満である場合、動体検出部6は、基準画像の当該ブロックに動体が含まれないと判定する（ステップS710）。一方、ベクトル和の大きさが閾値以上である場合、動体検出部6は、基準画像の当該ブロックに動体が含まれると判定する（ステップS74）。基準画像の当該ブロックに動体が含まれると判定した場合の処理は、図4に示した処理と同様である。
【００４９】
合成部7は、第1の実施の形態と同様に、図7に示した処理により合成を行う。ただし、サーチ画像のブロックを選択した場合、基準画像の当該ブロックの座標からグローバルベクトル分変位した位置のサーチ画像のブロックを選択し、合成を行う。
【００５０】
図16は、本実施形態における合成方法を示している。図16の例では、グローバルベクトルが上向きの矢印で示されている。基準画像において、右下隅のブロック1600には動体が含まれるため、サーチ画像のブロックが選択されるが、本実施形態では、当該ブロックの座標からグローバルベクトル分変位したブロック1610が選択され、合成に使用される。このように合成を行うことにより、手ぶれ等による基準画像とサーチ画像のずれを補正し、手ぶれ等の影響を排除することができる。
【００５１】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記の各実施形態では、イメージャ2から出力される画像をそのままローカルベクトルの算出に使用したが、縮小画像を用いても良い。また、イメージャ2から出力された画像を画像処理部8が画像処理した後に合成処理を行っても良い。
【００５２】
さらに、上記の各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００５３】
1・・・レンズ、2・・・イメージャ、3・・・キャプチャ部、4・・・DRAM、5・・・ローカルベクトル算出部（第1の算出部）、6・・・動体検出部、7・・・合成部、8・・・画像処理部、9・・・記録部、10・・・メモリカード、11・・・グローバルベクトル算出部（第2の算出部）
【図１】
2012124662.tif 000003
【図２】
2012124662.tif 000004
【図３】
2012124662.tif 000005
【図４】
2012124662.tif 000006
【図５】
2012124662.tif 000007
【図６】
2012124662.tif 000008
【図７】
2012124662.tif 000009
【図８】
2012124662.tif 000010
【図９】
2012124662.tif 000011
【図１０】
2012124662.tif 000012
【図１１】
2012124662.tif 000013
【図１２】
2012124662.tif 000014
【図１３】
2012124662.tif 000015
【図１４】
2012124662.tif 000016
【図１５】
2012124662.tif 000017
【図１６】
2012124662.tif 000018