(57)【要約】【課題】圧縮符号化処理以外の画像処理負担を軽減すること。【解決手段】画像処理装置１は、連写撮影された複数のフレーム画像を入力する画像入力手段１５ａと、フレーム画像に対して所定の画像処理を行う画像処理手段１５ｃと、フレーム画像に対して符号化処理を行う符号化処理手段１５ｄと、前後するフレーム画像間の相関の有無を、符号化処理で用いるブロック領域ごとに判定する相関判定手段１５ｂ、１５ｈと、１フレーム目の画像に対して画像処理と符号化処理とを行い、２フレーム目以降の画像に対して画像処理を行う際、相関無しが判定されている第１領域を対象に画像処理を行い、相関有りが判定されている第２領域を対象にする画像処理を省略するように画像処理手段１５ｃおよび符号化処理手段１５ｄをそれぞれ制御する制御手段１５ｈと、を備える。【選択図】図１
2013175803.tif 000002
【特許請求の範囲】
【請求項１】
連写撮影された複数のフレーム画像を入力する画像入力手段と、
前記フレーム画像に対して所定の画像処理を行う画像処理手段と、
前記フレーム画像に対して符号化処理を行う符号化処理手段と、
前後するフレーム画像間の相関の有無を、前記符号化処理で用いるブロック領域ごとに判定する相関判定手段と、
１フレーム目の画像に対して前記画像処理と前記符号化処理とを行い、２フレーム目以降の画像に対して前記画像処理を行う際、前記相関無しが判定されている第１領域を対象に前記画像処理を行い、前記相関有りが判定されている第２領域を対象にする前記画像処理を省略するように前記画像処理手段および前記符号化処理手段をそれぞれ制御する制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記制御手段は、対象フレームに対する画像処理後の画像を、該対象フレームの前記第１領域に対する前記画像処理後の画像と、該対象フレームの前フレームの前記第２領域に対する前記画像処理後の画像とで構成することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記画像処理はフィルタ処理を含み、前記画像処理手段は、前記フィルタ処理を前記ブロック領域を囲む所定範囲に含まれる画素データを用いて行うことを特徴とする画像処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記画像処理は、エッジ強調処理、像ボケ付加処理、およびノイズ除去処理の少なくとも１つであることを特徴とする画像処理装置。
【請求項５】
請求項３または４に記載の画像処理装置において、
前記画像処理手段は、前記所定範囲を画像処理の種類に応じて異ならせることを特徴とする画像処理装置。
【請求項６】
請求項１〜５のいずれか一項に記載した画像処理装置を搭載することを特徴とするカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、およびカメラに関する。
【背景技術】
【０００２】
連写撮影において、ＪＰＥＧ等の圧縮処理量を軽減する技術が知られている（特許文献１参照）。１フレーム前のブロックデータと現フレームのブロックデータとを比較して、判定閾値以内の誤差である場合に圧縮処理を施さずに処理負担を軽減する点が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２４９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、圧縮符号化処理以外の画像処理負担の軽減について検討がなされていなかった。
【課題を解決するための手段】
【０００５】
本発明による画像処理装置は、連写撮影された複数のフレーム画像を入力する画像入力手段と、フレーム画像に対して所定の画像処理を行う画像処理手段と、フレーム画像に対して符号化処理を行う符号化処理手段と、前後するフレーム画像間の相関の有無を、符号化処理で用いるブロック領域ごとに判定する相関判定手段と、１フレーム目の画像に対して画像処理と符号化処理とを行い、２フレーム目以降の画像に対して画像処理を行う際、相関無しが判定されている第１領域を対象に画像処理を行い、相関有りが判定されている第２領域を対象にする画像処理を省略するように画像処理手段および符号化処理手段をそれぞれ制御する制御手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、圧縮符号化処理以外の画像処理負担を軽減することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による画像処理装置を搭載したデジタルカメラの構成を例示するブロック図である。
【図２】ＣＰＵが連写時に実行する処理の流れを説明するフローチャートである。
【図３】ブロック領域を説明する図である。
【図４】相関有りを判定した領域と、相関無しを判定した領域とを例示する図である。
【図５】画像データの流れを例示する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による画像処理装置を搭載したデジタルカメラの構成を例示するブロック図である。図１において、デジタルカメラ１は、撮影レンズ１１と、絞り１２と、シャッター１３と、撮像素子１４と、画像処理エンジン１５と、ＤＲＡＭ１６と、フラッシュメモリ１７と、画像表示器１９とを有し、着脱可能な外部メモリ１８が装着されている。
【０００９】
撮影レンズ１１は、被写体像を撮像素子１４の撮像面に結像させる。絞り１２は、撮像素子１４へ導かれる光束を制限する。シャッター１３は、光路を開閉することにより、被写体光束を撮像素子１４へ導く状態と該被写体光束を遮断する状態とを切替える。撮像素子１４は、たとえばＣＭＯＳイメージセンサによって構成され、結像されている被写体像を光電変換する。
【００１０】
画像処理エンジン１５は、光電変換後の画像信号に対して所定の画像処理および圧縮符号化処理などを行う。画像処理エンジン１５は、前処理部１５ａと、相関検出部１５ｂと、画像処理部１５ｃと、画像符号化部１５ｄと、ＤＲＡＭ制御部１５ｅと、フラッシュメモリ制御部１５ｆと、外部メモリ制御部１５ｇと、ＣＰＵ１５ｈと、画像表示制御部１５ｉとを含む。
【００１１】
前処理部１５ａは、撮像素子１４からの画像信号を受けてＡ／Ｄ変換などの前処理を行う。相関検出部１５ｂは、画像データをフレーム間で比較して相関の有無を検出する。たとえば、画像を所定のブロック領域に分割し、該分割領域ごとに相関の有無を検出する。本実施形態では、画像符号化部１５ｄが符号化処理の中で行うブロック処理（たとえば離散コサイン変換（ＤＣＴ）など）で用いるブロックと、相関検出部１５ｂが相関検出に用いるブロックとを共通にする。
【００１２】
画像処理部１５ｃは、画像データに対して画像処理を行う。画像処理は、たとえば、RAWデータからYUVデータへの変換処理、エッジ強調処理、像ボケ付加処理、およびノイズ除去処理などを含む。画像符号化部１５ｄは、ＪＰＥＧなどの圧縮方式で画像を圧縮する符号化処理、および圧縮された画像を伸張する復号化処理を行う。
【００１３】
ＤＲＡＭ制御部１５ｅは、ＤＲＡＭ１６に対するデータ書込みやデータ読出しを制御する。ＤＲＡＭ１６は揮発性のメモリであって、ＣＰＵ１５ｈがプログラム実行時にプログラムを展開するためのワークメモリとして使用される。また、ＤＲＡＭ１６は、上記相関検出処理、画像処理、および画像符号化／複合化処理の際に一時的にデータを一時記憶するバッファメモリとしても使用される。
【００１４】
フラッシュメモリ制御部１５ｆは、フラッシュメモリ１７に対するデータ書込みやデータ読出しを制御する。フラッシュメモリ１７は不揮発性のメモリであって、ＣＰＵ１５ｈが実行するプログラムのデータや、プログラム実行時に読込まれる種々のパラメータなどを記憶する。
【００１５】
外部メモリ制御部１５ｇは、外部メモリ１８に対するデータ書込みやデータ読出しを制御する。外部メモリ１８は、メモリカードなどの記憶媒体であり、デジタルカメラ１に対して着脱可能に構成されている。外部メモリ１８には、保存用の画像データが書込まれる。また、外部メモリ１８からは、記録されている画像データが読出される。
【００１６】
ＣＰＵ１５ｈは、フラッシュメモリ１７に記録されているプログラムに基づいて、画像処理エンジン１５の動作を制御する他、デジタルカメラ１の全体動作を制御する。画像表示制御部１５ｉは、デジタルカメラ１の背面に搭載された画像表示器１９（背面液晶モニタ）の表示制御を行う。画像表示器１９は、外部メモリ１８に記録されている画像データに基づく再生画像や、デジタルカメラ１に機能設定を行うための設定メニュー画面などを表示する。また、ユーザーによってデジタルカメラ１が撮影モードに設定されると、撮像素子１４が時系列で取得した画像の表示用画像データを表示する。これにより、画像表示器１９にスルー画が表示される。
【００１７】
本実施形態は、連写撮影時に画像処理部１５ｃで画像処理を行う際に、相関検出部１５ｂによって相関有りが検出されている現フレームの画像のブロック領域に対しては画像処理を省略し、代わりに前フレームの画像の対応するブロック領域についての画像処理結果を用いる。連写時の画像処理負担を軽くして、より高速の連写撮影を行うためである。
【００１８】
ＣＰＵ１５ｈが連写時に実行する処理の流れについて、図２のフローチャートを参照して説明する。ＣＰＵ１５ｈは、連写撮影が指示された場合に図２による処理を起動させる。図２のステップＳ１１において、ＣＰＵ１５ｈは撮像素子１４を露光させる。たとえば、露出演算結果に基づいて絞り１２およびシャッター１３を制御して、撮像素子１４に所定時間蓄積動作をさせてステップＳ１２へ進む。
【００１９】
ステップＳ１２において、ＣＰＵ１５ｈは、露光データ（画像信号）をRAWデータとしてＤＲＡＭ１６へ一時記憶させる。具体的には、撮像素子１４から読出した信号を前処理部１５ａでＡ／Ｄ変換させる。そして、ＤＲＡＭ制御部１５ｅへ指示を送ってＡ／Ｄ変換後のRAWデータをＤＲＡＭ１６へ一時記憶させてステップＳ１３へ進む。ステップＳ１２においてＤＲＡＭ１６へ記憶したRAWデータが「現フレーム」の画像に相当する。
【００２０】
ステップＳ１３において、ＣＰＵ１５ｈは、連写撮影の１枚目か否かを判定する。ＣＰＵ１５ｈは、ＤＲＡＭ１６へ記憶したRAWデータが連写１枚目である場合にステップＳ１３を肯定判定してステップＳ１４へ進む。ＣＰＵ１５ｈは、ＤＲＡＭ１６へ記憶したRAWデータが連写１枚目でない（すなわち連写２枚目以降である）場合にステップＳ１３を否定判定してステップＳ１７へ進む。
【００２１】
ステップＳ１４において、ＣＰＵ１５ｈは、ＤＲＡＭ１６内のRAWデータ（連写１枚目）に所定の画像処理を行わせてステップＳ１５へ進む。本実施形態では、画像処理部１５ｃが少なくともRAWデータからYUVデータへの変換処理を行う。YUVデータは、輝度データYおよび色差データU,Vで表される画像データである。ＣＰＵ１５ｈは、YUVデータへの変換処理以外の他の処理（エッジ強調処理、像ボケ付加処理、およびノイズ除去処理など）を行う設定がなされている場合には、設定に応じた画像処理を画像処理部１５ｃにさらに行わせる。ＣＰＵ１５ｈは、ＤＲＡＭ制御部１５ｅへ指示を送り、画像処理後のYUVデータをＤＲＡＭ１６へ一時記憶させる。
【００２２】
ステップＳ１５において、ＣＰＵ１５ｈは画像符号化部１５ｄへ指示を送り、ＤＲＡＭ１６に記憶されているYUVデータ（連写１枚目）に圧縮符号化処理を行わせてステップＳ１６へ進む。ステップＳ１６において、ＣＰＵ１５ｈは外部メモリ制御部１５ｇへ指示を送り、圧縮符号化データを外部メモリ１８に書き込み記録させて、ステップＳ１１へ戻る。
【００２３】
連写２枚目以降である場合のステップＳ１７において、ＣＰＵ１５ｈは、相関検出部１５ｂへ指示を送り、「前フレーム」のRAWデータと「現フレーム」のRAWデータとを比較して相関の有無を検出させる。「現フレーム」の１枚前に取得（露光）され、ＤＲＡＭ１６に記憶されているRAWデータが「前フレーム」の画像に相当する。相関検出部１５ｂは、上述した画像符号化部１５ｄが圧縮符号化処理の中で用いたブロック領域ごとに、フレーム間でRAWデータを比較して相関の有無を検出する。相関検出部１５ｂは、たとえば、フレーム間でRAWデータの差分をとり、ブロック領域ごとに差分の平均値を比較して相関性強度を判定する。相関検出部１５ｂは、ブロック領域における上記平均値の差が所定の判定閾値より小さい場合は、当該ブロック領域において相関有りを判定し、平均値の差が上記判定閾値以上の場合には当該ブロック領域において相関無しを判定する。
【００２４】
ステップＳ１８において、ＣＰＵ１５ｈは、「現フレーム」のブロック領域ごとに、相関が強い領域であるか否かを判定する。ＣＰＵ１５ｈは、相関検出部１５ｂにおいて上記相関有りが判定されている場合にステップＳ１８を肯定判定してステップＳ１９へ進む。ＣＰＵ１５ｈは、相関検出部１５ｂにおいて上記相関無しが判定されている場合には、ステップＳ１８を否定判定してステップＳ２０へ進む。
【００２５】
ステップＳ１９において、ＣＰＵ１５ｈは、当該ブロック領域に関し「前フレーム」における画像処理後のYUVデータを「現フレーム」における画像処理結果として流用する。具体的には、相関有りが判定されているブロック領域については、「現フレーム」の当該ブロック領域について画像処理部１５ｃで画像処理を行わない。ＣＰＵ１５ｈは、たとえばＤＲＡＭ制御部１５ｅへ指示を送り、「前フレーム」における画像処理後のYUVデータの複製を「現フレーム」における画像処理結果としてＤＲＡＭ１６へ一時記憶させてステップＳ２１へ進む。
【００２６】
ステップＳ２０において、ＣＰＵ１５ｈは画像処理部１５ｃへ指示を送り、ＤＲＡＭ１６内に記憶されている「現フレーム」のRAWデータのうち、相関無しが判定されているブロック領域のRAWデータに対して所定の画像処理を行わせてステップＳ２１へ進む。これにより画像処理部１５ｃは、少なくともRAWデータからYUVデータへの変換処理を行う。画像処理部１５ｃはさらに、YUVデータへの変換処理以外の他の処理を行う設定がなされている場合には、当該ブロック領域のYUVデータに対して設定に応じた画像処理を行う。ＣＰＵ１５ｈはＤＲＡＭ制御部１５ｅへ指示を送り、画像処理後のYUVデータをＤＲＡＭ１６へ一時記憶させる。
【００２７】
図３は、ブロック領域を説明する図である。図３に記載した格子は、画像符号化部１５ｄが圧縮符号化処理の中で用いるブロック領域３１を表し、たとえば、ｎ×ｎ画素の領域である。画像処理部１５ｃは、このブロック領域３１の周囲にそれぞれ所定画素分（たとえば、(ｍ−ｎ)/２、ただしｍ＞ｎ）の糊代として外枠３２を設ける。ブロック領域の周囲に「(ｍ−ｎ)/２」画素の糊代を設ける理由は、画像処理にフィルタ処理を含む場合において、ブロック領域３１の端部におけるフィルタ処理が困難なことによる。フィルタ処理用の糊代として外枠３２を設けると、ブロック領域３１の端部を注目画素としてフィルタ処理を行う場合にブロック領域３１の外側の外枠３２に含まれる画素信号を用いてフィルタ処理を行えるから、ブロック領域３１の外側の画素信号を用いずにフィルタ処理を行う場合に比べて、適切なフィルタ処理結果が得られる。
【００２８】
ここで、エッジ強調処理、像ボケ付加処理、およびノイズ除去処理は、いずれもローパスフィルタ処理を含むので、上記外枠３２を設けることは適切なフィルタ処理結果を得る上で重要である。画像処理部１５ｃは、処理を行うように設定されている画像処理の種別や、該画像処理で必要とされる周波数成分に応じて外枠３２の大きさ、すなわち糊代を構成する画素数を異ならせる。たとえば、ローパスフィルタの遮断周波数が低いほど画素数を増やし、遮断周波数が高いほど画素数を減らす。
【００２９】
図４は、「前フレーム」と「現フレーム」との間の相関有りを判定した領域（すなわちステップＳ１８を肯定判定した領域）と、相関無しを判定した領域（すなわちステップＳ１８を否定判定した領域）とを例示する図である。図４において、領域４１、４２、４３、４４、４５は相関無しを判定した領域であり、領域４１〜４５以外の他の領域は相関有りを判定した領域である。この場合のＣＰＵ１５ｈは、ＤＲＡＭ１６内に記憶されている「現フレーム」のRAWデータのうち、領域４１〜４５に対応するブロック領域のRAWデータに対して、それぞれ所定の画像処理を行わせる。なお、図４に例示した相関有り領域と相関無し領域は一例である。ＣＰＵ１５ｈは、新しいフレーム画像を取得する度に「現フレーム」および「前フレーム」のRAWデータを更新する。すなわち、新フレームのRAWデータを「現フレーム」として取り扱い、それまで「現フレーム」であったRAWデータを「前フレーム」のRAWデータとして扱う。
【００３０】
ステップＳ２１において、ＣＰＵ１５ｈは、画像全体の画像処理結果を入手したか否かを判定する。ＣＰＵ１５ｈは、「現フレーム」を構成する全てのブロック領域においてステップＳ１９またはＳ２０の処理を終了した場合に、ステップＳ２１を肯定判定してステップＳ２２へ進む。ＣＰＵ１５ｈは、ステップＳ１９およびＳ２０のいずれの処理も行っていないブロック領域が「現フレーム」の中に存在する場合には、ステップＳ２１を否定判定してステップＳ１８へ戻る。
【００３１】
ステップＳ２２において、ＣＰＵ１５ｈは、連写撮影の最後のフレームか否かを判定する。ＣＰＵ１５ｈは、ＤＲＡＭ１６へ記憶させたRAWデータが最後の１枚である場合にステップＳ２２を肯定判定して図２による処理を終了する。ＣＰＵ１５ｈは、ＤＲＡＭ１６へ記憶させたRAWデータが最後の１枚ではない（すなわち、次フレームの露光が指示されている）場合にステップＳ２２を否定判定してステップＳ１１へ戻る。
【００３２】
図５は、画像データの流れを例示する図である。前処理部１５ａから出力されたRAWデータは、ＤＲＡＭ１６に一時記憶される。後述する変形例４の場合は、RAWデータに加えて評価値データもＤＲＡＭ１６に一時記憶される。相関検出部１５ｂは、ＤＲＡＭ１６から読み出されたRAWデータに基づいて相関の有無を判定する。後述する変形例４の場合は、ＤＲＡＭ１６から読み出された評価値データに基づいて相関の有無を判定する。
【００３３】
画像処理部１５ｃがRAWデータからYUVデータへの変換処理を行う場合、ＤＲＡＭ１６から読み出されたRAWデータに基づいて変換処理が行われ、変換後のYUVデータがＤＲＡＭ１６に一時記憶される。画像処理部１５ｃがノイズ除去処理を行う場合、ＤＲＡＭ１６から読み出されたYUVデータに基づいてノイズ除去処理が行われ、処理後のYUVデータがＤＲＡＭ１６に一時記憶される。
【００３４】
画像符号化部１５ｄが圧縮符号化処理処理を行う場合、ＤＲＡＭ１６から読み出されたYUVデータに基づいて圧縮符号化処理が行われ、処理後の符号化データがＤＲＡＭ１６に一時記憶される。外部メモリ制御部１５ｇが外部メモリ１８に対するデータ書込みを行う場合、ＤＲＡＭ１６から読み出された符号化データに基づいて書き込み処理を行う。
【００３５】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１は、連写撮影された複数のフレーム画像を入力する前処理部１５ａと、フレーム画像に対して所定の画像処理を行う画像処理部１５ｃと、フレーム画像に対して符号化処理を行う画像符号化部１５ｄと、前後するフレーム画像間の相関の有無を、符号化処理で用いるブロック領域３１ごとに判定する相関検出部１５ｂおよびＣＰＵ１５ｈと、１フレーム目の画像に対して画像処理と符号化処理とを行い、２フレーム目以降の画像に対して画像処理を行う際、相関無しが判定されている領域４１〜４５を対象に画像処理を行い、相関有りが判定されている他の領域（領域４１〜４５以外）を対象にする画像処理を省略するように画像処理部１５ｃおよび画像符号化部１５ｄをそれぞれ制御するＣＰＵ１５ｈと、を備えるようにした。これにより、圧縮符号化処理以外の画像処理負担を軽減することができ、ひいては連写速度の高速化を実現できる。
【００３６】
（２）上記（１）のデジタルカメラ１において、ＣＰＵ１５ｈは、「現フレーム」に対する画像処理後の画像を、「現フレーム」の領域４１〜４５に対する画像処理後のYUVデータと、「前フレーム」の他の領域（領域４１〜４５以外）に対する画像処理後のYUVデータとで構成するようにした。これにより、フレーム画像の全域に対して画像処理を行う場合に比べて、圧縮符号化処理以外の画像処理負担を軽減できる。なお、一般にフレーム画像の全域に対して画像処理を行うよりも、前後するフレーム画像間の相関有無を判定する処理の方が負担が小さいので、相関有無の判定処理が増えるとしても、全体として画像処理の負担を抑えることができる。
【００３７】
（３）上記（１）または（２）のデジタルカメラ１において、画像処理はフィルタ処理を含み、画像処理部１５ｃは、フィルタ処理をブロック領域３１を囲む外枠３２に含まれる画素データを用いて行うようにした。これにより、ブロック領域３１の外側の画素データを用いずにフィルタ処理を行う場合に比べて、適切なフィルタ処理結果が得られる。
【００３８】
（４）上記（１）〜（３）のいずれかのデジタルカメラ１において、画像処理は、エッジ強調処理、像ボケ付加処理、およびノイズ除去処理の少なくとも１つである。いずれの場合も、各処理において行うフィルタ処理で適切な処理結果が得られる。
【００３９】
（５）上記（３）または（４）のデジタルカメラ１において、画像処理部１５ｃは、外枠３２を画像処理の種類に応じて異ならせるようにしたので、適切にフィルタ処理を行うことができる。
【００４０】
（変形例１）
上記実施形態では、相関検出部１５ｂがブロック領域ごとに差分の平均値を比較して相関性強度を判定する例を説明した。この代わりに、ブロック領域ごとに差分の標準偏差を比較して相関性強度を判定するようにしてもよい。また、ブロック領域ごとに差分の最大値、最小値を比較して相関性強度を判定するようにしてもよい。
【００４１】
（変形例２）
相関検出部１５ｂはまた、以下のように相関有無の判定を行ってもよい。変形例２では、それぞれのフレームにおいてブロック領域内の画素のRAWデータを加算し、加算して得た評価値をフレーム間で比較して相関の有無を検出する。相関検出部１５ｂは、たとえば、フレーム間で対応するブロック領域における評価値の差分をとり、この差分に基づいて相関性強度を判定する。相関検出部１５ｂは、ブロック領域における評価値の差が所定の判定閾値より小さい場合は相関有りを判定し、評価値の差が上記判定閾値以上の場合には相関無しを判定する。
【００４２】
（変形例３）
さらにまた、相関検出部１５ｂは、相関有無の判定を以下のように行ってもよい。変形例３では、上記RAWデータまたは変形例２において算出した評価値から動きベクトルを算出する。算出した動きベクトルが所定の条件を満たす（有効）場合に該動きベクトルを考慮した座標の画素でRAWデータの差分をとる。相関検出部１５ｂは、たとえば、フレーム間で上記差分をとり、ブロック領域ごとに差分の平均値を比較して相関性強度を判定する。相関検出部１５ｂは、ブロック領域における平均値の差が所定の判定閾値より小さい場合は、当該ブロックにおいて相関有りを判定し、平均値の差が上記判定閾値以上の場合には相関無しを判定する。
【００４３】
（変形例４）
相関検出部１５ｂが行う評価値算出処理を前処理部１５ａに組込むように構成してもよい。この場合の前処理部１５ａは、撮像素子１４から読出した信号をＡ／Ｄ変換し、画素単位のデータ（RAWデータ）と、ブロック領域ごとに加算したデータ（評価値）とを出力する。評価値は、変形例２の評価値に相当する。ＣＰＵ１５ｈは、RAWデータを「現フレーム」のデータとしてＤＲＡＭ１６に一時記憶させるとともに、評価値データもＤＲＡＭ１６に一時記憶させておく。変形例４では、あらかじめ評価値データをＤＲＡＭ１６に記憶しておくことで、相関検出部１５ｂが評価値を算出することなしにＤＲＡＭ１６に記憶されている評価値を参照できるので、ステップＳ１７における相関検出が容易になる。
【００４４】
（変形例５）
外枠３２を構成する画素数を、相関検出結果に応じて決定してもよい。上記実施形態では、相関検出部１５ｂが算出したフレーム間のRAWデータの差分の平均値の差が所定の判定閾値以上であれば、当該ブロック領域において相関無しを判定した。あるいは、フレーム間で対応するブロック領域における評価値の差分をとり、この評価値の差が所定の判定閾値以上であれば相関なしを判定した（変形例２、４）。変形例５のＣＰＵ１５ｈは、フレーム間の差分が所定の判定閾値より大きい第２判定閾値より小さい場合には、相関が全くないわけではないので、外枠３２を構成する画素数を「現フレーム」の場合と同じにする。一方、フレーム間の差分が第２判定閾値を超える場合には、相関なしとして外枠３２を構成する画素数を「現フレーム」の値から変更する。
【００４５】
（変形例６）
上述した実施の形態では、本発明をカメラに適用する場合について説明した。しかしながら、本発明は、連続するフレーム画像を有する画像データを読み込んで、後から所定の画像処理を行う画像処理装置として、たとえばパソコンなどに適用することも可能である。
【００４６】
上記実施形態では連写撮影を例に説明したが、動画を撮影する場合にも適用してよいのはいうまでもない。
【００４７】
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。また、上記実施形態および変形例を適宜組み合わせた構成としてもよい。
【符号の説明】
【００４８】
１…デジタルカメラ
１１…撮影レンズ
１４…撮像素子
１５…画像処理エンジン
１５ａ…前処理部
１５ｂ…相関検出部
１５ｃ…画像処理部
１５ｄ…画像符号化部
１５ｅ…ＤＲＡＭ制御部
１５ｇ…外部メモリ制御部
１５ｈ…ＣＰＵ
１６…ＤＲＡＭ
１７…フラッシュメモリ
１８…外部メモリ
１９…画像表示器
【図１】
2013175803.tif 000003
【図２】
2013175803.tif 000004
【図３】
2013175803.tif 000005
【図４】
2013175803.tif 000006
【図５】
2013175803.tif 000007