(57)【特許請求の範囲】
【請求項１】
被写界の光学像を繰り返し捉える撮像手段から出力された時系列に従う複数の被写界像に画像処理を施す画像処理装置であって、
前記複数の被写界像にＦＰＮ補正処理を施すＦＰＮ補正手段、
前記複数の被写界像の間で特徴点の動きを検出する動き検出手段、
前記複数の被写界像の各々に対して前記動き検出手段の検出結果に基づく位置で切出し処理を施す第１切出し手段、
前記第１切出し手段を経た後の前記複数の被写界像の各々に対して当該被写界像に時間的に近接する１つまたは複数の被写界像を加算する加算処理を施す加算手段、
前記動き検出手段によって検出された動きが閾値を上回るか否かを繰り返し判別する第１判別手段、および
前記第１判別手段の判別結果が肯定的であるとき前記ＦＰＮ補正手段を無効化する一方、前記第１判別手段の判別結果が否定的であるとき前記ＦＰＮ補正手段を有効化する第１制御手段を備える、画像処理装置。
【請求項２】
前記撮像手段に固有のＦＰＮ情報が書き込まれる第１メモリをさらに備え、
前記ＦＰＮ補正手段は前記第１メモリに格納されたＦＰＮ情報に基づいてＦＰＮ補正処理を実行する、請求項１記載の画像処理装置。
【請求項３】
前記ＦＰＮ情報は、前記撮像手段の構成要素である撮像素子に占めるＦＰＮ発生領域の大きさを示すサイズ情報を含み、前記閾値は前記サイズ情報に関連した値である、請求項２記載の画像処理装置。
【請求項４】
前記閾値は前記サイズ情報の示す値よりも大きい、請求項３記載の画像処理装置。
【請求項５】
前記ＦＰＮ情報はＦＰＮの有無を示す有無情報を含み、
手ぶれ補正モードの有効無効を示すモード情報が書き込まれる第２メモリ、および
前記第２メモリに格納されたモード情報をモード切替え操作に応答して更新する更新手段をさらに備え、
前記第１判別手段は前記第１メモリに格納された有無情報がＦＰＮ有を示しかつ前記第２メモリに格納されたモード情報が手ぶれ補正モード有効を示すとき判別処理を実行する、請求項２ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記第１制御手段は前記第１判別手段の判別結果に関わらず前記第１切り出し手段を有効化する、請求項５記載の画像処理装置。
【請求項７】
前記第１メモリに格納された有無情報がＦＰＮ有を示しかつ前記第２メモリに格納されたモード情報が手ぶれ補正モード無効を示すとき前記ＦＰＮ補正手段を有効化しかつ前記第１切出し手段を無効化する第２制御手段をさらに備える、請求項５または６記載の画像処理装置。
【請求項８】
前記有無情報がＦＰＮ無を示しかつ前記第２メモリに格納されたモード情報が手ぶれ補正モード有効を示すとき前記ＦＰＮ補正手段を無効化しかつ前記第１切出し手段を有効化する第３制御手段をさらに備える、請求項７記載の画像処理装置。
【請求項９】
前記有無情報がＦＰＮ無を示しかつ前記第２メモリに格納されたモード情報が手ぶれ補正モード無効を示すとき前記ＦＰＮ補正手段および前記第１切出し手段の各々を無効化する第４制御手段をさらに備える、請求項８記載の画像処理装置。
【請求項１０】
前記複数の被写界像の各々に対して固定位置で切出し処理を施す第２切出し手段をさらに備え、
前記第１制御手段および前記第３制御手段の各々はさらに、前記第１切出し手段の有効化処理に応答して前記第２切出し手段を無効化し、
前記第２制御手段および前記第４制御手段の各々はさらに、前記第１切出し手段の無効化処理に応答して前記第２切出し手段を有効化する、請求項９記載の画像処理装置。
【請求項１１】
前記加算手段は、互いに加算されるべき一組の被写界像の各々を共通の部分画像に分割する分割手段、および前記分割手段の分割結果を共通の部分画像毎の係数で重み付けして互いに加算する加重加算手段を含む、請求項１ないし１０のいずれかに記載の画像処理装置。
【請求項１２】
前記検出手段は、前記複数の被写界像の各々に複数の検出エリアを割り当てて、検出エリア毎に動き検出を行い、
前記加算手段は前記係数を共通の部分画像毎に決定する係数決定手段をさらに含み、
前記係数決定手段は、前記複数の検出エリアのうち各共通の部分画像と対応する検出エリアを特定して、前記検出手段の検出結果のうち特定された検出エリアの動きに基づいて係数決定を行う、請求項１１記載の画像処理装置。
【請求項１３】
前記加算手段は、前記分割手段の分割結果の間の差分を共通の部分画像毎に算出する差分算出手段、および前記係数を共通の部分画像毎に決定する係数決定手段をさらに含み、
前記係数決定手段は前記差分算出手段の算出結果に基づいて係数決定を行う、請求項１１記載の画像処理装置。
【請求項１４】
前記撮像手段はＣＭＯＳを含む、請求項１ないし１３のいずれかに記載の画像処理装置。
【請求項１５】
前記撮像手段をさらに備える、請求項１ないし１４のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特にたとえばイメージセンサで捉えられた時系列に従う複数の被写界像に手ぶれ補正，ノイズ除去等の画像処理を施す、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が特許文献１に開示されている。この背景技術では、時系列に連続する複数の被写界像の各々から一部を位置をずらしつつ切り出すことにより、手ぶれに起因する被写界像間の動き（時間軸方向の動き成分）が抑制された動画像を作成する。
【０００３】
他の一例が特許文献２に開示されている。この背景技術では、イメージセンサのＦＰＮ(Fixed Pattern Noise)を補正するための補正用データがメモリに格納され、補正処理部はイメージセンサから出力された被写界像にこの補正用データに基づくＦＰＮ補正処理を施す。
【０００４】
その他の一例が特許文献３に開示されている。この背景技術では、時系列に連続する複数の被写界像を位置をずらしつつ互いに加算することにより、各被写界像のランダムノイズを抑制する（３ＤＤＮＲ：Three-Dimensional Digital Noise Reduction）。
【特許文献１】特開２００６−２４６２７０号公報［H04N 5/232, 5/225］
【特許文献２】特開２００６−６０６２８号公報［H04N 5/335］
【特許文献３】特開２００６−１９７４５５号公報［H04N 5/21, 5/232, 101/00］
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、ディジタルムービーカメラなどの画像処理装置では、手ぶれによる動き，ランダムノイズおよびＦＰＮの各々を抑制することが求められる。しかし、背景技術を単に組み合わせたのでは、多くのメモリが必要となり、消費電力も増大する。
【０００６】
それゆえに、この発明の主たる目的は、新規な、画像処理装置を提供することである。
【０００７】
この発明の他の目的は、必要メモリ容量および消費電力の各々を削減しつつ、ランダムノイズ，ＦＰＮおよび手ぶれによる動きの各々を抑制できる、画像処理装置を提供することである。
【０００８】
この発明のその他の目的は、さらに、少ない処理量でランダムノイズを適切に抑制できる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００９】
この発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、この発明の理解を助けるために後述する実施形態との対応関係を示したものであって、この発明を何ら限定するものではない。
【００１０】
第１の発明に従う画像処理装置は、被写界の光学像を繰り返し捉える撮像手段から出力された時系列に従う複数の被写界像に画像処理を施す画像処理装置であって、複数の被写界像にＦＰＮ補正処理を施すＦＰＮ補正手段、複数の被写界像の間で特徴点の動きを検出する動き検出手段、複数の被写界像の各々に対して動き検出手段の検出結果に基づく位置で切出し処理を施す第１切出し手段、第１切出し手段を経た後の複数の被写界像の各々に対して当該被写界像に時間的に近接する１つまたは複数の被写界像を加算する加算処理を施す加算手段、動き検出手段によって検出された動きが閾値を上回るか否かを繰り返し判別する第１判別手段、第１判別手段の判別結果が肯定的であるときＦＰＮ補正手段を無効化する一方、第１判別手段の判別結果が否定的であるときＦＰＮ補正手段を有効化する第１制御手段を備える。
【００１１】
第１の発明では、被写界の光学像が撮像手段（１４）により繰り返し捉えられ、撮像手段から出力された時系列に従う複数の被写界像が画像処理装置（１０，１０Ａ）に与えられる。
【００１２】
画像処理装置では、ＦＰＮ補正手段（１８ａ）が複数の被写界像にＦＰＮ補正処理を施し、動き検出手段（２２）は複数の被写界像の間で特徴点の動きを検出する。第１切出し手段（２６）は、複数の被写界像の各々に対し、動き検出手段の検出結果に基づく位置での切出し処理を施す。すなわち、第１切出し手段の切出し位置は、特徴点の動きに応じて移動する。こうして、切出し位置を特徴点の動きに追従させることで、複数の被写界像の間の動きが抑制される。
【００１３】
そして、第１切出し手段を経た後の複数の被写界像の各々に対し、当該被写界像に時間的に近接する１つまたは複数の被写界像を加算する加算処理が、加算手段（２８，２８Ａ）によって施される。これによって、複数の被写界像の各々に含まれるランダムノイズが抑制される。
【００１４】
一方、第１判別手段（Ｓ５）は、動き検出手段によって検出された動きが閾値を上回るか否かを繰り返し判別する。第１制御手段（Ｓ７，Ｓ９）は、第１判別手段の判別結果が肯定的であるときＦＰＮ補正手段を無効化する一方、第１判別手段の判別結果が否定的であるときＦＰＮ補正手段を有効化する。
【００１５】
第１の発明によれば、動きが閾値を上回っている期間は、ＦＰＮ補正手段が無効化されるので、消費電力を削減できる。こうしてＦＰＮ補正手段を無効化しても、ＦＰＮは、第１切出し手段による切出し処理およびその後段の加算手段による加算処理を通じて抑制される。なぜなら、切出し位置が移動することで、ＦＰＮは、ランダムノイズとしての性質を持つ結果となり、加算処理による抑制が可能となるからである。
【００１６】
第２の発明に従う画像処理装置は、第１の発明に従属し、撮像手段に固有のＦＰＮ情報が書き込まれる第１メモリをさらに備え、ＦＰＮ補正手段は第１メモリに格納されたＦＰＮ情報に基づいてＦＰＮ補正処理を実行する。
【００１７】
第２の発明では、撮像手段に固有のＦＰＮ情報が第１メモリ（１８ａ）に書き込まれ、ＦＰＮ補正手段は第１メモリに格納されたＦＰＮ情報に基づいてＦＰＮ補正処理を実行する。
【００１８】
第２の発明によれば、ＦＰＮ補正が無効化されている期間は、第１メモリを開放可能であり、必要メモリ容量を削減できる。
【００１９】
第３の発明に従う画像処理装置は、第２の発明に従属し、ＦＰＮ情報はＦＰＮのサイズを示すサイズ情報を含み、閾値はサイズ情報に関連した値である。
【００２０】
第４の発明に従う画像処理装置は、第３の発明に従属し、閾値はサイズ情報の示す値よりも大きい。
【００２１】
第３または第４の発明によれば、ＦＰＮを適切に抑制できる。
【００２２】
第５の発明に従う画像処理装置は、第２ないし第４のいずれかの発明に従属し、ＦＰＮ情報はＦＰＮの有無を示す有無情報を含み、手ぶれ補正モードの有効無効を示すモード情報が書き込まれる第２メモリ、および第２メモリに格納されたモード情報をモード切替え操作に応答して更新する更新手段をさらに備え、第１判別手段は第１メモリに格納された有無情報がＦＰＮ有を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード有効を示すとき判別処理を実行する。
【００２３】
第５の発明では、ＦＰＮ情報にＦＰＮの有無を示す有無情報が含まれており、第２メモリ（８４）には手ぶれ補正モードの有効無効を示すモード情報が書き込まれる。第２メモリに格納されたモード情報は、モード切替え操作が行われたとき更新手段（２４，８２ｃ）によって更新される。第１判別手段の判別処理は、第１メモリに格納された有無情報がＦＰＮ有を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード有効を示すとき実行される。
【００２４】
第６の発明に従う画像処理装置は、第５の発明に従属し、第１制御手段は第１判別手段の判別結果に関わらず第１切り出し手段を有効化する。
【００２５】
第６の発明では、ＦＰＮ有かつ手ぶれ補正モード有効の場合、第１切り出し手段は常に有効化される。
【００２６】
第７の発明に従う画像処理装置は、第５または第６の発明に従属し、第１メモリに格納された有無情報がＦＰＮ有を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード無効を示すときＦＰＮ補正手段を有効化しかつ第１切出し手段を無効化する第２制御手段をさらに備える。
【００２７】
第７の発明では、第２制御手段（Ｓ１１）は、第１メモリに格納された有無情報がＦＰＮ有を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード無効を示すとき、ＦＰＮ補正手段を有効化しかつ第１切出し手段を無効化する。
【００２８】
第７の発明によれば、ＦＰＮ有かつ手ぶれ補正モード無効の場合、ＦＰＮ補正手段を有効化しかつ第１切出し手段を無効化するので、ＦＰＮを抑制しつつ消費電力を削減できる。
【００２９】
第８の発明に従う画像処理装置は、第７の発明に従属し、有無情報がＦＰＮ無を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード有効を示すときＦＰＮ補正手段を無効化しかつ第１切出し手段を有効化する第３制御手段をさらに備える。
【００３０】
第８の発明では、第３制御手段（Ｓ１５）は、有無情報がＦＰＮ無を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード有効を示すときＦＰＮ補正手段を無効化しかつ第１切出し手段を有効化する。
【００３１】
第８の発明によれば、ＦＰＮ無かつ手ぶれ補正モード有効の場合、ＦＰＮ補正は無用で、ＦＰＮ補正手段が無効化されるので、消費電力を削減できる。
【００３２】
第９の発明に従う画像処理装置は、第８の発明に従属し、有無情報がＦＰＮ無を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード無効を示すときＦＰＮ補正手段および第１切出し手段の各々を無効化する第４制御手段をさらに備える。
【００３３】
第９の発明では、第４制御手段（Ｓ１７）は、有無情報がＦＰＮ無を示しかつ第２メモリに格納されたモード情報が手ぶれ補正モード無効を示すとき、ＦＰＮ補正手段および第１切出し手段の各々を無効化する。
【００３４】
第９の発明によれば、ＦＰＮ無かつ手ぶれ補正モード無効の場合、ＦＰＮ補正および手ぶれ補正はいずれも無用で、ＦＰＮ補正手段および第１切出し手段の各々が無効化されるので、消費電力を削減できる。
【００３５】
第１０の発明に従う画像処理装置は、第９の発明に従属し、複数の被写界像の各々に対して固定位置で切出し処理を施す第２切出し手段をさらに備え、第１制御手段および第３制御手段の各々はさらに、第１切出し手段の有効化処理に応答して第２切出し手段を無効化し、第２制御手段および第４制御手段の各々はさらに、第１切出し手段の無効化処理に応答して第２切出し手段を有効化する。
【００３６】
第１０の発明では、複数の被写界像の各々に対し、固定位置での切出し処理が第２切出し手段（３２）により施される。第２切出し手段は、第１制御手段または第３制御手段によって第１切出し手段が無効化されると有効化され、第２制御手段または第４制御手段によって第１切出し手段が有効化されると無効化される。
【００３７】
第１０の発明によれば、第１切出し手段の無効化／有効化による画像サイズの変化を回避できる。
【００３８】
第１１の発明に従う画像処理装置は、第１ないし第１０のいずれかの発明に従属し、加算手段は、互いに加算されるべき一組の被写界像の各々を共通の部分画像に分割する分割手段、および分割手段の分割結果を共通の部分画像毎の係数で重み付けして互いに加算する加重加算手段を含む。
【００３９】
第１１の発明では、加算にあたって、分割手段（５０ａ，５０ｂ，５２ａ，５２ｂ）が互いに加算されるべき一組の被写界像の各々を共通の部分画像（Ｂ１１〜Ｂ６６）に分割し、加重加算手段（５４ａ，５４ｂ，５６）は分割手段の分割結果を共通の部分画像毎の係数で重み付けして互いに加算する。重み付けのための係数を共通の部分画像毎に決定することで、動きの大きい部分のぼやけを回避することが可能となる。
【００４０】
ここで、共通の部分画像は、単一の画素でも、ｍ画素×ｎ画素（ｍ，ｎは１以上の整数）のブロックでもよいが、共通の部分画像のサイズを適切に選ぶことで（たとえば数画素×数画素程度）、係数決定のための処理量を抑制できる。
【００４１】
第１１の発明によれば、少ない処理量でランダムノイズを適切に抑制できる。
【００４２】
第１２の発明に従う画像処理装置は、第１１の発明に従属し、検出手段は、複数の被写界像の各々に複数の検出エリアを割り当てて、検出エリア毎に動き検出を行い、加算手段は係数を共通の部分画像毎に決定する係数決定手段をさらに含み、係数決定手段は、複数の検出エリアのうち各共通の部分画像と対応する検出エリアを特定して、検出手段の検出結果のうち特定された検出エリアの動きに基づいて係数決定を行う。
【００４３】
第１２の発明では、複数の被写界像の各々に複数の検出エリア（Ｅ１１〜Ｅ３３）が割り当てられ、動き検出は検出エリア毎に行われる。加算にあたっては、係数決定手段（６０，Ｓ３５〜Ｓ３９）が係数を共通の部分画像毎に決定する。具体的には、複数の検出エリアのうち各共通の部分画像と対応する検出エリアを特定し（８６，図６）、検出された複数の動きのうち特定された検出エリアの動きに基づいて係数を決定する（図８）。
【００４４】
第１２の発明によれば、動き検出手段の検出結果を係数決定にも利用することで、処理量のさらなる抑制が可能となる。
【００４５】
第１３の発明に従う画像処理装置は、第１１の発明に従属し、加算手段は、分割手段の分割結果の間の差分を共通の部分画像毎に算出する差分算出手段、および係数を共通の部分画像毎に決定する係数決定手段をさらに含み、係数決定手段は差分算出手段の算出結果に基づいて係数決定を行う。
【００４６】
第１３の発明では、加算にあたって、分割手段の分割結果の間の差分が差分算出手段（５３）によって共通の部分画像毎に算出される。係数は、この算出結果に基づいて、係数決定手段（５５，６０，Ｓ３４およびＳ３６）によって決定される（式（１））。
【００４７】
第１３の発明によれば、差分に基づいて係数を決定するので、ランダムノイズをより適切に抑制できる。
【００４８】
第１４の発明に従う画像処理装置は、第１ないし第１３のいずれかの発明に従属し、撮像手段はＣＭＯＳを含む。
【００４９】
ＣＭＯＳでは一般に、ＣＣＤなど他の撮像素子よりもＦＰＮが発生しやすく、ＦＰＮ補正の必要性が高い。このため、第１４の発明では、ＦＰＮ補正に関連する効果が顕著となる。
【００５０】
第１５の発明に従う画像処理装置は、第１ないし第１４のいずれかの発明に従属し、撮像手段をさらに備える。
【００５１】
第１５の発明では、撮像手段は画像処理装置の一構成要素である。
【発明の効果】
【００５２】
この発明によれば、必要メモリ容量および消費電力の各々を削減しつつ、ランダムノイズ，ＦＰＮおよび手ぶれによる動きの各々を抑制できるようになる。加えて、少ない処理量でランダムノイズを適切に抑制することもできるようになる。
【００５３】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００５４】
図１を参照して、この実施例のディジタルムービーカメラ１０は光学レンズ１２，イメージセンサ１４，信号前処理回路１６，ＦＰＮ補正回路１８ａ，ラインメモリ１８ｂ，ＤＲＡＭ２０，動き検出回路２２，ＣＰＵ２４，第１切出し回路２６，３ＤＤＮＲ回路２８，信号後処理回路３０，第２切出し回路３２，表示系回路３４，記録系回路３６，フラッシュメモリ３８およびキー入力装置４０を含む。
【００５５】
なお、イメージセンサ１４は、好ましくはＣＭＯＳ(Complementary Metal- Oxide Semiconductor)で構成されるが、ＣＣＤ(Charge- Coupled Device)など他の撮像素子で構成されてもよい。
【００５６】
これらの構成要素のうち、ＦＰＮ補正回路１８ａ，ラインメモリ１８ｂ，第１切出し回路２６および第２切出し回路３２の各々は、ＦＰＮの有無，手ぶれ補正モードのＯＮ／ＯＦＦ状態，および動きベクトルの大小に基づいて、ＣＰＵ２４によりＯＮ／ＯＦＦされる。このＯＮ／ＯＦＦ制御（図１１参照）は、フラッシュメモリ３８に格納されたＦＰＮ補正＆切出しＯＮ／ＯＦＦ制御プログラム（８２ｄ：図４参照）に基づく。なお、３ＤＤＮＲ回路２８は、常時ＯＮ状態に置かれる。
【００５７】
ここで、ディジタルムービーカメラ１０のソフトウェア構成について説明しておく。フラッシュメモリ３８のメモリマップの一部を図４に示す。図４を参照して、フラッシュメモリ３８にはＦＰＮ情報エリア８０，プログラムエリア８２，モード情報エリア８４および対応情報エリア８６が形成される。
【００５８】
ＦＰＮ情報エリア８０にはイメージセンサ１４に関するＦＰＮ情報が格納される。ＦＰＮ情報はＦＰＮフラグ８０ａおよびサイズ，発生位置＆補正値情報８０ｂを含む。ＦＰＮフラグ８０ａはＦＰＮの有無を示すフラグであり、サイズ，発生位置＆補正値情報８０ｂはＦＰＮのサイズ，発生位置およびこれに対応する補正値を記述した情報である。ＦＰＮのサイズ，および生位置はフレームを構成する複数のラインの間で共通なので、サイズ，発生位置＆補正値情報８０ｂは１ライン分あれば足りる。なお、ＦＰＮが無い場合には、サイズ，発生位置＆補正値情報８０ｂは省略してよい。
【００５９】
プログラムエリア８２には切出し位置制御プログラム８２ａ，ラインメモリ制御プログラム８２ｂ，モード切替え制御プログラム８２ｃ，ＦＰＮ補正＆切出しＯＮ／ＯＦＦ制御プログラム８２ｄなどが格納される。切出し位置制御プログラム８２ａは、動き検出回路２２の検出結果（ＣＰＵ２４に内蔵されたメモリＲ内の動きベクトルエリア７０〜７８に格納された動きベクトルデータ：図３参照）に基づいて切出し位置を算出し、算出結果（メモリＲ内の切出し位置エリア７９に格納された切出し位置データ）を第１切出し回路２６に通知するためのプログラムである。
【００６０】
ラインメモリ制御プログラム８２ｂは、ＦＰＮ情報エリア８０からサイズ，発生位置＆補正値情報８０ｂ（図４参照）を読み出し、これをラインメモリ１８ｂに書き込むためのプログラムである。モード切替え制御プログラム８２ｃは、キー入力装置４０によるモード切替ええ操作を受け付け、モード情報エリア８４内のモード情報を操作結果に従って更新するためのプログラムである。
【００６１】
ＦＰＮ補正＆切出しＯＮ／ＯＦＦ制御プログラム８２ｄは、ＦＰＮの有無（ＦＰＮフラグ８０ａ），手ぶれ補正モードのＯＮ／ＯＦＦ状態（手ぶれ補正モードフラグ８４ａ：後述），および動きベクトル（検出エリアＥ１１〜Ｅ３３用の動きベクトルエリア７０〜７８：図３参照）の大小に基づいて、ＦＰＮ補正回路１８ａ，第１切出し回路２６および第２切出し回路３２のＯＮ／ＯＦＦ制御を行うためのプログラムである。
【００６２】
モード情報エリア８４には手ぶれ補正モードフラグ８４ａが格納される。手ぶれ補正モードフラグ８４ａは、手ぶれ補正モードのＯＮ／ＯＦＦ状態を示すフラグであり、モード切替え制御プログラム８２ｃにより制御される。
【００６３】
対応情報エリア８６には、動き検出回路２２の検出エリア（Ｅ１１〜Ｅ３３）と、３ＤＤＮＲ回路２８による加重加算処理（後述）の単位であるブロック（Ｂ１１〜Ｂ６６）との間の対応関係（図６参照）を示す情報が格納される。
【００６４】
なお、上述した情報／プログラムは、出荷前にフラッシュメモリ３８に書き込まれる。手ぶれ補正モードフラグ８４ａは、出荷時点では“ＯＦＦ”であり、その後キー入力装置４０によるモード切替え操作に応じて更新される。また、ＣＰＵ２４は、μＩＴＲＯＮなどのマルチタスクＯＳの制御下で、これらのプログラム（８２ａ，８２ｂ，…）を並列的に処理することができる。
【００６５】
さて、ＦＰＮ補正＆切出しＯＮ／ＯＦＦ制御プログラム８２ｄに対応するフローチャートが図１１に示されている。図１１を参照して、ＣＰＵ２４は、まずステップＳ１で、ＦＰＮの有無をＦＰＮフラグ８０ａ（図４参照）に基づいて判別する。ステップＳ１の判別結果がＹＥＳつまり“ＦＰＮ有”であれば、ステップＳ３に移る。
【００６６】
ステップＳ３では、手ぶれ補正モードがＯＮ状態であるか否かを手ぶれ補正モードフラブ８４ａに基づいて判別する。ステップＳ３の判別結果がＹＥＳつまり“手ぶれ補正ＯＮ状態”であればステップＳ５に移る一方、判別結果がＮＯつまり“手ぶれ補正ＯＦＦ状態”であればステップＳ１１に移る。
【００６７】
ステップＳ５では、第ｋフレームの第（ｋ−１）フレームに対する動きベクトル（以下これを“ｋ：ｋ−１”のように記述する）の大きさが閾値（Ｔｈ１）より大であるか否かを、メモリＲに格納された動きベクトルデータに基づいて判別する。なお、閾値Ｔｈ１は、ＦＰＮのサイズに関連して決定された値であり、好ましくは、サイズ，発生位置＆補正値情報８０ｂに記述されたＦＰＮサイズよりもわずかに大きな値が選ばれる。
【００６８】
ここで図３を参照して、メモリＲは９つの検出エリアＥ１１〜Ｅ３３にそれぞれ対応する９つの動きベクトルエリア７０〜７８を含む。動きベクトルエリア７０〜７８には、検出エリアＥ１１〜Ｅ３３で検出された動きベクトルを示すデータがそれぞれ格納されている。
【００６９】
動きベクトルエリア７０〜７８に格納された９つの“ｋ：ｋ−１”のうち１つでも大きさが閾値を超えるものがあれば、ステップＳ５でＹＥＳと判別してステップＳ７に移る。一方、大きさがどれも閾値以下であれば、ステップＳ５でＮＯと判別してステップＳ９に移る。
【００７０】
ステップＳ７では、ＦＰＮ補正回路１８ａをＯＦＦして、第１切出し回路２６をＯＮする一方、第２切出し回路３２をＯＦＦする。ステップＳ９では、ＦＰＮ補正回路１８ａをＯＮして、第１切出し回路２６をＯＮする一方、第２切出し回路３２をＯＦＦする。ステップＳ１１では、ＦＰＮ補正回路１８ａをＯＮして、第１切出し回路２６をＯＦＦする一方、第２切出し回路３２をＯＮする。その後、ステップＳ１に戻る。
【００７１】
ステップＳ１の判別結果がＮＯつまり“ＦＰＮ無”であれば、ステップＳ１３に移る。ステップＳ１３では、ステップＳ３と同様に、手ぶれ補正モードがＯＮ状態であるか否かを手ぶれ補正モードフラブ８４ａに基づいて判別する。ステップＳ１３の判別結果がＹＥＳであればステップＳ１５に移る一方、判別結果がＮＯであればステップＳ１７に移る。
【００７２】
ステップＳ１５では、ステップＳ７と同様に、ＦＰＮ補正回路１８ａをＯＦＦして、第１切出し回路２６をＯＮする一方、第２切出し回路３２をＯＦＦする。ステップＳ１７では、ＦＰＮ補正回路１８ａをＯＦＦして、第１切出し回路２６をＯＦＦする一方、第２切出し回路３２をＯＮする。その後、ステップＳ１に戻る。
【００７３】
したがって、ＦＰＮがあるディジタルムービーカメラ１０のＦＰＮ補正＆切出しに関する状態は、ステップＳ７が実行されている期間に対応する状態（以下これを“Ｓ７状態”と呼ぶ），ステップＳ９が実行されている期間に対応する状態（Ｓ９状態），およびステップＳ１１が実行されている期間に対応する状態（Ｓ１１状態）、の３状態の間で遷移する。
【００７４】
一方、ＦＰＮがないディジタルムービーカメラ１０のＦＰＮ補正＆切出しに関する状態は、ステップＳ１５が実行されている期間に対応する状態（Ｓ１５状態），およびステップＳ１７が実行されている期間に対応する状態（Ｓ１７状態）、の２状態の間で遷移する。
【００７５】
最初、“Ｓ７状態”における動作について説明する。再び図１を参照して、光学レンズ１２を経た被写界の光学像は、イメージセンサ１４の受光面つまり撮像面に照射され、撮像面では、光電変換によって被写界の光学像に対応する電荷つまり生画像信号が生成される。イメージセンサ１４は、露光時間Ｔに渡る露光とこれによって生成された生画像信号の読出しとを、たとえば１／６０秒周期で繰り返し実行する。イメージセンサ１４からは、被写界の光学像に対応する生画像信号が出力される。出力された生画像信号は、信号前処理回路１６によってＡ／Ｄ変換，クランプなどの前処理を施され、これにより生画像データが作成される。作成された生画像データは、ＦＰＮ補正回路１８ａに与えられる。
【００７６】
このとき、ＦＰＮ補正回路１８ａは休止状態にあり、ＣＰＵ２４によるラインメモリ１８ｂへの書込み処理（後述）も実行されていない。与えられた生画像データは、ＦＰＮ補正回路１８ａを素通りして、ＤＲＡＭ２０の第１生画像エリア６０（図２）に書き込まれる。
【００７７】
信号前処理回路１６によって作成された生画像データはまた、動き検出回路２２に与えられる。動き検出回路２２は、与えられた生画像データに基づいて動きベクトルを検出する。詳しくは、９つの検出エリアＥ１１〜Ｅ３３を被写界に割り当て（図６参照）、そして検出エリア毎に、現在のフレーム（ｋ）およびその１つ前のフレーム（ｋ−１）の間で特徴点の動きつまり動きベクトルを繰り返し検出する。動き検出回路２２の検出結果、つまり９つの検出エリアＥ１１〜Ｅ３３に対応する９個の“ｋ：ｋ−１”は、ＣＰＵ２４に内蔵されたメモリＲに書き込まれる（図３参照）。
【００７８】
ＣＰＵ２４は、メモリＲに格納された動きベクトルに基づいて、手ぶれに起因する被写界像の動きが打ち消されるような切出し位置をフレーム毎に算出し、算出結果を示す切出し位置情報を第１切出し回路２６に通知する。
【００７９】
第１生画像エリア６０に格納された生画像データはその後、第１切出し回路２６に与えられる。第１切出し回路２６の切出しエリアＥ１は移動可能であり（図５（Ａ）参照）、第１切出し回路２６は、ＣＰＵ２４から通知された切出し位置情報に基づいて切出しエリアＥ１を移動しつつ、与えられた生画像データに対して各フレームから切出しエリアＥ１に対応する部分を切り出す処理を施していく。この第１切出し処理によって、生画像データに含まれる手ぶれに起因する時間軸方向の動き成分が抑制される。
【００８０】
第１切出し回路２６から出力された生画像データはその後、３ＤＤＮＲ回路２８に与えられる。このとき、第２生画像エリア６２に格納された１フレーム前の生画像データが参照データとして３ＤＤＮＲ回路２８にさらに与えられ、ＣＰＵ２４はメモリＲに格納された動きベクトルを３ＤＤＮＲ回路２８に通知する。つまり、３ＤＤＮＲ回路２８へは、第ｋおよび第（ｋ−１）の２フレームの生画像データと、これら２フレーム間の９個の動きベクトル“ｋ：ｋ−１”とが共通のタイミングで入力される。
【００８１】
３ＤＤＮＲ回路２８は、第ｋフレームの生画像データおよび第（ｋ−１）フレームの生画像データに対し、９個の動きベクトル“ｋ：ｋ−１”に基づく加重加算処理を施す。ここで、３ＤＤＮＲ回路２８およびこれが実行する加重加算処理について、図７，図８および図１２により詳しく説明する。
【００８２】
図７を参照して、３ＤＤＮＲ回路２８は、バッファ５０ａおよびコントローラ５０ｂ，バッファ５２ａおよびコントローラ５２ｂ，一対の乗算回路５４ａおよび５４ｂ，加算回路５６，バッファ５８ａおよびコントローラ５８ｂならびにＣＰＵ６０を含む。第１切出し回路２６からの生画像データはバッファ５０ａに、ＤＲＡＭ２０からの生画像データはバッファ５２ａにそれぞれ書き込まれる。
【００８３】
バッファ５０ａに第ｋフレームが、バッファ５２ａに第（ｋ−１）フレームがそれぞれ格納されると、コントローラ５０ｂおよびコントローラ５２ｂはそれぞれ、バッファ５０ａおよびバッファ５２ａに格納されたフレームを６×６の３６ブロック（Ｂ１１〜Ｂ６６：図６参照）に分割し、これら３６ブロックをＣＰＵ６０が繰り返し発行するブロック読出し命令に応じて順番に読み出していく。
【００８４】
読み出された一対のブロック、つまりバッファ５０ａから読み出されたブロックＢｉｊおよびバッファ５２ａから読み出されたブロックＢｉｊは、乗算回路５４ａおよび乗算回路５４ｂにそれぞれ入力される。このとき、ＣＰＵ６０が９個の動きベクトル“ｋ：ｋ−１”のうちブロックＢｉｊに対応するものを特定し、特定された動きベクトルに基づいて係数αを決定する。
【００８５】
乗算回路５４ａには係数“α”が与えられ、乗算回路５４ａは入力されたブロックＢｉｊに与えられた係数“α”を乗算する。一方、乗算回路５４ｂには係数“１−α”が与えられ、乗算回路５４ｂは入力されたブロックＢｉｊに係数“１−α”を乗算する。
【００８６】
乗算回路５４ａの乗算結果および乗算回路５４ｂの乗算結果は、加算回路５６で互いに加算される。そして、加算回路５６の加算結果、つまり加重加算を施された後のブロックＢｉｊが、バッファ５８ａに書き込まれる。
【００８７】
バッファ５８ａに第ｋフレームの最後のブロックつまりブロックＢ６６が書き込まれると、ＣＰＵ６０はコントローラ５８ｂに向けてフレーム読出し命令を発行し、コントローラ５８ｂはバッファ５８ａに格納された３６ブロックを１フレームとして出力する。
【００８８】
上記のようなＣＰＵ６０の処理は、図１２のフローチャートに従う。図１２を参照して、最初のステップＳ３１では、バッファ５０ａおよびバッファ５２ａにそれぞれフレームが格納されているか否かを判別し、判別結果がＮＯであれば待機する。ステップＳ３１の判別結果がＹＥＳであればステップＳ３３に移って、コントローラ５０ｂおよびコントローラ５２ｂの各々にブロック読出し命令を発行する。その後、ステップＳ３５に進む。
【００８９】
ステップＳ３５では、ブロック読出し命令に応じて読み出された一対のブロック、つまり第ｋフレームのブロックＢｉｊと第（ｋ−１）フレームのブロックＢｉｊとの間の動きが大きいか否かを、ＣＰＵ２４から通知された動きベクトル情報に基づいて判別する。
【００９０】
具体的には、まず、対応情報エリア８６に格納された対応情報８６ａ〜８６ｉに基づいて一対のブロックに対応する検出エリアを特定する。たとえば一対のブロックが“Ｂ１１”である場合、“Ｂ１１”は対応情報８６ａに記述されていることから、対応する検出エリアは“Ｅ１１”であることがわかる。
【００９１】
次に、ＣＰＵ２４から通知された９つの検出エリアＥ１１〜Ｅ３３に対応する９つの動きベクトル“ｋ：ｋ−１”の中から、上記のようにして特定された検出エリアに対応するものを選出し、選出された“ｋ：ｋ−１”の大きさを閾値（Ｔｈ２）と比較する。そして“｜ｋ：ｋ−１｜＞Ｔｈ２”であれば、動き大と判別する一方、“｜ｋ：ｋ−１｜≦Ｔｈ２”であれば動き小と判別する。
【００９２】
ステップＳ３５の判別結果がＹＥＳつまり動き大であれば、ステップＳ３７で係数αを最大値αｍａｘ（たとえば０．８）とする。ステップＳ３５の判別結果がＮＯつまり動き小であれば、ステップＳ３９で係数αを算出する。この算出処理は、動きつまり｜ｋ：ｋ−１｜と係数αとの関係を規定する関数ないしテーブルに基づく。このような関数の一例を図８に示す。
【００９３】
図８を参照して、この関数は、２点（０，０．５）および（Ｔｈ２，０．８）両端とする線分に対応し、動きがＴｈ２を越える区間ではα＝０．８となる。一般には、動きが“０”のときαが最小で、動きの増大につれてαも大きくなり、そして動きが“Ｔｈ２”のときαが最大となる関数であればよい。テーブルを用いる場合には、関数から算出される離散値、たとえば（０，０．５），（１，０．６），…，（Ｔｈ２，０．８）が登録される。
【００９４】
図１２に戻って、ステップＳ３７またはＳ３９で係数が決定されると、ステップＳ４１に進む。ステップＳ４１では、乗算回路５４ａおよび５４ｂに係数“α”および“１−α”をそれぞれ通知する。続くステップＳ４３では、直前に読み出されたブロックがフレームの最終ブロックであるか否かを判別し、ＮＯであればステップＳ３３に戻る。ステップＳ４３でＹＥＳであれば、ステップＳ４５に移ってコントローラ５８ｂにフレーム出力命令を発行し、その後ステップＳ３１に戻る。
【００９５】
このような加重加算処理によって、生画像データに含まれるランダムノイズが抑制される。
【００９６】
再び図１を参照して、３ＤＤＮＲ回路２８から出力された生画像データは、ＲＡＭ２０の第２生画像エリア６２（図２参照）に書き込まれる。こうして第２生画像エリア６２に格納された生画像データはその後、参照データとして３ＤＤＮＲ回路２８に与えられる。
【００９７】
３ＤＤＮＲ回路２８から出力された生画像データはまた、信号後処理回路３０にも与えられる。信号後処理回路３０は、与えられた生画像データに対し、色分離，ガンマ補正，ＹＵＶ変換などの後処理を施す。これにより、生画像データはＹＵＶ画像データに変換される。
【００９８】
こうして得られたＹＵＶ画像データは、ＤＲＡＭ２０内のＹＵＶ画像エリア６４（図２参照）に書き込まれる。ＹＵＶ画像エリア６４に格納されたＹＵＶ画像データはその後、第２切出し回路３２に与えられる。このとき、第２切出し回路３２は休止状態にあり、与えられたＹＵＶ画像データは、第２切出し回路３２を素通りして、表示系回路３４および記録系回路３６の各々に与えられる。
【００９９】
表示系回路３４では、与えられたＹＵＶ画像データでＬＣＤモニタ（図示せず）を駆動する処理などが実行される。記録系回路３６では、与えられたＹＵＶ画像データを圧縮する処理，圧縮された画像データを記録媒体（図示せず）に記録する処理などが実行される。
【０１００】
次に、“Ｓ９状態”における動作について説明する。再び図１を参照して、イメージセンサ１４は、“Ｓ７状態”においてと同様に、露光とこれによって生成された生画像信号の読出しとを繰り返し実行する。イメージセンサ１４から出力された生画像信号は、信号前処理回路１６で前処理を施され、これにより作成された生画像データがＦＰＮ補正回路１８ａにライン単位で与えられる。
【０１０１】
ＣＰＵ２４は、フラッシュメモリ３８からサイズ，発生位置＆補正値８０ｂ（図４参照）読み出し、これをラインメモリ１８ｂに書き込む。この書込み処理は、ラインメモリ書込み制御プログラム８２ｂ（図４参照）に基づく。ＦＰＮ補正回路１８ａは、ラインメモリ１８ｂに格納されたサイズ，発生位置＆補正値８０ｂに基づいて、与えられた生画像データにＦＰＮ補正を施す。これによって、生画像データに含まれるＦＰＮが抑制される。
【０１０２】
第１生画像エリア６０に格納された生画像データはその後、第１切出し回路２６に与えられ、同様の第１切出し処理を施される。
【０１０３】
このとき、“Ｓ７状態”においてと同様に、第２生画像エリア６２に格納された１フレーム前の生画像データが参照データとして３ＤＤＮＲ回路２８にさらに与えられる。動き検出回路２２は同様の動きベクトル検出を行っており、検出結果がＣＰＵ２４を通して３ＤＤＮＲ回路２８に通知される。３ＤＤＮＲ回路２８は、与えられた生画像データに対して通知された動きベクトルに基づく加重加算処理を実行する。
【０１０４】
３ＤＤＮＲ回路２８から出力された生画像データは、ＲＡＭ２０の第２生画像エリア６２に書き込まれ、その後参照データとして３ＤＤＮＲ回路２８に与えられる。３ＤＤＮＲ回路２８から出力された生画像データはまた、信号後処理回路３０にも与えられ、ＹＵＶ画像データに変換される。ＹＵＶ画像データは、ＤＲＡＭ２０内のＹＵＶ画像エリア６４に書き込まれ、その後第２切出し回路３２に与えられる。
【０１０５】
このとき、“Ｓ７状態”においてと同様に、第２切出し回路３２は休止状態にあり、与えられたＹＵＶ画像データは、第２切出し回路３２を素通りして、表示系回路３４および記録系回路３６の各々に与えられる。表示系回路３４ではＬＣＤ駆動処理などが、記録系回路３６では圧縮処理，記録処理などがそれぞれ実行される。
【０１０６】
ここで、“Ｓ７状態”から“Ｓ９状態”への状態遷移を図９のタイミングチャートに示す。図９を参照して、動きベクトルの大きさが閾値以下である間は、第１切出し，ＦＰＮ補正および３ＤＤＮＲの各処理が継続され、第２切出し処理は休止している。動きベクトルの大きさが閾値を超えると、ＦＰＮ補正処理が停止する。第１切出しおよび３ＤＤＮＲの各処理は継続され、第２切出し処理は休止したままである。
【０１０７】
次に、Ｓ１１状態における動作について説明する。“Ｓ１１状態”は、“Ｓ９状態”において、第１切出し回路２６が休止する一方、第２切出し回路３２が起動した状態である。したがって、“Ｓ１１状態”では、ＣＰＵ２４による切出し位置算出および通知処理も実行されていない。このため、第１生画像エリア６０の生画像データは、第１切出し回路２６を素通りして３ＤＤＮＲ回路２８に与えられることになる。一方、ＹＵＶ画像エリア６４からのＹＵＶ画像データは、第２切出し回路３２の第２切出し処理を施された後、表示系回路３４および記録系回路３６の各々に与えられる。
【０１０８】
第２切出し回路３２の切出しエリアＥ２は固定であり（図５（Ｂ））、第２切出し回路３２は、与えられたＹＵＶ画像データに対して、各フレームから切出しエリアＥ２に対応する部分を切り出す切出し処理を施していく。第１切出しの停止／再開による画像サイズの変化は、このような第２切出し処理を実行することで解消される。この点以外は、“Ｓ９状態”における動作と同様である。
【０１０９】
ここで、“Ｓ７状態”から“Ｓ１１状態”への状態遷移を図１０のタイミングチャートに示す。図１０を参照して、手ぶれ補正がＯＮである間は、第１切出しおよび３ＤＤＮＲの各処理が継続され、第２切出しおよびＦＰＮ補正の各処理は休止している。手ぶれ補正がＯＦＦされると、第１切出し処理は停止され、ＦＰＮ補正および第２切出しの各処理が起動される。３ＤＤＮＲ処理は継続される。
【０１１０】
最後に、Ｓ１５およびＳ１７の各状態における動作について、簡単に説明する。“Ｓ１５状態”は“Ｓ７状態”と同じ状態であり、行われる動作も両状態の間で共通する。
【０１１１】
“Ｓ１７状態”は、“Ｓ１１状態”において、ＦＰＮ補正回路１８ａがさらに休止した状態である。したがって、“Ｓ１７状態”では、信号前処理回路１６からの生画像データは、ＦＰＮ補正回路１８ａを素通りしてＤＲＡＭ２０の第１生画像エリア６０に書き込まれる。この点以外は、“Ｓ１１状態”における動作と同様である。
【０１１２】
以上から明らかなように、この実施例では、被写界の光学像がイメージセンサ１４により繰り返し捉えられ、イメージセンサ１４から時系列に従う複数の被写界像が出力される。ＦＰＮ補正回路１８ａは複数の被写界像にＦＰＮ補正処理を施し、動き検出回路２２は複数の被写界像の間で特徴点の動きを検出する。
【０１１３】
第１切出し回路２６は、複数の被写界像の各々に対し、動き検出手段の検出結果に基づく位置での切出し処理を施す。すなわち、第１切出し回路２６の切出し位置は、特徴点の動きに応じて移動する。こうして、切出し位置を特徴点の動きに追従させることで、複数の被写界像の間の動きが抑制される。
【０１１４】
そして、第１切出し回路２６による切出し処理が施された後の時系列に従う複数の被写界像の各々に対して、その被写界像に直前の被写界像を加算する加算処理が、３ＤＤＮＲ回路２８によって施される。これによって、複数の被写界像の各々に含まれるランダムノイズが抑制される。
【０１１５】
一方、ＣＰＵ２４は、動き検出手段によって検出された動きが閾値を上回るか否かを繰り返し判別して（Ｓ５）、判別結果が肯定的であるときＦＰＮ補正回路１８ａを無効化する（Ｓ７）一方、判別結果が否定的であるときＦＰＮ補正回路１８ａを有効化する（Ｓ９）。
【０１１６】
したがって、動きが閾値を上回っている期間は、ＦＰＮ補正回路１８ａが無効化されるので、消費電力を削減できる。こうしてＦＰＮ補正回路１８ａを無効化しても、ＦＰＮは、第１切出し回路２６による切出し処理およびその後段の３ＤＤＮＲ回路２８による加算処理を通じて抑制される。なぜなら、切出し位置が移動することで、ＦＰＮはランダムノイズとしての性質を持つ結果となり、３ＤＤＮＲ回路２８で抑制されるからである。
【０１１７】
この実施例ではまた、３ＤＤＮＲ回路２８において、バッファ５０ａおよびコントローラ５０ｂならびにバッファ５２ａおよびコントローラ５２ｂが、互いに加算されるべき一対の被写界像の各々をブロックＢ１１〜Ｂ６６（共通の部分画像）に分割し、乗算回路５４ａおよび５４ｂならびに加算回路５６は分割結果をブロック毎の係数で重み付けして互いに加算する。重み付けのための係数（α）は、動き検出回路２２からＣＰＵ２４経由で通知された動きベクトルに基づいて、ＣＰＵ６０がブロック毎に決定する。こうして、係数を共通の部分画像毎に決定することで、動きの大きい部分のぼやけを回避することが可能となる。
【０１１８】
そして、ブロックＢ１１〜Ｂ６６は、単一の画素でも、ｍ画素×ｎ画素（ｍ，ｎは１以上の整数）でもよいが、ブロックのサイズを適切に選ぶことで（たとえば数画素×数画素程度）、係数決定のための処理量を抑制できる。これにより、少ない処理量でランダムノイズを適切に抑制できる。
【０１１９】
なお、この実施例の３ＤＤＮＲ回路２８では、ＣＰＵ６０は、動き検出回路２２からＣＰＵ２４経由で通知された動きベクトルに基づいて係数αを決定したが、代わりに、バッファ５０ａおよびバッファ５２ａから出力される一対のブロックＢｉｊおよびＢｉｊの間の差分を求め、この差分に基づいて係数を決定してもよい。このような実施例を、図１３および図１４に示す。
【０１２０】
図１３を参照して、ディジタルムービーカメラ１０Ａは、図１のディジタルムービーカメラ１０において、ＣＰＵ２４からＣＰＵ６０への動きベクトル通知を省略し、３ＤＤＮＲ回路２８を３ＤＤＮＲ回路２８Ａに置き換えたものである。
【０１２１】
図１４を参照して、３ＤＤＮＲ回路２８Ａは、図７の３ＤＤＮＲ回路２８において、バッファ５０ａおよび５２ａからそれぞれ出力されるブロックＢｉｊおよびＢｉｊの間の差分を算出する差分算出回路５３，およびこの算出結果に基づいて係数αを算出する係数算出回路５５を追加したものである。
【０１２２】
差分算出回路５３の算出結果は、係数算出回路５５およびＣＰＵ６０の各々に与えられる。係数算出回路５５は、与えられた差分に基づいて、次式（１）により係数αを算出する。
【０１２３】
α＝｛差分｝×β＋η  …（１）
ここでβおよびηは、直線の傾きおよび切片に相当するパラメータであり、ＣＰＵ６０によって設定される。
【０１２４】
ＣＰＵ６０は、与えられた差分に基づいて、上式（１）におけるパラメータβおよびηを決定し、決定結果を差分算出回路５３に設定する。この場合のＣＰＵ６０の動作フローを図１５に示す。
【０１２５】
図１５のフローは、図１１のフローにおいて、ステップＳ３５〜Ｓ４１に代えてステップＳ３４およびＳ３６を備える。ステップＳ３４では差分算出回路５３からの差分に基づいてパラメータβおよびηを決定し、ステップＳ３６では決定結果を係数算出回路５５に設定する。この係数設定処理に応答して、係数算出回路５５から係数αおよび“１−α”が乗算回路５４ａおよび５４ｂに出力される。
【０１２６】
なお、パラメータβおよびηは、差分とは無関係に決定されてもよく、固定値でもよい。このような場合には、差分算出回路５３の算出結果をＣＰＵ６０に通知する必要はない。
【０１２７】
これにより、ランダムノイズをより適切に抑制できる。
【０１２８】
なお、図１および図１３の各実施例では、動き検出回路２２の検出エリアの数は９で、これら９個の検出エリアをフレーム上に３行３列の行列態様で配置したが（図６参照）、数および配置はこれに限らない。たとえば、フレームの四隅に配された４つの検出エリアＥ１１，Ｅ３１，Ｅ１３およびＥ３３を省略し、検出エリアの割り当てがない部分では係数αを最小値（たとえば０．５）に固定してもよい。ただし、第１切出し回路２６で手ブレに起因するフレーム間の動き成分を適切に除去し、また３ＤＤＮＲ回路２８，２８Ａでランダムノイズ（これには手ブレに起因するフレーム内の動き成分も含まれる）を適切に除去するためには、ｍ行ｎ列（ｍは３以上の整数，ｎは３以上の整数）の行列態様が好ましい。
【０１２９】
なお、各実施例では、検出エリアＥ１１〜Ｅ３３の間に隙間があるが、こうした隙間をなくしてもよい。隣り合う検出エリアが一部重複しても構わない。その形状も矩形とは限らず、円形，多角形などでもよい。
【０１３０】
また、各実施例では、動き検出回路２２が現在のフレーム（ｋ）およびその直前のフレーム（ｋ−１）の間で特徴点の動きを検出し、第１切出し回路２６は検出結果に基づく切出しを行っているが、動き検出回路２２の検出処理の後に、ＣＰＵ２４が検出結果に基づいて現在のフレーム（ｋ）およびその直後のフレーム（ｋ＋１）の間で特徴点の動きを予測し、第１切出し回路２６は予測結果に基づく切出しを行うようにしてもよい。図１３実施例の場合、３ＤＤＮＲ回路２８もまた、予測結果を利用してよい。
【０１３１】
また、各実施例では、ＦＰＮ情報は固定的であるが、たとえばＣＰＵ２４が、ＦＰＮ補正回路１８ａを通してイメージセンサ１４のＦＰＮを随時検出し、検出結果に基づいてＦＰＮ情報を更新してもよい。
【０１３２】
以上では、一例としてディジタルムービーカメラ（１０，１０Ａ）について説明したが、この発明は、イメージセンサで捉えられた時系列に従う複数の被写界像を処理する、画像処理装置に適用できる。この場合の画像処理装置は、イメージセンサを構成要素とするもの（たとえばディジタルスチルカメラ，カメラ付き携帯端末など）だけでなく、イメージセンサを構成要素としないもの（たとえば外部のイメージセンサで捉えられた被写界像を取り込むことができるパソコン，ディジタルビデオ再生機など）も含まれる。
【図面の簡単な説明】
【０１３３】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】ＤＲＡＭのメモリマップの一部を示す図解図である。
【図３】ＣＰＵ２４の内蔵メモリのメモリマップの一部を示す図解図である。
【図４】フラッシュメモリのメモリマップの一部を示す図解図である。
【図５】（Ａ）は第１切出し回路の切出しエリアを示す図解図であり、（Ｂ）は第２切出し回路の切出しエリアを示す図解図である。
【図６】動き検出回路の検出エリアおよび３ＤＤＮＲ回路の分割ブロックの間の対応関係を示す図解図である。
【図７】図１実施例に適用される３ＤＤＮＲ回路の構成例をブロック図である。
【図８】３ＤＤＮＲ回路での加重加算処理に利用される関数を示す図解図である。
【図９】図１実施例の各要素の動作例を示すタイミングチャートである。
【図１０】図１実施例の各要素の他の動作例を示すタイミングチャートである。
【図１１】図１実施例に適用されるＣＰＵ２４の動作の一部を示すフロー図である。
【図１２】図１実施例に適用されるＣＰＵ６０の動作の一部を示すフロー図である。
【図１３】この発明の他の実施例の構成を示すブロック図である。
【図１４】図１３実施例に適用される３ＤＤＮＲ回路の構成例をブロック図である。
【図１５】図１３実施例に適用されるＣＰＵ６０の動作の一部を示すフロー図である。
【符号の説明】
【０１３４】
１０，１０Ａ  …ディジタルムービーカメラ
１４  …イメージセンサ
１６  …信号前処理回路
１８ａ  …ＦＰＮ補正回路
１８ｂ  …ラインメモリ
２０  …ＤＲＡＭ
２２  …動き検出回路
２４，６０  …ＣＰＵ
２６  …第１切出し回路
２８，２８Ａ  …３ＤＤＮＲ回路
３０  …信号後処理回路
３２  …第２切出し回路
３８  …フラシュメモリ
４０  …キー入力装置
５０ａ，５２ａ，５８ａ  …バッファ
５０ｂ，５２ｂ，５８ｂ  …コントローラ
５４ａ，５４ｂ  …乗算回路
５３  …差分算出回路
５５  …係数算出回路
５６  …加算回路
【図１】
0005052271.tif 000002
【図２】
0005052271.tif 000003
【図３】
0005052271.tif 000004
【図４】
0005052271.tif 000005
【図５】
0005052271.tif 000006
【図６】
0005052271.tif 000007
【図７】
0005052271.tif 000008
【図８】
0005052271.tif 000009
【図９】
0005052271.tif 000010
【図１０】
0005052271.tif 000011
【図１１】
0005052271.tif 000012
【図１２】
0005052271.tif 000013
【図１３】
0005052271.tif 000014
【図１４】
0005052271.tif 000015
【図１５】
0005052271.tif 000016