(57)【要約】【課題】空間フィルタにおいて参照データのために使用されるシステムリソースをより少なくする。【解決手段】画像処理装置１００は、第１の画像と第１の画像に連続して撮影された第２の画像から生成された第３の画像とを用いた処理を実行する第１の画像処理部１１６と、第３の画像の一部または全部を参照データとして用いて、第１の画像から生成された第４の画像を空間フィルタリングする空間フィルタリング部１１８とを含む。空間フィルタリング部１１８は、εフィルタによって第４の画像を空間フィルタリングしてもよい。【選択図】図８
2012142826.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像と前記第１の画像に連続して撮影された第２の画像から生成された第３の画像とを用いた処理を実行する第１の画像処理部と、
前記第３の画像の一部または全部を参照データとして用いて、前記第１の画像から生成された第４の画像を空間フィルタリングする空間フィルタリング部と、
を備える画像処理装置。
【請求項２】
前記空間フィルタリング部は、前記第３の画像の一部または全部を検索ウインドウとして用いるεフィルタによって前記第４の画像を空間フィルタリングする、請求項１に記載の画像処理装置。
【請求項３】
前記第１の画像処理部は、前記第２の画像を縮小して前記第３の画像を生成し、
前記空間フィルタリング部は、前記第４の画像を縮小した画像を空間フィルタリングする、請求項２に記載の画像処理装置。
【請求項４】
前記空間フィルタリング部は、前記第３の画像の一部をターゲット画として用いて、前記第４の画像を空間フィルタリングする、請求項１に記載の画像処理装置。
【請求項５】
前記第１の画像処理部は、前記第１の画像と前記第２の画像との間の動きを補償する動き補償部である、請求項１に記載の画像処理装置。
【請求項６】
動きが補償された前記第１の画像と前記第２の画像とを重ね合わせることによって前記第４の画像を生成する画像重ね合わせ部をさらに備える、請求項５に記載の画像処理装置。
【請求項７】
第１の画像と前記第１の画像に連続して撮影された第２の画像から生成された第３の画像とを用いた処理を実行することと、
前記第３の画像の一部または全部を参照データとして用いて、前記第１の画像から生成された第４の画像を空間フィルタリングすることと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、画像を空間フィルタリングする画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
画像のノイズ低減（ＮＲ：Noise  Reduction）などに用いられる空間フィルタでは、ウインドウなどの参照データのサイズを大きくするほど効果が高くなる場合がある。例えば、εフィルタを画像のＮＲに用いる場合、ウインドウサイズが大きいほどＮＲ効果が高いことが知られている。そこで、画像を縮小し、εフィルタで空間フィルタリングしてから元のサイズに戻し、画像に対してのウインドウサイズをより大きくする技術が提案されている。
【０００３】
しかし、このような空間フィルタリングは、ウインドウサイズ分の縮小画像を生成して保持するために必要とされるシステムリソース、すなわち参照データのために使用されるシステムリソースが大きい。そこで、参照データのために使用されるシステムリソースを抑制する技術が提案されている。例えば、特許文献１には、ウインドウのサンプリングを間引くことによってシステムリソースを節約し、それによって発生する高空間周波数成分の折り返しをローパスフィルタによって抑制する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１５３９１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の技術を適用して、空間フィルタのウインドウサイズを大きくしていった場合、ウインドウサイズがある程度以上の大きさになると、高周波成分の折り返しを抑制することが難しくなる。また、空間フィルタリングの前後に画像を縮小および拡大する場合、縮小や拡大の処理のために使用されるシステムリソースが増大し、全体としてのシステムリソースの抑制効果は十分とはいえない。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、空間フィルタにおいて参照データのために使用されるシステムリソースをより少なくすることが可能な、新規かつ改良された画像処理装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、第１の画像と上記第１の画像に連続して撮影された第２の画像から生成された第３の画像とを用いた処理を実行する第１の画像処理部と、上記第３の画像の一部または全部を参照データとして用いて、上記第１の画像から生成された第４の画像を空間フィルタリングする空間フィルタリング部とを含む画像処理装置が提供される。
【０００８】
上記空間フィルタリング部は、上記第３の画像の一部または全部を検索ウインドウとして用いるεフィルタによって上記第４の画像を空間フィルタリングしてもよい。
【０００９】
上記第１の画像処理部は、上記第２の画像を縮小して上記第３の画像を生成し、上記空間フィルタリング部は、上記第４の画像を縮小した画像を空間フィルタリングしてもよい。
【００１０】
上記空間フィルタリング部は、上記第３の画像の一部をターゲット画として用いて、上記第４の画像を空間フィルタリングしてもよい。
【００１１】
上記第１の画像処理部は、上記第１の画像と上記第２の画像との間の動きを補償する動き補償部であってもよい。
【００１２】
上記画像処理装置は、動きが補償された上記第１の画像と上記第２の画像とを重ね合わせることによって上記第４の画像を生成する画像重ね合わせ部をさらに含んでもよい。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、第１の画像と上記第１の画像に連続して撮影された第２の画像から生成された第３の画像とを用いた処理を実行することと、上記第３の画像の一部または全部を参照データとして用いて、上記第１の画像から生成された第４の画像を空間フィルタリングすることとを含む画像処理方法が提供される。
【発明の効果】
【００１４】
以上説明したように本発明によれば、空間フィルタにおいて参照データのために使用されるシステムリソースをより少なくすることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態に係る撮像装置の機能構成を示すブロック図である。
【図２】本発明の第１の実施形態におけるフレームＮＲ処理の概念図である。
【図３】本発明の第１の実施形態における動きベクトル検出処理についての説明図である。
【図４】本発明の第１の実施形態に係る撮像装置における動き補償部の機能構成を示すブロック図である。
【図５】本発明の第１の実施形態に係る撮像装置において動き補償部に含まれるターゲットブロックバッファ部の機能構成を示すブロック図である。
【図６】本発明の第１の実施形態に係る撮像装置において動き補償部に含まれる参照ブロックバッファ部の機能構成を示すブロック図である
【図７】本発明の第１の実施形態に係る撮像装置における画像重ね合わせ部の機能構成を示すブロック図である。
【図８】本発明の第１の実施形態に係る撮像装置における色差ＮＲ部の機能構成を示すブロック図である。
【図９】タップ数が大きいεフィルタによる空間フィルタリングがフレームＮＲの後に行われる場合とそうでない場合とを比較する模式図である。
【図１０】動き補償部から提供される参照画像のデータを用いない色差ＮＲ部の機能構成を示すブロック図である。
【図１１】本発明の第１の実施形態における画像信号の処理についての説明図である。
【図１２】本発明の第１の実施形態におけるサーチ範囲と検索ウインドウについての説明図である。
【図１３】本発明の第１の実施形態におけるフレームＮＲ処理および色差ＮＲ処理を示すフローチャートである。
【図１４】本発明の第２の実施形態に係る撮像装置における色差ＮＲ部の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態
１−１．撮像装置の全体構成
１−２．フレームＮＲ処理について
１−３．フレームＮＲ処理および色差ＮＲ処理の詳細
２．第２の実施形態
３．まとめ
【００１８】
＜１．第１の実施形態＞
＜１−１．撮像装置の全体構成＞
まず、本発明の第１の実施形態に係る撮像装置の構成について説明する。本発明の第１の実施形態において、画像処理装置は撮像装置であり、加算部は画像重ね合わせ部であり、空間フィルタリング部は色差ＮＲ部である。
【００１９】
図１は、本発明の第１の実施形態に係る撮像装置１００の機能構成を示すブロック図である。撮像装置１００は、静止画または動画を撮像してデジタル方式の画像データとして記録媒体に記録する機能を有する、例えばデジタルカメラなどの任意の電子機器でありうる。
【００２０】
図１を参照すると、撮像装置１００は、制御部１０１、操作部１０２、メモリ１０３、ストレージ１０４、撮像光学系１１１、タイミングジェネレータ１１２、撮像素子１１３、信号処理部１１４、ＲＡＷ／ＹＣ変換部１１５、動き補償部１１６、画像重ね合わせ部１１７、色差ＮＲ部１１８、静止画コーデック１１９、動画コーデック１２０、ＮＴＳＣエンコーダ１２１、およびディスプレイ１２２を含む。これらの各構成要素は、システムバス１２５を介して相互に接続される。
【００２１】
制御部１０１は、撮像装置１００の各部の動作を制御する。制御部１０１は、メモリ１０３に格納されたプログラムに基づいて動作することによって、制御のために必要な各種の演算処理を実行するＣＰＵ（Central  Processing  Unit）でありうる。制御部１０１は、演算処理のための一時格納領域としてメモリ１０３を用いてもよい。なお、制御部１０１が動作するためのプログラムは、メモリ１０３に予め書き込まれたものであってもよく、ディスク状記録媒体またはメモリカードなどのリムーバブル記憶媒体に格納されて撮像装置１００に提供されるものであってもよい。また、制御部１０１が動作するためのプログラムは、ＬＡＮ（Local  Area  Network）、インターネット等のネットワークを介して撮像装置１００にダウンロードされるものであってもよい。
【００２２】
操作部１０２は、撮像装置１００を操作するためのユーザインターフェースとして機能する、操作部１０２は、例えば、撮像装置１００の外装に設けられたシャッターボタンなどの操作ボタン、タッチパネル、またはリモートコントローラなどでありうる。操作部１０２は、ユーザの操作に基づいて、撮像装置１００の起動および停止、静止画もしくは動画の撮影開始および終了、または撮像装置１００の各種機能の設定などの操作信号を制御部１０１に出力しうる。
【００２３】
メモリ１０３には、撮像装置１００の処理に関するデータが格納される。メモリ１０３は、例えば、フラッシュＲＯＭ（Read  Only  Memory）またはＤＲＡＭ（Dynamic  Random  Access  Memory）などの半導体メモリでありうる。メモリ１０３には、例えば、制御部１０１が用いるプログラム、および画像処理機能によって処理される画像信号が、一時的または継続的に格納されうる。メモリ１０３に格納される画像信号は、例えば、後述する基底面および縮小面のターゲット画像、参照画像、およびＮＲ画像でありうる。
【００２４】
ストレージ１０４には、撮像装置１００によって撮影された画像が、画像データとして格納される。ストレージ１０４は、例えば、フラッシュＲＯＭなどの半導体メモリ、ＢＤ（Blu-ray  Disc）、ＤＶＤ（Digital  Versatile  Disc）、もしくはＣＤ（Compact  Disc）などの光ディスク、またはハードディスクなどでありうる。ストレージ１０４は、撮像装置１００に内蔵される記憶装置であってもよく、メモリカードなどの撮像装置１００に着脱可能なリムーバブルメディアであってもよい。
【００２５】
撮像光学系１１１は、フォーカスレンズ、ズームレンズ等の各種レンズ、光学フィルタ、および絞りなどの光学部品からなる。被写体から入射された光学像（被写体像）は、撮像光学系１１１における各光学部品を介して、撮像素子１１３の露光面に結像される。
【００２６】
タイミングジェネレータ１１２は、制御部１０１の指示に従って、垂直転送のための４相パルス、フィールドシフトパルス、水平転送のための２相パルス、シャッタパルスなどの各種パルスを生成して撮像素子１１３に供給する。
【００２７】
撮像素子（イメージセンサ）１１２は、例えば、ＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの固体撮像素子で構成される。撮像素子１１３は、タイミングジェネレータ１１２からの動作パルスによって駆動され、撮像光学系１１１から導かれた被写体像を光電変換する。これによって、撮像画像を表す画像信号が、信号処理部１１４に出力される。ここで出力される画像信号は、タイミングジェネレータ１１２からの動作パルスに同期した信号であって、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）の３原色から構成されるベイヤー配列のＲＡＷ信号（生の信号）である。
【００２８】
信号処理部１１４以降の各部の画像処理機能は、例えばＤＳＰ（Digital  Signal  Processor）を用いて実現されうる。信号処理部１１４は、撮像素子１１３から入力された画像信号に、ノイズ除去、ホワイトバランス調整、色補正、エッジ強調、ガンマ補正、解像度変換などの画像信号処理を実行する。信号処理部１１４は、デジタル画像信号をメモリ１０３に一時的に格納してもよい。ＲＡＷ／ＹＣ変換部１１５は、信号処理部１１４から入力されたＲＡＷ信号をＹＣ信号に変換して、動き補償部１１６に出力する。ここで、ＹＣ信号は、輝度成分（Ｙ）、および赤／青の色差成分（Ｃｒ／Ｃｂ）を含む画像信号である。
【００２９】
動き補償部１１６は、ターゲット画像および参照画像の画像信号をメモリ１０３から読み込む。動き補償部１１６は、例えばブロックマッチングなどの処理によって、これらの画像の間の動きベクトルを検出し、ターゲット画像と参照画像との間の動きを補償する。後述するように、動き補償部１１６は、動きベクトルの検出の過程で用いられる縮小面マッチング処理範囲の画像データを、色差ＮＲ部１１８に提供してもよい。
【００３０】
画像重ね合わせ部１１７は、動き補償部１１６に動きが補償されたターゲット画像と参照画像とを重ね合わせて、重ね合わせ画像であるＮＲ画像を生成する。画像重ね合わせ部１１７は、ＮＲ画像を色差ＮＲ部１１８に提供する。ＮＲ画像では、上述したフレームＮＲの効果によって、画像に含まれるノイズが低減されている。なお、動き補償部１１６および画像重ね合わせ部１１７の詳細については後述する。
【００３１】
色差ＮＲ部１１８は、画像重ね合わせ部１１７から提供されたＮＲ画像を空間フィルタリングする。色差ＮＲ部１１８は、εフィルタを用いて、ＮＲ画像を空間フィルタリングしてもよい。空間フィルタリングによって、ＮＲ画像に含まれる低空間周波数のノイズ成分が除去されうる。色差ＮＲ部１１８は、ＮＲ画像のＹＣ信号に含まれる色差成分を空間フィルタリングしてもよい。色差ＮＲ部１１８は、動きベクトルの検出の過程で用いられる縮小面マッチング処理範囲の画像データを、動き補償部１１６から取得してもよい。色差ＮＲ部１１８から出力された画像信号は、メモリ１０３に一時的に格納されうる。なお、色差ＮＲ部１１８の詳細については後述する。
【００３２】
静止画コーデック１１９は、操作部１０２によって静止画撮影の指示が取得されている場合（静止画撮影時）に、ＮＲ処理後の画像信号をメモリ１０３から読み込み、例えばＪＰＥＧ（Joint  Photographic  Experts  Group）などの所定の圧縮符号化様式で圧縮して、画像データとしてストレージ１０４に格納する。また、静止画コーデック１１９は、操作部１０２によって静止画再生の指示が取得されている場合（静止画再生時）に、画像データをストレージ１０４から読み込み、ＪＰＥＧなどの所定の圧縮符号化様式で伸張した画像信号をＮＴＳＣエンコーダ１２１に提供してもよい。
【００３３】
動画コーデック１２０は、操作部１０２によって動画撮影の指示が取得されている場合（動画撮影時）に、ＮＲ処理後の画像信号をメモリ１０３から読み込み、例えばＭＰＥＧ（Moving  Picture  Experts  Group）などの所定の圧縮符号化様式で圧縮して、画像データとしてストレージ１０４に格納する。また、動画コーデック１２０は、操作部１０２によって動画再生の指示が取得されている場合（動画再生時）に、画像データをストレージ１０４から読み込み、ＭＰＥＧなど所定の圧縮符号化様式で伸張した画像信号をＮＴＳＣエンコーダ１２１に提供してもよい。
【００３４】
ＮＴＳＣ（National  Television  System  Committee）エンコーダ１２１は、画像信号をＮＴＳＣ方式の標準カラー映像信号に変換して、ディスプレイ１２２に提供する。静止画撮影時または動画撮影時において、ＮＴＳＣエンコーダ１２１は、ＮＲ処理後の画像信号をメモリ１０３から読み込み、スルー画像または撮影された画像としてディスプレイ１２２に提供してもよい。また、静止画再生時または動画再生時において、ＮＴＳＣエンコーダ１２１は、静止画コーデック１１９または動画コーデック１２０から画像信号を取得し、再生画像としてディスプレイ１２２に提供してもよい。
【００３５】
ディスプレイ１２２は、ＮＴＳＣエンコーダ１２１から取得した映像信号を表示する。ディスプレイ１２２は、例えば、ＬＣＤ（Liquid  Crystal  Display）または有機ＥＬ（Electro-Luminescence）ディスプレイなどでありうる。また、ＮＴＳＣエンコーダ１２１から出力される映像信号は、図示しないＨＤＭＩ（High-Definition  Multimedia  Interface）などの通信部によって、撮像装置１００から外部に出力されてもよい。
【００３６】
＜１−２．フレームＮＲ処理について＞
次に、本発明の第１の実施形態におけるフレームＮＲ処理について説明する。本実施形態に係る撮像装置１００において、フレームＮＲ処理は、主に、動き補償部１１６および画像重ね合わせ部１１７によって実行される。
【００３７】
上述のように、撮像装置１００においては、撮像素子１１３によるセンサーコーディングによって生成されたＲＡＷ信号が、ＲＡＷ／ＹＣ変換部１１５によってＹＣ信号に変換される。フレームＮＲは、ＲＡＷ信号に対して行われることが一般的である。しかし、ＲＡＷ信号に対するフレームＮＲでは、撮像装置１００の中で非常に大きなシステムリソースが使用される。そのため、本実施形態では、フレームＮＲをＹＣ信号に対して行うことによって、フレームＮＲで使用されるシステムリソースを抑制する。
【００３８】
図２は、本発明の第１の実施形態におけるフレームＮＲ処理の概念図である。図２を参照すると、本実施形態におけるフレームＮＲ処理では、連続して撮影された複数の画像Ｐ１〜Ｐ３が、位置合わせ（動き補償）後に重ね合わせられて、ノイズが低減された画像Ｐｍｉｘになる。なお、上述のように、連続して撮影された複数の画像を重ね合わせた場合にノイズが低減されるのは、略同一の画像が時間方向で積分され、各画像にランダムに含まれるノイズが相殺されるためである。
【００３９】
図示された例において、重ね合わせられる複数の画像Ｐ１〜Ｐ３は、必ずしも３枚の画像でなくてもよく、２枚または４枚以上の画像であってもよい。例えば、本実施形態に係る撮像装置１００が静止画を撮影する場合、高速で連続して撮影された複数枚の画像のうち、１枚目の画像がターゲット画像になり、このターゲット画像に２枚目以降の画像が参照画像として順次重ね合わせられうる。また、撮像装置１００が動画を撮影する場合、順次撮影される連続したフレームの画像がそれぞれターゲット画像になり、これらのターゲット画像に、それぞれのターゲット画像の１つ前のフレームの画像が参照画像として重ね合わせられうる。つまり、あるフレームの画像は、ターゲット画像にもなりうるし、別のフレームの画像をターゲット画像とした場合の参照画像にもなりうる。
【００４０】
このように、連続して撮影された画像を重ねあわせるフレームＮＲの処理では、重ね合わせられるターゲット画像と参照画像との間での位置合わせ（動き補償）が重要になる。これらの画像には、例えば撮影者の手ぶれなどによる画像の位置ずれが生じている場合がある。また、それぞれの画像において、被写体自体が動いたことによる位置ずれが生じている場合もある。そこで、本実施形態におけるフレームＮＲでは、ターゲット画像を分割して生成される複数個のターゲットブロックのそれぞれについて、ブロック単位の動きベクトルを検出する。さらに、各ブロックについて、ブロック単位の動きベクトルを反映した動き補償をしてから、ターゲット画像と参照画像とを重ね合わせる。
【００４１】
ここで、ブロック単位の動きベクトルを検出する処理では、ターゲット画像の各ブロック（ターゲットブロック）について、参照画像の各ブロック（参照ブロック）の中から相関性が最も高いブロック（動き補償ブロック）が探索されるブロックマッチング法が用いられる。ブロック単位の動きベクトルは、ターゲットブロックと動き補償ブロックとの間の位置ずれとして求められる。ターゲットブロックと参照ブロックとの間の相関性の高さは、例えば、双方のブロック内の各画素の輝度値の差分絶対値総和（ＳＡＤ：Sum  of  Absolute  Difference）値によって評価されうる。
【００４２】
図３は、本発明の第１の実施形態における動きベクトル検出処理についての説明図である。図３を参照すると、本実施形態における動きベクトル検出処理では、まず縮小面における動きベクトルが検出され、その結果に基づいて、基底面における動きベクトルが検出される。
【００４３】
上述のようなブロック単位の動きベクトルを検出する処理では、最小のＳＡＤ値を示す参照ブロックが動き補償ブロックとして特定される。つまり、動き補償ブロックを特定するためには、参照ブロックの位置を順次移動させながら、最小のＳＡＤ値を示す参照ブロックを探索する必要がある。例えば、精度が１ピクセルである動きベクトルを検出しようとする場合、動き補償ブロックを１ピクセルの精度で特定する必要があり、従って、最小のＳＡＤ値を示す参照ブロックの探索においても、参照ブロックを１ピクセル単位で順次移動させる必要がある。
【００４４】
このような参照ブロックの探索を、ターゲット画像および参照画像に対してそのまま実行する場合、ＳＡＤ値を算出する回数が多くなり、処理負荷が増大する。そこで、本実施形態では、図示されている例のように、ターゲット画像および参照画像をそれぞれ縮小した画像（縮小面）を作成し、縮小面において動きベクトルを検出した結果に基づいて、縮小されていないターゲット画像および参照画像（基底面）において動きベクトルを検出する。
【００４５】
具体的には、まず、ターゲット画像および参照画像の水平方向および垂直方向がそれぞれ１／ｎ（ｎ＝２，３，・・・）に縮小されて、縮小面ターゲット画像および縮小面参照画像が作成される。これによって、基底面ターゲットブロック２０１と、基底面ターゲットブロック２０１の参照画像への射影イメージに基づいて設定されるサーチ範囲２０２およびマッチング処理範囲２０３とは、それぞれ１／ｎに縮小されて、縮小面ターゲットブロック３０１、縮小面サーチ範囲３０２、および縮小面マッチング処理範囲３０３になる。
【００４６】
次に、縮小面参照画像において、縮小面マッチング処理範囲３０３内に設定される複数個の縮小面参照ブロック３０４と、縮小面ターゲットブロック３０１との間のＳＡＤ値を算出することによって、縮小面参照ブロック３０４の中で縮小面ターゲットブロック３０１との相関性が最も高いブロックが、縮小面動き補償ブロックとして特定される。さらに、縮小面ターゲットブロック３０１と縮小面動き補償ブロックとの間の位置ずれが、縮小面動きベクトル３０５として取得される。
【００４７】
次に、基底面参照画像において、縮小面動きベクトル３０５をｎ倍した基底面仮動きベクトル２０５が定義される。さらに、基底面ターゲットブロック２０１の基底面参照画像への射影イメージから基底面仮動きベクトル２０５の分だけ移動した位置の近傍に、基底面サーチ範囲２０６および基底面マッチング処理範囲２０７が設定される。続いて、基底面マッチング処理範囲２０７内に設定される複数の基底面参照ブロック２０８と、基底面ターゲットブロック２０１との間のＳＡＤ値を算出することによって、基底面参照ブロック２０８の中で基底面ターゲットブロック２０１との相関性が最も高いブロックが、基底面動き補償ブロックとして特定される。さらに、基底面ターゲットブロック２０１と基底面動き補償ブロックとの間の位置ずれが、基底面動きベクトルとして取得される。
【００４８】
ここで、縮小面参照画像が基底面参照画像に比べて１／ｎに縮小されているため、縮小面動きベクトル３０５の精度は、基底面で同様の探索によって求められる動きベクトルの精度のｎ倍の低い精度になる。例えば、参照ブロックを１ピクセル単位で順次移動させて動き補償ブロックを探索して動きベクトルを得ようとする場合、基底面の探索で得られる動きベクトルの精度は１ピクセルになるが、縮小面の探索で得られる動きベクトルの精度はｎピクセルになる。
【００４９】
それゆえ、本実施形態では、縮小面の探索によって得られた縮小面動きベクトル３０５に基づいて、基底面参照画像において基底面サーチ範囲２０６および基底面マッチング処理範囲２０７が設定され、所望の精度での動き補償ブロック２０８および動きベクトルの探索が実行される。縮小面動きベクトル３０５によって、ｎ倍の低い精度ではあるものの、動き補償ブロック２０８が存在しうる範囲は特定されている。そのため、基底面の探索の範囲は、元のサーチ範囲２０２よりもずっと小さい基底面サーチ範囲２０６でよい。例えば、図示された例において、基底面の探索によって１ピクセル単位の動きベクトルを得ようとする場合、基底面サーチ範囲２０６は、水平方向および垂直方向がいずれもｎピクセルの範囲でありうる。
【００５０】
本実施形態における動きベクトル検出処理では、元のサーチ範囲２０２の全体における動き補償ブロックの探索が、縮小面サーチ範囲３０２における探索に置き換えられる。これによって、参照ブロックのＳＡＤ値を算出する回数が、ターゲット画像および参照画像に対してそのまま実行する場合に比べて例えば１／ｎに削減される。また、本実施形態における動きベクトル検出処理では、基底面サーチ範囲２０６における追加の探索が実行されるが、基底面サーチ範囲２０６は、元のサーチ範囲２０２よりもずっと小さい範囲であるため、この追加の探索において参照ブロックのＳＡＤ値を算出する回数は多くない。従って、本実施形態における動きベクトル検出処理では、ターゲット画像および参照画像に対してそのまま実行する場合に比べて処理負荷が軽減される。
【００５１】
以上説明したように、本実施形態におけるフレームＮＲ処理では、連続して撮影された複数の画像を動き補償後に重ね合わせることによって、画像のノイズが低減される。動き補償のための動きベクトルの検出では、基底面を縮小した縮小面を用いた探索によって、より少ない負荷で処理が実行される。
【００５２】
（空間フィルタリングによるＮＲの利点）
しかしながら、上述のように、画像に含まれるノイズは、必ずしもすべてがランダムノイズではなく、各画像に固定したパターンとして含まれるノイズもある。このような固定パターンノイズは、例えばセンサ特性やレンズ特性の偏りのために生じるものであり、低空間周波数のノイズ成分である。このような固定パターンノイズは、連続して撮影された画像を時間方向に積分しても相殺されないため、フレームＮＲによって低減することが難しい。
【００５３】
人間の視覚特性として、輝度の低空間周波数ノイズ成分には敏感ではないが、色差の低空間周波数ノイズ成分には敏感であるという特性がある。それゆえ、固定パターンノイズがフレームＮＲによって低減されずに残った場合、輝度のノイズは目立たないものの、色差のノイズが目立って観察される。そこで、例えばローパスフィルタ、バンドパスフィルタ、またはεフィルタのような空間フィルタリングによって、固定パターンノイズを除去することが考えられる。
【００５４】
しかし、空間フィルタリングは、多かれ少なかれ解像度の低下を伴う。人間の視覚特性として、輝度の解像度に対しては敏感であるが、色差の解像度には敏感ではないという特性がある。それゆえ、ＲＡＷ信号を空間フィルタリングなどによって輝度および色差ともに解像度が低下した場合、空間フィルタリング後の画像では、特に輝度の解像度が低下したことによって、解像度の低下が目立って観察される。
【００５５】
そこで、本実施形態では、輝度成分と色差成分とが分離して含まれるＹＣ信号を空間フィルタリングすることによって、輝度成分については空間フィルタリングをせず、色差成分について空間フィルタリングする。この場合、色差の解像度は低下するものの、輝度の解像度は低下しない。上述のように、人間の視覚特性として、輝度の解像度に対しては敏感であるが、色差の解像度には敏感ではないという特性があるため、本実施形態による空間フィルタリング後の画像では、解像度の低下が目立って観察されない。
【００５６】
以上で説明した、本実施形態における空間フィルタリングの構成に関連する人間の視覚特性を、表１にまとめて示す。
【００５７】
【表１】
2012142826.tif 000003
【００５８】
本実施形態のように、フレームＮＲと空間フィルタリングとを組み合わせて画像のノイズを低減する場合、フレームＮＲでは空間周波数帯域全体のランダムノイズを低減し、空間フィルタリングでは低空間周波数の固定パターンノイズを低減する。この場合、空間フィルタリングを行うタイミングとしては、フレームＮＲの前、フレームＮＲの後、またはフレームＮＲと同時、が考えられる。
【００５９】
本実施形態では、動き補償部１１６および画像重ね合わせ部１１７によるフレームＮＲの後に、色差ＮＲ部１１８によって空間フィルタリングを行う。これは、固定パターンノイズは、連続して撮影された画像がフレームＮＲにおいて時間方向に積分されることによってむしろ顕在化する場合があり、顕在化した固定パターンノイズは空間フィルタリングによって除去することが比較的容易であるためである。また、例えばεフィルタのような、閾値を設定して用いられるフィルタを空間フィルタリングに用いる場合、予めフレームＮＲによって高空間周波数のランダムノイズが除去されていれば、空間フィルタリングにおける閾値の設定が容易になるためである。
【００６０】
＜１−３．フレームＮＲ処理および色差ＮＲ処理の詳細＞
次に、本発明の第１の実施形態におけるフレームＮＲ処理および色差ＮＲ処理の詳細について、動き補償部１１６、画像重ね合わせ部１１７、および色差ＮＲ部１１８の機能の詳細とともに説明する。
【００６１】
（動き補償部の詳細）
図４は、本発明の第１の実施形態に係る撮像装置１００における動き補償部１１６の機能構成を示すブロック図である。図４を参照すると、動き補償部１１６は、ターゲットブロックバッファ部１６１、参照ブロックバッファ部１６２、マッチング処理部１６３、動きベクトル算出部１６４、およびコントロール部１６５を含む。これらの各部を含む動き補償部１１６は、例えばＤＳＰを用いて実現されうる。
【００６２】
ここで、図５を参照して、ターゲットブロックバッファ部１６１について説明する。図５は、本発明の第１の実施形態に係る撮像装置１００において動き補償部１１６に含まれるターゲットブロックバッファ部１６１の機能構成を示すブロック図である。図５を参照すると、ターゲットブロックバッファ部１６１は、基底面バッファ部１６１１、縮小面バッファ部１６１２、および縮小化処理部１６１３を含む。
【００６３】
ターゲットブロックバッファ部１６１は、メモリ１０３、またはＲＡＷ／ＹＣ変換部１１５から提供される基底面ターゲットブロック２０１または縮小面ターゲットブロック３０１の画素データを取得する。これらの画素データの取得元は、セレクタ１６１４によって切り替えられうる。例えば、ターゲットブロックバッファ部１６１は、静止画撮影時にはメモリ１０３から画素データを取得し、動画撮影時にはＲＡＷ／ＹＣ変換部１１５から画素データを取得してもよい。なお、ここで取得される縮小面ターゲットブロック３０１の画素データは、後述する画像重ね合わせ部１１７に含まれる縮小面生成部１７４、または、ＲＡＷ／ＹＣ変換部１１５によって生成され、メモリ１０３に格納されたものでありうる。
【００６４】
ターゲットブロックバッファ部１６１は、基底面バッファ部１６１１において、基底面ターゲットブロック２０１の画素データを蓄積する。また、ターゲットブロックバッファ部１６１は、縮小面バッファ部１６１２において、縮小面ターゲットブロック３０１の画素データを蓄積する。例えば、動画撮影時に、ＲＡＷ／ＹＣ変換部１１５から取得される画素データに縮小面ターゲットブロック３０１の画素データが含まれないような場合、ターゲットブロックバッファ部１６１は、縮小化処理部１６１３を用いて、基底面ターゲットブロック２０１の画素データから縮小面ターゲットブロック３０１の画素データを生成する。縮小化処理部１６１３を用いるか否かは、セレクタ１６１５によって切り替えられうる。
【００６５】
ターゲットブロックバッファ部１６１は、画像重ね合わせ部１１７、およびマッチング処理部１６３に、基底面ターゲットブロック２０１または縮小面ターゲットブロック３０１の画素データを提供する。画像重ね合わせ部１１７には、基底面バッファ部１６１１に蓄積された基底面ターゲットブロック２０１の画素データが提供される。マッチング処理部１６３には、縮小面でのブロックマッチング処理時は縮小面バッファ部１６１２に蓄積された縮小面ターゲットブロック３０１の画素データが、基底面でのブロックマッチング処理時には基底面バッファ部１６１１に蓄積された基底面ターゲットブロック２０１の画素データが、それぞれ提供される。マッチング処理部１６３に提供される画素データは、セレクタ１６１６によって切り替えられうる。
【００６６】
続いて、図６を参照して、参照ブロックバッファ部１６２について説明する。図６は、本発明の第１の実施形態に係る撮像装置１００において動き補償部１１６に含まれる参照ブロックバッファ部１６２の機能構成を示すブロック図である。図６を参照すると、参照ブロックバッファ部１６２は、基底面バッファ部１６２１、および縮小面バッファ部１６２２を含む。
【００６７】
参照ブロックバッファ部１６２は、メモリ１０３から、縮小面マッチング処理範囲３０３および基底面マッチング処理範囲２０７の画素データを取得する。取得された縮小面マッチング処理範囲３０３および基底面マッチング処理範囲２０７の画素データは、それぞれ基底面バッファ部１６２１および縮小面バッファ部１６２２に蓄積される。
【００６８】
また、参照ブロックバッファ部１６２は、画像重ね合わせ部１１７、およびマッチング処理部１６３に、基底面または縮小面の参照ブロックの画素データを提供する。画像重ね合わせ部１１７には、基底面バッファ部１６２１に蓄積された基底面マッチング処理範囲２０７の画素データのうち、動き補償ブロックとして特定された範囲の画素データが提供される。マッチング処理部１６３には、縮小面でのブロックマッチング処理時は、縮小面バッファ部１６２２に蓄積された縮小面マッチング処理範囲３０３の画素データのうち、ブロックマッチング処理で用いられる縮小面参照ブロックの画素データが提供される。また、基底面でのブロックマッチング処理時は、基底面バッファ部１６２１に蓄積された基底面マッチング処理範囲２０７の画素データのうち、ブロックマッチング処理で用いられる基底面参照ブロックの画素データが提供される。なお、マッチング処理部１６３に提供される画素データは、セレクタ１６２３によって切り替えられる。
【００６９】
さらに、参照ブロックバッファ部１６２は、色差ＮＲ部１１８に、縮小面バッファ部１６２２に蓄積された縮小面マッチング処理範囲３０３の画素データを提供してもよい。後述するように、ここで提供される縮小面マッチング処理範囲３０３の画素データは、色差ＮＲ部１１８において、空間フィルタリング処理のウインドウとして利用されうる。
【００７０】
再び図４を参照する。マッチング処理部１６３は、ターゲットブロックと参照ブロックとの間の相関の強さを検出するブロックマッチングの処理を実行する。ターゲットブロックと参照ブロックとの間の相関の強さは、例えば、各画素の輝度信号のＳＡＤ値を用いて評価されうる。ターゲットブロックと参照ブロックとの間の相関の強さは、各画素の色差信号などの他の情報を用いて評価されてもよい。また、演算量の削減のために、演算の対象とする画素が間引かれてもよい。
【００７１】
動きベクトル算出部１６４は、マッチング処理部１６３におけるブロックマッチングの処理結果に基づいて、動きベクトルを取得する。動きベクトル算出部１６４は、例えば、マッチング処理部１６３によって算出されたＳＡＤ値の最小値を検出および保持し、さらに、ＳＡＤ値が最小である参照ブロックの近傍の複数の参照ブロックのＳＡＤ値を保持して、二次曲線近似補間処理によって、サブピクセル精度の高精度の動きベクトルを検出してもよい。
【００７２】
コントロール部１６５は、動き補償部１１６の各部を制御する。コントロール部１６５は、例えば、ターゲットブロックバッファ部１６１に含まれるセレクタ１６１４〜１６１６、および参照ブロックバッファ部１６２に含まれるセレクタ１６２３を制御する。また、コントロール部１６５は、ターゲットブロックバッファ部１６１および参照ブロックバッファ部１６２によって提供される画素データに応じて、縮小面または基底面でのブロックマッチング処理を実行するようにマッチング処理部１６３を制御してもよい。さらに、コントロール部１６５は、動きベクトル算出部１６４によって算出された動きベクトルを取得し、この動きベクトルに基づいて、動き補償ブロックを画像重ね合わせ部１１７に提供するように参照ブロックバッファ部１６２を制御してもよい。
【００７３】
（画像重ね合わせ部の詳細）
図７は、本発明の第１の実施形態に係る撮像装置１００における画像重ね合わせ部１１７の機能構成を示すブロック図である。図７を参照すると、画像重ね合わせ部１１７は、加算率計算部１７１、加算部１７２、基底面出力バッファ部１７３、縮小面生成部１７４、および縮小面出力バッファ部１７５を含む。これらの各部を含む画像重ね合わせ部１１７は、例えばＤＳＰを用いて実現されうる。
【００７４】
加算率計算部１７１は、動き補償部１１６から、基底面ターゲットブロックおよび動き補償ブロックの画素データを取得し、これらのブロックの加算率を算出する。基底面ターゲットブロック２０１と動き補償ブロック２０８とは、例えば、単純加算方式または平均加算方式などの加算方式によって加算されうる。加算率計算部１７１は、これらの加算方式に応じて加算率を算出しうる。加算率計算部１７１は、算出した加算率と、基底面ターゲットブロック２０１および動き補償ブロック２０８の画素データとを、加算部１７２に提供する。
【００７５】
加算部１７２は、加算率計算部１７１から、基底面ターゲットブロックおよび動き補償ブロックの画素データと、これらのブロックの加算率とを取得する。加算部１７２は、基底面ターゲットブロックの画素データと動き補償ブロックの画素データとを、取得した加算率で加算し、フレームＮＲの効果によってノイズが低減された基底面ＮＲブロックを生成する。加算部１７２は、基底面ＮＲブロックの画素データを、基底面出力バッファ部１７３および縮小面生成部１７４に提供する。
【００７６】
基底面出力バッファ部１７３は、加算部１７２から提供された基底面ＮＲブロックの画素データを蓄積し、基底面ＮＲ画像として色差ＮＲ部１１８に提供する。
【００７７】
縮小面生成部１７４は、加算部１７２から提供された基底面ＮＲブロックの画素データを縮小して、縮小面ＮＲブロックの画素データを生成する。縮小面生成部１７４は、縮小面ＮＲブロックの画素データを、縮小面出力バッファ部１７５に提供する。
【００７８】
縮小面出力バッファ部１７５は、縮小面生成部１７４から提供された縮小面ＮＲブロックの画素データを蓄積し、縮小面ＮＲ画像としてメモリ１０３に格納する。ここでメモリ１０３に格納された縮小面ＮＲ画像は、例えば、静止画撮影時に、フレームＮＲ後のターゲット画像にさらに参照画像を重ね合わせる場合、縮小面ターゲット画像として用いられうる。また、ここでメモリ１０３に格納された縮小面ＮＲ画像は、動画撮影時に、次のフレームをターゲット画像としてフレームＮＲを実行する場合、縮小面参照画像として用いられうる。
【００７９】
（色差ＮＲ部の詳細）
図８は、本発明の第１の実施形態に係る撮像装置１００における色差ＮＲ部１１８ａの機能構成を示すブロック図である。図８を参照すると、色差ＮＲ部１１８ａは、遅延バッファ１８１、εフィルタ１８２、および色差信号処理部１８３を含む。これらの各部を含む色差ＮＲ部１１８ａは、例えばＤＳＰを用いて実現されうる。
【００８０】
色差ＮＲ部１１８ａは、画像重ね合わせ部１１７から、フレームＮＲ後の基底面ＮＲ画像の画素データを取得する。この基底面ＮＲ画像の画素データは、輝度成分（Ｙ）と色差成分（Ｃ）とを含むＹＣ信号である。基底面ＮＲ画像の画素データは、一方では遅延バッファ１８１に入力され、他方では１／ｎに縮小される。１／ｎに縮小されたＮＲ画像の画素データから、所定のサイズの縮小面ターゲット画が生成され、εフィルタ１８２に入力される。
【００８１】
また、色差ＮＲ部１１８ａは、動き補償部１１６から、縮小面マッチング処理範囲の画素データを取得する。この縮小面マッチング処理範囲の画素データも、輝度成分（Ｙ）と色差成分（Ｃ）とを含むＹＣ信号である。縮小面マッチング処理範囲の画素データは、縮小面ウインドウとしてεフィルタ１８２に入力される。
【００８２】
εフィルタ１８２では、入力されたＹＣ信号に含まれる色差成分（Ｃ）について、空間フィルタリング処理が実行される。ここで、εフィルタは、注目画素とその周辺画素との画素値の差分が所定の閾値以下である場合に、注目画素と周辺画素との画素値の加算平均で注目画素の画素値を置き換える空間フィルタである。なお、かかるεフィルタについては、例えば特開２００５−３１１４５５号公報において詳述されている。
【００８３】
また、εフィルタ１８２に代えて、例えばローパスフィルタまたはバンドパスフィルタのような空間フィルタを用いることも可能である。しかし、本実施形態では、空間フィルタリングの対象となる基底面ＮＲ画像において、既にフレームＮＲによってランダムノイズが低減されているため、閾値を用いて孤立点を除去するεフィルタを用いることが有効である。
【００８４】
また、εフィルタ１８２は、上述のように、フレームＮＲによって低減することが難しい、低空間周波数の固定パターンノイズを除去するために用いられる。従って、εフィルタ１８２は、タップ数が大きいεフィルタであることが望ましい。タップ数が大きいεフィルタは、低空間周波数のノイズの除去において有効である反面、閾値の設定が高すぎる場合には、画像のテクスチャ成分をも除去してしまうという弊害を生じる。本実施形態では、空間フィルタリングの対象となる基底面ＮＲ画像において、既にフレームＮＲによってランダムノイズが低減されている。それゆえ、εフィルタ１８２では、閾値を比較的低く設定することが可能である。つまり、本実施形態では、εフィルタ１８２としてタップ数が大きいεフィルタを用いても、画像のテクスチャ成分が除去されるなどの弊害が生じるおそれは少ない。
【００８５】
本実施形態のように、タップ数が大きいεフィルタによる空間フィルタリングを、フレームＮＲの後に行うことの利点について、図９を参照してさらに説明する。図９は、タップ数が大きい（高Ｔａｐの）εフィルタによる空間フィルタリングが、フレームＮＲの後に行われる場合とそうでない場合とを比較する模式図である。図９を参照すると、入力データの画像信号にフレームＮＲが加えられると、ノイズが低減されるため、フレームＮＲが加えられない場合に比べてεフィルタの閾値を小さく設定できることが示されている。
【００８６】
εフィルタ１８２において色差成分（Ｃ）が空間フィルタリングされた画像信号は、ｎ倍に拡大されて、色差信号処理部１８３に入力される。画像のサイズを１／ｎに縮小した状態でεフィルタ１８２によって空間フィルタリングし、その後ｎ倍に拡大して元のサイズに戻すことによって、ウインドウサイズが限られているεフィルタ１８２を用いて、より広い範囲の低空間周波数ノイズを除去することが可能になる。
【００８７】
一方、遅延バッファ１８１に入力された基底面ＮＲ画像の画素データは、εフィルタ１８２による空間フィルタリングの処理の分だけ遅延されて色差信号処理部１８３に入力される。色差信号処理部１８３では、εフィルタにおいて空間フィルタリングされた色差成分（ＣＣＮＲ）が、基底面ＮＲ画像のＹＣ信号のうちの色差成分（ＣＦＮＲ）に混合される。例えば、混合後の基底面ＮＲ画像の色差成分（Ｃ）は、係数ａを用いて
Ｃ＝ａ×ＣＣＮＲ＋（１−ａ）×ＣＦＮＲ
と表されうる。ａ＝１の場合、基底面ＮＲ画像の色差成分（ＣＦＮＲ）は、εフィルタによって空間フィルタリングされた色差成分（ＣＣＮＲ）によって置き換えられる。色差信号処理部１８３から出力された基底面ＮＲ画像の画素データは、メモリ１０３に格納される。
【００８８】
（参照画像のデータを用いる利点）
本実施形態における色差ＮＲ部１１８ａでは、εフィルタ１８２において用いられる縮小面ウインドウとして、動き補償部１１６から提供された縮小面マッチング処理範囲の画素データが用いられる。上述のように、この縮小面マッチング処理範囲の画素データは、動き補償部１１６におけるブロックマッチング処理のために、メモリ１０３に格納された縮小面参照画像から取得される。ここで、上述のように、フレームＮＲにおける参照画像は、ターゲット画像の前または後に連続して撮影された画像である。つまり、本実施形態における色差ＮＲ部１１８ａでは、εフィルタ１８２において用いられる縮小面ウインドウとして、縮小面ターゲット画とは異なるフレームの画像が用いられる。
【００８９】
かかる構成は、本実施形態におけるεフィルタ１８２が、１／ｎに縮小された画像を対象として空間フィルタリングを実行するために可能になる。これは、εフィルタ１８２において用いられる縮小面ターゲット画と縮小面ウインドウとの間にフレームが異なることによる微小な変化があったとしても、その変化はさらに１／ｎに縮小されるため、空間フィルタリングへの影響が無視しうる程度に小さくなるためである。
【００９０】
このように、色差ＮＲ部１１８ａにおいて、動き補償部１１６から提供される参照画像のデータを用いる利点について、図１０を参照してさらに説明する。図１０は、動き補償部１１６から提供される参照画像のデータを用いない色差ＮＲ部１１８ｂの機能構成を示すブロック図である。
【００９１】
色差ＮＲ部１１８ｂの構成は、色差ＮＲ部１１８ａと略同一であるが、εフィルタ１８２に入力される縮小面ウインドウが、基底面ＮＲ画像の画素データを１／ｎに縮小することによって生成される点が異なる。色差ＮＲ部１１８ｂでは、縮小面ターゲット画を生成する縮小処理に加えて、縮小面ターゲット画よりもずっと大きなサイズの縮小面ウインドウを生成する縮小処理が行われる。画像の縮小処理では、生成する画像のサイズが大きくなるほど、大量のデータを保持しなくてはならず、多くのシステムリソースが使用される。従って、色差ＮＲ部１１８ｂにおいて使用されるシステムリソースは、色差ＮＲ部１１８ａにおいて使用されるシステムリソースよりもずっと多くなる。
【００９２】
色差ＮＲ部１１８ｂの構成によっても、フレームＮＲによって低減されなかった固定パターンノイズを除去することは可能である。しかし、色差ＮＲ部１１８ａの構成のように、εフィルタのウインドウとして動き補償部１１６から提供される参照画像のデータを用いることによって、システムリソースの使用を抑制しつつ、εフィルタのウインドウサイズを大きくして、広い範囲の低空間周波数ノイズを効果的に除去することが可能になる。
【００９３】
なお、動き補償のために用いられた参照画像のデータを、空間フィルタリングの検索ウインドウとして用いる構成は、参照画像がフレームＮＲに用いられるか否かに関わらず適用されうる。つまり、本実施形態における動き補償部１１６および画像重ね合わせ部１１７のような構成要素が含まれない場合でも、上記の構成を適用することが可能である。また、空間フィルタリングの種類も、εフィルタには限られず、ローパスフィルタまたはバンドパスフィルタなど、検索ウインドウが用いられるあらゆる種類の空間フィルタリングが行われる場合において、上記の構成は適用されうる。
【００９４】
図１１は、本発明の第１の実施形態における画像信号の処理についての説明図である。図１１では、本実施形態に係る撮像装置１００において処理されるターゲット画像のＹＣ信号の輝度成分（Ｙ）と色差成分（Ｃｂ／Ｃｒ）とが模式的に示されている。図１１は、ＹＣ信号のそれぞれの成分について加えられる処理を模式的に示すためのものであり、必ずしも実際の回路構成を示すものではない。
【００９５】
図示された例では、本実施形態におけるＹＣ信号の処理が、動き検出、フレームＮＲ、および色差ＮＲの３つの段階を用いて示されている。ここで、撮像装置１００において、動き検出およびフレームＮＲは、主に動き補償部１１６および画像重ね合わせ部１１７によって行われる処理である。また、色差ＮＲは、主に色差ＮＲ部１１８によって行われる処理である。
【００９６】
まず、動き検出の段階において、ターゲット画像のＹＣ信号の輝度成分（Ｙ）と色差成分（Ｃｂ／Ｃｒ）とは、いずれも、１／ｎに縮小されて、縮小面ターゲット画像として縮小面動き検出に用いられる。縮小面動き検出は、図３を参照して説明したように、ターゲット画像および参照画像の輝度成分（Ｙ）および色差成分（Ｃｂ／Ｃｒ）をそれぞれ１／ｎに縮小して、縮小面動きベクトルを検出する処理である。後述するように、縮小面参照画像の輝度成分（Ｙ）および色差成分（Ｃｂ／Ｃｒ）は、メモリ１０３から別途提供される。
【００９７】
続いて、縮小面動き検出の結果に基づいて、基底面動き検出が実行される。基底面動き検出には、ターゲット画像のＹＣ信号の輝度成分（Ｙ）が基底面ターゲット画像として用いられる。なお、本実施形態においては、輝度成分（Ｙ）を用いて基底面動き検出が実行されるが、例えばシステムリソースに余裕がある場合などには、色差成分（Ｃｂ／Ｃｒ）を用いて基底面動き検出を実行してもよい。後述するように、基底面参照画像の輝度成分（Ｙ）は、メモリ１０３から別途提供される。
【００９８】
次に、フレームＮＲの段階において、基底面動き検出の結果に基づいて、メモリ１０３から提供される基底面参照画像の輝度成分（Ｙ）および色差成分（Ｃｂ／Ｃｒ）が動き補償される。動き補償された基底面参照画像の輝度成分（Ｙ）および色差成分（Ｃｂ／Ｃｒ）は、それぞれターゲット画像の輝度成分（Ｙ）および色差成分（Ｃｂ／Ｃｒ）に加算される。この加算で、フレームＮＲの効果によって、ターゲット画像のノイズが低減される。
【００９９】
次に、色差ＮＲの段階において、ターゲット画像の輝度成分（Ｙ）と色差成分（Ｃｂ／Ｃｒ）とには、異なる処理が加えられる。ターゲット画像の輝度成分（Ｙ）は、そのまま基底面ＮＲ画像としてメモリ１０３に格納される。また、輝度成分（Ｙ）を１／ｎに縮小した画像が生成されてメモリ１０３に格納される。基底面ＮＲ画像の輝度成分（Ｙ）は、次に処理されるターゲット画像に対する基底面参照画像として、基底面動き検出およびフレームＮＲの処理に用いられうる。また、縮小された画像の輝度成分（Ｙ）は、次に処理されるターゲット画像に対する縮小面参照画像として、縮小面動き検出の処理に用いられうる。
【０１００】
一方、ターゲット画像の色差成分（Ｃｂ／Ｃｒ）は、空間フィルタリングされた後に、基底面ＮＲ画像としてメモリ１０３に格納される。また、空間フィルタリング後の色差成分（Ｃｂ／Ｃｒ）を１／ｎに縮小した画像が生成されてメモリ１０３に格納される。基底面ＮＲ画像の色差成分（Ｃｂ／Ｃｒ）は、次に処理されるターゲット画像に対する基底面参照画像として、フレームＮＲの処理に用いられうる。また、縮小された画像の色差成分（Ｃｂ／Ｃｒ）は、次に処理されるターゲット画像に対する縮小面参照画像として、縮小面動き検出および空間フィルタリングの処理に用いられうる。
【０１０１】
ここで、ターゲット画像の色差成分（Ｃｂ／Ｃｒ）の空間フィルタリングには、εフィルタが用いられる。色差成分（Ｃｂ／Ｃｒ）は、１／ｍ（ｍ＝２，３，・・・）に縮小されてεフィルタに入力され、εフィルタから出力された色差成分（Ｃｂ／Ｃｒ）は、ｍ倍に拡大されて元のサイズに戻される。εフィルタにおいて検索ウインドウとして用いられる参照データは、メモリ１０３から提供される縮小面参照画像の色差成分（Ｃｂ／Ｃｒ）である。なお、ｍは、ｍ＝ｎとなる値であってもよいし、ｍ≠ｎとなる値であってもよい。例えば、ｍ＞ｎである場合、縮小面参照画像がｎ／ｍに縮小された画像がεフィルタの検索ウインドウとして用いられる。
【０１０２】
図示された例において、図の左から右への流れは、ターゲット画像の一連の処理、つまり本線画像の処理を示す。また、図の右から左への流れは、メモリ１０３からの参照画像の読み込みを示す。つまり、図の右から左への流れが発生している箇所においては、メモリ１０３から読み込んだ参照画像を保持するためのＤＲＡＭ領域などのシステムリソースが必要になる。
【０１０３】
本実施形態では、εフィルタを用いた色差信号（Ｃｂ／Ｃｒ）の空間フィルタリングにおいて、参照データとしてメモリ１０３に格納されている縮小面参照画像の色差成分（Ｃｂ／Ｃｒ）が用いられる。縮小面参照画像の色差成分（Ｃｂ／Ｃｒ）を保持するためには、ＤＲＡＭ領域などのシステムリソースが必要になる。しかし、このシステムリソースは、縮小面参照画像の色差成分（Ｃｂ／Ｃｒ）を、縮小面動き検出において用いるために元々必要なものである。つまり、本実施形態においては、動き検出のために用いられる縮小面参照画像を、空間フィルタリングのための参照データとして再利用することによって、色差ＮＲの段階における空間フィルタリングのために新たに必要とされるシステムリソースが大幅に抑制されている。
【０１０４】
図１２は、本発明の第１の実施形態における参照画像と最大ウインドウ範囲についての説明図である。図１２を参照すると、本実施形態では、動き検出における参照画像、および空間フィルタリングにおける最大ウインドウ範囲として、いずれも縮小面参照画像４００の一部が用いられる。本実施形態における動き検出および区間フィルタリングの処理は、縮小面参照画像４００の領域を縦方向に分割した処理ブロック４０１を単位として、各処理ブロック４０１について順次実行される。なお、図示された例における画像の領域の分割は一例である。例えば、処理ブロック４０１は、画像の領域を横方向に分割したものであってもよい。
【０１０５】
動き検出処理では、処理ブロック４０１ａ，４０１ｂ，４０１ｃ，・・・について、順次ブロックマッチング処理が実行される。ブロックマッチング処理は、各処理ブロック４０１内に写像が位置するターゲットブロック４１１について、縮小面参照画像４００における当該写像の周辺の所定の範囲をサーチ範囲４１０として、ターゲットブロックとの相関性が最も高い参照ブロックを探索する処理である。最初に、処理ブロック４０１ａ内に写像が位置するターゲットブロックについてブロックマッチングの処理が実行される。このとき、サーチ範囲４１０ａの範囲が、参照画像として保持される。図示されている例では、ターゲットブロック４１１のサイズが８画素×８画素であり、このターゲットブロックを４つまとめた１６画素×１６画素の範囲について一括して動き検出を実行する場合が示されている。この場合、処理ブロック４０１の幅は１６画素になり、処理ブロック４０１内では上述の１６画素×１６画素の範囲が上から下に向かって順次処理される。サーチ範囲４１０ａは、処理対象になる１６画素×１６画素の周囲の所定の範囲を含む。なお、ブロックのサイズおよびブロックマッチングの順序はこれには限られない。
【０１０６】
続いて、処理ブロック４０１ｂ内に写像が位置するターゲットブロック４１１について、処理ブロック４０１ａと同様にブロックマッチングの処理が実行される。このとき、参照画像として保持される範囲は、サーチ範囲４１０ｂの範囲である。さらに、処理ブロック４０１ｃ内に写像が位置するターゲットブロック４１１について、処理ブロック４０１ａと同様にブロックマッチングの処理が実行される。このとき、サーチ範囲４１０として保持される範囲は、サーチ範囲４１０ｃの範囲である。
【０１０７】
このように、本実施形態の動き検出処理では、縮小面参照画像４００の領域を縦方向に分割した処理ブロック４０１が、順次ブロックマッチング処理の対象になる。これによって、同一の処理ブロック４０１の中で上から下に向かって処理対象を移動させる場合には、サーチ範囲として保持されているデータを移動の前後で共用でき、上下方向のサーチについては重複したアクセスが削減される。一方、処理対象となる処理ブロック４０１が変わる場合、つまり、ブロックマッチング処理の対象になる領域が水平方向に移動する場合には、移動前のサーチ範囲４１０に含まれていない部分のデータの読み直しが必要になる。
【０１０８】
空間フィルタリング処理でも、同様に、処理ブロック４０１ａ，４０１ｂ，４０１ｃ，・・・について、順次空間フィルタリング処理が実行される。空間フィルタリング処理では、各処理ブロック４０１内にある各画素を順に対象画素４２１とし、対象画素４２１について、その近傍の所定の範囲に検索ウインドウが設定される。上述のように、空間フィルタリングの検索ウインドウには、縮小面参照画像４００の画素データが用いられる。本実施形態では、動き検出処理と空間フィルタリング処理とにおける処理ブロック４０１の分割方法を同一にし、動き検出処理における参照画像を、そのまま空間フィルタリング処理における最大ウインドウ範囲として用いることが可能になるように、動き検出処理と空間フィルタリング処理との実行順序を同期させる。
【０１０９】
従って、空間フィルタリング処理において、処理ブロック４０１ａ内にある対象画素４２１について処理が実行される場合、ウインドウ領域４２０ａは、サーチ範囲４１０ａの範囲になる。また、処理ブロック４０１ｂ内にある対象画素４２１について処理が実行される場合、ウインドウ領域４２０ｂは、サーチ範囲４１０ｂの範囲になる。さらに、処理ブロック４０１ｃ内にある対象画素４２１について処理が実行される場合、ウインドウ領域４２０ｃは、サーチ範囲４１０ｃの範囲になる。
【０１１０】
本実施形態の空間フィルタリング処理では、ウインドウ領域４２０の範囲が、動き検出処理におけるサーチ範囲４１０と同じ範囲になる。空間フィルタリング処理における検索ウインドウの範囲が、ウインドウ領域４２０に収まっていれば（必ずしもウインドウ領域４２０を全部使わなくてもよい）、空間フィルタリング処理のために新たにメモリ１０３から画素データを読み込まなくてもよく、画素データの保持のための新たなシステムリソースも必要とされない。
【０１１１】
本実施形態では、空間フィルタリングのために用いられるシステムリソースを最小化するために、以上で説明したような構成で動き検出および空間フィルタリングを実行する。しかし、例えば、空間フィルタリングにおいてεフィルタの性能を向上させるために、より広い検索ウインドウが用いられ、その結果、ウインドウ領域が動き検出処理におけるサーチ範囲４１０の範囲よりも広くなるような場合には、空間フィルタリングのためにメモリ１０３から新たに縮小面参照画像４００の範囲を読み込む構成としてもよい。そのような場合でも、検索ウインドウのすべての範囲を読み込む必要がないため、必要とされるシステムリソースは比較的少なくて済む。
【０１１２】
（フレームＮＲ処理および色差ＮＲ処理についてのまとめ）
図１３を参照して、本実施形態におけるフレームＮＲ処理および色差ＮＲ処理についてまとめる。図１３は、本発明の第１の実施形態におけるフレームＮＲ処理および色差ＮＲ処理を示すフローチャートである。
【０１１３】
まず、動き補償部１１６において、縮小面、基底面の２階層を用いた探索によって、ブロック単位の動きベクトルが検出される（ステップＳ１０１）。次に、検出された動きベクトルに基づいて、動き補償ブロックが取得される（ステップＳ１０３）。さらに、画像重ね合わせ部１１７において、ターゲットブロックと動き補償ブロックとの加算率が計算され（ステップＳ１０５）、加算率に基づいてターゲットブロックと動き補償ブロックとが重ね合わせられる（ステップＳ１０７）。ここまでの処理で、ターゲット画像と参照画像とを動き補償して重ね合わせるフレームＮＲの処理が実行され、ノイズが低減されたＮＲ画像が得られる。
【０１１４】
続いて、色差ＮＲ部１１８において、ＮＲ画像の画像信号のうち、色差成分（Ｃ）がεフィルタによって空間フィルタリングされる（ステップＳ１０９）。さらに、ＮＲ画像の画像信号のうち、輝度成分（Ｙ）を変更せずに、色差成分（Ｃ）がステップＳ１０９における空間フィルタリング後の色差成分（Ｃ）と混合される（ステップＳ１１１）。以上の処理によって、フレームＮＲによっては低減することが難しい低空間周波数の固定パターンノイズが除去され、結果として、フレームＮＲの効果を補完したより高いＮＲ効果が得られる。
【０１１５】
＜２．第２の実施形態＞
続いて、図１４を参照して、本発明の第２の実施形態について説明する。なお、この第２の実施形態は、上述した第１の実施形態と比べて、色差ＮＲ部１１８の構成において相違するが、その他の構成については略同一であるため、詳細説明を省略する。
【０１１６】
図１４は、本発明の第２の実施形態に係る撮像装置１００における色差ＮＲ部１１８ｃの機能構成を示すブロック図である。図１２を参照すると、色差ＮＲ部１１８ｃは、遅延バッファ１８１、εフィルタ１８２、および色差信号処理部１８３を含む。これらの各部を含む色差ＮＲ部１１８ｃは、例えばＤＳＰを用いて実現されうる。
【０１１７】
本実施形態の色差ＮＲ部１１８ｃは、縮小面ウインドウに加えて、縮小面ターゲット画も、動き補償部１１６によって提供される縮小面マッチング処理範囲の画素データから取得されるという点において、第１の実施形態における色差ＮＲ部１１８ａとは異なる。色差ＮＲ部１１８ｃにおいて、画像重ね合わせ部１１７によって提供されるフレームＮＲ後の基底面ＮＲ画像の画素データは、遅延バッファ１８１に入力されるが、εフィルタで用いるターゲット画および検索ウインドウの生成には用いられない。
【０１１８】
このような色差ＮＲ部１１８ｃの構成によれば、εフィルタ１８２において用いられるターゲット画と検索ウインドウとが同じフレームの画像になる。そのため、ターゲット画像と参照画像の間で画像が大きく変化している場合などに、εフィルタ１８２での空間フィルタリングが受ける影響を軽減することが可能である。
【０１１９】
＜３．まとめ＞
本発明の実施形態において、画像処理装置は、第１の画像（ターゲット画像）と、第１の画像に連続して撮影された第２の画像（参照画像）から生成された第３の画像（縮小面マッチング処理範囲）とを用いた処理を実行する第１の画像処理部（動き補償部）と、第３の画像の一部または全部を参照データとして用いて、第１の画像から生成された第４の画像（基底面ＮＲ画像）を空間フィルタリングする空間フィルタリング部（色差ＮＲ部）とを含む。かかる構成によれば、空間フィルタリングで用いられる検索ウインドウとして、第１の画像処理部において既に生成された第３の画像の一部または全部を再利用するため、検索ウインドウを生成するために使用される分のシステムリソースを節約することができる。
【０１２０】
空間フィルタリング部は、第３の画像の一部または全部を検索ウインドウとして用いるεフィルタによって第４の画像を空間フィルタリングしてもよい。かかる構成によれば、システムリソースの使用を抑制しながらεフィルタのウインドウサイズを大きくすることができ、εフィルタの効果を高めることができる。
【０１２１】
第１の画像処理部は、第２の画像を縮小して第３の画像を生成し、空間フィルタリング部は、第４の画像を一時的に縮小した画像を空間フィルタリングしてもよい。かかる構成によれば、ウインドウサイズを実際よりも広く使うために画像を縮小するときに、より大きい検索ウインドウの画像が既に第３の画像として生成されているため、画像の縮小のために使用されるシステムリソースを節約することができる。
【０１２２】
空間フィルタリング部は、第３の画像の一部をターゲット画として用いて、第４の画像を空間フィルタリングしてもよい。かかる構成によれば、空間フィルタリングにおける検索ウインドウとターゲット画とがいずれも第２の画像から生成されたものになり、第１の画像と第２の画像との間で画像が大きく変化している場合などに空間フィルタリングが受ける影響を軽減することができる。
【０１２３】
第１の画像処理部は、第１の画像と第２の画像との間の動きを補償する動き補償部であってもよい。かかる構成によれば、動き補償のための基底面および縮小面のマッチング処理において用いられる縮小面マッチング処理範囲の画像を、空間フィルタリングにおいて再利用でき、効果的にシステムリソースを節約することができる。
【０１２４】
画像処理装置は、動きが補償された第１の画像と第２の画像とを重ね合わせることによって第４の画像を生成する画像重ね合わせ部をさらに含んでもよい。かかる構成によれば、第１の画像と第２の画像との重ね合わせによるフレームＮＲのための動き補償処理で生成される縮小面マッチング処理範囲の画像を、フレームＮＲ処理後の画像をさらに空間フィルタリングする段階で再利用でき、効果的にシステムリソースを節約することができる。
【０１２５】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【０１２６】
例えば、上記実施形態では、画像処理装置として撮像装置を例示したが、本発明はかかる例に限定されない。例えば、画像処理装置は、保存されている画像データを加工するために用いられる独立した装置であってもよく、また、画像データを加工するアプリケーションとしてＰＣ（Personal  Computer）などの情報処理装置に組み込まれていてもよい。
【０１２７】
また、上記実施形態では、画像処理装置の動き補償部、画像重ね合わせ部および色差ＮＲ部の機能がＤＳＰを用いて実現される場合を例示したが、本発明はかかる例に限定されない。例えば、これらの各部の機能は、専用のハードウェアによって実現されてもよく、またＣＰＵを用いてソフトウェアとして実現されてもよい。
【符号の説明】
【０１２８】
１００    撮像装置
１０３    メモリ
１１６    動き補償部
１１７    画像重ね合わせ部
１１８    色差ＮＲ部
１８２    εフィルタ
２０１    基底面ターゲットブロック
２０８    基底面参照ブロック
３０１    縮小面ターゲットブロック
３０２    縮小面サーチ範囲
３０３    縮小面マッチング処理範囲
３０４    縮小面参照ブロック
【図１】
2012142826.tif 000004
【図２】
2012142826.tif 000005
【図３】
2012142826.tif 000006
【図４】
2012142826.tif 000007
【図５】
2012142826.tif 000008
【図６】
2012142826.tif 000009
【図７】
2012142826.tif 000010
【図８】
2012142826.tif 000011
【図９】
2012142826.tif 000012
【図１０】
2012142826.tif 000013
【図１１】
2012142826.tif 000014
【図１２】
2012142826.tif 000015
【図１３】
2012142826.tif 000016
【図１４】
2012142826.tif 000017