(57)【特許請求の範囲】
【請求項１】
複数のカラーフィルタに応じた信号からなる第１解像度の画像データから、前記第１解像度の画像データより低解像度の前記複数のカラーフィルタに応じた信号からなる第２解像度の画像データを生成する第１の画像作成手段と、
前記第２解像度の画像データの前記複数のカラーフィルタに応じた信号から、輝度信号と色信号を生成する第１の信号生成手段と、
前記第１解像度の画像データに対して、ノイズ低減処理を行う第１のノイズ低減手段と、
前記第１の信号生成手段で生成された前記輝度信号と前記色信号に対して、ノイズ低減処理を行う第２のノイズ低減手段と、
前記第２のノイズ低減手段によってノイズ低減処理が行われた前記輝度信号と前記色信号に基づく画像データを記憶する第１の記憶手段と、
前記第１の記憶手段に記憶された前記輝度信号と前記色信号から、前記第１解像度の画像データと同じ画素数の、前記複数のカラーフィルタに応じた信号からなる画像データを生成する第１の変換手段と、
前記第１のノイズ低減手段によってノイズ低減処理が行われた前記第１解像度の画像データの前記複数のカラーフィルタに応じた信号と、前記第１の変換手段から出力された画像データの前記複数のカラーフィルタに応じた信号を合成する第１の合成手段と、
前記第１の合成手段にて合成された画像データに対し、前記複数のカラーフィルタに応じた信号ごとにガンマ処理を行うガンマ処理手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記第２解像度の画像データから、前記第２解像度の画像データより低解像度の前記複数のカラーフィルタに応じた信号からなる第３解像度の画像データを生成する第２の画像作成手段と、
前記第３解像度の画像データの前記複数のカラーフィルタに応じた信号から、輝度信号と色信号を生成する第２の信号生成手段と、
前記第２の信号生成手段で生成された前記輝度信号と前記色信号に対して、ノイズ低減処理を行う第３のノイズ低減手段と、
前記第３のノイズ低減手段によってノイズ低減処理が行われた前記輝度信号と前記色信号からなる画像データを記憶する第２の記憶手段と、
前記第２の記憶手段に記憶された前記輝度信号と前記色信号から、前記第２解像度の画像データと同じ画素数の前記輝度信号と前記色信号からなる画像データを生成する第２の変換手段と、
前記第２のノイズ低減手段によってノイズ低減処理が行われた前記輝度信号と前記色信号、および、前記第２の変換手段から出力された画像データの前記輝度信号と前記色信号を合成して、前記第１の記憶手段に記憶される画像データを生成する第２の合成手段と、を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の変換手段は、前記第１の記憶手段に記憶された前記輝度信号と前記色信号からなる画像データを拡大して前記第１解像度の画像データと同じ画素数の輝度信号と色信号を生成してから、前記複数のカラーフィルタに応じた信号からなる画像データを生成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
画像作成手段が、複数のカラーフィルタに応じた信号からなる第１解像度の画像データから、前記第１解像度の画像データより低解像度の前記複数のカラーフィルタに応じた信号からなる第２解像度の画像データを生成する工程と、
信号生成手段が、前記第２解像度の画像データの前記複数のカラーフィルタに応じた信号から、輝度信号と色信号を生成する工程と、
第１のノイズ低減手段が、前記第１解像度の画像データに対して、ノイズ低減処理を行う工程と、
第２のノイズ低減手段が、前記信号生成手段で生成された前記輝度信号と前記色信号に対して、ノイズ低減処理を行う工程と、
記憶手段が、前記第２のノイズ低減手段によってノイズ低減処理が行われた前記輝度信号と前記色信号に基づく画像データを記憶する工程と、
変換手段が、前記記憶手段に記憶された前記輝度信号と前記色信号から、前記第１解像度の画像データと同じ画素数の、前記複数のカラーフィルタに応じた信号からなる画像データを生成する工程と、
合成手段が、前記第１のノイズ低減手段によってノイズ低減処理が行われた前記第１解像度の画像データの前記複数のカラーフィルタに応じた信号と、前記変換手段から出力された画像データの前記複数のカラーフィルタに応じた信号を合成する工程と、
ガンマ処理手段が、前記合成手段にて合成された画像データに対し、前記複数のカラーフィルタに応じた信号ごとにガンマ処理を行う工程と、を有することを特徴とする画像処理装置の制御方法。
【請求項５】
画像処理装置に請求項４に記載の制御方法を実施させるための、コンピュータが読み出し可能なプログラムコードを有するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置における画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置では、ユーザからの更なる高感度化や高画素化の要求によりノイズ成分を精度よく除去することが求められている。
【０００３】
従来のノイズ低減方法として、例えば特許文献１には、複数の周波数帯域に分割して、高周波成分からノイズを除去かつエッジ成分を保存して、それと低周波成分とを合成する技術が記載されている。
【０００４】
また、従来の信号処理方法として、例えば特許文献２には、輝度信号処理と色信号処理におけるガンマを異なるものにする技術が記載されている。
【０００５】
更に、従来の信号処理方法として、輝度信号をガンマ処理後のＲＧＢ信号から作成する技術がある。
【０００６】
ここで、図４を参照して、従来の構成を説明する。
【０００７】
図４において、入力画像データ３０００はＲＧＢからなるベイヤー配列のデータで、メモリ３０１０に記憶される。このメモリ３０１０に記憶された画像データを第１解像度の画像データとする。また、入力画像データ３０００は、ＬＰＦ３１０１でローパスフィルタ処理、ＤＳ部３１０２でダウンサンプリング（縮小）処理が施され、第１解像度の画像データよりも低解像度の第２解像度の画像データが作成され、メモリ３１１０に記憶される。このとき、メモリ３１１０のデータは、カラーフィルタ毎に同時化され、それぞれの画素がＲ、Ｇ、Ｂ全てのカラーフィルタの信号を有するデータとなっている。また、この第２解像度の画像データにＬＰＦ３２０１でローパスフィルタ処理、ＤＳ部３２０２でダウンサンプリング処理を施し、さらに低解像度の同時化された第３解像度の画像データを作成し、メモリ３２１０に記憶する。
【０００８】
ＮＲ処理部３０１１はメモリ３０１０から出力された第１解像度の画像データにノイズ低減処理を施し、エッジ検出部３０１２はメモリ３０１０から出力された第１解像度の画像データのエッジ強度を検出する。ＮＲ処理部３１１１はメモリ３１１０から出力された第２解像度の画像データにノイズ低減処理を施し、エッジ検出部３１１２はメモリ３１１０から出力された第２解像度の画像データのエッジ強度を検出する。ＮＲ処理部３２１１はメモリ３２１０から出力された第３解像度の画像データにノイズ低減処理を施し、メモリ３２２１にノイズ低減処理後の画像データを記憶させる。
【０００９】
ＵＳ部３２２２はメモリ３２２１に記憶された第３解像度の画像データにアップサンプリング（拡大）処理を施して、第２解像度の画像データと同じ画素数の画像データを生成する。合成部３１２０はエッジ検出部３１１２より出力されるエッジ強度検出信号を用いて、ＮＲ処理部３１１１から出力される画像データとＵＳ部３２２２から出力される画像データを合成する。具体的には、合成部３１２０は、エッジ検出部３１１２にてエッジ強度が大きいと判定された画素においては、ＮＲ処理部３１１１から出力された画像データの重み付けを大きくしてこれら２つの画像データの混合を行う。反対に、合成部３１２０は、エッジ強度が小さいと判定された画素においては、ＵＳ部３２２２から出力された画像データの重み付けを大きくしてこれら２つの画像データの混合を行う。
【００１０】
合成部３１２０から出力された画像データは一旦メモリ３１２１に記憶され、ＵＳ部３１２２はメモリ３１２１に記憶された画像データにアップサンプリング処理を施して、第１解像度の画像データと同じ画素数の画像データを生成する。合成部３０２０はエッジ検出部３０１２より出力されるエッジ強度検出信号を用いて、ＮＲ処理部３０１１から出力される画像データとＵＳ部３１２２から出力される画像データを合成する。そして、合成部３１２０は合成によって得られた画像データをメモリ３０３０に記憶させる。具体的には、合成部３０２０は、エッジ検出部３０１２にてエッジ強度が大きいと判定された画素においては、ＮＲ処理部３０１１から出力された画像データの重み付けを大きくしてこれら２つの画像データの混合を行う。反対に、合成部３０２０は、エッジ強度が小さいと判定された画素においては、ＵＳ部３１２２から出力された画像データの重み付けを大きくしてこれら２つの画像データの混合を行う。
【００１１】
メモリ３０３０より出力された画像データはＲＧＢごとに別個にガンマ処理を施すため、Ｒガンマ回路３０３２、Ｇガンマ回路３０３３、Ｂガンマ回路３０３４にＲＧＢの信号別に入力される。また、メモリ３０３０より出力された画像データは色信号処理を施すため、色信号（Ｕ、Ｖ）別に色信号処理回路３０３１に入力される。つまり、メモリ３０３０には、輝度信号用にＲ、Ｇ、Ｂの信号と、色信号用にＵ、Ｖの信号が記憶されている必要がある。
【００１２】
そのため、合成部３０２０に入力される２つの画像データは、輝度信号用にＲ、Ｇ、Ｂ、色信号用にＵ、Ｖを備えた画像データである必要がある。そのため、メモリ３１２１、３２２１は、輝度信号、色信号ともに同時化されたデータを必要とするので、輝度信号用にＲ、Ｇ、Ｂ、色信号用にＵ、Ｖの合計５プレーン分のデータを必要とし、回路規模が大きくなる。なお、Ｕ、Ｖの各信号は各ＮＲ処理部において、ノイズ低減処理を施す前に公知の方法にて作成され、各ＮＲ処理部はＲ、Ｇ、Ｂ、ＵおよびＶの各信号に対してノイズ低減処理を施す。
【００１３】
他の従来の構成について図５を参照して説明する。この例では、メモリ３０３０より出力された画像データは、図４のＲガンマ回路３０３２、Ｇガンマ回路３０３３、Ｂガンマ回路３０３４の代わりに、Ｙガンマ回路３０３５に入力される構成となっている。つまり、メモリ３０３０には、輝度信号用にＹ信号、色信号用にＵ、Ｖの各信号を備えた画像データが記憶されている必要がある。そのため、合成部３０２０に入力される２つの画像データは、輝度信号用にＹ信号、色信号用にＵ、Ｖの各信号を備えた画像データであればよい。そのため、メモリ３１２１、３２２１は、輝度信号用にＹ、色信号用にＵ、Ｖの計３プレーンのデータを記憶すればよく、メモリ３１２１、３２２１の容量を少なくできる。なお、Ｙ、ＵおよびＶの各信号は、各ＮＲ処理部においてノイズ低減処理を施す前に公知の方法にて作成され、各ＮＲ処理部はＹ、ＵおよびＶの各信号に対してノイズ低減処理を施す。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００８−０１５７４１号公報
【特許文献２】特開２００１−０４５３０８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
ここで、図４に示す構成では、メモリ３１２１、３２２１の容量が大きくなり、回路規模が大きくなってしまう。また、これを解決する図５に示す構成では、Ｙ信号を生成してからガンマ処理を施す構成であるため、ガンマ処理後のＲＧＢ信号から輝度信号を生成する構成と比較して、画質が低下してしまう。
【００１６】
本発明は、上記課題に鑑みてなされ、その目的は、画質を維持しながら、回路規模を削減できる画像処理技術を実現することである。
【課題を解決するための手段】
【００１７】
上記課題を解決し、目的を達成するため、本発明の画像処理装置は、複数のカラーフィルタに応じた信号からなる第１解像度の画像データから、前記第１解像度の画像データより低解像度の前記複数のカラーフィルタに応じた信号からなる第２解像度の画像データを生成する第１の画像作成手段と、前記第２解像度の画像データの前記複数のカラーフィルタに応じた信号から、輝度信号と色信号を生成する第１の信号生成手段と、前記第１解像度の画像データに対して、ノイズ低減処理を行う第１のノイズ低減手段と、前記第１の信号生成手段で生成された前記輝度信号と前記色信号に対して、ノイズ低減処理を行う第２のノイズ低減手段と、前記第２のノイズ低減手段によってノイズ低減処理が行われた前記輝度信号と前記色信号に基づく画像データを記憶する第１の記憶手段と、前記第１の記憶手段に記憶された前記輝度信号と前記色信号から、前記第１解像度の画像データと同じ画素数の、前記複数のカラーフィルタに応じた信号からなる画像データを生成する第１の変換手段と、前記第１のノイズ低減手段によってノイズ低減処理が行われた前記第１解像度の画像データの前記複数のカラーフィルタに応じた信号と、前記第１の変換手段から出力された画像データの前記複数のカラーフィルタに応じた信号を合成する第１の合成手段と、前記第１の合成手段にて合成された画像データに対し、前記複数のカラーフィルタに応じた信号ごとにガンマ処理を行うガンマ処理手段と、を有する。
【発明の効果】
【００１８】
本発明によれば、画質を維持しながら、回路規模を削減できる画像処理技術を実現できる。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る実施形態１の画像処理装置の構成を示す図。
【図２】本発明に係る実施形態２の画像処理装置の構成を示す図。
【図３】本実施形態の画像データの周波数空間を例示する図。
【図４】従来の構成を示す図。
【図５】従来の構成を示す図。
【図６】本実施形態による再配列処理を説明する図。
【発明を実施するための形態】
【００２０】
以下に、本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
【００２１】
［実施形態１］図１を参照して、本発明に係る実施形態１の画像処理装置の構成について説明する。この画像処理装置は不図示のＣＰＵによって制御されるものである。また、この画像処理装置は画像処理機能を備える装置であればよく、例えば、デジタルカメラ、カメラ機能付き携帯電話、あるいは、パーソナルコンピュータにて構成することが考えられる。
【００２２】
図１において、不図示のデジタルカメラなどの撮像装置の撮像素子から出力されたＲＧＢのカラーフィルタに応じたベイヤー配列の入力画像データ１０００は、メモリ１０１０に記憶される。メモリ１００１は、メモリ１０１０、１１１０、１２１０で構成されている。この入力画像データ１０００は、暗電流補正やシェーディング補正などの公知のセンサ補正処理が施された入力画像データであり、この入力画像データを第１解像度の画像データとする。また、入力画像データ１０００は、ＬＰＦ１１０１でローパスフィルタ処理、ＤＳ部１１０２でダウンサンプリング（縮小）処理が施されることによって、同時化された第２解像度の画像データを生成し、メモリ１１１０に記憶する。さらに、ＤＳ部１１０２から出力された第２解像度の画像データに対して、ＬＰＦ１２０１でローパスフィルタ処理、ＤＳ部１２０２でダウンサンプリング処理が施されて、第２低解像度の画像データより低解像度の第３解像度の画像データが生成される。この第３解像度の画像データは、メモリ１２１０に記憶される。このようにすることで、メモリ１００１には互いに画素数の異なる複数の解像度の画像データが記憶される。
【００２３】
まず、メモリ１０１０に記憶された最も解像度の高い第１解像度の画像データに対して施される処理について説明する。
ＮＲ処理部１０１１は、メモリ１０１０から出力された第１解像度の画像データを同時化して画素ごとにＲＧＢ信号を生成し、下記式より色成分のＵ信号、Ｖ信号を生成する。
Ｕ＝−０．１６８７４×Ｒ−０．３３１２６×Ｇ＋０．５００００×Ｂ
Ｖ＝０．５００００×Ｒ−０．４１８６９×Ｇ−０．０８１３１×Ｂ
そして、ＮＲ処理部１０１１は、Ｒ、Ｇ、Ｂ、Ｕ、Ｖの各信号に対して公知のノイズ低減処理を施し、ノイズ低減処理が施されたＲ、Ｇ、Ｂ、Ｕ、Ｖの各プレーンからなる画像データを合成部１０２０に出力する。ノイズ低減処理としては、例えば画像に含まれるエッジ成分の方向を検出し、当該方向に沿った低域通過フィルタによる平滑化処理によってノイズを低減する方法を用いればよい。
また、エッジ検出部１０１２は、メモリ１０１０から出力された第１解像度の画像データを同時化して画素ごとにＲＧＢ信号を生成し、下記式より輝度成分のＹ（輝度）信号を生成する。
Ｙ＝０．２９９００×Ｒ＋０．５８７００×Ｇ＋０．１１４００×Ｂ
そして、エッジ検出部１０１２は、Ｙ信号にエッジ検出用フィルタをかけて、その出力をエッジ強度出力信号として合成部１０２０に出力する。エッジ検出部１０１２はＹ信号の代わりにＧ信号からエッジ強度出力信号を生成するようにしてもよい。なお、エッジ検出部１０１２が、エッジ信号の検出において、微小レベルのエッジ信号をノイズとして、エッジ信号とは判定しないようにしてもよい。その場合は、ＮＲ処理部１０１１の処理を省略することも可能となる。
次に、メモリ１１１０に記憶された第２解像度の画像データ、および、メモリ１２１０に記憶された第３解像度の画像データに対して施される処理について説明する。
【００２４】
ＮＲ処理部１１１１は、メモリ１１１０から出力された第２解像度の画像データのＲＧＢ信号を用いて、上記式より輝度成分のＹ信号、色成分のＵ信号、Ｖ信号を生成する。そして、ＮＲ処理部１１１１は、Ｙ、Ｕ、Ｖの各信号に対して公知のノイズ低減処理を施し、ノイズ低減処理が施されたＹ、Ｕ、Ｖの各プレーンからなる画像データを合成部１１２０に出力する。
【００２５】
また、エッジ検出部１１１２は、ＮＲ処理部１１１１と同様の方法で生成されたＹ信号にエッジ検出用フィルタをかけて、その出力をエッジ強度出力信号として合成部１１２０に出力する。
【００２６】
ＮＲ処理部１２１１は、メモリ１２１０から出力された第３解像度の画像データのＲＧＢ信号を用いて、上記式より輝度成分のＹ信号、色成分のＵ信号、Ｖ信号を生成する。そして、ＮＲ処理部１２１１は、Ｙ、Ｕ、Ｖの各信号に対して公知のノイズ低減処理を施し、ノイズ低減処理が施されたＹ、Ｕ、Ｖの各プレーンからなる画像データをメモリ１１２１に出力する。
【００２７】
メモリ１１２１、１２２１に保持される信号のフォーマットのうち、輝度成分はＹのデータフォーマットで構成されている。そのため、輝度成分をＲ信号、Ｇ信号、および、Ｂ信号にした場合と比べてメモリ１１２１、１２２１に保持する輝度成分の信号量を１／３に削減することができる。
【００２８】
ＵＳ部１２２２は、メモリ１２２１から輝度成分Ｙ信号、色成分ＵＶ信号を読み出して、第２解像度の画像データと同じ画素数となるようにアップサンプリング（拡大）処理を施し、合成部１１２０に出力する。
【００２９】
合成部１１２０は、ＮＲ処理部１１１１から出力された画像データと、ＵＳ部１２２２から出力された画像データとを、エッジ検出部１１１２の出力であるエッジ強度出力信号に応じて合成する。具体的には、エッジ強度出力信号が大きい（エッジである）場合は、よりＮＲ処理部１１１１から出力された画像データに含まれる信号の合成割合を大きくする。このようにすることで、被写体の輪郭や境界部における鮮鋭度を確保しつつも、ノイズが目立ちやすい一様な領域においてノイズをより強く抑圧した画像データを生成することが可能となる。
【００３０】
合成部１１２０での合成に用いられる画像データのフォーマットは、どちらも輝度成分はＹ、色成分はＵＶのデータフォーマットで構成されている。輝度成分Ｙ信号と色成分ＵＶ信号はそれぞれ独立に合成部１１２０で合成されて、メモリ１１２１に輝度成分はＹ信号、色成分はＵＶ信号として保持される。
【００３１】
ＵＳ部１１２２は、メモリ１１２１から輝度成分のＹ信号、色成分のＵＶ信号を読み出して、第１解像度の画像データと同じ画素数となるようにアップサンプリング処理を施す。そして、ＵＳ部１１２２にてアップサンプリング処理が施された画像データはフォーマット変換部１０２１に入力される。
【００３２】
フォーマット変換部１０２１は、アップサンプリングされた輝度成分のＹ信号と色成分のＵＶ信号とから、例えば公知の下記変換式に基づいて、合成部１０２０へ出力する画像データのＲＧＢ信号を作成する。
Ｒ＝Ｙ＋１．４０２００×Ｖ
Ｇ＝Ｙ−０．３４４１４×Ｕ−０．７１４１４×Ｖ
Ｂ＝Ｙ＋１．７７２００×Ｕ
なお、色成分のＵＶ信号は、アップサンプリングされたＵＶ信号をそのまま用いる。
【００３３】
合成部１０２０は、ＮＲ処理部１０１１から出力された画像データとフォーマット変換部１０２１から出力された画像データとを、エッジ検出部１０１２の出力であるエッジ強度出力信号に応じて合成し、メモリ１０３０に記憶する。具体的には、エッジ強度出力信号が大きい（エッジである）場合は、よりＮＲ処理部１０１１から出力された画像データの信号の合成割合を大きくする。これらの合成に用いる画像データの各フォーマットは、輝度成分は同時化されたＲＧＢ、色成分はＵＶのデータフォーマットで構成されている。輝度成分のＲＧＢ信号と色成分のＵＶ信号はそれぞれ独立に合成部１０２０で合成されて、メモリ１０３０に輝度成分のＲ、Ｇ、Ｂ信号、色成分のＵ、Ｖ信号として記憶される。
【００３４】
ここで、第１解像度の画像データの輝度成分をＲＧＢのデータフォーマットとし、第２解像度および第３解像度の画像データの輝度成分をＹのデータフォーマットとする理由について説明する。
【００３５】
Ｒ信号、Ｇ信号およびＢ信号は、互いに光学特性の異なるカラーフィルタを透過して生成された信号であるため、精度の高い信号を生成するためには、それぞれの信号に対して別々のガンマ処理を行うべきである。Ｒ信号、Ｇ信号およびＢ信号に独立したガンマ処理を施してからＹ信号を生成するのであれば、このカラーフィルタの違いによる光学特性の差異をガンマ処理によって補償してから、Ｙ信号を生成することが可能である。しかしながら、Ｙ信号を生成してからガンマ処理を施す場合には、このカラーフィルタの違いによる光学特性の差異をガンマ処理によって補償することができない。よって、精度の高い信号を得るためには、Ｒ信号、Ｇ信号およびＢ信号に独立したガンマ処理を施してからＹ信号を生成する必要がある。
【００３６】
しかしながら、第２解像度および第３解像度の画像データは、第１解像度の画像データよりも解像度が低いものであるため、ガンマ処理を施す前にＹ信号を生成したことによる弊害は無視できると考えられる。つまり、細かな精度が求められる第１解像度の画像データにおいて、ガンマ処理の前にＲ、ＧおよびＢ信号からＹ信号を生成することをしなければ、それよりも解像度の低い画像データではガンマ処理の前にＹ信号を生成しても、画質に与える影響は僅かである。
【００３７】
そこで、本実施形態では、最も解像度の高い第１解像度の画像データのみ、輝度成分をＲＧＢのデータフォーマットし、それ以外の画像データの輝度成分をＹのデータフォーマットとすることで、画質の維持とメモリ容量の削減を実現している。
【００３８】
メモリ１０３０から出力された画像データのうち、Ｒ信号はＲガンマ回路１０３２、Ｇ信号はＧガンマ回路１０３３、Ｂ信号はＢガンマ回路１０３４によって、それぞれＲ信号、Ｇ信号、Ｂ信号ごとに別個にガンマ処理が施される。また、輝度成分ＲＧＢ信号は、公知のエッジ強調部１０４０においてエッジ強調信号を出力する。また、Ｙ信号作成部１０４１は、Ｒガンマ回路１０３２から出力されるＲ信号と、Ｇガンマ回路１０３３から出力されるＧ信号と、Ｂガンマ回路１０３４から出力されるＢ信号と、エッジ強調部１０４０から出力されるエッジ強調信号とから輝度信号を出力する。こうすることで、ガンマ処理後のＲＧＢ信号からＹ信号を作成することができる。
【００３９】
図３は、メモリ１０１０，１１１０，１２１０の画像データの周波数空間を例示している。メモリ１０１０の画像データの最も高い周波数はｆ１、メモリ１１１０の画像データの最も高い周波数はｆ２、メモリ１２１０の画像データの最も高い周波数はｆ３で表される（ｆ１＞ｆ２＞ｆ３）。
【００４０】
周波数ｆ１近傍の画像データはエッジ信号だけでなくノイズも含まれる。ＮＲ処理部１０１１でエッジ信号を保存しつつ、エッジとしては振幅が小さいレベルの信号をノイズとして除去する。
【００４１】
この例では、領域１の周波数ｆ１近傍の画像データは、エッジ検出部１０１２でエッジ領域として検出されて、合成部１０２０ではＮＲ処理部１０１１からのデータがより多く出力される。
【００４２】
領域２の周波数ｆ２の画像データは、エッジ検出部１０１２ではエッジ領域と検出されず、合成部１０２０ではフォーマット変換部１０２１の出力が利用される。一方、エッジ検出部１１１２ではエッジ領域として検出され、合成部１１２０ではＮＲ処理部１１１１からのデータがより多く出力される。
【００４３】
領域３の周波数ｆ３の画像データは、エッジ検出部１０１２ではエッジ領域と検出されず、合成部１０２０ではフォーマット変換部１０２１の出力が利用される。また、エッジ検出部１１１２でもエッジ領域と検出されず、合成部１１２０ではＮＲ処理部１２１１からのデータがより多く出力される。
【００４４】
このように画像データの高周波側は、ＮＲ処理部１０１１の出力が利用される。したがって、画像データの高周波側の成分は、解像度を保ったままの輝度成分の信号がメモリ１０３０に入力され、Ｒ、Ｇ、Ｂガンマ回路１０３２，１０３３，１０３４に入力される。
【００４５】
メモリ１０３０から出力される色成分ＵＶ信号は、色信号処理部１０３１によって色信号が出力される。色信号処理部１０３１は、公知のＭＡＴＲＩＸ、ガンマ、ＣＫｎｅｅなどで構成されている。
【００４６】
上述したように、合成部１０２０に入力する２つの画像データの両方の輝度成分をＲＧＢ信号とする。さらに、メモリ１１２１に保持した輝度成分をＹ信号とし、フォーマット変換部１０２１によってＲＧＢ信号に変換したものを利用する。こうすることによって、ガンマ処理後のＲＧＢ信号から少なくとも３プレーンの輝度信号が作成可能になると共に、メモリ容量の少ないハード構成が可能となる。また、第１解像度の画像データの輝度成分は、ＲＧＢ信号のまま、解像度を保ったまま出力される。
【００４７】
本実施形態では、３階層の処理について説明を行ったが、これに限られるものでなく、Ｎ階層（Ｎ＞２）の処理を行うようにしてもよい。また、各ＮＲ処理部の代わりに、収差補正行う収差処理部や、偽色補正を行う偽色処理部などの、他の画像処理機能を備えた回路を設けるようにしてもよい。さらには、ダウンサンプリング処理した画像データから輝度成分としてＹ信号のみを生成し、上記のような画像処理を施すことなく、アップサンプリング処理を施して合成部に出力するように構成してもよい。このように構成するだけでも、ノイズ低減効果を得ることは可能である。
【００４８】
なお、本実施形態において、本発明の画像作成手段はＬＰＦ１１０１およびＤＳ部１１０２、第２の画像作成手段はＬＰＦ１２０１およびＤＳ部１２０２に対応する。輝度信号生成手段はＮＲ処理部１１１１、第２の輝度信号生成手段はＮＲ処理部１２１１、記憶手段はメモリ１１２１、第２の記憶手段はメモリ１２２１に対応する。変換手段はフォーマット変換部１０２１およびＵＳ部１１２２に、第２の変換手段はＵＳ部１２２２に、合成手段は合成部１０２０、第２の合成手段は合成部１１２０に対応する。
【００４９】
［実施形態２］次に、図２を参照して、実施形態２について説明する。本実施形態では、実施形態１に対して、合成部１０２０の後段に再配列部５０２２が追加されている。以下、実施形態１と共通する点については説明を省略し、異なる点について主に説明する。
【００５０】
図２において、合成部１０２０は、ＮＲ処理部１０１１の第１解像度の画像データと後述のフォーマット変換部５０２１から出力された画像データとをエッジ検出部１０１２からの出力であるエッジ強度出力信号に応じて合成し、メモリ１０３０に記憶する。具体的には、エッジ強度出力信号が大きい（エッジである）場合は、より高解像度側の画像データの信号の割合を大きくする。この合成に用いられる２つの画像データのフォーマットは、輝度成分は同時化されたＲ、Ｇ、Ｂ、色成分はＵ、Ｖのデータフォーマットで構成されている。輝度成分Ｒ、Ｇ、Ｂ信号と色成分Ｕ、Ｖ信号はそれぞれ独立に合成部１０２０で合成される。
【００５１】
ここで、図６（ａ）を参照して、再配列部５０２２での再配列処理について説明する。再配列部５０２２は、同時化されたＲ、Ｇ、Ｂ信号をベイヤー配列の形式に再配列する。つまり、再配列部５０２２に入力されたＧ信号のうち、ベイヤー配列においてＧの画素の位置と一致するＧ信号のみを抽出して、メモリ１０３０に記憶させる。これをＲ信号およびＢ信号においても同様に行う。こうすることで、輝度信号は１プレーン分の信号量となり、メモリ１０３０に記憶される信号量を削減することができる。
【００５２】
図２の説明に戻り、輝度成分Ｒ、Ｇ、Ｂ信号は、前述の再配列部５０２２でベイヤー配列の形式に再配列されて、メモリ１０３０に輝度成分のベイヤー配列信号、色成分のＵ、Ｖ信号として保持される。
【００５３】
メモリ１０３０から出力される輝度成分ベイヤー配列信号は、Ｒ信号はＲガンマ回路１０３２、Ｇ信号はＧガンマ回路１０３３、Ｂ信号はＢガンマ回路１０３４によって、それぞれＲ信号、Ｇ信号、Ｂ信号ごとに別個にガンマ処理が施される。Ｙ信号作成部１０４１は、ガンマ処理が施されたＲ信号、Ｇ信号、Ｂ信号をそれぞれ同時化し、これらの同時化した信号と、エッジ強調部１０４０から出力されるエッジ強調信号を用いて、輝度信号を出力する。
【００５４】
上述したように、合成部１０２０に出力する高解像度画像データと低解像度画像データの両方の輝度成分をＲ、Ｇ、Ｂ信号とする。また、低解像度画像データの輝度成分はメモリ１１２１に保持された輝度成分をＹ信号とし、フォーマット変換部５０２１によってＲ、Ｇ、Ｂ信号に変換したものを利用する。さらに、合成部１０２０から出力される同時化された輝度信号をベイヤー配列の形式に再配列して、メモリ１０３０に記憶する。こうすることによって、ガンマ処理後のＲＧＢ信号から輝度信号が作成可能になると共に、メモリ容量の少ないハード構成が可能となる。
【００５５】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
0005882576.tif 000002
【図２】
0005882576.tif 000003
【図３】
0005882576.tif 000004
【図４】
0005882576.tif 000005
【図５】
0005882576.tif 000006
【図６】
0005882576.tif 000007