(57)【特許請求の範囲】
【請求項１】
上階層画像を縮小する縮小手段と、
前記縮小手段により得られた縮小画像の、処理の走査方向の複数の画素列それぞれを記憶する複数のラインメモリと、
前記上階層画像の着目位置に対応する前記縮小画像の着目位置に基づいて、参照するラインメモリを選択する選択手段と、
前記選択したラインメモリから画素を読み出し、読み出した画素に基づいて、前記縮小画像の前記着目位置に基づいて定まる補間位置に新たな画素を補間して、下階層画像を生成する生成手段と、
前記上階層画像の画素と前記下階層画像の画素とを用いて演算を行う演算手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記補間位置は、前記上階層画像の画素の配列に対し離散的に配置された位置であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記縮小画像の前記着目位置に基づいて、処理の走査方向に垂直な方向における位相を生成する位相生成手段をさらに有し、
前記選択手段は、前記位相に基づいて、前記ラインメモリを選択することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記上階層画像の画素に対し、前記下階層画像の画素値と前記上階層画像の画素値とに基づいて、前記下階層画像の画素に重みを付与する重み付け手段をさらに有し、
前記演算手段は、前記上階層画像の画素と、重みが付与された前記下階層画像の画素とを用いて演算を行うことを特徴とする請求項１乃至３何れか１項に記載の画像処理装置。
【請求項５】
前記演算手段は、前記上階層画像の画素と、前記下階層画像の画素とを合成することを特徴とする請求項１乃至４何れか１項に記載の画像処理装置。
【請求項６】
画像処理装置が実行する画像処理方法であって、
上階層画像を縮小する縮小ステップと、
前記縮小ステップで得られた縮小画像の、処理の走査方向の複数の画素列それぞれを複数のラインメモリに格納する格納ステップと、
前記上階層画像の着目位置に対応する前記縮小画像の着目位置に基づいて、参照するラインメモリを選択する選択ステップと、
前記選択したラインメモリから画素を読み出し、読み出した画素に基づいて、前記縮小画像の前記着目位置に基づいて定まる補間位置に新たな画素を補間して、下階層画像を生成する生成ステップと、
前記上階層画像の画素と前記下階層画像の画素とを用いて演算を行う演算ステップと
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、画像処理において、局所的に異なるゲインをかけて階調特性を制御するデジタル覆い焼き処理、ベイヤ配列画像における欠落色画素の補間処理等、様々な目的のために複数の異なる解像度の画像（階層画像）を利用した階層処理が行われている。階層処理のフローは、階層画像の生成と、階層画像の合成に分けられる。
【０００３】
階層画像は、入力画像の縮小・拡大により高周波成分を除去することにより簡易的に生成することができる。拡大の方法としては、バイリニア拡大やバイキュービック拡大等、着目画素の周辺の画素から補間拡大する方法が用いられることが多い。上記の場合、画素の走査方向に対して垂直方向の周辺画素を参照するために、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）等で構成されるラインメモリが用いられる。バイリニア拡大では、着目画素に対して水平垂直方向にそれぞれ近傍1画素を参照するため、縮小画像１ライン分のラインメモリが必要となる。
【０００４】
階層画像の合成では、高解像度な上階層画像と低解像度な下階層画像を目的に応じた方式によって重み付けを行いながら加算処理することにより、最終的な合成画像を生成する等の処理を行う。合成時に着目画素の周辺の画素を参照する必要がある場合は、画像拡大時と同様にラインメモリを用いる。着目画素の周辺の画素を広範囲に参照すると、高度なフィルタ処理を行うことができるが、画素の走査に対して垂直方向に参照する画素数分だけ必要なラインメモリ数は増える。
【０００５】
特許文献１には、ベイヤ配列画像における欠落色画素の補間処理において、階層処理を用いることで偽色の発生を抑制する技術が開示されている。本技術では、解像度の異なる画像を生成し、着目画素と周辺の画素の類似度を算出し、各解像度の類似度結果より出力画素を決定している。また、本技術では、低解像画像を生成するためにラインメモリを使用し、その後周辺類似度算出による処理を行うために別のラインメモリを使用している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−４４５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献に開示された従来技術では、補間拡大処理と、合成処理それぞれにおいてラインメモリを必要とするため、回路規模が大きくなってしまうという問題があった。
【０００８】
本発明はこのような問題点に鑑みなされたもので、階層処理で補間拡大後に着目画素の周辺の画素を参照するフィルタ処理を小さい回路規模で実現することを目的とする。
【課題を解決するための手段】
【０００９】
そこで、本発明は、画像処理装置であって、上階層画像を縮小する縮小手段と、前記縮小手段により得られた縮小画像の、処理の走査方向の複数の画素列それぞれを記憶する複数のラインメモリと、前記上階層画像の着目位置に対応する前記縮小画像の着目位置に基づいて、参照するラインメモリを選択する選択手段と、前記選択したラインメモリから画素を読み出し、読み出した画素に基づいて、前記縮小画像の前記着目位置に基づいて定まる補間位置に新たな画素を補間して、下階層画像を生成する生成手段と、前記上階層画像の画素と前記下階層画像の画素とを用いて演算を行う演算手段とを有する。
【発明の効果】
【００１０】
本発明によれば、階層処理で補間拡大後に着目画素の周辺の画素を参照するフィルタ処理を小さい回路規模で実現することができる。
【図面の簡単な説明】
【００１１】
【図１】画像処理装置の構成図である。
【図２】上階層画像と下階層画像の位置関係を示す図である。
【図３】補間拡大部を示す図である。
【図４】垂直カウンタ値と、位相と、ラインメモリの関係の説明図である。
【図５】垂直カウンタ値と、位相と、ラインメモリの関係の説明図である。
【図６】差分絶対値と重み係数のグラフを示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について図面に基づいて説明する。
【００１３】
図１は、画像処理装置の構成図である。本実施形態に係る画像処理装置は、デジタル覆い焼きにより、画像に対して画素毎に異なるゲインを掛ける機能を有しているものとする。同図において、１００は入力画像である。入力画像１００は、例えば不図示の撮像素子から出力され、撮像素子に起因するノイズ等が取り除かれた画像である。撮像素子は、一般的にベイヤ配列になっており、赤（Ｒ）緑（Ｇ）、青（Ｂ）が規則正しく配列されている。本実施形態においては、画像処理装置は、後段の処理と遅延量を合わせるために画像を一度不図示のメモリに格納し、メモリから読み出した画像を入力画像として用いているが、これに限定されるものではない。他の例としては、画像処理装置は、撮像素子から出力された画像を直接入力画像として用いてもよい。
【００１４】
１０１は輝度変換部である。輝度変換部１０１は、入力画像１００に係数を乗算することで、入力画像１００を輝度に変換する。係数は撮像素子の配列に合わせて色毎に与えられる。１０２はゲイン生成部である。ゲイン生成部１０２は、輝度変換部１０１で生成された輝度画像に係数を乗算することにより、輝度画像をゲイン画像に変換する。本実施形態の画像処理装置は、デジタル覆い焼きを行うためのゲイン画像を生成するため、ゲイン生成部１０２は、輝度値が小さい程、大きなゲインとなるような係数を乗算する。ゲイン生成部１０２で生成されたゲイン画像１０３は、後段の処理と遅延量を合わせるために一度メモリに書き込まれた後、合成部１０８に入力される。
【００１５】
１０４は縮小部、１０５は縮小ゲイン画像である。縮小部１０４は、ゲイン生成部１０２によって生成されたゲイン画像１０３に対して縮小処理を行う。縮小処理方法には、公知の方法を用いることができる。公知の方法としては、例えば画素をブロック毎に加算し、加算した画素数で正規化する等の方法がある。縮小部１０４による縮小処理により、縮小ゲイン画像１０５が生成される。ここで、縮小ゲイン画像１０５は、縮小画像の一例である。ゲイン画像１０３および縮小ゲイン画像１０５は、いずれもゲイン画像であるが、差分としては、縮小ゲイン画像１０５はゲイン画像１０３に対して高周波成分が取り除かれた画像である。例えば、入力画像サイズが４０００×３０００画素、縮小率が水平垂直ともに１／８であった場合、１ブロックのサイズは８×８画素であり、縮小ゲイン画像１０５のサイズは５００×３７５画素となる。
【００１６】
１０６は補間拡大部、１０７はラインメモリである。補間拡大部１０６は、ラインメモリ１０７を使用し、縮小ゲイン画像１０５に対して補間拡大処理を行う。補間拡大部１０６の処理内容については後に詳細に説明する。ラインメモリ１０７には、縮小ゲイン画像１０５の処理の走査方向に沿った複数の画素列が格納される。１０８は、合成部である。合成部１０８は、ゲイン画像１０３を上階層画像、補間拡大部１０６の出力を下階層画像とし、２つの画像の合成を行う。合成方法については別途説明するが、本実施形態に係る合成部１０８は、上階層画像においては、着目画素に対して周辺画素の参照はなく、下階層画像においては周辺画素を参照した上で合成処理を行う。図１において、補間拡大部１０６から合成部１０８に対して複数の矢印が出ているのは、下階層画像の複数ラインの画素値を同時に合成部１０８へ出力されていることを示している。
【００１７】
１０９はゲイン乗算部である。ゲイン乗算部１０９は、合成部１０８で生成したゲインを入力画像１００に対して乗算する。ゲインは、暗い領域程大きな値を取る。したがって、全体的に暗部に対して比較的大きなゲインがかかり、デジタル覆い焼き処理となる。
【００１８】
本実施形態に係る画像処理装置は、上述の通り、上階層画像と下階層画像の２階層を合成するものとしたが、合成対象の階層数は３階層以上であってもよい。例えば３階層の階層処理は以下のような構成により実現できる。画像処理装置は、縮小ゲイン画像１０５を第１の縮小ゲイン画像とし、これをさらに縮小し、第２の縮小ゲイン画像を生成する。次に画像処理装置は、第２の縮小ゲイン画像を補間拡大し、第１の縮小ゲイン画像と合成する。画像処理装置は、その後さらに補間拡大を行い、入力画像と合成を行う。上記のように縮小と、補間拡大と、合成とを組み合わせることによって、３階層以上の階層処理を行うことが可能である。
【００１９】
図２は、合成部１０８に入力される上階層画像と下階層画像の位置関係を示す図である。図２（ａ）において、２００は上階層画像、２１０は下階層画像であり、それぞれ入力画像１００および補間拡大部１０６の出力（図１参照）である。２０１および２１１は、ある着目位置における上階層画像２００と下階層画像２１０の画素を表している。図２（ｂ）は、下階層画像２１０における着目位置の画素２１１と、合成部１０８が必要とする周辺画素の位置関係を示す図である。本実施形態においては、合成部１０８が必要とする下階層の参照範囲は上下左右６画素分とする。図２（ｂ）において、４つのライン２２１、２２２、２２３、および２２４上にある斜線で塗りつぶされた丸印が周辺の参照画素を示している。すなわち、周辺の参照画素の位置は、上階層画像２００の画素の配列に対し、離散的に配置された位置である。すなわち、下階層画像２１０の解像度は上階層画像２００の解像度に比べて低い。
【００２０】
下階層画像における周辺の参照画素数は１６画素であり、着目位置の画素に対して離散的に分布している。本実施形態に係る画像処理装置は、水平を走査方向とし、ライン毎に画素を処理するものとする。また、合成部１０８はこの１６画素に加えて、着目位置の画素２１１の値も参照する。このため、図２（ｂ）において、上階層画像と合成するためには、ライン２２１，２２２，２２３，および２２４に加え、ライン２２０における画素値を求めておく必要がある。ライン２２０は、着目位置の画素２１１を含むラインであり、ライン２２１〜２２４は、それぞれ周辺の参照画素を含むラインである。つまり、補間拡大部１０６は、ライン２２０〜２２４を含む５ラインの画素を出力する。
【００２１】
図３は、補間拡大部１０６を示す図である。補間拡大部１０６は、バイリニア方式により補間拡大を行うものとする。なお、他の例としては、補間拡大部１０６は、バイキュービック等、他の補間拡大方法を用いて補間拡大を行ってもよい。図３において、３００はコントロール部である。コントロール部３００は縮小ゲイン画像１０５を入力し、水平・垂直それぞれの画素数をカウントする。コントロール部３００が保持する水平カウンタ値、垂直カウンタ値は、それぞれ０〜７の間でインクリメントされ、後段の処理においてタイミング制御信号として使用される。
【００２２】
３０１はメモリＩＦ（インターフェース）である。メモリＩＦ３０１は、縮小ゲイン画像１０５を入力し、ラインメモリ１０７に対して画素の読み書きを行う。メモリＩＦ３０１は、またコントロール部３００から出力される垂直カウンタの値を受けて、後段に縮小ゲイン画像１０５における複数ラインの画素を入力のライン順に順次ライン０〜ライン３に出力する。本実施形態においては、垂直方向に８倍に拡大するため、垂直カウンタ値が０のときに入出力のラインを切り替える。メモリＩＦ３０１は、４ラインを同時に後段に出力する。
【００２３】
３０３Ｂ〜３０３Ｅは位相生成部、３０４Ｂ〜３０４Ｅはライン選択部、３０５Ａ〜３０５Ｅは垂直補間部である。位相生成部３０３Ｂ〜３０３Ｅは、コントロール部３００から出力される垂直カウンタの値に基づいて、各ラインの位相を生成する。ライン選択部３０４Ｂ〜３０４Ｅは、それぞれ位相生成部３０３Ｂ〜３０３Ｅが生成した位相に基づいて、メモリＩＦ３０１から出力される画素を選択する。すなわち、ライン選択部３０４Ｂ〜３０４Ｅは、参照するラインメモリを選択する。垂直補間部３０５Ａは、メモリＩＦ３０１から出力される画素を使用して、線形補間を行う。垂直補間部３０５Ｂ〜３０５Ｅは、それぞれ位相生成部３０３Ｂ〜３０３Ｅが生成した位相と、ライン選択部３０４が選択した画素を使用して、線形補間を行う。すなわち、垂直補間部３０５Ａ〜３０５Ｅは、ラインメモリから画素を読み出し、読み出した画素に基づいて、縮小画像の着目位置に基づいて定まる補間位置に新たな画素を補間して、予備補間画素を生成する。
【００２４】
３０６はデコーダ、３０７Ａ〜３０７Ｅは遅延素子である。遅延素子３０７Ａ〜３０７Ｅは、フリップフロップ等で構成される。デコーダ３０６はコントロール部３００から水平カウンタ値を受け取り、前段の予備補間画素をロードする。本実施形態においては、水平拡大率は８倍であるため、水平カウンタの値は０〜７の間でインクリメントされる。デコーダ３０６は、水平カウンタ値が０のときにロードを行い、０以外のときは画素値を保持する。水平補間部３０８Ａ〜３０８Ｅは、コントロール部３００から水平カウンタを受け、それぞれ遅延素子３０７Ａ〜３０７Ｅの前と後の予備補間画素を線形補間する。水平補間部３０８Ａ〜３０８Ｅにより線形補間された画素は後段に出力される。水平補間部３０８Ａ〜３０８Ｅから出力された画素は、図２に示す着目位置の画素を含むライン２２０および周辺の参照画素を含むライン２２１〜２２４の画素として合成部１０８に入力される。
【００２５】
図４は、垂直カウンタ値と、位相と、ラインメモリの関係の説明図である。図４において、ライン４０１〜４０４の画素は、縮小ゲイン画像１０５の各画素を含むラインメモリの画素を表している。すなわち、ライン４０１〜４０４は、処理の走査方向に垂直な方向に沿って配置されている。図４（ａ）は、ラインメモリ上の縮小ゲイン画像１０５の各ライン４０１〜４０４、下階層画像２１０の着目位置の画素２１１、この画素２１１を含むライン２２０、および周辺の参照画素を含むライン２２１〜２２４の位置関係を示す図である。縮小ゲイン画像１０５は入力画像１００を１／８に縮小しているため、各画素の重心位置は８画素おきに位置している。また、縮小ゲイン画像１０５は入力画像１００を１／８という偶数の単位で縮小しているため、縮小ゲイン画像１０５の画素の重心と下階層画像２１０の画素の重心は、位相が一致しない。そのため、まず垂直補間部３０５Ａ〜３０５Ｅが、縮小ゲイン画像１０５の画素値を用いて垂直方向に線形補間を行う。これにより、水平方向において縮小ゲイン画像１０５の画素と同じ位相であって、かつ、垂直方向において下階層画像２１０の画素と同じ位相となる予備補間画素が生成される。そして、後段の水平補間部３０８Ａ〜３０８Ｅが、予備補間画素を用いて水平補間を行う。こうすることで、予備補間画素から下階層画像２１０の画素が生成される。
【００２６】
図４（ａ）は、コントロール部３００の垂直カウンタ値が０の時の各画素の位置関係を表している。このとき、下階層画像２１０の着目位置の画素２１１を含むライン２２０および周辺の参照画素を含むライン２２１，２２２のそれぞれと垂直方向の位相が一致する予備補間画素が生成される。この予備補間画素は、ライン２２１，２２２を挟んで上下両側に位置する縮小ゲイン画像１０５の２つのライン４０１，４０２それぞれの画素値から線形補間して生成される。このとき、下階層画像２１０の着目位置の画素２１１を含むライン２２０および周辺の参照画素を含むライン２２１，２２２のそれぞれと垂直方向の位相が一致する予備補間画素が生成される。この予備補間画素は、ライン２２１，２２２を挟んで上下両側に位置する縮小ゲイン画像１０５の２つのライン４０１，４０２それぞれの画素値から線形補間して生成される。
【００２７】
ライン２２１と垂直方向の位相が一致する予備補間画素は、ライン４０１に対して垂直方向に０．５画素分だけ離れており、ライン４０２に対しては垂直方向に７．５画素分だけ離れている。よって、ライン４０１の画素値とライン４０２の画素値に対する重み付けの比率が７．５：０．５となるように線形補間を行うことで、ライン２２１と垂直方向の位相が一致する予備補間画素の値を求める。同様にライン２２２と垂直方向の位相が一致する予備補間画素は、ライン４０１に対して垂直方向に４．５画素分だけ離れており、ライン４０２に対しては垂直方向に３．５画素分だけ離れている。よって、ライン４０１の画素値とライン４０２の画素値に対する重み付けの比率が３．５：４．５となるように線形補間を行うことで、ライン２２２と垂直方向の位相が一致する予備補間画素の値を求める。同様にライン２２０と垂直方向の位相が一致する予備補間画素は、ライン４０１に対して垂直方向に６．５画素分だけ離れており、ライン４０２に対しては垂直方向に１．５画素分だけ離れている。よって、ライン４０１の画素値とライン４０２の画素値に対する重み付けの比率が６．５：１．５となるように線形補間を行うことで、ライン２２２と垂直方向の位相が一致する予備補間画素の値を求める。ライン２２３，２２４と垂直方向の位相が一致する予備補間画素の値は、縮小ゲイン画像１０５の２つのライン４０２，４０３それぞれの画素値から同様に線形補間して生成される。
【００２８】
図４（ｂ）は、コントロール部３００の垂直カウンタ値が１の時の各画素の位置関係を表している。このときも、着目位置の画素２１１を含むライン２２０および２２１〜２２４と垂直方向の位相が一致する予備補間画素を生成するために使用する縮小ゲイン画像１０５の画素は、コントロール部３００の垂直カウンタ値が０の時と同様である。ただし、位相生成部３０３Ａ〜３０３Ｄの位相は、垂直カウンタ値に応じて図４（ａ）に対して変化する。例えば、ライン２２１と垂直方向の位相が一致する予備補間画素は、ライン４０１に対して垂直方向に１．５画素分だけ離れており、ライン４０２に対しては垂直方向に６．５画素分だけ離れている。よって、ライン４０１の画素値とライン４０２の画素値に対する重み付けの比率が６．５：１．５となるように線形補間を行うことで、ライン２２１と垂直方向の位相が一致する予備補間画素の値を求める。ライン２２０および２２２〜２２４と垂直方向の位相が一致する予備補間画素の値も同様に線形補間して生成される。
【００２９】
図４（ｃ）は、コントロール部３００の垂直カウンタ値が７の時の各画素の位置関係を表している。このとき、ライン２２１と垂直方向の位相が一致する予備補間画素は、縮小ゲイン画像１０５の２つのライン４０１,４０２それぞれの画素から線形補間して生成される。着目位置の画素２１１を含むライン２２０および周辺の参照画素を含むライン２２２，２２３のそれぞれと垂直方向の位相が一致する予備補間画素は、縮小ゲイン画像１０５の２つのライン４０２，４０３それぞれの画素から線形補間して生成される。周辺の参照画素を含むライン２２４と垂直方向の位相が一致する予備補間画素は、縮小ゲイン画像１０５の２つのライン４０３，４０４それぞれの画素から線形補間して生成される。図４（ｂ）の場合と同様に位相生成部３０３Ｂ〜３０３Ｄの位相は、垂直カウンタ値に応じて図４（ａ）に対して変化する。例えば、ライン２２１と垂直方向の位相が一致する予備補間画素は、ライン４０１に対して垂直方向に７．５画素分だけ離れており、ライン４０２に対しては垂直方向に０．５画素分だけ離れている。よって、ライン４０１の画素値とライン４０２の画素値に対する重み付けの比率が０．５：７．５となるように線形補間を行うことで、ライン２２１と垂直方向の位相が一致する予備補間画素の値を求める。ライン２２０および２２２〜２２４と垂直方向の位相が一致する予備補間画素の値も同様に線形補間して生成される。
【００３０】
図４（ａ）〜図４（ｃ）に示すように、着目位置の画素を含むライン２２０および周辺の参照画素を含むライン２２１〜２２４に含まれる予備補間画素を生成するために参照されるラインメモリは、垂直カウンタの値に応じて異なるものとなる。なお、本実施形態に係る画像処理装置では、１番上の周辺の参照画素２２１を含むラインを基準として位相を算出する。このため、参照画素２２１を含むラインと垂直方向の位相が一致する予備補間画素の生成の際には、位相には垂直カウンタ値がそのまま使用され、縮小ゲイン画像１０５のライン選択も常に同じ４０１，４０２となる。
【００３１】
図５は、垂直カウンタ値と、位相と、ラインメモリの関係の説明図である。図５に示すように、位相生成部３０３Ｂ〜３０３Ｅおよびライン選択部３０４Ａ〜３０４Ｅは、垂直カウンタ値に基づいて、それぞれ位相および入力ラインを制御する。垂直カウンタの値は、７の次は０に戻り、位相生成部３０３Ｂ〜３０３Ｅおよびライン選択部３０４Ａ〜３０４Ｅは、上記の動作を繰り返す。なお、上記の位相と入力ラインの関係は、縮小部１０４における縮小率と、合成部１０８で必要とする下階層画像の参照位置によって決まるものである。
【００３２】
次に、水平補間部３０８Ａ〜３０８Ｅは、垂直補間部３０５Ａ〜３０５Ｅで生成された予備補間画素を用いて、下階層画像２１０を生成する。図４（ａ）においてライン２２０〜２２４の最も左側に位置する参照画素は、図４（ａ）において縮小ゲイン画像１０５の最も左の列から０．５画素分だけ離れ、図４（ａ）において縮小ゲイン画像１０５の左から２番目の列から７．５画素分だけ離れている。よって、図４（ａ）において縮小ゲイン画像１０５の最も左の列と水平方向の位相が一致する予備補間画素の値と、左から２番目の列と水平方向の位相が一致する予備補間画素の値に対する重み付けの比率が７．５：０．５となるように線形補間を行う。こうすることで、ライン２２０〜２２４の最も左側に位置する参照画素の値が求まる。
【００３３】
同様に、図４（ａ）においてライン２２０〜２２４の左から５番目の列に位置する参照画素は、縮小ゲイン画像１０５の最も左の列から４．５画素分だけ離れ、縮小ゲイン画像１０５の左から２番目の列から３．５画素分だけ離れている。よって、図４（ａ）において縮小ゲイン画像１０５の最も左の列と水平方向の位相が一致する予備補間画素の値と、左から２番目の列と水平方向の位相が一致する予備補間画素の値に対する重み付けの比率が３．５：４．５となるように線形補間を行う。こうすることで、ライン２２０〜２２４の左から２番目の列に位置する参照画素の値が求まる。
【００３４】
他の列の参照画素、および、図４（ｂ）および図４（ｃ）のときの各参照画素についても、同様の演算方法で参照画素の値を求めることができる。このように処理することで、ライン２２０〜２２４の各ラインにおける参照画素を線形補間により求め、出力することができる。
【００３５】
次に合成部１０８による合成処理について説明する。上階層画像であるゲイン画像１０３は、下階層画像である縮小ゲイン画像１０５に対して解像度が高い。よって、上階層画像は、入力画像のある領域と別の領域の境界部分のような、ゲインが急激に変化する箇所において、より正確なゲイン値を持つ一方で、ある領域内におけるノイズ成分にも敏感に反応してしまう。下階層画像は、上階層画像に対して反対に領域の境界に対してはゲイン値がなまってしまうが、ノイズ成分に対してはロバストになる。このため、合成部１０８は、領域と領域の境界部分に対しては上階層画像のゲインの重みを大きくし、それ以外に対しては下階層画像のゲインの重みを大きくするような合成処理を行う必要がある。
【００３６】
本実施形態に係る合成部１０８は、以下のような重み付けを行う。まず、合成部１０８は、図２（ｂ）の着目位置の周辺に離散的に配置された１６画素と、上階層画像の着目位置の画素との差分絶対値を取る。次に、合成部１０８は、図６のグラフに示すように、差分絶対値が小さい程、重みが大きくなるような重み係数を算出し、着目位置の周辺の１６画素に対して重み係数を乗算する。この図６のグラフに示す重み係数は、上階層画像の着目位置の画素値と下階層画像の着目位置の画素値の差分に応じて変化する。具体的には、上階層画像の着目位置の画素値と下階層画像の着目位置の画素値の差分が大きくなるほど、上階層画像の着目位置の画素との下階層画像の参照画素の差分絶対値に対する重み係数が大きくなる。次に、合成部１０８は、重み係数を乗算した１６画素を加算し、重み係数で正規化する。合成部１０８は、この正規化した値を出力ゲインとする。上記のような重み付けを行うことにより、周辺の１６画素のうち、上階層画像の着目位置の画素と近い値程大きい重みを付与することができる。また、重み付けしたゲインを加算して正規化することにより、ノイズ成分にロバストになり、領域の境界に対しては敏感に切り替わるようなゲインを生成することができる。なお、上階層画像の着目位置の画素値と下階層画像の着目位置の画素値の差分に応じて変化しない構成とすれば、下階層画像の着目位置の画素を含むライン２２０の画素を生成する必要がなくなる。よって、ライン２２０の画素を生成するための図３の位相差生成部３０３Ｃ〜水平補間部３０８Ｃを省略することが可能となる。
【００３７】
本実施形態に係る画像処理装置が使用するラインメモリの画素数は次の通りである。補間拡大部１０６に入力される画像は縮小ゲイン画像１０５であり、水平画素数は４０００／８＝５００画素である。画素の走査と垂直方向に必要な参照画素の範囲は上下それぞれの方向に６画素分であり、図４を参照しつつ説明した通り、必要なラインメモリのライン数は４本になる。よって５００×４＝２０００画素となる。一方で、従来技術のように、補間拡大処理および合成処理それぞれにおいてラインメモリを使用する場合には、バイリニア拡大時に４０００／８＝５００画素、合成処理では４０００×１２＝４８０００画素、合計４８５００画素分のラインメモリが必要になる。すなわち、本実施形態に係る画像処理装置は、従来に比べて、大幅に回路規模の削減効果が期待できる。このように、本実施形態に係る画像処理装置は、階層処理で補間拡大後に着目位置の画素の周辺の画素を参照するフィルタ処理を小さい回路規模で実現することができる。
【００３８】
本実施形態に係る画像処理装置の変更例としては、補間拡大部１０６の拡大率および合成部１０８の下階層画像において利用される周辺の参照画素の範囲は、入力画像に応じて、又はデジタル覆い焼きにおけるゲインの大小に応じて可変にしてもよい。例えば、画像処理装置は、入力画像において被写体が大きく写っている場合は、縮小率を上げて被写体全体に対してゲインを掛けるように制御してもよい。本実施形態に係る画像処理装置においては、拡大率や周辺の参照画素の範囲が変更になった場合においても、位相生成部３０３Ｂ〜３０３Ｅを制御すればよい。これにより、合成部１０８による合成処理の内容を変更することなく、容易に対応することができる。
【００３９】
また、本実施形態ではデジタル覆い焼きを例に挙げて説明を行ったが、これに限られるものではない。画像に含まれるノイズを抑圧するため、撮像素子で生成された画像を複数の階層に分離し、それぞれの階層の画像にノイズ抑圧処理を行った後に、各階層の画像を合成する処理においても利用することができる。
【００４０】
また、本実施形態に係る画像処理装置は、上階層画像と下階層画像の合成を行うが、上階層画像と下階層画像を用いた演算の種類は、合成に限定されるものではない。
【００４１】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００４２】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００４３】
１０４  縮小部
１０６  補間拡大部
１０８  合成部
【図１】
0006465669.tif 000002
【図２】
0006465669.tif 000003
【図３】
0006465669.tif 000004
【図４】
0006465669.tif 000005
【図５】
0006465669.tif 000006
【図６】
0006465669.tif 000007