(57)【特許請求の範囲】
【請求項１】
単板撮像素子を用いて画像を撮像するカラーカメラにより撮像された画像を補正する画像補正装置において、
前記撮像された画像に基づいてＲ、Ｇ、Ｂそれぞれのベースバンド成分と高域成分をフィルタリングにより生成するフィルタ手段と、
前記フィルタ手段により生成されたＲ、Ｇ、Ｂそれぞれのベースバンド成分と高域成分を用いてＲ、Ｇ、Ｂの信号処理を行うＲＧＢ処理手段と、
を備え、
前記撮像された画像はベイヤ配列の画像であり、
前記フィルタ手段は、ベースバンド成分と高域成分のそれぞれについて、左右がＲであるＧ、左右がＢであるＧ、Ｒ、Ｂのそれぞれが中心である場合におけるフィルタ係数を用いてフィルタリングを行うことにより、Ｒ、Ｇ、Ｂそれぞれのベースバンド成分と高域成分を生成し、
前記ＲＧＢ処理手段は、Ｒ、Ｇ、Ｂそれぞれについて、前記フィルタ手段により生成されたベースバンド成分と高域成分を合成することによりモアレを低減し、また、モアレが低減させられたＲ、Ｇ、Ｂそれぞれについて、Ｒ、Ｇ、ＢのうちのＧの高域成分又は少なくともＧを含む２つ以上の高域成分の合成結果を合成することにより解像度を向上させる、
ことを特徴とする画像補正装置。
【請求項２】
請求項１に記載の画像補正装置において、
前記ＲＧＢ処理手段は、Ｒ、Ｇ、Ｂそれぞれについて、ベースバンド成分と第１の系数により調整した高域成分とを合成することによりモアレを低減し、また、モアレが低減させられたＲ、Ｇ、Ｂそれぞれについて、Ｒ、Ｇ、ＢのうちのＧの高域成分又は少なくともＧを含む２つ以上の高域成分の合成結果を第２の係数により調整してから合成することにより解像度を向上させるものであり、
前記第２の係数として、前記第１の系数と連動した係数を用いる、
ことを特徴とする画像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単板撮像素子を用いて画像を撮像するカラーカメラ（単板カラーカメラ）により撮像された画像を補正する画像補正装置に関し、特に、色モアレや解像度を補正する画像補正装置に関する。
【背景技術】
【０００２】
単板カラーカメラでは、単板撮像素子を用いて画像を撮像する。
従来例に係る単板カラーカメラでは、撮像された画像を補正する方法として、例えば、周囲の画素から補間することを行う単純な色復調方式が使用されていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３６６０５０４号公報
【特許文献２】特許第３０７９８３９号公報
【特許文献３】特許第４０４３１９７号公報
【特許文献４】特許第３６４９８４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来では、単板カラーカメラにおいて、単純に色分離を行うと、色モアレや解像度を失った画像になってしまうといった問題があった。
本発明は、このような従来の事情に鑑み為されたもので、単板カラーカメラにより撮像された画像を補正する場合に、色モアレや解像度を補正することができる画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明では、単板撮像素子を用いて画像を撮像するカラーカメラにより撮像された画像を補正する画像補正装置において、次のような構成とした。
すなわち、前記撮像された画像に基づいてＲ、Ｇ、Ｂそれぞれのベースバンド成分と高域成分をフィルタリングにより生成するフィルタ手段と、前記フィルタ手段により生成されたＲ、Ｇ、Ｂそれぞれのベースバンド成分と高域成分を用いてＲ、Ｇ、Ｂの信号処理を行うＲＧＢ処理手段と、を備えた。
【０００６】
一構成例として、本発明に係る画像補正装置では、次のような構成とした。
すなわち、前記撮像された画像はベイヤ配列の画像であり、前記フィルタ手段は、ベースバンド成分と高域成分のそれぞれについて、左右がＲであるＧ、左右がＢであるＧ、Ｒ、Ｂのそれぞれが中心である場合におけるフィルタ係数を用いてフィルタリングを行うことにより、Ｒ、Ｇ、Ｂそれぞれのベースバンド成分と高域成分を生成し、前記ＲＧＢ処理手段は、Ｒ、Ｇ、Ｂそれぞれについて、前記フィルタ手段により生成されたベースバンド成分と高域成分を合成することによりモアレを低減し、また、モアレが低減させられたＲ、Ｇ、Ｂそれぞれについて、Ｒ、Ｇ、ＢのうちのＧの高域成分又は少なくともＧを含む２つ以上の高域成分の合成結果を合成することにより解像度を向上させる。
【発明の効果】
【０００７】
以上説明したように、本発明に係る画像補正装置によると、色モアレや解像度を補正することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施例に係る色分離装置（画像補正装置）の構成例を示す図である。
【図２】フィルタ部の入力の状況の一例を示す図である。
【図３】フィルタ部のＲ処理機能で使用されるフィルタ係数の一例を示す図である。
【図４】フィルタ部のＧ処理機能で使用されるフィルタ係数の一例を示す図である。
【図５】フィルタ部のＢ処理機能で使用されるフィルタ係数の一例を示す図である。
【図６】入力画像の構成例を示す図である。
【図７】［１］３ライン（ｌｉｎｅ）色分離方式（各画素アドレスごとのＲＧＢ復調式）の一例を示す図である。
【図８】［２］スムージング処理の一例を示す図である。
【図９】［３］Ｒ、Ｇ、Ｂ復調係数（ｋ：スムージング係数）の一例を示す図である。
【図１０】［４］高域補正（ｋ：スムージング係数）の一例を示す図である。
【発明を実施するための形態】
【０００９】
本発明に係る実施例を図面を参照して説明する。
図１には、本発明の一実施例に係る画像補正装置である色分離装置（実回路に使用する補正回路）の構成例を示してある。
本例の色分離装置は、ブラック処理部１、４個の１ラインメモリ２、３、４、５、白キズ補正部６、２０個のフリップフロップ（ＦＦ）１１〜３０、Ｒ（赤）処理機能５１とＧ（緑）処理機能５２とＢ（青）処理機能５３を有するフィルタ部４１、係数乗算部６１、加算器６２、Ｒ色収差補正部６３、Ｒゲイン部６４、加算器６５、Ｒ信号に関するリニアマトリックス以降の信号処理部６６、係数乗算部７１、加算器７２、係数乗算部７３、遅延部７４、加算器７５、遅延部７６、加算器７７、Ｇ信号に関するリニアマトリックス以降の信号処理部７８、係数乗算部８１、加算器８２、Ｂ色収差補正部８３、Ｂゲイン部８４、加算器８５、Ｂ信号に関するリニアマトリックス以降の信号処理部８６を備えている。
【００１０】
本例の色分離装置における各処理部の接続関係を説明する。
なお、本例では、単板カラーカメラの撮像素子（センサー）として、４Ｋのセンサーが用いられている。
センサーからの出力がブラック処理部１の入力に接続されており、ブラック処理部１の出力が第１の１ラインメモリ２の入力に接続されており、また、第１の１ラインメモリ２に続いて第２の１ラインメモリ３、第３の１ラインメモリ４、第４の１ラインメモリ５が直列に接続されている。
【００１１】
ブラック処理部１の出力と各１ラインメモリ２〜５の出力は、それぞれ、白キズ補正部６のそれぞれの入力と接続されており、また、白キズ補正部６のそれぞれの出力は、直列に接続された４個のフリップフロップ（それぞれ、フリップフロップ１１〜１４、フリップフロップ１５〜１８、フリップフロップ１９〜２２、フリップフロップ２３〜２６、フリップフロップ２７〜３０）の初段の入力に接続されている。
白キズ補正部６のそれぞれの出力と各フリップフロップ１１〜３０の出力は、フィルタ部４１のそれぞれの入力に接続されている。
【００１２】
フィルタ部４１のＲ処理機能５１の出力（Ｒ復調ベースバンドの成分）が加算器６２の入力（１個の入力）に接続されており、また、加算器６２に続いてＲ色収差補正部６３、Ｒゲイン部６４、加算器６５、Ｒ信号に関するリニアマトリックス以降の信号処理部６６が直列に接続されている。
フィルタ部４１のＲ処理機能５１の出力（Ｒ高域成分）が係数乗算部６１の入力及びＧ信号に関する加算器７２の入力（１個の入力）に接続されており、また、係数乗算部６１の出力が加算器６２の入力（１個の入力）に接続されている。
【００１３】
フィルタ部４１のＧ処理機能５２の出力（Ｇ復調ベースバンドの成分）が加算器７５の入力（１個の入力）に接続されており、また、加算器７５に続いて遅延部７６、加算器７７、Ｇ信号に関するリニアマトリックス以降の信号処理部７８が直列に接続されている。
フィルタ部４１のＧ処理機能５２の出力（Ｇ高域成分）が係数乗算部７１の入力及び加算器７２の入力（１個の入力）に接続されており、また、係数乗算部７１の出力が加算器７５の入力（１個の入力）に接続されている。
加算器７２に続いて、係数乗算部７３、遅延部７４が直列に接続されている。遅延部７４の出力が加算器７７の入力（１個の入力）、Ｒ信号に関する加算器６５の入力（１個の入力）、Ｂ信号に関する加算器８５の入力（１個の入力）に接続されている。
【００１４】
フィルタ部４１のＢ処理機能５３の出力（Ｂ復調ベースバンドの成分）が加算器８２の入力（１個の入力）に接続されており、また、加算器８２に続いてＢ色収差補正部８３、Ｂゲイン部８４、加算器８５、Ｂ信号に関するリニアマトリックス以降の信号処理部８６が直列に接続されている。
フィルタ部４１のＢ処理機能５３の出力（Ｂ高域成分）が係数乗算部８１の入力及びＧ信号に関する加算器７２の入力（１個の入力）に接続されており、また、係数乗算部８１の出力が加算器８２の入力（１個の入力）に接続されている。
【００１５】
図２には、フィルタ部４１の入力の状況の一例を示してある。
処理対象となる画像が縦横の複数のブロック（画素）から構成され、横方向の位置を・・・、Ｘ−３、Ｘ−２、Ｘ−１、Ｘ０、Ｘ１、Ｘ２、Ｘ３、・・・と表し、縦方向の位置を・・・、Ｙ−３、Ｙ−２、Ｙ−１、Ｙ０、１Ｙ、Ｙ２、Ｙ３、・・・と表すと、フィルタ部４１には、（Ｘ０、Ｙ０）を中心とした２５ブロック分の信号が入力される。
【００１６】
図３には、フィルタ部４１のＲ処理機能５１で使用されるフィルタ係数の一例を示してある。
図４には、フィルタ部４１のＧ処理機能５２で使用されるフィルタ係数の一例を示してある。
図５には、フィルタ部４１のＢ処理機能５３で使用されるフィルタ係数の一例を示してある。
【００１７】
図３、図４、図５では、それぞれ、上側の４組のフィルタ係数は復調ベースバンド（Ｒ復調ベースバンド、Ｇ復調ベースバンド、Ｂ復調ベースバンド）の信号を生成するために使用され、下側の４組のフィルタ係数は高域成分（Ｒ高域成分、Ｇ高域成分、Ｂ高域成分）を生成するために使用される。また、上側と下側の各々で横に並んでいる４組のフィルタ係数は、左から右へ順に、（Ｘ０、Ｙ０）がＧ（その左右のブロックがＲであるとき）である場合、（Ｘ０、Ｙ０）がＧ（その左右のブロックがＢであるとき）である場合、（Ｘ０、Ｙ０）がＲである場合、（Ｘ０、Ｙ０）がＢである場合に使用される。
【００１８】
図３、図４、図５において、前記した各組のフィルタ係数では、（Ｘ０、Ｙ０）を中心とした２５ブロック分のフィルタ係数を示してあり、数値が記載されていないブロックはフィルタ係数が０であることを示す。フィルタ部４１に入力される２５ブロック分の信号のそれぞれと対応したフィルタ係数が乗算されて、その乗算結果を総和した結果が出力信号（復調ベースバンド又は高域成分の信号）として得られる。
なお、前記した各組のフィルタ係数を示した２５ブロックの表示では、左上の方のブロックについて、Ｒ（赤）、Ｇ（緑）、Ｂ（青）を示してあり、それによって他のブロックについてもＲ、Ｇ、Ｂが特定される。
【００１９】
図６には、センサーからブラック処理部１に入力される画像の構成例を示してあり、本例では、同様な画像がフィルタ部４１に入力される。
本例では、ベイヤ配列の画像が用いられている。
具体的には、画像が、縦横の複数のブロック（画素）から構成され、これらのブロックについて、横方向にＧ、Ｂ、Ｇ、Ｂ、・・・と並んだ行と、横方向にＲ、Ｇ、Ｒ、Ｇ、・・・と並んだ行が、縦方向に交互に並べられて構成されている。
【００２０】
本例の色分離装置において行われる動作の例を示す。
センサーからの画像信号についてブラック処理部１により黒レベルの補正処理が行われ、その処理後の画像信号が４個の直列の１ラインメモリ２〜５によりそれぞれ１ライン分（画像の縦方向の１行分）遅延させられる。
ブラック処理部１からの出力（遅延無し）と、第１の１ラインメモリ２からの出力（１ライン分遅延）と、第２の１ラインメモリ３からの出力（２ライン分遅延）と、第３の１ラインメモリ４からの出力（３ライン分遅延）と、第４の１ラインメモリ５からの出力（４ライン分遅延）が、それぞれ、白キズ補正部６により白キズ補正処理が施された後に、４個の直列のフリップフロップ（それぞれ、フリップフロップ１１〜１４、フリップフロップ１５〜１８、フリップフロップ１９〜２２、フリップフロップ２３〜２６、フリップフロップ２７〜３０）により遅延させられる。
【００２１】
ここで、各フリップフロップ１１〜３０では、画像の横方向の１ブロック（１画素）分だけ画像信号が遅延させられる。これにより、白キズ補正部６からフィルタ部４１へ入力される５個の画像信号と、各フリップフロップ１１〜３０からフィルタ部４１へ入力される２０個の画像信号とのまとまりが、（Ｘ０、Ｙ０）を中心とした２５ブロック分の画像信号つまり横方向の位置がＸ−２からＸ２で縦方向の位置がＹ−２からＹ２の範囲にある２５ブロック分の画像信号となる。
【００２２】
フィルタ部４１は、２５ブロック分の入力についてフィルタ係数を使用してフィルタリングを行い、その結果の信号を出力する。具体的には、Ｒ処理機能５１、Ｇ処理機能５２、Ｂ処理機能５３のそれぞれにより、（Ｘ０、Ｙ０）の要素（左右がＲのＧ、左右がＢのＧ、Ｒ、Ｂ）に対応し且つ復調ベースバンドであるか或いは高域成分であるかに対応したフィルタ係数を使用して、２５ブロック分の入力について対応するフィルタ係数との乗算及び２５ブロック分の乗算結果の総和を行い、その結果の信号である復調ベースバンド（Ｒ復調ベースバンド、Ｇ復調ベースバンド、Ｂ復調ベースバンド）の成分の信号及び高域成分（Ｒ高域成分、Ｇ高域成分、Ｂ高域成分）の信号を出力する。
【００２３】
Ｒの系統について説明する。
フィルタ部４１から出力されたＲ高域成分の信号に所定の係数Ｋが係数乗算部６１により乗算され、その結果の信号とフィルタ部４１から出力されたＲ復調ベースバンドの信号とが加算器６２により加算され、その結果の信号についてＲ色収差補正部６３によりＲ色収差の補正が行われた後にＲゲイン部６４によりゲインの調整（例えば、所定の値の乗算）が行われて、その結果の信号が出力される。
Ｒゲイン部６４からの出力信号と遅延部７４からの信号とが加算器６５により加算され、その結果の信号がＲ信号に関するリニアマトリックス以降の信号処理部６６により処理される。
【００２４】
Ｇの系統について説明する。
フィルタ部４１から出力されたＧ高域成分の信号に所定の係数Ｋが係数乗算部７１により乗算され、その結果の信号とフィルタ部４１から出力されたＧ復調ベースバンドの信号とが加算器７５により加算され、その結果の信号が遅延部７６により遅延させられ、その遅延させられた信号と遅延部７４からの信号とが加算器７７により加算され、その結果の信号がＧ信号に関するリニアマトリックス以降の信号処理部７８により処理される。
フィルタ部４１から出力されたＧ高域成分の信号とＲ高域成分の信号とＢ高域成分の信号が加算器７２により加算され、その結果の信号に所定の係数（Ｎ×（−Ｋ））が係数乗算部７３により乗算され、その結果の信号が遅延部７４により遅延させられる。
【００２５】
Ｂの系統について説明する。
フィルタ部４１から出力されたＢ高域成分の信号に所定の係数Ｋが係数乗算部８１により乗算され、その結果の信号とフィルタ部４１から出力されたＢ復調ベースバンドの信号とが加算器８２により加算され、その結果の信号についてＢ色収差補正部８３によりＢ色収差の補正が行われた後にＢゲイン部８４によりゲインの調整（例えば、所定の値の乗算）が行われて、その結果の信号が出力される。
Ｂゲイン部８４からの出力信号と遅延部７４からの信号とが加算器８５により加算され、その結果の信号がＢ信号に関するリニアマトリックス以降の信号処理部８６により処理される。
【００２６】
本例では、Ｒ復調ベースバンドの信号とＲ高域成分の信号（本例では、Ｋ倍したもの）とを加算することでＲモアレが低減され、Ｇ復調ベースバンドの信号とＧ高域成分の信号（本例では、Ｋ倍したもの）とを加算することでＧモアレが低減され、Ｂ復調ベースバンドの信号とＢ高域成分の信号（本例では、Ｋ倍したもの）とを加算することでＢモアレが低減される。
また、本例では、Ｒ高域成分の信号とＧ高域成分の信号とＢ高域成分の信号を加算した結果の信号（本例では、（Ｎ×（−Ｋ））倍したもの）が輝度信号に対応するものとなり、その信号をＲ、Ｇ、Ｂの各信号に加算することで、解像度を向上させることができる。
つまり、本例では、色モアレを低減するために解像度が劣化するのに対して、輝度信号を加えることにより、その劣化した解像度を良好にすることができ、色モアレの低減と解像度の良好化の両方を得ることができる。
【００２７】
ここで、モアレの低減は、例えば、低い画素数である場合に効果が大きい。
また、本例では、モアレの低減により、高域低下するが、この補正をＧの高域成分で行っている。
また、本例では、高域補正前に色収差補正を行っている。なお、今回はこのように実現したが、色収差補正は色復調前に処理しても効果的である。
また、Ｋの値としては、例えば、任意に設定や調整がされてもよく、具体例として、Ｋとして０或いは０．２５或いは０．５或いは０．７５などを用いることができる。
また、Ｎの値としては、例えば、任意に設定や調整がされてもよく、具体例として、Ｎ＝１〜３（０．２５ｓｔｅｐ）程度を用いることができる。
【００２８】
また、ブラック処理部１の処理や、白キズ補正部６の処理や、Ｒ色収差補正部６３の処理や、Ｂ色収差補正部８３の処理や、Ｒ、Ｇ、Ｂのリニアマトリックス以降の信号処理部６６、７８、８６の処理としては、例えば、公知のものを利用することが可能である。
なお、本例では、色収差はＧを基準にして補正されており、また、リニアマトリックスの処理では輝度信号と色信号への分離の処理が行われる。
また、各遅延部７４、７６は、処理タイミングを合わせるために用いられている。
【００２９】
以上のように、本例の色分離装置では、単板撮像素子を用いたカラーカメラにおいて単純に色分離を行うと色モアレがあり解像度を失った画像になってしまうという現象を、隣接した画素を用い、簡単な低域フィルタ、高域フィルタを使用して補正する。
具体的には、縦×横のエリア（ブロック）を作成し、簡単な低域フィルタ、高域フィルタを使用して補正する。フィルタの係数を変更することが可能な構成としてもよいが、基本的にはフィルタの後に係数（Ｋ）をかけることで、画質を調整することにより、その調整を容易化する。
【００３０】
また、例えば、回路規模を限定するシステム及び色収差が存在するシステムにおいては、Ｇｃｈ（Ｇチャネル）などのように解像度が最も得られる信号のみを用いて高域部を補正することも可能である。
具体例として、Ｇ高域成分の信号にＲ高域成分の信号とＢ高域成分の信号を加算する加算器７２を備えずに、フィルタ部４１から出力されるＧ高域成分の信号を係数乗算部７３に入力するような構成とすることも可能である。
【００３１】
従って、本例の色分離装置では、色モアレを除去する低域補正を行うことができ、また、高解像感が得られる高域補正を行うことができ、これにより、色モアレを除去した且つ高解像感が得られる補正画像（補正映像）を得ることができる。
具体例として、単板カラーカメラにおける低域（モアレ）及び高域（解像度）の補正を行うことができる。
本例の色分離装置の適用例として、撮像素子を使用するビデオ又はデジタルカメラの画素を補正することができ、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）カメラなどに実装することができる。
【００３２】
次に、図７〜図１０を参照して、本例の色復調方式についての検討内容を示す。
なお、図７、図９、図１０における２５ブロックの表示では、左上の方のブロックについて、Ｒ（赤）、Ｇ（緑）、Ｂ（青）を示してあり、それによって他のブロックについてもＲ、Ｇ、Ｂが特定される。
【００３３】
図７には、［１］３ライン（ｌｉｎｅ）色分離方式（各画素アドレスごとのＲＧＢ復調式）の一例を示してあり、本例では、（Ｘ０、Ｙ０）のアドレスの画素がＧ（左右がＲであるもの）である場合について例示してある。
【００３４】
図８には、［２］スムージング処理の一例を示してある。
本例では、（Ｘ０、Ｙ０）のアドレスを取り囲む８画素を、スムージング係数ｋで、（Ｘ０、Ｙ０）のアドレスの画素に混合する。
（１）ＲＧＢスムージング処理（色モアレの低減処理）と輝度信号による高域補正処理を行う。なお、ｋの値は、例えば、０〜０．１の間と予想される。ｋ＝０．０８３であるときには、水平（横）・垂直（縦）方向で０．２５、０．５、０．２５の画素加算となる。
（２）スムージング処理後の（Ｘ０、Ｙ０）のアドレスのＲＧＢ信号がそれぞれ、スムージング係数ｋを用いて表される。
（３）各アドレスのＲＧＢそれぞれの復調式を代入して整理する。
【００３５】
図９には、［３］Ｒ、Ｇ、Ｂ復調係数（ｋ：スムージング係数）の一例を示してある。
（Ｘ０、Ｙ０）のアドレスのＲ、Ｇ、Ｂを復調するための各画素の復調係数が求められる。
【００３６】
図１０には、［４］高域補正（ｋ：スムージング係数）の一例を示してある。
高域補正信号のモアレを少なくするためには、Ｒ、Ｇ、Ｂの信号レベルを揃えた上で輝度成分を生成する必要がある。
Ｒ、Ｇ、Ｂそれぞれのレベル調整のゲイン、（Ｘ０、Ｙ０）のアドレスのＲ、Ｇ、Ｂそれぞれの高域補正信号により、（全体の）高域補正信号が得られる。
そして、（Ｘ０、Ｙ０）のアドレスの高域補正信号の各画素の復調係数が求められる。
【００３７】
（以下、構成例の説明）
一構成例として、単板撮像素子を用いて画像を撮像するカラーカメラにより撮像された画像（本例では、センサーからの画像）を補正する画像補正装置（本例では、図１に示される色分離装置）において、次のような構成とした。
すなわち、フィルタ手段（本例では、フィルタ部４１の機能）が、前記撮像された画像に基づいて、Ｒ、Ｇ、Ｂそれぞれのベースバンド成分と高域成分をフィルタリングにより生成する。ＲＧＢ処理手段（本例では、フィルタ部４１とリニアマトリックス以降の信号処理部６６、７８、８６との間の処理部の機能）が、前記フィルタ手段により生成されたＲ、Ｇ、Ｂそれぞれのベースバンド成分と高域成分を用いて、Ｒ、Ｇ、Ｂの信号処理を行う。
【００３８】
従って、フィルタリングにより生成されたＲ、Ｇ、Ｂそれぞれのベースバンド成分と高域成分を用いて、例えば、色モアレや解像度を補正することができる。
ここで、補正対象となる画像や、フィルタリングのフィルタ係数などの態様や、Ｒ、Ｇ、Ｂの信号処理の内容や、画像補正装置の構成などとしては、それぞれ、種々な態様が用いられてもよい。
【００３９】
一構成例として、上記のような画像補正装置において、次のような構成とした。
すなわち、前記撮像された画像はベイヤ配列の画像（本例では、図６に示されるような画像）である。前記フィルタ手段は、ベースバンド成分と高域成分のそれぞれについて、左右がＲであるＧ、左右がＢであるＧ、Ｒ、Ｂのそれぞれが中心である場合におけるフィルタ係数（本例では、図３、図４、図５に示されるフィルタ係数）を用いてフィルタリングを行うことにより、Ｒ、Ｇ、Ｂそれぞれのベースバンド成分と高域成分を生成し、
前記ＲＧＢ処理手段は、Ｒ、Ｇ、Ｂそれぞれについて、前記フィルタ手段により生成されたベースバンド成分と高域成分を合成すること（本例では、加算器６２、７５、８２により合成（加算）すること）によりモアレを低減し、また、モアレが低減させられたＲ、Ｇ、Ｂそれぞれについて、Ｒ、Ｇ、ＢのうちのＧの高域成分又は少なくともＧを含む２つ以上の高域成分の合成結果（本例では、加算器７２により得られるＲ、Ｇ、Ｂ全ての高域成分の合成（加算）結果）を合成すること（本例では、加算器６５、７７、８５により合成（加算）すること）により解像度を向上させる。
【００４０】
従って、フィルタリングにより生成されたＲ、Ｇ、Ｂそれぞれのベースバンド成分と高域成分を用いて、色モアレや解像度を補正することができる。
ここで、ベースバンド成分と高域成分を合成することによりモアレを低減する構成としては、例えば、ベースバンド成分或いは高域成分の一方又は両方のレベルが調整されてもよく、また、例えば、ベースバンド成分から高域成分が減算（正負を逆にして加算でもよい）されることにより、モアレが低減させられるような構成を用いることができる。
また、Ｒ、Ｇ、Ｂ全ての高域成分の合成結果を用いる場合には、例えば、Ｒ、Ｇ、Ｂからなる輝度信号を用いた補正を行うことが可能である。
（以上、構成例の説明）
【００４１】
（実施例のまとめ）
ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々なシステムや装置として提供することも可能である。
また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係るシステムや装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。
また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。
【符号の説明】
【００４２】
１・・ブラック処理部、  ２〜５・・１ラインメモリ、  ６・・白キズ補正部、  １１〜３０・・フリップフロップ、  ４１・・フィルタ部、  ５１・・Ｒ処理機能、  ５２・・Ｇ処理機能、  ５３・・Ｂ処理機能、  ６１、７１、７３、８１・・係数乗算部、  ６２、６５、７２、７５、７７、８２、８５・・加算器、  ６３・・Ｒ色収差補正部、  ６４・・Ｒゲイン部、  ６６、７８、８６・・リニアマトリックス以降の信号処理部、  ７４、７６・・遅延部、  ８３・・Ｂ色収差補正部、  ８４・・Ｂゲイン部、
【図１】
0005623242.tif 000002
【図２】
0005623242.tif 000003
【図３】
0005623242.tif 000004
【図４】
0005623242.tif 000005
【図５】
0005623242.tif 000006
【図６】
0005623242.tif 000007
【図７】
0005623242.tif 000008
【図８】
0005623242.tif 000009
【図９】
0005623242.tif 000010
【図１０】
0005623242.tif 000011