(57)【要約】【課題】画素配列を異なる画素配列に変換する処理を高品質に実行可能とする。【解決手段】画像信号処理部は、入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックが配列されたモザイク画像が入力される。画像信号処理部は、入力画像に含まれる所定色の画素の画素信号に基づき、入力画像の全面に補間処理を行って第１の画像信号を生成する。画像信号処理部は、入力画像に基づき、注目画素のレンズに対する相対位置に基づく差分を含み、且つ、第１の画像信号より解像度の低い第２の画像信号を生成する。画像信号処理部は、第１の画像信号から第２の画像信号を減じた成分に基づき、変換後の位置が注目画素の位置に対応する変換画素を生成する。【選択図】図１０
2020043435.tif 000002
【特許請求の範囲】
【請求項１】
入力画像における画素信号に対する信号処理を実行する画像信号処理部を備え、
前記画像信号処理部は、
前記入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックが配列されたモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第１の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第１の画像信号より解像度の低い第２の画像信号を生成し、
前記第１の画像信号から前記第２の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
画像処理装置。
【請求項２】
前記画像信号処理部は、
前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第１の画像信号より解像度の低い第３の画像信号をさらに生成し、
前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第３の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する
請求項１に記載の画像処理装置。
【請求項３】
前記画像信号処理部は、
前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する
請求項１に記載の画像処理装置。
【請求項４】
前記画像信号処理部は、
前記注目画素における出力の色が前記所定色以外の色である場合に、
前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第３の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する
請求項２に記載の画像処理装置。
【請求項５】
前記画像信号処理部は、
前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記方向を求める
請求項１に記載の画像処理装置。
【請求項６】
前記画像信号処理部は、
予め色バランスが調整された前記入力画像による画素信号を用いて前記方向を求める
請求項１に記載の画像処理装置。
【請求項７】
前記画像信号処理部は、
前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第１の画像信号を生成する
請求項１に記載の画像処理装置。
【請求項８】
前記画像信号処理部は、
前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する
請求項１に記載の画像処理装置。
【請求項９】
前記画素ブロックは、４の同一色画素が格子状に配列され、該４の同一色画素に対して共通に１のレンズが配される
請求項１に記載の画像処理装置。
【請求項１０】
前記入力画像は、
同一色画素がｎ画素×ｎ画素（ｎは２以上の整数）の格子状に配置された画素ブロックが、同一色画素による該画素ブロックが隣接しないパターンに従い配列され、
該画素ブロックに含まれる、ｍ画素×ｍ画素（ｍはｎ以下且つ２以上の整数）の格子状の配列に対して共通に１のレンズが配される
請求項１に記載の画像処理装置。
【請求項１１】
入力画像における画素信号に対する信号処理を実行する画像信号処理部を含む画像処理装置が、
前記入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第１の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第１の画像信号より解像度の低い第２の画像信号を生成し、
前記第１の画像信号から前記第２の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
画像処理方法。
【請求項１２】
前記画像処理装置が、
前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第１の画像信号より解像度の低い第３の画像信号をさらに生成し、
前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第３の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する
請求項１１に記載の画像処理方法。
【請求項１３】
前記画像処理装置が、
前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する
請求項１１に記載の画像処理方法。
【請求項１４】
前記画像処理装置が、
前記注目画素における出力の色が前記所定色以外の色である場合に、
前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第３の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する
請求項１２に記載の画像処理方法。
【請求項１５】
前記画像処理装置が、
前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記方向を求める
請求項１１に記載の画像処理方法。
【請求項１６】
前記画像信号処理部は、
予め色バランスが調整された前記入力画像による画素信号を用いて前記方向を求める
請求項１１に記載の画像処理方法。
【請求項１７】
前記画像処理装置が、
前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第１の画像信号を生成する
請求項１１に記載の画像処理方法。
【請求項１８】
前記画像信号処理部は、
前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する
請求項１１に記載の画像処理方法。
【請求項１９】
入力画像における画素信号に対する信号処理を実行する画像信号処理部を含む画像処理装置に、
前記入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第１の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第１の画像信号より解像度の低い第２の画像信号を生成し、
前記第１の画像信号から前記第２の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
処理を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
ディジタルカメラなどの撮像装置に利用される撮像素子は、例えばＲ（赤色）、Ｇ（緑色）およびＢ（青色）の各色のカラーフィルタが装着され、各画素に特定波長の光を入射する構成となっている。このカラーフィルタの配列としては、２つのＧ色のカラーフィルタと、それぞれ１つのＲ色およびＢ色のカラーフィルタとを、同色のフィルタが隣接しないように、２画素×２画素の配列に配置したベイヤ（Ｂａｙｅｒ）配列が多く利用されている。
【０００３】
これに対して、ベイヤ配列と異なるカラーフィルタ配列も提案されている。このベイヤ配列と異なるカラーフィルタ配列の一つとして、ベイヤ配列の各画素を、２画素×２画素からなる４画素に分割したカラーフィルタ配列が知られている（例えば特許文献１）。この配列を、４分割ベイヤ型ＲＧＢ配列と呼ぶ。
【０００４】
ところで、一般的には、撮像装置の信号処理回路は、ベイヤ配列による画素配列の撮像画像を前提とている。そのため、撮像素子に装着されるカラーフィルタの配列がベイヤ配列と異なる場合、撮像素子から出力される画像の画素配列を、ベイヤ配列による画素配列に変換して信号処理回路に入力することで、既存の信号処理回路をベイヤ配列と異なる画素配列に適用することが可能となる。このように、撮像画像の画素配列を異なる画素配列に変換する処理を、リモザイク処理と呼ぶ。
【０００５】
既存のリモザイク処理は、Ｇ色の画素（以下、Ｇ画素）の画素値を各方向に沿って補間し、全面がＧ画素であると見做す全面Ｇ画像信号を作成する。変換先の画素がＧ画素の場合、全面Ｇ画像信号の画素値をそのまま用いる。一方、変換先の画素がＧ画素以外、例えばＲ画素の場合、全面Ｇ画像信号の画素値と、Ｒ画素の画素値とに基づきＲ画素の画素値を推測する。変換先の画素がＢ画素の場合も同様である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−６６１４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
画素においては、入射された光を画素に集光させるために、カラーフィルタ上にマイクロレンズ（ＯＣＬ：On  Chip  Lense）が設けられる。上述した４分割ベイヤ型ＲＧＢ配列においては、２画素×２画素からなる同一色の４画素に対して１つのマイクロレンズを設ける構造が考えられる。
【０００８】
しかしながら、複数の画素に１つのマイクロレンズを設けた場合、１つの光束が複数の画素に入射されることによる、複数画素の画素信号間での位相のズレや、マイクロレンズの位置ズレに起因する、複数画素間での感度差が、Ｇ画素の画素信号に含まれることになる。また、上述したように、Ｒ画素およびＢ画素の画素値は、Ｇ画素の画素値を用いて算出されるため、Ｒ画素およびＢ画素の画素値にも、これら位相ズレおよび感度差が含まれることになる。そのため、４分割ベイヤ型ＲＧＢ配列による画素信号をリモザイクした画像信号には、位相差や感度差に起因するアーティフィクトが生じるおそれがある。
【０００９】
本開示は、画素配列を異なる画素配列に変換する処理を高品質に実行可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本開示の画像処理装置は、入力画像における画素信号に対する信号処理を実行する画像信号処理部を備え、画像信号処理部は、入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックが配列されたモザイク画像を入力し、入力画像に含まれる所定色の画素の画素信号に基づき、入力画像の全面に補間処理を行って第１の画像信号を生成し、入力画像に基づき、注目画素のレンズに対する相対位置に基づく差分を含み、且つ、第１の画像信号より解像度の低い第２の画像信号を生成し、第１の画像信号から第２の画像信号を減じた成分に基づき、変換後の位置が注目画素の位置に対応する変換画素を生成する。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る画像処理装置の基本的な構成を示す図である。
【図２】実施形態に適用可能な画素の配列の例を示す図である。
【図３】ベイヤ配列の例を示す図である。
【図４】実施形態に係る、撮像素子に対するマイクロレンズの装着の例を示す図である。
【図５】マイクロレンズを共有する複数の画素において位相差が発生する場合の例を模式的に示す図である。
【図６】マイクロレンズの中心が画素ブロックの中心からずれている様子を模式的に示す図である。
【図７】実施形態に適用可能な撮像装置の一例のハードウェア構成を示すブロック図である。
【図８】実施形態に適用可能な撮像部の一例の構成を示す図である。
【図９】実施形態に係る画像処理装置としての撮像装置の機能を説明するための一例の機能ブロック図である。
【図１０】実施形態に係る画像信号処理部の機能を説明するための機能ブロック図である。
【図１１】同一色の画素間のグラジエントの検出を説明するための図である。
【図１２】異なる色の画素間のグラジエントの検出を説明するための図である。
【図１３】入力画像信号のＲ画素およびＢ画素の画素値をゲインに応じて置き換えた様子を模式的に示す図である。
【図１４】実施形態に適用可能なグラジエント算出の方向の例を示す図である。
【図１５】実施形態に適用可能なグラジエント算出の方向の例を示す図である。
【図１６】水平方向（Ｈ）のグラジエント算出処理の例を示す図である。
【図１７】右上４５°方向（Ａ）のグラジエント算出処理の例を示す図である。
【図１８】右上２２．５°方向（Ａ２）のグラジエント算出処理の例を示す図である。
【図１９】右上６７．５°方向（Ａ３）のグラジエント算出処理の例を示す図である。
【図２０】水平方向（Ｈ）に沿って補間処理を行う例を示す図である。
【図２１】実施形態に係る、水平方向（Ｈ）に沿った方向の補間処理を説明するための図である。
【図２２】実施形態に係る、垂直方向（Ｖ）に沿った補間処理を説明するための図である。
【図２３】各方向に沿った補間処理の例を示す図である。
【図２４】第１ＬＰＦによる処理について説明するための図である。
【図２５】第１ＬＰＦに適用するフィルタを説明するための図である。
【図２６】実施形態に係るリモザイク処理を示す一例のフローチャートである。
【図２７】実施形態の第１の変形例に係る画像信号処理部の機能を説明するための一例の機能ブロック図である。
【図２８】実施形態の第２の変形例に係る撮像装置の基本的な構成の例を示す図である。
【図２９】実施形態の第３の変形例に係る撮像装置の基本的な構成の例を示す図である。
【図３０】３画素×３画素が格子状に配列された画素ブロックの例を示す図である。
【図３１Ａ】４画素×４画素が格子状に配列された画素ブロックの例を示す図である。
【図３１Ｂ】４画素×４画素が格子状に配列された画素ブロックの例を示す図である。
【図３１Ｃ】４画素×４画素が格子状に配列された画素ブロックの例を示す図である。
【図３１Ｄ】４画素×４画素が格子状に配列された画素ブロックの例を示す図である。
【図３１Ｅ】４画素×４画素が格子状に配列された画素ブロックの例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
【００１３】
［実施形態］
図１は、実施形態に係る画像処理装置の基本的な構成を示す図である。図１において、実施形態に係る画像処理装置としての撮像装置１は、撮像系１０により撮像を行い得られた画像信号に対してリモザイク処理１１を施し、リモザイク処理１１が施された画像信号に対して出力処理１２を行い出力する。
【００１４】
撮像系１０は、それぞれ受光した光を電気信号に変換する複数の画素がアレイ状に配列された撮像素子と、撮像素子から出力された撮像信号に対してＡＤ(Analog  to  Digital)変換、ノイズ除去、ゲイン調整などを行う信号処理回路と、を含む。撮像素子は、各画素に対してカラーフィルタおよびマイクロレンズが装着される。
【００１５】
図２は、実施形態に適用可能な画素の配列の例を示す図である。図２では、画素の配列を、赤色のカラーフィルタ２１Ｒ、緑色のカラーフィルタ２１Ｇ、および、青色のカラーフィルタ２１Ｂの配列として示している。以降、特に記載の無い限り、カラーフィルタ２１Ｒ、２１Ｇおよび２１Ｂが装着された画素を、それぞれＲ画素、Ｇ画素およびＢ画素と呼ぶ。
【００１６】
実施形態に係る画素の配列は、図２に示されるように、同一色による２画素×２画素が格子状に配列された画素ブロックを単位とし、Ｒ画素、Ｇ画素およびＢ画素による各画素ブロックが、ベイヤ(Bayer)配列に準じた画素配列２０にて配置されて構成されている。以下では、特に記載の無い限り、このような画素配列２０を、４分割ベイヤ型ＲＧＢ配列と呼ぶ。
【００１７】
より具体的には、４分割ベイヤ型ＲＧＢ配列は、Ｒ画素、Ｇ画素およびＢ画素による各画素ブロックが、Ｒ画素、Ｇ画素およびＢ画素の数が１：２：１の割合となり、且つ、同一色の画素による画素ブロックが隣接しないように、２×２の格子状に配列される。図２の例では、Ｒ画素による画素ブロックの右および下にＧ画素による画素ブロックが配置され、Ｒ画素による画素ブロックの対角に、Ｂ画素による画素ブロックが配置されている。
【００１８】
リモザイク処理１１は、この４分割ベイヤ型ＲＧＢ配列による画素信号の配列を、図３に示すベイヤ配列に変換し、ベイヤ配列によるモザイク画像を生成する。図３は、ベイヤ配列の例を示す図である。図３において、ベイヤ配列３０は、２つのＧ画素と、それぞれ１つのＲ画素およびＢ画素とを含み、これら４つの画素が、Ｇ画素が隣接しないように、２画素×２画素の格子状に配列されて構成される。
【００１９】
リモザイク処理１１によりベイヤ配列３０に変換された画像信号は、出力処理１２により例えばデモザイク処理され、各画素位置にＲ色、Ｇ色およびＢ色それぞれの輝度情報が含められる。
【００２０】
図４は、実施形態に係る、撮像素子に対するマイクロレンズの装着の例を示す図である。図４に示されるように、４分割ベイヤ型ＲＧＢ配列による２画素×２画素の画素ブロックに対して１つのマイクロレンズ４０を装着する。換言すれば、１つのマイクロレンズ４０が画素ブロックに含まれる４つの画素に共通に配置される。マイクロレンズ４０は、オンチップレンズ（ＯＣＬ）として形成され、画素に入射した光が受光素子上に集光される際の集光効率を向上させている。
【００２１】
このように、画素ブロックに含まれる複数画素に対して１つのマイクロレンズ４０が配置される構造において、像が受光素子の受光面上に暈けて集光される場合、すなわち、マイクロレンズ４０の焦点が受光面と同一面上にある場合について考える。この場合、１つの光束による光が、画素ブロックに含まれる４つの画素で分離して光電変換され、位相差が発生する。
【００２２】
図５は、マイクロレンズ４０を共有する複数の画素において位相差が発生する場合の例を模式的に示す図である。図５では、画素ブロックの、光の入射方向と平行な断面を示している。マイクロレンズ４０を介して画素に入射された光は、カラーフィルタ２１を介して各受光素子２２に照射される。図５において、マイクロレンズ４０の焦点２３ａが各受光素子２２の境界部分にあり、各受光素子２２は、受光面が焦点２３ａと同一面上にあるものとする。各受光素子２２がマイクロレンズ４０からの光を受光する受光位置２３ｂおよび２３ｃの位置の差に基づき、位相差が発生する。
【００２３】
また、製造誤差などの影響により、マイクロレンズ４０が理想的な位置からずれて配置される場合が有り得る。この場合、画素ブロックに含まれる複数の画素に受光される受光量に差が生じ、この差が同一色内における感度差として現れる。
【００２４】
図６は、マイクロレンズ４０の中心が画素ブロックの中心からずれている様子を模式的に示す図である。図６の各部の意味は、上述した図５と同様であるので、説明を省略する。図６において、マイクロレンズ４０が各受光素子２２に対して右側にずれて配置され、マイクロレンズ４０の焦点２３ａも、右側にずれている。この場合、図６における左側の受光素子２２における受光位置２３ｂ’と、右側の受光素子２２における受光位置２３ｃ’とを比較すると、受光位置２３ｃ’の方が受光位置２３ｂ’よりも受光量が多くなる。このマイクロレンズ４０の位置ずれによる受光量の差が、２つの受光素子２２の感度差となる。
【００２５】
実施形態では、このような、複数の画素に対して１つのマイクロレンズ４０を配した場合の位相差、感度差を抑制可能なリモザイク処理を提供することを可能としている。
【００２６】
（実施形態に適用可能な撮像装置の構成）
次に、実施形態に適用可能な撮像装置の構成の例について説明する。図７は、実施形態に適用可能な撮像装置の一例のハードウェア構成を示すブロック図である。図７において、撮像装置１は、それぞれバス１００９により接続される、ＣＰＵ(Central  Processing  Unit)１０００と、ＲＯＭ(Read  Only  Memory)１００１と、ＲＡＭ(Random  Access  Memory)１００２と、撮像部１００３と、ストレージ１００４と、データＩ／Ｆ１００５と、操作部１００６と、表示制御部１００７と、を含む。
【００２７】
ＣＰＵ１０００は、ＲＯＭ１００１に予め記憶されたプログラムに従い、ＲＡＭ１００２をワークメモリとして用いて、この撮像装置１の全体の動作を制御する。撮像部１００３は、図１の撮像系１０に対応し、撮像を行い撮像画像による画像信号を出力する。撮像部１００３から出力された画像信号は、ＲＡＭ１００２に記憶される。
【００２８】
ストレージ１００４は、例えばフラッシュメモリであって、ＲＡＭ１００２に記憶される撮像画像による画像信号を転送して記憶、蓄積することができる。また、ストレージ１００４は、ＣＰＵ１０００を動作させるためのプログラムを記憶させることもできる。さらには、ストレージ１００４は、撮像装置１に内蔵される構成に限らず、撮像装置１に対して着脱可能な構成としてもよい。
【００２９】
データＩ／Ｆ１００５は、撮像装置１が外部機器とデータの送受信を行うためのインタフェースである。データＩ／Ｆ１００５としては、例えばＵＳＢ(Universal  Serial  Bus)を適用することができる。また、データＩ／Ｆ１００５として、Ｂｌｕｅｔｏｏｔｈ（登録商標）といった近距離無線通信を行うインタフェースを適用することもできる。
【００３０】
操作部１００６は、撮像装置１に対するユーザ操作を受け付ける。操作部１００６は、ユーザ入力を受け付ける入力デバイスとして、ダイヤルやボタンなどの操作子を含む。操作部１００６は、入力デバイスとして、接触した位置に応じた信号を出力するタッチパネルを含んでもよい。表示制御部１００７は、ＣＰＵ１０００により渡された表示制御信号に基づき、ディスプレイ１００８が表示可能な表示信号を生成する。ディスプレイ１００８は、例えばＬＣＤ(Liquid  Crystal  Display)を表示デバイスとして用い、表示制御部１００７により生成された表示信号に従った画面を表示させる。
【００３１】
図８は、実施形態に適用可能な撮像部１００３の一例の構成を示す図である。撮像部１００３は、光学系１０１０と、撮像素子１０１１と、信号処理部１０１２と、駆動部１０１３と、を含む。光学系１０１０は、１枚以上のレンズと、オートフォーカス機構、絞り機構などを含む。撮像素子１０１１は、受光素子２２と、カラーフィルタ２１と、マイクロレンズ４０とを含む画素がアレイ状に配列されて構成される。カラーフィルタ２１の配列は、上述した同一色の画素が２画素×２画素の格子状に配列された画素ブロックを単位とする、４分割ベイヤ型ＲＧＢ配列による画素配列２０である。
【００３２】
信号処理部１０１２は、撮像素子１０１１から出力された信号に対してＡＤ変換、ノイズ除去、ゲイン調整、ホワイトバランス処理などの信号処理を施し、撮像素子１０１１の出力に基づく画像信号を出力する。駆動部１０１３は、例えばＣＰＵ１０００からの指示に従い、光学系１０１０（オートフォーカス機構、絞り機構など）、撮像素子１０１１および信号処理部１０１２を駆動する。
【００３３】
図９は、実施形態に係る画像処理装置としての撮像装置１の機能を説明するための一例の機能ブロック図である。図９において、撮像装置１は、撮像部１００と、画像処理部１０１と、出力部１０２と、を含む。また、画像処理部１０１は、画像信号処理部１１０と、ＲＧＢ信号処理部１１１と、を含む。
【００３４】
撮像部１００は、上述した撮像部１００３に対応し、撮像素子１０１１による撮像を行い、撮像により取得された撮像画像による画像信号を出力する。画像処理部１０１は、撮像部１００から出力された、４分割ベイヤ型ＲＧＢ配列の画像信号に対して、画像信号処理部１１０によりリモザイク処理１１を施して画素の配列をベイヤ配列３０に変換する。ＲＧＢ信号処理部１１１は、画像信号処理部１１０によりベイヤ配列３０に画素配列が変換された画像信号に対してデモザイク処理を施し、各画素がＲ色、Ｇ色およびＢ色それぞれの輝度情報を持つ画像信号に変換する。
【００３５】
出力部１０２は、例えば、画像処理部１０１により出力された画像信号を、所定のフォーマットの画像データとして出力する。出力部１０２から出力された画像データは、例えばストレージ１００４に記憶される。
【００３６】
図１０は、実施形態に係る画像信号処理部１１０の機能を説明するための機能ブロック図である。図１０において、画像信号処理部１１０は、ＬＣＢ(Local  Color  Balance)部２００と、方向判定部２０１と、Ｇ補間部２０２と、第１ＬＰＦ(Low  Pass  Filter)２０３と、第２ＬＰＦ２０４と、色変換処理部２０５と、を含む。これらＬＣＢ部２００、方向判定部２０１、Ｇ補間部２０２、第１ＬＰＦ２０３、第２ＬＰＦ２０４および色変換処理部２０５は、例えばＣＰＵ１０００上で実施形態に係る画像処理プログラムが実行されることで実現される。これに限らず、ＬＣＢ部２００、方向判定部２０１、Ｇ補間部２０２、第１ＬＰＦ２０３、第２ＬＰＦ２０４および色変換処理部２０５は、例えばＣＰＵ１０００の一部または全部を、互いに協働して動作するハードウェア回路により構成してもよい。
【００３７】
撮像装置１（画像信号処理部１１０）における実施形態に係る各機能を実現するためのプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ(Compact  Disk)、フレキシブルディスク（ＦＤ）、ＤＶＤ(Digital  Versatile  Disk)などのコンピュータで読み取り可能な記録媒体に記録して提供される。これに限らず、当該プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、当該ネットワークを介してダウンロードさせることにより提供してもよい。また、当該プログラムをインターネットなどのネットワークを経由して提供または配布するように構成してもよい。
【００３８】
当該プログラムは、ＬＣＢ部２００、方向判定部２０１、Ｇ補間部２０２、第１ＬＰＦ２０３、第２ＬＰＦ２０４および色変換処理部２０５を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ１０００がＲＯＭ１００１やストレージ１００４などの記憶媒体から当該プログラムを読み出して実行することにより、上述した各部（ＬＣＢ部２００、方向判定部２０１、Ｇ補間部２０２、第１ＬＰＦ２０３、第２ＬＰＦ２０４および色変換処理部２０５）が主記憶装置上に生成されるようになっている。
【００３９】
画像信号処理部１１０に対して、撮像部１００から出力された、４分割ベイヤ型ＲＧＢ配列による画素配列を持つ画像信号が、入力画像信号として入力される。入力画像信号は、ＬＣＢ部２００、Ｇ補間部２０２および第２ＬＰＦ２０４にそれぞれ入力される。
【００４０】
ＬＣＢ部２００は、入力画像信号の局所領域に含まれる各画素の色バランスを算出する。局所領域は、後述する方向判定部２０１において画素値のグラジエント（勾配）を求めるためのサイズ（５画素×５画素、６画素×６画素、７画素×７画素、など）と同程度のサイズの領域とすると好ましい。ＬＣＢ部２００は、局所領域に含まれるＲ、ＧおよびＢ画素の画素値に基づき色バランス調整（例えばホワイトバランス調整）を行い、Ｇ色に対するＲ色のゲインlcb_gain_rと、Ｂ色のゲインlcb_gain_bと、を求める。ＬＣＢ部２００は、入力画像信号と、Ｒ色およびＢ色のゲインlcb_gain_rおよびlcb_gain_bを方向判定部２０１に渡す。
【００４１】
方向判定部２０１は、入力画像信号に基づき、後述するＧ補間部２０２で用いる方向の判定を行う（詳細は後述する）。方向判定部２０１は、入力画像信号と、判定された方向を示す情報とをＧ補間部２０２に渡す。
【００４２】
Ｇ補間部２０２は、入力画像信号に含まれるＧ画素に基づき、方向判定部２０１から渡された方向に沿って、入力画像信号の全面に渡って補間処理（適宜、全面Ｇ補間処理と呼ぶ）を行う。すなわち、Ｇ補間部２０２から出力される画像信号（全面Ｇ画像信号と呼ぶ）は、Ｇ画像による画像ブロックにおける位相差および感度差を含む、高解像度の画像信号である。Ｇ補間部２０２は、全面Ｇ補間処理を行った全面Ｇ画像信号を、第１ＬＰＦ２０３と、色変換処理部２０５と、に渡す。
【００４３】
第１ＬＰＦ２０３は、Ｇ補間部２０２から渡された全面Ｇ画像信号に含まれる、入力画像信号におけるＧ画素以外の画素（Ｒ画素およびＢ画素）の画素位置に対応する位置の画素に対してローパスフィルタ処理（第１ローパスフィルタ処理と呼ぶ）を施す（詳細は後述する）。第１ＬＰＦ２０３から出力される画像信号は、全面Ｇ画像信号より解像度が低く、且つ、Ｇ画像による画像ブロックにおける位相差および感度差を含む、低解像度の画像信号である。第１ＬＰＦ２０３から出力される画像信号を、低解像度画像信号ｍＧ_xtalkと呼ぶ。第１ＬＰＦ２０３で全面Ｇ画像信号が第１ローパスフィルタ処理された低解像度画像信号ｍＧ_xtalkは、色変換処理部２０５に渡される。
【００４４】
第２ＬＰＦ２０４は、入力画像信号に対して、Ｒ、Ｇ、Ｂ各色の画素毎にローパスフィルタ処理（第２ローパスフィルタ処理と呼ぶ）を施し、Ｒ画素、Ｂ画素およびＧ画素それぞれによる低解像度画像を生成する。第２ＬＰＦ２０４によりＲ画素、Ｇ画素およびＢ画素が第２ローパスフィルタ処理された画像信号を、それぞれ、低解像度画像信号ｍＲ、ｍＧおよびｍＢと呼ぶ。低解像度画像信号ｍＲ、ｍＧおよびｍＢは、それぞれ色変換処理部２０５に渡される。
【００４５】
色変換処理部２０５は、Ｇ補間部２０２から渡された全面Ｇ画像信号と、第１ＬＰＦ２０３から渡された低解像度画像信号ｍＧ_xtalkと、第２ＬＰＦ２０４から渡された各低解像度画像信号ｍＲ、ｍＧおよびｍＢと、に基づき、色相関補間処理を施して、ベイヤ配列３０のＲ画素、Ｇ画素およびＢ画素の位置における画素値Ｒout、ＧoutおよびＢoutを生成する（詳細は後述する）。色変換処理部２０５は、生成した画素値Ｒout、ＧoutおよびＢoutをＲＧＢ信号処理部１１１に渡す。
【００４６】
（実施形態に係る処理の詳細）
（方向判定部による処理）
次に、実施形態に係る画像信号処理部１１０における処理の詳細について説明する。先ず、方向判定部２０１の処理について説明する。方向判定部２０１は、注目画素の位置における画素値の傾斜（グラジエント）を各方向について検出し、検出されたグラジエントが最も小さい方向を判定する。方向判定部２０１は、図１１に示されるような、同一色の画素間のグラジエント（同色間グラジエント）と、図１２に示されるような、異なる色の画素間のグラジエント（異色間グラジエント）と、を検出する。
【００４７】
なお、図１１および図１２、ならびに、以下の同様の図面において、格子の左上のマス（画素）を原点として、図面の横方向をｘ方向、縦方向をｙ方向とし、画素単位で座標（ｘ，ｙ）を表すものとする。例えば、図１１において、原点の画素は、座標（０，０）のＲ画素であり、画素（０，０）のように記述する。
【００４８】
図１１の例では、Ｇ画素について、ｘ方向に沿って、Ｇ画素（０，２）および（１，２）、Ｇ画素（４，２）および（５，２）、Ｇ画素（０，３）および（１，３）、ならびに、Ｇ画素（４，３）および（５，３）の同色の各組について、それぞれグラジエントを検出している。また、Ｂ画素について、Ｂ画素（２，２）および（３，２）、ならびに、Ｂ画素（２，３）および（３，３）の同色の各組について、グラジエントを検出している。
【００４９】
一方、図１２の例では、ｘ方向に沿って、Ｇ画素（１，２）およびＢ画素（２，２）、Ｇ画素（１，３）およびＢ画素（２，３）、Ｂ画素（３，２）およびＧ画素（４，２）、ならびに、Ｂ画素（３，３）およびＧ画素（４，３）の、異なる色による各組について、それぞれグラジエントを検出している。
【００５０】
ここで、同色間グラジエントの検出は、感度が同一の画素同士のグラジエント算出となる。これに対して、異色間グラジエントの検出は、そのままでは、感度が異なる画素同士でのグラジエント算出となり、画素の色毎の感度差に依存したグラジエントが算出されてしまう。
【００５１】
そのため、方向判定部２０１は、入力画像信号に含まれるＲ画素の画素値に対して、式（１）に示されるように、ＬＣＢ部２００により検出されたＲ色のゲインlcb_gain_rを乗じて、グラジエント算出に用いる画素値Ｒ’を算出する。同様に、方向判定部２０１は、入力画像信号に含まれるＢ画素の画素値に対して、式（２）に示されるように、ＬＣＢ部２００により検出されたＢ色のゲインlcb_gain_ｂを乗じて、グラジエント算出に用いる画素値Ｂ’を算出する。
【００５２】
Ｒ’＝Ｒ×lcb_gain_r    …（１）
Ｂ’＝Ｂ×lcb_gain_b    …（２）
【００５３】
図１３は、入力画像信号のＲ画素およびＢ画素の画素値を、式（１）および（２）に従い算出した画素値Ｒ’およびＢ’に置き換えた様子を模式的に示す図である。Ｒ画素およびＢ画素の画素値が、それぞれ画素値Ｒ’および画素値Ｂ’に置き換えられ、Ｒ画素およびＢ画素と、Ｇ画素との感度差が抑制されていることが分かる。このように、Ｒ画素およびＢ画素の感度を、Ｇ画素の感度に合わせることで、異色間のグラジエント算出の精度を向上できる。
【００５４】
実施形態に適用可能な方向判定部２０１の方向判定処理について、より詳細に説明する。方向判定部２０１は、局所領域において、複数の方向に対してグラジエントを算出する。図１４および図１５は、実施形態に適用可能なグラジエント算出の方向の例を示す図である。図１４および図１５、ならびに、以下の同様の図において、局所領域のサイズを６画素×６画素としている。
【００５５】
方向判定部２０１は、図１４に示されるように、水平方向（Ｈ）、垂直方向（Ｖ）、右上４５°方向（Ａ）、右下４５°方向（Ｄ）の４方向に沿ってグラジエント算出を行う。さらに、方向判定部２０１は、図１５に示されるように、右上２２．５°方向（Ａ２）、右上６７．５°方向（Ａ３）、右下２２．５°方向（Ｄ２）および右下６７．５°方向（Ｄ３）の４方向に沿ってグラジエント算出を行う。すなわち、実施形態では、方向判定部２０１は、２２．５°ずつ角度の異なる８方向に沿って、グラジエント算出を行う。
【００５６】
図２を用いて説明した４分割ベイヤ型ＲＧＢ配列は、図３に示したベイヤ型配列と比較して、同色成分のサンプリング間隔が疎であるため、折返しが１／２ナイキスト周波数で発生してしまう。図１４および図１５に示すように、８方向に沿ってそれぞれグラジエント算出を行うことで、このような周波数の繰り返しパターンを高精度に検出可能となる。
【００５７】
各方向について、グラジエント算出の例について説明する。図１６は、６画素×６画素の局所領域における座標位置（２，２）に対応する水平方向（Ｈ）のグラジエント算出処理の例を示す図である。なお、以下の各式において、Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）の位置の画素値である。ａｂｓ（）は、絶対値を示す。また、各式において、ＬＣＢ部２００で算出したゲインlcb_gain_rおよびlcb_gain_bは、Ｇ画素に対するゲイン（＝１）と纏めて、値ＷＢgainとして示されている。
【００５８】
水平方向（Ｈ）のグラジエントは、以下の各値に基づいて算出する。
・低周波成分水平方向（Ｈ）のグラジエント：ｇｒａｄＨ＿ｌｏｗ
・高周波成分水平方向（Ｈ）のグラジエント：ｇｒａｄＨ＿ｈｉｇｈ
・異色間成分水平方向（Ｈ）のグラジエント：ｇｒａｄＨ＿ｃｏｌｏｒ
【００５９】
図１６に示す６画素×６画素の座標位置（２，２）に対応する水平方向（Ｈ）のグラジエント、すなわち、ｇｒａｄＨ（２，２）は、下記の式（３）に従って算出する。
【００６０】
【数１】
2020043435.tif 000003
【００６１】
なお、上述の式（３）において、値ａH、ｂHおよびｃHは、予め規定した重み係数である。一般に、入射光は、レンズを通過する際に、高周波成分で信号レベルが低下する。そのため、上記の重み係数の大小関係はａH＞ｂHとすることが望ましい。また、１／２Ｎｑ（ナイキスト周波数）近傍で方向判定を間違えると強い偽色を発生することになる。この領域での誤判定を充分に抑制するため、ｃH＞ａHと設定することが望ましい。
【００６２】
垂直方向（Ｖ）のグラジエントは、以下の各値に基づいて算出する。
・低周波成分垂直方向（Ｖ）のグラジエント：ｇｒａｄＶ＿ｌｏｗ
・高周波成分垂直方向（Ｖ）のグラジエント：ｇｒａｄＶ＿ｈｉｇｈ
・異色間成分垂直方向（Ｖ）のグラジエント：ｇｒａｄＶ＿ｃｏｌｏｒ
【００６３】
なお、例えば図１６に示す６画素×６画素の座標位置（２，２）に対応する垂直方向（Ｖ）のグラジエント、すなわち、ｇｒａｄＶ（２，２）は、上述の式（３）における各座標位置を、垂直方向に対応して変更した式により算出される。
【００６４】
図１７は、６画素×６画素の局所領域における座標位置（２，２）に対応する右上４５°方向（Ａ）のグラジエント算出処理の例を示す図である。右上４５°方向（Ａ）のグラジエントは、以下の各値に基づき算出する。
・中周波成分右上４５°方向（Ａ）のグラジエント：ｇｒａｄＡ＿ｍｉｄ
・低周波成分右上４５°方向（Ａ）のグラジエント：ｇｒａｄＡ＿ｌｏｗ
・高周波成分右上４５°方向（Ａ）のグラジエント：ｇｒａｄＡ＿ｈｉｇｈ
【００６５】
図１７に示す６×６画素の座標位置（２，２）に対応する右上４５°方向（Ａ）のグラジエント、すなわち、ｇｒａｄＡ（２，２）は、下記の式（４）に従って算出する。
【００６６】
【数２】
2020043435.tif 000004
【００６７】
なお、式（４）において、値ａA、ｂAおよびｃAは、予め規定した重み係数である。上述したように、一般に、入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。そのため、式（４）における重み係数の大小関係はａA，ｂA＞ｃAとすることが望ましい。
【００６８】
なお、例えば図１７に示す６画素×６画素の座標位置（２，２）に対応する右下４５°方向（Ｄ）のグラジエント、すなわち、ｇｒａｄＤ（２，２）は、上述の式（４）における各座標位置を、右下４５°方向に対応して変更した式により算出される。
【００６９】
図１８は、６画素×６画素の局所領域における座標位置（２，２）に対応する右上２２．５°方向（Ａ２）のグラジエント算出処理の例を示す図である。右上２２．５°方向（Ａ２）のグラジエントは、以下の各値に基づき算出する。
・中央成分右上２２．５°方向（Ａ２）のグラジエント：ｇｒａｄＡ２＿ｃｅｎｔｅｒ
・高周波成分右上２２．５°方向（Ａ２）のグラジエント：ｇｒａｄＡ２＿ｈｉｇｈ
【００７０】
図１８に示す６×６画素の座標位置（２，２）に対応する右上２２．５°方向（Ａ２）のグラジエント、すなわち、ｇｒａｄＡ２（２，２）は、下記の式（５）に従って算出する。
【００７１】
【数３】
2020043435.tif 000005
【００７２】
なお、式（５）において、値ａA2およびｂA2は、予め規定した重み係数である。上述したように、一般に、入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。そのため、式（５）における重み係数の大小関係はａA2＞ｂA2とすることが望ましい。
【００７３】
なお、例えば図１８に示す６画素×６画素の座標位置（２，２）に対応する右下２２．５°方向（Ｄ２）のグラジエント、すなわち、ｇｒａｄＤ２（２，２）は、上述の式（５）における各座標位置を、右下２２．５°方向に対応して変更した式により算出される。
【００７４】
図１９は、６画素×６画素の局所領域における座標位置（２，２）に対応する右上６７．５°方向（Ａ３）のグラジエント算出処理の例を示す図である。右上６７．５°方向（Ａ３）のグラジエントは、以下の各値に基づき算出する。
・中央成分右上６７．５°方向（Ａ３）のグラジエント：ｇｒａｄＡ３＿ｃｅｎｔｅｒ
・高周波成分右上６７．５°方向（Ａ３）のグラジエント：ｇｒａｄＡ３＿ｈｉｇｈ
【００７５】
図１９に示す６×６画素の座標位置（２，２）に対応する右上６７．５°方向（Ａ３）のグラジエント、すなわち、ｇｒａｄＡ３（２，２）は、下記の式（６）に従って算出する。
【００７６】
【数４】
2020043435.tif 000006
【００７７】
なお、式（６）において、値ａA3およびｂA3は、予め規定した重み係数である。上述したように、一般に、入射光はレンズを通過する際に、高周波成分で信号レベルが低下する。そのため、式（６）における重み係数の大小関係はａA3＞ｂA3とすることが望ましい。
【００７８】
なお、例えば図１９に示す６画素×６画素の座標位置（２，２）に対応する右下６７．５°方向（Ｄ３）のグラジエント、すなわち、ｇｒａｄＤ２（２，２）は、上述の式（６）における各座標位置を、右下６７．５°方向に対応して変更した式により算出される。
【００７９】
方向判定部２０１は、上述のようにして８方向について算出した各グラジエントのうち最小のグラジエントが算出された方向を判定し、判定された方向を示す情報を、判定の対象となった入力画像信号と共にＧ補間部２０２に渡す。
【００８０】
（Ｇ補間部による処理）
Ｇ補間部２０２は、入力画像信号に対し、方向判定部２０１から渡された方向に沿って、Ｇ画素の画素値に基づく全面Ｇ補間処理を施す。このとき、Ｇ補間部２０２は、Ｒ画素による画素ブロックと、Ｂ画素による画素ブロックについて、画素ブロックに含まれる各画素における位相差が残るように補間処理を行う。
【００８１】
一例として、方向判定部２０１により水平方向（Ｈ）が最小のグラジエントを得た方向と判定されたものとする。図２０は、Ｂ画素の画素ブロックにおける各位相に対して、Ｇ画素の画素値を用いて水平方向（Ｈ）に沿って補間処理を行う例を示す図である。Ｂ画素による画素ブロックにおける４つの位相（画素Ｂ0、Ｂ1、Ｂ2およびＢ3）に対するＧ画素による補間は、対象画素位置と補間に用いるＧ画素（Ｇ10〜Ｇ13、Ｇ20〜Ｇ23）の位置との距離に応じた係数に基づき、例えば下記の式（７）〜（１０）を用いて行う。
【００８２】
Ｂ0＝（２×Ｇ11＋１×Ｇ20）／３    …（７）
Ｂ1＝（２×Ｇ20＋１×Ｇ11）／３    …（８）
Ｂ2＝（２×Ｇ13＋１×Ｇ22）／３    …（９）
Ｂ3＝（２×Ｇ22＋１×Ｇ13）／３    …（１０）
【００８３】
一般的に、画素ブロックにおける画素間の感度差および位相差は、局所領域では、各画素ブロックにおいて同様の傾向で現れる。図２１は、実施形態に係る、水平方向（Ｈ）に沿った方向の補間処理を説明するための図である。図２１に示されるように、Ｂ画素による画素ブロックの左右のＧ画素による画素ブロックの各画素Ｇ10〜Ｇ13、Ｇ20〜Ｇ23に、行方向の感度差／位相差が存在するものとする。図２１において、（Ｈ）は、高い（Ｈｉｇｈ）画素値を示し、（Ｌ）は、（Ｈ）の画素に対して低い（Ｌｏｗ）画素値を示している。図２１の例では、画素Ｇ10およびＧ12、ならびに、画素Ｇ20およびＧ22の画素値が高く（Ｈ）、画素Ｇ11およびＧ13、ならびに、画素Ｇ21およびＧ23の画素値が低い（Ｌ）。
【００８４】
これらの画素値の高低は、例えば画素ブロック内における各画素の感度差／位相差に起因する。図２１の例では、Ｂ画素による画素ブロックの左右のＧ画素による画素ブロックにおいて、左列の画素の画素値が高く、右列の画素の画素値が低い。これは、Ｇ画素による各画素ブロックにおいて、左列の画素の感度が右列の画素の感度より高い、または、左列の画素および右列の画素との間で位相差が発生していることを意味する。
【００８５】
この場合、例えば画素Ｂ0およびＢ1の感度差／位相差は、次式（１１）および（１２）により求められる。
Ｂ0＝（２×Ｇ11（Ｌ）＋１×Ｇ20（Ｈ））／３    …（１１）
Ｂ1＝（２×Ｇ20（Ｈ）＋１×Ｇ11（Ｌ））／３    …（１２）
【００８６】
画素Ｂ3およびＢ4についても、上述の式（１１）および（１２）を同様に適用することで、感度差／位相差を求めることができる。
【００８７】
垂直方向（Ｖ）についても、上述の水平方向（Ｈ）の補間と同様の処理となる。図２２は、実施形態に係る、垂直方向（Ｖ）に沿った補間処理を説明するための図である。図２２において、Ｂ画素による画素ブロックの上下のＧ画素による画素ブロックの各画素Ｇ30〜Ｇ33、Ｇ40〜Ｇ43に、行方向の感度差／位相差が存在するものとする。
【００８８】
この場合、例えば画素Ｂ0およびＢ1の感度差／位相差は、次式（１３）および（１４）により求められる。
Ｂ0＝（２×Ｇ32（Ｌ）＋１×Ｇ40（Ｈ））／３    …（１３）
Ｂ1＝（２×Ｇ33（Ｈ）＋１×Ｇ41（Ｌ））／３    …（１４）
【００８９】
画素Ｂ3およびＢ4についても、上述の式（１３）および（１４）を同様に適用することで、感度差／位相差を求めることができる。
【００９０】
上述のようにして入力画像信号の全面に渡って補間したＧ画素は、画素ブロック内において位相毎に異なる傾向の感度差／位相差が残る。また、その傾向は、Ｇ画素による補間の方向に依存する。
【００９１】
なお、上述したように、Ｇ補間部２０２は、方向判定部２０１により８方向から判定された方向に従い、全面Ｇ画像信号を生成するための補間処理を行う。図２３は、各方向に沿った補間処理の例を示す図である。図２３では、座標（２，２）のＢ画素の位置に注目している。方向判定部２０１により判定された方向がＨ（水平）方向またはＶ（垂直）方向の場合は、上述した図２１または図２２と同様になる。判定された方向がＡ（右上４５°）方向の場合は、座標（３，１）、（２，２）および（１，３）を結ぶ方向に補間処理を行う。
【００９２】
一方、Ｄ（右下４５°）方向、Ａ２（右上２２．５°）方向、Ｄ２（右下２２．５°）方向、Ａ３（右上６７．５°）方向およびＤ３（右下６７．５°）方向では、座標（２，２）のＢ画素に対して直線上に並ぶ近傍のＧ画素が存在しない。そのため、角度の条件を満たすＧ画素の組を２つ選択し、その２つの組それぞれについて、注目位置に対応する位置での補間値を算出し、算出された２つの補間値に基づき当該注目位置での補間値をさらに算出する。
【００９３】
（第１ＬＰＦによる処理）
次に、第１ＬＰＦ２０３による処理について説明する。ここで、図２４に示す画素配置を考える。すなわち、図２４において、座標（２，２）の画素Ｂ0を含む画素ブロックを中心として、座標（０，０）の画素Ｒ10、座標（４，０）の画素Ｒ20、座標（０，４）の画素Ｒ30および座標（４，４）の画素Ｒ40をそれぞれ含む、Ｒ画素による４つの画素ブロックと、座標（０，２）の画素Ｇ10、座標（４，２）の画素Ｇ20、座標（２，０）の画素Ｇ30および座標（２，４）の画素Ｇ40をそれぞれ含む、Ｇ画素による４つの画素ブロックと、が配置されている。
【００９４】
この配置において、画素Ｂ0を注目画素とし、全面Ｇ補間処理が行われる方向が同じであれば、Ｒ画素による４つの画素ブロックの、画素Ｂ0に画素ブロック内で位置が対応するＲ画素（画素Ｒ10、Ｒ20、Ｒ30およびＲ40）は、画素Ｂ0と同様の感度差／位相差を含むことになる。そこで、画素Ｂ0と同一の方向に沿って全面Ｇ補間処理を施された全面Ｇ画像信号を対象に、第１ＬＰＦ２０３により、例えば図２５に示されるようなフィルタを用いてローパスフィルタ処理を施す。
【００９５】
図２５に示されるフィルタは、画素Ｂ0、Ｒ10、Ｒ20、Ｒ30およびＲ40を含む領域を対象とし、画素Ｂ0、Ｒ10、Ｒ20、Ｒ30およびＲ40以外の画素に対応する係数を「０」とし、画素Ｂ0、ならびに、Ｒ10、Ｒ20、Ｒ30およびＲ40に対して、それぞれ所定の重み付け係数を設定したフィルタである。
【００９６】
図２５のフィルタを用いたローパスフィルタ処理により、例えば画素Ｂ0と同様の傾向を持つ感度差／位相差を含む低解像度画像信号ｍＧ_xtalkを生成することができる。したがって、この図２５のフィルタを、全面Ｇ画像信号の、Ｒ画素およびＢ画素に対応する各位置に対してそれぞれ適用することで、全面Ｇ画像信号に対応する低解像度画像信号ｍＧ_xtalkを生成することができる。
【００９７】
上述した、Ｇ補間部２０２により生成された高解像度の画像信号である全面Ｇ画像信号は、Ｇ画素による画像ブロックにおける位相差および感度差を含んでいる。したがって、次式（１５）示されるように、全面Ｇ画像信号から、上述した低解像度画像信号ｍＧ_xtalkを減算することで、感度差／位相差をキャンセルした高周波成分による画像信号Ｇhpfを生成できる。
Ｇhpf＝Ｇ−ｍＧ_xtalk    …（１５）
【００９８】
なお、図２４では、Ｂ画素を注目画素とした場合について説明したが、、Ｒ画素を注目画素とした場合も、同様にしてフィルタを構成して低解像度画像信号ｍＧ_xtalkを生成する。また、Ｇ画素を注目画素とした場合についても、同様の考え方に基づき、低解像度画像信号ｍＧ_xtalkを生成することができる。
【００９９】
（第２ＬＰＦによる処理）
次に、第２ＬＰＦ２０４による処理について説明する。第２ＬＰＦ２０４は、上述したように、入力画像信号に対して第２ローパスフィルタ処理を施して、低解像度画像信号ｍＲ、ｍＧおよびｍＢを生成する。ここで、第２ＬＰＦ２０４は、同一色の画素ブロックについて、画素ブロックに含まれる画素の画素値を加算した上で、入力画像信号による画像の全面に渡って第２ローパスフィルタ処理を施す。この第２ローパスフィルタ処理によっても、全面Ｇ画像信号より解像度の低い、低解像度の画像信号を、Ｒ、Ｇ、Ｂ各色について生成できる。
【０１００】
また、画素ブロックを構成する２画素×２画素の単位では感度差／位相差を含む。一方、２画素×２画素の単位で画素値を足し合わせることで、感度差／位相差をキャンセルできる。第２ＬＰＦ２０４は、このような傾向を利用して、感度差／位相差がキャンセルされた低解像度画像信号ｍＲ、ｍＧおよびｍＢを生成する。
【０１０１】
（色変換処理部による処理）
次に、色変換処理部２０５による処理について説明する。色変換処理部２０５は、Ｇ補間部２０２から渡された全面Ｇ画像信号と、第１ＬＰＦ２０３から渡された低解像度画像信号ｍＧ_xtalkと、第２ＬＰＦ２０４から渡された低解像度画像信号ｍＲ、ｍＧおよびｍＢと、に基づき、変換先の画素位置の色に合わせて画素値の生成処理を行う。
【０１０２】
具体的には、色変換処理部２０５は、下記の式（１６）、（１７）および（１８）に示す色相関補間処理により、ベイヤ配列３０のＲ画素、Ｇ画素およびＢ画素の位置における画素値Ｒout、ＧoutおよびＢoutを生成する。
【０１０３】
【数５】
2020043435.tif 000007
【０１０４】
【数６】
2020043435.tif 000008
【０１０５】
【数７】
2020043435.tif 000009
【０１０６】
上述のようにして得られた画素値Ｒout、ＧoutおよびＢoutは、Ｇ画素に基づく高解像度画像信号である全面Ｇ画像信号において、高解像度を実現しつつ感度差／位相が除去され、リモザイク処理１１をより高品質に実行できる。
【０１０７】
位相差による影響が現れ易い場合の例として、ピントを合わせたい被写体が遠方にあり、その被写体に対して撮像装置の近傍に、障害物（金網など）が存在する場合が挙げられる。この場合、既存のリモザイク処理では、近傍の障害物に対して位相差による影響が顕著に現れる。これに対して、本開示に係るリモザイク処理１１を適用することで、この近傍の障害物に現れる位相差による影響を抑制でき、より高品質な撮像画像を得ることが可能となる。
【０１０８】
図２６は、実施形態に係るリモザイク処理１１を示す一例のフローチャートである。ステップＳ１００で、画像信号処理部１１０は、４分割ベイヤ型ＲＧＢ配列による入力画像信号から１つの画素の画素信号を取得し、取得した画素信号がＧ画素の画素信号であるか否かを判定する。画像信号処理部１１０は、取得した画素信号がＧ画素の画素信号ではないと判定した場合（ステップＳ１００、「Ｎｏ」）、処理をステップＳ１０１に移行させる。
【０１０９】
なお、ここでは、説明のため、ステップＳ１００で取得した画素がＢ画素であるものとする。
【０１１０】
ステップＳ１０１で、画像信号処理部１１０は、ＬＣＢ部２００により、入力画像信号の、ステップＳ１００で取得した画素を中心とした局所領域に対して、カラーバランス処理を施し、Ｇ色に対するＲ色のゲインlcb_gain_rと、Ｂ色のゲインlcb_gain_bと、を求める。次のステップＳ１０２で、画像信号処理部１１０は、方向判定部２０１により、入力画像信号の当該局所領域を対象として、全面Ｇ画像信号を生成するための補間を行う方向を判定する処理を行う。次のステップＳ１０３で、画像信号処理部１１０は、Ｇ補間部２０２により、入力画像信号の当該局所領域に対して、ステップＳ１０２で判定された方向に従い補間処理を施し、全面Ｇ画像信号を得る。
【０１１１】
次のステップＳ１０４で、画像信号処理部１１０は、第１ＬＰＦ２０３により、ステップＳ１０３でＧ補間部２０２により生成された全面Ｇ画像信号の、ステップＳ１００で取得したＢ画素の画素位置に対応する画素値と、近傍のＲ画素による画素ブロックにおける、当該Ｂ画素に画素ブロック内の位置が対応する画素値と、に基づき、当該Ｂ画素と同様の感度差／位相差を持つ低解像度画像信号ｍＧ_xtalkによる画素値を生成する。次のステップＳ１０５で、画像信号処理部１１０は、第２ＬＰＦ２０４により、入力画像信号に基づき、Ｇ画素による低解像度画像信号ｍＧを生成する。
【０１１２】
次のステップＳ１０６で、画像信号処理部１１０は、ステップＳ１００で取得した画素（この例ではＢ画素）の画素位置が、ベイヤ配列におけるＧ画素の位置であると推定できるか否かを判定する。色変換処理部２０５は、当該画素位置がＧ画素の位置ではないと推定した場合（ステップＳ１０６、「Ｎｏ」）、処理をステップＳ１０７に移行させる。
【０１１３】
ステップＳ１０７で、画像信号処理部１１０は、さらに、当該画素位置がＲ画素およびＢ画素の何れの画素位置であるかを推定する。画像信号処理部１１０は、推定された画素位置に応じて、第２ＬＰＦ２０４により、入力画像信号に基づきＲ画素による低解像度画像信号ｍＲ、または、Ｂ画素による低解像度画像信号ｍＢを生成する（この例では低解像度画像信号ｍＢとする）。画像信号処理部１１０は、色変換処理部２０５により、推定された画素位置に応じて、ステップＳ１０３で生成された全面Ｇ画像信号の当該画素位置の画素値と、ステップＳ１０４で生成された低解像度画像信号ｍＧ_xtalkにおける当該画素位置の画素値と、第２ＬＰＦ２０４により生成された低解像度画像信号ｍＲおよびｍＢのうち何れか（この例では低解像度画像信号ｍＢ）の当該画素位置の画素値と、を取得する。色変換処理部２０５は、取得したこれらの画素値に基づき、上述した式（１６）および式（１７）の何れかの計算を行い、画素値ＲoutおよびＢoutの何れか（この例では画素値Ｂout）を推定する。
【０１１４】
一方、色変換処理部２０５は、ステップＳ１０６で、当該画素位置がＧ画素の位置であると判定した場合（ステップＳ１０６、「Ｙｅｓ」）、処理をステップＳ１０８に移行させる。ステップＳ１０８で、色変換処理部２０５は、推定された画素位置に応じて、ステップＳ１０３で生成された全面Ｇ画像信号の当該画素位置の画素値と、ステップＳ１０４で生成された低解像度画像信号ｍＧ_xtalkにおける当該画素位置の画素値と、ステップＳ１０５で生成された低解像度画像信号ｍＧの当該画素位置の画素値と、を取得する。色変換処理部２０５は、取得したこれらの画素値に基づき、上述した式（１８）の計算を行い、画素値Ｇoutを推定する。
【０１１５】
ステップＳ１０７またはステップＳ１０８の処理の後、処理がステップＳ１２０に移行される。
【０１１６】
一方、画像信号処理部１１０は、上述したステップＳ１００で、取得した画素信号がＧ画素の画素信号であると判定した場合（ステップＳ１００、「Ｙｅｓ」）、処理をステップＳ１１０に移行させる。ステップＳ１１０で、画像信号処理部１１０は、当該Ｇ画素の画素値と、当該Ｇ画素の近傍の、Ｇ画素による画素ブロックにおける、当該Ｇ画素に画素ブロック内の位置が対応する画素値と、に基づき、当該Ｇ画素と同様の感度差／位相差を持つ低解像度画像信号ｍＧ_xtalkによる画素値を生成する。次のステップＳ１１１で、画像信号処理部１１０は、第２ＬＰＦ２０４により、入力画像信号に基づき、Ｇ画素による低解像度画像信号ｍＧを生成する。
【０１１７】
次のステップＳ１１２で、画像信号処理部１１０は、ステップＳ１００で取得した画素（この例ではＢ画素）の画素位置が、ベイヤ配列におけるＧ画素の位置であると推定できるか否かを判定する。色変換処理部２０５は、当該画素位置がＧ画素の位置ではないと推定した場合（ステップＳ１１２、「Ｎｏ」）、処理をステップＳ１１３に移行させる。
【０１１８】
ステップＳ１１３で、画像信号処理部１１０は、さらに、当該画素位置がＲ画素およびＢ画素の何れの画素位置であるかを推定する。画像信号処理部１１０は、推定された画素位置に応じて、第２ＬＰＦ２０４により、入力画像信号に基づきＲ画素による低解像度画像信号ｍＲ、または、Ｂ画素による低解像度画像信号ｍＢを生成する（この例では低解像度画像信号ｍＢとする）。画像信号処理部１１０は、色変換処理部２０５により、推定された画素位置に応じて、ステップＳ１００で取得されたＧ画素の画素値と、ステップＳ１１０で生成された低解像度画像信号ｍＧ_xtalkにおける当該画素位置の画素値と、第２ＬＰＦ２０４により生成された低解像度画像信号ｍＲおよびｍＢのうち何れか（例えば低解像度画像信号ｍＢ）の当該画素位置の画素値と、を取得する。色変換処理部２０５は、取得したこれらの画素値に基づき、上述した式（１６）および式（１７）の何れかの計算を行い、画素値ＲoutおよびＢoutの何れか（例えば画素値Ｂout）を推定する。
【０１１９】
一方、色変換処理部２０５は、ステップＳ１１２で、当該画素位置がＧ画素の位置であると判定した場合（ステップＳ１１２、「Ｙｅｓ」）、処理をステップＳ１１４に移行させる。ステップＳ１１４で、色変換処理部２０５は、推定された画素位置に応じて、ステップＳ１００で取得されたＧ画素の画素値と、ステップＳ１１０で生成された低解像度画像信号ｍＧ_xtalkにおける当該画素位置の画素値と、ステップＳ１１１で生成された低解像度画像信号ｍＧの当該画素位置の画素値と、を取得する。色変換処理部２０５は、取得したこれらの画素値に基づき、上述した式（１８）の計算を行い、画素値Ｇoutを推定する。
【０１２０】
ステップＳ１１３またはステップＳ１１４の処理の後、処理がステップＳ１２０に移行される。
【０１２１】
ステップＳ１２０で、画像信号処理部１１０は、ステップＳ１０７、ステップＳ１０８、ステップＳ１１３およびステップＳ１１４の何れかにおいて推定された、画素値Ｒout、ＧoutまたはＢoutを、出力する画素値として選択する。選択された画素値は、ステップＳ１００で取得された画素の画素位置に対応する、ベイヤ配列における画素位置の画素値として、ＲＧＢ信号処理部１１１に渡される。
【０１２２】
次のステップＳ１２１で、画像信号処理部１１０は、入力画像信号に含まれる全画素について処理が終了したか否かを判定する。画像信号処理部１１０は、全画素について処理が終了していないと判定した場合（ステップＳ１２１、「Ｎｏ」）、処理をステップＳ１００に戻し、入力画像信号に含まれる次の１つの画素の画素信号を取得する。一方、画像信号処理部１１０は、ステップＳ１２１で全画素について処理が終了したと判定した場合（ステップＳ１２１、「Ｙｅｓ」）、この図２６のフローチャートによる一連の処理を終了させる。
【０１２３】
［実施形態の第１の変形例］
次に、実施形態の第１の変形例について説明する。上述した実施形態では、ＬＣＢ部２００により注目画素を含む局所領域に対して色バランス処理を行ったが、このＬＣＢ部２００による処理は、省略することが可能である。図２７は、実施形態の第１の変形例に係る画像信号処理部１１０’の機能を説明するための一例の機能ブロック図である。
【０１２４】
撮像部１００から出力され、画像信号処理部１１０’に入力された画像信号は、方向判定部２０１と、Ｇ補間部２０２と、第２ＬＰＦ２０４と、に渡される。Ｇ補間部２０２および第２ＬＰＦ２０４での処理は、上述の実施形態で説明した処理と変わりはない。
【０１２５】
撮像部１００から直接的に方向判定部２０１に入力される画像信号は、撮像部１００３が有する信号処理部１０１２において、画像信号の全体に対してホワイトバランス処理が施されている。実施形態の第１の変形例に係る画像信号処理部１１０’は、実施形態においてＬＣＢ部２００で検出したＲ色およびＢ色のゲインlcb_gain_rおよびlcb_gain_bによるＲ画素およびＢ画素の画素値の補正を、このホワイトバランス処理による補正で代用する。
【０１２６】
実施形態の第１の変形例に係る画像信号処理部１１０’は、ゲインlcb_gain_rおよびlcb_gain_bによるＲ画素およびＢ画素の画素値の補正が省略されているため、異色間グラジエント検出の精度は実施形態の構成に対して不利である。その一方で、実施形態の第１の変形例に係る画像信号処理部１１０’は、ＬＣＢ部２００を省略しているため、実施形態に係る画像信号処理部１１０に対して構成を簡略化でき、コストを抑制することが可能である。
【０１２７】
［実施形態の第２の変形例］
次に、実施形態の第２の変形例について説明する。実施形態の第２の変形例では、上述した実施形態に係る撮像装置１の構成に対して、撮像素子１０１１における各画素の感度差を補正する構成を追加する。図２８は、実施形態の第２の変形例に係る撮像装置の基本的な構成の例を示す図である。図２８において、実施形態の第２の変形例に係る画像処理装置としての撮像装置１ａは、図１を用いて説明した撮像装置１の構成に対して、撮像系１０とリモザイク処理１１との間に感度差補正部１３が追加されている。
【０１２８】
撮像装置１ａにおいて、撮像系１０により撮像を行い得られた画像信号が感度差補正部１３に入力される。感度差補正部１３は、撮像素子１０１１において既知の、画素毎（受光素子２２毎）の出力差すなわち感度差を補正する。例えば、撮像素子１０１１の製造時や出荷時などにおいて、各受光素子２２の出力値の計測を行い、受光素子２２毎に、出力値のバラツキを抑制するための係数を求める。感度差補正部１３は、この受光素子２２毎の係数を予め記憶したテーブル（キャリブレーションテーブル）を備え、撮像系１０から入力された画像信号に対してこのキャリブレーションテーブルに記憶された各係数を適用する。これにより、各画素の感度差が補正される。
【０１２９】
撮像系１０により入力される画像信号には、キャリブレーションテーブルでは補正しきれない、画素毎の感度差が含まれる場合が有り得る。この、感度差補正部１３で補正しきれない感度差などは、実施形態で説明したリモザイク処理１１により除去することができる。実施形態の第２の変形例に係る構成によれば、感度差補正部１３において撮像素子１０１１に予め存在する画素毎の感度差を補正し、さらに、実施形態に係るリモザイク処理１１により感度差および位相差を除去している。そのため、この実施形態の第２の変形例に係る撮像装置１ａの構成を適用することで、画素毎の感度差の抑制をより高精度に実現でき、より高品質の出力画像を得ることが可能となる。
【０１３０】
［実施形態の第３の変形例］
次に、実施形態の第３の変形例について説明する。撮像素子１０１１から出力される画像信号に、特定の周波数パターンのノイズが重畳されている場合がある。実施形態の第３の変形例では、撮像素子１０１１から出力される画像信号に重畳される特定の周波数パターンのノイズが既知の場合に、このノイズを除去可能とする。
【０１３１】
図２９は、実施形態の第３の変形例に係る撮像装置の基本的な構成の例を示す図である。図２９において、実施形態の第３の変形例に係る画像処理装置としての撮像装置１ｂは、図１を用いて説明した撮像装置１の構成に含まれるリモザイク処理１１がリモザイク処理１１’に変更されている。撮像系１０から出力された、既知の特定の周波数パターンでノイズが重畳された画像信号に対してリモザイク処理１１’が施される。
【０１３２】
リモザイク処理１１’において、第１ＬＰＦ２０３によるローパスフィルタ処理に用いる、図２５を用いて説明したフィルタの構成を、既知の特定の周波数パターンに適用するように変形する。第１ＬＰＦ２０３によりこのフィルタを用いて、低解像度画像信号ｍＧ_xtalkを生成する。Ｇ補間部２０２により生成された全面Ｇ画像信号から、この低解像度画像信号ｍＧ_xtalkを減算することで、感度差／位相差と、当該特定の周波数パターンのノイズとをキャンセルしした高周波成分による画像信号を生成できる。そのため、当該特定の周波数パターンのノイズがキャンセルされた、高品質の出力画像を得ることが可能となる。
【０１３３】
［実施形態の第４の変形例］
次に、実施形態の第４の変形例について説明する。上述した実施形態では、画素ブロックが同一色による２画素×２画素が格子状に配列されて構成されるものとして説明したが、これはこの例に限定されない。すなわち、画素ブロックは、同一色によるｎ画素×ｎ画素（ｎは２以上の整数）が格子状に配列されたブロックであってよい。
【０１３４】
図３０は、３画素×３画素が格子状に配列された画素ブロック２４の例を示す図である。また、図３１Ａ〜図３１Ｅは、４画素×４画素が格子状に配列された画素ブロック２５ａ〜２５ｅの例を示す図である。なお、図３０、および、図３１Ａ〜図３１Ｅにおいて、便宜上、画素ブロック２４、および、画素ブロック２５ａ〜２５ｅは、赤色のカラーフィルタ２１Ｒが装着された画素（Ｒ画素）が配列されているものとして示されている。また、マイクロレンズ４０は、２画素×２画素の単位で配置されるものとする。なお、図３０、および、図３１Ａ〜図３１Ｅにおいて、マイクロレンズ４０が掛からない各画素には、１画素のサイズに対応するマイクロレンズが配置される。
【０１３５】
画素ブロック２４、および、画素ブロック２５ａ〜２５ｅに配置するマイクロレンズ４０の数および位置は、適宜に選択することができる。図３０は、３画素×３画素の画素ブロック２４に対して、一部を占めるようにマイクロレンズ４０が配置された例を示している。また、図３１Ａおよび図３１Ｂは、４画素×４画素の画素ブロック２５ａおよび２５ｂの隅または中央部に１つのマイクロレンズ４０が配置された例を示している。さらに、図３１Ｃは、４画素×４画素の画素ブロック２５ｃの対角にそれぞれ１つのマイクロレンズ４０が配置された例を示している。さらにまた、図３１Ｄおよび図３１Ｅは、４画素×４画素の画素ブロック２５ｄおよび２５ｅに、それぞれ３つ、および、４つのマイクロレンズ４０が配置された例を示している。
【０１３６】
リモザイク処理１１において、第１ＬＰＦ２０３によるローパスフィルタ処理に用いる、図２５を用いて説明したフィルタの構成を、これら画素ブロック２４、２５ａ〜２５ｅのサイズと、画素ブロック２４、２５ａ〜２５ｅに対して配置されるマイクロレンズ４０の数および位置と、に応じて適宜に変更する。第１ＬＰＦ２０３により、このフィルタを用いて、低解像度画像信号ｍＧ_xtalkを生成する。
【０１３７】
これにより、同一色によるｎ画素×ｎ画素が格子状に配列された画素ブロックに、２画素×２画素に対応するマイクロレンズ４０が適宜に配置された構成であっても、各画素の感度差／位相差がキャンセルされた、より高品質の出力画像を得ることが可能となる。
【０１３８】
なお、複数画素に共有されるマイクロレンズ４０は、２画素×２画素に対応するサイズに限らず、画素ブロックに収まるサイズであればよく、例えば４画素×４画素、３画素×３画素、といったサイズでもよい。
【０１３９】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０１４０】
なお、本技術は以下のような構成も取ることができる。
（１）
入力画像における画素信号に対する信号処理を実行する画像信号処理部を備え、
前記画像信号処理部は、
前記入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックが配列されたモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第１の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第１の画像信号より解像度の低い第２の画像信号を生成し、
前記第１の画像信号から前記第２の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
画像処理装置。
（２）
前記画像信号処理部は、
前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第１の画像信号より解像度の低い第３の画像信号をさらに生成し、
前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第３の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する
前記（１）に記載の画像処理装置。
（３）
前記画像信号処理部は、
前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する
前記（１）または（２）に記載の画像処理装置。
（４）
前記画像信号処理部は、
前記注目画素における出力の色が前記所定色以外の色である場合に、
前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第３の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する
前記（２）に記載の画像処理装置。
（５）
前記画像信号処理部は、
前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記方向を求める
前記（１）乃至（４）の何れかに記載の画像処理装置。
（６）
前記画像信号処理部は、
予め色バランスが調整された前記入力画像による画素信号を用いて前記方向を求める
前記（１）乃至（４）の何れかに記載の画像処理装置。
（７）
前記画像信号処理部は、
前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第１の画像信号を生成する
前記（１）乃至（６）の何れかに記載の画像処理装置。
（８）
前記画像信号処理部は、
前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する
前記（１）乃至（７）の何れかに記載の画像処理装置。
（９）
前記画素ブロックは、４の同一色画素が格子状に配列され、該４の同一色画素に対して共通に１のレンズが配される
前記（１）乃至（８）の何れかに記載の画像処理装置。
（１０）
前記入力画像は、
同一色画素がｎ画素×ｎ画素（ｎは２以上の整数）の格子状に配置された画素ブロックが、同一色画素による該画素ブロックが隣接しないパターンに従い配列され、
該画素ブロックに含まれる、ｍ画素×ｍ画素（ｍはｎ以下且つ２以上の整数）の格子状の配列に対して共通に１のレンズが配される
前記（１）乃至（８）の何れかに記載の画像処理装置。
（１１）
入力画像における画素信号に対する信号処理を実行する画像信号処理部を含む画像処理装置が、
前記入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第１の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第１の画像信号より解像度の低い第２の画像信号を生成し、
前記第１の画像信号から前記第２の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
画像処理方法。
（１２）
前記画像処理装置が、
前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第１の画像信号より解像度の低い第３の画像信号をさらに生成し、
前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第３の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する
前記（１１）に記載の画像処理方法。
（１３）
前記画像処理装置が、
前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する
前記（１１）または（１２）に記載の画像処理方法。
（１４）
前記画像処理装置が、
前記注目画素における出力の色が前記所定色以外の色である場合に、
前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第３の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する
前記（１２）に記載の画像処理方法。
（１５）
前記画像処理装置が、
前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記方向を求める
前記（１１）乃至（１４）の何れかに記載の画像処理方法。
（１６）
前記画像信号処理部は、
予め色バランスが調整された前記入力画像による画素信号を用いて前記方向を求める
前記（１１）乃至（１４）の何れかに記載の画像処理方法。
（１７）
前記画像処理装置が、
前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第１の画像信号を生成する
前記（１１）乃至（１６）の何れかに記載の画像処理方法。
（１８）
前記画像信号処理部は、
前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する
前記（１１）乃至（１７）の何れかに記載の画像処理方法。
（１９）
入力画像における画素信号に対する信号処理を実行する画像信号処理部を含む画像処理装置に、
前記入力画像として、それぞれ１のレンズが共通して配される複数の同一色画素によって構成される画素ブロックを配列したモザイク画像を入力し、
前記入力画像に含まれる所定色の画素の画素信号に基づき、前記入力画像の全面に補間処理を行って第１の画像信号を生成し、
前記入力画像に基づき、注目画素の前記レンズに対する相対位置に基づく差分を含み、且つ、前記第１の画像信号より解像度の低い第２の画像信号を生成し、
前記第１の画像信号から前記第２の画像信号を減じた成分に基づき、変換後の位置が前記注目画素の位置に対応する変換画素を生成する、
処理を実行させるための画像処理プログラム。
（２０）
前記画像処理装置に、
前記画素ブロックに含まれる複数の画素の画素信号を纏めて用いてローパスフィルタ処理を施して、前記第１の画像信号より解像度の低い第３の画像信号をさらに生成し、
前記注目画素における出力の色が前記所定色である場合に、前記成分に前記第３の画像信号を加算して得られる画素信号を、前記変換画素の画素信号であると推定する処理をさらに実行させるための、
前記（１９）に記載の画像処理プログラム。
（２１）
前記画像処理装置に、
前記注目画素における出力の色が前記所定色の画素および前記所定色以外の色の画素の何れに対しても、前記成分に基づき前記変換画素を生成する処理をさらに実行させるための、
前記（１９）または（２０）に記載の画像処理プログラム。
（２２）
前記画像処理装置に、
前記注目画素における出力の色が前記所定色以外の色である場合に、
前記成分と、該所定色以外の色の画素の画素信号に基づき生成した前記第３の画像信号と、に基づく相関処理により前記変換画素の画素信号を推定する処理をさらに実行させるための、
前記（２０）に記載の画像処理プログラム。
（２３）
前記画像処理装置に、
前記入力画像における前記注目画素を含む局所領域内の画素の画素信号に基づき色バランスを算出し、算出した該色バランスに基づき、該局所領域内に含まれる画素の画素信号を正規化し、正規化された該画素信号を用いて前記方向を求める処理をさらに実行させるための、
前記（１９）乃至（２２）の何れかに記載の画像処理プログラム。
（２４）
前記画像処理装置に、
予め色バランスが調整された前記入力画像による画素信号を用いて前記方向を求める処理をさらに実行させるための、
前記（１９）乃至（２２）の何れかに記載の画像処理プログラム。
（２５）
前記画像処理装置に、
前記入力画像に基づき求めた方向に沿って、前記入力画像の全面に補間処理を行って前記第１の画像信号を生成する処理をさらに実行させるための、
前記（１９）乃至（２４）の何れかに記載の画像処理プログラム。
（２６）
前記画像処理装置に、
前記入力画像における各画素信号に対して、既知の感度補正値に基づき感度補正処理を行い、該感度補正処理を行った各画素信号に対して前記信号処理を実行する処理をさらに実行させるための、
前記（１９）乃至（２５）の何れかに記載の画像処理プログラム。
【符号の説明】
【０１４１】
１，１ａ，１ｂ  撮像装置
１０  撮像系
１１，１１’  リモザイク処理
１３  感度差補正部
２１，２１Ｒ，２１Ｂ，２１Ｇ  カラーフィルタ
２２  受光素子
４０  マイクロレンズ
１０１  画像処理部
１００，１００３  撮像部
１１０，１１０’  画像信号処理部
１１１  ＲＧＢ信号処理部
１０２  出力部
２００  ＬＣＢ部
２０１  方向判定部
２０２  Ｇ補間部
２０３  第１ＬＰＦ
２０４  第２ＬＰＦ
２０５  色変換処理部
１０００  ＣＰＵ
１０１１  撮像素子
１０１２  信号処理部
【図１】
2020043435.tif 000010
【図２】
2020043435.tif 000011
【図３】
2020043435.tif 000012
【図４】
2020043435.tif 000013
【図５】
2020043435.tif 000014
【図６】
2020043435.tif 000015
【図７】
2020043435.tif 000016
【図８】
2020043435.tif 000017
【図９】
2020043435.tif 000018
【図１０】
2020043435.tif 000019
【図１１】
2020043435.tif 000020
【図１２】
2020043435.tif 000021
【図１３】
2020043435.tif 000022
【図１４】
2020043435.tif 000023
【図１５】
2020043435.tif 000024
【図１６】
2020043435.tif 000025
【図１７】
2020043435.tif 000026
【図１８】
2020043435.tif 000027
【図１９】
2020043435.tif 000028
【図２０】
2020043435.tif 000029
【図２１】
2020043435.tif 000030
【図２２】
2020043435.tif 000031
【図２３】
2020043435.tif 000032
【図２４】
2020043435.tif 000033
【図２５】
2020043435.tif 000034
【図２６】
2020043435.tif 000035
【図２７】
2020043435.tif 000036
【図２８】
2020043435.tif 000037
【図２９】
2020043435.tif 000038
【図３０】
2020043435.tif 000039
【図３１Ａ】
2020043435.tif 000040
【図３１Ｂ】
2020043435.tif 000041
【図３１Ｃ】
2020043435.tif 000042
【図３１Ｄ】
2020043435.tif 000043
【図３１Ｅ】
2020043435.tif 000044