(57)【要約】【課題】６バンド配列に適したフィルタ配列を得ること。【解決手段】撮像素子は、第１〜第６の波長範囲の光がそれぞれ透過する六種類のフィルタと、六種類のフィルタのうち三種類のフィルタを透過した光をそれぞれ受光する、第１方向と第２方向とにそれぞれ順に配置された４つの受光部を有する第1の受光領域と、六種類のフィルタのうち四種類のフィルタを透過した光をそれぞれ受光する、第１方向と第２方向とにそれぞれ順に配置された４つの受光部を有する第２の受光領域と、を有し、第１の受光領域には第１の波長範囲の光を透過する２つのフィルタと、第２、第３の波長範囲のうちの１つの波長範囲の光を透過するフィルタと、第４、第５の波長範囲のうちの１つの波長範囲の光を透過するフィルタとが配置され、第２の受光領域には第１、第２、第３、第６の波長範囲の光を透過するフィルタとが配置される。【選択図】図１
2017092875.tif 000002
【特許請求の範囲】
【請求項１】
第１の波長範囲、第２の波長範囲、第３の波長範囲、第４の波長範囲、第５の波長範囲、第６の波長範囲の光がそれぞれ透過する六種類のフィルタと、
前記六種類のフィルタのうち三種類のフィルタが配置され、前記三種類のフィルタを透過した光をそれぞれ受光する、第１方向と前記第１方向に交差する第２方向とにそれぞれ順に配置された４つの受光部を有する第1の受光領域と、
前記六種類のフィルタのうち四種類のフィルタが配置され、前記四種類のフィルタを透過した光をそれぞれ受光する、第１方向と前記第１方向に交差する第２方向とにそれぞれ順に配置された４つの受光部を有する第２の受光領域と、
を有し、
前記第１の受光領域には前記第１の波長範囲の光を透過する２つのフィルタと、前記第２の波長範囲と第３の波長範囲のうちの１つの波長範囲の光を透過するフィルタと、前記第４の波長範囲と第５の波長範囲のうちの１つの波長範囲の光を透過するフィルタとが配置され、
前記第２の受光領域には前記第１の波長範囲の光を透過するフィルタと、前記第２の波長範囲の光を透過するフィルタと、前記第３の波長範囲の光を透過するフィルタと、前記第６の波長範囲の光を透過するフィルタとが配置された撮像素子。
【請求項２】
請求項１に記載の撮像素子において、
前記第１の受光領域において、前記第１の波長範囲の光を透過する２つのフィルタは対角位置に配置され、
前記第２の受光領域において、前記第１の波長範囲の光を透過するフィルタと前記第６の波長範囲の光を透過するフィルタとは対角位置に配置された撮像素子。
【請求項３】
請求項１または２に記載の撮像素子において、
前記第１の受光領域は、前記第１の波長範囲の光を透過する２つのフィルタと前記第２の波長範囲の光を透過するフィルタと前記第５の波長範囲の光を透過するフィルタとが配置された第３の受光領域、または前記第１の波長範囲の光を透過する２つのフィルタと前記第３の波長範囲の光を透過するフィルタと前記第４の波長範囲の光を透過するフィルタとを有する第４の受光領域である撮像素子。
【請求項４】
請求項３に記載の撮像素子において、
２つの前記第２の受光領域と前記第３の受光領域と前記第４の受光領域とを基本単位の受光領域とし、前記基本単位の受光領域が二次元状に周期的に配置された撮像素子。
【請求項５】
請求項４に記載の撮像素子において、
前記基本単位の受光領域において、２つの前記第２の受光領域は前記第１方向に順に配置され、前記第３の受光領域と前記第４の受光領域とは前記第１方向に順に配置され、２つの前記第２の受光領域のうちの一方の第２の受光領域と前記第３の受光領域とは前記第２方向に順に配置され、２つの前記第２の受光領域のうちの他方の第２の受光領域と前記第４の受光領域とは前記第２方向に順に配置された撮像素子。
【請求項６】
請求項１から請求項５にいずれか一項に記載の撮像素子において、
前記第１の波長範囲の光は緑、前記第２の波長範囲の光は赤、前記第３の波長範囲の光は青、前記第４の波長範囲の光は黄、前記第５の波長範囲の光は紫、前記第６の波長範囲の光は青緑またはエメラルドの色相に相当する撮像素子。
【請求項７】
入射光を受光する複数の受光部と、
第１の波長範囲、第２の波長範囲、第３の波長範囲、第４の波長範囲、第５の波長範囲および第６の波長範囲の光をそれぞれ透過し、前記複数の受光部の１つの受光部に前記入射光のうちの１つの波長範囲の光を入射する複数のフィルタとを有し、
前記複数のフィルタは、前記第１から前記第６の波長範囲の密度比が３：６：３：１：２：１で周期的に配列される撮像素子。
【請求項８】
請求項７に記載の撮像素子において、
前記複数のフィルタは、４行４列に配置した１６個の受光部を基本単位とする撮像素子。
【請求項９】
請求項７または８に記載の撮像素子において、
前記複数のフィルタは、前記第２の波長範囲のフィルタが市松状に配置され、前記市松状の格子点の内、前記第２の波長範囲が埋め切れなかった格子点の位置に前記第５の波長範囲のフィルタが配置され、残りの格子点の位置に前記第１の波長範囲、前記第３の波長範囲、前記第４の波長範囲、前記第６の波長範囲のフィルタが配置される撮像素子。
【請求項１０】
請求項９に記載の撮像素子において、
前記複数のフィルタは、前記残りの格子点の位置に前記第１の波長範囲のみが配置される行、前記第３の波長範囲のみが配置される行、前記第１の波長範囲と前記第４の波長範囲とが配置される行、前記第３の波長範囲と前記第６の波長範囲とが配置される行の４種類の行が存在する撮像素子。
【請求項１１】
請求項９に記載の撮像素子において、
前記複数のフィルタは、前記第５の波長範囲のフィルタが互いに隣接して配置される撮像素子。
【請求項１２】
請求項１０に記載の撮像素子において、
前記複数のフィルタは、前記第４の波長範囲のフィルタと前記第６の波長範囲のフィルタとが互いに隣接して配置される撮像素子。
【請求項１３】
請求項７から請求項１２にいずれか一項に記載の撮像素子において
前記第１の波長範囲の光は赤、前記第２の波長範囲の光は緑、前記第３の波長範囲の光は青、前記第４の波長範囲の光は黄、前記第５の波長範囲の光は青緑またはエメラルド、前記第６の波長範囲の光は紫の色相に相当する撮像素子。
【請求項１４】
第１波長範囲〜第ｎ波長範囲（ｎ≧３）の分光成分が異なる密度比で周期的に配列され、１つの画素に１つの分光成分を持つモザイク画像を入力する画像入力部と、
前記モザイク画像に対し、各画素に少なくとも１つの共通する分光成分を持った画像に変換する画像処理部とを備え、
前記画像処理部は、
前記モザイク画像の分光成分を用いて、画素配列の少なくとも２方向に関する類似度を算出する類似度算出部と、
前記類似度に基づき各方向の間の類似性を判定する類似性判定部と、
前記類似性に基づいて、各画素に少なくとも１つの共通する分光成分を持った画像を生成する画像生成部とを有し、
前記類似度算出部は、少なくとも、
第１画素ピッチの同じ分光成分を持つ画素同士の間の第１画素ピッチ類似度を算出し、
前記第１画素ピッチよりも短い第２画素ピッチの同じ分光成分を持つ画素同士の間の第２画素ピッチ類似度を、密度の高い分光成分を用いて算出し、
前記類似性判定部は、少なくとも、
前記第１画素ピッチ類似度に基づいて類似性を判定し、前記類似性に基づいて仮想的に各画素に前記第１波長範囲〜前記第ｎ波長範囲の各分光成分を持った第１仮想画像を生成し、前記第１仮想画像の情報に基づいて第１仮想画像の利得指標を算出し、
前記第２画素ピッチ類似度に基づいて類似性を判定し、前記類似性に基づいて仮想的に各画素に前記第１波長範囲〜前記第ｎ波長範囲の各分光成分を持った第２仮想画像を生成し、前記第２仮想画像の情報に基づいて第２仮想画像の利得指標を算出し、
少なくとも前記第１〜前記第２仮想画像の利得指標の大きさに基づいて、何れの画素ピッチの類似度に基づいて類似性を判定するのかを決定する画像処理装置。
【請求項１５】
請求項１４に記載の画像処理装置において、
前記類似度算出部は、前記第１画素ピッチ類似度と前記第２画素ピッチ類似度に加え、少なくとも前記第２画素ピッチよりも短い隣接画素ピッチの異なる分光成分を持つ画素同士の間の隣接画素ピッチ類似度を算出し、
前記類似性判定部は、前記第１仮想画像と前記第２仮想画像に加え、少なくとも前記隣接画素ピッチ類似度に基づいて類似性を判定し、前記類似性に基づいて仮想的に各画素に前記第１波長範囲〜前記第ｎ波長範囲の各分光成分を持った第３仮想画像を生成し、前記第３仮想画像の情報に基づいて、第３仮想画像の利得指標を算出し、
少なくとも前記第１〜前記第３仮想画像の利得指標の大きさに基づいて、何れの画素ピッチの類似度に基づいて類似性を判定するのかを決定する画像処理装置。
【請求項１６】
請求項１５に記載の画像処理装置において、
前記利得指標は、少なくとも前記第１〜前記第３仮想画像において、前記第１波長範囲〜前記第ｎ波長範囲の分光成分の間の和の特性を持った加算面と、前記第１波長範囲〜前記第ｎ波長範囲の分光成分の間の差の特性を持った差分面とにより、
前記加算面と前記モザイク画像との差分の大きさ、
前記加算面の１次微分の大きさ、
前記加算面の２次微分の大きさ、
前記差分面の大きさ、
前記差分面の１次微分の大きさ、
に基づいて構成される画像処理装置。
【請求項１７】
請求項１６に記載の画像処理装置において、
前記利得指標は、
前記加算面と前記モザイク画像との差分の大きさの２乗、
前記加算面の１次微分の大きさの逆数、
前記加算面の２次微分の大きさの逆数、
前記差分面の大きさの２乗、
前記差分面の１次微分の大きさ、
の積で構成され、前記利得指標が小さいほど利得が大きい画像処理装置。
【請求項１８】
請求項１４に記載の画像処理装置において、
前記類似性判定部で判定された前記類似性に基づいて、前記画像生成部は、前記第１波長範囲〜前記第ｎ波長範囲の分光成分の内、前記密度比が最も高い分光成分を除く分光成分間の差分面を生成する画像処理装置。
【請求項１９】
請求項１７または請求項１８に記載の画像処理装置において、
前記類似性判定部により判定された類似性に基づいて、前記画像生成部は、前記第１波長範囲〜前記第ｎ波長範囲の分光成分の内、最も密度比が高い分光成分の信号面を生成する画像処理装置。
【請求項２０】
第１波長範囲〜第ｎ波長範囲（ｎ≧２）の分光成分が配列され、１つの画素に１つの分光成分を持つモザイク画像を入力する画像入力部と、
各画素に前記第１波長範囲〜前記第ｎ波長範囲の分光成分を持った画像に変換する画像処理部とを備え、
前記画像処理部は、
第ｍ波長範囲（１≦ｍ≦ｎ）の分光成分が欠落する画素に対して、前記第ｍ波長範囲の分光成分の局所的な平均値と、少なくとも前記第ｍ波長範囲以外の分光成分の局所的な曲率値とに基づいて、前記第ｍ波長範囲の分光成分の画素値を算出する第１の画素値算出部と、
前記第ｍ波長範囲の分光成分が欠落する画素に対して、前記第ｍ波長範囲の分光成分の局所的な平均値に基づいて、前記第ｍ波長範囲の分光成分の画素値を算出する第２の画素値算出部と、
前記第１の画素値算出部で生成された前記第１波長範囲〜前記第ｎ波長範囲の画像の情報に基づいて、前記第１の画素値算出部で生成された前記第１波長範囲〜前記第ｎ波長範囲の画像に関する第１の利得指標を算出する第１の利得指標算出部と、
前記第２の画素値算出部で生成された前記第１波長範囲〜前記第ｎ波長範囲の画像の情報に基づいて、前記第２の画素値算出部で生成された前記第１波長範囲〜前記第ｎ波長範囲の画像に関する第２の利得指標を算出する第２の利得指標算出部と、
前記第１の利得指標と前記第２の利得指標とに基づいて、前記第１の画素値算出部で生成された前記第１波長範囲〜前記第ｎ波長範囲の画像と、前記第２の画素値算出部で生成された前記第１波長範囲〜前記第ｎ波長範囲の画像とをそれぞれ混合することによって、新たな前記第１波長範囲〜前記第ｎ波長範囲の画像のそれぞれを合成する画像合成部とを有する画像処理装置。
【請求項２１】
請求項２０に記載の画像処理装置において、
前記利得指標は、前記第１の画素値算出部と前記第２の画素値算出部でそれぞれ生成された前記第１波長範囲〜前記第ｎ波長範囲の画像の間の加算面と差分面とにより、
前記加算面と前記モザイク画像を局所的に平滑化した面との差分の大きさ、
前記加算面の１次微分の大きさ、
前記加算面の２次微分の大きさ、
前記差分面の大きさ、
前記差分面の１次微分の大きさ、
に基づいて構成される画像処理装置。
【請求項２２】
請求項２１に記載の画像処理装置において、
前記利得指標は、
前記加算面と前記モザイク画像を局所的に平滑化した面との差分の大きさの２乗の逆数、
前記加算面の１次微分の大きさの２乗、
前記加算面の２次微分の大きさの２乗、
前記差分面の大きさの２乗の逆数、
前記差分面の１次微分の大きさの２乗、
の積で構成され、前記利得指標が大きいほど利得が大きい画像処理装置。
【請求項２３】
請求項２０に記載の画像処理装置において、
第１波長範囲〜第６波長範囲の分光成分で構成され、色相環上で番号順に一周するように並び、第３波長範囲の分光成分のフィルタが輝度成分を表し、最も高密度に配置されるとき、
前記画像処理部は、
前記色相環上で前記第３波長範囲から離れたところに位置する前記第１波長範囲と第５波長範囲、前記第６波長範囲に対して、前記画像合成部が合成した画像を出力し、
前記色相環上で前記第３波長範囲に隣接したところに位置する第２波長範囲、第４波長範囲に対しては、前記第１の画素値算出部が算出した画像を出力する画像処理装置。
【請求項２４】
請求項１から請求項１３のいずれか一項に記載の撮像素子を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子、画像処理装置および撮像装置に関する。
【背景技術】
【０００２】
Bayer配列の３色より多い４色以上のマルチスペクトル（マルチバンド）のカラーフィルタ配列が提案されている（非特許文献１参照）。しかしながら、４色以上のカラーフィルタを有する撮像素子で高解像度の画像を生成することは難しい。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Y. Monno, M. Tanaka and M. Okutomi,"Multispectral demosaicking using guided filter," Proc. of SPIE-IS&T Electronic Imaging, SPIE Vol. 8299 82990O-1, 2012.
【発明の概要】
【０００４】
本発明の第１の態様による撮像素子は、第１の波長範囲、第２の波長範囲、第３の波長範囲、第４の波長範囲、第５の波長範囲、第６の波長範囲の光がそれぞれ透過する六種類のフィルタと、前記六種類のフィルタのうち三種類のフィルタが配置され、前記三種類のフィルタを透過した光をそれぞれ受光する、第１方向と前記第１方向に交差する第２方向とにそれぞれ順に配置された４つの受光部を有する第1の受光領域と、前記六種類のフィルタのうち四種類のフィルタが配置され、前記四種類のフィルタを透過した光をそれぞれ受光する、第１方向と前記第１方向に交差する第２方向とにそれぞれ順に配置された４つの受光部を有する第２の受光領域と、を有し、前記第１の受光領域には前記第１の波長範囲の光を透過する２つのフィルタと、前記第２の波長範囲と第３の波長範囲のうちの１つの波長範囲の光を透過するフィルタと、前記第４の波長範囲と第５の波長範囲のうちの１つの波長範囲の光を透過するフィルタとが配置され、前記第２の受光領域には前記第１の波長範囲の光を透過するフィルタと、前記第２の波長範囲の光を透過するフィルタと、前記第３の波長範囲の光を透過するフィルタと、前記第６の波長範囲の光を透過するフィルタとが配置される。
本発明の第２の態様による撮像素子は、入射光を受光する複数の受光部と、第１の波長範囲、第２の波長範囲、第３の波長範囲、第４の波長範囲、第５の波長範囲および第６の波長範囲の光をそれぞれ透過し、前記複数の受光部の１つの受光部に前記入射光のうちの１つの波長範囲の光を入射する複数のフィルタとを有し、前記複数のフィルタは、前記第１から前記第６の波長範囲の密度比が３：６：３：１：２：１で周期的に配列される。
本発明の第３の態様による画像処理装置は、  第１波長範囲〜第ｎ波長範囲（ｎ≧３）の分光成分が異なる密度比で周期的に配列され、１つの画素に１つの分光成分を持つモザイク画像を入力する画像入力部と、前記モザイク画像に対し、各画素に少なくとも１つの共通する分光成分を持った画像に変換する画像処理部とを備え、前記画像処理部は、前記モザイク画像の分光成分を用いて、画素配列の少なくとも２方向に関する類似度を算出する類似度算出部と、前記類似度に基づき各方向の間の類似性を判定する類似性判定部と、前記類似性に基づいて、各画素に少なくとも１つの共通する分光成分を持った画像を生成する画像生成部とを有し、前記類似度算出部は、少なくとも、第１画素ピッチの同じ分光成分を持つ画素同士の間の第１画素ピッチ類似度を算出し、前記第１画素ピッチよりも短い第２画素ピッチの同じ分光成分を持つ画素同士の間の第２画素ピッチ類似度を、密度の高い分光成分を用いて算出し、前記類似性判定部は、少なくとも、前記第１画素ピッチ類似度に基づいて類似性を判定し、前記類似性に基づいて仮想的に各画素に前記第１波長範囲〜前記第ｎ波長範囲の各分光成分を持った第１仮想画像を生成し、前記第１仮想画像の情報に基づいて第１仮想画像の利得指標を算出し、前記第２画素ピッチ類似度に基づいて類似性を判定し、前記類似性に基づいて仮想的に各画素に前記第１波長範囲〜前記第ｎ波長範囲の各分光成分を持った第２仮想画像を生成し、前記第２仮想画像の情報に基づいて第２仮想画像の利得指標を算出し、少なくとも前記第１〜前記第２仮想画像の利得指標の大きさに基づいて、何れの画素ピッチの類似度に基づいて類似性を判定するのかを決定する。
本発明の第４の態様による画像処理装置は、第１波長範囲〜前記第ｎ波長範囲（ｎ≧２）の分光成分が配列され、１つの画素に１つの分光成分を持つモザイク画像を入力する画像入力部と、各画素に前記第１波長範囲〜前記第ｎ波長範囲の分光成分を持った画像に変換する画像処理部とを備え、前記画像処理部は、第ｍ波長範囲（１≦ｍ≦ｎ）の分光成分が欠落する画素に対して、前記第ｍ波長範囲の分光成分の局所的な平均値と、少なくとも前記第ｍ波長範囲以外の分光成分の局所的な曲率値とに基づいて、前記第ｍ波長範囲の分光成分の画素値を算出する第１の画素値算出部と、前記第ｍ波長範囲の分光成分が欠落する画素に対して、前記第ｍ波長範囲の分光成分の局所的な平均値に基づいて、前記第ｍ波長範囲の分光成分の画素値を算出する第２の画素値算出部と、前記第１の画素値算出部で生成された前記第１波長範囲〜前記第ｎ波長範囲の画像の情報に基づいて、前記第１の画素値算出部で生成された前記第１波長範囲〜前記第ｎ波長範囲の画像に関する第１の利得指標を算出する第１の利得指標算出部と、前記第２の画素値算出部で生成された前記第１波長範囲〜前記第ｎ波長範囲の画像の情報に基づいて、前記第２の画素値算出部で生成された前記第１波長範囲〜前記第ｎ波長範囲の画像に関する第２の利得指標を算出する第２の利得指標算出部と、前記第１の利得指標と前記第２の利得指標とに基づいて、前記第１の画素値算出部で生成された前記第１波長範囲〜前記第ｎ波長範囲の画像と、前記第２の画素値算出部で生成された前記第１波長範囲〜前記第ｎ波長範囲の画像とをそれぞれ混合することによって、新たな前記第１波長範囲〜前記第ｎ波長範囲の画像のそれぞれを合成する画像合成部とを有する。
本発明の第５の態様による撮像装置は、第１の態様による撮像素子または第２の態様による撮像素子を備える。
【図面の簡単な説明】
【０００５】
【図１】図１(a)は、６色配列を例示する図、図１(b)は、複数の基本単位を備えるカラーフィルタ配列を説明する図、図１(c)は、６色配列と符号との関係を例示する図である。
【図２】色相環を模式的に表した図である。
【図３】輝度解像力および色解像力を周波数空間で表した図である。
【図４】プログラムを実行するコンピュータ装置を説明する図である。
【図５】画像処理プログラムの処理の流れを説明するフローチャートである。
【図６】デモザイク処理の詳細を説明するフローチャートである。
【図７】デモザイク処理の詳細を説明するフローチャートである。
【図８】図８(a)および図８(b)は、配列上のGG(EE/GE)成分を例示する図である。図８(c)および図８(d)は、配列上のBB(BP)成分を例示する図である。図８(e)は、周辺加算１を説明する図である。図８(f)は、周辺加算２を説明する図である。図８(g)は、類似度計算を説明する図である
【図９】図９(a)および図９(b)は、異色間類似度の算出を説明する図である。図９(c)は、周辺加算１を説明する図である。図９(d)は、周辺加算２を説明する図である。図９(e)〜図９(j)は、２画素間隔の同色間類似度の算出を説明する図である。
【図１０】図１０(a)〜図１０(l)は、４画素間隔の同色間類似度の算出を説明する図である。
【図１１】図１１(a)は、周辺加算を説明する図である。図１１(b)は、色勾配の計算を説明する図である。図１１(c)は、利得要素Ygradの計算を説明する図である。図１１(d)は、利得要素Ylapの計算を説明する図である。
【図１２】図１２(a)〜図１２(i)は、Gプリ補間を説明する図である。
【図１３】図１３(a)〜図１３(g)は、平均補間を説明する図である。図１３(h)は、Ce1面補間を説明する図である。図１３(i)は、Ce2面補間を説明する図である。
【図１４】図１４(a)および図１４(b)は、仮色差補正１を説明する図である。図１４(c)は、追加的なローパスフィルタ処理を説明する図である。
【図１５】図１５(a)は、色勾配の算出を説明する図である。図１５(b)は、一様色差補正を説明する図である。図１５(c)および図１５(d)は、仮色差補正２を説明する図である。
【図１６】図１６(a)〜図１６(c)は、R補間を説明する図である。図１６(d)〜図１６(g)は、O補間を説明する図である。図１６(h)は、E1補間を説明する図である。図１６(i)は、E2補間を説明する図である。図１６(j)は、E面へのLPF処理を説明する図である。
【図１７】図１７(a)〜図１７(m)は、E(31)位置のG補間を説明する図である。
【図１８】図１８(a)〜図１８(g)は、G補間を説明する図である。図１８(h)および図１８(i)は、LPF処理を説明する図である。
【図１９】画像処理装置を搭載するカメラの構成を例示するブロック図である。
【図２０】デモザイク処理の流れを説明するフローチャートである。
【図２１】デモザイク処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００６】
単板式のカラー撮像素子として、米国特許第3,971,065号明細書に示されるBayer配列が知られている。このような単板の撮像素子で取得したモザイク画像を色補間して高解像なカラー画像に復元する（デモザイク処理）技術として、米国特許第4,642,678号明細書と米国特許第5,541,653号明細書に示されるような、他の色面になぞらえて補間値を算出する技術が知られている。
【０００７】
また、方向判定を導入することによって高解像度化する技術が米国特許第5,373,322号明細書で導入され、その後の改良手法が米国特許第8,259,213号明細書に記載されている。米国特許第8,259,213号明細書には、Bayer配列のモザイク画像の信号を用いて２画素ピッチの同色間類似度と隣接画素ピッチの異色間類似度を同時に扱うことにより、高解像度化を図ることが開示されている。
【０００８】
一方、上述したようにマルチバンドのカラーフィルタ配列が提案され始めており、非特許文献１では５色のマルチバンドのフィルタ配列とそのデモザイクアルゴリズムが開示される。しかしながら、６バンドへの展開がなされていない上に、マルチバンド配列での高解像度化に至っていない。すなわち、デモザイク処理の際に２画素ピッチの同色間類似度を基本的に扱うだけであり、マルチバンド配列における高解像度化が実現できていない。
【０００９】
以下、図面を参照して６バンド（６つの波長範囲）配列に好適なフィルタ配列（カラーフィルターの配列）を提示し、マルチバンド配列を高精細に復元するデモザイク手法を詳細に説明する。図１(a)は、本発明の一実施の形態による６色のマルチスペクトル（マルチバンド）のカラーフィルタ配列（以降、６色配列と呼ぶ）を例示する図である。符号 aは画素ピッチを表す。本実施の形態では、図１(a)に例示した６色配列、すなわち、４×４画素を基本単位１０とし、図１(b)に示すように複数の基本単位１０が設けられる。６色配列の基本構造は、Bayer配列に基礎を置く。この理由は、Bayer配列が輝度解像と色解像とを高度に両立しうる配列だからである。
【００１０】
図２は、色相環２０を模式的に表した図である。図２によれば、Bayer配列で用いられるR（赤）、G（緑）、B（青）は、それぞれ約１２０度の間隔で表される。図１(a)に戻り、６色配列のうちの３色のカラーフィルタには、Bayer配列と同じR（赤）、G（緑）、B（青）のカラーフィルタを用いる。６色配列のうち残りの３色のカラーフィルタには、図２の色相環２０上でR（赤）、G（緑）、B（青）の間に位置するマンセル記号でY（黄）、BG（青緑）、P（紫）に相当するカラーフィルタを用いる。
【００１１】
本願明細書においては、便宜的に、上記Y（黄）、BG（青緑）、P（紫）に対してそれぞれO（橙）、E（エメラルド）、P（紫）の記号を用いる。O（橙）の感度スペクトルは、図２のR（赤）とG（緑）の間に感度のピークを持つ。E（エメラルド）の感度スペクトルは、図２のG（緑）とB（青）の間に感度のピークを持つ。また、P（紫）の感度スペクトルは、図２のB（青）の短波長側（B（青）よりもP側）とR（赤）の長波長側（R（赤）よりもP側）を合わせた感度分布を持つ。
【００１２】
６色配列のR、G、B、O、E、Pの比率は以下の通りとする。すなわち、Bayer配列を基本としてR:G:B = 1:2:1の比率を保ち、Bayer配列と同様の輝度解像と色解像との両立を図った上で、Bayer配列のR、G、Bの一部に代えて、O、E、Pを割り当てる。
【００１３】
具体的には、Bayer配列におけるRの４画素のうち１画素を、Rと色相が近いOに置き換える。また、Bayer配列におけるGの８画素のうち２画素を、Gと色相が近く、かつ輝度も担うEに置き換える。さらに、Bayer配列におけるBの４画素のうち１画素を、Bと色相が近いPに置き換える。このように、O、E、Pに割り当てる画素の比率を、Bayer配列における画素の1/4のみにとどめたのは、Bayer配列が持つ基本解像能力を維持するためである。以上の置換により、６色配列の色分配比率（色密度比）は、R:G:B:O:E:P = 3:6:3:1:2:1となる。これを色相順に示すと、R:O:G:E:B:P = 3:1:6:2:3:1である。
【００１４】
輝度解像力と色解像力について、図３を参照して説明する。図３は、６色配列における無彩色被写体の解像力（輝度解像力）と有彩色の解像力（色解像力）とを周波数空間（k 空間）で表した図である。図３のkx 軸およびky 軸の±π/aを横切る線で囲われた正方形の領域が、Bayer配列固有の無彩色解像の範囲である。符号 aは画素ピッチである。また、kx 軸およびky 軸の±π/(2a)を横切る線で囲われた正方形の領域が、Bayer配列固有の有彩色解像の範囲である。
【００１５】
図３によれば、O成分とE成分とP成分は、撮像時の解像能力として、R成分、B成分の色解像力を示す範囲、すなわち[±π/(2a),±π/(2a)]、[±π/(2a),±π/(2a)]を頂点とする正方型の周波数範囲のx,y各方向が半分となった、[±π/(4a),±π/(4a)]、[±π/(4a),±π/(4a)]を頂点とする正方型の周波数範囲を解像する。
【００１６】
また、G成分は、[±π/a,0]、[0,±π/a]を頂点とする菱型の周波数範囲を解像する。厳密には、R成分,B成分とG成分の解像範囲は、Bayer配列における画素の1/4が抜けているので幾分その限界解像付近で解像が崩れる部分があるが、影響は小さいためそのままBayer配列に近い解像を示す。逆に、E成分は、もう少しだけ解像が伸びる可能性があるが、O成分、P成分と同じとした。
【００１７】
なお、後述する補間アルゴリズムを使うと、G成分の解像範囲は、無彩色の解像域[±π/a,±π/a]、[±π/a,±π/a]を頂点とする正方型の周波数範囲まで伸びる。色差補間によってG面になぞらえると、スペクトル的にG成分と重なりをもつ O成分とE成分は、元の撮像時の解像範囲が狭いにもかかわらず、G面に近い範囲まで解像範囲が伸びる可能性をもつ。
【００１８】
上述した６色配列のカラーフィルタを備えた撮像素子の受光部によって光電変換された画素信号が有する色情報は、６色のうちの１色の情報である。このため、各画素位置において欠落している色情報を補間生成するデモザイク処理が必要とされる。例えば、R成分のカラーフィルタが設けられていた画素信号には、G成分、B成分、O成分、E成分、P成分の色情報がないので、近隣画素の色情報を用いて、G成分、B成分、O成分、E成分、P成分の信号を補間生成する。
【００１９】
本実施の形態では、デモザイク処理を含む画像処理プログラムを図４に示すコンピュータ装置１００に実行させることにより、画像処理装置を提供する。プログラムをパーソナルコンピュータ１００に取込む場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で当該プログラムを実行させることにより、画像処理装置として使用する。
【００２０】
プログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。ネットワーク１０１を経由する場合は、ネットワーク１０１に接続されたサーバコンピュータ１０２のハードディスク装置１０３などにプログラムを格納しておく。このように、プログラムは記録媒体１０４や通信回線１０１を介する提供などの種々の形態のコンピュータプログラム製品として供給される。
【００２１】
＜処理全体の流れ＞
図５は、コンピュータ装置１００のＣＰＵが実行する画像処理の流れを説明するフローチャートである。図５のステップＳ１において、コンピュータ装置１００のＣＰＵ（以降は単にＣＰＵとよぶ）は、６色配列のカラーフィルタを備えた撮像素子によって取得した画像（色モザイク画像）のデータを入力してステップＳ２へ進む。
【００２２】
入力した色モザイク画像のデータは、補間処理の対象としてコンピュータ装置１００のワークメモリに格納される。もし、入力した色モザイク画像を構成する各色の成分がガンマ補正された階調空間で表されている場合には、ガンマ補正前の線形階調のデータに戻してから、以降の処理を行う。
【００２３】
以下の説明において、配列上における処理対象位置を[i,j]で表し、i行j列を指すものとする。また、色モザイク画像のデータ（信号）を参照するとき、色成分に無関係のときは記号Aを用いる。G成分とE成分以外の全て成分のデータ（信号）をまとめて参照するときは記号Zを用いる。色成分のデータ（信号）を区別して参照するときは、各色成分（R,G,B,O,E,P）の記号を用いる。
【００２４】
ステップＳ２において、ＣＰＵは、階調変換を行うことによって、色モザイク画像のデータを線型階調空間のデータからガンマ空間のデータに変換する。ステップＳ３において、ＣＰＵは、デモザイク（色補間）処理を行ってステップＳ４へ進む。デモザイク処理の詳細については後述する。
【００２５】
ステップＳ４において、ＣＰＵは逆階調変換を行うことによって、デモザイク処理後の画像のデータを線型階調空間のデータに戻す。ステップＳ５において、ＣＰＵは、任意の色変換処理とガンマ変換処理を行うことにより、デモザイク処理後の画像を出力色空間の画像へ変換する。出力色空間として代表的なものは、例えば、ｓＲＧＢ色空間などがある。
【００２６】
＜デモザイク処理＞
図６および図７は、コンピュータ装置１００のＣＰＵが実行する上記デモザイク処理（ステップＳ３）の詳細を説明するフローチャートである。なお、図６のフローチャートはステップＳ３０２から始まるものとし、ステップＳ３１７はスキップされるものとする。
また、色モザイク画像のデータに関して、図１(a)の基本単位１０の６色配列に対応させて二桁の符号をつけて説明する。図１(c)は、図１(a)の６色配列と符号との関係を例示する図である。図１(c)によれば、符号の１０の位は色を表し、符号の１の位は６色配列上の位置を表す。
【００２７】
＜ステップＳ３０２＞
図６のステップＳ３０２において、ＣＰＵは、斜め方向判定処理を行って斜め方向判定指標DNを算出する。斜め方向判定の処理は、（２−１）斜め４５度と１３５度方向の類似度の算出と、（２−２）類似度の周辺加算１と、（２−３）類似度の周辺加算２と、（２−４）G/E位置での類似度計算と、（２−５）斜め類似性判定とで構成される。
【００２８】
（２-１）斜め４５度と１３５度方向の類似度
（i）GG(EE/GE)成分
図８(a)および図８(b)は、配列上のGG(EE/GE)成分を例示する図である。ＣＰＵは、次式（１）によりGG(EE/GE)成分の斜め４５度方向の類似度を算出し、次式（２）によりGG(EE/GE)成分の斜め１３５度方向の類似度を算出する。
C45_1 = |A[i-1, j]-A[i, j-1]|+|A[i, j+1]-A[i+1, j]|
+|A[i-1, j]-A[i-2, j+1]|+|A[i, j+1]-A[i-1, j+2]|
+|A[i, j-1]-A[i+1, j-2]|+|A[i+1, j]-A[i+2, j-1]|    …（１）
C135_1 = |A[i-1, j]-A[i, j+1]|+|A[i, j-1]-A[i+1, j]|
+|A[i-1, j]-A[i-2, j-1]|+|A[i, j-1]-A[i-1, j-2]|
+|A[i, j+1]-A[i+1, j+2]|+|A[i+1, j]-A[i+2, j+1]|    …（２）
【００２９】
（ii）BB(BP)成分
図８(c)および図８(d)は、配列上のBB(BP)成分を例示する図である。ＣＰＵは、次式（３）によりBB(BP)成分の斜め４５度方向の類似度を算出し、次式（４）によりBB(BP)成分の斜め１３５度方向の類似度を算出する。
C45_2 = |Z[i-1, j+1]-Z[i+1, j-1]|     …（３）
C135_2 = |Z[i-1, j-1]-Z[i+1, j+1]|     …（４）
【００３０】
（iii）同色間＋異色間類似度の算出
ＣＰＵは、次式（５）により同色間＋異色間の斜め４５度方向の類似度を算出し、次式（６）により同色間＋異色間の斜め１３５度方向の類似度を算出する。
C45_0[i, j]=(C45_1+C45_2)/7       …（５）
C135_0[i, j]=(C135_1+C135_2)/7     …（６）
【００３１】
（２-２）類似度の周辺加算１
図８(e)は、周辺加算１を説明する図である。ＣＰＵは、補間対象画素[i,j]を中心とする５×５画素サイズで、次式（７）により斜め４５度方向の類似度の周辺加算１を行い、次式（８）により斜め１３５度方向の類似度の周辺加算１を行う。
C45[i, j]=(4*C45_0[i, j]
+2*(C45_0[i-1, j-1]+C45_0[i+1, j-1]+C45_0[i-1, j+1]+C45_0[i+1, j+1])
+C45_0[i, j-2]+C45_0[i, j+2]+C45_0[i-2, j]+C45_0[i+2, j])/16     …（７）
C135[i, j]=(4*C135_0[i, j]
+2*(C135_0[i-1, j-1]+C135_0[i+1, j-1]+C135_0[i-1, j+1]+C135_0[i+1, j+1])
+C135_0[i, j-2]+C135_0[i, j+2]+C135_0[i-2, j]+C135_0[i+2, j])/16   …（８）
【００３２】
（２-３）類似度の周辺加算２
図８(f)は、周辺加算２を説明する図である。ＣＰＵは、補間対象画素[i,j]を中心とする９×９画素サイズで、次式（９）により斜め４５度方向の類似度の周辺加算２を行い、次式（１０）により斜め１３５度方向の類似度の周辺加算２を行う。
c45[i, j]=(4*C45[i, j]
+2*(C45[i-2, j-2]+C45[i+2, j-2]+C45[i-2, j+2]+C45[i+2, j+2])
+C45[i, j-4]+C45[i, j+4]+C45[i-4, j]+C45[i+4, j])/16     …（９）
c135[i, j]=(4*C135[i, j] 
+2*(C135[i-2, j-2]+C135[i+2, j-2]+C135[i-2, j+2]+C135[i+2, j+2])
+C135[i, j-4]+C135[i, j+4]+C135[i-4, j]+C135[i+4, j])/16   …（１０）
【００３３】
（２-４）G/E位置での類似度計算
図８(g)は、類似度計算を説明する図である。ＣＰＵは、補間対象画素[i,j]を中心とする３×３画素サイズで、次式（１１）により斜め４５度方向の類似度を算出し、次式（１２）により斜め１３５度方向の類似度を算出する。
c45[i, j]=(c45[i-1, j]+c45[i+1, j]+c45[i, j-1]+c45[i, j+1])/4   …（１１）
c135[i, j]
=(c135[i-1, j]+c135[i+1, j]+c135[i, j-1]+c135[i, j+1])/4   …（１２）
【００３４】
（２-５）斜め類似性判定
ＣＰＵは、上記算出した類似度に基づいて、次式（１３）により類似性を判定する。
if  |c45[i, j]-c135[i, j]|=<Th2    DN[i, j]=0  斜め類似性不明
else if  c45[i, j]<c135[i, j]   DN[i, j]=1  斜め45度類似性
else                             DN[i, j]= -1  斜め135度類似性  …（１３）
ただし、閾値Th2は２５６階調のとき５前後の値をとり、画像のノイズが多いときは高めに設定する。
【００３５】
＜ステップＳ３０３＞
図６のステップＳ３０３において、ＣＰＵは、縦横方向判定処理を行って縦横方向判定指標HVaを算出する。縦横類似性は、６色全ての同色間で定義できる４画素ピッチの同色間類似度、画素密度の多いRGB３色の同色間で定義できる２画素ピッチの同色間類似度、最も分解能が高い隣接画素間の異色間類似度の３種類が少なくとも存在する。このうち、異色間類似度は、色配列の縦横不均一性のため、周辺加算の加え方で「周辺加算が無し」、「周辺加算が狭い」、「周辺加算が広い」の３種類のタイプが存在し、これらも微妙に分解できる周波数範囲が異なる。つまり、ここまでで５種類が存在する。
【００３６】
更に、縦横判定すると縦横類似性に判断される周波数範囲が多く、補間値を算出する上で斜め類似性に判断される方が空間解像が高まる場合がある。したがって、強制的に常に「縦横不明」という選択肢も１つ存在する。これにより、上記５種類と合わせると６種類の縦横相関の求め方が存在し、それぞれ個別に縦横類似度を求めて方向判定し、その方向指標に基づいて補間値を算出すると、CZP（サーキュラーゾーンプレート）画像上で各々が得意とする周波数分解能領域が異なる。これらをつなげて、６種類の得意とする空間分解能領域を最大化するにはどのようにしたらよいであろうかという難題が生じる。
【００３７】
通常のBayer配列であれば、R,G,Bが比較的高密度に配置され、偽色・偽解像の発生源が[±π/(2a),±π/(2a)]、[±π/(2a), ±π/(2a)]の領域（図３）よりも外側の高周波側に限定されるため、隣接画素ピッチの異色間類似度と２画素ピッチの同色間類似度という２種類の類似度（相関量）を使っていれば、上述のような難題が生じずに済んでいた。しかしながら、本実施の形態では単板に６色配列したことにより、密度の低いO成分,E成分,P成分が、中間周波数帯よりも内側のさらに低周波側の中間周波数帯領域、すなわち、[±π/(4a),±π/(4a)]、[±π/(4a), ±π/(4a)]が囲む領域近傍に偽色・偽解像の発生源を生み出すことになる。方向判定が誤っている場合、これらの偽色・偽解像を更に悪化させた形で激しい偽色と偽解像を作り出してしまう。
【００３８】
そこで、一旦仮想的に、６種類各々の縦横類似性判定指標に基づいて６色の補間値を算出し、適応的な偽色除去も加えた上で、６通りの補間結果を比較することにする。それぞれの補間結果から、偽色・偽解像の発生を最も少なくできていると推定される方向判定指標を６種類の中から選び出し、その画素の方向判定指標とする。そのもっともらしさは仮想補間結果から偽色と偽解像を同時に最小化する利得指標を算出することによって測る。そのために仮想補間結果から輝度面と色度面を作り出し、色度面の大きさ自体が偽色を表し、色度面の１次微分（色勾配）も偽色を表しているものとみなす。
【００３９】
一方の輝度面は、偽解像が発生せずに正しい画像を復元していればいるほど画像のコントラストが高まる。したがって、輝度面の１次微分と２次微分が大きければ大きいほど正しい画像復元に結びつく。他方、輝度面に偽解像が発生すると、特に無彩色部では、元のモザイク画像面からのずれが大きくなる。したがって、輝度復元結果は、元のモザイク画像に近いものになるように選ぶ。これらをまとめると、次式（１４）の利得指標を最小化する縦横方向判定指標が６種類の中で最適な指標を表している。
【００４０】
2017092875.tif 000003
…（１４）
ただし、Cdiff:色度（０次微分、９×９）
Cgrad:色勾配（１次微分、１７×１７）
Ydiff:輝度とモザイク画像の差（０次微分、１×１）
∇Y:輝度勾配（１次微分、５×５）
△Y:輝度ラプラシアン（２次微分、９×９）
【００４１】
なお、色差面を生成するための方向判定指標は、６種類の縦横方向判定指標の中から選んだ指標HVaを使う。この方向判定指標の中には色成分を無視した異色間類似度が含まれているので、輝度面生成のときには有彩色部でギザギザ偽解像となる弊害を生じる。したがって、輝度面を生成するための方向判定指標は無彩色部で上記６種類の縦横方向判定指標の中から選んだ指標HVaを、有彩色部では２種類の同色間類似度の縦横方向判定指標の中から選んだ指標HVcを使う。
【００４２】
縦横方向判定の処理は、（３−１）１種類目の縦横方向判定指標HVpl[1]の算出と、（３−２）２種類目の縦横方向判定指標 HVpl[2]の算出と、（３−３）３種類目の縦横方向判定指標 HVpl[3]の算出と、（３−４）４種類目の縦横方向判定指標 HVpl[4]の算出と、（３−５）５種類目の縦横方向判定指標 HVpl[5]の算出と、（３−６）６種類目の縦横方向判定指標 HVpl[6]の算出と、（３−７）HVpl[1-6]各タイプの方向判定指標による仮想補間と、（３−８）HVpl[1-6]各タイプの仮想輝度面生成と、（３−９）HVpl[1-6]各タイプの利得要素 Cdiffの算出と、（３−１０）HVpl[1-6]各タイプの利得要素 Cgradの算出と、（３−１１）HVpl[1-6]各タイプの利得要素 Ydiffの算出と、（３−１２）HVpl[1-6]各タイプの利得要素 Ygradの算出と、（３−１３）HVpl[1-6]各タイプの利得要素 Ylapの算出と、（３−１４）HVpl[1-6]各タイプの利得指標 FMの算出と、（３−１５）無彩色領域の縦横判定指標の選択と、（３−１６）有彩色領域の縦横判定指標の選択とで構成される。
【００４３】
（３-１）１種類目の縦横方向判定指標 HVpl[1]の算出
（３-１-１）縦横方向の異色間類似度
GR(ER,GO)成分, GB(EB,GP)成分
図９(a)および図９(b)は、異色間類似度の算出を説明する図である。ＣＰＵは、補間対象画素[i,j]を中心とする３×３画素サイズで、次式（１５）により縦方向の異色間類似度を算出し、次式（１６）により横方向の異色間類似度を算出する。
Cv0[i, j]=(|A[i-1, j]-Z[i, j]|+|A[i+1, j]-Z[i, j]|
+|A[i-1, j-1]-Z[i, j-1]|+|A[i+1, j-1]-Z[i, j-1]|
+|A[i-1, j+1]-Z[i, j+1]|+|A[i+1, j+1]-Z[i, j+1]|)/6     …（１５）
Ch0[i, j]=(|A[i, j-1]-Z[i, j]|+|A[i, j+1]-Z[i, j]|
+|A[i-1, j-1]-Z[i-1, j]|+|A[i-1, j+1]-Z[i-1, j]|
+|A[i+1, j-1]-Z[i+1, j]|+|A[i+1, j+1]-Z[i+1, j]|)/6     …（１６）
【００４４】
（３-１-２）類似度の周辺加算１
図９(c)は、周辺加算１を説明する図である。ＣＰＵは、補間対象画素[i,j]を中心とする５×５画素サイズで、次式（１７）により縦方向の類似度の周辺加算１を行い、次式（１８）により横方向の類似度の周辺加算１を行う。
Cv[i, j]=(4*Cv0[i, j]
+2*(Cv0[i-1, j-1]+Cv0[i+1, j-1]+Cv0[i-1, j+1]+Cv0[i+1, j+1])
+Cv0[i, j-2]+Cv0[i, j+2]+Cv0[i-2, j]+Cv0[i+2, j])/16     …（１７）
Ch[i, j]=(4*Ch0[i, j]
+2*(Ch0[i-1, j-1]+Ch0[i+1, j-1]+Ch0[i-1, j+1]+Ch0[i+1, j+1])
+Ch0[i, j-2]+Ch0[i, j+2]+Ch0[i-2, j]+Ch0[i+2, j])/16     …（１８）
【００４５】
（３-１-３）類似度の周辺加算２
図９(d)は、周辺加算２を説明する図である。ＣＰＵは、補間対象画素[i,j]を中心とする９×９画素サイズで、次式（１９）により縦方向の類似度の周辺加算２を行い、次式（２０）により横方向の類似度の周辺加算２を行う。
cv[i, j]=(4*Cv[i, j]
+2*(Cv[i-2, j-2]+Cv[i+2, j-2]+Cv[i-2, j+2]+Cv[i+2, j+2])
+Cv[i, j-4]+Cv[i, j+4]+Cv[i-4, j]+Cv[i+4, j])/16     …（１９）
ch[i, j]=(4*Ch[i, j]
+2*(Ch[i-2, j-2]+Ch[i+2, j-2]+Ch[i-2, j+2]+Ch[i+2, j+2])
+Ch[i, j-4]+Ch[i, j+4]+Ch[i-4, j]+Ch[i+4, j])/16     …（２０）
【００４６】
（３-１-４）G/E位置での類似度計算
ＣＰＵは、補間対象画素[i,j]を中心とする３×３画素サイズで、次式（２１）により縦方向の類似度を算出し、次式（２２）により横方向の類似度を算出する。
cv[i, j]=(cv[i-1, j]+cv[i+1, j]+cv[i, j-1]+cv[i, j+1])/4     …（２１）
ch[i, j]=(ch[i-1, j]+ch[i+1, j]+ch[i, j-1]+ch[i, j+1])/4     …（２２）
【００４７】
（３-１-５）縦横類似性判定
ＣＰＵは、上記算出した類似度に基づいて、次式（２３）により類似性を判定する。
if  |cv[i, j]-ch[i, j]|=<Th0    HVpl[1][i, j]=0  縦横類似性不明
else if  cv[i, j]<ch[i, j]  HVpl[1][i, j]=1      縦類似
else                        HVpl[1][i, j]= -1  横類似    …（２３）
ただし、閾値Th0は２５６階調のとき５前後の値をとり、画像のノイズが多いときは高めに設定する。
【００４８】
（３-２）２種類目の縦横方向判定指標 HVpl[2]の算出
これは、上述した（３-１）における（３-１-３）類似度の周辺加算２を省いたものである。異色間類似度は、縦方向と横方向の色成分が等方的でないために、周辺加算の仕方で縦横判断の違いが生じうる。それらを全て包含するために、周辺加算の仕方を変えたものを用意する。
【００４９】
（３-３）３種類目の縦横方向判定指標 HVpl[3]の算出
これは、上述した（３-１）における（３-１-２）類似度の周辺加算１と、上述した（３-１）における（３-１-３）類似度の周辺加算２の両方を省いたものである。理由は上述の通りである。
【００５０】
（３-４）４種類目の縦横方向判定指標 HVpl[4]の算出
（３-４-１）縦横方向の２画素間隔の同色間類似度
RR成分, GG成分, BB成分
図９(e)〜図９(j)は、２画素間隔の同色間類似度の算出を説明する図である。ＣＰＵは、図１(a)、図１(c)におけるR(00) の位置について、次式（２４）により縦方向の２画素間隔の同色間類似度を算出し、次式（２５）により横方向の２画素間隔の同色間類似度を算出する。
R(00) site
Cv0[i, j]=(|R[i-2, j-2]-R[i, j-2]|+|R[i+2, j-2]-R[i, j-2]|
+|R[i-2, j+2]-R[i, j+2]|+|R[i+2, j+2]-R[i, j+2]|
+|G[i-1, j]-G[i+1, j]|
+|G[i-2, j+1]-G[i, j+1]|+|G[i+2, j+1]-G[i, j+1]|
+|B[i-1, j-1]-B[i+1, j-1]|)/8                     …（２４）
Ch0[i, j]=(|R[i, j-2]-R[i, j]|+|R[i, j+2]-R[i, j]|
+|G[i-2, j-1]-G[i-2, j+1]|+|G[i+2, j-1]-G[i+2, j+1]|
+|G[i+1, j-2]-G[i+1, j]|+|G[i+1, j+2]-G[i+1, j]|
+|B[i-1, j-1]-B[i-1, j+1]|)/7                     …（２５）
【００５１】
ＣＰＵは、図１(a)、図１(c)におけるR(01) の位置、B(40) の位置、P(50) の位置、O(10) の位置、R(02) の位置、B(41) の位置、B(42) の位置についても同様に、補間対象画素[i,j]を中心とする５×５画素サイズで２画素ピッチで定義できるRR相関、GG相関、BB相関を全て足しあわせて定義する。ただし、相関項数で割り算して規格化する。なお、ここでは記載を省略するが、上記R(00) の位置の例にならって他の位置についても個別に定義する。
【００５２】
（３-４-２）類似度の周辺加算１
ＣＰＵは、上述した（３-１）における（３-１-２）と同様に、類似度の周辺加算１を行う。
（３-４-３）類似度の周辺加算２
ＣＰＵは、上述した（３-１）における（３-１-３）と同様に、類似度の周辺加算２を行う。
（３-４-４）G/E位置での類似度計算
ＣＰＵは、上述した（３-１）における（３-１-４）と同様に、G位置、E位置での類似度計算を行う。
【００５３】
（３-４-５）縦横類似性判定
ＣＰＵは、上記算出した類似度に基づいて、次式（２６）により類似性を判定する。
if  |cv[i, j]-ch[i, j]|=<Th1    HVpl[4][i, j]=0  縦横類似性不明
else if  cv[i, j]<ch[i, j]  HVpl[4][i, j]=1  縦類似
else                        HVpl[4][i, j]= -1  横類似    …（２６）
ただし、閾値Th1は２５６階調のとき５前後の値をとり、画像のノイズが多いときは高めに設定する。
【００５４】
（３-５）５種類目の縦横方向判定指標 HVpl[5]の算出
（３-５-１）縦横方向の４画素間隔の同色間類似度
RR成分, GG成分, BB成分, OO成分, EE成分, PP成分
図１０(a)〜図１０(l)は、４画素間隔の同色間類似度の算出を説明する図である。ＣＰＵは、図１(a)、図１(c)におけるR(00) の位置について、次式（２７）により縦方向の４画素間隔の同色間類似度を算出し、次式（２８）により横方向の４画素間隔の同色間類似度を算出する。
R(00) site
Cv0[i, j]=(|R[i-4, j]-R[i, j]|+|R[i+4, j]-R[i, j]| 
+|G[i-2, j-1]-G[i+2, j-1]|
+|G[i-3, j-2]-G[i+1, j-2]|+|G[i-3, j+2]-G[i+1, j+2]|
+|B[i-1, j+1]-B[i+3, j+1]|
+|O[i-2, j]-O[i+2, j]|
+|E[i-4, j-1]-E[i, j-1]| +|E[i+4, j-1]-E[i, j-1]|
+|E[i+3, j-2]-E[i-1, j-2]|+|E[i+3, j+2]-E[i-1, j+2]|
+|P[i-3, j+1]-P[i+1, j+1]|)/12                          …（２７）
Ch0[i, j]=(|R[i-2, j-2]-R[i-2, j+2]|+|R[i+2, j-2]-R[i+2, j+2]|
+|G[i, j-3]-G[i, j+1]|
+|G[i-1, j-4]-G[i-1, j]|+|G[i-1, j+4]-G[i-1, j]|
+|B[i+1, j+3]-B[i+1, j-1]|
+|O[i-2, j-4]-O[i-2, j]|+|O[i-2, j+4]-O[i-2, j]|
+|O[i+2, j-4]-O[i+2, j]|+|O[i+2, j+4]-O[i+2, j]|
+|E[i, j-1]-E[i, j+3]|+|E[i-1, j-2]-E[i-1, j+2]|
+|P[i+1, j-3]-P[i+1, j+1]|)/13                          …（２８）
【００５５】
ＣＰＵは、図１(a)、図１(c)におけるR(01) の位置、B(40) の位置、P(50) の位置、O(10) の位置、R(02) の位置、B(41) の位置、B(42) の位置についても同様に、補間対象画素[i,j]を中心として、縦方向は９×５画素サイズで４画素ピッチで定義できるRR相関、GG相関、BB相関、OO相関、EE相関、PP相関を全て足しあわせて定義する。横方向は５×９画素サイズで４画素ピッチで定義できるRR相関、GG相関、BB相関、OO相関、EE相関、PP相関を全て足しあわせて定義する。ただし、相関項数で割り算して規格化する。なお、ここでは記載を省略するが、上記R(00) の位置の例にならって他の位置についても個別に定義する。
【００５６】
（３-５-２）類似度の周辺加算１
ＣＰＵは、上述した（３-１）における（３-１-２）と同様に、類似度の周辺加算１を行う。
（３-５-３）類似度の周辺加算２
ＣＰＵは、上述した（３-１）における（３-１-３）と同様に、類似度の周辺加算２を行う。
（３-５-４）G/E位置での類似度計算
ＣＰＵは、上述した（３-１）における（３-１-４）と同様に、G位置、E位置での類似度計算を行う。
【００５７】
（３-５-５）縦横類似性判定
ＣＰＵは、上記算出した類似度に基づいて、次式（２９）により類似性を判定する。
if  |cv[i, j]-ch[i, j]|=<Th1    HVpl[5][i, j]=0  縦横類似性不明
else if  cv[i, j]<ch[i, j]  HVpl[5][i, j]=1  縦類似
else                        HVpl[5][i, j]= -1  横類似    …（２９）
ただし、閾値Th1は２５６階調のとき５前後の値をとり、画像のノイズが多いときは高めに設定する。
【００５８】
（３-６）６種類目の縦横方向判定指標 HVpl[6]の算出
ＣＰＵは、強制的に常に縦横不明（次式（３０））と置く。
HVpl[6][i,j]=0  縦横類似性不明    …（３０）
【００５９】
（３-７）HVpl[1-6]各タイプの方向判定指標による仮想補間
ＣＰＵは、後述するステップＳ３０４〜Ｓ３１２とＳ３１５に説明するG補間と、色差Cr,色差Cb,色差Co,色差Cp,色差Ceの補間の説明と全く同じ手続きを踏んで仮想補間結果を６種類用意する。ただし、縦横方向判定指標は、上述した６種類の縦横方向判定指標HVpl[1-6]の１種類を共通に使用して前述の処理を行う。その結果得られた仮想補間結果を、以下の記号で表す。すなわち、G_hvpl[1-6][i,j]、Cr_hvpl[1-6][i,j]、Cb_hvpl[1-6][i,j]、Co_hvpl[1-6][i,j]、Cp_hvpl[1-6][i,j]、Ce_hvpl[1-6][i,j]と表す。
【００６０】
（３-８）HVpl[1-6]各タイプの仮想輝度面生成
ＣＰＵは、６種類の縦横方向判定指標HVpl[1-6]の各タイプについて、仮想輝度面を次式（３１）により生成する。
For k=1,2,…,6.
g = G[k][i,j].
r = Cr_hvpl[k][i,j]+g
b = Cb_hvpl[k][i,j]+g
o = Co_hvpl[k][i,j]+g
p = Cp_hvpl[k][i,j]+g
e = Ce_hvpl[k][i,j]+g
Y_hvpl[k][i,j] = (3*r+6*g+3*b+o+2*e+p)/16          …（３１）
【００６１】
（３-９）HVpl[1-6]各タイプの利得要素Cdiffの計算
（３-９-１）色差（色度）の計算
ＣＰＵは、６種類の縦横方向判定指標HVpl[1-6]の各タイプについて、６色の内の２色間の差分の組み合わせを次式（３２）により全て計算する。組み合わせの数は６Ｃ２=１５通りある。
For k=1,2,…,6.
Cdiff0_hvpl[k][i,j] = (|Cr_hvpl[k][i,j]|+|Co_hvpl[k] [i,j]| +|Ce_hvpl[k] [i,j]|
+|Cb_hvpl[k] [i,j]| +|Cp_hvpl[k] [i,j]|
+|Cr_hvpl[k] [i,j]-Co_hvpl[k] [i,j]| +|Co_hvpl[k] [i,j]-Ce_hvpl[k] [i,j]|
+|Ce_hvpl[k] [i,j]-Cb_hvpl[k] [i,j]| +|Cb_hvpl[k] [i,j]-Cp_hvpl[k] [i,j]|
+|Cp_hvpl[k] [i,j]-Cr_hvpl[k] [i,j]|
+|Cr_hvpl[k] [i,j]-Ce_hvpl[k] [i,j]| +|Co_hvpl[k] [i,j]-Cb_hvpl[k] [i,j]|
+|Ce_hvpl[k] [i,j]-Cp_hvpl[k] [i,j]| +|Cb_hvpl[k] [i,j]-Cr_hvpl[k] [i,j]|
+|Cp_hvpl[k] [i,j]-Co_hvpl[k] [i,j]|)/15            …（３２）
【００６２】
（３-９-２）周辺加算
図１１(a)は、周辺加算を説明する図である。ＣＰＵは、６種類の縦横方向判定指標HVpl[1-6]の各タイプについて、補間対象画素[i,j]を中心とする９×９画素サイズで、次式（３３）により周辺加算を行う。
For k=1,2,…,6.
Cdiff_hvpl[k][i, j]=(8*Cdiff0_hvpl[k][i, j]
+Cdiff0_hvpl[k] [i-2, j-2]+Cdiff0_hvpl[k] [i+2, j-2]
+Cdiff0_hvpl[k] [i-2, j+2]+Cdiff0_hvpl[k] [i+2, j+2]
+Cdiff0_hvpl[k] [i, j-4]+Cdiff0_hvpl[k] [i, j+4]
+Cdiff0_hvpl[k] [i-4, j]+Cdiff0_hvpl[k] [i+4, j])/16    …（３３）
【００６３】
（３-１０）HVpl[1-6]各タイプの利得要素Cgradの計算
（３-１０-１）色差（色度）の計算
ＣＰＵは、上述した（３-９-１）色差（色度）の計算と同様に算出を行う。ＣＰＵは、求まった色度面をCdiff_hvpl[k][i,j]の記号で表す。
【００６４】
（３-１０-２）色勾配の計算
図１１(b)は、色勾配の計算を説明する図である。ＣＰＵは、６種類の縦横方向判定指標HVpl[1-6]の各タイプについて、補間対象画素[i,j]を中心とする１７×１７画素サイズで、次式（３４）により色度面の１次微分の色勾配を計算する。
For k=1,2,…,6.
Cgrad_hvpl[k] [i, j] = ( |Cdiff_hvpl[k] [i-2, j-2]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i+2, j-2]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i-2, j+2]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i+2, j+2]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i, j-2]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i, j+2]-Cdiff_hvpl[k] [i, j]| 
+|Cdiff_hvpl[k] [i-2, j]-Cdiff_hvpl[k] [i, j]| 
+|Cdiff_hvpl[k] [i+2, j]-Cdiff_hvpl[k] [i, j]| 
+|Cdiff_hvpl[k] [i-2, j-4]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i+2, j-4]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i-4, j-2]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i+4, j-2]-Cdiff_hvpl[k] [i, j]| 
+|Cdiff_hvpl[k] [i-4, j+2]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i+4, j+2]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i-2, j+4]-Cdiff_hvpl[k] [i, j]| 
+|Cdiff_hvpl[k] [i+2, j+4]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i, j-6]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i, j+6]-Cdiff_hvpl[k] [i, j]| 
+|Cdiff_hvpl[k] [i-6, j]-Cdiff_hvpl[k] [i, j]| 
+|Cdiff_hvpl[k] [i+6, j]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i-6, j-6]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i+6, j-6]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i-6, j+6]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i+6, j+6]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i-2, j-8]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i+2, j-8]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i-8, j-2]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i+8, j-2]-Cdiff_hvpl[k] [i, j]| 
+|Cdiff_hvpl[k] [i-8, j+2]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i+8, j+2]-Cdiff_hvpl[k] [i, j]|
+|Cdiff_hvpl[k] [i-2, j+8]-Cdiff_hvpl[k] [i, j]| 
+|Cdiff_hvpl[k] [i+2, j+8]-Cdiff_hvpl[k] [i, j]|)/32    …（３４）
【００６５】
（３-１１）HVpl[1-6]各タイプの利得要素Ydiffの計算
ＣＰＵは、６種類の縦横方向判定指標HVpl[1-6]の各タイプについて、仮想補間結果の輝度面とモザイク画像との差分を次式（３５）により計算する。
For k=1,2,…,6.
Ydiff_hvpl[k][i,j] = |Y_hvpl[k] [i,j]-A[i,j]|      …（３５）
【００６６】
（３-１２）HVpl[1-6]各タイプの利得要素Ygradの計算
図１１(c)は、利得要素Ygradの計算を説明する図である。ＣＰＵは、６種類の縦横方向判定指標HVpl[1-6]の各タイプについて、仮想補間結果の輝度面の１次微分を５×５画素の範囲で次式（３６）により計算する。
For k=1,2,…,6.
Ygrad_hvpl[k] [i, j]
= (|Y_hvpl[k] [i, j-1]-Y_hvpl[k] [i, j]|
+|Y_hvpl[k] [i, j+1]-Y_hvpl[k] [i, j]| 
+|Y_hvpl[k] [i-1, j]-Y_hvpl[k] [i, j]| 
+|Y_hvpl[k] [i+1, j]-Y_hvpl[k] [i, j]| 
+|Y_hvpl[k] [i-1, j-1]-Y_hvpl[k] [i, j]|
+|Y_hvpl[k] [i+1, j-1]-Y_hvpl[k] [i, j]|
+|Y_hvpl[k] [i-1, j+1]-Y_hvpl[k] [i, j]|
+|Y_hvpl[k] [i+1, j+1]-Y_hvpl[k] [i, j]|
+|Y_hvpl[k] [i, j-2]-Y_hvpl[k] [i, j]|
+|Y_hvpl[k] [i, j+2]-Y_hvpl[k] [i, j]| 
+|Y_hvpl[k] [i-2, j]-Y_hvpl[k] [i, j]| 
+|Y_hvpl[k] [i+2, j]-Y_hvpl[k] [i, j]|
+|Y_hvpl[k] [i-2, j-2]-Y_hvpl[k] [i, j]|
+|Y_hvpl[k] [i+2, j-2]-Y_hvpl[k] [i, j]|
+|Y_hvpl[k] [i-2, j+2]-Y_hvpl[k] [i, j]|
+|Y_hvpl[k][i+2, j+2]-Y_hvpl[k] [i, j]|)/16      …（３６）
【００６７】
（３-１３）HVpl[1-6]各タイプの利得要素Ylapの計算
図１１(d)は、利得要素Ylapの計算を説明する図である。ＣＰＵは、６種類の縦横方向判定指標HVpl[1-6]の各タイプについて、仮想補間結果の輝度面の２次微分を９×９画素の範囲で計算する。
【００６８】
（３-１３-１）ガウシアン・ローパスフィルタの適用
ローパスフィルタリング処理としてガウシアン・ローパスフィルタを例示する。画素並びの水平方向、垂直方向に対し、次式（３７）により算出する。
For k=1,2,…,6.
Horizontal lowpass filtering
tmp_Ylpf_hvpl[k][i, j]={f[0]* Y_hvpl[k][i, j]
+f[1]*(Y_hvpl[k][i, j-1]+ Y_hvpl[k][i, j+1])
+f[2]*(Y_hvpl[k][i, j-2]+Y_hvpl[k] [i, j+2])
+f[3]*(Y_hvpl[k][i, j-3]+Y_hvpl[k] [i, j+3])
+f[4]*(Y_hvpl[k][i, j-4]+Y_hvpl[k] [i, j+4])
}/(f[0]+2*f[1]+2*f[2]+2*f[3]+2*f[4])
Vertical lowpass filtering
Ylpf_hvpl[k][i, j]={f[0]* tmp_ Ylpf_hvpl[k][i, j]
+f[1]*(tmp_Ylpf_hvpl[k][i-1, j]+ tmp_Ylpf_hvpl[k][i+1, j])
+f[2]*(tmp_Ylpf_hvpl[k][i-2, j]+ tmp_Ylpf_hvpl[k][i+2, j])
+f[3]*(tmp_Ylpf_hvpl[k][i-3, j]+ tmp_Ylpf_hvpl[k][i+3, j])
+f[4]*(tmp_Ylpf_hvpl[k][i-4, j]+ tmp_Ylpf_hvpl[k][i+4, j])
}/(f[0]+2*f[1]+2*f[2]+2*f[3]+2*f[4])
Where
f[x]=exp(-x*x/2).                    …（３７）
（３-１３-２）Laplacianの抽出
ＣＰＵは、次式（３８）によりラプラシアンを抽出する。
Ylap_hvpl[k] [i, j] = Y_hvpl[k][i,j] - Y_lpf[k][i,j]       …（３８）
【００６９】
（３-１４）HVpl[1-6]各タイプの利得指標FM（Figure of Merit）の計算
ＣＰＵは、６種類の縦横方向判定指標HVpl[1-6]の各タイプについて、利得指標を次式（３９）により算出する。
For k=1,2,…,6.
FM_hvpl[k][i, j] =(Cdiff_hvpl[k][i, j]*Cdiff_hvpl[k][i, j]*Cgrad_hvpl[k][i, j]
*Ydiff_hvpl[k][i, j]*Ydiff_hvpl[k][i, j])
/(Ygrad_hvpl[k][i, j]*|Ylap_hvpl[k][i, j]|)    …（３９）
【００７０】
（３-１５）無彩色領域の縦横方向判定指標の選択
ＣＰＵは、６種類の縦横方向判定指標HVpl[1-6]の各タイプについて、HVpl[1-6][i,j]の中で利得指標FM_hvpl[k][i,j]を最小にするHVplをHVa[i,j]に代入する。
（３-１６）有彩色領域の縦横方向判定指標の選択
ＣＰＵは、２種類の縦横方向判定指標HVpl[4-5]の各タイプについて、HVpl[4-5][i,j]の中で利得指標FM_hvpl[k][i,j]を最小にするHVplをHVc[i,j]に代入する。
なお、HVpl[4-6][i,j]の３種類の中から選択してもよい。
【００７１】
＜ステップＳ３０４＞
図６のステップＳ３０４において、ＣＰＵは、G面のプリ補間を行い、G成分の平均値とG成分面内で抽出した曲率値で補正した補間値を算出する。ＣＰＵは、ステップＳ３０４のＧ面のプリ補間を、以下の手順（４−１）〜（４−４）により行う。
（４-１）G位置のコピー
ＣＰＵは、次式（４０）により、G位置のデータをコンピュータ装置１００のワークメモリへコピーする。
Gpre[i,j] = G[i, j]      …（４０）
【００７２】
（４-２）E(30)位置のGプリ補間
図１２(a)〜図１２(c)は、Gプリ補間を説明する図である。ＣＰＵは、図１(a)、図１(c)におけるE(30)の位置について、次式（４１）によりG面のプリ補間を行う。
if  HVa[i, j]=0
if  DN[i, j]=0    Gpre[i, j]=(<Gv>+<Gh>+<G45>+<G135>)/4+(dG45+dG135)/2
else if    DN[i, j]=1      Gpre[i, j]=<G45>+dG45
else              Gpre[i, j]=<G135>+dG135
else if        HVa[i, j]=1
if  DN[i, j]=0    Gpre[i, j]=<Gv>+(dG45+dG135)/2
else if    DN[i, j]=1      Gpre[i, j]=(<Gv>+<G45>)/2+dG45
else              Gpre[i, j]=(<Gv>+<G135>)/2+dG135
else
if  DN[i, j]=0    Gpre[i, j]= <Gh>+(dG45+dG135)/2
else if    DN[i, j]=1      Gpre[i, j]=(<Gh>+<G45>)/2+dG45
else              Gpre[i, j]=(<Gh>+<G135>)/2+dG135
where
<Gv>=(G[i-2, j]+G[i+2, j])/2
<Gh>=(G[i, j-2]+G[i, j+2])/2
<G45>=(G[i-1, j+1]+G[i+1, j-1])/2
<G135>=(G[i-2, j-2]+2*G[i+1, j+1])/3
dG45={2*(2*G[i+1, j+1]-G[i, j+2]-G[i+2, j])/2+(2*G[i-2, j-2]-G[i-3, j-1]-G[i-1, j-3])/2}/3
dG135={(2*G[i-1, j+1]-G[i, j+2]-G[i-2, j])/2+(2*G[i+1, j+1]-G[i+2, j]-G[i, j-2])/2}/2                            …（４１）
【００７３】
（４-３）E(31)位置のGプリ補間
図１２(d)〜図１２(f)は、Gプリ補間を説明する図である。ＣＰＵは、図１(a)、図１(c)におけるE(31) の位置について、次式（４２）によりG面のプリ補間を行う。
if  HVa[i, j]=0
if  DN[i, j]=0    Gpre[i, j]=(<Gv>+<Gh>+<G45>+<G135>)/4+(dG45+dG135)/2
else if    DN[i, j]=1      Gpre[i, j]=<G45>+dG45
else              Gpre[i, j]=<G135>+dG135
else if  HVa[i, j]=1
if  DN[i, j]=0    Gpre[i, j]=<Gv>+(dG45+dG135)/2
else if    DN[i, j]=1      Gpre[i, j]=(<Gv>+<G45>)/2+dG45
else              Gpre[i, j]=(<Gv>+<G135>)/2+dG135
else
if  DN[i, j]=0    Gpre[i, j]= <Gh>+(dG45+dG135)/2
else if    DN[i, j]=1      Gpre[i, j]=(<Gh>+<G45>)/2+dG45
else              Gpre[i, j]=(<Gh>+<G135>)/2+dG135
where
<Gv>=(G[i-2, j]+G[i+2, j])/2
<Gh>=(G[i, j-2]+G[i, j+2])/2
<G45>=(G[i-1, j+1]+G[i+1, j-1])/2
<G135>=(G[i+2, j+2]+2*G[i-1, j-1])/3
dG45={2*(2*G[i-1, j-1]-G[i, j-2]-G[i-2, j])/2+(2*G[i+2, j+2]-G[i+3, j+1]-G[i+1, j+3])/2}/3
dG135={(2*G[i-1, j+1]-G[i, j+2]-G[i-2, j])/2+(2*G[i+1, j+1]-G[i+2, j]-G[i, j-2])/2}/2                            …（４２）
【００７４】
（４-４）R/B/O/P位置のGプリ補間
図１２(g)〜図１２(i)は、R/B/O/P位置のGプリ補間を説明する図である。ＣＰＵは、次式（４３）によりG面のプリ補間を行う。
if  HVa[i, j]=0
Gpre[i, j]=(<Gv>+<Gh>)/2+(dGv+dGh)/2
else if    HVa[i, j]=1
Gpre[i, j]=<Gv>+dGv
else
Gpre[i, j]= <Gh>+dGh
Where
<Gv>=(G[i-1, j]+G[i+1, j])/2
<Gh>=(G[i, j-1]+G[i, j+1])/2
dGv={(2*G[i, j-1]-G[i-2, j-1]-G[i+2, j-1])/4+(2*G[i, j+1]-G[i-2, j+1]-G[i+2, j+1])/4}/2
dG135={(2*G[i-1, j]-G[i-1, j-2]-G[i-1, j+2])/4+(2*G[i+1, j]-G[i+1, j-2]-G[i+1, j+2])/4}/2                            …（４３）
【００７５】
＜ステップＳ３０５＞
図６のステップＳ３０５において、ＣＰＵは、色差生成と補間（面間相関型）を行う。ＣＰＵは、ステップＳ３０５の色差生成と補間を、以下の手順（５−１）〜（５−２）により行う。
（５-１）色差生成
（５-１-１）R位置のCr面生成
ＣＰＵは、次式（４４）によりR位置のCr面を生成する。
Cr[i,j]=R[i, j] -Gpre[i, j]            …（４４）
（５-１-２）B位置のCb面生成
ＣＰＵは、次式（４５）によりB位置のCb面を生成する。
Cb[i,j]=B[i, j] -Gpre[i, j]            …（４５）
【００７６】
（５-１-３）O位置のCo面生成
ＣＰＵは、次式（４６）によりO位置のCo面を生成する。
Co[i,j]=O[i, j] -Gpre[i, j]             …（４６）
（５-１-４）P位置のCp面生成
ＣＰＵは、次式（４７）によりP位置のCp面を生成する。
Cp[i,j]=P[i, j] -Gpre[i, j]             …（４７）
【００７７】
（５-１-５）E位置のCe面生成
ＣＰＵは、次式（４８）によりE位置のCe面を生成する。
Ce[i,j]=E[i, j] -Gpre[i, j]             …（４８）
【００７８】
（５-２）色差補間
ＣＰＵは、色差が存在する画素に対して、ちょうど真ん中に存在する画素を周辺画素を用いて埋め、埋まった画素の中で更に真ん中に存在する画素を周辺画素を用いて埋める操作を、全てが埋め尽くされるまで繰り返すことにより、色差面を補間する。
【００７９】
（５-２-１）Cr面補間
（５-２-１-１）O位置の平均補間
図１３(a)は、O位置の平均補間を説明する図である。ＣＰＵは、次式（４９）によりO位置のCr面を補間する。
Cr[i, j]={(Cr[i-2, j]+Cr[i+2, j]+Cr[i, j-2]+Cr[i, j+2])/4
+(Cr[i-2, j-2]+Cr[i-2, j+2]+Cr[i+2, j-2]+Cr[i+2, j+2])/4}/2…（４９）
【００８０】
（５-２-１-２）B/P位置の平均補間
図１３(b)は、B位置、P位置の平均補間を説明する図である。ＣＰＵは、次式（５０）によりB/P位置のCr面を補間する。
Cr[i, j]=(Cr[i-1, j-1]+Cr[i-1, j+1]+Cr[i+1, j-1]+Cr[i+1, j+1])/4…（５０）
（５-２-１-３）G/E位置の平均補間
図１３(c)は、G位置、E位置の平均補間を説明する図である。ＣＰＵは、次式（５１）によりG/E位置のCr面を補間する。
Cr[i, j]= (Cr[i-1, j]+Cr[i+1, j]+Cr[i, j-1]+Cr[i, j+1])/4…（５１）
【００８１】
（５-２-２）Cb面補間
（５-２-２-１）P位置の平均補間
ＣＰＵは、上述した（５-２-１-１）と同様にして、P位置の平均補間を行う。
（５-２-２-２）R/O位置の平均補間
ＣＰＵは、上述した（５-２-１-２）と同様にして、R位置、O位置の平均補間を行う。
（５-２-２-３）G/E位置の平均補間
ＣＰＵは、上述した（５-２-１-３）と同様にして、G位置、E位置の平均補間を行う。
【００８２】
（５-２-３）Co面補間
（５-２-３-１）R(01)位置の平均補間
図１３(d)は、図１(c)のR(01)位置の平均補間を説明する図である。ＣＰＵは、次式（５２）によりR(01)位置のCo面を補間する。
Co[i, j]= (Co[i-2, j-2]+Co[i-2, j+2]+Co[i+2, j-2]+Co[i+2, j+2])/4…（５２）
（５-２-３-２）R(00/02)位置の平均補間
図１３(e)は、図１(c)のR(00)位置、R(02)位置の平均補間を説明する図である。ＣＰＵは、次式（５３）によりR(00/02)位置のCo面を補間する。
Co[i, j]=(Co[i-2, j]+Co[i+2, j]+Co[i, j-2]+Co[i, j+2])/4…（５３）
【００８３】
（５-２-３-３）B/P位置の平均補間
図１３(f)は、B位置、P位置の平均補間を説明する図である。ＣＰＵは、次式（５４）によりB/P位置のCo面を補間する。
Co[i, j]=(Co[i-1, j-1]+Co[i-1, j+1]+Co[i+1, j-1]+Co[i+1, j+1])/4…（５４）
（５-２-３-４）G/E位置の平均補間
図１３(g)は、G位置、E位置の平均補間を説明する図である。ＣＰＵは、次式（５５）によりG/E位置のCo面を補間する。
Co[i, j]= (Co[i-1, j]+Co[i+1, j]+Co[i, j-1]+Co[i, j+1])/4…（５５）
【００８４】
（５-２-４）Cp面補間
（５-２-４-１）B(41)位置の平均補間
ＣＰＵは、上述した（５−２−３−１）と同様に、B(41)位置のCp面を補間する。
(５-２-４-２）B(40/42)位置の平均補間
ＣＰＵは、上述した（５−２−３−２）と同様に、B(40)位置、B(42)位置のCp面を補間する。
（５-２-４-３）R/O位置の平均補間
ＣＰＵは、上述した（５−２−３−３）と同様に、R位置、O位置のCp面を補間する。
（５-２-４-４）G/E位置の平均補間
ＣＰＵは、上述した（５−２−３−４）と同様に、G位置、E位置のCp面を補間する。
【００８５】
（５-２-５）Ce面補間
（５-２-５-１）E(30)位置の情報に基づくCe1面補間
図１３(h)は、図１(c)のE(30)位置の情報に基づくCe1面補間を説明する図である。
（５-２-５-１-１）G(24)位置の平均補間
ＣＰＵは、上述した（５-２-３-１）R(01)位置の平均補間の場合と同様に、G(24)位置のCe1面を補間する。
（５-２-５-１-２）G(20/22)位置の平均補間
ＣＰＵは、上述した（５-２-３-２）R(00/02)位置の平均補間の場合と同様に、G(20)位置、G(22)位置のCe1面を補間する。
【００８６】
（５-２-５-１-３）G(21/23/25)/E(31)位置の平均補間
ＣＰＵは、上述した（５-２-３-３）B/P位置の平均補間の場合と同様に、G(21)位置、G(23)位置、G(25)位置、E(31)位置のCe1面を補間する。
（５-２-５-１-４）R/O/B/P位置の平均補間
ＣＰＵは、上述した（５-２-３-４）G/E位置の平均補間の場合と同様に、R位置、O位置、B位置、P位置のCe1面を補間する。
【００８７】
(５-２-５-２）E(31)位置の情報に基づくCe2面補間
図１３(i)は、図１(c)のE(3１)位置の情報に基づくCe2面補間を説明する図である。
（５-２-５-２-１）G(21)位置の平均補間
ＣＰＵは、上述した（５-２-３-１）R(01)位置の平均補間の場合と同様に、G(21)位置のCe2面を補間する。
（５-２-５-２-２）G(23/25)位置の平均補間
ＣＰＵは、上述した（５-２-３-２）R(00/02)位置の平均補間の場合と同様に、G(23)位置、G(25)位置のCe2面を補間する。
【００８８】
（５-２-５-２-３）G(20/22/24)/E(30)位置の平均補間
ＣＰＵは、上述した（５-２-３-３）B/P位置の平均補間の場合と同様に、G(20)位置、G(22)位置、G(24)位置、E(30)位置のCe2面を補間する。
（５-２-５-２-４）R/O/B/P位置の平均補間
ＣＰＵは、上述した（５-２-３-４）G/E位置の平均補間の場合と同様に、R位置、O位置、B位置、P位置のCe2面を補間する。
（５-２-５-３）Ce1面とCe2面の平均
ＣＰＵは、上記 Ce1面と Ce2面との平均 Ce[i, j]を次式（５６）により算出する。
Ce[i, j] = (Ce1[i, j]+Ce2[i, j])/2          …（５６）
【００８９】
＜ステップＳ３０６＞
図６のステップＳ３０６において、ＣＰＵは、仮色差補正１を行う。上述したステップＳ３０５の色差生成で求めた色差面には偽色が乗っており、色モアレや色斑ノイズの要因となる。これらは色構造と区別して適応的に除去されるべきであるが、後述する色勾配を指標として区別するとき偽色の境界が色境界と誤認定されないように予め仮の除去をしておく。ＣＰＵは、ステップＳ３０６仮色差補正１を、以下の手順（６−１）〜（６−５）により行う。
【００９０】
（６-１）Cr面補正
図１４(a)は、Cr面に対する仮色差補正１を説明する図である。ローパスフィルタリング処理として９×９画素サイズの分離型フィルタを例示する。Cr面の画素並びの水平方向、垂直方向に対し、それぞれ次式（５７）、次式（５８）が対応する。
Horizontal lowpass filtering
tmp_Cr[i, j]={6* Cr[i, j]+4*(Cr[i-2, j]+ Cr[i+2, j])
+ Cr[i-4, j]+ Cr[i+4, j]}/16            …（５７）
Vertical lowpass filtering
TCr1[i, j]={6* tmp_Cr[i, j]+4*(tmp_Cr[i, j-2]+ tmp_Cr[i, j+2])
+ tmp_Cr[i, j-4]+ tmp_Cr[i, j+4]}/16      …（５８）
【００９１】
（６-２）Cb面補正
ＣＰＵは、上述した（６−１）Cr面補正と同様に、Cb面についてもtmp_Cb[i, j]、TCb1[i, j]を算出する。
（６-３）Co面補正
図１４(b)は、Co面補正を説明する図である。O画素の撮像密度が低く、低周波側にまで偽色が発生するので、Cr面の補正より２倍の範囲のフィルタリングを行う。ローパスフィルタリング処理として１７×１７画素サイズの分離型フィルタを例示する。画素並びの水平方向、垂直方向に対し、それぞれ次式（５９）、次式（６０）が対応する。
Horizontal lowpass filtering
tmp_Co[i, j]={6* Co[i, j]+4*(Co[i-4, j]+ Co[i+4, j])
+ Co[i-8, j]+ Co[i+8, j]}/16          …（５９）
Vertical lowpass filtering
TCo1[i, j]={6* tmp_Co[i, j]+4*(tmp_Co[i, j-4]+ tmp_Co[i, j+4])
+ tmp_Co[i, j-8]+ tmp_Co[i, j+8]}/16    …（６０）
なお、更に縦横に強い指向性をもった追加的なLPFを掛けてもよい。
【００９２】
（６-４）Cp面補正
ＣＰＵは、上述した（６−３）Co面補正と同様に、Cp面についてもtmp_Cp[i, j]、TCp1[i, j]を算出する。
（６-５）Ce面補正
ＣＰＵは、上述した（６−３）Co面補正と同様に、Ce面についてもtmp_Ce[i, j]、TCe1[i, j]を算出する。
図１４(c)は、追加的なローパスフィルタ処理を説明する図である。ＣＰＵは更に、次式（６１）によるLPFを１〜２回掛ける。
tmp_Ce[i, j]=(TCe1[i, j]+TCe1[i+1, j+1])/2
TCe1[i, j]=tmp_Ce[i, j]     …（６１）
【００９３】
＜ステップＳ３０７＞
図６のステップＳ３０７において、ＣＰＵは、色勾配解析を行う。ＣＰＵは、ステップＳ３０７の色勾配解析を、以下の手順（７−１）〜（７−２）により行う。
（７-１）色度の導出
色度の導出は、空間解像度が高いために偽色の発生度合いが少なく、色信頼性の高いCr,Cb面のみを用いて行う。ＣＰＵは、上述した仮色差補正１で得た色差信号から次式（６２）により色度を算出する。
Cdiff[i,j] = (|TCr1[i,j]|+|TCb1[i,j]|+|TCr1[i,j]-TCb1[i,j]|)/3    …（６２）
【００９４】
（７-２）色勾配の計算
図１５(a)は、色勾配の算出を説明する図である。ＣＰＵは、９×９画素サイズで、色の変化の度合いを表す色勾配を次式（６３）により算出する。
Cgrad[i, j] = ( |Cdiff[i-2, j-2]-Cdiff[i, j]|+|Cdiff[i+2, j-2]-Cdiff[i, j]|
+|Cdiff[i-2, j+2]-Cdiff[i, j]|+|Cdiff[i+2, j+2]-Cdiff[i, j]|
+|Cdiff[i, j-2]-Cdiff[i, j]|+|Cdiff[i, j+2]-Cdiff[i, j]|
+|Cdiff[i-2, j]-Cdiff[i, j]|+|Cdiff[i+2, j]-Cdiff[i, j]|
+|Cdiff[i-2, j-4]-Cdiff[i, j]|+|Cdiff[i+2, j-4]-Cdiff[i, j]|
+|Cdiff[i-4, j-2]-Cdiff[i, j]|+|Cdiff[i+4, j-2]-Cdiff[i, j]|
+|Cdiff[i-4, j+2]-Cdiff[i, j]|+|Cdiff[i+4, j+2]-Cdiff[i, j]|
+|Cdiff[i-2, j+4]-Cdiff[i, j]|+|Cdiff[i+2, j+4]-Cdiff[i, j]| )/16
……（６３）
【００９５】
＜ステップＳ３０８＞
図６のステップＳ３０８において、ＣＰＵは、次式（６４）により適応的色差補正１を行う。具体的には、色勾配の大きさに応じて色差補正処理をするか否かを切り替える。色勾配が閾値に満たない場合に、色差補正が行われる。
if      Cgrad[i, j] =< ThCCgrad    {Cr[i, j] = TCr1[i, j],
Cb[i, j] = TCb1[i, j],
Co[i, j] = TCo1[i, j],
Cp[i, j] = TCp1[i, j],
Ce[i, j] = TCe1[i, j]}    …（６４）
ただし、色勾配の閾値ThCCgradは、２５６階調のとき10程度の値をとる。
【００９６】
＜ステップＳ３０９＞
図６のステップＳ３０９において、ＣＰＵは一様色差補正を行う。具体的には、Cr,Cb,Co,Cp面に対し、全面に一様ローパスフィルタを掛けて、ナイキスト周波数の偽色を抑制する。ＣＰＵは、ステップＳ３０９の一様色差補正を、以下の手順（９−１）〜（９−４）により行う。
（９-１）Cr面補正
図１５(b)は、Cr面に対する一様色差補正を説明する図である。ローパスフィルタリング処理として３×３画素サイズのフィルタを例示する。Cｒ面の画素並びの水平方向、垂直方向に対し、それぞれ次式（６５）、次式（６６）が対応する。
Horizontal lowpass filtering
tmp_Cr[i, j]=(2* Cr[i, j]+Cr[i-1, j]+Cr[i+1, j])/4        …（６５）
Vertical lowpass filtering
Cr[i, j]=(2* tmp_Cr[i, j]+tmp_Cr[i, j-1]+tmp_Cr[i, j+1])/4    …（６６）
【００９７】
（９-２）Cb面補正
ＣＰＵは、上述した（９−１）Cr面補正と同様に、Cb面についてもtmp_Cb[i, j]、Cb[i, j]を算出する。
（９-３）Co面補正
ＣＰＵは、上述した（９−１）Cr面補正と同様に、Co面についてもtmp_Co[i, j]、Co[i, j]を算出する。
（９-４）Cp面補正
ＣＰＵは、上述した（９−１）Cr面補正と同様に、Cp面についてもtmp_Cp[i, j]、Cp[i, j]を算出する。
【００９８】
＜ステップＳ３１０＞
図６のステップＳ３１０において、ＣＰＵは色判定を行う。ＣＰＵは、ステップＳ３１０の色判定を、以下の手順（１０−１）〜（１０−３）により行う。
（１０-１）色度の導出
色度の導出は、空間解像度が高いために偽色の発生度合いが少なく、色信頼性の高いCr,Cb面のみを用いて行う。ＣＰＵは、上記補正後の色差信号から次式（６７）により色度Cdiff0を算出する。
Cdiff0[i,j] = (|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]-Cb[i,j]|)/3    …（６７）
【００９９】
（１０-２）周辺加算
ＣＰＵは、色評価のために色度Cdiff0を周辺加算によって平滑化を行い、Cdiff[i,j]を算出する。
（１０-３）色判定指標への変換
ＣＰＵは、次式（６８）により、色度Cdiff[i,j]を色判定指標BW[i, j]へ変換する。
if    Cdiff[i, j]=<ThBWb    BW[i, j]=’b’  無彩色から有彩色への変化域
else                  BW[i, j]=’c’  完全な有彩色部    …（６８）
ただし、閾値ThBWbは、２５６階調のとき15程度の値をとる。
【０１００】
＜ステップＳ３１１＞
図６のステップＳ３１１において、ＣＰＵは、仮色差補正２を行う。色評価を正確に行うため、上述した色差面に生じている色モアレを更に除去する。ＣＰＵは、ステップＳ３１１の仮色差補正２を、以下の手順（１１−１）〜（１１−５）により行う。
（１１-１）Cr面補正
図１５(c)は、Cr面に対する仮色差補正２を説明する図である。ローパスフィルタリング処理として５×５画素サイズの分離型フィルタを例示する。Cr面の画素並びの水平方向、垂直方向に対し、それぞれ次式（６９）、次式（７０）が対応する。
Horizontal lowpass filtering
tmp_Cr[i, j] = (2* Cr[i, j]+Cr[i-2, j]+ Cr[i+2, j])/4        …（６９）
Vertical lowpass filtering
TCr2[i, j]=(2* tmp_Cr[i, j]+tmp_Cr[i, j-2]+ tmp_Cr[i, j+2])/4  …（７０）
【０１０１】
（１１-２）Cb面補正
ＣＰＵは、上述した（１１−１）Cr面補正と同様に、Cb面についてもtmp_Cb[i, j]、TCb2[i, j]を算出する。
（１１-３）Co面補正
図１５(d)は、Co面に対する仮色差補正２を説明する図である。O画素の撮像密度が低く、低周波側にまで偽色が発生するので、Cr面の補正より２倍の範囲のフィルタリングを行う。ローパスフィルタリング処理として９×９画素サイズの分離型フィルタを例示する。Co面の画素並びの水平方向、垂直方向に対し、それぞれ次式（７１）、次式（７２）が対応する。
Horizontal lowpass filtering
tmp_Co[i, j]=(2* Co[i, j]+ Co[i-4, j]+ Co[i+4, j]}/4          …（７１）
Vertical lowpass filtering
TCo2[i, j]=(2*tmp_Co[i, j]+tmp_Co[i, j-4]+tmp_Co[i, j+4])/4  …（７２）
【０１０２】
（１１-４）Cp面補正
ＣＰＵは、上述した（１１−３）Co面補正と同様に、Cp面についてもtmp_Cp[i, j]、TCp2[i, j]を算出する。
（１１-５）Ce面補正
ＣＰＵは、上述した（１１−３）Co面補正と同様に、Ce面についてもtmp_Ce[i, j]、TCe2[i, j]を算出する。
【０１０３】
＜ステップＳ３１２＞
図６のステップＳ３１２において、ＣＰＵは、次式（７３）により適応的色差補正２を行う。具体的には、ステップＳ３１０の色判定結果に基づいて、適応的に色差面を補正して偽色を除去する。完全な有彩色部の場合に、色差補正が行われる。
if  BW[i, j] != ’c’  { Cr[i, j] = TCr2[i, j],
Cb[i, j] = TCb2[i, j],
Co[i, j] = TCo2[i, j],
Cp[i, j] = TCp2[i, j],
Ce[i, j] = TCe2[i, j]}     …（７３）
【０１０４】
＜ステップＳ３１３＞
図６のステップＳ３１３において、ＣＰＵは色判定を行う。ＣＰＵは、ステップＳ３１３の色判定を、以下の手順（１３−１）〜（１３−３）により行う。
（１３-１）色度の導出
ＣＰＵは、適応的に偽色除去された色差面を用いてもう一度、色度Cdiff0を次式（７４）により算出する。それによって、輝度面を生成するための同色相関と異色相関の切り替えを行なう時の偽色と実在色の判別精度を極限まで高める。
Cdiff0[i,j] = (|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]-Cb[i,j]|)/3    …（７４）
【０１０５】
（１３-２）周辺加算
ＣＰＵは、色評価のために色度Cdiff0を周辺加算によって平滑化を行い、Cdiff[i,j]を算出する。
（１３-３）色判定指標への変換
ＣＰＵは、次式（７５）により、色度Cdiff[i,j]を色判定指標BW[i, j]へ変換する。
if    Cdiff[i, j]=<ThBWa    BW[i, j]=’a’  完全な無彩色部      …（７５）
ただし、閾値ThBWaは、２５６階調のとき5程度の値をとる。
【０１０６】
＜ステップＳ３１４＞
図７のステップＳ３１４において、ＣＰＵは、輝度生成用の縦横方向判定指標HVa,HVcを設定する。具体的には、ステップＳ３１３の色判定結果を用い、無彩色部では異色間類似度を含む方向判定指標を、有彩色部では同色間類似度のみの方向判定指標を、次式（７６）により設定する。
if  BW[i,j] == ’a’    HV[i, j]=HVa[i, j]
else                  HV[i, j]=HVc[i, j]        …（７６）
【０１０７】
＜ステップＳ３１５＞
図７のステップＳ３１５において、ＣＰＵは、R,G,B,O,E,P面内補間（単色補間型）を行う。R,B,O,P,E面は、色差補間で用いた手法と同様の考え方で、既に存在する画素の中央位置をまず求めて、その処理を繰り返す。E面は、上記のようにして求めた２通りの面の平均値をとるが、色差面と異なりE面には輝度信号が含まれているので、ややぼやけた結果となる。このため、少しだけアンシャープマスクで補正する特別処理を入れる。ＣＰＵは、ステップＳ３１５の単色補間型のR,G,B,O,E,P面内補間を、以下の手順（１５−１）〜（１５−５）により行う。
【０１０８】
（１５-１）G面内補間
補間値の求め方は、上記ステップＳ３０４の場合と同様である。ただし、縦横方向判定指標はステップＳ３１４で求めた縦横方向判定指標HVを代わりに用いる。
（１５-２）R面内補間
（１５-２-１）R位置のコピー
ＣＰＵは、次式（７７）により、R位置のデータをコンピュータ装置１００のワークメモリへコピーする。
Rin[i,j] = R[i, j]      …（７７）
【０１０９】
（１５-２-２）O位置のR補間
図１６(a)は、R補間を説明する図である。ＣＰＵは、図１(a)におけるOの位置について、次式（７８）によりR面の補間を行う。
if  HV[i, j]=0
if  DN[i, j]=0          Rin[i, j]=(<Rv>+<Rh>+<R45>+<R135>)/4
else if    DN[i, j]=1    Rin[i, j]=<R45>
else                    Rin[i, j]=<R135>
else if    HV[i, j]=1
if  DN[i, j]=0          Rin[i, j]=<Rv>
else if    DN[i, j]=1    Rin[i, j]=(<Rv>+<R45>)/2
else                      Rin[i, j]=(<Rv>+<R135>)/2
else
if  DN[i, j]=0            Rin[i, j]= <Rh>
else if    DN[i, j]=1    Rin[i, j]=(<Rh>+<R45>)/2
else                      Rin[i, j]=(<Rh>+<R135>)/2
where
<Rv>=(R[i-2, j]+R[i+2, j])/2
<Rh>=(R[i, j-2]+R[i, j+2])/2
<R45>=(R[i-2, j+2]+R[i+2, j-2])/2
<R135>=(R[i-2, j-2]+R[i+2, j+2])/2              …（７８）
【０１１０】
（１５-２-３）B/P位置のR補間
図１６(b)は、R補間を説明する図である。ＣＰＵは、図１(a)におけるB位置、P位置について、次式（７９）によりR面の補間を行う。
if  DN[i, j]=0                Rin[i, j]=(<R45>+<R135>)/2
else if    DN[i, j]=1    Rin[i, j]=<R45>
else                      Rin[i, j]=<R135>
where
<R45>=(R[i-1, j+1]+R[i+1, j-1])/2
<R135>=(R[i+1, j+1]+R[i-1, j-1])/2              …（７９）
【０１１１】
（１５-２-４）G/E位置のR補間
図１６(c)は、R補間を説明する図である。ＣＰＵは、図１(a)におけるG位置、E位置について、次式（８０）によりR面の補間を行う。
if  HV[i, j]=0                Rin[i, j]=(<Rv>+<Rh>)/2
else if    HV[i, j]=1      Rin[i, j]=<Rv>
else                      Rin[i, j]= <Rh>    …（８０）
【０１１２】
（１５-３）B面内補間
（１５-３-１）B位置のコピー
ＣＰＵは、次式（８１）により、B位置のデータをコンピュータ装置１００のワークメモリへコピーする。
Bin[i,j] = B[i, j]      …（８１）
（１５-３-２）P位置のB補間
ＣＰＵは、上述した（１５−２−２）O位置のR補間の場合と同様に、図１(a)におけるP位置のB補間を行う。
（１５-３-３）R/O位置のB補間
ＣＰＵは、上述した（１５−２−３）B/P位置のR補間の場合と同様に、図１(a)におけるR/O位置のB補間を行う。
（１５-３-４）G/E位置のB補間
ＣＰＵは、上述した（１５−２−４）G/E位置のR補間の場合と同様に、図１(a)におけるG/E位置のB補間を行う。
【０１１３】
（１５-４）O面内補間
（１５-４-１）O位置のコピー
ＣＰＵは、次式（８２）により、O位置のデータをコンピュータ装置１００のワークメモリへコピーする。
Oin[i,j] = O[i, j]      …（８２）
【０１１４】
（１５-４-２）R(01)位置のO補間
図１６(d)は、O補間を説明する図である。ＣＰＵは、図１(a)、図１(c)におけるR(01)の位置について、次式（８３）によりO面の補間を行う。
if  DN[i, j]=0                Oin[i, j]=(<O45>+<O135>)/2
else if    DN[i, j]=1    Oin[i, j]=<O45>
else                      Oin[i, j]=<O135>
where
<O45>=(O[i-2, j+2]+O[i+2, j-2])/2
<O135>=(O[i-2, j-2]+O[i+2, j+2])/2      …（８３）
【０１１５】
（１５-４-３）R(00/02)位置のO補間
図１６(e)は、O補間を説明する図である。ＣＰＵは、図１(a)、図１(c)におけるR(00)、R(02)位置について、次式（８４）によりO面の補間を行う。
if HV[i, j]=0                Oin[i, j]=(<Ov>+<Oh>)/2
else if    HV[i, j]=1    Oin[i, j]=<Ov>
else                      Oin[i, j]=<Oh>
where
<Ov>=(O[i-2, j]+O[i+2, j])/2
<Oh>=(O[i, j-2]+O[i, j+2])/2      …（８４）
【０１１６】
（１５-４-４）B/P位置のO補間
図１６(f)は、O補間を説明する図である。ＣＰＵは、図１(a)におけるB位置、P位置について、それぞれ次式（８５）によりO面の補間を行う。
if  DN[i, j]=0                Oin[i, j]=(<O45>+<O135>)/2
else if    DN[i, j]=1    Oin[i, j]=<O45>
else                      Oin[i, j]=<O135>
where
<O45>=(O[i-1, j+1]+O[i+1, j-1])/2
<O135>=(O[i+1, j+1]+O[i-1, j-1])/2        …（８５）
【０１１７】
（１５-４-５）G/E位置のO補間
図１６(g)は、O補間を説明する図である。ＣＰＵは、図１(a)におけるG位置、E位置について、それぞれ次式（８６）によりO面の補間を行う。
if  HV[i, j]=0              Oin[i, j]=(<Ov>+<Oh>)/2
else if    HV[i, j]=1    Oin[i, j]=<Ov>
else                    Oin[i, j]= <Oh>
where
<Ov>=(O[i-1, j]+O[i+1, j])/2
<Oh>=(O[i, j-1]+O[i, j+1])/2        …（８６）
【０１１８】
（１５-５）P面内補間
（１５-５-１）P位置のコピー
ＣＰＵは、次式（８７）により、P位置のデータをコンピュータ装置１００のワークメモリへコピーする。
Pin[i,j] = P[i, j]      …（８７）
【０１１９】
（１５-５-２）B(41)位置のP補間
ＣＰＵは、上述した（１５−４−２）R(01)位置のO補間の場合と同様に、図１(a)、図１(c)におけるB(41)位置のP補間を行う。
（１５-５-３）B(40/42)位置のP補間
ＣＰＵは、上述した（１５−４−３）R(00/02)位置のO補間の場合と同様に、図１(a)、図１(c)におけるB(40)、B(42)の位置のP補間を行う。
【０１２０】
（１５-５-４）R/O位置のP補間
ＣＰＵは、上述した（１５−４−４）B/P位置のO補間の場合と同様に、図１(a)におけるR位置、O位置についてのP補間を行う。
（１５-５-５）G/E位置のP補間
ＣＰＵは、上述した（１５−４−５）G/E位置のO補間の場合と同様に、図１(a)におけるG位置、E位置についてのP補間を行う。
【０１２１】
（１５-６）E面内補間
（１５-６-１）E(30)位置の情報に基づくE1補間
図１６(h)は、図１(a)、図１(c)のE(30)位置の情報に基づくE1面補間を説明する図である。
（１５-６-１-１）G(24)位置のE1補間
ＣＰＵは、上述した（１５−４−２）R(01)位置のO補間の場合と同様に、G(24)位置のE1面を補間する。
【０１２２】
（１５-６-１-２）G(20/22)位置のE1補間
ＣＰＵは、上述した（１５−４−３）R(00/02)位置のO補間の場合と同様に、G(20)、G(22)位置のE1面を補間する。
（１５-６-１-３）G(21/23/25)/E(31)位置のE1補間
ＣＰＵは、上述した（１５−４−４）B/P位置のO補間の場合と同様に、G(21)、G(23)、G(25)、E(31)位置のE1面を補間する。
（１５-６-１-４）R/O/B/P位置のE1補間
ＣＰＵは、上述した（１５−４−５）G/E位置のO補間の場合と同様に、R位置、O位置、B位置、P位置のE1面を補間する。
【０１２３】
（１５-６-２）E(31)位置の情報に基づくE2補間
図１６(i)は、図１(a)、図１(c)のE(31)位置の情報に基づくE2面補間を説明する図である。
（１５-６-２-１）G(21)位置のE2補間
ＣＰＵは、上述した（１５−４−２）R(01)位置のO補間の場合と同様に、G(21)位置のE2面を補間する。
（１５-６-２-２）G(23/25)位置のE2補間
ＣＰＵは、上述した（１５−４−３）R(00/02)位置のO補間の場合と同様に、G(23)、G(25)位置のE2面を補間する。
【０１２４】
（１５-６-２-３）G(20/22/24)/E(30)位置のE2補間
ＣＰＵは、上述した（１５−４−４）B/P位置のO補間の場合と同様に、G(20)、G(22)、G(24)、E(30)位置のE2面を補間する。
（１５-６-２-４）R/O/B/P位置のE2補間
ＣＰＵは、上述した（１５−４−５）G/E位置のO補間の場合と同様に、R位置、O位置、B位置、P位置のE2面を補間する。
【０１２５】
（１５-６-３）E1面とE2面の平均
ＣＰＵは、上記 E1面と E2面との平均 E[i, j]を次式（８８）により算出する。
E[i, j] = (E1[i, j]+E2[i, j])/2          …（８８）
（１５-６-４）E面のエッジ強調
（１５-６-４-１）E面へのLPF処理
図１６(j)は、E面へのLPF処理を説明する図である。ローパスフィルタリング処理として３×３画素サイズのフィルタを例示する。画素並びの水平方向、垂直方向に対し、それぞれ次式（８９）、次式（９０）が対応する。
Horizontal lowpass filtering
tmp_E[i, j]=(2*Ein[i, j]+Ein[i-1, j]+Ein[i+1, j])/4          …（８９）
Vertical lowpass filtering
Elpf[i, j]=(2*tmp_E[i, j]+tmp_E[i, j-1]+tmp_E[i, j+1])/4      …（９０）
（１５-６-４-２）Laplacian成分の加算
ＣＰＵは、次式（９１）によりエッジ強調処理を行う。
Ein[i, j]=Ein[i, j]+(Ein[i, j]-Elpf[i, j])          …（９１）
【０１２６】
＜ステップＳ３１６＞
図７のステップＳ３１６において、ＣＰＵは、G面補間（面間相関型の高精細補間）を行う。ＣＰＵは、ステップＳ３１６の面間相関型の高精細なG面補間を、以下の手順（１６−１）〜（１６−４）により行う。
（１６-１）G位置のコピー
ＣＰＵは、次式（９２）により、G位置のデータをコンピュータ装置１００のワークメモリへコピーする。
Gout[i,j]=G[i, j]      …（９２）
【０１２７】
（１６-２）E(30)位置のG補間
図１７(a)〜図１７(f)は、E(30)位置のG補間を説明する図である。ＣＰＵは、図１(a)、図１(c)におけるE(30)の位置について、次式（９３）によりG面を高精細に補間する。
if  HV[i, j]=0
if  DN[i, j]=0    Gout[i, j]=(<Gv>+<Gh>+<G45>+<G135>)/4+(dv+dh+d45+d135)/4
else if    DN[i, j]=1    Gout[i, j]=<G45>+d45
else              Gout[i, j]=<G135>+d135
else if  HV[i, j]=1
if  DN[i, j]=0    Gout[i, j]=<Gv>+dv
else if    DN[i, j]=1    Gout[i, j]=(<Gv>+<G45>)/2+(dv+d45)/2
else              Gout[i, j]=(<Gv>+<G135>)/2+(dv+d135)/2
else
if  DN[i, j]=0    Gout[i, j]= <Gh>+dh
else if    DN[i, j]=1    Gout[i, j]=(<Gh>+<G45>)/2+(dh+d45)/2
else              Gout[i, j]=(<Gh>+<G135>)/2+(dh+d135)/2
where
<Gv>=(G[i-2, j]+G[i+2, j])/2
<Gh>=(G[i, j-2]+G[i, j+2])/2
<G45>=(G[i-1, j+1]+G[i+1, j-1])/2
<G135>=(G[i-2, j-2]+2*G[i+1, j+1])/3
dv=(3*dRv+6*dGv+3*dBv+dOv+2*dEv+dPv)/16
dh=(3*dRh+6*dGh+3*dBh+dOh+2*dEh+dPh)/16
d45=(3*dR45+6*dG45+3*dBv45+dO45+2*dE45+dP45)/16
d135=(3*dR135+6*dG135+3*dB135+dO135+2*dE135+dP135)/16
dRv=(2*Rin[i, j]-Rin[i-1, j]-Rin[i+1, j])/2
dRh=(2*Rin[i, j]-Rin[i, j-1]-Rin[i, j+1])/2
dR45=(2*Rin[i, j]-Rin[i-1, j+1]-Rin[i+1, j-1])/2
dR135=(2*Rin[i, j]-Rin[i-1, j-1]-Rin[i+1, j+1])/2
dGv=(2*Gin[i, j]-Gin[i-1, j]-Gin[i+1, j])/2
dGh=(2*Gin[i, j]-Gin[i, j-1]-Gin[i, j+1])/2
dG45=(2*Gin[i, j]-Gin[i-1, j+1]-Gin[i+1, j-1])/2
dG135=(2*Gin[i, j]-Gin[i-1, j-1]-Gin[i+1, j+1])/2
dBv=(2*Bin[i, j]-Bin[i-1, j]-Bin[i+1, j])/2
dBh=(2*Bin[i, j]-Bin[i, j-1]-Bin[i, j+1])/2
dB45=(2*Bin[i, j]-Bin[i-1, j+1]-Bin[i+1, j-1])/2
dB135=(2*Bin[i, j]-Bin[i-1, j-1]-Bin[i+1, j+1])/2
dOv=(2*Oin[i, j]-Oin[i-1, j]-Oin[i+1, j])/2
dOh=(2*Oin[i, j]-Oin[i, j-1]-Oin[i, j+1])/2
dO45=(2*Oin[i, j]-Oin[i-1, j+1]-Oin[i+1, j-1])/2
dO135=(2*Oin[i, j]-Oin[i-1, j-1]-Oin[i+1, j+1])/2
dEv=(2*Ein[i, j]-Ein[i-1, j]-Ein[i+1, j])/2
dEh=(2*Ein[i, j]-Ein[i, j-1]-Ein[i, j+1])/2
dE45=(2*Ein[i, j]-Ein[i-1, j+1]-Ein[i+1, j-1])/2
dE135=(2*Ein[i, j]-Ein[i-1, j-1]-Ein[i+1, j+1])/2
dPv=(2*Pin[i, j]-Pin[i-1, j]-Pin[i+1, j])/2
dPh=(2*Pin[i, j]-Pin[i, j-1]-Pin[i, j+1])/2
dP45=(2*Pin[i, j]-Pin[i-1, j+1]-Pin[i+1, j-1])/2
dP135=(2*Pin[i, j]-Pin[i-1, j-1]-Pin[i+1, j+1])/2
曲率値の距離比の補正
dRv = 2*dRv
dRh = 2*dRh
dR135 = 1.5*dR135
dGv = 2*dGv
dGh = 2*dGh
dG135 = 1.5*dG135
dBv = 2*dBv
dBh = 2*dBh
dB135 = 1.5*dB135
dOv = 2*dOv
dOh = 2*dOh
dO135 = 1.5*dO135
dEv = 2*dEv
dEh = 2*dEh
dE135 = 1.5*dE135
dPv = 2*dPv
dPh = 2*dPh
dP135 = 1.5*dP135                            …（９３）
【０１２８】
（１６-３）E(31)位置のG補間
図１７(g)〜図１７(m)は、E(31)位置のG補間を説明する図である。ＣＰＵは、図１(a)、図１(c)におけるE(31)の位置について、次式（９４）によりG面を高精細に補間する。
if  HV[i, j]=0
if  DN[i, j]=0    Gout[i, j]=(<Gv>+<Gh>+<G45>+<G135>)/4+(dv+dh+d45+d135)/4
else if    DN[i, j]=1    Gout[i, j]=<G45>+d45
else              Gout[i, j]=<G135>+d135
else if  HV[i, j]=1
if  DN[i, j]=0    Gout[i, j]=<Gv>+dv
else if    DN[i, j]=1    Gout[i, j]=(<Gv>+<G45>)/2+(dv+d45)/2
else              Gout[i, j]=(<Gv>+<G135>)/2+(dv+d135)/2
else
if  DN[i, j]=0    Gout[i, j]= <Gh>+dh
else if    DN[i, j]=1    Gout[i, j]=(<Gh>+<G45>)/2+(dh+d45)/2
else              Gout[i, j]=(<Gh>+<G135>)/2+(dh+d135)/2
where
<Gv>=(G[i-2, j]+G[i+2, j])/2
<Gh>=(G[i, j-2]+G[i, j+2])/2
<G45>=(G[i-1, j+1]+G[i+1, j-1])/2
<G135>=(G[i+2, j+2]+2*G[i-1, j-1])/3
dv=(3*dRv+6*dGv+3*dBv+dOv+2*dEv+dPv)/16
dh=(3*dRh+6*dGh+3*dBh+dOh+2*dEh+dPh)/16
d45=(3*dR45+6*dG45+3*dBv45+dO45+2*dE45+dP45)/16
d135=(3*dR135+6*dG135+3*dB135+dO135+2*dE135+dP135)/16
dRv=(2*Rin[i, j]-Rin[i-1, j]-Rin[i+1, j])/2
dRh=(2*Rin[i, j]-Rin[i, j-1]-Rin[i, j+1])/2
dR45=(2*Rin[i, j]-Rin[i-1, j+1]-Rin[i+1, j-1])/2
dR135=(2*Rin[i, j]-Rin[i-1, j-1]-Rin[i+1, j+1])/2
dGv=(2*Gin[i, j]-Gin[i-1, j]-Gin[i+1, j])/2
dGh=(2*Gin[i, j]-Gin[i, j-1]-Gin[i, j+1])/2
dG45=(2*Gin[i, j]-Gin[i-1, j+1]-Gin[i+1, j-1])/2
dG135=(2*Gin[i, j]-Gin[i-1, j-1]-Gin[i+1, j+1])/2
dBv=(2*Bin[i, j]-Bin[i-1, j]-Bin[i+1, j])/2
dBh=(2*Bin[i, j]-Bin[i, j-1]-Bin[i, j+1])/2
dB45=(2*Bin[i, j]-Bin[i-1, j+1]-Bin[i+1, j-1])/2
dB135=(2*Bin[i, j]-Bin[i-1, j-1]-Bin[i+1, j+1])/2
dOv=(2*Oin[i, j]-Oin[i-1, j]-Oin[i+1, j])/2
dOh=(2*Oin[i, j]-Oin[i, j-1]-Oin[i, j+1])/2
dO45=(2*Oin[i, j]-Oin[i-1, j+1]-Oin[i+1, j-1])/2
dO135=(2*Oin[i, j]-Oin[i-1, j-1]-Oin[i+1, j+1])/2
dEv=(2*Ein[i, j]-Ein[i-1, j]-Ein[i+1, j])/2
dEh=(2*Ein[i, j]-Ein[i, j-1]-Ein[i, j+1])/2
dE45=(2*Ein[i, j]-Ein[i-1, j+1]-Ein[i+1, j-1])/2
dE135=(2*Ein[i, j]-Ein[i-1, j-1]-Ein[i+1, j+1])/2
dPv=(2*Pin[i, j]-Pin[i-1, j]-Pin[i+1, j])/2
dPh=(2*Pin[i, j]-Pin[i, j-1]-Pin[i, j+1])/2
dP45=(2*Pin[i, j]-Pin[i-1, j+1]-Pin[i+1, j-1])/2
dP135=(2*Pin[i, j]-Pin[i-1, j-1]-Pin[i+1, j+1])/2
曲率値の距離比の補正
dRv = 2*dRv
dRh = 2*dRh
dR135 = 1.5*dR135
dGv = 2*dGv
dGh = 2*dGh
dG135 = 1.5*dG135
dBv = 2*dBv
dBh = 2*dBh
dB135 = 1.5*dB135
dOv = 2*dOv
dOh = 2*dOh
dO135 = 1.5*dO135
dEv = 2*dEv
dEh = 2*dEh
dE135 = 1.5*dE135
dPv = 2*dPv
dPh = 2*dPh
dP135 = 1.5*dP135                            …（９４）
【０１２９】
（１６-４）R/B/O/P位置のG補間
図１８(a)〜図１８(g)は、R位置、B位置、O位置、P位置のG補間を説明する図である。ＣＰＵは、図１(a)におけるR位置、B位置、O位置、P位置について、次式（９５）によりG面を高精細に補間する。
if  HV[i, j]=0
Gout[i, j]=(<Gv>+<Gh>)/2+(dv+dh)/2
else if        HV[i, j]=1
Gout[i, j]=<Gv>+dv
Else
Gout[i, j]= <Gh>+dh
Where
<Gv>=(G[i-1, j]+G[i+1, j])/2
<Gh>=(G[i, j-1]+G[i, j+1])/2
dv=(3*dRv+6*dGv+3*dBv+dOv+2*dEv+dPv)/16
dh=(3*dRh+6*dGh+3*dBh+dOh+2*dEh+dPh)/16
dRv=(2*Rin[i, j]-Rin[i-1, j]-Rin[i+1, j])/2
dRh=(2*Rin[i, j]-Rin[i, j-1]-Rin[i, j+1])/2
dGv=(2*Gin[i, j]-Gin[i-1, j]-Gin[i+1, j])/2
dGh=(2*Gin[i, j]-Gin[i, j-1]-Gin[i, j+1])/2
dBv=(2*Bin[i, j]-Bin[i-1, j]-Bin[i+1, j])/2
dBh=(2*Bin[i, j]-Bin[i, j-1]-Bin[i, j+1])/2
dOv=(2*Oin[i, j]-Oin[i-1, j]-Oin[i+1, j])/2
dOh=(2*Oin[i, j]-Oin[i, j-1]-Oin[i, j+1])/2
dEv=(2*Ein[i, j]-Ein[i-1, j]-Ein[i+1, j])/2
dEh=(2*Ein[i, j]-Ein[i, j-1]-Ein[i, j+1])/2
dPv=(2*Pin[i, j]-Pin[i-1, j]-Pin[i+1, j])/2
dPh=(2*Pin[i, j]-Pin[i, j-1]-Pin[i, j+1])/2    …（９５）
【０１３０】
＜ステップＳ３１８＞
図７のステップＳ３１８において、ＣＰＵは、単色補間型の色差生成を行う。上述したステップＳ３０４〜Ｓ３１１を通して、色面間の相関型の色差面が生成されてきた。これとは異なるタイプの色差面、すなわち、単色補間のみによって生成されたR面、B面、O面、E面、P面を用いて、次式（９６）により単色補間型の色差面を生成する。
g = Gout[i,j]
Cr' = Rin[i,j]-g
Cb' = Bin[i,j]-g
Co' = Oin[i,j]-g
Cp' = Pin[i,j]-g
Ce' = Ein[i,j]-g            …（９６）
【０１３１】
＜ステップＳ３１９＞
図７のステップＳ３１９において、ＣＰＵは、単色補間型色差面の利得計算を行う。ステップＳ３１１で出力された色面間の相関を利用した色差面は偽色抑制に優れる。しかし、如何に優れた適応的な偽色除去を行っても色面間の相関を利用しているために、本来は色面間で異なる振る舞いをしているような画像構造部では、無彩色に近づく弊害が生じる。例えば、色境界では色にじみが発生したりする。
【０１３２】
一方、ステップＳ３１８で出力された単色補間型の色差面は、各色面内の単独の変化の様子を最大限に再現する能力を持つ。すなわち、撮像時の配列がもつ色解像力の限界解像まで再現することができる。しかし、それ以上の高周波成分は全く予測不能となるため、他の色面の高周波情報を利用した色差補間に比べ、偽色が盛大に発生する。
【０１３３】
すなわち、色差補間は偽色抑制に優れるのに対し、単色補間は色解像力保持に優れる。両者はもう一方の側の欠点も併せ持つ。これら２つの優れた点を最大限導き出すために、色差補間によって求められた色差面と、単色補間によって求められた色差面とを互いに合成するとよい。しかし、そのための判断基準が必要となる。すなわち、どちらの色差面の方が本来の画像復元として正しいのであるのか否か、である。
【０１３４】
色面間相関を利用した補間結果は、G成分がステップＳ３１６（Gout）で、色差面がステップＳ３１２（Cr,Cb,Co,Cp,Ce）で、出力される。他方、単色補間による補間結果は、G成分がステップＳ３１５（Gin）で、色差面がステップＳ３１８（Cr',Cb',Co',Cp',Ce'）で出力される。前述の判断基準として、求まった色差面だけではなく、輝度面も２者の違いを調べるための手掛かりとすることができる。すなわち、どちらがもっともらしい画像復元を行っているかを表す利得指標は、輝度面の情報と色差面の情報とを両方を用いて計算する。
【０１３５】
色差面自体は、色度を表すCdiffと定義でき、それは偽色に関する情報を第一義的に含んでいる。他方、この色度面の１次微分は、色コントラストを表し、実在色に関する情報を第一義的に含んでいる。輝度面に関しても、輝度面の１次微分と２次微分は輝度コントラストを表し、実在色に関する情報を一義的に含んでいる。一方、輝度面を、モザイク画像面を一様平滑化して得られる輝度面と比較して差分をとると、偽解像に関する情報を第一義的に含んだものとなる。したがって、偽解像・偽色を最小化しつつ、実在色の再現を最大化するためには、次式（９７）で示す利得指標を最大化する補間方法を選べばよい。
【０１３６】
2017092875.tif 000004
…（９７）
ただし、Cdiff:色度（０次微分、９×９）
Cgrad:色勾配（１次微分、１７×１７）
Ydiff:輝度とモザイク画像の差（０次微分、７×７LPF）
∇Y:輝度勾配（１次微分、５×５）
△Y:輝度ラプラシアン（２次微分、９×９）
ＣＰＵは、利得指標に基づいて２種類の補間方法を合成する。このようにして合成された色差面は、色配列が持つ原理的限界解像を実現する。ＣＰＵは、ステップＳ３１９の単色補間型色差面の利得計算を、以下の手順（１９−１）〜（１９−７）により行う。
【０１３７】
（１９-１）単色補間型の輝度面生成
ＣＰＵは、次式（９８）により単色補間型の輝度面を生成する。
g = Gin[i,j]
r = Rin[i,j]
b = Bin[i,j]
o = Oin[i,j]
p = Pin[i,j]
e = Ein[i,j]
Y'[i,j] = (3*r+6*g+3*b+o+2*e+p)/16        …（９８）
【０１３８】
（１９-２）利得要素Cdiffの計算
ＣＰＵは、ステップＳ３０９の（３−９）で定義した利得要素Cdiffを、ステップＳ３１８で出力された色差面に対して１面のみ計算する。
（１９-３）利得要素Cgradの計算
ＣＰＵは、ステップＳ３０９の（３-１０）で定義した利得要素Cgradを、ステップＳ３１８で出力された色差面に対して１面のみ計算する。
【０１３９】
（１９-４）利得要素Ydiffの計算
（１９-４-１）単色補間型の輝度面に対するローパスフィルタ処理
図１８(h)、図１８(i)は、ローパスフィルタリング処理を説明する図である。ＣＰＵは、次式（９９）〜次式（１０２）によりフィルタ処理を行う。
Horizontal lowpass filtering
tmp_Y'[i, j]=(2* Y'[i, j]+Y'[i-1, j]+Y'[i+1, j])/4              …（９９）
Vertical lowpass filtering
Y'_lpf[i, j]=(2* tmp_Y'[i, j]+tmp_Y'[i, j-1]+tmp_Y'[i, j+1])/4  …（１００）
Horizontal lowpass filtering
tmp_Y'[i, j] = (2* Y'_lpf[i, j]+Y'_lpf[i-2, j]+ Y'_lpf[i+2, j])/4…（１０１）
Vertical lowpass filtering
Y'_lpf[i, j]=(2* tmp_Y'[i, j]+tmp_Y'[i, j-2]+ tmp_Y'[i, j+2])/4  …（１０２）
【０１４０】
（１９-４-２）モザイク面に対するローパスフィルタ処理
ＣＰＵは、上記（１９-４-１）と同じフィルタをモザイク面に掛け、Yorg[i,j]として出力する。
（１９-４-３）輝度差分Ydiffの計算
ＣＰＵは、次式（１０３）により輝度差分Ydiffを算出する。
Ydiff'[i,j] = |Y'_lpf[i,j]-Yorg[i,j]|        …（１０３）
【０１４１】
（１９-５）利得要素Ygradの計算
ＣＰＵは、ステップＳ３０３の（３-１２）で定義した利得要素Ygradを、ステップＳ３１９の（１９-１）で出力された輝度面に対して１面のみ計算する。
（１９-６）利得要素Ylapの計算
ＣＰＵは、ステップＳ３０３の（３-１３）で定義した利得要素Ylapを、ステップＳ３１９の（１９-１）で出力された輝度面に対して１面のみ計算する。
【０１４２】
（１９-７）単色補間型の利得指標FM（Figure of Merit）の計算
ＣＰＵは、次式（１０４）により利得指標FM（Figure of Merit）を算出する。
Cdiff_sq= Cdiff'[i, j]*Cdiff'[i, j]
Cgrad_sq= Cgrad'[i, j]*Cgrad'[i, j]
Ydiff_sq= Ydiff'[i, j]*Ydiff'[i, j]
Ygrad_sq= Ygrad'[i, j]*Ygrad'[i, j]
Ylap_sq= Ylap'[i, j]*Ylap'[i, j]
FM_alone[i, j] =(Cgrad_sq/Cdiff_sq)*(Ygrad_sq*Ylap_sq/Ydiff_sq)…（１０４）
【０１４３】
＜ステップＳ３２０＞
図７のステップＳ３２０において、ＣＰＵは、面間相関型色差面の利得計算を行う。ＣＰＵは、ステップＳ３２０の面間相関型色差面の利得計算を、以下の手順（２０−１）〜（２０−７）により行う。
（２０-１）面間相関型の輝度面生成
ＣＰＵは、次式（１０５）により面間相関型の輝度面を生成する。
g = Gout[i,j]
r = C[i,j]+g
b = Cb[i,j]+g
o = Co[i,j]+g
p = Cp[i,j]+g
e = Ce[i,j]+g
Y[i,j] = (3*r+6*g+3*b+o+2*e+p)/16        …（１０５）
【０１４４】
（２０-２）利得要素Cdiffの計算
ＣＰＵは、ステップＳ３０９の（３−９）で定義した利得要素を、ステップＳ３１２で出力された色差面に対して１面のみ計算する。
（２０-３）利得要素Cgradの計算
ＣＰＵは、ステップＳ３０９の（３-１０）で定義した利得要素を、ステップＳ３１２で出力された色差面に対して１面のみ計算する。
【０１４５】
（２０-４）利得要素Ydiffの計算
（２０-４-１）面間相関型の輝度面に対するローパスフィルタ処理
ＣＰＵは、上記（１９-４-１）単色補間型の輝度面に対するローパスフィルタ処理と同様の処理を（２０-１）で生成したY[i,j]に対して行い、Y_lpf[i,j]を出力する。
（２０-４-２）モザイク面に対するローパスフィルタ処理
ＣＰＵは、上記（１９-４-１）単色補間型の輝度面に対するローパスフィルタ処理と同様の処理をモザイク面にかける。
（２０-４-３）輝度差分Ydiffの計算
ＣＰＵは、次式（１０６）により輝度差分Ydiffを算出する。
Ydiff[i,j] = |Y_lpf[i,j]-Yorg[i,j]|        …（１０６）
【０１４６】
（２０-５）利得要素Ygradの計算
ＣＰＵは、ステップＳ３０３の（３-１２）で定義した利得要素Ygradを、ステップＳ３２０の（２０-１）で出力された輝度面に対して１面のみ計算する。
（２０-６）利得要素Ylapの計算
ＣＰＵは、ステップＳ３０３の（３-１３）で定義した利得要素Ylapを、ステップＳ３２０の（２０−１）で出力された輝度面に対して１面のみ計算する。
【０１４７】
（２０-７）面間相関型の利得指標FM（Figure of Merit）の計算
ＣＰＵは、次式（１０７）により利得指標FM（Figure of Merit）を算出する。
Cdiff_sq= Cdiff[i, j]*Cdiff[i, j]
Cgrad_sq= Cgrad[i, j]*Cgrad[i, j]
Ydiff_sq= Ydiff[i, j]*Ydiff[i, j]
Ygrad_sq= Ygrad[i, j]*Ygrad[i, j]
Ylap_sq= Ylap[i, j]*Ylap[i, j]
FM_corr[i, j] =(Cgrad_sq/Cdiff_sq)*(Ygrad_sq*Ylap_sq/Ydiff_sq) …（１０７）
【０１４８】
＜ステップＳ３２１＞
図７のステップＳ３２１において、ＣＰＵは、次式（１０８）により単色補間型と面間相関型の色差面混合比率を計算する。
Wc[i,j]=FM_corr[i,j]/(FM_alone[i,j]+FM_corr[i,j])      …（１０８）
【０１４９】
＜ステップＳ３２２＞
図７のステップＳ３２２において、ＣＰＵは、単色補間型と面間相関型の色差面混合を行う。次式（１０９）により、全ての色差面を同じ混合比率に基づいて合成する。
Cr_mix[i,j] = Wc[i,j]*Cr[i,j]+(1-Wc[i,j])*Cr'[i,j]
Cb_mix[i,j] = Wc[i,j]*Cb[i,j]+(1-Wc[i,j])*Cb'[i,j]
Co_mix[i,j] = Wc[i,j]*Co[i,j]+(1-Wc[i,j])*Co'[i,j]
Cp_mix[i,j] = Wc[i,j]*Cp[i,j]+(1-Wc[i,j])*Cp'[i,j]
Ce_mix[i,j] = Wc[i,j]*Ce[i,j]+(1-Wc[i,j])*Ce'[i,j]      …（１０９）
【０１５０】
＜ステップＳ３２３＞
図７のステップＳ３２３において、ＣＰＵは、色差面の選択を行う。ステップＳ３２２で出力された混合色差面と、ステップＳ３１２で出力された面間相関型色差面とを、原画像再現の忠実性という意味で実験的に比較してみると、マンセル色相環（図２）においてG成分から離れたR成分、B成分、P成分は、総合的に忠実度が上がり、色解像力が増す。しかし、マンセル色相環においてG成分に近いO成分とE成分は、G成分の高周波情報が得にくくなるため、実在色の再現性向上よりもむしろ偽色の増大のほうが勝り、総合的な忠実度は下がってしまう傾向がある。
【０１５１】
そこで、本実施の形態では、次式（１１０）に示すように、G成分から離れたR成分、B成分、P成分は混合方式を用い、G成分に近いO成分、E成分は、元の色差補間による方式を採用する。
Cr_out[i,j] = Cr_mix[i,j]
Co_out[i,j] = Co[i,j]
Ce_out[i,j] = Ce[i,j]
Cb_out[i,j] = Cb_mix[i,j]
Cp_out[i,j] = Cp_mix[i,j]                …（１１０）
【０１５２】
＜ステップＳ３２４＞
図７のステップＳ３２４において、ＣＰＵは、次式（１１１）により色差面から色面へ変換する。
Rout[i, j]=Cr_out[i, j]+Gout[i, j]
Bout[i, j]= Cb_out [i, j]+Gout[i, j]
Oout[i, j]=Co_out [i, j]+Gout[i, j]
Pout[i, j]=Cp_out [i, j]+Gout[i, j]
Eout[i, j]=Ce_out [i, j]+Gout[i, j]         …（１１１）
【０１５３】
図２０および図２１は、上述したデモザイク処理の流れを説明するフローチャートである。上記各ステップの処理において算出、生成された指標やデータ等は、図２０、図２１で示す流れで処理される。
【０１５４】
上述した実施の形態によれば、次の作用効果が得られる。
（１）撮像素子２０２は、入射光を光電変換する複数の画素と、異なる波長帯域に感度をもつ第１バンドR、第２バンドG、第３バンドB、第４バンドO、第５バンドEおよび第６バンドPの分光成分からなり、複数の画素の１つの画素に１つの分光成分を出力する６色配列とを有し、６色配列は、第１バンドR〜第６バンドPの密度比が３：６：３：１：２：１で周期的に配列される。これにより、単板式の撮像システムとして、輝度解像と色解像を両立し得る撮像が可能になる。
また、撮像素子は、第１の波長範囲、第２の波長範囲、第３の波長範囲、第４の波長範囲、第５の波長範囲、第６の波長範囲の光がそれぞれ透過する六種類のフィルタと、前記六種類のフィルタのうち三種類のフィルタが配置され、前記三種類のフィルタを透過した光をそれぞれ受光する、第１方向と前記第１方向に交差する第２方向とにそれぞれ順に配置された４つの受光部を有する第1の受光領域と、前記六種類のフィルタのうち四種類のフィルタが配置され、前記四種類のフィルタを透過した光をそれぞれ受光する、第１方向と前記第１方向に交差する第２方向とにそれぞれ順に配置された４つの受光部を有する第２の受光領域と、を有し、前記第１の受光領域には前記第１の波長範囲の光を透過する２つのフィルタと、前記第２の波長範囲と第３の波長範囲のうちの１つの波長範囲の光を透過するフィルタと、前記第４の波長範囲と第５の波長範囲のうちの１つの波長範囲の光を透過するフィルタとが配置され、前記第２の受光領域には前記第１の波長範囲の光を透過するフィルタと、前記第２の波長範囲の光を透過するフィルタと、前記第３の波長範囲の光を透過するフィルタと、前記第６の波長範囲の光を透過するフィルタとが配置される。これにより、上述と同様の作用効果を有する。
【０１５５】
（２）撮像素子２０２のフィルタ配列は、４×４画素を基本単位１０とするので、少ない画素数で基本単位１０を構成できる。基本単位１０には、第１バンドR〜第６バンドPを上記最適な密度比で含めることができる。
【０１５６】
（３）撮像素子２０２のフィルタ配列は、第２バンドGのフィルタが市松状に配置され、市松状の格子点の内、第２バンドGが埋め切れなかった格子点の位置に第５バンドEのフィルタが配置され、残りの格子点の位置に第１バンドR、第３バンドB、第４バンドO、第６バンドPのフィルタが配置されるようにした。これにより、少ない画素数の基本単位１０に対し、第１バンドR〜第６バンドPを上記最適な密度比で含めることができる。
【０１５７】
（４）撮像素子２０２のフィルタ配列は、上記残りの格子点の位置に第１バンドRのみが配置される行、第３バンドBのみが配置される行、第１バンドRと第４バンドOとが配置される行、第３バンドBと第６バンドPとが配置される行の４種類の行が存在するようにした。これにより、少ない画素数の基本単位１０に対し、第１バンドR〜第６バンドPを上記最適な密度比で含めることができる。
【０１５８】
（５）撮像素子２０２のフィルタ配列は、第５バンドEのフィルタが互いに隣接（図１(b)における１３５度方向）して配置されるようにしたので、少ない画素数の基本単位１０に対し、第１バンドR〜第６バンドPを上記最適な密度比で含めることができる。
なお、図１(a)、図１(c)におけるG(20)およびE(30)の位置を入れ替えてもよい。この場合には、第５バンドEのフィルタが図１(b)における４５度方向に隣接するので、上述した６色配列と同様の作用効果が得られる。
【０１５９】
（６）撮像素子２０２のフィルタ配列は、第４バンドOのフィルタと第６バンドPのフィルタとが互いに隣接して配置されるようにしたので、少ない画素数の基本単位１０に対し、第１バンドR〜第６バンドPを上記最適な密度比で含めることができる。
【０１６０】
（７）撮像素子２０２のフィルタ配列は、第１バンドR〜第６バンドPの分光成分を人の知覚系のマンセル色相環で表現する場合に、第４バンドO〜第６バンドPの分光成分は、第１バンドR〜第３バンドBの分光成分が形成する色相の間の色相にそれぞれ該当するので、第１バンドR〜第３バンドBの分光成分のみの情報を得る場合に比べて、分光成分の情報を精度よく得ることができる。
【０１６１】
（８）第１バンドRの分光成分は赤、第２バンドGの分光成分は緑、第３バンドBの分光成分は青、第４バンドOの分光成分は黄、第５バンドEの分光成分は青緑（エメラルド）、第６バンドPの分光成分は紫の色相に相当するので、赤、緑、青の３原色情報のみの場合に比べて、より多くの情報（黄、青緑、紫）を得ることができる。
【０１６２】
（９）画像処理装置は、第１バンドR〜第６バンドPの分光成分が異なる密度比(3:6:3:1:2:1)で周期的に配列され、１つの画素に１つの分光成分を持つモザイク画像を入力する制御装置２０３と、モザイク画像に対し、各画素に少なくとも１つの共通する分光成分を持った画像にデモザイク処理する制御装置２０３とを備え、制御装置２０３は、モザイク画像の分光成分を用いて、画素配列の少なくとも縦横方向に関する類似度を算出するＣＰＵと、類似度に基づき各方向の間の類似性を判定するＣＰＵと、類似性に基づいて、各画素に少なくとも１つの共通する分光成分を持った画像を生成するＣＰＵとを有し、類似度を算出するＣＰＵは、少なくとも、４画素ピッチの同じ分光成分を持つ画素同士の間の第１画素ピッチ類似度HVpl[5]を算出し、４画素ピッチよりも短い２画素ピッチの同じ分光成分を持つ画素同士の間の第２画素ピッチ類似度HVpl[4]を、密度の高い分光成分を用いて算出し、類似性を判定するＣＰＵは、少なくとも、第１画素ピッチ類似度HVpl[5]に基づいて類似性を判定し、該類似性に基づいて仮想的に各画素に第１バンドR〜第６バンドPの各分光成分を持った第１仮想画像を生成し、該第１仮想画像の情報に基づいて第１仮想画像の利得指標Iを算出し、第２画素ピッチ類似度HVpl[4]に基づいて類似性を判定し、該類似性に基づいて仮想的に各画素に第１バンドR〜第６バンドPの各分光成分を持った第２仮想画像を生成し、該第２仮想画像の情報に基づいて第２仮想画像の利得指標Iを算出し、少なくとも第１〜第２仮想画像の利得指標Iの大きさに基づいて、何れの画素ピッチの類似度に基づいて類似性を判定するのかを決定する。
これにより、マルチバンド配列における方向判定を適切に行うことができる。一般に、単板に６色配列したことにより、密度の低いO成分,E成分,P成分が、図３の中間周波数帯よりも内側のさらに低周波側の中間周波数帯領域、すなわち、[±π/(4a),±π/(4a)]、[±π/(4a), ±π/(4a)]が囲む領域近傍に偽色・偽解像の発生源を生み出すところ、適切に方向判定するようにしたことで、これらの偽色・偽解像を更に悪化させることを防止できる。
この手法は、６バンドの場合に限らず、例えば５バンドの場合にも適用することができる。
【０１６３】
（１０）類似度を算出するＣＰＵは、第１画素ピッチ類似度と第２画素ピッチ類似度に加え、少なくとも第２画素ピッチよりも短い隣接画素ピッチの異なる分光成分を持つ画素同士の間の隣接画素ピッチ類似度HVpl[3]を算出し、類似性を判定するＣＰＵは、第１仮想画像と第２仮想画像に加え、少なくとも隣接画素ピッチ類似度HVpl[3]に基づいて類似性を判定し、該類似性に基づいて仮想的に各画素に第１バンドR〜第６バンドPの各分光成分を持った第３仮想画像を生成し、該第３仮想画像の情報に基づいて、第３仮想画像の利得指標を算出し、少なくとも第１〜第３仮想画像の利得指標の大きさに基づいて、何れの画素ピッチの類似度に基づいて類似性を判定するのかを決定する。
これにより、マルチバンド配列における方向判定を適切に行うことができる。
【０１６４】
（１１）利得指標Iは、少なくとも第１〜第３仮想画像において、第１バンドR〜第６バンドPの分光成分の間の和の特性を持った輝度面と、第１バンドR〜第６バンドPの分光成分の間の差の特性を持った色度面とにより、輝度面とモザイク画像との差分Ydiffの大きさ、輝度面の１次微分∇Yの大きさ、輝度面の２次微分ΔYの大きさ、色度面Cdiffの大きさ、色度面の１次微分Cgradの大きさに基づいて構成される。方向判定のために上記利得指標Iを採用したので、マルチバンド配列における方向判定を適切に行うことができる。
【０１６５】
（１２）利得指標Iは、輝度面とモザイク画像との差分Ydiffの大きさの２乗、輝度面の１次微分∇Yの大きさの逆数、輝度面の２次微分ΔYの大きさの逆数、色度面Cdiffの大きさの２乗、色度面の１次微分Cgradの大きさの積で構成され、該利得指標が小さいほど利得が大きい。方向判定のために上記利得指標Iを採用したので、マルチバンド配列における方向判定を適切に行うことができる。
【０１６６】
（１３）（９）の類似性を判定するＣＰＵにより判定された類似性に基づいて、画像を生成するＣＰＵは、第１バンドR〜第６バンドPの分光成分の内、密度比が最も高い分光成分を除く分光成分間の差分面Cr,Cb,Co,Cp,Ceを生成するようにした。これにより、単板式６バンド配列での色解像を高めることができる。
【０１６７】
（１４）（１０）の類似性を判定するＣＰＵにより判定された類似性に基づいて、画像を生成するＣＰＵは、第１バンドR〜第６バンドPの分光成分の内、最も密度比が高い分光成分の信号面Gを生成するようにした。これにより、単板式６バンド配列での輝度解像を高めることができる。
【０１６８】
（１５）画像処理装置は、第１バンドR〜第６バンドPの分光成分が配列され、１つの画素に１つの分光成分を持つモザイク画像を入力する制御装置２０３と、各画素に第１バンドR〜第６バンドPの分光成分を持った画像にデモザイク処理する制御装置２０３とを備え、制御装置２０３は、第ｍバンド（１≦ｍ≦６）の分光成分が欠落する画素に対して、第ｍバンドの分光成分の局所的な平均値と、少なくとも第ｍバンド以外の分光成分の局所的な曲率値とに基づいて、（面間相関型である）第ｍバンドの分光成分の画素値を算出するＣＰＵ（第１の画素値算出部）と、第ｍバンドの分光成分が欠落する画素に対して、第ｍバンドの分光成分の局所的な平均値に基づいて、（単色補間型である）第ｍバンドの分光成分の画素値を算出するＣＰＵ（第２の画素値算出部）と、（第１の画素値算出部で）生成された第１バンドR〜第６バンドPの画像の情報に基づいて、(第１の画素値算出部で)生成された第１バンドR〜第６バンドPの画像に関する第１の利得指標Jを算出するＣＰＵ（第１の利得指標算出部）と、（第２の画素値算出部で）生成された第１バンドR〜第６バンドPの画像の情報に基づいて、（第２の画素値算出部で）生成された第１バンドR〜第６バンドPの画像に関する第２の利得指標Jを算出するＣＰＵ（第２の利得指標算出部）と、第１の利得指標Jと第２の利得指標Jとに基づいて、（第１の画素値算出部で）生成された第１バンドR〜第６バンドPの画像と、（第２の画素値算出部で）生成された第１バンドR〜第６バンドPの画像とをそれぞれ混合することによって、新たな第１バンド画像R〜第６バンドPの画像のそれぞれを合成するＣＰＵ（画像合成部）とを有する。
これにより、偽色制御に優れた面間相関型の色差面（第１の画素値算出部により算出）と、色解像力保持に優れた単色補間型の色差面（第２の画素値算出部により算出）とにおける双方の特長を画像復元に活かすことができる。この結果として、単板式６バンド配列で輝度解像と色解像を同時に両立する撮像が可能となり、その撮像信号から偽解像・偽色を抑制しつつ高精細な画像を復元することが可能となる。
なお、この手法は、３バンドのBayer配列の場合にも適用することができる。
【０１６９】
（１６）利得指標Jは、第１の画素値算出部と第２の画素値算出部でそれぞれ生成された第１バンドR〜第６バンドPの画像の間の輝度面と色度面とにより、輝度面とモザイク画像を局所的に平滑化した面との差分Ydiffの大きさ、輝度面の１次微分∇Yの大きさ、輝度面の２次微分ΔYの大きさ、色度面Cdiffの大きさ、色度面の１次微分Cgradの大きさに基づいて構成される。これにより、画像復元に対して、面間相関型の色差面が適切か、単色補間型の色差面が適切かを判定するために上記利得指標Jを採用したので、単板式マルチバンド配列を用いて撮像された撮像信号から偽解像・偽色を抑制しつつ、実在色の再現を最大化する結果、高精細な画像を復元することが可能となる。
【０１７０】
（１７）利得指標Jは、輝度面とモザイク画像を局所的に平滑化した面との差分Ydiffの大きさの２乗の逆数、輝度面の１次微分∇Yの大きさの２乗、輝度面の２次微分ΔYの大きさの２乗、色度面Cdiffの大きさの２乗の逆数、色度面の１次微分Cgradの大きさの２乗の積で構成され、該利得指標が大きいほど利得が大きい。これにより、画像復元に対して、面間相関型の色差面が適切か、単色補間型の色差面が適切かを判定するために上記利得指標Jを採用したので、単板式マルチバンド配列を用いて撮像された撮像信号から偽解像・偽色を抑制しつつ、実在色の再現を最大化する結果、高精細な画像を復元することが可能となる。
【０１７１】
（１８）第１バンドR〜第６バンドPの分光成分で構成され、色相環上で番号順に一周するように並び、第３バンドの分光成分Gのフィルタが輝度成分を表し、最も高密度に配置されるとき、ＣＰＵは、色相環上で第３バンドGから離れたところに位置する第１バンドRと第５バンドB、第６バンドPに対して、（画像合成部が）合成した混合型の画像を出力し、色相環上で第３バンドGに隣接したところに位置する第２バンドO、第４バンドEに対しては、（第１の画素値算出部が）算出した面間相関型の画像を出力する。
これにより、画像復元に対して、面間相関型の色差面、単色補間型の色差面の双方の特長を適切に活かすことができる。
【０１７２】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
以上の説明では、画像処理プログラムをコンピュータ装置１００（図４）に実行させる例を説明したが、画像処理装置を撮像装置に搭載してもよい。図１９は、画像処理装置を搭載するカメラの構成を例示するブロック図である。カメラ２００は、操作部材２０１と、撮像素子２０２と、制御装置２０３と、メモリカードスロット２０４と、モニタ２０５とを備えている。操作部材２０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、ズームボタン等を含んでいる。
【０１７３】
撮像素子２０２は、ＣＭＯＳイメージセンサーなどによって構成される。撮像素子２０２は、不図示のレンズにより結像される被写体像を撮像する。そして、撮像によって得られた画像データを制御装置２０３へ出力する。
【０１７４】
制御装置２０３は、メモリ、およびその他の周辺回路により構成され、カメラ２００が行う撮影動作を制御する。制御装置２０３を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは揮発性のメモリであって、制御装置２０３がプログラム実行時にプログラムを展開するためのワークメモリとして使用される。また、ＳＤＲＡＭは、データを一時的に記憶するためのバッファメモリとしても使用される。一方、フラッシュメモリは不揮発性のメモリであって、制御装置２０３が実行するプログラムのデータや、プログラム実行時に読込まれる種々のパラメータなどが記録される。
【０１７５】
メモリカードスロット２０４は、記憶媒体としてのメモリカードを挿入するためのスロットである。制御装置２０３は、撮影処理を行なうことによって生成した画像ファイルを、メモリカードスロット２０４に挿入されているメモリカードへ書込んで記録する。また、制御装置２０３は、メモリカードスロット２０４に挿入されているメモリカード内に記録されている画像ファイルを読込む。
【０１７６】
モニタ２０５は、カメラ２００の背面に搭載された液晶モニタ（背面モニタ）である。当該モニタ２０５には、メモリカードに記録されている画像ファイルに基づく再生画像や、カメラ２００を設定するための設定メニューなどが表示される。また、使用者が操作部材２０１を操作してカメラ２００を撮影モードに設定すると、制御装置２０３は、撮像素子２０２から時系列で取得した画像の表示用画像データをモニタ２０５に出力する。これによってモニタ２０５にスルー画が表示される。
【０１７７】
上記撮像素子２０２の撮像面には、上述した６色配列を基本単位１０とするカラーフィルタが設けられている。すなわち、撮像素子２０２から制御装置２０３に出力される画像データは、ＲＧＢＯＥＰ表色系で表される。制御装置２０３は、この画像データに対して上述した処理を行う。
【０１７８】
（変形例２）
以上の説明では、可視波長帯域のバンドを例に説明したが、例えば赤外波長や紫外波長などを対象にしたマルチバンド配列でも構わない。
【０１７９】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【０１８０】
１０…基本単位
２０…色相環
１００…コンピュータ装置
２００…カメラ
２０２…撮像素子
２０３…制御装置
【図１】
2017092875.tif 000005
【図２】
2017092875.tif 000006
【図３】
2017092875.tif 000007
【図４】
2017092875.tif 000008
【図５】
2017092875.tif 000009
【図６】
2017092875.tif 000010
【図７】
2017092875.tif 000011
【図８】
2017092875.tif 000012
【図９】
2017092875.tif 000013
【図１０】
2017092875.tif 000014
【図１１】
2017092875.tif 000015
【図１２】
2017092875.tif 000016
【図１３】
2017092875.tif 000017
【図１４】
2017092875.tif 000018
【図１５】
2017092875.tif 000019
【図１６】
2017092875.tif 000020
【図１７】
2017092875.tif 000021
【図１８】
2017092875.tif 000022
【図１９】
2017092875.tif 000023
【図２０】
2017092875.tif 000024
【図２１】
2017092875.tif 000025