(57)【特許請求の範囲】
【請求項１】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を加重加算することによって該第１の画像の色情報と異なる輝度成分を前記第１の画像と同じ画素位置に生成し、前記輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理部を備え、
前記画像処理部は、零以上の値から成る少なくとも９通りの係数パターンを用意し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記少なくとも９通りの係数パターンの何れか１つの係数パターンを用いて加重加算する
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像処理部は、前記第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算するための係数パターンを少なくとも９通り用意する
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記画像処理部は、前記第１の画像が、画素密度の高い第１色成分と画素密度の低い第２色成分および第３色成分とで表される場合、該第１色成分を有する画素に対しては、前記少なくとも９通りの係数パターンとは別個に用意された係数パターンを用いて加重加算する
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記画像処理部は、前記第１色成分を有する画素に隣接する第２色成分または第３色成分を有する画素に対して、複数の方向に対する類似性の強弱を判定し、該類似性の強さが何れの方向にも区別がつかない場合、前記別個に用意された係数パターンとして、第１色成分を有する複数の画素の色情報の加重加算を含む係数パターンを用いる
ことを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記画像処理部は、前記第１色成分を有する複数の画素の色情報の加重加算を含む係数パターンとして、前記加重加算に際して着目画素の色情報と該画素から最も近くに位置する第１色成分を有する画素の色情報との加重加算を含む係数パターンを用いる
ことを特徴とする画像処理装置。
【請求項６】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる輝度成分を前記第１の画像と同じ画素位置に生成し、前記輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理部を備え、
前記画像処理部は、前記第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理装置。
【請求項７】
３種類以上の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる輝度成分を前記第１の画像と同じ画素位置に生成し、前記輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理部を備え、
前記画像処理部は、前記第１の画像の全ての画素において、前記第１の画像の少なくとも３種類の色成分の色情報を加重加算し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記画像処理部は、前記第１の画像の着目画素を中心に前記少なくとも３種類の色成分の色情報が含まれる最も狭い領域内の画素の色情報を加重加算する
ことを特徴とする画像処理装置。
【請求項９】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる輝度成分を前記第１の画像と同じ画素位置に生成し、前記輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理部を備え、
前記画像処理部は、前記第１の画像の全ての画素において、前記第１の画像の色情報を常に一定の色成分比率で加重加算し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記画像処理部は、前記第１の画像が、画素密度の高い第１色成分と画素密度の低い第２色成分および第３色成分とで表される場合、第２色成分の色情報と第３色成分の色情報とを同一の色成分比率で加重加算する
ことを特徴とする画像処理装置。
【請求項１１】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる輝度成分を前記第１の画像と同じ画素位置に生成し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、前記輝度成分を補正し、前記輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理部を備え、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理装置。
【請求項１２】
請求項１１に記載の画像処理装置において、
前記画像処理部は、前記予め決められた固定のフィルタ係数として、正および負の値を含むフィルタ係数を用いることを特徴とする画像処理装置。
【請求項１３】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置に生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理部を備え、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記第１の画像の色情報を零以上の可変な係数により加重加算することによって、前記輝度成分を生成する
ことを特徴とする画像処理装置。
【請求項１４】
請求項１３に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記第１の画像の色情報を加重加算することによって、前記色差成分を生成する
ことを特徴とする画像処理装置。
【請求項１５】
請求項１３に記載の画像処理装置において、
前記画像処理部は、前記第１の画像が、第１色成分、第２色成分および第３色成分で表される場合、
前記第１色成分と前記第２色成分とで構成される第１の類似度成分、
前記第２色成分と前記第３色成分とで構成される第２の類似度成分、
前記第３色成分と前記第１色成分とで構成される第３の類似度成分、
前記第１色成分のみで構成される第４の類似度成分、
前記第２色成分のみで構成される第５の類似度成分、
前記第３色成分のみで構成される第６の類似度成分
の少なくとも１つの類似度成分を用いて、複数の方向に対する類似度を算出し、該類似度に基づいて、前記複数の方向に対する類似性の強弱を判定する
ことを特徴とする画像処理装置。
【請求項１６】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を加重加算することによって該第１の画像の色情報と異なる輝度成分を前記第１の画像と同じ画素位置に生成し、前記輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、零以上の値から成る少なくとも９通りの係数パターンを用意し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記少なくとも９通りの係数パターンの何れか１つの係数パターンを用いて加重加算する
ことを特徴とする画像処理プログラム。
【請求項１７】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる輝度成分を前記第１の画像と同じ画素位置に生成し、前記輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、前記第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理プログラム。
【請求項１８】
３種類以上の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる輝度成分を前記第１の画像と同じ画素位置に生成し、前記輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、前記第１の画像の全ての画素において、前記第１の画像の少なくとも３種類の色成分の色情報を加重加算し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理プログラム。
【請求項１９】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる輝度成分を前記第１の画像と同じ画素位置に生成し、前記輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、前記第１の画像の全ての画素において、前記第１の画像の色情報を常に一定の色成分比率で加重加算し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理プログラム。
【請求項２０】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を前記第１の画像と同じ画素位置に生成し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、前記輝度成分を補正し、前記輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理プログラム。
【請求項２１】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置に生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記第１の画像の色情報を零以上の可変な係数により加重加算することによって、前記輝度成分を生成する
ことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る画像を高画質化する画像処理装置に関する。また、本発明は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る画像の高画質化をコンピュータで実現させるための画像処理プログラムに関する。
【背景技術】
【０００２】
電子カメラには、３色（Ｒ,Ｇ,Ｂ：赤・緑・青）のカラーフィルタが所定の位置に配置（例えば、ベイア配列など）された撮像素子によって、カラーの画像データを生成するものがある。
このような電子カメラでは、撮像素子の個々の画素から１つの色成分の色情報しか出力されないので、各々の画素に３つの色成分の色情報を対応付けて高画質化を図る処理が行われている。
【０００３】
従来から、このような処理としては、補間処理が行われている。すなわち、各々の画素毎に、その周辺の画素との方向に関する類似性が判定され、その結果に応じて補間値（各々の画素に欠落する色成分の色情報に相当する値）が算出される。
また、特許文献１には、各々の画素に輝度値と「クロミナンスの値」とを生成する処理を行う技術が開示されている。すなわち、撮像素子によって生成された時点の画像が示す表色系とは異なる表色系の色成分を、各々の画素に対応付ける処理を介して、高画質化が図られている。そのとき、各々の画素における輝度値は、水平方向、垂直方向、フラット、斜め方向１、斜め方向２の５通りの類似方向に分類して生成されている。
【特許文献１】特開２０００−７８５９７号公報（米国特許第６,０７５,８８９号明細書）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上述した公報に開示された技術では、赤色成分の色情報または青色成分の色情報が存在する画素における輝度値の生成の仕方を見れば明らかなように、２つの色成分の色情報を用いて輝度値を生成することを基本としている。そのため、各々の画素で生成される輝度値は、画素毎にＲＧＢの比率が不均一となり、輝度値の生成対象画素が変わる度に、生成される輝度値のＲＧＢの比率が激しく変動することになる。したがって、特に彩色部や平坦部では、被写体に存在し得ない偽構造（ベイア配列に起因する偽構造）が画素毎に変化するような構造となって現れる可能性が高かった。
【０００５】
また、上述した公報に開示された技術では、生成された輝度値は、各々の画素の類似方向に応じて異なる補正値で補正されるが、このような補正値は、構造的要因に関する高周波成分が一様に破壊されてしまった「ぼかされた輝度値」から抽出される。そのため、高周波成分の補正が不十分であり、高周波成分の乏しい補正結果しか得られなかった。
さらに、上述した公報に開示された技術では、広域の色情報を用いて生成された輝度値を参照して色差が生成されるため、局所的な高周波成分が失われ、偽色が発生し易かった。
【０００６】
すなわち、上述した公報に開示された技術では、高精度の高画質化は望めなかった。
本発明は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る画像に対する高精度の高画質化を実現することができる画像処理装置を提供することを目的とする。
また、本発明は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る画像に対する高精度の高画質化をコンピュータによって実現することができる画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
以下、本発明の内容を項目毎に分けて説明する。
（１）  本発明の画像処理装置は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を加重加算することによって該第１の画像の色情報と異なる輝度成分を第１の画像と同じ画素位置に生成し、輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理部を備え、画像処理部は、零以上の値から成る少なくとも９通りの係数パターンを用意し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、少なくとも９通りの係数パターンの何れか１つの係数パターンを用いて加重加算することを特徴とする。
【０００８】
（２）  本発明の別の画像処理装置は、（１）に記載の画像処理装置において、画像処理部は、第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算するための係数パターンを少なくとも９通り用意することを特徴とする。
【０００９】
（３）  本発明の別の画像処理装置は、（１）に記載の画像処理装置において、画像処理部は、第１の画像が、画素密度の高い第１色成分と画素密度の低い第２色成分および第３色成分とで表される場合、該第１色成分を有する画素に対しては、少なくとも９通りの係数パターンとは別個に用意された係数パターンを用いて加重加算することを特徴とする。
【００１０】
（４）  本発明の別の画像処理装置は、（３）に記載の画像処理装置において、画像処理部は、第１色成分を有する画素に隣接する第２色成分または第３色成分を有する画素に対して、複数の方向に対する類似性の強弱を判定し、該類似性の強さが何れの方向にも区別がつかない場合、別個に用意された係数パターンとして、第１色成分を有する複数の画素の色情報の加重加算を含む係数パターンを用いることを特徴とする。
【００１１】
（５）  本発明の別の画像処理装置は、（４）に記載の画像処理装置において、画像処理部は、第１色成分を有する複数の画素の色情報の加重加算を含む係数パターンとして、加重加算に際して着目画素の色情報と該画素から最も近くに位置する第１色成分を有する画素の色情報との加重加算を含む係数パターンを用いることを特徴とする。
（６）  本発明の別の画像処理装置は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる輝度成分を第１の画像と同じ画素位置に生成し、輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理部を備え、画像処理部は、第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、加重加算の係数を変えることを特徴とする。
【００１２】
（７）  本発明の別の画像処理装置は、３種類以上の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる輝度成分を第１の画像と同じ画素位置に生成し、輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理部を備え、画像処理部は、第１の画像の全ての画素において、第１の画像の少なくとも３種類の色成分の色情報を加重加算し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、加重加算の係数を変えることを特徴とする。
【００１３】
（８）  本発明の別の画像処理装置は、（７）に記載の画像処理装置において、画像処理部は、第１の画像の着目画素を中心に前記少なくとも３種類の色成分の色情報が含まれる最も狭い領域内の画素の色情報を加重加算することを特徴とする。
【００１４】
（９）  本発明の別の画像処理装置は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる輝度成分を第１の画像と同じ画素位置に生成し、輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理部を備え、画像処理部は、第１の画像の全ての画素において、第１の画像の色情報を常に一定の色成分比率で加重加算し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、加重加算の係数を変えることを特徴とする。
【００１５】
（１０）  本発明の別の画像処理装置は、（９）に記載の画像処理装置において、画像処理部は、第１の画像が、画素密度の高い第１色成分と画素密度の低い第２色成分および第３色成分とで表される場合、第２色成分の色情報と第３色成分の色情報とを同一の色成分比率で加重加算することを特徴とする。
【００１６】
（１１）  本発明の別の画像処理装置は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる輝度成分を第１の画像と同じ画素位置に生成し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、輝度成分を補正し、輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理部を備え、画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、加重加算の係数を変えることを特徴とする。
【００１７】
（１２）本発明の別の画像処理装置は、（１１）に記載の画像処理装置において、画像処理部は、予め決められた固定のフィルタ係数として、正および負の値を含むフィルタ係数を用いることを特徴とする。
【００１８】
（１３）  本発明の別の画像処理装置は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置に生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理部を備え、画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、第１の画像の色情報を零以上の可変な係数により加重加算することによって、輝度成分を生成することを特徴とする。
【００２０】
（１４）  本発明の別の画像処理装置は、（１３）に記載の画像処理装置において、画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、第１の画像の色情報を加重加算することによって、色差成分を生成することを特徴とする。
【００２１】
（１５）  本発明の別の画像処理装置は、（１３）に記載の画像処理装置において、画像処理部は、第１の画像が、第１色成分、第２色成分および第３色成分で表される場合、
第１色成分と第２色成分とで構成される第１の類似度成分、
第２色成分と第３色成分とで構成される第２の類似度成分、
第３色成分と第１色成分とで構成される第３の類似度成分、
第１色成分のみで構成される第４の類似度成分、
第２色成分のみで構成される第５の類似度成分、
第３色成分のみで構成される第６の類似度成分
の少なくとも１つの類似度成分を用いて、複数の方向に対する類似度を算出し、該類似度に基づいて、複数の方向に対する類似性の強弱を判定することを特徴とする。
【００２３】
（１６）  本発明の画像処理プログラムは、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を加重加算することによって該第１の画像の色情報と異なる輝度成分を第１の画像と同じ画素位置に生成し、輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理手順をコンピュータで実現させ、画像処理手順は、零以上の値から成る少なくとも９通りの係数パターンを用意し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、少なくとも９通りの係数パターンの何れか１つの係数パターンを用いて加重加算することを特徴とする。
【００２４】
（１７）  本発明の別の画像処理プログラムは、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる輝度成分を第１の画像と同じ画素位置に生成し、輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理手順をコンピュータで実現させ、画像処理手順は、第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、加重加算の係数を変えることを特徴とする。
【００２５】
（１８）  本発明の別の画像処理プログラムは、３種類以上の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる輝度成分を第１の画像と同じ画素位置に生成し、輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理手順をコンピュータで実現させ、画像処理手順は、第１の画像の全ての画素において、第１の画像の少なくとも３種類の色成分の色情報を加重加算し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、加重加算の係数を変えることを特徴とする。
【００２６】
（１９）  本発明の別の画像処理プログラムは、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる輝度成分を第１の画像と同じ画素位置に生成し、輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理手順をコンピュータで実現させ、画像処理手順は、第１の画像の全ての画素において、第１の画像の色情報を常に一定の色成分比率で加重加算し、更に、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、加重加算の係数を変えることを特徴とする。
【００２７】
（２０）  本発明の別の画像処理プログラムは、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を第１の画像と同じ画素位置に生成し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、輝度成分を補正し、輝度成分を含む複数の色成分を各々の画素位置に有する第２の画像を出力する画像処理手順をコンピュータで実現させ、画像処理手順は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、加重加算の係数を変えることを特徴とする。
【００２８】
（２１）  本発明の別の画像処理プログラムは、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置に生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理手順をコンピュータで実現させ、画像処理手順は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、第１の画像の色情報を零以上の可変な係数により加重加算することによって、輝度成分を生成することを特徴とする。
【発明の効果】
【００３０】
本発明の画像処理装置によれば、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る画像に対する高精度の高画質化を実現することができる。
また、本発明の画像処理プログラムによれば、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る画像に対する高精度の高画質化をコンピュータによって実現することができる。
【発明を実施するための最良の形態】
【００３１】
以下、図面に基づいて、本発明の実施形態について詳細を説明する。
ただし、第１の実施形態および第２の実施形態では、本発明の画像処理装置が行う画像の高画質化の機能を備えた電子カメラを用いて説明を行う。
図１は、第１の実施形態および第２の実施形態に対応する電子カメラの機能ブロック図である。
【００３２】
図１において、電子カメラ１は、Ａ／Ｄ変換部１０、画像処理部（例えば、画像処理専用の１チップ・マイクロプロセッサ）１１、制御部１２、メモリ１３、圧縮／伸長部１４、表示画像生成部１５を備えていると共に、メモリカード（カード状のリムーバブルメモリ）１６とのインタフェースを実現するメモリカード用インタフェース部１７を備え、所定のケーブルや無線伝送路を介してＰＣ（パーソナルコンピュータ）１８等の外部装置とのインタフェースを実現する外部インタフェース部１９を備えており、これらはバスを介して相互に接続される。
【００３３】
また、電子カメラ１は、撮影光学系２０、撮像素子２１、アナログ信号処理部２２、タイミング制御部２３を備えており、撮像素子２１には撮影光学系２０で取得された光学像が結像し、撮像素子２１の出力は、アナログ信号処理部２２に接続され、アナログ信号処理部２２の出力は、Ａ／Ｄ変換部１０に接続され、タイミング制御部２３には制御部１２の出力が接続され、タイミング制御部２３の出力は、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０、画像処理部１１に接続される。
【００３４】
また、電子カメラ１は、レリーズボタンやモード切り換え用の選択ボタン等に相当する操作部２４およびモニタ２５を備えており、操作部２４の出力は制御部１２に接続され、モニタ２５には表示画像生成部１５の出力が接続される。
ＰＣ１８には、モニタ２６やプリンタ２７等が接続されており、ＣＤ−ＲＯＭ２８に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ１８は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード１６とのインタフェースを実現するメモリカード用インタフェース部（図示省略）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインタフェースを実現する外部インタフェース部（図示省略）を備えている。
【００３５】
図１のような構成の電子カメラ１において、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１２は、タイミング制御部２３を介して、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０に対するタイミング制御を行う。撮像素子２１は、光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部２２で所定の信号処理が行われ、Ａ／Ｄ変換部１０でディジタル化され、画像データとして、画像処理部１１に供給される。
【００３６】
電子カメラ１では、撮像素子２１において、Ｒ,Ｇ,Ｂのカラーフィルタがベイア配列されているので、画像処理部１１に供給される画像データは、ＲＧＢ表色系で示され、各々の画素には、赤色成分（請求の範囲に記載の「第２色成分」または「第３色成分」に対応する。）、緑色成分（請求の範囲に記載の「第１色成分」に対応する。）、青色成分（請求の範囲に記載の「第３色成分」または「第２色成分」に対応する。）のうち、何れか１つの色成分の色情報が存在することになる。そこで、以下では、このような画像データを、「ベイア配列型画像データ」と称する。
【００３７】
画像処理部１１は、このようなベイア配列型画像データ（請求の範囲に記載の「第１の画像」に対応する。）を入力し、ＲＧＢ表色系とは異なるＹＣｂＣｒ表色系の色成分（請求の範囲に記載の「第１の画像の色情報と異なる色成分」に対応する。）である輝度成分（請求の範囲に記載の「輝度成分」に対応する）と、色差成分（請求の範囲に記載の「色差成分」に対応する）とを全ての画素に対して生成する。すなわち、画像処理部１１は、全ての画素に輝度成分が対応付けられて成る輝度面と、全ての画素に色差成分が対応付けられて成る色差面とを生成して、高画質化を実現する。また、画像処理部１１は、必要に応じて、このようにして生成した輝度面および色差面からＲＧＢ面を生成する。以下、上述したような一連の処理を画像復元処理と称する。
【００３８】
なお、画像処理部１１は、このような画像復元処理を行う他に、階調変換や輪郭強調などの画像処理を行う。画像処理が完了した画像データは、必要に応じて、圧縮／伸長部１４で所定の圧縮処理が施され、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
画像処理が完了した画像データは、圧縮処理を施さずにメモリカード１６に記録したり、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。
【００３９】
また、操作部２４を介し、操作者によって再生モードが選択されると、メモリカード１６に記録されている画像データは、メモリカード用インタフェース部１７を介して読み出されて圧縮／伸長部１４で伸長処理が施され、表示画像作成部１５を介してモニタ２５に表示される。
なお、伸長処理が施された画像データは、モニタ２５に表示せず、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。
【００４０】
また、画像復元処理によって生成されるＲＧＢ面を、モニタ２５、２６やプリンタ２７で採用されている表色系に変換する処理については、公知の技術によって実現できるため、説明を省略する。
図２は、ベイア配列型画像データの色成分の配列を示す図である。
ただし、図２では、Ｒ、Ｇ、Ｂを用いて色成分の種類を示し、座標[X,Y]の値を用いて各々の色成分に対応する画素の位置を示している。
【００４１】
以下では、ベイア配列におけるＲのカラーフィルタが付いた画素位置をＲ位置、Ｇのカラーフィルタが付いた画素位置をＧ位置、Ｂのカラーフィルタが付いた画素位置をＢ位置と称する。
特に、図２（１）は、Ｒ位置が処理対象画素（請求の範囲に記載の「着目画素」に対応する。）に対応する場合を示し、図２（２）は、Ｂ位置が処理対象画素に対応する場合を示し、図２（３）は、Ｇ位置が処理対象画素に対応する場合を示している。また、以下では、Ｇ位置の画素のうち、横方向に赤色成分が存在する画素を「Ｇｒ位置の画素」と称し、横方向に青色成分が存在する画素を「Ｇｂ位置の画素」と称する。
【００４２】
なお、後述する演算式では、各々の画素における色情報を緑色成分と他の色成分とで区別する場合、図２のＲ、ＢをＺに置き換えて、Ｒ位置またはＢ位置の色情報をZ[i,j]のように表現し、Ｇ位置の色情報をG[i,j]のように表現する。また、各々の画素における色情報を色成分で区別しない場合、図２のＲ、Ｇ、ＢをＡに置き換えて、任意の画素の色情報をA[i,j]のように表現する。
【００４３】
《第１の実施形態の説明》
図３ないし図６は、第１の実施形態における画像処理部１１の動作フローチャートである。
ただし、図３ないし図６は、画像処理部１１が行う画像処理のうち、画像復元処理の動作を示している。図３は、画像復元処理のおおまかな動作を示し、図４および図５は、画像復元処理に含まれる「輝度成分生成処理」の動作を示し、図６は、画像復元処理に含まれる「色差成分生成処理」の動作を示している。
【００４４】
以下、第１の実施形態を説明するが、以下では、画像処理部１１が行う画像処理のうち、画像復元処理の動作を説明し、他の動作の説明は省略する。
まず、画像処理部１１は、ベイア配列型画像データを用い、緑色成分が欠落する画素に対して、縦方向および横方向に対する類似性（以下、「縦横類似性」と称する。）を判定し、このような判定結果として、縦横類似性を示す指標HVを設定する（図３Ｓ１）。
【００４５】
《縦横類似性を示す指標HVを設定する処理の例》
例えば、画像処理部１１は、縦横類似性を示す指標HVを設定する処理を以下のようにして実現する。
まず、画像処理部１１は、緑色成分が欠落する画素に対し、以下に示す式１および式２によって定義される縦方向の同色間類似度Cv0および横方向の同色間類似度Ch0を算出する。また、画像処理部１１は、緑色成分が欠落する画素に対し、以下に示す式３および式４によって定義される縦方向の異色間類似度CvN0および横方向の異色間類似度ChN0を算出する。
《同色間類似度》：
Cv0[i,j]=(|G[i,j-1]-G[i,j+1]|+(|Z[i-1,j-1]-Z[i-1,j+1]|
+|Z[i+1,j-1]-Z[i+1,j+1]|)/2)/2 ・・・式１
Ch0[i,j]=(|G[i-1,j]-G[i+1,j]|+(|Z[i-1,j-1]-Z[i+1,j-1]|
+|Z[i-1,j+1]-Z[i+1,j+1]|)/2)/2 ・・・式２
《異色間類似度》：
CvN0[i,j]=(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2 ・・・式３
ChN0[i,j]=(|G[i-1,j]-Z[i,j]|+|G[i+1,j]-Z[i,j]|)/2 ・・・式４
式１ないし式４によって算出される値は、そのまま、座標[i,j]に位置する画素の縦方向および横方向に対する同色間類似度および異色間類似度とすることができるが、ここでは、その画素だけでなく、その画素の周辺に位置する画素に対しても同様の値を算出し、各々の値を方向別に加重加算（以下、「周辺加算」と称する）して、緑色成分が欠落する画素の縦方向および横方向に対する最終的な同色間類似度および異色間類似度を算出する例を示す。
【００４６】
すなわち、画像処理部１１は、式１ないし式４に基づき、座標[i,j],[i-1,j-1],[i+1,j-1],[i-1,j+1],[i+1,j+1],[i,j-2],[i,j+2],[i-2,j],[i+2,j]に位置する画素に対して演算を行う。そして、その演算によって得られた値に対して、以下の式５ないし式８に示す周辺加算を行って、縦方向に対する同色間類似度Cv[i,j]、横方向に対する同色間類似度Ch[i,j]、縦方向に対する異色間類似度CvN[i,j]、横方向に対する異色間類似度ChN[i,j]を算出する。
【００４７】
ただし、式５ないし式８によって算出される各々の類似度は、値が小さい程、類似性が強いことを示す。また、式５ないし式８は、図７に示すようにして周辺加算を行うことに相当する。
《同色間類似度》：
Cv[i,j]=(4・Cv0[i,j]
+2・(Cv0[i-1,j-1]+Cv0[i+1,j-1]+Cv0[i-1,j+1]+Cv0[i+1,j+1])
+Cv0[i,j-2]+Cv0[i,j+2]+Cv0[i-2,j]+Cv0[i+2,j])/16 ・・・式５
Ch[i,j]=(4・Ch0[i,j]
+2・(Ch0[i-1,j-1]+Ch0[i+1,j-1]+Ch0[i-1,j+1]+Ch0[i+1,j+1])
+Ch0[i,j-2]+Ch0[i,j+2]+Ch0[i-2,j]+Ch0[i+2,j])/16 ・・・式６
《異色間類似度》：
CvN[i,j]=(4・CvN0[i,j]
+2・(CvN0[i-1,j-1]+CvN0[i+1,j-1]+CvN0[i-1,j+1]+CvN0[i+1,j+1])
+CvN0[i,j-2]+CvN0[i,j+2]+CvN0[i-2,j]+CvN0[i+2,j])/16 ・・・式７
ChN[i,j]=(4・ChN0[i,j]
+2・(ChN0[i-1,j-1]+ChN0[i+1,j-1]+ChN0[i-1,j+1]+ChN0[i+1,j+1])
+ChN0[i,j-2]+ChN0[i,j+2]+ChN0[i-2,j]+ChN0[i+2,j])/16 ・・・式８
例えば、図２（１）のように、座標[i,j]に位置する画素がＲ位置の場合、同色間類似度Cv0,Ch0は、緑色成分の色情報のみから成るGG間類似度成分（請求の範囲に記載の「第４の類似度成分」に対応する。）と青色成分の色情報のみから成るBB間類似度成分（請求の範囲に記載の「第６の類似度成分」または「第５の類似度成分」に対応する。）とを用いて算出されることになるが、周辺加算後に得られる同色間類似度Cv,Chには、GG間類似度成分とBB間類似度成分との他に、赤色成分の色情報のみから成るRR間類似度成分（請求の範囲に記載の「第５の類似度成分」または「第６の類似度成分」に対応する。）が含まれることになる。また、座標[i,j]に位置する画素がＲ位置の場合、異色間類似度CvN0,ChN0は、緑色成分の色情報と赤色成分の色情報とから成るGR間類似度成分（請求の範囲に記載の「第１の類似度成分」または「第３の類似度成分」に対応する。）を用いて算出されることになるが、周辺加算後に得られる異色間類似度CvN,ChNには、GR間類似度成分の他に、緑色成分の色情報と青色成分の色情報とから成るGB間類似度成分（請求の範囲に記載の「第３の類似度成分」または「第１の類似度成分」に対応する。）が含まれることになる。
【００４８】
すなわち、周辺加算によれば、複数の色成分を考慮し、かつ、周辺の画素との連続性を考慮しつつ類似度が算出されるため、類似度の精度が高められる。
ところで、式３および式４において、絶対値でくくられる項は、隣接する２つの画素の色情報で構成される。そのため、式３および式４によって算出される異色間類似度には、一画素ピッチで変化するナイキスト周波数レベルの微細構造における類似性判定を可能にする機能が備わっていることになる。また、このような異色間類似度は、異なる色成分の色情報が全て同一の輝度情報を表していると仮定して算出されるため、異色間類似度を用いた類似性の強弱の判定は、無彩色部において、信頼性が高い。
【００４９】
一方、同色間類似度を用いた類似性の強弱の判定は、彩色部・無彩色部ともに全般的に信頼性が高いが、画像の構造が細かい部分では、異色間類似度を用いた場合に比べて信頼性が劣る。
したがって、画像全体に対して信頼性の高い類似性の判定を行うには、画像全体を、無彩色部と彩色部に分け、各々の部分に適した類似度を用いる方法が望ましい。
【００５０】
処理対象画素の近傍の画像が無彩色部であるか否かの判定には、局所的な色彩の有無を示す色指標が必要となるが、このような色指標として、局所的な色差情報が考えられる。上述したように算出される異色間類似度には、類似性の強弱と同時に局所的な色差情報が反映されているので、色指標として、異色間類似度を直接利用することが可能である。
ただし、異色間類似度は、値が小さい程、類似性が強いことを示すので、縦方向および横方向に対する異色間類似度が共に大きな値である場合には、無彩色部で縦横両方向に対する類似性が弱いか、または、処理対象画素の近傍の画像が彩色部であることを意味する。逆に、縦方向と横方向との少なくとも１つの方向に対する異色間類似度が比較的小さな値であれば、処理対象画素の近傍の画像が無彩色部であり、類似性の強い方向が存在していることを意味する。
【００５１】
画像処理部１１は、閾値ThNv,ThNhについて、
CvN[i,j]≦ThNv  または  ChN[i,j]≦ThNh ・・・条件１
が成り立つ場合、処理対象画素の近傍の画像が無彩色部であると判断し、条件１が成り立たない場合、処理対象画素の近傍の画像が彩色部であると判断する。ただし、閾値ThNv,ThNhは、階調数が256のとき10程度以下の値をとる。
【００５２】
そして、画像処理部１１は、処理対象画素の近傍の画像が無彩色部である場合、閾値Th0について、
|CvN[i,j]-ChN[i,j]|≦Th0 ・・・条件２
が成り立つか否かを判定する。
条件２は、縦方向の異色間類似度CvN[i,j]と横方向の異色間類似度ChN[i,j]とが同程度であるか否かを判定するための条件であり、閾値Th0は、縦方向の異色間類似度CvN[i,j]と横方向の異色間類似度ChN[i,j]との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Th0の値を高く設定することによって、類似性の判定の精度が更に高められる。
【００５３】
画像処理部１１は、条件２が成り立つ場合、処理対象画素が縦横両方向に対して類似性が弱い（または、強い）と判断し、縦横類似性を示す指標HV[i,j]に「０」を設定する。一方、画像処理部１１は、条件２が成り立たない場合、
CvN[i,j]＜ChN[i,j] ・・・条件３
が成り立つか否かを判定する。そして、画像処理部１１は、条件３が成り立つ場合、処理対象画素が縦方向に対して類似性が強いと判断し、縦横類似性を示す指標HV[i,j]に「１」を設定する。一方、画像処理部１１は、条件３が成り立たない場合、処理対象画素が横方向に対して類似性が強いと判断し、縦横類似性を示す指標HV[i,j]に「−１」を設定する。
【００５４】
また、画像処理部１１は、処理対象画素の近傍の画像が彩色部である場合、閾値Th1について、
|Cv[i,j]-Ch[i,j]|≦Th1 ・・・条件４
が成り立つか否かを判定する。
条件４は、縦方向の同色間類似度Cv[i,j]と横方向の同色間類似度Ch[i,j]とが同程度であるか否かを判定するための条件であり、閾値Th1は、縦方向の同色間類似度Cv[i,j]と横方向の同色間類似度Ch[i,j]との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たし、閾値Th0と同様に、ノイズの多いカラー画像に対して値を高く設定することによって、類似性の判定の精度が高められる。
【００５５】
画像処理部１１は、条件４が成り立つ場合、処理対象画素が縦横両方向に対して類似性が弱い（または、強い）と判断し、縦横類似性を示す指標HV[i,j]に「０」を設定する。一方、画像処理部１１は、条件４が成り立たない場合、
Cv[i,j]＜Ch[i,j] ・・・条件５
が成り立つか否かを判定する。そして、画像処理部１１は、条件５が成り立つ場合、処理対象画素が縦方向に対して類似性が強いと判断し、縦横類似性を示す指標HV[i,j]に「１」を設定する。一方、画像処理部１１は、条件５が成り立たない場合、処理対象画素が横方向に対して類似性が強いと判断し、縦横類似性を示す指標HV[i,j]に「−１」を設定する。
【００５６】
以上説明したようにして、縦横類似性を示す指標HVを設定する処理を終了すると、画像処理部１１は、ベイア配列型画像データを用い、緑色成分が欠落する画素に対して、斜め４５度方向および斜め１３５度方向に対する類似性（以下、「斜め類似性」と称する。）を判定し、このような判定結果として、斜め類似性を示す指標DNを設定する（図３Ｓ２）。
【００５７】
《斜め類似性を示す指標DNを設定する処理の例》
例えば、画像処理部１１は、斜め類似性を示す指標DNを設定する処理を以下のようにして実現する。
まず、画像処理部１１は、緑色成分が欠落する画素に対し、以下に示す式９および式１０によって定義される斜め４５度方向の類似度C45_0および斜め１３５度方向の類似度C135_0を算出する。
【００５８】
C45_0[i,j]=((|G[i,j-1]-G[i-1,j]|+|G[i+1,j]-G[i,j+1]|)/2
+|Z[i+1,j-1]-Z[i-1,j+1]|
+(|Z[i+1,j-1]-Z[i,j]|+|Z[i-1,j+1]-Z[i,j]|)/2)/3 ・・・式９
C135_0[i,j]=((|G[i,j-1]-G[i+1,j]|+|G[i-1,j]-G[i,j+1]|)/2
+|Z[i-1,j-1]-Z[i+1,j+1]|
+(|Z[i-1,j-1]-Z[i,j]|+|Z[i+1,j+1]-Z[i,j]|)/2)/3 ・・・式１０
例えば、座標[i,j]に位置する画素がＲ位置の場合、斜め４５度方向の類似度C45_0および斜め１３５度方向の類似度C135_0は、順に、GG間類似度成分、BB間類似度成分、赤色成分の色情報と青色成分の色情報とから成るRB間類似度成分（請求の範囲に記載の「第２の類似度成分」に対応する。）で構成される。
【００５９】
そして、画像処理部１１は、以下の式１１および式１２に示すような周辺加算を行って、斜め４５度方向に対する類似度C45[i,j]および斜め１３５度方向に対する類似度C135[i,j]を算出する。ただし、式１１および式１２は、図７に示すようにして周辺加算を行うことに相当する。
C45[i,j]=(4・C45_0[i,j]+2・(C45_0[i-1,j-1]+C45_0[i+1,j-1]
+C45_0[i-1,j+1]+C45_0[i+1,j+1])+C45_0[i,j-2]+C45_0[i,j+2]
+C45_0[i-2,j]+C45_0[i+2,j])/16 ・・・式１１
C135[i,j]=(4・C135_0[i,j]+2・(C135_0[i-1,j-1]+C135_0[i+1,j-1]
+C135_0[i-1,j+1]+C135_0[i+1,j+1])+C135_0[i,j-2]+C135_0[i,j+2]
+C135_0[i-2,j]+C135_0[i+2,j])/16 ・・・式１２
すなわち、周辺加算によれば、縦横方向の場合と同様に、複数の色成分が考慮され、かつ、周辺の画素との連続性が考慮されるため、類似度の精度が高められる。
【００６０】
次に、画像処理部１１は、閾値Th2について、
|C45[i,j]-C135[i,j]|≦Th2 ・・・条件６
が成り立つか否かを判定する。そして、画像処理部１１は、条件６が成り立つ場合、処理対象画素が斜め方向に対して類似性が弱い（または、強い）と判断し、斜め類似性を示す指標DN[i,j]に「０」を設定する。一方、画像処理部１１は、条件６が成り立たない場合、
C45[i,j]<C135[i,j] ・・・条件７
が成り立つか否かを判定する。
【００６１】
そして、画像処理部１１は、条件７が成り立つ場合、処理対象画素が斜め４５度方向に対して類似性が強いと判断し、斜め類似性を示す指標DN[i,j]に「１」を設定する。一方、画像処理部１１は、条件７が成り立たない場合、処理対象画素が斜め１３５度方向に対して類似性が強いと判断し、斜め類似性を示す指標DN[i,j]に「−１」を設定する。
以上説明したようにして斜め類似性を示す指標DNを設定する処理を終了すると、画像処理部１１は、各々の画素に対して、図４および図５に示す「輝度成分生成処理」を行って輝度面を生成する（図３Ｓ３）。
【００６２】
第１の実施形態の「輝度成分生成処理」では、ベイア配列型画像データのうち、局所的な領域に位置する複数の画素の色情報を加重加算することによって輝度成分を生成する例を示す。ただし、このような加重加算に用いられる色情報は、処理対象画素における類似性の強弱に基づいて決められ、加重加算の係数は、輝度成分を構成するＲＧＢの比率が一定となるように設定される。第１の実施形態では、このような「輝度成分生成処理」を実現するため、類似性の強弱に応じて係数が変えられた複数種類の係数パターン（請求の範囲に記載の「少なくとも９通りの係数パターン」に対応する）が用意されている。
【００６３】
図８は、輝度成分を生成する際に用いる係数パターンの例を示す図である。
ただし、図８に示すα,β,u１,u２,v１,v２,s１,s２,t１,t２は、全て零以上の値であり、以下のような条件を満たす。
α+β=1,u１+u２=1,v１+v２=1,s１+s２=1,t１+t２=1
図８に示す係数パターンは、輝度成分を構成するＲＧＢの比率が「β／２：α：β／２」となるような値が設定されており、赤色成分の色情報と青色成分の色情報とが同一の比率で加重加算される。すなわち、輝度成分Ｙは、
Y=α・G+β・(R+B)/2
の関係にある。そのため、Ｇｒ位置の画素とＧｂ位置の画素とで共通の係数パターンを用いることができ、Ｒ位置の画素とＢ位置の画素とで共通の係数パターンを用いることができる。
【００６４】
一般的に好ましい定数の設定としては、以下のような例が挙げられる。
u１≒u２,v１≒v２,s１≒s２,t１≒t２
(α,β)=(1/3,2/3),(4/9,5/9),(5/11,6/11),(1/2,1/2),
(5/9,4/9),(3/5,2/5),(2/3,1/3)
なお、輝度成分を構成するＲＧＢの比率は、「β／２：α：β／２」に限定されず、「α：β：γ」（α+β+γ=1,α≧0,β≧0,γ≧0）などであっても良い。例えば、α=0.3、β=0.6、γ=0.1の値をとる。ただし、ＲＧＢの比率を「α：β：γ」とする場合、Ｇｒ位置の画素とＧｂ位置の画素とで個別に係数パターンを設定する必要があり、Ｒ位置の画素とＢ位置の画素とで個別に係数パターンを設定する必要がある。
【００６５】
《輝度成分生成処理の説明》
ここで、図４および図５を参照して、「輝度成分生成処理」の説明を行う。
まず、画像処理部１１は、処理対象画素がＧ位置であるか否かを判定する（図４Ｓ１１）。
処理対象画素がＧ位置でない場合（図４Ｓ１１のＮＯ側）、画像処理部１１は、処理対象画素における縦横類似性を示す指標HV[i,j]と斜め類似性を示す指標DN[i,j]とが如何なる値であるかを判定し（図４Ｓ１２）、処理対象画素の類似性の強さを、以下に示すcase1ないしcase9の何れかに分類する。
【００６６】
case1:(HV[i,j],DN[i,j])=(0,0):全ての方向の類似性が強い、または、全ての方向の類似性が弱い（類似性の強い方向が不明である）。
case2:(HV[i,j],DN[i,j])=(0,1):斜め45度方向の類似性が強い。
case3:(HV[i,j],DN[i,j])=(0,-1):斜め135度方向の類似性が強い。
case4:(HV[i,j],DN[i,j])=(1,0):縦方向の類似性が強い。
【００６７】
case5:(HV[i,j],DN[i,j])=(1,1):縦および斜め45度方向の類似性が強い。
case6:(HV[i,j],DN[i,j])=(1,-1):縦および斜め135度方向の類似性が強い。
case7:(HV[i,j],DN[i,j])=(-1,0):横方向の類似性が強い。
case8:(HV[i,j],DN[i,j])=(-1,1):横および斜め45度方向の類似性が強い。
case9:(HV[i,j],DN[i,j])=(-1,-1):横および斜め135度方向の類似性が強い。
【００６８】
図９は、(HV[i,j],DN[i,j])の値に対応する類似性の強い方向を示す図である。
画像処理部１１は、上述した判定結果に応じて、以下のようにして輝度成分を生成する。
処理対象画素がcase1に分類される場合、画像処理部１１は、係数パターン１を用いて輝度成分を生成する（図４Ｓ１３）。
【００６９】
処理対象画素がcase2に分類される場合、画像処理部１１は、係数パターン２を用いて輝度成分を生成する（図４Ｓ１４）。
処理対象画素がcase3に分類される場合、画像処理部１１は、係数パターン３を用いて輝度成分を生成する（図４Ｓ１５）。
処理対象画素がcase4に分類される場合、画像処理部１１は、係数パターン４を用いて輝度成分を生成する（図４Ｓ１６）。
【００７０】
処理対象画素がcase5に分類される場合、画像処理部１１は、係数パターン５を用いて輝度成分を生成する（図４Ｓ１７）。
処理対象画素がcase6に分類される場合、画像処理部１１は、係数パターン６を用いて輝度成分を生成する（図４Ｓ１８）。
処理対象画素がcase7に分類される場合、画像処理部１１は、係数パターン７を用いて輝度成分を生成する（図４Ｓ１９）。
【００７１】
処理対象画素がcase8に分類される場合、画像処理部１１は、係数パターン８を用いて輝度成分を生成する（図４Ｓ２０）。
処理対象画素がcase9に分類される場合、画像処理部１１は、係数パターン９を用いて輝度成分を生成する（図４Ｓ２１）。
すなわち、輝度成分Y[i,j]は、係数パターン１ないし係数パターン９の９通りの係数パターンのうち、case1ないしcase9に応じて選択された係数パターンを用いて、以下の式１３ないし式２１の何れかの演算によって生成されることになる。
【００７２】
係数パターン１:
Y[i,j]=(β/2)・A[i,j]
+α・((v１/2)・A[i-1,j]+(v２/2)・A[i+1,j]
+(u１/2)・A[i,j-1]+(u２/2)・A[i,j+1])
+(β/2)・((s１/2)・A[i-1,j-1]+(s２/2)・A[i+1,j+1]
+(t１/2)・A[i+1,j-1]+(t２/2)・A[i-1,j+1]) ・・・式１３
係数パターン２:
Y[i,j]=(β/2)・A[i,j]
+α・((v１/2)・A[i-1,j]+(v２/2)・A[i+1,j]
+(u１/2)・A[i,j-1]+(u２/2)・A[i,j+1])
+(β/2)・(t１・A[i+1,j-1]+t２・A[i-1,j+1]) ・・・式１４
係数パターン３:
Y[i,j]=(β/2)・A[i,j]
+α・((v１/2)・A[i-1,j]+(v２/2)・A[i+1,j]
+(u１/2)・A[i,j-1]+(u２/2)・A[i,j+1])
+(β/2)・(s１・A[i-1,j-1]+s２・A[i+1,j+1]) ・・・式１５
係数パターン４:
Y[i,j]=(β/2)・A[i,j]
+α・(u１・A[i,j-1]+u２・A[i,j+1])
+(β/2)・((s１/2)・A[i-1,j-1]+(s２/2)・A[i+1,j+1]
+(t１/2)・A[i+1,j-1]+(t２/2)・A[i-1,j+1]) ・・・式１６
係数パターン５:
Y[i,j]=(β/2)・A[i,j]
+α・(u１・A[i,j-1]+u２・A[i,j+1])
+(β/2)・(t１・A[i+1,j-1]+t２・A[i-1,j+1]) ・・・式１７
係数パターン６:
Y[i,j]=(β/2)・A[i,j]
+α・(u１・A[i,j-1]+u２・A[i,j+1])
+(β/2)・(s１・A[i-1,j-1]+s２・A[i+1,j+1]) ・・・式１８
係数パターン７:
Y[i,j]=(β/2)・A[i,j]
+α・(v１・A[i-1,j]+v２・A[i+1,j])
+(β/2)・((s１/2)・A[i-1,j-1]+(s２/2)・A[i+1,j+1]
+(t１/2)・A[i+1,j-1]+(t２/2)・A[i-1,j+1]) ・・・式１９
係数パターン８:
Y[i,j]=(β/2)・A[i,j]
+α・(v１・A[i-1,j]+v２・A[i+1,j])
+(β/2)・(t１・A[i+1,j-1]+t２・A[i-1,j+1]) ・・・式２０
係数パターン９:
Y[i,j]=(β/2)・A[i,j]
+α・(v１・A[i-1,j]+v２・A[i+1,j])
+(β/2)・(s１・A[i-1,j-1]+s２・A[i+1,j+1]) ・・・式２１
以上説明したような各係数パターンでは、処理対象画素の色情報と処理対象画素に隣接する画素（斜め方向に隣接する画素を含む）の色情報とを加重加算することができ、類似性の違いにより加重加算の対象となる色情報の位置および係数の値が変えられており、係数のとり方によっては、ＲＧＢの３つの色成分の色情報が含まれる最も狭い領域内の画素の色情報を加重加算することができる。
【００７３】
一方、処理対象画素がＧ位置である場合、処理対象画素の輝度成分は、上述したような類似性の強さに関係なく、図８に示した係数パターン１０（請求の範囲に記載の「少なくとも９通りの係数パターンとは異なる係数パターン」に対応する。）を用いることによって生成することが可能である。しかし、処理対象画素がＧ位置であり、かつ、処理対象画素の左に隣接する画素に対する縦横類似性を示す指標HV[i-1,j]と斜め類似性を示す指標DN[i-1,j]とが共に「０」である場合、係数パターン１０を用いて輝度成分を生成すると、実際には存在しない目障りなチェックパターン状の偽構造が生じることがある。そこで、第１の実施形態では、このような偽構造の発生を抑制するため、輝度成分を生成する際に、処理対象画素の緑色成分の色情報と処理対象画素から最も近くに位置する緑色成分の色情報との加重加算を実現しつつ、選択的に緑色成分にローパスフィルタを掛ける例を示す。
【００７４】
すなわち、画像処理部１１は、図４Ｓ１１の判定によって、処理対象画素がＧ位置であると認識した場合、処理対象画素の左に隣接する画素に対する縦横類似性を示す指標HV[i-1,j]と斜め類似性を示す指標DN[i-1,j]とが共に「０」であるか否かを判定する（図５Ｓ２２）。
そして、縦横類似性を示す指標HV[i-1,j]と斜め類似性を示す指標DN[i-1,j]とが共に「０」である場合、画像処理部１１は、以下の式２２を演算することによって、緑色成分にローパスフィルタを掛けた図１０の係数パターン０（請求の範囲に記載の「第１色成分を有する複数の画素の色情報の加重加算を実現する係数パターン」に対応する。）を用いて輝度成分Y[i,j]を生成する（図５Ｓ２３）。
【００７５】
Y[i,j]=α・(d１・G[i-1,j-1]+d２・G[i,j]+d３・G[i-1,j+1])
+(β/4)・(Z[i-1,j]+Z[i+1,j]+Z[i,j-1]+Z[i,j+1]) ・・・式２２
ただし、式２２において、α,β,d１,d２,d３は、零以上の値であり、d１+d２+d３=1の関係を満たし、d１,d２,d３の値を可変することによって、ローパスフィルタの強弱の設定が可能である。例えば、強いローパスフィルタを掛ける場合のd１,d２,d３の値としては、「1,6,1」などが考えられ、弱いローパスフィルタを掛ける場合のd１,d２,d３の値としては、「1,14,1」などが考えられる。
【００７６】
一方、縦横類似性を示す指標HV[i-1,j]と斜め類似性を示す指標DN[i-1,j]との少なくとも一方が「０」でない場合（図５Ｓ２２のＮＯ側）、画像処理部１１は、係数パターン１０を用いて輝度成分を生成する（図５Ｓ２４）。すなわち、以下の式２３の演算によって、輝度成分Y[i,j]が生成される。
Y[i,j]=α・A[i,j]
+(β/4)・(A[i-1,j]+A[i+1,j]+A[i,j-1]+A[i,j+1]) ・・・式２３
以上説明したような「輝度成分生成処理」を行い、輝度面を生成すると、画像処理部１１は、その輝度面に対してエッジ強調処理（請求の範囲に記載の「予め決められた固定のフィルタ係数によるフィルタ処理」に対応する）を行って、輝度面を補正する（図３Ｓ４）。
【００７７】
《輝度面を補正する処理の例》
例えば、画像処理部１１は、図１１に示すように、フィルタ係数として正および負の値を含むバンドパスフィルタを輝度面に掛けた結果を、元の輝度面に加算することによって、エッジ強調処理を実現する。すなわち、輝度面の補正は、以下の式２４および式２５の演算が行われることによって実現される。
【００７８】
YH[i,j]=(8・Y[i,j]-(Y[i-1,j]+Y[i+1,j]+Y[i,j-1]+Y[i,j+1]
+Y[i-1,j-1]+Y[i+1,j-1]+Y[i-1,j+1]+Y[i+1,j+1]))/16 ・・・式２４
Y[i,j]=Y[i,j]+K・YH[i,j] ・・・式２５
ただし、式２５において、Kは、エッジ強調の強さを可変するための係数であり、1オーダーの値をとる。
【００７９】
なお、このように生成された輝度面は、モノクロ画像として出力することができる。
次に、画像処理部１１は、Ｒ位置の画素およびＢ位置の画素に対して、図６に示す「色差成分生成処理」を行って、Ｒ位置の画素にＣｒ成分を生成し、Ｂ位置の画素にＣｂ成分を生成する（図３Ｓ５）。
第１の実施形態の「色差成分生成処理」では、ベイア配列型画像データのうち、局所的な領域に位置する複数の画素の色情報を直接加重加算することによって色差成分が生成される。ただし、このような加重加算に用いられる色情報や加重加算の係数は、処理対象画素における類似性の強弱に基づいて決められる。第１の実施形態では、このような「色差成分生成処理」を実現するために、係数パターンが予め用意されている。
【００８０】
図１２および図１３は、色差成分を生成する際に用いる係数パターンの例を示す図である。
なお、図１３に示す係数パターンは、図１２に示す係数パターンに比べ、偽色の発生を抑制する効果が大きい。
《色差成分生成処理の説明》
ここで、図６を参照して、「色差成分生成処理」の説明を行う。
【００８１】
まず、画像処理部１１は、処理対象画素（Ｒ位置の画素やＢ位置の画素）における縦横類似性を示す指標HV[i,j]が如何なる値であるかを判定する（図６Ｓ３１）。そして、画像処理部１１は、縦横類似性を示す指標HV[i,j]の値に応じて、以下のようにして色差成分を生成する。
「HV[i,j]=1」の場合、画像処理部１１は、係数パターン１１を用いて色差成分を生成する（図６Ｓ３２）。
【００８２】
「HV[i,j]=-1」の場合、画像処理部１１は、係数パターン１２を用いて色差成分を生成する（図６Ｓ３３）。
「HV[i,j]=0」の場合、画像処理部１１は、係数パターン１３を用いて色差成分を生成する（図６Ｓ３４）。
すなわち、図１２に示す係数パターンを用いる場合、Ｒ位置の処理対象画素では、HV[i,j]の値に応じて、Ｃｒ成分Cr[i,j]が、以下の式２６ないし式２８の演算によって生成されることになる。また、図１３に示す係数パターンを用いる場合、Ｒ位置の処理対象画素では、HV[i,j]の値に応じて、Ｃｒ成分Cr[i,j]が、以下の式２９ないし式３１の演算によって生成されることになる。
【００８３】
《図１２に示す係数パターンを用いる場合》：
HV[i,j]=1：Cr[i,j]=Z[i,j]-(G[i,j-1]+G[i,j+1])/2 ・・・式２６
HV[i,j]=-1：Cr[i,j]=Z[i,j]-(G[i-1,j]+G[i+1,j])/2 ・・・式２７
HV[i,j]=0：Cr[i,j]=Z[i,j]-(G[i,j-1]+G[i,j+1]
+G[i-1,j]+G[i+1,j])/4 ・・・式２８
《図１３に示す係数パターンを用いる場合》：
HV[i,j]=1：Cr[i,j]=(2・Z[i,j]+Z[i,j-2]+Z[i,j+2])/4
-(G[i,j-1]+G[i,j+1])/2 ・・・式２９
HV[i,j]=-1：Cr[i,j]=(2・Z[i,j]+Z[i-2,j]+Z[i+2,j])/4
-(G[i-1,j]+G[i+1,j])/2 ・・・式３０
HV[i,j]=0：Cr[i,j]=(4・Z[i,j]+Z[i,j-2]+Z[i,j+2]+Z[i-2,j]+Z[i+2,j])/8
-(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4 ・・・式３１
また、処理対象画素がＢ位置である場合、Ｃｂ成分Cb[i,j]は、式２６ないし式３１と同様に生成されることになる。
【００８４】
以上説明したような「色差成分生成処理」を、Ｒ位置の全ての画素およびＢ位置の全ての画素に対して行うと、画像処理部１１は、Ｃｒ成分やＣｂ成分が欠落する画素に、Ｃｒ成分やＣｂ成分を補間して色差面を生成する（図３Ｓ６）。ただし、Ｃｒ成分を補間する処理とＣｂ成分を補間する処理とは、同様に行えるため、ここでは、Ｃｒ成分を補間する処理の説明を行い、Ｃｂ成分を補間する処理の説明は省略する。
【００８５】
《Ｃｒ成分を補間する処理の例》
例えば、画像処理部１１は、Ｃｒ成分が欠落する画素におけるＣｒ成分として、その画素の周辺に位置する複数のＲ位置の画素におけるＣｒ成分の平均値を算出することによって、Ｃｒ成分の補間を実現する。すなわち、Ｂ位置の画素に対しては、以下に示す式３２によってＣｒ成分の補間値が算出される。また、Ｇｒ位置の画素に対しては、以下に示す式３３によってＣｒ成分の補間値が算出され、Ｇｂ位置の画素に対しては、以下に示す式３４によってＣｒ成分の補間値が算出される。
《Ｂ位置の画素》：
Cr[i,j]=(Cr[i-1,j-1]+Cr[i-1,j+1]
+Cr[i+1,j-1]+Cr[i+1,j+1])/4 ・・・式３２
《Ｇｒ位置の画素》：
Cr[i,j]=(Cr[i-1,j]+Cr[i+1,j])/2 ・・・式３３
《Ｇｂ位置の画素》：
Cr[i,j]=(Cr[i,j-1]+Cr[i,j+1])/2 ・・・式３４
ところで、Ｃｒ成分の補間値の算出と共に、ローパスフィルタを掛けると、画像の周期的な構造で発生する色モアレによる偽色を低減することができる。
【００８６】
例えば、このような処理は、Ｒ位置の画素におけるＣｒ成分を以下に示す式３５で算出し、Ｂ位置の画素におけるＣｒ成分の補間値を以下に示す式３６で算出し、Ｇｒ位置の画素におけるＣｒ成分の補間値を以下に示す式３７で算出し、Ｇｂ位置の画素におけるＣｒ成分の補間値を以下に示す式３８で算出することによって実現できる。
《Ｒ位置の画素》：
Cr[i,j]=(36・Cr[i,j]
+6・(Cr[i-2,j]+Cr[i+2,j]+Cr[i,j-2]+Cr[i,j+2])
+1・(Cr[i-2,j-2]+Cr[i+2,j-2]+Cr[i-2,j+2]+Cr[i+2,j+2]))/64 ・・・式３５
《Ｂ位置の画素》：
Cr[i,j]=(16・(Cr[i-1,j-1]+Cr[i+1,j-1]
+Cr[i-1,j+1]+Cr[i+1,j+1]))/64 ・・・式３６
《Ｇｒ位置の画素》：
Cr[i,j]=(24・(Cr[i-1,j]+Cr[i+1,j])
+4・(Cr[i-1,j-2]+Cr[i+1,j-2]+Cr[i-1,j+2]+Cr[i+1,j+2]))/64 ・・・式３７
《Ｇｂ位置の画素》：
Cr[i,j]=(24・(Cr[i,j-1]+Cr[i,j+1])
+4・(Cr[i-2,j-1]+Cr[i+2,j-1]+Cr[i-2,j+1]+Cr[i+2,j+1]))/64 ・・・式３８
なお、Ｇ位置の画素におけるＣｒ成分と、Ｂ位置の画素におけるＣｒ成分とが「０」で初期化されている場合、式３２ないし式３４の演算は、図１４に示すようなフィルタを掛けることによって実現でき、式３５ないし式３８の演算は、図１５に示すようなフィルタを掛けることによって実現できる。
【００８７】
以上説明したようにしてＣｒ成分やＣｂ成分を補間して、色差面が生成されると、ＹＣｂＣｒカラー画像として出力することができる。また、必要に応じて、画像処理部１１は、輝度面と色差面とに対して、表色系変換処理を行って、ＲＧＢ面を生成する（図３Ｓ７）。
《ＲＧＢ面を生成する処理の例》
例えば、画像処理部１１は、表色系変換処理として、以下に示す式３９ないし式４１の演算を行うことによって、ＲＧＢ面の生成を実現する。
【００８８】
R[i,j]=Y[i,j]+(1-β/2)・Cr[i,j]-(β/2)・Cb[i,j] ・・・式３９
G[i,j]=Y[i,j]-(β/2)・Cr[i,j]-(β/2)・Cb[i,j] ・・・式４０
B[i,j]=Y[i,j]-(β/2)・Cr[i,j]+(1-β/2)・Cb[i,j] ・・・式４１
図１６は、第１の実施形態のデータの流れを示す図である。
第１の実施形態では、Ｒ位置の画素およびＢ位置の画素に対しては、９通りの係数パターンのうち、類似性に応じて選択された係数パターンを用いて輝度成分が生成される。したがって、微細なエッジ部に至るまで極めて滑らかな輝度面を生成することができる。
【００８９】
また、第１の実施形態では、処理対象画素と処理対象画素に隣接する画素の中で、様々な方向の類似性を考慮しつつ、最も狭い範囲に位置するＲＧＢの３つの色成分の色情報を用いた加重加算が実現できるため、ベイア配列型画像データに対する「輝度成分生成処理」に相性が良く、滑らかな輝度面を生成することができる。
さらに、第１の実施形態では、「輝度成分生成処理」において、輝度成分を構成するＲＧＢの比率が一定となるように設定された係数パターンが用いられる。そのため、被写体に存在し得ない構造（ベイア配列に起因する構造）が画素毎に変化するような構造となって現れることを抑制することができる。したがって、各画素で輝度値を構成するＲＧＢの比率が不均一であった従来技術と比べ、より正確な輝度面を生成することができる。
【００９０】
また、第１の実施形態では、微細な構造を保持した輝度面にエッジ強調処理を行うことによって、高周波成分の補正を実現しているため、高周波成分の補正が不十分であった従来技術と比べ、より高精細な輝度面が得られる。
さらに、第１の実施形態では、色差面は輝度面とは独立に、ベイア配列型画像データから直接生成されるので、「クロミナンスの値」の生成の際に輝度値が参照されていた従来技術と異なり、偽色の発生要因となる輝度面の周波数特性の影響を受けない。したがって、精度良く色差面を生成することができる。
【００９１】
また、図１６から明らかなように、第１の実施形態では、類似性を示す指標がベイア配列型画像データから直接算出される。したがって、各々の画素における類似方向の分類を、構造的要因に関する高周波成分が一様に破壊されてしまった「ぼかされた輝度値」を参照して行っていた従来技術と異なり、ベイア配列型画像データを直接用いて類似性が判定されることになるため、微細な構造部分における解像性能が高い輝度面を生成することができる。
【００９２】
以上説明したように第１の実施形態によれば、高精度の高画質化が実現される。
また、第１の実施形態では、輝度面を生成する際に類似性が考慮されているので、高周波成分の補正が固定係数のバンドパスフィルタによって実現できる。そのため、従来技術で行われていた各々の画素の類似方向に応じて異なる補正値を用いる補正が不要であり、かつ、補正処理を行うための参照面が少なくて済む。したがって、輝度面の生成をハードウエアで実現する場合、従来技術よりも、ハードウエアの構造を簡略化することができる。なお、第１の実施形態では、図３Ｓ６によってＣｒ成分やＣｂ成分が補間されて色差面が生成されるが、このような色差面には、偽色の発生を更に低減するための補正処理（例えば、メディアンフィルタを掛けるなどの処理）が行われても良い。
【００９３】
《第２の実施形態の説明》
以下、第２の実施形態の動作を説明する。
第２の実施形態と第１の実施形態との相違点は、第１の実施形態で行われていた斜め類似性を示す指標DNの設定（図３Ｓ２に相当する処理）が第２の実施形態では不要である点と、「輝度成分生成処理」が異なる点である。
【００９４】
そこで、第２の実施形態では、「輝度成分生成処理」の動作を説明し、他の動作の説明は省略する。
図１７は、第２の実施形態における画像処理部１１の動作フローチャートであり、特に、「輝度成分生成処理」の動作を示している。
《輝度成分生成処理の説明》
以下、図１７を参照して、「輝度成分生成処理」の説明を行う。
【００９５】
ただし、第２の実施形態の「輝度成分生成処理」では、第１の実施形態と同様に、ベイア配列型画像データのうち、局所的な領域に位置する複数の画素の色情報を加重加算することによって輝度成分が生成される。また、このような「輝度成分生成処理」を実現するために、図８に示す係数パターンのうち、係数パターン１、係数パターン４、係数パターン７、係数パターン１０と、図９に示す係数パターン０とが予め用意されている。
【００９６】
まず、画像処理部１１は、第１の実施形態と同様に、処理対象画素がＧ位置であるか否かを判定し（図１７Ｓ４１）、処理対象画素がＧ位置でない場合（図１７Ｓ４１のＮＯ側）、処理対象画素における縦横類似性を示す指標HV[i,j]が如何なる値であるかを判定する（図１７Ｓ４２）。そして、画像処理部１１は、縦横類似性を示す指標HV[i,j]の値に応じて、以下のようにして輝度成分を生成する。
【００９７】
「HV[i,j]=0」の場合、画像処理部１１は、係数パターン１を用いて輝度成分を生成する（図１７Ｓ４３）。すなわち、第１の実施形態の式１３の演算によって、輝度成分Y[i,j]が生成される。
「HV[i,j]=1」の場合、画像処理部１１は、係数パターン４を用いて輝度成分を生成する（図１７Ｓ４４）。すなわち、第１の実施形態の式１６の演算によって、輝度成分Y[i,j]が生成される。
【００９８】
「HV[i,j]=-1」の場合、画像処理部１１は、係数パターン７を用いて輝度成分を生成する（図１７Ｓ４５）。すなわち、第１の実施形態の式１９の演算によって、輝度成分Y[i,j]が生成される。
また、画像処理部１１は、処理対象画素がＧ位置である場合、処理対象画素の左に隣接する画素に対する縦横類似性を示す指標HV[i-1,j]が「０」であるか否かを判定する（図１７Ｓ４６）。
【００９９】
そして、画像処理部１１は、縦横類似性を示す指標HV[i-1,j]が「０」である場合、第１の実施形態と同様に、係数パターン０を用いて輝度成分Y[i,j]を生成する（図１７Ｓ４７）。すなわち、第１の実施形態の式２２の演算によって、輝度成分Y[i,j]が生成される。
一方、縦横類似性を示す指標HV[i-1,j]が「０」でない場合、画像処理部１１は、第１の実施形態と同様に、係数パターン１０を用いて輝度成分を生成する（図１７Ｓ４８）。すなわち、第１の実施形態の式２３の演算によって、輝度成分Y[i,j]が生成される。
【０１００】
以上説明したように、第２の実施形態では、第１の実施形態で行われていた斜め類似性を示す指標DNの設定が省略され、係数パターンの数が第１の実施形態よりも削減される。
そのため、第２の実施形態によれば、第１の実施形態よりは多少劣るが、様々な方向の微細なエッジ部に至るまで極めて滑らかな輝度面を、第１の実施形態よりも簡略な処理手順で生成することができ、高精度の高画質化が実現される。
【０１０１】
なお、第１の実施形態および第２の実施形態の輝度成分生成処理では、処理対象画素がＧ位置である場合、処理対象画素の左に隣接する画素における方向類似性に応じて選択的にローパスフィルタを掛けるための異なる係数パターンが用意されているが、通常の画像復元処理だけの場合、Ｇ位置の処理対象画素における輝度成分は、このような方向類似性に関係なく、係数パターン１のみを用いることによって生成されても良い。すなわち、第１の実施形態では、図５Ｓ２２ないしＳ２４の処理に代えて、図５Ｓ２４の処理のみが行われても良く、第２の実施形態では、図１７Ｓ４６ないしＳ４８の処理に代えて、図１７Ｓ４８の処理のみが行われても良い。
【０１０２】
《第３の実施形態》
以下、第３の実施形態の動作を説明する。
第３の実施形態では、図１に示すＰＣ１８によって画像処理が実行される。
ただし、ＰＣ１８には、ＣＤ−ＲＯＭ２８などの記録媒体に記録された画像処理プログラム（上述した何れかの実施形態の画像処理部１１と同様にして、画像復元処理を実行する画像処理プログラム）が予めインストールされている。すなわち、ＰＣ１８内の不図示のハードディスクには、このような画像処理プログラムが不図示のＣＰＵによって実行可能な状態に格納されている。
【０１０３】
以下、図１を参照して第３の実施形態の動作を説明する。
まず、電子カメラ１は、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、撮像素子２１で生成されてアナログ信号処理部２２で所定のアナログ信号処理が施された画像信号を、Ａ／Ｄ変換部１０でディジタル化し、画像データとして、画像処理部１１に供給する。画像処理部１１は、このようにして供給された画像データに対して、階調変換やγ補正などの画像処理を行う。このような画像処理が完了した画像データは、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
【０１０４】
次に、電子カメラ１は、操作部２４を介し、操作者によってＰＣ通信モードが選択された状態で、外部インタフェース部１９を介し、ＰＣ１８から画像データの転送が指示されると、その指示に対応する画像データを、メモリカード用インタフェース部１７を介してメモリカード１６から読み出す。そして、このようにして読み出した画像データを、外部インタフェース部１９を介してＰＣ１８に供給する。
【０１０５】
ＰＣ１８内の不図示のＣＰＵは、このようにして画像データが供給されると、前述した画像処理プログラムを実行する。なお、このような画像処理プログラムの実行によって、画像復元処理が行われた画像データは、必要に応じて圧縮処理して不図示のハードディスクに記録されたり、モニタ２６やプリンタ２７で採用されている表色系に変換されても良い。
【０１０６】
以上説明したように、第３の実施形態では、上述した何れかの実施形態と同様の画像復元処理をＰＣ１８によって行うことができ、高精度の高画質化が実現される。
なお、ＰＣ１８内の不図示のＣＰＵは、前述したように画像データが記録されたメモリカード１６が装着された場合、そのメモリカード１６から画像データを読み出し、前述した画像処理プログラムを実行しても良い。
【０１０７】
また、このような画像処理プログラムは、インターネットを介して所定のホームページにアクセスすることによって、ＰＣ１８にダウンロードされても良い。
また、このような画像処理プログラムは、ＰＣ１８で実行せず、インターネット等を介して接続される遠隔地のサーバ等で実行しても良い。すなわち、ＰＣ１８は、電子カメラ１から供給される画像データを、インターネット等を介して、前述した画像処理プログラムが実行可能なサーバ等に転送するだけで、その画像データに、上述した何れかの実施形態と同様の画像復元処理を行うことができる。
【０１０８】
また、上述した各実施形態では、ＲＧＢ表色系で示され、かつ、各々の画素にＲ,Ｇ,Ｂの何れか１つの色成分の色情報が存在する画像に対する処理を説明したが、同様の処理は、他の表色系で示される画像にも適用できる。
また、上述した各実施形態では、色成分が図２に示すように配列された画像データを処理対象とする例を示したが、本発明が適用できる画像データは、図２に示した配列に限定されるものではない。
【図面の簡単な説明】
【０１０９】
【図１】電子カメラの機能ブロック図である。
【図２】ベイア配列型画像データの色成分の配列を示す図である。
【図３】第１の実施形態における画像処理部の動作フローチャートである。
【図４】第１の実施形態における画像処理部の動作フローチャートである。
【図５】第１の実施形態における画像処理部の動作フローチャートである。
【図６】第１の実施形態における画像処理部の動作フローチャートである。
【図７】周辺加算を説明する図である。
【図８】係数パターンの例を示す図である。
【図９】(HV[i,j],DN[i,j])の値に対応する類似性の強い方向を示す図である。
【図１０】係数パターンの例を示す図である。
【図１１】バンドパスフィルタの例を示す図である。
【図１２】係数パターンの例を示す図である。
【図１３】係数パターンの例を示す図である。
【図１４】色差成分を補間する処理を説明する図である。
【図１５】色差成分を補間する処理を説明する図である。
【図１６】第１の実施形態のデータの流れを示す図である。
【図１７】第２の実施形態における画像処理部の動作フローチャートである。
【図１】
0004321064.tif 000002
【図２】
0004321064.tif 000003
【図３】
0004321064.tif 000004
【図４】
0004321064.tif 000005
【図５】
0004321064.tif 000006
【図６】
0004321064.tif 000007
【図７】
0004321064.tif 000008
【図８】
0004321064.tif 000009
【図９】
0004321064.tif 000010
【図１０】
0004321064.tif 000011
【図１１】
0004321064.tif 000012
【図１２】
0004321064.tif 000013
【図１３】
0004321064.tif 000014
【図１４】
0004321064.tif 000015
【図１５】
0004321064.tif 000016
【図１６】
0004321064.tif 000017
【図１７】
0004321064.tif 000018