(57)【要約】本発明は、複数の色成分で表されて１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、第１の画像の色情報の加重加算によって第１の画像の色情報と異なる色成分を生成し、第２の画像として出力するが、零以上の値から成る少なくとも９通りの係数パターンを用意しており、その何れか１つの係数パターンを用いて加重加算する。そのため、画像の高画質化を高精度に行うことが可能である。
2002071761.tif 000002
【特許請求の範囲】
【請求項１】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理部を備え、
前記画像処理部は、零以上の値から成る少なくとも９通りの係数パターンを用意し、その何れか１つの係数パターンを用いて加重加算する
ことを特徴とする画像処理装置。
【請求項２】
請求の範囲１に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記少なくとも９通りの係数パターンの何れを用いるかを選択する
ことを特徴とする画像処理装置。
【請求項３】
請求の範囲１に記載の画像処理装置において、
前記画像処理部は、前記第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算するための係数パターンを少なくとも９通り用意する
ことを特徴とする画像処理装置。
【請求項４】
請求の範囲１に記載の画像処理装置において、
前記画像処理部は、前記第１の画像が、画素密度の高い第１色成分と画素密度の低い第２色成分および第３色成分とで表される場合、該第１色成分を有する画素に対しては、前記少なくとも９通りの係数パターンとは別個に用意された係数パターンを用いて加重加算する
ことを特徴とする画像処理装置。
【請求項５】
請求の範囲４に記載の画像処理装置において、
前記画像処理部は、前記第１色成分を有する画素に隣接する第２色成分または第３色成分を有する画素に対して、複数の方向に対する類似性の強弱を判定し、該類似性の強さが何れの方向にも区別がつかない場合、前記別個に用意された係数パターンとして、第１色成分を有する複数の画素の色情報の加重加算を含む係数パターンを用いる
ことを特徴とする画像処理装置。
【請求項６】
請求の範囲５に記載の画像処理装置において、
前記画像処理部は、前記第１色成分を有する複数の画素の色情報の加重加算を含む係数パターンとして、前記加重加算に際して着目画素の色情報と該画素から最も近くに位置する第１色成分を有する画素の色情報との加重加算を含む係数パターンを用いる
ことを特徴とする画像処理装置。
【請求項７】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理部を備え、
前記画像処理部は、前記第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算する
ことを特徴とする画像処理装置。
【請求項８】
請求の範囲７に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理装置。
【請求項９】
３種類以上の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理部を備え、
前記画像処理部は、前記第１の画像の全ての画素において、前記第１の画像の少なくとも３種類の色成分の色情報を加重加算する
ことを特徴とする画像処理装置。
【請求項１０】
請求の範囲９に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理装置。
【請求項１１】
請求の範囲９に記載の画像処理装置において、
前記画像処理部は、前記第１の画像の着目画素を中心に前記少なくとも３種類の色成分の色情報が含まれる最も狭い領域内の画素の色情報を加重加算する
ことを特徴とする画像処理装置。
【請求項１２】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理部を備え、
前記画像処理部は、前記第１の画像の全ての画素において、前記第１の画像の色情報を常に一定の色成分比率で加重加算する
ことを特徴とする画像処理装置。
【請求項１３】
請求の範囲１２に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理装置。
【請求項１４】
請求の範囲１２に記載の画像処理装置において、
前記画像処理部は、前記第１の画像が、画素密度の高い第１色成分と画素密度の低い第２色成分および第３色成分とで表される場合、第２色成分の色情報と第３色成分の色情報とを同一の色成分比率で加重加算する
ことを特徴とする画像処理装置。
【請求項１５】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、該第１の画像の色情報と異なる色成分を補正し、第２の画像として出力する画像処理部
を備えたことを特徴とする画像処理装置。
【請求項１６】
請求の範囲１５に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理装置。
【請求項１７】
請求の範囲１５に記載の画像処理装置において、
前記画像処理部は、前記予め決められた固定のフィルタ係数として、正および負の値を含むフィルタ係数を用いる
ことを特徴とする画像処理装置。
【請求項１８】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置に生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理部
を備えたことを特徴とする画像処理装置。
【請求項１９】
請求の範囲１８に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記第１の画像の色情報を加重加算することによって、前記輝度成分を生成する
ことを特徴とする画像処理装置。
【請求項２０】
請求の範囲１８に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記第１の画像の色情報を加重加算することによって、前記色差成分を生成する
ことを特徴とする画像処理装置。
【請求項２１】
請求の範囲１９または請求の範囲２０に記載の画像処理装置において、
前記画像処理部は、前記第１の画像が、第１色成分、第２色成分および第３色成分で表される場合、
第１色成分と第２色成分とで構成される第１の類似度成分、
第２色成分と第３色成分とで構成される第２の類似度成分、
第３色成分と第１色成分とで構成される第３の類似度成分、
第１色成分のみで構成される第４の類似度成分、
第２色成分のみで構成される第５の類似度成分、
第３色成分のみで構成される第６の類似度成分
の少なくとも１つの類似度成分を用いて、複数の方向に対する類似度を算出し、該類似度に基づいて、前記複数の方向に対する類似性の強弱を判定する
ことを特徴とする画像処理装置。
【請求項２２】
請求の範囲１８に記載の画像処理装置において、
前記画像処理部は、前記第１の画像の色情報を零以上の可変な係数により加重加算することによって、前記輝度成分を生成する
ことを特徴とする画像処理装置。
【請求項２３】
請求の範囲１、請求の範囲７、請求の範囲９、請求の範囲１２、請求の範囲１５の何れか１つに記載の画像処理装置において、
前記画像処理部は、前記第１の画像と同じ画素位置に対応付けて、前記第２画像の色成分を出力する
ことを特徴とする画像処理装置。
【請求項２４】
請求の範囲１、請求の範囲７、請求の範囲９、請求の範囲１２、請求の範囲１５の何れか１つに記載の画像処理装置において、
前記画像処理部は、前記第１の画像の色情報と異なる色成分として、輝度成分を生成する
ことを特徴とする画像処理装置。
【請求項２５】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、零以上の値から成る少なくとも９通りの係数パターンを用意し、その何れか１つの係数パターンを用いて加重加算する
ことを特徴とする画像処理プログラム。
【請求項２６】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、前記第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算する
ことを特徴とする画像処理プログラム。
【請求項２７】
３種類以上の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、前記第１の画像の全ての画素において、前記第１の画像の少なくとも３種類の色成分の色情報を加重加算する
ことを特徴とする画像処理プログラム。
【請求項２８】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、前記第１の画像の全ての画素において、前記第１の画像の色情報を常に一定の色成分比率で加重加算する
ことを特徴とする画像処理プログラム。
【請求項２９】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、該第１の画像の色情報と異なる色成分を補正し、第２の画像として出力する画像処理手順
をコンピュータで実現させることを特徴とする画像処理プログラム。
【請求項３０】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置に生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理手順
をコンピュータで実現させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
技術分野
本発明は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る画像を高画質化する画像処理装置に関する。また、本発明は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る画像の高画質化をコンピュータで実現させるための画像処理プログラムに関する。
背景技術
電子カメラには、３色（Ｒ，Ｇ，Ｂ：赤・緑・青）のカラーフィルタが所定の位置に配置（例えば、ベイア配列など）された撮像素子によって、カラーの画像データを生成するものがある。
このような電子カメラでは、撮像素子の個々の画素から１つの色成分の色情報しか出力されないので、各々の画素に３つの色成分の色情報を対応付けて高画質化を図る処理が行われている。
従来から、このような処理としては、補間処理が行われている。すなわち、各々の画素毎に、その周辺の画素との方向に関する類似性が判定され、その結果に応じて補間値（各々の画素に欠落する色成分の色情報に相当する値）が算出される。
また、特開２０００−７８５９７号公報（米国特許第６，０７５，８８９号明細書）には、各々の画素に輝度値と「クロミナンスの値」とを生成する処理を行う技術が開示されている。すなわち、撮像素子によって生成された時点の画像が示す表色系とは異なる表色系の色成分を、各々の画素に対応付ける処理を介して、高画質化が図られている。そのとき、各々の画素における輝度値は、水平方向、垂直方向、フラット、斜め方向１、斜め方向２の５通りの類似方向に分類して生成されている。
しかし、上述した公報に開示された技術では、赤色成分の色情報または青色成分の色情報が存在する画素における輝度値の生成の仕方を見れば明らかなように、２つの色成分の色情報を用いて輝度値を生成することを基本としている。そのため、各々の画素で生成される輝度値は、画素毎にＲＧＢの比率が不均一となり、輝度値の生成対象画素が変わる度に、生成される輝度値のＲＧＢの比率が激しく変動することになる。したがって、特に彩色部や平坦部では、被写体に存在し得ない偽構造（ベイア配列に起因する偽構造）が画素毎に変化するような構造となって現れる可能性が高かった。
また、上述した公報に開示された技術では、生成された輝度値は、各々の画素の類似方向に応じて異なる補正値で補正されるが、このような補正値は、構造的要因に関する高周波成分が一様に破壊されてしまった「ぼかされた輝度値」から抽出される。そのため、高周波成分の補正が不十分であり、高周波成分の乏しい補正結果しか得られなかった。
さらに、上述した公報に開示された技術では、広域の色情報を用いて生成された輝度値を参照して色差が生成されるため、局所的な高周波成分が失われ、偽色が発生し易かった。
すなわち、上述した公報に開示された技術では、高精度の高画質化は望めなかった。
発明の開示
本発明は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る画像に対する高精度の高画質化を実現することができる画像処理装置を提供することを目的とする。
また、本発明は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る画像に対する高精度の高画質化をコンピュータによって実現することができる画像処理プログラムを提供することを目的とする。
以下、本発明の内容を請求の範囲毎に分けて説明する。
（１）  本発明の画像処理装置は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理部を備え、前記画像処理部は、零以上の値から成る少なくとも９通りの係数パターンを用意し、その何れか１つの係数パターンを用いて加重加算することを特徴とする。
（２）  本発明の別の画像処理装置は、（１）に記載の画像処理装置において、前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記少なくとも９通りの係数パターンの何れを用いるかを選択することを特徴とする。
（３）  本発明の別の画像処理装置は、（１）に記載の画像処理装置において、前記画像処理部は、前記第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算するための係数パターンを少なくとも９通り用意することを特徴とする。
（４）  本発明の別の画像処理装置は、（１）に記載の画像処理装置において、前記画像処理部は、前記第１の画像が、画素密度の高い第１色成分と画素密度の低い第２色成分および第３色成分とで表される場合、該第１色成分を有する画素に対しては、前記少なくとも９通りの係数パターンとは別個に用意された係数パターンを用いて加重加算することを特徴とする。
（５）  本発明の別の画像処理装置は、（４）に記載の画像処理装置において、前記画像処理部は、前記第１色成分を有する画素に隣接する第２色成分または第３色成分を有する画素に対して、複数の方向に対する類似性の強弱を判定し、該類似性の強さが何れの方向にも区別がつかない場合、前記別個に用意された係数パターンとして、第１色成分を有する複数の画素の色情報の加重加算を含む係数パターンを用いることを特徴とする。
（６）  本発明の別の画像処理装置は、（５）に記載の画像処理装置において、前記画像処理部は、前記第１色成分を有する複数の画素の色情報の加重加算を含む係数パターンとして、前記加重加算に際して着目画素の色情報と該画素から最も近くに位置する第１色成分を有する画素の色情報との加重加算を含む係数パターンを用いることを特徴とする。
（７）  本発明の別の画像処理装置は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理部を備え、前記画像処理部は、前記第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算することを特徴とする。
（８）  本発明の別の画像処理装置は、（７）に記載の画像処理装置において、前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変えることを特徴とする。
（９）  本発明の別の画像処理装置は、３種類以上の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理部を備え、前記画像処理部は、前記第１の画像の全ての画素において、前記第１の画像の少なくとも３種類の色成分の色情報を加重加算することを特徴とする。
（１０）  本発明の別の画像処理装置は、（９）に記載の画像処理装置において、前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変えることを特徴とする。
（１１）  本発明の別の画像処理装置は、（９）に記載の画像処理装置において、前記画像処理部は、前記第１の画像の着目画素を中心に前記少なくとも３種類の色成分の色情報が含まれる最も狭い領域内の画素の色情報を加重加算することを特徴とする。
（１２）  本発明の別の画像処理装置は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理部を備え、前記画像処理部は、前記第１の画像の全ての画素において、前記第１の画像の色情報を常に一定の色成分比率で加重加算することを特徴とする。
（１３）  本発明の別の画像処理装置は、（１２）に記載の画像処理装置において、前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変えることを特徴とする。
（１４）  本発明の別の画像処理装置は、（１２）に記載の画像処理装置において、前記画像処理部は、前記第１の画像が、画素密度の高い第１色成分と画素密度の低い第２色成分および第３色成分とで表される場合、第２色成分の色情報と第３色成分の色情報とを同一の色成分比率で加重加算することを特徴とする。
（１５）  本発明の別の画像処理装置は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、該第１の画像の色情報と異なる色成分を補正し、第２の画像として出力する画像処理部を備えたことを特徴とする。
（１６）  本発明の別の画像処理装置は、（１５）に記載の画像処理装置において、前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変えることを特徴とする。
（１７）  本発明の別の画像処理装置は、（１５）に記載の画像処理装置において、前記画像処理部は、前記予め決められた固定のフィルタ係数として、正および負の値を含むフィルタ係数を用いることを特徴とする。
（１８）  本発明の別の画像処理装置は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置に生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理部を備えたことを特徴とする。
（１９）  本発明の別の画像処理装置は、（１８）に記載の画像処理装置において、前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記第１の画像の色情報を加重加算することによって、前記輝度成分を生成することを特徴とする。
（２０）  本発明の別の画像処理装置は、（１８）に記載の画像処理装置において、前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記第１の画像の色情報を加重加算することによって、前記色差成分を生成することを特徴とする。
（２１）  本発明の別の画像処理装置は、（１９）または（２０）に記載の画像処理装置において、前記画像処理部は、前記第１の画像が、第１色成分、第２色成分および第３色成分で表される場合、
第１色成分と第２色成分とで構成される第１の類似度成分、
第２色成分と第３色成分とで構成される第２の類似度成分、
第３色成分と第１色成分とで構成される第３の類似度成分、
第１色成分のみで構成される第４の類似度成分、
第２色成分のみで構成される第５の類似度成分、
第３色成分のみで構成される第６の類似度成分
の少なくとも１つの類似度成分を用いて、複数の方向に対する類似度を算出し、該類似度に基づいて、前記複数の方向に対する類似性の強弱を判定することを特徴とする。
（２２）  本発明の別の画像処理装置は、（１８）に記載の画像処理装置において、前記画像処理部は、前記第１の画像の色情報を零以上の可変な係数により加重加算することによって、前記輝度成分を生成することを特徴とする。
（２３）  本発明の別の画像処理装置は、（１）、（７）、（９）、（１２）、（１５）の何れか１つに記載の画像処理装置において、前記画像処理部は、前記第１の画像と同じ画素位置に対応付けて、前記第２画像の色成分を出力することを特徴とする。
（２４）  本発明の別の画像処理装置は、（１）、（７）、（９）、（１２）、（１５）の何れか１つに記載の画像処理装置において、前記画像処理部は、前記第１の画像の色情報と異なる色成分として、輝度成分を生成することを特徴とする。
（２５）  本発明の画像処理プログラムは、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理手順をコンピュータで実現させ、前記画像処理手順は、零以上の値から成る少なくとも９通りの係数パターンを用意し、その何れか１つの係数パターンを用いて加重加算することを特徴とする。
（２６）  本発明の別の画像処理プログラムは、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理手順をコンピュータで実現させ、前記画像処理手順は、前記第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算することを特徴とする。
（２７）  本発明の別の画像処理プログラムは、３種類以上の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理手順をコンピュータで実現させ、前記画像処理手順は、前記第１の画像の全ての画素において、前記第１の画像の少なくとも３種類の色成分の色情報を加重加算することを特徴とする。
（２８）  本発明の別の画像処理プログラムは、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理手順をコンピュータで実現させ、前記画像処理手順は、前記第１の画像の全ての画素において、前記第１の画像の色情報を常に一定の色成分比率で加重加算することを特徴とする。
（２９）  本発明の別の画像処理プログラムは、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、該第１の画像の色情報と異なる色成分を補正し、第２の画像として出力する画像処理手順をコンピュータで実現させることを特徴とする。
（３０）  本発明の別の画像処理プログラムは、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置に生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理手順をコンピュータで実現させることを特徴とする。
なお、本発明の更なる目的および特徴については、添付された図と以下の説明に記載される通りである。
発明を実施するための最良の形態
以下、図面に基づいて、本発明の実施形態について詳細を説明する。
ただし、第１の実施形態および第２の実施形態では、本発明の画像処理装置が行う画像の高画質化の機能を備えた電子カメラを用いて説明を行う。
図１は、第１の実施形態および第２の実施形態に対応する電子カメラの機能ブロック図である。
図１において、電子カメラ１は、Ａ／Ｄ変換部１０、画像処理部（例えば、画像処理専用の１チップ・マイクロプロセッサ）１１、制御部１２、メモリ１３、圧縮／伸長部１４、表示画像生成部１５を備えていると共に、メモリカード（カード状のリムーバブルメモリ）１６とのインタフェースを実現するメモリカード用インタフェース部１７を備え、所定のケーブルや無線伝送路を介してＰＣ（パーソナルコンピュータ）１８等の外部装置とのインタフェースを実現する外部インタフェース部１９を備えており、これらはバスを介して相互に接続される。
また、電子カメラ１は、撮影光学系２０、撮像素子２１、アナログ信号処理部２２、タイミング制御部２３を備えており、撮像素子２１には撮影光学系２０で取得された光学像が結像し、撮像素子２１の出力は、アナログ信号処理部２２に接続され、アナログ信号処理部２２の出力は、Ａ／Ｄ変換部１０に接続され、タイミング制御部２３には制御部１２の出力が接続され、タイミンダ制御部２３の出力は、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０、画像処理部１１に接続される。
また、電子カメラ１は、レリーズボタンやモード切り換え用の選択ボタン等に相当する操作部２４およびモニタ２５を備えており、操作部２４の出力は制御部１２に接続され、モニタ２５には表示画像生成部１５の出力が接続される。
ＰＣ１８には、モニタ２６やプリンタ２７等が接続されており、ＣＤ−ＲＯＭ２８に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ１８は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード１６とのインタフェースを実現するメモリカード用インタフェース部（図示省略）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインタフェースを実現する外部インタフェース部（図示省略）を備えている。
図１のような構成の電子カメラ１において、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１２は、タイミング制御部２３を介して、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０に対するタイミング制御を行う。撮像素子２１は、光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部２２で所定の信号処理が行われ、Ａ／Ｄ変換部１０でディジタル化され、画像データとして、画像処理部１１に供給される。
電子カメラ１では、撮像素子２１において、Ｒ，Ｇ，Ｂのカラーフィルタがベイア配列されているので、画像処理部１１に供給される画像データは、ＲＧＢ表色系で示され、各々の画素には、赤色成分（請求の範囲に記載の「第２色成分」または「第３色成分」に対応する。）、緑色成分（請求の範囲に記載の「第１色成分」に対応する。）、青色成分（請求の範囲に記載の「第３色成分」または「第２色成分」に対応する。）のうち、何れか１つの色成分の色情報が存在することになる。そこで、以下では、このような画像データを、「ベイア配列型画像データ」と称する。
画像処理部１１は、このようなベイア配列型画像データ（請求の範囲に記載の「第１の画像」に対応する。）を入力し、ＲＧＢ表色系とは異なるＹＣｂＣｒ表色系の色成分（請求の範囲に記載の「第１の画像の色情報と異なる色成分」に対応する。）である輝度成分（請求の範囲に記載の「輝度成分」に対応する）と、色差成分（請求の範囲に記載の「色差成分」に対応する）とを全ての画素に対して生成する。すなわち、画像処理部１１は、全ての画素に輝度成分が対応付けられて成る輝度面と、全ての画素に色差成分が対応付けられて成る色差面とを生成して、高画質化を実現する。また、画像処理部１１は、必要に応じて、このようにして生成した輝度面および色差面からＲＧＢ面を生成する。以下、上述したような一連の処理を画像復元処理と称する。
なお、画像処理部１１は、このような画像復元処理を行う他に、階調変換や輪郭強調などの画像処理を行う。画像処理が完了した画像データは、必要に応じて、圧縮／伸長部１４で所定の圧縮処理が施され、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
画像処理が完了した画像データは、圧縮処理を施さずにメモリカード１６に記録したり、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。
また、操作部２４を介し、操作者によって再生モードが選択されると、メモリカード１６に記録されている画像データは、メモリカード用インタフェース部１７を介して読み出されて圧縮／伸長部１４で伸長処理が施され、表示画像作成部１５を介してモニタ２５に表示される。
なお、伸長処理が施された画像データは、モニタ２５に表示せず、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。
また、画像復元処理によって生成されるＲＧＢ面を、モニタ２５、２６やプリンタ２７で採用されている表色系に変換する処理については、公知の技術によって実現できるため、説明を省略する。
図２は、ベイア配列型画像データの色成分の配列を示す図である。
ただし、図２では、Ｒ、Ｇ、Ｂを用いて色成分の種類を示し、座標［Ｘ，Ｙ］の値を用いて各々の色成分に対応する画素の位置を示している。
以下では、ベイア配列におけるＲのカラーフィルタが付いた画素位置をＲ位置、Ｇのカラーフィルタが付いた画素位置をＧ位置、Ｂのカラーフィルタが付いた画素位置をＢ位置と称する。
特に、図２（１）は、Ｒ位置が処理対象画素（請求の範囲に記載の「着目画素」に対応する。）に対応する場合を示し、図２（２）は、Ｂ位置が処理対象画素に対応する場合を示し、図２（３）は、Ｇ位置が処理対象画素に対応する場合を示している。また、以下では、Ｇ位置の画素のうち、横方向に赤色成分が存在する画素を「Ｇｒ位置の画素」と称し、横方向に青色成分が存在する画素を「Ｇｂ位置の画素」と称する。
なお、後述する演算式では、各々の画素における色情報を緑色成分と他の色成分とで区別する場合、図２のＲ、ＢをＺに置き換えて、Ｒ位置またはＢ位置の色情報をＺ［ｉ，ｊ］のように表現し、Ｇ位置の色情報をＧ［ｉ，ｊ］のように表現する。また、各々の画素における色情報を色成分で区別しない場合、図２のＲ、Ｇ、ＢをＡに置き換えて、任意の画素の色情報をＡ［ｉ，ｊ］のように表現する。
《第１の実施形態の説明》
図３ないし図６は、第１の実施形態における画像処理部１１の動作フローチャートである。
ただし、図３ないし図６は、画像処理部１１が行う画像処理のうち、画像復元処理の動作を示している。図３は、画像復元処理のおおまかな動作を示し、図４および図５は、画像復元処理に含まれる「輝度成分生成処理」の動作を示し、図６は、画像復元処理に含まれる「色差成分生成処理」の動作を示している。
以下、第１の実施形態を説明するが、以下では、画像処理部１１が行う画像処理のうち、画像復元処理の動作を説明し、他の動作の説明は省略する。
まず、画像処理部１１は、ベイア配列型画像データを用い、緑色成分が欠落する画素に対して、縦方向および横方向に対する類似性（以下、「縦横類似性」と称する。）を判定し、このような判定結果として、縦横類似性を示す指標ＨＶを設定する（図３Ｓ１）。
《縦横類似性を示す指標ＨＶを設定する処理の例》
例えば、画像処理部１１は、縦横類似性を示す指標ＨＶを設定する処理を以下のようにして実現する。
まず、画像処理部１１は、緑色成分が欠落する画素に対し、以下に示す式１および式２によって定義される縦方向の同色間類似度Ｃｖ０および横方向の同色間類似度Ｃｈ０を算出する。また、画像処理部１１は、緑色成分が欠落する画素に対し、以下に示す式３および式４によって定義される縦方向の異色間類似度ＣｖＮ０および横方向の異色間類似度ＣｈＮ０を算出する。
《同色間類似度》：
2002071761.tif 000003
《異色間類似度》：
2002071761.tif 000004
式１ないし式４によって算出される値は、そのまま、座標［ｉ，ｊ］に位置する画素の縦方向および横方向に対する同色間類似度および異色間類似度とすることができるが、ここでは、その画素だけでなく、その画素の周辺に位置する画素に対しても同様の値を算出し、各々の値を方向別に加重加算（以下、「周辺加算」と称する）して、緑色成分が欠落する画素の縦方向および横方向に対する最終的な同色間類似度および異色間類似度を算出する例を示す。
すなわち、画像処理部１１は、式１ないし式４に基づき、座標［ｉ，ｊ］，［ｉ−１，ｊ−１］，［ｉ＋１，ｊ−１］，［ｉ−１，ｊ＋１］，［ｉ＋１，ｊ＋１］，［ｉ，ｊ−２］，［ｉ，ｊ＋２］，［ｉ−２，ｊ］，［ｉ＋２，ｊ］に位置する画素に対して演算を行う。そして、その演算によって得られた値に対して、以下の式５ないし式８に示す周辺加算を行って、縦方向に対する同色間類似度Ｃｖ［ｉ，ｊ］、横方向に対する同色間類似度Ｃｈ［ｉ，ｊ］、縦方向に対する異色間類似度ＣｖＮ［ｉ，ｊ］、横方向に対する異色間類似度ＣｈＮ［ｉ，ｊ］を算出する。
ただし、式５ないし式８によって算出される各々の類似度は、値が小さい程、類似性が強いことを示す。また、式５ないし式８は、図７に示すようにして周辺加算を行うことに相当する。
《同色間類似度》：
2002071761.tif 000005
《異色間類似度》：
2002071761.tif 000006
2002071761.tif 000007
例えば、図２（１）のように、座標［ｉ，ｊ］に位置する画素がＲ位置の場合、同色間類似度Ｃｖ０，Ｃｈ０は、緑色成分の色情報のみから成るＧＧ間類似度成分（請求の範囲に記載の「第４の類似度成分」に対応する。）と青色成分の色情報のみから成るＢＢ間類似度成分（請求の範囲に記載の「第６の類似度成分」または「第５の類似度成分」に対応する。）とを用いて算出されることになるが、周辺加算後に得られる同色間類似度Ｃｖ，Ｃｈには、ＧＧ間類似度成分とＢＢ間類似度成分との他に、赤色成分の色情報のみから成るＲＲ間類似度成分（請求の範囲に記載の「第５の類似度成分」または「第６の類似度成分」に対応する。）が含まれることになる。また、座標［ｉ，ｊ］に位置する画素がＲ位置の場合、異色間類似度ＣｖＮ０，ＣｈＮ０は、緑色成分の色情報と赤色成分の色情報とから成るＧＲ間類似度成分（請求の範囲に記載の「第１の類似度成分」または「第３の類似度成分」に対応する。）を用いて算出されることになるが、周辺加算後に得られる異色間類似度ＣｖＮ，ＣｈＮには、ＧＲ間類似度成分の他に、緑色成分の色情報と青色成分の色情報とから成るＧＢ間類似度成分（請求の範囲に記載の「第３の類似度成分」または「第１の類似度成分」に対応する。）が含まれることになる。
すなわち、周辺加算によれば、複数の色成分を考慮し、かつ、周辺の画素との連続性を考慮しつつ類似度が算出されるため、類似度の精度が高められる。
ところで、式３および式４において、絶対値でくくられる項は、隣接する２つの画素の色情報で構成される。そのため、式３および式４によって算出される異色間類似度には、一画素ピッチで変化するナイキスト周波数レベルの微細構造における類似性判定を可能にする機能が備わっていることになる。また、このような異色間類似度は、異なる色成分の色情報が全て同一の輝度情報を表していると仮定して算出されるため、異色間類似度を用いた類似性の強弱の判定は、無彩色部において、信頼性が高い。
一方、同色間類似度を用いた類似性の強弱の判定は、彩色部・無彩色部ともに全般的に信頼性が高いが、画像の構造が細かい部分では、異色間類似度を用いた場合に比べて信頼性が劣る。
したがって、画像全体に対して信頼性の高い類似性の判定を行うには、画像全体を、無彩色部と彩色部に分け、各々の部分に適した類似度を用いる方法が望ましい。
処理対象画素の近傍の画像が無彩色部であるか否かの判定には、局所的な色彩の有無を示す色指標が必要となるが、このような色指標として、局所的な色差情報が考えられる。上述したように算出される異色間類似度には、類似性の強弱と同時に局所的な色差情報が反映されているので、色指標として、異色間類似度を直接利用することが可能である。
ただし、異色間類似度は、値が小さい程、類似性が強いことを示すので、縦方向および横方向に対する異色間類似度が共に大きな値である場合には、無彩色部で縦横両方向に対する類似性が弱いか、または、処理対象画素の近傍の画像が彩色部であることを意味する。逆に、縦方向と横方向との少なくとも１つの方向に対する異色間類似度が比較的小さな値であれば、処理対象画素の近傍の画像が無彩色部であり、類似性の強い方向が存在していることを意味する。
画像処理部１１は、閾値ＴｈＮｖ，ＴｈＮｈについて、
ＣｖＮ［ｉ，ｊ］≦ＴｈＮｖまたはＣｈＮ［ｉ，ｊ］≦ＴｈＮｈ…条件１
が成り立つ場合、処理対象画素の近傍の画像が無彩色部であると判断し、条件１が成り立たない場合、処理対象画素の近傍の画像が彩色部であると判断する。ただし、閾値ＴｈＮｖ，ＴｈＮｈは、階調数が２５６のとき１０程度以下の値をとる。
そして、画像処理部１１は、処理対象画素の近傍の画像が無彩色部である場合、閾値Ｔｈ０について、
｜ＣｖＮ［ｉ，ｊ］−ＣｈＮ［ｉ，ｊ］｜≦Ｔｈ０…条件２
が成り立つか否かを判定する。
条件２は、縦方向の異色間類似度ＣｖＮ［ｉ，ｊ］と横方向の異色間類似度ＣｈＮ［ｉ，ｊ］とが同程度であるか否かを判定するための条件であり、閾値Ｔｈ０は、縦方向の異色間類似度ＣｖＮ［ｉ，ｊ］と横方向の異色間類似度ＣｈＮ［ｉ，ｊ］との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たす。そのため、ノイズの多いカラー画像に対しては、閾値Ｔｈ０の値を高く設定することによって、類似性の判定の精度が更に高められる。
画像処理部１１は、条件２が成り立つ場合、処理対象画素が縦横両方向に対して類似性が弱い（または、強い）と判断し、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に「０」を設定する。一方、画像処理部１１は、条件２が成り立たない場合、
ＣｖＮ［ｉ，ｊ］＜ＣｈＮ［ｉ，ｊ］…条件３
が成り立つか否かを判定する。そして、画像処理部１１は、条件３が成り立つ場合、処理対象画素が縦方向に対して類似性が強いと判断し、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に「１」を設定する。一方、画像処理部１１は、条件３が成り立たない場合、処理対象画素が横方向に対して類似性が強いと判断し、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に「−１」を設定する。
また、画像処理部１１は、処理対象画素の近傍の画像が彩色部である場合、閾値Ｔｈ１について、
｜Ｃｖ［ｉ，ｊ］−Ｃｈ［ｉ，ｊ］｜≦Ｔｈ１…条件４
が成り立つか否かを判定する。
条件４は、縦方向の同色間類似度Ｃｖ［ｉ，ｊ］と横方向の同色間類似度Ｃｈ［ｉ，ｊ］とが同程度であるか否かを判定するための条件であり、閾値Ｔｈ１は、縦方向の同色間類似度Ｃｖ［ｉ，ｊ］と横方向の同色間類似度Ｃｈ［ｉ，ｊ］との差異が微少である場合、ノイズの影響によって一方の類似性が強いと誤判定されることを避ける役割を果たし、閾値Ｔｈ０と同様に、ノイズの多いカラー画像に対して値を高く設定することによって、類似性の判定の精度が高められる。
画像処理部１１は、条件４が成り立つ場合、処理対象画素が縦横両方向に対して類似性が弱い（または、強い）と判断し、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に「０」を設定する。一方、画像処理部１１は、条件４が成り立たない場合、
Ｃｖ［ｉ，ｊ］＜Ｃｈ［ｉ，ｊ］…条件５
が成り立つか否かを判定する。そして、画像処理部１１は、条件５が成り立つ場合、処理対象画素が縦方向に対して類似性が強いと判断し、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に「１」を設定する。一方、画像処理部１１は、条件５が成り立たない場合、処理対象画素が横方向に対して類似性が強いと判断し、縦横類似性を示す指標ＨＶ［ｉ，ｊ］に「−１」を設定する。
以上説明したようにして、縦横類似性を示す指標ＨＶを設定する処理を終了すると、画像処理部１１は、ベイア配列型画像データを用い、緑色成分が欠落する画素に対して、斜め４５度方向および斜め１３５度方向に対する類似性（以下、「斜め類似性」と称する。）を判定し、このような判定結果として、斜め類似性を示す指標ＤＮを設定する（図３Ｓ２）。
《斜め類似性を示す指標ＤＮを設定する処理の例》
例えば、画像処理部１１は、斜め類似性を示す指標ＤＮを設定する処理を以下のようにして実現する。
まず、画像処理部１１は、緑色成分が欠落する画素に対し、以下に示す式９および式１０によって定義される斜め４５度方向の類似度Ｃ４５＿０および斜め１３５度方向の類似度Ｃ３５＿０を算出する。
2002071761.tif 000008
例えば、座標［ｉ，ｊ］に位置する画素がＲ位置の場合、斜め４５度方向の類似度Ｃ４５＿０および斜め１３５度方向の類似度Ｃ３５＿０は、順に、ＧＧ間類似度成分、ＢＢ間類似度成分、緑色成分の色情報と赤色成分の色情報とから成るＲＢ間類似度成分（請求の範囲に記載の「第２の類似度成分」に対応する。）で構成される。
そして、画像処理部１１は、以下の式１１および式１２に示すような周辺加算を行って、斜め４５度方向に対する類似度Ｃ４５［ｉ，ｊ］および斜め１３５度方向に対する類似度Ｃ１３５［ｉ，ｊ］を算出する。ただし、式１１および式１２は、図７に示すようにして周辺加算を行うことに相当する。
2002071761.tif 000009
2002071761.tif 000010
すなわち、周辺加算によれば、縦横方向の場合と同様に、複数の色成分が考慮され、かつ、周辺の画素との連続性が考慮されるため、類似度の精度が高められる。
次に、画像処理部１１は、閾値Ｔｈ２について、
｜Ｃ４５［ｉ，ｊ］−Ｃ１３５［ｉ，ｊ］｜≦Ｔｈ２…条件６
が成り立つか否かを判定する。そして、画像処理部１１は、条件６が成り立つ場合、処理対象画素が斜め方向に対して類似性が弱い（または、強い）と判断し、斜め類似性を示す指標ＤＮ［ｉ，ｊ］に「０」を設定する。一方、画像処理部１１は、条件６が成り立たない場合、
Ｃ４５［ｉ，ｊ］＜Ｃ１３５［ｉ，ｊ］…条件７
が成り立つか否かを判定する。
そして、画像処理部１１は、条件７が成り立つ場合、処理対象画素が斜め４５度方向に対して類似性が強いと判断し、斜め類似性を示す指標ＤＮ［ｉ，ｊ］に「１」を設定する。一方、画像処理部１１は、条件７が成り立たない場合、処理対象画素が斜め１３５度方向に対して類似性が強いと判断し、斜め類似性を示す指標ＤＮ［ｉ，ｊ］に「−１」を設定する。
以上説明したようにして斜め類似性を示す指標ＤＮを設定する処理を終了すると、画像処理部１１は、各々の画素に対して、図４および図５に示す「輝度成分生成処理」を行って輝度面を生成する（図３Ｓ３）。
第１の実施形態の「輝度成分生成処理」では、ベイア配列型画像データのうち、局所的な領域に位置する複数の画素の色情報を加重加算することによって輝度成分を生成する例を示す。ただし、このような加重加算に用いられる色情報は、処理対象画素における類似性の強弱に基づいて決められ、加重加算の係数は、輝度成分を構成するＲＧＢの比率が一定となるように設定される。第１の実施形態では、このような「輝度成分生成処理」を実現するため、類似性の強弱に応じて係数が変えられた複数種類の係数パターン（請求の範囲に記載の「少なくとも９通りの係数パターン」に対応する）が用意されている。
図８は、輝度成分を生成する際に用いる係数パターンの例を示す図である。
ただし、図８に示すα，β，ｕ１，ｕ２，ｖ１，ｖ２，ｓ１，ｓ２，ｔ１，ｔ２は、全て零以上の値であり、以下のような条件を満たす。
α＋β＝１，ｕ１＋ｕ２＝１，ｖ１＋ｖ２＝１，ｓ１＋ｓ２＝１，ｔ１＋ｔ２＝１
図８に示す係数パターンは、輝度成分を構成するＲＧＢの比率が「β／２：α：β／２」となるような値が設定されており、赤色成分の色情報と青色成分の色情報とが同一の比率で加重加算される。すなわち、輝度成分Ｙは、
Ｙ＝α・Ｇ＋β・（Ｒ＋Ｂ）／２
の関係にある。そのため、Ｇｒ位置の画素とＧｂ位置の画素とで共通の係数パターンを用いることができ、Ｒ位置の画素とＢ位置の画素とで共通の係数パターンを用いることができる。
一般的に好ましい定数の設定としては、以下のような例が挙げられる。
ｕ１≒ｕ２，ｖ１≒ｖ２，ｓ１≒ｓ２，ｔ１≒ｔ２
（α，β）＝（１／３，２／３），（４／９，５／９），（５／１１，６／１１），（１／２，１／２），（５／９，４／９），（３／５，２／５），（２／３，１／３）
なお、輝度成分を構成するＲＧＢの比率は、「β／２：α：β／２」に限定されず、「α：β：γ」（α＋β＋γ＝１，α≧０，β≧０，γ≧０）などであっても良い。例えば、α＝０．３、β＝０．６、γ＝０．１の値をとる。ただし、ＲＧＢの比率を「α：β：γ」とする場合、Ｇｒ位置の画素とＧｂ位置の画素とで個別に係数パターンを設定する必要があり、Ｒ位置の画素とＢ位置の画素とで個別に係数パターンを設定する必要がある。
《輝度成分生成処理の説明》
ここで、図４および図５を参照して、「輝度成分生成処理」の説明を行う。
まず、画像処理部１１は、処理対象画素がＧ位置であるか否かを判定する（図４Ｓ１１）。
処理対象画素がＧ位置でない場合（図４Ｓ１１のＮＯ側）、画像処理部１１は、処理対象画素における縦横類似性を示す指標ＨＶ［ｉ，ｊ］と斜め類似性を示す指標ＤＮ［ｉ，ｊ］とが如何なる値であるかを判定し（図４Ｓ１２）、処理対象画素の類似性の強さを、以下に示すｃａｓｅ１ないしｃａｓｅ９の何れかに分類する。
ｃａｓｅ１：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（０，０）：全ての方向の類似性が強い、または、全ての方向の類似性が弱い（類似性の強い方向が不明である）。
ｃａｓｅ２：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（０，１）：斜め４５度方向の類似性が強い。
ｃａｓｅ３：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（０，−１）：斜め１３５度方向の類似性が強い。
ｃａｓｅ４：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（１，０）：縦方向の類似性が強い。
ｃａｓｅ５：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（１，１）：縦および斜め４５度方向の類似性が強い。
ｃａｓｅ６：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（１，−１）：縦および斜め１３５度方向の類似性が強い。
ｃａｓｅ７：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（−１，０）：横方向の類似性が強い。
ｃａｓｅ８：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（−１，１）：横および斜め４５度方向の類似性が強い。
ｃａｓｅ９：（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）＝（−１，−１）：横および斜め１３５度方向の類似性が強い。
図９は、（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）の値に対応する類似性の強い方向を示す図である。
画像処理部１１は、上述した判定結果に応じて、以下のようにして輝度成分を生成する。
処理対象画素がｃａｓｅ１に分類される場合、画像処理部１１は、係数パターン１を用いて輝度成分を生成する（図４Ｓ１３）。
処理対象画素がｃａｓｅ２に分類される場合、画像処理部１１は、係数パターン２を用いて輝度成分を生成する（図４Ｓ１４）。
処理対象画素がｃａｓｅ３に分類される場合、画像処理部１１は、係数パターン３を用いて輝度成分を生成する（図４Ｓ１５）。
処理対象画素がｃａｓｅ４に分類される場合、画像処理部１１は、係数パターン４を用いて輝度成分を生成する（図４Ｓ１６）。
処理対象画素がｃａｓｅ５に分類される場合、画像処理部１１は、係数パターン５を用いて輝度成分を生成する（図４Ｓ１７）。
処理対象画素がｃａｓｅ６に分類される場合、画像処理部１１は、係数パターン６を用いて輝度成分を生成する（図４Ｓ１８）。
処理対象画素がｃａｓｅ７に分類される場合、画像処理部１１は、係数パターン７を用いて輝度成分を生成する（図４Ｓ１９）。
処理対象画素がｃａｓｅ８に分類される場合、画像処理部１１は、係数パターン８を用いて輝度成分を生成する（図４Ｓ２０）。
処理対象画素がｃａｓｅ９に分類される場合、画像処理部１１は、係数パターン９を用いて輝度成分を生成する（図４Ｓ２１）。
すなわち、輝度成分Ｙ［ｉ，ｊ］は、係数パターン１ないし係数パターン９の９通りの係数パターンのうち、ｃａｓｅ１ないしｃａｓｅ９に応じて選択された係数パターンを用いて、以下の式１３ないし式２１の何れかの演算によって生成されることになる。
係数パターン１：
2002071761.tif 000011
係数パターン２：
2002071761.tif 000012
係数パターン３：
2002071761.tif 000013
係数パターン４：
2002071761.tif 000014
係数パターン５：
2002071761.tif 000015
2002071761.tif 000016
係数パターン６：
2002071761.tif 000017
係数パターン７：
2002071761.tif 000018
係数パターン８：
2002071761.tif 000019
係数パターン９：
2002071761.tif 000020
以上説明したような各係数パターンでは、処理対象画素の色情報と処理対象画素に隣接する画素（斜め方向に隣接する画素を含む）の色情報とを加重加算することができ、類似性の違いにより加重加算の対象となる色情報の位置および係数の値が変えられており、係数のとり方によっては、ＲＧＢの３つの色成分の色情報が含まれる最も狭い領域内の画素の色情報を加重加算することができる。
一方、処理対象画素がＧ位置である場合、処理対象画素の輝度成分は、上述したような類似性の強さに関係なく、図８に示した係数パターン１０（請求の範囲に記載の「少なくとも９通りの係数パターンとは異なる係数パターン」に対応する。）を用いることによって生成することが可能である。しかし、処理対象画素がＧ位置であり、かつ、処理対象画素の左に隣接する画素に対する縦横類似性を示す指標ＨＶ［ｉ−１，ｊ］と斜め類似性を示す指標ＤＮ［ｉ−１，ｊ］とが共に「０」である場合、係数パターン１０を用いて輝度成分を生成すると、実際には存在しない目障りなチェックパターン状の偽構造が生じることがある。そこで、第１の実施形態では、このような偽構造の発生を抑制するため、輝度成分を生成する際に、処理対象画素の緑色成分の色情報と処理対象画素から最も近くに位置する緑色成分の色情報との加重加算を実現しつつ、選択的に緑色成分にローパスフィルタを掛ける例を示す。
すなわち、画像処理部１１は、図４Ｓ１１の判定によって、処理対象画素がＧ位置であると認識した場合、処理対象画素の左に隣接する画素に対する縦横類似性を示す指標ＨＶ［ｉ−１，ｊ］と斜め類似性を示す指標ＤＮ［ｉ−１，ｊ］とが共に「０」であるか否かを判定する（図５Ｓ２２）。
そして、縦横類似性を示す指標ＨＶ［ｉ−１，ｊ］と斜め類似性を示す指標ＤＮ［ｉ−１，ｊ］とが共に「０」である場合、画像処理部１１は、以下の式２２を演算することによって、緑色成分にローパスフィルタを掛けた図１０の係数パターン０（請求の範囲に記載の「第１色成分を有する複数の画素の色情報の加重加算を実現する係数パターン」に対応する。）を用いて輝度成分Ｙ［ｉ，ｊ］を生成する（図５Ｓ２３）。
2002071761.tif 000021
ただし、式２２において、α，β，ｄ１，ｄ２，ｄ３は、零以上の値であり、ｄ１＋ｄ２＋ｄ３＝１の関係を満たし、ｄ１，ｄ２，ｄ３の値を可変することによって、ローパスフィルタの強弱の設定が可能である。例えば、強いローパスフィルタを掛ける場合のｄ１，ｄ２，ｄ３の値としては、「１，６，１」などが考えられ、弱いローパスフィルタを掛ける場合のｄ１，ｄ２，ｄ３の値としては、「１，１４，１」などが考えられる。
一方、縦横類似性を示す指標ＨＶ［ｉ−１，ｊ］と斜め類似性を示す指標ＤＮ［ｉ−１，ｊ］との少なくとも一方が「０」でない場合（図５Ｓ２２のＮＯ側）、画像処理部１１は、係数パターン１０を用いて輝度成分を生成する（図５Ｓ２４）。すなわち、以下の式２３の演算によって、輝度成分Ｙ［ｉ，ｊ］が生成される。
2002071761.tif 000022
以上説明したような「輝度成分生成処理」を行い、輝度面を生成すると、画像処理部１１は、その輝度面に対してエッジ強調処理（請求の範囲に記載の「予め決められた固定のフィルタ係数によるフィルタ処理」に対応する）を行って、輝度面を補正する（図３Ｓ４）。
《輝度面を補正する処理の例》
例えば、画像処理部１１は、図１１に示すように、フィルタ係数として正および負の値を含むバンドパスフィルタを輝度面に掛けた結果を、元の輝度面に加算することによって、エッジ強調処理を実現する。すなわち、輝度面の補正は、以下の式２４および式２５の演算が行われることによって実現される。
2002071761.tif 000023
ただし、式２５において、Ｋは、エッジ強調の強さを可変するための係数であり、１オーダーの値をとる。
なお、このように生成された輝度面は、モノクロ画像として出力することができる。
次に、画像処理部１１は、Ｒ位置の画素およびＢ位置の画素に対して、図６に示す「色差成分生成処理」を行って、Ｒ位置の画素にＣｒ成分を生成し、Ｂ位置の画素にＣｂ成分を生成する（図３Ｓ５）。
第１の実施形態の「色差成分生成処理」では、ベイア配列型画像データのうち、局所的な領域に位置する複数の画素の色情報を直接加重加算することによって色差成分が生成される。ただし、このような加重加算に用いられる色情報や加重加算の係数は、処理対象画素における類似性の強弱に基づいて決められる。第１の実施形態では、このような「色差成分生成処理」を実現するために、係数パターンが予め用意されている。
図１２および図１３は、色差成分を生成する際に用いる係数パターンの例を示す図である。
なお、図１３に示す係数パターンは、図１２に示す係数パターンに比べ、偽色の発生を抑制する効果が大きい。
《色差成分生成処理の説明》
ここで、図６を参照して、「色差成分生成処理」の説明を行う。
まず、画像処理部１１は、処理対象画素（Ｒ位置の画素やＢ位置の画素）における縦横類似性を示す指標ＨＶ［ｉ，ｊ］が如何なる値であるかを判定する（図６Ｓ３１）。そして、画像処理部１１は、縦横類似性を示す指標ＨＶ［ｉ，ｊ］の値に応じて、以下のようにして色差成分を生成する。
「ＨＶ［ｉ，ｊ］＝１」の場合、画像処理部１１は、係数パターン１１を用いて色差成分を生成する（図６Ｓ３２）。
「ＨＶ［ｉ，ｊ］＝−１」の場合、画像処理部１１は、係数パターン１２を用いて色差成分を生成する（図６Ｓ３３）。
「ＨＶ［ｉ，ｊ］＝０」の場合、画像処理部１１は、係数パターン１３を用いて色差成分を生成する（図６Ｓ３４）。
すなわち、図１２に示す係数パターンを用いる場合、Ｒ位置の処理対象画素では、ＨＶ［ｉ，ｊ］の値に応じて、Ｃｒ成分Ｃｒ［ｉ，ｊ］が、以下の式２６ないし式２８の演算によって生成されることになる。また、図１３に示す係数パターンを用いる場合、Ｒ位置の処理対象画素では、ＨＶ［ｉ，ｊ］の値に応じて、Ｃｒ成分Ｃｒ［ｉ，ｊ］が、以下の式２９ないし式３１の演算によって生成されることになる。
《図１２に示す係数パターンを用いる場合》：
2002071761.tif 000024
《図１３に示す係数パターンを用いる場合》：
2002071761.tif 000025
また、処理対象画素がＢ位置である場合、Ｃｂ成分Ｃｂ［ｉ，ｊ］は、式２６ないし式３１と同様に生成されることになる。
以上説明したような「色差成分生成処理」を、Ｒ位置の全ての画素およびＢ位置の全ての画素に対して行うと、画像処理部１１は、Ｃｒ成分やＣｂ成分が欠落する画素に、Ｃｒ成分やＣｂ成分を補間して色差面を生成する（図３Ｓ６）。ただし、Ｃｒ成分を補間する処理とＣｂ成分を補間する処理とは、同様に行えるため、ここでは、Ｃｒ成分を補間する処理の説明を行い、Ｃｂ成分を補間する処理の説明は省略する。
《Ｃｒ成分を補間する処理の例》
例えば、画像処理部１１は、Ｃｒ成分が欠落する画素におけるＣｒ成分として、その画素の周辺に位置する複数のＲ位置の画素におけるＣｒ成分の平均値を算出することによって、Ｃｒ成分の補間を実現する。すなわち、Ｂ位置の画素に対しては、以下に示す式３２によってＣｒ成分の補間値が算出される。また、Ｇｒ位置の画素に対しては、以下に示す式３３によってＣｒ成分の補間値が算出され、Ｇｂ位置の画素に対しては、以下に示す式３４によってＣｒ成分の補間値が算出される。
《Ｂ位置の画素》：
2002071761.tif 000026
《Ｇｒ位置の画素》：
2002071761.tif 000027
《Ｇｂ位置の画素》：
2002071761.tif 000028
ところで、Ｃｒ成分の補間値の算出と共に、ローパスフィルタを掛けると、画像の周期的な構造で発生する色モアレによる偽色を低減することができる。
例えば、このような処理は、Ｒ位置の画素におけるＣｒ成分を以下に示す式３５で算出し、Ｂ位置の画素におけるＣｒ成分の補間値を以下に示す式３６で算出し、Ｇｒ位置の画素におけるＣｒ成分の補間値を以下に示す式３７で算出し、Ｇｂ位置の画素におけるＣｒ成分の補間値を以下に示す式３８で算出することによって実現できる。
《Ｒ位置の画素》：
2002071761.tif 000029
《Ｂ位置の画素》：
2002071761.tif 000030
《Ｇｒ位置の画素》：
2002071761.tif 000031
《Ｇｂ位置の画素》：
2002071761.tif 000032
なお、Ｇ位置の画素におけるＣｒ成分と、Ｂ位置の画素におけるＣｒ成分とが「０」で初期化されている場合、式３２ないし式３４の演算は、図１４に示すようなフィルタを掛けることによって実現でき、式３５ないし式３８の演算は、図１５に示すようなフィルタを掛けることによって実現できる。
以上説明したようにしてＣｒ成分やＣｂ成分を補間して、色差面が生成されると、ＹＣｂＣｒカラー画像として出力することができる。また、必要に応じて、画像処理部１１は、輝度面と色差面とに対して、表色系変換処理を行って、ＲＧＢ面を生成する（図３Ｓ７）。
《ＲＧＢ面を生成する処理の例》
例えば、画像処理部１１は、表色系変換処理として、以下に示す式３９ないし式４１の演算を行うことによって、ＲＧＢ面の生成を実現する。
2002071761.tif 000033
図１６は、第１の実施形態のデータの流れを示す図である。
第１の実施形態では、Ｒ位置の画素およびＢ位置の画素に対しては、９通りの係数パターンのうち、類似性に応じて選択された係数パターンを用いて輝度成分が生成される。したがって、微細なエッジ部に至るまで極めて滑らかな輝度面を生成することができる。
また、第１の実施形態では、処理対象画素と処理対象画素に隣接する画素の中で、様々な方向の類似性を考慮しつつ、最も狭い範囲に位置するＲＧＢの３つの色成分の色情報を用いた加重加算が実現できるため、ベイア配列型画像データに対する「輝度成分生成処理」に相性が良く、滑らかな輝度面を生成することができる。
さらに、第１の実施形態では、「輝度成分生成処理」において、輝度成分を構成するＲＧＢの比率が一定となるように設定された係数パターンが用いられる。そのため、被写体に存在し得ない構造（ベイア配列に起因する構造）が画素毎に変化するような構造となって現れることを抑制することができる。したがって、各画素で輝度値を構成するＲＧＢの比率が不均一であった従来技術と比べ、より正確な輝度面を生成することができる。
また、第１の実施形態では、微細な構造を保持した輝度面にエッジ強調処理を行うことによって、高周波成分の補正を実現しているため、高周波成分の補正が不十分であった従来技術と比べ、より高精細な輝度面が得られる。
さらに、第１の実施形態では、色差面は輝度面とは独立に、ベイア配列型画像データから直接生成されるので、「クロミナンスの値」の生成の際に輝度値が参照されていた従来技術と異なり、偽色の発生要因となる輝度面の周波数特性の影響を受けない。したがって、精度良く色差面を生成することができる。
また、図１６から明らかなように、第１の実施形態では、類似性を示す指標がベイア配列型画像データから直接算出される。したがって、各々の画素における類似方向の分類を、構造的要因に関する高周波成分が一様に破壊されてしまった「ぼかされた輝度値」を参照して行っていた従来技術と異なり、ベイア配列型画像データを直接用いて類似性が判定されることになるため、微細な構造部分における解像性能が高い輝度面を生成することができる。
以上説明したように第１の実施形態によれば、高精度の高画質化が実現される。
また、第１の実施形態では、輝度面を生成する際に類似性が考慮されているので、高周波成分の補正が固定係数のバンドパスフィルタによって実現できる。そのため、従来技術で行われていた各々の画素の類似方向に応じて異なる補正値を用いる補正が不要であり、かつ、補正処理を行うための参照面が少なくて済む。したがって、輝度面の生成をハードウエアで実現する場合、従来技術よりも、ハードウエアの構造を簡略化することができる。
なお、第１の実施形態では、図３Ｓ６によってＣｒ成分やＣｂ成分が補間されて色差面が生成されるが、このような色差面には、偽色の発生を更に低減するための補正処理（例えば、メディアンフィルタを掛けるなどの処理）が行われても良い。
《第２の実施形態の説明》
以下、第２の実施形態の動作を説明する。
第２の実施形態と第１の実施形態との相違点は、第１の実施形態で行われていた斜め類似性を示す指標ＤＮの設定（図３Ｓ２に相当する処理）が第２の実施形態では不要である点と、「輝度成分生成処理」が異なる点である。
そこで、第２の実施形態では、「輝度成分生成処理」の動作を説明し、他の動作の説明は省略する。
図１７は、第２の実施形態における画像処理部１１の動作フローチャートであり、特に、「輝度成分生成処理」の動作を示している。
《輝度成分生成処理の説明》
以下、図１７を参照して、「輝度成分生成処理」の説明を行う。
ただし、第２の実施形態の「輝度成分生成処理」では、第１の実施形態と同様に、ベイア配列型画像データのうち、局所的な領域に位置する複数の画素の色情報を加重加算することによって輝度成分が生成される。また、このような「輝度成分生成処理」を実現するために、図８に示す係数パターンのうち、係数パターン１、係数パターン４、係数パターン７、係数パターン１０と、図９に示す係数パターン０とが予め用意されている。
まず、画像処理部１１は、第１の実施形態と同様に、処理対象画素がＧ位置であるか否かを判定し（図１７Ｓ４１）、処理対象画素がＧ位置でない場合（図１７Ｓ４１のＮＯ側）、処理対象画素における縦横類似性を示す指標ＨＶ［ｉ，ｊ］が如何なる値であるかを判定する（図１７Ｓ４２）。そして、画像処理部１１は、縦横類似性を示す指標ＨＶ［ｉ，ｊ］の値に応じて、以下のようにして輝度成分を生成する。
「ＨＶ［ｉ，ｊ］＝０」の場合、画像処理部１１は、係数パターン１を用いて輝度成分を生成する（図１７Ｓ４３）。すなわち、第１の実施形態の式１３の演算によって、輝度成分Ｙ［ｉ，ｊ］が生成される。
「ＨＶ［ｉ，ｊ］＝１」の場合、画像処理部１１は、係数パターン４を用いて輝度成分を生成する（図１７Ｓ４４）。すなわち、第１の実施形態の式１６の演算によって、輝度成分Ｙ［ｉ，ｊ］が生成される。
「ＨＶ［ｉ，ｊ］＝−１」の場合、画像処理部１１は、係数パターン７を用いて輝度成分を生成する（図１７Ｓ４５）。すなわち、第１の実施形態の式１９の演算によって、輝度成分Ｙ［ｉ，ｊ］が生成される。
また、画像処理部１１は、処理対象画素がＧ位置である場合、処理対象画素の左に隣接する画素に対する縦横類似性を示す指標ＨＶ［ｉ−１，ｊ］が「０」であるか否かを判定する（図１７Ｓ４６）。
そして、画像処理部１１は、縦横類似性を示す指標ＨＶ［ｉ−１，ｊ］が「０」である場合、第１の実施形態と同様に、係数パターン０を用いて輝度成分Ｙ［ｉ，ｊ］を生成する（図１７Ｓ４７）。すなわち、第１の実施形態の式２２の演算によって、輝度成分Ｙ［ｉ，ｊ］が生成される。
一方、縦横類似性を示す指標ＨＶ［ｉ−１，ｊ］が「０」でない場合、画像処理部１１は、第１の実施形態と同様に、係数パターン１０を用いて輝度成分を生成する（図１７Ｓ４８）。すなわち、第１の実施形態の式２３の演算によって、輝度成分Ｙ［ｉ，ｊ］が生成される。
以上説明したように、第２の実施形態では、第１の実施形態で行われていた斜め類似性を示す指標ＤＮの設定が省略され、係数パターンの数が第１の実施形態よりも削減される。
そのため、第２の実施形態によれば、第１の実施形態よりは多少劣るが、様々な方向の微細なエッジ部に至るまで極めて滑らかな輝度面を、第１の実施形態よりも簡略な処理手順で生成することができ、高精度の高画質化が実現される。
なお、第１の実施形態および第２の実施形態の輝度成分生成処理では、処理対象画素がＧ位置である場合、処理対象画素の左に隣接する画素における方向類似性に応じて選択的にローパスフィルタを掛けるための異なる係数パターンが用意されているが、通常の画像復元処理だけの場合、Ｇ位置の処理対象画素における輝度成分は、このような方向類似性に関係なく、係数パターン１のみを用いることによって生成されても良い。すなわち、第１の実施形態では、図５Ｓ２２ないしＳ２４の処理に代えて、図５Ｓ２４の処理のみが行われても良く、第２の実施形態では、図１７Ｓ４６ないしＳ４８の処理に代えて、図１７Ｓ４８の処理のみが行われても良い。
《第３の実施形態》
以下、第３の実施形態の動作を説明する。
第３の実施形態では、図１に示すＰＣ１８によって画像処理が実行される。
ただし、ＰＣ１８には、ＣＤ−ＲＯＭ２８などの記録媒体に記録された画像処理プログラム（上述した何れかの実施形態の画像処理部１１と同様にして、画像復元処理を実行する画像処理プログラム）が予めインストールされている。すなわち、ＰＣ１８内の不図示のハードディスクには、このような画像処理プログラムが不図示のＣＰＵによって実行可能な状態に格納されている。
以下、図１を参照して第３の実施形態の動作を説明する。
まず、電子カメラ１は、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、撮像素子２１で生成されてアナログ信号処理部２２で所定のアナログ信号処理が施された画像信号を、Ａ／Ｄ変換部１０でディジタル化し、画像データとして、画像処理部１１に供給する。画像処理部１１は、このようにして供給された画像データに対して、階調変換やγ補正などの画像処理を行う。このような画像処理が完了した画像データは、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
次に、電子カメラ１は、操作部２４を介し、操作者によってＰＣ通信モードが選択された状態で、外部インタフェース部１９を介し、ＰＣ１８から画像データの転送が指示されると、その指示に対応する画像データを、メモリカード用インタフェース部１７を介してメモリカード１６から読み出す。そして、このようにして読み出した画像データを、外部インタフェース部１９を介してＰＣ１８に供給する。
ＰＣ１８内の不図示のＣＰＵは、このようにして画像データが供給されると、前述した画像処理プログラムを実行する。なお、このような画像処理プログラムの実行によって、画像復元処理が行われた画像データは、必要に応じて圧縮処理して不図示のハードディスクに記録されたり、モニタ２６やプリンタ２７で採用されている表色系に変換されても良い。
以上説明したように、第３の実施形態では、上述した何れかの実施形態と同様の画像復元処理をＰＣ１８によって行うことができ、高精度の高画質化が実現される。
なお、ＰＣ１８内の不図示のＣＰＵは、前述したように画像データが記録されたメモリカード１６が装着された場合、そのメモリカード１６から画像データを読み出し、前述した画像処理プログラムを実行しても良い。
また、このような画像処理プログラムは、インターネットを介して所定のホームページにアクセスすることによって、ＰＣ１８にダウンロードされても良い。
また、このような画像処理プログラムは、ＰＣ１８で実行せず、インターネット等を介して接続される遠隔地のサーバ等で実行しても良い。すなわち、ＰＣ１８は、電子カメラ１から供給される画像データを、インターネット等を介して、前述した画像処理プログラムが実行可能なサーバ等に転送するだけで、その画像データに、上述した何れかの実施形態と同様の画像復元処理を行うことができる。
また、上述した各実施形態では、ＲＧＢ表色系で示され、かつ、各々の画素にＲ，Ｇ，Ｂの何れか１つの色成分の色情報が存在する画像に対する処理を説明したが、同様の処理は、他の表色系で示される画像にも適用できる。
また、上述した各実施形態では、色成分が図２に示すように配列された画像データを処理対象とする例を示したが、本発明が適用できる画像データは、図２に示した配列に限定されるものではない。
産業上の利用の可能性
本発明の画像処理装置によれば、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る画像に対する高精度の高画質化を実現することができる。
また、本発明の画像処理プログラムによれば、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る画像に対する高精度の高画質化をコンピュータによって実現することができる。
【図面の簡単な説明】
図１は、電子カメラの機能ブロック図である。
図２は、ベイア配列型画像データの色成分の配列を示す図である。
図３は、第１の実施形態における画像処理部の動作フローチャートである。
図４は、第１の実施形態における画像処理部の動作フローチャートである。
図５は、第１の実施形態における画像処理部の動作フローチャートである。
図６は、第１の実施形態における画像処理部の動作フローチャートである。
図７は、周辺加算を説明する図である。
図８は、係数パターンの例を示す図である。
図９は、（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）の値に対応する類似性の強い方向を示す図である。
図１０は、係数パターンの例を示す図である。
図１１は、バンドパスフィルタの例を示す図である。
図１２は、係数パターンの例を示す図である。
図１３は、係数パターンの例を示す図である。
図１４は、色差成分を補間する処理を説明する図である。
図１５は、色差成分を補間する処理を説明する図である。
図１６は、第１の実施形態のデータの流れを示す図である。
図１７は、第２の実施形態における画像処理部の動作フローチャートである。
【図１】
2002071761.tif 000034
【図２】
2002071761.tif 000035
【図３】
2002071761.tif 000036
【図４】
2002071761.tif 000037
【図５】
2002071761.tif 000038
【図６】
2002071761.tif 000039
【図７】
2002071761.tif 000040
【図８】
2002071761.tif 000041
【図９】
2002071761.tif 000042
【図１０】
2002071761.tif 000043
【図１１】
2002071761.tif 000044
【図１２】
2002071761.tif 000045
【図１３】
2002071761.tif 000046
【図１４】
2002071761.tif 000047
【図１５】
2002071761.tif 000048
【図１６】
2002071761.tif 000049
【図１７】
2002071761.tif 000050
【手続補正書】
【提出日】平成14年8月9日(2002.8.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理部を備え、
前記画像処理部は、零以上の値から成る少なくとも９通りの係数パターンを用意し、その何れか１つの係数パターンを用いて加重加算する
ことを特徴とする画像処理装置。
【請求項２】
請求の範囲１に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記少なくとも９通りの係数パターンの何れを用いるかを選択する
ことを特徴とする画像処理装置。
【請求項３】
請求の範囲１に記載の画像処理装置において、
前記画像処理部は、前記第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算するための係数パターンを少なくとも９通り用意する
ことを特徴とする画像処理装置。
【請求項４】
請求の範囲１に記載の画像処理装置において、
前記画像処理部は、前記第１の画像が、画素密度の高い第１色成分と画素密度の低い第２色成分および第３色成分とで表される場合、該第１色成分を有する画素に対しては、前記少なくとも９通りの係数パターンとは別個に用意された係数パターンを用いて加重加算する
ことを特徴とする画像処理装置。
【請求項５】
請求の範囲４に記載の画像処理装置において、
前記画像処理部は、前記第１色成分を有する画素に隣接する第２色成分または第３色成分を有する画素に対して、複数の方向に対する類似性の強弱を判定し、該類似性の強さが何れの方向にも区別がつかない場合、前記別個に用意された係数パターンとして、第１色成分を有する複数の画素の色情報の加重加算を含む係数パターンを用いる
ことを特徴とする画像処理装置。
【請求項６】
請求の範囲５に記載の画像処理装置において、
前記画像処理部は、前記第１色成分を有する複数の画素の色情報の加重加算を含む係数パターンとして、前記加重加算に際して着目画素の色情報と該画素から最も近くに位置する第１色成分を有する画素の色情報との加重加算を含む係数パターンを用いる
ことを特徴とする画像処理装置。
【請求項７】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理部を備え、
前記画像処理部は、前記第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算する
ことを特徴とする画像処理装置。
【請求項８】
請求の範囲７に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理装置。
【請求項９】
３種類以上の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理部を備え、
前記画像処理部は、前記第１の画像の全ての画素において、前記第１の画像の少なくとも３種類の色成分の色情報を加重加算する
ことを特徴とする画像処理装置。
【請求項１０】
請求の範囲９に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理装置。
【請求項１１】
請求の範囲９に記載の画像処理装置において、
前記画像処理部は、前記第１の画像の着目画素を中心に前記少なくとも３種類の色成分の色情報が含まれる最も狭い領域内の画素の色情報を加重加算する
ことを特徴とする画像処理装置。
【請求項１２】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理部を備え、
前記画像処理部は、前記第１の画像の全ての画素において、前記第１の画像の色情報を常に一定の色成分比率で加重加算する
ことを特徴とする画像処理装置。
【請求項１３】
請求の範囲１２に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理装置。
【請求項１４】
請求の範囲１２に記載の画像処理装置において、
前記画像処理部は、前記第１の画像が、画素密度の高い第１色成分と画素密度の低い第２色成分および第３色成分とで表される場合、第２色成分の色情報と第３色成分の色情報とを同一の色成分比率で加重加算する
ことを特徴とする画像処理装置。
【請求項１５】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、該第１の画像の色情報と異なる色成分を補正し、第２の画像として出力する画像処理部
を備えたことを特徴とする画像処理装置。
【請求項１６】
請求の範囲１５に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変える
ことを特徴とする画像処理装置。
【請求項１７】
請求の範囲１５に記載の画像処理装置において、
前記画像処理部は、前記予め決められた固定のフィルタ係数として、正および負の値を含むフィルタ係数を用いる
ことを特徴とする画像処理装置。
【請求項１８】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置に生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理部を備え、
前記画像処理部は、前記第１の画像の色情報を零以上の可変な係数により加重加算することによって、前記輝度成分を生成する
ことを特徴とする画像処理装置。
【請求項１９】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置の全てに生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理部
を備えたことを特徴とする画像処理装置。
【請求項２０】
請求の範囲１８または請求の範囲１９に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記第１の画像の色情報を加重加算することによって、前記輝度成分を生成する
ことを特徴とする画像処理装置
【請求項２１】
請求の範囲１８または請求の範囲１９に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記第１の画像の色情報を加重加算することによって、前記色差成分を生成する
ことを特徴とする画像処理装置。
【請求項２２】
請求の範囲２０または請求の範囲２１に記載の画像処理装置において、
前記画像処理部は、前記第１の画像が、第１色成分、第２色成分および第３色成分で表される場合、
第１色成分と第２色成分とで構成される第１の類似度成分、
第２色成分と第３色成分とで構成される第２の類似度成分、
第３色成分と第１色成分とで構成される第３の類似度成分、
第１色成分のみで構成される第４の類似度成分、
第２色成分のみで構成される第５の類似度成分、
第３色成分のみで構成される第６の類似度成分
の少なくとも１つの類似度成分を用いて、複数の方向に対する類似度を算出し、該類似度に基づいて、前記複数の方向に対する類似性の強弱を判定する
ことを特徴とする画像処理装置。
【請求項２３】
請求の範囲１、請求の範囲７、請求の範囲９、請求の範囲１２、請求の範囲１５の何れか１つに記載の画像処理装置において、
前記画像処理部は、前記第１の画像と同じ画素位置に対応付けて、前記第２の画像の色成分を出力する
ことを特徴とする画像処理装置。
【請求項２４】
請求の範囲１、請求の範囲７、請求の範囲９、請求の範囲１２、請求の範囲１５の何れか１つに記載の画像処理装置において、
前記画像処理部は、前記第１の画像の色情報と異なる色成分として、輝度成分を生成する
ことを特徴とする画像処理装置。
【請求項２５】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、零以上の値から成る少なくとも９通りの係数パターンを用意し、その何れか１つの係数パターンを用いて加重加算する
ことを特徴とする画像処理プログラム。
【請求項２６】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、前記第１の画像の着目画素の色情報と該画素に隣接する画素の色情報とを加重加算する
ことを特徴とする画像処理プログラム。
【請求項２７】
３種類以上の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、前記第１の画像の全ての画素において、前記第１の画像の少なくとも３種類の色成分の色情報を加重加算する
ことを特徴とする画像処理プログラム。
【請求項２８】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、前記第１の画像の全ての画素において、前記第１の画像の色情報を常に一定の色成分比率で加重加算する
ことを特徴とする画像処理プログラム。
【請求項２９】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、該第１の画像の色情報と異なる色成分を補正し、第２の画像として出力する画像処理手順
をコンピュータで実現させることを特徴とする画像処理プログラム。
【請求項３０】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置に生成する
と共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理手順をコンピュータで実現させ、
前記画像処理手順は、前記第１の画像の色情報を零以上の可変な係数により加重加算することによって、前記輝度成分を生成する
ことを特徴とする画像処理プログラム。
【請求項３１】
複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置の全てに生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理手順
をコンピュータで実現させることを特徴とする画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
（１４）  本発明の別の画像処理装置は、（１２）に記載の画像処理装置において、前記画像処理部は、前記第１の画像が、画素密度の高い第１色成分と画素密度の低い第２色成分および第３色成分とで表される場合、第２色成分の色情報と第３色成分の色情報とを同一の色成分比率で加重加算することを特徴とする。
（１５）  本発明の別の画像処理装置は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を零以上の可変な係数により加重加算することによって該第１の画像の色情報と異なる色成分を生成し、予め決められた固定のフィルタ係数によるフィルタ処理を行うことによって、該第１の画像の色情報と異なる色成分を補正し、第２の画像として出力する画像処理部を備えたことを特徴とする。
（１６）  本発明の別の画像処理装置は、（１５）に記載の画像処理装置において、前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記加重加算の係数を変えることを特徴とする。
（１７）  本発明の別の画像処理装置は、（１５）に記載の画像処理装置において、前記画像処理部は、前記予め決められた固定のフィルタ係数として、正および負の値を含むフィルタ係数を用いることを特徴とする。
（１８）  本発明の別の画像処理装置は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置に生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理部を備え、前記画像処理部は、前記第１の画像の色情報を零以上の可変な係数により加重加算することによって、前記輝度成分を生成することを特徴とする。
（１９）  本発明の別の画像処理装置は、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置の全てに生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理部を備えたことを特徴とする。
（２０）  本発明の別の画像処理装置は、（１８）または（１９）に記載の画像処理装置において、前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結


【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
果に応じて、前記第１の画像の色情報を加重加算することによって、前記輝度成分を生成することを特徴とする。
（２１）  本発明の別の画像処理装置は、（１８）または（１９）に記載の画像処理装置において、
前記画像処理部は、複数の方向に対する類似性の強弱を判定し、その判定結果に応じて、前記第１の画像の色情報を加重加算することによって、前記色差成分を生成することを特徴とする。
（２２）  本発明の別の画像処理装置は、（２０）または（２１）に記載の画像処理装置において、前記画像処理部は、前記第１の画像が、第１色成分、第２色成分および第３色成分で表される場合、
第１色成分と第２色成分とで構成される第１の類似度成分、
第２色成分と第３色成分とで構成される第２の類似度成分、
第３色成分と第１色成分とで構成される第３の類似度成分、
第１色成分のみで構成される第４の類似度成分、
第２色成分のみで構成される第５の類似度成分、
第３色成分のみで構成される第６の類似度成分
の少なくとも１つの類似度成分を用いて、複数の方向に対する類似度を算出し、該類似度に基づいて、前記複数の方向に対する類似性の強弱を判定することを特徴とする。
（２３）  本発明の別の画像処理装置は、（１）、（７）、（９）、（１２）、（１５）の何れか１つに記載の画像処理装置において、前記画像処理部は、前記第１の画像と同じ画素位置に対応付けて、前記第２の画像の色成分を出力することを特徴とする。
（２４）  本発明の別の画像処理装置は、（１）、（７）、（９）、（１２）、（１５）の何れか１つに記載の画像処理装置において、前記画像処理部は、前記第１の画像の色情報と異なる色成分として、輝度成分を生成することを特徴とする。
（２５）  本発明の画像処理プログラムは、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を加重加算することによって該第１の画像の色情報と異なる色成分を生成し、第２の画像として出力する画像処理手順をコンピュータで実現


【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
分を補正し、第２の画像として出力する画像処理手順をコンピュータで実現させることを特徴とする。
（３０）  本発明の別の画像処理プログラムは、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置に生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理手順をコンピュータで実現させ、前記画像処理手順は、前記第１の画像の色情報を零以上の可変な係数により加重加算することによって、前記輝度成分を生成することを特徴とする。
（３１）  本発明の別の画像処理プログラムは、複数の色成分で表されて、１つの画素に１つの色成分の色情報を有する複数の画素から成る第１の画像を入力し、該第１の画像の色情報を用いて、該第１の画像の色情報と異なる輝度成分を、該第１の画像と同じ画素位置の全てに生成すると共に、該第１の画像の色情報と異なる色差成分を、該輝度成分とは独立に、該第１の画像と同じ画素位置に生成し、該輝度成分と該色差成分とを第２の画像として出力する画像処理手順をコンピュータで実現させることを特徴とする。
なお、本発明の更なる目的および特徴については、添付された図と以下の説明に記載される通りである。
図面の簡単な説明
図１は、電子カメラの機能ブロック図である。
図２は、ベイア配列型画像データの色成分の配列を示す図である。
図３は、第１の実施形態における画像処理部の動作フローチャートである。
図４は、第１の実施形態における画像処理部の動作フローチャートである。
図５は、第１の実施形態における画像処理部の動作フローチャートである。
図６は、第１の実施形態における画像処理部の動作フローチャートである。
図７は、周辺加算を説明する図である。
図８は、係数パターンの例を示す図である。
図９は、（ＨＶ［ｉ，ｊ］，ＤＮ［ｉ，ｊ］）の値に対応する類似性の強い方向を示す図である。
図１０は、係数パターンの例を示す図である。
図１１は、バンドパスフィルタの例を示す図である。
図１２は、係数パターンの例を示す図である。
図１３は、係数パターンの例を示す図である。
図１４は、色差成分を補間する処理を説明する図である。
図１５は、色差成分を補間する処理を説明する図である。
図１６は、第１の実施形態のデータの流れを示す図である。




【国際調査報告】
2002071761.tif 000051
2002071761.tif 000052
2002071761.tif 000053
2002071761.tif 000054