【手続補正書】
【提出日】平成22年7月6日(2010.7.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の色信号のうち少なくとも一つの色信号が欠落している画素を含む画像を処理して、複数の色信号のうち少なくとも第１の色信号が補間された画素を含む画像を生成する画像処理装置であって、
上記画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、上記第１の色信号を有する画素が欠落している位置（ｘ0，ｙ0）の上記第１の色信号とは異なる第２の色信号を有する画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）の補間態様で補間されたＭ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する画素補間候補算出手段と、
上記Ｘ（ｘ0，ｙ0）に対して周辺の同種色信号を用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限手段と、
上記画素補間候補算出手段により算出されたＭ種類の上記第１の色信号Ｇｔに基づいて、色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）でなるＭ種類の色差候補を算出する色差候補算出手段と、
上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出された上記第１の色信号Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、
または、上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸLの複数の色差候補ＸL（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、
この算出したＭ種類の色差類似度に基づいて、Ｍ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）の内のｐ種類の上記第１の色信号Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）またはｑ種類の上記第１の色信号Ｇq（ｘ0，ｙ0）（ここに、１≦ｑ≦Ｍ）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を色差として選択する最適色差選択手段と、
上記Ｘ（ｘ0，ｙ0）から上記最適色差選択手段により選択された色差Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を減算することにより、位置（ｘ0，ｙ0）に対する上記第１の色信号Ｇ（ｘ0，ｙ0）を算出する算出手段と、
を具備したことを特徴とする画像処理装置。
【請求項２】
上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を行う色差補間手段と、
上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置の上記第１の色信号を有する画素と、に基づいて、複数の色信号を含む画素を算出する画素算出手段と、
をさらに具備したことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
所定位置の周辺の同一色の色差に基づいて、該所定位置に対する補間色差を算出する色差補間手段と、
上記所定位置の周辺の上記第１の色信号を有する画素に基づいて、該所定位置に対して補間された上記第１の色信号を算出する補間手段と、
上記所定位置に算出された補間色差と上記補間された第１の色信号とに基づいて、該所定位置において、複数の色信号を含む画素を算出する画素算出手段と、
をさらに具備したことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
上記最適色差選択手段は、上記色差類似度を、
上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と同一色Ｘかつ同一種類ｔの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、に基づいた類似度と、
上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とは異なる色Ｘ^かつ同一種類ｔの複数の色差候補Ｘ^（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づいた類似度と、
に基づき算出するものであることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
上記最適色差選択手段は、上記色差類似度を、
上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と、該色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と同一色Ｘかつ同一種類ｔの複数の色差候補ＸL（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、に基づいた類似度と、
上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とは異なる色Ｘ^かつ同一種類ｔの複数の色差候補Ｘ^L（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づいた類似度と、
に基づき算出するものであることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
上記類似度は、同一色Ｘかつ同一種類ｔの色差候補同士の差分絶対値の和であり、
上記最適色差選択手段は、Ｍ種類の上記色差類似度の内の最小値を与える色差類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものであることを特徴とする請求項４または請求項５に記載の画像処理装置。
【請求項７】
上記最適色差選択手段によって選択された色差がＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）である場合に、該色差を所定の閾値と比較することにより高色差であるか否かを判定する高色差判定手段と、
上記高色差判定手段により高色差であると判定された位置（ｘ0，ｙ0）に対するＧ（ｘ0，ｙ0）をＧt（ｘ0，ｙ0）に変更する変更手段と、
をさらに具備したことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
位置（ｘ0，ｙ0）におけるＸ（ｘ0，ｙ0）と、該位置（ｘ0，ｙ0）の周辺の位置におけるＸ（ｘ0＋ｕ，ｙ0＋ｖ）（ここに、ｕとｖとは同時に０とはならない任意の整数）とに基づいて、該位置（ｘ0，ｙ0）に対する飽和状態を判定する飽和状態判定手段と、
上記飽和状態判定手段により飽和状態にあると判定された場合には、上記最適色差選択手段によってＭ種類の色差候補から選択される色差を、上記飽和状態に基づいて予め決定された１種類の色差に固定化する固定化手段と、
をさらに具備したことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
上記第１の色信号はＧ成分、上記第２の色信号はＢ成分またはＲ成分であることを特徴とする請求項１から８のいずれかに記載の画像処理装置。
【請求項１０】
上記画像はＲＧＢベイヤ配列画像であることを特徴とする請求項１から９のいずれかに記載の画像処理装置。
【請求項１１】
上記画素補間候補算出手段は、
上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ成分信号の内の１種類のＧ成分信号として算出する第１の補間算出手段と、
該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ成分信号の内の１種類のＧ成分信号として算出する第２の補間算出手段と、
該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ成分信号の内の１種類のＧ成分信号として算出する第３の補間算出手段と、
を有して構成されたものであることを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
上記最適色差選択手段は、
Ｇ成分信号を有する画素が欠落している位置を示すＧ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、
上記第３の補間算出手段により算出されたＧ成分信号に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、
を有して構成されたものであることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
位置（ｘ0，ｙ0）におけるＸ（ｘ0，ｙ0）と、該位置（ｘ0，ｙ0）の周辺の位置におけるＸ（ｘ0＋ｕ，ｙ0＋ｖ）（ここに、ｕとｖとは同時に０とはならない任意の整数）とに基づいて、該位置（ｘ0，ｙ0）に対する飽和状態を判定する飽和状態判定手段と、
上記飽和状態判定手段により飽和状態にあると判定された場合には、上記Ｇ画素変動量算出手段により算出される重み係数を最小値に変更する重み係数変更手段と、
をさらに具備したことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
コンピュータに、複数の色信号の内の少なくとも一つの色信号が欠落している画素を含む画像を処理させて、複数の色信号の内の少なくとも第１の色信号が補間された画素を含む画像を生成させるための画像処理プログラムであって、コンピュータに、
上記画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、上記第１の色信号を有する画素が欠落している位置（ｘ0，ｙ0）の上記第１の色信号とは異なる第２の色信号を有する画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）の補間態様で補間されたＭ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する画素補間候補算出ステップと、
上記Ｘ（ｘ0，ｙ0）に対して周辺の同種色信号を用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限ステップと、
上記画素補間候補算出ステップにより算出されたＭ種類の上記第１の色信号Ｇtに基づいて、色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）でなるＭ種類の色差候補を算出する色差候補算出ステップと、
上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出された上記第１の色信号Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、
または、上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸLの複数の色差候補ＸL（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、
この算出したＭ種類の色差類似度に基づいて、Ｍ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）の内の１つの種類ｐの上記第１の色信号Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）または１つの種類ｑの上記第１の色信号Ｇq（ｘ0，ｙ0）（ここに、１≦ｑ≦Ｍ）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を色差として選択する最適色差選択ステップと、
上記Ｘ（ｘ0，ｙ0）から上記最適色差選択ステップにより選択された色差Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を減算することにより、位置（ｘ0，ｙ0）に対する上記第１の色信号Ｇ（ｘ0，ｙ0）を算出する算出ステップと、
を実行させるための画像処理プログラム。
【請求項１５】
複数の色信号の内の少なくとも一つの色信号が欠落している画素を含む画像を処理して、複数の色信号の内の少なくとも第１の色信号が補間された画素を含む画像を生成するための画像処理方法であって、
上記画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、上記第１の色信号を有する画素が欠落している位置（ｘ0，ｙ0）の上記第１の色信号とは異なる第２の色信号を有する画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）の補間態様で補間されたＭ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する画素補間候補算出ステップと、
上記Ｘ（ｘ0，ｙ0）に対して周辺の同種色信号を用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限ステップと、
上記画素補間候補算出ステップにより算出されたＭ種類の上記第１の色信号Ｇtに基づいて、色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）でなるＭ種類の色差候補を算出する色差候補算出ステップと、
上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出された上記第１の色信号Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、
または、上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸLの複数の色差候補ＸL（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、
この算出したＭ種類の色差類似度に基づいて、Ｍ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）の内の１つの種類ｐの上記第１の色信号Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）または１つの種類ｑの上記第１の色信号Ｇq（ｘ0，ｙ0）（ここに、１≦ｑ≦Ｍ）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を色差として選択する最適色差選択ステップと、
上記Ｘ（ｘ0，ｙ0）から上記最適色差選択ステップにより選択された色差Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を減算することにより、位置（ｘ0，ｙ0）に対する上記第１の色信号Ｇ（ｘ0，ｙ0）を算出する算出ステップと、
を有することを特徴とする画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
上記の目的を達成するために、第１の発明による画像処理装置は、複数の色信号のうち少なくとも一つの色信号が欠落している画素を含む画像を処理して、複数の色信号のうち少なくとも第１の色信号が補間された画素を含む画像を生成する画像処理装置であって、上記画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、上記第１の色信号を有する画素が欠落している位置（ｘ0，ｙ0）の上記第１の色信号とは異なる第２の色信号を有する画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）の補間態様で補間されたＭ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する画素補間候補算出手段と、上記Ｘ（ｘ0，ｙ0）に対して周辺の同種色信号を用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限手段と、上記画素補間候補算出手段により算出されたＭ種類の上記第１の色信号Ｇｔに基づいて、色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）でなるＭ種類の色差候補を算出する色差候補算出手段と、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出された上記第１の色信号Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、または、上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸLの複数の色差候補ＸL（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）の内のｐ種類の上記第１の色信号Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）またはｑ種類の上記第１の色信号Ｇq（ｘ0，ｙ0）（ここに、１≦ｑ≦Ｍ）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を色差として選択する最適色差選択手段と、 上記Ｘ（ｘ0，ｙ0）から上記最適色差選択手段により選択された色差Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を減算することにより、位置（ｘ0，ｙ0）に対する上記第１の色信号Ｇ（ｘ0，ｙ0）を算出する算出手段と、を具備したものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
第１の発明によれば、ＲＧＢベイヤ配列画像に対して欠落色信号を補間する際に、該補間処理に伴って発生する偽色を抑制し、本来再現されるべき彩度を保ったカラー画像を得ることができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
また、第２の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記最適色差選択手段によっては色差が算出されない位置の色差を、該最適色差選択手段により算出された該位置の周辺の同一色の色差に基づいて補間する処理を行う色差補間手段と、上記最適色差選択手段または上記色差補間手段により算出された色差と、この色差と同一位置の上記第１の色信号を有する画素と、に基づいて、複数の色信号を含む画素を算出する画素算出手段と、をさらに具備したものである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
第２の発明によれば、ＲＧＢベイヤ配列画像に対して欠落色信号を補間する際に、該補間処理に伴って発生する偽色を抑制し、本来再現されるべき彩度を保ちつつ、高解像度のカラー画像を得ることができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
さらに、第３の発明による画像処理装置は、上記第１の発明による画像処理装置において、所定位置の周辺の同一色の色差に基づいて、該所定位置に対する補間色差を算出する色差補間手段と、上記所定位置の周辺の上記第１の色信号を有する画素に基づいて、該所定位置に対して補間された上記第１の色信号を算出する補間手段と、上記所定位置に算出された補間色差と上記補間された第１の色信号とに基づいて、該所定位置において、複数の色信号を含む画素を算出する画素算出手段と、をさらに具備したものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
第３の発明によれば、ＲＧＢベイヤ配列画像に対して欠落色信号を補間する際に、該補間処理に伴って発生する偽色を抑制し、本来再現されるべき彩度を保ちつつ、高解像度のカラー画像を得ることができるとともに、エッジ境界のガタツキを減らしてより滑らかなエッジを再現することができる。さらに、補間画素数を変更することができ、補間画素数に見合った帯域制限補間フィルタ係数を選ぶことにより、所定解像度の画像を作成することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
第４の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記最適色差選択手段が、上記色差類似度を、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と同一色Ｘかつ同一種類ｔの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、に基づいた類似度と、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とは異なる色Ｘ^かつ同一種類ｔの複数の色差候補Ｘ^（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づいた類似度と、に基づき算出するものである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
第４の発明によれば、画像のエッジ方向に合ったＧ画素補間により算出した色差を選択することができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
第５の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記最適色差選択手段が、上記色差類似度を、上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と、該色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）と同一色Ｘかつ同一種類ｔの複数の色差候補ＸL（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、に基づいた類似度と、上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とは異なる色Ｘ^かつ同一種類ｔの複数の色差候補Ｘ^L（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づいた類似度と、に基づき算出するものである。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
第５の発明によれば、画像のエッジ方向に合ったＧ画素補間により算出した色差を選択することができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
第６の発明による画像処理装置は、上記第４または第５の発明による画像処理装置において、上記類似度が、同一色Ｘかつ同一種類ｔの色差候補同士の差分絶対値の和であり、上記最適色差選択手段は、Ｍ種類の上記色差類似度の内の最小値を与える色差類似度の１つに対応する色差候補を１つ選択する選択手段を含み、該選択手段により選択された色差候補を色差とするものである。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
第６の発明によれば、ハード化を行う際の回路規模を小さく抑制しつつ、最適な色差とＧ画素補間とを決定することができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
第７の発明による画像処理装置は、上記第１の発明による画像処理装置において、上記最適色差選択手段によって選択された色差がＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）である場合に、該色差を所定の閾値と比較することにより高色差であるか否かを判定する高色差判定手段と、上記高色差判定手段により高色差であると判定された位置（ｘ0，ｙ0）に対するＧ（ｘ0，ｙ0）をＧt（ｘ0，ｙ0）に変更する変更手段と、をさらに具備したものである。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
第７の発明によれば、高色差でかつ斜めエッジ領域においてジャギーの発生を抑制することができる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
第８の発明による画像処理装置は、上記第１の発明による画像処理装置において、位置（ｘ0，ｙ0）におけるＸ（ｘ0，ｙ0）と、該位置（ｘ0，ｙ0）の周辺の位置におけるＸ（ｘ0＋ｕ，ｙ0＋ｖ）（ここに、ｕとｖとは同時に０とはならない任意の整数）とに基づいて、該位置（ｘ0，ｙ0）に対する飽和状態を判定する飽和状態判定手段と、上記飽和状態判定手段により飽和状態にあると判定された場合には、上記最適色差選択手段によってＭ種類の色差候補から選択される色差を、上記飽和状態に基づいて予め決定された１種類の色差に固定化する固定化手段と、をさらに具備したものである。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
第８の発明によれば、Ｒ画素またはＢ画素の飽和状態を判定し、複数選択可能な色差候補を予め決められた１つの種類に絞ることにより、Ｒ画素またはＢ画素においてブルーミングにより周辺Ｇ画素に不均一に電荷が漏れた場合であっても不自然なアーティファクトの発生を抑制することができる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
第９の発明による画像処理装置は、上記第１から第８の発明による画像処理装置において、上記第１の色信号はＧ成分、上記第２の色信号はＢ成分またはＲ成分である。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
第１０の発明よる画像処理装置は、上記第１から第９の発明による画像処理装置において、上記画像はＲＧＢベイヤ配列画像である。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
第１１の発明による画像処理装置は、上記第９の発明による画像処理装置において、上記画素補間候補算出手段は、上記Ｘ画素の上下に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ成分信号の内の１種類のＧ成分信号として算出する第１の補間算出手段と、該Ｘ画素の左右に隣接する２つのＧ画素の平均を上記Ｍ種類のＧ成分信号の内の１種類のＧ成分信号として算出する第２の補間算出手段と、該Ｘ画素の上下左右に隣接する４つのＧ画素の平均を上記Ｍ種類のＧ成分信号の内の１種類のＧ成分信号として算出する第３の補間算出手段と、
を有して構成されたものである。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
第１２の発明による画像処理装置は、上記第１１の発明による画像処理装置において、上記最適色差選択手段は、Ｇ成分信号を有する画素が欠落している位置を示すＧ画素欠落位置の周辺のＧ画素値の変動量を算出して、該変動量に基づいた重み係数を算出するＧ画素変動量算出手段と、上記第３の補間算出手段により算出されたＧ成分信号に基づいて算出された上記Ｇ画素欠落位置の色差候補の周辺色差候補との類似度に、上記重み係数を乗算する乗算手段と、を有して構成されたものである。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
第１３の発明による画像処理装置は、上記第１２の発明による画像処理装置において、位置（ｘ0，ｙ0）におけるＸ（ｘ0，ｙ0）と、該位置（ｘ0，ｙ0）の周辺の位置におけるＸ（ｘ0＋ｕ，ｙ0＋ｖ）（ここに、ｕとｖとは同時に０とはならない任意の整数）とに基づいて、該位置（ｘ0，ｙ0）に対する飽和状態を判定する飽和状態判定手段と、上記飽和状態判定手段により飽和状態にあると判定された場合には、上記Ｇ画素変動量算出手段により算出される重み係数を最小値に変更する重み係数変更手段と、をさらに具備したものである。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
第１３の発明によれば、Ｒ画素またはＢ画素の飽和状態を判定し、複数選択可能な色差候補を予め決められた１つの種類に絞ることにより、Ｒ画素またはＢ画素においてブルーミングにより周辺Ｇ画素に不均一に電荷が漏れた場合であっても不自然なアーティファクトの発生を抑制することができる。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
第１４の発明による画像処理プログラムは、コンピュータに、複数の色信号の内の少なくとも一つの色信号が欠落している画素を含む画像を処理させて、複数の色信号の内の少なくとも第１の色信号が補間された画素を含む画像を生成させるための画像処理プログラムであって、コンピュータに、上記画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、上記第１の色信号を有する画素が欠落している位置（ｘ0，ｙ0）の上記第１の色信号とは異なる第２の色信号を有する画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）の補間態様で補間されたＭ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する画素補間候補算出ステップと、上記Ｘ（ｘ0，ｙ0）に対して周辺の同種色信号を用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限ステップと、上記画素補間候補算出ステップにより算出されたＭ種類の上記第１の色信号Ｇtに基づいて、色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）でなるＭ種類の色差候補を算出する色差候補算出ステップと、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出された上記第１の色信号Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、または、上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸLの複数の色差候補ＸL（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）の内の１つの種類ｐの上記第１の色信号Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）または１つの種類ｑの上記第１の色信号Ｇq（ｘ0，ｙ0）（ここに、１≦ｑ≦Ｍ）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を色差として選択する最適色差選択ステップと、上記Ｘ（ｘ0，ｙ0）から上記最適色差選択ステップにより選択された色差Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を減算することにより、位置（ｘ0，ｙ0）に対する上記第１の色信号Ｇ（ｘ0，ｙ0）を算出する算出ステップと、を実行させるためのプログラムである。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
第１４の発明によれば、第１の発明とほぼ同様の効果を奏することができる。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
第１５の発明による画像処理方法は、複数の色信号の内の少なくとも一つの色信号が欠落している画素を含む画像を処理して、複数の色信号の内の少なくとも第１の色信号が補間された画素を含む画像を生成するための画像処理方法であって、上記画像における位置を（ｘ，ｙ）（ここに、ｘは横方向の画素位置を示す整数、ｙは縦方向の画素位置を示す整数）として表し、上記第１の色信号を有する画素が欠落している位置（ｘ0，ｙ0）の上記第１の色信号とは異なる第２の色信号を有する画素をＸ（ｘ0，ｙ0）としたときに、このＸ（ｘ0，ｙ0）に対して、Ｍ種類（Ｍは２以上の整数）の補間態様で補間されたＭ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）（ここに、ｔ＝１，…，Ｍ）を算出する画素補間候補算出ステップと、上記Ｘ（ｘ0，ｙ0）に対して周辺の同種色信号を用いて帯域制限したＸL（ｘ0，ｙ0）を算出する帯域制限ステップと、上記画素補間候補算出ステップにより算出されたＭ種類の上記第１の色信号Ｇtに基づいて、色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）でなるＭ種類の色差候補を算出する色差候補算出ステップと、上記色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出された上記第１の色信号Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸの複数の色差候補Ｘ（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補Ｘ（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、または、上記色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）を算出する際に用いた上記第１の色信号Ｇt（ｘ0，ｙ0）と同一種類ｔの、周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）（ここに、ｎとｍとは同時に０とはならない任意の整数）において算出されたＧt（ｘ0＋ｎ，ｙ0＋ｍ）に基づき、該周辺位置（ｘ0＋ｎ，ｙ0＋ｍ）に対して算出されたＸLの複数の色差候補ＸL（ｘ0＋ｎ，ｙ0＋ｍ）−Ｇt（ｘ0＋ｎ，ｙ0＋ｍ）と、該色差候補ＸL（ｘ0，ｙ0）−Ｇt（ｘ0，ｙ0）とに基づいて、Ｍ種類の色差類似度を算出し、この算出したＭ種類の色差類似度に基づいて、Ｍ種類の上記第１の色信号Ｇt（ｘ0，ｙ0）の内の１つの種類ｐの上記第１の色信号Ｇp（ｘ0，ｙ0）（ここに、１≦ｐ≦Ｍ）または１つの種類ｑの上記第１の色信号Ｇq（ｘ0，ｙ0）（ここに、１≦ｑ≦Ｍ）に基づき算出された色差候補Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差候補ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を色差として選択する最適色差選択ステップと、上記Ｘ（ｘ0，ｙ0）から上記最適色差選択ステップにより選択された色差Ｘ（ｘ0，ｙ0）−Ｇp（ｘ0，ｙ0）または色差ＸL（ｘ0，ｙ0）−Ｇq（ｘ0，ｙ0）を減算することにより、位置（ｘ0，ｙ0）に対する上記第１の色信号Ｇ（ｘ0，ｙ0）を算出する算出ステップと、を有する方法である。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
第１５の発明によれば、第１の発明とほぼ同様の効果を奏することができる。