(57)【特許請求の範囲】
【請求項１】
各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理する撮像システムであって、
上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段と、
上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段と、
上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段と、
上記ノイズ推定手段により推定されたノイズ量に基づいて、上記複数の補間手段の何れを用いるかを選択する補間選択手段と、
を具備したことを特徴とする撮像システム。
【請求項２】
各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理する撮像システムであって、
上記映像信号から注目画素を包含する局所領域を１つ以上抽出する抽出手段と、
上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段と、
上記注目画素において欠落する色信号を補間処理により求める補間手段と、
上記ノイズ推定手段により推定されたノイズ量に基づいて、上記補間手段における補間処理に使用する画素を選択する画素選択手段と、
を具備したことを特徴とする撮像システム。
【請求項３】
各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理する撮像システムであって、
上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段と、
上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段と、
上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段と、
上記ノイズ推定手段により推定されたノイズ量に基づいて、上記複数の補間手段の何れを用いるかを選択するとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択する補間画素選択手段と、
を具備したことを特徴とする撮像システム。
【請求項４】
上記映像信号を生成して必要に応じて増幅する撮像素子系をさらに具備し、
上記ノイズ推定手段は、
上記局所領域の映像信号を上記所定数の色信号毎に分離する分離手段と、
上記分離手段により分離された各色信号の平均値と、上記撮像素子系の温度と、該撮像素子系による上記映像信号の増幅におけるゲインと、の内の少なくとも１つをパラメータとして求めるパラメータ算出手段と、
上記パラメータ算出手段により算出されたパラメータに基づいて、色信号のノイズ量を上記所定数の色信号毎に求めるノイズ量算出手段と、
を有して構成されたものであることを特徴とする請求項１、請求項２、または請求項３に記載の撮像システム。
【請求項５】
上記ノイズ量算出手段は、上記各色信号の平均値Ｌと、上記撮像素子系の温度Ｔと、該撮像素子系による上記映像信号の増幅におけるゲインＧと、をパラメータとして用いて、色信号のノイズ量Ｎを上記所定数の色信号毎に算出するものであって、
上記平均値Ｌと上記温度Ｔと上記ゲインＧとの内の、上記パラメータ算出手段により得られなかったパラメータに対して、標準のパラメータ値を付与する付与手段と、
上記温度Ｔおよび上記ゲインＧをパラメータとする３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）を用いて、これら３つの関数に各々対応する係数Ａ，Ｂ，Ｃを求める係数算出手段と、
上記係数算出手段により求められた３つの係数Ａ，Ｂ，Ｃを用いて、第１の関数式、
Ｎ＝ＡＬB＋Ｃ
または第２の関数式、
Ｎ＝ＡＬ2＋ＢＬ＋Ｃ
に基づき、ノイズ量Ｎを求める関数演算手段と、
を有して構成されたものであることを特徴とする請求項４に記載の撮像システム。
【請求項６】
上記ノイズ量算出手段は、上記各色信号の平均値と、上記撮像素子系の温度と、該撮像素子系による上記映像信号の増幅におけるゲインと、をパラメータとして用いて、色信号のノイズ量Ｎを上記所定数の色信号毎に算出するものであって、
上記平均値と上記温度と上記ゲインとの内の、上記パラメータ算出手段により得られなかったパラメータに対して、標準のパラメータ値を付与する付与手段と、
上記パラメータ算出手段または上記付与手段から得られる、上記平均値と上記温度と上記ゲインとに基づき、ノイズ量を求めるルックアップテーブル手段と、
を有して構成されたものであることを特徴とする請求項４に記載の撮像システム。
【請求項７】
上記局所領域内で、注目画素を中心とした複数の所定方向に関するエッジ強度をそれぞれ抽出するエッジ抽出手段をさらに具備し、
上記補間手段は、
上記エッジ抽出手段により抽出された複数の所定方向に関するエッジ強度を用いて、正規化された重み係数を各所定方向に関して算出する重み算出手段と、
上記局所領域内で、上記注目画素を中心とした複数の所定方向に関する補間信号をそれぞれ算出する補間信号算出手段と、
上記所定方向に関する複数の重み係数と、上記所定方向に関する補間信号と、に基づいて、上記注目画素において欠落する色信号を算出する演算手段と、
を有して構成されたものであることを特徴とする請求項１、請求項２、または請求項３に記載の撮像システム。
【請求項８】
上記補間手段は、
上記局所領域内における各色信号間の相関関係を線形式として求める相関算出手段と、
上記相関算出手段により算出された相関関係に基づいて、上記映像信号から、上記注目画素において欠落する色信号を算出する演算手段と、
を有して構成されたものであることを特徴とする請求項１、請求項２、または請求項３に記載の撮像システム。
【請求項９】
上記補間手段は、
上記局所領域内で、線形補間またはキュービック補間を行うことによって、上記注目画素において欠落する色信号を算出する演算手段、
を有して構成されたものであることを特徴とする請求項１または請求項３に記載の撮像システム。
【請求項１０】
上記補間選択手段は、
上記ノイズ推定手段により推定されたノイズ量と、上記局所領域の各色信号から得られる所定の統計量と、を比較する比較手段と、
上記比較手段による比較結果に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、
を有して構成され、
上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択するものであることを特徴とする請求項１に記載の撮像システム。
【請求項１１】
上記補間選択手段は、
上記ノイズ推定手段により推定されたノイズ量と、所定の閾値と、を比較する比較手段と、
上記比較手段による比較結果に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、
を有して構成され、
上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択するものであることを特徴とする請求項１に記載の撮像システム。
【請求項１２】
上記画素選択手段は、
上記ノイズ推定手段により推定されたノイズ量と、上記各色信号の平均値と、に基づいて許容範囲を設定する許容範囲設定手段と、
上記許容範囲に基づいて上記局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、
を有して構成され、
上記ラベル手段により付けられたラベルに応じて、上記補間手段における補間処理に使用する画素を選択するものであることを特徴とする請求項２に記載の撮像システム。
【請求項１３】
上記補間画素選択手段は、
上記ノイズ推定手段により推定されたノイズ量と、上記局所領域の各色信号から得られる所定の統計量と、を比較する比較手段と、
上記ノイズ量と、上記各色信号の平均値と、に基づいて許容範囲を設定する許容範囲設定手段と、
上記比較手段による比較結果と、上記許容範囲設定手段により設定された許容範囲と、に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに、該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、
を有して構成され、
上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択するとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択するものであることを特徴とする請求項３に記載の撮像システム。
【請求項１４】
上記補間画素選択手段は、
上記ノイズ推定手段により推定されたノイズ量と、所定の閾値と、を比較する比較手段と、
上記ノイズ量と、上記各色信号の平均値と、に基づいて許容範囲を設定する許容範囲設定手段と、
上記比較手段による比較結果と、上記許容範囲設定手段により設定された許容範囲と、に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに、該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、
を有して構成され、
上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択するとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択するものであることを特徴とする請求項３に記載の撮像システム。
【請求項１５】
上記複数の補間手段を所望に選択可能とし、選択された補間手段により欠落する色信号を補間させるように制御する制御手段をさらに具備したことを特徴とする請求項１または請求項３に記載の撮像システム。
【請求項１６】
上記制御手段は、映像に係る、画質情報と、撮影モード情報と、の少なくとも一方を取得する情報取得手段を有して構成されたものであることを特徴とする請求項１５に記載の撮像システム。
【請求項１７】
上記補間手段における補間処理に使用する画素を所望に選択可能とし、選択された画素により欠落する色信号を補間させるように該補間手段を制御する制御手段をさらに具備したことを特徴とする請求項２または請求項３に記載の撮像システム。
【請求項１８】
コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理させるための画像処理プログラムであって、コンピュータを、
上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段、
上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段、
上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段、
上記ノイズ推定手段により推定されたノイズ量に基づいて、上記複数の補間手段の何れを用いるかを選択する補間選択手段、
として機能させるための画像処理プログラム。
【請求項１９】
コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理させるための画像処理プログラムであって、コンピュータを、
上記映像信号から注目画素を包含する局所領域を１つ以上抽出する抽出手段、
上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段、
上記注目画素において欠落する色信号を補間処理により求める補間手段、
上記ノイズ推定手段により推定されたノイズ量に基づいて、上記補間手段における補間処理に使用する画素を選択する画素選択手段、
として機能させるための画像処理プログラム。
【請求項２０】
コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が、画素位置に応じて１つ以上欠落している映像信号、を処理させるための画像処理プログラムであって、コンピュータを、
上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段、
上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段、
上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段、
上記ノイズ推定手段により推定されたノイズ量に基づいて、上記複数の補間手段の何れを用いるかを選択するとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択する補間画素選択手段、
として機能させるための画像処理プログラム。
【請求項２１】
上記補間選択手段は、
上記ノイズ推定手段により推定されたノイズ量と、上記局所領域の各色信号から得られる所定の統計量と、を比較する比較手段と、
上記比較手段による比較結果に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、
を含み、
コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるための請求項１８に記載の画像処理プログラム。
【請求項２２】
上記補間選択手段は、
上記ノイズ推定手段により推定されたノイズ量と、所定の閾値と、を比較する比較手段と、
上記比較手段による比較結果に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、
を含み、
コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるための請求項１８に記載の画像処理プログラム。
【請求項２３】
上記画素選択手段は、
上記ノイズ推定手段により推定されたノイズ量と、上記各色信号の平均値と、に基づいて許容範囲を設定する許容範囲設定手段と、
上記許容範囲に基づいて上記局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、
を含み、
コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記補間手段における補間処理に使用する画素を選択させるための請求項１９に記載の画像処理プログラム。
【請求項２４】
上記補間画素選択手段は、
上記ノイズ推定手段により推定されたノイズ量と、上記局所領域の各色信号から得られる所定の統計量と、を比較する比較手段と、
上記ノイズ量と、上記各色信号の平均値と、に基づいて許容範囲を設定する許容範囲設定手段と、
上記比較手段による比較結果と、上記許容範囲設定手段により設定された許容範囲と、に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに、該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、
を含み、
コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択させるための請求項２０に記載の画像処理プログラム。
【請求項２５】
上記補間画素選択手段は、
上記ノイズ推定手段により推定されたノイズ量と、所定の閾値と、を比較する比較手段と、
上記ノイズ量と、上記各色信号の平均値と、に基づいて許容範囲を設定する許容範囲設定手段と、
上記比較手段による比較結果と、上記許容範囲設定手段により設定された許容範囲と、に基づいて、上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに、該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、
を含み、
コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択させるための請求項２０に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素位置に応じて１つ以上の色信号が欠落している映像信号を補間処理する撮像システム、画像処理プログラムに関する。
【背景技術】
【０００２】
現在、一般向けに市販されているデジタルスチルカメラやビデオカメラなどは、撮像系として単板ＣＣＤを用いたものが主流となっている。この単板ＣＣＤは、前面にカラーフィルタを配置して構成されており、該カラーフィルタの種類によって補色系と原色系とに大別される。【０００３】
このような構成の単板カラーＣＣＤでは、カラーフィルタの種類が補色系と原色系との何れであっても、１つの画素に１つの色信号を割り当てている点は同様である。従って、１つの画素に対して全ての色信号を得るためには、各画素において欠落している色信号を補間する処理を行うことが必要となる。【０００４】
このような単板系に限らず、二板式の撮像系や、三板式であっても画素ずらしを行った撮像系においては、同様に、補間処理を行うことが必要になる。【０００５】
上述したような補間処理としては、例えば特開平７−２３６１４７号公報や特開平８−２９８６７０号公報に、相関またはエッジを検出して、相関の高い方向またはエッジ強度の低い平坦な方向に補間処理を行う技術が記載されている。【０００６】
また、特開平１１−２２０７４５号公報には、水平垂直方向の相関を検出した後に、コアリング処理を行ってノイズの影響を除去し、相関の高い方向に補間処理を行う技術が記載されている。【０００７】
上記特開平７−２３６１４７号公報や特開平８−２９８６７０号公報に記載されたような方向を選択して行う補間処理は、補間を行う注目画素近傍の数画素から相関方向またはエッジ方向を検出して行うものとなっているために、撮像素子系に起因するランダムノイズによる誤検出が発生し易い。方向検出に失敗すると、補間精度が低下したりアーティファクトが発生したりするなどの副作用が生じるという課題がある。【０００８】
また、上記特開平１１−２２０７４５号公報に記載されたような補間処理は、ノイズを含む原信号から相関を算出した後に、コアリング処理を行ってノイズの影響を低減するものである。しかしながら、ノイズ成分の影響は相関算出時に増幅されるために、その後に低減処理を行っても改善効果が低下してしまうという課題がある。さらに、コアリング処理のパラメータは静的に与えられているが、撮像素子系のランダムノイズは信号レベル、撮影時の温度、露光時間、ゲインなどの要因により動的に変化するために、静的に与えられたパラメータではノイズの影響を適切に除去することができないという課題がある。【０００９】
本発明は上記事情に鑑みてなされたものであり、ノイズによる副作用を低減した高精度な補間を行い得る撮像システム、画像処理プログラムを提供することを目的としている。
【発明の開示】
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、第１の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理する撮像システムであって、上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段と、上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段と、上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段と、上記ノイズ推定手段により推定されたノイズ量に基づいて上記複数の補間手段の何れを用いるかを選択する補間選択手段と、を具備したものである。【００１１】
また、第２の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理する撮像システムであって、上記映像信号から注目画素を包含する局所領域を１つ以上抽出する抽出手段と、上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段と、上記注目画素において欠落する色信号を補間処理により求める補間手段と、上記ノイズ推定手段により推定されたノイズ量に基づいて上記補間手段における補間処理に使用する画素を選択する画素選択手段と、を具備したものである。【００１２】
さらに、第３の発明による撮像システムは、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理する撮像システムであって、上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段と、上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段と、上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段と、上記ノイズ推定手段により推定されたノイズ量に基づいて上記複数の補間手段の何れを用いるかを選択するとともに該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択する補間画素選択手段と、を具備したものである。【００１３】
第４の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記映像信号を生成して必要に応じて増幅する撮像素子系をさらに具備し、上記ノイズ推定手段は、上記局所領域の映像信号を上記所定数の色信号毎に分離する分離手段と、上記分離手段により分離された各色信号の平均値と上記撮像素子系の温度と該撮像素子系による上記映像信号の増幅におけるゲインとの内の少なくとも１つをパラメータとして求めるパラメータ算出手段と、上記パラメータ算出手段により算出されたパラメータに基づいて色信号のノイズ量を上記所定数の色信号毎に求めるノイズ量算出手段と、を有して構成されたものである。【００１４】
第５の発明による撮像システムは、上記第４の発明による撮像システムにおいて、上記ノイズ量算出手段が、上記各色信号の平均値Ｌと、上記撮像素子系の温度Ｔと、該撮像素子系による上記映像信号の増幅におけるゲインＧと、をパラメータとして用いて、色信号のノイズ量Ｎを上記所定数の色信号毎に算出するものであって、上記平均値Ｌと上記温度Ｔと上記ゲインＧとの内の上記パラメータ算出手段により得られなかったパラメータに対して標準のパラメータ値を付与する付与手段と、上記温度Ｔおよび上記ゲインＧをパラメータとする３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）を用いてこれら３つの関数に各々対応する係数Ａ，Ｂ，Ｃを求める係数算出手段と、上記係数算出手段により求められた３つの係数Ａ，Ｂ，Ｃを用いて、第１の関数式、
Ｎ＝ＡＬB＋Ｃ
または第２の関数式、
Ｎ＝ＡＬ2＋ＢＬ＋Ｃ
に基づきノイズ量Ｎを求める関数演算手段と、を有して構成されたものである。【００１５】
第６の発明による撮像システムは、上記第４の発明による撮像システムにおいて、上記ノイズ量算出手段が、上記各色信号の平均値と、上記撮像素子系の温度と、該撮像素子系による上記映像信号の増幅におけるゲインと、をパラメータとして用いて、色信号のノイズ量Ｎを上記所定数の色信号毎に算出するものであって、上記平均値と上記温度と上記ゲインとの内の上記パラメータ算出手段により得られなかったパラメータに対して標準のパラメータ値を付与する付与手段と、上記パラメータ算出手段または上記付与手段から得られる上記平均値と上記温度と上記ゲインとに基づきノイズ量を求めるルックアップテーブル手段と、を有して構成されたものである。【００１６】
第７の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記局所領域内で注目画素を中心とした複数の所定方向に関するエッジ強度をそれぞれ抽出するエッジ抽出手段をさらに具備し、上記補間手段は、上記エッジ抽出手段により抽出された複数の所定方向に関するエッジ強度を用いて正規化された重み係数を各所定方向に関して算出する重み算出手段と、上記局所領域内で上記注目画素を中心とした複数の所定方向に関する補間信号をそれぞれ算出する補間信号算出手段と、上記所定方向に関する複数の重み係数と上記所定方向に関する補間信号とに基づいて上記注目画素において欠落する色信号を算出する演算手段と、を有して構成されたものである。【００１７】
第８の発明による撮像システムは、上記第１から第３の発明による撮像システムにおいて、上記補間手段が、上記局所領域内における各色信号間の相関関係を線形式として求める相関算出手段と、上記相関算出手段により算出された相関関係に基づいて上記映像信号から上記注目画素において欠落する色信号を算出する演算手段と、を有して構成されたものである。【００１８】
第９の発明による撮像システムは、上記第１または第３の発明による撮像システムにおいて、上記補間手段が、上記局所領域内で線形補間またはキュービック補間を行うことによって上記注目画素において欠落する色信号を算出する演算手段を有して構成されたものである。【００１９】
第１０の発明による撮像システムは、上記第１の発明による撮像システムにおいて、上記補間選択手段が、上記ノイズ推定手段により推定されたノイズ量と上記局所領域の各色信号から得られる所定の統計量とを比較する比較手段と、上記比較手段による比較結果に基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、を有して構成され、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択するものである。【００２０】
第１１の発明による撮像システムは、上記第１の発明による撮像システムにおいて、上記補間選択手段が、上記ノイズ推定手段により推定されたノイズ量と所定の閾値とを比較する比較手段と、上記比較手段による比較結果に基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、を有して構成され、上記ラベル手段により付けられたラベルに応じて上記複数の補間手段の何れを用いるかを選択するものである。【００２１】
第１２の発明による撮像システムは、上記第２の発明による撮像システムにおいて、上記画素選択手段が、上記ノイズ推定手段により推定されたノイズ量と上記各色信号の平均値とに基づいて許容範囲を設定する許容範囲設定手段と、上記許容範囲に基づいて上記局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、を有して構成され、上記ラベル手段により付けられたラベルに応じて、上記補間手段における補間処理に使用する画素を選択するものである。【００２２】
第１３の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記補間画素選択手段が、上記ノイズ推定手段により推定されたノイズ量と上記局所領域の各色信号から得られる所定の統計量とを比較する比較手段と、上記ノイズ量と上記各色信号の平均値とに基づいて許容範囲を設定する許容範囲設定手段と、上記比較手段による比較結果と上記許容範囲設定手段により設定された許容範囲とに基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、を有して構成され、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択するとともに該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択するものである。【００２３】
第１４の発明による撮像システムは、上記第３の発明による撮像システムにおいて、上記補間画素選択手段が、上記ノイズ推定手段により推定されたノイズ量と所定の閾値とを比較する比較手段と、上記ノイズ量と上記各色信号の平均値とに基づいて許容範囲を設定する許容範囲設定手段と、上記比較手段による比較結果と上記許容範囲設定手段により設定された許容範囲とに基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、を有して構成され、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択するとともに該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択するものである。【００２４】
第１５の発明による撮像システムは、上記第１または第３の発明による撮像システムにおいて、上記複数の補間手段を所望に選択可能とし選択された補間手段により欠落する色信号を補間させるように制御する制御手段をさらに具備したものである。【００２５】
第１６の発明による撮像システムは、上記第１５の発明による撮像システムにおいて、上記制御手段が、映像に係る、画質情報と、撮影モード情報と、の少なくとも一方を取得する情報取得手段を有して構成されたものである。【００２６】
第１７の発明による撮像システムは、上記第２または第３の発明による撮像システムにおいて、上記補間手段における補間処理に使用する画素を所望に選択可能とし選択された画素により欠落する色信号を補間させるように該補間手段を制御する制御手段をさらに具備したものである。【００２７】
第１８の発明による画像処理プログラムは、コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理させるための画像処理プログラムであって、コンピュータを、上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段、上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段、上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段、上記ノイズ推定手段により推定されたノイズ量に基づいて上記複数の補間手段の何れを用いるかを選択する補間選択手段、として機能させるためのプログラムである。【００２８】
第１９の発明による画像処理プログラムは、コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理させるための画像処理プログラムであって、コンピュータを、上記映像信号から注目画素を包含する局所領域を１つ以上抽出する抽出手段、上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段、上記注目画素において欠落する色信号を補間処理により求める補間手段、上記ノイズ推定手段により推定されたノイズ量に基づいて上記補間手段における補間処理に使用する画素を選択する画素選択手段、として機能させるためのプログラムである。【００２９】
第２０の発明による画像処理プログラムは、コンピュータに、各画素の映像信号を構成するべき複数である所定数の色信号が画素位置に応じて１つ以上欠落している映像信号を処理させるための画像処理プログラムであって、コンピュータを、上記映像信号から注目画素を包含する局所領域を複数抽出する抽出手段、上記抽出手段により抽出された局所領域毎にノイズ量を推定するノイズ推定手段、上記注目画素において欠落する色信号を互いに異なる補間処理により求める複数の補間手段、上記ノイズ推定手段により推定されたノイズ量に基づいて上記複数の補間手段の何れを用いるかを選択するとともに該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択する補間画素選択手段、として機能させるためのプログラムである。【００３０】
第２１の発明による画像処理プログラムは、上記第１８の発明による画像処理プログラムにおいて、上記補間選択手段が、上記ノイズ推定手段により推定されたノイズ量と上記局所領域の各色信号から得られる所定の統計量とを比較する比較手段と、上記比較手段による比較結果に基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、を含み、コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるためのプログラムである。【００３１】
第２２の発明による画像処理プログラムは、上記第１８の発明による画像処理プログラムにおいて、上記補間選択手段が、上記ノイズ推定手段により推定されたノイズ量と所定の閾値とを比較する比較手段と、上記比較手段による比較結果に基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするラベル手段と、を含み、コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるためのプログラムである。【００３２】
第２３の発明による画像処理プログラムは、上記第１９の発明による画像処理プログラムにおいて、上記画素選択手段が、上記ノイズ推定手段により推定されたノイズ量と上記各色信号の平均値とに基づいて許容範囲を設定する許容範囲設定手段と、上記許容範囲に基づいて上記局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、を含み、コンピュータに、上記ラベル手段により付けられたラベルに応じて上記補間手段における補間処理に使用する画素を選択させるためのプログラムである。【００３３】
第２４の発明による画像処理プログラムは、上記第２０の発明による画像処理プログラムにおいて、上記補間画素選択手段が、上記ノイズ推定手段により推定されたノイズ量と上記局所領域の各色信号から得られる所定の統計量とを比較する比較手段と、上記ノイズ量と上記各色信号の平均値とに基づいて許容範囲を設定する許容範囲設定手段と、上記比較手段による比較結果と上記許容範囲設定手段により設定された許容範囲とに基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、を含み、コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択させるためのプログラムである。【００３４】
第２５の発明による画像処理プログラムは、上記第２０の発明による画像処理プログラムにおいて、上記補間画素選択手段が、上記ノイズ推定手段により推定されたノイズ量と所定の閾値とを比較する比較手段と、上記ノイズ量と上記各色信号の平均値とに基づいて許容範囲を設定する許容範囲設定手段と、上記比較手段による比較結果と上記許容範囲設定手段により設定された許容範囲とに基づいて上記局所領域が有効であるかまたは無効であるかをラベル付けするとともに該局所領域内の各画素が有効であるかまたは無効であるかをラベル付けするラベル手段と、を含み、コンピュータに、上記ラベル手段により付けられたラベルに応じて、上記複数の補間手段の何れを用いるかを選択させるとともに、該複数の補間手段の少なくとも１つにおける補間処理に使用する画素を選択させるためのプログラムである。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施形態１における撮像システムの構成を示すブロック図。
【図２】上記実施形態１において、１０×１０画素でなる基本ブロックにおけるカラーフィルタの配置を示す図。
【図３】上記実施形態１において、６×６画素でなる矩形ブロックを示す図。
【図４】上記実施形態１において、６×４画素でなる上ブロックおよび下ブロックを示す図。
【図５】上記実施形態１において、４×６画素でなる左ブロックおよび右ブロックを示す図。
【図６】上記実施形態１において、水平ブロックおよび垂直ブロックを示す図。
【図７】上記実施形態１において、＋４５度ブロックおよび−４５度ブロックを示す図。
【図８】上記実施形態１におけるノイズ推定部の構成を示すブロック図。
【図９】上記実施形態１において、信号レベルに対するノイズ量の関係を示す線図。
【図１０】上記実施形態１において、信号レベル、温度、ゲインに対するノイズ量の関係を示す線図。
【図１１】上記実施形態１において、ノイズの算出に用いるパラメータＡの温度およびゲインに対する変化の様子の概要を示す線図。
【図１２】上記実施形態１において、ノイズの算出に用いるパラメータＢの温度およびゲインに対する変化の様子の概要を示す線図。
【図１３】上記実施形態１において、ノイズの算出に用いるパラメータＣの温度およびゲインに対する変化の様子の概要を示す線図。
【図１４】上記実施形態１における補間選択部の構成を示すブロック図。
【図１５】上記実施形態１における第１補間部の構成を示すブロック図。
【図１６】上記実施形態１において、第１補間部の補間に用いられる抽出ブロックの画素配置を示す図。
【図１７】上記実施形態１において、第１補間部によってＲ44位置のＧ補間に用いられる画素配置を示す図。
【図１８】上記実施形態１において、第１補間部によってＢ55位置のＧ補間に用いられる画素配置を示す図。
【図１９】上記実施形態１において、第１補間部によってＧ45位置のＲ，Ｂ補間に用いられる画素配置を示す図。
【図２０】上記実施形態１において、第１補間部によってＧ54位置のＲ，Ｂ補間に用いられる画素配置を示す図。
【図２１】上記実施形態１において、第１補間部によってＲ44位置のＢ補間に用いられる画素配置を示す図。
【図２２】上記実施形態１において、第１補間部によってＢ55位置のＲ補間に用いられる画素配置を示す図。
【図２３】上記実施形態１における第２補間部の構成を示すブロック図。
【図２４】上記実施形態１における第３補間部の構成を示すブロック図。
【図２５】上記実施形態１における画像処理プログラムの全体的な処理を示すフローチャート。
【図２６】上記実施形態１の画像処理プログラムにおけるノイズ推定の処理を示すフローチャート。
【図２７】上記実施形態１の画像処理プログラムにおける第１補間処理を示すフローチャート。
【図２８】上記実施形態１の画像処理プログラムにおける第２補間処理を示すフローチャート。
【図２９】本発明の実施形態２における撮像システムの構成を示すブロック図。
【図３０】上記実施形態２において、抽出部により抽出される６×６画素の基本ブロックにおけるカラーフィルタの配置を示す図。
【図３１】上記実施形態２におけるノイズ推定部の構成を示すブロック図。
【図３２】上記実施形態２における画素選択部の構成を示すブロック図。
【図３３】上記実施形態２の画像処理プログラムによる処理を示すフローチャート。
【図３４】本発明の実施形態３における撮像システムの構成を示すブロック図。
【図３５】上記実施形態３の画像処理プログラムによる処理を示すフローチャート。
【発明を実施するための最良の形態】
【００３６】
以下、図面を参照して本発明の実施の形態を説明する。【００３７】
［実施形態１］
図１から図２８は本発明の実施形態１を示したものであり、図１は撮像システムの構成を示すブロック図、図２は１０×１０画素でなる基本ブロックにおけるカラーフィルタの配置を示す図、図３は６×６画素でなる矩形ブロックを示す図、図４は６×４画素でなる上ブロックおよび下ブロックを示す図、図５は４×６画素でなる左ブロックおよび右ブロックを示す図、図６は水平ブロックおよび垂直ブロックを示す図、図７は＋４５度ブロックおよび−４５度ブロックを示す図、図８はノイズ推定部の構成を示すブロック図、図９は信号レベルに対するノイズ量の関係を示す線図、図１０は信号レベル、温度、ゲインに対するノイズ量の関係を示す線図、図１１はノイズの算出に用いるパラメータＡの温度およびゲインに対する変化の様子の概要を示す線図、図１２はノイズの算出に用いるパラメータＢの温度およびゲインに対する変化の様子の概要を示す線図、図１３はノイズの算出に用いるパラメータＣの温度およびゲインに対する変化の様子の概要を示す線図、図１４は補間選択部の構成を示すブロック図、図１５は第１補間部の構成を示すブロック図、図１６は第１補間部の補間に用いられる抽出ブロックの画素配置を示す図、図１７は第１補間部によってＲ44位置のＧ補間に用いられる画素配置を示す図、図１８は第１補間部によってＢ55位置のＧ補間に用いられる画素配置を示す図、図１９は第１補間部によってＧ45位置のＲ，Ｂ補間に用いられる画素配置を示す図、図２０は第１補間部によってＧ54位置のＲ，Ｂ補間に用いられる画素配置を示す図、図２１は第１補間部によってＲ44位置のＢ補間に用いられる画素配置を示す図、図２２は第１補間部によってＢ55位置のＲ補間に用いられる画素配置を示す図、図２３は第２補間部の構成を示すブロック図、図２４は第３補間部の構成を示すブロック図、図２５は画像処理プログラムの全体的な処理を示すフローチャート、図２６は画像処理プログラムにおけるノイズ推定の処理を示すフローチャート、図２７は画像処理プログラムにおける第１補間処理を示すフローチャート、図２８は画像処理プログラムにおける第２補間処理を示すフローチャートである。【００３８】
この撮像システムは、図１に示すように構成されている。【００３９】
レンズ系１は、被写体像を結像するためのものである。【００４０】
絞り２は、このレンズ系１内に配置されていて、該レンズ系１における光束の通過範囲を規定するためのものである。【００４１】
ローパスフィルタ３は、上記レンズ系１による結像光束から不要な高周波成分を除去するためのものである。【００４２】
撮像素子たる単板式のＣＣＤ４は、このローパスフィルタ３を介して結像される光学的な被写体像を光電変換して、電気的な映像信号を出力するものである。【００４３】
ＣＤＳ（Correlated Double Sampling）５は、ＣＣＤ４から出力される映像信号に相関二重サンプリングの処理を行うものである。【００４４】
増幅器６は、このＣＤＳ５の出力を所定の増幅率に従って増幅するものである。【００４５】
Ａ／Ｄ変換器７は、このＣＣＤ４から出力されるアナログの映像信号をデジタル信号へ変換するものである。【００４６】
画像用バッファ８は、このＡ／Ｄ変換器７から出力されたデジタルの画像データを一時的に記憶するものである。【００４７】
プリホワイトバランス部９は、この画像用バッファ８に記憶された画像データに基づき、映像信号中の所定輝度レベルの信号を色信号毎に積算することにより、簡易ホワイトバランス係数を算出するものである。このプリホワイトバランス部９により算出された簡易ホワイトバランス係数は、上記増幅器６へ出力されるようになっている。該増幅器６は、上記制御部２２の制御に基づいて、該簡易ホワイトバランス係数に応じて各色成分の増幅率を調整することにより、簡易的にホワイトバランスを調整する。【００４８】
測光評価部１０は、上記画像用バッファ８に記憶された画像データに基づき、被写体に関する測光評価を行って、その評価結果に基づき上記絞り２とＣＣＤ４と増幅器６との制御を行うものである。すなわち、該測光評価部１０は、絞り２の絞り値と、ＣＣＤ４の電子シャッタ速度と、増幅器６の増幅率と、を調整することにより、露出制御を行うようになっている。【００４９】
合焦点検出部１１は、上記画像用バッファ８に記憶された画像データに基づき合焦点検出を行い、検出結果に基づき後述するＡＦモータ１２を駆動するものである。【００５０】
ＡＦモータ１２は、この合焦点検出部１１により制御されて、上記レンズ系１に含まれるフォーカスレンズ等の駆動を行い、上記ＣＣＤ４の撮像面上に被写体像が結像されるようにするものである。【００５１】
抽出部１３は、抽出手段であって、上記画像用バッファ８に記憶された画像データから所定領域の映像信号を抽出して出力するものである。【００５２】
ノイズ推定部１４は、ノイズ推定手段であって、この抽出部１３により抽出された所定領域の映像信号からノイズを推定するものである。【００５３】
エッジ抽出部１５は、エッジ抽出手段であって、上記抽出部１３により抽出された所定領域の映像信号からエッジ成分を抽出するものである。【００５４】
補間選択部１６は、補間選択手段であり補間画素選択手段であって、上記ノイズ推定部１４により推定されたノイズと、上記エッジ抽出部１５により抽出されたエッジ成分と、に基づいて、上記抽出部１３により抽出された所定領域の映像信号に後述する第１補間部１７、第２補間部１８、第３補間部１９の何れの補間処理を行うかを選択するものである。【００５５】
第１補間部１７は、補間手段であって、上記画像用バッファ８に記憶された画像データに、後で詳しく説明するように、上記エッジ抽出部１５により抽出されたエッジ方向に基づく欠落色信号の補間処理を行うものである。【００５６】
第２補間部１８は、補間手段であって、上記画像用バッファ８に記憶された画像データに、色相関に基づく欠落色信号の補間処理を行うものである。【００５７】
第３補間部１９は、補間手段であって、上記画像用バッファ８に記憶された画像データに、線形補間処理およびキュービック補間処理による欠落色信号の補間を行うものである。【００５８】
信号処理部２０は、上記第１補間部１７、第２補間部１８、または第３補間部１９からの補間済みの画像データに公知の強調処理や圧縮処理などを行うものである。【００５９】
出力部２１は、この信号処理部２０からの画像データを例えばメモリカード等に記録するために出力するものである。【００６０】
制御手段に含まれる情報取得手段たる外部Ｉ／Ｆ部２３は、電源スイッチ、シャッタボタン、動画／静止画の切り換えや圧縮率，画像サイズ，ＩＳＯ感度の設定などの撮影時の各種モードを設定するためのモードスイッチ、等へのインターフェースを備えたものである。【００６１】
制御手段とパラメータ算出手段と情報取得手段とを兼ねた制御部２２は、上記ＣＤＳ５、増幅器６、Ａ／Ｄ変換器７、プリホワイトバランス部９、測光評価部１０、合焦点検出部１１、抽出部１３、ノイズ推定部１４、エッジ抽出部１５、補間選択部１６、第１補間部１７、第２補間部１８、第３補間部１９、信号処理部２０、出力部２１、外部Ｉ／Ｆ部２３と双方向に接続されていて、これらを含むこの撮像システムを統合的に制御するものであり、例えばマイクロコンピュータにより構成されている。【００６２】
次に、図２を参照して、ＣＣＤ４の前面に配置されているカラーフィルタの色配置について説明する。【００６３】
本実施形態においては、原色系のカラーフィルタを備えた単板式の撮像系を想定しており、例えば図２に示すような原色ベイヤー（Bayer）型のカラーフィルタが、上記ＣＣＤ４の前面に配置されたものとなっている。【００６４】
この原色ベイヤー（Bayer）型のカラーフィルタは、対角方向にＧ（緑）の画素が２つ配置され、それ以外の２画素にＲ（赤）とＢ（青）が各配置されている２×２画素の基本配置を備えており、この基本配置を上下方向および左右方向に２次元的に繰り返してＣＣＤ４上の各画素を覆うことにより、図２に示すようなフィルタ配置にしたものとなっている。【００６５】
このように、単板原色系のカラーフィルタを備えた撮像系から得られる映像信号は、各画素の映像信号を構成するべき３色の色信号が、画素位置に応じて２つ欠落（すなわち、配置されるカラーフィルタ以外の色成分の２つが欠落）したものとなっている。【００６６】
続いて、上記図１に示したような撮像システムにおける信号の流れについて説明する。【００６７】
この撮像システムは、外部Ｉ／Ｆ部２３を介して、圧縮率（画質情報）、画像サイズ（画質情報）、ＩＳＯ感度、静止画像撮影／動画撮影（撮影モード情報）、文字画像撮影（撮影モード情報）などを使用者が設定することができるように構成されており、これらの設定がなされた後に、２段式の押しボタンスイッチでなるシャッタボタンを半押しすることにより、プリ撮影モードに入る。【００６８】
上記レンズ系１，絞り２，ローパスフィルタ３を介してＣＣＤ４により撮影され出力された映像信号は、ＣＤＳ５により公知の相関二重サンプリングが行われる。【００６９】
このＣＤＳ５により処理されたアナログ信号は、増幅器６により所定量だけ増幅された後に、Ａ／Ｄ変換器７によりデジタル信号へ変換されて、画像用バッファ８へ転送される。【００７０】
この画像用バッファ８内の映像信号は、その後に、プリホワイトバランス部９と、測光評価部１０と、合焦点検出部１１と、へそれぞれ転送される。【００７１】
プリホワイトバランス部９は、映像信号中の所定輝度レベルの信号を色信号毎に積算することにより、簡易ホワイトバランス係数を算出する。そして、増幅器６は、上記制御部２２の制御に基づいて、このプリホワイトバランス部９から転送された簡易ホワイトバランス係数に応じて、色信号毎に異なるゲインを乗算することにより、ホワイトバランスをとる処理を行う。【００７２】
測光評価部１０は、画像中の輝度レベルを求めて、設定されたＩＳＯ感度や手ぶれ限界のシャッタ速度などを考慮した上で、適正露光となるように、絞り２の絞り値、ＣＣＤ４の電子シャッタ速度、増幅器６の増幅率などを制御する。【００７３】
また、合焦点検出部１１は、画像中のエッジ強度を検出して、このエッジ強度が最大となるようにＡＦモータ１２を制御し合焦画像を得る。【００７４】
このようなプリ撮影モードを行うことにより本撮影の準備が整ったところで、次に、シャッタボタンが全押しにされたことを外部Ｉ／Ｆ部２３を介して検出すると、本撮影が行われる。【００７５】
この本撮影は、プリホワイトバランス部９により求められたホワイトバランス係数と、測光評価部１０により求められた露光条件と、合焦点検出部１１により求められた合焦条件と、に基づいて行われ、これらの撮影時の条件は制御部２２へ転送される。【００７６】
こうして本撮影が行われると、映像信号が、プリ撮影のときと同様にして、画像用バッファ８へ転送され記憶される。【００７７】
抽出部１３は、制御部２２の制御に基づいて、画像用バッファ８内の映像信号を所定領域単位で抽出し、ノイズ推定部１４，エッジ抽出部１５，補間選択部１６へそれぞれ転送する。なお、抽出部１３が抽出する所定領域は、本実施形態においては、図２に示すような１０×１０画素の基本ブロックであることを想定している。また、補間処理の対象となる注目画素は、図２に示したような基本ブロックの中心に位置する２×２画素でなる４画素（Ｒ44，Ｇ54，Ｇ45，Ｂ55）であることを想定している。従って、上記抽出部１３による所定領域の抽出は、上記１０×１０画素の基本ブロックを、水平方向または垂直方向に２画素ずつ移動させながら（つまり、基本ブロックをオーバーラップさせながら）行うことになる。【００７８】
さらに、抽出部１３は、上記１０×１０画素の基本ブロックの中心部における６×６画素でなる図３に示すような矩形ブロックと、この矩形ブロック内の上側６×４画素および下側６×４画素でなる図４に示すような上ブロックおよび下ブロックと、上記矩形ブロック内の左側４×６画素および右側４×６画素でなる図５に示すような左ブロックおよび右ブロックと、を各抽出して、上記ノイズ推定部１４と上記エッジ抽出部１５とへ必要に応じてそれぞれ転送する。【００７９】
ノイズ推定部１４は、制御部２２の制御に基づいて、抽出部１３から転送される領域に対してノイズ量を色信号毎に、本実施形態においてはＲＧＢの各色信号毎に推定し、推定した結果を補間選択部１６へ転送する。このときのノイズ推定部１４によるノイズ量の推定は、上記図３に示したような６×６画素の矩形ブロックで行われた後に、上記図４に示したような上，下のブロック、および上記図５に示したような左，右のブロックでそれぞれ行われる。【００８０】
エッジ抽出部１５は、制御部２２の制御に基づいて、抽出部１３から転送される６×６画素の矩形ブロックに対して、所定方向のエッジ強度を算出して、この結果を補間選択部１６および第１補間部１７へ転送する。【００８１】
ここに、エッジ抽出部１５は、本実施形態においては、図３に示したような６×６画素の矩形ブロックに関して、エッジ強度として次の数式１に示すような４８個の量を算出するようになっている。  
［数１］
Ｒ水平方向  ｜Ｒ22−Ｒ42｜，｜Ｒ42−Ｒ62｜，｜Ｒ24−Ｒ44｜
，｜Ｒ44−Ｒ64｜，｜Ｒ26−Ｒ46｜，｜Ｒ46−Ｒ66｜
Ｒ垂直方向  ｜Ｒ22−Ｒ24｜，｜Ｒ24−Ｒ26｜，｜Ｒ42−Ｒ44｜
，｜Ｒ44−Ｒ46｜，｜Ｒ62−Ｒ64｜，｜Ｒ64−Ｒ66｜
Ｇ水平方向  ｜Ｇ32−Ｇ52｜，｜Ｇ52−Ｇ72｜，｜Ｇ23−Ｇ43｜
，｜Ｇ43−Ｇ63｜，｜Ｇ34−Ｇ54｜，｜Ｇ54−Ｇ74｜
，｜Ｇ25−Ｇ45｜，｜Ｇ45−Ｇ65｜，｜Ｇ36−Ｇ56｜
，｜Ｇ56−Ｇ76｜，｜Ｇ27−Ｇ47｜，｜Ｇ47−Ｇ67｜
Ｇ垂直方向  ｜Ｇ23−Ｇ25｜，｜Ｇ25−Ｇ27｜，｜Ｇ32−Ｇ34｜
，｜Ｇ34−Ｇ36｜，｜Ｇ43−Ｇ45｜，｜Ｇ45−Ｇ47｜
，｜Ｇ52−Ｇ54｜，｜Ｇ54−Ｇ56｜，｜Ｇ63−Ｇ65｜
，｜Ｇ65−Ｇ67｜，｜Ｇ72−Ｇ74｜，｜Ｇ74−Ｇ76｜
Ｂ水平方向  ｜Ｂ33−Ｂ53｜，｜Ｂ53−Ｂ73｜，｜Ｂ35−Ｂ55｜
，｜Ｂ55−Ｂ75｜，｜Ｂ37−Ｂ57｜，｜Ｂ57−Ｂ77｜
Ｂ垂直方向  ｜Ｂ33−Ｂ35｜，｜Ｂ35−Ｂ37｜，｜Ｂ53−Ｂ55｜
，｜Ｂ55−Ｂ57｜，｜Ｂ73−Ｂ75｜，｜Ｂ75−Ｂ77｜
ここに、記号「｜｜」は絶対値をとることを意味している。【００８２】
こうして、エッジ抽出部１５により、上記数式１に示すように算出されたエッジ強度は、補間選択部１６と第１補間部１７とへそれぞれ転送される。ただし、エッジ抽出部１５が第１補間部１７へ転送するエッジ強度は、次の数式２に示すようなＲとＧのエッジ強度を組み合わせた４個と、数式３に示すようなＢとＧのエッジ強度を組み合わせた４個との、合計８個の量となっている。  
［数２］
ＥＲ上＝｜Ｒ44−Ｒ42｜＋｜Ｇ43−Ｇ45｜
ＥＲ下＝｜Ｒ44−Ｒ46｜＋｜Ｇ43−Ｇ45｜
ＥＲ左＝｜Ｒ44−Ｒ24｜＋｜Ｇ34−Ｇ54｜
ＥＲ右＝｜Ｒ44−Ｒ64｜＋｜Ｇ34−Ｇ54｜
［数３］
ＥＢ上＝｜Ｂ55−Ｂ53｜＋｜Ｇ54−Ｇ56｜
ＥＢ下＝｜Ｂ55−Ｂ57｜＋｜Ｇ54−Ｇ56｜
ＥＢ左＝｜Ｂ55−Ｂ35｜＋｜Ｇ45−Ｇ65｜
ＥＢ右＝｜Ｂ55−Ｂ75｜＋｜Ｇ45−Ｇ65｜【００８３】
補間選択部１６は、制御部２２の制御に基づいて、上記ノイズ推定部１４からのノイズ量と、上記エッジ抽出部１５からのエッジ強度と、内部で算出した各色信号の分散と、に基づき、所定領域が補間処理において有効であるかまたは無効であるかを判断して、第１補間部１７，第２補間部１８，第３補間部１９の何れか１つを選択する。そして、補間選択部１６は、選択した補間部へ、抽出部１３から転送された所定領域、本実施形態においては１０×１０画素の基本ブロック、の映像信号を転送する。【００８４】
第１補間部１７，第２補間部１８，第３補間部１９は、補間選択部１６により選択されて映像信号が転送された場合に、制御部２２の制御に基づいて、所定の補間処理を行い、補間後の信号を信号処理部２０へ転送する。【００８５】
上述したような抽出部１３，ノイズ推定部１４，エッジ抽出部１５，補間選択部１６，第１補間部１７，第２補間部１８，第３補間部１９の処理は、制御部２２の制御に基づいて、所定領域単位で同期して行われるようになっている。【００８６】
信号処理部２０は、制御部２２の制御に基づいて、補間処理後の映像信号に対して、公知の強調処理や圧縮処理などを行い、処理後の映像信号を出力部２１へ転送する。【００８７】
出力部２１は、信号処理部２０から転送された映像信号を、メモリカード等の記録媒体へ記録して保存する。【００８８】
次に図８を参照して、上記ノイズ推定部１４の構成の一例について説明する。【００８９】
このノイズ推定部１４は、バッファ３１と、信号分離部３２と、平均算出部３３と、ゲイン算出部３４と、標準値付与部３５と、係数算出部３６と、パラメータ用ＲＯＭ３７と、関数算出部３８と、を有して構成されている。【００９０】
上記バッファ３１は、上記抽出部１３により抽出された所定領域の映像信号を一時的に記憶するものである。【００９１】
上記信号分離部３２は、分離手段であって、上記バッファ３１に記憶されている映像信号を色信号毎に分離するものである。【００９２】
上記平均算出部３３は、パラメータ算出手段であって、上記信号分離部３２により分離された色信号の平均値を算出するものである。【００９３】
上記ゲイン算出部３４は、パラメータ算出手段であって、制御部２２から転送される露光条件およびホワイトバランス係数に関する情報に基づいて、上記増幅器６における増幅量（ゲイン）を求めるものである。【００９４】
上記標準値付与部３５は、付与手段であって、上記係数算出部３６において用いる各種のパラメータが不足する場合に、該不足するパラメータとして標準的な値を付与するものである。【００９５】
上記係数算出部３６は、ノイズ量算出手段であり係数算出手段であって、平均算出部３３からの色信号の平均値に係る信号レベルと、ゲイン算出部３４からのゲインと、標準値付与部３５からの撮像素子の温度情報と、に基づいて、後述するパラメータ用ＲＯＭ３７に記憶された３つの関数から、所定領域のノイズ量を推定するための係数を算出するものである。【００９６】
上記パラメータ用ＲＯＭ３７は、係数算出手段であって、上記係数算出部３６において用いられる後述するような３つの関数を記憶するものである。【００９７】
上記関数算出部３８は、ノイズ量算出手段であり関数演算手段であって、上記係数算出部３６により算出された係数を使って後述するように定式化される関数を用い、ノイズ量を算出して、算出したノイズ量を上記補間選択部１６へ転送するものである。【００９８】
なお、上記制御部２２は、上記信号分離部３２、平均算出部３３、ゲイン算出部３４、標準値付与部３５、係数算出部３６、関数算出部３８に対して双方向に接続されており、これらを制御するようになっている。【００９９】
次に、このようなノイズ推定部１４の作用について説明する。【０１００】
抽出部１３は、制御部２２の制御に基づいて、上記画像用バッファ８から、所定位置における所定サイズの信号を抽出して、バッファ３１へ転送する。抽出部１３は、本実施形態においては、上述したように、図３に示すような６×６画素の矩形ブロック、図４に示すような６×４画素の上ブロックおよび下ブロック、図５に示すような４×６画素の左ブロックおよび右ブロック、を抽出する。従って、このノイズ推定部１４は、これら５種類の領域に関して、ノイズ量の推定を行うようになっている。【０１０１】
信号分離部３２は、制御部２２の制御に基づいて、上記バッファ３１に記憶された所定領域内の信号を、色信号毎（本実施形態では、ＲＧＢの３種類の色信号）に分離し、平均算出部３３へ転送する。【０１０２】
平均算出部３３は、制御部２２の制御に基づいて、信号分離部３２からの色信号を読み出して平均値を算出し、所定領域の信号レベルとして係数算出部３６へ転送する。【０１０３】
ゲイン算出部３４は、制御部２２から転送される、露光条件と、ホワイトバランス係数に関する情報と、に基づいて、増幅器６における増幅量（ゲイン）を求め、係数算出部３６へ転送する。【０１０４】
また、標準値付与部３５は、撮像素子たるＣＣＤ４の平均的な温度に関する情報を、係数算出部３６へ転送する。【０１０５】
係数算出部３６は、平均算出部３３からの信号レベルと、ゲイン算出部３４からのゲインと、標準値付与部３５からの撮像素子の温度情報と、に基づいて、所定領域のノイズ量を推定するための係数を、次のような定式化に基づいて算出する。【０１０６】
ここで、図９および図１０を参照して、ノイズ量の定式化について説明する。【０１０７】
図９は、信号レベルに対するノイズ量をプロットしたものである。信号レベルに対するノイズ量は、例えばこの図９に示すような関数形状となっており、ベキ乗の関数、または２次関数を用いて、比較的良好に近似することが可能である。【０１０８】
すなわち、信号レベルをＬ、ノイズ量をＮとすると、次の数式４、または数式５を用いて定式化することが可能である。  
［数４］
Ｎ＝ＡＬB＋Ｃ
または、
［数５］
Ｎ＝ＡＬ2＋ＢＬ＋Ｃ
ここに、Ａ，Ｂ，Ｃは定数項である。【０１０９】
しかしながら、ノイズ量Ｎは、信号レベルＬにより変化するだけではなく、撮像素子たるＣＣＤ４の温度や、増幅器６のゲインによっても変化する。【０１１０】
図１０は、信号レベル、温度、ゲインに対するノイズ量の変化の様子をプロットしたものである。【０１１１】
この図１０においては、温度Ｔ１，Ｔ２，Ｔ３の３つのパラメータ、かつ、ゲイン１倍，２倍，４倍の３つのパラメータ、における信号レベルＬに対するノイズ量Ｎの変化の様子を例として示している。【０１１２】
図示のように、個々の曲線は、上記数式４または数式５で近似されるような形状をなしているが、上記定数項Ａ，Ｂ，Ｃは、温度とゲインとによって異なっていることがわかる。そこで、温度をＴ、ゲインをＧとして、上記定数項Ａ，Ｂ，Ｃがこれらに依存することを考慮し、上記数式４または数式５を定式化すると、次の数式６または数式７に示すようになる。  
［数６］
Ｎ＝ａ（Ｔ，Ｇ）Ｌb(T,G)＋ｃ（Ｔ，Ｇ）
［数７］
Ｎ＝ａ（Ｔ，Ｇ）Ｌ2＋ｂ（Ｔ，Ｇ）Ｌ＋ｃ（Ｔ，Ｇ）
ここに、ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）は、温度ＴとゲインＧとをパラメータとする関数である。【０１１３】
図１１は数式６における上記関数ａ（Ｔ，Ｇ）の、図１２は数式６における上記関数ｂ（Ｔ，Ｇ）の、図１３は数式６における上記関数ｃ（Ｔ，Ｇ）の、特性の概略の様子をそれぞれ示したものである。【０１１４】
これらの各関数は、温度ＴとゲインＧとを独立変数とする２変数関数であるために、図１１〜図１３は３次元座標としてプロットされており、このプロットされた空間における曲面となっている。ただし、ここでは具体的な曲面形状を図示する代わりに、曲線を用いて大まかな特性変化の様子を示している。【０１１５】
このような関数ａ，ｂ，ｃに温度ＴとゲインＧとをパラメータとして入力することにより、各定数項Ａ，Ｂ，Ｃが出力される。そして、これらの関数の具体的な形状は、事前に、ＣＣＤ４やＣＤＳ５や増幅器６を含む撮像素子系の特性を測定することにより、容易に取得することができる。【０１１６】
上述したような３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）は、上記パラメータ用ＲＯＭ３７に記録される。【０１１７】
係数算出部３６は、温度ＴおよびゲインＧを入力パラメータとして、パラメータ用ＲＯＭ３７に記録されている３つの関数を用いて定数項Ａ，Ｂ，Ｃを算出し、算出結果を関数算出部３８へ転送する。【０１１８】
関数算出部３８は、この係数算出部３６により算出された各係数Ａ，Ｂ，Ｃを、上記数式４または数式５に適用することにより、ノイズ量Ｎを算出するための関数形状を決定して、該係数算出部３６を介して上記平均算出部３３から出力される信号値レベルＬによりノイズ量Ｎを算出する。関数算出部３８は、こうして算出したノイズ量Ｎを、上記補間選択部１６へ転送する。【０１１９】
このとき、温度Ｔ，ゲインＧ等の各パラメータを、必ずしも撮影毎に求める必要はない。任意のパラメータに関する標準値を標準値付与部３５に記憶させておき、この標準値付与部３５から読み出した標準値を係数算出部３６において用いることにより、パラメータを算出する過程を省略することも可能である。このような構成を採用することにより、処理の高速化や省電力化などを図ることが可能となる。【０１２０】
次に、図１４を参照して、補間選択部１６の構成の一例について説明する。【０１２１】
この補間選択部１６は、バッファ４１と、切換部４２と、分散算出部４３と、比較部４４と、ラベル付加部４５と、を有して構成されている。【０１２２】
上記バッファ４１は、上記抽出部１３により抽出された所定領域の映像信号を一時的に記憶するものである。【０１２３】
上記切換部４２は、後述するラベル付加部４５により付加されたラベルに応じて、上記バッファ４１に記憶された映像信号を、上記第１補間部１７，第２補間部１８，第３補間部１９の何れへ出力するかを切り換えるものである。【０１２４】
上記分散算出部４３は、比較手段であって、上記バッファ４１に記憶された映像信号の分散を算出するものである。【０１２５】
上記比較部４４は、比較手段であって、上記ノイズ推定部１４により推定されたノイズ量と、上記エッジ抽出部１５により抽出されたエッジ成分と、上記分散算出部４３により算出された分散と、を比較するものである。【０１２６】
上記ラベル付加部４５は、ラベル手段であって、上記比較部４４による比較結果に基づいて、上記バッファ４１に記憶されている映像信号に後述するようなラベルを付加して、上記切換部４２へ転送するものである。【０１２７】
また、上記制御部２２は、上記切換部４２、分散算出部４３、比較部４４、ラベル付加部４５に対して双方向に接続されており、これらを制御するようになっている。【０１２８】
続いて、このような補間選択部１６の作用について説明する。【０１２９】
抽出部１３は、制御部２２の制御に基づいて、上記画像用バッファ８から、所定位置における所定サイズの信号を抽出して、バッファ４１へ転送する。抽出部１３は、本実施形態においては、上述したように、図３に示すような６×６画素の矩形ブロック、図４に示すような６×４画素の上ブロックおよび下ブロック、図５に示すような４×６画素の左ブロックおよび右ブロック、の５種類を抽出する。【０１３０】
分散算出部４３は、バッファ４１に記憶された所定領域の映像信号に関して、色信号別（本実施形態では、ＲＧＢの３種類の色信号別）に分散を算出し、算出した分散を比較部４４へ転送する。【０１３１】
比較部４４は、ノイズ推定部１４により算出されたノイズ量と、エッジ抽出部１５により算出された数式１に示すような４８個のエッジ強度の内の最大値と、分散算出部４３により算出された分散と、を比較する。この比較は、ノイズ量に対する分散の大小と、ノイズ量に対するエッジ強度の最大値の大小と、に基づき行われる。すなわち、比較部４４は、「分散＞ノイズ量」であり、かつ「エッジ強度の最大値＞ノイズ量」を満たす場合には、有効なエッジ構造がある領域であると判断する。これに対して、比較部４４は、「分散＞ノイズ量」と「エッジ強度の最大値＞ノイズ量」との少なくとも一方が満たされない場合には、平坦領域であると判断する。このような比較は、本実施形態においては、図３、図４、図５に示すような５種類の領域の各々に関して、ＲＧＢの３種類の色信号毎に、順次行われる。こうして比較部４４により判断された結果は、ラベル付加部４５へ転送される。【０１３２】
上述したような分散算出部４３の処理と比較部４４の処理とは、制御部２２に基づいて、所定領域単位で同期して行われる。【０１３３】
ラベル付加部４５は、上記比較部４４から転送された比較結果に基づいて、所定領域が有効なエッジ構造がある領域であるか、または平坦領域であるかを、ラベル付けする。このラベル付けは、例えば、有効なエッジ構造がある領域を１、平坦領域を０、とするなどの数値の付加により行われる。１つの所定領域はＲＧＢの３種類の色信号から構成されているために、上記ラベルは、１つの所定領域に対して３つ発生することになる。【０１３４】
そして、ラベル付加部４５は、１つの所定領域に対して発生する３つのラベルを加算する。このような加算演算を行うことにより、ラベルが取り得る値としては、３種類の色信号が全て平坦領域である０から、３種類の色信号が全てエッジ構造がある領域となる３までの、４種類となる。【０１３５】
切換部４２は、上記ラベル付加部４５から送信されるラベルに基づいて、上記第１補間部１７，第２補間部１８，第３補間部１９の何れにより補間処理を行うかを切り換える処理を行う。【０１３６】
すなわち、切換部４２は、まず、図３に示すような６×６画素の矩形ブロックに関して、ラベルが０となる場合、すなわち、ＲＧＢの色信号の全てが平坦であると判断された場合に、第２補間部１８を選択する。【０１３７】
次に、切換部４２は、図４および図５に示すような上下左右のブロックに関して、ラベルが２以下のブロックが１つでも存在する場合、すなわち４方向かつ３種類の色信号中に１つでも平坦領域が存在する場合には、第１補間部１７を選択する。【０１３８】
最後に、切換部４２は、図４および図５に示すような上下左右のブロックに関して、ラベルが全て３、すなわち４方向かつ３種類の色信号の全てがエッジ構造のある領域である場合には、第３補間部１９を選択する。【０１３９】
そして、切換部４２は、抽出部１３からの１０×１０画素の基本ブロックの映像信号を選択した補間部へ転送するとともに、選択結果を制御部２２へ転送する。【０１４０】
次に、図１５を参照して、第１補間部１７の構成の一例について説明する。【０１４１】
この第１補間部１７は、バッファ５１と、補間部５２と、補間値バッファ５３と、演算部５４と、Ｇエッジ抽出部５５と、重み算出部５６と、重みバッファ５７と、を有して構成されている。【０１４２】
上記バッファ５１は、上記補間選択部１６から転送された所定領域の映像信号を一時的に記憶するものである。【０１４３】
上記補間部５２は、補間信号算出手段であって、上記バッファ５１に記憶された所定領域の映像信号から補間値（補間信号）を算出するものである。【０１４４】
上記補間値バッファ５３は、上記補間部５２により算出された補間値を一時的に記憶するものである。【０１４５】
上記演算部５４は、演算手段であって、上記重みバッファ５７に記憶されている重みを用いて、上記補間値バッファ５３に記憶されている補間値を重み付け加算することにより、欠落する色成分を算出し、上記信号処理部２０とバッファ５１とへ出力するものである。【０１４６】
上記Ｇエッジ抽出部５５は、エッジ抽出手段であって、上記補間部５２や演算部５４によりまずＧ成分に対する補間処理が行われて上記バッファ５１に記憶された後に、該バッファ５１からＧ成分を読み出して、他の欠落色成分を算出するのに必要なＧ成分のエッジを抽出するものである。【０１４７】
上記重み算出部５６は、重み算出手段であって、Ｇ成分に関する補間処理を行う場合には上記エッジ抽出部１５により抽出されたエッジ成分を用いて重みを算出し、Ｒ成分またはＢ成分に関する補間処理を行う場合には上記Ｇエッジ抽出部５５により抽出されたＧ成分のエッジを用いて重みを算出するものである。【０１４８】
上記重みバッファ５７は、上記重み算出部５６により算出された重みを一時的に記憶するものである。【０１４９】
なお、上記制御部２２は、上記補間部５２、演算部５４、Ｇエッジ抽出部５５、重み算出部５６に対して双方向に接続されており、これらを制御するようになっている。【０１５０】
続いて、このような第１補間部１７の作用について説明する。【０１５１】
補間選択部１６は、制御部２２の制御に基づいて、上記抽出部１３により抽出された所定サイズの領域の映像信号、本実施形態においては上述したように１０×１０画素の領域の映像信号をバッファ５１へ転送する。このときに、該第１補間部１７により補間処理を行う注目画素は、上述したように、１０×１０画素でなる所定領域の中心部に位置する２×２画素であるものとする。【０１５２】
以下の説明は、補間処理に直接関係する６×６画素サイズの領域（図１６参照）について行うが、上記バッファ５１へは、上述したように１０×１０画素でなる領域の映像信号が転送されている。【０１５３】
図１６は、６×６画素サイズの領域と、この領域内の各画素位置における色信号Ｓij（Ｓは色信号の種類を示しＳ＝Ｒ，Ｇ，Ｂ、ｉはＸ方向の画素座標を示しｉ＝２〜７、ｊはＹ方向の画素座標を示しｊ＝２〜７）と、を示している。【０１５４】
第１補間部１７は、この図１６に示すような６×６画素サイズの領域の映像信号を用いて、中央部の２×２画素でなる着目領域において欠落している色信号の補間処理を行う。【０１５５】
すなわち、図示の例においては、Ｒ44位置において欠落している色成分Ｇ44，Ｂ44と、Ｇ54位置において欠落している色成分Ｒ54，Ｂ54と、Ｇ45位置において欠落している色成分Ｒ45，Ｂ45と、Ｂ55位置において欠落している色成分Ｒ55，Ｇ55と、をそれぞれ算出することになる。【０１５６】
補間処理は、Ｇ成分についての補間が先行して行われ、すなわち、Ｒ44位置の欠落成分Ｇ44と、Ｂ55位置の欠落成分Ｇ55と、が先に求められる。【０１５７】
まず、エッジ抽出部１５により上記数式２に示したように算出されたＲ44画素に対する上下左右の４方向のエッジ強度が、重み算出部５６へ転送される。【０１５８】
重み算出部５６は、これら４方向のエッジ強度の総和totalを、次の数式８に示すように算出する。  
［数８］
total＝ＥＲ上＋ＥＲ下＋ＥＲ左＋ＥＲ右
そして、重み算出部５６は、各エッジ強度をこの総和totalで除算することにより、次の数式９に示すような正規化された重み係数を算出する。  
［数９］
Ｗ上＝ＥＲ上／total
Ｗ下＝ＥＲ下／total
Ｗ左＝ＥＲ左／total
Ｗ右＝ＥＲ右／total【０１５９】
重み算出部５６により算出されたこれらの４方向の重み係数は、重みバッファ５７へ転送されて、記憶される。【０１６０】
一方、補間部５２は、Ｒ44画素に対して、該Ｒ44画素の上下左右の４方向の色差成分を次の数式１０に示すように補間する。  
［数１０］
Ｃｒ上＝Ｇ43−（Ｒ44＋Ｒ42）／２
Ｃｒ下＝Ｇ45−（Ｒ44＋Ｒ46）／２
Ｃｒ左＝Ｇ34−（Ｒ44＋Ｒ24）／２
Ｃｒ右＝Ｇ54−（Ｒ44＋Ｒ64）／２【０１６１】
補間部５２により算出されたこれら４方向の補間値は、補間値バッファ５３へ転送されて、記憶される。【０１６２】
演算部５４は、制御部２２の制御に基づいて、重みバッファ５７に記憶されている重み係数と、補間値バッファ５３に記憶されている補間値と、を用いてＲ44画素位置の欠落成分Ｇ44を次の数式１１に示すように算出する。  
［数１１］
Ｇ44＝Ｒ44＋ΣＣｒk・Ｗk    （ｋ＝上，下，左，右）【０１６３】
図１７は、上述したようなＲ44画素位置のＧ44成分を補間するときに用いられる画素の配置を示している。【０１６４】
こうして、演算部５４により算出されたＧ44成分は、上記信号処理部２０へ転送されるとともに、上記バッファ５１へも転送されて記憶される。【０１６５】
次に、Ｂ55画素位置におけるＧ55成分の算出が、同様にして行われる。【０１６６】
すなわち、エッジ抽出部１５により上記数式３に示したように算出されたＢ55画素に対する上下左右の４方向のエッジ強度が、重み算出部５６へ転送される。【０１６７】
重み算出部５６は、これら４方向のエッジ強度の総和totalを、次の数式１２に示すように算出する。  
［数１２］
total＝ＥＢ上＋ＥＢ下＋ＥＢ左＋ＥＢ右
そして、重み算出部５６は、各エッジ強度をこの総和totalで除算することにより、次の数式１３に示すような正規化された重み係数を算出する。  
［数１３］
Ｗ上＝ＥＢ上／total
Ｗ下＝ＥＢ下／total
Ｗ左＝ＥＢ左／total
Ｗ右＝ＥＢ右／total【０１６８】
重み算出部５６により算出されたこれらの４方向の重み係数は、重みバッファ５７へ転送されて、記憶される。【０１６９】
一方、補間部５２は、Ｂ55画素に対して、該Ｂ55画素の上下左右の４方向の色差成分を次の数式１４に示すように補間する。  
［数１４］
Ｃｂ上＝Ｇ54−（Ｂ55＋Ｂ53）／２
Ｃｂ下＝Ｇ56−（Ｂ55＋Ｂ57）／２
Ｃｂ左＝Ｇ45−（Ｂ55＋Ｂ35）／２
Ｃｂ右＝Ｇ65−（Ｂ55＋Ｂ75）／２【０１７０】
補間部５２により算出されたこれら４方向の補間値は、補間値バッファ５３へ転送されて、記憶される。【０１７１】
演算部５４は、制御部２２の制御に基づいて、重みバッファ５７に記憶されている重み係数と、補間値バッファ５３に記憶されている補間値と、を用いてＢ55画素位置の欠落成分Ｇ55を次の数式１５に示すように算出する。  
［数１５］
Ｇ55＝Ｂ55＋ΣＣｂk・Ｗk    （ｋ＝上，下，左，右）【０１７２】
図１８は、上述したようなＢ55画素位置のＧ55成分を補間するときに用いられる画素の配置を示している。【０１７３】
こうして、演算部５４により算出されたＧ55成分は、上記信号処理部２０へ転送されるとともに、上記バッファ５１へも転送されて記憶される。【０１７４】
このようなＧ信号に対する補間処理が、図１６に示すような６×６画素サイズの領域における全てのＲ画素およびＢ画素に対して行われる。これにより、上記バッファ５１には、６×６画素の領域に関して、全ての画素位置のＧ成分が記録される。なお、上記バッファ５１に、上述したように１０×１０画素の領域の映像信号が転送されて記憶されているのは、６×６画素サイズの領域の周辺に位置するＲ画素およびＢ画素に対してもＧ成分の補間処理を行うことができるようにするためである。【０１７５】
次に、制御部２２は、第１補間部１７に対して、Ｇ45位置の欠落成分Ｒ45，Ｂ45と、Ｇ54位置の欠落成分Ｒ54，Ｂ54と、Ｒ44位置の欠落成分Ｂ44と、Ｂ55位置の欠落成分Ｒ55と、についての補間処理を行わせる。これらの補間処理を行う際には、上述したように算出されたＧ信号も使用されることになる。このような理由から、まずＧ信号の補間が先行して行われるようになっている。【０１７６】
まず、図１９を参照して、Ｇ45位置における欠落成分Ｒ45，Ｂ45の補間処理について説明する。【０１７７】
Ｒ45を算出する際の上記各数式に相当する数式１６〜数式２０は、次のようになっている。  
［数１６］
Ｅ上左＝｜Ｇ45−Ｇ24｜
Ｅ上中＝｜Ｇ45−Ｇ44｜
Ｅ上右＝｜Ｇ45−Ｇ64｜
Ｅ下左＝｜Ｇ45−Ｇ26｜
Ｅ下中＝｜Ｇ45−Ｇ46｜
Ｅ下右＝｜Ｇ45−Ｇ66｜
［数１７］
total＝Ｅ上左＋Ｅ上中＋Ｅ上右＋Ｅ下左＋Ｅ下中＋Ｅ下右
［数１８］
Ｗ上左＝Ｅ上左／total
Ｗ上中＝Ｅ上中／total
Ｗ上右＝Ｅ上右／total
Ｗ下左＝Ｅ下左／total
Ｗ下中＝Ｅ下中／total
Ｗ下右＝Ｅ下右／total
［数１９］
Ｃｒ上左＝Ｇ24−Ｒ24
Ｃｒ上中＝Ｇ44−Ｒ44
Ｃｒ上右＝Ｇ64−Ｒ64
Ｃｒ下左＝Ｇ26−Ｒ26
Ｃｒ下中＝Ｇ46−Ｒ46
Ｃｒ下右＝Ｇ66−Ｒ66
［数２０］
Ｒ45＝Ｇ45−ΣＣｒk ・Ｗk 
（ｋ＝上左，上中，上右，下左，下中，下右）【０１７８】
同様に、Ｂ45を算出する際の上記各数式に相当する数式２１〜数式２５は、次のようになっている。  
［数２１］
Ｅ上左＝｜Ｇ45−Ｇ33｜
Ｅ上右＝｜Ｇ45−Ｇ53｜
Ｅ中左＝｜Ｇ45−Ｇ35｜
Ｅ中右＝｜Ｇ45−Ｇ55｜
Ｅ下左＝｜Ｇ45−Ｇ37｜
Ｅ下右＝｜Ｇ45−Ｇ57｜
［数２２］
total＝Ｅ上左＋Ｅ上右＋Ｅ中左＋Ｅ中右＋Ｅ下左＋Ｅ下右
［数２３］
Ｗ上左＝Ｅ上左／total
Ｗ上右＝Ｅ上右／total
Ｗ中左＝Ｅ中左／total
Ｗ中右＝Ｅ中右／total
Ｗ下左＝Ｅ下左／total
Ｗ下右＝Ｅ下右／total
［数２４］
Ｃｂ上左＝Ｇ33−Ｂ33
Ｃｂ上右＝Ｇ53−Ｂ53
Ｃｂ中左＝Ｇ35−Ｂ35
Ｃｂ中右＝Ｇ55−Ｂ55
Ｃｂ下左＝Ｇ37−Ｂ37
Ｃｂ下右＝Ｇ57−Ｂ57
［数２５］
Ｂ45＝Ｇ45−ΣＣｂk ・Ｗk 
（ｋ＝上左，上右，中左，中右，下左，下右）【０１７９】
次に、図２０を参照して、Ｇ54位置における欠落成分Ｒ54，Ｂ54の補間処理について説明する。【０１８０】
Ｒ54を算出する際の上記各数式に相当する数式２６〜数式３０は、次のようになっている。  
［数２６］
Ｅ上左＝｜Ｇ54−Ｇ42｜
Ｅ上右＝｜Ｇ54−Ｇ62｜
Ｅ中左＝｜Ｇ54−Ｇ44｜
Ｅ中右＝｜Ｇ54−Ｇ64｜
Ｅ下左＝｜Ｇ54−Ｇ46｜
Ｅ下右＝｜Ｇ54−Ｇ66｜
［数２７］
total＝Ｅ上左＋Ｅ上右＋Ｅ中左＋Ｅ中右＋Ｅ下左＋Ｅ下右
［数２８］
Ｗ上左＝Ｅ上左／total
Ｗ上右＝Ｅ上右／total
Ｗ中左＝Ｅ中左／total
Ｗ中右＝Ｅ中右／total
Ｗ下左＝Ｅ下左／total
Ｗ下右＝Ｅ下右／total
［数２９］
Ｃｒ上左＝Ｇ42−Ｒ42
Ｃｒ上右＝Ｇ62−Ｒ62
Ｃｒ中左＝Ｇ44−Ｒ44
Ｃｒ中右＝Ｇ64−Ｒ64
Ｃｒ下左＝Ｇ46−Ｒ46
Ｃｒ下右＝Ｇ66−Ｒ66
［数３０］
Ｒ54＝Ｇ54−ΣＣｒk ・Ｗk 
（ｋ＝上左，上右，中左，中右，下左，下右）【０１８１】
同様に、Ｂ54を算出する際の上記各数式に相当する数式３１〜数式３５は、次のようになっている。  
［数３１］
Ｅ上左＝｜Ｇ54−Ｇ33｜
Ｅ上中＝｜Ｇ54−Ｇ53｜
Ｅ上右＝｜Ｇ54−Ｇ73｜
Ｅ下左＝｜Ｇ54−Ｇ35｜
Ｅ下中＝｜Ｇ54−Ｇ55｜
Ｅ下右＝｜Ｇ54−Ｇ75｜
［数３２］
total＝Ｅ上左＋Ｅ上中＋Ｅ上右＋Ｅ下左＋Ｅ下中＋Ｅ下右
［数３３］
Ｗ上左＝Ｅ上左／total
Ｗ上中＝Ｅ上中／total
Ｗ上右＝Ｅ上右／total
Ｗ下左＝Ｅ下左／total
Ｗ下中＝Ｅ下中／total
Ｗ下右＝Ｅ下右／total
［数３４］
Ｃｂ上左＝Ｇ33−Ｂ33
Ｃｂ上中＝Ｇ53−Ｂ53
Ｃｂ上右＝Ｇ73−Ｂ73
Ｃｂ下左＝Ｇ35−Ｂ35
Ｃｂ下中＝Ｇ55−Ｂ55
Ｃｂ下右＝Ｇ75−Ｂ75
［数３５］
Ｂ54＝Ｇ54−ΣＣｂk ・Ｗk 
（ｋ＝上左，上中，上右，下左，下中，下右）【０１８２】
このように、Ｇ45位置の欠落成分Ｒ45，Ｂ45と、Ｇ54位置の欠落成分Ｒ54，Ｂ54と、を補間する際には、６方向の重み係数と補間値（色差成分）とを用いている。【０１８３】
次に、図２１は、Ｒ44位置のＢ44を補間する際に用いる周辺画素の様子を示す図である。【０１８４】
Ｂ44を算出する際の上記各数式に相当する数式３６〜数式４０は、次のようになっている。  
［数３６］
Ｅ上左＝｜Ｇ44−Ｇ33｜
Ｅ上右＝｜Ｇ44−Ｇ53｜
Ｅ下左＝｜Ｇ44−Ｇ35｜
Ｅ下右＝｜Ｇ44−Ｇ55｜
［数３７］
total＝Ｅ上左＋Ｅ上右＋Ｅ下左＋Ｅ下右
［数３８］
Ｗ上左＝Ｅ上左／total
Ｗ上右＝Ｅ上右／total
Ｗ下左＝Ｅ下左／total
Ｗ下右＝Ｅ下右／total
［数３９］
Ｃｂ上左＝Ｇ33−Ｂ33
Ｃｂ上右＝Ｇ53−Ｂ53
Ｃｂ下左＝Ｇ35−Ｂ35
Ｃｂ下右＝Ｇ55−Ｂ55
［数４０］
Ｂ44＝Ｇ44−ΣＣｂk ・Ｗk     （ｋ＝上左，上右，下左，下右）【０１８５】
次に、図２２は、Ｂ55位置のＲ55を補間する際に用いる周辺画素の様子を示す図である。【０１８６】
Ｒ55を算出する際の上記各数式に相当する数式４１〜数式４５は、次のようになっている。  
［数４１］
Ｅ上左＝｜Ｇ55−Ｇ44｜
Ｅ上右＝｜Ｇ55−Ｇ64｜
Ｅ下左＝｜Ｇ55−Ｇ46｜
Ｅ下右＝｜Ｇ55−Ｇ66｜
［数４２］
total＝Ｅ上左＋Ｅ上右＋Ｅ下左＋Ｅ下右
［数４３］
Ｗ上左＝Ｅ上左／total
Ｗ上右＝Ｅ上右／total
Ｗ下左＝Ｅ下左／total
Ｗ下右＝Ｅ下右／total
［数４４］
Ｃｒ上左＝Ｇ44−Ｒ44
Ｃｒ上右＝Ｇ64−Ｒ64
Ｃｒ下左＝Ｇ46−Ｒ46
Ｃｒ下右＝Ｇ66−Ｒ66
［数４５］
Ｒ55＝Ｇ55−ΣＣｒk ・Ｗk     （ｋ＝上左，上右，下左，下右）【０１８７】
なお、図１９〜図２２に示したような処理に使用されるエッジ強度は、Ｇエッジ抽出部５５によって算出されて、重み算出部５６へ転送される。【０１８８】
上述したような補間処理が終了した後に、算出された各信号が、上記信号処理部２０へ転送されて処理される。【０１８９】
次に、図２３を参照して、第２補間部１８の構成の一例について説明する。【０１９０】
この第２補間部１８は、バッファ６１と、相関算出部６２と、演算部６３と、を有して構成されている。【０１９１】
上記バッファ６１は、上記補間選択部１６から転送された所定領域の映像信号を一時的に記憶するものである。【０１９２】
上記相関算出部６２は、相関算出手段であって、上記バッファ６１に記憶された映像信号から、色信号同士の相関を算出するものである。【０１９３】
上記演算部６３は、演算手段であって、上記相関算出部６２により算出された相関に基づき、上記バッファ６１から映像信号を読み出して、欠落する色成分を算出し、信号処理部２０へ出力するものである。【０１９４】
なお、上記制御部２２は、上記相関算出部６２、演算部６３に対して双方向に接続されており、これらを制御するようになっている。【０１９５】
続いて、このような第２補間部１８の作用について説明する。【０１９６】
補間選択部１６は、制御部２２の制御に基づいて、所定サイズ、本実施形態においては上記図２に示したような１０×１０画素の基本ブロックの映像信号をバッファ６１へ転送する。【０１９７】
相関算出部６２は、制御部２２の制御に基づいて、バッファ６１に記憶されている単板状態の原信号から相関関係を線形式として回帰する。【０１９８】
すなわち、ＲＧＢの３信号をＳ（Ｓ＝Ｒ，Ｇ，Ｂ）とし、基本ブロックにおけるＳ信号の平均をＡＶ＿Ｓ、基本ブロックにおけるＳ信号の分散をＶａｒ＿Ｓとすると、２つの色信号ＳとＳ’（ただし、Ｓ≠Ｓ’）と間に線形な色相関が成立するならば、その線形式は次の数式４６により回帰される。  
［数４６］
Ｓ’＝（Ｖａｒ＿Ｓ’／Ｖａｒ＿Ｓ）×（Ｓ−ＡＶ＿Ｓ）＋ＡＶ＿Ｓ’【０１９９】
この数式４６に示すような線形式をＲ−Ｇの信号間、Ｇ−Ｂの信号間、およびＲ−Ｂの信号間でそれぞれ求めて、求めた結果を演算部６３へ転送する。【０２００】
演算部６３は、数式４６に示したような線形式と、上記バッファ６１に記憶されている原信号と、に基づいて、該バッファ６１上の１０×１０画素の基本ブロックにおける中央部の２×２画素、つまりＲ44画素，Ｇ54画素，Ｇ45画素，Ｂ55画素のそれぞれに対して欠落する色信号を算出する。【０２０１】
具体的には、Ｒ44画素の位置については、Ｒ−Ｇの信号間に成り立つ数式４６の線形式を用いてＧ44成分を算出し、Ｒ−Ｂの信号間に成り立つ数式４６の線形式を用いてＢ44成分を算出することになる。このような処理を、他のＧ54画素，Ｇ45画素，Ｂ55画素についても同様に行う。【０２０２】
こうして演算部６３により算出された欠落する色信号は、原信号とともに、信号処理部２０へ転送される。【０２０３】
次に、図２４を参照して、第３補間部１９の構成の一例について説明する。【０２０４】
この第３補間部１９は、バッファ７１と、ＲＢ線形補間部７２と、Ｇキュービック補間部７３と、を有して構成されている。【０２０５】
上記バッファ７１は、上記補間選択部１６から転送された所定領域の映像信号を一時的に記憶するものである。【０２０６】
上記ＲＢ線形補間部７２は、演算手段であって、上記バッファ７１に記憶された所定領域の映像信号の内の着目領域について、欠落するＲ，Ｂ信号を公知の線形補間処理により算出し信号処理部２０へ出力するものである。【０２０７】
上記Ｇキュービック補間部７３は、演算手段であって、バッファ７１に記憶された所定領域の映像信号の内の着目領域について、欠落するＧ信号を公知のキュービック補間処理により算出し、信号処理部２０へ出力するものである。【０２０８】
なお、上記制御部２２は、上記ＲＢ線形補間部７２、Ｇキュービック補間部７３に対して双方向に接続されており、これらを制御するようになっている。【０２０９】
続いて、このような第３補間部１９の作用について説明する。【０２１０】
補間選択部１６は、制御部２２の制御に基づいて、所定サイズ、本実施形態においては上記図２に示したような１０×１０画素の基本ブロックの映像信号をバッファ７１へ順次転送する。【０２１１】
ＲＢ線形補間部７２は、バッファ７１に記憶されている１０×１０画素の基本ブロックにおける中央部の２×２画素（着目領域）について、欠落するＲ，Ｂ信号を算出する。すなわち、図２に示す画素構成においては、着目領域のＧ54画素およびＧ45画素に対して、Ｒ54信号，Ｂ54信号、およびＲ45信号，Ｂ45信号がそれぞれ欠落している。従って、これらのＲ，Ｂ信号を公知の線形補間処理により算出する。さらに、着目領域のＲ44画素についてＢ信号が欠落し、Ｂ55画素についてＲ信号が欠落しているために、同様に公知の線形補間処理を行って、Ｂ44信号、およびＲ55信号を算出する。こうして算出したＲＢ信号は、信号処理部２０へ出力される。【０２１２】
一方、Ｇキュービック補間部７３は、バッファ７１に記憶されている基本ブロックの着目領域について、欠落するＧ信号を算出する。すなわち、上記Ｒ44，Ｂ55画素に対して、欠落するＧ44信号，Ｇ55信号を公知のキュービック補間処理により算出し、算出したＧ信号を信号処理部２０へ出力する。【０２１３】
なお、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、ＣＣＤ４からの信号を未処理のままのロー（Ｒａｗ）データとして、制御部２２からの撮影時のＣＣＤ４の温度や増幅器６のゲインなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。【０２１４】
図２５を参照して、画像処理プログラムによる補間処理の全体について説明する。【０２１５】
処理を開始すると、まず、Ｒａｗデータでなる原信号と、ヘッダ情報と、を読み込んで（ステップＳ１）、原信号を基本ブロックを単位として、本実施形態においては図２に示したような１０×１０画素を単位として、抽出する（ステップＳ２）。【０２１６】
そして、抽出された基本ブロックにおける、図３、図４、図５に示したような矩形ブロック，上ブロック，下ブロック，左ブロック，右ブロックの５種類の領域に関して、ノイズ量の推定を行う（ステップＳ３）。このステップＳ３において推定されたノイズ量は、後述するステップＳ５およびステップＳ７の処理へ転送される。【０２１７】
一方で、上記ステップＳ２において抽出された基本ブロックに関して、エッジ強度を算出する（ステップＳ４）。より詳しくは、上記数式１に示すように算出されたエッジ強度は、後述するステップＳ５およびステップＳ７の処理へ、上記数式２，数式３に示すように算出されたエッジ強度は後述するステップＳ８の処理へ、それぞれ転送される。【０２１８】
上記ステップＳ３において算出された矩形ブロックのノイズ量と、上記ステップＳ４において算出された複数のエッジ強度の内の最大値と、各色信号の分散と、を比較する（ステップＳ５）。【０２１９】
このステップＳ５において、全ての色信号で、「分散＞ノイズ量」かつ「エッジ強度の最大値＞ノイズ量」となる場合は、有効なエッジ構造がある領域であるとして、後述するステップＳ７へ分岐し、それ以外の場合には平坦部であるとして、後述するステップＳ６の第２補間処理へ分岐する。【０２２０】
上記ステップＳ５から分岐されると、色相関を用いて欠落する色成分の補間を行う（ステップＳ６）。このステップＳ６の補間結果は、後述するステップＳ１０へ転送される。【０２２１】
また、上記ステップＳ５から分岐されると、上記ステップＳ３において算出された上ブロック，下ブロック，左ブロック，右ブロックの各ノイズ量と、上記ステップＳ４において算出された複数のエッジ強度の内の最大値と、各色信号の分散と、を比較する（ステップＳ７）。【０２２２】
このステップＳ７において、上ブロック，下ブロック，左ブロック，右ブロックの全てにおける全ての色信号中に、１つでも平坦部が存在する場合には、後述するステップＳ８の第１補間処理へ分岐し、それ以外の場合には後述するステップＳ９の第３補間処理へ分岐する。【０２２３】
上記ステップＳ７から分岐されると、エッジ方向に基づく欠落する色成分の補間を行う（ステップＳ８）。このステップＳ８の処理結果は、後述するステップＳ１０へ転送される。【０２２４】
また、上記ステップＳ７から分岐されると、欠落するＲ信号およびＢ信号を公知の線形補間処理により算出するとともに、欠落するＧ信号を公知のキュービック補間処理により算出する（ステップＳ９）。このステップＳ９の処理結果は、後述するステップＳ１０へ転送される。【０２２５】
上記ステップＳ６における第２補間処理、上記ステップＳ８における第１補間処理、または上記ステップＳ９における第３補間処理が行われたら、処理結果である補間された信号を出力する（ステップＳ１０）。【０２２６】
そして、全ての原信号に対するブロック領域の抽出処理が完了したか否かを判断し（ステップＳ１１）、完了していない場合は上記ステップＳ２へ行って上述したような処理を繰り返して行う。【０２２７】
また、ステップＳ１１において全ての原信号に対するブロック領域の処理が完了していると判断された場合には、公知の強調処理や圧縮処理を行ってから（ステップＳ１２）、処理後の信号を出力して（ステップＳ１３）、この処理を完了する。【０２２８】
次に、図２６を参照して、上記ステップＳ３におけるノイズ推定の処理について説明する。【０２２９】
この処理を開始すると、図３に示したような６×６画素の矩形ブロック、図４に示したような６×４画素の上ブロックおよび下ブロック、図５に示したような４×６画素の左ブロックおよび右ブロックをそれぞれ抽出する（ステップＳ２１）。【０２３０】
そして、抽出した各ブロックの原信号を、色信号、本実施形態においてはＲＧＢの３種類の色信号、へ分離する（ステップＳ２２）。【０２３１】
続いて、分離した色信号毎の平均値を信号レベルとして算出する（ステップＳ２３）。【０２３２】
また、ヘッダ情報に基づいて、撮影時の温度やゲインなどのパラメータを設定する（ステップＳ２４）。【０２３３】
さらに、ノイズ量算出に要する関数、例えば上記図１１〜図１３に示したような３つの関数ａ（Ｔ，Ｇ），ｂ（Ｔ，Ｇ），ｃ（Ｔ，Ｇ）のパラメータを読み込む（ステップＳ２５）。【０２３４】
その後、上記ステップＳ２３の信号レベル，ステップＳ２４の各種パラメータ，ステップＳ２５の関数を用いて、数式６または数式７に基づき、ノイズ量を算出する（ステップＳ２６）。【０２３５】
そして、局所領域内における全てのブロックの抽出が完了したか否かを判断し（ステップＳ２７）、完了していない場合は上記ステップＳ２１へ戻って上述したような処理を繰り返して行い、完了している場合はこのノイズ推定の処理を終了する。【０２３６】
続いて、図２７を参照して、上記ステップＳ８における第１補間処理について説明する。【０２３７】
ブロック内の原信号を、色信号、本実施形態においてはＲＧＢの３種類の色信号、へ分離する（ステップＳ３１）。【０２３８】
次に、上記ステップＳ４により算出したエッジ強度に基づいて、数式９、または数式１３により、重み係数を算出する（ステップＳ３２）。【０２３９】
さらに、数式１０、または数式１４により、色差成分を算出する（ステップＳ３３）。【０２４０】
そして、数式１１、または数式１５により、Ｇ信号の補間を行う（ステップＳ３４）。【０２４１】
続いて、数式１６あるいは数式２１、または数式２６あるいは数式３１により、方向別のエッジ強度を算出する（ステップＳ３５）。【０２４２】
次に、上記ステップＳ３５において算出したエッジ強度に基づいて、数式１８あるいは数式２３、または数式２８あるいは数式３３により、重み係数を算出する（ステップＳ３６）。【０２４３】
その後、数式１９あるいは数式２４、または数式２９あるいは数式３４により、色差成分を算出する（ステップＳ３７）。【０２４４】
そして、数式２０あるいは数式２５、または数式３０あるいは数式３５により、Ｒ，Ｂ信号の補間を行い（ステップＳ３８）、この第１補間処理を終了する。【０２４５】
さらに、図２８を参照して、上記ステップＳ６における第２補間処理について説明する。【０２４６】
ブロック内の原信号を、色信号、本実施形態においてはＲＧＢの３種類の色信号、へ分離する（ステップＳ４１）。【０２４７】
次に、色信号同士の相関関係を示す数式４６の相関関数における、数式の係数である相関係数を算出する（ステップＳ４２）。この相関係数の算出は、Ｒ−Ｇ，Ｇ−Ｂ，Ｒ−Ｂの各色信号間について行われる。【０２４８】
そして、上記ステップＳ４２により算出した相関係数に基づいて欠落する色信号を算出し（ステップＳ４３）、この第２補間処理を完了する。【０２４９】
なお、上述では、第１の補間処理と第２の補間処理と第３の補間処理とを必ず組み合わせて処理を行うようにしているが、このような構成に限定される必要はない。【０２５０】
例えば、上記外部Ｉ／Ｆ部２３を介して、高精細な補間処理を必要としない高圧縮率の画質モードが選択された場合や、高速処理が必要とされる動画撮影などの撮影モードが選択された場合などには、線形補間処理またはキュービック補間処理により欠落色信号の補間を行う上記第３の補間処理のみを、固定的に選択するように構成することも可能である。この場合には、制御部２２は、ノイズ推定部１４，エッジ抽出部１５，補間選択部１６などの動作を停止させて、抽出部１３により抽出した領域の映像信号を第３補間部１９へ転送するように設定すればよい。このような制御は、上記外部Ｉ／Ｆ部２３を介して手動で行うようにしても良いし、あるいは、撮影モードに応じて制御部２２が自動的に制御するように構成することも可能である。このように構成すれば、処理時間を短縮したり、あるいは消費電力を低減したりすることが可能となる。【０２５１】
また、上述では、撮像素子たるＣＣＤ４の温度を標準値付与部３５から与えられる平均的な値で代用するようにしていたが、これに限定される必要はない。例えばＣＣＤ４の近傍に温度センサなどを配設して、該温度センサから出力される実測値を用いるようにすることも可能である。このような構成を採用すれば、ノイズ量推定の精度を向上することができる。【０２５２】
さらに、上述では、ノイズ推定部１４において、図３、図４、図５に示したような矩形ブロック，上ブロック，下ブロック，左ブロック，右ブロックを使用したが、これに限定される必要はない。例えば、図６に示すような水平ブロック，垂直ブロックや、図７に示すような±４５度ブロックなど、任意の形状のブロックを用いてノイズを推定することが可能である。【０２５３】
そして、補間選択部１６では、所定領域内の色信号の分散を算出してノイズ量と比較していたが、これに限定される必要もない。例えば、所定領域内のノイズ量が所定の閾値以下である場合には平坦領域と見なす、などの簡略化を図ることも可能である。これにより、図１４に示すような補間選択部１６内の分散算出部４３を省略することができて、処理時間の短縮を図ることができるとともに、消費電力の低減を図ることが可能となる。【０２５４】
このような実施形態１によれば、エッジ方向に基づく第１の補間処理と、色相関に基づく第２の補間処理と、線形補間またはキュービック補間に基づく第３の補間処理と、を注目画素の近傍におけるノイズ量に基づいて適応的に切り換えるようにしているために、ノイズの影響を考慮した最適な補間処理を選択して、高品位な映像信号を得ることができる。【０２５５】
また、ノイズ量を推定する際に、信号レベルやゲインなどの動的に変化するパラメータを撮影毎に求めて用いるようにしたために、撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。【０２５６】
さらに、ノイズ量を推定するためのパラメータが得られない場合でも、標準値を用いることができるようにしたために、ノイズ量の推定を安定して行うことができる。【０２５７】
そして、ノイズ量の算出に関数を用いることにより、必要なメモリ量を少なくすることができ、低コスト化を図ることが可能となる。さらに、一部のパラメータ算出を意図的に省略することにより、より一層の低コスト化や省電力化を図ることができる。【０２５８】
加えて、複数方向のエッジ強度に基づいてエッジ強度に反比例する重み係数を求め、複数方向の補間信号と乗算して、その総和値を注目画素の補間信号とする補間処理を行っているために、特定方向に構造を有する領域において、高精度な補間処理を行うことが可能となる。【０２５９】
また、所定領域内の色信号間の相関関係を線形式として求めて、この線形式から補間信号を求める補間処理を行っているために、単一の色相からなる領域において、高精度な補間処理を行うことが可能となる。【０２６０】
さらに、輝度信号に近いＧ信号をキュービック補間により、その他のＲ，Ｂ信号を線形補間により補間処理しているために、処理を高速化しながら、視覚特性に整合させて全体としての画質の低下を抑制することができる。【０２６１】
そして、所定領域の統計量とノイズ量とに基づいて、所定領域が補間処理に適しているか否か（有効であるか無効であるか）を判断するようにしたために、有効なエッジ構造がある領域と平坦領域との分離能が向上し、ノイズの影響を受け難い最適な補間方法を選択することが可能となる。【０２６２】
また、所定領域のノイズ量と閾値とに基づいて、所定領域が補間処理に適しているか否か（有効であるか無効であるか）を判断するようにしたために、有効なエッジ構造がある領域と平坦領域との分離能が向上し、ノイズの影響を受け難い最適な補間方法を選択することが可能となる。また、閾値との比較を行う場合には、処理速度を高速に行うことができる利点がある。【０２６３】
さらに、補間処理の選択を手動で所望に行うことができるようにしたために、補間処理に関する使用者の意図により高い自由度で沿うことが可能であるとともに、処理時間を短縮して消費電力を低減することができる。【０２６４】
そして、圧縮率や画像サイズなどの画質情報、文字画像撮影や動画撮影などの撮影モード情報、使用者の補間処理の切り換え情報、等を取得して、これらの情報に基づき補間処理の切り換え判断を行うようにしたために、例えば高圧縮であるために高精度な補間を必要としない場合や、動画撮影などで高速な処理が優先される場合などに、補間処理の切り換えを省略して、処理速度や応答性を向上することができる。【０２６５】
［実施形態２］
図２９から図３３は本発明の実施形態２を示したものであり、図２９は撮像システムの構成を示すブロック図、図３０は抽出部により抽出される６×６画素の基本ブロックにおけるカラーフィルタの配置を示す図、図３１はノイズ推定部の構成を示すブロック図、図３２は画素選択部の構成を示すブロック図、図３３は画像処理プログラムによる処理を示すフローチャートである。【０２６６】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。【０２６７】
この実施形態２における撮像システムの構成は、上述した実施形態１の図１に示した構成と基本的にはほぼ同様であって、該図１の構成からエッジ抽出部１５と補間選択部１６と第１補間部１７と第３補間部１９とを削除して、画素選択手段であり補間画素選択手段たる画素選択部２６を追加したものとなっている。【０２６８】
すなわち、抽出部１３により抽出された映像信号は、ノイズ推定部１４へ転送されるとともに、画素選択部２６へも転送されるようになっている。また、このノイズ推定部１４により推定されたノイズ量は、画素選択部２６へ転送されるようになっている。さらに、該画素選択部２６による処理結果は、第２補間部１８へ転送されるようになっている。【０２６９】
なお、上記制御部２２は、上記画素選択部２６に対しても双方向に接続されており、これを制御するようになっている。【０２７０】
また、この実施形態２においては、ＣＣＤ４の前面に配置されるカラーフィルタが、Ｃ（シアン），Ｍ（マゼンタ），Ｙ（イエロー），Ｇ（緑）の補色フィルタであることを想定している。【０２７１】
次に、図２９に示したような撮像システムの作用における、主として上記実施形態１と異なる部分について、信号の流れに沿って説明する。【０２７２】
抽出部１３は、制御部２２の制御に基づいて、上記画像用バッファ８内の映像信号を所定領域単位で抽出し、ノイズ推定部１４と画素選択部２６とへそれぞれ転送する。なお、抽出部１３が抽出する所定領域は、本実施形態においては、図３０に示すような６×６画素の基本ブロックであることを想定している。また、補間処理の対象となる注目画素は、図３０に示したような基本ブロックの中心に位置する２×２画素でなる４画素（Ｃ22，Ｙ32，Ｇ23，Ｍ33）であることを想定している。従って、上記抽出部１３による所定領域の抽出は、上記６×６画素の基本ブロックを、水平方向または垂直方向に２画素ずつ移動させながら（つまり、基本ブロックをオーバーラップさせながら）行うことになる。【０２７３】
ノイズ推定部１４は、制御部２２の制御に基づいて、抽出部１３から転送される領域に対してノイズ量を色信号毎に、本実施形態においてはＣＭＹＧの色信号毎に推定し、推定した結果を画素選択部２６へ転送する。【０２７４】
画素選択部２６は、制御部２２の制御に基づいて、上記ノイズ推定部１４から転送されてくるノイズ量を用いて、色信号毎に許容範囲を設定する。そして、画素選択部２６は、所定領域内の色信号を上記許容範囲と画素単位で比較して、許容範囲内であるか許容範囲外であるかをラベル付けして、第２補間部１８へ転送する。【０２７５】
第２補間部１８は、上記画素選択部２６により許容範囲内にあると判定された画素を用いて、上述した実施形態１と同様に、色相関に基づく補間処理を行い、補間後の信号を信号処理部２０へ転送する。なお、本実施形態においては、色信号がＣ，Ｍ，Ｙ，Ｇとなるために、第２補間部１８は、上記数式４６に示したような線形式を、Ｃ−Ｍ，Ｃ−Ｙ，Ｃ−Ｇ，Ｍ−Ｙ，Ｍ−Ｇ，Ｙ−Ｇの信号間で求めることになる。【０２７６】
また、上記抽出部１３，ノイズ推定部１４，画素選択部２６，第２補間部１８の処理は、制御部２２の制御により、所定領域単位で同期して行われるようになっている。【０２７７】
その後の信号処理部２０や出力部２１の処理は、上述した実施形態１と同様である。【０２７８】
次に、図３１を参照して、本実施形態におけるノイズ推定部１４の構成の一例について説明する。【０２７９】
このノイズ推定部１４は、バッファ３１と、信号分離部３２と、平均算出部３３と、ゲイン算出部３４と、標準値付与部３５と、ノイズ用テーブル３９と、を有して構成されている。【０２８０】
すなわち、この図３１に示すノイズ推定部１４は、上述した実施形態１の図８に示したノイズ推定部１４に対して、係数算出部３６とパラメータ用ＲＯＭ３７と関数算出部３８とを削除して、ノイズ用テーブル３９を追加したものとなっている。【０２８１】
このノイズ用テーブル３９は、ノイズ量算出手段でありルックアップテーブル手段であって、上記平均算出部３３により算出された平均値が転送されるとともに、ゲイン算出部３４により算出されたゲインが転送され、さらに、標準値付与部３５から撮像素子たるＣＣＤ５の温度などが標準値として転送されるようになっている。また、ノイズ用テーブル３９は、テーブル参照して得られた結果を上記画素選択部２６へ出力するようになっている。【０２８２】
なお、上記制御部２２は、このノイズ用テーブル３９に対しても双方向に接続されており、これを制御するようになっている。【０２８３】
続いて、このようなノイズ推定部１４の作用について説明する。【０２８４】
抽出部１３は、制御部２２の制御に基づいて画像用バッファ８から、所定位置における所定サイズの信号を抽出して、バッファ３１へ転送する。本実施形態においては、図３０に示すような６×６画素領域に関して、ノイズ量の推定を行う。【０２８５】
信号分離部３２は、制御部２２の制御に基づいて、上記バッファ３１に記憶された所定領域内の信号を、色信号毎（本実施形態では、ＣＭＹＧの４種類の色信号）に分離し、平均算出部３３へ転送する。【０２８６】
平均算出部３３は、制御部２２の制御に基づいて、信号分離部３２からの色信号を読み出して平均値を算出し、所定領域の信号レベルとしてノイズ用テーブル３９へ転送する。【０２８７】
ゲイン算出部３４は、制御部２２から転送される、露光条件と、ホワイトバランス係数に関する情報と、に基づいて、増幅器６における増幅量（ゲイン）を求め、ノイズ用テーブル３９へ転送する。【０２８８】
また、標準値付与部３５は、撮像素子たるＣＣＤ４の平均的な温度に関する情報を、ノイズ用テーブル３９へ転送する。【０２８９】
ノイズ用テーブル３９は、温度，信号レベル，ゲインと、ノイズ量と、の間の関係を記録したルックアップテーブルであり、上述した実施形態１と同様の手段により構築されたものである。該ノイズ用テーブル３９は、取得した温度，信号レベル，ゲインの各情報に基づき、ルックアップテーブルを参照することにより対応するノイズ量を取得し、取得したノイズ量を画素選択部２６へ転送する。【０２９０】
また、標準値付与部３５は、上述した実施形態１と同様に、上記ＣＣＤ４の温度に限らず、その他の何れかのパラメータが省略された場合にも標準値を与える機能を備えたものとなっている。【０２９１】
次に、図３２を参照して、画素選択部２６の構成の一例について説明する。【０２９２】
この画素選択部２６は、バッファ８１と、画素ラベル付加部８２と、許容範囲算出部８３と、を有して構成されている。【０２９３】
上記バッファ８１は、上記抽出部１３により抽出された所定領域の映像信号を一時的に記憶するものである。【０２９４】
上記画素ラベル付加部８２は、ラベル手段であって、上記バッファ８１に記憶された映像信号を画素単位で読み出して、後述する許容範囲算出部８３の出力と比較し、比較結果に応じてラベル付けして、その結果を上記第２補間部１８へ転送するものである。【０２９５】
上記許容範囲算出部８３は、許容範囲設定手段であって、上記ノイズ推定部１４から転送されたノイズ量に基づいて、上記バッファ８１に記憶された映像信号の許容範囲を設定するものである。【０２９６】
なお、上記制御部２２は、上記画素ラベル付加部８２、許容範囲算出部８３に対して双方向に接続されており、これらを制御するようになっている。【０２９７】
続いて、このような画素選択部２６の作用について説明する。【０２９８】
抽出部１３は、制御部２２の制御に基づいて、画像用バッファ８から所定位置における所定サイズの信号を抽出して、バッファ８１へ転送する。本実施形態においては、図３０に示すような６×６画素領域に関して、画素の選択を行う。【０２９９】
許容範囲算出部８３は、制御部２２の制御に基づいて、バッファ８１に記憶されている所定領域の信号に対し、各色信号の平均値ＡＶ＿Ｓ（Ｓ＝Ｃ，Ｍ，Ｙ，Ｇ）を算出する。さらに、許容範囲算出部８３は、ノイズ推定部１４から取得したノイズ量Ｎ＿Ｓに基づき、許容範囲としての上限Ａｕｐ＿Ｓおよび下限Ａｌｏｗ＿Ｓを次の数式４７に示すように設定する。  
［数４７］
Ａｕｐ＿Ｓ  ＝ＡＶ＿Ｓ＋Ｎ＿Ｓ／２
Ａｌｏｗ＿Ｓ＝ＡＶ＿Ｓ−Ｎ＿Ｓ／２【０３００】
このような許容範囲Ａｕｐ＿Ｓ，Ａｌｏｗ＿Ｓは、各色信号に対して設定され、画素ラベル付加部８２へ転送される。【０３０１】
画素ラベル付加部８２は、制御部２２の制御に基づいて、バッファ８１から転送される各色信号に対し、上限Ａｕｐ＿Ｓ以下でかつ下限Ａｌｏｗ＿Ｓ以上となる画素を平坦な領域に属する有効画素であると判断し、第２補間部１８へそのまま転送する。【０３０２】
一方、画素ラベル付加部８２は、信号が上限Ａｕｐ＿Ｓよりも大きい画素、または信号が下限Ａｌｏｗ＿Ｓよりも小さい画素を、エッジなどの構造を有する領域に属する無効画素であると判断して、特定のラベルを付加する。【０３０３】
このラベルは、例えば本来の信号値にマイナスをつけたものであり、必要に応じて、本来の信号値に戻すことができるようになっている。【０３０４】
第２補間部１８は、上記画素選択部２６から転送された有効画素を用いて、実施形態１と同様に色相関に基づく補間処理を行い、補間後の信号を信号処理部２０へ転送する。【０３０５】
なお、上記画素選択部２６によって所定領域内の画素が全て無効画素であると判断された場合には、所定領域内の全画素を有効画素として便宜的に補間処理を行う。【０３０６】
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、ＣＣＤ４からの信号を未処理のままのロー（Ｒａｗ）データとして、制御部２２からの撮影時のＣＣＤ４の温度や増幅器６のゲインなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。【０３０７】
図３３を参照して、画像処理プログラムによる補間処理について説明する。【０３０８】
処理を開始すると、まず、Ｒａｗデータでなる原信号と、ヘッダ情報と、を読み込んで（ステップＳ５１）、原信号を、基本ブロックを単位として、本実施形態においては図３０に示したような６×６画素を単位として、抽出する（ステップＳ５２）。【０３０９】
そして、抽出された基本ブロックにおけるノイズ量を推定する（ステップＳ５３）。【０３１０】
次に、推定されたノイズ量を用いて、上記数式４７に示したような許容範囲としての上限Ａｕｐ＿Ｓおよび下限Ａｌｏｗ＿Ｓを設定する（ステップＳ５４）。【０３１１】
続いて、上記ステップＳ５２において抽出された所定領域内の各色信号に関して、上記ステップＳ５４において設定された許容範囲に基づき、有効画素であるか無効画素であるかを選択する（ステップＳ５５）。【０３１２】
このステップＳ５５において有効画素として選択された画素の信号を用いて、色相関に基づく補間処理を行い（ステップＳ５６）、補間された信号を出力する（ステップＳ５７）。【０３１３】
ここで、全信号に対して抽出される全ての局所領域について処理が終了したか否かを判断し（ステップＳ５８）、まだ未処理の局所領域がある場合には上記ステップＳ５２へ行って上述したような処理を行う。【０３１４】
一方、全ての局所領域について処理が完了したと判断された場合には、公知の強調処理や圧縮処理を行ってから（ステップＳ５９）、処理後の信号を出力して（ステップＳ６０）、この処理を完了する。【０３１５】
なお、上述では、所定領域として６×６画素の基本ブロックを用いていたが、これに限定されるものではない。例えば、上記外部Ｉ／Ｆ部２３を介して、高精細な補間処理を必要としない高圧縮率の画質モードが選択された場合や、高速処理が必要とされる動画撮影などの撮影モードが選択された場合などには、４×４画素などのより小さい領域で処理を行うようにすることも可能である。このような制御は、上記外部Ｉ／Ｆ部２３を介して手動で行うようにしても良いし、あるいは、撮影モードに応じて制御部２２が自動的に制御するように構成することも可能である。このように構成すれば、処理時間を短縮したり、あるいは消費電力を低減したりすることが可能となる。【０３１６】
また、上述では補色の単板ＣＣＤを例に挙げて説明したが、これに限定されるものでもない。例えば、実施形態１で説明したような原色ベイヤー型のカラーフィルタを備えた単板撮像素子にも同様に適用することが可能であるし、二板式の撮像系や、三板式であっても画素ずらしを行っている撮像系についても、同様に適用することが可能である。【０３１７】
さらに、補間処理として、色相関に基づく第２補間処理を用いたが、このような構成に限定されるものでもない。例えば、実施形態１において説明したような第１補間処理と同様のエッジ方向に基づく補間処理などを用いることも可能であり、こうした第２補間処理とは異なる特性をもつ任意の補間処理と組み合わせることができる。【０３１８】
このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、注目画素近傍の原信号からノイズ量を推定して、推定したノイズ量に基づいて画素を選択するようにしたために、有効なエッジ構造に属する画素と、平坦領域に属する画素と、の分離能が向上する。これにより、ノイズの影響を受けることのない最適な補間処理を行って、高品位な映像信号を得ることができる。【０３１９】
また、ノイズ量を推定する際に、信号レベルやゲインなどの動的に変化するパラメータを撮影毎に求めて用いるようにしたために、撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。このとき、ノイズ量を求めるのにテーブルを用いることにより、処理を高速に行うことが可能となる。【０３２０】
さらに、ノイズ量を推定するためのパラメータが得られない場合でも、標準値を用いることができるようにしたために、ノイズ量の推定を安定して行うことができる。【０３２１】
そして、一部のパラメータ算出を意図的に省略することにより、低コスト化や省電力化を図ることができる。【０３２２】
加えて、所定領域内の色信号間の相関関係を線形式として求めて、この線形式から補間信号を求める補間処理を行っているために、単一の色相からなる領域において、高精度な補間処理を行うことが可能となる。【０３２３】
また、所定領域のノイズ量と色信号の平均値とに基づく許容範囲から、画素が補間処理に適しているか否か（有効であるか無効であるか）を判断するようにしたために、有効なエッジ構造に属する画素と、平坦領域に属する画素と、の分離能が向上して、ノイズの影響を除去した最適な補間処理を行うことが可能となる。【０３２４】
さらに、補間処理に用いる画素の選択を手動で所望に行うことができるようにしたために、補間処理に関する使用者の意図により高い自由度で沿うことが可能であるとともに、処理時間を短縮して消費電力を低減することができる。【０３２５】
［実施形態３］
図３４、図３５は本発明の実施形態３を示したものであり、図３４は撮像システムの構成を示すブロック図、図３５は画像処理プログラムによる処理を示すフローチャートである。【０３２６】
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。【０３２７】
この実施形態３における撮像システムの構成は、上述した実施形態１の図１に示した構成と基本的にはほぼ同様であって、該図１の構成から第３補間部１９を削除して、画素選択部２６を追加したものとなっている。【０３２８】
すなわち、補間選択部１６は、上記第１補間部１７、または画素選択部２６を介した第２補間部１８の何れかを選択するようになっている。画素選択部２６は、ノイズ推定部１４により推定されたノイズ量を取得して、画素が有効であるか否かを選択するものである。この画素選択部２６による選択結果は、上記第２補間部１８へ転送されるようになっている。【０３２９】
なお、上記制御部２２は、上記画素選択部２６に対しても双方向に接続されており、これを制御するようになっている。【０３３０】
続いて、図３４に示したような撮像システムの作用における、主として上記実施形態１と異なる部分について、信号の流れに沿って説明する。【０３３１】
抽出部１３は、制御部２２の制御に基づいて、上記画像用バッファ８内の映像信号を所定領域単位で抽出し、ノイズ推定部１４とエッジ抽出部１５と補間選択部１６とへそれぞれ転送する。【０３３２】
ノイズ推定部１４は、制御部２２の制御に基づいて、抽出部１３から転送される領域に対してノイズ量を色信号毎に推定し、推定した結果を補間選択部１６と画素選択部２６とへ転送する。【０３３３】
一方、エッジ抽出部１５は、制御部２２の制御に基づいて、抽出部１３から転送される所定領域に対して所定方向のエッジ強度を算出し、算出した結果を補間選択部１６と第１補間部１７とへ転送する。【０３３４】
補間選択部１６は、制御部２２の制御に基づいて、上記ノイズ推定部１４からのノイズ量と、上記エッジ抽出部１５からのエッジ強度と、内部で算出した各色信号の分散と、に基づき、所定領域が補間処理において有効であるかまたは無効であるかを判断して、第１補間部１７、または画素選択部２６を介した第２補間部１８、の何れかを選択する。【０３３５】
ここで第１補間部１７を選択した場合には、補間選択部１６は、抽出部１３からの所定領域の映像信号を、第１補間部１７へ転送する。【０３３６】
第１補間部１７は、転送された所定領域の映像信号に対して、エッジ方向に基づく補間処理を行い、補間後の映像信号を信号処理部２０へ転送する。【０３３７】
また、補間選択部１６が第２補間部１８を選択した場合には、抽出部１３からの所定領域の映像信号を、画素選択部２６へ転送する。【０３３８】
画素選択部２６は、上述した実施形態２と同様に、ノイズ量と各色信号の平均値とに基づいて例えば上記数式４７に示したように許容範囲を設定し、この許容範囲内にある画素を有効画素、該許容範囲外の画素を無効画素、としてそれぞれラベル付けする。画素選択部２６は、こうしてラベル付けした信号を、第２補間部１８へ転送する。【０３３９】
第２補間部１８は、画素選択部２６により選択された有効画素を用いて、色相関に基づく補間処理を行い、補間後の信号を信号処理部２０へ転送する。【０３４０】
その後の信号処理部２０や出力部２１の処理は、上述した実施形態１と同様である。【０３４１】
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定される必要はなく、例えば、ＣＣＤ４からの信号を未処理のままのロー（Ｒａｗ）データとして、制御部２２からの撮影時のＣＣＤ４の温度や増幅器６のゲインなどをヘッダ情報として付加した後に出力し、外部のコンピュータ等において別途のソフトウェアである画像処理プログラムにより処理することも可能である。【０３４２】
図３５を参照して、画像処理プログラムによる補間処理について説明する。【０３４３】
処理を開始すると、まず、Ｒａｗデータでなる原信号と、ヘッダ情報と、を読み込んで（ステップＳ７１）、原信号を所定の局所領域を単位として抽出する（ステップＳ７２）。【０３４４】
そして、抽出された所定領域に関してノイズ量を推定する（ステップＳ７３）。このステップＳ７３において推定されたノイズ量は、後述するステップＳ７５の処理へ転送される。【０３４５】
一方で、上記ステップＳ７２において抽出された所定領域に関して、エッジ強度を算出する（ステップＳ７４）。上述した実施形態１とほぼ同様に、上記数式１に示すように算出されたエッジ強度は後述するステップＳ７５の処理へ、上記数式２，数式３に示すように算出されたエッジ強度は後述するステップＳ７９の処理へ、それぞれ転送される。【０３４６】
上記ステップＳ７３において算出された局所領域のノイズ量と、上記ステップＳ７４において算出された複数のエッジ強度の内の最大値と、各色信号の分散と、を比較する（ステップＳ７５）。このステップＳ７５において、全ての色信号で、「分散＞ノイズ量」かつ「エッジ強度の最大値＞ノイズ量」となる場合は、有効なエッジ構造がある領域であるとして、後述するステップＳ７９へ分岐し、それ以外の場合には平坦部であるとして、後述するステップＳ７６の第２補間処理へ分岐する。【０３４７】
上記ステップＳ７５において分岐されたときには、上記ステップＳ７３の処理により推定されたノイズ量を用いて、上記数式４７に示したような許容範囲としての上限Ａｕｐ＿Ｓおよび下限Ａｌｏｗ＿Ｓを設定する（ステップＳ７６）。【０３４８】
続いて、上記ステップＳ７２において抽出された所定領域内の各色信号に関して、上記ステップＳ７６において設定された許容範囲に基づき、有効画素であるか無効画素であるかを選択する（ステップＳ７７）。【０３４９】
このステップＳ７７において有効画素として選択された画素の信号を用いて、色相関に基づく補間処理を行う（ステップＳ７８）。【０３５０】
一方、上記ステップＳ７５において、有効なエッジ構造がある領域であると判断された場合には、上記ステップＳ７４により抽出されたエッジ強度を用いて、エッジ方向に基づく第１補間処理を行う（ステップＳ７９）。【０３５１】
そして、上記ステップＳ７８の第２補間処理により補間された信号、または上記ステップＳ７９の第１補間処理により補間された信号を出力する（ステップＳ８０）。【０３５２】
その後、全ての原信号に対する局所領域の抽出処理が完了したか否かを判断し（ステップＳ８１）、完了していない場合は上記ステップＳ７２へ行って上述したような処理を繰り返して行う。【０３５３】
また、ステップＳ８１において全ての原信号に対する局所領域の処理が完了していると判断された場合には、公知の強調処理や圧縮処理を行ってから（ステップＳ８２）、処理後の信号を出力して（ステップＳ８３）、この処理を完了する。【０３５４】
このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、注目画素近傍の原信号からノイズ量を推定して、推定したノイズ量に基づき複数の補間方法を切り換えるようにし、さらに少なくとも１つの補間方法においては推定したノイズ量に基づき画素を選択するようにしたために、ノイズの影響を考慮し、かつノイズの影響を受けることのない最適な補間処理を行って、高品位な映像信号を得ることができる。【０３５５】
また、ノイズ量を推定する際に、信号レベルやゲインなどの動的に変化するパラメータを撮影毎に求めて用いるようにしているために、撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。【０３５６】
さらに、複数方向のエッジ強度に基づいてエッジ強度に反比例する重み係数を求め、複数方向の補間信号と乗算して、その総和値を注目画素の補間信号とする補間処理を行っているために、特定方向に構造を有する領域において、高精度な補間処理を行うことが可能となる。【０３５７】
そして、所定領域内の色信号間の相関関係を線形式として求めて、この線形式から補間信号を求める補間処理を行っているために、単一の色相からなる領域において、高精度な補間処理を行うことが可能となる。【０３５８】
加えて、所定領域の統計量とノイズ量とに基づいて、所定領域が補間処理に適しているか否か（有効であるか無効であるか）を判断するようにしたために、有効なエッジ構造がある領域と平坦領域との分離能が向上し、ノイズの影響を受け難い最適な補間方法を選択することが可能となる。【０３５９】
また、所定領域のノイズ量と閾値とに基づいて、所定領域が補間処理に適しているか否か（有効であるか無効であるか）を判断するようにしたために、有効なエッジ構造がある領域と平坦領域との分離能が向上し、ノイズの影響を受け難い最適な補間方法を選択することが可能となる。また、閾値との比較を行う場合には、処理速度を高速に行うことができる利点がある。【０３６０】
さらに、所定領域のノイズ量と色信号の平均値とに基づく許容範囲から、画素が補間処理に適しているか否か（有効であるか無効であるか）を判断するようにしたために、有効なエッジ構造に属する画素と、平坦領域に属する画素と、の分離能が向上して、ノイズの影響を除去した最適な補間処理を行うことが可能となる。【０３６１】
そして、補間処理に用いる画素の選択を手動で所望に行うことができるようにしたために、補間処理に関する使用者の意図により高い自由度で沿うことが可能であるとともに、処理時間を短縮して消費電力を低減することができる。【０３６２】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【図１】
0003899118.tif 000002
【図２】
0003899118.tif 000003
【図３】
0003899118.tif 000004
【図４】
0003899118.tif 000005
【図５】
0003899118.tif 000006
【図６】
0003899118.tif 000007
【図７】
0003899118.tif 000008
【図８】
0003899118.tif 000009
【図９】
0003899118.tif 000010
【図１０】
0003899118.tif 000011
【図１１】
0003899118.tif 000012
【図１２】
0003899118.tif 000013
【図１３】
0003899118.tif 000014
【図１４】
0003899118.tif 000015
【図１５】
0003899118.tif 000016
【図１６】
0003899118.tif 000017
【図１７】
0003899118.tif 000018
【図１８】
0003899118.tif 000019
【図１９】
0003899118.tif 000020
【図２０】
0003899118.tif 000021
【図２１】
0003899118.tif 000022
【図２２】
0003899118.tif 000023
【図２３】
0003899118.tif 000024
【図２４】
0003899118.tif 000025
【図２５】
0003899118.tif 000026
【図２６】
0003899118.tif 000027
【図２７】
0003899118.tif 000028
【図２８】
0003899118.tif 000029
【図２９】
0003899118.tif 000030
【図３０】
0003899118.tif 000031
【図３１】
0003899118.tif 000032
【図３２】
0003899118.tif 000033
【図３３】
0003899118.tif 000034
【図３４】
0003899118.tif 000035
【図３５】
0003899118.tif 000036