(57)【要約】【課題】ノイズの増加を抑制しながら階調処理を行って高品位な映像信号を生成することができる画像処理システム等を提供する。【解決手段】映像信号を高周波成分と低周波成分とに分解する周波数分解部１０９と、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する高周波分離部１１２と、低周波成分に基づき変換特性を算出する変換特性算出部１１１と、算出された変換特性により低周波成分と有効成分とに対して階調変換を行う階調処理部１１３と、階調変換がなされた低周波成分と階調変換がなされた有効成分と無効成分とを合成して階調変換がなされた映像信号を生成する周波数合成部１１５と、を備えた画像処理システム。【選択図】図１
2008072233.tif 000002
【特許請求の範囲】
【請求項１】
映像信号に対して階調変換を行う画像処理システムにおいて、
上記映像信号をノイズに起因する無効成分とその他の有効成分とに分離する分離手段と、
上記有効成分に対して階調変換を行う変換手段と、
上記階調変換がなされた有効成分と、上記無効成分と、に基づき階調変換がなされた映像信号を合成する合成手段と、
を具備したことを特徴とする画像処理システム。
【請求項２】
上記映像信号がカラー映像信号である場合に該カラー映像信号を輝度信号と色信号とへ分離するＹ／Ｃ分離手段をさらに具備し、
上記分離手段、上記変換手段、および上記合成手段が扱う上記映像信号は、上記Ｙ／Ｃ分離手段により分離された上記輝度信号であることを特徴とする請求項１に記載の画像処理システム。
【請求項３】
上記分離手段は、
上記映像信号を高周波成分と低周波成分とに分解する周波数分解手段と、
上記高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する高周波分離手段と、
を有して構成されたものであることを特徴とする請求項１または請求項２に記載の画像処理システム。
【請求項４】
上記周波数分解手段は、ウェーブレット（Wavelet）変換、フーリエ（Fourier）変換、またはＤＣＴ（Discrete Cosine Transform）変換を用いて、上記映像信号を高周波成分と低周波成分とに分解するものであることを特徴とする請求項３に記載の画像処理システム。
【請求項５】
上記周波数分解手段は、ローパスフィルタおよび差分フィルタを用いて、上記映像信号を高周波成分と低周波成分とに分解するものであることを特徴とする請求項３に記載の画像処理システム。
【請求項６】
上記周波数分解手段は、ガウシアンフィルタ（Gaussian Filter）およびラプラシアンフィルタ（Laplacian Filter）を用いて、上記映像信号を高周波成分と低周波成分とに分解するものであることを特徴とする請求項３に記載の画像処理システム。
【請求項７】
上記変換手段は、
上記低周波成分に基づき階調変換に用いる変換特性を算出する変換特性算出手段と、
上記変換特性を用いて上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う階調処理手段と、
を有して構成されたものであることを特徴とする請求項３に記載の画像処理システム。
【請求項８】
上記合成手段は、上記階調処理がなされた低周波成分と、上記階調処理がなされた高周波成分中の有効成分と、上記高周波成分中の無効成分と、に基づき、階調変換がなされた映像信号を合成する周波数合成手段を有して構成されたものであることを特徴とする請求項７に記載の画像処理システム。
【請求項９】
上記変換特性算出手段は、
上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、
上記適正露光域に関してエッジ量を算出するエッジ算出手段と、
上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、
を有して構成されたものであることを特徴とする請求項７に記載の画像処理システム。
【請求項１０】
上記変換特性算出手段は、
上記低周波成分から関心領域を設定する関心領域設定手段と、
上記関心領域に関して重み係数を設定する重み係数設定手段と、
上記重み係数に基づき上記ヒストグラムに補正を行うヒストグラム補正手段と、
をさらに有して構成されたものであり、
上記階調変換曲線算出手段は、補正されたヒストグラムに基づき上記階調変換曲線を算出するものであることを特徴とする請求項９に記載の画像処理システム。
【請求項１１】
上記階調処理手段は、
上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第１の抽出手段と、
上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第２の抽出手段と、
上記階調変換曲線に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換手段と、
を有して構成されたものであることを特徴とする請求項９または請求項１０に記載の画像処理システム。
【請求項１２】
上記変換特性算出手段は、
上記低周波成分を複数の領域に分割する分割手段と、
上記領域毎に上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、
上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出手段と、
上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、
を有して構成されたものであることを特徴とする請求項７に記載の画像処理システム。
【請求項１３】
上記階調処理手段は、
上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第１の抽出手段と、
上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第２の抽出手段と、
上記低周波成分注目画素と該低周波成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出手段と、
上記低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定手段と、
上記設定された階調変換式に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換手段と、
を有して構成されたものであることを特徴とする請求項１２に記載の画像処理システム。
【請求項１４】
上記階調処理手段は、上記低周波成分注目画素の位置に対応する有効成分注目画素が存在しない場合に上記有効成分注目画素に対する階調変換を中止するように制御する制御手段をさらに有して構成されたものであることを特徴とする請求項１１または請求項１３に記載の画像処理システム。
【請求項１５】
上記高周波分離手段は、
上記低周波成分に基づき上記高周波成分のノイズ量を推定するノイズ推定手段と、
上記ノイズ量および上記高周波成分に基づき許容範囲を設定する設定手段と、
上記許容範囲に基づき上記高周波成分が上記無効成分と上記有効成分との何れに属するかを判断する判断手段と、
を有して構成されたものであることを特徴とする請求項３に記載の画像処理システム。
【請求項１６】
上記設定手段は、
上記高周波成分の平均値を算出する平均値算出手段と、
上記ノイズ量および上記平均値に基づき高周波成分に関する上限値および下限値を上記許容範囲の境界を示す値として設定する上限下限設定手段と、
を有して構成されたものであることを特徴とする請求項１５に記載の画像処理システム。
【請求項１７】
上記高周波成分に対してノイズ低減処理を行うノイズ低減手段をさらに具備したことを特徴とする請求項３に記載の画像処理システム。
【請求項１８】
上記ノイズ低減手段は、
上記高周波成分中の有効成分に対して補正を行う第１のスムージング手段と、
上記高周波成分中の無効成分に対して平滑化を行う第２のスムージング手段と、
を有して構成されたものであることを特徴とする請求項１７に記載の画像処理システム。
【請求項１９】
上記高周波成分中の有効成分に対してエッジ強調処理を行うエッジ強調手段をさらに具備したことを特徴とする請求項３に記載の画像処理システム。
【請求項２０】
上記分離手段は、
上記映像信号に対してノイズ低減を行うことにより有効成分を求めるノイズ低減手段と、
上記映像信号と上記ノイズ低減後の映像信号との差分から無効成分を求める差分手段と、
を有して構成されたものであることを特徴とする請求項１または請求項２に記載の画像処理システム。
【請求項２１】
上記ノイズ低減手段は、
上記映像信号のノイズ量を推定するノイズ推定手段と、
上記ノイズ量および上映像信号に基づき許容範囲を設定する設定手段と、
上記許容範囲に基づき上記映像信号がノイズに属するか否かを判断する判断手段と、
上記映像信号がノイズに属さないと判断された場合に補正を行う第１のスムージング手段と、
上記映像信号がノイズに属すると判断された場合に平滑化を行う第２のスムージング手段と、
を有して構成されたものであることを特徴とする請求項２０に記載の画像処理システム。
【請求項２２】
上記変換手段は、
上記有効成分に基づき階調変換に用いる変換特性を算出する変換特性算出手段と、
上記変換特性を用いて上記有効成分に対して階調処理を行う階調処理手段と、
を有して構成されたものであることを特徴とする請求項２０に記載の画像処理システム。
【請求項２３】
上記合成手段は、上記階調処理がなされた有効成分と、上記無効成分と、に基づき階調変換がなされた映像信号を合成する信号合成手段を有して構成されたものであることを特徴とする請求項２２に記載の画像処理システム。
【請求項２４】
上記変換特性算出手段は、
上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、
上記適正露光域に関してエッジ量を算出するエッジ算出手段と、
上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、
を有して構成されたものであることを特徴とする請求項２２に記載の画像処理システム。
【請求項２５】
上記変換特性算出手段は、
上記有効成分から関心領域を設定する関心領域設定手段と、
上記関心領域に関して重み係数を設定する重み係数設定手段と、
上記重み係数に基づき上記ヒストグラムに補正を行うヒストグラム補正手段と、
をさらに有して構成されたものであり、
上記階調変換曲線算出手段は、補正されたヒストグラムに基づき上記階調変換曲線を算出するものであることを特徴とする請求項２４に記載の画像処理システム。
【請求項２６】
上記階調処理手段は、
上記有効成分から階調処理を行う対象となる有効成分注目画素を順次抽出する抽出手段と、
上記階調変換曲線に基づき上記有効成分注目画素に対して階調変換を行う階調変換手段と、
を有して構成されたものであることを特徴とする請求項２４または請求項２５に記載の画像処理システム。
【請求項２７】
上記変換特性算出手段は、
上記有効成分を複数の領域に分割する分割手段と、
上記領域毎に上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、
上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出手段と、
上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、
上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、
を有して構成されたものであることを特徴とする請求項２２に記載の画像処理システム。
【請求項２８】
上記階調処理手段は、
上記有効成分から階調処理を行う対象となる有効成分注目画素を順次抽出する抽出手段と、
上記有効成分注目画素と上記有効成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出手段と、
上記有効成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定手段と、
上記設定された階調変換式に基づき上記有効成分注目画素に対して階調変換を行う階調変換手段と、
を有して構成されたものであることを特徴とする請求項２７に記載の画像処理システム。
【請求項２９】
上記設定手段は、
上記映像信号の平均値を算出する平均値算出手段と、
上記ノイズ量および上記平均値に基づき上記映像信号に関する上限値および下限値を上記許容範囲の境界を示す値として設定する上限下限設定手段と、
を有して構成されたものであることを特徴とする請求項２１に記載の画像処理システム。
【請求項３０】
上記ノイズ推定手段は、
基準ノイズモデルに関するパラメータ群を記録する記録手段と、
上記映像信号を撮像する際に用いた撮像素子の温度値と該映像信号に対するゲイン値とに関する情報を収集する収集手段と、
上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と上記低周波成分または上記映像信号とに基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、
上記低周波成分または上記映像信号と上記選択されたパラメータとに基づき補間演算によりノイズ量を求める補間手段と、
を有して構成されたものであることを特徴とする請求項１５または請求項２１に記載の画像処理システム。
【請求項３１】
上記ノイズ推定手段は、
上記映像信号を撮像する際に用いた撮像素子の温度値と該映像信号に対するゲイン値とに関する情報を収集する収集手段と、
上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、
上記収集手段または上記付与手段からの情報と上記低周波成分または上記映像信号とに基づきノイズ量を出力するテーブル変換手段と、
を有して構成されたものであることを特徴とする請求項１５または請求項２１に記載の画像処理システム。
【請求項３２】
上記階調変換がなされた輝度信号と上記色信号とに基づき、階調変換がなされたカラー映像信号を合成するＹ／Ｃ合成手段をさらに具備したものであることを特徴とする請求項２に記載の画像処理システム。
【請求項３３】
上記カラー映像信号は、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー（Bayer）型原色フィルタを前面に配置した単板撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子から得られたカラー映像信号であることを特徴とする請求項２に記載の画像処理システム。
【請求項３４】
コンピュータに、映像信号に対して階調変換を行わせるための画像処理プログラムであって、
コンピュータに、
上記映像信号をノイズに起因する無効成分とその他の有効成分とに分離する分離ステップと、
上記有効成分に対して階調変換を行う変換ステップと、
上記階調変換がなされた有効成分と、上記無効成分と、に基づき階調変換がなされた映像信号を合成する合成ステップと、
を実行させるための画像処理プログラム。
【請求項３５】
当該画像処理プログラムは、コンピュータに、
上記映像信号がカラー映像信号である場合に該カラー映像信号を輝度信号と色信号とへ分離するＹ／Ｃ分離ステップをさらに実行させるためのものであり、
上記分離ステップ、上記変換ステップ、および上記合成ステップにより扱う上記映像信号は、上記Ｙ／Ｃ分離ステップにより分離された上記輝度信号であることを特徴とする請求項３４に記載の画像処理プログラム。
【請求項３６】
上記分離ステップは、
上記映像信号を高周波成分と低周波成分とに分解する周波数分解ステップと、
上記高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する高周波分離ステップと、
を有することを特徴とする請求項３４または請求項３５に記載の画像処理プログラム。
【請求項３７】
上記変換ステップは、
上記低周波成分に基づき階調変換に用いる変換特性を算出する変換特性算出ステップと、
上記変換特性を用いて上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う階調処理ステップと、
を有し、
さらに、上記変換特性算出ステップは、
上記低周波成分を複数の領域に分割する分割ステップと、
上記領域毎に上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出ステップと、
上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出ステップと、
上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成ステップと、
上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出ステップと、
を有することを特徴とする請求項３６に記載の画像処理プログラム。
【請求項３８】
上記階調処理ステップは、
上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第１の抽出ステップと、
上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第２の抽出ステップと、
上記低周波成分注目画素と該低周波成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出ステップと、
上記低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定ステップと、
上記設定された階調変換式に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換ステップと、
を有することを特徴とする請求項３７に記載の画像処理プログラム。
【請求項３９】
上記階調処理ステップは、上記低周波成分注目画素の位置に対応する有効成分注目画素が存在しない場合に上記有効成分注目画素に対する階調変換を中止するように制御する制御ステップをさらに有することを特徴とする請求項３８に記載の画像処理プログラム。
【請求項４０】
上記高周波分離ステップは、
上記低周波成分に基づき上記高周波成分のノイズ量を推定するノイズ推定ステップと、
上記ノイズ量および上記高周波成分に基づき許容範囲を設定する設定ステップと、
上記許容範囲に基づき上記高周波成分が上記無効成分と上記有効成分との何れに属するかを判断する判断ステップと、
を有することを特徴とする請求項３６に記載の画像処理プログラム。
【請求項４１】
コンピュータに、
上記高周波成分に対してノイズ低減処理を行うノイズ低減ステップをさらに実行させるためのものであることを特徴とする請求項３６に記載の画像処理プログラム。
【請求項４２】
コンピュータに、
上記高周波成分中の有効成分に対してエッジ強調処理を行うエッジ強調ステップをさらに実行させるためのものであることを特徴とする請求項３６に記載の画像処理プログラム。
【請求項４３】
上記分離ステップは、
上記映像信号に対してノイズ低減を行うことにより有効成分を求めるノイズ低減ステップと、
上記映像信号と上記ノイズ低減後の映像信号との差分から無効成分を求める差分ステップと、
を有することを特徴とする請求項３４または請求項３５に記載の画像処理プログラム。
【請求項４４】
上記ノイズ低減ステップは、
上記映像信号のノイズ量を推定するノイズ推定ステップと、
上記ノイズ量および上映像信号に基づき許容範囲を設定する設定ステップと、
上記許容範囲に基づき上記映像信号がノイズに属するか否かを判断する判断ステップと、
上記映像信号がノイズに属さないと判断された場合に補正を行う第１のスムージングステップと、
上記映像信号がノイズに属すると判断された場合に平滑化を行う第２のスムージングステップと、
を有することを特徴とする請求項４３に記載の画像処理プログラム。
【請求項４５】
上記変換ステップは、
上記有効成分に基づき階調変換に用いる変換特性を算出する変換特性算出ステップと、
上記変換特性を用いて上記有効成分に対して階調処理を行う階調処理ステップと、
を有し、
さらに、上記変換特性算出ステップは、
上記有効成分を複数の領域に分割する分割ステップと、
上記領域毎に上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出ステップと、
上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出ステップと、
上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成ステップと、
上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出ステップと、
を有することを特徴とする請求項４３に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号に対して階調変換を行う画像処理システム、画像処理プログラムに関する。
【背景技術】
【０００２】
映像信号に対する階調処理の手法としては、映像信号に対して単一の階調変換曲線を用いるスペースインバリアントな手法と、局所領域毎に異なる複数の階調変換曲線を用いるスペースバリアントな手法と、がある。
【０００３】
例えば、特許３４６５２２６号に係る公報には、テクスチャ情報に基づき映像信号を複数の領域に分割し、領域毎にヒストグラムに基づき階調変換曲線を求めて階調変換処理を行い、各領域間の距離に基づく重み付け補間を行う技術が記載されている。これにより、スペースバリアントな階調処理と領域間の連続性の維持とが可能となり、広ダイナミックレンジの画像に対しても明暗のつぶれを防止した高品位な映像信号を得ることができる。
【０００４】
また、特開平８−５６３１６号公報には、映像信号を高周波成分と低周波成分とに分離して、低周波成分にコントラスト強調処理を行い、コントラスト強調処理後の低周波成分を高周波成分と合成する技術が記載されている。このような技術を用いることにより、高周波成分のノイズが強調されるのを防止して、高品位な映像信号を得ることができる。
【０００５】
さらに、特開２００４−１２８９８５号公報には、ノイズモデルに基づいてノイズ量をブロック単位に推定し、ブロック単位に異なるノイズ低減処理を行う技術が記載されている。このような技術を用いることにより、スペースバリアントなノイズ低減処理を行うことが可能となり、エッジ成分の劣化が少ない高品位な映像信号を得ることができる。
【特許文献１】特許３４６５２２６号
【特許文献２】特開平８−５６３１６号公報
【特許文献３】特開２００４−１２８９８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したような従来の単一の階調変換曲線を用いるスペースインバリアントな階調処理の手法では、逆光などの標準的でない状況においては適切な映像信号を得ることができないという課題がある。
【０００７】
また、上述した特許３４６５２２６号に係る公報に記載された技術では、ヒストグラムに基づいて画像毎に階調変換曲線を求めているが、ノイズ成分の増加に関しては考慮されていない。このために、例えば画像内における暗部の割合が大きいときには、ヒストグラムに基づく階調変換曲線によって該暗部に広い階調が与えられることになるが、この場合には暗部のノイズが顕著になってしまい、画質的に最適な階調変換処理が行われないという課題がある。
【０００８】
さらに、上述した特開平８−５６３１６号公報に記載された技術では、低周波成分のみにコントラスト強調処理が行われるために、エッジ領域などの高周波成分を多く含む領域では解像感が低下するという課題がある。また、該公報に記載された技術では、低周波成分とそれ以外とで異なる処理を行っているために、画像全体としての連続性および統一性が失われてしまうことがあるという課題がある。
【０００９】
そして、上述した特開２００４−１２８９８５号公報に記載された技術では、ノイズ低減処理と他の階調処理とが独立しているために、相互を最適に活用することができないという課題がある。
【００１０】
本発明は上記事情に鑑みてなされたものであり、スペースインバリアントおよびスペースバリアントな階調処理において、ノイズの増加を抑制しながら、高品位な映像信号の生成を可能とする画像処理システム、画像処理プログラムを提供することを目的としている。
【００１１】
また本発明は、階調処理とノイズ低減処理との両方を行うことができ、かつ全体としての高性能化および低コスト化を可能とする画像処理システム、画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１２】
上記の目的を達成するために、第１の発明による画像処理システムは、映像信号に対して階調変換を行う画像処理システムにおいて、上記映像信号をノイズに起因する無効成分とその他の有効成分とに分離する分離手段と、上記有効成分に対して階調変換を行う変換手段と、上記階調変換がなされた有効成分と上記無効成分とに基づき階調変換がなされた映像信号を合成する合成手段と、を具備したものである。
【００１３】
（第１の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１、実施形態２、実施形態３、および実施形態４が対応する。
【００１４】
分離手段は図１，図２，図１０に示す周波数分解部１０９および図１，図５，図１０に示す高周波分離部１１２および図１５，図１８に示す周波数分解部８０４および図１５，図２０に示す高周波分離部８０６および図２６に示す周波数分解部１２００および図２６，図２８に示す高周波分離部１２０１および図３１，図３２に示すノイズ低減部１４００および図３１に示す差分部１４０１が、変換手段は図１，図４，図１０，図２６，図３１に示す変換特性算出部１１１および図１，図６，図１０，図２６に示す階調処理部１１３および図１５，図１９に示す変換特性算出部８０５および図１５，図２１に示す階調処理部８０７および図３１，図３３に示す階調処理部１４０２が、合成手段は図１，図９，図１０に示す周波数合成部１１５および図１５に示す周波数合成部８０８および図２６に示す周波数合成部１２０３および図３１に示す信号合成部１４０３が、それぞれ該当する。
【００１５】
この発明の好ましい適用例は、周波数分解部１０９，高周波分離部１１２，周波数分解部８０４，高周波分離部８０６，周波数分解部１２００，高周波分離部１２０１，ノイズ低減部１４００，差分部１４０１によって映像信号をノイズに起因する無効成分とその他の有効成分とに分離し、変換特性算出部１１１，階調処理部１１３，変換特性算出部８０５，階調処理部８０７，階調処理部１４０２によって有効成分に対して階調変換を行い、周波数合成部１１５，周波数合成部８０８，周波数合成部１２０３，信号合成部１４０３によって階調変換がなされた有効成分と無効成分とを合成する画像処理システムである。
【００１６】
（作用）
映像信号をノイズに起因する無効成分とその他の有効成分とに分離し、有効成分を階調変換した後に無効成分と合成する。
【００１７】
（効果）
階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。また、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ない映像信号を得ることができ、処理の安定性および信頼性を向上することができる。
【００１８】
また、第２の発明による画像処理システムは、上記第１の発明による画像処理システムにおいて、上記映像信号がカラー映像信号である場合に該カラー映像信号を輝度信号と色信号とへ分離するＹ／Ｃ分離手段をさらに具備し、上記分離手段、上記変換手段、および上記合成手段が扱う上記映像信号は、上記Ｙ／Ｃ分離手段により分離された上記輝度信号である。
【００１９】
（第２の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
【００２０】
Ｙ／Ｃ分離手段は図１５に示すＹ／Ｃ分離部８０２が該当する。
【００２１】
この発明の好ましい適用例は、Ｙ／Ｃ分離部８０２によってカラー映像信号を輝度信号と色信号とへ分離し、輝度信号に関してノイズに起因する無効成分とその他の有効成分とに分離し、有効成分に対して階調変換を行い、階調処理がなされた有効成分と無効成分とを合成する画像処理システムである。
【００２２】
（作用）
カラー映像信号を輝度信号と色信号とへ分離し、輝度信号に関してノイズに起因する無効成分とその他の有効成分とに分離し、有効成分を階調変換した後に無効成分と合成する。
【００２３】
（効果）
カラー映像信号に対する階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。また、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ない映像信号を得ることができ、処理の安定性を向上することができる。
【００２４】
さらに、第３の発明による画像処理システムは、上記第１または第２の発明による画像処理システムにおいて、上記分離手段が、上記映像信号を高周波成分と低周波成分とに分解する周波数分解手段と、上記高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する高周波分離手段と、を有して構成されたものである。
【００２５】
（第３の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１、実施形態２、および実施形態３が対応する。
【００２６】
周波数分解手段は図１，図２，図１０に示す周波数分解部１０９および図１５，図１８に示す周波数分解部８０４および図２６に示す周波数分解部１２００が、高周波分離手段は図１，図５，図１０に示す高周波分離部１１２および図１５，図２０に示す高周波分離部８０６および図２６，図２８に示す高周波分離部１２０１が、それぞれ該当する。
【００２７】
この発明の好ましい適用例は、周波数分解部１０９，周波数分解部８０４，周波数分解部１２００によって映像信号を高周波成分と低周波成分とに分解し、高周波分離部１１２，高周波分離部８０６，高周波分離部１２０１によって高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する画像処理システムである。
【００２８】
（作用）
映像信号を高周波成分と低周波成分とに分解して、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する。
【００２９】
（効果）
視覚的にノイズの影響が顕著となる高周波成分のみを無効成分と有効成分とに分離するようにしたために、ノイズの抑制効果を向上することができ、高品位な映像信号を生成することが可能となる。また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したために、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
【００３０】
第４の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記周波数分解手段が、ウェーブレット（Wavelet）変換、フーリエ（Fourier）変換、またはＤＣＴ（Discrete Cosine Transform）変換を用いて、上記映像信号を高周波成分と低周波成分とに分解するものである。
【００３１】
（第４の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１および実施形態３が対応する。
【００３２】
ウェーブレット（Wavelet）変換は図１，図２，図１０に示す周波数分解部１０９が、フーリエ（Fourier）変換は図１，図１０に示す周波数分解部１０９が、ＤＣＴ（Discrete Cosine Transform）変換は図２６に示す周波数分解部１２００が、それぞれ該当する。
【００３３】
この発明の好ましい適用例は、周波数分解における変換に、ウェーブレット（Wavelet）変換、フーリエ（Fourier）変換、またはＤＣＴ（Discrete Cosine Transform）変換を用いる画像処理システムである。
【００３４】
（作用）
周波数分解に、ウェーブレット（Wavelet）変換、フーリエ（Fourier）変換、またはＤＣＴ（Discrete Cosine Transform）変換を用いる。
【００３５】
（効果）
ウェーブレット（Wavelet）変換、フーリエ（Fourier）変換、またはＤＣＴ（Discrete Cosine Transform）変換は、周波数の分離能に優れているために、高精度な処理を行うことが可能となる。
【００３６】
第５の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記周波数分解手段が、ローパスフィルタおよび差分フィルタを用いて、上記映像信号を高周波成分と低周波成分とに分解するものである。
【００３７】
（第５の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
【００３８】
ローパスフィルタは図１８に示すローパスフィルタ部９０１が、差分フィルタは図１８に示す差分フィルタ部９０３が、それぞれ該当する。
【００３９】
この発明の好ましい適用例は、周波数分解における変換にローパスフィルタおよび差分フィルタを用いる画像処理システムである。
【００４０】
（作用）
周波数分解にローパスフィルタおよび差分フィルタを用いる。
【００４１】
（効果）
ローパスフィルタおよび差分フィルタはフィルタ構成が単純であるために、処理を高速に行い得る画像処理システムを低コストに構成することが可能となる。
【００４２】
第６の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記周波数分解手段が、ガウシアンフィルタ（Gaussian Filter）およびラプラシアンフィルタ（Laplacian Filter）を用いて、上記映像信号を高周波成分と低周波成分とに分解するものである。
【００４３】
（第６の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
【００４４】
ガウシアンフィルタは図１８に示すローパスフィルタ部９０１が、ラプラシアンフィルタは図１８に示す差分フィルタ部９０３が、それぞれ該当する。
【００４５】
この発明の好ましい適用例は、周波数分解における変換にガウシアンフィルタおよびラプラシアンフィルタを用いる画像処理システムである。
【００４６】
（作用）
周波数分解にガウシアンフィルタおよびラプラシアンフィルタを用いる。
【００４７】
（効果）
ガウシアンフィルタおよびラプラシアンフィルタは、フィルタ構成の複雑さの程度と周波数の分離能とのバランスに優れているために、比較的高い処理性能を得ながらコストを抑制した画像処理システムを構成することが可能となる。
【００４８】
第７の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記変換手段が、上記低周波成分に基づき階調変換に用いる変換特性を算出する変換特性算出手段と、上記変換特性を用いて上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う階調処理手段と、を有して構成されたものである。
【００４９】
（第７の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１、実施形態２、および実施形態３が対応する。
【００５０】
変換特性算出手段は図１，図４，図１０，図２６に示す変換特性算出部１１１および図１５，図１９に示す変換特性算出部８０５が、階調処理手段は図１，図６，図１０，図２６に示す階調処理部１１３および図１５，図２１に示す階調処理部８０７が、それぞれ該当する。
【００５１】
この発明の好ましい適用例は、変換特性算出部１１１，変換特性算出部８０５によって低周波成分に基づき階調変換に用いる変換特性を算出し、階調処理部１１３，階調処理部８０７によって低周波成分と高周波成分中の有効成分とに対して階調処理を行う画像処理システムである。
【００５２】
（作用）
低周波成分に基づき階調変換に用いる変換特性を算出し、低周波成分と高周波成分中の有効成分とに対して階調処理を行う。
【００５３】
（効果）
低周波成分に基づき変換特性を算出するようにしたために、ノイズによる影響の少ない適切な変換特性を算出することが可能となって、処理の安定性および信頼性を向上することができる。また、低周波成分と高周波成分中の有効成分とに対して階調処理を行い、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
【００５４】
第８の発明による画像処理システムは、上記第７の発明による画像処理システムにおいて、上記合成手段が、上記階調処理がなされた低周波成分と、上記階調処理がなされた高周波成分中の有効成分と、上記高周波成分中の無効成分と、に基づき、階調変換がなされた映像信号を合成する周波数合成手段を有して構成されたものである。
【００５５】
（第８の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１、実施形態２、および実施形態３が対応する。
【００５６】
周波数合成手段は図１，図９，図１０に示す周波数合成部１１５および図１５に示す周波数合成部８０８および図２６に示す周波数合成部１２０３が該当する。
【００５７】
この発明の好ましい適用例は、周波数合成部１１５，周波数合成部８０８，周波数合成部１２０３によって、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を合成する画像処理システムである。
【００５８】
（作用）
階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を合成する。
【００５９】
（効果）
階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を合成するようにしたために、有効成分と無効成分の分離処理において発生する誤差を抑制することができ、安定した階調処理を行うことが可能となる。また、視覚的に違和感の少ない、高品位な映像信号を生成することが可能となる。
【００６０】
第９の発明による画像処理システムは、上記第７の発明による画像処理システムにおいて、上記変換特性算出手段が、上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、上記適正露光域に関してエッジ量を算出するエッジ算出手段と、上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、を有して構成されたものである。
【００６１】
（第９の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
【００６２】
適正域抽出手段は図１９に示す適正域抽出部３０２が、エッジ算出手段は図１９に示すエッジ算出部３０３が、ヒストグラム作成手段は図１９に示すヒストグラム作成部３０４が、階調変換曲線算出手段は図１９に示す階調変換曲線算出部３０５が、それぞれ該当する。
【００６３】
この発明の好ましい適用例は、適正域抽出部３０２によって低周波成分の信号値に基づき適正露光域を抽出し、エッジ算出部３０３によって適正露光域に関してエッジ量を算出し、ヒストグラム作成部３０４によってエッジ量に基づきヒストグラムを作成し、階調変換曲線算出部３０５によってヒストグラムに基づき階調変換曲線を算出する画像処理システムである。
【００６４】
（作用）
階調変換処理を行うために必要な階調変換曲線を、映像信号の低周波成分から適用的に算出する。
【００６５】
（効果）
映像信号の低周波成分から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。また、低周波成分に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
【００６６】
第１０の発明による画像処理システムは、上記第９の発明による画像処理システムにおいて、上記変換特性算出手段が、上記低周波成分から関心領域を設定する関心領域設定手段と、上記関心領域に関して重み係数を設定する重み係数設定手段と、上記重み係数に基づき上記ヒストグラムに補正を行うヒストグラム補正手段と、をさらに有して構成されたものであり、上記階調変換曲線算出手段は、補正されたヒストグラムに基づき上記階調変換曲線を算出するものである。
【００６７】
（第１０の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
【００６８】
関心領域設定手段は図１９に示すエッジ算出部３０３，色相算出部１０００，人物判断部１００１が、重み係数設定手段は図１９に示す重み係数設定部１００２が、ヒストグラム補正手段は図１９に示すヒストグラム補正部１００３が、それぞれ該当する。
【００６９】
この発明の好ましい適用例は、エッジ算出部３０３，色相算出部１０００，人物判断部１００１によって低周波成分から関心領域を設定し、重み係数設定部１００２によって関心領域に関して重み係数を設定し、ヒストグラム補正部１００３によって重み係数に基づきヒストグラムに補正を行う画像処理システムである。
【００７０】
（作用）
人物などの関心領域に基づき、階調変換曲線を算出するためのヒストグラムに補正を行う。
【００７１】
（効果）
関心領域に重みを付けた階調処理を行うことができるために、主観的に好ましい高品位な映像信号を得ることができる。
【００７２】
第１１の発明による画像処理システムは、上記第９または第１０の発明による画像処理システムにおいて、上記階調処理手段が、上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第１の抽出手段と、上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第２の抽出手段と、上記階調変換曲線に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換手段と、を有して構成されたものである。
【００７３】
（第１１の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
【００７４】
第１の抽出手段は図２１に示す低周波成分抽出部５００が、第２の抽出手段は図２１に示す高周波成分抽出部５０４が、階調変換手段は図２１に示す階調変換部５０５が、それぞれ該当する。
【００７５】
この発明の好ましい適用例は、低周波成分抽出部５００によって低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出し、高周波成分抽出部５０４によって高周波成分中の有効成分から低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出し、階調変換部５０５によって階調変換曲線に基づき低周波成分注目画素と有効成分注目画素とに対して階調変換を行う画像処理システムである。
【００７６】
（作用）
同一位置にある低周波成分と高周波成分の中の有効成分とを抽出して、同等な階調変換を行う。
【００７７】
（効果）
同一位置にある低周波成分と高周波成分の中の有効成分とに対して、変換特性が等しい階調変換を行うようにしたために、視覚的に違和感のない統一感のある映像信号を得ることができる。
【００７８】
第１２の発明による画像処理システムは、上記第７の発明による画像処理システムにおいて、上記変換特性算出手段が、上記低周波成分を複数の領域に分割する分割手段と、上記領域毎に上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出手段と、上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、を有して構成されたものである。
【００７９】
（第１２の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１および実施形態３が対応する。
【００８０】
各手段に該当する構成は、図１，図２６における変換特性算出部１１１の具体的な構成を示す図４に示される。すなわち、分割手段は図４に示す分割部３００が、適正域抽出手段は図４に示す適正域抽出部３０２が、エッジ算出手段は図４に示すエッジ算出部３０３が、ヒストグラム作成手段は図４に示すヒストグラム作成部３０４が、階調変換曲線算出手段は図４に示す階調変換曲線算出部３０５が、それぞれ該当する。
【００８１】
この発明の好ましい適用例は、分割部３００によって低周波成分を複数の領域に分割し、適正域抽出部３０２によって領域毎に低周波成分の信号値に基づき適正露光域を抽出し、エッジ算出部３０３によって領域毎に適正露光域に関してエッジ量を算出し、ヒストグラム作成部３０４によって領域毎にエッジ量に基づきヒストグラムを作成し、階調変換曲線算出部３０５によって領域毎にヒストグラムに基づき階調変換曲線を算出する画像処理システムである。
【００８２】
（作用）
階調変換処理を行うために必要な階調変換曲線を、映像信号の低周波成分から所定の領域毎に独立かつ適用的に算出する。
【００８３】
（効果）
映像信号の低周波成分から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。また、領域毎に独立して階調変換曲線を求めるようにしたために、より自由度が向上し、明暗比の大きいシーンに対しても高品位な映像信号を得ることができる。また、低周波成分に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
【００８４】
第１３の発明による画像処理システムは、上記第１２の発明による画像処理システムにおいて、上記階調処理手段が、上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第１の抽出手段と、上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第２の抽出手段と、上記低周波成分注目画素と該低周波成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出手段と、上記低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定手段と、上記設定された階調変換式に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換手段と、を有して構成されたものである。
【００８５】
（第１３の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１および実施形態３が対応する。
【００８６】
各手段に該当する構成は、図１，図２６における階調処理部１１３の具体的な構成を示す図６に示される。すなわち、第１の抽出手段は図６に示す低周波成分抽出部５００が、第２の抽出手段は図６に示す高周波成分抽出部５０４が、距離算出手段は図６に示す距離算出部５０１が、階調変換式設定手段は図６に示す階調変換式設定部５０２が、階調変換手段は図６に示す階調変換部５０５が、それぞれ該当する。
【００８７】
この発明の好ましい適用例は、低周波成分抽出部５００によって低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出し、高周波成分抽出部５０４によって高周波成分中の有効成分から低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出し、距離算出部５０１によって低周波成分注目画素と低周波成分注目画素の近傍に位置する領域の中心との距離情報を算出し、階調変換式設定部５０２によって低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と距離情報とに基づき階調変換に用いる階調変換式を設定し、階調変換部５０５によって階調変換式に基づき低周波成分注目画素と有効成分注目画素とに対して階調変換を行う画像処理システムである。
【００８８】
（作用）
同一位置にある低周波成分と高周波成分の中の有効成分とを抽出して、同等な階調変換を行う。また、領域毎に独立して求めた階調変換曲線を合成して階調変換に用いる。
【００８９】
（効果）
同一位置にある低周波成分と高周波成分の中の有効成分とに対して、変換特性が等しい階調変換を行うようにしたために、視覚的に違和感のない統一感のある映像信号を得ることができる。また、領域毎に独立して求めた階調変換曲線を合成して注目画素の階調変換に用いる階調変換式を設定するようにしたために、領域間における不連続性が発生することはなく、高品位な映像信号を得ることができる。
【００９０】
第１４の発明による画像処理システムは、上記第１１または第１３の発明による画像処理システムにおいて、上記階調処理手段が、上記低周波成分注目画素の位置に対応する有効成分注目画素が存在しない場合に上記有効成分注目画素に対する階調変換を中止するように制御する制御手段をさらに有して構成されたものである。
【００９１】
（第１４の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１、実施形態２、および実施形態３が対応する。
【００９２】
制御手段は図６，図２１に示す制御部１１８が該当する。
【００９３】
この発明の好ましい適用例は、低周波成分注目画素の位置に対応する有効成分注目画素が存在しない場合に、制御部１１８が有効成分注目画素に対する階調変換を中止するように制御する画像処理システムである。
【００９４】
（作用）
高周波成分中の有効成分が存在しない場合には、有効成分に対する階調変換を中止するように制御する。
【００９５】
（効果）
不要な階調変換を中止するようにしたために、処理速度を向上することが可能となる。
【００９６】
第１５の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記高周波分離手段が、上記低周波成分に基づき上記高周波成分のノイズ量を推定するノイズ推定手段と、上記ノイズ量および上記高周波成分に基づき許容範囲を設定する設定手段と、上記許容範囲に基づき上記高周波成分が上記無効成分と上記有効成分との何れに属するかを判断する判断手段と、を有して構成されたものである。
【００９７】
（第１５の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１、実施形態２、および実施形態３が対応する。
【００９８】
ノイズ推定手段は図５，図２８に示すゲイン算出部４０１，標準値付与部４０２，パラメータ用ＲＯＭ４０３，パラメータ選択部４０４，補間部４０５，制御部１１８および図２０に示すゲイン算出部４０１，標準値付与部４０２，ノイズＬＵＴ１１００，制御部１１８が、設定手段は図５，図２０，図２８に示す平均算出部４０７，上限下限設定部４０８が、判断手段は図５，図２０，図２８に示す判断部４０９が、それぞれ該当する。
【００９９】
この発明の好ましい適用例は、ゲイン算出部４０１，標準値付与部４０２，パラメータ用ＲＯＭ４０３，パラメータ選択部４０４，補間部４０５，制御部１１８，ノイズＬＵＴ１１００によって低周波成分に基づき高周波成分のノイズ量を推定し、上限下限設定部４０８によってノイズ量および高周波成分に基づき許容範囲を設定し、判断部４０９によって許容範囲に基づき高周波成分が無効成分と有効成分との何れに属するかを判断する画像処理システムである。
【０１００】
（作用）
低周波成分に基づき高周波成分のノイズ量を推定し、ノイズ量に基づき高周波成分が無効成分と有効成分との何れに属するかを判断する。
【０１０１】
（効果）
ノイズ量に基づき高周波成分の有効性を判断するようにしたために、階調処理に伴うノイズの増加を抑制するために最適な判断が可能となる。
【０１０２】
第１６の発明による画像処理システムは、上記第１５の発明による画像処理システムにおいて、上記設定手段が、上記高周波成分の平均値を算出する平均値算出手段と、上記ノイズ量および上記平均値に基づき高周波成分に関する上限値および下限値を上記許容範囲の境界を示す値として設定する上限下限設定手段と、を有して構成されたものである。
【０１０３】
（第１６の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１、実施形態２、および実施形態３が対応する。
【０１０４】
平均算出手段は図５，図２０，図２８に示す平均算出部４０７が、上限下限設定手段は図５，図２０，図２８に示す上限下限設定部４０８が、それぞれ該当する。
【０１０５】
この発明の好ましい適用例は、平均算出部４０７によって高周波成分の平均値を算出し、上限下限設定部４０８によってノイズ量および平均値に基づき高周波成分に関する上限値および下限値を設定する画像処理システムである。
【０１０６】
（作用）
高周波成分の平均値とノイズ量とに基づき、上限値および下限値を設定する。
【０１０７】
（効果）
高周波成分に関してノイズに該当する範囲が適切に設定されるために、処理を高精度化することが可能となる。
【０１０８】
第１７の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記高周波成分に対してノイズ低減処理を行うノイズ低減手段をさらに具備したものである。
【０１０９】
（第１７の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態３が対応する。
【０１１０】
ノイズ低減手段は図２８に示す第１スムージング部１３００，第２スムージング部１３０１が該当する。
【０１１１】
この発明の好ましい適用例は、第１スムージング部１３００，第２スムージング部１３０１によって高周波成分に対してノイズ低減処理を行う画像処理システムである。
【０１１２】
（作用）
高周波成分に対してノイズ低減処理を行う。
【０１１３】
（効果）
ノイズ低減処理がなされた高周波成分に対して階調変換を行うことにより、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
【０１１４】
第１８の発明による画像処理システムは、上記第１７の発明による画像処理システムにおいて、上記ノイズ低減手段が、上記高周波成分中の有効成分に対して補正を行う第１のスムージング手段と、上記高周波成分中の無効成分に対して平滑化を行う第２のスムージング手段と、を有して構成されたものである。
【０１１５】
（第１８の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態３が対応する。
【０１１６】
第１のスムージング手段は図２８に示す第１スムージング部１３００が、第２のスムージング手段は図２８に示す第２スムージング部１３０１が、それぞれ該当する。
【０１１７】
この発明の好ましい適用例は、第１スムージング部１３００によって高周波成分中の有効成分に対して補正を行い、第２スムージング部１３０１によって高周波成分中の無効成分に対して平滑化を行う画像処理システムである。
【０１１８】
（作用）
高周波成分中の有効成分に対しては補正処理を、高周波成分中の無効成分に対しては平滑化処理を行う。
【０１１９】
（効果）
ノイズ低減処理に伴う不連続性の発生を防止して、高品位な映像信号を生成することが可能となる。
【０１２０】
第１９の発明による画像処理システムは、上記第３の発明による画像処理システムにおいて、上記高周波成分中の有効成分に対してエッジ強調処理を行うエッジ強調手段をさらに具備したものである。
【０１２１】
（第１９の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態３が対応する。
【０１２２】
エッジ強調手段は図２６に示すエッジ強調部１２０２が該当する。
【０１２３】
この発明の好ましい適用例は、エッジ強調部１２０２によって高周波成分中の有効成分に対してエッジ強調処理を行う画像処理システムである。
【０１２４】
（作用）
高周波成分中の有効成分に対してエッジ強調処理を行う。
【０１２５】
（効果）
ノイズ成分を強調することなくエッジ成分のみを強調することができるために、高品位な映像信号を生成することが可能となる。
【０１２６】
第２０の発明による画像処理システムは、上記第１または第２の発明による画像処理システムにおいて、上記分離手段が、上記映像信号に対してノイズ低減を行うことにより有効成分を求めるノイズ低減手段と、上記映像信号と上記ノイズ低減後の映像信号との差分から無効成分を求める差分手段と、を有して構成されたものである。
【０１２７】
（第２０の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
【０１２８】
ノイズ低減手段は図３１，図３２に示すノイズ低減部１４００が、差分手段は図３１に示す差分部１４０１が、それぞれ該当する。
【０１２９】
この発明の好ましい適用例は、ノイズ低減部１４００によって映像信号に対してノイズ低減を行うことにより有効成分を求めて、差分部１４０１によって映像信号とノイズ低減後の映像信号との差分から無効成分を求める画像処理システムである。
【０１３０】
（作用）
映像信号に対してノイズ低減を行うことにより有効成分を求めて、映像信号とノイズ低減後の映像信号との差分から無効成分を求める。
【０１３１】
（効果）
ノイズ低減処理により有効成分を求めて、差分処理により無効成分を求めるようにしたために、既存のシステムとの親和性および互換性が高く、多くの画像処理システムに適用することが可能となる。また、ノイズ低減処理を有効成分の算出に利用することができるために、システムの規模を縮小して低コスト化を図ることが可能となる。
【０１３２】
第２１の発明による画像処理システムは、上記第２０の発明による画像処理システムにおいて、上記ノイズ低減手段が、上記映像信号のノイズ量を推定するノイズ推定手段と、上記ノイズ量および上映像信号に基づき許容範囲を設定する設定手段と、上記許容範囲に基づき上記映像信号がノイズに属するか否かを判断する判断手段と、上記映像信号がノイズに属さないと判断された場合に補正を行う第１のスムージング手段と、上記映像信号がノイズに属すると判断された場合に平滑化を行う第２のスムージング手段と、を有して構成されたものである。
【０１３３】
（第２１の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
【０１３４】
ノイズ推定手段は図３２に示す平均算出部１５０１，ゲイン算出部１５０２，標準値付与部１５０３，ノイズＬＵＴ１５０４，制御部１１８が、設定手段は図３２に示す上限下限設定部１５０５が、判断手段は図３２に示す判断部１５０６が、第１のスムージング手段は図３２に示す第１スムージング部１５０７が、第２のスムージング手段は図３２に示す第２スムージング部１５０８が、それぞれ該当する。
【０１３５】
この発明の好ましい適用例は、平均算出部１５０１，ゲイン算出部１５０２，標準値付与部１５０３，ノイズＬＵＴ１５０４，制御部１１８によって映像信号のノイズ量を推定し、上限下限設定部１５０５によってノイズ量および映像信号に基づき許容範囲を設定し、判断部１５０６によって許容範囲に基づき映像信号がノイズに属するか否かを判断し、映像信号がノイズに属さないと判断された場合に第１スムージング部１５０７によって補正を行い、映像信号がノイズに属すると判断された場合に第２スムージング部１５０８によって平滑化を行う画像処理システムである。
【０１３６】
（作用）
映像信号のノイズ量を推定して、ノイズ量に基づき映像信号がノイズに属するか否かを判断し、ノイズに属さないと判断された場合には補正処理を、ノイズに属すると判断された場合には平滑化処理を行う。
【０１３７】
（効果）
ノイズ量に基づきノイズ低減処理に関する判断を行うようにしたために、最適なノイズ低減処理を行うことが可能となる。また、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な映像信号を生成することが可能となる。
【０１３８】
第２２の発明による画像処理システムは、上記第２０の発明による画像処理システムにおいて、上記変換手段が、上記有効成分に基づき階調変換に用いる変換特性を算出する変換特性算出手段と、上記変換特性を用いて上記有効成分に対して階調処理を行う階調処理手段と、を有して構成されたものである。
【０１３９】
（第２２の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
【０１４０】
変換特性算出手段は図３１に示す変換特性算出部１１１が、階調処理手段は図３１，図３３に示す階調処理部１４０２が、それぞれ該当する。
【０１４１】
この発明の好ましい適用例は、変換特性算出部１１１によってノイズ低減後の映像信号に基づき階調変換に用いる変換特性を算出し、階調処理部１４０２によってノイズ低減後の映像信号に対して階調処理を行う画像処理システムである。
【０１４２】
（作用）
ノイズ低減後の映像信号に基づき階調変換に用いる変換特性を算出し、ノイズ低減後の映像信号に対して階調処理を行う。
【０１４３】
（効果）
ノイズ低減後の映像信号に基づき変換特性を算出するようにしたために、ノイズによる影響の少ない適切な変換特性を算出することが可能となって、処理の安定性および信頼性を向上することができる。また、ノイズ低減後の映像信号に対して階調処理を行い、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
【０１４４】
第２３の発明による画像処理システムは、上記第２２の発明による画像処理システムにおいて、上記合成手段が、上記階調処理がなされた有効成分と、上記無効成分と、に基づき階調変換がなされた映像信号を合成する信号合成手段を有して構成されたものである。
【０１４５】
（第２３の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
【０１４６】
信号合成手段は図３１に示す信号合成部１４０３が該当する。
【０１４７】
この発明の好ましい適用例は、信号合成部１４０３によって、階調処理がなされたノイズ低減後の映像信号と、映像信号とノイズ低減後の映像信号との差分からなる無効成分と、を合成する画像処理システムである。
【０１４８】
（作用）
階調処理がなされたノイズ低減後の映像信号と、無効成分と、を合成する。
【０１４９】
（効果）
階調処理がなされたノイズ低減後の映像信号と、無効成分と、を合成するようにしたために、ノイズ低減処理において発生する誤差を抑制することができ、安定した階調処理を行うことが可能となる。また、視覚的に違和感の少ない、高品位な映像信号を生成することが可能となる。
【０１５０】
第２４の発明による画像処理システムは、上記第２２の発明による画像処理システムにおいて、上記変換特性算出手段が、上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、上記適正露光域に関してエッジ量を算出するエッジ算出手段と、上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、を有して構成されたものである。
【０１５１】
（第２４の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
【０１５２】
各手段に該当する構成は、図３１における変換特性算出部１１１の具体的な構成を示す図１９に示される。すなわち、適正域抽出手段は図１９に示す適正域抽出部３０２が、エッジ算出手段は図１９に示すエッジ算出部３０３が、ヒストグラム作成手段は図１９に示すヒストグラム作成部３０４が、階調変換曲線算出手段は図１９に示す階調変換曲線算出部３０５が、それぞれ該当する。
【０１５３】
この発明の好ましい適用例は、適正域抽出部３０２によってノイズ低減後の映像信号に基づき適正露光域を抽出し、エッジ算出部３０３によって適正露光域に関してエッジ量を算出し、ヒストグラム作成部３０４によってエッジ量に基づきヒストグラムを作成し、階調変換曲線算出部３０５によってヒストグラムに基づき階調変換曲線を算出する画像処理システムである。
【０１５４】
（作用）
階調変換処理を行うために必要な階調変換曲線を、ノイズ低減後の映像信号から適用的に算出する。
【０１５５】
（効果）
ノイズ低減後の映像信号から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。また、ノイズ低減後の映像信号に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
【０１５６】
第２５の発明による画像処理システムは、上記第２４の発明による画像処理システムにおいて、上記変換特性算出手段が、上記有効成分から関心領域を設定する関心領域設定手段と、上記関心領域に関して重み係数を設定する重み係数設定手段と、上記重み係数に基づき上記ヒストグラムに補正を行うヒストグラム補正手段と、をさらに有して構成されたものであり、上記階調変換曲線算出手段は、補正されたヒストグラムに基づき上記階調変換曲線を算出するものである。
【０１５７】
（第２５の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
【０１５８】
各手段に該当する構成は、図３１における変換特性算出部１１１の具体的な構成を示す図１９に示される。すなわち、関心領域設定手段は図１９に示すエッジ算出部３０３，色相算出部１０００，人物判断部１００１が、重み係数設定手段は図１９に示す重み係数設定部１００２が、ヒストグラム補正手段は図１９に示すヒストグラム補正部１００３が、それぞれ該当する。
【０１５９】
この発明の好ましい適用例は、エッジ算出部３０３，色相算出部１０００，人物判断部１００１によってノイズ低減後の映像信号から関心領域を設定し、重み係数設定部１００２によって関心領域に関して重み係数を設定し、ヒストグラム補正部１００３によって重み係数に基づきヒストグラムに補正を行う画像処理システムである。
【０１６０】
（作用）
人物などの関心領域に基づき、階調変換曲線を算出するためのヒストグラムに補正を行う。
【０１６１】
（効果）
関心領域に重みを付けた階調処理を行うことができるために、主観的に好ましい高品位な映像信号を得ることができる。
【０１６２】
第２６の発明による画像処理システムは、上記第２４または第２５の発明による画像処理システムにおいて、上記階調処理手段が、上記有効成分から階調処理を行う対象となる有効成分注目画素を順次抽出する抽出手段と、上記階調変換曲線に基づき上記有効成分注目画素に対して階調変換を行う階調変換手段と、を有して構成されたものである。
【０１６３】
（第２６の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
【０１６４】
抽出手段は図３３に示す映像信号抽出部１６００が、階調変換手段は図３３に示す階調変換部５０５が、それぞれ該当する。
【０１６５】
この発明の好ましい適用例は、映像信号抽出部１６００によってノイズ低減後の映像信号から階調処理を行う対象となる有効成分注目画素を順次抽出し、階調変換部５０５によって階調変換曲線に基づき有効成分注目画素に対して階調変換を行う画像処理システムである。
【０１６６】
（作用）
ノイズ低減後の映像信号を順次抽出して、階調変換を行う。
【０１６７】
（効果）
ノイズ低減後の映像信号に階調変換を行い、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
【０１６８】
第２７の発明による画像処理システムは、上記第２２の発明による画像処理システムにおいて、上記変換特性算出手段が、上記有効成分を複数の領域に分割する分割手段と、上記領域毎に上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出手段と、上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出手段と、上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成手段と、上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出手段と、を有して構成されたものである。
【０１６９】
（第２７の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
【０１７０】
各手段に該当する構成は、図３１における変換特性算出部１１１の具体的な構成を示す図４に示される。すなわち、分割手段は図４に示す分割部３００が、適正域抽出手段は図４に示す適正域抽出部３０２が、エッジ算出手段は図４に示すエッジ算出部３０３が、ヒストグラム作成手段は図４に示すヒストグラム作成部３０４が、階調変換曲線算出手段は図４に示す階調変換曲線算出部３０５が、それぞれ該当する。
【０１７１】
この発明の好ましい適用例は、分割部３００によってノイズ低減後の映像信号を複数の領域に分割し、適正域抽出部３０２によって領域毎にノイズ低減後の映像信号に基づき適正露光域を抽出し、エッジ算出部３０３によって領域毎に適正露光域に関してエッジ量を算出し、ヒストグラム作成部３０４によって領域毎にエッジ量に基づきヒストグラムを作成し、階調変換曲線算出部３０５によって領域毎にヒストグラムに基づき階調変換曲線を算出する画像処理システムである。
【０１７２】
（作用）
階調変換処理を行うために必要な階調変換曲線を、ノイズ低減後の映像信号から所定の領域毎に独立かつ適用的に算出する。
【０１７３】
（効果）
ノイズ低減後の映像信号から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。また、領域毎に独立して階調変換曲線を求めるようにしたために、より自由度が向上し、明暗比の大きいシーンに対しても高品位な映像信号を得ることができる。また、ノイズ低減後の映像信号に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
【０１７４】
第２８の発明による画像処理システムは、上記第２７の発明による画像処理システムにおいて、上記階調処理手段が、上記有効成分から階調処理を行う対象となる有効成分注目画素を順次抽出する抽出手段と、上記有効成分注目画素と上記有効成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出手段と、上記有効成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定手段と、上記設定された階調変換式に基づき上記有効成分注目画素に対して階調変換を行う階調変換手段と、を有して構成されたものである。
【０１７５】
（第２８の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
【０１７６】
抽出手段は図３３に示す映像信号抽出部１６００が、距離算出手段は図３３に示す距離算出部５０１が、階調変換式設定手段は図３３に示す階調変換式設定部５０２が、階調変換手段は図３３に示す階調変換部５０５が、それぞれ該当する。
【０１７７】
この発明の好ましい適用例は、映像信号抽出部１６００によってノイズ低減後の映像信号から階調処理を行う対象となる有効成分注目画素を順次抽出し、距離算出部５０１によって有効成分注目画素と有効成分注目画素の近傍に位置する領域の中心との距離情報を算出し、階調変換式設定部５０２によって有効成分注目画素の近傍に位置する所定数の領域の階調変換曲線と距離情報とに基づき階調変換に用いる階調変換式を設定し、階調変換部５０５によって階調変換式に基づき有効成分注目画素に対して階調変換を行う画像処理システムである。
【０１７８】
（作用）
ノイズ低減後の映像信号を順次抽出して、階調変換を行う。また、領域毎に独立して求めた階調変換曲線を合成して階調変換に用いる。
【０１７９】
（効果）
ノイズ低減後の映像信号に階調変換を行い、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。また、領域毎に独立して求めた階調変換曲線を合成して注目画素の階調変換に用いる階調変換式を設定するようにしたために、領域間における不連続性が発生することはなく、高品位な映像信号を得ることができる。
【０１８０】
第２９の発明による画像処理システムは、上記第２１の発明による画像処理システムにおいて、上記設定手段が、上記映像信号の平均値を算出する平均値算出手段と、上記ノイズ量および上記平均値に基づき上記映像信号に関する上限値および下限値を上記許容範囲の境界を示す値として設定する上限下限設定手段と、を有して構成されたものである。
【０１８１】
（第２９の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態４が対応する。
【０１８２】
平均算出手段は図３２に示す平均算出部１５０１が、上限下限設定手段は図３２に示す上限下限設定部１５０５が、それぞれ該当する。
【０１８３】
この発明の好ましい適用例は、平均算出部１５０１によって映像信号の平均値を算出し、上限下限設定部１５０５によってノイズ量および平均値に基づき映像信号に関する上限値および下限値を設定する画像処理システムである。
【０１８４】
（作用）
映像信号の平均値とノイズ量とに基づき、上限値および下限値を設定する。
【０１８５】
（効果）
映像信号に関してノイズに該当する範囲が適切に設定されるために、処理を高精度化することが可能となる。
【０１８６】
第３０の発明による画像処理システムは、上記第１５または第２１の発明による画像処理システムにおいて、上記ノイズ推定手段が、基準ノイズモデルに関するパラメータ群を記録する記録手段と、上記映像信号を撮像する際に用いた撮像素子の温度値と該映像信号に対するゲイン値とに関する情報を収集する収集手段と、上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、上記収集手段または上記付与手段からの情報と上記低周波成分または上記映像信号とに基づき上記パラメータ群から必要となるパラメータを選択するパラメータ選択手段と、上記低周波成分または上記映像信号と上記選択されたパラメータとに基づき補間演算によりノイズ量を求める補間手段と、を有して構成されたものである。
【０１８７】
（第３０の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態１および実施形態３が対応する。
【０１８８】
記録手段は図５，図２８に示すパラメータ用ＲＯＭ４０３が、収集手段は図５，図２８に示すゲイン算出部４０１，制御部１１８が、付与手段は図５，図２８に示す標準値付与部４０２が、パラメータ選択手段は図５，図２８に示すパラメータ選択部４０４が、補間手段は図５，図２８に示す補間部４０５が、それぞれ該当する。
【０１８９】
この発明の好ましい適用例は、パラメータ用ＲＯＭ４０３に予め測定しておいたノイズ量推定のために使用される基準ノイズモデルに関するパラメータを記録し、ゲイン算出部４０１，制御部１１８によって映像信号を撮像する際に用いた撮像素子の温度値と映像信号に対するゲイン値とに関する情報を収集し、標準値付与部４０２によってゲイン算出部４０１，制御部１１８からの情報が得られない場合に標準値を付与し、パラメータ選択部４０４によって収集手段または付与手段からの情報と低周波成分または映像信号とに基づきパラメータ群から必要となるパラメータを選択し、補間部４０５によって低周波成分または映像信号と選択されたパラメータとに基づき補間演算によりノイズ量を求める画像処理システムである。
【０１９０】
（作用）
ノイズ量に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、基準ノイズモデルに基づき補間処理を行うことによりノイズ量を求める。
【０１９１】
（効果）
撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。また、ノイズ量の算出にモデルを用いているために、ノイズ量を高精度に推定することが可能となる。また、補間処理は実装が容易であり、低コストなシステムを構成することが可能となる。
【０１９２】
第３１の発明による画像処理システムは、上記第１５または第２１の発明による画像処理システムにおいて、上記ノイズ推定手段が、上記映像信号を撮像する際に用いた撮像素子の温度値と該映像信号に対するゲイン値とに関する情報を収集する収集手段と、上記収集手段により得ることができない情報に関して標準値を付与する付与手段と、上記収集手段または上記付与手段からの情報と上記低周波成分または上記映像信号とに基づきノイズ量を出力するテーブル変換手段と、を有して構成されたものである。
【０１９３】
（第３１の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２および実施形態４が対応する。
【０１９４】
収集手段は図２０に示すゲイン算出部４０１，制御部１１８および図３２に示すゲイン算出部１５０２，制御部１１８が、付与手段は図２０に示す標準値付与部４０２および図３２に示す標準値付与部１５０３が、テーブル変換手段は図２０に示すノイズＬＵＴ１１００および図３２に示すノイズＬＵＴ１５０４が、それぞれ該当する。
【０１９５】
この発明の好ましい適用例は、ゲイン算出部４０１，制御部１１８，ゲイン算出部１５０２によって映像信号を撮像する際に用いた撮像素子の温度値と映像信号に対するゲイン値とに関する情報を収集し、標準値付与部４０２，標準値付与部１５０３によってゲイン算出部４０１，制御部１１８，ゲイン算出部１５０２からの情報が得られない場合に標準値を付与し、ノイズＬＵＴ１１００，ノイズＬＵＴ１５０４によって収集手段または付与手段からの情報と低周波成分または映像信号とに基づきノイズ量を求める画像処理システムである。
【０１９６】
（作用）
ノイズ量に関係する各種情報を撮影毎に動的に求めて、求められない情報に関しては標準値を設定し、ルックアップテーブルからノイズ量を求める。
【０１９７】
（効果）
撮影毎に異なる条件に動的に適応して、ノイズ量を高精度に推定することが可能となる。また、ノイズ量の算出にルックアップテーブルを用いているために、ノイズ量を高速に推定することが可能となる。
【０１９８】
第３２の発明による画像処理システムは、上記第２の発明による画像処理システムにおいて、上記階調変換がなされた輝度信号と上記色信号とに基づき、階調変換がなされたカラー映像信号を合成するＹ／Ｃ合成手段をさらに具備したものである。
【０１９９】
（第３２の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
【０２００】
Ｙ／Ｃ合成手段は図１５に示すＹ／Ｃ合成部８０９が該当する。
【０２０１】
この発明の好ましい適用例は、Ｙ／Ｃ合成部８０９によって、階調変換がなされた輝度信号と、色信号と、に基づき階調変換がなされたカラー映像信号を合成する画像処理システムである。
【０２０２】
（作用）
色信号と階調変換がなされた輝度信号とを合成し、階調変換がなされたカラー映像信号を得る。
【０２０３】
（効果）
階調処理後の輝度信号と、色信号と、を本来のカラー映像信号へ戻すようにしたために、後段の処理系との互換性が維持される。これにより、多様なシステムと組み合わせることが可能となる。
【０２０４】
第３３の発明による画像処理システムは、上記第２の発明による画像処理システムにおいて、上記カラー映像信号が、Ｒ（赤），Ｇ（緑），Ｂ（青）ベイヤー（Bayer）型原色フィルタを前面に配置した単板撮像素子、またはＣｙ（シアン），Ｍｇ（マゼンタ），Ｙｅ（イエロー），Ｇ（緑）色差線順次型補色フィルタを前面に配置した単板撮像素子から得られたカラー映像信号である。
【０２０５】
（第３３の発明に対応する実施形態および好ましい適用例）
この発明には、実施形態２が対応する。
【０２０６】
ベイヤー（Bayer）型原色フィルタは図１６に、色差線順次型補色フィルタは図１７に、それぞれ示される。
【０２０７】
この発明の好ましい適用例は、図１６に示すベイヤー（Bayer）型原色フィルタ、または図１７に示す色差線順次型補色フィルタを、単板撮像素子の前面に配置したカメラシステムである。
【０２０８】
（作用）
ベイヤー（Bayer）型原色フィルタまたは色差線順次型補色フィルタを前面に配置した単板撮像素子を用いる。
【０２０９】
（効果）
従来の撮影部との親和性が高く、多くの画像処理システムに適用することが可能となる。
【０２１０】
第３４の発明による画像処理プログラムは、コンピュータに、映像信号に対して階調変換を行わせるための画像処理プログラムであって、コンピュータに、上記映像信号をノイズに起因する無効成分とその他の有効成分とに分離する分離ステップと、上記有効成分に対して階調変換を行う変換ステップと、上記階調変換がなされた有効成分と上記無効成分とに基づき階調変換がなされた映像信号を合成する合成ステップと、を実行させるためのプログラムである。
【０２１１】
（第３４の発明に対応する実施形態および作用、効果）
第１の発明と同様である。
【０２１２】
第３５の発明による画像処理プログラムは、上記第３４の発明による画像処理プログラムにおいて、コンピュータに、上記映像信号がカラー映像信号である場合に該カラー映像信号を輝度信号と色信号とへ分離するＹ／Ｃ分離ステップをさらに実行させるためのものであり、上記分離ステップ、上記変換ステップ、および上記合成ステップにより扱う上記映像信号は、上記Ｙ／Ｃ分離ステップにより分離された上記輝度信号である。
【０２１３】
（第３５の発明に対応する実施形態および作用、効果）
第２の発明と同様である。
【０２１４】
第３６の発明による画像処理プログラムは、上記第３４または第３５の発明による画像処理プログラムにおいて、上記分離ステップが、上記映像信号を高周波成分と低周波成分とに分解する周波数分解ステップと、上記高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する高周波分離ステップと、を有する。
【０２１５】
（第３６の発明に対応する実施形態および作用、効果）
第３の発明と同様である。
【０２１６】
第３７の発明による画像処理プログラムは、上記第３６の発明による画像処理プログラムにおいて、上記変換ステップが、上記低周波成分に基づき階調変換に用いる変換特性を算出する変換特性算出ステップと、上記変換特性を用いて上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う階調処理ステップと、を有し、さらに、上記変換特性算出ステップは、上記低周波成分を複数の領域に分割する分割ステップと、上記領域毎に上記低周波成分の信号値に基づき適正露光域を抽出する適正域抽出ステップと、上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出ステップと、上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成ステップと、上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出ステップと、を有する。
【０２１７】
（第３７の発明に対応する実施形態および作用、効果）
第１２の発明と同様である。
【０２１８】
第３８の発明による画像処理プログラムは、上記第３７の発明による画像処理プログラムにおいて、上記階調処理ステップが、上記低周波成分から階調処理を行う対象となる低周波成分注目画素を順次抽出する第１の抽出ステップと、上記高周波成分中の有効成分から上記低周波成分注目画素の位置に対応する有効成分注目画素を順次抽出する第２の抽出ステップと、上記低周波成分注目画素と該低周波成分注目画素の近傍に位置する上記領域の中心との距離情報を算出する距離算出ステップと、上記低周波成分注目画素の近傍に位置する所定数の領域の階調変換曲線と上記距離情報とに基づき階調変換に用いる階調変換式を設定する階調変換式設定ステップと、上記設定された階調変換式に基づき上記低周波成分注目画素と上記有効成分注目画素とに対して階調変換を行う階調変換ステップと、を有する。
【０２１９】
（第３８の発明に対応する実施形態および作用、効果）
第１３の発明と同様である。
【０２２０】
第３９の発明による画像処理プログラムは、上記第３８の発明による画像処理プログラムにおいて、上記階調処理ステップが、上記低周波成分注目画素の位置に対応する有効成分注目画素が存在しない場合に上記有効成分注目画素に対する階調変換を中止するように制御する制御ステップをさらに有する。
【０２２１】
（第３９の発明に対応する実施形態および作用、効果）
第１４の発明と同様である。
【０２２２】
第４０の発明による画像処理プログラムは、上記第３６の発明による画像処理プログラムにおいて、上記高周波分離ステップが、上記低周波成分に基づき上記高周波成分のノイズ量を推定するノイズ推定ステップと、上記ノイズ量および上記高周波成分に基づき許容範囲を設定する設定ステップと、上記許容範囲に基づき上記高周波成分が上記無効成分と上記有効成分との何れに属するかを判断する判断ステップと、を有する。
【０２２３】
（第４０の発明に対応する実施形態および作用、効果）
第１５の発明と同様である。
【０２２４】
第４１の発明による画像処理プログラムは、上記第３６の発明による画像処理プログラムにおいて、コンピュータに、上記高周波成分に対してノイズ低減処理を行うノイズ低減ステップをさらに実行させるためのものである。
【０２２５】
（第４１の発明に対応する実施形態および作用、効果）
第１７の発明と同様である。
【０２２６】
第４２の発明による画像処理プログラムは、上記第３６の発明による画像処理プログラムにおいて、コンピュータに、上記高周波成分中の有効成分に対してエッジ強調処理を行うエッジ強調ステップをさらに実行させるためのものである。
【０２２７】
（第４２の発明に対応する実施形態および作用、効果）
第１９の発明と同様である。
【０２２８】
第４３の発明による画像処理プログラムは、上記第３４または第３５の発明による画像処理プログラムにおいて、上記分離ステップが、上記映像信号に対してノイズ低減を行うことにより有効成分を求めるノイズ低減ステップと、上記映像信号と上記ノイズ低減後の映像信号との差分から無効成分を求める差分ステップと、を有する。
【０２２９】
（第４３の発明に対応する実施形態および作用、効果）
第２０の発明と同様である。
【０２３０】
第４４の発明による画像処理プログラムは、上記第４３の発明による画像処理プログラムにおいて、上記ノイズ低減ステップが、上記映像信号のノイズ量を推定するノイズ推定ステップと、上記ノイズ量および上映像信号に基づき許容範囲を設定する設定ステップと、上記許容範囲に基づき上記映像信号がノイズに属するか否かを判断する判断ステップと、上記映像信号がノイズに属さないと判断された場合に補正を行う第１のスムージングステップと、上記映像信号がノイズに属すると判断された場合に平滑化を行う第２のスムージングステップと、を有する。
【０２３１】
（第４４の発明に対応する実施形態および作用、効果）
第２１の発明と同様である。
【０２３２】
第４５の発明による画像処理プログラムは、上記第４３の発明による画像処理プログラムにおいて、上記変換ステップが、上記有効成分に基づき階調変換に用いる変換特性を算出する変換特性算出ステップと、上記変換特性を用いて上記有効成分に対して階調処理を行う階調処理ステップと、を有し、さらに、上記変換特性算出ステップは、上記有効成分を複数の領域に分割する分割ステップと、上記領域毎に上記有効成分の信号値に基づき適正露光域を抽出する適正域抽出ステップと、上記領域毎に上記適正露光域に関してエッジ量を算出するエッジ算出ステップと、上記領域毎に上記エッジ量に基づきヒストグラムを作成するヒストグラム作成ステップと、上記領域毎に上記ヒストグラムに基づき上記変換特性としての階調変換曲線を算出する階調変換曲線算出ステップと、を有する。
【０２３３】
（第４５の発明に対応する実施形態および作用、効果）
第２７の発明と同様である。
【発明の効果】
【０２３４】
本発明の画像処理システム、画像処理プログラムによれば、スペースインバリアントおよびスペースバリアントな階調処理において、ノイズの増加を抑制しながら、高品位な映像信号を生成することが可能となる。
【０２３５】
また本発明の画像処理システム、画像処理プログラムによれば、階調処理とノイズ低減処理との両方を行うことができ、かつ全体としての高性能化および低コスト化を図ることが可能となる。
【発明を実施するための最良の形態】
【０２３６】
以下、図面を参照して本発明の実施の形態を説明する。
【０２３７】
［実施形態１］
図１から図１４は本発明の実施形態１を示したものであり、図１は画像処理システムの構成を示すブロック図である。
【０２３８】
この図１に示す画像処理システムは、撮像部を含む撮像システムとして構成された例となっている。
【０２３９】
すなわち、この画像処理システムは、レンズ系１００と、絞り１０１と、ＣＣＤ１０２と、増幅部１０３と、Ａ／Ｄ変換部（図中では、単に「Ａ／Ｄ」と記載する。）１０４と、バッファ１０５と、測光評価部１０６と、合焦点検出部１０７と、ＡＦモータ１０８と、分離手段であり周波数分解手段たる周波数分解部１０９と、バッファ１１０と、変換手段であり変換特性算出手段たる変換特性算出部１１１と、分離手段であり高周波分離手段たる高周波分離部１１２と、変換手段であり階調処理手段たる階調処理部１１３と、バッファ１１４と、合成手段であり周波数合成手段たる周波数合成部１１５と、信号処理部１１６と、出力部１１７と、制御手段でありノイズ推定手段と収集手段とを兼ねた制御部１１８と、外部Ｉ／Ｆ部１１９と、温度センサ１２０と、を備えている。
【０２４０】
レンズ系１００，絞り１０１，ＣＣＤ１０２を介して撮影し出力されたアナログの映像信号は、増幅部１０３によって増幅され、Ａ／Ｄ変換部１０４によってデジタル信号へ変換される。
【０２４１】
このＡ／Ｄ変換部１０４からの映像信号は、バッファ１０５を介して周波数分解部１０９へ転送される。バッファ１０５は、測光評価部１０６および合焦点検出部１０７へも接続されている。
【０２４２】
測光評価部１０６は、絞り１０１とＣＣＤ１０２と増幅部１０３とへ接続されている。また、合焦点検出部１０７は、ＡＦモータ１０８へ接続されている。
【０２４３】
周波数分解部１０９からの信号は、バッファ１１０へ接続されている。バッファ１１０は、変換特性算出部１１１と高周波分離部１１２と階調処理部１１３とへ接続されている。
【０２４４】
変換特性算出部１１１は、階調処理部１１３へ接続されている。高周波分離部１１２は、階調処理部１１３とバッファ１１４とへ接続されている。階調処理部１１３は、バッファ１１４へ接続されている。
【０２４５】
バッファ１１４は、周波数合成部１１５と信号処理部１１６とを経由して、メモリカードなどの出力部１１７へ接続されている。
【０２４６】
制御部１１８は、例えばマイクロコンピュータにより構成されていて、増幅部１０３，Ａ／Ｄ変換部１０４，測光評価部１０６，合焦点検出部１０７，周波数分解部１０９，変換特性算出部１１１，高周波分離部１１２，階調処理部１１３，周波数合成部１１５，信号処理部１１６，出力部１１７と双方向に接続されており、これらを制御するようになっている。
【０２４７】
また、外部Ｉ／Ｆ部１１９も制御部１１８と双方向に接続されている。この外部Ｉ／Ｆ部１１９は、電源スイッチ，シャッタボタン，撮影時の各種モードの切り替えを行うためのモードボタン等を備えたインタフェースである。
【０２４８】
さらに、温度センサ１２０からの信号も制御部１１８へ接続されている。この温度センサ１２０は、ＣＣＤ１０２の近傍に配置されていて、該ＣＣＤ１０２の温度を実質的に測定するためのものである。
【０２４９】
次に、図１に示したような画像処理システムの作用を、映像信号の流れに沿って説明する。
【０２５０】
ユーザは、撮影を行う前に、外部Ｉ／Ｆ部１１９を介してＩＳＯ感度などの撮影条件を設定する。
【０２５１】
その後、ユーザが、外部Ｉ／Ｆ部１１９の２段式スイッチでなるシャッタボタンを半押しすると、この画像処理システムがプリ撮影モードに入る。
【０２５２】
レンズ系１００は、被写体の光学像をＣＣＤ１０２の撮像面へ結像する。
【０２５３】
絞り１０１は、レンズ系１００により結像される被写体光束の通過範囲を規定することにより、ＣＣＤ１０２の撮像面に結像される光学像の明るさを変更する。
【０２５４】
ＣＣＤ１０２は、結像される光学像を光電変換して、アナログの映像信号として出力する。なお、本実施形態においては、ＣＣＤ１０２として、白黒用単板ＣＣＤを想定している。また、撮像素子も、ＣＣＤに限るものではなく、ＣＭＯＳやその他の撮像素子を用いてももちろん構わない。
【０２５５】
こうしてＣＣＤ１０２から出力されたアナログ信号は、増幅部１０３によってＩＳＯ感度を考慮した所定量だけの増幅が行われた後に、Ａ／Ｄ変換部１０４によってデジタル信号へ変換されてバッファ１０５へ転送される。なお、本実施形態においては、デジタル化された映像信号の階調幅を例えば１２ビットとする。
【０２５６】
このバッファ１０５内に記憶された映像信号は、測光評価部１０６と、合焦点検出部１０７と、へそれぞれ転送される。
【０２５７】
測光評価部１０６は、映像信号に基づき、設定されたＩＳＯ感度，手ぶれ限界のシャッタ速度などを考慮して、上述した絞り１０１の絞り値やＣＣＤ１０２の電子シャッタ速度や増幅部１０３の増幅率などを適正露光となるように制御する。
【０２５８】
また、合焦点検出部１０７は、映像信号に基づき、エッジ強度を検出し、このエッジ強度が最大となるようにＡＦモータ１０８を制御して、合焦信号を得る。
【０２５９】
こうして、焦点調節や露出調節などが行われたところで、ユーザが、外部Ｉ／Ｆ部１１９の２段式スイッチでなるシャッタボタンを全押しにすると、この画像処理システムが本撮影モードに入る。
【０２６０】
すると、プリ撮影と同様にして、映像信号がバッファ１０５へ転送される。この本撮影は、測光評価部１０６によって求められた露光条件と、合焦点検出部１０７によって求められた合焦条件と、に基づいて行われており、これらの撮影時の条件が制御部１１８へ転送される。
【０２６１】
本撮影によって得られたバッファ１０５内の映像信号は、周波数分解部１０９へ転送される。
【０２６２】
周波数分解部１０９は、制御部１１８の制御に基づき、転送されてきた映像信号に所定の周波数分解を行い、高周波成分と低周波成分とを取得する。そして、周波数分解部１０９は、得られた高周波成分および低周波成分を順次バッファ１１０へ転送する。なお、本実施形態においては、周波数分解として二回のウェーブレット（Wavelet）変換を用いることを想定している。
【０２６３】
変換特性算出部１１１は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を読み込み、階調変換処理に用いる階調特性を算出する。なお、本実施形態においては、階調変換処理として、局所領域毎に異なる複数の階調特性を用いるスペースバリアントな処理を想定している。そして、変換特性算出部１１１は、算出した階調特性を、階調処理部１１３へ転送する。
【０２６４】
高周波分離部１１２は、制御部１１８の制御に基づき、バッファ１１０から高周波成分を読み込んで、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する。そして、高周波分離部１１２は、分離した上記有効成分を階調処理部１１３へ、上記無効成分をバッファ１１４へ、それぞれ転送する。
【０２６５】
階調処理部１１３は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を、高周波分離部１１２から高周波成分中の有効成分を、変換特性算出部１１１から階調特性を、それぞれ読み込む。そして、階調処理部１１３は、上記階調特性に基づき、上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う。階調処理部１１３は、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分とを、バッファ１１４へ転送する。
【０２６６】
周波数合成部１１５は、制御部１１８の制御に基づき、バッファ１１４から、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を読み込んで、これらに基づき階調変換がなされた映像信号を合成する。なお、本実施形態においては、周波数合成として逆ウェーブレット（Wavelet）変換を用いることを想定している。そして、周波数合成部１１５は、合成した映像信号を信号処理部１１６へ転送する。
【０２６７】
信号処理部１１６は、制御部１１８の制御に基づき、周波数合成部１１５からの映像信号に公知の圧縮処理などを行い、処理後の信号を出力部１１７へ転送する。
【０２６８】
出力部１１７は、信号処理部１１６から出力される映像信号を、メモリカードなどの記録媒体に記録して保存する。
【０２６９】
次に、図２は、周波数分解部１０９の構成の一例を示すブロック図である。
【０２７０】
この周波数分解部１０９は、データ読取部２００と、バッファ２０１と、水平ハイパスフィルタ（図中では、単に「水平ハイパス」とのみ記載する。以下同様。）２０２と、水平ローパスフィルタ（図中では、単に「水平ローパス」とのみ記載する。以下同様。）２０３と、サブサンプラ２０４と、サブサンプラ２０５と、垂直ハイパスフィルタ（図中では、単に「垂直ハイパス」とのみ記載する。以下同様。）２０６と、垂直ローパスフィルタ（図中では、単に「垂直ローパス」とのみ記載する。以下同様。）２０７と、垂直ハイパスフィルタ２０８と、垂直ローパスフィルタ２０９と、サブサンプラ２１０と、サブサンプラ２１１と、サブサンプラ２１２と、サブサンプラ２１３と、切換部２１４と、データ転送制御部２１５と、基底関数ＲＯＭ２１６と、フィルタ係数読取部２１７と、を有して構成されている。
【０２７１】
バッファ１０５は、データ読取部２００を介して、バッファ２０１へ接続されている。
【０２７２】
バッファ２０１は、水平ハイパスフィルタ２０２および水平ローパスフィルタ２０３へ接続されている。
【０２７３】
水平ハイパスフィルタ２０２は、サブサンプラ２０４を介して垂直ハイパスフィルタ２０６および垂直ローパスフィルタ２０７へ接続されている。水平ローパスフィルタ２０３は、サブサンプラ２０５を介して垂直ハイパスフィルタ２０８および垂直ローパスフィルタ２０９へ接続されている。
【０２７４】
垂直ハイパスフィルタ２０６はサブサンプラ２１０へ、垂直ローパスフィルタ２０７はサブサンプラ２１１へ、垂直ハイパスフィルタ２０８はサブサンプラ２１２へ、垂直ローパスフィルタ２０９はサブサンプラ２１３へ、それぞれ接続されている。
【０２７５】
サブサンプラ２１０，サブサンプラ２１１，サブサンプラ２１２は切換部２１４へ接続されている。
【０２７６】
サブサンプラ２１３は、切換部２１４およびデータ転送制御部２１５へ接続されている。切換部２１４は、バッファ１１０へ接続されている。データ転送制御部２１５は、バッファ２０１へ接続されている。
【０２７７】
基底関数ＲＯＭ２１６は、フィルタ係数読取部２１７へ接続されている。フィルタ係数読取部２１７は、水平ハイパスフィルタ２０２，水平ローパスフィルタ２０３，垂直ハイパスフィルタ２０６，垂直ローパスフィルタ２０７，垂直ハイパスフィルタ２０８，垂直ローパスフィルタ２０９へ、それぞれ接続されている。
【０２７８】
制御部１１８は、データ読取部２００，切換部２１４，データ転送制御部２１５，フィルタ係数読取部２１７と双方向に接続されていて、これらを制御するようになっている。
【０２７９】
基底関数ＲＯＭ２１６には、Harr関数やDaubechies関数などのウェーブレット（Wavelet）変換に用いられるフィルタ係数が記録されている。これらの内の、例えば、Harr関数におけるハイパスフィルタの係数を数式１に、ローパスフィルタの係数を数式２に、それぞれ示す。  
［数１］
ハイパスフィルタ係数＝｛０．５，−０．５｝
［数２］
ローパスフィルタ係数＝｛０．５，０．５｝
なお、これらのフィルタ係数は、水平方向と垂直方向とに共通して用いられる。
【０２８０】
フィルタ係数読取部２１７は、制御部１１８の制御に基づき、基底関数ＲＯＭ２１６からフィルタ係数を読み込んで、水平ハイパスフィルタ２０２，垂直ハイパスフィルタ２０６，垂直ハイパスフィルタ２０８へハイパスフィルタ係数を、水平ローパスフィルタ２０３，垂直ローパスフィルタ２０７，垂直ローパスフィルタ２０９へローパスフィルタ係数を、それぞれ転送する。
【０２８１】
こうして、各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に、データ読取部２００は、制御部１１８の制御に基づき、バッファ１０５から映像信号を読み込んで、バッファ２０１へ転送する。なお、これ以後は、バッファ１０５から読み込まれてバッファ２０１上に記憶されている映像信号を、Ｌ0とする。
【０２８２】
バッファ２０１上の映像信号は、水平ハイパスフィルタ２０２，水平ローパスフィルタ２０３，垂直ハイパスフィルタ２０６，垂直ローパスフィルタ２０７，垂直ハイパスフィルタ２０８，垂直ローパスフィルタ２０９によって水平方向および垂直方向のフィルタリング処理がなされる。
【０２８３】
ここで、サブサンプラ２０４，サブサンプラ２０５は、入力映像信号を水平方向に１／２にサブサンプリングし、サブサンプラ２１０，サブサンプラ２１１，サブサンプラ２１２，サブサンプラ２１３は、入力映像信号を垂直方向に１／２にサブサンプリングする。
【０２８４】
従って、サブサンプラ２１０の出力は１回目の変換における斜め方向の高周波成分Ｈｓ１ijを、サブサンプラ２１１の出力は１回目の変換における水平方向の１次高周波成分Ｈｈ１ijを、サブサンプラ２１２の出力は１回目の変換における垂直方向の１次高周波成分Ｈｖ１ijを、サブサンプラ２１３の出力は１回目の変換における１次低周波成分Ｌ１ijを、それぞれ与えることになる。ここに、添え字のｉ，ｊは、変換後の１次の信号におけるｘ，ｙ方向の座標をそれぞれ意味している。
【０２８５】
図３はウェーブレット（Wavelet）変換を説明するための図であり、図３（Ａ）は実空間における映像信号を、図３（Ｂ）は１回目のウェーブレット（Wavelet）変換を行った後の信号を、図３（Ｃ）は２回目のウェーブレット（Wavelet）変換を行った後の信号を、それぞれ示している。
【０２８６】
図３（Ａ）に示すような実空間における映像信号に対して、１回目のウェーブレット変換を行うと、信号は図３（Ｂ）に示すようになる。また、この図３（Ｂ）には、低周波成分Ｌ１00に対応する斜め方向の１次高周波成分Ｈｓ１00と、水平方向の１次高周波成分Ｈｈ１00と、垂直方向の１次高周波成分Ｈｖ１00と、も示している。
【０２８７】
１回目の変換においては、１画素の１次低周波成分Ｌ１ijに対応する３つの１次高周波成分Ｈｓ１ij，Ｈｈ１ij，Ｈｖ１ijは、全て１画素となる。
【０２８８】
切換部２１４は、制御部１１８の制御に基づき、上記３つの１次高周波成分Ｈｓ１ij，Ｈｈ１ij，Ｈｖ１ijと、１次低周波成分Ｌ１ijと、をバッファ１１０へ順次転送する。
【０２８９】
また、データ転送制御部２１５は、制御部１１８の制御に基づき、サブサンプラ２１３から１次低周波成分Ｌ１ijをバッファ２０１へ転送する。
【０２９０】
バッファ２０１上の１次低周波成分Ｌ１ijに対して、上述と同様のフィルタリング処理がなされることにより、３つの２次高周波成分Ｈｓ２kl，Ｈｈ２kl，Ｈｖ２klと、２次低周波成分Ｌ２klと、が出力される。ここに、添え字のｋ，ｌは、変換後の２次の信号におけるｘ，ｙ方向の座標をそれぞれ意味している。
【０２９１】
図３（Ｃ）は、このような２回目の変換における信号を示している。
【０２９２】
図３（Ｃ）に示すように、２回目の変換においては、１画素の２次低周波成分Ｌ２00に対応する斜め方向の２次高周波成分はＨｓ２00、水平方向の２次高周波成分はＨｈ２00、垂直方向の２次高周波成分はＨｖ２00で全て１画素となるが、対応する斜め方向の１次高周波成分はＨｓ１00，Ｈｓ１10，Ｈｓ１01，Ｈｓ１11、水平方向の１次高周波成分はＨｈ１00，Ｈｈ１10，Ｈｈ１01，Ｈｈ１11、垂直方向の１次高周波成分はＨｖ１00，Ｈｖ１10，Ｈｖ１01，Ｈｖ１11で全て４画素となる。上述したような過程は、制御部１１８の制御に基づいて、所定のｎ（ｎは１以上の整数であり、本実施形態においては上述したようにｎ＝２を想定している。）段階の分解が行われるまで繰り返して行われる。
【０２９３】
次に、図４は、変換特性算出部１１１の構成の一例を示すブロック図である。
【０２９４】
この変換特性算出部１１１は、分割手段たる分割部３００と、バッファ３０１と、適正域抽出手段たる適正域抽出部３０２と、関心領域設定手段でありエッジ算出手段たるエッジ算出部３０３と、ヒストグラム作成手段たるヒストグラム作成部３０４と、階調変換曲線算出手段たる階調変換曲線算出部３０５と、バッファ３０６と、を有して構成されている。
【０２９５】
バッファ１１０は、分割部３００を介してバッファ３０１へ接続されている。
【０２９６】
バッファ３０１は、適正域抽出部３０２およびヒストグラム作成部３０４へ接続されている。適正域抽出部３０２は、エッジ算出部３０３を介してヒストグラム作成部３０４へ接続されている。
【０２９７】
ヒストグラム作成部３０４は、階調変換曲線算出部３０５，バッファ３０６を介して階調処理部１１３へ接続されている。
【０２９８】
制御部１１８は、分割部３００，適正域抽出部３０２，エッジ算出部３０３，ヒストグラム作成部３０４，階調変換曲線算出部３０５と双方向に接続されていて、これらを制御するようになっている。
【０２９９】
続いて、このような変換特性算出部１１１の作用について説明する。
【０３００】
分割部３００は、制御部１１８の制御に基づき、バッファ１１０から映像信号の低周波成分を読み込んで、これを図７に示すような所定サイズの領域、例えば３２×３２画素サイズの領域に、各領域同士が重複することのないように分割する。ここに、図７は、階調変換曲線の合成演算における低周波成分の領域への分割を説明するための図である。そして、分割部３００は、分割した領域を、バッファ３０１へ順次転送する。
【０３０１】
適正域抽出部３０２は、制御部１１８の制御に基づき、バッファ３０１から領域単位で低周波成分を読み込んで、暗部に関する所定の閾値（一例としての１２ビット階調の場合には例えば１２８）および明部に関する所定の閾値（この１２ビット階調の場合には例えば３９６８）とそれぞれ比較し、暗部の閾値以上であってかつ明部の閾値以下となる低周波成分を適正露光域としてエッジ算出部３０３へ転送する。
【０３０２】
エッジ算出部３０３は、制御部１１８の制御に基づき、適正域抽出部３０２からの適正露光域の低周波成分を読み込んで、ラプラシアンフィルタなどを用いて公知のエッジ強度の算出を行う。エッジ算出部３０３は、算出したエッジ強度をヒストグラム作成部３０４へ転送する。
【０３０３】
ヒストグラム作成部３０４は、制御部１１８の制御に基づき、エッジ算出部３０３からのエッジ強度に関して所定の閾値（上述した１２ビット階調の場合には例えば６４）以上のエッジ強度のある画素を選別して、バッファ３０１から対応する画素位置の低周波成分を読み込む。そして、ヒストグラム作成部３０４は、読み込んだ低周波成分に関してヒストグラムを作成し、作成したヒストグラムを階調変換曲線算出部３０５へ転送する。
【０３０４】
階調変換曲線算出部３０５は、制御部１１８の制御に基づき、ヒストグラム作成部３０４からのヒストグラムを累積し、さらに正規化することにより階調変換曲線を算出する。この正規化は、映像信号の階調に従って行われ、上述した１２ビット階調である場合には０〜４０９５の範囲になるように正規化される。階調変換曲線算出部３０５は、算出した階調変換曲線を、バッファ３０６へ転送する。
【０３０５】
なお、上述した適正域抽出部３０２，エッジ算出部３０３，ヒストグラム作成部３０４，階調変換曲線算出部３０５における各処理は、制御部１１８の制御に基づき、領域単位で同期して行われるようになっている。
【０３０６】
次に、図５は、高周波分離部１１２の構成の一例を示すブロック図である。
【０３０７】
この高周波分離部１１２は、低周波成分抽出部４００と、ノイズ推定手段であり収集手段たるゲイン算出部４０１と、ノイズ推定手段であり付与手段たる標準値付与部４０２と、ノイズ推定手段であり記録手段たるパラメータ用ＲＯＭ４０３と、ノイズ推定手段でありパラメータ選択手段たるパラメータ選択部４０４と、ノイズ推定手段であり補間手段たる補間部４０５と、高周波成分抽出部４０６と、設定手段であり平均算出手段たる平均算出部４０７と、設定手段であり上限下限設定手段たる上限下限設定部４０８と、判断手段たる判断部４０９と、を有して構成されている。
【０３０８】
バッファ１１０は、低周波成分抽出部４００および高周波成分抽出部４０６へ接続されている。低周波成分抽出部４００は、パラメータ選択部４０４へ接続されている。
【０３０９】
ゲイン算出部４０１，標準値付与部４０２，パラメータ用ＲＯＭ４０３は、パラメータ選択部４０４へ接続されている。パラメータ選択部４０４は、補間部４０５を介して上限下限設定部４０８へ接続されている。
【０３１０】
高周波成分抽出部４０６は、平均算出部４０７および判断部４０９へ接続されている。平均算出部４０７は、上限下限設定部４０８を介して判断部４０９へ接続されている。
【０３１１】
判断部４０９は、階調処理部１１３およびバッファ１１４へ接続されている。
【０３１２】
制御部１１８は、低周波成分抽出部４００，ゲイン算出部４０１，標準値付与部４０２，パラメータ選択部４０４，補間部４０５，高周波成分抽出部４０６，平均算出部４０７，上限下限設定部４０８，判断部４０９と双方向に接続されていて、これらを制御するようになっている。
【０３１３】
続いて、このような高周波分離部１１２の作用について説明する。
【０３１４】
低周波成分抽出部４００は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を画素単位で順次抽出する。なお、本実施形態においては、ウェーブレット（Wavelet）変換を２回行うことを想定している。この場合には、低周波成分抽出部４００がバッファ１１０から抽出する低周波成分は、図３（Ｃ）に示すような２次低周波成分Ｌ２klとなる。
【０３１５】
ゲイン算出部４０１は、制御部１１８から転送されるＩＳＯ感度および露光条件に関する情報に基づき、増幅部１０３におけるゲイン情報を求めて、求めたゲイン情報をパラメータ選択部４０４へ転送する。
【０３１６】
また、制御部１１８は、温度センサ１２０からＣＣＤ１０２の温度情報を取得して、取得した温度情報をパラメータ選択部４０４へ転送する。
【０３１７】
標準値付与部４０２は、制御部１１８の制御に基づき、上記ゲイン情報と温度情報との少なくとも一方が得られない場合に、得られない情報に関する標準値をパラメータ選択部４０４へ転送する。
【０３１８】
パラメータ選択部４０４は、低周波成分抽出部４００からの注目画素の画素値と、ゲイン算出部４０１または標準値付与部４０２からのゲイン情報と、制御部１１８または標準値付与部４０２からの温度情報とに基づき、ノイズ量を推定するために使用する基準ノイズモデルのパラメータをパラメータ用ＲＯＭ４０３から探索する。そして、パラメータ選択部４０４は、探索したパラメータを補間部４０５へ転送する。また、パラメータ選択部４０４は、低周波成分抽出部４００からの低周波成分の映像信号も補間部４０５へ転送する。
【０３１９】
補間部４０５は、上記基準ノイズモデルのパラメータに基づき上記低周波成分に関するノイズ量Ｎを算出して、算出したノイズ量Ｎを上限下限設定部４０８へ転送する。
【０３２０】
なお、上述したようなパラメータ用ＲＯＭ４０３，パラメータ選択部４０４，補間部４０５によるノイズ量Ｎの算出は、具体的には、例えば上述した特開２００４−１２８９８５号公報に記載されている技術により実現することができる。
【０３２１】
高周波成分抽出部４０６は、制御部１１８の制御に基づき、低周波成分抽出部４００により抽出された低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を抽出する。
【０３２２】
例えば、低周波成分として、図３（Ｃ）に示すような２次低周波成分Ｌ２00が抽出された場合には、この２次低周波成分Ｌ２00に対応する高周波成分は、２次高周波成分であるＨｓ２00，Ｈｈ２00，Ｈｖ２00の計３画素と、１次高周波成分であるＨｓ１00，Ｈｓ１10，Ｈｓ１01，Ｈｓ１11，Ｈｈ１00，Ｈｈ１10，Ｈｈ１01，Ｈｈ１11，Ｈｖ１00，Ｈｖ１10，Ｈｖ１01，Ｈｖ１11の計１２画素と、になる。
【０３２３】
また、高周波成分の近傍に位置する高周波成分としては、対応する高周波成分を含む例えば２×２画素の領域が選択される。
【０３２４】
高周波成分抽出部４０６は、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を平均算出部４０７へ順次転送するとともに、低周波成分に対応する高周波成分については判断部４０９へ順次転送する。
【０３２５】
平均算出部４０７は、制御部１１８の制御に基づき、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、から平均値ＡＶを算出して、算出した平均値ＡＶを上限下限設定部４０８へ転送する。
【０３２６】
上限下限設定部４０８は、制御部１１８の制御に基づき、平均算出部４０７からの平均値ＡＶと補間部４０５からのノイズ量Ｎとを用いて、有効成分と無効成分とを識別するための上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを、次の数式３に示すように設定する。  
［数３］
Ａｐｐ＿Ｕｐ  ＝ＡＶ＋Ｎ／２
Ａｐｐ＿Ｌｏｗ＝ＡＶ−Ｎ／２
上限下限設定部４０８は、このようにして設定した上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを、判断部４０９へ転送する。
【０３２７】
判断部４０９は、制御部１１８の制御に基づき、高周波成分抽出部４０６から低周波成分に対応する高周波成分を読み込むとともに、上限下限設定部４０８から数式３に示す上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを読み込む。そして、判断部４０９は、高周波成分が上限Ａｐｐ＿Ｕｐと下限Ａｐｐ＿Ｌｏｗとの範囲内（例えば、下限Ａｐｐ＿Ｌｏｗ以上かつ上限Ａｐｐ＿Ｕｐ以下の範囲内）にある場合には、該高周波成分がノイズに起因する無効成分であると判断して、高周波成分をバッファ１１４へ転送する。一方、判断部４０９は、高周波成分が上限Ａｐｐ＿Ｕｐを上回る（上限Ａｐｐ＿Ｕｐよりも大きい）か、または下限Ａｐｐ＿Ｌｏｗを下回る（下限Ａｐｐ＿Ｌｏｗよりも小さい）かする場合には、該高周波成分が有効成分であると判断して、高周波成分を階調処理部１１３へ転送する。
【０３２８】
なお、上述した平均算出部４０７，上限下限設定部４０８，判断部４０９における各処理は、制御部１１８の制御に基づき、対応する高周波成分の各画素単位で同期して行われるようになっている。
【０３２９】
次に、図６は、階調処理部１１３の構成の一例を示すブロック図である。
【０３３０】
この階調処理部１１３は、第１の抽出手段たる低周波成分抽出部５００と、距離算出手段たる距離算出部５０１と、階調変換式設定手段たる階調変換式設定部５０２と、バッファ５０３と、第２の抽出手段たる高周波成分抽出部５０４と、階調変換手段たる階調変換部５０５と、を有して構成されている。
【０３３１】
変換特性算出部１１１は、階調変換式設定部５０２へ接続されている。
【０３３２】
バッファ１１０は、低周波成分抽出部５００へ接続されている。低周波成分抽出部５００は、距離算出部５０１および階調変換部５０５へ接続されている。距離算出部５０１は、階調変換式設定部５０２，バッファ５０３を介して階調変換部５０５へ接続されている。
【０３３３】
高周波分離部１１２は、高周波成分抽出部５０４を介して階調変換部５０５へ接続されている。
【０３３４】
階調変換部５０５は、バッファ１１４へ接続されている。
【０３３５】
制御部１１８は、低周波成分抽出部５００，距離算出部５０１，階調変換式設定部５０２，高周波成分抽出部５０４，階調変換部５０５と双方向に接続されていて、これらを制御するようになっている。
【０３３６】
続いて、このような階調処理部１１３の作用について説明する。
【０３３７】
低周波成分抽出部５００は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を画素単位で順次抽出する。なお、本実施形態においては、上述したように、ウェーブレット（Wavelet）変換を２回行うことを想定している。この場合には、低周波成分抽出部５００がバッファ１１０から抽出する低周波成分の注目画素は、図３（Ｃ）に示すような２次低周波成分Ｌ２klとなる。
【０３３８】
低周波成分抽出部５００は、抽出した低周波成分を、距離算出部５０１および階調変換部５０５へそれぞれ転送する。
【０３３９】
距離算出部５０１は、低周波成分抽出部５００により抽出された注目画素に関して、該注目画素の近傍に位置する４つの領域との間の距離を算出する。
【０３４０】
図８は、階調変換曲線の合成演算における注目画素と近傍４領域との間の距離ｄ1〜ｄ4を説明するための図である。
【０３４１】
注目画素と近傍４領域との間の距離は、該注目画素と各領域の中心との間の距離としてそれぞれ算出される。これ以後は、算出された注目画素と近傍４領域との間の各距離をｄm（ｍ＝１〜４）により表し、近傍４領域の各階調変換曲線をＴm（）により表すことにする。距離算出部５０１は、算出した距離ｄmを、階調変換式設定部５０２へ転送する。
【０３４２】
階調変換式設定部５０２は、制御部１１８の制御に基づき、距離算出部５０１から距離ｄmを読み込むとともに、変換特性算出部１１１から対応する近傍４領域の階調変換曲線Ｔm（）を読み込んで、注目画素に対する階調変換式を次の数式４に示すように設定する。  
［数４］
2008072233.tif 000003
ここに、数式４におけるＰは階調変換処理の対象となる画素を、Ｐ’は階調変換処理後の画素を、それぞれ意味している。
【０３４３】
階調変換式設定部５０２は、この数式４に示すように設定した階調変換式を、バッファ５０３へ転送する。
【０３４４】
一方、高周波成分抽出部５０４は、制御部１１８の制御に基づき、低周波成分抽出部５００が抽出した低周波成分に対応する高周波成分を高周波分離部１１２から抽出する。本実施形態においては、低周波成分の注目画素が図３（Ｃ）に示す２次低周波成分Ｌ２klであるとしているために、抽出される高周波成分は、２次高周波成Ｈｓ２kl，Ｈｈ２kl，Ｈｖ２klから１画素毎の計３画素と、１次高周波成分Ｈｓ１ij，Ｈｈ１ij，Ｈｖ１ijから４画素毎の計１２画素と、になる。そして高周波成分抽出部５０４は、抽出した高周波成分を、階調変換部５０５へ転送する。
【０３４５】
その後に、階調変換部５０５は、高周波成分抽出部５０４からの高周波成分が存在する場合には、該高周波成分を読み込むとともに、バッファ５０３から数式４に示す階調変換式を読み込んで、読み込んだ階調変換式に基づき高周波成分に階調変換を行う。階調変換部５０５は、階調変換後の高周波成分を、バッファ１１４へ転送する。一方、階調変換部５０５は、対応する高周波成分が無効成分であると判断されて抽出される高周波成分が存在しない場合には、制御部１１８の制御に基づき、高周波成分に対する階調変換を中止する。
【０３４６】
また、階調変換部５０５は、低周波成分抽出部５００から低周波成分を、バッファ５０３から数式４に示す階調変換式を、それぞれ読み込んで、低周波成分に対する階調変換を行う。階調変換部５０５は、階調変換後の低周波成分を、バッファ１１４へ転送する。
【０３４７】
次に、図９は周波数合成部１１５の構成の一例を示すブロック図である。
【０３４８】
この周波数合成部１１５は、データ読取部６００と、切換部６０１と、アップサンプラ６０２と、アップサンプラ６０３と、アップサンプラ６０４と、アップサンプラ６０５と、垂直ハイパスフィルタ６０６と、垂直ローパスフィルタ６０７と、垂直ハイパスフィルタ６０８と、垂直ローパスフィルタ６０９と、アップサンプラ６１０と、アップサンプラ６１１と、水平ハイパスフィルタ６１２と、水平ローパスフィルタ６１３と、バッファ６１４と、データ転送制御部６１５と、基底関数ＲＯＭ６１６と、フィルタ係数読取部６１７と、を有して構成されている。
【０３４９】
バッファ１１４は、データ読取部６００を介して切換部６０１へ接続されている。切換部６０１は、アップサンプラ６０２，アップサンプラ６０３，アップサンプラ６０４，アップサンプラ６０５へそれぞれ接続されている。アップサンプラ６０２は垂直ハイパスフィルタ６０６へ、アップサンプラ６０３は垂直ローパスフィルタ６０７へ、アップサンプラ６０４は垂直ハイパスフィルタ６０８へ、アップサンプラ６０５は垂直ローパスフィルタ６０９へ、接続されている。
【０３５０】
垂直ハイパスフィルタ６０６および垂直ローパスフィルタ６０７はアップサンプラ６１０へ、垂直ハイパスフィルタ６０８および垂直ローパスフィルタ６０９はアップサンプラ６１１へ、接続されている。アップサンプラ６１０は水平ハイパスフィルタ６１２へ、アップサンプラ６１１は水平ローパスフィルタ６１３へ、接続されている。水平ハイパスフィルタ６１２および水平ローパスフィルタ６１３は、バッファ６１４へ接続されている。バッファ６１４は、信号処理部１１６およびデータ転送制御部６１５へ接続されている。
【０３５１】
データ転送制御部６１５は、切換部６０１へ接続されている。
【０３５２】
基底関数ＲＯＭ６１６は、フィルタ係数読取部６１７へ接続されている。フィルタ係数読取部６１７は、垂直ハイパスフィルタ６０６，垂直ローパスフィルタ６０７，垂直ハイパスフィルタ６０８，垂直ローパスフィルタ６０９，水平ハイパスフィルタ６１２，水平ローパスフィルタ６１３へ接続されている。
【０３５３】
制御部１１８は、データ読取部６００，切換部６０１，データ転送制御部６１５，フィルタ係数読取部６１７と双方向に接続されていて、これらを制御するようになっている。
【０３５４】
続いて、このような周波数合成部１１５の作用について説明する。
【０３５５】
基底関数ＲＯＭ６１６には、Harr関数やDaubechies関数などの逆ウェーブレット（Wavelet）変換に用いられるフィルタ係数が記録されている。
【０３５６】
フィルタ係数読取部６１７は、制御部１１８の制御に基づき、基底関数ＲＯＭ６１６からフィルタ係数を読み込んで、垂直ハイパスフィルタ６０６，垂直ハイパスフィルタ６０８，水平ハイパスフィルタ６１２へハイパスフィルタ係数を、垂直ローパスフィルタ６０７，垂直ローパスフィルタ６０９，水平ローパスフィルタ６１３へローパスフィルタ係数を、それぞれ転送する。
【０３５７】
フィルタ係数が転送された後に、データ読取部６００は、制御部１１８の制御に基づき、バッファ１１４から階調処理がなされた低周波成分と階調処理がなされたｎ段階の高周波成分中の有効成分とｎ段階の高周波成分中の無効成分とを読み込んで、切換部６０１へ転送する。なお、階調処理がなされたｎ段階の高周波成分中の有効成分とｎ段階の高周波成分中の無効成分とは、データ読取部６００により読み取られた時点で、一体化されたｎ段階の高周波成分となる。
【０３５８】
切換部６０１は、制御部１１８の制御に基づき、斜め方向の高周波成分をアップサンプラ６０２を介して垂直ハイパスフィルタ６０６へ、水平方向の高周波成分をアップサンプラ６０３を介して垂直ローパスフィルタ６０７へ、垂直方向の高周波成分をアップサンプラ６０４を介して垂直ハイパスフィルタ６０８へ、低周波成分をアップサンプラ６０５を介して垂直ローパスフィルタ６０９へそれぞれ転送し、垂直方向のフィルタリング処理を実行させる。
【０３５９】
垂直ハイパスフィルタ６０６および垂直ローパスフィルタ６０７からの周波数成分はアップサンプラ６１０を介して水平ハイパスフィルタ６１２へ、垂直ハイパスフィルタ６０８および垂直ローパスフィルタ６０９からの周波数成分はアップサンプラ６１１を介して水平ローパスフィルタ６１３へ転送され、水平方向のフィルタリング処理がなされる。
【０３６０】
水平ハイパスフィルタ６１２および水平ローパスフィルタ６１３からの周波数成分がバッファ６１４へ転送されて一つに合成されることにより、（ｎ−１）段階の低周波成分が生成される。
【０３６１】
ここで、アップサンプラ６０２，アップサンプラ６０３，アップサンプラ６０４，アップサンプラ６０５は入力周波数成分を垂直方向に２倍にアップサンプリングし、アップサンプラ６１０，アップサンプラ６１１は入力周波数成分を水平方向に２倍にアップサンプリングする。
【０３６２】
データ転送制御部６１５は、制御部１１８の制御に基づき、低周波成分を切換部６０１へ転送する。
【０３６３】
データ読取部６００は、制御部１１８の制御に基づき、バッファ１１４から（ｎ−１）段階の斜め，水平，垂直方向の三種類の高周波成分を読み込んで、切換部６０１へ転送する。そして、分解の段階数（ｎ−１）の周波数成分に対して、上述と同様のフィルタリング処理がなされることによりｎ−２段階の低周波成分がバッファ６１４へ出力される。
【０３６４】
上述したような過程は、制御部１１８により所定のｎ段階の合成が行われるまで繰り返して行われる。これにより、最終的にバッファ６１４には０段階の低周波成分が出力され、この０段階の低周波成分を階調変換がなされた映像信号として信号処理部１１６へ転送する。
【０３６５】
なお、上述ではレンズ系１００，絞り１０１，ＣＣＤ１０２，増幅部１０３，Ａ／Ｄ変換部１０４，測光評価部１０６，合焦点検出部１０７，ＡＦモータ１０８，温度センサ１２０を含む撮像部を一体化した構成の画像処理システムについて説明したが、画像処理システムとしてはこのような構成に限定される必要はない。例えば、図１０に示すように、撮像部が別体であっても構わない。すなわち、図１０に示す画像処理システムは、別体の撮像部により撮像され、未処理のロー（Raw）データ形態でメモリカード等の記録媒体に記録された映像信号を、該記録媒体から読み出して処理するものとなっている。ただし、このときには、撮影時の撮像素子の温度や露光条件などの映像信号に係る付随情報が、ヘッダ部等に記録されているものとする。なお、別体の撮像部から画像処理システムへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０３６６】
ここに、図１０は画像処理システムの他の構成例を示す図である。
【０３６７】
この図１０に示す画像処理システムは、図１に示した画像処理システムから、レンズ系１００，絞り１０１，ＣＣＤ１０２，増幅部１０３，Ａ／Ｄ変換部１０４，測光評価部１０６，合焦点検出部１０７，ＡＦモータ１０８，温度センサ１２０を省略して、入力部７００，ヘッダ情報解析部７０１を追加した構成となっている。この図１０に示す画像処理システムにおけるその他の基本的な構成は図１に示したものと同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
【０３６８】
入力部７００は、バッファ１０５およびヘッダ情報解析部７０１へ接続されている。制御部１１８は、入力部７００，ヘッダ情報解析部７０１と双方向に接続されていて、これらを制御するようになっている。
【０３６９】
次に、この図１０に示す画像処理システムにおいて異なる作用は、以下のようになっている。
【０３７０】
例えばマウスやキーボードなどの外部Ｉ／Ｆ部１１９を介して再生操作を開始すると、メモリカードなどの記録媒体に保存された映像信号およびヘッダ情報が、入力部７００を介して読み込まれる。
【０３７１】
入力部７００から読み込まれた情報の内の、映像信号はバッファ１０５へ、ヘッダ情報はヘッダ情報解析部７０１へ、それぞれ転送される。
【０３７２】
ヘッダ情報解析部７０１は、入力部７００から転送されたヘッダ情報に基づき、撮影時の情報（すなわち、上述したような露光条件、撮像素子の温度など）を抽出して制御部１１８へ転送する。
【０３７３】
これ以後の処理は、図１に示したような画像処理システムと同様である。
【０３７４】
さらに、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、ＣＣＤ１０２からの映像信号を未処理のままのロー（Raw）データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１８からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０３７５】
図１１は、画像処理プログラムのメインルーチンを示すフローチャートである。
【０３７６】
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む（ステップＳ１）。
【０３７７】
次に、ウェーブレット（Wavelet）変換などの周波数分解を行って、高周波成分と低周波成分とを取得する（ステップＳ２）。
【０３７８】
続いて、後で図１２を参照して説明するように、変換特性を算出する（ステップＳ３）。
【０３７９】
さらに、後で図１３を参照して説明するように、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する（ステップＳ４）。
【０３８０】
そして、後で図１４を参照して説明するように、低周波成分と高周波成分中の有効成分とに対して階調処理を行う（ステップＳ５）。
【０３８１】
次に、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、に基づき、階調変換がなされた映像信号を合成する（ステップＳ６）。
【０３８２】
続いて、公知の圧縮処理などの信号処理を行う（ステップＳ７）。
【０３８３】
そして、処理後の映像信号を出力して（ステップＳ８）、この処理を終了する。
【０３８４】
図１２は、上記ステップＳ３における変換特性算出の処理を示すフローチャートである。
【０３８５】
この処理を開始すると、図７に示すように、低周波成分を所定サイズの領域に分割して順次抽出する（ステップＳ１０）。
【０３８６】
次に、低周波成分を暗部に関する所定の閾値および明部に関する所定の閾値とそれぞれ比較して、暗部の閾値以上であってかつ明部の閾値以下となる低周波成分を適正露光域として抽出する（ステップＳ１１）。
【０３８７】
続いて、適正露光域の低周波成分に対してラプラシアンフィルタを用いるなどして、公知のエッジ強度の算出を行う（ステップＳ１２）。
【０３８８】
そして、所定の閾値以上のエッジ強度のある画素を選別して、ヒストグラムを作成する（ステップＳ１３）。
【０３８９】
その後、ヒストグラムを累積してさらに正規化することにより、階調変換曲線を算出する（ステップＳ１４）。
【０３９０】
こうして算出した階調変換曲線を出力する（ステップＳ１５）。
【０３９１】
続いて、全ての領域についての処理が完了したか否かを判断して（ステップＳ１６）、完了していないと判断した場合には上記ステップＳ１０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図１１に示した処理へリターンする。
【０３９２】
図１３は、上記ステップＳ４における高周波分離の処理を示すフローチャートである。
【０３９３】
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップＳ２０）。
【０３９４】
次に、読み込まれたヘッダ情報から、撮像素子の温度，ゲインなどの情報を設定する。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対して所定の標準値を割り当てる（ステップＳ２１）。
【０３９５】
続いて、基準ノイズモデルに関するパラメータを読み込む（ステップＳ２２）。
【０３９６】
そして、基準ノイズモデルのパラメータに基づき、低周波成分に関するノイズ量を補間処理によって算出する（ステップＳ２３）。
【０３９７】
その後、図３（Ｂ）または図３（Ｃ）に示すように、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を順次抽出する（ステップＳ２４）。
【０３９８】
次に、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、から平均値を算出する（ステップＳ２５）。
【０３９９】
続いて、平均値とノイズ量とに基づいて、数式３に示したように上限および下限を設定する（ステップＳ２６）。
【０４００】
そして、高周波成分が上限と下限との範囲内にある場合にはノイズに起因する無効成分であると判断し、上限を上回るかまたは下限を下回るかする場合には有効成分であると判断する（ステップＳ２７）。
【０４０１】
さらに、有効成分と無効成分とを分離して出力する（ステップＳ２８）。
【０４０２】
そして、全ての高周波成分の処理が完了したか否かを判断し（ステップＳ２９）、完了していないと判断した場合には上記ステップＳ２４へ戻って上述したような処理を繰り返して行う。
【０４０３】
一方、このステップＳ２９において、全ての高周波成分の処理が完了したと判断した場合には、全ての低周波成分の処理が完了したか否かを判断し（ステップＳ３０）、完了していないと判断した場合には上記ステップＳ２０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図１１に示した処理へリターンする。
【０４０４】
図１４は、上記ステップＳ５における階調処理を示すフローチャートである。
【０４０５】
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップＳ４０）。
【０４０６】
次に、図８に示すように、低周波成分の注目画素とその近傍４領域の中心との間の距離を算出する（ステップＳ４１）。
【０４０７】
続いて、近傍４領域における階調変換曲線を読み込む（ステップＳ４２）。
【０４０８】
さらに、数式４に示したように、注目画素に対する階調変換式を設定する（ステップＳ４３）。
【０４０９】
そして、図３（Ｂ）または図３（Ｃ）に示すように、低周波成分に対応する、有効成分とされる高周波成分を順次抽出する（ステップＳ４４）。
【０４１０】
その後、有効成分とされる高周波成分が存在するか否かを判断する（ステップＳ４５）。
【０４１１】
ここで、有効成分とされる高周波成分が存在すると判断した場合には、有効成分とされる高周波成分に対して数式４に示した階調変換式を適用して階調変換を行う（ステップＳ４６）。
【０４１２】
このステップＳ４６の処理が終了するか、または、上記ステップＳ４５において、有効成分とされる高周波成分が存在していないと判断した場合には、低周波成分に対して数式４に示した階調変換式を適用して階調変換を行う（ステップＳ４７）。
【０４１３】
そして、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、を出力する（ステップＳ４８）。
【０４１４】
その後、全ての低周波成分の処理が完了したか否かを判断し（ステップＳ４９）、完了していないと判断した場合には上記ステップＳ４０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図１１に示した処理へリターンする。
【０４１５】
なお、上述においては周波数分解および周波数合成にウェーブレット（Wavelet）変換を用いる構成を採用していたが、このような構成に限定される必要はない。例えば、フーリエ（Fourier）変換、またはＤＣＴ（Discrete Cosine Transform）変換などの、公知の周波数分解や周波数合成のための変換を用いるように構成することも可能である。
【０４１６】
また、上述ではウェーブレット（Wavelet）変換の変換回数を２回としていたが、このような構成に限定される必要はない。例えば変換回数を増やすことによりノイズに起因する無効成分とその他の有効成分との分離能を向上させたり、あるいは変換回数を減らすことにより画像の統一性を向上させたりするように構成することが可能である。
【０４１７】
このような実施形態１によれば、視覚的にノイズの影響が顕著となる高周波成分のみを無効成分と有効成分とに分離して、有効成分には階調処理を行い無効成分には階調処理を行わないことで、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
【０４１８】
また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したために、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
【０４１９】
さらに、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ない映像信号を得ることができ、処理の安定性および信頼性を向上することができる。
【０４２０】
また、ウェーブレット（Wavelet）変換は周波数の分離能に優れているために、高精度な処理を行うことが可能となる。
【０４２１】
映像信号の低周波成分から適用的かつ領域毎に独立して階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。
【０４２２】
また、低周波成分に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
【０４２３】
同一位置にある低周波成分と高周波成分の中の有効成分とに対して、変換特性が等しい階調変換を行うようにしたために、視覚的に違和感のない統一感のある映像信号を得ることができる。
【０４２４】
また、領域毎に独立して求めた階調変換曲線を合成して注目画素の階調変換に用いる階調変換式を設定するようにしたために、領域間における不連続性が発生することはなく、高品位な映像信号を得ることができる。
【０４２５】
そして、高周波成分中の有効成分が存在しない場合には、不要な階調変換を中止するようにしたために、処理速度を向上することが可能となる。
【０４２６】
［実施形態２］
図１５から図２５は本発明の実施形態２を示したものであり、図１５は画像処理システムの構成を示すブロック図である。
【０４２７】
この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０４２８】
本実施形態の画像処理システムは、上述した実施形態１の図１に示した画像処理システムに、プレホワイトバランス部８０１，Ｙ／Ｃ分離手段たるＹ／Ｃ分離部８０２，バッファ８０３，Ｙ／Ｃ合成手段たるＹ／Ｃ合成部８０９を追加し、ＣＣＤ１０２，周波数分解部１０９，変換特性算出部１１１，高周波分離部１１２，階調処理部１１３，周波数合成部１１５をカラーＣＣＤ８００，分離手段であり周波数分解手段たる周波数分解部８０４，変換手段であり変換特性算出手段たる変換特性算出部８０５，分離手段であり高周波分離手段たる高周波分離部８０６，変換手段であり階調処理手段たる階調処理部８０７，合成手段であり周波数合成手段たる周波数合成部８０８にそれぞれ置換した構成になっている。その他の基本的な構成は上述した実施形態１と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
【０４２９】
レンズ系１００，絞り１０１，カラーＣＣＤ８００を介して撮影されたカラー映像信号は、増幅部１０３へ転送される。
【０４３０】
バッファ１０５は、測光評価部１０６，合焦点検出部１０７，プレホワイトバランス部８０１，Ｙ／Ｃ分離部８０２へ接続されている。
【０４３１】
プレホワイトバランス部８０１は、増幅部１０３へ接続されている。
【０４３２】
Ｙ／Ｃ分離部８０２はバッファ８０３へ、バッファ８０３は周波数分解部８０４，変換特性算出部８０５，Ｙ／Ｃ合成部８０９へ接続されている。
【０４３３】
周波数分解部８０４は、バッファ１１０へ接続されている。バッファ１１０は、変換特性算出部８０５，高周波分離部８０６，階調処理部８０７へ接続されている。変換特性算出部８０５は、階調処理部８０７へ接続されている。高周波分離部８０６は、バッファ１１４および階調処理部８０７へ接続されている。階調処理部８０７は、バッファ１１４へ接続されている。
【０４３４】
バッファ１１４は、周波数合成部８０８，Ｙ／Ｃ合成部８０９を介して信号処理部１１６へ接続されている。
【０４３５】
制御部１１８は、プレホワイトバランス部８０１，Ｙ／Ｃ分離部８０２，周波数分解部８０４，変換特性算出部８０５，高周波分離部８０６，階調処理部８０７，周波数合成部８０８，Ｙ／Ｃ合成部８０９とも双方向に接続されていて、これらも制御するようになっている。
【０４３６】
また、本実施形態の温度センサ１２０は、上述したカラーＣＣＤ８００の近傍に配置されていて、この温度センサ１２０からの信号も制御部１１８へ接続されている。
【０４３７】
次に、図１５に示したような画像処理システムの作用は、基本的に実施形態１と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。
【０４３８】
ユーザが、外部Ｉ／Ｆ部１１９の２段式スイッチでなるシャッタボタンを半押しすると、この画像処理システムがプリ撮影モードに入る。
【０４３９】
すると、レンズ系１００，絞り１０１，カラーＣＣＤ８００を介して撮影されたカラー映像信号が、増幅部１０３，Ａ／Ｄ変換部１０４を介してバッファ１０５へ転送される。なお、本実施形態においては、カラーＣＣＤ８００として、ベイヤー（Bayer）型原色フィルタを前面に配置した単板ＣＣＤを想定している。
【０４４０】
ここに、図１６は、ベイヤー（Bayer）型原色フィルタの構成を示す図である。
【０４４１】
ベイヤー（Bayer）型の原色フィルタは、２×２画素を基本単位として、この基本単位内の対角する画素位置に赤（Ｒ），青（Ｂ）フィルタが１つずつ、残りの対角する画素位置に緑（Ｇ）フィルタがそれぞれ、配置されたものとなっている。
【０４４２】
続いて、バッファ１０５内のカラー映像信号は、プレホワイトバランス部８０１へ転送される。プレホワイトバランス部８０１は、所定レベルの信号を色信号毎に積算する（つまり、累計的に加算する）ことにより、簡易ホワイトバランス係数を算出する。プレホワイトバランス部８０１は、算出した係数を増幅部１０３へ転送して、色信号毎に異なるゲインを乗算させることにより、ホワイトバランスを行わせる。
【０４４３】
こうして、焦点調節や露出調節、簡易ホワイトバランス調節などが行われたところで、ユーザが、外部Ｉ／Ｆ部１１９の２段式スイッチでなるシャッタボタンを全押しすると、このデジタルカメラが本撮影モードに入る。
【０４４４】
すると、プリ撮影と同様にして、カラー映像信号がバッファ１０５へ転送される。このときにプレホワイトバランス部８０１によって求められたホワイトバランス係数は、制御部１１８へ転送される。
【０４４５】
本撮影によって得られたバッファ１０５内のカラー映像信号は、Ｙ／Ｃ分離部８０２へ転送される。
【０４４６】
Ｙ／Ｃ分離部８０２は、制御部１１８の制御に基づき、公知の補間処理によりＲ，Ｇ，Ｂの三板からなるカラー映像信号を生成し、さらに、Ｒ，Ｇ，Ｂ信号を次の数式５に示すように輝度信号Ｙおよび色差信号Ｃｂ，Ｃｒへ分離する。  
［数５］
Ｙ ＝  ０．２９９００Ｒ＋０．５８７００Ｇ＋０．１１４００Ｂ
Ｃｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５００００Ｂ
Ｃｒ＝  ０．５００００Ｒ−０．４１８６９Ｇ−０．０８１３１Ｂ
【０４４７】
Ｙ／Ｃ分離部８０２により分離された輝度信号および色差信号は、バッファ８０３へ転送される。
【０４４８】
周波数分解部８０４は、制御部１１８の制御に基づき、バッファ１０５内の輝度信号に対して周波数分解を行い、高周波成分と低周波成分とを取得する。そして、周波数分解部８０４は、得られた高周波成分と低周波成分とを順次バッファ１１０へ転送する。
【０４４９】
変換特性算出部８０５は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を、バッファ８０３から色差信号を、それぞれ読み込んで、階調変換処理に用いる階調特性を算出する。なお、本実施形態においては、階調変換処理として、映像信号に対して単一の階調変換曲線を用いるスペースインバリアントな処理を想定している。そして、変換特性算出部８０５は、算出した階調特性を、階調処理部８０７へ転送する。
【０４５０】
高周波分離部８０６は、制御部１１８の制御に基づき、バッファ１１０から高周波成分を読み込んで、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する。そして、高周波分離部８０６は、分離した上記有効成分を階調処理部８０７へ、上記無効成分をバッファ１１４へ、それぞれ転送する。
【０４５１】
階調処理部８０７は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を、高周波分離部８０６から高周波成分中の有効成分を、変換特性算出部８０５から階調特性を、それぞれ読み込む。そして、階調処理部８０７は、上記階調特性に基づき、上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う。階調処理部８０７は、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分とを、バッファ１１４へ転送する。
【０４５２】
周波数合成部８０８は、制御部１１８の制御に基づき、バッファ１１４から、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を読み込んで、これらに基づき加算処理することにより階調変換がなされた輝度信号を合成する。そして、周波数合成部８０８は、合成した輝度信号をＹ／Ｃ合成部８０９へ転送する。
【０４５３】
Ｙ／Ｃ合成部８０９は、制御部１１８の制御に基づき、周波数合成部８０８から階調変換がなされた輝度信号Ｙ’を、バッファ８０３から色差信号Ｃｂ，Ｃｒを、それぞれ読み込んで、次の数式６に示すように、階調変換がなされたカラー映像信号Ｒ’，Ｇ’，Ｂ’を合成する。  
［数６］
Ｒ’＝Ｙ’                    ＋１．４０２００Ｃｒ
Ｇ’＝Ｙ’−０．３４４１４Ｃｂ−０．７１４１４Ｃｒ
Ｂ’＝Ｙ’＋１．７７２００Ｃｂ
【０４５４】
Ｙ／Ｃ合成部８０９は、合成したカラー映像信号Ｒ’，Ｇ’，Ｂ’を、信号処理部１１６へ転送する。
【０４５５】
信号処理部１１６は、制御部１１８の制御に基づき、Ｙ／Ｃ合成部８０９からの映像信号に公知の圧縮処理などを行い、処理後の信号を出力部１１７へ転送する。
【０４５６】
出力部１１７は、信号処理部１１６から出力される映像信号を、メモリカードなどの記録媒体に記録して保存する。
【０４５７】
次に、図１８は、周波数分解部８０４の構成の一例を示すブロック図である。
【０４５８】
この周波数分解部８０４は、信号抽出部９００と、ローパスフィルタ部９０１と、低周波用バッファ９０２と、差分フィルタ部９０３と、を有して構成されている。
【０４５９】
バッファ８０３は、信号抽出部９００へ接続されている。信号抽出部９００は、ローパスフィルタ部９０１および差分フィルタ部９０３へ接続されている。ローパスフィルタ部９０１は、低周波用バッファ９０２へ接続されている。低周波用バッファ９０２は、差分フィルタ部９０３へ接続されている。差分フィルタ部９０３は、バッファ１１０へ接続されている。
【０４６０】
制御部１１８は、信号抽出部９００，ローパスフィルタ部９０１，差分フィルタ部９０３と双方向に接続されていて、これらを制御するようになっている。
【０４６１】
続いて、このような周波数分解部８０４の作用について説明する。
【０４６２】
信号抽出部９００は、制御部１１８の制御に基づき、バッファ８０３から輝度信号を読み込んで、ローパスフィルタ部９０１と差分フィルタ部９０３とへ転送する。
【０４６３】
ローパスフィルタ部９０１は、制御部１１８の制御に基づき、信号抽出部９００からの輝度信号に対して公知のローパスフィルタ処理を行い、輝度信号の低周波成分を算出する。なお、本実施形態においては、ローパスフィルタ部９０１が用いるローパスフィルタとして、例えば７×７画素サイズの平均値フィルタを想定している。ローパスフィルタ部９０１は、算出した低周波成分を、低周波用バッファ９０２へ転送する。
【０４６４】
差分フィルタ部９０３は、信号抽出部９００から輝度信号を読み込むとともに、低周波用バッファ９０２から輝度信号の低周波成分を読み込んで、これらの差分をとることにより、輝度信号の高周波成分を算出する。差分フィルタ部９０３は、算出した高周波成分と、読み込んだ低周波成分とを、バッファ１１０へ転送する。
【０４６５】
次に、図１９は、変換特性算出部８０５の構成の一例を示すブロック図である。
【０４６６】
この変換特性算出部８０５は、上述した実施形態１の図４に示した変換特性算出部１１１に、関心領域設定手段たる色相算出部１０００，関心領域設定手段たる人物判断部１００１，重み係数設定手段たる重み係数設定部１００２，ヒストグラム補正手段たるヒストグラム補正部１００３を追加し、分割部３００，バッファ３０１を削除した構成になっている。その他の基本的な構成は図４に示した変換特性算出部１１１と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
【０４６７】
バッファ８０３およびバッファ１１０は、適正域抽出部３０２へ接続されている。適正域抽出部３０２は、エッジ算出部３０３および色相算出部１０００へ接続されている。
【０４６８】
色相算出部１０００は、人物判断部１００１，重み係数設定部１００２を介してヒストグラム補正部１００３へ接続されている。
【０４６９】
ヒストグラム作成部３０４は、ヒストグラム補正部１００３へ接続されている。
【０４７０】
ヒストグラム補正部１００３は、階調変換曲線算出部３０５，バッファ３０６を介して階調処理部８０７へ接続されている。
【０４７１】
制御部１１８は、色相算出部１０００，人物判断部１００１，重み係数設定部１００２，ヒストグラム補正部１００３とも双方向に接続されていて、これらも制御するようになっている。
【０４７２】
続いて、このような変換特性算出部８０５の作用について説明する。
【０４７３】
適正域抽出部３０２は、制御部１１８の制御に基づき、バッファ１１０から輝度信号を読み込んで、暗部に関する所定の閾値（一例としての１２ビット階調の場合には例えば１２８）および明部に関する所定の閾値（この１２ビット階調の場合には例えば３９６８）とそれぞれ比較し、暗部の閾値以上であってかつ明部の閾値以下となる輝度信号を適正露光域としてエッジ算出部３０３へ転送する。
【０４７４】
また、適正域抽出部３０２は、適正露光域の輝度信号と対応する座標の色差信号Ｃｂ，Ｃｒをバッファ８０３から読み込んで、色相算出部１０００へ転送する。
【０４７５】
エッジ算出部３０３およびヒストグラム作成部３０４は、上述した実施形態１と同様にして、輝度信号からエッジ部のヒストグラムを作成し、作成したヒストグラムをヒストグラム補正部１００３へ転送する。
【０４７６】
色相算出部１０００は、制御部１１８の制御に基づき、適正域抽出部３０２から色差信号Ｃｂ，Ｃｒを読み込んで、所定の閾値と比較することにより肌色領域を抽出し、この結果を人物判断部１００１へ転送する。
【０４７７】
人物判断部１００１は、制御部１１８の制御に基づき、色相算出部１０００からの肌色領域とエッジ算出部３０３からのエッジ量の情報とを用いて、人物の顔と判断される領域を抽出し、この結果を重み係数設定部１００２へ転送する。
【０４７８】
重み係数設定部１００２は、制御部１１８の制御に基づき、人物の顔と判断される領域内の輝度情報を求めて、これに所定の係数を乗算することにより各輝度レベルに関する補正用の重み係数を算出する。なお、人物の顔と判断される領域内に存在しない輝度レベルに関しては、上記重み係数は０となる。重み係数設定部１００２は、算出した重み係数を、ヒストグラム補正部１００３へ転送する。
【０４７９】
ヒストグラム補正部１００３は、制御部１１８の制御に基づき、ヒストグラム作成部３０４からヒストグラムを読み込むとともに、重み係数設定部１００２から重み係数を読み込んで、ヒストグラムの各輝度レベルに対して重み係数を加算することにより補正を行う。補正されたヒストグラムは、階調変換曲線算出部３０５へ転送され、上述した実施形態１と同様に階調変換曲線が算出される。
【０４８０】
算出された階調変換曲線は、バッファ３０６へ転送され，必要に応じて階調処理部８０７へ転送される。なお、本実施形態においては、スペースインバリアントな処理を想定しているために、算出される階調変換曲線は１種類となる。
【０４８１】
次に、図２０は、高周波分離部８０６の構成の一例を示すブロック図である。
【０４８２】
この高周波分離部８０６は、上述した実施形態１の図５に示した高周波分離部１１２に、ノイズ推定手段でありテーブル変換手段たるノイズＬＵＴ１１００を追加し、パラメータ用ＲＯＭ４０３，パラメータ選択部４０４，補間部４０５を削除した構成になっている。その他の基本的な構成は図５に示した高周波分離部１１２と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
【０４８３】
低周波成分抽出部４００，ゲイン算出部４０１，標準値付与部４０２は、ノイズＬＵＴ１１００へ接続されている。ノイズＬＵＴ１１００は、上限下限設定部４０８へ接続されている。
【０４８４】
判断部４０９は、階調処理部８０７およびバッファ１１４へ接続されている。
【０４８５】
制御部１１８は、ノイズＬＵＴ１１００とも双方向に接続されて、これも制御するようになっている。
【０４８６】
続いて、このような高周波分離部８０６の作用について説明する。
【０４８７】
ゲイン算出部４０１は、制御部１１８から転送されるＩＳＯ感度、露光条件に関する情報、およびホワイトバランス係数に基づき、増幅部１０３におけるゲイン情報を求めて、ノイズＬＵＴ１１００へ転送する。
【０４８８】
また、制御部１１８は、温度センサ１２０からカラーＣＣＤ８００の温度情報を取得して、取得した温度情報をノイズＬＵＴ１１００へ転送する。
【０４８９】
標準値付与部４０２は、制御部１１８の制御に基づき、上記ゲイン情報と温度情報との少なくとも一方が得られない場合に、得られない情報に関する標準値をノイズＬＵＴ１１００へ転送する。
【０４９０】
ノイズＬＵＴ１１００は、映像信号の信号値レベル，映像信号のゲイン，撮像素子の動作温度と、ノイズ量と、の間の関係を記録したルックアップテーブルである。このルックアップテーブルは、例えば上述した特開２００４−１２８９８５号公報に記載されている技術を用いて設計される。ノイズＬＵＴ１１００は、低周波成分抽出部４００からの注目画素の画素値と、ゲイン算出部４０１または標準値付与部４０２からのゲイン情報と、制御部１１８または標準値付与部４０２からの温度情報とに基づき、ノイズ量を出力する。出力されたノイズ量は、上限下限設定部４０８へ転送される。
【０４９１】
高周波成分抽出部４０６は、制御部１１８の制御に基づき、低周波成分抽出部４００により抽出された低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を抽出する。
【０４９２】
なお、本実施形態においては、周波数分解部８０４が上述したようにローパスフィルタと差分フィルタとを用いて低周波成分と高周波成分とを抽出しているために、低周波成分と高周波成分との画素構成は同サイズであり、低周波成分に対応する高周波成分は１画素となる。
【０４９３】
これ以後の高周波分離部８０６の作用は、上述した実施形態１の高周波分離部１１２と同様であって、高周波成分を有効成分と無効成分とに分離して、有効成分を階調処理部８０７へ、無効成分をバッファ１１４へ、それぞれ転送する。
【０４９４】
次に、図２１は、階調処理部８０７の構成の一例を示すブロック図である。
【０４９５】
この階調処理部８０７は、上述した実施形態１の図６に示した階調処理部１１３から、距離算出部５０１，階調変換式設定部５０２，バッファ５０３を削除した構成になっている。その他の基本的な構成は図６に示した階調処理部１１３と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
【０４９６】
変換特性算出部８０５は、階調変換部５０５へ接続されている。
【０４９７】
バッファ１１０は、低周波成分抽出部５００を介して階調変換部５０５へ接続されている。高周波分離部８０６は、高周波成分抽出部５０４を介して階調変換部５０５へ接続されている。
【０４９８】
制御部１１８は、低周波成分抽出部５００，高周波成分抽出部５０４，階調変換部５０５と双方向に接続されていて、これらを制御するようになっている。
【０４９９】
続いて、このような階調処理部８０７の作用について説明する。
【０５００】
低周波成分抽出部５００は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を画素単位で順次抽出する。低周波成分抽出部５００は、抽出した低周波成分を、階調変換部５０５へ転送する。
【０５０１】
高周波成分抽出部５０４は、制御部１１８の制御に基づき、低周波成分抽出部５００が抽出した低周波成分に対応する高周波成分を高周波分離部８０６から抽出する。本実施形態においては、上述したように、低周波成分と高周波成分との画素構成は同サイズであり、低周波成分に対応する高周波成分は１画素となる。なお、低周波成分に対応する高周波成分が無効成分であると判断されて抽出される高周波成分が存在しない場合には、高周波成分抽出部５０４は、エラー情報を制御部１１８へ転送する。
【０５０２】
階調変換部５０５は、制御部１１８の制御に基づき、低周波成分抽出部５００から低周波成分を読み込むとともに、変換特性算出部８０５から階調変換曲線を読み込んで、低周波成分に対する階調変換を行う。階調変換部５０５は、階調変換後の低周波成分を、バッファ１１４へ転送する。
【０５０３】
その後に、階調変換部５０５は、高周波成分抽出部５０４から低周波成分に対応する有効成分の高周波成分を読み込んで、階調変換を行う。そして、階調変換部５０５は、階調変換後の高周波成分を、バッファ１１４へ転送する。なお、低周波成分に対応する有効な高周波成分が存在しない場合には、階調変換部５０５は、制御部１１８の制御に基づき、高周波成分に対する階調変換を中止する。
【０５０４】
なお、本実施形態においても、上述した実施形態１と同様に、撮像部が別体となっている画像処理システムであっても構わない。
【０５０５】
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、カラーＣＣＤ８００からのカラー映像信号を未処理のままのロー（Raw）データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１８からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０５０６】
図２２は、画像処理プログラムのメインルーチンを示すフローチャートである。
【０５０７】
なお、この図２２において、上述した実施形態１の図１１に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０５０８】
この処理を開始すると、まず、カラー映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む（ステップＳ１）。
【０５０９】
次に、数式５に示したように、輝度信号と色差信号とを算出する（ステップＳ５０）。
【０５１０】
続いて、ローパスフィルタおよび差分フィルタ用いて輝度信号の周波数分解を行い、高周波成分と低周波成分とを取得する（ステップＳ２）。
【０５１１】
さらに、後で図２３を参照して説明するように、変換特性を算出する（ステップＳ５１）。
【０５１２】
そして、後で図２４を参照して説明するように、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する（ステップＳ５２）。
【０５１３】
次に、後で図２５を参照して説明するように、低周波成分と高周波成分中の有効成分とに対して階調処理を行う（ステップＳ５３）。
【０５１４】
続いて、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、に基づき、階調変換がなされた輝度信号を合成する（ステップＳ６）。
【０５１５】
そして、数式６に示したように輝度信号と色差信号とを合成して、階調変換がなされたカラー映像信号を得る（ステップＳ５４）。
【０５１６】
さらに、公知の圧縮処理などの信号処理を行う（ステップＳ７）。
【０５１７】
その後、処理後のカラー映像信号を出力して（ステップＳ８）、この処理を終了する。
【０５１８】
図２３は、上記ステップＳ５１における変換特性算出の処理を示すフローチャートである。
【０５１９】
なお、この図２３において、上述した実施形態１の図１２に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０５２０】
この処理を開始すると、輝度信号を暗部に関する所定の閾値および明部に関する所定の閾値とそれぞれ比較して、暗部の閾値以上であってかつ明部の閾値以下となる輝度信号を適正露光域として抽出する（ステップＳ１１）。
【０５２１】
続いて、適正露光域の輝度信号に対してラプラシアンフィルタを用いるなどして、公知のエッジ強度の算出を行う（ステップＳ１２）。
【０５２２】
そして、所定の閾値以上のエッジ強度のある画素を選別して、ヒストグラムを作成する（ステップＳ１３）。
【０５２３】
その後、色差信号を所定の閾値と比較することにより、特定の色相領域、例えば肌色領域を抽出する（ステップＳ６０）。
【０５２４】
さらに、肌色領域とエッジ強度の情報とに基づき、人物の顔と判断される領域を抽出して、これを関心領域として設定する（ステップＳ６１）。
【０５２５】
次に、関心領域内の輝度情報を求めて、これに所定の係数を乗算することにより各輝度レベルに関する補正用の重み係数を算出する（ステップＳ６２）。
【０５２６】
続いて、ヒストグラムの各輝度レベルに対して重み係数を加算することにより、ヒストグラムの補正を行う（ステップＳ６３）。
【０５２７】
その後、ヒストグラムを累積してさらに正規化することにより、階調変換曲線を算出する（ステップＳ１４）。
【０５２８】
こうして算出した階調変換曲線を出力して（ステップＳ１５）、この処理から図２２に示した処理へリターンする。
【０５２９】
図２４は、上記ステップＳ５２における高周波分離の処理を示すフローチャートである。
【０５３０】
なお、この図２４において、上述した実施形態１の図１３に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０５３１】
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップＳ２０）。
【０５３２】
次に、読み込まれたヘッダ情報から、撮像素子の温度，ゲインなどの情報を設定する。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対して所定の標準値を割り当てる（ステップＳ２１）。
【０５３３】
続いて、映像信号の信号値レベル，映像信号のゲイン，撮像素子の動作温度と、ノイズ量と、の間の関係を記録したノイズ量に関するテーブルを読み込む（ステップＳ７０）。
【０５３４】
そして、ノイズ量に関するテーブルに基づき、ノイズ量を求める（ステップＳ７１）。
【０５３５】
その後、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、を抽出する（ステップＳ２４）。
【０５３６】
さらに、低周波成分に対応する高周波成分と、この高周波成分の近傍に位置する高周波成分と、から平均値を算出する（ステップＳ２５）。
【０５３７】
次に、平均値とノイズ量とに基づいて、数式３に示したように上限および下限を設定する（ステップＳ２６）。
【０５３８】
続いて、高周波成分が上限と下限との範囲内にある場合にはノイズに起因する無効成分であると判断し、上限を上回るかまたは下限を下回るかする場合には有効成分であると判断する（ステップＳ２７）。
【０５３９】
そして、有効成分と無効成分とを分離して出力する（ステップＳ２８）。
【０５４０】
さらに、全ての低周波成分の処理が完了したか否かを判断し（ステップＳ３０）、完了していないと判断した場合には上記ステップＳ２０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図２２に示した処理へリターンする。
【０５４１】
図２５は、上記ステップＳ５３における階調処理を示すフローチャートである。
【０５４２】
なお、この図２５において、上述した実施形態１の図１４に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０５４３】
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップＳ４０）。
【０５４４】
次に、階調変換曲線を読み込む（ステップＳ４２）。
【０５４５】
続いて、低周波成分に対応する、有効成分とされる高周波成分を抽出する（ステップＳ４４）。
【０５４６】
そして、有効成分とされる高周波成分が存在するか否かを判断する（ステップＳ４５）。
【０５４７】
ここで、有効成分とされる高周波成分が存在すると判断した場合には、有効成分とされる高周波成分に対して階調変換を行う（ステップＳ４６）。
【０５４８】
このステップＳ４６の処理が終了するか、または、上記ステップＳ４５において、有効成分とされる高周波成分が存在していないと判断した場合には、低周波成分に対し階調変換を行う（ステップＳ４７）。
【０５４９】
次に、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、を出力する（ステップＳ４８）。
【０５５０】
その後、全ての低周波成分の処理が完了したか否かを判断し（ステップＳ４９）、完了していないと判断した場合には上記ステップＳ４０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図２２に示した処理へリターンする。
【０５５１】
なお、上述では、周波数分解および周波数合成にローパスフィルタおよび差分フィルタを用いる構成を採用していたが、このような構成に限定される必要はない。例えば、ガウシアンフィルタおよびラプラシアンフィルタを用いて、周波数分解および周波数合成を行うように構成することも可能である。この場合には、演算量が増加するものの、周波数分解能がより優れるという利点がある。そして、ガウシアンフィルタおよびラプラシアンフィルタを用いる場合には、上述した実施形態１と同様に、多段階の周波数分解、周波数合成を行うように構成することも可能である。
【０５５２】
また、上述では、カラー撮像素子としてベイヤー（Bayer）型原色フィルタを用いる構成を採用していたが、このような構成に限定される必要はない。例えば、図１７に示すような色差線順次型補色フィルタを用いた単板撮像素子や、二板あるいは三板撮像素子を適用することも可能である。
【０５５３】
ここに、図１７は色差線順次型補色フィルタの構成を示す図である。
【０５５４】
この色差線順次方式の補色フィルタは、２×２画素を基本単位として、シアン（Ｃｙ）およびイエロー（Ｙｅ）が２×２画素の同一ラインに、マゼンタ（Ｍｇ）および緑（Ｇ）が２×２画素の他の同一ラインに、それぞれ配置されたものとなっている。ただし、マゼンタ（Ｍｇ），緑（Ｇ）の位置は、ライン毎に反転するように構成されている。
【０５５５】
このような実施形態２によれば、カラー映像信号に対して視覚的にノイズの影響が顕著となる高周波成分のみを無効成分と有効成分とに分離して、有効成分には階調処理を行い無効成分には階調処理を行わないことで、階調処理に伴うノイズの増加を抑制するようにしたために、高品位なカラー映像信号を生成することが可能となる。
【０５５６】
また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したために、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
【０５５７】
さらに、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ないカラー映像信号を得ることができ、処理の安定性および信頼性を向上することができる。
【０５５８】
そして、ローパスフィルタおよび差分フィルタはフィルタ構成が単純であるために、処理を高速に行い得る画像処理システムを低コストに構成することが可能となる。
【０５５９】
加えて、輝度信号の低周波成分から適用的に階調変換曲線を求めるようにしたために、多様なカラー映像信号に対して高精度な階調変換を行うことが可能となる。
【０５６０】
また、低周波成分に基づき階調変換曲線を算出するようにしたために、ノイズによる影響の少ない適切な階調変換曲線を算出することが可能となる。
【０５６１】
さらに、人物などの関心領域に重みを付けた階調処理を行うことができるために、主観的に好ましい高品位な映像信号を得ることができる。
【０５６２】
そして、同一位置にある低周波成分と高周波成分の中の有効成分とに対して、変換特性が等しい階調変換を行うようにしたために、視覚的に違和感のない統一感のある映像信号を得ることができる。
【０５６３】
加えて、高周波成分中の有効成分が存在しない場合には、不要な階調変換を中止するようにしたために、処理速度を向上することが可能となる。
【０５６４】
［実施形態３］
図２６から図３０は本発明の実施形態３を示したものであり、図２６は画像処理システムの構成を示すブロック図である。
【０５６５】
この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０５６６】
本実施形態の画像処理システムは、上述した実施形態１の図１に示した画像処理システムに、エッジ強調手段たるエッジ強調部１２０２を追加し、周波数分解部１０９，高周波分離部１１２，周波数合成部１１５を分離手段であり周波数分解手段たる周波数分解部１２００，分離手段であり高周波分離手段たる高周波分離部１２０１，合成手段であり周波数合成手段たる周波数合成部１２０３にそれぞれ置換した構成になっている。その他の基本的な構成は上述した実施形態１と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
【０５６７】
バッファ１０５は、測光評価部１０６，合焦点検出部１０７，変換特性算出部１１１，周波数分解部１２００へ接続されている。
【０５６８】
周波数分解部１２００は、バッファ１１０へ接続されている。バッファ１１０は、変換特性算出部１１１，高周波分離部１２０１，階調処理部１１３へ接続されている。
【０５６９】
高周波分離部１２０１は、エッジ強調部１２０２およびバッファ１１４へ接続されている。エッジ強調部１２０２は、階調処理部１１３へ接続されている。
【０５７０】
バッファ１１４は、周波数合成部１２０３を介して信号処理部１１６へ接続されている。
【０５７１】
制御部１１８は、周波数分解部１２００，高周波分離部１２０１，エッジ強調部１２０２，周波数合成部１２０３とも双方向に接続されていて、これらも制御するようになっている。
【０５７２】
次に、図２６に示したような画像処理システムの作用は、基本的に実施形態１と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。
【０５７３】
バッファ１０５内の映像信号は、周波数分解部１２００へ転送される。
【０５７４】
周波数分解部１２００は、制御部１１８の制御に基づき、転送されてきた映像信号に所定の周波数分解を行い、高周波成分と低周波成分とを取得する。そして、周波数分解部１２００は、得られた高周波成分および低周波成分を順次バッファ１１０へ転送する。なお、本実施形態においては、周波数分解として例えば６４×６４画素単位の公知のＤＣＴ（Discrete Cosine Transform）変換を用いることを想定している。
【０５７５】
図２７はＤＣＴ（Discrete Cosine Transform）変換を説明するための図であり、図２７（Ａ）は実空間における映像信号を、図２７（Ｂ）はＤＣＴ（Discrete Cosine Transform）変換後の周波数空間における信号を、それぞれ示している。
【０５７６】
図２７（Ｂ）の周波数空間において、左上を原点、すなわち０次成分として、１次以上の高周波成分はこの０次成分を原点とする同心円上に配置される。
【０５７７】
変換特性算出部１１１は、制御部１１８の制御に基づき、バッファ１０５から周波数分解部１２００において使用する６４×６４画素単位に映像信号を読み込む。その後、変換特性算出部１１１は、上述した実施形態１と同様に、階調変換処理に用いる階調特性を算出する。すなわち、本実施形態においては、階調変換処理として、６４×６４画素単位の領域毎に異なる複数の階調特性を用いるスペースバリアントな処理を想定している。そして、変換特性算出部１１１は、算出した上記階調特性を、階調処理部１１３へ転送する。
【０５７８】
高周波分離部１２０１は、制御部１１８の制御に基づき、バッファ１１０から高周波成分を読み込んで、高周波成分に対してノイズ低減処理を行った後に、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する。そして、高周波分離部１２０１は、分離した上記有効成分をエッジ強調部１２０２へ、上記無効成分をバッファ１１４へ、それぞれ転送する。
【０５７９】
エッジ強調部１２０２は、高周波分離部１２０１から転送される有効成分に対して所定の係数を乗算することによりエッジ強調処理を行い、処理結果を階調処理部１１３へ転送する。
【０５８０】
階調処理部１１３は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を、エッジ強調部１２０２から高周波成分中の有効成分を、変換特性算出部１１１から階調特性を、それぞれ読み込む。そして、階調処理部１１３は、上記階調特性に基づき、上記低周波成分と上記高周波成分中の有効成分とに対して階調処理を行う。階調処理部１１３は、階調処理がなされた低周波成分と、高周波成分中の有効成分とを、バッファ１１４へ転送する。
【０５８１】
周波数合成部１２０３は、制御部１１８の制御に基づき、バッファ１１４から、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、を読み込んで、これらに基づき階調変換がなされた映像信号を合成する。なお、本実施形態においては、周波数合成として公知の逆ＤＣＴ（Inverse Discrete Cosine Transform）変換を用いることを想定している。そして、周波数合成部１２０３は、合成した映像信号を信号処理部１１６へ転送する。
【０５８２】
信号処理部１１６は、制御部１１８の制御に基づき、周波数合成部１２０３からの映像信号に公知の圧縮処理などを行い、処理後の信号を出力部１１７へ転送する。
【０５８３】
出力部１１７は、信号処理部１１６から出力される映像信号を、メモリカードなどの記録媒体に記録して保存する。
【０５８４】
次に、図２８は、高周波分離部１２０１の構成の一例を示すブロック図である。
【０５８５】
この高周波分離部１２０１は、上述した実施形態１の図５に示した高周波分離部１１２に、ノイズ低減手段であり第１のスムージング手段たる第１スムージング部１３００，ノイズ低減手段であり第２のスムージング手段たる第２スムージング部１３０１を追加した構成になっている。その他の基本的な構成は図５に示した高周波分離部１１２と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
【０５８６】
判断部４０９は、第１スムージング部１３００および第２スムージング部１３０１へ接続されている。第１スムージング部１３００は、エッジ強調部１２０２へ接続されている。第２スムージング部１３０１は、バッファ１１４へ接続されている。
【０５８７】
制御部１１８は、第１スムージング部１３００および第２スムージング部１３０１とも双方向に接続されていて、これらも制御するようになっている。
【０５８８】
続いて、このような高周波分離部１２０１の作用について説明する。
【０５８９】
低周波成分抽出部４００は、制御部１１８の制御に基づき、バッファ１１０から低周波成分を順次抽出する。なお、本実施形態においては、上述したように、６４×６４画素のＤＣＴ（Discrete Cosine Transform）変換を想定している。そして、低周波成分抽出部４００は、図２７（Ｂ）に示すような各次の周波成分の内の、所定のｎ次以下の周波数成分を低周波成分として、６４×６４画素の各領域から抽出する。
【０５９０】
抽出された低周波成分に関して、パラメータ選択部４０４および補間部４０５を介して、上述した実施形態１と同様にノイズ量が算出される。そして、補間部４０５は、算出したノイズ量を上限下限設定部４０８へ転送する。
【０５９１】
高周波成分抽出部４０６は、制御部１１８の制御に基づき、低周波成分抽出部４００により抽出された低周波成分に対応する６４×６４画素の各領域から（ｎ＋１）次以上の周波成分を高周波成分として抽出する。
【０５９２】
平均算出部４０７は、制御部１１８の制御に基づき、次数毎に高周波成分を分離して、各々の平均値ＡＶを算出し、算出した平均値ＡＶを上限下限設定部４０８へ転送する。
【０５９３】
上限下限設定部４０８は、制御部１１８の制御に基づき、次数毎に、平均算出部４０７からの平均値ＡＶと補間部４０５からのノイズ量Ｎとを用いて、有効成分と無効成分とを識別するための上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを、数式３に示したように設定する。
【０５９４】
上限下限設定部４０８は、このようにして設定した上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを判断部４０９へ、平均値ＡＶを第１スムージング部１３００へ、平均値ＡＶおよびノイズ量Ｎを第２スムージング部１３０１へ、それぞれ転送する。
【０５９５】
判断部４０９は、制御部１１８の制御に基づき、高周波成分抽出部４０６から高周波成分を読み込むとともに、上限下限設定部４０８から高周波成分の次数に対応する上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを読み込む。そして、判断部４０９は、高周波成分が上限Ａｐｐ＿Ｕｐを上回るか、または下限Ａｐｐ＿Ｌｏｗを下回るかする場合には、該高周波成分が有効成分であると判断して、高周波成分を第１スムージング部１３００へ転送する。
【０５９６】
一方、判断部４０９は、高周波成分が上限Ａｐｐ＿Ｕｐと下限Ａｐｐ＿Ｌｏｗとの範囲内にある場合には、該高周波成分がノイズに起因する無効成分であると判断して、高周波成分を第２スムージング部１３０１へ転送する。
【０５９７】
第１スムージング部１３００は、次の数式７に示すように、高周波成分（ここに、高周波成分をＰとする）に上限下限設定部４０８からの平均値ＡＶを代入する処理を行う。  
［数７］
Ｐ＝ＡＶ
【０５９８】
また、第２スムージング部１３０１は、高周波成分Ｐに上限下限設定部４０８からの平均値ＡＶとノイズ量Ｎとを用いて補正する処理を行う。この補正には２種類の処理があり、まず、高周波成分が上限Ａｐｐ＿Ｕｐを上回る場合は、第２スムージング部１３０１は、次の数式８に示すような補正を行う。  
［数８］
Ｐ＝ＡＶ−Ｎ／２
【０５９９】
また、第２スムージング部１３０１は、高周波成分が下限Ａｐｐ＿Ｌｏｗを下回る場合には、次の数式９に示すような補正を行う。  
［数９］
Ｐ＝ＡＶ＋Ｎ／２
【０６００】
そして、第１スムージング部１３００による処理結果はエッジ強調部１２０２へ、第２スムージング部１３０１による処理結果はバッファ１１４へ、それぞれ転送される。
【０６０１】
従って、有効成分であると判断された高周波成分のみが、エッジ強調部１２０２を介して階調処理部１１３へ転送され、階調処理が行われることになる。これに対して、無効成分であると判断された高周波成分は、階調処理が行われることなくバッファ１１４へ転送される。
【０６０２】
なお、本実施形態においても、上述した実施形態１，２と同様に、撮像部が別体となっている画像処理システムであっても構わない。
【０６０３】
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、ＣＣＤ１０２からの映像信号を未処理のままのロー（Raw）データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１８からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０６０４】
図２９は、画像処理プログラムのメインルーチンを示すフローチャートである。
【０６０５】
なお、この図２９において、上述した実施形態１の図１１に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０６０６】
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む（ステップＳ１）。
【０６０７】
次に、ＤＣＴ（Discrete Cosine Transform）変換などの周波数分解を行って、高周波成分と低周波成分とを取得する（ステップＳ２）。
【０６０８】
続いて、図１２に示したように、変換特性を算出する（ステップＳ３）。
【０６０９】
さらに、後で図３０を参照して説明するように、高周波成分をノイズに起因する無効成分とその他の有効成分とに分離する（ステップＳ８０）。
【０６１０】
そして、図１４に示したように、低周波成分と高周波成分中の有効成分とに対して階調処理を行う（ステップＳ５）。
【０６１１】
次に、階調処理がなされた低周波成分と、階調処理がなされた高周波成分中の有効成分と、高周波成分中の無効成分と、に基づき、階調変換がなされた映像信号を合成する（ステップＳ６）。
【０６１２】
続いて、公知の圧縮処理などの信号処理を行う（ステップＳ７）。
【０６１３】
そして、処理後の映像信号を出力して（ステップＳ８）、この処理を終了する。
【０６１４】
図３０は、上記ステップＳ８０における高周波分離の処理を示すフローチャートである。
【０６１５】
なお、この図３０において、上述した実施形態１の図１３に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０６１６】
この処理を開始すると、まず、低周波成分を画素単位で順次抽出する（ステップＳ２０）。
【０６１７】
次に、読み込まれたヘッダ情報から、撮像素子の温度，ゲインなどの情報を設定する。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対して所定の標準値を割り当てる（ステップＳ２１）。
【０６１８】
続いて、基準ノイズモデルに関するパラメータを読み込む（ステップＳ２２）。
【０６１９】
そして、基準ノイズモデルのパラメータに基づき、低周波成分に関するノイズ量を補間処理によって算出する（ステップＳ２３）。
【０６２０】
その後、図２７（Ｂ）に示すように、低周波成分に対応する高周波成分を順次抽出する（ステップＳ２４）。
【０６２１】
次に、低周波成分に対応する高周波成分の平均値を、次数毎に算出する（ステップＳ２５）。
【０６２２】
続いて、平均値とノイズ量とに基づいて、数式３に示したように上限および下限を設定する（ステップＳ２６）。
【０６２３】
そして、高周波成分が上限と下限との範囲内にある場合にはノイズに起因する無効成分であると判断し、上限を上回るかまたは下限を下回るかする場合には有効成分であると判断する（ステップＳ９０）。
【０６２４】
ここで、高周波成分が有効成分であると判断した場合には、高周波成分に対して数式７に示した補正処理を行う（ステップＳ９１）。
【０６２５】
また、ステップＳ９０において、高周波成分が無効成分である場合と判断したには、高周波成分に対して数式８または数式９に示した補正処理を行う（ステップＳ９２）。
【０６２６】
ステップＳ９１またはステップＳ９２の処理が終了したら、補正された有効成分と補正された無効成分とを分離して出力する（ステップＳ９３）。
【０６２７】
そして、全ての高周波成分の処理が完了したか否かを判断し（ステップＳ２９）、完了していないと判断した場合には上記ステップＳ２４へ戻って上述したような処理を繰り返して行う。
【０６２８】
一方、このステップＳ２９において、全ての高周波成分の処理が完了したと判断した場合には、全ての低周波成分の処理が完了したか否かを判断し（ステップＳ３０）、完了していないと判断した場合には上記ステップＳ２０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図２９に示した処理へリターンする。
【０６２９】
なお、上述では、周波数分解および周波数合成にＤＣＴ（Discrete Cosine Transform）変換を用いる構成を採用していたが、このような構成に限定される必要はない。例えば、上述した実施形態１と同様にウェーブレット（Wavelet）変換を用いる構成を採用することも可能であるし、上述した実施形態２と同様にローパスフィルタと差分フィルタとを組み合わせる構成を採用することも可能である。
【０６３０】
さらに、上述では、白黒の映像信号を処理する構成を採用していたが、このような構成に限定される必要はない。例えば、上述した実施形態２と同様に、カラー撮像素子から得られるカラー映像信号から輝度信号を算出して処理する構成を採用することも可能である。
【０６３１】
このような実施形態３によれば、視覚的にノイズの影響が顕著となる高周波成分のみを無効成分と有効成分とに分離して、有効成分には階調処理を行い無効成分には階調処理を行わないことで、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
【０６３２】
また、有効成分と無効成分とに分離して処理する対象から低周波成分を外したために、処理に伴う副作用の発生が少なくなり、安定性を向上することができる。
【０６３３】
さらに、映像信号を無効成分と合成するようにしたために、視覚的に違和感の少ない映像信号を得ることができ、処理の安定性および信頼性を向上することができる。
【０６３４】
また、ＤＣＴ（Discrete Cosine Transform）変換は周波数の分離能に優れているために、高精度な処理を行うことが可能となる。
【０６３５】
映像信号の低周波成分から適用的かつ領域毎に独立して階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。
【０６３６】
そして、ノイズ低減処理がなされた高周波成分に対して階調変換を行うことにより、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
【０６３７】
また、高周波成分中の有効成分に対しては補正処理を、高周波成分中の無効成分に対しては平滑化処理を行うようにしたために、ノイズ低減処理に伴う不連続性の発生を防止して、高品位な映像信号を生成することが可能となる。
【０６３８】
さらに、高周波成分中の有効成分に対してのみエッジ強調処理を行い、高周波成分中の無効成分に対してはエッジ強調処理を行わないために、ノイズ成分を強調することなくエッジ成分のみを強調することができる。これにより、高品位な映像信号を生成することが可能となる。
【０６３９】
［実施形態４］
図３１から図３６は本発明の実施形態４を示したものであり、図３１は画像処理システムの構成を示すブロック図である。
【０６４０】
この実施形態４において、上述の実施形態１〜３と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０６４１】
本実施形態の画像処理システムは、上述した実施形態１の図１に示した画像処理システムに、分離手段でありノイズ低減手段たるノイズ低減部１４００，分離手段であり差分手段たる差分部１４０１，合成手段であり信号合成手段たる信号合成部１４０３を追加し、階調処理部１１３を変換手段であり階調処理手段たる階調処理部１４０２に置換し、周波数分解部１０９，高周波分離部１１２，周波数合成部１１５を削除した構成になっている。その他の基本的な構成は上述した実施形態１と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
【０６４２】
バッファ１０５は、測光評価部１０６，合焦点検出部１０７，ノイズ低減部１４００，差分部１４０１へ接続されている。
【０６４３】
ノイズ低減部１４００は、バッファ１１０へ接続されている。バッファ１１０は、変換特性算出部１１１，差分部１４０１，階調処理部１４０２へ接続されている。
【０６４４】
変換特性算出部１１１は、階調処理部１４０２へ接続されている。差分部１４０１は、バッファ１１４へ接続されている。階調処理部１４０２は、バッファ１１４へ接続されている。バッファ１１４は、信号合成部１４０３を介して信号処理部１１６へ接続されている。
【０６４５】
制御部１１８は、ノイズ低減部１４００，差分部１４０１，階調処理部１４０２，信号合成部１４０３とも双方向に接続されていて、これらも制御するようになっている。
【０６４６】
次に、図３１に示したような画像処理システムの作用は、基本的に実施形態１と同様であるために、映像信号の流れに沿って主として異なる部分についてのみ説明する。
【０６４７】
バッファ１０５内の映像信号は、ノイズ低減部１４００へ転送される。
【０６４８】
ノイズ低減部１４００は、制御部１１８の制御に基づき、ノイズ低減処理を行い、ノイズ低減処理後の映像信号を有効成分としてバッファ１１０へ転送する。
【０６４９】
変換特性算出部１１１は、バッファ１１０から有効成分を読み込んで、上述した実施形態１と同様に、階調変換処理に用いる階調特性を算出する。なお、本実施形態においては、階調変換処理として、例えば６４×６４画素単位の領域毎に異なる複数の階調特性を用いるスペースバリアントな処理を想定している。そして、変換特性算出部１１１は、算出した上記階調特性を、階調処理部１４０２へ転送する。
【０６５０】
差分部１４０１は、制御部１１８の制御に基づき、バッファ１０５内からノイズ低減処理前の映像信号を読み込むとともに、バッファ１１０からノイズ低減処理後の映像信号を有効成分として読み込んで、これらの差分をとる処理を行う。この差分部１４０１は、差分をとった結果として得られる信号を、無効成分としてバッファ１１４へ転送する。
【０６５１】
階調処理部１４０２は、制御部１１８の制御に基づき、バッファ１１０から有効成分を、変換特性算出部１１１から階調特性を、それぞれ読み込む。そして、階調処理部１４０２は、上記階調特性に基づき、上記有効成分に対して階調処理を行う。階調処理部１４０２は、階調処理を行った有効成分をバッファ１１４へ転送する。
【０６５２】
信号合成部１４０３は、制御部１１８の制御に基づき、バッファ１１４から、階調処理がなされた有効成分と、無効成分と、を読み出して、これらを加算することにより、階調変換がなされた映像信号を合成する。信号合成部１４０３は、こうして合成した映像信号を、信号処理部１１６へ転送する。
【０６５３】
信号処理部１１６は、制御部１１８の制御に基づき、信号合成部１４０３からの映像信号に公知の圧縮処理などを行い、処理後の信号を出力部１１７へ転送する。
【０６５４】
出力部１１７は、信号処理部１１６から出力される映像信号を、メモリカードなどの記録媒体に記録して保存する。
【０６５５】
次に、図３２は、ノイズ低減部１４００の構成の一例を示すブロック図である。
【０６５６】
このノイズ低減部１４００は、映像信号抽出部１５００と、ノイズ推定手段であり平均算出手段たる平均算出部１５０１と、ノイズ推定手段であり収集手段たるゲイン算出部１５０２と、ノイズ推定手段であり付与手段たる標準値付与部１５０３と、ノイズ推定手段でありテーブル変換手段たるノイズＬＵＴ１５０４と、設定手段であり上限下限設定手段たる上限下限設定部１５０５と、判断手段たる判断部１５０６と、第１のスムージング手段たる第１スムージング部１５０７と、第２のスムージング手段たる第２スムージング部１５０８と、を有して構成されている。
【０６５７】
バッファ１０５は、映像信号抽出部１５００へ接続されている。映像信号抽出部１５００は、平均算出部１５０１および判断部１５０６へ接続されている。
【０６５８】
平均算出部１５０１，ゲイン算出部１５０２，標準値付与部１５０３は、ノイズＬＵＴ１５０４へ接続されている。ノイズＬＵＴ１５０４は、上限下限設定部１５０５へ接続されている。上限下限設定部１５０５は、判断部１５０６，第１スムージング部１５０７，第２スムージング部１５０８へ接続されている。
【０６５９】
判断部１５０６は、第１スムージング部１５０７および第２スムージング部１５０８へ接続されている。第１スムージング部１５０７および第２スムージング部１５０８は、バッファ１１０へ接続されている。
【０６６０】
制御部１１８は、映像信号抽出部１５００，平均算出部１５０１，ゲイン算出部１５０２，標準値付与部１５０３，ノイズＬＵＴ１５０４，上限下限設定部１５０５，判断部１５０６，第１スムージング部１５０７，第２スムージング部１５０８と双方向に接続されていて、これらを制御するようになっている。
【０６６１】
続いて、このようなノイズ低減部１４００の作用について説明する。
【０６６２】
映像信号抽出部１５００は、制御部１１８の制御に基づき、バッファ１０５からノイズ低減処理を行うべき注目画素と、この注目画素を含む例えば３×３画素の近傍画素と、を順次抽出する。映像信号抽出部１５００は、抽出した注目画素および近傍画素を平均算出部１５０１へ、注目画素を判断部１５０６へ、それぞれ転送する。
【０６６３】
平均算出部１５０１は、制御部１１８の制御に基づき、映像信号抽出部１５００から注目画素および近傍画素を読み込んで、これらの平均値ＡＶを算出する。平均算出部１５０１は、算出した平均値ＡＶをノイズＬＵＴ１５０４へ転送する。
【０６６４】
ゲイン算出部１５０２は、制御部１１８から転送されるＩＳＯ感度および露光条件に関する情報に基づき、増幅部１０３におけるゲイン情報を求めて、ノイズＬＵＴ１５０４へ転送する。
【０６６５】
また、制御部１１８は、温度センサ１２０からＣＣＤ１０２の温度情報を取得して、取得した温度情報をノイズＬＵＴ１５０４へ転送する。
【０６６６】
標準値付与部１５０３は、制御部１１８の制御に基づき、上記ゲイン情報と温度情報との少なくとも一方が得られない場合に、得られない情報に関する標準値をノイズＬＵＴ１５０４へ転送する。
【０６６７】
ノイズＬＵＴ１５０４は、映像信号の信号値レベル，映像信号のゲイン，撮像素子の動作温度と、ノイズ量と、の間の関係を記録したルックアップテーブルである。このルックアップテーブルは、例えば上述した特開２００４−１２８９８５号公報に記載されている技術を用いて設計される。
【０６６８】
ノイズＬＵＴ１５０４は、平均算出部１５０１からの注目画素に関する平均値ＡＶと、ゲイン算出部１５０２または標準値付与部１５０３からのゲイン情報と、制御部１１８または標準値付与部１５０３からの温度情報とに基づき、ノイズ量Ｎを出力する。このノイズ量Ｎと平均算出部１５０１からの平均値ＡＶとは、ノイズＬＵＴ１５０４から上限下限設定部１５０５へ転送される。
【０６６９】
上限下限設定部１５０５は、制御部１１８の制御に基づき、ノイズＬＵＴ１５０４からの平均値ＡＶおよびノイズ量Ｎを用いて、ノイズに属するか否かの識別を行うための上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを、数式３に示したように設定する。
【０６７０】
上限下限設定部１５０５は、このようにして設定した上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを判断部１５０６へ、平均値ＡＶを第１スムージング部１５０７へ、平均値ＡＶおよびノイズ量Ｎを第２スムージング部１５０８へ、それぞれ転送する。
【０６７１】
判断部１５０６は、制御部１１８の制御に基づき、映像信号抽出部１５００から注目画素を、上限下限設定部１５０５から上限Ａｐｐ＿Ｕｐおよび下限Ａｐｐ＿Ｌｏｗを、それぞれ読み込む。そして、判断部１５０６は、注目画素が上限Ａｐｐ＿Ｕｐを上回るか、または下限Ａｐｐ＿Ｌｏｗを下回るかする場合には、該注目画素がノイズに属さないと判断し、注目画素を第１スムージング部１５０７へ転送する。
【０６７２】
一方、判断部１５０６は、注目画素が上限Ａｐｐ＿Ｕｐと下限Ａｐｐ＿Ｌｏｗとの範囲内にある場合には、該注目画素がノイズに属すると判断して、注目画素を第２スムージング部１５０８へ転送する。
【０６７３】
第１スムージング部１５０７は、数式７に示したように、注目画素（ここでは、注目画素をＰとする）に上限下限設定部１５０５からの平均値ＡＶを代入する処理を行う。
【０６７４】
また、第２スムージング部１５０８は、注目画素Ｐに上限下限設定部１５０５からの平均値ＡＶとノイズ量Ｎを用いて補正する処理を行う。この補正には２種類の処理があり、注目画素Ｐが上限Ａｐｐ＿Ｕｐを上回る場合は、第２スムージング部１５０８は、数式８に示したような補正を行う。一方、第２スムージング部１５０８は、注目画素Ｐが下限Ａｐｐ＿Ｌｏｗを下回る場合には、数式９に示したような補正を行う。
【０６７５】
そして、第１スムージング部１５０７による処理結果および第２スムージング部１５０８による処理結果は、何れもバッファ１１０へ転送される。
【０６７６】
次に、図３３は、階調処理部１４０２の構成の一例を示すブロック図である。
【０６７７】
この階調処理部１４０２は、上述した実施形態１の図６に示した階調処理部１１３から、低周波成分抽出部５００，高周波成分抽出部５０４を削除し、抽出手段たる映像信号抽出部１６００を追加した構成になっている。その他の基本的な構成は図６に示した階調処理部１１３と同様であるために、同一の構成には同一の名称と符号を付して説明を適宜省略し、主として異なる部分についてのみ説明する。
【０６７８】
バッファ１１０は、映像信号抽出部１６００へ接続されている。映像信号抽出部１６００は、距離算出部５０１および階調変換部５０５へ接続されている。
【０６７９】
制御部１１８は、映像信号抽出部１６００とも双方向に接続されていて、これも制御するようになっている。
【０６８０】
続いて、このような階調処理部１４０２の作用について説明する。
【０６８１】
映像信号抽出部１６００は、制御部１１８の制御に基づき、バッファ１１０からノイズ低減処理後の映像信号を有効成分として画素単位で順次抽出する。映像信号抽出部１６００は、抽出した有効成分を、距離算出部５０１および階調変換部５０５へそれぞれ転送する。
【０６８２】
この後は、上述した実施形態１と同様にして、距離算出部５０１，階調変換式設定部５０２により、数式４に示したように注目画素に対する階調変換式を設定する。そして、階調変換式設定部５０２は、設定した階調変換式を、バッファ５０３へ転送する。
【０６８３】
階調変換部５０５は、制御部１１８の制御に基づき、映像信号抽出部１６００から有効成分を読み込むとともに、バッファ５０３から階調変換式を読み込んで、有効成分に対する階調変換を行う。階調変換部５０５は、階調変換後の有効成分を、バッファ１１４へ転送する。
【０６８４】
なお、本実施形態においても、上述した実施形態１〜３と同様に、撮像部が別体となっている画像処理システムであっても構わない。
【０６８５】
また、上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、ＣＣＤ１０２からの映像信号を未処理のままのロー（Raw）データとしてメモリカード等の記録媒体に記録するとともに、撮像条件などの付随情報（例えば、制御部１１８からの撮影時の撮像素子の温度や露光条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０６８６】
図３４は、画像処理プログラムのメインルーチンを示すフローチャートである。
【０６８７】
なお、この図３４において、上述した実施形態１の図１１に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０６８８】
この処理を開始すると、まず、映像信号を読み込むとともに、撮像素子の温度や露光条件などのヘッダ情報を読み込む（ステップＳ１）。
【０６８９】
次に、後で図３５を参照して明するように、ノイズ低減処理を行い、ノイズ低減処理後の映像信号を有効成分として算出する（ステップＳ１００）。
【０６９０】
続いて、図１２に示したように、変換特性を算出する（ステップＳ３）。
【０６９１】
さらに、映像信号とノイズ低減処理後の映像信号との差分から無効成分を算出する（ステップＳ１０１）。
【０６９２】
そして、後で図３６を参照して説明するように、有効成分に対して階調処理を行う（ステップＳ１０２）。
【０６９３】
次に、階調処理がなされた有効成分と、無効成分と、に基づき、階調変換がなされた映像信号を合成する（ステップＳ１０３）。
【０６９４】
続いて、公知の圧縮処理などの信号処理を行う（ステップＳ７）。
【０６９５】
そして、処理後の映像信号を出力して（ステップＳ８）、この処理を終了する。
【０６９６】
図３５は、上記ステップＳ１００におけるノイズ低減の処理を示すフローチャートである。
【０６９７】
この処理を開始すると、まず、ノイズ低減処理を行うべき注目画素と、この注目画素を含む例えば３×３画素の近傍画素と、を順次抽出する（ステップＳ１１０）。
【０６９８】
次に、注目画素および近傍画素の平均値を算出する（ステップＳ１１１）。
【０６９９】
続いて、読み込まれたヘッダ情報から、撮像素子の温度，ゲインなどの情報を設定する。ここでもし、ヘッダ情報に必要なパラメータが存在しない場合には、その情報に対して所定の標準値を割り当てる（ステップＳ１１２）。
【０７００】
そして、映像信号の信号値レベル，映像信号のゲイン，撮像素子の動作温度と、ノイズ量と、の間の関係を記録したノイズ量に関するテーブルを読み込む（ステップＳ１１３）。
【０７０１】
さらに、ノイズ量に関するテーブルに基づき、ノイズ量を求める（ステップＳ１１４）。
【０７０２】
その後、平均値とノイズ量とに基づいて、数式３に示したように上限および下限を設定する（ステップＳ１１５）。
【０７０３】
次に、注目画素がノイズに属さないかまたは属するかを、上限、下限と比較することにより判断する（ステップＳ１１６）。
【０７０４】
ここで、注目画素が上限を上回るかまたは下限を下回るかする場合には、該注目画素がノイズに属さないと判断して、注目画素に対して数式８または数式９に示したような補正処理を行う（ステップＳ１１７）。
【０７０５】
一方、ステップＳ１１６において、注目画素が上限と下限との範囲内にある場合には、該注目画素がノイズに属すると判断して、注目画素に対して数式７に示したような補正処理を行う（ステップＳ１１８）。
【０７０６】
そして、補正された注目画素を、ノイズ低減処理後の画素として出力する（ステップＳ１１９）。
【０７０７】
その後、ノイズ低減処理後の映像信号を有効成分として、全ての有効成分についての処理が完了したか否かを判断し（ステップＳ１２０）、完了していないと判断した場合には上記ステップＳ１１０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図３４に示した処理へリターンする。
【０７０８】
図３６は、上記ステップＳ１０２における階調処理を示すフローチャートである。
【０７０９】
なお、この図３６において、上述した実施形態１の図１４に示した処理と基本的にほぼ同一な処理ステップに関しては、同一なステップ数を割り当てている。
【０７１０】
この処理を開始すると、まず、ノイズ低減処理後の映像信号を有効成分として画素単位で順次抽出する（ステップＳ１３０）。
【０７１１】
次に、図８に示すように、有効成分の注目画素とその近傍４領域の中心との間の距離を算出する（ステップＳ４１）。
【０７１２】
続いて、近傍４領域における階調変換曲線を読み込む（ステップＳ４２）。
【０７１３】
さらに、数式４に示したように、注目画素に対する階調変換式を設定する（ステップＳ４３）。
【０７１４】
そして、有効成分の注目画素に対して数式４に示した階調変換式を適用して、階調変換を行う（ステップＳ４７）。
【０７１５】
次に、階調処理がなされた注目画素を出力する（ステップＳ４８）。
【０７１６】
その後、ノイズ低減処理後の全ての映像信号の処理が完了したか否かを判断し（ステップＳ１３１）、完了していないと判断した場合には上記ステップＳ１３０へ戻って上述したような処理を繰り返して行い、一方、完了したと判断した場合には図３４に示した処理へリターンする。
【０７１７】
なお、上述では、白黒の映像信号を処理する構成を採用していたが、このような構成に限定される必要はない。例えば、上述した実施形態２と同様に、カラー撮像素子から得られるカラー映像信号を処理する構成を採用することも可能である。
【０７１８】
このような実施形態４によれば、ノイズ低減後の映像信号にのみ階調処理を行うことにより、階調処理に伴うノイズの増加を抑制するようにしたために、高品位な映像信号を生成することが可能となる。
【０７１９】
また、ノイズ低減後の映像信号に基づき変換特性を算出するようにしたために、ノイズによる影響の少ない適切な変換特性を算出することが可能となって、処理の安定性および信頼性を向上することができる。このとき、ノイズ低減後の映像信号から適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。
【０７２０】
さらに、本実施形態は階調変換処理をノイズ低減処理と組み合わせる処理系となっているために、既存のシステムとの親和性および互換性が高く、多くの画像処理システムに適用することが可能となり、さらに全体としての高性能化を図るとともに、システムの規模を縮小して低コスト化を図ることが可能となる。
【０７２１】
そして、階調処理がなされたノイズ低減後の映像信号と、無効成分と、を合成するようにしたために、ノイズ低減処理において発生する誤差を抑制することができ、安定した階調処理を行うことが可能となる。また、視覚的に違和感の少ない、高品位な映像信号を生成することが可能となる。
【０７２２】
加えて、適用的に階調変換曲線を求めるようにしたために、多様な映像信号に対して高精度な階調変換を行うことが可能となる。
【０７２３】
また、領域毎に独立して階調変換曲線を求めるようにしたために、より自由度が向上し、明暗比の大きいシーンに対しても高品位な映像信号を得ることができる。
【０７２４】
なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【産業上の利用可能性】
【０７２５】
本発明は、映像信号に対して階調変換を行う画像処理システム、画像処理プログラムに好適に利用することができる。
【図面の簡単な説明】
【０７２６】
【図１】本発明の実施形態１における画像処理システムの構成を示すブロック図。
【図２】上記実施形態１における周波数分解部の構成の一例を示すブロック図。
【図３】上記実施形態１において、ウェーブレット（Wavelet）変換を説明するための図。
【図４】上記実施形態１における変換特性算出部の構成の一例を示すブロック図。
【図５】上記実施形態１における高周波分離部の構成の一例を示すブロック図。
【図６】上記実施形態１における階調処理部の構成の一例を示すブロック図。
【図７】上記実施形態１において、階調変換曲線の合成演算における低周波成分の領域への分割を説明するための図。
【図８】上記実施形態１において、階調変換曲線の合成演算における注目画素と近傍４領域との間の距離ｄ1〜ｄ4を説明するための図。
【図９】上記実施形態１における周波数合成部の構成の一例を示すブロック図。
【図１０】上記実施形態１における画像処理システムの他の構成例を示す図。
【図１１】上記実施形態１における画像処理プログラムのメインルーチンを示すフローチャート。
【図１２】上記実施形態１において、図１１のステップＳ３における変換特性算出の処理を示すフローチャート。
【図１３】上記実施形態１において、図１１のステップＳ４における高周波分離の処理を示すフローチャート。
【図１４】上記実施形態１において、図１１のステップＳ５における階調処理を示すフローチャート。
【図１５】本発明の実施形態２における画像処理システムの構成を示すブロック図。
【図１６】上記実施形態２において、ベイヤー（Bayer）型原色フィルタの構成を示す図。
【図１７】上記実施形態２において、色差線順次型補色フィルタの構成を示す図。
【図１８】上記実施形態２における周波数分解部の構成の一例を示すブロック図。
【図１９】上記実施形態２における変換特性算出部の構成の一例を示すブロック図。
【図２０】上記実施形態２における高周波分離部の構成の一例を示すブロック図。
【図２１】上記実施形態２における階調処理部の構成の一例を示すブロック図。
【図２２】上記実施形態２における画像処理プログラムのメインルーチンを示すフローチャート。
【図２３】上記実施形態２において、図２２のステップＳ５１における変換特性算出の処理を示すフローチャート。
【図２４】上記実施形態２において、図２２のステップＳ５２における高周波分離の処理を示すフローチャート。
【図２５】上記実施形態２において、図２２のステップＳ５３における階調処理を示すフローチャート。
【図２６】本発明の実施形態３における画像処理システムの構成を示すブロック図。
【図２７】上記実施形態３において、ＤＣＴ（Discrete Cosine Transform）変換を説明するための図。
【図２８】上記実施形態３における高周波分離部の構成の一例を示すブロック図。
【図２９】上記実施形態３における画像処理プログラムのメインルーチンを示すフローチャート。
【図３０】上記実施形態３において、図２９のステップＳ８０における高周波分離の処理を示すフローチャート。
【図３１】本発明の実施形態４における画像処理システムの構成を示すブロック図。
【図３２】上記実施形態４におけるノイズ低減部の構成の一例を示すブロック図。
【図３３】上記実施形態４における階調処理部の構成の一例を示すブロック図。
【図３４】上記実施形態４における画像処理プログラムのメインルーチンを示すフローチャート。
【図３５】上記実施形態４において、図３４のステップＳ１００におけるノイズ低減の処理を示すフローチャート。
【図３６】上記実施形態４において、図３４のステップＳ１０２における階調処理を示すフローチャート。
【符号の説明】
【０７２７】
１００…レンズ系
１０１…絞り
１０２…ＣＣＤ
１０３…増幅部
１０４…Ａ／Ｄ変換部
１０５…バッファ
１０６…測光評価部
１０７…合焦点検出部
１０８…ＡＦモータ
１０９…周波数分解部（分離手段、周波数分解手段）
１１０…バッファ
１１１…変換特性算出部（変換手段、変換特性算出手段）
１１２…高周波分離部（分離手段、高周波分離手段）
１１３…階調処理部（変換手段、階調処理手段）
１１４…バッファ
１１５…周波数合成部（合成手段、周波数合成手段）
１１６…信号処理部
１１７…出力部
１１８…制御部（制御手段、ノイズ推定手段、収集手段）
１１９…外部Ｉ／Ｆ部
１２０…温度センサ
２００…データ読取部
２０１…バッファ
２０２…水平ハイパスフィルタ
２０３…水平ローパスフィルタ
２０４，２０５，２１０，２１１，２１２，２１３…サブサンプラ
２０６，２０８…垂直ハイパスフィルタ
２０７，２０９…垂直ローパスフィルタ
２１４…切換部
２１５…データ転送制御部
２１６…基底関数ＲＯＭ
２１７…フィルタ係数読取部
３００…分割部（分割手段）
３０１…バッファ
３０２…適正域抽出部（適正域抽出手段）
３０３…エッジ算出部（関心領域設定手段、エッジ算出手段）
３０４…ヒストグラム作成部（ヒストグラム作成手段）
３０５…階調変換曲線算出部（階調変換曲線算出手段）
３０６…バッファ
４００…低周波成分抽出部
４０１…ゲイン算出部（ノイズ推定手段、収集手段）
４０２…標準値付与部（ノイズ推定手段、付与手段）
４０３…パラメータ用ＲＯＭ（ノイズ推定手段、記録手段）
４０４…パラメータ選択部（ノイズ推定手段、パラメータ選択手段）
４０５…補間部（ノイズ推定手段、補間手段）
４０６…高周波成分抽出部
４０７…平均算出部（設定手段、平均算出手段）
４０８…上限下限設定部（設定手段、上限下限設定手段）
４０９…判断部（判断手段）
５００…低周波成分抽出部（第１の抽出手段）
５０１…距離算出部（距離算出手段）
５０２…階調変換式設定部（階調変換式設定手段）
５０３…バッファ
５０４…高周波成分抽出部（第２の抽出手段）
５０５…階調変換部（階調変換手段）
６００…データ読取部
６０１…切換部
６０２，６０３，６０４，６０５，６１０，６１１…アップサンプラ
６０６，６０８…垂直ハイパスフィルタ
６０７，６０９…垂直ローパスフィルタ
６１２…水平ハイパスフィルタ
６１３…水平ローパスフィルタ
６１４…バッファ
６１５…データ転送制御部
６１６…基底関数ＲＯＭ
６１７…フィルタ係数読取部
７００…入力部
７０１…ヘッダ情報解析部
８００…カラーＣＣＤ
８０１…プレホワイトバランス部
８０２…Ｙ／Ｃ分離部（Ｙ／Ｃ分離手段）
８０３…バッファ
８０４…周波数分解部（分離手段、周波数分解手段）
８０５…変換特性算出部（変換手段、変換特性算出手段）
８０６…高周波分離部（分離手段、高周波分離手段）
８０７…階調処理部（変換手段、階調処理手段）
８０８…周波数合成部（合成手段、周波数合成手段）
８０９…Ｙ／Ｃ合成部（Ｙ／Ｃ合成手段）
９００…信号抽出部
９０１…ローパスフィルタ部
９０２…低周波用バッファ
９０３…差分フィルタ部
１０００…色相算出部（関心領域設定手段）
１００１…人物判断部（関心領域設定手段）
１００２…重み係数設定部（重み係数設定手段）
１００３…ヒストグラム補正部（ヒストグラム補正手段）
１１００…ノイズＬＵＴ（ノイズ推定手段、テーブル変換手段）
１２００…周波数分解部（分離手段、周波数分解手段）
１２０１…高周波分離部（分離手段、高周波分離手段）
１２０２…エッジ強調部（エッジ強調手段）
１２０３…周波数合成部（合成手段、周波数合成手段）
１３００…第１スムージング部（ノイズ低減手段、第１のスムージング手段）
１３０１…第２スムージング部（ノイズ低減手段、第２のスムージング手段）
１４００…ノイズ低減部（分離手段、ノイズ低減手段）
１４０１…差分部（分離手段、差分手段）
１４０２…階調処理部（変換手段、階調処理手段）
１４０３…信号合成部（合成手段、信号合成手段）
１５００…映像信号抽出部
１５０１…平均算出部（ノイズ推定手段、平均算出手段）
１５０２…ゲイン算出部（ノイズ推定手段、収集手段）
１５０３…標準値付与部（ノイズ推定手段、付与手段）
１５０４…ノイズＬＵＴ（ノイズ推定手段、テーブル変換手段）
１５０５…上限下限設定部（設定手段、上限下限設定手段）
１５０６…判断部（判断手段）
１５０７…第１スムージング部（第１のスムージング手段）
１５０８…第２スムージング部（第２のスムージング手段）
１６００…映像信号抽出部（抽出手段）
【図１】
2008072233.tif 000004
【図２】
2008072233.tif 000005
【図３】
2008072233.tif 000006
【図４】
2008072233.tif 000007
【図５】
2008072233.tif 000008
【図６】
2008072233.tif 000009
【図７】
2008072233.tif 000010
【図８】
2008072233.tif 000011
【図９】
2008072233.tif 000012
【図１０】
2008072233.tif 000013
【図１１】
2008072233.tif 000014
【図１２】
2008072233.tif 000015
【図１３】
2008072233.tif 000016
【図１４】
2008072233.tif 000017
【図１５】
2008072233.tif 000018
【図１６】
2008072233.tif 000019
【図１７】
2008072233.tif 000020
【図１８】
2008072233.tif 000021
【図１９】
2008072233.tif 000022
【図２０】
2008072233.tif 000023
【図２１】
2008072233.tif 000024
【図２２】
2008072233.tif 000025
【図２３】
2008072233.tif 000026
【図２４】
2008072233.tif 000027
【図２５】
2008072233.tif 000028
【図２６】
2008072233.tif 000029
【図２７】
2008072233.tif 000030
【図２８】
2008072233.tif 000031
【図２９】
2008072233.tif 000032
【図３０】
2008072233.tif 000033
【図３１】
2008072233.tif 000034
【図３２】
2008072233.tif 000035
【図３３】
2008072233.tif 000036
【図３４】
2008072233.tif 000037
【図３５】
2008072233.tif 000038
【図３６】
2008072233.tif 000039