(57)【特許請求の範囲】
【請求項１】
画像処理装置であって、
原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、
前記第１成分または前記原画像信号の信号レベルを取得する階調変換用信号レベル取得手段と、
前記第１成分または前記原画像信号の信号レベルに基づき階調変換に適用する階調変換係数を設定する階調変換係数設定手段と、
前記第１成分に対して前記階調変換係数を用いて階調変換処理を行う階調変換手段と、
前記第１成分の信号レベルを取得するノイズ低減用信号レベル取得手段と、
前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、
前記ノイズ低減処理パラメータと前記階調変換係数を用いて前記第２成分のノイズを低減するノイズ低減処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記ノイズ低減処理手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記第２成分との比較結果、及び前記階調変換係数に基づき前記第２成分のノイズを低減する、ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置であって、
前記ノイズ低減処理手段は、前記ノイズ低減処理パラメータと前記階調変換係数に応じて設定される閾値と前記第２成分との比較結果に基づき前記第２成分のノイズを低減する、ことを特徴とする画像処理装置。
【請求項４】
請求項１から３のいずれか一つに記載の画像処理装置であって、
前記原画像信号はモノクロであり、前記第１成分及び前記第２成分はそれぞれ輝度成分である、ことを特徴とする画像処理装置。
【請求項５】
請求項１から３のいずれか一つに記載の画像処理装置であって、
前記原画像信号は複数の色成分から構成され、
前記ノイズ低減用信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、
前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
前記ノイズ低減処理手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
ことを特徴とする画像処理装置。
【請求項６】
請求項１から３のいずれか一つに記載の画像処理装置であって、
前記原画像信号は複数の色成分から構成され、
前記ノイズ低減用信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、
前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
前記ノイズ低減処理手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
ことを特徴とする画像処理装置。
【請求項７】
請求項１から３のいずれか一つに記載の画像処理装置であって、
前記原画像信号は複数の色成分から構成され、
前記第１成分の各色成分を輝度信号と色信号から構成される色空間の信号へ変換する色空間変換手段を備え、
前記階調変換用信号レベル取得手段は、前記第１成分の輝度信号の信号レベルを取得し、
前記階調変換係数設定手段は、前記第１成分の輝度信号の信号レベルに基づき階調変換係数を設定し、
前記階調変換手段は、前記階調変換係数に基づき、前記第１成分の輝度信号に対して階調変換を行い、
前記ノイズ低減用信号レベル取得手段は、前記第１成分の輝度信号の信号レベルを取得し、
前記パラメータ設定手段は、前記第１成分の輝度信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
前記ノイズ低減処理手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
ことを特徴とする画像処理装置。
【請求項８】
請求項１から３のいずれか一つに記載の画像処理装置であって、
前記原画像信号は複数の色成分から構成され、
前記原画像信号の各色成分を輝度信号と、色信号から構成される色空間の信号へ変換する色空間変換手段を備え、
前記成分分離手段は前記輝度信号、色信号に対して、輝度信号の第１成分および第２成分、色信号の第１成分および第２成分に分離し、
前記階調変換用信号レベル取得手段は、前記輝度信号の第１成分の信号レベルを取得し、
前記階調変換係数設定手段は、前記輝度信号の第１成分の信号レベルに基づき階調変換係数を設定し、
前記階調変換手段は、前記階調変換係数に基づき、前記輝度信号の第１成分に対して階調変換を行い、
前記ノイズ低減用信号レベル取得手段は、前記輝度信号の第１成分の信号レベルを取得し、
前記パラメータ設定手段は、前記輝度信号の第１成分の信号レベルに基づき、前記輝度信号の第２成分および前記色信号の第２成分に対応するノイズ低減処理パラメータを設定し、
前記ノイズ低減処理手段は、前記輝度信号の第２成分および前記色信号の第２成分のノイズを、対応するノイズ低減処理パラメータを用いて低減する、
ことを特徴とする画像処理装置。
【請求項９】
請求項５から７のいずれか一つに記載の画像処理装置であって、
前記第２成分に対して注目画素を含む近傍領域での色成分間の相関係数を演算する相関演算処理手段と、
前記相関係数に基づき前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、
を備えたことを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、
前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正する、ことを特徴とする画像処理装置。
【請求項１１】
請求項１０に記載の画像処理装置であって、
前記パラメータ補正手段は、前記補正係数を次式：
C = (1-r)2
r:  注目画素を含む近傍領域での色成分間の相関係数
により算出する、ことを特徴とする画像処理装置。
【請求項１２】
請求項９から１１のいずれか一つに記載の画像処理装置であって、
前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択する、ことを特徴とする画像処理装置。
【請求項１３】
請求項１から１２のいずれか一つに記載の画像処理装置であって、
前記ノイズ低減処理後の前記第２成分に対して前記階調変換処理とは異なる第２階調変換処理を行う第２階調変換手段を備えたことを特徴とする画像処理装置。
【請求項１４】
請求項１から１３のいずれか一つに記載の画像処理装置であって、
前記階調変換係数設定手段は、前記原画像信号または前記第１成分に対して注目画素を含む近傍領域毎にヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段と、
前記階調変換曲線に基づき前記階調変換係数を算出する階調変換係数算出手段と、
を備えたことを特徴とする画像処理装置。
【請求項１５】
請求項１から１３のいずれか一つに記載の画像処理装置であって、
前記階調変換係数設定手段は、前記原画像信号または前記第１成分を少なくとも１つ以上の領域に分割する分割手段と、
前記原画像信号または前記第１成分に対して前記領域毎にヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラムに基づき前記領域毎に階調変換曲線を設定する階調変換曲線設定手段と、
前記階調変換曲線に基づき前記領域毎に前記階調変換係数を算出する階調変換係数算出手段と、
を備えたことを特徴とする画像処理装置。
【請求項１６】
請求項１から１３のいずれか一つに記載の画像処理装置であって、
前記階調変換係数設定手段は、前記原画像信号または前記第１成分に対して画素毎に所定の階調変換曲線を設定する階調変換曲線設定手段と、
前記階調変換曲線に基づき画素毎に前記階調変換係数を算出する階調変換係数算出手段と、
を備えたことを特徴とする画像処理装置。
【請求項１７】
請求項１から１３のいずれか一つに記載の画像処理装置であって、
前記階調変換係数設定手段は、前記原画像信号または前記第１成分を少なくとも１つ以上の領域に分割する分割手段と、
前記原画像信号または前記第１成分に対して前記領域毎に所定の階調変換曲線を設定する階調変換曲線設定手段と、
前記階調変換曲線に基づき前記領域毎に前記階調変換係数を算出する階調変換係数算出手段と、
を備えたことを特徴とする画像処理装置。
【請求項１８】
請求項１から１７のいずれか一つに記載の画像処理装置であって、
前記階調変換手段は、前記第１成分に対して画素毎または前記領域毎に階調変換係数を乗算する乗算手段を備えたことを特徴とする画像処理装置。
【請求項１９】
請求項１から１８のいずれか一つに記載の画像処理装置であって、
前記階調変換処理後の前記第１成分と、前記ノイズ低減処理後の前記第２成分との合成を行う合成手段を備えたことを特徴とする画像処理装置。
【請求項２０】
請求項１から１９のいずれか一つに記載の画像処理装置であって、
前記第１成分は、原画像の平坦成分、及びエッジ成分を含む成分である、ことを特徴とする画像処理装置。
【請求項２１】
請求項７または８に記載の画像処理装置であって、
前記色空間変換手段は、色空間として、YCbCr色空間、CIE Lab色空間、HSL色空間のうちの１つを用いる、ことを特徴とする画像処理装置。
【請求項２２】
画像処理方法であって、
原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手順と、
前記第１成分または前記原画像信号の信号レベルを取得する階調変換用信号レベル取得手順と、
前記第１成分または前記原画像信号の信号レベルに基づき階調変換に適用する階調変換係数を設定する階調変換係数設定手順と、
前記第１成分に対して前記階調変換係数を用いて階調変換処理を行う階調変換手順と、
前記第１成分の信号レベルを取得するノイズ低減用信号レベル取得手順と、
前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手順と、
前記ノイズ低減処理パラメータと前記階調変換係数を用いて前記第２成分のノイズを低減するノイズ低減処理手順と、
を備えたことを特徴とする画像処理方法。
【請求項２３】
画像処理プログラムであって、
原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手順と、
前記第１成分または前記原画像信号の信号レベルを取得する階調変換用信号レベル取得手順と、
前記第１成分または前記原画像信号の信号レベルに基づき階調変換に適用する階調変換係数を設定する階調変換係数設定手順と、
前記第１成分に対して前記階調変換係数を用いて階調変換処理を行う階調変換手順と、
前記第１成分の信号レベルを取得するノイズ低減用信号レベル取得手順と、
前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手順と、
前記ノイズ低減処理パラメータと前記階調変換係数を用いて前記第２成分のノイズを低減するノイズ低減処理手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を階調変換する画像処理装置に関し、特に階調変換によって信号レベルに依存するノイズが増幅されるのを抑制する技術に関する。
【背景技術】
【０００２】
現在のデジタルスチルカメラやビデオカメラなどでは、デジタル信号処理の桁落ちによる画質劣化を防止するため、最終的な出力信号の階調幅(通常8bit)に対して入力および処理系における信号の階調幅（10〜12bit程度）をより広く設定している。この場合、出力系の階調幅に合致するよう階調変換を行う必要がある。
【０００３】
従来の階調変換処理では、標準的なシーンに対する固定的な階調特性や、映像信号中の主要被写体に合わせた階調特性に基づいた変換処理が行われていた。また、映像信号中の領域別に階調特性を求め、適用的に変換する手法も提案されている。
【０００４】
いずれの手法においても、階調変換処理によるノイズ成分の増幅といった副作用を伴う場合が多い。このため、特許文献１では映像信号中の領域毎に適応的な階調変換処理を行う際に、領域毎に独立に階調特性に対する制限を設定することで、ノイズの増幅を抑制する手法が提案されている。また、特許文献２では映像信号をノイズ成分と信号成分を分離し、信号成分に対して階調変換を行うことで、ノイズ成分を目立たせずにコントラストを改善する手法が提案されている。
【特許文献１】特開2005−318063公報
【特許文献２】特開平10−210323号公報
【非特許文献１】Jean-Francois Aujol, Guy Gilboa, Tony Chan & Stanley Osher, Structure-Texture Image Decomposition--Modeling, Algorithms, and Parameter Selection, International Journal of Computer Vision, Volume 67, Issue 1 (April 2006) Pages: 111 - 136 Year of Publication: 2006
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、映像信号中の注目画素毎にノイズ量を推定し、ノイズ量に基づき階調特性に制限を課しているため階調変換処理の自由度が低く、ノイズ量によっては必要な階調が得られない場合がある。また、階調変換に際しては、ノイズ成分に対しても階調変換処理が影響するので、ノイズ成分が増幅されるという課題がある。
【０００６】
また、特許文献２では、ノイズ成分分離の際に、ハイパスフィルタにより高周波成分としてノイズ成分の抽出を行っているが、撮像素子の信号レベルに基づき動的に変化するランダムノイズ特性や高周波成分に含まれるテクスチャ、エッジ成分を考慮しておらず、ノイズ成分の抽出精度が低いという課題がある。また原信号と高周波成分の差分を信号成分としているため、ハイパスフィルタの影響でエッジが劣化した信号成分に対し階調変換を行う場合、エッジ部において視覚的に不自然な印象を受けることが多い。
【０００７】
本発明は、このような従来技術の技術的課題を鑑みてなされたもので、信号レベルに依存するノイズ成分の増幅を抑え、より効果的に高画質な階調変換処理を行えるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明によれば、画像処理装置であって、原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、前記第１成分または前記原画像信号の信号レベルを取得する階調変換用信号レベル取得手段と、前記第１成分または前記原画像信号の信号レベルに基づき階調変換に適用する階調変換係数を設定する階調変換係数設定手段と、前記第１成分に対して前記階調変換係数を用いて階調変換処理を行う階調変換手段と、前記第１成分の信号レベルを取得するノイズ低減用信号レベル取得手段と、前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、前記ノイズ低減処理パラメータと前記階調変換係数を用いて前記第２成分のノイズを低減するノイズ低減処理手段と、を備えた画像処理装置が提供される。
【発明の効果】
【０００９】
本発明によれば、原画像信号が骨格成分である第１成分と、原画像信号に対する第１成分の残差から得られる第２成分とを含む複数の成分に分離され、ノイズを含まない第１成分に対して階調変換処理が行われるので、階調変換処理によってノイズが増幅されるのを抑制することができ、高品質な階調変換処理を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【００１１】
＜第１の実施形態＞
図１は本発明の第１の実施形態に係る撮像装置のシステム構成図である。図１において、実線はデータ信号線、破線は制御信号線を表しており、各々の処理部は、システムコントローラー1000で制御される。
【００１２】
原画像は、レンズ1001を通してCCD、CMOS等の固体撮像素子1002で電気信号に変換され、撮像信号処理部1003においてCDS(Correlated Double Sampling)/差動サンプリング、アナログゲインの調整等が行われる。その後、A/D変換部1004でデジタル信号に変換され、デジタル信号処理部1005で所定の階調の画像信号（原画像信号I）に変換される。第１の実施形態においては、固体撮像素子1002はモノクロ用撮像素子、原画像信号Iはモノクロ信号である。
【００１３】
成分分離部3001では、原画像信号Iを第１成分Uと第２成分Vに分離する。第１成分Uは、平坦成分（緩やかに変化する成分）とエッジ成分を含む原画像信号Iの骨格成分（幾何学的画像構造）であり、第２成分Vは、テクスチャの様な細かい構造成分とノイズを含む、原画像信号Iに対する第１成分Uの残差成分である。原画像信号Iがモノクロ信号であるので、原画像信号Iから分離される各成分U、Vはいずれも輝度成分となる。
【００１４】
なお、ここでは、説明を簡単にするために、原画像信号Iを２成分に分離する場合について説明するが、３成分以上に分離することも可能である。また、成分分離の方法には加算型分離と乗算型分離があり、その詳細については後述する。
【００１５】
階調変換係数算出部6000は第１成分Uから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出し、これを成分合成・階調変換処理部3005、ノイズ低減処理部3002へ伝送する。階調変換係数算出の詳細については後述する。
【００１６】
ノイズ低減処理パラメータ設定部3004では、図２に示す信号レベル−ノイズ分散モデルまたはその近似データを参照して第１成分Uの信号レベルに対応するノイズの分散σ（ノイズ量）を取得する。第１成分Uは原画像信号Iの骨格成分であるので、第１成分Uの信号レベルから得られるノイズの分散σは、原画像信号Iに含まれていたノイズの分散σにほぼ等しい。そして、ノイズの分散σに応じたノイズ低減処理パラメータT1、T2を設定し、ノイズ低減処理部3002に伝送する。
【００１７】
ノイズ低減処理パラメータT1、T2は、例えば、式(1)：
【００１８】
【数１】
0005034003.tif 000002
により、それぞれノイズの分散σに比例する値に設定される。kは係数で、例えば1/2である。信号レベル−ノイズ分散モデルの詳細については後述する。
【００１９】
ノイズ低減処理部3002では、第２成分Vに対してノイズ低減処理パラメータT1、T2、および階調変換係数を用いた軟判定閾値処理（コアリング処理）を行う。第２成分Vは原画像信号Iに含まれていたノイズと同等のノイズを含むので、この処理によれば、第２成分Vに含まれるノイズを効果的に低減することができる。そして、得られた値を補正第２成分V'として成分合成・階調変換処理部3005に伝送する。軟判定閾値処理の詳細については後述する。
【００２０】
成分合成・階調変換処理部3005では、第１成分Uに対し階調変換係数算出部6000で算出した階調変換係数を乗算した後、補正第２成分V'と所定の比率、例えば1:1の比率で合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。合成成分I'は、LCD等の表示部2001に伝送されるとともに、圧縮回路2002を介して、フラッシュメモリ等で構成される記憶メディア2003に伝送される。
【００２１】
図３は、成分分離部3001から成分合成・階調変換処理部3005までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。図中参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【００２２】
ステップＳ１１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【００２３】
ステップＳ１２では、第１成分Uの信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得する。そして、ノイズ低減処理パラメータT1、T2をノイズの分散σに応じて設定する。
【００２４】
ステップＳ１００では、第１成分Uから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
【００２５】
ステップＳ１３では、第２成分Vに対してノイズ低減処理パラメータT1、T2、および階調変換係数を用いた軟判定閾値処理を行い、第２成分Vに含まれているノイズを低減し、補正第２成分V'を得る。
【００２６】
ステップＳ１０１では第１成分に対して階調変換係数を乗算することにより階調変換処理を行い、ステップＳ１４では、階調変換処理後の第１成分Uと補正第２成分V'を合成し、原画像信号Iに対してノイズが低減され階調変換がなされた合成成分I'を得る。
【００２７】
続いて、成分分離部3001において行う原画像信号Iの成分分離の詳細について説明する。原画像信号Iから第１成分Uを抽出するとき、その基準として、平坦成分（緩やかに変化する成分）やエッジ成分を含む原画像信号Iの骨格成分が保持されるような処理を用いる。成分分離の手法には、上記の通り、加算型分離と乗算型分離があり、以下各手法について順に説明する。
【００２８】
加算型分離
加算型分離では、原画像信号Iが式(2)で示すように、第１成分Uと第２成分Vの和として表される。
【００２９】
【数２】
0005034003.tif 000003
ここでは、まず、有界変動関数とノルムを用いた分離方法を説明する。
【００３０】
分離を行うために、非特許文献１に記載のA2BC変分モデル(Aujol-Aubert-Blanc-Feraud-Chambolle model)を用いる。最適解として求められる第１成分Uの性質としては、不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間BV(Bounded Variation Function Space)としてモデル化され、第１成分Uのエネルギーは式(3)のTV(Total Variation)ノルムJ(U)で定義される。
【００３１】
【数３】
0005034003.tif 000004
一方、式(2)中の第２成分Vの関数空間は振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって式(4)のように表現された関数の空間であり、そのエネルギーは式(5)のGノルム‖V‖Gとして定義される。
【００３２】
【数４】
0005034003.tif 000005
【００３３】
【数５】
0005034003.tif 000006
原画像信号Iの分離問題は、エネルギー汎関数を最小化する式(6)の変分問題として定式化される。この変分問題は、ChambolleのProjection法によって解くことができる。
【００３４】
【数６】
0005034003.tif 000007
これにより原画像信号Iから分離される第２成分Vはノイズの影響を受けるが、第１成分Uはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
【００３５】
その他の加算型分離方法の例としては、線形フィルタによる低域分離、メジアンフィルタ、モホロジフィルタ等による適応的平滑化を行うようにしてもよい。以下、有界変動関数によらない加算型分離の方法の例を示す。
【００３６】
例１：第１成分Uを原画像信号Iに対する直交基底展開の低次の成分とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例２：第１成分Uを原画像信号Iにメジアンフィルタ処理した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例３：第１成分Uを原画像信号Iに多値モホロジフィルタを掛けた結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例４： 第１成分Uを原画像信号Iに縮小処理を施し、さらに拡大処理を施した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例５：第１成分Uを原画像信号IにBilateral Filterを施した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
乗算型分離
続いて乗算型分離の方法について説明する。乗算型分離では、原画像信号Iが第１成分Uと第２成分Vの積によって表されるが、原画像信号Iを対数変換した対数原画像信号をfとすると、式(7)のように加算型分離問題に変換することができる。
【００３７】
【数７】
0005034003.tif 000008
ここでは、前述と同様に有界変動関数とノルムを用いた分離方法を説明する。乗算型分離問題は対数領域において加算型分離と同様にA2BC変分モデルを用いて解くことができる。以下では、乗算型分離を前提として、対数領域におけるA2BC変分モデルについて簡単に述べる。
【００３８】
式(7)中の対数第１成分uの関数空間は、前述の加算型分離モデルの第１成分Uと同様に不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間BV(Bounded Variation Function Space)としてモデル化され、対数第１成分uのエネルギーは式(8)のTV(Total Variation)ノルムJ(u)で定義される。
【００３９】
【数８】
0005034003.tif 000009
一方、式(7)中の対数第２成分vの関数空間は、振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって式(9)のように表現された関数の空間であり、そのエネルギーは式(10)のGノルム‖v‖Gとして定義される。
【００４０】
【数９】
0005034003.tif 000010
【００４１】
【数１０】
0005034003.tif 000011
したがって、対数原画像信号fの分離問題は、エネルギー汎関数を最小化する式(11)の変分問題として定式化される。
【００４２】
【数１１】
0005034003.tif 000012
これにより原画像信号Iから分離される第２成分Vはノイズの影響を受けているが、第１成分Uはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
【００４３】
続いて、ノイズ低減処理パラメータ設定部3004で参照する信号レベル−ノイズ分散モデルについて説明する。
【００４４】
原画像信号Iに含まれるノイズをガウスノイズとすると、ノイズの分散σ（ノイズ量）は、A/D変換直後の信号レベルL0に対して２次曲線的に増加する。これを特開2005-175718公報に開示されているように信号レベル−ノイズ分散モデルを２次関数で表すと、式(12)が得られる。
【００４５】
【数１２】
0005034003.tif 000013
ここで、α、β、γは定数項である。しかしながら、ノイズの分散σは信号レベルだけではなく、素子の温度やゲインによっても変化する。図４は、一例として、ある温度tにおけるゲインに関連する３種類のISO感度（ゲイン）100、200、400に対するノイズの分散σをプロットしている。個々の曲線は式(12)に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgiとし、上記を考慮した形で信号レベル−ノイズ分散モデルの定式化を行うと、
【００４６】
【数１３】
0005034003.tif 000014
となる。ここで、αgt、βgt、γgtは温度t、ゲインgiに応じて決まる定数項である。フルカラーの場合、このノイズモデルは各色独立に適用することができる。
【００４７】
しかしながら、第１の実施形態では、デジタル信号処理部1005の後段で成分分離、ノイズ低減処理を行うので、上記モデルをそのまま用いることはできない。そこで、上記信号レベル−ノイズ分散モデルの特性に加え、デジタル信号処理部1005の特性を考慮し、デジタル信号処理後の信号レベルについて信号レベル−ノイズ分散モデルを得る。
【００４８】
例えば、デジタル信号処理部1005が、12bitの入力信号を8bit出力信号に階調変換するKnee処理又はγ変換である場合、デジタル信号処理部1005は図５の様な入出力信号特性を有している。図中、L(12)はA/D変換直後の信号レベル、L(8)はデジタル信号処理後の信号レベルを表す。
【００４９】
したがって、式(12)あるいは(13)のA/D変換直後の信号レベル−ノイズ分散の特性と、図５の様なデジタル信号処理部1005の特性を考慮すると、デジタル信号処理後の信号レベルY(8)とノイズの分散σは、図２に示した単峰の曲線の関係（信号レベル−ノイズ分散モデル）となる。
【００５０】
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルを参照してノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定している。なお、簡略化のために、図２に代えて、図２を折れ線で近似したデータを参照するようにしてもよい。
【００５１】
続いて階調変換係数算出処理について説明する。
【００５２】
図６は階調変換係数算出部6000の構成の一例を示すもので、階調変換係数算出部6000は、局所領域抽出部6003、バッファ6004、ヒストグラム作成部6005、累積正規化部6006、係数算出部6007からなる。成分分離部3001は局所領域抽出部6003へ、局所領域抽出部6003はバッファ6004へ接続している。バッファ6004はヒストグラム作成部6005、係数算出部6007へ接続しており、ヒストグラム作成部6005は累積正規化部6006へ、累積正規化部6006は係数算出部6007へ接続している。係数算出部6007は、成分合成・階調変換処理部3005、ノイズ低減処理部3002へ接続している。
【００５３】
局所領域抽出部6003は成分分離部3001で分離された第１成分Uに対し、注目画素を中心とする所定サイズの矩形領域、本例では例えば16×16画素単位の局所領域を抽出する。局所領域抽出部6003により抽出された局所領域の信号はバッファ6004へ保存される。
【００５４】
ヒストグラム作成部6005は，バッファ6004内の信号に基づき、局所領域ごとにヒストグラムを作成し、累積正規化部6006へ転送する。累積正規化部6006は、ヒストグラムを累積することで累積ヒストグラムを作成し、これを階調幅にあわせて正規化することで階調変換曲線を生成する。本実施形態ではデジタル信号処理部1005から出力される画像信号の階調幅を8bitと仮定するため、上記階調変換曲線は8bit入力8bit出力になる。上記階調変換曲線は係数算出部6007へ転送される。
【００５５】
係数算出部6007では累積正規化部6006からの階調変換曲線に基づく領域の信号レベルに対する階調変換係数を算出する。
【００５６】
いま、階調変換曲線をt()、入力信号レベルをAVc、階調変換係数をgとすると、gは式(14)で与えられる。
【００５７】
【数１４】
0005034003.tif 000015
階調変換係数gは成分合成・階調変換処理部3005、ノイズ低減処理部3002へ転送され、後段の階調変換処理、およびノイズ低減処理に用いられる。
【００５８】
なお、上記例では局所領域ごとにヒストグラムに基づく階調変換曲線を算出しているが、このような構成に限定される必要はない。例えば、図７に示されるように標準的な階調変換曲線を固定的に使用する構成（別構成1）も可能である。
【００５９】
図７は、図６に示す階調変換係数算出部6000の構成からヒストグラム作成部6005、累積正規化部6006を除去し、標準階調曲線設定部6008を追加した構成になっている。基本構成は図６に示す階調変換係数算出部6000と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００６０】
バッファ6004は係数算出部6007へ接続している。標準階調曲線設定部6008は、係数算出部6007へ接続している。
【００６１】
本構成では、係数算出部6007では標準階調曲線設定部6008から標準的な階調変換曲線を読み込んだ後、階調変換曲線に基づく領域の信号レベルに対する階調変換係数を算出する。この場合、明暗比の大きいシーンでは改善効果が低下するが、処理速度を高速化することができる。
【００６２】
また、図８に示されるように原画像信号Iを適用的に領域分割し、領域毎に階調変換係数を算出する構成（別構成２）も可能である。
【００６３】
図８は、図６に示す階調変換係数算出部6000の構成から局所領域抽出部6003を除去し、適用分割部6009を追加した構成になっている。基本構成は図６に示す階調変換係数算出部6000と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００６４】
成分分離部3001は適用分割部6009に接続している。適用分割部6009はバッファ6004へ接続している。
【００６５】
適用分割部6009では原画像信号Iから所定サイズの矩形領域、たとえば本例では8×8画素単位の矩形領域を順次読み、領域内で所定の特徴量、たとえばテクスチャ解析のための同時生起行列からの統計量に基づくモーメント、エントロピーや、輝度値等に基づき均一な領域への分割、ラベリング処理を行う。これは、公知のラベリング技術を用い、例えばテクスチャ、輝度が同一である場合に同一のラベルを付加するなどで行われる。上記ラベリングが終了後に、同一のラベルが付けられた矩形領域を一つの領域として抽出しバッファ6004へ転送する。
【００６６】
なお、上記例ではテクスチャ、輝度情報に基づき領域の分割を行ったが、このような構成に限定される必要はない。例えば、テクスチャのみにして処理の高速化を図るなども可能である。上記構成により、テクスチャ、輝度などによる高精度な領域分割が可能となり、階調変換処理をより効果的に行うことができる。
【００６７】
また、図９に示されるように原画像信号Iを適用的に領域分割し、領域毎に標準的な階調変換曲線を固定的に使用する構成（別構成３）も可能である。
【００６８】
図９は、図７に示す階調変換係数算出部6000の構成から局所領域抽出部6003を除去し、適用分割部6009を追加した構成になっている。基本構成は図７に示す階調変換係数算出部6000と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
【００６９】
成分分離部3001は適用分割部6009に接続している。適用分割部6009はバッファ6004へ接続している。
【００７０】
適用分割部6009では原画像信号Iから所定サイズの矩形領域、たとえば本例では8×8画素単位の矩形領域を順次読み、領域内で所定の特徴量、テクスチャ解析のための同時生起行列からの統計量に基づくモーメント、エントロピーや、輝度値等に基づき均一な領域への分割、ラベリング処理を行う。
【００７１】
上記構成により、テクスチャ、輝度などによる高精度な領域分割が可能となり、階調変換処理をより効果的に行うことができる。
【００７２】
続いて、ノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理について説明する。
【００７３】
原画像信号Iから分離された第２成分Vは上記の通りノイズを含むので、ノイズ低減処理部3002では、以下に説明する軟判定閾値処理（コアリング処理）により第２成分Vに含まれるノイズを低減する。
【００７４】
軟判定閾値処理は、基準値をB、上限閾値をC1=B+T1 (T1>0)、下限閾値をC2=B+T2 (T2<0)とし、処理前の信号値Aと処理後の信号値Dの関係が式(15)、および図１０のグラフで表される信号処理である。
【００７５】
【数１５】
0005034003.tif 000016
図１１（ａ）（ｂ）は軟判定閾値処理が行われる様子を示しており、図１１（ａ）に示す１次元の信号値Aに対して軟判定閾値処理を行うと、図１１（ｂ）に示す信号値Dが得られる。このとき基準値Bには信号値Aの移動平均を用いている。
【００７６】
さらに、式(16)、および図１２のグラフで表されるように入力信号の特徴によっては、A＞C1、A＜C2の範囲において傾きS1（<1）、S2（<1）を設定し、この範囲においては基準値Bとの差に応じてより強くノイズ低減を行うことも可能である。
【００７７】
【数１６】
0005034003.tif 000017
さらに、式(17)、および図１３のグラフで表されるように入力信号の特徴によっては、上限閾値をC1' = B + (G1×T1) (T1>0)、下限閾値をC2' = B + (G2×T2) (T2<0)と設定し、閾値の範囲を調整することにより、ノイズ低減効果を調整することが可能である。ここでG1、G2は閾値範囲調整用のパラメータである。例えばG1<1、G2<1と設定した場合、閾値の範囲が狭くなるため、ノイズ低減効果が弱まり、G1>1、G2>1と設定した場合は閾値の範囲が広くなるため、より強くノイズ低減を行うことが可能である。
【００７８】
【数１７】
0005034003.tif 000018
さらに、式(18)、および図１４のグラフで表されるように入力信号の特徴によっては、上限閾値をC1' = B + (G1×T1) (T1>0)、下限閾値をC2' = B + (G2×T2) (T2<0)を設定し、A＞C1'、A＜C2'の範囲において傾きS1（<1）、S2（<1）を設定することにより、ノイズ低減効果を調整することが可能である。ここでG1、G2は閾値範囲調整用のパラメータである。例えばG1<1、G2<1と設定した場合、閾値の範囲が狭くなるため、ノイズ低減効果が弱まり、G1>1、G2>1と設定した場合は閾値の範囲が広くなるため、より強くノイズ低減を行うことが可能である。
【００７９】
また、A＞(G1×T1)、A＜(G2×T2)の範囲においては基準値Bとの差に応じてより強くノイズ低減を行うことが可能である。
【００８０】
【数１８】
0005034003.tif 000019
なお、式(7)に示す乗算型分離など、成分分離の手法によっては、第１成分Uに対し、直接前述の階調変換係数gを乗算することで階調変換処理を行う場合でも、第２成分Vに対して階調変換処理の影響が及ぶケースがある。このとき、第２成分Vに対するノイズ低減処理で落としきれない残留ノイズ成分が、後段の階調変換処理（階調変換係数の乗算）により増幅することで画質劣化がおきるため、ノイズ低減処理において階調変換係数に応じてノイズ低減効果が調整されるよう処理が行われることが望ましい。
【００８１】
例えば、乗算分離において階調変換係数の乗算を行う場合は、式(19)に従い階調変換係数gを乗算することで、第２成分Vに対する階調変換係数gの影響を抑えることができる。
【００８２】
【数１９】
0005034003.tif 000020
第１の実施形態では、第２成分Vに対する階調変換の影響を考慮し、原画像信号Iから分離された第２成分Vに対して式(18)および図１４に示す、軟判定閾値処理を行う。ここで、傾きS1、S2を式(20)、閾値範囲設定用パラメータG1、G2を式(21)に示すように階調変換係数と連動させることで、階調変換による増幅が大きい場合は、より強くノイズが抑えることができる。
【００８３】
【数２０】
0005034003.tif 000021
【００８４】
【数２１】
0005034003.tif 000022
gは階調変換係数、Cks、Ckgは所定の重み係数である。
【００８５】
第２成分Vは、原画像信号Iから骨格成分である第１成分Uを除いたものであるので、基準値Bは0と考えて良い。
【００８６】
図１５は、上記成分分離、ノイズ低減処理により原画像信号Iのノイズが低減され、階調変換処理によるノイズ増幅が抑えられる様子を示している。
【００８７】
図１５（ａ）は、１次元で表した原画像信号Iを示しており、ノイズを含んでいる。
【００８８】
図１５（ｂ）は、成分分離部3001によって原画像信号Iから分離された第１成分Uを示している。第１成分Uは平坦成分とエッジ成分を含む骨格成分であり、ノイズを殆ど含んでいない。
【００８９】
図１５（ｃ）は、成分分離部3001によって得られた第２成分Vを示している。第２成分Vは原画像信号Iに対する第１成分Uの残差成分であり、原画像信号Iに含まれていたノイズと同等のノイズを含んでいる。
【００９０】
図１５（ｄ）は、第２成分Vに対して軟判定閾値処理を行った結果である。補正第２成分V'は第２成分Vに比べてノイズが低減されている。信号レベル−ノイズ分散モデルを参照してノイズの分散σを取得するためには、通常、ノイズの無い原信号を推定する必要があるが、第１の実施形態では、これに代えて骨格成分である第１成分Uの信号レベルを用いてノイズの分散σを取得するようにしている。なお、ここでは、簡単のために、図２に示した信号レベル−ノイズ分散モデルを折れ線で近似したデータを参照してノイズの分散σを取得した。
【００９１】
図１５（ｅ）は、成分合成・階調変換処理部3005で図１５（ｂ）の第１成分Uに対し前述の階調変換係数gを乗算した後、図１５（ｄ）の補正第２成分V'とを1：1で合成した結果である。図１５の（ａ）と（ｅ）を比較するとわかるように、合成成分I'は原画像信号Iに対してエッジ成分を保存しつつ、ノイズが低減された上でノイズの増幅のない階調変換処理がなされている。なお、合成時の混合比は任意に設定することができる。
【００９２】
続いて第１の実施形態の作用効果について説明する。
【００９３】
原画像信号Iに含まれる信号レベル依存のノイズを信号レベルから推定する場合、ノイズのない原画像信号Iを推定する必要があるが、骨格成分である第１成分Uの信号レベルを用いれば原画像信号Iに含まれるノイズを精度良く推定することができる。その一方で、原画像信号Iに対する第１成分Uの残差成分である第２成分Vには、原画像信号Iに含まれていたノイズと同等のノイズが分離される。
【００９４】
したがって、第１成分Uの信号レベルに基づき、第２成分Vのノイズを低減するためのノイズ低減処理パラメータT1、T2を設定し、これを用いて第２成分Vのノイズを低減するようにすれば、第２成分Vのノイズを効果的に低減することができ、高画質なノイズ低減処理を提供することができる。エッジ成分は骨格成分である第１成分に含まれるので、ノイズ低減処理によってエッジが劣化することはない。
【００９５】
また、階調変換処理において、骨格成分である第１成分Uまたは原画像信号Iの信号レベルを用いて階調変換係数gを算出し、これを第１成分Uに対して乗算し、第２成分Vと合成するようにしたことにより、第２成分Vに含まれるノイズに対して階調変換処理が影響を与えることがなく、ノイズの増幅を抑えた高品質な階調変換処理を提供することができる。
【００９６】
なお、ノイズ低減処理の方法としては、信号レベル依存の信号処理であれば何れの方法でもよく、例えば、上記の通り、ノイズ低減処理パラメータT1、T2に応じた閾値と第２成分Vを比較した比較結果、および階調変換係数に応じて第２成分Vを補正する軟判定閾値処理を利用することができる。階調変換係数に基づいて軟判定閾値を設定し、ノイズ低減効果を制御するようにすれば、階調変換処理による第２成分に含まれるノイズの増幅を抑制した高精度なノイズ低減処理が可能になる。
【００９７】
また、第２成分Vに含まれる細かい構造成分に関し、第１成分Uに対する階調変換処理とは異なる第２階調変換処理等を施した後、第１成分Uと合成することで、細部のコントラスト強調等、細部構造に関する画質のコントロールを行うようにしてもよい。第１成分U、第２成分Vいずれに対しても階調変換処理を行うことでより自然な画像が得られる。
【００９８】
第２階調変換処理は、例えば、第２成分Vまたはノイズ低減処理後の第２成分V'に対し、所定のゲインを乗算する、または所定の重み付け等の調整処理を行った階調変換係数g'を乗算する等の処理である。第２階調変換処理をノイズ低減処理後の第２成分V'に対して行えば第２成分Vに含まれるノイズの増幅を抑えることができる。第２階調変換処理をノイズ低減処理前の第２成分Vに対して行う場合は、第２成分Vに含まれるノイズの増大を抑える必要がある。例えば、所定のゲインを用いる場合はゲインを十分に小さくし、階調変換係数g'を用いる場合は、階調変換係数gと反対の傾向を有するように、すなわち、階調変換係数gが大きくなれば小さくなるように階調変換係数g'を設定する。
【００９９】
なお、階調変換係数算出部6000は、成分分離部3001ではなく、デジタル信号処理部1005に直接接続し、入力が第１成分Uの場合と同様の方法により原画像信号Iから階調変換係数を算出するようにしてもよい。この構成によれば、成分分離と、階調変換係数算出が並列な処理構成となり、処理速度を向上させることが可能となる。
【０１００】
また、成分分離の手法は、上記した加算型分離、乗算型分離の何れを用いても良く、また、２成分への分離のみならず、３成分以上に分離するようにしても構わない。また第２〜第Ｎ成分に対するノイズ低減処理は、上記軟判定閾値処理に限定されず、信号レベルに基づきノイズを低減する処理であれば、何れの方法でもよい。
【０１０１】
＜第２の実施形態＞
第２の実施形態以降の実施形態はフルカラーに対応した実施形態である。第１の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１０２】
図１６は第２の実施形態に係る撮像装置のシステム構成図であり、固体撮像素子1012は色フィルタアレイを前面に配置したフルカラー用撮像素子である。固体撮像素子1012は、単板方式、複数板方式のいずれでも良い。
【０１０３】
成分分離部3001はY/C分離部3018、色成分分離部3006、色成分分離部3009に接続されている。Y/C分離部3018は階調変換係数算出部6000に接続されている。
色成分分離部3006はノイズ低減処理パラメータ設定部3004に接続されている。
色成分分離部3009はノイズ低減処理部3002に接続されている。
【０１０４】
成分分離部3001から転送された第１成分UはY/C分離部3018において、輝度成分Yと色差成分Cb、Crに分離される。第１成分Uを構成するR成分、G成分、B成分から輝度成分Y、色差成分Cb、Crへの変換は、式(22)により行われる。
【０１０５】
【数２２】
0005034003.tif 000023
分離された輝度成分Yは階調変換係数算出部6000へ転送され、輝度信号Yの信号レベルに基づき、第１の実施形態と同様の方法で階調変換係数を算出する。
色成分分離部3006では第１成分Uを各色成分（R成分、G成分、B成分）に分離し、ノイズ低減処理パラメータ設定部3004へ転送する。
【０１０６】
ノイズ低減処理パラメータ設定部3004では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照し、ノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０１０７】
色成分分離部3009では、成分分離部3001で得られた第２成分Vを各色成分に分離し、ノイズ低減処理部3002へ転送する。
【０１０８】
ノイズ低減処理部3002では、第２成分Vの各色成分に対して、第１の実施形態で説明した軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。
【０１０９】
成分合成・階調変換処理部3005では、第１成分Uの各色成分に対し階調変換係数算出部6000で算出した階調変換係数を乗算した後、補正第２成分V'の対応する色成分と合成する。
【０１１０】
図１７は成分分離部3001から成分合成・階調変換処理部3005までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【０１１１】
ステップＳ２１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【０１１２】
ステップＳ２２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
【０１１３】
ステップＳ２３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照してノイズの分散σを色成分毎に取得する。そして各色成分のノイズの分散σに応じて第２成分Vの各色成分に対するノイズ低減処理パラメータT1、T2を設定する。
【０１１４】
ステップＳ３２では、第１成分Uの各色信号を、輝度信号Y、色差信号Cr,Cbに変換する。
【０１１５】
ステップＳ１００では、第１成分Uの輝度信号Yから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
【０１１６】
ステップＳ２４では、第２成分Vを各色成分に分離する。
【０１１７】
ステップＳ２５では、第２成分Vの各色成分に対して、対応する色成分のノイズ低減処理パラメータT1、T2、階調変換係数を用いた軟判定閾値処理を色成分毎に独立に行い、軟判定閾値処理後の値を補正第２成分V'とする。
【０１１８】
ステップＳ１０１では第１成分Uの各色信号に対して階調変換係数を乗算することにより階調変換処理を行う。
【０１１９】
ステップＳ２６では、階調変換後の第１成分Uと補正第２成分V'とを合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【０１２０】
この第２の実施形態によれば、原画像信号Iが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理、および階調変換処理を行うことができる。
【０１２１】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１２２】
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
【０１２３】
＜第３の実施形態＞
図１８は第３の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１２４】
第３の実施形態では色成分分離部3006が削除される。Y/C分離部3018では、第１成分Uを輝度成分Yと色差成分Cb、Crに分離する。第１成分Uを構成するR成分、G成分、B成分から輝度成分Y、色差成分Cb、Crへの変換は、式(22)により行われる。
【０１２５】
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照し、輝度成分Yの信号レベルに応じた各色成分のノイズの分散σを取得する。ここで分散モデル、または近似データは、予めR,G,B信号毎に輝度成分Yに対するノイズ量を計測し、モデル化してある。
そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０１２６】
色成分分離部3009では、成分分離部3001で得られた第２成分Vを各色成分に分離する。ノイズ低減処理部3002は上記軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。
【０１２７】
図１９は成分分離部3001から成分合成・階調変換処理部3005までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【０１２８】
ステップＳ３１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【０１２９】
ステップＳ３２では、第１成分Uの各色信号を、輝度信号Y、色差信号Cr,Cbに変換する。
【０１３０】
ステップＳ３３では、第１成分Uの輝度成分Yの信号レベルに応じ、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じた第２成分Vの各色成分に対するノイズ低減処理パラメータT1、T2をそれぞれ設定する。
【０１３１】
ステップＳ３４では、第２成分Vを各色成分に分離する。
【０１３２】
ステップＳ１００では、第１成分Uの輝度信号Yから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
【０１３３】
ステップＳ３５では、第２成分Vの各色成分に対して、ノイズ低減処理パラメータT1、T2、階調変換係数を用いた軟判定閾値処理を色成分毎に独立に行い、補正第２成分V'を得る。
【０１３４】
ステップＳ１０１では第１成分の各色信号に対して階調変換係数を乗算することにより階調変換処理を行う。
【０１３５】
ステップＳ３６では、階調変換処理後の第１成分Uと補正第２成分V'とを合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【０１３６】
この第３の実施形態によれば、原画像信号Iが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理、および階調変換処理を行うことができる。
【０１３７】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１３８】
また、この実施形態においては、第１成分Uから輝度成分Yを分離し、輝度成分Yの信号レベルに応じてノイズ低減処理パラメータT1、T2、および階調変換係数を設定、算出するようにしているが、輝度成分Yの信号レベルに代えて、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いるようにしても構わない。
【０１３９】
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
【０１４０】
＜第４の実施形態＞
図２０は第４の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１４１】
第１の実施形態では、デジタル信号処理部1005の後段に、成分分離部3001〜成分合成・階調変換処理部3005を配置しているが、第４の実施形態では、図２０に示すように、デジタル信号処理部1005の前段にこれらの要素を配置し、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して成分分離、ノイズ低減処理を行う。この場合、成分分離を前提として、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で、色フィルタアレイを通して得られた信号をデモザイキングする。
【０１４２】
そして、第４の実施形態では、第２の実施形態と同様に、各色成分の信号レベルに基づき、信号レベル−ノイズ分散モデルを用いてノイズ低減処理パラメータT1、T2を色成分毎に設定する。第４の実施形態では、デジタル信号処理の前段で信号分離、ノイズ低減処理を行うので、信号レベル−ノイズ分散モデルとして、図２に示したモデルではなく、図２１あるいは式(12)、(13)で表されるモデルを参照してノイズの分散σを取得する。
【０１４３】
その後の、軟判定閾値処理による第２成分Vのノイズ低減処理、第１成分Uと補正第２成分V'の合成処理に関しては、第２の実施形態と同様である。
【０１４４】
この第４の実施形態によれば、原画像信号Iが複数の色成分を含む場合に適応し、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理、および階調変換処理を行うことができる。また、デジタル画像処理部の前段において成分分離、ノイズ低減処理を行うので、成分分離部3001における骨格成分とノイズ成分の分離能力が向上する。
【０１４５】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１４６】
また、この第４の実施形態では各色成分の信号レベルに基づきノイズの分散σを取得し、これに応じてノイズ低減処理パラメータT1、T2および階調変換係数を設定、算出するようにしているが、各色成分の信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いるようにしてもよい。
【０１４７】
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
【０１４８】
＜第５の実施形態＞
ノイズを含まないカラー画像において、3×3の近傍領域で評価した局所色間相互相関係数（以下、「相関係数」という。）は1に近い正値を示す一方で、ノイズを含むカラー画像では、相関係数が低下する画素を含むため、近傍領域で評価した相関係数は低下する。このことから、相関係数の値が小さいほど画像信号に含まれるノイズが多いといえる。
【０１４９】
そこで、第５の実施形態では、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正する。これにより、相関が高い領域では軟判定閾値処理での幅が狭まり、原画像信号Iを保持する様に作用する一方で、相関の低い領域では軟判定閾値処理での幅が広がって、原画像信号Iを平坦化することができ、より高精度のノイズ低減処理が実現できる。
【０１５０】
図２２は第５の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１５１】
第５の実施形態では、第２の実施形態に示した成分分離後の軟判定閾値処理と、色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正を実施する。
色成分間の相関演算は原画像信号Iから分離された第２成分Vに対して行う。
【０１５２】
原画像信号Iから分離された第１成分Uは色成分分離部3006に送られ、色成分分離部3006では各色成分の信号レベルを取得する。
【０１５３】
ノイズ低減処理パラメータ設定部3004では、第２の実施形態と同様に、各色成分の信号レベルに基づき、信号レベル−ノイズ分散のモデルを参照してノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０１５４】
原画像信号Iから分離された第２成分Vは、色成分分離部3009で各色成分に分離された後、相関演算処理部3010に伝送され、
相関演算処理部3010では、後述する様に、注目画素位置を含む近傍領域での各色成分の相関係数を演算し、その最小値である最小相関係数rを出力する。
【０１５５】
パラメータ補正部3007では、最小相関係数rに基づきノイズ低減処理パラメータT1、T2の補正係数Cを演算し、これを各色成分のノイズ低減処理パラメータT1、T2に掛けて各色成分のノイズ低減処理パラメータT1、T2を補正する。
【０１５６】
ノイズ低減処理部3002では、第２成分Vの各色成分に対して、補正したノイズ低減処理パラメータT1、T2、階調変換係数を用いた軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。そして、得られた信号を補正第２成分V'として出力する。
【０１５７】
成分合成・階調変換処理部3005では、第１成分Uに対し、階調変換係数算出部6000で算出した階調変換係数を乗算した後、補正第２成分V'と所定の比率、例えば１：１の比率で合成し、原画像信号Iに対してノイズ低減、および階調変換処理がなされた合成成分I'を得る。
【０１５８】
相関演算処理とノイズ低減処理パラメータT1、T2の補正色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正の内容を、具体例を挙げて説明する。ここでは、説明を簡単にするために第２成分Vが１次元であるとして説明する。第２成分Vがテクスチャの様な細かい構造成分とノイズを含む、原画像信号Iに対する第１成分Uの残差成分であるので、第２成分Vはゼロを中心として変動する成分である。
【０１５９】
図２３、図２４は第２成分Vの画素位置と各色成分の信号レベルとの関係を示している。
【０１６０】
図２３に示す例では、色成分間に相関がなく、各画素位置の各色成分の信号レベルは、
画素位置  R   G   B  
1        -5        7        2
2         4       -2        2
3        -2        4        4
4         1       -5        5
5         6       -1        2
である。R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数  -0.75148 -0.36622 -0.19914
となり、最小相関係数rは、-0.75148となる。
【０１６１】
一方、図２４の例では、色成分間に相関があり、各画素位置の各色成分の信号レベルは、
画素位置  R   G   B  
1         1       0      -1
2         4       3       3
3         5       3       4
4        -2      -1       0
5        -1       0      -1
である。R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数  0.964023 0.911685 0.873891
となり、最小相関係数rは、0.873891となる。
【０１６２】
以上のようにして最小相関係数rを算出したら、最小相関係数rを用いてノイズ低減処理パラメータT1、T2をそれぞれ、式(23)により補正する。
【０１６３】
【数２３】
0005034003.tif 000024
ノイズ低減処理パラメータT1、T2は、式(23)によりそれぞれ補正される。c=1とすると、ノイズ低減処理パラメータT1、T2の補正係数Cは(1-r)2となり、補正係数Cは、図２３の場合で3.0677、図２４の場合で0.01590となる。
【０１６４】
したがって、図２３の様に色成分間に相関がない場合は、軟判定閾値の上限閾値と下限閾値との幅が大きくなる様に補正され、その結果、信号をより平滑化するように作用する。一方で、図２４の様に色成分間に相関がある場合は、軟判定閾値の上限閾値と下限閾値との幅が小さくなる様に補正され、より信号を保存するような僅かな補正が行われる。
【０１６５】
このように、第５の実施形態によれば、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことで、原画像信号Iに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。また、ノイズ低減後の画像信号に対し階調変換を行うことで、階調変換に伴うノイズの増幅を抑制することができる。
【０１６６】
なお、ここでは代表信号レベルからノイズの分散σを求め、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、代表信号レベルに代えて、全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１６７】
図２５は、成分分離部3001から成分合成・階調変換処理部3005までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【０１６８】
ステップＳ７１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【０１６９】
ステップＳ７２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
【０１７０】
ステップＳ７３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じて、色成分毎にノイズ低減処理パラメータT1、T2を設定する。
【０１７１】
ステップＳ７４では、第２成分Vを各色成分に分離する。
【０１７２】
ステップＳ７５では、第２成分Vの各色成分の相関を演算し、最小相関係数rを算出する。
【０１７３】
ステップＳ７６では、最小相関係数rに基づき、ステップＳ７３で得られた各色信号のノイズ低減処理パラメータT1、T2の補正係数Cを算出する。
【０１７４】
ステップＳ３２では、第１成分Uの各色信号を、輝度信号Y、色差信号Cr,Cbに変換する。
【０１７５】
ステップＳ１００では、第１成分Uの輝度信号Yから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
【０１７６】
ステップＳ７７では、ノイズ低減処理パラメータT1、T2に補正係数Cを掛けてノイズ低減処理パラメータT1、T2を補正する。そして、第２成分Vの各色成分に対して補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を行い、補正第２成分V'を得る。
【０１７７】
ステップＳ１０１では第１成分に対して階調変換係数を乗算することにより階調変換処理を行う。
【０１７８】
ステップＳ７８では、階調変換後の第１成分Uと補正第２成分V'を合成して、原画像信号Iに対して合成成分I'を得る。
【０１７９】
第５の実施形態によれば、原画像信号Iが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減、および階調変換処理を行うことができる。
【０１８０】
また、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことにより、第２成分Vに含まれる変動成分のうちノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
【０１８１】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１８２】
なお、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、第１成分Uから分離した輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１８３】
なお、ここでは第１成分Uの輝度成分Yの信号レベルに基づき階調変換係数を算出するようにしているが、第１成分Uの輝度成分Yの信号レベルに代えて、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１８４】
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
【０１８５】
＜第６の実施形態＞
図２６は第６の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１８６】
第６の実施形態では、第４の実施形態と同様に、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して成分分離、ノイズ低減処理を行う。この場合、成分分離を前提として、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で、色フィルタアレイを通して得られた信号をデモザイキングする。
【０１８７】
また、デジタル信号処理を施す前に成分分離、ノイズ低減処理を行うので、ノイズ低減処理パラメータ設定部3004は、各色成分の信号レベル−ノイズ分散のモデルとして、図２に示したモデルではなく、図２１あるいは式(12)、(13)で表されるモデルを用いてノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０１８８】
その後の軟判定閾値処理によるノイズ低減処理は他の実施形態と同様である。また、色成分間の相関によるノイズ低減処理パラメータT1、T2の補正は最小相関係数rに応じて式(23)によりノイズ低減処理パラメータT1、T2が補正される。
【０１８９】
ノイズ低減処理部3002から出力される補正第２成分V'は、成分合成・階調変換処理部3005で第１成分Uと合成され、色フィルタアレイ信号抽出部5000へ伝送される。色フィルタアレイ信号抽出部5000では、合成成分I'から色フィルタアレイの配列に対応する位置の信号を取り出し、デジタル信号処理部1005に画像信号を伝送する。
【０１９０】
この第６の実施形態によれば、原画像信号Iが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減、および階調変換処理を行うことができる。
【０１９１】
また、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことにより、第２成分Vに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
【０１９２】
また、デジタル信号処理部1005の前段において成分分離、ノイズ低減処理を行うので、成分分離部3001における骨格成分とノイズ成分の分離能力が向上する。
【０１９３】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１９４】
また、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１９５】
また、ここでは第１成分Uの輝度成分Yの信号レベルに基づき階調変換係数を算出するようにしているが、第１成分Uの輝度成分Yの信号レベルに代えて、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１９６】
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
【０１９７】
＜第７の実施形態＞
図２７は第７の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１９８】
デジタル信号処理部1005はY/C分離部を介して成分分離部3001に接続されている。成分分離部3001は階調変換係数算出部6000、ノイズ低減処理パラメータ設定部6001、成分合成・階調変換処理部6002、ノイズ低減処理部3002に接続されている。階調変換係数算出部6000は成分合成・階調変換処理部6002、ノイズ低減処理部3002に接続されている。ノイズ低減処理パラメータ設定部6001はノイズ低減処理部3002に接続されている。ノイズ低減処理部3002は成分合成・階調変換処理部6002へ接続されている。成分合成・階調変換処理部6002はY/C合成部6003へ接続されている。Y/C合成部6003は表示部2001、圧縮回路2002へ接続されている。
【０１９９】
次に、図２７の撮像装置における信号の流れについて説明する。
【０２００】
デジタル信号処理部1005により生成した画像データはY/C分離部3018へ伝送され、所定の色空間の信号へ変換される。本実施形態においては、色空間としてYCbCr色空間を想定しており、RGB信号からYCbCr色空間への変換は、式(22)に基づいて行われる。分離後の輝度信号、色差信号を、それぞれYorg、Cborg、Crorgとする。
【０２０１】
Y/C分離部3018からの輝度信号Yorg、色差信号Cborg、Crorgを含む画像信号Iorgは、成分分離部3001へ伝送される。
【０２０２】
成分分離部3001では、画像信号Iorgに含まれる各信号のそれぞれに対し、第１成分Uと第２成分Vに分離する。分離後の輝度信号の第１成分U_Yorgを、階調変換係数算出部6000、ノイズ低減処理パラメータ設定部6001に伝送する。また、輝度信号、色差信号の第１成分、U_Yorg、U_Cborg、U_Crorgを、成分合成・階調変換処理部6002に伝送し、輝度信号、色差信号の第２成分、V#Yorg、V_Cborg、V_Crorgを、ノイズ低減処理部3002へ伝送する。
【０２０３】
階調変換係数算出部6000は輝度信号の第１成分U_Yorgから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出し、これを成分合成・階調変換処理部6002、ノイズ低減処理部3002へ伝送する。
【０２０４】
ノイズ低減処理パラメータ設定部6001では、図２８に示すような、信号レベル−ノイズ分散のモデルまたはその近似データを参照して輝度信号Yの信号レベルに応じた輝度信号Yおよび色差信号Cb,Crの第２成分に対するノイズの分散σを取得する。
【０２０５】
そして、各信号のそれぞれに対応するノイズ低減処理パラメータT1、T2を設定し、ノイズ低減処理部3002へ伝送する。ノイズ低減処理パラメータT1、T2は、対応する信号（輝度信号Yまたは色差信号Cb,Cr）のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０２０６】
ノイズ低減処理部3002では、第２成分V_Yorg、V_Cborg、V_Crorgに対して、信号毎のノイズ低減処理パラメータT1、T2、および階調変換係数を用いた軟判定閾値処理（コアリング処理）を行う。この処理により第２成分V_Yorg、V_Cborg、V_Crorgに含まれるノイズを効果的に低減することができる。そして、得られた値を輝度信号、色差信号の補正第２成分V'_Yorg、V'_Cborg、V'_Crorgとして成分合成・階調変換処理部6002に伝送する。成分合成・階調変換処理部6002では、第１成分U_Yorgに対し階調変換係数算出部6000で算出した階調変換係数を乗算する。また、色差信号の第１成分V_Cborg、V_Crorgに対し、階調変換係数に基づく所定の係数を乗算することで彩度の調整を行う構成とすることも可能である。階調変換後の第１成分U'_Yorg、およびU_Cborg、U_Crorgと、補正第２成分V'_Yorg、V'_Cborg、V'_Crorgとを、所定の比率、例えば1:1の比率で合成し、原画像信号Iに対してノイズが低減された輝度信号、色差信号の各合成成分Ytra、Cbtra、Crtraを得る。成分合成・階調変換処理部6002は変換後の合成成分Ytra、Cbtra、CrtraをY/C合成部6003へ伝送する。Y/C合成部6003は、合成成分Ytra、Cbtra、Crtraに基づいて、RGB信号を式(24)に従い算出した後、表示部2001、圧縮回路2002へ伝送する。
【０２０７】
【数２４】
0005034003.tif 000025
図２９はY/C分離部3018からY/C合成部6003までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【０２０８】
ステップＳ３２では、原画像信号Iを輝度信号Y、色差信号Cb、Crに分離する。
【０２０９】
ステップＳ３１では、輝度信号Y、色差信号Cb、Crのそれぞれの信号を、第１成分Uと第２成分Vに分離する。
【０２１０】
ステップＳ１１０では、第１成分Uの輝度成分Yの信号レベルに応じ、図２８に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じて、輝度信号Y、色差信号Cb、Crの第２成分Vに対するノイズ低減処理パラメータT1、T2をそれぞれ設定する。
【０２１１】
ステップＳ１００では、輝度信号Yの第１成分Uから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
【０２１２】
ステップＳ３５では、輝度信号Y、色差信号Cb、Crのそれぞれの第２成分Vに対して、ステップＳ１１０で設定したノイズ低減処理パラメータT1、T2、およびステップＳ１００で算出した階調変換係数を用いた軟判定閾値処理を各信号に対して独立に行い、輝度信号Y、色差信号Cb、Crのそれぞれについて補正第２成分V'を得る。
【０２１３】
ステップＳ１１１では輝度信号Yの第１成分に対して階調変換係数を乗算することにより階調変換処理を行う。
【０２１４】
ステップＳ３６では、階調変換処理後の第１成分Uと補正第２成分V'とを合成し、階調変換処理、およびノイズ低減処理がなされた輝度信号Y、色差信号Cb、Crのそれぞれについて合成成分を得る。
【０２１５】
ステップＳ１１２では、輝度信号Y、色差信号Cb、Crそれぞれの合成成分から、式(24)に基づき、RGB信号を生成する。
【０２１６】
この第７の実施形態によれば、輝度信号のみを色差信号とは独立に操作することで、色の色相や彩度等、色の表現に不自然さを生じさせないような絵作り処理、補正処理を行うことができる。また、クラスタ上に形成された色ノイズ等、エッジ構造との識別が困難な場合に誤って第１成分Uへ分離された色ノイズに対して、輝度信号のみを操作することで、階調変換処理の影響による色ノイズの増幅を抑制することが可能となり、高品質なノイズ低減処理が可能となる。
【０２１７】
なお、ここでは色空間としてYCbCr色空間を用いたが、これに限定されるものでもなく、CIE Lab色空間や、HSL色空間等、輝度信号を定義することができるその他の任意の色空間を用いることが可能である。
【０２１８】
例えば、CIE Lab色空間を用いる場合は、輝度信号は明度指数Lで定義され、HSL色空間を用いる場合は、輝度信号は輝度Lを用いて定義される。
【０２１９】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０２２０】
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
【０２２１】
＜第８の実施形態＞
図３０は第８の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０２２２】
デジタル信号処理部1005は色変換部6004を介して成分分離部3001に接続されている。成分分離部3001は階調変換係数算出部6000、ノイズ低減処理パラメータ設定部6005、成分合成・階調変換処理部6002、ノイズ低減処理部3002に接続されている。階調変換係数算出部6000は成分合成・階調変換処理部6002、ノイズ低減処理部3002に接続されている。ノイズ低減処理パラメータ設定部6005はノイズ低減処理部3002に接続されている。ノイズ低減処理部3002は成分合成・階調変換処理部6002へ接続されている。成分合成・階調変換処理部6002は最大彩度算出部6006、彩度補正部6007、色逆変換部6008へ接続されている。最大彩度算出部6006は彩度補正部6007へ接続されている。彩度補正部6008は色逆変換部へ接続されている。色逆変換部6008は表示部2001、圧縮回路2002へ接続されている。
【０２２３】
次に、図３０に示したような撮像装置における信号の流れについて説明する。
【０２２４】
デジタル信号処理部1005により生成した画像データは色変換部6004へ伝送され、所定の色空間の信号へ変換される。本実施形態においては、色空間としてYCbCr色空間を想定しており、RGB信号からYCbCr色空間への変換は、式(22)に基づいて行われる。さらに、色変換部6004は、YCbCr色空間における輝度信号V'、色相信号H、彩度信号Cを、次の式(25)に基づいてそれぞれ算出する。
【０２２５】
【数２５】
0005034003.tif 000026
ここに、記号「＾」はべき乗を示し、tan＾(-1)はtanの逆関数を示している。
【０２２６】
この式(25)に示すように、輝度信号V'はYCbCr色空間のYと等価であるために、以下では輝度信号をYにより示すことにする。色変換部6004により変換された輝度信号、色相信号、彩度信号を、それぞれYorg、Horg、Corgとする。
【０２２７】
色変換部6004からの輝度信号Yorg、色相信号Horg、彩度信号Corgを含む画像信号Iorgは、成分分離部3001へ伝送される。成分分離部3001では、画像信号Iorgに含まれる各信号に対し、それぞれ第１成分Uと第２成分Vに分離する。分離処理の後、輝度信号の第１成分U#Yorgを、階調変換係数算出部6000、ノイズ低減処理パラメータ設定部6005に伝送する。また、輝度信号、色相信号、彩度信号の第１成分、U_Yorg、U_Horg、U_Corgを、成分合成・階調変換処理部6002へ伝送し、輝度信号、色相信号、彩度信号の第２成分、V_Yorg、V_Horg、V_Corgを、ノイズ低減処理部3002へ伝送する。
【０２２８】
階調変換係数算出部6000は輝度信号の第１成分U_Yorgから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出し、これを成分合成・階調変換処理部6002、ノイズ低減処理部3002へ伝送する。
【０２２９】
ノイズ低減処理パラメータ設定部6005では、図３１に示すような、信号レベル−ノイズ分散のモデルまたはその近似データを参照して輝度信号Yの信号レベルに応じた輝度信号、色相信号、彩度信号の第２成分に対するノイズの分散σを取得する。そして、各信号のそれぞれに対応するノイズ低減処理パラメータT1、T2を設定し、ノイズ低減処理部3002へ伝送する。ノイズ低減処理パラメータT1、T2は、各信号に対応するノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０２３０】
ノイズ低減処理部3002では、第２成分V_Yorg、V_Horg、V_Corgに対して、信号毎のノイズ低減処理パラメータT1、T2、および階調変換係数を用いた軟判定閾値処理（コアリング処理）を行う。この処理により第２成分V_Yorg、V_Horg、V_Corgに含まれるノイズを効果的に低減することができる。そして、得られた値を輝度信号、色相信号、彩度信号の補正第２成分V'_Yorg、V'_Horg、V'_Corgとして成分合成・階調変換処理部6002に伝送する。
【０２３１】
成分合成・階調変換処理部6002では、第１成分U#Yorgに対し階調変換係数算出部6000で算出した階調変換係数を乗算する。また、彩度信号の第１成分U_Corgに対し、階調変換係数で重み付けした所定の係数を乗算することで彩度の調整を行うことも可能である。階調変換後の第１成分U'_Yorg、およびU_Horg、U_Corgと、補正第２成分V'_Yorg、V'_Horg、V'_Corgとを、所定の比率、例えば1:1の比率で合成し、原画像信号Iに対してノイズが低減された輝度信号、色相信号、彩度信号の各合成成分Ytra、Htra、Ctraを得る。成分合成・階調変換処理部6002は輝度信号、色相信号の各合成成分Ytra、Htraを色逆変換部6008、最大彩度算出部6006へ伝送し、彩度信号Ctraを彩度補正部6007へ伝送する。さらに、成分合成・階調変換処理部6002では階調変換前の輝度信号YorgがV_Yorg、U_Yorgの加算により算出され、算出された輝度信号Yorgは最大彩度算出部6006へ伝送される。
【０２３２】
最大彩度算出部6006では、輝度信号Yorgと色相信号Htraに対する彩度信号の第１の最大彩度値maxCorgと、輝度信号Ytraと色相信号Htraに対する彩度信号の第２の最大彩度値maxCtraを算出する。算出方法の詳細は後述する。最大彩度算出部6006により算出された第１の最大彩度値maxCorgおよび第２の最大彩度値maxCtraは、彩度補正部6007へ伝送される。彩度補正部6007は、第１の最大彩度値maxCorgと第２の最大彩度値maxCtraとを用いて、彩度信号Ctraへの補正係数Kcを、式(26)に示すように算出する。
【０２３３】
【数２６】
0005034003.tif 000027
彩度補正部6007は、このように算出した補正係数Kcを成分合成・階調変換処理部6002から伝送された彩度信号Ctraに乗算することにより、補正された彩度信号Ctra'を算出する。この補正された彩度信号Ctra'は、さらに前記第２の最大彩度値maxCtraを逸脱しないように上限が課せられた後に、色逆変換部6008へ伝送される。色逆変換部6008は、成分合成・階調変換処理部6002からのYtra、Htra、および彩度補正部6007からのCtra'に基づいて、YCbCr信号を式(27)に示すように算出する。
【０２３４】
【数２７】
0005034003.tif 000028
色逆変換部6008は、さらに式(24)を用いて、YCbCr信号をRGB信号に変換した後、表示部2001、圧縮回路2002へ伝送する。
【０２３５】
次に、図３４を参照して、YCbCr色空間の外観形状と、式(26)に示した補正係数Kcについて説明する。
【０２３６】
YCbCr色空間における輝度および色相が定まる（図示の例では、入力信号の輝度信号Yorgおよび色相信号Horgとして与えられ、このときの該入力信号の彩度信号はCorgとなっている。）と、該輝度信号Yorg、および色相信号Horgの範囲内で取り得る最大彩度値maxCorgが定まる。この最大彩度値maxCorgは、（Y, H, C）=（Yorg, 0, 0）の第１の点と、（Y, H, C）=（Yorg, Horg, Corg ）の第２の点とを結んで得られる線分を、該第２の点の方向へ延長して得られる半直線と、YCbCr色空間の輪郭外形と、が交わる点のCの値となる。色相が一定で輝度信号のみがYorgからYtraへ変換された場合の彩度信号Ctraは、最大彩度値に対する比率が一定となるように補正されると、自然な色再現が得られる。すなわち、輝度信号Ytra、色相信号Horgが与えられると、上述したように、このときの最大彩度値maxCtraが定まる。従って、自然な色再現を得るための彩度信号Ctra は、次式(28)の関係を満たすようにすると良い。
【０２３７】
【数２８】
0005034003.tif 000029
すなわち、
【０２３８】
【数２９】
0005034003.tif 000030
こうして、式(29)に示すように、補正係数Kcを彩度信号Corgへ乗算することにより、輝度信号の変更に伴う補正を行うことができる。
【０２３９】
続いて、図３２を参照して、前記最大彩度算出部6006のより詳細な構成の一例について説明する。
【０２４０】
この最大彩度算出部6006は、成分合成・階調変換処理部6002からの色相信号Htraに隣接する２個の色相を後述する関数記録用ROM3112から探索する探索手段たる隣接色相面探索部3110と、この隣接色相面探索部3110からの２個の色相に対応する関数のパラメータ等を後述する関数記録用ROM3112から読み出す抽出手段たる関数抽出部3111と、YCbCr空間内における複数の色相面の最大彩度値をモデル化する関数のパラメータが予め記憶されている記録手段たる前記関数記録用ROM3112と、前記成分合成・階調変換処理部6002からの輝度信号Yorg, Ytra と前記関数抽出部3111からのパラメータとに基づいて前記２個の色相に関する最大彩度値を算出する算出手段たる彩度算出部3113と、前記彩度算出部3113により算出された２個の色相に関する最大彩度値を用いて成分合成・階調変換処理部6002からの色相信号Horgに対する最大彩度値を補間して求め、彩度補正部6007へ伝送する補間手段たる彩度補間部3114と、を有して構成されている。
【０２４１】
ここで、図３５を参照して、前記関数記録用ROM3112に記録されているYCbCr色空間の最大彩度値maxCに関する関数情報について説明する。
【０２４２】
図３５(B)から図３５(F)は、YCbCr色空間における赤(R)、マゼンタ(Ma)、青(B)、シアン(Cy)、緑(G) 、黄(Ye)の各色相面における彩度信号Cと輝度信号Yの断面をそれぞれ示す図、図３５(G)はCｂ Cｒ 平面上における各色相面の配置を示す図、図３５(H)は補間による最大彩度値maxCの算出を説明するための図である。
【０２４３】
図３５(A)は前記各色相面における最大彩度値を説明するための図であり、各色相面における最大の彩度値に対応する輝度Ti（ i = R、Ma、B、Cy、G、Ye ）（図中の添え字部分等において、MaをM、CyをC、YeをYなどと適宜省略している。）を閾値として、最大彩度値maxCiを、輝度Yが輝度Ti以上となる部分について高輝度用関数でモデル化するとともに、輝度Yが輝度Ti以下となる部分について低輝度用関数でモデル化している。なお、高輝度用関数と低輝度用関数とは、輝度Tiにおいて同一の最大彩度値maxCiを取るようになっている。このとき、該最大彩度値maxCに対する関数として、YCbCr色空間では次の式(30)に示すような１次関数を用いる。
【０２４４】
【数３０】
0005034003.tif 000031
前記関数記録用ROM3112には、色相Hiと、閾値である輝度Tiと、高輝度用関数のパラメータαhi、βhiと、低輝度用関数のパラメータαli、βliと、がそれぞれ予め記憶されている。
【０２４５】
次に、前記図３２に示したような最大彩度算出部6006の作用について説明する。
【０２４６】
前記隣接色相面探索部3110は、前記関数記録用ROM3112に記録されている色相信号Hiを読み出して、読み出した色相信号Hiを成分合成・階調変換処理部6002からの色相信号Horgと比較する。そして、該隣接色相面探索部3110は、図３５(H)に示すように、該色相信号Horgを挟み込むように隣接する最近傍の２個の色相信号Hj, Hk (j,k = R, Ma, B, Cy, G, Ye j ≠ k)を探索して、これら２個の色相を関数抽出部3111へ伝送する。関数抽出部3111は、関数記録用ROM3112から前記２個の色相に対応する輝度Tj, Tkと、高輝度用関数のパラメータαhj、βhj、αhk、βhkと、低輝度用関数のパラメータαlj、βlj、αlk、βlkと、を抽出して、前記彩度算出部3113へ伝送する。彩度算出部3113は、関数抽出部3111からの前記パラメータ等と、前記色変換部6004からの輝度信号Yorgまたは前記成分合成・階調変換処理部6002からの輝度信号Ytraに基づいて、２個の色相信号Hj, Hkに関する最大彩度値maxCorg_j、maxCorg_k、またはmaxCtra_j、maxCtra_kを算出する。以降の処理は、輝度信号Yorgと、Ytraとの何れに対しても共通であるために、２個の最大彩度値をmaxCj、maｘCkとして示すこととする。この彩度算出部3113により算出された最大彩度値maxCj, maxCkは、彩度補間部3114へ伝送される。彩度補間部3114は、前記最大彩度値maxCj, maxCkを用いて、成分合成・階調変換処理部6002からの色相信号Horgに対する最大彩度値maxCを、式(31)に従って、図３５(H)に示すように、補間により算出する。
【０２４７】
【数３１】
0005034003.tif 000032
なお、色相は、Hj＞Horg＞Hk の関係にあるものとする。
【０２４８】
式(31)による最大彩度値の算出は、成分合成・階調変換処理部6002からの輝度信号Yorg、おびび Ytraに対して行われるために、合計２回行われることになり、これによって第１の最大彩度値maxCorgと第２の最大彩度値maxCtraとが算出される。こうして算出された第１の最大彩度値maxCorgと第２の最大彩度値maxCtraは、該彩度補間部3114から前記彩度補正部6007へ伝送される。
【０２４９】
次に、図３３を参照して、前記彩度補正部6007のより詳細な構成の一例について説明する。前記彩度補正部6007は、前記最大彩度算出部6006から伝送された第１の最大彩度値maxCorgと第２の最大彩度値maxCtraとに基づき式(26)に示したように補正係数Kcを算出する比率算出手段たる比率算出部3120と、この比率算出部3120により算出された補正係数Kcを前記成分合成・階調変換処理部6002からの彩度信号Ctraに乗算することにより補正された彩度信号Ctra'を算出する乗算手段たる乗算部3121と、この乗算部3121により算出された彩度信号Ctra'が前記最大彩度算出部6006により算出された第２の最大彩度値maxCtraを越えることのないように制限してこの制限された彩度信号Ctra'を前記色逆変換部6008へ伝送する制限手段、置換手段、非線形圧縮手段を兼ねた制限部3122と、を有して構成されている。
【０２５０】
ここに、前記制限部3122は、前記乗算部3121により補正係数Kcを乗算された彩度信号Ctra'が前記第２の最大彩度値maxCtraを逸脱した場合に、該彩度信号Ctra'を前記第２の最大彩度値maxCtraに置き換える置換手段を有して構成されている。
【０２５１】
なお、前記制限部3122は、前記乗算部3121により補正係数Kcを乗算された彩度信号Ctra'が前記第２の最大彩度値maxCtra未満の所定の閾値を超えた場合に、該彩度信号Ctra'を前記第２の最大彩度値maxCtraと前記閾値との間の値に変換する非線形圧縮手段を有して構成されていても良い。
【０２５２】
図３６は色変換部6004から色逆変換部6008までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【０２５３】
ステップＳ２００では、原画像信号Iを輝度信号V'(以下、Y)、色相信号H、彩度信号Cに分離する。
【０２５４】
ステップＳ３１では、輝度信号Y、色相信号H、彩度信号Cのそれぞれの信号を第１成分Uと第２成分Vに分離する。
【０２５５】
ステップＳ２０１では、第１成分Uの輝度成分Yの信号レベルに応じ、図３１に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じて輝度信号Y、色相信号H、彩度信号Cの第２成分Vに対するノイズ低減処理パラメータT1、T2をそれぞれ設定する。
【０２５６】
ステップＳ１００では、輝度信号Yの第１成分Uから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、階調変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
【０２５７】
ステップＳ３５では、輝度信号Y、色相信号H、彩度信号Cのそれぞれの第２成分Vに対して、ステップＳ２０１で設定したノイズ低減処理パラメータT1、T2、およびステップＳ１００で算出した階調変換係数を用いた軟判定閾値処理を各信号に対して独立に行い、輝度信号Y、色相信号H、彩度信号Cのそれぞれについて補正第２成分V'を得る。
【０２５８】
ステップＳ１１１では輝度信号Yの第１成分に対して階調変換係数を乗算することにより階調変換処理を行う。
【０２５９】
ステップＳ３６では、階調変換処理後の第１成分Uと補正第２成分V'とを合成し、階調変換処理、およびノイズ低減処理がなされた輝度信号Y、色相信号H、彩度信号Cのそれぞれについて合成成分を得る。
【０２６０】
ステップＳ２０２では、階調変換前後の輝度信号Yと、色相信号Cに基づき、最大彩度値を算出する。
【０２６１】
ステップＳ２０３では、Ｓ２０２で算出した最大彩度値に基づき、彩度信号Cを補正する。
【０２６２】
ステップＳ２０４では、輝度信号Y、色相信号H、彩度信号Cのそれぞれの合成成分から、式(24)に基づき、RGB信号を生成する。
【０２６３】
この第８の実施形態によれば、輝度信号のみを彩度信号等とは独立に操作することで、色信号に不自然さを生じさせないような絵作り処理、補正処理を行うことができる。また、クラスタ上に形成された色ノイズ等、エッジ構造との識別が困難な場合に誤って第１成分Uへ分離された色ノイズに対して、輝度信号のみを操作することで、階調変換処理の影響による色ノイズの増幅を抑制することが可能となり、高品質なノイズ低減処理が可能となる。
【０２６４】
なお、前記関数記録用ROM3112に記録される最大彩度値の関数として１次関数を用いたが、これに限定されるものではなく、必要となる精度に応じて、多項式関数、べき乗関数、スプライン関数などの任意の関数を使用することも可能である。
このとき、関数化する色相面として、赤(R)、マゼンタ(Ma)、青(B)、シアン(Cy)、緑(G)、黄(Ye)の６つの色相面を使用したが、これに限るものでないのは勿論である。例えば、低コスト化を優先するために、赤(R) 、青(B) 、緑(G)の３つの色相面を使用することも可能であるし、あるいは高精度化を優先させるために、前記６つ色相面の中間の色相面を加えた１ ２ の色相面を使用することも可能であるし、用途や目的などに応じて任意の構成をとることができる。
【０２６５】
また、色空間の変換において関数を用いる代わりに、テーブルを用いる構成とすることも可能である。
【０２６６】
また、ここでは色空間としてYCbCr色空間を用いたが、これに限定されるものでもなく、CIE Lab色空間や、HSL色空間等、輝度信号、彩度信号、色相信号を定義することができるその他の任意の色空間を用いることが可能である。
【０２６７】
例えば、CIE Lab色空間を用いる場合は、式(32)に従って、輝度信号Vは明度指数Lで定義され、色相信号H、彩度信号Cを知覚色度a,bを用いて定義される。
【０２６８】
【数３２】
0005034003.tif 000033
ここで、記号「＾」はべき乗を示し、tan＾(-1)はtanの逆関数を示している。
【０２６９】
HSL色空間を用いる場合は、輝度信号Vは輝度L、色相信号Hは色相H、彩度信号Cは彩度Sを用いて定義される。
【０２７０】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０２７１】
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
【０２７２】
＜第９の実施形態＞
図３７は第９の実施形態に係る撮像装置のシステム構成図である。
【０２７３】
先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０２７４】
第９の実施形態では、第５の実施形態に示した色成分間の相関に応じたノイズ低減処理パラメータT1,T2の補正、および軟判定閾値処理を兼備するが、第５の実施形態とは異なり、第１成分Uの輝度信号Yに対して階調変換を行う。
【０２７５】
Y/C分離部3018は階調変換係数算出部6000、階調変換部6009、Y/C合成部6003へ接続されている。階調変換部6009はY/C合成部6003へ接続されている。Y/C合成部6003は成分合成部6010へ接続されている。成分合成部6010は表示部2001、圧縮回路2002へ接続されている。
【０２７６】
次に、図３７に示したような撮像装置における信号の流れについて説明する。
【０２７７】
成分分離部3001により原画像信号Iから分離された第１成分UはY/C分離部3018、色成分分離部3006に伝送される。
【０２７８】
Y/C分離部3018では伝送された信号を、所定の色空間の信号へ変換する。本実施形態においては、色空間としてYCbCr色空間を想定しており、RGB信号からYCbCr色空間への変換は、式(22)に基づいて行われる。
【０２７９】
Y/C分離部3018から出力される輝度信号をU_Yorg、色差信号をU_Cborg、U_Crorgとして示す。
【０２８０】
輝度信号U_Yorgは階調変換係数算出部6000、階調変換部6009へ伝送され、色差信号U_Cborg、U_CrorgはY/C合成部6003へ伝送される。
【０２８１】
階調変換係数算出部6000は輝度信号U_Yorgから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出し、これを階調変換部6009、ノイズ低減処理部3002へ転送する。
【０２８２】
階調変換部6009では、第１成分の輝度信号U_Yorgに対し、階調変換係数算出部6000で算出した階調変換係数を乗算することで、階調変換処理を行う。階調変換処理後の輝度信号U#YorgはY/C合成部6003へ伝送される。
【０２８３】
Y/C合成部6003は、階調変換部からの輝度信号U_Yorgと、Y/C分離部からの色差信号U_Cborg、U_Crorgに基づいて、RGB信号を式(24)に示すように算出した後、成分合成部6010へ伝送する。
【０２８４】
色成分分離部3006では各色成分の信号レベルを取得する。ノイズ低減処理パラメータ設定部3004では、各色成分の信号レベルに基づき、信号レベル−ノイズ分散のモデルを参照してノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０２８５】
原画像信号Iから分離された第２成分Vは、色成分分離部3009で各色成分に分離された後、相関演算処理部3010に伝送され、相関演算処理部3010では、第２成分Vに対して第５の実施形態と同様に各色信号の相関演算処理を行い、最小相関係数rを算出する。
【０２８６】
パラメータ補正部3007では、最小相関係数rに基づきノイズ低減処理パラメータT1、T2の補正係数Cを演算し、これを各色成分のノイズ低減処理パラメータT1、T2に掛けて各色成分のノイズ低減処理パラメータT1、T2を補正する。
【０２８７】
ノイズ低減処理部3002では、色成分分離部3009から伝送された第２成分Vの各色成分に対して、補正したノイズ低減処理パラメータT1、T2、階調変換係数を用いた軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。そして、得られた信号を補正第２成分V'として成分合成部6010へ出力する。
【０２８８】
成分合成部6010では、階調変換された第１成分Uと、補正第２成分V'とを所定の比率、例えば１：１の比率で合成し、原画像信号Iに対してノイズ低減、および階調変換処理がなされた合成成分I'を得る。
【０２８９】
図３８は、成分分離部3001から成分合成部6010までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【０２９０】
ステップＳ７１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【０２９１】
ステップＳ７２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
【０２９２】
ステップＳ７３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じて、色成分毎にノイズ低減処理パラメータT1、T2を設定する。
【０２９３】
ステップＳ７４では、第２成分Vを各色成分に分離する。
【０２９４】
ステップＳ７５では、第２成分Vの各色成分の相関を演算し、最小相関係数rを算出する。
【０２９５】
ステップＳ７６では、最小相関係数rに基づき、ステップＳ７３で得られた各色信号のノイズ低減処理パラメータT1、T2の補正係数Cを算出する。
【０２９６】
ステップＳ３２では、第１成分Uを輝度信号U_Yorg、色差信号U_Cborg、U_Crorgに分離する。
【０２９７】
ステップＳ１００では、第１成分Uの輝度信号U_Yorgから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
【０２９８】
ステップＳ７７では、ノイズ低減処理パラメータT1、T2に補正係数Cを掛けてノイズ低減処理パラメータT1、T2を補正する。そして、第２成分Vの各色成分に対して補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を行い、補正第２成分V'を得る。
【０２９９】
ステップＳ１１１では第１成分Uの輝度信号U_Yorgに対して階調変換係数を乗算することにより階調変換処理を行う。
【０３００】
ステップＳ１１２では、第１成分Uの階調変換後の輝度信号U_Yorg、色差信号U_Cborg、U#Crorgから、式(24)に基づき、第１成分UのRGB信号を生成する。
【０３０１】
ステップＳ７８では、階調変換後の第１成分Uと補正第２成分V'を合成して、原画像信号Iに対して合成成分I'を得る。
【０３０２】
この第９の実施形態によれば、第１成分Uの輝度信号のみを彩度信号等とは独立に操作することで、色信号に不自然さを生じさせないような絵作り処理、補正処理を行うことができる。また、クラスタ上に形成された色ノイズ等、エッジ構造との識別が困難な場合に誤って第１成分Uへ分離された色ノイズに対して、輝度信号のみを操作することで、階調変換処理の影響による色ノイズの増幅を抑制することが可能となり、高品質なノイズ低減処理が可能となる。
【０３０３】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０３０４】
なお、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、第１成分Uから分離した輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０３０５】
なお、ここでは第１成分Uの輝度成分Yの信号レベルに基づき階調変換係数を算出するようにしているが、第１成分Uの輝度成分Yの信号レベルに代えて、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０３０６】
なお、ここでは色空間としてYCbCr色空間を用いたが、これに限定されるものでもなく、CIE Lab色空間や、HSL色空間等、輝度信号を定義することができるその他の任意の色空間を用いることが可能である。
【０３０７】
例えば、CIE Lab色空間を用いる場合は、輝度信号は明度指数Lで定義され、HSL色空間を用いる場合は、輝度信号は輝度Lを用いて定義される。
【０３０８】
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
【０３０９】
＜第１０の実施形態＞
図３９は第１０の実施形態に係る撮像装置のシステム構成図である。
【０３１０】
先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０３１１】
第１０の実施形態では、第５の実施形態に示した色成分間の相関に応じたノイズ低減処理パラメータT1,T2の補正、および軟判定閾値処理を兼備するが、第５の実施形態とは異なり、第１成分Uの輝度成分Yに対して階調変換を行う。
【０３１２】
成分分離部3001は色変換部6004、色成分分離部3006、色成分分離部3009に接続されている。色変換部6004は階調変換係数算出部6000、階調変換部6009、最大彩度算出部6006、彩度補正部6007、色逆変換部6008に接続されている。階調変換部6009は最大彩度算出部6006、色逆変換部6008に接続されている。最大彩度算出部6006は彩度補正部6007に接続されている。彩度補正部6007は色逆変換部6008に接続されている。色逆変換部6008、ノイズ低減処理部3002は成分合成部6010へ接続されている。成分合成部6010は表示部2001、圧縮回路2002へ接続されている。
【０３１３】
次に、図３９に示したような撮像装置における信号の流れについて説明する。
【０３１４】
成分分離部3001において原画像信号Iから分離された第１成分Uは色変換部6004、色成分分離部3006、色成分分離部3009に伝送される。
【０３１５】
色変換部6004では、所定の色空間の信号へ変換される。
【０３１６】
本実施形態においては、色空間としてYCbCr色空間を想定しており、RGB信号からYCbCr色空間への変換は、式(22)に基づいて行われる。さらに、色変換部6004は、YCbCr色空間における輝度信号V、色相信号H、彩度信号Cを、式(25)に基づいてそれぞれ算出する。式(25)における記号「＾」はべき乗を示し、tan＾(-1)はtanの逆関数を示している。
【０３１７】
式(25)に示すように、輝度信号VはYCbCr色空間のYと等価であるために、以下では輝度信号をYにより示すことにする。分離後の輝度信号、色相信号、彩度信号を、それぞれU_Yorg、U_Horg、U_Corgとして示す。
【０３１８】
輝度信号U_Yorgは階調変換係数算出部6000、階調変換部6009、色逆変換部6008へ伝送され、色相信号U_Horgは最大彩度算出部6006、色逆変換部6008へ伝送され、彩度信号U_Corgは最大彩度算出部6006、彩度補正部6007へ伝送される。
【０３１９】
階調変換係数算出部6000は輝度信号の第１成分U_Yorgから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出し、これを階調変換部6009、ノイズ低減処理部3002へ伝送する。
【０３２０】
階調変換部6009では、第１成分の輝度信号U_Yorgに対し、階調変換係数算出部6000で算出した階調変換係数を乗算することで、階調変換処理を行う。階調変換処理後の輝度信号U#Ytraは最大彩度算出部6006、色逆変換部6008へ伝送される。
【０３２１】
最大彩度算出部6006では、第１成分の輝度信号U_Yorgと色相信号U_Horgに対する彩度信号の第１の最大彩度値maxCorgと、階調変換後の輝度信号U#Ytraと色相信号U_Horgに対する彩度信号の第２の最大彩度値maxCtraを算出する。
【０３２２】
最大彩度算出部6006により算出された第１の最大彩度値maxCorgおよび第２の最大彩度値maxCtraは、彩度補正部6007へ伝送される。彩度補正部6007は、第１の最大彩度値maxCorgと第２の最大彩度値maxCtraとを用いて、彩度信号U_Corgへの補正係数Kcを、式(26)に示すように算出する。
【０３２３】
彩度補正部6007は、このように算出した補正係数Kcを色変換部6004から伝送された彩度信号U_Corgに乗算することにより、補正された彩度信号U_Ctraを算出する。この補正された彩度信号U_Ctraは、さらに前記第２の最大彩度値maxCtraを逸脱しないように上限が課せられた後に、色逆変換部6008へ伝送される。
【０３２４】
色逆変換部6008は、色変換部6004からのU_Horg、階調変換部6009からのU_Ytra、および彩度補正部6007からのU_Ctraに基づいて、YCbCr信号を式(27)に基づき算出する。
【０３２５】
色逆変換部6008は、さらに、式(24)を用いて、YCbCr信号をRGB信号に変換した後、RGB信号を成分合成部6010へ伝送する。
【０３２６】
色成分分離部3006では各色成分の信号レベルを取得する。ノイズ低減処理パラメータ設定部3004では、第５の実施形態と同様に、各色成分の信号レベルに基づき、信号レベル−ノイズ分散のモデルを参照してノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０３２７】
原画像信号Iから分離された第２成分Vは、色成分分離部3009で各色成分に分離された後、相関演算処理部3010に伝送され、相関演算処理部3010では、第２成分Vに対して第５の実施形態と同様に各色信号の相関演算処理を行い、最小相関係数rを算出する。
【０３２８】
パラメータ補正部3007では、最小相関係数rに基づきノイズ低減処理パラメータT1、T2の補正係数Cを演算し、これを各色成分のノイズ低減処理パラメータT1、T2に掛けて各色成分のノイズ低減処理パラメータT1、T2を補正する。
【０３２９】
ノイズ低減処理部3002では、色成分分離部3009からの第２成分Vの各色成分に対して、補正したノイズ低減処理パラメータT1、T2、階調変換係数を用いた軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。そして、得られた信号を補正第２成分V'として成分合成部6010へ出力する。
【０３３０】
成分合成部6010では、階調変換された第１成分Uと、補正第２成分V'とを所定の比率、例えば１：１の比率で合成し、原画像信号Iに対してノイズ低減、および階調変換処理がなされた合成成分I'を得る。
【０３３１】
図４０は、成分分離部3001から成分合成部6010までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【０３３２】
ステップＳ７１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【０３３３】
ステップＳ７２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
【０３３４】
ステップＳ７３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じて、色成分毎にノイズ低減処理パラメータT1、T2を設定する。
【０３３５】
ステップＳ７４では、第２成分Vを各色成分に分離する。
【０３３６】
ステップＳ７５では、第２成分Vの各色成分の相関を演算し、最小相関係数rを算出する。
【０３３７】
ステップＳ７６では、最小相関係数rに基づき、ステップＳ７３で得られた各色信号のノイズ低減処理パラメータT1、T2の補正係数Cを算出する。
【０３３８】
ステップＳ２００では、第１成分Uを輝度信号U_Yorg、色相信号U_Horg、彩度信号U_Corgに分離する。
【０３３９】
ステップＳ１００では、第１成分Uの輝度信号U_Yorgから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
【０３４０】
ステップＳ７７では、ノイズ低減処理パラメータT1、T2に補正係数Cを掛けてノイズ低減処理パラメータT1、T2を補正する。そして、第２成分Vの各色成分に対して補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を行い、補正第２成分V'を得る。
【０３４１】
ステップＳ１１１では第１成分Uの輝度信号U_Yorgに対して階調変換係数を乗算することにより階調変換処理を行う。
【０３４２】
ステップＳ２０２では、階調変換前後の輝度信号Yと、色相信号Cに基づき、最大彩度値を算出する。
【０３４３】
ステップＳ２０３では、Ｓ２０２で算出した最大彩度値に基づき、彩度信号U_Corgを補正し、彩度信号U_Ctraを生成する。
【０３４４】
ステップＳ２０４では、輝度信号U_Ytra、色相信号U_Horg、彩度信号U_Ctraから、式(24)に基づき、RGB信号を生成する。
【０３４５】
ステップＳ７８では、階調変換後の第１成分Uと補正第２成分V'を合成して、原画像信号Iに対して合成成分I'を得る。
【０３４６】
この第１０の実施形態によれば、第１成分Uの輝度信号のみを彩度信号等とは独立に操作することで、色信号に不自然さを生じさせないような絵作り処理、補正処理を行うことができる。また、クラスタ上に形成された色ノイズ等、エッジ構造との識別が困難な場合に誤って第１成分Uへ分離された色ノイズに対して、輝度信号のみを操作することで、階調変換処理の影響による色ノイズの増幅を抑制することが可能となり、高品質なノイズ低減処理が可能となる。
【０３４７】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０３４８】
また、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、第１成分Uから分離した輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０３４９】
また、ここでは第１成分Uの輝度成分Yの信号レベルに基づき階調変換係数を算出するようにしているが、第１成分Uの輝度成分Yの信号レベルに代えて、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０３５０】
また、ここでは色空間としてYCbCr色空間を用いたが、これに限定されるものでもなく、CIE Lab色空間や、HSL色空間等、輝度信号、彩度信号、色相信号を定義することができるその他の任意の色空間を用いることが可能である。
【０３５１】
例えば、CIE Lab色空間を用いる場合は、式(32)に従って、輝度信号Vは明度指数Lで定義され、色相信号H、彩度信号Cを知覚色度a,bを用いて定義される。
【０３５２】
HSL色空間を用いる場合は、輝度信号Vは輝度L、色相信号Hは色相H、彩度信号Cは彩度Sを用いて定義される。
【０３５３】
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
【０３５４】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【図面の簡単な説明】
【０３５５】
【図１】第１の実施形態に係る撮像装置のシステム構成図である。
【図２】デジタル信号処理後の信号レベル−ノイズ分散モデルである。
【図３】第１の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。
【図４】A/D変換直後の信号レベルとノイズの分散の関係を示した特性図である。
【図５】デジタル信号処理部の入出力特性を示す特性図である。
【図６】階調変換係数算出部の構成図である。
【図７】階調変換係数算出部の別構成１の構成図である。
【図８】階調変換係数算出部の別構成２の構成図である。
【図９】階調変換係数算出部の別構成３の構成図である。
【図１０】軟判定閾値処理を説明するための図である。
【図１１】軟判定閾値処理を説明するための図である。
【図１２】軟判定閾値処理を説明するための図である。
【図１３】軟判定閾値処理を説明するための図である。
【図１４】軟判定閾値処理を説明するための図である。
【図１５】ノイズ低減処理によりノイズが低減される様子を示した図である。
【図１６】第２の実施形態に係る撮像装置のシステム構成図である。
【図１７】第２の実施形態における、成分分離部から成分合成・階調変換処理部までの処理に対応するフローチャートである。
【図１８】第３の実施形態に係る撮像装置のシステム構成図である。
【図１９】第３の実施形態における、成分分離部から成分合成・階調変換処理部までの処理に対応するフローチャートである。
【図２０】第４の実施形態に係る撮像装置のシステム構成図である。
【図２１】デジタル信号処理前の信号レベル−ノイズ分散モデルである。
【図２２】第５の実施形態に係る撮像装置のシステム構成図である。
【図２３】色成分間に相関のない１次元の画像信号の例を示した図である。
【図２４】色成分間に相関のある１次元の画像信号の例を示した図である。
【図２５】第５の実施形態における、成分分離部から成分合成・階調変換処理部までの処理に対応するフローチャートである。
【図２６】第６の実施形態に係る撮像装置のシステム構成図である。
【図２７】第７の実施形態に係る撮像装置のシステム構成図である。
【図２８】輝度信号Yの信号レベルに対する、輝度信号Y,色差信号Cb、Crのノイズ分散モデルである。
【図２９】第７の実施形態における、Y/C分離部からY/C合成部までの処理に対応するフローチャートである。
【図３０】第８の実施形態に係る撮像装置のシステム構成図である。
【図３１】輝度信号Yの信号レベルに対する、輝度信号V,色相信号H,彩度信号Cのノイズ分散モデルである。
【図３２】最大彩度算出部6006の構成図である。
【図３３】彩度補正部6007の構成図である。
【図３４】YCbCr色空間における彩度信号の補正を説明するための図である。
【図３５】YCbCr色空間における最大彩度値のモデル化を説明するための図である。
【図３６】第８の実施形態における、色変換部から色逆変換部までの処理に対応するフローチャートである。
【図３７】第９の実施形態に係る撮像装置のシステム構成図である。
【図３８】第９の実施形態における、成分分離部から成分合成部までの処理に対応するフローチャートである。
【図３９】第１０の実施形態に係る撮像装置のシステム構成図である。
【図４０】第１０の実施形態における、成分分離部から成分合成部までの処理に対応するフローチャートである。
【符号の説明】
【０３５６】
3001  成分分離部
3004  ノイズ低減処理パラメータ設定部
3005  成分合成・階調変換処理部
6000  階調変換係数算出部
【図１】
0005034003.tif 000034
【図２】
0005034003.tif 000035
【図３】
0005034003.tif 000036
【図４】
0005034003.tif 000037
【図５】
0005034003.tif 000038
【図６】
0005034003.tif 000039
【図７】
0005034003.tif 000040
【図８】
0005034003.tif 000041
【図９】
0005034003.tif 000042
【図１０】
0005034003.tif 000043
【図１１】
0005034003.tif 000044
【図１２】
0005034003.tif 000045
【図１３】
0005034003.tif 000046
【図１４】
0005034003.tif 000047
【図１５】
0005034003.tif 000048
【図１６】
0005034003.tif 000049
【図１７】
0005034003.tif 000050
【図１８】
0005034003.tif 000051
【図１９】
0005034003.tif 000052
【図２０】
0005034003.tif 000053
【図２１】
0005034003.tif 000054
【図２２】
0005034003.tif 000055
【図２３】
0005034003.tif 000056
【図２４】
0005034003.tif 000057
【図２５】
0005034003.tif 000058
【図２６】
0005034003.tif 000059
【図２７】
0005034003.tif 000060
【図２８】
0005034003.tif 000061
【図２９】
0005034003.tif 000062
【図３０】
0005034003.tif 000063
【図３１】
0005034003.tif 000064
【図３２】
0005034003.tif 000065
【図３３】
0005034003.tif 000066
【図３４】
0005034003.tif 000067
【図３５】
0005034003.tif 000068
【図３６】
0005034003.tif 000069
【図３７】
0005034003.tif 000070
【図３８】
0005034003.tif 000071
【図３９】
0005034003.tif 000072
【図４０】
0005034003.tif 000073