(57)【要約】  【目的】  効率良くノイズ低減を行う。  【構成】  被写体を撮像することにより得られるカラーのCCD-RAWデータがオフセット補正回路31，ゲイン補正回路32，リニア・マトリクス回路33およびガンマ補正回路34を介して第１のノイズ低減回路36に与えられる。第１のノイズ低減回路36において，CCD-RAWデータから無相関ノイズが除去される。CCD-RAWデータが同時化処理回路37において，同時化（色補間）処理が行われ，RGB-YC変換回路38において輝度データＹおよび色差データＣが生成される。生成された輝度データＹおよび色差データＣが第２のノイズ低減回路39において，周波数成分ごとのノイズ低減処理が行われる。同時化処理前後の画像データの状態に応じた適正なノイズ低減処理が行われる。  【選択図】  図２
2006060661.tif 000002
【特許請求の範囲】
【請求項１】
一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のうち一つの色成分をもち，色成分の分布が規則的である画像を表すカラー画像データを入力し，入力したカラー画像データに含まれている無相関ノイズを除去する第１のノイズ除去手段，
上記第１のノイズ除去手段によって無相関ノイズが除去されたカラー画像データを入力し，上記一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のすべての色成分をもつように，入力したカラー画像データの色補間処理を行う色補間手段，および
上記色補間手段によって色補間処理が行われたカラー画像データを入力し，入力したカラー画像データに含まれているノイズを除去する第２のノイズ除去手段，
を備えたノイズ低減装置。
【請求項２】
上記第２のノイズ除去手段が，入力したカラー画像データの周波数帯域に応じたノイズ除去処理を行うものである，
請求項１に記載のノイズ低減装置。
【請求項３】
上記第１のノイズ除去手段に入力するカラー画像データが，
多数の画素のそれぞれが赤，青または緑の複数の色成分のうち一つの色成分をもつ画像を表すものであり，
上記色補間手段によって色補間処理が行われたカラー画像データから輝度データおよび色差データを生成するＹＣデータ生成手段をさらに備え，
上記第２のノイズ除去手段が，
上記ＹＣデータ生成手段によって生成された輝度データおよび色差データの少なくとも一方に含まれているノイズを除去するものである，
請求項１に記載のノイズ低減装置。
【請求項４】
上記第１のノイズ除去手段が，多数の光電変換素子が配列され，多数の光電変換素子のそれぞれの光電変換素子の受光面上に複数の色成分のうち一つの色成分の光を透過する特性を有する色フィルタが複数の色ごとに規則的に形成されている単板の固体電子撮像素子から出力するカラー画像データを入力するものである，
請求項１に記載のノイズ低減装置。
【請求項５】
上記第１のノイズ除去手段における無相関ノイズ除去処理および上記第２のノイズ除去手段におけるノイズ除去処理の少なくとも一方が，
上記固体電子撮像素子の特性および上記固体電子撮像素子を用いて撮影したときに用いられる撮影情報の少なくとも一方にもとづいて行われるものである，
請求項４に記載のノイズ低減装置。
【請求項６】
上記第１のノイズ除去手段は，
隣接画素間のノイズの無相関性および色成分間のノイズの無相関性の少なくとも一方を利用したものである，
請求項１に記載のノイズ低減装置。
【請求項７】
一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のうち一つの色成分をもち，色成分の分布が規則的である画像を表すカラー画像データを入力し，入力したカラー画像データに含まれている無相関ノイズを除去し，
無相関ノイズが除去されたカラー画像データを入力し，上記一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のすべての色成分をもつように，入力したカラー画像データの色補間処理を行い，
色補間処理が行われたカラー画像データを入力し，入力したカラー画像データに含まれているノイズを除去する，
ノイズ低減方法。
【請求項８】
一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のうち一つの色成分をもち，色成分の分布が規則的である画像を表すカラー画像データを入力し，入力したカラー画像データに含まれている無相関ノイズを除去させ，
無相関ノイズが除去されたカラー画像データを入力し，上記一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のすべての色成分をもつように，入力したカラー画像データの色補間処理を行わせ，
色補間処理が行われたカラー画像データを入力し，入力したカラー画像データに含まれているノイズを除去するようコンピュータを制御するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
ノイズ低減装置および方法ならびにノイズ低減プログラムに関する。
【背景技術】
【０００２】
ディジタル・スチル・カメラなどに用いられるＣＣＤは，高画素化，高感度化の一途をたどっている。このために，ノイズの影響が問題となってきている。
【０００３】
ノイズ低減処理を複数回行うものもあるが（特許文献１），単に複数回行うのでは効果的なノイズ低減を行うことができないことがある。
【特許文献１】特開2003−141531号公報
【発明の開示】
【０００４】
この発明は，効果的なノイズ低減を行うことを目的とする。
【０００５】
この発明によるノイズ低減装置は，一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のうち一つの色成分をもち，色成分の分布が規則的である画像を表すカラー画像データ（CCD-RAWデータ）を入力し，入力したカラー画像データに含まれている無相関ノイズを除去する第１のノイズ除去手段，上記第１のノイズ除去手段によって無相関ノイズが除去されたカラー画像データを入力し，上記一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のすべての色成分をもつように，入力したカラー画像データの色補間処理を行う色補間手段，および上記色補間手段によって色補間処理が行われたカラー画像データを入力し，入力したカラー画像データに含まれているノイズを除去する第２のノイズ除去手段を備えていることを特徴とする。
【０００６】
この発明は，上記ノイズ低減装置に適した方法も提供している。すなわち，この方法は，一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のうち一つの色成分をもち，色成分の分布が規則的である画像を表すカラー画像データを入力し，入力したカラー画像データに含まれている無相関ノイズを除去し，無相関ノイズが除去されたカラー画像データを入力し，上記一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のすべての色成分をもつように，入力したカラー画像データの色補間処理を行い，色補間処理が行われたカラー画像データを入力し，入力したカラー画像データに含まれているノイズを除去するものである。
【０００７】
この発明は，上記ノイズ低減方法を実現するためのプログラムも提供している。
【０００８】
この発明によると，一駒分の画像を構成する多数の画素のそれぞれが複数の色成分のうち一つの色成分をもち，色成分の分布が規則的である画像を表すカラー画像データの無相関ノイズが除去される。無相関ノイズが除去されたカラー画像データについて色補間処理が行われる。色補間処理が行われたカラー画像データから，さらにノイズが除去される。
【０００９】
この発明によると，色補間処理が行われる前のカラー画像データについては，無相関ノイズが除去される。色補間処理が行われていないので，無相関ノイズの除去を効率良く行うことができる。また，色補間処理が行われたあとのカラー画像データについては，無相関ノイズとは関係なくノイズ除去が行われるから，特定の周波数成分のノイズの除去などを行うことができるようになる。単に複数回のノイズ除去を行うのではなく，画像データの特性に応じたノイズ除去が行われるので，効率のよいノイズ除去を実現できる。
【００１０】
上記第２のノイズ除去手段は，たとえば，入力したカラー画像データの周波数帯域に応じたノイズ除去処理を行うものである。周波数帯域に依存したノイズを効率良く除去できる。
【００１１】
上記第１のノイズ除去手段に入力するカラー画像データは，たとえば，多数の画素のそれぞれが赤，青または緑の複数の色成分のうち一つの色成分をもつ画像を表すものである。この場合，上記色補間手段によって色補間処理が行われたカラー画像データから輝度データおよび色差データを生成するＹＣデータ生成手段をさらに備える。そして，上記第２のノイズ除去手段は，上記ＹＣデータ生成手段によって生成された輝度データおよび色差データの少なくとも一方に含まれているノイズを除去するものとなろう。
【００１２】
上記第１のノイズ除去手段は，たとえば，多数の光電変換素子が配列され，多数の光電変換素子のそれぞれの光電変換素子の受光面上に複数の色成分のうち一つの色成分の光を透過する特性を有する色フィルタが複数の色ごとに規則的に形成されている単板の固体電子撮像素子から出力するカラー画像データを入力するものである。
【００１３】
上記第１のノイズ除去手段における無相関ノイズ除去処理および上記第２のノイズ除去手段におけるノイズ除去処理の少なくとも一方が，上記固体電子撮像素子の特性および上記固体電子撮像素子を用いて撮影したときに用いられる撮影情報の少なくとも一方にもとづいて行われるものでもよい。
【００１４】
上記第１のノイズ除去手段は，たとえば，隣接画素間のノイズの無相関性および色成分間のノイズの無相関性の少なくとも一方を利用している。
【実施例】
【００１５】
図１は，この発明の実施例によるディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００１６】
ディジタル・スチル・カメラの全体の動作は，ＣＰＵ20によって統括される。
【００１７】
ディジタル・スチル・カメラには，二段ストローク・タイプのシャッタ・レリーズ・ボタン，撮像モード，再生モード，撮像シーンなどを設定するモード設定ダイアルなどを含む操作器21が含まれている。この操作器21からの操作信号は，ＣＰＵ20に入力する。また，ディジタル・スチル・カメラは，ストロボ撮影が可能であり，ストロボ発光回路25が含まれている。このストロボ発光回路25からの出射光が被写体に照射される。すると，被写体からの反射光が受光回路26において受光される。受光回路26からの受光信号にもとづいて，ストロボ発光回路25の発光量が制御される。
【００１８】
レンズ駆動回路22によって位置が制御される撮像レンズ１によって集光される。集められた光は，絞り駆動回路23によって制御される絞り２，赤外線カット・フィルタ３および光学的ロウ・パス・フィルタ４を介して，ＣＣＤ５に導かれる。ＣＣＤ５の受光面上に被写体像が結像する。
【００１９】
この実施例によるＣＣＤ５は，詳しくは後述するように，受光面上に多数のフォトダイオードが形成されている。多数のフォトダイオードの受光面上には赤色成分，緑色成分または青色成分の光を透過するフィルタが形成されている。撮像素子駆動回路24によってＣＣＤ５が駆動させられると，赤色，緑色または青色のいずれかの色成分をもつ多数の画素からなる被写体像を表す映像信号がＣＣＤ５から出力されることとなる。
【００２０】
ＣＣＤ５から出力された映像信号は，アナログ信号処理回路６に入力する。アナログ信号処理回路６において，相関二重サンプリング，ＣＣＤの感度ばらつき調整などの所定のアナログ信号処理が行われ，アナログ／ディジタル変換回路７に与えられる。アナログ／ディジタル変換回路７において，映像信号がディジタル画像データ（CCD-RAWデータ）に変換される。変換されたディジタル画像データは，メモリ制御回路８によって，メイン・メモリ９に与えられ，一時的に記憶される。
【００２１】
ディジタル画像データは，メイン・メモリ９から読み取られ，ディジタル信号処理回路10に入力する。ディジタル信号処理回路10において所定のディジタル信号処理が行われる。ディジタル信号処理回路10における信号処理について詳しくは後述する。ディジタル信号処理回路10から出力した画像データは表示制御回路15によって表示装置16に与えられる。表示装置16の表示画面上に被写体像が表示される。
【００２２】
シャッタ・レリーズ・ボタンの第一段階の押下があると，上述のようにしてメイン・メモリ９に記録された画像データは，積算回路12に入力する。積算回路12において，輝度データ成分が積算される。積算された輝度データ成分を表すデータがＣＰＵ20に与えられ，適正な露光量となるように，絞りおよびシャッタ速度が決定される。
【００２３】
シャッタ・レリーズ・ボタンの第二段階の押下があると，上述のようにしてメイン・メモリ９に記録された画像データは，圧縮／伸張処理回路11に入力する。圧縮／伸張処理回路11において，ＪＰＥＧ（joint photographic experts group）にもとづく圧縮が行われる。圧縮された画像データがメモリ制御回路13によってメモリ・カード14に記録される。
【００２４】
再生モードが設定されると，メモリ・カード14に記録されている圧縮画像データが読み取られ，圧縮／伸張処理回路11に与えられる。圧縮／伸張処理回路11において，データ伸張処理が行われる。伸張された画像データが表示制御回路15によって表示装置16に与えられることにより，メモリ・カード14に記録されている画像データによって表される画像が表示装置16の表示画面上に表示される。
【００２５】
図２は，ディジタル信号処理回路10の電気的構成を示すブロック図である。
【００２６】
ディジタル信号処理回路10に入力した画像データは，オフセット補正回路31においてオフセット補正が行われてゲイン補正回路32に入力する。ゲイン補正回路32において，入力した画像データの色バランス調整が行われる。ゲイン補正回路32から出力した画像データは，リニア・マトリクス回路33を介してガンマ補正回路34においてガンマ補正が行われる。
【００２７】
ガンマ補正回路34においてガンマ補正された画像データが第１のノイズ低減回路36に入力する。第１のノイズ低減回路36において，入力した画像データの無相関ノイズを除去する処理が行われる。この第１のノイズ低減回路36におけるノイズ低減処理について詳しくは，後述する。
【００２８】
上述したように画像データによって表される画像を構成する各画素は，赤色成分，緑色成分または青色成分のいずれか一の色成分を有しており，他の色成分は有していない。このために，第１のノイズ低減回路36から出力した画像データは同時化回路（色補間回路）37において，画素が有していない他の色成分が同時化処理（色補間処理）により生成される。同時化処理回路37からは，画素が赤色成分，緑色成分および青色成分のすべての色成分をもつＲ，ＧおよびＢのカラー画像データがパラレルに出力され，RGB-YC変換回路38に入力する。RGB-YC変換回路38において，Ｒ，ＧおよびＢのカラー画像データから輝度データＹおよび色差データＣ（ＣｒおよびＣｂ）が生成される。生成された輝度データＹおよび色差データＣが第２のノイズ低減回路39に入力する。第２のノイズ低減回路39において，入力する周波数特性に応じたノイズ低減処理が行われる。第２のノイズ低減回路39におけるノイズ低減処理についても詳しくは後述する。
【００２９】
第２のノイズ低減回路39から出力した輝度データＹは輪郭補正回路40に入力し，色差データＣは色差マトリクス回路41に入力する。輪郭補正回路40において輪郭補正が行われ，色差マトリクス回路41において色補正が行われる。輪郭補正回路40から出力される輝度データＹおよび色差マトリクス回路41から出力される色差データＣがディジタル信号処理回路10からの出力となる。
【００３０】
ユーザのＩＳＯ感度設定または自動感度設定にしたがって，ゲイン補正回路32におけるゲインが変動する。このために，画像の全体に一様にノイズが増加することがある。同時化処理前の画像データ（CCD-RAWデータ）は，画素に含まれているノイズが隣接画素間において相関性が無い状態であるから（無相関ノイズ），同時化前に第１のノイズ低減回路36において無相関ノイズを効率良く除去できる。さらに，同時化後の第２のノイズ低減回路39において，視覚的に目立つノイズは中周波数から高周波数に存在するから，この周波数の範囲にあるノイズを低減させることにより，ノイズを目立たなくできる。
【００３１】
同様に，操作器21によって，撮像シーンが風景シーンに設定されている場合には，階調が変化し，シャドウ部分から中間階調部のノイズが増加することがある。このような場合には第１のノイズ低減処理回路36を利用してその範囲の無相関ノイズを除去することが有効である。また，風景シーンに設定された場合には，彩度の高い画像を生成するために色ノイズが増加することがある。このために，同時化後に色差データについて第２のノイズ低減回路39によりノイズを除去することが有効である。
【００３２】
このように，同時化前は画像データの物理的な無相関性が高いので無相関性を利用したノイズ除去処理が有効であり，同時化後は視覚特性（周波数成分，色空間など）を考慮したノイズ除去処理が有効である。同時化処理の前後において異なった方法によるノイズ低減処理を行うことにより，効率よくノイズを除去できるようになる。
【００３３】
図３は，ディジタル信号処理の処理手順を示すフローチャートである。
【００３４】
被写体が撮像されることにより，被写体像を表す画像データが得られる（ステップ71）。また，画像特性情報が読み取られる（ステップ72）。
【００３５】
読み取られた画像データについて，オフセット補正（ステップ73），リニア・マトリクス処理（ステップ74），ゲイン補正処理（白バランス調整処理）（ステップ75）およびガンマ補正処理（ステップ76）が行われて，第１のノイズ低減処理が行われる（ステップ77）。
【００３６】
第１のノイズ低減処理が行われたCCD-RAWデータについて同時化処理が行われ（ステップ78）およびRGB-YC変換処理が行われ（ステップ79），第２のノイズ低減処理が行われる（ステップ80）。
【００３７】
つづいて，輝度データについては輪郭補正が行われ（ステップ81），色差データについては色差マトリクスによって色補正が行われる（ステップ82）。輪郭補正が行われた輝度データおよび色補正が行われた色差データについてＪＰＥＧ圧縮が行われ（ステップ83），ハードディスク58に記録される（ステップ84）。
【００３８】
図４は，ＩＳＯ感度にもとづいてノイズ低減処理回路を設定する処理手順を示すフローチャートである。
【００３９】
ユーザによって，ディジタル・スチル・カメラのＩＳＯ感度が設定される（ステップ91）。すると，そのＩＳＯ感度に応じて，ノイズ低減のためのパラメータが第１のノイズ低減回路36に設定される（ステップ92）。さらに，その設定されたＩＳＯ感度に応じて，ノイズ低減のためのパラメータが第２のノイズ低減回路39に設定される（ステップ93）。
【００４０】
このようにして設定された第１のノイズ低減回路36および第２のノイズ低減回路39を用いて同時化処理の前後の画像データについて，上述したようにそれぞれ適切なノイズ低減処理が行われる。
【００４１】
上述したノイズ低減処理回路の設定では，ユーザによって設定されたＩＳＯ感度にもとづいて第１のノイズ低減処理回路36および第２のノイズ低減処理回路39のパラメータがそれぞれ設定されるが，そのほかの情報（撮影情報，画像特性を表す情報など）を用いて設定を行うようにしてもよい。
【００４２】
また，上述の実施例においては，同じ情報にもとづいて第１のノイズ低減処理回路36と第２のノイズ低減処理回路39とを設定しているが，第１のノイズ低減処理回路36の設定に用いられる情報と第２のノイズ低減処理回路39の設定に用いられる情報とを変えるようにしてもよい。
【００４３】
たとえば，第１のノイズ低減処理回路36の設定は，ＣＣＤ５の特性，撮像レンズやＣＣＤ５のシェーディング特性，上述したＩＳＯ感度，白バランス・ゲイン，リニア・マトリクス係数，ガンマ特性，被写体のダイナミック・レンジ特性，ストロボ時の自動ゲイン，ストロボ未到達レベル，シャッタ・スピード，被写体の明るさ，ＣＣＤから出力される映像信号の分散特性などを用いることができる。また，ＣＣＤのフォトダイオードの受光領域が異なる大きさの高感度領域と低感度領域とを有する場合には，高感度領域から得られる信号と低感度領域から得られる信号との合成比率にもとづいて第１のノイズ低減処理回路36を設定することもできる。ＣＣＤのフォトダイオードの受光領域が異なる大きさをもつ高感度領域と低感度領域とを有する場合には，上述したディジタル信号処理回路10には，高感度領域から得られる信号と低感度領域から得られる信号とが入力するために，それらの信号を合成する回路が必要となるのはいうまでもない。
【００４４】
また，第２のノイズ低減処理回路39の設定は，レンズ・ディストーション，色差マトリクス係数，記録画素数，再現帯域，輪郭補正，ズーム・レンズの場合にはズーム・ポジション，撮像シーン（人物シーン，風景シーン，白黒シーンなど）などを用いることができる。
【００４５】
さらに，第１のノイズ低減処理回路36および第２のノイズ低減処理回路39の設定に共通して利用できるものとして，撮像レンズの色収差特性，３Ｄ−ＬＵＴ特性，カメラの動作モード（連写モード，動画撮影モード，ブラケット・モードなど）がある。
【００４６】
図５は，コンピュータ装置の電気的構成を示すブロック図である。
【００４７】
上述した実施例は，ディジタル・スチル・カメラにおいてノイズ低減処理を行うものであったが，コンピュータ装置を利用して上述したノイズ低減処理を行うこともできる。
【００４８】
コンピュータ装置には，ＣＰＵ50が含まれている。このＣＰＵ50に，表示装置51，プリンタ52，キーボード53およびメモリ54が接続されている。
【００４９】
また，ＣＰＵ50には，メモリ・カード・リーダ・ライタ55が接続されている。上述したようにCCD-RAWデータが記録されているメモリ・カード51がメモリ・カード・リーダ・ライタ55に装填されることにより，メモリ・カード61に格納されている画像ファイルの画像データ記録領域からCCD-RAWデータが読み取られ，その画像ファイルのヘッダ領域からはCCD-RAWデータについての画像特性情報が読み取られる。読み取られた画像特性情報にもとづいて，CCD-RAWデータに対して，上述したディジタル信号処理回路10におけるディジタル信号処理が行われる。さらに，ＣＰＵ50には，CD-ROMドライブ56が接続されている。このCD-ROMドライブ56に，上述したディジタル信号処理のプログラムが格納されている。CD-ROM62が装填されると，CD-ROM62からディジタル信号処理のプログラムが読み取られ，コンピュータ装置にインストールされる。メモリ・カード61から読み取られたCCD-RAWデータに対して第１のノイズ低減処理および第２のノイズ低減処理を含むディジタル信号処理を行うことができるようになる。
【００５０】
さらに，ＣＰＵ50には，ハードディスク・ドライブ57が接続されている。ハードディスク・ドライブ57によって，ハードディスク58に，ノイズ低減処理後のCCD-RAWデータを記録できる。
【００５１】
次に，図６から図13を参照して，第１のノイズ低減回路36におけるノイズ低減処理について説明する。
【００５２】
まず，この実施例によるノイズ低減処理の原理等について説明する。
【００５３】
図６は，この実施例によるディジタル・スチル・カメラに用いられるＣＣＤ５の受光面の一部を示している。
【００５４】
ＣＣＤ５の列方向に4096個，行方向に1540個のフォトダイオード102が配置されている。したがって，このＣＣＤ５を用いて被写体を撮像することにより，列方向4096画素，行方向1540画素の被写体像を表す画像データが得られる。フォトダイオード102のそれぞれから得られる画像データが画像の画素一つ一つに対応する。
【００５５】
多数のフォトダイオード102のそれぞれのフォトダイオード102の受光面上には，赤色成分，青色成分，第１の緑色成分および第２の緑色成分（第１の緑色成分と第２の緑色成分とは同じ特性でもよい）の複数の色成分のうち，いずれかの色成分を透過する特性を有する色フィルタが形成されている。赤色成分，青色成分，第１の緑色成分または第２の緑色成分を透過するフィルタにはそれぞれ，「Ｒ」，「Ｂ」，「Ｇ１」，「Ｇ２」の文字が付されている。
【００５６】
奇数列のフォトダイオード102の受光面上には赤色の光成分を透過するフィルタと青色の光成分を透過するフィルタとが交互に形成されている。偶数列のフォトダイオード102の受光面上には第１の緑色を透過するフィルタと第２の緑色の光成分を透過するフィルタとが交互に形成されている。
【００５７】
この実施例においては，列方向および行方向にそれぞれ10個のフォトダイオード102の範囲（ノイズ低減対象領域Ａ）を単位としてノイズ低減処理が行われる。また，列方向および行方向に互いに隣接する４つのフォトダイオード102の物理的位置（空間的位置）は異なっているが，この実施例においてはこの物理的位置は同一のものと見なしている。４つのフォトダイオード２に相当する４つの画素が一つの組として扱われる。ノイズ低減対象領域Ａには，25組のフォトダイオード２の組（Ｘ１〜Ｘ25）が含まれることとなる。
【００５８】
このようなＣＣＤ５を用いて被写体が撮像されると，ＣＣＤ５から被写体像を表すCCD-RAWデータが得られる。このCCD-RAWデータは，フォトダイオード102の受光面上に形成されている色フィルタにしたがった色成分をもつものが一行分ずつシリアルに現れるものである。画素は赤色成分，青色成分，第１の緑色成分または第２の緑色成分のいずれか一つの色成分のデータによって表され，他の色成分のデータは有していない。他の色成分のデータについては上述のように色補間処理によって補間される。
【００５９】
図７は，色成分分割処理後の画像の様子を示している。
【００６０】
この実施例においては，上述のようにしてＣＣＤ５から得られたCCD-RAWデータによって表される画像の画素配列（この画素配列は，図６におけるフォトダイオード102の配列に対応している）が，色成分ごとに分割されている画像を表すようにCCD-RAWデータの色成分抽出処理（色成分分割処理）が行われる。
【００６１】
色成分分割処理後の画像データによって表される画像は，上述したように列方向4096画素，行方向1540画素を有している。色成分分割後の画像は，左上の領域，左下の領域，右上の領域および右下の領域にそれぞれ色成分ごとに分割できる。これらの領域は，すべて列方向2048画素，行方向770画素となっている。
【００６２】
左上の領域，左下の領域，右上の領域および右下の領域は，それぞれ赤色成分，青色成分，第１の緑色成分および第２の緑色成分の画像データによって表される画像部分ＩＲ，ＩＢ，ＩＧ１およびＩＧ２である。
【００６３】
これらの画像部分ＩＲ，ＩＢ，ＩＧ１およびＩＧ２のそれぞれにおいて，列方向および行方向にそれぞれ５画素の領域がノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２となる。これらのノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２を合わせたものは上述したように，図６に示すノイズ低減領域に対応している。
【００６４】
ノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２のそれぞれにおいて，中央に存在する画素Ｒｃ，Ｂｃ，Ｇ１ｃおよびＧ２ｃがノイズを低減する対象となる画素である。詳しくは後述するように，ノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２に存在する画素（画像データ）を利用して，中央の画素Ｒｃ，Ｂｃ，Ｇ１ｃおよびＧ２ｃのノイズ低減処理が行われる。それぞれのノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２の中央の画素Ｒｃ，Ｂｃ，Ｇ１ｃおよびＧ２ｃのノイズ低減処理が終了すると，ノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２がそれぞれ右側に１画素分ずらされ，ずらされたノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２のそれぞれの中央に存在する画素Ｒｃ，Ｂｃ，Ｇ１ｃおよびＧ２ｃのノイズ低減処理が行われる。このようにノイズ低減対象領域のシフトおよびノイズ低減処理が一駒の画像分繰り返される。
【００６５】
上述したように，ＣＣＤ５上において列方向および行方向に互いに隣接する４つの画素の位置は物理的には異なるが，この実施例においては同一位置にあるものと見なすから，ノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２内の画素をXn＝（Rn，Gn，Bn，G2n）と表すことができる（ノイズ低減対象領域ＡＲ，ＡＢ，ＡＧ１およびＡＧ２内の画素は25個あるから，ｎ＝１〜25となる）。
【００６６】
図８から図11は，赤色成分，青色成分，第１の緑色成分および第２の緑色成分の色空間と，ノイズ低減対象領域内の画素を表す画像データとの関係を示している。
【００６７】
図８は，無相関ノイズが無い場合の色空間とノイズ低減対象領域Ａ0内の画素を表す画像データとの関係を示している。
【００６８】
ノイズ低減対象領域Ａ0は相関性があるものと見なされる範囲である。このため，ノイズ低減対象領域Ａ0内の画素Xn0＝（Rn0，G1n0，Bn0，G2n0）を表す画像データは，それぞれのレベルが比較的まとまった範囲に収まっている。ノイズ低減対象領域Ａ0内の画素Xn0の平均データがXAV0で示されている。
【００６９】
図９は，無相関ノイズがある場合の色空間とノイズ低減対象領域Ａ１内の画素を表す画像データとの関係を示している。また，比較のために無相関ノイズが無い場合のノイズ低減対象領域Ａ0も図示されている。
【００７０】
無相関ノイズが含まれている場合，ノイズ低減対象領域Ａ1内の画素Xn1＝（Rn1，G1n1，Bn1，G2n1）を表す画像データは，無相関ノイズのために，それぞれの画素を表す画像データのレベルがばらついている。このために，無相関ノイズが有る場合におけるノイズ低減対象領域Ａ1内の画素を表す画像データの範囲は，無相関ノイズが無い場合におけるノイズ低減対象領域Ａ0内の画素を表す画像データの範囲よりも広範囲となっている。また，ノイズ低減対象領域Ａ1内の画素Xn0の平均データがXAV1で示されている。
【００７１】
この実施例による第１のノイズ低減回路36は，上述のように無相関ノイズを取り除くものである。
【００７２】
図10は，画像データの座標移動およびノイズ低減のためのフィルタリング時の色空間とノイズ低減対象領域Ａ1内の画素を表す画像データとの関係を示している。
【００７３】
この実施例においては，ノイズ低減処理を行う場合，ノイズ低減対象領域Ａ1内の画素Xn1の平均データXAV1のレベルが，色空間の原点となるように，ノイズ低減対象領域Ａ1内の画素Xn1を表す画像データのすべてが座標移動（レベル・シフト）させられる。平均データXAV1が原点位置にシフトされるように，ノイズ低減対象領域Ａ１内の画素Xn1を表す画像データのすべてが座標移動させられた状態で，ノイズ低減対象領域Ａ１内の画素Xn1を表す画像データに，ノイズ低減処理としてのフィルタリングが実施される。平均データXAV1が原点の位置にある状態でフィルタリングが行われるので，比較的適切なフィルタリングを実施できる。
【００７４】
図11は，画像データの座標逆移動時の色空間とノイズ低減対象領域Ａ1内の画素を表す画像データとの関係を示している。
【００７５】
上述したフィルタリング処理が無相関ノイズを取り除くものである。このフィルタリング処理によりノイズ低減対象領域Ａ1内の一のノイズ低減対象画素を表す画像データの範囲が，無相関ノイズが無い場合におけるノイズ低減対象領域Ａ0内の画素を表す画像データの範囲に収まる（近づく）。ノイズ低減対象領域Ａ１内の残りの画素についても同様の処理が繰返されることにより，ノイズ低減対象領域Ａ１内のすべての画素がノイズ低減対象領域Ａ０内の画素を表わす画像データの範囲に収束する（近づく）。
【００７６】
上述のように，ノイズ低減対象領域Ａ１内の画素Xn1を表す画像データのすべてが座標移動させられた状態で，ノイズ低減対象領域Ａ１内の画素Xn1を表す画像データに，ノイズ低減処理としてのフィルタリングが実施されると，平均データXAV1が座標移動前の位置に戻るように座標逆移動（レベル逆シフト）処理が行われる。このようにして，ノイズ低減処理が終了する。
【００７７】
図12は，ノイズ低減処理に用いられるノイズの量と画素値との関係を示している。
【００７８】
この実施例によるノイズ低減処理においては，所定の基準被写体が撮像され，赤色成分，青色成分，第１の緑色成分および第２の緑色成分のそれぞれの画素レベルごとにノイズの量Ｄｎがあらかじめ解析される。
【００７９】
赤色成分，青色成分，第１の緑色成分および第２の緑色成分のいずれも画素レベルが大きくなるにつれて徐々に，それぞれの色成分ごとのノイズの量ＤnR，ＤnB，ＤnG1およびＤnG2が高くなり，ある値でピークとなる。さらに画素値が大きくなるとノイズの量ＤnR，ＤnB，ＤnG1およびＤnG2は徐々に小さくなる。
【００８０】
このような，ノイズの量ＤnR，ＤnB，ＤnG1およびＤnG2と各色成分ごとの画素レベルとの関係があらかじめ解析されて記憶される。記憶されているノイズの量ＤnR，ＤnB，ＤnG1およびＤnG2が後述するノイズ低減処理に利用される。
【００８１】
上述したノイズの量ＤnR，ＤnB，ＤnG1およびＤnG2をそのまま利用することもできるが，ディジタル信号処理回路10内のゲイン補正回路（白バランス調整回路）32のゲインWBGを利用してもよい。ゲイン補正回路32のゲインWBGを利用する場合のノイズの量ＤnG1（γ）は，式１によって表される。
【００８２】
ＤnG1（γ）＝ＤnG1×［WBG］γ・・・式１
【００８３】
式１において，ゲイン補正回路32のゲインWBGをγ乗しているのは，この実施例においては，γ変換されたCCD-RAWデータについてノイズ低減処理を行っているからである。γ変換前のCCD-RAWデータについてノイズ低減処理を行う場合には，γ乗しないゲインWBGを利用するのはいうまでもない。第２の緑色成分のノイズの標準偏差ＤｎＧ２（γ）についても同様に得られる。色バランス調整前のCCD-RAWデータについてノイズ低減処理を行う場合には，ノイズ量ＤnG1そのものを用いればよい。
【００８４】
青色成分および赤色成分のノイズの量ＤｎＢ（γ）およびＤｎＲ（γ）については，式１における［WBG］を［WBG(R/G)］および［WBG(B/G)］で置き換えた式２および３で表される。
【００８５】
ＤnR（γ）＝ＤnR×［WBG(R/G)］γ・・・式２
【００８６】
ＤnB（γ）＝ＤnB（γ）×［WBG(B/G)］γ・・・式３
【００８７】
同様に，色バランス以外の撮像情報を用いてノイズの量を算出（上述した第１のノイズ低減処理回路36の設定）できるのはいうまでもない。
【００８８】
図13は，第１のノイズ低減処理回路36の電気的構成を示すブロック図である。
【００８９】
ガンマ補正回路34から出力されたCCD-RAWデータが第１のノイズ低減回路36に入力すると，配列変換回路111に入力する。配列変換回路111は，上述したように，ＣＣＤ５の色フィルタ配列（図６参照）にしたがって出力されるCCD-RAWデータを色成分ごとに分けるものである。
【００９０】
配列変換回路111において色成分ごとに分けられたCCD-RAWデータは，フィルタリング対象抽出回路112に入力する。フィルタリング対象抽出回路112において，色成分ごとに分けられたCCD-RAWデータから，列方向および行方向ともに５個ずつの画素をもつノイズ低減対象領域（図７においてノイズ低減対象領域AR，AB，AG1およびAG2として表されている）内の画素を表すCCD-RAWデータが抽出される。
【００９１】
フィルタリング対象のCCD-RAWデータは，フィルタ算出回路113に入力する。フィルタ算出回路113において，式４にしたがってフィルタＦが算出される。
【００９２】
【数１】
2006060661.tif 000003
【００９３】
但し，式４におけるＤ(s+n)は信号とノイズを含んだ量であり，式５によって表される。また，αはフィルタ制御係数である。
【００９４】
【数２】
2006060661.tif 000004
【００９５】
ここで，Ｄ(s+n)の対角成分は各色の信号のばらつき量であり非対角成分は，各色間の信号のばらつき量であるである。Ｄ(s+n)x（ｘ＝Ｒ，Ｂ，Ｇ１，Ｇ２）は，式６によって表され，非対角成分Ｄ(s+n)x1gx2（ｘ１，ｘ２＝Ｒ，Ｂ，Ｇ１，Ｇ２）は，式７によって表される。
【００９６】
また，式１におけるＤｎはノイズのみの量であり式６によって表される。
【００９７】
【数３】
2006060661.tif 000005
【００９８】
このようにして，フィルタＦが算出されると，その算出されたフィルタとノイズ低減対象領域内の画素を表すCCD-RAWデータとがフィルタ演算回路24に入力する。フィルタ演算回路24において，式7にもとづくフィルタ演算（ノイズ低減処理）が行われる。
【００９９】
【数４】
2006060661.tif 000006
【０１００】
式７において，Ｒout，Ｇ１out，ＢoutおよびＧ２outは，それぞれフィルタ演算後の赤色成分，第１の緑色成分，青色成分および第２の緑色成分の画像データを示している。Ｒｃ，Ｇ１ｃ，ＢｃおよびＧ２ｃは，それぞれ，色成分分割処理により得られた赤色成分，第１の緑色成分，青色成分および第２の緑色成分のノイズ低減対象領域ＡR，ＡG1，ＡBおよびＡG2の中央に存在するノイズ低減対象画素を表す画像データを示している。avＲ，avＧ１，avＢおよびavＧ２は，色成分分割処理により得られた赤色成分，第１の緑色成分，青色成分および第２の緑色成分のノイズ低減対象領域ＡR，ＡG1，ＡBおよびＡG2内の画素の画像データの平均値を示すデータである。
【０１０１】
式７において，色成分分割処理により得られた赤色成分，第１の緑色成分，青色成分および第２の緑色成分のノイズ低減対象領域ＡR，ＡG1，ＡBおよびＡG2の中央に存在するノイズ低減対象画素Ｒｃ，Ｇ１ｃ，ＢｃおよびＧ２ｃから，色成分分割処理により得られた赤色成分，第１の緑色成分，青色成分および第２の緑色成分のノイズ低減対象領域ＡR，ＡG1，ＡBおよびＡG2内の画素の画像データの平均値を示すデータavＲ，avＧ１，avＢおよびavＧ２が減算されることにより，上述したように（図５参照），ノイズ低減対象領域ＡR，ＡG1，ＡBおよびＡG2内の画素の画像データのレベルが赤色成分，第１の緑色成分，青色成分および第２の緑色成分を座標系にもつ色空間の原点位置にシフトされる。このようにシフトされたノイズ低減対象画素Ｒｃ，Ｇ１ｃ，ＢｃおよびＧ２ｃに対して式４で示されるフィルタＦを用いてフィルタリング処理が行われることとなる。
【０１０２】
式４で示されるフィルタＦを用いたフィルタリング処理において，式５で示されるＤ(s+n)から式６で示されるＤnが減算されると，Ｄ(s+n)の対角成分が減算されることからCCD-RAWデータの無相関ノイズが除去され，非対角成分が減算されないことからCCD-RAWデータの相関性が保持される。すなわち，CCD-RAWデータの相関性を保持しつつ無相関ノイズが除去されることとなる。
【０１０３】
フィルタリング処理後のノイズ低減対象画素Ｒｃ，Ｇ１ｃ，ＢｃおよびＧ２ｃから平均値を示すデータavＲ，avＧ１，avＢおよびavＧ２が加算されることにより，上述したように（図11参照），ノイズ低減対象画素Ｒｃ，Ｇ１ｃ，ＢｃおよびＧ２ｃが，ノイズ低減された元のレベルに相当するレベルに戻される。
【０１０４】
上述したノイズ低減処理において，パラメータが大きすぎてノイズ低減処理後の画像の破綻を未然に防止するために，式２および式５において用いられるパラメータＤgxおよびＤnxが式８の関係を満たすことが好ましい。但し，ｘ＝Ｒ，Ｇ１，Ｂ，Ｇ２である。
【０１０５】
【数５】
2006060661.tif 000007
【０１０６】
このようなノイズ低減処理が一駒分の画像データについて繰り返される。もっともカラー画像データのレベル（ノイズ低減対象画素のレベル）があらかじめ定められたレベル以上であれば，ノイズ低減処理を停止してもよい。
【０１０７】
フィルタ演算回路24においてフィルタ演算処理が行われた画像データは，配列逆変換処理回路25に入力する。配列逆変換回路25において，ＣＣＤ１の色フィルタの配列から色成分ごととされた画像データの配列が，元のＣＣＤ１の色フィルタの配列に戻される。配列逆変換回路25の出力がノイズ低減回路６の出力となる。
【０１０８】
次に，図14および図15を参照して，第２のノイズ低減回路39におけるノイズ低減処理について説明する。
【０１０９】
図14は，第２のノイズ低減回路39の電気的構成を示すブロック図である。
【０１１０】
第２のノイズ低減回路39は，輝度データＹならびに色差データＣｒおよびＣｂを入力するもので，色成分ごとに，周波数帯域に適したノイズ低減処理が行われるものである。
【０１１１】
第２のノイズ低減回路39に入力した輝度データＹならびに色差データＣｒおよびＣｂは，第１の画像データ分割回路121，第２の画像データ分割回路122および第３の画像データ分割回路123にそれぞれ与えられる。
【０１１２】
第１の画像データ分割回路121は，輝度データＹ用のもので，入力した輝度データを低域の周波数成分，低域および中域の周波数成分ならびに低域，中域および高域の周波数成分のそれぞれをもつ第１の輝度データＹ11，第２の輝度データＹ12および第３の輝度データＹ13に分割する。
【０１１３】
３つに分割された第１の輝度データＹ11，第２の輝度データＹ12および第３の輝度データＹ13の周波数特性が，図15（Ａ），（Ｂ）および（Ｃ）に示されている。このように，第１の輝度データＹ11は，周波数がｆ11以下の低域の周波数成分をもち，中域の周波数成分および高域の周波数成分をもたない。第２の輝度データＹ12は，周波数がｆ12（ｆ11＜ｆ12）以下の低域および中域の周波数成分をもち，高域の周波数成分をもたない。第３の輝度データＹ13は，周波数がｆ13（ｆ12＜ｆ13）以下の低域，中域および高域の周波数成分をもつ。もっとも，第３の輝度データＹ13は，周波数がｆ13以下のものに限らず，入力した輝度データＹそのものでもよい。
【０１１４】
輝度データの分割は，多段の線形フィルタを用いた処理，線形フィルタの出力に非線形レベル変換を施す処理，ウェーブレット変換を用いた処理などを利用できる。
【０１１５】
第１の輝度データＹ11，第２の輝度データＹ12および第３の輝度データＹ13は，それぞれ低域用のノイズ低減回路131，中域用のノイズ低減回路132および高域用のノイズ低減回路133に入力する。これらの低減回路131〜133のパラメータを変えることにより，所望の帯域を強調してノイズ低減を行うことができる。第１，第２および第３のノイズ低減回路134，135および136から出力された輝度データＹ11，Ｙ12およびＹ13が第１の画像データ合成回路142に与えられる，一駒分の画像を表す輝度データが得られる。
【０１１６】
第２の画像データ分割回路122は，色差データＣｒ用のもので，低域の周波数成分，低域および中域の周波数成分ならびに低域，中域および高域の周波数成分のそれぞれをもつ第１の色差データＣｒ11，第２の色差データＣｒ12および第３の色差データＣｒ13に分割する。分割された第１の色差データＣｒ11，第２の色差データＣｒ12および第３の色差データＣｒ13が，低域の周波数成分，低域および中域の周波数成分ならびに低域，中域および高域の周波数成分のそれぞれのノイズ低減に適したパラメータが設定されている第１，第２および第３のノイズ低減回路134，135および136に入力する。ノイズ低減された第１の色差データＣｒ11，第２の色差データＣｒ12および第３の色差データＣｒ13が第２の画像データ合成回路142に入力することにより，第２の画像データ合成回路142において，一駒の画像を表す色差データＣｒが生成される。
【０１１７】
第３の画像データ分割回路123は，色差データＣｂ用のもので，低域の周波数成分，低域および中域の周波数成分ならびに低域，中域および高域の周波数成分のそれぞれをもつ第１の色差データＣｂ11，第２の色差データＣｂ12および第３の色差データＣｂ13に分割する。分割された第１の色差データＣｂ11，第２の色差データＣｂ12および第３の色差データＣｂ13が，低域の周波数成分，低域および中域の周波数成分ならびに低域，中域および高域の周波数成分のそれぞれのノイズ低減に適したパラメータが設定されている第１，第２および第３のノイズ低減回路137，138および139に入力する。ノイズ低減された第１の色差データＣｂ11，第２の色差データＣｂ12および第３の色差データＣｂ13が第３の画像データ合成回路65に入力することにより，第３の画像データ合成回路143において，一駒の画像を表す色差データＣｂが生成される。
【０１１８】
このように，色成分ごとに，かつ周波数帯域ごとに（どちらか一方でもよい）ノイズ低減処理の程度を変えることができるようになる。たとえば，入力する画像データがタングステン光のもとでの撮影により得られたようなものである場合には，青色成分が強くなるような処理が行われていることがあるが，このような場合に色差データＣｂのノイズをより抑えることができるようになる。
【０１１９】
色空間は，輝度データＹならびに色差データＣｒおよびＣｂだけにかぎらず，Ｌａｂ色空間などほかのものでもよいのはいうまでもない。
【０１２０】
この発明の実施例は，上述したフィルタ配列に限らず，他のフィルタ配列にも適用できるのはいうまでもない。たとえば図16に示すように，奇数行においては第４ｎ＋１列，第４ｎ＋２列，第４ｎ＋３列および第４ｎ＋４列のそれぞれに赤色の光成分，第１の緑色成分，青色成分および第２の緑色成分を透過する特性をもつフィルタが設けられており，偶数行においては第４ｎ＋１列，第４ｎ＋２列，第４ｎ＋３列および第４ｎ＋４列のそれぞれに青色の光成分，第２の緑色成分，赤色の光成分および第１の緑色成分を透過する特性をもつフィルタが設けられているようないわゆるハニカム配列のものにも適用できる。また，図17に示すように，奇数行奇数例には赤色の光成分を透過する特性をもつフィルタ，奇数行偶数列には第１の緑色成分を透過する特性をもつフィルタ，偶数行奇数列には第２の緑色成分を透過する特性をもつフィルタ，偶数行偶数列には青色成分を透過する特性をもつフィルタが設けられている，いわゆるベイヤ配列のものにも適用できる。このように，色フィルタの配列に規則性があれば，この実施例を適用できる。
【図面の簡単な説明】
【０１２１】
【図１】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図２】ディジタル信号処理回路の電気的構成を示すブロック図である。
【図３】撮像処理手順を示すフローチャートである。
【図４】ノイズ低減処理の設定処理手順を示すフローチャートである。
【図５】コンピュータ装置の電気的構成を示すブロック図である。
【図６】ＣＣＤのフィルタ配列の一部である。
【図７】色分割後の画素配列を示している。
【図８】色空間と画像データとの関係を示している。
【図９】色空間と画像データとの関係を示している。
【図１０】色空間と画像データとの関係を示している。
【図１１】色空間と画像データとの関係を示している。
【図１２】ノイズの標準偏差と画素レベルとの関係を示している。
【図１３】第１のノイズ低減処理回路の電気的構成を示すブロック図である。
【図１４】第２のノイズ低減処理回路の電気的構成を示すブロック図である。
【図１５】（Ａ），（Ｂ）および（Ｃ）は，周波数成分ごとの画像データの特性を示している。
【図１６】ＣＣＤのフィルタ配列の一部である。
【図１７】ＣＣＤのフィルタ配列の一部である。
【符号の説明】
【０１２２】
５  ＣＣＤ
10  ディジタル信号処理回路
36  第１のノイズ低減回路
37  同時化処理回路
38  RGB-YC変換回路
39  第２のノイズ低減回路
62  CD-ROM
【図１】
2006060661.tif 000008
【図２】
2006060661.tif 000009
【図３】
2006060661.tif 000010
【図４】
2006060661.tif 000011
【図５】
2006060661.tif 000012
【図６】
2006060661.tif 000013
【図７】
2006060661.tif 000014
【図８】
2006060661.tif 000015
【図９】
2006060661.tif 000016
【図１０】
2006060661.tif 000017
【図１１】
2006060661.tif 000018
【図１２】
2006060661.tif 000019
【図１３】
2006060661.tif 000020
【図１４】
2006060661.tif 000021
【図１５】
2006060661.tif 000022
【図１６】
2006060661.tif 000023
【図１７】
2006060661.tif 000024