(57)【要約】【課題】色再現性が劣化することなく、ノイズ低減を行うことができる画像処理装置，画像処理方法及び撮像装置を提供する。【解決手段】ＲＡＷデータのフレーム間差分データを取得し、フレーム間差分データの着目画素データと該着目画素データの周辺画素データとを、色情報が分離された色空間において帯域制限処理を行う手段と、着目画素データ及び前記周辺画素データの色情報を算出する手段と、着目画素データから色情報を分離する手段と、ノイズ成分と動き成分と分離する２次元処理を行う手段と、２次元処理の後、前記フレーム間差分データのノイズ成分及び動き成分のうち少なくとも一方を出力する手段とを備えている。【選択図】図４
2008236693.tif 000002
【特許請求の範囲】
【請求項１】
ＲＡＷデータのフレーム間差分データを取得し、前記フレーム間差分データの着目画素データと該着目画素データの周辺画素データとを、色情報が分離された色空間において帯域制限処理を行う手段と、
前記着目画素データ及び前記周辺画素データの色情報を算出する手段と、
前記着目画素データから色情報を分離する手段と、
ノイズ成分と動き成分と分離する２次元処理を行う手段と、
前記２次元処理の後、前記フレーム間差分データのノイズ成分及び動き成分のうち少なくとも一方を出力する手段とを備えていることを特徴とする画像処理装置。
【請求項２】
色情報が分離された前記色空間が、色差情報Ｙ、Ｃｂ、Ｃｒを含む色空間であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
ＲＡＷデータのフレーム間差分データを取得し、前記フレーム間差分データの着目画素データと該着目画素データの周辺画素データとを、色情報が分離された色空間において帯域制限処理を行うステップと、
前記着目画素データ及び前記周辺画素データの色情報を算出するステップと、
前記着目画素データから色情報を分離するステップと、
ノイズ成分と動き成分と分離する２次元処理を行うステップと、
前記２次元処理の後、前記フレーム間差分データのノイズ成分及び動き成分のうち少なくとも一方を出力するステップとを備えていることを特徴とする画像処理方法。
【請求項４】
色情報が分離された前記色空間が、色差情報Ｙ、Ｃｂ、Ｃｒを含む色空間であることを特徴とする請求項３に記載の画像処理方法。
【請求項５】
撮像したＲＡＷデータからフレーム間差分データを取得し、前記フレーム間差分データの着目画素データと該着目画素データの周辺画素データとを、色情報が分離された色空間において帯域制限処理を行う手段と、
前記着目画素データ及び前記周辺画素データの色情報を算出する手段と、
前記着目画素データから色情報を分離する手段と、
ノイズ成分と動き成分と分離する２次元処理を行う手段と、
前記２次元処理の後、前記フレーム間差分データのノイズ成分及び動き成分のうち少なくとも一方を出力する手段とを備えていることを特徴とする撮像装置。
【請求項６】
色情報が分離された前記色空間が、色差情報Ｙ、Ｃｂ、Ｃｒを含む色空間であることを特徴とする請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラーの動画の撮影時や静止画の合成時等に、ノイズ成分と被写体の動き成分とを分離してノイズ低減を行う画像処理装置，画像処理方法及び撮像装置に関する。
【背景技術】
【０００２】
同じ被写体を撮像した複数の２次元の画像に時間軸を加えた３次元の画像には、ノイズ成分と被写体の動き成分が含まれている。ノイズ成分は、時間軸に対して相関性がなく、また、動き成分は、時間軸に対して相関性が高い。このため、時間軸でノイズ成分を平均化することで、時間軸に対してノイズ低減を行うことができる。
【０００３】
従来、カラーの動画の撮影時や静止画の合成時等に、ノイズ成分と動き成分との分離はフレーム間差分データを周波数分離などの２次元処理により行うものがある。なお、従来のノイズ低減の方法としては、下記特許文献に示すものがある。
【０００４】
【特許文献１】特開２００１−８２２８号公報
【特許文献２】特開２００５−１７５８６４号公報
【特許文献３】特開平７−２１２６２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、ＲＡＷデータのフレーム間差分データを用いて行った場合には、単板データではフレームメモリの容量を減らすことができるメリットがあるが、同じ色の画素が格子状にとびとびに配置されているため、同じ色の画素フレーム間差分データでの演算では２次元処理の最適化が難しく、ノイズ成分と動き成分との分離が不十分となる。
一方、異なる色の画素のフレーム間差分データでの演算では被写体色の変化も差分データに含まれる。ＲＡＷデータで色情報は色毎の画素データのレベル差として現れるため、２次元空間上では、比較的変化が細かく、一般的に行われている細かな変化をノイズ成分として分離する方法では色情報もノイズ成分と扱われるため、色再現性が劣化してしまう点で改善の余地があった。
【０００６】
本発明は、上記事情に鑑みてなされたもので、その目的は、色再現性が劣化することなく、ノイズ低減を行うことができる画像処理装置，画像処理方法及び撮像装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の上記目的は、下記構成によって達成される。
（１）ＲＡＷデータのフレーム間差分データを取得し、前記フレーム間差分データの着目画素データと該着目画素データの周辺画素データとを、色情報が分離された色空間において帯域制限処理を行う手段と、
前記着目画素データ及び前記周辺画素データの色情報を算出する手段と、
前記着目画素データから色情報を分離する手段と、
ノイズ成分と動き成分と分離する２次元処理を行う手段と、
前記２次元処理の後、前記フレーム間差分データのノイズ成分及び動き成分のうち少なくとも一方を出力する手段とを備えていることを特徴とする画像処理装置。
（２）色情報が分離された前記色空間が、色差情報Ｙ、Ｃｂ、Ｃｒを含む色空間であることを特徴とする上記（１）に記載の画像処理装置。
（３）ＲＡＷデータのフレーム間差分データを取得し、前記フレーム間差分データの着目画素データと該着目画素データの周辺画素データとを、色情報が分離された色空間において帯域制限処理を行うステップと、
前記着目画素データ及び前記周辺画素データの色情報を算出する手段と、
前記着目画素データから色情報を分離するステップと、
ノイズ成分と動き成分と分離する２次元処理を行うステップと、
前記２次元処理の後、前記フレーム間差分データのノイズ成分及び動き成分のうち少なくとも一方を出力するステップとを備えていることを特徴とする画像処理方法。
（４）色情報が分離された前記色空間が、色差情報Ｙ、Ｃｂ、Ｃｒを含む色空間であることを特徴とする上記（３）に記載の画像処理方法。
（５）撮像したＲＡＷデータからフレーム間差分データを取得し、前記フレーム間差分データの着目画素データと該着目画素データの周辺画素データとを、色情報が分離された色空間において帯域制限処理を行う手段と、
前記着目画素データ及び前記周辺画素データの色情報を算出する手段と、
前記着目画素データから色情報を分離する手段と、
ノイズ成分と動き成分と分離する２次元処理を行う手段と、
前記２次元処理の後、前記フレーム間差分データのノイズ成分及び動き成分のうち少なくとも一方を出力する手段とを備えていることを特徴とする撮像装置。
（６）色情報が分離された前記色空間が、色差情報Ｙ、Ｃｂ、Ｃｒを含む色空間であることを特徴とする上記（５）に記載の撮像装置。
【０００８】
本発明は、ＲＡＷデータのフレーム間差分データを用いて、色情報が分離された色空間において２次元処理を実行するものである。こうすれば、ノイズ成分と動き成分とを分離し、分離後のフレーム間差分データの動き成分に色情報を合成でして出力することができ、また、分離したノイズ成分を出力することができる。こうすることで、２次元処理の最適化を行うことができるため、色再現性が劣化することなく、ノイズ低減を行うことができる。
【発明の効果】
【０００９】
本発明によれば、色再現性が劣化することなく、ノイズ低減を行うことができる画像処理装置，画像処理方法及び撮像装置を提供できる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明にかかる撮像装置及び画像処理装置の一実施形態に係るデジタルカメラのブロック構成図である。このデジタルカメラは、撮像部２１と、撮像部２１から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部２２と、アナログ信号処理部２２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２３と、後述のシステム制御部（ＣＰＵ）２９からの指示によってＡ／Ｄ２３，アナログ信号処理部２２，撮像部２１の駆動制御を行う駆動部（タイミングジェネレータＴＧを含む）２４と、ＣＰＵ２９からの指示によって発光するフラッシュ２５とを備える。
【００１１】
撮像部２１は、被写界からの光を集光する光学レンズ系２１ａと、該光学レンズ系２１ａを通った光を絞る絞りやメカニカルシャッタ２１ｂと、光学レンズ系２１ａによって集光され絞りによって絞られた光を受光し撮像画像データ（アナログ画像データ）を出力する固体撮像素子２１ｃとを備える。
【００１２】
本実施形態のデジタルカメラは更に、Ａ／Ｄ２３から出力されるデジタル画像データを取り込みホワイトバランス補正，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備え、また、システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続されている。
【００１３】
本実施形態の撮像装置は、デジタル信号処理部２６で、撮像した画像のＲＡＷデータに基づいてノイズ低減処理を行う機能を有している。
【００１４】
図２は、ノイズ低減処理の一実子形態を説明する図である。図３は、本実施形態において使用するＲＡＷデータのフレーム間差分データの一例を示す簡略図である。図４は、ノイズ低減処理の手順を説明するブロック図である。図５は、ノイズ低減処理の手順を示すフローチャートである。
【００１５】
図２に示すように、最初に、フレームメモリからＲＡＷデータのフレーム間差分データを取得する。ＲＡＷデータのフレーム間差分データは、図３のように簡略的に表すことができ、複数の画像を時間軸に対する差分のみを抽出したデータである。図３では、Ｒは赤色の画素を示し、Ｇは緑色の画素を示し、Ｂは青色の画素を示しており、以下、それぞれＲ，Ｇ，Ｂともいう。なお、図３においてＲ，Ｇ，Ｂに付された２桁の数字は、各色画素の位置を表している。
【００１６】
フレーム間差分データは、各画像の同じ画素ごとに差分データを算出して行列状に配置されている。本実施形態では、フレームメモリに記憶されたＲＡＷデータからフレーム間差分データが算出され、後述するノイズ低減処理に使用される。
【００１７】
先ず、フレーム間差分データの、ノイズ低減処理を行う際に着目する画素データを着目画素データに設定する。また、フレーム間差分データにおいて、着目画素の周辺近傍の画素データを周辺画素データに設定する。なお、本実施形態では、着目画素データをＢ３３に設定した。通常、画素データには、色情報と明るさ情報とを有している。また、画素データには、ノイズ成分が重畳されている。
【００１８】
次に、フレーム間差分データの着目画素データと該着目画素データの周辺画素データとを、色情報が分離された色空間において帯域制限処理を行う。図４に示すように、帯域制限処理は、電流帰還アンプ（ＣＦＡ）からフレーム間差分データが帯域制限処理部に入力され、該帯域制限処理部で帯域制限処理が行われる。
【００１９】
本発明において、色情報が分離された色空間とは、色情報と明るさの情報とを有する色空間をいう。一般的に、色情報としてはＣｂ／Ｃｒ、明るさ情報としてＹが用いられているため、本実施形態では、色情報が分離された色空間の一例として、Ｙ／Ｃｂ／Ｃｒの色空間を用いて説明する。なお、本発明において、色情報が分離された色空間は、特に、Ｙ／Ｃｂ／Ｃｒの色空間に限定されない。
【００２０】
フレーム間差分データをＹ／Ｃｂ／Ｃｒの色空間において帯域制限処理する場合には、、Ｒ／Ｇ／ＢからＹ／Ｃｂ／Ｃｒの情報へ変換する。変換は、下記式によって行うことができる。
【００２１】
【数１】
2008236693.tif 000003
【００２２】
ここで、近傍の周辺画素データより色情報であるＣｂ／Ｃｒを求め、色情報の帯域を制限し、ノイズ成分の除去を行う。ここでは、ＲＡＷデータの色空間であるＲＧＢの色空間での帯域制限処理として近傍の画素の平均処理を行う。なお、Ｃｂ／Ｃｒ空間の帯域制限処理を行うことも同様の効果を得ることができる。
【００２３】
着目画素データＢ３３に対して周辺画素データの平均処理する場合は、例えば、下記式のように演算することができる。下記式においてＡＶＥ（Ｂ）、ＡＶＥ（Ｇ）、ＡＶＥ（Ｒ）は、それぞれ周辺のＢ、Ｇ、Ｒの平均値を示している。
【００２４】
【数２】
2008236693.tif 000004
【００２５】
次に、上記ＡＶＥ（Ｂ）、ＡＶＥ（Ｇ）、ＡＶＥ（Ｒ）と、上記数１の式ともとづいて色情報であるＣｂ／Ｃｒを算出する。本実施形態では、帯域制限処理部によって帯域制限処理された画素データに基づいて色情報算出部によって色情報を算出する。ここで、色情報Ｃｂ／Ｃｒは、帯域制限処理によって平均化されているため、ノイズが除去されている。
【００２６】
色情報を算出した後、分離部において、フレーム間差分データの着目画素データから算出された色情報を分離する。色情報を分離したデータであるＹを、下記式によって演算する。なお、下記式は、Ｒ／Ｇ／ＢとＹ／Ｃｂ／Ｃｒの変換式を用いて変形したものである。
【００２７】
【数３】
2008236693.tif 000005
【００２８】
また、着目画素データがＲｘｘやＧｚｚ（ｘｘ及びｚｚはそれぞれ、図３に示すように、フレーム間差分データのいずれかの画素データの位置に対応する任意の２桁の数字とする。）の場合も上記式と同様に着目画素データの周辺画素データから算出した色情報Ｃｂ／Ｃｒから算出することができる。着目画素データがＲｘｘやＧｘｘの場合の演算式を下記に示す。
【００２９】
【数４】
2008236693.tif 000006
【００３０】
ここで、上記の式より算出されたＹは、もともとノイズ成分を含むＲＧＢの情報から帯域制限処理によりノイズ成分を除去したＣｂ／Ｃｒを減算したものであるため、ノイズ成分を含んだものである。
【００３１】
フレーム間差分データから色情報を分離した後、求めたＹに２次元処理を行う。２次元処理は、Ｙに２次元フィルタをかけることで、ノイズ成分と動き成分とに分離するものである。本実施形態では、２次元フィルタとしてローパスフィルタ処理を用いた。
【００３２】
Ｙのローパスフィルタ処理により、動き成分を抽出する場合には、下記式によって演算することができる。下記式においてＹ３３は、ローパスフィルタ処理されたＹ３３（Ｂ３３の明るさ情報）を示している。
【００３３】
【数５】
2008236693.tif 000007
【００３４】
上記のように算出されたＬＰＦ（Ｙ３３）の情報に基づいてノイズ成分を抽出する場合には、下記式の演算を実行する。下記式においてＮＹ３３（Ｙ３３）は、着目画素データＢ３３のノイズ成分を表している。
【００３５】
【数６】
2008236693.tif 000008
【００３６】
上記式によれば、ノイズ成分を含むＹ３３より、ノイズ成分が除去されたＬＰＦ（Ｙ３３）を減算することで、ノイズ成分のみを抽出することができる。その後、抽出されたノイズ成分が出力される。
【００３７】
次に、ノイズ成分のみを除去する場合には、下記式のように動き成分に分離された色情報を合成することで算出することができる。下記式では、Ｒ／Ｇ／ＢからＹ／Ｃｂ／Ｃｒに変換する式を用いている。
【００３８】
【数７】
2008236693.tif 000009
【００３９】
また、着目画素データがＲｘｘやＧｚｚの場合も上記式と同様に着目画素データの周辺画素データから算出した色情報Ｃｂ／Ｃｒから算出することができる。着目画素データがＲｘｘやＧｘｘの場合の演算式を下記に示す。
【００４０】
【数８】
2008236693.tif 000010
【００４１】
上記式によれば、ノイズ成分が除去されたＬＰＦ（Ｙｘｘ／Ｙｚｚ）に色情報Ｃｂ／Ｃｒを加算することで、ノイズ成分が除去された色情報Ｒ／Ｇを抽出することができる。
【００４２】
画素に色情報を持たない色黒データが含まれる場合には、その画素の色分離部分はバイパスし、２次元処理のみをおこなうことでノイズ成分と動き成分との分離を行うことができる。
【００４３】
本発明は、ＲＡＷデータのフレーム間差分データを用いて、色情報が分離された色空間において２次元処理を実行するものである。こうすれば、ノイズ成分と動き成分とを分離し、分離後のフレーム間差分データの動き成分に色情報を合成でして出力することができ、また、分離したノイズ成分を出力することができる。こうすることで、２次元処理の最適化を行うことができるため、色再現性が劣化することなく、ノイズ低減を行うことができる。
【図面の簡単な説明】
【００４４】
【図１】撮像装置及び画像処理装置の一実施形態のブロック構成図である。
【図２】ノイズ低減処理の一実子形態を説明する図である。
【図３】ＲＡＷデータのフレーム間差分データを示す簡略図である。
【図４】ノイズ低減処理の手順を説明するブロック図である。
【図５】ノイズ低減処理の手順を示すフローチャートである。
【符号の説明】
【００４５】
２６  デジタル信号処理部
２９  システム制御部
【図１】
2008236693.tif 000011
【図２】
2008236693.tif 000012
【図３】
2008236693.tif 000013
【図４】
2008236693.tif 000014
【図５】
2008236693.tif 000015