(57)【要約】【課題】  画像処理に起因して色ノイズが目立ってしまうことを抑え、画像の見映えを向上させること。【解決手段】  ｎ色（ただし、ｎ≧２の自然数）の色成分を含む画像データを取得する取得部と、画像データのｎ色の色成分のうち、１色以上、（ｎ−１）色以下の色成分の画像データの信号値が上限値または下限値にクリップされているか否かを、画像データに含まれる画素ごとに、近傍画素と比較することにより判定する判定部と、判定部により上限値または下限値にクリップされていると判定された画素について、クリップされている色成分ごとに、画素の信号値を隣接画素に対してランダムに調整する調整部とを備える。【選択図】      図１
2010021833.tif 000002
【特許請求の範囲】
【請求項１】
ｎ色（ただし、ｎ≧２の自然数）の色成分を含む画像データを取得する取得部と、
前記画像データのｎ色の色成分のうち、１色以上、（ｎ−１）色以下の色成分の前記画像データの信号値が上限値または下限値にクリップされているか否かを、前記画像データに含まれる画素ごとに、近傍画素と比較することにより判定する判定部と、
前記判定部により前記上限値または前記下限値にクリップされていると判定された画素について、クリップされている色成分ごとに、前記画素の信号値を前記隣接画素に対してランダムに調整する調整部と
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像データに画像処理を施す画像処理部を備え、
前記調整部は、前記画素の信号値を調整する処理を、前記画像処理部による画像処理中と画像処理後との少なくとも一方において行う
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記取得部は、前記画像データが生成された際の撮影感度を取得し、
前記調整部は、前記撮影感度に応じて前記画素の信号値を調整する
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記画像データに画像処理を施す画像処理部を備え、
前記判定部は、前記画像データのｎ色の色成分のうち、１色以上、（ｎ−１）色以下の色成分の前記画像データの信号値が前記画像処理により前記上限値または前記下限値にクリップされているか否かを判定し、
前記調整部は、前記画像処理時のクリップ量に応じて前記画素の信号値を調整する
ことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記調整部は、クリップされている色成分ごとに、前記画素の信号値を調整する調整内容を変更する
ことを特徴とする画像処理装置。
【請求項６】
処理対象の画像データに対する画像処理をコンピュータで実現するための画像処理プログラムであって、
ｎ色（ただし、ｎ≧２の自然数）の色成分を含む画像データを取得する取得ステップと、
前記画像データのｎ色の色成分のうち、１色以上、（ｎ−１）色以下の色成分の前記画像データの信号値が上限値または下限値にクリップされているか否かを、前記画像データに含まれる画素ごとに、近傍画素と比較することにより判定する判定ステップと、
前記判定ステップにおいて前記上限値または前記下限値にクリップされていると判定された画素について、クリップされている色成分ごとに、前記画素の信号値を前記隣接画素に対してランダムに調整する調整ステップと
を備えたことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、処理対象の画像データに画像処理を施す画像処理装置、および、処理対象の画像データに対する画像処理をコンピュータで実現するための画像処理プログラムに関する。
【背景技術】
【０００２】
従来より、電子カメラなどにより生成された画像データに対して、ノイズを除去する処理が行われている。このようなノイズは、例えば、高感度で撮影した画像データに撮像素子のノイズが重畳する場合などに発生し、結果として画質が劣化するという問題がある。特許文献１の発明では、光学ズームや電子ズームなどの撮像条件に応じて、適切なノイズ除去を行っている。
【特許文献１】特開２０００−２７８５９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述したノイズ除去、階調変換処理、色処理などの画像処理は、ディジタル演算装置のｂｉｔ枠内で行われる。そして、この枠（例えば、８ｂｉｔの場合には０から２５５）外となったディジタル信号は、上限値または下限値にクリップされる。
【０００４】
複数色の色成分を含む画像データにおいては、クリップされた色成分とクリップされていない色成分とでＳ／Ｎが相違してしまい、色ノイズが発生する場合がある。この色ノイズは、高感度撮影において特に顕著になる。色ノイズが発生すると、画像の見映えが悪化する。
【０００５】
本発明は、画像処理に起因して色ノイズが目立ってしまうことを抑え、画像の見映えを向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、ｎ色（ただし、ｎ≧２の自然数）の色成分を含む画像データを取得する取得部と、前記画像データのｎ色の色成分のうち、１色以上、（ｎ−１）色以下の色成分の前記画像データの信号値が上限値または下限値にクリップされているか否かを、前記画像データに含まれる画素ごとに、近傍画素と比較することにより判定する判定部と、前記判定部により前記上限値または前記下限値にクリップされていると判定された画素について、クリップされている色成分ごとに、前記画素の信号値を前記隣接画素に対してランダムに調整する調整部とを備える。
【０００７】
なお、好ましくは、前記画像データに画像処理を施す画像処理部を備え、前記調整部は、前記画素の信号値を調整する処理を、前記画像処理部による画像処理中と画像処理後との少なくとも一方において行っても良い。
【０００８】
また、好ましくは、前記取得部は、前記画像データが生成された際の撮影感度を取得し、前記調整部は、前記撮影感度に応じて前記画素の信号値を調整しても良い。
【０００９】
また、好ましくは、前記画像データに画像処理を施す画像処理部を備え、前記判定部は、前記画像データのｎ色の色成分のうち、１色以上、（ｎ−１）色以下の色成分の前記画像データの信号値が前記画像処理により前記上限値または前記下限値にクリップされているか否かを判定し、前記調整部は、前記画像処理時のクリップ量に応じて前記画素の信号値を調整しても良い。
【００１０】
また、好ましくは、前記調整部は、クリップされている色成分ごとに、前記画素の信号値を調整する調整内容を変更しても良い。
【００１１】
また、上記発明に関する構成を、処理対象の画像データに対する画像処理を実現するための画像処理プログラムに変換して表現したものも本発明の具体的態様として有効である。
【発明の効果】
【００１２】
本発明によれば、画像処理に起因して色ノイズが目立ってしまうことを抑え、画像の見映えを向上させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を用いて本発明の実施形態について説明する。本実施形態では、本発明の画像処理装置を備えた電子カメラを例に挙げて説明する。
【００１４】
図１は、本実施形態の電子カメラ１の構成および処理の流れを示す機能ブロック図である。電子カメラ１は、図１に示すように、撮影レンズ１１、撮像素子１２、Ａ／Ｄ変換部１３、ホワイトバランス（以下、「ＷＢ」と称する。）ゲイン調整部１４、補間処理部１５、色処理部１６、階調変換処理部１７、圧縮処理部１８、記録部１９の各部を備える。
【００１５】
撮像素子１２は、ＣＣＤやＣＭＯＳなどの光電変換素子であり、撮影レンズ１１を介した被写体像を撮像する。Ａ／Ｄ変換部１３は、撮像素子１２から出力されたアナログ信号をディジタル信号に変換する。ＷＢゲイン調整部１４は、Ａ／Ｄ変換部１３から出力されたディジタル信号にホワイトバランス調整処理を施す。補間処理部１５は、ＷＢゲイン調整部１４によるＷＢ調整後の画像データに補間処理を施す。色処理部１６は、補間処理部１５による補間処理後の画像データに色処理を施す。階調変換処理部１７は、色処理部１６による色処理後の画像データに階調変換処理を施す。圧縮処理部１８は、階調変換処理部１７による階調変換処理後の画像データに圧縮処理を施す。記録部１９は、不図示のカードインタフェースやメモリカードを備え、圧縮処理部１８による圧縮処理後の画像データを記録する。
【００１６】
電子カメラ１は、さらに、各部を統括的に制御する制御部２０、不図示のレリーズボタンや設定ボタンなどを含む操作部２１、不図示のモニタなどを備え、画像やメニューなどを表示する表示部２２を備える。制御部２０は、各部を制御するためのプログラムを予め記憶する。
【００１７】
撮影時には、操作部２１を介して撮影指示を受け付けると、制御部２０はこれを検知して撮影レンズ１１および撮像素子１２を制御し、被写体像を撮像する。制御部２０は、操作部２１を介したユーザ操作、または、上述したプログラムにしたがって、撮像素子１２における撮影感度を決定する。撮像素子１２から出力されたアナログ信号は、Ａ／Ｄ変換部１３、ＷＢゲイン調整部１４、補間処理部１５、色処理部１６、階調変換処理部１７、圧縮処理部１８を順に経て、画像データとして記録部１９に記録される。なお、ＷＢゲイン調整部１４以降の各部における処理は、基本的に８ｂｉｔの枠内で行われるものとする。また、Ａ／Ｄ変換部１３による変換後の各画像データは、Ｒ，Ｇ，Ｂの３色の色成分を含む画像データであるものとする。
【００１８】
次に、色処理部１６における処理時の制御部２０の動作について、図２に示すフローチャートを用いて説明する。
【００１９】
ステップＳ１において、制御部２０は、色処理部１６を制御して、補間処理部１５による補間処理後の画像データにマトリックス処理を施す。マトリックス処理は、例えば、公知の３×３のマトリックスを用いた色処理であり、色域を鮮やかな方向に拡張する処理である。
【００２０】
ステップＳ２において、制御部２０は、注目画素に関して、Ｒ成分の信号値がクリップされているか判別する。
【００２１】
図３Ａは、ステップＳ１で説明したマトリックス処理前の画像データの信号値を示すグラフであり、図３Ｂは、マトリックス処理後の画像データの信号値を示すグラフである。それぞれのグラフにおいて、縦軸はＲＧＢ各色の信号値を示し、横軸は、画像における画素位置を示す。
【００２２】
マトリックス処理前には、図３Ａに示すように各色の信号値は、０〜２５５の値を取っている。しかし、マトリックス処理後には、図３Ｂに示すように、グラフの左側の領域Ａ１においてＲ成分の信号値が下限値（＝０）にクリップされており、グラフの右側の領域Ａ２においてＧ成分の信号値が上限値（＝２５５）にクリップされている。下限値にクリップされている部分は、画像処理の結果、０以下の信号値が算出されてしまった部分であり、上限値にクリップされている部分は、画像処理の結果、２５５以上の信号値が算出されてしまった部分である。制御部２０は、注目画素に関して、Ｒ成分の信号値がクリップされているか否かを判定し、ステップＳ３に進む。
【００２３】
ただし、制御部２０は、注目画素と、注目画素に隣接した少なくとも１つの画素がクリップされている場合のみ、その注目画素がクリップされていると判定する。このような判定を行うのは、クリップされた画素がまとまっている場合に、色成分のＳ／Ｎが相違してしまったことに起因して発生した色ノイズが目立ち易くなるためである。言い換えれば、クリップされた画素が孤立点である場合には、上記した要因による色ノイズは目立ちにくいので、後述する信号値の調整を行う必要性は低い。
【００２４】
また、隣接した画素は、１ラインずつ判定を行う場合には左右の画素に相当する。しかし、上下方向に隣接する画素や、斜め方向に隣接する画素を判定の対象としても良い。
【００２５】
ステップＳ３において、制御部２０は、注目画素に関して、ステップＳ２で説明したＲ成分と同様に、Ｇ成分の信号値がクリップされているか判別する。
【００２６】
ステップＳ４において、制御部２０は、注目画素に関して、ステップＳ２で説明したＲ成分と同様に、Ｂ成分の信号値がクリップされているか判別する。
【００２７】
ステップＳ５において、制御部２０は、ステップＳ２からステップＳ４の判別結果に基づいて、クリップされている色成分の数を判定する。そして、制御部２０は、クリップされている色成分が１色または２色である場合にはステップＳ６に進み、３色全ての色成分がクリップされている場合および何れの色成分もクリップされていない場合には、後述するステップＳ８に進む。
【００２８】
ステップＳ６において、制御部２０は、後述する信号値の調整時における調整量を決定する。制御部２０は、ＲＧＢ各色成分ごとに、以下のＡ）またはＢ）の方法の何れかにより調整量を決定する。なお、隣接した画素に一律の調整量を適用しても、色ノイズが目立ってしまうことを抑えることはできない。したがって、調整量は、隣接した画素においてランダムであることが好ましい。
【００２９】
Ａ）調整量マップを用いる方法
制御部２０は、画素位置に応じた調整量マップを予め用意し、この調整量マップに応じて調整量を決定する。図４に調整量マップの一例を示す。図４は、８×８の調整量マップの例である。調整量マップは、図４に示すように、隣接した画素においてランダムな値が定められている。また、調整量マップは、図４に示すように、調整後の信号値が上限値または下限値になる画素が存在するように、調整量＝０である画素を含む。そして、制御部２０は、この調整量マップを画像データの大きさに応じて繰り返し使用することにより、注目画素の調整量を決定する。なお、複数の異なる調整量マップを予め用意し、順番に使用する構成としても良い。
【００３０】
Ｂ）クリップ量を用いる方法
制御部２０は、上限値または下限値にクリップする際に切り捨てた分に相当する値に所定のゲイン（例えば、０．５など）を乗じて注目画素の調整量とする。例えば、画像処理の結果「−２．０」という信号値が算出され、下限値（＝０）にクリップされた画素に関しては、切り捨てた分に相当する値である「２．０」にゲイン「０．５」を乗じて、調整量を「１．０」とする。
【００３１】
なお、制御部２０は、処理対象の画像データが撮像された際の撮影感度に応じて、上述した調整量（Ａ）またはＢ）の何れかの方法により決定した調整量）を調節しても良い。例えば、撮影感度に応じたゲインを上述した調整量に乗じることにより、撮影感度が高いほど調整量を多く調節し、撮影感度が低いほど調整量を少なく調節しても良い。
【００３２】
また、調整量は、色成分ごとに異なる量であっても良い。例えば、Ａ）の方法であれば、色成分ごとに調整量マップを用意しても良いし、色成分ごと調整量マップをシフトして（ずらして）使用しても良い。また、Ｂ）の方法であれば、色成分ごとに異なるゲインを乗じる構成としても良い。また、各色成分の特性や、画像処理の特性に応じて、画素の信号値を調整する調整内容を変更する構成としても良い。例えば、色処理が特にＧ成分を拡大する処理である場合には、Ｇ成分に関する調整量を他の色成分に関する調整量よりも多くする構成としても良い。
【００３３】
ステップＳ７において、制御部２０は、信号値を調整する。制御部２０は、ステップＳ６で決定した色成分ごとの調整量を、各色成分の信号値に加算することにより、信号値を調整する。ただし、上限値（＝２５５）にクリップされている場合には、ステップＳ６で決定した調整量を負値にして加算し、下限値（＝０）にクリップされている場合には、ステップＳ６で決定した調整量を正値にして加算する。
【００３４】
ステップＳ８において、制御部２０は、全ての画素について処理を終了したか否かを判定する。制御部２０は、全ての画素についてステップＳ２からステップＳ７で説明した処理を行い、全ての画素についてこれらの処理を終了したと判定すると、色処理部１６における処理を終了する。
【００３５】
以上説明したように、本実施形態によれば、ｎ色の色成分のうち、１色〜（ｎ−１）色の色成分の画像データの信号値が上限値または下限値にクリップされているか否かを、画像データに含まれる画素ごとに、近傍画素と比較することにより判定する。そして、上限値または下限値にクリップされていると判定された画素について、クリップされている色成分ごとに、画素の信号値を隣接画素に対してランダムに調整する。したがって、画像処理に起因して色ノイズが目立ってしまうことを抑え、画像の見映えを向上させることができる。
【００３６】
また、本実施形態によれば、画素の信号値を調整する処理を、画像処理部による画像処理中と画像処理後との少なくとも一方において行う。したがって、その画像処理に起因して色ノイズが目立ってしまうことをその都度抑えることができる。
【００３７】
また、本実施形態によれば、撮影感度に応じて画素の信号値を調整する。したがって、撮影感度に応じて最適な調整を行うことができる。
【００３８】
また、本実施形態によれば、画像処理により上限値または下限値にクリップされているか否かを判定し、画像処理時のクリップ量に応じて画素の信号値を調整する。したがって、クリップ量に応じて最適な調整を行うことができる。
【００３９】
また、本実施形態によれば、クリップされている色成分ごとに、画素の信号値を調整する調整内容を変更する。したがって、色の特性に応じた最適な調整を行うことができる。
【００４０】
なお、本実施形態では、色処理部１６における処理の最後に信号値を調整する処理を行う場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、色処理部１６による処理が複数段階の処理からなる場合には、各段階の処理を終了するごとに本実施形態で説明した信号値を調整する処理を行っても良い。
【００４１】
また、色処理以外の画像処理時に、本実施形態で説明した信号値を調整する処理を行っても良い。例えば、ノイズ除去処理、輪郭強調処理、階調変換処理などにおいても、本実施形態で説明した信号値を調整する処理を行っても良い。この場合、常に同様の調整を行うのではなく、画像処理の内容や特性に応じて、信号値を調整する処理の内容をそれぞれ最適化するのが好ましい。
【００４２】
さらに、何らかの画像処理を行う度に、信号値がクリップされたか否かの判定を行い、判定結果をフラグなどにより識別可能にしておき、適当なタイミングで本実施形態で説明した信号値を調整する処理を行っても良い。
【００４３】
また、本実施形態では、各部における処理が８ｂｉｔの枠内で行われる場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、各部における処理が１２ｂｉｔの枠内で行われる場合には、クリップの下限値＝０、クリップの上限値＝４０９５とすれば良い。
【００４４】
また、本実施形態では、画像データは、Ｒ，Ｇ，Ｂの３色の色成分を含む画像データである場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、Ｙ，Ｃｂ，ＣｒやＣ，Ｍ，Ｙの色成分を含む画像データにも本発明を同様に適用することができる。Ｙ，Ｃｂ，Ｃｒの色成分を含む画像データについては、Ｃｂ成分とＣｒ成分との一方のみがクリップされた場合に、本実施形態で説明した信号値を調整する処理を行うと良い。
【００４５】
また、本実施形態で説明した信号値を調整する処理を行ったこと示す情報を、画素位置などに対応づけて記録する構成としても良い。このような構成とすることにより、ユーザは、信号値の調整が行われたことを後から確認することができる。
【００４６】
また、本実施形態で説明した信号値を調整する処理を、コンピュータなどの画像処理装置で行う構成としても良い。この場合、コンピュータに、本実施形態の図２で説明したフローチャートのステップＳ２からステップＳ８で説明した処理の一部または全部を実現可能なプログラムを予め記憶しておけば良い。
【図面の簡単な説明】
【００４７】
【図１】本実施形態の電子カメラ１の構成および処理の流れを示す機能ブロック図である。
【図２】色処理部１６における処理時の制御部２０の動作を示すフローチャートである。
【図３】クリップについて説明する図である。
【図４】調整量マップの一例を示す図である。
【符号の説明】
【００４８】
１…電子カメラ，１１…撮影レンズ，１２…撮像素子，１３…Ａ／Ｄ変換部，１４…ＷＢ調整部，１５…補間処理部，１６…色処理部，１７…階調変換処理部，１８…圧縮処理部，１９…記録部，２０…制御部，２１…操作部，２２…表示部
【図１】
2010021833.tif 000003
【図２】
2010021833.tif 000004
【図３】
2010021833.tif 000005
【図４】
2010021833.tif 000006