(57)【要約】【課題】画像の質感を十分に向上させる。【解決手段】画像処理装置は、画像を取得する画像取得部１と、画像取得部１によって取得された画像中の被写体表面の粗さ情報を取得する粗さ情報取得部２と、画像取得部１によって取得された画像中の被写体表面の凹凸情報を取得する凹凸情報取得部３と、画像取得部１によって取得された画像中の被写体表面の鏡面反射情報を取得する鏡面反射情報取得部４と、粗さ情報取得部２によって取得された粗さ情報、凹凸情報取得部３によって取得された凹凸情報、および、鏡面反射情報取得部４によって取得された鏡面反射情報のうちの少なくとも２つの情報に基づいて、画像に付加するノイズ量を決定するノイズ量決定部５と、画像取得部１によって取得された画像に、ノイズ量決定部５によって決定されたノイズ量のノイズを付加するノイズ付加部５とを備える。【選択図】図１
2013105447.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得部と、
前記画像取得部によって取得された画像中の被写体表面の粗さ情報を取得する粗さ情報取得部と、
前記画像取得部によって取得された画像中の被写体表面の凹凸情報を取得する凹凸情報取得部と、
前記画像取得部によって取得された画像中の被写体表面の鏡面反射情報を取得する鏡面反射情報取得部と、
前記粗さ情報取得部によって取得された粗さ情報、前記凹凸情報取得部によって取得された凹凸情報、および、前記鏡面反射情報取得部によって取得された鏡面反射情報のうちの少なくとも２つの情報に基づいて、画像に付加するノイズ量を決定するノイズ量決定部と、
前記画像取得部によって取得された画像に、前記ノイズ量決定部によって決定されたノイズ量のノイズを付加するノイズ付加部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記ノイズ量決定部は、前記粗さ情報取得部によって取得された粗さ情報、前記凹凸情報取得部によって取得された凹凸情報、および、前記鏡面反射情報取得部によって取得された鏡面反射情報の全ての情報に基づいて、前記ノイズ量を決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ量決定部は、前記粗さ情報取得部によって取得された粗さ情報で示される画像の粗さが所定の粗さ以上の場合に、前記粗さ情報で示される画像の粗さが前記所定の粗さ未満の場合に比べてノイズ量が大きくなるように、前記ノイズ量を決定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ノイズ量決定部は、前記凹凸情報取得部によって取得された凹凸情報で示される凹凸度合いが所定の凹凸度合い以上の場合に、前記凹凸情報で示される凹凸度合いが前記所定の凹凸度合い未満の場合に比べてノイズ量が大きくなるように、前記ノイズ量を決定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記ノイズ量決定部は、前記鏡面反射情報取得部によって取得された鏡面反射情報で示される鏡面反射度合いが所定の鏡面反射度合い以上の場合に、前記鏡面反射情報で示される鏡面反射度合いが前記所定の鏡面反射度合い未満に比べてノイズ量が小さくなるように、前記ノイズ量を決定する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記ノイズ量決定部は、前記粗さ情報取得部によって取得された粗さ情報から求まる第１のパラメータ、前記凹凸情報取得部によって取得された凹凸情報から求まる第２のパラメータ、および、前記鏡面反射情報取得部によって取得された鏡面反射情報から求まる第３のパラメータのうちの少なくとも２つのパラメータを加算することによって、前記ノイズ量を決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記ノイズ量決定部は、前記第１のパラメータ、前記第２のパラメータ、および、前記第３のパラメータをそれぞれ、前記粗さ情報を変数とする関数、前記凹凸情報を変数とする関数、および、前記鏡面反射情報を変数とする関数から求める、
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記粗さ情報、前記凹凸情報、および、前記鏡面反射情報と、前記ノイズ量との関係を定めたルックアップテーブルを記憶する記憶部をさらに備え、
前記ノイズ量決定部は、前記粗さ情報取得部によって取得された粗さ情報、前記凹凸情報取得部によって取得された凹凸情報、および、前記鏡面反射情報取得部によって取得された鏡面反射情報と、前記記憶部に記憶されているルックアップテーブルとに基づいて、前記ノイズ量を決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
画像を取得するステップと、
前記取得した画像中の被写体表面の粗さ情報を取得するステップと、
前記画像取得部によって取得した画像中の被写体表面の凹凸情報を取得するステップと、
前記画像取得部によって取得した画像中の被写体表面の鏡面反射情報を取得するステップと、
前記取得した粗さ情報、前記取得した凹凸情報、および、前記取得した鏡面反射情報のうちの少なくとも２つの情報に基づいて、画像に付加するノイズ量を決定するステップと、
前記取得した画像に、前記決定したノイズ量のノイズを付加するステップと、
を有することを特徴とする画像処理方法。
【請求項１０】
画像を取得するステップと、
前記取得した画像中の被写体表面の粗さ情報を取得するステップと、
前記画像取得部によって取得した画像中の被写体表面の凹凸情報を取得するステップと、
前記画像取得部によって取得した画像中の被写体表面の鏡面反射情報を取得するステップと、
前記取得した粗さ情報、前記取得した凹凸情報、および、前記取得した鏡面反射情報のうちの少なくとも２つの情報に基づいて、画像に付加するノイズ量を決定するステップと、
前記取得した画像に、前記決定したノイズ量のノイズを付加するステップと、
をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の質感を向上させる技術に関する。
【背景技術】
【０００２】
従来、画像のエッジ情報の分布に基づく値であるエッジ特徴量に応じた大きさのノイズを、画像に付加することによって、画像の質感を向上させる技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３３１１６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、画像のエッジ特徴量のみに基づいて、画像の質感を向上させる処理を行うため、画像の質感を十分に向上させることができなかった。
【０００５】
本発明は、画像の質感を十分に向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある態様に係る画像処理装置は、画像を取得する画像取得部と、前記画像取得部によって取得された画像中の被写体表面の粗さ情報を取得する粗さ情報取得部と、前記画像取得部によって取得された画像中の被写体表面の凹凸情報を取得する凹凸情報取得部と、前記画像取得部によって取得された画像中の被写体表面の鏡面反射情報を取得する鏡面反射情報取得部と、前記粗さ情報取得部によって取得された粗さ情報、前記凹凸情報取得部によって取得された凹凸情報、および、前記鏡面反射情報取得部によって取得された鏡面反射情報のうちの少なくとも２つの情報に基づいて、画像に付加するノイズ量を決定するノイズ量決定部と、前記画像取得部によって取得された画像に、前記ノイズ量決定部によって決定されたノイズ量のノイズを付加するノイズ付加部と、を備える。
【０００７】
本発明の別の態様に係る画像処理方法は、画像を取得するステップと、前記取得した画像中の被写体表面の粗さ情報を取得するステップと、前記画像取得部によって取得した画像中の被写体表面の凹凸情報を取得するステップと、前記画像取得部によって取得した画像中の被写体表面の鏡面反射情報を取得するステップと、前記取得した粗さ情報、前記取得した凹凸情報、および、前記取得した鏡面反射情報のうちの少なくとも２つの情報に基づいて、画像に付加するノイズ量を決定するステップと、前記取得した画像に、前記決定したノイズ量のノイズを付加するステップと、を有する。
【０００８】
本発明のさらに別の態様に係る画像処理プログラムは、画像を取得するステップと、前記取得した画像中の被写体表面の粗さ情報を取得するステップと、前記画像取得部によって取得した画像中の被写体表面の凹凸情報を取得するステップと、前記画像取得部によって取得した画像中の被写体表面の鏡面反射情報を取得するステップと、前記取得した粗さ情報、前記取得した凹凸情報、および、前記取得した鏡面反射情報のうちの少なくとも２つの情報に基づいて、画像に付加するノイズ量を決定するステップと、前記取得した画像に、前記決定したノイズ量のノイズを付加するステップと、をコンピュータに実行させるための画像処理プログラムである。
【発明の効果】
【０００９】
本発明によれば、画像中の被写体表面の粗さ情報、凹凸情報、および、鏡面反射情報のうちの少なくとも２つの情報に基づいて、画像に付加するノイズ量を決定してノイズを付加するので、画像の質感を十分に向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、一実施の形態における画像処理装置のブロック構成図である。
【図２】図２は、粗さ情報Ｘを変数とするパラメータαnの関数、凹凸情報Ｙを変数とするパラメータβnの関数、鏡面反射情報Ｚを変数とするパラメータγnの関数の一例を示す図である。
【発明を実施するための形態】
【００１１】
図１は、一実施の形態における画像処理装置のブロック構成図である。一実施の形態における画像処理装置は、画像取得部１と、粗さ情報取得部２と、凹凸情報取得部３と、鏡面反射情報取得部４と、画質調整部５とを備える。この画像処理装置は、例えばデジタルカメラに搭載されて使用される。
【００１２】
画像取得部１は、撮影により生成された画像データを取得する。例えば、デジタルカメラでは、撮影により生成された画像データは、一時的にＲＡＭに記憶されるので、画像取得部１は、ＲＡＭから画像データを取得する。
【００１３】
粗さ情報取得部２は、画像取得部１によって取得された画像データの物理的特徴から、画像中の被写体表面の粗さ情報を取得する。粗さ情報とは、被写体表面の形状変化の細かさを示す情報であって、例えばフーリエ変換を施した画像に、コントラスト感度関数（Contrast Sensitivity Function）のような人間の視覚特性を掛け合わせて積算した情報である。また、画像データの物理的特徴とは、空間周波数、テクスチャ情報、エッジ特徴量等である。
【００１４】
凹凸情報取得部３は、画像取得部１によって取得された画像データの物理的特徴から、画像中の被写体表面の凹凸情報を取得する。凹凸情報とは、被写体表面の形状変化の深さを示す情報であって、例えば輝度ヒストグラムの最大値から最小値を減算した情報である。また、画像の物理的特徴とは、輝度ヒストグラム、空間周波数、エッジ特徴量等である。
【００１５】
鏡面反射情報取得部４は、画像取得部１によって取得された画像データの物理的特徴から、画像中の被写体表面の鏡面反射情報を取得する。鏡面反射情報とは、被写体表面での照明の反射度合いを示す情報であって、例えば輝度ヒストグラムの予め設定した閾値以上の高輝度部分の面積の情報である。また、画像の物理的特徴とは、ハイライト値、輝度ヒストグラム等である。
【００１６】
画質調整部５（ノイズ量決定部、ノイズ付加部とも呼ぶ）は、粗さ情報取得部２によって取得された粗さ情報、凹凸情報取得部３によって取得された凹凸情報、鏡面反射情報取得部４によって取得された鏡面反射情報のうちの少なくとも２つの情報に基づいて、画像に付加するノイズ量を決定する。そして、画像取得部１によって取得された画像データに対して、決定したノイズ量のノイズを付加することによって、画像の質感を向上させる。画像の質感向上とは、被写体表面の状態をよりリアルに表現することである。
【００１７】
ここで、粗さ情報、凹凸情報、および、鏡面反射情報の全ての情報に基づいて、画像に付加するノイズ量を決定する方法について説明する。粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚから求めたパラメータをそれぞれαn、βn、γnとすると、画像に付加するノイズ量は、次式（１）により表される。      
ノイズ量＝αn＋βn＋γn                      …（１）
【００１８】
ここでは、パラメータαn、βn、γnを定数とする。ただし、粗さ情報Ｘが所定の粗さ以上の場合にαn＝αn1、粗さ情報Ｘが所定の粗さ未満の場合にαn＝αn2（αn1＞αn2）、凹凸情報Ｙが所定の凹凸以上の場合にβn＝βn1、凹凸情報Ｙが所定の凹凸未満の場合にβn＝βn2（βn1＞βn2）、鏡面反射情報Ｚが所定の鏡面反射度合い以上の場合にγn＝γn1、鏡面反射情報Ｚが所定の鏡面反射度合い未満の場合にγn＝γn2（γn1＜γn2）とする。
【００１９】
また、パラメータαn、βn、γnを、それぞれ粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを変数とする関数から求めることもできる。この場合、ノイズ量は、次式（２）にて表される。ただし、式（２）において、αn（Ｘ）は粗さ情報Ｘを変数とする関数の関数値、βn（Ｙ）は凹凸情報Ｙを変数とする関数の関数値、γn（Ｚ）は鏡面反射情報Ｚを変数とする関数の関数値である。    
ノイズ量＝αn（Ｘ）＋βn（Ｙ）＋γn（Ｚ）        …（２）
【００２０】
図２（ａ）〜（ｃ）は、粗さ情報Ｘを変数とするパラメータαnの関数、凹凸情報Ｙを変数とするパラメータβnの関数、鏡面反射情報Ｚを変数とするパラメータγnの関数の一例を示す図である。ただし、パラメータαn、βn、γnの関数が図２（ａ）〜（ｃ）に示すものに限定されることはない。
【００２１】
画質調整部５は、粗さ情報取得部２によって取得された粗さ情報Ｘと、図２（ａ）に示す関数とに基づいて、パラメータαnの関数値αn（ｘ）を求める。同様に、凹凸情報取得部３によって取得された凹凸情報Ｙと、図２（ｂ）に示す関数とに基づいて、パラメータβnの関数値βn（Ｙ）を求め、鏡面反射情報取得部４によって取得された鏡面反射情報Ｚと、図２（ｃ）に示す関数とに基づいて、パラメータγnの関数値γn（Ｚ）を求める。
【００２２】
画質調整部５は、また、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚと、ノイズ量との関係を定めたルックアップテーブルを予め記憶しておき、このルックアップテーブルを参照することにより、ノイズ量を算出するようにしてもよい。すなわち、ノイズ量は、次式（３）により表される。ただし、式（３）中の３Ｄ−ＬＵＴn（Ｘ、Ｙ、Ｚ）は、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚを入力とする、ノイズ量算出用のルックアップテーブルのテーブル値を意味する。      
ノイズ量＝３Ｄ−ＬＵＴn（Ｘ、Ｙ、Ｚ）        …（３）
【００２３】
続いて、粗さ情報Ｘ、凹凸情報Ｙ、鏡面反射情報Ｚのうち、粗さ情報Ｘおよび凹凸情報Ｙを用いて、ノイズ量を算出する例について説明する。ノイズ量は、粗さ情報Ｘから求めたパラメータαn、凹凸情報Ｙから求めたパラメータβnを用いて、次式（４）により表される。    
ノイズ量＝αn＋βn                        …（４）
【００２４】
ここでは、パラメータαn、βnは、粗さ情報Ｘが所定の粗さ以上であり、凹凸情報Ｙが所定の凹凸以下の場合に、αn＞βnとなる関係の定数とする。
【００２５】
ここで、パラメータαn、βnを定数とせずに、それぞれ、粗さ情報Ｘ、凹凸情報Ｙの関数として表してもよい。その場合、粗さ情報Ｘを変数とするαnの関数の関数値をαn（Ｘ）、凹凸情報Ｙを変数とするβnの関数の関数値をβn（Ｙ）とすると、ノイズ量は次式（５）にて表される。      
ノイズ量＝αn（Ｘ）＋βn（Ｙ）              …（５）
【００２６】
なお、粗さ情報Ｘを変数とするαnの関数、および、凹凸情報Ｙを変数とするβnの関数は、例えば、図２（ａ）、図２（ｂ）に示すようなものとなる。
【００２７】
また、粗さ情報Ｘおよび凹凸情報Ｙと、ノイズ量との関係を定めたルックアップテーブルを予め用意しておき、このルックアップテーブルを参照することにより、ノイズ量を算出するようにしてもよい。この場合、画質調整部５は、粗さ情報Ｘおよび凹凸情報Ｙとノイズ量との関係を定めたルックアップテーブルを予め記憶しておき、次式（６）により、ノイズ量を求める。ただし、式（６）中の２Ｄ−ＬＵＴn（Ｘ、Ｙ）は、粗さ情報Ｘ、凹凸情報Ｙを入力とする、ノイズ量算出用のルックアップテーブルのテーブル値を意味する。      
ノイズ量＝２Ｄ−ＬＵＴn（Ｘ、Ｙ）        …（６）
【００２８】
以上、一実施の形態における画像処理装置によれば、画像中の被写体表面の粗さ情報、画像中の被写体表面の凹凸情報、および、画像中の被写体表面の鏡面反射情報を取得し、取得した粗さ情報、凹凸情報、および、鏡面反射情報のうちの少なくとも２つの情報に基づいて、画像に付加するノイズ量を決定し、決定したノイズ量のノイズを画像に付加するので、画像の質感を十分に向上させることができる。これにより、例えば、鏡面反射に特徴を持つ被写体の質感をも十分に向上させることができる。
【００２９】
特に、画質調整部５は、粗さ情報、凹凸情報、および、鏡面反射情報の全ての情報に基づいて、ノイズ量を決定して、決定したノイズ量のノイズを画像に付加するので、画像の質感をより十分に向上させることができる。
【００３０】
また、粗さ情報で示される画像の粗さが所定の粗さ以上の場合に、粗さ情報で示される画像の粗さが所定の粗さ未満の場合に比べてノイズ量が大きくなるように、ノイズ量を決定するので、画像の質感を適切に向上させることができる。
【００３１】
また、凹凸情報で示される凹凸度合いが所定の凹凸度合い以上の場合に、凹凸情報で示される凹凸度合いが所定の凹凸度合い未満の場合に比べてノイズ量が大きくなるように、ノイズ量を決定するので、画像の質感を適切に向上させることができる。
【００３２】
また、鏡面反射情報で示される鏡面反射度合いが所定の鏡面反射度合い以上の場合に、鏡面反射情報で示される鏡面反射度合いが所定の鏡面反射度合い未満に比べてノイズ量が小さくなるように、ノイズ量を決定するので、画像の質感を適切に向上させることができる。
【００３３】
画質調整部５は、粗さ情報取得部２によって取得された粗さ情報から求まる第１のパラメータ、凹凸情報取得部３によって取得された凹凸情報から求まる第２のパラメータ、および、鏡面反射情報取得部４によって取得された鏡面反射情報から求まる第３のパラメータのうちの少なくとも２つのパラメータを加算することによって、ノイズ量を決定するようにしてもよい。特に、第１のパラメータ、第２のパラメータ、および、第３のパラメータをそれぞれ、粗さ情報を変数とする関数、凹凸情報を変数とする関数、および、鏡面反射情報を変数とする関数から求めることにより、粗さ情報、凹凸情報および鏡面反射情報に応じた適切なノイズ量を求めることができ、画像の質感を適切に向上させることができる。
【００３４】
さらに、粗さ情報、凹凸情報、および、鏡面反射情報と、ノイズ量との関係を定めたルックアップテーブルを記憶しておき、粗さ情報取得部２によって取得された粗さ情報、凹凸情報取得部３によって取得された凹凸情報、および、鏡面反射情報取得部４によって取得された鏡面反射情報と、記憶しているルックアップテーブルとに基づいて、ノイズ量を決定するようにしてもよい。この場合には、粗さ情報、凹凸情報および鏡面反射情報に応じた、非線形な特性のノイズ量を求めることができ、画像の質感を適切に向上させることができる。
【００３５】
なお、上述した一実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、コンピュータにてソフトウェア処理を行うことも可能である。この場合、コンピュータは、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。
【００３６】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００３７】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。
【００３８】
上述した一実施の形態では、画像処理装置をデジタルカメラに搭載する例を挙げて説明したが、ビデオカメラやムービーカメラに搭載してもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器、プリンタ、スキャナ等に搭載するようにしてもよい。
【符号の説明】
【００３９】
１…画像取得部
２…粗さ情報取得部
３…凹凸情報取得部
４…鏡面反射情報取得部
５…画質調整部（ノイズ量決定部、ノイズ付加部）
【図１】
2013105447.tif 000003
【図２】
2013105447.tif 000004