(57)【要約】【課題】単一の入力画像から拡散反射成分又は鏡面反射成分を精度良く算出する画像処理装置などを提供する。【解決手段】画像処理装置１は、入力画像の画素毎に、拡散反射成分と鏡面反射成分とを算出する成分算出部２０、３０と、拡散反射成分画像、鏡面反射成分画像及び入力画像にそれぞれフィルタ処理を行うフィルタ処理部４０と、フィルタ処理した拡散反射成分画像と、フィルタ処理した鏡面反射成分画像とを結合して結合画像を生成する成分結合部５０と、結合画像と、フィルタ処理した入力画像とに基づいて、拡散反射成分又は鏡面反射成分の分離精度を評価する評価部６０、７０とを備える。【選択図】図１
2018092597.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の画素毎に、拡散反射成分と鏡面反射成分とを算出する成分算出部と、
拡散反射成分画像、鏡面反射成分画像及び前記入力画像にそれぞれフィルタ処理を行うフィルタ処理部と、
前記フィルタ処理した拡散反射成分画像と、前記フィルタ処理した鏡面反射成分画像とを結合して結合画像を生成する成分結合部と、
前記結合画像と、前記フィルタ処理した入力画像とに基づいて、前記拡散反射成分又は前記鏡面反射成分の分離精度を評価する評価部と
を備える画像処理装置。
【請求項２】
前記評価部は、
前記結合画像と、前記フィルタ処理した入力画像との差分値を前記画素毎に算出し、
前記差分値と所定のしきい値とを比較して、前記分離精度を評価する
請求項１記載の画像処理装置。
【請求項３】
前記評価部が前記拡散反射成分又は前記鏡面反射成分を修正すると判断した画素毎に、前記拡散反射成分又は前記鏡面反射成分の修正値を算出する修正値算出部と、
前記修正値を用いて、前記拡散反射成分又は前記鏡面反射成分を修正する成分修正部と
を更に備え、
前記成分算出部は、前記入力画像、前記修正した鏡面反射成分又は前記修正した拡散反射成分に基づいて、前記拡散反射成分及び前記鏡面反射成分を算出し、
前記評価部は、前記差分値が前記所定のしきい値以上の画素の前記拡散反射成分又は前記鏡面反射成分を修正すると判断する
請求項２記載の画像処理装置。
【請求項４】
前記評価部は、
前記フィルタ処理した拡散反射成分画像又は前記フィルタ処理した鏡面反射成分画像の各画素の値が負であるか否かに基づいて、前記分離精度を評価する
請求項１記載の画像処理装置。
【請求項５】
前記評価部が前記拡散反射成分又は前記鏡面反射成分を修正すると判断した画素毎に、前記拡散反射成分又は前記鏡面反射成分の修正値を算出する修正値算出部と、
前記修正値を用いて、前記拡散反射成分又は前記鏡面反射成分を修正する成分修正部と
を更に備え、
前記成分算出部は、前記入力画像、前記修正した鏡面反射成分又は前記修正した拡散反射成分に基づいて、前記拡散反射成分及び前記鏡面反射成分を算出し、
前記評価部は、前記フィルタ処理した拡散反射成分画像又は前記フィルタ処理した鏡面反射成分画像の画素値が負である画素の前記拡散反射成分又は前記鏡面反射成分を修正すると判断する
請求項４記載の画像処理装置。
【請求項６】
前記修正値算出部は、
前記修正すると判断した画素の周辺画素のうち、所定の条件を満たす周辺画素の前記拡散反射成分又は前記鏡面反射成分を前記修正値として算出する
請求項３又は請求項５記載の画像処理装置。
【請求項７】
前記所定の条件は、
前記入力画像における、前記修正すると判断した画素の画素値と前記周辺画素の画素値との差分、及び、
前記周辺画素における、前記フィルタ処理した入力画像の画素値と前記結合画像の画素値との差分
にそれぞれ所定の係数をかけた値の合計が最も小さいことである
請求項６記載の画像処理装置。
【請求項８】
前記修正前の画素数が所定値以上、又は、前記修正後の画素数が所定値以下の場合に、前記成分算出部による処理を繰り返させる繰返し判定部を更に備える
請求項３、請求項５乃至請求項７のいずれか１項記載の画像処理装置。
【請求項９】
前記評価部は、
前記結合画像と、前記フィルタ処理した入力画像とのＰＳＮＲ値を算出し、
前記ＰＳＮＲ値と所定のしきい値とを比較して、前記分離精度を評価する
請求項１記載の画像処理装置。
【請求項１０】
前記ＰＳＮＲ値が前記所定のしきい値よりも小さいときに、前記フィルタ処理部で用いるフィルタの強度を変更してＰＳＮＲ値を算出し直すように判定する繰返し判定部を更に備え、
前記評価部は、
フィルタの強度を所定値以上としても、前記ＰＳＮＲ値が前記所定のしきい値よりも小さいときに、前記分離精度が悪いと評価する
請求項９記載の画像処理装置。
【請求項１１】
前記フィルタ処理部は、
前記フィルタ処理に高周波強調フィルタを用いる
請求項１乃至請求項１０のいずれか１項記載の画像処理装置。
【請求項１２】
前記入力画像と、前記拡散反射成分画像又は前記鏡面反射成分画像とに周波数解析を行い、それぞれの画像の周波数特性を算出する解析部と、
前記入力画像の周波数特性と、前記拡散反射成分画像又は前記鏡面反射成分画像の周波数特性とに基づいて、前記分離精度を評価する第２の評価部と
を更に備える請求項１乃至請求項１１のいずれか１項記載の画像処理装置。
【請求項１３】
前記フィルタ処理部は、
前記拡散反射成分画像又は前記鏡面反射成分画像の周波数特性と、前記フィルタ処理に用いるフィルタの強度とを予め対応付けて複数記憶し、
前記解析部が算出した前記拡散反射成分画像又は前記鏡面反射成分画像の周波数特性に基づいて、前記フィルタ処理に用いるフィルタの強度を決定する
請求項１２記載の画像処理装置。
【請求項１４】
入力画像の画素毎に、拡散反射成分又は鏡面反射成分を算出する成分算出部と、
拡散反射成分画像又は鏡面反射成分画像にフィルタ処理を行うフィルタ処理部と、
前記フィルタ処理した拡散反射成分画像又は前記フィルタ処理した鏡面反射成分画像の各画素の値が負であるか否かに基づいて、前記拡散反射成分又は前記鏡面反射成分の分離精度を評価する評価部と
を備える画像処理装置。
【請求項１５】
入力画像の画素毎に、拡散反射成分又は鏡面反射成分を算出する成分算出部と、
前記入力画像と、拡散反射成分画像又は鏡面反射成分画像とに周波数解析を行い、それぞれの周波数特性を算出する解析部と、
前記入力画像の周波数特性と、前記拡散反射成分画像又は前記鏡面反射成分画像の周波数特性とに基づいて、前記拡散反射成分又は前記鏡面反射成分の分離精度を評価する評価部と
を備える画像処理装置。
【請求項１６】
入力画像の画素毎に、拡散反射成分と鏡面反射成分とを算出するステップと、
拡散反射成分画像、鏡面反射成分画像及び前記入力画像にそれぞれフィルタ処理を行うステップと、
前記フィルタ処理した拡散反射成分画像と、前記フィルタ処理した鏡面反射成分画像とを結合して結合画像を生成するステップと、
前記結合画像と、前記フィルタ処理した入力画像とに基づいて、前記拡散反射成分又は前記鏡面反射成分の分離精度を評価するステップと
を有する画像処理方法。
【請求項１７】
コンピュータに、
入力画像の画素毎に、拡散反射成分と鏡面反射成分とを算出する手順と、
拡散反射成分画像、鏡面反射成分画像及び前記入力画像にそれぞれフィルタ処理を行う手順と、
前記フィルタ処理した拡散反射成分画像と、前記フィルタ処理した鏡面反射成分画像とを結合して結合画像を生成する手順と、
前記結合画像と、前記フィルタ処理した入力画像とに基づいて、前記拡散反射成分又は前記鏡面反射成分の分離精度を評価する手順と
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
３次元形状復元などのための、陰影や色を用いる画像計測では、画像に鏡面反射成分がないことが前提となる場合がある。この場合に、拡散反射成分と鏡面反射成分とを高精度に分離して鏡面反射成分を除去することが、精度の高い計測をするために必要となる。
また、画像認識では、鏡面反射成分が材質の特徴となるため、鏡面反射成分を検出して認識に利用することができる。
また、画像処理では、光沢感を向上させる場合に、入力画像から制御対象となる鏡面反射成分の範囲を抽出することが必要となる。
【０００３】
拡散反射成分と鏡面反射成分とを分離するには、大きく分けて２つの方法がある。
１つは、複数の画像から分離する方法であり、例えば、フォトメトリックステレオ（Photometric Stereo）や偏光フィルタを利用する方法である。しかしながら、これらの方法では複数の画像を撮像して用いる必要があり、ディスプレイなどの装置の画質改善に応用することができない。
【０００４】
もう１つは、単一画像から分離する方法であり、ノイズによる色相変動のモデルや、物体色は表面では滑らかに変化するという仮定を利用する方法である。例えば、特許文献１には、画像のノイズに影響を受けずに、対象画素の拡散反射成分を計算する方法が記載されており、同一表面であれば反射光の色相は等しいという仮定に基づいて、ノイズによる色相の変動をモデル化し、当該モデルにより拡散反射成分の分離精度の向上を図っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−０６５２１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、単一画像から拡散反射成分と鏡面反射成分とを分離する方法は、物体の境界のような２色の境界となる部分や、彩度が０となるような画素値において失敗することがあって、複数の画像から分離する方法と比べて分離精度が低くなってしまう。例えば、特許文献１記載の方法では、ノイズモデルに合わないノイズについては、分離精度が低くなることがある。
【０００７】
そして、視覚効果を得ることを目的に、分離精度の低い拡散反射成分及び鏡面反射成分に対してそれぞれフィルタ処理などの画像処理をした場合に、アーティファクト（artifact）が生じて画質が悪化することもある。
【０００８】
図１５は、従来技術に係る、拡散反射成分と鏡面反射成分との分離精度が低い場合の画像である。図１５（ａ）は、入力画像を示し、白色の背景に、赤色のトマトと、薄紫色のトマトの影とが写っている。また、トマトの緑色のヘタの周辺には光沢が出ている。
【０００９】
図１５（ｂ）は、拡散反射成分の画像を示し、トマトは赤色のままであるが、背景が黒色となり、トマトの輪郭部分（境界面）、光沢があった部分及び影の部分が桃色となっている。そして、トマトの境界面付近で拡散反射成分の分離に失敗していることが分かる。
図１５（ｃ）は、図１５（ｂ）の拡散反射成分に基づいて鏡面反射成分を求め、入力画像において鏡面反射成分を１．８倍に強調した画像を示し、入力画像と比べたときに、トマトの境界面であった部分、光沢のあった部分、影のあった部分などにアーティファクトが生じていることが分かる。
【００１０】
本発明は、このような問題を解決するためになされたもので、単一の入力画像から拡散反射成分又は鏡面反射成分を精度良く算出することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理装置は、入力画像の画素毎に、拡散反射成分と鏡面反射成分とを算出する成分算出部と、拡散反射成分画像、鏡面反射成分画像及び入力画像にそれぞれフィルタ処理を行うフィルタ処理部と、フィルタ処理した拡散反射成分画像と、フィルタ処理した鏡面反射成分画像とを結合して結合画像を生成する成分結合部と、結合画像と、フィルタ処理した入力画像とに基づいて、拡散反射成分又は鏡面反射成分の分離精度を評価する評価部とを備えるものである。
【００１２】
また、本発明に係る画像処理装置は、入力画像の画素毎に、拡散反射成分又は鏡面反射成分を算出する成分算出部と、拡散反射成分画像又は鏡面反射成分画像にフィルタ処理を行うフィルタ処理部と、フィルタ処理した拡散反射成分画像又はフィルタ処理した鏡面反射成分画像の各画素の値が負であるか否かに基づいて、拡散反射成分又は鏡面反射成分の分離精度を評価する評価部とを備えるものである。
【００１３】
また、本発明に係る画像処理装置は、入力画像の画素毎に、拡散反射成分又は鏡面反射成分を算出する成分算出部と、入力画像と、拡散反射成分画像又は鏡面反射成分画像とに周波数解析を行い、それぞれの周波数特性を算出する解析部と、入力画像の周波数特性と、拡散反射成分画像又は鏡面反射成分画像の周波数特性とに基づいて、拡散反射成分又は鏡面反射成分の分離精度を評価する評価部とを備えるものである。
【００１４】
また、本発明に係る画像処理方法は、入力画像の画素毎に、拡散反射成分と鏡面反射成分とを算出するステップと、拡散反射成分画像、鏡面反射成分画像及び入力画像にそれぞれフィルタ処理を行うステップと、フィルタ処理した拡散反射成分画像と、フィルタ処理した鏡面反射成分画像とを結合して結合画像を生成するステップと、結合画像と、フィルタ処理した入力画像とに基づいて、拡散反射成分又は鏡面反射成分の分離精度を評価するステップとを有するものである。
【００１５】
また、本発明に係る画像処理プログラムは、コンピュータに、入力画像の画素毎に、拡散反射成分と鏡面反射成分とを算出する手順と、拡散反射成分画像、鏡面反射成分画像及び入力画像にそれぞれフィルタ処理を行う手順と、フィルタ処理した拡散反射成分画像と、フィルタ処理した鏡面反射成分画像とを結合して結合画像を生成する手順と、結合画像と、フィルタ処理した入力画像とに基づいて、拡散反射成分又は鏡面反射成分の分離精度を評価する手順とを実行させるためのものである。
【発明の効果】
【００１６】
本発明により、単一の入力画像から拡散反射成分又は鏡面反射成分を精度良く算出する画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態１に係る画像処理装置１の概略構成を示すブロック図である。
【図２】実施の形態１に係る画像処理方法の処理手順を示すフローチャートである。
【図３】実施の形態１に係る拡散反射成分及び鏡面反射成分の算出方法及び算出結果を説明するための図である。
【図４】実施の形態１に係る差分処理及び差分画像を説明するための図である。
【図５】実施の形態１に係る分離精度の改善効果を示す図である。
【図６】実施の形態１に係る分離精度の改善効果を示す別の図である。
【図７】実施の形態１に係る分離精度の改善効果を示す別の図である。
【図８】実施の形態１に係る画像の画質及び質感の改善効果を示す図である。
【図９】実施の形態２に係る画像評価装置２の概略構成を示すブロック図である。
【図１０】実施の形態２に係るフィルタを説明するための図である。
【図１１】ＰＳＮＲ値とアーティファクトとの関係を説明するための図である。
【図１２】実施の形態３に係る画像評価装置３の概略構成を示すブロック図である。
【図１３】実施の形態３に係るパワースペクトルを説明するための図である。
【図１４】実施の形態３に係るパワースペクトルを説明するための別の図である。
【図１５】従来技術に係る、拡散反射成分と鏡面反射成分との分離精度が低い場合の画像である。
【発明を実施するための形態】
【００１８】
（実施の形態１）
本実施の形態１に係る画像処理装置及び画像処理方法は、単一画像から拡散反射成分、鏡面反射成分をそれぞれ算出し、拡散反射成分、鏡面反射成分にフィルタ処理などを行って拡散反射成分と鏡面反射成分との分離精度を画素毎に評価し、更に、独自に定義したエネルギー関数などから算出した修正値を用いて、分離精度が低い拡散反射成分を修正して、拡散反射成分、鏡面反射成分の分離精度を画素毎に向上させるものである。
【００１９】
以下、図面を参照して本実施の形態１に係る画像処理装置及び画像処理方法について説明する。
まず、本実施の形態１に係る画像処理装置の構成について説明する。
図１は、本実施の形態１に係る画像処理装置１の概略構成を示すブロック図である。
【００２０】
画像処理装置１は、画像入力部１０、拡散反射成分算出部２０、鏡面反射成分算出部３０、フィルタ処理部４０、成分結合部５０、差分算出部６０、修正判断部７０、修正値算出部８０、成分修正部９０、繰返し判定部１００などを備えている。なお、拡散反射成分算出部２０と鏡面反射成分算出部３０とを組み合わせて成分算出部として構成しても良いし、差分算出部６０と修正判断部７０とを組み合せて、評価部として構成しても良い。
【００２１】
画像入力部１０は、例えば、画像処理装置１の外部から画像を入力し、この入力画像を拡散反射成分算出部２０、鏡面反射成分算出部３０、フィルタ処理部４０、修正値算出部８０などに出力する。
拡散反射成分算出部２０は、単一の入力画像から拡散反射成分を画素毎に算出して、鏡面反射成分算出部３０、フィルタ処理部４０、修正値算出部８０、成分修正部９０などに出力する。
【００２２】
鏡面反射成分算出部３０は、Ｓｈａｆｅｒの二色性反射モデルを用いて、入力画像から、鏡面反射成分を画素毎に算出し、フィルタ処理部４０などに出力する。二色性反射モデルを用いた鏡面反射成分の算出方法については後述する。
【００２３】
フィルタ処理部４０は、入力画像、拡散反射成分で構成される拡散反射成分画像、及び、鏡面反射成分で構成される鏡面反射成分画像に対して、アンシャープマスクなどの高周波強調フィルタ又は高周波フィルタを用いたフィルタ処理をそれぞれ行い、その結果を成分結合部５０、差分算出部６０、修正値算出部８０などに出力する。
【００２４】
成分結合部５０は、前述した二色性反射モデルを用いて、フィルタ処理した拡散反射成分画像と、フィルタ処理した鏡面反射成分画像とを結合して結合画像を生成し、差分算出部６０、修正値算出部８０などに出力する。
差分算出部６０は、フィルタ処理した入力画像と、生成した結合画像との画素値の差分を画素毎に算出し、修正判断部７０に出力する。
【００２５】
修正判断部７０は、画素値の差分と所定のしきい値とを画素毎に比較し、差分がしきい値よりも大きい画素の拡散反射成分を修正すると判断し、差分がしきい値以下の画素の拡散反射成分を修正しないと判断して、判断結果を修正値算出部８０に出力する。ここで、差分がしきい値よりも大きい画素は、拡散反射成分と鏡面反射成分との分離精度が低い画素である。
【００２６】
修正値算出部８０は、拡散反射成分を修正すると判断した画素について、拡散反射成分の修正値を算出し、成分修正部９０に出力する。拡散反射成分の修正値の算出方法についても後述する。
成分修正部９０は、拡散反射成分を修正すると判断した画素について、拡散反射成分をその修正値で置換して、繰返し判定部１００に出力する。
【００２７】
繰返し判定部１００は、画像の拡散反射成分の修正レベルが所定の条件を満たしているかを判定し、拡散反射成分の修正レベルが所定の条件を満たしていない場合には、成分修正部９０による修正結果を鏡面反射成分算出部３０の入力として用いて、改めて、鏡面反射成分を算出する。また、画像の拡散反射成分の修正レベルが所定の条件を満たしている場合には、各画素について、算出した拡散反射成分と鏡面反射成分とを、または、修正した拡散反射成分と鏡面反射成分とを画像処理装置１の外部に出力する。
【００２８】
なお、本実施の形態１に係る画像処理装置１では、画像入力部１０、拡散反射成分算出部２０などの各構成要素は、例えば、コンピュータである画像処理装置１が備える演算装置（図示せず）の制御によって、プログラムを実行させることにより実現できる。
【００２９】
より具体的には、画像処理装置１は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。
【００３０】
上述したプログラムは、様々なタイプの記録メディア、すなわち、非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、画像処理装置１に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。
【００３１】
非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００３２】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって画像処理装置１に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は、無線通信路を介して、プログラムを画像処理装置１に供給できる。
【００３３】
次に、本実施の形態１に係る画像処理装置１の動作、すなわち、画像処理方法についてより具体的に説明する。
図２は、本実施の形態１に係る画像処理方法の処理手順を示すフローチャートである。
【００３４】
画像処理装置１が動作を開始すると、画像入力部１０が画像を入力し（ステップＳ１０）、拡散反射成分算出部２０が入力画像の拡散反射成分を画素毎に算出する（ステップＳ２０）。拡散反射成分算出部２０は、例えば、特許文献１記載の方法を用いて、各拡散反射成分を算出する。
【００３５】
次に、鏡面反射成分算出部３０がＳｈａｆｅｒの二色性反射モデル（例えば、S. A. Shafer, “Using color to separate reflection components,” COLOR  Research & Application, （米）, December 1985, Vol. 10, No. 4, pp. 210-218参照）を用いて、入力画像から鏡面反射成分を画素毎に算出する（ステップＳ３０）。
【００３６】
具体的には、鏡面反射成分算出部３０は、式（１）に示すように、二色性反射モデルにおいて、入力画像の画素値Ｐ及び拡散反射成分α×Ｄを入力して、鏡面反射成分β×Ｓを算出する。
【００３７】
【数１】
2018092597.tif 000003
【００３８】
図３は、本実施の形態１に係る拡散反射成分及び鏡面反射成分の算出方法及び算出結果を説明するための図である。トマトの入力画像から、拡散反射成分及び鏡面反射成分を算出している。
【００３９】
図３に示す拡散反射成分画像では、トマトは赤色のままであるが、背景が黒色となり、トマトの輪郭部分（境界面）、光沢のある部分及び影が桃色となっている。また、鏡面反射成分画像では、背景及び光沢のある部分が灰色になり、トマト、ヘタ及びトマトの影が黒色になっている。
【００４０】
次に、フィルタ処理部４０が、入力画像、拡散反射成分画像及び鏡面反射成分画像に対して、高周波強調フィルタ、高周波フィルタなどを用いてそれぞれフィルタ処理を行う（ステップＳ４０）。高周波強調フィルタなどのフィルタ処理により、分離精度が低い画素の拡散反射成分又は鏡面反射成分が強調される。
【００４１】
次に、成分結合部５０が、二色性反射モデルを用いて、フィルタ処理した拡散反射成分画像と、フィルタ処理した鏡面反射成分画像とを線形結合して、結合画像を生成する（ステップＳ５０）。
次に、差分算出部６０が、フィルタ処理した入力画像と、生成した結合画像との画素値の差分を画素毎に算出する（ステップＳ６０）。
【００４２】
図４は、本実施の形態１に係る差分処理及び差分画像を説明するための図である。ここでは、フィルタ処理にアンシャープマスク（Unsharp masking）を用い、フィルタ処理した入力画像と、結合画像との画素値の差分を差分画像として算出している。なお、図４に示す差分画像では、差分値が所定のしきい値よりも大きい画素だけを示している。
【００４３】
結合画像では、赤色のトマトの境界面、ヘタ、影の一部などが白色になっており、差分画像では、当該白色部分などが差分の大きい画素として現れている。前述したように、差分がしきい値よりも大きい画素は、拡散反射成分と鏡面反射成分との分離精度が低い画素である。
【００４４】
次に、修正判断部７０が、画素値の差分と、所定のしきい値とを画素毎に比較し、差分がしきい値よりも大きい画素を、拡散反射成分又は鏡面反射成分の分離精度が低い画素であると判定して、当該画素の拡散反射成分を修正すると判断する。また、修正判断部７０が、当該差分がしきい値以下の画素を、拡散反射成分と鏡面反射成分との分離精度が高い画素であると判定して、当該画素の拡散反射成分を修正しないと判断する（ステップＳ７０）。
【００４５】
この判定、判断は、各反射成分画像にフィルタ処理をして結合した結合画像と、入力画像に同様のフィルタ処理をして得られた画像とは同じ画像となるはずであるという仮定に基づいている。
修正判断部７０は、画素値の差分と、所定のしきい値とを比較した結果として、例えば、図４に示す差分画像における差分値の大きい画素の拡散反射成分を修正すると判断する。
【００４６】
そして、修正判断部７０が拡散反射成分を修正する（ステップＳ７０のＹＥＳ）と判断した画素（以下、「注目画素」という。）については、修正値算出部８０が、注目画素の周辺画素のうち、所定の条件を満たす周辺画素の拡散反射成分を、注目画素の拡散反射成分の修正値として算出する（ステップＳ８０）。
【００４７】
具体的には、修正値算出部８０は、目的関数としてのエネルギー関数（Energy function）（または、類似度関数、コスト関数ともいう。）を式（２）のように定義し、エネルギー関数の値が最も小さくなる周辺画素の拡散反射成分を注目画素の修正値とする（Ａ、Ｂは重み係数）。
【００４８】
Ｅｎｅｒｇｙ  ｆｕｎｃｔｉｏｎ
＝ Ａ × （入力画像における、注目画素の画素値と周辺画素の画素値との差分）
＋ Ｂ × （当該周辺画素における、フィルタ処理後の入力画像の画素値と結合画像の
画素値との差分）
・・式（２）
【００４９】
つまり、修正値算出部８０は、例えば、ＲＧＢ画像である入力画像において注目画素の色と同じ色又は類似する色を有し、かつ、拡散反射成分と鏡面反射成分との分離精度が高い画素を周辺画素の中から探索し、当該周辺画素の拡散反射成分を注目画素の修正値と決定する。
【００５０】
なお、修正値算出部８０は、重み係数Ａ、Ｂの一方を０に設定して周辺画素を探索しても良い。
また、修正値算出部８０は、周辺画素を探索する範囲を、鏡面反射成分が所定のしきい値よりも大きく、鏡面反射成分を有するとみなすことができる画素の数により算出した範囲に限定しても良い。このときのしきい値としては、例えば、鏡面反射成分についての、画像全体の平均値、大津のしきい値決定法においてフィッシャー比（判別比）を最大にする値、Ｋｉｔｔｌｅｒのしきい値決定法において平均誤識別率に関する基準を最小にする値などを用いれば良い。
【００５１】
次に、成分修正部９０が、注目画素の拡散反射成分を修正値により置換する（ステップＳ９０）。
次に、繰返し判定部１００が、画像の拡散反射成分の修正レベルが所定の条件、例えば、拡散反射成分の分離精度の低い画素の数が所定値以下である、拡散反射成分の修正回数が所定値以上である、などの条件を満たしているか否かに基づいて、拡散反射成分の修正処理を繰り返すか否かを判定する（ステップＳ１００）。
【００５２】
そして、繰返し判定部１００が、画像の拡散反射成分の修正レベルは所定の条件を満たしておらず、修正処理を繰り返すと判定した場合（ステップＳ１００のＹＥＳ）には、例えば、ステップＳ３０に戻って、拡散反射成分修正処理（ステップＳ９０）の出力を鏡面反射成分算出処理（ステップＳ３０）の入力として用いて、鏡面反射成分を再び算出する。
【００５３】
また、繰返し判定部１００が、画像の拡散反射成分の修正レベルは所定の条件を満たしており、修正処理を繰り返さないと判定した場合（ステップＳ１００のＮＯ）には、各画素について、ステップＳ２０、３０で算出した拡散反射成分、鏡面反射成分又はステップＳ９０で修正した拡散反射成分を画像処理装置１の外部に出力し、画像処理を終了する。
【００５４】
なお、修正判断部７０が、ある画素の拡散反射成分を修正しないと判断（ステップＳ７０のＮＯ）したときは、ステップＳ１００に進んで、繰返し判定部１００が、拡散反射成分の修正処理を繰り返すか否かを判定する。
【００５５】
また、本実施の形態１に係る画像処理方法では、拡散反射成分の修正処理の繰り返し回数が多ければ多いほど、拡散反射成分と鏡面反射成分との分離精度の向上を期待することができる。
【００５６】
図５は、本実施の形態１に係る分離精度の改善効果を示す図である。入力画像には、黒の背景に、赤及び緑の市松模様を有する球が描かれたＣＧ画像を用いている。図５（ａ）、（ｂ）は、それぞれ、拡散反射成分を示す画像であり、図５（ｃ）、（ｄ）は、それぞれ、鏡面反射成分を示す画像である。また、図５（ａ）、（ｃ）は、それぞれ、分離精度改善前の画像を示し、図５（ｂ）、（ｄ）は、それぞれ、分離精度改善後の画像を示す。
【００５７】
これらの画像において、グランドトルース（ｇｒｏｕｎｄ  ｔｒｕｔｈ）又は真値（ｔｒｕｅ  ｖａｌｕｅ）に対するピーク信号対ノイズ比（ＰＳＮＲ）について、拡散反射成分では４．５ｄＢ、鏡面反射成分では９．５１ｄＢの改善をそれぞれ確認することができた。
【００５８】
そして、上記のように算出し又は修正した拡散反射成分及び鏡面反射成分に対して独立にフィルタ処理などの画像処理を行えば、ディスプレイなどに表示する画像の画質、特に質感、光沢感などを向上させることができる。
【００５９】
図６は、本実施の形態１に係る分離精度の改善効果を示す別の図である。図６（ａ）、（ｂ）、（ｃ）は、それぞれ、入力画像、改善前の鏡面反射成分強調画像、改善後の鏡面反射成分強調画像を示す。
分離精度改善後の鏡面反射成分強調画像は、入力画像と比べて光沢感が向上しており、また、改善前の鏡面反射成分強調画像と比べてトマトの境界辺りのアーティファクトが減少していることが分かる。
【００６０】
図７は、本実施の形態１に係る分離精度の改善効果を示す別の図である。図７（ａ）、（ｂ）は、改善前の鏡面反射成分強調画像、図７（ｃ）、（ｄ）は、改善後の鏡面反射成分強調画像を示す。また、図７（ｂ）、（ｄ）はそれぞれ図７（ａ）、（ｃ）の一部分を拡大した画像である。入力画像には、図５と同じＣＧ画像を用いている。
分離精度改善前の鏡面反射成分強調画像では、市松模様の赤と緑の境界部分にアーティファクトが、例えば、黒色の線として現れているが、分離精度改善後の鏡面反射成分強調画像では、当該アーティファクトが減少していることが分かる。
【００６１】
図８は、本実施の形態１に係る画像の画質及び質感の改善効果を示す図である。図８（ａ）は入力画像を示し、図８（ｂ）は拡散反射成分及び鏡面反射成分に個別に画像処理を行った画像を示す。どちらの画像にも赤紫色の花弁（花びら）と、それらの中心にある黄色又は黄緑色のがくとが写っているが、図８（ｂ）の画像処理後の画像では、光沢感が向上し、花弁及びがくの１つ１つが明確になっていることが分かる。
【００６２】
なお、本実施の形態１に係る画像処理装置１又は画像処理方法では、さまざまな変形が可能である。
例えば、本実施の形態１に係る画像処理装置１では、修正値算出部８０がエネルギー関数に基づいて注目画素の拡散反射成分の修正値を算出し、成分修正部９０が注目画素の拡散反射成分を修正したが、修正値算出部８０及び成分修正部９０が、注目画素を中心とする領域にメディアンフィルタなどのフィルタ処理を行って、注目画素の拡散反射成分を修正するようにしても良い。この場合には、例えば、メディアンフィルタで算出した中央値が拡散反射成分の修正値になる。
【００６３】
また、本実施の形態１に係る画像処理装置１では、修正判断部７０が、画素毎に拡散反射成分を修正すると判断して、以降の処理で当該拡散反射成分を修正したが、修正判断部７０が、画素毎に鏡面反射成分を修正すると判断し、修正値算出部８０が、鏡面反射成分の修正値を算出し、成分修正部９０が、鏡面反射成分を修正すると判断した画素について、鏡面反射成分をその修正値で置換するようにしても良い。この場合には、修正した鏡面反射成分を用いて、拡散反射成分を改めて算出すれば良い。
【００６４】
また、本実施の形態１に係る画像処理装置１では、修正判断部７０が、フィルタ処理した入力画像と結合画像との差分に基づいて、画素毎に拡散反射成分又は鏡面反射成分の分離精度を評価したが、修正判断部７０が、フィルタ処理した拡散反射成分画像又はフィルタ処理した鏡面反射成分画像の各画素について、画素値が負であるか否かを判定して、画素毎に拡散反射成分又は鏡面反射成分の分離精度を評価しても良い。
【００６５】
具体的には、修正判断部７０は、フィルタ処理した拡散反射成分画像又はフィルタ処理した鏡面反射成分画像の画素値、すなわち、Ｒ、Ｇ、Ｂの６つの値のいずれかが負である画素は、二色性反射モデルと矛盾する画素値を有していて、拡散反射成分又は鏡面反射成分の算出又は分離に失敗しているとみなして、当該画素の拡散反射成分又は鏡面反射成分を修正すると判断する。
【００６６】
このときも、修正値算出部８０は、別途算出するフィルタ処理後の入力画像の画素値と結合画像の画素値との差分などから、式（２）に示したエネルギー関数を用いて、当該画素の修正値を算出することができる。
【００６７】
また、修正判断部７０が、フィルタ処理した入力画像と結合画像との差分に基づく分離精度の評価と、フィルタ処理した各反射成分画像の画素値に基づく分離精度の評価とを併用し、どちらか一方の評価に基づいて画素の拡散反射成分又は鏡面反射成分を修正すると判断し、修正値算出部８０が、式（２）に示したエネルギー関数を用いて修正値を算出しても良い。
【００６８】
また、本実施の形態１に係る画像処理装置１又は画像処理方法を、拡散反射成分又は鏡面反射成分の分離精度を評価する画像評価装置、画像評価方法などとして構成しても良い。例えば、画像評価装置として構成する場合には、本実施の形態１に係る修正判断部７０、修正値算出部８０、成分修正部９０、繰返し判定部１００に代えて、次に説明する実施の形態２のように、分離精度の評価部のようなものを設ければ良い。
【００６９】
以上、説明したように、本実施の形態１に係る画像処理装置１は、入力画像の画素毎に、拡散反射成分と鏡面反射成分とを算出する成分算出部２０、３０と、拡散反射成分画像、鏡面反射成分画像及び入力画像にそれぞれフィルタ処理を行うフィルタ処理部４０と、フィルタ処理した拡散反射成分画像と、フィルタ処理した鏡面反射成分画像とを結合して結合画像を生成する成分結合部５０と、結合画像と、フィルタ処理した入力画像とに基づいて、拡散反射成分又は鏡面反射成分の分離精度を評価する評価部６０、７０とを備えるものである。
このような構成により、単一の入力画像から算出した拡散反射成分又は鏡面反射成分の分離精度を適切に評価して、拡散反射成分又は鏡面反射成分を精度良く算出することができる。
【００７０】
また、本実施の形態１に係る画像処理装置１は、評価部６０、７０は、結合画像と、フィルタ処理した入力画像との差分値を画素毎に算出し、差分値と所定のしきい値とを比較して、拡散反射成分又は鏡面反射成分の分離精度を評価することが好ましい。
このような構成により、画素毎に、拡散反射成分又は鏡面反射成分の分離精度を評価することができる。
【００７１】
また、本実施の形態１に係る画像処理装置１は、評価部６０、７０が拡散反射成分又は鏡面反射成分を修正すると判断した画素毎に、拡散反射成分又は鏡面反射成分の修正値を算出する修正値算出部８０と、修正値を用いて、拡散反射成分又は鏡面反射成分を修正する成分修正部９０とを更に備え、成分算出部２０、３０は、入力画像、修正した鏡面反射成分又は修正した拡散反射成分に基づいて、拡散反射成分及び鏡面反射成分を算出し、評価部６０、７０は、差分値が所定のしきい値以上の画素の拡散反射成分又は鏡面反射成分を修正すると判断することが好ましい。
このような構成により、画素毎に、拡散反射成分又は鏡面反射成分を修正することができる。
【００７２】
また、本実施の形態１に係る画像処理装置１は、評価部７０が、フィルタ処理した拡散反射成分画像又はフィルタ処理した鏡面反射成分画像の値が負であるか否かに基づいて、拡散反射成分又は鏡面反射成分の分離精度を評価することが好ましい。
このような構成により、画素毎に、拡散反射成分又は鏡面反射成分の分離精度をより簡単に評価することができる。
【００７３】
また、本実施の形態１に係る画像処理装置１は、評価部７０が拡散反射成分又は鏡面反射成分を修正すると判断した画素毎に、拡散反射成分又は鏡面反射成分の修正値を算出する修正値算出部８０と、修正値を用いて、拡散反射成分又は鏡面反射成分を修正する成分修正部９０とを更に備え、成分算出部２０、３０は、入力画像、修正した鏡面反射成分又は修正した拡散反射成分に基づいて、拡散反射成分及び鏡面反射成分を算出し、評価部７０は、フィルタ処理した拡散反射成分画像又はフィルタ処理した鏡面反射成分画像の画素値が負である画素の拡散反射成分又は鏡面反射成分を修正すると判断することが好ましい。
このような構成により、画素毎に、拡散反射成分又は鏡面反射成分を簡単に修正することができる。
【００７４】
また、本実施の形態１に係る画像処理装置１は、修正値算出部８０は、修正すると判断した画素の周辺画素のうち、所定の条件を満たす周辺画素の拡散反射成分又は鏡面反射成分を修正値として算出することが好ましい。
このような構成により、簡単に拡散反射成分又は鏡面反射成分の修正値を算出することすることができる。
【００７５】
また、本実施の形態１に係る画像処理装置１は、所定の条件は、入力画像における、修正すると判断した画素の画素値と周辺画素の画素値との差分、及び、周辺画素における、フィルタ処理した入力画像の画素値と結合画像の画素値との差分にそれぞれ所定の係数をかけた値の合計が最も小さいことであることが好ましい。
このような構成により、拡散反射成分又は鏡面反射成分の修正値をより適切に算出することができる。
【００７６】
また、本実施の形態１に係る画像処理装置１は、修正前の画素数が所定値以上、又は、修正後の画素数が所定値以下の場合に、成分算出部２０、３０による処理を繰り返させる繰返し判定部１００を更に備えることが好ましい。
このような構成により、拡散反射成分又は鏡面反射成分をより精度良く算出することができる。
【００７７】
また、本実施の形態１に係る画像処理装置１は、フィルタ処理部４０は、フィルタ処理に高周波強調フィルタを用いることが好ましい。
このような構成により、拡散反射成分又は鏡面反射成分の分離精度をより適切に評価することができる。
【００７８】
また、本実施の形態１に係る画像処理装置１は、入力画像の画素毎に、拡散反射成分又は鏡面反射成分を算出する成分算出部２０、３０と、拡散反射成分画像又は鏡面反射成分画像にフィルタ処理を行うフィルタ処理部４０と、フィルタ処理した拡散反射成分画像又はフィルタ処理した鏡面反射成分画像の各画素の値が負であるか否かに基づいて、拡散反射成分又は鏡面反射成分の分離精度を評価する評価部７０とを備えるものである。
このような構成により、拡散反射成分又は鏡面反射成分の分離精度を簡単に評価することができる。
【００７９】
また、本実施の形態１に係る画像処理方法は、入力画像の画素毎に、拡散反射成分と鏡面反射成分とを算出するステップＳ２０、Ｓ３０と、拡散反射成分画像、鏡面反射成分画像及び入力画像にそれぞれフィルタ処理を行うステップＳ４０と、フィルタ処理した拡散反射成分画像と、フィルタ処理した鏡面反射成分画像とを結合して結合画像を生成するステップＳ５０と、結合画像と、フィルタ処理した入力画像とに基づいて、拡散反射成分又は鏡面反射成分の分離精度を評価するステップＳ６０、Ｓ７０とを有するものである。
このような構成により、単一の入力画像から算出した拡散反射成分又は鏡面反射成分の分離精度を適切に評価して、拡散反射成分又は鏡面反射成分を精度良く算出することができる。
【００８０】
また、本実施の形態１に係る画像処理プログラムは、コンピュータに、入力画像の画素毎に、拡散反射成分と鏡面反射成分とを算出する手順と、拡散反射成分画像、鏡面反射成分画像及び入力画像にそれぞれフィルタ処理を行う手順と、フィルタ処理した拡散反射成分画像と、フィルタ処理した鏡面反射成分画像とを結合して結合画像を生成する手順と、結合画像と、フィルタ処理した入力画像とに基づいて、拡散反射成分又は鏡面反射成分の分離精度を評価する手順とを実行させるためのものである。
このような構成により、単一の入力画像から算出した拡散反射成分又は鏡面反射成分の分離精度を適切に評価して、拡散反射成分又は鏡面反射成分を精度良く算出することができる。
【００８１】
（実施の形態２）
実施の形態１に係る画像処理装置１又は画像処理方法は、フィルタ処理した入力画像と結合画像との差分に基づいて、画素毎の、拡散反射成分又は鏡面反射成分の分離精度を評価したが、本実施の形態２に係る画像評価装置又は画像評価方法は、フィルタ処理した入力画像と結合画像との間のＰＳＮＲ値に基づいて、画像全体の、拡散反射成分又は鏡面反射成分の分離精度を評価するものである。
【００８２】
以下、本実施の形態２に係る画像評価装置及び画像評価方法について、画像評価装置の構成に即して説明する。
図９は、本実施の形態２に係る画像評価装置２の概略構成を示すブロック図である。
【００８３】
画像評価装置２は、画像入力部１１０、拡散反射成分算出部１２０、鏡面反射成分算出部１３０、係数決定部１４０、フィルタ処理部１５０、成分結合部１６０、ＰＳＮＲ算出部１７０、精度評価部１８０、繰返し判定部１９０などを備えている。
【００８４】
なお、画像評価装置２では、ＰＳＮＲ算出部１７０と、精度評価部１８０とを組み合わせて、評価部として構成しても良いし、係数決定部１４０をフィルタ処理部１５０に組み込んでも良い。
【００８５】
画像入力部１１０は、例えば、画像評価装置２の外部から画像を入力し、この入力画像を拡散反射成分算出部１２０、鏡面反射成分算出部１３０、フィルタ処理部１５０などに出力する。
拡散反射成分算出部１２０、鏡面反射成分算出部１３０は、実施の形態１の拡散反射成分算出部２０、鏡面反射成分算出部３０と同様に、単一の入力画像から拡散反射成分、鏡面反射成分をそれぞれ算出し、フィルタ処理部１５０などに出力する。
【００８６】
係数決定部１４０は、フィルタ処理部１５０で用いるフィルタの係数ｋを、例えば、その初期値として「１」に決定し、フィルタ処理部１５０、繰返し判定部１９０などに出力する。フィルタの係数ｋについては、次に説明する。
【００８７】
フィルタ処理部１５０は、入力画像、拡散反射成分画像、鏡面反射成分画像に対してそれぞれ実施の形態１と同様に高周波強調フィルタ又は高周波フィルタを用いた鮮鋭化処理を行い、その結果を成分結合部１６０、ＰＳＮＲ算出部１７０などに出力する。
図１０は、本実施の形態２に係るフィルタを説明するための図である。
本実施の形態２では、フィルタ処理に、例えば、アンシャープマスク処理を用いて各画像のコントラストを強調する鮮鋭化処理しており、ここでは、元画像と平滑化画像との差分画像に対して強調係数ｋを乗算している。
【００８８】
成分結合部１６０は、実施の形態１と同様に、二色性反射モデルを用いて、フィルタ処理した拡散反射成分画像と、フィルタ処理した鏡面反射成分画像とを線形結合して、結合画像を生成し、ＰＳＮＲ算出部１７０に出力する。
ＰＳＮＲ算出部１７０は、フィルタ処理した入力画像と、生成した結合画像との間のＰＳＮＲ値を算出し、精度評価部１８０に出力する。ＰＳＮＲ値の算出には、従来技術を用いれば良い。
【００８９】
精度評価部１８０は、ＰＳＮＲ値と所定のしきい値（例えば、４０ｄＢ）とを比較し、その結果を繰返し判定部１９０に出力する。精度評価部１８０は、ＰＳＮＲ値が所定のしきい値以上のときに、拡散反射成分と鏡面反射成分とを精度良く分離できていると判定し、ＰＳＮＲ値が所定のしきい値未満のときに、拡散反射成分と鏡面反射成分とを精度良く分離できていないと判定する。
【００９０】
図１１は、ＰＳＮＲ値とアーティファクトとの関係を説明するための図である。図１１（ａ）、（ｂ）とも、左から、フィルタ処理後の入力画像、結合画像、入力画像において鏡面反射成分を１．８倍に強調した画像を示している。
【００９１】
図１１（ａ）は、鏡面性の床面上に透明な球があるのが写っている全体的に青味がかった画像であり、床面には球や背景が映っており、球にも背景が映っている。拡散反射成分と鏡面反射成分との分離精度は低く、ＰＳＮＲ値は１５．３７ｄＢである。フィルタ処理後の入力画像と結合画像とは大きく異なっており、鏡面反射成分強調画像では多くのアーティファクトが発生している。
【００９２】
図１１（ｂ）は、黒色の背景に茶色の人物の顔が描かれた画像である。拡散反射成分と鏡面反射成分との分離精度は高く、ＰＳＮＲ値は４１．０８ｄＢである。フィルタ処理後の入力画像と結合画像との差異は小さく、鏡面反射成分強調画像でもアーティファクトを発生させることなく、額及び頬の周辺の光沢を強調できている。
【００９３】
繰返し判定部１９０は、ＰＳＮＲ値が所定のしきい値以上のときは、拡散反射成分と鏡面反射成分とを画像評価装置２の外部に出力する。また、繰返し判定部１９０は、ＰＳＮＲ値が所定のしきい値未満のときに、フィルタの係数ｋを変更して、もう一度、係数決定部１４０から精度評価部１８０までの処理、すなわち、ＰＳＮＲ値を算出して分離精度を評価する処理を行うように、フィルタ係数ｋを変更する旨の指示を係数決定部１４０に出力する。
【００９４】
そして、係数決定部１４０は、フィルタの係数ｋを初期値の「１」から、フィルタの強度、ここでは、鮮鋭化処理の強調度を変更するために、例えば、「２」へと１だけ増加させて、フィルタ処理部１５０に出力する。その後のフィルタ処理部１５０から繰返し判定部１９０までの処理は上述の通りである。
【００９５】
繰返し判定部１９０は、フィルタ係数ｋが所定値、例えば、２０となるまで、ＰＳＮＲ値を算出して分離精度を評価する処理を繰り返しても、ＰＳＮＲ値が所定のしきい値以上とならないときは、拡散反射成分と鏡面反射成分とを精度良く分離できていないと判定して、その旨を画像評価装置２の外部に出力する。
【００９６】
また、繰返し判定部１９０は、フィルタ係数ｋが所定値となってもＰＳＮＲ値が所定のしきい値以上とならないときに、拡散反射成分及び鏡面反射成分を改めて算出するとして、拡散反射成分算出部１２０及び鏡面反射成分算出部１３０にその旨の指示を出力しても良い。
【００９７】
なお、本実施の形態２では、係数決定部１４０は、フィルタの係数ｋの初期値を入力画像の輝度に基づいて決定しても良い。例えば、入力画像全体の平均輝度値を用いて、平均輝度値が０のときに、係数ｋを０とし、平均輝度値が２５５のときに、係数ｋを１０とするように決定しても良い。
【００９８】
また、本実施の形態２に係る画像評価装置２、画像評価方法を、画像処理装置、画像処理方法として構成しても良い。
また、本実施の形態２に係る画像評価装置２では、実施の形態１と同様に、エネルギー関数などを用いて、分離精度が悪い画素の拡散反射成分又は鏡面反射成分を、分離精度が良い画素の拡散反射成分又は鏡面反射成分で置き換えても良い。
【００９９】
また、本実施の形態２に係る画像評価装置２を画像処理装置として構成し、実施の形態１に係る画像処理装置１と組み合わせて用いても良い。拡散反射成分又は鏡面反射成分の分離精度を、実施の形態１に係る画像処理装置１により画素単位で評価し、本実施の形態２に係る画像処理装置により画像全体で評価することにより、より適切に分離精度を評価することができる。
【０１００】
以上、説明したように、本実施の形態２に係る画像処理装置２は、評価部１７０、１８０は、結合画像と、フィルタ処理した入力画像とのＰＳＮＲ値を算出し、ＰＳＮＲ値と所定のしきい値とを比較して、拡散反射成分又は鏡面反射成分の分離精度を評価することが好ましい。
このような構成により、画像全体の、拡散反射成分又は鏡面反射成分の分離精度を評価することができる。
【０１０１】
また、本実施の形態２に係る画像処理装置２は、ＰＳＮＲ値が所定のしきい値よりも小さいときに、フィルタ処理部で用いるフィルタの強度を変更してＰＳＮＲ値を算出し直すように判定する繰返し判定部１９０を更に備え、評価部１７０、１８０は、フィルタの強度を所定値以上としても、ＰＳＮＲ値が所定のしきい値よりも小さいときに、拡散反射成分又は鏡面反射成分の分離精度が悪いと評価することが好ましい。
このような構成により、画像全体の、拡散反射成分又は鏡面反射成分の分離精度をより適切に評価することができる。
【０１０２】
（実施の形態３）
実施の形態１、２に係る画像処理装置、画像評価装置などは、フィルタ処理した入力画像と、結合画像とに基づいて、拡散反射成分又は鏡面反射成分の分離精度を評価したが、本実施の形態３に係る画像評価装置又は画像評価方法は、入力画像と、拡散反射成分画像又は鏡面反射成分画像とを周波数解析して、拡散反射成分又は鏡面反射成分の分離精度を評価するものである。
【０１０３】
以下、本実施の形態３に係る画像評価装置及び画像評価方法について、画像評価装置の構成に即して説明する。
図１２は、本実施の形態３に係る画像評価装置３の概略構成を示すブロック図である。
画像評価装置３は、画像入力部２１０、成分算出部２２０、解析部２３０、精度評価部２４０などを備えている。
【０１０４】
画像入力部２１０は、画像評価装置３の外部などから画像を入力し、この入力画像を成分算出部２２０などに出力する。
成分算出部２２０は、単一の入力画像から拡散反射成分又は鏡面反射成分を算出し、解析部２３０などに出力する。拡散反射成分又は鏡面反射成分の算出は実施の形態１、２と同様に行えば良い。
【０１０５】
解析部２３０は、入力画像と、拡散反射成分画像又は鏡面反射成分画像とにそれぞれ２次元高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）を行い、その結果をパワースペクトル化して、精度評価部２４０に出力する。
【０１０６】
図１３は、本実施の形態３に係るパワースペクトルを説明するための図である。図１３（ａ）は、左から順番に、入力画像、そのＦＦＴ画像及びパワースペクトルを示し、図１３（ｂ）は、左から順番に、拡散反射成分画像、そのＦＦＴ画像及びパワースペクトルを示す。入力画像は、図１１（ｂ）のものと同じである。また、パワースペクトルの横軸は周波数を示し、縦軸はパワー値を示す。
【０１０７】
拡散反射成分画像のパワースペクトルは、入力画像のパワースペクトルと比べると、ピーク数が多く、また、ほとんどの周波数においてパワー値が大きいことから、拡散反射成分画像が入力画像よりも多くの高周波成分を含んでいることがわかる。このことは、当該拡散反射成分の分離精度が良くないことを示す。
【０１０８】
精度評価部２４０は、入力画像に基づくパワースペクトルと、拡散反射成分画像又は鏡面反射成分画像に基づくパワースペクトルとを比較して、拡散反射成分又は鏡面反射成分の分離精度を評価し、その結果を画像評価装置３の外部に出力する。このとき、精度評価部２４０は、上述のように、パワースペクトルのピーク数（パワースペクトルの形状）、パワー値などに基づいて、分離精度を評価する。
【０１０９】
なお、本実施の形態３に係る画像評価装置３、画像評価方法を、画像処理装置、画像処理方法として構成しても良い。
また、本実施の形態３に係る画像評価装置３では、実施の形態１と同様に、拡散反射成分、鏡面反射成分の両方をそれぞれ算出しても良いし、エネルギー関数などを用いて、分離精度が悪い画素の拡散反射成分又は鏡面反射成分を、分離精度が良い画素の拡散反射成分又は鏡面反射成分で置き換えても良い。
【０１１０】
また、本実施の形態３に係る画像評価装置３を画像処理装置として構成し、実施の形態１に係る画像処理装置１又は実施の形態２に係る画像処理装置の少なくとも１つと組み合わせて用いても良い。拡散反射成分又は鏡面反射成分の分離精度を、実施の形態１に係る画像処理装置１により画素単位で評価し、本実施の形態２、３に係る画像処理装置により画像全体で評価することで、より適切に分離精度を評価することができる。
【０１１１】
このとき、当該組み合わせた画像処理装置は、拡散反射成分画像又は鏡面反射成分画像に基づくパワースペクトルのピーク数、パワー値などと、当該画像に対してフィルタ処理するのに適したフィルタの係数ｋ（又は、フィルタ強度）とを対応付けて、係数決定部１４０などに予め複数記憶しておいても良い。この対応付けは、例えば、実験的に求めることができる。
【０１１２】
そして、新たな画像を入力したときに、解析部が、当該入力画像の拡散反射成分画像又は鏡面反射成分画像に基づくパワースペクトルを算出し、係数決定部１４０が、算出したパワースペクトルのピーク数、パワー値などと類似するピーク数、パワー値などを上記対応付けの中から検索して、当該拡散反射成分画像又は鏡面反射成分画像に適したフィルタの係数ｋを決定するようにしても良い。
【０１１３】
図１４は、本実施の形態３に係るパワースペクトルを説明するための別の図である。図１４（ａ）、（ｂ）は、それぞれ、左から順番に、入力画像、そのＦＦＴ画像及びパワースペクトルを示す。図１４（ａ）、（ｂ）の入力画像は、それぞれ、図１１（ａ）、（ｂ）のものと同じである。
【０１１４】
図１４（ａ）のパワースペクトルは、図１４（ｂ）のものよりもピーク数が多く、また、全体的にパワー値が高く、高周波成分が多いので、係数決定部１４０は、上記対応付けに基づいて、図１４（ａ）の画像に対しては、高周波成分を強調しすぎないようなフィルタの係数ｋを小さく決定し、図１４（ｂ）の画像に対しては、高周波成分を強調するフィルタの係数ｋを大きく決定する。
【０１１５】
以上、説明したように、本実施の形態３に係る画像処理装置３は、入力画像と、拡散反射成分画像又は鏡面反射成分画像とに周波数解析を行い、それぞれの画像の周波数特性を算出する解析部２３０と、入力画像の周波数特性と、拡散反射成分画像又は鏡面反射成分画像の周波数特性とに基づいて、拡散反射成分又は鏡面反射成分の分離精度を評価する第２の評価部２４０とを備えることが好ましい。
このような構成により、画像全体の、拡散反射成分又は鏡面反射成分の分離精度を簡単に評価することができる。
【０１１６】
また、本実施の形態３に係る画像処理装置３は、フィルタ処理部１４０、１５０は、拡散反射成分画像又は鏡面反射成分画像の周波数特性と、フィルタ処理に用いるフィルタの強度とを予め対応付けて複数記憶し、解析部２３０が算出した拡散反射成分画像又は鏡面反射成分画像の周波数特性に基づいて、フィルタ処理に用いるフィルタの強度を決定することが好ましい。
このような構成により、拡散反射成分画像、鏡面反射成分画像などにフィルタ処理するときの、フィルタの強度を簡単に決定することができる。
【０１１７】
また、本実施の形態３に係る画像処理装置３は、入力画像の画素毎に、拡散反射成分又は鏡面反射成分を算出する成分算出部２２０と、入力画像と、拡散反射成分画像又は鏡面反射成分画像とに周波数解析を行い、それぞれの周波数特性を算出する解析部２３０と、入力画像の周波数特性と、拡散反射成分画像又は鏡面反射成分画像の周波数特性とに基づいて、拡散反射成分又は鏡面反射成分の分離精度を評価する評価部２４０とを備えるである。
このような構成により、拡散反射成分又は鏡面反射成分の分離精度を簡単に評価することができる。
【符号の説明】
【０１１８】
１    画像処理装置
２、３    画像評価装置
１０、１１０、２１０    画像入力部
２０、１２０    拡散反射成分算出部
３０、１３０    鏡面反射成分算出部
４０、１５０    フィルタ処理部
５０、１６０    成分結合部
６０    差分算出部
７０    修正判断部
８０    修正値算出部
９０    成分修正部
１００、１９０    繰返し判定部
１４０    係数決定部
１７０    ＰＳＮＲ算出部
１８０、２４０    精度評価部
２２０    成分算出部
２３０    解析部
【図１】
2018092597.tif 000004
【図２】
2018092597.tif 000005
【図３】
2018092597.tif 000006
【図４】
2018092597.tif 000007
【図５】
2018092597.tif 000008
【図６】
2018092597.tif 000009
【図７】
2018092597.tif 000010
【図８】
2018092597.tif 000011
【図９】
2018092597.tif 000012
【図１０】
2018092597.tif 000013
【図１１】
2018092597.tif 000014
【図１２】
2018092597.tif 000015
【図１３】
2018092597.tif 000016
【図１４】
2018092597.tif 000017
【図１５】
2018092597.tif 000018