(57)【要約】【課題】実世界に関する何らかの仮定をおくことなく、湿り度または乾き度といった質感を操作する。【解決手段】湿り度と乾き度の少なくとも一方の質感を操作するために、入力画像に由来する第１画像の輝度ヒストグラムの歪度を正の方向に変調し、かつ彩度を上げた第１出力画像を得る処理と、入力画像に由来する第２画像の輝度ヒストグラムの歪度を負の方向に変調し、かつ彩度を下げた第２出力画像を得る処理の少なくとも一方を行う。【選択図】図１
2016128945.tif 000002
【特許請求の範囲】
【請求項１】
湿り度と乾き度の少なくとも一方の質感を操作する質感操作方法であって、
入力画像に由来する第１画像の輝度ヒストグラムの歪度を正の方向に変調し、かつ彩度を上げた第１出力画像を得る湿り度操作ステップと、前記入力画像に由来する第２画像の輝度ヒストグラムの歪度を負の方向に変調し、かつ彩度を下げた第２出力画像を得る乾き度操作ステップの少なくとも一方を有する、質感操作方法。
【請求項２】
請求項１の質感操作方法であって、
色度の変動を大きくするステップを含む、質感操作方法。
【請求項３】
請求項１または２の質感操作方法であって、
前記湿り度操作ステップは、前記第１画像の少なくとも一部の画素の輝度と彩度とに負の相関を持たせるステップを含む、質感操作方法。
【請求項４】
請求項１または２の質感操作方法であって、
前記乾き度操作ステップは、前記第２画像の少なくとも一部の画素の輝度と彩度とに正の相関を持たせるステップを含む、質感操作方法。
【請求項５】
請求項１から４の何れかの質感操作方法であって、
前記変調の程度と前記彩度の変調の程度の少なくとも一方を操作可能な質感操作方法。
【請求項６】
湿り度と乾き度の少なくとも一方の質感を操作する質感操作装置であって、
入力画像に由来する第１画像の輝度ヒストグラムの歪度を正の方向に変調し、かつ彩度を上げた第１出力画像を得る湿り度操作部と、前記入力画像に由来する第２画像の輝度ヒストグラムの歪度を負の方向に変調し、かつ彩度を下げた第２出力画像を得る乾き度操作部の少なくとも一方を有する、質感操作装置。
【請求項７】
請求項１から５の何れかの質感操作方法の処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理によって表面画像の湿り度または乾き度といった質感を操作する技術に関する。
【背景技術】
【０００２】
表面画像の湿り度を操作する技術は、これまで主としてコンピュータ・グラフィックスの分野で提案されてきた。例えば非特許文献１では、物体表面に液体が付着する場合の光の反射・透過・散乱特性を模擬し、表面画像の湿り度を操作する手法が提案されている。また、非特許文献２では、濡れた石表面と乾いた石表面の画像データを撮影し、それらの画像の重み付け加算をしたものをテクスチャとして表面に貼付けることで、表面画像の湿り度を操作する手法が提案されている。また、表面画像の質感を画像処理によって操作する手法に関しては物体表面の光沢感を制御する手法が報告されている（非特許文献３）。非特許文献３では、表面画像の輝度ヒストグラムの歪度を操作することによって、表面画像の見かけの光沢感が操作可能であることを示している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Jensen, H. W., Legakis, J., & Dorsey, J. (1999), “Rendering of wet materials,” In Rendering Techniques’ 99 (pp. 273-281), Springer Vienna.
【非特許文献２】Lu, J., Georghiades, A. S., Rushmeier, H., Dorsey, J., & Xu, C. (2005, August), “Synthesis of material drying history: Phenomenon modeling, transferring and rendering,” In Proceedings of the First Eurographics conference on Natural Phenomena (pp. 7-16), Eurographics Association.
【非特許文献３】Motoyoshi, I., Nishida, S. Y., Sharan, L., & Adelson, E. H. (2007), “Image statistics and the perception of surface qualities,” Nature, 447(7141), 206-209.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１，２に記載された技術では、画像中の表面の湿り度を操作するために、実世界に関する何らかの仮定が必要となる。また、非特許文献３では物体表面の光沢といった比較的単純な光学特性を制御することはできるが、光が複雑に屈折・透過・散乱・反射することに基づく、湿り度または乾き度といった質感を操作することはできない。
【０００５】
本発明の課題は、実世界に関する何らかの仮定をおくことなく、湿り度または乾き度といった質感を操作できる技術を提供することである。
【課題を解決するための手段】
【０００６】
湿り度と乾き度の少なくとも一方の質感を操作するために、入力画像に由来する第１画像の輝度ヒストグラムの歪度を正の方向に変調し、かつ彩度を上げた第１出力画像を得る処理と、入力画像に由来する第２画像の輝度ヒストグラムの歪度を負の方向に変調し、かつ彩度を下げた第２出力画像を得る処理の少なくとも一方を行う。
【発明の効果】
【０００７】
以上により、実世界に関する何らかの仮定をおくことなく、湿り度または乾き度といった質感を操作できる。
【図面の簡単な説明】
【０００８】
【図１】図１は実施形態の質感操作装置の機能構成を例示したブロック図である。
【図２】図２Ａは入力画像とそれに湿り質感を与えた出力画像とを例示した図である。図２Ｂは入力画像を例示した図、その入力画像の輝度信号の輝度ヒストグラムを変調した画像、およびその変調した画像に単一色相・単一彩度の色成分を加えた画像を例示した図である。
【図３】図３Ａは、色相変動の大きさを変化させた様子を例示した図である。図３Ｂは、彩度変動の大きさを変化させた様子を例示した図である。
【図４】図４Ａは入力画像とそれに乾き質感を与えた出力画像とを例示した図である。
【発明を実施するための形態】
【０００９】
本発明の実施形態を説明する。
［概要］
画像処理によって表面画像の質感を制御する場合、実世界の光学的な特性と眼（もしくはカメラ）に投影される画像の色・輝度特徴との関係を利用することが有効である。非特許文献３では、表面画像の光沢感を操作するために、実世界で光沢を持つ物体表面の反射特性と、表面画像の輝度ヒストグラムの関係を利用している。ツヤがなく光沢を持たない物体表面は、一般にその面に入射した光を全方向へ拡散的に反射する（拡散反射）。一方で、光沢を持つ物体表面は、面に入射した光を拡散反射するだけでなく、特定方向から入射した光を特定方向へ強く反射する（鏡面反射）。この鏡面反射光は表面画像に高い輝度を持つ領域（ハイライト領域）として現れる。ハイライト領域の存在により、光沢のある表面画像の輝度ヒストグラムは高輝度方向に長い尾を持ち、光沢のない表面画像の輝度ヒストグラムに比べて分布の歪度が正方向に歪む。以上のような光学的特性と画像特徴との関係があるため、画像の輝度ヒストグラムの歪度を操作することで、表面画像の光沢感を変えることができる。
【００１０】
水のような液体が物体の表面に付着する場合にも、一般に液体表面は特定方向からの入射光を鏡面反射するため、液体が付着する表面画像にはハイライト領域が生じやすい。さらに、物体の表面に液体が付着した場合、液体と空気との境界に入射した光の一部は液体内部に屈折して入射し、液体内部で反射を繰り返す。この内部反射が生じることは、物体の表面に吸収される光の量を増やすことになるため最終的に眼に届く光の強度を下げ、さらに、表面色がより強く反射光に影響することになる。こうした光学的な特性より、水に濡れた表面画像は、光沢物体と同様に輝度ヒストグラムが正方向に歪む特徴を持ち、さらに、彩度が高くなる特徴を持つ。本技術では、この光学的特性と画像特徴の関係を利用し、画像の輝度ヒストグラムの歪度と彩度を操作することで表面画像の湿り度を操作する。すなわち、入力画像に由来する画像の輝度ヒストグラムの歪度を正の方向に変調し、かつ彩度を上げる（湿り度操作ステップ）。これにより、物体の表面が濡れているような質感の出力画像が生成される。「入力画像に由来する画像」は入力画像から得られる画像を意味する。「入力画像に由来する画像」は、「入力画像」そのものであってもよいし、「入力画像」に何らかの画像処理を行って得られる画像であってもよい。また、「入力画像に由来する画像」は、「入力画像」のすべての画像領域に対応するものでもよいし、一部の画像領域のみに対応するものでもよい。すなわち、「入力画像に由来する画像」は、「入力画像」そのものであってもよいし、「入力画像」のすべての画像領域に何らかの画像処理を行って得られる画像であってもよいし、「入力画像」の一部の画像領域の画像そのものであってもよいし、「入力画像」の一部の画像領域に何らかの画像処理を行って得られる当該一部の画像領域の画像であってもよい。
【００１１】
上述の操作による効果は、特に表面画像の色度の変動（ばらつき、例えば、分散値や標準偏差値）が大きい場合に大きい。すなわち、表面画像の色度の変動が一様な場合、高い彩度を持つ光沢物体表面と水に濡れた物体表面の画像特徴が近似し、画像操作の持つ効果が多義的になりやすい。一方、表面画像の色度の変動が大きい場合、どの色の彩度も高く、輝度ヒストグラムが正方向に歪む事象は、実世界で水が濡れた場合以外に生じ難いため、画像操作の効果の多義性が少なく、より大きな効果が得られると考えられる。そのため、色度の変動を大きくする処理が行われてもよい。「色度の変動を大きくする処理」は、色相の変動を大きくする処理であってもよいし、彩度の変動を大きくする処理であってもよいし、色相および彩度の変動を大きくする処理であってもよい。この処理は「入力画像に由来する画像の歪度を正の方向に変調し、かつ彩度を上げる」前に行われてもよいし、その過程で行われてもよいし、その後に行われてもよい。
【００１２】
一般に、水に濡れた画像は輝度と彩度に負の相関を持ちやすい。すなわち、水に濡れた画像の画素（ピクセル）は、輝度が低いほど彩度が高く、輝度が高いほど彩度が低い傾向にある。そのため、画像変換時にこの相関を強める操作を行うことで、より大きな効果が得られると考えられる。そのため、少なくとも一部の画素の輝度と彩度に負の相関を持たせる処理がなされてもよい。言い換えると、少なくとも一部の画素に対し、輝度が低いほど彩度を高くする処理（輝度が高いほど彩度を低くする処理）がなされてもよい。例えば、各画素の輝度に応じた重み（輝度が低いほど大きな重み、すなわち輝度が高いほど小さな重み）をその画素の彩度に与え、彩度と輝度の相関を操作してもよい。この処理も「入力画像に由来する画像の歪度を正の方向に変調し、かつ彩度を上げる」前に行われてもよいし、その過程で行われてもよいし、その後に行われてもよい。この処理は「入力画像」に対応するすべての画素に対して行われてもよいし、一部の画素のみに対して行われてもよいし、すべての領域に対して同じ基準で行われてもよいし、領域に応じて異なる基準で行われてもよい。
【００１３】
また、乾いた物体の表面画像を画像処理によって濡れたように見せることができるだけでなく、濡れた物体の表面画像を乾いたものとして見せることもできる。この場合には、濡れた物体の表面画像を入力画像とし、上述した画像を濡らす手法の反対の操作を行う。つまり、入力画像に由来する画像の輝度ヒストグラムの歪度を負の方向に変調し、かつ彩度を下げる（乾き度操作ステップ）。これにより、物体の表面が乾いているような質感の出力画像を生成できる。前述のように、水に濡れた画像は輝度と彩度に負の相関を持ちやすいが、表面画像を乾いたものとして見せる場合にこの相関を弱める操作を行うことで、より強い効果が得られると考えられる。そのため、少なくとも一部の画素の輝度と彩度に正の相関を持たせる処理がなされてもよい。言い換えると、少なくとも一部の画素に対し、輝度が低いほど彩度を低くする処理（輝度が高いほど彩度を高くする処理）がなされてもよい。例えば、各画素の輝度に応じた重み（輝度が低いほど小さな重み、輝度が高いほど大きな重み）をその画素の彩度に与え、彩度と輝度の相関を操作してもよい。この処理は、「入力画像に由来する画像の歪度を負の方向に変調し、かつ彩度を下げる」前に行われてもよいし、その過程で行われてもよいし、その後に行われてもよい。また、この処理が「入力画像」に対応するすべての画素に対して行われてもよいし、一部の画素のみに対して行われてもよく、処理対象のすべての画素に対して同じ基準で行われてもよいし、領域に応じて異なる基準で行われてもよい。その他、一部の画像領域の歪度を正の方向に変調し、かつ彩度を上げるとともに、他の画像領域の歪度を負の方向に変調し、かつ彩度を下げてもよい。また、さらに色度の変動を大きくする処理が行われてもよい。この処理も「入力画像に由来する画像の歪度を負の方向に変調し、かつ彩度を下げる」前に行われてもよいし、その過程で行われてもよいし、その後に行われてもよい。
【００１４】
さらに、定性的に物体表面を濡れたように見せることや乾いたように見せることができるだけでなく、定量的に湿り度・乾き度を操作することも可能である。本技術で操作している輝度ヒストグラムの歪度、彩度、色度の変動の要因のうち、光学的な湿り・乾きの程度と直接対応するのは輝度ヒストグラムの歪度の要因と彩度の要因である。これら２つの要因の少なくとも一方を連続的に変えることで、湿り度・乾き度を定量的に操作できる。言い換えると、輝度ヒストグラムの歪度の変調の程度（歪度の変更量）または彩度の変調の程度（彩度の変更量）の少なくとも一方を操作可能とすることで、湿り度・乾き度を定量的に操作できる。
【００１５】
［第１実施形態］
第１実施形態では、入力画像に由来する画像の輝度ヒストグラムの歪度を正の方向に変調し、かつ彩度を上げた出力画像を得る。これにより、表面が湿ったような質感を持つ出力画像が得られる。
【００１６】
＜構成＞
図１に例示するように、本形態の質感操作装置１は、分離部１１、輝度ヒストグラム歪度変調部１２、彩度変調部１３、および合成部１４を有する。質感操作装置１は、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）やＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。
【００１７】
＜処理＞
入力画像が質感操作装置１の分離部１１に入力される。本形態の入力画像は色度の変動が大きなカラー画像（有彩色を含む色画像）である。入力画像の表色系は既知である（例えばｓＲＧＢ表色系）。分離部１１は、入力画像を輝度成分と色成分とに分離して出力する。本形態で彩度変調を行うために用いる彩度値の算出は既存のどの表色系によって計算しても構わない。
【００１８】
分離部１１から出力された入力画像の輝度成分は、輝度ヒストグラム歪度変調部１２に入力される。輝度ヒストグラム歪度変調部１２は、この輝度成分の輝度ヒストグラムの歪度を正の方向に変調した変調輝度成分を得て出力する（輝度ヒストグラム変調）。例えば、輝度ヒストグラム歪度変調部１２は、トーンカーブ変換や輝度ヒストグラムマッチングによって変調輝度成分を生成する。トーンカーブ変換を用いる場合、輝度ヒストグラム歪度変調部１２は、例えば入力画像の輝度成分を１より大きい数値でべき乗することで輝度ヒストグラムの歪度を正の方向に歪め、変調輝度成分を生成する。輝度ヒストグラムマッチングを用いる場合には、予め定められた正の歪みを持った参照ヒストグラムを必要とする。この場合、輝度ヒストグラム歪度変調部１２は、例えば入力画像の輝度成分の輝度ヒストグラムと参照ヒストグラムそれぞれを、頻度（度数）の総数で正規化し、さらにそれぞれの累積ヒストグラムを計算する。ここで、入力画像の輝度成分に対応する輝度ヒストグラムを「元累積ヒストグラム」と呼び、参照ヒストグラムに対応する累積ヒストグラムを「参照累積ヒストグラム」と呼ぶ。輝度ヒストグラム歪度変調部１２は、元累積ヒストグラムと参照累積ヒストグラムとの対応付けを行うマッピングテーブルＴ［ｘ］を生成する。例えば、輝度ヒストグラム歪度変調部１２は、元累積ヒストグラムおよび参照累積ヒストグラムをそれぞれＨ１［ｘ］およびＨ２［ｘ］とし、元累積ヒストグラムの各ビン値（輝度値）ｘ１に対し、Ｈ１［ｘ１］＝Ｈ２［ｘ２］を満たす参照累積ヒストグラムＨ２［ｘ］のビン値（輝度値）ｘ２を求める。輝度ヒストグラム歪度変調部１２は、このように求めたｘ１，ｘ２の関係Ｔ［ｘ１］＝ｘ２を表すマッピングテーブルＴ［ｘ］を参照累積ヒストグラムＨ１［ｘ］の各ビン値ｘについて求める。次に輝度ヒストグラム歪度変調部１２は、求めたマッピングテーブルＴ［ｘ］を用い、入力画像の輝度成分の各輝度値ｘ１をＴ［ｘ１］＝ｘ２を表す輝度値ｘ２にマッピングすることで変調輝度成分を得て出力する。この操作により、入力画像の輝度成分の輝度ヒストグラムを任意のヒストグラムに変換できる。
【００１９】
一方、分離部１１から出力された入力画像の色成分は、彩度変調部１３に入力される。彩度変調部１３は、入力画像の色成分の彩度を高める操作を行い、入力画像の色成分の彩度を上げた高彩度成分を得て出力する（彩度変調）。
【００２０】
上述の輝度ヒストグラム歪度変調部１２および彩度変調部１３での操作は、それぞれ入力画像の輝度成分および色成分の全体に対して行われてもよいし、それからガウス窓などによって切り出した局所的な範囲のみに対して行われてもよい。得られた変調輝度成分および高彩度成分は合成部１４に送られる。合成部１４は、変調輝度成分および高彩度成分を合成し、出力画像を得て出力する。以上により、「入力画像に由来する画像の輝度ヒストグラムの歪度を正の方向に変調し、かつ彩度を上げた出力画像」が得られる。
【００２１】
［第１実施形態の変形例１］
入力画像の色分散が小さい場合、輝度ヒストグラム変調や彩度変調を行っても湿り度を有効に操作できない。本形態では、入力画像の色度の変動を大きくする画像操作を行い、その後に輝度ヒストグラム変調と彩度変調を行う。以下では、既に説明した事項についてはそれらと同じ参照番号を用いて説明を省略する。
【００２２】
＜構成＞
図１に例示するように、本変形例の質感操作装置１’は、分離部１１、輝度ヒストグラム歪度変調部１２、彩度変調部１３、合成部１４、および色度変動変調部１５’を有する。質感操作装置１’は、例えば前述のコンピュータが所定のプログラムを実行することで構成される。
【００２３】
＜処理＞
入力画像が質感操作装置１’の色度変動変調部１５’に入力される。本形態の入力画像はカラー画像であってもよいし、グレイスケール画像（無彩色画像）であってもよい。色度変動変調部１５’は入力画像の色度の変動を大きくした「色度変動変調画像」を得て出力する。色度変動の拡張方向は、色空間内における色相方向であってもよいし、彩度方向であってもよいし、それら両方の方向であってもよい。色度の変動を大きくする手法には、例えば、入力画像が持つ変動を単に大きくする手法や、任意の参照ヒストグラムを用意してヒストグラムマッチングによって変調する手法が挙げられる。また、本技術は色・輝度変換を利用した手法なので、本来、入力画像がグレイスケール画像である場合には有効ではないが、任意の参照ヒストグラムの色度分布をこのグレイスケール画像に加えることで、同様の操作を行うことができる。生成された「色度変動変調画像」は分離部１１に入力される。以降の処理は「入力画像」が「色度変動変調画像」に置換される以外、第１実施形態と同じである。
【００２４】
なお本変形例では、入力画像の色度の変動を大きくした後、画像の輝度ヒストグラムの歪度を正の方向に変調し、かつ彩度を上げて出力画像を得る例を示したが、これは本発明を限定するものではない。例えば、入力画像を輝度成分と色成分に分離し、色成分の彩度変調を行うと同時またはその前もしくは後に、色度の変動を大きくする処理がなされてもよい。あるいは、合成部１４で変調輝度成分と変調色成分とが合成された後に、その合成画像の色度の変動を大きくする処理が行われてもよい。
【００２５】
［第１実施形態の変形例２］
前述のように、水に濡れた画像は輝度と彩度に負の相関を持ちやすい。本変形例では、少なくとも一部の画素の輝度と彩度とに負の相関を持たせることで、より高い効果が得られる。
【００２６】
＜構成＞
図１に例示するように、本変形例の質感操作装置１”は、分離部１１、輝度ヒストグラム歪度変調部１２、彩度変調部１３、合成部１４、および輝度・彩度相関変換部１６”を有する。質感操作装置１”は、例えば前述のコンピュータが所定のプログラムを実行することで構成される。
【００２７】
＜処理＞
分離部１１、輝度ヒストグラム歪度変調部１２、および彩度変調部１３は第１実施形態と同じ処理を行う。彩度変調部１３で得られた高彩度成分は輝度・彩度相関変換部１６”に入力される。輝度・彩度相関変換部１６”は、高彩度成分の少なくとも一部（全部または一部）の画素に対し、輝度が低いほど彩度を高くする処理（輝度が高いほど彩度を低くする処理）を行い、相関変調画像を得て出力する。例えば、輝度・彩度相関変換部１６”は、輝度ヒストグラム歪度変調部１２から出力された変調輝度成分の各画素の輝度に応じた重み（輝度が低いほど大きな重み、すなわち輝度が高いほど小さな重み）をその画素の高彩度成分の彩度に与え（例えば、彩度値に乗算または加算し）、相関変調画像を得て出力する。相関変調画像は合成部１４に入力される。以降の処理は、「相関変調画像」が「変調色成分」に置換される以外、第１実施形態と同じである。
【００２８】
なお本変形例では、彩度変調部１３が色成分の彩度変調を行った後に画素の輝度と彩度とに負の相関を持たせたが、これは本発明を限定するものではない。例えば、入力画像を輝度成分と色成分とに分離する前に、輝度と彩度とに負の相関を持たせる処理を行ってもよい。あるいは、入力画像を輝度成分と色成分とに分離した後、彩度変調と同時またはその前もしくは後に、輝度と彩度とに負の相関を持たせる処理を行ってもよい。あるいは、合成部１４で変調輝度成分と変調色成分とが合成された後に、輝度と彩度とに負の相関を持たせる処理を行ってもよい。その他、第１実施形態の変形例１で述べた処理に加えて、本変形例２の処理が行われてもよい。
【００２９】
［第２実施形態］
第２実施形態では、入力画像に由来する画像の輝度ヒストグラムの歪度を負の方向に変調し、かつ彩度を下げた出力画像を得る。これにより、濡れた質感の入力画像を乾いた質感の出力画像に変換できる。
【００３０】
＜構成＞
図１に例示するように、本変形例の質感操作装置２は、分離部１１、輝度ヒストグラム歪度変調部２２、彩度変調部２３、および合成部１４を有する。質感操作装置２は、例えば前述のコンピュータが所定のプログラムを実行することで構成される。
【００３１】
＜処理＞
入力画像が質感操作装置２の分離部１１に入力される。本形態の入力画像は色度の変動が大きなカラー画像である。分離部１１は、入力画像を輝度成分と色成分とに分離して出力する。
【００３２】
分離部１１から出力された入力画像の輝度成分は、輝度ヒストグラム歪度変調部２２に入力される。輝度ヒストグラム歪度変調部２２は、輝度成分の輝度ヒストグラムの歪度を負の方向に変調した変調輝度成分を得て出力する（輝度ヒストグラム変調）。この処理は、例えばトーンカーブ変換や輝度ヒストグラムマッチングなどによって行うことができる。一方、分離部１１から出力された入力画像の色成分は、彩度変調部２３に入力される。彩度変調部２３は、入力画像の色成分の彩度を下げる操作を行い、入力画像の色成分の彩度を下げた低彩度成分を得て出力する（彩度変調）。上述の輝度ヒストグラム歪度変調部２２および彩度変調部２３での操作は、それぞれ入力画像の輝度成分および色成分の全体に対して行われてもよいし、入力画像の輝度成分および色成分から切り出した局所的な範囲のみに対して行われてもよい。得られた変調輝度成分および低彩度成分は合成部１４に送られる。合成部１４は、変調輝度成分および低彩度成分を合成し、出力画像を得て出力する。以上により、「入力画像に由来する画像の輝度ヒストグラムの歪度を負の方向に変調し、かつ彩度を下げた出力画像」が得られる。
【００３３】
［第２実施形態の変形例１］
本変形例では、第１実施形態の変形例１と同様に、色度の変動を大きくする画像操作を行う。
【００３４】
＜構成＞
図１に例示するように、本変形例の質感操作装置２’は、分離部１１、輝度ヒストグラム歪度変調部１２、彩度変調部１３、合成部１４、および色度変動変調部２５’を有する。質感操作装置２’は、例えば前述のコンピュータが所定のプログラムを実行することで構成される。
【００３５】
＜処理＞
入力画像が質感操作装置１’の色度変動変調部２５’に入力される。本形態の入力画像はカラー画像であってもよいし、グレイスケール画像であってもよい。色度変動変調部２５’は入力画像の色度の変動を大きくした「色度変動変調画像」を得て出力する。以降の処理は「入力画像」が「色度変動変調画像」に置換される以外、第２実施形態と同じである。
【００３６】
なお本変形例では、入力画像の色度の変動を大きくした後、画像の輝度ヒストグラムの歪度を負の方向に変調し、かつ彩度を下げて出力画像を得る例を示したが、これは本発明を限定するものではない。例えば、入力画像を輝度成分と色成分に分離し、色成分の彩度変調を行うと同時またはその前もしくは後に、色度の変動を大きくする処理がなされてもよい。あるいは、合成部１４で変調輝度成分と変調色成分とが合成された後に、その合成画像の色度の変動を大きくする処理が行われてもよい。
【００３７】
［第２実施形態の変形例２］
輝度ヒストグラムの歪度を負の方向に変調し、かつ彩度を下げた場合であっても、画像中のハイライト領域が残る場合には乾いた質感が十分に得られないことがある。前述のように水に濡れた画像は輝度と彩度に負の相関を持ちやすい。これを逆に利用し、本変形例では少なくとも一部（全部または一部）の画素の輝度と彩度との負の相関を崩す。すなわち、少なくとも一部の画素の輝度と彩度とに正の相関を持たせる。これにより、画像中のハイライト領域が残る場合であっても乾いた質感を得ることができる。
【００３８】
＜構成＞
図１に例示するように、本変形例の質感操作装置２”は、分離部１１、輝度ヒストグラム歪度変調部２２、彩度変調部２３、合成部１４、および輝度・彩度相関変換部２６”を有する。質感操作装置２”は、例えば前述のコンピュータが所定のプログラムを実行することで構成される。
【００３９】
＜処理＞
分離部１１、輝度ヒストグラム歪度変調部２２、および彩度変調部２３は第２実施形態と同じ処理を行う。彩度変調部２３で得られた低彩度成分は輝度・彩度相関変換部２６”に入力される。輝度・彩度相関変換部２６”は、低彩度成分の少なくとも一部（全部または一部）の画素に対し、輝度が高いほど彩度を高くする処理（輝度が低いほど彩度を低くする処理）を行い、相関変調画像を得て出力する。例えば、輝度・彩度相関変換部２６”は、輝度ヒストグラム歪度変調部２２から出力された変調輝度成分の各画素の輝度に応じた重み（輝度が高いほど大きな重み、すなわち輝度が低いほど小さな重み）をその画素の低彩度成分の彩度に与え（例えば、彩度値に乗算または加算し）、相関変調画像を得て出力する。相関変調画像は合成部１４に入力される。以降の処理は、「相関変調画像」が「変調色成分」に置換される以外、第２実施形態と同じである。
【００４０】
なお本変形例では、彩度変調部２３が色成分の彩度変調を行った後に画素の輝度と彩度とに正の相関を持たせたが、これは本発明を限定するものではない。例えば、入力画像を輝度成分と色成分とに分離する前に、輝度と彩度とに正の相関を持たせる処理を行ってもよい。あるいは、入力画像を輝度成分と色成分とに分離した後、彩度変調と同時またはその前もしくは後に、輝度と彩度とに正の相関を持たせる処理を行ってもよい。あるいは、合成部１４で変調輝度成分と変調色成分とが合成された後に、輝度と彩度とに正の相関を持たせる処理を行ってもよい。その他、第２実施形態の変形例１で述べた処理に加えて、本変形例２の処理が行われてもよい。
【００４１】
［第３実施形態］
本形態は、第１，２実施形態およびその変形例１，２に対するさらなる変形例であり、輝度ヒストグラムの歪度の変調の程度または彩度の変調の程度の少なくとも一方を可変とする。
【００４２】
＜構成＞
図１に例示するように、本形態の質感操作装置３は、前述の質感操作装置１，１’，１，２”，２’，２”の何れかに操作入力部３７を追加したものである。
【００４３】
＜処理＞
第１，２実施形態およびその変形例１，２との相違点は、操作入力部３７に入力された操作入力の内容に応じ、輝度ヒストグラム歪度変調部１２，２２での歪度の変調量（変更量）、および彩度変調部１３，２３での彩度の変調量（変更量）を連続的に操作できる点である。これにより、濡れ度または乾き度の質感を連続的に調整できる。その他の処理は前述の通りである。これにより、物体表面の画像の湿り度・乾き度の程度を連続的に変えることができる。
【００４４】
［実験結果］
上述のような各画像信号操作によって得られた画像を例示する。図２Ａは、入力画像１０１と、それに対して輝度ヒストグラムの歪度を正の方向に変調し、かつ彩度を上げた入力画像１０２を例示した図である。この図に示すように、輝度ヒストグラムの歪度を正の方向に変調し、かつ彩度を上げることで、乾いた物体表面の画像を表面が濡れた画像に変換できる。この画像操作には、実世界に関する物理的な情報（例えば、物体の形状、表面反射特性や付着する液体の透過・散乱特性）は不要である。そのため、実世界に関する物理的な情報が完全に未知の画像であっても、濡れ度を操作できる。一方、図２Ｂに例示したように、入力画像１０１の輝度信号の輝度ヒストグラムを変調した画像１１１、およびその変調した画像に単一色相・単一彩度の色成分を加えた画像１１２では、表面が濡れたような質感を与えることができない。これにより、濡れ度を操作するためには、輝度ヒストグラムの歪度を正の方向に変調するだけではなく、彩度を上げる処理が必要であることが分かる。
【００４５】
図３Ａおよび図３Ｂに例示するように、色相や彩度などの色度の変動が小さい場合には十分な濡れ質感が得られないが、色度の変動を大きくすることで十分な濡れ質感が得られることが分かる。このような効果は、色相の変動のみを大きくした場合（図３Ａ）であっても、彩度の変動のみを大きくした場合（図３Ｂ）であっても、得ることができる。
【００４６】
図４は、濡れた質感の入力画像２０１と、それに対して輝度ヒストグラムの歪度を負の方向に変調し、かつ彩度を下げた出力画像２０２とを例示した図である。この例では、さらに画素の輝度と彩度とに正の相関を持たせる処理が施されている。この図に示すように、これらの操作によって、濡れた物体表面の画像を表面が乾いた画像に変換できる。この画像操作にも、実世界に関する物理的な情報は不要である。
【００４７】
［その他の変形例］
なお、本発明は上述の実施の形態に限定されるものではない。例えば、入力画像の一部の画像領域の画像または当該一部の画像領域に何らかの画像処理を行って得られる当該一部の画像領域の画像（入力画像に由来する第１画像）に対して第１実施形態またはその変形例１，２の処理を行い、他の画像領域の画像または当該他の画像領域の画像に何らかの画像処理を行って得られる当該他の画像領域の画像（入力画像に由来する第２画像）に対して第２実施形態またはその変形例１，２の処理を行ってもよい。これにより、画像の一部の画像領域を湿らせ、他の画像領域を乾燥させる質感操作を行うことができる。また「第１画像」と「第２画像」とは同じ「入力画像」に由来する画像であってもよいし、互いに異なる入力画像に由来する画像であってもよい。
【００４８】
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００４９】
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
【００５０】
このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００５１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。
【００５２】
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
【符号の説明】
【００５３】
１，１’，１”，２，２’，２”，３  質感操作装置
【図１】
2016128945.tif 000003
【図２】
2016128945.tif 000004
【図３】
2016128945.tif 000005
【図４】
2016128945.tif 000006