(57)【要約】【課題】所与の画像に対して、この画像の注目領域を強調しつつこの画像を非写実的に変換することが可能なプログラムを提供する。【解決手段】本非写実変換プログラムは、入力画像を領域分割して、各画像領域における色的距離を含む情報に基づいて各画像領域の顕著度Ｓを算出し、対応画素毎に、この対応画素に対応する画像領域の顕著度Ｓを付与した顕著性マップを生成する顕著性マップ生成手段と、入力画像又はこの入力画像に所定の処理を実施した画像の画素毎に、顕著性マップの対応画素に付与された顕著度Ｓに基づいて参照領域範囲Ｅを決定する参照領域範囲決定手段と、入力画像又はこの入力画像に所定の処理を実施した画像の各画素の画素値を、この画素の参照領域範囲Ｅに含まれるこの画素及びこの画素周辺の複数の画素のうちの１つにおける画素値に置換するぼかし処理を実施するぼかし処理手段として機能する。【選択図】図３
2014016688.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を非写実的に変換するプログラムであって、
前記入力画像を複数の画像領域に分割し、分割された各画像領域における他の画像領域との色的距離を含む情報に基づいて当該各画像領域の顕著度を算出し、前記入力画像の各画素に対応する対応画素毎に、当該対応画素に対応する画像領域の顕著度を付与した顕著性マップを生成する顕著性マップ生成手段と、
前記入力画像又は該入力画像に所定の処理を実施して生成された画像の画素毎に、前記顕著性マップの対応画素に付与された顕著度に基づいて参照領域範囲を決定する参照領域範囲決定手段と、
前記入力画像又は該入力画像に所定の処理を実施して生成された画像の各画素の画素値を、当該画素の参照領域範囲に含まれる当該画素及び当該画素周辺の複数の画素のうちの１つにおける画素値に置換するぼかし処理を実施するぼかし処理手段と
してコンピュータを機能させることを特徴とする非写実変換プログラム。
【請求項２】
前記ぼかし処理手段は、
各画素の画素値を、決定された参照領域範囲に含まれる当該画素及び当該画素周辺の複数の画素のうち最小輝度値を有する画素の画素値に置換する収縮処理を複数回繰り返し、当該複数回の収縮処理の前又は後に、各画素の画素値を、決定された参照領域範囲に含まれる当該画素及び当該画素周辺の複数の画素のうち最大輝度値を有する画素の画素値に置換する膨張処理を複数回繰り返すぼかし処理を実施する
ことを特徴とする請求項１に記載の非写実変換プログラム。
【請求項３】
前記参照領域範囲決定手段は、
前記入力画像又は該入力画像に所定の処理を実施して生成された画像の画素毎に、前記顕著性マップの対応画素に付与された顕著度に基づいて、当該顕著度が高くなるほどより狭小となる参照領域範囲を決定する
ことを特徴とする請求項１又は２に記載の非写実変換プログラム。
【請求項４】
前記顕著性マップ生成手段は、
分割された当該画像領域毎に、当該画像領域と他の画像領域との間の色的距離及び空間的距離を用いて算出されるコントラストスコアに応じた輝度を顕著度として算出し、前記入力画像の各画素に対応する対応画素毎に、当該対応画素に対応する画像領域の輝度を付与した顕著性マップを生成する
ことを特徴とする請求項１から３のいずれか１項に記載の非写実変換プログラム。
【請求項５】
前記顕著性マップ生成手段は、前記入力画像の各画素に対応する対応画素毎に、当該対応画素に対応する画像領域の輝度を付与し、さらに、各対応画素の顕著度としての輝度を所定数ｎの階調にクラスタリングしてｎ階調化した顕著性マップを生成することを特徴とする請求項４に記載の非写実変換プログラム。
【請求項６】
少なくとも前記ほかし処理手段によってぼかし処理を実施された画像の各画素の輝度を、前記顕著性マップの対応画素に付与された顕著度に対応した輝度に置換する輝度変換処理手段と
してコンピュータを更に機能させることを特徴とする請求項１から５のいずれか１項に記載の非写実変換プログラム。
【請求項７】
前記入力画像をグレースケール画像に変換して線画像を生成する線画生成手段と、
少なくとも前記ほかし処理手段によってぼかし処理を実施された画像と、前記線画像とを合成する線画合成手段と
してコンピュータを更に機能させることを特徴とする請求項１から６のいずれか１項に記載の非写実変換プログラム。
【請求項８】
前記線画生成手段は、
前記グレースケール画像の各画素の輝度を、当該画素の輝度が所定閾値を超える場合に白相当値に置換し、当該画素の輝度が該所定閾値以下である場合に、所定の筆感を付加するためのテクスチャ画像を参照して、該テクスチャ画像の対応画素の輝度に依存した値に置換し、線画像を生成する
ことを特徴とする請求項７に記載の非写実変換プログラム。
【請求項９】
前記線画生成手段は、
前記グレースケール画像に、第１ぼかしパラメータによる第１ガウスぼかし処理と、第１ぼかしパラメータとは異なる第２ぼかしパラメータによる第２ガウスぼかし処理とを実施し、第１ガウスぼかし処理及び第２ガウスぼかし処理を実施されたグレースケール画像間における対応画素の輝度の差分をとり、当該差分に対応した輝度を当該各画素に付与した線画像を生成する
ことを特徴とする請求項７に記載の非写実変換プログラム。
【請求項１０】
前記入力画像に、減色化処理を実施する減色化処理手段と
してコンピュータを更に機能させ、
前記ぼかし処理手段は、前記減色化処理手段によって減色化処理を実施された入力画像に前記ぼかし処理を実施する
ことを特徴とする請求項１から９のいずれか１項に記載の非写実変換プログラム。
【請求項１１】
前記減色化処理手段は、
前記入力画像を、該入力画像の各画素における色的距離及び空間的距離に基づいて複数の領域に分割し、当該各領域に代表画素値を割り当て、前記入力画像の各画素の画素値を、当該画素を含む当該領域の代表画素値に置換して減色化された画像を生成する
ことを特徴とする請求項１０に記載の非写実変換プログラム。
【請求項１２】
少なくとも前記ほかし処理手段によってぼかし処理を実施された画像と、所定の質感を付加するためのテクスチャ画像とを合成するテクスチャ画像合成手段と
してコンピュータを更に機能させることを特徴とする請求項１から１１のいずれか１項に記載の非写実変換プログラム。
【請求項１３】
入力画像を非写実的に変換する非写実変換処理装置であって、
前記入力画像を複数の画像領域に分割し、分割された各画像領域における他の画像領域との色的距離を含む情報に基づいて当該各画像領域の顕著度を算出し、前記入力画像の各画素に対応する対応画素毎に、当該対応画素に対応する画像領域の顕著度を付与した顕著性マップを生成する顕著性マップ生成手段と、
前記入力画像又は該入力画像に所定の処理を実施して生成された画像の画素毎に、前記顕著性マップの対応画素に付与された顕著度に基づいて参照領域範囲を決定する参照領域範囲決定手段と、
前記入力画像又は該入力画像に所定の処理を実施して生成された画像の各画素の画素値を、当該画素の参照領域範囲に含まれる当該画素及び当該画素周辺の複数の画素のうちの１つにおける画素値に置換するぼかし処理を実施するぼかし処理手段と
を有することを特徴とする非写実変換処理装置。
【請求項１４】
入力画像を非写実的に変換する非写実変換処理装置における非写実変換方法であって、
前記入力画像を複数の画像領域に分割し、分割された各画像領域における他の画像領域との色的距離を含む情報に基づいて当該各画像領域の顕著度を算出し、前記入力画像の各画素に対応する対応画素毎に、当該対応画素に対応する画像領域の顕著度を付与した顕著性マップを生成する第１のステップと、
前記入力画像又は該入力画像に所定の処理を実施して生成された画像の画素毎に、前記顕著性マップの対応画素に付与された顕著度に基づいて参照領域範囲を決定する第２のステップと、
前記入力画像又は該入力画像に所定の処理を実施して生成された画像の各画素の画素値を、当該画素の参照領域範囲に含まれる当該画素及び当該画素周辺の複数の画素のうちの１つにおける画素値に置換するぼかし処理を実施する第３のステップと
を有することを特徴とする非写実変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を非写実的に変換する非写実変換に係る画像処理技術に関する。
【背景技術】
【０００２】
近年、携帯端末の内蔵カメラやデジタル撮影装置を使用して、誰でも簡単に静止画像や動画像といった画像を撮影することができる。撮影された画像は、他人に公開・提供されたり、さらにはウェブ（Web）上で共有されたりすることも多い。ここで、その際、芸術的意図若しくは鑑賞目的として、又は何らかのアピールの為、この画像に美的な変換処理を施す機会が増えている。
【０００３】
このような美的な変換処理として、画像を非写実的に変換する非写実変換が存在する。この非写実変換は、アート効果を意図した画像処理技術であり、例えば、画像を水彩画調等の絵画調に変換する。
【０００４】
ここで、非特許文献１には、画像の水彩画調への変換方法として、画像を減色化した後、ぼかし処理を施し、さらにエッジを黒くする処理を施した後、テクスチャ画像を重ね合わせて水彩画調の変換画像を得る方法が開示されている。
【０００５】
また、絵画は通常、画題に対応する注目対象を含む。一方、画像処理分野では、画像内の注目領域を定義し、注目領域を効果的に強調する技術が存在する。例えば、特許文献１には、人間の顔を注目領域とし、顔の領域では、他の領域よりも、階調補正を弱めて処理を行う等、顔領域に対して他の領域とは異なる画像処理を施す画像処理装置が開示されている。
【０００６】
さらに、特許文献２には、知名度の高い建造物等の注目対象とカメラとの距離及び奥行き情報に基づいて、変換パラメータを変更し、異なる絵画調変換を実施する画像処理装置が開示されている。
【０００７】
また、非特許文献２には、非特許文献３に開示された方法で複数の領域に分割された画像に対し、Region Contrast（ＲＣ）法を用いて各領域の顕著度（saliency）を算出する技術が開示されている。この顕著度は、人間の視覚注意を引く強さに相当する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２８２１１９号公報
【特許文献２】特開２０１１−２４８８２１号公報
【非特許文献】
【０００９】
【非特許文献１】A. Bousseau，F. Neyret，J. Thollot，D. Salesin，"Video watercolorization using bidirectional textureadvection"，ACM Trans. on Graphics，vol.26，No.3，104ページ，2007年
【非特許文献２】Ming-Ming Chang，Guo-Xin Zhang，Niloy J. Mitra，Xiaolei Huang，Shi-Min Hu，"Global Contrast basedSalient Region Detection"，Computer Vision andPattern Recognition (CVPR)，2011 IEEE ConferencePublications, 409-416ページ，2011年
【非特許文献３】P. Felzenszwalb，D. Huttenlocher，"Efficient graph-based image segmentation"，International Journal of Computer Vision (IJCV), vol. 59，No. 2，167-181ページ，2004年
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述した従来技術を用いても、画像の注目領域を強調しつつこの画像を非写実的に、例えば絵画調に、変換することは非常に困難である。
【００１１】
例えば、非特許文献１に開示されたような絵画調変換技術では、画像の中で何ら注目領域を規定せずに、画像全体に対して画一的なぼかし処理が施される。この際、ぼかし処理の程度が高い場合には注目領域も周囲と同様にぼやけてしまい、注目すべき領域が目立たない画像が生成されてしまう。一方、ぼかし処理の程度が低い場合には画像全体として非写実効果が弱まってしまう。
【００１２】
これに対し、絵画調変換において、特許文献１及び２に開示されたように注目領域（注目対象）を特定することを考える。しかしながらこれらの技術では、人間の顔や予め登録されている建造物等の登録対象しか注目領域として規定できない。その結果、任意の画像を提供された際に、この画像の注目領域を強調しつつこの画像に非写実変換を施すことは非常に困難となる。即ち、これら従来技術では、予め想定・登録されている対象を含む画像のみが変換処理対象となり、実用的とは言えない。
【００１３】
さらに、非特許文献２には、画像の各領域に顕著度を規定し、注目領域を特定する技術が開示されているが、この顕著度をもって効果的な絵画調変換を実施するような内容は、何ら開示されておらず示唆すらされていない。
【００１４】
そこで、本発明は、所与の画像に対して、この画像の注目領域を強調しつつこの画像を非写実的に変換することが可能なプログラム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明によれば、入力画像を非写実的に変換するプログラムであって、
入力画像を複数の画像領域に分割し、分割された各画像領域における他の画像領域との色的距離を含む情報に基づいて当該各画像領域の顕著度を算出し、入力画像の各画素に対応する対応画素毎に、当該対応画素に対応する画像領域の顕著度を付与した顕著性マップを生成する顕著性マップ生成手段と、
入力画像又はこの入力画像に所定の処理を実施して生成された画像の画素毎に、顕著性マップの対応画素に付与された顕著度に基づいて参照領域範囲を決定する参照領域範囲決定手段と、
入力画像又はこの入力画像に所定の処理を実施して生成された画像の各画素の画素値を、当該画素の参照領域範囲に含まれる当該画素及び当該画素周辺の複数の画素のうちの１つにおける画素値に置換するぼかし処理を実施するぼかし処理手段と
してコンピュータを機能させる非写実変換プログラムが提供される。
【００１６】
この本発明による非写実変換プログラムの一実施形態として、ぼかし処理手段は、
各画素の画素値を、決定された参照領域範囲に含まれる当該画素及び当該画素周辺の複数の画素のうち最小輝度値を有する画素の画素値に置換する収縮処理を複数回繰り返し、当該複数回の収縮処理の前又は後に、各画素の画素値を、決定された参照領域範囲に含まれる当該画素及び当該画素周辺の複数の画素のうち最大輝度値を有する画素の画素値に置換する膨張処理を複数回繰り返すぼかし処理を実施することも好ましい。
【００１７】
また、本発明の非写実変換プログラムにおける参照領域範囲決定手段は、
入力画像又はこの入力画像に所定の処理を実施して生成された画像の画素毎に、顕著性マップの対応画素に付与された顕著度に基づいて、当該顕著度が高くなるほどより狭小となる参照領域範囲を決定することも好ましい。
【００１８】
さらに、本発明による非写実変換プログラムの他の実施形態として、顕著性マップ生成手段は、
分割された当該画像領域毎に、当該画像領域と他の画像領域との間の色的距離及び空間的距離を用いて算出されるコントラストスコアに応じた輝度を顕著度として算出し、入力画像の各画素に対応する対応画素毎に、当該対応画素に対応する画像領域の輝度を付与した顕著性マップを生成することも好ましい。
【００１９】
さらにまた、顕著性マップ生成手段は、入力画像の各画素に対応する対応画素毎に、当該対応画素に対応する画像領域の輝度を付与し、さらに、各対応画素の顕著度としての輝度を所定数ｎの階調にクラスタリングしてｎ階調化した顕著性マップを生成することも好ましい。
【００２０】
さらに、本発明による非写実変換プログラムの他の実施形態として、本非写実変換プログラムが、少なくともほかし処理手段によってぼかし処理を実施された画像の各画素の輝度を、顕著性マップの対応画素に付与された顕著度に対応した輝度に置換する輝度変換処理手段としてコンピュータを更に機能させることも好ましい。
【００２１】
さらにまた、本発明による非写実変換プログラムが、
入力画像をグレースケール画像に変換して線画像を生成する線画生成手段と、
少なくともほかし処理手段によってぼかし処理を実施された画像と、線画像とを合成する線画合成手段と
してコンピュータを更に機能させることも好ましい。
【００２２】
ここで、上記線画生成手段は、
グレースケール画像の各画素の輝度を、当該画素の輝度が所定閾値を超える場合に白相当値に置換し、当該画素の輝度がこの所定閾値以下である場合に、所定の筆感を付加するためのテクスチャ画像を参照して、このテクスチャ画像の対応画素の輝度に依存した値に置換し、線画像を生成することも好ましい。
【００２３】
また、変更態様として、上記線画生成手段は、
グレースケール画像に、第１ぼかしパラメータによる第１ガウスぼかし処理と、第１ぼかしパラメータとは異なる第２ぼかしパラメータによる第２ガウスぼかし処理とを実施し、第１ガウスぼかし処理及び第２ガウスぼかし処理を実施されたグレースケール画像間における対応画素の輝度の差分をとり、当該差分に対応した輝度を当該各画素に付与した線画像を生成することも好ましい。
【００２４】
さらに、本発明による非写実変換プログラムの他の実施形態として、本非写実変換プログラムは、入力画像に、減色化処理を実施する減色化処理手段としてコンピュータを更に機能させ、ぼかし処理手段は、この減色化処理手段によって減色化処理を実施された入力画像に、ぼかし処理を実施することも好ましい。
【００２５】
ここで、上記減色化処理手段は、
入力画像を、この入力画像の各画素における色的距離及び空間的距離に基づいて複数の領域に分割し、当該各領域に代表画素値を割り当て、入力画像の各画素の画素値を当該画素を含む当該領域の代表画素値に置換して減色化された画像を生成することも好ましい。
【００２６】
さらに、本発明による非写実変換プログラムは、少なくともほかし処理手段によってぼかし処理を実施された画像と、所定の質感を付加するためのテクスチャ画像とを合成するテクスチャ画像合成手段としてコンピュータを更に機能させることも好ましい。
【００２７】
本発明によれば、また、入力画像を非写実的に変換する非写実変換処理装置であって、
入力画像を複数の画像領域に分割し、分割された各画像領域における他の画像領域との色的距離を含む情報に基づいて当該各画像領域の顕著度を算出し、入力画像の各画素に対応する対応画素毎に、当該対応画素に対応する画像領域の顕著度を付与した顕著性マップを生成する顕著性マップ生成手段と、
入力画像又はこの入力画像に所定の処理を実施して生成された画像の画素毎に、顕著性マップの対応画素に付与された顕著度に基づいて参照領域範囲を決定する参照領域範囲決定手段と、
入力画像又はこの入力画像に所定の処理を実施して生成された画像の各画素の画素値を、当該画素の参照領域範囲に含まれる当該画素及び当該画素周辺の複数の画素のうちの１つにおける画素値に置換するぼかし処理を実施するぼかし処理手段と
を有する非写実変換処理装置が提供される。
【００２８】
本発明によれば、さらに、入力画像を非写実的に変換する非写実変換処理装置における非写実変換方法であって、
入力画像を複数の画像領域に分割し、分割された各画像領域における他の画像領域との色的距離を含む情報に基づいて当該各画像領域の顕著度を算出し、入力画像の各画素に対応する対応画素毎に、当該対応画素に対応する画像領域の顕著度を付与した顕著性マップを生成する第１のステップと、
入力画像又はこの入力画像に所定の処理を実施して生成された画像の画素毎に、顕著性マップの対応画素に付与された顕著度に基づいて参照領域範囲を決定する第２のステップと、
入力画像又はこの入力画像に所定の処理を実施して生成された画像の各画素の画素値を、当該画素の参照領域範囲に含まれる当該画素及び当該画素周辺の複数の画素のうちの１つにおける画素値に置換するぼかし処理を実施する第３のステップと
を有する非写実変換方法が提供される。
【発明の効果】
【００２９】
本発明の非写実変換プログラム、装置及び方法によれば、所与の画像に対して、この画像の注目領域を強調しつつこの画像を非写実的に変換することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明による画像の非写実変換方法の一実施形態を概略的に示す説明図である。
【図２】本発明による画像の非写実変換方法における他の実施形態を概略的に示す説明図である。
【図３】本発明による非写実変換処理装置の一実施形態における機能構成図である。
【図４】本発明による非写実変換方法の一実施形態を示すフローチャートである。
【図５】顕著性マップ生成処理の一実施形態を示す概略図である。
【図６】ぼかし処理の一実施形態を示す概略図である。
【図７】ぼかし処理の一実施形態を示すフローチャートである。
【図８】輝度変換処理の一実施形態を示す概略図である。
【図９】減色化処理の一実施形態を示す概略図である。
【図１０】線画生成処理の２つの実施形態を示す概略図である。
【発明を実施するための形態】
【００３１】
以下では、本発明の実施形態について、図面を用いて詳細に説明する。
【００３２】
図１は、本発明による画像の非写実変換方法の一実施形態を概略的に示す説明図である。
【００３３】
図１に示した実施形態によれば、最初に、入力画像から、顕著性マップ、減色化画像、及び線画像を生成する。ここで、入力画像には、写真ファイル等の静止画像、及びビデオファイル等の動画像が含まれる。また、入力画像は一般に、人間の視覚注意を引く注目領域を有している。１つの例として成人式の記念写真を挙げると、多くの場合、中央に移った新成人の顔、上半身又は全身の画像部分が注目領域となる。図１の入力画像の場合、例えば、レストランのテーブル、椅子及びパラソル等、レストラン上方の飾り屋根、並びに遠景の樹木等を注目領域と捉えることが可能である。
【００３４】
また、顕著性マップは、入力画像を複数の画像領域に分割して、各画像領域における顕著度Ｓを算出し、入力画像の各画素に対応する対応画素毎に、この対応画素に対応する画像領域の顕著度Ｓを付与することによって生成される。ここで、顕著度Ｓは、人間の視覚注意を引く強さを表す指標であり、画素の輝度を与える値（例えばゼロから２５５までの値）とすることができる。
【００３５】
この際、入力画像の領域分割は、例えば、後に詳述するグラフベースの分割法等を用いて実施される。また、顕著度Ｓは、分割された各画像領域ｒｋにおける他の画像領域との色的距離を含む情報に基づいて算出される後述のコントラストスコアＳ（ｒｋ）から、算出することができる。
【００３６】
さらに、減色化画像は、例えば、入力画像を、この入力画像の各画素における色的距離及び空間的距離に基づいて複数の領域に分割し、入力画像の各画素の画素値を、この画素を含む領域に割り当てられた代表画素値に置換する減色化処理によって生成される。また、線画像は、入力画像をグレースケール画像に変換した後、このグレースケール画像に後述する所定の画像処理を実施することによって生成される。
【００３７】
次いで、生成された顕著性マップに基づき、生成された減色化画像に対してほかし処理を実施し、ぼかし画像を生成する。具体的には、
（ａ）入力画像の画素毎に、顕著性マップの対応画素に付与された顕著度（輝度）Ｓに基づいて参照領域範囲Ｅを決定し、
（ｂ）入力画像の各画素の画素値を、当該画素の参照領域範囲Ｅに含まれるこの画素及びこの画素周辺の複数の画素のうちの１つ（例えば、最大又は最小の輝度値を有する画素）における画素値に置換するぼかし処理を実施する。
【００３８】
ここで、参照領域範囲Ｅは、顕著度Ｓが高くなるほどより狭小となるように決定されることが好ましい。このような形で顕著度Ｓに応じた参照領域範囲Ｅを画素毎に適宜採用することによって、入力画像の中の注目領域が強調可能となる。
【００３９】
次いで、生成されたぼかし画像と線画像とを合成する（重ね合わせる）ことによって線画合成画像を生成する。さらに、生成された線画合成画像と、画用紙の素材感等の質感を付加するための所定のテクスチャ画像とを合成することによって、非写実変換された画像、特に本実施形態において水彩画調画像、を生成する。
【００４０】
このように、本実施形態では、所定の方法によって任意の画像に対して顕著性マップを生成し、画素毎に顕著度Ｓに応じた参照領域範囲Ｅを採用する。これにより、所与の画像に対して、この画像の注目領域を強調しつつこの画像を非写実的に変換することが可能となる。
【００４１】
尚、入力画像に減色化処理を実施しないまま、ぼかし処理を実施することも可能である。この場合でも、ぼかし処理において顕著度Ｓに応じた参照領域範囲Ｅを採用することにより、注目領域の強調された非写実変換画像を生成することができる。
【００４２】
また、ぼかし画像に対して、線画合成及び／又はテクスチャ合成を実施しない実施形態も可能である。このような形態でも、注目領域の強調された所定の非写実変換画像を生成することができる。ここで、非写実変換画像には、ぼかし画像も含まれる。即ち、本実施形態は、入力画像を、注目領域の強調されたぼかし画像に変換する画像処理に適用されてもよい。
【００４３】
さらに、動画像に対しても、本実施形態を適用することができる。この場合、動画像を構成する各静止画像（フレーム）に上述した画像処理を実施することで、注目領域の強調された所定の非写実変換動画像を生成することができる。
【００４４】
図２は、本発明による画像の非写実変換方法における他の実施形態を概略的に示す説明図である。
【００４５】
図２に示した実施形態における入力画像から線画合成画像を生成するまでの処理は、図１に示した実施形態における対応部分と同様に実施される。以下、図２の実施形態における線画生成以降の処理について説明する。
【００４６】
図２によれば、生成された線画合成画像に対して輝度変換処理を実施する。具体的には、線画合成画像の各画素の輝度を、生成された顕著性マップの対応画素に付与された顕著度（輝度）Ｓに対応した輝度に置換することによって輝度変換画像を生成する。
【００４７】
ここで、置換後の輝度は、顕著度Ｓが高くなるほどより低くなるように決定されることが好ましい。このような形で画素毎に顕著度Ｓに応じた輝度を採用することによって、入力画像の中の注目領域がより強調された画像が生成可能となる。
【００４８】
次いで、生成された輝度変換画像と、画用紙の素材感等の質感を付加するための所定のテクスチャ画像とを合成することによって、非写実変換された画像、特に本実施形態において水彩画調画像、を生成する。
【００４９】
このように、本実施形態では、ぼかし処理の際の参照領域範囲Ｅだけではなく輝度変換の際の置換後の輝度をも、生成された顕著性マップの顕著度（輝度）Ｓに基づいて決定する。これにより、所与の画像に対して、この画像の注目領域をより強調しつつこの画像を非写実的に変換することが可能となる。
【００５０】
尚、本実施形態においても図１の実施形態と同様に、減色化処理を実施しないことも可能であり、さらに、ぼかし画像に対して、線画合成及び／又はテクスチャ合成を実施しない実施形態も可能である。また、輝度変換処理を、線画合成画像に実施するのではなく、ぼかし画像に実施することも可能である。即ち、輝度変換処理は、少なくとも上述したほかし処理手段によってぼかし処理を実施された画像に対して実施されることが好ましい。この場合でも、注目領域のより強調された非写実変換画像を生成することができる。
【００５１】
図３は、本発明による非写実変換処理装置の一実施形態における機能構成図である。
【００５２】
図３に示した非写実変換処理装置１は、入力画像に対して非写実変換を実施し、非写実変換画像を出力する画像処理装置であり、入力部１００と、出力部１０１と、プロセッサ・メモリとを備えている。ここで、プロセッサ・メモリは、プログラムを実行することによってその機能を実現させる。
【００５３】
プロセッサ・メモリは、機能構成部として、顕著性マップ生成部１１０と、減色化処理部１１１と、参照領域範囲決定部１１２と、ぼかし処理部１１３と、線画生成部１１４と、線画合成部１１５と、輝度決定部１１６と、輝度変換処理部１１７と、テクスチャ画像合成部１１８とを有し、さらに、テクスチャ画像記憶部１２０を有している。
【００５４】
入力部１００は、画像処理対象である静止画像や動画像といった画像を入力画像として入力し、機能構成部に出力する。また、入力部１００は、以下の画像処理の際に利用されるテクスチャ画像を入力するインタフェースとして機能する。テクスチャ画像記憶部１２０は、入力されたテクスチャ画像を一時的に保存・記憶することができる。
【００５５】
顕著性マップ生成部１１０は、第１顕著性マップ生成部１１０ａと、第２顕著性マップ変換部１１０ｂとを有する。ここで、第１顕著性マップ生成部１１０ａは、後に詳述するように、入力画像を、後述するグラフベースの分割法等を用いて複数の画像領域に分割する。次いで、分割された画像領域毎に、当該画像領域ｒｋと他の画像領域との間の色的距離及び空間的距離を用いてコントラストスコアＣＳ（ｒｋ）を算出する。次いで、このコントラストスコアＣＳ（ｒｋ）に応じた輝度を顕著度Ｓ（ｒｋ）として算出し、入力画像の各画素に対応する対応画素毎に、当該対応画素に対応する画像領域の顕著度（輝度）Ｓを付与した第１顕著性マップを生成する。
【００５６】
第２顕著性マップ変換部１１０ｂは、後に詳述するように、生成された第１顕著性マップの各（対応）画素の輝度（顕著度Ｓ）を、所定数ｎの階調にクラスタリングしてｎ階調化した第２顕著性マップを生成する。ここで、ｎ階調化の後、更にガウスぼかし処理を実施して当該階調の輝度勾配を平滑化して第２顕著性マップとすることも好ましい。第２顕著性マップは、第１顕著性マップを抽象化させたものであり、第１顕著性マップと比べて、後のぼかし処理の際の参照領域範囲Ｅの分布をより際だった（極端な）ものにすることができる。その結果、注目領域が全体としてよりまとまった形で強調されるぼかし画像が生成可能となる。但し、第２顕著性マップ変換部１１０ｂを省略し、顕著性マップ生成部１１０から、第１顕著性マップを顕著性マップとして出力することも可能である。
【００５７】
減色化処理部１１１は、例えば後述するMean-shift法を用いて、入力画像を、入力画像の各画素における色的距離及び空間的距離に基づき複数の領域に分割し、各領域に代表画素値を割り当てる。次いで、入力画像の各画素の画素値を、当該画素を含む領域の代表画素値に置換して減色化画像を生成する。
【００５８】
参照領域範囲決定部１１２は、後に詳述するように、顕著性マップ生成部１１０から（第２）顕著性マップを入力し、減色化画像の画素毎に、入力した顕著性マップの対応画素に付与された顕著度（輝度）Ｓに基づいて参照領域範囲Ｅを決定する。参照領域範囲Ｅは、顕著度Ｓが高くなるほど狭小となるように決定される。例えば、参照領域範囲Ｅとして半径Ｒの円を設定した場合、この半径Ｒが、より高い顕著度Ｓに対してより小さい値をとるように決定される。このように参照領域範囲Ｅを決定することによって、後に入力画像の中の注目領域が強調された画像が生成可能となる。
【００５９】
ぼかし処理部１１３は、減色化処理部１１１から減色化画像を入力する。次いで、この画像の各画素の画素値を、当該画素の参照領域範囲Ｅに含まれるこの画素及びこの画素周辺の複数の画素のうちの１つ（例えば、最大又は最小の輝度値を有する画素）における画素値に置換するぼかし処理を実施し、ほかし画像を生成する。
【００６０】
ぼかし処理部１１３は、ぼかし処理として、特に、
（ａ）各画素の画素値を、決定された参照領域範囲Ｅに含まれるこの画素及びこの画素周辺の複数の画素のうち最小輝度値を有する画素の画素値に置換する「収縮処理」を複数回繰り返し、
当該複数回の「収縮処理」の前又は後に、
（ｂ）各画素の画素値を、決定された参照領域範囲Ｅに含まれるこの画素及びこの画素周辺の複数の画素のうち最大輝度値を有する画素の画素値に置換する「膨張処理」を複数回繰り返す
処理を実施することも好ましい。このぼかし処理（オープニング処理及びクロージング処理）は、後に図６及び７を用いて詳細に説明する。
【００６１】
線画生成部１１４は、入力画像を入力し、さらに、テクスチャ画像記憶部１２０（又は入力部１００）から、画像に所定の筆感を付加するためのテクスチャ画像を入力する。次いで、線画生成部１１４は、入力画像をグレースケール画像に変換して、スケッチ画調の線画像を生成する。具体的には、後に詳述するが、
（ａ）変換されたグレースケール画像の各画素の輝度を、当該画素の輝度が所定閾値Ｉｔｈを超える場合に白相当値に置換し、当該画素の輝度が所定閾値Ｉｔｈ以下である場合に、入力したテクスチャ画像を参照して、このテクスチャ画像の対応画素の輝度に依存した値に置換する。
【００６２】
また、線画生成部１１４は、線画生成の他の実施形態として、
（ｂ）変換されたグレースケール画像に、第１ぼかしパラメータσ１による第１ガウスぼかし処理と、第１ぼかしパラメータσ１とは異なる第２ぼかしパラメータσ２による第２ガウスぼかし処理とを実施し、第１ガウスぼかし処理及び第２ガウスぼかし処理を実施されたグレースケール画像間における対応画素の輝度の差分をとり、この差分に対応した輝度を各画素に付与した線画像を生成する
ことも好ましい。この線画像では、画像のエッジが抽出され強調される。
【００６３】
線画合成部１１５は、ぼかし処理部１１３からぼかし画像を入力し、線画生成部１１４で生成された線画像を入力する。次いで、これらぼかし画像及び線画像を合成し、線画合成画像を生成する。この合成の際、ぼかし画像及び線画像それぞれのアルファ値を変化させ適切な値に調整した上で両画像を重ね合わせることも好ましい。ここで、アルファ値は、画像における透過度を指定する値である。
【００６４】
輝度決定部１１６は、顕著性マップ生成部１１０から（第２）顕著性マップを入力し、後に詳述するように、この顕著性マップの各対応画素に付与された顕著度（輝度）Ｓに対応した輝度を、各画素の輝度として決定する。ここで、各画素の輝度は、顕著度Ｓが高くなるほどより低くなるように決定されることが好ましい。このような形で画素毎に顕著度Ｓに応じた輝度を採用することによって、後に入力画像の中の注目領域がより強調された画像が生成可能となる。
【００６５】
輝度変換処理部１１７は、輝度決定部１１６から決定された画素毎の輝度情報を入力し、線画合成部１１５から線画合成画像を入力する。次いで、この線画合成画像に対して、入力された輝度情報に基づき輝度変換処理を実施する。具体的には、線画合成画像の画素毎の輝度を、入力された画素毎の輝度に置換することによって輝度変換画像を生成する。
【００６６】
テクスチャ画像合成部１１８は、輝度変換部処理部１１７から輝度変換画像を入力し、テクスチャ画像記憶部１２０（又は入力部１００）から、画用紙の素材感等の所定の質感を付加するためのテクスチャ画像を入力する。次いで、テクスチャ画像合成部１１８は、これら入力された輝度変換画像及びテクスチャ画像を合成し（重ね合わせ）、テクスチャ合成画像、即ち非写実変換画像（絵画（水彩画）調画像）を生成する。また、出力部１０１は、テクスチャ画像合成部１１８から出力された非写実変換画像を、外部の表示手段、印刷手段、記録手段、又は通信手段等に送信するインタフェースである。
【００６７】
尚、図３の機能構成において、減色化処理部１１１を用いずに、入力画像を直接ぼかし処理部１１３に入力させることも可能である。また、線画生成部１１４及び線画合成部１１５を用いずに、ぼかし画像を直接、輝度変換処理部１１７に入力させることも可能である。また、図１に示した実施形態のように、輝度決定部１１６及び輝度変換処理部１１７を用いずに、線画合成画像（又はぼかし画像）を直接、テクスチャ画像合成部１１８に入力させることもできる。さらには、テクスチャ画像合成部１１８を用いず、テクスチャ合成を実施しない実施形態も可能である。以上に述べた種々の形態においても、注目領域の強調された所定の（ぼかし画像を含む）非写実変換画像を生成することが可能となる。
【００６８】
図４は、本発明による非写実変換方法の一実施形態を示すフローチャートである。
【００６９】
（Ｓ４００）最初に、処理対象となる画像を入力画像として入力する。
（Ｓ４０１）入力画像に対して減色化処理を実施し、減色化画像を生成する。
（Ｓ４０２）入力画像から各画素の顕著度（輝度）Ｓを算出し、第１顕著性マップを生成する。
（Ｓ４０３）第１顕著性マップを第２顕著性マップに変換する。
【００７０】
（Ｓ４０４）（第２）顕著性マップの顕著度（輝度）Ｓに基づいて、参照領域範囲Ｅを決定する。
（Ｓ４０５）決定された参照領域範囲Ｅを用いて、減色化画像にぼかし処理を実施し、ぼかし画像を生成する。
（Ｓ４０６）入力画像から線画像を生成する。
（Ｓ４０７）生成されたぼかし画像と線画像とを合成し、線画合成画像を生成する。
【００７１】
（Ｓ４０８）（第２）顕著性マップの顕著度（輝度）Ｓに基づいて、輝度変換後の輝度を決定する。
（Ｓ４０９）生成された線画合成画像の画素毎の輝度を、ステップ４０８で決定された画素毎の輝度に置換して、輝度変換画像を生成する。
（Ｓ４１０）生成された輝度変換画像と、質感を付与するためのテクスチャ画像とを合成し、非写実変換画像を生成する。
（Ｓ４１１）画像処理結果としての非写実変換画像を出力する。
【００７２】
［顕著性マップ生成］
図５は、顕著性マップ生成処理の一実施形態を示す概略図である。
【００７３】
図５によれば、最初に、第１顕著性マップ生成部１１０ａは、入力画像から第１顕著性マップを生成する。ここで、入力画像は一般に、人間の視覚注意を引く注目領域を有している。例えば、図５の入力画像の場合、例えば、画面中央に入り口を有する左右に延長した建築物、建築物の手前の向日葵、及び建築物右手の樹木を注目領域と捉えることが可能である。
【００７４】
第１顕著性マップは、このような注目領域において相対的に高い輝度を有する画像である。第１顕著性マップは、例えば、非特許文献３に記載されたグラフベースの領域分割法を利用し、以下に説明するようにして形成可能である。
【００７５】
（Ａ）最初に、入力画像を、画素を頂点ｖｉ∈Ｖとし、エッジedge（ｖｉ，ｖｊ）∈Ｅに重みｗ（（ｖｉ，ｖｊ））を付与した重み付き無向グラフＧ＝（Ｖ，Ｅ）と見なす。ここで、重みｗ（（ｖｉ，ｖｊ））は、隣接する頂点ｖｉ及びｖｊの間の非類似度とされ、例えば、輝度の差、又は色的距離とすることができる。
【００７６】
（Ｂ）次いで、最初に、各頂点ｖｉを１つの領域ｒｉと見なす。即ち、領域ｒｉは当初、頂点ｖｉの数ｎだけ存在する。
（Ｃ）以下のステップＣ１〜Ｃ３をｑ＝１，２，・・・，ｍ（ｍはエッジの数）に対して繰り返す。
【００７７】
（Ｃ１）各領域ｒｉそれぞれにおいて、最小全域木（ＭＳＴ，Minimum Spanning Tree）を算出する。ＭＳＴは、無向グラフにおいて全ての頂点ｖｉを結合する木のうちエッジの重みｗ（（ｖｉ，ｖｊ））の総和が最小のものであり、各領域ｒｉ内の全ての頂点ｖｉに最小コストで辿り着くことができる木である。
【００７８】
（Ｃ２）最小内部差（minimum internal difference）
（１）  Ｍｉｎｔ（ｒｕ，ｒｖ）
＝ｍｉｎ（Ｉｎｔ（ｒｕ）＋τ（ｒｕ），Ｉｎｔ（ｒｖ）＋τ（ｒｖ））
を算出する。ここで、Ｉｎｔ（ｒ）は領域ｒの内部差、即ち領域ｒのＭＳＴに含まれる最大の重みである。言い換えると、
Ｉｎｔ（ｒ）＝ｍａｘ（ｗ（ｅ））
である。ここで、ｗ（ｅ）は、ＭＳＴに属する全てエッジｅそれぞれについての重みであり、そのうちの最大値がｍａｘ（ｗ（ｅ））となる。
また、τ（ｒ）は、
τ（ｒ）＝ｋ／｜ｒ｜
である。ここで、ｋは所定の定数係数であり、｜ｒ｜は領域ｒのサイズ（領域ｒに含まれるエッジの数）である。尚、｜ｒ｜＝１の場合、内部差Ｉｎｔ（ｒ）＝０とする。
【００７９】
（Ｃ３）ｒｉｑ−１を、ｑ−１回目のエッジに関してステップＣ１〜Ｃ３を適用したことで更新された領域とする。また、エッジＥを、重みの小さい順に、
π＝（ｏ１，・・，ｏｍ）
に仕分ける。次いで、ｑ番目のエッジで繋がる頂点ｖｉ，ｖｊに関して、
（２）  ｒｉｑ−１≠ｒｊｑ−１、且つ
（３）  ｗ（ｏｑ）≦Ｍｉｎｔ（ｒｉｑ−１，ｒｊｑ−１）
の条件を満たすならば、領域ｒｉｑ−１とｒｊｑ−１とをマージする。
【００８０】
このように、ステップＣ１〜Ｃ３を繰り返すことによって最終的に、頂点（画素）ｖｉの集合（画像）Ｖを、領域ｒ１，・・・，領域ｒｓ（ｓ個の領域）に分割することができる。次いで、複数の画像領域に分割された入力画像から、例えば非特許文献２に記載された技術を利用し、第１顕著性マップを以下に説明するようにして生成することができる。
【００８１】
（Ｄ）領域ｒｉの顕著度Ｓ（ｒｉ）を決定する指標として、コントラストスコアを採用する。コントラストスコアＣＳ（ｒｉ）は、次式
（４）  ＣＳ（ｒｋ）
＝Σｅｘｐ（−Ｄｓ（ｒｋ，ｒｉ）／σｓ２）・Ｎ（ｒｉ）・Ｄｒ（ｒｋ，ｒｉ）
で算出される。ここで、Σは、ｉ（≠ｋ）についての総和（summation）である。また、Ｎ（ｒｉ）は領域ｒｉにおける画素数であり、σｓは所定の定数である（非特許文献２ではσｓ２＝０.４）。
【００８２】
また、式（４）において、Ｄｓ（ｒｋ，ｒｉ）は、空間的距離であり、例えば、
（ａ）領域ｒｋ及び領域ｒｉにおける重心（＝｛領域のｘ座標平均，領域のｙ座標平均｝）間の距離、又は
（ｂ）領域ｒｋと領域ｒｉとの最小距離（＝ｍｉｎ（（ｘｋ，ｐ）２＋（ｘｋ，ｐ）２）０.５）
とすることができる。
【００８３】
さらに、Ｄｒ（ｒｋ，ｒｉ）は、コントラストであり、次式
（５）  Ｄｒ（ｒｋ，ｒｉ）
＝ΣｐΣｑｆ（ｃｋ，ｐ）・ｆ（ｃｉ，ｑ）・Ｄ（ｃｋ，ｐ，ｃｉ，ｑ）
で算出される。ここで、Σｐは、ｐ＝１，２，・・・，ｎｋ（ｎｋは領域ｒｋに含まれる総色数）についての総和であり、Σｑは、ｑ＝１，２，・・・，ｎｉ（ｎｉは領域ｒｉに含まれる総色数）についての総和である。また、ｆ（ｃｋ，ｐ）は、領域ｒｋに含まれるｐ番目の色ｃｋ，ｐの周波数である。さらに、式（５）において、Ｄ（ｃｋ，ｐ，ｃｉ，ｑ）は、色ｃｋ，ｐと色ｃｉ，ｑとのＬ＊ａ＊ｂ＊空間における距離（色的距離）である。ここで、例えば、Ｌ＊∈［０，１００］と設定され、ａ＊，ｂ＊∈［−１２７，１２７］と設定される。
【００８４】
（Ｅ）算出されたコントラストスコアＣＳ（ｒｋ）から、対応する顕著度Ｓ（ｒｋ）としての輝度を算出する。この際、輝度（顕著度Ｓ（ｒｋ））は、ＣＳ（ｒｋ）が最小値ＣＳｍｉｎから最大値ＣＳｍａｘまで増加するにつれて、線形に最小値Ｓｍｉｎから最大値Ｓｍａｘまで増大するように決定することができる。ここで、最小値Ｓｍｉｎ及び最大値Ｓｍａｘはそれぞれ、例えば、ゼロ（黒の輝度値）及び２５５（白の輝度値）とすることができる。尚、利用用途に応じて、輝度（顕著度Ｓ（ｒｋ））を、コントラストスコアＣＳ（ｒｋ）についての所定の単調増加関数とすることも可能である。
（Ｆ）入力画像の各画素に対応する対応画素毎に、この対応画素に対応する画像領域ｒｋの輝度（顕著度Ｓ（ｒｋ））を付与することによって、グレースケール画像である第１顕著性マップを生成する。
【００８５】
以上に述べた、（Ａ）〜（Ｆ）の手順で生成された第１顕著性マップでは、注目領域（図５の場合、画面中央に入り口を有する左右に延長した建築物、建築物の手前の向日葵、及び建築物右手の樹木）における輝度が相対的に高く、特に、最も視覚注意を引く領域（図５の場合、画面中央の建築物の入り口）における輝度が最大となっている。
【００８６】
図５によれば、次いで、第２顕著性マップ生成部１１０ｂにおいて、第１顕著性マップから更に第２顕著性マップを生成する。第２顕著性マップ生成部１１０ｂでは、入力された第１顕著性マップの輝度を、ｋ−Ｍｅａｎｓ法を用いてｎ階調にクラスタリングし、各クラスタ内の画素の輝度を、当該階調値に置換（ｎ階調化処理）して、グレースケール画像である第２顕著性マップを生成する。ここで、ｎ＝２又は３として２階調化又は３階調化処理することも好ましい。この場合、注目領域と周囲との輝度差をより明確に（端的に）つけることができ、注目領域がより適切に浮かび上がる。
【００８７】
図５によれば、さらに、ｎ階調化処理の後、ガウスぼかし法を用いてｎ階調化画像に平滑化処理を実施することによって、第２顕著性マップを生成することも好ましい。ここで、ガウスぼかし法は、例えば、１つの画素に近接する所定ぼかし半径内の画素の画素値（輝度値）を重み付けして平均化し、当該１つの画素の画素値（輝度値）をこの平均値で置換し、ぼかし処理を行う方法である。画素値（輝度値）の平均化の際のある画素の重み付けは、当該１つの画素との距離におけるガウス分布関数値で決定される。
【００８８】
以上のように生成された第２顕著性マップでは、注目領域（図５の場合、画面中央に入り口を有する左右に延長した建築物、建築物の手前の向日葵、及び建築物右手の樹木）における輝度が、他に比べて一様に、最も高くなっている。また、輝度勾配も滑らかになっている。ここで、この第２顕著性マップにおいても、第１顕著性マップと同様、各画素に顕著度としての輝度が付与されていることになる。尚、顕著性マップ（顕著度）の生成は、以上に述べた実施形態に限定されるものではなく、人間の視覚注意を引く強さが画素又は画像領域毎に指標として指定されており、指定された指標が、後述するぼかし処理のパラメータを制御可能となる形のものであればよい。
【００８９】
［ぼかし処理］
図６は、ぼかし処理の一実施形態を示す概略図である。また、図７は、このぼかし処理の一実施形態を示すフローチャートである。
【００９０】
図６（Ａ）によれば、最初に、参照領域範囲決定部１１２は、入力画像の画素毎に、（第２）顕著性マップの対応画素に付与された顕著度（輝度）Ｓに基づいて参照領域範囲Ｅを決定する。ここで、入力画像にｘｙ座標系を設定し、入力画像の注目画素の座標を（ｘ，ｙ）とする。この場合、ｘは入力画像の列の番号（列成分）に相当し、ｙは入力画像の行の番号（行成分）に相当する。また、この注目画素に対応する顕著性マップの対応画素の座標（列成分、行成分）も（ｘ，ｙ）とする。
【００９１】
参照領域範囲Ｅは、任意の形状に設定可能であるが、本実施形態において半径Ｒ（ｘ，ｙ）の円である。注目画素（座標（ｘ，ｙ））での半径Ｒ（ｘ，ｙ）は一般に、
Ｒ（ｘ，ｙ）＝ｆ（Ｓ（ｘ，ｙ））
と表される。ｆ（Ｓ（ｘ，ｙ））は、Ｓ（ｘ，ｙ）についての線形又は非線形の関数であり、利用用途に応じて定義される。
【００９２】
本実施形態においては、半径Ｒ（ｘ，ｙ）は、次式
（６）  Ｒ（ｘ，ｙ）＝−ＡＲ・（Ｓ（ｘ，ｙ）−Ｓｍｉｎ）＋Ｒｍａｘ
ＡＲ＝（Ｒｍａｘ−Ｒｍｉｎ）／（Ｓｍａｘ−Ｓｍｉｎ）
で決定される。ここで、Ｒｍａｘ及びＲｍｉｎはそれぞれ、予め指定された半径Ｒの最大値及び最小値を示す。また、Ｓｍａｘ及びＳｍｉｎはそれぞれ、顕著性マップに示された顕著度（輝度）の最大値及び最小値を示す。
【００９３】
図６（Ｂ）に、式（６）で規定された顕著度Ｓ（ｘ，ｙ）と半径Ｒ（ｘ，ｙ）との関係を示す。半径Ｒ（ｘ，ｙ）は、顕著度Ｓ（ｘ，ｙ）が高くなるほど小さくなるように、言い換えると顕著度Ｓ（ｘ，ｙ）の単調減少関数となるように、設定されている。即ち、本実施形態では、半径Ｒ（ｘ，ｙ）は、負の一次係数を持つ顕著度Ｓ（ｘ，ｙ）の一次関数である。その結果、参照領域範囲Ｅは、顕著度Ｓ（ｘ，ｙ）が高くなるほど狭小となるように決定される。尚、注目画素（ｘ，ｙ）の位置から見た相対的な参照領域範囲Ｅは、
（７）  Ｅ＝｛（ｄｘ，ｄｙ）｜ｄｘ２＋ｄｙ２≦Ｒ（ｘ，ｙ）２｝
のように、画素（座標）の集合として表される。
【００９４】
次いで、減色化画像の各画素の画素値を、参照領域範囲Ｅに含まれる当該画素及びその周辺の複数の画素のうちの１つにおける画素値に置換する。図６（Ａ）の参照領域範囲Ｅには、注目画素（ｘ，ｙ）を含めて１１個の画素が含まれている。尚、本実施形態では、画素座標（ｘ，ｙ）は、ｘｙ座標系における画素の中心点にあるものとしている。即ち、画素の中心点が半径Ｒ（ｘ，ｙ）の円内ならば、この画素は参照領域範囲Ｅ内と判断される。しかしながら、座標の取り方は当然に、この中心点に限定されるものではない。
【００９５】
このように参照領域範囲Ｅを決定することによって、顕著度（輝度）Ｓ（ｘ，ｙ）が高い画素ほど、より狭小な参照領域範囲Ｅをもって置換（ぼかし処理）が実施される。即ち、ぼかしの効果がより小さくなる。一方、顕著度（輝度）Ｓ（ｘ，ｙ）が低い画素ほど、より広範な参照領域範囲Ｅをもって置換（ぼかし処理）が実施される。即ち、ぼかしの効果がより大きくなる。その結果、入力画像の中の注目領域（顕著度Ｓ（ｘ，ｙ）が高い領域）が強調された画像を生成可能となる。
【００９６】
ここで、これら１１個の画素のうち、最小輝度値を有する画素における画素値に、注目画素（ｘ，ｙ）の画素値を置換する処理を「収縮処理」とする。一方、最大輝度値を有する画素における画素値に、注目画素（ｘ，ｙ）の画素値を置換する処理を「膨張処理」とする。
【００９７】
具体的には、変換後の注目画素の画素値ｄｓｔ（ｘ，ｙ）は、「収縮処理」の場合、
ｄｓｔ（ｘ，ｙ）＝ｍｉｎ｛ｓｒｃ（ｘ＋ｄｘ，ｙ＋ｄｙ）｜（ｄｘ，ｄｙ）∈Ｅ｝
となり、「膨張処理」の場合、
ｄｓｔ（ｘ，ｙ）＝ｍａｘ｛ｓｒｃ（ｘ＋ｄｘ，ｙ＋ｄｙ）｜（ｄｘ，ｄｙ）∈Ｅ｝
となる。ここで、ｓｒｃ（ｘ，ｙ）は、減色化画像の画素値である。
【００９８】
以後、図７のフローチャートを用いて説明するぼかし処理は、これら「収縮処理」と「膨張処理」との組合せとなる。
【００９９】
図７（Ａ）によれば、ぼかし処理部１１３で実施されるぼかし処理は、
（Ｓ５）オープニング処理を実施し、次いで
（Ｓ６）クロージング処理を実施する、
といった手順をとる。ここで、オープニング処理及びクロージング処理は、モルフォロジカル演算処理の一種であり、処理対象の領域において、幅の狭い凸部分が消失したり、狭小な凹部分が消失したりする非線形処理である。
【０１００】
図７（Ｂ）によれば、オープニング処理は、
（ａ）「収縮処理」を複数回繰り返し、その後、「膨張処理」を複数回繰り返す
処理であり、一方、図７（Ｃ）によれば、クロージング処理は、
（ｂ）「膨張処理」を複数回繰り返し、その後、「収縮処理」を複数回繰り返す
処理である。
【０１０１】
オープニング（クロージング）処理は、図７（Ｂ）（図７（Ｃ））に示したように、以下の手順で実施される。
（Ｓ５０（Ｓ６０））収縮（膨張）処理回数パラメータｔ１（ｔ３）をゼロに設定する。
（Ｓ５１（Ｓ６１））上述した「収縮（膨張）処理」を実施する。
（Ｓ５２（Ｓ６２））収縮（膨張）処理回数パラメータｔ１（ｔ３）を１だけ増分する。
（Ｓ５３（Ｓ６３））処理回数パラメータｔ１（ｔ３）値が設定処理回数Ｎ１（Ｎ３）未満であるか否かを判定する。ここで、真の判定が行われた際、ステップＳ５１（Ｓ６１）に戻り、「収縮（膨張）処理」を再度実施する。一方、偽の判定が行われた際、所定回数の「収縮（膨張）処理」が完了したとして、ステップＳ５４（Ｓ６４）に進む。
【０１０２】
（Ｓ５４（Ｓ６４））膨張（収縮）処理回数パラメータｔ２（ｔ４）をゼロに設定する。
（Ｓ５５（Ｓ６５））上述した「膨張（収縮）処理」を実施する。
（Ｓ５６（Ｓ６６））膨張（収縮）処理回数パラメータｔ２（ｔ４）を１だけ増分する。
（Ｓ５７（Ｓ６７））処理回数パラメータｔ２（ｔ４）値が設定処理回数Ｎ２（Ｎ４）未満であるか否かを判定する。ここで、真の判定が行われた際、ステップＳ５５（Ｓ６５）に戻り、「膨張（収縮）処理」を再度実施する。一方、偽の判定が行われた際、所定回数の「膨張（収縮）処理」が完了したとして、オープニング（クロージング）処理を完了とする。
【０１０３】
図７（Ｄ）（図７（Ｅ））に、「収縮（膨張）処理」の一実施形態のフローチャートを示す。ここで、減色化画像にｘｙ座標系を設定し、減色化画像の注目画素の座標を（ｘ，ｙ）とする。この場合、ｘは入力画像の列の番号（列成分）に相当し、ｙは入力画像の行の番号（行成分）に相当する。また、減色化画像における列成分ｘの範囲をimage_width（列数）とし、列成分ｙの範囲をimage_height（行数）とする。
【０１０４】
（Ｓ７００（Ｓ８００））行成分ｙをゼロに設定する。
（Ｓ７０１（Ｓ８０１））列成分ｘをゼロに設定する。
（Ｓ７０２（Ｓ８０２））上式（４）を用いて顕著度Ｓ（ｘ，ｙ）を算出する。
（Ｓ７０３（Ｓ８０３））上式（６）を用いて顕著度Ｓ（ｘ，ｙ）から半径Ｒ（ｘ，ｙ）を算出する。
【０１０５】
（Ｓ７０４（Ｓ８０４））半径Ｒ（ｘ，ｙ）を用いて参照領域範囲Ｅを決定し、参照領域範囲Ｅ内にある画素を特定する。
（Ｓ７０５（Ｓ８０５））参照領域範囲Ｅ内で最小（最大）輝度値を有する画素ｐ（ｑ）を選択する。
（Ｓ７０６（Ｓ８０６））注目画素（ｘ、ｙ）の画素値（輝度値、色情報）を選択された画素ｐ（ｑ）の画素値に置換する。
【０１０６】
（Ｓ７０７（Ｓ８０７））列成分ｘを１だけ増分する。
（Ｓ７０８（Ｓ８０８））列成分ｘ値がimage_width未満か否か（減色化画像の列数を超えているか否か）を判定する。ここで、真の判定が行われた際、ステップＳ７０２（Ｓ８０２）に戻り、増分した次の列成分ｘにおいて顕著度Ｓ（ｘ，ｙ）を算出して、収縮（膨張）処理を行うステップを繰り返す。一方、偽の判定が行われた際、ステップＳ７０９（Ｓ８０９）に進む。
【０１０７】
（Ｓ７０９（Ｓ８０９））行成分ｙを１だけ増分する。
（Ｓ７１０（Ｓ８１０））行成分ｙ値がimage_height未満か否か（入力画像の行数を超えているか否か）を判定する。ここで、真の判定が行われた際、ステップＳ７０１（Ｓ８０１）に戻り、増分した次の行成分ｙにおいて再度、各列成分ｘについて顕著度Ｓ（ｘ，ｙ）を算出して、収縮（膨張）処理を行うステップを繰り返す。一方、偽の判定が行われた際、「膨張（収縮）処理」を完了する。
【０１０８】
以上、説明した実施形態においては、「収縮処理」及び「膨張処理」を組み合わせたぼかし処理において、画素毎の顕著度Ｓ（ｘ，ｙ）を、直接処理パラメータ（ここでは半径Ｒ（ｘ，ｙ））に組み入れ、注目領域を処理結果に効果的に反映させることを可能としている。尚、当然に、本発明に係るぼかし処理は、以上に述べた実施形態に限定されるものではなく、顕著度Ｓ（ｘ，ｙ）を、ぼかし処理パラメータに有効に組み入れることができる処理であればよい。
【０１０９】
［輝度変換処理］
図８は、輝度変換処理の一実施形態を示す概略図である。
【０１１０】
図８（Ａ）によれば、最初に、輝度決定部１１６は、生成された線画合成画像の画素毎に、（第２）顕著性マップの対応画素に付与された顕著度（輝度）Ｓに対応した輝度を決定する。次いで、輝度変換処理部１１７は、線画合成画像の各画素の輝度を、決定された輝度に変換し、図８（Ｃ）に示すように輝度変換画像を生成する。ここで、入力画像にｘｙ座標系を設定し、入力画像の注目画素の座標を（ｘ，ｙ）とする。この場合、ｘは入力画像の列の番号（列成分）に相当し、ｙは入力画像の行の番号（行成分）に相当する。また、この注目画素に対応する顕著性マップの対応画素の座標（列成分、行成分）も（ｘ，ｙ）とする。
【０１１１】
尚、各画素の画素値は、輝度と色情報とに区分可能である。例えば画素値をＹＣｂＣｒ色空間の要素と捉えた場合、Ｙ値が輝度値に相当する。また、画素値をＬ＊ａ＊ｂ＊色空間の要素と捉えた場合、Ｌ値が輝度（明度）値に相当する。従って、線画合成画像の各画素の輝度を変換するとは、各画素の画素値において、色情報を変化させずに輝度のみを置換する意味である。
【０１１２】
輝度変換後の輝度Ｉ（ｘ，ｙ）は一般に、
Ｉ（ｘ，ｙ）＝ｇ（Ｓ（ｘ，ｙ））
と表される。ｇ（Ｓ（ｘ，ｙ））は、線形又は非線形の関数であり、利用用途に応じて定義される。
【０１１３】
本実施形態においては、変換後の輝度Ｉ（ｘ，ｙ）は、次式
（８）  Ｉ（ｘ，ｙ）＝−ＡＩ・（Ｓ（ｘ，ｙ）−Ｓｍｉｎ）＋Ｉｍａｘ
ＡＩ＝（Ｉｍａｘ−Ｉｍｉｎ）／（Ｓｍａｘ−Ｓｍｉｎ）
で決定される。ここで、Ｉｍａｘ及びＩｍｉｎはそれぞれ、予め指定された輝度の最大値及び最小値を示す。また、Ｓｍａｘ及びＳｍｉｎはそれぞれ、顕著性マップに示された顕著度の最大値及び最小値を示す。
【０１１４】
図８（Ｂ）に、式（８）で規定された顕著度Ｓ（ｘ，ｙ）と輝度Ｉ（ｘ，ｙ）との関係を示す。輝度Ｉ（ｘ，ｙ）は、顕著度Ｓ（ｘ，ｙ）が高くなるほど小さくなるように、言い換えると顕著度Ｓ（ｘ，ｙ）の単調減少関数となるように、設定されている。本実施形態では、輝度Ｉ（ｘ，ｙ）は、負の一次係数を持つ顕著度Ｓ（ｘ，ｙ）の一次関数である。
【０１１５】
このような形で画素毎に顕著度Ｓ（ｘ，ｙ）に応じた輝度を採用することによって、顕著度の低い画素の輝度を高めることで目立たなくさせることができる。この点は、例えば、図８（Ｃ）の輝度変換画像を、図８（Ｄ）の輝度変換処理を実施していない画像と比較することによって理解される（図８（Ｃ）では、注目領域の周囲が全体的に白っぽくなっている）。結果として、入力画像の中の注目領域の輝度がより強調された画像が生成可能となる。
【０１１６】
尚、輝度Ｉ（ｘ，ｙ）を、正の一次係数を持つ、顕著度Ｓ（ｘ，ｙ）の一次関数とすることが適切な場合もある。例えば、画面中央の注目領域の周囲を一様に（全体的に）黒っぽくすることで、注目領域の輝度がより強調された画像が生成される場合も存在する。
【０１１７】
［減色化処理］
図９は、減色化処理の一実施形態を示す概略図である。
【０１１８】
図９に示すように、最初に、減色化処理部１１１は、Mean-shift法を用いて、入力画像を、入力画像の各画素における色的距離及び空間的距離に基づき複数の領域に分割し、各領域に代表画素値を割り当てる。次いで、入力画像の各画素の画素値を、当該画素を含む領域の代表画素値に置換して減色化画像を生成する。
【０１１９】
具体的には、
（Ａ）入力画像の各画素を、空間及び色を軸とする超空間内のピクセル（Ｘ，Ｙ）とし、このピクセルの近傍Ｔを、次式
（９）  Ｔ＝｛（ｘ，ｙ）：（Ｘ−ｓｐ≦ｘ≦Ｘ＋ｓｐ）且つ（Ｙ−ｓｐ≦ｙ≦Ｙ＋ｓｐ）且つ（｜（Ｒ，Ｇ，Ｂ）−（ｒ，ｇ，ｂ）｜≦ｓｒ）｝
で規定する。ここで、ｓｐは空間ウィンドウの半径であり、ｓｒは色空間ウィンドウの半径であって、両者は予め設定される定数である。また、（Ｒ，Ｇ，Ｂ）及び（ｒ，ｇ，ｂ）はそれぞれ、（Ｘ，Ｙ）及び（ｘ，ｙ）における色成分ベクトルである。従って、｜（Ｒ，Ｇ，Ｂ）−（ｒ，ｇ，ｂ）｜は、色（ＲＧＢ）空間内での色的距離となる。
【０１２０】
（Ｂ）ピクセル（Ｘ，Ｙ）の色成分（Ｒ，Ｇ，Ｂ）を、この近傍Ｔ内に存在する全てのピクセルの色成分の平均値（ｒｍ，ｇｍ，ｂｍ）に置換する。即ち、ピクセル（Ｘ，Ｙ）を、近傍Ｔ領域の重心（平均値位置）までシフトする。
（Ｃ）このシフト量ｓ＝｜（Ｒ，Ｇ，Ｂ）−（ｒｍ，ｇｍ，ｂｍ）｜が所定値以下となるまで上記（Ａ）及び（Ｂ）を繰り返し、最終的に、入力画像の画素数Ｍだけの収束点ＺＭが算出される。
【０１２１】
（Ｄ）超空間内での距離がある値ｈ以下となる収束点ＺＭを１つのグループとして、Ｍ個の収束点ＺＭを、ｈを調節しつつＣ個のグループにグループ分けする。
（Ｅ）入力画像の各画素に、対応する収束点ＺＭの属するグループのラベルを付与し、これにより、入力画像の全画素を、Ｃ個の領域に分割する。
（Ｆ）各領域内の画素値を、当該領域内の画素値の平均値に置換する。
【０１２２】
以上、（Ａ）〜（Ｆ）で述べた方法によって、入力画像を、画素値（色）の勾配が平均化された、絵画調画像により近い減色化画像に変換することができる。
【０１２３】
［線画生成］
図１０は、線画生成処理の２つの実施形態を示す概略図である。
【０１２４】
図１０（Ａ）に示した実施形態によれば、線画生成部１１４は、最初に、入力画像をグレースケール画像に変換する。次いで、所定の筆感を付加するためのテクスチャ画像を入力する。次いで、変換されたグレースケール画像の各画素の輝度Ｉｇから、以下の輝度判定に従って、線画像の各画素における輝度Ｉｇ’を決定する。即ち、
（ａ）グレースケール画像の当該画素の輝度Ｉｇが所定閾値Ｉｔｈを超える場合、
Ｉｇ’＝２５５（白相当値）    if  Ｉｇ＞Ｉｔｈ
とし、
（ｂ）当該画素の輝度Ｉｇが所定閾値Ｉｔｈ以下である場合、入力したテクスチャ画像における対応する画素の輝度をＩｔｘｔとして、
Ｉｇ’＝−（Ｉｇ／Ｉｔｈ）×（Ｉｇ／Ｉｔｈ−２）×Ｉｔｘｔ    if  Ｉｇ≦Ｉｔｈ
とする。
【０１２５】
このようにテクスチャ画像を取り込んで線画生成を実施することによって、所定の筆感が付加された線画像を生成することができる。
【０１２６】
一方、図１０（Ｂ）に示した実施形態によれば、線画生成部１１４は、最初に、入力画像をグレースケール画像に変換する。次いで、このグレースケール画像Ｉ（ｘ，ｙ）に、第１ぼかしパラメータσ１＝σによる第１ガウスぼかし処理を実施して平滑化画像Ｌ（ｘ，ｙ，σ）を生成し、さらに、第２ぼかしパラメータσ２＝ｋσ（ｋ：増加率）による第２ガウスぼかし処理を実施して平滑化画像Ｌ（ｘ，ｙ，ｋσ）を生成する。具体的には、
（１０）  Ｌ（ｘ，ｙ，σ）＝Ｇ（ｘ，ｙ，σ）＊Ｉ（ｘ，ｙ）
（１１）  Ｌ（ｘ，ｙ，ｋσ）＝Ｇ（ｘ，ｙ，ｋσ）＊Ｉ（ｘ，ｙ）
となる。ここで、Ｇ（ｘ，ｙ，σ）はガウス関数であり、
（１２）  Ｇ（ｘ，ｙ，σ）＝（２πσ２）０.５・ｅｘｐ（−（ｘ２＋ｙ２）／２σ２）
である。
【０１２７】
次いで、平滑化画像Ｌ（ｘ，ｙ，σ）と平滑化画像Ｌ（ｘ，ｙ，ｋσ）との差分としてのＤｏＧ（Difference-of-Gaussian）画像Ｄ（ｘ，ｙ，σ）を生成する。即ち、
（１３）  Ｄ（ｘ，ｙ，σ）＝Ｌ（ｘ，ｙ，ｋσ）−Ｌ（ｘ，ｙ，σ）
を算出する。この生成されたＤｏＧ画像を線画像とする。このようにガウスぼかし処理の差分をとって線画像を生成することによって、テクスチャ画像を必要としない線画像を生成することができる。
【０１２８】
以上詳細に説明したように、本発明では、任意の画像に対して顕著性マップを生成し、画素毎に顕著度Ｓに応じた参照領域範囲Ｅを採用し、ぼかし処理を実施する。これにより、所与の画像に対して、この画像の注目領域を強調しつつこの画像を非写実的に変換することが可能となる。
【０１２９】
また、注目領域を強調したぼかし処理を実施することによって、画像に対してより豊かな表現を加えることも可能となる。その結果、より美感の高い、又はより強いインパクトを有する画像を生成することもできる。
【０１３０】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【０１３１】
１  非写実変換処理装置
１００  入力部
１０１  出力部
１１０  顕著性マップ生成部
１１０ａ  第１顕著性マップ生成部
１１０ｂ  第２顕著性マップ変換部
１１１  減色化処理部
１１２  参照領域範囲決定部
１１３  ぼかし処理部
１１４  線画生成部
１１５  線画合成部
１１６  輝度決定部
１１７  輝度変換処理部
１１８  テクスチャ画像合成部
１２０  テクスチャ画像記憶部
【図３】
2014016688.tif 000003
【図４】
2014016688.tif 000004
【図７】
2014016688.tif 000005
【図１】
2014016688.tif 000006
【図２】
2014016688.tif 000007
【図５】
2014016688.tif 000008
【図６】
2014016688.tif 000009
【図８】
2014016688.tif 000010
【図９】
2014016688.tif 000011
【図１０】
2014016688.tif 000012