(57)【要約】【課題】  単に絵画調なだけでなく、元の写真画像から、より人間が手描きで描いたような絵画調の画像を変換生成できる画像変換装置および画像変換方法を得る。【解決手段】  画像変換装置１を、手本となる絵画調画像を選択する手段２と、手本画像とオリジナル画像のそれぞれで、輪郭線画像と領域画像を抽出する手段３と、手本画像の輪郭線画像と領域画像の特徴に応じて、小サイズ矩形セグメントを選択する手段４と、オリジナル画像の輪郭線画像と領域画像の特徴に応じて小サイズ矩形セグメントを選択する手段５と、手本画像中の小矩形セグメントと、オリジナル画像中の小矩形セグメントとの特徴の差異やその度合を算出し変換式およびそのパラメータを推定する手段６と、推定された変換式およびパラメータに基づいてオリジナル画像の全体に対しデフォルメ変形処理や絵画調変換処理を施し変換画像を生成する処理手段７を備えた構成とする。【選択図】        図２
2013246578.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像を、第２の画像に基づいて異なる画像に変換処理する画像変換装置において、
前記第２の画像と前記第１の画像のそれぞれで、輪郭線画像と領域画像を抽出する抽出手段と、
前記第２の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第２の画像用選択手段と、
前記第１の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第１の画像用選択手段と、
前記第２の画像中の矩形セグメントと、前記第１の画像中の矩形セグメントにおいて、所定の特徴の差異とその度合を算出して、変換式およびそのパラメータを推定する変換式算出手段と、
前記推定された変換式およびパラメータに基づいて、前記第１の画像の全体に対して、デフォルメ変形処理を施し、変換処理後画像を生成する処理手段と、
を備えていることを特徴とする画像変換装置。
【請求項２】
オリジナル画像を、手本画像に基づいて絵画調の画像に変換処理する画像変換装置において、
前記手本画像と前記オリジナル画像のそれぞれで、輪郭線画像と領域画像を抽出する抽出手段と、
前記手本画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する手本画像用選択手段と、
前記オリジナル画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択するオリジナル画像用選択手段と、
前記手本画像中の矩形セグメントと、オリジナル画像中の矩形セグメントにおいて、所定の特徴の差異とその度合を算出して、変換式およびそのパラメータを推定する変換式算出手段と、
前記推定された変換式およびパラメータに基づいて、前記オリジナル画像の全体に対して、デフォルメ変形処理を施し、変換処理後画像を生成する処理手段と、
を備えていることを特徴とする画像変換装置。
【請求項３】
前記手本画像は複数の中から選択されることを特徴とする請求項２記載の画像変換装置。
【請求項４】
前記矩形セグメントは小サイズのセグメントであることを特徴とする請求項２記載の画像変換装置。
【請求項５】
前記処理手段は、さらに、前記オリジナル画像の全体に対して、絵画調に変換する変換処理を施すことを特徴とする請求項２記載の画像変換装置。
【請求項６】
オリジナル画像を、選択した手本としたい絵画調に変換された画像に基づいて絵画調の画像に変換する画像変換方法において、
以下の工程を含むことを特徴とする画像変換方法。
１）対象画像（B）を選択する工程。
２）変換の手本としたい絵画調に変換された画像（A’）を選択する工程。
３）手本の画像（A’）と対象画像（B）のそれぞれで、輪郭線画像と領域画像を抽出する工程。
４）手本画像（A’）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数（a’1、・・・、a’n）選択する工程。
５）対象画像（B）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数（b1、・・・、bn）選択する工程。
６）手本画像（A’）中の小矩形セグメント（a’i）と、対象画像中の小矩形セグメント（bi）において、所定の特徴の差異や、その度合を算出して、変換式およびそのパラメータを推定する工程。
７）推定された変換式およびパラメータに基づいて、対象画像（B）の全体に対して、デフォルメ変形処理や絵画調変換処理を施し、変換処理後画像（B’）を生成する工程。
【請求項７】
第１の画像を、第２の画像に基づいて異なる画像に変換処理する画像変換方法において、
前記第２の画像と前記第１の画像のそれぞれで、輪郭線画像と領域画像を抽出する抽出工程と、
前記第２の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第２の画像用選択工程と、
前記第１の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第１の画像用選択工程と、
前記第２の画像中の矩形セグメントと、前記第１の画像中の矩形セグメントにおいて、所定の特徴の差異とその度合を算出して、変換式およびそのパラメータを推定する変換式算出工程と、
前記推定された変換式およびパラメータに基づいて、前記第１の画像の全体に対して、デフォルメ変形処理を施し、変換処理後画像を生成する処理工程と、
を含むことを特徴とする画像変換方法。
【請求項８】
第１の画像を、第２の画像に基づいて異なる画像に変換処理する画像変換装置が備えるコンピュータを、
前記第２の画像と前記第１の画像のそれぞれで、輪郭線画像と領域画像を抽出する抽出手段と、
前記第２の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第２の画像用選択手段と、
前記第１の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第１の画像用選択手段と、
前記第２の画像中の矩形セグメントと、前記第１の画像中の矩形セグメントにおいて、所定の特徴の差異とその度合を算出して、変換式およびそのパラメータを推定する変換式算出手段と、
前記推定された変換式およびパラメータに基づいて、前記第１の画像の全体に対して、デフォルメ変形処理を施し、変換処理後画像を生成する処理手段と、
して機能させることを特徴とする前記コンピュータ読み取り可能な画像変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した写真を絵画調の画像に変換する画像変換装置および画像変換方法に関し、特に人間が手描きで書いたような、より人間的な絵画調の画像を変換生成する画像変換装置および画像変換方法、画像変換プログラムに関する。
【背景技術】
【０００２】
従来から、カメラで撮影した写真（画像）を元に、イラスト画や油彩、水彩、鉛筆画、パステル画など美術的な絵画調の画像に変換する絵画調変換技術が種々知られている。そのなかに、例えば、基準色と色勾配、アートブラシ等を設定して、ブラシストロークの軌跡を描画したり、輪郭画素群が並ぶ方向を選択し、選択方向に並ぶ画素値を平均化したりして、絵画風の筆使いタッチを真似る方法がある（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３５７２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述したような絵画調変換技術では、写真よりは絵画に近いタッチの、いわゆる「絵画調」の画像がある程度自動生成できるが、少し離れた地点から眺めてみると、カメラで機械的に撮影されたデジタル画像の印象と大差なく、人間が手書きで描いたような趣きや描写や表現、タッチ、作風等を持つような芸術的な絵画調画像への自動変換は難しいという技術的課題があった。
【０００５】
本発明はこのような事情に鑑みてなされたものであり、単に絵画調なだけでなく、元の写真画像から、より人間が手描きで描いたような、より人間的な絵画調の画像を変換生成することができる画像変換装置および画像変換方法、画像変換プログラムを得ることを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため請求項１記載の発明は、第１の画像を、第２の画像に基づいて異なる画像に変換処理する画像変換装置において、前記第２の画像と前記第１の画像のそれぞれで、輪郭線画像と領域画像を抽出する抽出手段と、前記第２の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第２の画像用選択手段と、前記第１の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第１の画像用選択手段と、前記第２の画像中の矩形セグメントと、前記第１の画像中の矩形セグメントにおいて、所定の特徴の差異とその度合を算出して、変換式およびそのパラメータを推定する変換式算出手段と、前記推定された変換式およびパラメータに基づいて、前記第１の画像の全体に対して、デフォルメ変形処理を施し、変換処理後画像を生成する処理手段と、を備えていることを特徴とする画像変換装置を提供する。
【０００７】
また、請求項２記載の発明は、オリジナル画像を、手本画像に基づいて絵画調の画像に変換処理する画像変換装置において、前記手本画像と前記オリジナル画像のそれぞれで、輪郭線画像と領域画像を抽出する抽出手段と、前記手本画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する手本画像用選択手段と、前記オリジナル画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択するオリジナル画像用選択手段と、前記手本画像中の矩形セグメントと、オリジナル画像中の矩形セグメントにおいて、所定の特徴の差異とその度合を算出して、変換式およびそのパラメータを推定する変換式算出手段と、前記推定された変換式およびパラメータに基づいて、前記オリジナル画像の全体に対して、デフォルメ変形処理を施し、変換処理後画像を生成する処理手段と、を備えていることを特徴とする画像変換装置を提供する。
【０００８】
また、請求項６記載の発明は、オリジナル画像を、選択した手本としたい絵画調に変換された画像に基づいて絵画調の画像に変換する画像変換方法において、以下の工程を含むことを特徴とする画像変換方法を提供する。１）対象画像（B）を選択する工程。２）変換の手本としたい絵画調に変換された画像（A’）を選択する工程。３）手本の画像（A’）と対象画像（B）のそれぞれで、輪郭線画像と領域画像を抽出する工程。４）手本画像（A’）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数（a’1、・・・、a’n）選択する工程。５）対象画像（B）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数（b1、・・・、bn）選択する工程。６）手本画像（A’）中の小矩形セグメント（a’i）と、対象画像中の小矩形セグメント（bi）において、所定の特徴の差異や、その度合を算出して、変換式およびそのパラメータを推定する工程。７）推定された変換式およびパラメータに基づいて、対象画像（B）の全体に対して、デフォルメ変形処理や絵画調変換処理を施し、変換処理後画像（B’）を生成する工程。
【０００９】
また、請求項７記載の発明は、第１の画像を、第２の画像に基づいて異なる画像に変換処理する画像変換方法において、前記第２の画像と前記第１の画像のそれぞれで、輪郭線画像と領域画像を抽出する抽出工程と、前記第２の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第２の画像用選択工程と、前記第１の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第１の画像用選択工程と、前記第２の画像中の矩形セグメントと、前記第１の画像中の矩形セグメントにおいて、所定の特徴の差異とその度合を算出して、変換式およびそのパラメータを推定する変換式算出工程と、前記推定された変換式およびパラメータに基づいて、前記第１の画像の全体に対して、デフォルメ変形処理を施し、変換処理後画像を生成する処理工程と、
を含むことを特徴とする画像変換方法。
【００１０】
また、請求項８記載の発明は、第１の画像を、第２の画像に基づいて異なる画像に変換処理する画像変換装置が備えるコンピュータを、前記第２の画像と前記第１の画像のそれぞれで、輪郭線画像と領域画像を抽出する抽出手段と、前記第２の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第２の画像用選択手段と、
【００１１】
前記第１の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第１の画像用選択手段と、前記第２の画像中の矩形セグメントと、前記第１の画像中の矩形セグメントにおいて、所定の特徴の差異とその度合を算出して、変換式およびそのパラメータを推定する変換式算出手段と、前記推定された変換式およびパラメータに基づいて、前記第１の画像の全体に対して、デフォルメ変形処理を施し、変換処理後画像を生成する処理手段と、して機能させることを特徴とする前記コンピュータ読み取り可能な画像変換プログラムを提供する。
【発明の効果】
【００１２】
本発明に係る画像変換装置および画像変換方法、画像変換プログラムによれば、オリジナル画像（対象画像）から輪郭線を自動抽出し、所定の変換式に基づく変形処理、減数処理等を施し、これらの画像を合成することにより、単に絵画調であるだけでなく、より人間が手描きで描いたような、より人間的な絵画調画像を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る画像変換装置および画像変換方法の一実施の形態を示し、ハードウエア構成を説明するための機能ブロック図である。
【図２】本発明に係る画像変換装置および画像変換方法の一実施の形態を示し、装置全体の概要を説明するための機能ブロック図である。
【図３】本実施の形態に係る画像変換装置による画像変換方法を説明するためのフローチャートである。
【図４】実施の形態に係る画像変換装置による手描き風の絵画調変換（１）を説明するためのフローチャートである。
【図５】実施の形態に係る画像変換装置によるモーフィング合成を説明するための概略説明図である。
【図６】画像変換装置による画像変換による平均顔の例を示す説明図である。
【図７】画像変換において、モーフィングとカリカチェアとを説明するための説明図である。
【図８】実施の形態に係る画像変換装置によるモーフィング合成処理を説明するための説明図である。
【図９】実施の形態に係る画像変換装置においてモーフィング合成、およびワービング変形の算出フローチャートである。
【図１０】本実施の形態に係る画像変換装置による手描き風の絵画調変換（２）を説明するためのフローチャートである。
【発明を実施するための形態】
【００１４】
図１は、本発明の一実施の形態にかかる画像変換装置１のハードウエア構成を示すブロック図である。本実施の形態は、パソコン３００を画像変換装置１として用いるものであり、図示のように、このパソコン３００は、バス３０１を介して互いに接続された制御部３０２、ＨＤＤ（Hard Disk）３０３、ＲＡＭ（Random Access Memory）３０４、ＤＶＤ／ＣＤ−ＲＯＭドライブ３０７、およびインターフェイス部３０９を備えている。
【００１５】
制御部３０２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）等で構成され、ＲＯＭに記憶されているブートプログラムやＯＳ（Operating System）等の基本プログラムに基づき、ＲＡＭ３０４に記憶されたプログラムを順次実行して、各種処理等を行うとともに、パソコン３本体内の各部の動作を制御する。ＨＤＤ３０３には、予め外部から取り込んだプログラムおよびデータが記憶される。
【００１６】
ＲＡＭ３０４は、メインメモリとして使用されるもので、ＤＶＤ／ＣＤ−ＲＯＭ３１０から転送された、プログラムやデータを記憶する。ＲＡＭ３０４は、また、プログラム実行時におけるワークエリアとしても使用される。
【００１７】
ＤＶＤ／ＣＤ−ＲＯＭドライブ３０７は、制御部３０２からの指示に従って、パソコン３にセットされたＤＶＤ／ＣＤ−ＲＯＭ３１０を駆動し、ＤＶＤ／ＣＤ−ＲＯＭ３１０に格納されているプログラムやデータを、バス３０１を介してＲＡＭ３０４に転送する。インターフェイス部３０９には、キーボード３１２とマウス３１３とが接続される。このインターフェイス部３０９では、キーボード３１２およびマウス３１３と制御部３０２やＲＡＭ３０４との間のデータの授受を制御する。
【００１８】
ＨＤＤ３０３は、各種プログラムや後述するフローチャートに示す、このパソコン３を画像変換装置１として動作させる為のプログラムや各種データを格納している。ＤＶＤ／ＣＤ−ＲＯＭ３１０は、ＤＶＤ／ＣＤ−ＲＯＭドライブ３０７によって駆動されて、格納しているプログラムやデータが読み出される。ＤＶＤ／ＣＤ−ＲＯＭ３１０から読み出されたプログラムやデータは、ＤＶＤ／ＣＤ−ＲＯＭドライブ３０７からバス３０１を介してＲＡＭ３０４に転送される。表示装置３１１は、制御部３０２により制御されて画像を表示する液晶パネル等からなる表示画面を備えている。
【００１９】
図２は本発明の一実施の形態に係る画像変換装置１の概要を説明するための機能ブロック図である。符号１で示すものは、オリジナル画像、選択した手本としたい絵画調に変換された画像に基づいて絵画調の画像に変換処理するために用いられる画像変換装置である。
【００２０】
この画像変換装置１は、変換の手本としたい絵画調に変換された画像を選択する手本画像選択手段２と、この手本とした絵画調画像と前記変換の対象とするオリジナル画像のそれぞれで、輪郭線画像と領域画像を抽出する抽出手段３と、前記手本の画像の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数選択する手本画像用選択手段４と、前記オリジナル画像の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメント（小矩形セグメント）を複数選択するオリジナル画像用選択手段５とを備えている。
【００２１】
ここで、輪郭線画像とは画像中の輪郭線を表す線状の画像部分であり、領域画像とはこの輪郭線画像により取り囲まれる領域の画像部分である。
【００２２】
さらに、この画像変換装置１は、前記手本画像中の小矩形セグメントと、オリジナル画像中の小矩形セグメントにおいて、所定の特徴の差異や、その度合を算出して、変換式およびそのパラメータを推定する変換式算出手段６と、前記推定された変換式およびパラメータに基づいて、前記オリジナル画像の全体に対して、デフォルメ変形処理や絵画調変換処理を施し、変換処理後画像を生成する処理手段７と、を備えている。
【００２３】
ここで、上述した矩形セグメントとは、手本の画像、オリジナル画像のそれぞれにおいて、輪郭線画像と領域画像の特徴に応じて、メッシュ状に分割して得られるほぼ矩形状を呈する小さなエリアを示し、例えば後述する図８に示したような領域部分である。それ故、この小さなエリアからなる矩形セグメントを小矩形セグメントとも表記している。
【００２４】
なお、前記所定の変換式に基づく変形変換処理は、アフィン変形変換、モーフィング（Morphing)変換、ワーピング（Warping)変換、もしくは、それらの変換係数に乱数やゆらぎを加えた変換等を施すことにより行われる。
【００２５】
上述した構成による画像変換装置１による画像変換処理は、以下のようにして行われる。
（１）オリジナル画像（元画像）を絵画調画像に変換するにあたって手本としたい絵画調に変換された画像をＨＤＤ３０３内に予め設けてあるデータベースの中から選択する（図３中、ステップＳ１）。
（２）選択した手本としたい絵画調画像と、オリジナル画像から輪郭線画像と領域画像とを抽出する（ステップＳ２）。
（３）次いで、手本とする絵画調画像から、その輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数選択する（ステップＳ３）。
（４）オリジナル画像（対象画像）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数選択する（ステップＳ４）。
（５）手本画像中の小矩形セグメントと、対象画像中の小矩形セグメントにおいて、所定の特徴の差異や、その度合を算出して、変換式およびそのパラメータを推定する（ステップＳ５）。
（６）推定された変換式およびパラメータに基づいて、対象画像の全体に対して、デフォルメ変形処理や絵画調変換処理を施し、変換処理後画像を生成する（ステップＳ６）。
（７）しかる後、対象画像の元画像とは別に、デフォルメ変形や絵画調変換された画像を別の画像ファイルとして、画像メモリー媒体等に保存記録する。
【００２６】
ここで、上述したオリジナルが像から絵画調画像への変形変換は、輪郭線画像に対して、所定のアフィン変形変換、もしくは、モーフィング（Morphing)変換、ワーピング（Warping)変換、もしくは、それらの変換係数に乱数やゆらぎを加えた変換等を施すことで行われる。
【００２７】
例えば、基準画像をI ｇ、参照画像（例；平均顔画像）をI r、内挿補間係数をαとすると、
モーフィング変換（内挿補間変換）式；
I s＝αI ｒ＋(1.0−α)I ｇ  （ただし、０＜α＜１）
【００２８】
また、上記の輪郭線画像の変形変換を施す際に、上記の変換された輪郭線画像における線情報の一次元分布のフラクタル次元が、所定の範囲（例；印象派絵画相当の１．５〜１．６）、もしくは、輝度（明度）情報の二次元分布のフラクタル次元が、所定の範囲（印象派絵画相当の２．３〜２．４）に入るように、変形変換を施して、より自然な分布の絵画調画像を生成する。もしくは、上記の領域画像（色彩画像）の変形変換を施す際に、色相または彩度の二次元分布の冗長度が、所定の範囲（例；印象派絵画相当の０．４〜０．５）に入るように、変形変換を施す。
【００２９】
元画像が、人物を含む画像であると判断された場合には、(1)人物の領域画像を抽出または切抜き抽出し、(2)人物の頭と身体との比率（ｎ等身）を求め、それが所定の比率に近づくように、人物の頭領域画像を相対的に拡大処理するとともに、人物のその他身体部分を相対的に縮小処理し、（ｎ等身の）デフォルメされた比率（プロポーション）の人物像に変換する。また、頭部分だけでなく、手足、指など、身体の端や先端部分を相対的に拡大処理するようにしても良い。
【００３０】
そして、(3)比率が変形された人物の領域画像と、その他の領域画像（背景）とを合成し、(4)プロポーション変形された画像に、絵画調変換処理を施す。
【００３１】
同じく、元画像が人物を含む画像であると判断された場合には、人物の頭または顔の領域画像を抽出または切抜き抽出し、人物の頭または顔の領域画像を、予め記憶した標準の頭または顔の領域画像を基準に、差異が強調されるようにカリカチュア変換（モーフィングの逆の変換）して、個性を強調してデフォルメした頭または顔の領域画像を生成する。
【００３２】
例えば、I s＝αI ｒ＋(1.0−α)I ｇ＝α（I ｒ−I ｇ）＋I ｇにおいて、モーフィングのような内挿変換の代りに、外挿変換を考えて、α＜０（内挿補間係数αが負）、−α＝β＞０（外挿係数βが正）の場合を考えると、
カリカチュア変換式；I s＝-β（I ｒ−I ｇ）＋I ｇ  
＝I ｇ＋β（I ｇ−I ｒ）
＝（１＋β）I ｇ−βI ｒ（ただし、外挿係数β＞０）
カリカチュア変形された人物の領域画像と、その他の領域画像（背景）とを合成する。
その後、カリカチュアデフォルメ変形された画像に、絵画調変換処理を施す。
【００３３】
画像中の画素値などの特徴量に応じて、視覚的な注目点領域などを推定検出して、主要被写体領域を抽出する。もしくは撮影時のフォーカス検出枠の領域を含む被写体領域を、主要被写体領域として抽出する。
【００３４】
抽出された主要被写体の領域画像を前景領域として、（相対的に）拡大するとともに、その他の領域画像を背景領域として、（相対的に）縮小して、前景領域と背景領域とを合成して、遠近感（または奥行きの深さ）を強調した画像を合成する。
その後、遠近感強調変形された画像に、絵画調変換処理を施すとよい。
【００３５】
ここで、前述したゆらぎを加えた変換は、以下のようにして行える。
すなわち、車や家電などの工業製品や工業デザインの分野では、一般になめらかな曲線が美しいとされ、多く利用されている。一方、手描きのスケッチやイラスト画、絵本、コミックなどでは、なめらかな曲線ばかりではなく、強弱のある線やふるえのある線など、手描きや手描き風の曲線が多く見られる。
【００３６】
例えば、ディック・ブルーナの絵本「ミッフィー」や、チャールズ・シュルツのコミック「PEANUTS〜スヌーピーと仲間たち」など、一見滑らかな線で描いたように見える絵や画像でも、よく観察すると、手描きによる震えた美しい曲線が多く残してあるのが見られる。
【００３７】
一般に、滑らかな曲線と手描きの曲線を比較すると、それぞれをフーリエ解析したり、（点の位置情報のみを用いる）G型記述子、（点と点との角度情報のみを用いる）Z型記述子、（点と点との間の方向ベクトルを用いる）P型記述子などのフーリエ記述子で記述するなどして、周波数領域で違いを見ると、滑らかな曲線では、高周波領域でも単調でなだらかな周波数vsパワースペクトル特性（横軸に空間周波数、縦軸にパワースペクトル）なのに対して、手描き曲線では、空間周波数64（＝2＾6）以上の高周波領域でふるえや揺らぎが大きくなること等が知られている。
【００３８】
このような特徴を考慮して、直線や滑らかな曲線から、手描き風の震えた曲線を自動作成するには、例えば、次のようなゆらぎ処理を付加する変換を行えばよい。
または、さらに、そのような揺らぎや震えを付加した線の候補から、空間周波数の特徴（高周波域でふるえや揺らぎが大きい）など、手描き風の曲線の条件に合うものを選別すればよい。
【００３９】
これを詳述すると、
（１）直線に歪みやゆらぎを持たせる。
例えば、直線上の端A（x1,y1）と端B（x2,y2）との間の中間点Cを取り、その中間点Cの位置を元の位置C（x3,y3）から点C'（x3',y3'）に、少しづつランダムにずらし移動する変換を行う。
点Aの2次元座標を（x1,y1）、点Bを（x2,y2）とすると、
点Cの座標（x3,y3）＝{(x1＋x2)/2 ,(y1＋y2)/2}
これに、それぞれ任意の確率X（またはY）で乱数S（またはT）を加えて（負の場合は減じて）ずらし移動すると、
点C'の座標（x3',y3'）＝{x3＋X＊S , y3＋Y＊T}＝{(x1＋x2)/2＋X＊S , (y1＋y2)/2＋Y＊T}
【００４０】
これをさらに端Aと新しい中間点C’との間に、さらに（新しい中間点を作って）次々と繰り返す。
新しい点は必ずしも中間点でなくても良く、ランダムに作っても良い。
【００４１】
（２）または、対象の線が、円や円弧、曲線の一部の場合には、
１）円周や円弧上に2点A、Bを取り、その点から中心点（x0,y0）と、半径Rを求める、任意の確率X（またはY）で乱数S（またはT）を加える（負の時は減じる）。
すなわち、
xi=x0＋R・cos(i＊θ)＋X＊S、yi＝y0＋R・sin(i＊θ)＋Y＊T
２）その点を順次つなぐ、以上を繰り返す。
このとき、確率X、Yが低く、数値S、Tが小さい場合には、殆ど歪みの少ない滑らかな円や円弧ができるが、確率X、Yが高く、また数値S、Tを大きくすると、歪みやバラツキの大きい、ギザギザな円や円弧ができるので、確率X（またはY）と乱数S（またはT）の大きさを調整することで、滑らか度合やゆらぎの度合を調節することができる。
【００４２】
（３）または、滑らかな曲線やBスプライン近似曲線を、手描き風の歪みのある曲線に変換する。すなわち、滑らかな曲線のフーリエ変換、または、フーリエ記述子など、周波数特性が、周波数64（＝2＾6）以上の高周波領域で、揺らぎやバラツキが大きくなるように変換加工する。
【００４３】
例えば、
１）手本となる手描き曲線（サンプル）の輪郭線の、（P型）フーリエ記述子を計算し、周波数領域で記述する。
２）周波数領域で記述した手描き曲線に、ハイパスフィルタ処理を施し、所定周波数（＝空間周波数64）以上の高周波数領域を抽出する。
３）対象となる曲線またはその折れ線近似、Bスプライン曲線近似など滑らかな曲線を、同様に、（P型）フーリエ記述子を計算し、周波数領域で記述する。
４）滑らかな曲線の周波数特性の高周波数領域に、前記２）で抽出された（手描き曲線の空間周波数64以上の）高周波数領域を加える。
５）上記４）の周波数特性を逆フーリエ変換して、時間領域に戻すと、対象となる滑らかな曲線を、手描き風に変換した曲線が得られる。
【００４４】
（４）あるいは、実際の手描き時の肘や腕、手首の運動のしやすさ、制約、描く方向や線の特徴、正しく描きやすい線、描きにくい線や方向など、運筆条件に基づいて、写真画像や元の滑らかな曲線を、ラフスケッチ風の手書き曲線に変換する。
【００４５】
具体的には、
１）（閾値を超えて）長い曲線→短い曲線の連結に変換する、
２）1本の滑らかなストローク→複数の短い曲線の束に変換する、
３）曲がり角や複雑なストロークの曲線→単純なストロークに、複数ストロークの連結に変換する、
４）曲がり角や曲率の大きい箇所は→ストロークを多くする、
５）ストロークに乱数やゆらぎを加える。
６）ストロークの位置を揺らがせる（平行移動）
７）滑らかな連結→  類似の新しいストロークを加える（繰り返しなぞるような様子）
８）急な連結や折れ曲り  →  ストロークを交差させる、分割する、ストロークを突き出させる。
９）（右利きの人では）、右上がりは肘を動かしやすい→  線を描きやすいが、弧が浅くなりがち（円弧の半径が長くなる）、
右上りの滑らかな線を→  やや浅い円弧に変換（弧の半径を長くする）
10）（右利きの人では）、右下がりは肘を動かしにくい→  手首を動かすので、弧が深くなる（円弧の半径が短くなる）、
右下りの滑らかな線を→  やや深い円弧に変換（弧の半径を短くする）
閾値や乱数、揺らぎ、移動の大小、円弧の浅深（半径の伸縮）を調整することで、手描きのタッチや作風を調整できる。
【００４６】
以上のような絵画調変換処理を施すと、より人間が手描きで描いたような、より人間的な絵画調画像を得ることができる。
すなわち、
１）単に画質や調子、タッチなどが絵画調なだけでなく、より人間が手描きで描いたような、より人間的な絵画調の画像に変換生成することができる。
２）また、上記の変換を行う際に、あわせて、線情報の一次元分布のフラクタル次元や、輝度情報の二次元分布のフラクタル次元、色相または彩度の分布の冗長度などが、所定の範囲に入るように、変換を行うことによって、より自然な画像や、人間の手描き画像に近い絵画調画像に変換できる。
３）またさらに、あわせて人間が手書きで描いた場合に多く見られるように、人物の顔や頭部、身体の手足や端部などを強調や拡大したようなデフォルメ画像、人物の顔などの個性や標準顔との差異を誇張したようなデフォルメ画像、前景を拡大し背景を縮小して、遠近感や三次元的な奥行きなどを強調したような画像、などに変換した画像を自動生成して、その後に、絵画調変換処理を行って、人間の手描きの絵画に、より近づくような処理を施すことも可能である。
【００４７】
さらに、上述した画像変換処理において、特に輪郭線画像等をモーフィングまたはカリカチュア変形変換により絵画調変換を、図４に示す手書き風の絵画調変換（１）についてのフローチャートを用いて詳述する。
Ｓ１０１はオリジナル画像（元画像）において、目鼻口眉、輪郭など顔部品の配置など、多数の特徴点に応じて、複数のメッシュ構造に分割する顔のメッシュモデルを生成する。
Ｓ１０２では、平均顔、美人顔、有名人顔などといった目的顔の画像（Ｉ１）を予め設定する、またはユーザー操作に応じて選択する。
Ｓ１０３では、人物の顔を含む撮影画像を、入力画像（Ｉ０）として与える。
Ｓ１０４では、顔画像と（目、鼻、口、眉、輪郭、頭髪など）顔部品を認識する。
Ｓ１０５では、入力された顔の輪郭の縦横サイズを算出する。
Ｓ１０６では、顔の輪郭サイズに合わせて、顔メッシュモデルの大きさ、縦横比を設定する。
Ｓ１０７では、入力顔画像（Ｉ０）を、顔部品の位置と大きさなど特徴点に基づいて、顔メッシュモデルに割り付け、入力顔の特徴点を表すメッシュ（Ｆ０）を作成する。
そして、Ｓ１０８に進み、目的顔の画像（Ｉ１）を、顔部品の位置と大きさなど特徴点に基づいて、顔メッシュモデルに割り付け、目的顔の特徴点を表すメッシュ（Ｆ１）を作成する。
【００４８】
次いで、Ｓ１０９では、ワープ変形処理を行う。
このワープ変形処理は、ａ．メッシュ（Ｆ０）を変形させてメッシュ（Ｆ１）に対応させるワープ関数Ｗ 0 ~を算出、ｂ．メッシュ（Ｆ１）を変形させてメッシュ（Ｆ０）に対応させるワープ関数Ｗ１ ~を算出、ｃ．ワープ関数Ｗ０ ~により画像Ｉ０(p)上の点ｐをワープ変形して、変形中間画像Ｉ０(p:t)を作成、ｄ．ワープ関数Ｗ１ ~により画像Ｉ１(q)上の点ｑをワープ変形して、変形中間画像Ｉ１(ｑ:t)を作成、ｅ．変形中間画像Ｉ０(p:t)、および、Ｉ１~(q:t)から、補間処理（または補外処理）などにより、中間画像（またはカリカチュア強調画像）Ｉ(r:t)を算出する。
【００４９】
そして、Ｓ１１０において、ワープ変形された入力顔画像から、線情報画像（輪郭画像）および色情報画像(領域画像)を抽出する。
次いで、Ｓ１１１において、色情報画像に、色数もしくは階調数を減らす処理、または、色彩の近い領域を順次統合して領域数を減らす処理（ポスタライズ処理）を施す。
【００５０】
その後、Ｓ１１２において、線情報画像とポスタライズ処理された色情報画像とを合成することで、本発明による手書き風の絵画調変換処理が行われる。
【００５１】
ここで、図５は、上述した手書き風絵画調変換処理としてモーフィング合成をした場合を説明するものであり、入力顔画像と目的顔画像とを５０：５０の割合で合成した場合の顔画像を示す。
【００５２】
また、図６は、上述したモーフィング合成等により日本人６０人の男女を合成した場合の平均顔画像を示す。
【００５３】
図７は、モーフィング（内挿）とカリカチュア（外挿）とで入力顔画像を絵画調変換する場合を説明するためのである。同図において、平均顔との内挿補間によるモーフィングでは、入力顔画像と平均顔画像とをモーフィング合成（内挿・補間合成）すると、図７中、中段右側での平均顔との補間顔画像となる。
【００５４】
一方、外挿・カリカチュア合成を行うと、図７中、中段左側のカリカチェア画像となる。
【００５５】
図７において最下段のａ）は上記中段左側のカリカチェア画像を絵画調変換処理、例えば色数の減数処理、または色の統合処理、ポスタライズ処理、メディアンフィルタ処理、バイラテラルフィルタ処理などを行ったカリカチェア絵画調、ｂ）は上記上段左側の入力顔画像を絵画調変換処理を行うことによる通常の絵画調、ｃ）は中段右側の平均顔との補間画像を絵画調変換処理を行うことによる端整顔の絵画調を示す。
【００５６】
この図７に示すように、平均顔との内挿補間によるモーフィングでは、平均顔との中間画像（美人顔や端整顔に近づけた顔、アンチ・カリカチェア画像）を合成できるが、逆に、外挿によるモーフィングでは、平均顔から離れた個人差や個性が強調されたカリカチェア画像を合成できる。
【００５７】
図８は本発明に係る画像変換装置１による画像変換方法において、モーフィング合成処理を説明するものであって、以下のような処理である。
１）源画像ｆにおいて、その特徴点に基づいて、メッシュＭＳを生成する（図８中、最上段、２段目、３段目の左側の図を参照）。
２）目的画像（モデル画像）ｇの特徴点に基づいて、メッシュＭＴを生成する（図８中、最上段、２段目、３段目の右側の図を参照）。
３）メッシュＭＳとメッシュＭＴの間に、線形補間によりメッシュＭiを生成する（図８中、４段目の図を参照）。
４）メッシュＭＳと中間メッシュＭiとを用いて、源画像ｆ内の各メッシュの画像ＩＳの各点をワープ（変形変換）して画像Ｉ１を生成する（図８中、５段目左側の図参照）。
５）メッシュＭＴと中間メッシュＭiとを用いて、目的画像内の各メッシュの画像ＩＴの各点をワープ（変形変換）して、画像Ｉ２を生成する（図８中、５段目右側の図参照）。
６）各メッシュ画像Ｉ１とＩ２の画素値（輝度、色差信号）をクロス・ディゾルブ混合、または、まばらな中間点の画素を線形補間して、モーフィング合成画像Ｉ３を合成する（図８中、６段目、さらに７段目の図参照）。
【００５８】
ここで、図９は、モーフィング合成、およびワーピング変形の算出フローの例を示す。
すなわち、モーフィング処理は、以下のようにして行う。
Ｓ２０１では、元画像（Ｉ０）を入力し、Ｓ２０２において、遷移後の目的画像（Ｉ１）を入力する。
【００５９】
Ｓ２０２において、遷移後の目的画像（Ｉ１）を入力する。
Ｓ２０３において、顔の目鼻口など多数の特徴点で複数メッシュなどに分割する顔メッシュモデルを生成する。
次いで、Ｓ２０４では、元画像Ｉ０の特徴点を、自動的に（又はユーザー修正操作に応じて）、メッシュモデルに割り付け、元画像の特徴点を表すメッシュ（Ｆ０）を作成する。
【００６０】
さらに、Ｓ２０５において、同じく自動的に（又はユーザー修正操作に応じて）、目的画像Ｉ１の特徴点をメッシュモデルに割り付け、目的顔の特等点を表すメッシュ（Ｆ１）を作成する。
【００６１】
次いで、Ｓ２０６では、ワープ変形処理を行う。
このワープ変形処理は、メッシュ（Ｆ０）を変形させてメッシュ（Ｆ１）に対応させるワープ関数Ｗ 0 ~、および、メッシュ（Ｆ１）を変形させてメッシュ（Ｆ０）に対応させるワープ関数Ｗ 1 ~を算出する。
【００６２】
（例）Ｗ０ ~（p;t)＝（１−Ｔ０(p;t)）・ｐ＋Ｔ０(p;t)・Ｗ０(p)、
Ｗ１ ~（q;t)＝Ｔ１(q;t)・ｑ＋（１−Ｔ１(q;t)）・Ｗ１(q)、
ただし、Ｔ０(p;t)；画像（Ｉ０）上の点ｐを時間(t)後に、画像（Ｉ１）上の点ｑに変換する変換関数、Ｔ１(q;t):画像（Ｉ１）上の点ｑを時間(t)後に、画像（Ｉ０）上の点ｐに変換する変換関数
【００６３】
その後、Ｓ２０７〜Ｓ２１１に示す各種のマッピング／ワーピング技法での変形変換処理を行う。
【００６４】
Ｓ２０７は重心マッピング法であり、空間を三角メッシュで分割し、重心座標を用いて、三角形ペア間でマッピングを行うものである。
Ｓ２０８はフィールドベース・マッピング法であり、点、線、ボックスなど特徴点のペア（対）で１マッピングを定義するものである。
Ｓ２０９はＲＢＦ法であり、アフィン変換と距離関数をアンカーとするラジアル要素とでワープ関数を定義するものである。
Ｓ２１０は自由形状変形法であり、形の周りに制御格子点を用意し、格子を変形させることで、中の形を滑らかに変形させるものである。
Ｓ２１１はマルチパス・スプライン・メッシュ法である。
【００６５】
Ｓ２１２では、ワープ関数Ｗ０ ~により画像Ｉ０(p)上の点ｐをワーピング処理して、変形中間画像Ｉ０(p:t)を生成する。
Ｉ 0 ~（p;t)＝Ｗ０(p;t)・（１−Ｔ 0(p;t)）・Ｉ０(p)
【００６６】
Ｓ２１３では、ワープ関数Ｗ 1 ~により画像Ｉ 1(q)上の点qをワーピング処理して、変形中間画像Ｉ 1(q:t)を生成する。
Ｉ 1 ~（q;t)＝Ｗ 1(q;t)・（Ｔ 1(q;t)）・Ｉ 1(q)
【００６７】
Ｓ２１４では、変形中間画像Ｉ 0(p;t)、および、Ｉ 1~(q;t)から補間処理またはクロスリゾルブ混合処理して、中間画像Ｉ (r;t)を作成する。
Ｉ (r;t)＝Ｉ 0~(r;t)＋Ｉ 1~(r;t)
【００６８】
以上のステップによりモーフィング合成、およびワーピング算出が行われる。
ｄ．ワープ関数Ｗ 1 ~により画像Ｉ 1(q)上の点ｑをワープ変形して、変形中間画像Ｉ 1(ｑ:t)を作成、ｅ．変形中間画像Ｉ０(p:t)、および、Ｉ 1~(q:t)から、補間処理（または補外処理）などにより、中間画像（またはカリカチュア強調画像）Ｉ(r:t)を算出する。
【００６９】
図１０は本発明に係る画像変換装置における画像変換方法の変形例を示すものであり、図４に対応して、手描き風の絵画調変換（２）として説明する。
ここで、図１０のＳ３０１〜Ｓ３０８は、図４のＳ１０１〜Ｓ１０８とほぼ同様である。
【００７０】
なお、この図１０においては、右欄にオリジナル画像（元画像）からの変形変換状況を説明する図を付しており、最上段の画像は、Ｓ３０３に対応する入力画像である。また、２段目の画像は、Ｓ３０４に対応して、顔の輪郭、眉、目、鼻、口等を認識している画像である。さらに、３段目の画像は、Ｓ３０７に対応して、メッシュモデルに割り付けた状態を示す画像である。
【００７１】
Ｓ３０９以下を説明する。
すなわち、Ｓ３０９では、ワープ変形処理を行う。ここでは、入力顔画像（Ｉ０）と目的顔画像（Ｉ１）との内挿（補間）画像（またはカリカチュア外挿画像）Ｉ(r:t)を作成する。
【００７２】
Ｓ３１０では、ワープ変形された入力顔画像から、（目、鼻、口、眉、輪郭、髪型など）顔の部品を認識する。
Ｓ３１１では、上記Ｓ３１０で認識された各顔部品の特徴を抽出する。
Ｓ３１２では、各顔部品の特徴に類似する顔部品イラスト画像を、顔部品イラストのライブラリー（図中、右側の画像参照）から検索して選択する。
【００７３】
そして、Ｓ３１３では、選択された顔部品イラストを、入力顔の顔部品の大きさ・縦横比を合わせて補正し、該当顔部品の位置に置き換える。そして、Ｓ３１４で、顔以外の画像（背景画像）に、色数もしくは階調数を減らす処理、または、色彩の近い領域を統合する処理、バイラテラルフィルタ処理等（絵画調変換処理、ポスタライズ処理）を施す。
しかる後、Ｓ３１５で、顔部品イラストに置き換えた顔画像と、絵画調変換された背景画像とを合成することで、手描き風の絵画調変換を行うものである。
【００７４】
そして、このような変換処理方法でも、前述した実施の形態と同様に、元の写真画像から、より人間が手描きで描いたような、より人間的な絵画調の画像を変換生成することができる。
【００７５】
以上のように選択された画像を手本に、オリジナル画像（対象画像）に対する自由な変形や絵画変換は、以下のようにして行われる。
【００７６】
（１）手本画像（A’）を参照して、対象画像（B）に変形処理を施し、変形した絵画調画像（B’）を生成する。
１）カメラ撮影された画像ファイルや保存済み画像ファイルの中から、デフォルメ変形したい画像や、絵画調変換したい画像など、対象画像ファイル（B）を選択する。
２）入力された画像や保存済み画像ファイルの中から、変換の手本としたい画像ファイル（A’）を選択する。
３）手本の画像（A’）と変換対象の画像（B）のそれぞれで、輪郭線画像と領域画像を抽出する。
４）手本画像（A’）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数（a’1、・・・、a’n）選択する。
５）変換対象画像（B）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数（b1、・・・、bn）選択する。
６）手本画像中の小矩形セグメント（a’i）と、変換対象画像中の小矩形セグメント（bi）において、所定の特徴の差異や、その度合を算出して、変換式およびそのパラメータを推定する。
７）推定された変換式およびパラメータに基づいて、対象画像（B）の全体に対して、デフォルメ変形処理や絵画調変換処理を施し、変換処理後画像（B’）を生成する。
８）対象画像の元画像とは別に、デフォルメ変形や絵画調変換された画像を別の画像ファイルとして、画像メモリー媒体に保存記録する。
【００７７】
（２）手本となる画像の元画像（A）と処理後画像（A’）とを参照して、対象画像（B）に変形処理を施して、変形画像（B’）を生成する。
１）デフォルメ変形や絵画調変換したい対象画像ファイル（B）を選択する。
２）ユーザーが所望する変換の手本とする画像の、元画像ファイル（A）とその処理後画像（A’）とを選択する。
３）手本画像の元画像（A）と変換対象の画像（B）のそれぞれで、輪郭線画像と領域画像を抽出する。
４）手本となる元画像（A）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数（a1、・・・、an）選択する。
手本となる処理後画像（A’）において、それに対応する領域の矩形セグメントを（a’1、・・・、a’n）とする。
５）変換対象の画像（B）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数（b1、・・・、bn）選択する。
６）手本となる元画像（A）中の小矩形セグメント（ai）と、手本となる処理後画像（A’）中の小矩形セグメント（a’i）において、
所定の特徴の差異やその度合を算出して、変形式や変換式、および、そのパラメータを推定する。
７）推定された変換式およびパラメータに基づいて、対象画像（B）全体に対して、デフォルメ変形処理およびまたは絵画調変換処理を施し、変換処理後画像（B’）を生成する。
【００７８】
（３）上記の変換を施す際に、対象画像（B）における輪郭線画像における線情報の一次元分布のフラクタル次元が、手本画像（A’）におけるその値に近づくように、変換を施して、手本と同じような特徴をもつ絵画調画像を生成する。
【００７９】
または、輝度情報の二次元分布のフラクタル次元が、手本画像（A’）のその値に近づくように、もしくは、色相または彩度情報の二次元分布の冗長度が、手本画像（A’）のその値に近づくように、変換を施す。
【００８０】
（４）上記で、手本画像（AまたはA’）、および、変換対象となる画像（B）から小サイズの矩形セグメントを複数、選択抽出する際に、各画像中の画素値など特徴量に応じて、視角を引きつける注目点領域を推定検出して、主要被写体領域を抽出する。
もしくは撮影時のフォーカス検出枠の対応領域を含む被写体領域を、主要被写体領域として抽出する。
【００８１】
手本画像（AまたはA’）および変換対象画像（B）から選択抽出する矩形セグメントは、少なくとも一つは各画像中の主要被写体領域（A1またはA’1、および、B１）から選択し、他の少なくとも一つは各画像中の主要被写体を除く背景領域（A2またはA’2、および、B2）から選択する。
【００８２】
各画像の主要被写体領域中の矩形セグメントにおける、変換前後の所定の特徴の差異やその変化度合を算出して、主要被写体領域に対する変換式およびパラメータを推定し、各画像の背景領域中の矩形セグメントにおける、変換前後の所定の特徴の差異やその変化度合を算出して、背景領域に対する変換式およびパラメータを推定する。
【００８３】
そして、対象画像（B）に変換を施す際に、対象画像（B）の主要被写体領域（B1）に対しては、主要被写体領域（A1→A’1）に対する変換式およびパラメータを、対象画像（B）の背景領域（B2)に対しては、背景領域（A2→A’2）に対する変換式およびパラメータを、適用して、変換処理を施す。
【００８４】
なお、本発明は上述した実施の形態で説明した構造には限定されず、画像変換装置１を構成する各部の形状、構造等を適宜変形、変更し得ることはいうまでもない。
【００８５】
以下に実施の形態の効果を列挙する。
１）対象画像（オリジナル画像）と手本画像（選択した手本としたい絵画調画像）との特徴の違いや、または、手本における元画像と変換後画像との特徴の違いに基づいて、単に画質や調子、タッチなどが絵画調なだけでなく、ユーザー所望の手本画像に近い画調の絵画調の画像を、自動的に変換生成でき、これにより、より人間が手描きで描いたような、より人間的な絵画調画像を生成できる。
２）また、上記の変換を行う際に、合わせて、線情報の一次元分布のフラクタル次元や、輝度（濃淡）情報の二次元分布のフラクタル次元、色相または彩度の分布の冗長度などが、手本画像のそれらの値に近づくように、または所定の範囲に入るように、変換を行うことによって、手本画像に近い画風の絵画調画像や、より自然な、手描き画像に近い絵画調画像に変換できる。
３）またさらに、あわせて人間が手書きで描いた場合に多く見られるように、人物の顔や頭部、身体の手足や端部などを強調や拡大したようなデフォルメ画像、人物の顔などの個性や標準顔との差異を誇張したようなデフォルメ画像、前景を拡大し背景を縮小して、遠近感や三次元的な奥行きなどを強調したような画像、などに変換した画像を自動生成して、その後に、絵画調変換処理を行って、人間の手描きの絵画に、より近づくような処理を施すことも可能である。
４）また、対象画像および手本画像において、主要被写体領域と背景領域とを抽出して、主要被写体と背景のそれぞれにふさわしい変換式やパラメータを適用して、手本画像に近い変換処理を施すことができる。
【００８６】
以下に、本出願の特許請求の範囲に記載された発明を付記する。
【００８７】
＜請求項１＞
第１の画像を、第２の画像に基づいて異なる画像に変換処理する画像変換装置において、
前記第２の画像と前記第１の画像のそれぞれで、輪郭線画像と領域画像を抽出する抽出手段と、
前記第２の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第２の画像用選択手段と、
前記第１の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第１の画像用選択手段と、
前記第２の画像中の矩形セグメントと、前記第１の画像中の矩形セグメントにおいて、所定の特徴の差異とその度合を算出して、変換式およびそのパラメータを推定する変換式算出手段と、
前記推定された変換式およびパラメータに基づいて、前記第１の画像の全体に対して、デフォルメ変形処理を施し、変換処理後画像を生成する処理手段と、
を備えていることを特徴とする画像変換装置。
【００８８】
＜請求項２＞
オリジナル画像を、手本画像に基づいて絵画調の画像に変換処理する画像変換装置において、
前記手本画像と前記オリジナル画像のそれぞれで、輪郭線画像と領域画像を抽出する抽出手段と、
前記手本画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する手本画像用選択手段と、
前記オリジナル画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択するオリジナル画像用選択手段と、
前記手本画像中の矩形セグメントと、オリジナル画像中の矩形セグメントにおいて、所定の特徴の差異とその度合を算出して、変換式およびそのパラメータを推定する変換式算出手段と、
前記推定された変換式およびパラメータに基づいて、前記オリジナル画像の全体に対して、デフォルメ変形処理を施し、変換処理後画像を生成する処理手段と、
を備えていることを特徴とする画像変換装置。
【００８９】
＜請求項３＞
前記手本画像は複数の中から選択されることを特徴とする請求項１記載の画像変換装置。
【００９０】
＜請求項４＞
前記矩形セグメントは小サイズのセグメントであることを特徴とする請求項１記載の画像変換装置。
【００９１】
＜請求項５＞
前記処理手段は、さらに、前記オリジナル画像の全体に対して、絵画調に変換する変換処理を施すことを特徴とする請求項１記載の画像変換装置。
【００９２】
＜請求項６＞
オリジナル画像を、選択した手本としたい絵画調に変換された画像に基づいて絵画調の画像に変換する画像変換方法において、
以下の工程を含むことを特徴とする画像変換方法。
１）対象画像（B）を選択する工程。
２）変換の手本としたい絵画調に変換された画像（A’）を選択する工程。
３）手本の画像（A’）と対象画像（B）のそれぞれで、輪郭線画像と領域画像を抽出する工程。
４）手本画像（A’）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数（a’1、・・・、a’n）選択する工程。
５）対象画像（B）の輪郭線画像と領域画像の特徴に応じて、小サイズの矩形セグメントを複数（b1、・・・、bn）選択する工程。
６）手本画像（A’）中の小矩形セグメント（a’i）と、対象画像中の小矩形セグメント（bi）において、所定の特徴の差異や、その度合を算出して、変換式およびそのパラメータを推定する工程。
７）推定された変換式およびパラメータに基づいて、対象画像（B）の全体に対して、デフォルメ変形処理や絵画調変換処理を施し、変換処理後画像（B’）を生成する工程。
【００９３】
＜請求項７＞
第１の画像を、第２の画像に基づいて異なる画像に変換処理する画像変換方法において、
前記第２の画像と前記第１の画像のそれぞれで、輪郭線画像と領域画像を抽出する抽出工程と、
前記第２の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第２の画像用選択工程と、
前記第１の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第１の画像用選択工程と、
前記第２の画像中の矩形セグメントと、前記第１の画像中の矩形セグメントにおいて、所定の特徴の差異とその度合を算出して、変換式およびそのパラメータを推定する変換式算出工程と、
前記推定された変換式およびパラメータに基づいて、前記第１の画像の全体に対して、デフォルメ変形処理を施し、変換処理後画像を生成する処理工程と、
を含むことを特徴とする画像変換方法。
【００９４】
＜請求項８＞
第１の画像を、第２の画像に基づいて異なる画像に変換処理する画像変換装置が備えるコンピュータを、
前記第２の画像と前記第１の画像のそれぞれで、輪郭線画像と領域画像を抽出する抽出手段と、
前記第２の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第２の画像用選択手段と、
前記第１の画像の輪郭線画像と領域画像の特徴に応じて、矩形セグメントを複数選択する第１の画像用選択手段と、
前記第２の画像中の矩形セグメントと、前記第１の画像中の矩形セグメントにおいて、所定の特徴の差異とその度合を算出して、変換式およびそのパラメータを推定する変換式算出手段と、
前記推定された変換式およびパラメータに基づいて、前記第１の画像の全体に対して、デフォルメ変形処理を施し、変換処理後画像を生成する処理手段と、
して機能させることを特徴とする前記コンピュータ読み取り可能な画像変換プログラム。
【符号の説明】
【００９５】
１  画像変換装置
２  手本画像選択手段
３  抽出手段
４  手本画像用セグメント選択手段
５  オリジナル画像用セグメント選択手段
６  変換式算出手段
７  処理手段
【図１】
2013246578.tif 000003
【図２】
2013246578.tif 000004
【図３】
2013246578.tif 000005
【図４】
2013246578.tif 000006
【図９】
2013246578.tif 000007
【図５】
2013246578.tif 000008
【図６】
2013246578.tif 000009
【図７】
2013246578.tif 000010
【図８】
2013246578.tif 000011
【図１０】
2013246578.tif 000012