(57)【要約】【課題】元の写真画像から、単に絵画調なだけでなく、より人間が手描きで描いたような自然な絵画調の画像に変換すること。【解決手段】入力した画像を表示する表示部２と、入力した画像から輪郭線を抽出し、表示部２で表示した画像に対する輪郭線の修正入力を受付けるタッチ入力部３と、抽出した輪郭線と受付けた輪郭線の修正入力とを用いて予め設定した変換式に基づく変形処理を施すと共に、画像中の所定の領域画像に対して上記変換式に基づく変形処理を施し、変形処理した領域画像を減数処理した上で、変形処理した輪郭線と合成してから画調変換するＣＰＵ１とを備える。【選択図】図１
2013250769.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力する画像入力手段と、
上記画像入力手段で入力した画像から輪郭線を抽出する輪郭抽出手段と、
上記画像入力手段で入力した画像を表示する表示手段と、
上記表示手段で表示した画像に対する輪郭線の修正入力を受付ける修正入力手段と、
上記輪郭抽出手段で抽出した輪郭線と、上記修正入力手段で受付けた輪郭線の修正入力とを用いて、予め設定した変換式に基づく変形処理を施す第１の処理手段と、
上記画像入力手段で入力した画像中の所定の領域画像に対して、上記変換式に基づく変形処理を施す第２の処理手段と、
上記第２の処理手段で変形処理を施した領域画像に減数処理を施す第３の処理手段と、
上記第１の処理手段で変形処理した輪郭線と上記第３の処理手段で減数処理した領域画像を合成する合成手段と、
上記合成手段で得た画像を画調変換する画調変換手段と
を備えたことを特徴とする画像変換装置。
【請求項２】
上記第１及び第２の処理手段の少なくとも一方での予め設定した変換式に基づく変形処理は、アフィン（Ａｆｆｉｎｅ）変形変換、モーフィング（Ｍｏｒｐｈｉｎｇ）変換、及びワーピング（Ｗａｒｐｉｎｇ）変換のうち少なくとも１つであることを特徴とする請求項１記載の画像変換装置。
【請求項３】
上記画像入力手段で入力した画像から顔を検出する顔検出手段をさらに備え、
上記第２の処理手段は、上記顔検出手段で検出した顔を含む所定の領域画像に対して、上記変換式に基づく変形処理を施す
ことを特徴とする請求項１または２記載の画像変換装置。
【請求項４】
画像を入力する画像入力工程と、
上記画像入力工程で入力した画像から輪郭線を抽出する輪郭抽出工程と、
上記画像入力工程で入力した画像を表示する表示工程と、
上記表示工程で表示した画像に対する輪郭線の修正入力を受付ける修正入力工程と、
上記輪郭抽出工程で抽出した輪郭線と、上記修正入力工程で受付けた輪郭線の修正入力とを用いて、予め設定した変換式に基づく変形処理を施す第１の処理工程と、
上記画像入力工程で入力した画像中の所定の領域画像に対して、上記変換式に基づく変形処理を施す第２の処理工程と、
上記第２の処理工程で変形処理を施した領域画像を減数処理を施す第３の処理工程と、
上記第１の処理工程で変形処理した輪郭線と上記第３の処理工程で減数処理した領域画像を合成する合成工程と、
上記合成工程で得た画像を画調変換する画調変換工程と
を有したことを特徴とする画像変換方法。
【請求項５】
コンピュータが実行するプログラムであって、
上記コンピュータを、
画像を入力する画像入力手段、
上記画像入力手段で入力した画像から輪郭線を抽出する輪郭抽出手段、
上記画像入力手段で入力した画像を表示する表示手段、
上記表示手段で表示した画像に対する輪郭線の修正入力を受付ける修正入力手段、
上記輪郭抽出手段で抽出した輪郭線と、上記修正入力手段で受付けた輪郭線の修正入力とを用いて、予め設定した変換式に基づく変形処理を施す第１の処理手段、
上記画像入力手段で入力した画像中の所定の領域画像に対して、上記変換式に基づく変形処理を施す第２の処理手段、
上記第２の処理手段で変形処理を施した領域画像を減数処理を施す第３の処理手段、
上記第１の処理手段で変形処理した輪郭線と上記第３の処理手段で減数処理した領域画像を合成する合成手段、及び
上記合成手段で得た画像を画調変換する画調変換手段
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影等により得た写真画像を絵画調の画像に変換する画像変換装置、画像変換方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、カメラの撮影で得た写真画像を元に、イラスト画や油彩、水彩、鉛筆画、パステル画など美術的な絵画調の画像に変換する絵画調変換技術が種々知られている。その中には、例えば基準色と色勾配、アートブラシ等を設定して、ブラシストロークの軌跡を描画したり、輪郭画素群が並ぶ方向を選択することでその選択方向に並ぶ画素値を平均化し、絵画風の筆使いのタッチを真似る方法がある（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３５７２３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述したような絵画調変換技術では、写真よりは絵画に近いタッチの、いわゆる「絵画調」の画像をある程度自動生成できるが、少し離れた地点から眺めてみると、被写体や構図などの形状、配置など、カメラで機械的に撮影された元のデジタル画像の印象と大差がなく、人間が手書きで描いたような趣きや描写や表現、タッチ、作風等を持つような自然な絵画調画像への自動変換は難しいという不具合があった。
【０００５】
本発明は上記のような事情に鑑みてなされたもので、その目的とするところは、元の写真画像から、単にタッチを絵画調とするだけでなく、人間が手描きで描いたような絵画としての自然さを備えた画像に変換することが可能な画像変換装置、画像変換方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、画像を入力する画像入力手段と、上記画像入力手段で入力した画像から輪郭線を抽出する輪郭抽出手段と、上記画像入力手段で入力した画像を表示する表示手段と、上記表示手段で表示した画像に対する輪郭線の修正入力を受付ける修正入力手段と、上記輪郭抽出手段で抽出した輪郭線と、上記修正入力手段で受付けた輪郭線の修正入力とを用いて、予め設定した変換式に基づく変形処理を施す第１の処理手段と、上記画像入力手段で入力した画像中の所定の領域画像に対して上記変換式に基づく変形処理を施す第２の処理手段と、上記第２の処理手段で変形処理を施した領域画像を減数処理を施す第３の処理手段と、上記第１の処理手段で変形処理した輪郭線と上記第３の処理手段で減数処理した領域画像を合成する合成手段と、上記合成手段で得た画像を画調変換する画調変換手段とを備えたことを特徴とする。
【発明の効果】
【０００７】
本発明に係る画像変換装置によれば、入力した画像に対してユーザーが自由なタッチ操作等で輪郭線をなぞることで該輪郭線画像を抽出し、所定の変換式に基づく変形処理、減数処理等を施し、これらの画像を合成することにより、単に絵画調であるだけでなく、より人間が手描きで描いたような、絵画としてより自然な画像に変換することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像変換装置全体の構成を示すブロック図。
【図２】同実施形態に係る画像変換装置による画像変換方法の概要を示すフローチャート。
【図３】同実施形態に係る画像変換時の手描き風の線（輪郭線など）への第１の変換方法を示す図。
【図４】同実施形態に係る画像変換時の手描き風の線（輪郭線など）への第２の変換方法を示す図。
【図５】同実施形態に係る画像変換時の手描き風の線（輪郭線など）への第３の変換方法を示す図。
【図６】同実施形態に係る手書き風の第１の絵画調変換の処理内容を示すフローチャート。
【図７】同実施形態に係る元の顔画像と目的顔画像とからモーフィング合成で中間顔画像を生成する概念を示す図。
【図８】同実施形態に係るモーフィング変換による顔画像の合成処理を説明する図。
【図９】同実施形態に係るモーフィング（内挿）変換とカリカチュア（外挿）変換による絵画調変換のバリエーションを説明する図。
【図１０】同実施形態に係るモーフィング変換及びワーピング変形の処理内容を示すフローチャート。
【図１１】同実施形態に係る手書き風の第２の絵画調変換の処理内容を示すフローチャート及び状態遷移図。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態について図面を参照して詳細に説明する。
【００１０】
図１は、本実施形態に係る画像変換装置のハードウェア機能回路構成を示すブロック図である。同図で、１はこの装置全体の動作制御を司るＣＰＵであり、このＣＰＵ１に対して表示部２、タッチ入力部３、外部通信部４、メインメモリ５、及びプログラムメモリ６が接続される。
【００１１】
表示部２は、例えばバックライト付きの透過型カラー液晶パネルとその駆動プリントで構成される。この表示部２上に一体にしてタッチ入力部３が設けられる。
【００１２】
タッチ入力部３は、スペーサーを挟んだ一対の透明電極シートとその駆動部で構成され、手指あるいは図示しない専用のスタライスペンによる筆記操作等に応じて後述する輪郭線などを筆記操作した場合に随時その操作位置座標を時系列に検出し、検出結果を上記ＣＰＵ１へ出力する。
【００１３】
外部通信部４は、オリジナル画像となる画像情報を入力、あるいは変換後の画調変換された画像情報を出力するための入出力部として機能し、具体的には、例えばメモリカードを装着するためのメモリカードリーダー／ライター、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）端子を備えたＵＳＢコントローラ、ＩＥＥＥ８０２．１１ｂ／１１ｇ／１１ｎ規格に則った無線ＬＡＮ通信部等のいずれかで構成する。
【００１４】
メインメモリ５は、上記外部通信部４から入力されたオリジナル画像となる画像情報を記憶するための入力バッファ５Ａ、変換後の画調変換された画像情報を表示、出力させるための出力バッファ５Ｂ、各種演算に使用されるワークエリア５Ｃを含む。
【００１５】
プログラムメモリ６は、後述する各種フローチャートを実現するための動作プログラムや各種固定データ等を記憶するもので、後述するモーフィング（Ｍｏｒｐｈｉｎｇ）変換、ワーピング（Ｗａｒｐｉｎｇ）変換で使用するための目的顔情報等を複数記憶した画像記憶部６Ａを有する。  
この画像記憶部６Ａには、目的顔情報の他に、後述するカリカチュア画像用の顔部品イラストを格納したライブラリーも記憶するものとする。
【００１６】
次に上記実施形態の動作について説明する。  
図２は、本実施形態に係る画像変換装置で実行する、画調変換に伴う基本的な処理内容を示すフローチャートである。同処理は、ＣＰＵ１がプログラムメモリ６に記憶した動作プログラムや各所固定データ等を読出してメインメモリ５のワークエリア５Ｃに展開した上で実行する。
【００１７】
図２は、外部通信部４を介してオリジナルとなる画像情報を入力し、当該画像情報をメインメモリ５の入力バッファ５Ａに保持した時点から実行される。
【００１８】
その実行当初にＣＰＵ１は、元の画像から輪郭抽出処理を実行して輪郭線画像を作成する（ステップＳ１）。
【００１９】
合わせてＣＰＵ１は、抽出した輪郭画像からさらに人物の顔領域を顔認識処理により抽出する（ステップＳ２）。
【００２０】
これと同時にＣＰＵ１は、元の画像情報を表示部２で表示させた上で、ユーザーが手指あるいはスタライスペンなどにより輪郭線をなぞるような筆記操作が行われるのを受付ける（ステップＳ３）。
【００２１】
操作を受付けた入力座標値列に応じて対応する画像中の輪郭線を特定し、特定した輪郭線の部分を含む該当領域を操作された内容に従って変形する（ステップＳ４）。
【００２２】
この領域の変形に際し、予め選択して設定しておいた変形方式、例えばアフィン変形変換、もしくはモーフィング（Ｍｏｒｐｈｉｎｇ）補間変換、ワーピング（Ｗａｒｐｉｎｇ）移動変換、カリカチュア変換などの変換式を用い、操作された輪郭線に対応する領域の画像に対して、同変換式による変形変換を施す。
【００２３】
ここで、モーフィング（Ｍｏｒｐｈｉｎｇ）のような内挿、補間変換、その逆の変換であるカリカチュア変換等の変換式は、以下の通りである。  
内挿、補間変換：I s＝αI ｒ＋(1.0−α)I ｇ  
＝α（I ｒ−I ｇ）＋I ｇ  
（ただし、α＞０、内挿係数αが正）  
外挿、カリカチュア変換：I s＝−β（I ｒ−I ｇ）＋I ｇ  
＝I ｇ＋β（I ｇ−I ｒ）  
＝（１＋β）I ｇ−βI ｒ  
（ただし、−α＝β＞０、内挿係数αが負＝外挿係数βが正）  
その後、ユーザーによる手書き操作の終了の指示があったか否かを、例えば表示部２で表示する「手書き訂正終了」のアイコンに対するタッチ操作の有無により判断し（ステップＳ５）、終了の指示がなければ上記ステップＳ３からの処理を繰返し実行する。
【００２４】
そして、ユーザーによる手書き操作の終了の指示があると上記ステップＳ５でそれを判断し、次に上記ステップＳ２の処理で人物の顔領域を顔認識処理により抽出できたか否かにより、上記ステップＳ３〜Ｓ５の処理を経て変形した領域と変形していない領域とを含めて、顔領域があるか否かを判断する（ステップＳ６）。
【００２５】
ここで顔領域があると判断した場合にのみ、ＣＰＵ１はさらにその顔領域に対して予め選択して設定しておいた変形方式、例えばアフィン変形変換、もしくはモーフィング（Ｍｏｒｐｈｉｎｇ）補間変換、ワーピング（Ｗａｒｐｉｎｇ）移動変換、カリカチュア変換などの変換式を用いて変形変換を施す（ステップＳ７）。
【００２６】
その後、上記ステップＳ７の処理の実行の有無に拘わらず、画像全体の輪郭線に対して手書き風の歪みを持った変形をするべく画調変換を施すと共に、この輪郭線を変形した後の各領域画像に対して色数もしくは階調数を減らす処理、または、色彩や色度の近い領域を統合して領域の分割数を減らすような減数処理を施す（ステップＳ８）。
【００２７】
まず図３乃至図５を用いて輪郭線に対する手書き風の歪みを持った変換処理について説明する。  
図３（Ａ）は、直線や線分を歪みを持った線に変換するべく、凹凸、ランダム、バラツキを用いて手描き風の線（輪郭線など）に変換する第１の方法を示す。  
これを簡単に説明すると、  
（１）２つの点Ａ，Ｂを決める。  
（２）点Ａと点Ｂを端点として中間点Ｃを計算する。  
（３）点Ｃの位置を元の位置から乱数を用いてずらす。  
（４）点Ａと点Ｃ、点Ｃと点Ｂの間に対しても、上記（２），（３）の処理を行ない、中間点Ｄ，Ｅを出す。  
（５）それぞれの点に対して、上記（２），（３）の処理を繰り返し、２点間の距離が所定値以下になれば２点をつなぐ。  
これにより、線を手描き風の線に変形処理することができる。
【００２８】
図３（Ｂ）では、上述した直線の場合と同様に、所定間隔をおいて決めた２つの点の間に中間点を決め、この中間点の位置をずらすという処理を繰り返すことにより、（１）で示す円や曲線を（２）に示すように歪みを持った線に変換する例を示す。
【００２９】
これにより、手描き風の円や曲線に変形処理することができる。
【００３０】
図３（Ｃ）では、（１）で示す１本の線分を、（２），（３）の複数の曲線や複数ストロークの束に変換する例を示している。  
これにより、手描き風の線に変形処理することができる。
【００３１】
図４は、描き方、運筆、ストロークに基づいて手描き風の線に変換する第２の方法を示す。ここでは、滑らかな線を、ゆらぎや分布にバラツキのある複数ストロークの束に変換する場合を示す。
【００３２】
すなわち、図４（Ａ）では、（１）で示す滑らかな曲線において中間点を規準として（２）に示すように短い曲線を沿わせて設け、そののち、（３）の用に複数本の途切れたストロークの束に変換している。
【００３３】
図４（Ｂ）では、（１）で示す屈曲点、連結点を、（２）に示すように交差した折れ曲がりに変換し、さらにそれを（３）で示すように複数ストロークによる折れ曲がり点に変換する。
【００３４】
図４（Ｃ）では、（１）に示す右上がりの曲線において、その両端を制御点Ｐ１，Ｐ４として曲率を換えた曲線に変更する。ここで、手描きでは、右上がりは浅い曲率に描きやすいことから、（２）に示すように曲率を浅く（大半径に）変更する。これにより、（３）に示すようにあらたな制御点Ｐ１′，Ｐ４′で表す手描き風の右上がり曲線になる。
【００３５】
図４（Ｄ）では、（１）に示す右下がりの曲線においても、その両端を制御点Ｐ１，Ｐ４として曲率を換えた曲線に変更する。ここでは、手描きでは、右下がりは深い曲率に描きやすいことから、（２）に示すように曲率を深く（小半径に）変更する。これにより、（３）に示すようにあらたな制御点Ｐ１′，Ｐ４′で表す手描き風の右下がり曲線になる。
【００３６】
図４（Ｅ）では、（１）に示すように滑らかな曲線を、ストローク数、変形量、移動量、乱数、分布、偏差等をパラメータで設定調整可能とすることにより、（２），（３）で示すように複数本の途切れたストロークの束に変更する。この場合、パラメータの設定により任意の調整が可能となる。
【００３７】
図５は、線の太さや濃さ、面の密度を可変する、手描き風の線の描き方に変換する第３の方法を示す。  
図５（Ａ）では、（１）に示す元の線において複数個所に設けた点での描かれる線の太さを（２）で示すように適宜設定して変更して変換する。線の上側に位置する数値「０．０」〜「１．０」が線の濃さを示すパラメータの数値、下側の数値が描かれる線の太さを示すパラメータの数値であり、その設定の仕方によって（３）で示すような変換例が得られる。
【００３８】
図５（Ｂ）は、上記図５（Ａ）で説明した例を利用し、さらに線の太さ等のアクセントを持たせて変換した例を示す。同図で（１）に示す元画像に対し、メリハリ感を強調した（２）に示すような画像を得ることができる。
【００３９】
図５（Ｃ）は、（１）に示す太さが一定の平坦な輪郭線を、（２）に示すように太さに対して変化やゆらぎを持たせた輪郭線とした場合を示す。
【００４０】
図５（Ｄ）は、輪郭線に加え、輪郭線周辺の面や線の密度、テクスチャーなどを可変した例を示す。（１）に示す元画像に対し、（２），（３）で示す画像では輪郭線周辺の面や線の密度、テクスチャーを変えることで対象物の陰影を強調した画像を得る例を示す。
【００４１】
上記のように輪郭線に対して手書き風の歪みを持った変形を施した後、上述したようにそれら輪郭線を変形した後の各領域画像に対して色数もしくは階調数を減らす処理、または、色彩や色度の近い領域を統合して領域の分割数を減らす。
【００４２】
次いで、上記変形された輪郭線画像と、変形及び色数が減数処理された領域画像とを合成することで、ユーザーの自由入力による輪郭線に沿った変形やデフォルメが施された画調画像を生成し（ステップＳ９）、以上でこの一連の処理を終了する。
【００４３】
生成した画像に関しては、必要により表示部２で表示し、あるいは外部通信部４を介して外部に出力、あるいはメモリカードに記憶させるなどして
またこの画像変換装置が、例えばデジタルカメラに内蔵される機能の一部であり、外部通信部４が撮影により得た画像データファイルの記録媒体であるメモリカードを装着するリーダー／ライターであった場合には、外部通信部４を介して記録媒体としてのメモリカードに記録して保存することができる。
【００４４】
なお上記実施形態では、上記の輪郭線画像及び領域画像の変形のための変換を施す際に、ユーザーが輪郭性に対するタッチ入力を行なうものとして説明したが、本発明はそれに限らず、ユーザーがタッチ入力した輪郭線上の複数の抽出点から、２次または３次の多項式補間やスプライン補間等の処理で輪郭線を求め、その生成された輪郭線に沿って、所定の変形変換を行なうように構成しても良い。
【００４５】
または、ユーザーがタッチ入力した輪郭線、もしくはタッチ入力した複数点のつながりによるスプライン補間曲線に沿って、または入力点のつながりの長さ、方向、ベクトル、曲率などに基づいて、変換する領域の画像に色勾配やアートブラシ等を設定し、ブラシストロークの軌跡を描画したり、ブラシ形状を単位として略同一の色領域を統合しても良い。
【００４６】
さらには、上記の輪郭線画像及び領域画像の変形変換を施す際に、ユーザーがタッチ入力したラインを輪郭線として用いる代りに、ユーザーがタッチ入力したライン、もしくはタッチ入力した複数点のつながりによるスプライン補間曲線やその多項式の係数、入力点のつながりの長さ、方向、ベクトル、曲率などに基づいて、使用する変換式やパラメータを選択、生成、変更あるいは加減調整しても良い。
【００４７】
また、画調変換の内容を複数の中から選択し、選択した内容に応じて変形変換式やパラメータの生成あるいは調整入力に関する方法を設定しても良い。
【００４８】
さらに上記輪郭線画像の変形変換を施す際に、変換された輪郭線画像における線情報の一次元分布のフラクタル次元が、所定の範囲、例えば印象派絵画に相当する１．５〜１．６に入るように変形変換を施すことで、より自然な分布の絵画調画像を生成することができる。
【００４９】
同様に、上記輪郭線で分割した領域の画像の色情報に関する変形変換を施す際に、輝度（明度）情報の二次元分布のフラクタル次元が所定の範囲、例えば印象派絵画に相当する２．３〜２．４に入るようにするか、あるいは色相または彩度の二次元分布の冗長度が、所定の範囲、例えば印象派絵画相当の０．４〜０．５に入るように、変形変換を施すものとしても良い。
【００５０】
さらに、画像中の画素値などの特徴量に応じて、視覚的な注目点領域などを主要被写体領域として抽出するか、あるいは撮影時のフォーカス検出枠の対応領域を含む被写体領域を主要被写体領域として抽出した上で、抽出した主要被写体の領域の画像を前景領域とし、前景領域中の輪郭線画像に上記の変形変換を施すと共に、その領域画像に上記の変形変換と絵画調変換を施す。
【００５１】
その一方で、その他の部分を背景領域として、そのうちの前景領域の主要被写体と境界を接する所定範囲の領域については主要被写体の輪郭線画像に施した変形変換式に基づき、境界に沿って輪郭線画像及び領域画像に順次変形処理を施すことで、前景領域への変形の結果生じた非連続性や空白や欠落が目立たないように修復できる。
【００５２】
加えて、背景画像中、前景領域から所定以上離れたその他の部分に対しては、変形修復処理を省略する。
【００５３】
そして、このように修復処理された背景領域のその他の部分の領域画像に絵画調変換を施し、処理した背景領域の画像上に上記前景領域の画像を上書き合成して、結果として前景領域の主要被写体を中心として変形やデフォルメを施した絵画調の画像を生成できる。
【００５４】
次に、主として上記ステップＳ７〜Ｓ９で実行する具体的な画像変換処理に関し、特に顔領域の画像等をモーフィング変換またはカリカチュア変形変換により変換する場合を手書き風の第１の絵画調変換として、図６に示す処理内容のフローチャートを用いて詳述する。
【００５５】
図６の処理当初には、人物の顔領域を構成する目鼻口眉、輪郭など顔部品の配置など、多数の特徴点に応じて、複数のメッシュ構造に分割する顔のメッシュモデルを生成する（ステップＳ１０１）。
【００５６】
次いで、プログラムメモリ６の画像記憶部６Ａから平均顔、美人顔、有名人顔などといった予め選択された目的顔の画像（Ｉ 1）を読出して設定するか、またはユーザー操作に応じて選択してものを読出して設定する（ステップＳ１０２）。
【００５７】
これに対して、上記ステップＳ６で顔領域ありと判断した、既にユーザー入力による変形処理を経た元画像の顔領域を入力画像（Ｉ 0）として与える（ステップＳ１０３）。
【００５８】
この入力した入力画像（Ｉ 0）中から目、鼻、口、眉、輪郭、頭髪などの顔部品を認識する（ステップＳ１０４）。
【００５９】
認識した結果に基づき、まず入力された顔の輪郭の縦横サイズを算出する（ステップＳ１０５）。
【００６０】
次いで顔の輪郭サイズに合わせて、顔メッシュモデルの大きさ、縦横比を設定する（ステップＳ１０６）。
【００６１】
入力画像（Ｉ 0）を、顔部品の位置と大きさなど特徴点に基づいて顔メッシュモデルに割り付け、入力顔の特徴点を表すメッシュ（Ｆ 0）を作成する（ステップＳ１０７）。
【００６２】
一方で目的画像（Ｉ 1）を、顔部品の位置と大きさなど特徴点に基づいて顔メッシュモデルに割り付け、目的顔の特徴点を表すメッシュ（Ｆ 1）を作成する（ステップＳ１０８）。
【００６３】
次いで、入力画像（Ｉ 0）のメッシュ（Ｆ 0）と目的画像（Ｉ 1）のメッシュ（Ｆ 1）とによるワープ変形処理を行なう（ステップＳ１０９）。
【００６４】
このワープ変形処理においては、  
メッシュ（Ｆ 0）を変形させてメッシュ（Ｆ 1）に対応させるワープ関数Ｗ 0 ~を算出する（ステップＳ１０９ａ）、  
メッシュ（Ｆ 1）を変形させてメッシュ（Ｆ 0）に対応させるワープ関数Ｗ 1 ~を算出する（ステップＳ１０９ｂ）、  
ワープ関数Ｗ 0 ~により画像Ｉ 0(p)上の点ｐをワープ変形して、変形中間画像Ｉ 0(p:t)を作成する（ステップＳ１０９ｃ）、  
ワープ関数Ｗ 1 ~により画像Ｉ 1(q)上の点ｑをワープ変形して、変形中間画像Ｉ 1(ｑ:t)を作成する（ステップＳ１０９ｄ）、  
変形中間画像Ｉ 0(p:t)、及びＩ 1~(q:t)から、補間処理または補外処理などにより、中間画像（またはカリカチュア強調画像）Ｉ(r:t)を算出する（ステップＳ１０９ｅ）。
【００６５】
ワープ変形変換処理後、ワープ変形された入力顔画像から、線情報画像（輪郭画像）及び色情報画像(領域画像)を抽出する（ステップＳ１１０）。
【００６６】
次いで、色情報画像に色数もしくは階調数を減らす処理、または色彩の近い領域を順次統合して領域数を減らす処理であるポスタライズ処理を施す（ステップＳ１１１）。
【００６７】
最後に、輪郭線の画像と上記ポスタライズ処理を施した色情報画像とを合成し（ステップＳ１１２）、以上で手書き風の第１の絵画調変換処理を終了する。
【００６８】
次に、上記ステップＳ７で実行する顔領域の具体的な画像変換処理に関し、特に顔領域をモーフィング変換により変換する場合の基本概念について図７により説明する。  
図７は、元の顔画像と画像記憶部６Ａから読出す目的顔画像との平均となる顔画像を生成するべくモーフィング合成をする場合を示す図である。ここでは、図７（Ａ）で示す元の顔画像と、図７（Ｂ）で示す目的顔画像（ここでは女性２（平均顔））とを５０：５０の割合でモーフィング変換を施し、各特徴点の中間画像を合成することにより、図７（Ｃ）に示すような顔画像を算出できる。
【００６９】
図８は、上記ステップＳ７でモーフィング変換により顔画像の変形を行なう場合の処理を説明する図である。  
図８（Ａ）に元画像ｆを示す。図８（Ｂ）に目的画像ｇを示す。
【００７０】
図８（Ｃ），（Ｅ）に示すように、元画像ｆの特徴点に基づいて、メッシュＭ Sを生成する。
【００７１】
一方で図８（Ｄ），（Ｆ）に示すように目的画像ｇの特徴点に基づいて、メッシュＭ Tを生成する。
【００７２】
これらメッシュＭ S及びメッシュＭ Tとから、図８（Ｇ）に示すように線形補間によりメッシュＭ iを生成する。
【００７３】
次に、上記図８（Ｅ）で得たメッシュＭ Sと上記図８（Ｇ）で得たメッシュＭ iとを用いて、元画像ｆ内の各メッシュの画像Ｉ Sの各点をワープ（変形変換）した画像Ｉ 1を図８（Ｈ）に示すように生成する。
【００７４】
一方で、上記図８（Ｆ）で得たメッシュＭ Tと上記図８（Ｇ）で得た中間メッシュＭ iとを用いて、目的画像内の各メッシュの画像Ｉ Tの各点をワープ（変形変換）した画像Ｉ 2を図８（Ｉ）に示すように生成する。
【００７５】
さらに、上記図８（Ｈ）で得たメッシュ画像Ｉ 1と、上記図８（Ｉ）で得たメッシュ画像Ｉ 2の画素値（輝度、色差信号）をクロス・ディゾルブ混合、または、まばらな中間点の画素を線形補間して、図８（Ｊ）に示すようなモーフィング合成画像Ｉ 3を合成する。  
図８（Ｋ）は、上記図８（Ｊ）で示したモーフィング合成の結果得られる顔画像である。
【００７６】
次に図９により、モーフィング（内挿）変換とカリカチュア（外挿）変換を用いて入力顔画像を絵画調変換する場合のバリエーションについて説明する。  
図９において、図９（Ａ）に示す元の顔画像に対し、図９（Ｂ）に示す平均顔を目的顔とした場合、内挿補間によるモーフィング合成で図９（Ｄ）に示すような、端正顔とも称される補間顔画像が得られる。
【００７７】
一方で、図９（Ａ）に示す元の顔画像に対し、図９（Ｂ）に示す平均顔を目的顔とした場合、平均顔を基準として元の顔画像が中間となるような外挿・カリカチュア合成を行なうと、図９（Ｃ）に示すようなカリカチェア画像が得られる。
【００７８】
図９（Ｅ）は、上記図９（Ｃ）のカリカチェア画像を絵画調変換処理、例えば色数の減数処理、または色の統合処理、ポスタライズ処理、メディアンフィルタ処理、バイラテラルフィルタ処理などを行なった上で得られるカリカチェア絵画調の顔画像である。
【００７９】
図９（Ｆ）は、上記図９（Ａ）の元の顔画像をそのまま絵画調変換処理を行なうことにより得られる通常の絵画調の顔画像である。図９（Ｇ）は、上記図９（Ｄ）で示した平均顔との補間画像に対して上記絵画調変換処理を行なうことにより得られる、端整顔の絵画調の顔画像を示す。
【００８０】
この図９に示すように、平均顔との内挿補間によるモーフィングでは、平均顔との中間画像、すなわち美人顔や端整顔に近づけた顔、あるいはアンチ・カリカチェア画像を合成できる一方で、逆に、外挿によるモーフィングでは、平均顔から離れた個人差や個性が強調されたカリカチェア画像を合成できる。
【００８１】
参考までに、図９により顔画像に対するモーフィング変換及びワーピング変換の具体的な処理内容を説明する。
【００８２】
その当初には元画像（Ｉ 0）を入力すると共に（ステップＳ２０１）、対象となる目的画像（Ｉ 1）を入力する（ステップＳ２０２）。
【００８３】
これら入力した顔画像に基づいて、それぞれ顔の目鼻口など多数の特徴点で複数メッシュなどに分割する顔メッシュモデルを生成する（ステップＳ２０３）。
【００８４】
次いで、元画像Ｉ 0の特徴点を、自動的、またユーザーの修正操作に応じてメッシュモデルに割り付け、元の顔画像の特徴点を表すメッシュ（Ｆ 0）を作成する（ステップＳ２０４）。
【００８５】
同じく目的画像（Ｉ 1）の特徴点を、自動的、またはユーザー修正操作に応じてメッシュモデルに割り付け、目的の顔画像の特等点を表すメッシュ（Ｆ 1）を作成する（ステップＳ２０５）。
【００８６】
これら元の顔画像の特徴点を表すメッシュ（Ｆ 0）と目的の顔画像の特等点を表すメッシュ（Ｆ 1）とによりワープ変形処理を行なう（ステップＳ２０６）。
【００８７】
このワープ変形処理は、メッシュ（Ｆ 0）を変形させてメッシュ（Ｆ 1）に対応させるワープ関数Ｗ 0 ~、及び、メッシュ（Ｆ 1）を変形させてメッシュ（Ｆ 0）に対応させるワープ関数Ｗ 1 ~を算出する。例えば  
Ｗ 0 ~（p;t)＝（１−Ｔ 0(p;t)）・ｐ＋Ｔ 0(p;t)・Ｗ 0(p)  
Ｗ 1 ~（q;t)＝Ｔ 1(q;t)・ｑ＋（１−Ｔ 1(q;t)）・Ｗ 1(q)  
（ただし、Ｔ 0(p;t)：画像（Ｉ 0）上の点ｐを時間(t)後に、画像（Ｉ 1）上の点ｑに変換する変換関数、  
Ｔ 1(q;t):画像（Ｉ 1）上の点ｑを時間(t)後に、画像（Ｉ 0）上の点ｐに変換する変換関数。）
その後、各種のマッピング／ワーピング技法での変形変換処理のいずれかを予め設定した内容に従って実行する（ステップＳ２０７〜Ｓ２１１）。
【００８８】
ステップＳ２０７で示す重心マッピング法では、空間を三角メッシュで分割し、重心座標を用いて、三角形のペア間でマッピングを行なう。
【００８９】
ステップＳ２０８で示すフィールドベース・マッピング法では、点、線、ボックスなど特徴点のペア（対）で１マッピングを定義する。
【００９０】
ステップＳ２０９で示すＲＢＦ法では、アフィン変換と距離関数をアンカーとするラジアル要素とでワープ関数を定義する。
【００９１】
ステップＳ２１０で示す自由形状変形法では、形の周りに制御格子点を用意し、格子を変形させることで、中の形を滑らかに変形させる。
【００９２】
ステップＳ２１１では、マルチパス・スプライン・メッシュ法を用いる。
【００９３】
上記ワープ関数Ｗ 0 ~により画像Ｉ 0(p)上の点ｐをワーピング処理して、以下に定義する変形中間画像Ｉ 0(p:t)、すなわち  
Ｉ 0 ~（p;t)＝Ｗ 0(p;t)・（１−Ｔ 0(p;t)）・Ｉ 0(p)  
を生成する（ステップＳ２１２）。
【００９４】
その後、ワープ関数Ｗ 1 ~により画像Ｉ 1(q)上の点qをワーピング処理して、以下に定義する変形中間画像Ｉ 1(q:t)、すなわち  
Ｉ 1 ~（q;t)＝Ｗ 1(q;t)・（Ｔ 1(q;t)）・Ｉ 1(q)  
を生成する（ステップＳ２１３）。
【００９５】
次いで、上記算出した変形中間画像Ｉ 0(p;t)、及び、Ｉ 1~(q;t)から補間処理またはクロスリゾルブ混合処理して、以下に定義する中間画像Ｉ (r;t)、すなわち  
Ｉ (r;t)＝Ｉ 0~(r;t)＋Ｉ 1~(r;t)  
を作成し（ステップＳ２１４）、以上の各ステップの処理を実行することにより元の顔画像に対するモーフィング変換、及びワーピング算出を行ない、以上でこの図１０の処理を完了して、上記図２の処理に戻り、上記ステップＳ８からの処理を実行する。
【００９６】
また、上記図６での説明に代わるものとして、図１１により手書き風の第２の絵画調変換の処理内容を示すフローチャートと具体例の状態遷移図についても説明する。
【００９７】
図１１の処理当初には、人物の顔領域を構成する目鼻口眉、輪郭など顔部品の配置など、多数の特徴点に応じて、複数のメッシュ構造に分割する顔のメッシュモデルを生成する（ステップＳ３０１）。
【００９８】
次いで、プログラムメモリ６の画像記憶部６Ａから平均顔、美人顔、有名人顔などといった予め選択された目的顔の画像（Ｉ 1）を読出して設定するか、またはユーザー操作に応じて選択してものを読出して設定する（ステップＳ３０２）。
【００９９】
これに対して、上記ステップＳ６で顔領域ありと判断した、既にユーザー入力による変形処理を経た元画像の顔領域を入力画像（Ｉ 0）として与える（ステップＳ３０３）。  
図１１（Ａ）は、このとき用いられる元の顔画像（Ｉ 0）を例示する。
【０１００】
この入力した入力画像（Ｉ 0）中から目、鼻、口、眉、輪郭、頭髪などの顔部品を認識する（ステップＳ３０４）。  
図１１（Ｂ）は、こうして認識された顔の輪郭、眉、目、鼻、口等を矩形の枠で示した状態を示す。
【０１０１】
認識した結果に基づき、まず入力された顔の輪郭の縦横サイズを算出する（ステップＳ３０５）。
【０１０２】
次いで顔の輪郭サイズに合わせて、顔メッシュモデルの大きさ、縦横比を設定する（ステップＳ３０６）。
【０１０３】
入力画像（Ｉ 0）を、顔部品の位置と大きさなど特徴点に基づいて顔メッシュモデルに割り付け、入力顔の特徴点を表すメッシュ（Ｆ 0）を作成する（ステップＳ３０７）。  
図１１（Ｃ）は、こうして作成したメッシュモデル（Ｆ 0）を例示している。
【０１０４】
一方で目的画像（Ｉ 1）を、顔部品の位置と大きさなど特徴点に基づいて顔メッシュモデルに割り付け、目的顔の特徴点を表すメッシュ（Ｆ 1）を作成する（ステップＳ３０８）。
【０１０５】
こうして作成したメッシュモデル（Ｆ 0）とメッシュモデル（Ｆ 1）とによりワープ変形処理を行なう（ステップＳ３０９）。ここでは、入力顔画像（Ｉ 0）と目的顔画像（Ｉ 1）とにより内挿（補間）画像（またはカリカチュア外挿画像）Ｉ(r:t)を作成する。
【０１０６】
次にワープ変形した元の顔画像から、目、鼻、口、眉、輪郭、髪型など顔の部品を認識する（ステップＳ３１０）。
【０１０７】
認識した顔の各部分についてその特徴（例えば目であればその形状、大きさ、間隔等）を抽出し（ステップＳ３１１）、抽出した結果に基づいて顔の各部分に類似する顔部品イラスト画像を、プログラムメモリ６の画像記憶部６Ａに予め記憶されている顔部品イラストのライブラリーから検索して選択する（ステップＳ３１２）。  
図１１（Ｄ）は、画像記憶部６Ａに予め記憶されている顔部品イラストのライブラリーの内容を例示している。
【０１０８】
画像記憶部６Ａから選択した顔部品イラストを、元の顔画像の顔部品の大きさ・縦横比を合わせて補正し、該当顔部品の位置に置き換える（ステップＳ３１３）。  
図１１（Ｅ）は、こうして元の顔画像に置き換えられた顔のイラスト画像を例示する。
【０１０９】
さらに、顔以外の背景を含む画像を、色数あるいは階調数を減らす処理、または、色彩の近い領域を統合する処理、絵画調変換処理、ポスタライズ処理を含むバイラテラルフィルタ処理等を施す（ステップＳ３１４）。
【０１１０】
そして、上記ステップＳ３１３で得た顔部品イラストに置き換えた顔画像と、上記ステップＳ３１４で得た画調変換された背景画像とを合成することで、手描き風の絵画調変換を実行し（ステップＳ３１５）、以上で手書き風の第２の絵画調変換処理を終了する。  
図１１（Ｅ）は、合成後の絵画調変換されたイラスト画像の一部を例示する。
【０１１１】
このような図１１に示した変換処理の方法によっても、前述した実施形態と同様に、元の写真画像から、より人間が手描きで描いたような、より人間的な絵画調の画像を変換により生成できる。
【０１１２】
以上詳述した如く本実施形態によれば、単に画質や調子、タッチなどが絵画調なだけでなく、ユーザーが自由にタッチ操作や輪郭線に対応する部分をなぞる操作に従って、あたかも人間が手描きしたような、機械的、写実的な画像とは趣の違った、より人間的なタッチや表現を有した絵画調の画像を半自動で生成できる。
【０１１３】
タッチ操作やなぞる操作の輪郭線に沿った変形だけでなく、タッチ操作やなぞる操作、そのラインの特徴などに応じて、変換式や変数などを選択して設定することで、ユーザーの意図を反映して自由で多様な変形変換処理を施すことが可能となる。
【０１１４】
上記の変換を行なう際に、これに合わせて、線情報の一次元分布のフラクタル次元や、輝度情報の二次元分布のフラクタル次元、色相または彩度の分布の冗長度などが、所定範囲に入るようにすることにより、より自然な画像や、人間の手描き画像に近い絵画調画像に変換できる。
【０１１５】
特に上記実施形態では、顔認識技術を用いて検出した画像中の顔画像を含む所定の領域画像に対して選択した変換処理を施すものとしたので、特に画像を見る側が注視し易い顔部分に関する写実的な印象を軽減できる。
【０１１６】
なお、上記実施形態は画像変換装置に適用した場合について説明したものであるが、本発明は単体の装置に限らず、デジタルカメラやデジタルフォトフレーム、スマートフォン、電子ブック等に予め組込まれた一機能、あるいは随時インストールされるアプリケーションプログラムであっても同様に実現可能となる。
【０１１７】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【０１１８】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。  
請求項１記載の発明は、画像を入力する画像入力手段と、上記画像入力手段で入力した画像から輪郭線を抽出する輪郭抽出手段と、上記画像入力手段で入力した画像を表示する表示手段と、上記表示手段で表示した画像に対する輪郭線の修正入力を受付ける修正入力手段と、上記輪郭抽出手段で抽出した輪郭線と、上記修正入力手段で受付けた輪郭線の修正入力とを用いて、予め設定した変換式に基づく変形処理を施す第１の処理手段と、上記画像入力手段で入力した画像中、上記修正入力手段で輪郭線の修正入力を受付けた範囲を含む所定の領域画像に対して、上記変換式に基づく変形処理を施す第２の処理手段と、上記第２の処理手段で変形処理を施した領域画像を減数処理を施す第３の処理手段と、上記第１の処理手段で変形処理した輪郭線と上記第３の処理手段で減数処理した領域画像を合成する合成手段と、上記合成手段で得た画像を画調変換する画調変換手段と
を備えたことを特徴とする。
【０１１９】
請求項２記載の発明は、上記請求項１記載の発明において、上記第１及び第２の処理手段の少なくとも一方での予め設定した変換式に基づく変形処理は、アフィン（Ａｆｆｉｎｅ）変形変換、モーフィング（Ｍｏｒｐｈｉｎｇ）変換、及びワーピング（Ｗａｒｐｉｎｇ）変換のうち少なくとも１つであることを特徴とする。
【０１２０】
請求項３記載の発明は、上記請求項１または２記載の発明において、上記画像入力手段で入力した画像から顔を検出する顔検出手段をさらに備え、上記第２の処理手段は、上記顔検出手段で検出した顔を含む所定の領域画像に対して、上記変換式に基づく変形処理を施す
ことを特徴とする。
【０１２１】
請求項４記載の発明は、画像を入力する画像入力工程と、上記画像入力工程で入力した画像から輪郭線を抽出する輪郭抽出工程と、上記画像入力工程で入力した画像を表示する表示工程と、上記表示工程で表示した画像に対する輪郭線の修正入力を受付ける修正入力工程と、上記輪郭抽出工程で抽出した輪郭線と、上記修正入力工程で受付けた輪郭線の修正入力とを用いて、予め設定した変換式に基づく変形処理を施す第１の処理工程と、上記画像入力工程で入力した画像中、上記修正入力工程で輪郭線の修正入力を受付けた範囲を含む所定の領域画像に対して、上記変換式に基づく変形処理を施す第２の処理工程と、上記第２の処理工程で変形処理を施した領域画像を減数処理を施す第３の処理工程と、上記第１の処理工程で変形処理した輪郭線と上記第３の処理工程で減数処理した領域画像を合成する合成工程と、上記合成工程で得た画像を画調変換する画調変換工程と
を有したことを特徴とする。
【０１２２】
請求項５記載の発明は、コンピュータが実行するプログラムであって、上記コンピュータを、画像を入力する画像入力手段、上記画像入力手段で入力した画像から輪郭線を抽出する輪郭抽出手段、上記画像入力手段で入力した画像を表示する表示手段、上記表示手段で表示した画像に対する輪郭線の修正入力を受付ける修正入力手段、上記輪郭抽出手段で抽出した輪郭線と、上記修正入力手段で受付けた輪郭線の修正入力とを用いて、予め設定した変換式に基づく変形処理を施す第１の処理手段、上記画像入力手段で入力した画像中、上記修正入力手段で輪郭線の修正入力を受付けた範囲を含む所定の領域画像に対して、上記変換式に基づく変形処理を施す第２の処理手段、上記第２の処理手段で変形処理を施した領域画像を減数処理を施す第３の処理手段、上記第１の処理手段で変形処理した輪郭線と上記第３の処理手段で減数処理した領域画像を合成する合成手段、及び上記合成手段で得た画像を画調変換する画調変換手段として機能させることを特徴とする。
【符号の説明】
【０１２３】
１…ＣＰＵ、２…表示部、３…タッチ入力部、４…外部通信部、５…メインメモリ、５Ａ…入力バッファ、５Ｂ…出力バッファ、５Ｃ…ワークエリア、６…プログラムメモリ、６Ａ…画像記憶部。
【図１】
2013250769.tif 000003
【図２】
2013250769.tif 000004
【図３】
2013250769.tif 000005
【図４】
2013250769.tif 000006
【図５】
2013250769.tif 000007
【図６】
2013250769.tif 000008
【図７】
2013250769.tif 000009
【図８】
2013250769.tif 000010
【図９】
2013250769.tif 000011
【図１０】
2013250769.tif 000012
【図１１】
2013250769.tif 000013