(57)【要約】【課題】表情に変化を与えるときの変形処理対象の顔画像の位置決め・変形対象の範囲を簡便に決定する。【解決手段】基準点座標入力部１０１は、変形処理対象の顔画像の頭頂、右目、左目及び顎の４点の位置座標を基準点座標として入力される。顔領域分割部１０３は、顔画像の領域を４つの四辺形に分割する。四辺形変形後座標発生部１０４は、表情パラメータに応じた顔表情を示す四辺形の各頂点の四辺形変形後座標を発生する。透視変換部１０５〜１０８は、それぞれ入力された１つの四辺形の変更前の４つの頂点の既知の位置座標と、変更後の４つの頂点の既知の位置座標とから透視変換を行い、変形後四辺形の中のテクスチャを変形させる。合成部１０９は、透視変換部１０５〜１０８から供給された透視変換された変形後の四辺形内のテクスチャの画像と原画像とを合成する。【選択図】図１
2016066327.tif 000002
【特許請求の範囲】
【請求項１】
処理対象画像の任意の基準点の基準点座標を入力させる基準点座標入力手段と、
前記処理対象画像の領域を、前記基準点を通る線分を含む複数の線分の交点を頂点とする複数の四辺形に分割すると共に、前記複数の四辺形の各頂点の第１の位置座標を算出する領域分割手段と、
供給される前記処理対象画像に変形を与えるためのパラメータに応じて、前記四辺形の各頂点の前記第１の位置座標をそれぞれ移動した複数の第２の位置座標を算出し、複数の前記第２の位置座標をそれぞれ頂点の位置座標とする複数の変形した四辺形に変換させる四辺形変形後座標発生手段と、
前記複数の四辺形の各頂点の第１の位置座標と前記複数の変形した四辺形の各頂点の第２の位置座標とに基づいて幾何変換を行い、前記複数の四辺形内の各テクスチャから前記複数の変形した四辺形内の各テクスチャへ変形させる幾何変換手段と、
前記幾何変換手段から出力される前記複数の変形した四辺形内の各テクスチャと前記処理対象画像とを合成して処理対象後画像を生成する合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記基準点座標入力手段は、前記処理対象画像における顔の顎、頭頂、右目及び左目の位置を基準点として基準点座標を入力させ、
前記複数の四辺形は、４つの四辺形であり、
前記複数の変形した四辺形は、４つの変形した四辺形である
ことを特徴とした請求項１に記載の画像処理装置。
【請求項３】
前記処理対象画像は、正立時の画像よりも予め任意の角度傾斜していることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記領域分割手段は、
前記顎と前記頭頂とを結ぶ第１の線分と、それぞれ前記第１の線分と平行な前記顔画像の右目及び左目を通る第２及び第３の線分と、それぞれ前記第１の線分と平行な眼間を所定比率で外分した前記顔画像の右端及び左端を通る第４及び第５の線分と、眼間を結んだ仮想的な線分と平行な前記頭頂を通る第６の線分と、前記顎を通る前記第６の線分に平行な第７の線分とのうち、前記第４乃至第７の線分で囲まれた四角形の内部を前記第１乃至第３の線分でそれぞれ区画して生成した前記４つの四辺形により、前記処理対象画像の領域を分割し、
前記四辺形変形後座標発生手段は、
前記パラメータに基づき上機嫌化処理するときは、前記４つの四辺形に対して前記第１、第４及び第５の線分を前記顎方向へ前記パラメータが示す強度に応じた幅だけ移動し、かつ、前記第２及び第３の線分を頭頂方向に前記強度に応じた幅だけ移動した前記４つの変形した四辺形の各頂点の第２の位置座標を算出し、前記パラメータに基づき不機嫌化処理するときは、前記４つの四辺形に対して前記第１、第４及び第５の線分を前記頭頂方向へ前記パラメータが示す強度に応じた幅だけ移動し、かつ、前記第２及び第３の線分を顎方向に前記強度に応じた幅だけ移動した前記４つの変形した四辺形の各頂点の第２の位置座標を算出する
ことを特徴とする請求項２記載の画像処理装置。
【請求項５】
処理対象画像の任意の基準点の基準点座標を入力させる基準点座標入力ステップと、
前記処理対象画像の領域を、前記基準点を通る線分を含む複数の線分の交点を頂点とする複数の四辺形に分割すると共に、前記複数の四辺形の各頂点の第１の位置座標を算出する領域分割ステップと、
供給される前記処理対象画像に変形を与えるためのパラメータに応じて、前記複数の四辺形を複数の変形した四辺形に変換させる四辺形変形後座標発生ステップと、
前記複数の四辺形の各頂点の第１の位置座標と前記複数の変形した四辺形の各頂点の第２の位置座標とに基づいて幾何変換を行い、前記複数の四辺形内の各テクスチャから前記複数の変形した四辺形内の各テクスチャへ変形させる幾何変換ステップと、
前記幾何変換ステップで得られる前記複数の変形した四辺形内の各テクスチャと前記処理対象画像とを合成して処理対象後画像を生成する合成ステップと
を含むことを特徴とする画像処理方法。
【請求項６】
コンピュータに、
処理対象画像の任意の基準点の基準点座標を入力させる基準点座標入力機能と、
前記処理対象画像の領域を、前記基準点を通る線分を含む複数の線分の交点を頂点とする複数の四辺形に分割すると共に、前記複数の四辺形の各頂点の第１の位置座標を算出する領域分割機能と、
供給される前記処理対象画像に所望の変形を与えるためのパラメータに応じて、前記複数の四辺形を複数の変形した四辺形に変換させる四辺形変形後座標発生機能と、
前記複数の四辺形の各頂点の第１の位置座標と前記複数の変形した四辺形の各頂点の第２の位置座標とに基づいて幾何変換を行い、前記複数の四辺形内の各テクスチャから前記複数の変形した四辺形内の各テクスチャへ変形させる幾何変換機能と、
前記幾何変換機能で得られる前記複数の変形した四辺形内の各テクスチャと前記処理対象画像とを合成して処理対象後画像を生成する合成機能と
を実現させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及び画像処理プログラムに係り、特に画像中の人物や動物やキャラクタなどの顔の表情に所望の変化を加える画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
写真の発明・普及以来、被写体の人物が良い表情をした瞬間をいかに捉えるかということに多大な努力がはらわれてきた。この分野における近年の技術的成果として、非特許文献１記載のスマイルシャッター（登録商標）が広く知られている。これはカメラが自動的に被写体の笑顔を検出して笑顔の度に撮影するものである。また特許文献１のように複数の人物の表情につき複数駒の画像から良いもののみを合成するような手法も提案されている。
【０００３】
しかし、当然ながらこれらの手法は撮影前から撮影の瞬間までの表情に反応するものであり、撮影後の被写体に関与するものではない。撮影後の被写体に関与する行為は基本的に写真修正ということになるが、これは現在にいたるフォトレタッチソフトウェアを用いた作業であっても、時間と熟練と労力を要するものであり、一般的なカメラ利用者が気軽に行えるものではない。
【０００４】
一方、フォトレタッチとは別の目的及び方向性で実写の顔への表情付与などを行うアプローチとして、特許文献２及び３に記載されているような、顔の３次元形状を測定してワイヤーフレームモデルとして、その上に実写テクスチャを貼り付けてワイヤーフレームモデルを変形して表情をつけるものもある。
【０００５】
しかし、このような手法は臨場感通信や人物のＣＧ化などを目的とするものであり、３次元形状の測定やワイヤーフレームモデルのマッピングなどについて多くの工数が必要で、これも一般的なカメラ利用者が気軽に行うことのできる作業とは言いがたい。
【０００６】
これよりやや単純なものとして、特許文献４及び５に記載されているような、顔のパーツを感情に応じて変形させる手法も存在する。しかし、これらの手法も簡単な操作で汎用性高く自然な処理を行うにはユーザーインターフェイスなどに工夫が必要である。
【０００７】
以上よりさらに単純なアプローチとして古くからある遊びの効果を利用した手法がいくつか存在する（例えば、特許文献６，７、非特許文献２参照）。これらの手法は具体的には、紙幣の人物の目の部分を山に鼻の部分を谷に折った場合に、下から見ると上機嫌に上から見ると不機嫌に見えるという効果を電子的に再現するものである。特許文献６記載のものは折った紙幣を単純に３Ｄ ＣＧの文脈で再現している。特許文献７記載のものは曲がり具合のセンサを有するコミュニケーション端末においてこの効果を利用している。さらに非特許文献２記載のものは携帯アプリとして提供されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２９９２９７号公報
【特許文献２】特開平８−８８８５０号公報
【特許文献３】特開平９−３０５７９８号公報
【特許文献４】特開２００１−１５５１７４号公報
【特許文献５】特開２００４−５４７５９号公報
【特許文献６】特開２００５−３４６６０４号公報
【特許文献７】特許第３７３０５０５号公報
【非特許文献】
【０００９】
【非特許文献１】http://www.sony.jp/CorporateCruise/Press/200709/07-0904/
【非特許文献２】https://play.google.com/store/apps/details?id=jp.r246.laughingbill&hl=ja
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献６及び７並びに非特許文献２に記載の画像処理装置は、折った紙幣的アプローチによるもので、基本的にジョーク的なものが主体であり、変形対象の位置決めや範囲について十分な配慮がなされていない。位置決めについては特許文献６，７記載の画像処理装置では、いずれも既に位置決めされていることを前提している。また、非特許文献２に記載の画像処理装置については自動位置決めであるものの、精度はあまり高くない。範囲については特許文献６及び７並びに非特許文献２に記載の画像処理装置は、いずれも画像の顔以外の範囲について変形を施してしまうことを問題視していない。
【００１１】
本発明は以上の点に鑑みなされたもので、表情に変化を与えるときの変形処理対象の顔画像の位置決め・変形対象の範囲を簡便に決定することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するため、本発明の画像処理装置は、処理対象画像の任意の基準点の基準点座標を入力させる基準点座標入力手段(101)と、処理対象画像の領域を、基準点を通る線分を含む複数の線分の交点を頂点とする複数の四辺形に分割すると共に、複数の四辺形の各頂点の第１の位置座標を算出する領域分割手段(102,103)と、供給される処理対象画像に変形を与えるためのパラメータに応じて、四辺形の各頂点の第１の位置座標をそれぞれ移動した複数の第２の位置座標を算出し、複数の第２の位置座標をそれぞれ頂点の位置座標とする複数の変形した四辺形に変換させる四辺形変形後座標発生手段(104)と、複数の四辺形の各頂点の第１の位置座標と複数の変形した四辺形の各頂点の第２の位置座標とに基づいて幾何変換を行い、複数の四辺形内の各テクスチャから複数の変形した四辺形内の各テクスチャへ変形させる幾何変換手段(105〜108)と、幾何変換手段から出力される複数の変形した四辺形内の各テクスチャと処理対象画像とを合成して処理対象後画像を生成する合成手段(109)とを備えることを特徴とする。
【００１３】
また、上記の目的を達成するため、本発明の画像処理方法は、処理対象画像の任意の基準点の基準点座標を入力させる基準点座標入力ステップ(ST2)と、処理対象画像の領域を、基準点を通る線分を含む複数の線分の交点を頂点とする複数の四辺形に分割すると共に、複数の四辺形の各頂点の第１の位置座標を算出する領域分割ステップ(ST3,ST4)と、供給される処理対象画像に変形を与えるためのパラメータに応じて、複数の四辺形を複数の変形した四辺形に変換させる四辺形変形後座標発生ステップ(ST5,ST6)と、複数の四辺形の各頂点の第１の位置座標と複数の変形した四辺形の各頂点の第２の位置座標とに基づいて幾何変換を行い、複数の四辺形内の各テクスチャから複数の変形した四辺形内の各テクスチャへ変形させる幾何変換ステップ(ST7)と、幾何変換ステップで得られる複数の変形した四辺形内の各テクスチャと処理対象画像とを合成して処理対象後画像を生成する合成ステップ (ST8)とを含むことを特徴とする。
【００１４】
また、上記の目的を達成するため、本発明の画像処理プログラムは、コンピュータに、
処理対象画像の任意の基準点の基準点座標を入力させる基準点座標入力機能と、処理対象画像の領域を、基準点を通る線分を含む複数の線分の交点を頂点とする複数の四辺形に分割すると共に、複数の四辺形の各頂点の第１の位置座標を算出する領域分割機能と、供給される処理対象画像に所望の変形を与えるためのパラメータに応じて、複数の四辺形を複数の変形した四辺形に変換させる四辺形変形後座標発生機能と、複数の四辺形の各頂点の第１の位置座標と複数の変形した四辺形の各頂点の第２の位置座標とに基づいて幾何変換を行い、複数の四辺形内の各テクスチャから複数の変形した四辺形内の各テクスチャへ変形させる幾何変換機能と、幾何変換機能で得られる複数の変形した四辺形内の各テクスチャと処理対象画像とを合成して処理対象後画像を生成する合成機能とを実現させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、表情に変化を与えるときの変形処理対象の顔画像の位置決め・変形対象の範囲を簡便に決定することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の画像処理装置の一実施形態のブロック図である。
【図２】本発明の画像処理方法の一実施形態の説明用フローチャートである。
【図３】処理対象の顔画像の一例を示す図である。
【図４】上機嫌な表情の顔画像の一例を示す図である。
【図５】不機嫌な表情の顔画像の一例を示す図である。
【図６】傾斜した顔画像の画像領域の分割を示す図である。
【図７】図６における基準点等の座標位置と線分配置とを示す図である。
【図８】図７における４つの四辺形の頂点の位置座標を示す図である。
【図９】上機嫌化処理における４つの四辺形の頂点の位置座標を示す図である。
【図１０】不機嫌化処理における４つの四辺形の頂点の位置座標を示す図である。
【発明を実施するための形態】
【００１７】
次に、本発明の実施形態について図面を参照して説明する。
【００１８】
図１は、本発明になる画像処理装置の一実施形態のブロック図、図２は、本発明になる画像処理方法の一実施形態の説明用フローチャートを示す。図１に示すように、本実施形態の画像処理装置１００は、基準点座標入力部１０１、四辺形頂点座標発生部１０２、顔領域分割部１０３、四辺形変形後座標発生部１０４、４つの透視変換部１０５〜１０８、及び合成部１０９より構成されている。
【００１９】
基準点座標入力部１０１は、画像入力端子１１０を介して供給される処理対象の画像の基準点座標を入力する。本実施形態では処理対象の画像は、例えば図３に示すような顔画像１０であるものとする。本実施形態では、顔画像１０を４つの短冊状の四辺形２１、２２、２３及び２４に分割して処理を行う。ここで、４つの短冊状の四辺形２１、２２、２３及び２４は頭頂１１を通る線分を上辺とし、顎１２を通る線分を下辺とし、縦方向については左から顔右端１３を通る線分、右目１４を通る線分、鼻筋１５を通る線分、顔左端（左右は当人ベース）を通る線分でそれぞれ囲まれた四辺形である。上辺及び下辺は眼間を結ぶ線分に平行とし、その他の線分は頭頂１１と顎１２とを結ぶ線分に平行とする。
【００２０】
そして、本実施形態では４つの短冊状の四辺形２１、２２、２３及び２４の各辺を上げ下げすると共に、四辺形の中のテクスチャを幾何変換（例えば、透視変換）により変形させることで、図４に示すような上機嫌な表情の顔画像１０’、図５に示すような不機嫌な表情の顔画像１０”を得る。
【００２１】
図４に示す上機嫌な表情の顔画像１０’は、両目を通る辺を上げ、その他の辺を下げると共に４つの四辺形２１’、２２’、２３’及び２４’の中のテクスチャを幾何変換（例えば、透視変換）により変形させたものである。一方、図５に示す不機嫌な表情の顔画像１０“は、両目を通る辺を下げ、その他の辺を上げると共に４つの四辺形２１”、２２”、２３”及び２４”の中のテクスチャを幾何変換（例えば、透視変換）により変形させたものである。表情の強度は、辺の上げ下げの幅により調整することができる。なお、本実施形態では、傾いた顔における処理も可能にすることを鑑み、図３に示した顔画像１０の全体を角度θだけ傾斜させた図６に示す顔画像３０を用いる。
【００２２】
基準点座標入力部１０１は、図６に示した顔画像３０の基準点座標を入力する。四辺形頂点座標発生部１０２は、基準点座標入力部１０１から入力された基準点座標を用いて、図６の４つの四辺形４１、４２、４３及び４４の全部で１０個の頂点のうち、基準点を除く他の各頂点の座標である四辺形頂点座標を計算により発生する。顔領域分割部１０３は、基準点座標を含む全部で１０個の頂点に関する四辺形頂点座標を用いて顔画像３０を図６に示した４つの短冊状の四辺形４１、４２、４３及び４４に分割する。
【００２３】
四辺形変形後座標発生部１０４は、顔領域分割部１０３からの４つの短冊状の四辺形４１、４２、４３及び４４の各辺の上げ下げの幅を、端子１１１を介して供給される表情パラメータに従って調整して、その調整後の四辺形変形後座標を発生する。４つの透視変換部１０５〜１０８は、それぞれ４つの四辺形のうち対応する一つの四辺形の変形前の頂点座標と変形後の頂点座標に基づいて、公知の方法により変形後の四辺形内部のテクスチャの透視変換を行う。透視変換は幾何変換の一例である。合成部１０９は、透視変換部１０５〜１０８からの各透視変換画像と端子１１２からの原画像とを合成して表情パラメータに応じた表情の顔画像を生成する。
【００２４】
次に、図２のフローチャートを併せ参照して、図１の実施形態の画像処理装置１００の動作について更に詳細に説明する。
【００２５】
まず、処理対象の画像として図６に示した顔画像３０が入力される（ステップＳＴ１）。図１の基準点座標入力部１０１は、顔画像３０を入力信号として受け、頭頂、右目、左目及び顎の４点の位置座標を基準点座標として入力する（ステップＳＴ２）。基準点座標の入力方法としては、実際の座標を入力する、実際の位置をクリックすることにより座標が入力されるようなＧＵＩ(Graphical User Interface)を構築するなどの、様々な方法が考えられる。
【００２６】
図７は、基準点等の座標位置と線分配置とを示す。図７において、★印で示す４つの点Ｈ、Ｃ、Ｅ１及びＥ２は、図６の顔画像３０の頭頂３１の位置座標(htx,hty)、顎３２の位置座標(chx,chy)、右目３４の位置座標(ey1x,ey1y)、左目３６の位置座標(ey2x,ey2y)であり、これらは基準点座標として用いられる。
【００２７】
四辺形頂点座標発生部１０２は、入力された４点（Ｈ、Ｃ、Ｅ１及びＥ２）の基準点座標に基づいて、図７に示す頭頂を通る線分(0)、顎を通る線分(1)、右目を通る線分(2)、左目を通る線分(3)、顔右端を通る線分(4)、顔左端を通る線分(5)、及び鼻筋を通る線分(6)の計７本の線分の全部で１０個の交点の座標（四辺形頂点座標）を求める（ステップＳＴ３）。ただし、１０個の頂点のうち、線分(0)と線分(6)との交点Ｈの位置座標(htx.hty)＝(x2,y2)と、線分(1)と線分(6)との交点Ｃの位置座標(chx.chy)＝(x7,y7)の計２個の交点の四辺形頂点座標は既に得られているので、残りの８個の頂点の位置座標(xk,yk)(k=0,1,3,4,5,6,8,9)を求める。
【００２８】
このために、四辺形頂点座標発生部１０２は、まず、眼間を１：３、３：１に外分した点を線分(4)上の点Ａの位置座標(sd1x,sd1y)、線分(5)上の点Ｂの位置座標(sd2x,sd2y)として求める。具体的には、下記のように計算される。
【００２９】
sd1x ＝ ey1x ＋ (ey1x − ey2x)/２          (i-a)
sd1y ＝ ey1y ＋ (ey1y − ey2y)/２          (i-b)
sd2x ＝ ey2x ＋ (ey2x − ey1x)/２          (ii-a)
sd2y ＝ ey2y ＋ (ey2y − ey1y)/２          (ii-b)
続いて、四辺形頂点座標発生部１０２は、線分(0)〜(5)の式を以下のように導出する。
【００３０】
図７のθ＝０°又はθ＝１８０°であるときは、顔が９０°傾いたときであり、左目と右目は上下に並ぶので、ey1x＝ey2xとなる。この場合を「９０°転倒」というものとする。「９０°転倒」でない場合、線分(0)及び線分(1)の傾きＡｅは次式のようになる。
【００３１】
Ａｅ＝(ey2y − ey1y)/(ey2x − ey1x)        (iii)
一方、図７のθ＝９０°であるときは、顔の傾きが無いときであり、頭頂と顎は上下に並ぶので、htx＝chxとなる。この場合を「完全正立」というものとする。また、図７のθ＝２７０°の「完全倒立」の場合もhtx＝chxとなる。「完全正立」でない場合、あるいは「完全倒立」でない場合、線分(2)〜線分(5)の傾きＡｎは次式のようになる。
【００３２】
Ａｎ＝(hty − chy)/(htx − chx)        (iv)
これにより、線分(0)〜(5)の式は以下のように表される。
【００３３】
（ａ）線分(0)の式
９０°転倒のとき        ｘ＝htx          (v-a)
９０°転倒でないとき    ｙ＝Ae＊(x−htx)＋hty＝Ae*x＋(hty−Ae*htx)
＝Ae*x＋B0      (v-b)    
（ただし、B0＝hty−Ae*htx；＊は乗算記号，以下同じ）
（ｂ）線分(1)の式
９０°転倒のとき        ｘ＝chx          (vi-a)
９０°転倒でないとき    ｙ＝Ae＊(x−chx)＋chy＝Ae*x＋(chy−Ae*chx)
＝Ae*x＋B1       (vi-b)
（ただし、B1＝chy−Ae*chx）
（ｃ）線分(2)の式
完全正立のとき          ｘ＝ey1x          (vii-a)
完全正立でないとき    ｙ＝An＊(x−ey1x)＋ey1y＝An*x＋(ey1y−An*ey1x)
＝An*x＋B2       (vii-b)
（ただし、B2＝ey1y−An*ey1x）
（ｄ）線分(3)の式
完全正立のとき          ｘ＝ey2x          (viii-a)
完全正立でないとき    ｙ＝An＊(x−ey2x)＋ey2y＝An*x＋(ey2y−An*ey2x)
＝An*x＋B3       (viii-b)
（ただし、B3＝ey2y−An*ey2x）
（ｅ）線分(4)の式
完全正立のとき          ｘ＝sd1x          (ix-a)
完全正立でないとき    ｙ＝An＊(x−sd1x)＋sd1y＝An*x＋(sd1y−An*sd1x)
＝An*x＋B4       (ix-b)
（ただし、B4＝sd1y−An*sd1x）
（ｆ）線分(5)の式
完全正立のとき          ｘ＝sd2x          (x-a)
完全正立でないとき    ｙ＝An＊(x−sd2x)＋sd2y＝An*x＋(sd2y−An*sd2x)
＝An*x＋B5       (x-b)
（ただし、B5＝sd2y−An*sd2x）
【００３４】
続いて、四辺形頂点座標発生部１０２は、式を求めた線分(0)〜(5)の各交点Ｐ０，Ｐ１，Ｐ３〜Ｐ６，Ｐ８，Ｐ９の位置座標を図８に示すように定義し直し、以下のように導出する。なお、線分(6)と線分(0)との交点Ｐ２の位置座標(X2,y2)，線分(6)と線分(1)との交点Ｐ７の位置座標(x7,y7)はそれぞれ頭頂、顎の位置座標であるので、線分(6)の式の導出は不要である。
【００３５】
（ａ）線分(0)と線分(4)の交点Ｐ０の位置座標（x0,y0）
９０°転倒のとき    x0＝htx  ，y0＝An＊htx＋B4
完全正立のとき      x0＝sd1x  ,y0＝Ae＊sd1x＋B0
その他の場合        As＊x0＋B0＝An＊x0＋B4  より
x0＝(B4−B0)/(Ae−An),  y0＝Ae＊{(B4−B0)/(Ae−An)}+B0
（ｂ）線分(0)と線分(2)の交点Ｐ１の位置座標（x1,y1）
９０°転倒のとき    x1＝htx  ，y1＝An＊htx＋B2
完全正立のとき      x1＝ey1x  ,y1＝Ae＊ey1x＋B0
その他の場合        Ae＊x1＋B0＝An＊x1＋B2  より
x1＝(B2−B0)/(Ae−An),  y1＝Ae＊{(B2−B0)/(Ae−An)}+B0
（ｃ）線分(0)と線分(6)の交点Ｐ２の位置座標（x2,y2）
頭頂を示す基準点座標であるから    x2＝htx  ，y2＝hty    である。
（ｄ）線分(0)と線分(3)の交点Ｐ３の位置座標（x3,y3）
９０°転倒のとき    x3＝htx  ，y3＝An＊htx＋B3
完全正立のとき      x3＝ey2x  ,y3＝Ae＊ey2x＋B0
その他の場合        Ae＊x3＋B0＝An＊x3＋B3  より
x3＝(B3−B0)/(Ae−An),  y3＝Ae＊{(B3−B0)/(Ae−An)}+B0
（ｅ）線分(0)と線分(5)の交点Ｐ４の位置座標（x4,y4）
９０°転倒のとき    x4＝htx  ，y4＝An＊htx＋B5
完全正立のとき      x4＝sd2x  ,y4＝Ae＊sd2x＋B0
その他の場合        Ae＊x4＋B0＝An＊x4＋B5  より
x4＝(B5−B0)/(Ae−An),  y4＝Ae＊{(B5−B0)/(Ae−An)}+B0
（ｆ）線分(1)と線分(4)の交点Ｐ５の位置座標（x5,y5）
９０°転倒のとき    x5＝chx  ，y5＝An＊chx＋B4
完全正立のとき      x5＝sd1x  ,y5＝Ae＊sd1x＋B1
その他の場合        Ae＊x5＋B1＝An＊x5＋B4  より
x5＝(B4−B1)/(Ae−An),  y5＝Ae＊{(B4−B1)/(Ae−An)}+B1
（ｇ）線分(1)と線分(2)の交点Ｐ６の位置座標（x6,y6）
９０°転倒のとき    x6＝chx  ，y6＝An＊chx＋B2
完全正立のとき      x6＝ey1x  ,y6＝Ae＊ey1x＋B1
その他の場合        Ae＊x6＋B1＝An＊x6＋B2  より
x6＝(B2−B1)/(Ae−An),  y6＝Ae＊{(B2−B1)/(Ae−An)}+B1
（ｈ）線分(1)と線分(6)の交点Ｐ７の位置座標（x7,y7）
顎を示す基準点座標であるから    x7＝chx，  y7＝chy    である。
（ｉ）線分(1)と線分(3)の交点Ｐ８の位置座標（x8,y8）
９０°転倒のとき    x8＝chx  ，y8＝An＊chx＋B3
完全正立のとき      x8＝ey2x  ,y8＝Ae＊ey2x＋B1
その他の場合        Ae＊x8＋B1＝An＊x8＋B3  より
x8＝(B3−B1)/(Ae−An),  y8＝Ae＊{(B3−B1)/(Ae−An)}+B1
（ｊ）線分(1)と線分(5)の交点Ｐ９の位置座標（x9,y9）
９０°転倒のとき    x9＝chx  ，y9＝An＊chx＋B5
完全正立のとき      x9＝sd2x  ,y9＝Ae＊sd2x＋B1
その他の場合        Ae＊x9＋B1＝An＊x9＋B5  より
x9＝(B5−B1)/(Ae−An),  y9＝Ae＊{(B5−B1)/(Ae−An)}+B1
【００３６】
次に、顔領域分割部１０３は、四辺形頂点座標発生部１０２において上記の算出式に基づいて算出された１０個の交点Ｐ０〜Ｐ９の位置座標を入力として受け、これらの位置座標を四辺形頂点の位置座標として用いることで、顔画像３０を図６及び図８に示す４つの短冊状の四辺形４１、４２、４３及び４４に分割する（ステップＳＴ４）。これらの四辺形４１、４２、４３及び４４は、線分(0)、(1)、(4)、(5)で囲まれた四角形の内部を線分(2)、(3)、(6)でそれぞれ区画して生成した四辺形であるため、隣接する四辺形においてそれらの長辺（すなわち、線分(2)、(3)、(6)）が共有されている。
【００３７】
次に、四辺形変形後座標発生部１０４は、顔領域分割部１０３からの４つの短冊状の四辺形４１、４２、４３及び４４を示す顔領域分割情報を入力として受け、端子１１１を介して表情パラメータが供給され（ステップＳＴ５）、四辺形４１、４２、４３及び４４の各頂点の座標を表情パラメータに応じて変更し、表情パラメータに応じた顔表情を示す四辺形変形後座標を発生する（ステップＳＴ６）。四辺形変形後座標発生部１０４による四辺形４１、４２、４３及び４４の各頂点の座標は、例えば四辺形４１、４２、４３及び４４の各長辺が平行移動し、かつ、表情パラメータに応じて各長辺の移動方向と移動幅を制御するように変更される。表情パラメータは様々な形で正規化を行って適用することが可能である。
【００３８】
図９及び図１０は、それぞれ四辺形変形後座標発生部１０４により四辺形の各頂点の変更後の位置座標と四辺形領域の各例を示す。図９は、表情パラメータにより上機嫌化処理したときの四辺形の各頂点の変更後の位置座標と四辺形領域の一例を示す。図９において、表情パラメータの強度をｐとすると、四辺形変形後座標発生部１０４は、顎を示す交点と頭頂を示す交点とを結ぶ線分(6)を角度θを変えずに顎方向にｐだけ移動すると共に、線分(6)に隣接する線分(2)及び(3)を頭頂方向へ線分(6)に対してｐだけ平行移動し、かつ、線分(4)及び(5)を線分(6)と同じ方向へｐだけ平行移動するように交点Ｐ０〜Ｐ９の位置座標を図９にＰ０’〜Ｐ９’に示す交点の位置座標に変更する。位置座標が変更された交点Ｐ０’〜Ｐ９’により、変更前の四辺形４１、４２、４３及び４４は図９に４１’、４２’、４３’及び４４’に示すように変更される。
【００３９】
ここで、線分(6)の両端の交点Ｐ２’及びＰ７’、線分(4)の両端の交点Ｐ０’及びＰ５’、並びに線分(5)の両端の交点Ｐ４’及びＰ９’は、それぞれ変更前の交点Ｐ２、Ｐ７、Ｐ０、Ｐ５、Ｐ４及びＰ９の各位置座標のうちｘ座標値がｐ*cosθだけ減算（ｘ座標は右方向を正とする）され、ｙ座標がｐ*sinθだけ加算（ｙ座標は下方向を正とする）された位置座標を示す。これに対し、線分(2)の両端の交点Ｐ１’及びＰ６’、及び線分(3)の両端の交点Ｐ３’及びＰ８’は、それぞれ変更前の交点Ｐ１、Ｐ６、Ｐ３及びＰ８の各位置座標のうちｘ座標がｐ*cosθだけ加算され、ｙ座標がｐ*sinθだけ減算された位置座標を示す。
【００４０】
図１０は、表情パラメータにより不機嫌化処理したときの四辺形の各頂点の変更後の位置座標と四辺形領域の一例を示す。図１０において、表情パラメータの強度をｐとすると、四辺形変形後座標発生部１０４は、顎を示す交点と頭頂を示す交点とを結ぶ線分(6)を角度θを変えずに頭頂方向にｐだけ移動すると共に、線分(6)に隣接する線分(2)及び(3)を顎方向へ線分(6)に対してｐだけ平行移動し、かつ、線分(4)及び(5)を線分(6)と同じ方向へｐだけ平行移動するように交点Ｐ０〜Ｐ９の位置座標を図１０にＰ０”〜Ｐ９”に示す交点の位置座標に変更する。位置座標が変更された交点Ｐ０”〜Ｐ９”により、変更前の四辺形４１、４２、４３及び４４は図９に４１”、４２”、４３”及び４４”に示すように変更される。
【００４１】
ここで、線分(6)の両端の交点Ｐ２”及びＰ７”、線分(4)の両端の交点Ｐ０”及びＰ５”、並びに線分(5)の両端の交点Ｐ４”及びＰ９”は、それぞれ変更前の交点Ｐ２、Ｐ７、Ｐ０、Ｐ５、Ｐ４及びＰ９の各位置座標のうちｘ座標値がｐ*cosθだけ加算（ｘ座標は右方向を正とする）され、ｙ座標がｐ*sinθだけ減算（ｙ座標は下方向を正とする）された位置座標を示す。これに対し、線分(2)の両端の交点Ｐ１”及びＰ６”、及び線分(3)の両端の交点Ｐ３”及びＰ８”は、それぞれ変更前の交点Ｐ１、Ｐ６、Ｐ３及びＰ８の各位置座標のうちｘ座標がｐ*cosθだけ減算され、ｙ座標がｐ*sinθだけ加算された位置座標を示す。
【００４２】
図１に示す透視変換部１０５、１０６、１０７及び１０８は、四辺形変形後座標発生部１０４からそれぞれ４つの四辺形４１、４２、４３及び４４のうち別々に割り当てられた１つの四辺形の変更前の交点の位置座標と変更後の交点の位置座標とを入力信号として受け、別々に透視変換を行う（ステップＳＴ７）。透視変換部１０５、１０６、１０７及び１０８は、それぞれ例えば公知文献（中沢裕二，他３名、“画像中の特徴点に基づく実写画像とＣＧ画像との動画像合成システム”＜付録１＞、映像情報メディア学会誌Vol.51,No.7(1997),pp.(155)1095）に記載された公知の方法により透視変換を行う。
【００４３】
すなわち、透視変換は、上記公知文献によれば、変換前の座標を(u,v)、変換後の座標を(x,y)とすると次式で表現される。
【００４４】
【数１】
2016066327.tif 000003
【００４５】
そして、(u1,v1), (u2,v2), (u3,v3), (u4,v4)の４点と、(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)の４点とが対応するとき、ａ33＝１、X＝(x1 x2 x3 x4 y1 y2 y3 y4)t、A＝(a11 a12 a13 a21 a22 a23 a31 a32)tとすると、次式の連立方程式を解くことによって、Ａの透視変換パラメータ式を求めることができる。
【００４６】
【数２】
2016066327.tif 000004
【００４７】
従って、透視変換部１０５、１０６、１０７及び１０８は、それぞれ入力された１つの四辺形の変更前の４つの交点の既知の位置座標(u1,v1), (u2,v2), (u3,v3), (u4,v4)と、変更後の４つの交点の既知の位置座標(x1,y1)，(x2,y2)，(x3,y3)，(x4,y4)とから、数１及び数２に示した各式に基づいて、上記の透視変換パラメータＡを求めることができる。更に、求めた透視変換パラメータにより各画素についての変換後の位置が定まり、変形後四辺形の中のテクスチャを透視変換で変形させることができる。
【００４８】
合成部１０９は、透視変換部１０５、１０６、１０７及び１０８から供給された透視変換された４つの変形後の四辺形内のテクスチャの画像を、端子１１２からの原画像と合成して、顔の表情が、表情パラメータに応じて上機嫌あるいは不機嫌などの表情を示す処理対象後の顔画像を生成する（ステップＳＴ８）。
【００４９】
このように、本実施形態の画像処理装置１００によれば、表情に変化を与えるときの変形処理対象の顔画像の位置決め・変形対象の範囲を、右目、左目、頭頂、顎という分かり易い４点の指定によって簡便に決定することができる。このような本実施形態の簡便なマニュアル指定は、集合写真の一部や正立以外のポーズなどを含むもののレタッチなどの用途に適用して好適である。すなわち、本実施形態によれば、前述した折った紙幣的アプローチにおいて撮影後のコンテンツにおける変形対象の顔の表情を簡便に調整することができる。
【００５０】
なお、本発明は以上の実施形態に限定されるものではなく、例えば透視変換は幾何変換の一例であり、その他の公知の幾何変換を適用してもよい。また、処理対象の画像は人物の顔画像以外の動物やキャラクタなどの顔画像であってもよい。また、本発明は、図１のハードウェア構成や図２の方法の各ステップをコンピュータによりソフトウェア的に実現する画像処理プログラムも包含するものである。この画像処理プログラムは、コンピュータに読み取り可能な記録媒体に記録して提供してもよいし、有線又は無線ネットワークを介して、あるいはデータ放送により配信してコンピュータに提供するようにしてもよい。
【符号の説明】
【００５１】
１０、３０  顔画像
１０’  上機嫌な表情の顔画像
１０”  不機嫌な表情の顔画像
２１〜２４、４１〜４４  変形前の四辺形
２１’〜２４’、２１”〜２４”、４１’〜４４’、４１”〜４４”  変形後の四辺形
１００  画像処理装置
１０１  基準点座標入力部
１０２  四辺形頂点座標発生部
１０３  顔領域分割部
１０４  四辺形変形後座標発生部
１０５、１０６、１０７、１０８  透視変換部
１０９  合成部
(0)〜(6)  四辺形の各辺の線分
【図１】
2016066327.tif 000005
【図２】
2016066327.tif 000006
【図３】
2016066327.tif 000007
【図４】
2016066327.tif 000008
【図５】
2016066327.tif 000009
【図６】
2016066327.tif 000010
【図７】
2016066327.tif 000011
【図８】
2016066327.tif 000012
【図９】
2016066327.tif 000013
【図１０】
2016066327.tif 000014