(57)【要約】【課題】顔の個性的な特徴を生かして感情による表情の変化を適正に表現する。【解決手段】撮像装置１００であって、顔画像の表情を特定の感情を表す表情に変化させるための変化指示に従って、顔画像内の所定の顔構成部に対して変形処理を施す画像変形部６ｄと、顔構成部の特徴情報を取得する特徴情報取得部６ｅと、取得された顔構成部の特徴情報に基づいて当該顔構成部の変形処理の内容を制御する変形制御部６ｆと、を備えている。【選択図】図１
2014174855.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を取得する第１取得手段と、
前記第１取得手段により取得された顔画像の表情を特定の感情を表す表情に変化させるための変化指示に従って、前記顔画像内の所定の顔構成部に対して変形処理を施す変形手段と、
前記顔構成部の特徴情報を取得する第２取得手段と、
前記第２取得手段により取得された前記顔構成部の特徴情報に基づいて前記変形手段による当該顔構成部の変形処理の内容を制御する変形制御手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記変形制御手段は、更に、
前記顔構成部の特徴情報に基づいて、前記変形手段による前記顔構成部に対する前記変形処理が当該顔構成部の特徴を低減させるような内容を含むか否かを判定する第１判定手段を有し、
前記第１判定手段により前記顔構成部の特徴を低減させるような内容を含むと判定されると、前記変形処理における当該顔構成部の変形度合いを相対的に小さくするように制御することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変形制御手段は、更に、
前記顔構成部の特徴情報に基づいて、前記変形手段による前記顔構成部に対する前記変形処理が当該顔構成部の特徴を強調させるような内容を含むか否かを判定する第２判定手段を有し、
前記第２判定手段により前記顔構成部の特徴を強調させるような内容を含むと判定されると、前記変形処理における当該顔構成部の変形度合いを相対的に大きくするように制御することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２取得手段は、更に、
基準顔を構成する基準顔構成部と前記顔構成部との差分に基づいて、当該顔構成部の特徴情報を取得することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記顔画像の互いに異なる感情の各々と少なくとも一の前記顔構成部の前記変形処理における変形度合いとを対応付けて記録する記録手段を更に備え、
前記変形制御手段は、
前記記録手段に前記変化指示に係る前記顔画像の特定の感情と対応付けて記録されている少なくとも一の前記顔構成部の前記変形処理における変形度合いを特定し、特定された変形度合いの相対的な大きさを制御することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項６】
前記顔画像内の主要な顔構成部を抽出する抽出手段を更に備え、
前記変形手段は、
前記抽出手段により抽出された顔構成部に対して前記変形処理を施すことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
前記顔画像は、顔を模式的に表した似顔絵画像を含むことを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
【請求項８】
画像処理装置を用いた画像処理方法であって、
顔画像を取得するステップと、
取得された顔画像の表情を特定の感情を表す表情に変化させるための変化指示に従って、前記顔画像内の所定の顔構成部に対して変形処理を施すステップと、
前記顔構成部の特徴情報を取得するステップと、
取得された前記顔構成部の特徴情報に基づいて当該顔構成部の変形処理の内容を制御するステップと、
を含むことを特徴とする画像処理方法。
【請求項９】
画像処理装置のコンピュータを、
顔画像を取得する第１取得手段、
前記第１取得手段により取得された顔画像の表情を特定の感情を表す表情に変化させるための変化指示に従って、前記顔画像内の所定の顔構成部に対して変形処理を施す変形手段、
前記顔構成部の特徴情報を取得する第２取得手段、
前記第２取得手段により取得された前記顔構成部の特徴情報に基づいて前記変形手段による当該顔構成部の変形処理の内容を制御する変形制御手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、目、鼻、口、耳、顔輪郭等の顔部品の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。また、似顔絵の顔部品を変形させて特定の感情を表す表情に変化させる技術も知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１４５６２５号公報
【特許文献２】特開２００１−３０７１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、似顔絵にて感情による表情の変化を表現する際に、似顔絵のモデルの個性的な特徴が消されてしまい、似顔絵の視認者の満足度の向上を図ることができない虞がある。
【０００５】
そこで、本発明の課題は、顔の個性的な特徴を生かして感情による表情の変化を適正に表現することができる画像処理装置、画像処理方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る画像処理装置は、
顔画像を取得する第１取得手段と、前記第１取得手段により取得された顔画像の表情を特定の感情を表す表情に変化させるための変化指示に従って、前記顔画像内の所定の顔構成部に対して変形処理を施す変形手段と、前記顔構成部の特徴情報を取得する第２取得手段と、前記第２取得手段により取得された前記顔構成部の特徴情報に基づいて前記変形手段による当該顔構成部の変形処理の内容を制御する変形制御手段と、を備えたことを特徴としている。
【０００７】
また、本発明に係る画像処理方法は、
画像処理装置を用いた画像処理方法であって、顔画像を取得するステップと、取得された顔画像の表情を特定の感情を表す表情に変化させるための変化指示に従って、前記顔画像内の所定の顔構成部に対して変形処理を施すステップと、前記顔構成部の特徴情報を取得するステップと、取得された前記顔構成部の特徴情報に基づいて当該顔構成部の変形処理の内容を制御するステップと、を含むことを特徴としている。
【０００８】
また、本発明に係るプログラムは、
画像処理装置のコンピュータを、顔画像を取得する第１取得手段、前記第１取得手段により取得された顔画像の表情を特定の感情を表す表情に変化させるための変化指示に従って、前記顔画像内の所定の顔構成部に対して変形処理を施す変形手段、前記顔構成部の特徴情報を取得する第２取得手段、前記第２取得手段により取得された前記顔構成部の特徴情報に基づいて前記変形手段による当該顔構成部の変形処理の内容を制御する変形制御手段、として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、顔の個性的な特徴を生かして感情による表情の変化を適正に表現することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による特徴情報生成処理に係る動作の一例を示すフローチャートである。
【図３】図２の特徴情報生成処理を説明するための図である。
【図４】図２の特徴情報生成処理により生成された特徴情報の一例を模式的に示す図である。
【図５】図１の撮像装置による画像変形処理に係る動作の一例を示すフローチャートである。
【図６】図５の画像変形処理を説明するための図である。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１２】
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、記録部５と、画像処理部６と、表示制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。
また、撮像部１、撮像制御部２、画像データ生成部３、メモリ４、記録部５、画像処理部６、表示制御部７及び中央制御部１０は、バスライン１１を介して接続されている。
【００１３】
なお、撮像装置１００は、公知のものを適用可能であり、本実施形態のように、主要な機能を撮像機能とするデジタルカメラだけでなく、主要な機能としないものの撮像機能を具備する携帯電話機、スマートフォン等の携帯端末なども含む。
【００１４】
撮像部１は、撮像手段として、所定の被写体を撮像してフレーム画像を生成する。具体的には、図示は省略するが、撮像部１は、例えば、ズームレンズやフォーカスレンズ等のレンズ部と、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等の電子撮像部と、ズームレンズやフォーカスレンズを光軸方向に移動させるレンズ駆動部とを備えている。
【００１５】
撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、レンズ部を通過した光学像を電子撮像部により所定周期毎に二次元の画像信号に変換させ、当該電子撮像部の撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部３に出力させる。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。
【００１６】
画像データ生成部３は、撮像部１の電子撮像部から転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。
【００１７】
メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部６や中央制御部１０等によって処理されるデータ等を一時的に格納する。
【００１８】
記録部５は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成された画像記録部５ａを具備している。
【００１９】
画像記録部５ａは、画像処理部６の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録する。
また、画像記録部５ａは、特徴情報生成処理（後述）や画像変形処理（後述）の処理対象画像の画像データを記録する。具体的には、画像記録部５ａは、処理対象画像として、例えば、顔を模式的に表した似顔絵画像の画像データを記録する。ここで、似顔絵画像とは、例えば、所定の髪型画像の顔の輪郭よりも内側に、当該似顔絵の元となる画像の顔から抽出した目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させて、元となる画像の顔を似顔絵で模式的に表した画像のことを言う。
【００２０】
なお、画像記録部５ａは、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
【００２１】
また、記録部５には、基準顔構成部テーブルＴ１と、変形度合いテーブルＴ２とが記録されている。
【００２２】
基準顔構成部テーブルＴ１は、例えば、目、鼻、口、眉、髪の毛等の各顔構成部毎に代表的な基準顔構成部の基準形状データｄ０を記録する。ここで、基準顔構成部の基準形状データｄ０とは、例えば、各顔構成部毎に、複数人の顔から抽出された複数の顔構成部の形状の代表値（例えば、平均値等）を規定するデータである。
【００２３】
変形度合いテーブルＴ２は、画像変形処理に用いられるテーブルである。具体的には、変形度合いテーブル（記録手段）Ｔ２は、顔画像の互いに異なる複数の感情（例えば、怒りや喜び等）の各々と、例えば、目、鼻、口、眉、髪の毛等の複数の顔構成部の画像変形処理における変形度合い（例えば、顔構成部の代表点の変形ベクトル等）とが対応付けられている。
なお、変形度合いテーブルＴ２に記録されている顔構成部の種類は、必ずしも複数種である必要はなく、例えば、目、鼻、口、眉、髪の毛のうち、少なくとも何れか一であれば良い。
【００２４】
画像処理部６は、画像取得部６ａと、顔検出部６ｂと、顔構成部抽出部６ｃと、画像変形部６ｄと、特徴情報取得部６ｅと、変形制御部６ｆとを具備している。
なお、画像処理部６の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００２５】
画像取得部６ａは、特徴情報生成処理や画像変形処理の処理対象となる画像を取得する。
即ち、画像取得部（第１取得手段）６ａは、顔画像（例えば、似顔絵画像等）の画像データを取得する。具体的には、画像取得部６ａは、画像記録部５ａに記録されている似顔絵画像の画像データの複製を取得する。
なお、後述する画像処理部６による各処理は、顔画像の画像データ自体に対して行われても良いし、必要に応じて顔画像の画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の縮小画像データに対して行われても良い。
【００２６】
顔検出部６ｂは、画像変形処理の処理対象となる顔画像から顔領域を検出する。
即ち、顔検出部６ｂは、画像取得部６ａにより画像変形処理の処理対象として取得された似顔絵画像の画像データに対して所定の顔検出処理を行って、当該似顔絵画像から顔が含まれる顔領域を検出する。そして、顔検出部６ｂは、顔領域を囲繞する所定の大きさの領域を切り出して顔領域画像とする。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００２７】
顔構成部抽出部６ｃは、顔画像内の顔構成部を複数抽出する。
即ち、顔構成部抽出部（抽出手段）６ｃは、画像取得部６ａにより取得された顔画像内の顔の主要な顔構成部を抽出する。具体的には、顔構成部抽出部６ｃは、似顔絵画像の顔領域が含まれる顔領域画像に対して所定の抽出処理（例えば、エッジ抽出処理等）を施して、例えば、目、鼻、口、眉、髪の毛等の顔構成部を線で表したパーツ画像を生成する。
ここで、抽出処理としては、例えば、エッジ抽出処理、非等方拡散処理、テンプレートマッチング、ＡＡＭ等の各種の処理が挙げられる。なお、これらのエッジ抽出処理、非等方拡散処理、テンプレートマッチング、ＡＡＭ等の各種の処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００２８】
画像変形部６ｄは、顔画像内の所定の顔構成部に対して画像変形処理を施す。
即ち、画像変形部（変形手段）６ｄは、顔画像の表情を特定の感情を表す表情に変化させる変化指示に従って、顔画像内の所定の顔構成部に対して画像変形処理を施す。具体的には、例えば、ユーザによる操作入力部９の所定操作に基づいて何れか一の特定の感情（例えば、怒り（図６（ｂ）参照）や喜び（図６（ｃ）参照）等）を表す表情が指定されると、画像変形部６ｄは、変形度合いテーブルＴ２を参照して、顔構成部抽出部６ｃにより似顔絵画像から抽出された複数の顔構成部のうち、指定された特定の感情と対応付けて記録されている顔構成部のパーツ画像に対して画像変形処理を施す。
ここで、例えば、顔画像の表情を怒りを表す表情（図６（ｂ）参照）に変化させる場合の画像変形処理としては、目を大きく見開くような形状に変形したり、口を両端を下げたような形状（「へ」字状）に変形したり、眉を眉尻を上げたような形状に変形する処理等が挙げられる。また、例えば、顔画像の表情を喜びを表す表情（図６（ｃ）参照）に変化させる場合の画像変形処理としては、目を両端を下げたような形状（かまぼこ型）に変形したり、口を大きく開けたり口角を上げたような形状に変形する処理等が挙げられる。
なお、画像変形処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００２９】
特徴情報取得部６ｅは、顔構成部の特徴情報Ｐを取得する。
即ち、特徴情報取得部（第２取得手段）６ｅは、顔画像（似顔絵画像）内の顔構成部の特徴情報Ｐを取得する。具体的には、特徴情報取得部６ｅは、基準顔構成部テーブルＴ１に規定されている基準顔構成部と画像取得部６ａにより取得された似顔絵画像内の顔構成部との差分に基づいて、当該顔構成部の特徴情報Ｐを取得する。
例えば、顔構成部抽出部６ｃにより似顔絵画像から抽出された顔構成部毎に、特徴情報取得部６ｅは、予め基準顔構成部テーブルＴ１に規定されている基準顔構成部と顔構成部との差分を算出する。即ち、例えば、左右何れか一方の目の特徴情報Ｐを算出する場合、特徴情報取得部６ｅは、基準顔構成部テーブルＴ１に規定されている当該目に対応する基準顔構成部の基準形状データｄ０を取得する。そして、特徴情報取得部６ｅは、顔構成部抽出部６ｃにより似顔絵画像から抽出された目のパーツ画像の形状データ（パーツ形状データｄ１）と、当該目に対応する基準形状データｄ０とを所定位置（例えば、目尻の一点等）を基準として位置合わせを行う（図３（ａ）等参照）。このとき、似顔絵画像の顔と基準顔構成部を含む顔全体の大きさが略一致するように、目のパーツ形状データｄ１及び基準形状データｄ０のうちの少なくとも一方の大きさを変化させた後、これらを位置合わせするようにしても良い。
【００３０】
そして、特徴情報取得部６ｅは、目のパーツ形状データｄ１及び基準形状データｄ０の各々について、例えば、目の外縁となる外輪郭部を構成し、隣り合うものとの間に所定の間隔（例えば、略等しい間隔等）を有する複数の代表点の位置座標をそれぞれ特定する。ここで、複数の代表点の配置パターンは、パーツ形状データｄ１と基準形状データｄ０とで略等しくなっている。特徴情報取得部６ｅは、目のパーツ形状データｄ１及び基準形状データｄ０の間で対応する代表点どうしの位置のずれ量（差の大きさと方向）を算出する（図３（ａ）及び図３（ｂ）参照）。なお、図３（ａ）及び図３（ｂ）では、代表点を黒丸で模式的に表している。
特徴情報取得部６ｅは、算出された代表点どうしの位置のずれ量に基づいて、各顔構成部毎に所定の特徴について数値化して特徴情報Ｐを生成する（図４参照）。例えば、目の特徴としては、「垂れ目」／「つり目」、「細い」／「ぱっちり」、「長い」／「丸い」等の相反する要素が挙げられる。例えば、図３（ａ）に示すような目のパーツ形状データｄ１の全ての代表点は、目の基準形状データｄ０の対応する代表点に対して内側にあるので、「細い」という特徴を持つ。特徴の大きさは、パーツ形状データｄ１及び基準形状データｄ０の間で対応する代表点どうしの位置の差の大きさに基づいて数値化される。同様に、図３（ｂ）に示すような目のパーツ形状データｄ１の場合は、基準形状データｄ０との位置合わせの基準点（例えば、目尻の一点等）から離れるにつれて代表点どうしの位置の差が下向きに大きくなるので、「垂れ目」という特徴を持つ。
そして、特徴情報取得部６ｅは、数値化された各特徴を正規化（例えば、最大値を「50」等）してパラメータとしてまとめたものを特徴情報Ｐとする。この特徴情報Ｐは、例えば、図４に示すように、目の特徴の場合、「垂れ目」／「つり目」、「細い」／「ぱっちり」、「長い」／「丸い」等の相反する要素毎に「０」を基準としてパラメータ化されている。例えば、「つり目」という特徴を「正の値」で表し、「垂れ目」という特徴を「負の値」で表している。同様に、「ぱっちり」という特徴を「正の値」で表し、「細い」という特徴を「負の値」で表している。同様に、「丸い」という特徴を「正の値」で表し、「長い」という特徴を「負の値」で表している。
【００３１】
なお、特徴情報取得部６ｅは、顔構成部抽出部６ｃにより似顔絵画像から抽出された全ての顔構成部について特徴情報Ｐを生成するようにしたが、例えば、複数の顔構成部のうち、ユーザによる操作入力部９の所定操作に基づいて指定された特定の感情と対応付けて変形度合いテーブルＴ２に記録されている所定数の顔構成部についてのみ特徴情報Ｐを生成するようにしても良い。
【００３２】
変形制御部６ｆは、画像変形処理における顔構成部の変形の内容を制御する。
即ち、変形制御部（変形制御手段）６ｆは、特徴情報取得部６ｅにより取得された顔構成部の特徴情報Ｐに基づいて画像変形部６ｄによる当該顔構成部の変形の内容を制御する。また、変形制御部６ｆは、変形度合いテーブルＴ２に変化指示に係る顔画像の特定の感情と対応付けて記録されている少なくとも一の顔構成部の画像変形処理における変形度合いを特定し、特定された変形度合いの相対的な大きさを制御する。
具体的には、変形制御部６ｆは、判定部ｆ１を具備し、当該判定部ｆ１による判定結果に応じて、画像変形処理における顔構成部の変形の内容を制御する。
【００３３】
判定部（第１判定手段）ｆ１は、顔構成部の特徴情報Ｐに基づいて、画像変形部６ｄによる顔構成部に対する画像変形処理が当該顔構成部の特徴を低減させるような内容を含むか否かを判定する。また、判定部（第２判定手段）ｆ１は、顔構成部の特徴情報Ｐに基づいて、画像変形部６ｄによる顔構成部に対する画像変形処理が当該顔構成部の特徴を強調させるような内容を含むか否かを判定する。
具体的には、判定部ｆ１は、例えば、変形度合いテーブルＴ２を参照して、ユーザによる操作入力部９の所定操作に基づいて指定された特定の感情と対応付けて記録されている顔構成部の変形度合い（代表点毎の変位方向）と、特徴情報取得部６ｅにより取得された当該顔構成部の特徴情報Ｐ（基準形状データｄ０に対して各代表点の存する方向）とに基づいて、顔構成部の変形の方向が当該顔構成部の特徴を低減させるような反対方向であるかや顔構成部の変形の方向が当該顔構成部の特徴を強調させるような同方向であるかを判定する。ここで、判定部ｆ１は、顔構成部の変形の方向の判定を、例えば、複数の代表点の変位方向を代表する方向を算出して当該方向を基準として行っても良いし、各代表点毎に行っても良い。
なお、判定部ｆ１は、特徴情報取得部６ｅにより取得された顔構成部の特徴情報Ｐに基づいて、正規化後のパラメータが所定の値（例えば、「30」）以上の特徴、即ち、特に個性的な特徴についてのみ、上記の判定処理を行うようにしても良い。なお、特徴情報Ｐが、例えば、相反する要素毎に「０」を基準としてパラメータ化されている場合には、正規化後のパラメータが所定の値（例えば、「-30」）以下の特徴も、特に個性的な特徴としても良い。
【００３４】
そして、判定部ｆ１により顔構成部の特徴を低減させるような内容を含むと判定されると、変形制御部６ｆは、画像変形処理における当該顔構成部の変形度合いを相対的に小さくするように制御する。一方、判定部ｆ１により顔構成部の特徴を強調させるような内容を含むと判定されると、変形制御部６ｆは、画像変形処理における当該顔構成部の変形度合いを相対的に大きくするように制御する。
例えば、「怒り」を表現するために、変形度合いテーブルＴ２に基づいて「目」を見開くように大きくする方向で変形させる場合に、目の特徴情報Ｐが「細い」という特徴（基準形状データｄ０に対して外輪郭部の代表点が内側に存する等の特徴）を有すると、判定部ｆ１は、「目」を見開く方向は「細い」という特徴を低減させるような反対方向であると判定する。そして、変形制御部６ｆは、「目」を見開くように大きくする変形度合いを相対的に小さくするように制御する。一方、目の特徴情報Ｐが「ぱっちり」という特徴（基準形状データｄ０に対して外輪郭部の代表点が内側に存する等の特徴）を有すると、判定部ｆ１は、「目」を見開く方向は「ぱっちり」という特徴を強調させるような同方向であると判定する。そして、変形制御部６ｆは、「目」を見開くように大きくする変形度合いを相対的に大きくするように制御する。
【００３５】
このとき、変形制御部６ｆは、顔構成部の各代表点毎に変形度合いを制御するようにしても良い。例えば、判定部ｆ１は、各代表点毎に、変形度合いテーブルＴ２に規定されている変位方向と、基準形状データｄ０に対して存する方向とが一致するか否かを判定する。そして、変形制御部６ｆは、判定部ｆ１により方向が一致する（同方向）と判定された代表点については、変形度合いを相対的に大きくするように制御し、一方、判定部ｆ１により方向が一致しない（反対方向）代表点については、変形度合いを相対的に小さくするように制御しても良い。
【００３６】
表示制御部７は、メモリ４に一時的に格納されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に格納されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
【００３７】
表示部８は、例えば、液晶表示パネルであり、表示制御部７からのビデオ信号に基づいて撮像部１により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。
【００３８】
操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。
また、顔画像の表情を特定の感情を表す表情に変化させる画像変形処理にて、ユーザによる操作入力部９の所定操作に基づいて何れか一の特定の感情（例えば、通常（図６（ａ）参照）や怒り（図６（ｂ）参照）や喜び（図６（ｃ）参照）等）が指定されると、当該指定指示を中央制御部１０のＣＰＵに出力する。そして、中央制御部１０のＣＰＵは、操作入力部９から出力された指定指示が入力されると、顔画像の表情を指定された特定の感情を表す表情に変化させる変化指示を画像処理部６に出力する。
なお、図６（ａ）〜図６（ｃ）に示す顔画像の特定の感情は、一例であってこれらに限られるものではなく、適宜任意に変更可能である。
【００３９】
中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００４０】
次に、撮像装置１００による特徴情報生成処理について、図２〜図４を参照して説明する。
図２は、特徴情報生成処理に係る動作の一例を示すフローチャートである。
【００４１】
特徴情報生成処理は、似顔絵画像の画像データが生成される度に、中央制御部１０の制御下にて当該撮像装置１００の各部、特に画像処理部６により実行される処理である。
また、特徴情報生成処理の処理対象となる似顔絵画像の画像データは、予め画像記録部５ａに記録されているものとする。
【００４２】
図２に示すように、先ず、画像取得部６ａは、画像記録部５ａに記録されている各似顔絵画像の画像データを特徴情報生成処理の処理対象として画像記録部５ａから読み出して取得する（ステップＳ１）。
次に、顔検出部６ｂは、画像取得部６ａにより取得された似顔絵画像の画像データに対して所定の顔検出処理を行って顔領域を検出する（ステップＳ２）。続けて、顔構成部抽出部６ｃは、似顔絵画像の顔領域が含まれる顔領域画像から、例えば、目、鼻、口、眉、髪の毛等の顔構成部を抽出し、これら顔構成部の各々を線で表したパーツ画像を生成する（ステップＳ３）。
【００４３】
特徴情報取得部６ｅは、顔構成部抽出部６ｃにより生成された複数の顔構成部の中で、何れか一の顔構成部（例えば、左目等）を処理対象として指定した後（ステップＳ４）、基準顔構成部テーブルＴ１に規定されている当該顔構成部に対応する基準顔構成部の基準形状データｄ０を取得する（ステップＳ５）。続けて、特徴情報取得部６ｅは、処理対象の顔構成部のパーツ画像の形状データ（パーツ形状データｄ１）と基準形状データｄ０とを所定位置（例えば、目尻の一点等）を基準として位置合わせした後、パーツ形状データｄ１及び基準形状データｄ０の間で対応する代表点どうしの位置のずれ量を算出する（ステップＳ６）。具体的には、特徴情報取得部６ｅは、例えば、左目のパーツ形状データｄ１及び基準形状データｄ０の各々について、左目の外輪郭部を構成する複数の代表点の位置座標をそれぞれ特定し、対応する代表点どうしの位置のずれ量（差の大きさと方向）を算出する（図３（ａ）及び図３（ｂ）参照）。
次に、特徴情報取得部６ｅは、算出された代表点どうしの位置のずれ量に基づいて、各顔構成部毎に所定の特徴について数値化して特徴情報Ｐを生成する（ステップＳ７；図４参照）。生成された特徴情報Ｐは、顔構成部の識別情報と対応付けて所定の格納手段（例えば、メモリ４等）に一時的に記憶される。
【００４４】
続けて、特徴情報取得部６ｅは、顔構成部抽出部６ｃにより生成された全ての顔構成部について特徴情報Ｐを生成したか否かを判定する（ステップＳ８）。
ここで、全ての顔構成部について特徴情報Ｐを生成していないと判定されると（ステップＳ８；ＮＯ）、特徴情報取得部６ｅは、顔構成部抽出部６ｃにより生成された複数の顔構成部の中で未処理の顔構成部（例えば、右目等）を次の処理対象として新たに指定する（ステップＳ９）。その後、特徴情報取得部６ｅは、処理をステップＳ５に戻し、新たに指定された顔構成部について、上記と同様にしてステップＳ５〜Ｓ７の各処理を実行する。
これにより、新たに指定された顔構成部について特徴情報Ｐが生成されて所定の格納手段（例えば、メモリ４等）に一時的に記憶された状態となる。
上記の各処理は、ステップＳ８にて、全ての顔構成部について処理したと判定（ステップＳ８；ＹＥＳ）されるまで繰り返し実行される。
【００４５】
次に、撮像装置１００による画像変形処理について、図５及び図６を参照して説明する。
図５は、画像変形処理に係る動作の一例を示すフローチャートである。
【００４６】
画像変形処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から似顔絵画像変形モードが選択指示された場合に、中央制御部１０の制御下にて当該撮像装置１００の各部、特に画像処理部６により実行される処理である。
また、画像変形処理の処理対象となる似顔絵画像の画像データは、予め画像記録部５ａに記録されているものとする。
【００４７】
図５に示すように、先ず、画像取得部６ａは、画像記録部５ａに記録されている複数の似顔絵画像の画像データの中で、ユーザによる操作入力部９の所定操作に基づいて画像変形処理の処理対象として指定された画像データを画像記録部５ａから読み出して取得する（ステップＳ１１）。
次に、顔検出部６ｂは、画像取得部６ａにより取得された似顔絵画像の画像データに対して所定の顔検出処理を行って顔領域を検出する（ステップＳ１２）。続けて、顔構成部抽出部６ｃは、似顔絵画像の顔領域が含まれる顔領域画像から、例えば、目、鼻、口、眉、髪の毛等の顔構成部を抽出し、これら顔構成部の各々を線で表したパーツ画像を複数生成する（ステップＳ１３）。
【００４８】
続けて、表示制御部７は、似顔絵画像の表情の変化に係る複数の感情の選択画面を表示部８に表示させ、これらの感情の中でユーザによる操作入力部９の所定操作に基づいて何れか一の特定の感情（例えば、怒り等）が指定されると、中央制御部１０のＣＰＵは、顔画像の表情を指定された特定の感情を表す表情に変化させる変化指示を画像処理部６に出力する（ステップＳ１４）。
次に、変形制御部６ｆは、変形度合いテーブルＴ２から、ユーザによる操作入力部９の所定操作に基づいて指定された特定の感情と対応付けて記録されている所定数の顔構成部の変形度合いを取得する（ステップＳ１５）。
【００４９】
そして、変形制御部６ｆは、変形度合いテーブルＴ２から変形度合いが取得された所定数の顔構成部の中で、何れか一の顔構成部（例えば、左目等）を処理対象として指定する（ステップＳ１６）。その後、特徴情報取得部６ｅは、処理対象として指定された顔構成部の特徴情報Ｐを所定の格納手段から取得する（ステップＳ１７）。
【００５０】
次に、変形制御部６ｆの判定部ｆ１は、特徴情報取得部６ｅにより取得された顔構成部の特徴情報Ｐに基づいて、正規化後のパラメータが所定の値以上の特徴であるか否かを判定する（ステップＳ１８）。即ち、判定部ｆ１は、正規化後のパラメータから、処理対象として指定された顔構成部が特に個性的な特徴であるか否かを判定する。
ここで、パラメータが所定の値以上の特徴であると判定されると（ステップＳ１８；ＹＥＳ）、判定部ｆ１は、処理対象の顔構成部の変形度合い（代表点毎の変位方向）と、特徴情報取得部６ｅにより取得された当該顔構成部の特徴情報Ｐ（基準形状データｄ０に対して各代表点の存する方向）とに基づいて、顔構成部の変形の方向が特徴の方向と一致するか否かを判定する（ステップＳ１９）。具体的には、判定部ｆ１は、顔構成部の変形の方向が当該顔構成部の特徴を低減させるような反対方向であるか否か（或いは、顔構成部の変形の方向が当該顔構成部の特徴を強調させるような同方向であるか否か）を判定する。
なお、ステップＳ１８にて、パラメータが所定の値以上の特徴でないと判定されると（ステップＳ１８；ＮＯ）、画像処理部６は、ステップＳ１９〜Ｓ２１の各処理をスキップして、処理をステップＳ２２に移行させる。
【００５１】
ステップＳ１９にて、顔構成部の変形の方向が特徴の方向と一致する（即ち、顔構成部の変形の方向が当該顔構成部の特徴を強調させるような同方向である）と判定されると（ステップＳ１９；ＹＥＳ）、変形制御部６ｆは、画像変形処理における当該顔構成部の変形度合いを相対的に大きくするように調整して（ステップＳ２０）、画像処理部６は処理をステップＳ２２に移行させる。
一方、ステップＳ１９にて、顔構成部の変形の方向が特徴の方向と一致しない（即ち、顔構成部の変形の方向が当該顔構成部の特徴を低減させるような反対方向である）と判定されると（ステップＳ１９；ＮＯ）、変形制御部６ｆは、画像変形処理における当該顔構成部の変形度合いを相対的に小さくするように調整して（ステップＳ２１）、画像処理部６は処理をステップＳ２２に移行させる。
【００５２】
その後、画像変形部６ｄは、顔構成部のパーツ画像に対して画像変形処理を施す（ステップＳ２２）。
即ち、ステップＳ２０にて、変形制御部６ｆにより顔構成部の変形度合いを相対的に大きくするように調整されるか、或いは、ステップＳ２１にて、変形制御部６ｆにより顔構成部の変形度合いを相対的に小さくするように調整されると、画像変形部６ｄは、変形制御部６ｆによる調整後の変形度合いに従って顔構成部のパーツ画像を変形させる。
また、ステップＳ１８にて、パラメータが所定の値以上の特徴でない（ステップＳ１８；ＮＯ）と判定された場合には、画像変形部６ｄは、変形度合いテーブルＴ２に規定されている変形度合いに従って当該顔構成部のパーツ画像を変形させる。
そして、画像変形部６ｄは、変形後の顔構成部のパーツ画像を似顔絵画像内で対応する顔構成部の存する位置に合成する。
【００５３】
次に、変形制御部６ｆは、変形度合いテーブルＴ２から変形度合いが取得された全ての顔構成部についてパーツ画像を変形させたか否かを判定する（ステップＳ２３）。
ここで、全ての顔構成部についてパーツ画像を変形していないと判定されると（ステップＳ２３；ＮＯ）、変形制御部６ｆは、変形度合いが取得された所定数の顔構成部の中で、未処理の顔構成部（例えば、右目等）を次の処理対象として新たに指定する（ステップＳ２４）。その後、画像処理部６は、処理をステップＳ１７に戻し、新たに指定された顔構成部について、上記と同様にしてステップＳ１７〜Ｓ２２の各処理を実行する。
これにより、新たに指定された顔構成部についてパーツ画像が変形された状態となる。
【００５４】
上記の各処理は、ステップＳ２３にて、全ての顔構成部についてパーツ画像を変形したと判定（ステップＳ２３；ＹＥＳ）されるまで繰り返し実行される。つまり、全ての顔構成部についてパーツ画像が変形されることで、似顔絵画像の表情がユーザによる操作入力部９の所定操作に基づいて指定された特定の感情（例えば、怒り等）を表す表情となる。
【００５５】
ステップＳ２３にて、全ての顔構成部についてパーツ画像を変形したと判定されると（ステップＳ２３；ＹＥＳ）、画像記録部５ａは、特定の感情を表す表情に変化した似顔絵画像の変形後の画像データを取得して記録する（ステップＳ２５）。
これにより、画像変形処理を終了する。
【００５６】
以上のように、本実施形態の撮像装置１００によれば、顔画像（例えば、似顔絵画像等）の表情を特定の感情を表す表情に変化させるための変化指示に従って、顔画像内の所定の顔構成部（例えば、顔画像内の主要な顔構成部等）に対して変形処理を施す際に、顔構成部の特徴情報Ｐに基づいて当該顔構成部の変形処理の内容を制御するので、顔画像の表情を特定の感情を表す表情に変化させる際に顔構成部の特徴情報Ｐを考慮して当該顔構成部の変形処理を行うことができ、当該顔画像の個性的な特徴が消されてしまうことを抑制することができる。
具体的には、例えば、目が細い特徴を持つ似顔絵画像を「怒り」の感情を表す表情に変化させるために目を大きく見開かせると、目が細いという個性的な特徴を低減させてしまう。この場合、感情の変化を表現できたとしても、似顔絵画像の視認者の満足度を低減させる虞がある。そこで、例えば、顔画像内の主要な顔構成部に対する変形処理が当該顔構成部の特徴を低減させるような内容を含む場合には、変形処理における当該顔構成部の変形度合いを相対的に小さくするように制御し、また、主要な顔構成部に対する変形処理が当該顔構成部の特徴を強調させるような内容を含む場合には、変形処理における当該顔構成部の変形度合いを相対的に大きくするように制御するので、顔画像の表情が特定の感情を表す表情に変化するように顔構成部を変形させつつも、当該顔画像の個性的な特徴が消されてしまうことを適正に抑制することができる。
従って、顔画像の個性的な特徴を生かして感情による表情の変化を適正に表現することができる。これにより、変形後の顔画像の視認者の満足度の向上を図ることができる。
【００５７】
また、基準顔を構成する基準顔構成部と顔構成部との差分に基づいて、当該顔構成部の特徴情報Ｐを取得するので、顔構成部の個性的な特徴の取得を適正に行うことができ、当該顔画像の個性的な特徴が消されてしまうことを抑制することができる。
【００５８】
また、変化指示に係る顔画像の特定の感情と対応付けて記録されている少なくとも一の顔構成部の変形処理における変形度合いを特定して、特定された変形度合いの相対的な大きさの調整を顔構成部の特徴情報Ｐに基づいて行うことができる。
【００５９】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、顔構成部の変形処理にて、変形度合いテーブルＴ２に記録されている顔構成部の変形処理における変形度合いの相対的な大きさを調整するようにしたが、顔構成部の変形処理の内容の制御の一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００６０】
さらに、上記実施形態にあっては、似顔絵画像を記録する画像記録部５ａを備える構成について説明したが、一例であってこれに限られるものではなく、例えば、顔を模式的に表した似顔絵画像を生成する似顔絵画像生成部を具備するようにしても良い。即ち、似顔絵画像生成部により生成された似顔絵画像を画像変形処理の処理対象画像として取得するようにしても良い。
また、画像変形処理の処理対象画像として、似顔絵画像を例示したが、一例であってこれに限られるものではなく、例えば、似顔絵に加工する処理前の画像、即ち、撮像部１により撮像された画像であっても良い。加えて、似顔絵に加工する処理前の画像から似顔絵画像を生成する際に、顔構成部の特徴情報に基づいて当該顔構成部の画像変形処理の内容を制御して特定の感情を表すように表情を変化させた似顔絵画像を生成するようにしても良い。
【００６１】
さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像処理装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る画像処理を実行可能なものであれば如何なる構成であっても良い。
【００６２】
加えて、上記実施形態にあっては、第１取得手段、変形手段、第２取得手段、変形制御手段としての機能を、中央制御部１０のＣＰＵの制御下にて、画像取得部６ａ、画像変形部６ｄ、特徴情報取得部６ｅ、変形制御部６ｆが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、第１取得処理ルーチン、変形処理ルーチン、第２取得処理ルーチン、変形制御処理ルーチンを含むプログラムを記憶しておく。そして、第１取得処理ルーチンにより中央制御部１０のＣＰＵを、顔画像を取得する手段として機能させるようにしても良い。また、変形処理ルーチンにより中央制御部１０のＣＰＵを、取得された顔画像の表情を特定の感情を表す表情に変化させるための変化指示に従って、顔画像内の所定の顔構成部に対して変形処理を施す手段として機能させるようにしても良い。また、第２取得処理ルーチンにより中央制御部１０のＣＰＵを、顔構成部の特徴情報Ｐを取得する手段として機能させるようにしても良い。また、変形制御処理ルーチンにより中央制御部１０のＣＰＵを、取得された顔構成部の特徴情報Ｐに基づいて当該顔構成部の変形処理の内容を制御する手段として機能させるようにしても良い。
【００６３】
同様に、第１判定手段、第２判定手段、抽出手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００６４】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００６５】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
顔画像を取得する第１取得手段と、
前記第１取得手段により取得された顔画像の表情を特定の感情を表す表情に変化させるための変化指示に従って、前記顔画像内の所定の顔構成部に対して変形処理を施す変形手段と、
前記顔構成部の特徴情報を取得する第２取得手段と、
前記第２取得手段により取得された前記顔構成部の特徴情報に基づいて前記変形手段による当該顔構成部の変形処理の内容を制御する変形制御手段と、
を備えたことを特徴とする画像処理装置。
＜請求項２＞
前記変形制御手段は、更に、
前記顔構成部の特徴情報に基づいて、前記変形手段による前記顔構成部に対する前記変形処理が当該顔構成部の特徴を低減させるような内容を含むか否かを判定する第１判定手段を有し、
前記第１判定手段により前記顔構成部の特徴を低減させるような内容を含むと判定されると、前記変形処理における当該顔構成部の変形度合いを相対的に小さくするように制御することを特徴とする請求項１に記載の画像処理装置。
＜請求項３＞
前記変形制御手段は、更に、
前記顔構成部の特徴情報に基づいて、前記変形手段による前記顔構成部に対する前記変形処理が当該顔構成部の特徴を強調させるような内容を含むか否かを判定する第２判定手段を有し、
前記第２判定手段により前記顔構成部の特徴を強調させるような内容を含むと判定されると、前記変形処理における当該顔構成部の変形度合いを相対的に大きくするように制御することを特徴とする請求項１又は２に記載の画像処理装置。
＜請求項４＞
前記第２取得手段は、更に、
基準顔を構成する基準顔構成部と前記顔構成部との差分に基づいて、当該顔構成部の特徴情報を取得することを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
＜請求項５＞
前記顔画像の互いに異なる感情の各々と少なくとも一の前記顔構成部の前記変形処理における変形度合いとを対応付けて記録する記録手段を更に備え、
前記変形制御手段は、
前記記録手段に前記変化指示に係る前記顔画像の特定の感情と対応付けて記録されている少なくとも一の前記顔構成部の前記変形処理における変形度合いを特定し、特定された変形度合いの相対的な大きさを制御することを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
＜請求項６＞
前記顔画像内の主要な顔構成部を抽出する抽出手段を更に備え、
前記変形手段は、
前記抽出手段により抽出された顔構成部に対して前記変形処理を施すことを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
＜請求項７＞
前記顔画像は、顔を模式的に表した似顔絵画像を含むことを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
＜請求項８＞
画像処理装置を用いた画像処理方法であって、
顔画像を取得するステップと、
取得された顔画像の表情を特定の感情を表す表情に変化させるための変化指示に従って、前記顔画像内の所定の顔構成部に対して変形処理を施すステップと、
前記顔構成部の特徴情報を取得するステップと、
取得された前記顔構成部の特徴情報に基づいて当該顔構成部の変形処理の内容を制御するステップと、
を含むことを特徴とする画像処理方法。
＜請求項９＞
画像処理装置のコンピュータを、
顔画像を取得する第１取得手段、
前記第１取得手段により取得された顔画像の表情を特定の感情を表す表情に変化させるための変化指示に従って、前記顔画像内の所定の顔構成部に対して変形処理を施す変形手段、
前記顔構成部の特徴情報を取得する第２取得手段、
前記第２取得手段により取得された前記顔構成部の特徴情報に基づいて前記変形手段による当該顔構成部の変形処理の内容を制御する変形制御手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００６６】
１００  撮像装置
１      撮像部
５      記録部
５ａ    画像記録部
Ｔ２    変形度合いテーブル
６      画像処理部
６ａ    画像取得部
６ｃ    顔構成部抽出部
６ｄ    画像変形部
６ｅ    特徴情報取得部
６ｆ    変形制御部
ｆ１    判定部
９      操作入力部
１０    中央制御部
【図１】
2014174855.tif 000003
【図２】
2014174855.tif 000004
【図３】
2014174855.tif 000005
【図４】
2014174855.tif 000006
【図５】
2014174855.tif 000007
【図６】
2014174855.tif 000008