(57)【要約】【課題】顔の主要な構成部の形状を考慮して、より適正な似顔絵画像を生成する。【解決手段】撮像装置１００であって、画像取得部６ａにより取得された元画像内の顔の主要な構成部について、所定領域毎に特徴情報を抽出する特徴情報抽出部６ｆと、画像記録部５に所定領域毎の特徴情報と関連付けて記録されている顔の構成部を表した顔構成部画像から、特徴情報抽出部により抽出された所定領域毎の特徴情報に対応する顔構成部画像を特定する輪郭特定部６ｇと、輪郭特定部により特定された顔構成部画像を用いて、顔の似顔絵画像を生成する似顔絵画像生成部６ｈと、を備えている。【選択図】図１
2014048767.tif 000002
【特許請求の範囲】
【請求項１】
元画像を取得する第１取得手段と、
前記第１取得手段により取得された元画像内の顔の主要な構成部について、所定領域毎に特徴情報を抽出する抽出手段と、
記録手段に前記所定領域毎の特徴情報と関連付けて記録されている顔の構成部を表した顔構成部画像から、前記抽出手段により抽出された前記所定領域毎の特徴情報に対応する顔構成部画像を特定する特定手段と、
前記特定手段により特定された顔構成部画像を用いて、前記顔の似顔絵画像を生成する第１生成手段と、
を備えたことを特徴とする画像生成装置。
【請求項２】
前記顔の主要な構成部は、顔の輪郭を含み、
前記第１取得手段により取得された元画像内の顔の輪郭に係る二値画像を生成する第２生成手段と、
前記第２生成手段により生成された前記二値画像に基づいて、当該顔の輪郭の各画素の座標を取得する第２取得手段とを更に備え、
前記抽出手段は、前記第２取得手段により取得された前記各画素の座標に基づいて、当該各画素毎に所定の角度範囲に対応する方向コードを前記特徴情報として抽出することを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記抽出手段は、更に、前記顔の輪郭の各画素のうち、左右のこめかみどうしを結ぶ画素以外の画素に対応する方向コードを前記特徴情報として抽出することを特徴とする請求項２に記載の画像生成装置。
【請求項４】
前記抽出手段は、更に、前記特徴情報として抽出された前記方向コードを正規化し、
前記特定手段は、更に、前記抽出手段により正規化された前記方向コードを用いて、前記顔構成部画像を特定することを特徴とする請求項３に記載の画像生成装置。
【請求項５】
画像生成装置を用いた画像生成方法であって、
元画像を取得する処理と、
取得された元画像内の顔の主要な構成部について、所定領域毎に特徴情報を抽出する処理と、
記録手段に前記所定領域毎の特徴情報と関連付けて記録されている顔の構成部を表した顔構成部画像から、抽出された前記所定領域毎の特徴情報に対応する顔構成部画像を特定する処理と、
特定された顔構成部画像を用いて、前記顔の似顔絵画像を生成する処理と、
を含むことを特徴とする画像生成方法。
【請求項６】
画像生成装置のコンピュータを、
元画像を取得する第１取得手段、
前記第１取得手段により取得された元画像内の顔の主要な構成部について、所定領域毎に特徴情報を抽出する抽出手段、
記録手段に前記所定領域毎の特徴情報と関連付けて記録されている顔の構成部を表した顔構成部画像から、前記抽出手段により抽出された前記所定領域毎の特徴情報に対応する顔構成部画像を特定する特定手段、
前記特定手段により特定された顔構成部画像を用いて、前記顔の似顔絵画像を生成する第１生成手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像生成方法及びプログラムに関する。
【背景技術】
【０００２】
従来、目、鼻、口、耳、顔輪郭等の顔部品の特徴点を用いて似顔絵を作成する似顔絵作成装置が知られている（例えば、特許文献１参照）。
また、各部位ごとに予め用意されているパーツオブジェクトを組み合わせてキャラクタを作成するゲーム装置が知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１４５６２５号公報
【特許文献２】特開２００８−６１８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、似顔絵の生成に用いられる、顔輪郭等の主要な構成部に対応する構成部画像を特定する場合、予め多数の構成部画像を用意しておいても、構成部の形状によっては最も似ている構成部画像を精度良く特定することができない虞がある。この結果、適正な似顔絵画像を生成できないといった問題があった。
【０００５】
そこで、本発明の課題は、顔の主要な構成部の形状を考慮して、より適正な似顔絵画像を生成することができる画像生成装置、画像生成方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る画像生成装置は、
元画像を取得する第１取得手段と、前記第１取得手段により取得された元画像内の顔の主要な構成部について、所定領域毎に特徴情報を抽出する抽出手段と、記録手段に前記所定領域毎の特徴情報と関連付けて記録されている顔の構成部を表した顔構成部画像から、前記抽出手段により抽出された前記所定領域毎の特徴情報に対応する顔構成部画像を特定する特定手段と、前記特定手段により特定された顔構成部画像を用いて、前記顔の似顔絵画像を生成する第１生成手段と、を備えたことを特徴としている。
【０００７】
また、本発明に係る画像生成方法は、
画像生成装置を用いた画像生成方法であって、元画像を取得する処理と、取得された元画像内の顔の主要な構成部について、所定領域毎に特徴情報を抽出する処理と、記録手段に前記所定領域毎の特徴情報と関連付けて記録されている顔の構成部を表した顔構成部画像から、抽出された前記所定領域毎の特徴情報に対応する顔構成部画像を特定する処理と、特定された顔構成部画像を用いて、前記顔の似顔絵画像を生成する処理と、を含むことを特徴としている。
【０００８】
また、本発明に係るプログラムは、
画像生成装置のコンピュータを、元画像を取得する第１取得手段、前記第１取得手段により取得された元画像内の顔の主要な構成部について、所定領域毎に特徴情報を抽出する抽出手段、記録手段に前記所定領域毎の特徴情報と関連付けて記録されている顔の構成部を表した顔構成部画像から、前記抽出手段により抽出された前記所定領域毎の特徴情報に対応する顔構成部画像を特定する特定手段、前記特定手段により特定された顔構成部画像を用いて、前記顔の似顔絵画像を生成する第１生成手段、として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、顔の主要な構成部の形状を考慮して、より適正な似顔絵画像を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による似顔絵画像生成処理に係る顔輪郭画像の一例を模式的に示す図である。
【図３】図１の撮像装置による似顔絵画像生成処理に係る動作の一例を示すフローチャートである。
【図４】図２の似顔絵画像生成処理における特徴抽出処理に係る動作の一例を示すフローチャートである。
【図５】図２の似顔絵画像生成処理に係る画像の一例を模式的に示す図である。
【図６】図２の似顔絵画像生成処理における特徴抽出処理を説明するための図である。
【図７】図２の似顔絵画像生成処理に係る画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１２】
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
図１に示すように、本実施形態の撮像装置１００は、具体的には、撮像部１と、撮像制御部２と、画像データ生成部３と、メモリ４と、画像記録部５と、画像処理部６と、表示制御部７と、表示部８と、操作入力部９と、中央制御部１０とを備えている。
また、撮像部１、撮像制御部２、画像データ生成部３、メモリ４、画像記録部５、画像処理部６、表示制御部７及び中央制御部１０は、バスライン１１を介して接続されている。
【００１３】
撮像部１は、撮像手段として、所定の被写体を撮像してフレーム画像を生成する。
具体的には、撮像部１は、レンズ部１ａと、電子撮像部１ｂと、レンズ駆動部１ｃとを備えている。
【００１４】
レンズ部１ａは、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサ（撮像素子）から構成されている。そして、電子撮像部１ｂは、レンズ部１ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
レンズ駆動部１ｃは、例えば、図示は省略するが、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えている。
なお、撮像部１は、レンズ部１ａ、電子撮像部１ｂ及びレンズ駆動部１ｃに加えて、レンズ部１ａを通過する光の量を調整する絞り（図示略）を備えても良い。
【００１５】
撮像制御部２は、撮像部１による被写体の撮像を制御する。即ち、撮像制御部２は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部２は、タイミング発生器、ドライバにより電子撮像部１ｂを走査駆動して、レンズ部１ａを通過した光学像を電子撮像部１ｂにより所定周期毎に二次元の画像信号に変換させ、当該電子撮像部１ｂの撮像領域から１画面分ずつフレーム画像を読み出して画像データ生成部３に出力させる。
【００１６】
なお、撮像制御部２は、レンズ部１ａのフォーカスレンズに代えて、電子撮像部１ｂを光軸方向に移動させてレンズ部１ａの合焦位置を調整するようにしても良い。
また、撮像制御部２は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体を撮像する際の条件の調整制御を行っても良い。
【００１７】
画像データ生成部３は、電子撮像部１ｂから転送されたフレーム画像のアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
カラープロセス回路から出力される輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒは、図示しないＤＭＡコントローラを介して、バッファメモリとして使用されるメモリ４にＤＭＡ転送される。
【００１８】
メモリ４は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像処理部６や中央制御部１０等によって処理されるデータ等を一時的に格納する。
【００１９】
画像記録部５は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、画像処理部６の符号化部（図示略）により所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化された記録用の画像データを記録する。
【００２０】
また、画像記録部（記録手段）５は、所定数の顔輪郭画像Ｐ１（図２参照）の画像データを記録している。
顔輪郭画像Ｐ１の画像データは、例えば、ヒトの正面顔に対応する顔輪郭Ｗの形状を模式的に表した画像であり、当該顔輪郭Ｗの特徴情報と対応付けられている。
ここで、顔輪郭画像Ｐ１の画像データは、例えば、顔検出処理（後述）により検出された顔領域Ｆ１に対してＡＡＭ（Active Appearance Model）を用いた処理（詳細後述）を行って、顔の顎の輪郭よりも内側に存する顔構成部（例えば、目、鼻、口、眉等）及び髪型部分を消去した後、顔の輪郭に沿って線を描画し、顔の輪郭の内側の肌部分を所定の色で塗り潰すことにより形成される方法が挙げられる。なお、顔の輪郭に沿った線の描画は、ユーザによる操作入力部９の所定操作に基づいて手動で行われても良いし、中央制御部１０のＣＰＵの制御下にて自動で行われても良い。
また、顔輪郭Ｗの特徴情報としては、例えば、当該顔輪郭Ｗを構成する各画素の座標に基づいて特定された所定の角度範囲（例えば、４５°毎）に対応する方向コードが挙げられる（詳細後述）。
また、顔輪郭画像Ｐ１の画像データの各々は、例えば、当該顔輪郭画像Ｐ１の生成元の画像の耳の画像を含んでいるが、さらに、当該生成元の画像の髪型画像Ｐ７と対応付けられていても良い。
【００２１】
なお、画像記録部５は、例えば、記録媒体（図示略）が着脱自在に構成され、装着された記録媒体からのデータの読み出しや記録媒体に対するデータの書き込みを制御する構成であっても良い。
【００２２】
画像処理部６は、画像取得部６ａと、顔検出部６ｂと、構成部画像生成部６ｃと、二値画像生成部６ｄと、座標取得部６ｅと、特徴情報抽出部６ｆと、輪郭特定部６ｇと、似顔絵画像生成部６ｈとを具備している。
なお、画像処理部６の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００２３】
画像取得部６ａは、似顔絵画像生成処理の処理対象となる画像を取得する。
即ち、画像取得部（取得手段）６ａは、元画像（例えば、写真画像等）Ｐ２の画像データを取得する。具体的には、画像取得部６ａは、撮像部１及び撮像制御部２による被写体の撮像によって画像データ生成部３により生成された元画像Ｐ２の画像データ（ＲＧＢデータやＹＵＶデータ）の複製をメモリ４から取得したり、画像記録部５に記録されている元画像Ｐ２の画像データの複製を取得する（図５（ａ）参照）。
なお、後述する画像処理部６による各処理は、元画像Ｐ２の画像データ自体に対して行われても良いし、必要に応じて元画像Ｐ２の画像データを所定の比率で縮小した所定サイズ（例えば、ＶＧＡサイズ等）の縮小画像データに対して行われても良い。
【００２４】
顔検出部６ｂは、処理対象となる元画像Ｐ２から顔領域Ｆ１（図５（ａ）参照）を検出する。
即ち、顔検出部６ｂは、画像取得部６ａにより取得された元画像Ｐ２から顔が含まれる顔領域Ｆ１を検出する。具体的には、顔検出部６ｂは、画像取得部６ａにより似顔絵画像生成処理の処理対象の画像として取得された元画像Ｐ２の画像データを取得して、当該画像データに対して所定の顔検出処理を行って顔領域Ｆ１を検出する。そして、顔検出部６ｂは、顔領域Ｆ１を囲繞する所定の大きさの領域Ａ（図５（ａ）参照）を切り出して顔領域画像とする。
なお、顔検出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００２５】
構成部画像生成部６ｃは、顔の主要な顔構成部を表した顔構成部画像Ｐ４（図５（ｃ）参照）を生成する。
即ち、構成部画像生成部６ｃは、画像取得部６ａにより取得された元画像Ｐ２（図５（ａ）参照）内の顔の主要な顔構成部に係る顔構成部画像Ｐ４を生成する。具体的には、構成部画像生成部６ｃは、元画像Ｐ２の顔領域Ｆ１が含まれる顔領域画像に対して微細部抽出処理を施して、例えば、目、鼻、口、眉、髪の毛、顔輪郭Ｗ等の顔構成部を線で表した顔微細部画像Ｐ３（図５（ｂ）参照）を生成する。例えば、構成部画像生成部６ｃは、微細部抽出処理として、ＡＡＭを用いた処理により顔微細部画像Ｐ３を生成する。また、構成部画像生成部６ｃは、顔検出部６ｂにより元画像Ｐ２の画像データから検出された顔領域Ｆ１に対して微細部抽出処理を施す。
ここで、ＡＡＭとは、視覚的事象のモデル化の一手法であり、任意の顔領域Ｆ１の画像のモデル化を行う処理である。例えば、構成部画像生成部６ｃは、複数のサンプル顔画像における所定の特徴部位（例えば、目じりや鼻頭やフェイスライン等）の位置や画素値（例えば、輝度値）の統計的分析結果を所定の登録手段に登録しておく。そして、構成部画像生成部６ｃは、上記の特徴部位の位置を基準として、顔の形状を表す形状モデルや平均的な形状における「Appearance」を表すテクスチャーモデルを設定し、これらのモデルを用いて顔領域Ｆ１の画像（顔領域画像）をモデル化する。これにより、構成部画像生成部６ｃは、元画像Ｐ２内の主要な構成を抽出して線で表した顔微細部画像Ｐ３を生成する。
【００２６】
また、構成部画像生成部６ｃは、微細部抽出処理により顔領域Ｆ１内の顔輪郭Ｗを特定して、顔輪郭Ｗ内に存する顔構成部及び当該顔輪郭Ｗと接する顔構成部を線で表した顔構成部画像Ｐ４（図５（ｃ）参照）を生成する。
具体的には、構成部画像生成部６ｃは、顔微細部画像Ｐ３内で顔輪郭Ｗと接する画素を特定し、当該画素と連続する画素のうち、顔輪郭Ｗよりも外側に存する画素を消去する。つまり、構成部画像生成部６ｃは、顔微細部画像Ｐ３のうち、顔輪郭Ｗよりも外側に存する部分を消去するとともに、顔輪郭Ｗよりも内側に存し、且つ、当該顔輪郭Ｗと接する部分を残して、例えば、目、鼻、口、眉等の顔輪郭Ｗ以外の主要な顔構成部のパーツ画像を含む顔構成部画像Ｐ４を生成する。
ここで、構成部画像生成部６ｃは、各顔構成部のパーツ画像のＸＹ平面空間での相対的な位置関係に係る情報や、座標位置に係る情報を抽出して取得しても良い。
【００２７】
なお、微細部抽出処理として、ＡＡＭを用いた処理を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
例えば、微細部抽出処理として、エッジ抽出処理や非等方拡散処理を行って、顔構成部のパーツ画像を含む顔構成部画像Ｐ４を生成しても良い。具体的には、構成部画像生成部６ｃは、例えば、元画像Ｐ２の画像データに対して所定の微分フィルタ（例えば、ハイパスフィルタ等）を用いて微分演算を行って、輝度値や色や濃度に急峻な変化があるところをエッジとして検出するエッジ検出処理を行っても良い。また、構成部画像生成部６ｃは、例えば、元画像Ｐ２の画像データに対して所定の非等方拡散フィルタを用いて、線状のエッジの接線方向とエッジの垂直方向とで重みを異ならせて平滑化する非等方拡散処理を行っても良い。
【００２８】
二値画像生成部６ｄは、顔輪郭Ｗに係る二値画像Ｐ５を生成する。
即ち、二値画像生成部（第２生成手段）６ｄは、画像取得部６ａにより取得された元画像Ｐ２内の顔輪郭Ｗに係る二値画像Ｐ５（図６（ａ）参照）を生成する。具体的には、二値画像生成部６ｄは、構成部画像生成部６ｃにより生成された顔微細部画像Ｐ３の複製を取得して、当該顔微細部画像Ｐ３の顔輪郭Ｗよりも外側に存する画素を消去した後、ｘ軸方向（水平方向）及びｙ軸方向（垂直方向）の最小値及び最大値を算出する。ここでの最小値及び最大値によって、顔輪郭Ｗを囲繞する領域が規定される。
そして、二値画像生成部６ｄは、当該顔微細部画像Ｐ３が所定の大きさ（例えば、ｘ軸方向及びｙ軸方向の画素数が２５６画素等）となるように正規化する。続けて、二値画像生成部６ｄは、顔輪郭Ｗの左右のこめかみに対応する部分どうしを結んだ後、当該顔輪郭Ｗよりも内側の画素を一の色に対応する画素値（例えば、白色；ＲＧＢの各画素値が「２５５」）とし、外側の画素を他の色に対応する画素値（例えば、黒色；ＲＧＢの各画素値が「０」）とする二値画像（輝度画像）Ｐ５の画像データを生成する。生成された二値画像Ｐ５の画像データは、白黒の画素値が反転された後、所定の格納手段（例えば、メモリ等）に一時的に格納される。
なお、二値画像Ｐ５の生成手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００２９】
座標取得部６ｅは、顔輪郭Ｗの各画素の座標を取得する。
即ち、座標取得部（第２取得手段）６ｅは、二値画像生成部６ｄにより生成された二値画像Ｐ５に基づいて、当該顔輪郭Ｗの各画素の座標を取得する。具体的には、座標取得部６ｅは、二値画像生成部６ｄにより生成され白黒反転された二値画像Ｐ５の画像データを所定の格納手段から取得して、顔輪郭Ｗを構成する白画素と黒画素との境界部分の所定位置を始点（例えば、図６（ａ）における向かって右側のこめかみに対応する部分等）として、隣接する各画素を当該始点に戻るまで追跡して全ての画素の座標を取得する。取得された顔輪郭Ｗの各画素の座標は、所定の格納手段（例えば、メモリ等）に一時的に格納される。
なお、各画素の座標の取得手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００３０】
特徴情報抽出部６ｆは、元画像Ｐ２の顔の輪郭から特徴情報を抽出する。
即ち、特徴情報抽出部（抽出手段）６ｆは、画像取得部６ａにより取得された元画像Ｐ２内Ｐ２の顔の主要な構成部（例えば、顔輪郭Ｗ等）について、所定領域毎に特徴情報を抽出する（図６（ｃ）参照）。具体的には、特徴情報抽出部６ｆは、座標取得部６ｅにより取得された顔輪郭Ｗの各画素の座標を所定の格納手段から取得し、当該各画素の座標に基づいて、各画素毎に所定の角度範囲に対応する方向コードを特徴情報として抽出する。このとき、特徴情報抽出部６ｆは、顔輪郭Ｗの各画素のうち、左右のこめかみどうしを結ぶ画素以外の画素に対応する方向コードを特徴情報として抽出しても良い。
例えば、特徴情報抽出部６ｆは、顔輪郭Ｗの各画素の座標の移動の推移を４５°毎の８方向コード（図６（ｂ）参照）に変換する。このとき、左右のこめかみに対応する部分どうしを結ぶ直線部分の各画素については、顔輪郭Ｗとは関係ないため、特徴情報抽出部６ｆは、当該画素の方向コードを算出しないか、或いは、方向コードを算出後に削除する。例えば、特徴情報抽出部６ｆは、左右のこめかみに対応する部分どうしを結ぶ直線部分の各画素に対応する、「１」〜「３」で表される方向コードを削除する。その後、特徴情報抽出部６ｆは、特徴情報として抽出された方向コード（例えば、「０」、「４」〜「７」で表される方向コード）を、例えば、ニアレストネイバーを利用した間引き処理によって所定数（例えば、６４点等）に正規化して、特徴量（特徴情報）として抽出する。
ここで、特徴情報抽出部６ｆは、例えば、６４点に正規化された方向コードのうち、始点及び終点の画素に対応する方向コードについては、比較照合の際の画素のずれを考慮して一画素ずらすことで二重化して全体が６６点の方向コードとしても良い。
正規化後の方向コードは、所定の格納手段（例えば、メモリ等）に一時的に格納される。
【００３１】
なお、方向コードを算出する特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。また、方向コードの算出手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００３２】
輪郭特定部６ｇは、元画像Ｐ２内の顔輪郭Ｗに対応する顔輪郭画像Ｐ１を特定する。
即ち、輪郭特定部（特定手段）６ｇは、画像記録部５に所定領域毎の特徴情報（例えば、方向コード等）と関連付けて記録されている顔輪郭Ｗを表した顔輪郭画像Ｐ１（顔構成部画像）から、特徴情報抽出部６ｆにより抽出された所定領域毎の特徴情報に対応する顔輪郭画像Ｐ１（顔構成部画像）を特定する。具体的には、輪郭特定部６ｇは、特徴情報抽出部６ｆにより正規化された顔輪郭Ｗの各画素に対応する方向コードを用いて、画像記録部５内で顔輪郭画像Ｐ１を特定する。
例えば、輪郭特定部６ｇは、画像記録部５に記録されている複数の顔輪郭画像Ｐ１、…の各々に対応する方向コードと、特徴情報抽出部６ｆにより抽出された方向コードとを比較し、ずれ量を算出する。方向コードどうしのずれ量としては、例えば、全ての画素について、対応する画素どうしの距離の二乗を加算した総和が挙げられる。そして、輪郭特定部６ｇは、画像記録部５に記録されている各顔輪郭画像Ｐ１に対応するずれ量を基準として、当該ずれ量の小さい方から順に所定の順位（例えば、７位等）までの顔輪郭画像Ｐ１を特定する。
ここで、輪郭特定部６ｇは、一致度の最も高い一の顔輪郭画像Ｐ１（図７（ａ）参照）を自動的に特定しても良いし、所定の順位までの顔輪郭画像Ｐ１の中で、ユーザによる操作入力部９の所定操作に基づいてユーザ所望の顔輪郭画像Ｐ１を特定するようにしても良い。
【００３３】
似顔絵画像生成部６ｈは、顔輪郭画像Ｐ１に基づいて似顔絵画像Ｐ６を生成する。
即ち、似顔絵画像生成部（第１生成手段）６ｈは、輪郭特定部６ｇにより特定された顔輪郭画像Ｐ１の画像データを用いて似顔絵画像Ｐ６を生成する。具体的には、似顔絵画像生成部６ｈは、顔輪郭画像Ｐ１の顔輪郭Ｗよりも内側にて、例えば、目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させる。さらに、似顔絵画像生成部６ｈは、所定の髪型画像Ｐ７を取得して、顔輪郭Ｗの外側における当該髪型画像Ｐ７を重畳させる位置を特定した後、特定された位置に当該髪型画像Ｐ７を配置して元画像Ｐ２を似顔絵で表した似顔絵画像Ｐ６の画像データを生成する（図７（ｂ）参照）。
なお、髪型画像Ｐ７は、ユーザによる操作入力部９の所定操作に基づいて指定された髪型画像Ｐ７が取得されても良いし、或いは、顔輪郭画像Ｐ１と対応付けられた髪型画像Ｐ７が自動的に取得されても良い。また、髪型画像Ｐ７の画像データは、顔輪郭画像Ｐ１の大きさに合わせて当該髪型画像Ｐ７の大きさが予め調整されているものが好ましい。
また、似顔絵画像生成部６ｈは、似顔絵画像Ｐ６の所定の部分（例えば、目、口、眉等の顔構成部等）に所定の色を付けて表した画像を生成しても良い。
【００３４】
表示制御部７は、メモリ４に一時的に格納されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部７は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１０の制御下にてメモリ４から読み出されてＶＲＡＭ（図示略）に格納されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
【００３５】
表示部８は、例えば、液晶表示パネルであり、表示制御部７からのビデオ信号に基づいて撮像部１により撮像された画像などを表示画面に表示する。具体的には、表示部８は、静止画撮像モードや動画撮像モードにて、撮像部１及び撮像制御部２による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部８は、静止画として記録される画像（レックビュー画像）を表示したり、動画として記録中の画像を表示する。
【００３６】
操作入力部９は、当該撮像装置１００の所定操作を行うためのものである。具体的には、操作入力部９は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等（何れも図示略）の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部１０に出力する。
【００３７】
中央制御部１０は、撮像装置１００の各部を制御するものである。具体的には、中央制御部１０は、図示は省略するが、ＣＰＵ（Central Processing Unit）等を備え、撮像装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００３８】
次に、撮像装置１００による似顔絵画像生成処理について、図３〜図７を参照して説明する。
図３は、似顔絵画像生成処理に係る動作の一例を示すフローチャートである。
【００３９】
似顔絵画像生成処理は、ユーザによる操作入力部９の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から似顔絵画像生成モードが選択指示された場合に、中央制御部１０の制御下にて当該撮像装置１００の各部、特に画像処理部６により実行される処理である。
また、似顔絵画像生成処理の処理対象となる元画像Ｐ２の画像データ及び似顔絵画像Ｐ６の生成に用いられる顔輪郭画像Ｐ１の画像データは、予め画像記録部５に記録されているものとする。
【００４０】
図３に示すように、先ず、画像記録部５は、記録されている画像データの中で、ユーザによる操作入力部９の所定操作に基づいて指定された元画像Ｐ２（図５（ａ）参照）の画像データを読み出し、画像処理部６の画像取得部６ａは、読み出された画像データを当該似顔絵画像生成処理の処理対象として取得する（ステップＳ１）。
【００４１】
次に、顔検出部６ｂは、処理対象として画像取得部６ａにより取得された元画像Ｐ２の画像データに対して所定の顔検出処理を行って顔領域Ｆ１を検出する（ステップＳ２）。
続けて、構成部画像生成部６ｃは、検出された顔領域Ｆ１を含む顔領域画像に対して微細部抽出処理（例えば、ＡＡＭを用いた処理等）を行って、例えば、目、鼻、口、眉、髪の毛、顔輪郭Ｗ等の顔構成部を線で表した顔微細部画像Ｐ３（図５（ｂ）参照）を生成する（ステップＳ３）。そして、構成部画像生成部６ｃは、微細部抽出処理により顔領域Ｆ１内の顔輪郭Ｗを特定して、顔の輪郭内に存する顔構成部及び当該輪郭と接する顔構成部、即ち、例えば、目、鼻、口、眉等の顔輪郭Ｗ以外の主要な顔構成部の主要な顔構成部のパーツ画像を含む顔構成部画像Ｐ４を生成する（ステップＳ４；図５（ｃ）参照）。
【００４２】
次に、画像処理部６は、特徴抽出処理（図４参照）を実行する（ステップＳ５）。
以下に、特徴抽出処理について図４を参照して詳細に説明する。図４は、特徴抽出処理に係る動作の一例を示すフローチャートである。
【００４３】
図４に示すように、二値画像生成部６ｄは、顔微細部画像Ｐ３の画像データの複製を取得して、当該顔微細部画像Ｐ３の顔輪郭Ｗよりも外側に存する画素を消去して、当該顔微細部画像Ｐ３のｘ軸方向及びｙ軸方向の画素数が２５６画素となるように正規化する（ステップＳ１１）。続けて、二値画像生成部６ｄは、顔輪郭Ｗの左右のこめかみに対応する部分どうしを結んだ後、当該顔輪郭Ｗよりも内側の画素を白色に対応する画素値とし、外側の画素を黒色に対応する画素値とする二値画像Ｐ５の画像データを生成する（ステップＳ１２）。
【００４４】
次に、座標取得部６ｅは、二値画像生成部６ｄにより生成され白黒反転された二値画像Ｐ５の画像データを取得して、当該二値画像Ｐ５の各画素を追跡して各画素の座標を取得する（ステップＳ１３）。例えば、座標取得部６ｅは、白黒反転された二値画像Ｐ５の顔輪郭Ｗを構成する白画素と黒画素との境界部分の一方のこめかみ（例えば、図６における右側のこめかみ等）に対応する部分を始点として、隣接する各画素を当該始点に戻るまで追跡して全ての画素の座標を取得する。
続けて、特徴情報抽出部６ｆは、座標取得部６ｅにより取得された顔輪郭Ｗの各画素の座標を取得し、各画素の座標に基づいて方向コードを抽出する（ステップＳ１４）。例えば、特徴情報抽出部６ｆは、顔輪郭Ｗの各画素の座標に基づいて、各画素の座標の移動の推移を４５°毎の８方向コード（図６（ｂ）参照）に変換する。
そして、特徴情報抽出部６ｆは、顔輪郭Ｗの画素のうち、左右のこめかみに対応する部分どうしを結ぶ直線部分の各画素に対応する方向コード（例えば、「１」〜「３」で表される方向コード）を削除した後、残りの方向コード（例えば、「０」、「４」〜「７」で表される方向コード）を所定の間引き処理によって所定数（例えば、６４点等）に正規化して、特徴量（特徴情報）として抽出する（ステップＳ１５）。このとき、特徴情報抽出部６ｆは、例えば、６４点に正規化された方向コードのうち、始点及び終点の画素に対応する方向コードについては二重化して全体が６６点の方向コードとする。
これにより、特徴抽出処理を終了する。
【００４５】
図３に戻り、輪郭特定部６ｇは、特徴情報抽出部６ｆにより抽出された顔輪郭Ｗの各画素に対応する方向コードを用いて、元画像Ｐ２内の顔輪郭Ｗに対応する顔輪郭画像Ｐ１を画像記録部５内で特定する（ステップＳ６）。例えば、輪郭特定部６ｇは、画像記録部５から複数の顔輪郭画像Ｐ１、…の各々に対応する顔輪郭Ｗの方向コードを取得するとともに、特徴情報抽出部６ｆにより抽出された元画像Ｐ２の顔輪郭Ｗの方向コードを取得した後、これらを比較して対応する画素どうしのずれ量を算出する。そして、輪郭特定部６ｇは、算出されたずれ量の最も小さい顔輪郭画像Ｐ１（図７（ａ）参照）を自動的に特定する。このとき、特定部ｇ２は、ずれ量の小さい方から順に所定の順位（例えば、７位等）まで顔輪郭画像Ｐ１を並べ替えた後、これらの顔輪郭画像Ｐ１の中で、ユーザによる操作入力部９の所定操作に基づいてユーザ所望の顔輪郭画像Ｐ１を特定するようにしても良い。
【００４６】
その後、似顔絵画像生成部６ｈは、顔輪郭画像Ｐ１と顔構成部画像Ｐ４と髪型画像Ｐ７とを用いて似顔絵画像Ｐ６（図７（ｂ）参照）を生成する（ステップＳ７）。具体的には、似顔絵画像生成部６ｈは、輪郭特定部６ｇにより特定された顔輪郭画像Ｐ１の顔輪郭Ｗよりも内側にて、例えば、目、鼻、口、眉等の各顔構成部のパーツ画像を重畳させる位置を特定し、当該位置に各顔構成部のパーツ画像を重畳させる。さらに、似顔絵画像生成部６ｈは、例えば、顔輪郭画像Ｐ１と対応付けられた髪型画像Ｐ７を取得して、顔輪郭Ｗの外側における所定位置に当該髪型画像Ｐ７を配置して元画像Ｐ２を似顔絵で表した似顔絵画像Ｐ６の画像データを生成する。
これにより、似顔絵画像生成処理を終了する。
【００４７】
以上のように、本実施形態の撮像装置１００によれば、画像記録部５に所定領域毎の特徴情報と対応付けて記録されている顔の構成部を表した顔構成部画像（例えば、顔輪郭Ｗを表した顔輪郭画像Ｐ１等）から、所定領域毎の特徴情報に対応する顔構成部画像を特定して、当該顔構成部画像を用いて顔の似顔絵画像Ｐ６を生成するので、元画像Ｐ２の顔の主要な構成部の所定領域毎の形状の特徴を考慮して当該顔の構成部に対応する顔構成部画像を特定することができ、より適正な似顔絵画像Ｐ６を生成することができる。
即ち、予め多数の顔構成部画像を用意しておいても、顔輪郭Ｗ等の顔の主要な構成部の形状によっては最も似ている顔構成部画像を精度良く特定することができない虞があるが、本実施形態では、顔の構成部の所定領域毎の形状の特徴を考慮して当該顔の構成部を特徴的に表した顔構成部画像（例えば、顔輪郭画像Ｐ１等）を特定することができ、当該顔構成部画像を用いることで、より適正な似顔絵画像Ｐ６を生成することができる。
【００４８】
具体的には、元画像Ｐ２内の顔輪郭Ｗに係る二値画像Ｐ５に基づいて、この顔輪郭Ｗの各画素の座標を取得し、取得された各画素の座標に基づいて、当該各画素毎に所定の角度範囲に対応する方向コードを特徴情報として抽出するので、例えば、顔輪郭Ｗと対応付けられた当該顔輪郭Ｗの概略の形状を規定する楕円を用いて顔輪郭画像Ｐ１を特定する場合に比べて、顔輪郭Ｗの所定領域毎の形状を特徴的に表した顔輪郭画像Ｐ１の特定をより精度良く行うことができる。
このとき、顔輪郭Ｗの各画素のうち、左右のこめかみどうしを結ぶ画素以外の画素に対応する方向コードを特徴情報として抽出するので、顔輪郭Ｗ、即ち、左右のこめかみどうしを顎を経由して結ぶような略「Ｕ」字形状の各画素について方向コードを抽出することができる。また、特徴情報として抽出され正規化された方向コードを用いることで、画像記録部５に記録されている顔輪郭画像Ｐ１と対応付けられている方向コードと、元画像Ｐ２の顔輪郭Ｗから抽出された方向コードとの比較を簡便に、且つ、適正に行うことができ、顔輪郭画像Ｐ１の特定をより精度良く行うことができる。
【００４９】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、特徴情報として、顔輪郭Ｗの各画素毎に所定の角度範囲に対応する方向コードを抽出するようにしたが、一例であってこれに限られるものではなく、所定領域毎に抽出可能な特徴情報であれば適宜任意に変更可能である。
【００５０】
また、上記実施形態にあっては、顔構成部画像Ｐ４の生成後に特徴抽出処理を行うようにしたが、これらの処理の順序は一例であってこれに限られるものではなく、順序を逆、即ち、特徴抽出処理後に顔構成部画像Ｐ４の生成処理を行うようにしても良い。
【００５１】
さらに、上記実施形態にあっては、顔輪郭画像Ｐ１や顔構成部画像Ｐ４の生成元となる画像は、正面顔を表した画像である必要はなく、例えば、所定の軸を中心として斜めを向くように顔が傾いた元画像Ｐ２の場合には、当該傾きの角度に応じて顔輪郭画像Ｐ１を用意しておいても良いし、或いは、当該元画像Ｐ２の顔が正面を向くように変形させた画像を生成して用いても良い。
【００５２】
また、上記実施形態にあっては、顔輪郭画像Ｐ１を記録する画像記録部５を備える構成としたが、これに限られず、例えば、当該装置本体と所定の通信ネットワークを介して接続可能な所定のサーバに顔輪郭画像Ｐ１を記録しておく構成とし、図示しない通信処理部から通信ネットワークを介して所定のサーバにアクセスして、画像取得部６ａは、当該サーバから顔輪郭画像Ｐ１を取得する構成としても良い。
【００５３】
さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像生成装置として、撮像装置１００を例示したが、これに限られるものではなく、本発明に係る画像生成処理を実行可能なものであれば如何なる構成であっても良い。
【００５４】
加えて、上記実施形態にあっては、第１取得手段、抽出手段、特定手段、第１生成手段としての機能を、中央制御部１０の制御下にて、画像取得部６ａ、特徴情報抽出部６ｆ、輪郭特定部６ｇ、似顔絵画像生成部６ｈが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１０によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、抽出処理ルーチン、特定処理ルーチン、生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１０のＣＰＵを、元画像Ｐ２を取得する手段として機能させるようにしても良い。また、抽出処理ルーチンにより中央制御部１０のＣＰＵを、取得された元画像Ｐ２内の顔の主要な構成部について、所定領域毎に特徴情報を抽出する手段として機能させるようにしても良い。また、抽出処理ルーチンにより中央制御部１０のＣＰＵを、記録手段に所定領域毎の特徴情報と関連付けて記録されている顔の構成部を表した顔構成部画像Ｐ４から、抽出された所定領域毎の特徴情報に対応する顔構成部画像Ｐ４を特定する手段として機能させるようにしても良い。また、抽出処理ルーチンにより中央制御部１０のＣＰＵを、特定された顔構成部画像Ｐ４を用いて、顔の似顔絵画像Ｐ６を生成する手段として機能させるようにしても良い。
【００５５】
同様に、第２生成手段、第２取得手段についても、中央制御部１０のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００５６】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００５７】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
元画像を取得する第１取得手段と、
前記第１取得手段により取得された元画像内の顔の主要な構成部について、所定領域毎に特徴情報を抽出する抽出手段と、
記録手段に前記所定領域毎の特徴情報と関連付けて記録されている顔の構成部を表した顔構成部画像から、前記抽出手段により抽出された前記所定領域毎の特徴情報に対応する顔構成部画像を特定する特定手段と、
前記特定手段により特定された顔構成部画像を用いて、前記顔の似顔絵画像を生成する第１生成手段と、
を備えたことを特徴とする画像生成装置。
＜請求項２＞
前記顔の主要な構成部は、顔の輪郭を含み、
前記第１取得手段により取得された元画像内の顔の輪郭に係る二値画像を生成する第２生成手段と、
前記第２生成手段により生成された前記二値画像に基づいて、当該顔の輪郭の各画素の座標を取得する第２取得手段とを更に備え、
前記抽出手段は、前記第２取得手段により取得された前記各画素の座標に基づいて、当該各画素毎に所定の角度範囲に対応する方向コードを前記特徴情報として抽出することを特徴とする請求項１に記載の画像生成装置。
＜請求項３＞
前記抽出手段は、更に、前記顔の輪郭の各画素のうち、左右のこめかみどうしを結ぶ画素以外の画素に対応する方向コードを前記特徴情報として抽出することを特徴とする請求項２に記載の画像生成装置。
＜請求項４＞
前記抽出手段は、更に、前記特徴情報として抽出された前記方向コードを正規化し、
前記特定手段は、更に、前記抽出手段により正規化された前記方向コードを用いて、前記顔構成部画像を特定することを特徴とする請求項３に記載の画像生成装置。
＜請求項５＞
画像生成装置を用いた画像生成方法であって、
元画像を取得する処理と、
取得された元画像内の顔の主要な構成部について、所定領域毎に特徴情報を抽出する処理と、
記録手段に前記所定領域毎の特徴情報と関連付けて記録されている顔の構成部を表した顔構成部画像から、抽出された前記所定領域毎の特徴情報に対応する顔構成部画像を特定する処理と、
特定された顔構成部画像を用いて、前記顔の似顔絵画像を生成する処理と、
を含むことを特徴とする画像生成方法。
＜請求項６＞
画像生成装置のコンピュータを、
元画像を取得する第１取得手段、
前記第１取得手段により取得された元画像内の顔の主要な構成部について、所定領域毎に特徴情報を抽出する抽出手段、
記録手段に前記所定領域毎の特徴情報と関連付けて記録されている顔の構成部を表した顔構成部画像から、前記抽出手段により抽出された前記所定領域毎の特徴情報に対応する顔構成部画像を特定する特定手段、
前記特定手段により特定された顔構成部画像を用いて、前記顔の似顔絵画像を生成する第１生成手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００５８】
１００  撮像装置
１      撮像部
５      画像記録部
６      画像処理部
６ａ    画像取得部
６ｂ    顔検出部
６ｃ    構成部画像生成部
６ｄ    二値画像生成部
６ｅ    座標取得部
６ｆ    特徴情報抽出部
６ｇ    輪郭特定部
６ｈ    似顔絵画像生成部
１０    中央制御部
【図１】
2014048767.tif 000003
【図３】
2014048767.tif 000004
【図４】
2014048767.tif 000005
【図２】
2014048767.tif 000006
【図５】
2014048767.tif 000007
【図６】
2014048767.tif 000008
【図７】
2014048767.tif 000009