(57)【要約】【課題】元画像から表現豊かな顔画像を生成すること。【解決手段】撮像装置１は、元画像取得部５１と、顔パーツ抽出部５２と、タイプ分類部５３と、横顔パーツ画像取得部５４と、顔画像生成部５５と、を備える。元画像取得部５１は、処理対象となる元画像を取得する。顔パーツ抽出部５２は、元画像取得部５１によって取得された元画像の特徴領域である顔領域における特定の部分である顔の部位を抽出する。タイプ分類部５３は、顔パーツ抽出部５２によって抽出された特定の部分である顔の部位を分類する。横顔パーツ画像取得部５４は、タイプ分類部５３によって分類された特定の部分である顔の部位の分類に基づいて、第１の画像である横顔パーツ画像を生成する。顔画像生成部５５は、横顔パーツ画像取得部５４によって生成された第１の画像である横顔パーツ画像に基づいて、第２の画像である顔画像を生成する。【選択図】図６
2016126510.tif 000002
【特許請求の範囲】
【請求項１】
顔領域の特定の部分を似顔絵化し、当該特定の部分を正面とは異なる視点から見たパーツ画像が複数記憶された記憶手段と、
顔を正面から撮影した顔画像の顔領域における特定の部分を抽出する抽出手段と、
前記記憶手段に記憶された複数の前記パーツ画像の中から、前記抽出手段によって抽出した前記特定の部分に適したパーツ画像を選択する選択手段と、
前記選択手段によって選択された前記パーツ画像に基づいて、前記顔画像における顔を正面とは異なる視点から見た顔を似顔絵化した似顔絵画像を生成する生成手段と、
を備えることを特徴とする画像生成装置。
【請求項２】
前記記憶手段は、複数のパーツ画像の各々について、当該パーツ画像を正面から見た正面形状を対応付けて記憶し、
前記選択手段は、前記抽出手段により抽出した前記特定の部分と、前記記憶手段に記憶されている前記複数のパーツ画像の各々に対応付けられた正面形状とを比較し、その比較結果に基づいて、前記抽出手段によって抽出した前記特定の部分に適したパーツ画像を選択する、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記抽出手段は、前記特定の部分として、顔を平面として捉えて線図化して当該顔の部位の外形を抽出し、
前記選択手段は、前記顔の部位の外形と、前記複数のパーツ画像の各々に対応付けられた正面形状とを比較し、その比較結果に基づいて、前記抽出手段によって抽出した前記特定の部分に適したパーツ画像を選択する、
ことを特徴とする請求項２に記載の画像生成装置。
【請求項４】
前記生成手段は、選択された前記複数のパーツ画像を合成して、前記似顔絵画像を生成する、
ことを特徴とする請求項１乃至３の何れか１項に記載の画像生成装置。
【請求項５】
顔領域の特定の部分を似顔絵化し、当該特定の部分を正面とは異なる視点から見たパーツ画像が複数記憶された記憶手段を備えた画像生成装置の画像生成方法であって、
顔を正面から撮影した顔画像の顔領域における特定の部分を抽出する抽出ステップと、
前記記憶手段に記憶された複数の前記パーツ画像の中から、前記抽出ステップによって抽出した前記特定の部分に適したパーツ画像を選択する選択ステップと、
前記選択ステップによって選択された前記パーツ画像に基づいて、前記顔画像における顔を正面とは異なる視点から見た顔を似顔絵化した似顔絵画像を生成する生成ステップと、
を含むことを特徴とする画像生成方法。
【請求項６】
顔領域の特定の部分を似顔絵化し、当該特定の部分を正面とは異なる視点から見たパーツ画像が複数記憶された記憶手段を備えた画像生成装置を制御するコンピュータを、
顔を正面から撮影した顔画像の顔領域における特定の部分を抽出する抽出手段、
前記記憶手段に記憶された複数の前記パーツ画像の中から、前記抽出手段によって抽出した前記特定の部分に適したパーツ画像を選択する選択手段、
前記選択手段によって選択された前記パーツ画像に基づいて、前記顔画像における顔を正面とは異なる視点から見た顔を似顔絵化した似顔絵画像を生成する生成手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像生成方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、顔を撮影した画像から顔画像を生成する技術がある。例えば、特許文献１に記載の技術では、顔を撮影した画像から抽出された各顔パーツの外形等を用いて顔画像を生成する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−８５５７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載の技術では、抽出された各顔パーツの外形等を用いて顔画像を生成するために、例えば、正面からの顔であれば、正面の顔画像が生成される。このため、生成される顔画像は顔写真の撮影方向に依存することになり、顔画像の表現が限られたものとなるという問題があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、元画像から表現豊かな顔画像を生成することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像生成装置は、
顔領域の特定の部分を似顔絵化し、当該特定の部分を正面とは異なる視点から見たパーツ画像が複数記憶された記憶手段と、
顔を正面から撮影した顔画像の顔領域における特定の部分を抽出する抽出手段と、
前記記憶手段に記憶された複数の前記パーツ画像の中から、前記抽出手段によって抽出した前記特定の部分に適したパーツ画像を選択する選択手段と、
前記選択手段によって選択された前記パーツ画像に基づいて、前記顔画像における顔を正面とは異なる視点から見た顔を似顔絵化した似顔絵画像を生成する生成手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、元画像から表現豊かな顔画像を生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】本実施形態における顔画像の生成手法を説明するための模式図である。
【図３】本実施形態における顔画像の生成手法を説明するための模式図である。
【図４】本実施形態における顔画像の生成手法を説明するための模式図である。
【図５】本実施形態における顔画像の生成手法を説明するための模式図である。
【図６】図１の撮像装置の機能的構成のうち、顔画像生成処理を実行するための機能的構成を示す機能ブロック図である。
【図７】図６の機能的構成を有する図１の撮像装置が実行する顔画像生成処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。
【００１１】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
【００１５】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１６】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。
【００１８】
入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００１９】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００２０】
このように構成される撮像装置１においては、人の顔を正面から撮影した画像から、顔を斜め方向から見たようなキャラクター化された顔画像を生成することができる機能を有する。
【００２１】
図２乃至５は、本実施形態における顔画像の生成手法を説明するための模式図である。
本実施形態において顔画像は、図２に示すように、処理対象である、人の顔を正面から撮影した画像（以下、「元画像」という。）から、顔を構成する部位（本実施形態においては、目、鼻、口、眉、耳、顔の輪郭、髪型）を抽出する。
【００２２】
具体的には、顔の各部位（本実施形態においては、目、鼻、口、眉、耳、顔の輪郭）に対して、外形輪郭抽出技術を用いて、各部位の外形を抽出する。外形の抽出は、本例では、顔の各パーツを複数の点で捉えて、正面からの形状の特徴を認識する外形輪郭抽出技術を用いたが、顔の各パーツを抽出できればよく、既存の画像解析技術を用いることができる。
また、その他の部位である髪型に対しては、本実施形態においては、画像認識技術を用いて、抽出を行う。髪型の抽出は、本例では、既存の画像解析技術を用いることができる。なお、髪型についても、外形輪郭抽出技術を用いて抽出してもよい。
【００２３】
次に、図３及び４に示すように、抽出した各部位の外形を各部位毎に用意された複数の各顔パーツを平準化したタイプに分類する。本実施形態においてタイプは、１０種類設けられており、抽出した顔パーツは何れかのタイプに分類されることになる。
具体的には、抽出した顔パーツを、顔パーツのタイプを表す画像（以下、「タイプ画像」という。）と照合して、一致するタイプを決定する。なお、タイプ画像は、平面視した顔パーツのタイプを斜視した場合の形状を模したキャラクター化した画像である。また、タイプ画像は、抽出した顔パーツを斜視してキャラクター化した画像（以下、「横顔タイプ画像」という。）に対応付けられている。即ち、正面の顔から横顔のキャラクター画像を生成する場合には、正面の顔パーツを分類して、対応するタイプ画像を中継して、タイプ画像から想定される横顔の横顔タイプ画像を選択することで行うことになる。
【００２４】
次に、決定したタイプに対応するタイプ画像に対応する横顔パーツ画像の各々を取得して、顔画像を構成する顔パーツとして用いる。
【００２５】
その後、図５に示すように、取得した横顔パーツを顔になるような適切な位置に配置して、合成することにより、顔画像を生成する。
具体的には、本実施形態においては、顔輪郭の顔パーツの横顔パーツ画像の所定の位置に、その他の顔パーツを配置して、１つの画像に合成することで、顔画像を生成する。
即ち、配置の基準となる顔輪郭の横顔パーツ画像に各横顔パーツ画像の配置の基準となる配置基準点（図中、×印で示す）が各々設定されており、各横顔パーツ画像にも、対応する配置点（図示せず）が設定される。顔輪郭の横顔パーツ画像に対して、その他の横顔パーツ画像を配置する場合には、配置基準点上に、対応するその他の横顔パーツ画像の配置点を一致させて、位置決めを行う。その後、当該位置で、１つの画像に合成することで、顔画像を生成する。
【００２６】
なお、本実施形態において、「横顔」とは、図２乃至５に示すように、正面とは異なる方向であり、顔の各部位が見え、かつ、各部位の凹凸の状態も分かるような斜め方向（例えば、右斜め方向）から見た状態の顔を指す。
【００２７】
したがって、本実施形態で生成される顔画像は、元画像から抽出した種々の形状をした顔パーツを複数のタイプに分類して、当該タイプを斜め方向から見た場合の形状である横顔タイプ画像に置き換えて生成されるために、簡単に正面の顔から異なる方向（本実施形態においては、右斜めからの方向）の顔画像を生成することができ、かつ、予めタイプの形状から想定される横顔パーツ画像を用いることで、実際に斜め方向から見た場合に近い顔画像を生成することができる。
このため、特定の方向から撮影した画像を元画像として用いても、異なる方向から見た顔画像を生成することができるために、表現豊かな顔画像を生成することができる。
【００２８】
図６は、このような撮像装置１の機能的構成のうち、顔画像生成処理を実行するための機能的構成を示す機能ブロック図である。
顔画像生成処理とは、正面から撮影した人の顔を含む元画像から、抽出した顔の各部位の外形をタイプに分類して、分類したタイプに対応する顔パーツ画像の各々から立体視した顔画像を生成する一連の処理をいう。
【００２９】
顔画像生成処理を実行する場合には、図６に示すように、ＣＰＵ１１において、元画像取得部５１と、顔パーツ抽出部５２と、タイプ分類部５３と、横顔パーツ画像取得部５４と、顔画像生成部５５と、が機能する。
【００３０】
また、記憶部１９の一領域には、元画像記憶部７１と、タイプ情報記憶部７２と、パーツ画像記憶部７３と、顔画像記憶部７４と、が設定される。
【００３１】
元画像記憶部７１には、撮像部１６やインターネットを介して外部から取得した画像（処理対象となる元画像）のデータが記憶される。本実施形態においては、人の顔を正面から撮影した実写の画像のデータが記憶される。
【００３２】
タイプ情報記憶部７２には、部位別のタイプ画像と、顔パーツ画像とが対応付けられた情報が記憶される。具体的には、タイプ情報記憶部７２には、図３及び４に示すようなタイプ画像と、タイプ画像に対応する横顔パーツ画像との対応関係が記憶される。
【００３３】
パーツ画像記憶部７３には、部位別に複数のタイプ画像と、対応する横顔パーツ画像のデータが記憶される。具体的には、パーツ画像記憶部７３には、鼻と顔の輪郭の顔パーツの例では、図３及び４に示すようなタイプ画像と、タイプ画像に対応する横顔パーツ画像が記憶される。
また、各顔パーツ画像には、顔パーツ画像の配置のために、図５に示すように、顔の輪郭の顔パーツ画像には、配置基準点、その他の顔パールには、対応する配置点の画像における座標情報が付加されている。
【００３４】
顔画像記憶部７４には、生成した顔画像のデータが記憶される。具体的には、顔画像記憶部７４には、図５に示すような顔画像のデータが記憶される。
【００３５】
元画像取得部５１は、ユーザによる入力部１７を介した画像の選択操作に基づいて、元画像記憶部７１に記憶される顔画像の生成対象となる元画像を取得する。
【００３６】
顔パーツ抽出部５２は、元画像取得部５１によって取得された元画像を解析して、顔パーツ（本実施形態においては、目、眉、鼻、口、耳、顔の輪郭、髪型）を特定して、抽出する。
具体的には、顔パーツ抽出部５２は、図２に示すように、目、眉、鼻、口、耳、顔の輪郭については、外形輪郭認識技術を用い、髪型に関しては、画像認識技術を用いて特定し、各顔パーツを抽出する。
【００３７】
タイプ分類部５３は、抽出した各顔パーツの各々の分類を行って、タイプを決定する。
具体的には、タイプ分類部５３は、図３及び４に示すように、タイプ情報記憶部７２に記憶されるタイプ情報に基づいて、対応する部位のタイプ画像と、顔パーツの外形を照合して行き、顔パーツのタイプを分類する。
【００３８】
横顔パーツ画像取得部５４は、分類結果に基づいて、パーツ画像記憶部７３に記憶される横顔パーツ画像を取得する。
具体的には、横顔パーツ画像取得部５４は、分類結果からタイプ情報を参照し、図３及び４に示すように、分類されたタイプのタイプ画像に対応する横顔パーツ画像を取得する。
【００３９】
顔画像生成部５５は、横顔パーツ画像取得部５４によって取得した各部位の横顔パーツを所定の場所に配置して、顔画像を生成する。
具体的には、顔画像生成部５５は、図５に示すように、顔の輪郭の横顔パーツ画像における配置基準点に、その他の顔パーツの配置点を一致させて配置し、当該配置した位置で、各横顔パーツ画像を合成して、顔画像を生成する。
その後、顔画像生成部５５は、生成した顔画像を顔画像記憶部７４に記憶させる。
【００４０】
図７は、図６の機能的構成を有する図１の撮像装置１が実行する顔画像生成処理の流れを説明するフローチャートである。
顔画像生成処理は、ユーザによる入力部１７への顔画像生成処理開始の操作により開始される。
【００４１】
ステップＳ１１において、元画像取得部５１は、ユーザによる入力部１７を介した画像の選択操作に基づいて、顔画像の生成対象となる元画像を元画像記憶部７１から取得する。
【００４２】
ステップＳ１２において、顔パーツ抽出部５２は、取得した元画像の顔領域を解析して、顔パーツ（本実施形態においては、目、眉、鼻、口、耳、顔の輪郭、髪型）を抽出する。具体的には、顔パーツ抽出部５２は、図２に示すように、目、眉、鼻、口、耳、顔の輪郭については、外形輪郭認識技術を用い、髪型に関しては、画像認識技術を用いて特定し、各顔パーツを抽出する。
【００４３】
ステップＳ１３おいて、タイプ分類部５３は、抽出した顔パーツを予め設けられたタイプに分類する。具体的には、タイプ分類部５３は、図３及び４に示すように、タイプ情報記憶部７２に記憶されるタイプ情報に基づいて、対応する部位のタイプ画像と、顔パーツの外形を照合して行き、顔パーツのタイプを分類する。
【００４４】
ステップＳ１４において、横顔パーツ画像取得部５４は、顔パーツの分類結果から、各々のタイプ画像に対応する横顔パーツ画像を、パーツ画像記憶部７３から取得する。具体的には、横顔パーツ画像取得部５４は、分類結果からタイプ情報を参照し、図３及び４に示すように、分類されたタイプのタイプ画像に対応する横顔パーツ画像を取得する。
【００４５】
ステップＳ１５において、顔画像生成部５５は、取得した横顔パーツ画像を配置し、合成して、顔画像を生成する。具体的には、顔画像生成部５５は、図５に示すように、顔の輪郭の横顔パーツ画像における配置基準点に、その他の顔パーツの配置点を一致させて配置し、当該配置した位置で、各横顔パーツ画像を合成して、顔画像を生成する。
そして、顔画像生成部５５は、生成した顔画像のデータを顔画像記憶部７４に記憶させる。
その後、顔画像生成処理は、終了する。
【００４６】
したがって、画像認識をもとに、正面からの人の顔の画像を、各部位の外形認識をもとに横顔のキャラクター画像を作成するものであるが、正面と横顔では外形輪郭抽出をした部位（例えば、鼻）が横顔の部位（例えば、鼻）と直接関連付けが出来ないために、描かれた横顔の顔パーツ（例えば、鼻）に対応した正面からの（横から正面の平面的な形状を想像して作成した画像である）タイプ画像を用いて、関連付けさせて、キャラクター画像を生成する。このため、従来は正面から撮影した画像から正面の顔パーツを抽出し、抽出した顔パーツに対して、タイプ画像を用いることで、横顔と言う表現ゆたかなキャラクター画像を自動的に作成することが可能になる。
【００４７】
以上のように構成される撮像装置１は、パーツ画像記憶部７３と、顔パーツ抽出部５２と、横顔パーツ画像である横顔パーツ画像取得部５４と、顔画像生成部５５と、を備える。
パーツ画像記憶部７３は、顔領域の特定の部分を似顔絵化し、当該特定の部分を正面とは異なる視点から見たパーツ画像である横顔パーツ画像が複数記憶された。
顔パーツ抽出部５２は、顔を正面から撮影した顔画像の顔領域における特定の部分を抽出する。
横顔パーツ画像である横顔パーツ画像取得部５４は、パーツ画像記憶部７３に記憶された複数のパーツ画像である横顔パーツ画像の中から、顔パーツ抽出部５２によって抽出した特定の部分に適したパーツ画像である横顔パーツ画像を選択する。
顔画像生成部５５は、横顔パーツ画像である横顔パーツ画像取得部５４によって選択されたパーツ画像である横顔パーツ画像に基づいて、顔画像における顔を正面とは異なる視点から見た顔を似顔絵化した似顔絵画像である顔画像を生成する。
これにより、撮像装置１においては、特定の方向から撮影した画像から、異なる方向の顔画像を簡単に生成することができる。その結果、種々の表現豊かな似顔絵画像である顔画像を生成することができる。
【００４８】
パーツ画像記憶部７３は、複数のパーツ画像である横顔パーツ画像の各々について、当該パーツ画像である横顔パーツ画像を正面から見た正面形状を対応付けて記憶する。
横顔パーツ画像である横顔パーツ画像取得部５４は、顔パーツ抽出部５２により抽出した特定の部分と、パーツ画像記憶部７３に記憶されている複数のパーツ画像である横顔パーツ画像の各々に対応付けられた正面形状とを比較し、その比較結果に基づいて、顔パーツ抽出部５２によって抽出した特定の部分に適したパーツ画像である横顔パーツ画像を選択する。
これにより、撮像装置１においては、特定の方向から撮影した画像から、異なる方向の顔画像を簡単に生成することができる。その結果、種々の表現豊かな顔画像を生成することができる。
【００４９】
顔パーツ抽出部５２は、特定の部分として、顔を平面として捉えて線図化して当該顔の部位の外形を抽出する。
横顔パーツ画像である横顔パーツ画像取得部５４は、顔の部位の外形と、複数のパーツ画像である横顔パーツ画像の各々に対応付けられた正面形状とを比較し、その比較結果に基づいて、顔パーツ抽出部５２によって抽出した特定の部分に適したパーツ画像である横顔パーツ画像を選択する。
これにより、撮像装置１においては、特定の方向から撮影した画像から、異なる方向の顔画像を簡単に生成することができる。その結果、種々の表現豊かな顔画像を生成することができる。
【００５０】
顔画像生成部５５は、選択された複数のパーツ画像である横顔パーツ画像を合成して、似顔絵画像である顔画像を生成する。
これにより、撮像装置１においては、特定の方向から撮影した画像から、異なる方向の顔画像を簡単に生成することができる。その結果、種々の表現豊かな顔画像を生成することができる。
【００５１】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００５２】
上述の実施形態では、特定方向（本実施形態においては、正面）から撮影した人の顔から、異なる方向（本実施形態においては、右斜め方向）となる画像を生成するように構成したが、これに限られない。例えば、特定の方向から撮影した物体から、当該物体を異なる方向から見た画像を生成するように構成してもよい。
【００５３】
また、上述の実施形態では、予め記憶された横顔パーツ画像を用いたが、これに限られず、例えば、顔パーツが抽出され、タイプに分類されたときに、都度、横顔パーツ画像を生成するように構成してもよい。
【００５４】
また、上述の実施形態では、顔パーツの外形と、タイプ画像とを照合して、分類を行って、タイプを決定していたが、これに限られず、例えば、タイプ毎に条件を設け、当該条件との一致度合いに応じて、タイプを決定するように構成してもよい。
【００５５】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、顔画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【００５６】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図６の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図６の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００５７】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００５８】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
【００５９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００６０】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６１】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
顔領域の特定の部分を似顔絵化し、当該特定の部分を正面とは異なる視点から見たパーツ画像が複数記憶された記憶手段と、
顔を正面から撮影した顔画像の顔領域における特定の部分を抽出する抽出手段と、
前記記憶手段に記憶された複数の前記パーツ画像の中から、前記抽出手段によって抽出した前記特定の部分に適したパーツ画像を選択する選択手段と、
前記選択手段によって選択された前記パーツ画像に基づいて、前記顔画像における顔を正面とは異なる視点から見た顔を似顔絵化した似顔絵画像を生成する生成手段と、
を備えることを特徴とする画像生成装置。
［付記２］
前記記憶手段は、複数のパーツ画像の各々について、当該パーツ画像を正面から見た正面形状を対応付けて記憶し、
前記選択手段は、前記抽出手段により抽出した前記特定の部分と、前記記憶手段に記憶されている前記複数のパーツ画像の各々に対応付けられた正面形状とを比較し、その比較結果に基づいて、前記抽出手段によって抽出した前記特定の部分に適したパーツ画像を選択する、
ことを特徴とする付記１に記載の画像生成装置。
［付記３］
前記抽出手段は、前記特定の部分として、顔を平面として捉えて線図化して当該顔の部位の外形を抽出し、
前記選択手段は、前記顔の部位の外形と、前記複数のパーツ画像の各々に対応付けられた正面形状とを比較し、その比較結果に基づいて、前記抽出手段によって抽出した前記特定の部分に適したパーツ画像を選択する、
ことを特徴とする付記２に記載の画像生成装置。
［付記４］
前記生成手段は、選択された前記複数のパーツ画像を合成して、前記似顔絵画像を生成する、
ことを特徴とする付記１乃至３の何れか１つに記載の画像生成装置。
［付記５］
顔領域の特定の部分を似顔絵化し、当該特定の部分を正面とは異なる視点から見たパーツ画像が複数記憶された記憶手段を備えた画像生成装置の画像生成方法であって、
顔を正面から撮影した顔画像の顔領域における特定の部分を抽出する抽出ステップと、
前記記憶手段に記憶された複数の前記パーツ画像の中から、前記抽出ステップによって抽出した前記特定の部分に適したパーツ画像を選択する選択ステップと、
前記選択ステップによって選択された前記パーツ画像に基づいて、前記顔画像における顔を正面とは異なる視点から見た顔を似顔絵化した似顔絵画像を生成する生成ステップと、
を含むことを特徴とする画像生成方法。
［付記６］
顔領域の特定の部分を似顔絵化し、当該特定の部分を正面とは異なる視点から見たパーツ画像が複数記憶された記憶手段を備えた画像生成装置を制御するコンピュータを、
顔を正面から撮影した顔画像の顔領域における特定の部分を抽出する抽出手段、
前記記憶手段に記憶された複数の前記パーツ画像の中から、前記抽出手段によって抽出した前記特定の部分に適したパーツ画像を選択する選択手段、
前記選択手段によって選択された前記パーツ画像に基づいて、前記顔画像における顔を正面とは異なる視点から見た顔を似顔絵化した似顔絵画像を生成する生成手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００６２】
１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・元画像取得部，５２・・・顔パーツ抽出部，５３・・・タイプ分類部，５４・・・横顔パーツ画像取得部，５５・・・顔画像生成部，７１・・・元画像記憶部，７２・・・タイプ情報記憶部，７３・・・パーツ画像記憶部，７４・・・顔画像記憶部
【図１】
2016126510.tif 000003
【図２】
2016126510.tif 000004
【図３】
2016126510.tif 000005
【図４】
2016126510.tif 000006
【図５】
2016126510.tif 000007
【図６】
2016126510.tif 000008
【図７】
2016126510.tif 000009