(57)【要約】【課題】元画像に基づいて、新たに表情やキャラクターを作成すること。【解決手段】撮像装置１は、元画像取得部５１と、画像特定部５２と、顔画像生成部５３と、ポーズ選択部５４と、キャラクター画像生成部５５と、を備える。元画像取得部５１は、元画像を取得する。画像特定部５２は、元画像取得部５１により取得された元画像から顔領域を検出する。顔画像生成部５３は、画像特定部５２により検出された顔領域に基づいて、第１の画像である顔画像を生成する。画像特定部５２は、画像特定部５２により検出された顔領域の顔の表情を特定する。ポーズ選択部５４は、画像特定部５２により特定された顔領域の顔の表情に対応した対応画像であるポーズ画像を選択する。顔画像生成部５３により生成された第１の画像と、ポーズ選択部５４によって選択された対応画像であるポーズ画像とを合成して第２の画像であるキャラクター画像を生成する。【選択図】図４
2016118991.tif 000002
【特許請求の範囲】
【請求項１】
元画像を取得する取得手段と、
前記取得手段により取得された前記元画像から顔領域を検出する検出手段と、
前記検出手段により検出された前記顔領域に基づいて、第１の画像を生成する第１の生成手段と、
前記検出手段により検出された前記顔領域の顔の表情を特定する特定手段と、
前記特定手段により特定された前記顔の表情に対応した対応画像を選択する選択手段と、
前記第１の生成手段により生成された前記第１の画像と、前記選択手段により選択された前記対応画像とを合成して第２の画像を生成する第２の生成手段と、
を備えることを特徴とする画像生成装置。
【請求項２】
前記対応画像を複数記憶した対応画像記憶手段を備え、
前記選択手段は、前記対応画像記憶手段に記憶された複数の前記対応画像から前記特定手段により特定された前記顔の表情に対応した前記対応画像を選択する、
ことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記対応画像記憶手段は、
同一の前記顔の表情に対応した対応画像をグループ化させた対応画像群を、対応する表情毎に記憶し、
前記選択手段は、前記顔の表情に対応した前記対応画像群に含まれる複数の対応画像を選択し、
前記第２の生成手段は、前記第１の画像と、前記選択手段により選択された複数の対応画像とを合成し、複数の前記第２の画像を生成することを特徴とする請求項２に記載の画像生成装置。
【請求項４】
前記第２の生成手段は、前記第２の画像に文字画像を合成する文字画像合成手段を更に備えることを特徴とする請求項１乃至３の何れか１項に記載の画像生成装置。
【請求項５】
前記対応画像は、顔以外の人の身体を含む画像である、
ことを特徴とする請求項１乃至４の何れか１項に記載の画像生成装置。
【請求項６】
前記対応画像は、人物の姿勢や行動を表現した画像である、
ことを特徴とする請求項１乃至５の何れか１項に記載の画像生成装置。
【請求項７】
前記第１の生成手段は、似顔絵変換により前記元画像から顔画像を生成する、
ことを特徴とする請求項１乃至６の何れか１項に記載の画像生成装置。
【請求項８】
元画像を取得する取得ステップと、
前記取得ステップにより取得された前記元画像から顔領域を検出する検出ステップと、
前記検出ステップにより検出された前記顔領域に基づいて、第１の画像を生成する第１の生成ステップと、
前記検出ステップにより検出された前記顔領域の顔の表情を特定する特定ステップと、
前記特定ステップにより特定された前記顔の表情に対応した対応画像を選択する選択ステップと、
前記第１の生成ステップにより生成された前記第１の画像と、前記選択ステップにより選択された前記対応画像とを合成して第２の画像を生成する第２の生成ステップと、
を含むことを特徴とする画像生成方法。
【請求項９】
コンピュータを、
元画像を取得する取得手段、
前記取得手段により取得された前記元画像から顔領域を検出する検出手段、
前記検出手段により検出された前記顔領域に基づいて、第１の画像を生成する第１の生成手段、
前記検出手段により検出された前記顔領域の顔の表情を特定する特定手段、
前記特定手段により特定された前記顔の表情に対応した対応画像を選択する選択手段、
前記第１の生成手段により生成された前記第１の画像と、前記選択手段により選択された前記対応画像とを合成して第２の画像を生成する第２の生成手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置、画像生成方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、写真から似顔絵を自動的に作成する技術があった。特許文献１に記載の技術のように、写真の画像を２値化したり絵画風に変えたり、元画像を忠実に再現する技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−８５５７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載の技術では、元画像を単に忠実に再現するだけであり、元画像から表現豊かなキャラクター画像を新たに生成することができない。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、元画像から表現豊かなキャラクター画像を生成することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の画像生成装置は、
元画像を取得する取得手段と、
前記取得手段により取得された前記元画像から顔領域を検出する検出手段と、
前記検出手段により検出された前記顔領域に基づいて、第１の画像を生成する第１の生成手段と、
前記検出手段により検出された前記顔領域の顔の表情を特定する特定手段と、
前記特定手段により特定された前記顔の表情に対応した対応画像を選択する選択手段と、
前記第１の生成手段により生成された前記第１の画像と、前記選択手段により選択された前記対応画像とを合成して第２の画像を生成する第２の生成手段と、
を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、元画像から表現豊かなキャラクター画像を生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】本実施形態におけるキャラクター画像の作成の流れの例を説明するための模式図である。
【図３】本実施形態におけるキャラクター画像の作成手法を説明するための模式図である。
【図４】図１の撮像装置の機能的構成のうち、キャラクター画像生成処理を実行するための機能的構成を示す機能ブロック図である。
【図５】図４の機能的構成を有する図１の撮像装置が実行するキャラクター画像生成処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。
【００１１】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１２】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１３】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１４】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
【００１５】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００１６】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００１７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。
【００１８】
入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００１９】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００２０】
このように構成される撮像装置１では、撮影した人の顔を含む画像から、人の顔を含んでキャラクター化したキャラクター画像を作成する機能を有する。また、撮像装置１では、人の顔の表情に基づいて、顔以外の部分のキャラクター画像が作成される。
【００２１】
図２は、本実施形態におけるキャラクター画像の作成の流れの例を説明するための模式図である。
【００２２】
図２の例に示すようにキャラクター画像は、都度、撮像部１６での撮影を行った画像を使用するカメラ撮影するか、記憶部１９に記憶されている画像を選択するかして、顔画像の作成に用いる画像（以下、「元画像」という。）を指定する。
【００２３】
そして、元画像を顔認識の解析を行う。その結果、顔パーツと顔の表情が検出される。
【００２４】
また、検出された顔パーツに基づいて、似顔絵変換（キャラクター変換）を行って、人の実写の画像を二次元化した画像（以下、「顔画像」という。）の自動作成を行う。
【００２５】
顔認識の解析結果のうち、検出された顔の表情に基づいて、人の顔以外の胴体や上半身をモディファイした画像（以下、「ポーズ画像」という。）の自動選択を行う。
【００２６】
その後、作成された顔画像と、選択されたポーズ画像とを合成して、人物をキャラクター化した画像（以下、「キャラクター画像」という。）を作成する。
【００２７】
その際、キャラクター画像に文字を追加する場合には、文字の入力と、文字の大きさや九度調整を行って、キャラクター画像を作成する。
【００２８】
最終的に作成されたキャラクター画像は、チャット、インスタントメッセンジャー、メール等でテキストメッセージに代えて直感的に感情等を伝えるメッセージツールとして用いられる。
【００２９】
図３は、本実施形態におけるキャラクター画像の作成手法を説明するための模式図である。
【００３０】
顔画像ＦＩは、図３（ａ）に示すように、元画像ＯＩから検出した顔パーツＰ１乃至Ｐ４に基づいて、自動的に作成される。実写の画像から画像を構成する特徴部分（本実施形態においては、顔パーツ）を抽出して二次元の画像を作成する技術は、既存の顔画像作成技術を用いるものとする。
【００３１】
また、ポーズ画像ＰＩは、図３（ｂ）に示すように、本実施形態においては、元画像ＯＩから検出した顔の表情（例えば、笑顔の表情）に基づいて、笑顔、泣き顔等の表情毎に管理されたポーズ画像群ＰＩ（ｓ）１，ＰＩ（ｓ）２，ＰＩ（ｓ）ｎから検出した表情に対応するポーズ画像群ＰＩ（ｓ）が自動的に選択される。
【００３２】
また、キャラクター画像ＣＩは、図３（ｃ）に示すように、作成された顔画像ＦＩと、選択されたポーズ画像ＰＩとを合成して作成される。最終的に、キャラクター画像は、選択されたポーズ画像群ＣＩ（ｓ）毎にキャラクター画像群ＣＩ（ｓ）が自動作成される。
【００３３】
したがって、本実施形態においては、顔に基づいて作成された顔画像に、顔の表情に応じたポーズ画像を合成してキャラクター画像を作成するために、作成されたキャラクター画像が顔とポーズの両面から顔の表情を反映するものとなり、キャラクター画像全体として感情等を表すことになり、多種多様となりより直感的に感情等を表現した画像となる。
【００３４】
図４は、このような撮像装置１の機能的構成のうち、キャラクター画像生成処理を実行するための機能的構成を示す機能ブロック図である。
キャラクター画像生成処理とは、元画像から特定した顔のパーツに基づいて作成された顔画像と、元画像から特定した顔の表情に基づいて選択されたポーズ画像とに基づいて、キャラクター画像を生成する一連の処理をいう。
【００３５】
キャラクター画像生成処理を実行する場合には、図４に示すように、ＣＰＵ１１において、元画像取得部５１と、画像特定部５２と、顔画像生成部５３と、ポーズ選択部５４と、キャラクター画像生成部５５と、が機能する。
【００３６】
また、記憶部１９の一領域には、元画像記憶部７１と、ポーズ画像記憶部７２と、キャラクター画像記憶部７３と、が設定される。
【００３７】
元画像記憶部７１には、例えば、撮像部１６やインターネット等を介して外部から取得し、顔表情の特定や顔画像の生成に用いる元画像のデータが記憶される。
【００３８】
ポーズ画像記憶部７２には、顔の表情と対応付けられたポーズ画像のデータが記憶される。本実施形態においては、図３（ｂ）に示すように、顔の表情毎に複数のポーズ画像が群単位で管理される。
【００３９】
キャラクター画像記憶部７３には、顔画像とポーズ画像とを合成して生成されたキャラクター画像のデータが記憶される。
【００４０】
元画像取得部５１は、撮像部１６やインターネット等を介して外部サーバや元画像記憶部７１から画像を、キャラクター画像の作成対象となる元画像として取得する。本実施形態においては、元画像取得部５１は、予め元画像記憶部７１に記憶された画像を元画像として取得する。
【００４１】
画像特定部５２は、元画像取得部５１によって取得された元画像に対して顔認識の画像解析をして、画像中の人の顔のパーツを特定すると共に、顔の表情を特定する。
なお、画像における人の顔の特定や顔の表情の特定については、既存の種々の顔認識の画像解析技術を用いる。
【００４２】
顔画像生成部５３は、画像特定部５２によって特定された顔パーツに基づいて、似顔絵変換（キャラクター変換）を行って、顔画像を生成する。
なお、実写の画像からの二次元の顔画像の生成は、既存の種々の似顔絵変換（キャラクター変換）の技術を用いる。
【００４３】
ポーズ選択部５４は、画像特定部５２によって特定された顔の表情に基づいて、ポーズ画像記憶部７２に記憶されるポーズ画像のうち、顔の表情に対応したポーズ画像を選択する。本実施形態においては、ポーズ選択部５４は、ポーズ画像記憶部７２に記憶される顔の表情に対応した複数のポーズ画像を選択する。
【００４４】
キャラクター画像生成部５５は、顔画像生成部５３により生成された顔画像と、ポーズ選択部５４により選択されたポーズ画像と、を合成して１枚のキャラクター画像を生成する。即ち、キャラクター画像生成部５５は、顔画像に、顔画像の表情に対応した胴体や上半身のポーズ画像を合成してキャラクター画像を生成する。
その後、キャラクター画像生成部５５は、生成したキャラクター画像をキャラクター画像記憶部７３に記憶させる。
【００４５】
図５は、図４の機能的構成を有する図１の撮像装置１が実行するキャラクター画像生成処理の流れを説明するフローチャートである。
キャラクター画像生成処理は、ユーザによる入力部１７へのキャラクター画像生成処理開始の操作により開始される。
【００４６】
ステップＳ１１において、元画像取得部５１は、元画像記憶部７１に記憶される画像からキャラクター画像生成の対象となる元画像を取得する。具体的には、元画像取得部５１は、図２に示すように、元画像記憶部７１に記憶される複数の画像のうち、ユーザによって入力部１７を介して選択された画像を元画像として取得する。
【００４７】
ステップＳ１２において、画像特定部５２は、顔認識の解析技術を用いて、元画像を画像解析する。画像解析の結果、顔のパーツと、人の顔の表情を特定する。具体的には、画像特定部５２は、図３（ａ）に示すように顔パーツＰ１乃至Ｐ４を特定し、さらに、「笑顔」の表情を特定する。
【００４８】
ステップＳ１３において、顔画像生成部５３は、画像特定部５２によって特定された元画像の顔パーツに対して、似顔絵変換を行って顔画像を生成する。具体的には、顔画像生成部５３は、図３（ａ）に示すように、元画像ＯＩの顔パーツＰ１乃至Ｐ４に似顔絵変換を行って、元画像ＯＩから顔画像ＦＩを生成する。
【００４９】
ステップＳ１４において、ポーズ選択部５４は、画像特定部５２によって特定された顔の表情に基づいて、ポーズ画像記憶部７２に記憶されるポーズ画像のうち、顔の表情に対応したポーズ画像を選択する。具体的には、ポーズ選択部５４は、図３（ｂ）に示すように、画像特定部５２によって特定された「笑顔」の表情に対応するポーズ画像ＰＩを選択する。
【００５０】
ステップＳ１５において、キャラクター画像生成部５５は、顔画像生成部５３により生成された顔画像と、ポーズ選択部５４により選択されたポーズ画像と、を合成して１枚のキャラクター画像を生成する。具体的には、キャラクター画像生成部５５は、図３（ｃ）に示すように、作成された顔画像ＦＩと、「笑顔」の表情に基づいて選択されたポーズ画像ＰＩとを合成してキャラクター画像ＣＩを作成する。選択されたポーズ画像群ＰＩ（ｓ）の全てに対して合成を行って、キャラクター画像群ＣＩ（ｓ）を生成する。
【００５１】
ステップＳ１６において、キャラクター画像生成部５５は、入力部１７に対して文字の追加の操作があったか否かを判定する。
文字を追加しない場合には、ステップＳ１６においてＮＯと判定されて、処理はステップＳ１８に進む。ステップＳ１８以降の処理は後述する。
文字を追加する場合には、ステップＳ１６においてＹＥＳと判定されて、処理はステップＳ１７に進む。ステップＳ１８以降の処理は後述する。
【００５２】
ステップＳ１７において、キャラクター画像生成部５５は、キャラクター画像に文字を追加する。具体的には、キャラクター画像生成部５５は、図２に示すように、ユーザによる入力部１７を介して入力された文字と、文字の大きさや角度を調整して、キャラクター画像に文字の追加を行う。
【００５３】
ステップＳ１８において、キャラクター画像生成部５５は、生成したキャラクター画像をキャラクター画像記憶部７３に記憶させ、キャラクター画像生成処理は終了する。
【００５４】
生成されたキャラクター画像は、図２に示すように、指定した画像の送信先に送られてインスタントメッセージ等において感情を表現する画像として利用される。
【００５５】
ＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋｉｎｇ  Ｓｅｒｖｉｃｅ）等に用いるキャラクター画像として似顔絵画像を使う時は、ある程度伝えたい表現があり、喜怒哀楽などを表現して相手に言葉が少なくても画像で意思を伝えることが行われる。そこで、スタンプを作成する時に、事前に喜怒哀楽の情報を持った画像を撮影するか、事前に用意されている顔写真の画像を顔認識技術で表情（喜怒哀楽）を分類することで、全体として感情を表現して、違和感がないキャラクター画像を生成することができる。
したがって、本実施形態の撮像装置１では、ユーザが人の顔を含む画像を指定するだけで、指定された画像に基づいて顔及び顔以外の部分を作成するために、ユーザによる顔以外の部分の選択操作が不要になるために簡単にキャラクター画像を生成することができる。また、本実施形態の撮像装置１で生成されるキャラクター画像は、実際の顔写真から生成した顔画像と、顔写真の顔の表情に対応したポーズ画像からなるため、より感情の表現を直感的に感じやすい画像となる。
【００５６】
以上のように構成される撮像装置１は、元画像取得部５１と、画像特定部５２と、顔画像生成部５３と、ポーズ選択部５４と、キャラクター画像生成部５５と、を備える。
元画像取得部５１は、元画像を取得する。
画像特定部５２は、元画像取得部５１により取得された元画像から顔領域を検出する。
顔画像生成部５３は、画像特定部５２により検出された顔領域に基づいて、第１の画像である顔画像を生成する。
画像特定部５２は、画像特定部５２により検出された顔領域の顔の表情を特定する。
ポーズ選択部５４は、画像特定部５２により特定された顔領域の顔の表情に対応した対応画像であるポーズ画像を選択する。
キャラクター画像生成部５５は、顔画像生成部５３により生成された第１の画像と、ポーズ選択部５４によって選択された対応画像であるポーズ画像とを合成して第２の画像であるキャラクター画像を生成する。
これにより、撮像装置１においては、顔領域に基づいて、第１の画像である顔画像を生成し、かつ、顔領域の顔の表情に基づいて、対応画像であるポーズ画像を選択するために、全体として統一感を持つと共に、元画像から表現豊かなキャラクター画像を生成することができる。
【００５７】
また、撮像装置１は、対応画像であるポーズ画像を複数記憶したポーズ画像記憶部７２を備える。
ポーズ選択部５４は、ポーズ画像記憶部７２に記憶された複数の対応画像であるポーズ画像から画像特定部５２により特定された顔の表情に対応した対応画像であるポーズ画像を選択する。
これにより、撮像装置１においては、予め用意された表情に対応する対応画像であるポーズ画像を選択するだけで、キャラクター画像を生成できるため、簡単にキャラクター画像の生成を行うことができる。
【００５８】
また、撮像装置１において、対応画像であるポーズ画像は、人物の姿勢や行動を表現した画像である。
これにより、撮像装置１においては、顔以外の部位における人物の姿勢や行動を表現したキャラクター画像となるため、全体として感情を表し、表現豊かなキャラクター画像を生成することができる。
【００５９】
画像特定部５２は、元画像を顔認識して画像を解析することにより顔の表情を特定する。
これにより、撮像装置１においては、顔認識を用いて、顔の表情を特定するために、より精度高く、顔の表情を特定することができるために、顔画像とポーズ画像との全体としての統一感をより高くすることができる。
【００６０】
また、撮像装置１において、元画像は、顔を撮影した画像である。
顔画像生成部５３は、似顔絵変換により元画像から顔画像を生成する。
これにより、撮像装置１においては、顔を撮影した画像を元画像として用い、似顔絵変換から顔画像を生成するため、実写をキャラクター化した画像を生成することができる。
【００６１】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００６２】
上述の実施形態では、例えば、撮影前に、怒っているか、笑っているか、泣いているか等の表情を報知するように構成してもよい。この場合、表情の（バー状・ダイヤグラム状等の）レベルメーターをライブビュー画面に表示するように構成してもよい。
このように撮影前の表情を報知することで、撮影前に作りたいポーズの顔の表情で撮影することも可能となる。
【００６３】
また、上述の実施形態では、同一の顔の表情でも多彩なキャラクター画像を生成するために、同一の顔の表情に対応した対応画像であるポーズ画像をグループ化させた対応画像群から複数のポーズ画像を選択し、複数の同一の顔の表情に対応したキャラクター画像を生成するように構成することができる。
具体的には、ポーズ画像記憶部７２は、同一の顔の表情に対応した対応画像であるポーズ画像をグループ化させた対応画像群を、対応する表情毎に記憶する。ポーズ選択部５４は、顔の表情に対応した対応画像群に含まれる複数の対応画像であるポーズ画像を選択する。キャラクター画像生成部５５は、第１の画像である顔画像と、ポーズ選択部５４により選択された複数の対応画像を合成し、複数の第２の画像であるキャラクター画像を生成するように構成する。
【００６４】
また、上述の実施形態では、キャラクター画像に文字画像を合成するように構成することができる。
具体的には、キャラクター画像生成部５５は、第２の画像であるキャラクター画像に文字画像を合成する文字画像合成手段を更に備えるように構成する。
【００６５】
また、上述の実施形態では、画像から解析した人の顔の表情に基づいて、キャラクター画像を生成したがこれに限られず、例えば、画像から解析した年齢、性別等の画像から解析可能な情報に基づいて、キャラクター画像を生成するように構成してもよい。
【００６６】
また、上述の実施形態では、人の顔の表情に基づいて、キャラクター画像を生成するように構成したがこれに限られず、表情を検出可能な動物や擬人化可能な物体（例えば、石や車等）を含む画像から状態を特定してキャラクター画像を生成するように構成してもよい。
【００６７】
また、上述の実施形態では、予めポーズ画像記憶部７２に記憶されたポーズ画像を選択してポーズ画像を生成したが、キャラクター画像生成に際して、表情に対応してその都度ポーズ画像を生成するように構成してもよい。
【００６８】
また、上述の実施形態では、キャラクター画像は、静止画として説明したが、複数枚の画像を連続的に表示して動きのある画像や動画像としても構成することができる。
【００６９】
生成したキャラクター画像は、本実施形態においては、インスタントメッセージ等においてテキストに代えて感情等を伝えるツールとして利用する例を説明したが、例えば、メールの文中に表示させたり、画像データを用いて、スタンプ製造器におけるスタンプ製造用データとして利用したりすることができる。
【００７０】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、キャラクター画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【００７１】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００７２】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００７３】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。
【００７４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００７５】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７６】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
元画像を取得する取得手段と、
前記取得手段により取得された前記元画像から顔領域を検出する検出手段と、
前記検出手段により検出された前記顔領域に基づいて、第１の画像を生成する第１の生成手段と、
前記検出手段により検出された前記顔領域の顔の表情を特定する特定手段と、
前記特定手段により特定された前記顔の表情に対応した対応画像を選択する選択手段と、
前記第１の生成手段により生成された前記第１の画像と、前記選択手段により選択された前記対応画像とを合成して第２の画像を生成する第２の生成手段と、
を備えることを特徴とする画像生成装置。
［付記２］
前記対応画像を複数記憶した対応画像記憶手段を備え、
前記選択手段は、前記対応画像記憶手段に記憶された複数の前記対応画像から前記特定手段により特定された前記顔の表情に対応した前記対応画像を選択する、
ことを特徴とする付記１に記載の画像生成装置。
［付記３］
前記対応画像記憶手段は、
同一の前記顔の表情に対応した対応画像をグループ化させた対応画像群を、対応する表情毎に記憶し、
前記選択手段は、前記顔の表情に対応した前記対応画像群に含まれる複数の対応画像を選択し、
前記第２の生成手段は、前記第１の画像と、前記選択手段により選択された複数の対応画像とを合成し、複数の前記第２の画像を生成することを特徴とする付記２に記載の画像生成装置。
［付記４］
前記第２の生成手段は、前記第２の画像に文字画像を合成する文字画像合成手段を更に備えることを特徴とする付記１乃至３に記載の画像生成装置。
［付記５］
前記対応画像は、顔以外の人の身体を含む画像である、
ことを特徴とする付記１乃至４に記載の画像生成装置。
［付記６］
前記対応画像は、人物の姿勢や行動を表現した画像である、
ことを特徴とする付記１乃至５に記載の画像生成装置。
［付記７］
前記第１の生成手段は、似顔絵変換により前記元画像から顔画像を生成する、
ことを特徴とする付記１乃至６の何れか１つに記載の画像生成装置。
［付記８］
元画像を取得する取得ステップと、
前記取得ステップにより取得された前記元画像から顔領域を検出する検出ステップと、
前記検出ステップにより検出された前記顔領域に基づいて、第１の画像を生成する第１の生成ステップと、
前記検出ステップにより検出された前記顔領域の顔の表情を特定する特定ステップと、
前記特定ステップにより特定された前記顔の表情に対応した対応画像を選択する選択ステップと、
前記第１の生成ステップにより生成された前記第１の画像と、前記選択ステップにより選択された前記対応画像とを合成して第２の画像を生成する第２の生成ステップと、
を含むことを特徴とする画像生成方法。
［付記９］
コンピュータを、
元画像を取得する取得手段、
前記取得手段により取得された前記元画像から顔領域を検出する検出手段、
前記検出手段により検出された前記顔領域に基づいて、第１の画像を生成する第１の生成手段、
前記検出手段により検出された前記顔領域の顔の表情を特定する特定手段、
前記特定手段により特定された前記顔の表情に対応した対応画像を選択する選択手段、
前記第１の生成手段により生成された前記第１の画像と、前記選択手段により選択された前記対応画像とを合成して第２の画像を生成する第２の生成手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００７７】
１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・元画像取得部，５２・・・画像特定部，５３・・・顔画像生成部，５４・・・ポーズ選択部，５５・・・キャラクター画像生成部，７１・・・元画像記憶部，７２・・・ポーズ画像記憶部，７３・・・キャラクター画像記憶部
【図１】
2016118991.tif 000003
【図２】
2016118991.tif 000004
【図３】
2016118991.tif 000005
【図４】
2016118991.tif 000006
【図５】
2016118991.tif 000007