(57)【要約】【課題】付加画像を撮影画像に編集可能に配置する。【解決手段】画像処理装置は、生成されたユーザの顔画像データを解析して目や鼻、口などの顔のパーツを抽出し、抽出された各顔パーツを表す付加画像を生成する。画像処理装置は、生成された付加画像データまたは予め画像処理装置に格納されている付加画像データと、撮影画像データとを合成し合成画像データを生成して、合成画像データにより表される合成画像を印刷する。なお、付加画像データには、予め、撮影画像データと合成する際に、最初に配置する位置に関する初期位置情報、付加画像を編集可能な領域に関する編集可能領域情報が含まれる属性情報が含まれており、画像処理装置は、属性情報の初期位置情報に応じて付加画像を撮影画像に配置し、属性情報の編集可能領域情報に基づいて付加画像データを編集する。【選択図】図１３
2007134762.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影することにより得られる撮影画像を処理する画像処理装置であって、
前記撮影画像に付加される付加画像を準備する準備手段と、
前記撮影画像に前記付加画像が合成して合成画像を生成する合成画像生成手段を備え、
前記合成画像生成手段は、
前記撮影画像を解析して、前記画像の中の前記被写体の顔に関する顔情報を取得する取得手段と、
前記顔情報に基づき、前記付加画像を、前記撮影画像に編集可能に配置する配置手段と、
前記撮影画像に配置された付加画像を編集する編集手段と、を備える画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、更に、
前記顔情報に基づき、前記撮影画像における、前記付加画像の編集を可能とする編集可能領域を特定する領域特定手段を備え、
前記編集手段による編集は、前記編集可能領域によって規定される、画像処理装置。
【請求項３】
請求項１または請求項２記載の画像処理装置であって、
前記顔情報には、前記被写体の顔を構成する構成部分の検出結果が含まれており、
前記画像処理装置は、更に、
前記検出結果に基づき、前記撮影画像から、前記構成部分の画像を抽出する抽出手段と、
前記抽出された構成部分の画像を用いて前記付加画像を生成する付加画像生成手段を備える画像処理装置。
【請求項４】
請求項１ないし請求項３いずれか記載の画像処理装置であって、
前記付加画像は、前記被写体の顔に含まれる構成部分と関連づけられており、
前記配置手段は、前記付加画像を、前記関連づけられている構成部分の配置位置に配置する、画像処理装置。
【請求項５】
請求項１ないし請求項４いずれか記載の画像処理装置であって、
前記編集には、前記付加画像の移動が含まれる、画像処理装置。
【請求項６】
請求項１ないし請求項５いずれか記載の画像処理装置であって、
前記編集には、前記付加画像の変形が含まれる、画像処理装置。
【請求項７】
請求項１ないし請求項６いずれか記載の画像処理装置であって、更に、
前記撮影画像内に、二人以上の被写体が表現されている場合に、前記各被写体の前記顔情報と、前記編集を行う各ユーザに関するユーザ情報とを関連づける関連づけ手段と、
前記関連づけに応じて、前記撮影画像における、前記各ユーザが編集可能な領域を制限する領域制限手段と、を備える画像処理装置。
【請求項８】
画像処理装置により実行される画像処理方法であって、
被写体を撮影することにより得られる撮影画像に付加される付加画像を準備し、
前記撮影画像を解析して、前記被写体の顔に関する顔情報を取得し、
前記顔情報に基づき、前記付加画像を、前記撮影画像に編集可能に配置して、前記撮影画像と前記付加画像とを合成し、
前記配置された付加画像を編集する、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の技術に関し、特に、合成画像を生成する技術に関する。
【背景技術】
【０００２】
ユーザの撮影画像に、ユーザが所望するフレーム画像やアイコン画像を合成し、合成画像を印刷するプリント装置が普及している。このようなプリント装置には、予めフレーム画像データやアイコン画像データが格納されており、ユーザは、予め格納されているアイコン画像データ、フレーム画像データを利用して合成画像を作成する。
【０００３】
【特許文献１】特開２００２−７７５９２号公報
【特許文献２】特開２０００−１５１９８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、ユーザが利用できるアイコン画像やフレーム画像は、予め格納されている画像に限定されている。また、一度選択されたアイコン画像・フレーム画像は、合成された後に拡大や変形を行うことができない。
【０００５】
本発明は上述の課題に鑑みてなされたものであり、多様な付加画像データを生成し、撮影画像に編集可能に配置することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題の少なくとも一部を解決するために、被写体を撮影することにより得られる撮影画像を処理する本発明の画像処理装置において、前記撮影画像に付加される付加画像を準備する準備手段と、前記撮影画像に前記付加画像を合成して合成画像を生成する合成画像生成手段を備えることを要旨とする。前記合成画像生成手段は、前記撮影画像を解析して、前記撮影画像中の前記被写体の顔に関する顔情報を取得する取得手段と、前記顔情報に基づき、前記付加画像を、前記撮影画像に編集可能に配置する配置手段と、前記撮影画像に配置された付加画像を編集する編集手段と、を備える。
【０００７】
本発明の画像処理装置によれば、簡易な構成で、準備されている付加画像を撮影画像に編集可能に配置し、配置された付加画像を編集することができる。
【０００８】
本発明の画像処理装置において、更に、前記顔情報に基づき、前記撮影画像における、前記付加画像の編集を可能とする編集可能領域を特定する領域特定手段を備え、前記編集手段による編集は、前記編集可能領域によって規定されてもよい。
【０００９】
本発明の画像処理装置によれば、編集可能領域を特定することができるため、ユーザは簡易に編集を行うことができる。
【００１０】
本発明の画像処理装置において、前記顔情報には、前記被写体の顔の構成部分の検出結果が含まれており、前記画像処理装置は、更に、前記検出結果に基づき、前記撮影画像から、前記構成部分の画像を抽出する抽出手段と、前記抽出された構成部分の画像を用いて前記付加画像を生成する付加画像生成手段を備えていてもよい。
【００１１】
本発明の画像処理装置によれば、被写体の構成部分を表す付加画像を生成できる。従って、付加画像の種類を増加でき、ユーザの画像処理装置の利用を促進できる。
【００１２】
本発明の画像処理装置において、前記付加画像は、前記被写体の顔に含まれる構成部分と関連づけられており、前記配置手段は、前記付加画像を、前記関連づけられている構成部分の配置位置に配置してもよい。
【００１３】
本発明の画像処理装置によれば、付加画像を関連づけられている構成部分が表されている位置に配置することができる。従って、合成画像生成におけるユーザの操作負担を軽減できる。
【００１４】
本発明の画像処理装置において、前記編集には、前記付加画像の移動が含まれていてもよい。
【００１５】
また、本発明の画像処理装置において、前記編集には、前記付加画像の変形が含まれていてもよい。
【００１６】
本発明の画像処理装置によれば、撮影画像に配置した付加画像を移動させることができ、ユーザは柔軟に合成画像を編集できる。
【００１７】
本発明の画像処理装置において、更に、前記撮影画像内に、二人以上の被写体が表現されている場合に、前記各被写体の前記顔情報と、前記編集を行う各ユーザに関するユーザ情報とを関連づける関連づけ手段と、前記関連づけに応じて、前記撮影画像内の領域であって、前記各ユーザが編集可能な領域を制限する領域制限手段と、を備えていてもよい。
【００１８】
本発明の画像処理装置によれば、ユーザ別に編集可能な領域を制限することができる。従って、合成画像生成におけるユーザの操作負担を軽減できる。
【００１９】
本発明において、上述した種々の態様は、適宜、組み合わせたり、一部を省略したりして適用することができる。また、本発明は、上述した画像処理装置としての構成の他に、画像処理装置による画像処理方法、画像処理装置に画像処理させるためのコンピュータプログラム、かかるコンピュータプログラムをコンピュータ読み取り可能に記録した記録媒体等としても構成できる。いずれの構成においても、上述した各態様を適宜適用可能である。コンピュータが読み取り可能な記録媒体としては、例えば、フレキシブルディスクや、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ハードディスク等種々の媒体を利用することが可能である。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について、実施例に基づき、適宜図面を参照しながら説明する。
【００２１】
Ａ．実施例：
Ａ１．システム構成：
本実施例では、ユーザの顔を個別に撮影し、撮影により得られたユーザの顔の画像から付加画像を生成して、生成された付加画像もしくは予め準備されている付加画像と、別途撮影された撮影画像とを合成して合成画像を生成し印刷する画像処理装置１００について説明する。本実施例では、付加画像とは撮影画像を装飾する図形画像を示す。
【００２２】
図１は、本実施例における画像処理装置１００の概略構成を例示する説明図である。画像処理装置１００は、ビデオカメラ１０、ディスプレイ１１、操作パネル２０、操作ペン２１、ビデオカメラ３０、ディスプレイ３１、操作パネル３２、取り出し口４０を備える。ビデオカメラ１０、ビデオカメラ３０は動画像を撮影するデジタルビデオカメラである。ディスプレイ１１、ディスプレイ３１には液晶パネルが用いられている。操作ペン２１は、操作パネル２０にはタッチパネルが含まれており、該タッチパネルを操作するためのペン状の入力機器である。
【００２３】
ビデオカメラ３０はユーザの顔を個別に撮影するためのビデオカメラである。ディスプレイ３１には、ビデオカメラ３０により撮影された動画像が表示される。動画像とは、時系列に取得された複数のフレーム画像データを表す。操作パネル３２には、ユーザが、ユーザの顔の静止画像データを取得するための指示を入力するためのボタン３３を備える。画像処理装置１００は、操作パネル３２のボタン３３が押下されると、ビデオカメラ３０により撮影されたフレーム画像データから、ボタン３３が押下された際の直近のフレーム画像データを取得する。こうして取得されたフレーム画像データを、ユーザの顔の顔画像データと呼ぶ。また、顔画像データによって表される画像を顔画像と呼ぶ。
【００２４】
ビデオカメラ１０は立ち位置５０周辺に位置するユーザを撮影するためのビデオカメラである。ディスプレイ１１には、ビデオカメラ１０により撮影された動画像が表示される。操作パネル２０は、ユーザからの入力を受け付ける受付部を備える。ユーザからの入力とは、例えば、立ち位置５０周辺に位置するユーザの静止画像の取得指示、取得された撮影画像と付加画像との合成指示、合成された合成画像の編集指示が含まれる。ユーザは、操作ペン２１を用いて操作パネル２０のタッチパネルをタッチすることにより、画像処理装置１００に対して指示を入力する。画像処理装置１００は、操作パネル３２を介してユーザから指示が入力されると、ビデオカメラ１０により撮影されたフレーム画像データから、ユーザからの指示が入力された際の直近のフレーム画像データを取得する。こうして取得されたフレーム画像データを撮影画像データと呼ぶ。また、撮影画像データによって表される画像を撮影画像と呼ぶ。
【００２５】
画像処理装置１００は、生成されたユーザの顔画像データを解析して目や鼻、口などの顔のパーツを抽出し、抽出された各顔パーツを表す付加画像を生成する。画像処理装置１００は、生成された付加画像データまたは予め画像処理装置１００に格納されている付加画像データと、撮影画像データとを合成し合成画像データを生成して、合成画像データにより表される合成画像を印刷する。なお、付加画像データには、予め、撮影画像データと合成する際に、最初に配置する位置に関する初期位置情報、付加画像を編集可能な領域に関する編集可能領域情報が含まれる属性情報が含まれており、画像処理装置１００は、属性情報の初期位置情報に応じて付加画像を撮影画像に配置し、属性情報の編集可能領域情報に基づいて付加画像データを編集する。
【００２６】
Ａ２．機能ブロック：
図２は、本実施例における画像処理装置１００の機能ブロックを例示する説明図である。画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、メモリ１０３、撮影画像取得部１２０、顔画像取得部１３０、付加画像格納部１４０、プリンタ１５０を備える。撮影画像取得部１２０は、ビデオカメラ１０、ディスプレイ１１、操作パネル２０を備える。顔画像取得部１３０は、ビデオカメラ３０、ディスプレイ３１、操作パネル３２を備える。メモリ１０３は、撮影モジュール１０９、付加画像生成モジュール１１０、顔情報取得モジュール１１１、合成画像生成モジュール１１２を備え、合成画像生成モジュール１１２は、初期配置モジュール１１３、編集可能領域規定モジュール１１４、編集モジュール１１５を備える。メモリ１０３に備えられている各モジュールはソフトウェア的に構成され、ＣＰＵ１０１により制御されている。
【００２７】
撮影モジュール１０９は、操作パネル２０を介してユーザから撮影画像の取得指示を受けると、ビデオカメラ１０により撮影されたフレーム画像データから撮影画像データを取得し、ＲＡＭ１０２に記憶する。
【００２８】
また、撮影モジュール１０９は、操作パネル３２を介してユーザから撮影画像の取得指示を受けると、ビデオカメラ３０により撮影されたフレーム画像データから顔画像を取得し、ＲＡＭ１０２に記憶する。
【００２９】
付加画像生成モジュール１１０は、ＲＡＭ１０２に記憶されている顔画像データを解析し、ユーザの顔パーツを抽出して各顔パーツを表す付加画像データを生成し付加画像格納部１４０に格納する。顔パーツとは、例えば、目、鼻、口が含まれる。付加画像生成モジュール１１０は、また、各顔パーツを変形させた付加画像を生成し付加画像格納部１４０に格納する。
【００３０】
付加画像格納部１４０は、画像処理装置１００内の図示しないハードディスクドライブに含まれている。付加画像格納部１４０には、予め準備されている付加画像データと、付加画像生成モジュール１１０によって生成された付加画像データが格納される。
【００３１】
顔情報取得モジュール１１１は、ＲＡＭ１０２に記憶されている撮影画像データを解析して、撮影画像に表されるユーザの顔に関する顔情報を取得する。顔情報には、例えば、撮影画像に表されるユーザの目、鼻等の顔パーツの位置、顔全体の領域が含まれる。
【００３２】
初期配置モジュール１１３は、撮影画像データと合成する付加画像データが選択されると、付加画像データの初期位置情報と顔情報取得モジュール１１１によって取得された顔情報とに応じて撮影画像上に付加画像を配置する。
【００３３】
編集可能領域規定モジュール１１４は、撮影画像内において、初期配置モジュール１１３によって撮影画像上に配置された付加画像を編集可能とする編集可能領域を規定する。
【００３４】
編集モジュール１１５は、初期配置モジュール１１３によって撮影画像に配置された付加画像を、編集可能領域規定モジュール１１４によって規定された編集可能領域内で編集し、編集された後の合成画像をＲＡＭ１０２に記憶する。編集には、例えば、移動、形状およびサイズの変形が含まれる。
【００３５】
印刷制御モジュール１１６は、ＲＡＭ１０２に記憶されている合成画像をプリンタ１５０が解釈可能は形式に変換し、プリンタ１５０に出力する。
【００３６】
プリンタ１５０は、印刷制御モジュール１１６から出力された合成画像データにより表される合成画像を印刷する。プリンタ１５０が合成画像を印刷することにより、ユーザは合成画像が表現された印刷物（写真）を取得できる。
【００３７】
Ａ３．合成画像生成処理：
図３，図５および図１２のフローチャートに沿って、適宜、図４、図６〜図１１および図１３〜図１８を参照しながら、画像処理装置１００が実行する合成画像生成処理について説明する。図３は、合成画像を生成し印刷する処理の全体的な流れを説明するフローチャートである。図４は、顔画像取得部１３０により取得された顔画像を例示する説明図である。図５は、付加画像生成処理について説明するフローチャートである。図６および図７は、付加画像の一例を例示する説明図である。図８は、付加画像の属性情報について説明する説明図である。図９〜図１１は、撮影画像取得部１２０によって撮影された撮影画像の顔情報について説明する説明図である。図１２は、合成処理について説明するフローチャートである。図１３、図１５，図１６は、編集画面の画面例である。図１４、図１７，図１８は、編集処理について説明する説明図である。合成画像生成処理は、ＣＰＵ１０１が各モジュールを実行することにより行われる。
【００３８】
ＣＰＵ１０１は、ユーザの顔画像データを取得し（ステップＳ１０）、顔画像データをＲＡＭ１０２に記憶する（ステップＳ１１）。図４に示すように、取得された顔画像データによって表される顔画像２００には、ユーザの胸部から上が表されている。
【００３９】
ＣＰＵ１０１は、付加画像生成モジュール１１０を実行して、付加画像を表す付加画像データを生成する（ステップＳ１２）。付加画像生成処理について、図５〜図７を用いて詳細に説明する。付加画像生成処理は、ＣＰＵ１０１が付加画像生成モジュール１１０を実行して行う処理であるが、説明を明瞭とするため付加画像生成モジュール１１０が実行するものとして説明する。
【００４０】
付加画像生成モジュール１１０は、ＲＡＭ１０２に記憶されている顔画像２００を表す顔画像データを解析し（ステップＳ３０）、解析結果から顔画像２００に表されているユーザの顔パーツの画像データを抽出する（ステップＳ３１）。図４に例示されているように、例えば、付加画像生成モジュール１１０は、解析結果から顔画像２００に表されているユーザの右目データ２０１を抽出する。抽出方法は、一般的に利用されている顔のパーツの抽出手法、例えば、エッジの抽出、色情報の分布による顔パーツ識別を用いてよい。例えば、付加画像生成モジュール１１０は、顔画像データのエッジを抽出し、顔画像データ中の肌色領域、すなわち、顔領域の上半分に、白色領域に挟まれるように黒色領域が存在する場合、その白色領域は白目を、黒色領域は黒目を表していると判断し、白色領域と黒色領域とを合わせた領域が、顔画像データにより表される顔画像２００に含まれるユーザの目を表す領域と判断してもよい。
【００４１】
付加画像生成モジュール１１０は、抽出された各パーツ画像データから付加画像データを生成する（ステップＳ３２）。図５に示すように、付加画像生成モジュール１１０は、切り出された右目データ２０１を、付加画像データとして規定されているサイズに合致するように拡大・縮小し、右目画像データ２０２を生成する。また、付加画像生成モジュール１１０は、右目データ２０１を変形させた付加画像データを生成してもよい。例えば、右目データ２０１を変形させて、図６に示すような笑った右目画像データ２０３を生成してもよい。
【００４２】
付加画像生成モジュール１１０は、付加画像データの属性情報を設定する（ステップＳ３３）。具体的には、付加画像生成モジュール１１０は、顔画像データの解析結果を用いて、生成された付加画像データが右目を表す画像データである場合、初期位置情報に「右目」を設定し、編集可能領域情報に、「顔領域内」と設定する。
【００４３】
付加画像の属性情報について、図８を用いて説明する。図８に示す属性情報２０２ａは、右目画像データ２０２に含まれる属性情報を例示している。属性情報２０２ａには、初期位置、編集可能領域情報が含まれている。図示するように、属性情報２０２ａの初期位置情報には「右目」と設定されている。また、属性情報２０２ａの編集可能領域情報には「顔領域内」と設定されている。
【００４４】
付加画像生成モジュール１１０は、属性情報が設定された付加画像データを付加画像格納部１４０に格納する（ステップＳ３４）。
【００４５】
付加画像生成処理を終了すると、ＣＰＵ１０１は、ビデオカメラ１０を用いて立ち位置５０周辺に存在するユーザを撮影し（ステップＳ１３）、操作パネル２０を介してユーザから撮影画像取得の指示の入力を受けて、撮影画像データを生成してＲＡＭ１０２に記憶する（ステップＳ１４）。
【００４６】
ＣＰＵ１０１は、顔情報取得モジュール１１１を実行して、ＲＡＭ１０２に記憶されている撮影画像データを解析し（ステップＳ１５）、撮影画像におけるユーザの顔に関する顔情報を取得する（ステップＳ１６）。本実施例では、撮影画像データの画素数は、１２８０×９６０ピクセルであるが、以降では説明の便宜上、「Ｘｍ（ピクセル）×Ｙｍ（ピクセル）」と表す。本実施例では、図９に示すように、撮影画像２５０の水平方向をＸ軸、垂直方向をＹ軸として各画素の位置を座標によって表す。例えば、撮影画像２５０の４隅の画素の位置は、撮影画像２５０の左上、右上、左下、右下の順に、Ｐ０（０，０）、Ｐ１（Ｘｍ，０）、Ｐ２（０，Ｙｍ）、Ｐ３（Ｘｍ，Ｙｍ）と表される。
【００４７】
ＣＰＵ１０１は、撮影画像２５０を解析し、撮影画像２５０に表されているユーザの顔領域を抽出する。ＣＰＵ１０１は、撮影画像２５０に含まれる所定数以上の画素を有する領域を含む最小矩形領域を顔領域として抽出する。図９に示すように、撮影画像２５０の顔領域２６０は、左上座標Ｄ１（ｘ１，ｙ１）および右下座標Ｄ２（ｘ２，ｙ２）を対角線の両端とするように規定される矩形によって表される。
【００４８】
ＣＰＵ１０１は、撮影画像２５０に表されているユーザの各顔パーツ領域、例えば、目の領域についても抽出する。目の領域の抽出は、既述した付加画像生成処理における顔パーツの抽出と同様の手法を利用してよい。図１０に示すように、撮影画像２５０におけるユーザの右目の領域２６１は、左上座標Ｄ５（ｘ５，ｙ５）および右下座標Ｄ６（ｘ６，ｙ６）からなる矩形によって表される。右目の黒目領域２６２は、左上座標Ｄ７（ｘ７，ｙ７）および右下座標Ｄ８（ｘ８，ｙ８）からなる矩形によって表される。左目領域２６３は、左上座標Ｄ９（ｘ９，ｙ９）および右下座標Ｄ１０（ｘ１０，ｙ１０）からなる矩形によって表される。このように、顔領域、各パーツ領域は、抽出された顔、各パーツが含まれる最小矩形によって表される。
【００４９】
ＣＰＵ１０１は、抽出された顔領域、各顔パーツ領域を表す情報を顔情報テーブル４００に格納する。図１１を用いて顔情報テーブル４００について説明する。顔情報テーブル４００は、ＣＰＵ１０１によって作成され、ＲＡＭ１０２に記憶される。顔情報テーブル４００には、ユーザの顔に関する領域を特定するための座標が含まれている。例えば、顔領域を表す矩形の左上の画素の座標はＤ１（ｘ１，ｙ１）、右下の画素の座標はＤ２（ｘ２，ｙ２）であることが示されている。
【００５０】
ＣＰＵ１０１は、取得された顔情報を用いて、撮影画像２５０と付加画像格納部１４０に格納されている付加画像とを合成する処理を行う（ステップＳ１７）。合成処理について、図１２〜図１８を用いて詳細に説明する。
【００５１】
ＣＰＵ１０１は、操作パネル２０に編集画面を表示する（ステップＳ５１）。編集画面について、図１３を参照して説明する。操作パネル２０には、編集画面６０が表示される。編集画面６０には、撮影画像２５０、パーツ画像一覧５００、その他の付加画像一覧５１０および完了ボタン５２０が表示される。パーツ画像一覧５００に表されている付加画像は、付加画像生成モジュール１１０により生成された付加画像データにより表される付加画像である。
【００５２】
パーツ画像一覧５００には、顔画像２００に基づき生成された付加画像５０１〜５０４が表示されている。付加画像５０１および５０２は、顔画像２００に表されている右目、左目を表す付加画像である。付加画像５０３および５０４は、顔画像２００に表されている右目、左目をそれぞれ笑っているように変形させた右目、左目を表す付加画像である。付加画像一覧５１０には、予め、付加画像格納部１４０に格納されている付加画像データにより表される付加画像５１１〜５１８が表示されている。
【００５３】
ＣＰＵ１０１は、パーツ画像一覧５００および付加画像一覧５１０からいずれかの付加画像が選択されたかを判断する（ステップＳ５２）。図１３に示すように、ユーザは、操作ペン２１を用いて操作パネル２０上で、撮影画像２５０と合成する付加画像を選択する。本実施例では、図１３にハッチングで示すように、付加画像５０３がユーザによって選択される。
【００５４】
ＣＰＵ１０１は、付加画像が選択されると（ステップＳ５２：ＹＥＳ）、選択された付加画像を表す付加画像データの属性情報を参照して初期位置情報を取得し、初期位置情報と顔情報テーブル４００とに応じて、選択された付加画像のサイズを変更する（ステップＳ５３）と共に、選択された付加画像の撮影画像２５０における初期配置位置を決定する（ステップＳ５４）。ＣＰＵ１０１は、サイズ変更された付加画像を決定された初期配置位置に配置する（ステップＳ５５）。以上説明したステップＳ５２〜ステップＳ５４の処理は、ＣＰＵ１０１が初期配置モジュール１１３を実行することにより行われる。
【００５５】
ＣＰＵ１０１は、ユーザから付加画像５０３の指定を受け付けると、付加画像５０３を表す付加画像データの属性情報を参照し、付加画像５０３の初期位置情報を取得する。本実施例では、付加画像５０３の初期位置情報には「右目」と設定されているため、ＣＰＵ１０１は、顔情報テーブル４００の右目の項目の座標情報から、撮影画像２５０における右目領域の位置およびサイズを取得する。ＣＰＵ１０１は、図１４に示すように、選択された付加画像５０３のサイズを、撮影画像２５０における右目領域のサイズに合うように拡大もしくは縮小し、サイズ変更された付加画像５０３を撮影画像２５０の右目領域の位置（左上座標Ｄ５（ｘ５，ｙ５）および右下座標Ｄ６（ｘ６，ｙ６））に配置する。
【００５６】
ＣＰＵ１０１は、選択された付加画像５０３の初期配置処理後、付加画像５０３を表す付加画像データの属性情報２０２ａを参照して編集可能領域情報を取得し、編集可能領域情報および顔情報テーブル４００に応じて、編集可能領域を規定する（ステップＳ５６）。具体的には、付加画像５０３を表す付加画像データの属性情報の編集可能領域情報には「顔領域内」と設定されており、ＣＰＵ１０１は、図１４に示すように、顔情報テーブル４００の顔領域の座標情報（左上座標Ｄ１（ｘ１，ｙ１）および右下座標Ｄ２（ｘ２，ｙ２））により特定される矩形領域を付加画像５０３の編集可能領域２５１ａとして規定する。
【００５７】
ＣＰＵ１０１は、ユーザから付加画像５０３の編集指示を受けたか否かを判断する（ステップＳ５７）。
【００５８】
ユーザは、編集を所望する付加画像上に操作ペン２１を置き、付加画像をドラッグアンドドロップすることにより、編集を行う。例えば、ユーザは、付加画像５０３の上に操作ペン２１を置き、図１４に示すように、矢印Ａのように付加画像５０３をドラッグアンドドロップすることにより、付加画像５０３を破線枠２７２によって示す位置に移動することができる。付加画像が操作ペン２１によってドラッグアンドドロップされることにより画像処理装置１００に編集指示が入力される。
【００５９】
ＣＰＵ１０１は、ユーザから付加画像５０３の編集指示を受けた場合（ステップＳ５７：ＹＥＳ）、編集可能領域内で編集する（ステップＳ５８）。編集可能領域内で編集するとは、例えば、付加画像５０３を移動する際に、図１４において矢印Ａで示されるように、付加画像５０３が編集可能領域２５１ａ内において移動することは可能であるが、矢印Ｂで示すように、付加画像５０３が編集可能領域２５１ａの外にドラッグアンドドロップされると、付加画像５０３はドラッグアンドドロップを行う前の元の位置に戻り編集可能領域２５１ａの外側には移動できないことを示す。
【００６０】
ＣＰＵ１０１は、編集処理（ステップＳ５８）の終了後、またはユーザから付加画像５０３の編集要求を受けなかった場合（ステップＳ５７：ＮＯ）、または付加画像が選択されない場合（ステップＳ５２：ＮＯ）、編集画面６０の完了ボタンが押下されたか否かを判断する（ステップＳ５９）。
【００６１】
ＣＰＵ１０１は、図１５に示すように、ユーザによって完了ボタン５２０が押下されると（ステップＳ５９：ＹＥＳ）、プリンタ１５０を用いて、撮影画像２５０と付加画像５０３とが合成された合成画像２５１を印刷する（ステップＳ１９）。
【００６２】
上述した一連の合成画像生成処理では、顔画像２００から生成された付加画像５０３と撮影画像２５０とを合成して合成画像２５１を生成したが、予め付加画像格納部１４０に格納されている付加画像と撮影画像２５０とを合成して合成画像を生成する処理について以下に説明する。
【００６３】
図１６に示すように、付加画像５１３が選択された場合を説明する。付加画像５１３は、アイライトという種類の付加画像であり、付加画像５１３の属性情報２０２ａの関連パーツ情報には「黒目」、初期位置情報には「黒目」、編集可能領域情報には「黒目」と設定されている。付加画像５１３が選択されると、図１６に示されるように、付加画像５１３は、撮影画像２５２の右目の黒目領域に配置される。右目領域の拡大図２８０を図１７（ａ）に示す。ＣＰＵ１０１は、図１７（ａ）に示すように、付加画像５１３が選択されると、黒目領域２６２の大きさに応じて付加画像５１３を拡大・縮小して付加画像５１３ａとし、撮影画像２５０の黒目領域２６２に付加画像５１３ａを配置する。撮影画像２５０では、左目が閉じられているため、左目の黒目領域は存在せず、付加画像５１３は配置されない。仮に、左目も右目と同様に開いている場合には、両目の黒目に付加画像５１３ａが配置される。
【００６４】
また、付加画像５１３ａには、付加画像５１３ａを拡大・縮小する際に基準となる点Ｃに関する情報が含まれている。ユーザは、付加画像５１３ａの点Ｃに操作ペン２１を合わせてドラッグアンドドロップすることにより、付加画像５１３ａを拡大・縮小できる。拡大・縮小処理については、一般的に用いられている手法を利用してよいが、例えば、点Ｃの移動距離に応じて、付加画像５１３ａの解像度を変換する手法を利用してもよい。例えば、図１７（ｂ）に示すように、付加画像５１３ａを付加画像５１３ｃのように拡大することも可能である。また、ユーザは、付加画像５１３ａをドラッグアンドドロップすることにより、付加画像５１３ａを任意に移動できる。例えば、図１７（ｂ）に示すように、付加画像５１３ａを付加画像５１３ｂの位置に移動することも可能である。ただし、付加画像５１３ａの属性情報の編集可能領域情報には「黒目」と設定されているため、付加画像５１３ａの移動、拡大・縮小といった編集処理は黒目領域２６２の領域内において可能である。本実施例では、黒目領域２６２は矩形で規定されているが、円形や楕円形など、より黒目そのものの形状に近い形状で黒目領域が規定されることとすれば、より精密に編集可能領域を規定できる。
【００６５】
また、図１８に示すように、ウィンクという種類の付加画像５１５が選択された場合を以下に説明する。付加画像５１５の属性情報の関連パーツには「左目」と設定されており、初期位置情報には「左目尻」と設定されている。付加画像５１５の編集可能領域情報には「顔領域以外」と設定されている。付加画像５１５には、更に、編集の基準となる基準点Ｅ１，Ｅ２が設定されている。
【００６６】
ＣＰＵ１０１は、付加画像５１５が選択されると、付加画像５１５の基準点Ｅ２を、初期位置情報の「左目尻」に当たる左目領域２６３の右下座標Ｄ１０（ｘ１０，ｙ１０）に合わせて付加画像５１５を配置する。ユーザは、基準点Ｅ１に操作ペン２１を合わせて、実線矢印Ｆ１，Ｆ２のようにドラッグアンドドロップすることにより、基準点Ｅ２を中心として、付加画像５１５を回転移動させることができる。また、ユーザは、基準点Ｅ１に操作ペン２１を合わせて、破線矢印Ｆ３のように付加画像５１５をドラッグアンドドロップすることにより、付加画像５１５を付加画像５１５ａのように変形できる。なお、付加画像５１５は、付加画像５１５の編集可能領域情報には「顔領域以外」と設定されているため、基準点Ｅ１が顔領域２６０内にドラッグアンドドロップされると、付加画像５１５は、ドラッグアンドドロップ前の元の位置に戻る。
【００６７】
以上説明した第１実施例の画像処理装置１００によれば、ユーザの顔画像に基づき顔パーツの付加画像を生成することができる。従って、ユーザは、付加画像格納部１４０に予め格納されている付加画像と生成された付加画像とから所望の付加画像を選択して合成画像を生成することができる。従って、画像処理装置１００を利用するユーザを飽きさせず、画像処理装置１００の利用を促進できる。
【００６８】
また、本実施例の画像処理装置１００によれば、付加画像を撮影画像上に配置した後に移動、変形などの編集を行うことができるため、ユーザは、同じ付加画像でも編集することによって種々の表現を行うことができる。従って、ユーザが画像処理装置１００を利用することに対して飽きを感じることを抑制し、ユーザに、画像処理装置１００を繰り返し利用させることを促進できる。
【００６９】
また、本実施例の画像処理装置１００によれば、付加画像の属性情報に関連パーツ情報、初期位置情報が含まれており、ユーザによって付加画像が選択されると、選択された付加画像を初期位置情報により特定される初期配置位置に配置することができる。従って、ユーザは、付加画像を選択した後に付加画像を配置する位置を指定する操作を省略できるため、ユーザの負担を軽減できる。
【００７０】
また、本実施例の画像処理装置１００によれば、付加画像の属性情報に編集可能領域情報が含まれており、画像処理装置１００はユーザから付加画像の編集を受けた際に、編集可能領域情報により規定される編集可能領域内で編集することができる。例えば、顔パーツと関連のない付加画像は付加画像に表されている顔領域以外の領域で編集可能とする、顔パーツに関連のある付加画像は、関連のある顔パーツの周辺で編集可能とすることができる。従って、ユーザの編集操作の負担を軽減できる。
【００７１】
Ｂ．変形例：
（１）
上述した第１実施例では、撮影画像２５０に表されている被写体が一人表されており、被写体となったユーザ自身が編集を行っているがこれに限られない。撮影画像に被写体が二人以上表されており、画像処理装置１００は、被写体となったユーザが編集できる領域を規定してもよい。
【００７２】
図１９は、変形例における撮影画像６００の編集可能領域について説明する説明図である。撮影画像６００には、被写体６０１、６０２が表されている。画像処理装置１００は、被写体６０１、６０２の顔領域６１０、６１１を抽出する。画像処理装置１００は、被写体６０１と被写体６０２とが別の領域に含まれるように、撮影画像６００の領域を分割する。具体的には、画像処理装置１００は以下の式（１）を用いて顔領域６１０と顔領域６１１とのＸ軸方向の中間点を求める。中間点のＸ座標をＸａと表す。
【００７３】
Ｘａ＝（ｘ１２＋ｘ１３）／２    …式（１）
【００７４】
画像処理装置１００は、算出された中間点のＸ座標に基づき、図１９に示すように、分割点Ａ１（Ｘａ，０）および分割点Ａ２（Ｘａ，Ｙｍ）を規定して、撮影画像６００を、領域ＲＡ（Ｐ０−Ａ１−Ａ２−Ｐ２）、および、領域ＲＢ（Ａ１−Ｐ１−Ｐ３−Ａ２）に分割する。
【００７５】
画像処理装置１００は、操作ペン２１を持ったユーザに、該ユーザが表されている領域を選択させ、選択された領域のみで、該ユーザに付加画像の配置・編集を可能とする。または、選択された領域以外のみを、該ユーザに編集可能としてもよい。より柔軟に、操作ペン２１を持つユーザに、所望の編集対象領域を選択させ、選択された領域内のみで付加画像の配置、編集を可能とする。
【００７６】
上述の変形例の画像処理装置１００によれば、分割された領域ごとに、各領域に表されているユーザ本人のみ、もしくは本人以外のみが、付加画像の配置・編集を行うことができる。従って、ユーザを飽きさせず、画像処理装置１００の利用を促進できる。
【００７７】
（２）
上述した実施例では、顔情報に基づいて付加画像を変形したが、これに限られない。例えば、余白に関する情報を利用して付加画像を変形してもよい。
【００７８】
図２０は、変形例における編集画面６０を例示する説明図である。画像処理装置１００は、付加画像５１２がユーザによって選択されると、付加画像５１２の属性情報の関連パーツ情報、初期位置情報および編集可能領域情報を参照する。付加画像５１２は吹き出しと呼ばれる付加画像である。付加画像５１２の属性情報の関連パーツ情報には「口」、初期位置情報には「口元右端」、編集可能領域情報には「顔領域以外」と設定されている。画像処理装置１００は、関連パーツ情報、初期位置情報および顔情報テーブル４００に応じて、口元右端を初期配置位置に決定する。画像処理装置１００は、編集可能領域情報に「顔領域以外」と規定されているため、顔情報テーブル４００の顔領域情報を参照し、顔領域以外の領域であって余白を算出し、余白の大きさに合わせて付加画像５１２のサイズを付加画像５１２ａのように変形して撮影画像２５０に配置する。こうすれば、ユーザの手間を省略でき、ユーザの利便性を向上できる。
【００７９】
（３）
上述した実施例では、画像処理装置１００は、街角に設定されていることを想定し、被写体となったユーザが直接その場で合成画像を生成しているがこれに限られない。例えば、インターネットを介してサーバ上に存在する画像にクライアント側に準備されている付加画像を配置・編集して付加画像を生成してもよい。
【００８０】
図２１は、変形例におけるシステム構成を例示する説明図である。本変形例における画像処理システム１０００は、クライアントパソコンＣＬとサーバＳＶとを備える。クライアントパソコンＣＬとサーバＳＶはインターネットＩＮＴを介して接続されている。サーバＳＶには、予め画像が格納されており、クライアントパソコンＣＬには、付加画像が格納されている。
【００８１】
ユーザは、クライアントパソコンＣＬを利用して、サーバＳＶに格納されている画像に、付加画像を配置・編集し合成画像を生成する。合成された画像をサーバＳＶにアップロードして保存しておいてもよいし、クライアントパソコンＣＬに接続されている図示しないプリンタを利用して印刷することもできる。サーバＳＶにアップロードしておけば、合成画像を複数人で共有したり、他のコンピュータから合成画像にアクセスしたりすることもでき、ユーザの利便性を向上できる。
【００８２】
（４）
上述の実施例では、初期位置情報、編集可能領域情報は付加画像の属性情報に含まれているがこれに限られない。例えば、付加画像と初期位置情報・編集可能領域情報を関連づけ、別々に管理してもよい。
【００８３】
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成をとることができることは言うまでもない。
【図面の簡単な説明】
【００８４】
【図１】実施例における画像処理装置の概略構成を例示する説明図。
【図２】実施例における画像処理装置の機能ブロックを例示する説明図。
【図３】実施例における合成画像生成処理の全体的な流れを説明するフローチャート。
【図４】実施例における顔画像を例示する説明図。
【図５】実施例における付加画像生成処理について説明するフローチャート。
【図６】実施例における付加画像の一例を示す説明図。
【図７】実施例における付加画像の一例を示す説明図。
【図８】実施例における付加画像の属性情報について説明する説明図。
【図９】実施例における撮影画像を例示する説明図。
【図１０】実施例における撮影画像の顔情報について説明する説明図。
【図１１】実施例における顔情報テーブルについて説明する説明図。
【図１２】実施例における合成処理について説明するフローチャート。
【図１３】実施例における編集画面の画面例。
【図１４】実施例における編集処理について説明する説明図。
【図１５】実施例における編集画面の画面例。
【図１６】実施例における編集画面の画面例。
【図１７】実施例における編集処理について説明する説明図。
【図１８】実施例における編集処理について説明する説明図。
【図１９】変形例における編集処理について説明する説明図。
【図２０】変形例における編集画面の画面例。
【図２１】変形例におけるシステム構成を例示する説明図。
【符号の説明】
【００８５】
１０…ビデオカメラ
１１…ディスプレイ
２０…操作パネル
２１…操作ペン
３０…ビデオカメラ
３１…ディスプレイ
３２…操作パネル
３３…ボタン
４０…取り出し口
５０…立ち位置
６０…編集画面
１００…画像処理装置
１０１…ＣＰＵ
１０２…ＲＡＭ
１０３…メモリ
１０９…撮影モジュール
１１０…付加画像生成モジュール
１１１…顔情報取得モジュール
１１２…合成画像生成モジュール
１１３…初期配置モジュール
１１４…編集可能領域規定モジュール
１１５…編集モジュール
１１６…印刷制御モジュール
１２０…撮影画像取得部
１３０…顔画像取得部
１４０…付加画像格納部
１５０…プリンタ
２００…顔画像
２０１…右目
２０２…右目画像
２０２ａ…属性情報
２０３…右目画像
２５０…撮影画像
２５１…合成画像
２５１ａ…編集可能領域
２６１…領域
２６２…黒目領域
２６３…左目領域
２７２…破線枠
４００…顔情報テーブル
５００…パーツ画像一覧
５２０…完了ボタン
６００…撮影画像
６０１…被写体
６０２…被写体
６１０…顔領域
６１１…顔領域
１０００…画像処理システム
【図１】
2007134762.tif 000003
【図２】
2007134762.tif 000004
【図３】
2007134762.tif 000005
【図４】
2007134762.tif 000006
【図５】
2007134762.tif 000007
【図６】
2007134762.tif 000008
【図７】
2007134762.tif 000009
【図８】
2007134762.tif 000010
【図９】
2007134762.tif 000011
【図１０】
2007134762.tif 000012
【図１１】
2007134762.tif 000013
【図１２】
2007134762.tif 000014
【図１３】
2007134762.tif 000015
【図１４】
2007134762.tif 000016
【図１５】
2007134762.tif 000017
【図１６】
2007134762.tif 000018
【図１７】
2007134762.tif 000019
【図１８】
2007134762.tif 000020
【図１９】
2007134762.tif 000021
【図２０】
2007134762.tif 000022
【図２１】
2007134762.tif 000023