(57)【要約】【課題】一定の関係を有する人物同士の顔画像がかたまって配置された合成画像データを生成することができる合成画像作成に関する技術を提供する。【解決手段】隣り合う合成位置同士を組み合わせてテンプレート上に設定された合成位置をグループ化し、各グループに属する合成位置の数に応じてグループの順位を決定する。集合写真等の画像データに写されている人物の顔画像を検出し、隣り合う人物の顔の間の距離を計測し、距離が近い者同士の顔画像を組み合わせて各グループに上記決定した順位で配分する。そして、配分した顔画像を各グループの合成位置に貼り付けて合成画像データを生成する。これにより、一定の関係を有する人物同士の顔画像がかたまって配置された合成画像データを簡単に生成することができる。【選択図】     図５
2006121661.tif 000002
【特許請求の範囲】
【請求項１】
画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成することにより、合成画像データを生成する合成画像データ生成方法において、
隣り合う合成位置同士を組み合わせて前記テンプレート上に設定された合成位置をグループ化し、
所属する合成位置の数に応じてグループの順位を決定し、
画像データに含まれる人物の顔画像を検出し、
検出された個々の顔画像同士の関係を検出し、
顔画像同士の関係に応じて顔画像を前記各グループに前記順位で配分し、
配分された顔画像を各グループの合成位置において前記テンプレートと合成して合成画像データを生成することを特徴とする合成画像作成方法。
【請求項２】
画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成することにより、合成画像データを生成する合成画像データ生成方法において、
画像データに含まれる人物の顔画像を検出し、
検出された個々の顔画像同士の関係を検出し、
顔画像同士の関係に応じて顔画像をグループ分けし、
同一グループに属する各人物の顔画像が近い合成位置に配置されるように、各人物の顔画像を前記テンプレート上に設定された合成位置において当該テンプレートと合成して合成画像データを生成することを特徴とする合成画像作成方法。
【請求項３】
計測する人物の顔の方向に応じて顔画像同士の関係に重み付けすることを特徴とする請求項１又は２に記載の合成画像作成方法。
【請求項４】
計測する人物の顔の大きさに応じて顔画像同士の関係に重み付けすることを特徴とする請求項１又は２に記載の合成画像作成方法。
【請求項５】
計測する人物の顔の表情に応じて顔画像同士の関係に重み付けすることを特徴とする請求項１又は２に記載の合成画像作成方法。
【請求項６】
画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成することにより、合成画像データを生成する合成画像データ生成方法において、
画像データを２回に分けて撮影し、
撮影された二つの画像データから顔画像を検出し、
検出した各顔画像の移動方向と移動量を計測し、
計測した移動量が閾値以上の顔画像を検出し、
検出した顔画像を計測した移動方向と移動前後の少なくとも一方の位置とに基づいてグループ分けし、
同一グループに属する各人物の顔画像が近い合成位置に配置されるように、各人物の顔画像を前記テンプレート上に設定された合成位置において当該テンプレートと合成して合成画像データを生成することを特徴とする合成画像作成方法。
【請求項７】
更に、前記テンプレートに応じて、当該テンプレートに合成する顔画像の色合いを調整することを特徴とする請求項１乃至６のいずれかに記載の合成画像作成方法。
【請求項８】
更に、前記合成画像データを含む複数の画像データを音楽と共に順次出力する請求項１乃至７のいずれかに記載の合成画像作成方法であって、
前記音楽に応じて、前記合成画像データの出力のタイミングが決められることを特徴とする請求項１乃至７のいずれかに記載の合成画像作成方法。
【請求項９】
画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成することにより、合成画像データを生成する合成画像作成装置において、
隣り合う合成位置同士を組み合わせて前記テンプレート上に設定された合成位置をグループ化する合成位置グルーピング手段と、
前記グルーピング手段でグループ化された各グループの合成位置の数に応じてグループの順位を設定するグループ順位設定手段と、
画像データに含まれる人物の顔画像を検出する顔画像検出手段と、
前記顔画像検出手段で検出された個々の顔画像同士の関係を検出する関係検出手段と、
前記関係検出手段で検出された顔画像同士の関係に応じて顔画像を組み合わせて、前記グルーピング手段でグループ化された合成位置のグループに前記グループ順位設定手段で設定された順位で組み合わせられた顔画像を割り当てる合成位置調整手段と、
前記合成位置調整手段で割り当てられた合成位置において各顔画像をテンプレートと合成して合成画像データを生成する画像合成手段と、を備えることを特徴とする合成画像作成装置。
【請求項１０】
画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成することにより、合成画像データを生成する合成画像作成装置において、
画像データに含まれる人物の顔画像を検出する顔画像検出手段と、
前記顔画像検出手段で検出された個々の顔画像同士の関係を検出する関係検出手段と、
前記関係検出手段で検出された顔画像同士の関係に応じて顔画像を組み合わせてグループ化するグルーピング手段と、
同一グループに属する各人物の顔画像が近い合成位置に配置されるように各人物の顔画像を前記テンプレート上に設定された合成位置に割り当てる合成位置調整手段と、
前記合成位置調整手段で割り当てられた合成位置において各顔画像をテンプレートと合成して合成画像データを生成する画像合成手段と、を備えることを特徴とする合成画像作成装置。
【請求項１１】
前記関係検出手段は、計測する顔画像の方向に応じて顔画像同士の関係に重み付けすることを特徴とする請求項９又は１０に記載の合成画像作成装置。
【請求項１２】
前記関係検出手段は、計測する顔画像の大きさに応じて顔画像同士の関係に重み付けすることを特徴とする請求項９又は１０に記載の合成画像作成装置。
【請求項１３】
前記関係検出手段は、計測する人物の顔の表情に応じて顔画像同士の関係に重み付けすることを特徴とする請求項９又は１０に記載の合成画像作成装置。
【請求項１４】
画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成することにより、合成画像データを生成する合成画像作成装置において、
２回に分けて撮影された二つの画像データからそれぞれ顔画像を検出する顔画像検出手段と、
前記顔画像検出手段で検出した各顔画像の移動方向を計測する移動方向計測手段と、
前記顔画像検出手段で検出した各顔画像の移動量を計測する移動量計測手段と、
前記移動量計測手段で計測した移動量が閾値以上の顔画像を検出し、検出した顔画像を移動方向と移動前後の少なくとも一方の位置とに基づいてグループ化する顔画像グルーピング手段と、
同一グループに属する各人物の顔画像が近い合成位置に配置されるように各人物の顔画像を前記テンプレート上に設定された合成位置に割り当てる合成位置調整手段と、
前記合成位置調整手段で割り当てられた合成位置において各顔画像をテンプレートと合成して合成画像データを生成する画像合成手段と、を備えることを特徴とする合成画像作成装置。
【請求項１５】
前記画像合成手段は、更に、前記テンプレートに応じて当該テンプレートに合成する顔画像の色合いを調整することを特徴とする請求項９乃至１４のいずれかに記載の合成画像作成装置。
【請求項１６】
更に、前記合成画像データを含む複数の画像データを音楽と共に順次出力する画像出力手段を備える請求項９乃至１５のいずれかに記載の合成画像作成装置であって、
前記画像出力手段は、前記音楽に応じて、前記合成画像データの出力のタイミングを決めることを特徴とする請求項９乃至１５のいずれかに記載の合成画像作成装置。
【請求項１７】
画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成して合成画像データを生成するためのコンピュータを、
隣り合う合成位置同士を組み合わせて前記テンプレート上に設定された合成位置をグループ化する合成位置グルーピング手段、
前記グルーピング手段でグループ化された各グループの合成位置の数に応じてグループの順位を設定するグループ順位設定手段、
画像データに含まれる人物の顔画像を検出する顔画像検出手段、
前記顔画像検出手段で検出された個々の顔画像同士の関係を検出する関係検出手段と、
前記関係検出手段で検出された顔画像同士の関係に応じて顔画像を組み合わせて、前記グルーピング手段でグループ化された合成位置のグループに前記グループ順位設定手段で設定された順位で組み合わされた顔画像を割り当てる合成位置調整手段、
前記画像データから各人物の顔画像を切り取る切り取り手段、および
前記切り取り手段で切り取られた各人物の顔画像を前記合成位置調整手段で割り当てられた前記テンプレート上の合成位置において当該テンプレートと合成して合成画像データを生成する画像合成手段、
として機能させることを特徴とする合成画像データ生成プログラム。
【請求項１８】
画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成して合成画像データを生成するためのコンピュータを、
画像データに含まれる人物の顔画像を検出する顔画像検出手段、
前記顔画像検出手段で検出された個々の顔画像同士の関係を検出する関係検出手段と、
前記関係検出手段で検出された顔画像同士の関係に応じて顔画像を組み合わせてグループ化するグルーピング手段、
同一グループに属する各人物の顔画像が近い合成位置に配置されるように各人物の顔画像を前記テンプレート上に設定された合成位置に割り当てる合成位置調整手段、
前記画像データから各人物の顔画像を切り取る切り取り手段、および
前記切り取り手段で切り取られた各人物の顔画像を前記合成位置調整手段で割り当てられた前記テンプレート上の合成位置において当該テンプレートと合成して合成画像データを生成する画像合成手段、
として機能させることを特徴とする合成画像データ生成プログラム。
【請求項１９】
画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成して合成画像データを生成するためのコンピュータを、
２回に分けて撮影された二つの画像データからそれぞれ顔画像を検出する顔画像検出手段、
前記顔画像検出手段で検出した各顔画像の移動方向を計測する移動方向計測手段、
前記顔画像検出手段で検出した各顔画像の移動量を計測する移動量計測手段、
前記移動量計測手段で計測した移動量が閾値以上の顔画像を検出し、検出した顔画像を移動方向と移動前後の少なくとも一方の位置とに基づいてグループ化する顔画像グルーピング手段、
同一グループに属する各人物の顔画像が近い合成位置に配置されるように各人物の顔画像を前記テンプレート上に設定された合成位置に割り当てる合成位置調整手段、
一方又は双方の画像データから各人物の顔画像を切り取る切り取り手段、および
前記切り取り手段で切り取られた各人物の顔画像を前記合成位置調整手段で割り当てられた前記テンプレート上の合成位置において当該テンプレートと合成して合成画像データを生成する画像合成手段、
として機能させることを特徴とする合成画像データ生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、合成画像作成方法、合成画像作成装置、およびプログラムに係り、例えば集合写真から人物の顔画像を、切り取って、所定のテンプレートと合成して合成写真を生成する合成画像作成方法、合成画像作成装置、およびプログラムに関する。
【背景技術】
【０００２】
面白みのある写真プリントの提供方法として、撮影した人物画像に装飾フレームを重ね合わせて合成し、プリントする方法が従来から知られている（たとえば、特許文献１、２参照）。
【０００３】
また、画像中から人の画像部分だけを切り取り、ＣＧや風景画像などの別の背景に画像を合成する方法も従来から知られている（特許文献３）。
【０００４】
さらに、人物を撮影した画像が目を閉じている場合において、目を開けている画像から目の部分を抽出し、合成することにより、目を開けている画像を生成する方法も提案されている（特許文献４）。
【特許文献１】特開２０００−２２９２９号公報
【特許文献２】特開２００４−１７８１６３号公報
【特許文献３】特開平１０−２１０３４０号公報
【特許文献４】特開２００４−５４３７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、近年、観光地における新たなサービスとして、観光地で撮影された団体写真から人物の顔画像を切り出して、図５に示すような書割テンプレートと合成し、プリントするサービスが提案されている。このような書割テンプレートでは、テンプレート上にあらかじめ設定された合成位置に団体写真から切り出した顔画像を貼り付けることとなるが、合成位置は、ひとかたまりのグループとなってテンプレート上に点在している場合があり、このような場合に無秩序に顔画像を貼り付けてゆくと、家族や友人、カップルが、別々のグループに貼り付けられてしまうおそれがあった。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、一定の関係を有する人物同士の顔画像がかたまって配置された合成画像データを作成することができる合成画像作成方法、合成画像作成装置、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のある態様は、画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成することにより、合成画像データを生成する合成画像データ生成方法において、隣り合う合成位置同士を組み合わせて前記テンプレート上に設定された合成位置をグループ化し、所属する合成位置の数に応じてグループの順位を決定し、画像データに含まれる人物の顔画像を検出し、検出された個々の顔画像同士の関係を検出し、顔画像同士の関係に応じて顔画像を前記各グループに前記順位で配分し、配分された顔画像を各グループの合成位置において前記テンプレートと合成して合成画像データを生成することを特徴とする合成画像作成方法に関する。
【０００８】
この態様によれば、隣り合う合成位置同士を組み合わせてテンプレート上に設定された合成位置をグループ化し、各グループに属する合成位置の数に応じてグループの順位を決定する。画像データに含まれる人物の顔画像を検出し、検出された個々の顔同士の関係を検出し、距離が近い者同士の顔画像を組み合わせて各グループに上記決定した順位で配分する。そして、配分した顔画像を各グループの合成位置に合成して合成画像データを生成する。すなわち、本態様では、顔が近くに写っている人物同士は、一定の関係、たとえば家族や友人、恋人同士と推測し、一つのまとまりとなって合成されるように配置される。これにより、一定の関係を有する人物同士の顔画像がかたまって配置された合成画像データを簡単に生成することができる。
【０００９】
なお、ここでいう「画像データ」は、画像を形成するもの全般を含み、例えば、ネガやプリント等を利用した写真、複数の画像を含むスライド、デジタル化されたネガの画像やＤＳＣ画像、等を含む。また、この「画像データ」は、写真等のように瞬間的に捉えられた画像だけではなく、動画等のように時間的に連続して捉えられた複数の画像も対象とする。なお、時間的に連続して捉えられた複数の画像の場合、撮影コマの撮影時間間隔は、特に問われない。また、「検出された個々の顔同士の関係を検出し」とは、例えば、隣り合う人物の顔の間の距離を計測する場合が挙げられる。
【００１０】
本発明の他の態様は、画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成することにより、合成画像データを生成する合成画像データ生成方法において、画像データに含まれる人物の顔画像を検出し、検出された個々の顔画像同士の関係を検出し、顔画像同士の関係に応じて顔画像をグループ分けし、同一グループに属する各人物の顔画像が近い合成位置に配置されるように、各人物の顔画像を前記テンプレート上に設定された合成位置において当該テンプレートと合成して合成画像データを生成することを特徴とする合成画像作成方法に関する。
【００１１】
この態様によれば、画像データに含まれる人物の顔画像を検出し、個々の顔画像同士の関係を検出する。そして、顔画像を組み合わせてグループ分けし、同一グループに属する各人物の顔画像が近い合成位置に配置されるように各人物の顔画像をテンプレート上に設定された合成位置に合成されて合成画像データが生成される。すなわち、本態様においても、一定の関係を有する顔画像同士は、一つのまとまりとなって合成されるように配置される。これにより、一定の関係を有する人物同士の顔画像がかたまって配置された合成画像データを簡単に生成することができる。
【００１２】
計測する人物の顔の方向に応じて顔画像同士の関係に重み付けしてもよい。この場合、計測する人物の顔の方向に応じて重み付けがされる。たとえば、横方向の距離が短ければ、より両者の関係性が強いものと推測され、横方向の距離に最も大きい重みが付けられる。これにより、画像データに含まれる人物の関係により忠実な配置を行うことができる。
【００１３】
なお、顔の方向が向かい合っている人物同士の関連性が強いものと推測し、それらの人物の顔画像同士が近接して配置されるように、計測する人物の顔の方向に応じて重み付けしてもよい。
【００１４】
計測する人物の顔の大きさに応じて顔画像同士の関係に重み付けしてもよい。この場合、計測する人物の顔の大きさに応じて重み付けがされる。たとえば、顔が大きく写されている人物と顔が小さく写されている人物との関係では、親子と推測し、大きな重みがつけられる。これにより、画像データに含まれる人物の関係により忠実な配置を行うことができる。
【００１５】
なお、この場合、計測する人物の顔の大きさ（顔画像のサイズ）とテンプレート上の合成位置における合成可能サイズとの適合性に基づいて重み付けしてもよい。例えば、顔画像のサイズと合成位置の合成可能サイズとが略同様または近接している場合には、そのような顔画像を優先的にその合成位置においてテンプレートと合成してもよい。これにより、合成が自然な状態で行われた合成画像データを得ることが可能となる。
【００１６】
計測する人物の顔の表情に応じて顔画像同士の関係に重み付けしてもよい。この場合、計測する人物の顔の表情に応じて重み付けがされる。例えば、笑っている表情の人物同士の関係性が強いと判断して大きな重みがつけられる。これにより、画像データに含まれる人物の関係により忠実な配置を行うことができる。
【００１７】
本発明の他の態様は、画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成することにより、合成画像データを生成する合成画像データ生成方法において、画像データを２回に分けて撮影し、撮影された二つの画像データから顔画像を検出し、検出した各顔画像の移動方向と移動量を計測し、計測した移動量が閾値以上の顔画像を検出し、検出した顔画像を計測した移動方向と移動前後の少なくとも一方の位置とに基づいてグループ分けし、同一グループに属する各人物の顔画像が近い合成位置に配置されるように、各人物の顔画像を前記テンプレート上に設定された合成位置において当該テンプレートと合成して合成画像データを生成することを特徴とする合成画像作成方法に関する。
【００１８】
この態様によれば、画像データが２回に分けて撮影され、撮影された２枚の画像データから顔画像が検出される。そして、検出された各顔画像の移動方向と移動量を計測し、計測した移動量が閾値以上の顔画像が検出され、その移動方向と移動前後の少なくとも一方の位置とに基づいてグループ分けされる。そして、同一グループに属する各人物の顔画像が近い合成位置に配置されるように、各人物の顔画像をテンプレート上に設定された合成位置に貼り付けて合成画像データが生成される。すなわち、本態様では、画像データを２回撮影した場合、２回目の撮影は１回目の撮影よりもくだけたかたちになり、親密な関係を有するもの同士が近寄って撮影される（２回目の撮影は、仲の良い者同士がくっついて撮影される）との推測の下、１回目と２回目の撮影で各人物の顔画像の移動方向と移動量を計測し、一定の移動量を有する顔画像について、その移動方向の集中度からグループ化し、そのグループが、まとまってテンプレート上に配置されるように合成する。これにより、一定の関係を有する人物同士の顔画像がかたまって配置された合成画像データを簡単に生成することができる。
【００１９】
更に、前記テンプレートに応じて、当該テンプレートに合成する顔画像の色合いを調整してもよい。この場合、テンプレートのテーマ等に応じて顔画像の色合いが調整されるので、より面白みのある合成画像データが得られる。
【００２０】
更に、前記合成画像データを含む複数の画像データを音楽と共に順次出力してもよい。この場合、前記音楽に応じて、前記合成画像データの出力のタイミングが決められてもよい。これにより、音楽とシンクロさせて合成画像データを出力させることができるので、面白みが増す。
【００２１】
本発明の他の態様は、画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成することにより、合成画像データを生成する合成画像作成装置において、隣り合う合成位置同士を組み合わせて前記テンプレート上に設定された合成位置をグループ化する合成位置グルーピング手段と、前記グルーピング手段でグループ化された各グループの合成位置の数に応じてグループの順位を設定するグループ順位設定手段と、画像データに含まれる人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段で検出された個々の顔画像同士の関係を検出する関係検出手段と、前記関係検出手段で検出された顔画像同士の関係に応じて顔画像を組み合わせて、前記グルーピング手段でグループ化された合成位置のグループに前記グループ順位設定手段で設定された順位で組み合わされた顔画像を割り当てる合成位置調整手段と、前記合成位置調整手段で割り当てられた合成位置において各顔画像をテンプレートと合成して合成画像データを生成する画像合成手段と、を備えることを特徴とする合成画像作成装置に関する。
【００２２】
この態様によれば、一定の関係を有する人物同士の顔画像がかたまって配置された合成画像データを簡単に生成することができる。
【００２３】
本発明の他の態様は、画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成することにより、合成画像データを生成する合成画像作成装置において、画像データに含まれる人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段で検出された個々の顔画像同士の関係を検出する関係検出手段と、前記関係検出手段で検出された顔画像同士の関係に応じて顔画像を組み合わせてグループ化するグルーピング手段と、同一グループに属する各人物の顔画像が近い合成位置に配置されるように各人物の顔画像を前記テンプレート上に設定された合成位置に割り当てる合成位置調整手段と、前記合成位置調整手段で割り当てられた合成位置において各顔画像をテンプレートと合成して合成画像データを生成する画像合成手段と、を備えることを特徴とする合成画像作成装置に関する。
【００２４】
この態様によれば、一定の関係を有する人物同士の顔画像がかたまって配置された合成画像データを簡単に生成することができる。
【００２５】
前記関係検出手段は、計測する顔画像の方向に応じて顔画像同士の関係に重み付けしてもよい。この場合、画像データに含まれる人物の関係により忠実な配置を行うことができる。
【００２６】
前記関係検出手段は、計測する顔画像の大きさに応じて顔画像同士の関係に重み付けしてもよい。
この場合、画像データに含まれる人物の関係により忠実な配置を行うことができる。
【００２７】
前記関係検出手段は、計測する人物の顔の表情に応じて前記顔画像同士の関係に重み付けしてもよい。この場合、画像データに含まれる人物の関係により忠実な配置を行うことができる。
【００２８】
本発明の他の態様は、画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成することにより、合成画像データを生成する合成画像作成装置において、２回に分けて撮影された二つの画像データからそれぞれ顔画像を検出する顔画像検出手段と、前記顔画像検出手段で検出した各顔画像の移動方向を計測する移動方向計測手段と、前記顔画像検出手段で検出した各顔画像の移動量を計測する移動量計測手段と、前記移動量計測手段で計測した移動量が閾値以上の顔画像を検出し、検出した顔画像を移動方向と移動前後の少なくとも一方の位置とに基づいてグループ化する顔画像グルーピング手段と、同一グループに属する各人物の顔画像が近い合成位置に配置されるように各人物の顔画像を前記テンプレート上に設定された合成位置に割り当てる合成位置調整手段と、前記合成位置調整手段で割り当てられた合成位置において各顔画像をテンプレートと合成して合成画像データを生成する画像合成手段と、を備えることを特徴とする合成画像作成装置に関する。
【００２９】
この態様によれば、一定の関係を有する人物同士の顔画像がかたまって配置された合成画像データを簡単に生成することができる。
【００３０】
前記画像合成手段は、更に、テンプレートに応じて、当該テンプレートに合成する顔画像の色合いを調整してもよい。
【００３１】
更に、前記合成画像データを含む複数の画像データを音楽と共に順次出力する画像出力手段を備えていてもよい。この場合、前記画像出力手段は、前記音楽に応じて、前記合成画像データの出力のタイミングを決めてもよい。
【００３２】
本発明の他の態様は、画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成して合成画像データを生成するためのコンピュータを、隣り合う合成位置同士を組み合わせて前記テンプレート上に設定された合成位置をグループ化する合成位置グルーピング手段、前記グルーピング手段でグループ化された各グループの合成位置の数に応じてグループの順位を設定するグループ順位設定手段、画像データに含まれる人物の顔画像を検出する顔画像検出手段、前記顔画像検出手段で検出された個々の顔画像同士の関係を検出する関係検出手段と、前記関係検出手段で検出された顔画像同士の関係に応じて顔画像を組み合わせて、前記グルーピング手段でグループ化された合成位置のグループに前記グループ順位設定手段で設定された順位で組み合わされた顔画像を割り当てる合成位置調整手段、前記画像データから各人物の顔画像を切り取る切り取り手段、および前記切り取り手段で切り取られた各人物の顔画像を前記合成位置調整手段で割り当てられた前記テンプレート上の合成位置において当該テンプレートと合成して合成画像データを生成する画像合成手段、として機能させることを特徴とする合成画像データ生成プログラムに関する。
【００３３】
この態様によれば、一定の関係を有する人物同士の顔画像がかたまって配置された合成画像データを簡単に生成することができる。
【００３４】
本発明の他の態様は、画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成して合成画像データを生成するためのコンピュータを、画像データに含まれる人物の顔画像を検出する顔画像検出手段、前記顔画像検出手段で検出された個々の顔画像同士の関係を検出する関係検出手段と、前記関係検出手段で検出された顔画像同士の関係に応じて顔画像を組み合わせてグループ化するグルーピング手段、同一グループに属する各人物の顔画像が近い合成位置に配置されるように各人物の顔画像を前記テンプレート上に設定された合成位置に割り当てる合成位置調整手段、前記画像データから各人物の顔画像を切り取る切り取り手段、および前記切り取り手段で切り取られた各人物の顔画像を前記合成位置調整手段で割り当てられた前記テンプレート上の合成位置において当該テンプレートと合成して合成画像データを生成する画像合成手段、として機能させることを特徴とする合成画像データ生成プログラムに関する。
【００３５】
この態様によれば、一定の関係を有する人物同士の顔画像がかたまって配置された合成画像データを簡単に生成することができる。
【００３６】
本発明の他の態様は、画像データに含まれる各人物の顔画像を抽出して、抽出された顔画像をテンプレート上にあらかじめ設定された合成位置において当該テンプレートと合成して合成画像データを生成するためのコンピュータを、２回に分けて撮影された二つの画像データからそれぞれ顔画像を検出する顔画像検出手段、前記顔画像検出手段で検出した各顔画像の移動方向を計測する移動方向計測手段、前記顔画像検出手段で検出した各顔画像の移動量を計測する移動量計測手段、前記移動量計測手段で計測した移動量が閾値以上の顔画像を検出し、検出した顔画像を移動方向と移動前後の少なくとも一方の位置とに基づいてグループ化する顔画像グルーピング手段、同一グループに属する各人物の顔画像が近い合成位置に配置されるように各人物の顔画像を前記テンプレート上に設定された合成位置に組み合わされた顔画像を割り当てる合成位置調整手段、一方又は双方の画像データから各人物の顔画像を切り取る切り取り手段、および前記切り取り手段で切り取られた各人物の顔画像を前記合成位置調整手段で割り当てられた前記テンプレート上の合成位置において当該テンプレートと合成して合成画像データを生成する画像合成手段、として機能させることを特徴とする合成画像データ生成プログラムに関する。
【００３７】
この態様によれば、一定の関係を有する人物同士の顔画像がかたまって配置された合成画像データを簡単に生成することができる。
【００３８】
本発明の他の態様は、集合写真に写されている各人物の顔画像を切り取り、あらかじめテンプレート上に設定された合成位置に貼り付けて、合成写真を生成する合成写真生成方法において、隣り合う合成位置同士を組み合わせて前記テンプレート上に設定された合成位置をグループ化し、所属する合成位置の数に応じてグループの順位を決定し、集合写真に写されている人物の顔画像を検出し、隣り合う人物の顔の間の距離を計測し、距離が近い者同士の顔画像を組み合わせて前記各グループに前記順位で配分し、配分した顔画像を各グループの合成位置に貼り付けて合成写真を生成することを特徴とする合成写真生成方法を提供する。
【００３９】
この態様によれば、隣り合う合成位置同士を組み合わせてテンプレート上に設定された合成位置をグループ化し、各グループに属する合成位置の数に応じてグループの順位を決定する。集合写真に写されている人物の顔画像を検出し、隣り合う人物の顔の間の距離を計測し、距離が近い者同士の顔画像を組み合わせて各グループに上記決定した順位で配分する。そして、配分した顔画像を各グループの合成位置に貼り付けて合成写真を生成する。すなわち、本発明は顔が近くに写っている人物同士は、一定の関係、たとえば家族や友人、恋人同士と推測し、一つのまとまりとなって合成されるように配置する。これにより、一定の関係を有する人物同士の顔画像がかたまって配置された合成写真を簡単に生成することができる。
【００４０】
また、本発明の他の態様は、集合写真に写されている各人物の顔画像を切り取り、あらかじめテンプレート上に設定された合成位置に貼り付けて、合成写真を生成する合成写真生成方法において、集合写真に写されている人物の顔画像を検出し、隣り合う人物の顔の間の距離を計測し、距離が近い者同士の顔画像を組み合わせてグループ分けし、同一グループに属する各人物の顔画像が近い合成位置となるように各人物の顔画像を前記テンプレート上に設定された合成位置に貼り付けて合成写真を生成することを特徴とする合成写真生成方法を提供する。
【００４１】
この態様によれば、集合写真に写されている人物の顔画像を検出し、隣り合う人物の顔の間の距離を計測する。そして、距離が近い者同士の顔画像を組み合わせてグループ分けし、同一グループに属する各人物の顔画像が近い合成位置に配置されるように各人物の顔画像をテンプレート上に設定された合成位置に貼り付けて合成写真を生成する。すなわち、本発明においても、顔が近くに写っている人物同士は、一定の関係を有する者同士と推測し、一つのまとまりとなって合成されるように配置する。これにより、一定の関係を有する人物同士の顔画像がかたまって配置された合成写真を簡単に生成することができる。
【００４２】
また、本発明の他の態様は、計測する人物の顔の方向に応じて前記計測した距離に重み付けすることを特徴とした合成写真生成方法を提供する。
【００４３】
この態様によれば、計測する人物の顔の方向に応じて計測した距離に重み付けがされる。たとえば、横方向の距離が短ければ、より両者の関係性が強いものと推測し、横方向の距離に最も大きい重みを付ける。これにより、集合写真に写されている人物の関係により忠実な配置を行うことができる。
【００４４】
また、本発明の他の態様は、計測する人物の顔の大きさに応じて前記計測した距離に重み付けすることを特徴とした合成写真生成方法を提供する。
【００４５】
この態様によれば、計測する人物の顔の大きさに応じて計測した距離に重み付けがされる。たとえば、顔が大きく写されている人物と顔が小さく写されている人物との関係では、親子と推測し、大きい重みをつける。これにより、集合写真に写されている人物の関係により忠実な配置を行うことができる。
【００４６】
また、本発明の他の態様は、集合写真に写されている各人物の顔画像を切り取り、あらかじめテンプレート上に設定された合成位置に貼り付けて、合成写真を生成する合成写真生成方法において、集合写真を２回に分けて撮影し、撮影された２枚の集合写真から顔画像を検出し、検出した各顔画像の移動方向と移動量を計測し、計測した移動量が閾値以上の顔画像を検出し、検出した顔画像を計測した移動方向と移動前後の少なくとも一方の位置とに基づいてグループ分けし、同一グループに属する各人物の顔画像が近い合成位置となるように、各人物の顔画像を前記テンプレート上に設定
された合成位置に貼り付けて合成写真を生成することを特徴とする合成写真生成方法を提供する。
【００４７】
この態様によれば、集合写真を２回に分けて撮影し、撮影された２枚の集合写真から顔画像を検出する。そして、検出した各顔画像の移動方向と移動量を計測し、計測した移動量が閾値以上の顔画像を検出して、その移動方向と移動前後の少なくとも一方の位置とに基づいてグループ分けする。そして、同一グループに属する各人物の顔画像が近い合成位置に配置されるように、各人物の顔画像をテンプレート上に設定された合成位置に貼り付けて合成写真を生成する。すなわち、本発明では、２回集合写真を撮影した場合、２回目の撮影は１回目の撮影よりもくだけたかたちになり、親密な関係を有するもの同士が近寄って撮影される（２回目の撮影は、仲の良い者同士がくっついて撮影される）との推測の下、１回目と２回目の撮影で各人物の顔画像の移動方向と移動量を計測し、一定の移動量を有する顔画像について、その移動方向の集中度からグループ化し、そのグループが、まとまってテンプレート上に配置されるように合成する。これにより、一定の関係を有する人物同士の顔画像がかたまって配置された合成写真を簡単に生成することができる。
【００４８】
また、本発明の他の態様は、集合写真に写されている各人物の顔画像を切り取り、あらかじめテンプレート上に設定された合成位置に貼り付けて、合成写真を生成する合成写真生成装置において、隣り合う合成位置同士を組み合わせて前記テンプレート上に設定された合成位置をグループ化する合成位置グルーピング手段と、前記グルーピング手段でグループ化された各グループの合成位置の数に応じてグループの順位を設定するグループ順位設定手段と、集合写真に写されている人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段で検出された顔画像の隣り合う顔画像の間の距離を計測する計測手段と、前記計測手段で計測された距離が近い顔画像同士を組み合わせて、前記グルーピング手段でグループ化された合成位置のグループに前記グループ順位設定手段で設定された順位で割り当てる合成位置調整手段と、を備え、前記合成位置調整手段で割り当てられた合成位置に各顔画像を貼り付けて合成写真を生成することを特徴とする合成写真生成装置を提供する。
【００４９】
この態様によれば、一定の関係を有する人物同士の顔画像がかたまって配置された合成写真を簡単に生成することができる。
【００５０】
また、本発明の他の態様は、集合写真に写されている各人物の顔画像を切り取り、あらかじめテンプレート上に設定された合成位置に貼り付けて、合成写真を生成する合成写真生成装置において、集合写真に写されている人物の顔画像を検出する顔画像検出手段と、前記顔画像検出手段で検出された顔画像の隣り合う顔画像の間の距離を計測する計測手段と、前記計測手段で計測された距離が近い顔画像同士を組み合わせてグループ化するグルーピング手段と、同一グループに属する各人物の顔画像が近い合成位置となるように各人物の顔画像を前記テンプレート上に設定された合成位置に割り当てる合成位置調整手段と、を備え、前記合成位置調整手段で割り当てられた合成位置に各顔画像を貼り付けて合成写真を生成することを特徴とする合成写真生成装置を提供する。
【００５１】
この態様によれば、一定の関係を有する人物同士の顔画像がかたまって配置された合成写真を簡単に生成することができる。
【００５２】
また、本発明の他の態様は、前記計測手段は、計測する顔画像の方向に応じて計測した距離に重み付けすることを特徴とした合成写真生成装置を提供する。
【００５３】
この態様によれば、集合写真に写されている人物の関係により忠実な配置を行うことができる。
【００５４】
また、本発明の他の態様は、前記計測手段は、計測する顔画像の大きさに応じて計測した距離に重み付けすることを特徴とした合成写真生成装置を提供する。
【００５５】
この態様によれば、集合写真に写されている人物の関係により忠実な配置を行うことができる。
【００５６】
また、本発明の他の態様は、集合写真に写されている各人物の顔画像を切り取り、あらかじめテンプレート上に設定された合成位置に貼り付けて、合成写真を生成する合成写真生成装置において、２回に分けて撮影された２枚の集合写真からそれぞれ顔画像を検出する顔画像検出手段と、前記顔画像検出手段で検出した各顔画像の移動方向を計測する移動方向計測手段と、前記顔画像検出手段で検出した各顔画像の移動量を計測する移動量計測手段と、前記移動量計測手段で計測した移動量が閾値以上の顔画像を検出し、検出した顔画像を移動方向と移動前後の少なくとも一方の位置とに基づいてグループ化する顔画像グルーピング手段と、同一グループに属する各人物の顔画像が近い合成位置となるように各人物の顔画像を前記テンプレート上に設定された合成位置に割り当てる合成位置調整手段と、を備え、前記合成位置調整手段で割り当てられた合成位置に各顔画像を貼り付けて合成写真を生成することを特徴とする合成写真生成装置を提供する。
【００５７】
この態様によれば、一定の関係を有する人物同士の顔画像がかたまって配置された合成写真を簡単に生成することができる。
【００５８】
また、本発明の他の態様は、集合写真に写されている各人物の顔画像を切り取り、あらかじめテンプレート上に設定された合成位置に貼り付けて、合成写真を生成するためにコンピュータを、隣り合う合成位置同士を組み合わせて前記テンプレート上に設定された合成位置をグループ化する合成位置グルーピング手段、前記グルーピング手段でグループ化された各グループの合成位置の数に応じてグループの順位を設定するグループ順位設定手段、集合写真に写されている人物の顔画像を検出する顔画像検出手段、前記顔画像検出手段で検出された顔画像の隣り合う顔画像の間の距離を計測する計測手段、前記計測手段で計測された距離が近い顔画像同士を組み合わせて、前記グルーピング手段でグループ化された合成位置のグループに前記グループ順位設定手段で設定された順位で割り当てる合成位置調整手段、前記集合写真から各人物の顔画像を切り取る切り取り手段、前記切り取り手段で切り取られた各人物の顔画像を前記合成位置調整手段で割り当てられた前記テンプレート上の合成位置に貼り付けて合成写真を生成する画像合成手段、として機能させることを特徴とする合成写真生成プログラムを提供する。
【００５９】
この態様によれば、一定の関係を有する人物同士の顔画像がかたまって配置された合成写真を簡単に生成することができる。
【００６０】
また、本発明の他の態様は、集合写真に写されている各人物の顔画像を切り取り、あらかじめテンプレート上に設定された合成位置に貼り付けて、合成写真を生成するためにコンピュータを、集合写真に写されている人物の顔画像を検出する顔画像検出手段、前記顔画像検出手段で検出された顔画像の隣り合う顔画像の間の距離を計測する計測手段、前記計測手段で計測された距離が近い顔画像同士を組み合わせてグループ化するグルーピング手段、同一グループに属する各人物の顔画像が近い合成位置となるように各人物の顔画像を前記テンプレート上に設定された合成位置に割り当て
る合成位置調整手段、前記集合写真から各人物の顔画像を切り取る切り取り手段、前記切り取り手段で切り取られた各人物の顔画像を前記合成位置調整手段で割り当てられた前記テンプレート上の合成位置に貼り付けて合成写真を生成する画像合成手段、として機能させることを特徴とする合成写真生成プログラムを提供する。
【００６１】
この態様によれば、一定の関係を有する人物同士の顔画像がかたまって配置された合成写真を簡単に生成することができる。
【００６２】
また、本発明の他の態様は、集合写真に写されている各人物の顔画像を切り取り、あらかじめテンプレート上に設定された合成位置に貼り付けて、合成写真を生成するためにコンピュータを、２回に分けて撮影された２枚の集合写真からそれぞれ顔画像を検出する顔画像検出手段、前記顔画像検出手段で検出した各顔画像の移動方向を計測する移動方向計測手段、前記顔画像検出手段で検出した各顔画像の移動量を計測する移動量計測手段、前記移動量計測手段で計測した移動量が閾値以上の顔画像を検出し、検出した顔画像を移動方向と移動前後の少なくとも一方の位置とに基づいてグループ化する顔画像グルーピング手段、同一グループに属する各人物の顔画像が近い合成位置となるように各人物の顔画像を前記テンプレート上に設定された合成位置に割り当てる合成位置調整手段、一方又は双方の集合写真から各人物の顔画像を切り取る切り取り手段、前記切り取り手段で切り取られた各人物の顔画像を前記合成位置調整手段で割り当てられた前記テンプレート上の合成位置に貼り付けて合成写真を生成する画像合成手段、として機能させることを特徴とする合成写真生成プログラムを提供する。
【００６３】
この態様によれば、一定の関係を有する人物同士の顔画像がかたまって配置された合成写真を簡単に生成することができる。
【００６４】
なお、テンプレートと顔画像とを合成する際には、より自然な画像データを得ることができるように、様々な処理が施されてもよい。例えば、顔画像のエッジ部分とテンプレートとの合成部分がより自然な色合いになるような既知の技術を応用したり、顔画像の傾き等をテンプレートの合成位置に応じて変えたりすることができる。
【発明の効果】
【００６５】
本発明によれば、一定の関係を有する人物同士の画像がかたまって配置された合成画像データを作成することができる。
【発明を実施するための最良の形態】
【００６６】
まず、本発明に係る合成画像データの作成の全体的な流れについて説明する。図１は、合成画像データの作成の全体的な流れの一例を示す図である。まず、ネガ、通常のＤＳＣ（デジタルスチルカメラ）、携帯電話などに付属するＤＳＣ、ＤＶ（デジタルビデオ）等に基づく画像のデータが合成画像作成装置に入力される（図１のＳ１）。このとき入力される画像データとしては、例えば通常時の撮影写真や集合写真等が挙げられ、複数の顔が写されている画像データであればよい。また、画像データの数は、単数でも複数でもよい。
【００６７】
合成画像作成装置では、入力された画像データから顔画像が検出され、各顔画像が抽出される（Ｓ２）。抽出された顔画像は、顔画像の関連性を示唆する所定の顔情報に基づいて、グループ分け（グルーピング）される（Ｓ３）。そして、顔画像と合成するテンプレートがユーザ等によって選ばれる（Ｓ４）。テンプレートは、単数であっても複数であってもよい。そして、顔画像に関するテンプレート上の合成位置が調整され、調整された合成位置においてテンプレートと抽出された顔画像とが合成され（Ｓ５）、合成画像データが完成する（Ｓ６）。
【００６８】
この顔画像の合成位置の調整はグルーピング情報に基づいて行われ、顔画像とテンプレートとが適切な位置で合成される。また、顔画像とテンプレートとが自然な状態で合成されるように各種の処理が施され、例えば、顔画像の枠周辺部分に所謂アンチエリアス処理やボカシ処理のような画像処理が施される。なお、完成した合成画像データはどのような形態であってもよく、例えば、ポストカードや写真等の一つの画像、複数の画像がまとめて配置されるアルバム、複数の画像が経時的に一つずつ表示されるスライドショー、等の形態に整えることも可能である。
【００６９】
合成画像データが完成した後（Ｓ６）、必要に応じて、完成した合成画像データが出力される（Ｓ７）。なお、完成した合成画像データは、合成画像データの作成後に要求に応じて、パソコン（ＰＣ）、携帯機器類（例えば携帯電話）、ラボ、等の任意の場所に配信、出力が可能である。また、合成画像データの出力は任意の方式で行われ、例えば、紙等への印刷、画面上における表示、ハードディスクやフラッシュメモリ等のコンピュータ読み取り可能な媒体への記録、等によって合成画像データが出力される。
【００７０】
以下、本発明に係る合成画像作成方法、合成画像作成装置、およびプログラムの具体的な実施の形態を詳説する。
【００７１】
（第１の実施の形態）
図２は、本発明に係る合成写真生成装置の一実施の形態を示すブロック図である。同図に示すように、本実施の形態の合成写真生成装置１０は、主として画像入力部１２、顔検出部１４、テンプレート格納部１６、テンプレート情報格納部１８、顔間距離検出部２０、合成位置調整部２２、画像合成部２４、画像出力部２６等で構成されている。
【００７２】
画像入力部１２は、集合写真として撮影された画像データの取り込みを行う。取り込み方法は、特に限定されるものではなく、デジタルカメラから直接取り込むようにしてもよいし、また、画像データが格納されたメモリカードからメモリカードリーダを介して取り込むようにしてもよい。また、ネットワークを介して送信された画像データを受信して取り込むようにしてもよい。
【００７３】
また、ここで使用する画像データは、デジタルカメラで撮影したものに限らず、写真プリントをスキャナで読み取ったものを使用するようにしてもよい。
【００７４】
顔検出部１４は、画像入力部１２から取り込んだ集合写真の画像データから人物の顔を検出する。なお、人物を撮影した画像から顔を検出する方法は公知技術なので、ここでは、その詳細な検出方法については省略する。一例として、たとえば、原画像から肌色に指
定した色と近い色を持つ画素を取り出し、取り出した領域を顔領域として検出する。この処理は、たとえば肌色を他の色と区別するための色空間上で、あらかじめサンプリングした肌色の情報から色空間上の肌色の範囲を定め、各画素の色が定めた範囲に入っているか否かを判定することにより行われる。
【００７５】
顔間距離検出部２０は、顔検出部１４で検出した各人物について、隣接する人物との間で、両者の顔間の距離を検出する。検出位置としては、たとえば、顔の重心を用いるものとする。なお、この他、顔パーツ（目、瞳、両目の中心、鼻、口、耳、頭、顎など）を用いるようにしてもよい。また、顔パーツは、隣接する人物の異なる左端・右端であってもよい。たとえば、一方の人物の右目と他方の人物の左目や、一方の人物の右耳と他方の人物の左耳等を用いてもよい。
【００７６】
テンプレート格納部１６には、画像合成に使用する複数のテンプレートデータが格納される。テンプレート情報格納部１８には、このテンプレート格納部１６に格納されている各テンプレートのテンプレート情報、すなわち、各テンプレートに設定されている合成位置の「位置情報（顔画像を貼り付ける位置の情報）」、「グループ情報（グループ化されている合成位置の情報）」、「合成位置間の距離情報（隣り合う合成位置間の距離の情報）」等が個別に格納されている。
【００７７】
合成位置調整部２２は、顔間距離検出部２０で検出された各人物の顔間距離とテンプレート情報とに基づいてテンプレートに貼り付ける顔画像の配置を決定する。この点については、後に詳述する。
【００７８】
画像合成部２４は、合成位置調整部２２で決定された顔画像の配置情報に基づいて集合写真の画像データから切り出した人物の顔画像をテンプレート上に設定された合成位置に貼り付け、合成写真を生成する。
【００７９】
画像出力部２６は、画像合成部２４で生成された合成写真の画像データをモニタに出力する。また、必要に応じてプリンタに出力し、生成した合成写真画像を印画紙に印画させる。
【００８０】
図３は、本実施の形態の合成写真生成装置１０における合成写真の生成手順を示すフローチャートである。
【００８１】
まず、画像合成に使用する集合写真の画像データを画像入力部１２に入力する（ステップＳ１０）。画像入力部１２から入力された画像データは、顔検出部１４に加えられ、その画像に写されている顔が検出される（ステップＳ１１）。そして、検出された顔位置の情報に基づいて隣接する顔同士の顔間距離が顔間距離検出部２０で検出される（ステップＳ１２）。検出された各顔間の距離情報は、合成位置調整部２２に加えられる。
【００８２】
合成位置調整部２２は、顔間距離検出部２０で検出された各顔間の距離情報と、使用するテンプレートのテンプレート情報とに基づいてテンプレートに貼り付ける各顔画像の配置を決定する（ステップＳ１３）。
【００８３】
図４は、顔画像の配置の決定手順を示すフローチャートである。同図に示すように、まず、合成位置調整部２２は、テンプレート情報に含まれる合成位置のグループ情報に基づいて、合成位置のグループを各グループに属する合成位置の数に応じてソートする（ステップＳ２０）。たとえば、合成位置のグループとして、合成位置が４つのグループと、３つのグループと、２つのグループと、単独のグループとがあった場合、合成位置が４つのグループが第１位となり、以下、３つのグループ、２つのグループ、単独のグループとい
うように、合成位置のグループがソートされる。なお、図５に示したテンプレートの場合、合成位置が４つのグループＡと、３つのグループＢ及びＣと、２つのグループＤと、単独のグループＥ、Ｆ、Ｇ、Ｈ、Ｉとがあるので、ソートすると、グループＡ→（Ｂ、Ｃ）→Ｄ→（Ｅ、Ｆ、Ｇ、Ｈ、I)となる。なお、同数の場合は、グループ内で合成位置間の距離が近い方を優位にして並べ替える。
【００８４】
次に、ソートした順に従って各グループに顔画像を割り当てる（ステップＳ２１）。この際、顔画像は顔間距離が近い者同士を組み合わせて割り当てる。たとえば、図５に示すテンプレートに図６に示す集合写真の顔画像を合成する場合、上記のように合成位置のグループの順位は、グループＡ→（Ｂ、Ｃ）→Ｄ→（Ｅ、Ｆ、Ｇ、Ｈ、I)なので、まずグループＡに割り当てる。グループＡに属する合成位置は４つなので、顔間距離がもっとも近い４組の顔画像を割り当てる。図６では、顔画像ｂ、ｃ、ｄ、ｅがもっとも顔間距離が近いので、グループＡには、顔画像ｂ、ｃ、ｄ、ｅを割り当てる。次に、グループＢに割り当てる。グループＢに属する合成位置は３つなので、先に選出した顔画像ｂ、ｃ、ｄ、ｅを除く残りの顔画像の中から顔間距離がもっとも近い３組の顔画像を割り当てる。図６では、顔画像ｂ、ｃ、ｄ、ｅの次に顔画像ｇ、ｈ、ｉがもっとも顔間距離が近いので、グループＢには、顔画像ｇ、ｈ、ｉを割り当てる。
【００８５】
このように、ソートした順に各グループに顔画像を割り当てて顔画像の配置を決定し、決定した情報を画像合成部２４に出力する（ステップＳ１４へリターン）。
【００８６】
画像合成部２４は、集合写真の画像データから各顔の画像を切り出し、切り出した顔画像を決定した配置情報に基づいてテンプレート上の合成位置に貼り付け、合成写真を生成する（ステップＳ１４）。そして、生成した合成写真を画像出力部２６に出力する（ステップＳ１５）。
【００８７】
画像出力部２６は、画像合成部２４で生成された合成写真をモニタ又はプリンタに出力し、モニタに再生表示又は印画紙に印画させる。
【００８８】
このように、本実施の形態の合成写真生成装置１０では、集合写真に写されている各人物の顔間距離が近い者同士が、まとまったグループとして合成される。一般に家族や友人など仲の良い者同士は、撮影時に近寄って撮影するので、本実施の形態のように、顔間距離が近い者同士が同じグループに属するように配置することにより、仲の良い者同士を同じグループにまとめて合成することができる。
【００８９】
なお、本実施の形態では、単純に隣接する人物の顔間距離が近い者同士を組み合わせるようにしているが、検出する顔間距離の方向又は顔の大きさに応じて距離値に重み付けをするようにしてもよい。たとえば、方向に応じて重み付けする例として、横方向、斜め方向、縦方向の順に重み付けをするようにしてもよい。また、顔の大きさに応じて重み付けする例として、大きい顔（大人の顔）と小さい顔（子供の顔）との間の距離値に大きい重みをつけるようにする。なお、重み付けした距離値は、そのままの値を用いてもよいし、テーブルを利用してランク値に変換して用いてもよい。このように検出する顔間距離の方向又は顔の大きさに応じて距離値に重み付けをすることにより、集合写真に写されている人物間の親密度の関係により忠実な顔画像の配置とすることができる。
【００９０】
また、本実施の形態では、合成位置のグループをソートするに際して、各グループに属する合成位置の数の順でソートしているが、テンプレートにおける合成位置の順でソートしてもよい。また、隣接距離の近い顔画像があった場合には、集合写真における位置とテンプレートにおける位置が近いものを優先させることを行ってもよい。
【００９１】
また、グループに属する合成位置の順でソートする場合は、上記実施の形態とは逆に各グループに属する合成位置の数が少ない順でソートするようにしてもよい。また、同数の場合は、グループ内における合成位置の間の距離を考慮し、この間の距離が近いグループが優位になるように設定してもよい。
【００９２】
また、本実施の形態では、合成位置をグループ化し、各グループに顔の間の距離が近い者同士を組み合わせて割り当てているが、まず、顔の間の距離が近い人物同士を組み合わせてグループ化し、同一グループに属する各人物の顔画像が、近い合成位置に配置されるように各人物の顔画像をテンプレート上に割り当てるようにしてもよい。この場合、グループに属する人物の顔の数に応じてグループをソートし、ソートした順にテンプレート上に設定されている合成位置のグループに割り当てることが好ましい。
【００９３】
（第２の実施の形態）
次に、本発明に係る合成写真生成装置の第２の実施の形態について説明する。
【００９４】
第２の実施の形態の合成写真生成装置は、２回に分けて撮影した集合写真の各顔画像の移動方向と移動量を計測し、一定距離以上移動した顔画像の移動方向の集中度に基づいて顔画像をグループ化し、そのグループがまとまってテンプレート上に配置されるように合成する。
【００９５】
図７は、第２の実施の形態の合成写真生成装置３０の構成を示すブロック図である。同図に示すように、第２の実施の形態の合成写真生成装置３０は、第１の実施の形態の合成写真生成装置１０の顔間距離検出部２０に代えて変化量検出部３２が備えられている。これ以外の構成は上述した第１の実施の形態の合成写真生成装置１０と同じである。したがて、第１の実施の形態の合成写真生成装置１０と同じ構成要素については、同一符号を付して、その説明は省略する。
【００９６】
変化量検出部３２は、顔検出部１４で検出した２枚の集合写真の顔位置から各顔画像の移動量と移動方向を検出する。すなわち、１枚目の集合写真から検出された各人物の顔の位置情報と、２枚目の集合写真から検出された各人物の顔の位置情報とに基づいて、各人物の顔位置が、１回目の撮影に対して２回目の撮影で、どの方向にどれだけ移動したかを検出する。この変化量検出部３２で検出された各人物の顔の移動量と移動方向の情報は、合成位置調整部２２に加えられる。合成位置調整部２２は、この変化量検出部３２で検出された各人物の顔の移動量と移動方向の情報、及び、テンプレート情報に基づいてテンプレートに貼り付ける各顔画像の配置を決定する。
【００９７】
図８は、本実施の形態の合成画像生成装置における合成写真の生成手順を示すフローチャートである。
【００９８】
まず、画像合成に使用する２枚の集合写真の画像データを画像入力部１２を入力する（ステップＳ３０）。
【００９９】
なお、このように本実施の形態の合成写真生成装置３０は、２枚の集合写真を用いることから、画像合成の前提として、集合写真の撮影を２回行っておくものとする。この際、１回目の撮影では、形式的な並びで撮影を行い、２回目の撮影では、くだけた形で撮影することが好ましい。
【０１００】
画像入力部１２から入力された２枚の画像データは、顔検出部１４に加えられ、各画像に写されている顔の位置が個別に検出される（ステップＳ３１）。
【０１０１】
顔検出部１４で検出された各画像における各顔の位置情報は、変化量検出部３２に加え
られ、変化量検出部３２は、この顔検出部１４で検出された各画像における各顔の顔位置の位置情報から各顔の移動量と移動方向を検出する（ステップＳ３２）。すなわち、１回目の撮影に対して２回目の撮影で、各顔がどの方向にどれだけ移動したかを検出する。
【０１０２】
変化量検出部３２で検出された各顔の移動量と移動方向の情報は、合成位置調整部２２に加えられ、合成位置調整部２２は、この変化量検出部３２で検出された各顔の移動量と移動方向の情報に基づいて顔画像をグルーピングする（ステップＳ３３）。
【０１０３】
図９は、顔画像のグルーピングの手順を示すフローチャートである。
【０１０４】
まず、検出された各顔の移動量の情報に基づいて移動量が少ない顔をチェックする（ステップＳ４０）。すなわち、移動量が、あらかじめ設定した閾値未満の顔をチェックする。そして、そのチェックした顔をグループの中心に設定する（ステップＳ４１）。たとえば、図１０に示すように、１３人の集合写真を２回に分けて撮影した時、人物ａ、ｃ、ｆ、ｇ、ｈ、ｉ、ｊ、ｌの移動量が少ないので、人物ａ、ｃ、ｆ、ｇ、ｈ、ｉ、ｊ、ｌをチェックし、その顔の位置をグループの中心にセットする。
【０１０５】
次に、未チェックの顔の有無を判定する（ステップＳ４２）。すなわち、移動量が閾値以上の画像の有無を判定する。ここで、未チェックの顔アリと判断すると、その未チェックの顔の移動方向と移動前（あるいは移動後）の位置情報とに基づいて、その変化の方向先にある中心の顔とグループ化する（ステップＳ４３）。たとえば、図１０に示す例では、人物ｂ、ｄ、ｅ、ｋ、ｍの顔が、未チェックの顔なので、人物ｂ、ｄ、ｅ、ｋ、ｍの顔についてグループ化する。このとき、たとえば、人物ｂについては、その変化の方向先に人物ｃの顔が存在するので、中心に設定された人物ｃの顔とグループ化する。また、人物ｄについても、その変化の方向先に人物ｃの顔が存在するので、中心に設定された人物ｃの顔とグループ化する。また、人物ｅについては、その変化の方向先に人物ｆの顔が存在するので、中心に設定された人物ｆの顔とグループ化する。このように、未チェックの顔の移動方向と移動前の顔の位置情報とに基づいて、その変化の方向先にある中心の顔とグループ化する（ステップＳ４３）。
【０１０６】
この結果、図１０に示す例では、人物（ｂ、ｃ、ｄ）及び（ｋ、ｌ、ｍ）の顔が３人組のグループに設定され、人物（ｅ、ｆ）の顔が２人組みのグループに設定される。そして、ａ、ｇ、ｈ、ｉ、ｊが単独のグループに設定される。
【０１０７】
なお、移動量が閾値以上であっても、変化の方向先に人物の顔が存在しない場合は、単独のグループに設定される。
【０１０８】
以上のように、グループ化を行い、未チェックの顔が無くなったところで、グループ化の処理を完了する（ステップＳ３４へリターン）。そして、各グループに属する顔の数に応じてグループをソートする（ステップＳ３４）。
【０１０９】
図１０に示す例では、グループｂ、ｃ、ｄとグループｋ、ｌ、ｍが３つ、グループｅ、ｆが２つ、グループａ、ｇ、ｈ、ｉ、ｊが１つなので、グループ（ｂ、ｃ、ｄ）→グループ（ｋ、ｌ、ｍ）→グループ（ｅ、ｆ）→グループ（ａ）→グループ（ｇ）→グループ（ｈ）→グループ（ｉ）→グループ（ｊ）の順でソートされる。
【０１１０】
次に、テンプレート情報格納部１８に格納されているテンプレート情報に基づいて使用するテンプレートに設定されている各合成位置に各顔のグループをソートした順に割り当てる（ステップＳ３５）。すなわち、たとえば、顔の数が３つのグループは、合成位置が３つ固まったグループに割り当て、顔の数が２つのグループは、合成位置が２つ固まった
グループに割り当てる。このように、各顔のグループが、同じ合成位置のグループに配されるように、顔画像の配置を調整する。そして、決定した顔画像の配置情報を画像合成部２４に出力する。
【０１１１】
画像合成部２４は、２枚目の集合写真の画像データから各顔の画像を切り出し、切り出した各顔画像を決定した配置情報に基づいてテンプレート上の合成位置に貼り付け、合成写真を生成する（ステップＳ３６）。そして、生成した合成写真を画像出力部２６に出力する（ステップＳ３７）。
【０１１２】
画像出力部２６は、画像合成部２４で生成された合成写真をモニタ又はプリンタに出力し、モニタに再生表示又は印画紙に印画させる。
【０１１３】
このように、本実施の形態の合成写真生成装置３０では、２回に分けて撮影した集合写真の各顔画像の移動方向と移動量を計測し、一定距離以上移動した顔画像の移動方向の集中度に基づいて顔画像をグループ化し、そのグループがまとまってテンプレート上に配置されるように合成する。これにより、仲の良い者同士を同じグループにまとめて合成することができる。
【０１１４】
なお、本実施の形態では、テンプレートに貼り付ける顔画像を２枚目の集合写真の画像から切り出しているが、１枚目の集合写真の画像から切り出して貼り付けるようにしてもよいし、また、双方の集合写真の画像から切り出して貼り付けるようにしてもよい。
【０１１５】
また、各集合写真の画像から顔の画像を切り出して、２枚の合成写真を生成するようにしてもよい。そして、２枚の合成写真を生成する場合は、異なるテンプレートを用いてもよく、同じテンプレートを用いる場合は、合成位置を変えるようにしてもよい。
【０１１６】
また、本実施の形態では、顔画像のグループをソートする際、グループに属する人物の顔の数が多い順にソートしているが、少ない順にソートするようにしてもよい。また、グループに属する人物の顔の数が多い順にソートする場合において、各グループに属する人物の顔の数が同数の場合は、各グループに属する人物の顔の間の距離を考慮し、この間の距離が近いグループが優位になるように設定するようにしてもよい。
【０１１７】
また、合成に用いる２枚の集合写真は、必ずしも連続して撮影したものである必要はなく、複数回撮影した中の任意の２枚を選択して用いることができる。たとえば、５回撮影した場合において、１回目に撮影したものと３回目に撮影したものを用いてよいし、また、２回目に撮影したものと５回目に撮影したものを用いてもよい。
【０１１８】
（第３の実施の形態）
本実施の形態では、動画の画像データとテンプレートとを合成する例について説明する。なお、本実施の形態の構成は、上述の第１の実施の形態の構成と略同一であり、第１の実施の形態と同一部分には同一符号を付して詳細な説明は省略する。
【０１１９】
図１１は、動画の画像データに本発明を応用した例を示す図である。動画は、一般的に、所定の時間間隔で経時的に撮影された複数の画像データを、撮影順序の順番で連続的に表示させるものである。図１１に示す動画は、時刻Ｔ０〜Ｔｎに撮影したｎ＋１枚の画像データを、時刻Ｔ０の画像データから時刻Ｔｎの画像データに向かって連続的に表示するものである。このような複数の画像データから成る動画であっても、上述の第１の実施の形態と同様に、各画像データから顔画像を抽出し、抽出した顔画像とテンプレートとを合成することで、合成画像データを作成することができる。なお、顔画像とテンプレートの合成手法等は、上述の第１の実施の形態と略同一の手法によって行われる。
【０１２０】
図１１に示すような動画に基づいて合成画像データを作成する場合、動画を構成する複数の画像データの中から特定の一つの画像データを対象として、その対象画像データに写されている顔画像を一つのテンプレートと合成することで、単一の合成画像データを作成することができる。また、動画を構成する画像データのうち全部または一部の複数の画像データを対象とし、その対象画像データに写されている顔画像を一つ又は複数のテンプレートと合成することで、複数の合成画像データを作成することができる。特に複数のテンプレートを用いる場合には、画像データの撮影時刻Ｔ０〜Ｔｎに応じて、顔画像と合成するテンプレートを変えることも可能である。
【０１２１】
また、単一のテンプレートと動画を構成する複数の画像データとを合成の対象とした場合、作成された複数の合成画像データを経時的に組み合わせることで、テンプレート上で顔画像が経時的に変化する新たな動画を作成することも可能である。
【０１２２】
このように、複数の画像データを含む動画を合成画像データの対象とすることで、一つの合成画像データの作成、複数の合成画像データの作成、静止画の合成画像データの作成、および動画の合成画像データの作成が可能となり、合成画像データの作成の自由度が向上する。
【０１２３】
（第４の実施の形態）
本実施の形態では、合成画像データおよび非合成画像データが組み合わされてスライドショーが作成される例について説明する。ここでいう「スライドショー」とは、複数の画像データを所定の時間間隔で順次再生するものを指し、再生の際には所定の音楽を流してもよい。なお、再生時の所定の時間間隔は、一定であってもよいし、一定ではなくてもよい。本実施の形態の構成は、上述の第１の実施の形態の構成と略同一であり、第１の実施の形態と同一部分には同一符号を付して詳細な説明は省略する。
【０１２４】
本実施の形態では、上述の第１の実施の形態の合成画像作成装置および合成画像作成方法が利用されて合成画像データが作成され、画像合成部２４が、この合成画像データと非合成画像データとを再生順に並べて画像集を作成する。このようにして作成された画像集は、画像出力部２６によって、ハードディスク、ＣＤ、ＤＶＤ、フラッシュメモリ、或いはその他のコンピュータ読み取り可能な媒体に書き込まれる。そして、画像出力部２６よって、或いは画像出力部２６および他の機器類との協働によって、画像集の各画像データが再生順に従って順次再生される。
【０１２５】
本実施の形態で作成される合成画像データは、単一または複数の画像データと単一または複数のテンプレートとが合成されることで作成される。特に複数の画像データに基づいて合成画像データを作成する場合には、例えば（１）全ての画像データの合成画像データを作成する、（２）スライドショーの再生順を基準にして、所定の順番毎の画像データの合成画像データを作成する、（３）指定された画像データの合成画像データを作成する、（４）スライドショーの際に流される音楽に基づいて特定される画像データの合成画像データを作成する、ことが可能である。
【０１２６】
図１２は、スライドショーの際に流される音楽に基づいて、スライドショーに用いられる合成画像データが作成される場合の一例を示す図である。図１２の左側は、画像集の複数の画像データが再生される順番を示す図であり、図１２の右側は、音楽の盛り上がり度（縦軸）と時間（横軸）との関係を示す図である。なお、「音楽の盛り上がり度」は、任意の要素に基づいて定められ、例えば、使用される音楽の音程、音量、テンポ、サビ、等の音楽的な要素や、特定の人の感覚、等に基づいて定められる。また、音楽が１番盛り上がるタイミングも任意の要素に基づいて定められる。例えば、音程、音量、あるいはテンポを周波数成分化し、その周波数成分化された要素のピークポイント及びそのピークポイントの周辺を「音楽が１番盛り上がるタイミング」とすることもできる。なお、図１２に示されている例では、音楽が一番盛り上がるタイミングで（図１２中の「Ａ」参照）、テンプレートが使用された合成画像データ（図１２の黒塗り部参照）が再生されるようになっており、スライドショーの面白みが更に増す。
【０１２７】
なお、合成画像データの対象となる画像データが予め決まっている場合には、その画像データおよびテンプレートによって合成画像データが作成され、その後に、合成画像データおよび非合成画像データが再生順に組み合わされてもよい。また、合成画像データを作成する前に非合成画像データを再生順に並べて、並べられた非合成画像データの一部または全部とテンプレートとによって合成画像データを作成し、基になった非合成画像データの再生順序のところに作成された合成画像データを挿入してもよい。
【０１２８】
本実施の形態では、合成画像データおよび非合成画像データが組み合わされた複数の画像データによって画像集が構成される例について説明したが、合成画像データのみによって画像集が構成されてもよい。
【０１２９】
また、合成画像データを含む画像集は、スライドショー以外の用途に使用されることも可能である。例えば、スライドショーのように単一の画像データを順次再生する場合だけではなく、アルバムのように一度に複数の画像データを表示していく場合にも、画像集の合成画像データを使用することができる。
【０１３０】
また、所望のテンプレートが適宜用いられる。例えばスライドショーの場合には、一画像毎に所望のテンプレートが用いられてもよい。またアルバムの場合には、一度に再生される複数の画像データが合成される１頁毎にテンプレートが用いられてもよい。
【０１３１】
また、スライドショーやアルバム等とともに再生される音楽は、任意の音楽が用いられ、例えば、テンプレートに対して予め対応づけられている音楽が用いられたり、ユーザの好みによって選択された所望の音楽が用いられたりする。なお、このような音楽のデータは、関連するテンプレートの各種データと共に格納部に格納されていてもよいし、別個の格納部に格納されていてもよい。
【０１３２】
本発明は、上述の実施の形態およびその変形例に限定されるものではなく、当業者の知識に基づいて各種の設計変更等の変形が加えられることも可能であり、そのような変形が加えられた実施の形態も本発明の範囲に含まれうる。
【０１３３】
例えば、上述した第１、第２の実施の形態の合成写真生成装置では、集合写真に写されている顔を検出できることから、その顔の数を算出し、生成した合成写真の注文データに利用するようにしてもよい。たとえば、集合写真の画像データから９人の顔が検出できた場合、合成写真のプリント数を９枚に設定して自動プリントするようにしてもよい。
【０１３４】
また、上述した第１、第２の実施の形態の合成写真生成装置でグループの数も検出できることから、グループ単位で写真プリントの注文データを設定できるようにしてもよい。たとえば、たとえば、集合写真の画像データから３つのグループが検出できた場合、合成写真のプリント数を３枚に設定して自動プリントするようにしてもよい。通常、家族であれば、一家に一枚のプリントがあれば十分なので、不要なプリントを防止することができる。
【０１３５】
また、上記の各実施の形態では、専用の合成写真生成装置を用いた例で説明したが、合成写真生成装置は、一般的なコンピュータ（たとえば、パソコン）によって構成するようにしてもよい。すなわち、一般的なコンピュータに本発明に係る合成写真生成プログラムをインストールし、コンピュータに上記実施の形態の合成写真生成装置の機能を実現させるようにしてもよい。
【０１３６】
また、上記の各実施の形態では、テンプレートデータとテンプレート情報とが別個の格納部に格納され別々に管理されている例について説明したが、これに限定されるものではない。例えば、テンプレート情報を「テンプレートデータの付帯情報」としてテンプレートデータと予め関連づけておき、テンプレートデータおよびテンプレート情報を単一の格納部に格納してもよい。この場合、テンプレートデータおよびテンプレート情報の管理が容易となり、関連するテンプレートデータおよびテンプレート情報を単純な処理で呼び出すことが可能となる。
【０１３７】
また、テンプレートの合成位置の大きさに応じて、合成対象の顔画像を調整してもよい。例えば、合成位置調整部２２が、テンプレートと合成する顔画像の配置を決定する際に、配置される合成位置の大きさに応じて合成対象の顔画像の大きさを正規化することで、テンプレートと顔画像とを自然な状態で合成することが可能である。顔画像の調整方法は、例えば、（Ｉ）テンプレート毎に、調整するべき顔画像の大きさ（以下「顔画像基準サイズ」とも称する）を設定しておき、合成対象の顔画像をその顔画像基準サイズに合わせる方法、（ＩＩ）合成位置毎に、顔画像基準サイズを設定しておき、合成対象の顔画像をその顔画像基準サイズに合わせる方法、等が考えられる。これにより、例えば複数の画像データに基づいて合成画像データを作成する場合のように、合成対象の複数の顔画像の大きさが不均一な場合であっても、自然な合成画像データを得ることができる。なお、合成位置毎に顔画像基準サイズが異なる場合には、合成位置の顔画像基準サイズと調整前の顔画像のサイズとを比較して両者の適合性を判断してもよい。この場合、両者の適合性に応じてテンプレート上における顔画像の配置を決定したり、テンプレート上における顔画像の配置を左右する重み付けの要素の一つとして両者の適合性を用いたりすることもできる。
【０１３８】
また、合成対象の顔画像の色合いを、所謂セットアップ処理などの画像処理を利用して、テンプレート毎あるいは合成位置毎に調整してもよい。例えば、画像合成部２４が、顔画像とテンプレートとを合成する際に、テンプレート毎に定められたテーマや合成位置毎に定められたテーマに応じて顔画像の色合いを調整することが可能である。具体的には、例えば夏用のテンプレートが用いられる場合、すべての合成位置あるいは特定の合成位置に配置される顔画像の色合いが日焼けした顔色に調整されるように、テンプレート毎あるいは合成位置毎に目標とする色合いを予め設定しておき、合成位置に配置される顔画像の色合いを目標とする色合いに調整する。これにより、テンプレートのテーマあるいは合成位置のテーマに合った合成画像データを得ることが可能となり、より面白みのある合成画像データを作成することができる。なお、テーマは、季節、時間、場所等に応じて適宜選定可能であり、テンプレートの付帯情報としてテンプレートデータと共に格納部に格納しておくこともできる。また、顔画像の色合いの調整は、部分的に実施可能であり、例えば顔色あるいは頭髪の色等のみを変化させることもできる。
【０１３９】
また、合成対象の顔画像の傾きを、テンプレート毎あるいは合成位置毎に調整してもよい。例えば、合成位置調整部２２が、テンプレートに合成する顔画像の配置を決定する際に、合成位置に応じて合成対象の顔画像の傾きを調整することで、テンプレートと顔画像とを適切に合成することが可能である。具体的には、例えばテンプレート毎あるいは合成位置毎に合成対象の「顔画像の傾き」の目標値を定めておき、その目標値に応じて合成対象の顔画像の傾きを調整することが可能である。これにより、顔画像をテンプレート上に適切に配置することができる。
【０１４０】
また、上記の各実施の形態では、計測する人物の顔の方向や顔の大きさに応じて、計測した距離に重み付けする例が説明されているが、他の要素に基づいて顔画像同士の関係に重み付けしてもよい。例えば、通常、仲の良い者同士は、顔を向かい合わせることが多いと思われる。そこで、顔の方向が向かい合っている複数の人物の顔画像がグルーピングされるように、重み付けを行う可能である。具体的には、例えば合成位置調整部２２が、顔が向き合っている者同士を仲が良いグループと判断し、対応する顔画像が近くに配置されるように、計測した距離に重み付けしたり、合成位置を決定したりすることができる。なお、「顔が向き合っている者同士」の判断は、例えば顔画像の方向に基づいて行われる。
【０１４１】
また、計測する人物の顔の表情に基づいて、計測した距離に重み付けしたり、合成位置を決定してもよい。図１３は、本変形例の合成写真生成装置の構成を示すブロック図である。本変形例では、図１に示されている顔間距離検出部２０の代わりに、顔情報を検出する顔情報検出部３４が設けられている。この顔情報検出部３４は、計測する人物の顔画像の表情を既知の表情認識方法によって検出し、検出した表情毎に顔画像が近くに配置されるようにグルーピングしたり、計測した距離に重み付けしたりする。そして、合成位置調整部２２は、顔情報検出部３４の検出結果に基づいて、テンプレート上における顔画像の合成位置を決定する。これにより、笑っている複数の顔画像や驚いている複数の顔画像を、テンプレート上において近くに配置することが可能となる。また、表情に基づくグルーピングと他の要素に基づくグルーピングとを組み合わせることもできる。例えば、まず検出された顔画像の表情に基づいて複数の顔画像のグルーピングを行い、その後グルーピングされたグループ中の顔画像を距離による重み付け等することで、顔画像の合成位置を決定することも可能である。なお、表情認識の方法としては、任意の手法を用いることが可能であり、例えば特開２００５−１４９３０２号公報や特開２００５−０４４３３０号公報に開示されている既知の手法が用いられうる。例えば、特開２００５−１４９３０２号公報は、顔画像認識装置及び顔画像認識プログラムを開示する。これらの技術は、予め登録される登録顔画像の特徴点配置情報と人物ＩＤとを、前記登録顔画像に対応付けて顔テンプレートとして登録し、表情の異なる複数の顔画像の特徴点配置情報に基づいて顔変形情報を抽出する。そして、顔テンプレートと顔変形情報とに基づいて、画像中に含まれる顔画像中の人物を特定することができる。また、特開２００５−０４４３３０号公報では、検出対象として検出された顔画像をガボア・フィルタによりフィルタリングして顔特徴を抽出し、この顔特徴に基づき、与えられた顔画像の表情を認識する表情認識方法が開示されている。また、認識対象となる特定表情を示す複数の顔画像と該特定表情とは異なる表情を示す複数の顔画像とからなる表情学習用データセットを使用して、与えられた顔画像の表情を認識する表情認識方法も開示されている。この表情認識方法では、表情学習用データセットからガボア・フィルタによって抽出した顔特徴に基づき、与えられた顔画像から特定表情を示す顔画像を識別する。また、この表情認識方法を実施する装置は、与えられた顔画像から認識対象となる特定表情を示す顔画像を識別する表情識別器を有する。この表情識別器は、予め学習されたサポート・ベクタを使用して上記顔特徴抽出手段により抽出された顔特徴が上記特定表情であるか否かを識別するサポート・ベクタ・マシーン（ＳＶＭ）であってもよい。また、表情識別器は、複数の弱仮説からなる推定結果出力手段と、推定結果出力手段から出力される推定結果に基づき与えられた顔画像が特定表情であるか否かを判別する判別手段とを有していてもよい。推定結果出力手段は、予め学習された特徴量に基づき、与えられた顔画像が特定表情であるか否かを推定して複数の弱仮説毎に出力し、判別手段は、弱仮説の推定結果と当該弱仮説の推定性能に基づき学習された信頼度との積を、一の弱仮説が推定結果を出力する毎に加算し、該加算結果に基づき顔画像が特定表情であるか否かを判別してもよい。また、上記の表情認識方法を実施する装置は、複数の、特定表情を示す顔画像を識別する表情識別器と、該複数の表情識別器の識別結果に基づき、与えられた顔画像の表情を決定する表情決定手段とを有していてもよい。この表情決定手段は、各表情識別器の加算結果に基づき、与えられた顔画像の表情を決定してもよい。また、この表情識別器は、予め学習されたサポート・ベクタを使用して顔特徴抽出手段により抽出された顔特徴が特定表情であるか否かを識別するサポート・ベクタ・マシーン（ＳＶＭ）であってもよい。サポート・ベクタは、認識対象となる特定表情を示す複数の顔画像と該特定表情とは異なる表情を示す複数の顔画像とからなる表情学習用データセットを使用して、複数のガボア・フィルタから選択した一のガボア・フィルタのフィルタリング結果に基づき、与えられた顔画像が特定表情であるか否かを推定する弱仮説を繰り返し生成した際に弱仮説として選択された全ガボア・フィルタにより、該表情学習用データセットから顔特徴を抽出し、該抽出された顔特徴に基づき予め学習されたものであってもよい。
【０１４２】
なお、合成画像データの生成のための上述の各手法をコンピュータに機能させるプログラムも本発明の範囲に含まれうる。
【０１４３】
また、顔画像のグルーピング方法は、上述の手法に限定されるものではない。例えば、写真（画像データ）に写っている（含まれる）頻度に応じて単純にグルーピングを行うことも可能であり、頻度の多い人同士を同一のグループにグルーピングすることもできる。また、グルーピングによって高い順位のグループから漏れてしまったような顔画像であっても、写真（画像データ）に写っている（含まれる）頻度が高い顔画像については、予めテンプレート上に規定された特定の場所に合成してもよい。テンプレート上に規定されるそのような特定の場所は、テンプレートのテーマ等に応じて適宜決められ、例えば目立つ位置を特定の場所とすることができる。
【０１４４】
また、顔画像のグルーピングの基準は、上述の手法に限定されるものではない。例えば、仲が良い人同士は撮影の際も一緒に居ることが多いので、一緒に写真（画像データ）に写っている（含まれる）頻度を顔画像のグルーピングの基準の一つにしてもよい。この場合には、頻度が高いほどその顔画像同士が近くに配置されるように、顔画像とテンプレートとを合成することができる。
【図面の簡単な説明】
【０１４５】
【図１】合成画像データの作成の全体的な流れの一例を示す図である。
【図２】本発明に係る合成写真生成装置の第１の実施の形態を示すブロック図である。
【図３】第１の実施の形態の合成写真生成装置における合成写真の生成手順を示すフローチャートである。
【図４】顔画像の配置の決定手順を示すフローチャートである。
【図５】テンプレートの一例を示す図である。
【図６】集合写真の一例を示す図である。
【図７】第２の実施の形態の合成写真生成装置の構成を示すブロック図である。
【図８】第２の実施の形態の合成画像生成装置における合成写真の生成手順を示すフローチャートである。
【図９】顔画像のグルーピングの手順を示すフローチャートである。
【図１０】集合写真の一例を示す図である。
【図１１】複数の画像データから成る動画に本発明を応用した例を示す図である。
【図１２】スライドショーの際に流される音楽に基づいて、スライドショーに用いられる合成画像データが作成される場合の一例を示す図である。
【図１３】合成写真生成装置の構成の一変形例を示すブロック図である。
【符号の説明】
【０１４６】
１０…合成写真生成装置、１２…画像入力部、１４…顔検出部、１６…テンプレート格納部、１８…テンプレート情報格納部、２０…顔間距離検出部、２２…合成位置調整部、２４…画像合成部、２６…画像出力部、３０…合成写真生成装置、３２…変化量検出部、３４…顔情報検出部
【図１】
2006121661.tif 000003
【図２】
2006121661.tif 000004
【図３】
2006121661.tif 000005
【図４】
2006121661.tif 000006
【図５】
2006121661.tif 000007
【図６】
2006121661.tif 000008
【図７】
2006121661.tif 000009
【図８】
2006121661.tif 000010
【図９】
2006121661.tif 000011
【図１０】
2006121661.tif 000012
【図１１】
2006121661.tif 000013
【図１２】
2006121661.tif 000014
【図１３】
2006121661.tif 000015