(57)【要約】【課題】ユーザがレイアウトを編集することなく、複数のユーザから取得された複数の画像用いて複数のユーザが納得できる合成画像を作成することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供する。【解決手段】画像処理装置、画像処理方法、プログラムおよび記録媒体においては、合成画像評価値算出部が、合成画像解析評価値を算出する。合成画像ユーザ評価値取得部が、複数のユーザから合成画像ユーザ評価値を取得し、合成画像ユーザ評価値演算部が、合成画像ユーザ評価総合値を演算する。合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きい場合に、合成条件変更部が、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを変更した変更条件を作成する。合成画像作成部が、変更条件に基づいて合成画像を作成し直す。【選択図】  図２
2018018137.tif 000002
【特許請求の範囲】
【請求項１】
複数のユーザから複数の画像を取得する画像取得部と、
前記複数の画像の各々を解析する個別画像解析部と、
前記各々の画像の解析結果に基づいて、前記各々の画像を１以上の個別画像評価条件について評価した個別画像評価値を算出する個別画像評価値算出部と、
前記各々の画像の個別画像評価値に基づいて、前記複数の画像の中から１以上の画像抽出条件に対応する１以上の画像を抽出する画像抽出部と、
１以上の合成画像作成条件に基づいて、前記１以上の画像を合成した合成画像を作成する合成画像作成部と、
前記合成画像を解析する合成画像解析部と、
前記合成画像の解析結果に基づいて、前記合成画像を１以上の合成画像評価項目の各々について評価した１以上の合成画像解析評価値の各々を算出する合成画像評価値算出部と、
前記複数のユーザから、前記合成画像を前記１以上の合成画像評価項目の各々について評価した１以上の合成画像ユーザ評価値の各々を取得する合成画像ユーザ評価値取得部と、
前記各々の合成画像評価項目について、前記複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値を演算する合成画像ユーザ評価値演算部と、
前記各々の合成画像評価項目について、前記合成画像ユーザ評価総合値と前記合成画像解析評価値との差が閾値よりも大きい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に近づくように、前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも１つを前記差に応じて変更した変更条件を作成する合成条件変更部とを備え、
前記合成画像作成部は、前記合成条件変更部によって作成された変更条件に基づいて前記合成画像を作成し直す、画像処理装置。
【請求項２】
前記合成条件変更部は、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも大きい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて小さくなるように、または、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも小さい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて大きくなるように、前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも１つを変更した変更条件を作成する、請求項１に記載の画像処理装置。
【請求項３】
前記合成画像ユーザ評価値取得部は、前記合成画像において使用されている画像数について前記合成画像を評価した合成画像ユーザ評価値を取得し、
前記合成条件変更部は、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも大きい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて小さくなるように、または、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも小さい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて大きくなるように、前記合成画像の作成に使用するテンプレートにおける配置画像数を変更し、
前記合成画像作成部は、前記合成条件変更部によって前記配置画像数が変更されたテンプレートを用いて前記合成画像を作成し直す、請求項１または２に記載の画像処理装置。
【請求項４】
前記合成画像ユーザ評価値取得部は、前記合成画像において使用されている人物画像数について前記合成画像を評価した合成画像ユーザ評価値を取得し、
前記合成条件変更部は、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも大きい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて小さくなるように、または、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも小さい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて大きくなるように、前記複数の画像の中から前記１以上の画像を抽出する時の人物画像の重みを変更し、
前記合成画像作成部は、前記合成条件変更部によって変更された前記人物画像の重みに応じて前記複数の画像の中から抽出された１以上の画像を用いて前記合成画像を作成し直す、請求項１ないし３のいずれか一項に記載の画像処理装置。
【請求項５】
前記合成画像ユーザ評価値取得部は、前記合成画像の雰囲気について前記合成画像を評価した合成画像ユーザ評価値を取得し、
前記合成条件変更部は、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも大きい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて小さくなるように、または、前記合成画像ユーザ評価総合値が前記合成画像解析評価値に対して前記閾値よりも小さい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に応じて大きくなるように、前記合成画像の作成に使用するテンプレートの背景画像を変更し、
前記合成画像作成部は、前記合成条件変更部によって前記背景画像が変更されたテンプレートを用いて前記合成画像を作成し直す、請求項１ないし４のいずれか一項に記載の画像処理装置。
【請求項６】
前記合成画像ユーザ評価値演算部は、前記合成画像ユーザ評価総合値として、前記複数のユーザからの合成画像ユーザ評価値の和、平均または積を演算する、請求項１ないし５のいずれか一項に記載の画像処理装置。
【請求項７】
前記複数のユーザの各々の重みを算出する重み算出部を備え、
前記合成画像ユーザ評価値演算部は、前記合成画像ユーザ評価総合値として、前記各々のユーザの重みに応じて重み付けされた前記複数のユーザからの合成画像ユーザ評価値の和、平均または積を演算する、請求項１ないし５のいずれか一項に記載の画像処理装置。
【請求項８】
前記各々のユーザの個人情報を取得する個人情報取得部を備え、
前記重み算出部は、前記各々のユーザの個人情報に基づいて、前記複数のユーザの各々の重みを算出する、請求項７に記載の画像処理装置。
【請求項９】
前記重み算出部は、前記画像取得部によってより多くの画像が取得されたユーザの重みがより重くなるように、前記複数のユーザの各々の重みを算出する、請求項７に記載の画像処理装置。
【請求項１０】
前記重み算出部は、前記合成画像ユーザ評価値取得部によってより早いタイミングで前記合成画像ユーザ評価値が取得されたユーザの重みがより重くなるように、前記複数のユーザの各々の重みを算出する、請求項７に記載の画像処理装置。
【請求項１１】
前記差に応じて前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも１つを変更した複数の変更条件を記憶する合成条件記憶部と、
前記合成条件記憶部に記憶された複数の変更条件の中から、前記差が前記閾値よりも大きい合成画像評価項目に対応する１つの変更条件を選択する合成条件選択部とを備え、
前記合成画像作成部は、前記合成条件選択部によって選択された変更条件に基づいて前記合成画像を作成し直す、請求項１ないし１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記差に応じて前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも１つを変更した複数の変更条件を記憶する合成条件記憶部を備え、
前記合成画像作成部は、前記合成条件記憶部に記憶された複数の変更条件の中から、前記複数のユーザの各々によって選択された１つの変更条件に基づいて前記合成画像を作成し直す、請求項１ないし１０のいずれか一項に記載の画像処理装置。
【請求項１３】
前記合成条件変更部は、前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも１つを前記差に応じて変更した２以上の変更条件を作成し、
前記合成画像作成部は、前記合成条件変更部によって作成された２以上の変更条件に基づいて２以上の合成画像を作成し直し、
前記２以上の合成画像に対し、前記複数のユーザによって選択された前記２以上の合成画像の各々の数を取得する合成画像選択数取得部と、
前記２以上の合成画像の中から前記複数のユーザによって選択された数が最も多い選択合成画像の情報を取得する合成画像情報取得部を備える、請求項１ないし１２のいずれか一項に記載の画像処理装置。
【請求項１４】
合成画像ユーザ評価値演算部は、さらに、前記複数のユーザからの合成画像ユーザ評価値の標準偏差を演算し、
前記合成条件変更部は、前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも１つを前記差および前記標準偏差に応じて変更した２以上の変更条件を作成し、
前記合成画像作成部は、前記合成条件変更部によって作成された２以上の変更条件に基づいて２以上の合成画像を作成し直し、
前記２以上の合成画像に対し、前記複数のユーザによって選択された前記２以上の合成画像の各々の数を取得する合成画像選択数取得部と、
前記２以上の合成画像の中から前記複数のユーザによって選択された数が最も多い選択合成画像の情報を取得する合成画像情報取得部とを備える、請求項１ないし１３のいずれか一項に記載の画像処理装置。
【請求項１５】
複数のユーザから複数の画像を取得する画像取得部と、
前記複数の画像の各々を解析する個別画像解析部と、
前記各々の画像の解析結果に基づいて、前記各々の画像を１以上の個別画像評価条件について評価した個別画像評価値を算出する個別画像評価値算出部と、
前記各々の画像の個別画像評価値に基づいて、前記複数の画像の中から１以上の画像抽出条件に対応する１以上の画像を抽出する画像抽出部と、
１以上の合成画像作成条件に基づいて、前記１以上の画像を合成した合成画像を作成する合成画像作成部と、
前記複数のユーザから、前記合成画像を前記１以上の合成画像評価項目の各々について評価した１以上の合成画像ユーザ評価値の各々を取得する合成画像ユーザ評価値取得部と、
前記各々の合成画像評価項目について、前記複数のユーザからの合成画像ユーザ評価値の標準偏差を演算する合成画像ユーザ評価値演算部と、
前記各々の合成画像評価項目について、前記標準偏差が閾値よりも大きい場合に、前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも１つを前記標準偏差に応じて変更した２以上の変更条件を作成する合成条件変更部と、
前記合成画像作成部によって前記２以上の変更条件に基づいて作成し直された２以上の合成画像に対し、前記複数のユーザによって選択された前記２以上の合成画像の各々の数を取得する合成画像選択数取得部と、
前記２以上の合成画像の中から前記複数のユーザによって選択された数が最も多い選択合成画像の情報を取得する合成画像情報取得部を備える、画像処理装置。
【請求項１６】
前記合成画像ユーザ評価値取得部は、前記合成画像において使用されている画像数について前記合成画像を評価した合成画像ユーザ評価値を取得し、
前記合成条件変更部は、前記標準偏差が前記閾値よりも大きい場合に、前記合成画像の作成に使用するテンプレートにおける配置画像数を前記標準偏差に応じて変更し、
前記合成画像作成部は、前記合成条件変更部によって前記配置画像数が変更されたテンプレートを用いて前記合成画像を作成し直す、請求項１５に記載の画像処理装置。
【請求項１７】
前記合成画像ユーザ評価値取得部は、前記合成画像において使用されている人物画像数について前記合成画像を評価した合成画像ユーザ評価値を取得し、
前記合成条件変更部は、前記標準偏差が前記閾値よりも大きい場合に、前記複数の画像の中から前記１以上の画像を抽出する時の人物画像の重みを前記標準偏差に応じて変更し、
前記合成画像作成部は、前記合成条件変更部によって変更された前記人物画像の重みに応じて前記複数の画像の中から抽出された１以上の画像を用いて前記合成画像を作成し直す、請求項１５または１６に記載の画像処理装置。
【請求項１８】
前記合成画像ユーザ評価値取得部は、前記合成画像の雰囲気について前記合成画像を評価した合成画像ユーザ評価値を取得し、
前記合成条件変更部は、前記標準偏差が前記閾値よりも大きい場合に、前記合成画像の作成に使用するテンプレートの背景画像を前記標準偏差に応じて変更し、
前記合成画像作成部は、前記合成条件変更部によって前記背景画像が変更されたテンプレートを用いて前記合成画像を作成し直す、請求項１５ないし１７のいずれか一項に記載の画像処理装置。
【請求項１９】
前記標準偏差に応じて前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも１つを変更した複数の変更条件を記憶する合成条件記憶部と、
前記合成条件記憶部に記憶された複数の変更条件の中から、前記標準偏差が前記閾値よりも大きい合成画像評価項目に対応する２以上の変更条件を選択する合成条件選択部とを備え、
前記合成画像作成部は、前記合成条件選択部によって選択された変更条件に基づいて前記合成画像を作成し直す、請求項１５ないし１８のいずれか一項に記載の画像処理装置。
【請求項２０】
前記標準偏差に応じて前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも１つを変更した複数の変更条件を記憶する合成条件記憶部を備え、
前記合成画像作成部は、前記合成条件記憶部に記憶された複数の変更条件の中から前記複数のユーザの各々によって選択された２以上の変更条件に基づいて前記合成画像を作成し直す、請求項１５ないし１８のいずれか一項に記載の画像処理装置。
【請求項２１】
前記各々の画像の解析結果に基づいて、前記各々の画像に写っている人物以外のオブジェクトを検出し、前記複数の画像に写っているオブジェクトのリストを作成するオブジェクト検出部と、
前記オブジェクトのリストの中から前記複数のユーザによって選択された各々のオブジェクトの数を取得するオブジェクト数取得部とを備え、
前記合成条件変更部は、さらに、前記オブジェクトのリストの中から前記複数のユーザによって選択された各々のオブジェクトの数に応じて、前記複数の画像の中から前記１以上の画像を抽出する時の前記各々のオブジェクトが写っている画像の重みを変更し、
前記合成画像作成部は、前記合成条件変更部によって変更された前記オブジェクトの重みに応じて前記複数の画像の中から抽出された１以上の画像を用いて前記合成画像を作成し直す、請求項１ないし２０のいずれか一項に記載の画像処理装置。
【請求項２２】
前記１以上の合成画像評価項目を記憶する合成画像評価項目記憶部を備え、
前記合成画像ユーザ評価値取得部は、前記合成画像評価項目記憶部に記憶された前記１以上の合成画像評価項目の各々について前記合成画像を評価した合成画像ユーザ評価値を取得する、請求項１ないし２１のいずれか一項に記載の画像処理装置。
【請求項２３】
前記１以上の合成画像評価項目を記憶する合成画像評価項目記憶部を備え、
前記合成画像ユーザ評価値取得部は、前記合成画像評価項目記憶部に記憶された前記１以上の合成画像評価項目の中から前記複数のユーザの各々によって選択された合成画像評価項目について前記合成画像を評価した合成画像ユーザ評価値を取得する、請求項１ないし２１のいずれか一項に記載の画像処理装置。
【請求項２４】
前記合成画像評価値算出部は、前記合成画像解析評価値が閾値を超えている場合に、前記閾値を超えている合成画像評価項目について前記合成画像を評価することを、前記複数のユーザのうちの少なくとも一人のユーザにリコメンドする、請求項１ないし２３のいずれか一項に記載の画像処理装置。
【請求項２５】
前記各々の画像の個別画像評価値に基づいて、１以上のオブジェクトの中から、前記合成画像における登場回数が閾値よりも大きいオブジェクトについての前記合成画像評価項目を作成する合成画像評価項目作成部を備え、
前記合成画像ユーザ評価値取得部は、前記合成画像評価項目作成部によって作成された合成画像評価項目について前記合成画像を評価した合成画像ユーザ評価値を取得する、請求項１ないし２１のいずれか一項に記載の画像処理装置。
【請求項２６】
前記選択合成画像の情報を記憶する合成画像情報記憶部を備え、
前記合成条件変更部は、前記合成画像情報記憶部に記憶された選択合成画像の情報に基づいて、前記複数のユーザによる前記合成画像の選択の傾向に合致するように、次の合成画像の作成に用いられる前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも１つを変更する、請求項１３ないし１５のいずれか一項に記載の画像処理装置。
【請求項２７】
前記各々の合成画像評価項目について、前記複数のユーザからの合成画像ユーザ評価値の平均を記憶する合成画像ユーザ評価値記憶部を備え、
前記合成画像作成部は、前記各々の合成画像評価項目について、前記合成画像解析評価値が前記合成画像ユーザ評価値記憶部に記憶された前記複数のユーザからの合成画像ユーザ評価値の平均に近づくように、前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも１つの値が決定された条件で次の合成画像を作成する、請求項１ないし２６のいずれか一項に記載の画像処理装置。
【請求項２８】
画像取得部が、複数のユーザから複数の画像を取得するステップと、
個別画像解析部が、前記複数の画像の各々を解析するステップと、
個別画像評価値算出部が、前記各々の画像の解析結果に基づいて、前記各々の画像を１以上の個別画像評価条件について評価した個別画像評価値を算出するステップと、
画像抽出部が、前記各々の画像の個別画像評価値に基づいて、前記複数の画像の中から１以上の画像抽出条件に対応する１以上の画像を抽出するステップと、
合成画像作成部が、１以上の合成画像作成条件に基づいて、前記１以上の画像を合成した合成画像を作成するステップと、
合成画像解析部が、前記合成画像を解析するステップと、
合成画像評価値算出部が、前記合成画像の解析結果に基づいて、前記合成画像を１以上の合成画像評価項目の各々について評価した１以上の合成画像解析評価値の各々を算出するステップと、
合成画像ユーザ評価値取得部が、前記複数のユーザから、前記合成画像を前記１以上の合成画像評価項目の各々について評価した１以上の合成画像ユーザ評価値の各々を取得するステップと、
合成画像ユーザ評価値演算部が、前記各々の合成画像評価項目について、前記複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値を演算するステップと、
合成条件変更部が、前記各々の合成画像評価項目について、前記合成画像ユーザ評価総合値と前記合成画像解析評価値との差が閾値よりも大きい場合に、前記合成画像解析評価値が前記合成画像ユーザ評価総合値に近づくように、前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも１つを前記差に応じて変更した変更条件を作成するステップと、
前記合成画像作成部が、前記変更条件を作成するステップによって作成された変更条件に基づいて前記合成画像を作成し直すステップとを含む、画像処理方法。
【請求項２９】
画像取得部が、複数のユーザから複数の画像を取得するステップと、
個別画像解析部が、前記複数の画像の各々を解析するステップと、
個別画像評価値算出部が、前記各々の画像の解析結果に基づいて、前記各々の画像を１以上の個別画像評価条件について評価した個別画像評価値を算出するステップと、
画像抽出部が、前記各々の画像の個別画像評価値に基づいて、前記複数の画像の中から１以上の画像抽出条件に対応する１以上の画像を抽出するステップと、
合成画像作成部が、１以上の合成画像作成条件に基づいて、前記１以上の画像を合成した合成画像を作成するステップと、
合成画像ユーザ評価値取得部が、前記複数のユーザから、前記合成画像を前記１以上の合成画像評価項目の各々について評価した１以上の合成画像ユーザ評価値の各々を取得するステップと、
合成画像ユーザ評価値演算部が、前記各々の合成画像評価項目について、前記複数のユーザからの合成画像ユーザ評価値の標準偏差を演算するステップと、
前記各々の合成画像評価項目について、前記標準偏差が閾値よりも大きい場合に、合成条件変更部が、前記個別画像評価条件、前記画像抽出条件および前記合成画像作成条件のうちの少なくとも１つを前記標準偏差に応じて変更した２以上の変更条件を作成するステップと、
合成画像選択数取得部が、前記合成画像を作成するステップによって前記２以上の変更条件に基づいて作成し直された２以上の合成画像に対し、前記複数のユーザによって選択された前記２以上の合成画像の各々の数を取得するステップと、
合成画像情報取得部が、前記２以上の合成画像の中から前記複数のユーザによって選択された数が最も多い選択合成画像の情報を取得するステップとを含む、画像処理方法。
【請求項３０】
請求項２８または２９に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
【請求項３１】
請求項２８または２９に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のユーザから取得された複数の画像を用いて、合成画像を作成する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
現在、ユーザが所有する複数の画像（画像データ）を、インターネット等を経由して取得し、ユーザから取得した複数の画像を用いてユーザが希望するレイアウトのフォトアルバムを作成するサービスが提供されている。
【０００３】
近年では、一人のユーザが所有する複数の画像だけを用いてフォトアルバムを作成するだけでなく、複数のユーザが所有する複数の画像を用いて１つのフォトアルバムを作成するもの（特許文献１および２参照）が知られている。
【０００４】
また、ネットワークを利用した画像サービスの登録情報に基づいて、同一のグループに属する複数のユーザの画像群を抽出して合成画像に使用するもの（特許文献３）、複数の参加者からのメッセージを受け付けて寄せ書きを作成するもの（特許文献４）、および、評価対象に対する特定ユーザの評価を受け、特定ユーザの評価と一般ユーザの評価基準とを比較して特定ユーザの評価基準を同定し、特定ユーザに高く評価される評価対象を作成するもの（特許文献５）が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２５７３０８号公報
【特許文献２】特開２０１５−０６９４３１号公報
【特許文献３】特開２０１５−０６９４３１号公報
【特許文献４】特開２０１５−１３３０００号公報
【特許文献５】特許第３１７７７４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、複数のユーザが共同で１つのフォトアルバム等の合成画像を作成する際に、複数のユーザによるレイアウトの同時編集が可能である場合、複数のユーザが同時にレイアウトを編集すると収集がつかなくなる恐れがある。
【０００７】
例えば、レイアウトを編集するユーザの数が増えるほど、レイアウトが頻繁に変更されるため、レイアウトを編集することが難しくなる。また、複数のユーザが相反するレイアウトの編集を行った場合に同期をとることができない。最終的なレイアウトの編集のゴールが分かりづらく、複数のユーザのうちのフォトアルバム等の合成画像を作成する場合のまとめ役となる幹事のユーザの負担が大きい等の問題がある。
【０００８】
本発明の目的は、ユーザがレイアウトを編集することなく、複数のユーザから取得された複数の画像用いて大多数のユーザが納得できる合成画像を作成することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、複数のユーザから複数の画像を取得する画像取得部と、
複数の画像の各々を解析する個別画像解析部と、
各々の画像の解析結果に基づいて、各々の画像を１以上の個別画像評価条件について評価した個別画像評価値を算出する個別画像評価値算出部と、
各々の画像の個別画像評価値に基づいて、複数の画像の中から１以上の画像抽出条件に対応する１以上の画像を抽出する画像抽出部と、
１以上の合成画像作成条件に基づいて、１以上の画像を合成した合成画像を作成する合成画像作成部と、
合成画像を解析する合成画像解析部と、
合成画像の解析結果に基づいて、合成画像を１以上の合成画像評価項目の各々について評価した１以上の合成画像解析評価値の各々を算出する合成画像評価値算出部と、
複数のユーザから、合成画像を１以上の合成画像評価項目の各々について評価した１以上の合成画像ユーザ評価値の各々を取得する合成画像ユーザ評価値取得部と、
各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値を演算する合成画像ユーザ評価値演算部と、
各々の合成画像評価項目について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に近づくように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを差に応じて変更した変更条件を作成する合成条件変更部とを備え、
合成画像作成部は、合成条件変更部によって作成された変更条件に基づいて合成画像を作成し直す、画像処理装置を提供する。
【００１０】
ここで、合成条件変更部は、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを変更した変更条件を作成することが好ましい。
【００１１】
また、合成画像ユーザ評価値取得部は、合成画像において使用されている画像数について合成画像を評価した合成画像ユーザ評価値を取得し、
合成条件変更部は、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、合成画像の作成に使用するテンプレートにおける配置画像数を変更し、
合成画像作成部は、合成条件変更部によって配置画像数が変更されたテンプレートを用いて合成画像を作成し直すことが好ましい。
【００１２】
また、合成画像ユーザ評価値取得部は、合成画像において使用されている人物画像数について合成画像を評価した合成画像ユーザ評価値を取得し、
合成条件変更部は、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、複数の画像の中から１以上の画像を抽出する時の人物画像の重みを変更し、
合成画像作成部は、合成条件変更部によって変更された人物画像の重みに応じて複数の画像の中から抽出された１以上の画像を用いて合成画像を作成し直すことが好ましい。
【００１３】
また、合成画像ユーザ評価値取得部は、合成画像の雰囲気について合成画像を評価した合成画像ユーザ評価値を取得し、
合成条件変更部は、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、合成画像の作成に使用するテンプレートの背景画像を変更し、
合成画像作成部は、合成条件変更部によって背景画像が変更されたテンプレートを用いて合成画像を作成し直すことが好ましい。
【００１４】
また、合成画像ユーザ評価値演算部は、合成画像ユーザ評価総合値として、複数のユーザからの合成画像ユーザ評価値の和、平均または積を演算することが好ましい。
【００１５】
また、複数のユーザの各々の重みを算出する重み算出部を備え、
合成画像ユーザ評価値演算部は、合成画像ユーザ評価総合値として、各々のユーザの重みに応じて重み付けされた複数のユーザからの合成画像ユーザ評価値の和、平均または積を演算することが好ましい。
【００１６】
また、各々のユーザの個人情報を取得する個人情報取得部を備え、
重み算出部は、各々のユーザの個人情報に基づいて、複数のユーザの各々の重みを算出することが好ましい。
【００１７】
また、重み算出部は、画像取得部によってより多くの画像が取得されたユーザの重みがより重くなるように、複数のユーザの各々の重みを算出することが好ましい。
【００１８】
また、重み算出部は、合成画像ユーザ評価値取得部によってより早いタイミングで合成画像ユーザ評価値が取得されたユーザの重みがより重くなるように、複数のユーザの各々の重みを算出することが好ましい。
【００１９】
また、差に応じて個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを変更した複数の変更条件を記憶する合成条件記憶部と、
合成条件記憶部に記憶された複数の変更条件の中から、差が閾値よりも大きい合成画像評価項目に対応する１つの変更条件を選択する合成条件選択部とを備え、
合成画像作成部は、合成条件選択部によって選択された変更条件に基づいて合成画像を作成し直すことが好ましい。
【００２０】
また、差に応じて個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを変更した複数の変更条件を記憶する合成条件記憶部を備え、
合成画像作成部は、合成条件記憶部に記憶された複数の変更条件の中から、複数のユーザの各々によって選択された１つの変更条件に基づいて合成画像を作成し直すことが好ましい。
【００２１】
また、合成条件変更部は、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを差に応じて変更した２以上の変更条件を作成し、
合成画像作成部は、合成条件変更部によって作成された２以上の変更条件に基づいて２以上の合成画像を作成し直し、
２以上の合成画像に対し、複数のユーザによって選択された２以上の合成画像の各々の数を取得する合成画像選択数取得部と、
２以上の合成画像の中から複数のユーザによって選択された数が最も多い選択合成画像の情報を取得する合成画像情報取得部を備えることが好ましい。
【００２２】
また、合成画像ユーザ評価値演算部は、さらに、複数のユーザからの合成画像ユーザ評価値の標準偏差を演算し、
合成条件変更部は、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを差および標準偏差に応じて変更した２以上の変更条件を作成し、
合成画像作成部は、合成条件変更部によって作成された２以上の変更条件に基づいて２以上の合成画像を作成し直し、
２以上の合成画像に対し、複数のユーザによって選択された２以上の合成画像の各々の数を取得する合成画像選択数取得部と、
２以上の合成画像の中から複数のユーザによって選択された数が最も多い選択合成画像の情報を取得する合成画像情報取得部とを備えることが好ましい。
【００２３】
また、本発明は、複数のユーザから複数の画像を取得する画像取得部と、
複数の画像の各々を解析する個別画像解析部と、
各々の画像の解析結果に基づいて、各々の画像を１以上の個別画像評価条件について評価した個別画像評価値を算出する個別画像評価値算出部と、
各々の画像の個別画像評価値に基づいて、複数の画像の中から１以上の画像抽出条件に対応する１以上の画像を抽出する画像抽出部と、
１以上の合成画像作成条件に基づいて、１以上の画像を合成した合成画像を作成する合成画像作成部と、
複数のユーザから、合成画像を１以上の合成画像評価項目の各々について評価した１以上の合成画像ユーザ評価値の各々を取得する合成画像ユーザ評価値取得部と、
各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値の標準偏差を演算する合成画像ユーザ評価値演算部と、
各々の合成画像評価項目について、標準偏差が閾値よりも大きい場合に、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを標準偏差に応じて変更した２以上の変更条件を作成する合成条件変更部と、
合成画像作成部によって２以上の変更条件に基づいて作成し直された２以上の合成画像に対し、複数のユーザによって選択された２以上の合成画像の各々の数を取得する合成画像選択数取得部と、
２以上の合成画像の中から複数のユーザによって選択された数が最も多い選択合成画像の情報を取得する合成画像情報取得部を備える、画像処理装置を提供する。
【００２４】
ここで、合成画像ユーザ評価値取得部は、合成画像において使用されている画像数について合成画像を評価した合成画像ユーザ評価値を取得し、
合成条件変更部は、標準偏差が閾値よりも大きい場合に、合成画像の作成に使用するテンプレートにおける配置画像数を標準偏差に応じて変更し、
合成画像作成部は、合成条件変更部によって配置画像数が変更されたテンプレートを用いて合成画像を作成し直すことが好ましい。
【００２５】
また、合成画像ユーザ評価値取得部は、合成画像において使用されている人物画像数について合成画像を評価した合成画像ユーザ評価値を取得し、
合成条件変更部は、標準偏差が閾値よりも大きい場合に、複数の画像の中から１以上の画像を抽出する時の人物画像の重みを標準偏差に応じて変更し、
合成画像作成部は、合成条件変更部によって変更された人物画像の重みに応じて複数の画像の中から抽出された１以上の画像を用いて合成画像を作成し直すことが好ましい。
【００２６】
また、合成画像ユーザ評価値取得部は、合成画像の雰囲気について合成画像を評価した合成画像ユーザ評価値を取得し、
合成条件変更部は、標準偏差が閾値よりも大きい場合に、合成画像の作成に使用するテンプレートの背景画像を標準偏差に応じて変更し、
合成画像作成部は、合成条件変更部によって背景画像が変更されたテンプレートを用いて合成画像を作成し直すことが好ましい。
【００２７】
また、標準偏差に応じて個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを変更した複数の変更条件を記憶する合成条件記憶部と、
合成条件記憶部に記憶された複数の変更条件の中から、標準偏差が閾値よりも大きい合成画像評価項目に対応する２以上の変更条件を選択する合成条件選択部とを備え、
合成画像作成部は、合成条件選択部によって選択された変更条件に基づいて合成画像を作成し直すことが好ましい。
【００２８】
また、標準偏差に応じて個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを変更した複数の変更条件を記憶する合成条件記憶部を備え、
合成画像作成部は、合成条件記憶部に記憶された複数の変更条件の中から複数のユーザの各々によって選択された２以上の変更条件に基づいて合成画像を作成し直すことが好ましい。
【００２９】
また、各々の画像の解析結果に基づいて、各々の画像に写っている人物以外のオブジェクトを検出し、複数の画像に写っているオブジェクトのリストを作成するオブジェクト検出部と、
オブジェクトのリストの中から複数のユーザによって選択された各々のオブジェクトの数を取得するオブジェクト数取得部とを備え、
合成条件変更部は、さらに、オブジェクトのリストの中から複数のユーザによって選択された各々のオブジェクトの数に応じて、複数の画像の中から１以上の画像を抽出する時の各々のオブジェクトが写っている画像の重みを変更し、
合成画像作成部は、合成条件変更部によって変更されたオブジェクトの重みに応じて複数の画像の中から抽出された１以上の画像を用いて合成画像を作成し直すことが好ましい。
【００３０】
また、１以上の合成画像評価項目を記憶する合成画像評価項目記憶部を備え、
合成画像ユーザ評価値取得部は、合成画像評価項目記憶部に記憶された１以上の合成画像評価項目の各々について合成画像を評価した合成画像ユーザ評価値を取得することが好ましい。
【００３１】
また、１以上の合成画像評価項目を記憶する合成画像評価項目記憶部を備え、
合成画像ユーザ評価値取得部は、合成画像評価項目記憶部に記憶された１以上の合成画像評価項目の中から複数のユーザの各々によって選択された合成画像評価項目について合成画像を評価した合成画像ユーザ評価値を取得することが好ましい。
【００３２】
また、合成画像評価値算出部は、合成画像解析評価値が閾値を超えている場合に、閾値を超えている合成画像評価項目について合成画像を評価することを、複数のユーザのうちの少なくとも一人のユーザにリコメンドすることが好ましい。
【００３３】
また、各々の画像の個別画像評価値に基づいて、１以上のオブジェクトの中から、合成画像における登場回数が閾値よりも大きいオブジェクトについての合成画像評価項目を作成する合成画像評価項目作成部を備え、
合成画像ユーザ評価値取得部は、合成画像評価項目作成部によって作成された合成画像評価項目について合成画像を評価した合成画像ユーザ評価値を取得することが好ましい。
【００３４】
また、選択合成画像の情報を記憶する合成画像情報記憶部を備え、
合成条件変更部は、合成画像情報記憶部に記憶された選択合成画像の情報に基づいて、複数のユーザによる合成画像の選択の傾向に合致するように、次の合成画像の作成に用いられる個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを変更することが好ましい。
【００３５】
また、各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値の平均を記憶する合成画像ユーザ評価値記憶部を備え、
合成画像作成部は、各々の合成画像評価項目について、合成画像解析評価値が合成画像ユーザ評価値記憶部に記憶された複数のユーザからの合成画像ユーザ評価値の平均に近づくように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つの値が決定された条件で次の合成画像を作成することが好ましい。
【００３６】
また、本発明は、画像取得部が、複数のユーザから複数の画像を取得するステップと、
個別画像解析部が、複数の画像の各々を解析するステップと、
個別画像評価値算出部が、各々の画像の解析結果に基づいて、各々の画像を１以上の個別画像評価条件について評価した個別画像評価値を算出するステップと、
画像抽出部が、各々の画像の個別画像評価値に基づいて、複数の画像の中から１以上の画像抽出条件に対応する１以上の画像を抽出するステップと、
合成画像作成部が、１以上の合成画像作成条件に基づいて、１以上の画像を合成した合成画像を作成するステップと、
合成画像解析部が、合成画像を解析するステップと、
合成画像評価値算出部が、合成画像の解析結果に基づいて、合成画像を１以上の合成画像評価項目の各々について評価した１以上の合成画像解析評価値の各々を算出するステップと、
合成画像ユーザ評価値取得部が、複数のユーザから、合成画像を１以上の合成画像評価項目の各々について評価した１以上の合成画像ユーザ評価値の各々を取得するステップと、
合成画像ユーザ評価値演算部が、各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値を演算するステップと、
合成条件変更部が、各々の合成画像評価項目について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に近づくように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを差に応じて変更した変更条件を作成するステップと、
合成画像作成部が、変更条件を作成するステップによって作成された変更条件に基づいて合成画像を作成し直すステップとを含む、画像処理方法を提供する。
【００３７】
また、本発明は、画像取得部が、複数のユーザから複数の画像を取得するステップと、
個別画像解析部が、複数の画像の各々を解析するステップと、
個別画像評価値算出部が、各々の画像の解析結果に基づいて、各々の画像を１以上の個別画像評価条件について評価した個別画像評価値を算出するステップと、
画像抽出部が、各々の画像の個別画像評価値に基づいて、複数の画像の中から１以上の画像抽出条件に対応する１以上の画像を抽出するステップと、
合成画像作成部が、１以上の合成画像作成条件に基づいて、１以上の画像を合成した合成画像を作成するステップと、
合成画像ユーザ評価値取得部が、複数のユーザから、合成画像を１以上の合成画像評価項目の各々について評価した１以上の合成画像ユーザ評価値の各々を取得するステップと、
合成画像ユーザ評価値演算部が、各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値の標準偏差を演算するステップと、
各々の合成画像評価項目について、標準偏差が閾値よりも大きい場合に、合成条件変更部が、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを標準偏差に応じて変更した２以上の変更条件を作成するステップと、
合成画像選択数取得部が、合成画像を作成するステップによって２以上の変更条件に基づいて作成し直された２以上の合成画像に対し、複数のユーザによって選択された２以上の合成画像の各々の数を取得するステップと、
合成画像情報取得部が、２以上の合成画像の中から複数のユーザによって選択された数が最も多い選択合成画像の情報を取得するステップとを含む、画像処理方法を提供する。
【００３８】
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
【００３９】
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００４０】
本発明においては、複数のユーザから取得された複数の画像を用いて作成された合成画像のレイアウトを複数のユーザが直接編集するのではなく、合成画像解析評価値を算出し、かつ各々のユーザから合成画像ユーザ評価値を取得して合成画像ユーザ評価総合値を演算し、合成画像ユーザ評価総合値と合成画像解析評価値との差に基づいて合成画像を作成し直す。
【００４１】
このように、本発明によれば、複数のユーザが合成画像のレイアウトを直接編集しないため、ユーザ数が増えた場合であっても、合成画像を作成し直す、つまり、合成画像のレイアウトを編集することができる。また、ユーザではなく画像処理装置が合成画像を作成し直すため、幹事のユーザに大きな負担をかけることなく、大多数のユーザが平均的に納得できる合成画像を作成することができる。
【００４２】
また、本発明においては、各々のユーザから合成画像ユーザ評価値を取得し、複数のユーザからの合成画像ユーザ評価総合値の標準偏差を算出し、標準偏差に基づいて２以上の合成画像を作成し直す。そして、２以上の合成画像の中から複数のユーザによって選択された数が最も多い合成画像である選択合成画像の情報を取得し、２以上の合成画像の中から選択合成画像を採用する。
【００４３】
このように、標準偏差に基づいて合成画像を作成し直すことにより、本発明によれば、複数のユーザからの合成画像ユーザ評価値の分布がばらついている場合であっても、大多数のユーザが平均的に納得できる合成画像を作成することができる。
【図面の簡単な説明】
【００４４】
【図１】本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。
【図２】図１に示すサーバの構成を表す一実施形態のブロック図である。
【図３】図１に示すユーザの端末装置の構成を表す一実施形態のブロック図である。
【図４】図１に示す画像処理装置の動作を表す一実施形態のフローチャートである。
【図５】合成画像において使用されている画像数について合成画像を評価する画面を表す一実施形態の概念図である。
【図６】合成画像の雰囲気について合成画像を評価する画面を表す一実施形態の概念図である。
【図７】図１に示す画像処理装置の動作を表す別の実施形態のフローチャートである。
【発明を実施するための形態】
【００４５】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
【００４６】
図１は、本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。図１に示す画像処理装置１０は、サーバ１２と、ネットワーク１６を介してサーバ１２に接続された複数のユーザの端末装置（クライアント）１４とを備えている。画像処理装置１０は、複数のユーザの各々の端末装置１４からネットワーク１６を介して取得された複数のユーザの複数の画像を用いてフォトアルバム等の合成画像を作成する。
【００４７】
サーバ１２は、端末装置１４からの指示に基づいて、合成画像を作成するための種々のデータ処理を行うものであり、例えば、デスクトップPC（Personal Computer：パーソナルコンピュータ）またはワークステーション等により構成される。
【００４８】
端末装置１４は、サーバ１２に対して各種の指示を与えて種々のデータ処理を行わせるものであり、例えば、スマートフォン、タブレットPCまたはノートPC等により構成される。
【００４９】
ネットワーク１６は、例えば、電話回線またはインターネット回線等であり、有線または無線によってサーバ１２と端末装置１４との間を相互に接続し、双方向の通信が可能である。
【００５０】
図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ１２は、画像取得部１８と、個別画像解析部２０と、個別画像評価値算出部２２と、画像抽出部２４と、合成画像作成部２６と、合成画像解析部２８と、合成画像評価値算出部３０と、合成画像ユーザ評価値取得部３２と、合成画像ユーザ評価値演算部３４と、合成条件変更部３６と、個人情報取得部３８と、重み算出部４０と、合成条件記憶部４２と、合成条件選択部４４と、合成画像選択数取得部４６と、合成画像情報取得部４８と、合成画像情報記憶部５０と、オブジェクト検出部５２と、オブジェクト数取得部５４と、合成画像評価項目記憶部５６と、合成画像評価項目作成部５８と、合成画像ユーザ評価値記憶部５９とを備えている。
【００５１】
サーバ１２において、画像取得部１８は、複数のユーザの端末装置１４から、ネットワーク１６を介して、複数の画像を取得する。
【００５２】
続いて、個別画像解析部２０は、画像取得部１８によって取得された複数の画像の各々を解析する。
【００５３】
個別画像解析部２０は、例えば、画像の明るさ、色合い、ボケおよびブレの程度等の画質の解析、画像のサイズの解析の他、Exif（Exchangeable Image File Format：エクスチェンジャブル・イメージ・ファイル・フォーマット）などの画像の付帯情報に含まれる撮影日時、撮影場所等の解析、画像に写っている人物および人物以外のオブジェクトの解析、画像に写っている人物の顔認識、主人公および重要人物の特定、画像のシーンの解析等を行う。
【００５４】
続いて、個別画像評価値算出部２２は、個別画像解析部２０による各々の画像の解析結果に基づいて、各々の画像を１以上の個別画像評価条件について評価した個別画像評価値を算出する。
【００５５】
個別画像評価条件は、各々の画像を評価するための条件であり、画像の画質、つまり、画像の明るさ、色合い、ボケおよびブレの程度等である。個別画像評価値算出部２２は、例えば、画像のボケおよびブレの程度の解析結果に基づいて、合成画像を画像のボケおよびブレの程度について評価した個別画像評価値を算出する。例えば、画像のボケおよびブレの程度が小さいほど、画像のボケおよびブレの程度の個別画像評価値がより高くなるように算出する。
【００５６】
続いて、画像抽出部２４は、個別画像評価値算出部２２によって算出された各々の画像の個別画像評価値に基づいて、複数の画像の中から１以上の画像抽出条件に対応する１以上の画像を抽出する。なお、複数の画像の全てを抽出することも画像抽出に含まれる。
【００５７】
画像抽出条件は、複数の画像の中から１以上の画像を抽出するための条件であり、画像の画質、つまり、画像の明るさ、色合い、ボケおよびブレの程度等である。画像抽出部２４は、例えば、画像のボケおよびブレの程度の個別画像評価値に基づいて、複数の画像の中から、ボケおよびブレの程度の個別画像評価値が閾値よりも高い１以上の画像を抽出する。
【００５８】
続いて、合成画像作成部２６は、１以上の合成画像作成条件に基づいて、画像抽出部２４によって抽出された１以上の画像を合成した合成画像を作成する。
また、合成画像作成部２６は、後述する合成条件変更部３６によって作成された変更条件、および、合成条件選択部４４によって選択された変更条件のうちの少なくとも一方に基づいて合成画像を作成し直す。
【００５９】
合成画像作成条件は、合成画像を作成するための条件であり、例えば、合成画像において使用する画像数、合成画像において使用する人物画像数、合成画像において使用する画像に写っている人物以外のオブジェクト、および、合成画像において使用するテンプレート等である。
【００６０】
テンプレートは、合成画像において使用する画像数、画像の配置位置、背景画像等があらかじめ決定されたものである。例えば、５枚の画像を用いて合成画像を作成する場合、５枚の画像を、テンプレートのあらかじめ決定された位置に配置することにより合成画像を作成することができる。また、テンプレートの背景画像を変更することによって、合成画像の雰囲気を変えることができる。
【００６１】
合成画像作成部２６は、例えば、１以上の画像をテンプレートに配置して合成した合成画像、および、１枚の画像を合成した画像付きポストカード等を作成する。また、合成画像作成部２６は、画像だけでなく、スタンプおよびユーザのコメント等を合成した合成画像を作成することができる。
【００６２】
続いて、合成画像解析部２８は、合成画像作成部２６によって作成された合成画像を解析する。
【００６３】
合成画像解析部２８は、例えば、合成画像において使用されている画像数、合成画像において使用されている人物画像数、合成画像において使用されている画像に写っている人物以外のオブジェクト、および、合成画像の雰囲気等を解析する。
また、合成画像の雰囲気としては、例えば、雰囲気が明るいか暗いか、あるいは、雰囲気がポップかシックな等のように、様々な雰囲気を想定することができる。
【００６４】
続いて、合成画像評価値算出部３０は、合成画像解析部２８による合成画像の解析結果に基づいて、合成画像を１以上の合成画像評価項目の各々について評価した１以上の合成画像解析評価値の各々を算出する。
【００６５】
合成画像評価項目は、例えば、合成画像において使用されている画像数、合成画像において使用されている人物画像数、合成画像の雰囲気、および、合成画像において使用されている画像に写っている人物以外のオブジェクトの種類等である。
例えば、合成画像評価項目が、合成画像において使用されている画像数であり、かつ合成画像の画像解析の結果、合成画像において使用されている画像数が５枚であった場合、５枚に対応する合成画像解析評価値が算出される。
【００６６】
続いて、合成画像ユーザ評価値取得部３２は、複数のユーザの端末装置１４から、ネットワーク１６を介して、合成画像を１以上の合成画像評価項目の各々について評価した１以上の合成画像ユーザ評価値の各々を取得する。
【００６７】
例えば、合成画像評価項目が、合成画像において使用されている画像数である場合、ユーザは、「少な過ぎ」なのか、「少ない」のか、「ちょうどよい」のか、「多い」のか、または、「多過ぎ」なのかを評価する。なお、評価は２段階以上であればよい。
合成画像において使用されている画像数の合成画像解析評価値が５枚であり、かつ画像数が多いと評価された場合、画像数が多いに対応する合成画像ユーザ評価値が取得される。
【００６８】
続いて、合成画像ユーザ評価値演算部３４は、各々の合成画像評価項目について、合成画像ユーザ評価値取得部３２によって取得された複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値を演算する。
また、合成画像ユーザ評価値演算部３４は、各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値の標準偏差を演算する。
【００６９】
合成画像ユーザ評価総合値は、複数のユーザからの合成画像ユーザ評価値の総合値であり、例えば、複数のユーザからの合成画像ユーザ評価値の和、平均または積である。また、合成画像ユーザ評価総合値は、後述する重み算出部４０によって算出される各々のユーザの重みに応じて重み付けされた複数のユーザからの合成画像ユーザ評価値の和、平均または積でもよい。
【００７０】
続いて、合成条件変更部３６は、各々の合成画像評価項目について、合成画像ユーザ評価値演算部３４によって演算された合成画像ユーザ評価総合値と、合成画像評価値算出部３０によって算出された合成画像解析評価値との差が閾値（閾値が０の場合を含む）よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に近づくように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを、合成画像ユーザ評価総合値と合成画像解析評価値との差に応じて変更した変更条件を作成する。
【００７１】
また、合成条件変更部３６は、各々の合成画像評価項目について、合成画像ユーザ評価値演算部３４によって演算された標準偏差が閾値よりも大きい場合に、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを標準偏差に応じて変更した２以上の変更条件を作成する。
【００７２】
合成条件変更部３６によって作成された変更条件は、合成画像作成部２６が合成画像を作成し直す場合に使用される。
【００７３】
続いて、個人情報取得部３８は、複数のユーザの各々の端末装置１４から、ネットワーク１６を介して、各々のユーザの個人情報を取得する。
【００７４】
個人情報は、例えば、ユーザの氏名、年齢、顔画像、趣味等の情報を含む、各々のユーザの個人的な情報であり、後述する重み算出部４０が各々のユーザの重みを算出する際に使用される。
個人情報取得部３８は、個人情報として、例えば、画像取得部１８が各々の画像を取得した端末装置１４のユーザのSNS（Social Networking Service：ソーシャルネットワークシステム）における登録情報を取得してもよい。
【００７５】
続いて、重み算出部４０は、複数のユーザの各々の重みを算出する。
【００７６】
重み算出部４０は、例えば、個人情報取得部３８によって取得された各々のユーザの個人情報に基づいて、複数のユーザの各々の重みを算出することができる。例えば、個人情報に基づいて、ユーザAの趣味が写真であり、ユーザBの趣味が写真ではない場合、つまり、ユーザAはユーザBよりも写真について詳しい知識を持っていると考えられる場合、ユーザAの重みをユーザBの重みよりも重くする。
【００７７】
また、重み算出部４０は、画像取得部１８によってより多くの画像が取得されたユーザの重みがより重くなるように、複数のユーザの各々の重みを算出することができる。
また、重み算出部４０は、合成画像ユーザ評価値取得部３２によってより早いタイミングで合成画像ユーザ評価値が取得されたユーザの重みがより重くなるように、複数のユーザの各々の重みを算出することができる。
【００７８】
各々のユーザの重みは、前述のように、合成画像ユーザ評価総合値として、各々のユーザの重みに応じて重み付けされた複数のユーザからの合成画像評価値の和、平均または積を算出する場合に使用される。
【００７９】
続いて、合成条件記憶部４２は、合成画像ユーザ評価総合値と合成画像解析評価値との差に応じて、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを変更した複数の変更条件を記憶する。
また、合成条件記憶部４２は、標準偏差に応じて、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを変更した複数の変更条件を記憶する。
【００８０】
合成条件記憶部４２に記憶された変更条件は、合成画像作成部２６が、合成画像を作成し直す場合の条件として使用される。
【００８１】
続いて、合成条件選択部４４は、合成条件記憶部４２に記憶された複数の変更条件の中から、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きい合成画像評価項目に対応する１つの変更条件を選択する。
また、合成条件選択部４４は、合成条件記憶部４２に記憶された複数の変更条件の中から、標準偏差が閾値よりも大きい合成画像評価項目に対応する２以上の変更条件を選択する。
【００８２】
合成条件選択部４４によって選択された変更条件は、合成画像作成部２６が、合成画像を作成し直す場合に使用される。
【００８３】
続いて、合成画像選択数取得部４６は、合成画像作成部２６によって２以上の変更条件に基づいて作成し直された２以上の合成画像に対し、各々のユーザによって選択された合成画像の情報に基づいて、複数のユーザによって選択された２以上の合成画像の各々の数を取得する。
【００８４】
続いて、合成画像情報取得部４８は、合成画像選択数取得部４６によって取得された、複数のユーザによって選択された２以上の合成画像の各々の数に基づいて、合成画像作成部２６によって２以上の変更条件に基づいて作成し直された２以上の合成画像の中から複数のユーザによって選択された数が最も多い合成画像である選択合成画像の情報を取得する。
【００８５】
続いて、合成画像情報記憶部５０は、合成画像情報取得部４８によって取得された選択合成画像の情報を記憶する。
【００８６】
合成画像情報記憶部５０に記憶された選択合成画像の情報は、合成条件変更部３６が、複数のユーザによる合成画像の選択の傾向に合致するように、次の合成画像の作成に用いられる個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを変更するために使用される。
【００８７】
続いて、オブジェクト検出部５２は、各々の画像の解析結果に基づいて、各々の画像に写っている人物以外のオブジェクトを検出し、複数の画像に写っているオブジェクトのリストを作成する。
【００８８】
続いて、オブジェクト数取得部５４は、オブジェクト検出部５２によって作成されたオブジェクトのリストの中から、各々のユーザによって選択されたオブジェクトの情報に基づいて、複数のユーザによって選択された各々のオブジェクトの数を取得する。
【００８９】
オブジェクト数取得部５４によって取得されたオブジェクトの数は、合成条件変更部３６が、複数の画像の中から１以上の画像を抽出する時の各々のオブジェクトが写っている画像の重みを変更する際に使用される。
【００９０】
続いて、合成画像評価項目記憶部５６は、１以上の合成画像評価項目を記憶する。
【００９１】
合成画像評価項目記憶部５６に記憶された１以上の合成画像評価項目は、合成画像ユーザ評価値取得部３２が、合成画像ユーザ評価値を取得する場合の合成画像評価項目として使用される。
【００９２】
続いて、合成画像評価項目作成部５８は、各々の画像の個別画像評価値に基づいて、１以上のオブジェクトの中から、合成画像における登場回数が閾値よりも大きいオブジェクトについての合成画像評価項目を作成する。
【００９３】
合成画像評価項目作成部５８によって作成された合成画像評価項目は、合成画像ユーザ評価値取得部３２が、合成画像ユーザ評価値を取得する場合の合成画像評価項目として使用される。
【００９４】
最後に、合成画像ユーザ評価値記憶部５９は、各々の合成画像評価項目について、合成画像ユーザ評価総合値として、合成画像ユーザ評価値演算部３４によって演算された複数のユーザからの合成画像ユーザ評価値の平均を記憶する。
【００９５】
合成画像ユーザ評価値記憶部５９に記憶された複数のユーザからの合成画像ユーザ評価値の平均は、合成画像作成部２６が次の合成画像を作成する場合に、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つの値を決定するために使用される。
【００９６】
画像取得部１８、個別画像解析部２０、個別画像評価値算出部２２、画像抽出部２４、合成画像作成部２６、合成画像解析部２８、合成画像評価値算出部３０、合成画像ユーザ評価値取得部３２、合成画像ユーザ評価値演算部３４、合成条件変更部３６、個人情報取得部３８、重み算出部４０、合成条件記憶部４２、合成条件選択部４４、合成画像選択数取得部４６、合成画像情報取得部４８、合成画像情報記憶部５０、オブジェクト検出部５２、オブジェクト数取得部５４、合成画像評価項目記憶部５６、合成画像評価項目作成部５８および合成画像ユーザ評価値記憶部５９は、例えば、CPU（Central Processing Unit：中央処理装置）等の制御デバイスが、メモリにロードされたプログラムを実行することにより実現される。また、各部位によって保存されるデータは、例えば、HDD（Hard Disk Drive：ハードディスクドライブ）、SSD（Solid State Drive：ソリッドステートドライブ）、SD（Secure Digital：セキュア・デジタル）カード等の記憶装置に保存される。
【００９７】
次に、図３は、図１に示すユーザの端末装置の構成を表す一実施形態のブロック図である。同図に示すユーザの端末装置１４は、画像表示部６０と、指示入力部６２とを備えている。
【００９８】
端末装置１４において、画像表示部６０は、各種の画像、設定画面、選択画面、確認画面、入力画面、作成画面等を表示するものであり、例えば、液晶ディスプレイ等の表示デバイスによって構成される。
【００９９】
続いて、指示入力部６２は、ユーザによって入力された各種の設定指示、選択指示、確認指示、入力指示、作成指示等を取得するものであり、例えば、キーボードおよびマウス等の入力デバイスによって構成される。
【０１００】
本実施形態の場合、画像表示部６０および指示入力部６２は、タッチパネル等のように、表示デバイスおよび入力デバイスが一体化されたデバイスによって構成される。
【０１０１】
図示省略しているが、サーバ１２および端末装置１４は、例えば、サーバ１２と端末装置１４との間で各種データの送受信を行う通信デバイス等である送受信部、各部位の動作を制御するCPU等である制御部等を備えている。
【０１０２】
次に、図４に示すフローチャートを参照しながら、合成画像ユーザ評価総合値と合成画像解析評価値との差に基づいて合成画像を作成し直す場合の画像処理装置１０の動作を説明する。
【０１０３】
まず、画像取得部１８により、複数のユーザの端末装置１４から、ネットワーク１６を介して、複数の画像が取得される（ステップS1）。
【０１０４】
続いて、個別画像解析部２０により、画像取得部１８によって取得された複数の画像の各々が解析される（ステップS2）。
【０１０５】
続いて、個別画像評価値算出部２２により、各々の画像の解析結果に基づいて、各々の画像を１以上の個別画像評価条件について評価した個別画像評価値が算出される（ステップS3）。
【０１０６】
続いて、画像抽出部２４により、各々の画像の個別画像評価値に基づいて、複数の画像の中から１以上の画像抽出条件に対応する１以上の画像が抽出される（ステップS4）。
【０１０７】
続いて、合成画像作成部２６により、１以上の合成画像作成条件に基づいて、画像抽出部２４によって抽出された１以上の画像を合成した合成画像が作成される（ステップS5）。
【０１０８】
続いて、合成画像作成部２６によって作成された合成画像が、ネットワーク１６を介して、各々のユーザの端末装置１４に送付され、画像表示部６０に表示される。
【０１０９】
各々のユーザは、各々のユーザの端末装置１４の画像表示部６０に表示された合成画像を参照し、指示入力部６２を介して、各々の合成画像評価項目について合成画像を評価する。
【０１１０】
一方、サーバ１２において、合成画像解析部２８により、合成画像作成部２６によって作成された合成画像が解析される（ステップS6）。
【０１１１】
続いて、合成画像評価値算出部３０により、合成画像の解析結果に基づいて、合成画像を１以上の合成画像評価項目の各々について評価した１以上の合成画像解析評価値の各々が算出される（ステップS7）。
【０１１２】
ユーザによる合成画像の評価が終了すると、合成画像ユーザ評価値取得部３２により、複数のユーザの端末装置１４から、ネットワーク１６を介して、合成画像を１以上の合成画像評価項目の各々について評価した１以上の合成画像ユーザ評価値の各々が取得される（ステップS8）。
【０１１３】
なお、ユーザから、特定の合成画像評価項目についての合成画像の評価が得られない場合、例えば、その合成画像評価項目についての合成画像の評価を無視してもよいし、あるいは、「ちょうどよい」という評価であると見なしてもよい。
【０１１４】
続いて、合成画像ユーザ評価値演算部３４により、各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値が演算される（ステップS9）。
【０１１５】
続いて、合成条件変更部３６により、各々の合成画像評価項目について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きいか否かが確認される（ステップS10）。
【０１１６】
その結果、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きい場合（ステップS10において、Yes）、合成条件変更部３６により、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを、合成画像ユーザ評価総合値と合成画像解析評価値との差に応じて変更した変更条件が作成される（ステップS11）。
【０１１７】
合成条件変更部３６は、例えば、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを変更した変更条件を作成する。
【０１１８】
一方、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値以下である場合（ステップS10において、No）、全ての合成画像評価項目について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きいか否かの確認が終了したか否かが確認される（ステップS12）。
【０１１９】
その結果、全ての合成画像評価項目について確認が終了していない場合（ステップS11において、No）、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きいか否かの確認が引き続き行われる。
【０１２０】
一方、全ての合成画像評価項目について確認が終了すると（ステップS11において、Yes）、合成画像作成部２６により、合成条件変更部３６によって作成された変更条件に基づいて合成画像が作成し直される（ステップS13）。
なお、合成条件変更部３６によって変更条件が作成されていない場合、合成画像の作成し直しは行われない。
【０１２１】
例えば、合成画像評価項目が、合成画像において使用されている画像数である場合、各々のユーザは、図５に示すように、スライダーバー６４を用いて、合成画像において使用されている画像数について合成画像を評価することができる。
【０１２２】
図５の例の場合、スライダーバー６４の左端から右端の方向へ向かって、「少な過ぎ」、「少ない」、「ちょうどよい」、「多い」および「多過ぎ」という５段階の評価（評価値）が配置されている。各々のユーザは、スライダー６６をスライダーバー６４に沿って左右に移動させ、５段階の評価の中から１つを選択することによって、合成画像において使用されている画像数を評価する。
【０１２３】
この場合、ユーザによる合成画像の評価が終了すると、合成画像ユーザ評価値取得部３２により、複数のユーザの端末装置１４から、ネットワーク１６を介して、合成画像において使用されている画像数について合成画像を評価した合成画像ユーザ評価値が取得される。
【０１２４】
続いて、合成画像ユーザ評価値演算部３４により、合成画像において使用されている画像数について、複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値が演算される。
【０１２５】
続いて、合成条件変更部３６により、合成画像において使用されている画像数について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きいか否かが確認される。
【０１２６】
その結果、合成条件変更部３６により、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、合成画像の作成に使用するテンプレートにおける配置画像数が変更される。
【０１２７】
そして、合成画像作成部２６により、合成条件変更部３６によって配置画像数が変更されたテンプレートを用いて合成画像が作成し直される。
【０１２８】
合成画像評価項目が、合成画像において使用されている人物画像数である場合も、図５の例の場合と同様に、各々のユーザは、スライダーバーを用いて、合成画像において使用されている人物画像数について合成画像を評価することができる。
【０１２９】
この場合、ユーザによる合成画像の評価が終了すると、合成画像ユーザ評価値取得部３２により、複数のユーザの端末装置１４から、ネットワーク１６を介して、合成画像において使用されている人物画像数について合成画像を評価した合成画像ユーザ評価値が取得される。
【０１３０】
続いて、合成画像ユーザ評価値演算部３４により、合成画像において使用されている人物画像数について、複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値が演算される。
【０１３１】
続いて、合成条件変更部３６により、合成画像において使用されている人物画像数について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きいか否かが確認される。
【０１３２】
その結果、合成条件変更部３６により、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、複数の画像の中から１以上の画像を抽出する時の人物画像の重みが変更される。
【０１３３】
そして、合成画像作成部２６により、合成条件変更部３６によって変更された人物画像の重みに応じて複数の画像の中から抽出された１以上の画像を用いて合成画像が作成し直される。
【０１３４】
合成画像評価項目が、合成画像の雰囲気である場合も同様に、各々のユーザは、図６に示すように、スライダーバーを用いて、合成画像の雰囲気について合成画像を評価することができる。
【０１３５】
図６の例の場合、スライダーバー６４の左端から右端の方向へ向かって、「暗過ぎ」、「暗い」、「ちょうどよい」、「明るい」および「明る過ぎ」という５段階の評価が配置される。同様に、各々のユーザは、スライダー６６をスライダーバー６４に沿って左右に移動させ、５段階の評価の中から１つを選択することによって、合成画像の雰囲気を評価する。
【０１３６】
この場合、ユーザによる合成画像の評価が終了すると、合成画像ユーザ評価値取得部３２により、複数のユーザの端末装置１４から、ネットワーク１６を介して、合成画像の雰囲気について合成画像を評価した合成画像ユーザ評価値が取得される。
【０１３７】
続いて、合成画像ユーザ評価値演算部３４により、合成画像の雰囲気について、複数のユーザからの合成画像ユーザ評価値に基づいて合成画像ユーザ評価総合値が演算される。
【０１３８】
続いて、合成条件変更部３６により、合成画像の雰囲気について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きいか否かが確認される。
【０１３９】
その結果、合成条件変更部３６により、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも大きい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて小さくなるように、または、合成画像ユーザ評価総合値が合成画像解析評価値に対して閾値よりも小さい場合に、合成画像解析評価値が合成画像ユーザ評価総合値に応じて大きくなるように、合成画像の作成に使用するテンプレートの背景画像が変更される。
【０１４０】
そして、合成画像作成部２６により、合成条件変更部３６によって背景画像が変更されたテンプレートを用いて合成画像が作成し直される。
【０１４１】
合成画像評価項目が、合成画像において使用されている画像に写っている人物以外のオブジェクトの種類である場合、オブジェクトのアノテーションを利用して、オブジェクト検出部５２により、各々の画像の解析結果に基づいて、各々の画像に写っている人物以外のオブジェクトが検出され、複数の画像に写っているオブジェクトのリストが作成されて、各々のユーザの端末装置１４の画像表示部６０に表示される。
【０１４２】
各々のユーザは、各々のユーザの端末装置１４の画像表示部６０に表示されたリストを参照し、オブジェクトのリストの中から、合成画像において積極的に使用したい画像に写っているオブジェクトを選択する。
【０１４３】
各々のユーザによってオブジェクトが選択されると、オブジェクト数取得部５４により、オブジェクトのリストの中から複数のユーザによって選択された各々のオブジェクトの数が取得される。
【０１４４】
続いて、合成条件変更部３６により、オブジェクトのリストの中から複数のユーザによって選択された各々のオブジェクトの数に応じて、例えば、複数のユーザによって選択された数が多いオブジェクトであるほど、そのオブジェクトが写っている画像の重みが重くなるように、複数の画像の中から１以上の画像を抽出する時の各々のオブジェクトが写っている画像の重みが変更される。
【０１４５】
そして、合成画像作成部２６により、合成条件変更部３６によって変更されたオブジェクトの重みに応じて複数の画像の中から抽出された１以上の画像を用いて合成画像が作成し直される。
【０１４６】
また、特定のオブジェクトについての登場頻度に関する複数のユーザの評価を取得してもよい。例えば、食べ歩きの同好会で作成するフォトアルバムについて、オブジェクトを「料理」と指定し、評価項目として、料理の画像が「少な過ぎ」から「多過ぎ」までのいずれに該当するか複数のユーザの評価を取得する。この場合、平均値が「多過ぎ」のほうに偏っていれば、料理の画像を少なくするように条件を変更して合成画像を作成し直すことで、複数のユーザの大多数が納得する合成画像を作成することができる。
【０１４７】
本実施形態においては、複数のユーザから取得された複数の画像を用いて作成された合成画像のレイアウトを複数のユーザが直接編集するのではなく、合成画像解析評価値を算出し、かつ各々のユーザから合成画像ユーザ評価値を取得して合成画像ユーザ評価総合値を演算し、合成画像ユーザ評価総合値と合成画像解析評価値との差に基づいて合成画像を作成し直す。
【０１４８】
このように、複数のユーザが合成画像のレイアウトを直接編集しないため、ユーザ数が増えた場合であっても、合成画像を作成し直す、つまり、合成画像のレイアウトを編集することができる。また、ユーザではなく画像処理装置１０が合成画像を作成し直すため、幹事のユーザに大きな負担をかけることなく、大多数のユーザが平均的に納得できる合成画像を作成することができる。
【０１４９】
なお、合成条件変更部３６が変更条件を作成する代わりに、合成条件選択部４４が、合成条件記憶部４２に記憶された複数の変更条件の中から、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値よりも大きい合成画像評価項目に対応する１つの変更条件を選択してもよい。
この場合、合成画像作成部２６により、合成条件選択部４４によって選択された変更条件に基づいて合成画像が作成し直される。
【０１５０】
あるいは、複数のユーザの各々が、合成条件記憶部４２に記憶された複数の変更条件の中から、１つの変更条件を選択してもよい。
この場合、合成画像作成部２６により、合成条件記憶部４２に記憶された複数の変更条件の中から、複数のユーザの各々によって選択された１つの変更条件に基づいて合成画像が作成し直される。
【０１５１】
また、合成条件変更部３６は、１つの変更条件だけでなく、２以上の変更条件を作成してもよい。
この場合、合成画像作成部２６により、合成条件変更部３６によって作成された２以上の変更条件に基づいて２以上の合成画像が作成し直される。
続いて、合成画像選択数取得部４６により、合成画像作成部２６によって作成し直された２以上の合成画像に対し、複数のユーザによって選択された２以上の合成画像の各々の数が取得される。
そして、合成画像情報取得部４８により、合成画像選択数取得部４６によって取得された、２以上の合成画像の中から複数のユーザによって選択された数が最も多い選択合成画像の情報が取得される。
【０１５２】
次に、図７に示すフローチャートを参照しながら、標準偏差に基づいて合成画像を作成し直す場合の画像処理装置１０の動作を説明する。
【０１５３】
ステップS21〜S25およびステップS26の動作は、図４のフローチャートに示すステップS1〜S5およびステップS8の動作と同じである。
【０１５４】
続いて、合成画像ユーザ評価値演算部３４により、各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値の標準偏差が演算される（ステップS27）。
【０１５５】
続いて、合成条件変更部３６により、各々の合成画像評価項目について、合成画像ユーザ評価値演算部３４によって演算された標準偏差が閾値よりも大きいか否かが確認される（ステップS28）。
【０１５６】
その結果、標準偏差が閾値よりも大きい場合に（ステップS28において、Yes）、合成条件変更部３６により、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを標準偏差に応じて変更した２以上の変更条件が作成される（ステップS29）。
【０１５７】
合成条件変更部３６は、例えば、複数のユーザからの合成画像ユーザ評価値の分布が大きく２つのグループに分かれている場合に、これら２つのグループの各々について、合成画像解析評価値が各々のグループの合成画像ユーザ評価総合値、例えば、複数のユーザからの合成画像ユーザ評価値の平均に近づくように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを標準偏差に応じて変更した２つの変更条件を作成する。
【０１５８】
一方、標準偏差が閾値以下である場合（ステップS28において、No）、全ての合成画像評価項目について、標準偏差が閾値よりも大きいか否かの確認が終了したか否かが確認される（ステップS30）。
【０１５９】
その結果、全ての合成画像評価項目について確認が終了していない場合（ステップS30において、No）、標準偏差が閾値よりも大きいか否かの確認が引き続き行われる。
【０１６０】
一方、全ての合成画像評価項目について確認が終了すると（ステップS30において、Yes）、合成画像作成部２６により、合成条件変更部３６によって作成された２以上の変更条件に基づいて２以上の合成画像が作成し直される（ステップS31）。
なお、合成条件変更部３６によって変更条件が作成されていない場合、合成画像の作成し直しは行われない。
【０１６１】
続いて、合成画像作成部２６によって作成し直された２以上の合成画像が、ネットワーク１６を介して、各々のユーザの端末装置１４に送付され、画像表示部６０に表示される。
【０１６２】
各々のユーザは、各々のユーザの端末装置１４の画像表示部６０に表示された２以上の合成画像を参照し、指示入力部６２を介して、２以上の合成画像の中から１つの合成画像を選択する。
【０１６３】
続いて、合成画像選択数取得部４６により、２以上の合成画像に対し、複数のユーザによって選択された２以上の合成画像の各々の数が取得される（ステップS32）。
【０１６４】
続いて、合成画像情報取得部４８により、２以上の合成画像の中から複数のユーザによって選択された数が最も多い合成画像である選択合成画像の情報が取得される（ステップS33）。
【０１６５】
例えば、合成画像評価項目が、合成画像において使用されている画像数である場合、図５の例の場合と同様に、各々のユーザは、スライダーバーを用いて、合成画像において使用されている画像数について合成画像を評価することができる。
【０１６６】
この場合、ユーザによる合成画像の評価が終了すると、合成画像ユーザ評価値取得部３２により、複数のユーザの端末装置１４から、ネットワーク１６を介して、合成画像において使用されている画像数について合成画像を評価した合成画像ユーザ評価値が取得される。
【０１６７】
続いて、合成画像ユーザ評価値演算部３４により、合成画像において使用されている画像数について、複数のユーザからの合成画像ユーザ評価値の標準偏差が演算される。
【０１６８】
続いて、合成条件変更部３６により、合成画像において使用されている画像数について、標準偏差が閾値よりも大きいか否かが確認される。
【０１６９】
その結果、合成条件変更部３６により、標準偏差が閾値よりも大きい場合に、合成画像の作成に使用するテンプレートにおける配置画像数が標準偏差に応じて変更される。
【０１７０】
そして、合成画像作成部２６により、合成条件変更部３６によって配置画像数が変更されたテンプレートを用いて合成画像が作成し直される。
【０１７１】
合成画像評価項目が、合成画像において使用されている人物画像数である場合も、図５に示す例の場合と同様に、各々のユーザは、スライダーバーを用いて、合成画像において使用されている人物画像数について合成画像を評価することができる。
【０１７２】
この場合、ユーザによる合成画像の評価が終了すると、合成画像ユーザ評価値取得部３２により、複数のユーザの端末装置１４から、ネットワーク１６を介して、合成画像において使用されている人物画像数について合成画像を評価した合成画像ユーザ評価値が取得される。
【０１７３】
続いて、合成画像ユーザ評価値演算部３４により、合成画像において使用されている人物画像数について、複数のユーザからの合成画像ユーザ評価値の標準偏差が演算される。
【０１７４】
続いて、合成条件変更部３６により、合成画像において使用されている人物画像数について、標準偏差が閾値よりも大きいか否かが確認される。
【０１７５】
その結果、合成条件変更部３６により、標準偏差が閾値よりも大きい場合に、複数の画像の中から１以上の画像を抽出する時の人物画像の重みが変更される。
【０１７６】
そして、合成画像作成部２６により、合成条件変更部３６によって変更された人物画像の重みに応じて複数の画像の中から抽出された１以上の画像を用いて合成画像が作成し直される。
【０１７７】
合成画像評価項目が、合成画像の雰囲気である場合も、図６に示す例の場合と同様に、各々のユーザは、スライダーバーを用いて、合成画像の雰囲気について合成画像を評価することができる。
【０１７８】
この場合、ユーザによる合成画像の評価が終了すると、合成画像ユーザ評価値取得部３２により、複数のユーザの端末装置１４から、ネットワーク１６を介して、合成画像の雰囲気について合成画像を評価した合成画像ユーザ評価値が取得される。
【０１７９】
続いて、合成画像ユーザ評価値演算部３４により、合成画像の雰囲気について、複数のユーザからの合成画像ユーザ評価値の標準偏差が演算される。
【０１８０】
続いて、合成条件変更部３６により、合成画像の雰囲気について、標準偏差が閾値よりも大きいか否かが確認される。
【０１８１】
その結果、合成条件変更部３６により、標準偏差が閾値よりも大きい場合に、合成画像の作成に使用するテンプレートの背景画像が標準偏差に応じて変更される。
【０１８２】
そして、合成画像作成部２６により、合成条件変更部３６によって背景画像が変更されたテンプレートを用いて合成画像が作成し直される。
【０１８３】
本実施形態においては、各々のユーザから合成画像ユーザ評価値を取得し、複数のユーザからの合成画像ユーザ評価値の標準偏差を算出し、標準偏差に基づいて２以上の合成画像を作成し直す。そして、２以上の合成画像の中から複数のユーザによって選択された数が最も多い合成画像である選択合成画像の情報を取得し、２以上の合成画像の中から選択合成画像を採用する。
【０１８４】
このように、標準偏差に基づいて合成画像を作成し直すことにより、複数のユーザからの合成画像ユーザ評価値の分布がばらついている場合であっても、大多数のユーザが平均的に納得できる合成画像を作成することができる。
例えば、合成画像の雰囲気について、複数のユーザからの評価の平均が「明る過ぎ」であった場合、合成画像の明るさを決定する条件の値を具体的にどのように変更すれば、「ちょうどよい」明るさにすることができるかは当然には分からない。例えば、合成画像の明るさを下げる場合であっても、明るさを下げ過ぎたり、明るさの下げ幅が少な過ぎたりする可能性がある。
従って、合成画像の明るさを決定する条件の値を変更した２以上の合成画像を作成し直し、複数のユーザによる多数決によって採用する合成画像を決定することにより、複数のユーザのうちの大多数が希望する明るさを知ることができ、かつ、大多数のユーザにとって合成画像を「ちょうどよい」明るさにすることができる、合成画像の明るさを決定する条件の値も明らかにすることができる。
【０１８５】
なお、合成条件変更部３６が変更条件を作成する代わりに、合成条件選択部４４が、合成条件記憶部４２に記憶された複数の変更条件の中から、標準偏差が閾値よりも大きい合成画像評価項目に対応する２以上の変更条件を選択してもよい。
この場合、合成画像作成部２６により、合成条件選択部４４によって選択された変更条件に基づいて合成画像が作成し直される。
【０１８６】
あるいは、複数のユーザの各々が、合成条件記憶部４２に記憶された複数の変更条件の中から、２以上の変更条件を選択してもよい。
この場合、合成画像作成部２６により、合成条件記憶部４２に記憶された複数の変更条件の中から、複数のユーザの各々によって選択された２以上の変更条件に基づいて合成画像が作成し直される。
【０１８７】
なお、合成条件変更部３６は、合成画像ユーザ評価総合値と合成画像解析評価値との差、および、標準偏差の両方に基づいて変更条件を作成してもよい。
例えば、合成画像の雰囲気について評価する場合、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値以下であっても、複数のユーザからの評価は、「暗過ぎ」および「明る過ぎ」が多数である場合がある。この場合、合成画像は作成し直されないため、合成画像ユーザ評価総合値と合成画像解析評価値との差に基づいて合成画像の作成し直しを決定すると、大多数のユーザを満足させることができない虞がある。
これに対し、合成画像ユーザ評価総合値として、複数のユーザからの合成画像ユーザ評価値の平均を演算する場合に、例えば、平均、平均＋標準偏差、および、平均−標準偏差に対応する３つの合成画像を作成し直し、複数のユーザによる多数決によって採用する合成画像を決定することにより、ある程度、複数のユーザの意見を取り入れた合成画像を作成することができる。
【０１８８】
また、各々のユーザが、各々の合成画像評価項目について、合成画像作成部２６によって作成し直された合成画像を評価し、合成画像をさらに作成し直してもよい。つまり、２回以上、合成画像を作成し直してもよい。
【０１８９】
また、１以上の合成画像評価項目は、幹事のユーザが指定（入力）してもよい。
この場合、合成画像ユーザ評価値取得部３２により、幹事のユーザによって指定された１以上の合成画像評価項目の各々について各々のユーザが合成画像を評価した合成画像ユーザ評価値が取得される。
【０１９０】
また、１以上の合成画像評価項目を合成画像評価項目記憶部５６に記憶してもよい。
この場合、合成画像ユーザ評価値取得部３２により、合成画像評価項目記憶部５６に記憶された１以上の合成画像評価項目の各々について各々のユーザが合成画像を評価した合成画像ユーザ評価値が取得される。
【０１９１】
また、複数のユーザの各々は、合成画像評価項目記憶部５６に記憶された１以上の合成画像評価項目の中から、評価する合成画像評価項目を選択してもよい。
この場合、合成画像ユーザ評価値取得部３２により、合成画像評価項目記憶部５６に記憶された１以上の合成画像評価項目の中から複数のユーザの各々によって選択された合成画像評価項目について各々のユーザが合成画像を評価した合成画像ユーザ評価値が取得される。
例えば、幹事のユーザが、評価する合成画像評価項目を選択する場合、合成画像ユーザ評価値取得部３２により、合成画像評価項目記憶部５６に記憶された１以上の合成画像評価項目の中から幹事のユーザによって選択された合成画像評価項目について各々のユーザが合成画像を評価した合成画像ユーザ評価値が取得される。
また、合成画像解析評価値が閾値を超えている場合に、合成画像評価値算出部３０により、閾値を超えている合成画像評価項目について合成画像を評価することを幹事のユーザにリコメンドしてもよい。なお、幹事のユーザは一人に限定されず、複数のユーザのうちの少なくとも一人のユーザであってもよい。
【０１９２】
また、合成画像評価項目作成部５８により、各々の画像の個別画像評価値に基づいて、１以上のオブジェクトの中から、合成画像における登場回数が閾値よりも大きいオブジェクトについての合成画像評価項目を自動で作成してもよい。
この場合、合成画像ユーザ評価値取得部３２により、合成画像評価項目作成部５８によって作成された合成画像評価項目について各々のユーザが合成画像を評価した合成画像ユーザ評価値が取得される。
【０１９３】
また、選択合成画像の情報を合成画像情報記憶部５０に記憶しておき、合成条件変更部３６により、合成画像情報記憶部５０に記憶された選択合成画像の情報に基づいて、複数のユーザによる合成画像の選択の傾向に合致するように、次の合成画像の作成に用いられる個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つを変更してもよい。
【０１９４】
また、各々の合成画像評価項目について、複数のユーザからの合成画像ユーザ評価値の平均を合成画像ユーザ評価値記憶部に記憶しておき、合成画像作成部２６により、各々の合成画像評価項目について、合成画像解析評価値が合成画像ユーザ評価値記憶部に記憶された複数のユーザからの合成画像ユーザ評価値の平均に近づくように、個別画像評価条件、画像抽出条件および合成画像作成条件のうちの少なくとも１つの値が決定された条件で次回の合成画像を作成してもよい。
【０１９５】
ある条件で作成された合成画像と、この合成画像を各々の合成画像評価項目について評価した複数のユーザからの合成画像ユーザ評価値の平均が分かれば、条件の値をどの程度に決定すれば、複数のユーザの平均的な満足が得られる合成画像を作成できるのかを学習することができる。従って、複数のユーザからの合成画像ユーザ評価値の平均を合成画像ユーザ評価値記憶部に記憶しておくことにより、次回の合成画像は、より複数ユーザの評価の平均に近いものを、精度よく、かつ、素早く作成することができる。
【０１９６】
なお、合成画像を作成し直した場合に、各々の合成画像評価項目について、合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値以下となる条件、つまり、複数のユーザからの評価の平均が「ちょうどよい」となる条件の値を合成画像ユーザ評価値記憶部に記憶しておき、合成画像ユーザ評価値記憶部に記憶された合成画像ユーザ評価総合値と合成画像解析評価値との差が閾値以下となる条件で次回の合成画像を作成してもよい。
【０１９７】
画像処理装置１０は、プリントし、製本することにより、紙媒体のフォトアルバム（フォトブック）等の合成画像を作成してもよいし、これに限らず、テンプレート上に静止画および動画を含む画像を配置し、ディスプレイ上において閲覧する電子アルバム等の合成画像を作成してもよい。さらに、テンプレートを利用することなく、ユーザから取得された静止画や動画などを含む各種のコンテンツを順次表示するスライドショー等の合成画像を作成してもよい。
【０１９８】
画像処理装置１０が、サーバ１２および複数のユーザの端末装置１４を備えることは必須ではなく、例えば、サーバ１２および端末装置１４の全ての構成要素を備える装置を構成することもできる。この場合、ネットワーク１６、および、サーバ１２とユーザの端末装置１４との間のやり取りは不要であり、例えば、ユーザから画像処理装置１０へ、あるいは、画像処理装置１０からユーザに対して直接やり取りを行うことができる。
【０１９９】
画像取得部１８、個別画像解析部２０、個別画像評価値算出部２２、画像抽出部２４、合成画像作成部２６、合成画像解析部２８、合成画像評価値算出部３０、合成画像ユーザ評価値取得部３２、合成画像ユーザ評価値演算部３４、合成条件変更部３６、個人情報取得部３８、重み算出部４０、合成条件記憶部４２、合成条件選択部４４、合成画像選択数取得部４６、合成画像情報取得部４８、合成画像情報記憶部５０、オブジェクト検出部５２、オブジェクト数取得部５４、合成画像評価項目記憶部５６、合成画像評価項目作成部５８および合成画像ユーザ評価値記憶部５９の全てをサーバ１２が備えることは必須ではなく、そのうちの少なくとも１つが、ユーザの端末装置１４内に備えられていてもよい。
【０２００】
本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたプロセッサおよびプロセッサを備えるコンピュータ等によって構成してもよい。本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
【０２０１】
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【０２０２】
１０  画像処理装置
１２  サーバ
１４  端末装置（クライアント）
１６  ネットワーク
１８  画像取得部
２０  個別画像解析部
２２  個別画像評価値算出部
２４  画像抽出部
２６  合成画像作成部
２８  合成画像解析部
３０  合成画像評価値算出部
３２  合成画像ユーザ評価値取得部
３４  合成画像ユーザ評価値演算部
３６  合成条件変更部
３８  個人情報取得部
４０  重み算出部
４２  合成条件記憶部
４４  合成条件選択部
４６  合成画像選択数取得部
４８  合成画像情報取得部
５０  合成画像情報記憶部
５２  オブジェクト検出部
５４  オブジェクト数取得部
５６  合成画像評価項目記憶部
５８  合成画像評価項目作成部
５９  合成画像ユーザ評価値記憶部
６０  画像表示部
６２  指示入力部
６４  スライダーバー
６６  スライダー
【図１】
2018018137.tif 000003
【図２】
2018018137.tif 000004
【図３】
2018018137.tif 000005
【図４】
2018018137.tif 000006
【図５】
2018018137.tif 000007
【図６】
2018018137.tif 000008
【図７】
2018018137.tif 000009