(57)【要約】【課題】複数のユーザから取得された複数の画像の解析結果に基づいて、画像に対するコメントの入力を支援することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供する。【解決手段】本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体においては、第１文字列リスト作成部が、画像に関連性のある文字列を含む文字列リストを作成する。第２文字列リスト作成部が、類似画像の文字列リストを集約した文字列リストを作成する。重要度設定部が、重複する文字列の重要度を、重複する文字列の数が多いほど、より高くなるように設定する。表示制御部が、選択画像の文字列リストに含まれる文字列を重要度が高い順序で画像表示部に表示させる。コメント取得部が、画像表示部に表示された文字列を参照してユーザによって入力された選択画像に対するコメントを取得する。【選択図】図２
2018005596.tif 000002
【特許請求の範囲】
【請求項１】
複数のユーザの端末装置からネットワークを介して複数の画像を取得する画像取得部と、
前記複数の画像の各々を解析する画像解析部と、
前記各々の画像の解析結果に基づいて、前記各々の画像に関連性のある１以上の文字列を含む文字列リストを作成し、前記各々の画像と前記各々の画像の文字列リストとを関連付けて記憶する第１文字列リスト作成部と、
前記各々の画像の解析結果に基づいて、前記複数の画像の中から内容が類似する類似画像のグループを検出する類似画像検出部と、
前記グループに含まれる各々の類似画像に関連付けられた文字列リストを集約した前記グループの文字列リストを作成し、前記グループに含まれる各々の類似画像と前記グループの文字列リストとを関連付けて記憶する第２文字列リスト作成部と、
前記各々の画像に関連付けられた文字列リストに含まれる文字列のうち、重複する文字列の重要度を、前記重複する文字列の数が多いほど、より高くなるように設定する重要度設定部と、
前記複数の画像の中から前記複数のユーザの各々によって選択された選択画像を前記各々のユーザの端末装置の画像表示部に表示させ、かつ前記選択画像に関連付けられた文字列リストに含まれる文字列を前記重要度が高い順序で前記画像表示部に表示させる表示制御部と、
前記画像表示部に表示された文字列を参照して前記各々のユーザによって作成された前記選択画像に対するコメントを取得するコメント取得部とを備える画像処理装置。
【請求項２】
前記選択画像と、前記複数のユーザによって作成された前記選択画像に対するコメントとを合成して合成画像を作成する合成画像作成部を備える請求項１に記載の画像処理装置。
【請求項３】
前記選択画像に対する複数のコメントの中に内容が完全に一致するおよび前記内容が類似する２以上の類似コメントが存在する場合に、前記２以上の類似コメントの中から１つの類似コメントを選択するコメント選択部を備え、
前記合成画像作成部は、前記選択画像と、前記１つの類似コメントおよび前記複数のコメントのうちの前記２以上の類似コメント以外のコメントとを合成して前記合成画像を作成する請求項２に記載の画像処理装置。
【請求項４】
前記画像解析部は、前記各々の画像の付帯情報に基づいて、前記各々の画像の撮影日時および撮影位置のうちの少なくとも一方を解析し、
前記第１文字列リスト作成部は、前記各々の画像の撮影日時および撮影位置のうちの少なくとも一方に関連性のある文字列を含む文字列リストを作成する請求項１ないし３のいずれか一項に記載の画像処理装置。
【請求項５】
前記画像解析部は、前記各々の画像に写っている人物、前記人物以外の被写体および背景のうちの少なくとも１つを解析し、
前記第１文字列リスト作成部は、前記各々の画像に写っている人物、前記人物以外の被写体および風景のうちの少なくとも１つに関連性のある文字列を含む文字列リストを作成する請求項１ないし４のいずれか一項に記載の画像処理装置。
【請求項６】
前記第１文字列リスト作成部は、前記各々の画像に関連性のある文字列をキーワードとして、さらに、前記キーワードに関連性のある文字列を含む文字列リストを作成する請求項１ないし５のいずれか一項に記載の画像処理装置。
【請求項７】
前記複数の画像の中に動画が含まれる場合、前記動画から音声を取得する音声取得部を備え、
前記第１文字列リスト作成部は、さらに、前記動画の前記音声に関連性のある文字列を含む文字列リストを作成する請求項１ないし６のいずれか一項に記載の画像処理装置。
【請求項８】
前記各々のユーザに装着されたウェアラブル端末から、前記各々の画像を撮影した時の前記各々のユーザの生体情報を取得する生体情報取得部を備え、
前記第１文字列リスト作成部は、さらに、前記各々の画像を撮影した時の前記各々のユーザの生体情報に関連性のある文字列を含む文字列リストを作成する請求項１ないし７のいずれか一項に記載の画像処理装置。
【請求項９】
前記画像解析部は、さらに、前記画像取得部が前記各々の画像を取得した端末装置のユーザのソーシャルネットワークシステムにおける登録情報を解析し、
前記第１文字列リスト作成部は、さらに、前記各々の画像を取得した端末装置のユーザのソーシャルネットワークシステムにおける登録情報に関連性のある文字列を含む文字列リストを作成する請求項１ないし８のいずれか一項に記載の画像処理装置。
【請求項１０】
複数種類のスタンプを記憶するスタンプ記憶部と、
前記複数種類のスタンプの中から、前記各々のユーザによって入力された１つの文字列または複数の文字列の組合せに対応するスタンプを選択するスタンプ選択部とを備え、
前記スタンプ選択部は、前記各々のユーザによって前記選択画像に対するコメントが作成される時に、前記複数種類のスタンプの中から、前記各々のユーザによって入力された１つの入力文字列または複数の入力文字列の組合せに対応する選択スタンプを選択し、
前記表示制御部は、前記選択スタンプを前記画像表示部に示させる、請求項１ないし９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記各々のユーザの名称と、前記各々のユーザの顔画像とを関連付けてユーザ情報として記憶するユーザ情報記憶部を備え、
前記画像解析部は、さらに、前記複数のユーザの顔画像の各々を解析し、
前記各々の画像および前記各々のユーザの顔画像の解析結果に基づいて、前記各々の画像に写っている人物と前記各々の顔画像に写っているユーザとが同一人物であるか否かを判定する同一人物判定部と、
前記同一人物であると判定された場合に、前記各々のユーザのユーザ情報に基づいて、前記各々の画像に写っている人物の名称を特定する人物名称特定部とを備え、
前記第１文字列リスト作成部は、さらに、前記各々の画像に写っている人物の名称の文字列を含む文字列リストを作成する請求項１ないし１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記同一人物判定部は、前記各々の画像に写っている人物の顔または前記人物の顔の特徴量と、前記各々の顔画像に写っているユーザの顔または前記ユーザの顔の特徴量とを比較し、前記比較の結果に基づいて、前記各々の画像に写っている人物と前記各々の顔画像に写っているユーザとが同一人物であるか否かを判定する請求項１１に記載の画像処理装置。
【請求項１３】
前記第２文字列リスト作成部は、さらに、前記各々の画像に関連付けられた文字列リストに含まれる前記重複する文字列を１つの文字列にまとめる請求項１ないし１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記重要度設定部は、２以上の文字列が完全に一致する場合に、前記完全に一致する２以上の文字列が前記重複する文字列であると判断する請求項１ないし１３のいずれか一項に記載の画像処理装置。
【請求項１５】
前記重要度設定部は、２以上の文字列の少なくとも一部が重複する場合に、前記少なくとも一部が重複する２以上の文字列が前記重複する文字列であると判断する請求項１ないし１３のいずれか一項に記載の画像処理装置。
【請求項１６】
前記重要度設定部は、前記複数の画像に関連付けられた複数の文字列リストのうち、前記重複する文字列の重要度を、前記重複する文字列の数が多いほど、高くなるように設定する請求項１ないし１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記選択画像と前記各々のユーザによって作成された前記選択画像に対するコメントとを関連付けて記憶するコメント記憶部を備え、
前記表示制御部は、前記選択画像に既にコメントが関連付けられている場合に、さらに、前記選択画像に既に関連付けられているコメントを前記画像表示部に表示させる請求項１ないし１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記表示制御部は、前記各々のユーザの指示に応じて、前記選択画像に既に関連付けられているコメントを前記画像表示部に表示させるか否かを切換える請求項１７に記載の画像処理装置。
【請求項１９】
前記表示制御部は、前記各々のユーザの指示に応じて、前記選択画像に対するコメントにおいて既に使用されている使用済み文字列を前記画像表示部に表示させるか否かを切換える請求項１７または１８に記載の画像処理装置。
【請求項２０】
前記画像解析部は、前記各々の画像の画質、前記各々の画像に写っている人物および前記人物以外の被写体のうちの少なくとも１つを解析し、
前記各々の画像の画質、前記各々の画像に写っている人物および前記人物以外の被写体のうちの少なくとも１つに基づいて、前記各々の画像の評価値を算出する画像評価部を備え、
前記表示制御部は、前記評価値が最も高い画像を前記選択画像として前記画像表示部に表示させる請求項１ないし１９のいずれか一項に記載の画像処理装置。
【請求項２１】
画像取得部が、複数のユーザの端末装置からネットワークを介して複数の画像を取得するステップと、
画像解析部が、前記複数の画像の各々を解析するステップと、
第１文字列リスト作成部が、前記各々の画像の解析結果に基づいて、前記各々の画像に関連性のある１以上の文字列を含む文字列リストを作成し、前記各々の画像と前記各々の画像の文字列リストとを関連付けて記憶するステップと、
類似画像検出部が、前記各々の画像の解析結果に基づいて、前記複数の画像の中から内容が類似する類似画像のグループを検出するステップと、
第２文字列リスト作成部が、前記グループに含まれる各々の類似画像に関連付けられた文字列リストを集約した前記グループの文字列リストを作成し、前記グループに含まれる各々の類似画像と前記グループの文字列リストとを関連付けて記憶するステップと、
重要度設定部が、前記各々の画像に関連付けられた文字列リストに含まれる文字列のうち、重複する文字列の重要度を、前記重複する文字列の数が多いほど、より高くなるように設定するステップと、
表示制御部が、前記複数の画像の中から前記複数のユーザの各々によって選択された選択画像を前記各々のユーザの端末装置の画像表示部に表示させ、かつ前記選択画像に関連付けられた文字列リストに含まれる文字列を前記重要度が高い順序で前記画像表示部に表示させるステップと、
コメント取得部が、前記画像表示部に表示された文字列を参照して前記各々のユーザによって作成された前記選択画像に対するコメントを取得するステップとを含む画像処理方法。
【請求項２２】
請求項２１に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
【請求項２３】
請求項２１に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のユーザから取得された複数の画像を用いて、フォトブック等の合成画像を作成する場合に、画像に対するコメントの入力を支援する機能を備える画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
現在、ユーザが所有する複数の画像（画像データ）を、インターネット等を経由して取得し、ユーザから取得した複数の画像を用いてユーザが希望するレイアウトのフォトブック（フォトアルバム）を作成するサービスが提供されている。
【０００３】
近年では、一人のユーザが所有する複数の画像だけを用いてフォトブックを作成するだけでなく、複数のユーザが所有する複数の画像を用いて１つのフォトブックを作成するもの（特許文献１および２参照）が知られている。
【０００４】
また、電子カメラによって撮像された画像を解析することにより、日時情報およびユーザが予め登録した人物の名前等の文字情報だけでなく、場所、シーン、感情等を含むコメントを作成し、作成したコメントを画像に付与するもの（特許文献３）、および、画像を解析することにより、画像に含まれる人物に固有の情報を含むコメント情報を自動生成して画像に付加し、インターネット上の目的のサイトにアップロードするもの（特許文献４）が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２５７３０８号公報
【特許文献２】特開２０１５−０６９４３１号公報
【特許文献３】特許第５４２３０５２号公報
【特許文献４】特許第５５５４３０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献３は、画像が撮像された時点において、画像に対するコメント情報を画像に付与するものであり、ユーザによってインターネット上のサイト等に画像がアップロードされた際に、ユーザが画像に対して直接コメントを入力することは考慮されていない。また、特許文献３，４では、複数のユーザから取得された複数の画像を利用して、画像に対するコメントの入力を支援することはできない。
【０００７】
また、インターネット上のサイト等にアップロードされた画像を閲覧したユーザが、その画像に対して適切なコメントを考えて入力するのは手間がかかる。例えば、画像に関連する適切な文字列が思い浮かばない、画像がいつ、どこで撮影されたものなのか詳細な情報が思い出せない、画像に誰が写っているのか分からない、コメントの内容が重複しないようにしたい、等の課題がある。
【０００８】
本発明の目的は、複数のユーザから取得された複数の画像の解析結果に基づいて、画像に対するコメントの入力を支援することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、複数のユーザの端末装置からネットワークを介して複数の画像を取得する画像取得部と、
複数の画像の各々を解析する画像解析部と、
各々の画像の解析結果に基づいて、各々の画像に関連性のある１以上の文字列を含む文字列リストを作成し、各々の画像と各々の画像の文字列リストとを関連付けて記憶する第１文字列リスト作成部と、
各々の画像の解析結果に基づいて、複数の画像の中から内容が類似する類似画像のグループを検出する類似画像検出部と、
グループに含まれる各々の類似画像に関連付けられた文字列リストを集約したグループの文字列リストを作成し、グループに含まれる各々の類似画像とグループの文字列リストとを関連付けて記憶する第２文字列リスト作成部と、
各々の画像に関連付けられた文字列リストに含まれる文字列のうち、重複する文字列の重要度を、重複する文字列の数が多いほど、より高くなるように設定する重要度設定部と、
複数の画像の中から複数のユーザの各々によって選択された選択画像を各々のユーザの端末装置の画像表示部に表示させ、かつ選択画像に関連付けられた文字列リストに含まれる文字列を重要度が高い順序で画像表示部に表示させる表示制御部と、
画像表示部に表示された文字列を参照して各々のユーザによって作成された選択画像に対するコメントを取得するコメント取得部とを備える画像処理装置を提供する。
【００１０】
ここで、選択画像と、複数のユーザによって作成された選択画像に対するコメントとを合成して合成画像を作成する合成画像作成部を備えることが好ましい。
【００１１】
また、選択画像に対する複数のコメントの中に内容が完全に一致するおよび内容が類似する２以上の類似コメントが存在する場合に、２以上の類似コメントの中から１つの類似コメントを選択するコメント選択部を備え、
合成画像作成部は、選択画像と、１つの類似コメントおよび複数のコメントのうちの２以上の類似コメント以外のコメントとを合成して合成画像を作成することが好ましい。
【００１２】
また、画像解析部は、各々の画像の付帯情報に基づいて、各々の画像の撮影日時および撮影位置のうちの少なくとも一方を解析し、
第１文字列リスト作成部は、各々の画像の撮影日時および撮影位置のうちの少なくとも一方に関連性のある文字列を含む文字列リストを作成することが好ましい。
【００１３】
また、画像解析部は、各々の画像に写っている人物、人物以外の被写体および背景のうちの少なくとも１つを解析し、
第１文字列リスト作成部は、各々の画像に写っている人物、人物以外の被写体および風景のうちの少なくとも１つに関連性のある文字列を含む文字列リストを作成することが好ましい。
【００１４】
第１文字列リスト作成部は、各々の画像に関連性のある文字列をキーワードとして、さらに、キーワードに関連性のある文字列を含む文字列リストを作成することが好ましい。
【００１５】
また、複数の画像の中に動画が含まれる場合、動画から音声を取得する音声取得部を備え、
第１文字列リスト作成部は、さらに、動画の音声に関連性のある文字列を含む文字列リストを作成することが好ましい。
【００１６】
また、各々のユーザに装着されたウェアラブル端末から、各々の画像を撮影した時の各々のユーザの生体情報を取得する生体情報取得部を備え、
第１文字列リスト作成部は、さらに、各々の画像を撮影した時の各々のユーザの生体情報に関連性のある文字列を含む文字列リストを作成することが好ましい。
【００１７】
画像解析部は、さらに、画像取得部が各々の画像を取得した端末装置のユーザのソーシャルネットワークシステムにおける登録情報を解析し、
第１文字列リスト作成部は、さらに、各々の画像を取得した端末装置のユーザのソーシャルネットワークシステムにおける登録情報に関連性のある文字列を含む文字列リストを作成することが好ましい。
【００１８】
また、複数種類のスタンプを記憶するスタンプ記憶部と、
複数種類のスタンプの中から、各々のユーザによって入力された１つの文字列または複数の文字列の組合せに対応するスタンプを選択するスタンプ選択部とを備え、
スタンプ選択部は、各々のユーザによって選択画像に対するコメントが作成される時に、複数種類のスタンプの中から、各々のユーザによって入力された１つの入力文字列または複数の入力文字列の組合せに対応する選択スタンプを選択し、
表示制御部は、選択スタンプを画像表示部に示させることが好ましい。
【００１９】
また、各々のユーザの名称と、各々のユーザの顔画像とを関連付けてユーザ情報として記憶するユーザ情報記憶部を備え、
画像解析部は、さらに、複数のユーザの顔画像の各々を解析し、
各々の画像および各々のユーザの顔画像の解析結果に基づいて、各々の画像に写っている人物と各々の顔画像に写っているユーザとが同一人物であるか否かを判定する同一人物判定部と、
同一人物であると判定された場合に、各々のユーザのユーザ情報に基づいて、各々の画像に写っている人物の名称を特定する人物名称特定部とを備え、
第１文字列リスト作成部は、さらに、各々の画像に写っている人物の名称の文字列を含む文字列リストを作成することが好ましい。
【００２０】
また、同一人物判定部は、各々の画像に写っている人物の顔または人物の顔の特徴量と、各々の顔画像に写っているユーザの顔またはユーザの顔の特徴量とを比較し、比較の結果に基づいて、各々の画像に写っている人物と各々の顔画像に写っているユーザとが同一人物であるか否かを判定することが好ましい。
【００２１】
第２文字列リスト作成部は、さらに、各々の画像に関連付けられた文字列リストに含まれる重複する文字列を１つの文字列にまとめることが好ましい。
【００２２】
また、重要度設定部は、２以上の文字列が完全に一致する場合に、完全に一致する２以上の文字列が重複する文字列であると判断することが好ましい。
【００２３】
また、重要度設定部は、２以上の文字列の少なくとも一部が重複する場合に、少なくとも一部が重複する２以上の文字列が重複する文字列であると判断することが好ましい。
【００２４】
また、重要度設定部は、複数の画像に関連付けられた複数の文字列リストのうち、重複する文字列の重要度を、重複する文字列の数が多いほど、高くなるように設定することが好ましい。
【００２５】
また、選択画像と各々のユーザによって作成された選択画像に対するコメントとを関連付けて記憶するコメント記憶部を備え、
表示制御部は、選択画像に既にコメントが関連付けられている場合に、さらに、選択画像に既に関連付けられているコメントを画像表示部に表示させることが好ましい。
【００２６】
また、表示制御部は、各々のユーザの指示に応じて、選択画像に既に関連付けられているコメントを画像表示部に表示させるか否かを切換えることが好ましい。
【００２７】
また、表示制御部は、各々のユーザの指示に応じて、選択画像に対するコメントにおいて既に使用されている使用済み文字列を画像表示部に表示させるか否かを切換えることが好ましい。
【００２８】
また、画像解析部は、各々の画像の画質、各々の画像に写っている人物および人物以外の被写体のうちの少なくとも１つを解析し、
各々の画像の画質、各々の画像に写っている人物および人物以外の被写体のうちの少なくとも１つに基づいて、各々の画像の評価値を算出する画像評価部を備え、
表示制御部は、評価値が最も高い画像を選択画像として画像表示部に表示させることが好ましい。
【００２９】
また、本発明は、画像取得部が、複数のユーザの端末装置からネットワークを介して複数の画像を取得するステップと、
画像解析部が、複数の画像の各々を解析するステップと、
第１文字列リスト作成部が、各々の画像の解析結果に基づいて、各々の画像に関連性のある１以上の文字列を含む文字列リストを作成し、各々の画像と各々の画像の文字列リストとを関連付けて記憶するステップと、
類似画像検出部が、各々の画像の解析結果に基づいて、複数の画像の中から内容が類似する類似画像のグループを検出するステップと、
第２文字列リスト作成部が、グループに含まれる各々の類似画像に関連付けられた文字列リストを集約したグループの文字列リストを作成し、グループに含まれる各々の類似画像とグループの文字列リストとを関連付けて記憶するステップと、
重要度設定部が、各々の画像に関連付けられた文字列リストに含まれる文字列のうち、重複する文字列の重要度を、重複する文字列の数が多いほど、より高くなるように設定するステップと、
表示制御部が、複数の画像の中から複数のユーザの各々によって選択された選択画像を各々のユーザの端末装置の画像表示部に表示させ、かつ選択画像に関連付けられた文字列リストに含まれる文字列を重要度が高い順序で画像表示部に表示させるステップと、
コメント取得部が、画像表示部に表示された文字列を参照して各々のユーザによって作成された選択画像に対するコメントを取得するステップとを含む画像処理方法を提供する。
【００３０】
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
【００３１】
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００３２】
本発明においては、複数のユーザから取得された各々の画像の解析結果に基づいて、各々の画像に関連性のある文字列を含む文字列リストを作成し、各々のユーザが選択画像に対するコメントを作成する際に、入力候補の文字列として、その選択画像に関連付けられた文字列リストを画像表示部に表示させることにより、各々のユーザが選択画像に対するコメントを入力する際の入力支援を行うことができる。
【図面の簡単な説明】
【００３３】
【図１】本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。
【図２】図１に示すサーバの構成を表す一実施形態のブロック図である。
【図３】図１に示すユーザの端末装置の構成を表す一実施形態のブロック図である。
【図４】図１に示す画像処理装置の動作を表す一実施形態のフローチャートである。
【図５】図４に続く画像処理装置の動作を表す一実施形態のフローチャートである。
【図６】選択画像、コメント履歴および入力候補の文字列が画像表示部に表示された様子を表す一実施形態の概念図である。
【発明を実施するための形態】
【００３４】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
【００３５】
図１は、本発明に係る画像処理装置の構成を表す一実施形態のブロック図である。図１に示す画像処理装置１０は、サーバ１２と、ネットワーク１６を介してサーバ１２に接続された複数のユーザの端末装置（クライアント）１４とを備えている。画像処理装置１０は、複数のユーザの端末装置１４からネットワーク１６を介して取得した複数の画像を用いて合成画像を作成する場合に、複数のユーザの各々によって画像にコメントが入力される際に、画像に対するコメントの入力を支援する機能を備える。
【００３６】
サーバ１２は、端末装置１４からの指示に基づいて、合成画像を作成するための種々のデータ処理を行うものであり、例えば、デスクトップPC（Personal Computer：パーソナルコンピュータ）またはワークステーション等により構成される。
【００３７】
端末装置１４は、サーバ１２に対して各種の指示を与えて種々のデータ処理を行わせるものであり、例えば、スマートフォン、タブレットPC、ノートPCまたはウェアラブル端末等により構成される。
【００３８】
ネットワーク１６は、例えば、電話回線またはインターネット回線等であり、有線または無線によってサーバ１２と端末装置１４との間を相互に接続し、双方向の通信が可能である。
【００３９】
図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ１２は、画像取得部１８と、画像解析部２０と、第１文字列リスト作成部２２と、類似画像検出部２４と、第２文字列リスト作成部２６と、重要度設定部２８と、表示制御部３０と、コメント取得部３２と、合成画像作成部３４と、コメント選択部３６と、音声取得部３８と、生体情報取得部４０と、スタンプ記憶部４２と、スタンプ選択部４４と、ユーザ情報記憶部４６と、同一人物判定部４８と、人物名称特定部５０と、コメント記憶部５２と、画像評価部５４とを備えている。
【００４０】
画像取得部１８は、複数のユーザの端末装置１４からネットワーク１６を介して複数の画像を取得する。
【００４１】
続いて、画像解析部２０は、画像取得部１８によって取得された複数の画像の各々を解析する。
【００４２】
画像解析部２０は、例えば、画像の明るさ、色合い、ボケおよびブレの程度等の画質の解析、画像のサイズの解析の他、Exif（Exchangeable Image File Format：エクスチェンジャブル・イメージ・ファイル・フォーマット）などの画像の付帯情報に含まれる撮影日時、撮影位置等の解析、画像に写っている人物、人物以外の被写体および背景の解析、画像に写っている人物の顔認識、画像のシーンの解析等を行う。
【００４３】
続いて、第１文字列リスト作成部２２は、画像解析部２０による各々の画像の解析結果に基づいて、各々の画像に関連性のある１以上の文字列を含む文字列リストを作成し、各々の画像と各々の画像の文字列リストとを関連付けて記憶する。
【００４４】
文字列は、画像に何らかの関連性があり、かつ、意味のある文字列であれば特に限定されない。また、文字列として、顔文字および絵文字等を含んでいてもよい。
【００４５】
続いて、類似画像検出部２４は、各々の画像の解析結果に基づいて、複数の画像の中から内容が類似する類似画像のグループを検出する。
【００４６】
なお、画像に写っている人物、人物以外の被写体、シーン等が同一である画像群だけでなく、撮影日時および撮影場所が同一である画像群つまり同一イベントにおいて撮影された画像群を類似画像のグループと見なしてもよい。
【００４７】
続いて、第２文字列リスト作成部２６は、類似画像検出部２４によって検出されたグループに含まれる各々の類似画像に関連付けられた文字列リストを集約したグループの文字列リストを作成する。そして、グループに含まれる各々の類似画像とグループの文字列リストとを関連付けて、グループの文字列リストをグループに含まれる各々の類似画像に関連付けられた文字列リストとして記憶する。
【００４８】
なお、第１文字列リスト作成部２２によって作成された文字列リストを削除し、第２文字列リスト作成部２６によって作成されたグループの文字列リストのみを記憶してもよいし、あるいは、第１文字列リスト作成部２２によって作成された文字列リスト、および、第２文字列リスト作成部２６によって作成されたグループの文字列リストの両方を記憶してもよい。ただし、グループに含まれる各々の類似画像の文字列リストとしては、グループの文字列リストが使用される。
【００４９】
続いて、重要度設定部２８は、各々の画像に関連付けられた文字列リストに含まれる文字列のうち、重複する文字列の重要度を、重複する文字列の数が多いほど、より高くなるように設定する。また、重要度設定部２８は、各々の画像に関連付けられた文字列リストに含まれる文字列のうち、重複していない文字列の重要度を、５０音順、カテゴリ別順等のように、あらかじめ設定された順序に設定する。
【００５０】
続いて、表示制御部３０は、各々のユーザの指示に応じて、複数の画像を、各々のユーザの端末装置１４の画像表示部に表示させ、複数の画像の中から各々のユーザによって選択された選択画像を各々のユーザの端末装置１４の画像表示部に表示させる。また、表示制御部３０は、選択画像に関連付けられた文字列リストに含まれる文字列を重要度が高い順序で画像表示部に表示させる。さらに、表示制御部３０は、各々のユーザによって入力された１つの文字列または複数の文字列の組合せに対応するスタンプ等を各々のユーザの端末装置１４の画像表示部に表示させる。
【００５１】
続いて、コメント取得部３２は、各々のユーザの端末装置１４の画像表示部に表示された文字列を参照して各々のユーザによって作成された選択画像に対するコメントを取得する。
【００５２】
続いて、合成画像作成部３４は、選択画像と、複数のユーザによって作成され、コメント取得部３２によって取得された選択画像に対するコメントとを合成して合成画像を作成する。
【００５３】
続いて、コメント選択部３６は、選択画像に対する複数のコメントの中に内容が完全に一致するおよび内容が類似する２以上の類似コメントが存在する場合に、２以上の類似コメントの中から１つの類似コメントを選択する。
【００５４】
続いて、音声取得部３８は、複数の画像の中に音声を含む動画が含まれる場合に、その動画から音声を取得（抽出）する。
【００５５】
続いて、生体情報取得部４０は、各々のユーザの端末装置１４がリストバンド型等のウェアラブル端末である場合に、各々のユーザに装着されたウェアラブル端末から、各々の画像を撮影した時の各々のユーザの生体情報を取得する。
【００５６】
生体情報は、生体（人体）から発せられる種々の情報であり、例えば、心拍数、血圧、体温等の情報を含む。
【００５７】
続いて、スタンプ記憶部４２は、複数種類のスタンプを記憶する。
【００５８】
スタンプは、各々のユーザが選択画像に対するコメントを入力する時に、例えば、あいさつ、ユーザの感情および心境等を表現するために、コメントの１つとして入力することができるイラストである。
【００５９】
続いて、スタンプ選択部４４は、各々のユーザによって選択画像に対するコメントが作成される時に、スタンプ記憶部４２に記憶された複数種類のスタンプの中から、各々のユーザによって入力された１つの文字列または複数の文字列の組合せに対応するスタンプを選択する。
【００６０】
続いて、ユーザ情報記憶部４６は、各々のユーザの名称（氏名）と、各々のユーザの顔画像とを関連付けてユーザ情報として記憶する。
【００６１】
例えば、各々のユーザの名称は、各々のユーザによって入力される。また、各々のユーザが所有する画像の中から、各々のユーザによって選択された各々のユーザの顔画像が画像取得部１８によって取得される。
【００６２】
続いて、同一人物判定部４８は、各々の画像および画像解析部２０による各々のユーザの顔画像の解析結果に基づいて、各々の画像に写っている人物と各々の顔画像に写っているユーザとが同一人物であるか否かを判定する。
【００６３】
同一人物判定部４８は、例えば、各々の画像に写っている人物の顔または人物の顔の特徴量と、各々の顔画像に写っているユーザの顔またはユーザの顔の特徴量とを比較し、その比較の結果に基づいて、各々の画像に写っている人物と各々の顔画像に写っているユーザとが同一人物であるか否かを判定することができる。
【００６４】
続いて、人物名称特定部５０は、同一人物判定部４８によって各々の画像に写っている人物と各々の顔画像に写っているユーザとが同一人物であると判定された場合に、ユーザ情報記憶部４６に記憶された各々のユーザのユーザ情報に基づいて、各々の画像に写っている人物の名称を特定する。つまり、画像に写っている人物と同一人物であると判定された顔画像に関連付けられた人物の名称を特定する。
【００６５】
続いて、コメント記憶部５２は、選択画像と各々のユーザによって作成された選択画像に対するコメントとを関連付けて記憶する。
【００６６】
続いて、画像評価部５４は、各々の画像の解析結果に基づいて、各々の画像の画質、各々の画像に写っている人物および人物以外の被写体のうちの少なくとも１つに基づいて、各々の画像の評価値を算出する。
【００６７】
画像評価部５４は、例えば、画質がよい画像であるほど、より評価値が高くなるように算出する。また、画像に特定の人物または特定の被写体が写っている場合に、その特定の人物または特定の被写体が写っている画像の評価値が高くなるように算出する。
【００６８】
画像取得部１８、画像解析部２０、第１文字列リスト作成部２２、類似画像検出部２４、第２文字列リスト作成部２６、重要度設定部２８、表示制御部３０、コメント取得部３２、合成画像作成部３４、コメント選択部３６、音声取得部３８、生体情報取得部４０、スタンプ記憶部４２、スタンプ選択部４４、ユーザ情報記憶部４６、同一人物判定部４８、人物名称特定部５０および画像評価部５４は、例えば、CPU（Central Processing Unit：中央処理装置）等の制御デバイスが、メモリにロードされたプログラムを実行することにより実現される。また、各部位によって保存されるデータは、例えば、HDD（Hard Disk Drive：ハードディスクドライブ）、SSD（Solid State Drive：ソリッドステートドライブ）、SD（Secure Digital：セキュア・デジタル）カード等の記憶装置に保存される。
【００６９】
次に、図３は、図１に示すユーザの端末装置の構成を表す一実施形態のブロック図である。同図に示すユーザの端末装置１４は、画像表示部５６と、指示入力部５８とを備えている。
【００７０】
端末装置１４において、画像表示部５６は、各種の画像、設定画面、選択画面、確認画面、入力画面、作成画面等を表示するものであり、例えば、液晶ディスプレイ等の表示デバイスによって構成される。
【００７１】
続いて、指示入力部５８は、ユーザによって入力された各種の設定指示、選択指示、確認指示、入力指示、作成指示等を取得するものであり、例えば、キーボードおよびマウス等の入力デバイスによって構成される。
【００７２】
本実施形態の場合、画像表示部５６および指示入力部５８は、タッチパネル等のように、表示デバイスおよび入力デバイスが一体化されたデバイスによって構成される。
【００７３】
図示省略しているが、サーバ１２および端末装置１４は、例えば、サーバ１２と端末装置１４との間で各種データの送受信を行う通信デバイス等である送受信部、各部位の動作を制御するCPU等である制御部等を備えている。
【００７４】
次に、図４に示すフローチャートを参照しながら、画像処理装置１０の動作を説明する。
【００７５】
本実施形態の場合、３人のユーザA, B, Cの各々によってサーバ１２へアップロードされたユーザA, B, Cの画像の中から、各々のユーザA, B, Cによって選択された画像に対して、各々のユーザA, B, Cによってコメントが付与されるとする。
【００７６】
まず、各々のユーザA, B, Cは、各々のユーザの端末装置１４の指示入力部５８を介して、各々のユーザA, B, Cが所有する画像を、サーバ１２へアップロードするための指示を行う。
【００７７】
各々のユーザA, B, Cの指示に応じて、各々のユーザA, B, Cが所有する画像が、各々のユーザA, B, Cの端末装置１４からネットワーク１６を介してサーバ１２へアップロードされ、画像取得部１８によって取得される（ステップS1）。
【００７８】
続いて、画像解析部２０により、画像取得部１８によって取得された各々の画像の解析が行われる（ステップS2）。
【００７９】
続いて、第１文字列リスト作成部２２により、各々の画像の解析結果に基づいて、各々の画像に関連性のある１以上の文字列が生成される（ステップS3）。
【００８０】
例えば、画像解析部２０により、各々の画像の付帯情報に基づいて、各々の画像の撮影日時および撮影位置のうちの少なくとも一方が解析される。この場合、第１文字列リスト作成部２２により、各々の画像の撮影日時および撮影位置のうちの少なくとも一方に関連性のある文字列が生成される。
【００８１】
例えば、第１文字列リスト作成部２２は、画像の撮影日時が2015年12月12日の場合、「2015年12月12日」、「2015/12/12」、「12時12分」、「12:12」等の絶対日時表示の文字列、または、「去年」、「120日前」等の相対日時表示の文字列を生成する。また、第１文字列リスト作成部２２は、画像の撮影位置がSスキー場の場合、「P県」、「Q市」、「R町」、「Sスキー場」等の文字列を生成する。
【００８２】
また、画像解析部２０により、各々の画像に写っている人物、人物以外の被写体および背景のうちの少なくとも１つが解析される。この場合、第１文字列リスト作成部２２により、各々の画像に写っている人物、人物以外の被写体および風景のうちの少なくとも１つに関連性のある文字列が生成される。
【００８３】
例えば、第１文字列リスト作成部２２は、画像に写っている人物の顔認識の結果に基づいて、画像に３人の人物が写っている場合には「３人」、顔画像と氏名とが関連付けて記憶されている場合には、「富士太郎」（氏名）等の文字列を生成する。また、第１文字列リスト作成部２２は、人物以外の被写体の解析結果に基づいて、「花」、「猫」、「犬」等の文字列を生成し、画像の背景の解析結果に基づいて、「雪」、「山」、「快晴」等の文字列を生成する。
【００８４】
さらに、画像解析部２０により、画像取得部１８が各々の画像を取得した端末装置１４のユーザのSNS（Social Networking Service：ソーシャルネットワークシステム）における登録情報が解析される。この場合、第１文字列リスト作成部２２により、各々の画像を取得した端末装置１４のユーザのSNSにおける登録情報に関連性のある文字列が生成される。
【００８５】
例えば、第１文字列リスト作成部２２は、SNSの登録情報（氏名、趣味、ニックネーム、誕生日等）に基づいて、「富士太郎」（氏名）、「スノボ」（趣味）、「タロー」（ニックネーム）、「12月12日」（誕生日）等の文字列、および、「北村花子」（氏名）、「スキー」（趣味）、「ハナ」（ニックネーム）、「11月11日」（誕生日）等の文字列を生成する。
【００８６】
なお、各々の画像の解析が終了する毎に、解析が終了した画像に関連性のある文字列を生成してもよいし、全ての画像の解析が終了した後、各々の画像に関連性のある文字列を生成してもよい。
【００８７】
続いて、第１文字列リスト作成部２２により、各々の画像に対して生成された文字列が画像毎に集約されて各々の画像の文字列リストが作成され、各々の画像と各々の画像の文字列リストとが関連付けて記憶される（ステップS4）。
【００８８】
第１文字列リスト作成部２２は、上記のように、画像の撮影日時および撮影位置、画像に写っている人物および背景、画像を取得した端末装置１４のユーザのSNSにおける登録情報等に基づいて、その画像に関連性のある様々な文字列を生成する。そのため、これらの文字列を集約して作成された文字列リストには、同一または類似する２以上の文字列が含まれる場合がある。
【００８９】
続いて、類似画像検出部２４により、各々の画像の解析結果に基づいて、画像取得部１８によって取得された複数の画像の中から内容が類似する類似画像のグループが検出される（ステップS5）。
【００９０】
その結果、類似画像が存在する場合（ステップS5においてYES）、第２文字列リスト作成部２６により、類似画像検出部２４によって検出されたグループに含まれる各々の類似画像に関連付けられた文字列リストを集約したグループの文字列リストが作成される（ステップS6）。そして、グループに含まれる各々の類似画像とグループの文字列リストとが関連付けられ、グループの文字列リストがグループに含まれる各々の類似画像に関連付けられた文字列リストとして記憶される（ステップS7）。
【００９１】
グループに含まれる各々の類似画像に関連付けられた文字列リストには、同一または類似する文字列が含まれる可能性が高い。そのため、グループの文字列リストには、同一または類似する２以上の文字列が含まれる可能性が高い。
【００９２】
続いて、重要度設定部２８により、各々の画像に関連付けられた文字列リストに含まれる文字列の中に重複する文字列が存在するか否かが判定される（ステップS8）。
【００９３】
その結果、重複する文字列が存在する場合（ステップS8においてYES）、重要度設定部２８により、各々の画像の文字列リストに含まれる文字列のうち、重複する文字列の重要度が、重複する文字列の数が多いほど、より高くなるように設定される（ステップS9）。
【００９４】
一方、重複する文字列が存在しない場合（ステップS8においてNO）、および、類似画像が存在しない場合（ステップS5においてNO）、各々の画像の文字列リストに含まれる文字列のうち、重複していない文字列の重要度は、あらかじめ設定された順序に設定される（ステップS10）。あるいは、デフォルト値として、全ての文字列の重要度を、あらかじめ同じ最低レベルの重要度に設定しておき、重複する文字列の重要度のみを設定してもよい。
【００９５】
また、重要度設定部２８は、文字列リストに含まれる文字列のうち、２以上の文字列が完全に一致する場合に、この完全に一致する２以上の文字列が重複する文字列であると判断してもよい。あるいは、重要度設定部２８は、２以上の文字列の少なくとも一部が重複する場合に、この少なくとも一部が重複する２以上の文字列が重複する文字列であると判断してもよい。
【００９６】
続いて、各々のユーザA, B, Cは、指示入力部５８を介して、ユーザA, B, Cによってサーバ１２にアップロードされた複数の画像の一覧を表示することを要求する指示を行う。
【００９７】
各々のユーザA, B, Cの指示に応じて、表示制御部３０により、画像取得部１８によって取得されたユーザA, B, Cの画像が、各々のユーザA, B, Cの端末装置１４の画像表示部５６に表示される（ステップS11）。
【００９８】
続いて、各々のユーザA, B, Cは、画像表示部５６に一覧表示されたユーザA, B, Cの画像の中から、コメントを入力する画像（選択画像）を選択する。
【００９９】
各々のユーザA, B, Cの指示に応じて、表示制御部３０により、各々のユーザA, B, Cによって選択された選択画像が、各々のユーザA, B, Cの端末装置１４の画像表示部５６に表示される（ステップS12）。
【０１００】
続いて、表示制御部３０により、各々のユーザA, B, Cによって選択された選択画像に対して過去に入力されたコメントがあるか否かが判定される（ステップS13）。
【０１０１】
その結果、選択画像に対して過去に入力されたコメントがある場合（ステップS13においてYES）、表示制御部３０により、各々のユーザA, B, Cによって選択画像に対するコメントが入力される際に、図６に示すように、コメント履歴として、その選択画像に対して過去に入力されたコメントが各々のユーザA, B, Cの端末装置１４の画像表示部５６に表示される。かつ、入力候補の文字列として、その選択画像に関連付けられた文字列リストが各々のユーザA, B, Cの端末装置１４の画像表示部５６に表示される（ステップS14）。
【０１０２】
一方、選択画像に対して過去に入力されたコメントがない場合（ステップS13においてNO）、表示制御部３０により、各々のユーザA, B, Cによって選択画像にコメントが入力される際に、入力候補の文字列として、その選択画像に関連付けられた文字列リストが各々のユーザA, B, Cの端末装置１４の画像表示部５６に表示される（ステップS15）。つまり、コメント履歴は表示されない。選択画像に関連付けられた文字列リストは、その文字列リストに含まれる文字列が、重要度が高い順序で、本実施形態の場合、上側から下側へ向かって表示される。
【０１０３】
図６の例の場合、コメント履歴として、「Sスキー場でタロー達とスノボ！」というコメントが表示され、かつ、入力候補の文字列として、「P県」、「Q市」、「2015年12月12日」、「雪」、「山」、「富士太郎」、「タロー」、「スノボ」、…が、この順序で上側から下側へ向かって表示されている。
【０１０４】
続いて、各々のユーザA, B, Cは、文字列リストおよびコメント履歴を参照し、指示入力部５８を介して、選択画像に対するコメントを作成する。
【０１０５】
各々のユーザA, B, Cは、ソフトウェアキーボード等を使用して文字をタイプすることによって、所望の文字列を入力フィールドに入力することができる。また、各々のユーザA, B, Cは、画像表示部５６に表示された文字列リストを参照し、文字列リストに含まれる文字列の中から所望の文字列を選択することによって、各々のユーザA, B, Cによって選択された文字列を入力フィールドに入力することができる。
【０１０６】
また、各々のユーザA, B, Cは、コメント履歴を参照し、過去に入力されたコメントと同じまたは類似するコメントを入力しないようにすることができる。あるいは、コメント履歴に含まれるコメントの中から所望のコメントを選択することによって、各々のユーザA, B, Cによって選択されたコメントを入力フィールドに入力することができる。また、各々のユーザA, B, Cは、入力した文字列およびコメントを編集することができる。
【０１０７】
このように、画像処理装置１０においては、ユーザA, B, Cから取得された各々の画像の解析結果に基づいて、各々の画像に関連性のある文字列を含む文字列リストを作成し、各々のユーザA, B, Cが選択画像に対するコメントを作成する際に、入力候補の文字列として、その選択画像に関連付けられた文字列リストを画像表示部５６に表示させることにより、各々のユーザA, B, Cが選択画像に対するコメントを入力する際の入力支援を行うことができる。
【０１０８】
続いて、各々のユーザA, B, Cは、指示入力部５８を介して、各々のユーザA, B, Cによって作成されたコメントをアップロード（入力）するための指示を行う。
【０１０９】
各々のユーザA, B, Cの指示に応じて、各々のユーザA, B, Cによって作成されたコメントが、各々のユーザA, B, Cの端末装置１４からネットワーク１６を介してサーバ１２へアップロードされ、コメント記憶部５２により、選択画像と、各々のユーザA, B, Cによって作成された選択画像に対するコメントとが関連付けて記憶される（ステップS16）。
【０１１０】
このように、選択画像と、各々のユーザA, B, Cによって作成された選択画像に対するコメントとを関連付けて記憶しておくことにより、選択画像に既にコメントが関連付けられている場合に、各々のユーザA, B, Cによって選択画像にコメントが入力される際に、表示制御部３０により、コメント履歴として、選択画像に既に関連付けられているコメントを画像表示部５６に表示させることができる。
【０１１１】
続いて、合成画像作成部３４により、選択画像と、その選択画像に関連付けられたコメントとが合成される（ステップS17）。また、コメントが合成された選択画像を含む、ユーザA, B, Cの複数の画像を用いて、フォトブック等の合成画像が作成される。
【０１１２】
図６の例の場合、「Sスキー場でタロー達とスノボ！」というコメントが選択画像の上に重畳されて合成されている。なお、コメントを画像の上に重畳することは必須ではなく、コメントを画像の周辺等に配置して合成してもよい。
【０１１３】
また、合成画像作成部３４は、例えば、テンプレート上に画像を配置し、プリントし、製本することにより、紙媒体の合成画像を作成してもよいし、これに限らず、テンプレート上に静止画および動画を含む画像を配置し、ディスプレイ上において閲覧する電子アルバムを作成してもよい。さらに、テンプレートを利用することなく、合成画像として、ユーザから取得された静止画や動画などを含む各種のコンテンツを順次表示するスライドショーを作成してもよい。
【０１１４】
１つの選択画像に対して複数のユーザからコメントが付与された場合など、１つの選択画像に対して複数のコメントが存在する場合がある。また、複数のコメントの中に内容が完全に一致するまたは内容が類似する２以上の類似コメントが存在する場合がある。この場合、２以上の類似コメントを１つにまとめてもよい。
【０１１５】
例えば、コメント選択部３６により、入力日時が最も早いコメント等のように、２以上の類似コメントの中から１つの類似コメントを選択する。そして、合成画像作成部３４により、選択画像と、コメント選択部３６によって選択された１つの類似コメント、および、複数のコメントのうちの２以上の類似コメント以外のコメントとを合成して合成画像を作成する。
【０１１６】
これにより、内容が完全に一致するまたは内容が類似する２以上のコメントが選択画像に合成されるのを防ぐことができる。
【０１１７】
また、第１文字列リスト作成部２２は、各々の画像に関連性のある文字列をキーワードとして、さらに、キーワードに関連性のある文字列を含む文字列リストを作成してもよい。
【０１１８】
例えば、画像に関連性のある文字列として「Sスキー場」を生成した場合、第１文字列リスト作成部２２は、「Sスキー場」をキーワードとして、「Sスキー場」に関連性のある「Tレストラン」、「Q市星空探検ツアー冬」（イベント名）、「Q市ロープウェイ」等の文字列を生成する。さらに、「Tレストラン」等をキーワードとして他の文字列を生成してもよい。
【０１１９】
これにより、第１文字列リスト作成部２２によって生成される文字列の種類を大幅に増やすことができる。
【０１２０】
また、複数の画像の中に動画が含まれる場合、動画に含まれる音声の内容に基づいて文字列を生成してもよい。
【０１２１】
例えば、音声取得部３８により、動画から音声を取得する。そして、第１文字列リスト作成部２２により、動画の音声に関連性のある文字列を含む文字列リストを作成する。
【０１２２】
これにより、静止画だけでなく、動画についても関連性のある文字列を生成することができる。
【０１２３】
また、ユーザの端末装置１４がウェアラブル端末である場合、ユーザの生体情報を利用して文字列を作成することができる。
【０１２４】
例えば、生体情報取得部４０により、各々のユーザに装着されたウェアラブル端末から、各々の画像を撮影した時の各々のユーザの生体情報を取得する。そして、第１文字列リスト作成部２２により、各々の画像を撮影した時の各々のユーザの生体情報に関連性のある文字列を含む文字列リストを作成する。
【０１２５】
これにより、ユーザが画像を撮影した時のユーザの状態、感情等が反映された文字列を生成することができる。
【０１２６】
また、画像処理装置１０においては、コメントの１つとして、文字列だけでなくスタンプを利用することができる。
【０１２７】
例えば、各々のユーザによって選択画像に対するコメントが作成される時に、スタンプ選択部４４により、スタンプ記憶部４２に記憶された複数種類のスタンプの中から、各々のユーザによって入力された１つの入力文字列または複数の入力文字列の組合せに対応するスタンプ（選択スタンプ）を選択する。そして、表示制御部３０により、スタンプ選択部４４によって選択された選択スタンプを画像表示部５６に示させる。
【０１２８】
これにより、各々のユーザは、コメントだけでなく、スタンプを使用することにより、コメントだけでは表現することが難しいユーザの感情および心境等を的確に表現することができる。
【０１２９】
また、各々のユーザの名称（氏名）と、各々のユーザの顔画像とを関連付けてユーザ情報としてユーザ情報記憶部４６に記憶しておき、各々の画像に写っている人物の名称を特定してもよい。
【０１３０】
例えば、画像解析部２０により、複数のユーザの顔画像の各々を解析する。続いて、同一人物判定部４８により、各々の画像および各々のユーザの顔画像の解析結果に基づいて、各々の画像に写っている人物と各々の顔画像に写っているユーザとが同一人物であるか否かを判定し、各々の画像に写っている人物と各々の顔画像に写っているユーザとが同一人物であると判定された場合に、人物名称特定部５０により、ユーザ情報記憶部４６に記憶された各々のユーザのユーザ情報に基づいて、各々の画像に写っている人物の名称を特定する。そして、第１文字列リスト作成部２２により、各々の画像に写っている人物の名称の文字列を含む文字列リストを作成する。
【０１３１】
これにより、ユーザのSNSにおける登録情報が利用できない場合であっても、画像に写っている人物の名称を特定し、特定した人物の名称を、入力候補の文字列として文字列リストの中に含めることができる。
【０１３２】
また、各々の画像に関連付けられた文字列リストの中には、重複する文字列が存在する場合がある。この場合、各々の画像に関連付けられた文字列リストに含まれる重複する文字列を１つの文字列にまとめてもよい。
【０１３３】
例えば、第２文字列リスト作成部２６により、文字列リストに含まれる文字列を重要度が高い順序でソートして文字列リストを再作成し、かつ重複する文字列のうちの１つの文字列のみを残し、残りの文字列を削除する。
【０１３４】
これにより、文字列リストが画像表示部５６に表示される場合に、文字列リストの中に同じ文字列が重複して表示されるのを防ぐことができる。
【０１３５】
また、複数の画像に関連付けられた複数の文字列リストの中には、重複する文字列が存在する場合がある。この場合、複数の文字列リストの中に含まれる文字列の出現頻度に応じて各々の文字列の重要度を設定してもよい。
【０１３６】
例えば、重要度設定部２８により、複数の画像に関連付けられた複数の文字列リストのうち、重複する文字列の重要度を、重複する文字列の数が多いほど、高くなるように設定する。
【０１３７】
これにより、複数の画像に対する関連性の高い文字列の重要度を高く設定し、入力候補の文字列として、優先的に表示することができる。
【０１３８】
また、各々のユーザの指示に応じて、表示制御部３０により、選択画像に既に関連付けられているコメントを画像表示部５６に表示させるか否かを切換えるようにしてもよい。また、各々のユーザの指示に応じて、表示制御部３０により、選択画像に対するコメントにおいて既に使用されている使用済み文字列を画像表示部５６に表示させるか否かを切換えるようにしてもよい。
【０１３９】
また、複数の画像の中から選択画像を自動で選択してもよい。
【０１４０】
例えば、画像解析部２０により、各々の画像の画質、各々の画像に写っている人物および人物以外の被写体のうちの少なくとも１つを解析する。続いて、画像評価部５４により、各々の画像の画質、各々の画像に写っている人物および人物以外の被写体のうちの少なくとも１つに基づいて、各々の画像の評価値を算出する。そして、表示制御部３０により、評価値が最も高い画像を選択画像として画像表示部５６に表示させる。
【０１４１】
これにより、複数の画像の中から評価値が最も高い画像を選択画像として自動で表示させ、各々のユーザにコメントを入力してもらうことができる。
【０１４２】
また、画像取得部１８、画像解析部２０、第１文字列リスト作成部２２、類似画像検出部２４、第２文字列リスト作成部２６、重要度設定部２８、表示制御部３０、コメント取得部３２、合成画像作成部３４、コメント選択部３６、音声取得部３８、生体情報取得部４０、スタンプ記憶部４２、スタンプ選択部４４、ユーザ情報記憶部４６、同一人物判定部４８、人物名称特定部５０、コメント記憶部５２および画像評価部５４のうちの少なくとも１つが、ユーザの端末装置１４内に備えられていてもよい。
【０１４３】
本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたプロセッサおよびプロセッサを備えるコンピュータ等によって構成してもよい。本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
【０１４４】
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【０１４５】
１０  画像処理装置
１２  サーバ
１４  端末装置（クライアント）
１６  ネットワーク
１８  画像取得部
２０  画像解析部
２２  第１文字列リスト作成部
２４  類似画像検出部
２６  第２文字列リスト作成部
２８  重要度設定部
３０  表示制御部
３２  コメント取得部
３４  合成画像作成部
３６  コメント選択部
３８  音声取得部
４０  生体情報取得部
４２  スタンプ記憶部
４４  スタンプ選択部
４６  ユーザ情報記憶部
４８  同一人物判定部
５０  人物名称特定部
５２  コメント記憶部
５４  画像評価部
５６  画像表示部
５８  指示入力部
【図１】
2018005596.tif 000003
【図２】
2018005596.tif 000004
【図３】
2018005596.tif 000005
【図４】
2018005596.tif 000006
【図５】
2018005596.tif 000007
【図６】
2018005596.tif 000008