(57)【特許請求の範囲】
【請求項１】
画像の解析を行う画像解析部と、
前記画像の解析結果に基づいて、前記画像に存在する１以上のオブジェクトに対応する１以上のタグ情報を前記画像に付与するタグ情報付与部と、
複数のユーザの各々が所有する画像に共通に付与されたタグ情報を共通タグ情報として、前記共通タグ情報毎に、複数の前記ユーザが所有する画像における、前記共通タグ情報の付与率を第１付与率として算出する第１付与率算出部と、
前記ユーザ毎に、かつ、前記共通タグ情報毎に、前記ユーザが所有する画像における、前記共通タグ情報の付与率を第２付与率として算出する第２付与率算出部と、
前記ユーザ毎に、各々の前記共通タグ情報の前記第１付与率と前記第２付与率との差に基づいて、前記ユーザが所有する画像に付与された前記共通タグ情報の順位を決定するタグ順位決定部とを備える画像処理装置。
【請求項２】
前記タグ順位決定部は、各々の前記共通タグ情報の前記第２付与率から前記第１付与率を減算して差を算出し、前記差が大きいほど前記順位が高くなるように前記共通タグ情報の順位を決定する請求項１に記載の画像処理装置。
【請求項３】
前記第２付与率算出部は、前記ユーザ毎に、かつ、前記共通タグ情報毎に、前記ユーザが所有する画像に付与された前記共通タグ情報の数を、前記ユーザが所有する画像の数で除算することにより、前記第２付与率を算出する請求項１または２に記載の画像処理装置。
【請求項４】
前記第１付与率算出部は、前記共通タグ情報毎に、複数の前記ユーザの各々が所有する画像に付与された前記共通タグ情報の前記第２付与率を加算平均することにより、前記第１付与率を算出する請求項３に記載の画像処理装置。
【請求項５】
前記第１付与率算出部は、前記共通タグ情報毎に、複数の前記ユーザの各々が所有する画像に付与された前記共通タグ情報の数を、複数の前記ユーザの各々が所有する画像の数で除算することにより、前記第１付与率を算出する請求項３に記載の画像処理装置。
【請求項６】
前記第１付与率算出部および前記第２付与率算出部は、２以上の同一の共通タグ情報が１枚の画像に付与されている場合に、前記１枚の画像に付与されている共通タグ情報の数を、同一の前記共通タグ情報の数と同数として前記第１付与率および前記第２付与率を算出する請求項３〜５のいずれか一項に記載の画像処理装置。
【請求項７】
前記第１付与率算出部および前記第２付与率算出部は、２以上の同一の共通タグ情報が１枚の画像に付与されている場合に、前記１枚の画像に付与されている共通タグ情報の数を１として前記第１付与率および前記第２付与率を算出する請求項３〜５のいずれか一項に記載の画像処理装置。
【請求項８】
前記第１付与率算出部および前記第２付与率算出部は、現在から過去へ向かうに従って重みが小さくなるように、前記共通タグ情報の数を重み付けして前記第１付与率および前記第２付与率を算出する請求項３〜５のいずれか一項に記載の画像処理装置。
【請求項９】
さらに、前記共通タグ情報の順位に基づいて、前記ユーザが所有する画像の中から１以上の画像を選択する画像選択部を備える請求項１〜８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記画像選択部は、前記ユーザが所有する画像の中から、電子アルバムで使用される画像であって、前記オブジェクトが存在する１以上の画像を選択する場合に、前記順位が最も高い方から最も低い方へ向かって順に前記共通タグ情報に対応するオブジェクトが存在する１以上の画像を選択する請求項９に記載の画像処理装置。
【請求項１１】
前記画像選択部は、前記ユーザが所有する画像のうち、同じ構成で、異なるオブジェクトが存在する２以上の画像の中から１枚の画像を選択する場合に、前記順位が最も高い共通タグ情報から最も低い共通タグ情報へ向かって順に共通タグ情報に対応するオブジェクトが存在する１枚の画像を選択する請求項９に記載の画像処理装置。
【請求項１２】
さらに、前記ユーザ毎に、前記ユーザが所有する画像に付与されている前記共通タグ情報の順位に基づいて、前記画像の順位を決定する画像順位決定部を備える請求項１〜８のいずれか一項に記載の画像処理装置。
【請求項１３】
前記画像順位決定部は、前記画像に２以上の共通タグ情報が付与されている場合に、２以上の前記共通タグ情報のうち、前記順位が最も高い共通タグ情報の順位に基づいて、前記画像の順位を決定する請求項１２に記載の画像処理装置。
【請求項１４】
前記画像順位決定部は、前記画像に２以上の共通タグ情報が付与されている場合に、２以上の前記共通タグ情報の第１付与率と第２付与率との差の合計に対応する共通タグ情報の順位に基づいて、前記画像の順位を決定する請求項１２に記載の画像処理装置。
【請求項１５】
前記画像順位決定部は、前記画像に２以上の共通タグ情報が付与されている場合に、２以上の前記共通タグ情報の第１付与率と第２付与率との差を、２以上の前記共通タグ情報に対応する２以上のオブジェクトの面積に応じて重み付けし、前記重み付けされた２以上の前記共通タグ情報の第１付与率と第２付与率との差の合計に対応する共通タグ情報の順位に基づいて、前記画像の順位を決定する請求項１２に記載の画像処理装置。
【請求項１６】
さらに、前記画像の順位に基づいて、前記ユーザが所有する画像の中から１以上の画像を選択する画像選択部を備える請求項１２〜１５のいずれか一項に記載の画像処理装置。
【請求項１７】
さらに、前記オブジェクトが存在する２以上の画像を電子アルバムのページに配置する場合に、前記順位が高い共通タグ情報に対応するオブジェクトが存在する画像のサイズを、前記順位が低い共通タグ情報に対応するオブジェクトが存在する画像のサイズよりも大きくして配置する画像レイアウト部を備える請求項１〜１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記複数のユーザは、国別のグループ、都道府県別のグループ、年齢層別のグループ、男女別のグループの少なくとも１つに分類されたユーザである請求項１〜１７のいずれか一項に記載の画像処理装置。
【請求項１９】
前記タグ情報付与部は、あらかじめ設定された一定数のタグ情報の中から、前記画像に存在するオブジェクトに対応するタグ情報を前記画像に付与する請求項１〜１８のいずれか一項に記載の画像処理装置。
【請求項２０】
前記タグ情報付与部は、あらかじめ設定された一定数のタグ情報に加えて、外部から設定されたタグ情報の中から、前記画像に存在するオブジェクトに対応するタグ情報を前記画像に付与する請求項１〜１８のいずれか一項に記載の画像処理装置。
【請求項２１】
前記画像処理装置は、新たな画像が追加される毎に、前記画像の解析、前記タグ情報の付与、前記第１付与率および前記第２付与率の算出、前記共通タグ情報の順位の決定を行う請求項１〜２０のいずれか一項に記載の画像処理装置。
【請求項２２】
画像解析部が、画像の解析を行うステップと、
タグ情報付与部が、前記画像の解析結果に基づいて、前記画像に存在する１以上のオブジェクトに対応する１以上のタグ情報を前記画像に付与するステップと、
第１付与率算出部が、複数のユーザの各々が所有する画像に共通に付与されたタグ情報を共通タグ情報として、前記共通タグ情報毎に、複数の前記ユーザが所有する画像における、前記共通タグ情報の付与率を第１付与率として算出するステップと、
第２付与率算出部が、前記ユーザ毎に、かつ、前記共通タグ情報毎に、前記ユーザが所有する画像における、前記共通タグ情報の付与率を第２付与率として算出するステップと、
タグ順位決定部が、前記ユーザ毎に、各々の前記共通タグ情報の前記第１付与率と前記第２付与率との差に基づいて、前記ユーザが所有する画像に付与された前記共通タグ情報の順位を決定するステップとを含む画像処理方法。
【請求項２３】
さらに、画像選択部が、前記共通タグ情報の順位に基づいて、前記ユーザが所有する画像の中から１以上の画像を選択するステップを含む請求項２２に記載の画像処理方法。
【請求項２４】
さらに、画像順位決定部が、前記ユーザ毎に、前記ユーザが所有する画像に付与されている前記共通タグ情報の順位に基づいて、前記画像の順位を決定するステップを含む請求項２２に記載の画像処理方法。
【請求項２５】
さらに、画像選択部が、前記画像の順位に基づいて、前記ユーザが所有する画像の中から１以上の画像を選択するステップを含む請求項２４に記載の画像処理方法。
【請求項２６】
さらに、新たな画像が追加される毎に、前記画像の解析、前記タグ情報の付与、前記第１付与率および前記第２付与率の算出、前記共通タグ情報の順位の決定を行うステップを含む請求項２２〜２５のいずれか一項に記載の画像処理方法。
【請求項２７】
請求項２２〜２６のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
【請求項２８】
請求項２２〜２６のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが所有する画像に付与されたタグ情報の順位を決定する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
現在では、ユーザが所有する大量の画像の中から、人物の写りがよい一定枚数の画像を自動で選択し、選択した一定枚数の画像を使用して、カレンダーや電子アルバム、スクリーンセイバー等の合成画像を自動で生成する自動レイアウト機能が実現されている。これにより、ユーザは、ユーザが所有する画像の中から手動で画像を選択する手間をかけることなく、簡単に合成画像を作成することができる。
【０００３】
しかし、現在の自動レイアウト機能では、画像に存在する人物以外のオブジェクトの順位が決定されていないため、オブジェクトが存在する画像の順位を決定することができない。また、オブジェクトの順位が決定されていないため、人物とオブジェクトが一緒に存在している画像においても、人物の写りの良し悪しだけでなく、オブジェクトの価値を反映して画像の順位を決定することができない。
【０００４】
ここで、本発明に関連性のある先行技術文献として、特許文献１〜３がある。
【０００５】
特許文献１には、提供画像に含まれているオブジェクトを抽出し、抽出されたオブジェクトを特定し、オブジェクトに対応するタグを抽出することが記載されている。
【０００６】
特許文献２には、素材の各々の特徴を分析して各素材の属性を決定し、各素材に関する情報、及び決定した各素材の属性を示す情報を素材情報データベースに格納することや、素材に設定された属性毎に、当該属性を有する素材を含む初期グループそれぞれに属する素材数の和を算出することが記載されている。
【０００７】
特許文献３には、画素の輝度値の累算から合計ＳＵＭを求め、合計ＳＵＭから平均値Ａｖｅｒを求め、全ての画素値Ｐについて、画素値Ｐと平均値Ａｖｅｒとの差分の絶対値を求めることが記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−６０１５５号公報
【特許文献２】特許４６４３７３５号公報
【特許文献３】特開平７−２８７７０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１〜３を含む従来技術では、ユーザが所有する画像に存在するオブジェクトに対応して画像に付与されたタグ情報の順位、つまり、タグ情報に対応するオブジェクトの順位を決定するという概念は存在していなかった。
【００１０】
本発明の目的は、従来技術の問題点を解消し、ユーザが所有する画像に付与されたタグ情報の順位を、ユーザにとっての重要度が高い順に決定することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明は、画像の解析を行う画像解析部と、
画像の解析結果に基づいて、画像に存在する１以上のオブジェクトに対応する１以上のタグ情報を画像に付与するタグ情報付与部と、
複数のユーザの各々が所有する画像に共通に付与されたタグ情報を共通タグ情報として、共通タグ情報毎に、複数のユーザが所有する画像における、共通タグ情報の付与率を第１付与率として算出する第１付与率算出部と、
ユーザ毎に、かつ、共通タグ情報毎に、ユーザが所有する画像における、共通タグ情報の付与率を第２付与率として算出する第２付与率算出部と、
ユーザ毎に、各々の共通タグ情報の第１付与率と第２付与率との差に基づいて、ユーザが所有する画像に付与された共通タグ情報の順位を決定するタグ順位決定部とを備える画像処理装置を提供するものである。
【００１２】
ここで、タグ順位決定部は、各々の共通タグ情報の第２付与率から第１付与率を減算して差を算出し、差が大きいほど順位が高くなるように共通タグ情報の順位を決定することが好ましい。
【００１３】
また、第２付与率算出部は、ユーザ毎に、かつ、共通タグ情報毎に、ユーザが所有する画像に付与された共通タグ情報の数を、ユーザが所有する画像の数で除算することにより、第２付与率を算出することが好ましい。
【００１４】
また、第１付与率算出部は、共通タグ情報毎に、複数のユーザの各々が所有する画像に付与された共通タグ情報の第２付与率を加算平均することにより、第１付与率を算出することが好ましい。
【００１５】
また、第１付与率算出部は、共通タグ情報毎に、複数のユーザの各々が所有する画像に付与された共通タグ情報の数を、複数のユーザの各々が所有する画像の数で除算することにより、第１付与率を算出することが好ましい。
【００１６】
また、第１付与率算出部および第２付与率算出部は、２以上の同一の共通タグ情報が１枚の画像に付与されている場合に、１枚の画像に付与されている共通タグ情報の数を、同一の共通タグ情報の数と同数として第１付与率および第２付与率を算出することが好ましい。
【００１７】
また、第１付与率算出部および第２付与率算出部は、２以上の同一の共通タグ情報が１枚の画像に付与されている場合に、１枚の画像に付与されている共通タグ情報の数を１として第１付与率および第２付与率を算出することが好ましい。
【００１８】
また、第１付与率算出部および第２付与率算出部は、現在から過去へ向かうに従って重みが小さくなるように、共通タグ情報の数を重み付けして第１付与率および第２付与率を算出することが好ましい。
【００１９】
さらに、共通タグ情報の順位に基づいて、ユーザが所有する画像の中から１以上の画像を選択する画像選択部を備えることが好ましい。
【００２０】
また、画像選択部は、ユーザが所有する画像の中から、電子アルバムで使用される画像であって、オブジェクトが存在する１以上の画像を選択する場合に、順位が最も高い方から最も低い方へ向かって順に共通タグ情報に対応するオブジェクトが存在する１以上の画像を選択することが好ましい。
【００２１】
また、画像選択部は、ユーザが所有する画像のうち、同じ構成で、異なるオブジェクトが存在する２以上の画像の中から１枚の画像を選択する場合に、順位が最も高い共通タグ情報から最も低い共通タグ情報へ向かって順に共通タグ情報に対応するオブジェクトが存在する１枚の画像を選択することが好ましい。
【００２２】
さらに、ユーザ毎に、ユーザが所有する画像に付与されている共通タグ情報の順位に基づいて、画像の順位を決定する画像順位決定部を備えることが好ましい。
【００２３】
また、画像順位決定部は、画像に２以上の共通タグ情報が付与されている場合に、２以上の共通タグ情報のうち、順位が最も高い共通タグ情報の順位に基づいて、画像の順位を決定することが好ましい。
【００２４】
また、画像順位決定部は、画像に２以上の共通タグ情報が付与されている場合に、２以上の共通タグ情報の第１付与率と第２付与率との差の合計に対応する共通タグ情報の順位に基づいて、画像の順位を決定することが好ましい。
【００２５】
また、画像順位決定部は、画像に２以上の共通タグ情報が付与されている場合に、２以上の共通タグ情報の第１付与率と第２付与率との差を、２以上の共通タグ情報に対応する２以上のオブジェクトの面積に応じて重み付けし、重み付けされた２以上の共通タグ情報の第１付与率と第２付与率との差の合計に対応する共通タグ情報の順位に基づいて、画像の順位を決定することが好ましい。
【００２６】
さらに、画像の順位に基づいて、ユーザが所有する画像の中から１以上の画像を選択する画像選択部を備えることが好ましい。
【００２７】
さらに、オブジェクトが存在する２以上の画像を電子アルバムのページに配置する場合に、順位が高い共通タグ情報に対応するオブジェクトが存在する画像のサイズを、順位が低い共通タグ情報に対応するオブジェクトが存在する画像のサイズよりも大きくして配置する画像レイアウト部を備えることが好ましい。
【００２８】
また、複数のユーザは、国別のグループ、都道府県別のグループ、年齢層別のグループ、男女別のグループの少なくとも１つに分類されたユーザであることが好ましい。
【００２９】
また、タグ情報付与部は、あらかじめ設定された一定数のタグ情報の中から、画像に存在するオブジェクトに対応するタグ情報を画像に付与することが好ましい。
【００３０】
また、タグ情報付与部は、あらかじめ設定された一定数のタグ情報に加えて、外部から設定されたタグ情報の中から、画像に存在するオブジェクトに対応するタグ情報を画像に付与することが好ましい。
【００３１】
また、画像処理装置は、新たな画像が追加される毎に、画像の解析、タグ情報の付与、第１付与率および第２付与率の算出、共通タグ情報の順位の決定を行うことが好ましい。
【００３２】
また、本発明は、画像解析部が、画像の解析を行うステップと、
タグ情報付与部が、画像の解析結果に基づいて、画像に存在する１以上のオブジェクトに対応する１以上のタグ情報を画像に付与するステップと、
第１付与率算出部が、複数のユーザの各々が所有する画像に共通に付与されたタグ情報を共通タグ情報として、共通タグ情報毎に、複数のユーザが所有する画像における、共通タグ情報の付与率を第１付与率として算出するステップと、
第２付与率算出部が、ユーザ毎に、かつ、共通タグ情報毎に、ユーザが所有する画像における、共通タグ情報の付与率を第２付与率として算出するステップと、
タグ順位決定部が、ユーザ毎に、各々の共通タグ情報の第１付与率と第２付与率との差に基づいて、ユーザが所有する画像に付与された共通タグ情報の順位を決定するステップとを含む画像処理方法を提供する。
【００３３】
さらに、画像選択部が、共通タグ情報の順位に基づいて、ユーザが所有する画像の中から１以上の画像を選択するステップを含むことが好ましい。
【００３４】
さらに、画像順位決定部が、ユーザ毎に、ユーザが所有する画像に付与されている共通タグ情報の順位に基づいて、画像の順位を決定するステップを含むことが好ましい。
【００３５】
さらに、画像選択部が、画像の順位に基づいて、ユーザが所有する画像の中から１以上の画像を選択するステップを含むことが好ましい。
【００３６】
さらに、新たな画像が追加される毎に、画像の解析、タグ情報の付与、第１付与率および第２付与率の算出、共通タグ情報の順位の決定を行うステップを含むことが好ましい。
【００３７】
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
【００３８】
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００３９】
本発明によれば、共通タグ情報の第１付与率と第２付与率との差を算出し、各々のユーザとその他のユーザとの間で共通タグ情報の付与率を比較することにより、各々のユーザにとって重要度が高い共通タグ情報、つまり、オブジェクトを判断することができる。これにより、ユーザが所有する画像に付与されたタグ情報の順位を、ユーザにとっての重要度が高い順に決定することができる。
【図面の簡単な説明】
【００４０】
【図１】本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。
【図２】図１に示すサーバの構成を表す一実施形態のブロック図である。
【図３】画像処理システムの動作を表す一実施形態のフローチャートである。
【図４】電子アルバムの見開きのページのレイアウトを表す一例の概念図である。
【図５】（A）および（B）は、同じ構成の２枚の画像を表す一例の概念図である。
【図６】リンゴと犬の共通タグ情報が付与されている画像を表す一例の概念図である。
【図７】電子アルバムのページのレイアウトを表す一例の概念図である。
【発明を実施するための形態】
【００４１】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
【００４２】
図１は、本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。同図に示す画像処理システム１０は、ユーザが所有する画像に付与されたタグ情報の付与率に基づいてタグ情報の順位を決定するものである。画像処理システム１０は、サーバ１２と、インターネット等のネットワーク１６を介してサーバ１２に接続された１以上のクライアント１４とを備えている。
【００４３】
図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ１２は、本発明の画像処理装置の一例であり、指示取得部１８と、画像取得部２０と、画像解析部２２と、タグ情報付与部２４と、第１付与率算出部２６と、第２付与率算出部２８と、タグ順位決定部３０とを備えている。
【００４４】
サーバ１２において、指示取得部１８は、ユーザが入力した指示を取得するものである。
【００４５】
指示取得部１８は、ユーザがクライアント１４において入力した各種の指示を、クライアント１４からネットワーク１６を介して取得する。ユーザの指示には、処理対象となる画像を指定する指示、タグ情報を指定する指示等が含まれる。
【００４６】
続いて、画像取得部２０は、指示取得部１８が取得したユーザの指示に基づいて、ユーザが所有する画像を取得するものである。
【００４７】
画像取得部２０は、ユーザの指示に応じて、ユーザのクライアント１４からネットワーク１６を介してサーバ１２へアップロードされてくる画像を取得してもよいし、あるいは、既にサーバ１２へアップロードされている、つまり、既にサーバ１２に保持されている第１画像の中から、ユーザの指示に応じて指定された少なくとも一部の画像を含む第２画像を取得してもよい。
【００４８】
続いて、画像解析部２２は、画像取得部２０が取得した画像の解析を行うものである。
【００４９】
画像解析部２２が行う画像解析には、画像に存在する人物および人物以外のオブジェクトの検出の他、画像における人物およびオブジェクトの領域の位置および面積の検出等が含まれる。
【００５０】
続いて、タグ情報付与部２４は、画像解析部２２による画像の解析結果に基づいて、画像に存在する１以上のオブジェクトに対応する１以上のタグ情報を画像に付与するものである。
【００５１】
タグ情報付与部２４は、画像の解析結果に基づいて、例えば、オブジェクトとして「リンゴ」が画像に存在することが検出された場合、「リンゴ」のタグ情報を画像に付与する。タグ情報の名称は、オブジェクトの名称と同じでもよいし、オブジェクトの名称と異なっていてもよい。また、ユーザの指示に応じて指定された任意の名称のタグ情報を画像に付与してもよい。
【００５２】
続いて、第１付与率算出部２６は、複数のユーザの各々が所有する画像に共通に付与されたタグ情報を共通タグ情報として、共通タグ情報毎に、複数のユーザが所有する画像における、共通タグ情報の付与率を第１付与率として算出するものである。
また、第２付与率算出部２８は、ユーザ毎に、かつ、共通タグ情報毎に、ユーザが所有する画像における、共通タグ情報の付与率を第２付与率として算出するものである。
【００５３】
各々のユーザは、例えば、ユーザの氏名、住所、ユーザID（識別子）およびパスワード等を含むアカウント情報を画像処理システム１０に登録する。そして、各々のユーザは、画像処理システム１０を利用する場合に、ユーザIDおよびパスワードを入力して画像処理システム１０へログインする。従って、画像処理システム１０は、各々のユーザのアカウント情報に基づいて、各々のユーザおよび各々のユーザが所有する画像を識別することができる。
【００５４】
共通タグ情報は、例えば、「海」、「山」、「リンゴ」「猫」などのように、画像に存在する人物以外の一般的なオブジェクトに対応して複数のユーザの各々が所有する画像に共通に付与されるタグ情報である。これに対し、各々のユーザ（個人）に特化したタグ情報（個別タグ情報）は、例えば、「太郎」、「花子」などのように、画像に存在する固有の人物や固有のオブジェクトに対応して画像に付与されるタグ情報である。
【００５５】
また、共通タグ情報の付与率とは、ユーザが所有する画像の数に対して、画像に付与されている共通タグ情報の数の割合をいう。
【００５６】
第２付与率算出部２８は、例えば、ユーザ毎に、かつ、共通タグ情報毎に、ユーザが所有する画像に付与された共通タグ情報の数を、ユーザが所有する画像の数で除算することにより、第２付与率を算出することができる。
また、第１付与率算出部２６は、共通タグ情報毎に、複数のユーザの各々が所有する画像に付与された共通タグ情報の第２付与率を加算平均することにより、第１付与率を算出することができる。
【００５７】
続いて、タグ順位決定部３０は、ユーザ毎に、各々の共通タグ情報の第１付与率と第２付与率との差に基づいて、ユーザが所有する画像に付与された共通タグ情報の順位を決定するものである。
【００５８】
タグ順位決定部３０は、例えば、各々の共通タグ情報の第２付与率から第１付与率を減算して差を算出し、差が大きいほど順位が高くなるように共通タグ情報の順位を決定することができる。
【００５９】
一方、クライアント１４は、例えば、PC(パーソナルコンピュータ)、タブレットPC、スマートフォンのように、各々のユーザが所有する端末装置の一例である。クライアント１４は、例えば、キーボード、マウス、タッチパネル等の入力部、液晶ディスプレイ、タッチパネル等の表示部、入力部がユーザから入力された指示を取得する処理および表示部が各種情報を表示する処理等を制御する制御部等を備えている。
【００６０】
なお、サーバ１２およびクライアント１４は、それぞれ、両者の間でネットワーク１６を介して各種データの送受信を行う送受信部を備えているが、本実施形態では、煩雑さを防ぐために送受信部等の記載を省略している。
【００６１】
次に、図３に示すフローチャートを参照しながら、ユーザが所有する画像に付与された共通タグ情報の順位を決定する場合の画像処理システム１０の動作を説明する。
【００６２】
まず、ユーザにより、クライアント１４において、処理対象となる画像を指定する指示が入力される。この指示は、ユーザのクライアント１４からネットワーク１６を介してサーバ１２へ送信される。
【００６３】
サーバ１２では、指示取得部１８により、ユーザのクライアント１４からネットワーク１６を介して送信されてきたユーザの指示が取得される（ステップS1）。
【００６４】
続いて、指示取得部１８が取得したユーザの指示に基づいて、画像取得部２０により、ユーザが所有する画像が取得される（ステップS2）。
【００６５】
上記画像の取得は、複数のユーザの各々に対して行われる。
【００６６】
続いて、ユーザが所有する画像にタグ情報が付与される。
【００６７】
この場合、まず、ユーザが所有する画像から１枚の画像が抽出される（ステップS3）。
続いて、画像解析部２２により、画像取得部２０が取得した画像の解析が行われ（ステップS4）、タグ情報付与部２４により、画像の解析結果に基づいて、画像に存在するオブジェクトに対応するタグ情報が画像に付与される（ステップS5）。
ここで、ユーザが所有する全ての画像にタグ情報が付与されたか否かの判定が行われる（ステップS6）。その結果、全ての画像にタグ情報が付与されていない場合（ステップS6でNo）にはステップS3へ戻り、上記の動作が繰り返される。一方、全ての画像にタグ情報が付与された場合（ステップS6でYes）には、次のステップS7へ進む。
【００６８】
上記タグ情報の付与は、複数のユーザの各々が所有する画像に対して行われる。
【００６９】
続いて、共通タグ情報の第１付与率および第２付与率が算出される。
【００７０】
この場合、まず、ユーザが所有する画像から１枚の画像が抽出される（ステップS7）。
続いて、第２付与率算出部２８により、ユーザ毎に、かつ、共通タグ情報毎に、共通タグ情報の第２付与率が算出される（ステップS8）。
ここで、ユーザ毎に、全ての共通タグ情報の第２付与率が算出されたか否かの判定が行われる（ステップS9）。その結果、全ての共通タグ情報の第２付与率が算出されていない場合（ステップS9でNo）にはステップS7へ戻り、上記の動作が繰り返される。一方、全ての共通タグ情報の第２付与率が算出された場合（ステップS9でYes）には、続いて、第１付与率算出部２６により、共通タグ情報毎に、共通タグ情報の第１付与率が算出される（ステップS10）。
【００７１】
続いて、共通タグ情報の順位が決定される。
【００７２】
この場合、まず、タグ順位決定部３０により、ユーザ毎に、各々の共通タグ情報の第２付与率から第１付与率が減算されて差が算出され（ステップS11）、各々の共通タグ情報の付与率の差に基づいて、共通タグ情報の順位が決定される（ステップS12）。
【００７３】
画像処理システム１０では、例えば、新たな画像が追加される毎に、上記画像の解析、タグ情報の付与、第１付与率および第２付与率の算出、共通タグ情報の順位の決定が行われる。
【００７４】
共通タグ情報に対応するオブジェクトの重要度は各々のユーザによって異なるものであり、ユーザが所有する画像に付与された共通タグ情報の順位は、そのユーザにとってのオブジェクトの重要度を表す。つまり、ユーザが所有する画像に付与された共通タグ情報の順位を決定することにより、そのユーザにとってのオブジェクトの重要度、さらには、そのオブジェクトが存在する画像の順位を決定することができる。
【００７５】
例えば、各々のユーザが所有する画像に付与されている各々のタグ情報の数をカウントし、カウント値が大きいタグ情報に対応するオブジェクトがユーザにとって重要度が高いと判断する場合を考える。この場合、日常生活の中に存在するオブジェクトのカウント値が大きくなり、ユーザにとっての重要度が高いと判断されることになる。しかし、一般には、日常生活の中に存在するオブジェクトはどのようなユーザの画像にも存在しており、このようなオブジェクトはユーザにとっての重要度が高いとは言えない。
【００７６】
これに対し、本実施形態のように、共通タグ情報の第１付与率と第２付与率との差を算出し、各々のユーザとその他のユーザとの間で共通タグ情報の付与率を比較することにより、各々のユーザにとって重要度が高い共通タグ情報、つまり、オブジェクトを判断することができる。これにより、ユーザが所有する画像に付与されたタグ情報の順位を、ユーザにとっての重要度が高い順に決定することができる。
【００７７】
次に、共通タグ情報の第１付与率および第２付与率の算出方法、および、共通タグ情報の順位の決定方法について一例を挙げて説明する。
【００７８】
【表１】
0006367168.tif 000002
【００７９】
表１は、ユーザが所有する画像に付与された共通タグ情報の第２付与率および第１付与率、第２付与率から第１付与率を減算した差、および、共通タグ情報の順位を表す。例えば、「リンゴ」の共通タグ情報の第２付与率は０．８、第１付与率は０．３であり、第２付与率から第１付与率を減算した差は０．５である。その他の共通タグ情報についても同様である。
【００８０】
その結果、差が大きいほど順位が高くなるように共通タグ情報の順位を決定すると、共通タグ情報の順位は、差が０．５の「リンゴ」の共通タグ情報が１位、以下順に、差が０．２の「犬」の共通タグ情報が２位、差が０．１の「サッカーボール」の共通タグ情報が３位、差が−０．１の「バナナ」の共通タグ情報が４位、差が−０．５の「猫」の共通タグ情報が５位に決定される。
【００８１】
【表２】
0006367168.tif 000003
【００８２】
【表３】
0006367168.tif 000004
【００８３】
【表４】
0006367168.tif 000005
【００８４】
表２〜４は、それぞれ、ユーザ１〜３の各々が所有する５枚の画像に付与されているタグ情報（共通タグ情報および個別タグ情報）を表す。
【００８５】
表２に示すユーザ１の画像１には、「リンゴ」、「バナナ」、「太郎」のタグ情報が付与されている。例えば、「リンゴ」および「バナナ」のタグ情報は共通タグ情報であり、「太郎」のタグ情報は個別タグ情報である。その他の画像２〜５についても同様である。また、表３に示すユーザ２の画像１〜５、表４に示すユーザ３の画像１〜５についても同様である。
【００８６】
ユーザ１の「リンゴ」の共通タグ情報は、画像１に１つ、画像２に１つ、画像５に２つであり、合計で４つ付与されている。従って、ユーザ１の「リンゴ」の共通タグ情報の第２付与率は、ユーザ１が所有する画像に付与された「リンゴ」の共通タグ情報の数を、ユーザ１が所有する画像の数で除算すると、４／５＝０．８となる。同様に、ユーザ２の「リンゴ」の共通タグ情報の第２付与率は、０／５＝０となり、ユーザ３の「リンゴ」の共通タグ情報の第２付与率は、１／５＝０．２となる。
【００８７】
また、ユーザ１〜３の各々が所有する全ての画像に付与された「リンゴ」の共通タグ情報の第１付与率は、ユーザ１〜３の各々が所有する全ての画像に付与された第２付与率を加算平均すると、（０．８＋０＋０．２）／３≒０．３となる。
【００８８】
従って、「リンゴ」の第１付与率と第２付与率との差は、「リンゴ」の共通タグ情報の第２付与率から第１付与率を減算すると、０．８−０．３＝０．５となる。その他の共通タグ情報の第１付与率と第２付与率との差も同様に算出することができる。
【００８９】
なお、表２の画像５のように、２以上の同一の共通タグ情報が１枚の画像に付与されている場合に、第１付与率算出部２６および第２付与率算出部２８は、本実施形態のように、１枚の画像に付与されている共通タグ情報の数を、同一の共通タグ情報の数と同数として第１付与率および第２付与率を算出してもよいし、あるいは、１枚の画像に付与されている共通タグ情報の数を１として第１付与率および第２付与率を算出してもよい。
【００９０】
次に、共通タグ情報の順位を利用して、画像の順位を決定する場合の例を挙げて説明する。
【００９１】
図４は、電子アルバムの見開きのページのレイアウトを表す一例の概念図である。同図に示すように、電子アルバムのページには、サイズの異なる複数の画像が、縦向きあるいは横向きで様々な位置に配置される。そのため、同図の中央下部に示す２つの網掛け部分のように、レイアウトの隙間が発生する場合がある。この場合、サーバ１２が備える自動レイアウト機能の画像選択部により、ユーザが所有する画像の中から、例えば、オブジェクトが存在する画像が自動で選択され、選択された画像をレイアウトの隙間に配置する処理が行われる。
【００９２】
このように、電子アルバムのレイアウトの隙間に配置するために、オブジェクトが存在する画像を選択する場合に、本発明に係る共通タグ情報の順位を利用することができる。この場合、画像選択部により、共通タグ情報の順位に基づいて、ユーザが所有する画像の中から、ユーザにとっての重要度が高いオブジェクトが存在する１以上の画像を自動で選択して利用することができる。その結果、ユーザにとっての満足度の高い電子アルバムを提供することができる。
【００９３】
同様に、複数の画像からなる電子アルバムを作成する場合にも本発明の共通タグ情報の順位を利用することができる。この場合、画像選択部は、ユーザが所有する画像の中から、電子アルバムで使用される画像であって、オブジェクトが存在する１以上の画像を選択する場合に、順位が最も高い方から最も低い方へ向かって順に共通タグ情報に対応するオブジェクトが存在する１以上の画像を選択する。
【００９４】
続いて、図５（A）および（B）は、同じ構成の２枚の画像を表す一例の概念図である。同図（A）および（B）に示す２枚の画像の左部には人物が存在し、同図（A）の画像の右部にはリンゴ、同図（B）の画像の右部にはサッカーボールが存在する。つまり、これらの２枚の画像の構成は同じであるが、同図（A）の画像のオブジェクトはリンゴであり、同図（B）の画像のオブジェクトはサッカーボールであるというオブジェクトの違いがある。
【００９５】
このように、同じ構成の２枚の画像がある場合、本発明に係るタグ情報の順位を利用することにより、オブジェクトの違い応じて画像の優劣をつけることができる。そのため、同じ構成の２枚の画像の中から１枚の画像を選択する場合に、画像選択部により、ユーザにとっての重要度が高いオブジェクトが存在する画像、つまり、ユーザにとっての満足度が高い画像を自動で選択することができる。
【００９６】
同様に、同じ構成の複数の画像の中から一定数の画像を選択する場合にも本発明に係る共通タグ情報の順位を利用することができる。例えば、画像選択部は、ユーザが所有する画像のうち、同じ構成で、異なるオブジェクトが存在する２以上の画像の中から１枚の画像を選択する場合に、順位が最も高い共通タグ情報から最も低い共通タグ情報へ向かって順に共通タグ情報に対応するオブジェクトが存在する１枚の画像を選択する。
【００９７】
また、２以上の共通タグ情報に対応するオブジェクトが画像に存在する場合に、サーバ１２が備える自動レイアウト機能の画像順位決定部により、ユーザ毎に、ユーザが所有する画像に付与されている共通タグ情報の順位に基づいて画像の順位を決定してもよい。
【００９８】
例えば、画像順位決定部は、画像に２以上の共通タグ情報が付与されている場合に、２以上の共通タグ情報のうち、順位が最も高い共通タグ情報の順位に基づいて、画像の順位を決定してもよい。
【００９９】
例えば、図６に示すように、画像にリンゴと犬が存在し、リンゴの共通タグ情報の順位の方が犬の共通タグ情報の順位よりも高い場合には、リンゴの共通タグ情報の順位に基づいて、画像の順位を決定する。
【０１００】
また、画像順位決定部は、画像に２以上の共通タグ情報が付与されている場合に、２以上の共通タグ情報の第１付与率と第２付与率との差の合計に対応する共通タグ情報の順位基づいて、画像の順位を決定してもよい。
【０１０１】
同様に、図６に示す例の場合、リンゴの共通タグ情報の第１付与率と第２付与率との差、および、犬の共通タグ情報の第１付与率と第２付与率との差を算出し、リンゴの共通タグ情報の付与率の差および犬の共通タグ情報の付与率の差の合計を算出する。そして、算出された付与率の差の合計に対応する共通タグ情報の順位に基づいて、画像の順位を決定する。
【０１０２】
また、画像順位決定部は、画像に２以上の共通タグ情報が付与されている場合に、２以上の共通タグ情報の第１付与率と第２付与率との差を、２以上の共通タグ情報に対応する２以上のオブジェクトの面積に応じて重み付けし、重み付けされた２以上の共通タグ情報の第１付与率と第２付与率との差の合計に対応する共通タグ情報の順位に基づいて、画像の順位を決定してもよい。
【０１０３】
同様に、図６に示す例の場合、リンゴの領域と犬の領域の面積は画像の全領域の面積の約１／４である。この場合、リンゴと犬の共通タグ情報の第１付与率と第２付与率との差を１／４の重みで重み付けし、重み付けされたリンゴと犬の共通タグ情報の第１付与率と第２付与率との差の合計を算出する。そして、算出された差の合計に対応する共通タグ情報の順位に基づいて、画像の順位を決定する。
【０１０４】
また、画像順位決定部が共通タグ情報の順位に基づいて画像の順位を決定した場合に、画像選択部は、画像の順位に基づいて、ユーザが所有する画像の中から１以上の画像を選択してもよい。
【０１０５】
なお、本発明に係る共通タグ情報の順位は、ユーザが所有する画像から１以上の画像を自動選択する場合に限らず、例えば、電子アルバムを作成する場合に、ユーザが所有する全ての画像を使用する場合等にも適用可能である。
【０１０６】
図７は、電子アルバムのページのレイアウトを表す一例の概念図である。同図に示すレイアウトでは、リンゴ、犬、サッカーボールの順番で画像の大きさが次第に小さくなっている。
【０１０７】
画像を電子アルバムのページに配置する際に、本発明に係るタグ情報の順位を利用することにより、画像の優劣に応じて画像のサイズの大小を決めることができる。この場合、サーバ１２が備える自動レイアウト機能の画像レイアウト部により、オブジェクトのみを使用した電子アルバムを作成する際、ユーザにとっての重要度が高いオブジェクトが存在する画像のサイズを大きくし、重要度が低くなるに従って画像のサイズを小さくすることにより、ユーザにとっての満足度の高い電子アルバムを作成することができる。
【０１０８】
この場合、画像レイアウト部は、オブジェクトが存在する２以上の画像を電子アルバムのページに配置する場合に、順位が高い共通タグ情報に対応するオブジェクトが存在する画像のサイズを、順位が低い共通タグ情報に対応するオブジェクトが存在する画像のサイズよりも大きくして配置する。
【０１０９】
なお、タグ情報付与部２４は、あらかじめ画像処理システム１０の内部に設定された一定数のタグ情報の中から、画像に存在するオブジェクトに対応するタグ情報を画像に付与してもよい。あるいは、あらかじめ設定された一定数のタグ情報に加えて、ユーザの指示に応じて外部から設定されたタグ情報の中から、画像に存在するオブジェクトに対応するタグ情報を画像に付与してもよい。
【０１１０】
タグ情報付与部２４がタグ情報を画像に付与することは必須ではなく、あらかじめタグ情報が付与された画像を使用してもよい。
【０１１１】
上記実施形態のように、複数のユーザの各々が所有する画像に付与された第２付与率を加算平均して第１付与率を算出することにより、他のユーザよりも飛び抜けて多い画像を所有しているユーザの影響を排除することができる。
【０１１２】
しかし、ユーザ数が非常に多い場合、複数のユーザが所有する全ての画像の枚数が非常に膨大になり、各々のユーザが所有する画像の枚数の影響を無視することができる。そのため、第１付与率算出部２６は、共通タグ情報毎に、複数のユーザの各々が所有する画像に付与された共通タグ情報の数を、複数のユーザの各々が所有する画像の数で除算することにより、第１付与率を算出してもよい。
【０１１３】
例えば、ユーザの好みは年齢とともに変化するが、ユーザにとっての重要度は、ユーザの現在の好みを優先するとすれば、ユーザの過去の好みの画像よりも現在の好みの画像の方が高いと考えることができる。この場合、第１付与率算出部２６および第２付与率算出部２８は、現在から過去へ向かうに従って重みが小さくなるように、共通タグ情報の数を重み付けして第１付与率および第２付与率を算出してもよい。
【０１１４】
また、複数のユーザは、画像処理システム１０に登録している全てのユーザであってもよいが、例えば、各々のユーザのアカウント情報を用いて、国別のグループ、都道府県別のグループ、年齢層別のグループ、男女別のグループの少なくとも１つに分類されたユーザとしてもよい。このように、ユーザをグループ分けすることにより、類似した傾向のユーザを１つのグループにまとめることができ、より正確に共通タグ情報の順位を決定することができる。
【０１１５】
上記実施形態では、本発明の画像処理装置に相当する全ての機能をサーバ１２側に配置しているが、これに限定されず、例えば、その一部の機能をクライアント１４側に配置してもよいし、全ての機能をクライアント１４側に配置してもよい。
【０１１６】
本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
【０１１７】
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【０１１８】
１０  画像処理システム
１２  サーバ
１４  クライアント
１６  ネットワーク
１８  指示取得部
２０  画像取得部
２２  画像解析部
２４  タグ情報付与部
２６  第１付与率算出部
２８  第２付与率算出部
３０  タグ順位決定部
【図１】
0006367168.tif 000006
【図２】
0006367168.tif 000007
【図３】
0006367168.tif 000008
【図４】
0006367168.tif 000009
【図５】
0006367168.tif 000010
【図６】
0006367168.tif 000011
【図７】
0006367168.tif 000012