(57)【特許請求の範囲】
【請求項１】
画像から、前記画像の撮影日時の有無の情報を取得する画像情報取得部と、
ユーザから入力された指示を取得する指示取得部と、
前記指示に応じて、１以上の画像を選択画像として選択する画像選択部と、
前記選択画像の撮影日時の有無の情報と、第１の画像群の各画像の撮影日時の有無の情報であって、前記選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報とに基づいて、前記各画像の評価値を算出する評価値算出部とを備える画像処理装置。
【請求項２】
前記選択画像は、第２の画像群の中から選択される１以上の画像であり、前記第１の画像群は、前記第２の画像群のうちの前記選択画像以外のその他の画像である、請求項１の画像処理装置。
【請求項３】
前記画像選択部が、前記指示に応じて１つの前記選択画像を選択した場合に、前記評価値算出部は、前記１つの選択画像の撮影日時の有無の情報にスコアを付け、前記１つの選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記１つの選択画像の撮影日時の有無の情報と同じスコアを付けることにより、前記各画像の評価値を算出する請求項１または２に記載の画像処理装置。
【請求項４】
前記画像選択部が、前記指示に応じて２以上の前記選択画像を選択した場合に、前記評価値算出部は、前記２以上の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように前記２以上の選択画像の撮影日時の有無の情報にスコアを付け、前記２以上の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記２以上の選択画像の撮影日時の有無の情報と同じスコアを付けることにより、前記各画像の評価値を算出する請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項５】
前記画像選択部が、前記指示に応じて２以上の前記選択画像を選択した場合に、前記評価値算出部は、前記２以上の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付け、前記２以上の選択画像の最も共通する撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記２以上の選択画像の最も共通する撮影日時の有無の情報と同じスコアを付けることにより、前記各画像の評価値を算出する請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項６】
前記選択画像および前記選択画像の撮影日時の有無の情報を過去の選択画像および前記過去の選択画像の撮影日時の有無の情報として記憶する情報記憶部を備え、
前記評価値算出部は、前記選択画像および前記情報記憶部に記憶された１以上の過去の選択画像の撮影日時の有無の情報と、前記選択画像および前記１以上の過去の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報とに基づいて、前記各画像の評価値を算出する請求項１〜５のいずれか一項に記載の画像処理装置。
【請求項７】
前記画像選択部が、前記指示に応じて１つの前記選択画像を選択した場合に、
前記評価値算出部は、
前記１つの選択画像の撮影日時の有無の情報にスコアを付け、かつ、前記１以上の過去の選択画像の撮影日時の有無の情報にスコアを付け、
前記１つの選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記１つの選択画像の撮影日時の有無の情報と同じスコアを付け、かつ、前記１以上の過去の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記１以上の過去の選択画像の撮影日時の有無の情報と同じスコアを付け、
前記１つの選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報のスコアと、前記１以上の過去の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、
前記各画像の評価値を算出する、
請求項６に記載の画像処理装置。
【請求項８】
前記画像選択部が、前記指示に応じて２以上の前記選択画像を選択した場合に、
前記評価値算出部は、
前記２以上の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように前記２以上の選択画像の撮影日時の有無の情報にスコアを付け、かつ、前記１以上の過去の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように前記１以上の過去の選択画像の撮影日時の有無の情報にスコアを付け、
前記２以上の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記２以上の選択画像の撮影日時の有無の情報と同じスコアを付け、かつ、前記１以上の過去の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記１以上の過去の選択画像の撮影日時の有無の情報と同じスコアを付け、
前記２以上の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報のスコアと、前記１以上の過去の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、
前記各画像の評価値を算出する、
請求項６または７に記載の画像処理装置。
【請求項９】
前記画像選択部が、前記指示に応じて２以上の前記選択画像を選択した場合に、
前記評価値算出部は、
前記２以上の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付け、かつ、前記１以上の過去の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付け、
前記２以上の選択画像の最も共通する撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記２以上の選択画像の間で最も共通する撮影日時の有無の情報と同じスコアを付け、かつ、前記１以上の過去の選択画像の最も共通する撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報に前記１以上の過去の選択画像の間で最も共通する撮影日時の有無の情報と同じスコアを付け、
前記２以上の選択画像の最も共通する撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報のスコアと、前記１以上の過去の選択画像の最も共通する撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、
前記各画像の評価値を算出する、
請求項６または７に記載の画像処理装置。
【請求項１０】
前記評価値算出部は、前記選択画像および前記１以上の過去の選択画像の撮影日時の有無の情報のスコアを、前記選択された日時が新しくなるほど重みが重くなるように重み付けして、前記合計値を算出する請求項７〜９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記評価値算出部は、前記選択画像および前記各画像の撮影日時の有無の情報に、あらかじめ設定されたスコアを付ける請求項３〜５および７〜１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記評価値算出部は、前記選択画像および前記各画像の撮影日時の有無の情報に、あらかじめ設定された２種類以上のスコアの中から１つのスコアを選択し、前記選択された１つのスコアを付ける請求項３〜５および７〜１０のいずれか一項に記載の画像処理装置。
【請求項１３】
前記評価値算出部は、前記選択画像および前記各画像の撮影日時の有無の情報に、前記指示に応じて指定されたスコアを付ける請求項３〜５および７〜１０のいずれか一項に記載の画像処理装置。
【請求項１４】
前記画像情報取得部は、さらに、前記画像から、前記画像に付与されたタグ情報を取得し、
前記評価値算出部は、前記選択画像のタグ情報および撮影日時の有無の情報と、前記選択画像のタグ情報および撮影日時の有無の情報に一致する前記各画像のタグ情報および撮影日時の有無の情報とに基づいて、前記各画像の評価値を算出する請求項１〜１３のいずれか一項に記載の画像処理装置。
【請求項１５】
前記画像情報取得部は、さらに、前記画像から、前記画像に存在する人物の情報を取得し、
前記評価値算出部は、前記選択画像の人物の情報および撮影日時の有無の情報と、前記選択画像の人物の情報および撮影日時の有無の情報に一致する前記各画像の人物の情報および撮影日時の有無の情報とに基づいて、前記各画像の評価値を算出する請求項１〜１３のいずれか一項に記載の画像処理装置。
【請求項１６】
前記画像情報取得部は、前記画像から、前記画像の撮影日時の有無の情報、前記画像に付与されたタグ情報および前記画像に存在する人物の情報を取得し、
前記評価値算出部は、前記選択画像のタグ情報、人物の情報および撮影日時の有無の情報と、前記選択画像のタグ情報、人物の情報および撮影日時の有無の情報に一致する前記各画像のタグ情報、人物の情報および撮影日時の有無の情報とに基づいて、前記各画像の評価値を算出する請求項１〜１３のいずれか一項に記載の画像処理装置。
【請求項１７】
さらに、前記画像の解析を行う画像解析部と、
前記画像の解析結果に基づいて、前記画像に存在する１以上のオブジェクトに対応する１以上のタグ情報を前記画像に付与するタグ情報付与部とを備える請求項１４または１６に記載の画像処理装置。
【請求項１８】
前記画像解析部は、前記選択画像が選択された後に、前記各画像の解析を行い、
前記タグ情報付与部は、前記各画像の解析が終了した後に、前記タグ情報を前記各画像に付与する請求項１７に記載の画像処理装置。
【請求項１９】
前記画像解析部は、前記選択画像が選択されるよりも前に、前記各画像の解析を行い、
前記タグ情報付与部は、前記各画像の解析が終了した後、前記選択画像が選択されるよりも前に、前記タグ情報を前記各画像に付与する請求項１７に記載の画像処理装置。
【請求項２０】
前記評価値算出部は、前記選択画像の中に人物が存在しない場合に、前記各画像の人物の情報のスコアを含めずに前記各画像の評価値を算出する請求項１５または１６に記載の画像処理装置。
【請求項２１】
さらに、前記選択画像および前記各画像に存在する人物の中から１以上の人物を主人公に設定する主人公設定部を備え、
前記評価値算出部は、前記主人公が設定されている場合に、前記選択画像に存在する人物に関わらず、前記各画像に存在する人物であって、前記設定された主人公と一致する人物の情報にスコアを付け、前記各画像に存在する人物であって、前記設定された主人公と一致する人物の情報のスコアを含めて前記各画像の評価値を算出する請求項１５、１６および２０のいずれか一項に記載の画像処理装置。
【請求項２２】
前記主人公設定部は、前記選択画像および前記各画像に存在する人物の中から登場回数が最も多い一人の人物を前記主人公に設定する請求項２１に記載の画像処理装置。
【請求項２３】
前記主人公設定部は、前記選択画像および前記各画像に存在する人物の中から最も登場回数が閾値以上である１以上の人物を前記主人公に設定する請求項２１に記載の画像処理装置。
【請求項２４】
前記主人公設定部は、前記選択画像および前記各画像に存在する人物の中から前記指示に応じて指定された人物を前記主人公に設定する請求項２１に記載の画像処理装置。
【請求項２５】
前記評価値算出部は、前記選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを算出し、前記算出された前記選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを、前記タグ情報、前記人物の情報および前記撮影日時の有無の情報の間で重み付けして加算することにより、前記各画像の評価値を算出する請求項１６に記載の画像処理装置。
【請求項２６】
前記選択画像および前記選択画像のタグ情報、人物の情報および撮影日時の有無の情報を過去の選択画像および前記過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報として記憶する情報記憶部を備え、
前記評価値算出部は、前記選択画像および１以上の過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを算出し、前記算出された前記選択画像および１以上の過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを、前記タグ情報、前記人物の情報および前記撮影日時の有無の情報の間で重み付けして加算することにより、前記各画像の評価値を算出する請求項１６に記載の画像処理装置。
【請求項２７】
前記選択画像、および、前記各画像のうちの前記評価値が閾値以上である画像を抽出画像として抽出する画像抽出部を備える請求項１〜２６のいずれか一項に記載の画像処理装置。
【請求項２８】
さらに、前記撮影日時の情報が付与されていない画像が前記抽出画像の中にある場合に、前記画像に対応する画像ファイルを作成した日時、前記画像ファイルを取得した日時、前記画像ファイルを編集した日時のいずれかを使用して、前記抽出画像における前記撮影日時の情報が付与されていない画像の時系列の順序を決定する画像順序決定部を備える請求項２７に記載の画像処理装置。
【請求項２９】
さらに、前記画像の解析を行う画像解析部を備え、
前記画像解析部は、前記撮影日時の情報が付与されていない画像が前記抽出画像の中にある場合に、前記抽出画像における前記撮影日時の情報が付与されている画像の中から、前記撮影日時の情報が付与されていない画像と類似する画像の判定を行い、
さらに、前記抽出画像における前記撮影日時の情報が付与されていない画像の時系列の順序を、前記撮影日時の情報が付与されていない画像と類似すると判定された画像の前または後に決定する画像順序決定部を備える請求項２７に記載の画像処理装置。
【請求項３０】
画像情報取得部が、画像から、前記画像の撮影日時の有無の情報を取得するステップと、
指示取得部が、ユーザから入力された指示を取得するステップと、
画像選択部が、前記指示に応じて、１以上の画像を選択画像として選択するステップと、
評価値算出部が、前記選択画像の撮影日時の有無の情報と、第１の画像群の各画像の撮影日時の有無の情報であって、前記選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報とに基づいて、前記各画像の評価値を算出するステップとを含む画像処理方法。
【請求項３１】
情報記憶部が、前記選択画像および前記選択画像の撮影日時の有無の情報を過去の選択画像および過去の選択画像の撮影日時の有無の情報として記憶するステップと、
前記評価値算出部が、前記選択画像および前記情報記憶部に記憶された１以上の過去の選択画像の撮影日時の有無の情報と、前記選択画像および前記１以上の過去の選択画像の撮影日時の有無の情報に一致する前記各画像の撮影日時の有無の情報とに基づいて、前記各画像の評価値を算出するステップとを含む請求項３０に記載の画像処理方法。
【請求項３２】
画像抽出部が、前記選択画像、および、前記各画像のうちの前記評価値が閾値以上である画像を抽出画像として抽出するステップを含む請求項３０または３１に記載の画像処理方法。
【請求項３３】
請求項３０〜３２のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
【請求項３４】
請求項３０〜３２のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像群に含まれる画像の評価値を算出する画像処理装置、画像処理方法、プログラムおよび記録媒体に関するものである。
【背景技術】
【０００２】
現在では、ユーザが所有する画像群の中から選択された一定枚数の画像を使用して、フォトブック（電子アルバム）等の合成画像を生成する店頭機等の画像処理装置が実現されている。この場合、画像群に含まれる多数の画像の中から、合成画像を生成するために使用する画像を選出する必要があるが、ユーザが画像を選出する手間を軽減するために、画像の自動選出機能が求められている。
【０００３】
これに対し、従来の画像処理装置では、写りのよさや、人物の有無、表情、顔の大きさ等の観点を基準として、画像群の中から画像が自動で選出されていた。しかし、従来の画像の選出基準では選出対象から外れる画像であっても、ユーザにとっては思い入れがある画像である場合がある。例えば、写りはよくないが、ユーザが好きなものや大切なものが撮影された画像等がこれに該当する。
【０００４】
また、従来の画像処理装置では、Exif（Exchangeable Image File Format）情報のない画像は自動選出の対象外であった。しかし、ユーザによっては、Exif情報がない画像でも、例えば、SNS（Social Networking Service）からダウンロードした画像や、ユーザ自身が専用のアプリケーションで編集を行った画像であるため、思い入れがあるという場合があった。
【０００５】
従って、ユーザの傾向に応じて画像を自動で選出するための技術が必要となる。
【０００６】
本発明に関連性のある先行技術文献として、特許文献１〜３がある。
【０００７】
特許文献１には、記憶装置から任意の画像を主画像として選択し、主画像に付随した情報として、例えば、画像の内容を表すキーワード、画像を撮影した日時などを取り出し、取り出された主画像付随情報と、記憶装置に記憶された主画像以外の画像付随情報との関連度を計算し、計算された付随情報の関連度の順に応じて、対応する画像を副画像として副表示領域に表示することが記載されている。
【０００８】
特許文献２には、入力画像から被写体を抽出し、抽出した各被写体の抽出元画像情報と被写形態情報とを関連付けて被写体データ群テーブルを作成し、被写体データ群と予め設定された重要度の重みパラメータとにより各被写体の重要度を判断し、重要な被写体を抽出し、抽出した重要な被写体を種類別にクラスタリングし、被写体データ群をクラスタリングされた種類別に分類することが記載されている。
【０００９】
特許文献３には、各画像から画像特徴量を抽出し、各画像にキーワードを付与することが記載されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特許第４０２１０２５号公報
【特許文献２】特開２００５−１４８９００号公報
【特許文献３】特開２００６−１７１８８８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし、特許文献１〜３に記載の技術では、ユーザの傾向に応じて画像が評価されていないため、画像群の中から、ユーザにとって思い入れのある画像を選出することができない。
【００１２】
本発明の第１の目的は、従来技術の問題点を解消し、ユーザの傾向に応じて、画像群の各画像を評価することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
また、本発明の第２の目的は、上記第１の目的に加えて、画像群の中から、ユーザにとって思い入れのある画像を選出することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明は、画像から、画像の撮影日時の有無の情報を取得する画像情報取得部と、
ユーザから入力された指示を取得する指示取得部と、
指示に応じて、１以上の画像を選択画像として選択する画像選択部と、
選択画像の撮影日時の有無の情報と、第１の画像群の各画像の撮影日時の有無の情報であって、選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報とに基づいて、各画像の評価値を算出する評価値算出部とを備える画像処理装置を提供するものである。
【００１４】
ここで、選択画像は、第２の画像群の中から選択される１以上の画像であり、第１の画像群は、第２の画像群のうちの選択画像以外のその他の画像であることが好ましい。
【００１５】
また、画像選択部が、指示に応じて１つの選択画像を選択した場合に、評価値算出部は、１つの選択画像の撮影日時の有無の情報にスコアを付け、１つの選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に１つの選択画像の撮影日時の有無の情報と同じスコアを付けることにより、各画像の評価値を算出することが好ましい。
【００１６】
また、画像選択部が、指示に応じて２以上の選択画像を選択した場合に、評価値算出部は、２以上の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように２以上の選択画像の撮影日時の有無の情報にスコアを付け、２以上の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に２以上の選択画像の撮影日時の有無の情報と同じスコアを付けることにより、各画像の評価値を算出することが好ましい。
【００１７】
また、画像選択部が、指示に応じて２以上の選択画像を選択した場合に、評価値算出部は、２以上の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付け、２以上の選択画像の最も共通する撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に２以上の選択画像の最も共通する撮影日時の有無の情報と同じスコアを付けることにより、各画像の評価値を算出することが好ましい。
【００１８】
また、選択画像および選択画像の撮影日時の有無の情報を過去の選択画像および過去の選択画像の撮影日時の有無の情報として記憶する情報記憶部を備え、
評価値算出部は、選択画像および情報記憶部に記憶された１以上の過去の選択画像の撮影日時の有無の情報と、選択画像および１以上の過去の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報とに基づいて、各画像の評価値を算出することが好ましい。
【００１９】
また、画像選択部が、指示に応じて１つの選択画像を選択した場合に、
評価値算出部は、
１つの選択画像の撮影日時の有無の情報にスコアを付け、かつ、１以上の過去の選択画像の撮影日時の有無の情報にスコアを付け、
１つの選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に１つの選択画像の撮影日時の有無の情報と同じスコアを付け、かつ、１以上の過去の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に１以上の過去の選択画像の撮影日時の有無の情報と同じスコアを付け、
１つの選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報のスコアと、１以上の過去の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、
各画像の評価値を算出することが好ましい。
【００２０】
また、画像選択部が、指示に応じて２以上の選択画像を選択した場合に、
評価値算出部は、
２以上の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように２以上の選択画像の撮影日時の有無の情報にスコアを付け、かつ、１以上の過去の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように１以上の過去の選択画像の撮影日時の有無の情報にスコアを付け、
２以上の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に２以上の選択画像の撮影日時の有無の情報と同じスコアを付け、かつ、１以上の過去の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に１以上の過去の選択画像の撮影日時の有無の情報と同じスコアを付け、
２以上の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報のスコアと、１以上の過去の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、
各画像の評価値を算出することが好ましい。
【００２１】
また、画像選択部が、指示に応じて２以上の選択画像を選択した場合に、
評価値算出部は、
２以上の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付け、かつ、１以上の過去の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付け、
２以上の選択画像の最も共通する撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に２以上の選択画像の間で最も共通する撮影日時の有無の情報と同じスコアを付け、かつ、１以上の過去の選択画像の最も共通する撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報に１以上の過去の選択画像の間で最も共通する撮影日時の有無の情報と同じスコアを付け、
２以上の選択画像の最も共通する撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報のスコアと、１以上の過去の選択画像の最も共通する撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、
各画像の評価値を算出することが好ましい。
【００２２】
また、評価値算出部は、選択画像および１以上の過去の選択画像の撮影日時の有無の情報のスコアを、選択された日時が新しくなるほど重みが重くなるように重み付けして、合計値を算出することが好ましい。
【００２３】
また、評価値算出部は、選択画像および各画像の撮影日時の有無の情報に、あらかじめ設定されたスコアを付けることが好ましい。
【００２４】
また、評価値算出部は、選択画像および各画像の撮影日時の有無の情報に、あらかじめ設定された２種類以上のスコアの中から１つのスコアを選択し、選択された１つのスコアを付けることが好ましい。
【００２５】
また、評価値算出部は、選択画像および各画像の撮影日時の有無の情報に、指示に応じて指定されたスコアを付けることが好ましい。
【００２６】
画像情報取得部は、さらに、画像から、画像に付与されたタグ情報を取得し、
評価値算出部は、選択画像のタグ情報および撮影日時の有無の情報と、選択画像のタグ情報および撮影日時の有無の情報に一致する各画像のタグ情報および撮影日時の有無の情報とに基づいて、各画像の評価値を算出することが好ましい。
【００２７】
画像情報取得部は、さらに、画像から、画像に存在する人物の情報を取得し、
評価値算出部は、選択画像の人物の情報および撮影日時の有無の情報と、選択画像の人物の情報および撮影日時の有無の情報に一致する各画像の人物の情報および撮影日時の有無の情報とに基づいて、各画像の評価値を算出することが好ましい。
【００２８】
また、画像情報取得部は、画像から、画像の撮影日時の有無の情報、画像に付与されたタグ情報および画像に存在する人物の情報を取得し、
評価値算出部は、選択画像のタグ情報、人物の情報および撮影日時の有無の情報と、選択画像のタグ情報、人物の情報および撮影日時の有無の情報に一致する各画像のタグ情報、人物の情報および撮影日時の有無の情報とに基づいて、各画像の評価値を算出することが好ましい。
【００２９】
さらに、画像の解析を行う画像解析部と、
画像の解析結果に基づいて、画像に存在する１以上のオブジェクトに対応する１以上のタグ情報を画像に付与するタグ情報付与部とを備えることが好ましい。
【００３０】
また、画像解析部は、選択画像が選択された後に、各画像の解析を行い、
タグ情報付与部は、各画像の解析が終了した後に、タグ情報を各画像に付与することが好ましい。
【００３１】
また、画像解析部は、選択画像が選択されるよりも前に、各画像の解析を行い、
タグ情報付与部は、各画像の解析が終了した後、選択画像が選択されるよりも前に、タグ情報を各画像に付与することが好ましい。
【００３２】
また、評価値算出部は、選択画像の中に人物が存在しない場合に、各画像の人物の情報のスコアを含めずに各画像の評価値を算出することが好ましい。
【００３３】
さらに、選択画像および各画像に存在する人物の中から１以上の人物を主人公に設定する主人公設定部を備え、
評価値算出部は、主人公が設定されている場合に、選択画像に存在する人物に関わらず、各画像に存在する人物であって、設定された主人公と一致する人物の情報にスコアを付け、各画像に存在する人物であって、設定された主人公と一致する人物の情報のスコアを含めて各画像の評価値を算出することが好ましい。
【００３４】
また、主人公設定部は、選択画像および各画像に存在する人物の中から登場回数が最も多い一人の人物を主人公に設定することが好ましい。
【００３５】
また、主人公設定部は、選択画像および各画像に存在する人物の中から最も登場回数が閾値以上である１以上の人物を主人公に設定することが好ましい。
【００３６】
また、主人公設定部は、選択画像および各画像に存在する人物の中から指示に応じて指定された人物を主人公に設定することが好ましい。
【００３７】
また、評価値算出部は、選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを算出し、算出された選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを、タグ情報、人物の情報および撮影日時の有無の情報の間で重み付けして加算することにより、各画像の評価値を算出することが好ましい。
【００３８】
また、選択画像および選択画像のタグ情報、人物の情報および撮影日時の有無の情報を過去の選択画像および過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報として記憶する情報記憶部を備え、
評価値算出部は、選択画像および１以上の過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを算出し、算出された選択画像および１以上の過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを、タグ情報、人物の情報および撮影日時の有無の情報の間で重み付けして加算することにより、各画像の評価値を算出することが好ましい。
【００３９】
また、選択画像、および、各画像のうちの評価値が閾値以上である画像を抽出画像として抽出する画像抽出部を備えることが好ましい。
【００４０】
さらに、撮影日時の情報が付与されていない画像が抽出画像の中にある場合に、画像に対応する画像ファイルを作成した日時、画像ファイルを取得した日時、画像ファイルを編集した日時のいずれかを使用して、抽出画像における撮影日時の情報が付与されていない画像の時系列の順序を決定する画像順序決定部を備えることが好ましい。
【００４１】
さらに、前記画像の解析を行う画像解析部を備え、
画像解析部は、撮影日時の情報が付与されていない画像が抽出画像の中にある場合に、抽出画像における撮影日時の情報が付与されている画像の中から、撮影日時の情報が付与されていない画像と類似する画像の判定を行い、
さらに、抽出画像における撮影日時の情報が付与されていない画像の時系列の順序を、撮影日時の情報が付与されていない画像と類似すると判定された画像の前または後に決定する画像順序決定部を備えることが好ましい。
【００４２】
また、本発明は、画像情報取得部が、画像から、画像の撮影日時の有無の情報を取得するステップと、
指示取得部が、ユーザから入力された指示を取得するステップと、
画像選択部が、指示に応じて、１以上の画像を選択画像として選択するステップと、
評価値算出部が、選択画像の撮影日時の有無の情報と、第１の画像群の各画像の撮影日時の有無の情報であって、選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報とに基づいて、各画像の評価値を算出するステップとを含む画像処理方法を提供する。
【００４３】
ここで、情報記憶部が、選択画像および選択画像の撮影日時の有無の情報を過去の選択画像および過去の選択画像の撮影日時の有無の情報として記憶するステップと、
評価値算出部が、選択画像および情報記憶部に記憶された１以上の過去の選択画像の撮影日時の有無の情報と、選択画像および１以上の過去の選択画像の撮影日時の有無の情報に一致する各画像の撮影日時の有無の情報とに基づいて、各画像の評価値を算出するステップとを含むことが好ましい。
【００４４】
また、画像抽出部が、選択画像、および、各画像のうちの評価値が閾値以上である画像を抽出画像として抽出するステップを含むことが好ましい。
【００４５】
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。
【００４６】
また、本発明は、上記に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００４７】
本発明では、ユーザの指示により選択された選択画像の撮影日時の有無の情報と、これに一致する第１の画像群の各画像の撮影日時の有無の情報とに基づいて、各画像の評価値が算出される。これにより、選択画像の撮影日時の有無の情報に基づいてユーザの傾向を判断し、ユーザの傾向に応じて、各画像の評価値を算出することができる。また、各画像の評価値に基づいて、第１の画像群の中から、ユーザにとって思い入れのある画像を選出することができる。
【図面の簡単な説明】
【００４８】
【図１】本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。
【図２】図１に示すサーバの構成を表す一実施形態のブロック図である。
【図３】画像処理システムの動作を表す一実施形態のフローチャートである。
【発明を実施するための形態】
【００４９】
以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。
【００５０】
図１は、本発明に係る画像処理システムの構成を表す一実施形態のブロック図である。同図に示す画像処理システム１０は、ユーザの傾向に応じて、画像群に含まれる画像の評価値を算出し、算出した評価値に基づいて、画像群の中から、ユーザにとって思い入れのある画像を選出するものである。画像処理システム１０は、サーバ１２と、インターネット等のネットワーク１６を介してサーバ１２に接続された１以上のクライアント１４とを備えている。
【００５１】
図２は、図１に示すサーバの構成を表す一実施形態のブロック図である。同図に示すサーバ１２は、本発明の画像処理装置の一例であり、指示取得部１８と、画像群取得部２０と、画像解析部２２と、タグ情報付与部２４と、画像情報取得部２６と、画像選択部２８と、評価値算出部３０と、情報記憶部３２と、主人公設定部３４と、画像抽出部３６と、画像順序決定部３８とを備えている。
【００５２】
サーバ１２において、指示取得部１８は、ユーザから入力された指示を取得するものである。
【００５３】
指示取得部１８は、ユーザがクライアント１４において入力した各種の指示を、クライアント１４からネットワーク１６を介して取得する。ユーザの指示には、タグ情報の名称を指定する指示、画像群の中からユーザの傾向を判断するための基準となる画像を選択する指示、画像の撮影日時の有無の情報、画像に付与されたタグ情報および画像に存在する人物の情報にスコアを付ける指示、画像に存在する人物の中から主人公となる人物を指定する指示等が含まれる。
【００５４】
続いて、画像群取得部２０は、指示取得部１８が取得したユーザの指示に基づいて、ユーザが所有する画像群を取得するものである。
【００５５】
画像群取得部２０は、ユーザの指示に応じて、ユーザのクライアント１４からネットワーク１６を介してサーバ１２へアップロードされてくる画像群を取得してもよいし、あるいは、既にサーバ１２へアップロードされている、つまり、既にサーバ１２に保持されている既存の画像群の中から、ユーザの指示に応じて指定された少なくとも一部の画像を含む画像群を取得してもよい。
【００５６】
続いて、画像解析部２２は、画像群取得部２０が取得した画像群に含まれる画像の解析を行うものである。
【００５７】
画像解析部２２が行う画像解析には、画像に存在する被写体、つまり、人物および人物以外のオブジェクトの検出の他、画像における人物およびオブジェクトの領域の位置および面積の検出等が含まれる。また、画像解析部２２は、画像解析として、撮影日時の情報が付与されていない画像がある場合に、撮影日時の情報が付与されている画像の中から、撮影日時の情報が付与されていない画像と類似する画像の判定を行う。
【００５８】
続いて、タグ情報付与部２４は、画像解析部２２による画像の解析結果に基づいて、画像に存在する１以上のオブジェクトに対応する１以上のタグ情報を画像に付与するものである。
【００５９】
タグ情報付与部２４は、画像の解析結果に基づいて、例えば、オブジェクトとして「猫」および「犬」が画像に存在することが検出された場合、「猫」および「犬」のタグ情報を画像に付与する。タグ情報の名称は、オブジェクトの名称と同じでもよいし、オブジェクトの名称と類似した名称でもよい。また、ユーザの指示に応じて指定された任意の名称のタグ情報を画像に付与してもよい。
【００６０】
続いて、画像情報取得部２６は、画像群に含まれる画像から、画像の撮影日時の有無の情報（すなわち、撮影日時の情報が「有」か「無」かに関する情報）、画像に付与されたタグ情報および画像に存在する人物の情報を画像情報として取得するものである。
【００６１】
画像の撮影日時の有無の情報は、画像に撮影日時の情報が付帯されているか否かを表す情報であり、例えば、Exif情報等のヘッダ情報が画像に付帯されているか否かによって判断することができる。Exif情報には、画像の撮影日時の情報が含まれるため、Exif情報が画像に付帯されていれば、画像の撮影日時の情報は「有」、Exif情報が画像に付帯されていなければ、画像の撮影日時の情報は「無」と判断することができる。
タグ情報は、例えば、画像にあらかじめ付与されているタグ情報や、タグ情報付与部２４により画像に付与されたタグ情報である。
人物の情報は、例えば、画像解析部２２により検出された人物の情報である。
【００６２】
続いて、画像選択部２８は、ユーザの指示に応じて、画像群の中から１以上の画像を選択画像として選択するものである。
【００６３】
選択画像は、ユーザの傾向（画像選出における好み）を判断するための基準となる画像である。ユーザの傾向は、時間の経過につれて変わることもあれば変わらないこともある。また、画像選出の目的に応じて変わることもある。ユーザ自身が選択画像を選択することにより、選択画像に基づいてユーザの傾向を判断することが可能となる。
選択画像の枚数に制限はないが、ユーザが多数の画像を選択する手間を省くために、少数の画像、例えば、１〜３枚の画像を選択することが望ましい。
【００６４】
続いて、評価値算出部３０は、選択画像の画像情報と、画像群のうちの選択画像以外の（つまり選択画像を除いた）その他の画像の画像情報であって、選択画像の画像情報に一致するその他の画像の画像情報とに基づいて、その他の画像の評価値を算出するものである。
【００６５】
その他の画像の画像情報が選択画像の画像情報に一致するとは、選択画像の撮影日時の情報が「有」の場合に、その他の画像の撮影日時の情報が「有」である場合を意味し、選択画像の撮影日時の情報が「無」の場合に、その他の画像の撮影日時の情報が「無」である場合を意味する。また、選択画像に付与されたタグ情報が「猫」の場合には、その他の画像に付与されたタグ情報も「猫」である場合を意味し、選択画像の人物の情報が「Aさん」の場合には、その他の画像の人物の情報も「Aさん」である場合を意味する。
【００６６】
評価値算出部３０は、例えば、選択画像の画像情報の特徴に基づいて、選択画像の画像情報にスコアを付け、選択画像の画像情報に一致するその他の画像の画像情報に選択画像の画像情報と同じスコアを付けることにより、その他の画像の評価値を算出する。
【００６７】
なお、「スコアを付ける」とは、例えば、選択画像の撮影日時の有無の情報が「無」の場合には、撮影日時の情報が無いことに対して一定のスコア、例えば、１点（ただし、１点に限定されるわけではない）を付けることを意味する。また、撮影日時の有無の情報とスコアに関する情報とがデータとして隣接していることは必須ではなく、撮影日時の有無の情報とそのスコアとが関連付けられていればよい。
【００６８】
続いて、情報記憶部３２は、今回の選択画像およびその画像情報を、過去の選択画像およびその画像情報として記憶するものである。
【００６９】
過去の選択画像およびその画像情報が情報記憶部３２に記憶されている場合に、評価値算出部３０は、今回の選択画像および情報記憶部３２に記憶された１以上の過去の選択画像の画像情報と、今回の選択画像および１以上の過去の選択画像の画像情報に一致するその他の画像の画像情報とに基づいて、その他の画像の評価値を算出することができる。
【００７０】
続いて、主人公設定部３４は、選択画像およびその他の画像に存在する人物の中から１以上の人物を主人公に設定するものである。
【００７１】
主人公設定部３４は、例えば、画像の解析結果に基づいて、選択画像およびその他の画像に存在する人物の中から登場回数が最も多い一人の人物や、選択画像およびその他の画像に存在する人物の中から登場回数が閾値以上である１以上の人物を主人公に自動で設定することができる。ユーザは、主人公設定部３４が自動で設定した主人公を変更してもよい。また、主人公設定部３４は、選択画像およびその他の画像に存在する人物の中からユーザの指示に応じて指定された人物を主人公に設定してもよい。
【００７２】
主人公設定部３４により主人公が設定されている場合に、評価値算出部３０は、選択画像に存在する人物に関わらず、その他の画像に存在する人物であって、設定された主人公と一致する人物の情報にスコアを付け、その他の画像に存在する人物であって、設定された主人公と一致する人物の情報のスコアを含めてその他の画像の評価値を算出することができる。
【００７３】
続いて、画像抽出部３６は、選択画像、および、その他の画像のうちの評価値が閾値以上である画像を抽出画像として抽出するものである。
【００７４】
抽出画像は、ユーザの傾向に合った画像、つまり、ユーザにとって思い入れ（特別な思い）があると考えられる画像である。
【００７５】
続いて、画像順序決定部３８は、撮影日時の情報が付与されていない画像が画像抽出部３６により抽出された抽出画像の中にある場合に、画像に対応する画像ファイルを作成した日時、画像ファイルを取得した日時、画像ファイルを編集した日時のいずれかを使用して、抽出画像における撮影日時の情報が付与されていない画像の時系列の順序を決定するものである。
【００７６】
また、撮影日時の情報が付与されていない画像が抽出画像の中にある場合に、例えば特開２０１５−６９４２６号公報に記載の技術のように、画像解析部２２が、抽出画像における撮影日時の情報が付与されている画像の中から、撮影日時の情報が付与されていない画像と類似する画像の判定を行い、画像順序決定部３８が、抽出画像における撮影日時の情報が付与されていない画像の時系列の順序を、画像解析部２２により撮影日時の情報が付与されていない画像と類似すると判定された画像の前または後に決定してもよい。
【００７７】
抽出画像における撮影日時の情報が付与されていない画像の時系列の順序を決定することにより、撮影日時の情報がない画像であっても、フォトブック（電子アルバム）等の合成画像を生成する場合に、自動選出等の処理対象の画像として使用することができる。
【００７８】
一方、クライアント１４は、例えば、PC(パーソナルコンピュータ)、タブレットPC、スマートフォンのように、各々のユーザが所有する端末装置の一例である。クライアント１４は、例えば、キーボード、マウス、タッチパネル等の入力部、液晶ディスプレイ、タッチパネル等の表示部、入力部がユーザから入力された指示を取得する処理および表示部が各種情報を表示する処理等を制御する制御部等を備えている。
【００７９】
なお、サーバ１２およびクライアント１４は、それぞれ、両者の間でネットワーク１６を介して各種データの送受信を行う送受信部を備えているが、本実施形態では、煩雑さを防ぐために送受信部等の記載を省略している。
【００８０】
次に、図３に示すフローチャートを参照しながら、画像処理システム１０の動作を説明する。
【００８１】
まず、ユーザにより、クライアント１４において、処理対象となる画像群を指定する指示が入力される。この指示は、ユーザのクライアント１４からネットワーク１６を介してサーバ１２へ送信される。
【００８２】
サーバ１２では、指示取得部１８により、ユーザのクライアント１４からネットワーク１６を介して送信されてきたユーザの指示が取得される。
【００８３】
続いて、指示取得部１８が取得したユーザの指示に基づいて、画像群取得部２０により、ユーザが所有する画像群が取得される（ステップS1）。
【００８４】
続いて、画像解析部２２により、画像群取得部２０が取得した画像群に含まれる画像の解析が行われる（ステップS2）。
【００８５】
続いて、タグ情報付与部２４により、画像の解析結果に基づいて、画像に存在するオブジェクトに対応するタグ情報が画像に付与される（ステップS3）。
【００８６】
続いて、画像情報取得部２６により、画像群に含まれる画像から、画像の撮影日時の有無の情報、画像に付与されたタグ情報および画像に存在する人物の情報が画像情報として取得される（ステップS4）。
【００８７】
続いて、ユーザにより、画像群の中から１以上の画像を選択する指示が入力され、これに応じて、画像群取得部２０によりユーザの指示が取得される。
【００８８】
続いて、画像選択部２８により、画像群取得部２０が取得したユーザの指示に応じて、画像群の中から１以上の画像が選択画像として選択される（ステップS5）。
【００８９】
続いて、評価値算出部３０により、選択画像の画像情報と、選択画像の画像情報に一致するその他の画像の画像情報とに基づいて、その他の画像の評価値が算出される（ステップS6）。
【００９０】
例えば、選択画像のタグ情報、人物の情報および撮影日時の有無の情報にスコアを付ける。
また、選択画像のタグ情報、人物の情報および撮影日時の有無の情報に一致するその他の画像のタグ情報、人物の情報および撮影日時の有無の情報に、選択画像のタグ情報、人物の情報および撮影日時の有無の情報と同じスコアを付ける。
そして、選択画像のタグ情報、人物の情報および撮影日時の有無の情報に一致するその他の画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアの合計値を算出することにより、その他の画像の評価値が算出される。
【００９１】
ここで、人物の情報にスコアを付ける場合には、主人公設定部３４により主人公が設定されているか否かが判別される（ステップS7）。
【００９２】
その結果、主人公が設定されている場合（ステップS7でYes）、評価値算出部３０は、選択画像に存在する人物に関わらず、その他の画像に存在する人物であって、設定された主人公と一致する人物の情報にスコアを付ける。そして、その他の画像に存在する人物であって、設定された主人公と一致する人物の情報のスコアを含めてその他の画像の評価値を算出する（ステップS8）。
【００９３】
一方、主人公が設定されていない場合（ステップS7でNo）、評価値算出部３０は、選択画像に存在する人物の情報に基づいて、選択画像の人物の情報にスコアを付ける。そして、その他の画像に存在する人物であって、選択画像に存在する人物と一致する人物の情報のスコアを含めてその他の画像の評価値を算出する（ステップS9）。
【００９４】
なお、選択画像の中に人物が存在しない場合、評価値算出部３０は、その他の画像の人物の情報のスコアを含めずにその他の画像の評価値を算出する。
【００９５】
また、過去の選択画像およびその画像情報が情報記憶部３２に記憶されているか否かが判別される（ステップS10）。
【００９６】
その結果、過去の選択画像およびその画像情報が情報記憶部３２に記憶されていない場合（ステップS10でNo）、評価値算出部３０は、今回の選択画像の画像情報と、その他の画像の画像情報であって、今回の選択画像の画像情報に一致する画像情報とに基づいて、その他の画像の評価値を算出する（ステップS11）。
【００９７】
一方、過去の選択画像およびその画像情報が情報記憶部３２に記憶されている場合（ステップS10でYes）、評価値算出部３０は、今回の選択画像および過去の選択画像の画像情報と、その他の画像の画像情報であって、今回の選択画像および過去の選択画像の画像情報に一致する画像情報とに基づいて、その他の画像の評価値を算出する（ステップS12）。
【００９８】
例えば、過去の選択画像およびその画像情報がサーバ１２以外の他のサーバ等に記憶されている場合、ユーザ認証を行うことにより、ユーザ毎に、過去の選択画像およびその画像情報を他のサーバ等から取得する。
【００９９】
続いて、画像抽出部３６により、選択画像、および、その他の画像のうちの評価値が閾値以上である画像が抽出画像として抽出される（ステップS13）。
【０１００】
続いて、画像順序決定部３８により、画像抽出部３６が抽出した抽出画像のうち、撮影日時の情報が付与されていない画像がある場合に、抽出画像における撮影日時の情報が付与されていない画像の時系列の順序が決定される（ステップS14）。
【０１０１】
続いて、次回のその他の画像の評価値を算出する場合に使用するために、今回の選択画像およびその画像情報が、過去の選択画像およびその画像情報として情報記憶部３２に記憶される（ステップS15）。
【０１０２】
画像処理システム１０では、ユーザの指示により選択された選択画像の画像情報と、これに一致するその他の画像の画像情報とに基づいて、その他の画像の評価値が算出される。これにより、選択画像の画像情報に基づいてユーザの傾向を判断し、ユーザの傾向に応じて、その他の画像の評価値を算出することができる。また、その他の画像の評価値に基づいて、画像群の中から、ユーザにとって思い入れのある画像を選出することができる。
特に、従来評価することができなかった、撮影日時の情報の有無に関するユーザの傾向に応じて、画像を評価することができる。上述の通りSNSからダウンロードした画像は撮影日時の情報が無いことが多いため、選択画像としてSNSからダウンロードした画像を選択すれば、SNSに載ったような画像を思い入れのある画像として優先して選出することができる。また、選択画像として撮影日時の情報が有る画像を選択すれば、SNSに載ったような公開の画像よりは、そうでないプライベートな画像を思い入れのある画像として優先して選出することができる。
【０１０３】
次に、その他の画像の評価値を算出する場合の具体例を挙げて説明する。
【０１０４】
【表１】
0006367169.tif 000002
【０１０５】
【表２】
0006367169.tif 000003
【０１０６】
表１および表２は、画像選択部２８が、画像群の中から１枚の画像を今回の選択画像１として選択した場合を表す具体例１である。
【０１０７】
具体例１の場合、表１左部に示すように、今回の選択画像１には、タグ情報として、「猫」および「犬」が付与されている。
また、人物の情報は空欄、つまり、人物は今回の選択画像１に存在していない。
撮影日時の有無の情報は「無」、つまり、撮影日時の情報は今回の選択画像１に付帯されていない。
また、主人公は設定されておらず、その他の画像の評価値を今回初めて算出する場合等のように、過去の選択画像およびその画像情報はない。
【０１０８】
まず、今回の選択画像１の画像情報にスコアを付ける。
【０１０９】
評価値算出部３０は、ユーザが選択した２以上の選択画像の間で共通する画像情報の数が多くなるほどスコアが高くなるように２以上の選択画像の撮影日時の有無の情報にスコアを付ける。例えば、３枚の選択画像の間で共通する画像情報には３点を付け、２枚の選択画像の間で共通する画像情報には２点、３枚の選択画像の間で共通していない画像情報には０．５点を付ける。
【０１１０】
具体例１の場合、１枚の選択画像１しか選択されていないため、２以上の選択画像の間で共通する画像情報はない。この場合、表１右部に示すように、共通の画像情報として、タグ情報の「猫」および「犬」のスコアに同じ０．５点を付ける。また、撮影日時の有無の情報の「無」に０．５点を付ける。なお、選択画像が１枚の場合、撮影日時の有無の情報が「有」の場合にも、「無」の場合と同じ０．５点を付ける。
【０１１１】
また、評価値算出部３０は、今回の選択画像および１以上の過去の選択画像の画像情報のスコアを、ユーザが選択画像を選択した日時が新しくなるほど重みが重くなるように重み付けを行う。例えば、今回、前回、前々回の選択画像の画像情報のスコアを算出する場合、今回の選択画像の画像情報の重みを２とし、以下順に、前回の選択画像の画像情報の重みを１．５、前々回の選択画像の画像情報の重みを１とする。
【０１１２】
具体例１の場合、過去の選択画像およびその画像情報はないが、例えば、今回の選択画像１の画像情報の重みを２とする。
【０１１３】
続いて、その他の画像１，２の画像情報にスコアを付けることにより、その他の画像の評価値を算出する。
【０１１４】
その他の画像１の場合、表２左部に示すように、タグ情報は「自転車」および「犬」であり、人物の情報は「人物B」、撮影日時の有無の情報は「無」である。
【０１１５】
この場合、その他の画像１のタグ情報の「自転車」は、今回の選択画像１のタグ情報に一致せず、タグ情報の「犬」は、今回の選択画像１のタグ情報の「犬」に一致する。従って、その他の画像１のタグ情報のスコアは、今回の選択画像１のタグ情報の「犬」と同じスコアの「犬（今回）：０．５点」を今回の選択画像１の画像情報に対する重み２で重み付けして２倍し、「犬（今回）：０．５点×２＝１点」となる。
また、その他の画像１の人物の情報の「人物B」は今回の選択画像１の人物の情報と一致しない。従って、その他の画像１の人物の情報のスコアは０となる。
その他の画像１の撮影日時の有無の情報の「無」は、今回の選択画像１の撮影日時の有無の情報の「無」に一致する。従って、その他の画像１の撮影日時の有無の情報のスコアは、今回の選択画像１の撮影日時の有無の情報の「無」と同じスコアの「無（今回）：０．５×２＝１点」となる。
【０１１６】
その結果、その他の画像１の評価値は、その他の画像１のタグ情報のスコアの１点、人物の情報のスコアの０点および撮影日時の有無の情報のスコアの１点の合計値を算出することにより、合計２点となる。
【０１１７】
同様に、その他の画像２の場合、表２右部に示すように、タグ情報は「猫」および「花」であり、人物の情報は「人物A」、撮影日時の有無の情報は「有」である。
【０１１８】
この場合、その他の画像２のタグ情報の「猫」は、今回の選択画像１のタグ情報の「猫」に一致し、タグ情報の「花」は、今回の選択画像１のタグ情報に一致しない。従って、その他の画像２のタグ情報のスコアは、「猫（今回）：０．５点×２＝１点」となる。
また、その他の画像２の人物の情報の「人物A」は今回の選択画像１の人物情報と一致しない。従って、その他の画像２の人物の情報のスコアは０となる。
その他の画像２の撮影日時の有無の情報の「有」は、今回の選択画像１の撮影日時の有無の情報に一致しない。従って、その他の画像２の撮影日時の有無の情報のスコアも０となる。
その結果、その他の画像２の評価値は、合計１点となる。
【０１１９】
このように、過去の選択画像およびその画像情報がない場合、評価値算出部３０は、画像選択部２８が、ユーザの指示に応じて１つの選択画像を選択した場合に、ユーザが選択した１つの選択画像の画像情報にスコアを付ける。
そして、ユーザが選択した１つの選択画像の画像情報に一致するその他の画像の画像情報に、ユーザが選択した１つの選択画像の画像情報と同じスコアを付けることにより、その他の画像の評価値を算出することができる。
【０１２０】
なお、過去の選択画像およびその画像情報がある場合、評価値算出部３０は、画像選択部２８が、ユーザの指示に応じて１つの選択画像を選択した場合に、ユーザが選択した１つの選択画像の撮影日時の有無の情報にスコアを付け、かつ、１以上の過去の選択画像の撮影日時の有無の情報にスコアを付ける。
また、ユーザが選択した１つの選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に１つの選択画像の撮影日時の有無の情報と同じスコアを付け、かつ、１以上の過去の選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に１以上の過去の選択画像の撮影日時の有無の情報と同じスコアを付ける。
そして、ユーザが選択した１つの選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報のスコアと、１以上の過去の選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、その他の画像の評価値を算出することができる。
【０１２１】
【表３】
0006367169.tif 000004
【０１２２】
【表４】
0006367169.tif 000005
【０１２３】
【表５】
0006367169.tif 000006
【０１２４】
続いて、表３〜５は、画像選択部２８が、画像群の中から３枚の画像を選択画像として選択した場合を表す具体例２である。
【０１２５】
具体例２の場合、表３に示すように、今回の選択画像１には、タグ情報として、「猫」および「犬」が付与され、選択画像２には「猫」が付与され、選択画像３には「猫」および「花」が付与されている。
また、今回の選択画像１の人物の情報は空欄であり、選択画像２の人物の情報は「人物A」および「人物B」、選択画像３の人物の情報は空欄である。
今回の選択画像１および選択画像２の撮影日時の有無の情報は「無」であり、選択画像３の撮影日時の有無の情報は「有」である。
また、主人公は設定されておらず、表４に示すように、過去の選択画像およびその画像情報はある。
【０１２６】
まず、今回の選択画像１〜３の画像情報にスコアを付ける。
【０１２７】
評価値算出部３０は、具体例１の場合と同様に、ユーザが選択した２以上の選択画像の間で共通する画像情報の数が多くなるほどスコアが高くなるように２以上の選択画像の撮影日時の有無の情報にスコアを付ける。
【０１２８】
具体例２の場合、表３に示すように、タグ情報の「猫」は３枚の選択画像１〜３の間で共通するため、表４に示すように、そのスコアに３点を付ける。タグ情報の「犬」および「花」は、３枚の選択画像１〜３の間で共通していないため、そのスコアに０．５点を付ける。
人物の情報の「人物A」および「人物B」は３枚の選択画像１〜３の間で共通していないため、そのスコアとして０．５点を付ける。
また、撮影日時の有無の情報の「無」は２枚の選択画像１，２の間で共通するため、そのスコアに２点を付ける。撮影日時の有無の情報の「有」は３枚の選択画像１〜３の間で共通していないため、そのスコアとして０．５点を付ける。
【０１２９】
また、表４に示すように、前回の選択画像の人物の情報の「人物A」のスコアとして２点、撮影日時の有無の情報の「無」のスコアとして２点が付けられ、前々回の選択画像のタグ情報の「犬」のスコアとして２点が付けられている。
【０１３０】
また、評価値算出部３０は、具体例１の場合と同様に、今回の選択画像および１以上の過去の選択画像の画像情報のスコアを、ユーザが選択画像を選択した日時が新しくなるほど重みが重くなるように重み付けを行う。
【０１３１】
具体例２の場合、表４に示すように、今回の選択画像１〜３の画像情報の重みを２とし、前回の選択画像の画像情報の重みを１．５、前々回の選択画像の画像情報の重みを１とする。
【０１３２】
続いて、その他の画像１，２の画像情報にスコアを付けることにより、その他の画像の評価値を算出する。
【０１３３】
その他の画像１および２の画像情報は、表５に示すように、具体例１のその他の画像１および２の画像情報と同じである。
【０１３４】
その他の画像１の場合、そのタグ情報の「自転車」は、今回の選択画像１〜３、前回および前々回の選択画像のタグ情報に一致せず、タグ情報の「犬」は、前々回の選択画像および今回の選択画像１のタグ情報の「犬」に一致する。従って、その他の画像１のタグ情報のスコアは、「犬（前々回）：２点×１＝２点」および「犬（今回）：０．５点×２＝１点」の合計値＝３点となる。
また、その他の画像１の人物の情報の「人物B」は、今回の選択画像２の人物の情報の「人物B」と一致する。従って、その他の画像１の人物の情報のスコアは、「人物B（今回）：０．５点×２＝１点」となる。
その他の画像１の撮影日時の有無の情報の「無」は、前回の選択画像および今回の選択画像１，２の撮影日時の有無の情報の「無」に一致する。従って、その他の画像１の撮影日時の有無の情報のスコアは、「無（前回）：２×１．５＝３点」および「無（今回）：２×２＝４点」の合計値＝７点となる。
【０１３５】
その結果、その他の画像１の評価値は、合計１１点となる。
【０１３６】
その他の画像２の場合、そのタグ情報の「猫」は、今回の選択画像１〜３のタグ情報の「猫」に一致し、タグ情報の「花」は、今回の選択画像３のタグ情報の「花」に一致する。従って、その他の画像２のタグ情報のスコアは、「猫（今回）：３点×２＝６点」および「花（今回）：０．５点×２＝１点」の合計値＝７点となる。
また、その他の画像２の人物の情報の「人物A」は、前回の選択画像および今回の選択画像２の人物の情報の「人物A」と一致する。従って、その他の画像２の人物の情報のスコアは、「人物A（前回）：２点×１．５＝３点」および「人物A（今回）：０．５点×２＝１点」の合計値＝４点となる。
その他の画像２の撮影日時の有無の情報の「有」は、今回の選択画像３の撮影日時の有無の情報の「有」に一致する。従って、その他の画像２の撮影日時の有無の情報のスコアは、「有（今回）：０．５点×２＝１点」となる。
【０１３７】
その結果、その他の画像２の評価値は、合計１２点となる。
【０１３８】
このように、過去の選択画像およびその画像情報がある場合、評価値算出部３０は、画像選択部２８が、ユーザの指示に応じて２以上の選択画像を選択した場合に、ユーザが選択した２以上の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように２以上の選択画像の撮影日時の有無の情報にスコアを付け、かつ、１以上の過去の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように１以上の過去の選択画像の撮影日時の有無の情報にスコアを付ける。
また、ユーザが選択した２以上の選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に、ユーザが選択した２以上の選択画像の撮影日時の有無の情報と同じスコアを付け、かつ、１以上の過去の選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に１以上の過去の選択画像の撮影日時の有無の情報と同じスコアを付ける。
そして、ユーザが選択した２以上の選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報のスコアと、１以上の過去の選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、その他の画像の評価値を算出することができる。
過去の選択画像の情報を利用することにより、ユーザの過去から現在にわたる傾向をより正確につかむことができる。
【０１３９】
なお、過去の選択画像およびその画像情報がない場合、評価値算出部３０は、画像選択部２８が、ユーザの指示に応じて２以上の選択画像を選択した場合に、ユーザが選択した２以上の選択画像の間で共通する撮影日時の有無の情報の数が多くなるほどスコアが高くなるように２以上の選択画像の撮影日時の有無の情報にスコアを付ける。
そして、ユーザが選択した２以上の選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に、ユーザが選択した２以上の選択画像の撮影日時の有無の情報と同じスコアを付けることにより、その他の画像の評価値を算出することができる。
共通する情報の数が多くなるほどスコアが高くなるようにすることによって、ユーザの傾向をより正確につかむことができる。
【０１４０】
【表６】
0006367169.tif 000007
【０１４１】
【表７】
0006367169.tif 000008
【０１４２】
続いて、表６，７は、画像選択部２８が、画像群の中から３枚の画像を選択画像として選択した場合を表す具体例３である。
【０１４３】
具体例３の場合、今回の選択画像１〜３の画像情報は、具体例２の今回の選択画像１〜３の画像情報と同じであり、表３に示す通りである。
また、表６に示すように、主人公が設定されており、過去の選択画像およびその画像情報もある。
【０１４４】
まず、今回の選択画像１〜３の画像情報にスコアを付ける。
【０１４５】
評価値算出部３０は、ユーザが選択した２以上の選択画像の間で最も共通する画像情報にスコアを付ける。例えば、３枚の選択画像の間で最も共通する画像情報にのみ１点を付ける。
【０１４６】
具体例３の場合、表３に示すように、タグ情報の「猫」は、３枚の選択画像１〜３の間で最も共通するため、そのスコアに１点を付ける。
また、撮影日時の有無の情報の「無」は、２枚の選択画像１，２の間で最も共通するため、そのスコアに１点を付ける。
なお、上記以外の画像情報のスコアは０である。
【０１４７】
また、表６に示すように、前回の選択画像の人物の情報の「人物A」、前回の選択画像の撮影日時の有無の情報の「無」、前々回の選択画像のタグ情報の「犬」は、２以上の選択画像の間で最も共通する画像情報であり、そのスコアとして１点が付けられている。
【０１４８】
また、評価値算出部３０は、具体例２の場合と同様に、今回の選択画像および１以上の過去の選択画像の画像情報のスコアを、ユーザが選択画像を選択した日時が新しくなるほど重みが重くなるように重み付けを行う。これにより、ユーザの過去から現在にわたる傾向を考慮しつつ、現在の傾向を重視した評価値の算出を行うことができる。
【０１４９】
具体例３の場合、表６に示すように、今回の選択画像１〜３の画像情報の重みを２とし、前回の選択画像の画像情報の重みを１．５、前々回の選択画像の画像情報の重みを１とする。
【０１５０】
また、主人公が設定されているため、評価値算出部３０は、今回の選択画像に存在する人物に関わらず、設定された主人公にスコアを付け、その他の画像に存在する人物であって、設定された主人公と一致する人物の情報に、設定された主人公と同じスコアを付ける。
【０１５１】
具体例３の場合、表６に示すように、「人物A」が主人公に設定され、そのスコアとして３点を付ける。
【０１５２】
続いて、その他の画像１，２の画像情報にスコアを付けることにより、その他の画像の評価値を算出する。
【０１５３】
その他の画像１および２の画像情報は、表７に示すように、具体例１，２のその他の画像１および２の画像情報と同じである。
【０１５４】
その他の画像１の場合、そのタグ情報の「自転車」は、今回の選択画像１〜３、前回および前々回の選択画像のタグ情報に一致せず、タグ情報の「犬」は、前々回の選択画像および今回の選択画像１のタグ情報の「犬」に一致する。しかし、タグ情報の「犬」は、今回の選択画像１〜３の間で最も共通するものではないため、その他の画像１のタグ情報のスコアは、「犬（前々回）：１点×１＝１点」となる。
また、その他の画像１の人物の情報の「人物B」は、設定された主人公の「人物A」と一致しない。従って、その他の画像１の人物の情報のスコアは０となる。
その他の画像１の撮影日時の有無の情報の「無」は、前回の選択画像および今回の選択画像１，２の撮影日時の有無の情報の「無」に一致する。従って、その他の画像１の撮影日時の有無の情報のスコアは、「無（前回）：１×１．５＝１．５点」および「無（今回）：１×２＝２点」の合計値＝３．５点となる。
【０１５５】
その結果、その他の画像１の評価値は、合計４．５点となる。
【０１５６】
その他の画像２の場合、そのタグ情報の「猫」は、今回の選択画像１〜３のタグ情報の「猫」に一致し、タグ情報の「花」は、今回の選択画像１〜３、前回および前々回の選択画像のタグ情報に一致しない。従って、その他の画像２のタグ情報のスコアは、「猫（今回）：１点×２＝２点」となる。
また、その他の画像２の人物の情報の「人物A」は、設定された主人公の「人物A」と一致する。従って、その他の画像２の人物の情報のスコアは、「人物A（主人公）：３点」となる。
その他の画像２の撮影日時の有無の情報の「有」は、今回の選択画像３の撮影日時の有無の情報の「有」に一致する。しかし、今回の選択画像３の撮影日時の有無の情報の「有」は、今回の選択画像１〜３の間で最も共通するものではないため、その他の画像２の撮影日時の有無の情報のスコアは０となる。
【０１５７】
その結果、その他の画像２の評価値は、合計５点となる。
【０１５８】
このように、過去の選択画像およびその画像情報がある場合、評価値算出部３０は、画像選択部２８が、ユーザの指示に応じて２以上の選択画像を選択した場合に、ユーザが選択した２以上の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付け、かつ、１以上の過去の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付ける。
また、ユーザが選択した２以上の選択画像の最も共通する撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に、ユーザが選択した２以上の選択画像の間で最も共通する撮影日時の有無の情報と同じスコアを付け、かつ、１以上の過去の選択画像の最も共通する撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に１以上の過去の選択画像の間で最も共通する撮影日時の有無の情報と同じスコアを付ける。
そして、ユーザが選択した２以上の選択画像の最も共通する撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報のスコアと、１以上の過去の選択画像の最も共通する撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報のスコアとの合計値を算出することにより、その他の画像の評価値を算出することができる。
【０１５９】
なお、過去の選択画像およびその画像情報がない場合、評価値算出部３０は、画像選択部２８が、ユーザの指示に応じて２以上の選択画像を選択した場合に、ユーザが選択した２以上の選択画像の間で最も共通する撮影日時の有無の情報にスコアを付ける。
そして、ユーザが選択した２以上の選択画像の最も共通する撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報に、ユーザが選択した２以上の選択画像の最も共通する撮影日時の有無の情報と同じスコアを付けることにより、その他の画像の評価値を算出することができる。
【０１６０】
上記実施形態の場合、選択画像は、画像群（第２の画像群）の中から選択される１以上の画像であり、その他の画像は、第２の画像群のうちの選択画像以外の画像（第１の画像群）である。このように、１つの画像群の中から１以上の選択画像を選択し、画像群のうちの選択画像以外の画像をその他の画像とすることは必須ではなく、他の画像群の中から１以上の選択画像を選択してもよい。
【０１６１】
他の画像群の中から選択画像を選択する場合、画像選択部２８は、ユーザの指示に応じて、例えば、第２の画像群の中から、１以上の画像を選択画像として選択する。そして、評価値算出部３０は、選択画像の画像情報と、第１の画像群の各画像の画像情報であって、選択画像の画像情報に一致する第１の画像群の各画像の画像情報とに基づいて、同様に、第１の画像群の各画像の評価値を算出することができる。
【０１６２】
また、画像解析部２２は、選択画像が選択された後に、その他の画像の解析を行ってもよいし、選択画像が選択されるよりも前に、その他の画像の解析を行ってもよい。
選択画像が選択された後に、画像解析部２２が、その他の画像の解析を行う場合、タグ情報付与部２４は、その他の画像の解析が終了した後に、タグ情報をその他の画像に付与する。一方、選択画像が選択されるよりも前に、画像解析部２２が、その他の画像の解析を行う場合、タグ情報付与部２４は、その他の画像の解析が終了した後、選択画像が選択されるよりも前に、タグ情報をその他の画像に付与する。
【０１６３】
また、タグ情報付与部２４がタグ情報を画像に付与することは必須ではなく、あらかじめタグ情報が付与された画像を含む画像群を使用してもよい。
【０１６４】
また、画像情報取得部２６が、画像から、画像の撮影日時の有無の情報、タグ情報および人物の情報の全てを取得することは必須ではなく、そのうちの少なくとも１つを取得してもよい。
【０１６５】
画像情報取得部２６が、画像から、撮影日時の情報のみを取得した場合、評価値算出部３０は、選択画像の撮影日時の有無の情報と、選択画像の撮影日時の有無の情報に一致するその他の画像の撮影日時の有無の情報とに基づいて、その他の画像の評価値を算出する。画像情報取得部２６が、画像から、タグ情報のみを取得した場合、および、人物の情報のみを取得した場合も同様である。
【０１６６】
画像情報取得部２６が、画像から、撮影日時の情報およびタグ情報を取得した場合、評価値算出部３０は、選択画像のタグ情報および撮影日時の有無の情報と、選択画像のタグ情報および撮影日時の有無の情報に一致するその他の画像のタグ情報および撮影日時の有無の情報とに基づいて、その他の画像の評価値を算出する。画像情報取得部２６が、画像から、撮影日時の情報および人物の情報を取得した場合、タグ情報および人物の情報を取得した場合も同様である。
【０１６７】
画像情報取得部２６が、画像から、撮影日時の有無の情報、タグ情報および人物の情報を取得した場合、評価値算出部３０は、選択画像のタグ情報、人物の情報および撮影日時の有無の情報と、選択画像のタグ情報、人物の情報および撮影日時の有無の情報に一致するその他の画像のタグ情報、人物の情報および撮影日時の有無の情報とに基づいて、その他の画像の評価値を算出する。
【０１６８】
また、評価値算出部３０は、あらかじめ画像処理システム１０に設定されたスコアを選択画像およびその他の画像の画像情報に付けてもよいし、あらかじめ画像処理システム１０に設定された２種類以上のスコアの中から１つのスコアを選択し、選択された１つのスコアを選択画像およびその他の画像の画像情報に付けてもよい。また、評価値算出部３０は、ユーザの指示に応じて指定されたスコアを選択画像およびその他の画像の画像情報に付けてもよい。
【０１６９】
また、評価値算出部３０は、過去の選択画像およびそのタグ情報、人物の情報および撮影日時の有無の情報が情報記憶部３２に記憶されていない場合、今回の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを算出し、算出された今回の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを、そのタグ情報、人物の情報および撮影日時の有無の情報の間で重み付けして加算することにより、その他の画像の評価値を算出してもよい。
【０１７０】
また、過去の選択画像およびそのタグ情報、人物の情報および撮影日時の有無の情報が情報記憶部３２に記憶されている場合、評価値算出部３０は、今回の選択画像および１以上の過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを算出し、算出された今回の選択画像および１以上の過去の選択画像のタグ情報、人物の情報および撮影日時の有無の情報のスコアを、そのタグ情報、人物の情報および撮影日時の有無の情報の間で重み付けして加算することにより、その他の画像の評価値を算出してもよい。
評価値算出部３０がタグ情報、人物の情報、主人公の情報のそれぞれについて用いるか否か、あるいは過去の選択画像の情報を用いるか否か、などについては、ユーザが画像の選出の都度設定できるようにしてもよい。
【０１７１】
上記実施形態では、本発明の画像処理装置に相当する全ての機能をサーバ１２側に配置しているが、これに限定されず、例えば、その一部の機能をクライアント１４側に配置してもよいし、全ての機能をクライアント１４側に配置してもよい。
【０１７２】
本発明の装置は、装置が備える各々の構成要素を専用のハードウェアで構成してもよいし、各々の構成要素をプログラムされたコンピュータで構成してもよい。
本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。
【０１７３】
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【０１７４】
１０  画像処理システム
１２  サーバ
１４  クライアント
１６  ネットワーク
１８  指示取得部
２０  画像群取得部
２２  画像解析部
２４  タグ情報付与部
２６  画像情報取得部
２８  画像選択部
３０  評価値算出部
３２  情報記憶部
３４  主人公設定部
３６  画像抽出部
３８  画像順序決定部
【図１】
0006367169.tif 000009
【図２】
0006367169.tif 000010
【図３】
0006367169.tif 000011