(57)【要約】【課題】各画像集合に共通性のある画像を選択する。【解決手段】画像処理装置であって、複数の画像集合を通じて共通に存在する被写体の属性からキー画像の属性を決定する決定部と、決定された属性を用いて各画像集合からキー画像を選択するキー画像選択部と、各画像集合からキー画像以外の画像である非キー画像を選択する非キー画像選択部とを備える。【選択図】  図６
2016122413.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像集合を通じて共通に存在する被写体の属性からキー画像の属性を決定する決定手段と、
前記決定された属性を用いて各画像集合から前記キー画像を選択するキー画像選択手段と、
前記各画像集合から前記キー画像以外の画像である非キー画像を選択する非キー画像選択手段と
を備えることを特徴とする画像処理装置。
【請求項２】
イベントタイプを取得する取得手段と、
前記イベントタイプに対応する複数の画像集合を抽出する抽出手段と、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
各画像集合は、前記イベントタイプおよび画像の撮影時期ごとに分類されていることを特徴する請求項２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記イベントタイプに対応する前記被写体の属性のリストを取得し、前記複数の画像集合を通じて共通に存在する当該属性のリストから、前記キー画像の属性を決定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記決定手段は、予め定められた属性の優先度に基づいて、前記属性のリストから前記キー画像の属性を決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記決定手段は、各画像集合について前記属性のリストに含まれる各属性を有する画像の検出数に基づいて、前記属性のリストから前記キー画像の属性を決定することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記決定手段は、各画像集合に含まれる各画像の画質スコアに基づいて、前記属性のリストから前記キー画像の属性を決定することを特徴とする請求項４に記載の画像処理装置。
【請求項８】
予め定められたアルバムの作成条件に基づいて、前記キー画像と前記非キー画像とを、アルバム内のページに配置してアルバム作成情報を出力する出力手段をさらに備えることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記作成条件は、前記キー画像および前記非キー画像のページ内の配置位置を示す情報と、前記キー画像および前記非キー画像のページ内での表示領域の大きさを示す情報とを含むことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記作成条件は、前記キー画像の表示領域を前記非キー画像の表示領域よりも大きく設定することを含むことを特徴とする請求項８または９に記載の画像処理装置。
【請求項１１】
前記作成条件は、前記キー画像の表示領域の位置を前記アルバムのページ毎に揃えることを含むことを特徴とする請求項８乃至１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記作成条件は、ムービーの秒数、画像ごとの時間軸上の配置位置、画像ごとの表示時間を含み、
前記出力手段は、前記作成条件に基づいて、前記キー画像および前記非キー画像を前記ムービーとして出力することを特徴とする請求項８乃至１１の何れか１項に記載の画像処理装置。
【請求項１３】
各画像集合に含まれる画像には、画像ＩＤ、撮影日時、イベントタイプ、被写体の属性、画質スコアが付与されていることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
【請求項１４】
画像処理装置の制御方法であって、
決定手段が、複数の画像集合を通じて共通に存在する被写体の属性からキー画像の属性を決定する工程と、
キー画像選択手段が、前記決定された属性を用いて各画像集合から前記キー画像を選択する工程と、
非キー画像選択手段が、前記各画像集合から前記キー画像以外の画像である非キー画像を選択する工程と
を有することを特徴とする画像処理装置の制御方法。
【請求項１５】
請求項１４に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像集合からそれぞれの画像集合に共通する代表画像の選択を行う画像処理装置、画像処理装置の制御方法およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラが普及し、保存メディアの大容量化、低価格化により画像や動画を撮影する機会が増加し、画像の保管量も増加している。大量に保管する画像の中から例えば、クリスマスや誕生日、運動会等のイベントの画像を選択し、アルバムやムービーを作成することが行われている。
【０００３】
特許文献１は、イベントに応じたテンプレートを用いることで、画像の選択を容易にする技術を開示している。
【０００４】
また、特許文献２は、画像の選択において、１つのイベントで撮影された画像集合からイベントを象徴する被写体が写っている代表画像、すなわちキー画像を選択する技術を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１８４７９０号公報
【特許文献２】特開２０１１−２１５９６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１のように、予めキー画像として選択する条件が固定されている場合、クリスマスや誕生日のように複数回繰り返すイベントを対象とすると、各画像集合に同じ種類のキー画像が共通で存在するとは限らない。同じ種類のイベントで複数の画像集合を集めて一つのアルバムを作成する場合、各イベントに共通なキー画像を選択することができず、各イベントで共通性を感じることができない。
【０００７】
また、特許文献２のように、画像のスコアによって、各画像集合の代表画像を選択する場合、各画像集合で異なる種類の被写体が選ばれことがあり、それらを集めて一つのアルバムを作成すると、代表画像に共通性を感じることができない。
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、各画像集合に共通性のある画像を選択する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための一手段として、本発明に係る画像処理装置は以下の構成を備える。すなわち、
複数の画像集合を通じて共通に存在する被写体の属性からキー画像の属性を決定する決定手段と、
前記決定された属性を用いて各画像集合から前記キー画像を選択するキー画像選択手段と、
前記各画像集合から前記キー画像以外の画像である非キー画像を選択する非キー画像選択手段と
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、各画像集合に共通性のある画像を選択することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る画像処理装置のハードウェア構成の一例を示す図。
【図２】本発明の一実施形態に係るアルバム作成アプリケーションの画面例。
【図３】本発明の一実施形態に係るアルバム作成アプリケーションのブロック図。
【図４】本発明の一実施形態に係る画像管理テーブル。
【図５】本発明の一実施形態に係るイベントテーブル。
【図６】本発明の一実施形態に係る画像処理装置が実施するアルバム作成処理の手順を示すフローチャート。
【図７】本発明の一実施形態に係るアルバム作成条件テーブル。
【図８】本発明の一実施形態に係るアルバム作成情報テーブル。
【図９】第１実施形態に係る画像処理装置が実施するキータグ（キー属性）決定の処理手順を示すフローチャート。
【図１０】第１実施形態に係るタグ検出テーブル。
【図１１】第１実施形態に係る画像処理装置が実施する共通タグ検出の処理手順を示すフローチャート。
【図１２】第１実施形態に係る比較テーブル。
【図１３】第１実施形態に係る作成アルバムの例を示す図。
【図１４】第１実施形態に係る作成ムービーの例を示す図。
【図１５】第２実施形態に係る画像処理装置が実施するキータグ（キー属性）決定の処理手順を示すフローチャート。
【図１６】第２実施形態に係るタグ検出テーブル。
【図１７】第３実施形態に係る画像処理装置が実施するキータグ（キー属性）決定の処理手順を示すフローチャート。
【図１８】第４実施形態に係る画像処理装置が実施するキータグ（キー属性）決定の処理手順を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１３】
＜実施形態１＞
本実施形態では、イベントの種類を選択し、アルバムを自動作成する画像処理装置を例に説明する。本発明に係る画像処理装置の一形態として、パーソナルコンピュータ（ＰＣ）で動作するアルバム作成アプリケーションを例にとって説明する。
【００１４】
図１は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。ＣＰＵ１０１は、各構成の処理全てに関わり、ＲＯＭ１０２やＲＡＭ１０３に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行して各種制御を行う。
【００１５】
記録装置１０４は、ＨＤＤやＳＳＤといった大規模な容量のデータを保存するものであり、アルバム作成のための素材や作成結果、および本画像処理を実行するためのプログラムを保存するために使用する。入出力インタフェース（Ｉ／Ｆ）１０５は、入出力機器との接続のために必要なインタフェースであり、ディスプレイ１０６、キーボード１０７、マウス１０８、ネットワークインタフェース（Ｉ／Ｆ）１０９との接続に使用される。
【００１６】
ディスプレイ１０６は、操作画面を表示するための出力装置である。キーボード１０７およびマウス１０８はユーザによる操作入力を受付けるための入力装置である。ネットワークインタフェース１０９はネットワークを通じて、外部機器と接続するために使用される。
【００１７】
なお、画像処理装置１００のハードウェア構成は上記の構成に限られるものではなく、例えば、ディスプレイ１０６がタッチセンサを備え、タッチセンサを介して入力を検出する構成であってもよい。また、クラウドサービスのようなネットワーク接続された機器等であってもよい。本実施形態では素材の保管先を記録装置１０４としているが、ネットワークインタフェース１０９を介し、画像処理装置１００の外部に記憶装置があってもよい。
【００１８】
図２（ａ）は、アルバム作成アプリケーションの操作画面の一例を示す図である。２０１はアルバム作成アプリケーションの操作画面である。操作画面２０１は、イベント選択ボタン２０２、作成ボタン２０３、プレビュー領域２０４、出力ボタン２０５、終了ボタン２０６等を含む。
【００１９】
イベント選択ボタン２０２が押下されると、後述する画像管理テーブルに含まれるイベントの種類を示すイベントタイプ、および当該イベントタイプを持つ画像集合のリストが、図２（ｂ）で示す例のように表示される。アルバムで作成したいイベントタイプ、およびイベントタイプを持つ画像集合をユーザに選択させる。画像集合は撮影時期毎に分類され、同じイベントタイプを持つ画像の集合であり、分類方法は後述する。イベントタイプおよび画像集合を選択すると、後述する画像管理テーブルから、選択したイベントタイプに属する画像集合が選択される。
【００２０】
作成ボタン２０３は、イベント選択ボタン２０２により選択されたイベントタイプ、および当該イベントタイプを持つ画像集合で、アルバムの作成を開始するボタンである。プレビュー領域２０４は、作成したアルバムを表示する領域である。出力ボタン２０５は、押下されるとアルバムの条件を記載したアルバム作成情報テーブルを任意の場所に出力する。アルバム作成情報テーブルの詳細については後述する。終了ボタン２０６は、アルバム作成アプリケーションを終了するためのボタンである。
【００２１】
続いて、図３は、本実施形態に係る画像処理装置１００の機能構成、すなわちアルバム作成アプリケーションの構成を示す図である。画像データベース３００は、アルバム作成に使用する画像のリストを管理する画像管理テーブルを保管する。
【００２２】
ここで、図４に画像管理テーブルの一例を示す。画像管理テーブルにより管理される画像は、画像を識別する画像ＩＤ４０１、ファイル保管先を示すパス名４０２、撮影日時４０３、イベントタイプ４０４、被写体の種類や属性を表すタグ４０５、画質を点数化したスコア４０６、画像集合を識別するグループＩＤ４０７と関連付けられている。イベントタイプ４０４に関しては、予め種類の登録されているイベントタイプが画像保管時に付与されている。イベントタイプの付与方法は既知の方法を適用すればよく、例えば特開２０１０−８１４５３号公報に開示されるような方法でイベント判別し、自動で付与してもよく、ユーザが付与してもよい。
【００２３】
同様に、タグ４０５に関しても、予め種類の登録されているタグが画像保管時に付与されている。タグの付与方法としては、既存の顔認識、物体認識、被写体抽出などを用いて自動で付与してもよく、ユーザが付与してもよい。また、スコア４０６の点数算出処理に関しても既知の方法を適用すればよく、例えば特開２００８−２７６６６８号公報に開示されるような方法で算出してもよい。本実施形態では、スコアを０から１の間で点数化している。グループＩＤ４０７は、画像保管時に、イベントタイプおよび撮影日時に基づいてクラスタリングを行い、分類された画像集合に自動で付与されてもよく、ユーザが手動で付加してもよい。
【００２４】
続いて、イベントタイプ取得部３０１は、イベント選択ボタン２０２の押下により表示されたイベントタイプのリストからユーザにより選択されたイベントタイプ情報を取得する。画像集合抽出部３０２は、イベントタイプ取得部３０１により取得されたイベントタイプに該当する画像集合を抽出する。イベントデータベース３０３は、イベントタイプ毎に、イベントを象徴する被写体を示すタグの候補であるタグリストを割り当てたイベントテーブルを保管する。
【００２５】
ここで図５にイベントテーブルの一例を示す。イベントタイプ５０１は、誕生日、クリスマス、旅行と言ったイベントの種類を示す識別子であり、イベントテーブルに記載のタグ５０２はイベントを象徴する被写体を表し、イベントタイプ毎に複数の候補が優先度を持ったタグリストとして割り当てられている。なお、イベントテーブルに記載のタグリスト中のタグ、タグの数、および優先度は固定ではなく、それらは変更可能であってもよい。
【００２６】
キータグ決定部３０４は、イベントタイプと抽出した画像集合とから、キー画像が含むべき被写体のタグ（属性）であるキータグ（キー属性）を決定する。キー画像とは、イベントを象徴する被写体が写っている代表画像である。
【００２７】
キー画像選択部３０５は、キータグ決定部３０４で決定したキータグを持つ画像を各画像集合から選択する。非キー画像選択部３０６はキータグを持たない画像を各画像集合から選択する。選択画像出力部３０７は、キー画像選択部３０５と非キー画像選択部３０６とによりそれぞれ出力された画像を、作成条件ＤＢ３０８に保管された作成条件テーブルに基づいて配置し、アルバム作成情報テーブルとして出力する。
【００２８】
作成条件テーブルは、作成条件ＤＢ３０８に格納され、見開きページ毎に用意される。図７に示すように、作成条件テーブルには、画像条件７０１としてキー画像および非キー画像（図７の例では非キー画像１〜４）、非キー画像の数（図７の例では４つ）と、座標７０２として画像毎のページ内の表示領域の座標とが記載されている。本実施形態では１見開きページに1画像集合が割り当てられるものとする。以後、ページに関する記載は見開きページとして説明を行う。
【００２９】
次に、図６のフローチャートを参照して、本発明の一実施形態に係る画像処理装置が実施するアルバム作成処理の手順を説明する。Ｓ６０１において、イベントタイプ取得部３０１は、イベント選択ボタン２０２の押下により表示されたイベントタイプのリストから、ユーザにより選択されたイベントタイプ情報を取得する。
【００３０】
Ｓ６０２において、画像集合抽出部３０２は、Ｓ６０１で取得されたイベントタイプ情報を用いて、画像管理テーブル（図４）の中からイベントタイプに該当する画像集合を抽出する。この際、抽出した画像集合の総数を全画像集合数ｎとして取得する。抽出した画像集合は、撮影日時順、すなわちそのイベントが行われた時間順に、Ｓ０、Ｓ１、Ｓ２、...、Ｓｎ−１と並べられる。
【００３１】
Ｓ６０３において、キータグ決定部３０４は、Ｓ６０２で抽出された画像集合群と、取得されたイベントタイプとから、各画像集合で共通性のあるキータグＫを決定する。詳細については、図９のフローチャートを参照して後述する。Ｓ６０４において、画像集合抽出部３０２は、Ｓ６０２で抽出された最初の画像集合Ｓ０を取得し、画像集合Ｓ０を現画像集合Ｓとして設定する。
【００３２】
Ｓ６０５において、キー画像選択部３０５は、現画像集合Ｓのうち、Ｓ６０３で決定されたキータグＫを含む画像の中から、スコアの高い画像をキー画像として選択する。ここで、キータグＫを含む画像が無い場合は、現画像集合Ｓの中で最もスコアの高い画像を、キータグＫを含む画像としてもよい。あるいは、選択されているイベントタイプに対応するイベントテーブル（図５）のタグリストのタグの優先度を適用して選択した画像を、キータグＫを含む画像としてもよい。また、それらの組合せにより選択された画像を、キータグＫを含む画像としてもよい。
【００３３】
Ｓ６０６において、非キー画像選択部３０６は、現画像集合ＳからキータグＫを含まない画像を選択する。ここで選択する画像数は、図７の作成条件テーブルから非キー画像数を取得して当該非キー画像数分とする。なお、キー画像以外の画像を選択する方法としては、ランダムに選択しても、画質のスコア順に選択しても、各タグが一致しないように選択してもよい。また、選択されているイベントタイプに対応するイベントテーブル（図５）のタグリストのタグの優先度を適用して選択してもよい。あるいは、それぞれの選択方法を組み合わせてもよい。
【００３４】
Ｓ６０７において、画像集合抽出部３０２は、抽出した全画像集合に対して処理が終了したか否か、すなわち現画像集合がＳｎ−１か否かを判定する。全画像集合に対して処理が終了していると判定された場合（Ｓ６０７；Ｙｅｓ）、Ｓ６０８へ進む。一方、全画像集合に対して処理が終了していないと判定された場合（Ｓ６０７；Ｎｏ）、Ｓ６０９へ進む。
【００３５】
Ｓ６０８において、選択画像出力部３０７は、選択された画像をアルバム内の各ページに配置して、アルバム作成情報を出力する。作成条件テーブル（図７）に記載の座標に基づいて、ページ毎に画像を配置する。座標はページ内の左上を起点として、表示領域の左上と右下が指定される。作成条件テーブル（図７）は、作成条件ＤＢ３０８にＩＤが付与された状態で複数の種類が格納されている。アルバム作成情報は、図８に一例を示すアルバム作成情報テーブルに記録される。アルバム作成情報テーブルは、作成条件テーブルのＩＤと選択された画像のＩＤとを関連付けて管理している。当該アルバム作成情報テーブルに基づいてアルバムが作成される。
【００３６】
Ｓ６０９において、画像集合抽出部３０２は、処理対象となる画像集合Ｓを次の画像集合へ変更する。その後、Ｓ６０５に戻る。以上で図６のフローチャートの各処理が終了する。
【００３７】
次に、図９のフローチャートを参照して、本実施形態に係る画像処理装置１００が実施するキータグを決定する処理（Ｓ６０３の処理）の手順について説明する。Ｓ９０１において、キータグ決定部３０４は、イベントテーブル（図５）の中からＳ６０１で取得されたイベントタイプに対応するタグのリストを取得する。
【００３８】
Ｓ９０２において、キータグ決定部３０４は、Ｓ９０１で取得されたタグリストから優先度の高い順にキータグ候補を取得してタグ検出テーブルを作成する。図１０にタグ検出テーブルの一例を示す。Ｓ６０１で取得されたイベントタイプが「クリスマス」であった場合、図５のイベントタイプに対応するタグリストが取得されている。当該タグリストから取得されて上から順に優先度の高い順にキータグ候補が並べられる。
【００３９】
図１０の例では、「クリスマスツリー」（第一優先）、「プレゼント」（第二優先）、「料理」（第三優先）、「ケーキ」（第四優先）の順にキータグ候補が並んでいる。画像集合Ｓ０、Ｓ1、Ｓ２、...、Ｓｎ―１において、そのタグが付与された画像が見つかった場合が「○」、見つからなかった場合が「×」であり、Ｓ９０２では全てが「×」に初期化される。
【００４０】
Ｓ９０３において、キータグ決定部３０４は、最初の画像集合Ｓ０を取得し、画像集合Ｓ０を現画像集合Ｓとして設定する。Ｓ９０４において、キータグ決定部３０４は、現画像集合Ｓ内の全ての画像をＩＤ順に、Ｉ０、Ｉ１、Ｉ２、...、Ｉｍ−１（ｍ＝全画像数）とし、最初の画像Ｉ０を、現画像Ｉとして設定する。
【００４１】
Ｓ９０５において、キータグ決定部３０４は、現画像Ｉに付与されている全てのタグの数ｌとすると、各タグはＴ０、Ｔ１、Ｔ２、...、Ｔｌ−１として表すことができ、現タグＴを最初のタグＴ０として設定する。
【００４２】
Ｓ９０６において、キータグ決定部３０４は、Ｓ９０１で取得されたタグリストに現タグＴが含まれているか否かを判定する。含まれている場合（Ｓ９０６；Ｙｅｓ）、Ｓ９０７へ進む。一方、含まれていない場合（Ｓ９０６；Ｎｏ）、Ｓ９０８へ進む。
【００４３】
Ｓ９０７において、キータグ決定部３０４は、Ｓ９０２で作成したタグ検出テーブル（図１０）に、現画像集合Ｓ内で現タグＴが検出されたことを記録する。図１０において、縦に並んでいるキータグ候補と現タグＴが一致した場合、そのキータグ候補と現画像集合Ｓの交わっている部分が「○」として記録する。
【００４４】
Ｓ９０８において、キータグ決定部３０４は、現画像Ｉに付与されている全てのタグを検出したか否かを判定する。全てのタグを検出している場合（Ｓ９０８；Ｙｅｓ）、Ｓ９１０へ進む。一方、全てのタグを検出していない場合(Ｓ９０８；ｏ)、Ｓ９０９へ進む。
【００４５】
Ｓ９０９において、キータグ決定部３０４は、現画像Ｉに付与されている対象タグＴを次のタグに変更する。Ｓ９１０において、キータグ決定部３０４は、現画像集合Ｓ内に含まれる全画像について処理が終了したか否かを判定する。処理が終了している場合（Ｓ９１０；Ｙｅｓ）、Ｓ９１２へ進む。一方、処理が終了していない場合（Ｓ９１０；Ｎｏ）、Ｓ９１１へ進む。
【００４６】
Ｓ９１１において、キータグ決定部３０４は、タグ検出対象となる画像Ｉを画像集合Ｓ内の次の画像に変更する。Ｓ９１２において、キータグ決定部３０４は、抽出された全画像集合に対して処理が終了したか否かを判定する処理が終了している場合（Ｓ９１２；Ｙｅｓ）、Ｓ９１４へ進む。一方、処理が終了していない場合（Ｓ９１２；Ｎｏ）、Ｓ９１３へ進む。
【００４７】
Ｓ９１３において、キータグ決定部３０４は、検出対象となる画像集合Ｓを次の画像集合に変更する。Ｓ９１４において、キータグ決定部３０４は、タグ検出テーブル（図１０）を解析し、各画像集合に共通するタグを検出する。詳細については、図１１のフローチャートを参照して後述する。Ｓ９１５において、キータグ決定部３０４は、共通するタグをキータグＫとして決定する。以上で図９のフローチャートの各処理が終了する。
【００４８】
続いて、図１１のフローチャートを参照して、本実施形態に係る画像処理装置１００が実施する共通するタグを検出する処理（Ｓ９１４）の詳細について説明する。
【００４９】
Ｓ１１０１において、キータグ決定部３０４は、タグの検出数を比較するための比較テーブル（図１２）を作成し、各タグの検出数の値を０に初期化する。比較テーブルは、図１２に示すように、タグ検出テーブル（図１０）に記載のタグ１２０１と、画像集合毎にタグが検出された合計数（検出数）１２０２とを含む。
【００５０】
Ｓ１１０２において、キータグ決定部３０４は、タグ検出テーブル（図１０）から最も優先度が高いタグＴを取得し、現タグＴを最初のタグＴ０として設定する。Ｓ１１０３において、キータグ決定部３０４は、Ｓ１１０２で取得したタグにおける最初の画像集合Ｓを取得し、それを現画像集合Ｓとして設定する。
【００５１】
Ｓ１１０４において、キータグ決定部３０４は、現画像集合Ｓについて、タグＴがタグ検出テーブル（図１０）に存在するか否かを確認し、存在する場合、比較テーブル（図１２）の該当するタグの欄（検出数）に値を１加算する。
【００５２】
Ｓ１１０５において、キータグ決定部３０４は、Ｓ６０２で抽出された全ての画像集合に対する検出処理が終了したか否かを判定する。検出処理が終了した場合（Ｓ１１０５；Ｙｅｓ）、Ｓ１１０７へ進む。一方、検出処理が終了していない場合（Ｓ１１０５；Ｎｏ）、Ｓ１１０６へ進む。
【００５３】
Ｓ１１０６において、キータグ決定部３０４は、対象となる画像集合Ｓを次の画像集合に変更する。Ｓ１１０７において、キータグ決定部３０４は、タグ検出テーブル（図１０）の全てのタグに対して処理が終了したか否かを判定する。全てのタグに対して処理が終了していない場合（Ｓ１１０７；Ｎｏ）、Ｓ１１０８へ進む。一方、全てのタグに対して処理が終了している場合（Ｓ１１０７；Ｙｅｓ）、Ｓ１１０９へ進む。
【００５４】
Ｓ１１０８において、キータグ決定部３０４は、タグＴを次に優先度が高いタグへ変更する。Ｓ１１０９において、キータグ決定部３０４は、比較テーブル（図１２）の中から全ての画像集合数個（ｎ個）検出されたタグ、すなわち全画像集合に共通で存在するタグがあるか否かを判定する。比較テーブルに共通するタグが存在すると判定された場合（Ｓ１１０９；Ｙｅｓ）、Ｓ１１１０へ進む。一方、比較テーブルに共通するタグが存在しないと判定された場合（Ｓ１１０９；Ｎｏ）、Ｓ１１１１へ進む。
【００５５】
Ｓ１１１０において、キータグ決定部３０４は、比較テーブル（図１２）を用いて、全ての画像集合に共通で検出されたタグのうち、優先度が最も高いタグを共通タグ（キータグＫ）として決定する。
【００５６】
Ｓ１１１１において、キータグ決定部３０４は、比較テーブル（図１２）を用いて、タグ毎に検出した画像集合数が多く、優先度が高いタグを共通タグ（キータグＫ）として決定する。以上で、図１１のフローチャートの各処理が終了する。
【００５７】
ここで、図１３に作成したアルバムの一例を示す。ページ１３０１、ページ１３０２、ページ１３０３はそれぞれ、２０１１年、２０１２年、２０１３年の各年のクリスマスのページを表す。画像１３０４、画像１３０５、画像１３０６はそれぞれ各年のキー画像を表す。画像１３０７から画像１３０９、画像１３１０から画像１３１４、画像１３１５から画像１３１８はそれぞれ、各年のキー画像以外の非キー画像を表す。図１３に示すように、キー画像を強調させるために、各画像集合が割り当てられるページ毎に、キー画像の表示領域を非キー画像の表示領域よりも大きくしてキー画像の表示画像を配置してもよい。
【００５８】
また、キー画像の表示画像の配置位置に関してもページの先頭となる領域に、ページ毎に配置してもよい。非キー画像の配置に関して、同じＩＤの作成条件テーブル（図７）を使用して、ページ毎に同じ種類の画像を同じ位置に配置して、ページ間に統一性を持たせてもよい。また、図１３に示すように、ページ毎に異なるＩＤの作成条件テーブルを使用して、ページ間に多様性を持たせてもよい。
【００５９】
なお、本実施形態では、アルバムを自動作成する例を説明したが、ムービーを自動作成してもよい。ページ数が、生成するムービーの時間長の秒数に対応する。図１４に、生成されたムービーの一例を示す。ムービーは、各年のイベントを表すシーン１４０１、シーン１４０２、シーン１４０３を含む。各シーンについて、キー画像１４０４、キー画像１４０５、キー画像１４０６が配置され、非キー画像１４０７から非キー画像１４１５が配置される。
【００６０】
また、アルバムにおいてキー画像の表示領域を大きくすることは、ムービーでの表示時間を長くすることに対応する。同様に、アルバムにおいてページの先頭にキー画像を配置することは、ムービーでイベント毎に分割したシーンの先頭にキー画像を配置することに対応する。このように、アルバムページにおける画像の空間的な配置が、ムービーでは時間軸上の配置に対応する。また、本実施形態ではアルバム、ムービーに使用する素材として静止画を使用する例を説明したが、被写体を示すタグがあれば、動画を使用してもよい。
【００６１】
なお、本実施形態では、１見開きページに１画像集合を割り当てているが、それに限定せず、１画像集合を複数ページに割り当ててもよい。また、１ページあたりに割り当てるキー画像の数が１画像の例となっているが、複数あってもよいし、複数の種類があってもよい。
【００６２】
以上説明したように、本実施形態によれば、クリスマスや誕生日のように複数回繰り返すイベントを対象として、それらの任意のイベントの画像集合を集めて一つのアルバムを作成するような場合に、毎年の画像集合から、当該イベントを象徴し、それぞれの画像集合に共通な被写体が写っている画像をキー画像として選択することができる。
【００６３】
すなわち、全ての画像集合を通じて、イベントを象徴する共通性のある被写体が写ったキー画像を選択することができる。共通性があるキー画像によってアルバム全体に統一性を持たせることができ、ストーリー性のあるアルバムを作成することができる。また、イベントテーブルに複数の候補を持たせることにより、各画像集合に共通なキー画像が無い場合でも、他のキー画像候補をキー画像として選択することができる。
【００６４】
＜実施形態２＞
実施形態１では、キー画像として使用する共通タグを、タグ検出の有無と、共通で存在したタグの中から予め用意した優先度とを用いて決定する例を説明した。これに対し、本実施形態では、検出したタグの合計数を用いて、共通タグを決定する例を説明する。
【００６５】
実施形態２は、実施形態１における図１１の共通タグ検出フローチャートが、図１５の共通タグ検出フローチャートを置き換わったものである。画像処理装置１００の構成については実施形態１と同様であるため、説明を省略する。なお、実施形態１における図１０のタグ検出テーブルでは検出されたかどうか（○または×）を記録していたのとは異なり、本実施形態におけるタグ検出テーブル（図１６）では、図９のＳ９０７において画像集合毎にキータグ候補タグの検出回数を記録する。
【００６６】
以下、図１５のフローチャートを参照して、本実施形態に係る画像処理装置１００が実施する共通するタグを検出する処理（Ｓ９１４）の詳細について説明する。Ｓ１５０１において、キータグ決定部３０４は、検出したタグの合計数を比較するための比較テーブル、および合計数の最大値を比較するための変数Ｍａｘを作成し、合計数の値、変数Ｍａｘの値を０に初期化する。本実施形態に係る比較テーブルは、タグ検出テーブル（図１６）に記載のタグと、各タグが検出された合計数とを含む。
【００６７】
Ｓ１５０２において、キータグ決定部３０４は、Ｓ１１０２と同様にタグ検出テーブル（図１６）から優先度の高いタグＴを取得し、現タグＴを最初のタグＴ０として設定する。Ｓ１５０３において、キータグ決定部３０４は、Ｓ１５０２で取得したタグにおける最初の画像集合Ｓ０を取得し、画像集合Ｓ０を現画像集合Ｓとして設定する。
【００６８】
Ｓ１５０４において、キータグ決定部３０４は、タグ検出テーブルからタグの検出数を取得し、検出数が１以上であるか否かを判定する。タグが１以上検出された場合（Ｓ１５０４；Ｙｅｓ）、Ｓ１５０５へ進む。一方、タグの検出数が０であった場合（Ｓ１５０４；Ｎｏ）、Ｓ１５０６へ進む。
【００６９】
Ｓ１５０５において、キータグ決定部３０４は、Ｓ１５０１で作成された比較テーブルにおける対象となる現タグＴの項目に、検出したタグ数を加算する。Ｓ１５０６において、キータグ決定部３０４は、Ｓ１５０１で作成された比較テーブルにおける対象となる現タグＴの項目の値を０にする。
【００７０】
Ｓ１５０７において、キータグ決定部３０４は、抽出された全ての画像集合に対する検出処理が終了したか否かを判定する。検出処理が終了したと判定された場合（Ｓ１５０７；Ｙｅｓ）、Ｓ１５０９へ進む。一方、検出処理が終了していない場合（Ｓ１５０７；Ｎｏ）、Ｓ１５０８へ進む。
【００７１】
Ｓ１５０８において、キータグ決定部３０４は、対象となる画像集合Ｓを次の画像集合に変更する。Ｓ１５０９において、キータグ決定部３０４は、タグ検出テーブルに含まれる全タグについて、処理が終了したか否かを判定する。全タグについて処理が終了した場合（Ｓ１５０９；Ｙｅｓ）、Ｓ１５１１へ進む。一方、全タグについて処理が終了していない場合（Ｓ１５０９；Ｎｏ）、Ｓ１５１０へ進む。
【００７２】
Ｓ１５１０において、キータグ決定部３０４は、対象となる画像集合Ｓを次の画像集合に変更する。Ｓ１５１１において、キータグ決定部３０４は、比較テーブルから最初のタグＴの検出合計数を変数Ｍａｘに代入する。Ｓ１５１２において、キータグ決定部３０４は、タグＴを次のタグに変更する。Ｓ１５１３において、キータグ決定部３０４は、タグＴの検出数と変数Ｍａｘの検出数とを比較し、多い方の数を変数Ｍａｘに代入する。
【００７３】
Ｓ１５１４において、キータグ決定部３０４は、全てのタグについて処理が終了したか否かを判定する。全てのタグについて処理が終了したと判定された場合（Ｓ１５１４；Ｙｅｓ）、Ｓ１５１５へ進む。一方、全てのタグについて処理が終了していないと判定された場合（Ｓ１５１４；Ｎｏ）、Ｓ１５１２に戻る。
【００７４】
Ｓ１５１５において、キータグ決定部３０４は、変数Ｍａｘの値が０であるか否かを判定する。Ｍａｘの値が０でない場合は（Ｓ１５１５；Ｙｅｓ）、Ｓ１５１６へ進む。一方、Ｍａｘの値が０である場合（Ｓ１５１５；Ｎｏ）はＳ１５１７へ進む。
【００７５】
Ｓ１５１６において、キータグ決定部３０４は、Ｍａｘの値を持つタグを共通タグとして決定する。なお、Ｍａｘの値を持つタグが複数ある場合は、イベントテーブルのタグの優先度が高い順に決定する。
【００７６】
Ｓ１５１７において、キータグ決定部３０４は、Ｓ１１１１と同様にタグ毎に検出した画像集合数を比較し、検出した画像集合数が多く、優先度が高いタグを共通タグと決定する。以上で、図１５のフローチャートの各処理が終了する。
【００７７】
以上説明したように、本実施形態では、共通となるタグの検出数の多さを比較することにより、キータグを決定する。これにより、ユーザが撮影した被写体の数の多さからユーザの関心の高い被写体が写る画像をキー画像として選択することができる。
【００７８】
なお、共通するタグが無い場合(Ｓ１５１５；Ｎｏ)は実施形態１と同じ方法で、共通タグを決定する例を説明したが、画像集合におけるタグの検出の有無の数だけでなく、画像に付与されているタグの検出数を用いて共通タグを決定してもよい。
【００７９】
＜実施形態３＞
実施形態２では、キー画像として使用する共通タグの決定に関して、共通するタグの検出数により決定する例を説明した。これに対し、本実施形態では、画質スコアに基づいて、共通するタグを決定する例を説明する。実施形態３は、実施形態２における図１５の共通タグ検出フローチャートが図１７の共通タグ検出のフローチャートに置き換わったものである。画像処理装置１００の構成については実施形態１と同様であるため、説明を省略する。
【００８０】
また、図１５と同様の部分の説明は省略し、異なる部分を中心に説明する。なお、本実施形態で使用する比較テーブルは、タグ検出テーブルに記載のタグと、タグ毎に算出する画質のスコア平均値とを含む。
【００８１】
以下、図１７のフローチャートを参照して、本実施形態に係る画像処理装置１００が実施する共通するタグを検出する処理（Ｓ９１４）の詳細について説明する。Ｓ１７０１において、キータグ決定部３０４は、タグ検出テーブルから現画像集合Ｓ内でタグＴを持つ画像を抽出し、画質管理テーブルから画質のスコア最大値を取得する。画質管理テーブルは、タグと、各画像集合における当該タグに関する複数の画像の画質スコアとを管理している。
【００８２】
Ｓ１７０２において、キータグ決定部３０４は、Ｓ１７０１で取得されたスコア最大値の値を比較テーブルに加算して記録する。Ｓ１７０３において、キータグ決定部３０４は、比較テーブルから各画像集合で加算された画質スコアの値を取得し、全画像集合数で除算し、スコア平均値を算出し、算出した値を比較テーブルに記録する。
【００８３】
Ｓ１７０４において、キータグ決定部３０４は、比較テーブルの該当画像集合Ｓのスコアの値を０に設定する。
【００８４】
Ｓ１７０５において、キータグ決定部３０４は、比較テーブルから該当タグＴの最初のタグのスコア平均値を変数Ｍａｘに代入する。Ｓ１７０６において、キータグ決定部３０４は、該当タグＴのスコア平均値と変数Ｍａｘのスコア平均値とを比較し、大きい方の値を変数Ｍａｘに代入する。以上で、図１７のフローチャートの各処理の説明を終了する。
【００８５】
以上説明したように、本実施形態では、共通して存在するタグの中で各画像集合から画質スコアの最大値を取得し、取得した最大値の平均値を算出する。そして、共通するタグの候補の中で平均値の高いタグをキーのタグとする。これにより、検出数の多さに寄らず、画質の良さでキー画像を選択することができる。
【００８６】
なお、共通するタグが無い場合(Ｓ１５１５；Ｎｏ)は、実施形態１と同じ方法で、共通タグを決定する例となっているが、タグの検出の有無の数だけでなく、画像に付与されえているスコアの大きさを用いて共通タグを決定してもよい。
【００８７】
＜実施形態４＞
実施形態３では、各画像集合の画質スコアの最大値についてタグ毎に平均値を算出することで、共通するタグを決定する例を説明した。これに対し、本実施形態では、平均値ではなく最低値を用いて共通するタグを決定する例を説明する。実施形態４は、実施形態３における図１７のフローチャートが図１８の共通タグ検出のフローチャートに置き換わったものである画像処理装置１００の構成については実施形態１と同様であるため、説明を省略する。
【００８８】
また、図１７と同様の部分の説明は省略し、異なる部分を中心に説明する。なお、本実施形態で使用する比較テーブルは、タグ検出テーブルに記載のタグと、タグ毎に算出する画質のスコア最低値とを含む。以下、図１８のフローチャートを用いて説明する。
【００８９】
以下、図１８のフローチャートを参照して、本実施形態に係る画像処理装置１００が実施する共通するタグを検出する処理（Ｓ９１４）の詳細について説明する。
【００９０】
Ｓ１８０１において、キータグ決定部３０４は、Ｓ１７０１で取得したスコア最大値と比較テーブルの該当タグＴの値とを取得し、両方の値を比較して、０以外で最も低い値をスコア最低値として比較テーブルに記録する。
【００９１】
Ｓ１８０２において、キータグ決定部３０４は、比較テーブルの該当タグＴのスコア最低値を変数Ｍａｘに代入する。Ｓ１８０３において、キータグ決定部３０４は、比較テーブルの該当タグＴのスコア最低値と変数Ｍａｘの値とを比較し、大きい方の値を変数Ｍａｘに代入する。以上で、図１８のフローチャートの各処理の説明を終了する。
【００９２】
以上説明したように、本実施形態では、共通して存在するタグの中で各画像集合から画質スコアの最大値を取得し、取得した複数の最大値の中からその最低値を取得する。そして、共通するタグの候補の中で、最低値同士を比較し、その中で最大値となるタグをキータグとして決定する。これにより、本実施形態では平均を使わず、タグ毎の最低値の中で最大となるタグを使うことで、全般的にスコアの高い画像の被写体を選択することができる。
【００９３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９４】
２０１：アプリケーション操作画面、２０２：イベント選択ボタン、２０３：作成ボタン、２０４：プレビュー領域、２０５：出力ボタン、２０６：終了ボタン、３００：画像ＤＢ、３０１：イベントタイプ取得部、３０２：画像集合抽出部、３０３：イベントＤＢ、３０４：キータグ決定部、３０５：キー画像選択部、３０６：非キー画像選択部、３０７：選択画像出力部、３０８：作成条件ＤＢ
【図１】
2016122413.tif 000003
【図２】
2016122413.tif 000004
【図３】
2016122413.tif 000005
【図４】
2016122413.tif 000006
【図５】
2016122413.tif 000007
【図６】
2016122413.tif 000008
【図７】
2016122413.tif 000009
【図８】
2016122413.tif 000010
【図９】
2016122413.tif 000011
【図１０】
2016122413.tif 000012
【図１１】
2016122413.tif 000013
【図１２】
2016122413.tif 000014
【図１３】
2016122413.tif 000015
【図１４】
2016122413.tif 000016
【図１５】
2016122413.tif 000017
【図１６】
2016122413.tif 000018
【図１７】
2016122413.tif 000019
【図１８】
2016122413.tif 000020