(57)【要約】【課題】一冊のアルバム全体に対して人物優先モードやペット優先モードなどを設定すると、ページ毎にテーマに応じたレイアウトを指定することができない。その結果、ページ毎に変化のないアルバムとなってしまい、ユーザーに飽きを与えてしまう。【解決手段】画像処理装置であって、複数の画像を取得する取得手段と、所定のページ数から構成されるページ単位の数の設定を受け付ける受け付け手段と、前記受け付け手段にて受け付けた数のページ単位における第１ページと第２ページに対し、優先して選択する画像を決定するための優先モードを設定する設定手段と、前記設定手段にて設定された優先モードに応じて、前記第１ページと前記第２ページにおける画像の選択処理を切り替える選択手段とを有する。【選択図】図１３
2018097491.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を取得する取得手段と、
所定のページ数から構成されるページ単位の数の設定を受け付ける受け付け手段と、
前記受け付け手段にて受け付けた数のページ単位における第１ページと第２ページに対し、優先して選択する画像を決定するための優先モードを設定する設定手段と、
前記設定手段にて設定された優先モードに応じて、前記第１ページと前記第２ページにおける画像の選択処理を切り替える選択手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記取得手段にて取得した複数の画像を前記受け付け手段にて受け付けた数の画像群に分割し、前記画像群をページ単位それぞれに割り当てる分割手段を更に備え、
前記設定手段は、ページ単位ごとに、割り当てられた画像群を解析し、当該解析の結果に基づいて優先モードを設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記設定手段は、ユーザーから、前記第１ページおよび前記第２ページに対する優先モードの設定を受け付ける画面を提供することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記取得手段にて取得した複数の画像を前記受け付け手段にて受け付けた数の画像群に分割し、前記画像群をページ単位それぞれに割り当てる分割手段を更に備え、
ユーザーにより前記画面を介して設定されたページ単位それぞれに対する優先モードに応じて、前記ページ単位に割り当てられた画像群から画像群を選択することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
画像に含まれるオブジェクトの種類に対応して複数の優先モードが設けられ、
前記設定手段は、ページ単位に割り当てられた画像群に含まれないオブジェクトに対応する優先モードは、当該ページ単位に対し、前記画面を介してユーザーが選択できないように制御することを特徴とする請求項３または４に記載の画像処理装置。
【請求項６】
画像に含まれるオブジェクトの種類に対応して複数の優先モードが設けられ、
前記設定手段は、ページ単位に割り当てられた画像群に含まれるオブジェクトの種類の数に応じて、当該ページ単位に対する優先モードを設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項７】
ページに割り当てられた画像群に含まれる複数の画像の中で第１の優先モードに対応するオブジェクトを含む画像が第２の優先モードに対応するオブジェクトを含む画像よりも多い場合、前記ページの優先モードとして前記第１の優先モードが設定され、ページに割り当てられた画像群に含まれる複数の画像の中で第１の優先モードに対応するオブジェクトを含む画像が第２の優先モードに対応するオブジェクトを含む画像よりも少ない場合、前記ページの優先モードとして前記第２の優先モードが設定されることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記優先モードは、人物が含まれる画像を優先する第１の優先モードと、所定のオブジェクトが含まれる第２の優先モードを含むことを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
【請求項９】
前記設定手段によりページ単位ごとに設定された優先モードに応じて、ページ単位の順序を並び替える手段を更に有することを特徴とする請求項１乃至８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記ページ単位は、冊子の見開きであることを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記選択手段は、前記第１ページに対して設定された優先モードに対応するオブジェクトを含む画像を前記第１ページのために優先的に選択し、前記第２ページに対して異なる優先モードが設定された場合、前記異なる優先モードに対応するオブジェクトを含む画像を前記第２ページのために優先的に選択することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
複数の画像を取得する取得工程と、
所定のページ数から構成されるページ単位の数の設定を受け付ける受け付け工程と、
前記受け付け工程にて受け付けた数のページ単位における第１ページと第２ページに対し、優先して選択する画像を決定するための優先モードを設定する設定工程と、
前記設定工程にて設定された優先モードに応じて、前記第１ページと前記第２ページにおける画像の選択処理を切り替える選択工程と
を有することを特徴とする画像処理方法。
【請求項１３】
コンピュータを、
複数の画像を取得する取得手段、
所定のページ数から構成されるページ単位の数の設定を受け付ける受け付け手段、
前記受け付け手段にて受け付けた数のページ単位における第１ページと第２ページに対し、優先して選択する画像を決定するための優先モードを設定する設定手段、
前記設定手段にて設定された優先モードに応じて、前記第１ページと前記第２ページにおける画像の選択処理を切り替える選択手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、大量の画像データの有効活用を促す自動レイアウト機能を持ったアルバム作成サービスが提供されている。自動レイアウトとは、アルバム作成に関する一部もしくは全機能が自動処理されることを指す。例えば、アルバム掲載用に自動で画像を選択する、アルバムに使用するテンプレートを自動で決定する、テンプレートに自動で画像を割り当てる、等の機能が該当する。自動レイアウト機能によってユーザーは迅速にアルバム製作を行うことができ、理想のアルバムを作成する際の作成指針として活用することも出来る。
【０００３】
特に画像の自動選択に関しては、ユーザーが被写体を指定して、その被写体が写っている画像を選択することが望ましい。例えば、特定の人物をアルバムのメイン被写体にしたい場合は、ユーザーがその人物を指定して、入力された大量画像データの中から指定された人物を自動選択する。一方、ペットの犬をアルバムのメイン被写体にしたい場合は、ユーザーがペットの犬を指定して、同様に指定されたペットの犬を自動選択する、というものである。
【０００４】
例えば、特許文献１では、画像群を解析して、解析情報に基づいてテーマを判別し、推奨合成画像を作成するためのテンプレートを選択し、テンプレートの各々の上にレイアウトされた推奨合成画像を作成することが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５９３６６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、判別されたテーマに応じてテンプレートを設定するだけで、アルバムのように複数ページが存在する場合、途中のページから画像の選択処理を切り替えることについては記載されていない。この場合、複数ページにおいて変化の少ないアルバムとなってしまい、ユーザーが所望とするアルバムを作成できないおそれがある。
【課題を解決するための手段】
【０００７】
上記課題を解決する為に、本発明は以下の構成を有する。すなわち、画像処理装置であって、複数の画像を取得する取得手段と、所定のページ数から構成されるページ単位の数の設定を受け付ける受け付け手段と、前記受け付け手段にて受け付けた数のページ単位における第１ページと第２ページに対し、優先して選択する画像を決定するための優先モードを設定する設定手段と、前記設定手段にて設定された優先モードに応じて、前記第１ページと前記第２ページにおける画像の選択処理を切り替える選択手段とを有する。
【発明の効果】
【０００８】
本願発明により、ページ毎にバリエーションに富んだアルバムを作成することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係るアプリケーションを実行可能なハードウェアの構成例を示す図。
【図２】第１実施形態に係るアプリケーションのソフトウェアの構成例を示す図。
【図３】第１実施形態に係るアプリケーションのＵＩの構成例を示す図。
【図４】第１実施形態に係る自動レイアウトの処理フローを示す図。
【図５】本発明に係る画像解析情報の構成例を示す図。
【図６】本発明に係る画像群分割を説明するための図。
【図７】本発明に係るシーン分類を説明するための図。
【図８】本発明に係る画像得点を説明するための図。
【図９】本発明に係る画像選択を説明するための図。
【図１０】本発明に係る画像レイアウトを説明するための図。
【図１１】本発明に係る詳細な得点化に関する構成を説明するための図。
【図１２】本発明に係る得点化処理の詳細な処理フローを示す図。
【図１３】本発明に係る見開きページ割当を説明するための図。
【図１４】本発明に係る画像レイアウトを説明するための図。
【図１５】本発明に係る見開きページの入れ替えを説明するための図。
【図１６】第２実施形態に係るアプリケーションのＵＩの構成例を示す図。
【図１７】第２実施形態に係るアプリケーションのソフトウェアの構成例を示す図。
【図１８】第２実施形態に係る自動レイアウトの処理フローを示す図。
【図１９】第２実施形態に係る自動レイアウトの処理フローを示す図。
【図２０】第２実施形態に係るアプリケーションのＵＩの構成例を示す図。
【発明を実施するための形態】
【００１０】
＜第１実施形態＞
本実施形態では、画像処理装置上で、アルバム作成アプリケーション（アプリ）を動作させ、自動レイアウトを生成するまでの手順について説明する。
【００１１】
［システム構成］
図１は、本発明に係る画像処理装置のハードウェアの構成例を説明する図である。なお、画像処理装置としては、例えばＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やスマートフォン等の情報処理装置が挙げられ、本実施形態ではＰＣを想定して説明する。図１において、ＣＰＵ（中央演算装置／プロセッサー）１０１は、本実施形態で説明する画像処理方法をプログラムに従って実行する。なお、図１中では１つのＣＰＵが示されているが、複数ある場合も本実施形態では該ＣＰＵの一部として表す。
【００１２】
ＲＯＭ１０２は、ＣＰＵ１０１により実行されるプログラムが記憶されている。ＲＡＭ１０３は、ＣＰＵ１０１によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。ＨＤＤ（ハードディスク）１０４は、画像ファイルや画像解析などの処理結果を保持するデータベースなどを記憶するための記憶媒体である。ディスプレイ１０５は、本実施形態のＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）や画像のレイアウト結果をユーザーに提示する装置である。ディスプレイ１０５はタッチセンサー機能を備えてもよい。キーボード１０６は、ディスプレイ１０５に表示されたＵＩ上において、例えば、作成したいアルバムの見開き数を入力する。ここでの見開き数とは、冊子の見開きの数に対応する。
【００１３】
マウス１０７は、ユーザーがディスプレイ１０５に表示されたＵＩ上にて操作を行う際に用いられ、例えば、マウス１０７の操作により、ボタンをクリックする。データ通信装置１０８は、自動レイアウトのデータをＰＣに接続された外部装置（例えば、プリンタやサーバー）に送信する。データバス１０９は上記の各部位とＣＰＵ１０１を接続する。本発明に係るアルバム作成アプリケーションは、プログラムおよびデータとしてＨＤＤ１０４に保存される。ユーザーがディスプレイ１０５に表示されているアプリケーションのアイコンを、マウス１０７を使ってダブルクリックすることにより、アルバム作成アプリケーションが起動される。
【００１４】
図２は、本発明に係るアルバム作成アプリケーションの自動レイアウト処理部２２０に関するソフトウェアの構成例を示す図である。図２において、アルバム作成条件指定部２０１は、マウス１０７によるＵＩ操作に応じたアルバム作成条件を自動レイアウト処理部２２０に指定する。アルバム作成条件指定部２０１は、ユーザーからの指示に従って、アルバムに採用する画像の被写体を人物優先にするのか、ペット優先にするのかといった指定も行う。なお、被写体の優先設定は、人物とペットの２つに限定するものではなく、他の被写体（所定のオブジェクト）を対象として選択できるようにしてもよい。また、優先モードは２つの中から選択するものに限定されるものではなく、更に多くの選択肢を提示し、その中から優先モードが選択できるように構成されていてもよい。また、アルバム作成条件指定部２０１は、後述する主人公の指定や、見開き数の指定など、他の処理も実行する。
【００１５】
画像取得部２０２は、アルバム作成条件指定部２０１から指定された画像群をＨＤＤ１０４から取得する。画像変換部２０３は、以降の処理に使う画像データを所望の画素数や色情報に変換する。本実施形態では、短辺が４２０画素の画素数を有するｓＲＧＢの色情報の解析画像に変換する。画像解析部２０４は、解析画像に対し、特徴量取得、顔検出、表情認識、個人認識、人物以外のオブジェクト（例えばペット）認識を実施する。また、画像解析部２０４は、ＨＤＤ１０４から取得した画像に付随したデータ（例えば、Ｅｘｉｆ情報）から撮影日時の取得などの処理も実施する。画像分類部２０５は、画像群に対して撮影日時情報や枚数、検出した顔情報を使って後述のシーン分割、シーン分類を実施する。シーンとは、旅行や日常、結婚式等の撮影シーンを指す。シーンの種類は、特に限定するものではなく、ユーザーが任意に設定できてもよいし、予め複数のシーンを定義していてもよい。
【００１６】
画像得点化部２０７は、各画像に対して得点付けを行う。例えば、画像得点化部２０７は、レイアウトに適した画像が高得点になるように得点付けを行う。本実施形態では、アルバム作成条件指定部２０１および画像分類部２０５を備えることで、例えば、結婚式というシーンで人物という被写体を優先する、または、旅行というシーンでペットという被写体を優先するといった設定を行うことができる。詳細については後述するが、画像得点化部２０７による得点付けの際は、画像解析部２０４からの情報や、画像分類部２０５からの情報を用いる。
【００１７】
主人公情報入力部２０６は、アルバム作成条件指定部２０１から指示された主人公のＩＤ（識別情報）を画像得点化部２０７に入力する。なお、主人公とは、人物に限定するものではなく、任意のオブジェクトが該当するものとする。画像得点化部２０７は、主人公情報入力部２０６から入力された主人公ＩＤが含まれる画像の得点をより高く設定する。また、アルバム作成条件指定部２０１で指定された優先モードに基づき、人物以外のオブジェクト認識を行った場合には、画像得点化部２０７は、そのオブジェクトの得点もより高く設定する。
【００１８】
見開き割当部２０９は、画像群を分割して各見開きに割り当てる。ここでの見開きは、２ページから構成されるものとして説明するが、例えば、冊子の構成上、１ページ分しか画像が割り当てられない部分（表紙を開いた際のアルバムの１ページ目など）も対象に含めてもよい。見開き数入力部２０８は、アルバム作成条件指定部２０１から指定されたアルバムの見開き数を見開き割当部２０９に入力する。見開き割当部２０９は、入力された見開き数に応じて画像群を分割して各見開きに画像群の一部を割り当てる。
【００１９】
ページ画像解析部２１６は、見開き割当部２０９で各見開きに分割された画像群を解析する。ページ画像解析部２１６は、例えば、見開き毎に分割された画像群に含まれる被写体として、人物の被写体が多いのか、ペットの被写体が多いのかといった判定を行う。また、ページ画像解析部２１６は、画像分類部２０５で設定されたシーンを用いて、人物画像の得点が高いのか、ペット画像の得点が高いのかといった判定を行ってもよい。ページ優先モード設定部２１７は、ページ画像解析部２１６で解析された見開き毎の被写体を判定し、その判定結果に応じて、見開き毎に優先モードを設定する。設定された見開き毎の優先モード情報は、画像選択部２１０へ送られる。
【００２０】
画像選択部２１０は、ページ優先モード設定部２１７で設定された優先モード情報に基づいて、見開き割当部２０９で各見開きに割り当てられた画像群の中から画像を選択する。このとき、画像選択部２１０は、画像得点化部２０７で付けた得点に基づいて、画像を選択する。
【００２１】
テンプレート入力部２１１は、アルバム作成条件指定部２０１から指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部２１２に入力する。ここでのテンプレート情報は、ユーザーがＵＩ画面を介して指定することができる。画像レイアウト部２１２は、画像選択部２１０にて選択された画像に適したテンプレートを、テンプレート入力部２１１から入力された複数のテンプレートから選択し、そのテンプレートに選択した画像を割り当てることでレイアウトを決定する。レイアウト情報出力部２１５は、画像レイアウト部２１２が決定した画像レイアウトに従って、ディスプレイ１０５に表示する為のレイアウト情報を出力する。レイアウト情報は、例えば、選択したテンプレートに選択した画像をレイアウトしたビットマップデータである。
【００２２】
画像補正条件入力部２１３は、アルバム作成条件指定部２０１から指定された画像補正のＯＮ／ＯＦＦ条件を画像補正部２１４に入力する。画像補正部２１４は、各画像に対し、覆い焼き補正、赤目補正、コントラスト補正などの補正処理を行う。なお、補正処理の例は一例であり、他の処理が含まれてもよい。画像補正条件ＯＮの場合は、画像補正部２１４は、画像に対して補正を実施する。画像補正条件ＯＦＦの場合は、画像補正部２１４は、補正を実施しない。尚、画像補正部２１４は、画像変換部２０３から入力された画像に対して補正のＯＮ／ＯＦＦを実施する。なお、補正のＯＮ／ＯＦＦは、補正処理の種類ごとに設定できてもよい。画像変換部２０３から画像補正部２１４に入力する画像の画素数は、画像レイアウト部２１２で決定したレイアウトのサイズに合わせて変えられる構成であるとする。
【００２３】
本発明に係るアルバム作成アプリケーションは、例えば、ＰＣにインストールすると、ＰＣ上で動作するＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）のトップ画面（デスクトップ）上に起動アイコンが表示される。ユーザーはディスプレイ１０５に表示されているデスクトップ上の起動アイコンをマウス１０７でダブルクリックすると、ＨＤＤ１０４に保存されているアルバム作成アプリケーションのプログラムがＲＡＭ１０３にロードされる。ＲＡＭ１０３にロードされたプログラムがＣＰＵ１０１によって実行されて、アルバム作成アプリケーションが起動する。なお、この構成に限定するものではなく、アルバム作成アプリケーションは、Ｗｅｂブラウザ（不図示）を介したＷｅｂアプリケーションとして動作してもよい。
【００２４】
［表示画面］
図３は、本願発明に係るアルバム作成アプリケーションが提供する表示画面３０１の構成例であり、ディスプレイ１０５に表示される。ユーザーは、表示画面３０１を介して、アルバムの作成条件を設定することができる。
【００２５】
パスボックス３０２は、アルバム作成の対象となる画像群のＨＤＤ１０４中の保存場所（パス）を示す。フォルダ選択ボタン３０３は、クリックされると、アルバム作成の対象とする画像群を含むフォルダから構成されるツリー構成が表示される。ユーザーは、表示されたツリー構造から画像群を選択することができる。ユーザーにより選択された画像群を含むフォルダパスがパスボックス３０２に表示される。主人公指定アイコン３０４は、主人公を指定するためのアイコン（ボタン）であり、人物の顔画像がアイコンとして表示される。主人公指定アイコン３０４には複数の異なる顔画像のアイコンが並び、クリックすることで対応する画像が選択される。具体的には、後述するＳ４０５の処理が終わったタイミングでＩＤが付与された人物画像が主人公指定アイコン３０４に配置される。
【００２６】
見開き数ボックス３０５は、見開き数を指定する。ユーザーは、キーボード１０６を用いて、見開き数ボックス３０５に直接数字を入力するか、マウス１０７を用いてリストから見開き数ボックス３０５に数字を入力する。テンプレート指定アイコン３０６は、テンプレートのテイスト（ポップ調やシック調等）が分かるイラスト画像である。上述したテンプレート情報がこれに該当するが、これに限定されるものではなく、具体的なテンプレートを指定できるようにしてもよい。ここでは、複数のテンプレートアイコンが並び、クリックすることで選択できる。チェックボックス３０７は、画像補正のＯＮ／ＯＦＦを指定するための設定項目である。チェックボックス３０７に対し、チェックを入れると画像補正ＯＮの設定となり、チェックを入れないと画像補正ＯＦＦの設定となる。上述したように、実行する補正処理ごとにＯＮ／ＯＦＦを設定できるようにしてもよい。
【００２７】
ＯＫボタン３０８は、表示画面３０１上で指定されている状態（設定）を確定し、アルバム作成条件指定部２０１に通知する際に用いられるボタンである。ユーザーがＯＫボタン３０８をクリックすると、アルバム作成条件指定部２０１を介して、自動レイアウト処理部２２０にアルバム作成条件が指定される。パスボックス３０２に入力されているパスは、画像取得部２０２に通知される。主人公指定アイコン３０４で選択されている主人公の個人ＩＤは、主人公情報入力部２０６に通知される。見開き数ボックス３０５に入力されている見開き数は、見開き数入力部２０８に通知される。テンプレート指定アイコン３０６で選択されているテンプレート情報は、テンプレート入力部２１１に通知される。画像補正チェックボックスの画像補正のＯＮ／ＯＦＦは、画像補正条件入力部２１３に通知される。リセットボタン３０９は、表示画面３０１上の各設定情報をリセットする際に用いられるボタンである。
【００２８】
［処理フロー］
図４は、本発明に係るアルバム作成アプリケーションの自動レイアウト処理部２２０における処理のフローチャートを示す。図４に示すフローチャートは、例えば、ＣＰＵ１０１がＨＤＤ１０４に格納されたプログラムをＲＡＭ１０３に読み出して実行することにより実現される。
【００２９】
Ｓ４０１にて、アルバム作成条件指定部２０１は、アルバムページ数の指定を受け付ける。ユーザーは、表示画面３０１を介して、作成するアルバムのページ数を指定する。
【００３０】
Ｓ４０２にて、画像変換部２０３は、解析画像を生成する。画像変換部２０３は、アルバム作成条件指定部２０１で指定された各画像を所望の画素数と色情報に変換する。本実施形態では、各画像は、短辺が４２０画素を有するｓＲＧＢの色情報の解析画像に変換する。
【００３１】
Ｓ４０３にて、画像解析部２０４は、画像特徴量を取得する。画像解析部２０４は、ＨＤＤ１０４から取得した各画像データに付随する情報（例えば、Ｅｘｉｆ情報）から撮影日時を取得する。また、画像解析部２０４は、Ｓ４０２にて生成された解析画像から特徴量を取得する。特徴量としては、例えば、ピントが挙げられる。エッジの検出方法として、一般的にソーベルフィルタが知られている。ソーベルフィルタでエッジ検出し、エッジの始点と終点の輝度差を始点と終点の距離で割ることにより、エッジの傾きが算出できる。画像中のエッジの平均傾きを算出し、その算出した平均傾きが大の画像は、平均傾きが小の画像よりもピントが合っていると考えることが出来る。傾きに対して異なる値の複数の閾値を設定し、各閾値との比較に基づいて判別することでピント量を出せる。本実施形態では、異なる２つの閾値を設定し、○△×の３段階でピント量を判別する。アルバムに採用したいピントの傾きを○、許容できるピントの傾きを△、許容できないピントの傾きを×として、実験を通して閾値を設定する。ここで設定する閾値は、２つに限定するものでは無く、また、ユーザーが任意に変更できるようにしてもよい。つまり、より多くの段階に分けてもよい。
【００３２】
Ｓ４０４にて、画像解析部２０４は、処理対象の画像に対し顔検出を行う。画像解析部２０４は、Ｓ４０２にて生成された解析画像から顔を検出する。顔の検出は、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するＡｄａｂｏｏｓｔが挙げられる。本実施形態では、Ａｄａｂｏｏｓｔにより作成した強識別器により人物（オブジェクト）の顔を検出する。画像解析部２０４は、顔画像を抽出すると共に、検出した顔位置の左上座標値と右下座標値を取得する。この２種の座標を持つ為、顔の位置と顔のサイズを特定することが可能である。なお、顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを顔の代わりの検出対象としてＡｄａｂｏｏｓｔによって強識別器を作成することができる。これにより、顔以外のオブジェクトも検出することができる。
【００３３】
Ｓ４０５にて、画像解析部２０４は、検出した顔画像に対し、個人認識を行う。画像解析部２０４は、Ｓ４０４で抽出した顔画像を顔辞書データベースに個人ＩＤ毎に保存されている代表顔画像との類似性を比較する。類似性が閾値以上で、かつ、最も類似性が高い顔画像に対応する個人ＩＤを、抽出した顔画像のＩＤとする。尚、顔辞書データベースに登録されている全ての画像に対する類似性が閾値未満の場合は、新規の顔として新規の個人ＩＤを割り当て、顔辞書データベースにその抽出した顔画像を登録する。なお、類似性に対する閾値は、予め定義されているものとする。また、ユーザーの要求に応じて、その類似性の閾値を変更し、認識の精度を制御できるようにしてもよい。
【００３４】
Ｓ４０３からＳ４０５で取得した画像解析情報は、図５に示すように各画像を一意に識別するためのＩＤ（画像ＩＤ）毎に区別して記憶される。画像解析情報は、例えば、画像処理装置のＨＤＤ１０４に保持される。Ｓ４０３で取得した撮影日時情報とピント判別結果、Ｓ４０４で検出した顔の数と位置情報が保存される。尚、顔の位置情報は、Ｓ４０５で取得した個人ＩＤ毎に区別して記憶される。
【００３５】
Ｓ４０６にて、画像解析部２０４は、人物以外のオブジェクト認識をする。画像に対して人物以外の被写体、例えば、犬や猫といったペット、それらの遊び道具となるボールやぬいぐるみ、屋外を示す芝生や海、屋内を示す窓やクッションなどが認識される。認識方法は、パターンマッチング方法や機械学習による方法、近年ではＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）など、様々な技術が広く知られており、本発明ではその方法は問わない。ＣＮＮを一例に挙げると、１０００個程度のオブジェクトが認識できるＮｅｕｒａｌ  Ｎｅｔｗｏｒｋを用いて、画像中に存在するオブジェクトの反応値（得点）をそれぞれ算出する。ＣＮＮの結果から本発明で被写体として認識するオブジェクトの得点を取得する。これらの得点は、後述するＳ４１２の画像得点化の処理にて用いられる。
【００３６】
Ｓ４０７にて、画像解析部２０４は、アルバム作成条件指定部２０１で指定された全画像に対してＳ４０２〜Ｓ４０６が終了したか否かを判定する。終了していない場合（Ｓ４０７にてＮｏ）はＳ４０２に戻る。終了している場合（Ｓ４０２にてＹｅｓ）はＳ４０８に移行する。
【００３７】
Ｓ４０８にて、画像分類部２０５は、シーン分割を行う。画像分類部２０５は、Ｓ４０３で取得済みの撮影日時情報から算出した画像と画像の時間差に基づいて、画像群を複数のシーンに分割する。例えば、各画像の撮影日時の間に撮影していない日が存在する場合は、それらの画像を別のシーンとして分割する。次に撮影日が連続する場合を説明する。例えば、画像間の時間差に対する閾値を１６時間とし、時間差が１６時間以上空いている場合は、それらの画像を別のシーンとして分割する。また、１６時間未満の場合は、連続する各日の最初の撮影から最後の撮影までの時間差が４時間未満なら、その時間内の画像を同じシーンとして分割する。４時間以上の場合は、連続する各日の撮影枚数が５０枚未満なら、その枚数の画像を同じシーンとして分割する。５０枚以上なら画像群を別のシーンとして分割する。図６（Ａ）は、上記の説明したシーン分割方法で分割した結果を示している。図６（Ａ）において、縦軸は画像枚数を示し、横軸は日時を示す。また、日時に対して示す数字は分割したグループ（シーン）の数を示し、実線矢印は、分割位置を示す。
【００３８】
Ｓ４０９にて、画像分類部２０５は、シーン分類をする。本実施形態では、旅行、日常、セレモニーの３つの分類を用いた例で説明する。本実施形態では、シーンの種類として、「旅行」、「日常」、「セレモニー」があるものとし、サブ画像群をこれらのシーンのいずれかに分類する例を説明する。なお、シーン分類得点化には、シーンの各種類に対応する特徴量の情報が格納されたシーン分類テーブルが利用される。
【００３９】
ここで、プログラムに予め格納される、シーン分類テーブルの作成方法について説明する。まず、「旅行」、「日常」、「セレモニー」のシーンに分類されると予め判定された複数の画像データ群がプログラムの設計者によって集められ、集められた画像データ群について、特徴量が取得される。ここで取得される特徴量の例は、例えば撮影期間、撮影枚数、撮影人数である。撮影期間は、各画像データ群において最初に生成された画像データと最後に生成された画像データとの撮影時間差である。撮影枚数は、各画像データ群の枚数である。撮影人数は、各画像データ群が表す各画像に含まれる顔の平均数である。その結果、例えば、旅行シーンであると予め判定された複数の画像データから成る１画像データ群について、撮影期間、撮影枚数、撮影人数の特徴量が取得される。なお、特徴量は撮影期間、撮影枚数、撮影人数に限定されず、他の特徴量が用いられても良いし、その中のいずれかのみが用いられてもよい。
【００４０】
そして、上記のような撮影期間、撮影枚数、撮影人数の特徴量の取得が、予め集められた他の画像データ群についても行われる。次に、シーン毎に集められた複数の画像データ群から取得された特徴量に基づいて、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、１画像あたりの撮影人数の平均値と標準偏差とが求められる。このようにして求められた値と、シーンの各種類とが対応付けられることで、シーンの種類ごとの各平均値と標準偏差を示すシーン分類テーブルが作成される。
【００４１】
画像分類部２０５は、Ｓ４０８にてシーンごとに分割した各画像群について、特徴量を取得する。ここで取得する特徴量は、例えば撮影期間、撮影枚数、撮影人数が挙げられる。撮影期間は、画像群の最初の撮影から最後の撮影までの時間差である。撮影枚数は、画像群の枚数である。撮影人数は、顔が写っている画像における顔の数である。例えば、１つの画像において、３人の顔が検出されていた場合には、その画像の撮影人数は“３”となる。
【００４２】
画像分類部２０５は、シーン毎に集めた（分割した）複数の画像群に対して、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、１画像あたりの人数の平均値と標準偏差を求める。図７は、上述したシーン分類テーブルであり本実施形態で求めた各平均値と標準偏差が含まれる。アルバム作成アプリケーションのプログラムに予め組み込んでおく。アルバム作成アプリケーションが起動された後、画像分類部２０５は、ユーザーがパスボックス３０２で指定した画像群に対してＳ４０８を実行することでシーン分割された各画像群が得られる。この各画像群に対して、撮影期間と撮影枚数、撮影人数の平均値を算出する。各画像群の撮影期間、撮影枚数、撮影人数の特徴量について、図７のシーン毎に平均値と標準偏差を用いて以下の式により得点を算出する。以下の式において、｜Ｘ｜は、Ｘの絶対値を示す。
得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜
平均得点＝（撮影期間の得点＋撮影枚数の得点＋人数の得点）／特徴量項目数
【００４３】
以上により、各画像群に対して旅行、日常、セレモニー毎の平均得点が算出される。画像群毎に最高点のシーンをその画像群のシーンであるとして分類する。ここで、同点のシーンがある場合は、その画像群を優先シーンに分類する。例えば、本実施形態では、各シーンの優先度として、日常＞セレモニー＞旅行の順にて設定し、日常の優先度を最も高くしている。つまり、ある画像群に対して算出した得点において、日常のシーンとセレモニーのシーンとが同点となった場合、その画像群は日常のシーンとして分類する。なお、優先度は上記に限定するものではなく、また、ユーザーが設定できるようにしてもよい。
【００４４】
例えば、図６（Ａ）に示すシーン分割後の（５）の画像群は、撮影期間が３６時間、撮影枚数が３００枚、撮影人数が１．７人であったとする。旅行の平均得点は４５．３２、日常の平均得点は１８．３８、セレモニーの平均得点は−２９．９２となり、（５）の画像群は、シーンを「旅行」として分類される。分類したシーンは識別ができるようにシーンＩＤで管理する。なお、上記の画像群それぞれに対して算出される値、および、その値を用いた得点の算出式は上記に限定するものではなく、更に多くの要素を用いて得点を決定してもよい。
【００４５】
Ｓ４１０にて、画像分類部２０５は、Ｓ４０８で分割された全シーン（全画像群）に対してＳ４０９のシーン分類が終了したか否かを判定する。終了していない場合（Ｓ４１０にてＮｏ）はＳ４０９に戻る。終了している場合（Ｓ４１０にてＹｅｓ）はＳ４１１に移行する。
【００４６】
Ｓ４１１にて、画像得点化部２０７は、主人公設定を行う。主人公設定はユーザーが指定した画像群に対して実施され、自動と手動の２種類がある。Ｓ４０５において実施された個人認識結果と、Ｓ４０８で実施されたシーン分割の結果から、画像群に登場する各個人ＩＤの回数、各シーンに登場する各個人ＩＤ回数、各個人ＩＤが登場するシーン回数等を知ることができる。自動で主人公を設定する場合には、画像得点化部２０７は、これらの情報に基づき、自動で主人公を設定する。本実施形態では、１アルバムに対して複数シーンがある場合は、複数のシーンに登場する個人ＩＤを主人公ＩＤとして設定する。
【００４７】
また、画像群が単一シーンである場合は、単一シーンの登場回数が多い個人ＩＤを主人公ＩＤとして設定する。図３に示した表示画面３０１の主人公指定アイコン３０４をユーザーが指定している場合は（すなわち、主人公設定を手動で行う場合）、主人公情報入力部２０６を介して個人ＩＤが画像得点化部２０７に通知される。そして、ユーザー指定の個人ＩＤがある場合は、上記の自動設定の主人公ＩＤの代わりに、画像得点化部２０７は、ユーザー指定の個人ＩＤを主人公ＩＤとして設定する。この設定を「手動設定」と称する。
【００４８】
Ｓ４１２にて、画像得点化部２０７は、得点化処理を行う。ここでの得点化処理とは、後述の画像選択時に参照する値であり、画像毎に後述の観点で評価した得点を付与する。
【００４９】
図１０は、画像のレイアウトに使うテンプレート群を示している。テンプレート１００１は、３つのスロット（画像をレイアウトする枠）を有し、メインスロット１００２、およびサブスロット１００３、１００４から構成される。メインスロット１００２は、テンプレート１００１でメインとなるスロットであり、サブスロット１００３、１００４よりもサイズが大きい特徴を持っている。得点化処理では、メインスロット用の得点とサブスロット用の得点の両方を、画像毎に付与する。
【００５０】
得点化軸の概念を図８（Ａ）に示す。本実施形態に則り、Ｓ４０９におけるシーン分類によって分類できる旅行シーン、日常シーン、セレモニーシーンの３つのシーンについて、好ましい画像の特徴を表でまとめている。つまり、旅行シーン、日常シーン、セレモニーシーンではそれぞれ好ましいと考えられる写真の観点が異なる。例えば、旅行シーンにおける最も好まれる構図は、旅先での象徴的な景色と旅行の主役となる人物が一緒に写っている写真である。一方、セレモニーシーンでは、新郎新婦が２人で寄り添う構図の写真（２人の距離が近い写真）が好ましい。また、各シーンにおいて好ましいと考えられる写真は１種類であるとは限らない。旅行シーンは、上述の人物＋風景写真の構成以外にも、顔がアップや横顔である写真、旅行に同伴した人物や出会った人との記念写真や、旅先での食べ物や建物、風景の写真なども好ましいと考えられる。
【００５１】
このように、各シーンでは好ましい写真の条件は異なり、またシーン内においても好ましい写真の条件は１つ以上が存在する。本実施形態ではメインスロット用の得点とサブスロット用の得点の２パターンの得点を算出するために、各シーン内において好ましい写真の条件を２つに設定する。
【００５２】
ここでは、図８（Ａ）に示す各シーンのメインスロット向きとサブスロット向きの特徴に適合する画像として、予め判定した複数の画像を集めておく。そして、集めた各画像の顔の数、顔の位置、顔のサイズの特徴を収集して、平均値と標準偏差を各シーンに関する各スロット種類（メインスロットとサブスロット）に対して算出しておく。これらの算出した平均値と標準偏差を、アルバム作成アプリケーションが利用可能なように保持しておく。ユーザーが指定した画像群の各画像がどのシーンに属するかはＳ４０９のシーン分類の結果から特定することができる。画像得点化部２０７は、注目画像のシーンに対応する予め算出した平均値と標準偏差、および注目画像の主人公ＩＤの顔数、顔位置、顔サイズの各特徴量に対して以下の式を用いて、得点と平均得点を算出する。以下の式において、｜Ｘ｜は、Ｘの絶対値を示す。
得点＝５０−｜１０×（平均値−特徴量）／標準偏差｜
平均得点＝（顔数の得点＋顔位置の得点＋顔サイズの得点）／特徴量項目数
なお、上記の式は一例であり、この算出式に限定するものではない。
【００５３】
画像得点化部２０７は、メインスロット用とサブスロット用の両方に対して得点化を行う。なお、アルバムに使う画像はピントが合っている方が好ましい為、図５に示すピントの特徴量が○である画像ＩＤの画像に対しては得点を加算してもよい。図８（Ｂ）は、ある１つのシーンに対する上記の得点化処理による得点結果の例を示しており、各画像ＩＤ（各画像）に対して、メインスロットとサブスロットの得点が算出され、付与されている。
【００５４】
更に、画像得点化部２０７は、Ｓ４０６で行われたオブジェクト認識の結果を取得する。画像得点化部２０７は、画像に含まれるオブジェクトに対し犬の得点が予め設定された閾値以上であればその画像を犬画像と判定する。さらに犬に関連するオブジェクト（ボール、芝生、犬ぞりなど）の得点を同様に閾値判定して、閾値以上であれば犬の得点と組み合わせてもよい。組み合わせの最も簡単な方法としては、犬の得点を１より大きい係数で重み付けして、他のオブジェクトの得点をそれに加算する。こうすることで、犬だけしか写っていない画像よりも、犬とボールが写っている画像の得点が高くなる。犬とボールが写っていると、犬がボールを追いかけているといった状態が推定できる。その画像の得点を上げることで、よりバリエーションに富んだ画像をアルバムに選択されやすくすることができる。取得する得点はＣＮＮから出力される絶対値でもよいし、Ｓｏｆｔｍａｘ関数のような正規化関数による出力値でもよい。
【００５５】
図１１は、本実施形態に係る画像得点化部２０７の構成例をより詳細に示した図である。
【００５６】
画像群取得部１１０１は、ユーザーから入力された画像群を取得する。画像群取得時には、画像群取得部１１０１は、Ｓ４０８の画像分類部２０５でシーン分割されたシーン分割情報も取得する。
【００５７】
色解析情報取得部１１０２は、Ｓ４０３の画像特徴量取得に相当する処理結果を取得する。また、色解析情報取得部１１０２は、画像の撮影日時情報の取得も行う。更に、色解析情報取得部１１０２は、画像の色合いやエッジ、ピント量などの解析情報も取得する。
【００５８】
人物関連解析情報取得部１１０３は、Ｓ４０４の顔検出およびＳ４０５の個人認識に相当する処理結果を取得する。また、人物関連解析情報取得部１１０３は、Ｓ４１１の主人公設定における情報も取得する。
【００５９】
オブジェクト認識情報取得部１１０４は、Ｓ４０６のオブジェクト認識に相当する処理結果を取得する。
【００６０】
画像解析情報格納部１１０５は、色解析情報取得部１１０２、人物関連解析情報取得部１１０３、およびオブジェクト認識情報取得部１１０４で取得した各種解析情報を包括して管理する。このとき、画像解析情報格納部１１０５は、画像における特徴量を含めた全情報を取得する。また、色解析情報取得部１１０２および人物関連解析情報取得部１１０３から算出・推量できる副次的な特徴も、画像解析情報格納部１１０５にて取得される情報に含まれる。例えば、Ｓ４０４で得られる各顔の位置だけでなく、そこから推量できる各顔同士の距離も、取得される情報に含まれる。ただし、画像解析情報格納部１１０５で格納する画像解析情報は、これらに限定されるものではない。色解析情報取得部１１０２、人物関連解析情報取得部１１０３、およびオブジェクト認識情報取得部１１０４で取得した情報だけでない副次的情報を管理してもよい。また、色解析情報取得部１１０２、人物関連解析情報取得部１１０３、およびオブジェクト認識情報取得部１１０４にて取得した情報のうちの一つのみを使用するようにしてもよい。
【００６１】
シーン格納部１１０６は、撮影シーンの各種類と、各撮影シーンであると判定するためのシーン分類方法に関する情報が格納されている。本実施形態では、旅行シーン、日常シーン、セレモニーシーンの３種類と、各シーンを判別するためのシーン分類方法に関するプログラムが格納される。
【００６２】
シーン判定部１１０７は、画像解析情報格納部１１０５における画像解析情報から、画像の撮影シーンを判定する。シーン判定部１１０７は、Ｓ４０９のシーン分類に相当する処理結果を取得する。本実施形態では、各画像は、画像解析情報に基づいて旅行シーン、日常シーン、セレモニーシーンに分類される。
【００６３】
パラメータ設定部１１０８は、シーン判定部１１０７によるシーン分類処理によって、各画像の撮影シーンが決定する。パラメータ設定部１１０８では、決定した撮影シーンに基づいて得点化に用いるパラメータを設定する。パラメータは、事前の機械学習によって決定されたパラメータを使用してもよいし、技術者の経験則またはシステム実行時にユーザーが手動で設定してもよい。
【００６４】
得点化部Ａ１１０９、得点化部Ｂ１１１０、および得点化部Ｃ１１１１はそれぞれ、パラメータ設定部１１０８から別々のパラメータが与えられる。各得点化部は、パラメータ設定部１１０８から設定されたパラメータと、画像解析情報格納部１１０５で取得できる画像の解析情報から得点化を行う。本実施形態においては、得点化部Ａ１１０９、得点化部Ｂ１１１０、得点化部Ｃ１１１１で取得できる得点のいずれかが、テンプレート１００１のメインスロット１００２の得点、サブスロット１００３、１００４の得点に対応する。なお、得点化部の個数は、特に限定するものではない。例えば、アルバム作成に要求される得点化軸が３つ以上であれば、その数に応じて３つ以上の得点化軸を設定することが可能である。また３つ未満の得点化軸で十分である場合は、３つ未満の得点化軸を設定すればよい。
【００６５】
以上が、画像得点化部２０７の詳細説明であり、この処理構成で各画像の得点を算出することで、画像の撮影シーンに応じた得点化を行うことができる。撮影シーン間で得点化軸およびパラメータの決め方が一律でないため、撮影シーンごとに最も適した構図や人数構成の画像を取得することができる。
【００６６】
（得点化処理）
図１２は、図４のＳ４１２の工程の詳細を示すフローチャートであり、図１１に示した画像得点化部２０７の各構成により実行される。図１２は、特に、シーン分類後の詳細説明に関するフローチャートである。ここでは、一例として、ある撮影シーンに分類された画像の、得点化に関する詳細フローを説明する。
【００６７】
Ｓ１２０１にて、画像得点化部２０７は、色解析情報取得部１１０２、人物関連解析情報取得部１１０３、およびオブジェクト認識情報取得部１１０４の画像解析情報を管理する画像解析情報格納部１１０５から画像解析情報を取得して、設定する。
【００６８】
Ｓ１２０２にて、画像得点化部２０７は、シーン格納部１１０６にて用意されていたシーン分類方法を元に、シーン判定部１１０７で分類された画像の撮影シーンを、各画像群に対して設定する。本実施形態では、旅行シーン、日常シーン、セレモニーシーンのいずれかが設定される。
【００６９】
Ｓ１２０３にて、画像得点化部２０７は、得点化軸を設定する。つまり、上記の図１１の例によれば、画像得点化部２０７は、得点化部Ａ１１０９−Ｃ１１１１のうち、いずれの得点化部が得点化処理を実行すべきかを設定する。後述するＳ１２０６で、軸の数だけループを行うが、最初のループでは得点化軸を得点化部Ａ１１０９、次のループでは得点化部Ｂ１１１０、最後のループでは得点化部Ｃ１１１１が設定される。ここで、Ｓ１２０２で設定した画像の撮影シーンＩＤをｉ（ｉ＞０）とし、得点化軸の番号をｊ（ｊ＞０）とすると、得点化軸はｅｉ，ｊと示すことができる。
【００７０】
Ｓ１２０４にて、画像得点化部２０７は、設定された画像の撮影シーンにおける、各得点化軸において要求されるパラメータを設定する。上述したように、パラメータ設定部１１０８で、撮影シーンに対応したパラメータが決定されるので、それをこのステップで設定する。例えば、シーン分類が結婚式のシーンであって、得点化軸が得点化部Ａ１１０９の場合、結婚式画像でメインスロット１００２の得点を算出するために機械学習されたパラメータを、ここで設定する。シーンや得点化軸が変わるごとに、それに応じたパラメータを設定する。
【００７１】
Ｓ１２０５にて、画像得点化部２０７は、設定されたパラメータに従って得点化を行う。得点化は、設定されたｎ個（ｎ＞０）のパラメータ、および、各パラメータに対応付けられた閾値Ｔｈおよび重みＷ情報を用いる。Ｓ１２０１にて取得した画像の解析情報と判定閾値Ｔｈｎ，ｅｉ，ｊとを比較し、パラメータ値が判定閾値Ｔｈｎ，ｅｉ，ｊを上回っていれば、判定重みＷｎ，ｅｉ，ｊを画像の各得点軸における得点に加算する。加算された累積値をＳｉ，ｊとすると、Ｓｉ，ｊが最終的な得点となる。このように各得点軸における最終的な得点には、各パラメータが持つ判定重みＷの累積加減算値を与える。
【００７２】
なお、得点化軸によっては重みが０であるパラメータ（使用しないパラメータ）も存在してもよい。一方、どの撮影シーンや得点化軸であっても重視すべきパラメータは、共通で使用されてもよい。
【００７３】
最後に、Ｓ１２０６にて、画像得点化部２０７は、得点化軸が最後か否かを判定する。最後でない場合は（Ｓ１２０６にてＮＯ）Ｓ１２０３へ移動する。最後であれば（Ｓ１２０６にてＹＥＳ）本処理フローを終了する。以上の処理により、本実施形態の例によれば、得点化の対象画像に対してメインスロット１００２に対応する得点、サブスロット１００３に対応する得点、サブスロット１００４に対応する得点が算出される。
【００７４】
図８（Ｂ）は、得点化処理により、各画像に対して取得されたメインスロット得点、サブスロット得点の例を示す。各得点化軸における得点を求めることで、所望の条件に合致した画像が、他の画像とどれほどの優劣を持っているかを判断することができる。その際に、異なる得点化軸間であっても優劣の評価が行えるように得点の正規化を行ってもよい。
【００７５】
図４の説明に戻る。Ｓ４１３にて、画像得点化部２０７は、ユーザー指定の画像群の全画像に対してＳ４１２の得点化処理が終了したか否かを判定する。全ての画像に対して得点化処理が終了していない場合（Ｓ４１３にてＮｏ）はＳ４１２に戻る。終了している場合（Ｓ４１３にてＹｅｓ）はＳ４１４に移行する。
【００７６】
Ｓ４１４にて、見開き割当部２０９は、画像分類部２０５のシーン分割（Ｓ４０８）の分割数が、見開き数入力部２０８から入力される見開き数と同じか否かを判定する。同じでない場合（Ｓ４１４にてＮｏ）はＳ４１５に移行する。同じ場合（Ｓ４１４にてＹｅｓ）はＳ４１８に移行する。例えば、図６（Ａ）の例の場合、シーン分割数は“８”であり（（１）〜（８））、この時、見開き数入力部２０８の入力数が“８”であれば、Ｓ４１４にてＹＥＳと判定され、Ｓ４１８に移行する。
【００７７】
Ｓ４１５にて、見開き割当部２０９は、画像分類部２０５のシーン分割（Ｓ４０８）の分割数が、見開き数入力部２０８から入力される見開き数より少ないか否かを判定する。多い場合（Ｓ４１５にてＮｏ）はＳ４１７に移行する。少ない場合（Ｓ４１５にてＹｅｓ）はＳ４１６に移行する。例えば、図６（Ａ）の例の場合、シーン分割数は“８”であり、見開き数入力部２０８の入力数が“１０”であれば、Ｓ４１５にてＹＥＳと判定され、Ｓ４１６に移行する。
【００７８】
Ｓ４１６にて、見開き割当部２０９は、サブシーン分割を行う。サブシーン分割とは、シーン分割数＜見開き数の場合に分割されたシーンを更に細く分割することを指す。図６（Ａ）のシーン分割数が“８”に対して、指定された見開き数が“１０”の場合で説明する。図６（Ｂ）は、図６（Ａ）をサブシーン分割した結果である。破線矢印の箇所（２か所）で分割したことにより、分割数が“１０”となっている。分割の基準は以下の通りである。図６（Ａ）の分割の中で画像枚数が多い分割箇所を探す。ここでは、分割数を“８”から“１０”に増やす為、２つのシーン（画像群）を更に分割するものとし、画像枚数が多い２箇所を決める。図６（Ａ）に示す８つのシーン（画像群）のうち、属する画像が多い方から（５）、次に（１）と（２）である。（１）と（２）は同じ枚数の画像が属するが、（２）の方が最初の画像から最後の画像の時間差が大きい為、ここでは、（２）を分割対象とする。なお、同じ枚数の画像が属するシーンが複数ある場合に、いずれかを選択する際の基準はこれに限定するものではなく、他の基準を用いてもよい。ここでは、（５）と（２）をそれぞれ更に分割する。
【００７９】
まず、（２）の分割を説明する。図６（Ａ）に示すように、（２）には画像枚数の山（画像群）が２つあり、この２つの画像群は、撮影日が異なる。そこで、（２）に属する画像群において、山の谷間の位置である、図６（Ｂ）の破線矢印の箇所で分割する。次に、（５）の分割を説明する。図６（Ａ）に示すように、（５）には画像枚数の山（画像群）が３つあり、これは、３日連続で撮影された３つの画像群に対応する。ここで、撮影日が変わる箇所が２箇所あるが、分割後の枚数差が小さくなるように分割する。従って、（５）に属する画像群において、図６（Ｂ）の破線矢印の箇所で分割する。以上により、分割数を“８”から“１０”にする。なお、ここでは撮影日の違う箇所で分割したが、これに限定するものでは無い。例えば、画像枚数が多い画像群が単一日に属するものであった場合は、単一日の中で時間差が最大の箇所で分割するようにしてもよい。サブシーン分割の後、Ｓ４１８へ進む。
【００８０】
Ｓ４１７にて、見開き割当部２０９は、シーン統合をする。シーン統合とは、シーン分割数＞見開き数の場合に分割されたシーンを統合することを指す。図６（Ｃ）は、図６（Ａ）をシーン統合した結果である。破線の箇所（２か所）を統合したことにより、分割数が“６”となっている。統合の基準は以下の通りである。図６（Ａ）の分割の中で画像枚数が少ない分割箇所を探す。ここでは、分割数を“８”から“６”に減らす為、２つのシーンを他のシーンに統合するものとし、画像枚数が少ない２箇所を決める。図６（Ａ）に示す８つのシーン（画像群）のうち、属する画像が少ない方から（８）、（３）、（７）である。（３）と（７）は同じ枚数の画像が属するが、（７）に隣接する（８）がすでに統合対象として決定している為、（３）を統合対象とする。（８）と（３）をそれぞれ統合する。なお、同じ枚数の画像が属するシーンが複数ある場合に、いずれかを選択する際の基準はこれに限定するものではなく、他の基準を用いてもよい。
【００８１】
まず、（３）の統合を説明する。（３）の前後の（２）と（４）との時間差を比較すると、（３）と（４）の時間差の方が（２）と（３）の時間差よりも小さいため、ここでは、より時間差が小さい（３）と（４）とを統合する。したがって、図６（Ｃ）の破線の箇所で統合することとなる。次に、（８）の統合を説明する。（８）は後の画像群（シーン）がない為、前の（７）と統合する。その結果、図６（Ｃ）の破線箇所で統合する。シーン統合の後、Ｓ４１８へ進む。
【００８２】
Ｓ４１８にて、見開き割当部２０９は、見開き割当をする。Ｓ４１４〜Ｓ４１７にて、シーン分割数と指定見開き数は同じになっている。そこで、見開き割当部２０９は、撮影日時が先頭の分割から見開きの先頭に順に割り当てていく。
【００８３】
Ｓ４１９にて、ページ画像解析部２１６は、ページ毎の画像解析を行う。ページ画像解析部２１６は、見開き毎に割り当てられた画像を取得し、どの被写体が多く写っているか、どの被写体画像の得点が高いかといった解析を行う。ページ画像解析部２１６は、Ｓ４１８で見開き割当された画像群に対して、ページ（見開き）毎に例えば人物が写っている画像数やペットが写っている画像数をカウントする。または、ページ画像解析部２１６は、写っている被写体の大きさや人物の表情、ペットの推定された状態などを解析する。さらには、ページ画像解析部２１６は、Ｓ４０９で分類されたシーンに応じて画像毎の得点をページ毎に修正してもよい。例えば、任意の見開きページで結婚式と分類されていながら、結婚式の画像には現れにくい犬や猫がいたら、その画像の得点を下げるといった修正が挙げられる。また、類似画像が多く含まれている場合は、カウントから外してもよい。ここでの修正に関する基準は、上記に限定するものではなく、他の基準を用いてもよく、予め設けられた基準をユーザーが選択できるようにしてもよい。
【００８４】
Ｓ４２０にて、ページ優先モード設定部２１７は、Ｓ４１９でページ毎に画像解析した結果を用いて、ページ毎の優先モードを設定する。例えば、処理対象の見開きページに割り当てられる画像群の中で人物がペットよりも多く写っていれば、ページ優先モード設定部２１７は、そのページを人物優先モードと設定する。逆にペットが人物よりも多く写っていれば、ページ優先モード設定部２１７は、そのページをペット優先モードと設定する。更には、任意のページのシーンが結婚式であれば、ページ優先モード設定部２１７は、人物優先モードを設定する。また、ペット画像の数は少ないものの、ペットの被写体が大きく写っている画像が多ければ、ペット優先モードとしてもよい。逆に人物画像の数が少なくても、表情認識の結果、表情の得点が高い画像があれば、人物優先モードとしてもよい。例えば、人物画像とペット画像の数の判定→被写体を考慮した判定→シーン判定の順序で判定し、後に行われる判定の結果を優先することにより、人物優先モードまたはペット優先モードが設定されてもよい。なお、本実施形態におけるページとは、見開きページと読むこともできるし、見開きページを構成する各ページと読むこともできる。
【００８５】
Ｓ４２１にて、画像選択部２１０は、処理対象の見開きページに割り当てられた画像群の中から画像の選択処理を行う。画像選択部２１０は、Ｓ４２０にてページ毎に優先モードが設定された結果を取得し、設定された優先モードに従って画像を選択する。ここでは、ある見開きに割り当てられた画像群の中から４枚の画像を選択する例を、図９を用いて説明する。また、テンプレートは、図１０（Ａ）に示したテンプレート１００１を用いるものとする。
【００８６】
図９（Ａ）は、見開きに割り当てられた画像群の撮影日時的に最初の画像から最後の画像の時間差（分割撮影期間）を示している。図９（Ｂ）を用いて、１枚目を選択する方法を説明する。テンプレート１００１には１枚のメインスロット１００２がある。１枚目はメインスロット用の画像を選択する。図９（Ｂ）に示す分割撮影期間に対応する画像のうちＳ４１２で付けたメインスロット用の得点が最高点の画像を選択する。
【００８７】
２枚目以降は、サブスロット用の画像を選択する。画像選択において、分割撮影期間の一部に集中しないように、以下に説明するように分割撮影期間を細分化する。図９（Ｃ）のように分割撮影期間を２分割する。次に、図９（Ｄ）のように１枚目が選ばれていない実線の分割撮影期間に撮影された画像から２枚目を選択する。実線の分割撮影期間に対応する画像のうちサブスロット用の得点が最高点の画像を選択する。次に、図９（Ｅ）のように、図９（Ｄ）の各分割撮影期間を２分割する。図９（Ｆ）のように１枚目と２枚目が選ばれていない実線の分割撮影期間に対応する画像のうち、サブスロット用の得点が最高点の画像を３枚目として選択する。
【００８８】
次に、画像を選択する分割撮影期間に画像が存在せず、画像選択できない場合を、４枚目の選択を例に説明する。本例において、図９（Ｇ）のように、まだ画像が選ばれていない斜線の分割撮影期間から４枚目を選択したいが、この斜線の分割撮影期間には画像が存在しないものとする。そこで、図９（Ｈ）のように各分割撮影期間を２分割する。次に図９（Ｉ）のように１〜３枚目が選ばれていない実線の分割撮影期間に対応する画像のうちサブスロット用の最高点の画像を４枚目として選択する。
【００８９】
更に、Ｓ４０９のシーン分類とＳ４２０のページ毎の優先モード設定の組み合わせについて説明する。例えば、任意の見開きページが、「結婚式」というシーンに分類されたとする。その見開きページに割り当てられた画像群において人物画像とペット画像が同じ数だけ存在する場合、Ｓ４２０で人物優先モードに設定されることで、画像選択部２１０で人物画像が多く選択されるように処理を行う。
【００９０】
このようにメインスロットとサブスロットで、画像の異なる得点化軸によって得られた得点を使用することでレイアウトに選択される画像にバリエーションを持たせることができる。異なる判断基準の画像を選択することができるため、アルバムのマンネリ化を解消することが出来る。
【００９１】
Ｓ４１８〜Ｓ４２１の処理の具体例を図１３に示す。図１３（Ａ）は、見開き割当部２０９で分割された画像群を示す。１０枚の画像があり、そのうち人物画像が５枚であり、ペット画像が５枚である。Ｓ４１８にて、これらの画像を見開き割当して、１〜５枚目の画像が見開き１ページ目に、６〜１０枚目の画像が見開き２ページ目に割り当てられたとする。続いて、図１３（Ｂ）は、Ｓ４１９のページ毎画像解析で各見開きページを解析した結果を示す。見開き１ページ目の画像群は、人物画像よりもペット画像の方が多いと解析される。一方、見開き２ページ目は、結婚式のシーンであると分類されて人物画像の得点が高いと解析される。その結果、Ｓ４２０のページ毎優先モード設定で見開き１ページ目をペット優先モードと自動設定され、見開き２ページ目を人物優先モードと自動設定される。このようにして見開きページ毎に自動設定された優先モードに応じて、次のＳ４２１の画像選択にてレイアウトする画像が選択される。図１３（Ｃ）に示すように、見開き１ページ目ではペット画像が３枚選択され、見開き２ページ目では人物画像が２枚選択される。
【００９２】
つまり、画像選択部２１０は、見開きページに対して設定された優先モードに対応するオブジェクトを含む画像を優先的に選択する。そして、次の見開きページにおいて異なる優先モードが設定された場合、異なる優先モードに対応するオブジェクトを含む画像を優先的に選択する。このような処理により、変化のあるアルバムを作成することが可能となる。なお、本実施形態では、ページ単位に優先モードを切り替える例について説明したが、例えば、任意のページ単位に優先モードが設定されてもよい。
【００９３】
Ｓ４２２にて、画像レイアウト部２１２は、画像レイアウトを決定する。ここでは、テンプレート入力部２１１が、指定のテンプレート情報に従って、ある見開きに対し、図１０（Ａ）に示す（１−１）〜（４−４）の１６パターンのテンプレートを入力した例で説明する。ここでは、１のテンプレートは、１の見開きに対応し、２ページから構成されるものとする。なお、テンプレートのサイズはこれに限定するものではなく、１つのテンプレートが１のページ（見開きのうちの半分）に対応するようなものであってもよい。
【００９４】
入力されたテンプレートのスロット数はいずれも“３”である。また、選択されている３枚の画像を撮影日時に対して並べると、図１０（Ｂ）の通りであったとする。ここでは、画像１００５がメインスロット用に選択された画像であり、画像１００６、１００７がサブスロット用に選択された画像である。本実施形態で作成するレイアウトは、テンプレートの左上に撮影日時のより古い画像、右下に撮影日時のより新しい画像をレイアウトする。メインスロット用の画像１００５は撮影日時が一番新しい為、図１０（Ａ）に示す（（３−１）〜（３−４）のテンプレートが候補となる。サブスロット用の古い方の画像１００６が縦画像で、新しい方の画像１００７が横画像の為、（３−２）のテンプレートが、選択された画像に最も適したテンプレートとして選択される。
【００９５】
このとき、仮に（３−２）のテンプレートに対して、スロット数や各スロットの縦横、位置も合致しており、メインスロットの大きさが（３−２）のテンプレートよりも大きいテンプレートの例を図１４に示す。各スロットにおける画像の選定基準を画像同士の撮影日時の順序や縦横位置から決定し、なお、複数のテンプレート候補が存在した場合は、Ｓ４１３において決定した得点において各画像の得点差からテンプレートを選定する。例えば、メインスロットの得点が、複数のサブスロットの平均得点よりもある閾値を超えて高ければ、テンプレートはメインスロットがより大きいテンプレート１４０１を選択する。閾値を超えていなければ、（３−２）のテンプレートを選択する。その際に比較に使用する得点はメインスロット得点であってもサブスロット得点であってもよい。
【００９６】
本ステップで決まるのは、どの画像をどのテンプレートのどのスロットにレイアウトするかを識別できる情報である。なお、この時点で、選択したテンプレートのスロットの数と、選択した画像の数とが一致しない場合には、ユーザーに過不足となる画像を選択させるようにしてもよく、この場合、得点の高い画像を優先的に提示してもよい。また、同じシーンに分類された他の画像のうち、得点の高い画像を、更に自動で選択してレイアウトしてもよい。
【００９７】
Ｓ４２３にて、画像補正条件入力部２１３は、画像補正がＯＮかＯＦＦかの入力値を取得する。画像補正条件入力部２１３は、ここでの入力値に応じて、画像補正部２１４による画像補正を行うか否かを判定する。画像補正を行う場合（Ｓ４２３にてＹｅｓ）は、Ｓ４２４に移行する。画像補正を行わない場合（Ｓ４２３にてＮｏ）は、Ｓ４２５に移行する。
【００９８】
Ｓ４２４にて、画像補正部２１４は、画像補正を行う。画像補正条件入力部２１３からＯＮで入力された場合は、画像補正部２１４は画像補正を実施することとなる。画像補正は、覆い焼き補正、赤目補正、コントラスト補正を自動で実施する。一方、画像補正条件入力部２１３からＯＦＦで入力された場合は、画像補正部２１４は画像補正を実施しない。補正する画像の画素数は短辺が１２００画素であり、ｓＲＧＢの色空間に変換した画像に対して画像補正ＯＮ／ＯＦＦを実施する。このとき、各補正処理それぞれに対して、ＯＮ／ＯＦＦが指定されている場合には、指定された補正処理のみ実施するようにしてもよい。
【００９９】
Ｓ４２５にて、レイアウト情報出力部２１５は、レイアウト情報を作成する。Ｓ４２２で決定したテンプレートの各スロットに、決定した画像もしくはＳ４２４にて画像補正を行った画像をレイアウトする。このとき、レイアウト情報出力部２１５は、スロットのサイズ情報に合わせて画像を変倍する。レイアウト情報出力部２１５は、テンプレートに画像をレイアウトしたビットマップデータを生成する。
【０１００】
Ｓ４２６にて、ページ画像解析部２１６は、Ｓ４１９〜Ｓ４２５が全ての見開きに対して終了したか否かを判定する。終了していない場合（Ｓ４２６にてＮｏ）はＳ４１９に戻る。終了している場合（Ｓ４２６にてＹｅｓ）は自動レイアウト処理を終了する。
【０１０１】
以上、本実施形態では、ページ毎に割り当てられた画像を解析して、優先モードを自動で設定し、その結果に応じてページ毎に画像を選択した。なお、複数のページを１セットとして優先モード設定を行ってもよい。例えば、２０ページのアルバムにおいて、アルバムに起承転結のバリエーションを持たせるために４つのシーンに分割する。分割された４つのシーン（５ページで１セット）毎にページ毎画像解析を行って、それぞれのシーンに優先モードを設定する。つまり、ページ単位ではなく、複数ページ単位に優先モードが設定されてもよい。この構成により、見開きページ単位ではなく、ある程度のまとまりをもった所定のページ単位で同じ被写体の画像をレイアウトすることができ、起承転結のバリエーションを持ったアルバムを作成することができる。このとき、まとまりとなるページ単位をユーザーが指定できるようにしてもよい。例えば、見開き単位にて優先モードを設定するか、所定のページ数の単位にて優先モードを設定するかを、表示画面を介してユーザーが設定できるようにしてもよい。所定のページ数の単位にて優先モードを設定する場合には、更にそのページ数を指定できるようにしてもよい。
【０１０２】
また、設定された優先モードに応じて、見開きページの順序を入れ替えてもよい。図１５（Ａ）において、５ページ分の見開きページがあり、１、２、４ページ目がペット優先モード、３、５ページ目が人物優先モードと自動設定されたとする。この場合、アルバム全体でみると、ペット優先モードのページと人物優先モードのページが混在していて、まとまりがなくなる。そのため、図１５（Ｂ）のように３ページ目と４ページ目を入れ替える。この構成により、ペット優先モードが設定されたページをアルバムの前半に、人物優先モードが設定されたページをアルバムの後半にまとめることができる。この結果、アルバム全体が被写体別にまとまり、ユーザーはまとまってレイアウトされたアルバムの閲覧を楽しむことができる。なお、このページ入れ替え処理は、Ｓ４２５のレイアウト情報作成で行えばよい。つまり、Ｓ４２０のページ毎優先モード設定で各ページの優先モード情報が取得できるので、Ｓ４２４の画像補正まで終了した後に、Ｓ４２５のレイアウト情報作成で優先モード毎にページをまとめるよう入れ替えればよい。
【０１０３】
第１実施形態で記載した手法によると、見開き割当されたページ毎に画像解析を行い、ページ毎に優先モードを設定する。それに応じて画像選択を行うことで、見開きページ毎に被写体がまとまったアルバムを作成できる。
【０１０４】
＜第２実施形態＞
第１実施形態では、見開きページ毎に自動で優先モードを設定した。第２実施形態では、ユーザーが手動で優先モードを設定する方法について述べる。第１実施形態にて述べた図４では、Ｓ４１９にて見開き割当されたページに対してページ毎に画像を解析し、Ｓ４２０にてページ毎の優先モードを設定した。第２実施形態では、これらの２つのステップが手動となる。
【０１０５】
まず、図１６に第２実施形態の表示画面を示す。第１実施形態にて述べた図３の表示画面との差異として、本実施形態に係る表示画面は、ページ番号ボックス３１０および優先モード選択ボタン３１１を更に備える。ページ番号ボックス３１０は、ユーザーが優先モードを選択したいページ番号を入力する。ここで入力するページ番号は、１ページずつのページ番号でもよいし、見開きページ番号でもよい。優先モード選択ボタン３１１は、ページ番号ボックス３１０で指定されたページの優先モードを選択するボタンである。図１６では、人物画像を優先的に選択させる人物優先モードと、ペット画像を優先的に選択させるペット優先モードを示している。このいずれかのボタンを選択することで、図１７に示したアルバム作成条件指定部２０１で選択された優先モードが設定され、その情報がページ優先モード設定部２１７に送られる。つまり、第１実施形態にて述べた図２の構成との差異として、図１７では、アルバム作成条件指定部２０１からページ優先モード設定部２１７への入力が生じる。
【０１０６】
［処理フロー］
図１８を用いて、本実施形態に係る処理フローを説明する。なお、第１実施形態にて述べた図４の処理と同じ処理については、同じ参照番号を付し、説明を省略する。処理開始直後のＳ４０１からＳ４１８までは第１実施形態と同じである。第２実施形態では、Ｓ４１９およびＳ４２０の代わりにＳ１８０１の処理が行われる。
【０１０７】
Ｓ１８０１にて、アルバム作成条件指定部２０１は、Ｓ４１８で見開き割当が行われたページ毎に、ユーザーから全ページに対する優先モードの設定を受け付ける。画像選択部２１０は、その設定結果に基づいて、Ｓ４２１にてページ毎に画像選択を行う。ここで、一部のページのみに優先モードを設定してもよい。その場合、優先モードを設定しなかったページにおいては、例えば、画像選択部２１０は、見開き割当された画像のうち得点の高い画像から選択する。
【０１０８】
また、本実施形態の別の構成の処理フローを図１９に示す。図１９では、図１８にて示したＳ１８０１の工程が、Ｓ４０１の工程の直後に行われる構成である。つまり、ユーザーが手動で優先モードを設定するのは、Ｓ４０１でページ数を指定した直後でもよい。
【０１０９】
仮に、ユーザーがアルバムのページ数を２０ページと指定したとする。そして、次のＳ１８０１にて、例えば、１〜１０ページはペット優先モード、１１〜２０ページは人物優先モードというように設定する。ここで設定した優先モード情報を元にＳ４０２〜４１３で画像解析した後、Ｓ４１８にて見開き割当を行う。
【０１１０】
詳しく説明すると、Ｓ４１８の見開き割当処理は、１〜１０ページにペット画像が多く含まれるようページを割り当てて、１１〜２０ページに人物画像が多く含まれるようページを割り当てる。一例としては、入力された画像群のうち、時系列順にペット画像と人物画像の分布を調べて、時系列の前半部分にペット画像が多く、後半部分に人物画像が多くあれば、画像群をペット画像と人物画像の分布が切り替わる日時で分割すればよい。分割した前半部分の画像を用いて１〜１０ページ目のレイアウトを作成し、後半部分の画像を用いて１１〜２０ページ目のレイアウトを作成する。このとき、前半部分にペット画像がない場合には、表示画面３０１にペット画像がないためレイアウトを作成できないという旨の警告メッセージを表示してもよい。もしくは、画像が選択できない優先モードは表示させないようにしてもよい。
【０１１１】
また、図２０のように、表示画面に優先モード設定ボタン３１２を設けるようにしてもよい。優先モード設定ボタン３１２は、ページ毎にどの優先モードを指定するかを、自動で設定するか手動で設定するかを選択するボタンである。優先モード自動設定が選択されると、ページ毎の優先モードが自動で設定される。一方、優先モード手動設定が選択されると、ユーザーがページ毎に優先モードを設定できるようになる。
【０１１２】
第２実施形態の構成により、ユーザーが手動で見開きページ毎に優先モードを設定することが可能となる。それに応じて画像選択を行うことで、見開きページ毎に被写体がまとまったアルバムを作成できる。
【０１１３】
＜その他の実施形態＞
本実施形態においては、アルバム作成アプリケーションを想定した例により説明したが、画像群における撮影シーンから適切な画像を選択・表示するための画像評価処理であってもよい。
【０１１４】
また、据え置き型のパーソナルコンピュータやゲーム機等にて実現することに限定するものではなく、例えば、持ち運び可能なスマートデバイス上においても、同様の構成を実現してもよい。また、本願発明は、例えば、サーバー内に保存されている画像を利用もしくは画像をアップロードすることにより、同様の構成を実現してもよい。
【０１１５】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１１６】
２０１…アルバム作成条件指定部、２０２…画像取得部、２０４…画像変換部、２０９…見開き割当部、２１７…ページ優先モード設定部、２１０…画像選択部、２１２…画像レイアウト部
【図１】
2018097491.tif 000003
【図２】
2018097491.tif 000004
【図３】
2018097491.tif 000005
【図４】
2018097491.tif 000006
【図５】
2018097491.tif 000007
【図６】
2018097491.tif 000008
【図７】
2018097491.tif 000009
【図８】
2018097491.tif 000010
【図９】
2018097491.tif 000011
【図１０】
2018097491.tif 000012
【図１１】
2018097491.tif 000013
【図１２】
2018097491.tif 000014
【図１３】
2018097491.tif 000015
【図１４】
2018097491.tif 000016
【図１５】
2018097491.tif 000017
【図１６】
2018097491.tif 000018
【図１７】
2018097491.tif 000019
【図１８】
2018097491.tif 000020
【図１９】
2018097491.tif 000021
【図２０】
2018097491.tif 000022