(57)【要約】【課題】  アルバムテンプレートに画像を配置する際の手間を軽減させる。【解決手段】  画像をテンプレート上の画像枠に配置する情報処理装置であって、画像上の所定位置を特定する特定手段と、前記所定位置が前記画像枠外に配置されるように前記画像を前記画像枠に配置する配置手段とを備えることを特徴とする情報処理装置を提供する。【選択図】  図１
2012043218.tif 000002
【特許請求の範囲】
【請求項１】
画像をテンプレート上の画像枠に配置する情報処理装置であって、
画像上の所定の評価が付されている所定位置を特定する特定手段と、
前記所定位置が前記画像枠外に配置されるように前記画像を前記画像枠に配置する配置手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記特定手段は、前記所定位置として画像上の表示すべきでない位置を特定すると共に、当該画像上の表示すべき位置も特定し、
前記配置手段は前記表示すべきでない位置が前記画像枠外に配置され、かつ、前記表示すべき位置が前記画像枠内に配置されるように前記画像を前記画像枠に配置することを特徴とする請求項１記載の情報処理装置
【請求項３】
前記配置手段は前記表示すべき位置を前記画像枠内に配置すると前記表示すべきでない位置が前記画像枠内に配置されてしなう場合は、当該表示すべきでない位置を前記画像枠内に配置することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記特定手段により特定された所定位置に基づき、画像を前記画像枠に配置する際の当該画像の画像処理を決定する処理決定手段とをさらに備え、
前記配置手段は、前記処理決定手段に決定された画像処理を施して画像を前記画像枠に配置することを特徴とする請求項１乃至３いずれか１項記載の情報処理装置。
【請求項５】
前記特定手段は、前記所定位置として画像上の表示すべきでない位置を特定すると共に、当該画像上の表示すべき位置も特定し、
前記画像枠に画像を配置した際に前記画像枠内に表示される前記表示すべきでない位置と前記表示すべき位置とに基づき、前記画像枠に配置する画像を評価する評価手段とをさらに備え、
前記配置手段は、前記評価手段による評価に基づき前記画像枠に配置する画像を決定することを特徴とする請求項１記載の情報処理装置。
【請求項６】
前記配置手段は、前記評価手段による評価がテンプレート全体として高くなるように前記画像枠それぞれに対して配置する画像を決定することを特徴とする請求項５記載の情報処理装置。
【請求項７】
複数の画像に対する前記評価手段による前記評価に基づき前記画像枠に配置する候補となる画像群を決定する候補画像決定手段と、
前記候補となる画像群から前記配置手段が配置する画像をユーザの操作に基づき選択する選択手段をさらに備えることを特徴とする請求項５記載の情報処理装置。
【請求項８】
前記配置手段により画像が配置された前記テンプレートまたは前記候補画像決定手段により決定された配置する候補となる画像群を表示装置に表示させる表示制御手段とをさらに備えることを特徴とする請求項７記載の情報処理装置。
【請求項９】
前記特定手段により特定された前記所定位置に基づき、前記テンプレートの構成を書き換える書き換え手段を更に有することを特徴とする請求項１乃至８いずれか１項記載の情報処理装置。
【請求項１０】
前記特定手段により特定される前記所定位置は、画像に付与されたコメントの内容から、または前記コメントが付与された画像上の位置から特定されることを特徴とする請求項１乃至９いずれか１項記載の情報処理装置。
【請求項１１】
画像をテンプレート上の画像枠に配置する情報処理装置であって、
画像上の所定の評価が付されている所定位置を特定する特定手段と、
前記所定位置が表示されないように前記画像を前記画像枠に配置する配置手段と
を備えることを特徴とする情報処理装置。
【請求項１２】
前記配置手段は、複数の画像を重ね合わすことにより、前記所定位置を隠すように前記複数の画像を配置することを特徴とする請求項１１記載の情報処理装置。
【請求項１３】
前記配置手段は、複数の画像枠を重ね合すことにより、前記複数の画像を重ね合わすことを特徴とする請求項１２記載の情報処理装置。
【請求項１４】
画像をテンプレート上の画像枠に配置する情報処理方法であって、
画像上の所定位置を特定する特定ステップと、
前記所定位置が前記画像枠外に配置されるように前記画像を前記画像枠に配置する配置ステップと
を備えることを特徴とする情報処理方法。
【請求項１５】
請求項１４記載の方法を情報処理装置に実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をテンプレート上に配置するための情報処理装置に関する。
【背景技術】
【０００２】
従来、スタジオ等で撮影した画像をインターネット上のサーバに登録し、顧客の家庭にあるＰＣからＷｅｂ等を通じて画像を閲覧させ、フォトブックを作成するサービスが普及している。しかしながら、フォトブックの作成において、画像のディジタル化に伴い撮像画像が増大したことで、画像の選択やレイアウトにユーザの手間が生じている。
【０００３】
上記のようなフォトブックの作成におけるユーザの作業を補助する方法として、配置すべき画像を提示、自動的にレイアウトする方法が提案されている。
【０００４】
例えば、画像の日付順や優先度順にアルバムの先頭から最後まで自動的にレイアウトする技術がある。また例えば、画像のメタデータが有するキーワードとアルバムのテンプレートが有するキーワードとを用いて、画像をテンプレートに配置する技術が開示されている（特許文献１）。また例えば、テンプレートごとに予め定められているテンプレート属性情報（撮影情報、被写体情報等）と、画像を解析し生成した画像属性情報とをもとに、画像を抽出してテンプレートと合成する技術が開示されている（特許文献２）。また、特許文献２では画像中の特徴点の位置と、予め定められたテンプレートの合成位置に一致させて自動合成する技術も開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−４９９０７号公報
【特許文献２】特開２００６−２７７０６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、画像の日付順や優先度順に自動的にレイアウトする技術では、画像枠の形が配置される画像に不適切な場合があり、画像の重要な部分が隠される場合があった。つまり、配置する画像の画像枠内での配置サイズ・配置位置・枠に適する画像処理などはユーザが一から手動で行う必要があった。また、上述した特許文献１に開示された技術でも、配置する画像の画像枠内での配置サイズ・配置位置・枠に適する画像処理などは考慮されていない。また、上述した特許文献２に開示された技術では、撮影の構図、特徴点の撮影サイズなどが予め決められた撮影画像に対して、テンプレート枠上の位置合わせを有効に行うことができる。しかしながら、異なる構図で撮影された画像や、撮影画像上の不適切な部分については考慮していない。そのために、画像合成の結果、必要な部分が画像枠からはみ出してしまったり、画像上の不適切な部分がそのまま表示されたりすることがあった。つまり、配置する画像の画像枠内での配置位置については改善の余地がある。
【課題を解決するための手段】
【０００７】
本発明は上述した課題に鑑み、画像をテンプレート上の画像枠に配置する情報処理装置であって、画像上の所定の評価が付されている所定位置を特定する特定手段と、前記所定位置が前記画像枠外に配置されるように前記画像を前記画像枠に配置する配置手段とを備えることを特徴とする情報処理装置を提供する。
【発明の効果】
【０００８】
本発明によれば、所定の評価が付されている位置がテンプレートの画像枠の外に配置されるように画像を自動配置するので、例えば低い評価が付されている位置を画像枠から外して画像を自動配置できる。したがって、自動配置後に低い評価の位置を画像枠から外す手間が省け、ユーザのアルバム作成作業を簡便化することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る情報処理装置の機能構成の一例を示す図である。
【図２】本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【図３】本実施形態に係る情報処理装置の全体処理の一例を示すフローチャートである。
【図４】画像配置方法決定処理の一例を示すフローチャートである。
【図５】配置対象画像とアルバムテンプレートの一例を示す図である。
【図６】配置画像処理決定処理の一例を示すフローチャートである。
【図７】配置画像処理決定処理および配置適当度算出処理の結果の一例を示す図である。
【図８】配置候補画像決定処理の一例を示すフローチャートである。
【図９】画像配置方法決定処理の結果の一例を示す図である。
【図１０】アルバムテンプレートの一例を示す図である。
【図１１】図１０のアルバムテンプレートを用いた配置画像処理決定処理および配置適当度算出処理の結果の一例を示す図である。
【図１２】図１０のアルバムテンプレートを用いた画像配置方法決定処理の結果の一例を示す図である。
【図１３】画像枠を選択した場合に配置候補画像列を一覧リストで表示する一例を示す図である。
【図１４】実施形態３における画像配置方法決定処理の結果の一例を示す図である。
【図１５】様々なルールで決定された画像処理結果の配置候補画像の一覧を表示する一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を用いて、本発明の最適な実施の形態に係る装置に基づいて、本発明を詳細に説明する。
【００１１】
（第１の実施形態）
本実施の形態では、予め画像枠の配置が定められたアルバムテンプレートに対して、画像に所定の評価として付与されたコメントに基づき、適切な画像処理を施したレイアウトの候補をユーザに提示する。本実施形態に係る情報処理装置の機能構成の一例を図１に示す。情報処理装置１０１は記憶部１０２、方法決定部１０３、操作部１０６、表示部１０７、画像処理部１０８から構成される。また、方法決定部１０３は処理決定部１０４、画像決定部１０５から構成される。
【００１２】
情報処理装置１０１はネットワークまたは外部記憶装置を介して入力されたコメントが付与された画像を予め画像枠の配置が定められたアルバムテンプレートに対して配置する情報処理装置である。記憶部１０２は、情報処理装置１０１に入力されたコメント付き画像やアルバムテンプレートを記憶する記憶装置である。方法決定部１０３は、入力された画像のコメントの解析結果と画像枠の形状などを基に、アルバムテンプレート中に画像を配置する方法を決定する。例えば、テンプレートへの画像配置方法をとして、画像枠に配置すべき画像と画像に施す画像処理を決定することが可能である。処理決定部１０４は、アルバムテンプレート中の画像枠と配置対象画像のコメントをもとに、該画像枠に候補画像を配置する際に施すべき画像処理を決定する。また合わせて結果を出力する際に、該画像処理を施して配置した場合の画像の配置適当度（点数）を算出して出力することもできる。例えば、配置適当度は配置候補画像のコメントが画像の特定部位の評価をしめす場合、画像全体の配置適当度は、画像枠内の画像領域中のコメント群の持つ評価の総和によって示すことが出来る。画像決定部１０５は、処理決定部１０４の出力結果を基に、画像枠への配置がふさわしい画像（配置候補画像）を決定する。配置がふさわしい画像（配置すべき画像）としては、配置対象画像のうち配置適当度の点数が高い画像であることが好適である。また、配置がふさわしい画像として、配置対象画像を配置適当度の点数の高い順に整列させた画像群を決定し提示する方法も好ましい。また配置がふさわしい画像としてある点数を指定し、その点数以上の画像、あるいは画像群を決定する方法も好ましい。
【００１３】
１０６は操作部であり、ユーザからの指示を装置内に入力する。１０７は表示部であり、アルバムテンプレート中の画像枠に配置すべき配置候補画像や画像が配置されたアルバムテンプレートの表示制御を行う。１０８は画像処理部であり、方法決定部１０３で決定された配置候補画像に決定された画像処理を実行する。そして、画像処理を実行した配置候補画像を表示部１０７に渡し、表示部１０７はその画像処理が施された配置候補画像を画像枠に配置し表示する。
【００１４】
本実施形態におけるハードウェア構成の一例を示すブロック図を図２に示す。２０２はＣＰＵであり、各種処理のための演算や論理判断等を行い、バス２０１に接続された各構成要素を制御する。本装置には、プログラムメモリとデータメモリを含むメモリが搭載されている。ＲＯＭ  ２０３はプログラムメモリとして動作し、後述する各フローチャートに示す処理手順を含むＣＰＵによる制御のためのプログラムを格納する。ＲＡＭ  ２０４はＣＰＵ２０２のワークメモリとして動作する。なお、プログラムメモリはＲＯＭ  ２０３であっても良いし外部記憶装置などからプログラムがロードされるＲＡＭ  ２０４であっても良い。図１の方法決定部１０３（処理決定部１０４、画像決定部１０５）、画像処理部１０８はＣＰＵ２０２、ＲＯＭ  ２０３、ＲＡＭ  ２０４から構成される。２０５はユーザからの情報を入力するための入力装置であり、この装置はマウス、タッチパネル、キーボードなどがある。操作部１０６は入力装置２０５等から構成される。２０６はＣＲＴや液晶表示器などの表示装置である。表示部１０７は表示装置２０６等から構成される。２０７はＨＤＤ等の記憶装置であり、コメント付き画像やアルバムテンプレートを記憶している。記憶部１０２は記憶装置２０７等により実現される。
【００１５】
なお、本実施形態では、本発明内容を含む情報処理プログラムコードがＲＯＭ  ２０３または記憶装置２０７に格納されており、ＣＰＵ２０２によって実行される。ユーザはキーボード、マウスなどの入力装置２０５を用いて操作し、表示装置２０６において結果を見ることができる。
【００１６】
ここで、記憶部１０２が保持しているコメント付き画像およびアルバムテンプレートの一例を図５に示す。コメント付き画像である画像１、画像２、画像３各々には、所定の評価として５０１〜５０７までのコメントが付されている。コメントの種類は付与されているマークの種類によって示され、マークが付与されている画像上の部位がそのコメントを示す特定領域（特定部位）であるとする。コメントとして画像全体、あるいは画像の特定部位をレーティングするようなものが合っても良い。本実施形態においては、星型マーク５０１，５０２，５０３，５０４，５０６がその部位が”良い”とするプラスのコメントを意味し、×マーク５０５，５０７はその部位が”よくない”とするマイナスのコメントを意味する。本実施形態では、画像枠に配置する際にプラスのコメントを表示すべき領域、マイナスのコメントを表示すべきでない領域とする。
【００１７】
なお、コメントの具体的な内容を図示していないがプラスのコメントの一例としてはピント等の撮影状況に関する「ピントが合っている」や被写体の状態を示すような「きれい」等があげられる。また、マイナスのコメントの一例としては「ブレが生じている」等があげられる。さらに、画像（全体）に対してのコメントは例えば「風景」「ポートレート」等の撮影対象を示したものや「全身」「顔」等の被写体の部位を示すものであっても良い。コメントは画像データのメタデータとして付与されていても良いし、画像データとは別の独自のデータとして、画像データと対応づけて記憶されていても良い。コメントに関するデータとしては、少なくとも画像上のコメントを付与する特定領域（特定部位）を示す座標情報（あるいは画像全体へのコメントであるかの情報）及びコメント内容を含んでいる。コメントの内容は、文字データとしてもよいし情報処理装置１０１がコメントの内容を認識可能な識別コードとして入力されていても良い。コメントはスタジオ等で撮影が行われた場合には、例えばスタジオスタッフにより事前に付与されているものとする。
【００１８】
一方、５００はアルバムテンプレートの一例である。アルバムテンプレート５００には、コメント付き画像をはめ込むための画像枠５１０、５２０、５３０の３つの画像枠があるとする。各画像枠は、画像枠の位置、サイズ、形状などの情報をもっていることとする。
【００１９】
以上のような構成からなる本実施形態に係る情報処理装置の動作を図を参照して説明する。具体的には、予め画像枠の配置が定められたアルバムテンプレートに対して、入力されたコメント付き画像のコメントを基に、テンプレート中の画像枠に配置する候補画像を決定する方法の例を示す。また、本実施形態においては、入力された画像について、画像枠に対する評価である配置適当度を算出し、その点数をもとに各画像枠への配置がふさわしい画像を決定し、その画像を自動的にテンプレート上の画像枠へ配置する例を示す。
【００２０】
図３は本実施形態のおける全体の処理の流れを示すフローチャートである。まずＳ３０１において、情報処理装置１０１はユーザの操作部１０６を介した入力に基づき配置対象とするコメント付き画像群を選択する。コメント付き画像は、情報処理装置１０１が管理している画像データであり、本実施形態では、図１の記憶部１０２（図２中の記憶装置２０７内）に保持している。
【００２１】
続いてＳ３０２において、情報処理装置１０１はユーザの操作部１０６を介した入力に基づき画像を配置するアルバムテンプレートを選択する。アルバムテンプレートは、情報処理装置１０１が管理している画像データであり、本実施形態では、記憶部１０２（図２中２０７の記憶装置）内に保持している。Ｓ３０３において、方法決定部１０３はＳ３０１で選択されたコメント付き画像のなかから、Ｓ３０２で選択されたアルバムテンプレートの各画像枠に配置する候補画像と候補画像に施す画像処理を決定する画像配置方法決定処理を行う。
【００２２】
以下、図３のＳ３０３画像配置方法決定処理について図４に示すフローチャートを用いて詳細に説明する。Ｓ４０１において、方法決定部１０３はＳ３０１で選択されたコメント付き画像を、本処理の対象画像として取得する。本実施形態においては、コメント付き画像がｎ枚選択されたとして、対象画像をＩ１〜Ｉｎとしてあらわすことにする。Ｓ４０２において、方法決定部１０３はＳ３０２で選択されたアルバムテンプレート中に予め定義されている画像枠に関する情報を取得する。本実施形態おいては、画像枠がｍ個取得されたとして、画像枠をＦ１〜Ｆｍとしてあらわすことにする。
【００２３】
Ｓ４０３において、処理決定部１０４は取得された各画像枠Ｆ１〜Ｆｍについて、対象画像Ｉ１〜Ｉｎ各々を配置する場合に施すべき画像処理と、該画像処理を施して配置した際の評価である配置適当度の点数を算出する処理を行う。配置画像処理決定処理および配置適当度算出処理については図５、図６を用いて詳細に説明する。図６は本実施形態における配置画像処理決定処理および配置適当度算出処理の一例を示すフローチャートである。
【００２４】
Ｓ６０１において、処理決定部１０４はＳ４０２において取得されたテンプレート中の画像枠Ｆ１〜Ｆｍの中から、画像枠Ｆｘを１つ取得する。なお、ここでｘは初期値としてｘ＝１が与えられているとする。ここで図５のアルバムテンプレート５００を選択したとし、図５中の画像枠５１０、５２０、５３０の中から「Ｆｘ＝画像枠５１０」を取得したとして以下説明を行う。
【００２５】
Ｓ６０２において、処理決定部１０４はＳ４０１において取得された配置対象画像Ｉ１〜Ｉｎの中から、画像Ｉｙを１つ取得する。ここでｙは初期値としてｙ＝１が与えられているとする。なお、図５中の画像１，２，３を配置対象画像とし「Ｉｙ＝画像１」を取得したとして以下説明を行う。Ｓ６０３において、処理決定部１０４は画像Ｉｙのコメント情報及び画像枠Ｆｘに関する情報を取得する。ここで、処理決定部１０４は画像１のメタデータ等を参照してコメントが付された領域の座標情報やコメントの内容を取得する。また、処理決定部１０４は画像枠５１０と対応づけられて記憶されているデータを参照し、画像枠の位置、サイズ、形状等の情報を取得する。続くＳ６０４において、処理決定部１０４はＳ６０３において取得した情報の解析を行う。ここでは、取得したコメントの内容を解析し、プラスのコメントであるかマイナスのコメントであるか等の判別を行う。コメントの内容の判別は自然言語処理技術（周知の技術）や予め情報処理装置１０１が保持している識別コードのテーブルを参照することで実現することが出来る。つまり、処理決定部１０４はコメントを解析し、所定位置として表示すべき領域と表示すべきでない領域を解析し特定する。処理決定部１０４は画像に付与されたコメントの内容がプラスかマイナスであるかをそのコメントの付与されている特定部位の位置情報と対応づけてＲＡＭ２０４に記憶する。
【００２６】
続くＳ６０５では、対象画像を画像枠に配置する際の画像処理方法の組み合わせ方を定めるルールを取得する。つまり、前述したＳ６０４で画像上の所定位置として特定した対象画像のプラスコメントやマイナスコメントが付された特定部位の位置関係や画像枠の形状から表示、非表示にする領域を定めるルールを取得する。本実施形態で定められているルールとして以下のようなものであるとする。「優先順位１  画像の表示されない部分が少なくするかつできるだけ配置される画像中のマイナスコメントの部位を表示しない。」「優先順位２  できるだけプラスコメントが多く表示する。」「優先順位３  優先順位１と優先順位２のルールを満たしつつできるだけ少ない処理回数。」このようなルールに基づき画像処理を決定すれば、マイナスコメントがあるような表示すべきでないと特定された画像の領域を隠すようにテンプレート上の画像枠外に隠すように配置することが可能となる。また、できるだけ少ない処理回数かつできるだけ画像の表示されない部分が少なくするのでオリジナル画像の構図を尊重してアルバムに用いることが可能となる。これ以外にも、例えば、コメントに優劣のレベルがある場合には、「ある一定以上のプラスコメントの部位だけができるだけ拡大されて表示されるようにするような画像処理方法」としても良い。このようなこのようなルールに基づき画像処理を決定すれば、プラスコメントがあるような画像の表示すべき良い領域を強調してアルバムに用いることが出来る。また、ユーザが画像処理方法の組み合わせ方を定めるルールを選択して定める構成としてもよい。この場合、ユーザは操作部１０６を操作してルールを選択し、処理決定部１０４は選択されたルールに基づき、画像処理方法の組み合わせを決定する。このようにユーザがルールを決定できるので、ユーザの好みや画像に則した自動レイアウトが可能となる。また、予めプログラム上等で定められたルールに従い画像処理方法の組み合わせ方を決定しても良い。
【００２７】
続くＳ６０６では、処理決定部１０４は解析したコメントの内容と画像枠の情報に基づき、現在対象としている画像枠に該画像を配置する際に施すべき画像処理を決定する。このステップでは、対象画像が画像枠にルールに従い配置されるように装置が実行可能な画像処理の組み合わせを決定する。本実施形態の場合、決定される画像処理は、「変倍（拡大・縮小）」「移動（切り出し）」のみとする。ここで、「移動」処理とはアルバムテンプレートの画像枠に対象画像を当てはめる際の対象画像上の画像枠の位置を定める処理をいう。これ以外にも、画像の「回転」等の変換処理や画像の「輝度調整」などの画像の見栄えを良くするコメントに基づいた画像補正処理を対象としても良い。
【００２８】
Ｓ６０１において取得した画像枠「Ｆｘ＝画像枠５１０」における対象画像「Ｉｙ＝画像１」を配置する場合を例として説明する。まず、処理決定部１０４は対象画像「Ｉｙ＝画像１」に付されたコメント解析結果を取得する。図５に示す通り、画像１には付与されているコメント５０１、５０２共にプラスのコメントである。続いて、処理決定部１０４は画像枠「Ｆｘ＝画像枠５１０」と対象画像「Ｉｙ＝画像１」の形状を比較する。画像枠「Ｆｘ＝画像枠５１０」と対象画像「Ｉｙ＝画像１」の縦横比が同じであるので、前述した優先順位１のルールより、処理決定部１０４は対象画像「Ｉｙ＝画像１」を画像枠「Ｆｘ＝画像枠５１０」に合わせて“拡大”するとする。また、この処理で優先順位２、３に示したルールを満たすので“拡大”する画像処理が最適であると判断される。例えば、対象画像と画像枠の縦横比が異なる場合には、まず、優先順位１のルールより対象画像の縦あるいは横の長さのうち、短いほうの辺の長さが画像枠の対応する辺の長さと同じになるまで拡大する。そののち、優先順位１の出来るだけマイナスコメントを表示しない、優先順位２、３のルールに従い画像に移動処理を施して、コメントに基づき画像枠に収まらない部分（隠れる部分）すなわち画像枠内に表示しない部分を決定するという処理が行われる。
【００２９】
続いて、Ｓ６０７において、処理決定部１０４はＳ６０６で決定された画像処理の組み合わせを配置対象画像Ｉｙに施し画像枠Ｆｘに配置した際の評価である画像枠Ｆｘに対する画像Ｉｙの配置適当度を算出する。本実施形態の場合は、プラスコメント部位が枠内に入っている場合にプラス１、マイナスコメント部位が枠内に入っている場合にマイナス１とする。画像枠「Ｆｘ＝画像枠５１０」に対象画像「Ｉｙ＝画像１」を配置する際の画像処理は拡大処理を施したのみである。したがって、対象画像「Ｉｙ＝画像１」に付されたコメントは全て画像枠「Ｆｘ＝画像枠５１０」上に表示されることとなる。したがって、「Ｆｘ＝画像枠５１０」に対する対象画像「Ｉｙ＝画像１」の配置適当度は図５中のプラスコメント５０１，５０２の和となり、配置適当度＝２となる。なお、前述したＳ６０５で取得したルールとＳ６０６で決定した画像処理の組み合わせに応じて適当度を算出する構成としても良い。例えば、画像中に複数のプラスコメントがあるが、ルールに基づき決定された画像処理では全てのプラスコメントが表示されない場合は、プラスコメントの点数をプラス０．５点にする等、重みづけを変更できる構成としても良い。同様に、処理回数が多くなるほどプラスコメントの一つあたりの点数の重みづけを低く設定する構成としてもよい。このように構成することで、画像処理の組み合わせを決定する際のルールに則した配置適当度を算出できるので、意図した画像処理が適切に行われているかを配置適当度に反映することが可能となる。
【００３０】
次にＳ６０８において、ＣＰＵ２０２は処理変数ｙをインクリメントして続くＳ６０９でｙとｎの大小を比較する。つまり画像枠に対して全ての配置対象画像のＳ６０２〜Ｓ６０７の処理が終わっているか判断する。全ての配置対象画像の処理が終わってなければ次の配置対象画像に対してＳ６０２からの処理を実行する。Ｓ６１０では全ての画像枠に対して処理が行われたかを判断する。全ての画像枠に対して処理が行われていない場合、Ｓ６１１において処理変数ｘをインクリメントし、ｙを初期値に戻し次の画像枠に対してＳ６０１からの処理を行う。そして、全ての画像枠に対して全ての配置対象画像に関する処理が終了したと判断された場合Ｓ６１２に進み、Ｓ６０６において決定された画像処理の組み合わせとＳ６０７によって算出された画像の配置適当度の点数を出力する。つまり、図４中Ｓ４０３配置画像処理決定処理の結果として、処理決定部１０４は決定した画像処理と算出した配置適当度の点数をＲＡＭ２０４に対応づけて記憶し、出力して処理を終了する。
【００３１】
以下、図６のＳ６０６の配置される画像に施すべき画像処理の決定方法とＳ６０８の配置適当度を算出する処理について、図５に示す画像１，２，３、画像枠５１０、５２０、５３０および図７を用いて詳細に説明する。
【００３２】
図７は各画像枠Ｆ１〜Ｆｍ＝５１０、５２０、５３０に対して対象画像Ｉ１〜Ｉｎ＝画像１、画像２、画像３を配置した場合に決定された施すべき画像処理と、その場合の配置適当度の点数を算出結果の例を示す図である。ここで、画像上の座標系は、最左、最上位置を（０，０）とし、左から右に移動するにしたがって、Ｘ座標が大きくなり、上から下に移動するにしたがって、Ｙ座標が大きくなるとする。
【００３３】
画像枠５１０に対する、画像１、画像２、画像３の配置する際の画像処理を施し表示される結果は図７中７０１に示される。７０２、７０３、７０４は、画像１、画像２、画像３の各々に対して図６のＳ６０６の処理で決定された画像処理の結果として画像枠内に表示される領域を示している。
【００３４】
前述のように、画像枠５１０と画像１のアスペクト比が同じであり、画像１中のコメントにはマイナスコメントがない。よって、画像１を画像枠５１０に配置する場合には、画像枠５１０に画像１が嵌まるように拡大する。このときの拡大率をＸ１１倍であるとすると、図６のＳ６０６の処理において、画像枠５１０に画像１を配置する際に施すべき画像処理は、「画像１のサイズを画像枠５１０にあわせるように、Ｘ１１倍変倍する」と決定される。この結果、画像１中の画像枠５１０内に入る領域は７０２のように表すことができる。このとき図６に示すＳ６０７の配置適当度算出処理の結果は、配置適当度点数＝２となる。これらの結果は図４のＳ４０３配置画像処理決定処理の結果として、図７中７０９のように出力される。７０９には、画像１を画像枠５１０に配置する場合、施すべき画像処理＝変倍（Ｘ１１）、配置適当度点数＝２であることを示す情報を有している。
【００３５】
画像枠５１０に画像２を当てはめる場合は、画像枠５１０と画像２の縦横比は同じであるが、画像２にはマイナスコメントが付されている。よって、画像２を画像枠５１０に配置する場合には、図６のＳ６０６の処理において施すべき画像処理として「画像上のマイナスコメントが付された領域を画像枠外に配置するように、変倍する」と決定される。そして、処理決定部１０４は、画像枠５１０のサイズ情報とマイナスコメントが付された特定部位の座標情報から変倍率を決定する。さらに、処理決定部１０４は、決定された変倍処理後にプラスコメントがより多く含まれる移動処理の有無を判定する。具体的には、画像２には図５に示す通り、５０３、５０４の２つのプラスコメントが付されている。したがって、移動によりプラスコメント５０３、５０４が共に画像枠に収まるような移動処理の有無を判定する。しかしながら、マイナスコメント５０５が画像枠に収まらないように変倍するとプラスコメント５０３、５０４どちらかしか収められない。したがって、優先順位３のルールに従い、移動処理は行わないと判断される。この結果、画像２中の画像枠５１０内に入る領域は７０３のように表すことができる。このときの図６のＳ６０７の処理の結果は、領域７０３内に付されているコメントから配置適当度点数＝１となる。これらの結果は、画像枠５１０に対する画像２の、図４のＳ４０３配置画像処理決定処理の結果として、図７中７１０のように出力される。図７中７１０には、画像２を画像枠５１０に配置する場合、施すべき画像処理＝変倍（Ｘ１２）＋移動（０，０）、配置適当度点数＝１であることが示されている。なお、「＋移動（０，０）」とはデフォルトである画像中の（０，０）の位置に画像枠５１０の基点＝座標（０，０）を設定した場合であるため移動処理は行われていない。
【００３６】
画像３を画像枠５１０に配置する場合も、画像２と同様に処理が行われる。画像枠５１０と画像３のアスペクト比は同じであるが、画像３内にマイナスコメントが付されている。よって図６のＳ６０６の処理において「画像３のマイナスコメントが付与された領域が画像枠外に配置されるように、画像３を変倍する」と決定される。さらに、移動処理によりより多くプラスコメントが画像枠内に表示される移動処理の有無を判定する。この結果、画像３中の画像枠５１０内に入る領域は７０４のように表すことができる。領域７０４は、マイナスコメントが画像枠５１０内に表示されないように、画像３を拡大縮小した結果として得られたものである。具体的には画像３をＸ１３倍変倍したものである。また、デフォルトである画像中の（０，０）の位置に画像枠５１０の基点＝座標（０，０）を設定した場合に画像３に付されたプラスコメントを画像枠内に表示可能であるため、移動処理は行われていない。このとき図６のＳ６０７に示す画像枠５１０に画像３を配置した際の配置適当度算出処理の結果は、配置適当度点数＝１となる。これらの結果は、画像枠５１０に対する画像３に関しての、図４のＳ４０３配置画像処理決定処理の結果として、図７中７１１のように出力される。図７中７１１には、画像２を画像枠５１０に配置する場合、施すべき画像処理＝変倍（Ｘ１３）＋移動（０，０）（移動処理を行わない）、配置適当度点数＝１であることを示している。
【００３７】
同様に画像枠５２０についても各画像１，２，３について、図６のＳ６０６およびＳ６０７の処理を行った結果が、図７中７０５に示される。図７中７０６、７０７、７０８は画像１，２，３を画像枠５２０に配置する場合に、画像１、画像２、画像３の各々に対して図６のＳ６０６の処理で決定された画像処理の結果として画像枠内に表示される領域を示している。
【００３８】
領域７０６は、ルールに従い、画像枠５２０に当てはめるため画像１を拡大縮小・移動した結果として得られた画像枠５２０に配置される領域を示したものである。具体的には画像１をＸ２１倍変倍し、画像中の（Ｘ２，０）の位置に、画像枠５２０の基点＝座標（０，０）がくるように画像を移動したものとする。
【００３９】
領域７０７、領域７０８も同様に画像枠５２０に画像２、画像３を当てはめる際の画像処理の結果に基づいた配置される領域を示したものである。
また、７１２、７１３、７１４は、画像枠５２０に対して画像１、２、３について配置する際の図４のＳ４０３配置画像処理決定処理および配置適当度算出処理の結果として、出力される情報である。同様に、７１５、７１６、７１８は画像枠５３０に対して画像１、２、３について配置する際の図４のＳ４０３配置画像処理決定処理および配置適当度算出処理の結果として出力される情報である。
【００４０】
以上のように、Ｓ４０３において、各画像枠Ｆ１〜Ｆｍについて、対象画像Ｉ１〜Ｉｎ各々を配置する場合に施すべき画像処理の決定と、該画像処理を施して配置した際の配置適当度の点数を算出する。続いて、図４に戻り、Ｓ４０４では、画像決定部１０５はＳ４０３の結果をもとに、各画像枠Ｆ１〜Ｆｍに配置候補画像を決定する。以下、図４中Ｓ４０４配置候補画像決定処理について、図５に示す画像１，２，３、画像枠５１０，５２０，５３０および図８を用いて詳細に説明する。図８は配置候補画像決定処理の一例を示すフローチャートである。
【００４１】
Ｓ８０１において、画像決定部１０５はテンプレート中の画像枠Ｆ１〜Ｆｍの中から処理変数ｘに基づきを一つ取得する。なおｘの初期値は１とする。以下、画像枠５１０，５２０，５３０中から、まず画像枠５１０を取得したとして説明を行う。Ｓ８０２において、画像決定部１０５は配置対象画像群の配置画像処理決定処理および配置適当度算出処理の結果をＲＡＭ２０４から取得する。つまり、画像枠５１０に対する配置対象画像群である画像１、画像２、画像３の配置画像処理決定処理および配置適当度算出処理の結果として、図７中の７０９、７１０、７１１を取得する。Ｓ８０３において、画像決定部１０５は配置候補画像決定のルールを取得する。
【００４２】
配置候補画像決定のルールは予め装置に設定することができるとする。例えば「結果一覧から、配置適当度の一番高い画像を配置候補画像として決定する」「配置適当度の点数が一番高い画像が複数存在する場合には、画像処理の回数が少ないものを配置画像として決定する」などを設定することができる。本実施形態では、「結果一覧から、配置適当度の高い順に、画像を整列させた配置候補画像列を作成し、その先頭を配置画像として決定し、出力する。また配置候補画像列作成時に、配置適当度の点数が同じ場合には、入力された順番に画像を整列させる」と設定されていることにする。配置候補画像決定処理の結果としては、１画像を出力することもできるし、画像群を出力することもできるとする。このように、１画像だけを出力してユーザに提示すれば、ユーザにアルバムの完成を容易に想起させることができ、ユーザの編集に掛かる手間を低減させることができる。また、複数の画像群を出力し、ユーザに選択させればユーザの好みをより反映したアルバム作成の補助ができる。なお、ユーザが配置候補画像決定のルールを選択して定める構成としてもよい。この場合、ユーザは操作部１０６を操作してルールを選択し、画像決定部１０５は選択されたルールに基づき、配置候補画像を決定する。
【００４３】
続く、Ｓ８０４において、画像決定部１０５はＳ８０３で取得されたルールを基に、配置候補画像を決定する。画像決定部１０５は、画像枠５１０への配置候補画像として、配置画像処理決定処理および配置適当度算出処理の結果を参照し、配置適当度の点数が一番高い画像１を選択する。同時に、配置候補画像列として、画像１、画像２、画像３の順に並べられた画像群が出力される。ここで画像２，３の画像枠５１０に対する配置適当度の点数、および、画像処理の回数はまったく同じであるので、処理に対して入力された順で、画像２、画像３の順になっている。Ｓ８０５において、画像決定部１０５はＳ８０４で決定された配置候補画像（配置候補画像群）の情報を出力する。そして、Ｓ８０６において、ＣＰＵ２０２は処理変数ｘをインクリメントし、続くＳ８０７においてｘとｍの大小を比較する。つまり、全ての画像枠に対して処理が行われていないと判断すると次の画像枠に対してＳ８０１からの処理を実行する。
【００４４】
画像枠５２０への配置候補画像としては、同様に画像１、画像２は配置適当度の点数が同じであるので、処理に対して入力された順に、配置候補画像としては画像１が選択される。または、配置候補画像列として、画像１、画像２、画像３の順に並べられた画像群が出力される。また同様に、画像枠５３０への配置候補画像としては画像１が選択されると同時に、配置候補画像列として、画像１、画像２、画像３の順に並べられた画像群が出力される。以上のようにＳ８０７において全ての画像枠に対して処理が終了した判断された場合配置候補画像決定処理を終了する。また、Ｓ４０４において各画像枠Ｆ１〜Ｆｍに配置候補画像を決定し、Ｓ３０３の画像配置方法決定処理を終了する。
【００４５】
続いて、図３に戻りＳ３０４において、表示部１０７は前記Ｓ３０３画像配置方法決定処理の結果をもとにユーザに対して配置候補画像を表示する処理を行う。この表示処理においては、前記Ｓ３０２において選択されたアルバムテンプレートが有する画像枠全てに対して、配置されるべき候補画像を自動的に配置して表示しても良い。あるいは、ユーザによって選択された画像枠に対してのみ、配置候補画像に決定された画像処理を施してから表示しても良い。
【００４６】
本実施形態においては、Ｓ３０３の結果を基に、各画像枠に配置すべき候補画像を一つ決定して、図５に示す画像枠５１０、５２０、５３０に対して画像１、２，３を自動的に配置して表示する例を示す。ここでは、テンプレート上に配置する画像は１箇所のみに使用し、複数の画像枠に同じ画像を配置しないこととする。まず表示部１０７は対象となるアルバムテンプレート５００を表示し、５００中の画像枠５１０、５２０、５３０を表示する表示制御を行う。さらに、画像枠５１０への配置候補画像として、処理結果から画像１が選択される。画像処理部１０８は画像１に対して、配置画像処理決定処理の処理結果として出力された画像処理「変倍（Ｘ１１）、移動（０，０）」を実行する。この結果の画像は、図７中７０２のようになる。表示部１０７は領域７０２を画像枠５１０内に配置して表示する表示制御を行う。
【００４７】
続いて画像枠５２０への配置候補画像として、処理結果から画像１が選択される。しかしながら、画像１は画像枠５１０に配置済みであるので、画像１は選択できない。Ｓ３０４画像配置方法決定処理の結果としては、画像１とともに、配置候補画像列として、画像１、画像２、画像３の順に並べられた画像群が出力されているので、方法決定部１０３は配置候補画像列から次の配置候補画像を選択する。次の配置候補画像は画像２である。よって画像２に対して、画像処理部１０８は処理結果として出力された画像処理「変倍（Ｘ２２）、移動（０、０）」を実行する。この結果の画像は、図７中７０７のようになる。表示部１０７は領域７０７を画像枠５２０内に配置して表示する。画像枠５２０内に配置して表示する。
【００４８】
最後に画像枠５３０への配置候補画像としては、処理結果から画像２が選択される。しかしながら、画像２は画像枠５２０に配置済みであるので、画像２は選択できない。Ｓ３０４画像配置方法決定処理の結果としては、画像２とともに、配置候補画像列として、画像２、画像１、画像３の順に並べられた画像群が出力されているので、配置候補画像列から次の配置画像候補を選択する。次の配置候補画像は画像１であるが、画像１は画像枠５１０において既に選択済みであるので、画像１は選択されない。よって次の配置候補画像である画像３が画像枠５３０の配置画像として選択される。画像３に対して、処理結果７１７として出力された画像処理「変倍（Ｘ２３）、移動（０，０）」を実行する。この結果の画像は、図７中７０８のようになる。表示部１０７は領域７０８を画像枠５３０内に配置して表示する。
【００４９】
以上のような処理により、アルバムテンプレート５００に対して画像１，２，３を配置した結果は、図９のようになる。図９は本実施形態における、画像の配置結果の例を示す図である。本実施形態における画像配置方法決定処理の結果、アルバムテンプレート５００に対して画像１，２，３を配置すると、画像１は画像枠５１０、画像２は画像枠５２０、画像３は画像枠５３０にそれぞれ領域７０２、７０７、７０８のように表示することになる。
【００５０】
以上説明した様に、入力されたコメントが付された画像についてコメントから画像枠内に配置する際に表示すべき領域と表示すべきでない領域を決定し、それに基づき配置する際の画像処理を決定する。したがって、画像枠に自動でレイアウトしても表示されるべき必要な部分がはみだしてしまったり、不必要な部分がそのまま表示されてしまったりするような失敗が低減される。また、画像枠に対する配置適当度を算出し、その点数をもとに各画像枠への配置がふさわしい画像を決定する。この画像を自動的にテンプレート上の画像枠へ配置することもできる。このことにより、スタジオ等で熟練されたオペレータなどにより付与された画像に対するコメントをもとにテンプレートの画像枠に対して、配置する画像の選択と、配置する際に画像に施すべき画像処理操作を簡便化することができる。また、画像枠に対して配置がふさわしい配置候補画像を割り当てるのでユーザはアルバムを作成する際に気に入ったテンプレート上の画像枠にふさわしい画像を選ぶ手間が軽減される。
【００５１】
以下では、先に示した図５中の３枚の画像群、画像１、画像２、画像３を別のアルバムテンプレートに配置する場合の例ついて、図を用いて詳細に説明を行う。図１０はアルバムテンプレート中の各画像枠Ｆ１〜Ｆｍを示す図である。配置対象画像である画像１、画像２、画像３の３枚の画像を配置するテンプレートとして選択されたアルバムテンプレート１０００には、画像枠１０１０、１０２０、１０３０の３つの画像枠があるとする。各画像枠は、画像枠の位置、サイズ、形状などの情報をもっていることとする。
【００５２】
図１１は各画像枠Ｆ１〜Ｆｍ＝１０１０、１０２０、１０３０に対して対象画像Ｉ１〜Ｉｎ＝画像１、画像２、画像３を配置した場合に施すべき画像処理と、その場合の配置適当度の点数を算出する例を示す。画像枠１０１０に対する、画像１、画像２、画像３を配置する際の画像処理を施し表示される結果は図１１中１１０１に示される。１１０２、１１０３、１１０４は、画像１、画像２、画像３の各々に対して図６のＳ６０６の処理で決定された画像処理の結果として画像枠内に表示される領域を示している。
【００５３】
処理決定部１０４は画像１を画像枠１０１０に配置する場合には、画像枠１０１０の形状が長方形ではないために、まず画像枠１０１０が内接する長方形について検討を行う。図６のＳ６０６の処理の結果、処理決定部１０４は定められたルールに従い施す画像処理を決定する。具体的には、処理決定部１０４はまず画像１と画像枠１０１０が内接する長方形とのアスペクト比を対比する。画像１と画像枠１０１０が内接する長方形とのアスペクト比は異なる。したがって、画像枠１０１０の縦方向のサイズが横方向より大きいので、処理決定部１０４は画像１の縦方向のサイズを画像枠１０１０と内接する長方形と同じになるように変倍する。さらに、処理決定部１０４は画像１中のコメントのマイナスコメントの有無を判断する。画像１中にはマイナスコメントが無くプラスコメントが２つあるので、これらのプラスコメントが画像枠１０１０内に入るような画像の移動の検討を行う。２つのプラスコメントの位置関係から両方を画像枠内に納めることが無理であるとの判断がされるので、そのうちの１つのコメント部位が画像内に入るようにする。そして処理決定部１０４はルールに従いできるだけ処理回数の少なくするため、移動処理を行わないと決定する。
【００５４】
なお、移動処理を行っても複数あるプラスコメントのいずれかしか表示されない場合も考えられる。いずれかのプラスコメントを画像枠内に含めるかという、プラスコメントの選択については、「コメントが付与されている位置座標がより、Ｘ＝０に近いコメントを選択する」としてもよい。また、プラスコメントにレベルが設定されている場合は、「より良いレベルのプラスコメントを選択する」としてもよい。
【００５５】
この結果、画像１中の画像枠１０１０内に入る領域は１１０２のように表すことができる。このとき図６のＳ６０７の処理の結果は、画像枠内の配置適当度点数＝１となる。これらの結果は、画像枠１０１０に対する画像１に関しての、図４のＳ４０３配置画像処理決定処理および配置適当度算出処理の結果として、図１１中１１１３のように出力される。図１１中１１１３には、画像１を画像枠１０１０に配置する場合、施すべき画像処理＝変倍（Ｘ１１１）＋移動（０，０）、配置適当度点数＝１であることが示されている。ここで変倍（Ｘ１１１）とは、画像１をＸ１１１倍変倍することを意味し、移動（０，０）とは、画像中の（０，０）の位置に、画像枠１０１０を内接する長方形の基点＝座標（０，０）が一致するように画像を移動することを意味している。
【００５６】
画像２を画像枠１０１０に配置する場合についても、同様に、画像２の縦方向のサイズが、画像枠１０１０を内接する長方形と同じになるように変倍する。そして、画像２に付されているコメントにはマイナスコメントが含まれているため、移動処理によるマイナスコメントが付された特定部位を表示しない移動処理の検討を行う。しかし、完全にマイナスコメントが付された特定部位が隠れるように移動処理をすることができない。したがって、できるだけマイナスコメントが画像枠外に配置されるように、さらに、プラスコメントが画像枠１０１０内に入るように移動する。しかし、処理決定部１０４は２つのプラスコメントの両方を画像枠内に納めることが２つのプラスコメントの位関係から無理である判断する。したがって、処理決定部１０４はマイナスコメントができるだけ画像枠内にはいらないようにしながら、プラスコメントの１つのコメント部位が画像内に入るようにする画像処理を決定する。この結果、画像２中の画像枠１０１０内に入る領域は１１０３のように表すことができる。このとき、プラスコメントの一つが画像枠内に入っている一方で、マイナスコメントの一部が画像枠内に入ってしまっているため、図６のＳ６０７の処理の結果である配置適当度点数＝１＋（−１）＝０となる。これらの結果は、画像枠１０１０に対する画像２に関しての、図４のＳ４０３配置画像処理決定処理および配置適当度算出処理の結果として、図１１中１１１４のように出力される。図１１中１１１４には、画像２を画像枠１０１０に配置する場合、施すべき画像処理＝変倍（Ｘ１１２）＋移動（０，０）、配置適当度点数＝０であることが示されている。
【００５７】
画像３を画像枠１０１０に配置する場合も、画像２と同様に処理が行われ、その結果、画像３中の画像枠１０１０内に入る領域は１１０４のように表すことができる。このとき図６中のＳ６０７に示す処理の結果は、配置適当度点数＝１となる。これらの結果は、画像枠１０１０に対する画像３に関しての、図４のＳ４０３配置画像処理決定処理および配置適当度算出処理の結果として、図１１中１１１５のように出力される。図１１中１１１５には、画像３を画像枠１０１０に配置する場合、施すべき画像処理＝変倍（Ｘ１１３）＋移動（０，０）、配置適当度点数＝１であることを示している。
【００５８】
同様に画像枠１０２０についても各画像１，２，３について、図６のＳ６０６およびＳ６０７の処理を行った結果が、図１１中１１０５に示される。１１０６、１１０７、１１０８は画像１，２，３を画像枠１０２０に配置する場合に、画像１、画像２、画像３の各々に対して図６のＳ６０６の処理で決定された画像処理の結果として画像枠内に表示される領域を示している。また、１１１６、  １１１７、１１１８画像枠１０２０に対して画像１、２、３について配置する際の図４のＳ４０３配置画像処理決定処理および配置適当度算出処理の結果として出力される情報である。
【００５９】
同様に画像枠１０３０についても各画像１，２，３について、図６のＳ６０６およびＳ６０７の処理を行った結果が、図１１中１１０９に示される。１１１０、１１１１、１１１２は画像１，２，３を画像枠１０３０に配置する場合に、画像１、画像２、画像３の各々に対して図６のＳ６０６の処理で決定された画像処理の結果として画像枠内に表示される領域を示している。また、１１１９、１１２０、１１２１は画像枠１０３０に対して画像１、２、３について配置する際の図４のＳ４０３配置画像処理決定処理および配置適当度算出処理の結果として出力される情報である。
【００６０】
続いて、図１０に示すアルバムテンプレートに画像を配置する際における図３中Ｓ３０４に示す画像配置方法決定処理の結果を基にした配置候補画像を表示する処理について説明する。ここでは、前述した図９に示す各画像枠に対する配置画像を決定しながら表示するのではなく、各画像に対して配置がふさわしい候補画像枠を決定し、表示する例を示す。
【００６１】
図８に示す配置候補画像決定処理（Ｓ４０４）については前述した通りであるため詳細は割愛するが、画像枠１０１０に対しては配置候補画像列として、画像１、画像３、画像２の順に並べられた画像群が出力される。同様に、１０２０に対しては画像１、画像２、画像３の順に並べられた画像群が出力される。同様に画像枠１０３０に対しては、配置画像候補列として、画像２、画像１、画像３の順に並べられた画像群が出力される。
【００６２】
Ｓ３０４において、表示部１０７は前記Ｓ３０３画像配置方法決定処理の結果をもとにユーザに対して配置候補画像を表示する処理を行う。まず表示部１０７は対象となるアルバムテンプレート１０００を表示し、１０００中の画像枠１０１０、１０２０、１０３０を表示する。そして、方法決定部１０３はまず画像１を配置するための候補画像枠を決定する。方法決定部１０３は処理結果である図１１の１１１３、１１１６、１１１９を参照して画像１に対して最も配置適当度が高い画像枠を選択する。図１１より、画像１に対して最も高い配置適当度点数＝２である画像枠１０２０が選択される。よって画像１に対して、画像処理部１０８は処理結果として出力された画像処理「変倍（Ｘ１２１）、移動（ｘ１２１，０）」を実行する。この結果の画像は、図１１中１１０６のようになる。表示部１０７は領域１１０６を画像枠１０２０内に配置して表示する。
【００６３】
続いて画像２を配置するための候補画像枠として、方法決定部１０３は図１１の処理結果から画像枠１０３０を選択する。さらに画像２に対して、画像処理部１０８はＳ４０３に示す配置画像決定処理にて処理結果として決定された画像処理「変倍（Ｘ１３２）、移動（０，０）」を実行する。この結果の画像は、図１１中１１１１のようになる。表示部１０７は領域１１１１を画像枠１０３０内に配置して表示する。
【００６４】
最後に画像３を配置するための候補画像枠として、処理結果からは３つの画像枠の配置適当度が同じである。しかしながら、画像枠１０２０には画像１が配置済みであり、画像枠１０３０には画像２が配置済みである。よって画像３を配置するための候補画像枠として方法決定部１０３は画像枠１０１０を選択する。画像処理部１０８は画像３に対して決定された画像処理「変倍（Ｘ１１３）、移動（０，０）」を実行する。この結果の画像は、図７中１１０４のようになる。表示部１０７は領域１１０４を画像枠１０１０内に配置して表示する。
【００６５】
以上のような処理により、アルバムテンプレート１０００に対して画像１，２，３を配置した結果は、図１２のようになる。図１２は本実施形態における、画像の配置結果の一例を示す図である。画像配置方法決定処理の結果、アルバムテンプレート１０００に対して画像１，２，３を配置すると、画像１は画像枠１０２０内に１１０６のように表示される。また画像２は画像枠１０３０内に１１１１のように表示される。また、画像３は画像枠１０１０内に１１０４のように表示される。このように、配置対象画像毎に適切に配置される画像枠を選択するので、アルバムに用いたい画像にふさわしい画像枠を設定することが可能となる。したがって、ユーザはアルバム作成に掛かる手間を軽減することが出来る。また、図１０に示すような複雑な形状の画像枠であっても画像に付されたコメントから表示すべき領域と表示すべきでない領域を特定し、それに基づき配置する際の画像処理を決定する。したがって、画像枠に自動でレイアウトしても表示すべき必要な部分がはみだしてしまったり、不必要な部分がそのまま表示されてしまったりするような失敗が低減される。
【００６６】
以上説明した様に、本実施形態によれば、入力されたコメントが付された画像についてコメントから画像枠内に配置する際に所定位置として表示すべき領域と表示すべきでない領域を決定し、それに基づき配置する際の画像処理を決定する。したがって、画像枠に自動でレイアウトしても表示されるべき必要な部分がはみだしてしまったり、不必要な部分がそのまま表示されてしまったりするような失敗が低減される。また、入力された画像について、画像枠に対する評価である配置適当度を画像枠内に表示されるコメントに基づき算出し、その点数をもとに各画像枠への配置がふさわしい画像を決定することができる。配置候補として決定された画像あるいは画像群を用いて、自動的にテンプレート上の画像枠へ配置することができる。このことにより、スタジオ等で熟練されたオペレータなどにより付与された画像に対するコメントをもとにテンプレートの画像枠に対して、配置する画像の選択と、配置する際に画像に施すべき画像処理操作を簡便化することができる。したがって、ユーザのアルバムを制作する手間が軽減される。また、各画像についての画像枠に対する評価を行い、評価が高い画像枠への自動レイアウトが可能である。したがって、同じ画像群を別のアルバムテンプレートに配置することが容易にできる。つまり、ユーザはアルバムテンプレートの善し悪しを容易に判断可能となりアルバム制作の手間を軽減することができる。また、画像枠の形状が複雑であったとしてもコメントを利用して画像中の重要な部分が隠れてしまう等の失敗を低減させることが可能となる。すなわち、画像上のマイナスコメントが付された不適切な部分が表示せず、プラスコメントが付された適切な部分のみを用いてアルバムを作成することが可能となる。
【００６７】
（第２の実施形態）
第２の実施形態においては、ユーザに画像枠ごとに配置する画像の決定を容易にさせるべく、各画像枠への配置候補画像群について、その画像枠へ配置する際に施すべき画像処理を行った結果を表示する例を示す。本実施形態においては、図１０に示されるアルバムテンプレートに対して、図５に示される画像１，２，３を配置することにする。処理の流れは第１の実施形態と同様に行われるため、第１の実施形態と異なる点に関して詳細に説明する。
【００６８】
Ｓ３０１〜Ｓ３０３については第１の実施形態と同様に処理が行われ、その結果配置適当度の点数を算出した結果は図１１のようになる。図３中のＳ３０４において、Ｓ３０３に示す画像配置方法決定処理の結果を基にして配置候補画像を表示する。本実施形態においては、自動的に画像を配置するのではなく、ユーザの操作に応じて候補画像を表示するようにする。
【００６９】
図１３は、ユーザがアルバムテンプレート１０００中の画像枠１０１０を選択した場合、画像枠１０１０に対する配置候補画像列をリストで表示する例を示している。
【００７０】
ユーザが操作部１０６を介して画像枠の選択を示すポインタ１３００を画像枠１０１０内に移動させて選択すると、表示部１０７は選択された画像枠１０１０に関する配置候補画像に対する画像処理の結果を取得し、表示する。つまり、方法決定部１０３は画像１、画像２、画像３に対する画像配置方法決定処理の結果として、図１１中、１１１３、１１１４、１１１５を取得する。これらの結果から、画像処理部１０８は各対象画像、画像１、画像２、画像３に対して、画像処理を施す。そして表示部１０７は図１１中１１０１のような表示イメージを作成し、ユーザのポインタ１３００と関連づけて、１３０１のように配置候補画像の一覧リストを表示する表示制御を行う。また、ユーザはさらにポインタ１３００を１３０２、１３０３、１３０４上の何れかに移動し選択すると、選択した配置候補画像を画像枠１０１０内に配置し、表示させることができる。
【００７１】
これにより、ユーザは、現在選択している画像枠に候補画像がどのように配置されるのかをイメージすることができ、該画像枠に配置する画像を選択することが容易となる。また、自動で行われた画像枠への配置やコメントに基づいた画像処理の適否を候補画像群を参照することで確認することが容易となる。また、ユーザは候補画像群から画像枠に配置する画像を容易に選択することができるのでユーザの好みをより反映したアルバムの作成が可能となる。
【００７２】
以上説明したように、本実施形態によれば、入力された画像について画像枠に対する評価を行い、その評価をもとに各画像枠への配置候補画像群を作成することができる。この配置候補画像群を用いて、実際にその画像枠へ配置した場合の配置候補画像群の一覧リストのイメージを表示することによって、ユーザのアルバム作成作業を簡便化できる。
【００７３】
（第３の実施形態）
第３の実施形態においては、アルバムテンプレート中の画像枠が互いに重なり合っていて、一部を隠してしまうような形状になっている場合について説明する。具体的には、画像に付されたコメントをもとに、画像枠が互いに重なっている部分（表示されない部分）に画像のマイナスポイントが付与された部分が隠れるように配置する例を示す。
【００７４】
さらには、実施形態１では各画像枠に対して最も点数が多くなるように画像を配置したが、本実施例ではアルバムテンプレート全体で点数が高くなるようにする。
【００７５】
図１４は本実施形態におけるアルバムテンプレート中の各画像枠Ｆ１〜Ｆｍを示す図である。本実施形態においては、配置対象画像として、図５中の画像１、画像２、画像３の３枚がある。この３枚の画像を配置するテンプレートとして選択されたアルバムテンプレート１４００には、画像枠１４１０、１４２０、１４３０の３つの画像枠があるとする。各画像枠は、画像枠の位置、サイズ、形状などの情報をもっていることとする。ここでアルバムテンプレート１４００は、画像枠１４３０の上に重なるように画像枠１４２０がレイアウトされ、さらに、画像枠１４２０の上に画像枠１４１０が重なるようにレイアウトされているテンプレートである。
【００７６】
各画像枠に対する画像の配置方法を決定する処理である図３中Ｓ３０３画像配置方法決定処理の流れは第１の実施形態、第２の実施形態における処理と同様に行われる。本実施形態において画像枠１４１０は長方形の領域、画像枠１４２０、１４３０はＬ字型の領域であり、１４２０、１４３０は互いに相似形であるとする。画像のコメントをもとに、画像枠にマイナスポイントが表示されないように配置する画像処理を決定し、決定された画像処理が施されて配置される画像の配置適当度を算出する。
【００７７】
画像枠１４１０に対する、画像１、画像２、画像３の配置する際の決定された画像処理を施し表示される結果は図７中７０１内に示され、７０２、７０３、７０４と同様になるとする。
【００７８】
画像枠１４２０および１４３０に対する、画像１、画像２，画像３の配置画像処理決定処理により決定された画像処理を施した際の表示される領域は図１４中１４０１に示される。画像枠１４２０，１４３０に対する、画像１、画像２、画像３の配置画像処理決定処理および配置適当度算出処理結果の詳細は図示はしないが、第１の実施形態と同様に処理を実行する。画像１、画像２、画像３と画像枠１４２０および１４３０のアスペクト比は同一であるため、画像を画像枠に内接するよう変倍処理を行う。また、処理決定部１０４は画像上のマイナスコメントが付された特定部位の位置情報と画像枠に画像を表示した際、非表示になる画像領域の比較を行う。そして、マイナスコメントが付された特定部位の位置と画像枠に表示した際、非表示になる画像領域が重なるような移動処理の有無を検討する。１４０２、１４０３、１４０４は、画像１、画像２、画像３の各々に対して図６のＳ６０６の処理で決定された画像処理の結果として画像枠１４２０または画像枠１４３０内に表示される領域を示している。
【００７９】
ここで、画像処理の結果の表示イメージとして、１４０２、１４０３、１４０４は、Ｌ字型の画像表示領域だけでなく、上に重ねられている長方形の画像枠を表示する。このことによって、画像１，２，３の隠される部分を明示し、ユーザに対して表示をイメージしやすいようにしている。しかし、これに限るものではない。Ｌ字型の表示領域のみを表示しても良い。
【００８０】
そして、画像決定部１０５は画像枠１４１０、１４２０、１４３０への候補画像の配置方法決定処理の結果をもとに、各画像枠へ自動的に画像を配置する。本実施形態では、「テンプレート全体として各画像枠内に表示されるマイナスコメントが少なくかつプラスコメントが多く表示される（配置適当度がアルバムテンプレートとして高くなる）」というルールが設定されているとする。つまり、画像決定部１０５は組み合わせ最適化問題として、画像枠と配置候補画像の組み合わせを決定する。つまり、テンプレート全体の配置適当度が高くなるように、画像枠と配置候補画像の組み合わせを決定する。ルールに従い図１４中アルバムテンプレート１４００の各画像枠に対して配置候補画像を決定すると画像１は画像枠１４１０、画像２は画像枠１４２０、画像３は画像枠１４３０内に、それぞれ７０２、１４０３、１４０４に示す領域が表示される。
【００８１】
なお、本実施形態では画像枠のテンプレート上での位置は予め定められているとしたが本装置によりテンプレート上の画像枠の位置を制御し書き換える構成としてもよい。つまり、配置対象画像のマイナスコメントの位置情報に基づき画像枠の重ね合う位置を可変に書き換える構成としても良い。この場合、方法決定部がテンプレートの構成を書き換え、画像枠の位置を設定することができる。このような構成すれば、画像上のどのような位置にマイナスコメントが付されたとしても、他の画像枠との重なり位置を設定し書き換えることによりマイナスコメントを非表示にするがオリジナルの画像の構図を維持することが可能となる。
【００８２】
以上説明したように、本実施形態によれば、アルバムテンプレート中の画像枠の形状により、マイナス部分を隠すように候補画像を配置することができるので、特殊な形状の画像枠に画像を配置する作業を補助することができる。また、特殊な形状の画像枠であっても、少ない画像処理回数でマイナスコメントが隠されるように配置するのでオリジナル画像の構図を維持したままレイアウトすることが可能となる。また、配置される画像で非表示となる領域はマイナスコメントが付されている表示に適さない領域であるので、重要な画像上の部分を非表示するにするような失敗が軽減される。また、アルバムテンプレート全体で配置適当度が高くなるよう画像を配置したので、テンプレート全体として見栄えの良いアルバムの作成を補助することが可能となる。
【００８３】
（その他の実施形態）
実施形態１から３においては、画像に付与されているコメントに基づいて、画像枠に配置する際の配置対象画像の画像処理方法を決定した。しかし、これに限られるものではない。例えば、画像に対して顔検出やオブジェクト検出等の認識処理を用いて検出された領域を所定位置として特定する構成としてもよい。つまり、これらの検出された領域をプラスコメントと同様に扱う構成としても良い。このような構成とすれば、画像を画像枠に配置する際、画像上の顔などの主要被写体を表示しないような画像処理を施すことが低減される。また、例えばエッジ検出や低周波成分の検出により画像上のぶれが発生している領域を検出しその検出された所定位置をマイナスコメントと同様に扱う構成としても良い。以上のように構成すればコメント数が少ない画像に対してもテンプレートに配置する際の画像枠内での配置サイズ・配置位置・枠に適する画像処理を施すことが可能となる。つまり、所定位置としての表示すべき領域や表示すべきでない領域に関する情報を追加することができ、自動レイアウトの画像処理の精度を向上することが可能となる。この場合、画像処理部１０８において例えば顔検出、オブジェクト検出、エッジ検出、低周波成分検出等の画像処理が実行される。画像処理によって検出された特定領域（特定部位）は画像と画像上の位置情報と対応づけてＲＡＭ２０４等の記憶装置に記憶される。そして、方法決定部１０３は特定領域の画像上の位置情報と画像枠の情報に基づき、後述した配置画像処理決定処理などの処理を実行する。
【００８４】
また、実施形態１から３においては、画像に施す画像処理の種類として、「変倍（拡大・縮小）」「移動（切り出し）」のみとした。しかしこれに限るものではない。画像処理方法として他の手段を用いても良い。例えば、顔検出やオブジェクト検出等の認識処理を用いて主要被写体やその位置を検出する画像処理を組み合わせても良い。つまり、画像に付されたコメントと他の画像上の特定位置に基づき、テンプレートの配置の際の画像処理を決定する構成としてもよい。すなわち、対象画像が画像枠にうまく当てはまる画像処理方法の組み合わせ方のルールとしてとして「主要被写体をできるだけ残し、配置される画像中のマイナスコメントの部位を隠すような画像処理方法」等が考えられる。
【００８５】
また、実施形態１から３では画像の特定領域（特定部位）に対してコメントが付された画像を例にして説明を行ったが画像（全体）に対してコメントが付された場合であっても画像上の所定位置を特定することが可能である。例えば、画像に対して「ポートレート」または「全身」、「上半身」等のコメントが付されている場合、顔検出の結果を表示すべき領域と特定することが出来る。また、配置適当度の算出方法としては「顔領域を画像枠の中心上に表示されるよう配置すればより点数を高くする」等のコメントの内容に応じた点数を算出する構成としてもよい。また、例えば「風景」等のコメントが付されている場合は画像全体を表示すべき領域と特定する構成としてもよい。この場合、画像全体に付されたコメントの内容と表示すべき領域、表示すべきではない領域を特定するための処理を対応づけたテーブルを予め記憶部１０２等に保持しておく。そして、処理決定部１０４が配置画像処理決定処理を行う際、コメントの内容を解析し、テーブルからコメント内容と対応づけられた処理を行う構成とすることで実現できる。
【００８６】
また、実施形態１から３においては、付与されているコメントについて、プラスコメントは１点、マイナスコメントは−１点の点数を設定されている例を示した。しかし、これに限るものではない。上記付与されているコメントに応じてよりこまかいレベルでの優劣をつけるための点数を与えても良い。
【００８７】
また、実施形態１から３においては、表示される配置候補画像のＳ４０３において画像処理の組み合わせを決定するためのルールは定められているとしていた。しかし、このように定められたルールに基づいた画像処理の組み合わせのみを配置候補画像としては必ずしも適切な画像処理が施されられない場合が考えられる。例えば、実施形態１から３においては、画像に付されたコメントに基づいて画像処理の組み合わせを決定している。したがって、適切にコメントが付されていない場合は表示すべき領域を誤って非表示にするような画像処理が施される場合が考えられる。そのため、図１５に示すように画像を画像枠に配置する際に、様々なルールで決定された画像処理による領域を一覧として示すように構成しても良い。
【００８８】
図１５において、１５００はポインタである。１５０１はユーザの操作部１０６を介したポインタ１５００の移動と関連づけて、表示部１０７が表示制御を行い、配置候補画像の様々なルールによって決定された画像処理の結果を一覧表示しているものである。例えば、ポインタ１５００を画像枠１０１０内に移動させて選択すると、表示部１０７は選択された画像枠１０１０に関する配置対象候補画像に対する様々なルールに従った画像処理の結果を取得し、表示する。１５０２、１５０３、１５０４は画像３をそれぞれのルールに従い決定された画像処理によって画像枠１０１０内に表示される領域を示している。１５０５、１５０６、１５０７はチェックボックスであり、どのルールに基づいた画像処理の結果で画像枠に配置候補画像を配置するかを選択可能となっている。図１５では１５０５にチェックが入力されており、「ルール１」に基づいた画像処理を施した画像３を画像枠１０１０に表示していることを示している。また、１５０８は「手動レイアウト」を選択するチェックボックスである。ユーザは１５０１に表示されている一覧に適切な画像処理が施されていないと判断すると、ユーザ自身で表示する領域を選択する図示していないが「手動レイアウトモード」に移ることが可能となる。手動レイアウトモードではユーザ自身が画像に施すべき画像処理を指定することが可能である。このように構成すれば、自動で決定されたコメントに基づいた画像処理の適否を確認し、よりユーザの好みを反映している画像処理を容易に決定することができる。
【００８９】
図１５に示すように表示する場合は、Ｓ４０３において行われる配置画像処理決定処理にて、様々なルールに基づいた結果をＲＡＭ２０４において記憶する。そして図３のＳ３０４において、ポインタ１５００の移動と関連づけて、表示部１０７が表示制御を行うことで実現できる。なお、図１３に示したように配置候補画像列の各画像に様々なルールに従い決定された画像処理によって画像枠内に表示される領域を表示する構成としてもよい。
【００９０】
また、実施形態１から３においては、配置候補画像決定処理における配置候補画像決定のルールとして、「結果一覧から、配置適当度の高い順に、画像を整列させた配置候補画像列を作成し、その先頭を配置候補画像として決定し、出力する。また配置候補画像列作成時に、配置適当度の点数が同じ場合には、入力された順番に画像を整列させる」とした。しかし、これに限るものではない。たとえば、配置適当度の点数が同じ場合には、画像ごとに優先度があり、その優先度順に画像を整列させても良い。この場合、ユーザの操作部１０６を介した入力に基づき、優先度を設定できる。
【００９１】
また、実施形態１から３においては、図４に示されるように、各画像枠に対する全ての画像について、Ｓ４０３配置画像処理決定処理および配置適当度算出処理を行っていた。そののち、その結果をもとに各画像枠に対して、Ｓ４０４配置候補画像決定処理を行っていた。しかしこれに限るものではない。例えば、各画像枠一つ一つに対して全ての画像についてのＳ４０３配置画像処理決定処理および配置適当度算出処理を行い、その結果をもとにＳ４０４配置候補画像決定処理を行い、該画像枠に対して配置候補画像を選択する構成としてもよい。
【００９２】
また例えば、各画像一つ一つに対して全ての画像枠についてのＳ４０３配置画像処理決定処理および配置適当度算出処理を行い、その結果をもとにＳ４０４配置候補画像決定処理を行い、該画像を配置するための候補画像枠を選択する構成としても良い。この場合に、配置候補画像を決定していく画像枠の順序、あるいは画像を配置するための候補画像枠を決定していく画像の順序に対して、優先度を設定しても良い。例えば、サイズの大きさ順に、画像枠に対する配置候補画像を決定したり、またあるいは、お気に入り度の高い画像から順に、配置するための候補画像枠を決定したりする構成としても良い。この場合、ユーザは操作部１０６から入力を行い、優先度の設定を行う構成とする。
【００９３】
また、実施形態１から３においては、図３中、Ｓ３０３画像配置方法決定処理による結果をもとに、各画像枠に候補画像を自動的に配置する例あるいは、各画像枠に対する候補画像群のイメージを表示する例を示した。しかし、これに限るものではない。例えば、図３中、Ｓ３０３画像配置方法決定処理の結果、配置適当度の点数の高いものは自動的に配置し、それ以外のものは候補を表示するようにしてもよい。
【００９４】
また、実施形態１から３において、図３中、Ｓ３０３画像配置方法決定処理によって、配置適当度の点数を計算して出力する例を示した。しかしこれに限るものではない。例えば、画像枠に配置対象画像を配置した一覧イメージをユーザに提示するような場合には、Ｓ３０３画像配置方法決定処理においては配置適当度の点数を算出しない構成としても良い。
【００９５】
また、実施形態１から３において、画像枠と候補画像の数が等しい例を示した。しかし、これに限るものではない。画像枠と配置候補画像数が異なる場合にも、図３Ｓ３０３画像配置方法決定処理の結果をもとに、画像枠に配置されることがふさわしい画像を提示することができるのは言うまでもない。
【００９６】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００９７】
１０１  情報処理装置
１０２  記憶部
１０３  方法決定部
１０４  処理決定部
１０５  画像決定部
１０６  操作部
１０７  表示部
１０８  画像処理部
２０１  バス
２０２  ＣＰＵ
２０３  ＲＯＭ
２０４  ＲＡＭ
２０５  入力装置
２０６  表示装置
２０７  記憶装置
【図１】
2012043218.tif 000003
【図２】
2012043218.tif 000004
【図３】
2012043218.tif 000005
【図４】
2012043218.tif 000006
【図５】
2012043218.tif 000007
【図６】
2012043218.tif 000008
【図７】
2012043218.tif 000009
【図８】
2012043218.tif 000010
【図９】
2012043218.tif 000011
【図１０】
2012043218.tif 000012
【図１１】
2012043218.tif 000013
【図１２】
2012043218.tif 000014
【図１３】
2012043218.tif 000015
【図１４】
2012043218.tif 000016
【図１５】
2012043218.tif 000017