(57)【要約】【課題】重要領域の切り落としが少なく指定したサイズ制約を反映しやすいコマ割り用のテンプレートを少ない計算量で設定する。【解決手段】順序範囲設定部５は、お気に入り画像の不足分を補う追加画像を選択する際の順序範囲を設定する。第１設定部７ａは、各画像に許容形状範囲を設定する。第２設定部７ｂは、各順序範囲から選択される仮想の追加画像に代表許容形状範囲を設定する。テンプレート評価部１０は、異なる複数のテンプレート候補の各コマに、各お気に入り画像および各順序範囲から選択される仮想の追加画像を各画像の相対順序を保って貼り付けたときの、各コマの形状と各画像の許容形状範囲または代表許容形状範囲との乖離度に基づいて、各テンプレート候補を評価する。追加画像選択部１１は、評価に基づいて決定されたテンプレートの各順序範囲に対応したコマの形状に基づいて、当該各順序範囲内から追加画像を選択する。【選択図】図１
2014158071.tif 000002
【特許請求の範囲】
【請求項１】
出力ページをコマ割りし、複数の画像を各画像の相対順序を保ってレイアウトする画像レイアウト装置において、
候補画像の集合から、出力ページのコマ数よりも少数のお気に入り画像の指定を受け付ける画像指定受付手段と、
出力ページのコマ数に対するお気に入り画像の不足分を補う追加画像を前記候補画像の集合から選択する際の順序範囲を設定する順序範囲設定手段と、
各画像に許容形状範囲を設定する許容形状範囲設定手段と、
各順序範囲に含まれる候補画像の許容形状範囲に基づいて、各順序範囲から選択される追加画像の許容形状範囲を代表する代表許容形状範囲を設定する手段と、
コマ割りの異なる複数のテンプレート候補の各コマに、各お気に入り画像および各順序範囲から選択される仮想の追加画像を各画像の相対順序を保って貼り付けたときの、各コマの形状と各画像の許容形状範囲または代表許容形状範囲との乖離度に基づいて、各テンプレート候補を評価するテンプレート評価手段と、
前記評価結果に基づいてテンプレートを決定するテンプレート決定手段と、
前記決定されたテンプレートの各順序範囲に対応したコマの形状に基づいて、当該各順序範囲内から追加画像を選択する追加画像選択手段とを具備したことを特徴とする画像レイアウト装置。
【請求項２】
出力ページのコマ数に関する入力操作を受け付けるコマ割り条件受付手段をさらに具備したことを特徴とする請求項１に記載の画像レイアウト装置。
【請求項３】
前記許容形状範囲設定手段は、各画像の全体または重要領域を許容形状範囲に設定することを特徴とする請求項１または２に記載の画像レイアウト装置。
【請求項４】
各お気に入り画像または各順序範囲内の画像の許容形状範囲から外れる形状のコマを含むテンプレート候補を前記テンプレート評価の対象から除外するテンプレート選抜手段を更に具備したことを特徴とする請求項１ないし３のいずれかに記載の画像レイアウト装置。
【請求項５】
前記お気に入り画像の少なくとも一部にサイズ制約を課する手段を更に具備し、
前記テンプレート選抜手段は、サイズ制約の課されたお気に入り画像に対応するコマのサイズが当該サイズ制約を満足しないテンプレート候補を前記テンプレート評価の対象から除外することを特徴とする請求項４に記載の画像レイアウト装置。
【請求項６】
前記お気に入り画像に課されるサイズ制約が、当該お気に入り画像に対応するコマのサイズが所定の閾値よりも大きいことであり、前記テンプレート選抜手段は、サイズ制約の課されたお気に入り画像に対応するコマのサイズが、全コマの平均値、中央値または最大値よりも小さいテンプレート候補を前記テンプレート評価の対象から除外することを特徴とする請求項５に記載の画像レイアウト装置。
【請求項７】
前記お気に入り画像に課されるサイズ制約が、当該お気に入り画像に対応するコマのサイズが所定の閾値よりも小さいことであり、前記テンプレート選抜手段は、サイズ制約の課されたお気に入り画像に対応するコマのサイズが、全コマの平均値、中央値または最小値よりも大きいテンプレート候補を前記テンプレート評価の対象から除外することを特徴とする請求項５に記載の画像レイアウト装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予め順序が指定された複数の画像から複数枚を選択し、コマ割りされた出力ページにレイアウトする画像レイアウト装置に係り、特に、画像レイアウトの順序を維持しながら、従来よりも重要領域の切り落としを少なくするコマ割り用のテンプレートを少ない計算量で設定し、かつ予め大きく／小さく表示したい画像が指定された場合にも、その画像に大きな／小さなコマを割り当てて大きく／小さく表示できるコマ割り用のテンプレートを設定できる画像レイアウト装置に関する。
【背景技術】
【０００２】
映像情報や写真群の要約をサムネイル化する手法の一つとして、映像からキーフレームの画像や代表的な写真を抽出し、その時間順を保持した上でコミックマンガのコマ割りのように矩形領域内に配置してサムネイル表示する手法が注目されている。コミック風コマ割りは、コミックマンガに興味があれば序数を各コマに振らなくてもコマの順序が判るという利点がある。
【０００３】
このようなコミック風コマ割り表示の主観品質を高めるためには、各コマに貼り付ける画像に対し重要領域を設定し、重要領域の切り落としが少ない出力ページ（矩形領域）への順序を保ったコマ割りの設定が求められる。また、重要な画像を大きなコマに表示することも求められる。
【０００４】
特許文献１には、ページ内の最大のコマ数を示す情報であるコマ数情報、コマとコマの間の隙間を示す情報である隙間情報、内枠と外枠の余白を示す余白情報等をコマ割条件情報として設定すると、全ての条件を満足するコマ割りを自動的に生成する手法が提案されている。これにより、コミックの様に写真の順序を保って貼り付けることができ、大きくしたい写真を指定して大きく表示することができる。
【０００５】
特許文献２には、複数の画像を所定の出力ページに所定の順序でコミック風に配置するコマ割りを評価するコマ割り評価装置において、出力ページのサイズおよび画像の貼付枚数に適合する多数のテンプレートが作成され、テンプレートごとに、各コマの形状と当該コマに貼り付けられる画像の形状との乖離度を算出し、乖離度の一ページ分の総和が最小のテンプレートに基づいて出力ページのコマ割りが決定される。また、乖離度をより低下させるために、各画像から重要領域を抽出し、この重要領域が含まれる範囲内でのトリミングを許容することで画像の形状をコマ形状に合わせて変形させる技術も開示されている。
【０００６】
非特許文献１には、大きく表示したい画像を大きなコマに貼り付け、コラージュを作成する技術が開示されている。
【０００７】
非特許文献２には、写真をコミック風に、予め指定された順序を保って貼り付けることができ、トリミング時にも重要領域が切り落とされにくく、様々なレイアウトが存在しやすく、見た目に飽きにくく、かつ大きくしたい写真を指定できるレイアウト方法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第４１１１９４８号
【特許文献２】特開２０１０−５０５２８号公報
【非特許文献】
【０００９】
【非特許文献１】Jun Xiao, Xuemei Zhang, Phil Cheatle, Yuli Gao, C. Brian Atkins, "Mixed-initiative photo collage authoring", Intl. Conf. on ACM MM'08, 2008. (ISBN: 978-1-60558-303-7)
【非特許文献２】"任意の矩形状画像群レイアウトのための自動テンプレート作成法"  画像電子学会研究会講演予稿 Vol. 255, pp.61-68, 2011-03-03. 明堂絵美, 高木幸一, 酒澤茂之,
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献１では、レイアウト時に写真の順序が保たれない。したがって、結婚式のようなイベント写真を大量に閲覧する場合のように、順を追って閲覧したい要望が多い画像群には不向きである。
【００１１】
特許文献１では、レイアウト時に写真の順序を保つが、重要な領域が検出されず、重要な領域を保つアルゴリズムも存在しないため、重要な領域が切り落とされやすく、主観画質が低くなる傾向にある。また、重要領域が表示されれば画像の順序でストーリーが分かるようなコンテンツでも、重要領域が切り落とされやすいことにより、ストーリーの理解が損なわれ易い。
【００１２】
非特許文献２では、画像の順序と重要領域とを保つために、切り抜き可能な領域の形状に幅を持たせることで解決させているが、コマ数が少ない時には切り抜きたい形状で切り抜けず、重要領域が切り落とされることが多く、主観画質が低くなる。
【００１３】
特許文献２では、非特許文献２の手法と基本的には同じであるが、大きく／小さくしたい画像を指定できる点で異なる。しかし、コマ数の大小に限らず、大きく／小さく表示したい画像を指定しても、大きなコマ／小さなコマに表示できない場合も多い。
【００１４】
本発明の目的は、上記の技術課題を解決するため、画像レイアウトの順序を維持しながら、重要領域の切り落としを従来よりも少なくすることができる画像レイアウト装置を提供することにある。さらに、上記を満たすような画像レイアウトを行うためのテンプレートを少ない計算量で設定することにある。さらに、予め大きく／小さく表示したい画像が指定された場合には、重要領域の切り落としを少なく保ちつつ、その画像に大きな／小さなコマを割り当てて大きく／小さく表示できるコマ割り用のテンプレートを少ない計算量で設定できる画像レイアウト装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記の目的を達成するために、本発明は、出力ページをコマ割りし、複数の画像を各画像の相対順序を保ってレイアウトする画像レイアウト装置において、以下のような構成を具備した点に特徴がある。
【００１６】
(1)候補画像の集合から、出力ページのコマ数よりも少数のお気に入り画像の指定を受け付ける画像指定受付手段と、出力ページのコマ数に対するお気に入り画像の不足分を補う追加画像を前記候補画像の集合から選択する際の順序範囲を設定する順序範囲設定手段と、各画像に許容形状範囲を設定する許容形状範囲設定手段と、各順序範囲に含まれる候補画像の許容形状範囲に基づいて、各順序範囲から選択される追加画像の許容形状範囲を代表する代表許容形状範囲を設定する手段と、コマ割りの異なる複数のテンプレート候補の各コマに、各お気に入り画像および各順序範囲から選択される仮想の追加画像を各画像の相対順序を保って貼り付けたときの、各コマの形状と各画像の許容形状範囲または代表許容形状範囲との乖離度に基づいて、各テンプレート候補を評価するテンプレート評価手段と、評価結果に基づいて決定されたテンプレートの各順序範囲に対応したコマの形状に基づいて、当該各順序範囲内から追加画像を選択する追加画像選択手段とを具備した。
【００１７】
(2)各お気に入り画像または各順序範囲内の画像の許容形状範囲から外れる形状のコマを含むテンプレート候補をテンプレート評価の対象から除外するテンプレート選抜手段を具備した。
【００１８】
(3)お気に入り画像の少なくとも一部にサイズ制約を課する手段を更に具備し、テンプレート選抜手段は、サイズ制約の課されたお気に入り画像に対応するコマのサイズが当該サイズ制約を満足しないテンプレート候補を前記テンプレート評価の対象から除外するようにした。
【発明の効果】
【００１９】
本発明によれば、以下のような効果が達成される。
(1)順序性のある貼付候補の画像群から、従来は出力ページのコマ数分の画像を予め選択してからテンプレートを絞り込んだが、本発明ではお気に入り画像を出力ページのコマ数よりも少ない枚数だけ指定し、テンプレートを絞り込んだ後に追加画像を決定してレイアウトする。お気に入り画像を出力ページのコマ数よりも少ない枚数だけ指定した際に、追加画像の順序上での抽出範囲をお気に入り画像の位置で規定し、各抽出範囲に幅を持たせるようにすることで許容できるコマ形状に幅を出したこと、および画像の不足分を補う追加画像の抽出位置を可変とすることで、画像レイアウトの自由度があがり、テンプレート評価の後にコマ形状と乖離の少ない追加画像を決定することで、画像の不足分を補う追加画像も含めて全ての貼付画像の順序性を損なうことなく、かつ重要領域の切り落としが従来よりも少ない画像レイアウトを実現できるようになる。
【００２０】
(2)重要領域の切り落としを少なくするため、多数のテンプレート候補の中から、各コマのアスペクト比が画像の代表許容アスペクト比範囲から大きく外れるテンプレート候補を予め評価対象から除外するようにしたので、テンプレート評価の対象となるテンプレート候補数が予め絞り込まれ、テンプレート評価の計算量を減じることができる。
【００２１】
(3)順序性のある貼付候補の画像群から、特に大きく／小さく表示したいサイズ制約画像を含む画像を、出力ページのコマ数よりも少ない枚数だけ指定してレイアウトする際に、追加画像の順序上での抽出範囲をお気に入り画像の位置で規定し、各抽出範囲に幅を持たせるようにすることで許容できるコマ形状に幅を出したこと、および画像の不足分を補う追加画像の抽出位置を可変とすることで、画像レイアウトの自由度があがり、テンプレート評価の後にコマ形状ないしサイズ制約と乖離の少ない追加画像を決定することで、画貼付画像の順序性を損なうことなく、重要領域の切り落としを従来よりも少なくしつつ、大きく／小さく表示したい画像を大きな／小さなコマに貼り付ける画像レイアウトを、実現できるようになる。
【００２２】
(4)指定したサイズ制約をレイアウトに反映させるため、多数のテンプレート候補の中から、サイズ制約画像に対応したコマの面積が所定値よりも大きい/小さい候補を予め評価対象から除外するようにしたので、テンプレート評価の対象となるテンプレート候補数が予め絞り込まれ、テンプレート評価の計算量を減じることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態に係るコマ割り装置の機能ブロック図である。
【図２】テンプレート候補の一例を示した図である。
【図３】追加画像の順序範囲の設定方法を表現した図である。
【図４】重要領域の抽出方法を表現した図である。
【図５】許容アスペクト比範囲の設定方法を表現した図である。
【図６】追加画像の選択方法を表現した図である。
【図７】本発明の第１実施形態の動作を示したフローチャートである。
【図８】図７におけるテンプレート候補の絞り込み処理のフローチャートである。
【図９】追加画像の順序範囲の設定例を示した図である。
【図１０】本発明の第２実施形態に係るコマ割り装置の機能ブロック図である。
【図１１】コマ数が「４」のテンプレート候補の一例を示した図である。
【図１２】本発明の第２実施形態の動作を示したフローチャートである。
【図１３】図１２におけるテンプレート候補の絞り込み処理のフローチャートである。
【発明を実施するための形態】
【００２４】
[第１実施形態]
図１は、本発明の第１実施形態に係る画像レイアウト方法および装置の機能ブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００２５】
画像入力部１には、デジタルカメラで撮影またはスキャナで読み取られた静止画や、ビデオを構成する多数のフレーム画像の中から抽出されたキーフレームのように、撮影日時や連番のファイル名などの順序に関する情報を含む多数の静止画が入力されて一時記憶される。以下、これらの貼付候補となる画像を「候補画像」で総称する。
【００２６】
画像指定受付部２は、前記多数の候補画像の中から、コマ割りされた出力ページに実際に貼り付けるお気に入り画像の指定を受け付ける。本実施形態では、お気に入り画像として、実際に貼り付けられる画像数（コマ数）よりも少ない枚数が指定される。
【００２７】
コマ割り条件受付部３は、コマ割り用のテンプレートに要求する条件として、出力ページのサイズSおよびコマ数Nの指定を受け付ける。例えば、A4サイズ（縦）の用紙に４枚の画像を貼り付けるのであれば、サイズSとして「A4（縦）」、コマ数Nとして「４」が受け付けられる。
【００２８】
テンプレート候補出力部４は、前記設定されたサイズSの出力ページを前記設定されたコマ数Nに仕切る多数のコマ割り候補（テンプレート）を出力する。すなわち、コマ数がNで、各コマの形状、位置、サイズの異なる多数のテンプレート候補が出力される。各テンプレート候補では、各コマに画像の貼り付け順序が設定されており、その詳細は、例えば非特許文献２、特許文献２に開示されている。
【００２９】
前記テンプレート候補は、テンプレート候補出力部４が前記コマ割り条件に基づいて自ら都度生成しても良いし、予め記憶されている多数のテンプレート候補の中から前記コマ割り条件に基づいて前記テンプレート候補出力部４が選択しても良い。また、テンプレート候補の記憶場所は装置内に限定されず、ネットワーク上のサーバ等へ保存しておき、テンプレート候補出力部４が前記コマ割り条件を満足するテンプレート候補を外部サーバから都度取得するようにしても良い。
【００３０】
図２は、テンプレート候補の一例を示した図であり、サイズSおよびコマ数N（ここでは、「４」）の条件を満足する多種のテンプレートが生成され、各テンプレートの各コマには、コミックママンガと同様の順序でコマ数分の序数１〜４が仮想的に割り当てられる。
【００３１】
順序範囲設定部５は、コマ数Nに対する前記お気に入り画像数の不足分を補うために候補画像の中から抽出される追加画像の枚数を算出する追加画像数算出部５ａを含み、当該枚数分の追加画像を前記候補画像の集合から、各画像の相対順序を保って抽出する際の範囲を順序範囲として設定する。
【００３２】
すなわち、図３に一例を示したように、出力ページのコマ数が「４」であり、指定済みのお気に入り画像がIa，Ibの２枚のみであると、更に２枚の追加画像を前記候補画像の集合から抽出する必要がある。このとき、各追加画像が抽出される順序範囲としては、「お気に入り画像Iaよりも前の順序範囲」、「お気に入り画像IaとIbの間の順序範囲」、および「お気に入り画像Ibよりも後の順序範囲」の３つが存在する。したがって、ここでは３つの順序範囲から２つを選択する組み合わせの中の１つがランダムに選択される。なお、本実施形態では同一の順序範囲から複数の追加画像を抽出する選択も許容されている。
【００３３】
上記では、順序範囲から２つを選択する組み合わせの中の１つをランダムに選択したが、選択法はランダムでなく、全ての組み合わせを順に選択していっても良い。また、順序範囲の枚数や撮影時間間隔が広い抽出範囲から優先的に選択しても良い。このようにすることで、お気に入り画像とは異なった様々なシーンの追加画像を得やすくなる。
【００３４】
重要領域抽出部６は、前記指定済みのお気に入り画像、および前記選択された順序範囲に属する全ての候補画像から重要領域Rtを抽出する。この重要領域Rtは、画像の中で特に重要と思われる領域であり、例えば人物を含んだスナップ写真であれば、顔を含む領域が重要領域Rtに設定される。このような重要領域Rtの設定は、ユーザインターフェース（図示せず）を介して利用者が手動で行っても良いし、あるいは周知の顔認識アプリケーションを用いて自動で行っても良い。本実施例では、画像全体を重要領域とすることも許容される。
【００３５】
なお、重要領域の設定には、一般的にはVisual Attention Model (Itti, L. Koch, C., and Niebur, E., "A model of saliency based visual attention for rapid scene analysis. IEEE Trans. on Pattern Analysis and Machine Intelligence no. 11, pp. 1254-1259, Nov., 1998)、あるいはMing-Ming Cheng, Guo-Xin Zhang, Niloy J. Mitra, Xialei Huang, Shi-Min Hu , "Global Contrast based Salient Region Detection",CVPR 2011を用いて注目物体領域を設定し、それが含まれるように矩形の重要領域を設定すればよい。
【００３６】
許容形状範囲設定部７は、貼り付けられる画像に許容される形状値の範囲を決定する。形状値としては、画像の幅を高さで割った値、それらに対数をかけた値など、画像の幅と高さに関連する数値から算出した値を利用できる。本実施形態では、形状を示すアスペクト比Aを、重要領域として設定された矩形の横幅wを矩形の高さｈで割った値とする（A=w/h）。
【００３７】
本実施形態では、前記許容形状範囲設定部７が、各お気に入り画像の許容形状アスペクト比範囲を各画像の重要領域Rtに基づいて算出する第１設定部７ａ、および前記選択された各順序範囲に属する全ての候補画像の許容アスペクト比範囲の代表値を、当該各候補画像の重要領域Rtに基づいて算出する第２設定部７ｂを含む。
【００３８】
図４は、前記許容アスペクト比範囲の設定方法を模式的に示した図である。本実施形態では、お気に入り画像[同図(a)]から抽出された矩形の重要領域Rt[同図(b)]を、左右方向に原画像の左辺および右辺まで拡張した形状のアスペクト比が許容アスペクト比範囲の上限値Amaxとされ、重要領域を上下方向に原画像の上辺および下辺まで拡張した形状のアスペクト比が許容アスペクト比範囲の下限値Amin[同図(c)，(d)]とされる。
【００３９】
図５は、前記第２設定部７ｂによる許容アスペクト比範囲の設定方法を模式的に示した図であり、順序範囲ごとに当該範囲に属する全ての候補画像I1〜Imについて、その許容アスペクト範囲を上記と同様にして求め、全ての許容アスペクト比範囲の中の最大アスペクト比から最小アスペクト比までの範囲が、当該順序範囲に属する全ての候補画像の許容アスペクト比範囲の代表値、すなわち代表許容形状範囲とされる。
【００４０】
図１へ戻り、テンプレート選抜部９は、前記テンプレート候補出力部４が出力する多数のテンプレート候補の中から、今回の指定内容に相応しいテンプレート候補のみを評価対象として選別し、それ以外を評価対象から予め除外することで、評価対象のテンプレート候補を少数に絞り込む。
【００４１】
本実施形態では、各お気に入り画像および各順序範囲内の候補画像から選択される仮想の追加画像を、各画像の相対順序を保って今回のテンプレート候補の各コマに対応付けたときに、コマのアスペクト比が、対応するお気に入り画像の許容形状範囲または追加画像が所属する順序範囲に設定された代表許容形状範囲から外れる割合の高いテンプレート候補が、少ない計算量で評価対象から排除される。
【００４２】
そのために、本実施形態では予め、全てのお気に入り画像および各順序範囲内の全ての候補画像の許容アスペクト比範囲を調べ、その範囲外となるコマを含むテンプレートを予め排除する。また、許容アスペクト比の範囲は、追加画像の候補よりもお気に入り画像の方が狭くなり易い。
【００４３】
そこで、本実施形態では、許容アスペクト比が狭くなり易いお気に入り画像の中から、最も許容アスペクト比範囲の狭い画像を選び、他の画像のアスペクト比は考慮せずに当該画像と対応するコマのみについて形状の乖離度に基づいて評価し、評価値が所定の閾値を下回るテンプレート候補を、他のコマを評価することなく除外する。
【００４４】
そして、このような処理をアスペクト比範囲の狭い画像順に繰り返してテンプレート候補を除外することで、選択される可能性の低いテンプレートについては、全てのコマを評価する必要がなくなるので、計算量を省くことが可能になる。
【００４５】
テンプレート評価部１０は、各お気に入り画像および各順序範囲内の候補画像から選択される仮想の追加画像を、各画像の相対順序を保って今回のテンプレート候補の各コマに対応付けたときの、各コマの形状と各画像の許容形状範囲（お気に入り画像）または代表許容形状範囲（追加画像）との乖離度に基づいて、各テンプレート候補の評価値を算出する。
【００４６】
本実施形態では、本発明の発明者等による特許出願（特開2012-019387号公報）に開示されているように、各コマのアスペクト比が当該コマに貼り付けられる画像の許容アスペクト比範囲から外れるほど低い評価を与える評価関数を用いて各コマと画像との乖離度を評価し、その１ページ分の総和で各テンプレート候補が評価される。テンプレート決定部１０ａは、評価の最も高いテンプレート候補を今回のテンプレートに決定する。
【００４７】
追加画像選択部１１は、前記決定されたテンプレートを対象に、前記各順序範囲に対応するコマのアスペクト比を参照し、各順序範囲から各コマのアスペクト比を満足する候補画像を選択して追加画像とする。アスペクト比が同一の追加画像候補が複数存在する場合は、任意の画像選択法で選ぶことができる。例えば、ランダムで選択したり、あるいはカラーレイアウト等で既に選択された画像との類似度を算出し、最も類似していない画像を選択したりできる。図６は、前記追加画像選択部１１の機能を模式的に表現した図であり、ここでは、候補画像I2が追加画像として選択されている。
【００４８】
画像レイアウト部１２は、テンプレートの各コマの形状に合わせて各画像から前記重要領域Rtを含む画像領域を切り出す切出部１２ａ、および各画像を対応するコマのサイズに合わせて拡縮する拡縮部１２ｂを含み、各お気に入り画像および追加画像から重要領域Rtを含む所定範囲を、前記採用テンプレートの各対応するコマのアスペクト比に合わせて切り出し、さらに各画像をコマサイズに合わせて拡縮した後にレイアウトする。
【００４９】
次いで、本発明によるテンプレートの評価方法を、図７，８のフローチャートを参照して詳細に説明する。ここでは、コマ数Ｎが「７」の出力ページに、１５枚の候補画像の中から５枚のお気に入り画像を指定して貼り付ける場合を例にして説明する。
【００５０】
ステップＳ１では、前記コマ割り条件受付部３において、コマ数Nとして「７」の入力が受け付けられる。ステップＳ２では、前記画像指定受付部２において、１５枚の候補画像I1〜I15から５枚のお気に入り画像を指定する操作が受け付けられる。本実施形態では、お気に入り画像としてI4，I7，I9，I11，I15が指定されたものとする。
【００５１】
ステップＳ３では、前記追加画像数出部５ａにおいて、コマ数N（=7）に対するお気に入り画像数（=5）の差分（=2）が、不足する画像数を補う追加画像数として求められる。ステップＳ４では、前記順序範囲設定部５において、前記２枚の追加画像を残りの候補画像の集合から抽出する際の順序範囲が設定される。
【００５２】
本実施形態では、図９に示したように、先頭からお気に入り画像I4までが第１順序範囲[I1，I2，I3]、お気に入り画像I4，I7の間が第２順序範囲[I5，I6]、お気に入り画像I7，I9の間が第３順序範囲[I8]、お気に入り画像I9，I11の間が第４順序範囲[I10]、お気に入り画像I11，I15の間が第５順序範囲[I12，I3，I14]とされる。
【００５３】
ステップＳ５では、前記２枚の追加画像を読み出す順序範囲がランダムに決定される。ここでは、第２順序範囲および第５順序範囲に決定されたものとして説明を続ける。ステップＳ６では、前記重要領域抽出部６において、前記５枚のお気に入り画像I4，I7，I9，I11，I15のそれぞれから重要領域が抽出され、さらに前記第２および第５の各順序範囲に属する全ての候補画像から重要領域が抽出される。
【００５４】
ステップＳ７では、前記許容形状範囲設定部７の第１設定部７ａにおいて、前記お気に入り画像ごとに、その重要領域を含むアスペクト比の最大値APmaxおよび最小値APminが求められ、APmaxからAPminの範囲が、各お気に入り画像の許容アスペクト比範囲として設定される。
【００５５】
ステップＳ８では、前記第２および第５の各順序範囲に属する全ての候補画像について、その重要領域を含むアスペクト比の最大値APmaxおよび最小値APminが求められる。さらに、全APmaxの最大値から全APminの最小値までの範囲が、当該各順序範囲に属する候補画像の許容アスペクト比範囲を代表する代表許容形状範囲に設定される。
【００５６】
ステップＳ９では、テンプレート候補出力部４から、前記コマ数N（=7）のコマ割りテンプレート候補が順次に提供される。ステップＳ１１では、今回のテンプレート候補が評価対象として相応しいか否かが判定され、相応しくないテンプレートを評価対象から除外する絞り込み処理が、前記テンプレート選抜部９において実行される。
【００５７】
図８は、前記テンプレートの絞り込み処理の手順を示したフローチャートであり、ステップＳ５１では、５枚のお気に入り画像I4，I7，I9，I11，I15に対応する各コマのアスペクト比が、それぞれ各画像I4，I7，I9，I11，I15の許容アスペクト範囲内にあるか否かが判定される。なお、許容アスペクトの範囲は予め指定した許容誤差分だけ広げても良い。
【００５８】
この条件が満たされていればステップＳ５３へ進み、満たされていなければ、今回のテンプレート候補を評価対象から除外して当該処理を終了する。なお、上記のように、許容アスペクト比の制約の強い画像から順にテンプレートを評価しても良いし、テンプレートごとにお気に入り画像に該当するコマのみを評価しても良い。ここでは、テンプレートごとに評価する方式について説明する。
【００５９】
ステップＳ５３では更に、前記各順序範囲から抽出される追加画像に対応する各コマの許容アスペクト比範囲または当該許容アスペクト比範囲に前記許容誤差分を加算した範囲が、当該順序範囲に設定された代表許容形状（アスペクト）範囲内にあるか否かが判定される。範囲内であれば、ステップＳ５４へ進んで今回のテンプレート候補が評価対象として登録される。範囲外であれば、今回のテンプレート候補を評価対象から除外して当該処理を終了する。
【００６０】
このとき、仮想的な追加画像で代表される１つの順序区間のアスペクト比の範囲が複数ある場合は、各々の範囲について評価し、各々の範囲について評価値を記録しておくとよい。１つの順序区間のアスペクト比の範囲が複数ある場合とは、例えば、順序範囲内に３枚の画像があり、それぞれの画像の許容アスペクト比が0.2~0.3、0.25~0.4、0.5~1であった場合、0.2(Amin)~0.4(Amax)、0.5（Amin）~1(Amax)のふたつの代表許容形状範囲を持つなど、代表許容形状範囲を複数もつことをいう。その後、評価値の最も高い１ないし上位複数のテンプレート候補が今回のテンプレートに決定される。
【００６１】
図７へ戻り、ステップＳ１２では、評価対象となるテンプレート候補の登録数が予定数に達したか否かが判定される。未達であれば、ステップＳ９へ戻って次のテンプレートを取得し、当該テンプレート候補について上記の各処理が繰り返される。
【００６２】
その後、評価対象となるテンプレート候補の登録数が予定数に達するとステップＳ１３へ進み、各お気に入り画像および各順序範囲から抽出される仮想の追加画像を、各画像の相対順序を保って各テンプレート候補の各コマに対応付けたときの各コマの形状と当該コマに貼り付けられる画像の形状との乖離度に基づいて各テンプレートの評価値が算出される。
【００６３】
ステップＳ１４では、前記第２および第５順序範囲から、評価値の高い範囲で記録された範囲のアスペクトを持つ追加画像が１枚ずつ選択される。所望のアスペクト比をもつ画像が複数ある場合はランダムに選択しても良いし、他の適宜の画像選択手法を適用しても良い。
このように、本実施形態ではお気に入り画像以外の追加画像が、その順序範囲およびアスペクト比の範囲を求めた後で決定されるので、重要領域の切り落としを少なくすることができる。
【００６４】
ステップＳ１５では、前記切出部１２ａにおいて、テンプレートの各コマの形状に合わせて、各画像からサムネイル画像が切り出される。さらに、前記拡縮部１２ｂにおいて、前記切り出されたサムネイル画像が貼り付け先のコマの大きさに合わせて拡縮される。ステップＳ１６では、前記拡縮された各サムネイル画像が、対応するコマの位置にレイアウトされる。
【００６５】
本発明によれば、順序性のある貼付候補の画像群から、複数のお気に入り画像を、出力ページのコマ数よりも少ない枚数だけ指定し、画像の不足分を補う追加画像の抽出位置を可変とすることで追加画像の許容形状に自由度が生じ、レイアウトの自由度が増すので、画像の順序性を損なうことなく、重要領域の切り落としをさらに少なくした画像レイアウトを、少ない計算量で実現できるようになる。
【００６６】
[第２実施形態]
図１０は、本発明の第２実施形態に係る画像レイアウト方法および装置の機能ブロック図であり、図１と同一の符号は同一または同等部分を表しているので、その説明は省略する場合もある。本実施形態では、画像指定受付部２に対して貼付画像を指定する際に、画像サイズに関する制約条件を指定できるようにした点に特徴がある。
【００６７】
画像指定受付部２は、上記の第１実施形態と同様に、多数の候補画像の中から、コマ割りされた出力ページに実際に貼り付けるお気に入り画像の指定を受け付ける際、他の画像よりも大きく表示したい、または小さく表示したいといったサイズ制約のあるお気に入り画像（サイズ制約画像）の指定を受け付ける第１受付部２ａ、およびこのようなサイズ制約のないお気に入り画像（非サイズ制約画像）の指定を受け付ける第２受付部２ｂを含む。本実施形態でも、お気に入り画像（サイズ制約画像および非サイズ制約画像の総数）が、実際に貼り付けられる画像数（コマ数）よりも少数とされる。
【００６８】
コマサイズ判定部８は、各テンプレート候補に含まれる各コマの面積を算出する。テンプレート選抜部９は、第１および第２選抜部９ａ，９ｂを含み、テンプレート候補出力部４が出力する多数のテンプレート候補の中から、今回のサイズ制約を含む指定内容に相応しいテンプレート候補のみを評価対象として選別し、それ以外を評価対象から除外することで、評価対象のテンプレート候補を予め少数に絞り込む。ここでは、所定の画像が貼り付けられるコマ形状を大きくするサイズ制約を例にして説明するが、小さくするサイズ制約の場合も同様である。
【００６９】
前記第１選抜部９ａは、前記各お気に入り画像および仮想の追加画像を、各画像の相対順序を保って今回のテンプレート候補の各コマに対応付けたときに、前記サイズ制約画像に対応したコマの面積が全コマの平均値よりも小さいテンプレート候補を評価対象から除外する。なお、ページ内の各コマを大きさ順で並べたときの中央値や最大値よりも小さなコマが前記サイズ制約画像に対応付けられるテンプレート候補が除外されるようにしても良い。
【００７０】
図１１は、前記第１選抜部９ａの機能を模式的に示した図である。貼り付け対象となる４枚の画像のうち、相対順序で１枚目および４枚目がサイズ制約画像であるとき、同図(a)，(b)に示したテンプレート候補はいずれも、１枚目および４枚目に対応する各コマのサイズが全コマの平均サイズよりも大きいので除外されない。これに対して、同図(c)に示したテンプレート候補は、４枚目に対応するコマのサイズが平均サイズよりも小さいので評価対象から除外される。
【００７１】
図１２は、本発明の第２実施形態の動作を示したフローチャートであり、図７のフローチャートと同一番号のステップでは同一または同等の処理が実行されるので、その説明を省略または簡略する場合もある。本実施形態では、ステップＳ１０が新たに追加されている点に特徴がある。
【００７２】
ステップＳ１では、コマ割り条件受付部３において、コマ数Nとして「７」の入力が受け付けられる。ステップＳ２では、前記画像指定受付部２において、１５枚の候補画像I1〜I15から５枚のお気に入り画像を指定する操作が受け付けられる。本実施形態では、２枚の候補画像I4，I11が、大きく表示したいサイズ制約を含むお気に入り画像（サイズ制約画像）として指定され、３枚の候補画像I7，I9，I15がサイズ制約を含まないお気に入り画像（非サイズ制約画像）として指定されたものとする。
【００７３】
ステップＳ３では、前記追加画像数出部５ａにおいて、コマ数N（=7）に対するお気に入り画像数（=5）の差分（=2）が、不足する画像数を補う追加画像数として求められる。ステップＳ４では、前記順序範囲設定部５において、前記２枚の追加画像を残りの候補画像の集合から抽出する際の順序範囲が設定される。ここでも、前記図４に示したように各順序範囲が設定されたものとして説明を続ける。
【００７４】
ステップＳ５では、前記２枚の追加画像を読み出す順序範囲がランダムに決定される。ここでも、第２順序範囲および第５順序範囲に決定されたものとして説明を続ける。ステップＳ６では、前記重要領域抽出部６において、前記５枚のお気に入り画像I4，I7，I9，I11，I15のそれぞれから重要領域が抽出され、さらに前記第２および第５の各順序範囲に属する全ての候補画像から重要領域が抽出される。
【００７５】
ステップＳ７では、前記許容アスペクト比範囲設定部７の第１設定部７ａにおいて、前記お気に入り画像ごとに、その重要領域を含むアスペクト比の最大値APmaxおよび最小値APminが求められ、APmaxからAPminの範囲が、各お気に入り画像の許容アスペクト比範囲として設定される。
【００７６】
ステップＳ８では、前記第２および第５の各順序範囲に属する全ての候補画像について、その重要領域を含むアスペクト比の最大値APmaxおよび最小値APminが求められる。さらに、全APmaxの最大値から全APminの最小値までの範囲が、当該各順序範囲に属する画像の仮想追加画像許容アスペクト比範囲の代表値として設定される。ステップＳ９では、テンプレート候補出力部４から、前記コマ数N（=7）のコマ割りテンプレート候補が順次に発生される。
【００７７】
ステップＳ１０では、前記コマサイズ判定部８により、今回のテンプレート候補を対象に各コマの面積が算出される。ステップＳ１１では、今回のテンプレート候補が評価対象として相応しいか否かが判定され、相応しくないテンプレートを評価対象から除外する絞り込み処理が、前記テンプレート選抜部９において実行される。
【００７８】
図１３は、テンプレートの絞り込み処理の手順を示したフローチャートであり、図８のフローチャートと同一番号のステップでは同一または同等の処理が実行されるので、その説明を省略または簡略する場合もある。
【００７９】
ステップＳ５１では、前記２枚のサイズ制約画像I4，I11について、今回のテンプレート候補が以下の２つの条件を満足しているか否かが判定される。
【００８０】
条件１は、各サイズ制約画像I4，I11に対応する各コマのアスペクト比が、それぞれ各サイズ制約像I4，I11の許容アスペクト範囲内にあることである。なお、テンプレート絞り込み時には、許容アスペクト範囲に許容誤差を設定して、許容アスペクト比範囲を広げておいても良い。
【００８１】
条件２は、各サイズ制約画像I4，I11に対応するコマの面積が、全てのコマの面積の平均面積よりも大きいことである。条件１，２のいずれもが満たされていればステップＳ５２へ進む。いずれかの条件が満たされていなければ、今回のテンプレート候補を評価対象から除外して当該処理を終了する。本実施形態では、サイズ制約を含むお気に入り画像は自由度が低いことに着目し、このような画像からテンプレートの絞り込みを行うことで計算量を削減できる。
【００８２】
ステップＳ５２では更に、前記各非サイズ制約画像I7，I9，I15に対応する各コマのアスペクト比が、それぞれ非サイズ制約画像I7，I9，I15の許容アスペクト範囲内またはそれに許容誤差を加えた範囲内にあるか否かが判定され、範囲内にあればステップＳ５３へ進む。範囲外であれば、今回のテンプレート候補を評価対象から除外して当該処理を終了する。
【００８３】
図１２へ戻り、ステップＳ１２では、評価対象となるテンプレート候補の登録数が予定数に達したか否かが判定される。ステップＳ１３では、各お気に入り画像および仮想の追加画像を、各画像の相対順序を保って各テンプレート候補の各コマに対応付けたときの各コマの形状と当該コマに貼り付けられる画像の形状との乖離度に基づいて各テンプレートの評価値が算出される。
【００８４】
このとき、許容誤差は考慮せずに値を算出する。また、仮想追加画像で代表される１つの抽出区間のアスペクト比の範囲が複数ある場合は、各々の範囲について評価し、各々の範囲について評価値を記録しておく。そして、評価値の最も高い１ないし上位複数のテンプレート候補が今回のテンプレートに決定される。
【００８５】
ステップＳ１４では、前記第２および第５順序範囲から、評価値が高い範囲で記録された範囲のアスペクトを持つ追加画像が１枚ずつ選択される。所望のアスペクト比をもつ画像が複数ある場合は、前述したようにランダムに選択しても良いし、他の画像選択手法を適用しても良い。
以上のように、お気に入り画像以外の選択画像は、追加画像の順序範囲および追加可能なアスペクト比の範囲を求めた後に決定することで、重要領域の切り落としを少なくすることができる。
【００８６】
ステップＳ１５では、前記切出部１２ａにおいて、テンプレートの各コマの形状に合わせて、各画像からサムネイル画像が切り出される。さらに、前記拡縮部１２ｂにおいて、前記切り出されたサムネイル画像が貼り付け先のコマの大きさに合わせて拡縮される。ステップＳ１６では、前記拡縮された各サムネイル画像が、対応するコマの位置にレイアウトされる。
【００８７】
本実施形態によれば、順序性のある貼付候補の画像群から、特に大きく表示したいサイズ制約を含む複数のお気に入り画像を、出力ページのコマ数よりも少ない枚数だけ指定し、画像の不足分を補う追加画像の抽出位置を可変とすることでレイアウトの自由度が増すので、画像の順序性を損なうことなく、かつ重要領域の切り落としを少なくし、大きく表示したい画像を大きなコマに貼り付ける画像レイアウトを、少ない計算量で実現できるようになる。
【符号の説明】
【００８８】
１…画像入力部，２…画像指定受付部，３…コマ割り条件受付部，４…テンプレート候補出力部，５…順序範囲設定部，６…重要領域抽出部，７…許容形状範囲設定部，８…コマサイズ判定部，９…テンプレート選抜部，１０…テンプレート評価部，１１…追加画像選択部，１２…画像レイアウト部
【図１】
2014158071.tif 000003
【図２】
2014158071.tif 000004
【図３】
2014158071.tif 000005
【図４】
2014158071.tif 000006
【図５】
2014158071.tif 000007
【図６】
2014158071.tif 000008
【図７】
2014158071.tif 000009
【図８】
2014158071.tif 000010
【図９】
2014158071.tif 000011
【図１０】
2014158071.tif 000012
【図１１】
2014158071.tif 000013
【図１２】
2014158071.tif 000014
【図１３】
2014158071.tif 000015