(57)【特許請求の範囲】
【請求項１】
撮影者が撮影意図したオブジェクトである重要オブジェクトが存在する注目領域を含む複数の原画像をコマ割りされたテンプレートの対応する各コマの形状に応じたレイアウト画像に変形させて各コマにレイアウトする画像レイアウト設定装置において、
レイアウト画像に含ませたい横長画像および縦長画像の少なくとも一方のアスペクト比および割合をレイアウト条件として設定するレイアウト条件設定手段と、
原画像ごとに、アスペクト比の変更に伴う前記注目領域が切り落とされる程度および変更前後での画像の類似性が損なわれる程度の少なくとも一方を判定し、この判定結果から、アスペクト比の変更を許容できる許容アスペクト比範囲を探索する許容アスペクト比範囲探索手段と、
レイアウト画像のアスペクト比が前記許容アスペクト比範囲から外れるほど低い評価を与える評価関数を設定する評価関数設定手段と、
前記テンプレートの各コマにレイアウトされる各レイアウト画像を、そのアスペクト比に基づいて前記評価関数により評価し、各レイアウト画像についての評価値の総和で画像レイアウトを評価するレイアウト評価手段とを具備し、
前記変更前後での画像の類似性が損なわれる程度の判定を、原画像のポテンシャルマップにおいてアスペクト比を変更したときに失われる損失エネルギ量を計測して該損失エネルギ量と予め定義された閾値とを比較することにより行うことを特徴とする画像レイアウト設定装置。
【請求項２】
前記許容アスペクト比探索手段は、各原画像を、そのアスペクト比が変更されるように固有の変形方式で変形させる少なくとも一つの探索手段を具備し、前記許容アスペクト比範囲を前記変形方式ごとに探索し、
前記レイアウト評価手段は、原画像を各探索手段に固有の変形方式で変形させて得られるレイアウト画像を、当該固有の変形方式に対応した評価関数で評価することを特徴とする請求項１に記載の画像レイアウト設定装置。
【請求項３】
前記評価関数は、アスペクト比が許容アスペクト比範囲内のレイアウト画像を一律に高く評価することを特徴とする請求項１または２に記載の画像レイアウト設定装置。
【請求項４】
前記許容アスペクト比範囲探索手段は、原画像の一部のアスペクト比が特異的であると、当該一部の原画像の許容アスペクト比範囲を前記特異的なアスペクト比を含む狭い範囲に設定する機能を有することを特徴とする請求項１ないし３のいずれかに記載の画像レイアウト設定装置。
【請求項５】
前記許容アスペクト比範囲探索手段は、
原画像をレイアウト画像へ変形する過程で失われる損失エネルギ量とアスペクト比との対応関係を求める手段と、
前記損失エネルギ量が所定の基準値を下回るアスペクト比の範囲を当該原画像の許容アスペクト比範囲として設定する手段とを具備したことを特徴とする請求項１ないし４のいずれかに記載の画像レイアウト設定装置。
【請求項６】
前記許容アスペクト比範囲探索手段は、原画像からレイアウト画像へ、損失エネルギ量の小さいラインまたはシームを順次に切り捨てることで変形させることを特徴とする請求項５に記載の画像レイアウト設定装置。
【請求項７】
前記許容アスペクト比範囲探索手段は、原画像からレイアウト画像へ、画像の上下端または左右端から順次に所定の幅で画像領域を切り落とすことで変形させることを特徴とする請求項５に記載の画像レイアウト設定装置。
【請求項８】
前記許容アスペクト比範囲探索手段は、
原画像から重要オブジェクトを識別する手段と、
原画像において、その重要オブジェクトの矩形枠の幅を各画像の左右端まで拡張した横長形状のアスペクト比Amaxを算出する手段と、
原画像において、その重要オブジェクトの矩形枠の高さを各画像の上下端まで拡張した縦長形状のアスペクト比Aminを算出する手段と、
前記アスペクト比AmaxからAminまでの範囲を当該原画像の許容アスペクト比範囲として設定する手段とを具備したことを特徴とする請求項１または２に記載の画像レイアウト設定装置。
【請求項９】
前記重要オブジェクトが、顔領域、立姿領域、肌色領域および顕著領域の少なくとも一つを含むことを特徴とする請求項８に記載の画像レイアウト設定装置。
【請求項１０】
前記許容アスペクト比範囲探索手段は、
各原画像が三分割法の構図であるか否かを判定する手段と、
三分割法の構図を有する原画像の中央部に、上辺および下辺が原画像の上辺および下辺の一部である所定の縦長アスペクト比の矩形枠を設定する手段とを具備し、
前記縦長アスペクト比が許容アスペクト比範囲に設定されることを特徴とする請求項１または２に記載の画像レイアウト設定装置。
【請求項１１】
前記許容アスペクト比範囲探索手段は、
レイアウト画像に要求するアスペクト比を指定する手段と、
前記指定されたアスペクト比の矩形枠で原画像をスキャンする手段と、
矩形枠外の画像領域を切り捨てたときに損失エネルギ量が最少となるスキャン位置を検出する手段と、
前記損失エネルギ量が最少となるスキャン位置を記憶する手段とを具備し、
これにより前記指定されたアスペクト比を許容アスペクト比範囲に設定する機能を有することを特徴とする請求項１または２に記載の画像レイアウト設定装置。
【請求項１２】
前記レイアウト条件が、横長画像の割合が４割以上、縦長画像の割合が１ないし３割であることを特徴とする請求項１ないし１１のいずれかに記載の画像レイアウト設定装置。
【請求項１３】
前期レイアウト条件が、縦長画像が1枚以上であることを特徴とする請求項１ないし１１のいずれかに記載の画像レイアウト装置。
【請求項１４】
撮影者が撮影意図する重要オブジェクトが存在する注目領域を含む複数の原画像をコマ割りされたテンプレートの対応する各コマの形状に応じたレイアウト画像に変形させて各コマにレイアウトする画像レイアウト設定方法において、
レイアウト画像に含ませたい横長画像および縦長画像の少なくとも一方のアスペクト比および割合をレイアウト条件として設定し、
原画像ごとに、アスペクト比の変更に伴う前記注目領域が切り落とされる程度および変更前後での画像の類似性が損なわれる程度の少なくとも一方を判定し、この判定結果から、アスペクト比の変更を許容できる許容アスペクト比範囲を探索し、
レイアウト画像のアスペクト比が前記許容アスペクト比範囲から外れるほど低い評価を与える評価関数を設定し、
各原画像をコマ割りされたテンプレートの対応する各コマの形状に応じたレイアウト画像に変形させ、
前記テンプレートの各コマにレイアウトされる各レイアウト画像を、そのアスペクト比に基づいて前記評価関数により評価し、各レイアウト画像についての評価値の総和で画像レイアウトを評価し、
前記変更前後での画像の類似性が損なわれる程度の判定を、原画像のポテンシャルマップにおいてアスペクト比を変更したときに失われる損失エネルギ量を計測して該損失エネルギ量と予め定義された閾値とを比較することにより行うことを特徴とする画像レイアウト設定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コマ割りされたテンプレート上の各コマに、複数の原画像から様々な形状でレイアウト画像を切り出して貼り付ける際に、原画像から重要オブジェクトが切り落とされることなく、レイアウトに多様性があり、かつ主観評価が高くなるようにレイアウト画像を自動的に切り出してレイアウトを設定できる画像レイアウト設定方法および装置に関する。
【背景技術】
【０００２】
コマ割りされた出力ページ（レイアウトテンプレート）の各コマに、原画像から各コマ形状に合わせて切り出した画像領域を貼り付ける画像レイアウトが注目されている。本発明の発明者等による特許文献１には、デジタルカメラで撮影された画像のように、時系列の要素を含む複数の画像に対して、予め注目領域R1および推奨領域R2を指定し、各画像から対応するコマ形状に合わせて、注目領域R1は必ず表示され、推奨領域R2はなるべく表示されるようにレイアウト画像を切り出し、時系列を維持してコミック風にレイアウトする技術が開示されている。
【０００３】
図２２は、特許文献１による画像の切り出し方法を示した図であり、原画像を対象に、必ず表示させたい必須の領域が注目領域R1として指定されると共に、この注目領域R1と少なくとも一部が重なり、表示することが推奨される領域が推奨領域R2として指定される。そして、各画像をレイアウトテンプレート上に表示させる際は、各レイアウトテンプレートの各コマの形状と当該コマに表示される画像の形状との乖離度が求められる。この際、画像形状はアスペクト比で定義され、各コマのアスペクト比が、注目領域R1や推奨領域R2を表示可能なアスペクト比範囲から外れるほど乖離度が大きくされる。
【０００４】
このように、特許文献１では原画像に注目領域R1および推奨領域R2を予め指定することで画像の切り出し形状（アスペクト比）に自由度を持たせることができ、かつ切り出し自由度の高い画像を切り出し自由度の低い画像のバッファとして機能させることができるので、コマ形状の異なる様々なレイアウトテンプレートへの画像レイアウトが容易になり、その結果、主観評価の高いレイアウトテンプレート選びの多様性を向上させることが可能になる。
【０００５】
また、本発明の発明者等による非特許文献１には、各コマの形状と各コマに貼り付けられる画像のアスペクト比範囲とに基づいて、次式(1)によりコマごとに評価値（乖離度）Eiを算出し、次式(2)でレイアウト全体を評価する方法が開示されている。
【０００６】
Ei (aspect)= max(log(Amin_i/Ap_i)、log(Ap_i/Amax_i)、0)  …(1)
【０００７】
E＝αΣαi・Ei(aspect)+βΣβi・Ei(importance)  …(2)
【０００８】
ここで、アスペクト比Aは幅(W)／高さ(H)で定義され、Amin_iは、原画像Iiから切り出せる画像領域の最小(最も縦長な)アスペクト比であり、Amax_iは、原画像Iiから切り出せる画像領域の最大(最も横長な)アスペクト比である。Ap_iはコマiのアスペクト比を示し、コマiのアスペクト比Ap_iがAmin_i〜Amax_iのときに評価値Ei＝０となり、この範囲から外れるにつれて大きな乖離度が与えられる。画像によりEi＝０を取り得る範囲は異なり、Ei＝０の範囲が広い画像はバッファの役割を果たすので、変形したくない他の画像の形状を保ちやすくできる。α、βは、それぞれ形状および重要度の重みであり、形状評価の他、重要度評価Ei(importance)等も行える。αi、βiは、それぞれ画像ごとの形状および重要度の重みであり、重要視したい画像(乖離を許したくない画像)には大きな値が与えられる。
【０００９】
特許文献２には、ページ内の最大のコマ数を示す情報である上限コマ数情報、各コマの隙間を示す情報である隙間情報、内枠と外枠の余白を示す余白情報等をコマ割条件情報として設定すると、全ての条件を満足するコマ割りを自動的に生成する手法が提案されている。
【００１０】
非特許文献２には、入力画像からHaar-Like特徴を用いたAdaBoost法により矩形の物体領域を検出し、さらに入力画像から顕著性マップ(Saliency Map)を定義して物体領域を自動抽出する方法が開示されている。
【００１１】
非特許文献３には、Visual Attention Modelなどから得た顕著性マップを用いて注目領域ROI(Region of Interest)を決定し、ROIをレイアウトテンプレート上に順不同でレイアウトとする技術が開示されている。
【００１２】
非特許文献４には、原画像にラプラシアンフィルタ、ガボールフィルタあるいはソベルフィルタといったエッジ検出用の微分フィルタを適用してポテンシャルマップ(energy function)を作成し、このポテンシャルマップ上でシーム(縫い目)や直線に沿ってエネルギを累積し、総エネルギが最も低いシームや直線を削除することで画像を変形（アスペクト比を変化）させるシームカービングが開示されている。
【００１３】
非特許文献５には、非特許文献４のシームカービングや、画像の両端を切り落とすCroppingなど、各種の画像編集を組み合わせて画像を変形させる技術が開示されている。非特許文献６，７には、ポテンシャルマップを作成する際に使用可能な顕著性マップを生成する技術が開示されている。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２０１０−５０５２８号公報
【特許文献２】特許第４１１１９４８号公報
【非特許文献】
【００１５】
【非特許文献１】明堂絵美, 高木幸一, 米山暁夫, "アルバム用コミック風レイアウトの半自動生成法", PCSJ/IMPS 2008, I5-20, 2008.
【非特許文献２】福田恵太，滝口哲也，有木康雄；"AdaBoostとSaliency Mapを用いたGraph Cutsによる物体領域の自動抽出法"，情報処理学会平成20年度関西支部大会，C2-06，pp.177-178，2008-10．
【非特許文献３】Carsten Rother, Lucas Bordeaux, Youssef Hamadi, and Andrew Blake, AutoCollage, in ACM Transactions on Graphics (SIGGRAPH), August 2006
【非特許文献４】S. Abidan and A. Shamir, "Seam Carving for Content Aware Image Resizing", SIGGRAPH 2007.
【非特許文献５】M. Rubinstein,  A. Shamir and S. Avidan, "Multi-operator Media Retargeting", SIGGRAPH2009.
【非特許文献６】L.Itti and C. Koch. "A model of saliency-based visual attention for rapid scene analysis", IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11):1254-1259, 1998.
【非特許文献７】X. Hou and L.Zhang;"Saliency Detection: A Spectral Residual Approach", IEEE Conference on Computer Vision and Pattern Recognition, Page(s): 1 - 8, 2007
【発明の概要】
【発明が解決しようとする課題】
【００１６】
特許文献１では、注目領域R1に関しては自動設定を行えるが、重要オブジェクトの一部しか注目領域R1として設定されないことが多いため、レイアウト用に切り出しを行うとオブジェクトの一部が切り落とされやすい。すなわち、不自然な切り落としが行われ易い。
【００１７】
また、特許文献１は、重要な領域の切り落としを防ぎ、かつレイアウトの多様性を増すための推奨領域R2を設定して適切な切り出し形状範囲を形状乖離度の評価関数に反映し、適切な画像に形状自由度のバッファの役割を持たせることで各画像の形状乖離度を小さくするのが特徴だが、推奨領域R2は手動で設定する必要があった。また、切り出し領域の形状や割合に指定がなく、得られたレイアウトに多様性がないことも多く存在する。さらに、許容範囲の設定は手動でも難しく、保存したい元の画像の形状が保持されないことも多い。
【００１８】
このように、特許文献１では、レイアウト中のコマ形状の多様性やレイアウト群の多様性を保ちつつ、不自然な切り出しが行われにくい、常に見た目のよく主観評価の高いレイアウトを得たい要望がある。
【００１９】
特許文献２では、切り出し領域や切り出し形状を指定できない。したがって、無理やりレイアウトのコマに画像を当てはめると、重要な領域が切り落とされ易いという技術課題があった。
【００２０】
本発明の目的は、上記した従来技術の課題を解決し、コマ割りされたテンプレート上の各コマに、複数の原画像から様々な形状でレイアウト画像を切り出して貼り付ける際に、原画像から重要オブジェクトが切り落とされることなく、レイアウトに多様性があり、かつテンプレート上での主観評価が高くなるようにレイアウト画像を自動的に切り出してレイアウトできる画像レイアウト設定方法および装置を提供することにある。
【課題を解決するための手段】
【００２１】
上記の目的を達成するために、本発明は、撮影者が撮影意図する重要オブジェクトが存在する注目領域を含む複数の原画像をコマ割りされたテンプレートの対応する各コマの形状に応じたレイアウト画像に変形させて各コマにレイアウトする画像レイアウト設定装置において、以下のような手段を講じた点に特徴がある。
【００２２】
(1)レイアウト画像に含ませたい横長画像および縦長画像の少なくとも一方のアスペクト比および割合をレイアウト条件として設定するレイアウト条件設定手段と、原画像ごとに、アスペクト比の変更に伴う前記注目領域が切り落とされる程度および変更前後での画像の類似性が損なわれる程度の少なくとも一方を判定し、この判定結果から、アスペクト比の変更を許容できる許容アスペクト比範囲を探索する許容アスペクト比範囲探索手段と、レイアウト画像のアスペクト比が前記許容アスペクト比範囲から外れるほど低い評価を与える評価関数を設定する評価関数設定手段と、各レイアウト画像を、そのアスペクト比に基づいて前記評価関数により評価し、前記テンプレートの各コマにレイアウトされる各レイアウト画像を、そのアスペクト比に基づいて前記評価関数により評価し、各レイアウト画像についての評価値の総和で画像レイアウトを評価するレイアウト評価手段とを具備し、前記変更前後での画像の類似性が損なわれる程度の判定を、原画像のポテンシャルマップにおいてアスペクト比を変更したときに失われる損失エネルギ量を計測して該損失エネルギ量と予め定義された閾値とを比較することにより行うようにした。
【００２３】
(2)評価関数は、アスペクト比が許容アスペクト比範囲内のレイアウト画像を一律に高く評価するようにした。
【００２４】
(3)許容アスペクト比範囲探索手段は、原画像の一部のアスペクト比が特異的であり、他の原画像のアスペクト比と大きく異なっていると、当該一部の原画像の許容アスペクト比範囲を前記特異的なアスペクト比を含む狭い範囲に設定するようにした。
【００２５】
(4)許容アスペクト比範囲探索手段は、原画像ごとにポテンシャルマップを作成する手段と、ポテンシャルを変形させ、当該変形により失われる損失エネルギ量と変形後のアスペクト比との対応関係を求める手段と、損失エネルギ量が所定の基準値を下回るアスペクト比の範囲を当該原画像の許容アスペクト比範囲として設定する手段とを具備した。
【００２６】
(5)許容アスペクト比範囲探索手段は、原画像から重要オブジェクトを識別する手段と、原画像において、その重要オブジェクトの矩形枠の幅を各画像の左右端まで拡張した横長形状のアスペクト比Amaxを算出する手段と、原画像において、その重要オブジェクトの矩形枠の高さを各画像の上下端まで拡張した縦長形状のアスペクト比Aminを算出する手段と、前記アスペクト比AmaxからAminまでの範囲を当該原画像の許容アスペクト比範囲として設定する手段とを具備した。
【発明の効果】
【００２７】
本発明によれば、以下のような効果が達成される。
【００２８】
(1)原画像をレイアウト画像へ変形させる際の許容アスペクト比範囲が設定されるので、原画像のアスペクト比が一律ないしは同等であっても、そのレイアウト画像についてはアスペクト比を縦長から横長まで多様に分散させることができ、また原画像ごとに、変形後のレイアウト画像を評価する評価関数が設定され、画像レイアウトが各レイアウト画像の評価値の総和として評価されるので、主観評価が高く、コマ形状の配置に多様性のある画像レイアウトを自動的に設定できるようになる。
【００２９】
(2)原画像ごとに、許容できるアスペクト比の変更範囲が許容アスペクト比範囲として設定され、レイアウト画像のアスペクト比が許容アスペクト比範囲内であれば一律に高い評価が与えられるので、画像レイアウトの多様性を拡げることができる。
【００３０】
(3)複数の原画像の中に、アスペクト比が他の原画像と大きく異なる特異的な少数の原画像が含まれていると、当該原画像の許容アスペクト比範囲が原画像のアスペクト比を含む狭い範囲に設定されるので、レイアウト画像のアスペクト比に撮影者の意図を反映できるようになる。
【００３１】
(4)レイアウト画像の評価関数は、変形によるポテンシャルマップの損失エネルギ量が小さいほど評価が高くなるように設定されるので、原画像をレイアウト画像に変形させる際にROIが切り落とされてしまう可能性が低くなる。
【００３２】
(5)原画像をレイアウト画像に変形させる際に、重要オブジェクトがレイアウト画像に残るように変形が行われるので、レイアウト画像から重要な画像領域が切り落とされてしまう可能性が低くなる。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施形態に係る画像レイアウト設定装置のブロック図である。
【図２】本発明の一実施形態の動作を示したメインフローである。
【図３】許容アスペクト比範囲の探索方法を示した図である。
【図４】第１探索部による許容アスペクト比範囲の探索方法を示したフローチャートである。
【図５】第１探索部による許容アスペクト比範囲の設定例を示した図である。
【図６】第２探索部による許容アスペクト比範囲の探索方法（その１）を示したフローチャートである。
【図７】東京タワーを被写体とする原画像のポテンシャルマップを示した図である。
【図８】ハーバーブリッジを被写体とする原画像のポテンシャルマップを示した図である。
【図９】横長および縦長のオブジェクトが混在した画像のポテンシャルマップを示した図である。
【図１０】許容アスペクト比範囲の探索方法を示した図である。
【図１１】第２探索部による許容アスペクト比範囲の探索方法（その２）を示したフローチャートである。
【図１２】第２探索部による許容アスペクト比範囲の探索方法（その２）の一例を示した図である。
【図１３】第３探索部による第１ダイナミック探索手法の手順を示したフローチャートである。
【図１４】第３探索部による第２ダイナミック探索手法の手順を示したフローチャートである。
【図１５】第２ダイナミック探索手法を模式的に表現した図である。
【図１６】第３探索部による第３ダイナミック探索手法の手順を示したフローチャートである。
【図１７】第３ダイナミック探索手法による許容アスペクト比範囲の設定例を示した図である。
【図１８】第３探索部による第４ダイナミック探索手法の手順を示したフローチャートである。
【図１９】第４ダイナミック探索手法による許容アスペクト比範囲の設定例を示した図である。
【図２０】評価関数の一例を示した図である。
【図２１】許容アスペクト比範囲および評価関数の概念を説明するための図である。
【図２２】特許文献１を説明するための図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係る画像レイアウト設定装置の主要部の構成を示したブロック図であり、ここでは、本発明の説明に不要な構成は図示が省略されている。
【００３５】
画像入力部１には、デジタルカメラや携帯電話のカメラ機能（携帯カメラ）で撮影された静止画のように、撮影日時や連番のファイル名など、時系列等の順序情報を含む多数の画像から、出力ページのレイアウトテンプレート上に表示できる枚数分（１０枚程度）の静止画像が入力される。なお、画像入力部１に入力される画像は、デジタルカメラで撮影された静止画像に限定されるものではなく、スキャナで読み取られた静止画像や、動画像を構成するフレーム画像（以下、原画像Iiで代表する）であっても良い。また、本発明では順序情報を含まない画像もレイアウト設定の対象とすることが可能であり、その場合、画像Iiおよび後述する各種変数の添え字iは、順序を意味しない単なる識別情報として扱われる。
【００３６】
レイアウト条件設定部２には、各原画像Iiから注目領域(ROI)を含むレイアウト画像を様々な形状で切り出してレイアウトテンプレートに貼り付けたときに主観評価が高くなるレイアウト条件として、レイアウト画像に占める横長画像の割合R1または枚数N1、縦長画像の割合R2または枚数N2、各横長画像が満足すべきアスペクト比A1（横長アスペクト比）、および各縦長画像が満足すべきアスペクト比A2（縦長アスペクト比）が設定されている。
【００３７】
許容アスペクト比範囲探索部３は、後に詳述するように、各原画像Iiを、可能な限りROIが切り落とされたり、あるいは画像の類似性が損なわれたりしないように変形できるアスペクト比の範囲（以下、許容アスペクト比範囲）を探索する。
【００３８】
図２１(a)は、許容アスペクト比範囲の概念を説明するための図であり、原画像Iiを、そのアスペクト比が変化するように様々な変形手法で変形させたとき、オリジナルのアスペクト比Abaseに対して変形後のアスペクト比が大きく異なると、ROIが切り落とされたり、画像の類似性が損なわれたりしてしまう。したがって、原画像をレイアウトテンプレートのコマ形状に合わせてレイアウト画像に変形させる際も、そのアスペクト比は、ROIが切り落とされたり、原画像とそのレイアウト画像との間で類似性が損なわれたりしない範囲内に制限することが望ましい。
【００３９】
そこで、本発明では各原画像Iiに対して様々な画像変形手法を駆使してアスペクト比変更を伴う画像変形を試みながら、変形後の画像からROIが切り落とされる程度や、画像の類似性が損なわれる程度を、変形手法ごとに定量的に計測し、この計測結果から許容アスペクト比範囲を探索するようにしている。
【００４０】
本実施形態では、許容アスペクト比範囲探索部３が、第１探索部（形状保護画像抽出部）３ａ、第２探索部３ｂおよび第３探索部３ｃを備え、各原画像Iiに対して、その撮影意図や構図等を考慮しながら様々な変形手法を適用し、前記レイアウト条件を満足できる許容アスペクト比範囲が原画像Iiごとに探索される。
【００４１】
前記第１探索部３ａは、各原画像Iiの許容アスペクト比範囲を各画像Iiの撮影意図から探索する。すなわち、コマ形状の配置に多様性のあるレイアウトを実現するためには、各原画像Iiに対して許容アスペクト比範囲を広範に設定することが望ましい。しかしながら、例えばデジカメ画像は、その多くが横長画像となるので、その中に少数の縦長画像が含まれていれば、当該縦長画像は撮影者が積極的に縦長を望んだ画像である可能性が極めて高い。同様に、携帯カメラ画像は、その多くが縦長画像となるので、その中に少数の横長画像が含まれていれば、当該横長画像は撮影者が積極的に横長を望んだ画像である可能性が極めて高い。
【００４２】
そして、このような縦長画像（または、横長画像）はレイアウトの際にも縦長（横長）を維持することが望ましく、その許容アスペクト比範囲は縦長（横長）が維持される狭い範囲内に限定すべきである。そこで、前記第１探索部３ａは原画像Iiのアスペクト比Abaseに基づいて、たとえばクラスタリングによりアスペクト比が特異的な原画像Ixを識別し、撮影意図を優先させる観点から、その許容アスペクト比範囲を横長または縦長が維持される比較的狭い範囲に限定する。
【００４３】
前記第２探索部３ｂは、各原画像Iiから不要な画像領域を削除することでアスペクト比を変更できる範囲を許容アスペクト比範囲として探索する。これに対して、前記第３探索部３ｃは、前記第２探索部３ｂだけでは前記レイアウト条件を満足できる許容アスペクト比範囲を探索できないときに、ROIが切り落とされたり、画像の類似性が編集の前後で損なわれたりすることを、ある程度許容してアスペクト比をダイナミックに変更できる範囲を許容アスペクト比範囲として探索する。
【００４４】
評価関数設定部４は、後に詳述するように、原画像Iiをレイアウトテンプレート上の対応するコマ形状のアスペクト比に合わせて変形させたときの当該変形後のレイアウト画像の評価値をアスペクト比の関数として算出する評価関数を画像ごとに設定する。図２１(b)は、前記許容アスペクト比範囲と評価関数との関係を示しており、本実施形態では、前記許容アスペクト比範囲内の変形に対しては高い評価が与えられ、当該範囲から外れるほど評価が低下する。
【００４５】
レイアウト評価部５は、各原画像Iiをレイアウトテンプレートの各コマ形状に合わせて変形させて得られるレイアウト画像の評価値を前記評価関数に基づいてコマごとに求め、その一ページ分の総和に基づいて画像レイアウトを評価する。
【００４６】
前記許容アスペクト比範囲探索部３は、前記許容アスペクト比範囲を各探索部３ａ，３ｂ，３ｃに固有の画像変形手法ごとに探索し、前記レイアウト評価部５は、各原画像を対応するコマ形状のアスペクト比に合わせて所定の変形手法で変形させて得られる各レイアウト画像を、当該所定の変形方式に対応した評価関数で評価する。
【００４７】
なお、対数計算は処理負荷が重いため、上式(2)の評価関数の代わりに次式(3)を用いても良い。
【００４８】
if Amin_i> Ap_i,  Ei(aspect) = (Amin_i-Ap_i)
else if Ap_i>Amax_i, Ei(aspect)=Ap_i-Amin_i
else Ei(aspect)=0…(3)
【００４９】
また、Eを切り落とした面積の総和で評価しても良い。原画像の面積を揃えてから、切り落とした面積を計算し、それをコマごとに足し、値が大きいほど悪い評価とする。画像に重要度が設定されている場合は、切り落とした面積に重要度を乗じてから、コマごとにその値を足すと良い。
【００５０】
図２は、本発明の一実施形態の動作を示したメインフローである。ステップＳ１では、前記レイアウト条件設定部２においてレイアウト条件が設定される。本実施形態では、レイアウト画像に含まれるべき横長画像に要求されるアスペクト比(横長アスペクト比A1＞＝１)および縦長画像に要求されるアスペクト比（縦長アスペクト比A2＜１）が設定される。本実施形態ではアスペクト比を（幅W／高さH）で表すものとする。なお、以下の説明では、アスペクト比A1を横長、アスペクト比A2を縦長とするが、A1,A2が離れた値ならば、双方とも横長または縦長のアスペクト比としても良い。
【００５１】
ステップＳ２では、前記レイアウト条件設定部２において、前記横長アスペクト比A1を満足する横長画像がレイアウト画像に占める割合R1または枚数N1が設定される。ステップＳ３では、前記縦長アスペクト比A2を満足する縦長画像がレイアウト画像に占める割合R2または枚数N2が設定される。このとき、１ページにレイアウトされる原画像Iiが3枚以上であるならば、縦長画像は少なくとも１枚は設定することが望ましい。また、コミック風のレイアウトを望むならば、縦長アスペクト比A2の画像割合を１〜３割、横長アスペクト比A1の画像割合を４割以上に設定することが望ましい。
【００５２】
ステップＳ４では、前記画像入力部１において、複数の画像が今回の原画像Iiとして取り込まれる。ここでは、M枚の原画像Ii(i＝1,2,3…M)が選択されたものとして説明を続ける。ステップＳ５では、今回の原画像Iiが前記レイアウト条件を満足しているか否か、すなわち、横長アスペクト比A1を満足する画像および縦長アスペクト比A2を満足する画像が、それぞれ前記所定の割合R1，R2または枚数N1，N2だけ含まれているか否かが判定される。なお、テンプレートにレイアウト画像を嵌め込み易くするために、前記割合R1，R2または枚数N1，N2にプラスαした値（R1＋αr1，R2＋αr2，N1＋αn1，N2＋αn2）をレイアウト条件としても良い。
【００５３】
ここで、原画像Iiがデジカメ画像やビデオのフレーム画像であれば、その大部分が横長画像なので、前記縦長アスペクト比A2を満足する画像が不足している可能性が高い。また、原画像が携帯カメラ画像であれば、その大部分が縦長画像なので、前記横長アスペクト比A1を満足する画像が不足している可能性が高い。このように、原画像Iiが前記レイアウト条件を満足していなければステップＳ６以降へ進み、前記許容アスペクト比範囲探索部３において、原画像Iiごとに許容アスペクト比範囲が探索、登録される。
【００５４】
図３は、前記許容アスペクト比範囲探索部３による許容アスペクト比範囲の探索方法を示した図である。ここでは、原画像Iiがデジタルカメラで撮影された１０枚の画像I1〜I10であり、そのアスペクト比が同図(a)の通りであって、９枚の横長画像と１枚の縦長画像とで構成されているものとして説明する。
【００５５】
ステップＳ６では、前記第１探索部３ａにより、横長または縦長でのレイアウトが積極的に意図された原画像（形状保護画像）Ixが識別され、当該形状保護画像Ixに対して狭い許容アスペクト比範囲が設定される。
【００５６】
図４は、前記第１探索部３ａの動作を示したフローチャートであり、ステップＳ２１では、今回の原画像Iiが、そのアスペクト比に基づいてクラスタリングされる。ステップＳ２２では、前記クラスタリングの結果に基づいて、アスペクト比が特異的な原画像が形状保護画像Ixとして識別される。本実施形態では１０枚のうち画像I7の１枚のみが縦長画像、他が横長画像なので、当該画像I7が形状保護画像Ixとして識別される。このような識別は、クラスタの要素数が全体の要素数に対して一定割合以下になることで実現できる。クラスタリング手法としては、たとえばK-meansが考えられ、初期の２つの画像を最も縦長な画像、最も横長画像としても良い。あるいは単純に、縦長アスペクト比を持つ画像，横長アスペクト比を持つ画像でクラスタリングしても良い。 
【００５７】
ステップＳ２３では、形状保護画像Ixが横長画像および縦長画像のいずれであるのかが判定される。ここでは縦長画像と判定されるのでステップＳ２５へ進む。ステップＳ２５では、図５(a)に一例を示したように、形状保護画像I7の許容アスペクト比範囲が、原画のアスペクト比Abaseから前記縦長アスペクト比A2までの範囲に設定される。なお、形状保護画像I7が横長画像であればステップＳ２４へ進み、図５(b)に示したように、その許容アスペクト比範囲は原画のアスペクト比Abaseから前記横長アスペクト比A1までの範囲に設定される。
【００５８】
図２のフローチャートへ戻り、ステップＳ７では、前記許容アスペクト比範囲探索部３の第２探索部３ｂにおいて、前記形状保護画像I7を除く全ての原画像Iiを対象に、そのROIが切り落とされたり、あるいは変形の前後で画像の類似性が損なわれたりしない許容アスペクト比範囲が探索される。本実施形態では、各原画像IiからROIではない領域を切り捨てるのみで対応できる許容アスペクト比範囲が探索される。
【００５９】
次いで、図６のフローチャートを参照して、前記第２探索部３ｂで実行される許容アスペクト比範囲の第２探索方法（その１）を詳細に説明する。
【００６０】
ステップＳ４１では、前記形状保護画像I7を除く全ての原画像Iiの中から今回の注目画像Itが一つ選択される。ステップＳ４２では、注目画像ItのポテンシャルマップPtが作成される。図７は、東京タワーを被写体とする画像[同図(a)]およびそのポテンシャルマップPt[同図(b)]の一例を示している。
【００６１】
このようなポテンシャルマップPtは、前記非特許文献４に開示されたシームカービング(Seam Carving)法を用いて作成することができ、ラプラシアンフィルタ、ガボールフィルタあるいはソベルフィルタといったエッジ検出用の微分フィルタが代表的である。なお、ポテンシャルマップPtの代わりに、非特許文献６，７に開示されている顕著性マップを用いても良い。
【００６２】
なお、微分フィルタでは周期的な細かいテクスチャのエッジも高いエネルギを持ちやすいが、顕著性マップでは、そのような周期的なテクスチャは高いエネルギを持ちにくいマップを作成可能なため、両者に重みをかけて加算したものをポテンシャルマップとしても良い。その際、全ての画像において、顕著性マップの総エネルギ値で割ったのちで重みをかけて加算を行うと、周期的なテクスチャ等の影響をさらに低くすることができる。ただし、非特許文献６はROI外が反転して高エネルギを持つこともあり、逆に大きな誤差が足されてROIが削除されやすくなる可能性があるので、安全に切り落としを行える範囲を調べるには微分フィルタだけでも良い。
【００６３】
ステップＳ４３では、注目画像ItのポテンシャルマップPtを横長方向および縦長方向へ段階的に変形させ、変形後のアスペクト比と当該変形により生じる損失エネルギ量Eとの対応関係が算出、記録される。なお、ポテンシャルマップは画像の総エネルギで予め割っておいても良い。本実施形態では、ポテンシャルマップPtを横長方向へ変形させる際はピクセルが水平方向に一列ずつ削除され、垂直方向へ変形させる際はピクセルが垂直方向に一列ずつ削除される。ピクセルの削除列は、損失エネルギが最小となる列から順次に選択される。また、ピクセルの削除列は直線に限定されず、非特許文献４で提案されているようなシーム(縫い目)であっても良い。
【００６４】
図７(c)は、同図(b)のポテンシャルマップPtに基づいて算出されたアスペクト比Aと損失エネルギ量Eとの対応関係を示した図であり、横軸は変形後のアスペクト比A、縦軸は損失エネルギ量Eを示している。前記損失エネルギ量Eは、変形前後でのポテンシャルマップの総エネルギの差分、すなわち削除列のエネルギの累積和でも良いが、削除した各列の損失エネルギとすれば、変形によるエネルギの損失量が強く反映されるので、より望ましい。
【００６５】
また、ピクセルの削除列を画像の最上段から下方へ、また最下段から上方へ順次に選択して最終的にz列を削除するのであれば、最上段から削除する列数aと最下段から削除する列数bとの和がzとなる組み合わせのうち、損失エネルギの総和が最小となるa，bの組み合わせをポテンシャルマップPtから総当たりで求めて削除列を決めるようにしても良い。この際、ポテンシャルマップPtのインテグラルイメージを予め作成しておけば計算を高速化できる。
【００６６】
あるいは、処理負荷を軽減するために、最上段から下方へ、または最下段から上方へ削除列を選択し、損失エネルギのより少ない方を採用するようにしても良い。この場合も、損失エネルギ量Eは削除列のエネルギの累積和であっても良いし、あるいは削除列のエネルギであっても良い。さらに、削除した列の損失エネルギとして、損失エネルギを削除したピクセル数で割った値を用いても良い。
【００６７】
以上のようにして求まる損失エネルギEは、図７(c)に示したように、被写体が東京タワーのように縦長であると、アスペクト比を縦長方向へ変形させた場合の損失エネルギ量が、横長方向へ変形させた場合の損失エネルギ量よりも小さくなることが判る。例えば、アスペクト比を±０．５だけ変化させたとき、縦長方向へ変形させた場合の損失エネルギ量が「２」程度であるのに対して、横長方向へ変形させた場合の損失エネルギ量は「８」程度であり、４倍近くになっている。
【００６８】
なお、図８に示したように、原画像[同図(a)]の被写体がハーバーブリッジのように横長であると、前記東京タワーの場合と異なり、その損失エネルギ量とアスペクト比Aとの対応関係[同図(c)]は、アスペクト比を横長方向へ変形させた場合の損失エネルギ量が縦長方向へ変形させた場合の損失エネルギ量よりも小さくなることが判る。
【００６９】
さらに、図９に示したように、被写体に横長オブジェクトと縦長オブジェクトとが混在している[同図(a)]と、その損失エネルギ量とアスペクト比Aとの対応関係[同図(c)]では、アスペクト比を横長方向へ変形させた場合も縦長方向へ変形させた場合も同等になることが判る。
【００７０】
図６へ戻り、ステップＳ４４では、原画像Iiの全てに関して上記の処理が完了したか否かが判定される。完了していなければステップＳ４１へ戻り、注目画像Itを他の原画像Iiに切り替えながら上記の各処理が繰り返される。原画像Iiの全てに関して上記の処理が完了するとステップＳ４５へ進み、各原画像Iiに関して、前記アスペクト比Aと損失エネルギ量Eとの対応関係に基づいて許容アスペクト比範囲が探索される。
【００７１】
図１０は、前記許容アスペクト比範囲の探索方法の一例を示した図であり、本実施形態では、損失エネルギ量Eの閾値Eref1が、各原画像IiからROIが切り落とされたり、画像の類似性が編集の前後で損なわれたりしない値に予め定義され、原画像Iiを縦長方向および横長方向に変形させたときに損失エネルギ量Eが前記Eref1を越えないアスペクト比Aの上下限値Amax，Aminの範囲が許容アスペクト比範囲とされる。
【００７２】
ステップＳ４６では、原画像Iiの全ての許容アスペクト比範囲が参照され、許容アスペクト比範囲が前記横長アスペクト比A1または縦長アスペクト比A2を満足する画像が識別されて登録される。
【００７３】
図１１は、前記第２探索手法の他の一例（その２）の手順を示したフローチャートであり、ここでは、原画像Iiから左右または上下の端部を所定の幅で順次に切り落として損失エネルギ量の総和を計算し、この総和が所定の上限値内に収まるアスペクト比の範囲が許容アスペクト比範囲とされる。
【００７４】
ステップＳ６１では、前記形状保持画像I7を除く全ての原画像Iiの中から今回の注目画像Itが選択される。ステップＳ６２では、図１２(a)，(b)に示したように、注目画像Itの上下端が所定の幅で切り落とされる。ステップＳ６３では、切り落とされた画像領域のエネルギ量が損失エネルギ量Elost1として算出される。ステップＳ６４で、損失エネルギ総量ΣＥlost1に今回の損失エネルギ量Elast1が加算されて損失エネルギ総量ΣＥlost1が更新される。
【００７５】
ステップＳ６５では、注目画像Itが前記横長アスペクト比A1まで変形されたか否かが判定され、初めはA1まで変形されていないと判定されるのでステップＳ６７へ進む。ステップＳ６７では、現在までの損失エネルギ総量ΣＥlost1が上限値Elost_ref1に達しているか否かが判定される。この上限値Elost_ref1も、各原画像IiからROIが切り落とされたり、画像の類似性が編集の前後で損なわれたりしない値に予め定義されている。達していないと判定されればステップＳ６２へ戻り、図１２(c)に示したように、さらに注目画像Itの上下端が所定の幅で切り落とされ、上記の各処理が繰り返される。
【００７６】
その後、ステップＳ６５において、注目画像Itが横長アスペクト比A1まで変形されたと判定されるとステップＳ６６へ進み、当該横長アスペクト比A1が許容アスペクト比範囲の上限値Amaxとされる。また、横長アスペクト比A1まで変形される前に、前記ステップＳ６７において損失エネルギ総量ΣＥlost1が上限値Elost_refに達したと判定されるとステップＳ６８へ進み、現在のアスペクト比が許容アスペクト比範囲の上限値Amaxとされる。
【００７７】
ステップＳ６９では、図１２(a)，(d)に示したように、前記ステップＳ６１で選択された今回の注目画像Itの左右端が所定の幅で切り落とされる。ステップＳ７０では、切り落とされた画像領域のエネルギ量が損失エネルギ量Elost2として算出される。ステップＳ７１で、損失エネルギ総量ΣＥlost2に今回の損失エネルギ量Elast2が加算されて損失エネルギ総量ΣＥlost2が更新される。
【００７８】
ステップＳ７２では、注目画像が縦長アスペクト比A2まで変形されたか否かが判定され、初めは変形されていないと判定されるのでステップＳ７４へ進む。ステップＳ７４では、現在までの損失エネルギ総量ΣＥlost2が上限値Elost_ref2に達しているか否かが判定される。この上限値Elost_ref2も、各原画像IiからROIが切り落とされたり、画像の類似性が編集の前後で損なわれたりしない値に予め定義されている。達していないと判定されればステップＳ６９へ戻り、図１２(e)に示したように、さらに注目画像の左右端が所定の幅で切り落とされ、上記の各処理が繰り替えられる。
【００７９】
その後、ステップＳ７２において、注目画像Itが縦長アスペクト比A2まで変形されたと判定されるとステップＳ７３へ進み、当該縦長アスペクト比A2が許容アスペクト比範囲の下限値Aminとされる。また、縦長アスペクト比A2まで変形される前に、前記ステップＳ７４において、損失エネルギ総量ΣＥlost1が上限値Elost_refに達したと判定されるとステップＳ７５へ進み、現在のアスペクト比が許容アスペクト比範囲の下限値Aminとされる。
【００８０】
ステップＳ７６では、原画像Iiの全てに関して上記の処理が完了したか否かが判定される。完了していなければステップＳ６１へ戻り、注目画像Itを他の原画像Iiに切り替えながら上記の各処理が繰り返される。
【００８１】
図２へ戻り、ステップＳ８では、前記許容アスペクト比範囲が前記レイアウト条件を満足しているか否かが判定される。満足していればステップＳ１０へ進んで評価関数が設定される。これに対して、図３(b)に示したように、前記許容アスペクト比範囲が横長アスペクト比A1を満足する画像数および縦長アスペクト比A2を満足する画像数の少なくとも一方が前記レイアウト条件を満足していなければ、図２のステップＳ９へ進む。
【００８２】
ステップＳ９では、前記許容アスペクト比探索部３の第３探索部３ｃにおいて、前記形状保護画像I7を含む全ての原画像Iiを対象に、少なくとも一つのダイナミック探索手法が適用されて許容アスペクト比範囲が拡張される。
【００８３】
上記の第２探索部３ｂでは、各原画像Iiから不要な部分を削除することでアスペクト比を変更する探索手法を採用し、ROIが切り落とされたり、画像の類似性が編集の前後で損なわれたりすることはなかったが、この第３探索部３cでは、ROIが切り落とされたり、画像の類似性が編集の前後で損なわれたりすることを、ある程度許容してアスペクト比をダイナミックに変更するダイナミック探索手法が採用される。以下、４つのダイナミック探索手法について説明するが、各探索手法は単独で用いられても良いし、あるいは複数の探索手法を適宜の優先順位で組み合わせて用いるようにしても良い。
【００８４】
図１３は、第１ダイナミック探索手法の手順を示したフローチャートであり、ここでは、許容アスペクト比範囲の上下限値Amax，Aminを決定する前記損失エネルギEの閾値を、前記第２探索部３ｂで設定された閾値Eref1よりも緩い閾値Eref2(Eref1＜Eref2)とすることで各画像の許容アスペクト比範囲が拡張される。
【００８５】
ステップＳ１０１では、不足しているアスペクト比に近いアスペクト比の原画像Iiの中から注目画像Itの集合が選抜される。すなわち、横長アスペクト比A1が不足していれば、原画像Iiのうち横長画像のみが選抜され、縦長画像は排除される。ステップＳ１０２では、選抜された画像集合から今回の注目画像Itが選択される。ステップＳ１０３では、損失エネルギ量Eが前記閾値Eref2に達するまで、上記と同様に画像編集が実施されてアスペクト比と損失エネルギ量Eとの関係が求められる。
【００８６】
ステップＳ１０４では、損失エネルギ量Eが閾値Eref2となった時点での許容アスペクト比範囲が前記不足しているアスペクト比を満足しているか否かが判定される。満足していればステップＳ１０５へ進み、当該注目画像Itが今回の編集手法と共に登録される。ステップＳ１０６では、前記選抜された画像集合の全てに関して上記の処理が完了したか否かが判定される。完了していなければステップＳ１０２へ戻り、注目画像を他の画像に切り替えながら上記の各処理が繰り返される。
【００８７】
図１４は、第３探索部３cによる第２ダイナミック探索手法の手順を示したフローチャートであり、ここでは、原画像Iiから重要オブジェクトが抽出され、この重要オブジェクトが欠けないようにアスペクト比を変更できる範囲が許容アスペクト比範囲とされる。
【００８８】
ステップＳ１２１では、今回の注目画像Itが選択される。ステップＳ１２２では、図１５(a)，(b)に示したように、注目画像Itの中から重要オブジェクトが抽出される。本実施形態では、顔領域、立姿領域および肌色領域などの人領域、ならびに顕著領域が重要オブジェクトとして抽出される。顕著領域よりも顔領域、立姿領域に関する人の検出の方が信頼性が高いため、信頼性の高い人領域を優先させると良い。半分より上に顔領域が存在する場合には、体や頭の領域を推定して重要オブジェクトを抽出しても良い。
【００８９】
ステップＳ１２３，１２４では、図１５(c)に示したように、重要オブジェクトの矩形枠を左右方向に原画像の左辺および右辺まで拡張した形状Iaのアスペクト比が許容アスペクト比範囲の上限値Amaxとされ、重要オブジェクトの矩形枠を上下方向に原画像の上辺および下辺まで拡張した形状Ibのアスペクト比が許容アスペクト比範囲の下限値Aminとされる。
【００９０】
ステップＳ１２５では、前記許容アスペクト比範囲が不足アスペクト比を満足しているか否かが判定される。満足していればステップＳ１２６へ進み、当該注目画像が今回の編集手法と共に登録される。ステップＳ１２７では、全ての画像に関して上記の処理が完了したか否かが判定される。完了していなければステップＳ１２１へ戻り、注目画像Itを他の画像に切り替えながら上記の各処理が繰り返される。
【００９１】
なお、ここでは人領域および顕著領域をいずれも重要オブジェクトとして同等に扱うものとして説明したが、本発明はこれのみに限定されるものではなく、例えば、顕著領域よりも人領域を優先させ、人領域の矩形枠から探索された許容アスペクト比範囲が不足アスペクト比を満足できないときに、改めて顕著領域の矩形枠から許容アスペクト比範囲を探索するようにしても良い。また、人および顕著領域を囲った領域を重要オブジェクトとしても良い。
【００９２】
図１６は、第３探索部３cによる第３ダイナミック探索手法の手順を示したフローチャートであり、ここでは、三分割法の構図である画像を対象に許容アスペクト比範囲が探索される。
【００９３】
ステップＳ１４１では、今回の注目画像Itが選択される。ステップＳ１４２では、図１７(a)に示したよう、注目画像Itのポテンシャルマップに基づいて水平境界が検出される。ステップＳ１４３では、図１７(b)に示したように、前記水平境界で区切られた横長領域ごとにエネルギ分布が求められる。ステップＳ１４４では、前記エネルギ分布に基づいて、今回の注目画像Itが三分割法の構図であるか否かが判定される。
【００９４】
三分割法の構図であればステップＳ１４５へ進み、図１７(c)に示したように、高さが原画像の高さに等しく、アスペクト比が前記縦長アスペクト比A2である矩形領域が画像の中央部に設定される。なお、図１７(d)に示したように、注目画像Itが重要オブジェクトを含んでいるような場合には、前記縦長アスペクト比A2の矩形領域に前記重要オブジェクトが含まれるように、その設定位置を左右方向へシフトしたり、あるいはアスペクト比を横長方向へ変更したりしても良い。
【００９５】
ステップＳ１４６では、図１７(e)に示したように、前記A2から原画像のアスペクト比Abaseまでの範囲が許容アスペクト比範囲に設定される。ステップＳ１４７では、全ての画像に関して上記の処理が完了したか否かが判定される。完了していなければステップＳ１４１へ戻り、注目画像Itを他の画像に切り替えながら上記の各処理が繰り返される。
【００９６】
図１８は、第３探索部３cによる第４ダイナミック探索手法の手順を示したフローチャートであり、ここでは、不足するアスペクト比の矩形枠で各原画像が一様にスキャンされ、損失エネルギ量が最少となるスキャン位置のアスペクト比が許容アスペクト比範囲とされる。
【００９７】
ステップＳ１６１では、不足しているアスペクト比に合わせて矩形枠が設定される。すなわち、横長アスペクト比A1の画像が不足していればアスペクト比A1の矩形枠が設定され、縦長アスペクト比A2の画像が不足していればアスペクト比A2の矩形枠が設定される。
【００９８】
ステップＳ１６２では、今回の注目画像Itが選択される。ステップＳ１６３では、図１９に示したように、今回の注目画像Itが前記矩形枠でスキャンされ、矩形枠以外の画像領域のエネルギ総和が損失エネルギ量として求められる。
【００９９】
同図(a)は、不足しているアスペクト比が横長アスペクト比A1であり、注目画像Itがアスペクト比A1の矩形枠で上端から下方へスキャンされる様子を示している。同図(b)は、不足しているアスペクト比が縦長アスペクト比A2であり、注目画像Itがアスペクト比A2の矩形枠で右端から左方へスキャンされる様子を示している。
【０１００】
ステップＳ１６４では、前記損失エネルギ量が最少となる矩形枠の位置が識別されて登録される。ステップＳ１６５では、全ての画像に関して上記の処理が完了したか否かが判定される。完了していなければステップＳ１６２へ戻り、注目画像を切り替えながら上記の各処理が繰り返される。ステップＳ１６６では、以上のようにして識別された矩形枠の中から、不足するアスペクト比に応じたＮベストが前記損失エネルギ量に基づいて選択される。
【０１０１】
図２へ戻り、ステップＳ１０では、前記評価関数設定部４において、原画像Iiごとに前記レイアウト条件を満足できる変形手法でアスペクト比を変更したときの評価値をアスペクト比ごとに算出する評価関数が構築される。図２０(a)は、前記評価関数の一例を示した図であり、本実施形態では、評価が高くなるほど評価値が小さくなる関数が採用され、評価値は、前記許容アスペクト範囲(Amin〜Amax)では「０」となり、この範囲から外れるほど大きくなるように設定される。
【０１０２】
なお、前記第１段探索部３ａで探索された横長の形状保持画像に関しては、図２０(b)に示したように、横長アスペクト比A1からオリジナルのアスペクト比Abaseまでがゼロ（最高値）とされ、Abaseから縦長方向へ変形されるほど評価が低下するように設定される。これに対して、縦長の形状保持画像に関しては、図２０(c)に示したように、縦長アスペクト比A2からオリジナルのアスペクト比Abaseまでがゼロ（最高値）とされ、Abaseから横長方向へ変形されるほど評価が低下するように設定される。
【０１０３】
さらに、前記第４ダイナミック探索手法により探索された許容アスペクト比範囲に関しては、図２０(d)に示したように、各矩形枠のアスペクト比A1またはA2のみがゼロ（最高値）となり、当該アスペクト比A1，A2から外れるほど評価が低下するように設定される。
【０１０４】
図２へ戻り、ステップＳ１１では、前記レイアウト評価部５において、コマ割りの異なる様々なレイアウトテンプレートの各コマに、前記各原画像Iiを所定の規則（例えば、原画像の時系列）またはランダムに割り振り、各原画像Iiのアスペクト比を各コマ形状に合わせて変更したときの評価値が画像ごとに求められ、その一ページ分の総和に基づいて各画像レイアウトが評価される。
【符号の説明】
【０１０５】
１…画像入力部，２…レイアウト条件設定部，３…許容アスペクト比範囲探索部，４…評価関数設定部，５…レイアウト評価部
【図１】
0005614835.tif 000002
【図２】
0005614835.tif 000003
【図３】
0005614835.tif 000004
【図４】
0005614835.tif 000005
【図６】
0005614835.tif 000006
【図１０】
0005614835.tif 000007
【図１１】
0005614835.tif 000008
【図１３】
0005614835.tif 000009
【図１４】
0005614835.tif 000010
【図１５】
0005614835.tif 000011
【図１６】
0005614835.tif 000012
【図１７】
0005614835.tif 000013
【図１８】
0005614835.tif 000014
【図２０】
0005614835.tif 000015
【図５】
0005614835.tif 000016
【図７】
0005614835.tif 000017
【図８】
0005614835.tif 000018
【図９】
0005614835.tif 000019
【図１２】
0005614835.tif 000020
【図１９】
0005614835.tif 000021
【図２１】
0005614835.tif 000022
【図２２】
0005614835.tif 000023