(57)【要約】【課題】  コンテンツの数、またコンテンツから得られる視線移動方向の数の制約を受けることなく、コンテンツ閲覧者の視線移動方向に沿ったレイアウトを可能にする。【解決手段】  複数のコンテンツを配置する場合の各コンテンツの配置順番を、コンテンツに付随する指標に基づいて、決定する。複数のコンテンツそれぞれについて、閲覧者がコンテンツを閲覧していく方向である視線移動方向を解析して取得する。複数のコンテンツそれぞれを、配置順番と視線移動方向に従って、配置領域に配置する。【選択図】  図４
2014056431.tif 000002
【特許請求の範囲】
【請求項１】
複数のコンテンツを配置領域にレイアウトする情報処理装置であって、
前記複数のコンテンツを配置する場合の各コンテンツの配置順番を、コンテンツに付随する指標に基づいて、決定する決定手段と、
前記複数のコンテンツそれぞれについて、閲覧者がコンテンツを閲覧していく方向である視線移動方向を解析して取得する解析手段と、
前記複数のコンテンツそれぞれを、前記配置順番と前記視線移動方向に従って、配置領域に配置する配置手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記配置手段は、前記決定手段で決定した配置順番に従って前記複数のコンテンツそれぞれを配置するものであって、前記複数のコンテンツそれぞれについて、前記解析手段によって取得される前記視線移動方向の先を次に配置するコンテンツの配置位置に決定する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記視線移動方向は、前記コンテンツ内の領域の目立ち度合いを示す誘目度の高い領域の代表点を始点と定め、かつ前記誘目度の低い領域の代表点を終点と定める場合に、前記始点と前記終点を結ぶ方向によって定義され、
前記配置手段は、配置済みコンテンツの前記視線移動方向における前記始点と前記終点を通る直線上に次のコンテンツを配置する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記配置手段におけるコンテンツの配置時に、前記複数のコンテンツそれぞれの配置位置を前記複数のコンテンツにおける視線移動方向の関係に基づいて評価する評価手段を更に備える
ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報処理装置。
【請求項５】
前記評価手段の評価結果に基づき、前記複数のコンテンツそれぞれの配置位置を変更する変更手段を更に備える
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記評価手段の評価結果に基づき、コンテンツのグループを生成する生成手段を更に備える
ことを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記評価手段の評価結果に基づき、前記複数のコンテンツそれぞれを操作する操作手段を更に備える
ことを特徴とする請求項４に記載の情報処理装置。
【請求項８】
前記配置手段におけるコンテンツの配置後に、前記複数のコンテンツそれぞれの配置位置を評価する評価手段と、
前記評価手段の評価結果に基づいて、配置済みの前記複数のコンテンツそれぞれの配置を再配置する再配置手段と
を更に備えることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記配置手段におけるコンテンツの配置後に、前記複数のコンテンツそれぞれの配置位置を評価する評価手段と、
前記評価手段の評価結果に基づいて、配置済みの前記複数のコンテンツそれぞれを操作する操作手段と
を更に備えることを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記配置手段におけるコンテンツの配置前に、前記複数のコンテンツそれぞれに付随する指標に応じて、前記複数のコンテンツそれぞれを操作する操作手段を更に備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１１】
前記配置手段によって決定されたコンテンツのレイアウトを、出力サイズに応じたレイアウトに調整する調整手段を更に備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１２】
前記調整手段は、前記複数のコンテンツそれぞれの視線移動方向に基づき複数のグループを生成し、グループとグループの間の距離を調整する
ことを特徴とする請求項１１に記載の情報処理装置。
【請求項１３】
前記配置手段により決定されたコンテンツのレイアウト内の前記複数のコンテンツそれぞれの相対的な位置関係を調整する位置関係調整手段を更に備える
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１４】
前記位置関係調整手段は、前記複数のコンテンツそれぞれの視線移動方向の大きさを基に、コンテンツ同士の間隔を調整する
ことを特徴とする請求項１３に記載の情報処理装置。
【請求項１５】
複数のコンテンツを配置領域にレイアウトする情報処理装置の制御方法であって、
前記複数のコンテンツを配置する場合の各コンテンツの配置順番を、コンテンツに付随する指標に基づいて、決定する決定工程と、
前記複数のコンテンツそれぞれについて、閲覧者がコンテンツを閲覧していく方向である視線移動方向を解析して取得する解析工程と、
前記複数のコンテンツそれぞれを、前記配置順番と前記視線移動方向に従って、配置領域に配置する配置工程と
を備えることを特徴とする情報処理装置の制御方法。
【請求項１６】
複数のコンテンツを配置領域にレイアウトする情報処理装置の制御をコンピュータに機能させるためのプログラムであって、
前記コンピュータを、
前記複数のコンテンツを配置する場合の各コンテンツの配置順番を、コンテンツに付随する指標に基づいて、決定する決定手段と、
前記複数のコンテンツそれぞれについて、閲覧者がコンテンツを閲覧していく方向である視線移動方向を解析して取得する解析手段と、
前記複数のコンテンツそれぞれを、前記配置順番と前記視線移動方向に従って、配置領域に配置する配置手段と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、写真や文章等のコンテンツを配置する際に、閲覧者の視線の流れを考慮してコンテンツの配置位置を決定する情報処理装置及びその制御方法、プログラムに関するものである。
【背景技術】
【０００２】
コンテンツを配置する際、予め閲覧者に閲覧して欲しい方向（以降、視線誘導方向という）を定めたテンプレートを用意する。当該テンプレートを用いて、視線誘導方向とコンテンツの視線移動方向が合致するようにコンテンツをレイアウトする技術が知られている。コンテンツの視線移動方向とは、コンテンツを閲覧する際の閲覧者の視線移動の方向を示す情報であり、コンテンツの内容や見た目の特徴を利用して推定できる。例えば、誘目度という目を引き付ける度合いを定量化した指標を用いることで、コンテンツの視線移動方向を得ることができる。より具体的には、誘目度の高い領域から低い領域に閲覧者の視線は移動するものとして、誘目度の高い領域の代表点を始点、低い領域の代表点を終点として結ぶことで、視線移動方向を得ることができる。
【０００３】
特許文献１では、予めテンプレートを用意し、このテンプレート上に定めた視線誘導方向と配置するコンテンツの視線移動方向とが合うように該コンテンツを配置し、レイアウトを決定している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２４１２３５号公報
【特許文献２】特許第３４８２９２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、あらゆる数のコンテンツに対応できない。加えて、コンテンツの視線移動方向とテンプレート上の視線誘導方向とが一致しない場合にレイアウトできない問題がある。そもそも、コンテンツの数の組み合わせは無数にあり、これらコンテンツから得られる視線移動方向の組み合わせも無数に存在するため、全ての配置組み合わせを網羅できるようにテンプレートを用意することは、現実には非常に難しい。
【０００６】
本発明は上記の課題に鑑みてなされたものであり、その目的は、コンテンツの数、またコンテンツから得られる視線移動方向の数の制約を受けることなく、コンテンツ閲覧者の視線移動方向に沿ったレイアウトを可能にすることである。
【課題を解決するための手段】
【０００７】
上記の目的を達成するための本発明による情報処理装置は以下の構成を備える。即ち、
複数のコンテンツを配置領域にレイアウトする情報処理装置であって、
前記複数のコンテンツを配置する場合の各コンテンツの配置順番を、コンテンツに付随する指標に基づいて、決定する決定手段と、
前記複数のコンテンツそれぞれについて、閲覧者がコンテンツを閲覧していく方向である視線移動方向を解析して取得する解析手段と、
前記複数のコンテンツそれぞれを、前記配置順番と前記視線移動方向に従って、配置領域に配置する配置手段と
を備える。
【発明の効果】
【０００８】
本発明によれば、テンプレートが不要なレイアウト方法により、コンテンツの数と視線移動方向とを規定したテンプレートに囚われることなくコンテンツを配置し、レイアウトを決定できる。加えて、閲覧者の視線移動量が削減でき、視線を移動する際に迷いが生じることを抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１のレイアウト処理の概念図である。
【図２】実施形態１におけるハードウェア構成の一例を示すブロック図である。
【図３】実施形態１におけるレイアウト処理システムの構成を示すブロック図である。
【図４】実施形態１のレイアウト処理のフロー図である。
【図５】実施形態１の視線移動方向を取得する方法の概念図である。
【図６】実施形態１の次のコンテンツ配置の処理の概念図である。
【図７】実施形態２のレイアウト処理フロー図である。
【図８】実施形態２の次に配置するコンテンツの位置を変更する必要がある場合の配置例を示す図である。
【図９】実施形態２のコンテンツの配置位置を再配置する配置例を示す図である。
【図１０】実施形態３のレイアウト処理のフロー図である。
【図１１】実施形態３のコンテンツの配置順番を変更した場合の配置例を示す図である。
【図１２】実施形態４のレイアウト処理のフロー図である。
【図１３】実施形態４のコンテンツの再配置が必要となる配置例を示す図である。
【図１４】実施形態５のレイアウト処理のフロー図である。
【図１５】実施形態７の出力先サイズに応じたレイアウト調整の過程と結果を示す図である。
【図１６】実施形態７のコンテンツグループの配置方法例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００１１】
＜実施形態１＞
はじめに、実施形態１における処理概要を説明する。実施形態１は、写真等のコンテンツのレイアウトを決定するシステムである。当該システムでは、コンテンツから得られる視線移動方向を用いて、コンテンツの配置位置を決定する。
【００１２】
図１はコンテンツ配置処理の概念図である。１０１は、レイアウト対象となるコンテンツ群（コンテンツＡ〜Ｆ）を示す。１０２は、コンテンツ群１０１の各コンテンツについて視線移動方向を取得した結果であり、この結果を反映して方向を明示したものである。１０３は、視線移動方向取得済みコンテンツ群１０２の配置順番を決定した結果であり、この結果を反映して配置順にコンテンツを並べ替えて示したものである。１０４は、本発明によるコンテンツ配置過程を示す。１０５は、本発明の手法によりレイアウトを決定した結果で、それぞれのコンテンツの配置位置を示す。
【００１３】
以降、当該発明について図２〜図４を用いて詳細に説明する。
【００１４】
図２は、本発明の実施形態１におけるレイアウト処理システム（情報処理装置）のハードウェア構成の一例である。
【００１５】
２０２はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、各種処理のための演算や論理判断等を行い、バス２０１に接続された各種要素を制御する。
【００１６】
本レイアウト処理システムは、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フロー図により後述する各種処理手順を含むＣＰＵ２０２による制御のためのプログラムを格納する。このメモリはＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０３であってもよいし、外部記憶装置からプログラムがロードされるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０４であってもよい。あるいは、これらの組合せで実現しても構わない。
【００１７】
２０５は実施形態１に係るデータやプログラムを記憶しておくためのハードディスク等の記憶装置である。また、実施形態１では、コンテンツを保持しておくためにも利用される。尚、コンテンツを保持しておく装置としては、外部接続やネットワークに接続された写真保持装置を用いてもよい。また、記憶装置２０５と同様の役割を果たすものとして、外部記憶装置２０６を用いてもよい。ここで、外部記憶装置２０６は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。
【００１８】
２０７はユーザからの指示を入力するための入力装置である。ユーザは入力装置２０７を介して、当該レイアウト処理システムに指示を行う。入力装置２０７は、例えば、キーボードやポインティングデバイスにより実現することができる。
【００１９】
２０８は処理結果等を表示出力する表示部としての出力装置である。出力装置２０８は、例えば、出力のための回路を含むＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ  Ｔｕｂｅ）や液晶表示器等のディスプレイ装置により実現することができる。実施形態１では、コンテンツやレイアウト結果等を出力装置（表示装置）２０８に表示する。また、出力装置２０８は、処理結果等を印刷出力する印刷装置であっても良い。
【００２０】
尚、実施形態１では。入力装置２０７と出力装置２０８を別装置として説明しているが、入力装置２０７及び出力装置２０８を併せ持つタッチパネル式の装置を用いてもよい。
【００２１】
２０９はインタフェース（以下、Ｉ／Ｆという）であり、このＩ／Ｆ２０９を介して外部装置とのデータのやり取りを行う。
【００２２】
２１０は画像生成装置であり、画像生成対象から画像を生成するための装置である。画像生成装置２１０は、例えば、カメラやビデオカメラ、ネットワークカメラにより実現可能である。
【００２３】
図３は、本発明の実施形態１を構成するレイアウト処理システムの機能構成を示すブロック図である。
【００２４】
３０１は、入力部であり、入力装置２０７を介してユーザの指示を受け付ける。
【００２５】
３０２は、コンテンツ配置順番決定部であり、入力したコンテンツを配置する順番（配置順番）を決定する。ここでの処理が、上述の配置順番を決定する処理にあたる。
【００２６】
３０３は、入力コンテンツ解析部であり、入力された各コンテンツを解析して、視線移動方向を取得する。ここでの処理が、上述の視線移動方向を取得する処理にあたる。
【００２７】
３０４は、コンテンツ情報配置部であり、決定した配置順番と取得した視線移動方向の情報を保持する。
【００２８】
３０５は、コンテンツ配置部であり、コンテンツ配置順番決定部３０２で決定した配置順番と、入力コンテンツ解析部３０３で取得した視線移動方向を基に、各コンテンツをレイアウト領域に配置する。ここでの処理が、上述のコンテンツを配置する処理にあたる。
【００２９】
３０５は、出力部であり、ユーザ操作を支援する各種ユーザインターフェースや処理結果等を出力装置２０８を介して表示出力する。
【００３０】
実施形態１では、コンテンツ入力時に入力コンテンツ解析部３０３によりコンテンツの配置順番を決定し、視線移動方向を取得しておく。そして、決定した配置順番と取得した視線移動方向の情報をコンテンツ情報保持部３０４で保持しておく。コンテンツの配置時には、コンテンツ情報保持部３０４により保持されている各コンテンツの配置順番、視線移動方向の情報を用いて、コンテンツ配置部３０５でコンテンツを配置する。各処理は図２のＣＰＵ２０２によって制御されている。当該処理群の詳細は後述する。
【００３１】
図４は、図１で示す処理のフロー図である。ステップＳ４０１は、図１のコンテンツ群１０１の各コンテンツから視線移動方向を取得するステップである。ステップＳ４０２は、図１の視線方向取得済みコンテンツ群１０２の各コンテンツを配置する順番を決定するステップである。ステップＳ４０３は、ステップＳ４０２で配置順番が１番目（最初）と決定したコンテンツを配置するステップである。ステップＳ４０４は、ステップＳ４０３の後に後続のコンテンツを視線方向に従い配置するステップであり、図１のコンテンツ配置過程１０４で示すように、最後のコンテンツを配置し終えるまで繰り返す。そして、レイアウト決定となる。
【００３２】
以降、図４の各ステップの処理の詳細を、図５、図６を用いて説明する。
【００３３】
図４のステップＳ４０１は、コンテンツの視線移動方向を取得するステップである。前述のとおり、ここで、視線移動方向とはコンテンツの内容や見た目の特徴の影響を利用して推定できる、閲覧者がコンテンツを閲覧していく方向、すなわち、コンテンツが閲覧者の目を引きつけていく方向である。
【００３４】
本発明では、コンテンツ内の特定の領域内のある点を視点移動方向の始点として定めることを前提とする。そして、コンテンツ内の別の領域のある点を終点として、この始点と終点を結ぶことで視点移動方向を定義する。また、始点を含む特定の領域の画像認識、画像解析結果から方向性と大きさを得て、それらと始点位置とを合わせて視点移動方向を定義する。
【００３５】
一般的に、人は、写真等のコンテンツを見る際に、被写体が人の顔であった場合、その顔の向きや目線先に向かって眺めていく傾向があると言われている。また、標識の矢印等の、それ自体が方向の意味を持つものも同様である。加えて、写真以外の、例えば、テキスト文章等のコンテンツであっても、左から右へ読み進める等の経験則がある。その他にも、コンテンツ内の最も目につくところから、次に目につきやすいところへと視点は移っていく。これらの観点から、コンテンツの視線移動方向を取得する。
【００３６】
そこで、具体的に、視線移動方向を取得する方法として、まず、被写体の顔の向きや、指を指している方向、標識の矢印等を、画像認識技術から取得する方法について説明する。
【００３７】
例えば、顔の向きから視線移動方向を取得する場合は、図５（ａ）のように、顔を特定の領域として定め、目の部分の中心点Ｓ（代表点）を始点とする。そして、顔部分について、公知の画像認識技術から顔の向きを認識・解析してその方向を取得する。大きさは、コンテンツ全体の大きさに対する顔部分の大きさから定める。以上の処理で、目を始点とした視線移動方向を取得することができる。
【００３８】
次に、写真の構図や領域の目立ち度合い等の画像特徴から取得する方法について説明する。
【００３９】
例えば、領域の目立ち度合い（以降、誘目度という）を利用し視線移動方向を取得する場合、図５（ｂ）のように最も誘目度の高い注目領域Ａから、次に誘目度の高い注目領域Ｂに視点は移っていくので、それらの代表点をつなぎ視線移動方向を取得する方法がある。この方法は、特許文献１で用いられている。ここで、誘目度について簡潔に説明する。誘目度とは、人が目を引き付けられる度合いを評価し数値化したもので、原画像またはその中の領域の面積・色・模様・形という物理的画像特徴から算出できる。その算出方法については、特許文献２において詳細に開示されている。
【００４０】
図４のステップＳ４０２は、コンテンツの配置する順番を決定するステップである。順番を決めるための要素（指標）としては、コンテンツの撮影時期や撮影場所、日時等の撮影時に付与されるメタデータを利用してもよいし、誘目度や全体の明るさ、色、被写体の人数や種類等の解析結果を用いてもよい。また、視線移動方向が取得されているのならば、その大きさの順番や、方向がひと続きになるような順番にしてもよい。特に、要素を用いず、初めにコンテンツを入力した際の順序そのままでもよい。
【００４１】
尚、実施形態１では、コンテンツの特徴を示す指標（コンテンツに付随する指標）として誘目度を利用し、その誘目度順に並べ替えたものとして以降の処理の説明を行う。
【００４２】
図４のステップＳ４０３は、まず、ステップＳ４０２で配置順番が１番目と決定したコンテンツを、レイアウト領域に配置するステップである。
【００４３】
図４のステップＳ４０４は、前に配置したコンテンツの視線移動方向先に、次のコンテンツを配置するステップである。具体的な配置方法としては、図６（ａ）に示すように、前のコンテンツの視線移動方向の延長（視線移動方向の始点と終点を通る直線上）が、次のコンテンツの始点Ｓを通り、かつコンテンツ同士が重ならないように配置する。また、図６（ｂ）のように、前のコンテンツの視線移動方向の延長が、次のコンテンツの始点Ｓを含む領域Ｄを通るように配置してもよい。その他、図６（ｂ）のコンテンツ間隔ｄのように、前のコンテンツと次のコンテンツとの距離を空けて配置してもよい。
【００４４】
これを最後のコンテンツまで繰り返し行い、レイアウトを決定する。そして、そのレイアウトを出力レイアウトとして出力する。
【００４５】
また、ステップＳ４０１とステップＳ４０２について、図４のフロー図では、ステップＳ４０１の後に、ステップＳ４０２を行っているが、先にステップＳ４０２を行って、次にステップＳ４０１を行ってもよい。
【００４６】
以上説明したように、実施形態１によれば、コンテンツを配置する位置を定めたテンプレートを予め用意することはせずに、コンテンツから得られる視線移動方向の先（延長線上）に次に配置すべきコンテンツを配置することでレイアウトを実現する。
【００４７】
これにより、コンテンツの視線移動方向とテンプレートの視線誘導方向の不一致によりコンテンツを配置できない等の事象を回避して、かつ閲覧者の視線移動を考慮したレイアウトを実現することができる。
【００４８】
＜実施形態２＞
実施形態２は、実施形態１の処理に対して、これまでに配置したコンテンツと次に配置するコンテンツの位置や方向・大きさ等の要素を比較・評価する処理を加える。例えば、次のコンテンツを配置しようとする先に、既にコンテンツを配置していた場合、次のコンテンツの配置位置を実施形態１とは異なる方法で処理する必要がある。つまり、実施形態２は、このような場合に、次にコンテンツを配置しようとする位置と、既に配置したコンテンツの位置とを比較・評価する等の評価処理を加える。
【００４９】
図７は実施形態２の処理のフロー図である。ステップＳ７０１・Ｓ７０２・Ｓ７０３はそれぞれ、コンテンツの視線方向取得・配置順決定・初期配置のステップであり、図４のステップＳ４０１・Ｓ４０２・Ｓ４０３と同じ処理を行う。ステップＳ７０４は、これまでに配置したコンテンツと次に配置するコンテンツとを比較・評価するステップである。ステップＳ７０５は、ステップＳ７０４の結果に従いコンテンツを配置するステップである。
【００５０】
図７のステップＳ７０１・Ｓ７０２・Ｓ７０３の処理は、図４のステップＳ４０１・Ｓ４０２・Ｓ４０３と同じ処理となる。故に、以降は図７のステップＳ７０４とステップＳ７０５の処理の詳細を、図８、図９を用いて説明する。
【００５１】
図７のステップＳ７０４は、これまでに配置したコンテンツと次に配置するコンテンツとを比較・評価するステップである。ここでの処理は、これまでに配置したコンテンツと次に配置するコンテンツとの位置・視線移動方向やその大きさを比較し、その結果、次に配置するコンテンツの位置がどうなるかを評価する。以下、評価結果として配置位置を変更する例を挙げる。
【００５２】
例えば、図８（ａ）において、前に配置したコンテンツ８１１と、その次に配置するコンテンツ８１２では、それぞれのコンテンツの視線移動方向が衝突してしまう配置となる。また、図８（ｂ）において、次に配置するコンテンツ８２２の視線移動方向が、これまでに配置したコンテンツ８２１の視線移動方向に向かってしまい、これまでの視線の一連の流れが閉じてしまう。加えて、図８（ｃ）において、次に配置するコンテンツ８３４を配置しようとするとき、コンテンツ８３３の視線移動方向先に、既にコンテンツ８３１とコンテンツ８３２が配置されている。その他、視線移動方向の始点位置と角度によって、次に配置するコンテンツを遠隔に配置することになること等がある。ここで例示したような比較結果をもとに、配置位置の妥当性を視線移動量の観点から評価する。
【００５３】
図７のステップＳ７０５は、ステップＳ７０４での評価結果に従いコンテンツを配置するステップである。ここでの処理は、図８で示す配置例のように、ステップＳ７０４の評価結果として配置位置変更が必要となる場合、これまでに配置したコンテンツの視点移動方向に関連しない場所に改めて配置する。
【００５４】
具体的には、図９（ａ）で示すように、これまでに配置したコンテンツの視線移動方向と関連がないことを明示するために、図９（ａ）の９０１のように、これまでに配置したコンテンツをグループ化し、その上で、コンテンツ９０２を配置する。または、グループ化せずとも、これまでに配置したコンテンツとの大別を明確にして配置する。例えば、次に配置するコンテンツは、これまでに配置したコンテンツから一定の大きさ以上離れた場所に配置する。または、図９（ｂ）のように、配置領域１とは別の配置領域（配置領域２）を用意して、そこに改めて配置してもよい。
【００５５】
そして、図７のステップＳ７０４の評価結果として、配置位置変更の必要がない場合は、図４のステップＳ４０４と同じ処理を行う。
【００５６】
この処理を最後のコンテンツまで繰り返し行い、レイアウトを決定する。
【００５７】
以上説明したように、実施形態２によれば、コンテンツの位置、視線移動方向、大きさを比較して、コンテンツ間の状態を評価して、その配置を制御する。これにより、コンテンツのまとまり毎に視線移動方向が一連の流れとなるため、視線移動量の増大と視線移動先に混乱をきたす可能性を、実施形態１よりも更に抑えられる。
【００５８】
＜実施形態３＞
実施形態３は、実施形態２の処理に対して、これまでに配置したコンテンツ、もしくは次に配置するコンテンツ自体を操作する処理を加える。例えば、実施形態２の図７のステップＳ７０４において、次に配置するコンテンツは配置位置変更が必要との評価となる場合に、そのコンテンツを回転させれば視線移動方向も回転し、配置位置変更の必要がなくなる場合がある。実施形態３は、そのような場合に、コンテンツを回転させる等のコンテンツ操作の処理を行う。
【００５９】
図１０は実施形態３の処理のフロー図である。ステップＳ１００１・Ｓ１００２・Ｓ１００３はそれぞれ、コンテンツの視線方向取得・配置順決定・初期配置のステップであり、図４のステップＳ４０１・Ｓ４０２・Ｓ４０３と同じ処理を行う。ステップＳ１００４は、コンテンツ比較・評価ステップであり、図７のステップＳ７０４と同じ処理を行う。ステップＳ１００５は、コンテンツの操作処理を行うステップである。ステップＳ１００６は、コンテンツ配置ステップであり、図７のステップＳ７０５と同じ処理を行う。
【００６０】
ステップＳ１００１・Ｓ１００２・Ｓ１００３はそれぞれ、図４のステップＳ４０１・Ｓ４０２・Ｓ４０３と同じ処理を行い、ステップＳ１００４・Ｓ１００６は、図７のステップＳ７０４・Ｓ７０５と同じ処理を行う。故に、以降は図１０のステップＳ１００５の処理の詳細を、図１１を用いて説明する。
【００６１】
図１０のステップＳ１００５は、コンテンツの操作処理を行うステップである。ここでの処理は、ステップＳ１００４の評価結果をもとに、コンテンツの操作や、配置順番の変更を行う。まず、コンテンツの操作とは、コンテンツの視線移動方向の大きさの変更や向きの変更、またはその両方を行う。これを実現するために、コンテンツの拡大・縮小、トリミング、回転や変形等の画像操作を行う。
【００６２】
具体的な例として、元のコンテンツに対して、回転を施し、トリミングして新しいコンテンツを取得することができる。更に拡大することでコンテンツを変形してもよい。その他、画像操作としては、色変換や階調変換等の画像特徴の操作をして、視線移動方向の変更を行ってもよい。
【００６３】
コンテンツの操作として、コンテンツの配置順番の変更を行う場合もある。図１０のステップＳ１００４の評価結果として、配置位置変更の必要がある場合に、図１１（ａ）に示すように、本来、次に配置するコンテンツ１１０１は後回しにして、図１１（ｂ）のように、その次のコンテンツ１１０２についての評価を行い配置してもよい。または、コンテンツを後回しにするのではなく、適当な配置順番に割り込ませてもよいし、配置するコンテンツ群から除外してもよい。
【００６４】
この処理とステップＳ１００６の配置処理とステップＳ１００４の評価処理を最後のコンテンツまで繰り返し行い、レイアウトを決定する。
【００６５】
以上説明したように、実施形態３によれば、コンテンツの位置、視線移動方向、大きさを比較して、コンテンツ間の状態を評価した上で、コンテンツを操作して、その配置や配置順番を制御する。これにより、視線移動方向に一連の流れを作ることができるので、視線移動量の増大と視線移動先に混乱をきたす可能性を、実施形態１よりも更に抑えられる。
【００６６】
＜実施形態４＞
実施形態２または実施形態３では、次のコンテンツの配置処理毎に、これまでに配置したコンテンツと次に配置するコンテンツを比較・評価している。これに対して、実施形態４では、実施形態１と同様にすべてのコンテンツを配置し終えてから、配置した全コンテンツの評価を行う。つまり、実施形態３は、実施形態１の処理の後に、配置した全コンテンツの評価処理を行う。
【００６７】
図１２は実施形態４の処理のフロー図である。図１２のステップＳ１２０１はコンテンツをすべて配置するステップであり、実施形態１と同様の処理を行う。ステップＳ１２０２はすべてのコンテンツを配置し終えた結果を評価するステップである。ステップＳ１２０３は、ステップＳ１２０２の評価結果を基にコンテンツを再配置するステップである。
【００６８】
図１２のステップＳ１２０１は実施形態１と同じ処理を行う。故に、以降は図１２のステップＳ１２０２とステップＳ１２０３の処理の詳細を、図１３を用いて説明する。
【００６９】
図１２のステップＳ１２０２は、すべてのコンテンツを配置し終えた結果を評価するステップである。ここでの処理は、コンテンツの配置結果により、コンテンツの再配置が必要であるかどうかの判断を行う。再配置が必要となる場合は、視線移動量の観点から、出力するレイアウトが見づらくなると判断される場合である。
【００７０】
次に、その判断をするための評価項目の例を挙げる。例えば、図１３（ａ）のコンテンツ１３１１とコンテンツ１３１２のように、視線移動方向が衝突しているかどうかを評価する。衝突していれば、コンテンツの再配置が必要と判断する。また、図１３（ｂ）のコンテンツ１３２２とコンテンツ１３２３のように、視線移動方向の一連の流れが閉じているかどうかを評価する。閉じていれば、コンテンツの再配置が必要と判断する。
【００７１】
加えて、図１３（ｃ）のコンテンツ１３３３からコンテンツ１３３４の配置がコンテンツ１３３１とコンテンツ１３３１を跨いでいるように、コンテンツの視線移動方向がその他のコンテンツを跨いでいるかどうかを評価する。跨いでいれば、コンテンツの再配置が必要と判断する。そのほか、視点移動方向先にコンテンツが配置されていても、その距離が許容範囲を超えていると判断すると、再配置が必要となる。それ以外にも、各コンテンツの視線移動方向の大きさも評価項目となりえる。
【００７２】
図１２のステップＳ１２０３は、ステップＳ１２０２で再配置が必要と判断されたコンテンツを再配置するステップである。ここでの処理は、ステップＳ１２０２の評価判断結果を基に、再配置する場所と再配置するコンテンツを定めて、配置し直す処理を行う。再配置する場所としては、これまで配置したコンテンツと同一配置領域上の、配置済みのコンテンツ群とは離れた場所としてもよい。また、別の配置領域を用意して、そこに再配置してもよい。再配置するコンテンツとしては、基本的にステップＳ１２０２で再配置が必要と判断されたコンテンツのみであるが、その周辺の他のコンテンツを含めてもよい。
【００７３】
以上の配置結果の評価判断処理と、コンテンツ再配置の処理を繰り返し、レイアウトを決定する。
【００７４】
以上説明したように、実施形態４によれば、配置済のコンテンツ間の状態を評価して、その評価結果に基づいて、コンテンツを再配置する。これにより、コンテンツまとまり毎に視線移動方向が一連の流れとなるため、視線移動量の増大と視線移動先に混乱をきたす可能性を、実施形態１よりも更に抑えられる。
【００７５】
＜実施形態５＞
実施形態５は、実施形態４の処理に対して、コンテンツの再配置時にコンテンツ自体を操作する処理を加える。例えば、実施形態４の図１２のステップＳ１２０２で、コンテンツの再配置が必要であると判断された場合、配置位置はそのままで、コンテンツの視線移動方向を変えて対応したい場合が考えられる。つまり、実施形態５は、そのような場合に、コンテンツを回転する等のコンテンツ操作の処理を加える。
【００７６】
図１４は実施形態５の処理のフロー図である。ステップＳ１４０１はコンテンツをすべて配置するステップであり、実施形態１の処理と同様の処理を行う。
【００７７】
ステップＳ１４０２はすべてのコンテンツを配置し終えた結果を評価するステップであり、実施形態４における図１２のステップＳ１２０２と同様の処理を行う。
【００７８】
ステップＳ１４０３は、コンテンツ操作をするステップであり、実施形態３における図１０のステップ１００５と同様の処理を行う。
【００７９】
ステップＳ１４０４は、ステップＳ１４０２の評価結果を基にコンテンツを再配置するステップであり、実施形態４におけるステップＳ１４０３と同様の処理を行う。但し、ステップＳ１４０４の処理については、実施形態４におけるステップＳ１４０３の処理に以下の処理を追加する。ステップＳ１４０２において、再配置の必要があると判断されたコンテンツを、ステップＳ１４０３において、コンテンツ操作として配置順番の変更や配置コンテンツからの除外がなされた場合に、コンテンツを配置し直す処理をする。
【００８０】
これらの処理を実施形態４の処理に追加して、レイアウトを決定する。
【００８１】
以上説明したように、実施形態５によれば、配置済のコンテンツ間の状態を評価して、その評価結果に基づいて、コンテンツを再配置する際にコンテンツを操作する。これにより、視線移動方向に一連の流れを作ることができるので、視線移動量の増大と視線移動先に混乱をきたす可能性を、実施形態１よりも更に抑えられる。
【００８２】
＜実施形態６＞
実施形態１〜５では、入力されたコンテンツをそのまま配置している。それを踏まえて、この実施形態６は、実施形態１〜５の処理の前に、入力されたコンテンツを操作する処理を加える。例えば、入力されたコンテンツが写真である場合、コンテンツのメタデータ（例えば、撮影時の解像度の設定）が異なると、その写真のサイズは大きく異なってしまい、そのまま配置すると閲覧者の予期せぬレイアウトとなる可能性がある。そのような場合、コンテンツの大きさを予め適当な範囲内に収まるサイズとしておく必要がある。つまり、実施形態６は、このような実施形態１〜５の処理に対して、配置する前にコンテンツのサイズを調整する等のコンテンツ操作の処理を行う。
【００８３】
具体的なコンテンツ操作としては、コンテンツ自体の拡大・縮小やトリミング、回転や反転等の一般的な画像操作が行える。加えて、色変換や階調変換、効果付与等のコンテンツの画像特徴の操作を行ってもよい。
【００８４】
以上のコンテンツの操作を行った後に、実施形態１〜５を行い、レイアウトを決定する。また、入力されたコンテンツを操作する処理は、実施形態１〜５における、コンテンツの視線移動方向を取得した後、もしくはコンテンツの配置位置を決定した後に行ってもよい。
【００８５】
以上説明したように、実施形態６によれば、コンテンツの属性情報に基づいて、配置前のコンテンツを操作した上で、コンテンツを配置する。これにより、視線移動方向に一連の流れを作ることができるので、視線移動量の増大と視線移動先に混乱をきたす可能性を、実施形態１よりも更に抑えられる。
【００８６】
＜実施形態７＞
実施形態１〜６の処理を行いレイアウト決定したとき、レイアウト全体のサイズと、レイアウトの出力先のサイズが大幅に異なる場合、レイアウトは閲覧者には見づらいものになってしまう。それを踏まえて、この実施形態７は、実施形態１〜６で決定したレイアウトに対して、出力先のサイズに応じて調整を行う。
【００８７】
例えば、図１５の１５０１で示すようなレイアウトが実施形態１〜６のいずれかで得られたとする。このとき、１５０４のように、出力先のサイズがこのレイアウト全体よりも小さかった場合、決定したレイアウト内のコンテンツ群を出力先のサイズに収まるように収める必要がある。
【００８８】
図１５の場合、視線移動方向がひと続きになっているコンテンツ群１５０２とコンテンツ群１５０３と２グループ存在する。更に、各グループは出力先サイズ１５０４に収まるので、最終的なレイアウトとしては、コンテンツ群１５０２を含むレイアウト結果１５０５と、コンテンツ群１５０３を含んだレイアウト結果１５０６の２ページに分割したレイアウトとして出力する。つまり、実施形態７は、このように、実施形態１〜６で決定するレイアウトに対して、出力先の大きさに応じたレイアウトに調整する処理を行う。
【００８９】
具体的なレイアウトの調整処理としては、まず、実施形態１〜６で決定したレイアウト内コンテンツの一律の拡大・縮小を行う。この拡大・縮小の限度はそのレイアウト内のコンテンツに依り、閲覧者によるコンテンツの認識が困難にならない範囲内で行う。
【００９０】
次に、コンテンツのグループ分けを行う。実施形態２〜５と、実施形態２〜５の処理に沿った実施形態６の場合、既にコンテンツのグループ分けは行われている場合があるが、グループ分けがなされていない場合は、視線移動方向がひと続きになっているコンテンツ群でグループを分ける。グループの順番は、配置したコンテンツの順番に従うこととする。そして、そのグループを出力先サイズの領域に順番に配置していく。
【００９１】
ここで、第１に、出力先サイズにグループが入りきらない場合は、グループ内のコンテンツのつながりを解体して配置することとなる。解体した後のコンテンツの配置処理は、実施形態１〜６のいずれかの処理で行う。
【００９２】
第２に、出力先サイズにグループが１つだけ入る場合は、そのグループの外接形の中心が出力先サイズの中心に来るようにグループを配置する。
【００９３】
第３に、出力先サイズにグループが複数入る場合は、まず配置順番が先のグループを配置する。グループとグループの間はある一定の距離以上間を取るものとする。
【００９４】
以上の点を踏まえて、基本的には、図１６で示すように、前グループ１６１１の末尾のコンテンツ１６１２の視点移動方向終点と、後グループ１６２１の先頭のコンテンツ１６２２の視点移動方向始点との距離が最小となるように配置することとする。そのあとのグループについても同様に行う。但し、その結果、グループが出力先サイズからはみ出したり、余白部分が大幅に多くなってしまったり、上下左右でバランスが崩れる場合は、その限りではない。このような場合は、グループの前後の距離は考慮せずに、グループが出力先サイズにバランス良く収まることを優先する。
【００９５】
以上の処理を最後のグループまで行い、出力先のサイズに合ったレイアウトに調整する。
【００９６】
以上説明したように、実施形態７によれば、限られた出力サイズにおいても、実施形態１〜６のいずれかのレイアウト処理を用いることが可能である。
【００９７】
＜実施形態８＞
実施形態１〜７について、最終的にレイアウトを決定した後は、そのレイアウト内のコンテンツ同士のバランスや相対的な位置関係を評価していない。例えば、実施形態１〜７のいずれかで得られたレイアウト結果では基本的にコンテンツ同士は接している状態である。このレイアウト結果は、出力サイズに対しての全体のコンテンツが集まり過ぎていて見づらくなっている。そこで、このレイアウト結果に対して、コンテンツ同士の間に一定の間隔を設けて、審美的に見やすくする。つまり、実施形態８は、このように、実施形態１〜７で決定したレイアウトに対して、コンテンツ同士のバランスや位置を調整する処理（位置関係調整）を行う。
【００９８】
具体的な調整としては、余白を考慮してコンテンツ同士の間隔を揃えることがある。また、グループを超えて考えた場合、出力するレイアウト全体に含まれるコンテンツのバランスを揃えることがある。加えて、視線移動方向の大きさを基にして、相対的にコンテンツ同士の間隔に差をつけてもよい。具体的には、視線移動方向が大きいコンテンツの次のコンテンツはより距離をとって配置してもよい。その他、コンテンツ自体の大きさを基に、相対的にコンテンツ同士の間隔に差をつけてもよい。
【００９９】
以上の処理をコンテンツ全体または一部に行い、最終的なレイアウトを決定する。
【０１００】
以上説明したように、実施形態８によれば、コンテンツ間の位置のバランス等を考慮しているため、実施形態１よりも審美性の高いレイアウトとすることができる。
【０１０１】
尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014056431.tif 000003
【図２】
2014056431.tif 000004
【図３】
2014056431.tif 000005
【図４】
2014056431.tif 000006
【図５】
2014056431.tif 000007
【図６】
2014056431.tif 000008
【図７】
2014056431.tif 000009
【図８】
2014056431.tif 000010
【図９】
2014056431.tif 000011
【図１０】
2014056431.tif 000012
【図１１】
2014056431.tif 000013
【図１２】
2014056431.tif 000014
【図１３】
2014056431.tif 000015
【図１４】
2014056431.tif 000016
【図１５】
2014056431.tif 000017
【図１６】
2014056431.tif 000018