(57)【要約】【課題】本発明は、複数の画像を重ね合わせてレイアウトを行う場合に、各画像の注目領域を避けながら自動的に重ね合わせを行うことができる画像レイアウト装置を提供することを目的とする。【解決手段】本発明の画像レイアウト装置１００には、他の画像Ｂの背後に重ね合わせる画像Ａの注目領域を算出する注目領域算出手段１０３と、画像Ａの注目領域が画像Ｂと重なることを避けてレイアウトを行うレイアウト手段１０６とを設ける。【選択図】  図１
2004199248.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像のレイアウトを行う画像レイアウト装置であって、
他の画像Ｂの背後に重ね合わせる画像Ａの注目領域を算出する注目領域算出手段と、
前記画像Ａの注目領域が画像Ｂと重なることを避けてレイアウトを行うレイアウト手段と
を具備することを特徴とする画像レイアウト装置。
【請求項２】
複数の画像のレイアウトを定義するテンプレート群を記憶するテンプレート記憶手段と、
前記テンプレート記憶手段からテンプレートを選択するためのテンプレート選択手段と、
前記選択したテンプレートを基に、複数の画像のレイアウトを行うと共に、各画像の注目領域が重なることを避けてレイアウトを行うレイアウト手段と
を具備することを特徴とする請求項１に記載の画像レイアウト装置。
【請求項３】
前記選択したテンプレートの基で、複数の画像のレイアウトが決定できない場合には、他のテンプレートを選択する手段を
さらに具備することを特徴とする請求項２に記載の画像レイアウト装置。
【請求項４】
複数の画像のレイアウトを行う画像レイアウト方法であって、
他の画像Ｂの背後に重ね合わせる画像Ａの注目領域を算出する注目領域算出手順と、
前記画像Ａの注目領域が画像Ｂと重なることを避けてレイアウトを行うレイアウト手順と
を含むことを特徴とする画像レイアウト方法。
【請求項５】
複数の画像のレイアウトを行う画像レイアウト装置内のコンピュータに、
他の画像Ｂの背後に重ね合わせる画像Ａの注目領域を算出する注目領域算出手順と、
前記画像Ａの注目領域が画像Ｂと重なることを避けてレイアウトを行うレイアウト手順と
を実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等で撮影されたデジタル画像（単に「画像」ともいう）のレイアウト（画像の配置）を自動的に行うことができる画像レイアウト装置、画像レイアウト方法、及びプログラムに関し、特に、ある画像の背後に他の画像を重ね合わせる場合に、画像中の注目領域が隠されないように自動レイアウトすることができる、画像レイアウト装置、画像レイアウト方法、及びプログラムに関するものである。
【０００２】
【従来の技術】
近時、デジタルカメラが普及し、撮影したデジタル画像をＰＣ（パーソナルコンピュータ）内に取り込み、デジタル画像を編集し、印刷することが簡単にできるようになってきた。例えば、旅行先でデジタルカメラで撮影したデジタル画像を編集し、旅行アルバムなどを簡単に作成できるようになってきた。
これらのデジタル画像を編集する場合には、図２に示すように、主題を示すタイトル画像１１を中心として、複数のデジタル画像を、タイトル画像１１の背後に重ね合わせてレイアウトするような場合がある。このようなレイアウトにおいては、従来は、人間が手動で、デジタル画像内の注目領域（目立つ領域）が隠れないようにマウス等を操作してレイアウトを行っていた。
この手動によるレイアウトは、デジタル画像の枚数が少ない場合は、それほど手間がかからず問題とならないが、多数のデジタル画像をアルバムとして編集するような場合には、手動によるレイアウト作業は結構煩わしい作業となる。
また、デジタルカメラに普及と共に、利用者層の範囲が広がり、利用者の中にはＰＣ操作に不慣れな人もおり、デジタル画像を重ね合わせるレイアウトが、より簡単に行える装置の提供が望まれていた。
【０００３】
このようなデジタル画像のレイアウトについての先行技術として、例えば、特許文献１「画像処理方法、装置及び記憶媒体」がある。
特許文献１で開示された発明は、画像に対して施された複数の編集情報や、画像を選択するときの選択条件にレイアウト名称を対応付けて登録することにより、そのレイアウト名称の指示に応じてそれらの情報を再利用することを可能とする。これにより、異なる画像に、同じレイアウトを指定するときの操作性を向上することができる。また、複数の画像情報のなかから所望の画像情報を選択するための選択条件を入力するときの操作性を向上することができる。
【０００４】
【特許文献１】
特開２０００−２６１６４９号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、特許文献１に開示された発明は、オペレータ自身が手動で画像をレイアウトすることを基本とし、そのレイアウト情報を再利用することを目的とした発明である。従って、本発明のように、画像を重ね合わせてレイアウトする場合に、注目領域の重なりを避けた自動レイアウトをコンピュータシステム自身に行わせようとする発明とは、その目的と用途が異なるものである。
【０００６】
本発明はこのような問題を解決するためになされたもので、その目的は、複数の画像を重ね合わせてレイアウトを行う場合に、各画像の注目領域を避けながら自動的に重ね合わせを行うことができる、画像レイアウト装置、画像レイアウト方法、及びプログラムを提供することにある。
【０００７】
【課題を解決するための手段】
本発明は上記課題を解決するためになされたものであり、本発明の画像レイアウト装置は、複数の画像のレイアウトを行う画像レイアウト装置であって、他の画像Ｂの背後に重ね合わせる画像Ａの注目領域を算出する注目領域算出手段と、前記画像Ａの注目領域が画像Ｂと重なることを避けてレイアウトを行うレイアウト手段とを具備することを特徴とする。
このような構成であれば、前記注目領域算出手段は、他の画像Ｂの背後に重ね合わせる画像Ａの注目領域の高い部分を算出し、また、前記レイアウト手段は、画像Ａの注目領域が画像Ｂと重なることを避けながら重ね合わせを行う。これにより、複数の画像をレイアウトする場合に、注目領域を避けながらの重ね合わせを自動的に行うことができる。
【０００８】
また、本発明の画像レイアウト装置は、複数の画像のレイアウトを定義するテンプレート群を記憶するテンプレート記憶手段と、前記テンプレート記憶手段からテンプレートを選択するためのテンプレート選択手段と、前記選択したテンプレートを基に、複数の画像のレイアウトを行うと共に、各画像の注目領域が重なることを避けてレイアウトを行うレイアウト手段とを具備することを特徴とする。
このような構成であれば、前記テンプレート記憶手段は、複数の画像のレイアウトを定義するテンプレート群を記憶し、前記テンプレート選択手段は、記憶したテンプレート群の中からテンプレートを選択する。また、前記レイアウト手段は、選択したテンプレートに応じて複数の画像のレイアウトを行うと共に、レイアウトされる各画像の注目領域が重なることを避けながらレイアウトを行う。これにより、複数の画像をレイアウトする場合、注目領域を避けながらの重ね合わせを自動的に行うことができると共に、テンプレートの選択により、希望の構図を指示してレイアウトを行うことができる。
【０００９】
また、本発明の画像レイアウト装置は、前記選択したテンプレートの基で、複数の画像のレイアウトが決定できない場合には、他のテンプレートを選択する手段をさらに具備することを特徴とする。
これにより、複数の画像をレイアウトする際に、注目領域を避けながらの重ね合わせを行うことができない場合には、他のテンプレートを選択してレイアウトを再度実行することが可能になる。
【００１０】
また、本発明の画像レイアウト方法は、複数の画像のレイアウトを行う画像レイアウト方法であって、他の画像Ｂの背後に重ね合わせる画像Ａの注目領域を算出する注目領域算出手順と、前記画像Ａの注目領域が画像Ｂと重なることを避けてレイアウトを行うレイアウト手順とを含むことを特徴とする。
このような手順を使用すれば、前記注目領域算出手順により、他の画像Ｂの背後に重ね合わせる画像Ａの注目領域の高い部分を算出し、また、前記レイアウト手順により、画像Ａの注目領域が画像Ｂと重なることを避けながら重ね合わせを行う。これにより、複数の画像をレイアウトする場合に、注目領域を避けながらの重ね合わせを自動的に行うことができる。
【００１１】
また、本発明のコンピュータプログラムは、複数の画像のレイアウトを行う画像レイアウト装置内のコンピュータに、他の画像Ｂの背後に重ね合わせる画像Ａの注目領域を算出する注目領域算出手順と、前記画像Ａの注目領域が画像Ｂと重なることを避けてレイアウトを行うレイアウト手順とを実行させるためのプログラムである。
【００１２】
【発明の実施の形態】
次に本発明の実施の形態例について図面を参照して説明する。
【００１３】
図１は、本発明の画像レイアウト装置１００が備える手段の構成例を示す図である。図１に示す画像レイアウト装置１００に設けられた各手段は、以下に示す処理を行う。
・画像選択手段１０１は、画像データベース１１０からレイアウトする画像（画像、文字、図形など）を選び出すための手段である。
・画像読取手段１０２は、画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための手段である。
・注目領域算出手段１０３は、注目領域を算出する手段である。画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を２段階以上に区分けする。この注目領域の算出には、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）」に開示された「誘目度」を使用することができる。なお、誘目度については、後述する「誘目度についての補足説明」の項目で、その概要について説明する。
・テンプレート記憶手段１０４は、画像のレイアウトを記述するテンプレートを記憶するための手段である。
・テンプレート選択手段１０５は、画像のレイアウトを記述するテンプレートを選択するための手段である。
・レイアウト手段１０６は、テンプレート選択手段１０５で選択したテンプレートに基づいて、複数の画像、文字、図形などを配置するための手段である。
・表示手段１０７は、表示装置にレイアウトした結果を表示するための手段である。
・印刷手段１０８は、レイアウトした結果を印刷するための手段である。
【００１４】
また、図２は、レイアウト例について説明するための図である。ある主題（在学期間、旅行期間、旅行場所など）を持って撮影した画像を、テンプレート１０にしたがってレイアウトする例である。図２に示す例では、主題が「旅行」の例であり、主題となるタイトル画像１１の背後の画像位置▲１▼、画像位置▲２▼、画像位置▲３▼に、３つのデジタル画像（デジタルカメラで撮影し、画像データベース１１０に格納しておいた写真画像）をレイアウトする例である。
【００１５】
このレイアウトを行う場合には、図１に示すテンプレート記憶手段１０４及びテンプレート選択手段１０５の機能を用いて、図２に示す形態のテンプレート１０を最初に指定する。そして、レイアウト手段１０６により、このテンプレート１０にしたがって、複数の画像を配置する。図２に示す例では、中央にタイトル画像１１を配置し、タイトル画像１１の背後に重ね合わせて、画像位置▲１▼〜▲３▼に各画像を配置する。また、重ね合わせ方は、画像位置▲１▼〜▲３▼に配置される各画像について、各画像内の注目領域がタイトル画像１１に隠されないようにレイアウトする。
【００１６】
また、図３は、人物２１が左端に配置されている画像２０の例を模式的に示した図である。図４は、図３に対応する誘目度のパターンを模式的に示した図である。図４に示す画面３０中で、誘目度は領域Ａが最も高く算出され、領域Ｂ、領域Ｃがこの順に低く算出されている。
そして、図３に示す画像を、図２に示すレイアウト（テンプレート１０）にしたがって配置する場合、注目領域が隠されないようにするため、画像位置▲２▼、画像位置▲３▼は好ましくなく、画像位置▲１▼が望ましい。
【００１７】
また、図５は、花４１が右端に配置されている画像４０の例を模式的に示した図である。図６は、図５に対応する誘目度のパターンを模式的に示した図である。図６に示す画面５０中で、誘目度は領域Ａが最も高く算出され、領域Ｂ、領域Ｃがこの順に低く算出されている。
そして、図５に示す画像を、図２に示すレイアウト（テンプレート１０）にしたがって配置する場合、画像位置▲１▼、画像位置▲３▼は好ましくなく、画像位置▲２▼が望ましい。
以上説明した方法により、画像のレイアウトを決めていく。
【００１８】
また、図７は、画像の重ね合わせをしない例を示す図である。すなわち、テンプレート６０にしたがい画像の重ね合わせを行うと、誘目度が高い領域が重なり合い、注目領域が見えなくなる場合の例である。この場合は、テンプレート６０を変更し、画像の重なりが生じないように、例えば、テンプレート７０を再度選択してレイアウトを行う。
【００１９】
また、図８は、本発明の画像レイアウト装置における処理手順を示す図であり、誘目度を利用したレイアウトの手順を示すフローチャートである。
（１）ステップＳ１：画像選択手段１０１により画像データベース１１０からレイアウトする画像を選択する。
（２）ステップＳ２：選択した全ての画像に対して、画像読取手段１０２により、画素を構成するデータ（例えば、ＲＧＢ値）を読み出し、注目領域算出手段１０３により誘目度の算出を行う。また、注目領域（誘目度）のパターンを生成する。
（３）ステップＳ３：全ての画像に対して、誘目度のパターンをもとに重ね合わせない領域を決める。
（４）ステップＳ４：テンプレート選択手段１０５により、テンプレート記憶手段１０４からテンプレートを１つ選択する。
（５）ステップＳ５：選択したテンプレートをもとに、レイアウト手段１０６により、誘目度の高い領域が隠れないようにレイアウトを行う。
（６）ステップＳ６：誘目度の高い領域を重ね合わせないでレイアウトできたかどうかをチェックする。レイアウトできない場合は、次のテンプレートを選ぶ（ステップＳ４に戻る）。
（７）ステップＳ７：レイアウトした結果を、表示手段１０７または印刷手段１０８により表示または印刷する。
【００２０】
また、図９は、画像レイアウト装置の構成例を示すブロック図であり、本発明に直接関係する部分についてのみ示したものである。図９において、１００は画像レイアウト装置、１はインターネット網などの通信ネットワーク、１１１は画像レイアウト装置と通信ネットワーク１とを接続する通信用インタフェース、１１２は画像レイアウト装置全体を統括制御する制御部、１２０は処理プログラム部を示している。なお、本発明による画像レイアウト装置は、ＰＣ（パーソナルコンピュータ）を使用しても実現できるものである。
【００２１】
また、処理プログラム部１２０には、以下の処理部が含まれている。
・画像選択処理部１２１は、画像データベース１１０からレイアウトする画像を選び出すための処理部である。
・画像読取処理部１２２は、画像を構成する画素ごとの値（ＲＧＢ値等）を読み出すための処理部である。
・注目領域算出処理部１２３は、注目領域を算出する処理部である。画像内を複数の領域に分離し、分離した領域ごとに、注目度の程度を２段階以上に区分けする。この注目領域の算出には、例えば、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）」に開示された「誘目度」を使用することができる。
・テンプレート記憶処理部１２４は、画像のレイアウトを記述するテンプレートを記憶するための処理部であり、テンプレートのデータはテンプレートデータベース１１０ａに記憶される。
・テンプレート選択処理部１２５は、画像のレイアウトを記述するテンプレートを、テンプレートデータベース１１０ａから選択するための処理部である。
・レイアウト処理部１２６は、テンプレート選択処理部１２５で選択したテンプレートに基づいて、複数の画像、文字、図形などを、注目領域が隠れないように配置するための処理部である。
・表示処理部１２７は、表示装置にレイアウトした結果を表示するための処理部である。
・印刷処理部１２８は、レイアウトした結果を印刷するための処理部である。
【００２２】
なお、この処理プログラム部１２０は専用のハードウエアにより実現されるものであってもよく、またこの処理プログラム部はメモリおよびＣＰＵ（中央処理装置）等の汎用の情報処理装置により構成され、この処理部の機能を実現するためのプログラム（図示せず）をメモリにロードして実行することによりその機能を実現させるものであってもよい。また、この画像レイアウト装置１００には、周辺機器として入力装置、表示装置、印刷装置等（いずれも図示せず）が接続されているものとする。ここで、入力装置としては、キーボード、マウス等の入力デバイスのことをいう。表示装置とは、ＣＲＴ（Cathode Ray Tube）や液晶表示装置等のことをいう。印刷装置とは、レーザープリンタ、インクジェットプリンタ等のことをいう。
【００２３】
また、図９に示す画像レイアウト装置１００の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の画像レイアウト装置に必要な処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）を含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可般媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの(伝送媒体ないしは伝送波)、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。
また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００２４】
以上、本発明の実施の形態について説明したが、本発明の画像レイアウト装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００２５】
［誘目度についての補足説明］
本発明の実施の形態では、注目領域の抽出基準として「誘目度」を使用しているが、この「誘目度」の算出方法の一例が、「特開２００１−１２６０７０号公報（注目領域抽出装置およびそれを用いた自動構図決定装置）に詳細に開示されている。
ここでは、その概要についてだけ説明する。
注目領域の抽出のために、原画像の物理的特徴に従って誘目度を評価する。ここで、誘目度とは、人間の主観に合ったパラメータをいう。注目領域の抽出は、評価結果から一番目立つ領域を注目領域として抽出する。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観に合った評価をするので、人間の主観に適合した注目領域を抽出することができる。
例えば、物理的特徴が色の異質度を含む場合、各領域の色の違いに基づいて誘目度を評価することができる。
また、物理的特徴が、色の異質度に加えて、形の異質度、面積の異質度およびテクスチャ（模様）の異質度をさらに含むので、この４つの異質度の少なくとも１つの異質度に基づいて誘目度を評価すれば、原画像の特徴に応じて的確に誘目度を評価することができる。
また、色の３要素（色相、彩度、明度）についても評価する場合であれば、人間の主観による目立つ色（赤色）に近い領域を最も目立つ領域と評価することができる。
さらに、空間周波数や原画像における各領域の面積についても評価すれば、最も目立つ領域の評価をさらに的確に判断することができる。
【００２６】
また、誘目度の評価は、以下の手順により行う。
（１）最初に原画像を領域分割する。この場合、原画像を図領域と絵領域に分割する。この領域分割の方法には、１９９７ＩＥＥＥにおいてW.Y.MaやB.S.Manjunath らが「Edge Flow:A Framework of Boundary Detection and Image Segmentation」に記載した“edge flow ”に基づく境界検出方法が適用される。
（２）次に、分割した図領域を抽出し、領域の誘目度を評価する。
この誘目度の評価は、概略以下のようにして行う。
・最初に各領域の異質性誘目度を求める。この場合、色の異質度，テクスチャの異質度，形の異質度および面積の異質度を各々求め、それぞれに重み係数を付与して線形結合し、各領域の異質性誘目度を求める。
・次に、各領域における特徴誘目度を求める。この場合、色の誘目度、空間周波数の誘目度、面積の誘目度を求め、それぞれに重み係数を付与して線形結合し、各領域の特徴誘目度を求める。
・次に、各領域の異質性誘目度と特徴誘目度を加算し、特徴量統合値を求め、この特徴量統合値を、所定のベータ関数により評価して、誘目度を算出する。
（３）また、原画像から誘目度を評価したパターン図を生成する。
【図面の簡単な説明】
【図１】本発明の画像レイアウト装置が備える手段の構成例を示す図。
【図２】レイアウト例について説明するための図。
【図３】人物が左端に配置されている画像の例を模式的に示した図。
【図４】図３に対応する誘目度のパターンを模式的に示した図。
【図５】花が右端に配置されている画像の例を模式的に示した図。
【図６】図５に対応する誘目度のパターンを模式的に示した図。
【図７】画像の重ね合わせをしない例を示す図。
【図８】本発明の画像レイアウト装置における処理手順を示す図。
【図９】画像レイアウト装置の構成例を示すブロック図。
【符号の説明】
１０、６０、７０  テンプレート
１００  画像レイアウト装置、１０１  画像選択手段
１０２  画像読取手段、１０３  注目領域算出手段
１０４  テンプレート記憶手段、１０５  テンプレート選択手段
１０６  レイアウト手段、１０７  表示手段
１０８  印刷手段
【図１】
2004199248.tif 000003
【図２】
2004199248.tif 000004
【図３】
2004199248.tif 000005
【図４】
2004199248.tif 000006
【図５】
2004199248.tif 000007
【図６】
2004199248.tif 000008
【図７】
2004199248.tif 000009
【図８】
2004199248.tif 000010
【図９】
2004199248.tif 000011