(57)【要約】【課題】  従来の発明においては、主要被写体の向きだけではなく画像中の主要被写体の位置関係も考慮したレイアウト制御を行うことができなかった。【解決手段】  複数の画像を自動的に配置しレイアウトする際に、画像を入力する画像入力手段と、画像入力手段によって入力された画像から主要被写体の向きと、主要被写体の画像中における位置を解析する手段と、解析手段によって解析された情報を元に画像を配置する配置手段とを備える。【選択図】  図２
2010081537.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を自動的に配置する自動レイアウト装置において、
画像を選択する画像選択手段と、
前記画像選択手段によって選択された画像から画像の中で特定される主要被写体の向きと前記主要被写体の画像中における位置を解析する解析手段と、
前記解析手段によって解析された情報に従って前記画像を配置する位置を決定するレイアウト手段と、
を備えることを特徴とする自動レイアウト装置。
【請求項２】
前記レイアウト手段は、前記主要被写体の向きが中央である場合には、前記主要被写体の画像中における位置の解析結果に従って前記画像を配置する位置を決定することを特徴とする請求項１に記載の自動レイアウト装置。
【請求項３】
前記レイアウト手段は、前記主要被写体の向きが中央ではない場合には、前記主要被写体の向きの解析結果に従って前記画像を配置する位置を決定することを特徴とする請求項１に記載の自動レイアウト装置。
【請求項４】
前記解析手段は前記主要被写体が複数である場合には前記複数の主要被写体の向きの数が多い向きを解析結果とすることを特徴とする請求項１に記載の自動レイアウト装置。
【請求項５】
前記解析手段は前記主要被写体が複数であり、前記主要被写体がそれぞれ別の向きであると解析した場合には、前記主要被写体の向きの判断結果を中央とすることを特徴とする請求項１に記載の自動レイアウト装置。
【請求項６】
前記主要被写体の重心点を求める重心点算出手段を有し、
前記解析手段は前記主要被写体から前記重心点算出手段により求めた重心点により画像中の位置を解析することを特徴とする請求項１に記載の自動レイアウト装置。
【請求項７】
前記主要被写体の重心点を求める重心点算出手段を有し、
前記解析手段は前記主要被写体が複数である場合には、複数の前記主要被写体から前記重心点算出手段により求めた複数の重心点から画像中の位置を解析することを特徴とする請求項１に記載の自動レイアウト装置。
【請求項８】
複数の画像を自動的に配置する自動レイアウト方法において、
画像を選択する画像選択工程と、
前記画像選択工程によって選択された画像から画像の中で特定される主要被写体の向きと前記主要被写体の画像中における位置を解析する解析工程と、
前記解析工程によって解析された情報に従って前記画像を配置する位置を決定するレイアウト工程と、
を備えることを特徴とする自動レイアウト方法。
【請求項９】
複数の画像を自動的に配置する自動レイアウト装置のプログラムにおいて、
画像を選択する画像選択ステップと、
前記画像選択ステップによって選択された画像から画像の中で特定される主要被写体の向きと前記主要被写体の画像中における位置を解析する解析ステップと、
前記解析ステップによって解析された情報に従って前記画像を配置する位置を決定するレイアウトステップと、
を備えることを特徴とする自動レイアウト装置のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法および該方法により記録した記録媒体に関する。特に、複数の画像データを自動的にレイアウトする際に、主被写体における向きや画像中の位置によりレイアウトすることを特徴とする画像処理方法および該方法を記録した記録媒体に関する。
【背景技術】
【０００２】
写真の活用法方法として、フイルムを現像して焼きつけられた写真を、専用の台紙に貼り付けてアルバムを作成することが従来より行われてきた。
【０００３】
近年、画像をデジタル化することで、アルバム作成をデジタルデータ上で行うことができ、台紙デザインやレイアウトを変更しながら容易にアルバムを作成することができるようになってきた。
【０００４】
デジタルデータでアルバムを作成することは、従来の焼き付けされた印画紙を貼りつけるよりも、簡単かつ自由度も高く作業を行うことができる。
【０００５】
デジタルカメラの普及に伴い、デジタルデータでアルバムを作成することが多くなってきたが、一方で撮影される画像データの数はメモリ容量の拡大に伴って増加している。
【０００６】
そのため、デジタルデータでアルバムを作成する場合に、多量の画像から使用する画像を選択して、レイアウトする作業に多くの時間を要するという新しい課題を生む結果となっている。
【０００７】
これらの問題を解決するために、画像中の人物等のオブジェクト（主被写体）の向きを顔や体、視線等から特定し、特定した向きに基づいて画像をレイアウトする方法が開示されている。（特許文献１参照）
また、画像の有する方向成分を空間周波数レベル等から算出し、算出した方向成分に基づいて画像をレイアウトする方法が開示されている。（特許文献３参照）
さらに、画像中の主要オブジェクトがページの折り目に重ならないように画像をトリミングしオブジェクトの位置を移動配置する方法が開示されている。また主要オブジェクトがアルバムテンプレート中の画像と重なっていないかを判別し、重なっている場合には画像をトリミングしてオブジェクトの位置を移動配置する方法も開示されている。（特許文献４参照）
【特許文献１】特開２００６−２８７９１７号公報
【特許文献２】特開２００７−０２６３８７号公報
【特許文献３】特開２００６−３０４２６５号公報
【特許文献４】特開２００７−０１２０３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記従来技術に記述したとおり主被写体の向きによりレイアウトを決定する手法は開示されているが、画像には主被写体となりうる主要被写体が複数存在する場合もある。
【０００９】
従来技術においては画像中に複数の主要被写体が存在する場合の向きの決定方法は示されておらず、該当画像においては向きを決定できない画像もある。
【００１０】
また、バランスの良いレイアウトを行う場合には主被写体の向き性だけではなく画像中の主要被写体の配置も考慮する必要がある。主被写体の向きに応じてトリミングを実施する技術もあるが、主要被写体背景の面積の余裕が無く適切な主要被写体配置でトリミングを行える画像ではないケースも多々存在する。
【００１１】
アルバム等に写真のレイアウトを行う際には、主要被写体の向き（視線方向も含む）に対してスペースを設けると、動きや広がりがある再現が可能である。
【００１２】
一方で、アルバムを観る際には閲覧者の視点がレイアウト台紙の中心に注力される傾向にあるため、主要被写体はなるべく中心に配置することが好ましい。
【００１３】
よって、主要被写体の向きだけではなく画像中の主要被写体の位置関係も考慮して最終的に画像をレイアウトした際に主要被写体を望ましい位置に配置することが課題となる。
【課題を解決するための手段】
【００１４】
このような課題を解決するために、本発明は、複数の画像を自動的に配置する自動レイアウト装置において、画像を選択する画像選択手段と、前記画像選択手段によって選択された画像から画像の中で特定される主要被写体の向きと前記主要被写体の画像中における位置を解析する解析手段と、前記解析手段によって解析された情報に従って前記画像を配置する位置を決定するレイアウト手段と、を備えることを特徴とする。
【発明の効果】
【００１５】
本発明では、複数の画像データをレイアウトする際に、主要被写体（人物の顔）の向きおよび画像中の位置を解析し、その解析結果を使って画像データをレイアウトする。この結果、好適なレイアウトで画像を配置することが可能となる。
【発明を実施するための最良の形態】
【００１６】
（実施例）
＜第一の実施例＞
図１に本発明で使用する画像処理方法のブロック図を示す。画像処理方法として、ＰＣを使用すると想定して説明する。
【００１７】
ＣＰＵ  １０１は、中央演算ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）で、他の機能ブロックや装置の制御を行う。ブリッジ部１０２は、ＣＰＵ  １０１と他の機能ブロックの間でデータのやり取りを制御する機能を提供している。
【００１８】
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）  １０３は読み込み専用の不揮発メモリであり、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）と呼ばれるプログラムが格納されている。ＢＩＯＳは画像検索装置が起動したときに最初に実行されるプログラムであり、２次記憶装置１０５、表示装置１０７、入力装置１０９、出力装置１１０などの周辺機器の基本入出力機能を制御するものである。
【００１９】
ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０４は、高速の読み／書き可能な記憶領域を提供する。
【００２０】
２次記憶装置１０５は、大容量の記憶領域を提供するＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）である。ＢＩＯＳが実行されると、ＨＤＤに格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）が実行される。ＯＳはすべてのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を提供する。アプリケーションは、ＯＳが提供するＧＵＩを組み合わせることで、アプリケーション独自の機能を実現するＵＩを提供できる。
【００２１】
ＯＳや、他のアプリケーションの実行プログラムや作業用に使用しているデータは、必要に応じてＲＡＭ  １０５または２次記憶装置１０５に格納される。
【００２２】
表示制御部１０６は、ＯＳやアプリケーションに対して行われるユーザの操作の結果をＧＵＩの画像データとして生成し、表示装置１０７で表示するための制御を行う。表示装置１０７には液晶ディスプレイや、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）ディスプレイが使用できる。
【００２３】
Ｉ／Ｏ制御部は、複数の入力装置１０９、出力装置１１０とのインターフェースを提供するものである。代表的なインターフェースとしてＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などがある。
【００２４】
入力装置１０９には、キーボード、マウスといったユーザの意志を画像検索装置に入力するものがある。さらに、デジタルカメラ、ＵＳＢメモリ、ＣＦ（Ｃｏｍｐａｃｔ  Ｆｌａｓｈ）メモリ、ＳＤ（Ｓｅｃｕｒｅ  Ｄｉｇｉｔａｌ）メモリカードといった記憶装置などを接続することで、画像データを転送することも可能である。
【００２５】
出力装置１１０にはプリンタが接続され、所望の印刷結果を得ることが可能である。
【００２６】
図２に本画像処理方法の動作の流れ図を示している。
【００２７】
画像データＤ２０１は、２次記憶装置１０５の記憶領域、またはＩ／Ｏ制御部１０８に接続されたＣＦメモリ、ＳＤメモリカードなどの入力装置１０９の記憶領域内に格納されている画像データとする。この画像データはデジタルカメラなどの撮影装置を使用して撮影されたものである。
【００２８】
アルバムを作成すようとするユーザは、Ｓ２０１でアルバム用の画像データとして使用したい画像群を、画像データＤ２０１の中から選択する。選択方法として、始めに格納されている画像データＤ２０１のサムネイル画像を表示して、その中から使用したい画像を指定する方法が良く使われる。
【００２９】
図３に、そのような画像選択を行うＵＩの一例を示している。アルバム作成アプリケーション３０１の画像選択時のＵＩとして、画像データの保管されている場所を表すディレクトリツリーの表示領域３０２には、２次記憶装置１０５内に格納されているフォルダの構成が表示されている。
【００３０】
マウスポインタ３０６は、入力装置１０９のひとつであるマウスの指定位置を指示しており、ユーザはマウス、またはキーボードを操作して、画像データの選択を行うことができる。
【００３１】
ユーザは一つのフォルダを指定する。指定されたフォルダ内の画像データは、サムネイル表示領域３０３にサムネイル画像として表示される。
【００３２】
ユーザがマウスポインタ３０６を使用して選択した画像のリストは、サムネイル画像として領域３０４に表示される。
【００３３】
Ｓ２０２では、アルバムの各ページの構成を指定する操作を行う。例えば、１ページのレイアウトとして最大画像枚数、各画像貼り付ける位置、大きさ等の指定を行う。これらのレイアウト制御情報をユーザがすべて指定してもよく、また、選択された画像の枚数等から自動的に決めるようにしてもよい。
【００３４】
Ｓ２０３では、Ｓ２０２で選択された画像データにおける主要被写体の向きおよび画像中の位置に関する解析が行われる。
【００３５】
ここで述べる主要被写体とは人物の顔であるとして以後の説明を行う。
【００３６】
また、ここで言う向きとは、主要被写体の顔の向きや視線の方向を意味している。
【００３７】
本明細書において、主要被写体とは人物の顔としているが、顔の向き、視線の方向および画像中の位置を特定する上では目等の器官領域を特定することも有効である。
【００３８】
主要被写体を検出する方法としては、数多くの手法が様々な文献で開示されており、本実施形態においてはそれらのうちどのような手法を用いても良い。なお、顔および器官位置の検出および顔の向きや視線の方向特定に関しても、従来方法が様々な文献で開示されており、また本発明の本質部分ではないので、ここでの詳細な説明は省略する。
【００３９】
Ｓ２０３で画像データの解析を行い、その結果を解析結果Ｄ２０２に格納する。Ｓ２０４で、Ｓ２０１で選択されたすべての画像データを解析したかの判定を行い、すべての画像データの解析を終了するまでＳ２０３を繰り返し実行する。すべての画像データの解析が終了するとＳ２０５へ進み、画像のレイアウトを実行する。
【００４０】
図４に画像データの解析結果に基づくレイアウト定義を示す。
【００４１】
Ｓ２０３で解析した顔の向きが左である場合には、画像中の顔の位置すなわち主要被写体位置によらずＳ２０５でレイアウトテンプレートの右側あるいは右ページに配置される。一方、顔の向きか右である場合には画像中の顔の位置すなわち主要被写体によらずＳ２０５でレイアウトテンプレートの左側あるいは左ページに配置される。
【００４２】
Ｓ２０３で解析した顔の向きが中央である場合には、画像中の顔の位置すなわち主要被写体位置が左寄りの場合にはＳ２０５でレイアウトテンプレートの右側あるいは右ページに配置される。一方、顔の向きが中央で、画像中の顔の位置すなわち主要被写体位置が右寄りの場合にはＳ２０５でレイアウトテンプレートの左側あるいは左ページに配置される。また、顔の向きが中央で画像中の顔の位置すなわち主要被写体位置も中央の場合には、Ｓ２０５でレイアウトテンプレートの中央に配置する、あるいは配置位置の優先度決定は行わない。
【００４３】
画像中の主要被写体位置は、Ｓ２０３で解析した顔の位置から顔領域の重心点すなわち主要被写体重心点を算出し、画像中におけるこの主要被写体重心点の位置から求められる。
【００４４】
図１１に画像中の主要被写体（人物の顔）が１人の場合の顔領域の重心点、画像中における主要被写体重心点の算出方法を示す。
【００４５】
画像データＤ２０１中の画像１１００においてＳ２０３で解析により顔の位置領域１２００が求まる。顔の位置領域は図１１に示すように矩形領域で求められ、矩形領域の各頂点からの交点が顔領域の重心点すなわち主要被写体重心点Ｇとして求められる。
【００４６】
図１１におけるＰは画像データにおける所定の幅を有する中心位置範囲を示しており、主要被写体重心点Ｇが中心位置範囲Ｐ内にあれば主要被写体の位置が中央の画像であることになる。
【００４７】
また、主要被写体重心点Ｇが中心位置範囲Ｐよりも左側にあれば画像中の主要被写体位置が左寄り、主要被写体重心点Ｇが中心位置範囲Ｐよりも右側にあれば画像中の主要被写体位置が右寄りであるということが求められる。
【００４８】
図中の画像においては主要被写体重心点Ｇが中心位置範囲Ｐよりも右側にあるので画像中の顔の主要被写体位置が右寄りであるということになる。
【００４９】
中心位置範囲Ｐの範囲の規定は本実施例で示したものに限定されず、目的に応じて範囲を定めれば良い。また、重心点算出方法も本実施例で示したものに限定されず、既知の手段を用いても構わない。
【００５０】
図５は顔の向きが中央で画像中の顔の位置（主要被写体位置）が異なる画像を示している。
【００５１】
図５（ａ）は顔の向きが中央で画像中の顔の位置も中央の画像である。この場合、Ｓ２０５でレイアウトテンプレートの中央に配置する、あるいは配置位置の優先度決定は行わない。
【００５２】
図５（ｂ）は顔の向きが中央で画像中の顔の位置が左寄りの画像である。この場合、Ｓ２０５でレイアウトテンプレートの右側あるいは右ページに配置される。
【００５３】
図５（ｃ）は顔の向きが中央で画像中の顔の位置が右寄りの画像である。この場合、Ｓ２０５でレイアウトテンプレートの左側あるいは左ページに配置される。
【００５４】
図６は顔の向きが左で画像中の顔の位置が異なる画像を示している。
【００５５】
図６（ａ）顔の位置が中央の画像であり、図５（ｂ）は顔の位置が左寄り、図６（ｃ）右寄りの画像である。この場合には、Ｓ２０５では（ａ）〜（ｃ）すべてレイアウトテンプレートの右側あるいは右ページに配置される。
【００５６】
上記説明においては、顔の向きとして左右方向についてのみ説明したが、上下方向や斜め方向といった解析結果を用いても良い。
【００５７】
この場合には、顔の向きが中央である場合以外は画像中の顔の位置によらず顔の向きによりレイアウト位置が決定し、顔の向きと反対方向の位置関係にあるレイアウトテンプレートやページに配置される。
【００５８】
以上のように、Ｓ２０５でレイアウトが決定したら、そのレイアウトを制御するレイアウト情報をＤ２０３として格納する。レイアウト情報には、アルバムのページ数、使用する画像の名前、保存先、各画像の貼り付けられるページ番号、ページ内の貼り付け位置などの情報である。または、アルバムの各ページのレイアウトを画像データとして作成して保存しても良い。格納先は、２次記憶装置１０５またはＲＡＭ１０４のどちらでもよい。
【００５９】
Ｓ２０６では、レイアウトの結果を表示装置１０７上でユーザに見せて、その結果に満足するかを確認する。満足しなかった場合にはＳ２０７へ進み、ユーザがＳ２０５で作成されたレイアウトの調整を行う。レイアウトに満足ができればＳ２０８へ進み、アルバムを印刷して一連の作業を終了する。
【００６０】
以上、説明してきたように、画像データの中の主要被写体（人物の顔）の向きおよび画像中の位置を解析して、その解析結果を使ってレイアウトを制御することで、好適なレイアウトが実現できる。
【００６１】
また、上記説明においては顔の向きを解析結果として利用したが、視線の方向を解析結果として利用して上述処理を行っても良い。
【００６２】
本実施例では、あらかじめ画像をユーザが選択した画像に対して、解析を行ってレイアウトを行う方法で説明した。しかし、あらかじめユーザが画像を選択しなくても、画像処理方法に取り込まれた画像データを解析して、自動的にレイアウトを作成するような方法を採用してもよい。
【００６３】
＜第二の実施例＞
第一の実施形態では画像データの中の主要被写体（人物の顔）の向きおよび画像中の位置を解析して、その解析結果を使ってレイアウトを制御する方法を説明した。
【００６４】
第一の実施形態では主要被写体（人物の顔）が１人である場合について説明したが、主要被写体が２人以上の場合も存在する。
【００６５】
本第二の実施例では主要被写体が２人以上である場合のレイアウト制御方法を説明する。
【００６６】
画像処理方法については上述の第一の実施形態と同じであるため詳細な説明は省略する。
【００６７】
図１０を用いて図２におけるＳ２０３画像解析の詳細フローを以下に説明する。
【００６８】
Ｓ１００１では画像データＤ２０１から画像データを読み込み、次にＳ１００２で画像中に存在するすべての顔領域を検出および解析する。
【００６９】
Ｓ１００３ではＳ１００２の画像領域の抽出および解析結果から顔の向きを解析するとともに、Ｓ１００４で終了と判断するまで所定の向きの顔の数をカウントする。
【００７０】
Ｓ１００５ではＳ１００３の結果をもとに顔の向きを決定する。カウント値が多い向きが最終的にその画像の顔の向きとして解析結果Ｄ２０２に記述される。カウント値の大小がつけられない場合、すなわちすべての顔の向きが異なる場合には最終的にその画像の顔の向きは中央とみなし解析結果Ｄ２０２に記述される。
【００７１】
Ｓ１００６ではＳ１００２で検出した顔領域をもとに重心位置を算出し、画像中の主要被写体位置を求め、解析結果Ｄ２０２に記述される。
【００７２】
図７に同じ方向を向いた２人の被写体の画像を示す。
【００７３】
図７（ａ）は２人の顔の向きが中央を向いている。この場合にはＳ２０３は主被写体では中央を向いていると判断する。図７（ｂ）は２人の顔の向きが左を向いている。この場合にはＳ２０３では主被写体は左を向いていると判断する。
【００７４】
画像中の主要被写体位置は、Ｓ２０３で解析した２人の顔の位置から２人の顔領域の重心点を算出し、顔の重心点から主要被写体重心点を求め、画像中におけるこの主要被写体重心点位置から求められる。
【００７５】
図１２に画像中の主要被写体（人物の顔）が２人の場合の顔領域の重心点、画像中における主要被写体重心点の算出方法を示す。
【００７６】
画像データＤ２０１中の画像１１００においてＳ２０３で解析により顔の位置領域１２００が求まる。顔の位置領域は図１２に示すように矩形領域で求められ、矩形領域の各頂点からの交点が顔領域の重心点ｇ０、ｇ１が求められる。
【００７７】
この画像においては主要被写体（人物の顔）が２人であるため主要被写体の位置を求めるための主要被写体重心点を求める必要がある。
【００７８】
主要被写体重心点Ｇは顔領域の重心点ｇ０、ｇ１間を結ぶ直線における中点位置から求めることができる。
【００７９】
図１２におけるＰは所定の幅を有する中心位置範囲を示しており、主要被写体重心点Ｇが中心位置範囲Ｐ内にあれば主要被写体位置が中央の画像であることになる。
【００８０】
また、主要被写体重心点Ｇが中心位置範囲Ｐよりも左側にあれば画像中の主要被写体位置が左寄り、主要被写体重心点Ｇが中心位置範囲Ｐよりも右側にあれば画像中の主要被写体位置が右寄りであるということが求められる。
【００８１】
図中の画像においては主要被写体重心点Ｇが中心位置範囲Ｐ内にあるので画像中の主要被写体位置は中央であるということになる。
【００８２】
中心位置範囲Ｐの範囲の規定は本実施例で示したものに限定されず、目的に応じて範囲を定めれば良い。
【００８３】
上記Ｓ２０３の判断のもと図４の表定義に従ってＳ２０５でレイアウトが決定する。
【００８４】
主要被写体が複数である場合にはＳ２０３では解析したそれぞれ顔の向きをカウントし、カウント値が多い向きを最終処理値として用いる。
【００８５】
したがって、主要被写体が２であってもすべてが同じ方向である場合には、主要被写体がどちらを向いているか特定ができる。
【００８６】
図８に別の方向を向いた２人の被写体の画像を示す。
【００８７】
図８（ａ）、図７（ｂ）はそれぞれ２人の顔の向きが別の方向を向いている。この場合にはＳ２０３では中央を向いた画像として処理が行われる。
【００８８】
画像中の顔の位置は、Ｓ２０３で解析した２人の顔の位置から既知手段によりの２人の顔の重心点を算出し、画像中における重心点位置から求められる。
【００８９】
上記Ｓ２０３の判断のもと表１の定義に従ってＳ２０５でレイアウトが決定する。
【００９０】
主要被写体が複数である場合にはＳ２０３では解析したそれぞれ顔の向きをカウントし、カウント値が多い方向を最終処理値として用いる。
【００９１】
したがって、主要被写体が２人でそれぞれ別の方向であるので、顔の向きを定めることができないため、中央を向いた画像として処理が行われる。
【００９２】
図９は複数人の被写体の画像を示す。
【００９３】
図９（ａ）においては、３人すべての顔が別の方向を向いている。この場合には図８のケースと同様にＳ２０３では中央を向いた画像として処理が行われる。
【００９４】
画像中の主要被写体位置は、Ｓ２０３で解析した３人の顔の位置から既知手段によりの３人の顔領域の重心点を算出し、画像中におけるこの主要被写体重心点位置から求められる。
【００９５】
図１３に画像中の主要被写体（人物の顔）が３人の場合の顔領域の重心点、画像中における主要被写体重心点の求め方を示す。
【００９６】
図１３（ａ）において画像データＤ２０１中の画像１１００においてＳ２０３で解析により顔の位置領域１２００が求まる。顔の位置領域は図１３に示すように矩形領域で求められ、矩形領域の各頂点からの交点が顔領域の重心点ｇａ、ｇｂ、ｇｃが求められる。
【００９７】
この画像においては主要被写体（人物の顔）が３人であるため主要被写体の位置を求めるための主要被写体重心点を求める必要がある。
【００９８】
図１３（ｂ）に主要被写体重心点Ｇの求め方を示す。
【００９９】
顔領域の重心点ｇａ、ｇｂ、ｇｃは三角形を示すので既知の三角形における重心の求め方が適応できる。すなわち三角形ｇａ、ｇｂ、ｇｃの３辺の中点をｄ、ｅ、ｆとし、点ｇａと点ｄ、点ｇｂと点ｅ、点ｇｃと点ｆをそれぞれ結んだ三本の中線が交わった点が主要被写体重心点Ｇとなる。
【０１００】
図１３（ａ）におけるＰは所定の幅を有する中心位置範囲を示しており、主要被写体重心点Ｇが中心位置範囲Ｐ内にあれば顔の位置が中央の画像であることになる。
【０１０１】
また、主要被写体重心点Ｇが中心位置範囲Ｐよりも左側にあれば画像中の主要被写体位置が左寄り、主要被写体重心点Ｇが中心位置範囲Ｐよりも右側にあれば画像中の主要被写体位置が右寄りであるということが求められる。
【０１０２】
図中の画像においては主要被写体重心点Ｇが中心位置範囲Ｐ内にあるので画像中の主要被写体位置は中央であるということになる。
【０１０３】
中心位置範囲Ｐの範囲の規定は本実施例で示したものに限定されず、目的に応じて範囲を定めれば良い。
【０１０４】
上記Ｓ２０３の判断のもと図４の表の定義に従ってＳ２０５でレイアウトが決定する。
【０１０５】
主要被写体が複数である場合にはＳ２０３では解析したそれぞれ顔の向きをカウントし、カウント値が多い方向を最終処理値として用いる。
【０１０６】
したがって、主要被写体が３人でそれぞれ別の方向であるので、顔の向きを定めることができないため、中央を向いた画像として処理が行われる。
【０１０７】
図９（ｂ）においては、主要被写体５人のうち右端の一人を除き、４人の顔が正面（中央）を向いている。主要被写体が複数である場合にはＳ２０３では解析したそれぞれ顔の向きをカウントし、カウント値が多い方向を最終処理値として用いる。
【０１０８】
したがって、主要被写体が５人で、４人の顔の向きが中央であるためカウント値が多い中央と顔の向きを定めることができる。
【０１０９】
画像中の主要被写体位置は、Ｓ２０３で解析した５人の顔の位置から既知手段によりの５人の顔の重心点を算出し、画像中におけるこの主要被写体重心点位置から求められる。
【０１１０】
先の説明で主要被写体（人物の顔）が３人の場合における顔領域の重心点、画像中における主要被写体重心点の求め方を説明したが、主要被写体の人数が増えても同じ手法で顔領域の重心点、画像中における主要被写体重心点を求めることができ、図９（ｂ）における主要被写体重心位置は、顔領域の重心点を結ぶと五角形となることから既知の多角形における重心の求め方が適応できる。
【０１１１】
また、先の説明と同様にあらかじめ定めた中心位置範囲と主要被写体重心点位置の関係から画像中における主要被写体の位置を求めることができる。
【０１１２】
上記Ｓ２０３の判断のもと図４の表の定義に従ってＳ２０５でレイアウトが決定する。
【０１１３】
主要被写体が２人以上の場合における顔の向きの特定方法として、人数が多い方向に従う手法を説明したが、上記説明に限定されずに顔の大きさにより顔の向きに重み付を行い決定しても良い。
【０１１４】
また、人物特定の手段を用いて複数の主要被写体から注目すべき人物を特定して顔の向きを決定しても良い。
【０１１５】
上記においては画像中の顔の位置をすべての顔領域の重心点から算出する方法を説明した。この場合においても顔の大きさにより算出重心点に重み付けしたり、人物特定の手段を用いて複数の主要被写体から注目すべき人物を特定し、その顔領域の重心点から算出しても良い。
【０１１６】
図１４に本実施例および先の実施例の処理を用いてレイアウトした一例を示す。
【０１１７】
主要被写体の方向だけではなく画像中の主要被写体の位置関係も考慮して画像をレイアウトしたので主要被写体を望ましい位置に配置することが可能となった。
【０１１８】
＜その他の実施例＞
ここまでの説明では、画像処理方法としてアルバム作成を行い、プリントする系で説明を行ってきたが、構成はこれに限定されるものではない。
【０１１９】
例えば、Ｗｅｂ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）上に作成するＨＰ（Ｈｏｍｅ  Ｐａｇｅ）にデジタルカメラで撮影した画像データを配置するＰｈｏｔｏ  Ｇａｌｌｅｒｙのようなホームページを作成するときのレイアウト作成に使用してもよい。
【０１２０】
また本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムや装置のコンピュータが記憶媒体に格納されたプログラムコードを読み出し実行することでも達成されることは言うまでもない。
【０１２１】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２２】
また、コンピュータが読み出したプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）が実際の処理の一部または全部を行うことで、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行うことで、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【０１２４】
【図１】アルバム作成装置のブロック図
【図２】アルバム作成アプリケーションの全体フロー図
【図３】アルバム作成アプリケーションの画像選択ＵＩ図
【図４】画像データの解析結果に基づくレイアウト定義
【図５】顔の向きが中央で画像中の顔の位置が異なる画像例
【図６】顔の向きが左で画像中の顔の位置が異なる画像例
【図７】同じ方向を向いた２人の被写体の画像例
【図８】別の方向を向いた２人の被写体の画像例
【図９】複数人の被写体の画像例
【図１０】図２における画像解析部の詳細フロー図
【図１１】主要被写体が１人の場合の顔領域の重心点、画像中における主要被写体重心点の求め方を示す図
【図１２】主要被写体が２人の場合の顔領域の重心点、画像中における主要被写体重心点の求め方を示す図
【図１３】主要被写体が３人の場合の顔領域の重心点、画像中における主要被写体重心点の求め方を示す図
【図１４】アルバムレイアウトの一例
【符号の説明】
【０１２５】
１１００  画像データ中の画像
１２００  顔の位置領域
【図１】
2010081537.tif 000003
【図２】
2010081537.tif 000004
【図３】
2010081537.tif 000005
【図４】
2010081537.tif 000006
【図５】
2010081537.tif 000007
【図６】
2010081537.tif 000008
【図７】
2010081537.tif 000009
【図８】
2010081537.tif 000010
【図９】
2010081537.tif 000011
【図１０】
2010081537.tif 000012
【図１１】
2010081537.tif 000013
【図１２】
2010081537.tif 000014
【図１３】
2010081537.tif 000015
【図１４】
2010081537.tif 000016