(57)【要約】【課題】ユーザが合成対象の画像に対して何らかの操作を必要とせず、適切かつ自動的にテンプレートと合成してアルバムを作成する。【解決手段】顔検出部５３が入力画像から１以上の顔領域を検出し、傾き決定部５４が顔領域の各々の傾きに基づいて入力画像の傾きを決定し、トリミング基準領域仮決定部５５が顔領域の１つ以上を含むトリミング基準領域を決定し、トリミング基準点仮決定部５６がトリミング基準領域内のトリミング基準点を決定し、画像回転部５７が入力画像の傾きに応じて入力画像を回転させ、トリミング部６０がアルバムのテンプレート中の画像挿入領域のレイアウト枠を、レイアウト基準点とトリミング基準点とが一致し、トリミング基準領域がレイアウト枠内に含まれるように入力画像中に設定してトリミングを行い、テンプレート合成部６１がトリミングされた領域をテンプレートと合成する。【選択図】          図４
2008305275.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から１以上の人物の顔の領域を検出する顔検出手段と、
前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定する傾き決定手段と、
該入力画像の傾きに応じて、前記入力画像を回転させる画像回転手段と、
該回転後の入力画像中に、前記顔検出手段によって検出された顔領域の１つ以上を含むトリミング基準領域を決定するトリミング基準領域決定手段と、
前記トリミング基準領域内のトリミング基準点を決定するトリミング基準点決定手段と、
画像が挿入される画像挿入領域と該画像挿入領域中に任意に設定されたレイアウト基準点とが関連づけられた前記アルバムのテンプレート中の該画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行うトリミング手段と、
該トリミングされた前記入力画像中の領域を前記テンプレートと合成するテンプレート合成手段とを備えたことを特徴とするアルバム作成装置。
【請求項２】
入力画像から１以上の人物の顔の領域を検出する顔検出手段と、
前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定する傾き決定手段と、
該回転後の入力画像中に、前記顔検出手段によって検出された顔領域の１つ以上を含むトリミング基準領域を決定するトリミング基準領域決定手段と、
前記トリミング基準領域内のトリミング基準点を決定するトリミング基準点決定手段と、
画像が挿入される画像挿入領域と、該画像挿入領域中に任意に設定されたレイアウト基準点と該画像挿入領域に挿入されるべき画像の傾きを表す情報とが関連づけられた前記アルバムのテンプレートから、前記傾き決定手段によって決定された前記入力画像の傾きと前記傾き情報を比較することによって、前記入力画像の傾きと適合する前記画像挿入領域を決定する画像挿入領域決定手段と、
決定された画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行うトリミング手段と、
該トリミングされた前記入力画像中の領域を前記テンプレートと合成するテンプレート合成手段とを備えたことを特徴とするアルバム作成装置。
【請求項３】
前記顔検出手段が、前記入力画像中の主要被写体となる人物の顔を検出するものであることを特徴とする請求項１または２記載のアルバム作成装置。
【請求項４】
前記顔検出手段によって検出された人物の内容的特徴に基づいて、該人物のうちの主要被写体を決定する主要被写体決定手段をさらに備え、
前記傾き決定手段が、前記人物の各々の傾きに対して、前記主要被写体の傾きの重みがより大きくなるように重みづけを行って、前記入力画像の傾きを決定するものであることを特徴とする請求項１または２に記載のアルバム作成装置。
【請求項５】
前記トリミング基準領域決定手段が、前記回転後の入力画像中に、前記顔検出手段によって検出された顔領域のすべてを含むトリミング基準領域を決定するものであることを特徴とする請求項１から４のいずれか１項に記載のアルバム作成装置。
【請求項６】
前記顔検出手段によって検出された人物の内容的特徴に基づいて、該人物のうちの主要被写体を決定する主要被写体決定手段をさらに備え、
前記トリミング基準領域決定手段が、前記主要被写体のみを含む領域を前記トリミング基準領域とするものであることを特徴とする請求項１，２，４のいずれか１項に記載のアルバム作成装置。
【請求項７】
前記トリミング基準領域が矩形領域であり、
前記テンプレートが複数の前記画像挿入領域を含むものであり、
前記トリミング手段が、前記レイアウト枠のアスペクト比と前記トリミング基準領域のアスペクト比とが所定の基準を満たす程度に近似する場合に前記トリミングを行うものであることを特徴とする請求項１から６のいずれか１項に記載のアルバム作成装置。
【請求項８】
前記トリミング基準領域が矩形領域であり、
前記テンプレートが複数の前記画像挿入領域を含むものであり、
前記トリミング手段が、前記レイアウト枠のアスペクト比と前記トリミング基準領域のアスペクト比とが所定の基準を満たす程度に近似しない場合に、前記顔検出手段によって検出された人物の内容的特徴に基づいて、該人物のうちの主要被写体を決定し、該主要被写体のみを含む領域を前記トリミング基準領域として前記トリミングを行うものであることを特徴とする請求項１または２に記載のアルバム作成装置。
【請求項９】
前記トリミング基準領域が矩形領域であり、
前記テンプレートが複数の前記画像挿入領域を含むものであり、
前記トリミング手段が、前記レイアウト枠のアスペクト比と前記トリミング基準領域のアスペクト比とが所定の基準を満たす程度に近似しない場合に、前記トリミング基準領域を複数の小領域に分割し、該小領域の各々について、前記アルバムの１つの見開きページ内の複数の前記画像挿入領域のレイアウト枠を用いて前記トリミングを行うものであることを特徴とする請求項１から７のいずれか１項に記載のアルバム作成装置。
【請求項１０】
前記トリミング基準領域決定手段が、隣接する前記顔領域間の距離を算出し、算出された距離が所定の閾値よりも大きい場合には、該隣接する前記顔領域の間に境界を有する複数のトリミング基準領域を決定するものであることを特徴とする請求項１から９のいずれか１項に記載のアルバム作成装置。
【請求項１１】
入力画像から１以上の人物の顔の領域を検出し、
前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定し、
該入力画像の傾きに応じて、前記入力画像を回転させ、
該回転後の入力画像中に、前記検出された顔領域の１つ以上を含むトリミング基準領域を決定し、
前記トリミング基準領域内のトリミング基準点を決定し、
画像が挿入される画像挿入領域と該画像挿入領域中に任意に設定されたレイアウト基準点とが関連づけられた前記アルバムのテンプレート中の該画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行い、
該トリミングされた前記入力画像中の領域を前記テンプレートと合成することを特徴とするアルバム作成方法。
【請求項１２】
入力画像から１以上の人物の顔の領域を検出し、
前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定し、
該回転後の入力画像中に、前記検出された顔領域の１つ以上を含むトリミング基準領域を決定し、
前記トリミング基準領域内のトリミング基準点を決定し、
画像が挿入される画像挿入領域と、該画像挿入領域中に任意に設定されたレイアウト基準点と該画像挿入領域に挿入されるべき画像の傾きを表す情報とが関連づけられた前記アルバムのテンプレートから、前記入力画像の傾きと前記傾き情報を比較することによって、前記入力画像の傾きと適合する前記画像挿入領域を決定し、
決定された画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行い、
該トリミングされた前記入力画像中の領域を前記テンプレートと合成することを特徴とするアルバム作成方法。
【請求項１３】
コンピュータに、
入力画像から１以上の人物の顔の領域を検出する処理と
前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定する処理と、
該入力画像の傾きに応じて、前記入力画像を回転させる処理と、
該回転後の入力画像中に、前記検出された顔領域の１つ以上を含むトリミング基準領域を決定する処理と、
前記トリミング基準領域内のトリミング基準点を決定する処理と、
画像が挿入される画像挿入領域と該画像挿入領域中に任意に設定されたレイアウト基準点とが関連づけられた前記アルバムのテンプレート中の該画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行う処理と、
該トリミングされた前記入力画像中の領域を前記テンプレートと合成する処理とを実行させることを特徴とするアルバム作成プログラム。
【請求項１４】
コンピュータに、
入力画像から１以上の人物の顔の領域を検出する処理と、
前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定する処理と、
該回転後の入力画像中に、前記検出された顔領域の１つ以上を含むトリミング基準領域を決定する処理と、
前記トリミング基準領域内のトリミング基準点を決定する処理と、
画像が挿入される画像挿入領域と、該画像挿入領域中に任意に設定されたレイアウト基準点と該画像挿入領域に挿入されるべき画像の傾きを表す情報とが関連づけられた前記アルバムのテンプレートから、前記入力画像の傾きと前記傾き情報を比較することによって、前記入力画像の傾きと適合する前記画像挿入領域を決定する処理と、
決定された画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行う処理と、
該トリミングされた前記入力画像中の領域を前記テンプレートと合成する処理とを実行させることを特徴とするアルバム作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像とテンプレートを合成してアルバムを作成する装置および方法、ならびに、コンピュータにこのようなアルバム作成を実行させるプログラムに関するものである。
【背景技術】
【０００２】
コンピュータを用いて、デジタルカメラによる撮影で得られた画像データや、撮影済の写真フイルムをフイルムスキャナで読み取ることによって得られた画像データを入力として、適宜画質調整・編集・加工処理を行い、処理済の画像を予め用意されたアルバムのテンプレートに挿入することによってアルバムを作成する方法が、一般ユーザ向けのソフトウェアや写真店等の専門オペレータ向けのソフトウェアによって実現されている。
【０００３】
例えば、ユーザによって、アルバムのテンプレートが選択され、選択されたテンプレート中のレイアウト枠に嵌め込むべき画像が選択され、選択された画像中の主要被写体領域の範囲とその主要被写体の注目点とが手作業で設定されると、その主要被写体領域をそのレイアウト枠に過不足なく嵌め込むことができるかどうかの判定を行い、嵌め込み可能と判定された場合には、前記の注目点とレイアウト枠中に予め設定された基準点とが一致するようにその画像に対するトリミング領域を決定し、その領域をトリミングしてレイアウト枠に嵌め込むことによって、画像とテンプレートを合成してアルバムを作成する装置が知られている（例えば、特許文献１）。
【０００４】
上記の装置では、ユーザが主要被写体領域や注目点を手動設定する必要があり、操作のための時間や手間がかかってしまう。
【０００５】
一方、証明写真等の定型的な写真のプリント装置の分野では、予め撮影された人物の画像から顔の輪郭情報を抽出し、抽出された顔の領域が、ユーザによって選択されたテンプレート内の所定の領域（レイアウト枠）に配置されるように、両領域の位置合わせと拡大縮小を行い、抽出された顔の領域とテンプレートを合成してプリント出力する装置が知られており（例えば、特許文献２）、この装置によれば、ユーザは合成対象の画像に対しては何らの操作も必要がなく、自動的に画像とテンプレートの合成をすることが可能になる。
【特許文献１】特開２００７−０２６２４６号公報
【特許文献２】特開２０００−２７０１９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２記載の装置は、あくまでも証明写真等の用途に応じた固定的な構図で顔が正面を向いた人物の画像が合成対象であり、特許文献１等に記載のアルバム作成の自動化のために解決すべき課題およびその解決手段については、特許文献１には記載も示唆もされていない。すなわち、アルバム作成の場合、テンプレートと合成される画像は固定的な構図であるとは限らず、天地方向や被写体の傾き具合は多様であり、また、画像中に含まれる人物の数も１人とは限らない。したがって、特許文献２記載の装置を用いてこのような画像とテンプレートを合成しようとすると、被写体が傾いた状態でテンプレートと合成されたり、画像中の人物の全員を含む領域とテンプレートが合成されなかったりすることが起こりうる。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、合成対象の画像中に複数の人物が含まれていたり、人物の傾きが多様であったりする場合であっても、ユーザが合成対象の画像に対して何らかの操作を必要とせず、適切かつ自動的にテンプレートと合成することによって、アルバムを生成することを実現するアルバム作成装置、方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１のアルバム作成装置は、入力画像から１以上の人物の顔の領域を検出する顔検出手段と、前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定する傾き決定手段と、該入力画像の傾きに応じて、前記入力画像を回転させる画像回転手段と、該回転後の入力画像中に、前記顔検出手段によって検出された顔領域の１つ以上を含むトリミング基準領域を決定するトリミング基準領域決定手段と、前記トリミング基準領域内のトリミング基準点を決定するトリミング基準点決定手段と、画像が挿入される画像挿入領域と該画像挿入領域中に任意に設定されたレイアウト基準点とが関連づけられた前記アルバムのテンプレート中の該画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行うトリミング手段と、該トリミングされた前記入力画像中の領域を前記テンプレートと合成するテンプレート合成手段とを設けたことを特徴とする。
【０００９】
本発明の第１のアルバム作成方法は、入力画像から１以上の人物の顔の領域を検出し、
前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定し、該入力画像の傾きに応じて、前記入力画像を回転させ、該回転後の入力画像中に、前記検出された顔領域の１つ以上を含むトリミング基準領域を決定し、前記トリミング基準領域内のトリミング基準点を決定し、画像が挿入される画像挿入領域と該画像挿入領域中に任意に設定されたレイアウト基準点とが関連づけられた前記アルバムのテンプレート中の該画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行い、該トリミングされた前記入力画像中の領域を前記テンプレートと合成することを特徴とする。
【００１０】
本発明の第１のアルバム作成プログラムは、コンピュータに上記第１のアルバム作成方法を実行させるものである。
【００１１】
本発明の第２のアルバム作成装置は、入力画像から１以上の人物の顔の領域を検出する顔検出手段と、前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定する傾き決定手段と、該回転後の入力画像中に、前記顔検出手段によって検出された顔領域の１つ以上を含むトリミング基準領域を決定するトリミング基準領域決定手段と、前記トリミング基準領域内のトリミング基準点を決定するトリミング基準点決定手段と、画像が挿入される画像挿入領域と、該画像挿入領域中に任意に設定されたレイアウト基準点と該画像挿入領域に挿入されるべき画像の傾きを表す情報とが関連づけられた前記アルバムのテンプレートから、前記傾き決定手段によって決定された前記入力画像の傾きと前記傾き情報を比較することによって、前記入力画像の傾きと適合する前記画像挿入領域を決定する画像挿入領域決定手段と、決定された画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行うトリミング手段と、該トリミングされた前記入力画像中の領域を前記テンプレートと合成するテンプレート合成手段とを設けたことを特徴とする。
【００１２】
本発明の第２のアルバム作成方法は、入力画像から１以上の人物の顔の領域を検出し、前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定し、該回転後の入力画像中に、前記検出された顔領域の１つ以上を含むトリミング基準領域を決定し、前記トリミング基準領域内のトリミング基準点を決定し、画像が挿入される画像挿入領域と、該画像挿入領域中に任意に設定されたレイアウト基準点と該画像挿入領域に挿入されるべき画像の傾きを表す情報とが関連づけられた前記アルバムのテンプレートから、前記入力画像の傾きと前記傾き情報を比較することによって、前記入力画像の傾きと適合する前記画像挿入領域を決定し、決定された画像挿入領域の輪郭を表すレイアウト枠を、前記レイアウト基準点と前記トリミング基準点とが一致し、前記トリミング基準領域が前記レイアウト枠内に含まれるように前記入力画像中に設定し、設定されたレイアウト枠に沿って前記入力画像のトリミングを行い、該トリミングされた前記入力画像中の領域を前記テンプレートと合成することを特徴とする。
【００１３】
本発明の第２のアルバム作成プログラムは、コンピュータに上記第２のアルバム作成方法を実行させるものである。
【００１４】
次に本発明の詳細について説明する。
【００１５】
入力画像中の顔領域の検出方法には、例えば特許文献２に記載の方法等、本発明の実施時点において公知の方法を用いることができる。
【００１６】
また、顔検出の際に、入力画像中の主要被写体となる人物の顔を検出するようにしてもよい。ここで、主要被写体とは、顔が正面を向いている人物とすることや、顔検出の際の顔らしさ（例えばテンプレートに対する類似性等）がより高い領域とすることが考えられる。
【００１７】
入力画像中の人物の傾きの算出方法には、例えば、特開平８−１３８０２４号公報や特開２００５−２０２４７７号公報に記載の方法等、本発明の実施時点において公知の方法を用いることができる。
【００１８】
入力画像中の人物の各々の傾きに基づいて入力画像の傾きを決定する方法の具体例としては、入力画像中の人物の各々の傾きのヒストグラムを作成し、頻度が最大となるクラスの代表値を入力画像の傾きとすることが考えられる。
【００１９】
このとき、上記顔検出処理によって検出された人物の内容的特徴に基づいて、該人物のうちの主要被写体を決定するようにし、上記顔検出によって検出された人物の各々の傾きに対して、前記主要被写体の傾きの重みがより大きくなるように重みづけを行って、前記入力画像の傾きを決定するようにしてもよい。
【００２０】
入力画像の傾きに応じた入力画像の回転は、その傾きを表す角度分の回転であってもよいし、９０度単位の回転であってもよい。
【００２１】
トリミング基準領域は、検出された顔領域の１つ以上を含む領域であれば、いかなる形状であってもよい。例えば、矩形の領域とすることができる。また、特開２００５−２０８７３２号公報に記載の方法等を用いてトリミング基準領域を決定してもよい。
【００２２】
さらに、検出された顔領域のすべてを含む領域をトリミング基準領域としてもよいし、上記顔検出処理によって検出された人物の内容的特徴に基づいて、該人物のうちの主要被写体を決定するようにし、前記主要被写体のみを含む領域をトリミング基準領域としてもよい。
【００２３】
また、隣接する前記顔領域間の距離を算出し、算出された距離が所定の閾値よりも大きい場合には、該隣接する前記顔領域の間に境界を有する複数のトリミング基準領域を決定するようにしてもよい。
【００２４】
なお、トリミング基準領域の決定は、入力画像の上記回転後に行ってもよいし、上記回転前の入力画像中で、検出された顔領域の１つ以上を含む領域を仮決定した後で、上記回転を行い、回転後の入力画像中における前記仮決定された領域をトリミング基準領域としてもよい。
【００２５】
トリミング基準点やレイアウト基準点は、入力画像／画像挿入領域の情報からコンピュータによる演算によって特定可能な任意の点とすることができる。具体例としては、トリミング基準領域／画像挿入領域の中心や重心とすることが考えられる。また、トリミング基準点とレイアウト基準点を異なる方法で特定される点としてもよい。
【００２６】
トリミング基準領域に基づいて入力画像中にレイアウト枠を設定する際、入力画像およびトリミング基準領域を適宜拡大または縮小してもよい。
【００２７】
前記トリミング基準領域を矩形領域とし、前記テンプレートが複数の前記画像挿入領域を含むようにした場合、前記レイアウト枠のアスペクト比と前記トリミング基準領域のアスペクト比とが所定の基準を満たす程度に近似する場合に前記トリミングを行うようにしてもよい。具体的には、複数の入力画像の各々に対して、上記基準を満たす画像挿入領域を選択してトリミングを行ってもよいし、各画像挿入領域に対して上記基準を満たす入力画像を選択してトリミングを行ってもよい。
【００２８】
一方、前記レイアウト枠のアスペクト比と前記トリミング基準領域のアスペクト比とが所定の基準を満たす程度に近似しない場合に、前記顔検出処理によって検出された人物の内容的特徴に基づいて、該人物のうちの主要被写体を決定し、該主要被写体のみを含む領域を前記トリミング基準領域として前記トリミングを行うようにしてもよい。
【００２９】
また、上記所定の基準を満たさない場合、前記トリミング基準領域を複数の小領域に分割し、該小領域の各々について、前記アルバムの１つの見開きページ内の複数の前記画像挿入領域のレイアウト枠を用いて前記トリミングを行うようにしてもよい。
【発明の効果】
【００３０】
本発明によれば、入力画像から１以上の人物の顔の領域を検出し、前記人物の内容的特徴に基づいて該人物の各々の傾きを算出し、該傾きに基づいて前記入力画像の傾きを決定するとともに、入力画像中に前記検出された顔領域の１つ以上を含むトリミング基準領域を決定し、これらの情報を利用して、アルバムテンプレート中の画像挿入領域において想定される画像の傾きと適合し、かつ、トリミング基準領域が画像挿入領域に含まれるように、入力画像のトリミングやアルバムテンプレートとの合成を行うので、合成対象の画像中に複数の人物が含まれていたり、人物の傾きが多様であったりする場合であっても、ユーザが合成対象の画像に対して何らかの操作を必要とせず、適切かつ自動的にテンプレートと合成することが可能になり、ユーザの手動操作の負担が軽減されつつ、被写体である人物の欠落や傾きのない、より適切なアルバムが作成される。
【００３１】
ここで、入力画像中の主要被写体となる人物の顔を検出したり、上記顔検出処理によって検出された人物のうちの主要被写体を決定したりし、この主要被写体に基づいて入力画像の傾きやトリミング基準領域を決定するようにすれば、入力画像の傾きやトリミング基準領域の決定の際に、入力画像中の主要被写体以外の人物の影響が軽減され、よりユーザの嗜好に沿った、さらに適切なアルバムが作成される。
【００３２】
アルバムテンプレートが複数の画像挿入領域を含む場合、前記レイアウト枠のアスペクト比と前記トリミング基準領域（矩形領域）のアスペクト比とが所定の基準を満たす程度に近似する場合に前記トリミングを行うようにすれば、レイアウト枠のアスペクト比に合わせるために入力画像を拡大縮小することを最小限で抑えることが可能になり、合成後の画像の画質劣化を軽減することができるだけでなく、レイアウト枠内にトリミング基準領域の周辺の背景領域が必要以上に含まれなくなるので、合成後の画像は、被写体となる人物がより適正な大きさで含まれる、ユーザにとってより好ましい画像となる。
【発明を実施するための最良の形態】
【００３３】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態によるアルバム作成装置を含む写真プリントの注文受付装置の外観斜視図である。この注文受付装置１は、ユーザによる画像のプリント注文を受け付けるために写真店の店頭に設置されるものであり、プリント注文するための画像が記録された各種メモリカードを装填し、メモリカードから画像を読み出したり、メモリカードに画像を記録したりするための複数種類のカードスロット４と、プリント注文のための各種表示を行う表示部６とを備え、写真店に設置されたプリンタ８および画像に対する画像処理やプリント注文の管理を行うためのデジタルイメージコントローラ（ＤＩＣ）１０とネットワーク経由で接続されている。なお、表示部６はタッチパネル式の入力部を備え、ユーザは表示部６の表示にしたがって表示部６にタッチすることにより、プリント注文や画像整理に必要な入力を行うことができる。
【００３４】
図２は、この注文受付装置１の構成を示す概略ブロック図である。図２に示すように、注文受付装置１は、画像を表す画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、装置１を動作させるための基本的なプログラムおよび各種定数が記録されているＲＯＭ並びにＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのタッチパネル式の入力部１６と、上述した表示部６とを備える。
【００３５】
また、注文受付装置１は、上述したカードスロット４と、メモリカード２から読み出した画像、ＣＰＵ１２が実行する、画像のプリント注文や整理を行うための各種プログラムや参照データ等を記録するハードディスク２４と、システムメモリ１４、カードスロット４およびハードディスク２４を制御するメモリ制御部１６と、表示部６の表示を制御する表示制御部２６と、入力部１８による入力を制御する入力制御部２２と、装置１をプリンタ８およびＤＩＣ１０とネットワークを介して通信するためのネットワークインターフェース３０とを備える。
【００３６】
なお、カードスロット４はメモリカード２の種類に応じて複数用意されているが、図２においては１つのカードスロット４のみを示している。
【００３７】
注文受付装置１で行われる後述の処理は、ハードディスク２４に記憶されている各種プログラムが実行されることによって実現される。なお、ハードディスク２４への各種プログラムの記憶は、この各種プログラムが記録されたＣＤ−ＲＯＭ等のコンピュータが読取可能な記録媒体からインストールすることによってなされる。また、各種プログラムは、注文受付装置１で行われる処理全体を制御するメインプログラムと、メインプログラムから必要に応じて呼び出される、注文処理やアルバム作成処理を行うサブプログラム等とからなる。
【００３８】
このような注文受付装置１におけるプリント注文は以下のようにして行われる。図３は注文受付装置１の表示部６に表示される初期画面を示す図である。この画面はメインプログラムの制御によって表示される。図３に示すように初期画面４０には、プリント注文を行うためのプリント注文ボタン４０Ａ、および後述するアルバムの作成を行うためのアルバム作成ボタン４０Ｂが表示されている。ここで、ユーザがプリント注文ボタン４０Ａを選択した場合、ＣＰＵ１２では、メインプログラムからプリント注文処理サブプログラムが呼び出され、このサブプログラムによる処理が実行される。ユーザが画面に表示される指示にしたがって複数の画像を記録したメモリカード２をカードスロット４に装填すると、装置１では、メモリカード２から複数の画像を読み出して一時的にハードディスク２４に保存し、さらに、複数の画像の一覧を表示部６に表示する
ユーザは表示部６に表示された画像の一覧からのプリント注文を行う画像の選択、注文枚数および注文サイズの設定をタッチパネル方式の入力部１６を用いて行う。そして、ユーザがプリント実行の指示を入力部１６を用いて行うと、ユーザが選択した画像、並びに注文枚数および注文サイズを表す注文情報がＤＩＣ１０に送信され、ここで画質を向上させるために必要な画像処理が画像に対して施され、注文情報に応じた注文枚数および注文サイズによりプリント注文した画像がプリンタ８からプリント出力される。
【００３９】
次に、本発明の第１の実施形態におけるアルバム作成装置について説明する。このアルバム作成装置による処理は、ユーザが図３の初期画面でアルバム作成ボタン４０Ｂを選択することにより、メインプログラムからアルバム作成サブプログラムが呼び出され、実行されることによって実現される。本実施形態では、ユーザによって入力された複数の画像を、ユーザによって選択されたアルバムテンプレートの複数の画像挿入領域に、撮影日時順に挿入する処理が行われる。
【００４０】
図４は、このアルバム作成装置の構成とデータの流れを模式的に表したブロック図である。図に示したように、このアルバム作成装置は、画像入力部５１、画像並替部５２、顔検出部５３、傾き決定部５４、トリミング基準領域仮決定部５５、トリミング基準点仮決定部５６、画像回転部５７、テンプレート選択部５８、画像挿入領域情報取得部５９、トリミング部６０、テンプレート合成部６１から構成されている。
【００４１】
画像入力部５１は、ユーザのメモリカード２からの複数の画像Ｐi0（i0=1,2,...,I)の入力を受け付ける。ユーザが複数の画像を記録したメモリカード２をカードスロット４に装填すると、画像入力受付部５１が、メモリカード２から複数の画像Ｐi0（i0=1,2,... ,I)を読み出して一時的にハードディスク２４に保存する。なお、ハードディスク２４に保存された画像を表示部６に表示させ、ユーザが入力部１８を操作して、アルバム作成対象の画像Ｐi0（i0=1,2,... ,I)を選択するユーザインターフェースを提供するようにしてもよい。
【００４２】
画像並替部５２は、アルバム作成対象の画像Ｐi0（i0=1,2,... ,I)を撮影日時の古い順に並べ替える。ここで、撮影日時は、画像Ｐi0（i0=1,2,... ,I)の画像データに付帯するＥｘｉｆタグから取得する。なお、以下では、撮影日時順に並べられた画像を、撮影日時順にＰi（i=1,2,... ,I)とする。
【００４３】
顔検出部５３は、入力された画像Ｐi中の１以上の顔領域Ｆij（j=1,2,・・・）を検出する。具体的には、画像Ｐiのコントラストに基づいて円形に近い形状の肌色領域を顔領域Ｆijとして検出する。あるいは、AdaBoost等の機械学習手法を用いて得られた、様々な傾き（天地方向）の顔を判別する判別器を用いて検出する手法（特開2005-250775号公報等参照）等を用いてもよい。
【００４４】
傾き決定部５４は、顔領域Ｆijの各々の傾きRFijを算出し、算出された傾きRFijに基づいて入力画像Ｐiの傾きＲiを決定する。図６は、顔領域Ｆijの傾きRFijの算出方法を説明するための図である。傾き決定部５４は、まず、顔領域Ｆijから両目と口の領域を検出し、口の領域の中心部から両目の中心を通る直線に対して下ろした垂線と画像のＰiの上下方向の直線のなす角の角度RFijを求める。ここで、顔領域Ｆijから両目と口の領域を検出する方法には、顔領域Ｆij内の黒色領域を目、赤色領域を口として検出する方法（特開平8-138024号公報、特開2005-202477公報等参照）や、上記のAdaBoost等の機械学習手法を用いて得られた、目や口を判別する判別器を用いて検出する手法（特開2006-164133号公報等参照）等を用いることができる。次に、角度RFijを９０度単位の回転角RFij´に変換する。例えば、以下のように変換が行われる。  
0度＜RFij≦ 45度の場合、RFij´＝  0度
45度＜RFij≦135度の場合、RFij´＝ 90度
135度＜RFij≦225度の場合、RFij´＝180度
225度＜RFij≦315度の場合、RFij´＝270度
315度＜RFij≦360度の場合、RFij´＝  0度
さらに、傾き決定部５４は、各顔領域Ｆij（j=1,2,・・・）の回転角RFij´に基づき、最も多くの顔領域が示す傾きRFiを求め、次式（１）により、入力画像Ｐiの傾きＲiを算出する。  
Ｒi＝RFi×(-1)＋360                                        （１）
ただし、最多傾きRFiが複数存在する場合には、Ｒi＝0度とする。
【００４５】
図７（ａ）に示した具体例では、顔領域Ｆ11およびＦ12の傾きRF１1およびRF12が60度で、顔領域Ｆ13の傾きRF13が300度であるから、RF11´＝RF12´＝90度、RF13＝270度となる。したがって、最多傾きRFiは90度となり、上式（１）より、傾きRiは270度となる。図７（ｂ）は、この画像を時計回りに270度回転させたものであり、図に示したように、最多傾きRFiと同じ傾きを有する顔領域Ｆ11およびＦ12に合わせて天地方向が整えられる。
【００４６】
トリミング基準領域仮決定部５５は、入力画像Ｐi中のすべての顔領域Ｆijを含む矩形領域をトリミング基準領域Ｓiに仮決定する。具体的には、図８に示したように、入力画像Ｐi中の最上端の顔領域ＦTの中心座標（XT,YT）および顔の半径ｒT、最右端の顔領域ＦRの中心座標（XR,YR）および顔の半径ｒR、最下端の顔領域ＦBの中心座標（XB,YB）および顔の半径ｒB、最左端の顔領域ＦLの中心座標（XL,YL）および顔の半径ｒLを求め、次式（２）（３）のように、顔の半径の分のマージンを加えて、矩形領域の左上端（XLT,YLT）と右下端（XRB,YRB）の座標を求める。  
（XLT,YLT）＝（XL−ｒL, YT＋ｒT）                          （２）
（XRB,YRB）＝（XR＋ｒR, YB−ｒB）                          （３）
トリミング基準点仮決定部５６は、仮決定されたトリミング基準領域Ｓiの中心座標（XC,YC）を、トリミング基準点Ｑiに仮決定する。図８の具体例では、中心座標（XC,YC）は次式（４）（５）のようにして求められる。  
XC＝{(XL−ｒL)＋(XR＋ｒR)}／2                              （４）
YC＝{(YT＋ｒT)＋(YB−ｒB)}／2                              （５）
なお、トリミング基準領域仮決定部５５およびトリミング基準点仮決定部５６において、「仮決定」としているのは、後続の回転処理後の前記矩形領域が最終的なトリミング基準領域となるからである。
【００４７】
画像回転部５７は、傾きRiに応じて入力画像Ｐiを回転させる。図９は、トリミング基準領域および基準点を、（ａ）Ri＝0度、（ｂ）Ri＝90度、（ｃ）Ri＝180度、（ｄ）Ri＝270度で回転させた場合を表している。ここで、入力画像の幅をImgW、高さをImgH、回転前のトリミング基準領域Ｓiの幅をW1、高さをH1、回転後のトリミング基準領域Ｓi´の幅をＷ、高さをＨ、回転後のトリミング基準点Ｑi´の座標を（XC´, YC´）とすると、各々、次式（６）から（21）のようにして求めることができる。  
a. Ri＝0度の場合
Ｗ＝W1                                                    （６）
Ｈ＝H1                                                    （７）
XC´＝X1                                                  （８）
YC´＝Y1                                                  （９）
b. Ri＝90度の場合
Ｗ＝H1                                                    （10）
Ｈ＝W1                                                    （11）
XC´＝ImgH−Y1                                            （12）
YC´＝X1                                                  （13）
b. Ri＝180度の場合
Ｗ＝W1                                                    （14）
Ｈ＝H1                                                    （15）
XC´＝ImgW−X1                                            （16）
YC´＝ImgH−Y1                                            （17）
d. Ri＝270度の場合
Ｗ＝H1                                                    （18）
Ｈ＝W1                                                    （19）
XC´＝Y1                                                  （20）
YC´＝ImgW−X1                                            （21）
これにより、トリミング基準領域Ｓi´、および、トリミング基準点Ｑi´が最終的に決定される。
【００４８】
テンプレート選択部５８は、ユーザによるアルバム作成用のテンプレートＴの選択を受け付ける。具体的には、ハードディスク２４に予め記憶されているアルバム作成用の複数のテンプレートを表示部６に表示させ、ユーザが入力部１８を操作して、所望のテンプレートＴを選択するユーザインターフェースを提供する。図１４は、テンプレートＴの一例を示したものである。図に示したように、テンプレートＴには複数の画像挿入領域が含まれており、各画像挿入領域には、その領域の輪郭（レイアウト枠）の形状および大きさを表す情報Ｌn、および、その領域の中心点の位置を表す情報Ｍnが関連づけられている。
【００４９】
画像挿入領域情報取得部５９は、テンプレートＴに関連づけられている画像挿入領域の輪郭（レイアウト枠）の形状および大きさを表す情報Ｌn、および、その領域の中心点（レイアウト基準点）の位置を表す情報Ｍnを順次取得する。
【００５０】
トリミング部６０は、図１０に例示したように、テンプレートＴ中の画像挿入領域のレイアウト枠Ｌnを、レイアウト基準点Ｍnとトリミング基準点Ｑi´とが一致し、トリミング基準領域Ｓi´がレイアウト枠Ｌn内に含まれるように入力画像Ｐi´中に設定し、設定されたレイアウト枠に沿って入力画像Ｐi´のトリミングを行い、領域Ｐi″を切り出す。このとき、レイアウト枠Ｌnがトリミング基準領域Ｓi´よりも小さい場合には、画像Ｐi´の縮小を行う。また、図１０のように、レイアウト枠Ｌnがトリミング基準領域Ｓi´よりも大きい場合には、トリミング基準領域Ｓi´の周辺の領域も合わせてトリミングするだけでもよいし、入力画像Ｐi´を、レイアウト枠Ｌn内に収まる範囲で拡大し、拡大しても、トリミング基準領域Ｓi´の外側でレイアウト枠Ｌnの内側の領域があれば、トリミング基準領域Ｓi´の周辺の領域も合わせてトリミングするようにしてもよい。
【００５１】
テンプレート合成部６１は、各入力画像Ｐi（i=1,2,・・・,I）からトリミングされた領域Ｐi″を、テンプレートＴ中の対応する画像挿入領域に嵌め込み合成して、アルバムＣを作成する。
【００５２】
図５は、本発明の第１の実施形態におけるアルバム作成処理の流れを表すフローチャートである。図に示したように、ユーザが、画像入力部５１において、アルバム作成対象の画像Ｐi0（i=1,2,・・・,I）を選択すると(#1)、画像並替部５２が、入力された画像Ｐi0（i=1,2,・・・,I）を撮影日時順に並べ替える(#2)。一方、ユーザは、テンプレート選択部５８において、アルバム作成に用いるテンプレートＴの選択を行う(#3)。ここで、入力画像を識別する添え字ｉ、および、テンプレートＴ中の画像挿入領域を識別する添え字ｎが１に初期化された後(#4)、最初の画像Ｐ1が読み込まれ(#5)、顔検出部５３が、画像Ｐ1中の顔領域Ｆij（j=1,2,・・・）を検出する(#6)。傾き検出部５４は、顔領域Ｆ1jの各々の傾きRF1jに基づいて入力画像Ｐ1の傾きＲ1を決定する(#7)。一方、トリミング基準領域仮決定部５５は、入力画像Ｐ1中のすべての顔領域Ｆ1jを含む矩形領域（トリミング基準領域）Ｓ1を仮決定し(#8)、トリミング基準点仮決定部５６は、矩形領域Ｓ1の中心座標Ｑ1を求める(#9)。画像回転部５７は傾きR1に応じて入力画像Ｐ1を回転させる(#10)。ここで、画像挿入領域情報取得部５９は最初の画像挿入領域のレイアウト枠の情報Ｌ1およびレイアウト基準点Ｍ1を取得し(#11)、トリミング部６０は、回転後の入力画像Ｐ１´、トリミング基準領域Ｓ1´、トリミング基準点Ｑ1´、レイアウト枠Ｌ1、レイアウト基準点Ｍ1に基づいてトリミングを行い、領域Ｐ1″を切り出す(#12)。上記の#5から#12までの処理を、添え字ｉおよびｎの値を１ずつ加算しながら(#13,#15)、最後の入力画像ＰIのトリミング(#12)が完了するか(#14;YES)、最後の画像挿入領域情報（n=N）の取得(#11)が完了する(#16;YES)まで繰り返し行い(#14;NO、#16;NO）、その後、テンプレート合成部が、各入力画像Ｐi´からトリミングされたＰi″を、テンプレートＴ中の対応する画像挿入領域に嵌め込み合成して、アルバムＣを作成する(#17)。作成されたアルバムは表示部６に表示され(#18)、ユーザの確認に供される。なお、上記のステップ#7から#9は、#8,#9,#7の順に行ってもよいし、ステップ#7とステップ#8から#9を並列に行ってもよい。また、テンプレートの合成(#17)は、各入力画像のトリミング(#12)が行われる度に、すなわち、ステップ#12の直後に行うようにしてもよい。
【００５３】
以上のように、本発明の第１の実施形態となるアルバム作成装置では、顔検出部５３が、入力画像Ｐiから１以上の人物の顔の領域Ｆijを検出し、傾き決定部５４が、検出された顔領域Ｆijの傾きに基づいて前記入力画像Ｐiの傾きＲiを決定するとともに、トリミング基準領域仮決定部５５が、検出されたすべての顔領域Ｆijを含むトリミング基準領域Ｓiを仮決定し、トリミング基準点仮決定部５６が、トリミング基準領域Ｑiを仮決定し、画像回転部５７が、入力画像Ｐiを傾きＲiに応じて回転させ、トリミング部６０が、アルバムのテンプレートＴ中の画像挿入領域のレイアウト枠Ｌnを、レイアウト基準点Ｍnとトリミング基準点Ｑi´とが一致し、トリミング基準領域Ｓn´がレイアウト枠Ｌn内に含まれるように入力画像Ｐi´中に設定し、設定されたレイアウト枠に沿って入力画像Ｐi´のトリミングを行う。したがって、合成対象の画像Ｐi´中に複数の人物が含まれていたり、人物の傾きが多様であったりする場合であっても、ユーザが合成対象の画像Ｐiに対して何らかの操作を行う必要がなく、適切かつ自動的にテンプレートと合成することが可能になり、ユーザの手動操作の負担が軽減されつつ、被写体である人物の欠落や傾きのない、より適切なアルバムが作成される。
【００５４】
上記実施形態において、顔検出部５３が、入力画像Ｐi中の主要被写体のみを検出するようにしてもよい。具体的には、顔の面積が所定の閾値より大きいもののみを検出するようにしたり、上記判別器の機械学習の際に正面を向いていない顔は検出されないように学習させたり、判別器の出力値や顔を表すテンプレートに対する類似度等の、検出された領域の顔らしさを表す信頼度が所定の閾値よりも高いもののみを検出するようにしたりすることが考えられる。図１１は、主要被写体のみを検出することによる効果を説明するための図である。図に示したとおり、上記実施形態の顔検出部５３では、画像の右側の正面を向いた２人の人物の顔だけでなく、画像の左側の横を向いた人物の顔も検出してしまう可能性がある。このような場合、トリミング基準領域Ｓiは横方向に長い矩形領域となり、画像挿入領域（レイアウト枠）Ｌnの形状が、図のように正方形に近い場合には、入力画像Ｐiをかなり縮小しなければ、トリミング基準領域Ｓiをレイアウト枠Ｌn内に収めることができず、画質劣化を招いてしまう。そこで、顔検出部５３が正面向きの顔のみを検出するようにすれば、図に示したように、トリミング基準領域Ｓiの形状は正方形に近づくので、入力画像Ｐiの縮小率を抑えることができ、画質の劣化を軽減することができる。また、主要被写体のみによるアルバムが作成されるので、よりユーザの嗜好が反映されたものとなりうる。
【００５５】
また、顔検出部５３は入力画像Ｐi中のすべての顔領域Ｆijを検出するようにしておき、検出された顔領域Ｆijのうちの主要被写体を決定する主要被写体決定部をさらに設けてもよい。この場合も上記と同様に、トリミング基準領域仮決定部５５が、主要被写体のみを含むトリミング基準領域を決定するようにすればよい。
【００５６】
また、傾き決定部５４が、主要被写体の傾きに対する重みがより大きくなるように重みづけを行って、前記入力画像の傾きを決定するようにしてもよい。例えば、図１２に示した入力画像では、画像右側の正面向きの顔の傾きに対する重みが、画像左側の横向きの顔の傾きに対する重みよりも大きくなるように重みづけを行えば、入力画像の傾きを、正面向きの顔の傾きがより大きく反映されたものにすることができる。このとき、横向きの顔の傾きに対する重みを0にすれば、主要被写体のみを検出した場合と同様の結果が得られる。
【００５７】
上記の実施形態では、撮影日時順に並べられた入力画像Ｐi´を、テンプレートＴの先頭の画像挿入領域から順に挿入していくことによってアルバムを作成していたが、入力画像Ｐi´中のトリミング基準領域Ｓi´の形状（アスペクト比）と、画像挿入領域（レイアウト枠Ｌnの形状（アスペクト比））が大きく異なっている場合には、入力画像Ｐi´をかなり縮小しなければ、トリミング基準領域Ｓi´をレイアウト枠Ｌn内に収めることができず、画質劣化を招いてしまう。また、入力画像Ｐi´を縮小しなければ、トリミング基準領域Ｓi´はレイアウト枠Ｌnからはみ出してしまい、トリミング後の領域Ｐi″中に、入力画像Ｐi´中のすべての顔領域が含まれなくなってしまう。そこで、テンプレートＴ中の画像挿入領域毎にその領域（レイアウト枠Ｌn）のアスペクト比Ａnも関連づけておき、画像挿入領域情報取得部５９が、トリミング基準領域Ｓi´のアスペクト比Ａiを計算し、両アスペクト比の差が所定の閾値よりも小さくなるような画像挿入領域を選択するようにしてもよい。これにより、レイアウト枠Ｌnのアスペクト比Ａnに合わせるために入力画像Ｐi´を拡大縮小することを最小限で抑えることが可能になり、合成後の画像の画質劣化を軽減することができるだけでなく、レイアウト枠Ｌn内にトリミング基準領域Ｓi´の周辺の領域が必要以上に含まれなくなるので、合成後の画像は、被写体となる人物がより適正な大きさで含まれる、ユーザにとってより好ましい画像となる。
【００５８】
ここで、両アスペクト比の差が所定の閾値よりも小さくなるような画像挿入領域が存在しない場合には、図１３に例示したように、１つの入力画像Ｐi´中に複数のトリミング基準領域Ｓi1´、Ｓi2´を設定するようにし、画像挿入領域情報取得部５９が、各領域Ｓi1´、Ｓi2´毎に、両アスペクト比の差が所定の閾値よりも小さくなるような画像挿入領域を選択するようにしてもよい。この場合、各領域Ｓi1´、Ｓi2´は１つの入力画像Ｐi´から得られたものであるから、内容的な特徴に鑑みると、テンプレートＴ中の近接する位置に挿入されることが好ましい。そこで、画像挿入領域情報取得部５９は、このような１つの入力画像Ｐi´から得られた複数のトリミング基準領域Ｓi1´、Ｓi2´に対しては、見開きページ内の画像挿入領域（図１４のレイアウト枠Ｌ1からＬ5に対応する画像挿入領域）から、最も適切な画像挿入領域を選択するようにすることが好ましい。図１３の例では、トリミング基準領域Ｓi1´にはレイアウト枠Ｌ2、トリミング基準領域Ｓi2´にはレイアウト枠Ｌ1が選択される。
【００５９】
なお、１つの入力画像Ｐ1´中に複数のトリミング基準領域を設定する場合、隣接する顔領域の間の距離を算出し、算出された距離が所定の閾値よりも大きい場合には、その隣接する顔領域の間に境界ができるように、複数のトリミング基準領域を決定するようにすればよい。図１３の入力画像Ｐi´では、顔領域Ｆi1´とＦi2´の距離が所定の閾値よりも大きかった場合を示している。
【００６０】
本発明の第２の実施形態は、入力画像Ｐiの傾きを考慮しつつ、入力画像Ｐiを回転させることなく、より適切なテンプレートとの合成を実現するものである。図１５は、本発明の第２の実施形態となるアルバム作成装置の構成を表すブロック図である。第１の実施形態との相違点は以下のとおりである。
【００６１】
第１に、画像並替部５２と画像回転部５７を構成から外している。
【００６２】
第２に、テンプレートＴは、画像挿入領域毎に、挿入されるべき画像の好ましい傾きが関連づけられたものとなっている。
【００６３】
第３に、画像挿入領域情報取得部５９を画像挿入領域情報取得部５９´に置換している。この画像挿入領域情報取得部５９´は、入力画像Ｐiの傾きＲiと一致する傾きと関連づけられた画像挿入領域の情報を選択する処理を行う。
【００６４】
また、トリミング基準領域仮決定部５５は、トリミング基準領域決定部５５´、トリミング基準点仮決定部５６はトリミング基準点決定部５６´に置換されているが、これらは、後で入力画像Ｐiの回転を行わないため、これらの処理部で決定されたトリミング基準領域やトリミング基準点が最終的なものとなるので、処理部の名称を変更したものであり、各処理部の処理内容は同じである。
【００６５】
本実施形態のアルバム作成装置によるアルバム作成処理の流れは、図５のフローチャートにおいて、ステップ#10を省略し、ステップ#11において、画像挿入領域情報取得部５９´が上記の処理を行うようにしたものとなる。なお、ここでは、添え字ｎは、ｎ番目に選択された画像挿入領域情報を意味する。
【００６６】
以上のように、本発明の第２の実施形態によるアルバム作成装置によれば、画像挿入領域情報取得部５９´が、傾き決定部５４によって決定された入力画像Ｐiの傾きＲiと合致する画像挿入領域を選択するので、第１の実施形態と同様にユーザの手動操作の負担が軽減されるだけでなく、作成されたアルバムは、入力画像Ｐi中の被写体の傾きによる違和感のない、好ましいものとなる。
【００６７】
なお、上記の説明の他、各実施形態におけるシステム構成、処理フロー、ユーザインターフェース等に対して、本発明の趣旨から逸脱しない範囲で様々な改変を行ったものも、本発明の技術的範囲に含まれる。また、上記の各実施形態はあくまでも例示であり、上記のすべての説明が本発明の技術的範囲を限定的に解釈するために利用されるべきものではない。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施形態によるアルバム作成装置を含む注文受付装置の外観斜視図
【図２】本発明の実施形態による注文受付装置の構成を示す概略ブロック図
【図３】初期画面を示す図
【図４】本発明の第１の実施形態のよるアルバム作成装置の構成とデータの流れを模式的に表したブロック図
【図５】本発明の第１の実施形態における操作と処理の流れを示すフローチャート
【図６】顔領域の傾きを説明するための図
【図７】顔領域の傾きから入力画像の傾きを求める処理を説明するための図
【図８】トリミング基準領域の決定方法を説明するための図
【図９】画像の回転に伴うトリミング基準領域およびトリミング基準点の変換を説明するための図
【図１０】トリミング処理を説明するための図
【図１１】主要被写体のみに対するトリミング処理を説明するための図
【図１２】主要被写体に重点をおいた画像の傾きの決定方法を説明するための図
【図１３】トリミング基準領域を分割した例を表す図
【図１４】アルバムテンプレート（見開きページ）の例を表す図
【図１５】本発明の第２の実施形態のよるアルバム作成装置の構成とデータの流れを模式的に表したブロック図
【符号の説明】
【００６９】
１  注文受付装置
２  メモリカード
４  カードスロット
６  表示部
８  プリンタ
１０  ＤＩＣ
１２  ＣＰＵ
１４  システムメモリ
１６  メモリ制御部
１８  入力部
２２  入力制御部
２４  ハードディスク
２６  表示制御部
３０  ネットワークインターフェース
４０  初期画面
５１  画像入力部
５２  画像並替部
５３  顔検出部
５４  傾き決定部
５５  トリミング基準領域仮決定部
５５´  トリミング基準領域決定部
５６  トリミング基準点仮決定部
５６´  トリミング基準点決定部
５７  画像回転部
５８  テンプレート選択部
５９、５９´  画像挿入領域情報取得部
６０  トリミング部
６１  テンプレート合成部
【図１】
2008305275.tif 000003
【図２】
2008305275.tif 000004
【図３】
2008305275.tif 000005
【図４】
2008305275.tif 000006
【図５】
2008305275.tif 000007
【図６】
2008305275.tif 000008
【図７】
2008305275.tif 000009
【図８】
2008305275.tif 000010
【図９】
2008305275.tif 000011
【図１０】
2008305275.tif 000012
【図１１】
2008305275.tif 000013
【図１２】
2008305275.tif 000014
【図１３】
2008305275.tif 000015
【図１４】
2008305275.tif 000016
【図１５】
2008305275.tif 000017