(57)【要約】【課題】画像に対して不適切な画像処理が施されることを抑制する画像処理装置、画像処理方法、及びプログラムを提供する。【解決手段】  画像データからオブジェクトを検出し、その検出されたオブジェクトに画像処理を行う。検出の際に、オブジェクトそのものを対象とした第１画像処理を行う場合には、検出許容範囲が定められた第１検出構成によりオブジェクトを検出する。また、第１画像処理以外の第２画像処理を行う場合には、第１検出構成よりも検出許容範囲が広い第２検出構成によりオブジェクトを検出する。【選択図】図２１
2014016821.tif 000002
【特許請求の範囲】
【請求項１】
画像データからオブジェクトを検出する検出手段と、
前記検出手段により検出されたオブジェクトに画像処理を行う画像処理手段と、を備え、
前記検出手段は、第１検出手段と、前記第１検出手段よりも検出許容範囲が広い第２検出手段とを含み、前記画像処理手段がオブジェクトそのものを対象とする第１画像処理を行う場合は前記第１検出手段によりオブジェクトを検出し、前記画像処理手段が前記第１画像処理以外の第２画像処理を行う場合は、前記第２検出手段によりオブジェクトを検出する、ことを特徴とする画像処理装置。
【請求項２】
前記第２検出手段は、前記第１検出手段の検出基準の閾値よりも検出基準の閾値が低く設定されていることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２検出手段は、前記第１検出手段とは異なることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記オブジェクトは、人物、人物顔、又は、人物顔の器官であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１画像処理は、前記オブジェクトの検出または前記オブジェクトの補正であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第２画像処理は、トリミング、複数画像の一部分重ね、文字重ね、背景ぼかし、及び、背景との合成のうち、少なくともいずれかを含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
画像処理装置において実行される画像処理方法であって、
前記画像処理装置の検出手段が、画像データからオブジェクトを検出する検出工程と、
前記画像処理装置の画像処理手段が、前記検出工程において検出されたオブジェクトに画像処理を行う画像処理工程と、を有し、
前記検出工程では、前記画像処理工程がオブジェクトそのものを対象とする第１画像処理を行う場合は、検出許容範囲が定められた第１検出手段によりオブジェクトを検出し、前記第１画像処理以外の第２画像処理を行う場合は、前記第１検出手段よりも検出許容範囲が広い第２検出手段によりオブジェクトを検出する、ことを特徴とする画像処理方法。
【請求項８】
請求項１乃至６のいずれか１項に記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに対して画像処理を実行する画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来から、画像内のオブジェクト検出と画像処理は様々なものが行われている。特に、画像中の人物を検出し、その検出された人物に対して様々な補正処理を行うといった、検出と画像処理を組み合わせる方法が知られている。このような、検出と画像処理を組み合わせる方法は、画像処理を行う対象、例えば人物顔をユーザーが手動で設定する必要がない点で非常に有効な方法である。この方法によれば、自動で人物顔を検出し、検出された顔に対して美肌補正、赤目補正、ほくろ除去、人物認識などの画像処理を行うことができる。さらには、自動で検出された人物顔を残すように画像をトリミングすることもできる。
【０００３】
特許文献１には、顔を含む画像に該顔を含むトリミング領域を設定する画像トリミング装置において、顔検出手段による検出結果に基づいて顔の中心位置が検出され、中心位置を中心としてトリミング領域を設定することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２５７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されたオブジェクトの検出方法では、検出結果の検出信頼度を高く設定すると、信頼度の高いものだけを検出するため、検出対象を見落としてしまう「未検出」が発生する。一方で、検出結果の検出信頼度を低く設定すると、検出対象の信頼度が低いものも検出するため、検出対象とは異なるものを検出してしまう「誤検出」が発生する。オブジェクト検出において、未検出や誤検出が発生すると、その後の画像処理で、意図しない画像に処理が施されてしまうという問題があった。
【０００６】
本発明は、上記の点に鑑み、画像に対して不適切な画像処理が施されるのを抑制した画像処理装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係る画像処理装置は、画像データからオブジェクトを検出する検出手段と、前記検出手段により検出されたオブジェクトに画像処理を行う画像処理手段と、を備え、前記検出手段は、第１検出手段と、前記第１検出手段よりも検出許容範囲が広い第２検出手段とを含み、前記画像処理手段がオブジェクトそのものを対象とする第１画像処理を行う場合は前記第１検出手段によりオブジェクトを検出し、前記画像処理手段が前記第１画像処理以外の第２画像処理を行う場合は、前記第２検出手段によりオブジェクトを検出することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画像に対して不適切な画像処理が施されるのを抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明のソフトウェアを実行可能なハードウェア構成を示す図。
【図２】本発明の処理のソフトウェアブロック構成を示す図。
【図３】画像解析処理のフローチャート。
【図４】画像解析処理のフローチャート。
【図５】人物グループ生成処理のフローチャート。
【図６】自動レイアウト提案処理のフローチャート。
【図７】人物グループの表示例を示す図。
【図８】サムネイル形式による画像群の表示例を示す図。
【図９】カレンダー形式による画像群の表示例を示す図。
【図１０】画像解析した結果得られる属性情報の例を示す図。
【図１１】画像解析結果の保存形式の例を示す図。
【図１２】ユーザーが手動入力可能な属性情報の例を示す図。
【図１３】手動でお気に入り度を入力するためのＵＩ例を示す図。
【図１４】手動でイベント情報を入力するためのＵＩ例を示す図。
【図１５】手動で人物属性情報を入力するためのＵＩ例を示す図。
【図１６】人物属性情報の保存形式の例を示す図。
【図１７】レイアウトテンプレートの一例を示す図。
【図１８】図１７のレイアウトテンプレートの保持形式の例を示す図。
【図１９】レイアウトテンプレートの一例を示す図。
【図２０】図１９のレイアウトテンプレートの保持形式の例を示す図。
【図２１】第１の実施形態における自動レイアウト生成処理のフローチャート。
【図２２】第１の実施形態における不要画像フィルタリング処理のフローチャート。
【図２３】自動トリミング処理の一例を示す図。
【図２４】自動レイアウトを行う際のレイアウト評価値の例を示す図。
【図２５】明るさ適正度の算出方法を説明するための図。
【図２６】彩度適正度の算出方法を説明するための図。
【図２７】トリミング欠け判定処理を説明するための図。
【図２８】画像類似性判定処理を説明するための図。
【図２９】自動レイアウト生成結果の表示例を示す図。
【図３０】決定されたテーマと主人公情報の保持例を示す図。
【図３１】決定されたテーマと主人公情報の保持例を示す図。
【図３２】生成した自動レイアウト情報の保持例を示す図。
【図３３】画像処理する前の元画像の例を示す図。
【図３４】図１の元画像を、検出結果の信頼度を異ならせて顔検出を行った場合の検出結果を示す図。
【図３５】顔を対象とした処理を行った結果を示す図。
【図３６】顔を対象とした処理以外の処理を行った結果を示す図。
【図３７】データベース202に記憶された１５０個の各顔を顔信頼度順に並べたイメージ図。
【図３８】ＡｄａＢｏｏｓｔを使用した顔検出アルゴリズムを説明するための図。
【図３９】ＡｄａＢｏｏｓｔを使用した顔検出アルゴリズムを説明するための図。
【図４０】実施形態２において、対象画像に対して肌色検出を行った検出結果を示す図。
【図４１】実施形態１、２と同様の効果を得るレイアウトテンプレートの一例を示す図。
【図４２】図４１のレイアウトテンプレートを用いて、検出結果の信頼度が高い場合に重ね配置を行った結果を示す図。
【図４３】図４１のレイアウトテンプレートを用いて、検出結果の信頼度が低い場合に重ね配置を行った結果を示す図。
【図４４】検出結果の信頼度を異ならせて目検出を行った場合の検出結果を示す図。
【図４５】パターンマッチング法の概要を示す図。
【図４６】実施形態３において、顔くっきり補正の方法を説明するための図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して本発明の好適な実施形態の例を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
【００１１】
以下では、入力画像群を用いて自動でレイアウト出力物を生成するために、本発明における第１実施形態について説明する。これはあくまで実施の１つの形態を例として示したものであり、本発明は以下の実施に限定されるものではない。
【００１２】
〔実施形態１〕
＜ハードウェア構成の説明＞
図１は、第１実施形態に係る情報処理装置のハードウェア構成例を説明するブロック図である。図１において、100はＣＰＵ（中央演算装置）であり、本実施形態で説明する情報処理方法をプログラムに従って実行する。101はＲＯＭであり、ＣＰＵ100により実行されるプログラムが記憶されている。102はＲＡＭで、ＣＰＵ100によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。103はハードディスク等の２次記憶装置であり、画像ファイルや画像解析結果を保存するデータベースなどを保存するための記憶媒体である。104は表示装置であり、例えば、ディスプレイが挙げられる。表示装置１０４は、本実施形態の処理結果など以下に示す種々のＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒ  ｆａｃｅ）をユーザーに提示する装置である。表示装置１０４はタッチパネル機能を備えても良い。また、１１０は制御バス／データバスであり、上述の各部とＣＰＵ100とを接続する。このほかにユーザーが画像補正の処理の指示等を入力するためのマウスやキーボードといった入力装置１０５も備える。
【００１３】
また、情報処理装置115は、内部撮像デバイス106を備えてもよい。該内部撮像デバイスで撮像された画像は、所定の画像処理を経た後、２次記憶装置103に保存される。また、画像データはインターフェース（IF108）を介して接続された外部撮像デバイス111から読み込んでも構わない。さらに、情報処理装置115は無線LAN（Local Area Network）109を備え、該LANはインターネット113に接続されている。該インターネットに接続された外部サーバー114より画像を取得することもできる。
【００１４】
また、画像等を出力するためのプリンタ112が、IF107を介して情報処理装置１１５に接続されている。なお、該プリンタはさらにインターネット上に接続されており、上記無線LAN109経由でプリントデータのやり取りをすることもできる。
【００１５】
＜ソフトウェアのブロック図＞
図2は本実施形態における上記アプリケーションを含むソフトウェア構成のブロック図になっている。
【００１６】
まず情報処理装置115が取得した画像データは、通常JPEG（Joint Photography Expert Group）等の圧縮形式になっている。そのため、画像コーデック部200は、該圧縮形式を解凍していわゆるRGB点順次のビットマップデータ形式に変換する。変換されたビットマップデータは、表示・UI制御部201に伝達され、ディスプレイ等の表示装置104上に表示される（表示制御）。
【００１７】
上記ビットマップデータは、さらに画像センシング部203（アプリケーション）に入力され、同部において、詳細は後述するが画像の様々な解析処理が行われる。上記解析処理の結果得られた画像の様々な属性情報は、所定の形式に従ってデータベース部202（アプリケーション）において、上述した２次記憶装置103に保存される。なお、以降においては、画像解析処理とセンシング処理は同義で扱う。
【００１８】
シナリオ生成部204（アプリケーション）では、ユーザーが入力した様々な条件に応じて、詳細は後述するが、自動で生成すべきレイアウトの条件を生成し、レイアウト生成部205では上記シナリオに従って、自動でレイアウトを生成する処理を行う。
【００１９】
生成したレイアウトは、レンダリング部206で表示用のビットマップデータを生成し、該ビットマップデータは表示・UI制御部201に送られ、結果が表示装置１０４に表示される。
【００２０】
また、レンダリング結果はさらにプリントデータ生成部207に送られ、同部でプリンタ用コマンドデータに変換され、プリンタに送出される。
【００２１】
また、図３〜６を用いて、本実施形態の基本的な画像処理のフローについて説明する。  
【００２２】
図3および図4は、画像センシング部203のフローを示しており、複数の画像データ群を取得して、それぞれについて解析処理を施し、その結果をデータベースに格納するまでの処理の流れを示している。
【００２３】
図5は、検出した顔位置情報に基づいて、同じ人物と思われる顔情報をグループ化するための人物グループ生成処理の流れを示している。
【００２４】
図6は、画像の解析情報およびユーザーが入力した様々な情報に基づいて、レイアウト作成のためのシナリオを決定し、該シナリオに基づいて、自動でレイアウトを生成するための処理の流れを示している。
【００２５】
まず図3のS301では、画像データ群の取得を行う。画像データ群は、例えば、ユーザーが、撮影画像が格納された撮像装置やメモリカードをハードウェア115に接続することで、該撮像画像を読み込むことができる。また、画像データ群として、内部撮像デバイス１０６で撮影され、２次記憶装置１０３に保存されていた画像を取得してもよい。あるいは、画像データ群は無線LAN１０９を介して、インターネット上に接続された外部サーバー114等、情報処理装置115以外の装置から取得をしてもよい。
【００２６】
ここで、図８及び図９を用いて、画像データ群を取得した際の表示装置１０４の表示について説明する。画像データ群を取得すると、そのサムネイル群が図8および図9のようにＵＩに表示される。図8の801に示すように２次記憶装置１０３内のフォルダ単位で画像のサムネイル802を表示してもよいし、図9に示すようにＵＩ９０１でカレンダーにおいて日付ごとに管理されていてもよい。図９のＵＩ９０１ｄｅｈａ，日付の部分902をクリックすれば、同日に撮影された画像が、図8のようなサムネイル一覧で表示される。
【００２７】
次に，Ｓ３０２〜３０５において、取得した画像データ群それぞれについて、解析処理および解析結果のデータベース登録を行う。
【００２８】
すなわち、S302において、アプリケーションは、新規で保存され未だセンシング処理が行われていない画像をサーチし、抽出された各画像について、コーデック部が圧縮データからビットマップデータに変換する（デコードする）。
【００２９】
次に、S303において、上記ビットマップデータに対して、各種センシング処理を実行させる。ここでいうセンシング処理には、画像解析処理を指しており、本実施形態では、図１０に示す様々な画像解析処理を行う。本実施形態では、センシング処理の例として、顔検出顔信頼度、画像の特徴量解析、シーン解析を挙げており、それぞれ同図に示すようなデータ型の結果を算出する。本実施形態では、画像基本特徴量としては、平均輝度（ｉｎｔ：値０〜２５５）、平均彩度（ｉｎｔ：０〜２５５）、平均色相（ｉｎｔ：値０〜３５９）を解析した。また、顔検出としては、人物顔の個数（ｉｎｔ：値０以上（０〜ＭＡＸＦＡＣＥ）、人物顔の位置情報である座標位置（ｉｎｔ＊８：値０以上（Ｗｉｄｔｈ及びＨｅｉｇｈｔそれぞれ同様）を解析した。さらに、顔領域内の平均Ｙ（ｉｎｔ：値０〜２５５）、顔領域内の平均Ｃｂ（ｉｎｔ：値−１２８〜１２７）、顔領域内の平均Ｃｒ（ｉｎｔ：値−１２８〜１２７）を解析した。尚、本実施形態では、被写体の顔を人物とするが、ペット等の動物の顔を被写体としてもよい。
【００３０】
以下、それぞれのセンシング処理について説明する。
【００３１】
まず画像の基本的な特徴量である全体の平均輝度、平均彩度については、公知の方法で求めればよいため、簡単に説明する。平均輝度は、画像の各画素について、RGB成分を公知の輝度色差成分（例えばYCbCr成分）に変換し、Y成分の平均値を求めればよい。また、平均彩度については、上記CbCr成分について画素毎に以下を算出し、下記式（１）によりSの平均値を求めればよい。
【００３２】
2014016821.tif 000003
・・・（１）
また、画像内の平均色相（ＡｖｅＨ）は画像の色合いを評価するための特徴量である。各画素毎の色相は、公知のHIS変換式を用いて求めることができ、それらを画像全体で平均化することにより、AveHを求めることができる。
【００３３】
また、上記特徴量は、画像全体で算出してもよいし、例えば、画像を所定サイズの領域に分割し、各領域毎に算出してもよい。
【００３４】
次に、人物の顔検出処理について説明する。本実施形態で使用する人物の顔検出手法としては、公知の方法を用いることができる。特開2002-183731号公報では、まず、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。
【００３５】
その顔候補領域に対して、画素毎の輝度勾配、および輝度勾配の重みを算出し、これらの値を、あらかじめ設定されている理想的な顔基準画像の勾配、および勾配の重みと比較する。その時に、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。
【００３６】
また、特開2003-30667号公報によれば、まず画像中から肌色領域を検出し、同領域内において、人間の虹彩色画素を検出することにより、目の位置を検出することが可能である。
【００３７】
さらに、特開平8-63597号公報によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算する。該マッチング度が最も高いテンプレートを選択し、最も高かったマッチング度があらかじめ定められた閾値以上であれば、選択されたテンプレート上の領域を顔候補領域とする。同テンプレートを用いるこことで、目の位置を検出することが可能である。
【００３８】
さらに、特開2000-105829号公報によれば、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチング度が大きい画素の集合である目存在候補位置集合を求める。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。その距離が最も短くなるクラスタを目が存在するクラスタと決定することで、器官位置の検出が可能である。
【００３９】
さらに、特開2011-8704号公報によれば、ＡｄａＢｏｏｓｔを使用した顔検出アルゴリズムを用いて、検出する顔のサイズに応じて検出時の検出条件を変更することで高速な検出処理を実現している。ＡｄａＢｏｏｓｔは多数の弱判別器を直列に接続することにより強判別器を設計する手法である。各弱判別器は、Ｈａａｒタイプの矩形特徴量が設定されている。ここでは説明のために、図３８に示すように、１つの弱判別器で２箇所の矩形領域を解析するように設定する。弱判別器は、矩形領域ごとに矩形特徴量を解析し、その特徴量の関係が予め学習した結果と同じであれば、評価値を加算していく。各弱判別器ごとに解析する矩形特徴量は異なる。図３９に示すように弱判別器を直列に接続し、１つの強判別器（すなわち、検出器）を実現する。各弱判別器で、各矩形領域の評価値を加算した加算評価値が設定閾値以下になった時点で処理を打ち切ることにより、処理の高速化を図る。最終的に全ての弱判別器で顔候補と判定された場合には、その矩形領域によって特定される領域を顔領域と判定して出力する。
【００４０】
その他、顔および器官位置を検出する方法としては、特開平8-77334号公報、特開2001-216515号公報、特開平5-197793号公報、特開平11-53525号公報、特開2000-132688号公報、特開2000-235648号公報、特開平11-250267号公報、特許第2541688号公報などが挙げられる。本実施形態では特に手法を限定はしない。
【００４１】
上記処理の結果、各入力画像について、人物顔の個数と各顔毎の座標位置を取得することができる。
【００４２】
また、検出された各顔について顔信頼度を記憶しておく。顔信頼度は、例えば、上に挙げたような様々な顔検出手法のそれぞれで定められる値である。この顔信頼度が高いほど検出されたオブジェクトが顔である可能性が高い。しかしながら、顔として検出する顔信頼度を低く設定すると、顔ではないオブジェクトを検出する可能性が高くなる。すなわち、顔として検出するための顔信頼度を低く設定することで、検出許容範囲が広くなる。なお、例えば、特開2011-8704号公報で説明されている顔検出アルゴリズムのＡｄａＢｏｏｓｔでは、各矩形領域の評価値を加算した加算評価値の最終的な値を顔信頼度としている。
【００４３】
図１０では顔信頼度を0〜100点のスコアで記憶し、0点であれば検出物が顔である可能性は小さく、100点であれば検出物は顔である可能性が非常に高い。また、画像中の顔座標位置が分かれば、該顔領域毎に顔領域内に含まれる画素値の平均YCbCr値を求めることにより、該顔領域の平均輝度および平均色差を得ることができる。
【００４４】
また、画像の特徴量を用いてシーン解析処理を行うことができる。シーン解析処理については、例えば、出願人が開示している特開2010-251999号公報や特開2010-273144号公報等で開示されている技術を利用してもよい。なお、ここでは両者の詳細説明は割愛する。上記シーン解析の結果、風景（Landscape）、夜景（Nightscape）、人物（Portrait）、露出不足（Underexposure）、その他（Others）、という撮影シーンを区別するためのIDを取得することができる。
【００４５】
なお、センシング情報は、上記のセンシング処理により取得されるものに限定されず、その他のセンシング情報を利用したとしてもよい。
【００４６】
上記のようにして取得したセンシング情報を、データベース202に保存する。
【００４７】
データベースへの保存形式は、特に限定されないが、例えば、図11に示すような汎用的なフォーマット（例えば、XML：eXtensible Markup Language）で記述し、格納すればよい。
【００４８】
図１１においては、各画像毎の属性情報を、３つのカテゴリに分けて記述する例を示している。１番目のBaseInfoタグは、画像サイズや撮影時情報として、あらかじめ取得した画像ファイルに付加されている情報である。ここには、画像毎の識別子IDや、画像ファイルが格納されている保存場所、画像サイズ、撮影日時などが含まれる。
【００４９】
次に２番目のSensInfoタグは、上述した画像解析処理の結果を格納するためのタグである。画像全体の平均輝度、平均彩度、平均色相やシーン解析結果が格納され、さらに、画像中に存在する人物の顔位置や顔色に関する情報が記述可能である。また、上述の顔信頼度もここに記述されており、例えば図１１の「＜Weight＞60＜/Weight＞」の部分が顔信頼度が60であることを表す。
【００５０】
次に３番目のUserInfoタグは、ユーザーが画像毎に入力した情報を格納することができるが、詳細については後述する。なお、画像属性情報のデータベース格納方法については、上記に限定されるものではなく、その他公知のどのような形式であっても構わない。
【００５１】
次に、図3のS306において、S303で検出された顔位置情報を用いて、人物毎のグループを生成する処理を行う。あらかじめ人物の顔を自動でグループ化しておくことにより、その後ユーザーが各人物に対して名前を付けていく作業を効率化することが可能となる。
【００５２】
ここでの人物グループ形成は、公知の個人認識技術を用いて、図5の処理フローにより実行する。
【００５３】
なお、個人認識技術は、主に顔の中に存在する眼や口といった器官の特徴量抽出と、それらの関係性の類似度を比較する、という二つの技術で構成される。個人認識技術としては、公知の手法を用いることができ、例えば、特許第3469031号公報等で開示されているものが挙げられる。
【００５４】
図5は人物グループ生成処理S306の基本的なフローチャートである。
【００５５】
まず、S501で、２次記憶装置に保存されている画像を順次読みだしてデコード処理を行う。さらにS502でデータベース202にアクセスし、該画像中に含まれる顔の個数と顔の位置情報を取得する。次に、S504において、個人認識処理を行うための正規化顔画像を生成する。
【００５６】
ここで正規化顔画像とは、画像内に様々な大きさ、向き、解像度で存在する顔を切り出して、すべて所定の大きさと向きになるよう、変換して切り出した顔画像のことである。個人認識を行うためには、眼や口といった器官の位置が重要となるため、正規化顔画像のサイズは、上記器官が確実に認識できる程度であることが望ましい。このように正規化顔画像を用意することにより、特徴量検出処理において、様々な解像度の顔に対応する必要がなくなるという利点がある。
【００５７】
次に、S505で、正規化顔画像から顔特徴量を算出する。ここでの顔特徴量とは眼や口、鼻といった器官の位置、大きさや、さらには顔の輪郭などを含むことを特徴とする。
【００５８】
さらに、S506で、あらかじめ人物の識別子（ID）毎に用意されている顔特徴量を格納したデータベース202a（以降、顔辞書と呼ぶ）の顔特徴量と類似しているか否かの判定を行う。上記判定の結果Yesの場合、S509において同じ人物として、同じ人物の辞書IDに、追加する。
【００５９】
S506の判定がNoの場合、現在評価対象となっている顔は、これまで顔辞書に登録された人物とは異なる人物であるとして、新規人物IDを発行して顔辞書202aに追加する。Ｓ５１１において、全ての画像についてＳ５０２〜５０９の処理が終了したか否かを判定する。全ての画像について処理が終了した場合は、処理を終了し、全ての画像について処理が終了していない場合は、Ｓ５０２へ戻る。つまり、S502〜S509までの処理を、入力画像群の中から検出した顔領域全てに適用して、登場した人物のグループ化を行う。
【００６０】
グループ化の結果は、図16のXMLフォーマットで示すように、各顔毎にIDタグを用いて記述し、上述したデータベース202に保存しておく。
【００６１】
なお、上記実施形態においては、図3に示したように、全ての画像のセンシング処理が終了した後に人物グループ生成処理を実行したが、これ以外の方法としてもよい。例えば、図4に示すように、各画像に対してS403でセンシング処理を実行した後に、顔検出位置情報を利用してグループ化処理S405を行い、これを繰り返して全ての画像データの処理を行うようにしてもよい。
【００６２】
また、上記の処理によって得られた各人物グループは、図7のようなUI701にて表示されることになる。同図において、702は人物グループの代表顔画像を表しており、その横には、該人物グループの名前を表示する領域703が存在する。自動の人物グループ化処理を終了した直後は、同図に示すように領域７０３には、人物名は「No name」と表示されている。また、704は該人物グループに含まれる複数の顔画像が表示されている。後述するが、同図のUIにおいては、「No name」の領域703を指定して人物名を入力したり、人物毎に誕生日や続柄等の情報を入力することができる。
【００６３】
また、上記センシング処理は、オペレーティングシステムのバックグラウンドタスクを利用して実行しても良い。この場合、ユーザーはコンピュータ上で別の作業を行っていたとしても、画像群のセンシング処理を継続させることができる。
【００６４】
＜ユーザー情報の入力（人物名、誕生日、お気に入り度、など）＞
本実施形態においては、ユーザーが手動で画像に関する様々な属性情報を入力してもよく、自動で画像に関する様々な属性情報を設定するようにしてもよい。
【００６５】
その属性情報（以降、手動登録情報）の例の一覧を、図12に記載する。手動登録情報は大きく分けると、画像毎に設定する画像の属性情報と、上記処理によりグループ処理した人物毎に設定する人物の属性情報とに分かれる。
【００６６】
まず、画像毎に設定する画像の属性情報として、ユーザーのお気に入り度が挙げられる。お気に入り度は、その画像を気に入っているかどうかを、ユーザーが手動で入力することができる。例えば図13に示すように、UI1301上で、所望のサムネイル画像1302をマウスポインタ1303で選択し、右クリックをすることでお気に入り度を入力できるダイアログを表示する。ユーザーはメニューの中で自分の好みに応じて、星印の数を選択することができる。本実施形態では、お気に入り度が高いほど星印の数が多くなるよう設定した。
【００６７】
また、上記お気に入り度については、ユーザーが手動で設定せずに、自動で設定してもよい。例えば、ユーザが閲覧した回数をお気に入り度として自動設定してもよい。ユーザーが図8に示す画像サムネイル一覧表示の状態から、所望の画像ファイルをクリックし、一画像表示画面に遷移したとする。その遷移した回数を計測して、回数に応じてお気に入り度を設定してもよい。すなわち、閲覧した回数が多いほど、ユーザーが該画像を気に入っていると判断する。
【００６８】
また他の例として、プリント回数に応じてお気に入り度を自動設定してもよい。例えば、プリント行為を行った場合、当然その画像を気に入っていると判断し、プリント回数を計測することで、よりお気に入り度が高いと判断する。
【００６９】
以上で説明したように、お気に入り度については、ユーザーが手動で設定する方法、閲覧回数やプリント回数に基づいて自動で設定する方法が挙げられる。上述したような属性については、それぞれ個別に、図11で示すようなXMLフォーマットで、データベース202のUserInfoタグ内に格納される。例えば、お気に入り度はFavoriteRateタグで、閲覧回数はViewingTimesタグで、プリント回数はPrintingTimesタグでそれぞれ表わされる。
【００７０】
また、画像毎に設定する別の属性情報として、イベント情報が挙げられる。イベント情報としては、例えば、家族旅行“travel”、卒業式“graduation”、結婚式“wedding”が挙げられる。
【００７１】
イベントの指定は、例えば、図14で示すように、カレンダー上で所望の日付をマウスポインタ1402などで指定して、その日のイベント名を入力することがで設定するようにしてもよい。指定されたイベント名は、画像の属性情報の一部として、図11に示すXMLフォーマットに含まれることになる。同図のフォーマットでは、UserInfoタグ内のEventタグを使って、イベント名と画像を関連付けている（紐付けている）。
【００７２】
次に、別の手動設定情報である、人物属性情報について説明する。
【００７３】
図15は、人物の属性情報を入力するためのUIを示している。同図において、1502は所定人物（この場合は“father”）の代表顔画像を示している。また、1504には、他の画像の中から検出し、S506で顔特徴量が類似していると判断された画像の一覧が表示される。
【００７４】
センシング処理が終了した直後は、図7に示したように各人物グループには名前が入力されていないが、「No name」の部分703をマウスポインタで指示することにより、任意の人物名を入力することができる。
【００７５】
また、人物毎の属性として、それぞれの人物の誕生日やアプリを操作しているユーザーから見た続柄を設定することもできる。図15の人物の代表顔1502をクリックすると、画面下部に図示するように、クリックした人物の誕生日を第１入力部1505で入力でき、また、続柄情報を第２入力部1506で入力することができる。
【００７６】
以上、入力された人物属性情報は、これまでの画像に紐付けられた属性情報とは異なり、図16のようなXMLフォーマットによって、画像属性情報とは別にデータベース202内で管理される。
【００７７】
本実施形態においては、あらかじめ様々なレイアウトテンプレートを用意する。レイアウトテンプレートとは図17および図19に示すようなもので、レイアウトする用紙サイズ上に、複数の画像配置枠1702,1902（以降、スロットと同義）で構成されている。
【００７８】
このようなテンプレートは、あらかじめ本実施形態を実行するためのソフトウェアが情報処理装置115にインストールされた時点で、2次記憶装置に保存しておけばよい。また、その他の方法として、IF 107や無線LAN109を介して接続されたインターネット上に存在するサーバー114から、任意のテンプレートを取得してもよい。
【００７９】
これらのテンプレートは汎用性の高い構造化言語、例えば上述したセンシング結果の格納と同様にXMLで記載されているものとする。XMLデータの例を図18および図20に示す。これらの図では、まずBASICタグにおいて、レイアウトページの基本的な情報を記述する。基本的な情報とは、例えば該レイアウトのテーマやページサイズ、およびページの解像度（dpi）等が挙げられる。同図において、テンプレートの初期状態では、レイアウトテーマであるThemeタグはブランクとなっている。また、基本情報として、ページサイズはA4、解像度は300dpiを設定している。
【００８０】
また、以降は、上述した画像配置枠の情報をImageSlotタグで記述している。ImageSlotタグの中にはIDタグとPOSITIONタグの２つを保持し、画像配置枠のIDと位置を記述してある。該位置情報については、図17や図19で図示するように、例えば左上を原点とするX-Y座標系において定義されることとする。
【００８１】
また、上記ImageSlotは、その他にそれぞれのスロットに対して、スロットの形状および配置すべき推奨人物グループ名を設定することができる。
【００８２】
例えば、図17のテンプレートにおいては、図18のShapeタグで示すように、すべてのスロットは矩形“rectangle”形状で、人物グループ名はPersonGroupタグによって“MainGroup”を配置することを推奨している。
【００８３】
また、図19のテンプレートにおいては、図20に示すように、中央に配置しているID=0のスロットは矩形形状であることが記載されている。また、人物グループは“SubGroup”を配置し、その他のID=1,2と続くスロットは楕円“ellipse”形状で、人物グループは“MainGroup”を配置することを推奨している。
【００８４】
本実施形態においては、このようなテンプレートを多数保持することを推奨する。
【００８５】
上記のように、本実施形態で提示したアプリケーションは、入力された画像群に対して解析処理を実行し、人物を自動的にグループ化してＵＩで表示することができる。また、ユーザーはその結果を見て、人物グループ毎に名前や誕生日などの属性情報を入力したり、画像毎にお気に入り度などを設定することができる。
【００８６】
さらにはテーマごとに分類された多数のレイアウトテンプレートを保持することができる。
【００８７】
以上の条件を満たすと、本実施形態のアプリケーションは、ある所定のタイミングに、自動的にユーザーに好まれそうなコラージュレイアウトを生成し、ユーザーに提示する処理を行う。以下、レイアウトの提案処理と呼ぶ。
【００８８】
図6は、レイアウトの提案処理を行うための基本的なフローチャートを示している。
【００８９】
図６において、まずS601において、提案処理のシナリオを決定する。シナリオには、提案するレイアウトのテーマおよびテンプレートの決定、レイアウト内で重視する人物（主人公）の設定、並びにレイアウト生成に用いる画像群の選定情報が含まれる。
【００９０】
以下では簡単のため、２つのシナリオについて例を記載する。
【００９１】
例えば、各人物の誕生日の２週間前になった場合、自動的にコラージュレイアウトを生成し提示するように予め設定されているとする。そして、図15で自動グループ化されている人物“son”の１歳の誕生日が２週間後となったとする。この場合には、提案するレイアウトのテーマは成長記録“growth”と決定する。次にテンプレートの選択を行うが、この場合には成長記録に適した図19のようなものを選択し、図30に示すように、XMLのThemeタグの部分に“growth”と記載する。次にレイアウトを行う際に注目する主人公“MainGroup”として、“son”を設定する。また、レイアウトを行う際に副次的に注目する“SubGroup”として“son”と“father”を設定する。次に、レイアウトに利用するための画像群を選定する。この例の場合には、データベース202を参照し、上記人物“son”の誕生日からこれまでに撮影した画像群のうち、“son”を含む画像群を大量に抽出してリスト化する。以上が、成長記録レイアウトのためのシナリオ決定である。
【００９２】
上記とは異なる例として、１カ月以内に撮影された旅行の写真がある場合、自動的にコラージュレイアウトを生成して提示するように予め設定されているとする。図14で登録したイベント情報から、例えば数日前に家族旅行に行きその画像が大量に2次記憶装置に保存されていることがわかると、シナリオ決定部は、家族旅行のレイアウトを提案するためのシナリオを決定する。この場合には、提案するレイアウトのテーマは旅行“travel”と決定する。次にテンプレートの選択を行うが、この場合には図17のようなレイアウトを選択し、図31に示すように、XMLのThemeタグの部分に“travel”と記載する。次にレイアウトを行う際に注目する主人公“MainGroup”として、“son”、“mother”、“father”を設定する。このように、XMLの特性を活かせば、“MainGroup”として複数の人物を設定することができる。次に、レイアウトに利用するための画像群を選定する。この例の場合には、データベース202を参照し、上記旅行イベントに紐付けられた画像群を大量に抽出してリスト化する。以上が、家族旅行レイアウトのためのシナリオ決定である。
【００９３】
次に、図6のS603において、上述したシナリオに基づくレイアウトの自動生成処理を実行する。ここで、図２１を用いて、シナリオに基づくレイアウトの自動生成処理について説明する。図21はレイアウト処理部の詳細な処理フローを示している。  
同図では、まずS2101で、上述したシナリオ生成処理で決定され、レイアウトテーマと人物グループ情報が設定された後のレイアウトテンプレート情報を、データベース202cより取得する。
【００９４】
次に、S2103においては、上記シナリオで決定した画像群リスト202dに基づいて、各画像毎に該画像の特徴量をデータベース202から取得し、画像群属性情報リストを生成する。ここでいう画像群属性情報リストとは、図11に示したIMAGEINFOタグが画像リスト分だけ並んだ構成となっている。以降ではこの画像群属性情報リストに基づいて、S2105〜S2109における自動レイアウト生成処理を行う。
【００９５】
このように、本実施形態の自動レイアウト生成処理では、このように画像データそのものを直接扱うのではなく、あらかじめ画像毎にセンシング処理を行ってデータベース保存しておいた属性情報を利用する。この理由は、レイアウト生成処理を行う際に、画像データそのものを対象としてしまうと、画像群を記憶するために非常に巨大なメモリ領域を必要としてしまうためである。すなわち、本実施形態のようにデータベース２０２に記憶しておいた属性情報を利用することにより、メモリ領域の使用量を低減することができる。  
【００９６】
次に、S2105において、入力された画像群の属性情報を用いて、入力された画像群の中から不要画像のフィルタリングを行う。フィルタリング処理は、図22のフローにて行う。同図では、各画像毎に、まずS2201で全体の平均輝度値（ＡｖｅＹ）がある閾値（ThY_LowとThY_Hight）内に含まれているかの判定を行う。否の場合にはS2206に進み、注目画像はレイアウト対象から除去する。ここで、図２２を用いて、フィルタリング処理について説明する。
【００９７】
同様に、S2202〜S2205では、注目画像に含まれる顔領域それぞれについて、平均輝度、平均色差成分が、良好な肌色領域を示す所定閾値に含まれているかの判定を行う。S2202〜S2205のすべての判定がYesとなる画像のみ、以降のレイアウト生成処理に適用される。具体的には、Ｓ２２０２では、ＩＤ＝Ｎである顔領域のＡｖｅＹが所定閾値（ＴｈｆＹ＿ＬｏｗとＴｈｆＹ＿Ｈｉｇｈｔ）の範囲に含まれているか否かの判定を行う。Ｓ２２０３では、ＩＤ＝Ｎである顔領域のＡｖｅＣｈが所定閾値（ＴｈｆＹ＿ＬｏｗとＴｈｆＹ＿Ｈｉｇｈｔ）の範囲に含まれているか否かの判定を行う。Ｓ２２０４では、ＩＤ＝Ｎである顔領域のＡｖｅＣｒが所定閾値（ＴｈｆＹ＿ＬｏｗとＴｈｆＹ＿Ｈｉｇｈｔ）の範囲に含まれているか否かの判定を行う。Ｓ２２０５では、最後の顔であるか否かを判定する。最後の顔ではない場合は、Ｓ２２０２へ戻り、最後の顔である場合は、処理を終了する。
【００９８】
なお、このフィルタリング処理では、以降の一時レイアウト作成処理に明らかに不要と判断できる画像の除去を目的としているため、上記閾値は比較的緩やかに設定することが望ましい。例えばS2201の画像全体輝度の判定において、ThY_HighとThY_Lowの差が画像ダイナミックレンジに比して極端に小さいと、それだけYesと判定される画像が少なくなってしまう。したがって、本実施形態のフィルタリング処理では、両者の差をできる限り広く設定し、かつ明らかに異常画像と判断されるものは除去できるような閾値を設定する。  
【００９９】
次に図21のS2107において、上記処理でレイアウト対象となった画像群を用いて、大量（L個）の一時レイアウトを生成する。一時レイアウトの生成は、取得したテンプレートの画像配置枠に対して、入力画像を任意に当てはめる処理を繰り返すことで実行する。この時に、以下のパラメータ（画像選択・配置・トリミング基準）をランダムで決定する。  
【０１００】
画像選択としては、例えば、レイアウト中の画像配置枠がＮ個の時、画像群の中からどの画像を選択するかが挙げられ、配置としては、例えば、選択した複数の画像をどの配置枠に配置するかが挙げられ、トリミング基準としては、配置した際に、どの程度のトリミング処理を行うかというトリミング率が挙げられる。
【０１０１】
トリミング率は例えば0〜100％で表され、画像のある位置を基準としてトリミングされる。画像のある位置とは、例えば、画像解析によって検出された顔の位置であり、図１１の＜Position＞部分に記載された座標の中心付近である。一枚の画像に複数の顔が検出された場合は、全ての顔（顔のオブジェクトが表わす画像領域）を含むようにトリミングする。または複数の顔のうちの一人をトリミングによって切り出す場合は、同一人物IDに登録されている画像が多いIDの顔、ユーザーによって人物名が登録されたIDの顔、顔信頼度の高い顔をトリミングによって切り出す。
【０１０２】
上記の画像選択・配置・トリミング基準に基づいて、可能な限り数多くの一時レイアウトを生成する。生成した各一時レイアウトは、図32のXMLのように表わすことができる。各スロットに対して、選択され配置された画像のIDがImageIDタグで、トリミング率がTrimingRatioタグでそれぞれ記述されている。
【０１０３】
なお、ここで生成する一時レイアウトの数Ｌについては、後述するレイアウト評価ステップでの評価処理の処理量と、それを処理する情報処理装置115の性能に応じて決定されるが、例えば数十万通り以上の一時レイアウトを用意することが望ましい。生成したレイアウトは、それぞれIDを付加して図32のXML形式で２次記憶装置にファイル保存してもよいし、構造体など別のデータ構造を用いてＲＡＭ上に記憶してもよい。
【０１０４】
次に、図21のS2108において、上記で作成したＬ個の一時レイアウトに対して、それぞれ所定のレイアウト評価量を用いて評価を行う。本実施形態におけるレイアウト評価量の一覧を、図24に示す。同図に示すように、本実施形態で用いるレイアウト評価量は、主に３つのカテゴリに分けることができる。
【０１０５】
一つ目の評価カテゴリは、画像個別の評価量である。これは画像の明るさや彩度、ブレぼけ量等の状態を判断し、スコア化するものである。スコア化の一例を以下に示す。まず明るさの適正度については、図25に示すように、平均輝度がある所定レンジ範囲内においてはスコア値100とし、所定閾値範囲外になるスコア値が下がるよう設定している。また、彩度の適正度については、図26に示すように、画像全体の平均彩度がある所定の彩度値より大きい場合にはスコア値100とし、所定値より小さい場合にはスコア値を除所に下げていくよう設定している。
【０１０６】
二つ目の評価カテゴリは、画像とスロットの適合度の評価をスコア化するものである。画像・スロットの適合度の評価としては、例えば、人物適合度、トリミング欠け判定が挙げられる。人物適合度とは、スロットに指定されている人物と、実際に該スロットに配置された画像内に存在する人物の適合率を表したものである。例を挙げると、あるスロットが、XMLで指定されているPersonGroupで、“father”、“son”が指定されているものとする。この時、該スロットに割り当てられた画像に該2人の人物が写っていたとすると、該スロットの人物適合度はスコア値100とする。もし片方の人物しか写っていなかったとすると、適合度はスコア値50とし、両者とも写っていなかった場合は、スコア値0とする。ページ内の適合度は、各スロット毎に算出した適合度の平均値とする。
【０１０７】
また別の画像・スロット適合度評価値として、トリミング領域2702の欠け判定が存在する。例えば、図27に示すように、画像中に存在する顔の位置2703が判明している場合、欠けた部分の面積に応じて、0から100までのスコア値を算出する。欠けた面積が0の場合、スコアは100とし、逆にすべての顔領域が欠けた場合、スコア値は0とする。
【０１０８】
三つ目の評価カテゴリは、レイアウトページ内のバランスを評価するものである。図24ではバランスを評価するための評価値として、画像類似性、色合いばらつき、顔サイズばらつきを挙げている。
【０１０９】
まず、画像類似性について説明する。画像の類似性は、大量に生成した一時レイアウト毎に、それぞれの画像の類似性を算出する。例えば旅行テーマのレイアウトを作成したい場合、あまりに似通った類似度の高い画像ばかりが並んでいたとすると、それは良いレイアウトとは言えないことがある。例えば、類似性は、撮影日時によって評価することができる。撮影日時が近い画像は、同じような場所で撮影された可能性が高いが、撮影日時が離れていれば、その分、場所もシーンも異なる可能性が高いからである。撮影日時は、図11で示したように、画像属性情報として、予めデータベース202に保存されている、画像毎の属性情報から取得することができる。撮影日時から類似度を求めるには以下のような計算を行う。例えば、今注目している一時レイアウトに図28で示すような４つの画像がレイアウトされているものとする。なお、図２８において、画像ＩＤで特定される画像には、それぞれ撮影日時情報が付加されている。具体的には、撮影日時として、年月日及び時間（西暦：ＹＹＹＹ、月：ＭＭ、日：ＤＤ、時：ＨＨ、分：ＭＭ、秒：ＳＳ）が付加されている。この時、この４つの画像間で、撮影時間間隔が最も短くなる値を算出する。この場合は、画像ID102と108間の30分が最も短い間隔である。この間隔をMinIntervalとし、秒単位で格納する。すわなち30分＝1800秒である。このMinIntervalをL個の各一時レイアウト毎に算出して配列stMinInterval[l]に格納する。次に、該stMinInterval[l]の中で最大値MaxMinInterval値を求める。すると、l番目の一時レイアウトの類似度評価値Similarity[l]は以下の式（２）のようにして求めることができる。
【０１１０】
Similarity[l] = 100×stMinInterval[l] / MaxMinInterval  ・・・（２）
すなわち、上記Similarity[l]は、最小撮影時間間隔が大きいほど100に近づき、小さいほど0に近づく値となっているため、画像類似度評価値として有効である。
【０１１１】
次に、レイアウトページ内のバランスを評価するための評価量として、色合いのバラつきについて説明する。例えば旅行テーマのレイアウトを作成したい場合、あまりに似通った色（例えば、青空の青、山の緑）の画像ばかりが並んでいたとすると、それは良いレイアウトとは言えないことがある。この場合は、色合いのばらつきが大きくなるように設定する。したがって、ここでは注目しているl番目の一時レイアウト内に存在する画像の平均色相AveHの分散を算出して、それを色合いのバラつき度tmpColorVariance[l]として格納する。次に、該tmpColorVariance[l]の中での最大値MaxColorVariance値を求める。すると、l番目の一時レイアウトの色合いバラつき度の評価値ColorVariance[l]は以下の式（３）のようにして求めることができる。
【０１１２】
ColorVariance[l] = 100 × tmpColorVariance[l] / MaxColorVariance  ・・（３）
すなわち、上記ColorVariance[l]は、ページ内に配置された画像の平均色相のバラつきが大きいほど100に近づき、小さいほど0に近づく値となっているため、色合いのばらつき度評価値として有効である。
【０１１３】
次に、レイアウトページ内のバランスを評価するための評価量として、顔の大きさのバラつき度について説明する。例えば旅行テーマのレイアウトを作成したい場合、レイアウト結果を見て、あまりに似通った顔のサイズの画像ばかりが並んでいたとすると、それは良いレイアウトとは言えないことがある。レイアウト後の紙面上における顔の大きさが、小さいものもあれば大きいものもあり、それらがバランスよく配置されていることが、良いレイアウトとする場合、顔サイズばらつきが大きくなるように設定する。その場合、注目しているl番目の一時レイアウト内に配置された後の顔の大きさ（顔位置の左上から右下までの対角線の距離）の分散値を、tmpFaceVariance[l]として格納する。次に、該tmpFaceVariance[l]の中での最大値MaxFaceVariance値を求める。すると、l番目の一時レイアウトの顔サイズバラつき度の評価値FaceVariance[l]は、以下の式（４）のようにして求めることができる。
【０１１４】
FaceVariance[l] = 100  ×  tmpFaceVariance[l] / MaxFaceVariance  ・・（４）
すなわち、上記FaceVariance[l]は、紙面上に配置された顔サイズのバラつきが大きいほど100に近づき、小さいほど0に近づく値となっているため、顔サイズのバラつき度評価値として有効である。
【０１１５】
またその他カテゴリとして、ユーザーの嗜好性評価が考えられる。
【０１１６】
以上説明したような、各一時レイアウト毎に算出した複数の評価値を、以下では統合化して、各一時レイアウト毎のレイアウト評価値とする。今、l番目の一時レイアウトの統合評価値を、EvalLayout[l]とし、上記で算出したN個の評価値（図24の評価値それぞれを含む）の値を、EvalValue[n]とする。この時、統合評価値は以下の式（５）で求めることができる。
【０１１７】
2014016821.tif 000004
・・・（５）
上式において、W[n]は、図24で示したシーン毎の各評価値の重みである。該重みはレイアウトのテーマ毎に異なる重みを設定していることが特徴となっている。例えば、図24に示すようにテーマを成長記録“growth”と旅行“travel”で比較した場合、旅行テーマの方は、できるだけ良質の写真をいろいろな場面で数多くレイアウトすることが望ましいとし、画像の個別評価値やページ内のバランス評価値を重視する傾向に設定する。一方、成長記録“growth”の場合、画像のバリエーションよりは、成長記録の対象となる主人公が確実にスロットに適合しているか否かが重要であるとし、ページ内バランスや画像個別評価よりも、画像・スロット適合度評価を重視する傾向に設定する。
【０１１８】
このようにして算出したEvalLayout[l]を用いて、S2109では、レイアウト結果表示のためのレイアウトリストLayoutList[k]を生成する。レイアウトリストは、予め定められた個数（例えば5個）に対して、EvalLayout[l]のうち、評価値が高いもの順に識別子lを記憶しておく。例えば最も良いスコアを出したものが、l=50番目に作成した一時レイアウトであった場合、LayoutList[0]=50となる。同様に、LayoutList[1]以降は、スコア値が２番目以降の識別子lを記憶しておく。
【０１１９】
以上が、図21のフローチャートの説明である。
【０１２０】
次に、上記処理によって得られたレイアウト結果を、図6のS605でレンダリングして結果を表示する。本実施形態では、レンダリングした結果を図29のように表示する。S605では、まずLayoutList[0]に格納されているレイアウト識別子を読み出し、該識別子に相当する一時レイアウト結果を、２次記憶装置あるいはRAM上から読み出す。レイアウト結果には、上述したようにテンプレート情報と該テンプレート内に存在するスロット毎に、割り当てられた画像名が設定されている。S605ではこれらの情報に基づいて、コンピュータ115上で動作するOSの描画関数を用いて、該レイアウト結果をレンダリングし、図29の2902のように表示することになる。
【０１２１】
同図のNextボタン2904を押下することにより、次点スコアであるLayoutList[1]の識別子を読み出し、上記と同様にレンダリング後、表示を行うことで、ユーザーは様々なバリエーションの提案レイアウトを閲覧することができる。また、Previousボタン2903を押下することにより、前に表示したレイアウトを再表示することもできる。さらに、表示されたレイアウトが気に入った場合には、プリントボタン2905を押下することで、画像処理装置（情報処理装置）115に接続されたプリンタ112からレイアウト結果2902をプリントアウトすることもできる。
【０１２２】
ここで、個人認識・人物グルーピングにおける顔信頼度の設定と、各画像のトリミング率を決定する際の顔信頼度の設定について説明する。
【０１２３】
まず、図５を用いて説明した個人認識処理を用いた人物グルーピングをする場合の顔信頼度の設定について説明する。図５において、S501で２次記憶装置に保存されている画像を順次読みだしてデコード処理を行う。本実施形態においては、１００枚の元画像を読み出すとする。
【０１２４】
さらにS502でデータベース202にアクセスし、該画像１００枚中に含まれる顔の個数と顔の位置情報を取得する。データベース202には該画像１００枚中に１５０個検出された顔が記憶されているとする。１５０個の各顔に対して、0から100までの顔信頼度が記憶されている。
【０１２５】
本実施形態において顔検出アルゴリズムは、上記特開2011-8704号公報に記載のＡｄａＢｏｏｓｔ顔検出アルゴリズムを用いるとする。各矩形領域の評価値を加算した加算評価値の最終的な値が顔信頼度としてデータベース202に記憶されている。
【０１２６】
図３７（a）は、データベース202に記憶された１５０個の各顔を顔信頼度順に並べたイメージ図である。S502において顔の個数と顔の位置情報を取得する際に、１５０個の顔のうち、ある特定の顔信頼度の閾値を超えた顔の個数と位置情報を取得する。ここでは、個人認識・グルーピング表示させる顔は高い信頼度が必要なので、閾値を高めに設定する。本実施形態では、図３７（a）に示すように閾値を50とし、１００枚１５０個の顔を５０枚６０個に絞った状態でS502での取得を行う。ここで、顔信頼度が閾値50を超えている顔は顔信頼度が高いため、S504以降のフローを行った結果の図７人物グループの表示例において、人物ではない誤検出結果が人物として表示されることは少ない。ここでは、閾値は50としたが、これに限定されるものではなく、誤検出が発生しにくい値を自由に設定すればよい。
【０１２７】
このように顔のみを集めて個人認識・グルーピング表示させるような顔そのものを対象とした処理を行う場合には、顔以外のオブジェクトが混ざることを避けるために顔検出精度を高く設定することが効果的である。これにより、個人認識・グルーピング表示をする際に、誤検出による登録数の増加を抑制することができる。
【０１２８】
次に、図２１で示す自動レイアウト生成処理のトリミング処理をする場合の顔信頼度の設定について説明する。
【０１２９】
S2103において、本実施形態の該画像１００枚中の画像毎に該画像の特徴量をデータベース202から取得する。画像毎の特徴量とは図11に示したIMAGEINFOタグが画像リスト分だけ並んだ構成である。
【０１３０】
S2105において、不要画像のフィルタリングを行う。ここでも顔信頼度閾値を用いてフィルタリングを行う。顔信頼度閾値は50とし、その結果、図３７（a）で示したとおり画像５０枚、顔６０個に絞られる。閾値５０を設定することで、ここまでは顔信頼度の高い６０個の顔が集められていることとなる。
【０１３１】
S2107において、上記の５０枚を図１７のテンプレートの画像配置枠に任意に当てはめ、Ｌ個の一時レイアウトを生成する。Ｌは本実施形態では１００とする。図１７のテンプレートには３箇所のスロットがある。上記の５０枚からどの３枚を選択するか、３枚をどのスロットに配置するか、どの程度のトリミングを行うかに基づいて、ランダムで１００パターン生成する。
【０１３２】
本実施形態で使用するテンプレートの３枚のスロットは、図１１に示したとおり３箇所とも人物を配置するよう設定されている。ここで、人物を中心としてトリミングを行う際に、上述までと同様に顔信頼度が閾値50を超えている顔６０個を用いると以下のような不具合が生じる。すなわち、顔信頼度が閾値50を超えている顔６０個は顔信頼度が高い一方で、顔であるのに顔と判断されない顔が未検出として多く存在してしまう。
【０１３３】
図３３の画像を例に挙げて説明する。図３３には、人物が２人と太陽が撮影されている。図３３において、左の人物の顔は顔信頼度が８０であり、右側の人物の顔は顔信頼度が４５であったとする。この場合、閾値５０と設定すると、検出結果の信頼度が高く、検出されたものはほぼ確実に顔であるため「誤検出」の可能性は低い。しかしながら、図３４（ａ）に示すように、「未検出」が発生する。したがって、閾値５０と設定すると、図３６（a）のように右側の人物の未検出顔がトリミングによって切られてしまうことになる。
【０１３４】
そこで本実施形態においては、図３７（b）に示すように閾値を30（第２の閾値）に下げ、５０枚６０個の顔を５０枚１２０個に増やした状態で人物を中心としてトリミングを行う（第２の検出）。ここで、顔信頼度が閾値30を超えている顔は顔信頼度が低いものであるので、誤検出は多い一方で、未検出は少なくなる。すると、誤検出結果を含む場合があるが図３６（b）のように顔がトリミングによって切られてしまうことを減らすことができる。ここでは、閾値は30としたがこれに限定されず、未検出が発生しにくい値を自由に設定すればよい。
【０１３５】
このように顔以外の部分を切り落とすトリミング処理のような、すなわち顔以外を対象とした処理を行う場合には、顔を検出し損なうことを避けるために顔検出精度を低く設定する。
【０１３６】
また、本実施形態においては、S2107でトリミングを行う際の顔信頼度の閾値を低く設定することで効果を得たが、以下でも同様の効果を得ることができる。S2107でトリミングを行う際に用いる顔検出結果は、顔信頼度閾値が50である顔、すなわち顔信頼度が高い顔を使用する。すると１００パターンの一時レイアウトの中には、顔であるのに顔と判断されずに切られてしまった顔が存在することとなる。そこでS2108において各一時レイアウトの評価を行う際に、顔信頼度閾値を30に下げる。するとS2107で切られてしまった顔が今度は顔であると判断されることから、顔が切られたということがわかる。S2108では顔が欠けた面積に応じてスコアが決まるため、顔が切られた一時レイアウトパターンはスコアが低くなる。このようにして、一時レイアウト生成時ではなく評価の際に顔信頼度閾値を低く設定することで、トリミングによる顔切れを減らすことができる。
【０１３７】
本実施形態では、個人認識・人物グルーピングにおける顔信頼度を、各画像のトリミング率を決定する際の顔信頼度よりも高く設定することについて説明した。本実施形態の効果について、図３３〜３５を用いてより詳細に説明する。
【０１３８】
図３４（a）は、上述した通り、図３３に示す画像に対して顔信頼度を高く設定した場合の検出結果である。一方、図３３に示す画像に対して顔信頼度を低く設定すると、図３３（ｂ）に示すように、顔ではないものも検出するため「未検出」はないが、「誤検出」が発生する。
【０１３９】
図３５では、顔検出結果に対して、顔を対象とした処理を行った場合の効果及び弊害について説明する。図３５（a）及び図３５（b）はそれぞれ、図３４（a）及び図３４（b）の顔検出結果に対して、顔を対象とした処理、例えば、人物認識、美肌補正、小顔補正、ほくろ除去を行った場合の結果の効果を「○」、弊害を「×」で表したものである。図３５から、顔を対象とした処理を顔以外の検出結果に施すと弊害があることがわかる。具体的には、人物認識によって太陽がＢさんと似ていて同一人物と判断されたり、美肌補正がかかることで太陽の質感が変換されたり、小顔補正がかかることで太陽が一回り小さく変換されたり、ほくろ除去が施されて一部領域の色が変換されてしまったりする。
【０１４０】
図３６では、顔検出結果に対して、トリミング処理を行った場合の効果及び弊害について説明する。図３６（a）及び図３６（b）はそれぞれ、図３４（a）及び図３４（b）の顔検出結果に対して、顔以外を対象とした処理、例えばトリミングを行った場合を表す。これによると、図３６（a）では「未検出」されている人物が切り落とされてしまっている。一方、図３６（b）で「誤検出」された太陽は画像に残されているが弊害にはならない。
【０１４１】
以上より、顔を対象とした処理（第１画像処理）を施す際は、図３４（a）のように検出結果の信頼度が高く設定し（第１検出）、顔以外を対象とした処理（第１画像処理以外の第２画像処理）を施す際は、図３４（b）のように検出結果の信頼度が低く設定する（第２検出）とよいのがわかる。
【０１４２】
以上のように、本実施形態では、顔を対象とした処理である個人認識・グルーピング表示の場合は、顔信頼度を高く設定することにより、顔以外のオブジェクトが混ざるのを抑制することができる。確実に顔と判断されるもののみを個人認識・グルーピング表示の対象とすることができる。一方、顔処理以外の画像処理である画像トリミングの場合は、顔信頼度を低く設定することにより、人物が顔切れするのをより確実に抑制することができる。  このように、同じ方法を用いた場合、画像処理の内容に応じて異なる顔信頼度とする、すなわち、検出基準の閾値を変更して検出許容範囲を変更することにより、画像に対して不適切な画像処理が施されるのを抑制することができる。
【０１４３】
〔実施形態２〕
実施形態１では、個人認識・グルーピング表示においてはＡｄａＢｏｏｓｔ顔検出アルゴリズムを、トリミング処理においても同じＡｄａＢｏｏｓｔ顔検出アルゴリズムを用い、それぞれにおいて顔信頼度閾値を用いて顔信頼度を異ならせる方法について説明した。
【０１４４】
これに対し、本実施形態では、処理に応じて異なる顔検出アルゴリズムを用いることで、顔信頼度を異ならせる方法について説明する。
【０１４５】
個人認識・グルーピング表示においては実施形態１と同様のＡｄａＢｏｏｓｔ顔検出アルゴリズムを用いる。各矩形領域の評価値を加算した加算評価値の最終的な値である顔信頼度の閾値も実施形態１と同様の50に設定し、顔信頼度の高い顔６０個をグルーピング表示する。
【０１４６】
図２１で示す自動レイアウト生成処理のトリミング処理での顔信頼度においては、顔検出アルゴリズムとして肌色検出を用いる。
【０１４７】
肌色検出は、まず画像の各画素について、RGB成分を公知の輝度色差成分（例えばYCbCr成分）に変換し（変換式は省略）、Y成分の平均値から平均輝度、CbCr成分から平均彩度を求める。さらに、平均輝度、平均色差成分が、良好な肌色領域を示す所定閾値に含まれているかの判定を行う。判定がYesであれば顔であるとする。図４０は人が２人と家が一軒映っている画像に対して肌色検出を行った検出結果を表す。２人の人は検出できたが、家の壁も人として検出されてしまっている。このように、肌色検出による顔検出アルゴリズムは、肌色に近ければ全て人として検出するため、顔信頼度が低いといえる。
【０１４８】
実施形態１で図２１のS2105において不要画像のフィルタリングを行った後の画像５０枚に対して、S2107においてトリミングを行う。実施形態１では顔信頼度の閾値を低く設定することで１２０個の顔検出結果をトリミングの中心としたが、本実施形態においては肌色検出を行った検出結果が同じく１２０個であったとする。
【０１４９】
肌色検出によって検出された１２０個の顔は、前述のとおり顔信頼度が低い、すなわち、誤検出は多い一方で、未検出は少なくなる。すると、実施形態１と同様な効果が得られ、図３６（b）のように誤検出結果を含みながらではあるが顔がトリミングによって切られてしまうことを避けることができる。
【０１５０】
このように顔以外の部分を切り落とすトリミング処理のように顔そのものを対象とした処理以外の処理を行う場合には、顔を検出し損なうことを避けるために顔検出精度の低い顔検出アルゴリズムを使用する。
【０１５１】
以上のように、本実施形態では、顔そのものを対象とした処理に用いる顔検出アルゴリズムと、顔そのものを対象とした処理以外の処理に用いる顔検出アルゴリズムが異なるアルゴリズムである場合を説明した。
【０１５２】
また、実施形態１及び２では、顔そのものを対象とした処理として個人認識・グルーピング表示を、顔そのものを対象とした処理以外の処理として画像トリミングを取り上げて説明を行った。しかし、本実施形態を適用できる処理はこれらに限定されるものではない。
【０１５３】
例えば、顔そのものを対象とした処理以外の処理としては、例えば、複数画像の一部分重ね合わせ処理が挙げられる。、図４１のように複数の画像配置枠4102が一部重なったテンプレートを用いてその効果について説明する。
【０１５４】
図４２は顔信頼度が低い状態でのレイアウト結果の一例である。図４３は実施形態１および２と同様に顔信頼度が高い状態でのレイアウト結果の一例である。
図４２では、顔信頼度を高く設定することにより、顔信頼度の低い顔が未検出となり、他の画像配置枠が重なる部分に顔が配置されてしまう。これに対し、顔信頼度を低く設定することにより、顔信頼度の低い顔も検出されて、他の画像配置枠が重なる部分に顔が配置されるのが抑制される。このように、実施形態１や２で説明に用いた処理に限らなくても、顔を対象とした処理よりも顔そのものを対象とした処理以外の処理で用いる顔は、信頼度が低いものも用いることで、同様の効果を得ることができる。
【０１５５】
以上のように、本実施形態では、顔を対象とした処理である個人認識・グルーピング表示の場合は、顔信頼度が高い顔検出アルゴリズムを用いることで、顔以外のオブジェクトが混ざるのを抑制することができる。確実に顔と判断されるもののみを個人認識・グルーピング表示の対象とすることができる。一方、顔処理以外の画像処理であるトリミングの場合は、顔信頼度が低い顔検出アルゴリズムを用いることで、人物が顔切れするのをより確実に抑制することができる。
【０１５６】
このように、画像処理の内容に応じて異なる検出方法、言い換えれば、検出許容範囲を変更することにより、画像に対して不適切な画像処理が施されるのを抑制することができる。
【０１５７】
〔実施形態３〕
実施形態１および２では、複数の画像を一枚にレイアウトする自動レイアウト生成処理を前提とした形態で説明を行ったが、本実施形態では単葉画像に対して本件の実施形態を説明する。
【０１５８】
単葉画像に対して、２種類の処理を行うとする。第一の処理は顔を対象とした処理であり、第二の処理は顔そのものを対象とした処理以外の処理である。
【０１５９】
例えば、顔を対象とした処理には、以下に説明する器官検出、人物認識、赤目検出、赤目補正、笑顔検出、肌検出、美肌補正、くっきり補正、小顔補正、輪郭補正、ほくろ除去などがある。また、顔そのものを対象とした処理以外の処理には、以下に説明する文字重ね、背景ぼかしなどがある。
【０１６０】
顔に対する処理はできる限り顔のみに施すことが重要である。そのためには顔を検出する際に顔信頼度閾値を高く設定する。顔信頼度閾値が高いと未検出の顔が多くなるが、実施形態１で説明したように、顔に対する処理が施されないことは弊害とはならない。
【０１６１】
一方で、顔そのものを対象とした処理以外の処理で用いる顔信頼度閾値は、顔のみに対する処理よりも低く設定する。顔信頼度閾値が低いと誤検出の顔が多くなるが、誤検出された顔に対して施される処理は顔を対象とした処理ではない。したがって、誤検出が多いことは弊害とはならない。
【０１６２】
以上のように、単葉画像に対して複数の処理を行う場合にも、処理に応じて顔信頼度を適切に設定することで効果を得ることができる。
【０１６３】
上記の顔を対象とした各処理について説明する。
【０１６４】
＜赤目検出処理、赤目補正処理＞
顔検出処理で検出された顔領域の検出結果に対して、赤目領域を検出する処理である。また、その検出した赤目領域の色を明度および彩度を低下させることで、赤目の補正を行う処理である。
【０１６５】
＜笑顔検出処理＞
顔検出処理で検出された顔領域の検出結果に対して、大量の２点間輝度差に基づく加算または減算される重みと、AdaBoost等の機械学習アルゴリズムにより学習された初期値とから特定の表情を検出する処理である。
【０１６６】
＜肌検出処理、美肌補正処理＞
顔検出処理で検出された顔領域の検出結果に対して、所定の肌色領域を検出する処理である。また、肌色を予め定めた目標色度値となるように色変換処理を行う処理である。
【０１６７】
＜くっきり補正処理＞ 
顔検出処理で検出された顔領域の検出結果に対して、ぼかしフィルターをかけ、元画像とぼかしフィルターをかけた画像の輝度差を強調する処理である。図４６(a)を用いてくっきり補正を説明する。元画像4601に描画部4602がある。線4603で輝度分布をみると図４６(b)の4604になる。4604にぼかしフィルターをかけた画像の輝度分布が図４６(c)の4605であり、元画像4604との輝度差を矢印のように求める。輝度差を強調することによって、図４６(d)の4606のように元画像を強調する処理である。
【０１６８】
＜小顔補正処理＞
顔検出処理で検出された顔領域の検出結果に対して、顔の特徴点の情報に基づいて、人物の顔の輪郭を補正する補正領域の位置や、補正度合いを設定して、補正を行う処理である。
【０１６９】
＜輪郭補正処理＞
顔検出処理で検出された顔領域の検出結果に対して器官検出処理を行い、頭頂部、口、眼、顎、頬及び顔の中心線のデータから、顔の輪郭情報を生成し、顔の輪郭を補正する処理である。
【０１７０】
＜ほくろ除去処理＞
顔検出処理で検出された顔領域の検出結果に対して、除去対象画像を検出し、除去対象画像内の注目画素の画素値を更新することにより、該除去対象画像を除去する処理である。
【０１７１】
＜文字重ね処理＞
顔検出処理で人物の顔が検出されなかった画像を背景画像として取得し、文字を背景画像の上に合成する処理である。
【０１７２】
＜背景ぼかし処理＞
顔検出処理で検出された顔領域の検出結果に対し、顔の位置、大きさ又は向きに応じて顔に対する撮影者の注目度合いを判断し、背景のピントを変化させる処理である。
【０１７３】
＜背景合成処理＞
顔検出処理で人物の顔が検出されなかった画像を背景画像として取得し、例えば人物やオブジェクト等の挿入用画像を背景画像に合成する処理である。
【０１７４】
また、実施形態１〜３では、オブジェクトの検出は人物の顔を検出する顔検出に限定しているが、人物に限らなくても同様の効果を得ることができる。例えば、特開2007-11970号公報には、画像から動物の顔を検出する顔検出処理が示されている。その場合には、まず、動物画像データベースに、以下のような動物を顔テンプレートとして記憶しておく。
【０１７５】
・犬や猫や兎などの各動物種毎の多数の画像から作成した、各動物種毎の平均顔。
【０１７６】
・チワワやシェパードのような犬種などの各動物種の品種別の多数の画像から作成した各品種毎の平均顔。
【０１７７】
・特定のペットの写真等から作成した、個々の動物に固有の顔。
【０１７８】
記憶する顔情報としては、顔の輪郭情報、目や鼻や口や耳などの顔の構成要素の位置情報、同構成要素の形状情報、平均濃度／最低濃度／最高濃度／濃度ヒストグラムなど等の画像特徴量など、人物の顔検出に準じて、顔検出に利用される各種の情報が利用可能である。そして、対象画像を走査して顔テンプレートと一致する領域を検索し、特徴量のスコアへの換算、スコアの集計などを行なって、所定の判断基準以上に一致した領域を、顔領域として検出する。その検出結果を用いてその後に行う処理内容に応じて、この所定の判断基準を設定すれば、実施形態１および３と同様の効果を得ることができる。また、公知の他の動物顔検出処理と組み合わせれば、実施形態２と同様の効果を得ることができる。
【０１７９】
〔実施形態４〕
実施形態１〜３では、検出するオブジェクトが顔の場合の説明を行ったが、本実施形態においては検出するオブジェクトが目の場合について説明する。
【０１８０】
本実施形態において、目の検出方法にはパターンマッチング法を用いる。
【０１８１】
図４５はパターンマッチング法の概要図である。4501は入力画像であり、この入力画像から目の位置を検出する。4502は予め目の画像が登録された標準テンプレートを表す。パターンマッチング法は、標準テンプレート4502を入力画像4501上で移動しつつ、入力画像4501と標準テンプレート4502の類似パターンを抽出し、移動の度にその位置の類似度を算出し、所定の値以上の領域を目と確定する方法である。
【０１８２】
以下は、標準テンプレート4502の中心が入力画像4501上のある点（i,j）にある場合の類似度として、パターン間輝度距離R（i,j）を求める式である。入力画像4501は図４５に示すように横サイズがＭ、縦サイズがＮとする。標準テンプレート4502は図４５に示すように横サイズがm、縦サイズがnとする。ｆ（i,j）を入力画像4501上の点（i,j）の輝度、t(k,l)を標準テンプレート4502上の点(k,l)の輝度とする。(i,j)の原点は入力画像4501上の左上の点とし、(k,l)の原点は標準テンプレート4502上の左上の点とする。そして、以下の式（６）でR（i,j）を求める。
【０１８３】
2014016821.tif 000005
・・・（６）
R（i,j）はすなわち、標準テンプレート4502の中心を点(i,j)におき、入力画像4501と標準テンプレート4502が重なった領域において、重なった各画素同士の輝度差を標準テンプレート4502の全画素に対して求めた和である。R（i,j）の値が小さいほど両者の類似度、目信頼度が高いことを表す。これをさらに、標準テンプレートの中心を点(i,j)から順次ずらしながら入力画像4501の全領域に対して行い、所定の閾値を下回る中心点(i,j)のm x n領域を目と判断する。
【０１８４】
本実施形態では、目そのものを対象とした処理として赤目補正を行うとする。また、目そのものを対象とした処理以外の処理として、トリミングを行うとする。実施形態１〜３で説明した顔検出と同様に、本実施形態においても処理に用いる目の信頼度をその後の処理に応じて変更する。具体的には赤目補正を行う際に用いる目は、上記目信頼度が高い目を用いるよう、目と判断するための目信頼度の閾値を高く設定する。
【０１８５】
ここで、図４４を用いて、目の信頼度の閾値の変更による効果について説明する。図４４（a）は、人物が２人と日本の国旗が１つと信号機が１台撮影された元画像に対して、検出結果の信頼度が高い目検出を用いて目を検出した場合の検出結果を表す。検出結果の信頼度が高く、検出されたものはほぼ確実に目であるため「誤検出」はない。しかしながら、右側の人物の目が検出されておらず、「未検出」が発生している。図４４（b）は、検出結果の信頼度が低い顔検出を用いて目を検出した場合の検出結果を表す。検出結果の信頼度が低く、目ではないものも検出するため「未検出」はない。しかしながら、国旗と信号機が目として検出されており、「誤検出」が発生している。
【０１８６】
図４４（a）及び図４４（b）の目検出結果それぞれに対して、目を対象とした処理、例えば、赤目補正を行う。この場合、図４４（b）では日本の国旗や信号機の赤色が黒く補正されてしまう。すなわち、目を対象とした処理を目以外の検出結果に施すと弊害がある。
【０１８７】
したがって、上述したように、目信頼度の閾値を高く設定する。これにより、
図４４(a)のように確実に目である領域に対して赤目補正を行うことができる。その結果、日本の国旗や信号機の赤色部分を黒く補正してしまう可能性を減らすことができる。
一方で、トリミングを行う際に用いる際は、上記目信頼度が低い目も用いるよう、目と判断するための目信頼度閾値を赤目補正の場合よりも低く設定する。これにより、図４４(b)のように目はほぼ取りこぼさないため、人がトリミングによって一部または全部切り落とされる可能性を減らすことができる。なお、目信頼度を高く設定すると、図４４（a）では未検出の目を持つ人物が、人物と見なされずに切り落とされてしまう。すなわち、目そのものを対象とした処理以外の処理を目の検出結果に施すと弊害がある。
【０１８８】
赤目補正は、検出された目の色が好ましい色域よりも赤い場合に、明度または彩度を落とすことで赤目部分の画素値を入れ替える。本実施形態では、目信頼度の閾値を処理に応じて変更したが、これに限定されるものではない。閾値を処理に応じて変更する方法の他に、検出される目の信頼度が異なる別の目検出処理を使い分けても良い。例えば、目を対象とした処理に用いる目を検出する方法として、信頼度の高い目を検出するような特開2003-317084号公報で説明の目検出方法を用いることもできる。特開2003-317084号公報では、顔画像から検出した目の画像部分の候補を目候補とし、２つの目候補を候補ペアとして取り出し、両目らしさを評価する両目ペア評価値により候補ペアが両目たりうるか否かを評価する。
【０１８９】
以上のように、本実施形態では、目を対象とした処理の場合は、顔信頼度を高く設定することにより、目以外のオブジェクトが処理されるのを抑制することができる。一方、目そのものを対象とした処理以外の処理の場合は、顔信頼度を低く設定することにより、人物が顔切れするのをより確実に抑制することができる。
【０１９０】
（他の実施形態）
以上、本発明の各実施形態を説明したが、本発明の基本的構成は上述したものに限定されるものではない。以上説明した実施形態は本発明の効果を得るための一手段であり、類似の別手法を用いたり、異なるパラメータを用いたとしても、本発明と同等の効果が得られる場合は、本発明の範疇に含まれることは言うまでもない。
【０１９１】
オブジェクトそのものを対象とした処理としては、オブジェクトの検出やオブジェクトの補正が挙げられる。上述した実施形態では、個人認識・人物グルーピング、器官検出、人物認識、赤目検出、赤目補正、笑顔検出、肌検出、美肌補正、くっきり補正、小顔補正、ほくろ除去を例に挙げたが、これらに限定されるものではない。
【０１９２】
上述した実施形態では、オブジェクトそのものを対象とした処理以外の処理として、トリミング、文字重ね処理、背景ぼかし処理、背景合成処理を挙げたが、これに限定されるものではない。
【０１９３】
上述した実施形態では、顔のみを対象とする処理又は目のみを対象とする処理を行う際の検出信頼度は、これら以外の処理で検出信頼度よりも高くなるように設定したが、この条件を満たせば他の条件は特に限定されるものではない。
例えば、顔のみを対象とする処理又は目のみを対象とする処理を行う際に、処理内容に応じてさらに検出信頼度を変更するようにしてもよい。
【０１９４】
また、上述した実施形態では、レイアウト出力物として、１ページに複数の画像を配置した出力物を生成する例を挙げて説明したが、本発明は、複数ページのアルバム出力にも適用することができる。
【０１９５】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、上記の処理を１つのプロセッサにより実行する場合に限らず、複数のプロセッサにより実行する場合であってもよい。
【図１】
2014016821.tif 000006
【図２】
2014016821.tif 000007
【図３】
2014016821.tif 000008
【図４】
2014016821.tif 000009
【図５】
2014016821.tif 000010
【図６】
2014016821.tif 000011
【図７】
2014016821.tif 000012
【図８】
2014016821.tif 000013
【図９】
2014016821.tif 000014
【図１０】
2014016821.tif 000015
【図１１】
2014016821.tif 000016
【図１２】
2014016821.tif 000017
【図１３】
2014016821.tif 000018
【図１４】
2014016821.tif 000019
【図１５】
2014016821.tif 000020
【図１６】
2014016821.tif 000021
【図１７】
2014016821.tif 000022
【図１８】
2014016821.tif 000023
【図１９】
2014016821.tif 000024
【図２０】
2014016821.tif 000025
【図２１】
2014016821.tif 000026
【図２２】
2014016821.tif 000027
【図２３】
2014016821.tif 000028
【図２４】
2014016821.tif 000029
【図２５】
2014016821.tif 000030
【図２６】
2014016821.tif 000031
【図２７】
2014016821.tif 000032
【図２８】
2014016821.tif 000033
【図２９】
2014016821.tif 000034
【図３０】
2014016821.tif 000035
【図３１】
2014016821.tif 000036
【図３２】
2014016821.tif 000037
【図３３】
2014016821.tif 000038
【図３４】
2014016821.tif 000039
【図３５】
2014016821.tif 000040
【図３６】
2014016821.tif 000041
【図３７】
2014016821.tif 000042
【図３８】
2014016821.tif 000043
【図３９】
2014016821.tif 000044
【図４０】
2014016821.tif 000045
【図４１】
2014016821.tif 000046
【図４２】
2014016821.tif 000047
【図４３】
2014016821.tif 000048
【図４４】
2014016821.tif 000049
【図４５】
2014016821.tif 000050
【図４６】
2014016821.tif 000051