(57)【要約】【課題】画像中に複数の人物が存在する場合に各人物の顔態様の度合のばらつきを元画像より小さくした合成画像を提供できる画像編集装置、電子カメラ及び画像編集用のプログラムを提供する。【解決手段】合成ベース画像ＢＩ中の人物の顔を検出し、検出された各顔について表情の度合を評価する。顔を置き換えると表情の度合のばらつきを小さくしうる評価値を目標値として決定し、評価値が目標値から逸脱した人物について、データベース３９を検索し、より目標値に近づけられる評価値をもつ顔の画像が存在すれば、その人物の元の顔を、検索で得た顔の画像に置き換える画像合成処理を行う。この画像合成処理の結果、画像中に存在する複数の人物の表情のばらつきを元画像より小さく抑えた合成画像ＣＩが提供される。【選択図】図４
2011135267.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
画像中の人物の顔を検出する顔検出手段と、
前記顔検出手段が検出した顔の表情、向き、色のうち少なくとも一つを含む顔態様の度合を評価する評価手段と、
前記評価手段の評価結果に基づいて前記画像中における顔態様の度合のばらつきを顔の置き換えによって小さくしうる目標度合を決定する決定手段と、
前記画像中の複数の顔のうち前記顔態様の度合が前記目標度合から逸脱した顔を、当該目標度合により近い度合の顔に置き換える画像合成を行って合成画像を生成する画像合成手段と、
を備えたことを特徴とする画像編集装置。
【請求項２】
請求項１に記載の画像編集装置において、
前記決定手段は、前記画像中で最も出現頻度の高い度合を目標度合として決定することを特徴とする画像編集装置。
【請求項３】
請求項１又は２に記載の画像編集装置において、
人物別に顔の画像が顔態様の度合と対応付けて管理されたデータベースを記憶する記憶手段と、
前記画像中において前記目標度合と異なる度合の顔をもつ人物について前記目標度合により近い度合の顔を前記データベースで検索する検索手段を更に備え、
前記画像合成手段は、前記画像中で前記目標度合と異なる度合の顔をもつ人物の顔を前記検索手段が取得した度合の顔に置き換える画像合成を行うことを特徴とする画像編集装置。
【請求項４】
請求項１乃至３のうちいずれか一項に記載の画像編集装置において、
前記決定手段は、目標度合候補が複数存在する場合は、当該複数の目標度合候補をそれぞれ目標度合とみなして画像合成のシミュレートを行って各シミュレート毎に度合の分散値を求め、分散値を最も小さくしうる目標度合候補を前記目標度合として決定することを特徴とする画像編集装置。
【請求項５】
請求項４に記載の画像編集装置において、
前記分散値を最も小さくしうる目標度合が複数存在する場合は、当該複数の目標度合のうちの１つをユーザーに選択させるための操作手段を更に備えたことを特徴とする画像編集装置。
【請求項６】
請求項３乃至５のうちいずれか一項に記載の画像編集装置において、
前記画像取得手段は、処理対象として複数の画像を取得する構成であり、
前記データベースを作成するデータベース作成手段を更に備え、
前記評価手段は、前記複数の画像について当該各画像中の人物の顔態様の度合を人物別に評価する構成であり、
前記データベース作成手段は、前記評価手段の評価結果に基づいて前記複数の画像中に検出された顔を顔態様の度合に対応付けて人物別に管理した前記データベースを作成する構成であり、
前記決定手段は、前記複数の画像のうち操作手段の操作に基づき選択された一の画像を合成ベース画像とし、当該合成ベース画像中における各人物の顔態様の度合を評価した前記評価手段の評価結果に基づいて統計演算を行って前記目標度合を決定する構成であり、
前記検索手段は、前記合成ベース画像中の複数の顔のうち前記目標度合から逸脱した度合の顔をもつ人物について前記目標度合により近い度合の顔を前記データベースで検索することを特徴とする画像編集装置。
【請求項７】
請求項３乃至６のうちいずれか一項に記載の画像編集装置において、
前記評価手段は、前記評価の対象とした顔態様を第１の顔態様とした場合に当該第１の顔態様と異なる第２の顔態様の度合についても評価可能に構成され、
前記検索手段による検索の結果、前記目標度合により近い同じ度合の顔が複数存在した場合、前記評価手段は、前記画像中における複数の人物に対して評価した前記第２の顔態様の度合の評価結果に基づき第２の目標度合を決定し、
前記画像合成手段は、前記同じ度合の複数の顔のうち前記第２の顔態様の度合が第２の目標度合により近い１つを選択し、当該選択した顔に置き換える合成処理を行うことを特徴とする画像編集装置。
【請求項８】
請求項１乃至７のうちいずれか一項に記載の画像編集装置と、
撮影手段と、
前記撮影手段により撮影された画像及び前記画像編集装置が編集処理した画像を表示可能な表示手段と、
を備えたことを特徴とする電子カメラ。
【請求項９】
コンピュータに、画像を取得する画像取得ステップと、
前記画像中の顔を検出する顔検出ステップと、
前記顔検出ステップで検出された顔の表情、向き、色のうち少なくとも一つを含む顔態様の度合を評価する評価ステップと、
前記評価ステップで得られた評価結果に基づいて統計演算を行って前記画像中における顔態様の度合のばらつきを顔の置き換えによって小さくしうる目標度合を決定する決定ステップと、
前記画像中の複数の顔のうち前記目標度合から逸脱した度合の顔態様をもつ人物の顔について、当該人物の前記目標度合により近い度合の顔を記憶手段のデータベースで検索する検索ステップと、
前記検索ステップの結果、前記目標度合により近い度合の顔が検索されれば、前記画像中の該当人物の顔を当該検索された顔に置き換える画像合成を行う画像合成ステップと、
を実行させることを特徴とする画像編集用のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像が不適切である場合に、その顔画像をより適切な顔画像に置き換える合成処理を含む画像編集を行う画像編集装置、電子カメラ及び画像編集用のプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラやビデオカメラなどの撮影機器で撮影した画像を、その撮影機器の表示手段、あるいはその撮影機器からパーソナルコンピュータへ取り込んでそのモニタに表示させ、その表示された画像について画像合成を含む種々の画像編集処理が行われるようになっている。
【０００３】
例えば特許文献１には、視線がデジタルカメラの位置する方向へ向いていない被写体に対して、デジタルカメラの位置する方向へ視線が向いた画像を合成した画像を取得する技術が開示されている。また、この特許文献１には、「視線がデジタルカメラに向いている状態である」という状態条件の他に、ユーザが選択できる状態条件の候補として「顔の向き」「顔の部品」「眼の開閉」「表情」の項目も挙げられていた。
【０００４】
「顔の向き」「顔の部品」「眼の開閉」「表情」の各項目の状態条件は、「顔全体の向きがデジタルカメラに向いている状態である」、「顔の部品が全て見えている状態である」、「眼が開いている状態である」、「表情が笑顔の状態である」というものであった。さらに特許文献１には、各人物像に関して「状態条件」を満足する程度（度合）を点数として導出し、合成対象の人物像の選択に当たっては、複数の元画像にそれぞれ含まれる人物像のうちで、最も点数の高いものを選択する構成も開示されていた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２０３６００号公報（例えば段落［００６５］〜［００８６］、［０１０５］〜［０１１０］、図９、図１０、図１５、図１６等）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１では、被写体となっている人物の「視線の向き」、「顔の向き」「顔の部品」「眼の開閉」「表情」などの顔態様が状態条件に合った顔画像を合成するものの、その状態条件は、周囲の人物との顔態様の度合のバランスについては考慮されていなかった。例えば、顔態様が「表情」の場合、「表情が笑顔の状態である」という状態条件であったが、笑顔といっても、微笑なのか、口を大きく開けて笑っているのかといった表情に度合の差がある。このとき、最も点数の高い笑顔の顔画像が合成対象として選択されると、合成対象とされない大多数の人物の顔が微笑なのに対して、合成対象とされた人物の顔に、口を大きく開けて笑っている顔画像が合成されてしまい、全体のバランスが損なわれてしまうという問題があった。
【０００７】
本発明は上記問題点に鑑みてなされたものであって、その目的は、画像中に複数の人物が存在する場合に各人物の顔態様の度合のばらつきを元画像より小さくした合成画像を提供できる画像編集装置、電子カメラ及び画像編集用のプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記問題点を解決するために、本発明は、画像を取得する画像取得手段と、画像中の人物の顔を検出する顔検出手段と、前記顔検出手段が検出した顔の表情、向き、色のうち少なくとも一つを含む顔態様の度合を評価する評価手段と、前記評価手段の評価結果に基づいて前記画像中における顔態様の度合のばらつきを顔の置き換えによって小さくしうる目標度合を決定する決定手段と、前記画像中の複数の顔のうち前記顔態様の度合が前記目標度合から逸脱した顔を、当該目標度合により近い度合の顔に置き換える画像合成を行って合成画像を生成する画像合成手段と、を備えたことを要旨とする。
【０００９】
この構成によれば、画像中の顔の顔態様の度合が評価された評価結果に基づいて、画像中における顔態様の度合のばらつきを顔の置き換えによって小さくしうる目標度合が決定される。画像中の複数の顔のうち顔態様の度合が目標度合から逸脱した顔を、目標度合により近い度合の顔態様をもつ顔と置き換える画像合成が行われる。従って、顔態様の度合のばらつきを元画像より小さくした合成画像を提供できる。例えば画像中の顔を置き換える合成処理によって、全体のバランスが損なわれる事態を回避できる。
【００１０】
また、本発明の画像編集装置において、前記決定手段は、前記画像中で最も出現頻度の高い度合を目標度合として決定することが望ましい。この構成によれば、画像中で最も出現頻度の高い度合が目標度合とされ、この目標度合から逸脱した度合の顔態様をもつ顔が、目標度合により近い度合の顔に置き換えられる。従って、顔態様のばらつきを小さくした合成画像を提供できるうえ、合成処理の対象となる人物の数を比較的少なく抑えることができる。
【００１１】
本発明の画像編集装置において、人物別に顔の画像が顔態様の度合と対応付けて管理されたデータベースを記憶する記憶手段と、前記画像中において前記目標度合と異なる度合の顔をもつ人物について前記目標度合により近い度合の顔を前記データベースで検索する検索手段を更に備え、前記画像合成手段は、前記画像中で前記目標度合と異なる度合の顔をもつ人物の顔を前記検索手段が取得した度合の顔に置き換える画像合成を行うことが好ましい。この構成によれば、データベースを検索して置き換えるべき顔の画像を取得できる。
【００１２】
本発明の画像編集装置において、前記決定手段は、目標度合候補が複数存在する場合は、当該複数の目標度合候補をそれぞれ目標度合とみなして画像合成のシミュレートを行って各シミュレート毎に度合の分散値を求め、分散値を最も小さくしうる目標度合候補を前記目標度合として決定することが望ましい。この構成によれば、度合が同じである目標度合候補が複数存在する場合は、分散値を最も小さくしうる目標度合候補が目標度合とされるので、顔態様のばらつきのより少ない合成画像を提供できる。
【００１３】
本発明の画像編集装置において、前記分散値を最も小さくしうる目標度合候補が複数存在する場合は、当該複数の目標度合のうちの１つをユーザーに選択させるための操作手段を更に備えていることが好ましい。この構成によれば、分散値を最も小さくしうる目標度合が複数存在する場合、その中からユーザーに目標度合を選択させるので、ユーザーの好みの合成画像を提供できる。
【００１４】
本発明の画像編集装置において、前記画像取得手段は、処理対象として複数の画像を取得する構成であり、前記データベースを作成するデータベース作成手段を更に備え、前記評価手段は、前記複数の画像について当該各画像中の人物の顔態様の度合を人物別に評価する構成であり、前記データベース作成手段は、前記評価手段の評価結果に基づいて前記複数の画像中に検出された顔を顔態様の度合に対応付けて人物別に管理した前記データベースを作成する構成であり、前記決定手段は、前記複数の画像のうち操作手段の操作に基づき選択された一の画像を合成ベース画像とし、当該合成ベース画像中における各人物の顔態様の度合を評価した前記評価手段の評価結果に基づいて統計演算を行って前記目標度合を決定する構成であり、前記検索手段は、前記合成ベース画像中の複数の顔のうち前記目標度合から逸脱した度合の顔をもつ人物について前記目標度合により近い度合の顔を前記データベースで検索することが好ましい。
【００１５】
この構成によれば、処理対象として取得された合成ベース画像を含む複数の画像に基づいてデータベースが作成される。処理対象の複数の画像として、例えば互いに関連付けられた画像群、あるいは連続撮影された画像群、ユーザーが関連すると判断して選択した画像群を取得すれば、データベースを検索した際に、目標度合により近い度合の顔画像が得られる確率が高くなり、顔態様の度合のばらつきを元画像より効果的に小さくした合成画像を提供し易くなる。
【００１６】
本発明の画像編集装置において、前記評価手段は、前記評価の対象とした顔態様を第１の顔態様とした場合に当該第１の顔態様と異なる第２の顔態様の度合についても評価可能に構成され、前記検索手段による検索の結果、前記目標度合により近い同じ度合の顔が複数存在した場合、前記評価手段は、前記画像中における複数の人物に対して評価した前記第２の顔態様の度合の評価結果に基づき第２の目標度合を決定し、前記画像合成手段は、前記同じ度合の複数の顔のうち前記第２の顔態様の度合が第２の目標度合により近い１つを選択し、当該選択した顔に置き換える合成処理を行うことが好ましい。
【００１７】
この構成によれば、第１の顔態様で目標度合により近い度合の顔態様が複数存在する場合、第２の顔態様の度合が第２の目標度合により近い１つを選択するので、置き換えるべき顔として適切な顔を選択できる。この結果、より効果的に顔態様の度合のばらつきを小さくした合成画像を提供できる。
【００１８】
本発明は、電子カメラであって、上記発明に係る画像編集装置と、撮影手段と、前記撮影手段により撮影された画像及び前記画像編集装置が編集処理した画像を表示可能な表示手段とを備えていることを要旨とする。この電子カメラによれば、上記画像編集装置に係る発明と同様の作用効果を得ることができる。
【００１９】
本発明は、画像編集用のプログラムであって、コンピュータに、画像を取得する画像取得ステップと、前記画像中の顔を検出する顔検出ステップと、前記顔検出ステップで検出された顔の表情、向き、色のうち少なくとも一つを含む顔態様の度合を評価する評価ステップと、前記評価ステップで得られた評価結果に基づいて統計演算を行って前記画像中における顔態様の度合のばらつきを顔の置き換えによって小さくしうる目標度合を決定する決定ステップと、前記画像中の複数の顔のうち前記目標度合から逸脱した度合の顔態様をもつ人物の顔について、当該人物の前記目標度合により近い度合の顔を記憶手段のデータベースで検索する検索ステップと、前記検索ステップの結果、前記目標度合により近い度合の顔が検索されれば、前記画像中の該当人物の顔を当該検索された顔に置き換える画像合成を行う画像合成ステップと、を実行させるプログラムであることを要旨とする。この発明によれば、コンピュータに画像編集用のプログラムを実行させることにより、前記画像編集装置に係る発明と同様の作用効果を得ることができる。
【発明の効果】
【００２０】
本発明によれば、画像中に複数の人物が存在する場合に、各人物の顔態様の度合のばらつきを元画像より小さくした合成画像を提供できる、という優れた効果が得られる。
【図面の簡単な説明】
【００２１】
【図１】一実施形態における画像編集システムを示す斜視図。
【図２】編集設定画面を示す模式図。
【図３】画像編集装置の電気的な機能構成を示すブロック図。
【図４】画像編集処理を説明するための模式図。
【図５】（ａ）顔の表情の度合を示す評価値が示された合成ベース画像の模式図、（ｂ）表情の評価値分布を示すグラフ。
【図６】検索結果における人物別の評価値の分布を示すテーブル図。
【図７】優先順位に従った合成すべき顔画像の選択処理を説明するテーブル図。
【図８】画像合成後における評価値の分布を示すテーブル図。
【図９】（ａ）顔の表情の度合を示す評価値が示された合成ベース画像の模式図、（ｂ）表情の評価値分布を示すグラフ。
【図１０】評価値「７」を目標値した場合の検索結果を示すテーブル図。
【図１１】評価値「７」を目標値した場合の検索結果から変更対象の人物に関する情報を抽出したテーブル図。
【図１２】評価値「８」を目標値した場合の検索結果を示すテーブル図。
【図１３】評価値「８」を目標値した場合の検索結果から変更対象の人物に関する情報を抽出したテーブル図。
【図１４】評価値「７」を目標値した合成シミュレート結果を示すテーブル図。
【図１５】評価値「８」を目標値した合成シミュレート結果を示すテーブル図。
【図１６】画像編集処理ルーチンの前半部分を示すフローチャート。
【図１７】画像編集処理ルーチンの後半部分を示すフローチャート。
【発明を実施するための形態】
【００２２】
以下、本発明を具体化した一実施形態を図１〜図１７に基づいて説明する。
図１は、画像編集システムを示す。図１に示す画像編集システム１１は、パーソナルコンピュータ（以下、「ＰＣ１２」という）と電子カメラ１３とを備えている。
【００２３】
ＰＣ１２と電子カメラ１３とは通信ケーブル１４を通じて双方向通信可能に接続されている。ＰＣ１２は、本体１５と、モニタ１６と、キーボード１７及びマウス１８等よりなる入力装置１９（操作手段）とを備えている。本体１５には、画像編集装置２０が設けられている。この画像編集装置２０は、ユーザーが、入力装置１９を用いて指定した画像を編集するための装置である。詳しくは、本体１５内のハードディスク（図示省略）には、画像編集用のプログラムがインストールされており、このプログラムを実行する本体１５内のコンピュータとしてのＣＰＵ（中央処理装置）により画像編集装置２０が構成されている。このプログラムは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の記憶媒体に記憶されていたものを、本体１５に設けられた不図示の読取装置を介して記憶媒体からＰＣ１２にインストールされたものである。なお、ＰＣ１２と電子カメラ１３間で無線通信を行う構成でもよい。
【００２４】
ユーザーは、入力装置１９の操作でＰＣ１２内のＣＰＵに前記プログラムを実行させることにより、画像編集装置２０を起動させる。画像編集装置２０が起動すると、モニタ１６に編集設定画面２１（図２参照）が表示される。画像編集装置２０は、編集設定画面２１において、入力装置１９を用いてユーザーにより指定された画像（編集対象画像）を、例えば本体１５内のハードディスク、ＰＣ１２に接続された電子カメラ１３等の外部機器又はＵＳＢメモリ等の外部記憶媒体、あるいは本体１５に内蔵又は外付けの読取装置に挿着されたＣＤやＤＶＤから取得する。そして、画像編集装置２０は、その取得した画像中の複数の人物の顔のうち表情の度合の逸脱した人物の顔を、他の人物の表情に合わせた度合の表情の顔の画像に置き換える画像合成を行う。この画像合成によって、編集対象の画像は、複数の人物の顔の表情のばらつきが小さく抑えられた合成画像に編集される。
【００２５】
図１に示す電子カメラ１３は、その本体前面の略中央部に配置された撮像レンズ部２２とそのやや上側に配置されたフラッシュ２３と、本体上面に配置された電源スイッチ２４とレリーズボタン２５とを有している。この電子カメラ１３は、静止画撮影機能及び動画撮影機能を備え、静止画撮影モードでは連続撮影機能（連写機能）も使用できる。
【００２６】
電子カメラ１３はＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳイメージセンサ等の不図示の撮像素子を備える。電子カメラ１３内の不図示のメモリには、撮像レンズ部２２及び撮像素子等よりなる撮影手段により撮影された静止画や動画のファイル（画像ファイル）が記憶されている。この画像ファイルには、画像データの他に、撮影日時・撮影場所等を含む属性情報と、複数の画像を関連付けた関連情報とが含まれている。なお、撮影場所の情報は、電子カメラ１３が内蔵する不図示のＧＰＳ（Global Positioning System）センサの検出信号に基づき生成する。
【００２７】
本実施形態では、関連情報は主に４種類がある。１つめは、電子カメラ１３内のコンピュータが顔認識処理を行って、顔認識処理結果から同一人物（例えば顔登録人物の同一人物）が撮影されていると判断できた複数の画像を関連付けた関連情報である。２つめは、電子カメラ１３内のコンピュータが、画像ファイル中の属性情報に基づく撮影場所が設定範囲内（例えば10ｍ〜10kmの範囲内の設定距離以内）で同じとみなせ、かつ撮影時刻が設定期間内（例えば１分〜３日の範囲内の設定時間以内）で同じとみなせる複数の画像を関連付けた関連情報である。３つめは、ユーザーが電子カメラ１３の操作部２６（図３参照）を用いて複数の画像をマニュアル操作で関連付けた関連情報である。そして、４つめは、電子カメラ１３の連続撮影機能を用いて連続撮影された一群の画像を関連付けた関連情報である。これらの関連情報は、４種類のうちどの種類に属するかが認識可能な形態のデータである。電子カメラ１３及び画像編集装置２０は、これらの関連情報に基づき互いに関連付けられた複数の画像を関連画像として認識可能である。複数の関連画像には、大抵、メンバーの全員あるいはそのうち一部の人物が撮影された画像や、メンバーの一人も撮影されていない風景等の画像が含まれる。そして、複数の関連画像には、通常、同一人物の色々な表情の顔画像が含まれている。
【００２８】
本実施形態では、電子カメラ１３内にも、画像編集装置２７が設けられている。電子カメラ１３内のメモリには、ＰＣ１２内の画像編集用のプログラムと基本的に同様のプログラムがインストールされている。そして、電子カメラ１３内のＣＰＵ（コンピュータ）が画像編集用のプログラムを実行することにより、電子カメラ１３内に画像編集装置２７が構築される。よって、画像編集装置２７は、ＰＣ１２側の画像編集装置２０と基本的に同じ機能を有している。
【００２９】
カメラ本体の背面側には、表示部２８（図２参照）が設けられている。表示部２８は、例えば液晶表示装置（Liquid Crystal Display）（ＬＣＤ）よりなる。電子カメラ１３内の画像編集装置２７は、例えば電子カメラ１３で撮影した画像の編集に使用される。そして、表示部２８には、電子カメラ１３の撮影手段により撮影された画像及び画像編集装置２７が編集処理した合成画像などが表示される。なお、画像編集用のプログラムがインストールされて画像編集装置２０を内蔵する電子機器は、パーソナルコンピュータに限定されず、例えばＰＤＡ（Personal Digital Assistant）や携帯電話、携帯用ゲーム機、ＡＶ機器などでもよい。
【００３０】
図２は、画像編集システムの電気的な機能構成を示すブロック図である。図２に示すように、画像編集システム１１は、通信ケーブル１４を通じて相互に通信可能に接続されたＰＣ１２と電子カメラ１３とを備える。ＰＣ１２に備えられた画像編集装置２０と、電子カメラ１３に備えられた画像編集装置２７とは基本構成は同じである。従って、以下、ＰＣ１２に備えられた画像編集装置２０について詳細に説明する。
【００３１】
ＰＣ１２は、本体１５とモニタ１６と入力装置１９とを備えている。本体１５内には、画像編集装置２０、表示駆動回路２９及び通信インターフェイス（以下、「通信Ｉ／Ｆ３０」と記す）などが設けられている。画像編集装置２０は、コンピュータ３１と記憶部３２とを備えている。
【００３２】
表示駆動回路２９にはモニタ１６が電気的に接続されており、コンピュータ３１は表示駆動回路２９を介してモニタ１６の表示駆動を行う。
通信Ｉ／Ｆ３０は、通信ケーブル１４を通じて電子カメラ１３と接続され、コンピュータ３１からの指示に基づき電子カメラ１３と通信制御を行う。
【００３３】
画像編集装置２０は、この装置全体を司る制御部３３、入力装置１９からの入力を受け付ける受付部３４、表示駆動回路２９を介してモニタ１６に編集画面や画像などを表示させる表示処理を行う表示処理部３５、制御部３３の指示に従って画像編集処理を行う画像編集処理部３６、及び通信Ｉ／Ｆ３０及びに接続された画像取込部３７を備える。画像取込部３７は、電子カメラ１３等の外部機器から通信ケーブル１４及び通信Ｉ／Ｆ３０を通じて画像データを取得する機能、ＵＳＢメモリ、ＣＤやＤＶＤ等の記憶媒体から画像データを取得する機能、ＰＣ１２内の記憶部３２から画像データを取得する機能を有する。本実施形態では、この画像取込部３７により、画像取得手段が構成される。
【００３４】
画像編集装置２０では、モニタ１６に各種設定画面や画像編集結果の画像などを表示する処理は、制御部３３の指示に従って表示処理部３５が表示駆動回路２９を介してモニタ１６を駆動制御することで行われる。また、画像取込部３７は、電子カメラ１３から画像データ（画像ファイル）等のデータを受信して取り込む受信機能と、ＰＣ１２内の記憶部３２に格納された画像データ（画像ファイル）等のデータを記憶部３２から読み出して取り込む読出機能とを備えている。
【００３５】
ここで、編集設定画面２１について説明する。図２は、画像編集装置２０が起動されたときに表示される編集設定画面を示す。図２に示すように、編集設定画面２１には、ユーザーに画像の取込み元を選択させる画像取込元選択部４１が設けられている。コンピュータ３１は、ＰＣ１２に接続されている外部機器（例えば電子カメラ１３）や外部記憶媒体等を検出し、その検出した外部機器及び外部記憶媒体等とＰＣ１２との各フォルダを、画像取込元選択対象として表示する。図２に示す例では、画像取込元選択対象として電子カメラ１３とＰＣ１２とが表示されている。ユーザーは入力装置１９を用いて画像取込元のフォルダを選択する。フォルダは階層構造になっているので、所望の階層のフォルダを選択できる。例えば電子カメラ１３側のフォルダが選択されれば、コンピュータ３１は、電子カメラ１３からそのフォルダ内のサムネイル画像データを受信して、一覧表示部４２にサムネイル画像データに基づく画像を一覧表示する。一方、ＰＣ１２内の記憶部３２のフォルダが選択された場合は、そのフォルダ中のサムネイル画像データを読み込んで、一覧表示部４２にサムネイル画像データに基づく画像を一覧表示する。
【００３６】
また、編集設定画面２１には、関連画像の取り込み方法として「マニュアル」を選択するマニュアル選択ボタン４３と、関連画像の取り込み方法として「自動」を選択する自動選択ボタン４４と、画像取込ボタン４５と、編集対象の画像を選択するための合成ベース画像選択ボタン４６と、画像編集処理を開始する際に操作されるスタートボタン４７とが設けられている。
【００３７】
ユーザーは関連画像をマニュアルで取得したい場合は、入力装置１９を用いてマニュアル選択ボタン４３を操作した後、一覧表示の画像群の中から関連画像を選択する。このとき、ユーザーは必要に応じて画像取込元選択部４１でフォルダを選択して一覧表示部４２の画像を変更でき、変更した画像の中から関連画像の選択が可能になっている。一方、ユーザーは自動選択としたい場合、自動選択ボタン４４を操作してから、一覧表示部４２で１つ又は複数の画像を選択する。
【００３８】
次に画像取込ボタン４５が操作されると、画像取込部３７は、関連画像の画像データを取得する。このとき、マニュアル選択の場合は、選択された画像群の画像データを取得する。一方、自動選択の場合は、まず選択画像の関連情報を取得し、この関連情報に基づきその選択画像と関連付けられた画像（関連画像）及びその選択画像の画像データを取得する。このとき、画像取込ボタン４５の操作を受付けた際に、関連情報が複数種あった場合、ユーザーに複数種のうち全種類か一部の種類かを選択させる画面を表示し、ユーザーが選択した種類の関連情報を採用する。例えばマニュアル関連情報と連続撮影関連情報とがあった場合、ユーザーが選択した一方を採用する。なお、関連情報に基づく画像のうち、選択画像中の人物が写っている画像のみを関連画像として選択する構成も採用できる。
【００３９】
画像取込部３７が取り込んだ関連画像の画像データは、記憶部３２内の画像編集用の画像格納領域３８に格納される。そして、コンピュータ３１は、画像取込部３７が取り込んだ画像データに基づく画像を一覧表示部４２に表示する。次にユーザーは入力装置１９を用いて、一覧表示部４２における画像群の中から１つの画像を編集対象とする１枚の画像を選択したうえで、合成ベース画像選択ボタン４６を操作する。すると、コンピュータ３１の受付部３４は、その選択された画像を、顔画像の合成処理が行われるベースの画像である合成ベース画像（以下、単に「ベース画像」とも称す）として受付ける。そして、表示処理部３５が、そのベース画像をモニタ１６に別ウインドウで表示する。そして、ユーザーはその表示された画像でよければ、入力装置１９を用いて、画像編集処理を開始させるためにスタートボタン４７を操作する。このスタートボタン４７の操作を受付部３４が受付けると、制御部３３は、画像編集処理部３６に対してベース画像の画像編集処理の実行を指示する。
【００４０】
図４は、画像編集処理部３６が行う画像編集処理を説明する模式図である。図４において上側に示すのが合成ベース画像ＢＩ、下側に示すのが合成後の画像（以下、「合成画像ＣＩ」と称す）である。画像編集装置２０は、ベース画像ＢＩを含む関連画像について画像中の人物の顔の検出、及び検出した各顔の表情を人物別に評価する。例えば、図４のベース画像ＢＩに示すように、ベース画像ＢＩ中の人物Ａ〜Ｅの顔を検出して検出した人物の顔を強調表示し、検出した各顔の表情を人物Ａ〜Ｅ別に例えば１０段階評価で評価する。画像編集装置２０は、各関連画像に行った各人物の顔表情評価結果を基に、顔の表情の度合を示す評価値を人物別に管理したデータベース３９を作成し、それを記憶部３２に格納する。データベース３９には、顔画像が顔の表情の度合を示す評価値と共に人物別に管理されている。
【００４１】
図４に示すベース画像ＢＩでは、人物Ａ〜Ｄの顔の表情に関する評価値が「１０」であり、人物Ｅの顔の表情に関する評価値が「５」である。評価値「１０」が４人で最も出現頻度が高く、評価値「５」が１人なので、人物Ｅの表情の度合が、最も出現頻度の高い評価値（以下、「最頻値」ともいう）を持つ人物の表情の度合から逸脱している。そして、画像編集装置２０は、逸脱した人物Ｅについてデータベース３９を検索し、表情の評価値が最も出現頻度の高い「１０」に、最も近い表情を持つ人物Ｅの顔画像を探し出す。そして、探し出した顔画像の評価値（図４の例では「１０」）が、ベース画像ＢＩにおける人物Ｅの評価値「５」より最頻値「１０」に近ければ、その人物Ｅの元の顔画像をその探し出した評価値「１０」の顔画像に置き換える合成処理を行う。その結果、人物Ａ〜Ｅの顔の表情の度合が合い（図４の例では人物Ａ〜Ｅの全員が評価値「１０」）、表情の度合のばらつきが小さく抑えられた図４に示す合成画像ＣＩが提供される。
【００４２】
図３に示す画像編集処理部３６は、判定部５１、顔検出手段の一例としての顔検出部５２、評価手段の一例としての表情評価処理部５３、データベース作成手段の一例であるデータベース作成部５４、決定手段の一例である最頻値検出部５５、及び検索手段の一例である検索部５６を備えている。さらに画像編集処理部３６は、カウンタ５７、シミュレート処理部５８、分散値算出部５９、最小分散値検出部６０及び画像合成手段の一例である合成処理部６１を備えている。判定部５１は、画像編集処理における各種の判定処理を行う。
【００４３】
顔検出部５２は、関連画像として取り込まれた複数の画像（ベース画像も含む）について各画像中の顔を認識する顔認識処理を行って顔を検出する。
表情評価処理部５３は、顔検出部５２が検出した顔についての顔態様（顔の表情、顔の向き（角度）、顔の色（照明色））の度合を評価する評価処理を行う。本実施形態の表情評価処理部５３は、顔態様のうち顔の喜怒哀楽を表す表情の一つとして、笑顔の度合を評価する。但し、評価対象の顔の表情は、顔の喜怒哀楽を表す表情であれば足り、笑顔以外に、悲しい顔、怒った顔などの表情の度合も評価できるようになっている。また、表情評価処理部５３は、顔の表情以外に、顔の向き（顔の角度）と顔の色（顔の照明色）の各度合も評価可能となっている。
【００４４】
本実施形態では、顔の表情、顔の向き、顔の色の３種類の顔態様には優先順位が設定されており、顔の表情、顔の向き、顔の色の順で優先順位が高くなっている。一番優先順位の高い顔の表情（例えば笑顔）について画像中の人物の最頻の表情から逸脱した度合の表情をした人物の顔画像を置き換えるに当たり、その置き換える顔画像の候補が同じ表情の度合で複数あった場合は、２番目に優先順位の高い顔の向きについて最頻の顔の向きにより近づけられる１つの顔画像を選択する。さらに、２番目に優先順位の高い顔の向きについて、その置き換える顔画像の候補が同じ顔の向きの度合で複数あった場合は、３番目に優先順位の高い顔の色（照明色）について最頻の顔の色により近づけられる１つの顔画像を選択する。例えば画像中のある人物の顔に何かの影が当たり、顔の色が、最頻の顔の色（詳しくは明度）から逸脱しており、かつその人物の顔の周囲の比較的広い範囲に亘って影となっている訳ではなく、ほぼ顔だけに影が当たっている場合は、その人物の影の当たった顔画像を影のない顔画像に置き換える合成処理を行う。また、画像中の特定の人物の顔のみに色付き照明が当たって顔に照明の色が映っている場合も、他の人物の最頻の顔の色と同じ度合の色の顔画像に置き換える画像合成を行う。
【００４５】
もちろん、優先順位を付けるのではなく、顔の向きあるいは顔の色（照明色）が、最頻の顔の向きあるいは最頻の顔の色と逸脱する人物の顔画像については、最頻の顔の向きあるいは最頻の顔の色に近づけられる顔画像に置き換える画像合成を行う構成も採用できる。さらに、表情評価処理部５３が、顔の表情と顔の向きと顔の色とのうち少なくとも２つを含む複数の顔態様の度合を評価する構成とし、複数種の顔態様のそれぞれについてばらつきが小さくなるように顔画像を置き換える合成処理を行う構成も採用できる。
【００４６】
表情評価処理部５３は、認識した顔の目の角度や太さ、口の口角の上がり具合、歯の見え具合などを含む複数のパラメータのうち検出対象の表情に応じた幾つかのパラメータに基づき顔の表情の度合を評価する。笑顔の場合は、一例として、口角の上がり具合と歯の見え具合を、評価の主なパラメータとして含む。怒った顔の場合は、一例として、目の吊り上がり具合や口角の下がり具合、頬の膨らみ具合なども、評価のパラメータとして含む。悲しみの顔の場合は、一例として、目の角度や太さ、口角の下がり具合、口の形などを、評価のパラメータとして含む。
【００４７】
本実施形態の表情評価処理部５３は、顔の表情の度合（表情レベル）を１０段階で評価する。一例として、笑顔の度合（笑顔レベル）は、無表情（笑っていない表情）であれば「１」、微笑が「２」〜「４」の３段階に分かれ、笑顔が「５」〜「７」の３段階、口を開けて笑っている大笑いが「８」〜「１０」の３段階に分かれる。評価点が高いほど表情（笑い）の度合が強い。表情評価処理部５３は、顔の向きを、一例として、顔の左右回転方向と上下回転方向とのそれぞれについて９段階で評価する。詳しくは、表情評価処理部５３は、左右回転方向については正面角度０度を中心に右側へプラス、左側へマイナスをとり、−９０度〜＋９０度の範囲を例えば２０度毎の９段階で評価する。また、上下回転方向については、正面角度０度を中心に上側へプラス、下側へマイナスをとり、−９０度〜＋９０度の範囲を例えば２０度毎の９段階で評価する。さらに、表情評価処理部５３は、顔の色（照明色）を、画素値に基づく色相、彩度、明度の３つのパラメータでそれぞれ１０段階で評価する。
【００４８】
データベース作成部５４は、表情評価処理部５３の評価結果に基づき、検出された顔の画像をその顔の表情の評価値と共に人物別に管理したデータベース３９を生成する。データベース作成部５４は、関連画像の中から検出された顔画像を抜取る顔画像抽出機能と、その顔画像を評価値と共に人物別に管理したデータベース３９を作成するＤＢ作成機能とを有している。よって、データベース作成部５４によって生成されたデータベース３９は、図３に示すように、顔画像とその評価値とが人物別に管理されている。
【００４９】
最頻値検出部５５は、ベース画像中で検出された顔の評価値のうち、最も出現頻度の高い評価値を最頻値として検出する。
検索部５６は、評価値が最頻値と異なる人物の顔を置き換えるための顔画像を、データベース３９を検索して取得する。
【００５０】
シミュレート処理部５８は、最頻値が複数存在した場合に、最頻値と異なる評価値を有する人物の顔画像を最頻値に最も近い評価値を持つその人物の顔画像に置き換えるシミュレート処理を、各最頻値について行う。
【００５１】
カウンタ５７は、シミュレート処理部５８が何番目の最頻値についてのシミュレート処理を行っているかをカウントする計数処理を行う。
分散値算出部５９は、シミュレート処理ごとに最頻値に対する各人物の評価値の分散度を表す分散値を算出する。
【００５２】
最小分散値検出部６０は、分散値算出部５９が各シミュレート処理ごとに算出した複数の分散値のうち最小分散値を検出する。
そして、合成処理部６１は、最小分散値検出部６０が検出した最小分散値となる最頻値を採用し、その採用した最頻値と異なる評価値を持つ顔をその最頻値に最も近づける評価値を持つその人物の顔画像を置き換える合成処理を行う。なお、最小分散値が複数存在して１つに絞れない場合は、制御部３３が表示処理部３５に指示して複数の最小分散値に対応する複数の最頻値のうち１つをユーザーに選択させる選択画面を表示させる。そして、合成処理部６１は、ユーザーが入力装置１９を用いてその選択画面において選択した１つの最頻値を採用して、前記合成処理を行うようになっている。
【００５３】
ＰＣ１２の記憶部３２には、図１６及び図１７にフローチャートで示す画像編集処理ルーチンのプログラムが記憶されている。次に、画像編集装置２０が行う画像編集処理について、図１６及び図１７に示すフローチャートに従って説明する。
【００５４】
ユーザは、画像編集を行う際は、ＰＣ１２の入力装置１９を操作して画像編集装置２０を起動する。画像編集装置２０は起動されると、モニタ１６に図２に示す編集設定画面２１を表示する。この編集設定画面２１において、ユーザーは入力装置１９を用いて画像取込元選択部４１で操作を行って一覧表示部４２に画像群を表示させる。そして、マニュアル選択ボタン４３又は自動選択ボタン４４を操作した後、画面の指示に従って一覧表示部４２において関連画像の選択操作を行った後、画像取込ボタン４５を操作する。この画像取込ボタン４５の操作を受付部３４が受付けると、コンピュータ３１は、図１６及び図１７に示す画像編集処理を実行する。
【００５５】
まずステップＳ１０では、処理対象の画像を取り込む。すなわち、画像取込部３７が関連画像の画像データを取り込んで、記憶部３２の画像格納領域３８に格納する。そして、表示処理部３５が、制御部３３の指示に従って、画像格納領域３８から読み出した画像データに基づく関連画像を、編集設定画面２１の一覧表示部４２に一覧表示させる。なお、このステップＳ１０の処理が、画像取得ステップに相当する。
【００５６】
次のステップＳ２０では、合成ベース画像の選択及び表示を行う。ユーザーは、入力装置１９を用いて合成ベース画像選択ボタン４６を操作し、画面に表示された指示に従って、一覧表示された関連画像群の中から画像編集を希望する一枚の画像を合成ベース画像として選択する。そして、ユーザーは入力装置１９を用いてスタートボタン４７を操作する。このスタートボタン４７の操作を受付部３４が受け付けると、コンピュータ３１の制御部３３は、表示処理部３５に指示してモニタ１６に合成ベース画像を表示させる。
【００５７】
次のステップＳ３０では、処理対象となる全ての画像（関連画像）の顔検出を行う。すなわち、コンピュータ３１内の顔検出部５２が、制御部３３の指示に従って関連画像の１枚ずつについて顔検出処理を行う。この顔検出処理は、顔の特徴抽出を伴う公知の顔認識処理によって、画像中に存在する顔を検出する。一例として、両目の間隔、目と口の位置関係などを特徴量として顔の検出を行う。この顔検出処理では、顔であることの認識（検出）と、顔の特徴に基づく人物の識別とを行う。関連画像の全てが風景や静物の写真などであって、人物の顔が写った画像が１枚もない場合は、顔が検出されない。画像の１枚でも顔が検出されれば、顔検出データが記憶部３２の所定記憶領域に記憶される。よって、顔が検出されなければ、記憶部３２の所定記憶領域には顔検出データが記憶されない。なお、このステップＳ３０の処理が、顔検出ステップに相当する。
【００５８】
次のステップＳ４０では、コンピュータ３１が、取り込んだ画像の顔検出データが有りか否かを判断する。すなわち、判定部５１が記憶部３２の所定記憶領域内における顔検出データの有無を調べる。そして、顔検出データが有れば次のステップＳ５０に進み、顔検出データが無ければ当該ルーチンを終了する。
【００５９】
ステップＳ５０では、コンピュータ３１が表情の評価値を算出する。詳しくは、表情評価処理部５３が、検出された顔について表情の度合を人物別に評価する。表情評価処理部５３はまず眼と口とを含む顔の部品を特徴抽出し、予め記憶する顔の表情の度合を複数段階（例えば１０段階）に分けた表情の度合毎に特徴パターンと、特徴抽出した顔の特徴パターンとを比較して、その顔の表情の度合を評価する。本実施形態では、表情の一例として笑顔を採用し、笑顔の度合を例えば１０段階の評価値で評価する。この結果、顔検出部５２により検出された全ての顔について表情の度合を示す評価値が得られる。なお、このステップＳ５０の処理が、評価ステップに相当する。
【００６０】
ステップＳ６０では、コンピュータ３１が表情の評価値をデータベースに登録する。例えば図５（ａ）に示す合成ベース画像ＢＩの例では、人物Ａ〜Ｊの１０人が撮影されている。この例では、データベース作成部５４が、各人物Ａ〜Ｊの笑顔の度合を示す評価値を人物別に登録する。このとき、データベース作成部５４は、処理対象の各画像から人物の顔画像を切り取って（トリミングして）顔画像データを取得し、各顔画像データを評価値と共に人物別にデータベース３９に格納する（図４におけるデータベース３９を参照（但し、図４は人物５人の例））。
【００６１】
図５（ａ）に示す合成ベース画像ＢＩの例では、１０人中６人の人物Ａ，Ｂ，Ｄ，Ｅ，Ｇ，Ｈの笑顔が評価値「８」であり、人物Ｃが評価値「７」、人物Ｆが評価値「９」、人物Ｉが評価値「１０」、人物Ｊが評価値「５」となっている。このため、笑顔の評価値のうち最も出現頻度の高い最頻値は「８」である。このように、図５（ａ）に示す合成ベース画像ＢＩでは、人物間で笑顔の度合（評価値）に少しばらつきがある。
【００６２】
ステップＳ７０では、コンピュータ３１は、合成ベース画像の顔検出データ有りか否かを判断する。すなわち、判定部５１は記憶部３２の所定記憶領域内において合成ベース画像に対応する顔検出データの有無を調べる。そして、顔検出データが有れば次のステップＳ８０に進み、顔検出データが無ければ当該ルーチンを終了する。
【００６３】
ステップＳ８０では、合成ベース画像上で、検出した顔部分を強調表示すると共に、算出した評価値を画像に表示する。すなわち、表示処理部３５は制御部３３の指示に従って、顔検出部５２が検出した顔部分を囲む矩形枠を強調表示すると共に、データベース３９の登録情報に基づいて、合成ベース画像中の各顔の近傍に評価値を表示する。
【００６４】
次のステップＳ９０では、コンピュータ３１は最頻値を検出する。すなわち、最頻値検出部５５が、データベース３９の登録情報に基づいて合成ベース画像ＢＩ中の人物の評価値のうち最も出現頻度の高い評価値を最頻値として検出する。図５（ｂ）は、横軸に評価値、縦軸に人数を示した表情の評価値分布を示したものである。この図５（ａ）に示す合成ベース画像ＢＩの例では、最頻値検出部５５は、図５（ｂ）に示すように、人数の最も多い評価値「８」を最頻値として検出する。このように本例では、表情の評価値分布から最も出現頻度の高い評価値（最頻値）を求める統計演算を行う。なお、このステップＳ９０の処理が、決定ステップに相当する。
【００６５】
ステップＳ１００では、最頻値は１つのみであるか否かを判断する。最頻値が１つのみであればステップＳ１１０に進み、１つのみでなければ（つまり複数個あれば）ステップＳ１４０に進む。図５（ａ）に示す合成ベース画像ＢＩの例では、最頻値は１０人中６人がとる評価値「８」の１つのみなので、ステップＳ１１０に進むことになる。
【００６６】
ステップＳ１１０では、変更対象の人物を決定する。すなわち、判定部５１は、合成ベース画像ＢＩ中の人物のうち、目標値と異なる評価値と判定した人物を変更対象として決定する。例えば、図５（ａ）の例では、目標値（最頻値）「８」以外の評価値をもつ人物Ｃ，Ｆ，Ｈ，Ｊが変更対象として決定される。
【００６７】
ステップＳ１２０では、変更対象となった人物の顔画像データを検索する。詳しくは、検索部５６が、データベース３９を検索対象として、変更対象となった人物の顔画像データを検索する。このとき、検索するのは、合成ベース画像ＢＩ上で判定された当該人物の評価値より目標値に近い評価値をもつ顔画像データである。検索の結果、存在した顔画像データが合成する顔画像データの候補となる。ここで、図５の例では、変更対象は目標値（最頻値）「８」以外の評価値をもつ人物Ｃ，Ｆ，Ｈ，Ｊとなり、各人物Ｃ，Ｆ，Ｈ，Ｊの顔画像データをデータベース３９で検索した結果、各人物Ａ〜Ｉの評価値が、図６に示すテーブルのようになったと仮定する。図６では、●印が合成ベース画像中の人物の顔の評価値を示し、△印が処理対象の画像（関連画像）のうち合成ベース画像以外の画像（以下、「データベース画像」と称す）を指す。図６の例では、合成ベース画像ＢＩにおいて評価値が目標値「８」であって変更対象ではない人物Ａ，Ｂ，Ｄ，Ｅ，Ｇ，Ｉの顔はそのままでよいので、評価値「８」の１枚の画像のみ示されており、人物Ｃ，Ｆの顔が３枚の画像、人物Ｈの顔が２枚の画像、人物Ｊの顔が４枚の画像にそれぞれ撮影されている。
【００６８】
ステップＳ１３０では、優先順位に基づき合成データを採用する。合成する顔画像データ（合成データ）の採用手順は詳しくは次のとおり行われる。変更対象となった人物毎に、目標値の評価値を優先順位の１番目として、評価値が１段階離れるごとに、評価値の高い方から、２番目→３番目→…と走査していき、顔画像データが存在する箇所を探す。合成ベース画像ＢＩ（元画像）の顔画像データ（元の顔画像）に行くまで顔画像データが存在しない場合、合成ベース画像ＢＩの顔画像データが採用されることになり、合成の必要はなくなる。
【００６９】
図７に示すテーブルは、図６において変更対象となった人物だけを抽出して優先順位を示したものである。ここで目標値が「８」であることから、図７に示す優先順位となる。よって、優先順位に従って、変更対象人物の合成データは図７に網掛けで示す評価値の顔画像データを採用することになる。すなわち、図７に示すように、人物Ｃの場合は、目標値である評価値「８」の顔画像データを合成データとして採用することになる。また、人物Ｆの場合は、合成ベース画像ＢＩの顔画像データを採用することになり、このとき合成処理の必要がない。さらに人物Ｈの場合は評価値「９」の顔画像データ、人物Ｊの場合は評価値「７」の顔画像データをそれぞれ合成データとして採用することになる。なお、本実施形態では、ステップＳ１２０，Ｓ１３０の処理が、検索ステップに相当する。
【００７０】
ステップＳ２３０では、合成処理が必要であるか否かを判断する。採用する顔画像データの全てが合成ベース画像ＢＩ中の顔画像データであれば、合成処理の必要がないと判断して、当該ルーチンを終了する。一方、採用する顔画像データのうち１つでも合成ベース画像以外の画像（データベース画像）の顔画像データが含まれていれば、合成処理が必要と判断して、ステップＳ２４０に進む。
【００７１】
ステップＳ２４０では、合成処理を実行する。すなわち、合成処理部６１が、変更対象人物の合成データを、合成ベース画像ＢＩの対応する人物の顔領域に合成する画像合成処理を行う。その結果、図４の例で示すように、合成ベース画像ＢＩにおける変更対象の人物の顔が合成データの顔に置き換えられた合成画像ＣＩが得られる。図５（ａ）に示す合成ベース画像ＢＩの例では、図７に網掛けで示すように人物Ｃの顔が評価値「７」から「８」の顔に置き換わり、人物Ｈの顔が評価値「１０」から「９」の顔に置き換わり、人物「Ｊ」の顔が評価値「５」から「７」の顔に置き換わった合成画像ＣＩが得られる。
【００７２】
図８は、上記の手順に基づいて確定した顔画像データを採用した結果のテーブルを示す。図６において●印で示す合成ベース画像ＢＩでは、評価値「５〜１０」と人物（被写体）の表情の度合にばらつきがあったが、合成ベース画像ＢＩを画像合成処理により合成画像ＣＩに編集することで、図８に示すように、人物の顔の表情の度合のばらつきを評価値「７〜９」に収めることができる。なお、ステップＳ２４０の処理が、画像合成ステップに相当する。
【００７３】
ステップＳ２５０では、データ保存、再表示する。制御部３３は、画像編集処理部３６が画像合成処理して得た合成画像データを記憶部３２に保存すると共に、表示処理部３５に指示してモニタ１６に合成ベース画像ＢＩに替えて合成画像ＣＩを表示（再表示）させる。
【００７４】
次に、最頻値が１つに決まらない場合を説明する。図９（ａ）は、最頻値が１つに決まらない例の合成ベース画像を示し、同図（ｂ）は、この合成ベース画像における表情の評価値分布を示す。
【００７５】
図９に示す合成ベース画像ＢＩの例では、最頻値が１つに決まらず複数存在する。すなわち、図９（ａ）に示す合成ベース画像ＢＩの例では、１０人中４人の人物Ｃ，Ｅ，Ｆ，Ｈの表情が評価値「７」、４人の人物Ａ，Ｂ，Ｄ，Ｇの表情が評価値「８」、人物Ｉが評価値「６」、人物Ｊが評価値「５」である。このため、この合成ベース画像ＢＩでは、最頻値が「７」と「８」の２つ存在し（最頻値Ｍ１＝７、Ｍ２＝８）、目標値が１つに決まらない。このような場合、ｎ個（但し、ｎ≧２）の最頻値Ｍ１〜Ｍｎをそれぞれ目標値と仮定して合成処理のシミュレートをｎ回行い、各シミュレート毎に求めた分散値が最小となる最頻値を目標値に決定する。
【００７６】
図９（ａ）に示す合成ベース画像ＢＩの例では、ステップＳ９０において、複数の最頻値が検出されるため、ステップＳ１００において、最頻値が１つのみではない（つまり最頻値が複数存在する）と判断される。このように、最頻値が複数存在して目標値が１つに決まらない場合は、ステップＳ１４０に進むことになる。
【００７７】
ステップＳ１４０において、最頻値Ｍｘ（＝Ｍ１〜Ｍｎ）の初期値を設定する（ｘ←１）。すなわち、最頻値がｎ個（ｎ≧２）ある場合、そのｎ個の最頻値をＭ１〜Ｍｎとおくと、まず最初の最頻値Ｍ１についてシミュレートを行うため、最頻値Ｍｘ（但し、ｘ＝１〜ｎ）のｘに初期値ｘ←１を設定する。このとき、ｘの値を計数するカウンタ５７には初期値１がセットされる。これにより最初の最頻値Ｍ１が選択される。
【００７８】
ステップＳ１５０では、最頻値Ｍｘを目標値としてシミュレートする。すなわち、シミュレート処理部５８は、最頻値Ｍｘ（１回目はＭｘ＝Ｍ１）を目標値と仮定して、判定部５１、検索部５６、合成処理部６１等に、変更対象人物の決定（Ｓ１１０）、変更対象人物の顔画像データの検索（Ｓ１２０）、優先順位に基づく合成データの採用（Ｓ１３０）の各処理を指示することにより合成処理をシミュレートする。
【００７９】
図１０は、図９の例において２個の最頻値のうち評価値「７」を目標値としたシミュレート結果の例を示す。評価値「７」を目標値と仮定して、変更対象の人物を決定し、データベース３９から変更対象の人物の他の評価値をもつ顔画像データを検索する。このシミュレートの結果、図１０に示すシミュレート結果が得られたとする。変更対象の人物だけを抽出すると、図１１に示すようになり、優先順位を基に合成する顔画像データ（合成データ）を決定する。評価値「７」を目標値とした場合、図１１に網掛けで示すように、変更対象の人物Ａ，Ｂ，Ｄ，Ｇ，Ｉ，Ｊの全てについて優先順位が第１位（つまり評価値が目標値に一致する）の顔画像データが存在する。
【００８０】
ステップＳ１６０では、シミュレート結果における分散値を算出する。すなわち、分散値算出部５９が、シミュレート結果における分散値を算出する。本例における分散値は、標準分散である。この分散値は、最頻値を目標値として合成処理のシミュレートを行ったときの評価値のばらつきの度合を判定でき、合成処理によりどの位ばらつきが収まったかを判断する指標として使用される。この分散値が小さいほど、評価値のばらつきが小さいと判断できる。
【００８１】
ここで、標本分散ｓ２を説明する。まずｎ個のデータｘ１，ｘ２，…ｘｎからなる標本がある場合、相加平均は次式で与えられる。
【００８２】
【数１】
2011135267.tif 000003
標本分散ｓ２は、（１）式で与えられる相加平均を用いて以下の（２）式で与えられる。
【００８３】
【数２】
2011135267.tif 000004
ステップＳ１７０では、ｘ＝ｎであるか否かを判断する。つまり、ｎ個の最頻値Ｍ１〜Ｍｎの全てについて、最頻値を目標値とするシミュレート及び分散値の算出を終えたか否かを判断する。ｘ＝ｎでなければ、ステップＳ１８０に進んで、ｘをインクリメントしてｘ＋１とした後、ステップＳ１５０に戻る。例えば最頻値Ｍ１のシミュレート及び分散値の算出を終えると、次は最頻値Ｍ２について同様に、最頻値Ｍ２を目標値とするシミュレート（Ｓ１５０）及びシミュレート結果における分散値の算出（Ｓ１６０）を行う。
【００８４】
図１２は、図９の合成ベース画像ＢＩの例において２個の最頻値のうち評価値「８」を目標値としたシミュレート結果の例を示す。評価値「８」を目標値と仮定して、変更対象の人物を決定し、データベース３９から変更対象の人物の他の評価値をもつ顔画像データを検索する。このシミュレートの結果、図１２に示すシミュレート結果が得られたとする。変更対象の人物だけを抽出すると、図１３に示すようになり、優先順位を基に合成する顔画像データ（合成データ）を決定する。図１３に示すように、変更対象の６人の人物Ｃ，Ｅ，Ｆ，Ｈ，Ｉ，Ｊのうち、人物Ｅ，Ｆ，Ｈの３人については優先順位が第１位（つまり評価値が目標値に一致する）の顔画像データが存在する。人物Ｉ，Ｊの２人については優先順位が第３位の顔画像データが存在する。そして、人物Ｃについては合成ベース画像の元の顔画像よりも目標値により近い顔画像データが存在しないので、合成処理の対象とならない。
【００８５】
ここで、評価値「７」を目標値に設定した場合と、評価値「８」を目標値に設定した場合とで、合成処理を行った結果を比較する。図１４は、評価値「７」を目標値とした場合の合成結果を示し、図１５は、評価値「８」を目標値とした場合の合成結果を示す。それぞれ合成結果における評価値のばらつき度を判定するために、分散値を算出する。図１４に示すように、評価値「７」を目標値とした場合は全ての人物Ａ〜Ｊを同じ評価値「７」にすることができたため、分散値ｓ２を算出するとその値は「０」になる（ｓ２＝０）。一方、図１５に示すように、評価値「８」を目標値とした場合には、若干のばらつきが見られ、分散値ｓ２を算出すると、その値は「０．２１」になる（ｓ２＝０．２１）。
【００８６】
ステップＳ１９０では、最小の分散値を検出する。すなわち、最小分散値検出部６０が最小の分散値を検出する。図１４及び図１５に示す例では、評価値「７」を目標値とした場合の分散値「０」と、評価値「８」を目標値とした場合の分散値「０．２１」とのうち一番小さい分散値「０」を最小の分散値として検出する。
【００８７】
ステップＳ２００では、最小の分散値が複数存在するか否かを判断する。最小の分散値が複数存在しなければ、ステップＳ２１０に進んで、分散値が最小となったシミュレート結果を採用する。一方、最小の分散値が複数存在すれば、ステップＳ２２０に進んで、ユーザーが選択した結果を採用する。詳しくは、最小の分散値が複数存在した場合は、モニタ１６に、各最頻値を目標値としたシミュレート結果の合成画像と目標値とを表示し、ユーザーに入力装置１９の操作により、いずれか１つの合成画像又は目標値を選択させる。
【００８８】
こうして目標値が決まると、ステップＳ２３０において、合成処理が必要であるか否かを判断し、合成処理が必要でなければ当該ルーチンを終了し、一方、合成処理が必要であれば、ステップＳ２４０に進んで、合成処理を実行する。そして、合成画像データの保存及び合成画像の再表示を行う。
【００８９】
以上詳述したようにこの実施形態によれば、以下の効果が得られる。
（１）合成ベース画像ＢＩ中の人物の表情のばらつきを小さく抑えうるように統計演算によって得られた表情の度合（評価値）を目標値に決定し、その目標値により近づけることが可能な評価値をもつ表情の顔画像を元の顔に置き換える合成処理を行う。このため、合成ベース画像ＢＩ中に存在する複数の人物の表情の度合のばらつきを、その合成ベース画像ＢＩより小さく抑えた合成画像ＣＩを提供することができる。よって、表情に関して全体のバランスが損なわれることがなく、全体のバランスのとれた合成画像ＣＩを提供できる。
【００９０】
（２）統計演算として、合成ベース画像ＢＩにおける各人物の表情の評価値別の出現頻度を演算すると共に、その評価値別の出現頻度の分布から最も出現頻度の高い表情の評価値（度合）を演算し、最も出現頻度の高い評価値を目標値（目標度合）として決定する手法を採用した。このため、合成ベース画像中で最も出現頻度の高い表情に近づけるように、変更対象の人物の顔を置き換える合成処理がなされるので、各人物の表情に関して全体にバランスのとれた合成画像ＣＩを提供できる。しかも、合成処理の対象（変更対象）となる人物の数を比較的少なく抑えることができ、合成処理する顔の個数を少なく抑えることができる。また、目標値から逸脱していない評価値の人物については合成ベース画像の顔がそのままの使用されるので、合成画像ＣＩにおいて不自然さがあまりない。
【００９１】
（３）人物別に顔画像が表情の評価値（度合）と対応付けて管理されたデータベース３９を検索して、変更対象の人物について目標値（目標度合）により近い評価値をもつ表情の顔があれば、その顔の顔画像を取得して、その人物の元の顔をその顔画像に置き換える画像合成処理を行う。よって、データベース３９を検索して置き換えるべき顔画像を取得できる。
【００９２】
（４）最も出現頻度の高い評価値である目標値の候補（目標度合候補）が複数存在する場合は、複数の目標値の候補をそれぞれ目標値（目標度合）とみなして画像合成のシミュレートを行って、各シミュレート毎に表情の評価値の分散値を求め、分散値を最も小さくしうる目標値の候補を目標値として決定する。よって、最も出現頻度の高い評価値が複数存在した場合でも、表情の度合のばらつきのより小さな合成画像ＣＩを提供できる。
【００９３】
（５）分散値を最も小さくしうる目標値の候補が複数存在する場合は、その中の１つを入力装置１９（操作手段）の操作でユーザーに選択させるので、ユーザーの好みの合成画像ＣＩを提供できる。
【００９４】
（６）処理対象として取得した複数の画像について各画像中の人物の顔の表情の度合を人物別に評価した評価結果に基づいて、データベース作成部５４が複数の画像中に検出された顔の画像を表情の評価値（度合）に対応付けて人物別に管理したデータベース３９を作成する。処理対象の複数の画像として、互いに関連付けられた画像群、あるいは連続撮影された画像群、ユーザーが関連すると判断して選択した画像群などの関連画像が取得される。このため、検索部５６が目標値から逸脱した評価値の表情をもつ人物の目標値により近い評価値の顔をデータベース３９で検索した際に、目標値により近い評価値の顔画像が得られる確率が高くなり、顔の表情の度合のばらつきを元画像より効果的に小さくした合成画像ＣＩを提供し易くなる。
【００９５】
（７）電子カメラ１３にも画像編集装置２７を備えたので、例えば電子カメラ１３で撮影した合成ベース画像ＢＩを編集した合成画像ＣＩを生成することができる。
前記実施形態は上記に限定されず、以下の態様に変更することもできる。
【００９６】
・表情を第１の顔形態として採用し、表情の度合が目標度合と同じ又は目標度合により近い同じ度合の顔画像が複数存在した場合に、それら複数の顔画像の中から合成データを選択する方法として、第１の顔形態と異なる第２の顔形態における顔の度合がその目標度合（第２の目標度合）により近い顔画像を合成データとする方法を採用できる。第２の顔形態としては、例えば顔の向きと顔の色（照明色）とのうち少なくとも一方を採用できる。例えば、合成ベース画像中の複数の人物の顔について、表情評価処理部５３が、第１の顔形態（例えば表情（一例として笑顔））の度合を評価すると共に、最頻値検出部５５が検出した最頻値を第１の目標値（第１の目標度合）とする。検索部５６によるデータベース３９の検索の結果、変更対象の人物について第１の顔形態の度合（評価値）を第１の目標値により近くできる評価値の顔画像が複数存在した場合は、合成ベース画像中の複数の人物の顔について第２の顔形態（顔の向き又は顔色）の度合を評価すると共に、最頻値検出部５５が検出した最頻値を第２の目標値（第２の目標度合）とする。そして、前記複数存在した顔画像のうち、第２の顔形態の度合（評価値）を第２の目標値に一番近くしうる１つを、合成データとして採用する。そして、合成処理部６１が、合成ベース画像におけるその人物の顔領域を、採用した合成データに置き換える画像合成処理を行う。この構成によれば、第１の顔態様で第１の目標度合により近い度合の顔画像が複数存在する場合、複数存在する顔画像のうち、第２の顔態様の度合が第２の目標度合により近い１つを選択するので、置き換えるべき顔画像を適切に選択できる。この結果、より効果的に顔態様の度合のばらつきを小さくした合成画像を提供できる。
【００９７】
・表情とは、笑顔に限定されず、喜怒哀楽の分かる他の表情も含む。例えば怒った顔、悲しんだ顔などの他の表情を採用してもよい。また、本明細書における顔態様には、顔の向きも含む。顔の向きの度合を複数段階に分け、例えば正面（±０°）、右斜め１０°、２０°、…、１８０°、左斜め１０°、２０°、…、１８０°、上斜め１０°、２０°、…、９０°、下斜め１０°、２０°、…、９０°を、顔向きの度合のパラメータとして、これらの１つ又は複数の組合せで顔の向きを特定する。そして、複数人の顔の向きの中で最も出現頻度の高い顔の向きの度合を目標度合とし、目標度合から逸脱した顔向き度合の顔については、より目標度合に近い度合の顔を検索し、該当する顔が検索されれば、その検索された顔の顔画像を元の顔に置き換える画像合成処理を行う。
【００９８】
さらに、本明細書における顔形態には、顔の色も含む。例えば、朝日の当たった顔の色、日中の顔の色、夕焼け時の顔の色、日向の顔の色、日陰の顔の色、晴天時の顔の色、曇天時の顔の色、雨天時の顔の色、照明（蛍光灯、白熱灯等）の下での顔の色、フラッシュ撮影時の顔の色、撮影モードに応じた顔の色などを含む。例えば、照明の当たり方が部分的であったり、一部の人物が日陰に入っていたりして、一部の人の顔色が他の大勢の人の顔色と異なる場合は、最も出現頻度の高い顔色を目標値として、目標値から逸脱した人物の顔を目標値により近い顔色の顔画像に置き換える合成処理を行うようにしてもよい。
【００９９】
・前記実施形態において、最頻値が複数存在して目標値の候補が複数ある場合、そのうち最小の分散値としうる１つを選択する構成に替え、ユーザーに選択させてもよい。
・統計演算は、最頻値を求める統計演算に限定されない。例えば評価値「３」が５人で最頻値であっても、評価値「７」が４人、評価値「８」が４人の場合は、最頻値「３」を目標値にするのではなく、表情の度合の分布が集中している評価値「７」又は「８」、あるいは「７」と「８」の平均値「７．５」を、目標値として決定する統計演算も採用できる。例えば目標値「７．５」とした場合、評価値「７」の４人と評価値「７」の４人の顔はそのままで、最頻値「３」を評価値としてもつ５人の顔を評価値「７．５」に近づける顔の画像合成が行われる。さらに、合成ベース画像における各人物の評価値の平均値（上記の例では、３×５＋７×４＋７×４）／１３＝５．４６）を算出し、存在する評価値「３」「７」「８」のうち平均値に最も近い評価値（この例では「７」）を目標値として決定する統計演算も採用できる。このように、平均を求める場合、存在する評価値のうちから平均に最も近い評価値を目標値として決定する統計演算を採用することが好ましい。この構成によれば、目標値の顔については合成しなくて済み、目標値と異なる評価値の顔のみ合成すればよい。このため、合成処理の処理負担を軽減できるうえ、元々の妥当な表情の顔を、表情の微差の改善のため合成をしたために却って人物の画像が不自然になる事態を回避できる。
【０１００】
・前記実施形態において、最初から全ての評価値について合成処理のシミュレートを行って、分散値を最小にしうる評価値を目標値（目標度合）とする統計演算も採用できる。この方法によると、全ての評価値についての分散値演算処理と、各分散値の大小比較処理とが必要にはなるが、顔態様（顔の表情等）のばらつきを小さくした合成画像は同様に提供できる。
【０１０１】
・前記実施形態において、画像取得手段は合成ベース画像だけを取得する構成でもよい。この場合、データベースは予め作成されて記憶手段に記憶されていれば足りる。データベースに登録されている人物がある程度決まっていれば、その決まった複数人の人物を含む画像を編集するときに合成データは取得できる。また、データベースに登録された人物が多くても、検索処理時間をかければ合成データは取得できる。
【０１０２】
・前記実施形態では、度合（評価値）が目標度合（目標値）と異なる顔態様をもつ顔を目標度合により近い度合の顔に置き換えたが、例えば目標度合に対して著しく逸脱した顔のみを置き換える画像合成を行ってもよい。例えば前記実施形態において、目標度合の評価値が「７」のときに、評価値が「６」や「８」の顔についてはそのままで、評価値が目標評価値から２以上又は３以上逸脱した顔に限って目標度合により近い顔に置き換える画像合成を行う構成とすることもできる。この場合、合成処理の負担を軽減できるうえ、顔の合成処理に起因する画像の不自然さを回避できる。
【０１０３】
・関連画像は、ユーザーがマニュアル操作で関連付けた画像群、連続撮影された画像群、自動で関連付けられた画像群としたが、フォルダを指定することもできる。このとき、指定できるフォルダは１つに限定されず、複数でもよく、さらにフォルダと画像とを組み合わせて指定してもよい。また、複数の外部機器（例えば複数台のカメラ、複数のＵＳＢメモリ、複数の光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、カメラと光ディスク等から取得する画像を選択してもよい。
【０１０４】
・前記実施形態において、顔態様は顔の表情に替えて、顔の向き又は顔の色を採用してもよい。さらに顔態様は、顔の表情、顔の向き、顔の色のうち複数（２つ又は３つ）を採用してもよい。また、顔態様は、顔の表情、顔の向き、顔の色のうち少なくとも１つを含めば足り、これら３種類の顔態様以外の他の顔態様をさらに含んでもよい。
【０１０５】
・前記実施形態において、動画のフレーム画像を利用して合成ベース画像の合成処理を行ってもよい。
前記実施形態及び変形例から把握される技術的思想を以下に記載する。
【０１０６】
（イ）前記評価手段が評価する顔態様は、顔の表情を少なくとも含むことを特徴とする請求項１乃至７のうちいずれか一項に記載の画像編集装置。表情の度合のばらつきが元画像より小さい合成画像を提供できる。
【０１０７】
（ロ）前記顔態様は、顔の表情であり、前記第２の顔態様は、顔の向き、顔の照明色のうち少なくとも一つを含むことを特徴とする請求項６又は７に記載の画像編集装置。この構成によれば、画像中の複数の人物の顔の表情のばらつきを小さく抑えることができ、しかも画像合成に際して顔の表情の度合が同じ候補が複数存在する場合、第２の顔態様である顔の向きと顔の照明色とのうち少なくとも一方においてその第２の顔態様のばらつきのより小さくなる一の顔を選択するので、顔の表情のばらつきを小さく抑えつつ、顔の向きや顔の色についても適切な顔が選択された適切な合成画像を提供できる。
【符号の説明】
【０１０８】
１１…画像編集システム、１２…ＰＣ（パーソナルコンピュータ）、１３…電子カメラ、１５…本体、１６…表示手段の一例としてのモニタ、１９…入力装置、２０，２７…画像編集装置、２２…撮像手段を構成する撮像レンズ部、２１…編集設定画面、２６…操作部、２８…表示手段の一例としての表示部、３１…コンピュータ、３２…記憶部、３３…制御部、３４…受付部、３５…表示処理部、３６…画像編集処理部、３７…画像取込部、３８…画像格納領域、３９…データベース、４１…画像取込元選択部、４２…一覧表示部、４５…画像取込ボタン、４６…合成ベース画像選択ボタン、４７…スタートボタン、５１…判定部、５２…顔検出手段の一例である顔検出部、５３…評価手段の一例である表情評価処理部、５４…データベース作成手段の一例であるデータベース作成部、５５…決定手段の一例である最頻値検出部、５６…検索手段の一例である検索部、５７…カウンタ、５８…シミュレート処理部、５９…分散値算出部、６０…最小分散値検出部、６１…画像合成手段の一例である合成処理部、ＢＩ…合成ベース画像、ＣＩ…合成画像、Ａ〜Ｊ…人物。
【図１】
2011135267.tif 000005
【図２】
2011135267.tif 000006
【図３】
2011135267.tif 000007
【図４】
2011135267.tif 000008
【図５】
2011135267.tif 000009
【図６】
2011135267.tif 000010
【図７】
2011135267.tif 000011
【図８】
2011135267.tif 000012
【図９】
2011135267.tif 000013
【図１０】
2011135267.tif 000014
【図１１】
2011135267.tif 000015
【図１２】
2011135267.tif 000016
【図１３】
2011135267.tif 000017
【図１４】
2011135267.tif 000018
【図１５】
2011135267.tif 000019
【図１６】
2011135267.tif 000020
【図１７】
2011135267.tif 000021