(57)【要約】【課題】  撮影者と被撮影者が一定の関係にある場合に、両者の顔サイズを合わせて被撮影者の撮像画像に撮影者の顔を合成するようにする。【解決手段】  個人認証回路（１１２）は、撮像部（１０１）の撮像画像に含まれる被撮影者と、撮像部（１０２の撮像画像に含まれる撮影者を個人認証し、所定の関係にあるかどうかを判定する。画像合成回路（１１３）は、撮影者と被撮影者に所定の関係が認められる場合に、撮影者の顔サイズを被撮影者の顔サイズに合うようにリサイズして、撮像部（１０１）の撮像画像に合成する。【選択図】  図１
2016009890.tif 000002
【特許請求の範囲】
【請求項１】
被撮影者を撮像する第１の撮像手段と、
撮影者を撮像する第２の撮像手段と、
前記第１の撮像手段の撮像画像に含まれる前記被撮影者を個人認証する個人認証手段と、
前記第１の撮像手段の撮像画像に、前記第２の撮像手段の撮像画像に含まれる前記撮影者の顔画像を合成する画像合成手段
とを有し、
前記画像合成手段は、前記第１の撮像手段の撮像画像に含まれる前記被撮影者が前記個人認証手段により認証された場合、前記被撮影者の顔サイズに応じて、前記第２の撮像手段の撮像画像に含まれる前記撮影者の顔サイズを変更して画像合成を行う
ことを特徴とする撮像装置。
【請求項２】
被撮影者を撮像する第１の撮像手段と、
撮影者を撮像する第２の撮像手段と、
前記第１の撮像手段の撮像画像に含まれる前記被撮影者と、前記第２の撮像手段の撮像画像に含まれる前記撮影者とを個人認証する個人認証手段と、
前記第１の撮像手段の撮像画像に、前記第２の撮像手段の撮像画像に含まれる前記撮影者の顔画像を合成する画像合成手段
とを有し、
前記画像合成手段は、前記第１の撮像手段の撮像画像に含まれる前記被撮影者と、前記第２の撮像手段の撮像画像に含まれる前記撮影者が前記個人認証手段により認証され、前記被撮影者と前記撮影者が所定の関係を満たす場合、前記被撮影者の顔サイズに応じて、第２の撮像手段で撮像された撮影者の顔サイズを変更して画像合成を行う
ことを特徴とする撮像装置。
【請求項３】
前記画像合成手段は、撮像画像から顔領域をトリミングする手段と、前記顔領域をリサイズするリサイズ手段とを具備することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記画像合成手段は、前記第２の撮像手段の撮像画像から前記撮影者の顔領域をトリミングしリサイズしてから、前記第１の撮像手段の撮像画像に合成することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画像合成手段は、前記被撮影者の顔サイズをα１、前記撮影者の顔サイズをα２としたとき、｜α１−α２×β｜＝ＴＨ（ＴＨは予め決定された任意の値）以下になるように、前記撮影者の顔サイズを変更することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記画像合成手段は、前記被撮影者の顔サイズに応じて前記撮影者の顔サイズを可能な限り大きくすることを特徴とする請求項１から５の何れか１項に記載の撮像装置。
【請求項７】
前記画像合成手段は、前記第１の撮像手段の撮像画像が前記個人認証手段により個人認証される人物を含まない場合、第２の撮像手段の撮像画像を前記第１の撮像手段の撮像画像の所定の画像合成枠に合成することを特徴とする請求項１から６の何れか１項に記載の撮像装置。
【請求項８】
前記個人認証手段は、個人認証すべき人物の登録された認証情報を有することを特徴とする請求項１から７の何れか１項に記載の撮像装置。
【請求項９】
前記画像合成手段が前記第１の撮像手段の撮像画像に前記第２の撮像手段の撮像画像に含まれる前記撮影者の顔画像を合成する際の、前記第１の撮像手段の撮像画像の合成枠のサイズと位置をユーザが指定できることを特徴とする請求項１から８の何れか１項に記載の撮像装置。
【請求項１０】
更に、前記撮影者の顔サイズを変更した結果、前記合成枠に収まらない場合に前記ユーザに前記合成枠のサイズの変更を促す手段を有することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
第１の被写体を含む第１の画像と、前記第１の被写体とは異なる第２の被写体を含む第２の画像を入力する手段と、
前記第１の画像に含まれる前記第１の被写体を認証する認証手段と、
前記第１の画像に前記第２の画像の前記第２の被写体の特定画像部分を合成する画像合成手段
とを有し、
前記画像合成手段が、前記第１の画像に含まれる前記第１の被写体が前記認証手段により認証された場合、前記第１の被写体の特定画像部分のサイズに応じて、前記第２の被写体の前記特定画像部分のサイズを変更して画像合成を行う
ことを特徴とする画像処理装置。
【請求項１２】
第１の被写体を含む第１の画像と、前記第１の被写体とは異なる第２の被写体を含む第２の画像を入力する手段と、
前記第１の画像に含まれる前記第１の被写体及び前記第２の画像に含まれる前記第２の被写体を認証する認証手段と、
前記第１の画像に前記第２の画像の前記第２の被写体の特定画像部分を合成する画像合成手段
とを有し、
前記画像合成手段は、前記第１の画像に含まれる前記第１の被写体と、前記第２の画像に含まれる前記第２の被写体が前記認証手段により認証され、前記第１の被写体と前記第２の被写体が所定の関係を満たす場合、前記第１の被写体の特定画像部分のサイズに応じて、前記第２の被写体の前記特定画像部分のサイズを変更して画像合成を行う
ことを特徴とする画像処理装置。
【請求項１３】
第１の被写体を含む第１の画像と、前記第１の被写体とは異なる第２の被写体を含む第２の画像を入力するステップと、
前記第１の画像に含まれる前記第１の被写体を認証する認証ステップと、
前記第１の画像に前記第２の画像の前記第２の被写体の特定画像部分を合成する画像合成ステップ
とを有し、
前記画像合成ステップが、前記第１の画像に含まれる前記第１の被写体が前記認証ステップで認証された場合、前記第１の被写体の特定画像部分のサイズに応じて、前記第２の被写体の前記特定画像部分のサイズを変更して画像合成を行う
ことを特徴とする画像処理方法。
【請求項１４】
第１の被写体を含む第１の画像と、前記第１の被写体とは異なる第２の被写体を含む第２の画像を入力するステップと、
前記第１の画像に含まれる前記第１の被写体及び前記第２の画像に含まれる前記第２の被写体を認証する認証ステップと、
前記第１の画像に前記第２の画像の前記第２の被写体の特定画像部分を合成する画像合成ステップ
とを有し、
前記画像合成ステップは、前記第１の画像に含まれる前記第１の被写体と、前記第２の画像に含まれる前記第２の被写体が前記認証ステップで認証され、前記第１の被写体と前記第２の被写体が所定の関係を満たす場合、前記第１の被写体の特定画像部分のサイズに応じて、前記第２の被写体の前記特定画像部分のサイズを変更して画像合成を行う
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、前向きに配置され、前方に位置する被写体（被撮影者）を撮像する撮像素子と、後向きに配置されて撮影者自身を撮像可能な撮像素子とを有し、被撮影者と撮影者の両方を同時に撮像し１枚の画像に合成する撮像装置が知られている（特許文献１）。これにより、撮影者と被撮影者が同じ場面にいるかのような一体感のある画像を記録できる。
【０００３】
特許文献１には、撮影者と被撮影者の一体感を更に出すために、撮像された撮影者の顔サイズを被撮影者の顔サイズに等しくなるように変更してから合成する技術が記載されている。撮影者の撮像画像と被撮影者の撮像画像から撮影者と被撮影者の身長比を検出し、身長比に応じて顔領域を拡大・縮小することで、両者の顔サイズを等しくする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−９４７４１号公報
【特許文献２】特開２０１１−１６５０８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、例えば、撮像シーンの中に複数の被撮影者がいる場合に、撮影者とは無関係の被撮影者を合成対象としてしまうことがある。また、撮影者が意図していない被撮影者に対して合成処理を行ってしまうことがあり、これを避けるにはその都度、画像合成をオフにする必要があり、面倒である。
【０００６】
本発明は、このような問題を解決し、撮影者と一定の関係にある被撮影者について撮影者の顔画像を適切なサイズで合成するようにした撮像装置、画像処理装置及び画像処理方法を提示することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、被撮影者を撮像する第１の撮像手段と、撮影者を撮像する第２の撮像手段と、前記第１の撮像手段の撮像画像に含まれる前記被撮影者を個人認証する個人認証手段と、前記第１の撮像手段の撮像画像に、前記第２の撮像手段の撮像画像に含まれる前記撮影者の顔画像を合成する画像合成手段とを有し、前記画像合成手段は、前記第１の撮像手段の撮像画像に含まれる前記被撮影者が前記個人認証手段により認証された場合、前記被撮影者の顔サイズに応じて、前記第２の撮像手段の撮像画像に含まれる前記撮影者の顔サイズを変更して画像合成を行うことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影者と被撮影者が所定の関係にある場合でのみ、撮影者と被撮影者の顔サイズが等しくなるように画像合成を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】画像合成回路の概略構成ブロック図である。
【図３】画像合成処理手順の一例を示すフローチャートである。
【図４】画像合成枠の配置例を示す模式図である。
【図５】画像合成例を示す模式図である。
【図６】画像合成処理手順の別例を示すフローチャートである。
【図７Ａ】画像合成処理の第３例のシャッタレリーズまでの処理の示すフローチャートである。
【図７Ｂ】画像合成処理の第３例のシャッタレリーズ後の処理の示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１１】
図１は、本発明の一実施例の概略構成ブロック図を示す。図１に示す撮像装置１００において、撮像部１０１は前方の被写体を撮像するように前向きに配置され、撮像部１０２は撮影者自身を撮像するように後向きに配置される。撮像部１０１，１０２はＣＣＤ撮像素子又はＣＭＯＳ撮像素子等の撮像素子と、当該撮像素子に被写体の光学像を結像する撮像光学系を具備する。撮像素子の表面は、例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮像が可能である。
【００１２】
制御部１１７は、撮像画像の画像データ全体が適正露出になるようなシャッタ速度及び絞り値と、合焦領域内にある被写体に合焦するようなフォーカスレンズ駆動量を計算し、計算結果を撮像制御回路１１６に供給する。撮像制御回路１１６は、制御部１１７からの露出制御値（シャッタ速度、絞り値）及びフォーカスレンズ駆動量に応じて、撮像部１０１，１０２の撮像光学系を制御する。これにより、撮像部１０１，１０２は、制御された露出及びフォーカスでの撮像画像データを出力できる。
【００１３】
撮像部１０１、１０２は、それぞれの撮像画像の画像データを、画像合成を含む画像処理用にメモリ１０３に書き込む。色変換マトリクス回路１０４から個人認証回路１１２は、メモリ１０３に格納される撮像部１０１，１０２の画像データの両方に、以下に説明するように、例えば時分割で作用する。
【００１４】
色変換マトリクス回路１０４は、メモリ１０３の撮像画像データを読み込み、最適な色で再現されるように色ゲインをかけて色差データＲ−Ｙ，Ｂ−Ｙを生成する。ローパスフィルタ（ＬＰＦ）回路１０５は色変換マトリクス回路１０４からの色差データＲ−Ｙ，Ｂ−Ｙの帯域を制限する。クロマ抑制（ＣＳＵＰ：Ｃｈｒｏｍａ  Ｓｕｐｒｅｓｓ）回路１０６は、ＬＰＦ回路１０５の出力画像データの飽和部分の偽色信号を抑圧する。他方、輝度生成回路１０７は、メモリ１０３の撮像画像データから輝度データＹを生成し、エッジ強調回路１０８が、輝度生成回路１０７からの輝度Ｙに対してエッジ強調処理を施す。ＲＧＢ変換回路１０９は、ＣＳＵＰ回路１０６から出力される色差データＲ−Ｙ、Ｂ−Ｙと、エッジ強調回路１０８から出力される輝度データＹとをＲＧＢ形式に変換し、ＲＧＢ画像データをガンマ補正回路１１０に入力する。
【００１５】
ガンマ補正回路１１０は、ＲＧＢ変換回路１０９から出力されるＲＧＢ画像データを階調補正し、色輝度変換回路１１１は、階調補正されたＲＧＢ信号をＹＵＶ信号に変換する。
【００１６】
個人認証回路１１２は、複数の人物について顔特徴データを内蔵メモリ１１２ａに記憶しており、その顔特徴データを参照して、色輝度変換回路１１１から出力される被撮影者の画像データに含まれる被撮影者を認証する。個人認証方法として、例えば、特許文献２に記載される方法が採用可能である。すなわち、認識した顔画像と所定のデータベースに個人認証登録された人物の顔画像との類似度を算出し、その類似度を所定の閾値と比較することによって、登録された人物かどうかを判定できる。具体的には、個人認証回路１１２は、撮像画像データから顔領域を抽出し、その特徴を内蔵メモリ１１２の記憶データと対比して、個人認証登録されている人物であるかどうかを判定することになる。
【００１７】
個人認証回路１１２は、撮像部１０１の撮像画像における個人認証結果を制御部１１７に通知する。個人認証回路１１２は、被撮影者が登録されている場合には、顔領域のサイズと位置を示す顔サイズ情報と、被撮影者の撮像画像上で撮影者を合成可能な領域を示す合成可能領域情報も制御部１１７に通知する。
【００１８】
なお、内蔵メモリ１１２には、画像合成対象の人物かどうかを示す情報を追加的に記録しても良く、更には、特定の撮影者との関係で画像合成対象の人物を特定しても良い。後者の場合、撮影者自身も個人認証する必要があることはいうまでもない。または、特定の撮影者との関係（例えば、家族、親族、友人又は同僚等）を属性として一緒に登録し、画像合成すべき属性を別途指定するようにしてもよい。
【００１９】
個人認証回路１１２は、撮像部１０２からの撮像画像データに対しては、撮影者の顔領域を抽出し、当該顔領域を含む一定サイズの位置を示す情報を、後述する切抜きと画像合成のために制御部１１７に通知する。撮影者を特定する必要がある場合、顔画像による認証を採用するときには、被撮影者と同様の方法で撮影者を認証し特定すればよい。
【００２０】
画像合成回路１１３は、撮影者と被撮影者が一定の関係にある場合に、撮影者の撮像画像をリサイズ及びトリミングした上で、被撮影者の撮像画像の画像合成枠に合成し、合成画像を後段のＪＰＥＧ圧縮回路１１４に出力する。この合成処理の詳細は後述する。撮影者と被撮影者に一定の関係が成立しない場合、画像合成回路１１３は、撮影者の撮像画像データと、被撮影者の撮像画像データのうち、撮影者が選択した方をＪＰＥＧ圧縮回路１１４に出力する。
【００２１】
ＪＰＥＧ圧縮回路１１４は、画像合成回路１１３から出力される画像データをＪＰＥＧ方式等で圧縮し、圧縮後の画像データ（圧縮画像データ）を外部又は内部の記録媒体１１５に記録する。
【００２２】
図２は、画像合成回路１１３の概略構成ブロック図を示す。図２に示すように、画像合成回路１１３は、画像サイズ判定部２０１、画像リサイズ部２０２、画像トリミング部２０３及び画像合成部２０４を備える。
【００２３】
図３に示すフローチャートを参照して、画像合成回路１１３の画像合成処理を説明する。
【００２４】
制御部１１７は、ステップＳ３０１で、撮像制御回路１１６を介して撮像部１０１，１０２を一定周期で繰り返し露光する動画モードで露光させる。この動画モードでは、撮像部１０１，１０２は、表示部１１８での表示に充分な程度の低解像度の撮像画像データを出力する。制御部１１７は、ステップＳ３０２で、この繰り返し露光で撮像された画像データはメモリ１０３を介して表示部１１８に印加し、表示部１１８に画像として表示させる。表示部１１８はいわゆる電子ビューファインダとして機能する。表示部１１８の表示画像により、撮影者は撮像部１０１，１０２の撮影視野内の被写体とその構図を視覚的に確認できる。このときの表示部１１８の表示画像は、スルー画像又はライブビュー画像と呼ばれる。表示部１１８に撮像部１０１，１０２の撮像画像及び両撮像画像の合成画像（例えば、デフォルト設定による合成画像）のいずれを表示させるかは、ユーザの指示又は選択による。
【００２５】
ステップＳ３０３で撮影者がシャッタリリーズ操作をするまで、制御部１１７は、ステップＳ３０１，Ｓ３０２を繰り返す。
【００２６】
ステップＳ３０３でユーザがシャッタ操作を実行すると、ステップＳ３０４において、制御部１１７は撮像制御回路１１６を介して撮像部１０１，１０２にフル解像度で静止画の撮像画像データを出力させる。色変換マトリクス回路１０４〜色輝度変換回路１１１は、撮像部１０１，１０２の各撮像画像データを上述のように処理する。
【００２７】
ステップＳ３０５において、個人認証回路１１２は、被撮影者の撮像画像データから人物の顔画像を抽出し、上述したように個人認証する。個人認証回路１１２は、個人認証結果を制御部１１７に通知する。個人認証回路１１２はまた、被撮影者が撮影者を画像合成すべき人物である場合、顔サイズ情報と、被撮影者の撮像画像上で撮影者を合成可能な領域を示す合成可能領域情報を制御部１１７に通知する。
【００２８】
ステップＳ３０６において、制御部１１７は、被撮影者の認証情報が登録済みかどうかを判定する。具体的には、制御部１１７は、個人認証回路１１２からの通知から、撮像部１０１の撮像画像に個人認証された被撮影者が含まれるかどうかを判定する。個人認証された被撮影者が含まれる場合、ステップ３０７に進み、含まれない場合、ステップＳ３０８に進む。
【００２９】
ステップＳ３０７において、制御部１１７は、画像合成回路１１３に被撮影者と撮影者の顔サイズ情報、及び被撮影者の撮像画像上での合成可能領域情報を通知し、撮影者の顔画像部分をリサイズさせる。具体的には、画像合成回路１１３の画像リサイズ部２０２は、被撮影者の顔サイズをα１、撮影者の顔サイズをα２としたとき、｜α１−α２×β｜が所定値ＴＨ以下になるようなβを決定し、被撮影者の顔サイズα１を１／β倍する。なお、ＴＨは、予め決定された任意の値である。本実施例では、被撮影者と撮影者の顔サイズを等しくするのでＴＨ＝０とするが、顔サイズは人により差があるので、ＴＨのとりうる値に幅を持たせて、顔サイズを変更してもよい。
【００３０】
画像リサイズ部２０２による撮影者の顔サイズを変更した後の顔画像が、被撮影者の撮像画像上の合成可能領域に入らない場合、画像リサイズ部２０２は、合成可能領域に入る範囲で可能な限り大きくなるように、撮影者の顔サイズを縮小する。
【００３１】
なお、撮影者によるレリーズ操作前に、個人認証回路１１２まで、又は画像合成回路１１３までの処理をライブビュー画像で事前に実行することが可能である。その場合、撮像部１０２の変倍率の調整を、画像合成回路１１３の画像リサイズ部２０２によるリサイズに代えてもよいし、又は両者を併用してもよい。
【００３２】
また、撮像装置１００の利用者が予め、撮影者の顔画像を合成すべき位置とサイズを制御部１１７に指定し、制御部１１７が、その指定された画像合成枠の範囲内で画像合成回路１１３の画像合成を制御しても良い。図４は、そのような画像合成枠の配置例を示す。破線が画像合成枠の位置と範囲を示す。顔サイズが画像合成枠内に収まらない場合に、撮像装置１００の利用者にその旨を報知し、利用者が画像合成枠のサイズや合成位置を指定し直すことができるようにしてもよい。
【００３３】
ステップＳ３０８で、画像合成回路１１３の画像トリミング部２０３は、撮影者画像の顔領域を画像合成枠のサイズでトリミングする。
【００３４】
ステップＳ３０９で、画像合成回路１１３の画像合成部２０４は、トリミングされた撮影者の顔画像を、被撮影者の撮像画像の合成可能領域に合成し、合成画像データを生成する。
【００３５】
ステップＳ３１０で、制御部１１７は合成画像を記録媒体１１５に記録し、また、表示部１１８に表示する。すなわち、ＪＰＥＧ圧縮回路１１４が、画像合成回路１１３により生成された合成画像データを圧縮して記録媒体１１５に記録し、表示部１１８が、合成画像データの画像を表示部１１８に表示する。図５は表示部１１８の表示画像例を示す。
【実施例２】
【００３６】
図６は、撮影者の個人認証結果と被撮影者の個人認証結果の関係に従い画像合成を制御する動作のフローチャートを示す。
【００３７】
図６に示す画像合成の制御動作を説明する。ステップＳ６０１〜Ｓ６０５の処理は、ステップＳ３０１〜Ｓ３０５と同様であるので、説明を省略する。
【００３８】
ステップＳ６０５において、個人認証回路１１２は、被撮影者の撮像画像データ及び撮影者の撮像画像データから人物の顔画像を抽出し、被撮影者と撮影者を個人認証する。個人認証回路１１２は、被撮影者と撮影者の個人認証結果を制御部１１７に通知する。個人認証回路１１２はまた、被撮影者が撮影者を画像合成すべき人物である場合、被撮影者と撮影者の両方について、顔サイズ情報と、被撮影者の撮像画像上で撮影者を合成可能な領域を示す合成可能領域情報を制御部１１７に通知する。
【００３９】
ステップＳ６０６において、制御部１１７は、ステップＳ３０６と同様の処理により、撮影者と被撮影者の両方について認証情報が登録済みかどうかを判定する。被撮影者と撮影者の両方が撮像装置１００に個人認証登録されていない場合（Ｓ６０６）、ステップ６０９に進み、被撮影者と撮影者の両方が個人認証登録されている場合（Ｓ６０６）、ステップＳ６０７に進む。
【００４０】
ステップＳ６０７において、制御部１１７は、被撮影者と撮影者に画像を合成すべき一定の関係があるかどうかを、登録された個人認証情報により判定する。被撮影者と撮影者の個人認証情報に同じ関係情報が登録されている場合（Ｓ６０７）、ステップ６０８において、制御部１１７は画像合成回路１１３に、撮影者の顔画像のサイズを変更する。ここでの関係情報は、実施例１で説明した関係情報と同じである。なお、不特定多数の人物が撮像装置１００を使用することを想定し、関係情報として、「家族グループ１」及び「家族グループ２」などというように細分化したグループを設定できるのが好ましい。
【００４１】
ステップＳ６０９〜Ｓ６１１の処理はそれぞれステップＳ３０８〜Ｓ３１０の処理と同じなので、説明を省略する。
【実施例３】
【００４２】
実施例１，２では、撮像後に画像合成を実行したが、撮像前のフレーミング中に合成画像を表示部１１８に表示するようにしてもよい。これにより、撮影者は、撮像前に合成画像をイメージしながら、被撮影者を撮像できる。
【００４３】
図７Ａは、ライブビュー中に合成画像を表示する処理のフローチャートを示し、図７Ｂは、撮像後の画像合成処理のフローチャートを示す。
【００４４】
図７ＡのステップＳ７０１において、制御部１１７は、ステップＳ３０１と同様の処理により、撮像部１０１，１０２を一定周期で繰り返し露光させる。
【００４５】
ステップＳ７０２において、個人認証回路１１２は、ステップＳ３０５と同様に、被撮影者の撮像画像データから人物の顔画像を抽出して個人認証し、個人認証結果を制御部１１７に通知する。個人認証回路１１２はまた、被撮影者が撮影者を画像合成すべき人物である場合、顔サイズ情報と、被撮影者の撮像画像上で撮影者を合成可能な領域を示す合成可能領域情報を制御部１１７に通知する。
【００４６】
ステップＳ７０３において、制御部１１７は、個人認証回路１１２からの通知から、撮像部１０１の撮像画像に個人認証された被撮影者が含まれるかどうかを判定する。個人認証された被撮影者が含まれる場合、ステップ７０４に進み、含まれない場合、ステップＳ７０５に進む。
【００４７】
ステップＳ７０４において、制御部１１７は、ステップＳ３０７と同様な処理により、画像合成回路１１３に被撮影者と撮影者の顔サイズ情報、及び被撮影者の撮像画像上での合成可能領域情報を通知し、撮影者の顔画像部分をリサイズさせる。
【００４８】
ステップＳ７０５において、画像合成回路１１３の画像トリミング部２０３は、撮影者画像の顔領域をライブビュー画像内の所定の画像合成枠のサイズでトリミングする。
【００４９】
ステップＳ７０６において、画像合成回路１１３の画像合成部２０４は、トリミングされた撮影者の顔画像をライブビュー画像の画像合成枠に合成し、合成画像データを生成する。
【００５０】
ステップＳ７０７において、制御部１１７は、画像合成回路１１３により生成された合成画像データを表示部１１８に印加し、表示部１１８の画面に合成画像を表示させる。
【００５１】
ステップＳ７０８において撮影者がレリーズ操作をするまで、制御部１１７は、ステップＳ７０１〜Ｓ７０７の処理が繰り返されるように各部を制御する。これにより、ライブビュー画像上での合成画像表示が継続される。
【００５２】
撮影者がシャッタレリーズ操作を行うと（Ｓ７０８）、制御部１１７は、ステップＳ７０９において、静止画の撮像と記録の処理を実行する。図７Ｂは、ステップＳ７０９の詳細なフローチャートを示す。
【００５３】
図７ＢのステップＳ７１０において、制御部１１７は撮像制御回路１１６を介して撮像部１０１，１０２にフル解像度で撮像画像データを出力させる。色変換マトリクス回路１０４〜色輝度変換回路１１１は、撮像部１０１，１０２の各撮像画像データを上述のように処理する。
【００５４】
ステップＳ７１１において、制御部１１７は、ステップＳ３０７と同様な処理で、画像合成回路１１３に被撮影者と撮影者の顔サイズ情報、及び被撮影者の撮像画像上での合成可能領域情報を通知し、撮影者の顔画像部分をリサイズさせる。
【００５５】
ステップＳ７１２において、画像合成回路１１３の画像トリミング部２０３は、撮影者画像の顔領域を画像合成枠のサイズでトリミングする。
【００５６】
ステップＳ７１３において、画像合成回路１１３の画像合成部２０４は、トリミングされた撮影者の顔画像を被撮影者の撮像画像の合成可能領域に合成し、合成画像データを生成する。
【００５７】
ステップＳ７１４において、制御部１１７は、ステップＳ３１０と同様の処理により、合成画像を記録媒体１１５に記録し、また、表示部１１８に表示する。
【００５８】
実施例３では実施例１と同じ個人認証結果判定方法を用いているが、個人認証結果判定方法は、実施例１，２で説明したどちらの方法を用いてもよい。
【００５９】
以上のように、本実施例によれば、被撮影者と撮影者の両方を撮像して一つの画像に合成する撮像装置において、被撮影者と撮影者の個人認証結果に基づいて処理を制御するようにした。これにより、撮影者と被撮影者が所定の関係である場合でのみ、両者の顔サイズが等しくなるように顔サイズを変更して画像合成を行うことができる。
【００６０】
人物間に一定の関係がある場合に適用した実施例を説明したが、本発明は、それぞれ異なる第１の被写体を含む第１の画像と第２の被写体を含む第２の画像を合成する場合一般にも適用可能である。例えば、第１の画像に第２の被写体の特定画像部分を合成する場合において、第１の被写体が認証されるときには、第１の被写体の特定画像部分のサイズに応じて第２の被写体の特定画像部分のサイズを変更して画像合成を行う。
【００６１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2016009890.tif 000003
【図２】
2016009890.tif 000004
【図３】
2016009890.tif 000005
【図４】
2016009890.tif 000006
【図５】
2016009890.tif 000007
【図６】
2016009890.tif 000008
【図７Ａ】
2016009890.tif 000009
【図７Ｂ】
2016009890.tif 000010