(57)【要約】【課題】撮影者画像を被写体画像の関連画像とするときに、顔が欠けている等の不適切な画像が関連画像となるのを防げるようにする。【解決手段】ユーザ操作により撮影指示が実行されると、ＣＰＵ１０１は撮像部１０４を制御して被写体画像（アウトカメラ画像）を生成し、第二撮像部１０５を制御して撮影者画像（インカメラ画像）を生成し、メモリ１０３に記録する。メモリ１０３に記録したインカメラ画像に対して顔検出処理を実行し、インカメラ画像から検出した顔領域の顎方向、頭方向といった方向別に顔領域が欠けているか否かを判定し、欠けている場合は欠け量を算出する。そして、算出した顔領域の欠け量が記録基準を満たすか否かを判定し、記録基準を満たす場合、インカメラ画像をアウトカメラ画像の関連画像として記録するが、記録基準を満たさない場合、インカメラ画像を関連画像として記録しない。【選択図】図１
2014121052.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する第一撮像手段と、撮影者を撮影する第二撮像手段とを備えた撮像装置であって、
前記第二撮像手段で撮影した撮影者画像から検出した顔領域が所定の基準を満たすか否かを判定して、前記所定の基準を満たす場合、前記撮影者画像を前記第一撮像手段で撮影した被写体画像の関連画像として扱い、前記所定の基準を満たさない場合、関連画像として扱わないようにする制御手段を備えたことを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記撮影者画像から検出した顔領域について、推定される顔領域全体に対して前記撮影者画像に写っている顔領域の割合を算出し、その割合が基準値以上であるか否かを前記所定の基準とすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
顔領域の複数の方向それぞれについて前記所定の基準が設定されていることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記制御手段は、前記撮影者画像に複数の顔領域を検出した場合、前記複数の顔領域それぞれについて前記判定を行い、少なくとも一つの顔領域が前記所定の基準を満たす場合、前記撮影者画像を関連画像として扱い、全ての顔領域が前記所定の基準を満たさない場合、前記撮影者画像を関連画像として扱わないようにすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮影者画像から検出した顔領域の特徴量から個人を認証する認証手段を備え、
前記制御手段は、前記認証手段で撮影者が認証された人物である場合、前記所定の基準を変更することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記第一撮像手段が撮影準備状態に遷移するとともに、前記第二撮像手段で定期的な撮影を開始して、前記第一撮像手段での撮影の終了後に前記第二撮像手段での定期的な撮影を終了するようにし、前記第二撮像手段で定期的に撮影した複数の撮影者画像を保持手段に保持させておき、
前記制御手段は、前記第一撮像手段での撮影と同期して撮影された撮影者画像から検出した顔領域が前記所定の基準を満たす場合、当該撮影者画像を関連画像として扱い、
前記第一撮像手段での撮影と同期して撮影された撮影者画像から検出した顔領域が前記所定の基準を満たさない場合、前記保持手段に保持された撮影者画像から抽出したもの関連画像として扱うことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記第二撮像手段で動画を撮影することができ、
前記制御手段は、前記動画を構成する複数のフレームから検出した顔領域について前記判定を行い、前記所定の基準を満たす時間が所定の時間以上である場合、前記動画を関連画像として扱い、前記所定の時間未満である場合、前記動画を関連画像として扱わないようにすることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項８】
被写体を撮影する第一撮像手段と、撮影者を撮影する第二撮像手段とを備えた撮像装置の制御方法であって、
前記第二撮像手段で撮影した撮影者画像から検出した顔領域が所定の基準を満たすか否かを判定するステップと、
前記判定の結果、前記撮影者画像から検出した顔領域が前記所定の基準を満たす場合、前記撮影者画像を前記第一撮像手段で撮影した被写体画像の関連画像として扱い、前記所定の基準を満たさない場合、関連画像として扱わないようにするステップとを有することを特徴とする撮像装置の制御方法。
【請求項９】
被写体を撮影する第一撮像手段と、撮影者を撮影する第二撮像手段とを備えた撮像装置を制御するためのプログラムであって、
前記第二撮像手段で撮影した撮影者画像から検出した顔領域が所定の基準を満たすか否かを判定する処理と、
前記判定の結果、前記撮影者画像から検出した顔領域が前記所定の基準を満たす場合、前記撮影者画像を前記第一撮像手段で撮影した被写体画像の関連画像として扱い、前記所定の基準を満たさない場合、関連画像として扱わないようにする処理とをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の撮影時に関連画像を撮影して記録するのに利用して好適な撮像装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、被写体を撮影すると同時に撮影者を撮影し、被写体画像に撮影者画像を合成して表示する撮像装置が提案されている。
例えば特許文献１には、被写体を撮影した画像から被写体のいない領域を検出し、その部分に撮影者の顔画像を合成するようにした撮像装置が開示されている。
また、特許文献２には、被写体の特徴量で撮影制御を行うモードと、撮影者の特徴量で撮影制御を行うモードを備える撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−９４７４１号公報
【特許文献２】特開２０１１−５５２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、被写体画像に合成する撮影者画像として、顔が部分的に欠けて撮影される等の不適切な画像が合成されるおそれがある。
また、撮影者の特徴量で撮影制御を行う、例えば撮影者の笑顔で撮影実行すれば撮影者画像は適切となるが、被写体の状況に関わらず撮影が行われるため、シャッターチャンスを逃すことがある。
【０００５】
本発明は上記のような点に鑑みてなされたものであり、撮影者画像を被写体画像の関連画像とするときに、顔が欠けている等の不適切な画像が関連画像となるのを防げるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、被写体を撮影する第一撮像手段と、撮影者を撮影する第二撮像手段とを備えた撮像装置であって、前記第二撮像手段で撮影した撮影者画像から検出した顔領域が所定の基準を満たすか否かを判定して、前記所定の基準を満たす場合、前記撮影者画像を前記第一撮像手段で撮影した被写体画像の関連画像として扱い、前記所定の基準を満たさない場合、関連画像として扱わないようにする制御手段を備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮影者画像を被写体画像の関連画像とするときに、顔が欠けている等の不適切な画像が関連画像となるのを防ぐことができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係るデジタルカメラの構成を示すブロック図である。
【図２】第１の実施形態におけるインカメラ画像記録処理を示すフローチャートである。
【図３】第１の実施形態においてインカメラ画像記録処理によって生成される画像の例を示す図である。
【図４】第２の実施形態におけるインカメラ画像記録処理を示すフローチャートである。
【図５】第２の実施形態においてインカメラ画像記録処理によって生成される画像の例を示す図である。
【図６】第３の実施形態におけるインカメラ画像記録動作を示すフローチャートである。
【図７】第３の実施形態においてインカメラ画像記録処理によって生成される画像の例を示す図である。
【図８】第３の実施形態におけるインカメラ画像及びＳＷ２インカメラ画像の例を示す図である。
【図９】第４の実施形態におけるインカメラ画像記録処理を示すフローチャートである。
【図１０】第４の実施形態においてインカメラ画像記録処理によって生成される画像の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１に、本発明を適用した実施形態に係る撮像装置であるデジタルカメラ１００の構成例を示す。内部バス１５０に対して、ＣＰＵ１０１、不揮発性メモリ１０２、メモリ１０３、撮像部１０４、第二撮像部１０５、画像処理部１０６、ディスプレイ１０７、入力部１０８、ドライブ装置１０９、通信インタフェース（Ｉ／Ｆ）１１１が接続する。内部バス１５０に接続する各部は、内部バス１５０を介して互いにデータのやりとりを行うことができるようにされている。
【００１０】
不揮発性メモリ１０２は、例えばＲＯＭで構成される。不揮発性メモリ１０２には、画像データや音声データ、その他のデータ、ＣＰＵ１０１が動作するための各種プログラム等が格納される。メモリ１０３は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリ等）で構成される。ＣＰＵ１０１は、例えば不揮発性メモリ１０２に格納されるプログラムに従い、メモリ１０３をワークメモリとして用いて、デジタルカメラ１００の各部を制御する。
【００１１】
第一撮像手段である撮像部１０４及び第二撮像手段である第二撮像部１０５は、ズームレンズやフォーカスレンズを含むレンズ群、シャッター、ＣＣＤやＣＭＯＳ素子等で構成される撮像素子等からなる。撮像部１０４のレンズは被写体を撮影できるように配置され（アウトカメラ）、第二撮像部１０５のレンズは撮影者を撮影できるように配置される（インカメラ）。
【００１２】
画像処理部１０６は、ＣＰＵ１０１の制御に基づいて、不揮発性メモリ１０２や記録媒体１１０に格納された画像データ等に対して各種画像処理を施す。画像処理部１０６が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理等が含まれる。画像処理部１０６は、特定の画像処理を施すための専用の回路ブロックで構成してもよい。また、画像処理の種別によっては、画像処理部１０６を用いずに、ＣＰＵ１０１がプログラムに従って画像処理を施すことも可能である。
【００１３】
ディスプレイ１０７は、ＣＰＵ１０１の制御に基づいて、画像やＧＵＩ（Graphical User Interface）を構成するＧＵＩ画面等を表示する。ＣＰＵ１０１は、プログラムに従って表示制御信号を生成し、ディスプレイ１０７に表示するための映像信号を生成してディスプレイ１０７に出力するようにデジタルカメラ１００の各部を制御する。ディスプレイ１０７は、出力された映像信号に基づいて映像を表示する。
【００１４】
入力部１０８は、ボタン、ダイヤル、タッチパネルジョイスティック等を含む、ユーザ操作を受け付けるための入力デバイスである。なお、タッチパネルは、ディスプレイ１０７に重ね合わせて平面的に構成され、指等の接触位置に応じた座標情報が出力されるようにした入力デバイスである。
【００１５】
ドライブ装置１０９は、ＳＤやＣＦといった記録媒体１１０が装着可能とされ、ＣＰＵ１０１の制御に基づいて、装着された記録媒体１１０からのデータの読み出しや、当該記録媒体１１０に対するデータの書き込みを行う。
【００１６】
通信Ｉ／Ｆ１１１は、外部装置１１２やインターネット等と接続し、映像信号や音声信号、ファイルやコマンド等の各種データの送受信を行うためのインタフェースである。
【００１７】
このようにしたデジタルカメラ１００では、中央１点ＡＦ（オートフォーカス）や顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは、撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは、顔検出機能によって検出した撮影画面内の顔に対してＡＦを行うことである。
顔検出機能について説明する。ＣＰＵ１０１は、顔検出対象の画像データを画像処理部１０６に送る。画像処理部１０６は、ＣＰＵ１０１の制御下で、当該画像データに水平方向バンドパスフィルタを作用させる。また、画像処理部１０６は、ＣＰＵ１０１の制御下で、処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。その後、ＣＰＵ１０１は、検出したエッジ成分に関してパターンマッチングを行い、目、及び鼻、口、耳の候補群を抽出する。そして、ＣＰＵ１０１は、抽出した目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、ＣＰＵ１０１は、絞り込んだ目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）とを対応付け、また、予め設定した非顔条件フィルタを通すことにより顔を検出する。ＣＰＵ１０１は、顔の検出結果に応じて顔情報を出力し、処理を終了する。このとき、顔の数等の特徴量をメモリ１０３に記憶する。
個人認証機能について説明する。ＣＰＵ１０１は、予め撮影した人物に対して前述した顔検出機能を用い、個人を識別するための特徴量を算出して、ユーザが入力した情報と共に不揮発性メモリ１０２に記憶する。その後、ＣＰＵ１０１は、撮影する際に顔検出処理を行い、検出した顔領域の特徴量が不揮発性メモリ１０２に記憶した特徴量と一致した場合、検出した顔が不揮発性メモリ１０２に登録された人物として扱う。
【００１８】
第１の実施形態では、第二撮像部１０５で撮影した撮影者画像（インカメラ画像）を所定の記録基準で判定し、その判定結果に応じて関連画像として記録するか否かを制御する例を述べる。
図２は、第１の実施形態におけるインカメラ画像記録処理を示すフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０１が不揮発性メモリ１０２に格納されたプログラムを、メモリ１０３に展開して実行することにより実現される。
ユーザ操作により撮影指示が実行されると、ステップＳ２０１で、ＣＰＵ１０１は撮像部１０４を制御して被写体画像（アウトカメラ画像）を生成し、第二撮像部１０５を制御して撮影者画像（インカメラ画像）を生成し、メモリ１０３に記録する。
【００１９】
次に、ステップＳ２０２で、ＣＰＵ１０１は画像処理部１０６を制御し、メモリ１０３に記録したインカメラ画像に対して顔検出処理を実行する。顔検出処理終了後、ステップＳ２０３で、ＣＰＵ１０１は、インカメラ画像から検出した顔領域の顎方向、頭方向といった方向別に顔領域が欠けているか否かを判定し、欠けている場合は欠け量を算出する。例えば顔領域の顎方向、頭方向といった方向別に、推定される顔領域全体に対してインカメラ画像に写っている顔領域の割合を算出する。
【００２０】
次に、ステップＳ２０４で、ＣＰＵ１０１は、ステップＳ２０３において算出した顔領域の欠け量が、予め設定された記録基準を満たすか否かを判定する。上述したように顔領域の顎方向、頭方向といった方向別に、推定される顔領域全体に対してインカメラ画像に写っている顔領域の割合を算出する場合は、その割合が基準値以上であるか否かを判定する。
【００２１】
ステップＳ２０４において顔領域の欠け量が記録基準を満たす場合、ステップＳ２０５に進み、ＣＰＵ１０１はインカメラ画像をアウトカメラ画像の関連画像として記録して、本処理を終了する。
それに対して、ステップＳ２０４において顔領域の欠け量が記録基準を満たさない場合、ステップＳ２０６に進み、ＣＰＵ１０１はインカメラ画像を関連画像として記録せずに、本処理を終了する。
【００２２】
図３は、インカメラ画像記録処理によって生成した場合の画像の例である。図３（ａ）では、インカメラ画像に撮影者の顔領域全体が含まれており、インカメラ画像とアウトカメラ画像は関連画像として記録される。それに対して、図３（ｂ）では、顔領域の頭方向が欠けており、また、図３（ｃ）では、顔領域の顎方向が欠けている。したがって、図３（ｂ）、図３（ｃ）のような場合は、インカメラ画像とアウトカメラ画像は関連画像として記録されない。
【００２３】
以上のように、インカメラ画像から検出した顔領域が記録基準を満たすか否かに応じて、関連画像として記録するか否かを判定するようにしたので、図３（ｂ）及び図３（ｃ）に示すように、顔が欠けている等の不適切な顔画像が記録されるのを防ぐことができる。
【００２４】
なお、図３（ｂ）、図３（ｃ）では顔が欠けている領域は同程度であるが、図３（ｃ）に比べて図３（ｂ）では顔の表情を把握することができる。頭が欠けていても、表情を把握できる場合が多いため、ステップＳ２０４の判定処理において顔領域の頭方向の基準値を顎方向の基準値よりも緩く設定しておくことにより、図３（ｂ）のようなインカメラ画像を関連画像として記録するように設定してもよい。
また、前述した個人認証機能を用い、認証された人物が撮影する場合に記録基準を緩く変更してもよい。このように記録基準を設定することで、認証された人物の場合は多少欠けていても関連画像として記録することができる。
【００２５】
（第２の実施形態）
次に、第２の実施形態を説明する。撮像装置の構成は第１の実施形態と同様であり、以下では第１の実施形態との相違点を中心に説明するとともに、同じ構成要素には同一の符号を付し、その説明を省略する。
第２の実施形態では、第二撮像部１０５で撮影した撮影者画像（インカメラ画像）に複数の顔領域を検出した場合に、関連画像として記録するか否かを制御する例を述べる。
図４は、第２の実施形態におけるインカメラ画像記録処理を示すフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０１が不揮発性メモリ１０２に格納されたプログラムを、メモリ１０３に展開して実行することにより実現される。
図４のステップＳ４０１〜Ｓ４０５は、第１の実施形態で説明した図２のステップＳ２０１〜２０５と同様の処理であり、その説明を省略する。
ステップＳ４０４において顔領域の欠け量が記録基準を満たさない場合、ステップＳ４０６に進み、ＣＰＵ１０１はインカメラ画像で検出した全ての顔領域について記録基準の判定処理を行ったか否かを判定する。未判定の顔が残っている場合、ステップＳ４０７に進み、ＣＰＵ１０１は処理の対象となる顔領域を次の顔領域へと変更し、ステップＳ４０３の顔の欠け量算出処理を実行する。
ステップＳ４０６において全ての顔領域について記録基準の判定処理を行った場合、全ての顔領域が記録基準を満たさないことになる。この場合、ステップＳ４０８に進み、ＣＰＵ１０１はインカメラ画像を関連画像として記録せずに、本処理を終了する。
【００２６】
図５は、第２の実施形態においてインカメラ画像記録処理によって生成される画像の例である。図５（ａ）では、インカメラ画像から検出した二つの顔領域が両方とも記録基準を満たすので、インカメラ画像が関連画像として記録される。それに対して、図５（ｂ）では一人目の顔領域が記録基準を満たしていないが、二人目の顔領域が記録基準を満たすので、インカメラ画像が関連画像として記録される。検出した全ての顔領域が記録基準を満たさない場合、インカメラ画像は関連画像として記録されない。
【００２７】
以上のように、第２の実施形態では、インカメラ画像から複数の顔領域を検出した場合に、複数の顔領域それぞれについて記録基準を満たすか否かを判定することで、関連画像として記録される有効画像の基準を広げることができる。
【００２８】
なお、ステップＳ４０２の顔検出処理において、顔領域の大きさが一定以上のものだけを抽出する構成としてもよい。これにより、インカメラ画像にたまたま写り込んだ遠方の人物の顔領域を検出して関連画像として記録されるのを防ぐことができる。
【００２９】
（第３の実施形態）
次に、第３の実施形態を説明する。撮像装置の構成は第１の実施形態と同様であり、以下では第１の実施形態との相違点を中心に説明するとともに、同じ構成要素には同一の符号を付し、その説明を省略する。
第３の実施形態では、シャッターボタンの操作（ＳＷ１及びＳＷ２信号）に応じてインカメラ画像をメモリ１０３に複数記録してインカメラ画像記録処理を実施する例を述べる。ここで、ＳＷ１はシャッターボタンの操作途中、いわゆる半押し（撮影準備指示）した状態を指し、ＳＷ２はシャッターボタンの操作完了、いわゆる全押し（撮影指示）した状態を指す。
図６は、第３の実施形態におけるインカメラ画像記録処理を示すフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０１が不揮発性メモリ１０２に格納されたプログラムを、メモリ１０３に展開して実行することにより実現される。
ユーザ操作によりシャッターボタンの半押しが実行されると、ステップＳ６０１で、入力部１０８はＳＷ１信号を生成する。ステップＳ６０２で、ＳＷ１信号を受信したＣＰＵ１０１は、撮像部１０４の撮影準備状態に遷移するとともに、第二撮像部１０５で定期的に撮影者を撮影し、インカメラ画像をメモリ１０３に記録するようデジタルカメラ１００の各部を制御する。メモリ１０３には、複数のインカメラ画像を記録するための領域が設けられており、図８に示すようにＳＷ１時点からＳＷ２後所定の時間経過するまで複数回撮影したインカメラ画像が記録される。ＳＷ１からＳＷ２までの時間が長時間になると、インカメラ画像の枚数が増えるため、リングバッファ等を用いて、ＳＷ２の前後の所定の時間分のインカメラ画像を保持するような構成としても良い。
【００３０】
その後、ユーザ操作によりシャッターボタンの全押しが実行されると、ステップＳ６０３で、入力部１０８はＳＷ２信号を生成する。ステップＳ６０４で、ＳＷ２信号を受信したＣＰＵ１０１は、撮像部１０４での撮影を実行し、それに同期して第二撮像部１０５で撮影を実行するようデジタルカメラ１００の各部を制御する。ここで、第二撮像部１０５で撮影された画像（ＳＷ２インカメラ画像）は、定期的に撮影されたインカメラ画像と区別できるようにされている。
撮影終了後、所定の時間経過すると、ステップＳ６０５で、ＣＰＵ１０１はインカメラ画像のバッファ処理を終了し、ステップＳ６０６〜ステップＳ６０８で、ＳＷ２によって生成されたＳＷ２インカメラ画像の記録基準判定処理を実施する。記録基準判定処理は、第１の実施形態で説明した図２のステップＳ２０１〜２０４の処理と同様であり、その説明を省略する。
【００３１】
ステップＳ６０８においてＳＷ２インカメラ画像から検出した顔領域が記録基準を満たす場合、ステップＳ６０９で、ＣＰＵ１０１はＳＷ２インカメラ画像を関連画像として記録し、本処理を終了する。
それに対して、ステップＳ６０８においてＳＷ２インカメラ画像から検出した顔領域が記録基準を満たさない場合、ステップＳ６１０、Ｓ６１１に進み、ＣＰＵ１０１はメモリ１０３に記録されたインカメラ画像の顔の欠け量算出処理を実行する。そして、ステップＳ６１２で、検出処理の結果を評価値としてメモリ１０３に保持する。
ステップＳ６１３で、ＣＰＵ１０１は、メモリ１０３に記録されたインカメラ画像全ての記録基準判定処理が終了したか否かを判定する。未判定のインカメラ画像が残っている場合、ステップＳ６１４に進み、ＣＰＵ１０１は判定対象画像をメモリ１０３に記録された次インカメラ画像へと変更し、ステップＳ６１０の顔欠け量算出処理を実行する。
ステップＳ６１３においてインカメラ画像全ての記録基準判定処理が終了した場合、ステップＳ６１５に進み、ＣＰＵ１０１は、メモリ１０３に保持された各インカメラ画像の評価値を参照し、全インカメラ画像の中で最も評価値の高いインカメラ画像を抽出する。そして、ステップＳ６１６で、ＣＰＵ１０１は抽出されたインカメラ画像から検出した顔領域が記録基準を満たす否かを判定する。ステップＳ６１６において顔領域の欠け量が記録基準を満たす場合、ステップＳ６１７に進み、当該インカメラ画像を関連画像として記録し、満たさない場合、ステップＳ６１８に進み、関連画像を記録せずに、本処理を終了する。
【００３２】
図８は、ＳＷ２インカメラ画像から検出した顔領域が記録基準を満たさないが（図８（ｃ））、定期的に撮影されたインカメラ画像のうち１枚から検出した顔領域が記録基準を満たす（図８（ｄ））例である。
図７（ａ）は第３の実施形態を適用しない場合、図７（ｂ）は第３の実施形態を適用することによって得られる生成画像を示している。第３の実施形態を適用しない場合、図７（ａ）に示すように、ＳＷ２によって得られたインカメラ画像は不適切となってしまうが、第３の実施形態を適用することで、図８（ｄ）のインカメラ画像を関連画像とすることができるので、図７（ｂ）に示すような合成画像を得ることが可能となる。
【００３３】
以上のように、第３の実施形態では、ＳＷ１信号によってインカメラ画像のメモリ１０３への記録を開始し、ＳＷ２から所定の時間経過後に記録を停止する動作によって得られた、複数のインカメラ画像も含めてインカメラ画像記録処理を行うことができる。これにより、ＳＷ２時点のインカメラ画像が関連画像として不適切な場合でも、図７（ｂ）に示すような合成画像を得ることができる。
【００３４】
（第４の実施形態）
次に、第４の実施形態を説明する。撮像装置の構成は第１の実施形態と同様であり、以下では第１の実施形態との相違点を中心に説明するとともに、同じ構成要素には同一の符号を付し、その説明を省略する。
第４の実施形態では、第二撮像部１０５で動画（以下、インカメラ動画という）を撮影し、撮像部１０４で撮影した静止画の関連画像として記録する例を述べる。
図９は、第４の実施形態におけるインカメラ画像記録処理を示すフローチャートである。このフローチャートにおける各処理は、ＣＰＵ１０１が不揮発性メモリ１０２に格納されたプログラムを、メモリ１０３に展開して実行することにより実現される。
図９のステップＳ９０１〜Ｓ９０３は、第１の実施形態で説明した図２のステップＳ２０２〜２０４と同様の処理であり、その説明を省略する。
ステップＳ９０３において顔領域の欠け量が記録基準を満たす場合、ステップＳ９０４に進み、ＣＰＵ１０１は記録基準ＯＫ時間を増加させる。
ステップＳ９０３において顔領域の欠け量が記録基準を満たさない、及びステップＳ９０４において記録基準ＯＫ時間を増加させた後、ステップＳ９０５に進み、ＣＰＵ１０１はインカメラ動画の全フレームをチェックしたか否かを判定する。未チェックのフレームが残っている場合、ステップＳ９０６に進み、ＣＰＵ１０１は記録基準判定対象フレームを次フレームへと移行し、再度ステップＳ９０１〜Ｓ９０５の処理を実行する。
ステップＳ９０５において全フレームの処理が終了したと判定された場合、ステップＳ９０７に進み、ＣＰＵ１０１は記録基準ＯＫ時間が所定の時間以上であるか否かを判定する。所定の時間以上である場合、ステップＳ９０８に進み、インカメラ画像を関連画像として記録して、本処理を終了する。記録基準ＯＫ時間が所定の時間未満である場合、ステップＳ９０９に進み、インカメラ画像を関連画像として記録せずに、本処理を終了する。
【００３５】
図１０は、第４の実施形態においてインカメラ動画が関連画像として記録されたアウトカメラ画像を表示した場合の表示例である。図１０（ａ）、（ｄ）は記録基準を満たしていないインカメラ画像であり、図１０（ｂ）、（ｃ）は記録基準を満たしたインカメラ画像である。図１０の例では、インカメラ動画の中で撮影者の顔が適切に表示されている時間が十分にあるため、関連画像として記録されている。
【００３６】
以上のように、第４の実施形態では、アウトカメラで撮影した静止画にインカメラで撮影した動画を関連画像として記録する場合において、インカメラ動画のほとんどの時間で顔が欠けて写っているといった、不適切な動画が記録されることを防ぐことができる。
【００３７】
なお、記録基準を満たしていないときにインカメラ動画を記録しないようにしたが、インカメラ動画から記録基準を満たしたフレームを抽出し、そのフレームを関連画像として記録するような構成としてもよい。
【００３８】
以上各実施形態で説明したように、本発明を適用することにより、顔が欠けている等の不適切なインカメラ画像が関連画像となるのを防ぐことができ、合成画像の品質が低下することを防ぐことが可能となる。また、複数人がインカメラ画像に写った場合に、一部の顔領域が欠けて写っていても、有効な顔領域を検出して、関連画像として記録することが可能となる。さらに、インカメラの撮影をＳＷ１とＳＷ２を基準にして定期的に実行してバッファに保持することにより、撮影時点のインカメラ画像が関連画像記録に不適切な画像であっても、撮影前後のインカメラ画像から適切な画像を抽出して記録することが可能となる。また、インカメラ画像が動画の場合に、基準を満たした時間がインカメラ動画全体に占める割合を算出して記録するか否かを決めることで、顔がほとんど写っていないインカメラ動画を記録することを防ぐことが可能となる。
【００３９】
なお、関連画像の記録としては各種形式があるが、本発明はこれらの形式に関わらず適用可能である。例えばアウトカメラ画像とインカメラ画像を合成した後、単一の画像ファイルとして保存する形式がある。また、合成はせずに、ＭＰＦ（Multi Picture Format）と呼ばれる単一のファイルにアウトカメラ画像とインカメラ画像両方の画像を格納する形式で記録してもよい。また、アウトカメラ画像とインカメラ画像をそれぞれ別の画像ファイルとして保存し、画像ファイル内もしくは関連を記述したファイルに関係性を記述する形式により関連画像として記録してもよい。
【００４０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４１】
１０１：ＣＰＵ、１０２、不揮発性メモリ、１０３：メモリ、１０４：撮像部、１０５：第二撮像部、１０６：画像処理部、１０７：ディスプレイ、１０８：入力部、１０９：ドライブ装置、１１０：記録媒体、１１１：通信インタフェース、１５０：内部バス
【図１】
2014121052.tif 000003
【図２】
2014121052.tif 000004
【図３】
2014121052.tif 000005
【図４】
2014121052.tif 000006
【図５】
2014121052.tif 000007
【図６】
2014121052.tif 000008
【図７】
2014121052.tif 000009
【図８】
2014121052.tif 000010
【図９】
2014121052.tif 000011
【図１０】
2014121052.tif 000012