(57)【要約】【課題】複数の被写体を同時に撮影する場合において、複数の被写体の表情の変化を的確に捉えて撮影することが可能な撮像装置及び撮像方法を提供すること。【解決手段】撮像装置１００は、第１の被写体を撮像して第１の画像データを取得する撮像素子１１４ａと、第１の被写体とは異なる位置に存在する第２の被写体を撮像して第２の画像データを取得する撮像素子１１４ｂと、第１の画像データ及び前記第２の画像データから顔を検出する顔検出処理回路１３０５と、第１の画像データ及び第２の画像データから検出された顔の表情が所定の表情を示している度合いである表情度を検出する表情検出処理回路１３０６と、第１の画像データから検出された表情度が第１の閾値を超えたときに第１の画像データを記録するとともに、第２の画像データから検出された表情度が第２の閾値を超えたときに第２の画像データを記録するＣＰＵ１３０１とを備える。【選択図】図１
2016032225.tif 000002
【特許請求の範囲】
【請求項１】
第１の被写体を撮像して前記第１の被写体に係る第１の画像データを取得する第１の撮像部と、
前記第１の被写体とは異なる位置に存在する第２の被写体を撮像して前記第２の被写体に係る第２の画像データを取得する第２の撮像部と、
前記第１の画像データ及び前記第２の画像データの中から顔を検出する顔検出処理回路と、
前記第１の画像データから検出された顔及び前記第２の画像データから検出された顔のそれぞれの表情が所定の表情を示している度合いである表情度を検出する表情検出処理回路と、
前記第１の画像データから検出された表情度が第１の閾値を超えたときに前記第１の画像データを記録するとともに、前記第２の画像データから検出された表情度が第２の閾値を超えたときに前記第２の画像データを記録する制御部と、
を具備することを特徴とする撮像装置。
【請求項２】
前記記録された第１の画像データと第２の画像データとを合成する画像処理回路をさらに具備することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御部は、所定時間内に前記第２の画像データから検出された表情度が前記第２の閾値を超えなかったとときには前記第２の画像データから検出された表情度が前記第２の閾値よりも小さい第３の閾値を超えたときに前記第２の画像データを記録することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第１の閾値は、過去の前記第１の画像データから検出された表情度に基づいて決定され、前記第２の閾値及び前記第３の閾値は、過去の前記第２の画像データから検出された表情度に基づいて決定されることを特徴とする請求項３に記載の撮像装置。
【請求項５】
第１の被写体を撮像して前記第１の被写体に係る第１の画像データを取得する第１の撮像部と、
前記第１の被写体とは異なる位置に存在する第２の被写体を撮像して前記第２の被写体に係る第２の画像データを取得する第２の撮像部と、
前記第１の画像データ及び前記第２の画像データの中から顔を検出する顔検出処理回路と、
前記第１の画像データから検出された顔及び前記第２の画像データから検出された顔のそれぞれの表情が所定の表情を示している度合いである表情度を検出する表情検出処理回路と、
前記第１の画像データから検出された表情度が第１の閾値を超えたときに前記第１の画像データを記録するとともに、複数の前記第２の画像データの中から表情度が最も高い第２の画像データを選択して記録する制御部と、
を具備することを特徴とする撮像装置。
【請求項６】
第１の撮像部により、第１の被写体を撮像して前記第１の被写体に係る第１の画像データを取得することと、
第２の撮像部により、前記第１の被写体とは異なる位置に存在する第２の被写体を撮像して前記第２の被写体に係る第２の画像データを取得することと、
前記第１の画像データ及び前記第２の画像データの中から顔を検出することと、
前記第１の画像データから検出された顔及び前記第２の画像データから検出された顔のそれぞれの表情が所定の表情を示している度合いである表情度を検出することと、
前記第１の画像データから検出された表情度が第１の閾値を超えたときに前記第１の画像データを記録するとともに、前記第２の画像データから検出された表情度が第２の閾値を超えたときに前記第２の画像データを記録することと、
を具備することを特徴とする撮像方法。
【請求項７】
第１の撮像部により、第１の被写体を撮像して前記第１の被写体に係る第１の画像データを取得することと、
第２の撮像部により、前記第１の被写体とは異なる位置に存在する第２の被写体を撮像して前記第２の被写体に係る第２の画像データを取得することと、
前記第１の画像データ及び前記第２の画像データの中から顔を検出することと、
前記第１の画像データから検出された顔及び前記第２の画像データから検出された顔のそれぞれの表情が所定の表情を示している度合いである表情度を検出することと、
前記第１の画像データから検出された表情度が第１の閾値を超えたときに前記第１の画像データを記録するとともに、複数の前記第２の画像データの中から表情度が最も高い第２の画像データを選択して記録することと、
を具備することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
シャッタチャンスを逃さない撮影を行うことができるようにする撮像装置の提案は、従来よりなされている。例えば、特許文献１の撮像装置は、撮影者又は被写体の表情が例えば笑顔になった場合に撮影者と被写体の双方を撮影するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−５５２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
表情の変化は、通常、表情変化のきっかけとなるイベントが起こった後で発生する。例えば、被写体と撮影者の双方を撮影するシーンにおいて撮影者は、被写体が笑顔になったことをトリガとして笑顔になる可能性が高い。このように、被写体と撮影者との表情は同時に所定の表情になるとは限らない。
【０００５】
本発明は、前記の事情に鑑みてなされたもので、複数の被写体を同時に撮影する場合において、複数の被写体の表情の変化を的確に捉えて撮影することが可能な撮像装置及び撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記の目的を達成するために、本発明の第１の態様の撮像装置は、第１の被写体を撮像して前記第１の被写体に係る第１の画像データを取得する第１の撮像部と、前記第１の被写体とは異なる位置に存在する第２の被写体を撮像して前記第２の被写体に係る第２の画像データを取得する第２の撮像部と、前記第１の画像データ及び前記第２の画像データの中から顔を検出する顔検出処理回路と、前記第１の画像データから検出された顔及び前記第２の画像データから検出された顔のそれぞれの表情が所定の表情を示している度合いである表情度を検出する表情検出処理回路と、前記第１の画像データから検出された表情度が第１の閾値を超えたときに前記第１の画像データを記録するとともに、前記第２の画像データから検出された表情度が第２の閾値を超えたときに前記第２の画像データを記録する制御部とを具備することを特徴とする。
【０００７】
前記の目的を達成するために、本発明の第２の態様の撮像装置は、第１の被写体を撮像して前記第１の被写体に係る第１の画像データを取得する第１の撮像部と、前記第１の被写体とは異なる位置に存在する第２の被写体を撮像して前記第２の被写体に係る第２の画像データを取得する第２の撮像部と、前記第１の画像データ及び前記第２の画像データの中から顔を検出する顔検出処理回路と、前記第１の画像データから検出された顔及び前記第２の画像データから検出された顔のそれぞれの表情が所定の表情を示している度合いである表情度を検出する表情検出処理回路と、前記第１の画像データから検出された表情度が第１の閾値を超えたときに前記第１の画像データを記録するとともに、複数の前記第２の画像データの中から表情度が最も高い第２の画像データを選択して記録する制御部とを具備することを特徴とする。
【０００８】
前記の目的を達成するために、本発明の第３の態様の撮像方法は、第１の撮像部により、第１の被写体を撮像して前記第１の被写体に係る第１の画像データを取得することと、第２の撮像部により、前記第１の被写体とは異なる位置に存在する第２の被写体を撮像して前記第２の被写体に係る第２の画像データを取得することと、前記第１の画像データ及び前記第２の画像データの中から顔を検出することと、前記第１の画像データから検出された顔及び前記第２の画像データから検出された顔のそれぞれの表情が所定の表情を示している度合いである表情度を検出することと、前記第１の画像データから検出された表情度が第１の閾値を超えたときに前記第１の画像データを記録するとともに、前記第２の画像データから検出された表情度が第２の閾値を超えたときに前記第２の画像データを記録することとを具備することを特徴とする。
【０００９】
前記の目的を達成するために、本発明の第４の態様の撮像方法は、第１の撮像部により、第１の被写体を撮像して前記第１の被写体に係る第１の画像データを取得することと、第２の撮像部により、前記第１の被写体とは異なる位置に存在する第２の被写体を撮像して前記第２の被写体に係る第２の画像データを取得することと、前記第１の画像データ及び前記第２の画像データの中から顔を検出することと、前記第１の画像データから検出された顔及び前記第２の画像データから検出された顔のそれぞれの表情が所定の表情を示している度合いである表情度を検出することと、前記第１の画像データから検出された表情度が第１の閾値を超えたときに前記第１の画像データを記録するとともに、複数の前記第２の画像データの中から表情度が最も高い第２の画像データを選択して記録することとを具備することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、複数の被写体を同時に撮影する場合において、複数の被写体の表情の変化を的確に捉えて撮影することが可能な撮像装置及び撮像方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の各実施形態に係る撮像装置の一例の構成を示すブロック図である。
【図２】本発明の各実施形態に係る撮像装置の一例としての外観を示す斜視図である。
【図３】顔検出について説明するための図である。
【図４】器官検出について説明するための図である。
【図５】第１の実施形態に係る撮像装置の撮影動作を示すフローチャートである。
【図６】第１の画像データにおける顔の表情度の時間変化の一例を示す図である。
【図７】図７（ａ）は図６のＡ点における表情の例を示す図であり、図７（ｂ）は図７のＢ点における表情の例を示す図である。
【図８】表情度閾値判定処理を示すフローチャートである。
【図９】第２の画像データにおける顔の表情度の時間変化の一例を示す図である。
【図１０】図１０（ａ）は図９のＣ点における表情の例を示す図であり、図１０（ｂ）は図９のＤ点における表情の例を示す図である。
【図１１】静止画撮影モードにおける合成処理の例を示す図である。
【図１２】動画撮影モードにおける合成処理の例を示す図である。
【図１３】動画撮影モードにおける連結処理の例を示す図である。
【図１４】従来の静止画撮影モードにおける合成処理の例を示す図である。
【図１５】従来の動画撮影モードにおける合成処理の例を示す図である。
【図１６】第２の実施形態に係る撮像装置の撮影動作を示すフローチャートである。
【図１７】画像選択処理を示すフローチャートである。
【図１８】変形例としての２眼の撮像装置の外観を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施形態を説明する。  
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の各実施形態に係る撮像装置の一例の構成を示すブロック図である。また、図２は、本発明の各実施形態に係る撮像装置の一例としての外観を示す斜視図である。ここで、図２（ａ）は、前面斜視図を示している。図２（ｂ）は、背面斜視図を示している。
【００１３】
図１に示すように、撮像装置１００は、撮影光学系１０２ａ及び１０２ｂと、焦点調整機構１０４ａ及び１０４ｂと、絞り１０６ａ及び１０６ｂと、絞り駆動機構１０８ａ及び１０８ｂと、シャッタ１１０ａ及び１１０ｂと、シャッタ駆動機構１１２ａ及び１１２ｂと、撮像素子１１４ａ及び１１４ｂと、撮像素子インターフェイス（ＩＦ）回路１１６ａ及び１１６ｂと、ＲＡＭ１１８と、表示素子１２０と、表示素子駆動回路１２２と、タッチパネル１２４と、タッチパネル駆動回路１２６と、記録メディア１２８と、システムコントローラ１３０と、操作部１３２と、ＲＯＭ１３４とを有している。
【００１４】
撮影光学系１０２ａは、図２（ａ）に示すように、撮像装置１００の本体１３６の前面に装着される交換レンズ内に設けられている。撮影光学系１０２ａは、撮像装置１００の前方に存在する第１の被写体、すなわち撮影者が撮影対象としている被写体からの撮影光束Ｆ１を、対応する撮像素子１１４ａの受光面上に導くための光学系である。この撮影光学系１０２ａは、フォーカスレンズ等の複数のレンズを有している。なお、撮影光学系１０２ａは、必ずしも交換レンズ内に設けられている必要はなく、本体１３６に設けられていても良い。
【００１５】
撮影光学系１０２ｂは、図２（ｂ）に示すように、撮像装置１００の本体１３６の背面の表示素子１２０の部分に設けられている。撮影光学系１０２ｂは、撮像装置１００の後方に存在する第２の被写体、例えば撮影者からの撮影光束Ｆ２を、対応する撮像素子１１４ｂの受光面上に導くための光学系である。この撮影光学系１０２ｂは、フォーカスレンズ等の複数のレンズを有している。
【００１６】
焦点調整機構１０４ａ及び１０４ｂは、モータ及びその駆動回路等を有している。焦点調整機構１０４ａは、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮影光学系１０２ａ内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動させる。焦点調整機構１０４ｂは、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮影光学系１０２ｂ内のフォーカスレンズをその光軸方向（図示一点鎖線方向）に駆動させる。
【００１７】
絞り１０６ａ及び１０６ｂは、開閉自在に構成されている。絞り１０６ａは、撮影光学系１０２ａを介して撮像素子１１４ａに入射する撮影光束Ｆ１の量を調整する。絞り１０６ｂは、撮影光学系１０２ｂを介して撮像素子１１４ｂに入射する撮影光束Ｆ２の量を調整する。
【００１８】
絞り駆動機構１０８ａ及び１０６ｂは、絞り１０６ａ及び１０６ｂを駆動するための駆動機構を有している。絞り駆動機構１０８ａは、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って絞り１０６ａを駆動させる。絞り駆動機構１０８ｂは、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って絞り１０６ｂを駆動させる。
【００１９】
シャッタ１１０ａは、撮像素子１１４ａの受光面を遮光状態又は露光状態とするように構成されている。シャッタ１１０ｂは、撮像素子１１４ｂの受光面を遮光状態又は露光状態とするように構成されている。これらのシャッタ１１０ａ及び１１０ｂにより、撮像素子１１４ａ及び１１４ｂの露光時間が調整される。シャッタ駆動機構１１２ａ及び１１２ｂは、シャッタ１１０ａ及び１１０ｂを駆動させるための駆動機構を有している。シャッタ駆動機構１１２ａは、システムコントローラ１３０内のＣＰＵ１３０１の制御に従ってシャッタ１１０ａを駆動させる。シャッタ駆動機構１１２ｂは、システムコントローラ１３０内のＣＰＵ１３０１の制御に従ってシャッタ１１０ｂを駆動させる。
【００２０】
撮像素子１１４ａは、撮影光学系１０２ａを介して集光された被写体からの撮影光束Ｆ１が結像される受光面を有している。撮像素子１１４ｂは、撮影光学系１０２ｂを介して集光された被写体からの撮影光束Ｆ２が結像される受光面を有している。撮像素子１１４ａ及び１１４ｂのそれぞれの受光面は、２次元状に配置された複数の画素を有している。また、それぞれの受光面の光入射側には、カラーフィルタが設けられている。このような構成において、撮像素子１１４ａは、受光面に結像された撮影光束Ｆ１に対応した像（被写体像）を、その光量に応じた電気信号（画像信号）に変換する。撮像素子１１４ｂは、受光面に結像された撮影光束Ｆ２に対応した像（被写体像）を、その光量に応じた電気信号（画像信号）に変換する。
【００２１】
撮影光学系１０２ａ及び撮像素子１１４ａとともに第１の撮像部として機能する撮像素子ＩＦ回路１１６ａは、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って撮像素子１１４ａを駆動させる。また、撮像素子ＩＦ回路１１６ａは、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４ａで得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６ａは、アナログ処理した画像信号をデジタル信号（以下、第１の画像データという）に変換する。同様に、撮影光学系１０２ｂ及び撮像素子１１４ｂとともに第２の撮像部として機能する撮像素子ＩＦ回路１１６ｂは、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って撮像素子１１４ｂを駆動させる。また、撮像素子ＩＦ回路１１６ｂは、システムコントローラ１３０内のＣＰＵ１３０１の制御に従って、撮像素子１１４ｂで得られた画像信号を読み出し、読み出した画像信号に対してＣＤＳ（相関二重サンプリング）処理やＡＧＣ（自動利得制御）処理等のアナログ処理を施す。さらに、撮像素子ＩＦ回路１１６ｂは、アナログ処理した画像信号をデジタル信号（以下、第２の画像データという）に変換する。
【００２２】
ＲＡＭ１１８は、例えばＳＤＲＡＭであり、ワークエリア、ログエリアを記憶エリアとして有している。ワークエリアは、撮像素子ＩＦ回路１１６ａ及び１１６ｂで得られた第の画像データ及び第２の画像データ等の、撮像装置１００の各部で発生したデータを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。ログエリアは、表情度のログデータを一時記憶しておくためにＲＡＭ１１８に設けられた記憶エリアである。表情のログデータは、動画撮影モード中の表情検出処理の結果として得られた表情度がある閾値を超えたタイミングを示す情報を記録したログである。このタイミングは、例えば時間やフレームの番号によって表される。
【００２３】
表示素子１２０は、例えば図２（ｂ）に示すように、本体１３６の背面に設けられている。表示素子１２０は、例えば液晶ディプレイ（ＬＣＤ）であり、ライブビュー用の画像及び記録メディア１２８に記録された画像等の各種の画像を表示する。表示素子駆動回路１２２は、システムコントローラ１３０のＣＰＵ１３０１から入力された画像データに基づいて表示素子１２０を駆動させ、表示素子１２０に画像を表示させる。ここで、撮影光学系１０２ｂを介して撮影者を撮像できるよう、表示素子１２０は撮影者の側に向けて傾けることができるように構成されていることが望ましい。
【００２４】
タッチパネル１２４は、表示素子１２０の表示画面上に一体的に形成されており、表示画面上へのユーザの指等の接触位置等を検出する。タッチパネル駆動回路１２６は、タッチパネル１２４を駆動するとともに、タッチパネル１２４からの接触検出信号をシステムコントローラ１３０のＣＰＵ１３０１に出力する。ＣＰＵ１３０１は、接触検出信号から、ユーザの表示画面上への接触操作を検出し、その接触操作に応じた処理を実行する。
【００２５】
記録メディア１２８は、例えばメモリカードであり、撮影動作によって得られた画像ファイルが記録される。画像ファイルは、画像データに所定のヘッダを付与して構成されるファイルである。ヘッダには、撮影条件を示すデータ等が、タグデータとして記録される。
【００２６】
システムコントローラ１３０は、撮像装置１００の動作を制御するための制御回路として、ＣＰＵ１３０１と、ＡＦ制御回路１３０２と、ＡＥ制御回路１３０３と、画像処理回路１３０４と、顔検出処理回路１３０５と、表情検出処理回路１３０６と、メモリ制御回路１３０７とを有している。
【００２７】
ＣＰＵ１３０１は、焦点調整機構１０４ａ及び１０４ｂ、絞り駆動機構１０８ａ及び２０８ｂ、シャッタ駆動機構１１２ａ及び１１２ｂ、表示素子駆動回路１２２、タッチパネル駆動回路１２６等のシステムコントローラ１３０の外部の各ブロック、及びシステムコントローラ１３０の内部の各制御回路の動作を制御する制御部である。
【００２８】
ＡＦ制御回路１３０２は、撮像画面内の焦点状態を検出してＡＦ処理を制御する。より詳しくは、ＡＦ制御回路１３０２は、焦点検出情報としてのＡＦ評価値に従って画像データのコントラストを評価しつつ、焦点調整機構１０４ａ及び１０４ｂを制御してフォーカスレンズを合焦状態とする。
【００２９】
ＡＥ制御回路１３０３は、ＡＥ処理を制御する。より詳しくは、ＡＥ制御回路１３０３は、撮像素子ＩＦ回路１１６ａ及び１１６ｂで得られた画像データを用いて被写体輝度を算出する。ＣＰＵ１３０１は、この被写体輝度に従って、露光時の絞り１０６ａ及び１０６ｂの開口量（絞り値）、シャッタ１１０ａ及び１１０ｂの開放時間（シャッタ速度値）、撮像素子感度やＩＳＯ感度等を算出する。
【００３０】
画像処理回路１３０４は、画像データに対する各種の画像処理を行う。画像処理としては、色補正処理、ガンマ（γ）補正処理、圧縮処理等が含まれる。また、画像処理回路１３０４は、圧縮されている画像データに対する伸張処理も施す。さらに、画像処理回路１３０４は、第１の画像データと第２の画像データとを合成する処理も行う。
【００３１】
顔検出処理回路１３０５は、画像データにおける被写体（人物）の顔を検出する。ここで、顔検出処理について簡単に説明する。顔検出処理においては、各フレームで得られる画像データと、図３（ａ）に示すような顔パーツ２０２、２０４、２０６との画像相関度を求める。顔パーツ２０２は、人物の鼻部周辺の陰影のパターンに対応した画像データであり、顔パーツ２０４は、人物の目部周辺の陰影のパターンに対応した画像データであり、顔パーツ２０６は、人物の口部周辺の陰影のパターンに対応した画像データである。画像データと顔パーツ２０２、２０４、２０６との画像相関度は、図３（ｂ）に示すような、人物の顔を示す所定の配置となったときに最大となる。このとき、顔パーツ２０２、２０４、２０６を含むエリア２０８に顔が存在しているとする。なお、顔パーツ２０２、２０４、２０６は予め設定した検索顔の大きさに応じて、大きさを変えても良い。ここで、図３（ｂ）では、顔エリアを矩形エリアとしているが、円形エリアとしても良い。
【００３２】
表情検出処理回路１３０６は、顔検出処理回路１３０５で検出された顔の表情が所定の表情（例えば笑顔）である度合いを示す表情度を検出する。すなわち、表情検出処理回路１３０６は、図４に示すような、画像データの顔から目や口を構成する顔器官３０２を検出し、現在の顔器官３０２の配置と例えば笑顔の際の顔器官３０２と配置との一致度を表情度として算出する。
【００３３】
メモリ制御回路１３０７は、ＣＰＵ１３０１等が、ＲＡＭ１１８、記録メディア１２８、ＲＯＭ１３４にアクセスするための制御を行うためのインターフェイスである。
【００３４】
操作部１３２は、ユーザによって操作される各種の操作部材である。操作部１３２としては、例えば、撮影開始ボタン、動画ボタン、モードボタン、選択キー、電源ボタン等が含まれる。撮影開始ボタンは、静止画撮影の指示をするための操作部材である。撮影開始ボタンは、例えば図２（ａ）及び図２（ｂ）の参照符号１３２ａで示すように本体１３６の上部に設けられている。撮影開始ボタンが操作されることによって静止画撮影が開始される。動画ボタンは、動画撮影の指示をするための操作部材である。動画ボタンが操作されることによって動画撮影が開始され、その後に再び動画ボタンが操作されることによって動画撮影が終了される。モードボタンは、撮像装置１００の撮影設定を選択するための操作部材である。選択キーは、例えばメニュー画面上での項目の選択や決定をするための操作部材である。ユーザによって選択キーが操作されるとメニュー画面上での項目の選択や決定が行われる。電源ボタンは、撮像装置の電源をオン又はオフするための操作部材である。ユーザによって電源ボタンが操作されると、撮像装置１００が起動して動作可能な状態となる。撮像装置１００が起動している間に電源ボタンが操作されると、撮像装置１００が省電力待機状態となる。
【００３５】
ＲＯＭ１３４は、ＣＰＵ１３０１が種々の処理を実行するためのプログラムコードを記憶している。また、ＲＯＭ１３４は、撮影光学系１０２ａ及び１０２ｂ、絞り１０６ａ及び１０２ｂ、並びに撮像素子１１４ａ及び１１４ｂ等の動作に必要な制御パラメータ、並びに画像処理回路１３０４での画像処理に必要な制御パラメータ等の、各種の制御パラメータを記憶している。さらには、ＲＯＭ１３４は、顔検出処理回路１３０５における顔検出に用いられる顔パーツのデータ等も記憶している。
【００３６】
次に、本実施形態に係る撮像装置の動作について説明する。図５は、第１の実施形態に係る撮像装置１００の撮影動作を示すフローチャートである。ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで図５の動作を制御する。
【００３７】
Ｓ１００において、ＣＰＵ１３０１は、現在の撮像装置１００の撮影設定が静止画撮影モードであるか否かを判定する。前述したように、撮影設定は、モードボタンによって設定される。Ｓ１００において撮影設定が静止画撮影モードであると判定した場合に、Ｓ１０２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。ライブビュー動作として、ＣＰＵ１３０１は、シャッタ駆動機構１１２ａを制御してシャッタ１１０ａを開放した後、ＣＰＵ１３０１は、撮像素子ＩＦ回路１１６ａを制御して撮像素子１１４ａによる撮像を開始させる。その後、ＣＰＵ１３０１は、撮像素子１１４ａによる撮像の結果としてＲＡＭ１１８のワークエリアに記憶された第１の画像データを画像処理回路１３０４に入力してライブビュー表示用の画像処理を施す。続いて、ＣＰＵ１３０１は、ライブビュー表示用の画像処理がされた第１の画像データを表示素子駆動回路１２２に入力し、表示素子１２０に画像を表示させる。このような表示動作を繰り返し実行することにより、撮像装置１００の前面の被写体の画像が動画表示される。この動画表示により、ユーザは、被写体を観察することが可能である。なお、ライブビュー動作の開始に合わせてＣＰＵ１３０１は、撮像素子１１４ｂによる撮像も開始させる。第１の画像データと同様、第２の画像データもＲＡＭ１１８のワークエリアに記憶される。
【００３８】
Ｓ１０４において、ＣＰＵ１３０１は、撮影開始ボタンが押されたか否かを判定する。Ｓ１０４において撮影開始ボタンが押されたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
【００３９】
Ｓ１０４において撮影開始ボタンが押されたと判定した場合に、Ｓ１０６においてＣＰＵ１３０１は、表情検出処理回路１３０６により、ライブビュー動作中に得られている第１の画像データ内の顔（すなわち撮像装置１００の前側の被写体の顔）の表情度の検出を行う。Ｓ１０８において、ＣＰＵ１３０１は、第１の画像データ内の顔の表情度が第１の閾値を超えたか否かを判定する。Ｓ１０８において第１の画像データ内の顔の表情度が第１の閾値を超えていないと判定した場合に、ＣＰＵ１３０１は、処理をＳ１０６に戻す。Ｓ１０８において、第１の画像データ内の顔の表情度が第１の閾値を超えたと判定した場合に、Ｓ１１０において、ＣＰＵ１３０１は、第１の画像データを記録メディア１２８に記録させる。
【００４０】
図６は、第１の画像データにおける顔の表情度の時間変化の一例を示す図である。また、図７（ａ）は、図６のＡ点における表情の例を示しており、図７（ｂ）は、図７のＢ点における表情の例を示している。表情度と第１の閾値との比較において、表情度が第１の閾値以下のタイミングであるＡ点における表情は、図７（ａ）に示すような笑顔ではない表情である。このタイミングでは、第１の画像データは、記録メディア１２８に記録されない。一方、表情度が第１の閾値を超えたタイミングであるＢ点における表情は、図７（ｂ）に示すような笑顔である。このタイミングで、第１の画像データは、記録メディア１２８に記録される。
【００４１】
Ｓ１１２において、ＣＰＵ１３０１は、表情検出処理回路１３０６により、第２の画像データ内の顔（すなわち撮像装置１００の後側の撮影者の顔）の表情度の検出を行う。Ｓ１１４において、ＣＰＵ１３０１は、表情度閾値判定処理を行う。以下、図８を参照して、表情度閾値判定処理について説明する。
【００４２】
Ｓ２００において、ＣＰＵ１３０１は、経過時間のカウントを開始する。Ｓ２０２において、ＣＰＵ１３０１は、経過時間が閾値（例えば５秒）を超えたか否かを判定する。
【００４３】
Ｓ２０２において、経過時間が閾値を超えていないと判定した場合に、ＣＰＵ１３０１は、Ｓ２０４において、第２の画像データに係る表情度の閾値を第２の閾値（第１の閾値と同じで良い。異なっていても良い）にする。その後、ＣＰＵ１３０１は、図８の処理を終了させて図５のＳ１１６の処理を行う。Ｓ２０２において、経過時間が閾値を超えたと判定した場合に、ＣＰＵ１３０１は、Ｓ２０６において、第２の画像データに係る表情度の閾値を第２の閾値よりも小さい第３の閾値にする。その後、ＣＰＵ１３０１は、図８の処理を終了させて図５のＳ１１６の処理を行う。
【００４４】
ここで、図５の説明に戻る。Ｓ１１６において、ＣＰＵ１３０１は、第２の画像データ内の顔の表情度が表情度閾値判定処理で決定された閾値（第２の閾値又は第３の閾値）を超えたか否かを判定する。Ｓ１１６において第２の画像データ内の顔の表情度が表情度閾値判定処理で決定された閾値を超えていないと判定した場合に、ＣＰＵ１３０１は、処理をＳ１１２に戻す。Ｓ１１６において、第２の画像データ内の顔の表情度が表情度閾値判定処理で決定された閾値を超えたと判定した場合に、Ｓ１１８において、ＣＰＵ１３０１は、第２の画像データを記録メディア１２８に記録させる。
【００４５】
図９は、第２の画像データにおける顔の表情度の時間変化の一例を示す図である。ここで、図９（ａ）は、判定開始からある期間の経過後に表情度が第２の閾値を超える例を示している。また、図９（ｂ）は、判定開始の時点で表情度が第２の閾値を超える例を示している。さらに、図９（ｃ）は、判定開始からある期間の経過後も表情度が第３の閾値を超えない例を示している。また、図１０（ａ）は、図９のＣ点における表情の例を示しており、図１０（ｂ）は、図９のＤ点における表情の例を示している。表情度と閾値との比較において、表情度が第２の閾値及び第３の閾値以下のタイミングであるＣ点における表情は、図１０（ａ）に示すような笑顔ではない表情である。このタイミングでは、第２の画像データは、記録メディア１２８に記録されない。一方、表情度が第２の閾値を超えたタイミングであるＤ点における表情は、図１０（ｂ）に示すような笑顔である。このタイミングで、第２の画像データは、記録メディア１２８に記録される。なお、図１０では図示していないが、所定時間（例えば５秒）の経過後の表情度が図９（ｃ）に示す第３の閾値を超えたタイミングにおける表情は、Ｄ点における表情よりも笑顔に近くないが、Ｃ点よりも笑顔に近い表情である。このような場合も第２の画像データも、記録メディア１２８に記録される。
【００４６】
Ｓ１２０において、ＣＰＵ１３０１は、画像処理回路１３０４により、第１の画像データと第２の画像データの合成処理を行う。静止画撮影モード時の合成処理は、例えば図１１に示すように、Ｓ１１０において記録メディア１２８に記録された第１の画像データ４００ａに、Ｓ１１８において記録メディア１２８に記録された第２の画像データの縮小画像データ４００ｂを合成することにより行われる。すなわち、図６のＢ点において得られた第１の画像データと図９のＤ点において得られた第２の画像データの縮小画像データとが合成される。
【００４７】
Ｓ１２２において、ＣＰＵ１３０１は、合成画像データを静止画像ファイルとして記録メディア１２８に記録させる。そして、ＣＰＵ１３０１は、図５の処理を終了させる。
【００４８】
ここで、Ｓ１２２において合成画像データを記録メディアに記録させた後は、Ｓ１１０において記録した第１の画像データ及びＳ１１８において記録した第２の画像データは記録メディア１２８から消去して良い。または、第１の画像データ及び第２の画像データを合成画像データとは別の静止画像ファイルとして記録メディア１２８に残すようにしても良い。
【００４９】
Ｓ１００において撮影設定が静止画撮影モードでない、すなわち動画撮影モードであると判定した場合に、Ｓ１２４において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。なお、ライブビュー動作の開始に合わせてＣＰＵ１３０１は、撮像素子１１４ｂによる撮像も開始させる。
【００５０】
Ｓ１２６において、ＣＰＵ１３０１は、動画ボタンが押されたか否かを判定する。Ｓ１２６において動画ボタンが押されたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
【００５１】
Ｓ１２６において動画ボタンが押されたと判定した場合に、Ｓ１２８においてＣＰＵ１３０１は、動画記録を開始させる。すなわち、動画撮影用の設定で撮像素子１１４ａによる撮像を開始させ、撮像によって得られるフレーム単位で得られる第１の画像データをＲＡＭ１１８のワークエリアに逐次記憶させる。
【００５２】
Ｓ１３０において、ＣＰＵ１３０１は、表情検出処理回路１３０６により、ライブビュー動作中に得られている第１の画像データ内の顔の表情度の検出を行う。Ｓ１３２において、ＣＰＵ１３０１は、第１の画像データ内の顔の表情度が第１の閾値を超えたか否かを判定する。Ｓ１３２において第１の画像データ内の顔の表情度が第１の閾値を超えていないと判定した場合に、ＣＰＵ１３０１は、処理をＳ１４４に移行させる。Ｓ１３２において、第１の画像データ内の顔の表情度が第１の閾値を超えたと判定した場合に、Ｓ１３４において、ＣＰＵ１３０１は、第１の画像データ内の顔の表情度が第１の閾値を超えたタイミングを示すログデータをＲＡＭ１１８のログエリアに記憶させる。このログデータは、例えば、第１の画像データ内の顔の表情度が第１の閾値を超えた時刻、第１の画像データ内の顔の表情度が第１の閾値を超えたフレームの番号といった情報である。
【００５３】
Ｓ１３６において、ＣＰＵ１３０１は、表情検出処理回路１３０６により、第２の画像データ内の顔の表情度の検出を行う。Ｓ１３８において、ＣＰＵ１３０１は、表情度閾値判定処理を行う。Ｓ１３８の表情度閾値判定処理は、図８で示したものと同様にして行われる。
【００５４】
Ｓ１４０において、ＣＰＵ１３０１は、第２の画像データ内の顔の表情度が表情度閾値判定処理で決定された閾値（第２の閾値又は第３の閾値）を超えたか否かを判定する。Ｓ１４０において第２の画像データ内の顔の表情度が表情度閾値判定処理で決定された閾値を超えていないと判定した場合に、ＣＰＵ１３０１は、処理をＳ１４４に移行させる。Ｓ１４０において、第２の画像データ内の顔の表情度が第２の閾値を超えたと判定した場合に、Ｓ１４２において、ＣＰＵ１３０１は、第２の画像データ内の顔の表情度が表情度閾値判定処理で決定された閾値を超えたタイミングを示すログデータをＲＡＭ１１８のログエリアに記憶させる。
【００５５】
Ｓ１４４において、ＣＰＵ１３０１は、動画ボタンが再度押されたか否かを判定する。Ｓ１４４において動画ボタンが再度押されていないと判定した場合に、ＣＰＵ１３０１は、処理をＳ１３０に戻して動画記録を継続する。このように、動画撮影モード時では、動画ボタンが再度押されるまでは、動画像データの記録とログデータの記憶が継続される。
【００５６】
Ｓ１４４において動画ボタンがオフされたと判定した場合に、Ｓ１４６において、ＣＰＵ１３０１は、第１の画像データに係るログデータと第２の画像データに係るログデータの両方がＲＡＭ１１８のログエリアに記憶されているか否かを判定する。Ｓ１４６において、第１の画像データに係るログデータと第２の画像データに係るログデータの両方がＲＡＭ１１８のログエリアに記憶されていないと判定した場合に、ＣＰＵ１３０１は、処理をＳ１５０に移行させる。
【００５７】
Ｓ１４６において、第１の画像データに係るログデータと第２の画像データに係るログデータの両方がＲＡＭ１１８のログエリアに記憶されていると判定した場合にＳ１４８において、ＣＰＵ１３０１は、画像処理回路１３０４により、第１の画像データと第２の画像データの合成/連結処理を行う。画像処理回路１３０４が合成処理と連結処理の何れを行うのかは例えばユーザによって選択される。動画撮影モード時の合成処理は、例えば図１２に示すように、動画像として得られる複数フレームの第１の画像データ５００ａ〜５０８ａのうち、第１の画像データの顔の表情と第２の画像データの顔の表情とがともに閾値を超えているタイミングの第１の画像データ５０４ａ、５０６ａに、同じタイミングの第２の画像データの縮小画像データ５０４ｂ、５０６ｂを順次合成することにより行われる。なお、第１の画像データと第２の画像データの顔の表情の両方が同時に笑顔になるフレームが存在しない場合において、第１の画像データと第２の画像データの顔の表情の両方が同時に笑顔になるように合成するようにしても良い。すなわち、笑顔になるタイミングの異なる第１の画像データと第２の画像データを合成しても良い。また、連結処理は、例えば図１３に示すように、顔の表情度が第１の閾値を超えている状態から第１の閾値以下となったフレームの第１の画像データ５０８ａの前に、顔の表情度が第２又は第３の閾値を超えているフレームの第２の画像データ５０４ｂ、５０６ｂを挿入することにより行われる。合成処理及び連結処理は、図１２及び図１３で示したものに限るものではない。
【００５８】
Ｓ１５０において、ＣＰＵ１３０１は、合成処理によって合成されたフレームの画像データを含む一連の第１の画像データを動画ファイルとして記録メディア１２８に記録させる。そして、ＣＰＵ１３０１は、図５の処理を終了させる。
【００５９】
以上説明したように本実施形態によれば、第１の画像データ内の顔の表情が所定の表情（例えば笑顔）となったときに第１の画像データを記録メディア１２８に記録するとともに、第２の画像データ内の顔の表情が所定の表情（例えば笑顔）となったときに第２の画像データを記録メディア１２８に記録するようにしている。
【００６０】
第１の画像データと第２の画像データの片方の表情が笑顔になったときに撮影を行うようにしたり、第１の画像データと第２の画像データの顔の両方の表情が同時に笑顔になったときに撮影を行うようにしたりすると、図１４に示すような被写体と撮影者の顔がともに笑顔になっていない静止画像、図１５に示すような被写体と撮影者の顔がともに笑顔になっていないフレームを含む動画像が記録メディア１２８に記録されてしまう可能性がある。これに対し、本実施形態では第１の画像データと第２の画像データとで個別に表情を判定して記録することにより、第１の画像データ内の顔の表情の変化と第２の画像データ内の顔の表情の変化とを的確に捉えて、第１の画像データと第２の画像データの顔の両方の表情が同時に笑顔になっている静止画像や動画像を撮影できる。
【００６１】
また、本実施形態では、本実施形態では第１の画像データと第２の画像データとで個別に表情を判定して記録することにより、例えば被写体の笑顔を見て撮影者も笑顔になるような笑顔になるタイミングに時間差が生じる場合であっても被写体と撮影者がともに笑顔の画像を撮影できる。
【００６２】
また、本実施形態では、第２の画像データに係る表情度の閾値を所定時間の経過後に小さくするようにしている。これにより、完全な笑顔ではないが笑顔に近い表情の第２の画像データも記録することができる。このため、合成処理や連結処理が行われなくなる可能性を低減することが可能である。
【００６３】
［第２の実施形態］
次に本発明の第２の実施形態について説明する。ここで、撮像装置の構成については図１及び図２で説明した構成が適用されるので説明を省略する。
【００６４】
図１６は、第２の実施形態に係る撮像装置１００の撮影動作を示すフローチャートである。第１の実施形態と同様、ＣＰＵ１３０１は、ＲＯＭ１３４から必要なプログラムコードを読み込んで図１６の動作を制御する。
【００６５】
Ｓ３００において、ＣＰＵ１３０１は、現在の撮像装置１００の撮影設定が静止画撮影モードであるか否かを判定する。Ｓ３００において撮影設定が静止画撮影モードであると判定した場合に、Ｓ３０２において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。なお、ライブビュー動作の開始に合わせてＣＰＵ１３０１は、撮像素子１１４ｂによる撮像も開始させる。第１の画像データと同様、第２の画像データもＲＡＭ１１８のワークエリアに記憶される。
【００６６】
Ｓ３０４において、ＣＰＵ１３０１は、撮影開始ボタンが押されたか否かを判定する。Ｓ３０４において撮影開始ボタンが押されたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
【００６７】
Ｓ３０４において撮影開始ボタンが押されたと判定した場合に、Ｓ３０６においてＣＰＵ１３０１は、表情検出処理回路１３０６により、ライブビュー動作中に得られている第１の画像データ内の顔の表情度の検出を行う。Ｓ３０８において、ＣＰＵ１３０１は、第１の画像データ内の顔の表情度が第１の閾値を超えたか否かを判定する。Ｓ３０８において第１の画像データ内の顔の表情度が第１の閾値を超えていないと判定した場合に、ＣＰＵ１３０１は、処理をＳ３０６に戻す。Ｓ３０８において、第１の画像データ内の顔の表情度が第１の閾値を超えたと判定した場合に、Ｓ３１０において、ＣＰＵ１３０１は、第１の画像データを記録メディア１２８に記録させる。
【００６８】
Ｓ３１２において、ＣＰＵ１３０１は、表情検出処理回路１３０６により、第２の画像データ内の顔の表情度の検出を行う。Ｓ３１４において、ＣＰＵ１３０１は、表情度閾値判定処理を行う。表情度閾値判定処理は図８で示したものと同様にして行われる。
【００６９】
Ｓ３１６において、ＣＰＵ１３０１は、第２の画像データを記録メディア１２８に記録させる。Ｓ３１８において、第２の画像データ内の顔の表情度が表情度閾値判定処理で決定された閾値（第２の閾値又は第３の閾値）を超えたか否かを判定する。Ｓ３１８において第２の画像データ内の顔の表情度が表情度閾値判定処理で決定された閾値を超えていないと判定した場合に、ＣＰＵ１３０１は、処理をＳ３１２に戻す。Ｓ３１８において、第２の画像データ内の顔の表情度が表情度閾値判定処理で決定された閾値を超えたと判定した場合に、Ｓ３２０において、ＣＰＵ１３０１は、画像選択処理を行う。以下、図１７を参照して、画像選択処理について説明する。
【００７０】
Ｓ４００において、ＣＰＵ１３０１は、表情度閾値判定処理でカウントしている経過時間が閾値（例えば５秒）を超えたか否かを判定する。Ｓ４００において、経過時間が閾値を超えたと判定した場合に、Ｓ４０２において、ＣＰＵ１３０１は、記録メディア１２８に記録されている複数フレームの第２の画像データの中で、表情度が最大のものを選択する。その後、ＣＰＵ１３０１は、図１７の処理を終了させる。Ｓ４００において、経過時間が閾値を超えていないと判定した場合に、Ｓ４０２において、ＣＰＵ１３０１は、記録メディア１２８に記録されている複数フレームの第２の画像データの中で、撮影日時が最新のものを選択する。その後、ＣＰＵ１３０１は、図１７の処理を終了させる。
【００７１】
ここで、図１６の説明に戻る。Ｓ３２２において、ＣＰＵ１３０１は、画像処理回路１３０４により、第１の画像データと第２の画像データの合成処理を行う。静止画撮影モード時の合成処理は、例えば、Ｓ３１０において記録メディア１２８に記録された第１の画像データに、Ｓ３２０において選択された第２の画像データの縮小画像データを合成することにより行われる。
【００７２】
Ｓ３２４において、ＣＰＵ１３０１は、合成画像データを静止画像ファイルとして記録メディア１２８に記録させる。そして、ＣＰＵ１３０１は、図１６の処理を終了させる。
【００７３】
Ｓ３００において撮影設定が静止画撮影モードでない、すなわち動画撮影モードであると判定した場合に、Ｓ３２６において、ＣＰＵ１３０１は、ライブビュー動作を開始させる。なお、ライブビュー動作の開始に合わせてＣＰＵ１３０１は、撮像素子１１４ｂによる撮像も開始させる。
【００７４】
Ｓ３２８において、ＣＰＵ１３０１は、動画ボタンが押されたか否かを判定する。Ｓ３２８において動画ボタンが押されたと判定するまでは、ＣＰＵ１３０１は、ライブビュー動作を継続する。
【００７５】
Ｓ３２８において動画ボタンが押されたと判定した場合に、Ｓ３３０においてＣＰＵ１３０１は、動画記録を開始させる。
【００７６】
Ｓ３３２において、ＣＰＵ１３０１は、表情検出処理回路１３０６により、ライブビュー動作中に得られている第１の画像データ内の顔の表情度の検出を行う。Ｓ３３４において、ＣＰＵ１３０１は、第１の画像データ内の顔の表情度が第１の閾値を超えたか否かを判定する。Ｓ３３４において第１の画像データ内の顔の表情度が第１の閾値を超えていないと判定した場合に、ＣＰＵ１３０１は、処理をＳ３４６に移行させる。Ｓ３３４において、第１の画像データ内の顔の表情度が第１の閾値を超えたと判定した場合に、Ｓ３３６において、ＣＰＵ１３０１は、第１の画像データ内の顔の表情度が第１の閾値を超えたタイミングを示すログデータをＲＡＭ１１８のログエリアに記憶させる。
【００７７】
Ｓ３３８において、ＣＰＵ１３０１は、表情検出処理回路１３０６により、第２の画像データ内の顔の表情度の検出を行う。Ｓ３４０において、ＣＰＵ１３０１は、表情度閾値判定処理を行う。Ｓ３４０の表情度閾値判定処理は、図８で示したものと同様にして行われる。
【００７８】
Ｓ３４２において、ＣＰＵ１３０１は、第２の画像データ内の顔の表情度が表情度閾値判定処理で決定された閾値（第２の閾値又は第３の閾値）を超えたか否かを判定する。Ｓ３４２において第２の画像データ内の顔の表情度が表情度閾値判定処理で決定された閾値を超えていないと判定した場合に、ＣＰＵ１３０１は、処理をＳ３４６に移行させる。Ｓ３４２において、第２の画像データ内の顔の表情度が第２の閾値を超えたと判定した場合に、Ｓ３４４において、ＣＰＵ１３０１は、第２の画像データ内の顔の表情度が表情度閾値判定処理で決定された閾値を超えたタイミングを示すログデータをＲＡＭ１１８のログエリアに記憶させる。
【００７９】
Ｓ３４６において、ＣＰＵ１３０１は、動画ボタンが再度押されたか否かを判定する。Ｓ３４６において動画ボタンが再度押されていないと判定した場合に、ＣＰＵ１３０１は、動画記録を継続する。このように、動画撮影モード時では、動画ボタンが再度押されるまでは、動画像データの記録とログデータの記憶が継続される。
【００８０】
Ｓ３４６において動画ボタンがオフされたと判定した場合に、Ｓ３４８において、ＣＰＵ１３０１は、第１の画像データに係るログデータと第２の画像データに係るログデータの両方がＲＡＭ１１８のログエリアに記憶されているか否かを判定する。Ｓ３４８において、第１の画像データに係るログデータと第２の画像データに係るログデータの両方がＲＡＭ１１８のログエリアに記憶されていないと判定した場合に、ＣＰＵ１３０１は、処理をＳ３５４に移行させる。
【００８１】
Ｓ３４８において、第１の画像データに係るログデータと第２の画像データに係るログデータの両方がＲＡＭ１１８のログエリアに記憶されていると判定した場合にＳ３５０において、ＣＰＵ１３０１は、画像選択処理を行う。画像選択処理は、図１７で示したようにして行われる。
【００８２】
Ｓ３５２において、ＣＰＵ１３０１は、画像処理回路１３０４により、第１の画像データと第２の画像データの合成/連結処理を行う。動画撮影モード時の合成処理は、例えば、動画像として得られる複数フレームの第１の画像データのうち、第１の画像データの顔の表情が閾値を超えているタイミングの第１の画像データに、画像選択処理で選択された第２の画像データの縮小画像データを合成することにより行われる。また、連結処理は、例えば、顔の表情度が第１の閾値を超えている状態から第１の閾値以下となったフレームの第１の画像データの前に、画像選択処理で選択された第２の画像データを合成することにより行われる。
【００８３】
Ｓ３５４において、ＣＰＵ１３０１は、合成処理によって合成されたフレームの画像データを含む一連の第１の画像データを動画ファイルとして記録メディア１２８に記録させる。そして、ＣＰＵ１３０１は、図１６の処理を終了させる。
【００８４】
以上説明したように本実施形態においても、第１の画像データ内の顔の表情の変化と第２の画像データ内の顔の表情の変化とを的確に捉えて、第１の画像データと第２の画像データの顔の両方の表情が同時に笑顔になっている静止画像や動画像を撮影できる。なお、本実施形態においては、静止画撮影モードにおいても複数の第２の画像データが記録メディア１２８に記録される。複数の第２の画像データが記録メディア１２８に記録された場合には画像選択処理によって最適な第２の画像データが選択される。
【００８５】
ここで、前述した各実施形態では、撮影光学系１０２ａは撮像装置１００の本体１３６の前面側に設けられ、撮影光学系１０２ｂは撮像装置１００の本体１３６の背面側に設けられている例が示されている。実際には、撮影光学系１０２ａと撮影光学系１０２ｂとで異なる被写体が撮影できる状態であれば、前述した各実施形態の技術は適用され得る。したがって、例えば、図１８に示すような２眼の撮像装置であっても前述した各実施形態の技術は適用され得る。
【００８６】
なお、前述した各実施形態において、表情度の閾値である第１〜第３の閾値は、過去の履歴に基づいて決定するようにしても良い。すなわち、笑顔の程度には個人差があるので、過去の表情度の平均値等から閾値を決定することでより適切に表情を判定することが可能になる。同様に、第２の閾値から第３の閾値に切り替える時間の閾値も過去の履歴に基づいて決定するようにしても良い。
また、前述した各実施形態において第１の画像データの記録の後に第２の画像データの表情度を閾値と比較しているが、第１の画像データに係る表情度と閾値の比較と第２の画像データに係る表情度と閾値の比較とは同時に行われても良い。
【００８７】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【００８８】
また、上述した実施形態における撮像装置による各処理の手法、すなわち、各フローチャートに示す処理は、何れもＣＰＵ１３０１に実行させることができるプログラムとして記憶される。このプログラムは、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、ＣＰＵ１３０１は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【００８９】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、前述したような課題を解決でき、前述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００９０】
１００  撮像装置、１０２ａ，１０２ｂ  撮影光学系、１０４ａ，１０４ｂ  焦点調整機構、１０６ａ，１０６ｂ  絞り、１０８ａ，１０８ｂ  絞り駆動機構、１１０ａ，１１０ｂ  シャッタ、１１２ａ，１１２ｂ  シャッタ駆動機構、１１４ａ，１１４ｂ  撮像素子、１１６ａ，１１６ｂ  撮像素子インターフェイス（ＩＦ）回路、１１８  ＲＡＭ、１２０  表示素子、１２２  表示素子駆動回路、１２４  タッチパネル、１２６  タッチパネル駆動回路、１２８  記録メディア、１３０  システムコントローラ、１３２  操作部、１３４  ＲＯＭ、１３６  本体、１３０１  ＣＰＵ、１３０２  ＡＦ制御回路、１３０３  ＡＥ制御回路、１３０４  画像処理回路、１３０５  顔検出処理回路、１３０６  表情検出処理回路、１３０７  メモリ制御回路
【図１】
2016032225.tif 000003
【図２】
2016032225.tif 000004
【図３】
2016032225.tif 000005
【図４】
2016032225.tif 000006
【図５】
2016032225.tif 000007
【図６】
2016032225.tif 000008
【図７】
2016032225.tif 000009
【図８】
2016032225.tif 000010
【図９】
2016032225.tif 000011
【図１０】
2016032225.tif 000012
【図１１】
2016032225.tif 000013
【図１２】
2016032225.tif 000014
【図１３】
2016032225.tif 000015
【図１４】
2016032225.tif 000016
【図１５】
2016032225.tif 000017
【図１６】
2016032225.tif 000018
【図１７】
2016032225.tif 000019
【図１８】
2016032225.tif 000020