(57)【要約】【課題】複数の撮像部に対して一つの表情認識リソースによる表情認識処理を行った際に、撮影者の望むシーンを撮り逃すことなく記録できるようにする。【解決手段】第１の撮像手段および第２の撮像手段と、第１の撮像手段によって撮像された第１の動画に対する被写体の表情の判定と、第２の撮像手段によって第１の動画と並行して撮像された第２の動画に対する被写体の表情の判定を、予め定めた周期で切り替えて行う判定手段と、判定手段が第２の動画に対して表情の判定を行う周期において、所定条件を満たす場合に、当該周期の直前の第１の動画に対して表情の判定を行う周期における第１の動画に含まれるフレーム画像を、記憶媒体に記憶させる記憶手段を有する撮像装置を提供する。この撮像装置において、所定の条件は、当該周期の所定数番目までのフレーム画像において、被写体が所定の表情であると判定されることを含む。【選択図】図３
2016021705.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像手段、および、前記第１の撮像手段に対して撮像する画角が異なる第２の撮像手段と、
前記第１の撮像手段によって撮像された第１の動画に対する被写体の表情の判定と、前記第２の撮像手段によって前記第１の動画と並行して撮像された第２の動画に対する被写体の表情の判定を、予め定めた周期で切り替えて行う判定手段と、
前記判定手段が前記第２の動画に対して表情の判定を行う周期において、所定条件を満たす場合に、当該周期の直前の前記第１の動画に対して表情の判定を行う周期における前記第１の動画に含まれるフレーム画像を、記憶媒体に記憶させる記憶手段とを有し、
前記所定の条件は、当該周期の所定数番目までのフレーム画像において、前記判定手段によって被写体が所定の表情であると判定されることを含むことを特徴とする撮像装置。
【請求項２】
前記記憶手段は、前記第２の動画に対して表情の判定を行う周期において、当該周期の前記所定数番目までのフレーム画像において被写体が所定の表情であると判定されず、かつ、当該周期の前記所定数番目よりも後のフレーム画像において被写体が所定の表情であると判定された場合に、被写体が所定の表情であると判定されたタイミングに応じた前記第１の動画に含まれるフレーム画像を前記記憶媒体に記憶させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記所定数番目のフレームとは、１フレーム目であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記記憶手段は、前記判定手段が前記第２の動画に対して表情の判定を行う周期において、前記所定の条件を満たす場合に、当該周期の直前の前記第１の動画に対して表情の判定を行う周期における前記第２の動画に含まれるフレーム画像を、前記記憶媒体に記憶させることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記判定手段が前記第２の動画に対して表情の判定を行う周期において、所定条件を満たす場合に、当該周期の直前の前記第１の動画に対して表情の判定を行う周期における前記第１の動画に含まれる複数のフレーム画像を表示する表示手段を有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記表示手段に表示された複数のフレーム画像から、操作者の指示に従って前記記憶媒体に記憶させるフレーム画像を選択する選択手段を有することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記判定手段は被写体の顔を検出してから表情の判定を行うものであって、前記第１の動画と前記第２の動画のいずれか一方から被写体の顔が検出できない場合には、他方の動画に対してのみ表情の判定を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
第１の撮像手段、および、前記第１の撮像手段に対して撮像する画角が異なる第２の撮像手段を有する撮像装置の制御方法において、
前記第１の撮像手段によって撮像された第１の動画に対する被写体の表情の判定と、前記第２の撮像手段によって前記第１の動画と並行して撮像された第２の動画に対する被写体の表情の判定を、予め定めた周期で切り替えて行う判定工程と、
前記判定工程の前記第２の動画に対して表情の判定を行う周期において、所定条件を満たす場合に、当該周期の直前の前記第１の動画に対して表情の判定を行う周期における前記第１の動画に含まれるフレーム画像を、記憶媒体に記憶させる記憶工程とを有し、
前記所定の条件は、当該周期の所定数番目までのフレーム画像において、前記判定工程において被写体が所定の表情であると判定されることを含むことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び撮像装置の制御方法に関し、特に、撮像画像から顔および人物などの特徴を検出して撮影を行うために用いて好適な技術に関する。
【背景技術】
【０００２】
近年、カメラやビデオカメラでは、撮像画像から人物の顔を認識し、認識された顔領域に対して自動でフォーカスを合わせて撮影するものや、人物の表情を認識し、笑顔を認識すると撮影するものが普及している。
【０００３】
また、携帯電話やタブレットＰＣなどでは、撮影者本人が画面を見ながら自身を記録する、いわゆる"自分撮り"を容易にするために、通常の撮影画像を記録するカメラ部に対面する位置にもう一つのカメラ部を備えたものが多くなっている。
【０００４】
このように、前述した顔検出機能と二つのカメラ部を備えた装置の構成を利用して、撮影者が撮影を望み得るシーンを逃さず円滑に撮影できる技術が知られている（特許文献１、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１４８０５２号公報
【特許文献２】特開２００６−１８６６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮影者が望むような画像を自動で撮影するために、前述した顔認識機能や二つのカメラ部によって得られる情報を用いて、場面に応じた画像処理を行うことが求められる。例えば、被写体と撮影者のいずれか一方の笑顔を認識した時に自動で撮影を開始することで、撮影者が微笑ましいと感じた撮影画像を撮影することができる。
【０００７】
しかしながら、撮像機器であるカメラやビデオカメラはモバイル機器であり、装置の大きさ、消費電力などの制約から限られたリソースしか搭載できない。二つのカメラ部に対して、一つの表情認識リソースによって表情認識を行う場合、撮影者が笑ったタイミングと、表情認識リソースが撮影者の笑顔を認識したタイミングに誤差が生じてしまうという課題点がある。
本発明は前述の問題点に鑑み、複数の撮像部に対して一つの表情認識リソースによる表情認識処理を行った際に、撮影者の望むシーンを撮り逃すことなく記録できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、第１の撮像手段、および、前記第１の撮像手段に対して撮像する画角が異なる第２の撮像手段と、前記第１の撮像手段によって撮像された第１の動画に対する被写体の表情の判定と、前記第２の撮像手段によって前記第１の動画と並行して撮像された第２の動画に対する被写体の表情の判定を、予め定めた周期で切り替えて行う判定手段と、前記判定手段が前記第２の動画に対して表情の判定を行う周期において、所定条件を満たす場合に、当該周期の直前の前記第１の動画に対して表情の判定を行う周期における前記第１の動画に含まれるフレーム画像を、記憶媒体に記憶させる記憶手段とを有し、前記所定の条件は、当該周期の所定数番目までのフレーム画像において、前記判定手段によって被写体が所定の表情であると判定されることを含むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、複数の撮像部に対して、一つの表情認識リソースによって表情認識を行う場合でも、撮影者の望むシーンを撮り逃すことなく記録することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】本発明の実施形態に係る撮像装置の外観図である。
【図３】第１の実施形態に係る撮像装置における撮影動作の手順の一例を説明するフローチャートである。
【図４】撮像画像の記録範囲の決定方法の一例を説明するフローチャートである。
【図５】撮像画像と表示認識結果を示すＣａｓｅ１の例を示す図である。
【図６】撮像画像と表示認識結果を示すＣａｓｅ２の例を示す図である。
【図７】撮像画像と表示認識結果を示すＣａｓｅ３の例を示す図である。
【図８】複数の撮像画像から記録する画像を選択する表示画像例を示す図である。
【図９】第２の実施形態に係る撮像装置における撮影動作の手順の一例を説明するフローチャートである。
【図１０】第３の実施形態に係る撮像装置における撮影動作の手順の一例を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照しながら説明する。
［第１の実施形態］
図１は、本発明の実施形態に係る撮像装置１００の構成例を示すブロック図である。
図１において、１０１は、ＤＲＡＭ(Dynamic Random Access Memory)であり、撮像装置１００のメインメモリで、画像データや、メモリカードから読み込んだ画像符号化データ等を一時保持することが可能である。
【００１２】
１０２は、ＤＲＡＭ１０１へのアクセスするためのデータバスである。
１０３は、撮影者がメインとして被写体を撮影するためのレンズを含む第１のレンズユニットである。
【００１３】
１０４は、第１のレンズユニット１０３からの光を電気信号に変換するＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサーなどの撮像素子であり、変換された電気信号をさらにデジタルデータとしてＤＲＡＭ１０１へ一時保持する第１の撮像素子である。
【００１４】
１０５は、第１のレンズユニット１０３を用いて撮影を行う際に、撮影者に向けられるように配置されたレンズを含む第２のレンズユニットである。つまり、第１のレンズユニットと第２のレンズユニットは撮像する画角が互いに異なる。
１０６は、第２のレンズユニット１０５からの光を電気信号に変換するＣＣＤ、ＣＭＯＳセンサーなどの撮像素子であり、変換された電気信号をさらにデジタルデータとしてＤＲＡＭ１０１へ一時保持する第２の撮像素子である。
【００１５】
１０７は、第１の撮像素子１０４および第２の撮像素子１０６によってＤＲＡＭ１０１へ一時保持された撮像データをノイズリダクション、現像処理、画像補正処理、リサイズ等を行うカメラ信号処理部である。
【００１６】
１０８は、カメラ信号処理部１０７によって生成された画像データから、被写体検出および人物の顔を認識する顔認識部である。
１０９は、顔認識部１０８によって抽出された人物の表情を認識する表情認識部である。
１１０は、ＤＲＡＭ１０１に一時保持されている画像データを読み込み、ＬＣＤ(Liquid Crystal Display)、有機ＥＬ(Organic Electro-Luminescence)等の技術を用いた表示パネル１１９等により構成される表示部である。
【００１７】
１１１は、ＤＲＡＭ１０１に一時保持されている画像データを読み込み、記録媒体２００へ記録可能なMedia I/Fである。
１１２は、ＣＰＵ１１３が撮像装置１００の各ブロックへ制御指示を行うための制御バスである。
１１３は、撮像装置１００全体の制御を行うメインＣＰＵである。
【００１８】
１１４は、ＣＰＵ１１３と、ＲＯＭ１１５、ＲＡＭ１１６、タイマー１１７、操作部１１８を接続するプログラムバスである。
１１５は、ＣＰＵ１１３のプログラムが格納されているＲＯＭ(Read Only Memory)、１１６は、ＣＰＵ１１３のワークメモリであるＲＡＭ(Random Access Memory)である。
１１７は、時間を計測するためのタイマーであり、ＣＰＵ１１３へ割り込み信号を発生させることで、ＣＰＵ１１３へ経過時間や時刻を通知することが可能である。
【００１９】
１１８は、操作者が撮像装置１００の動作指示を行うためのボタン、十字キー、タッチパネル等の操作部である。
また、ＲＯＭ１１５には、ＣＰＵ１１３によって実行可能なプログラムが格納されている。
２００は、撮像装置から着脱可能なメモリカードなどの記録媒体である。
【００２０】
図２は、本実施形態に係る撮像装置１００の外観図である。
撮影者がメインとして被写体を撮影するための第１のレンズユニット１０３が配置された面を撮像面とする。その撮像面に対して、対称となる表示部１１０が配置された面を表示面とし、その表示面にはおもに撮影者を撮影するための第２のレンズユニット１０５が配置されている。上面にはシャッターボタン、表示面にはメニューを操作するための十字キー等の操作部１１８が配置されている。
【００２１】
次に、所定条件を満たすと判定した場合に自動的に撮影するための構成について説明する。ここでは、所定条件として、笑顔が検出されることを含む。
第１のレンズユニット１０３および第２のレンズユニット１０５から取り込まれた、それぞれの動画を構成する撮像画像は、第１の撮像素子１０４、第２の撮像素子１０６とカメラ信号処理部１０７によって画像データ化されＤＲＡＭ１０１へ一時保持される。そして、その画像データは表示部１１０（表示パネル１１９）に表示される。
【００２２】
また、ＤＲＡＭ１０１へ保持された撮像画像には、タイマー１１７によって計測された撮像時刻が関連づけられ、ＣＰＵ１１３によって記憶される。第１のレンズユニット１０３を介して撮像された画像をメイン画像とする。また、第２のレンズユニット１０５を介して撮像された画像をサブ画像とする。このメイン画像とサブ画像は並行して撮像されており、表情認識部１０９は、撮像画像に笑顔が検出されるか否かについて、メイン画像とサブ画像のいずれか一方を判定するものとする。
【００２３】
笑顔が検出されたか否かを判定する技術として、例えば、顔認識部１０８が認識した被写体の顔に対して、パターンマッチングによって代表的な笑顔画像との相関をとる方法が知られている。撮像画像に笑顔が検出されると、ＤＲＡＭ１０１に保持された撮像画像は、撮像装置１００に装着されている記録媒体２００に、Media I/F１１２を介して検出した笑顔の撮像画像が全て検出結果として記録される。
【００２４】
図３は、本実施形態に係る撮像装置１００における撮影動作の手順の一例を説明するフローチャートである。
表情認識部１０９は、メイン画像に対する表情認識処理と、サブ画像に対する表情認識処理を交互に行う。本実施形態では、一例として、メイン画像に対して２回表情認識処理を行った後にサブ画像に対して１回表情認識処理を行うサイクルを繰り返すものとして説明を行う。なお、本実施形態では、メイン画像に２回、サブ画像に1回という周期で表情認識処理を切り替える例をあげるが、これに限られるものではなく、メイン画像とサブ画像に対してともに複数回の表情認識処理を行うようにしてもよい。
【００２５】
Ｓ３０１では、ＣＰＵ１１３は、表情認識部１０９がメイン画像に対して連続して笑顔認識処理を行う上限回数N１を設定する。本実施形態では、N１＝２を設定する。
Ｓ３０２では、ＣＰＵ１１３は、表情認識部１０９がサブ画像に対して連続して笑顔認識処理を行う上限回数N２を設定する。本実施形態では、N２＝１を設定する。
【００２６】
Ｓ３０３では、ＣＰＵ１１３は、表情認識部１０９がメイン画像に対して実際に笑顔認識処理を行った回数n１を０に初期化して設定する。
Ｓ３０４では、カメラ信号処理部１０７は、第１のレンズユニット１０３および第２のレンズユニット１０５から取り込まれた撮像画像を画像データ化し、ＤＲＡＭ１０１へ保存する。
【００２７】
Ｓ３０５では、ＣＰＵ１１３は、タイマー１１７によって計測された撮像時刻を、ＤＲＡＭ１０１に保存された画像データに関連付けて記憶する。なお、撮像時刻の代わりにフレーム番号を記憶するようにしてもよい。
Ｓ３０６では、表情認識部１０９は、Ｓ３０４でＤＲＡＭ１０１に取り込まれた画像のうち、メイン画像に対して、笑顔が検出されたか否かを判定する。Ｓ３０６で笑顔が検出されていないと判定された場合、ＣＰＵ１１３は、Ｓ３０７で笑顔認識の処理回数n１をインクリメントした後、Ｓ３０８で処理回数n１が、上限回数N１より小さいか否かを判定する。
【００２８】
Ｓ３０８で処理回数n１が、上限回数N１より小さいと判定された場合は、Ｓ３０４に戻る。本実施形態では、N１＝２を設定しているため、Ｓ３０６でメイン画像に対して笑顔が検出されなければ、Ｓ３０４からＳ３０８を２度繰り返す。
【００２９】
Ｓ３０６でメイン画像で笑顔が検出されたと判定された場合は、ＣＰＵ１１３は、Ｓ３１５で、撮像画像の記録時刻の範囲を決定する。この撮像画像の記録範囲の決定処理については、図４に示すフローチャートを用いて後で詳しく説明する。
【００３０】
Ｓ３１６では、ＣＰＵ１１３は、ＤＲＡＭ１０１へ保持されている撮像画像のうち、Ｓ３１５で決定された記録時刻の範囲に該当する撮像画像を抽出し、Media I/F１１１を介して記録媒体２００に記録する。撮像画像の抽出には、ＣＰＵ１１３によって撮像画像に関連づけて記憶されている撮像時刻を用いる。
【００３１】
Ｓ３０８で処理回数n１が上限回数N１以上であると判定されると、Ｓ３０９で、ＣＰＵ１１３は、サブ画像に対する笑顔認識の処理回数n２を０に初期化する。
【００３２】
Ｓ３１０では、カメラ信号処理部１０７は、第１のレンズユニット１０３および第２のレンズユニット１０５から取り込まれた撮像画像を画像データ化し、ＤＲＡＭ１０１へ保存する。
また、Ｓ３１１において、ＣＰＵ１１３は、タイマー１１７によって計測された撮像時刻を、ＤＲＡＭ１０１に保存された画像データに関連付けて記憶する。
【００３３】
Ｓ３１２では、表情認識部１０９は、Ｓ３１０でＤＲＡＭ１０１に取り込まれた画像のうち、サブ画像に対して、笑顔が検出されたか否かを判定する。
Ｓ３１２で笑顔が検出されていないと判定されると、Ｓ３１３で、ＣＰＵ１１３は、サブ画像に対する処理回数n２をインクリメントする。そして、Ｓ３１４で、サブ画像に対する処理回数n２が、上限回数N２より小さいか否かを判定する。
【００３４】
Ｓ３１４でサブ画像に対する処理回数n２が、上限回数N２より小さいと判定された場合は、Ｓ３１０に戻る。本実施形態では、N２＝１を設定しているため、Ｓ３１２でサブ画像に対して笑顔が検出されなければ、Ｓ３１０からＳ３１４を１度だけ繰り返す。
【００３５】
Ｓ３１４でサブ画像に対する処理回数n２が、上限回数N２以上であると判定された場合は、Ｓ３０３に戻る。
Ｓ３１２で笑顔が検出されたと判定されると、Ｓ３１５へ進む。
【００３６】
図４は、Ｓ３１５における撮像画像の記録範囲の決定方法の一例を説明するフローチャートである。
Ｓ４０１では、表情認識部１０９が、メイン画像に対して笑顔を認識したか、あるいは、サブ画像に対して笑顔を認識したかを判定する。
Ｓ４０１で、メイン画像に対して笑顔を認識したと判定された場合は、Ｓ４０２で、メイン画像に対する処理回数n１が０であるか否かを判定する。
【００３７】
Ｓ４０２でメイン画像に対する処理回数が０でないと判定された場合は、Ｓ４０３において、表情認識回数n１の時刻、すなわち、Ｓ３０５でタイマー１１７によって計測された撮像時刻を、記録する時刻として決定する。
【００３８】
Ｓ４０２でメイン画像に対する処理回数n１が０であると判定された場合、Ｓ４０４において、前回メイン画像に対して表情判定した時刻より後ろの時刻から、メイン画像に対して笑顔を認識した時刻までを、記録する撮像時刻の範囲として決定する。なお、Ｓ４０２において前回メイン画像に対して表情認識した時刻が存在しない場合は、撮像動作開始から全ての時刻を、記録する撮像時刻の範囲として決定する。
【００３９】
Ｓ４０１でサブ画像に対して笑顔を認識したと判定された場合は、Ｓ４０５で、サブ画像に対する処理回数n２が０であるか否かを判定する。
Ｓ４０５でメイン画像に対する処理回数n２が０でないと判定された場合は、Ｓ４０６において、表情認識回数n２の時刻、すなわち、Ｓ３１１でタイマー１１７によって計測された撮像時刻を、記録する時刻として決定する。
【００４０】
Ｓ４０５でサブ画像に対する処理回数が０であると判定された場合は、Ｓ４０７において、前回サブ画像に対して表情認識した時刻より後ろの時刻から、サブ画像に対して笑顔を認識した時刻までを、記録する撮像時刻の範囲（期間）として決定する。なお、Ｓ４０５において、前回サブ画像に対して表情認識した時刻が存在しない場合は、撮像動作開始から全ての時刻を、記録する撮像時刻の範囲として決定する。
【００４１】
図５から図７は、本実施形態に係る撮像装置１００における撮影動作のイメージ図である。
図５のCase１では、表情認識部１０９は、時刻t=t１でサブ画像に対して表情認識を行い、時刻t=t２，t３では、メイン画像に対して表情認識を行っている。ここで、表情認識部１０９は、t=t３において、撮像画像から笑顔が検出されたと判定しており、この時、メイン画像に対する処理回数は１となっているため、時刻t=t３の画像が、記録する時刻として決定される。
【００４２】
図６のCase２では、表情認識部１０９は、時刻t=t１でサブ画像に対して表情認識を行い、その後時刻t=t２，t３では、メイン画像に対して表情認識を行い、t=t４で再びサブ画像に対して表情認識を行っている。ここで、表情認識部１０９は、t=t４において、撮像画像から笑顔が検出されたと判定しており、この時、サブ画像に対する処理回数は０となっている。このため、前回表情認識部１０９がサブ画像に対して表情認識を行った時刻より後ろの時刻、すなわち、時刻t=t２から笑顔を認識した時刻t=t４までの範囲を、記録する撮像時刻の範囲として決定し、これらに該当するフレーム画像を記憶する。
【００４３】
表情認識部１０９は、時刻t=t２，t３ではメイン画像に対して表情認識を行っているため、サブ画像に対して表情認識を行うことができない。よって、t=t４においてサブ画像から笑顔が検出された場合には、その前の時刻t=t２，t３の時点においてもサブ画像の人物が笑顔である可能性がある。そのため、時刻t=t２，t３も記録する撮像時刻の範囲に含めている。
【００４４】
図７のCase３では、表情認識部１０９は、時刻t=t１でサブ画像に対して表情認識を行っている。その後時刻t=t２，t３では、メイン画像に対して表情認識を行い、t=t４で再びサブ画像に対して表情認識を行い、t=t５で再びメイン撮像画像に対して表情認識を行っている。
【００４５】
ここで、表情認識部１０９は、t=t５において、撮像画像から笑顔が検出されたと判定しており、この時、メイン画像に対する処理回数は０となっている。このため、前回表情認識部１０９がメイン画像に対して表情認識を行った時刻より後ろの時刻、すなわち、時刻t=t４から笑顔を認識した時刻t=t５までの範囲を、記録する撮像時刻の範囲として決定する。
【００４６】
表情認識部１０９は、時刻t=t４ではサブ画像に対して表情認識を行っているため、メイン画像に対して表情認識を行うことができない。よって、t=t５において、表情認識の対象が切り替わってから１フレーム目のメイン画像から笑顔が検出された場合には、その直前のサブ画像に対して表情認識を行っていた時刻t=t４の時点においてもメイン画像の人物が笑顔である可能性がある。そのため、時刻t=t４も記録する撮像時刻の範囲に含めている。
【００４７】
なお、本実施形態では、表情認識の対象が切り替わってから、１フレーム目のメイン画像から笑顔が検出されたかどうかを判定しているが、これに限られるものではない。笑顔の検出に失敗する可能性が考えられるため、表情認識の対象となる画像が切り替わってから、所定数番目の画像から笑顔が検出されたかどうかを判定する構成とすれば良い。
【００４８】
なお、図４で決定した記録時刻の範囲に、撮像画像が複数ある場合に、操作者に、記録する画像を選択可能にさせてもよい。
図８は、図６のCase２における記録画像を表示部１１０に表示したイメージ図を表す図である。
８０１は、表示する撮像画像の１枚を表し、メイン画像８０２の右上にサブ画像８０３を重畳して表示している。操作者は、８０４のように各画像に対して配置されたチェックボックスに、タッチパネルなどの操作部１１８を用いてチェックを入れ、８０５で表される選択終了ボタンを押下することで、記録する画像を決定することができる。
【００４９】
以上、述べたように、一つの表情認識部に対して複数の撮像部による撮像画像の入力が存在するとき、表情認識部が、認識対象としている撮像画像に対して、前回表情認識処理を行った時刻までさかのぼって撮像画像を記録する。このように記録することで、撮影者の意図した画像を撮り逃すことを防ぐことができる。なお、本実施形態では、表情認識部が笑顔を判定する構成を例に挙げて説明を行ったが、所定の表情を判定する構成であれば、笑顔以外の表情であってもよい。
【００５０】
［第２の実施形態］
次に、第２の実施形態について説明する。なお、以下で説明する第２の実施形態は、装置構成については、第１の実施形態と同様であるため、その説明を省略する。
図９は、第２の実施形態に係る撮像装置における撮像動作を説明するフローチャートである。
Ｓ９０１からＳ９０５までのステップは、図３のフローチャートのＳ３０１からＳ３０５までと同一のため、説明を省略する。
【００５１】
Ｓ９０６で顔認識部１０８は、サブ画像で顔が検出されているか否かを判定する。
Ｓ９０６でサブ画像で顔が検出されていると判定された場合は、Ｓ３０６へ進む。
Ｓ９０６で、サブ画像で顔が検出されていないと判定された場合は、Ｓ９０７で、カメラ信号処理部１０７は、第１のレンズユニット１０３および第２のレンズユニット１０５から取り込まれた撮像画像を画像データ化し、ＤＲＡＭ１０１へ保存する。
【００５２】
また、Ｓ９０８において、ＣＰＵ１１３は、タイマー１１７によって計測された撮像時刻を、ＤＲＡＭ１０１に保存された画像データに関連付けて記憶する。
Ｓ９０９では、表情認識部１０９は、メイン画像で笑顔が検出されているか否かを判定する。
【００５３】
Ｓ９０９でメイン画像で笑顔が検出されていないと判定された場合は、Ｓ９０７へ戻る。
Ｓ９０９でメイン画像で笑顔が検出されていると判定された場合は、Ｓ９１０において、ＣＰＵ１１３は、ＤＲＡＭ１０１へ保持されている撮像画像のうち、Ｓ９０８で計測された記録時刻の撮像画像を抽出する。そして、Media I/F１１２を介して記録媒体２００に記録する。
【００５４】
以上、述べたように、サブ画像に被写体の顔が検出されていない場合、メイン画像に対してのみ表情認識を行うことにより、例えば、自分撮りや、集合写真を撮影する場合において、撮影者の望むタイミングで撮影することが可能となる。
【００５５】
［第３の実施形態］
次に、第３の実施形態について説明する。なお、以下で説明する第３の実施形態は、装置構成については、第１の実施形態と同様であるため、その説明を省略する。
図１０は、第３の実施形態に係る撮像装置における撮像動作を説明するフローチャートである。
Ｓ１００１からＳ１００５までのステップは、図３のフローチャートのＳ３０１からＳ３０５までと同一のため、説明を省略する。
【００５６】
Ｓ１００６で、顔認識部１０８は、メイン画像で顔が検出されているか否かを判定する。Ｓ１００６でメイン画像で顔が検出されていると判定された場合は、Ｓ３０６へ進む。Ｓ１００６でメイン画像で顔が検出されていないと判定された場合は、Ｓ１００７で、カメラ信号処理部１０７は、第１のレンズユニット１０３および第２のレンズユニット１０５から取り込まれた撮像画像を画像データ化し、ＤＲＡＭ１０１へ保存する。
【００５７】
また、Ｓ１００８において、ＣＰＵ１１３は、タイマー１１７によって計測された撮像時刻を、ＤＲＡＭ１０１に保存された画像データに関連付けて記憶する。
Ｓ１００９では、表情認識部１０９は、サブ画像で笑顔が検出されているか否かを判定する。Ｓ１００９でサブ画像で笑顔が検出されていないと判定された場合は、Ｓ１００７へ戻る。
【００５８】
Ｓ１００９でサブ画像で笑顔が検出されていると判定された場合は、Ｓ１０１０において、ＣＰＵ１１３は、ＤＲＡＭ１０１へ保持されている画像のうち、Ｓ１００８で計測された記録時刻の撮像画像を抽出する。そして、Media I/F１１２を介して記録媒体２００に記録する。
【００５９】
以上、述べたように、メイン画像に被写体の顔が検出されていない場合、サブ画像に対してのみ表情認識を行うことにより、例えば、風景や動物を撮影する場合において、撮影者の望むタイミングで撮影することが可能となる。このように、メイン画像とサブ画像のうちの一方で顔が検出されない場合には、他方の画像のみに対して表情認識を行うことにより、撮影タイミングを逃しにくくすることができる。
【００６０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６１】
１００  撮像装置
１０１  ＤＲＡＭ
１０２  データバス
１０３  第１のレンズユニット
１０４  第１の撮像素子
１０５  第２のレンズユニット
１０６  第２の撮像素子
１０７  カメラ信号処理部
１０８  顔認識部
１０９  表情認識部
１１０  表示部
１１１  Media I/F
１１２  制御バス
１１３  ＣＰＵ
１１４  プログラムバス
１１５  ＲＯＭ
１１６  ＲＡＭ
１１７  タイマー
１１８  操作部
１１９  表示パネル
２００  記録媒体
【図１】
2016021705.tif 000003
【図３】
2016021705.tif 000004
【図４】
2016021705.tif 000005
【図５】
2016021705.tif 000006
【図６】
2016021705.tif 000007
【図７】
2016021705.tif 000008
【図８】
2016021705.tif 000009
【図９】
2016021705.tif 000010
【図１０】
2016021705.tif 000011
【図２】
2016021705.tif 000012