(57)【特許請求の範囲】
【請求項１】
撮像素子にて生成された動画の画像データを取り込んで、第２のバッファメモリに第２の画像データとして記憶させ、前記第２の画像データの予め定められたフレームと同じタイミングで前記撮像素子にて生成された画像データを取り込んで、第１のバッファメモリに第１の画像データとして記憶させる撮像手段と、
前記第２の画像データを用いて被写体が所定の条件を満たしているか分析する分析手段と、
前記第１のバッファメモリに記憶された前記第１の画像データを第１の記録手段に記録し、前記第２のバッファメモリに記憶された前記第２の画像データを第２の記録手段に記録する記録制御手段とを有し、
前記第１の画像データは前記第２の画像データと比較して高解像度及び多階調の少なくともいずれかであって、
前記記録制御手段は、前記分析手段がいずれかのフレームの前記第２の画像データを用いて分析を行った結果、被写体が前記所定の条件を満たしていれば、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録し、被写体が前記所定の条件を満たしていなければ、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録しないことを特徴とする撮像装置。
【請求項２】
前記記録制御手段は、前記分析手段がいずれかのフレームの前記第２の画像データを用いて分析を行った結果、被写体が前記所定の条件を満たしていなければ、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを破棄することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記分析手段は、前記第２の画像データに対して人物検知、個人識別、表情認識、形状識別の少なくともいずれかの処理を実行することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
撮像素子にて生成された連続する画像データを取り込んで、第２のバッファメモリに第２の画像データとして記憶させ、前記第２の画像データの予め定められたフレームと同じタイミングで前記撮像素子にて生成された画像データを取り込んで、第１のバッファメモリに第１の画像データとして記憶させる撮像手段と、
前記第２の画像データを用いて被写体が所定の条件を満たしているか分析する分析手段と、
前記第１のバッファメモリに記憶された前記第１の画像データを第１の記録手段に記録し、前記第２のバッファメモリに記憶された前記第２の画像データを第２の記録手段に記録する記録制御手段と、
いずれかのフレームの前記第２の画像データが前記所定の条件を満たすときにその旨を通知する通知手段と、
前記通知手段による通知の後に、前記所定の条件を満たす前記いずれかのフレームの第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された第１の画像データを前記第１の記録手段に記録するか否かを選択させる選択手段とを有し、
前記第１の画像データは前記第２の画像データと比較して高解像度及び多階調の少なくともいずれかであって、
前記記録制御手段は、前記選択手段により前記第１の画像データを記録することが選択されれば、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録し、前記選択手段により前記第１の画像データを記録することが選択されなければ、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録しないことを特徴とする撮像装置。
【請求項５】
前記選択手段により前記第１の画像データを記録することが選択されなければ、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを破棄することを特徴とする請求項４に記載の撮像装置。
【請求項６】
撮像素子にて生成された動画の画像データを取り込んで、第２のバッファメモリに第２の画像データとして記憶させ、前記第２の画像データの予め定められたフレームと同じタイミングで前記撮像素子にて生成された画像データを取り込んで、第１のバッファメモリに第１の画像データとして記憶させる撮像工程と、
前記第２の画像データを用いて被写体が所定の条件を満たしているか分析する分析工程と、
前記第１のバッファメモリに記憶された前記第１の画像データを第１の記録手段に記録し、前記第２のバッファメモリに記憶された前記第２の画像データを第２の記録手段に記録する記録制御工程とを有し、
前記第１の画像データは前記第２の画像データと比較して高解像度及び多階調の少なくともいずれかであって、
前記記録制御工程では、前記分析工程にていずれかのフレームの前記第２の画像データを用いて分析を行った結果、被写体が前記所定の条件を満たしていれば、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録し、被写体が前記所定の条件を満たしていなければ、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録しないことを特徴とする撮像方法。
【請求項７】
撮像素子にて生成された連続する画像データを取り込んで、第２のバッファメモリに第２の画像データとして記憶させ、前記第２の画像データの予め定められたフレームと同じタイミングで前記撮像素子にて生成された画像データを取り込んで、第１のバッファメモリに第１の画像データとして記憶させる撮像工程と、
前記第２の画像データを用いて被写体が所定の条件を満たしているか分析する分析工程と、
前記第１のバッファメモリに記憶された前記第１の画像データを第１の記録手段に記録し、前記第２のバッファメモリに記憶された前記第２の画像データを第２の記録手段に記録する記録制御工程と、
いずれかのフレームの前記第２の画像データが前記所定の条件を満たすときにその旨を通知する通知工程と、
前記通知工程による通知の後に、前記所定の条件を満たす前記いずれかのフレームの第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された第１の画像データを前記第１の記録手段に記録するか否かを選択させる選択工程とを有し、
前記第１の画像データは前記第２の画像データと比較して高解像度及び多階調の少なくともいずれかであって、
前記記録制御工程では、前記選択工程により前記第１の画像データを記録することが選択されれば、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録し、前記選択工程により前記第１の画像データを記録することが選択されなければ、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録しないことを特徴とする撮像方法。
【請求項８】
請求項６又は７に記載の撮像方法をコンピュータに実行させるためのプログラム。
【請求項９】
請求項８に記載のプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画と静止画とを同時に撮影する撮像技術に関する。
【背景技術】
【０００２】
従来より、動画と動画よりも高画素、高画質な静止画とを切り替えて撮影可能なハイブリッドカメラが知られている。
【０００３】
動画などを低画素で記録中に高画素の静止画を記録することを可能としたものとして、例えば特許文献１に記載されたようにモードボタンを押下することにより高画素静止画の記録を行うものがある（図１１）。
【０００４】
また、特許文献２に記載されたように無線通信により外部から撮影モードを高画質モードに切り替えるものが知られている（図１２）。図１１ではＳ１０１０でシャッターボタンを押下することにより、図１３の通常の動画フレーム（図１３では３２０ｘ２４０画素）で記録を行う。Ｓ１０１４で高画質モードボタンが押下されることにより図１３の高画素記録したフレーム（図中で１２８０ｘ９６０画素）を動画フレーム中に挿入する。また、図１２では、受信手段１０３、アンテナ１０６，１１１、送信手段１１０からなる無線通信手段を介して、外部コントローラ１０７が撮像装置１０１の記録モード制御手段１０４及び撮影制御手段１０５を制御して高速撮影と高画質撮影とを切り替える。
【０００５】
更に望ましい撮影を行うためのシャッターチャンスを判別するものとして、特許文献３に記載されたように、被写体が望ましい表情やポーズになったときにカメラが自動的にシャッターチャンスを判別して撮影を行う方法が提案されている（図１４）。図１４の例では画像を撮像部２０２で繰り返し取得し、制御部２０９が予め設定された条件を満たしたと判定した場合、撮像部２０２のフォーカスや絞りを制御して撮影を行う。なお、シャッターチャンスの判別は、人物の表情などを表わす形状を画像から抽出し、この抽出された形状と所定の形状の一致度を算出して、一致度が所定値を超えたときに被写体を撮影するためのシャッターチャンスと判別する。
【特許文献１】特開2003-125344公報
【特許文献２】特開平11-069222号公報
【特許文献３】特開2004-294498公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
動画撮影中に出会う一瞬の表情などのシャッターチャンスを、動画の記録に影響を与えないで高画質で記録しておきたいという要求がある。これに対して、上記特許文献１，２では、動画撮影中に高画素な静止画撮影に切り替えることができるので、動画撮影を行いながらシャッターチャンスを待って望ましい静止画を撮影することが可能となる。
【０００７】
しかしながら、動画撮影モードから高画質撮影モードに切り替えるときにタイムラグが生じることで、ユーザがシャッターボタンを押下する際にシャッターチャンスを逃してしまうおそれがある。その結果、一瞬の瞬きによる目瞑り画像を防いだり、笑顔などの良い表情の瞬間を捕らえるには予め変化を予測してシャッターを切るなどの高度なテクニックが必要となるため、失敗撮影となってしまう可能性も高い。また、上記特許文献２では高画質撮影のために動画撮影が中断されてしまうため動画の記録が長時間途切れてしまう。
【０００８】
上記特許文献３では、カメラがシャッターチャンスを自動で判別するため、ユーザ自身がシャッターチャンスのトリガを捕らえる必要はなくなる。但し、過去に撮影した画像から次のシャッターチャンスを判別して撮影動作に移るため、やはりＡＦや絞りなどの動作や、フレーム間の時間差などのタイムラグがあり一瞬のシャッターチャンスを逃してしまうおそれが残る。また、撮像部２０２が静止画の撮像のために占有されてしまうため動画を同時に撮影することも不可能である。
【０００９】
また、動画撮影系と、表情などの顔検出系を含む高画質撮影系とを別の光学系とし、一つの筐体に搭載した２眼構成も考えられる。しかし装置が大掛かりであり、２つの光学系を同期して制御する難しさがある。更に画角、フォーカス状況、絞り開度などが２つの光学系で必ずしも一致しないため意図した画像が得られない可能性が高い。
【００１０】
本発明は、上記課題を解決することを目的としている。
【課題を解決するための手段】
【００１１】
上記課題を解決し、目的を達成するために、本発明の撮像装置は、撮像素子にて生成された動画の画像データを取り込んで、第２のバッファメモリに第２の画像データとして記憶させ、前記第２の画像データの予め定められたフレームと同じタイミングで前記撮像素子にて生成された画像データを取り込んで、第１のバッファメモリに第１の画像データとして記憶させる撮像手段と、前記第２の画像データを用いて被写体が所定の条件を満たしているか分析する分析手段と、前記第１のバッファメモリに記憶された前記第１の画像データを第１の記録手段に記録し、前記第２のバッファメモリに記憶された前記第２の画像データを第２の記録手段に記録する記録制御手段とを有し、前記第１の画像データは前記第２の画像データと比較して高解像度及び多階調の少なくともいずれかであって、前記記録制御手段は、前記分析手段がいずれかのフレームの前記第２の画像データを用いて分析を行った結果、被写体が前記所定の条件を満たしていれば、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録し、被写体が前記所定の条件を満たしていなければ、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録しない。
本発明の撮像装置は、撮像素子にて生成された連続する画像データを取り込んで、第２のバッファメモリに第２の画像データとして記憶させ、前記第２の画像データの予め定められたフレームと同じタイミングで前記撮像素子にて生成された画像データを取り込んで、第１のバッファメモリに第１の画像データとして記憶させる撮像手段と、前記第２の画像データを用いて被写体が所定の条件を満たしているか分析する分析手段と、前記第１のバッファメモリに記憶された前記第１の画像データを第１の記録手段に記録し、前記第２のバッファメモリに記憶された前記第２の画像データを第２の記録手段に記録する記録制御手段と、いずれかのフレームの前記第２の画像データが前記所定の条件を満たすときにその旨を通知する通知手段と、前記通知手段による通知の後に、前記所定の条件を満たす前記いずれかのフレームの第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された第１の画像データを前記第１の記録手段に記録するか否かを選択させる選択手段とを有し、前記第１の画像データは前記第２の画像データと比較して高解像度及び多階調の少なくともいずれかであって、前記記録制御手段は、前記選択手段により前記第１の画像データを記録することが選択されれば、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録し、前記選択手段により前記第１の画像データを記録することが選択されなければ、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録しない。
【００１２】
また、本発明の撮像方法は、撮像素子にて生成された動画の画像データを取り込んで、第２のバッファメモリに第２の画像データとして記憶させ、前記第２の画像データの予め定められたフレームと同じタイミングで前記撮像素子にて生成された画像データを取り込んで、第１のバッファメモリに第１の画像データとして記憶させる撮像工程と、前記第２の画像データを用いて被写体が所定の条件を満たしているか分析する分析工程と、前記第１のバッファメモリに記憶された前記第１の画像データを第１の記録手段に記録し、前記第２のバッファメモリに記憶された前記第２の画像データを第２の記録手段に記録する記録制御工程とを有し、前記第１の画像データは前記第２の画像データと比較して高解像度及び多階調の少なくともいずれかであって、前記記録制御工程では、前記分析工程にていずれかのフレームの前記第２の画像データを用いて分析を行った結果、被写体が前記所定の条件を満たしていれば、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録し、被写体が前記所定の条件を満たしていなければ、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録しない。
本発明の撮像方法は、撮像素子にて生成された連続する画像データを取り込んで、第２のバッファメモリに第２の画像データとして記憶させ、前記第２の画像データの予め定められたフレームと同じタイミングで前記撮像素子にて生成された画像データを取り込んで、第１のバッファメモリに第１の画像データとして記憶させる撮像工程と、前記第２の画像データを用いて被写体が所定の条件を満たしているか分析する分析工程と、前記第１のバッファメモリに記憶された前記第１の画像データを第１の記録手段に記録し、前記第２のバッファメモリに記憶された前記第２の画像データを第２の記録手段に記録する記録制御工程と、いずれかのフレームの前記第２の画像データが前記所定の条件を満たすときにその旨を通知する通知工程と、前記通知工程による通知の後に、前記所定の条件を満たす前記いずれかのフレームの第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された第１の画像データを前記第１の記録手段に記録するか否かを選択させる選択工程とを有し、前記第１の画像データは前記第２の画像データと比較して高解像度及び多階調の少なくともいずれかであって、前記記録制御工程では、前記選択工程により前記第１の画像データを記録することが選択されれば、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録し、前記選択工程により前記第１の画像データを記録することが選択されなければ、前記いずれかのフレームの前記第２の画像データと同じタイミングで取り込まれて前記第１のバッファメモリに記憶された前記第１の画像データを前記第１の記録手段へ記録しない。
【発明の効果】
【００１３】
本発明によれば、連続して撮影される動画と高画質な静止画とを同時に撮影でき、動画撮影に影響を及ぼさず且つシャッターチャンスを逃さずに高画質な静止画を撮影することができる。
【発明を実施するための最良の形態】
【００１４】
以下に、添付図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【００１５】
尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
［第１の実施形態］
図１は本発明に係る実施形態の撮像装置の構成を示すブロック図である。図２は図１の撮像装置による動作フローチャートを示す。
【００１６】
図１において、１はユーザインターフェースである。１ではカメラの画角やオートフォーカスなどの光学系３及びズーム４の調整指示、絞り５の調整指示、録画（連続画像の取り込み）開始終了指令、撮影条件や画像条件の指定（例えば、笑顔や目瞑り防止など）などを行うことができる。２はカメラ制御回路で光学系３やズーム４からなるズーム制御やオートフォーカス制御、絞り５の駆動、ＣＣＤなどの撮像素子６からバッファメモリ７，８への電荷信号の転送駆動、連続画像の記録制御回路１０，１１の制御などを行う。
【００１７】
７，８はバッファメモリである。バッファメモリ８はカメラ制御回路２の録画開始指令により画像を所定のレート（例えば、１フレーム30msec）で連続的に取り込む所定の解像度で画像を取り込むバッファメモリである。バッファメモリ７はバッファメモリ８より高解像度又は多階調又はその両方である高画質バッファメモリであり、カメラ制御回路２から出される所定のトリガ信号により１フレーム分を取り込む。
【００１８】
画像分析回路９はバッファメモリ８の内容を解析して、所定の撮影条件や画像条件（例えば、笑顔や目瞑り防止など）に合致しているときに記録信号を記録制御回路１０に出力する。１０，１１は記録制御回路である。記録制御回路１１はカメラ制御回路２の録画開始指令により所定のレート（例えば、１フレーム30msec）でバッファメモリ８に蓄えられている画像データを記録媒体１３に記録する。
【００１９】
記録制御回路１０は画像分析回路９からの記録信号が入力されたときのみバッファメモリ７にその時点で記憶されている１フレームの画像データを記録媒体１２に記録する。記録媒体１２，１３は画像データを長期保存するための記憶媒体で磁気テープや光ディスク、半導体メモリ（フラッシュROMなど）が該当する。図１では記録媒体は２つとされているが、ランダムアクセス可能かつ２箇所に独立して別のデータを書き込めるメモリの場合は１つでよい。また、ランダムアクセス可能かつ十分に高速である場合も、時分割書き込みを行えば１つでよい。
【００２０】
次に、図１の撮像装置の動作について図２のフローチャートを用いて説明する。
【００２１】
撮像装置の電源がＯＮされると、所望の条件（笑顔や目瞑り防止など）がユーザ操作などによって設定される（Ｓ１０１）。このときに同時に所望の画像の取得枚数も設定される。なお、所望の条件が設定されていて画像枚数が設定されていないとき、又は記録媒体１２に記憶可能な枚数よりも多く設定されたときには記録媒体１２に記憶可能な枚数を指定枚数としてもよい。この時に確認を促す警告をユーザインターフェース１に出力することも可能である。
【００２２】
その後、ビデオ録画するかどうかが判定される（Ｓ１０２）。ここでは、通常はユーザによって録画ボタンが押されるか、外部機器より録画信号が入力されたかを判断する。ビデオ録画開始が検出されるとカメラ制御回路２は撮像素子６で撮像した画像データを所定の解像度、更新レートでバッファメモリ８に取り込み（Ｓ１０３）、記録媒体１３への記録を順次行う（Ｓ１０７）。
【００２３】
また、Ｓ１０３でフレームを取り込むのと同時刻に、高画質（高画素、多階調、或いはその両方）の画像データをバッファメモリ７に取り込み保持する（Ｓ１０４）。ここで一旦保持されると記録信号又は破棄信号が入力されるまでバッファメモリ８が更新されても、バッファメモリ７の内容は保持される。バッファメモリ７に取り込まれた時刻と同時刻のバッファメモリ８の内容は画像分析回路９に転送され、ユーザが指定した条件（笑顔など）に沿った条件解析検出処理が行われる（Ｓ１０５）。更に、Ｓ１０５での検出結果と指定条件とが合致しているかを判定する（Ｓ１０６）。ここでは、カウンタ１４に記録された枚数を元に記録枚数は指定枚数以下かが判定され、それらを満たしているときには記録信号が記録制御回路１０に出力され、バッファメモリ７の内容が記録媒体１２に書き込まれ、カウンタ１４がインクリメントされる。また、Ｓ１０５での検出結果と合致しないときは、廃棄信号がカメラ制御回路２に出力され、次のバッファメモリ８の取り込みタイミングでバッファメモリ７も更新される。
【００２４】
以上の動作をタイムチャートで示したのが図３である。ここでVrateはビデオレートで、この周波数で連続画像の更新が行われる。図３ではt0,t1,t2で連続画像データと高画質画像データが同時にバッファメモリ７，８に取り込まれ、連続画像データを用いて分析が行われる。一般には高画質画像の方がデータ量が多いので処理時間がかかる。この例では高画質画像データの記録媒体への記録までに連続画像データの２フレーム分が使われる例を示した。
【００２５】
なお、バッファメモリ７に取り込まれた高画質画像データは常に記録媒体に記録するわけでない。このため、書き込み用のバッファメモリを用意して画像データを一時蓄積しておいて、画像データを保存しないときなどにバッファメモリ分の書き込みを行ことで、時間あたりの書き込み頻度を増すことができる。また、高画質画像データ取り込み用に複数のバッファメモリを用意し、それと同数の条件解析検出用バッファメモリを用意しておくこともできる。この場合には、連続画像上で連続して指定の条件が満たされる画像データがあったときでも、バッファメモリのフレーム数を超えなければ、連続して記録媒体に記録することが可能となる。
【００２６】
例えば、図４の例はバッファメモリが各々２フレーム分用意されていて連続画像データと同じフレーム数だけ時刻t0,t1,t2,t3,,,で高画質画像データを２つのバッファに交互に取り込む。また分析バッファ２に分析データを一時的に退避することによって全てのフレームに対して分析を行った後、記録するか否かを判断し記録媒体に記録することが可能となる。
【００２７】
なお、被写体の状態を分析する手段としては、人物検知、個人識別、表情認識、形状識別などが可能である。例えば人物検知を行う場合の一例を説明する。人物検知を行うには最も人物の特徴が現れる顔を用いることが良い方法である。図５は、上記特許文献３に記載された撮影画像データから顔領域を特定するための一連の処理を説明する図である。
【００２８】
画像から単純な線分図形である１次特徴量２１〜２４を抽出する（抽出法はウエーブレット変換法やニューラルネット法などが公知となっている。）。それらの組み合わせで２次特徴量２５から２８を抽出し、２次特徴量２５〜２８の組み合わせで３次特徴量２９，３０を抽出する。ここで特徴量２９は目、特徴量３０は口を表す特徴量である。さらに３次特徴量２９，３０を組み合わせることによって４次特徴量３１（顔特徴量）を抽出する。これにより画面内に顔があるかないかが判別可能となり、人物検知を行うことができる。また３次特徴量の抽出により顔のパーツ（目、口など）の画像上での位置とエッジが求まるので、それらの画像上での相対的な位置関係や張る面積などにより笑顔などの表情や目瞑りなどを検知することも可能である。なお図５は画像からの人物検知の一例を示したもので、他にも人物検知、個人識別、表情認識、形状識別するためには色情報を用いたりテンプレートマッチングを行ったりといった方法がある。
【００２９】
このようにして本実施形態によれば、同一の光学系（画角，フォーカス，絞り条件が同一）で同時刻に連続画像と高画質画像とを取得して一時保持し、よりデータ容量の少ない連続画像の同時刻フレームを用いて高画質画像の取捨選択を行う。このため巨大で高速な高画質画像用の記録媒体を用意しなくても事後解析によって高画質画像のシャッターチャンスを捕らえられるため失敗撮影の可能性がなくなる。また、記録枚数を指定することによって自動で指定枚数を取得するため撮影者は動画撮影に集中でき、動画撮影中に出会う一瞬の表情などのシャッターチャンスを、動画の記録に影響を与えないで高画質で記録することができる。
【００３０】
［第２の実施形態］
図６に本発明に係る第２の実施形態のフローチャートを示す。
【００３１】
第２の実施形態では、第１の実施形態とは異なり、所望の条件（笑顔や目瞑り防止など）のみがユーザなどから設定される（Ｓ２０１）。Ｓ２０２〜Ｓ２０５までは第１の実施形態と同じなので説明を省略する。Ｓ２０５で保存候補の高画質画像と同時刻に取得された動画像の１フレームが条件に合致していると判定されると、カメラ制御回路２は、ユーザインターフェース１を介して、候補画像が得られたことをユーザに通知する（Ｓ２０６）。Ｓ２０６によりユーザはベストショット候補がバッファメモリ７に取得されていることを知ることができる。このため、その画像データを保存するかどうかを選択し（Ｓ２０７）、それをもとに記録媒体への書き込み（Ｓ２０９）又は破棄（Ｓ２１０）、実際には上書き許可）が行われる。
【００３２】
Ｓ２０６での通知を実行するためには種々の方法がある。
【００３３】
図７はユーザインターフェース１が液晶表示器などの画像表示部３２により実現される場合のＳ２０６での通知動作の一例を示す。条件に合致する画像（この場合は笑顔）が未検出の場合（ａ），（ｂ）には、画像表示部３２には一定のフレームレートで連続画像、すなわち動画を表示する。（ｃ）で笑顔が取り込まれ画像分析回路９でこれが検出されると、それ以降の（ｄ）で分析に用いた画像３４をその時点での動画上に重ねて表示し、目的とする画像が得られたことを文字情報３３などでユーザに通知する。このとき、画像３４を一定間隔で点滅させたり、太枠や色の付いた枠で囲んだりするとユーザの注意を喚起することができるため有用である。また、同様の理由で音声通知（言語通知、音楽曲、警報音,動物の鳴き声など）を同時に行うこともできる。また、図７では文字情報３３はテキストのみで表示しているがアイコン表示やアイコンとテキストの併用も可能である。なお動画と検出画像の重ね合わせはユーザ等によって指定（Ｓ２０７）されるまで継続される。また明示的な廃棄指示の代わりにＳ２０６の通知が実行されてから一定期間指示がないときには廃棄と解釈する構成も可能である。この方法では動画が大きく表示されるので、動画をより重視する場合に有効である。
【００３４】
図８はＳ２０６での通知を実行するための別の例を示す。（ａ）〜（ｃ）までは図７と同じなので説明は省略する。（ｃ）で笑顔が取り込まれ、画像分析回路９でこれが検出されると、それ以降の（ｄ）で笑顔画像が主たる部分に再表示され、その時点での動画は画像の一部３５（図８ではドットで表示、説明のための便宜で実際にはドットは表示しない。）に上書き表示される。このとき画像分析回路９が検出した領域３６（図８では斜線で表示、説明のための便宜で実際には斜線は表示しない。）とその時点での動画を上書きする領域３５の重なる部分ができるだけ小さくなる位置に配置される。またこのとき目的とする画像が得られたことを文字情報３３などでユーザに通知する。図７の場合と同様に画像を一定間隔で点滅させたり、太枠や色の付いた枠で囲んだり、音声通知したりアイコン表示することによってユーザの注意を喚起することができる。この方法では画像検出時に検出画像が大きく表示されるので、高画質画像をより重視する場合に有効である。
【００３５】
第２の実施形態では、ユーザが検出画像を好みで選択できるというメリットがある。このため、高画質画像保存用の記録媒体の容量が小さいときに無駄な画像を取り込んでいて、いざというときに、すでに記憶場所がないというミスを防ぐことができる。
【００３６】
［第３の実施形態］
図９は本発明に係る第３の実施形態のフローチャートを示す。
【００３７】
Ｓ３０１〜Ｓ３０３及びＳ３０８は第１の実施形態と同じである。Ｓ３０２でビデオ録画が選択されると、一定間隔で画像を取り込み（Ｓ３０３）、記録媒体に記録する（Ｓ３０８）。このような連続画像の記録状態において、Ｓ３０４でユーザにより検出開始指令がなされることによって、第１の実施形態と同じ処理が行われる。即ち、Ｓ３０４の後、高画質画像のバッファメモリへの保持（Ｓ３０５）、連続画像の同時刻フレームに対する条件解析検出処理（Ｓ３０６）、保存可否判断（Ｓ３０７）、及び記録媒体への記録（Ｓ３０９）又は高画質画像データの破棄（Ｓ３１０）を行う。
【００３８】
Ｓ３０４の検出開始指令の入力手段は図１のユーザインターフェース１に設けられ、プッシュスイッチやジョイスティック、視線や脳波などによる入力が考えられる。この実施形態では、例えば運動会等で走っている子供の姿を録画しながらゴールの瞬間を撮影する場合や、鳥のはばたきを録画して木に留まった瞬間を撮影する場合などで活用することができる。これらのシーンでは録画開始時点では対象物が小さくて自動で判別するのが困難であったり、撮影したい対象以外の他の子供や鳥が近くにいる場合不必要な画像を取り込んでしまったりする可能性がある。
【００３９】
例えば図１０のような場合がこれに相当する。（ａ），（ｂ）は録画開始時点と子供（図では人物Ａ）のゴールシーンを示したものである。シーン（ａ）では、目的とする対象（人物Ａ）よりも、不要物（人物Ｂ）が大きく、Ｓ３０７において人物Ｂで合致判定をしてしまい無駄な画像を取り込んでしまう可能性が高い。その結果、記憶媒体の容量が使われてしまって、本当に必要なシーン（ｂ）では高画質画像を記録することができなくなってしまう恐れがある。このようなときにはユーザがおおよその目的とする対象の状態を判断して検出開始時点を指定すること（図１０の場合は人物Ａがゴールに近づいて来てから）によって、無駄な画像の取得可能性を大幅に減らすことができる。このとき従来のハイブリッドカメラのように動画がコマ落ちしたり、人間がシャッターを切る場合のように決定的チャンスを逃してしまうといった心配がない。
【００４０】
また、Ｓ３０４が検出開始指令がなされていない時点ではカメラ制御回路２の負荷が小さくなる。このため、録画時に常に高画質画像をバッファリングして分析処理を行う第１の実施形態と比較して、消費電力の低下を図ったり、他の制御（オートフォーカスや絞り調整など）の頻度を上げることができるといったメリットがある。
【００４１】
［他の実施形態］
以上、本発明に係る実施形態について具体例を用いて詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００４２】
また、本発明の目的は、図示の機能ブロック及び動作において、いずれの部分をハードウェア回路により実現し、或いはコンピュータを用いたソフトウェア処理によって実現しても達成されることは言うまでもない。
【００４３】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接あるいは遠隔から供給することによって達成される場合も含む。その場合、システム等のコンピュータが該プログラムコードを読み出して実行することになる。
【００４４】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００４５】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等の形態であっても良い。
【００４６】
プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク等がある。その他にも、MO、CD-ROM、CD-R、CD-RW、磁気テープ、不揮発性のメモリカード、ROM、DVD(DVD-ROM、DVD-R)等がある。
【００４７】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのものをダウンロードすることもできる。また圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるWWWサーバも、本発明に含まれるものである。
【００４８】
また、本発明のプログラムを暗号化してCD-ROM等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザが、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードすることもできる。この場合、ダウンロードした鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現する。
【００４９】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOS等が、実際の処理の一部又は全部を行うことによっても実現され得る。
【００５０】
更に、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットのメモリに書き込まれた後、該ボード等のCPU等が実際の処理の一部又は全部を行うことによっても実現される。
【図面の簡単な説明】
【００５１】
【図１】本発明に係る実施形態の撮像装置の構成を例示するブロック図である。
【図２】本発明に係る第１の実施形態の動作を示すフローチャートである。
【図３】本発明に係る第１の実施形態の動作を示すタイムチャートである。
【図４】本発明に係る第１の実施形態の動作の別の例を示すタイムチャートである。
【図５】顔検知方法を説明する図である。
【図６】本発明に係る第２の実施形態の動作を示すフローチャートである。
【図７】本発明に係る第２の実施形態のユーザへの通知方法を示す図である。
【図８】本発明に係る第２の実施形態のユーザへの通知方法の別の例を示す図である。
【図９】本発明に係る第３の実施形態の動作を示すフローチャートである。
【図１０】本発明に係る第３の実施形態の効果を説明する図である。
【図１１】従来の撮像装置による動画と高画素記録動作を示すフローチャートである。
【図１２】従来の動画と高画素記録動作の別の例を示すブロック図である。
【図１３】従来の動画と高画素記録動作を説明する図である。
【図１４】被写体の状態を自動判別して画像を撮影する従来の撮像装置を示すブロック図である。
【符号の説明】
【００５２】
１  ユーザインターフェース
２  カメラ制御回路
３  光学系
４  ズーム
５  絞り
６  撮像素子
７  バッファメモリ（第１のデータ保持手段）
８  バッファメモリ（第２のデータ保持手段）
９  画像分析回路
１０，１１  記録制御回路
１２，１３  記録媒体
２１〜２４  顔検出用１次特徴量
２５〜２８  顔検出用２次特徴量
２９  顔検出用３次特徴量（目特徴量）
３０  顔検出用３次特徴量（口特徴量）
３１  顔検出用４次特徴量（顔特徴量）
３２  画像表示部
３３  文字情報
３４  分析合致画像
３５  動画像
３６  分析合致領域
【図１】
0004717539.tif 000002
【図２】
0004717539.tif 000003
【図３】
0004717539.tif 000004
【図４】
0004717539.tif 000005
【図５】
0004717539.tif 000006
【図６】
0004717539.tif 000007
【図７】
0004717539.tif 000008
【図８】
0004717539.tif 000009
【図９】
0004717539.tif 000010
【図１０】
0004717539.tif 000011
【図１１】
0004717539.tif 000012
【図１２】
0004717539.tif 000013
【図１３】
0004717539.tif 000014
【図１４】
0004717539.tif 000015