(57)【要約】      （修正有）【課題】特定の被写体が画像に含まれる部分のみを再生することができる電子機器を提供する。【解決手段】所定時間毎の撮影により画像を取得することで動画像を生成する動画像生成手段を備え、該画像から被写体検出処理及び被写体同定処理を施すことで、所定時間以上画像に含まれる被写体を検出し、当該被写体と当該被写体が含まれる動画ファイル名、当該被写体が含まれる始点及び期間などの時間情報とを関連付けて記録しておくことで、当該被写体が写っている画像を容易に検索することができ、また当該被写体が画像に含まれる部分のみを再生することができる。【選択図】図１
2010237911.tif 000002
【特許請求の範囲】
【請求項１】
所定時間毎の撮影により撮影画像を取得するとともに、該撮影画像に基づいて第１動画像を生成する動画像生成手段、
前記動画像に所定期間以上継続して含まれる被写体を検出する被写体検出手段、
前記被写体が前記動画像に継続して含まれる始点及び期間を示す期間情報を導出する期間情報導出手段、
前記動画像を構成する前記撮影画像のうち、前記被写体が継続して含まれる期間の動画像を構成する前記撮影画像のいずれかから前記被写体画像を抽出する被写体抽出手段、
前記動画像、前記被写体画像、及び前記期間情報を関連付けて記録媒体に記録する関連付け手段、
前記期間情報に基づいて前記被写体が前記動画像に継続して含まれる期間の再生を行う再生手段、
を備えることを特徴とする電子機器。
【請求項２】
前記記録媒体に、前記動画像生成手段により生成された第２動画像が記録されている場合において、
前記第２動画像に前記被写体が前記所定期間以上継続して含まれているかどうかを判断する同定手段を備え、
前記同定手段により、前記被写体が前記第２動画像に前記所定期間以上継続して含まれていると判断された場合、前記期間情報導出手段は、前記第２動画像から前記被写体が前記第２動画像に継続して含まれている期間を示す第２期間情報を導出し、
前記関連付け手段は、前記動画像、前記被写体画像、及び前記期間情報、並びに前記第２動画像、及び前記第２期間情報を関連付けて前記記録媒体に記録することを特徴とする請求項１記載の電子機器。
【請求項３】
前記再生手段は、被写体画像、該被写体画像の被写体が所定期間以上継続して含まれる１又は複数の動画像、及び前記被写体が前記各動画像それぞれに含まれる期間を示す期間情報が関連付けて記録されている記録媒体から、
前記被写体画像を抽出するとともに第１被写体画像として表示装置に表示する第１表示手段、
前記各動画像それぞれから前記被写体が継続して含まれる期間の前記各動画像を構成する複数の撮影画像の一部を抽出するとともに、抽出された前記一部の撮影画像それぞれを第２被写体画像として表示装置に表示する第２表示手段、
を備えることを特徴とする請求項１乃至２記載の電子機器。
【請求項４】
前記第２表示手段によって表示される第２被写体画像のいずれか１つを選択する選択手段、
選択された前記第２被写体画像を含む動画像を、前記第２被写体画像が含まれる期間だけ再生する動画像再生手段、
を備えることを特徴とする請求項１乃至３記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に動画像から同一人物当の特定の被写体を検出する技術に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この特許文献１によれば、モードスイッチにより個人認証による再生モードが選択されると、個人認証装置は、記録メディアに記録されている画像ファイルのうち、最後に記録された画像ファイルから検出された顔Ｘの特徴量を取得する。次に当該顔Ｘの特徴量と、記録メディア内の他の画像ファイルに含まれる顔の特徴量とを比較することにより、顔Ｘと同一の顔を含む画像ファイル（関連画像ファイル）を特定し、ＣＰＵ３０に出力する。ＣＰＵ３０は、個人認証装置により選択された関連画像ファイルを取得して液晶モニタに表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３２９６７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に係る発明によると、再生時に関連画像ファイルの特定を行うため、例えば、記録されている画像ファイルの数が多い場合などに、関連画像ファイルの特定に時間を要してしまい、結果として関連画像ファイルの表示に時間がかかってしまうという問題があった。
【課題を解決するための手段】
【０００５】
本願の請求項１にかかる電子機器は、所定時間毎の撮影により撮影画像を取得するとともに、該撮影画像に基づいて第１動画像を生成する動画像生成手段、前記動画像に所定期間以上継続して含まれる被写体を検出する被写体検出手段、前記被写体が前記動画像に継続して含まれる始点及び期間を示す期間情報を導出する期間情報導出手段、前記動画像を構成する前記撮影画像のうち、前記被写体が継続して含まれる期間の動画像を構成する前記撮影画像のいずれかから前記被写体画像を抽出する被写体抽出手段、前記動画像、前記被写体画像、及び前記期間情報を関連付けて記録媒体に記録する関連付け手段、前記期間情報に基づいて前記被写体が前記動画像に継続して含まれる期間の再生を行う再生手段を備えることを特徴とする。
【０００６】
本願の請求項２にかかる電子機器は、請求項１に従属し、前記記録媒体に、前記動画像生成手段により生成された第２動画像が記録されている場合において、前記第２動画像に前記被写体が前記所定期間以上継続して含まれているかどうかを判断する同定手段を備え、前記同定手段により、前記被写体が前記第２動画像に前記所定期間以上継続して含まれていると判断された場合、前記期間情報導出手段は、前記第２動画像から前記被写体が前記第２動画像に継続して含まれている期間を示す第２期間情報を導出し、前記関連付け手段は、前記動画像、前記被写体画像、及び前記期間情報、並びに前記第２動画像、及び前記第２期間情報を関連付けて前記記録媒体に記録することを特徴とする。
【０００７】
本願の請求項３にかかる電子機器は、請求項１乃至２に従属し、前記再生手段は、被写体画像、該被写体画像の被写体が所定期間以上継続して含まれる１又は複数の動画像、及び前記被写体が前記各動画像それぞれに含まれる期間を示す期間情報が関連付けて記録されている記録媒体から、前記被写体画像を抽出するとともに第１被写体画像として表示装置に表示する第１表示手段、前記各動画像それぞれから前記被写体が継続して含まれる期間の前記各動画像を構成する複数の撮影画像の一部を抽出するとともに、抽出された前記一部の撮影画像それぞれを第２被写体画像として表示装置に表示する第２表示手段、を備えることを特徴とする。
【０００８】
本願の請求項４にかかる電子機器は、請求項１乃至３に従属し、前記第２表示手段によって表示される第２被写体画像のいずれか１つを選択する選択手段、選択された前記第２被写体画像を含む動画像を、前記第２被写体画像が含まれる期間だけ再生する動画像再生手段、を備えることを特徴とする。
【０００９】
本発明は上記課題に鑑みてなされたものであり、撮影中に動画に所定時間以上存在する被写体の特徴情報や時間情報を記録しておくことで、再生時に当該被写体の表示に要する時間を軽減することが可能な電子機器を提供することを目的とする。
【図面の簡単な説明】
【００１０】
【図１】撮像装置１の構成の概略を示すブロック図である。
【図２】メモリ６のマッピング状態の一例を示す図解図である。
【図３】フレーム画像の一例を示す図解図である。
【図４】関連付け処理部２４の内部構造の概略を示すブロック図である。
【図５】記録媒体２８のディレクトリ構造の一例を示す図解図である。
【図６】管理テーブルの一例を示す図解図である。
【図７】ＬＣＤモニタ１４の表示例を示す図解図である。
【図８】実施例における撮影モードの処理動作の一部を示すフローチャートである。
【図９】実施例における撮影モードの処理動作のその他の一部を示すフローチャートである。
【図１０】実施例における関連付け処理の処理動作を示すフローチャートである。
【図１１】実施例における注目被写体再生モードの処理動作を示すフローチャートである。
【発明を実施するための形態】
【実施例】
【００１１】
図１は、本発明の一実施例における撮像装置１の概略を示したブロック図である。
【００１２】
撮像装置１は、焦点距離を一定の範囲内で自由に変更できるズームレンズ、被写体の光学像を撮像素子に結像させるフォーカスレンズ、露出の制御を行う絞り、及び入射される光をフレーム周期でアナログ画像信号に変換する撮像素子からなる撮像部２、撮像部２から出力されるアナログ画像信号に対してＡ/Ｄ変換を施すＡ/Ｄ変換部４、Ａ/Ｄ変換部４から出力されるデジタル画像信号（以下、フレーム画像信号、または、フレーム画像と記載する。）を一時記録するメモリ６、メモリ６の制御を行うメモリ制御部８、メモリ６に一時記録されたフレーム画像にホワイトバランス調整を施すホワイトバランス調整部、色補間処理を施すことにより色同時化処理（色分離処理ともいう。）を行う色同時化処理部などからなる信号処理部１０、信号処理部１０で処理されたフレーム画像が静止画を撮影したものである場合はＪＰＥＧ（Joint Photographic Experts Group）方式、動画を撮影したものである場合はＭＰＥＧ（Moving Picture Experts Group）方式などにより該画像信号に圧縮符号化処理を施し、圧縮画像信号を生成する画像コーデック部１２、伸張されたフレーム画像を表示するＬＣＤ（Liquid Crystal Display）モニタ１４、ＬＣＤモニタ１４の駆動を制御するＬＣＤドライバ１６、フレーム画像から当該フレーム画像に含まれる人物などの被写体を検出する被写体検出部１８、被写体検出部１８で検出された被写体と１フレーム前のフレーム画像において検出された被写体が同一被写体であるか否かを判定する被写体同定処理部２０、被写体が最初に検出されたフレーム画像のフレーム番号や該フレーム画像からの経過フレーム数などから成る時間情報を取得する時間情報取得部２２、被写体の特徴情報と動画ファイルの名称、及び被写体に関する時間情報とを関連付けて記録する関連付け処理部２４、Ｉ/Ｆ（インターフェース）回路２６、フレーム画像信号や関連付け処理部２４で関連付けされた情報などを記録する記録媒体２８、ＣＰＵ（Central Processing Unit）３０、撮像装置１の操作を行う操作部３２、を備えている。
【００１３】
撮像素子としてはＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等が使用される。
また、メモリ６としては、例えば、ＶＲＡＭ（Video Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、或いはＳＤＲＡＭ（Synchronous DRAM）などの一般的に用いられているメモリが使用される。
また、記録媒体２８としては、例えばフラッシュメモリなどの撮像装置１に内蔵される内部記録媒体、或いはＳＤメモリカードやメモリスティック（登録商標）などの撮像装置１への着脱が自在な外部記録媒体が使用される。
また、ＬＣＤモニタ１４は、有機ＥＬモニタでも構わない。
【００１４】
操作部３２が操作され、撮影モードが選択されると、ＣＰＵ３０は、スルー画像（プレビュー画像とも言う。）処理を実行するべく、プリ露光動作及び間引き読み出し動作の繰り返しを撮像部２に命令する。撮像部２は、フレーム周期で、撮像素子の受光面にプリ露光を施すと共に、撮像素子の受光面に結像された撮影領域の光学像を表す電荷を光電変換によって生成する。生成された電荷の一部をラスタ走査態様で受光面から読み出す。この結果、撮影領域を表すアナログ画像信号がフレーム周期で撮像部２から出力される。
【００１５】
Ａ/Ｄ変換部４は、撮像部２から出力されたアナログ画像信号に対して、Ａ/Ｄ変換処理を施す。Ａ/Ｄ変換処理によって生成されたフレーム画像信号は、メモリ制御部８を介してメモリ６のワークエリア６ｃ（図２参照）に書き込まれる。信号処理部１０は、ワークエリア６ｃに書き込まれたフレーム画像信号をメモリ制御部８を介して読み出し、読み出したデジタル画像信号にホワイトバランス調整、色同時化処理などを施し、メモリ制御８を介してワークエリア６ｃに書き込む。ＬＣＤドライバ１６は、ワークエリア６ｃに書き込まれたフレーム画像信号を読み出し、読み出されたフレーム画像信号に基づいてＬＣＤモニタ１４を駆動する。その結果、撮影領域を表すスルー画像がＬＣＤモニタ１４に表示される。
【００１６】
操作部３２から動画撮影の操作がなされると、撮像装置１は動画撮影を開始する。ＣＰＵ３０は、アナログ画像信号出力の一連の動作を実行することを撮像部２に命令する。撮像部２は、撮像素子の受光面に本露光を施すと共に、撮像素子に結像された撮影領域の光学像を表す電荷を光電変換によって生成し、生成された電荷をラスタ走査態様で読み出す。この結果、撮影領域を表す高解像度のアナログ画像信号が撮像部２から出力される。
【００１７】
撮像部２から順次出力されるアナログ画像信号は、Ａ/Ｄ変換部４、信号処理部１０によって上述と同様の信号処理を施され、フレーム画像信号に変換される。変換されたフレーム画像信号は、メモリ制御部８を介してワークエリア６ｃに書き込まれる。
また、ＣＰＵ３０は、操作部３２の撮影操作に応答して圧縮命令及び記録命令を画像コーデック部１２及びＩ/Ｆ回路２６にそれぞれ与える。画像コーデック部１２は、ワークエリア６ｃに書き込まれたフレーム画像信号をメモリ制御部８を介して読み出し、読み出したフレーム画像信号に、例えば、ＭＰＥＧ等の圧縮符号化処理を施し、圧縮されたフレーム画像信号をメモリ制御部８を介してワークエリア６ｃに書き込む。
Ｉ/Ｆ回路２６は、メモリ制御部８を介してワークエリア６ｃに書き込まれた圧縮フレーム画像信号を読み出し、記録媒体２８に記録する。
【００１８】
撮像装置１は、上記処理を繰り返し、複数のフレーム画像信号から１つの動画像信号（以下、動画像とも記載する。）を生成し、記録することで動画撮影を行う。
【００１９】
操作部３２から撮影終了の操作がなされると、撮像装置１は、動画撮影を終了し、
撮影開始から撮影終了までに記録された動画像信号を動画ファイルとして保存する。
【００２０】
操作部３２が操作され、再生モードが選択され、且つ所望の動画ファイルが指定されると、ＣＰＵ３０は、Ｉ/Ｆ回路２６及び画像コーデック部１２に再生命令及び伸張命令をそれぞれ与える。
【００２１】
Ｉ/Ｆ回路２６は、指定された動画ファイルに含まれる動画像を記録媒体２８から読み出し、読み出された動画像をメモリ制御部８を介してメモリに書き込む。画像コーデック部１２は、メモリに格納された動画像をメモリ制御部８を介して読み出し、読み出された動画像に伸張処理を施し、伸張された動画像をメモリ制御部８を介してメモリ６のワークエリア６ｃに書き込む。
ＬＣＤドライバ１６は、メモリ６に格納された動画像データをメモリ制御部８を介して順次読み出し、読み出された動画像に基づいてＬＣＤモニタ１４を駆動する。この結果、動画像がＬＣＤモニタ１４に表示される。
【００２２】
操作部３２が操作され、動画更新操作がなされると、ＣＰＵ３０は、Ｉ/Ｆ回路２６及び画像コーデック部１２に再生命令及び伸張命令をそれぞれ与える。この結果、次の動画ファイルの動画像がＬＣＤモニタ１４に表示される。
【００２３】
撮像装置１は、「撮影中に、所定時間以上動画像に含まれている被写体の特徴情報及び該被写体に関する時間情報を取得し、該被写体の顔画像、該特徴情報、該時間情報、及び該動画像のファイル名とを関連付けて記録する。」関連付け機能を備えている。ここで、被写体の特徴情報はフレーム画像中における被写体の位置や大きさ、目、鼻、耳、口などの位置や大きさなどであり、被写体に関する時間情報は、例えば、最初に被写体を検出したフレーム画像のフレーム番号、該フレーム番号からの経過フレーム数などである。
【００２４】
関連付け機能は、例えば、次のようにして実現される。図３は撮像装置１が取得したフレーム画像を示している。図３では、フレーム画像に人物である被写体Ａと被写体Ｂが含まれている。ＣＰＵ３０は、被写体検出部１８に被写体検出の命令を与える。被写体検出部１８は取得したフレーム画像に対して、顔検出処理を行う。
顔検出は、例えば、次のようにして実現される。被写体検出部１８に予め一般的な顔の特徴（顔の輪郭、顔の色、目、鼻、耳、髪などの特徴）を記録しておき、取得したフレーム画像から、その特徴と合致する部分があるか否かを走査する。走査の結果顔の特徴と合致する領域があった場合、フレーム画像に顔が含まれると判断する。尚、この顔検出処理は上述した手法を用いることで犬や猫などの動物の顔についても応用可能である。本実施例では、被写体が人物である場合について記載する。
【００２５】
被写体検出部１８は、フレーム画像内に顔を検出すると、該顔を囲う顔枠を生成する。図３のフレーム画像には、被写体Ａ及び被写体Ｂが存在するため、被写体Ａの顔を囲う顔枠ＫＡ、被写体Ｂの顔を囲う顔枠ＫＢがそれぞれ生成される。被写体検出部１８は、各被写体の特徴情報を導出し、当該フレーム画像のヘッダに書き込む。
【００２６】
被写体同定処理部２０は、検出された被写体が１フレーム前のフレーム画像（以下、前フレーム画像と記載する。）にも含まれていたか否かを判別する被写体同定処理を行う。現フレーム画像で検出された被写体が前フレーム画像に含まれていたか否かを判断するには、例えば、顔枠のサイズに基づき、被写体の上半身に相当する大きさの矩形枠を顔枠の下方向であって上半身が存在すると考えられる位置に生成し、該矩形枠内の色味（例えば、服装の色）を検出するとともに、検出された色味が前フレーム画像で検出された被写体の上半身の色味と略同一であれば、同一人物であるとする被写体同定手法や前のフレーム画像で生成された顔枠に対応する現フレーム画像で生成された顔枠との中心間の距離を導出し、該距離が所定の閾値以下であれば同一被写体であると判断する被写体同定手法などを用いる。尚、被写体が検出されたフレーム画像が、１フレーム目のフレーム画像である場合、前フレーム画像は存在しないため、被写体同定処理は行わない。
【００２７】
被写体同定処理の結果、前フレーム画像で検出された被写体と現フレーム画像で検出された被写体が同一被写体でないと判断された場合、生成された顔枠に囲まれた領域の画像を現フレーム画像から切り出し、導出した特徴情報と共にメモリ６の被写体情報保持部６ａに書き込む。時間情報取得部２２は、検出した被写体に関する時間情報を取得し、メモリ６の時間情報保持部６ｂに書き込む。尚、最初に被写体を検出した段階では、当該フレーム画像のフレーム番号と該フレーム番号からの経過フレーム数として「０」を書き込む。
【００２８】
現フレーム画像で検出された被写体と前フレームで検出された被写体とが同一人物であると判断された場合は、顔枠に囲われた領域の画像の切り出しは行わず、時間情報保持部６ｂに保持されている該被写体に関する時間情報のうち該被写体が最初に検出されてからの経過フレーム数を更新する。
【００２９】
また、被写体同定処理部２０は、前フレーム画像で検出された被写体が現フレーム画像で検出されなかった場合、該被写体がフレームアウトしたと判断する。被写体がフレームアウトすると、時間情報取得部２２部は、該被写体が撮影中の動画像に途切れることなく継続して含まれていた時間を導出する。該時間の導出は、例えば、被写体がフレームアウトしたと判断されたフレーム画像のフレーム番号と最初に該被写体が検出されたフレーム画像のフレーム番号の差分から導出する。導出された時間と所定の閾値との比較を行い、該時間＜閾値であれば、メモリ６に保持されている前記被写体の顔画像、特徴情報及び時間情報を削除する。該時間≧閾値であった場合、関連付け処理部２４は、被写体の顔画像、特徴情報、時間情報、及び撮影中の動画ファイルの名称を関連付けて、記録媒体２８に保存する。
【００３０】
図４は関連付け処理部２４の内部構成を示している。関連付け処理部２４は、人物照合部２４ａ、情報登録部２４ｂを備えている。
図５は記録媒体２８のディレクトリ構造の一例を示している。図５に示す例では、生成された動画ファイルは動画ディレクトリに記録される。切り出された被写体の顔画像は、画像コーデック部１２により圧縮されるとともに当該圧縮された顔画像のヘッダ領域に特徴情報が書き込まれ、画像ファイルとして被写体画像ディレクトリに記録される。被写体に関する時間情報は、管理情報ディレクトリに生成される管理テーブルに書き込まれる。
【００３１】
図６は、管理情報ディレクトリに記録されている被写体に関する時間情報の一例を示している。時間情報は、例えば、図６に示すような管理テーブルで管理される。管理テーブルは被写体画像ディレクトリに記録されている被写体ごとに作成される。管理テーブルの行項目は動画ファイル名、列項目はシーンＩＤで構成される。シーンＩＤは、同一動画ファイルにおいて、被写体が所定時間以上含まれるシーンが複数回ある場合に各シーンを個別に識別するための識別子であり、時間的に早いシーンから順にＩＤ１，２，・・・Ｍ（Ｍは正の整数）と割り当てられる。そして、シーンＩＤ１，２，・・・Ｍに対応するセルに時間帯が記録される。これにより、当該被写体がいずれの動画ファイルのいずれの時間帯に含まれているかが管理される。尚、時間帯は、時間情報に基づき導出され、具体的には、最初に被写体が検出されたフレーム画像のフレーム番号と該フレーム画像からの経過フレーム画像数に基づき導出される。例えば、最初に被写体が検出されたフレーム画像のフレーム番号が「１」で、経過フレーム画像数が「９９」であった場合、フレーム番号が１のフレーム画像から、フレーム番号が１＋９９＝１００のフレーム画像までに当該被写体が含まれていることを意味する。この場合、管理テーブルの当該セルには時間帯として「１〜１００」が書き込まれる。例えば、図６（Ａ）に示すように、被写体Ａが動画２においてフレーム番号２０００〜５０００のまでのフレーム画像、及びフレーム番号１００００〜１５０００のまでのフレーム画像の２つのシーンに含まれている場合、シーンＩＤ１に対応するセルに時間帯「２０００〜５０００」が、シーンＩＤ２に対応するセルに時間帯「１００００〜１５０００」が書き込まれる。
【００３２】
関連付け処理部２４は、撮影中の動画像に所定時間以上含まれている被写体が、過去に管理情報ディレクトリの管理テーブルに記録されているか否かを判断する人物照合を行う。
今、管理情報ディレクトリに図６の被写体Ａに関する管理テーブル（以下、管理テーブルＡと記載する。）及び被写体Ｂに関する管理テーブル（以下、管理テーブルＢと記載する。）が生成されているとし、撮影中の動画像において所定時間以上含まれる被写体が新たに検出されたとする（以下、当該被写体を検出被写体と記載する）。
【００３３】
人物照合部２６ａは、記録媒体２８の管理情報ディレクトリに保存されている管理テーブルＡを参照し、検出被写体が被写体Ａと同一人物か否かを判断する。具体的には、人物照合部２６ａは、管理テーブルＡに関連づけられて記録媒体２８の被写体画像ディレクトリに格納されている被写体Ａの画像ファイル中の特徴情報と検出被写体の特徴情報とを比較する。次に、管理テーブルＡに書き込まれている動画ファイル「動画１」を動画ディレクトリから読出し、そのフレーム番号１〜１０００までのフレーム画像のヘッダ領域に記録されている被写体Ａの特徴情報と検出被写体の特徴情報とを比較する。尚、検出被写体の特徴情報としては、メモリ６の被写体情報保持部６ａに検出被写体の顔画像と共に格納されている特徴情報を採用することができる。
【００３４】
人物照合部２６ａは、同様にして「動画２」のフレーム番号２０００〜５０００まで及びフレーム番号１００００〜１５０００までのフレーム画像のヘッダ領域に記録されている被写体Ａの特徴情報、・・・並びに「動画Ｎ」フレーム番号１〜２５００までのフレーム画像のヘッダ領域に記録されている被写体Ａの特徴情報と検出被写体の特徴情報とを比較する。
比較の結果、検出被写体と被写体Ａが同一であると判断された場合には、情報登録部２４ｂが、該フレーム画像に含まれる当該被写体の管理テーブルＡに撮影中の動画ファイル名及び検出被写体に関する時間情報を追記し、メモリ６に一時的に格納されている検出被写体の顔画像及び特徴情報、並びに時間情報を削除する。
比較の結果、検出被写体と被写体Ａが同一でないと判断された場合には、人物照合部２６ａ及び情報登録部２４ｂは、管理テーブルＢについて同様の処理を行なう。
【００３５】
検出被写体が被写体Ａ及びＢと同一でないと判断された場合は、情報登録部２４ｂは、検出被写体の画像ファイルを生成し、記録媒体２８の被写体画像ディレクトリに記録するとともに、検出被写体の管理テーブルを新規作成し、該管理テーブルに動画ファイル名及び時間情報を書き込み、検出被写体の顔画像ファイルと関連付けて、管理情報ディレクトリに格納する。尚、顔画像ファイルと管理テーブルの関連付けは、例えば、両者に同一のユニークな識別記号を付与することにより実現することができる。この結果、撮影中の動画像に所定時間以上含まれる被写体の顔画像、特徴情報、時間情報、及び動画ファイル名とが関連付けて記録される。尚、過去に動画撮影を行ったことが無い場合（換言すると、記録媒体２８の動画ディレクトリに他の動画ファイルが記録されていない場合）、被写体画像ディレクトリ及び管理情報ディレクトリにデータが存在しない場合は、人物照合処理は行われない。
【００３６】
撮像装置１は、「動画像に所定時間以上含まれている被写体のシーンを再生する。」注目被写体再生機能を備えている。注目被写体再生機能は、例えば、次のようにして実現される。
【００３７】
図７は、注目被写体再生モードが選択された場合のＬＣＤモニタ１４の表示の一例を示している。操作部３２において、注目被写体再生モードの操作がなされると、ＣＰＵ３０は、Ｉ/Ｆ回路２６及び画像コーデック部１２に被写体情報の再生命令を及び伸張命令を与える。Ｉ/Ｆ回路２６は、記録媒体２８の被写体画像ディレクトリに記録されている全ての被写体の顔画像ファイルを読み出し、メモリ６のワークエリア６ｃに書き込む。画像コーデック部１２はワークエリア６ｃに書き込まれた顔画像に伸張処理を施す。ＬＣＤドライバ１６は伸張処理を施した顔画像をメモリ制御部８を介して読み出し、ＬＣＤモニタ１４を駆動する。その結果ＬＣＤモニタ１４の領域１４ａに表示する。カーソルＣＵが操作され、所望の被写体の顔画像が選択されると、ＣＰＵ３０は、該顔画像と関連付けられている管理テーブルを読み出し、該管理テーブルに記録されている時間帯に基づき対応する動画ファイルから前記被写体が含まれているシーンの先頭のフレーム画像（例えば、当該シーンの時間帯がフレーム番号１００〜１０００である場合、フレーム番号１００のフレーム画像に相当する。）の再生命令及び伸張命令をＩ/Ｆ回路２６及び画像コーデック部１２に与える。Ｉ/Ｆ回路２６は記録媒体２８の動画ファイルディレクトリから当該フレーム画像を読み出し、メモリ制御部８を介してメモリ６のワークエリア６ｃに書き込む。画像コーデック部１２はワークエリア６ｃに書き込まれたフレーム画像に伸張処理を施す。ＣＰＵ３０は、伸張処理を施したフレーム画像に基づきサムネイル画像を生成し、ＬＣＤドライバ１６は、該サムネイル画像をメモリ制御部８を介して読み出し、ＬＣＤモニタ１４を駆動する。その結果、ＬＣＤモニタ１４の領域１４ｂに該フレーム画像がサムネイル表示される。表示されたサムネイル画像から所望の動画ファイルが選択されると、時間帯に基づき、上述した要領で、被写体が含まれるフレーム画像のみが再生される。
【００３８】
図８及び図９は、本実施例における撮像装置１の撮像動作を示すフローチャートである。
【００３９】
ステップＳ１００では、撮像部２からフレーム周期でプレビュー画像用の画像信号を取得し、Ａ/Ｄ変換部４を経てメモリ６に格納する。ステップＳ１０２では、信号処理部１０が、メモリ６に格納されたフレーム画像信号にホワイトバランス調整、色同時化処理などの信号処理を施す。ステップＳ１０４では、ＬＣＤドライバ１６がＬＣＤモニタ１４を駆動し、信号処理部１０から出力されるフレーム画像信号に基づくプレビュー画像を表示する。
【００４０】
ステップＳ１０６では、撮影を開始するか否かを判別する。撮影を開始する場合はステップＳ１０８に進み、そうでない場合はステップＳ１００に戻る。
【００４１】
ステップＳ１０８では、撮像部２からフレーム周期で画像記録用のアナログ画像信号を取得し、Ａ/Ｄ変換部４を経てメモリ６に格納する。ステップＳ１１０では、信号処理部１０は、メモリ６に格納された画像記録用のフレーム画像信号にホワイトバランス調整、色同時化処理などの信号処理を施す。
【００４２】
ステップＳ１１２では、取得したフレーム画像信号に対して顔検出を行う。顔が検出された場合はステップＳ１１４に進み、そうでない場合はステップＳ１２６に進む。ステップＳ１１４では、ステップＳ１１２で検出した顔を囲う顔枠を生成し、該顔の特徴情報を導出し、ステップＳ１１６では、ステップＳ１１４で導出した顔の特徴情報をフレーム画像のヘッダに書き込む。
【００４３】
ステップＳ１１８では、被写体同定を行う。取得したフレーム画像から検出された顔が、１フレーム前のフレーム画像に含まれているか否かを判断する。前記被写体が１フレーム前のフレーム画像に含まれている場合はステップＳ１２４に進み、そうでない場合はステップＳ１２０に進む。
【００４４】
ステップＳ１２０では、ステップＳ１１４で生成した、顔枠に囲まれた顔画像を切り出し、特徴情報と共にメモリ６に書き込み、ステップＳ１２２では、ステップＳ１２０でメモリ６に書き込んだ被写体の時間情報をメモリ６に書き込む。また、ステップＳ１２４では、時間情報の更新を行う。
【００４５】
ステップＳ１２６では、被写体が撮影領域からフレームアウトしたか否かを判別する。１フレーム前のフレーム画像において検出された被写体が、取得したフレーム画像から検出されなければ、被写体がフレームアウトしたと判断する。被写体がフレームアウトした場合はステップＳ１２８に進み、そうでない場合はステップＳ１３４に進む。
【００４６】
ステップＳ１２８では、フレームアウトした被写体が所定時間以上動画像に含まれていたか否かを判別する。時間情報に基づき、被写体が含まれていた時間を導出し、該時間と所定の閾値と比較を行い、該時間≧閾値であれば、所定時間以上動画像に含まれていたと判断する。被写体が所定時間以上動画像に含まれていた場合はステップＳ１３２に進み、そうでない場合はステップＳ１３０に進む。
【００４７】
ステップＳ１３０では、メモリ６に記録されていたフレームアウトした被写体の顔画像、特徴情報、及び時間情報を削除する。
【００４８】
ステップＳ１３２では、被写体と時間情報との関連付けを行い、記録媒体２８に記録し、ステップＳ１３４では、フレーム画像を記録媒体２８に保存する。ステップＳ１３６では、撮影が終了されたか否かを判別する。撮影が終了された場合はフレーム画像の記録処理を停止し、撮影モードを終了する。そうでない場合はステップＳ１０８に戻る。
【００４９】
図１０は、ステップＳ１３２の関連付け処理の動作を示すフローチャートである。関連付け処理は、次のサブルーチンに従って実行される。
【００５０】
ステップＳ２００では、被写体画像ディレクトリに記録されている被写体があるか否かを判別する。被写体画像ディレクトリに記録されている被写体がある場合はステップＳ２０２に進み、そうでない場合はステップＳ２０６に進む。
【００５１】
ステップＳ２０２では、メモリ６に記録されている顔画像と被写体画像ディレクトリに登録されている被写体が含まれる全フレーム画像とを比較し、メモリ６に記録されている顔画像と同一被写体が被写体画像ディレクトリに記録されているか否かを判別する。メモリ６に記録されている顔画像と同一被写体が既に被写体画像ディレクトリに記録されている場合はステップＳ２０４に進み、そうでない場合はステップＳ２０８に進む。
【００５２】
ステップＳ２０４では、メモリ６に記録されている顔画像及び特徴情報を削除する。
【００５３】
ステップＳ２０６では、ステップＳ２０２で顔画像と同一被写体であると判断された被写体に対応する管理テーブルを読み出し、該管理テーブルに動画ファイル名及びメモリ６に記録されている時間情報から導出した時間帯を追記する。
【００５４】
ステップＳ２０８では、メモリ６に保存されている顔画像のヘッダに、特徴情報を書き込む。ステップＳ２１０では、ステップＳ２０８で特徴情報を書き込んだ顔画像に対応する管理テーブルを新規作成し、識別子を付与する。そして、当該管理テーブルに動画ファイル名及び時間情報を記録する。ステップＳ２１０では、ステップＳ２０６で作成した顔画像のヘッダ領域にステップＳ２０８で作成した管理テーブルの識別子を書き込む。そして、当該顔画像及び当該管理テーブルをそれぞれ被写体画像ディレクトリ及び管理情報ディレクトリに記録する。
【００５５】
図１１は、注目被写体再生モードの処理動作を示すフローチャートである。
【００５６】
ステップＳ３００では、被写体画像ディレクトリに記録されている全顔画像を読み出し、ＬＣＤモニタ１４にリスト表示する。
【００５７】
ステップＳ３０２では、被写体が選択されたか否かを判別する。被写体が選択された場合はステップＳ３０４に進み、そうでない場合は、ステップＳ３０２を繰り返す。
【００５８】
ステップＳ３０４では、ステップＳ３０２において選択された顔画像に対応する管理テーブルを読み出し、該管理テーブルに記録されている時間情報に基づき該顔画像に対応する被写体が写っている各シーンの先頭のフレーム画像をＬＣＤ１４にサムネイル表示する。
【００５９】
ステップＳ３０６では、ユーザが再生を所望するシーンが選択されたか否かを判別する。シーンが選択された場合はステップＳ３０８に進み、そうでない場合はステップＳ３０６を繰り返す。
【００６０】
ステップＳ３０８では、選択されたシーンのフレーム画像の再生を行う。管理テーブルに記録された時間帯に基づき、被写体が含まれるフレーム画像のみを再生する。
【００６１】
ステップＳ３１０では、注目被写体再生モードが終了されたか否かを判別する。操作部３２が操作され注目被写体再生モードが終了されたとＣＰＵ３０が判断した場合は注目被写体再生モードを終了する。そうでない場合はステップＳ３００に戻る。
【００６２】
上述した実施例では、被写体がフレームアウトした際に、該被写体が撮影領域に写っていた時間を導出し所定の閾値と比較を行うが、被写体が撮影領域からフレームアウトしてから、時間を導出するまでの間に所定の猶予時間を設け、該所定の猶予時間内に被写体が再度フレームインした場合は、フレームアウト前の時間から継続して時間情報の取得を行うようにしてもよい。
また、動画情報と注目被写体との関連付けは手動でも行えるようにしてもよい。
また、上述した処理を静止画撮影に適用してもよい。その場合、時間の導出は行わず、撮影した静止画から検出された全ての顔に対して関連付け処理を行うようにすればよい。
【００６３】
以上、本発明の実施例について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変更及び変形が可能である。  
【符号の説明】
【００６４】
２ 撮像部
４   Ａ/Ｄ変換部
６   メモリ
８   メモリ制御部
１０   信号処理部
１２   画像コーデック部
１４   ＬＣＤモニタ
１６   ＬＣＤドライバ
１８   被写体検出部
２０   被写体同定処理部
２２   時間情報取得部
２４   関連付け処理部
２６   I/F回路
２８   記録媒体
３０   ＣＰＵ
３２   操作部
【図１】
2010237911.tif 000003
【図２】
2010237911.tif 000004
【図３】
2010237911.tif 000005
【図４】
2010237911.tif 000006
【図５】
2010237911.tif 000007
【図６】
2010237911.tif 000008
【図７】
2010237911.tif 000009
【図８】
2010237911.tif 000010
【図９】
2010237911.tif 000011
【図１０】
2010237911.tif 000012
【図１１】
2010237911.tif 000013