(57)【要約】【課題】再生すべき動画のシーンをユーザに選択させ易くするとともに、画像ファイルのデータ量が増大することを抑制する画像処理装置及び撮像装置並びに再生装置を提供する。【解決手段】主画像生成部は、動画に対応する画像である主画像Ｍを生成する。従画像生成部は、主画像が対応する動画中の所定のタイミングに対応する画像である従画像Ｓ１，Ｓ２を生成する。生成部は、主画像Ｍ及び従画像Ｓ１，Ｓ２を含む画像である探索用画像Ｔを生成する。【選択図】図３
2011250232.tif 000002
【特許請求の範囲】
【請求項１】
動画に対応する画像である主画像を生成する主画像生成部と、
主画像が対応する動画中の所定のタイミングに対応する画像である従画像を生成する従画像生成部と、
主画像及び従画像を含む画像である探索用画像を生成する生成部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成部が、主画像に、主画像よりも小さい従画像を重畳することで、探索用画像を生成するものであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置と、
連続的な撮像により動画を生成する撮像部と、
前記撮像部により生成される動画中の所定のタイミングを検出するタイミング検出部と、を備え、
前記タイミング検出部が検出する動画中のタイミングを、従画像が対応する動画中のタイミングとすることを特徴とする撮像装置。
【請求項４】
前記タイミング検出部が、ユーザから入力された指示によって示される動画中のタイミングを検出するものであることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記タイミング検出部が、動画が所定の状態となるタイミングを検出するものであることを特徴とする請求項３または請求項４に記載の撮像装置。
【請求項６】
画像を再生する表示部と、
ユーザの操作に応じて前記表示部上の任意の位置を指示し得る操作部と、を備え、
前記表示部が、動画に対応する画像である主画像と、主画像が対応する動画中の所定のタイミングに対応する画像である従画像と、を含む画像である探索用画像を表示し得るものであり、
前記表示部が探索用画像を表示し、ユーザが前記操作部を介して探索用画像中の従画像の範囲内となる前記表示部上の位置を指示するとき、
前記表示部が、当該従画像が対応するタイミングの画像を再生することを特徴とする再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を生成する画像処理装置や画像ファイルを生成する撮像装置、画像を再生する再生装置に関する。
【背景技術】
【０００２】
近年、動画を撮像するデジタルカメラなどの撮像装置が普及している。また、撮像装置の小型化や利便性の向上に伴い、ユーザが撮像装置を用いて撮像を行う機会や時間は、増加してきている。そのため、撮像装置の記録媒体に、多数かつ長時間の動画が記録されることが多くなってきている。
【０００３】
そして、動画が長時間になるほど、動画中にユーザが視聴を望むシーンと望まないシーンとが含まれやすくなる。するとユーザは、動画を早送りするなどして、視聴を望むシーンを探索して当該部分の再生を行う。そのため、動画の再生を開始するまでに、煩雑な操作と時間とが必要になることが、問題となる。
【０００４】
この問題に対して、ユーザが視聴を望む部分を簡易的な操作で探索可能とする再生装置が、特許文献１〜３で提案されている。これらの文献で提案されている再生装置では、まず、動画中の複数のシーンに対応する複数のサムネイル画像をユーザに対して表示し、選択させる。そして、ユーザが選択したサムネイル画像に対応するシーンから、動画を再生する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１７５１５８号公報
【特許文献２】特開２００８−０３５２３８号公報
【特許文献３】特開２００８−１９９３３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の再生装置によれば、動画中の任意のシーンの再生に伴う操作を簡略化することが可能となる。しかしながら、動画中の複数のシーンを示す複数のサムネイル画像のそれぞれを表示すると、複数のサムネイル画像それぞれの関連性や、これらと動画との関連性をユーザが一目で把握することが難しくなり、動画やそれぞれのシーンの把握が困難となる。そのため、再生すべき動画のシーンをユーザが選択し難くなり、問題となる。
【０００７】
さらに、１つの動画に対して複数のサムネイル画像を生成して記録すると、１つの動画の画像ファイル当たりのデータ量が増大するため、問題となる。
【０００８】
そこで本発明は、再生すべき動画のシーンをユーザに選択させ易くするとともに、画像ファイルのデータ量が増大することを抑制する画像処理装置及び撮像装置並びに再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明における画像処理装置は、動画に対応する画像である主画像を生成する主画像生成部と、主画像が対応する動画中の所定のタイミングに対応する画像である従画像を生成する従画像生成部と、主画像及び従画像を含む画像である探索用画像を生成する生成部と、を備えることを特徴とする。
【００１０】
以下の実施の形態では、生成部の一例として、重畳部を挙げて説明している。
【００１１】
また、上記構成の画像処理装置において、前記生成部が、主画像に、主画像よりも小さい従画像を重畳することで、探索用画像を生成するものであることとしても構わない。
【００１２】
このように構成すると、探索用画像を見たユーザが、主画像及び従画像を一目で区別することが可能となる。
【００１３】
また、上記構成の画像処理装置において、従画像が、動画中に所定の物体が含まれるタイミングに対応するものであり、前記従画像生成部が、従画像が対応するタイミングの動画のフレームから、所定の物体を含む領域を切り出して得られる画像に基づいて、従画像を生成しても構わない。
【００１４】
このように構成すると、探索用画像を確認したユーザが、動画中の所定のタイミングにおけるフレームに含まれている所定の物体を、容易に認識することが可能となる。なお、所定の物体が人の顔であっても構わない。また、従画像生成部が、従画像が対応するタイミングの動画のフレームから、所定の物体を中心とする領域を切り出して得られる画像に基づいて、従画像を生成しても構わない。
【００１５】
また、本発明の撮像装置は、上記の画像処理装置と、連続的な撮像により動画を生成する撮像部と、前記撮像部により生成される動画中の所定のタイミングを検出するタイミング検出部と、を備え、前記タイミング検出部が検出する動画中のタイミングを、従画像が対応する動画中のタイミングとすることを特徴とする。
【００１６】
以下の実施の形態では、タイミング検出部の一例として、ＣＰＵ、操作部及び画像処理部などを挙げて説明している。
【００１７】
また、上記構成の撮像装置において、前記タイミング検出部が、ユーザから入力された指示によって示される動画中のタイミングを検出するものであることとしても構わない。
【００１８】
このように構成すると、ユーザが指示する任意のタイミングを、従画像が対応する動画中のタイミングとして設定することが可能となる。
【００１９】
また、上記構成の撮像装置において、前記タイミング検出部が、ユーザが動画の撮像期間中に入力する、静止画の撮像を指示するタイミングを検出するものであることとしても構わない。
【００２０】
このように構成すると、ユーザが重要と考える可能性が高く、後にユーザが再生を望む可能性が高いシーンを、従画像が対応する動画中のタイミングとして設定することが可能となる。
【００２１】
また、上記構成の撮像装置において、前記タイミング検出部が、動画が所定の状態となるタイミングを検出するものであることとしても構わない。
【００２２】
このように構成すると、ユーザが撮像装置に指示を入力することを要せずに、自動的に従画像が対応する動画中のタイミングを設定することが可能となる。
【００２３】
また、上記構成の撮像装置において、前記タイミング検出部が、動画中で所定の物体が検出されるタイミングを検出するものであることとしても構わない。
【００２４】
このように構成すると、ユーザが重要と考える可能性が高く、後にユーザが再生を望む可能性が高いシーンを、自動的に従画像が対応する動画中のタイミングとして設定することが可能となる。なお、所定の物体が人の顔であっても構わない。
【００２５】
また、本発明の再生装置は、画像を再生する表示部と、ユーザの操作に応じて前記表示部上の任意の位置を指示し得る操作部と、を備え、前記表示部が、動画に対応する画像である主画像と、主画像が対応する動画中の所定のタイミングに対応する画像である従画像と、を含む画像である探索用画像を表示し得るものであり、前記表示部が探索用画像を表示し、ユーザが前記操作部を介して探索用画像中の従画像の範囲内となる前記表示部上の位置を指示するとき、前記表示部が、当該従画像が対応するタイミングの画像を再生することを特徴とする。
【００２６】
また、上記構成の再生装置において、前記表示部が探索用画像を表示し、ユーザが前記操作部を介して探索用画像中の従画像の範囲外となる前記表示部上の位置を指示するとき、前記表示部が、主画像が対応する動画を最初から再生することとしても構わない。
【００２７】
このように構成すると、ユーザが表示部上の従画像の範囲を避けた位置を指示するという直感的かつ簡易的な操作によって、動画を最初から再生することが可能となる。
【００２８】
また、上記構成の再生装置において、前記表示部が探索用画像を表示し、ユーザが前記操作部を介して探索用画像中の従画像の範囲外かつ所定の画像の範囲内となる前記表示部上の位置を指示するとき、前記表示部が、主画像が対応する動画を最初から再生することとしても構わない。
【００２９】
このように構成すると、ユーザが表示部上の所定の画像の範囲内の位置を指示するという直感的かつ簡易的な操作によって、動画を最初から再生することが可能となる。
【００３０】
また、上記構成の再生装置において、従画像が、動画中の所定の物体が含まれるタイミングに対応するものであり、前記表示部が探索用画像を表示し、ユーザが前記操作部を介して探索用画像中の従画像の範囲内となる前記表示部上の位置を指示するとき、前記表示部が、当該従画像が対応するタイミングの動画のフレームから所定の物体を含む領域を切り出して得られる画像を、再生しても構わない。
【００３１】
このように構成すると、動画中のユーザが望むシーンを再生するだけでなく、ユーザが望む被写体に注目した動画を再生することが可能になる。なお、所定の物体が人の顔であっても構わない。また、表示部が、従画像が対応するタイミングの動画のフレームから所定の物体を中心とする領域を切り出して得られる画像を、再生しても構わない。
【発明の効果】
【００３２】
本発明によれば、探索用画像を確認したユーザが、動画に対応する主画像と動画中の所定のタイミング（シーン）に対応する従画像との関連性や、それぞれの従画像の関連性を、一目で把握することが可能になる。そのため、動画中のシーンをユーザが容易に把握することが可能となり、再生すべき動画中のシーンをユーザが容易に選択することが可能になる。
【００３３】
さらに、１つの動画に対して生成する探索用画像を、１つにすることが可能となる。そのため、１つの動画に対して複数のサムネイル画像を生成して記録するよりも、データ量が増大することを抑制することが可能となる。
【００３４】
また、本発明によれば、ユーザが、動画中の所望のタイミング（シーン）に対応する従画像を探索用画像中から選択して指示するという、直感的かつ簡易的な操作によって、動画中の所望のシーンを再生することが可能となる。そのため、容易かつ迅速にユーザが所望するシーンを再生することが可能となる。
【００３５】
本発明の意義ないし効果は、以下に示す実施の形態の説明によりさらに明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の実施の形態の１つであって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【図面の簡単な説明】
【００３６】
【図１】は、本発明の実施の一形態である撮像装置の全体構成例を示すブロック図である。
【図２】は、探索用画像生成部の構成例を示すブロック図である。
【図３】は、探索用画像の一例を示す図である。
【図４】は、探索用画像の生成方法及び利用方法の第１例における、画像の撮像処理の一例を示すフローチャートである。
【図５】は、探索用画像の生成方法及び利用方法の第１例における、イベントタイミングの検出処理の一例を示すフローチャートである。
【図６】は、探索用画像の生成方法及び利用方法の第１例における、動画の画像ファイルの構成の一例を示す図である。
【図７】は、探索用画像の生成方法及び利用方法の第１例における、探索用画像の生成処理の一例を示すフローチャートである。
【図８】は、探索用画像内の従画像の位置及び大きさについて説明する図である。
【図９】は、探索用画像の生成方法及び利用方法の第１例における、探索用画像ファイルの構成の一例を示す図である。
【図１０】は、探索用画像の生成方法及び利用方法の第１例における、画像の再生処理の一例を示すフローチャートである。
【図１１】は、表示部上における探索画像内の従画像の範囲の算出方法について説明する図である。
【図１２】は、探索用画像の生成方法及び利用方法の第２例における、動画の画像ファイルの構成の一例を示す図である。
【図１３】は、探索用画像の生成方法及び利用方法の第２例における、探索用画像ファイルの構成の一例を示す図である。
【図１４】は、探索用画像の生成方法及び利用方法の第３例における、画像の撮像処理の一例を示すフローチャートである。
【図１５】は、探索用画像の生成方法及び利用方法の第３例における、イベントタイミングの検出処理の一例を示すフローチャートである。
【図１６】は、探索用画像の生成方法及び利用方法の第３例における、動画の画像ファイルの構成の一例を示す図である。
【図１７】は、探索用画像の生成方法及び利用方法の第３例における、探索用画像ファイルの構成の一例を示す図である。
【発明を実施するための形態】
【００３７】
本発明の実施の形態について、以下図面を参照して説明する。最初に、本発明の実施の一形態である撮像装置について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの画像（動画及び静止画を含む、以下同じ）信号や音響信号の生成、記録及び表示または再生が可能なものである。
【００３８】
＜＜撮像装置＞＞
まず、本発明の実施の一形態である撮像装置の全体構成例について、図１を参照して説明する。図１は、本発明の実施の一形態である撮像装置の全体構成例を示すブロック図である。
【００３９】
図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、対象物の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部Ｓが構成され、この撮像部Ｓによって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。
【００４０】
さらに、撮像装置１は、イメージセンサ２から出力されるアナログの画像信号をデジタルに変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、ＡＦＥ４から出力される画像信号に階調補正処理などの各種画像処理を施す画像処理部５と、入力される音を電気信号に変換する集音部６と、集音部６から出力されるアナログの音響信号をデジタルに変換するＡＤＣ（Analog to Digital Converter）７と、ＡＤＣ７から出力される音響信号にノイズ除去などの各種音響処理を施して出力する音響処理部８と、画像処理部５から出力される画像信号と音響処理部８から出力される音響信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したり画像処理部５から出力される画像信号にＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したりするとともに必要なデータを付加することで画像ファイルを生成する圧縮処理部９と、圧縮処理部９で生成された画像ファイルを記録する外部メモリ１０と、画像ファイルを外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１が外部メモリ１０から読み出した画像ファイルを伸長して復号する伸長処理部１２と、を備える。
【００４１】
また、撮像装置１は、伸長処理部１２で復号されて得られる画像信号をモニタなどの表示部（不図示）で表示可能な信号に変換する画像信号出力回路部１３と、伸長処理部１２で復号されて得られる音響信号をスピーカなどの再生部（不図示）で再生可能な信号に変換する音響信号出力回路部１４と、を備える。
【００４２】
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを一時的に記録するとともにプログラム実行時のデータの一時保管を行うメモリ１６と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各ブロックとの間でデータのやりとりを行うためのバス１９と、メモリ１６と各ブロックとの間でデータのやりとりを行うためのバス２０と、を備える。なお、以下では説明の簡略化のため、各ブロックのやりとりにおいてバス１９，２０を省略する。
【００４３】
さらに、撮像装置１は、動画中の所定のタイミング（シーン）や、動画の画像ファイルに関連付けられた所定の画像などを探索するための画像である、探索用画像を生成する探索用画像生成部３０を備える。この探索用画像生成部３０の構成の詳細については、後述する。
【００４４】
なお、撮像装置１が、集音部６やＡＤＣ７、音響処理部８、音響信号出力回路部１４などを備えず、音響信号を扱わない構成であっても構わない。また、表示部や再生部は、撮像装置１と一体となっているものであっても構わないし、別体となっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。
【００４５】
また、外部メモリ１０は画像ファイルを記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。
【００４６】
また、図１では、探索用画像生成部３０を独立した１つのブロックとして示しているが、他のブロック（例えば、画像処理部５）の一部と解釈しても構わない。
【００４７】
次に、撮像装置１の全体動作例について図１を用いて説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ４に画像信号を出力する。
【００４８】
そして、ＡＦＥ４によってアナログからデジタルへと変換された画像信号は、画像処理部５に入力される。画像処理部５では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１６はフレームメモリとして動作し、画像処理部５が処理を行なう際に画像信号を一時的に保持する。
【００４９】
また、このとき画像処理部５に入力される画像信号に基づき、レンズ部３において、レンズ位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。
【００５０】
動画の画像ファイルを生成する場合、集音部６において集音を行う。集音部６で集音されてアナログの電気信号に変換される音響信号は、ＡＤＣ７に入力される。ＡＤＣ７は、入力される音響信号をデジタルに変換し、音響処理部８に入力する。音響処理部８は、入力される音響信号にノイズ除去や強度制御などの各種音響処理を施す。そして、画像処理部５から出力される画像信号と、音響処理部８から出力される音響信号と、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮符号化される。このとき、画像信号と音響信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。圧縮処理部９は、圧縮符号化した画像信号及び音響信号に、必要に応じてデータを付加することで、動画の画像ファイルを生成する。そして、圧縮処理部９から出力される画像ファイルは、ドライバ部１１を介して外部メモリ１０に記録される。
【００５１】
一方、静止画の画像信号を生成する場合、画像処理部５から出力される画像信号が圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮符号化される。圧縮処理部９は、圧縮符号化した画像信号に、必要に応じてデータを付加することで、静止画の画像ファイルを生成する。そして、圧縮処理部９から出力される画像ファイルが、ドライバ部１１を介して外部メモリ１０に記録される。
【００５２】
外部メモリ１０に記録された動画の画像ファイルは、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、動画の画像ファイルに含まれる圧縮符号化された画像信号及び音響信号を伸長及び復号し、出力する。そして、画像信号出力回路部１３が、伸長処理部１２から出力される画像信号を表示部で表示可能な形式に変換して出力し、音響信号処理回路部１４が、伸長処理部１２から出力される音響信号を再生部で再生可能な形式に変換して出力する。また、外部メモリ１０に記録された静止画の画像ファイルも、同様に処理される。
【００５３】
また、探索用画像生成部３０は、任意のタイミングで探索用画像を生成する。この探索用画像生成部３０の動作の詳細については、後述する。
【００５４】
なお、画像ファイルの生成及び記録を行うことなく、表示部などに表示される画像をユーザが確認する、いわゆるプレビューモードである場合、画像処理部５から出力される画像信号を、圧縮符号化せずに画像信号出力回路部１３に入力して、表示部などに表示しても構わない。また、画像ファイルを生成して外部メモリ１０に記録する際に、画像処理部５から出力される画像信号を、圧縮処理部９だけでなく画像信号出力回路部１３にも入力して、表示部などに表示しても構わない。
【００５５】
また、図１では撮像機能及び再生機能を備える撮像装置１について例示したが、いずれか一方の機能を備えない装置（例えば、撮像装置または再生装置）としても構わない。さらに、これらの装置を、備えない機能を実現するブロックを図１に示す撮像装置１から除いた装置として解釈しても構わない。
【００５６】
＜＜探索用画像生成部＞＞
次に、探索用画像生成部について、図面を参照して説明する。図２は、探索用画像生成部の構成例を示すブロック図である。なお、以下では説明の具体化のため、画像信号を画像として表現する。また、撮像部Ｓの動画の撮像により順次生成されて得られるそれぞれの画像を、「フレーム」とよぶ。また、探索用画像生成部３０で処理される画像ファイルやその一部は、必要に応じて伸長処理部１２などで処理されることで、探索用画像生成部３０で処理可能な形式になっているものとする。
【００５７】
図２に示すように、探索用画像生成部３０は、動画の画像ファイルに基づいて主画像を生成する主画像生成部３０１と、動画または静止画の画像ファイルとイベントタイミング情報とに基づいて従画像を生成する従画像生成部３０２と、主画像生成部３０１で生成された主画像に従画像生成部３０２で生成された従画像が重畳された探索用画像を生成する重畳部３０３と、を備える。
【００５８】
主画像は、動画に対応する画像である。例えば主画像は、動画に含まれるフレームの１つを、主画像生成部３０１が縮小処理（例えば、画素加算処理や間引き処理。以下同じ。）することで得られる。主画像生成部３０１は、動画の画像ファイルから、主画像の生成に必要な情報を取得する。
【００５９】
従画像は、主画像が対応する動画中の所定のタイミング（以下、イベントタイミングとする）に対応する画像であり、原則的に主画像よりも小さい画像である。例えば従画像は、動画のイベントタイミングにおけるフレームを、従画像生成部３０２が縮小処理することで得られる。また例えば従画像は、動画の撮像期間中に撮像された静止画を、従画像生成部３０２が縮小処理することで得られる画像である。
【００６０】
従画像生成部３０２は、イベントタイミングを示すイベントタイミング情報を取得することでイベントタイミングを認識し、動画または静止画の画像ファイルから、従画像の生成に必要な情報を取得する。
【００６１】
重畳部３０３は、主画像及び従画像を含む探索用画像を生成する。この探索用画像の具体例について、図面を参照して説明する。図３は、探索用画像の一例を示す図である。
【００６２】
図３に示す探索用画像Ｔは、１つの主画像Ｍに、２つの従画像Ｓ１，Ｓ２を重畳することで生成されたものである。なお、図３に示す探索用画像Ｔは、主画像Ｍの左下部に、略等しい大きさの従画像Ｓ１，Ｓ２を並べて配置したものであるが、従画像のそれぞれの大きさや位置は、どのようなものであっても構わない。例えば、それぞれの従画像の大きさを異ならせても構わないし、離れた位置に配置しても構わない。また、図３に示す探索用画像Ｔは、主画像Ｍの大きさと略等しいものであるが、主画像Ｍ以上の大きさとしても構わない。具体的に例えば、主画像Ｍの周囲に枠などの画像を設けても構わない。
【００６３】
探索用画像生成部３０は、上述の探索用画像を生成する処理を、動画の画像ファイルの生成時（生成途中を含み得る）から、再生時（ユーザによる再生すべきイベントタイミングの選択時）までの任意のタイミングで、行うことができる。探索用画像生成部３０によって生成される探索用画像は、例えば、動画の画像ファイルに含まれて（または、関連付けられて）、外部メモリ１０に記録される。また例えば、探索用画像を含む（または、関連付ける）ことができない形式の画像ファイルである場合などでは、ユーザが画像ファイルを再生しようとする際に探索用画像生成部３０によって生成され、メモリ１６などで保持される。
【００６４】
以上のように構成すると、探索用画像を確認したユーザが、動画に対応する主画像と動画中の所定のタイミング（シーン）に対応する従画像との関連性や、それぞれの従画像の関連性を、一目で把握することが可能になる。そのため、動画中のシーンをユーザが容易に把握することが可能となり、再生すべき動画中のシーンをユーザが容易に選択することが可能になる。
【００６５】
さらに、１つの動画の画像ファイルに対して生成する探索用画像を、１つにすることが可能となる。そのため、１つの動画の画像ファイルに対して複数のサムネイル画像を生成して記録するよりも、データ量が増大することを抑制することが可能となる。
【００６６】
なお、説明の具体化のため、主画像に従画像を重畳した構成の探索用画像について示したが、探索用画像は、主画像及び従画像を含む構成であれば他の構成であっても構わない。例えば、主画像に従画像を重畳せず、これらを並べた構成としても構わない。ただし、探索用画像を、主画像に従画像を重畳した構成にすると、探索用画像を見たユーザが、主画像及び従画像を一目で区別することが可能となるため、好ましい。
【００６７】
また、主画像及び従画像の一例として、動画のフレームや静止画などを縮小処理して得られる画像を例示したが、これ以外の画像を適用しても構わない。例えば、マークや時間（動画の撮像時の日時や、動画の撮像開始からの時間など）、ファイル名などを示す画像であっても構わないし、動画のフレームや静止画などを縮小処理して得られる画像とこれらの画像とを組み合わせた画像としても構わない。
【００６８】
また、動画の画像ファイルに、サムネイル画像などの動画に対応し得る画像が既に含まれている（または、関連付けられている）場合、主画像生成部３０１が、当該画像を取得することで主画像を生成しても（例えば、当該画像をそのまま主画像にしても）構わない。
【００６９】
また、図２において、イベントタイミング情報及び画像ファイルが別々に従画像生成部３０２に入力されるように図示しているが、イベントタイミング情報は、画像ファイルに含まれても構わないし、含まれなくても構わない。
【００７０】
同様に、図２において、主画像生成部３０１及び従画像生成部３０２に、別々の画像ファイルが入力されるように図示しているが、これらに入力される画像ファイルは、同じものであっても構わないし、異なるものであっても構わない。ただし、これらの画像ファイルが異なる場合、これらの画像ファイルに含まれる画像の撮像期間の少なくとも一部（特に、イベントタイミングに相当する撮像期間）は、重複しているものとする。例えば、従画像生成部３０２に入力される画像ファイルに含まれる静止画は、主画像生成部３０１に入力される画像ファイルに含まれる動画の撮像期間中に撮像されたものとする。
【００７１】
また、探索用画像をユーザに対して表示するときに、主画像を順次切り替えても構わない。例えば、主画像を動画にしても構わない。また、探索用画像をユーザに対して表示するときに、ユーザから何らかの指示があった場合、主画像の基になる画像を切り替えても構わない。例えば、ユーザによって１つの従画像が仮選択された場合、主画像生成部３０１が、当該従画像が対応するタイミングの画像（動画または静止画）に基づいて主画像を生成しても構わない。即ち、主画像を用いて、従画像を選択するためのプレビューを行っても構わない。
【００７２】
＜＜探索用画像の生成方法及び利用方法の具体例＞＞
以下、探索用画像の生成方法及び利用方法の具体例として、第１〜第３例を挙げて説明する。なお、第１〜第３例は、矛盾なき限り組み合わせて実施することができるものである
【００７３】
＜第１例＞
最初に、探索用画像の生成方法及び利用方法の第１例について、図面を参照して説明する。
【００７４】
［画像の撮像］
図４は、探索用画像の生成方法及び利用方法の第１例における、画像の撮像処理の一例を示すフローチャートである。図４に示す処理の主体は、図１に示す撮像装置１のどの部分であっても構わないが、例えば、撮像装置１の動作を制御するＣＰＵ１５が行う。また、本例は、動画の撮像期間中に、静止画を撮像するユーザの指示が操作部１７を介して撮像装置１に入力される場合を想定したものであり、静止画を撮像するユーザの指示が入力された動画中のタイミングを、イベントタイミングとするものである。
【００７５】
図４に示すように、画像の撮像処理を開始すると、最初に初期化を行う。具体的には、撮像部Ｓの撮像により得られた動画のフレームを識別する番号であるフレーム番号ｔを、１にする。さらに、イベントタイミングを識別する番号であるイベントタイミング番号ｎを、１にする（ＳＴＥＰ１）。
【００７６】
次に、イベントタイミングの検出処理を行う（ＳＴＥＰ２）。このイベントタイミングの検出処理について、図５を参照して説明する。図５は、探索用画像の生成方法及び利用方法の第１例における、イベントタイミングの検出処理の一例を示すフローチャートである。
【００７７】
図５に示すように、本例では、操作部１７を介してユーザから静止画を撮像する指示が入力されたか否かを確認することで、イベントタイミングの発生の有無を検出する（ＳＴＥＰ２０１）。ユーザから静止画を撮像する指示が入力されていなければ（ＳＴＥＰ２０１、ＮＯ）、イベントタイミングの検出処理を終了する。
【００７８】
一方、ユーザから静止画を撮像する指示が入力されていれば（ＳＴＥＰ２０１、ＹＥＳ）、静止画を撮像して記録する（ＳＴＥＰ２０２）。なお、静止画を撮像する際の撮像条件（例えば、イメージセンサ２の感度やシャッタ速度など）は、動画のフレームの撮像条件と同じものであっても、異なるものであっても構わない。また、外部メモリに記録される静止画の画像ファイルを、図４に示す撮像処理により生成される動画の画像ファイルに関連付けても構わない。
【００７９】
また、イベントタイミングを、メモリ１６などに一時的に記録する（ＳＴＥＰ２０３）。このとき、記録したイベントタイミングを後で識別するために、イベントタイミング番号ｎとイベントタイミングとを関連付けて記録する。また、イベントタイミングとして、例えばフレーム番号ｔを記録する。なお、イベントタイミングを、時間（撮像装置１に設定されている日時や、動画の撮像開始から計測した時間）としても構わない。
【００８０】
そして、イベントタイミング番号ｎを１増加（ＳＴＥＰ２０４）し、イベントタイミングの検出処理を終了する。
【００８１】
図４のＳＴＥＰ２でイベントタイミングの検出処理を行うと、次に、動画のフレームを生成する（ＳＴＥＰ３）。例えば、静止画の撮像が行われない場合（図５のＳＴＥＰ２０１、ＮＯ）、撮像部Ｓが撮像を行い、得られた画像を動画のフレームとする。また例えば、静止画の撮像が行われる場合（図５のＳＴＥＰ２０１、ＹＥＳ）、撮像した静止画やこれに基づいた画像を動画のフレームとしても構わないし、画像処理部５の画像処理によって生成した画像（例えば、生成すべきフレームの前や後のフレームに基づいて生成される画像、事後的に生成されるものでも構わない）を動画のフレームとしても構わない。
【００８２】
次に、生成した動画のフレームをメモリ１６や外部メモリ１０に記録する（ＳＴＥＰ４）。そして、フレーム番号ｔを１増加し（ＳＴＥＰ５）、画像の撮像を終了するか否かを確認する（ＳＴＥＰ６）。
【００８３】
画像の撮像を終了しない場合（ＳＴＥＰ６、ＮＯ）、ＳＴＥＰ２に戻りイベントタイミングの検出処理を行う。一方、画像の撮像を終了する場合（ＳＴＥＰ６、ＹＥＳ）、図５のＳＴＥＰ２０３で記録したイベントタイミングを、イベントタイミング情報として、動画の画像ファイル（上述のＳＴＥＰ１〜ＳＴＥＰ６により生成）の一部に書き込み、外部メモリ１０に記録する（ＳＴＥＰ７）。そして、画像の撮像処理を終了する。
【００８４】
図４に示す画像の撮像処理によって生成される、動画の画像ファイルの構成例について、図６を参照して説明する。図６は、探索用画像の生成方法及び利用方法の第１例における、動画の画像ファイルの構成の一例を示す図である。
【００８５】
図６に示すように、本例の動画の画像ファイルは、圧縮符号化された画像信号（フレーム）や音響信号が含まれるデータ領域と、画像ファイルの形式的な内容（例えば、圧縮符号化方法やフレームの大きさ、フレームレートなど）が含まれるヘッダ領域と、を備える。イベントタイミング情報は、例えば、ヘッダ領域に書き込まれる。
【００８６】
イベントタイミング情報には、静止画の撮像枚数Ｎ（図５のＳＴＥＰ２０３で記録したイベントタイミング番号ｎの最大値、即ち、動画中のイベントタイミング数）を示す情報が含まれる。また、イベントタイミング番号１〜Ｎと、対応するイベントタイミングであるフレーム番号ｔ１〜ｔＮとを関連付けた情報が含まれる。
【００８７】
なお、図４のＳＴＥＰ７において、イベントタイミング情報を動画の画像ファイルに書き込まず別のファイルとして生成し、動画の画像ファイルに関連付けて外部メモリ１０に記録しても構わない。
【００８８】
［探索用画像の生成］
図７は、探索用画像の生成方法及び利用方法の第１例における、探索用画像の生成処理の一例を示すフローチャートである。図７に示す処理の主体は、主として図２に示す探索用画像生成部３０の各部であるが、外部メモリ１０やメモリ１６への情報の記録制御などについては、ＣＰＵ１５などが行う。また、本例では、イベントタイミングに対応する動画のフレームに基づいて、従画像が生成されるものとする。
【００８９】
図７に示すように、探索用画像の生成処理を開始すると、最初に、主画像生成部３０１が主画像を生成する（ＳＴＥＰ１１）。例えば、主画像生成部３０１は、動画に含まれる任意の１つのフレーム（例えば、最初（フレーム番号ｔ＝１）のフレーム）を縮小処理することで主画像を生成する。なお、以下では説明の具体化のため、主画像の大きさと探索用画像の大きさとが等しいものとする。
【００９０】
また、従画像生成部３０２が、従画像を生成する。まず、従画像生成部３０２は、図５に示すイベントタイミング情報を取得する（ＳＴＥＰ１２）。そして、処理対象の従画像を識別する番号である従画像番号ｉを、初期化する。具体的には、従画像番号ｉを１にする（ＳＴＥＰ１３）。
【００９１】
そして、従画像生成部３０２は、従画像番号ｉが静止画の撮像枚数Ｎ以下であるか否かを確認する（ＳＴＥＰ１４）。従画像番号ｉが静止画の撮像枚数Ｎ以下であれば（ＳＴＥＰ１４、ＹＥＳ）、従画像生成部３０２が、従画像の基になる画像を取得する（ＳＴＥＰ１５）。本例では、従画像生成部３０２が、動画の画像ファイルから、イベントタイミング番号ｉに対応するイベントタイミングのフレーム（フレーム番号ｔｉのフレーム）を取得する。
【００９２】
また、従画像生成部３０２は、ＳＴＥＰ１５で取得したフレームに基づいて従画像を生成する際に、探索用画像（主画像）内における従画像の位置及び大きさを決定する（ＳＴＥＰ１６）。
【００９３】
探索用画像内における従画像の位置及び大きさについて、図面を参照して説明する。図８は、探索用画像内の従画像の位置及び大きさについて説明する図であり、探索用画像の一例について示した図３に相当するものである。なお、図８において、図３に示す探索用画像と同じ部分については同じ符号を付し、その詳細な説明については省略する。
【００９４】
図８に示す探索用画像Ｔでは、横（図中の左右方向）及び縦（図中の上下方向）をそれぞれ変数とした座標（横，縦）で表現する。そして、従画像Ｓ１の一点（本例では左上の点）の座標（ｘ１，ｙ１）を代表させて、従画像Ｓ１の位置とする。また、従画像Ｓ１の横の大きさｈ１及び縦の大きさｖ１を組み合わせた値（ｈ１，ｖ１）を、従画像Ｓ１の大きさとする。また、従画像Ｓ２も同様である（上記の説明中の「１」を「２」に読み替えれば、従画像Ｓ２の説明となる）。なお、図８に示す従画像Ｓ１，Ｓ２の位置及び大きさの定義方法は一例に過ぎず、他の方法で位置及び大きさを定義しても構わない。例えば、従画像Ｓ１，Ｓ２の対角線上の２点の座標により、従画像Ｓ１，Ｓ２の位置及び大きさを表現しても構わない。
【００９５】
従画像生成部３０２は、ＳＴＥＰ１６で決定した大きさの従画像を生成し、重畳部３０３は、ＳＴＥＰ１６で決定した探索用画像（主画像）上の位置に従画像を重畳（上書き）する（ＳＴＥＰ１７）。また、従画像の位置及び大きさを、メモリ１６などに一時的に記録する（ＳＴＥＰ１８）。このとき、記録した従画像の位置及び大きさを後で識別するために、従画像番号ｉと従画像の位置及び大きさとを関連付けて記録する。
【００９６】
そして、従画像番号ｉを１増加し（ＳＴＥＰ１９）、増加後の従画像番号ｉが静止画の撮像枚数Ｎ以下であるか否かを確認する（ＳＴＥＰ１４）。即ち、従画像番号ｉがＮよりも大きくなるまで、ＳＴＥＰ１４〜ＳＴＥＰ１９の処理を繰り返す。
【００９７】
一方、従画像番号ｉがＮよりも大きくなると（ＳＴＥＰ１４、ＮＯ）、ＳＴＥＰ１８で記録した従画像の位置及び大きさと、ＳＴＥＰ１２で取得したイベントタイミング情報と、を従画像情報として探索用画像ファイル（上述のＳＴＥＰ１１〜ＳＴＥＰ１９により生成）の一部に書き込み、外部メモリ１０に記録する（ＳＴＥＰ２０）。そして、探索用画像ファイルの生成処理を終了する。
【００９８】
図７に示す探索用画像の生成処理によって生成される、探索用画像ファイルの構成例について、図９を参照して説明する。図９は、探索用画像の生成方法及び利用方法の第１例における、探索用画像ファイルの構成の一例を示す図である。
【００９９】
図９に示すように、本例の探索用画像ファイルは、探索用画像が記録されるデータ領域と、探索用画像ファイルの形式的な内容（例えば、関連付けられた動画の画像ファイルや、探索用画像の大きさなど）が含まれるヘッダ領域と、を備える。従画像情報は、例えば、ヘッダ領域に書き込まれる。
【０１００】
従画像情報には、従画像数Ｎ（図７のＳＴＥＰ１８で記録した従画像の位置及び大きさに対応する従画像番号ｉの最大値、本例では、静止画の撮像枚数やイベントタイミング数と同数）を示す情報が含まれる。また、従画像番号（イベントタイミング番号）１〜Ｎと、対応するイベントタイミングであるフレーム番号ｔ１〜ｔＮと、従画像の位置（ｘ１，ｙ１）〜（ｘＮ，ｙＮ）と、従画像の大きさ（ｈ１，ｖ１）〜（ｈＮ，ｖＮ）と、を関連付けた情報が含まれる。
【０１０１】
なお、図７に示す例では、全てのイベントタイミングに対して従画像を生成する例について示したが、一部のイベントタイミングに対して従画像を生成しても構わない。例えば、探索用画像（主画像）に重畳可能な従画像の数を予め設定し、当該数を図７のＳＴＥＰ１４における静止画の撮像枚数（イベントタイミング数）Ｎに代えても構わない。また例えば、図７のＳＴＥＰ１９において、従画像番号ｉを増加させる数を、１より大きい数にしても構わない。
【０１０２】
また、図７のＳＴＥＰ２０において、動画の画像ファイルとは別に探索用画像ファイルを生成し、そのヘッダ領域に従画像情報を書き込むものとして説明したが、探索用画像ファイルを生成しなくても構わない。この場合、例えば探索用画像及び従画像情報を、動画の画像ファイルのヘッダ領域に書き込んでも構わないし、それぞれを動画の画像ファイルと関連付けて外部メモリ１０に記録しても構わない。
【０１０３】
［画像の再生］
図１０は、探索用画像の生成方法及び利用方法の第１例における、画像の再生処理の一例を示すフローチャートである。図１０に示す処理の主体は、図１に示す撮像装置１のどの部分であっても構わないが、例えば、撮像装置１の動作を制御するＣＰＵ１５が行う。また、本例では操作部１７が、タッチパネルやポインティングデバイスなどの、ユーザの操作に応じて表示部上の任意の位置を指示し得るものとする。
【０１０４】
図１０に示すように、画像の再生処理を開始すると、最初に、再生すべき動画の画像ファイルの選択を行う（ＳＴＥＰ３１）。この選択は、例えばユーザによって行われる。なお、再生すべき動画の画像ファイルをユーザに選択させるために、複数の動画の画像ファイルに含まれる（または、関連付けられる）それぞれのサムネイル画像やそれぞれのファイル名などを、表示部に表示しても構わない。
【０１０５】
ユーザによって再生すべき動画の画像ファイルが選択されると、次に、当該動画の画像ファイルの探索用画像を、表示部に表示する（ＳＴＥＰ３２）。そして、図９に示す従画像情報を取得する（ＳＴＥＰ３３）。従画像情報を参照することで、表示部に探索用画像を表示したとき、探索用画像内の従画像が表示部上のどの範囲に存在するかを算出することが可能になる（ＳＴＥＰ３４）。
【０１０６】
この算出方法について、図面を参照して説明する。図１１は、表示部上における探索画像内の従画像の範囲の算出方法について説明する図であり、探索用画像内の従画像の位置及び大きさについて説明する図８に相当するものである。なお、図１１において、図８に示す探索用画像と同じ部分については同じ符号を付し、その詳細な説明については省略する。
【０１０７】
図１１は、表示部Ｄの全体を使用して、探索用画像Ｔを表示したものである。また、図１１に示す表示部Ｄも、探索用画像と同様の座標（横（図中の左右方向）及び縦（図中の上下方向）をそれぞれ変数とした座標（横，縦）で表現）を適用するものとし、表示部の左上の点を（０，０）、右方及び下方ほど変数が大きくなるものとする。
【０１０８】
探索用画像Ｔに対する従画像Ｓ１，Ｓ２の相対的な位置及び大きさは、探索用画像Ｔが表示部Ｄに表示されたとしても、従画像情報によって示されるものであり、変わらない。そのため、表示部Ｄに表示された探索用画像Ｔに基づいて、従画像情報を適宜変換することで、表示部Ｄ上の従画像Ｓ１，Ｓ２の位置及び大きさを算出することができる。
【０１０９】
例えば、上述の方法によって、表示部Ｄ上の従画像Ｓ１の位置が（Ｘ１，Ｙ１）、横の大きさがＨ１、縦の大きさがＶ１であると算出された場合（ただし、Ｘ１、Ｙ１、Ｈ１及びＶ１は０以上の値）、表示部Ｄ上の従画像Ｓ１の範囲を示す座標（α，β）は、Ｘ１≦α≦Ｘ１＋Ｈ１、Ｙ１≦β≦Ｙ１＋Ｖ１となる。また、従画像Ｓ２も同様である（上記の説明中の「１」を「２」に読み替えれば、従画像Ｓ２の説明となる）。
【０１１０】
そして、ユーザが操作部１７を介して表示部上のどこかの位置を指示するまで、待機する（ＳＴＥＰ３５、ＮＯ）。ユーザからの指示が入力されれば（ＳＴＥＰ３５、ＹＥＳ）、当該指示によって示される表示部上の位置（座標）を取得する（ＳＴＥＰ３６）。
【０１１１】
ユーザによって指示された表示部上の位置が、ある従画像の範囲内に含まれる場合（ＳＴＥＰ３７、ＹＥＳ）、当該ある従画像に対応するイベントタイミングの画像を再生する（ＳＴＥＰ３８）。具体的に例えば、ユーザが指示した表示部上の位置が、図９の従画像番号１の従画像の範囲内であれば、当該従画像に対応するイベントタイミングであるフレ番号ｔ１のフレームから、動画を再生する。なお、再生を開始する動画のフレームが、フレーム番号ｔ１から多少（同一のイベントタイミングであると解釈され得る程度）前後したものであっても構わない。
【０１１２】
一方、ユーザによって指示された表示部上の位置が、いずれの従画像の範囲内にも含まれない場合（ＳＴＥＰ３７、ＮＯ）、通常の再生を行う（ＳＴＥＰ３９）。具体的に例えば、動画の最初のフレーム（フレーム番号１のフレーム）から動画を再生する。このように構成すると、ユーザが表示部上の従画像の範囲を避けた位置を指示するという、直感的かつ簡易的な操作によって、動画を最初から再生することが可能となる。
【０１１３】
そして、ＳＴＥＰ３８及びＳＴＥＰ３９における動画の再生が終了することで、画像の再生処理を終了する。
【０１１４】
以上のように構成すると、ユーザが、動画中の所望のタイミング（シーン）に対応する従画像を探索用画像中から選択して指示するという、直感的かつ簡易的な操作によって、動画中の所望のシーンを再生することが可能となる。そのため、容易かつ迅速にユーザが所望するシーンを再生することが可能となる。
【０１１５】
また、ユーザが指示する任意のタイミングを、イベントタイミングとして設定することが可能となる。
【０１１６】
また、本例のように、ユーザが静止画の撮像を指示した動画中のタイミングを、イベントタイミングとして設定すると、ユーザが重要と考える可能性が高く、後にユーザが再生を望む可能性が高いシーンを、イベントタイミングとして設定することが可能となる。
【０１１７】
なお、表示部に探索用画像を表示する際に、他の操作を行うための画像を表示しても構わない。具体的に例えば、探索用画像上かつ従画像の範囲外に、「通常再生を行うための画像」を表示しても構わない。そして、ユーザが表示部上の当該画像の範囲内の位置を指示した場合に、図１０のＳＴＥＰ３９の通常再生を行っても構わない。
【０１１８】
このように構成すると、ユーザが表示部上の「通常再生を行うための画像」の範囲内の位置を指示するという直感的かつ簡易的な操作によって、通常再生（例えば、動画を最初から再生）することが可能となる。
【０１１９】
また、本例では、静止画を撮像するユーザの指示が入力された動画中のタイミングを、イベントタイミングとしたが、これ以外のユーザの指示に基づいてイベントタイミングを設定しても構わない。例えば、静止画の撮像を行わず単純に動画をシーン分けするためのユーザの指示が、操作部１７を介して動画の撮像期間中に入力される場合、当該指示が入力された動画中のタイミングを、イベントタイミングとしても構わない。また例えば、当該指示が撮像後（例えば、編集時）に入力される場合、当該指示が示す動画中のタイミングを、イベントタイミングとしても構わない。
【０１２０】
また、イベントタイミング情報に、静止画識別情報をさらに記録して、探索用画像を生成する際に、静止画の画像ファイルに含まれる静止画に基づいて従画像を生成しても構わない（第２例参照）。
【０１２１】
＜第２例＞
次に、探索用画像の生成方法及び利用方法の第２例について、図面を参照して説明する。なお、本例の処理において、第１例と同様の処理となるものについては、適宜第１例を参照することとし、その説明を省略する。
【０１２２】
［動画の撮像］
本例も、第１例と同様に、動画の撮像期間中に、静止画を撮像するユーザの指示が操作部１７を介して撮像装置１に入力される場合を想定したものであり、静止画を撮像するユーザの指示が入力された動画中のタイミングを、イベントタイミングとするものである。さらに、図４に示す第１例の画像の撮像処理や、図５に示す第１例のイベントタイミングの検出処理と、同様の動作を行う。ただし、本例では、第１例と異なるイベントタイミング情報を生成し、記録する。即ち、図５のＳＴＥＰ２０３及び図４のＳＴＥＰ７の内容が、本例と第１例とでは異なる。
【０１２３】
本例では、図５のＳＴＥＰ２０３に相当するＳＴＥＰにおいて、イベントタイミングとして、静止画の画像ファイルを識別する情報（例えば、静止画の画像ファイルのファイル名など。以下、静止画識別情報とする）を記録する。
【０１２４】
また、図４のＳＴＥＰ７に相当する本例のＳＴＥＰで記録するイベントタイミング情報について、図面を参照して説明する。図１２は、探索用画像の生成方法及び利用方法の第２例における、動画の画像ファイルの構成の一例を示す図であり、第１例について示した図６に相当するものである。
【０１２５】
図１２に示すように、本例の動画の画像ファイルは、第１例と同様に、圧縮符号化された画像信号や音響信号が含まれるデータ領域と、画像ファイルの形式的な内容が含まれるヘッダ領域と、を備える。イベントタイミング情報は、例えば、ヘッダ領域に書き込まれる。また、イベントタイミング情報に、静止画の撮像枚数Ｎを示す情報が含まれる。
【０１２６】
ただし、本例では、イベントタイミング番号１〜Ｎと、対応するイベントタイミングである静止画識別情報Ｌ１〜ＬＮと、を関連付けた情報が、イベントタイミング情報に含まれる。
【０１２７】
なお、第１例と同様に、図４のＳＴＥＰ７に相当する本例のＳＴＥＰにおいて、イベントタイミング情報を動画の画像ファイルに書き込まず別のファイルとして生成し、動画の画像ファイルに関連付けて外部メモリ１０に記録しても構わない。
【０１２８】
［探索用画像の生成］
本例も、第１例と同様の探索用画像（図８参照）を生成する。さらに、図７に示す第１例の探索用画像の生成処理と同様の動作を行う。ただし、本例では、第１例と異なるイベントタイミング情報を取得し、第１例と異なる画像に基づいて従画像を生成するとともに、第１例と異なる従画像情報を記録する。即ち、図７のＳＴＥＰ１２、ＳＴＥＰ１５、ＳＴＥＰ１７及びＳＴＥＰ２０の内容が、本例と第１例とでは異なる。
【０１２９】
本例では、図７のＳＴＥＰ１２に相当するＳＴＥＰにおいて、従画像生成部３０２が、図１２に示すイベントタイミング情報を取得する。そして、図７のＳＴＥＰ１５に相当する本例のＳＴＥＰにおいて、従画像生成部３０２が、イベントタイミング番号ｉに対応するイベントタイミングである静止画識別情報Ｌｉが示す静止画の画像ファイルから、静止画を取得する。さらに、図７のＳＴＥＰ１７に相当する本例のＳＴＥＰにおいて、従画像生成部３０２が、図７のＳＴＥＰ１５に相当する本例のＳＴＥＰで取得した静止画に基づいて、従画像を生成する。
【０１３０】
また、図７のＳＴＥＰ２０に相当する本例のＳＴＥＰで記録する従画像情報について、図面を参照して説明する。図１３は、探索用画像の生成方法及び利用方法の第２例における、探索用画像ファイルの構成の一例を示す図であり、第１例について示した図９に相当するものである。
【０１３１】
図１３に示すように、本例の探索用画像ファイルは、第１例と同様に、探索用画像が記録されるデータ領域と、探索用画像ファイルの形式的な内容が含まれるヘッダ領域と、を備える。従画像情報は、例えば、ヘッダ領域に書き込まれる。また、イベントタイミング情報に、従画像数Ｎを示す情報が含まれる。
【０１３２】
ただし、本例では、従画像番号１〜Ｎと、対応するイベントタイミングである静止画識別情報Ｌ１〜ＬＮと、従画像の位置（ｘ１，ｙ１）〜（ｘＮ，ｙＮ）と、従画像の大きさ（ｈ１，ｖ１）〜（ｈＮ，ｖＮ）と、を関連付けた情報が、従画像情報に含まれる。
【０１３３】
なお、第１例と同様に、本例でも全てのイベントタイミングに対して従画像を生成する例について示したが、一部のイベントタイミングに対して従画像を生成しても構わない。例えば、探索用画像（主画像）に重畳可能な従画像の数を予め設定し、当該数を図７のＳＴＥＰ１４に相当する本例のＳＴＥＰにおける静止画の撮像枚数（イベントタイミング数）Ｎに代えても構わない。また例えば、図７のＳＴＥＰ１９に相当する本例のＳＴＥＰにおいて、従画像番号ｉを増加させる数を、１より大きい数にしても構わない。
【０１３４】
また、第１例と同様に、探索用画像ファイルを生成しなくても構わない。この場合、例えば探索用画像及び従画像情報を、動画の画像ファイルのヘッダ領域に書き込んでも構わないし、それぞれを動画の画像ファイルと関連付けて外部メモリ１０に記録しても構わない。
【０１３５】
［画像の再生］
本例も、図１０に示す第１例の画像の再生処理と同様に、探索用画像を表示部に表示し（図１１参照）、ユーザが指示した表示部上の位置に基づいて再生を行う。ただし、本例では、第１例と異なる従画像情報を取得する。また、ユーザによって指示された位置が表示部上のある従画像の範囲内に含まれる場合に、第１例とは異なる画像を再生する。即ち、図１０のＳＴＥＰ３３及びＳＴＥＰ３８の内容が、本例と第１例とでは異なる。
【０１３６】
本例では、図１０のＳＴＥＰ３３に相当するＳＴＥＰにおいて、図１３に示す従画像情報を取得する。そして、図１０のＳＴＥＰ３８に相当する本例のＳＴＥＰにおいて、ユーザが指示した表示部上の位置が範囲内に含まれる従画像に対応するイベントタイミングの画像を再生する。具体的に例えば、ユーザが指示した表示部上の位置が、図１３の従画像番号１の従画像の範囲内であれば、当該従画像に対応するイベントタイミングの静止画（静止画識別情報Ｌ１が示す静止画の画像ファイルに含まれる静止画）を再生（表示）する。
【０１３７】
以上のように構成すると、第１例と同様に、ユーザが、動画中の所望のタイミング（シーン）に対応する従画像を探索用画像中から選択して指示するという、直感的かつ簡易的な操作によって、動画中の所望のシーンを再生（表示）することが可能となる。そのため、容易かつ迅速にユーザが所望するシーンを再生（表示）することが可能となる。
【０１３８】
また、ユーザが指示する任意のタイミングを、イベントタイミングとして設定することが可能となる。
【０１３９】
また、本例のように、ユーザが静止画の撮像を指示した動画中のタイミングを、イベントタイミングとして設定すると、ユーザが重要と考える可能性が高く、後にユーザが再生を望む可能性が高いシーンを、イベントタイミングとして設定することが可能となる。
【０１４０】
なお、第１例と同様に、表示部に探索用画像を表示する際に、他の操作を行うための画像を表示しても構わない。具体的に例えば、探索用画像上かつ従画像の範囲外に、「通常再生を行うための画像」を表示しても構わない。そして、ユーザが表示部上の当該画像の範囲内の位置を指示した場合に、図１０のＳＴＥＰ３９に相当する本例のＳＴＥＰの通常再生を行っても構わない。
【０１４１】
このように構成すると、ユーザが表示部上の「通常再生を行うための画像」の範囲内の位置を指示するという直感的かつ簡易的な操作によって、通常再生（例えば、動画を最初から再生）することが可能となる。
【０１４２】
また、イベントタイミング情報に、フレーム番号や時間をさらに記録して、探索用画像を生成する際に、動画の画像ファイルに含まれる動画のフレームに基づいて従画像を生成しても構わない（第１例参照）。
【０１４３】
＜第３例＞
次に、探索用画像の生成方法及び利用方法の第３例について、図面を参照して説明する。なお、本例の処理において、第１例と同様の処理となるものについては、適宜第１例を参照することとし、その説明を省略する。
【０１４４】
［画像の撮像］
図１４は、探索用画像の生成方法及び利用方法の第３例における、画像の撮像処理の一例を示すフローチャートであり、第１例について示した図４に相当するものである。図１４に示す処理の主体は、図１に示す撮像装置１のどの部分であっても構わないが、例えば、撮像装置１の動作を制御するＣＰＵ１５が行う。また、本例では、動画中で人の顔が検出されるタイミングを、イベントタイミングとする。
【０１４５】
図１４に示すように、画像の撮像処理を開始すると、第１例と同様に初期化を行う。具体的には、フレーム番号ｔを１にするとともに、イベントタイミング番号ｎを１にする（ＳＴＥＰ１）。そして、撮像部Ｓの撮像により、動画のフレームを生成する（ＳＴＥＰ２ａ）。
【０１４６】
本例では、ＳＴＥＰ２ａで得られたフレームに基づいて、イベントタイミングの検出処理を行う（ＳＴＥＰ３ａ）。このイベントタイミングの検出処理について、図１５を参照して説明する。図１５は、探索用画像の生成方法及び利用方法の第３例における、イベントタイミングの検出処理の一例を示すフローチャートである。なお、このイベントタイミング検出処理は、例えば、動画のフレームを処理する画像処理部５が行い得る。
【０１４７】
図１５に示すように、イベントタイミングの検出処理を開始すると、最初にＳＴＥＰ２ａで生成された動画のフレームに対して顔検出を行う（ＳＴＥＰ３ａ０１）。顔検出の方法として、どのような検出方法を適用しても構わない。例えば、Adaboost（例えば、Yoav Freund, Robert E. Schapire, "A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20, 1995．）を利用しても構わない。この方法では、大量の教師サンプル（顔及び非顔のサンプル画像）を識別することで重み付けされた複数の弱識別器により、動画のフレーム中の各部を順次識別することで顔を検出する。
【０１４８】
そして、ＳＴＥＰ３ａ０１の顔検出処理によって検出された顔の数を示す、一時顔検出数ｍを取得する（ＳＴＥＰ３ａ０２）。また、ＳＴＥＰ３ａ０１で検出した顔を識別する番号である処理番号ｋを、初期化する。具体的には、処理番号ｋを１にする（ＳＴＥＰ３ａ０３）。
【０１４９】
次に、処理番号ｋが一時顔検出数ｍ以下であるか否かを確認する（ＳＴＥＰ３ａ０４）。処理番号ｋが一時顔検出数ｍ以下であれば（ＳＴＥＰ３ａ０４、ＹＥＳ）、処理番号ｋが示す顔が初めて検出された顔であるか否かを確認する（ＳＴＥＰ３ａ０５）。
【０１５０】
初めて検出された顔とは、例えば、今回の動画の撮像において、以前に撮像したフレームに含まれていた顔ではないと認識された顔である。なお、以前に撮像したフレームに含まれていた顔であっても、最後に検出されたフレームから所定のフレーム数以上検出されていなかった場合は、初めて検出する顔として扱っても構わない。即ち、異なるイベントタイミングとして扱っても構わない。また、顔の認識方法として、どのような方法を適用しても構わないが、例えば、以前に撮像したフレームで検出された顔やその特徴量をメモリ１６などに記録しておき、その後検出された顔やその特徴量と比較することで、顔の認識を行っても構わない。
【０１５１】
処理番号ｋが示す顔が初めて検出された顔である場合（ＳＴＥＰ３ａ０５、ＹＥＳ）、当該顔を、イベントタイミング番号ｎに対応する顔（以下、対象顔とする）として、以降識別する（ＳＴＥＰ３ａ０６）。
【０１５２】
そして、イベントタイミング番号ｎのイベントタイミングを、メモリ１６などに一時的に記録する（ＳＴＥＰ３ａ０７）。例えば、イベントタイミングとして、対象顔の検出が始まったタイミング（以下、開始タイミングとする）と、対象顔の検出が終わったタイミング（以下、終了タイミングとする）と、を記録する。
【０１５３】
ＳＴＥＰ３ａ０７の時点では、開始タイミングは確定するが、終了タイミングは未確定である。そのため、例えば、最初に開始タイミングと終了タイミングとを同じタイミングとして記録し、終了タイミングのみを順次更新することで、終了タイミングを確定する。さらに、イベントタイミング（開始タイミング及び終了タイミング）として、例えばフレーム番号ｔを記録する。具体的には、開始タイミングであるフレーム番号ｔｎｓをｔ、終了タイミングであるフレーム番号ｔｎｅをｔとして記録する。なお、イベントタイミング（開始タイミング及び終了タイミング）を、時間（撮像装置１に設定されている日時や、動画の撮像開始から計測した時間）としても構わない。
【０１５４】
そして、イベントタイミング番号ｎを１増加（ＳＴＥＰ３ａ０８）するとともに、処理番号ｋを１増加する（ＳＴＥＰ３ａ０９）。その後、ＳＴＥＰ３ａ０４に戻り、増加後の処理番号ｋが一時顔検出数ｍ以下であるか否かを確認する。
【０１５５】
一方、処理番号ｋが示す顔が初めて検出された顔ではない場合（ＳＴＥＰ３ａ０５、ＮＯ）、当該顔を、以前検出されたイベントタイミング番号ｆ（ただし、ｆ＜ｎ）の対象顔として識別する（ＳＴＥＰ３ａ１０）。さらに、イベントタイミング番号ｆのイベントタイミングを、メモリ１６などに一時的に記録（更新）する（ＳＴＥＰ３ａ１１）。具体的に例えば、上述のように、終了タイミングのフレーム番号ｔｆｅをｔに更新する。
【０１５６】
そして、処理番号ｋを１増加して（ＳＴＥＰ３ａ０９）、ＳＴＥＰ３ａ０４に戻り、増加後の処理番号ｋが一時顔検出数ｍ以下であるか否かを確認する。
【０１５７】
このように、処理番号ｋが一時顔検出数よりも大きくなるまで、ＳＴＥＰ３ａ０４〜ＳＴＥＰ３ａ１１の処理を繰り返す。そして、処理番号ｋが一時顔検出数ｍよりも大きくなると（ＳＴＥＰ３ａ０４、ＮＯ）、イベントタイミングの検出処理を終了する。
【０１５８】
図１４のＳＴＥＰ３ａでイベントタイミングの検出処理を行うと、次に、生成した動画のフレームをメモリ１６や外部メモリ１０に記録する（ＳＴＥＰ４）。そして、フレーム番号ｔを１増加し（ＳＴＥＰ５）、画像の撮像を終了するか否かを確認する（ＳＴＥＰ６）。
【０１５９】
画像の撮像を終了しない場合（ＳＴＥＰ６、ＮＯ）、ＳＴＥＰ２ａに戻り撮像部Ｓの撮像により動画のフレームを生成する。一方、画像の撮像を終了する場合（ＳＴＥＰ６、ＹＥＳ）、図１５のＳＴＥＰ３ａ０７及びＳＴＥＰ３ａ１１で記録したイベントタイミングを、イベントタイミング情報として、動画の画像ファイル（上述のＳＴＥＰ１、ＳＴＥＰ２ａ、ＳＴＥＰ３ａ、ＳＴＥＰ４〜ＳＴＥＰ６により生成）の一部に書き込み、外部メモリ１０に記録する（ＳＴＥＰ７ａ）。そして、画像の撮像処理を終了する。
【０１６０】
図１４に示す画像の撮像処理によって生成される、動画の画像ファイルの構成例について、図１６を参照して説明する。図１６は、探索用画像の生成方法及び利用方法の第３例における、動画の画像ファイルの構成の一例を示す図である。
【０１６１】
図１６に示すように、本例の動画の画像ファイルは、第１例と同様に、圧縮符号化された画像信号や音響信号が含まれるデータ領域と、画像ファイルの形式的な内容が含まれるヘッダ領域と、を備える。イベントタイミング情報は、例えば、ヘッダ領域に書き込まれる。
【０１６２】
ただし、本例では、イベントタイミング情報に、顔検出数Ｎ（図１５のＳＴＥＰ３ａ０６で識別した対象顔（イベントタイミング番号）ｎの最大値、即ち、動画中のイベントタイミング数。以降の本例の説明において第１例の説明を利用するため、第１例の静止画の撮像枚数と同じ符号を使用する。）を示す情報が含まれる。また本例では、イベントタイミング番号１〜Ｎと、対応する開始タイミングであるフレーム番号ｔ１ｓ〜ｔＮｓ及び終了タイミングであるフレーム番号ｔ１ｅ〜ｔＮｅと、を関連付けた情報が、イベントタイミング情報に含まれる。
【０１６３】
なお、図１４のＳＴＥＰ７ａにおいて、イベントタイミング情報を動画の画像ファイルに書き込まず別のファイルとして生成し、動画の画像ファイルに関連付けて外部メモリ１０に記録しても構わない。
【０１６４】
また、図１４のＳＴＥＰ７ａにおいて、イベントタイミングの期間（例えば、対象顔が検出された動画のフレームが撮像された期間、具体的には開始タイミング及び終了タイミングの間の期間）が、所定の期間よりも短い（例えば、所定のフレーム数よりも少ない）ものについては、記録しないように構成しても構わない。
【０１６５】
このように構成すると、動画の撮像期間中に一瞬だけフレームインする撮像対象ではない人に対応するイベントタイミングを、排除することができる。また、この場合、上述の顔検出数Ｎを適宜減算すると好ましい。
【０１６６】
また、図１５のＳＴＥＰ３ａ０１において、撮像された動画のフレーム内に含まれる全ての顔を検出せず、所定の人物の顔として認識される顔のみを検出しても構わない。この場合、例えば、事前に所定の人物の顔やその特徴量を記録しておき、動画のフレームから検出されたそれぞれの顔やその特徴量と比較することで、所定の人物の顔のみを検出する。また、ＳＴＥＰ３ａ０５において、上記の方法による顔の認識結果を用いることで、初めて検出された所定の人物の顔であるか否かを確認しても構わない。
【０１６７】
また、図１４及び図１５に示すイベント検出処理は、撮像時に行われるものであるが、撮像後（例えば、編集時）に行うことも可能である。この場合、図１４のＳＴＥＰ２ａにおいて、動画の画像ファイルからフレームを取得することとする。また、図１４のＳＴＥＰ６において、動画のフレームの取得の終了（例えば、編集の終了）を確認することとする。
【０１６８】
また、図１４及び図１５に示すイベント検出処理は、生成された動画のフレームの全てに対して行われるものであるが、処理速度の観点から実行することが困難であるなどの場合は、数フレーム毎に行っても構わない。
【０１６９】
［探索用画像の生成］
本例も、第１例と同様の探索用画像（図８参照）を生成する。さらに、図７に示す第１例の探索用画像の生成処理と同様の動作を行う。ただし、本例では、第１例と異なるイベントタイミング情報を取得し、第１例と異なる画像に基づいて従画像を生成するとともに、第１例と異なる従画像情報を記録する。即ち、図７のＳＴＥＰ１２、ＳＴＥＰ１５、ＳＴＥＰ１７及びＳＴＥＰ２０の内容が、本例と第１例とでは異なる。
【０１７０】
本例では、図７のＳＴＥＰ１２に相当するＳＴＥＰにおいて、従画像生成部３０２が、図１６に示すイベントタイミング情報を取得する。そして、図７のＳＴＥＰ１５に相当する本例のＳＴＥＰにおいて、従画像生成部３０２が、動画の画像ファイルから、イベントタイミング番号ｉに対応するイベントタイミングのフレーム（開始タイミングであるフレーム番号ｔｉｓから終了タイミングであるフレーム番号ｔｉｅまでのフレームのいずれか）を取得する。例えば、開始タイミングであるフレーム番号ｔｉｓのフレームを取得する。なお、タイミング番号ｉに対応するイベントタイミングのフレームの中から、対象顔が大きく検出されたフレームや、精度良く検出されたフレームなどを、選択的に取得しても構わない。
【０１７１】
さらに、図７のＳＴＥＰ１７に相当する本例のＳＴＥＰにおいて、従画像生成部３０２が、図７のＳＴＥＰ１５に相当する本例のＳＴＥＰで取得した動画のフレームに基づいて、従画像を生成する。このとき、フレーム内の対象顔を含む（例えば、中心とした）領域を切り出すことで、従画像を生成しても構わない。このように構成すると、探索用画像を確認したユーザが、動画中のイベントタイミングにおけるフレームに含まれている対象顔を認識し易くなるため、好ましい。
【０１７２】
また、図７のＳＴＥＰ２０に相当する本例のＳＴＥＰで記録する従画像情報について、図面を参照して説明する。図１７は、探索用画像の生成方法及び利用方法の第３例における、探索用画像ファイルの構成の一例を示す図であり、第１例について示した図９に相当するものである。
【０１７３】
図１７に示すように、本例の探索用画像ファイルは、第１例と同様に、探索用画像が記録されるデータ領域と、探索用画像ファイルの形式的な内容が含まれるヘッダ領域と、を備える。従画像情報は、例えば、ヘッダ領域に書き込まれる。また、イベントタイミング情報に、従画像数Ｎを示す情報が含まれる。
【０１７４】
ただし、本例では、従画像番号１〜Ｎと、対応する開始タイミングであるフレーム番号ｔ１ｓ〜ｔＮｓ及び終了タイミングであるフレーム番号ｔ１ｅ〜ｔＮｅと、従画像の位置（ｘ１，ｙ１）〜（ｘＮ，ｙＮ）と、従画像の大きさ（ｈ１，ｖ１）〜（ｈＮ，ｖＮ）と、を関連付けた情報が、従画像情報に含まれる。
【０１７５】
なお、第１例と同様に、本例でも全てのイベントタイミングに対して従画像を生成する例について示したが、一部のイベントタイミングに対して従画像を生成しても構わない。例えば、探索用画像（主画像）に重畳可能な従画像の数を予め設定し、当該数を図７のＳＴＥＰ１４に相当する本例のＳＴＥＰにおける顔検出数（イベントタイミング数）Ｎに代えても構わない。また例えば、図７のＳＴＥＰ１９に相当する本例のＳＴＥＰにおいて、従画像番号ｉを増加させる数を、１より大きい数にしても構わない。
【０１７６】
また、第１例と同様に、探索用画像ファイルを生成しなくても構わない。この場合、例えば探索用画像及び従画像情報を、動画の画像ファイルのヘッダ領域に書き込んでも構わないし、それぞれを動画の画像ファイルと関連付けて外部メモリ１０に記録しても構わない。
【０１７７】
［画像の再生］
本例も、図１０に示す第１例の画像の再生処理と同様に、探索用画像を表示部に表示し（図１１参照）、ユーザが指示した表示部上の位置に基づいて再生を行う。ただし、本例では、第１例と異なる従画像情報を取得する。また、ユーザによって指示された位置が表示部上のある従画像の範囲内に含まれる場合に、第１例とは異なる画像を再生する。即ち、図１０のＳＴＥＰ３３及びＳＴＥＰ３８の内容が、本例と第１例とでは異なる。
【０１７８】
本例では、図１０のＳＴＥＰ３３に相当するＳＴＥＰにおいて、従画像生成部３０２が、図１７に示す従画像情報を取得する。そして、図１０のＳＴＥＰ３８に相当する本例のＳＴＥＰにおいて、ユーザが指示した表示部上の位置が範囲内に含まれる従画像に対応するイベントタイミングの画像を再生する。具体的に例えば、ユーザが指示した表示部上の位置が、図１７の従画像番号１の従画像の範囲内であれば、当該従画像に対応するイベントタイミングの動画（開始タイミングであるフレーム番号ｔ１ｓから終了タイミングであるフレーム番号ｔ１ｅまでのフレーム）を再生する。なお、再生を開始する動画のフレームが、フレーム番号ｔ１ｓから多少（同一のイベントタイミングであると解釈され得る程度）前後したフレームであっても構わない。同様に、再生を終了する動画のフレームが、フレームｔ１ｅから多少（同一のイベントタイミングであると解釈され得る程度）前後しても構わない。
【０１７９】
以上のように構成すると、第１例と同様に、ユーザが、動画中の所望のタイミング（シーン）に対応する従画像を探索用画像中から選択して指示するという、直感的かつ簡易的な操作によって、動画中の所望のシーンを再生することが可能となる。そのため、容易かつ迅速にユーザが所望するシーンを再生することが可能となる。
【０１８０】
また、ユーザが操作部１７を介して撮像装置１に指示を入力することを要せずに、自動的にイベントタイミングを設定することが可能となる。
【０１８１】
また、本例のように、人の顔が検出される動画中のフレームを、イベントタイミングとして設定すると、ユーザが重要と考える可能性が高く、後にユーザが再生を望む可能性が高いシーンを、自動的にイベントタイミングとして設定することが可能となる。
【０１８２】
なお、第１例と同様に、表示部に探索用画像を表示する際に、他の操作を行うための画像を表示しても構わない。具体的に例えば、探索用画像上かつ従画像の範囲外に、「通常再生を行うための画像」を表示しても構わない。そして、ユーザが表示部上の当該画像の範囲内の位置を指示した場合に、図１０のＳＴＥＰ３９に相当する本例のＳＴＥＰの通常再生を行っても構わない。
【０１８３】
このように構成すると、ユーザが表示部上の「通常再生を行うための画像」の範囲内の位置を指示するという直感的かつ簡易的な操作によって、通常再生（例えば、動画を最初から再生）することが可能となる。
【０１８４】
また、図１０のＳＴＥＰ３８に相当する本例のＳＴＥＰにおいて、再生すべき動画のフレームから、選択された従画像に対応する対象顔を含む（例えば、中心とした）領域を切り出すとともに、適宜調整（例えば、拡大処理（例えば、補間処理）や縮小処理）して得られる画像を再生しても構わない。
【０１８５】
このように構成すると、動画中のユーザが望むシーンを再生するだけでなく、ユーザが望む被写体に注目した動画を再生することが可能になる。
【０１８６】
また、図１０のＳＴＥＰ３８に相当する本例のＳＴＥＰにおいて、終了タイミングであるフレーム番号ｔ１ｅのフレームで動画の再生を終了せず、最後のフレームまで再生しても構わない。さらに、この場合、イベントタイミング情報に終了タイミングを記録しなくても構わないし、終了タイミングを検出しなくても構わない。
【０１８７】
また、本例では、人の顔（対象顔）が検出される動画中のフレームを、イベントタイミングとしたが、動画（フレームだけでなく、音響信号をも含み得る）が所定の状態となる動画中のタイミングをイベントタイミングとするものであれば、どのようなタイミングをイベントタイミングとしても構わない。例えば、ユーザが指定した物体が検出されるフレームや、所定のレベル以上の音響信号となる動画中のタイミングを、イベントタイミングとしても構わない。このような場合でも、自動的にイベントタイミングを設定することが可能となる。
【０１８８】
＜変形例＞
撮像装置１を本発明の実施の一形態として説明したが、上述のように、本発明は他の装置にも適用可能である。また、本発明の実施の一形態である撮像装置１について、探索用画像生成部３０の動作をマイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【０１８９】
また、上述した場合に限らず、図１に示す撮像装置１や、図２に示す探索用画像生成部３０は、ハードウェア、あるいは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や探索用画像生成部の一部を構成する場合、ソフトウェアによって実現される部位についてのブロックは、その部位の機能ブロックを表すこととする。
【０１９０】
以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【０１９１】
本発明は、画像を生成する画像処理装置や画像ファイルを生成する撮像装置、画像を再生する再生装置に利用可能である。
【符号の説明】
【０１９２】
１      撮像装置
３０    探索用画像生成部
３１    主画像生成部
３２    従画像生成部
３３    重畳部
Ｔ      探索用画像
Ｍ      主画像
Ｓ１，Ｓ２  重画像
Ｄ      表示部
【図１】
2011250232.tif 000003
【図２】
2011250232.tif 000004
【図３】
2011250232.tif 000005
【図４】
2011250232.tif 000006
【図５】
2011250232.tif 000007
【図６】
2011250232.tif 000008
【図７】
2011250232.tif 000009
【図８】
2011250232.tif 000010
【図９】
2011250232.tif 000011
【図１０】
2011250232.tif 000012
【図１１】
2011250232.tif 000013
【図１２】
2011250232.tif 000014
【図１３】
2011250232.tif 000015
【図１４】
2011250232.tif 000016
【図１５】
2011250232.tif 000017
【図１６】
2011250232.tif 000018
【図１７】
2011250232.tif 000019