(57)【要約】【課題】  動画撮影中において、ピントが合っており、明るさも調節されたサムネイル画像生成することを第１の目的とする。  さらに、一つの動画に関連付けられたサムネイル画像が複数枚ある場合に、ユーザが動画の内容をより認識しやすくなるようにサムネイル画像を表示することを第２の目的とする。【解決手段】  動画撮影中に、ズーム制御、オートフォーカス制御及びオートアイリス制御が概ね停止している判断された場合に、サムネイル生成部４４を制御して、動画用サムネイル画像を生成する。  一つの動画に関連付けされた複数のサムネイル画像を表示する場合、各サムネイル画像の表示時間を各サムネイル画像に記載されたヘッダ情報に基づいて調節する。  【選択図】 図３
2008205953.tif 000002
【特許請求の範囲】
【請求項１】
動画撮影が可能な撮像手段と、
該撮像手段からの撮像信号に基づき、撮影された動画に関連付けられた１又は複数のサムネイル画像を生成するサムネイル画像生成手段と、
を備えた撮像装置であって、
前記撮像手段がズーム制御中であるかどうかを判断する第１判断手段を備え、
該第１判断手段によりズーム制御が停止していると判断された場合に、
前記サムネイル画像生成手段は前記撮像信号に基づき、サムネイル画像を生成することを特徴とする撮像装置。
【請求項２】
当該撮像装置を操作するための操作手段をさらに備え、
前記第１判断手段は、前記撮像手段にズーム制御を実行させるために該操作手段から出力されるズーム指示信号あるいは前記撮像手段がズーム制御中であることを示すために前記撮像手段から出力されるズーム制御信号を検出するズーム検出手段をさらに備え、
該ズーム検出手段が前記ズーム指示信号あるいは前記ズーム制御信号を検出しない場合、前記撮像手段によるズーム制御が停止していると判断することを特徴とする請求項１に記載の撮像装置。
【請求項３】
動画撮影が可能な撮像手段と、
該撮像手段からの撮像信号に基づき、撮影された動画に関連付けられた１又は複数のサムネイル画像を生成するサムネイル画像生成手段と、
を備えた撮像装置であって、
前記撮像手段がオートフォーカス制御中であるかどうかを判断する第２判断手段を備え、
該第２判断手段によりオートフォーカス制御が概ね停止していると判断された場合に、
前記サムネイル画像生成手段は前記撮像信号に基づき、サムネイル画像を生成することを特徴とする撮像装置。
【請求項４】
前記第２判断手段は、前記撮像信号から、輝度信号の高周波成分に基づく第１評価値を算出する第１算出手段をさらに備え、
前記第１評価値の変動が前記第１評価値に基づいて算出された一定範囲内にある場合に、オートフォーカス制御が概ね停止していると判断することを特徴とする請求項３に記載の撮像装置。
【請求項５】
動画撮影が可能な撮像手段と、
該撮像手段からの撮像信号に基づき、撮影された動画に関連付けられた１又は複数のサムネイル画像を生成するサムネイル画像生成手段と、
を備えた撮像装置であって、
前記撮像手段がオートアイリス制御中であるかどうかを判断する第３判断手段を備え、
該第３判断手段によりオートアイリス制御が概ね停止していると判断された場合に、
前記サムネイル画像生成手段は前記撮像信号に基づき、サムネイル画像を生成することを特徴とする撮像装置。
【請求項６】
前記第３判断手段は、前記撮像信号から輝度信号に基づく第２評価値を算出する第２算出手段をさらに備え、
該第２評価値が所定範囲内である場合に、オートアイリス制御が概ね停止していると判断することを特徴とする請求項５に記載の撮像装置。
【請求項７】
生成されたサムネイル画像を記録するための記録手段と、
前回記録手段に記録されたサムネイル画像を旧サムネイル画像と呼ぶとして、前記生成されたサムネイル画像と前記旧サムネイル画像とが類似しているか否かを判断する類似判断手段と、
をさらに備え、
該類似判断手段により、前記生成されたサムネイル画像が前記旧サムネイル画像と類似していると判断された場合には、前記生成されたサムネイル画像を前記記録手段には記録しないことを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
【請求項８】
記録された動画を再生する再生手段と、
再生されるべき動画を表示する表示手段と、
を備えた画像再生装置であって、
一つの動画に関連付けて記録された複数のサムネイル画像を前記表示手段に表示させる表示制御手段と、
各サムネイル画像に記載された各サムネイル画像に関連する情報に基づいて、各サムネイル画像の表示時間を決定する表示時間決定手段と、
を備え、
前記表示制御手段は、決定された表示時間に応じて各サムネイル画像を順次表示手段に表示させることを特徴とする画像再生装置。
【請求項９】
一つの動画に関連付けて記録された複数のサムネイル画像が、表示手段に順次表示されている間に、動画の再生が指示された場合、
前記再生手段は、動画の再生が指示されたときに前記表示手段に表示されているサムネイル画像又は動画の再生が指示された後に前記表示手段に表示されるサムネイル画像に関連付けられている動画を、該動画における前記サムネイル画像の元となる画像が記録されている時間的な位置から前記動画を再生することを特徴とする請求項８に記載の画像再生装置。
【請求項１０】
前記表示制御手段は、記録された動画が複数ある場合には、前記表示手段の表示領域を複数領域に分割し、一つの動画に対して一つの分割領域を割り当てるとともに、各分割領域において、各動画に関連付けられたサムネイル画像を同時に表示させることを特徴とする請求項８に記載の画像再生装置。
【請求項１１】
複数の分割領域のいずれかを選択するための選択手段をさらに備え、
一つの動画に関連付けて記録された複数のサムネイル画像が、選択された分割領域で順次表示されている間に、動画の再生が指示された場合、
前記再生手段は、動画の再生が指示されたときに前記表示手段に表示されているサムネイル画像に関連付けられている動画を、該動画における前記サムネイル画像の元となる画像が記録されている時間的な位置から前記動画を再生することを特徴とする請求項１０に記載の画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に用いられる、サムネイル画像生成装置に関する発明であり、さらに、生成したサムネイル画像の表示装置に関する。
【背景技術】
【０００２】
従来から、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置には、サムネイル画像を表示するモードが設けられていることが多い。サムネイル画像は、過去に撮影し記録した複数の静止画あるいは動画ファイルを表示画面上に一覧表示するために用いられる縮小画像である。
【０００３】
そして、サムネイル画像の機能は、それが関連する動画あるいは静止画の内容を、当該動画や静止画を再生表示することなく、ユーザに認識させることである。かかる機能を発揮するためには、サムネイル画像の内容が明確で認識しやすいものとなっている必要がある。
【０００４】
一方、動画撮影中にサムネイル画像を生成する場合、動画内容の特徴的なシーンをサムネイル画像として生成するために、動画撮影中に、撮影シーンが変わる毎にサムネイル画像を生成するものが知られている（特許文献１）。しかしながら、例えば、特許文献１では、サムネイル画像を生成する場合に、撮像装置がオートフォーカス制御やオートアイリス制御の途中であるか否かを考慮せずにサムネイル画像を生成するため、ピントが合っていない、或いは明るさ調整が不十分なサムネイル画像を生成する場合があった。
【０００５】
したがって、このようなサムネイル画像を一覧表示したとしても、サムネイル画像に何が写っているのか認識できず、その結果、動画を再生することなしに動画の内容をユーザに認識させるという上記サムネイル画像の機能も発揮できない場合があるという問題があった。
【特許文献１】特開2003-187216号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで本願発明は、上記問題に鑑みてなされたものであり、動画撮影中において、ピントが合っている、或いは明るさが調節されたサムネイル画像を生成することができるサムネイル画像生成装置および方法を提供することを第１の目的とする。
【０００７】
さらに、本願発明は、一つの動画に関連付けられたサムネイル画像が複数枚ある場合に、各サムネイル画像の性質や特徴に応じて各サムネイル画像の表示時間を可変とすることによって、ユーザが動画の内容をより認識しやすくなるようにサムネイル画像を表示することができるサムネイル画像表示装置および方法を提供することを第２の目的とする。
【課題を解決するための手段】
【０００８】
本願第１の発明に係る撮像装置は、動画撮影が可能な撮像手段と、撮像手段からの撮像信号に基づき、撮影された動画に関連付けられた１又は複数のサムネイル画像を生成するサムネイル画像生成手段とを備えている。そして、撮像手段がズーム制御中であるかどうかを判断する第１判断手段を備え、第１判断手段によりズーム制御が停止していると判断された場合に、サムネイル画像生成手段は撮像信号に基づき、サムネイル画像を生成することを特徴とする。
【０００９】
また、本願第１の発明に係る撮像装置は、撮像装置を操作するための操作手段をさらに備えており、第１判断手段は、撮像手段にズーム制御を実行させるために操作手段から出力されるズーム指示信号あるいは撮像手段がズーム制御中であることを示すために撮像手段から出力されるズーム制御信号を検出するズーム検出手段をさらに備えている。そして、ズーム検出手段がズーム指示信号あるいはズーム制御信号を検出しない場合、撮像手段によるズーム制御が停止していると判断することを特徴とする。
【００１０】
本願第２の発明に係る撮像装置は、動画撮影が可能な撮像手段と、撮像手段からの撮像信号に基づき、撮影された動画に関連付けられた１又は複数のサムネイル画像を生成するサムネイル画像生成手段とを備えている。そして、撮像手段がオートフォーカス制御中であるかどうかを判断する第２判断手段を備え、第２判断手段によりオートフォーカス制御が概ね停止していると判断された場合に、サムネイル画像生成手段は撮像信号に基づき、サムネイル画像を生成することを特徴とする。
【００１１】
また、本願第２の発明に係る撮像装置は、第２判断手段は、撮像信号から、輝度信号の高周波成分に基づく第１評価値を算出する第１算出手段をさらに備え、第１評価値の変動が第１評価値に基づいて算出された一定範囲内にある場合に、オートフォーカス制御が概ね停止していると判断することを特徴とする。
【００１２】
本願第３の発明に係る撮像装置は、動画撮影が可能な撮像手段と、撮像手段からの撮像信号に基づき、撮影された動画に関連付けられた１又は複数のサムネイル画像を生成するサムネイル画像生成手段とを備えている。そして、撮像手段がオートアイリス制御中であるかどうかを判断する第３判断手段を備え、第３判断手段によりオートアイリス制御が概ね停止していると判断された場合に、サムネイル画像生成手段は撮像信号に基づき、サムネイル画像を生成することを特徴とする。
【００１３】
また、本願第３の発明に係る撮像装置では、第３判断手段は、撮像信号から輝度信号に基づく第２評価値を算出する第２算出手段をさらに備え、第２評価値が所定範囲内である場合に、オートアイリス制御が概ね停止していると判断することを特徴とする。
【００１４】
また、本願第１、第２及び第３の発明に係る撮像装置は、生成されたサムネイル画像を記録するための記録手段と、前回記録手段に記録されたサムネイル画像を旧サムネイル画像と呼ぶとして、生成されたサムネイル画像と旧サムネイル画像とが類似しているか否かを判断する類似判断手段とをさらに備えている。そして、類似判断手段により、生成されたサムネイル画像が旧サムネイル画像と類似していると判断された場合には、生成されたサムネイル画像を記録手段には記録しないことを特徴とする。
【００１５】
本願第４の発明に係る画像再生装置は、記録された動画を再生する再生手段と、再生されるべき動画を表示する表示手段とを備えている。そして、一つの動画に関連付けて記録された複数のサムネイル画像を表示手段に表示させる表示制御手段と、各サムネイル画像に記載された各サムネイル画像に関連する情報に基づいて、各サムネイル画像の表示時間を決定する表示時間決定手段とを備えており、表示制御手段は、決定された表示時間に応じて各サムネイル画像を順次表示手段に表示させることを特徴とする。
【００１６】
また、本願第４の発明に係る画像再生装置は、一つの動画に関連付けて記録された複数のサムネイル画像が、表示手段に順次表示されている間に、動画の再生が指示された場合、再生手段は、動画の再生が指示されたときに表示手段に表示されているサムネイル画像又は動画の再生が指示された後に表示手段に表示されるサムネイル画像に関連付けられている動画を、当該動画における当該サムネイル画像の元となる画像が記録されている時間的な位置から当該動画を再生することを特徴とする。
【００１７】
また、本願第４の発明に係る画像再生装置では、表示制御手段は、記録された動画が複数ある場合には、表示手段の表示領域を複数領域に分割し、一つの動画に対して一つの分割領域を割り当てるとともに、各分割領域において、各動画に関連付けられたサムネイル画像を同時に表示させることを特徴とする。
【００１８】
また、本願第４の発明に係る画像再生装置は、複数の分割領域のいずれかを選択するための選択手段をさらに備えており、一つの動画に関連付けて記録された複数のサムネイル画像が、選択された分割領域で順次表示されている間に、動画の再生が指示された場合、再生手段は、動画の再生が指示されたときに表示手段に表示されているサムネイル画像に関連付けられている動画を、当該動画における当該サムネイル画像の元となる画像が記録されている時間的な位置から当該動画を再生することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、動画撮影中において、ピントが合っている、或いは明るさが調節されたサムネイル画像を生成することができるサムネイル画像生成装置を提供することができる。
【００２０】
さらに、本願発明によると、一つの動画に関連付けられたサムネイル画像が複数枚ある場合に、各サムネイル画像の性質や特徴に応じて各サムネイル画像の表示時間を可変とすることによって、ユーザが動画の内容をより認識容易となるようにサムネイル画像を表示することができるサムネイル画像表示装置を提供することができる。
【００２１】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。
【００２２】
ただし、以下の実施の形態は、あくまでも、本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。尚、参照される各図において、同一の部分には同一の符号を付す。
【００２４】
図１は、本発明の一実施形態に係る撮像装置１の機能構成図である。撮像装置１は、例えば、デジタルスチルカメラやデジタルビデオカメラである。撮像装置１は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。
【００２５】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイクロフォン（音入力手段の一例である。以下単にマイクと呼ぶ。）１４と、音声信号処理部１５と、圧縮処理部１６と、内部メモリの一例としてのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７と、メモリカード１８と、伸張処理部１９と、映像出力回路２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central ProcessingUnit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。
【００２６】
バス２４には、撮像部１１、ＡＦＥ１２、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９、映像出力回路２０、音声出力回路２１及びＣＰＵ２３が接続されている。バス２４に接続された各部位は、バス２４を介して、各種のデータ信号や制御信号のやり取りを行う。
【００２７】
バス２５には、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＳＤＲＡＭ１７に接続されている。バス２５に接続された各部位は、バス２５を介して、各種のデータ信号や制御信号のやり取りを行う。
【００２８】
ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。
【００２９】
ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。ＳＤＲＡＭ１７は、フレームメモリとして機能する。撮像装置１の各部は、必要に応じて、信号処理時に一時的に各種のデータ信号（以下、単にデータと呼ぶ。）をＳＤＲＡＭ１７に記録する。
【００３０】
メモリカード１８は、外部記録媒体であり、例えば、ＳＤ（Secure Digital）メモリカードである。メモリカード１８は、撮像装置１に対して着脱自在となっている。メモリカード１８の記録内容は、メモリカード１８の端子を介して又は撮像装置１に設けられた通信用コネクタ部（不図示）を介して、外部のパーソナルコンピュータ等によって自在に読み出し可能である。尚、本実施形態では外部記録媒体としてメモリカード１８を例示しているが、外部記録媒体を、１または複数のランダムアクセス可能な記録媒体（例えば、半導体メモリ、メモリカード、光ディスク、磁気ディスク等）で構成することができる。
【００３１】
撮像部１１は、撮像素子を備えており、撮像対象である被写体からの入射光が当該撮像素子に入射する。ＴＧ２２は上記タイミング制御信号に同期した駆動パルスを生成し、当該撮像素子に与える。撮像素子は当該駆動パルスに従って駆動する。具体的には、当該撮像素子は、ＴＧ２２からの駆動パルスに従って、入射光を順次光電変換し、該光電変換によって得られた電気信号を、後段のＡＦＥ１２に出力する。尚、当該電気信号は、アナログの電気信号である。
【００３２】
また、本実施形態では、ＴＧ２２は、１フレーム毎に駆動パルスを出力する。１フレームは、例えば、１／６０秒である。
【００３３】
ＡＦＥ１２は、撮像部１１の出力信号からの上記アナログ電気信号を増幅する増幅回路（不図示）と、増幅された電気信号をデジタル信号に変換するＡ／Ｄ（アナログ−デジタル）変換回路（不図示）とを備える。ＡＦＥ１２によってデジタル信号に変換された撮像部１１の出力信号は、順次、映像信号処理部１３に送られる。また、ＣＰＵ２３は、撮像部１１の出力信号の信号レベルに基づいて上記増幅回路の増幅度を調整する。
【００３４】
以下、撮像部１１またはＡＦＥ１２から出力される被写体に応じた信号を、撮像信号と呼ぶ。
【００３５】
映像信号処理部１３は、ＡＦＥ１２から１フレーム毎に出力される撮像信号に基づいて映像信号を生成し、生成した映像信号を、順次、圧縮処理部１６に送る。映像信号は、撮像部１１の撮影によって得られる撮影画像を表す信号である。
そして、映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶとから構成される。
上記のように１フレーム毎に生成される撮影画像をフレーム画像といい、これは静止画像（以下、静止画と呼ぶ。）である。１連のフレーム画像の集まりが動画像（以下、動画と呼ぶ。）を構成する。
【００３６】
映像信号処理部１３は、撮像装置１が動画撮影中は、動画の映像信号を生成し、静止画撮影を行ったときは、静止画の映像信号を生成する。動画撮影中に静止画撮影を行ったときは、動画の映像信号を生成しつつ、当該フレーム画像の静止画の映像信号を生成する。
また、映像信号処理部１３は、後述する所定条件を満たす場合には、フレーム画像のサムネイル画像を生成し、当該サムネイル画像の映像信号を生成する。尚、サムネイル画像は静止画である。
【００３７】
マイク１４は、外部から与えられた音声（音声には音も含まれる。）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（換言するとアナログ音声信号である。）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。
【００３８】
圧縮処理部１６は、映像信号処理部１３から順次出力される映像信号を、所定の圧縮方式を用いて圧縮する。動画に対しては、例えば、ＭＰＥＧ（Moving Picture Experts Group）等の圧縮方式を用いて映像信号の圧縮を行い、静止画に対しては、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮方式を用いて映像信号の圧縮を行う。圧縮された映像信号はメモリカード１８に送られる。
【００３９】
また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、ＡＡＣ（Advanced Audio Coding）等の所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて、時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード１８に送られる。
【００４０】
録画ボタン２６ａは、ユーザが動画の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、ユーザが静止画の撮影を指示するための押しボタンスイッチである。録画ボタン２６ａに対する操作に従って動画撮影の開始及び終了が実行され、シャッタボタン２６ｂに対する操作に従って静止画撮影が実行される。
【００４１】
撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード１８に記録された動画または静止画を表示部２７に再生表示する再生モードとが含まれる。再生モードには、メモリカード１８に記録された動画または静止画に関連付けられたサムネイル画像を、表示部２７に再生表示するサムネイル画像表示モードが含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実行される。
【００４２】
撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介してメモリカード１８に記録される。つまり、音声信号と共に、各フレームのフレーム画像が順次メモリカード１８に記録される。動画撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード１８への記録は終了し、１つの動画の撮影は完了する。
【００４３】
また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影が行われる。具体的には、ＣＰＵ２３の制御の下、その押下直後の１つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部１６を介してメモリカード１８に記録される。ユーザは動画の撮影中に静止画を同時撮影することも可能であり、この場合、同一のフレームの撮像信号に基づいて、動画に関する信号処理と静止画に関する信号処理が並行して行われる。
【００４４】
また、撮影モードにおいては、通常、動画または静止画を撮影しているか否かに拘らず、映像信号処理部１３による映像信号の生成が逐次（例えば、１フレーム毎に）行われており、その映像信号は映像出力回路２０に送られる。
【００４５】
再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。
【００４６】
映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。即ち、表示部２７は、撮像部１１から現在出力されている撮像信号に基づく撮影画像（即ち、現在の被写体を表す撮影画像である。）、または、メモリカード１８に記録されている動画若しくは静止画を表示する。
【００４７】
また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声として外部に出力する。
【００４８】
次に、図２、図３及び図４を参照して、撮像部１１及び映像信号処理部１３の機能について更に説明する。
【００４９】
図２は、図１の撮像部１１の内部構成図である。撮像部１１は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。ドライバ３４は、ズームレンズ３０及びフォーカスレンズ３１の移動並びに絞り３２の開口量（換言すると開口部の大きさである。）の調節を実現するためのモータ等から構成される。
【００５０】
被写体からの入射光は、光学系３５を構成するズームレンズ３０及びフォーカスレンズ３１、並びに、絞り３２を介して撮像素子３３に入射する。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。
【００５１】
撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。
【００５２】
図３は、映像信号処理部１３の内部構成図である。映像信号処理部１３は、動画／静止画処理部４１、ＡＦ評価値検出部４２及びＡＥ評価値検出部４３とを備える。
動画／静止画処理部４１は、ＡＦＥ１２から１フレーム毎に出力される撮像信号に基づいて、撮像部１１の撮影によって得られる撮影画像を表す映像信号を生成する。動画撮影時には動画の映像信号を生成し、静止画撮影時には静止画の映像信号を生成する。
【００５３】
撮像装置１は、「自動的にフォーカスレンズ３１の位置を制御することにより、被写体を表す光学像を撮像素子３３の撮像面（受光面と呼ぶこともできる。）に結像させる」所謂オートフォーカス制御機能を備えている。この機能により、理想的には、被写体を表す光学像が結像する点が撮像素子３３の撮像面上の点と一致する。
【００５４】
オートフォーカス制御機能は、様々な手法によって実現可能であるが、本実施の形態では、映像信号中の輝度信号から所定の高域周波数成分を抽出し、その高域周波数成分のレベル（換言すると大きさである。）に応じてフォーカスレンズ３１の位置を制御することにより、被写体を表す光学像を撮像素子３３の撮像面に結像させるという手法を採用している。
【００５５】
オートフォーカス制御は、主として、図３のＡＦ評価値検出部４２と、図１のＣＰＵ２３と、図２のドライバ３４と、によって実現される。ドライバ３４は、上記高域周波数成分のレベルを最大値或いは最大値付近に保つためにＣＰＵ２３から送られてくるフォーカス制御信号に基づいて、フォーカスレンズ３１を撮像面に鉛直な軸である光軸に沿って移動させることにより、被写体の光学像を撮像素子３３の撮像面に結像させる。
【００５６】
図４は、ＡＦ評価値検出部４２の内部構成図である。ＡＦ評価値検出部４２は、抽出部５１、ＨＰＦ（ハイパスフィルタ）５２及び積算部５３を有して構成される。
【００５７】
抽出部５１は、動画／静止画処理部４１にて生成された映像信号或いはＡＦＥ１２からの撮像信号より輝度信号を抽出する。この際、画像内の、予め設定されたフォーカス検出領域内の輝度信号のみを抽出する。フォーカス検出領域は、例えば、画像の一部の領域であり、該一部の領域は画像内の中央付近に設けられる。ＨＰＦ５２は、抽出部５１によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。
【００５８】
積算部５３は、ＨＰＦ５２によって抽出された高域周波数成分を積算することにより、フォーカス検出領域内の画像のコントラスト量に応じたＡＦ評価値を求める。ＡＦ評価値は、フレーム毎に算出され、ＣＰＵ２３に逐次伝達される。ＡＦ評価値は、該コントラスト量に概ね比例し、該コントラスト量が増大するにつれて増大する。
【００５９】
ＣＰＵ２３は、逐次与えられるＡＦ評価値を一時記憶し、ＡＦ評価値が最大値或いは最大値付近に保たれるように、所謂山登り演算を用いて、ドライバ３４を介してフォーカスレンズ３１の位置を制御する。フォーカスレンズ３１が移動するに従い、画像のコントラストは変化し、ＡＦ評価値も変化する。ＣＰＵ２３は、ＡＦ評価値が大きくなる方向にドライバ３４を介してフォーカスレンズ３１の位置を制御する。この結果、同一の光学像に対する、フォーカス検出領域内の画像のコントラスト量は最大値或いは最大値付近に保たれる。
【００６０】
また、撮像装置１は、「自動的に絞り３２の開口量を制御することにより、撮影画像の明るさを略一定に保つ」所謂オートアイリス制御機能を備えている。
【００６１】
オートアイリス制御は、主として、図３のＡＥ評価値検出部４３と、図１のＣＰＵ２３と、図２のドライバ３４とによって実現される。
【００６２】
ＡＥ評価値検出部４３は、動画／静止画処理部４１にて生成された映像信号或いはＡＦＥ１２からの撮像信号より輝度信号を抽出する。ここで抽出される輝度信号は、例えば、撮影画像の全体における輝度信号である。ＡＥ評価値検出部４３は、抽出した輝度信号を１枚の撮影画像全体で積算することにより、撮影画像の明るさに比例したＡＥ評価値を求める。ＡＥ評価値は、フレーム毎に算出され、ＣＰＵ２３に逐次伝達される。
【００６３】
ＣＰＵ２３は、逐次与えられるＡＥ評価値を一時記憶し、ＡＥ評価値が、予め定められた目標値に保たれるように、ドライバ３４を介して絞り３２の開口量を制御する。光学系３５に入射する光学像が同じである場合、絞り３２の開口量が大きくなるに従って、撮像素子３３への単位時間当たりの入射光量は増大し、輝度信号の値は増大する。尚、絞り３２の開口量を最大にしてもＡＥ評価値が上記目標値未満にしかならない場合は、ＡＦＥ１２の増幅回路の増幅度を調整してＡＥ評価値を目標値に保つ。
【００６４】
また、操作キー２６ｃに対する所定の操作に従って、ＣＰＵ２３は、ドライバ３４を介してズームレンズ３０を光軸に沿って移動させることにより、撮像部１１による撮影の画角を変更する（換言すれば、撮像素子３３の撮像面上に形成される被写体の像を拡大または縮小する）、所謂ズーム制御を行う。
【００６５】
サムネイル画像生成部４４は、ＣＰＵ２３の制御の下、動画／静止画処理部４１からのフレーム画像のサムネイル画像を生成する。サムネイル画像は、撮影された１枚の静止画を、間引き処理等によって縮小した縮小画像である。生成されたサムネイル画像は、撮影された動画あるいは静止画に関連付けられつつ圧縮処理部１６による圧縮（ＪＰＥＧなど）を介してメモリカード１８に記録される。撮影した静止画と関連付けられた上記サムネイル画像を、静止画用サムネイル画像と呼び、撮影した動画に関連付けられた上記サムネイル画像を、動画用サムネイル画像と呼ぶ。尚、動画用サムネイル画像は、複数枚生成される場合がある。
【００６６】
サムネイル画像生成部４４は、撮像装置１が静止画撮影をする場合には、当該静止画のサムネイル画像を生成する。また、撮像装置１が動画撮影をする場合には、撮像部１１が後述する所定条件を満たす場合に、当該所定条件を満たしているフレーム画像のサムネイル画像を生成する。
【００６７】
動画用サムネイル画像が、複数枚生成される場合、生成されたサムネイル画像は、ＣＰＵ２３によって前回生成されたサムネイル画像と比較され、前回と類似していると判断された場合には、圧縮処理はなされず、メモリカード１８にも記録されない。
【００６８】
逆に、類似していないと判断された場合には、ＣＰＵ２３の制御の下、当該動画に関連付けられ、圧縮処理がなされるとともにメモリカード１８に記録される。
【００６９】
サムネイル画像は、それが関連する動画の内容をユーザに認識させる、或いは思い出させる機能を果たすものであるところ、かかる機能を果たすに当たって、複数の類似するサムネイル画像は不要と考えられるため、類似するサムネイル画像の一方は記録されず破棄される。
【００７０】
したがって、上記処理により前回のサムネイル画像と比較して変化の大きいサムネイル画像を選択して記録することができる。
【００７１】
尚、類似しているか否かは、例えば、今回のサムネイル画像と前回のサムネイル画像との輝度値についての差分が所定の閾値より大きいか否かによって判断される。
【００７２】
上記比較により、非類似と判断された場合には、当該サムネイル画像のヘッダ領域にヘッダ情報が追加された後、圧縮処理がなされメモリカード１８に記録される。
【００７３】
ヘッダ情報には、当該サムネイル画像の元となるフレーム画像の特徴、性質又は当該フレーム画像が撮影されたときの撮影条件等が含まれる。具体的には、例えば、当該フレーム画像が動画開始時点から何番目のフレーム画像であるかを示すフレーム番号、当該フレーム画像のＡＦ評価値、ＡＥ評価値、当該フレーム画像と関係付けられて記録される音声信号レベル、又は当該サムネイル画像と前回生成されたサムネイル画像との差分値等が含まれる。
【００７４】
あるいは、映像信号処理部１３が、例えば、撮影画像から人物の顔を検出する顔領域検出部（不図示）を備えているような場合には、当該顔領域検出部で検出された人物の顔情報、例えば人物の顔の大きさや顔の個数等がヘッダ情報に含まれる。
【００７５】
顔領域検出の手法として、様々な手法を採用することが可能である。顔領域検出部は、例えば、周知の如く、撮影画像の肌色を抽出することによって顔領域の大きさを判断する。つまり、例えば、動画を構成する各フレームの撮影画像から肌色に分類される映像信号を有する領域を顔領域として検出し、検出した領域の大きさ（例えば面積）に基づいて、顔領域の大きさを求める。上記の検出及び顔領域の大きさの算出は、フレームごとに行われる。尚、どのような映像信号を肌色と分類するかは、予め定められている。
【００７６】
また、周知の如く、パターンマッチング法を用いて顔領域の大きさを検出するようにしても良い。この際、様々な顔領域のパターンに関する情報を撮像装置１内のメモリに記録しておき、それらのパターンと撮影画像とを比較することによって、顔領域を検出すると共に顔領域の大きさを検出する。
【００７７】
そして、このように検出された顔の大きさをカウントして顔領域の個数を検出する。
［動画用サムネイル画像の生成手法］
次に、上述の動画用サムネイル画像の生成手法について説明する。
【００７８】
ＣＰＵ２３は、撮像装置１による動画撮影中に、後述する所定条件を満たしたと判断した時点のフレーム画像、或いは当該フレーム画像の次のフレーム画像について、サムネイル画像生成部４４を制御して、動画用サムネイル画像を生成する。
【００７９】
具体的には、ＣＰＵ２３が、下記条件のいずれかあるいは全てを満していると判断した場合には、サムネイル画像を生成すべく、サムネイル画像生成部４４へサムネイル制御信号を出力する。
（１）ユーザのズーム操作によるズーム制御が停止していると判断した場合。
（２）オートフォーカス制御が概ね停止していると判断した場合。
（３）オートアイリス制御が概ね停止していると判断した場合。
【００８０】
サムネイル画像生成部４４は、ＣＰＵ２３からサムネイル制御信号を受け取ると、当該サムネイル制御信号を受け取った時点に動画／静止画処理部４１から出力されているフレーム画像、又はその次に出力されるフレーム画像を縮小処理して、サムネイル画像を生成する。
【００８１】
尚、縮小処理としては、例えば単なる間引き処理、バイリニア法（線形補間の一種）或いはバイキュービック法等を用いることができる。
【００８２】
ＣＰＵ２３は、生成されたサムネイル画像と前回生成されたサムネイル画像が類似していると判断した場合は、生成されたサムネイル画像の記録を行わない。
【００８３】
両者が類似していないと判断した場合には、サムネイル生成部４４及び圧縮処理部１６を介して生成されたサムネイル画像を圧縮処理してメモリカード１８に記録する。
【００８４】
以上により、動画用サムネイル画像が生成される。
【００８５】
次に、ＣＰＵ２３による、上記の３つの条件の判断手法について説明する。
（１）ユーザのズーム操作によるズーム制御が停止しているか否かの判断手法
上記したように、ユーザは操作キー２６ｃに対する所定操作によって、撮像装置１のズーム操作を行うことができる。
【００８６】
図５は、ユーザによりズーム操作が行われた場合に操作部２６がＣＰＵ２３へ出力する２種類の信号（ズームイン信号及びズームアウト信号）を示している。
【００８７】
ズームインとは、撮像素子３３の撮像面上に形成される被写体の像を拡大させる動作であり、この動作に伴って撮像部１１による撮影の画角は減少する。
【００８８】
ズームアウトとは、撮像素子３３の撮像面上に形成される被写体の像を縮小させる動作であり、この動作に伴って撮像部１１による撮影の画角は増加する。
【００８９】
ユーザがズームインの操作中は、ズームイン信号の値がＨｉｇｈ、ズームアウト信号の値がＬｏｗとなる。一方、ズームアウトの操作中は、ズームイン信号の値がＬｏｗ、ズームアウト信号の値がＨｉｇｈとなる。ズームイン及びズームアウトの操作を行っていない場合は、両信号ともＬｏｗである。尚、撮像装置１は、ズームインとズームアウトを同時に行うことはできない。
【００９０】
ＣＰＵ２３は、ズームイン信号及びズームアウト信号が共にＬｏｗである場合に、ズーム制御は行われていないと判断する。
【００９１】
図５において、時刻ｔz２〜ｔz３及びｔz４〜ｔz５の期間は、操作キー２６ｃの操作により、ズームインが行われている。時刻ｔz６〜ｔz７の期間はズームアウトが行われている。それ以外の期間ではズーム操作は行われていない。
【００９２】
したがってＣＰＵ２３は、上記の期間以外の期間では、ズームイン及びズームアウト操作が行われておらず、ズーム制御が停止していると判断する。
【００９３】
尚、実際にズームレンズ３０を移動させてズーム制御を行うドライバ３４から、ズーム制御中であることを示すズーム制御信号がＣＰＵ２３に出力される場合には、ＣＰＵ２３は、当該ズーム制御信号に基づいて、ズーム制御が停止しているかどうかを判断することもできる。
（２）オートフォーカス制御が概ね停止しているか否かの判断手法
ＣＰＵ２３は、上述したように、ＡＦ評価値検出部４２から逐次算出されるＡＦ評価値に基づいて、被写体を表す光学像が撮像素子３３の撮像面（受光面）に結像するように、ドライバ３４を介してフォーカスレンズ３１の位置を調整する。即ち、ＡＦ評価値とフォーカスレンズ３１の位置は連動している。従って、所謂山登り制御によるＡＦ評価値の変動が所定範囲内に収まっている場合には、フォーカスレンズ３１の位置も一定範囲内に収まっている。このような状態では、実際にはフォーカスレンズ３１は微少な変動を続けているものの、その変動が微少で無視できる範囲であると考えられる。したがって、かかる状態では、オートフォーカス制御は、概ね停止しているとみなすことができる。
【００９４】
図６の曲線７５は、動画撮影中における、ＡＦ評価値の時間変化を表している。横軸が時間、縦軸がＡＦ評価値である。
【００９５】
図６では、時刻ｔｆ１において、ＡＦ評価値が山登り曲線の略最大値（Ｍ１）を取っている。ＣＰＵ２３は、最大値Ｍ１をＳＤＲＡＭ１７に一時的に記録すると共に、Ｍ１を基準値とし、当該基準値からの所定範囲（Ａｒｅｆ１）を設定する。ＣＰＵ２３は、当該所定範囲内であればＡＦ評価値が変動していても、この場合には、オートフォーカス制御が概ね停止していると判断する。
【００９６】
図６では、時刻ｔｆ１〜ｔｆ２の期間は、ＡＦ評価値が所定範囲内にある。
【００９７】
従って、ＣＰＵ２３は、時刻ｔｆ１〜ｔｆ２の期間ではオートフォーカス制御が概ね停止していると判断する。
【００９８】
時刻ｔｆ２〜ｔｆ３の期間では、ＡＦ評価値が所定範囲を超えている。従って、ＣＰＵ２３は、当該期間ではオートフォーカス制御中であると判断し、ＳＤＲＡＭ１７の基準値Ｍ１をクリアする。図６によると、次にＡＦ評価値が曲線７５の略最大値（Ｍ２）をとるタイミングは時刻ｔｆ３である。このとき、ＣＰＵ２３は、最大値Ｍ２をＳＤＲＡＭ１７へ一時的に記録すると共に、新たな基準値する。そして、当該基準値（最大値Ｍ２）からの所定範囲（Ａｒｅｆ２）を設定し、かかる範囲内でＡＦ評価値が変動している場合には、オートフォーカス制御が概ね停止していると判断する。
【００９９】
図６では、時刻ｔｆ３〜ｔｆ４の期間は、ＡＦ評価値が所定範囲内にある。
【０１００】
従って、ＣＰＵ２３は、時刻ｔｆ３〜ｔｆ４の期間ではオートフォーカス制御が概ね停止していると判断する。
【０１０１】
ＣＰＵ２３は、以上のような処理を繰り返すことにより、オートフォーカス制御が概ね停止しているか否かを判断する。
【０１０２】
尚、ＣＰＵ２３は、上記の判断が可能なように、一定時間分の過去のＡＦ評価値をＳＤＲＡＭ１７に逐次記録させている。
【０１０３】
また、上述した所定範囲とは、生成されたサムネイル画像が、上述したサムネイル画像の機能を十分に発揮することができる程度のサムネイル画像となりうる範囲をいう。
【０１０４】
この観点から、所定範囲の設定方法は、上記に限られるものではなく、例えば、所謂山登り制御において、一定期間内に表れる山の平均値をＭａ及び谷の平均値Ｖａとした場合に、所定範囲をＶａ以上、Ｍａ未満とすることもできる。あるいは経験的に導き出した値αを加減して、所定範囲を（Ｖａ＋α）以上、（Ｍａ−α）未満とすることもできる。
【０１０５】
また、所謂ピンボケのより少ないサムネイル画像を得るために以下の判断を更に加えることもできる。
【０１０６】
即ち、ＡＦ評価値が上記所定の範囲にある場合において（つまり、オートフォーカス制御が概ね停止している場合において）、ＣＰＵ２３は、さらにＡＦ評価値が合焦閾値Ｇよりも大きいかどうかを判定し、大きい場合（即ち、ＡＦ評価値＞合焦閾値Ｇの場合。）に、ピントが合っていると判断する。そうでない場合（即ち、ＡＦ評価値≦合焦閾値Ｇの場合。）には、ピントが合っていないと判断する。
【０１０７】
そして、ＣＰＵ２３は、オートフォーカス制御が概ね停止しているとしても、ピントが合っていないと判断した場合には、サムネイル画像を生成しないとすることができる。
【０１０８】
図７は、図６に合焦閾値Ｇを追加記入したものである。
【０１０９】
ＣＰＵ２３は、図７において、時刻ｔｆ１〜ｔｇ１、時刻ｔｇ２〜ｔｇ３、時刻ｔｆ３〜ｔｇ４、時刻ｔｇ５〜ｔｇ６、及び時刻ｔｇ７〜ｔｇ８の期間をオートフォーカス制御がピントの合った状態で概ね停止していると判断する。そして、ＣＰＵ２３は、時刻ｔｇ１〜ｔｇ２、時刻ｔｇ３〜ｔｆ２、時刻ｔｇ４〜ｔｇ５、時刻ｔｇ６〜ｔｇ７、及び時刻ｔｇ８〜ｔｆ４の期間をオートフォーカス制御が概ね停止しているもののピントが合っていないと判断し、サムネイル画像を生成しないとすることができる。
【０１１０】
尚、合焦閾値Ｇは、経験的に求められるものではあるが、例えば、ＡＦ評価値の最大値Ｍ（上記のＭ１やＭ２に相当する。）から一定値を減じた値とすることができる。
【０１１１】
（３）オートアイリス制御が概ね停止しているか否の判断手法
ＣＰＵ２３は、上述したように、ＡＥ評価値検出部４３から逐次与えられるＡＥ評価値が、予め定められた目標値に保たれるように、ドライバ３４を介して絞り３２の開口量を制御する。
【０１１２】
即ち、ＡＥ評価値と絞り３２の開口量は連動している。従って、所謂山登り制御によりＡＥ評価値の変動が、予め定められた目標値を基準として所定範囲内に収まっている場合には、絞り３２の開口量も一定範囲内に収まっている。
【０１１３】
このような状態では、実際には絞り３２は微少な変動を続けているものの、その変動が微少で無視できる範囲であると考えられる。したがって、かかる状態では、オートアイリス制御は、概ね停止しているとみなすことができる。
【０１１４】
図８の曲線７６は、動画撮影中におけるＡＥ評価値の時間変化を表している。横軸が時間、縦軸がＡＥ評価値である。
【０１１５】
ＣＰＵ２３は、ＡＥ評価値が目標値から所定範囲（Ｂｒｅｆ）内にある場合に、オートアイリス制御が停止していると判断する。図８では、時刻ｔｅ１〜ｔｅ２、及び時刻ｔｅ３〜ｔｅ４の期間では、ＡＥ評価値が所定範囲内で変動しており、この場合ＣＰＵ２３は、オートアイリス制御が停止していると判断する。
【０１１６】
ＣＰＵ２３は、以上のような処理を繰り返すことにより、オートアイリス制御中であるか否かを判断する。
【０１１７】
尚、ＣＰＵ２３は、上記の判断が可能なように、一定時間分の過去のＡＥ評価値をＳＤＲＡＭ１７に逐次記録させている。
【０１１８】
また、上述の所定範囲とは、生成されたサムネイル画像が、上述したサムネイル画像の機能を十分に果たすことができる程度のサムネイル画像となる範囲をいう。
【０１１９】
図９は、動画用サムネイル画像が生成される手順を示すフローチャートである。
【０１２０】
このフローチャートの実行は、ＣＰＵ２３による制御下、必要な処理が図１乃至図４に示す撮像装置１の各部のいずれか適切な部位で行われる。
【０１２１】
尚、図９のフローチャート及び以下の説明においては、静止画用サムネイル画像の生成処理に関しては特に言及しない。
【０１２２】
また、特に記述しない限り、或る１つの動画に着目して説明を行う。
【０１２３】
撮像装置１に設けられた電源スイッチ（不図示）に対する操作によって撮像装置１内の各部に対する電源が起動される。次に、操作キー２６ｃの操作によって撮像装置１が撮像モードに遷移すると、ＴＧ２２は、垂直同期信号を所定の周期（例えば１／６０秒）にて逐次生成する。まず、ステップＳ１０１では、ＴＧ２２から垂直同期信号が出力されたか否かが確認される。垂直同期信号は、各フレームの開始時点でＴＧ２２から出力される。
【０１２４】
垂直同期信号の出力が確認されていない場合は（ステップＳ１０１のＮｏ）ステップＳ１０１の処理が繰り返される。垂直同期信号の出力が確認された場合は（ステップＳ１０１のＹｅｓ）、ステップＳ１０２にて、録画ボタン２６ａが押下されたかが確認される。録画ボタン２６ａが押下されたことが確認された場合は（ステップＳ１０２のＹｅｓ）、撮影が開始されるとともに、ステップＳ１０３に移行するが、そうでない場合は（ステップＳ１０２のＮｏ）、ステップＳ１０１に戻る。このように、録画が開始されるまではステップＳ１０１及びＳ１０２から成るループ処理が繰り返し実行される。
【０１２５】
ステップＳ１０３では、撮像信号から動画又は静止画の映像信号が生成される。また、オートフォーカス評価値及びオートアイリス評価値に基づき、所謂オートフォーカス制御及びオートアイリス制御が実行される。その他、周知の色同時化処理、オートホワイトバランス処理、シャープネス処理、ノイズ低減処理又は電子ズーム等の画像処理が行われる。
【０１２６】
続くステップＳ１０４では、撮像部１１において、ズーム制御、オートフォーカス制御、或いはオートアイリス制御といった光学系の駆動制御が実行中かどうかが判断される。光学系の駆動制御が行われていないと判断された場合にはサムネイル画像生成処理が実行される。ステップＳ１０４におけるサムネイル画像生成処理の詳細については後述する。
【０１２７】
ステップＳ１０５では、動画又は静止画の圧縮処理が行われる。前段のステップＳ１０４でサムネイル画像が生成された場合は、当該サムネイル画像も圧縮処理される。その後ステップＳ１０６へ移行する。
【０１２８】
ステップＳ１０６では、圧縮された動画、静止画及びサムネイル画像がメモリカード１８に記録される。尚、圧縮されたサムネイル画像は動画又は静止画に関連付けて記録される。その後ステップＳ１０７へ移行する。
【０１２９】
ステップ１０７では、ユーザの操作により録画が停止あるいは中止されたかどうかが判定される。
【０１３０】
再度録画ボタン２６ａが押下され、録画が停止された場合は（ステップＳ１０７のＹｅｓ）、ステップＳ１０８へ移行する。そうでない場合（ステップＳ１０７のＮｏ）、ステップＳ１０３に戻る。このように、録画が終了されるまではステップＳ１０３及びＳ１０７から成るループ処理が繰り返し実行される。
【０１３１】
ステップＳ１０８では、記録したサムネイル画像が間引き処理される。間引き処理とは、例えば、生成されたサムネイル画像の枚数が、予め設定された枚数を超えている場合には、所定枚数となるまでサムネイル画像を減らすことをいう。
【０１３２】
生成された枚数が予め設定された枚数を超えている場合には、例えば、ヘッダ情報の一つであるフレーム番号が近似しているものから順に削除していくこととすることもできる。
【０１３３】
次に、ステップＳ１０４における動画用サムネイル画像生成処理について詳説する。
【０１３４】
図１０は、動画用サムネイル画像生成処理の手順を表すフローチャートである。
【０１３５】
ステップＳ２０１では、撮像部１１がズーム制御中であるか否かが判断される。
【０１３６】
ズーム制御は、ユーザの操作キー２６ｃの操作によって行われる。ユーザによるズーム操作が行われていると判断された場合は（ステップＳ２０１のＹｅｓ）、再度ステップＳ２０１の処理を繰り返す。ズーム制御中でない、すなわちズーム制御が停止していると判断された場合は（ステップＳ２０１のＮｏ）、ステップＳ２０２へ移行する。
【０１３７】
ステップＳ２０２では、撮像部１１においてオートフォーカス制御が行われているか否かが判断される。
【０１３８】
オートフォーカス制御が行われていると判断された場合は（ステップＳ２０２のＹｅｓ）、ステップＳ２０１へ戻る。オートフォーカス制御中でない、即ちオートフォーカス制御が概ね停止していると判断された場合は（ステップＳ２０２のＮｏ）、ステップＳ２０３へ移行する。
【０１３９】
ステップＳ２０３では、ＡＦ評価値がさらに所定の合焦閾値より小さいか否かが判断される。ＡＦ評価値が合焦閾値より小さいと判断された場合は（ステップＳ２０３のＹｅｓ）、ステップＳ２０１へ戻る。ＡＦ評価値が合焦閾値以上と判断された場合は（ステップＳ２０３のＮｏ）、ステップＳ２０４へ進む。
【０１４０】
ステップＳ２０４では、撮像部１１がオートアイリス制御中であるか否かが判断される。オートアイリス制御中と判断された場合は（ステップＳ２０４のＹｅｓ）、ステップＳ２０１へ戻る。オートアイリス制御中でないと判断された場合、即ちオートアイリス制御が概ね停止していると判断された場合は（ステップＳ２０４のＮｏ）、ステップＳ２０５へ移行する。
【０１４１】
ステップＳ２０５では、フレーム画像が縮小処理されてサムネイル画像が生成される。
【０１４２】
ステップＳ２０６では、生成されたサムネイル画像と前回生成されＳＤＲＡＭ１７に記録されているサムネイル画像との差分が算出され、当該差分値が所定の閾値より小さいか否かが判断される。
【０１４３】
所定の閾値より小さいと判断された場合（ステップＳ２０６のＹｅｓ）、すなわち今回のサムネイル画像が前回のサムネイル画像と類似していると判断された場合はステップＳ２０１へ戻る。
【０１４４】
所定の閾値以上であると判断された場合（ステップＳ２０６のＮｏ）、すなわち今回のサムネイル画像が前回のサムネイル画像とは類似していないと判断された場合はステップＳ２０７へ移行する。
【０１４５】
ステップＳ２０７では、生成されたサムネイル画像のヘッダ領域にヘッダ情報が追加される。
【０１４６】
以上の手順により、動画用サムネイル画像が生成される。尚、上記したように一つの動画に関連付けられたサムネイル画像が複数枚生成される場合もある。
【０１４７】
また、上記フローチャートでは、ステップＳ２０１〜ステップＳ２０４の全ての判断において“Ｎｏ”の場合にサムネイル画像が生成されることとしているが、これに限られず、ステップＳ２０１、Ｓ２０２、Ｓ２０３及びＳ２０４のうちいずれか一つのステップあるいはいくつかのステップにおいて“Ｎｏ”と判断された場合にサムネイル画像が生成されるとすることもできる。
【０１４８】
次に、上記のように一つの動画に関連付けて生成された動画用サムネイル画像が複数ある場合の表示方法について説明する。
【０１４９】
生成されたサムネイル画像は、撮像装置１のサムネイル画像表示モードで表示される。サムネイル画像表示モードにおいて、メモリカード１８に記録された複数の動画用サムネイル画像は、伸張処理部１９による伸張処理及び映像出力回路２０による変換処理を介して、表示部２７に順次表示される。
【０１５０】
各サムネイル画像は、ＣＰＵ２３によりスケジューリングされた後、表示される。
【０１５１】
ここで、スケジューリングとは、複数のサムネイル画像を順次表示する場合に、各サムネイル画像の表示時間を決定することをいう。
【０１５２】
スケジューリングは、サムネイル画像に記載されたヘッダ情報に基づいて行われる。サムネイル画像に複数の異なる種類のヘッダ情報が記載されている場合は、異なる複数のスケジューリングが可能となる。
【０１５３】
撮像装置１では、ヘッダ情報の種類に応じた複数のスケジューリングモードを備える。各スケジューリングモードへの遷移はユーザの操作キー２６ｃの操作によって実行される。
【０１５４】
ユーザの操作によりあるスケジューリングモードへの遷移が実行されると、ＣＰＵ２３は、各サムネイル画像から必要なヘッダ情報を取得し、スケジューリングを行う。
【０１５５】
スケジューリングモードとしては、例えば、「等間隔モード」、「音基準モード」「フレーム番号基準モード」、「人物の顔数基準モード」及び「人物の顔の大きさ基準モード」等がある。
【０１５６】
「等間隔モード」は、各サムネイル画像の表示時間がすべて等しいモードである。
【０１５７】
図１１（ａ）は、或る一つの動画に関連付けて生成された複数の動画用サムネイル画像２ａ、２ｂ、２ｃ及び２ｄを示している。
【０１５８】
図１１（ｂ）は、等間隔モードで表示する場合の各サムネイル画像のスケジューリング方法の一例を示している。
【０１５９】
図１１（ｂ）のスケジューリング方法によると、サムネイル画像２ａ、２ｂ、２ｃ、２ｄは表示時間が全て等しく時間Ｔで表示される。ユーザの操作キー２６ｃの操作により、サムネイル画像表示モードから他のモードへの遷移が実行されるまで、或いは停止されるまで、これら複数のサムネイル画像の表示が繰り返される。尚、時間Ｔはユーザの操作により変更可能である。
【０１６０】
また、「音基準モード」は、各サムネイル画像のヘッダ情報に記録されている音声レベルに基づいて、スケジューリングされるモードである。
【０１６１】
例えば、各サムネイル画像の音声レベルの大小関係が、２ａ＝２ｃ＜２ｂ＜２ｄである場合に、「音基準モード」への遷移が実行されると、図１１（ｃ）に記載のように各サムネイル画像の表示時間がスケジューリングされる。
【０１６２】
図１１（ｃ）では、サムネイル画像２ａ及び２ｃの表示時間がＴ１で等しくなり、２ｂが時間Ｔ２、２ｄが時間Ｔ３（Ｔ１＜Ｔ２＜Ｔ３）とスケジューリングされている。
【０１６３】
また、「フレーム番号基準モード」とは、サムネイル画像が生成された時点の早い順に、連続する２つのサムネイル画像のフレーム番号の差分が大きいほど、表示時間を長くするモードである。例えば、生成された時点の早い順に連続する２つのサムネイル画像ｎ及びｍのフレーム番号をｆｎ及びｆｍとすると、フレーム番号の差分とは｜ｆｎ−ｆｍ｜をいい、かかるフレーム番号の差分に応じてサムネイル画像ｎの表示時間を決定するモードがフレーム番号基準モードである。
【０１６４】
図１１（ｄ）は、フレーム番号基準モードで表示する場合の各サムネイル画像の表示時間のスケジューリング方法の一例を示している。
【０１６５】
横軸は生成順に隣接するサムネイル画像のフレーム番号の差分であり、縦軸は表示時間を示している。図１１（ｄ）の手法によると、フレーム番号の差分が大きいほど、表示時間が長くなるように設定されている。
【０１６６】
これは、差分が小さい、即ちフレーム番号が近接するものについては、概ね同時期に生成されたサムネイル画像であり、画像の変化も少ないと考えられるため、表示時間を短くし、差分が大きい、即ち生成された時点が離れているものについては、画像の変化が大きいと考えられるから、表示時間を長くするようにスケジューリングすることを示している。
【０１６７】
その他、ヘッダ情報に含まれる、顔情報に基づいてスケジューリングすることも可能である。
【０１６８】
例えば、顔情報として、サムネイル画像の元のフレーム画像に写っている人物の顔の数の多い順に表示時間を長くする、あるいは、顔の面積の大きさの順に表示時間を長くすることもできる。
【０１６９】
上記スケジューリングにより、複数のサムネイル画像が順次表示されている場合に、ユーザの操作キー２６ｃの操作により動画再生が指示されると、当該サムネイル画像が関連付けられている動画の再生が開始される。
【０１７０】
動画再生は、通常、当該動画を構成する複数画像の最初のフレーム番号の画像から開始されるが、動画再生が指示されたタイミングで表示されているサムネイル画像或いはその次に表示されるサムネイル画像のフレーム番号位置から動画再生を開始することもできる。
【０１７１】
図１２は、一つの動画に関連付けられた複数のサムネイル画像の表示手順を表すフローチャートである。
【０１７２】
このフローチャートの実行は、ＣＰＵ２３の制御の下、必要な処理が図１乃至図４に示す撮像装置１の各部のいずれか適切な部位において行われる。
【０１７３】
撮像装置１は、メモリカード１８に記録された動画や静止画を一覧表示するモードにおいて、ユーザの操作キー２６ｃの操作によって一つの動画ファイルが選択され、続いてサムネイル画像表示モードへの遷移指示がなされると、サムネイル画像表示モードへ移行する。
【０１７４】
そして、当該サムネイル画像表示モードにおいて、操作キー２６ｃの操作によりユーザ所望のスケジューリングモードが選択されると、図１３のフローチャートが実行される。
【０１７５】
ステップＳ３０１では、選択された動画に関連付けて生成されたサムネイル画像のヘッダ情報が取得される。
【０１７６】
続くステップＳ３０２では、取得されたヘッダ情報に基づいてサムネイル画像のスケジューリング処理が行われる。
【０１７７】
ステップＳ３０３では、メモリカード１８から、圧縮されたサムネイル画像が伸張処理される。
【０１７８】
ステップＳ３０５では、スケジューリング結果に応じて、伸張処理されたサムネイル画像が映像出力回路２０に備えられたＶＲＡＭへ出力される。
【０１７９】
映像出力回路２０は、スケジューリング結果に従ってサムネイル画像を表示部２７へ表示させる。
【０１８０】
ステップＳ３０６では、操作キー２６ｃからの再生指示があるかどうかを判断する。再生指示がある場合は（ステップＳ３０６のＹｅｓ）、ステップＳ３０７へ移行し、当該サムネイルに関連する動画の再生処理が行われる。
【０１８１】
動画の再生処理における再生開始位置は、通常、当該動画の最初からであるが、キー操作が行われたタイミングで表示されているサムネイル画像或いはその次に表示されるサムネイル画像の元の画像のフレーム番号位置からとすることもできる。
【０１８２】
ステップＳ３０６で再生指示がない場合は（ステップＳ３０６のＮｏ）、ステップＳ３０１へ戻る。
【０１８３】
また、撮像装置１は、上記したように静止画のサムネイル画像、動画についての１枚のサムネイル画像及び動画についての複数枚のサムネイル画像を生成することができる。そして、サムネイル画像表示モードでは、動画用サムネイル画像及び静止画用サムネイル画像を同時に表示することもできる。
【０１８４】
図１３（ａ）は、サムネイル画像表示モードにおける表示部２７の表示画面の表示例を示す。図１３（ａ）において、表示部２７の表示画面は、表示画面の左上の表示エリアＴＮ１、右上の表示エリアＴＮ２、左下の表示エリアＴＮ３及び右下の表示エリアＴＮ４に分割されている。
【０１８５】
表示エリアＴＮ１には、静止画に関連付けられた静止画用サムネイル画像１ａが、表示エリアＴＮ２には動画に関連付けられた複数の動画用サムネイル画像２ａ、２ｂ、２ｃ及び２ｄが、表示エリアＴＮ３には、動画に関連付けられた複数の動画用サムネイル画像３ａ、３ｂ、３ｃ、３ｄ及び３ｅが、表示エリアＴＮ４には、動画に関連付けられた１枚のサムネイル画像４ａが表示されている。メモリカード１８に、他のサムネイル画像が記録されている場合は、操作キー２６ｃに所定の操作を施すことにより、上記他のサムネイル画像が表示される。表示エリアＴＮ２、ＴＮ３及びＴＮ４に付されたマーク７１は、そのサムネイル画像が動画用のサムネイル画像であることを示している。
【０１８６】
また、図１３(a）において、７２は表示画面上のカーソルである。カーソル７２は、操作キー２６ｃに対する操作により表示画面上を移動する。図１３(a)は、表示エリアＴＮ３に表示されているサムネイル画像がカーソル７２によって選択されている状態を示している。各サムネイル画像の右下に表示されている「００１」等の番号は、各サムネイル画像のファイル番号を示している。
【０１８７】
表示エリアＴＮ２及びＴＮ３の複数の動画用サムネイル画像の表示については、ＣＰＵ２３が、ユーザの操作によって選択されたスケジューリングモードに応じて、ヘッダ情報から必要情報を抽出し、抽出された情報に基づいてスケジューリングを行う。
【０１８８】
図１３（ｂ）は、表示エリアＴＮ１、ＴＮ２、ＴＮ３及びＴＮ４へ表示するサムネイル画像のスケジューリングの一例を示している。
【０１８９】
尚、静止画用サムネイル画像１ａ及び１枚のサムネイル画像４ａからなる動画用サムネイル画像については、スケジューリングは行われず、同一のサムネイル画像を終始表示する。
【０１９０】
表示部２７は、スケジューリングに従って、表示エリアＴＮ２及びＴＮ３に表示するサムネイル画像を順次切り替えて表示する。
【０１９１】
また、サムネイル画像のヘッダ情報として、撮影日時又はフレーム番号、サムネイル画像の元の画像に関連付けて記録されている音声レベル等が記録されている場合には、それらをユーザにわかりやすいように表示することもできる。
【０１９２】
図１４は、サムネイル画像を表示する際に、これらの情報を加えて表示した場合の例を示している。図１４において、７３は撮影日時を表示し、７４は音声レベルを三段階のレベルで表現し、さらに７５は、当該サムネイル画像の元画像が動画中のどの位置あたりの画像かを示すバーを表示している。
【０１９３】
以上のように、本実施形態では、動画撮影時にサムネイル画像を生成する場合に、ズーム制御、オートフォーカス制御及びオートアイリス制御の全て、或いはいずれかの組み合わせが概ね停止しているタイミングでサムネイル画像を生成することができる。この場合、ピントや明るさの調整がほぼ完了しているサムネイル画像を生成することができる。換言すると、かかる処理によりレンズや絞りが動作中のため、内容が認識できないようなサムネイル画像が生成されることを軽減することができる。
【０１９４】
このようなサムネイル画像によると、ユーザは、当該サムネイル画像に関連する動画の内容をより容易に認識することができる。
【０１９５】
また、本実施形態において、生成される複数のサムネイル画像は、できるだけ類似しないものとなるため、冗長なサムネイル画像が生成されることを軽減でき、この結果、サムネイル画像の記録に必要な記憶領域を削減することができる。
【０１９６】
また、生成した複数のサムネイル画像を順次表示する場合に、各サムネイル画像の性質や特徴に応じて各サムネイル画像の表示時間を決定できる。したがって、このようなサムネイル画像によると、ユーザは、当該サムネイル画像に関連する動画の内容をより容易に認識することができる。
【図面の簡単な説明】
【０１９７】
【図１】本発明の実施の形態に係る撮像装置の全体構成図である。
【図２】図１の撮像部の内部構成図である。
【図３】図１の映像信号処理部の内部構成図である。
【図４】図３のＡＦ評価値検出部の内部構成図である。
【図５】ユーザのズーム操作の際に出力される信号を示す図である。
【図６】オートフォーカス制御を説明するための図である。
【図７】オートフォーカス制御を説明するための図である。
【図８】オートアイリス制御を説明するための図である。
【図９】図１の撮像装置における、動画用サムネイル画像の生成手順を示すフローチャートである。
【図１０】図９のステップＳ１０４におけるサムネイル画像生成処理の手順を示すフローチャートである。
【図１１】一つの動画に関する複数のサムネイル画像を表示する際の、各サムネイル画像の表示時間の設定方法を説明するための図である。
【図１２】一つの動画に関する複数のサムネイル画像を表示する際の表示手順を示すフローチャートである。
【図１３】表示画面へのサムネイル画像の表示方法の一例を示す図である。
【図１４】サムネイル画像の表示方法の一例を示す図である。
【符号の説明】
【０１９８】
１  撮像装置
１１  撮像部
１２  ＡＦＥ
１３  映像信号処理部
１４  マイクロフォン
１５  音声信号処理部
２６  操作部
２６ａ  録画ボタン
２６ｂ  シャッタボタン
２６ｃ  操作キー
４１  動画／静止画処理部
４２  ＡＦ評価値検出部
４３  ＡＥ評価値検出部
４４  サムネイル生成部
【図１】
2008205953.tif 000003
【図２】
2008205953.tif 000004
【図３】
2008205953.tif 000005
【図４】
2008205953.tif 000006
【図５】
2008205953.tif 000007
【図６】
2008205953.tif 000008
【図７】
2008205953.tif 000009
【図８】
2008205953.tif 000010
【図９】
2008205953.tif 000011
【図１０】
2008205953.tif 000012
【図１１】
2008205953.tif 000013
【図１２】
2008205953.tif 000014
【図１３】
2008205953.tif 000015
【図１４】
2008205953.tif 000016