(57)【要約】【課題】ユーザに余計な手間をかけることなく、ユーザにとって印象の深い画像を動画用のサムネイル画像として生成する。【解決手段】動画撮影中に静止画を撮影可能な撮像装置に用いられるサムネイル生成装置において、動画の撮影中に静止画を撮影した際、その静止画の撮影タイミングと同時にサムネイル画像を生成し、このサムネイル画像を撮影した動画と静止画に関連付ける。動画撮影中に複数の静止画が撮影された場合は、最も特徴的な静止画の縮小画像をサムネイル画像として生成する。【選択図】図６
2007266662.tif 000002
【特許請求の範囲】
【請求項１】
動画撮影中に静止画を撮影可能な撮像装置に備えられた撮像手段からの被写体に応じた撮像信号に基づいて、撮影した動画に関連付けられたサムネイル画像を生成するサムネイル生成装置において、
前記動画の撮影中に静止画を撮影した際、その静止画の撮影タイミングを基準とした所定タイミングにおける前記撮像信号を用いて、前記サムネイル画像を生成する
ことを特徴とするサムネイル生成装置。
【請求項２】
前記静止画を表す前記撮像信号に基づいて、前記サムネイル画像を生成する
ことを特徴とする請求項１に記載のサムネイル生成装置。
【請求項３】
前記動画の撮影中に撮影された前記静止画が複数あった場合に、その複数の静止画の内の何れか１つを採用静止画として選択する選択手段を備え、
選択された前記採用静止画の撮影タイミングを基準とした所定タイミングにおける前記撮像信号を用いて、前記サムネイル画像を生成する
ことを特徴とする請求項１に記載のサムネイル生成装置。
【請求項４】
前記複数の静止画の内の何れの静止画を前記採用静止画として選択するかは、予め設定されている
ことを特徴とする請求項３に記載のサムネイル生成装置。
【請求項５】
前記複数の静止画の夫々の画像内に所定のコントラスト検出領域を設け、撮影された前記静止画を表す前記撮像信号に基づいて、前記静止画ごとに、前記コントラスト検出領域内の画像のコントラスト量を検出するコントラスト検出手段を備え、
前記選択手段は、前記コントラスト量同士の比較に基づいて、前記採用静止画を選択する
ことを特徴とする請求項３に記載のサムネイル生成装置。
【請求項６】
前記複数の静止画の夫々の画像内に所定の検出領域を設け、撮影された前記静止画を表す前記撮像信号に基づいて、前記静止画ごとに、前記検出領域内を複数の輝度領域または複数の色領域に領域分割する領域分割手段を備え、
前記選択手段は、各検出領域内で最大の大きさを有する輝度領域または各検出領域内で最大の大きさを有する色領域を前記静止画ごとに特定し、最大の大きさを有する輝度領域同士または最大の大きさを有する色領域同士の大きさの比較に基づいて、前記採用静止画を選択する
ことを特徴とする請求項３に記載のサムネイル生成装置。
【請求項７】
前記撮像装置は、外部から音の入力を受ける音入力手段を備え、
当該サムネイル生成装置は、撮影された前記静止画ごとに、前記静止画の撮影タイミングに対応する、前記音の強さ若しくは大きさ又は前記音の所定帯域の周波数成分の強さ若しくは大きさを検出する音検出手段を備え、
前記選択手段は、前記音の強さ若しくは大きさ同士又は前記音の所定帯域の周波数成分の強さ若しくは大きさ同士の比較に基づいて、前記採用静止画を選択する
ことを特徴とする請求項３に記載のサムネイル生成装置。
【請求項８】
前記動画の撮影中に撮影された前記静止画が複数あった場合、
その複数の静止画の内の一部又は全部を採用静止画とし、前記採用静止画は複数存在し、
前記採用静止画の夫々に関し、前記採用静止画の撮影タイミングを基準とした所定タイミングにおける前記撮像信号に基づいたサムネイル要素画像を形成し、
各サムネイル要素画像を合成することにより、前記サムネイル画像を生成する
ことを特徴とする請求項１に記載のサムネイル生成装置。
【請求項９】
動画撮影中に静止画を撮影可能な撮像装置において、
請求項１〜請求項８の何れかに記載の撮像手段及びサムネイル生成装置を備えた
ことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に用いられる、サムネイル生成装置に関する。また、本発明は、そのサムネイル生成装置を備えた撮像装置に関する。
【背景技術】
【０００２】
デジタルビデオカメラ等の撮像装置には、サムネイル画像を表示するモードが設けられていることが多い。動画用のサムネイル画像は、通常、動画の録画開始時または録画終了時など、適当なタイミングで生成される（以下、この生成手法を従来手法１という）。この種の撮像装置は、例えば下記特許文献１に開示されている。ユーザは、このサムネイル画像を頼りに、録画した複数の動画の内から再生しようとする動画を選び出す。
【０００３】
また、録画終了後に、ユーザが撮影した動画（動画像）を確認した上で、ユーザが所望の画像（何れかのフレーム画像）をサムネイル画像として設定する、という手法（以下、従来手法２という）も提案されている。
【０００４】
また、撮像装置にサムネイル生成用の専用スイッチを設け、その専用スイッチが押されたタイミングのフレーム画像からサムネイル画像を生成する、という手法（以下、従来手法３という）も提案されている（例えば、下記特許文献２参照）。
【０００５】
一方において、動画撮影中に静止画を同時に撮影する機能を備えた撮像装置も提案されている。この種の撮像装置は、動画撮影中に高解像度の静止画を撮影及び記録することが可能となっていることが多い。これにより、例えば、運動会で子供が走っている様子の一部始終を動画として記録しつつ、ゴールなどの決定的シーンを高解像度の静止画として記録するといった要望に応えることができる。
【０００６】
【特許文献１】特開平１０−２８２５０号公報
【特許文献２】特開２００２−７７８０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来手法１のように、適当なタイミングでサムネイル画像を生成した場合、そのサムネイル画像は撮影した動画の特徴を表していないことが多く、サムネイル画像に基づいて所望の動画ファイルを効率的に選択して再生することが困難な場合が多い。
【０００８】
ユーザにとって印象の深い画像をサムネイル画像にすることができれば、再生時の動画ファイル選定が容易となる。これは、従来手法２または３によって達成可能ではある。しかしながら、従来手法２では、ユーザに余計な手間をとらせてしまう。また、従来手法３を採用しても、結局、録画の最中に専用スイッチを押すという余計な手間をユーザに課すことになる。加えて、専用スイッチを設ける必要がある。
【０００９】
そこで本発明は、ユーザに余計な手間をかけることなく、ユーザにとって印象の深い画像を動画用のサムネイル画像として生成することができるサムネイル生成装置及びこれを備えた撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明に係るサムネイル生成装置は、動画撮影中に静止画を撮影可能な撮像装置に備えられた撮像手段からの被写体に応じた撮像信号に基づいて、撮影した動画に関連付けられたサムネイル画像を生成するサムネイル生成装置において、  前記動画の撮影中に静止画を撮影した際、その静止画の撮影タイミングを基準とした所定タイミングにおける前記撮像信号を用いて、前記サムネイル画像を生成することを特徴とする。
【００１１】
動画撮影中において、ユーザは、被写体の特別な状態を静止画として撮影する。従って、上記のように構成すれば、ユーザに余計な手間をかけることなく、ユーザにとって印象の深い画像或いは動画の特徴を良く表した画像をサムネイル画像として生成することが可能となる。
【００１２】
具体的には例えば、前記静止画を表す前記撮像信号に基づいて、前記サムネイル画像を生成する。
【００１３】
また例えば、前記動画の撮影中に撮影された前記静止画が複数あった場合に、その複数の静止画の内の何れか１つを採用静止画として選択する選択手段を備え、選択された前記採用静止画の撮影タイミングを基準とした所定タイミングにおける前記撮像信号を用いて、前記サムネイル画像を生成する。
【００１４】
具体的には例えば、前記複数の静止画の内の何れの静止画を前記採用静止画として選択するかは、予め設定されている。
【００１５】
また具体的には例えば、前記複数の静止画の夫々の画像内に所定のコントラスト検出領域を設け、撮影された前記静止画を表す前記撮像信号に基づいて、前記静止画ごとに、前記コントラスト検出領域内の画像のコントラスト量を検出するコントラスト検出手段を備え、前記選択手段は、前記コントラスト量同士の比較に基づいて、前記採用静止画を選択する。
【００１６】
また具体的には例えば、前記複数の静止画の夫々の画像内に所定の検出領域を設け、撮影された前記静止画を表す前記撮像信号に基づいて、前記静止画ごとに、前記検出領域内を複数の輝度領域または複数の色領域に領域分割する領域分割手段を備え、前記選択手段は、各検出領域内で最大の大きさを有する輝度領域または各検出領域内で最大の大きさを有する色領域を前記静止画ごとに特定し、最大の大きさを有する輝度領域同士または最大の大きさを有する色領域同士の大きさの比較に基づいて、前記採用静止画を選択する。
【００１７】
また具体的には例えば、前記撮像装置は、外部から音の入力を受ける音入力手段を備え、当該サムネイル生成装置は、撮影された前記静止画ごとに、前記静止画の撮影タイミングに対応する、前記音の強さ若しくは大きさ又は前記音の所定帯域の周波数成分の強さ若しくは大きさを検出する音検出手段を備え、前記選択手段は、前記音の強さ若しくは大きさ同士又は前記音の所定帯域の周波数成分の強さ若しくは大きさ同士の比較に基づいて、前記採用静止画を選択する。
【００１８】
また例えば、前記動画の撮影中に撮影された前記静止画が複数あった場合、その複数の静止画の内の一部又は全部を採用静止画とし、前記採用静止画は複数存在し、前記採用静止画の夫々に関し、前記採用静止画の撮影タイミングを基準とした所定タイミングにおける前記撮像信号に基づいたサムネイル要素画像を形成し、各サムネイル要素画像を合成することにより、前記サムネイル画像を生成する。
【００１９】
また、上記目的を達成するために本発明に係る撮像装置は、動画撮影中に静止画を撮影可能な撮像装置において、上記の撮像手段と上記のサムネイル生成装置と、を備える。
【発明の効果】
【００２０】
本発明によれば、ユーザに余計な手間をかけることなく、ユーザにとって印象の深い画像或いは動画の特徴を良く表した画像をサムネイル画像として生成することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付す。
【００２２】
後に、第１、第２及び第３実施例を説明するが、まず、それらの全てに共通する内容を、図１〜図５を参照して説明する。
【００２３】
図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルスチルカメラやデジタルビデオカメラである。撮像装置１は、動画及び静止画を撮影可能となっていると共に、動画撮影中に静止画を同時に撮影することも可能となっている。
【００２４】
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、映像信号処理部１３と、マイク（音入力手段）１４と、音声信号処理部１５と、圧縮処理部１６と、内部メモリの一例としてのＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１７と、メモリカード１８と、伸張処理部１９と、映像出力回路（ビデオ出力回路）２０と、音声出力回路２１と、ＴＧ（タイミングジェネレータ）２２と、ＣＰＵ（Central Processing Unit）２３と、バス２４と、バス２５と、操作部２６と、表示部２７と、スピーカ２８と、を備えている。操作部２６は、録画ボタン２６ａ、シャッタボタン２６ｂ及び操作キー２６ｃ等を有している。
【００２５】
バス２４には、撮像部１１、ＡＦＥ１２、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９、映像出力回路２０、音声出力回路２１及びＣＰＵ２３が接続されている。バス２４に接続された各部位は、バス２４を介して、各種の信号（データ）のやり取りを行う。
【００２６】
バス２５には、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＳＤＲＡＭ１７に接続されている。バス２５に接続された各部位は、バス２５を介して、各種の信号（データ）のやり取りを行う。
【００２７】
ＴＧ２２は、撮像装置１全体における各動作のタイミングを制御するためのタイミング制御信号を生成し、生成したタイミング制御信号を撮像装置１内の各部に与える。具体的には、タイミング制御信号は、撮像部１１、映像信号処理部１３、音声信号処理部１５、圧縮処理部１６、伸張処理部１９及びＣＰＵ２３に与えられる。タイミング制御信号は、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃを含む。
【００２８】
ＣＰＵ２３は、撮像装置１内の各部の動作を統括的に制御する。操作部２６は、ユーザによる操作を受け付ける。操作部２６に与えられた操作内容は、ＣＰＵ２３に伝達される。ＳＤＲＡＭ１７は、フレームメモリとして機能する。撮像装置１内の各部は、ＳＤＲＡＭ１７へのデータの書き込み及び読み出しを制御するＳＤＲＡＭコントローラ（不図示）を介して、必要に応じ、信号処理時に一時的に各種のデータ（デジタル信号）をＳＤＲＡＭ１７に記録する。
【００２９】
メモリカード１８は、外部記録媒体であり、例えば、ＳＤ（Secure Digital）メモリカードである。メモリカード１８は、撮像装置１に対して着脱自在となっている。メモリカード１８の記録内容は、メモリカード１８の端子を介して又は撮像装置１に設けられた通信用コネクタ部（不図示）を介して、外部のパーソナルコンピュータ等によって自在に読み出し可能である。尚、本実施形態では外部記録媒体としてメモリカード１８を例示しているが、外部記録媒体を、１または複数のランダムアクセス可能な記録媒体（半導体メモリ、メモリカード、光ディスク、磁気ディスク等）で構成することができる。
【００３０】
図２は、図１の撮像部１１の内部構成図である。撮像部１１は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。ドライバ３４は、ズームレンズ３０及びフォーカスレンズ３１の移動並びに絞り１２の開口量の調節を実現するためのモータ等から構成される。
【００３１】
被写体（撮像対象）からの入射光は、光学系３５を構成するズームレンズ３０及びフォーカスレンズ３１、並びに、絞り３２を介して撮像素子３３に入射する。ＴＧ２２は、上記タイミング制御信号に同期した、撮像素子３３を駆動するための駆動パルスを生成し、該駆動パルスを撮像素子３３に与える。
【００３２】
撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、ＴＧ２２からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。
【００３３】
撮像素子３３は、カラー撮影の可能な、単板式の撮像素子となっている。撮像素子３３を構成する各画素には、例えば、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の何れかのカラーフィルタ（不図示）が設けられている。尚、撮像素子３３として、３板式の撮像素子を採用することも可能である。
【００３４】
ＡＦＥ１２は、撮像部１１の出力信号（即ち、撮像素子３３の出力信号）であるアナログの上記電気信号を増幅する増幅回路（不図示）と、増幅された電気信号をデジタル信号に変換するＡ／Ｄ（アナログ−デジタル）変換回路（不図示）と、を備える。ＡＦＥ１２によってデジタル信号に変換された撮像部１１の出力信号は、順次、映像信号処理部１３に送られる。また、ＣＰＵ２３は、撮像部１１の出力信号の信号レベルに基づいて上記増幅回路の増幅度を調整する。
【００３５】
以下、撮像部１１またはＡＦＥ１２から出力される、被写体に応じた信号を、撮像信号と呼ぶ。
【００３６】
図３は、映像信号処理部１３の内部ブロック図である。映像信号処理部１３は、動画／静止画処理部４１と、サムネイル生成部４２と、を備える。
【００３７】
動画／静止画処理部４１は、ＡＦＥ１２からの撮像信号に基づいて、撮像部１１の撮影によって得られる映像（撮影画像）を表す映像信号を生成し、生成した映像信号を圧縮処理部１６に送る。映像信号は、撮影画像の輝度を表す輝度信号Ｙと、撮影画像の色を表す色差信号Ｕ及びＶと、から構成される。動画／静止画処理部４１は、動画の映像信号の生成と静止画の映像信号の生成の双方を行う。
【００３８】
マイク１４は、外部から与えられた音声（音）を、アナログの電気信号に変換して出力する。音声信号処理部１５は、マイク１４から出力される電気信号（音声アナログ信号）をデジタル信号に変換する。この変換によって得られたデジタル信号は、マイク１４に対して入力された音声を表す音声信号として圧縮処理部１６に送られる。
【００３９】
圧縮処理部１６は、映像信号処理部１３（動画／静止画処理部４１）からの映像信号を、所定の圧縮方式を用いて圧縮する。動画に対しては、例えば、ＭＰＥＧ（Moving Picture Experts Group）等の圧縮方式を用いて映像信号の圧縮を行い、静止画に対しては、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮方式を用いて映像信号の圧縮を行う。動画または静止画撮影時において、圧縮された映像信号はメモリカード１８に送られる。
【００４０】
尚、例えば、動画を構成する各撮影画像の画像サイズは、動画／静止画処理部４１等において、必要に応じ、間引き処理等を介して縮小されている。静止画に対しては、例えば、そのような縮小処理は施されない（施してもよい）。
【００４１】
また、圧縮処理部１６は、音声信号処理部１５からの音声信号を、ＡＡＣ（Advanced Audio Coding）等の所定の圧縮方式を用いて圧縮する。動画撮影時において、映像信号処理部１３からの映像信号と音声信号処理部１５からの音声信号は、圧縮処理部１６にて、時間的に互いに関連付けられつつ圧縮され、圧縮後のそれらはメモリカード１８に送られる。
【００４２】
録画ボタン２６ａは、ユーザが動画（動画像）の撮影の開始及び終了を指示するための押しボタンスイッチであり、シャッタボタン２６ｂは、ユーザが静止画（静止画像）の撮影を指示するための押しボタンスイッチである。録画ボタン２６ａに対する操作に従って動画撮影の開始及び終了が実施され、シャッタボタン２６ｂに対する操作に従って静止画撮影が実施される。１つのフレームにて１つのフレーム画像が得られる。各フレームの長さは、例えば１／６０秒である。この場合、１／６０秒の周期にて順次取得されるフレーム画像の集まり（ストリーム画像）が、動画を構成する。
【００４３】
撮像装置１の動作モードには、動画及び静止画の撮影が可能な撮影モードと、メモリカード１８に格納された動画または静止画を表示部２７に再生表示する再生モードと、が含まれる。再生モードには、メモリカード１８に格納された動画または静止画に関連付けられたサムネイル画像を表示部２７に再生表示するサムネイル画像表示モードが、含まれる。操作キー２６ｃに対する操作に応じて、各モード間の遷移は実施される。
【００４４】
撮影モードにおいて、ユーザが録画ボタン２６ａを押下すると、ＣＰＵ２３の制御の下、その押下後の各フレームの映像信号及びそれに対応する音声信号が、順次、圧縮処理部１６を介してメモリカード１８に記録される。つまり、音声信号と共に、各フレームの撮影画像（即ちフレーム画像）が順次メモリカード１８に格納される。動画撮影の開始後、再度ユーザが録画ボタン２６ａを押下すると、動画撮影は終了する。つまり、映像信号及び音声信号のメモリカード１８への記録は終了し、１つの動画の撮影は完了する。
【００４５】
また、撮影モードにおいて、ユーザがシャッタボタン２６ｂを押下すると、静止画の撮影が行われる。具体的には、ＣＰＵ２３の制御の下、その押下直後の１つのフレームの映像信号が、静止画を表す映像信号として、圧縮処理部１６を介してメモリカード１８に記録される。動画の撮影中に静止画を同時撮影することも可能であり、この場合、同一のフレームの撮像信号に基づいて、動画に関する信号処理と静止画に関する信号処理が並行して行われる。尚、共通の回路を時分割で利用して、動画に関する信号処理と静止画に関する信号処理を別個のタイミングで行うようにしてもよい。例えば、静止画に関する信号処理を動画撮影終了後に行う。この場合、例えば、事後的に行うその信号処理に必要な撮像信号（撮影画像）をＳＤＲＡＭ１７に一時記憶させておけばよい。
【００４６】
再生モードにおいて、ユーザが操作キー２６ｃに所定の操作を施すと、メモリカード１８に記録された動画または静止画を表す圧縮された映像信号は、伸張処理部１９に送られる。伸張処理部１９は、受け取った映像信号を伸張して映像出力回路２０に送る。また、撮影モードにおいては、通常、動画または静止画を撮影しているか否かに拘らず、映像信号処理１３による映像信号の生成が逐次行われており、その映像信号は映像出力回路２０に送られる。
【００４７】
映像出力回路２０は、与えられたデジタルの映像信号を表示部２７で表示可能な形式の映像信号（例えば、アナログの映像信号）に変換して出力する。表示部２７は、液晶ディスプレイなどの表示装置であり、映像出力回路２０から出力された映像信号に応じた画像を表示する。即ち、表示部２７は、撮像部１１から現在出力されている撮像信号に基づく画像（現在の被写体を表す画像）、または、メモリカード１８に記録されている動画（動画像）若しくは静止画（静止画像）を、表示する。
【００４８】
また、再生モードにおいて動画を再生する際、メモリカード１８に記録された動画に対応する圧縮された音声信号も、伸張処理部１９に送られる。伸張処理部１９は、受け取った音声信号を伸張して音声出力回路２１に送る。音声出力回路２１は、与えられたデジタルの音声信号をスピーカ２８にて出力可能な形式の音声信号（例えば、アナログの音声信号）に変換してスピーカ２８に出力する。スピーカ２８は、音声出力回路２１からの音声信号を音声（音）として外部に出力する。
【００４９】
尚、外部のテレビジョン等に表示部２７及びスピーカ２８が備えられていると考えることもできる。この場合、映像出力回路２０の出力する映像信号及び音声出力回路２１の出力する音声信号は、図示されないコネクタを介して外部のテレビジョン等に供給される。
【００５０】
また、映像信号処理部１３は、撮影画像中のフォーカス検出領域内のコントラスト量に応じたＡＦ評価値を検出するＡＦ評価値検出回路、撮影画像の明るさに応じたＡＥ評価値を検出するＡＥ評価値検出回路、画像の動きを検出する動き検出回路などを含む。ＣＰＵ２３は、ＡＦ評価値に応じ、図２のドライバ３４を介してフォーカスレンズ３１の位置を調節することにより、被写体の光学像を撮像素子３３の撮像面（受光面）に結像させる。また、ＣＰＵ２３は、ＡＥ評価値に応じ、図２のドライバ３４を介して絞り３２の開口量（及び必要に応じてＡＦＥ１２の増幅回路の増幅度）を調節することにより、受光量（画像の明るさ）を制御する。
【００５１】
図３のサムネイル生成部４２は、静止画を撮影する際、ＣＰＵ２３の制御の下、静止画の撮影タイミングにおける撮像信号に基づいて静止画についてのサムネイル画像を生成する。より具体的には、サムネイル画像を表す、輝度信号Ｙ並びに色差信号Ｕ及びＶから成る映像信号を生成する。このサムネイル画像は、撮影及び記録された１枚の静止画（静止画像）を、間引き処理等によって縮小した縮小画像である。静止画についてのサムネイル画像（サムネイル画像を表す映像信号）は、撮影した静止画に関連付けられつつ圧縮処理部１６による圧縮（ＪＰＥＧなど）を介してメモリカード１８に記録される。撮影した静止画と関連付けられた上記サムネイル画像を、静止画用サムネイル画像と呼ぶ。
【００５２】
また、サムネイル生成部４２は、動画を撮影する際、ＣＰＵ２３の制御の下、所定タイミングにおける撮像信号に基づいて動画についてのサムネイル画像を生成する。より具体的には、サムネイル画像を表す、輝度信号Ｙ並びに色差信号Ｕ及びＶから成る映像信号を生成する。この生成のタイミングについては後に詳説する。動画についてのサムネイル画像は、撮影した動画に関連付けられつつ圧縮処理部１６による圧縮（ＪＰＥＧなど）を介してメモリカード１８に記録される。撮影した動画に関連付けて記録するために生成された上記サムネイル画像を、動画用サムネイル画像と呼ぶ。尚、動画用サムネイル画像の画像サイズは、間引き処理等を介して、動画を構成する各画像の画像サイズ（又は静止画の画像サイズ）よりも小さくされる。但し、この画像サイズの縮小は必須ではない。
【００５３】
サムネイル画像表示モードにおいて、メモリカード１８に格納された動画用及び静止画用サムネイル画像は、伸張処理部１９による伸張処理及び映像出力回路２０による変換処理を介して、表示部２７に表示される。
【００５４】
図４に、サムネイル画像表示モードにおける表示部２７の表示画面の表示例を示す。図４では、表示部２７の表示エリアは４分割され、表示エリアの左上、右上、左下及び右下に、それぞれ、サムネイル画像ＴＮ１、ＴＮ２、ＴＮ３及びＴＮ４が表示されている。メモリカード１８に、他のサムネイル画像が格納されている場合は、操作キー２６ｃに所定の操作を施すことにより、上記他のサムネイル画像が表示される。サムネイル画像ＴＮ２及びＴＮ３に付されたマーク７１は、そのサムネイル画像が動画用のサムネイル画像であることを示している。従って、サムネイル画像ＴＮ２及びＴＮ３は動画用サムネイル画像であり、サムネイル画像ＴＮ１及びＴＮ４は静止画用サムネイル画像である。
【００５５】
図４において、７２は表示画面上のカーソルである。カーソル７２は、操作キー２６ｃに対する操作により表示画面上を移動する。図４は、サムネイル画像ＴＮ３がカーソル７２によって選択されている状態を示している。各サムネイル画像の右下に表示されている「００１」等の番号は、各サムネイル画像のファイル番号を示している。
【００５６】
カーソル７２によって或るサムネイル画像を選択している状態において、所定のキー操作を行うと、そのサムネイル画像に関連付けられた動画または静止画がメモリカード１８から読み出される。そして、読み出された動画または静止画が表示部２７の表示画面全体を使って表示される。例えば、サムネイル画像ＴＮ３に対応する動画が再生されるようにキー操作を施した場合、表示部２７の表示画面は図４に示す状態から図５に示す状態に遷移し、サムネイル画像ＴＮ３に対応する動画が表示部２７の表示画面全体を使って再生表示される。この状態で、再生を停止するためのキー操作を施すと、表示画面は図４に示す状態に戻る。
【００５７】
次に、動画用サムネイル画像の生成手法について説明する。採用可能な生成手法を例示する実施例として、以下に、第１、第２及び第３実施例を例示する。以下、特に記述しない限り、或る１つの動画に着目して説明を行う。
【００５８】
＜＜第１実施例＞＞
まず、第１実施例について説明する。図６は、第１実施例に係る、動画用サムネイル画像の生成手順を表すフローチャートである。第１実施例は、動画撮影中に静止画が１枚だけ撮影された場合を想定している。
【００５９】
まず、ステップＳ１において、ＣＰＵ２３は、撮影モードにおいて録画ボタン２６ａが押下されたかどうかを判断する。押下されていない場合はステップＳ１の処理が繰り返され、押下された場合はステップＳ２に移行する（ステップＳ１のＹｅｓ）。
【００６０】
ステップＳ２に移行すると、動画に関する信号処理が開始される（録画が開始される）。具体的には、ステップＳ２に移行してから録画ボタン２６ａが再度押下されたことに起因してステップＳ７に移行するまでの間、ＣＰＵ２３の制御の下、各フレームの撮影画像を表す映像信号（即ち動画）及びそれに対応する音声信号が、順次、圧縮処理部１６を介してメモリカード１８に記録されていく。
【００６１】
ステップＳ２の処理の後、ステップＳ３に移行する。ステップＳ３において、ＣＰＵ２３は、録画ボタン２６ａが再度押下されたか、即ち録画停止が指示されたかを判断する。録画ボタン２６ａが再度押下された場合は（ステップＳ３のＹｅｓ）ステップＳ７に移行し、録画ボタン２６ａが再度押下されていない場合は（ステップＳ３のＮｏ）ステップＳ４に移行する。
【００６２】
ステップＳ４において、ＣＰＵ２３は、静止画の撮影を指示するためのシャッタボタン２６ｂが押下されたか否かを判断する。シャッタボタン２６ｂが押下されていない場合は（ステップＳ４のＮｏ）ステップＳ３に戻り、シャッタボタン２６ｂが押下された場合は（ステップＳ４のＹｅｓ）ステップＳ５に進む。
【００６３】
ステップＳ５では、動画に関する信号処理に平行して、静止画に関する信号処理が行われる。具体的には、動画に関する信号処理に平行して、ＣＰＵ２３の制御の下、動画／静止画処理部４１は、現時点のフレーム（以下、静止画撮影フレームという）の撮像信号から静止画を表す映像信号を生成する。そして、ステップＳ６にて、サムネイル生成部４２は、静止画撮影フレームの撮像信号から動画用サムネイル画像を生成する。この結果、動画用サムネイル画像は、撮影した静止画の縮小画像（或いは静止画と同じ画像）となる。
【００６４】
ステップＳ５及びＳ６の処理は平行して行われる。ステップＳ５にて生成された、静止画を表す映像信号は、圧縮処理部１６を介してメモリカード１８に記録される。ステップＳ６にて生成された、動画用サムネイル画像を表す映像信号は、ＳＤＲＡＭ１７に一時的に記録される。ステップＳ６の処理を終えると、ステップＳ３に戻る。
【００６５】
録画停止が指示された場合にステップＳ３から移行するステップＳ７では、動画に関する信号処理が終了する（録画が終了する）。つまり、ステップＳ２から行われていた、各フレームの撮影画像を表す映像信号及びそれに対応する音声信号をメモリカード１８に記録する処理を停止する。これに続くステップＳ８において、ステップＳ６にて生成された動画用サムネイル画像（動画用サムネイル画像を表す映像信号）が、撮影された動画に関連付けられつつメモリカード１８に記録される。ステップＳ８の処理を終えると、図６の処理は終了する。
【００６６】
動画撮影中において、ユーザは、被写体の特別な状態を静止画として撮影する。動画撮影中に撮影された静止画は、ユーザにとって特別な意味を持つ画像といえる。本実施例によれば、同時撮影された静止画に対応する画像が動画用サムネイル画像として動画に関連付けられるため、動画用サムネイル画像は動画の特徴を良く表した画像或いはユーザにとって印象の深い画像となる。この結果、所望の動画の探索の容易化が図られ、ユーザの利便性が向上する。また、静止画を撮影する際、ユーザは必然的にシャッタボタン２６ｂを操作するため、動画用サムネイル画像を選定するに当たり、ユーザに余計な操作負担等をかけることもない。
【００６７】
尚、典型的な例として、静止画撮影フレームの撮像信号から動画用サムネイル画像を生成する例を上述したが、静止画撮影フレームのｋフレーム前またはｋフレーム後の撮像信号から動画用サムネイル画像を生成するようにしても構わない（ｋは、数値が予め定められた自然数であり、例えば１〜数１０である）。この場合、ステップＳ６で生成される動画用サムネイル画像は、静止画撮影のｋフレーム前またはｋフレーム後の撮影画像の縮小画像（或いは撮影画像そのもの）となる。このことは、後述する第２及び第３実施例においても同じである。動画用サムネイル画像の作成元の画像が、完全に撮影した静止画と一致していなくても、上述と同様の効果を得ることが可能である。
【００６８】
また、第１実施例並びに後述する第２及び第３実施例において、動画撮影中に一度もシャッタボタン２６ｂが押下されなかった場合は、予め設定されたタイミングの撮影画像の縮小画像（或いは撮影画像そのもの）が、動画用サムネイル画像として、撮影した動画に関連付けられつつメモリカード１８に記録される。例えば、動画の撮影直前もしくは直後のフレームの画像、動画の先頭もしくは末尾の画像、または、動画撮影を開始してから一定時間経過後のフレームの画像、を基に動画用サムネイル画像を生成すればよい。
【００６９】
また、静止画用サムネイル画像は、例えばステップＳ６にて生成される。生成された静止画用サムネイル画像は、ステップＳ５にて生成された静止画と関連付けられつつ、圧縮処理部１６を介してメモリカード１８に記録される。典型的には、ステップＳ６にて生成される、動画用サムネイル画像と静止画用サムネイル画像は、同じものである。
【００７０】
＜＜第２実施例＞＞
次に、第２実施例について説明する。図７は、第２実施例に係る、動画用サムネイル画像の生成手順を表すフローチャートである。
【００７１】
第２実施例に係る生成手順は、ステップＳ１〜Ｓ７と、ステップＳ１０〜Ｓ１２と、から成る。ステップＳ１〜Ｓ７の処理は、第１実施例に係る生成手順のそれらと同じであるので、それらに関する重複する説明を省略する。
【００７２】
第２実施例は、動画撮影中に静止画が複数枚撮影された場合を想定している。説明の具体化のため、動画撮影中に２枚の静止画が撮影された場合を、適宜、例に挙げる。
【００７３】
動画撮影中において、第１回目のシャッタボタン２６ｂの押下が成されたとき、ステップＳ５にて、第１の静止画を表す映像信号が生成され、その映像信号はメモリカード１８に記録される。一方で、ステップＳ６にて、第１の静止画の撮影が成されたフレーム（以下、第１の静止画撮影フレームという）の撮像信号から第１の動画用サムネイル画像が生成される。
【００７４】
その後、継続して動画撮影が行われている間において、第２回目のシャッタボタン２６ｂの押下が成されたとき、ステップＳ５にて、第２の静止画を表す映像信号が生成され、その映像信号はメモリカード１８に記録される。一方で、ステップＳ６にて、第２の静止画の撮影が成されたフレーム（以下、第２の静止画撮影フレームという）の撮像信号から第２の動画用サムネイル画像が生成される。
【００７５】
第１と第２の静止画撮影フレームは異なるフレームであり、第１と第２の動画用サムネイル画像は異なる動画用サムネイル画像である。第１及び第２の動画用サムネイル画像を表す映像信号は、ＳＤＲＡＭ１７に一時的に記録される。尚、動画撮影中にｎ枚の静止画が撮影された場合は、上述の処理と同様にして、ｎ枚の動画用サムネイル画像が作成される（ｎは３以上の整数）。
【００７６】
録画停止が指示された場合にステップＳ３から移行するステップＳ７では、動画に関する信号処理が終了する（録画が終了する）。第２実施例では、ステップＳ７の処理の後、ステップＳ１０に移行する。ステップＳ１０では、動画撮影中に静止画が複数枚撮影されたか否かが判断される。動画撮影中に静止画が１枚しか撮影されていない場合は（ステップＳ１０のＮｏ）ステップＳ１２に移行し、第１実施例におけるステップＳ８と同じ処理が行われる。つまり、ステップＳ６にて生成された動画用サムネイル画像（動画用サムネイル画像を表す映像信号）が、撮影された動画に関連付けられつつメモリカード１８に記録される。
【００７７】
上述したように、静止画が複数枚撮影されていた場合は（ステップＳ１０のＹｅｓ）ステップＳ１０からステップＳ１１に移行する。ステップＳ１１では、所定の規則に則って、複数枚作成された動画用サムネイル画像から１つの動画用サムネイル画像を選択する。ステップＳ１１による選択を終えるとステップＳ１２に移行し、ステップＳ１１にて選択された１つの動画用サムネイル画像（動画用サムネイル画像を表す映像信号）が、撮影された動画に関連付けられつつメモリカード１８に記録される。ステップＳ１２の処理を終えると、図７の処理は終了する。
【００７８】
以下に、ステップＳ１１のおける選択手法として採用可能な第１、第２、第３及び第４選択手法を例示する。ステップＳ１１において選択される動画用サムネイル画像に対応する静止画を、採用静止画と呼ぶ。上記の第１の静止画が採用静止画である場合は、ステップＳ１１において、第１の動画用サムネイル画像が動画に関連付けられるべきものとして選択される。実際には、ステップＳ１１では採用静止画を選択する。これによって、自動的に、ステップＳ１１にて選択すべき動画用サムネイル画像が決定する。
【００７９】
上述の説明から明らかなことではあるが、ステップＳ１１にて選択される動画用サムネイル画像は、採用静止画の撮影タイミング（静止画撮影フレーム）を基準とした所定タイミング（静止画撮影フレームそのもの又はその前後のフレームなど）における撮像信号に基づいて、生成される。
【００８０】
尚、採用静止画を選択する選択手段は、主として、ＣＰＵ２３と映像信号処理部１３とによって実現される。
【００８１】
［第１選択手法］
まず、第１選択手法について説明する。第１選択手法においては、撮影された複数枚の静止画の内、何れの静止画を採用静止画として選択するかが、予め定められている。
【００８２】
例えば、動画撮影中に最初に撮影された静止画または最後に撮影された静止画が採用静止画として選択される。例えば、動画撮影中に第１、第２、・・・、第ｎの静止画がこの順番で撮影された場合（ｎは３以上の整数）、第１または第ｎの静止画が採用静止画として選択される。勿論、第２〜第（ｎ−１）の静止画の何れかを採用静止画として選択しても構わない。
【００８３】
［第２選択手法］
次に、第２選択手法について説明する。第２選択手法では、画像のコントラスト量を参照する。
【００８４】
図８において、７５は、１つのフレーム分の撮像信号から得られる画像の全体領域を表しており、７６は、その全体領域の一部の領域を表している。７６を、コントラスト検出領域と呼ぶ。コントラスト検出領域７６は、例えば、全体領域７５の中央付近に設けられる。図８では、コントラスト検出領域７６が四角形状の１つの領域となっているが、全体領域７５内に設けられた複数の領域にてコントラスト検出領域７６を構成するようにしてもよい。また、全体領域７５そのものを、コントラスト検出領域７６にしても構わない。また、全体領域７５を、図２の撮像素子３３の撮像領域全体と捉えてもよい。
【００８５】
動画撮影中に撮影された静止画の夫々に対して、コントラスト検出領域７６を定義する。第２選択手法を採用する場合に用いられるコントラスト検出部５０を、図９に示す。コントラスト検出部５０は、図１の映像信号処理部１３内に設けられる。コントラスト検出部５０は、抽出部５１、ＨＰＦ（ハイパスフィルタ）５２及び積算部５３を、有して構成される。
【００８６】
抽出部５１には、撮影した静止画を表す、動画／静止画処理部４１にて生成された映像信号或いはＡＦＥ１２からの撮像信号が与えられる。抽出部５１は、与えられた映像信号或いは撮像信号より輝度信号を抽出する。この際、コントラスト検出領域７６内の輝度信号のみを抽出する。ＨＰＦ５２は、抽出部５１によって抽出された輝度信号中の所定の高域周波数成分のみを抽出する。周知の如く、抽出される高域周波数成分は、コントラスト検出領域７６内の画像のコントラスト量に概ね比例して大きくなる。
【００８７】
積算部５３は、ＨＰＦ５２によって抽出された高域周波数成分を積算することにより、コントラスト検出領域７６内の画像のコントラスト量に応じたコントラスト評価値を求める。コントラスト評価値は、撮影された静止画毎に算出され、ＣＰＵ２３に伝達される。コントラスト評価値は、上記のコントラスト量が増加するにつれて増加する。
【００８８】
ＣＰＵ２３は、静止画ごとに算出されたコントラスト評価値同士を比較する。そして、最も大きなコントラスト評価値に対応する静止画、即ち、コントラスト検出領域７６内の画像のコントラスト量が最も大きな静止画を採用静止画として選択し、これによって、ステップＳ１１で選択すべき動画用サムネイル画像を決定する。
【００８９】
空などが背景となっている撮影の構図において、人物等の被写体を小さく配置する場合と該被写体を大きく拡大して配置する場合とを比較した場合、通常、画像のコントラスト量は後者の方が大きくなる。また、通常、後者の方がユーザにとって印象の深い写真となる。従って、第２選択手法を採用すれば、動画用サムネイル画像は動画の特徴を良く表した画像或いはユーザにとって印象の深い画像となる。この結果、所望の動画の探索の容易化が図られ、ユーザの利便性が向上する。
【００９０】
［第３選択手法］
次に、第３選択手法について説明する。第３選択手法では、輝度情報または色情報に基づく領域分割を利用する。
【００９１】
図１０において、７５は、１つのフレーム分の撮像信号から得られる画像の全体領域を表しており、７７は、その全体領域の一部の領域を表している。７７を、検出領域と呼ぶ。検出領域７７は、例えば、全体領域７５の中央付近に設けられる。また、全体領域７５を、図２の撮像素子３３の撮像領域全体と捉えてもよい。
【００９２】
動画撮影中に撮影された静止画の夫々に対して、検出領域７７を定義する。第３選択手法の処理手順のフローチャートを示す図１１を参照して説明を行う。
【００９３】
まず、撮影された複数の静止画の内の１つの静止画に着目する。そして、ステップＳ５１において、静止画撮影フレームにおける撮像信号に基づき、検出領域７７内を複数の輝度領域または複数の色領域に領域分割する。
【００９４】
検出領域７７を複数の輝度領域に領域分割する場合を説明する。検出領域７７内の各部の輝度は、検出領域７７に対応する画素からの撮像信号に基づいて特定される。各画素に対応する輝度信号は、例えば、０〜２５５の値をとりうるが、０〜２５５の数値範囲を複数段階に分類する。例えば、３０ずつ刻みで９つの輝度区分に分類する。図１２に示す如く、輝度信号値が０〜３０の画素は第１輝度区分に、輝度信号値が３１〜６０の画素は第２輝度区分に、・・・、輝度信号値が２１１〜２４０の画素は第８輝度区分に、輝度信号値が２４１〜２５５の画素は第９輝度区分に分類される。
【００９５】
このように輝度信号値を９つの輝度区分にて分類した場合、検出領域７７内は、第１、第２、・・・及び第９輝度領域から成る９つの輝度領域にて領域分割されることになる。第１、第２、・・・及び第９輝度領域は、夫々、第１輝度区分に分類された画素、第２輝度区分に分類された画素、・・・、及び第９輝度区分に分類された画素から構成される。同一の輝度領域は、類似する輝度情報を有する画素から構成される。尚、撮像信号によっては、検出領域７７内は９未満の輝度領域に領域分割されることになる。例えば、一様な平坦画像が与えられた場合、検出領域７７内は単一の輝度領域で占められる。
【００９６】
ステップＳ５１に続くステップＳ５２では、各輝度領域を構成する画素数をカウントすることにより、最大の大きさ（面積）を有する輝度領域（以下、最大分割領域Ａという）を特定する。或る輝度領域の大きさ（面積）は、その輝度領域を構成する画素数に比例する。
【００９７】
ステップＳ５１及びＳ５２の処理は、撮影した静止画ごとに行われ、静止画ごとに、最大分割領域Ａが特定される。ステップＳ５３では、全ての静止画に対してステップＳ５１及びＳ５２が実施されたかが判断される。全ての静止画に対してステップＳ５１及びＳ５２が実施されると、ステップＳ５４に移行する。ステップＳ５４において、例えばＣＰＵ２３が、最大分割領域Ａ同士の大きさの比較を行う。そして、その比較の結果、最も大きな大きさを有する最大分割領域Ａに対応する静止画を採用静止画として選択する。
【００９８】
例えば、第１及び第２の静止画に対応する最大分割領域Ａの大きさが、それぞれ「１０」及び「１５」である場合、第２の静止画が採用静止画として選択される。
【００９９】
検出領域７７を複数の色領域に領域分割する場合も同様の処理となる。検出領域７７を複数の色領域に領域分割する場合を説明する。
【０１００】
検出領域７７内の各部の色（色相）は、検出領域７７に対応する画素からの撮像信号に基づいて特定される。この撮像信号に基づき、各画素に対応する色を、複数の色区分にて分類する。例えば、第１〜第９色区分の９つの色区分にて分類する
【０１０１】
各画素に対応する色を９つの色区分にて分類した場合、検出領域７７内は、第１、第２、・・・及び第９色領域から成る９つの色領域にて領域分割されることになる。第１、第２、・・・及び第９色領域は、夫々、第１色区分に分類された画素、第２色区分に分類された画素、・・・、及び第９色区分に分類された画素から構成される。同一の色領域は、類似する色情報を有する画素から構成される。尚、撮像信号によっては、検出領域７７内は９未満の色領域に領域分割されることになる。例えば、一様な平坦画像が与えられた場合、検出領域７７内は単一の色領域で占められる。
【０１０２】
ステップＳ５２では、各色領域を構成する画素数をカウントすることにより、最大の大きさ（面積）を有する色領域（最大分割領域Ｂという）を特定する。或る色領域の大きさ（面積）は、その色領域を構成する画素数に比例する。
【０１０３】
ステップＳ５１及びＳ５２の処理は、撮影した静止画ごとに行われ、静止画ごとに、最大分割領域Ｂが特定される。ステップＳ５３では、全ての静止画に対してステップＳ５１及びＳ５２が実施されたかが判断される。全ての静止画に対してステップＳ５１及びＳ５２が実施されると、ステップＳ５４に移行する。ステップＳ５４において、例えばＣＰＵ２３が、最大分割領域Ｂ同士の大きさの比較を行う。そして、その比較の結果、最も大きな大きさを有する最大分割領域Ｂに対応する静止画を採用静止画として選択する。
【０１０４】
例えば、図１３（ａ）のような、白の背景に緑色を有した被写体７８が比較的小さく配置された構図と、図１３（ｂ）のような、白の背景に緑色を有した被写体７８が比較的大きく配置された構図と、の比較を考える。この場合、被写体７８が大きく写された後者の方が最大分割領域Ａ及びＢは大きくなる。
【０１０５】
ユーザは、着目している被写体が画像上で大きな面積を占めるように撮影を行うことが多く、また、そのような撮影によって得られた画像ほど、ユーザにとって印象が深い。従って、第３選択手法を採用すれば、動画用サムネイル画像は動画の特徴を良く表した画像或いはユーザにとって印象の深い画像となる。この結果、所望の動画の探索の容易化が図られ、ユーザの利便性が向上する。
【０１０６】
尚、ステップＳ５１の処理（領域分割手段）は、主として、ＣＰＵ２３または映像信号処理部１３とによって実現される。
【０１０７】
［第４選択手法］
次に、第４選択手法について説明する。第４選択手法では、動画撮影中にマイク１４を介して入力された音の強さに着目する。
【０１０８】
音声信号処理部１５は、動画撮影中においてマイク１４を介して入力された、音の強さ若しくは大きさまたは音の所定帯域の周波数成分の強さ若しくは大きさを検出する機能を備え、音の強さ若しくは大きさまたは音の所定帯域の周波数成分の強さ若しくは大きさに応じた音強度値を、撮影された静止画ごとに算出する。以下、音強度値が、音の強さまたは音の所定帯域の周波数成分の強さに応じた値であるとして説明を行う。音強度値を、音の大きさまたは音の所定帯域の周波数成分の大きさに応じた値とする場合は、音に関する下記の「強さ」の文言を、「大きさ」に読み替えればよい。
【０１０９】
或る静止画に対応する音強度値は、例えば、その静止画に対応する音評価期間における、音の強さの平均値若しくはピーク値（最大値）または音の所定帯域の周波数成分の強さの平均値若しくはピーク値（最大値）である。音評価期間は、静止画撮影フレームを含む期間であり、例えば、静止画撮影フレームの期間そのもの、または、静止画撮影フレームを中心とした所定の複数フレームの期間である。
【０１１０】
音強度値は、音の強さが増大するにつれて大きくなる。上記の所定帯域の周波数成分とは、例えば、人の音声の周波数帯域成分または可聴周波数帯域成分である。音声信号処理部１５は、バンドパスフィルタ等を用いて、マイク１４を介して入力された音声信号から上記所定帯域の周波数成分を抽出する。
【０１１１】
ＣＰＵ２３は、動画撮影中に撮影した静止画ごとに算出された音強度値同士を比較する。そして、例えば、最大の音強度値に対応する静止画を採用静止画として選択する。
【０１１２】
音楽会やパーティ会場の様子を撮影している場合において、音の強さが大きくなっている状態は、撮影現場が盛り上がっている状態と一致している、と考えることができる。このため、大きな音強度値に対応する静止画は、ユーザにとって印象が深いと考えることができる。従って、第４選択手法を採用すれば、動画用サムネイル画像は動画の特徴を良く表した画像或いはユーザにとって印象の深い画像となる。この結果、所望の動画の探索の容易化が図られ、ユーザの利便性が向上する。
【０１１３】
＜＜第３実施例＞＞
次に、第３実施例について説明する。図１４は、第３実施例に係る、動画用サムネイル画像の生成手順を表すフローチャートである。
【０１１４】
第３実施例に係る生成手順は、ステップＳ１〜Ｓ７と、ステップＳ１０、Ｓ２１及びＳ２２と、から成る。ステップＳ１〜Ｓ７の処理は第１実施例に係る生成手順のそれらと同じであり、ステップＳ１０の処理は第２実施例に係る生成手順のそれらと同じであるため、それらに関する重複する説明を省略する。
【０１１５】
第３実施例も、第２実施例と同様、動画撮影中に静止画が複数枚撮影された場合を想定している。
【０１１６】
第２実施例において、第１の静止画撮影フレームにて第１の静止画が撮影され、その後、第２の静止画撮影フレームにて第２の静止画が撮影される場合を説明した。第３実施例でも、これらの第１及び第２の静止画が撮影された場合を想定する。そして、第２の静止画の撮影後、第３の静止画撮影フレームにて第３の静止画が撮影され、更にその後、第４の静止画撮影フレームにて第４の静止画が撮影される場合を想定する。
【０１１７】
第１、第２、第３及び第４の静止画撮影フレームの撮像信号から、それぞれ、ステップＳ６にて、第１、第２、第３及び第４の動画用サムネイル画像が生成される。本実施例において、ステップＳ６で生成される各動画用サムネイル画像は、１つの動画に関連付けられるべき動画用サムネイル画像の一部となる。このため、本実施例において、ステップＳ６で生成される第１、第２、第３及び第４の動画用サムネイル画像を、夫々、第１、第２、第３及び第４のサムネイル要素画像と呼ぶ。
【０１１８】
第３実施例でも、第２実施例と同様、ステップＳ７の処理の後、ステップＳ１０に移行する。ステップＳ１０では、動画撮影中に静止画が複数枚撮影されたか否かが判断される。動画撮影中に静止画が１枚しか撮影されていない場合は（ステップＳ１０のＮｏ）ステップＳ２２に移行し、第１実施例におけるステップＳ８と同じ処理が行われる。
【０１１９】
上述したように、静止画が複数枚撮影されていた場合は（ステップＳ１０のＹｅｓ）ステップＳ１０からステップＳ２１に移行する。ステップＳ２１では、ステップ６で生成した４つのサムネイル要素画像を合成することにより、最終的な動画用サムネイル画像を生成する。ステップＳ２１による合成を終えるとステップＳ２２に移行し、ステップＳ２１の合成によって得られた動画用サムネイル画像（動画用サムネイル画像を表す映像信号）が、撮影された動画に関連付けられつつメモリカード１８に記録される。ステップＳ２２の処理を終えると、図１４の処理は終了する。
【０１２０】
ステップＳ２１のおける合成手法として採用可能な第１及び第２合成手法を例示する。本実施例において、第１〜第４静止画は全て採用静止画となる。
【０１２１】
［第１合成手法］
まず、第１合成手法について説明する。図１５に、第１合成手法による合成によって得られる動画用サムネイル画像を、８０にて表す。図１５において、８１、８２、８３及び８４は、夫々、第１、第２、第３及び第４のサムネイル要素画像である。動画用サムネイル画像８０の画像サイズは、例えば、図４のサムネイルＴＮ３の画像サイズと同じである。このため、動画用サムネイル画像８０を作成する際、各サムネイル要素画像の画像サイズは、適宜、間引き処理等を介して縮小される。
【０１２２】
第１合成手法を採用した場合、サムネイル画像表示モードにおいて、例えばサムネイルＴＮ３が表示されている部分に動画用サムネイル画像８０が表示されることになる。
【０１２３】
尚、５以上の静止画を撮影した場合は、その内の４枚の静止画を採用静止画として選択し、各採用静止画に対応する合計４つのサムネイル要素画像を合成して動画用サムネイル画像を生成する。例えば、最初の４枚の静止画、または、最後の４枚の静止画を採用静止画として選択する。
【０１２４】
［第２合成手法］
次に、第２合成手法について説明する。第２合成手法を採用した場合、ステップＳ２１の合成によって得られた動画用サムネイル画像は、図４のサムネイルＴＮ３と同じ画像サイズを有する複数の画像から成る。第１〜第４の静止画が撮影された場合、合成によって得られた動画用サムネイル画像は、夫々がサムネイルＴＮ３と同じ画像サイズを有する第１〜第４のサムネイル要素画像から成る。
【０１２５】
サムネイルＴＮ３に対応する動画の撮影中に第１〜第４の静止画が撮影された場合において、サムネイル画像表示モードを選択すると、まず、サムネイルＴＮ３の部分に第１のサムネイル要素画像が表示される。そして、所定の時間（例えば１秒）が経過すると、サムネイルＴＮ３の部分に第２のサムネイル要素画像が更新表示される。同様に、所定の時間が経過するごとに、サムネイルＴＮ３の部分に表示される画像が、第３、第４のサムネイル要素画像に順次更新され、その次には再度、第１のサムネイル要素画像が表示される。
【０１２６】
上記の表示の更新は、カーソル７２がサムネイルＴＮ３の部分にあるときのみ、或いは、カーソル７２の位置に関係なく実施される。
【０１２７】
＜＜変形等＞＞
上述の各実施例に記載した内容は、矛盾なき限り、他の実施例にも適用可能である。
【０１２８】
また、動画用サムネイル画像が実際に生成されるタイミングは任意である。動画撮影中にＡＦＥ１２からの撮像信号を受けて動画用サムネイル画像を生成するようにしても良いし、動画撮影時に動画用サムネイル画像の基となる画像を選んでおき、後から（例えば、表示部２７に表示する際に）その画像を用いて動画用サムネイル画像を生成するようにしてもよい。いずれにしても、同一の動画用サムネイル画像の生成の基となる撮像信号は同じである。
【０１２９】
上述したように、メモリカード１８の記録内容は、外部のパーソナルコンピュータ等によって自在に読み出し可能となっている。メモリカード１８の記録内容を表示部２７及びスピーカ２８にて再生（映像表示及び音声出力）することができると上述したが、メモリカード１８の記録内容の再生は、表示部とスピーカを備えたパーソナルコンピュータ等によっても同様に実現可能である。
【０１３０】
尚、サムネイル生成装置は、主として、サムネイル生成部４２から構成される。サムネイル生成装置に、ＣＰＵ２３が含まれていると考えても構わない。
【０１３１】
また、動画用サムネイル画像は動画（以下、サムネイル動画という）であっても構わない。撮影した動画に対応する音声信号に基づいてサムネイル音声を作成し、サムネイル動画を表示する際、そのサムネイル音声をスピーカ２８を介して同時に出力するようにしてもよい。尚、サムネイル画像が静止画である場合においても、上記サムネイル音声の出力は可能である。
【図面の簡単な説明】
【０１３２】
【図１】本発明の実施の形態に係る撮像装置の全体ブロック図である。
【図２】図１の撮像部の内部ブロック図である。
【図３】図１の映像信号処理部の内部ブロック図である。
【図４】サムネイル画像表示モードにおける、図１の表示部の表示画面の表示例を示す図である。
【図５】図４の表示画面から遷移しうる、動画の再生表示画面を示す図である。
【図６】本発明の第１実施例に係る、動画用サムネイル画像の生成手順を表すフローチャートである。
【図７】本発明の第２実施例に係る、動画用サムネイル画像の生成手順を表すフローチャートである。
【図８】本発明の第２実施例に係る、第２選択手法を説明するための図である。
【図９】本発明の第２実施例に係る、第２選択手法を説明するための図である。
【図１０】本発明の第２実施例に係る、第３選択手法を説明するための図である。
【図１１】本発明の第２実施例に係る、第３選択手法を説明するためのフローチャートである。
【図１２】本発明の第２実施例に係る、第３選択手法を説明するための図である。
【図１３】本発明の第２実施例に係る、第３選択手法を説明するための図である。
【図１４】本発明の第３実施例に係る、動画用サムネイル画像の生成手順を表すフローチャートである。
【図１５】本発明の第３実施例に係る、合成された動画用サムネイル画像例を示す図である。
【符号の説明】
【０１３３】
１  撮像装置
１１  撮像部
１２  ＡＦＥ
１３  映像信号処理部
１４  マイク
１５  音声信号処理部
２６  操作部
２６ａ  録画ボタン
２６ｂ  シャッタボタン
２６ｃ  操作キー
４１  動画／静止画処理部
４２  サムネイル生成部
【図１】
2007266662.tif 000003
【図２】
2007266662.tif 000004
【図３】
2007266662.tif 000005
【図６】
2007266662.tif 000006
【図７】
2007266662.tif 000007
【図８】
2007266662.tif 000008
【図９】
2007266662.tif 000009
【図１０】
2007266662.tif 000010
【図１１】
2007266662.tif 000011
【図１２】
2007266662.tif 000012
【図１３】
2007266662.tif 000013
【図１４】
2007266662.tif 000014
【図１５】
2007266662.tif 000015
【図４】
2007266662.tif 000016
【図５】
2007266662.tif 000017