(57)【要約】【課題】撮影した動画を簡単に即座に楽しむことができる撮影装置、表示装置、再生装置、撮影方法、および表示方法を提供する。【解決手段】動画の画像データを出力する撮像部２と、画像データに基づいて、画像の中に顔が含まれているか否かを判定する顔検出部３と、顔を識別するための識別用データが記憶された顔データベース４ｂと、顔検出部３による判定結果と、顔データベース４ｂに記憶された識別用データとに基づいて、画像データの中の顔が識別用データと一致するかを判定し、一致した場合には代表画像と決定する代表画像決定部１ｂと、代表画像決定部１ｂによって決定された代表画像を表示する表示部８とを有し、複数の動画の画像データから共通に登場する人物２６を動画の最後に表示する。【選択図】  図４
2010252008.tif 000002
【特許請求の範囲】
【請求項１】
撮影モードと再生モードを有する撮影装置において、
上記撮影モードで撮影中に撮影動画を記録する記録部と、
上記撮影モードで撮影中に上記撮影動画に現れる人物を判定し、判定結果を上記記録部に記録する第１判定部と、
上記再生モードによる再生時であって上記撮影動画を複数集めて再生する際に、複数の撮影動作に共通して登場する人物を判定する第２判定部と、
上記第２判定部の判定結果を利用し上記動画の一部を取り出し順次再生する再生部と、
を有することを特徴とする撮影装置。
【請求項２】
画像を撮影する撮影部と、
上記撮像部から連続して取得された画像を動画として記録する動画記録部と、
上記撮像部で得た顔画像から、上記撮影動作中に、上記動画記録部に記録された動画に登場する人物を特定する人物特定部と、
上記記録された動画をサムネイル表示する時に、上記人物特定結果に従って、上記特定された人物を含む画像を、代表画像として表示する表示制御部と、
を有することを特徴とする撮影装置。
【請求項３】
動画に現れる人物を判定する登場人物判定部と、
複数の画像を並べて表示するための画像表示部と、
上記画像表示部に表示された複数の画像に共通して登場する人物を判定する登場人物判定部と、
上記登場人物判定部の判定結果に従って、上記動画の代表画像を決定する代表画像決定部と、
を有することを特徴とする表示装置。
【請求項４】
連続して被写体を撮影して動画像を得る撮像部と、
上記撮像部で得られた動画像のうち、上記動画像の主たる登場人物を表す静止画を選択する静止画選択部と、
上記動画像の再生時には、上記静止画像と、上記主たる登場人物を表す付加情報とを、関連付けて表示する表示制御部と、
を有することを特徴とする撮影装置。
【請求項５】
上記登場人物を表す付加情報は、上記撮像部で得られた画像と、記録部に記録されているデータベースとの照合の結果、得られた人名情報であることを特徴とする請求項４に記載の撮影装置。
【請求項６】
上記付加情報と関連付けられた静止画は、上記動画の先頭または終了時に、再生または動画を表すサムネイルとして表示されることを特徴とする請求項４に記載の撮影装置。
【請求項７】
周囲の音声を収音する音声収音部と、
上記収音された音声に基づいて笑い声があるか否かを判定する音声判定部と、
を有し、
上記主たる登場人物は、上記音声判定部で笑い声が検出された時点の前のタイミングで音声を発していた人物を取得る登場人物とする、
ことを特徴とする請求項４に記載の撮影装置。
【請求項８】
複数の動画に関して、各々の動画に含まれる主被写体を判定する第１の主被写体判定部と、
上記複数の動画に含まれる第１の主被写体群から、第２の主被写体を判定する第２の主被写体判定部と、
上記第２の主被写体が登場する部分を優先的に再生するダイジェスト再生部と、
を有することを特徴とする再生装置。
【請求項９】
動画の画像データを記憶する動画記憶部と、
上記動画を構成する静止画について主被写体が存在するか否かを判定する判定部と、
上記判定部によって判定された主被写体に基づいて代表画像を決定し、この代表画像を表示する表示部と、
を有することを特徴とする表示装置。
【請求項１０】
上記表示部は、複数の各動画について主被写体をサムネイル表示することを特徴とする請求項９に記載の表示装置。
【請求項１１】
上記表示部は、複数の主被写体の中から代表画像を選択し、この代表画像を表示することを特徴とする請求項９に記載の表示装置。
【請求項１２】
上記主被写体は、予め登録されている人物像と一致した人物であることを特徴とする請求項９に記載の表示装置。
【請求項１３】
動画の画像データを記憶する動画記憶部と、
上記動画を構成する静止画についての予め登録されている人物が存在するか否かを判定する判定部と、
上記判定部によって判定された人物に基づいて代表画像を決定し、この代表画像を表示する表示部と、
を有することを特徴とする表示装置。
【請求項１４】
上記判定部は、複数の動画の中で共通して登場する人物が映っている画像を代表画像として決定することを特徴とする請求項１３に記載の表示装置。
【請求項１５】
動画の画像データを出力する撮像部と、
上記画像データに基づいて、画像の中に顔が含まれているか否かを判定する顔検出部と、
顔を識別するための識別用データが記憶された顔データベースと、
上記顔検出部による判定結果と、上記顔データベースに記憶された識別用データとに基づいて、上記画像データの中の顔が識別用データと一致するかを判定し、一致した場合には代表画像と決定する代表画像決定部と、
上記代表画像決定部によって決定された代表画像を表示する表示部と、
を有することを特徴とする撮影装置。
【請求項１６】
画像を撮影し、
連続して取得された画像を動画として記録し、
撮影動作中に、上記記録された動画に登場する人物を特定し、
上記記録された動画をサムネイル表示する時に、上記人物特定結果に従って、上記特定された人物を含む画像を、代表画像として表示する、
ことを特徴とする撮影方法。
【請求項１７】
動画に現れる人物を判定し、
複数の画像を並べて表示し、
上記表示された複数の画像に共通して登場する人物を判定し、
上記登場人物の判定結果に従って、上記動画の代表画像を決定する、
ことを特徴とする表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置、表示装置、再生装置、撮影方法、および表示方法に関し、詳しくは、いわゆる、ビデオカメラ、デジタルカメラ、カメラ付携帯電話等、動画記録部を有する撮影装置や撮影方法、またはこれらの動画を表示または再生する表示装置、再生装置、表示方法に関する。
【背景技術】
【０００２】
近年、デジタル機器の記録容量が増大してきており、大量の動画像を記録することが容易になってきている。しかし、これらの記録された動画像は、未編集のままであることが多く、再生の際に、動画像を簡単に取り扱え、楽しみながら鑑賞できる技術が求められている。
【０００３】
そこで、例えば、特許文献１には、映像から登場人物の顔の数、位置、及び大きさを顔姿勢データとして抽出し、この抽出結果を用い、登場人物の分類付けを行っておくことにより、画像検索を可能とした映像分類装置が開示されている。また、特許文献２には、撮影が終了した動画像の終端にエンディング用画像を記録するようにした撮像装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００６／０２５２７２号
【特許文献２】特開２００８−３０１３５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
このように、従来より種々提案されているが、これらはいずれも複雑な操作プロセスを前提としており、撮影した動画を即座に楽しむことができなかった。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、撮影した動画を簡単に即座に楽しむことができる撮影装置、表示装置、再生装置、撮影方法、および表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係わる撮影装置は、撮影モードと再生モードを有する撮影装置において、上記撮影モードで撮影中に撮影動画を記録する記録部と、上記撮影モードで撮影中に上記撮影動画に現れる人物を判定し、判定結果を上記記録部に記録する第１判定部と、上記再生モードによる再生時であって上記撮影動画を複数集めて再生する際に、複数の撮影動作に共通して登場する人物を判定する第２判定部と、上記第２判定部の判定結果を利用し上記動画の一部を取り出し順次再生する再生部と、を有する。
【０００８】
第２の発明に係わる撮影装置は、画像を撮影する撮影部と、上記撮像部から連続して取得された画像を動画として記録する動画記録部と、上記撮像部で得た顔画像から、上記撮影動作中に、上記動画記録部に記録された動画に登場する人物を特定する人物特定部と、上記記録された動画をサムネイル表示する時に、上記人物特定結果に従って、上記特定された人物を含む画像を、代表画像として表示する表示制御部と、を有する。
第３の発明に係わる表示装置は、動画に現れる人物を判定する登場人物判定部と、複数の画像を並べて表示するための画像表示部と、上記画像表示部に表示された複数の画像に共通して登場する人物を判定する登場人物判定部と、上記登場人物判定部の判定結果に従って、上記動画の代表画像を決定する代表画像決定部と、を有する。
【０００９】
第４の発明に係わる撮影装置は、連続して被写体を撮影して動画像を得る撮像部と、上記撮像部で得られた動画像のうち、上記動画像の主たる登場人物を表す静止画を選択する静止画選択部と、上記動画像の再生時には、上記静止画像と、上記主たる登場人物を表す付加情報とを、関連付けて表示する表示制御部と、を有する。
【００１０】
第５の発明に係わる撮影装置は、上記第４の発明において、上記登場人物を表す付加情報は、上記撮像部で得られた画像と、記録部に記録されているデータベースとの照合の結果、得られた人名情報である。
第６の発明に係わる撮影装置は、上記第４の発明において、上記付加情報と関連付けられた静止画は、上記動画の先頭または終了時に、再生または動画を表すサムネイルとして表示される。
【００１１】
第７の発明に係わる撮影装置は、上記第４の発明において、周囲の音声を収音する音声収音部と、上記収音された音声に基づいて笑い声があるか否かを判定する音声判定部と、を有し、上記主たる登場人物は、上記音声判定部で笑い声が検出された時点の前のタイミングで音声を発していた人物を取得る登場人物とする。
【００１２】
第８の発明に係わる再生装置は、複数の動画に関して、各々の動画に含まれる主被写体を判定する第１の主被写体判定部と、上記複数の動画に含まれる第１の主被写体群から、第２の主被写体を判定する第２の主被写体判定部と、上記第２の主被写体が登場する部分を優先的に再生するダイジェスト再生部と、を有する。
【００１３】
第９の発明に係わる表示装置は、動画の画像データを記憶する動画記憶部と、上記動画を構成する静止画について主被写体が存在するか否かを判定する判定部と、上記判定部によって判定された主被写体に基づいて代表画像を決定し、この代表画像を表示する表示部と、を有する。
【００１４】
第１０の発明に係わる表示装置は、上記第９の発明において、上記表示部は、複数の各動画について主被写体をサムネイル表示する。
第１１の発明に係わる表示装置は、上記第９の発明において、上記表示部は、複数の主被写体の中から代表画像を選択し、この代表画像を表示する。
第１２の発明に係わる表示装置は、上記第９の発明において、上記主被写体は、予め登録されている人物像と一致した人物である。
【００１５】
第１３の発明に係わる表示装置は、動画の画像データを記憶する動画記憶部と、上記動画を構成する静止画についての予め登録されている人物が存在するか否かを判定する判定部と、上記判定部によって判定された人物に基づいて代表画像を決定し、この代表画像を表示する表示部と、を有する。
第１４の発明に係わる表示装置は、上記第１３の発明において、上記判定部は、複数の動画の中で共通して登場する人物が映っている画像を代表画像として決定する。
【００１６】
第１５の発明に係わる撮影装置は、動画の画像データを出力する撮像部と、上記画像データに基づいて、画像の中に顔が含まれているか否かを判定する顔検出部と、顔を識別するための識別用データが記憶された顔データベースと、上記顔検出部による判定結果と、上記顔データベースに記憶された識別用データとに基づいて、上記画像データの中の顔が識別用データと一致するかを判定し、一致した場合には代表画像と決定する代表画像決定部と、上記代表画像決定部によって決定された代表画像を表示する表示部と、を有する    。
【００１７】
第１６の発明に係わる撮影方法は、画像を撮影し、連続して取得された画像を動画として記録し、撮影動作中に、上記記録された動画に登場する人物を特定し、上記記録された動画をサムネイル表示する時に、上記人物特定結果に従って、上記特定された人物を含む画像を、代表画像として表示する。
【００１８】
第１７の発明に係わる表示方法は、動画に現れる人物を判定し、複数の画像を並べて表示し、上記表示された複数の画像に共通して登場する人物を判定し、上記登場人物の判定結果に従って、上記動画の代表画像を決定する。
【発明の効果】
【００１９】
本発明によれば、簡単に撮影した動画を簡単に即座に楽しむことができる撮影装置、表示装置、再生装置、撮影方法、および表示方法を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係わるカメラの構成を示すブロック図である。
【図２】本発明の一実施形態に係わるカメラにおいて、主被写体を選択するにあたって使用する付加情報を示す図である。
【図３】本発明の一実施形態に係わるカメラにおいて、複数の動画から代表画像を抽出する例を示す図である。
【図４】本発明の一実施形態に係わるカメラにおいて、複数の動画から代表画像を抽出する他の例を示す図である。
【図５】本発明の一実施形態に係わるカメラにおいて、一つの動画から代表画像を抽出する例を示す図である。
【図６】本発明の一実施形態に係わるカメラにおいて、複数の動画を選択して再生する様子を示す図である。
【図７】本発明の一実施形態に係わるカメラにおいて、一つの動画を選択して部分再生する様子を示す図である。
【図８】本発明の一実施形態に係わるカメラのカメラ制御の動作を示すフローチャートである。
【図９】本発明の一実施形態に係わるカメラの画像再生の動作を示すフローチャートである。
【図１０】本発明の一実施形態に係わるカメラの画像再生の動作を示すフローチャートであり、図９に示すフローチャートの続きである。
【図１１】本発明の一実施形態の変形例に係わるカメラにおいて、複数の動画から代表画像を選択して行うサムネイル表示を示す図である。
【図１２】本発明の一実施形態の変形例に係わるカメラのサムネイル表示の動作を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面に従って本発明を適用したカメラを用いて好ましい一実施形態について説明する。図１は、本発明の一実施形態に係わるカメラ１０の電気回路を示すブロック図である。カメラ１０は、デジタルカメラであり、画像処理及び制御部１、撮像部２、顔検出部３、記録部４、操作判定部６、音声収録部７、表示部８、時計部９、通信部１２等から構成される。
【００２２】
撮像部２は、撮影レンズや、シャッタ等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって動画の画像データに変換する。この画像データは、信号処理及び制御部１および顔検出部３に出力される。
【００２３】
画像処理及び制御部１は、記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。また、撮像部２から出力される画像信号を取り込み、間引き処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、ライブビュー表示、記録部４への記録、表示部８での再生表示等の画像処理を行う。画像処理及び制御部１内には、代表画像決定部１ｂ、合成表示部１ｃ、音声分析部１ｄを含む。
【００２４】
代表画像決定部１ｂは、後述するように、動画像の画像データに基づいて、サムネイル表示やエンディング等に使用する代表画像を決定する。撮影時には主被写体（代表画像の候補）を決定し（図中の「撮影時」の機能）、撮影終了後であって再生開始前に、主被写体に基づいて代表画像を決定する（図中の「再生時」の機能）。合成表示部１ｃは動画のエンディング用として選択された代表画像を動画の最後に合成する。音声分析部１ｄは、後述する音声収録部７から入力した周囲の音声データを用いて音声分析を行い、例えば、音声データに笑い声が含まれているか、また音声が大きいか小さいか等を分析する。
【００２５】
顔検出部３は、撮像部２から画像データを入力し、この画像データに基づいて、画像の中に人物の顔の部分が含まれているか否かについて判定する。そして、判定の結果、顔の部分が含まれている場合には、顔の位置やその大きさ等を判定し、さらに、後述する顔データベース（顔ＤＢ）４ｂに記録されている複数の人物と同一の特定人物が含まれているか否かも判定する。また、顔検出部３は、顔が含まれていた場合には、笑顔度の判定も行う。笑顔度は、笑顔の程度を数値化したものであり、数値が大きいほど笑顔度も高くなる。
【００２６】
記録部４は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理及び制御部１によって画像処理された動画の画像データを記録する。また、画像データを記録するにあたって、顔の位置・大きさ・特徴等の情報と関連付けられ、この付加情報を記憶する。また、付加情報としては、これ以外にも音声分析部１ｄによる分析結果や、後述する時計部９によって取得する撮影日時情報等も含まれる。顔ＤＢ４ｂは、撮影者の家族や友人等の顔の画像やその特徴を登録しておくためのデータベースである。また、顔ＤＢ４ｂには、顔の画像に関連付けて、その人の氏名も登録されている。
【００２７】
操作判定部６は、レリーズ釦等の操作部材の操作状態を判定し、この判定した操作状態を信号処理及び制御部１に出力する。音声収録部７は、周囲の音声を収集するためのマイクと音声信号の増幅等を行うための音声処理回路、およびアナログ音声信号をデジタル音声データに変更するＡＤ変換回路等を含み、音声データを信号処理および制御部１内の音声分析部１ｄに出力する。
【００２８】
表示部８は、ライブビュー表示、再生表示、メニュー表示等の各種表示を行う。また、この表示部８はタッチパネルも兼ねており、撮影者の指等がタッチした位置も検出可能である。時計部９は、カレンダー機能や時計機能を有し、撮影時には撮影日時情報を出力する。通信部１２は、画像データ等をカメラ１０の外部に送信し、通信手段としては、赤外線通信、無線通信、有線通信等の通信があり、またＵＳＢメモリ等による外部出力でも良い。
【００２９】
次に、記録部４に記録される画像データ、および画像データに付帯して記録される付加情報について、図２を用いて説明する。図２（ａ）は、動画で記録された画像１の関連情報の一例であり、図２（ｂ）は画面の分割例を示し、本実施形態においては、領域Ａ１〜Ａ９の９分割である。各領域Ａ１〜Ａ９では、図２（ｃ）に示すように、顔の大きさをＤ１〜Ｄ３の３段階に分けている。
【００３０】
図２（ａ）中、時間（秒）は、動画の画像１について、撮影開始からの経過時間を示している。図２（ａ）に示すように、撮影開始時（０秒時）には、画像中には、顔が２つ映っている。その内の一人は、特定人物Ｐ−Ａ、Ａ４の位置（画面左側中央）に顔のサイズＤ２（図２（ｂ）参照）、笑顔度は６であり、他の一人は、不明の人物Ｐ−Ｘ、Ａ６の位置（画面右側中央）に顔のサイズＤ３、笑顔度が７である。笑顔度は数値が大きいほど、笑顔の程度も高くなる。また、周囲の音声は小さく、このときの撮影日時は９月１５日１１時２１分１０秒である。
【００３１】
本実施形態においては、図２（ａ）に示すように、５秒おきに、顔画像の数、位置、大きさ、特徴と、周囲の音声の大きさ、撮影日時情報が判定されて、記録部４に記録される。また、記録部４には、代表画像の候補（主被写体）となりうるかについても、判定し記録される。図２（ａ）の例では、０秒経過時には、２人が映っているが、顔サイズが共にＤ２と同じで、しかも画面の両脇（Ａ４およびＡ６の位置）であることから、いずれの人物も主被写体といえず、候補は「なし」と記録される。
【００３２】
撮影開始から５秒経過時には、２人が映っているが、顔サイズは一方はＤ２、他方がＤ３と小さく、かつ画面の両脇（Ａ４およびＡ６の位置）であることから、いずれの人物も主被写体といえず、候補は「なし」と記録される。次に、撮影開始から１０秒経過時には、３人が映っており、このうち特定人物Ｐ−Ａがまん中（Ａ５の位置）にＤ２のサイズで映っている。まん中で特定人物あることから、このＰ−Ａは主被写体であり、このＰ−Ａを代表画像の候補として記録する。撮影開始から１５秒経過時および２０秒経過時も、３人が映っており、これらのタイミングでも、特定人物Ｐ−Ａがまん中（Ａ５の位置）にＤ２のサイズで映っている。まん中で特定人物あることから、このＰ−Ａを代表画像の候補として記録する。
【００３３】
次に、図３を用いて、複数の動画像から代表画像を決定する考え方について説明する。動画像Ａ２１、動画像Ｂ２２、動画像Ｃ２３は、一連に記録された動画像である。各動画像は連続した静止画像の集まりである。動画像Ａ２１内には人物２６および人物２８が映っており、動画像Ｂ２２内には人物２６が映っており、動画像Ｃ２３内には人物２６と人物２７が映っている。ここに登場した人物２６〜２８について、顔ＤＢ４ｂ内に登録されている人物と対比して同一人物がいるか否かを判定すると、人物２６はＢ子に対応し、人物２７はＣ子に対応し、人物２８は対応する特定人物がおらず、また、顔ＤＢ４ｂにはＡ子が登録されているが、動画Ａ２１〜動画Ｃ２３には登場していない。
【００３４】
このような一連の動画Ａ２１〜動画Ｃ２３の登場人物を分析すると、いずれの動画２１〜２３にも、人物２６（Ｂ子）が登場しており、また、人物２８は顔ＤＢ４ｂに登録されておらず、さらに、人物２７（Ｃ子）は画面中央部２３ｃに登場するものの、最後しか登場しないし、小さな像であることから、代表画像としては人物２６（Ｂ子）が決定される。本実施形態においては、最初と最後の動画像に登場し、かつある程度の大きさの像である人物を代表画像として決定する。
【００３５】
次に、図４を用いて、決定された代表画像をエンディング用に表示する例を説明する。動画Ｄ３１、動画Ｅ３２、動画Ｆ３３の例は、いずれも旅行に行った際に撮影された動画である。この動画３１〜３３に基づいて、図３で説明したのと同様に、代表画像となる人物を決定する。動画Ｄ３１には人物２６が、動画Ｅ３２には人物２６が、それぞれ映っている。また、動画Ｆ３３を構成する画像３３ａ、３３ｂ、３３ｃにも人物２６がそれぞれ映っている。これらの分析に基づいて、本例においては、一番頻度が高かった人物２６を代表画像として決定する。
【００３６】
このように複数の動画を連続再生する場合に、一番頻度の高かった人物を登場人物の中で主演のように扱い、動画再生の終了時に、エンディング３４で表示する。すなわち、エンディング３４は、図４に示すように、決定された代表画像、すなわち人物２６を表示すると共に、主演者の氏名を表示する。ここで主演者の氏名は顔ＤＢ４ｂに登録されている顔画像と氏名とに基づいて検索して表示する。
【００３７】
次に、図５を用いて、１つの動画を再生する際に、その中の一部を再生する部分再生について説明する。図５は、宴会のようなイベントの様子を撮影した動画の例である。このようなイベントでは、参加者が大笑いして盛り上がるシーンがあり、このような場面は後から再生しても楽しむことができる。しかし、部分再生する際に、いきなり大笑いの場面から始めると、大笑いのきっかけとなった理由が分からず、唐突な感じがする。そこで、本実施形態においては、大笑いのシーンの基となった質問のシーンから再生するようにしている。
【００３８】
すなわち、図５に示す例では、動画の部分４１において、人物２６が人物２９に対して質問し、次のタイミングの動画の部分４２において人物２９が答え、さらに次のタイミングの動画の部分４３で、みんなが大笑いしている。そこで、大笑いしている部分４３を検出すると、この大笑いのきっかけとなった動画の部分４１から部分再生を行うようにしている。具体的には、音声分析部１ｄによって、大笑いのシーンの前に発せられた言葉を「答え」とし、この「答え」の前に発せられた言葉を「質問」と判定する。この「質問」から後のシーンを部分再生する。もちろん、「質問」と「答え」の後に、「つっこみ」が入ることもあるので、「質問」特有の語尾が上がる言葉か否かを判定してもよく、また、「ですか？」、「なの？」等、質問特有の語句を含むかを判定しても良い。
【００３９】
次に、図６を用いて、複数の動画を連続して再生する場合について説明する。動画を再生する場合、最初、表示部８に動画のサムネイルが表示される。図６に示した例では、縦３、横３に配置され、合計９個の動画のサムネイルが表示される。図６（ａ）は、動画のサムネイル表示がなされた状態を示し、図６（ｂ）はユーザが左上端の動画をタッチすることにより選択した様子を示し、図６（ｃ）はまん中上の動画をタッチすることにより選択した様子を示し、このあと図示しないが、右上端の動画を選択している。
【００４０】
複数の動画を選択すると（図６に示す例では３つ）、次に、ユーザは表示部８に表示されている再生マークをタッチする。タッチパネル等によって、ユーザの再生指示を検知すると、カメラ１０は、複数の動画の再生を開始する。なお、タッチパネル以外にも、十字釦等によってカーソルを移動させ、ＯＫ釦で確定する等、指示の仕方は適宜、変更しても良い。
【００４１】
次に、図７を用いて、１つの動画の部分を再生する部分再生について説明する。表示部８上で、１つの動画を、図７（ａ）に示すように選択し、続いて、図７（ｂ）に示すように再生を選択すると、図７（ｃ）に示すように、「部分」と「全編」のいずれかを選択するための表示がなされる。全編は、選択された動画について、最初から最後まで通しで再生表示するモードであり、部分は、選択された動画について、図５を用いて説明したように、大笑いのシーンのきっかとなったシーンから再生するモードである。
【００４２】
以上、図３ないし図７を用いて説明した本実施形態の動作を実行するためのフローを、図８ないし図１０に示すフローチャートを用いて説明する。図８はカメラ制御のフローである。カメラ制御のフローに入ると、まず、電源がオンか否かの判定を行う（Ｓ１０１）。このステップでは、カメラ１０の操作部材としてのパワースイッチがオンか否かを判定し、パワースイッチがオフの場合には、カメラ制御のフローを終了する。なお、カメラ制御のフローを終了しても、パワースイッチの状態を検知しており、パワースイッチがオンとなると、ステップＳ１０１から動作を開始する。
【００４３】
ステップＳ１０１における判定の結果、電源がオンであった場合には、次に、撮影モードか否かの判定を行う（Ｓ１０２）。この判定の結果、撮影モードであった場合には、次に、ライブビュー表示を行う（Ｓ１０３）。ここでは、撮像部２によって取得された画像データに基づいて、表示部８に被写体像をライブビュー表示する。ユーザは、ライブビュー表示に基づいて、構図を決めたり、シャッタチャンスを決定し、レリーズ動作を行うことができる。
【００４４】
ライブビュー表示を開始すると、次に、記録開始を行うか否かの判定を行う（Ｓ１０４）。ここでは、レリーズ釦を操作されたか否かを操作判定部６において判定する。本実施形態においては、最初、レリーズ釦を操作すると、動画の記録を開始し、再度、レリーズ釦を操作すると、動画の記録を終了する。
【００４５】
ステップＳ１０４における判定の結果、記録開始でなかった場合には、ステップＳ１０１に戻る。一方、判定の結果、記録開始であった場合には、撮影、収音、記録、および計時を行う（Ｓ１１１）。このステップでは、撮像部２によって画像データを取得し、信号処理および制御部１によって画像処理された動画の画像データを記録部４に記録する。また、音声収録部７によって音声データを取得し、音声分析部１ｄに出力する。また、時計部９によって動画の記録開始からの時間を計時する。
【００４６】
続いて、顔（表情）を検出し、また笑い声の検出を行う（Ｓ１１２）。このステップでは、顔検出部３によって、図２を用いて説明した、顔の位置と特徴、大きさおよび笑顔度について判定する。また、音声収録部７によって取得された音声データを用いて、音声分析部１ｄは、音声の中に笑い声が含まれているか否か、声が大きいか否か等を検出する。
【００４７】
続いて、時間ごとの顔に関する情報を記録し、また、時間ごとの笑い声に関する情報を記録する（Ｓ１１３）。ここでは、ステップＳ１１２において、検出した顔（表情）や笑い音声の情報を、時間ごとに記録部４に記録する。これによって、図２（ａ）に示した情報のうち、最下段の候補の情報以外を記録することができる。次に、画面中央でのスナップ写真か否かの判定を行う（Ｓ１１４）。ここで、スナップ写真か否かの判定は、例えば、撮影倍率が１／５０程度であるかどうか、言い換えると、例えば、３５ｍｍフィルム換算で焦点距離５０ｍｍの場合、５０×５０＝２５００、つまり２．５ｍ程度より近い被写体であるか、または腰から上の人物像の写真であるかどうか等について判定する。また、スナップ写真であった場合には、さらに顔検出部３によって検出された顔の部分が画面中央にあるか否かを判定する。
【００４８】
ステップＳ１１４における判定の結果、画面中央のスナップ写真であった場合には、次に、主被写体として候補化し、またそのタイミングを記録する（Ｓ１１５）。ここでは、図２（ａ）に示した情報のうち、最下段の候補の情報を計時時間に対応させて記録する。この記録を行うと、またはステップＳ１１４における判定の結果、画面中央スナップでなかった場合には、次に、記録終了か否かの判定を行う（Ｓ１１６）。ここでは、レリーズ釦が再度、操作されたか否かを操作判定部６によって判定する。この判定の結果、記録終了でなかった場合には、ステップＳ１０１に戻る。
【００４９】
ステップＳ１１６における判定の結果、記録終了であった場合には、動画撮影を終了し、ステップＳ１２１以下において、エンディング用の画像生成のための前処理を行う。まず、主被写体候補があるか否かの判定を行う（Ｓ１２１）。ここでは、ステップＳ１１５における主被写体候補の記録があるか否かの判定を行う。すなわち、図２（ａ）の情報のうち、最下段にＰ−Ａのように候補となる特定人物が記録されているか否かを判定する。
【００５０】
ステップＳ１２１における判定の結果、主被写体候補が記録されていれば、次に、データベースで対応テキストの判定を行い（Ｓ１２２）、対応テキストが有ったか否かの判定を行う（Ｓ１２３）。ここでは、顔ＤＢ４ｂに候補された特定人物の名前がテキスト情報として登録されているか否かを判定する。
【００５１】
ステップＳ１２３における判定の結果、対応テキストが有った場合には、その主被写体の名前を動画の画像データと共に付加情報として記録する（Ｓ１２４）。主被写体名を記録すると、またはステップＳ１２３における判定の結果、対応テキストが無かった場合には、次に、全候補の判定が済んだか否かの判定を行う（Ｓ１２５）。このステップでは、図２（ａ）の最下段に示した候補の全てについて、ステップＳ１２１〜Ｓ１２４における処理を行ったか否かの判定を行う。この判定の結果、全候補について判定が済んでいなかった場合には、ステップＳ１２１に戻る。一方、全候補について判定が済んだ場合には、ステップＳ１０１に戻る。
【００５２】
ステップＳ１０２における判定の結果、撮影モードでなかった場合には、次に、再生モードか否かの判定を行う（Ｓ１３１）。このステップでは、操作判定部６によって再生モードが選択されたか否かの判定を行う。この判定の結果、再生モードでなかった場合には、ステップＳ１０１に戻る。
【００５３】
一方、ステップＳ１３１における判定の結果、再生モードであった場合には、画像再生を行う（Ｓ１３２）。ここでは、選択された複数または１つの動画の再生を行う。複数の動画が選択された場合には、それらの動画を順番に再生する。また、１つの動画の再生の場合には、図５を用いて説明した部分再生を選択することも可能である。この画像再生の詳細は、図９および図１０を用いて、後述する。画像再生が終わると、ステップＳ１０１に戻る。
【００５４】
次に、図９および図１０を用いて、画像再生のフローについて説明する。この画像再生のフローに入ると、まず、終了か否かの判定を行う（Ｓ２０１）。このステップでは、再生釦等を再び押圧する等の操作により、ユーザが再生モードの終了を指示したか否かの判定を行う。この判定の結果、終了であった場合には、画像再生を終了し、元のフローにリターンする。
【００５５】
ステップＳ２０１における判定の結果、終了でなかった場合には、サムネイル表示を行う（Ｓ２０２）。このステップでは、選択されている各動画において、最初に候補とされた主被写体が映っている画像を、図６（ａ）に示すように、表示部８にサムネイル表示する。例えば、図２に示した画像１が選択されている場合には、動画の撮影開始後、１０秒経過時にＰ−Ａが候補として記録されているので、この１０秒経過時の画像をサムネイル表示する。
【００５６】
サムネイル表示を行うと、次に、選択されたか否かの判定を行う（Ｓ２０３）。ここでは、ユーザが再生を望む動画をタッチしたか否かの判定を行う。この判定の結果、選択された場合には、選択サムネイル枠の表示を行う（Ｓ２１１）。このステップでは、図６（ｂ）（ｃ）、図７（ａ）に示すように、選択された動画の枠を太線で表示する。なお、選択されたことを示すには、枠線を太くする以外にも、枠線の色を変更したり、フラッシュ表示する等、種々の表示方法に変更しても勿論かまわない。
【００５７】
選択サムネイル枠の表示を行うと、次に、再生画像順番決定を行う（Ｓ２１２）。本実施形態においては、ユーザがタッチした順に動画を再生することにしているので、ここでは、タッチされた順番に動画の再生順番を決定する。続いて、再生画像トータル時間の判定を行う（Ｓ２１３）。ここでは、選択されている動画の各再生時間の総和を求める。再生画像のトータル時間の判定を行うと、ステップＳ２０３に戻る。
【００５８】
ステップＳ２０３における判定の結果、選択されていなかった場合には、選択終了か否かの判定を行う（Ｓ２２１）。すなわち、ステップＳ２０３において選択操作が有る都度、ステップＳ２１１に分岐し、選択操作が終了するまでは、ステップＳ２２１をＳ２０１に分岐する。ユーザが動画再生の操作等を行うと、ステップＳ２２１からＳ２２２に分岐し、複数動画が選択されたか否かの判定を行う（Ｓ２２２）。ステップＳ２０３〜Ｓ２１３において、複数の動画を選択したか否かを判定する。この判定の結果、複数の動画を選択していた場合には、選択した最初と最後の動画に登場する人物を判定する（Ｓ２２３）。ここでは、選択された最初の動画に登場する候補と、最後の動画に登場する候補を抽出する。例えば、図２に示す画像１が選択されると、Ｐ−Ａ、Ｐ−Ｂ、Ｐ−Ｘの３人が登場しているが、候補としては、Ｐ−Ａが記録されているので、このＰ−Ａを抽出する。
【００５９】
次に、ステップＳ２２３において判定された人物が主被写体か否かの判定を行う（Ｓ２２４）。このステップでは、最初の動画で候補として判定された人物と、最後の動画で候補として判定された人物が一致するかを判定する。この判定の結果、一致していた場合には、この候補を主演と判定する（Ｓ２２７）。本実施形態においては、選択された最初と最後の動画の両方に映っている人物を主演として、エンディングにおいて表示を行うようにしている。
【００６０】
ステップＳ２２４における判定の結果、主被写体が一致していなかった場合、またはステップＳ２２２において、複数の動画が選択されていないと判定された場合には、次に、最も長く登場した人物を判定する（Ｓ２２５）。複数の動画で最初と最後に共通する主被写体がいなかった場合には、登場時間が最も長かった人物を検索する。また、１つしか選択されなかった場合にも、登場時間の最も長い人物を検索する。例えば、図５の例では、人物２６、２９が相当する。
【００６１】
最も長く登場した人物の判定を行うと、次に、最も長く登場した人物が主被写体であるか否かの判定を行う（Ｓ２２６）。本実施形態においては、顔ＤＢ４ｂに登録されている人物のみが、主被写体として扱われるので、ここでは、ステップＳ２２５において判定された人物が顔ＤＢ４ｂに登録されているか否かの判定を行う。この判定の結果、主被写体であれば、前述したようにステップＳ２２７において、主演と判定される。
【００６２】
ステップＳ２２７において主演と判定すると、またはステップＳ２２６における判定の結果、最も長く登場した人物が主被写体でなかった場合には、次に、主演以外の登場人物が有るか否かの判定を行う（Ｓ２３１）。このステップでは、選択されている１つ又は複数の動画の中に登場している人物がいるか否かを判定する。この判定の結果、登場人物がいた場合には、登場人物判定を行う（Ｓ２３２）。例えば、図２（ａ）に示した画像１では、Ｐ−Ａが主演と判定されていることから、この登場人物以外のＰ−ＢおよびＰ−Ｘが登場人物と判定される。なお、登場人物としては、顔ＤＢ４ｂに登録されている人物以外であっても良い。この場合、顔検出部３によって、男性・女性の区別や、年齢等の推定ができれば、それらの情報も併せて取得しておいても良い。
【００６３】
ステップＳ２３２において登場人物判定を行うと、またはステップＳ２３１における判定の結果、主演以外には登場人物がいなかった場合には、次に、部分再生か否かの判定を行う（Ｓ３０１）。前述した図７（ｃ）において説明したように、表示部８の「部分」をタッチすると部分再生を実行することから、このステップでは、「部分」をタッチしたか否かの判定を行う。
【００６４】
ステップＳ３０１における判定の結果、「部分」をタッチしていなかった場合には、次に、順番に従って再生する（Ｓ３０２）。このステップでは、ステップＳ２１２において決定した順番に従って、動画の再生を行う。なお、再生にあたっては、全編再生を行うが、これ以外にも、各動画が長い場合には、それぞれのダイジェスト版を生成し、このダイジェスト版を再生するようにしても良い。この場合、所定時間に区切って、主演の人物の画像を３秒から５秒程度で、テンポ良く表示したり、撮影した画像の先頭画像や、終了画像など、また特徴的なシーンを判定し、その画像のみを３秒程度に切り替えて表示するようにしても良い。
【００６５】
順番に従って再生を開始すると、次に、最後まで再生したか否かの判定を行う（Ｓ３０３）。ここでは、ステップＳ２１２において決定された再生順番の最後まで再生したか否かを判定する。この判定の結果、最後まで再生していない場合には、ステップＳ３０２に戻り、動画の再生を継続する。
【００６６】
ステップＳ３０３における判定の結果、最後まで再生した場合には、ステップＳ３０４以下においてエンディングの表示を行う。まず、主演判定を行う（Ｓ３０４）。ここでは、ステップＳ２２７において、主演判定がなされているか否かの判定を行う。この判定の結果、主演判定がなされていた場合には、次に、主演が最も笑顔度が高い画像を表示する（Ｓ３０５）。図２（ａ）に示したように、検出された登場人物については、それぞれ笑顔度についても判定され、記録されているので、主演と判定された登場人物について、最も笑顔度の高い画像を検索する。図２（ａ）に示した例では、主演はＰ−Ａであり、このＰ−Ａの最も笑顔度の高い画像は、撮影開始１５秒後であるので、このときのＰ−Ａの画像を、図４の動画３４に示すように表示する。
【００６７】
続いて、主演の名前を表示する（Ｓ３０６）。ステップＳ１２４において、主被写体の名前が記録されていることから、ここのステップでは、主演が映っている画像から主演の名前を判定し、図４の動画３４に示すように表示する。従って、主演がいる場合には、まず、ステップＳ３０５において、主演の画像が表示され、続いて、ステップＳ３０６において主演の名前が表示される。なお、ステップＳ２３２において登場人物がいたと判定された場合には、これらの人物の名前を表示するようにしても良い。登場人物の名前が分からない場合には、登場人物『◎名』、『男性一人』、『おじさん』『赤ちゃん』等、判定できる範囲で表示すると、画面が賑やかになり楽しむことができる。
【００６８】
ステップＳ３０４における判定の結果、主演がいなかった場合には、全画像共通の日時を表示する（Ｓ３０７）。図２（ａ）に示したように、動画の撮影時には日時情報も併せて記録されているので、この日時情報に基づいて、複数の動画の共通の日時を表示する。撮影日が共通していればその日を、撮影日が共通でない場合には撮影月を、撮影月が共通でなければ撮影年を表示する。
【００６９】
ステップＳ３０７において全画像共通日時を表示すると、またはステップＳ３０６において主演の名前を表示すると、次に、再生時間が１分以上か否かの判定を行う（Ｓ３１１）。ここでは、ステップＳ２１３において求めた再生画像トータル時間に基づいて判定する。この判定の結果、１分以上の場合には、１０秒でエンディングの表示を終了し（Ｓ３１２）、一方、判定の結果、１分以内の場合には、３秒でエンディングの表示を終了する（Ｓ３１３）。再生時間が短いのにエンディングが長いと退屈な再生となるからである。本実施形態においては、再生時間に応じてエンディングの表示時間を変更している。
【００７０】
ステップＳ３１２またはＳ３１３においてエンディングの表示を終了すると、ステップ１０１（図８参照）に戻る。
【００７１】
ステップＳ３０１における判定の結果、部分再生であった場合には、次に、順番に従ってファイル判定を行う（Ｓ３２１）。ここでは、図６に示したサムネイルをタッチした順番、またはサムネイル指定と一緒に指定した順番が反映されるようにファイル判定を行う。続いて、指定ファイルに笑い声が有るか否かの判定を行う（Ｓ３２２）。動画の撮影時には、音声収録部７によって音声データを入力し、音声分析部１ｄにおいて、笑い声が含まれているか否か、またその声の大きさを判定し、図２（ａ）に示すように、判定結果を動画と共に記録している。この記録に基づいて、このステップでは笑い声が含まれているか否かを判定する。
【００７２】
ステップＳ３２２における判定の結果、笑い声が有った場合には、次に、その前の対話からから笑い声までを再生する（Ｓ３２３）。このステップでは、図５において説明したように、笑いのきっかけとなった対話から動画を再生する。なお、きっかけを時点が不明な場合には、笑いの手前の所定時間を再生する。
【００７３】
ステップＳ３２３における再生を行うと、次に、最後のファイルまで再生を行ったか否かの判定を行う（Ｓ３２４）。この判定の結果、最後のファイルまで再生が終わっていなかった場合には、ステップＳ３２１に戻る。一方、判定の結果、最後のファイルまで再生が終わると、前述のステップＳ３０４にジャンプし、エンディングの表示を行って、再生を終了する。
【００７４】
ステップＳ３２２における判定の結果、ファイル中に笑い声がなかった場合には、次に、主演が登場しているか否かの判定を行う（Ｓ３３１）。このステップでは、ステップＳ２２７において主演判定がなされたかに基づいて判定する。この判定の結果、主演が登場している場合には、主演を含み、音声が大きい部分を再生する（Ｓ３３２）。このステップでは、主演が登場し、かつ声の大きい部分について所定時間の間、再生する。時間が長すぎると退屈な画像となることから、声の大きい部分をすべて再生しなくても良い。この再生を行うと、ステップＳ３２４に戻る。
【００７５】
ステップＳ３３１における判定の結果、主演が登場しなかった場合には、人物が登場するか否かの判定を行う（Ｓ３３３）。前述したように、動画撮影時に人物が登場していると、動画の画像と共に記録されているので、この記録結果に基づいて判定する。この判定の結果、人物が登場している場合には、笑顔の人物が多い期間を再生する（Ｓ３３４）。動画の撮影時には、顔検出部３によって笑顔度が判定され、記録されていることから、この笑顔度に基づいて、再生する。一方、ステップＳ３３３における判定の結果、人物が登場しなかった場合には、倍速で再生する（Ｓ３３５）。人物が登場しないことから、風景等の画像である場合であり、この場合には倍速で再生しても違和感がないからである。例えば、雄大な山並みをパンニングさせながら撮影した場合、パンニングの時間をかけて再生する必要はなく、倍速でも時間をかけずに雄大さを体感することが可能である。
【００７６】
ステップＳ３３４またはステップＳ３３５における再生を行うと、ステップＳ３２４に戻り、最後のファイルまで再生したか否かを判定し、最後まで再生した場合には、前述のステップＳ３０４以下において、エンディングの表示を行って再生を終了する。
【００７７】
このように、本発明の一実施形態においては、複数の動画から一つの動画を生成し再生するにあたって、撮影時には登場人物を判定して記録し（Ｓ１１５）、再生時には複数の画像に共通して登場する人物を主演として（Ｓ２２７）、順次再生表示している。また、主演が登場する代表画像を決定し、この代表画像をエンディングの際に表示するようにしている（Ｓ３０５）。このため、撮影した動画を再生する際に、簡単かつ即座に楽しむことができる。
【００７８】
また、本発明の一実施形態においては、代表画像を選択するにあたって、まず、撮影時には代表画像となる可能性のある主被写体の候補か否かを判定し（Ｓ１１４およびＳ１１５）、撮影終了後であって再生の開始前に、主演が登場する代表画像を決定し（Ｓ２２７）、これをエンディングに表示するようにしている。このように、撮影時と再生時にそれぞれ処理を行っていることから、短時間で再生を行うことができる。複数の動画が集まって、一つの動画を完成するとすれば、主演以外のものを撮影した動画もあり、この場合、撮影中には主演か助演かは分からない。この実施形態においては、再生時に複数の画像を選択して始めることにより、共通して登場する人物から主演を決定するようにしている。つまり、撮影と再生の２段階で、主演の選択を正確に行うようにしている。
【００７９】
さらに、本発明の一実施形態においては、主被写体の候補については、顔ＤＢ３ｂに登録されている人物の名前を参照して記録している（Ｓ１２１〜Ｓ１２４）。また、エンディングの表示を行う際には、主被写体の中から決定される主演の画像を表示する（Ｓ３０５）と共に、主演の名前も表示している（Ｓ３０６）。主演となったものの名前が表示されることから、さらに楽しむことができる。
【００８０】
さらに、本発明の一実施形態においては、複数の動画を再生する場合、主演を決定するにあたって、選択した最初の動画と最後の動画に登場する人物であって（Ｓ２２３）、かつ主被写体である場合（Ｓ２２４）に主演としている（Ｓ２２７）。最初と最後に登場することから、主演としてのストリーの一貫性が生じ、見ていて楽しむことができる。なお、主演の決定にあたっては、これ以外にも、選択された動画の内、一番多くの動画に映っていた主被写体等の方法により選択するようにしても良い。
【００８１】
さらに、本発明の一実施形態においては、部分再生を行う場合には、笑い声があるシーンを自動的に選択して再生するようにしている（Ｓ３２２、Ｓ３２３）。笑い声があるシーンは、盛り上がっている状況であり、再生を楽しむことができる。さらに、笑い声があるシーンを再生するにあたって、本実施形態においては、笑い声のきっかけとなった質問のあるシーンから再生するようにしたので、唐突感をなくすことができる。また、どんな会話で盛り上がったかを、理解することができ、一緒に楽しむことができる。
【００８２】
さらに、本発明の一実施形態においては、部分再生を行う際に、笑い声がない場合には、音声が大きい期間や（Ｓ３３２）、笑顔の人物が多い期間（Ｓ３３４）を再生するようにしている。このため、笑い声がない場合であっても、重要な盛り上がりシーンを判定し、効果的な部分再生として楽しむことができる。
【００８３】
さらに、本発明の一実施形態においては、エンディングの表示にあたって、主演の画像を表示している（Ｓ３０５）。このため、動画を唐突感なく終わることができる。また、この際に、予め顔ＤＢ４ｂに登録に基づいて、主演の名前を表示しており、仲間内で動画を再生する際に、楽しむことができ、エンディング画像であることを明示できる。また、エンディング画像が文字によって賑やかになり、画像が終わる感じが出て、鑑賞者の気分も盛り上がる。さらに、名前が表示されることによって、主演の顔を知らず、名前しか知らなかった場合でも、あの人はこんな人だったと、理解して楽しむこともできる。映画のエンディングと同様、出演者へのねぎらいにもなるし、出演者のモチベーションも上がる。
【００８４】
さらに、本発明の一実施形態においては、エンディング表示の時間は、動画の再生時間によって変更するようにしている（Ｓ３１１〜Ｓ３１３）。このため、動画の再生時間に見当たったエンディング時間とすることができる。
【００８５】
次に、ステップＳ２０２におけるサムネイル表示の変形例を図１１および図１２を用いて説明する。一実施形態においては、各動画において主被写体として候補化された画像の内、一番最初の画像を並べて表示していた。これに対して、本変形例においては、複数の動画に共通して登場する人物ごとにサムネイル表示を行うようにしている。
【００８６】
この変形例におけるサムネイル表示を、図１１を用いて説明する。この表示例では、動画Ｇ４１、動画Ｈ４２、動画Ｊ４３の３つの動画が記録部４に記録されているとする。動画Ｇ４１には、人物２７、人物２６が登場しており、また動画Ｈ４２には人物２６が登場しており、さらに動画Ｊ４３には人物２６、人物２７が登場している。
【００８７】
このような動画が記録されている場合、表示部８には、人物２６が映っているシーンを集めたサムネイル表示４５と、人物２７が映っているシーンを集めたサムネイル表示４６を交互に表示する。この例では、表示部８には縦横２画像ずつ、合計４画像を表示するようにしている。人物２７は３画像しかないので、サムネイル表示４６は１画像分を非表示としている。
【００８８】
次に、共通に登場する人物をサムネイルで表示するための動作を、図１２に示すフローチャートを用いて説明する。サムネイル表示のフローに入ると、まず、各動画像の先頭画像を縮小して並べる表示を行う（Ｓ４０１）。続いて、表示サムネイル動画の共通登場人物の検索を行う（Ｓ４０２）。ここでは、顔検出部３によって判定され、記録部４に記録されている登場人物の顔の特徴に基づいて検索する。図２（ａ）に示した例では、Ｐ−Ａ、Ｐ−Ｂ、Ｐ−Ｘの３人が検索される。
【００８９】
共通登場人物の検索を行うと、次に、共通に登場する人物が有るか否かの判定を行う（Ｓ４０３）。この判定の結果、共通登場人物がいた場合には、次に、所定時間、この変形例では３秒間が経過したか否かを判定する（Ｓ４０４）。この判定の結果、所定時間が経過していなかった場合には、サムネイル表示を終了するか否かの判定を行う（Ｓ４２１）。表示中に表示モードを終了するためにユーザが操作部材を操作した場合には、元のフローに戻る。判定の結果、終了でなければ、ステップＳ４０４に戻る。
【００９０】
ステップＳ４０４における判定の結果、所定時間が経過すると、次に、最も共通に登場する人を代表画像化してサムネイル表示する（Ｓ４０５）。ここでは、図１１に示したサムネイル表示４５のように、最多登場の人物２６が映っている画像をサムネイル表示する。また、代表画像として表示するにあたって、候補として選択された最初の画像を用いる。続いて、登場しないコマは暗くする（Ｓ４０６）。全画像に登場していない場合もあるので、登場しない画像に相当するサムネイルは黒や所定の色で塗りつぶす等により、そこには登場していないことを表示する。
【００９１】
次に、所定時間、この変形例では３秒間が経過したか否かの判定を行う（Ｓ４１１）。この判定の結果、所定時間が経過していない場合には、ステップＳ４２１と同様に、終了か否かの判定を行う（Ｓ４２２）。この判定の結果、終了していない場合には、ステップＳ４１１に戻り、一方、終了の場合には、元のフローにリターンする。
【００９２】
ステップＳ４１１における判定の結果、所定時間が経過した場合には、次に共通に登場する人を代表画像化してサムネイル表示する（Ｓ４１２）。ここでは、図１１に示したサムネイル表示４６のように、次に最多登場の人物２７が映っている画像をサムネイル表示する。続いて、登場しないコマは暗くする（Ｓ４１３）。ステップＳ４０６と同様に、登場人物の画像の数がサムネイル表示コマ数に足りない場合には、足りない分のコマを暗くする。図１１に示したサムネイル表示４６では、３コマしかなかったことから、右上のコマを暗くしている。
【００９３】
続いて、所定時間、この変形例では３秒間が経過したか否かの判定を行う（Ｓ４１４）。この判定の結果、所定時間が経過していない場合には、ステップＳ４２１と同様に、終了か否かの判定を行う（Ｓ４２３）。この判定の結果、終了していない場合には、ステップＳ４１４に戻り、一方、終了の場合には、元のフローにリターンする。
【００９４】
ステップＳ４１４における判定の結果、所定時間が経過した場合には、ステップＳ４０１に戻る。
【００９５】
このように、本変形例におけるサムネイル表示は、共通して登場する人物を、中心にサムネイル表示を行うようにしている。このため、多数の動画の中から、再生を行う際に、選択を行うことが容易となる。また、本変形例においては、サムネイル表示する際に、登場人物を代表画像化して表示している。候補として選択された画像を代表画像としてサムネイル表示していることから、中央にあり、ある程度、大きく映っている画像が選択されるので、再生表示を選択する際に見易くなる。
【００９６】
なお、例示としてあげた図１１のサムネイル表示４５、４６は、共通で登場する人物が２人であったが、これに限らず、３人以上でも勿論かまわない。この場合、図１２に示したフローチャートでは、３人目以降に対応して、ステップＳ４０４〜Ｓ４０６を追加すれば良い。
【００９７】
以上説明したように、本発明の一実施形態や変形例においては、動画像に登場する人物を特定し、動画のサムネイル表示する際には、人物の特定結果に従って、特定された人物を含む画像を、代表画像として表示するようにしている。このため、動画を簡単に即座に楽しむことができる。すなわち、サムネイル表示するにあたって、単に先頭の画像を表示するだけでは、動画の主題とする人物が映っていない場合があるが、本実施形態においては、特定された人物が代表画像として表示されることから、簡単に動画を選択することができ、即座に動画を楽しむことができる。また、本発明の一実施形態や変形例においては、撮影時に人物判定を行い、複数動画を再生する場合には、共通に登場する人物を判定している。このため、複数動画から一つの動画を即座に生成することが可能となり、楽しむことができる。
【００９８】
なお、本発明の一実施形態や変形例においては、再生時にはサムネイルを選択してから動画を再生するようにしていたが、これに限らず、サムネイルによる選択を省略しても良い。例えば、同じ登場人物が映った動画が複数集まった時点で、同一登場人物で一貫させたダイジェスト再生を行うようにしても良い。この場合、再生モード画面にダイジェスト再生釦を設け、これを操作すると、最新撮影画像に含まれる登場人物で、統一した動画編集が可能となる。その登場人物が現れる少し前に撮影された動画が有る場合、その人が登場するシーンのみを寄せ集め、いくつかまとめて新しい動画を生成し再生するようにしても良い。また、図３に示した顔ＤＢ４ｂのＡ子〜Ｃ子を表示し、どの顔が選択されるかで、自動編集動画が切り替えられるような楽しみ方も可能である。さらに、顔を選択しなくても、最後に撮影した動画に出てくる人物を主人公にした画像を作るために、最後の画像の登場人物を利用し、他の動画を検索するようにして、いくつかまとめて新しい動画を生成し再生するようにしても良い。
【００９９】
撮影装置が再生装置を兼ねていたが、再生装置を別途設け、撮影装置で撮影した動画を再生装置で再生するようにしても良い。再生装置としては、再生専用機でも良いが、パーソナルコンピュータによって再生するようにしても勿論かまわない。また、再生装置が撮影装置を兼用していても構わない。この場合には、動画を再生するにあたって、再生装置側で自動的に代表画像等を選択して表示することから、思わぬ画像が表示され、楽しむことができる。
【０１００】
また、本発明の一実施形態や変形例においては、説明上、代表画像は主被写体の中から選択されるとしたが、主被写体そのものを代表画像として表示するようにしても良い。さらに、本発明の一実施形態や変形例においては、エンディングにおいて主演と主演者の名前を表示していたが、エンディング以外の、例えば、動画の冒頭部分に表示するようにしても良い。冒頭に表示すると、これから始まる動画を見ようという気持ちを高めることができる。また、誰それが登場するなら見ようか、といった気分を呼び起こすこともできる。さらに、何かが始まるという感じが出てくるし、ある程度、予測と期待が入り交じった気持ちにさせられる。
【０１０１】
さらに、本発明の一実施形態や変形例においては、部分再生は１つの動画が選択された際にしか行っていないが、これに限らず、動画が複数選択された場合でも、各動画の中で部分再生を行うようにしても勿論かまわない。
【０１０２】
さらに、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。
【０１０３】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１０４】
１・・・画像処理及び制御部、１ｂ・・・代表画像決定部、１ｃ・・・合成表示部、１ｄ・・・音声分析部、２・・・撮像部、３・・・顔検出部、４・・・記録部、４ｂ・・・顔ＤＢ、６・・・操作判定部、７・・・音声収録部、８・・・表示部、９・・・時計部、１０・・・カメラ、１２・・・通信部、２１・・・動画像Ａ、２２・・・動画像Ｂ、２３・・・動画像Ｃ、２３ｃ・・・画面中央部、２５・・・人物（Ａ子）、２６・・・人物（Ｂ子）、２７・・・人物（Ｃ子）、２８・・・人物、２９・・・人物、３１・・・動画Ｄ、３２・・・動画Ｅ、３３・・・動画Ｆ、３４・・・エンディング、４１・・・動画Ｇ、４２・・・動画Ｈ、４３・・・動画Ｊ、４５・・・サムネイル表示、４６・・・サムネイル表示
【図１】
2010252008.tif 000003
【図２】
2010252008.tif 000004
【図３】
2010252008.tif 000005
【図４】
2010252008.tif 000006
【図５】
2010252008.tif 000007
【図６】
2010252008.tif 000008
【図７】
2010252008.tif 000009
【図８】
2010252008.tif 000010
【図９】
2010252008.tif 000011
【図１０】
2010252008.tif 000012
【図１１】
2010252008.tif 000013
【図１２】
2010252008.tif 000014