(57)【要約】【課題】  選択した音声の再生時間に対応する１以上の映像を、その音声と同時に再生する。【解決手段】  記録媒体（１０３）には、複数の映像データ及び複数の音声データが記録されている。ユーザは、記録媒体（１０３）に記録される音声データから１つを選択する。ＣＰＵ（１０２）は、選択された音声データの再生時間に総再生時間が等しくなる１以上の映像データを記録媒体（１０３）から選択する。映像音声再生処理部（１０４）は、記録媒体（１０３）から選択された映像データ及び音声を読み出して再生する。映像音声処理部（１０５）は、映像音声再生処理部（１０４）からの音声データを処理してスピーカ（１０７）から音声出力させ、音声再生の間、映像音声再生処理部（１０４）からの映像データを順に表示部（１０６）に表示させる。【選択図】  図１
2012120128.tif 000002
【特許請求の範囲】
【請求項１】
映像と同時再生すべき音声データを指定する指定手段と、
前記指定手段で指定される前記音声データの再生時間を取得する取得手段と、
記録された複数の映像データから、前記音声データの再生時間に対応する総再生時間となる１以上の映像データを選択する選択手段と、
前記音声データを再生する間に、前記選択手段で選択される前記１以上の映像データを続けて再生する再生手段
とを具備することを特徴とする再生装置。
【請求項２】
前記選択手段は、前記１以上の映像データとして、前記音声データの再生時間と、前記記録された複数の映像データの総再生時間との時間的な相対的関係になる映像データを選択することを特徴とする請求項１に記載の再生装置。
【請求項３】
前記記録された複数の映像データは、日、週、月及び年に関する時間軸で分類されており、
前記選択手段は、前記１以上の映像データとして、前記記録された複数の映像データのうちの注目する時間軸よりも小さい時間軸に属する映像データを優先的に選択する
ことを特徴とする１又は２に記載の再生装置。
【請求項４】
映像と同時再生すべき音声データを指定する指定ステップと、
前記指定ステップで指定される前記音声データの再生時間を取得する取得ステップと、
記録された複数の映像データから、前記音声データの再生時間に対応する総再生時間となる１以上の映像データを選択する選択ステップと、
前記音声データを再生するステップと、
前記音声データを再生する間に、前記選択ステップで選択される前記１以上の映像データを続けて再生するステップ
とを具備することを特徴とする再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生装置及び方法に関する。
【背景技術】
【０００２】
従来、動画や音声を記録するビデオカメラが知られている。また、動画の撮影時に記録された音声に代えて、別の音声を動画と共に再生させる技術も知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０７−３２２２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来技術では、ユーザが指定した一つの動画と別の音声を組み合わせるだけであり、複数のシーンの動画に音声を組み合わせて再生することができなかった。
【０００５】
本発明はこの様な問題を解決し、複数の動画と音声とを組み合わせて再生できる再生装置及び方法を提示することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る再生装置は、映像と同時再生すべき音声データを指定する指定手段と、前記指定手段で指定される前記音声データの再生時間を取得する取得手段と、記録された複数の映像データから、前記音声データの再生時間に対応する総再生時間となる１以上の映像データを選択する選択手段と、前記音声データを再生する間に、前記選択手段で選択される前記１以上の映像データを続けて再生する再生手段とを具備することを特徴とする。
【０００７】
本発明に係る再生方法は、映像と同時再生すべき音声データを指定する指定ステップと、前記指定ステップで指定される前記音声データの再生時間を取得する取得ステップと、記録された複数の映像データから、前記音声データの再生時間に対応する総再生時間となる１以上の映像データを選択する選択ステップと、前記音声データを再生するステップと、前記音声データを再生する間に、前記選択ステップで選択される前記１以上の映像データを続けて再生するステップとを具備することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、選択された音声データに対して、非常に簡単な操作で、再生時間が対応する１以上の映像データを選択し、同時再生させることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】音声指定の有効／無効を設定する設定メニューの画面例である。
【図３】音声データを選択する画面例である。
【図４】記録映像の代表画像を時間軸で分類して表示する画面例である。
【図５】本実施例の通常モード再生のフローチャートである。
【図６】通常モード再生で選択される映像データと音声データの例である。
【図７】通常モード再生で生成される映像データ再生リスト例である。
【図８】本実施例の閲覧モード再生のフローチャートである。
【図９】閲覧モード再生で選択される映像データと音声データの例である。
【図１０】閲覧モード再生で生成される映像データ再生リスト例である。
【図１１】閲覧モード再生の別の手順を示すフローチャートである。
【図１２】図１１に対応する閲覧モード再生で選択される映像データと音声データの例である。
【図１３】複数の映像データから曜日毎に抽出された生成される映像データ再生リスト例である。
【図１４】閲覧モード再生における映像データ再生リストの別の例である。
【図１５】記録系の概略構成ブロック図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１１】
本発明に係る再生装置の一実施例を説明する前に、再生対象となる動画と音声の記録態様を説明する。図１５は、動画及び音声を記録する記録系の概略構成ブロック図を示す。図１５に示す記録装置は、ユーザによる記録の開始／停止の指示に応じて動画と音声の記録を開始／停止する手動停止の記録モードと、記録開始後、所定時間の経過で自動的に記録を停止する自動停止の記録モードを持つ。以下、この明細書では、前者を手動停止モードと呼び、後者を自動停止モードと呼ぶ。ユーザは、操作部１５０７を操作することで、これらの記録モードを任意に設定できる。以下の説明では、自動記録モードにおける記録時間を１０秒とするが、これ以外の時間でもよい。
【００１２】
手動停止モードの動作を説明する。手動程度モードで、ユーザが操作部１５０７により記録開始の指示を入力すると、ＣＰＵ１５０８は、信号処理部１５０３と記録部１５０４に記録開始を指示する。撮像部１５０１は被写体を撮影し、動画となる映像データを信号処理部１５０３に出力する。マイクロフォン等を備える音声入力部１５０２は、被写体又は周囲の音声を取り込み、音声データを信号処理部１５０３に出力する。
【００１３】
信号処理部１５０３は、映像データと音声データに公知の圧縮符号化処理を施して、記録部１５０４に出力する。記録部１５０４は、圧縮された映像データ及び音声データに、所定形式の付加情報などを付加し、記録形式に変換して、記録媒体１０３に記録する。記録媒体１０３は、光磁気ディスク、不揮発性メモリ又はハードディスク装置などのランダムアクセス記録媒体からなる。不図示の装着排出機構により、記録媒体１０３は、交換可能である。
【００１４】
記録を開始した後、ユーザが操作部１５０７により記録停止の指示を入力すると、ＣＰＵ１５０８は、信号処理部１５０３と記録部１５０４に記録停止を指示する。ＣＰＵ１５０８はまた、現在の記録モード、不図示のタイマからの現在の年月日を示す情報、及び、記録時間長を示す情報を付加情報として記録する様に記録部１５０４に指示する。記録部１５０４は、ＣＰＵ１５０８からの記録停止の指示に応じて、これらの付加情報を映像と音声の圧縮データに付加した後、記録を停止する。本実施例では、記録開始から記録停止までの間に記録された映像と音声を一つの動画ファイルとして記録媒体１０３に記録する。
【００１５】
自動停止モードの動作を説明する。自動停止モードで、ユーザが操作部１５０７により記録開始の指示を入力すると、ＣＰＵ１５０８は、信号処理部１５０３と記録部１５０４に記録開始を指示する。撮像部１５０１と音声入力部１５０２は、前述の様に映像データと音声データを信号処理部１５０３に出力する。信号処理部１５０３は前述の様に映像データと音声データを圧縮符号化し、記録部１５０４に出力する。記録部１５０４は、映像と音声の圧縮データを記録媒体１０３に記録する。
【００１６】
ＣＰＵ１５０８は、記録開始後、不図示のタイマによるカウントを開始し、記録開始からの経過時間を計測する。記録開始後、所定時間（ここでは１０秒）が経過すると、ＣＰＵ１５０８は、信号処理部１５０３と記録部１５０４に記録停止を指示する。ＣＰＵ１５０８はまた、現在の記録モード、不図示のタイマからの現在の年月日を示す情報、及び、記録時間長を示す情報を付加情報として記録する様に記録部１５０４に指示する。記録部１５０４は、ＣＰＵ１５０８からの記録停止の指示に応じて、これらの付加情報を映像と音声の圧縮データに付加した後、記録を停止する。
【００１７】
外部インターフェイス（外部ＩＦ）１５０５からの音声ファイルの記録を説明する。図１５に示す記録装置では、外部ＩＦ１５０５に外部のＰＣ等の音声再生装置１５０６を接続し、この音声再生装置１５０６から送信されたＢＧＭ用の音声ファイルを受信して記録媒体１０３に記録できる。なお、外部の音声再生装置１５０６との接続には、ＵＳＢ等の公知の通信方式を用いることができる。
【００１８】
ユーザが外部ＩＦ１５０５と音声再生装置１５０６とを接続し、操作部１５０７により音声ファイルの記録を設定すると、ＣＰＵ１５０８は、外部ＩＦ１５０５を介して音声再生装置１５０６に音声ファイルの送信を要求する。音声再生装置１５０６は、指定された音声データを含む音声ファイルを外部ＩＦ１５０５に送信する。外部ＩＦ１５０５は、受信した音声ファイルを記録部１５０４に送る。記録部１５０４は、ＣＰＵ１５０８の指示に応じて、外部ＩＦ１５０５から送信された音声ファイルを記録媒体１０３に記録する。
【００１９】
本発明の一実施例である再生装置を説明する。図１は、その再生装置の概略構成ブロック図を示す。図１に示す再生装置は、記録媒体１０３に記録された動画ファイルをユーザが指定して再生する。また、各動画ファイルの付加情報に基づいて、自動停止モードで撮影された動画ファイルを選択して再生するモードを持つ。更に、自動停止モードで記録された動画ファイルを再生する場合に、動画と共に記録された音声に代えて、他の音声を再生することもできる。他の音声は、例えば、外部の音声再生装置１５０６から送信されて記録媒体１０３に記録されたＢＧＭ用の音声ファイルの音声である。
【００２０】
操作部１０１は、再生装置に対するコントローラである。ＣＰＵ１０２は、ユーザによる操作部１０１の操作及び動作状態に応じて、図１に示す再生装置の各部を制御する。操作部１０１は、再生等を指示する操作キーに加えて、各種設定を行うためのメニュー・ボタン等を含む。
【００２１】
映像音声再生処理部１０４は、ＣＰＵ１０２からの命令に応じて記録媒体１０３から映像及び音声からなる圧縮データを読み出し、復号化した映像データと音声データを映像音声処理部１０５に出力する。映像音声処理部１０５は、映像音声再生処理部１０４からの映像データを所定のサイズに変換し、表示部１０６に出力する。表示部１０６は、映像音声処理部１０５からの映像データを再生画像として表示する。映像音声処理部１０５は、復号化で得られた再生音声信号をスピーカ１０７に供給する。ユーザは、操作部１０１によるスピーカ１０７の出力音量を調整できる。スピーカ１０７は、再生音声を出力する。
【００２２】
映像音声処理部１０５は、映像データに任意の文字情報及び図形情報を重畳可能なＯＳＤ（オン・スクリーン・ディスプレイ）処理部を内蔵する。このＯＳＤ処理部により、表示部１０６の画面上に、任意のメニュー又はインデックス画像を多重表示できる。
【００２３】
図１に示す再生装置の通常再生動作を説明する。ユーザが操作部１０１により再生の指示を入力すると、ＣＰＵ１０２は、映像音声再生処理部１０４と映像音声処理部１０５に各動画ファイルの代表画像を生成して表示する様に指示する。ここでは、動画ファイルの撮影モードに関係無く、記録媒体１０３に記録された順に各動画ファイルの代表画像が表示される。
【００２４】
ユーザは、表示部１０６に表示された代表画像のうちから所望の代表画像を選択し、再生を指示する。ＣＰＵ１０２は、選択された代表画像に対応する動画ファイルを再生する様に映像音声再生処理部１０４と映像音声処理部１０５に指示する。映像音声再生処理部１０４は、指示された動画ファイルを記録媒体１０３から再生し、映像音声処理部１０５に出力する。映像音声処理部１０５は映像音声再生処理部１０４からの動画ファイルの圧縮動画データと圧縮音声データを復号化又は伸長し、再生映像データを表示部１０６に、再生音声信号をスピーカ１０７に出力する。
【００２５】
ユーザによる再生停止の指示に従い、ＣＰＵ１０２は、各部に動画ファイルの再生停止を指示し、再び代表画像を表示部１０６に表示させる。
【００２６】
次に、撮影時に同時収録された音声を別の音声（例えば、ＢＧＭやナレーション等）で代替する音声代替再生動作を説明する。代替音声は、例えば，ＢＧＭ（Back Ground Music）又は、解説などのナレーション等がある。代替音声の時間内に収まる1又は複数の映像を一定の基準で選択し、代替音声と同時に再生する。
【００２７】
本実施例は、自動停止モードで記録された動画ファイルを選択して再生する再生モードを具備し、ここで再生される動画に対して音声代替再生を選択可能になる。自動停止モードで記録された動画は一般に短時間のスナップ撮影による動画となるので、この再生モードをスナップ再生モードと呼ぶ。抽出条件として、自動停止モードでの記録以外の条件例えば、記録時間が一定値よりも短いことを適用しても良い。
【００２８】
ユーザが操作部１０１によりスナップ再生モードを指示すると、ＣＰＵ１０２は、記録媒体１０３に記録された各動画ファイルの付加情報に基づいて、自動停止モードで記録された動画ファイルを検出する。ＣＰＵ１０２は、検出された動画ファイルの代表画像を生成して表示する様に映像音声再生処理部１０４と映像音声処理部１０５に指示する。ここでは、記録媒体１０３に記録された順に自動停止モードで記録された各動画ファイルの代表画像が表示される。
【００２９】
ユーザは、操作部１０１によりＣＰＵ１０２に、表示部１０６に表示された代表画像の内から所望の代表画像を選択し、再生を指示する。ＣＰＵ１０２は選択された代表画像に対応する動画ファイルを再生する様に映像音声再生処理部１０４と映像音声処理部１０５に指示する。映像音声再生処理部１０４は、選択された動画ファイルを記録媒体１０３から再生し、映像音声処理部１０５に出力する。映像音声処理部１０５は、映像音声再生処理部１０４からの動画ファイルの圧縮映像データと圧縮音声データを伸長し、再生映像データを表示部１０６に、再生音声信号をスピーカ１０７にそれぞれ出力する。なお、スナップ再生モードでは、記録開始以降の記録順に従い、１以上の動画ファイルを自動的に連続して再生する。
【００３０】
ユーザによる停止の指示があると、ＣＰＵ１０２は、各部に動画ファイルの再生停止を指示し、再び代表画像を表示部１０６に表示させる。
【００３１】
スナップ再生モードで音声代替再生を行う場合の動作を説明する。まず、代替再生する音声を選択又は指定する。すなわち、ユーザが再生停止状態において操作部１０１のメニュー・ボタンを押下すると、図２に示すような設定メニューが表示部１０６に表示される。表示されたメニューの中から「外部音声指定」の項目を「有効」にすると、図３に示すように、記録媒体１０３に格納されている外部音声データ一覧が表示され、外部音声データの選択が可能となる。こうして、外部音声指定を有効にし、外部音声データが指定された段階で、指定された外部音声データを代替再生する機能が有効となる。
【００３２】
続いて、再生対象となる映像データを指定する。ユーザが操作部１０１のブラウズ・ボタンを押下すると、ＣＰＵ１０２は、記録媒体１０３に格納されている動画データの代表画像の一覧を表示部１０６に表示させる。図４（ａ）〜（ｄ）は、それぞれ任意の「日」、「週」、「月」及び「年」での時間軸における映像データ一覧表示例を示し、指定した時間軸に含まれる映像データの代表画像が一覧表示される。それぞれの時間軸は、画面右上にタブ表示されている「Ｄａｙ」、「Ｗｅｅｋ」、「Ｍｏｎｔｈ」及び「Ｙｅａｒ」により切り替えできる。時間軸単位での移動は、画面左下に表示されている矢印ボタンにより切り替えることが可能となっている。
【００３３】
以上のように、指定した時間軸に含まれる動画を、その代表画像で視覚的に確認できる。通常は、任意の時間軸で表示した代表画像の中から任意の映像データを１つ選択する。
【００３４】
本実施例では、上記のように選択した音声の再生時間の範囲内で、選択された映像データから記録順に連続して映像データを再生する方法と、代表画像の一覧画面に表示される代表画像の順に再生する方法を選択できる。前者を通常モード再生と呼び、後者を閲覧モード再生と呼ぶ。
【００３５】
図５は、通常モード再生での動作フローチャートを示す。図６に示すように、映像と音声データが記録媒体１０３に格納されているとし、「外部音声指定」により音声データ０００３．ｗａｖが選択され、映像データ０００２．ｍｏｖが選択されたとする。図６に示すように、各映像データの再生時間は各１０秒であり、外部音声データ０００３．ｗａｖの再生時間は１分０秒である。
【００３６】
ユーザにより通常モード再生が指示されると、ＣＰＵ１０２は、選択された外部音声データ０００３．ｗａｖの再生時間を取得する（Ｓ５０１）。ＣＰＵ１０２は、外部音声データ０００３．ｗａｖの再生時間に合わせ、先に選択された映像データ０００２．ｍｏｖから始まる記録順での映像データ再生リストを生成する（Ｓ５０２）。図６に示す例では、外部音声データの再生時間が１分０秒であるので、外部音声に合わせて６つの映像データが再生可能となる。従って、図７に示すように６つの映像データ０００２．ｍｏｖ〜０００７．ｍｏｖが選択される。
【００３７】
選択された映像データ０００２．ｍｏｖ及び音声データ０００３．ｗａｖの同時再生を開始する（Ｓ５０３）。このとき、再生された映像データ（映像ファイル）には、撮影時に動画と共に記録された音声データが含まれる。代替再生を行う場合、ＣＰＵ１０２は、映像データと共に再生された音声データに代えて、音声データ（音声ファイル）の音声をスピーカ１０７から出力するように、映像音声処理部１０５に指示する。ＣＰＵ１０２は、映像データ０００２．ｍｏｖの再生が終了すると（Ｓ５０４）、再生リストにより指定された順に従い、次の映像データ０００３．ｍｏｖの再生を開始する（Ｓ５０５）。このとき、音声データ００３．ｗａｖについては、そのまま再生を続ける。この処理を繰り返し、外部音声データ０００３．ｗａｖの再生を終了すると（Ｓ５０５）、ＣＰＵ１０２は、再生を終了する。
【００３８】
このように、外部音声データの再生時間の範囲内で、選択された映像データ以降の記録順の１以上の映像データが連続再生される。
【００３９】
図６に示す例では、音声データ０００３．ｗａｖの再生時間と６つの映像データ０００２．ｍｏｖ〜０００７．ｍｏｖの再生時間が一致するので、音声データの再生終了と同時に映像データの再生も終了するが、これに限定されない。例えば、映像データの総再生時間が音声データの再生時間よりも長い場合、映像データの再生をフェードアウトして終了しても良いし、無音のまま映像データの終了まで再生しても良い。逆に、映像データの総再生時間が音声データの再生時間よりも短い場合、映像データの再生終了に合わせて音声データの再生をフェードアウトしても良いし、表示映像を固定して音声データの再生終了まで表示しても良い。
【００４０】
閲覧モード再生では、図４に示すように、一覧画面内に「Ｐｌａｙ」ボタン（再生ボタン）を配置する。この再生ボタンを操作すると、現在、一覧表示されている代表画像が全て、外部音声と同時に再生すべき対象となる。映像データ群の総再生時間が選択された外部音声データの再生時間よりも長い場合、外部音声データの再生時間内で、一覧表示上で選択された１つの映像データ以降の１又は複数の映像データが連続再生される。つまり、「Ｄａｙ」、「Ｗｅｅｋ」、「Ｍｏｎｔｈ」、及び「Ｙｅａｒ」のそれぞれの時間軸に応じたダイジェスト再生を行うためのモードとも言える。
【００４１】
図８は、閲覧モード再生での再生動作のフローチャートを示す。代表画像の一覧において、図９に示すように、再生時間が各１０秒の３０個の映像データ００００．ｍｏｖ〜００２９．ｍｏｖがあるとする。４つの外部音声データのうちで、再生時間が１分の音声データ０００３．ｗａｖが再生用に選択されているものとする。
【００４２】
閲覧モード再生が指示されると、ＣＰＵ１０２は、まず、選択された外部音声データ０００３．ｗａｖの再生時間を取得する（Ｓ８０１）。ＣＰＵ１０２は、現在表示されている代表画像に対応した映像データの総再生時間を算出する（Ｓ８０２）。図９に示す例では、再生時間が１０秒の映像データが３０クリップ含まれているので、総再生時間は、１０秒×３０クリップ＝５分０秒となる。
【００４３】
ＣＰＵ１０２は、映像データの総再生時間を、選択された外部音声データ０００３．ｗａｖの再生時間で除算して、同時再生すべき映像データを決定し、再生リストを生成する（Ｓ８０３）。ここでは、外部音声データの再生時間１分０秒に対し、映像データの総再生時間が５分０秒であるので、５つの映像データを単位に、図９に破線で囲んで示す６つの映像データを選択する。すなわち、図１０に示すように６つの映像データ００００．ｍｏｖ，０００５．ｍｏｖ，００１０．ｍｏｖ，００１５．ｍｏｖ，００２０．ｍｏｖ，００２５．ｍｏｖが選択される（Ｓ８０３）。一般的に言うと、音声データの再生時間に対し、再生候補となる複数の映像データの総再生時間との時間的な相対的関係になる映像データを、再生候補から選択する。
【００４４】
図１０では、５つの映像データ単位の先頭を選択して再生対象としているが、各映像データの再生回数を記憶し、再生回数の少ない順に選択するようにしてもよい。この場合、再生毎に再生リストの内容が変化する。
【００４５】
ＣＰＵ１０２は、再生リストの最初の映像データ００００．ｍｏｖと、選択された音声データ０００３．ｗａｖの同時再生を開始する（Ｓ８０４）。このとき、再生された映像データ（映像ファイル）には、撮影時に動画と共に記録された音声データが含まれる。代替再生を行う場合、ＣＰＵ１０２は、映像データと共に再生された音声データに代えて、音声データ（音声ファイル）の音声をスピーカ１０７から出力するように、映像音声処理部１０５に指示する。映像データ００００．ｍｏｖの再生が終了すると（Ｓ８０５）、ＣＰＵ１０２は、再生リストで次の映像データ０００５．ｍｏｖを再生する（Ｓ８０６）。
【００４６】
外部音声データ０００３．ｗａｖの再生が終了すると（Ｓ５０５）、ＣＰＵ１０２は、再生を終了する。
【実施例２】
【００４７】
別の方法で作成した再生リストによる閲覧モード再生を説明する。ここでは、図４（ａ）〜図４（ｄ）に示す各時間軸における表示単位を考慮した再生リストを生成する。図４（ａ）に示す「Ｄａｙ」分類では、各時単位に撮影された映像データを含んで再生されるようにする。図４（ｂ）に示す「Ｗｅｅｋ」分類では、各曜日に撮影された映像データを含んで再生されるようにする。図４（ｃ）に示す「Ｍｏｎｔｈ」分類では、各週に撮影された映像データを含んで再生されるようにする。図４（ｄ）に示す「Ｙｅａｒ」分類では、各月に撮影された映像データを含んで再生されるようにする。
【００４８】
図４（ｂ）に示す「Ｗｅｅｋ」分類で閲覧モード再生が指示された場合を例に、動作を説明する。図１１は、その再生動作のフローチャートを示す。代表画像の一覧において、図１２に示すように、再生時間が各１０秒の３０クリックの映像データ００００．ｍｏｖ〜００２９．ｍｏｖがあるとする。４つの外部音声データのうちで、再生時間が１分の音声データ０００３．ｗａｖが再生用に選択されているものとする。
【００４９】
ユーザが操作部１０１により閲覧モード再生を指示すると、ＣＰＵ１０２はまず、外部音声データ０００３．ｗａｖの再生時間を取得する（Ｓ１１０１）。ＣＰＵ１０２は次に、現在、表示されている一覧画面の時間軸（注目する時間軸）よりも小さな時間軸に属する先頭の映像データを優先的に抽出し、総再生時間を算出する（Ｓ１１０２）。図１２に示す例では、注目する「Ｗｅｅｋ」よりも小さな時間軸は、曜日を指すので、図１３に示すように、各曜日の先頭の映像データが優先的に抽出される。すなわち、映像データ００００．ｍｏｖ（日）、０００９．ｍｏｖ（月）、００１１．ｍｏｖ（火）、００１４．ｍｏｖ（水）、００１６．ｍｏｖ（木）、００１７．ｍｏｖ（金）及び００２１．ｍｏｖ（土）が抽出される。抽出された映像データの総再生時間は７０秒となる。
【００５０】
ＣＰＵ１０２は、外部音声データの再生時間とステップＳ１１０２で抽出された映像データの総再生時間を比較する（Ｓ１１０３）。音声再生時間の方が短い場合、ＣＰＵ１０２は、音声再生時間と抽出映像データの総再生時間の比率に従って映像データの再生時間を調整した再生リストを生成する（Ｓ１１０４）。ここでは、ＣＰＵ１０２は、図１４（ａ）に示すように、音声再生時間と抽出映像データの総再生時間の比率（７：６）で各映像データの再生時間を一律に調整して８．６秒としている。その他の調整方法を採用しても良い。
【００５１】
音声再生時間の方が長い場合、ＣＰＵ１０２は、音声再生時間から抽出映像データの総再生時間を差し引いた残再生時間に対して抽出映像データ以外の映像データを追加した再生リストを生成する（Ｓ１１０６）。例えば、音声再生時間が１分３０秒であった場合、外部音声データの残再生時間は２０秒となる。このとき、抽出映像データ以外の２３クリップの映像データから２クリップを選択して、先に抽出した映像データに追加すれば良い。図１４（ｂ）では、撮影数の多い月曜日と土曜日から１つずつ映像データを追加している。もちろん、その他の方法で選択しても良い。
【００５２】
ＣＰＵ１０２は、ステップＳ１１０４又はＳ１１０６で生成された再生リストの先頭の映像データ００００．ｍｏｖと、外部音声データ０００３．ｗａｖの同時再生を開始する（Ｓ１１０７）。映像データ００００．ｍｏｖの再生が終了すると（Ｓ１１０８）、ＣＰＵ１０２は、再生リスト上の次の映像データ０００９．ｍｏｖを再生する（Ｓ１１０９）。
【００５３】
このような処理を繰り返し、外部音声データ０００３．ｗａｖの再生が終了すると（Ｓ１１１０）、ＣＰＵ１０２は映像の再生を終了する。
【図１】
2012120128.tif 000003
【図２】
2012120128.tif 000004
【図３】
2012120128.tif 000005
【図４】
2012120128.tif 000006
【図５】
2012120128.tif 000007
【図６】
2012120128.tif 000008
【図７】
2012120128.tif 000009
【図８】
2012120128.tif 000010
【図９】
2012120128.tif 000011
【図１０】
2012120128.tif 000012
【図１１】
2012120128.tif 000013
【図１２】
2012120128.tif 000014
【図１３】
2012120128.tif 000015
【図１４】
2012120128.tif 000016
【図１５】
2012120128.tif 000017