(57)【要約】【課題】動画と音声の再生タイミングがずれることを防止すること。【解決手段】再生装置は、符号化単位が異なる動画データと音声データ、及び、前記動画データと音声データの多重化の先頭と終端の音声データの符号化に関する補足管理情報とを含むファイルを、任意の順番に多重化の単位で連続して再生する再生手段と、再生された動画データと音声データとを復号する復号手段と、Ｎ番目に多重化区間を再生する際に、Ｎ−１番目に再生した終端の多重化区間の動画と音声の時間的長さの差と、N番目の多重化区間の前記補足管理情報を元にN番目の多重化区間の音声データを復号させるデータ量の調整を行う制御手段とを有する。【選択図】図５
2017098729.tif 000002
【特許請求の範囲】
【請求項１】
符号化単位が異なる動画データと音声データ、及び、前記動画データと音声データの多重化の先頭と終端の音声データの符号化に関する補足管理情報とを含むファイルを、任意の順番に多重化の単位で連続して再生する再生手段と、
再生された動画データと音声データとを復号する復号手段と、
Ｎ番目に多重化区間を再生する際に、Ｎ−１番目に再生した終端の多重化区間の動画と音声の時間的長さの差と、N番目の多重化区間の前記補足管理情報を元にN番目の多重化区間の音声データを復号させるデータ量の調整を行う制御手段と、
を有することを特徴とする再生装置。
【請求項２】
前記符号化に関する補足管理情報は、符号化後のデータサイズを含むことを特徴とする請求項１に記載の再生装置。
【請求項３】
前記符号化に関する補足管理情報は、多重化時の動画と音声の記録開始時と終了時の時間に関する情報を含むことを特徴とする請求項１に記載の再生装置。
【請求項４】
前記符号化に関する補足管理情報は、動画データと音声データの多重化時に記録されることを特徴とする請求項１に記載の再生装置。
【請求項５】
前記データ量の調整とは、前記多重化した先頭と終端の音声データの符号化単位を復号するか否かにより調整することを特徴とする請求項１に記載の再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、再生装置に関し、特に動画と音声の再生に関する。
【背景技術】
【０００２】
従来、動画像信号や音声信号を記録媒体に記録する記録装置が知られている。この種の記録装置においては、記録した動画や音声を所定のファイルシステムに従ってファイルとして管理する。動画や音声を記録するためのファイル形式として、ＭＰ４ファイルフォーマットが知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２８３２３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＭＰ４ファイル形式で記録される動画と音声を符号化するための符号化の単位時間が互いに異なる。そのため、１シーンの終端部分において、動画と音声のサンプルのタイミングが一致することは希で、ほとんどの場合、動画と音声の終端のサンプル位置が異なる。そのため、二つのＭＰ４ファイルに格納された動画と音声を結合し、新たにＭＰ４ファイルを作成する編集処理を行った場合、サンプル位置がずれた状態で結合されてしまう。
【０００５】
ＭＰ４形式では、データの途中に再生しない時間を設定する仕組みがなく、全てのデータはファイルの先頭から連続して再生される。そのため、シーン境界で動画と音声のサンプル位置がずれていた場合、境界部分以降の動画と音声の再生タイミングがずれてしまうという問題があった。
【０００６】
更に、このように結合された動画ファイルを結合部分を単位として再生位置を変えながら再生した場合にも、同様に、動画と音声の再生タイミングがずれてしまうという問題があった。
【０００７】
本発明はこのような課題を解決し、動画と音声の再生タイミングがずれてしまうことを防ぐことが可能な再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る再生装置は、
符号化単位が異なる動画データと音声データ、及び、前記動画データと音声データの多重化の先頭と終端の音声データの符号化に関する補足管理情報とを含むファイルを、任意の順番に多重化の単位で連続して再生する再生手段と、再生された動画データと音声データとを復号する復号手段と、Ｎ番目に多重化区間を再生する際に、Ｎ−１番目に再生した終端の多重化区間の動画と音声の時間的長さの差と、N番目の多重化区間の前記補足管理情報を元にN番目の多重化区間の音声データを復号させるデータ量の調整を行う制御手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明に係る再生装置によれば、動画と音声の再生タイミングがずれてしまうことを防ぐことが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態としてのデジタルカメラの構成図である。
【図２】本発明の実施形態としてのデジタルカメラの構成ブロック図である。
【図３】本発明の実施形態としてのＭＰ４ファイルの構成図である。
【図４】本発明の実施形態としてのチャプタ結合時の制御フローである。
【図５】本発明の実施形態としての非連続にチャプタ毎に連続で再生する制御フローである。
【発明を実施するための形態】
【００１１】
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。
【００１２】
図１に、本実施形態の撮像装置の一例としてのデジタルカメラの外観図を示す。
【００１３】
表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。コネクタ１１２は、パーソナルコンピュータやプリンタなどの外部機器と接続するための接続ケーブル１１１とデジタルカメラ１００とのコネクタである。操作部７０はユーザーからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。
【００１４】
コントローラーホイール７３は操作部７０に含まれる回転操作可能な操作部材である。電源スイッチ７２は、電源オン、電源オフを切り替えるための押しボタンである。記録媒体は２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となり、記録や再生が可能となる。蓋２０３は記録媒体スロット２０１の蓋である。図においては、蓋２０２を開けてスロット２０１から記録媒体２００の一部を取り出して露出させた状態を示している。スピーカ２９は撮影により記録媒体２００に記録された動画を再生する際に音を出力するための装置である。
【００１５】
図２は本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。
【００１６】
図２において、撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０１は絞り機能を備えるシャッターである。撮像部２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。
【００１７】
画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１８】
さらに、画像処理部には映像と音声の複合回路、符号回路が含まれる。Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。また、音声データもメモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００１９】
また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示（ライブビュー表示）を行える。
【００２０】
不揮発性メモリ５６は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのコンピュータプログラムのことである。
【００２１】
システム制御部５０は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ５２には、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。
【００２２】
システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【００２３】
モード切替スイッチ６０、シャッターボタン６１、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。
【００２４】
静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、メニューボタンに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０でメニューボタンに一旦切り換えた後に、メニューボタンに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。
【００２５】
第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
【００２６】
第２シャッタースイッチ６４は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００２７】
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２８】
コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。
【００２９】
なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。
【００３０】
電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。
【００３１】
電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ/Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。
【００３２】
通信部５４は、無線または有線ケーブルによって接続し、映像信号や音声信号等の送受信を行う。通信部５４は無線ＬＡＮ（Local Area Network）やインターネットとも接続可能である。通信部５４は撮像部２２で撮像した画像（スルー画像を含む）や、記録媒体２００に記録された画像を送信可能であり、また、外部機器から画像データやその他の各種情報を受信することができる。
【００３３】
姿勢検知部５５は重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部５５で検知された姿勢に基づいて、撮像部２２で撮影された画像が、デジタルカメラ１００を横に構えて撮影された画像であるか、縦に構えて撮影された画像なのかを判別可能である。システム制御部５０は、姿勢検知部５５で検知された姿勢に応じた向き情報を撮像部２２で撮像された画像の画像ファイルに付加したり、画像を回転して記録することが可能である。姿勢検知部５５としては、加速度センサーやジャイロセンサーなどを用いることができる。
【００３４】
本実施形態では、記録媒体２００にＭＰ４ファイル形式で記録された複数の映像、音声データの再生を多重化毎におこなう。まず、図３の（ａ）を用いて本実施形態で再生するＭＰ４ファイルの構成について説明を行う。
【００３５】
３００は、ファイル形式の変換に関する情報が格納されるｆｔｙｐボックスである。３０１は、再生に必要な管理情報が格納されたｍｏｏｖボックスである。３０２は、符号化された映像データと音声データが格納されたｍｄａｔボックスである。
【００３６】
続いて、ｍｏｏｖボックス３０１の構成について説明をおこなう。３０９は、任意の情報を追加できるｕｕｉｄボックスである。後述する音声補足情報３７０が格納されている。３０３〜３０４はｔｒａｋボックスであり、映像データ、音声データに関わる管理情報が格納されたボックスである。３０６〜３０７はｓｔｓｚボックスであり、映像データ、音声データの符号化単位ごとのデータサイズが格納されている。３１０〜３１１はｔｒａｋボックスに格納されているｓｔｃｏボックスである。
【００３７】
ｓｔｃｏボックスは、映像データ、音声データのｍｄａｔ３０２の格納位置を示す情報が格納されている。各データは１つ以上の符号化単位で構成されるチャンクと呼ばれる単位でｍｄａｔボックス３０２に格納される。３０５はチャプタの管理データであるｔｒａｋボックスである。
【００３８】
本実施形態のＭＰファイルは、撮影時の映像データと音声データ毎にＭＰ４ファイルが作成され、すでにＭＰ４ファイルが作成されていた場合は、既存のＭＰ４ファイルに結合されるものとする。また、結合毎に多重化された情報はチャプタ情報としてチャプタトラック３０５に記録され、再生時にチャプタトラック３０５を参照することにより、多重化毎の再生が可能となる。
【００３９】
３０８はチャプタデータの格納データサイズを示すｓｔｓｚボックスである。ｍｄａｔボックス上に格納されるデータは、本実施形態では多重化時の時刻がアスキーコードで再生チャプタ数分格納される。
【００４０】
３１２はチャプタデータの位置を示すｓｔｃｏボックスである。映像データ、音声データのｓｔｃｏボックスの格納位置と、チャプタのｓｔｃｏボックス３１２の格納位置の前後関係から各チャプタの先頭位置を知ることが可能である。
【００４１】
続いて、ｍｄａｔボックス３０２の構成について説明をおこなう。３２０〜３２７は、ｍｄａｔボックス３０２に格納された、映像データ、音声データ、チャプタデータである。各データは、ｓｔｃｏボックスに記載されている値よりチャンク単位でアクセス可能である。たとえば、３２０（ＣＶ１）は、ｓｔｃｏボックス３１０の３３０から辿ることが可能である。
【００４２】
図３（ｂ）の３６２〜３６３は、図３（ａ）の各チャプタが多重化される際の映像データと音声データとの記録開始・終了の関係を示している。
【００４３】
映像と音声は符号化単位が異なるため、各チャプタの映像と音声の開始時刻の時間の差ｔ１、終了時の時間の差ｔ２が存在する。なお、ｔ１、ｔ２は、映像の記録時間ｔｖに合わせて、音声の圧縮単位である１ＡＵ（アクセスユニット）未満になるように調整され、音声データの開始は映像よりも早くなり、終了は早くなっている。
【００４４】
次に、このようなチャプタを結合した場合の映像と音声のずれ方について考える。図３の（ｃ）のｔ３は、図３の（ｂ）のチャプタＸの映像データ３６０と音声データ３６１の後に、前述したチャプタＮの映像データ３６２と音声データ３６３を結合した際の音と映像のずれを示している。ここで図３の（ｂ）のｄｅｌｔａは、映像データ３６２と音声データ３６３の終了時の時間差である。
【００４５】
このとき、ｔ１＞ｄｅｌｔａであればチャプタＮの音声は後ろにずれ、ｔ１＜ｄｅｌｔａであれば前にずれる。つまり、前チャプタの映像と音のずれ量によっては音がチャプタの結合を繰り返す都度に音が前又は後にずれる可能性がある。そのため、本実施形態のＭＰ４ファイルは、図３の（ｄ）のように、多重化する各チャプタの先頭に１ＡＵ余分に音声データ３５０の記録を行う。結合時に、このデータを用いて音声データの長さ調整を行い、映像と音のずれ量の調整をおこなう。その際の結合制御方法を示したのが、図４の（ｂ）〜（ｃ）である。
【００４６】
ステップ４１０では、前チャプタの映像と音声の時間差ｄｅｌｔａがｔ１と同じでかるか、システム制御部５０が確認をおこなう。そうであればステップ４１１に進み、そうでなければ４１２へと進む。
【００４７】
ステップ４１１では、結合先のチャプタの映像と音声のずれ量ｄｅｌｔａが、結合するチャプタの映像と音声の開始時刻の時間の差ｔ１と同じであるので、結合後のずれ量：ＮｅｗＤｅｌｔａは結合先のずれ量：ｄｅｌｔａと変わらない。そのため、音声データのずれ量調整は行う必要がないので、システム制御部５０が音声データ３５０を結合時には使用しないようにする。この状態を図示したのが図４の（ａ）のパターン０であり、グレーアウトされて図示されているのが使用しない音声データである。
【００４８】
ステップ４１３では、結合後の音声と映像の末端のずれ量としてＮｅｗＤｅｌｔａ＝ｔ２がシステム制御部５０により算出され一時的に記憶される。続く、ステップ４２３ではｔ１、ｔ２、ＮｅｗＤｅｌｔａ、音声データ３５０のデータサイズｓ１、後述する末端の音声データ３５１のデータサイズｓ２、接続パターン０がシステム制御部５０により、音声補足情報３７０に記録される。続く、ステップ４２４では音声データのｍｄａｔへの記録をシステム制御部５０が行う。この時に記録するデータ範囲は、先ほど決定した接続パターンに関わらず、音声データａ０（３５０）を含めて記録する。ステップ４２５では、先ほど決定した接続パターンに応じたｍｏｏｖへの管理情報の記録をシステム制御部５０がおこなう。これは、チャプタを非連続的に再生した際に、前に再生したチャプタの映像と音声のずれ量に応じて再び接続パターンが決める必要があり、音声補足情報とｍｏｏｖ情報から他の接続パターンに変更可能なようにするためである。
【００４９】
ステップ４１２では、ｄｅｌｔａがｔ１より大きいか確認をシステム制御部５０がおこなう。そうであればステップ４１３へと進み、そうでなければステップ４１４へと進む。
ステップ４１３では、（ｄｅｌｔａ−ｔ１）＋ｔ２＞=１ＡＵであるか確認をシステム制御部５０がおこなう。そうであればステップ４１５へと進み、そうでなければステップ４１６へと進む。
【００５０】
ステップ４１５では、ｄｅｌｔａ＞ｔ１かつ（ｄｅｌｔａ−ｔ１）＋ｔ２＞＝１ＡＵであるため、そのまま接続すると音声が１ＡＵ以上前に映像に対して前にずれる。そこで、音声データ３５０を結合時に使用して音が１ＡＵ以上ずれるのを防ぐよう、図４の（ａ）のパターン２で接続する。
【００５１】
続く、ステップ４１７では、結合後の音声と映像の末端のずれ量としてＮｅｗＤｅｌｔａ＝（ｄｅｌｔａ−ｔ１＋ｔ２）−１ＡＵがシステム制御部５０により算出され、ステップ４２３で音声補足情報として記録され、ステップ４２５で先ほど決めた接続方法になるようにｍｏｏｖ情報を記録する。
【００５２】
ステップ４１６では、ｄｅｌｔａ＞ｔ１かつ（ｄｅｌｔａ−ｔ１）＋ｔ２＜１ＡＵであるため、そのまま接続すると音声が１ＡＵ未満前に映像に対してずれる。一般的に、映像が音よりも早くでることは嫌われるため、音声データ３５０を結合時に使用するようにし、さらに末端の音声データ３５１を結合時に使用しないようにシステム制御部５０が一時的に記憶する。この状態を図示したのが図４の（ａ）のパターン１である。こうすることにより、音が前にずれることを防ぎつつ終端の時刻が映像データよりもはみ出すことを防ぐ。
【００５３】
続く、ステップ４１８では、結合後の音声と映像の末端のずれ量としてＮｅｗＤｅｌｔａ＝ｄｅｌｔａ−ｔ２−ｔ１がシステム制御部５０により算出され、ステップ４２３で音声補足情報として記録される。さらに、ステップ４２５で先ほど決めた接続方法になるようにｍｏｏｖ情報を記録する。ステップ４１４では、（ｔ１−ｄｅｌｔａ）−ｔ２＞０であるか確認をシステム制御部５０がおこない、そうであれば、ステップ４１９へと進み、そうでなければ４２０へと進む。
【００５４】
ステップ４１９では、ｄｅｌｔａ＜＝ｔ１かつ（ｔ１−ｄｅｌｔａ）−ｔ２＞０であるため、そのまま接続すると音終端が映像よりも後ろになる。そこで、音声データ３５０、末端の音声データ３５１を結合時に使用しないようにシステム制御部５０がする。この状態を図示したのが図４の（ａ）のパターン３である。続く、ステップ４２１では、結合後の音声と映像の末端のずれ量としてＮｅｗＤｅｌｔａ＝１ＡＵ−（ｔ１−ｄｅｌｔａ−ｔ２）が算出され、ステップ４２３で音声補足情報として記録される。さらに、ステップ４２５で先ほど決めた接続方法になるようにｍｏｏｖ情報を記録する。
【００５５】
ステップ４１９では、ｄｅｌｔａ＜＝ｔ１かつ（ｔ１−ｄｅｌｔａ）−ｔ２＜＝０であるため、そのまま接続しても音の終端が映像よりも後ろになってしまうことはないので、前述したパターン０で結合する。続く、ステップ４２２では、結合後の音声と映像の末端のずれ量としてＮｅｗＤｅｌｔａ＝ｔ２−（ｔ１−ｄｅｌｔａ）がシステム制御部５０により算出され、ステップ４２３で音声補足情報として記録される。さらに、ステップ４２５で先ほど決めた接続方法になるようにｍｏｏｖ情報を記録する。
【００５６】
以上により、結合時に音声データの長さを調整しながら結合するため映像に対して音声がずれることを防ぐことが可能となる。
【００５７】
続いて、図５を用いて、図３の（ａ）のＭＰ４ファイルが非連続にチャプタごとに連続で再生される場合の制御方法について図５を用いて説明をおこなう。
【００５８】
ステップ５５０では、初めに再生するチャプタのＭｏｏｖの解析をメモリ３２に展開後おこなう。
【００５９】
ステップ５５１では、初めに再生するチャプタの音声データが図４の（ａ）のパターン０状態になるようにメモリ３２に展開されたＭｏｏｖ情報の書き換えを、音声補足情報３７０を元に行う。これは、パターン０状態が記録時の音声と映像との位置関係が合っているからである。
【００６０】
ステップ５５２では、初めに再生されるチャプタの終端の音声と映像の時間差ｄｅｌｔａをシステム制御部５０が記憶する。このとき、ｄｅｌｔａは音声補足情報３７０記載されている値ｔ２となる。
【００６１】
ステップ５５３では、先ほど書き換えられたＭｏｏｖ情報を元にｍａｄａから該当するチャプタの映像データと音声データの読み込みをシステム制御部５０がメモリ３２におこなう。
【００６２】
続く、ステップ５５４では、先ほど読み込まれた映像データと音声データと画像処理部２４に送り、複合することにより「１番目に再生するチャプタ」の再生を開始する。
【００６３】
ステップ５５５では、再生順序を示す変数Ｎを２にシステム制御部５０がおこなう。
【００６４】
続く、５５６では、再生するチャプタ数を示す変数ＮｍａｘとＮとの比較をおこない、同じであればステップ５５７へと進む。
【００６５】
続く、ステップ５５８では、Ｎ番目に再生するチャプタのＭｏｏｖの解析をメモリ３２に展開後おこなう。
【００６６】
続く、ステップ５６０では、図４の（ｂ）で前述した接続パターンＰの判定とＮ番目に再生されるチャプタの再生後の音声と映像の時間差ｄｅｌｔａをシステム制御部５０が記憶する。
【００６７】
ステップ５６１では、Ｎ番目に再生するチャプタの音声データが、先ほど決定したＰパターンになるようにメモリ３２に展開されたＭｏｏｖ情報の書き換えを行う。
【００６８】
ステップ５６２では、先ほど書き換えられたＭｏｏｖ情報を元にｍａｄａから該当するチャプタの映像と音声データの読み込みをシステム制御部５０がメモリ３２におこなう。
【００６９】
ステップ５６３では、Ｎ−１番目に再生するチャプタの再生が終了するまで待つ。終了すればステップ５６４へと進む。
【００７０】
ステップ５６４では、ステップ５６２で先ほど読み込まれた映像データと音声データと画像処理部２４に送り、複合することにより「Ｎ番目に再生するチャプタ」の再生を開始し、ステップ５６５では、再生順序を示す変数Ｎに１を加算する。
【００７１】
以上説明したように、再生終了後の音声と映像のずれ量を考慮しながら、音声データ量の調整をおこなうため、映像と音声のずれ量が一定にすることが可能となる。
【符号の説明】
【００７２】
２８  表示部、５０  システム制御部、６０  モード切替スイッチ、
６１  シャッターボタン、１００  デジタルカメラ、１１１  接続ケーブル、
１１２  コネクタ
【図１】
2017098729.tif 000003
【図２】
2017098729.tif 000004
【図３】
2017098729.tif 000005
【図４】
2017098729.tif 000006
【図５】
2017098729.tif 000007