(57)【要約】  映像再生装置は、第２のファイル（１２２）の音声データを読み出す音声データ読み出し部（１１５）と、第１のファイル（１２１）の映像データを読み出す映像データ読み出し部（１１４，１１６）と、音声データ読み出し部（１１５）により読み出された音声データから音声信号を生成する分離された映像データを復号する音声復号部（１２０）と、音声復号部（１１９）と、音声データ読み出し部及び映像データ読み出し部を制御する読み出し制御部（１１２）と、を備える。読み出し制御部（１１２）は、第２のファイル（１２２）を読み出すのに必要な帯域以外の帯域を使用して第１のファイル（１２１）を読み出し、間引いた映像データを出力するように指示を出す。
2010007727.tif 000002
【特許請求の範囲】
【請求項１】
映像データが記録された第１のファイルと、音声データが物理的に連続な記録領域に記録された第２のファイルとを格納した記録媒体から前記第１のファイル及び前記第２のファイルを読み出し、映像及び音声を再生する映像再生装置であって、
前記記録媒体から第２のファイルの音声データを読み出す音声データ読み出し手段と、
前記記録媒体から第１のファイルの映像データを読み出す映像データ読み出し手段と、
前記音声データ読み出し手段及び前記映像データ読み出し手段の読み出し動作を制御する、読み出し制御手段と、
前記音声データ読み出し手段により読み出された音声データから音声信号を生成する音声復号手段と、
前記映像データ読み出し手段により読み出された映像データから映像信号を生成する映像復号手段とを備え、
前記読み出し制御手段は、前記第２のファイルの音声データを読み出すのに必要な帯域以外の残りの帯域を使用して、前記記録媒体から第１のファイルの映像データを読み出すように前記映像データ読み出し手段を制御する、
ことを特徴とする映像再生装置。
【請求項２】
前記音声データ読み出し手段により読み出された音声データを記憶する音声バッファをさらに備え、
前記読み出し制御手段は、前記音声バッファの空き容量が所定値以上ある間、前記記録媒体から音声ファイルを読み出すように前記音声データ読み出し手段を制御し、前記音声バッファの空き容量が所定値未満になった場合に、前記記録媒体から第１のファイルを読み出す、ことを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記映像データ読み出し手段により得られた映像データを格納する映像バッファをさらに備え、
前記読み出し制御手段は、前記映像バッファに格納されたデータ量に基づき前記読み出し性能評価を行い、データ量が所定量より少ないときに前回の読み出し時に得られた映像データを前記映像バッファに出力するように、前記映像データ読み出し手段を制御する、ことを特徴とする請求項１に記載の映像再生装置。
【請求項４】
前記第１のファイルにおいて、前記映像データは音声データと多重化されて記録されており、前記映像データ読み出し手段は、前記第１のファイルから映像データ及び音声データを読み出し、
前記映像再生装置は、前記記録媒体から映像及び音声をｍ（ｍ≦１）倍速で再生可能であって、
ｍ倍速で再生する場合、前記読み出し制御手段は、前記記録媒体から第２のファイルの読み出しを行わないように前記音声データ読み出し手段を制御し、前記記録媒体から第１のファイルを読み出すように前記映像データ読み出し手段を制御し、
前記音声復号手段は、前記映像データ読み出し手段から得られた音声データから音声信号を生成し、
前記映像復号手段は、前記映像データ読み出し手段から得られた映像データから映像信号を生成する、
ことを特徴とする請求項１記載の映像再生装置。
【請求項５】
外部から入力される映像信号及び音声信号を符号化して映像データ及び音声データを生成する符号化手段と、
映像データおよび音声データを多重化して多重データを生成し、単一の多重ファイルとして記録媒体に記録する多重データ書き込み手段と、
符号化された音声データを音声ファイルとして前記記録媒体に物理的に連続な領域に記録する音声データ書き込み手段とを備えた、
ことを特徴とする映像記録装置。
【請求項６】
映像データが記録された第１のファイルと、音声データが物理的に連続な記録領域に記録された第２のファイルとを格納した記録媒体から前記第１のファイル及び前記第２のファイルを読み出し、映像及び音声を再生する映像再生方法であって、
前記記録媒体から第２のファイルの音声データを読み出す音声データ読み出しステップと、
前記記録媒体から第１のファイルを読み出す映像データ読み出しステップと、
前記音声データ読み出しステップ及び前記映像データ読み出しステップの読み出し動作を制御する、読み出し制御ステップと、
前記音声データ読み出しステップにより読み出された音声データから音声信号を生成する音声復号ステップと、
前記映像データ読み出しステップにより読み出された映像データから映像信号を生成する映像復号ステップとを備え、
前記読み出し制御ステップは、前記第２のファイルの音声データを読み出すのに必要な帯域以外の残りの帯域を使用して、前記記録媒体から第１のファイルの映像データを読み出すように前記映像データ読み出しステップを制御する、
ことを特徴とする映像再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスク上に映像データと音声データを多重した多重データおよび音声データを記録し、ディスク上に記録されたデータから映像および音声を再生する映像記録再生装置およびその方法に関する。
【背景技術】
【０００２】
近年、ノンリニア編集機の普及や、光ディスク、ハードディスク、半導体メモリを使用したカメラレコーダの登場により、映像、音声のデータをファイル化して記録媒体に格納し、映像編集する機会が増えてきている。【０００３】
ファイル化されたデータはファイルシステムというソフトウェアを通して読み書きされる。ファイルシステムは、記録媒体上の物理的に離れた位置に格納されているデータをひとつのファイルとして管理する機構を備えている。このような分散したデータがハードディスクや光ディスクに格納されていると、ファイルを読み出すときに読み出しヘッドのシークや回転待ちが発生する。これらの現象は読み出し速度を低下させるので、リアルタイム性が要求される映像の再生などにとって大きな問題である。【０００４】
そのため、ノンリニア編集機では、映像を格納するハードディスクを多重化してＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ  Ａｒｒａｙｓ  ｏｆ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｄｉｓｋｓ）構成にして、ヘッドシークの影響を減らすとともに読み出しを並列化することにより、読み出し速度を向上し、リアルタイム性の確保と応答性の向上を図っている。【０００５】
ノンリニア編集機のハードディスクをＲＡＩＤ化することは運用上可能であるが、ＲＡＩＤ化したハードディスクを撮影現場に持ち出して使用することは価格やサイズの面で問題が多い。そのため、特許文献１では、ファイルへの読み書きをファイルシステムが読み書きの単位として管理しているサイズ（クラスタ）よりも大きなサイズで読み書きをすることでヘッドシークの回数を減らし、ＲＡＩＤを用いなくても映像をリアルタイム再生できる仕組みを提供している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−７８７０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＲＡＩＤによる利点の一つとしてランダムアクセスに対する速度改善が挙げられる。映像編集では、ジョグ、シャトルなどの特殊再生により、使用する箇所を検索する作業に多く時間を費やしており、この作業をスムーズに行なうことはリアルタイム再生と同じくらい重要である。ＲＡＩＤ化はこれに対するひとつの解である。特殊再生によるランダムアクセスはディスク上でシークや回転待ちを発生させるため、特許文献１の方式であっても読み出し速度の低下が引き起こされ、映像及び音声が途切れて再生されてしまう可能性が高い。また、特殊再生時だけに限らず、等倍速再生時においても、ハードディスクの能力が低い場合には映像及び音声が途切れて再生されることがある。【０００８】
映像及び音声が途切れて再生されると、ユーザは映像より音声が途切れたことに対して違和感や不快感を持つ。これは特殊再生では映像は離散的に出力されるという特徴を持つのに対し、音声は連続的に出力されるという特徴を持つためである。【０００９】
上記課題に鑑み本発明は、性能が十分でないディスク上に記録されている映像、音声ファイルに対して特殊再生や等倍速再生をした場合に、映像及び音声を途切れさせることなく再生する機構を提供することを目的とする。  
【課題を解決するための手段】
【００１０】
本発明に係る映像再生装置は、映像データが記録された第１のファイルと、音声データが物理的に連続な記録領域に記録された第２のファイルとを格納した記録媒体から前記第１のファイル及び第２のファイルを読み出し、映像及び音声を再生する映像再生装置であって、記録媒体から第２のファイルの音声データを読み出す音声データ読み出し手段と、記録媒体から第１のファイルの映像データを読み出す映像データ読み出し手段と、音声データ読み出し手段及び映像データ読み出し手段の読み出し動作を制御する、読み出し制御手段と、音声データ読み出し手段により読み出された音声データから音声信号を生成する音声復号手段と、映像データ読み出し手段により読み出された映像データから映像信号を生成する映像復号手段とを備え、読み出し制御手段は、第２のファイルの音声データを読み出すのに必要な帯域以外の残りの帯域を使用して、記録媒体から第１のファイルの映像データを読み出すように映像データ読み出し手段を制御する、ことを特徴とする。【００１１】
上記映像再生装置は、前記音声データ読み出し手段により読み出された音声データを記憶する音声バッファをさらに備え、読み出し制御手段は、音声バッファの空き容量が所定値以上ある間、記録媒体から音声ファイルを読み出すように音声データ読み出し手段を制御し、音声バッファの空き容量が所定値未満になった場合に、記録媒体から第１のファイルを読み出してもよい。【００１２】
上記映像再生装置は、映像データ読み出し手段により得られた映像データを格納する映像バッファをさらに備え、読み出し制御手段は、映像バッファに格納されたデータ量に基づき前記読み出し性能評価を行い、データ量が所定量より少ないときに前回の読み出し時に得られた映像データを前記映像バッファに出力するように、映像データ読み出し手段を制御してもよい。【００１３】
上記映像再生装置は、第１のファイルにおいて、映像データは音声データと多重化されて記録されており、映像データ読み出し手段は、第１のファイルから映像データ及び音声データを読み出し、映像再生装置は、記録媒体から映像及び音声をｍ（ｍ≦１）倍速で再生可能であって、ｍ倍速で再生する場合、読み出し制御手段は、記録媒体から第２のファイルの読み出しを行わないように音声データ読み出し手段を制御し、記録媒体から第１のファイルを読み出すように映像データ読み出し手段を制御し、音声復号手段は、映像データ読み出し手段から得られた音声データから音声信号を生成し、映像復号手段は、映像データ読み出し手段から得られた映像データから映像信号を生成してもよい。【００１４】
本発明に係る映像記録装置は、外部から入力される映像信号及び音声信号を符号化して映像データ及び音声データを生成する符号化手段と、映像データおよび音声データを多重化して多重データを生成し、単一の多重ファイルとして記録媒体に記録する多重データ書き込み手段と、符号化された音声データを音声ファイルとして記録媒体に物理的に連続な領域に記録する音声データ書き込み手段とを備えた、ことを特徴とする。【００１５】
本発明に係る映像再生方法は、映像データが記録された第１のファイルと、音声データが物理的に連続な記録領域に記録された第２のファイルとを格納した記録媒体から第１のファイル及び第２のファイルを読み出し、映像及び音声を再生する映像再生方法であって、記録媒体から第２のファイルの音声データを読み出す音声データ読み出しステップと、記録媒体から第１のファイルを読み出す映像データ読み出しステップと、音声データ読み出しステップ及び映像データ読み出しステップの読み出し動作を制御する、読み出し制御ステップと、音声データ読み出しステップにより読み出された音声データから音声信号を生成する音声復号ステップと、映像データ読み出しステップにより読み出された映像データから映像信号を生成する映像復号ステップとを備え、読み出し制御ステップは、第２のファイルの音声データを読み出すのに必要な帯域以外の残りの帯域を使用して、記録媒体から第１のファイルの映像データを読み出すように映像データ読み出しステップを制御する、ことを特徴とする。
【発明の効果】
【００１６】
ディスクに保存されている音声、映像ファイルの再生において、通常再生または低速再生の場合は、ディスク上の連続領域に配置されている音声及び映像の多重ファイルを読み出すことにより、コマ落ちを抑え、リアルタイム性を向上することができる。一方、高速再生または読み出しが追いつかない場合は、ディスク上の連続領域に配置されている音声ファイルを優先して読むことにより、音が途切れるのを防ぎ映像の検索性を向上することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態における動画記録再生装置の構成図
【図２】図１の多重ファイル、音声ファイルのディスク上の物理配置図
【図３】本発明の実施形態の動画記録再生装置の再生部による動作のフローチャート
【図４】図１の、映像データが蓄積された出力映像バッファの状態を示す図
【発明を実施するための形態】
【００１８】
以下に、本発明の実施形態について、図面を参照しながら説明する。本実施形態では、映像のビットレートが１２０，０００バイト／フレーム、フレームレートが３０フレーム／秒、音声のサンプリングレートが４８０００Ｈｚ、サンプルあたりのバイト数が２、チャンネル数が４の場合を説明する。
【００１９】
［動画記録再生装置の構成］
図１に、本発明の実施形態における動画記録再生装置１００の構成を示す。動画記録再生装置１００は、入力された映像信号、音声信号を符号化し、記録媒体１２３に記録する記録部１０１と、記憶媒体１２３に記憶されたデータを再生する再生部１１１とから構成される。具体的には、記録部１０１は、外部より入力された映像信号と音声信号を映像データと音声データに符号化し、映像データと音声データを多重化して多重データを生成し、多重データと音声データを記録媒体１２３に多重ファイル１２１と音声ファイル１２２としてそれぞれ記録する。再生部１１１は、記録媒体１２３から多重ファイル１２１、音声ファイル１２２として記録された多重データ、音声データを読み出し、多重データから映像データと音声データを分離して、さらに分離した映像データと音声データをそれぞれ映像信号と音声信号に復号し、映像信号と音声信号を出力する。ここでは、多重ファイル１２１及び音声ファイル１２２は固定長ファイルである。本実施形態では、記録媒体１２３はハードディスクであるが、光ディスクや光磁気ディスク等であってもよい。
【００２０】
最初に、記録部１０１について詳細に説明する。映像符号化部１０２は、外部より入力された映像信号を映像データに符号化し、映像データを入力映像バッファ１０４に出力する。音声符号化部１０３は、外部より入力された音声信号を音声データに符号化し、音声データを入力音声バッファ１０５に出力する。
【００２１】
多重部１０９は、入力映像バッファ１０４に蓄積された１フレーム（１２０，０００バイト）の映像データと、入力音声バッファ１０５に蓄積された１フレーム分に対応する音声データ（１２，８００バイト＝４８０００Ｈｚ÷３０フレーム／秒×２バイト／サンプル×４チャンネル）を入力して、１フレーム分の音声データと映像データを多重化し、多重データを作成する。
【００２２】
書き込み部１０６は、音声データ書き込み部１０７と、多重データ書き込み部１０８と、から構成される。音声データ書き込み部１０７は、入力音声バッファ１０５に蓄積された音声データを記録媒体１２３に音声ファイル１２２として記録し、多重データ書き込み部１０８は、多重部１０９から１フレーム分の多重データを入力し、入力した多重データを記録媒体１２３に多重ファイル１２１として記録する。
【００２３】
入力映像バッファ１０４および入力音声バッファ１０５は、リングバッファである。映像符号化部１０２が入力映像バッファ１０４に映像データを出力したときに、入力映像バッファ１０４はリングバッファ上の書き込みポインタをひとつ進める。また、音声符号化部１０３が入力音声バッファ１０５に音声データを出力したときに、入力音声バッファ１０５はリングバッファ上の書き込みポインタをひとつ進める。さらに、多重部１０９が入力映像バッファ１０４から映像データを読み出したときに、入力映像バッファ１０４はリングバッファ上の読み出しポインタをひとつ進める。またさらに、音声書き込み部１０６および多重部１０９の両方が入力音声バッファ１０５から音声データを読み出したときに、入力音声バッファ１０５はリングバッファ上の読み出しポインタをひとつ進める。
【００２４】
書き込み制御部１１０は、定期的に入力映像バッファ１０４、入力音声バッファ１０５に１フレーム以上のデータが蓄積されているか否かを調べ、蓄積されている場合には書き込み部１０６へ書き込みの指示を出す。
【００２５】
本実施形態では、書き込み制御部１１０は、１／３０秒ごとに入力映像バッファ１０４、入力音声バッファ１０５のデータ量を調べる。１フレーム以上のデータが蓄積されていることがわかると、書き込み制御部１１０は多重データ書き込み部１０８に書き込み命令を送る。初めて書き込み命令を受けた多重データ書き込み部１０８は、まずディスク上に物理的な連続領域を確保する。本実施形態では、約４０フレームに相当する領域５ＭＢ（≒１２０、０００バイト×４０フレーム）を確保することにする。その後、多重データ書き込み部１０８は、多重部１０９から１フレーム分の多重データを入力し、入力した多重データを記録媒体１２３に多重ファイル１２１として書き込む。以降、多重データ書き込み部１０８は、書き込み制御部１１０から命令があるたびに、多重部１０９から１フレーム分の多重データを入力し、入力したデータを記録媒体１２３に順次多重ファイル１２１として追記する。
【００２６】
多重データ書き込み部１０８が５ＭＢの連続領域を書き終わると、書き込み制御部１１０は音声データ書き込み部１０７に書き込み命令を送る。音声データ書き込み部１０７は、ディスク上に約４０フレーム分に相当する領域５１２ＫＢ（≒１２、８００×４０フレーム）の物理的な連続領域を確保する。音声データ書き込み部１０７は、入力音声バッファ１０５に蓄積している音声データ５１２ＫＢを記録媒体１２３に音声ファイル１２２として書き込む。
【００２７】
次に、書き込み制御部１１０は、多重データ書き込み部１０８に書き込み命令を送る。多重データ書き込み部１０８は、新たに５ＭＢの連続領域を確保し、書き込み制御部１１０から命令があるたびに、順次多重データを記憶媒体１２３に多重ファイル１２１として追記する。
【００２８】
このようにして書き込まれたファイルは、図２に示すような物理配置になる。ひとますが３２ＫＢの領域であり、１行が５１２（３２×１６）ＫＢの領域である。まず、上から５ＭＢの領域２００に多重データが書き込まれ、領域２００に続く５１２ＫＢの領域２０１に音声データが書き込まれる。同様に、領域２０１に続く５ＭＢの領域２０２に多重データが書き込まれ、領域２０２に続く５１２ＫＢの領域２０３に音声データが書き込まれる。これを繰り返すと、領域２００、領域２０２、領域２０４は、多重ファイル１２１の内容が書き込まれた領域（各５ＭＢ）となり、領域２０１、領域２０３、領域２０５は、音声ファイル１２２の内容が書き込まれた領域（各５１２ＫＢ）となる。多重ファイル１２１は領域２００→領域２０２→領域２０４の順にデータが書かれており、音声ファイル１２２は領域２０１→領域２０３→領域２０５の順でデータが書かれている。
【００２９】
次に、再生部１１１について詳細に説明する。再生部１１１は、図２のようにデータが配置されたファイルを記録媒体１２３から読み出して再生する。また、再生部１１１は、ユーザが設定した再生速度に応じて映像、音声を出力するものとする。
【００３０】
読み出し制御部１１２は、ユーザが指定した再生速度と出力音声バッファ１１７、出力映像バッファ１１８のそれぞれに蓄積されているデータ量に応じて読み出し位置を計算する。読み出し制御部１１２は、読み出し部１１３に、計算した多重ファイル１２１、音声ファイル１２２の位置からデータを読み出すよう指示する。
【００３１】
読み出し部１１３は、多重データ読み出し部１１４と音声データ読み出し部１１５より構成される。多重データ読み出し部１１４は、記録媒体１２３から多重ファイル１２１の１フレーム分の多重データを読み出して、読み出した１フレーム分の多重データを分離部１１６に出力する。分離部１１６は、フレームごとに多重されたデータを映像データと音声データに分離し、分離された映像データと音声データを出力映像バッファ１１８と出力音声バッファ１１７にそれぞれ出力する。音声データ読み出し部１１５は、記録媒体１２３から音声ファイル１２２の音声データを読み出し、読み出した音声データを出力音声バッファ１１７に出力する。
【００３２】
音声データおよび映像データは、出力音声バッファ１１７および出力映像バッファ１１８の出力時に同期がとられる。音声復号部１１９は、出力音声バッファ１１７に蓄えられている音声データを音声信号に復号し、ユーザが設定した再生速度に応じて音声信号を外部に出力する。例えば、３倍速の場合、３倍速に変調して出力する。映像復号部１２０は、出力映像バッファ１１８に蓄えられている映像データを１／３０秒ごとに読み出して、読み出した映像データを映像信号に復号し、映像信号を外部に出力する。
【００３３】
入力映像バッファ１０４および入力音声バッファ１０５と同様に、出力音声バッファ１１７、出力映像バッファ１１８も、リングバッファである。音声読み出し部１１３または分離部１１６が出力音声バッファ１１７に音声データを出力したときに、出力音声バッファ１１７はリングバッファ上の書き込みポインタをひとつ進める。また、分離部１１６が出力映像バッファ１１８に映像データを出力したときに、出力映像バッファ１１８はリングバッファ上の書き込みポインタをひとつ進める。さらに、音声復号部１１９が出力音声バッファ１１７の音声データを読み出したときに、出力音声バッファ１１７はリングバッファ上の読み出しポインタをひとつ進める。またさらに、映像復号部１２０が出力映像バッファ１１８の映像データを読み出したときに、出力映像バッファ１１８はリングバッファ上の読み出しポインタをひとつ進める。
【００３４】
［動画記録再生装置の動作］
はじめに、１倍速（通常）再生時または低速再生時の再生部１１１の動作（再生過程）を説明する。このとき、再生部１１１は多重ファイル１２１のみを読み出し、音声ファイル１２２を読み出さない処理を行う。読み出し制御部１１２は、再生速度が１以下であることを認識すると、多重データ読み出し部１１４に読み出し要求を送る。以降、読み出し制御部１１２は、出力音声バッファ１１７、出力映像バッファ１１８の空き領域がなくなるまで多重データ読み出し部１１４へ読み出しの要求を送り続ける。出力音声バッファ１１７、出力映像バッファ１１８の空き領域がなくなった後は、読み出し制御部１１２は１／３０秒ごとに出力音声バッファ１１７、出力映像バッファ１１８の空きを調べ、空きがあったらバッファの空き領域がなくなるまで多重データ読み出し部１１４へ読み出しの要求を送る。多重データ読み出し部１１４は、図２の領域２００の上から多重データの読み出しを開始し、要求があるごとに１フレームずつ多重ファイル１２１（図２の領域２００、領域２０２、領域２０４）の多重データを読み出す。
【００３５】
図２において、ハードディスクの読み出しは、領域２００→領域２０２→領域２０４の順である。領域２００の最後データ→領域２０２の最初のデータ、領域２０２の最後データ→領域２０４の最初のデータを読むときに、それぞれ領域２０１、領域２０３を読み飛ばす処理が実行される。この読み飛ばし処理にてヘッドのシークが発生するが、この発生頻度は４０フレーム時間（約１．３秒＝４０フレーム÷３０フレーム／秒）に１度のみであり、それ以外は連続読みが保証されるので、ディスクの性能を十分引き出すことができる。
【００３６】
次に、３倍速（高速）再生時の再生部１１１の動作を説明する。このとき、再生部１１１は多重ファイル１２１と音声ファイル１２２の両方を読み出す処理を行う。図３に、本発明の実施形態の動画記録再生装置の再生部による動作のフローチャートを示す。本実施形態の出力音声バッファ１１７のサイズを１ＭＢとする。
【００３７】
読み出し制御部１１２は、ファイルの読み出しが終端まできたか否かを判定する（終端判定Ｓ３００）。ファイルの読み出しが終端まできた場合は（Ｓ３００でＹｅｓ）、読み出すデータはもはや存在しないのでこの読み出し処理を終了する。
【００３８】
一方、ファイルの読み出しが終端まできていない間は（Ｓ３００でＮｏ）、読み出し制御部１１２は、出力音声バッファ１１７の空き状況を取得し、出力音声バッファ１１７に５１２ＫＢ以上の空きがあるか否かを判定する（音声バッファ空き判定Ｓ３０１）。５１２ＫＢとは、音声ファイルにおける１つの連続する音声配置領域の大きさである。出力音声バッファ１１７に５１２ＫＢ以上の空きがある場合は（Ｓ３０１でＹｅｓ）、音声データ読み出し部１１５は、記憶媒体１２３から音声ファイルを読み出し（音声ファイル読み出し処理Ｓ３０２）、読み出した音声ファイルの音声データを出力音声バッファ１１７に出力する（音声データ出力処理Ｓ３０３）。ステップＳ３００に戻り処理を繰り返す。つまり、出力音声バッファ１１７がいっぱいになるまで音声データの読み出しが繰り返される。
【００３９】
出力音声バッファ１１７に５１２ＫＢ未満の空きしかない場合は（Ｓ３０１でＮｏ）、再生部１１１は、このままいくと出力映像バッファ１１８のバッファ量が０になり、アンダーランを起こし、再生が止まってしまう可能性があるか否か、つまり読み出し性能が不足しているか否かを判定する（性能評価判定Ｓ３０４）。具体的には、読み出し制御部１１２が出力映像バッファ１１８に蓄積されているフレーム数が５以下でかつ前回性能評価判定を行ったときより蓄積データ数が減っていた場合に性能不足と判定するなどが考えられる。
【００４０】
読み出し性能が不足していない場合は（Ｓ３０４でＮｏ）、読み出し制御部１１２は、次に読み出すフレーム位置を最後に読み出したフレーム位置と再生速度より計算する（読み出しフレーム位置計算処理Ｓ３０５）。フレーム位置の初期値は１である。多重データ読み出し部１１４は、読み出しフレーム位置計算処理Ｓ３０５にて求めたフレーム位置の多重ファイル１２１の多重データを記録媒体１２３から読み出す（多重ファイル読み出し処理Ｓ３０６）。分離部１１６は読み出した多重データを音声データと映像データに分離し（映像データ分離処理Ｓ３０７）、分離した映像データを出力映像バッファ１１８に出力する（映像データ出力処理Ｓ３０８）。読み出し性能が不足している場合は（Ｓ３０４でＹｅｓ）、多重データ読み出し部１１４は新たな多重データを読み出さず、分離部１１６は前回読み出した多重データを音声データと映像データに分離し（ホールド処理Ｓ３０９）、分離した映像データを出力映像バッファ１１８に出力する（映像データ出力処理Ｓ３０８）。
【００４１】
ここで、３倍速再生時であって、読み出し性能が不足していない場合の具体例を説明する。３倍速再生が開始されると、まず終端判定Ｓ３００においてファイル終端ではないと判断され、次に音声バッファ空き判定Ｓ３０１において出力音声バッファ１１７に５１２ＫＢ以上の空きがあると判定される。音声ファイル読み出し処理Ｓ３０２にて、まず読み出し制御部１１２は５１２ＫＢの音声データの転送を音声データ読み出し部１１５に指示する。音声データ読み出し部１１５は、図２の領域２０１（５１２ＫＢ）の音声データを読み出す。音声データ出力処理Ｓ３０３にて、音声データ読み出し部１１５は、読み出した音声データを出力音声バッファ１１７に出力（転送）する。
【００４２】
再度終端判定Ｓ３００においてファイル終端ではないと判断され、次に音声バッファ空き判定Ｓ３０１において出力音声バッファ１１７にまだ５１２ＫＢ以上の空きがあると判定される。さらに、音声ファイル読み出し処理Ｓ３０２にて、読み出し制御部１１２は５１２ＫＢの音声データの転送を音声データ読み出し部１１５に指示する。音声データ読み出し部１１５は、図２の領域２０３（５１２ＫＢ）の音声データを読み出す。音声データ出力処理Ｓ３０３にて、音声データ読み出し部１１５は、読み出した音声データを出力音声バッファ１１７に出力する。
【００４３】
再度終端判定Ｓ３００においてファイル終端ではないと判断され、次に音声バッファ空き判定Ｓ３０１において出力音声バッファ１１７がいっぱいになったと判定される。さらに性能評価判定Ｓ３０４において性能が不足していないと判定されると、読み出しフレーム位置計算処理Ｓ３０５にて、読み出し制御部１１２は読み出しフレーム位置を初期値の１に設定する。次に多重ファイル読み出し処理３０６にて、読み出し制御部１１２は多重データ読み出し部１１４に１フレーム目の多重データを読むように指示する。多重データ読み出し部１１４は、多重ファイル１２１の１フレーム目の多重データを読み出し、読み出した多重データを分離部１１６に出力する。映像データ分離処理Ｓ３０７にて、分離部１１６は、多重データから映像データと音声データを分離する。映像データ出力処理Ｓ３０８にて、分離部１１６は、分離した映像データを出力映像バッファ１１８に出力（転送）する。このとき、すでに音声データは、音声データ読み出し部１１５によって出力音声バッファ１１７に転送済みのため、分離部１１６は音声データを出力音声バッファ１１７へは出力しない。
【００４４】
再度終端判定Ｓ３００、音声バッファ空き判定Ｓ３０１、性能評価判定Ｓ３０４と進み、性能評価判定Ｓ３０４において性能が不足していないと判定されると、読み出しフレーム位置計算処理Ｓ３０５にて、読み出し制御部１１２は再生速度である３倍速と最終転送フレーム位置１から次に読み出すべきフレーム位置４（＝１＋３）を計算する。次に多重ファイル読み出し処理３０６にて、読み出し制御部１１２は多重データ読み出し部１１４に４フレーム目の多重データを読むように指示する。多重データ読み出し部１１４は、多重ファイル１２１の４フレーム目の多重データを読み出し、読み出した多重データを分離部１１６に出力する。映像データ分離処理Ｓ３０７にて、分離部１１６は、多重データから映像データと音声データを分離する。映像データ出力処理Ｓ３０８にて、分離部１１６は、分離した映像データを出力映像バッファ１１８に出力する。最初の分離部１１６の転送時と同様に、分離部１１６は音声データを出力音声バッファ１１７へは出力しない。以降、出力音声バッファ１１７に５１２ＫＢ以上の空きができるまで、つまり１３フレーム（≒４０フレーム÷３倍速）時間（約０．４秒＝４０フレーム÷（３倍速×３０フレーム／秒））経過するまで、この処理（ステップＳ３０５〜Ｓ３０８）を繰り返す。読み出し性能が不足していないので、この処理は１３回以上繰り返される。すなわち、１３フレーム以上の映像データが出力映像バッファ１１８に出力される。
【００４５】
図４（ａ）に、読み出し性能が不足していない場合における、映像データが蓄積された出力映像バッファ１１８の状態を示す。１フレーム目の映像データ、４フレーム目の映像データ、７フレーム目の映像データ、１０フレーム目の映像データ、…というように（３ｎ＋１）フレーム目の映像データが順番に蓄えられる。ｎは０以上の整数である。
【００４６】
１３フレーム時間経過すると、出力音声バッファ１１７に５１２ＫＢの空きができるため、音声バッファ空き判定Ｓ３０１において出力音声バッファ１１７に５１２ＫＢ以上の空きがあると判定される。最初の音声データ読み出し部１１５の転送時と同様に、音声ファイル読み出し処理Ｓ３０２にて、読み出し制御部１１２は次の５１２ＫＢ分の音声データの転送を音声データ読み出し部１１５に指示する。音声データ読み出し部１１５は、図２の領域２０５（５１２ＫＢ）の音声データを読み出す。音声データ出力処理Ｓ３０３にて、音声データ読み出し部１１５は、読み出した音声データを出力音声バッファ１１７に出力する。このように、終端判定Ｓ３００においてファイル終端になるまで上記処理が繰り返される。
【００４７】
３倍速再生時であって、読み出し性能が不足している場合の具体例を説明する。読み出し性能が不足していない場合と異なる部分のみ説明する。性能評価判定Ｓ３０４において性能が不足していると判定されると、ホールド処理Ｓ３０９にて、読み出し制御部１１２は多重データ読み出し部１１４に前回と同じ多重データを出力するように指示する。多重データ読み出し部１１４は、記録媒体１２３から多重ファイル１２１の多重データを読み出さずに、前回読み出した多重データを再度分離部１１６に出力する。分離部１１６は、前回読み出した多重データから映像データと音声データを分離する。映像データ出力処理Ｓ３０８にて、分離部１１６は、分離した映像データを出力映像バッファ１１８に出力する。読み出し性能が不足している場合と同様に、分離部１１６は音声データを出力音声バッファ１１７へは出力しない。
【００４８】
図４（ｂ）に、読み出し性能が不足している場合における、映像データが蓄積された出力映像バッファ１１８の状態を示す。斜線で示す部分が、分離部１１６が前回と同じ映像データを出力したフレームである。７フレーム目の映像データが、図４（ａ）に示す１０、１３、１６フレーム目の映像データの代わりに蓄えられ、２５フレーム目の映像データも、２８、３１、３４フレーム目の映像データの代わりに蓄えられる。
【００４９】
なお、図４（ｃ）に示すように、分離部１１６が前回と同じ映像データを出力するフレーム（斜線部分）が連続しないように、ステップＳ３０４にて性能評価判定を行ってもよい。
【００５０】
分離部１１６が前回と同じ映像データを出力（転送）するため、フレームレートを下げて再生したのと同じ効果になる。これは映像の高速再生ではフレームレートを下げても視覚的な差異が出にくいという特徴を利用している。
【００５１】
なお、本実施形態において、１倍速再生時または低速再生時には多重ファイル１２１のみを読み出しているが、音声データ及び映像データの読み出しが間に合わなくなりそうなときは、多重ファイル１２１及び音声ファイル１２２の両方を読み出す、図３に示すような読み出し処理に切り換えてもよい。
【００５２】
なお、本発明は、本実施形態で説明した映像、音声のビットレート、フレームレート、サンプリングレート、サンプルあたりのバイト数、チャンネル数および出力音声バッファ１１７のバッファ量に限定されず有効である。
【００５３】
なお、本実施形態のホールド処理Ｓ３０９では、多重読み出し部１１４が前回転送時と同一のデータを転送することとしたが、多重読み出し部１１４が同一データを転送するのではなく、同一データを転送するという情報（ホールド情報）を出力映像バッファ１１８に転送し、映像復号部１２０が前回転送されたデータを参照して同一のデータを出力してもよい。
【００５４】
なお、本実施形態においては、多重ファイル１２１及び音声ファイル１２２は固定長ファイルであるが、可変長ファイルであってもよい。
【００５５】
なお、本実施形態では、映像データ及び音声データが多重化された多重ファイル１２１と音声ファイル１２２とを格納した記録媒体１２３から多重ファイル１２１及び音声ファイル読み出す例を説明したが、この多重ファイル１２１に代えて、映像データのみが記録された映像ファイルを使用してもよい。
【００５６】
本実施形態の動画記録再生装置は、読み出し性能不足の場合に、音声データを優先的に読み出し、映像データは読み出さずに前回と同じ映像データを出力する。このように再生が破綻する前にフレームレートを落としてファイルアクセスの回数を抑える処理を行うことで、例えば高速再生等により読み出しが追いつかない場合であっても、音が途切れて違和感を持つことなく、映像を検索することができる。
【００５７】
また、本実施形態の動画記録再生装置は、通常再生または低速再生の場合に、ディスク上の連続領域に配置されている多重ファイルのみを読み出すので、コマ落ちを抑え、リアルタイム性を向上することができる。
【産業上の利用可能性】
【００５８】
本発明による映像記録装置および映像再生装置は、安価なハードディスクや光ディスクを用いて映像編集を行う動画編集装置として有用である。【００５９】
本発明は、特定の実施形態について説明されてきたが、当業者にとっては他の多くの変形例、修正、他の利用が明らかである。それゆえ、本発明は、ここでの特定の開示に限定されず、添付の請求の範囲によってのみ限定され得る。なお、本出願は日本国特許出願、特願２００８−１８５９４３号（２００８年７月１７日提出）に関連し、それらの内容は参照することにより本文中に組み入れられる。
【符号の説明】
【００６０】
１００  動画記録再生装置
１０１  記録部
１０２  映像符号化部
１０３  音声符号化部
１０４  入力映像バッファ
１０５  入力音声バッファ
１０６  書き込み部
１０７  音声データ書き込み部
１０８  多重データ書き込み部
１０９  多重部
１１０  書き込み制御部
１１１  再生部
１１２  読み出し制御部
１１３  読み出し部
１１４  多重データ読み出し部
１１５  音声データ読み出し部
１１６  分離部
１１７  出力音声バッファ
１１８  出力映像バッファ
１１９  音声復号部
１２０  映像復号部
１２１  多重ファイル
１２２  音声ファイル
１２３  記録媒体
２００  ２０２  ２０４  多重ファイル領域
２０１  ２０３  ２０５  音声ファイル領域
【図１】
2010007727.tif 000003
【図２】
2010007727.tif 000004
【図３】
2010007727.tif 000005
【図４】
2010007727.tif 000006
【手続補正書】
【提出日】平成23年1月14日(2011.1.14)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスク上に映像データと音声データを多重した多重データおよび音声データを記録し、ディスク上に記録されたデータから映像および音声を再生する映像記録再生装置およびその方法に関する。
【背景技術】
【０００２】
近年、ノンリニア編集機の普及や、光ディスク、ハードディスク、半導体メモリを使用したカメラレコーダの登場により、映像、音声のデータをファイル化して記録媒体に格納し、映像編集する機会が増えてきている。
【０００３】
ファイル化されたデータはファイルシステムというソフトウェアを通して読み書きされる。ファイルシステムは、記録媒体上の物理的に離れた位置に格納されているデータをひとつのファイルとして管理する機構を備えている。このような分散したデータがハードディスクや光ディスクに格納されていると、ファイルを読み出すときに読み出しヘッドのシークや回転待ちが発生する。これらの現象は読み出し速度を低下させるので、リアルタイム性が要求される映像の再生などにとって大きな問題である。
【０００４】
そのため、ノンリニア編集機では、映像を格納するハードディスクを多重化してＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ  Ａｒｒａｙｓ  ｏｆ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｄｉｓｋｓ）構成にして、ヘッドシークの影響を減らすとともに読み出しを並列化することにより、読み出し速度を向上し、リアルタイム性の確保と応答性の向上を図っている。
【０００５】
ノンリニア編集機のハードディスクをＲＡＩＤ化することは運用上可能であるが、ＲＡＩＤ化したハードディスクを撮影現場に持ち出して使用することは価格やサイズの面で問題が多い。そのため、特許文献１では、ファイルへの読み書きをファイルシステムが読み書きの単位として管理しているサイズ（クラスタ）よりも大きなサイズで読み書きをすることでヘッドシークの回数を減らし、ＲＡＩＤを用いなくても映像をリアルタイム再生できる仕組みを提供している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−７８７０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＲＡＩＤによる利点の一つとしてランダムアクセスに対する速度改善が挙げられる。映像編集では、ジョグ、シャトルなどの特殊再生により、使用する箇所を検索する作業に多く時間を費やしており、この作業をスムーズに行なうことはリアルタイム再生と同じくらい重要である。ＲＡＩＤ化はこれに対するひとつの解である。特殊再生によるランダムアクセスはディスク上でシークや回転待ちを発生させるため、特許文献１の方式であっても読み出し速度の低下が引き起こされ、映像及び音声が途切れて再生されてしまう可能性が高い。また、特殊再生時だけに限らず、等倍速再生時においても、ハードディスクの能力が低い場合には映像及び音声が途切れて再生されることがある。
【０００８】
映像及び音声が途切れて再生されると、ユーザは映像より音声が途切れたことに対して違和感や不快感を持つ。これは特殊再生では映像は離散的に出力されるという特徴を持つのに対し、音声は連続的に出力されるという特徴を持つためである。
【０００９】
上記課題に鑑み本発明は、性能が十分でないディスク上に記録されている映像、音声ファイルに対して特殊再生や等倍速再生をした場合に、映像及び音声を途切れさせることなく再生する機構を提供することを目的とする。  
【課題を解決するための手段】
【００１０】
本発明に係る映像再生装置は、映像データが記録された第１のファイルと、音声データが物理的に連続な記録領域に記録された第２のファイルとを格納した記録媒体から前記第１のファイル及び第２のファイルを読み出し、映像及び音声を再生する映像再生装置であって、記録媒体から第２のファイルの音声データを読み出す音声データ読み出し手段と、記録媒体から第１のファイルの映像データを読み出す映像データ読み出し手段と、音声データ読み出し手段及び映像データ読み出し手段の読み出し動作を制御する、読み出し制御手段と、音声データ読み出し手段により読み出された音声データから音声信号を生成する音声復号手段と、映像データ読み出し手段により読み出された映像データから映像信号を生成する映像復号手段とを備え、読み出し制御手段は、第２のファイルの音声データを読み出すのに必要な帯域以外の残りの帯域を使用して、記録媒体から第１のファイルの映像データを読み出すように映像データ読み出し手段を制御する、ことを特徴とする。
【００１１】
上記映像再生装置は、前記音声データ読み出し手段により読み出された音声データを記憶する音声バッファをさらに備え、読み出し制御手段は、音声バッファの空き容量が所定値以上ある間、記録媒体から音声ファイルを読み出すように音声データ読み出し手段を制御し、音声バッファの空き容量が所定値未満になった場合に、記録媒体から第１のファイルを読み出してもよい。
【００１２】
上記映像再生装置は、映像データ読み出し手段により得られた映像データを格納する映像バッファをさらに備え、読み出し制御手段は、映像バッファに格納されたデータ量に基づき前記読み出し性能評価を行い、データ量が所定量より少ないときに前回の読み出し時に得られた映像データを前記映像バッファに出力するように、映像データ読み出し手段を制御してもよい。
【００１３】
上記映像再生装置は、第１のファイルにおいて、映像データは音声データと多重化されて記録されており、映像データ読み出し手段は、第１のファイルから映像データ及び音声データを読み出し、映像再生装置は、記録媒体から映像及び音声をｍ（ｍ≦１）倍速で再生可能であって、ｍ倍速で再生する場合、読み出し制御手段は、記録媒体から第２のファイルの読み出しを行わないように音声データ読み出し手段を制御し、記録媒体から第１のファイルを読み出すように映像データ読み出し手段を制御し、音声復号手段は、映像データ読み出し手段から得られた音声データから音声信号を生成し、映像復号手段は、映像データ読み出し手段から得られた映像データから映像信号を生成してもよい。
【００１４】
本発明に係る映像記録装置は、外部から入力される映像信号及び音声信号を符号化して映像データ及び音声データを生成する符号化手段と、映像データおよび音声データを多重化して多重データを生成し、単一の多重ファイルとして記録媒体に記録する多重データ書き込み手段と、符号化された音声データを音声ファイルとして記録媒体に物理的に連続な領域に記録する音声データ書き込み手段とを備えた、ことを特徴とする。
【００１５】
本発明に係る映像再生方法は、映像データが記録された第１のファイルと、音声データが物理的に連続な記録領域に記録された第２のファイルとを格納した記録媒体から第１のファイル及び第２のファイルを読み出し、映像及び音声を再生する映像再生方法であって、記録媒体から第２のファイルの音声データを読み出す音声データ読み出しステップと、記録媒体から第１のファイルを読み出す映像データ読み出しステップと、音声データ読み出しステップ及び映像データ読み出しステップの読み出し動作を制御する、読み出し制御ステップと、音声データ読み出しステップにより読み出された音声データから音声信号を生成する音声復号ステップと、映像データ読み出しステップにより読み出された映像データから映像信号を生成する映像復号ステップとを備え、読み出し制御ステップは、第２のファイルの音声データを読み出すのに必要な帯域以外の残りの帯域を使用して、記録媒体から第１のファイルの映像データを読み出すように映像データ読み出しステップを制御する、ことを特徴とする。
【発明の効果】
【００１６】
ディスクに保存されている音声、映像ファイルの再生において、通常再生または低速再生の場合は、ディスク上の連続領域に配置されている音声及び映像の多重ファイルを読み出すことにより、コマ落ちを抑え、リアルタイム性を向上することができる。一方、高速再生または読み出しが追いつかない場合は、ディスク上の連続領域に配置されている音声ファイルを優先して読むことにより、音が途切れるのを防ぎ映像の検索性を向上することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態における動画記録再生装置の構成図
【図２】図１の多重ファイル、音声ファイルのディスク上の物理配置図
【図３】本発明の実施形態の動画記録再生装置の再生部による動作のフローチャート
【図４】図１の、映像データが蓄積された出力映像バッファの状態を示す図
【発明を実施するための形態】
【００１８】
以下に、本発明の実施形態について、図面を参照しながら説明する。本実施形態では、映像のビットレートが１２０，０００バイト／フレーム、フレームレートが３０フレーム／秒、音声のサンプリングレートが４８０００Ｈｚ、サンプルあたりのバイト数が２、チャンネル数が４の場合を説明する。
【００１９】
［動画記録再生装置の構成］
図１に、本発明の実施形態における動画記録再生装置１００の構成を示す。動画記録再生装置１００は、入力された映像信号、音声信号を符号化し、記録媒体１２３に記録する記録部１０１と、記憶媒体１２３に記憶されたデータを再生する再生部１１１とから構成される。具体的には、記録部１０１は、外部より入力された映像信号と音声信号を映像データと音声データに符号化し、映像データと音声データを多重化して多重データを生成し、多重データと音声データを記録媒体１２３に多重ファイル１２１と音声ファイル１２２としてそれぞれ記録する。再生部１１１は、記録媒体１２３から多重ファイル１２１、音声ファイル１２２として記録された多重データ、音声データを読み出し、多重データから映像データと音声データを分離して、さらに分離した映像データと音声データをそれぞれ映像信号と音声信号に復号し、映像信号と音声信号を出力する。ここでは、多重ファイル１２１及び音声ファイル１２２は固定長ファイルである。本実施形態では、記録媒体１２３はハードディスクであるが、光ディスクや光磁気ディスク等であってもよい。
【００２０】
最初に、記録部１０１について詳細に説明する。映像符号化部１０２は、外部より入力された映像信号を映像データに符号化し、映像データを入力映像バッファ１０４に出力する。音声符号化部１０３は、外部より入力された音声信号を音声データに符号化し、音声データを入力音声バッファ１０５に出力する。
【００２１】
多重部１０９は、入力映像バッファ１０４に蓄積された１フレーム（１２０，０００バイト）の映像データと、入力音声バッファ１０５に蓄積された１フレーム分に対応する音声データ（１２，８００バイト＝４８０００Ｈｚ÷３０フレーム／秒×２バイト／サンプル×４チャンネル）を入力して、１フレーム分の音声データと映像データを多重化し、多重データを作成する。
【００２２】
書き込み部１０６は、音声データ書き込み部１０７と、多重データ書き込み部１０８と、から構成される。音声データ書き込み部１０７は、入力音声バッファ１０５に蓄積された音声データを記録媒体１２３に音声ファイル１２２として記録し、多重データ書き込み部１０８は、多重部１０９から１フレーム分の多重データを入力し、入力した多重データを記録媒体１２３に多重ファイル１２１として記録する。
【００２３】
入力映像バッファ１０４および入力音声バッファ１０５は、リングバッファである。映像符号化部１０２が入力映像バッファ１０４に映像データを出力したときに、入力映像バッファ１０４はリングバッファ上の書き込みポインタをひとつ進める。また、音声符号化部１０３が入力音声バッファ１０５に音声データを出力したときに、入力音声バッファ１０５はリングバッファ上の書き込みポインタをひとつ進める。さらに、多重部１０９が入力映像バッファ１０４から映像データを読み出したときに、入力映像バッファ１０４はリングバッファ上の読み出しポインタをひとつ進める。またさらに、音声書き込み部１０６および多重部１０９の両方が入力音声バッファ１０５から音声データを読み出したときに、入力音声バッファ１０５はリングバッファ上の読み出しポインタをひとつ進める。
【００２４】
書き込み制御部１１０は、定期的に入力映像バッファ１０４、入力音声バッファ１０５に１フレーム以上のデータが蓄積されているか否かを調べ、蓄積されている場合には書き込み部１０６へ書き込みの指示を出す。
【００２５】
本実施形態では、書き込み制御部１１０は、１／３０秒ごとに入力映像バッファ１０４、入力音声バッファ１０５のデータ量を調べる。１フレーム以上のデータが蓄積されていることがわかると、書き込み制御部１１０は多重データ書き込み部１０８に書き込み命令を送る。初めて書き込み命令を受けた多重データ書き込み部１０８は、まずディスク上に物理的な連続領域を確保する。本実施形態では、約４０フレームに相当する領域５ＭＢ（≒１２０、０００バイト×４０フレーム）を確保することにする。その後、多重データ書き込み部１０８は、多重部１０９から１フレーム分の多重データを入力し、入力した多重データを記録媒体１２３に多重ファイル１２１として書き込む。以降、多重データ書き込み部１０８は、書き込み制御部１１０から命令があるたびに、多重部１０９から１フレーム分の多重データを入力し、入力したデータを記録媒体１２３に順次多重ファイル１２１として追記する。
【００２６】
多重データ書き込み部１０８が５ＭＢの連続領域を書き終わると、書き込み制御部１１０は音声データ書き込み部１０７に書き込み命令を送る。音声データ書き込み部１０７は、ディスク上に約４０フレーム分に相当する領域５１２ＫＢ（≒１２、８００×４０フレーム）の物理的な連続領域を確保する。音声データ書き込み部１０７は、入力音声バッファ１０５に蓄積している音声データ５１２ＫＢを記録媒体１２３に音声ファイル１２２として書き込む。
【００２７】
次に、書き込み制御部１１０は、多重データ書き込み部１０８に書き込み命令を送る。多重データ書き込み部１０８は、新たに５ＭＢの連続領域を確保し、書き込み制御部１１０から命令があるたびに、順次多重データを記憶媒体１２３に多重ファイル１２１として追記する。
【００２８】
このようにして書き込まれたファイルは、図２に示すような物理配置になる。ひとますが３２ＫＢの領域であり、１行が５１２（３２×１６）ＫＢの領域である。まず、上から５ＭＢの領域２００に多重データが書き込まれ、領域２００に続く５１２ＫＢの領域２０１に音声データが書き込まれる。同様に、領域２０１に続く５ＭＢの領域２０２に多重データが書き込まれ、領域２０２に続く５１２ＫＢの領域２０３に音声データが書き込まれる。これを繰り返すと、領域２００、領域２０２、領域２０４は、多重ファイル１２１の内容が書き込まれた領域（各５ＭＢ）となり、領域２０１、領域２０３、領域２０５は、音声ファイル１２２の内容が書き込まれた領域（各５１２ＫＢ）となる。多重ファイル１２１は領域２００→領域２０２→領域２０４の順にデータが書かれており、音声ファイル１２２は領域２０１→領域２０３→領域２０５の順でデータが書かれている。
【００２９】
次に、再生部１１１について詳細に説明する。再生部１１１は、図２のようにデータが配置されたファイルを記録媒体１２３から読み出して再生する。また、再生部１１１は、ユーザが設定した再生速度に応じて映像、音声を出力するものとする。
【００３０】
読み出し制御部１１２は、ユーザが指定した再生速度と出力音声バッファ１１７、出力映像バッファ１１８のそれぞれに蓄積されているデータ量に応じて読み出し位置を計算する。読み出し制御部１１２は、読み出し部１１３に、計算した多重ファイル１２１、音声ファイル１２２の位置からデータを読み出すよう指示する。
【００３１】
読み出し部１１３は、多重データ読み出し部１１４と音声データ読み出し部１１５より構成される。多重データ読み出し部１１４は、記録媒体１２３から多重ファイル１２１の１フレーム分の多重データを読み出して、読み出した１フレーム分の多重データを分離部１１６に出力する。分離部１１６は、フレームごとに多重されたデータを映像データと音声データに分離し、分離された映像データと音声データを出力映像バッファ１１８と出力音声バッファ１１７にそれぞれ出力する。音声データ読み出し部１１５は、記録媒体１２３から音声ファイル１２２の音声データを読み出し、読み出した音声データを出力音声バッファ１１７に出力する。
【００３２】
音声データおよび映像データは、出力音声バッファ１１７および出力映像バッファ１１８の出力時に同期がとられる。音声復号部１１９は、出力音声バッファ１１７に蓄えられている音声データを音声信号に復号し、ユーザが設定した再生速度に応じて音声信号を外部に出力する。例えば、３倍速の場合、３倍速に変調して出力する。映像復号部１２０は、出力映像バッファ１１８に蓄えられている映像データを１／３０秒ごとに読み出して、読み出した映像データを映像信号に復号し、映像信号を外部に出力する。
【００３３】
入力映像バッファ１０４および入力音声バッファ１０５と同様に、出力音声バッファ１１７、出力映像バッファ１１８も、リングバッファである。音声読み出し部１１３または分離部１１６が出力音声バッファ１１７に音声データを出力したときに、出力音声バッファ１１７はリングバッファ上の書き込みポインタをひとつ進める。また、分離部１１６が出力映像バッファ１１８に映像データを出力したときに、出力映像バッファ１１８はリングバッファ上の書き込みポインタをひとつ進める。さらに、音声復号部１１９が出力音声バッファ１１７の音声データを読み出したときに、出力音声バッファ１１７はリングバッファ上の読み出しポインタをひとつ進める。またさらに、映像復号部１２０が出力映像バッファ１１８の映像データを読み出したときに、出力映像バッファ１１８はリングバッファ上の読み出しポインタをひとつ進める。
【００３４】
［動画記録再生装置の動作］
はじめに、１倍速（通常）再生時または低速再生時の再生部１１１の動作（再生過程）を説明する。このとき、再生部１１１は多重ファイル１２１のみを読み出し、音声ファイル１２２を読み出さない処理を行う。読み出し制御部１１２は、再生速度が１以下であることを認識すると、多重データ読み出し部１１４に読み出し要求を送る。以降、読み出し制御部１１２は、出力音声バッファ１１７、出力映像バッファ１１８の空き領域がなくなるまで多重データ読み出し部１１４へ読み出しの要求を送り続ける。出力音声バッファ１１７、出力映像バッファ１１８の空き領域がなくなった後は、読み出し制御部１１２は１／３０秒ごとに出力音声バッファ１１７、出力映像バッファ１１８の空きを調べ、空きがあったらバッファの空き領域がなくなるまで多重データ読み出し部１１４へ読み出しの要求を送る。多重データ読み出し部１１４は、図２の領域２００の上から多重データの読み出しを開始し、要求があるごとに１フレームずつ多重ファイル１２１（図２の領域２００、領域２０２、領域２０４）の多重データを読み出す。
【００３５】
図２において、ハードディスクの読み出しは、領域２００→領域２０２→領域２０４の順である。領域２００の最後データ→領域２０２の最初のデータ、領域２０２の最後データ→領域２０４の最初のデータを読むときに、それぞれ領域２０１、領域２０３を読み飛ばす処理が実行される。この読み飛ばし処理にてヘッドのシークが発生するが、この発生頻度は４０フレーム時間（約１．３秒＝４０フレーム÷３０フレーム／秒）に１度のみであり、それ以外は連続読みが保証されるので、ディスクの性能を十分引き出すことができる。
【００３６】
次に、３倍速（高速）再生時の再生部１１１の動作を説明する。このとき、再生部１１１は多重ファイル１２１と音声ファイル１２２の両方を読み出す処理を行う。図３に、本発明の実施形態の動画記録再生装置の再生部による動作のフローチャートを示す。本実施形態の出力音声バッファ１１７のサイズを１ＭＢとする。
【００３７】
読み出し制御部１１２は、ファイルの読み出しが終端まできたか否かを判定する（終端判定Ｓ３００）。ファイルの読み出しが終端まできた場合は（Ｓ３００でＹｅｓ）、読み出すデータはもはや存在しないのでこの読み出し処理を終了する。
【００３８】
一方、ファイルの読み出しが終端まできていない間は（Ｓ３００でＮｏ）、読み出し制御部１１２は、出力音声バッファ１１７の空き状況を取得し、出力音声バッファ１１７に５１２ＫＢ以上の空きがあるか否かを判定する（音声バッファ空き判定Ｓ３０１）。５１２ＫＢとは、音声ファイルにおける１つの連続する音声配置領域の大きさである。出力音声バッファ１１７に５１２ＫＢ以上の空きがある場合は（Ｓ３０１でＹｅｓ）、音声データ読み出し部１１５は、記憶媒体１２３から音声ファイルを読み出し（音声ファイル読み出し処理Ｓ３０２）、読み出した音声ファイルの音声データを出力音声バッファ１１７に出力する（音声データ出力処理Ｓ３０３）。ステップＳ３００に戻り処理を繰り返す。つまり、出力音声バッファ１１７がいっぱいになるまで音声データの読み出しが繰り返される。
【００３９】
出力音声バッファ１１７に５１２ＫＢ未満の空きしかない場合は（Ｓ３０１でＮｏ）、再生部１１１は、このままいくと出力映像バッファ１１８のバッファ量が０になり、アンダーランを起こし、再生が止まってしまう可能性があるか否か、つまり読み出し性能が不足しているか否かを判定する（性能評価判定Ｓ３０４）。具体的には、読み出し制御部１１２が出力映像バッファ１１８に蓄積されているフレーム数が５以下でかつ前回性能評価判定を行ったときより蓄積データ数が減っていた場合に性能不足と判定するなどが考えられる。
【００４０】
読み出し性能が不足していない場合は（Ｓ３０４でＮｏ）、読み出し制御部１１２は、次に読み出すフレーム位置を最後に読み出したフレーム位置と再生速度より計算する（読み出しフレーム位置計算処理Ｓ３０５）。フレーム位置の初期値は１である。多重データ読み出し部１１４は、読み出しフレーム位置計算処理Ｓ３０５にて求めたフレーム位置の多重ファイル１２１の多重データを記録媒体１２３から読み出す（多重ファイル読み出し処理Ｓ３０６）。分離部１１６は読み出した多重データを音声データと映像データに分離し（映像データ分離処理Ｓ３０７）、分離した映像データを出力映像バッファ１１８に出力する（映像データ出力処理Ｓ３０８）。読み出し性能が不足している場合は（Ｓ３０４でＹｅｓ）、多重データ読み出し部１１４は新たな多重データを読み出さず、分離部１１６は前回読み出した多重データを音声データと映像データに分離し（ホールド処理Ｓ３０９）、分離した映像データを出力映像バッファ１１８に出力する（映像データ出力処理Ｓ３０８）。
【００４１】
ここで、３倍速再生時であって、読み出し性能が不足していない場合の具体例を説明する。３倍速再生が開始されると、まず終端判定Ｓ３００においてファイル終端ではないと判断され、次に音声バッファ空き判定Ｓ３０１において出力音声バッファ１１７に５１２ＫＢ以上の空きがあると判定される。音声ファイル読み出し処理Ｓ３０２にて、まず読み出し制御部１１２は５１２ＫＢの音声データの転送を音声データ読み出し部１１５に指示する。音声データ読み出し部１１５は、図２の領域２０１（５１２ＫＢ）の音声データを読み出す。音声データ出力処理Ｓ３０３にて、音声データ読み出し部１１５は、読み出した音声データを出力音声バッファ１１７に出力（転送）する。
【００４２】
再度終端判定Ｓ３００においてファイル終端ではないと判断され、次に音声バッファ空き判定Ｓ３０１において出力音声バッファ１１７にまだ５１２ＫＢ以上の空きがあると判定される。さらに、音声ファイル読み出し処理Ｓ３０２にて、読み出し制御部１１２は５１２ＫＢの音声データの転送を音声データ読み出し部１１５に指示する。音声データ読み出し部１１５は、図２の領域２０３（５１２ＫＢ）の音声データを読み出す。音声データ出力処理Ｓ３０３にて、音声データ読み出し部１１５は、読み出した音声データを出力音声バッファ１１７に出力する。
【００４３】
再度終端判定Ｓ３００においてファイル終端ではないと判断され、次に音声バッファ空き判定Ｓ３０１において出力音声バッファ１１７がいっぱいになったと判定される。さらに性能評価判定Ｓ３０４において性能が不足していないと判定されると、読み出しフレーム位置計算処理Ｓ３０５にて、読み出し制御部１１２は読み出しフレーム位置を初期値の１に設定する。次に多重ファイル読み出し処理３０６にて、読み出し制御部１１２は多重データ読み出し部１１４に１フレーム目の多重データを読むように指示する。多重データ読み出し部１１４は、多重ファイル１２１の１フレーム目の多重データを読み出し、読み出した多重データを分離部１１６に出力する。映像データ分離処理Ｓ３０７にて、分離部１１６は、多重データから映像データと音声データを分離する。映像データ出力処理Ｓ３０８にて、分離部１１６は、分離した映像データを出力映像バッファ１１８に出力（転送）する。このとき、すでに音声データは、音声データ読み出し部１１５によって出力音声バッファ１１７に転送済みのため、分離部１１６は音声データを出力音声バッファ１１７へは出力しない。
【００４４】
再度終端判定Ｓ３００、音声バッファ空き判定Ｓ３０１、性能評価判定Ｓ３０４と進み、性能評価判定Ｓ３０４において性能が不足していないと判定されると、読み出しフレーム位置計算処理Ｓ３０５にて、読み出し制御部１１２は再生速度である３倍速と最終転送フレーム位置１から次に読み出すべきフレーム位置４（＝１＋３）を計算する。次に多重ファイル読み出し処理３０６にて、読み出し制御部１１２は多重データ読み出し部１１４に４フレーム目の多重データを読むように指示する。多重データ読み出し部１１４は、多重ファイル１２１の４フレーム目の多重データを読み出し、読み出した多重データを分離部１１６に出力する。映像データ分離処理Ｓ３０７にて、分離部１１６は、多重データから映像データと音声データを分離する。映像データ出力処理Ｓ３０８にて、分離部１１６は、分離した映像データを出力映像バッファ１１８に出力する。最初の分離部１１６の転送時と同様に、分離部１１６は音声データを出力音声バッファ１１７へは出力しない。以降、出力音声バッファ１１７に５１２ＫＢ以上の空きができるまで、つまり１３フレーム（≒４０フレーム÷３倍速）時間（約０．４秒＝４０フレーム÷（３倍速×３０フレーム／秒））経過するまで、この処理（ステップＳ３０５〜Ｓ３０８）を繰り返す。読み出し性能が不足していないので、この処理は１３回以上繰り返される。すなわち、１３フレーム以上の映像データが出力映像バッファ１１８に出力される。
【００４５】
図４（ａ）に、読み出し性能が不足していない場合における、映像データが蓄積された出力映像バッファ１１８の状態を示す。１フレーム目の映像データ、４フレーム目の映像データ、７フレーム目の映像データ、１０フレーム目の映像データ、…というように（３ｎ＋１）フレーム目の映像データが順番に蓄えられる。ｎは０以上の整数である。
【００４６】
１３フレーム時間経過すると、出力音声バッファ１１７に５１２ＫＢの空きができるため、音声バッファ空き判定Ｓ３０１において出力音声バッファ１１７に５１２ＫＢ以上の空きがあると判定される。最初の音声データ読み出し部１１５の転送時と同様に、音声ファイル読み出し処理Ｓ３０２にて、読み出し制御部１１２は次の５１２ＫＢ分の音声データの転送を音声データ読み出し部１１５に指示する。音声データ読み出し部１１５は、図２の領域２０５（５１２ＫＢ）の音声データを読み出す。音声データ出力処理Ｓ３０３にて、音声データ読み出し部１１５は、読み出した音声データを出力音声バッファ１１７に出力する。このように、終端判定Ｓ３００においてファイル終端になるまで上記処理が繰り返される。
【００４７】
３倍速再生時であって、読み出し性能が不足している場合の具体例を説明する。読み出し性能が不足していない場合と異なる部分のみ説明する。性能評価判定Ｓ３０４において性能が不足していると判定されると、ホールド処理Ｓ３０９にて、読み出し制御部１１２は多重データ読み出し部１１４に前回と同じ多重データを出力するように指示する。多重データ読み出し部１１４は、記録媒体１２３から多重ファイル１２１の多重データを読み出さずに、前回読み出した多重データを再度分離部１１６に出力する。分離部１１６は、前回読み出した多重データから映像データと音声データを分離する。映像データ出力処理Ｓ３０８にて、分離部１１６は、分離した映像データを出力映像バッファ１１８に出力する。読み出し性能が不足している場合と同様に、分離部１１６は音声データを出力音声バッファ１１７へは出力しない。
【００４８】
図４（ｂ）に、読み出し性能が不足している場合における、映像データが蓄積された出力映像バッファ１１８の状態を示す。斜線で示す部分が、分離部１１６が前回と同じ映像データを出力したフレームである。７フレーム目の映像データが、図４（ａ）に示す１０、１３、１６フレーム目の映像データの代わりに蓄えられ、２５フレーム目の映像データも、２８、３１、３４フレーム目の映像データの代わりに蓄えられる。
【００４９】
なお、図４（ｃ）に示すように、分離部１１６が前回と同じ映像データを出力するフレーム（斜線部分）が連続しないように、ステップＳ３０４にて性能評価判定を行ってもよい。
【００５０】
分離部１１６が前回と同じ映像データを出力（転送）するため、フレームレートを下げて再生したのと同じ効果になる。これは映像の高速再生ではフレームレートを下げても視覚的な差異が出にくいという特徴を利用している。
【００５１】
なお、本実施形態において、１倍速再生時または低速再生時には多重ファイル１２１のみを読み出しているが、音声データ及び映像データの読み出しが間に合わなくなりそうなときは、多重ファイル１２１及び音声ファイル１２２の両方を読み出す、図３に示すような読み出し処理に切り換えてもよい。
【００５２】
なお、本発明は、本実施形態で説明した映像、音声のビットレート、フレームレート、サンプリングレート、サンプルあたりのバイト数、チャンネル数および出力音声バッファ１１７のバッファ量に限定されず有効である。
【００５３】
なお、本実施形態のホールド処理Ｓ３０９では、多重読み出し部１１４が前回転送時と同一のデータを転送することとしたが、多重読み出し部１１４が同一データを転送するのではなく、同一データを転送するという情報（ホールド情報）を出力映像バッファ１１８に転送し、映像復号部１２０が前回転送されたデータを参照して同一のデータを出力してもよい。
【００５４】
なお、本実施形態においては、多重ファイル１２１及び音声ファイル１２２は固定長ファイルであるが、可変長ファイルであってもよい。
【００５５】
なお、本実施形態では、映像データ及び音声データが多重化された多重ファイル１２１と音声ファイル１２２とを格納した記録媒体１２３から多重ファイル１２１及び音声ファイル読み出す例を説明したが、この多重ファイル１２１に代えて、映像データのみが記録された映像ファイルを使用してもよい。
【００５６】
本実施形態の動画記録再生装置は、読み出し性能不足の場合に、音声データを優先的に読み出し、映像データは読み出さずに前回と同じ映像データを出力する。このように再生が破綻する前にフレームレートを落としてファイルアクセスの回数を抑える処理を行うことで、例えば高速再生等により読み出しが追いつかない場合であっても、音が途切れて違和感を持つことなく、映像を検索することができる。
【００５７】
また、本実施形態の動画記録再生装置は、通常再生または低速再生の場合に、ディスク上の連続領域に配置されている多重ファイルのみを読み出すので、コマ落ちを抑え、リアルタイム性を向上することができる。
【産業上の利用可能性】
【００５８】
本発明による映像記録装置および映像再生装置は、安価なハードディスクや光ディスクを用いて映像編集を行う動画編集装置として有用である。
【００５９】
本発明は、特定の実施形態について説明されてきたが、当業者にとっては他の多くの変形例、修正、他の利用が明らかである。それゆえ、本発明は、ここでの特定の開示に限定されず、添付の請求の範囲によってのみ限定され得る。なお、本出願は日本国特許出願、特願２００８−１８５９４３号（２００８年７月１７日提出）に関連し、それらの内容は参照することにより本文中に組み入れられる。
【符号の説明】
【００６０】
１００  動画記録再生装置
１０１  記録部
１０２  映像符号化部
１０３  音声符号化部
１０４  入力映像バッファ
１０５  入力音声バッファ
１０６  書き込み部
１０７  音声データ書き込み部
１０８  多重データ書き込み部
１０９  多重部
１１０  書き込み制御部
１１１  再生部
１１２  読み出し制御部
１１３  読み出し部
１１４  多重データ読み出し部
１１５  音声データ読み出し部
１１６  分離部
１１７  出力音声バッファ
１１８  出力映像バッファ
１１９  音声復号部
１２０  映像復号部
１２１  多重ファイル
１２２  音声ファイル
１２３  記録媒体
２００  ２０２  ２０４  多重ファイル領域
２０１  ２０３  ２０５  音声ファイル領域
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像データが記録された第１のファイルと、音声データが物理的に連続な記録領域に記録された第２のファイルとを格納した記録媒体から前記第１のファイル及び前記第２のファイルを読み出し、映像及び音声を再生する映像再生装置であって、
前記記録媒体から第２のファイルの音声データを読み出す音声データ読み出し手段と、
前記記録媒体から第１のファイルの映像データを読み出す映像データ読み出し手段と、
前記音声データ読み出し手段及び前記映像データ読み出し手段の読み出し動作を制御する、読み出し制御手段と、
前記音声データ読み出し手段により読み出された音声データから音声信号を生成する音声復号手段と、
前記映像データ読み出し手段により読み出された映像データから映像信号を生成する映像復号手段とを備え、
前記読み出し制御手段は、前記第２のファイルの音声データを読み出すのに必要な帯域以外の残りの帯域を使用して、前記記録媒体から第１のファイルの映像データを読み出すように前記映像データ読み出し手段を制御する、
ことを特徴とする映像再生装置。
【請求項２】
前記音声データ読み出し手段により読み出された音声データを記憶する音声バッファをさらに備え、
前記読み出し制御手段は、前記音声バッファの空き容量が所定値以上ある間、前記記録媒体から音声ファイルを読み出すように前記音声データ読み出し手段を制御し、前記音声バッファの空き容量が所定値未満になった場合に、前記記録媒体から第１のファイルを読み出す、ことを特徴とする請求項１に記載の映像再生装置。
【請求項３】
前記映像データ読み出し手段により得られた映像データを格納する映像バッファをさらに備え、
前記読み出し制御手段は、前記映像バッファに格納されたデータ量に基づき前記読み出し性能評価を行い、データ量が所定量より少ないときに前回の読み出し時に得られた映像データを前記映像バッファに出力するように、前記映像データ読み出し手段を制御する、ことを特徴とする請求項１に記載の映像再生装置。
【請求項４】
前記第１のファイルにおいて、前記映像データは音声データと多重化されて記録されており、前記映像データ読み出し手段は、前記第１のファイルから映像データ及び音声データを読み出し、
前記映像再生装置は、前記記録媒体から映像及び音声をｍ（ｍ≦１）倍速で再生可能であって、
ｍ倍速で再生する場合、前記読み出し制御手段は、前記記録媒体から第２のファイルの読み出しを行わないように前記音声データ読み出し手段を制御し、前記記録媒体から第１のファイルを読み出すように前記映像データ読み出し手段を制御し、
前記音声復号手段は、前記映像データ読み出し手段から得られた音声データから音声信号を生成し、
前記映像復号手段は、前記映像データ読み出し手段から得られた映像データから映像信号を生成する、
ことを特徴とする請求項１記載の映像再生装置。
【請求項５】
外部から入力される映像信号及び音声信号を符号化して映像データ及び音声データを生成する符号化手段と、
映像データおよび音声データを多重化して多重データを生成し、単一の多重ファイルとして記録媒体に記録する多重データ書き込み手段と、
符号化された音声データを音声ファイルとして前記記録媒体に物理的に連続な領域に記録する音声データ書き込み手段とを備えた、
ことを特徴とする映像記録装置。
【請求項６】
映像データが記録された第１のファイルと、音声データが物理的に連続な記録領域に記録された第２のファイルとを格納した記録媒体から前記第１のファイル及び前記第２のファイルを読み出し、映像及び音声を再生する映像再生方法であって、
前記記録媒体から第２のファイルの音声データを読み出す音声データ読み出しステップと、
前記記録媒体から第１のファイルを読み出す映像データ読み出しステップと、
前記音声データ読み出しステップ及び前記映像データ読み出しステップの読み出し動作を制御する、読み出し制御ステップと、
前記音声データ読み出しステップにより読み出された音声データから音声信号を生成する音声復号ステップと、
前記映像データ読み出しステップにより読み出された映像データから映像信号を生成する映像復号ステップとを備え、
前記読み出し制御ステップは、前記第２のファイルの音声データを読み出すのに必要な帯域以外の残りの帯域を使用して、前記記録媒体から第１のファイルの映像データを読み出すように前記映像データ読み出しステップを制御する、
ことを特徴とする映像再生方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010007727.tif 000007
【図２】
2010007727.tif 000008
【図３】
2010007727.tif 000009
【図４】
2010007727.tif 000010
【国際調査報告】
2010007727.tif 000011
2010007727.tif 000012
2010007727.tif 000013
2010007727.tif 000014
2010007727.tif 000015