(57)【特許請求の範囲】
【請求項１】
第１の所定時間単位の画像データ単位毎に圧縮符号化された画像データ、及び、前記画像データに関連する音声データであり第２の所定時間単位の音声データ単位毎に圧縮符号化された音声データを記録媒体に記録再生する符号化データ記録再生装置において、
記録媒体に記録された前記画像データ内の時間的に連続しない２つの画像データ単位である第１の画像データ単位と第２の画像データ単位とを連続させて再生する場合に、画像データと共に再生すると時間的にオーバーラップが生じる２つの音声データ単位である、前記第１の画像データ単位に関連する第１の音声データ単位と前記第２の画像データ単位に関連する第２の音声データ単位とを復号する音声復号手段と、
その復号により得られた非圧縮音声データを前記オーバーラップ部分に対してクロスフェード処理を行い１ブロックの非圧縮音声データを得る音声データ処理手段と、
前記１ブロックの非圧縮音声データを前記記録媒体上に記録する記録手段と、
を備えたことを特徴とする符号化データ記録再生装置。
【請求項２】
第１の所定時間単位の画像データ単位毎に圧縮符号化された画像データ、及び、前記画像データに関連する音声データであり第２の所定時間単位の音声データ単位毎に圧縮符号化された音声データを記録媒体から再生する符号化データ再生装置において、
請求項１に記載のクロスフェード処理が行われた１ブロックの非圧縮音声データが記録された記録媒体に対して、その記録媒体に記録されている画像データ内の時間的に連続しない請求項１に記載の２つの画像データ単位である第１の画像データ単位と第２の画像データ単位とを連続させて再生する際、画像データと共に再生すると時間的にオーバーラップが生じる２つの音声データ単位である、前記第１の画像データ単位に関連する第１の音声データ単位と前記第２の画像データ単位に関連する第２の音声データ単位とに相当する期間には、前記記録媒体から再生した前記１ブロックの非圧縮音声データを出力する出力手段を設けたことを特徴とする符号化データ再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動画像及び音声を符号化したデータを記録再生する符号化データ記録再生装置、及び符号化したデータを再生する符号化データ再生装置に関する。そして、この発明は媒体上に記録されたプログラムを部分的に接続しながら再生する場合に好適な符号化データ記録再生装置、及び符号化データ再生装置を提供することを目的としている。
【０００２】
【従来の技術】
近年の情報処理技術の進展により、デジタル音響映像情報をデータ圧縮し、情報記録媒体に記録することが行われつつある。特にこれら圧縮技術を応用した記録可能なディスク媒体は、その良好なランダムアクセス性によって今後デジタル音響映像の記録媒体として主流になると考えられている。
【０００３】
一般的には、動画像は音声に対して情報量が膨大であるため、限られた媒体の記録情報量を有効に用いるために高度な圧縮技術が用いられている。映像の単位である映像フレーム内の相関を利用したデータ圧縮のみならず、複数の時間的に近接した映像フレーム間の相関を用いて圧縮する手法はこの代表的なものである。このデータ圧縮の結果、動画像の１映像フレーム（第１の所定時間単位の画像データ単位）あたりのデータ量はフレーム内映像の複雑さや映像フレーム間の相関の度合いに従って大幅に変動することは周知の通りである。この様にデータ圧縮によって一定期間に発生する符号量が変動する状態を指して「可変ビットレートで圧縮符号化」あるいは「VBR(Variable Bit Rate)で圧縮符号化」と称している。一方音声については相対的な情報量の少なさから、一定期間に発生する符号量が一定である固定ビットレートでの圧縮符号化、いわゆるCBR(Constant Bit Rate)での圧縮符号化が採用される場合が多い。音声も動画像と同様に一定の出力期間に相当する音声フレームに区切られ、音声フレーム（第２の所定時間単位の音声データ単位）を単位として圧縮符号化されることが一般的である。
【０００４】
動画像／音声の符号化データを媒体に記録再生するための従来の記録再生装置は図５に示される構成を持っている。動画像は動画像符号化部１によって圧縮符号化され、同様に音声は音声符号化部２で圧縮符号化される。これらから独立して発生する符号化データは、記録に好適であるように多重化部３で単一の符号化データ列となる。動画像符号化部１においては前記した通りVBRで符号化が成されるが、記録媒体上ではそのデータ容量の効率的な利用のために、符号化データ列は隙間無く連続配置される。この目的のために書き込みバッファ４を設け、多重化部３の出力レートが高い場合、あるいは記録媒体への書きこみが回転待ち状態の場合に、書き込みバッファ４に符号化データを溜め込むように構成されている。書き込みバッファ４の出力は光ヘッド等で構成される情報書き込み部５を通じて記録媒体６上に連続配置で記録される。
【０００５】
さて、記録媒体６上ではセクタと称する少量かつ固定データ量の区画が連続配置されており、動画像／音声の符号化データはセクタに分割されて記録される。さらに、記録媒体への記録再生装置による書き込み／読み出しはセクタ単位が一般的であり、容易なアクセスの観点から異なる種類のデータを同一セクタ内に記録することは好ましくない。よって、動画像と音声との各符号化データは図６に示されるように夫々異なるセクタに記録される。図６では各映像フレーム（各画像データ単位）を構成するための符号化データがV1からV4、各音声フレーム（各音声データ単位）を構成するための符号化データがA0からA5である例が示されている。図６に示す例では、各映像フレームの符号化データはそれぞれ３つのセクタにわたり記録され、各音声フレームの符号化データはそれぞれ１つのセクタに記録される。図にV1と示された３つのセクタの符号化データにより、一画像単位である映像フレームV1が構成される。
【０００６】
記録媒体６上の動画像／音声の符号化データを再生する場合は、その記録に対応した逆の処理が行われる。すなわち図５に示されるように、光ヘッド等で構成された情報読み出し部７により各符号化データが間欠的に読み出され、読み出しバッファ８に一時記憶された後、多重化分離部９に供給される。多重化分離部９により動画像と音声との符号化データが分離され、動画像復号部１０及び音声復号部１１においてそれぞれ復号され出力される。
【０００７】
図７は図６で示された記録媒体上のセクター列を読み取り、再生を行った場合に出力される映像フレームと音声フレームとの時間的関係を示している。すなわち、図６に示された動画像符号化データV1からV4と音声符号化データA0からA5が出力されている様子である。映像フレームの時間的な期間（映像フレーム期間）はNTSC方式ならば約33.4msec、PAL方式の場合40msecとなり規定がはっきりしているが、音声フレームの時間的な期間（音声フレーム期間）は採用される圧縮方式によって決定され、音声フレーム期間は映像フレーム期間に一致しない場合が多い。従って図７に示されるように映像フレームの境界と音声フレームの境界は非同期な関係になることが解る。
【０００８】
【発明が解決しようとする課題】
ここで、動画像符号化データV2に相当する映像フレーム（映像フレームV2と呼ぶ。以下も同様。）の再生を編集によってスキップすることを考える。すなわち、映像フレームV1と映像フレームV3とが連続するフレームとして再生される様にする場合である（時間的に連続しない２つの画像データ単位である映像フレームV1と映像フレームV3とを連続させて再生する場合）。このとき、図６に示される符号化データV2を実際に削除するのではなく、この符号化データV2の読み取りをスキップするようにすることで目的は達成される。
【０００９】
しかしながら、音声に関しては、映像フレームV2に関連する音声フレームA2（音声符号化データA2に相当する音声フレーム）の再生をスキップする（音声符号化データA2の読み取りをスキップする）のみでは目的が達成されない。なぜならば、音声は音声フレーム単位で圧縮符号化されており、さらに、図７に示すように音声フレームの境界が映像フレームの境界に一致していないからである。
【００１０】
これについて、図８を用いてより詳しく説明する。通常再生の場合、映像フレームV2と時間的に関連する音声フレームは、音声フレームA2だけではなく、図７に示すように音声フレームA1とA3も関連する。従って、映像フレームV1と映像フレームV3とを連続させて再生する場合、音声フレームA2の再生をスキップさせただけでは、図８に示すように音声フレームA1とA3との再生に時間的なオーバーラップが生じてしまう。よって、オーバーラップを起こさないためには、音声フレームA2のみならず音声フレームA3（または音声フレームA1）の再生もスキップしなければならない。このような編集を行った後の再生出力は図８に示されるようになる。
【００１１】
図８に示される音声フレームA1の後には、最大で1音声フレーム期間の音声が存在しない期間が発生するため、再生機において出力ミュートを行う必要があった。さらに、この期間の前後を含め、記録された音声の音圧レベルが高い場合、単純な出力ミュートでは出力レベルの大きな変化によって雑音が出力される可能性が高く、図８に示されるようなゲインカーブを持った精密なミュートを行う必要があった。
【００１２】
本発明は、記録媒体上に記録されたプログラムを部分的に接続しながら再生する場合（記録された画像データ内の時間的に連続しない２つの画像データ単位である第１の画像データ単位と第２の画像データ単位とを連続させて再生する場合）に、接続点において、音声ミュート処理を行うことなく音声が不連続となることを防止できる符号化データ記録再生装置、及び符号化データ再生装置を提供することを目的としている。
【００１３】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、下記の装置を提供するものである。
（１）  第１の所定時間単位の画像データ単位毎に圧縮符号化された画像データ、及び、前記画像データに関連する音声データであり第２の所定時間単位の音声データ単位毎に圧縮符号化された音声データを記録媒体に記録再生する符号化データ記録再生装置において、
記録媒体に記録された前記画像データ内の時間的に連続しない２つの画像データ単位である第１の画像データ単位と第２の画像データ単位とを連続させて再生する場合に、画像データと共に再生すると時間的にオーバーラップが生じる２つの音声データ単位である、前記第１の画像データ単位に関連する第１の音声データ単位と前記第２の画像データ単位に関連する第２の音声データ単位とを復号する音声復号手段と、
その復号により得られた非圧縮音声データを前記オーバーラップ部分に対してクロスフェード処理を行い１ブロックの非圧縮音声データを得る音声データ処理手段と、
前記１ブロックの非圧縮音声データを前記記録媒体上に記録する記録手段と、
を備えたことを特徴とする符号化データ記録再生装置。
（２）  第１の所定時間単位の画像データ単位毎に圧縮符号化された画像データ、及び、前記画像データに関連する音声データであり第２の所定時間単位の音声データ単位毎に圧縮符号化された音声データを記録媒体から再生する符号化データ再生装置において、
請求項１に記載のクロスフェード処理が行われた１ブロックの非圧縮音声データが記録された記録媒体に対して、その記録媒体に記録されている画像データ内の時間的に連続しない請求項１に記載の２つの画像データ単位である第１の画像データ単位と第２の画像データ単位とを連続させて再生する際、画像データと共に再生すると時間的にオーバーラップが生じる２つの音声データ単位である、前記第１の画像データ単位に関連する第１の音声データ単位と前記第２の画像データ単位に関連する第２の音声データ単位とに相当する期間には、前記記録媒体から再生した前記１ブロックの非圧縮音声データを出力する出力手段を設けたことを特徴とする符号化データ再生装置。
【００１４】
【発明の実施の形態】
本発明の符号化データ記録再生装置は、記録媒体上のプログラム内の隣接配置でない画像データ単位を接続するにあたり（記録媒体に記録された前記画像データ内の時間的に連続しない２つの画像データ単位である第１の画像データ単位（例えば映像フレームV1）と第２の画像データ単位（例えば映像フレームV3）とを連続させて再生する場合に）、時間的にオーバーラップが生じる2つの音声フレーム（第１の画像データ単位に関連する第１の音声データ単位（音声フレームA1）と前記第２の画像データ単位に関連する第２の音声データ単位（音声フレームA3）と）を復号手段によって復号を行い、得られた2つの非圧縮音声フレームデータのオーバーラップ部分に対して音声データ処理手段によってクロスフェード処理を行った後に、1ブロックの音声データB0として記録媒体上に記録することを特徴とする。
【００１５】
本発明の符号化データ再生装置は、媒体上の隣接配置でない画像データ単位（隣接配置でないプログラム部分）を接続して再生する際に（例えば、映像フレームV1と映像フレームV3とを連続させて再生する場合に）、接続部分を再生するに先立って、上述した接続部分に対応する1ブロックの音声データB0を記録媒体からメモリーに読み込み、オーバーラップが生じる2つの音声フレーム期間（音声フレームA1とA3との期間）では、前記メモリーに記憶された音声データB0を出力することを特徴とする。
【００１６】
また、符号化データ記録媒体では、記録媒体上の隣接配置でないプログラム部分を接続して再生する際に（映像フレームV1と映像フレームV3とを連続させて再生する場合に）、オーバーラップが生じる2つの音声フレーム期間（音声フレームA1とA3との期間）に対応する非圧縮音声データB0を別途記録したことを特徴とする。
【００１７】
例えば、圧縮音声フレームの一期間が32msecであって音声のオーバーラップが微少である場合、ほぼ2音声フレーム分の非圧縮音声データが記録されることになるが、このデータ形式として48kHzサンプリング、16ビット/サンプルのリニアPCMを用いれば、1ブロックはおおよそ12kByteであり、媒体上のわずかな領域しか占有しない。
【００１８】
記録媒体の再生にあたり、従来複雑な音声ミュート処理を要していた接続点（映像フレームV1と映像フレームV3との接続点）においては、音声が不連続となる期間においてあらかじめ再生装置の読みこんだ上記音声データブロックB0を音声復号部の出力に代わって出力させ、最終的な音声出力に不連続が生じないようにする。さらには、上記音声データブロックB0を作成するにあたり、クロスフェード処理を行って、接続点において急激なレベル変動がないようにしている。
【００１９】
次に、符号化データ記録再生装置の一実施例を図１に示す。従来例である図５との大きな相違点は、メモリー部２１、音声データ処理部２２、及び出力切り替え部２３が追加された点である。以下、この追加部分を中心に説明する。
【００２０】
まず、記録媒体１６上に、図６に示されるプログラムが記録されている前提で、再生時の編集によって映像フレームV2（符号化データV2で構成される映像フレーム）の再生をスキップする場合を考える。この場合、図４に示すように、映像フレームV2の再生をスキップして映像フレームV1とV3を接続して再生することと、音声フレームA0（音声符号化データA0で構成される音声フレーム）の再生出力終了後に以下で述べる音声データブロックB0を出力し、その後、音声フレームA4から再生出力を行うように編集が指示される。図７に示される音声フレームA2の期間は映像フレームV2の期間に含まれるため、編集後は全く出力されないが、音声フレームA1とA3については、接続用の音声データブロックB0の作成に用いられる。
【００２１】
図１において、記録媒体１６から情報読み出し部１７、読み出しバッファ８、多重分離部９、音声復号部１１を経由して音声フレームA1とA3に相当する符号化データA1とA3を順次復号し、非圧縮の音声フレームデータとしてメモリー部２１に格納する。メモリー部２１に格納された非圧縮の音声フレームデータの内容は、音声データ処理部２２によって処理され、接続用の音声データブロックB0として情報書き込み部１５を通じて媒体１６に記録される。
【００２２】
図２に記録媒体１６の一例として、セクタアドレスの小さい領域に接続用の音声データブロックを格納する場合を示した。接続点が複数存在する場合はこの領域に各接続点に対応する複数の接続用の音声データブロックB0,B1…が格納されることになる。
【００２３】
音声データ処理部２２の処理内容は、図３に示されるように、２つの非圧縮音声フレームデータ（音声フレームA1とA3とを復号して得たデータ）の一部を、音声レベルを変更しながら混合する、いわゆるクロスフェード処理を行う。これによって作成された接続用の音声ブロックデータB0の出力期間が、A1からA3までの3音声フレーム期間とV2の1映像フレーム期間との差となるように、音声データ処理部２２のクロスフェード期間が調整される。
【００２４】
このように、新たに接続用音声データブロックB0が記録された後には、接続点（映像フレームV1と映像フレームV3との接続点）において、連続的な音声の出力が可能となる。図１において、接続点を含んだプログラムの再生に先立って記録媒体１６から情報読み出し部１７を通じて接続用の音声データブロックB0をメモリー部２１に格納する。同時に、出力切り替え部２３においては、音声復号部１１からの入力がD/A変換器等が接続される外部出力へ供給されるように設定される。
【００２５】
この後にプログラムの再生を開始する。すなわち、情報読み出し部１７、読み出しバッファ８、多重分離部９、動画像復号部１０、音声復号部１１へ媒体から順次符号化データが供給される。音声フレームA0の外部出力が終了した時点で、出力切り替え部２３は、メモリー部２１からの入力が外部へ出力されるように設定され、予め記憶されていた接続用の音声データブロックB0が出力される。その後、出力切り替え部２３は再度音声復号部１１からの入力を出力するように設定され、音声復号部１１から出力される音声フレームA4以降の音声データを外部に出力する。本符号化データ記録再生装置における接続点前後の出力状態は図４に示す通りである。
【００２６】
【発明の効果】
以上の通り、本発明によれば、 記録媒体上に記録されたプログラムを部分的に接続しながら再生する場合（記録された画像データ内の時間的に連続しない２つの画像データ単位である第１の画像データ単位と第２の画像データ単位とを連続させて再生する場合）に、非圧縮の音声データブロックを用いるので、接続点において、音声ミュート処理を行うことなく音声が不連続となることを防止することが可能となる。
また、本発明によれば、上記音声データブロックを作成するにあたり、クロスフェード処理を行って、接続点における急激なレベル変動を防止したため、接続点で雑音を発生させることがなく、良好な再生が行える。
さらには、上記音声データブロックを記録するための記録媒体上の領域、あるいは一時的にこれを装置内に保持するためのメモリー量は僅かであり、実現性が非常に高い。
【図面の簡単な説明】
【図１】符号化データ記録再生装置の一実施例を示す図である。
【図２】符号化データ記録媒体の一実施例のデータ配置を示す図である。
【図３】符号化データ記録再生装置の一実施例のクロスフェード処理を示す図である。
【図４】符号化データ記録再生装置の一実施例の再生出力を示す図である。
【図５】従来の符号化データ記録再生装置を示す図である。
【図６】従来の符号化データの配置形態を示す図である。
【図７】再生時の映像フレームと音声フレームとの時間的な関係を示す図である。
【図８】従来の編集操作を行った後の再生出力を示す図である。
【符号の説明】
１  動画像符号化部
２  音声符号化部
３  多重化部
４  書き込みバッファ
８  読み出しバッファ
９  多重分離部
１０  動画像復号部
１１  音声復号部
１５  情報書き込み部
１６  記録媒体
１７  情報読み出し部
２１  メモリー部
２２  音声データ処理部
２３  出力切り替え部
【図１】
0004356046.tif 000002
【図２】
0004356046.tif 000003
【図３】
0004356046.tif 000004
【図４】
0004356046.tif 000005
【図５】
0004356046.tif 000006
【図６】
0004356046.tif 000007
【図７】
0004356046.tif 000008
【図８】
0004356046.tif 000009