(57)【特許請求の範囲】
【請求項１】
画像および音声ビットストリームを、それぞれ複数フレーム毎に塊（チャンク）にし、画像チャンクおよび音声チャンクを交互に配置する等して１つのストリームとして多重化し、かつ複数チャンク毎に分割してファイルに書き出す画像・音声ビットストリーム分割装置において、
該チャンクを生成するためのチャンク生成タイミング信号を一定時間間隔毎に発生するチャンク生成タイミング信号発生装置と、
該チャンク生成タイミング信号直後の画像フレームの直前までの画像ビットストリームが多重化手段に読み込み完了されるまで待ち、該読み込みの完了している画像ビットストリームを１つの画像チャンクとして生成する画像チャンク生成手段と、
該完了時点で読み込みの完了している音声フレームのビットストリームまでを１つの音声チャンクとして生成する音声チャンク生成手段と、
複数チャンク毎に分割する手段とを具備したことを特徴とする画像・音声ビットストリーム分割装置。
【請求項２】
画像および音声ビットストリームを、それぞれ複数フレーム毎に塊（チャンク）にし、画像チャンクおよび音声チャンクを交互に配置する等して１つのストリームとして多重化し、かつ複数チャンク毎に分割してファイルに書き出す画像・音声ビットストリーム分割装置において、
該チャンクを生成するためのチャンク生成タイミング信号を一定時間間隔毎に発生するチャンク生成タイミング信号発生装置と、
分割点となるチャンクに限り、チャンク生成タイミング信号直後の画像フレームの直前までの画像ビットストリームが多重化手段に読み込み完了されるまで待ち、該読み込みの完了している画像ビットストリームを１つの画像チャンクとして生成する画像チャンク生成手段と、
該完了時点で読み込みの完了している音声フレームのビットストリームまでを１つの音声チャンクとして生成する音声チャンク生成手段と、
複数チャンク毎に分割すると共に前記分割点の信号を出力する手段とを具備したことを特徴とする画像・音声ビットストリーム分割装置。
【請求項３】
前記画像ビットストリームを生成するための画像符号化手段と、前記音声ビットストリームを生成するための音声符号化手段をさらに設けたことを特徴とする前記請求項１又は２に記載の画像・音声ビットストリーム分割装置。
【請求項４】
分割されていない画像および音声ビットストリームが多重化されたビットストリームファイルを読み込む手段と、
該読み込んだ画像および音声ビットストリームを多重分離する手段とをさらに備え、
多重分離された画像および音声ビットストリームを、それぞれ前記画像チャンクおよび音声チャンクを生成する手段に入力するようにしたことを特徴とする前記請求項１又は２に記載の画像・音声ビットストリーム分割装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像・音声ビットストリーム分割装置に関し、特に、画像・音声を圧縮符号化したビットストリームを多重化し、かつ長いコンテンツを分割して格納することで、再生を開始するまでの受信時間の短縮や、途中からの再生を可能にする画像・音声ビットストリーム分割装置に関する。
【０００２】
【従来の技術】
従来の画像・音声ビットストリーム分割格納装置を、図６、図７および図８を参照して説明する。従来の画像・音声ビットストリーム分割格納装置は、図６に示されているように、画像エンコーダ１１、音声エンコーダ１２、画像ビットストリームバッファ１３、音声ビットストリームバッファ１４、多重化部１５、チャンク生成タイマパルス発生部１６、ファイル生成部１７およびファイル格納部１８から構成されている。
【０００３】
前記多重化部１５は、図７に示されているように、数フレームを蓄積できるバッファ２１，２２、該バッファ２２に接続された遅延手段２３、バッファ２４、および前記バッファ２１と２２の入力側に接続されたスイッチング部２５，２６から構成されている。
【０００４】
さて、図６の画像エンコーダ１１で逐次生成されるビットストリームは、１画像フレームの符号化完了と同時に画像ビットストリームバッファ１３に入力される。また、これと同時に、音声エンコーダ１２で逐次生成されるビットストリームは、１音声フレームの符号化完了と同時に音声ビットストリームバッファ１４に入力される。多重化部１５には、チャンク生成タイマパルス発生部１６から、一定間隔毎にチャンク生成タイマパルスＴiが入力され、数フレームの塊（チャンク）毎に、画像・音声ビットストリームを交互に多重化し、ファイル生成部１７へと出力する。
【０００５】
すなわち、前記チャンク生成タイマパルスＴiが多重化部１５に入力すると、前記スイッチング部２５，２６がオンになり、それまでに符号化され、画像ビットストリームバッファ１３，音声ビットストリームバッファ１４に蓄積されていたデータが、バッファ２１，２２に転送される。次いで、バッファ２１に転送された画像ビットストリームがバッファ２４に送られ、その後に、遅延手段２３で遅延された音声ビットストリームがバッファ２４で結合される。そして、ファイル生成部１７へ出力される。
【０００６】
多重化部１５に入力される画像フレームと音声フレームの時間間隔は一般に異なっており、さらに、一方が他方の整数倍になっていない場合が一般的である。ファイル生成部１７では、入力された多重化ビットストリームに対して、ヘッダ情報を付加して１つのファイルとして出力する。その際、一定の間隔毎に、ヘッダ情報を付加して分割格納する。
【０００７】
図８は、チャンク生成動作の説明図である。図中の(a)は画像ビットストリーム、(b)は音声ビットストリームを示す。多重化部１５には、一定時間間隔毎にチャンク生成タイミングＴ1、Ｔ2、Ｔ3、・・・が入力され、該多重化部１５は、その時点で生成完了している画像・音声フレームが、バッファ２１，２２に入力する。したがって、多重化部１５は、前記チャンク生成タイミングＴ1、Ｔ2、Ｔ3、・・・が入力された時点で生成完了している画像・音声のフレーム単位ビットストリームを、それぞれ画像チャンク、音声チャンクとして構成し、ファイルとして出力する。
【０００８】
なお、コンテンツが長い場合には、受信時間を短縮する、あるいは途中からの再生を容易にするために、一定のチャンク数に達したら別ファイルとして分割出力したり、または同一ファイル内において、分割ヘッダを挿入して分割格納するのが一般的である。
【０００９】
【発明が解決しようとする課題】
図８から明らかなように、従来の方式では、チャンク先頭のフレーム再生時刻は、画像ビットストリームａと音声ビットストリームｂとでは一致しない。音声ビットストリームｂのチャンク先頭の再生時刻（例えば、ｔ１）が画像ビットストリームａの再生時刻（例えば、ｔ１’）より早い場合や、遅い場合（例えば、ｔ２、ｔ２’）がある。
【００１０】
コンテンツ途中の分割点から再生を行う場合、画像・音声の同期を取るために再生時刻の補正を行わなければならない。しかしながら、一般の復号再生装置においては、音声ビットストリームは１つの圧縮フレームがサンプリング周波数に同期した連続音声信号に復号されるため、フレーム単位に離散的な時間間隔で復号表示すればよい画像に対して時間調整が非常に困難であるという問題、さらに画像が先であったり、音声が先であったりすると、同期制御が複雑となり困難になるという問題があった。
【００１１】
本発明の目的は、前記した従来技術の問題点を解消し、復号再生時に、画像・音声の同期制御をできるだけ容易にする形式でチャンク生成、または分割することを可能とする画像・音声ビットストリーム分割装置を提供することにある。
【００１２】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、画像および音声ビットストリームを、それぞれ複数フレーム毎に塊（チャンク）にし、画像チャンクおよび音声チャンクを交互に配置する等して１つのストリームとして多重化し、かつ複数チャンク毎に分割してファイルに書き出す画像・音声ビットストリーム分割装置において、該チャンクを生成するためのチャンク生成タイミング信号を一定時間間隔毎に発生するチャンク生成タイミング信号発生装置と、該チャンク生成タイミング信号直後の画像フレームの直前までの画像ビットストリームが多重化手段に読み込み完了されるまで待ち、該読み込みの完了している画像ビットストリームを１つの画像チャンクとして生成する画像チャンク生成手段と、該完了時点で読み込みの完了している音声フレームのビットストリームまでを１つの音声チャンクとして生成する音声チャンク生成手段と、複数チャンク毎に分割する手段とを具備した点に第１の特徴がある。
【００１３】
この特徴によれば、チャンク先頭の音声フレームの再生時刻を、常に、画像フレームの再生時刻と同じかあるいは先にすることが可能となる。
【００１４】
また、本発明は、該チャンクを生成するためのチャンク生成タイミング信号を一定時間間隔毎に発生するチャンク生成タイミング信号発生装置と、分割点となるチャンクに限り、チャンク生成タイミング信号直後の画像フレームの直前までの画像ビットストリームが多重化手段に読み込み完了されるまで待ち、該読み込みの完了している画像ビットストリームを１つの画像チャンクとして生成する画像チャンク生成手段と、該完了時点で読み込みの完了している音声フレームのビットストリームまでを１つの音声チャンクとして生成する音声チャンク生成手段と、複数チャンク毎に分割すると共に前記分割点の信号を出力する手段とを具備した点に第２の特徴がある。
【００１５】
この特徴によれば、分割点となるチャンクにおいては、必ず、チャンク先頭の音声フレームの再生時刻を、常に、画像フレームの再生時刻と同じかあるいは先にすることが可能となる。
【００１６】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の構成を示すブロック図、図２は、その主要部の動作を説明するためのタイミングチャートである。なお、図１の図６と同一の符号は同一または同等物を示し、それらの動作の説明は省略する。
【００１７】
画像ビットストリームバッファ１３は、画像エンコーダ１１から符号化されたビットストリームの１フレームを受け取ると、フレーム単位通知信号ｑを出力する。該フレーム単位通知信号ｑは、ＡＮＤ回路２２の一方の入力端子に入力する。また、チャンク生成タイマパルス発生部１６は、一定間隔毎にチャンク生成タイマパルスＴiを生成する。該チャンク生成タイマパルスＴiはホールド回路２１に入力し、ホールドされる。この結果、該ホールド回路２１の出力は、図２のｒのようになる。
【００１８】
さて、チャンク生成タイマパルスＴiがホールド回路２１に入力されると、図２に示されているように、ホールド回路２１の出力ｒはＨ（ハイ）レベルとなりＡＮＤ回路２２の他方の端子に入力する。その後、フレーム単位通知信号ｑ１が入力すると、該信号ｑ１はＡＮＤ回路２２を通ってチャンク生成信号ｓ１として多重化部１５に入力する。そうすると、多重化部１５は該チャンク生成信号ｓ１をトリガ信号として、チャンクを生成する。ホールド回路２１は、該チャンク生成信号ｓ１によりリセットされる。
【００１９】
すなわち、多重化部１５は、図２に示されているように、画像ビットストリームａと音声ビットストリームｂを、チャンク生成信号ｓ１のタイミングで分割する。明らかなように、画像ビットストリームａのフレームの境界はチャンク生成信号ｓ１と一致するので、該フレームの境界（例えば、ａ１，ａ２）で分割される。しかしながら、音声ビットストリームｂは音声フレームの境界と一致するとは限らない。一致しない場合は、その時点で生成完了している音声のフレームを境界（例えば、ｂ１、ｂ２）とする。
【００２０】
この結果、本実施形態によれば、チャンク先頭の音声フレームの再生時刻を、画像フレームの再生時刻と同じかあるいは先にすることが可能となる。換言すれば、チャンク先頭の音声フレームの再生時刻が、画像フレームの再生時刻より後になることは決してなくなる。したがって、ファイルの途中の分割点からの再生の際、画像フレームを音声フレームとの時間差分だけ遅延させれば、画像と音声とを同期させることができるので、従来の方式で問題となっていた画像・音声の同期制御が複雑になるのを防止することができるようになる。また、この結果、再生端末の小型化、低価格化などが行えるようになる。
【００２１】
なお、前記ホールド回路２１とＡＮＤ回路２２は、チャンクを生成するためのチャンク生成タイミング信号直後の画像フレームの直前までの画像ビットストリームが多重化手段に読み込み完了されるまで待つ手段の一具体例ということができる。
【００２２】
次に、本発明の第２実施形態を、図３、図４を参照して説明する。一般に、ファイル構成としては、例えば図４に示されているように、複数のチャンクに一つのヘッダを付けるようになされ、該ヘッダが付された箇所が分割点となる。この実施形態は、該分割点においてのみ、チャンク先頭の音声フレームの再生時刻が、画像フレームの再生時刻と同じかあるいは先になるようにしたものである。なお、図３の図１と同一または同等の符号は同一物を示し、説明を省略する。
【００２３】
図３に示されているように、この実施形態では、チャンク生成タイマパルス１６とＡＮＤ回路２２の出力との間に、スイッチング手段２３が接続された、ホールド回路２１およびＡＮＤ回路２２と並列の回路が接続されている。該スイッチング手段２３は、ファイル生成部１７からのファイル分割点信号ｍによりオフとなり、それ以外はオンとなる。したがって、ファイル分割点においてのみ、チャンク先頭の音声フレームの再生時刻が、画像フレームの再生時刻と同じかあるいは先になる。
【００２４】
次に、本発明の第３実施形態を、図５を参照して説明する。この実施形態は、分割点のないファイル、例えば、最初にだけヘッダがあって、それ以降にはヘッダが入っていないファイルに、分割点（ヘッダ）を入れることができるようにしたものである。
【００２５】
ファイル格納部３１には、前記分割点のないファイルが格納されている。ファイル読込部３２は、該ファイル格納部３１からファイルを読みだし、画像／音声多重分離部３３に送る。画像／音声多重分離部３３はファイルから画像データと音声データとに分離し、それぞれは、図１の画像ビットストリームバッファ１３と音声ビットストリームバッファ１４に送られる。以降は、図１の動作と同じであるので説明を省略する。なお、図５の３４を、図３の対応する構成に置き換えてもよい。
【００２６】
ファイル生成部１７からは、分割点の入ったファイルを出力することができる。したがって、この実施形態によれば、分割点のないファイルを、分割点の入ったファイルに変換できるようになる。
【００２７】
本発明で形成されファイル格納部に格納されたファイルを再生する場合には、まずヘッダがデコードされ、インデックスが取り出される。ｎ（ｎは、正の整数）番目の分割点から再生する場合には、該インデックスからｎ番目の分割点の音声および画像の再生時刻が取得され、次いで、（音声再生時刻−画像再生時刻）分だけ画像再生を遅延させ、以降は順に、画像、音声が再生される。これにより、画像と音声の再生を整合させることができる。
【００２８】
本発明によれば、時間調整が非常に困難な音声ビットストリームを時間遅延する必要が全くなくなる。
【００２９】
【発明の効果】
以上の説明から明らかなように、請求項１〜４の発明によれば、チャンク先頭の音声フレームの再生時刻を、常に、画像フレームの再生時刻と同じかあるいは先にすることが可能となる。したがって、ファイルの途中の分割点からの再生の際、画像フレームを音声フレームとの時間差分だけ遅延させれば、画像と音声とを同期させることができるので、従来の方式で問題となっていた画像・音声の同期制御が複雑になるのを防止することができるようになる。
【００３０】
また、請求項２の発明によれば、ヘッダが付された箇所である分割点においてのみ、チャンク先頭の音声フレームの再生時刻が、常に画像フレームの再生時刻と同じかあるいは先になるようにすることができる。また、請求項４の発明によれば、分割点のないファイルを、分割点の入ったファイルに変換できるようになる。
【図面の簡単な説明】
【図１】  本発明の第１実施形態の構成を示すブロック図である。
【図２】  第１実施形態の要部の信号およびチャンク生成のタイミングチャートである。
【図３】  本発明の第２実施形態の構成を示すブロック図である。
【図４】  ファイル構成の説明図である。
【図５】  本発明の第３実施形態の構成を示すブロック図である。
【図６】  従来の画像・音声ビットストリーム分割装置の構成を示すブロック図である。
【図７】  多重化部の一具体例を示すブロック図である。
【図８】  従来のチャンク生成のタイミングチャートである。
【符号の説明】
１１・・・画像エンコーダ、１２・・・音声エンコーダ、１３・・・画像ビットストリームバッファ、１４・・・音声ビットストリームバッファ、１５・・・多重化部、１６・・・チャンク生成タイマパルス発生部、１７・・・ファイル生成部、１８・・・ファイル格納部、２１・・・ホールド回路、２２・・・ＡＮＤ回路、２３・・・スイッチング部。
【図１】
0004007575.tif 000002
【図２】
0004007575.tif 000003
【図３】
0004007575.tif 000004
【図４】
0004007575.tif 000005
【図５】
0004007575.tif 000006
【図６】
0004007575.tif 000007
【図７】
0004007575.tif 000008
【図８】
0004007575.tif 000009