(57)【特許請求の範囲】
【請求項１】
符号化された画像データを含むビットストリームを入力し、このビットストリーム中に含まれる基準時刻情報に基づいて基準時刻とシステムクロックを再生し、前記画像データを復号化する復号化方法において、
前記ビットストリームが複数個多重された多重化ビットストリームを入力し、この多重化ビットストリームから復号する画像データを含むビットストリームを１つ以上分離する第１のステップと、
前記多重化ビットストリームから、復号する画像データを含むビットストリームのそれぞれに含まれる基準時刻情報を抽出する第２のステップと、
前記第２のステップで抽出された前記基準時刻情報の中から、マスタとなる画像データを含むビットストリームの基準時刻情報を選択し、この選択された基準時刻情報を用いてシステムクロックを再生する第３のステップと、
前記分離された復号する画像データを含むビットストリーム中に含まれる基準時刻情報と前記再生されたシステムクロックとを用いて、前記分離された画像を復号化する際に用いる基準時刻を再生する第４のステップと、
前記再生されたシステムクロックを用いて復号開始信号を生成する第５のステップと、
前記第２のステップないし第５のステップの処理と並行して前記分離されたビットストリームに含まれる画像データを前記分離されたビットストリーム毎に１つずつ設けられた入力バッファに蓄積する第６のステップと、
前記分離されたビットストリーム毎に１つずつ設けられた復号化手段において、前記復号開始信号が入力されると、前記分離された復号する画像データを含むビットストリーム中に含まれる復号開始時刻情報と、前記基準時刻とを比較し、前記復号開始時刻情報が前記基準時刻よりも小さい場合に、各復号化手段に対応する前記入力バッファに蓄積された画像データの復号を開始する第７のステップと、
前記第７のステップで復号された複数の画像を合成する第８のステップと、
を備えたことを特徴とする画像復号化方法。
【請求項２】
前記復号開始信号は、前記システムクロックを用いて生成され、マスタとなる画像信号中に含まれる復号開始時刻情報に依存しない表示系の同期信号に同期した信号であることを特徴とする請求項１記載の画像復号化方法。
【請求項３】
前記入力バッファとして確保される容量は、データ中に含まれる復号開始時刻情報を基準に復号を開始する際に必要とされるデータ量よりも、マスタとなる画像データの１フレーム時間分に入力される最大のデータ量分以上、多いことを特徴とする請求項１または請求項２記載の画像復号化方法。
【請求項４】
符号化された画像データを含むビットストリームを入力し、前記ビットストリーム中に含まれる基準時刻情報に基づいて基準時刻とシステムクロックを再生し、前記画像データを復号化する復号化装置において、
前記ビットストリームが複数個多重された多重化ビットストリームを入力し、前記多重化ビットストリームから復号する画像データを含むビットストリームを１つ以上分離する分離手段と、
前記分離されたビットストリーム毎に１つずつ設けられ、前記分離されたビットストリーム毎に該ビットストリームに含まれる画像データを蓄積する１つ以上の入力バッファと、
前記多重化ビットストリームから、復号する画像データを含むビットストリームのそれぞれに含まれる基準時刻情報を抽出する抽出手段と、
前記抽出手段で抽出された前記基準時刻情報の中から、マスタとなる画像データを含むビットストリームの基準時刻情報を選択する選択手段と、
前記選択手段で選択された基準時刻情報を用いてシステムクロックを再生するクロック再生手段と、
前記復号する画像データを含むビットストリーム中に含まれる基準時刻情報と前記再生されたシステムクロックとを用いて、前記分離された画像を復号化する際に用いる基準時刻を再生する基準時刻再生手段と、
前記再生されたシステムクロックを用いて前記分離された各ビットストリームに共通である復号開始信号を生成する復号開始信号生成手段と、
前記分離されたビットストリーム毎に１つずつ設けられ、前記復号開始信号が入力されると、前記分離された復号する画像データを含むビットストリーム中に含まれる復号開始時刻情報と、前記基準時刻とを比較し、前記復号開始時刻情報が前記基準時刻よりも小さい場合に、対応する前記入力バッファに蓄積された画像データの復号を開始する１つ以上の復号化手段と、
前記復号化手段で復号された複数の画像を合成する合成手段と、
を備えたことを特徴とする画像復号化装置。
【請求項５】
前記復号開始信号生成手段が生成する復号開始信号は、前記システムクロックを用いて生成され、マスタとなる画像信号中に含まれる復号開始時刻情報に依存しない表示系の同期信号に同期した信号であることを特徴とする請求項４記載の画像復号化装置。
【請求項６】
前記入力バッファの容量は、データ中に含まれる復号開始時刻情報を基準に復号を開始する場合に必要とされる容量よりも、マスタとなる画像データの１フレーム時間分に入力される最大のデータ量分以上、多いことを特徴とする請求項４または請求項５記載の画像復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、同時に複数個の符号化された画像信号を復号化する画像復号化方法及び装置に関する。
【０００２】
【従来の技術】
近年、アナログ地上波テレビジョン放送のチャンネル数不足を解消したり、新たな多チャンネルサービスを展開するために、放送衛星や通信衛星を介したディジタル衛星放送が始められた。また、同軸ケーブルや光ファイバーケーブルを通信路とするケーブルテレビジョン（ＣＡＴＶ）や地上波放送にもディジタル化の動きがある。
【０００３】
ディジタル放送は、ディジタル化した画像信号や音声信号をＭＰＥＧやＡＣ−３などの圧縮技術を利用して高能率の圧縮を行うため、従来のアナログ放送に比べて、同一帯域幅で６〜８倍のチャンネル数が確保できるようになり、多様なサービスの提供ができるようになる。
【０００４】
このようなディジタルＴＶ放送を受信する場合、視聴者のチャンネル選択を容易にするため、複数のチャンネルの画像を同時に復号化するとともに、１つのＴＶ画面を複数の小領域に分割し、この復号化された各チャンネルの画像をそれぞれの小領域に同時に表示するマルチ画面表示機能が提供される。
【０００５】
すなわち、複数チャンネルのＴＶ信号が符号化多重化されたＭＰＥＧトランスポートストリームを受信し、それぞれのチャンネルを同時に復号化し、合成して１つの表示画面にマルチウインドウ表示する場合を考える。この場合、図４のブロック図に示すように、トランスポートストリームをデマルチプレクサ（ＤＥＭＵＸ）１０１によりそれぞれのＴＶチャンネルに分離して、それぞれのストリーム毎に入力バッファ２０１〜２０４に入力する。そして、それぞれの画像データストリーム毎に独立して復号器１１５〜１１８により復号化し、復号化した画像を出力バッファ２０５〜２０８に蓄える。
【０００６】
そして、図５のタイミング図に示すように、それぞれのチャンネルの画像データストリームに含まれる復号開始情報に従って、それぞれのチャンネルの画像データが復号される。また、これら復号化する画像データストリームの中からマスタとなる画像を選択し、マスタとなる画像データを表示する際に用いられるデータから再生された同期信号を用いて出力バッファ２０５〜２０８に蓄えられた各復号画像を読み出し、合成部１１９により１つの画面に合成して表示していた。
【０００７】
【発明が解決しようとする課題】
しかしながら上記従来例では、復号化した画像を合成するための同期合わせを行うための、復号化した画像を保持する出力バッファメモリが必要であった。
【０００８】
また表示系の水平垂直同期信号をマスタとなる画像のものを用いるため、図５に示したようにマスタを切り替えるたびに、これらの同期信号も切り替わり、この切り替え時点において水平垂直同期信号の位相が変わるので、結果としてマスタ切り替え時に表示画面が乱れるといった問題があった。
【０００９】
以上の問題点に鑑み本発明の目的は、複数同時に表示する画像からマスタとなる画像を切り替える際に表示画面が乱れることを防止した画像復号化方法及び装置を提供することである。
【００１０】
また本発明の目的は、画像合成のための出力バッファメモリを無くし、画像復号化装置のハードウェア量を削減することのできる画像復号化方法及び装置を提供することである。
【００１１】
【課題を解決するための手段】
上記目的を達成するため本発明は、符号化された画像データを含むビットストリームを入力し、このビットストリーム中に含まれる基準時刻情報に基づいて基準時刻とシステムクロックを再生し、前記画像データを復号化する復号化方法において、前記ビットストリームが複数個多重された多重化ビットストリームを入力し、この多重化ビットストリームから復号する画像データを含むビットストリームを１つ以上分離する第１のステップと、前記多重化ビットストリームから、復号する画像データを含むビットストリームのそれぞれに含まれる基準時刻情報を抽出する第２のステップと、前記第２のステップで抽出された前記基準時刻情報の中から、マスタとなる画像データを含むビットストリームの基準時刻情報を選択し、この選択された基準時刻情報を用いてシステムクロックを再生する第３のステップと、前記分離された復号する画像データを含むビットストリーム中に含まれる基準時刻情報と前記再生されたシステムクロックとを用いて、前記分離された画像を復号化する際に用いる基準時刻を再生する第４のステップと、前記再生されたシステムクロックを用いて復号開始信号を生成する第５のステップと、前記第２のステップないし第５のステップの処理と並行して前記分離されたビットストリームに含まれる画像データを前記分離されたビットストリーム毎に１つずつ設けられた入力バッファに蓄積する第６のステップと、前記分離されたビットストリーム毎に１つずつ設けられた復号化手段において、前記復号開始信号が入力されると、前記分離された復号する画像データを含むビットストリーム中に含まれる復号開始時刻情報と、前記基準時刻とを比較し、前記復号開始時刻情報が前記基準時刻よりも小さい場合に、各復号化手段に対応する前記入力バッファに蓄積された画像データの復号を開始する第７のステップと、前記第７のステップで復号された複数の画像を合成する第８のステップと、を備えたことを要旨とする画像復号化方法である。
【００１２】
また本発明は、符号化された画像データを含むビットストリームを入力し、前記ビットストリーム中に含まれる基準時刻情報に基づいて基準時刻とシステムクロックを再生し、前記画像データを復号化する復号化装置において、前記ビットストリームが複数個多重された多重化ビットストリームを入力し、前記多重化ビットストリームから復号する画像データを含むビットストリームを１つ以上分離する分離手段と、前記分離されたビットストリーム毎に１つずつ設けられ、前記分離されたビットストリーム毎に該ビットストリームに含まれる画像データを蓄積する１つ以上の入力バッファと、前記多重化ビットストリームから、復号する画像データを含むビットストリームのそれぞれに含まれる基準時刻情報を抽出する抽出手段と、前記抽出手段で抽出された前記基準時刻情報の中から、マスタとなる画像データを含むビットストリームの基準時刻情報を選択する選択手段と、前記選択手段で選択された基準時刻情報を用いてシステムクロックを再生するクロック再生手段と、前記復号する画像データを含むビットストリーム中に含まれる基準時刻情報と前記再生されたシステムクロックとを用いて、前記分離された画像を復号化する際に用いる基準時刻を再生する基準時刻再生手段と、前記再生されたシステムクロックを用いて前記分離された各ビットストリームに共通である復号開始信号を生成する復号開始信号生成手段と、前記分離されたビットストリーム毎に１つずつ設けられ、前記復号開始信号が入力されると、前記分離された復号する画像データを含むビットストリーム中に含まれる復号開始時刻情報と、前記基準時刻とを比較し、前記復号開始時刻情報が前記基準時刻よりも小さい場合に、対応する前記入力バッファに蓄積された画像データの復号を開始する１つ以上の復号化手段と、前記復号化手段で復号された複数の画像を合成する合成手段と、を備えたことを要旨とする画像復号化装置である。
【００１３】
また本発明においては、前記復号開始信号は、前記システムクロックを用いて生成され、マスタとなる画像信号中に含まれる復号開始時刻情報に依存しない表示系の同期信号に同期した信号とすることができる。
【００１４】
また本発明においては、前記入力バッファとして確保される容量は、データ中に含まれる復号開始時刻情報を基準に復号を開始する際に必要とされるデータ量よりも、マスタとなる画像データの１フレーム時間分に入力される最大のデータ量分以上、多くする必要がある。
【００１５】
（作用）
上記構成による本発明によれば、符号化された画像データを含むビットストリームが多重化された多重化ビットストリームから分離された復号対象の１つ以上のビットストリームをそれぞれ入力バッファに蓄積し、各ビットストリーム共通の共通復号開始信号によって各入力バッファに対応したそれぞれの復号器が画像データを復号化するので、各復号器から出力される画像のタイミングが一致し、複数の画像を一つの表示画面に合成するために待ち合わせる出力バッファが不要となり、直接合成部で合成することができる。
【００１６】
また、マスタとなる画像データを含むストリームを切り替えても同期信号は位相が乱れないので、マスタ切り替え時の表示画像の乱れを防止することができる。
【００１７】
【発明の実施の形態】
次に図面を参照して、本発明の実施の形態を詳細に説明する。
本実施形態では、ＭＰＥＧで符号化された動画像信号を４つ（以下ｃｈ１〜ｃｈ４と略す）多重化したトランスポートストリームを入力し、これらすべての画像信号を復号化して出力する場合を例に説明する。
【００１８】
図１は、本発明に係る画像復号化装置の実施形態の構成を示すブロック図である。図１において、画像復号化装置は、トランスポートストリームから符号化画像データストリームを分離する分離手段であるデマルチプレクサ（以下、ＤＥＭＵＸと略す）１０１と、ＤＥＭＵＸ１０１に含まれ、各チャンネルの基準時刻情報であるＰＣＲ（プログラム・クロック・参照値）を分離し抽出するＰＣＲ抽出部１０２と、各ＰＣＲを用いて各チャンネルの基準時刻を再生するＳＴＣカウンタ１０３〜１０６と、４チャンネルのＰＣＲ及びＳＴＣカウンタからマスタとなるＰＣＲ及びＳＴＣカウンタを選択するマスタ選択手段であるＰＣＲセレクタ１２０及びＳＴＣセレクタ１２１と、ＤＥＭＵＸ１０１により分離された各チャンネル毎の画像データビットストリームを蓄積する入力バッファ１０７〜１１０と、マスタとして選択されたＰＣＲとＳＴＣカウンタの値を比較する比較器１２３と、ローパスフィルタ（ＬＰＦ）１２４と、システムクロックを発生する電圧制御発振器（ＶＣＯ）１２５と、システムクロックに基づいて表示用同期信号及び各チャンネルに共通の復号開始信号を発生する同期信号発生部１２６と、復号開始信号を受けてそれぞれの入力バッファ１０７〜１１０に蓄積された符号化画像データの復号を開始させる復号化制御部１１１〜１１４と、復号化制御部１１１〜１１４の制御により各チャンネルの符号化画像データの復号を開始する復号器１１５〜１１８と、４チャンネルの復号結果を合成する合成部１１９と、を備えている。
【００１９】
なお、ＳＴＣセレクタ１２１により選択されたマスタとなるＳＴＣカウンタ、比較器１２３、ＬＰＦ１２４及びＶＣＯ１２５は、システムクロック再生手段であるＰＬＬ（フェーズロックループ）を形成し、選択されたＳＴＣカウンタからはマスタとなる画像を復号化する際に用いる基準時刻、ＶＣＯ１２５からは、各チャンネル共通に利用されるシステムクロックが得られる。
【００２０】
また図２は、復号器１１５の内部構成を示すブロック図である。図１の復号器１１５〜１１８の４つの復号器は、互いに等しく従来のＭＰＥＧ復号器と同様であるので、復号器１１５を例に図示している。図２において、復号器１１５は、可変長復号部１４１と、逆量子化部１４２、逆ＤＣＴ部１４３、動き補償部１４４、デコードメモリ１４６、出力フィルタ部１４５を備えている。図１の入力バッファ１０７に蓄積された符号化画像データは、可変長符号化部１４１に入力される。また復号化制御部１１１からの復号化の制御は、復号器１１５全体が受ける。
【００２１】
次に、図１の画像復号化装置の動作を説明する。入力されたトランスポートストリームは、ＤＥＭＵＸ１０１によりトランスポートストリーム中のパケット識別情報（ＰＩＤ）に基づいて４チャンネルの符号化画像データストリームに分離され、各チャンネル毎に設けられた入力バッファ１０７〜１１０に蓄積され、各チャンネル毎に復号器１１５〜１１８で復号化される。
【００２２】
ここで、ｃｈ１の画像信号はＳＴＣカウンタ１０３を基準時刻とし、復号器１１５を用いて復号化を行うものとする。以下同様に、ｃｈ２の画像信号はＳＴＣカウンタ１０４を基準時刻とし、復号器１１６を用いて復号化、ｃｈ３の画像信号はＳＴＣカウンタ１０５を基準時刻とし、復号器１１７を用いて復号化、ｃｈ４の画像信号はＳＴＣカウンタ１０６を基準時刻とし、復号器１１８を用いて復号化を行うものとする。
【００２３】
また、入力されたビットストリームからＰＣＲ抽出部１０２を用いて各ｃｈ毎のＰＣＲが抽出され、各ＳＴＣカウンタ１０３〜１０６に送られる。
【００２４】
最初にマスタストリームをｃｈ１とした時のシステムクロックと基準時刻（ＳＴＣ）を再生する動作を説明する。ＤＥＭＵＸ１０１に入力されたビットストリームから、ＰＣＲ抽出部１０２を用いてｃｈ１のストリーム中に含まれるＰＣＲ情報を抽出し、ＳＴＣカウンタ１０３にＰＣＲの値を送る。ＳＴＣカウンタ１０３はｃｈ１のストリームを受信し、最初のＰＣＲを受け取ると、この値をカウンタにロードし、ＶＣＯ１２５から出力されるシステムクロックを用いて各ＳＴＣカウンタ１０３〜１０６を動作させる。
【００２５】
次に再びＰＣＲ抽出部１０２でｃｈ１のＰＣＲが抽出されると、マスタストリーム選択手段であるＰＣＲセレクタ１２０及びＳＴＣセレクタ１２１を介して、抽出されたｃｈ１のＰＣＲ値とＳＴＣカウンタ１０３でカウントしているｃｈ１のＳＴＣカウント値が比較器１２３、ＬＰＦ１２４、ＶＣＯ１２５で構成されるＰＬＬに出力され、ｃｈ１のストリームにロックしたシステムクロックが再生される。以下同様にＰＬＬに差分値が反映されることで安定したシステムクロックが再生され続ける。
【００２６】
ここで、マスタストリームを他のチャンネルに変更した場合の動作は、マスタストリームを変更した直後に検出されたＰＣＲの値をＳＴＣカウンタにロードし、変更直後の差分値を０とすることで、システムクロックの急激な周波数変化を避けることができる。
【００２７】
一方、マスタストリーム以外のスレーブストリームであるｃｈ２,ｃｈ３,ｃｈ４のストリームに関しては、ＰＣＲ抽出部１０２で、各スレーブストリーム中に含まれるＰＣＲ情報が抽出され、各ｃｈに対応したＳＴＣカウンタ１０４、１０５、１０６にＰＣＲの値を送る。各ＳＴＣカウンタ１０４〜１０６は、送られてきたＰＣＲ値をそれぞれのカウンタにロードし、ＶＣＯ１２５から出力されるマスタストリームにロックしたシステムクロックを用いてカウンタを動作させる。すなわちスレーブストリームに割り当てられたＳＴＣカウンタは、ＰＣＲが抽出される度に、ＳＴＣカウンタの値を抽出されたＰＣＲ値に書き換えながらカウント動作を行う。
【００２８】
次にマスタストリームに同期したシステムクロックから復号開始信号を生成する動作を説明する。ＶＣＯ１２５から出力されるシステムクロックを同期信号発生部１２６に送り、このシステムクロックをカウンタや分周器などで分周することにより、復号開始信号、垂直・水平の表示用同期信号を生成する。
【００２９】
本来であれば、この復号開始信号はマスタストリーム中に含まれる復号開始時刻情報（ＤＴＳ）と一致するように制御すべきであるが、本発明ではＤＴＳを用いず、表示系が一意に決められる位相で復号開始信号をシステムクロックを用いて生成する。
【００３０】
従って、図３に示すようにマスタストリームをｃｈ１からｃｈ２に変更した場合でも、各ｃｈに含まれる復号開始情報の位相に関わらず常に一定の位相で復号開始信号を生成する。また、この復号開始信号の周期はマスタストリームのフレームレートと一致させる、即ち、マスタストリームを変更したら復号開始信号の周期も変更したマスタストリームのフレームレートに変更することは言うまでもない。
【００３１】
次に、各復号器での復号開始動作を説明する。上述したような方法で生成された各チャンネルに共通の復号開始信号が復号化制御部１１１〜１１４に入力されると、このタイミングでそれぞれのＳＴＣカウンタ１０３〜１０６の値とストリーム中のＤＴＳの値を比較する。
【００３２】
この比較結果、ＤＴＳの値がＳＴＣカウンタの値よりも小さければ、この復号開始信号のタイミングで現在のフレームの復号化を対応する復号器に開始させる。ここでＤＴＳの値がＳＴＣカウンタの値よりも１フレーム分以上小さい場合には、ＤＴＳの値がＳＴＣカウンタの値よりも大きいフレームまで復号をスキップすることはいうまでもない。
【００３３】
ＤＴＳの値の方が大きければ、次の復号開始信号が入力されるまで復号動作を停止させる。また、ＤＴＳが含まれていないフレームのデータであった場合には、ＤＴＳの値がＳＴＣカウンタの値よりも小さいと判断されたのと同様に、入力された復号開始信号のタイミングでフレームの復号化を開始させる。
【００３４】
ここで、各ｃｈのデータを本来の復号開始時刻情報（ＤＴＳ）とは異なる復号開始時刻で開始する（図３参照）ために、各ｃｈの復号器１１５〜１１８は本来のＤＴＳ時間よりも、最大、マスタとなる画像データの１フレーム時間分復号開始時刻が遅れるため、本来のＤＴＳ時間で復号化を開始する場合に持つべき入力バッファ量よりも、マスタとなる画像データの１フレーム時間分に入力される最大のデータ量分以上多く、それぞれの入力バッファ１０７〜１１０を持つ必要がある。
【００３５】
このようにして同一タイミングで復号化を開始した複数のｃｈの画像データは、それぞれの復号器１１５〜１１８の出力に同期あわせ用の出力バッファを持たずに、例えば合成部１１９を介して１画面に合成して出力することができる。
【００３６】
また、表示用の垂直・水平同期信号は、マスタとなる符号化画像データストリーム中に含まれる復号開始時刻情報によらず、システムクロックに基づいて同期信号発生部により発生されるので、マスタを切り替えても表示系の同期信号の位相は影響を受けることがないので、マスタ切り替え時の画面の乱れが生じることがない。
【００３７】
【発明の効果】
以上説明したように本発明によれば、マスタストリームから再生したシステムクロックを用いて各符号化画像データに共通の復号開始信号を生成することで、複数の画像データを同時に復号化してマルチウィンドウ表示している際に、マスタストリームとして選択されるチャンネルを切り替えても同期信号の位相が乱れることがないので、表示画面が乱れることがなくなる。
【００３８】
また本発明によれば、従来の復号装置が備えていた入力バッファと出力バッファのうち、出力画像の時刻合わせのための出力バッファが不要となるので、入力バッファと出力バッファとの容量和においてもバッファ容量を削減することが可能となり、復号化装置のハードウェア量を削減し、その小型化、高信頼化、低電力化が可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態における復号化装置の構成を示すブロック図である。
【図２】実施形態に用いられる復号器の構成を示す詳細ブロック図である。
【図３】実施形態の動作を説明する復号化タイミング図である。
【図４】従来の復号化装置の構成を示すブロック図である。
【図５】従来例の動作を説明する復号化タイミング図である。
【符号の説明】
１０１…デマルチプレクサ、１０２…ＰＣＲ抽出部、１０３、１０４、１０５、１０６…ＳＴＣカウンタ、１０７、１０８、１０９、１１０…入力バッファ、１１１、１１２、１１３、１１４…復号化制御部、１１５、１１６、１１７、１１８…復号器、１１９…合成部、１２０…ＰＣＲセレクタ、１２１…ＳＴＣセレクタ、１２３…比較器、１２４…ＬＰＦ、１２５…ＶＣＯ、１２６…同期信号発生部。
【図１】
0003830645.tif 000002
【図２】
0003830645.tif 000003
【図３】
0003830645.tif 000004
【図４】
0003830645.tif 000005
【図５】
0003830645.tif 000006