(57)【特許請求の範囲】
【請求項１】
フレーム画像の相関を利用して予測符号化により圧縮されて得られる圧縮画像データをフレーム時間毎に伝送する際に、フレーム時間毎に伝送されるフレーム画像の圧縮画像データを復号化するために必要なフレーム画像の圧縮画像データを上記フレーム時間毎に伝送される圧縮画像データと同じフレーム時間内で同時に伝送する
ことを特徴とする圧縮画像データ伝送方法。
【請求項２】
上記フレーム画像の圧縮画像データは、Ｉピクチャデータ、Ｐピクチャデータ及びＢピクチャデータである
ことを特徴とする請求の範囲第１項に記載の圧縮画像データ伝送方法。
【請求項３】
フレーム画像の相関を利用して予測符号化により圧縮されて得られる圧縮画像データをフレーム時間毎に伝送する圧縮画像データ伝送装置であって、
上記圧縮画像データを一時的に保持するメモリと、
フレーム時間毎に伝送されるフレーム画像の圧縮画像データを復号化するために必要なフレーム画像の圧縮画像データをメモリから読み出して上記フレーム時間毎に伝送される圧縮画像データと同じフレーム時間内で同時に伝送する制御手段と
を有することを特徴とする圧縮画像データ伝送装置。
【請求項４】
フレーム画像間の相関を利用して予測符号化により圧縮されて得られる第１及び第２の圧縮画像データがフレーム時間毎に入力され、上記第１及び第２の圧縮画像データのフレーム画像毎の予測符号化の種類を判定するデコーダと、
上記第１及び第２の圧縮画像データをそれぞれ一時的に保持する第１及び第２のメモリと、
切換信号及び上記デコーダによって判定された第１及び第２の圧縮画像データの上記予測符号化の種類に基づいて、上記第１及び第２のメモリからの上記第１及び第２の圧縮画像データの読み出しを制御する制御手段と、
上記切換信号に基づいて、上記第１及び第２のメモリから読み出された第１及び第２の圧縮画像データを切り換えて出力する切換手段と
を有し、
上記制御手段は、少なくとも上記切換点の直後の上記第１又は第２の圧縮画像データのフレーム時間内に、そのフレーム時間内のフレーム画像の圧縮画像データを復号する際に必要なフレーム画像の圧縮画像データを付加するように上記メモリから読み出し制御する
ことを特徴とする圧縮画像データ伝送装置。
【請求項５】
上記制御手段は、切り換えられる上記第１及び第２の圧縮画像データの各フレーム時間のフレーム画像の圧縮画像データを復号化するために必要なフレーム画像の圧縮画像データを切り換えられた２つの系列の各データ列に入れる
ことを特徴とする請求の範囲第４項に記載の圧縮画像データ伝送装置。
【発明の詳細な説明】
技術分野
本発明は、圧縮された画像データの複数の系列を伝送する圧縮画像データ伝送方法及び装置に関する。
背景技術
従来、画像データの圧縮を効率良く行うために、各フレームの画像を、Ｉピクチャ(Intra-coded Picture：画像内符号化又はイントラ符号化画像)、Ｐピクチャ(Predictive coded Picture：前方予測符号化画像)及びＢピクチャ(Bidirectionally predictive coded Picture：両方向予測符号化画像)の３種類のいずれかのピクチャとし、これらの３つのピクチャのフレーム画像を組み合わせて、画像データを圧縮符号化する方法が用いられている。Ｉピクチャのデータは、そのフレーム画像のみによって圧縮された画像データであり、Ｐピクチャのデータは、そのフレーム画像とそのフレーム画像以前でかつ最も近いＩピクチャのフレーム画像とを基に圧縮された画像データであり、Ｂピクチャのデータは、そのフレーム画像とそのフレーム画像の前後でそれぞれ最も近いＩピクチャ又はＰピクチャのフレーム画像の合計３フレームの画像を基に圧縮された画像データである。
例えば、図１に示すような符号化を行ったデータ列をフレーム単位で伝送する場合には、圧縮された画像データは、図２Ａの系列Ａに示すデータ列となる。ここで、この系列Ａのデータ列で示される画像とは異なる画像のデータを圧縮したデータ列を、図２Ｂに示すように、系列Ｂとし、この系列Ａと系列Ｂをフレーム同期させ、第４フレーム目の切換点Ｐで系列Ａから系列Ｂに切り換える場合には、図２Ｃに示す系列Ｃのデータ列を得ることになる。
ところで、図２Ｃに示す系列Ｃ内の切換点Ｐの直後のフレーム画像ＰB-4は、画像データを符号化したときのフレーム画像ＩB-2が欠落しているので、復号化を施すときには正しく復号化されることができない。また、フレーム画像ＰB-4の次のフレーム画像ＢB-5も復号エラーを生じたフレーム画像ＰB-4を使用して復号化が行われることになるので、復号エラーが生じる。復号エラーの発生の仕方は２つの系列間の位相と切換点によって異なるが、上述のように、２つの系列を所定の切換点で切り換える場合には、復号エラーの発生を回避することができない。したがって、通常は圧縮された画像データに復号化を施して、復号化された画像信号の領域で切換を行うが、この場合には、復号化と符号化とを繰り返すので、画質は劣化していく。また、ハードウェア構成が大規模となる。
そこで、本発明は、上述の実情に鑑み、画質が劣化することなく、複数の系列のデータ列の切換を行うことができる圧縮画像データ伝送方法及び装置を提供するものである。
発明の開示
上述した課題を解決するために、本発明に係る圧縮画像データ伝送方法は、フレーム画像の相関を利用して予測符号化により圧縮されて得られる圧縮画像データをフレーム時間毎に伝送する際に、フレーム時間毎に伝送されるフレーム画像の圧縮画像データを復号化するために必要なフレーム画像の圧縮画像データを上記フレーム時間毎に伝送される圧縮画像データと同じフレーム時間内で伝送することを特徴とする。
また、本発明に係る圧縮画像データ伝送装置は、フレーム画像の相関を利用して予測符号化により圧縮されて得られる画像圧縮データをフレーム時間毎に伝送する圧縮画像データ伝送装置であって、上記圧縮画像データを一時的に保持するメモリと、フレーム時間毎に伝送されるフレーム画像の圧縮画像データを複合化するために必要なフレーム画像の圧縮画像データをメモリから読み出して上記フレーム時間毎に伝送される圧縮画像データと同じフレーム時間内で伝送する制御手段とを有することを特徴とする。
また、本発明に係る圧縮画像データ伝送装置は、フレーム画像間の相関を利用して予測符号化により圧縮されて得られる第１及び第２の圧縮画像データがフレーム時間毎に入力され、上記第１及び第２の圧縮画像データのフレーム画像毎の予測符号化の種類を判定するデコーダと、上記第１及び第２の圧縮画像データをそれぞれ一時的に保持する第１及び第２のメモリと、切換信号及び上記デコーダによって判定された第１及び第２の圧縮画像データの上記予測符号化の種類に基づいて、上記第１及び第２のメモリからの上記第１及び第２の圧縮画像データの読み出しを制御する制御手段と、上記切換信号に基づいて、上記第１及び第２のメモリから読み出された第１及び第２の圧縮画像データを切り換えて出力する切換手段とを有し、上記制御手段は、少なくとも上記切換点の直後の上記第１又は第２の圧縮画像データのフレーム時間内に、そのフレーム時間内のフレーム画像の圧縮画像データを復号する際に必要なフレーム画像の圧縮画像データを付加するように上記メモリから読み出し制御することを特徴とする。
ここで、上記制御手段は、切り換えられる上記第１及び第２の圧縮画像データの各フレーム時間のフレーム画像の圧縮画像データを復号化するために必要なフレーム画像の圧縮画像データを切り換えられた２つの系列の各データ列に入れることが好ましい。
なお、上記フレーム画像の圧縮画像データとしては、例えばＩピクチャ（画像内符号化画像）データ、Ｐピクチャ（前方予測符号化画像）データ及びＢピクチャ（両方向予測符号化画像）データが挙げられる。
【図面の簡単な説明】
図１は、フレーム相関を利用した画像圧縮方法を説明するための図である。
図２Ａ、２Ｂ、２Ｃは、圧縮画像データの系列の切換を説明するための図である。
図３Ａ、３Ｂ、３Ｃ、３Ｄは、本発明に係る第１の圧縮画像データ伝送方法を説明するための図である。
図４は、本発明に係る圧縮画像データ伝送装置の具体的な構成を示すブロック図である。
図５Ａ、５Ｂ、５Ｃ、５Ｄは、図３に示す圧縮画像データのメモリへの書込み及び読出しタイミングを示す図である。
図６は、本発明に係る第２の圧縮画像データ伝送方法を説明するための図である。
図７は、圧縮画像データの切換のための概略的な構成を示す図である。
図８Ａ、８Ｂ、８Ｃ、８Ｄ、８Ｅは、図６に示す圧縮画像データのメモリへの書込み及び読出しタイミングを示す図である。
発明を実施するための最良の形態
以下、本発明の好ましい実施例について、図面を参照しながら説明する。図３は、本発明に係る第１の圧縮画像データ伝送方法を説明するための図である。
まず、圧縮された画像データ（以下、圧縮画像データという。）の２つの系列をフレーム単位で切り換えた後に、圧縮画像データを正しく復号化するためには、２つの系列の切換点の前後のフレーム内にそれぞれのフレーム画像を復号化するための全てのデータが含まれていればよい。これによって、画像の劣化を生じることなく２つの系列の切換を行うことが可能である。したがって、各フレーム毎に、そのフレームを復号化するために必要な全てのデータを伝送すれば、任意のフレームにおいて系列の切換が可能となる。また、各フレームにおいて復号化すべきフレーム画像のデータを示す情報を、各フレームの先頭にヘッダとして付加する。
具体的には、図３Ｂに示すように、４フレームを１つのまとまり（グループオブピクチャ）とする図２Ａの系列Ａのデータ列と同様のデータ列を用いる場合に、図３Ｃに示すように、各フレーム毎にそのフレームを復号化するために必要な圧縮画像データのみを伝送するか、若しくは図３Ｄに示すように、各フレーム内に含まれる圧縮画像データの和集合の圧縮画像データを各フレームにコピーして伝送すればよい。
まず、各フレーム毎にそのフレームを復号化するために必要な圧縮画像データのみを伝送する場合について説明する。図３Ｃに示すように、先ず、フレームＦ1ではＩピクチャであるフレーム画像ＩA-1の圧縮画像データが伝送される。このフレーム画像ＩA-1はこのフレーム画像のみで復号化を行うことができるので、フレームＦ1ではフレーム画像ＩA-1のみの圧縮画像データが伝送される。
次に、フレームＦ2ではＢピクチャであるフレーム画像ＢA-2の圧縮画像データが伝送される。このフレーム画像ＢA-2の復号化を行うときには、このフレーム画像ＢA-2に最も近いＩピクチャである前フレームのフレーム画像ＩA-1及び後フレームのＰピクチャであるフレーム画像ＰA-3が必要となるので、フレームＦ2ではフレーム画像ＩA-1、ＢA-2及びＰA-3の３つの圧縮された画像データが伝送される。そして、フレームＦ2の先頭に復号化されるべき圧縮画像データは、Ｂピクチャであることを示す情報を追加する。
さらに、フレームＦ3ではＰピクチャであるフレーム画像ＰA-3の圧縮画像データが伝送される。このフレーム画像ＰA-3の復号化を行うときには、このフレーム画像ＰA-3の前フレームのＩピクチャであるフレーム画像ＩA-1が必要となるので、フレームＦ3ではフレーム画像ＩA-1、ＰA-3の２つの圧縮された画像データが伝送される。そして、フレームＦ3の先頭に復号化されるべき圧縮画像データは、Ｐピクチャであることを示す情報を追加する。
また、フレームＦ4ではＢピクチャであるフレーム画像ＢA-4の圧縮画像データが伝送される。このフレーム画像ＢA-4の復号化を行うときには、このフレーム画像ＢA-4に最も近いＩピクチャである後フレームのフレーム画像ＩA-5及び前フレームのＰピクチャであるフレーム画像ＰA-3が必要となる。ここで、上記フレーム画像ＰA-3を正しく復号化するためにはフレーム画像ＩA-1が必要である。したがって、フレームＦ4ではフレーム画像ＩA-1、ＰA-3、ＢA-4及びＩA-5の４つの圧縮された画像データが伝送される。そして、フレームＦ4の先頭に復号化されるべき圧縮画像データは、Ｂピクチャであることを示す情報を追加する。
このようにして、フレーム毎に復号化を行うために必要な圧縮画像データを同じフレーム内で同時に伝送する。なお、ヘッダデータの代わりに、各フレーム内の圧縮画像データの各先頭位置にそのデータの有効性を示すフラグ付加してもよい。すなわち、各フレーム内で復号化されるべき圧縮画像データを有効データとしてフラグ１を付加し、その他の重複したデータにはフラグ０を付加する。
つぎに、各フレーム内に含まれる圧縮画像データの和集合の圧縮画像データを各フレームにコピーして伝送する場合について説明する。
この場合には、フレームＦ2では、図３ＤのフレームＦ2に示すようにフレーム画像ＩA-1、ＢA-2及びＰA-3の３つの圧縮された画像データが伝送されるが、これらの圧縮画像データをフレームＦ3にもコピーして伝送することにより、フレームＦ3ではフレーム画像ＰA-3を復号化することができる。また、フレームＦ4では図３ＤのフレームＦ4に示すようにフレーム画像ＩA-1、ＰA-3、ＢA-4及びＩA-5の４つの圧縮された画像データが伝送されるが、これらの圧縮画像データをフレームＦ5にもコピーして伝送することにより、フレームＦ5ではフレーム画像ＩA-5を復号化することができる。このようにして、２つのフレームのうちの最初のフレームにおいて同時に伝送される複数フレーム分の圧縮画像データを２番目のフレームにそのままコピーして伝送することにより、伝送するデータ列の生成が容易となる。なお、上述した実施例においては、Ｂピクチャを２フレーム分含む４フレーム分の画像データを１つのまとまり（グループオブピクチャ）としているので、伝送されるデータ列内では２フレームずつにおいて同じフレーム数分の圧縮画像データがコピーされて伝送されるが、１つのまとまり内のＢピクチャのフレーム数がさらに多くなれば、伝送されるデータ列内で同じフレーム数分の圧縮画像データがコピーされるフレーム数もさらに多くなる。
上述の圧縮画像データ伝送方法においては、原理的には、圧縮画像データの送信側は、数フレーム分の圧縮画像データを保存するためのメモリを持ち、このメモリから必要に応じて圧縮画像データを読み出すようにする。例えば、圧縮画像データの送信側が圧縮画像データを記録及び再生するディジタルビデオテープレコーダ（ＤＶＴＲ）である場合、このＤＶＴＲの概略的な構成を図４に示す。
図４の図示しない記録媒体上に書き込まれた圧縮画像データは再生ヘッド７によって読み出された後、再生アンプ８を介して同期情報抽出器９に送られる。この同期情報抽出器９では、送られた圧縮画像データから同期信号及び識別情報等の付加情報が取り出される。この同期信号によって同期が取られた圧縮画像データはエラー訂正復号化器１０に送られる。このエラー訂正復号化器１０では、送られた圧縮画像データに対してエラー訂正が施される。このエラー訂正された圧縮画像データは画像圧縮復号化器１１に送られて復号化すなわち伸長処理され、画像修正回路１２に送られる。この画像修正回路１２では画像の修正が行われ、Ｄ／Ａ（ディジタル／アナログ）変換器１３によってアナログ信号に変換された後に、端子１８を介して出力される。また、端子１９を介してＡ／Ｄ（アナログ／ディジタル）変換器１に入力される画像データのアナログ信号はディジタル信号に変換された後に画像圧縮符号化器２に送られる。この画像圧縮符号化器２では、上記送られた画像データの圧縮符号化が行われ、この圧縮符号化された画像データはエラー訂正符号化器３においてエラー訂正のためのエラー符号が付加される。このエラー訂正された圧縮画像データは、同期情報付加器４に送られて付加情報として同期信号及び識別情報等の付加情報が付加される。この同期情報付加器４から出力される圧縮画像データは記録アンプ５を介して記録ヘッド６に出力され、図示しない記録媒体上に書き込まれる。
また、上記エラー訂正復号化器１０から出力される圧縮画像データは、バッファメモリ１４及びメモリコントロール回路１５にも送られる。上記メモリコントロール回路１５からの制御によって、上記バッファメモリ１４に記憶された圧縮画像データから各フレーム毎のそのフレームを復号化するために必要な数フレーム分の圧縮画像データが取り出され、出力フォーマット符号化器１６に送られる。この出力フォーマット符号化器１６では、送られる圧縮画像データを各フレーム毎に符号化して信号出力端子１７から出力する。
ここで、図４のバッファメモリ１４への圧縮画像データの書込み及び読出しタイミングを図５に示す。
まず、図５Ｂに示す書込みタイミングでは、先ず、４フレーム分の画像データが上記バッファメモリ１４に順次書き込まれる。この後、図３Ｂに示すデータ列の場合には、図５Ｃに示すタイミングで、第５フレームの画像データがバッファメモリ１４に書き込まれると同時に、伝送されるデータ列としてフレームＦ1から順次上記バッファメモリ１４に書き込まれた圧縮画像データが読み出される。また、図３Ｃに示すデータ列の場合には、図５Ｄに示すタイミングで、上記バッファメモリ１４に書き込まれた圧縮画像データが読み出される。
なお、図５Ｃに示す読出しタイミングは、第３フレームの画像データがバッファメモリ１４に書き込まれると同時に、バッファメモリ１４に書き込まれた圧縮画像データを読み出すようにしてもよい。
ここで、図４の信号出力端子１７から出力されるデータ列を受信する受信側はヘッダ情報に基づいて復号されるべきデータと重複データを判別する。この受信側がレコーダであるならば、この受信したデータ列から重複データを除去して記録を行うものであり、また、上記受信側が復号化器であるならば、受信したデータ列の系列通りに復号化を行うものである。
上述した実施例においては、系列の切換ができるように前もって画像データの送信側において圧縮処理を行っている。これに対して、次に、第２の圧縮画像データ伝送方法として、系列の切り換え時に画像データを圧縮処理して、系列の切換点の前後の画像を完全に復号化することができるように、その部分を復号化するために必要な画像データを詰めて伝送する場合を以下に説明する。
図６は、第２の圧縮画像データ伝送方法を説明するための図である。この図６に示す系列Ａ及び系列Ｂは、図２に示す系列Ａ及び系列Ｂと同様の系列である。この圧縮画像データ伝送方法において、この系列Ａ及び系列Ｂを第４フレーム目の切換点Ｐで系列Ａから系列Ｂに切り換える場合には、系列Ｂの切換点Ｐの直後のフレーム画像ＰB-4を復号化するためにフレーム画像ＩB-2及びフレーム画像ＢB-3の圧縮画像データも１フレーム内に含むようにする。
また、第２の圧縮画像データ伝送方法における圧縮画像データの切り換えのための回路の概略的な構成を図７に示す。
先ず、信号入力端子２１からは系列Ａのデータ列が入力され、信号入力端子２２からは系列Ｂのデータ列が入力される。系列Ａのデータ列はデコーダ２３に送られ、また、系列Ｂのデータ列はデコーダ２４に送られて、それぞれのデータ列内の各フレーム画像の圧縮画像データがＩピクチャであるのか、Ｂピクチャであるのか、それともＰピクチャであるのかが判別される。このデコーダ２３、２４から出力されるそれぞれの判別結果はメモリ切換制御部２８に送られる。また、上記デコーダ２３、２４に送られたデータ列はメモリ２５、２６にそれぞれ書き込まれ、記憶される。このとき、上記メモリ２５、２６は遅延回路として機能する。
ここで、上記メモリ切換制御部２８には切換信号入力端子２７から入力される切換信号が送られている。上記メモリ切換制御部２８は、上記送られる切換信号に基づいて上記メモリ２５、２６及び信号選択器２９に対して切換制御信号を出力する。上記メモリ２５、２６からは、上記メモリ切換制御部２８からの切換制御信号に基づいて、記憶されている圧縮画像データが読み出される。この読み出された圧縮画像データは信号選択器２９に送られる。この信号選択器２９では、上記メモリ切換制御部２８からの切換制御信号に基づいて、送られる圧縮画像データを切り換えて出力することにより、信号出力端子３０から系列Ｃのデータ列が出力される。
このときのメモリ２５、２６への圧縮画像データの書込み及び読出しタイミングを図８に示す。
図８Ｂは、メモリ２５への圧縮画像データの書込みタイミングを示し、図８Ｃは、メモリ２５からの圧縮画像データの読出しタイミングを示す。また、図８Ｄは、メモリ２６への圧縮画像データの書込みタイミングを示し、図８Ｅは、メモリ２６からの圧縮画像データの読出しタイミングを示す。すなわち、第４フレーム目の時間Ｑ1で切換信号が入力された場合には、上記メモリ２５、２６から圧縮画像データがそれぞれ読み出され、系列Ａの圧縮画像データが伝送データ列として伝送される。この後、上記切換信号が入力されてから３フレーム後、すなわち第７フレーム目の時間Ｑ2で、図７のメモリ切換制御部２８から信号選択器２９に切換制御信号が送られることになり、伝送データ列は系列Ｂの圧縮画像データであるフレーム画像ＰB-4に切り換えられる。このとき、このフレーム画像ＰB-4を復号化するためのフレーム画像ＩB-2、及びフレーム画像ＢB-3の圧縮画像データもフレーム画像ＰB-4の圧縮画像データと同じフレーム内で伝送される。そして、復号化されるべきデータ（フレーム画像ＰB-4の圧縮画像データ）を示すヘッダデータを各フレームの先頭に付加して送信する。又は、各フレーム内の各データの先頭にそのデータの有効性を示すデータを付加して伝送する。
上述のように、第１の圧縮画像データ伝送方法及び第２の圧縮画像データ伝送方法においては、伝送路で圧縮画像データを切り換えている。
例えば、記録媒体としてディスクを用いるディスクレコーダのように、ランダムアクセスを行うことが可能な記録媒体から圧縮画像データを再生する場合、具体的には、任意のフレーム画像から任意のフレーム画像へジャンプして連続再生を行う場合には、圧縮アルゴリズムのシーケンスが不連続になるため、スイッチングと同様な現象が生じる。したがって、上述の圧縮画像データ伝送方法を用いてデータが不連続になることを回避することができる。
【図１】
0003852114.tif 000002
【図２】
0003852114.tif 000003
【図３Ａ】
0003852114.tif 000004
【図３Ｂ】
0003852114.tif 000005
【図３Ｃ】
0003852114.tif 000006
【図３Ｄ】
0003852114.tif 000007
【図４】
0003852114.tif 000008
【図５Ａ】
0003852114.tif 000009
【図５Ｂ】
0003852114.tif 000010
【図５Ｃ】
0003852114.tif 000011
【図５Ｄ】
0003852114.tif 000012
【図６】
0003852114.tif 000013
【図７】
0003852114.tif 000014
【図８Ａ】
0003852114.tif 000015
【図８Ｂ】
0003852114.tif 000016
【図８Ｃ】
0003852114.tif 000017
【図８Ｄ】
0003852114.tif 000018
【図８Ｅ】
0003852114.tif 000019