(57)【要約】【課題】連続再生できるようにする。【解決手段】符号化処理を実行してから符号化情報を出力するまでのエンコードディレイの最大値を基準にして、エンコードディレイの最大値からエンコードディレイを減算することにより、符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを算出し、算出されるデコードディレイをデコードディレイ情報として、符号化手段により生成される符号化情報とともに伝送する。【選択図】図３
2010220267.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を符号化処理して符号化情報を生成する符号化手段と、
上記符号化処理を実行してから上記符号化情報を出力するまでのエンコードディレイの最大値を基準にして、上記エンコードディレイの最大値から上記エンコードディレイを減算することにより、上記符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを算出する算出手段と、
上記算出手段により算出されるデコードディレイをデコードディレイ情報として、上記符号化手段により生成される符号化情報とともに伝送する伝送手段と
を有する符号化装置。
【請求項２】
上記算出手段は、
上記エンコードディレイの最大値から単位画像情報に対応するエンコードディレイを減算することにより、単位画像情報を符号化した各符号化情報のデコードディレイを算出する
請求項１に記載の符号化装置。
【請求項３】
上記伝送手段は、
上記デコードディレイ情報をヘッダとして上記符号化情報に付加する
請求項１に記載の符号化装置。
【請求項４】
画像情報を符号化処理して符号化情報を生成する符号化ステップと、
上記符号化処理を実行してから上記符号化情報を出力するまでのエンコードディレイの最大値を基準にして、上記エンコードディレイの最大値から上記エンコードディレイを減算することにより、上記符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを算出する算出ステップと、
上記算出ステップで算出されるデコードディレイをデコードディレイ情報として、上記符号化手段により生成される符号化情報とともに伝送する伝送ステップと
を有する符号化方法。
【請求項５】
画像情報が符号化処理された符号化情報と、上記符号化処理を実行してから上記符号化情報を出力するまでのエンコードディレイの最大値を基準にして上記エンコードディレイの最大値から上記エンコードディレイを減算することによって得られる、上記符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを示すデコードディレイ情報とを受け取る受取手段と、
上記受取手段により受け取られるデコードディレイ情報を用いて、上記符号化情報を復号処理して復号画像情報を生成する復号手段と
を有する復号化装置。
【請求項６】
上記復号手段は、
上記デコードディレイ情報に示されるデコードディレイに基づいて、上記復号画像情報の出力時期を調整する
請求項５に記載の復号化装置。
【請求項７】
画像情報が符号化処理された符号化情報と、上記符号化処理を実行してから上記符号化情報を出力するまでのエンコードディレイの最大値を基準にして上記エンコードディレイの最大値から上記エンコードディレイを減算することによって得られる、上記符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを示すデコードディレイ情報とを受け取る受取ステップと、
上記受取ステップで受け取られるデコードディレイ情報を用いて、上記符号化情報を復号処理して復号画像情報を生成する復号ステップと
を有する復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は符号化装置、符号化方法、復号化装置及び復号化方法に関し、例えば複数の単位画像情報が連続してなる画像情報（以下、これを連続画像情報と呼ぶ）を、衛星放送、ケーブルＴＶ若しくはインターネット等のネットワークメディアを介して伝送する際に、又は光ディスク、磁気ディスク若しくはフラッシュメモリ等の記憶メディア上で処理する際に好適なものである。
【背景技術】
【０００２】
近年、連続画像をデジタル情報として取り扱い、その際、効率の高い情報の伝送又は蓄積等を目的とし、当該連続画像情報特有の冗長性を利用して離散コサイン変換等の直交変換や動き補償を用いて符号化（圧縮）するＭＰＥＧ（Moving Picture Experts Group）などの符号化方式に準拠した装置が、放送局や一般家庭等において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ISO/IEC 13818-2）符号化方式は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅するようになされており、プロフェッショナル用及びコンシューマー用途の広範なアプリケーションとして現在広く用いられている。このＭＰＥＧ２符号化方式では、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８〔Ｍｂｐｓ〕、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２〔Ｍｂｐｓ〕の符号量（ビットレート）を割り当てることで、高い符号化効率（圧縮率）と良好な画質の実現が可能である。
【０００４】
かかるＭＰＥＧ２符号化方式は、主として放送用に適合する高画質符号化を対象として用いられていたが、ＭＰＥＧ１符号化方式より低い符号量（ビットレート）、つまりより高い符号化効率の符号化方式には対応していなかった。今後このような符号化方式のニーズは、例えば携帯端末の普及等に伴って高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。そして画像に関するＭＰＥＧ４符号化方式については、１９９８年１２月にISO/IEC 14496-2 としてその規格が国際標準に承認された。
【０００５】
さらに、近年、ＶＣＥＧ団体とＭＰＥＧ団体とのジョイントビデオチームによってＭＰＥＧ４ＡＶＣあるいはＨ．２６４と呼ばれる符号化方式（以下、これをＪＶＴ符号化方式と呼ぶ）が規格化された。このＪＶＴ符号化方式では、ＭＰＥＧ２やＭＰＥＧ４等といった従来の符号化方式に比べ、その符号化又は復号化により多くの演算量が要求されるが、より高い符号化効率が実現されることが知られている。
【０００６】
ここで、上述した各種符号化方式のいずれかに従って符号化処理を実行する符号化装置の概略構成を図８に示す。図８において、符号化装置１００は、画像並べ替えバッファ１０２と、加算器１０３と、直交変換部１０４と、量子化部１０５と、可逆符号化部１０６と、蓄積バッファ１０７と、逆量子化部１０８と、逆直交変換部１０９と、フレームメモリ１１０と、動き予測・補償部１１１と、レート制御部１１２とによって構成される。
【０００７】
この場合、符号化装置１００は、連続画像情報を画像並べ替えバッファ１０２に蓄積し、当該連続画像情報をＧＯＰ（Group of Pictures ）構造に応じて単位画像情報（フレーム又はフィールドのデータ）ごとに並べ替えを行う。
【０００８】
ここで、画像並べ替えバッファ１０２は、連続画像情報のうちイントラ予測符号化を行うべき単位画像情報については、直交変換部１０４に供給する。直交変換部１０４は、この単位画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換処理を施し、得られた直交変換係数を量子化部１０５に供給する。
【０００９】
量子化部１０５は、直交変換部１０４から供給された直交変換係数に対して、レート制御部１１２の制御に応じた量子化処理を施し、得られた量子化情報（量子化された直交変換係数）を可逆符号化部１０６及び逆量子化部１０８に供給する。可逆符号化部１０６は、量子化情報に対して可変長符号化あるいは算術符号化等の可逆符号化処理を施し、得られた符号化情報（符号化された量子化情報）を蓄積バッファ１０７に蓄積する。
【００１０】
逆量子化部１０８は、量子化情報に対して逆量子化処理を施し、得られた直交変換係数を逆直交変換部１０９に供給する。逆直交変換部１０９は、直交変換係数に対して逆直交変換処理を施し、得られた単位画像情報を参照画像情報として必要に応じてフレームメモリ１１０に蓄積する。
【００１１】
一方、画像並べ替えバッファ１０２は、連続画像情報のうちインター予測符号化を行うべき単位画像情報については、動き予測・補償部１１１に供給する。動き予測・補償部１１１は、この単位画像情報と、フレームメモリ１１０より取り出した参照画像情報とを用いて動き予測・補償処理を施し、得られた予測画像情報を加算器１０３に供給する。加算器１０３は、予測画像情報と対応する単位画像情報との差分を差分情報として直交変換部１０４に供給する。
【００１２】
この差分情報は、イントラ符号化の場合と同様にして各種処理が施され、この結果、符号化情報として蓄積バッファ１０７に蓄積されると共に、参照画像情報としてフレームメモリ１１０に必要に応じて蓄積される。
【００１３】
また、動き補償・予測部１１１は、動き予測・補償処理を施すことにより予測画像情報と共に得られる動きベクトル情報を可逆符号化部１０６に供給する。可逆符号化部１０６は、動きベクトル情報に対して可逆符号化処理を施し、得られた符号化動きベクトル情報を対応する符号化情報のヘッダ部として生成する。
【００１４】
このようにして符号化装置１００は、連続画像情報に対して符号化処理を実行することにより単位画像情報ごとに符号化情報を順次生成し、この後、当該符号化情報を蓄積バッファ１０７を介して順次出力するようになされている。
【００１５】
次に、かかる符号化装置１００に対応する符号化方式に従って復号化処理を実行する復号化装置の概略構成を図９に示す。図９おいて、復号化装置１２０は、蓄積バッファ１２１と、可逆復号部１２２と、逆量子化部１２３と、逆直交変換部１２４と、加算器１２５と、画像並べ替えバッファ１２６と、動き予測・補償部１２７と、フレームメモリ１２８とによって構成される。
【００１６】
この場合、復号化装置１２０は、順次入力される符号化情報を蓄積バッファ１２１に一時的に格納した後に可逆復号部１２２に供給する。可逆復号部１２２は、イントラ予測符号化が行われた符号化情報である場合には、当該符号化情報に対して可変長復号又は算術復号等の復号化処理を施し、得られた量子化情報を逆量子化部１２３に供給する。
【００１７】
逆量子化部１２３は、可逆復号部１２２から供給された量子化情報に対して逆量子化処理を施し、得られた直交変換係数を逆直交変換部１２４に供給する。逆直交変換部１２４は、直交変換係数に対して逆直交変換処理を施して、符号化処理前の元の画像情報（以下、これを復元画像情報と呼ぶ）を生成し、これを画像並べ替えバッファ１２６に格納する。
【００１８】
一方、可逆復号部１２２は、インター予測符号化が行われた符号化情報である場合には、この符号化情報及び当該符号化情報のヘッダ部に挿入された符号化動きベクトル情報に対してそれぞれ復号化処理を施し、得られた量子化情報を逆量子化部１２３に供給すると共に、動きベクトル情報を動き予測・補償部１２７に供給する。この量子化情報は、イントラ符号化された符号化情報を復号化する場合と同様にして各種処理が施され、この結果、差分情報として加算器１２５に供給される。
【００１９】
また、動き予測・補償部１２７は、動きベクトル情報とフレームメモリ１２８に格納された参照画像情報とに基づいて予測画像情報を生成し、これを加算器１２５に供給する。加算器１２５は、この参照画像情報と差分情報とを合成し、得られた復元画像情報を画像並べ替えバッファ１２６に格納する。
【００２０】
このようにして復号化装置１２０は、順次入力される符号化情報に対して復号化処理を実行することにより復元画像情報を順次生成し、この後、当該復元画像情報を画像並べ替えバッファ１２６を介して例えば表示部（図示せず）に順次出力するようにして連続再生する。
【発明の概要】
【発明が解決しようとする課題】
【００２１】
ところでＭＰＥＧ２符号化方式では、インター予測符号化対象として、Ｉ(Intra) ピクチャ及びＰ(Predictive)ピクチャのみを用いるよう規定されているため、復号化処理の際における復号化順が一義的に決まってくる。
【００２２】
従って、復号化装置１２０においては、かかるＭＰＥＧ２符号化方式に準拠した各符号化情報に対して復号化処理を実行して生成した復元画像情報を連続再生する場合には、当該復元画像情報の出力時期を画像並べ替えバッファ１２６を介してあえて調整しなくても、当該各復元画像情報に基づく画像を適切に表示部に表示することができる。
【００２３】
これに対してＪＶＴ符号化方式では、インター予測符号化対象として、Ｉ及びＰピクチャに加えてＢ(Bidirectional) ピクチャをも用いることができる等、ＭＰＥＧ２符号化方式に比して予測符号化対象として選択できるピクチャの選択自由度が多く規定されている。
【００２４】
しかしながらＪＶＴ符号化方式では、このような規定に伴って復号化処理の際における復号化順が一義的に決まらないにも係わらず、復元画像情報の出力時期については明確に規定していない。
【００２５】
従って、復号化装置１２０は、かかるＪＶＴ符号化方式に準拠した各符号化情報に対して復号化処理を実行して生成した復元画像情報を連続再生すると、画像並べ替えバッファ１２６のリソースに制限があるので、ある符号化情報に対応する復元画像情報の出力時期であるにも係わらず当該符号化情報を未だ復号化中であるといった事態が発生し、この結果、当該連続性が途切れてしまうという問題があった。
【００２６】
本発明は、このような実状に鑑みてなされたものであり、復号化装置に連続再生させ得る符号化装置、符号化方法、復号化装置及び復号化方法を提供することを目的とする。
【課題を解決するための手段】
【００２７】
かかる課題を解決するため本発明は、符号化装置であって、画像情報を符号化処理して符号化情報を生成する符号化手段と、符号化処理を実行してから符号化情報を出力するまでのエンコードディレイの最大値を基準にして、エンコードディレイの最大値からエンコードディレイを減算することにより、符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを算出する算出手段と、算出手段により算出されるデコードディレイをデコードディレイ情報として、符号化手段により生成される符号化情報とともに伝送する伝送手段とを有する。
【００２８】
また本発明は、符号化方法であって、画像情報を符号化処理して符号化情報を生成する符号化ステップと、符号化処理を実行してから符号化情報を出力するまでのエンコードディレイの最大値を基準にして、エンコードディレイの最大値からエンコードディレイを減算することにより、符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを算出する算出ステップと、算出ステップで算出されるデコードディレイをデコードディレイ情報として、符号化手段により生成される符号化情報とともに伝送する伝送ステップとを有する。
【００２９】
また本発明は、復号化装置であって、画像情報が符号化処理された符号化情報と、符号化処理を実行してから符号化情報を出力するまでのエンコードディレイの最大値を基準にしてエンコードディレイの最大値からエンコードディレイを減算することによって得られる、符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを示すデコードディレイ情報とを受け取る受取手段と、受取手段により受け取られるデコードディレイ情報を用いて、符号化情報を復号処理して復号画像情報を生成する復号手段とを有する。
【００３０】
また本発明は、復号化方法であって、画像情報が符号化処理された符号化情報と、符号化処理を実行してから符号化情報を出力するまでのエンコードディレイの最大値を基準にしてエンコードディレイの最大値からエンコードディレイを減算することによって得られる、符号化情報を復号処理してから復号処理により生成される復号画像情報を出力するまでのデコードディレイを示すデコードディレイ情報とを受け取る受取ステップと、受取ステップで受け取られるデコードディレイ情報を用いて、符号化情報を復号処理して復号画像情報を生成する復号ステップとを有する。
【発明の効果】
【００３１】
本発明によれば、復号化側での復号化処理に最も時間を費やす画像情報を基準に、符号化処理結果として生成される符号化情報が復号化側で順次復号化されることを見越して、復号化処理の開始時期から出力時期までに要すべき期間が算出されるため、ほぼ確実にアンダーフローを発生することなく、各画像情報を連続再生させることができる。
【図面の簡単な説明】
【００３２】
【図１】第１の実施の形態による画像再生システムを示すブロック図である。
【図２】符号制御部の処理内容を示す機能ブロック図である。
【図３】出力時期の算出の説明に供する図表である。
【図４】出力時期通知処理手順を示すフローチャートである。
【図５】第２の実施の形態による画像再生システムを示すブロック図である。
【図６】再出力の制御の説明に供する図表である。
【図７】再出力制御処理手順を示すフローチャートである。
【図８】符号化装置の構成を示すブロック図である。
【図９】復号化装置の構成を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下図面について、本発明の一実施の形態を詳述する。
【００３４】
＜実施例１＞
（１）画像再生システム１の構成
図１において、１は全体として第１の実施の形態による画像再生システムを示し、ＪＶＴ符号化方式に準拠した符号化装置２及び復号化装置３を所定の伝送路を介して互いに接続することにより構成される。
【００３５】
符号化装置２は、図８で上述した符号化装置１００と同一構成でなる符号化部１０と、この符号化部１０の制御を司る符号制御部１１とを有しており、外部から供給された又は内部のＨＤＤ(Hard Disk Drive) 等の記録媒体（図示せず）から読み出した連続画像情報Ｄ１に対して、当該符号制御部１１に制御される符号化部１０を介して、図８で上述した場合と同様にして符号化処理を実行することにより単位画像情報（フレーム又はフィールドのデータ）Ｄ１ａ〜Ｄ１ｎごとに符号化情報Ｄ２（Ｄ２ａ、Ｄ２ｂ、……又はＤ２ｎ）を順次生成し、この後、当該符号化情報Ｄ２を順次出力する。
【００３６】
一方、復号化装置３は、図９で上述した復号化装置１２０と同一構成でなる復号化部２０と、この復号化部２０の制御を司る復号制御部２１とを有しており、伝送路を介して順次入力される符号化情報Ｄ２に対して、当該復号制御部２１に制御される復号化部２０を介して、図９で上述した場合と同様にして復号化処理を実行することにより復元画像情報Ｄ３（Ｄ３ａ、Ｄ３ｂ、……又はＤ３ｎ）を順次生成し、この後、当該復元画像情報Ｄ３を表示部（図示せず）に順次出力するようにして連続再生する。
【００３７】
（２）符号制御部１１の構成
この符号化装置２の符号制御部１１は、予め内部に格納されたＪＶＴ符号化方式に準拠したプログラムやテーブル情報等に基づいて、符号化部１０に入力された連続画像情報Ｄ１に対するＧＯＰ構造や、符号化順等の符号化処理に関する条件（以下、これを符号化条件と呼ぶ）を決定し、この符号化条件に従って符号化部１０を制御する。
【００３８】
かかる構成に加えて、この符号制御部１１においては、符号化情報Ｄ２が復号化側（復号化装置３）で順次復号化されることを見越して、当該符号化情報Ｄ２の復号結果である復元画像情報Ｄ３の出力時期を算出し、この出力時期を、当該復元画像情報Ｄ３を生成する前の復号化装置３に通知する出力時期通知処理を実行するようになされている。
【００３９】
ここで、符号制御部１１における出力時期通知処理の処理内容を機能的に分類すると、例えば図２に示すように、符号化情報Ｄ２に対する復号化処理を実行し始めてから、当該処理により生成された復号画像情報Ｄ３を出力するまでの期間（以下、これをデコードディレイと呼ぶ）を算出するディレイ算出部１１ａと、当該デコードディレイを対応する符号化情報Ｄ２のヘッダとして付加するヘッダ付加部１１ｂとに分類することができる。これらディレイ算出部１１ａ及びヘッダ付加部の処理について、図３に示す例を用いて具体的に説明する。
【００４０】
この図３において、「ＥＩ(Encoder Input) 」の欄は、符号化部１０に入力される各単位画像情報Ｄ１ａ〜Ｄ１ｎを、ＧＯＰ構造に応じて割り当てられたピクチャタイプで表しており、即ち符号化処理前のピクチャタイプの順序を示している。「ＥＯ(Encoder Output)」の欄は、符号化部１０に入力された各単位画像情報Ｄ１ａ〜Ｄ１ｎに対して所定の符号化順に従って符号化処理を実行した結果生成される符号化情報Ｄ２ａ〜Ｄ２ｎのピクチャタイプ表しており、即ち符号化処理後のピクチャタイプの順序を示している。
【００４１】
「Ｅｄ(Encoder Delay) 」の欄は、単位画像情報Ｄ１ａ、Ｄ１ｂ、……又はＤ１ｎに対して符号化処理を実行し始めてから、当該処理により生成された符号化情報Ｄ２を出力するまでの期間（以下、これをエンコードディレイと呼ぶ）をそれぞれ示しており、符号化条件に基づいて算出される。このエンコードディレイ（「Ｅｄ」の欄）に基づいて、符号化情報Ｄ２ａ〜Ｄ２ｎ（「ＥＯ」の欄）の出力時期が必要に応じて調整される。具体的に例えば、Ｉピクチャタイプである最初の単位画像情報Ｄ１ａ（「ＥＩ」欄における「I00」）については、入力されたとき（ｔ＝０）から、符号化情報Ｄ２ａ（「ＥＯ」欄における「I00」）として生成されたときまでの期間が対応するエンコードディレイ（「Ｅｄ」欄における「６」[秒]）に満たない場合には、符号化部１０の蓄積バッファ１０７（図８）への蓄積により調整され、当該エンコードディレイの経過（ｔ＝６）と同時期に出力される。
【００４２】
ディレイ算出部１１ａは、かかるエンコードディレイに基づいて、各符号化情報Ｄ２に対するデコードディレイ（「Ｄｄ(Decoder Delay) 」の欄）を算出するようになされており、当該エンコードディレイ（「Ｅｄ」の欄）のうち、最大のエンコードディレイ（１０[ 秒] ）となる符号化情報Ｄ２（「B13 」）に対するデコードディレイが最小（０[ 秒] ）となるように、各符号化情報Ｄ２ａ〜Ｄ２ｎのデコードディレイを算出する。
【００４３】
具体的にはディレイ算出部１１ａは、エンコードディレイの最大値が１０[ 秒] であるため、この１０[ 秒] から各々の符号化情報Ｄ２ａ〜Ｄ２ｎに対応するエンコードディレイの値を減算することにより、当該符号化情報Ｄ２ａ〜Ｄ２ｎに対するデコードディレイの値（「Ｄｄ」の欄の各項の値）を算出する。
【００４４】
そしてディレイ算出部１１ａは、このようにして算出した各デコードディレイをデコードディレイ情報Ｄ１０として生成し、これをヘッダ付加部１１ｂに送出するようになされている。
【００４５】
ヘッダ付加部１１ｂは、ディレイ算出部１１ａから供給されるデコードディレイ情報Ｄ１０に基づいて、符号化部１０において順次符号化情報Ｄ２が生成されるごとに、対応するデコードディレイをヘッダとして置換することにより当該符号化情報Ｄ２に付加する。
【００４６】
この場合、かかるデコードディレイがヘッダとして付加された例えば符号化情報Ｄ２ａ（「ＥＯ」欄における「I00 」）は、エンコードディレイの経過と同時期に出力され、伝送路を介して復号化装置３に入力される。なお、図３では、説明の便宜上、符号化装置２と復号化装置３との間における伝送路の伝送時間等については考慮せず、復号化装置３における符号化情報Ｄ２の入力時期は、符号化部１０からの符号化情報Ｄ２の出力時期（「ＥＯ」の欄）と同等とみなしている。
【００４７】
そして復号化装置３では、この符号化情報Ｄ２のデコードディレイに基づいて、当該符号化情報Ｄ２の復号結果である復元画像情報Ｄ３の出力時期が調整される。即ち、例えば最初の符号化情報Ｄ２ａのデコードディレイ（「Ｄｄ」欄における４ [秒] ）は、復号化装置３において、当該符号化情報Ｄ２ａに付加されたヘッダに基づいて当該符号化情報Ｄ２ａの復号化処理前に復号制御部２１により認識される。この後、符号化情報Ｄ２ａは、復号化部２０において復元画像情報Ｄ３ａとして生成され、このとき入力時（ｔ＝６）からの経過期間が対応するエンコードディレイ（４[ 秒] ）に満たない場合には、画像並べ替えバッファ１２６（図９）への蓄積により必要に応じて調整され、当該デコードディレイの経過（４ [秒]（ｔ＝１０））と同時期に出力するようにして表示部に表示される。
【００４８】
また残りの符号化情報Ｄ２ｂ〜Ｄ２ｎについても、符号化情報Ｄ２ａと同様にして、復号化部２０において復元画像情報Ｄ３ｂ〜Ｄ３ｎとして生成され、これら復元画像情報Ｄ３ｂ〜Ｄ３ｎは、必要に応じて、画像並べ替えバッファ１２６（図９）において符号化処理前と同じピクチャタイプの順序（「ＤＯ(Decoder Output)」の欄）に並び替えられると共に、対応するエンコードディレイに基づいて出力時期が調整された後に出力され、この結果、連続再生されることとなる。
【００４９】
このようにして符号制御部１１は、出力時期通知処理を実行することにより、符号化情報Ｄ２が復号化装置３で復号化されたことを想定したデコードディレイをヘッダを介して復号化装置３に事前に認識させることができるようになされている。
【００５０】
ここで、上述したような出力時期通知処理は、図４に示す出力時期通知処理手順ＲＴ１に従って順次実行される。
【００５１】
すなわち、符号制御部１１は、例えば符号化処理を実行するための所定の操作が入力部（図示せず）を介して行われると、この出力時期通知処理手順ＲＴ１をステップＳＰ０から開始し、続くステップＳＰ１において符号化条件に基づいて算出されたエンコードディレイのなかから最大のエンコードディレイを認識する（図３において「Ｅｄ」欄の１０ [秒] に相当）。
【００５２】
そして符号制御部１１は、ステップＳＰ２において符号化部１０内の可逆符号化部１０６（図８）に存在する例えば符号化情報Ｄ２ａを蓄積バッファ１０７（図８）に取り込み、ステップＳＰ３において当該取り込みが成功したか否かを判定し、否定結果が得られた場合には、ステップＳＰ２に戻って再度符号化情報Ｄ２ａを取り込む。
【００５３】
これに対して符号制御部１１は、ステップＳＰ２で肯定結果が得られた場合には、続くステップＳＰ３において、ステップＳＰ１で認識したエンコードディレイから、ステップＳＰ２で取り込んだ符号化情報Ｄ２ａに対するエンコードディレイ（図３において「Ｅｄ」欄の６ [秒] に相当）を減算することにより、当該符号化情報Ｄ２ａに対するデコードディレイ（「Ｄｄ」欄の４ [秒] に相当）を算出し、ステップＳＰ４において当該算出したデコードディレイを当該符号化情報Ｄ２ａにヘッダとして付加する。
【００５４】
そして符号制御部１１は、ステップＳＰ５において全ての符号化情報Ｄ２を蓄積バッファ１０７（図８）に取り込んだか否かを判定し、否定結果が得られた場合には、ステップＳＰ２に戻って上述の処理を繰り返し、これに対して肯定結果が得られた場合には、続くステップＳＰ６に移って、この出力時期通知処理手順ＲＴ１を終了する。
【００５５】
このようにして符号制御部１１は、出力時期通知処理手順ＲＴ１に従って出力時期通知処理を実行することができるようになされている。
【００５６】
以上の構成において、この符号化装置２においては、ＪＶＴ符号化方式に従って符号化処理された結果得られる符号化情報Ｄ２が復号化装置３側で復号化されることを見越して、当該符号化情報Ｄ２の復号結果（各復元画像情報Ｄ３）に対する出力時期（デコードディレイ）を算出し、当該算出した出力時期をヘッダとして付加するようにした。
【００５７】
従って、この符号化装置２では、符号化情報Ｄ２が復号化装置３で復号化されたことを想定したデコードディレイをヘッダを介して復号化処理前の復号化装置３に認識させることができるため、復号化順が一義的に決まらないＪＶＴ符号化方式に従って符号化された符号化情報Ｄ２であっても、復元画像情報Ｄ３における出力の連続性を確保することができる。
【００５８】
この場合、符号化装置２においては、符号化処理を実行し始めてから、符号化情報Ｄ２を出力するまでの期間（エンコードディレイ）のうち、最大の期間となる符号化情報Ｄ２（図３中「Ｂ１３」）の復号結果が直ちに出力されるように、各復元画像情報Ｄ３に対する出力時期（デコードディレイ）を算出するようにした。
【００５９】
従って、この符号化装置２では、復号化側での復号化処理に最も時間を費やす符号化情報Ｄ２に対する復号化側での出力時期（エンコードディレイ）を基準に、各符号化情報Ｄ２の復号結果（各復元画像情報Ｄ３）に対する出力時期（デコードディレイ）を算出することができるため、復号化装置３での復号化中のを出力時期を振り分ける（相殺する）ようにしてほぼ確実にアンダーフローを発生することなく調整することができる。
【００６０】
以上の構成によれば、ＪＶＴ符号化方式に従って符号化処理された結果得られる符号化情報Ｄ２が復号化装置３側で復号化されることを見越して、当該符号化情報Ｄ２が復号化された際の各復元画像情報Ｄ３に対する出力時期（デコードディレイ）を算出し、当該算出した出力時期をヘッダとして付加するようにしたことにより、復号化順が一義的に決まらないＪＶＴ符号化方式に従って符号化された符号化情報Ｄ２であっても復元画像情報Ｄ３における出力の連続性を確保することができ、かくして、復号化装置３に連続再生させることができる。
【００６１】
（３）他の実施の形態
なお上述の第１の実施の形態においては、ＪＶＴ符号化方式を適用するようにした場合について述べたが、本発明はこれに限らず、少なくともＢピクチャを予測符号化対象として用いることができるよう規定されたこの他種々の符号化方式を適用することができる。
【００６２】
また上述の第１の実施の形態においては、符号化処理を実行した結果生成される複数の符号化情報Ｄ２が復号化側で順次復号化されることを見越して、当該符号化情報の復号結果に対する出力時期を算出する時期算出手段として、エンコードディレイのうち、最大のエンコードディレイとなる符号化情報Ｄ２の復号結果が直ちに出力されるように、符号化情報の復号結果に対するデコードディレイを算出するようにした場合について述べたが、本発明はこれに限らず、当該デコードディレイに代えて当該符号化情報の復号結果を生成してから出力時期までの期間を算出したり、あるいは復号化側のバッファに蓄積される情報量の占有率を想定した計算結果に基づいて当該符号化情報の復号結果に対するディコードディレイを算出するようにしても良い。かかる計算結果に基づいて出力時期を算出すれば、復号化側に連続再生を確実にさせるような出力時期を算出することができる。
【００６３】
さらに上述の第１の実施の形態においては、対応する符号化情報の復号結果が得られる前に復号化側に出力時期を通知する時期通知手段として、ディレイ算出部１１ａから供給されるデコードディレイ情報Ｄ１０に基づいて、当該出力時期（デコードディレイ）をヘッダとして対応する符号化情報Ｄ２に付加するようにした場合について述べたが、本発明はこれに限らず、例えばヘッダとして付加することなくデコードディレイ情報Ｄ１０を符号化処理前に直接復号化側に出力するようにしても良い。
【００６４】
＜実施例２＞
（１）画像再生システム５１の構成
図１との対応部分に同一符号を付して示す図５において、５１は全体として第２の実施の形態による画像再生システムを示し、ＪＶＴ符号化方式に準拠した符号化装置５２及び復号化装置５３を所定の伝送路を介して互いに接続することにより構成される。
【００６５】
符号化装置５２は、符号化部１０と、この符号化部１０の制御を司る符号制御部６１とを有しており、当該符号制御部６１は、上述した出力時期通知処理を実行しないが、その他については上述の第１の実施の形態の場合と同様である。この場合、符号化装置５２は、連続画像情報Ｄ１に対して、符号制御部６１に制御される符号化部１０を介して符号化処理を実行することにより、デコードディレイがヘッダとして付加されていない符号化情報Ｄ２を順次生成し、この後、当該符号化情報Ｄ２を順次出力する。
【００６６】
一方、復号化装置５３は、復号化部２０と、この復号化部２０の制御を司る復号制御部７１とを有しており、伝送路を介して順次入力される符号化情報Ｄ２に対して、当該復号制御部７１に制御される復号化部２０を介して復号化処理を実行することにより復元画像情報Ｄ３を順次生成し、この後、当該復元画像情報Ｄ３を表示部（図示せず）に順次出力するようにして連続再生する。
【００６７】
（２）復号制御部７１の構成
実際上、この復号化装置５３の復号制御部７１は、順次入力される符号化情報Ｄ２を復号化部２０内の蓄積バッファ１２１（図９）に一時的に蓄積し、当該符号化情報Ｄ２に含まれるヘッダ等に基づいて、当該符号化情報Ｄ２の復号化処理順や、復号化処理の開始時期あるいは等の復号化に関する条件（以下、これを復号化条件と呼ぶ）を把握し、この復号化条件に従って復号化部２０を制御する。
【００６８】
かかる構成に加えて復号制御部７１は、復号化処理された後に画像並べ替えバッファ１２６（図９）に蓄積される復元画像情報Ｄ３の蓄積状態を監視し、当該蓄積状態として破綻（アンダーフロー）を検出したとき、当該検出（破綻）時の直前に出力した復元画像情報Ｄ３を再出力する再出力制御処理を実行するようになされている。この再出力制御処理について、図６に示す例を用いて具体的に説明する。
【００６９】
この図６では、図３と同様に、「ＥＩ」の欄は符号化処理前のピクチャタイプの順序、「ＥＯ」の欄は符号化処理後のピクチャタイプの順序、「ＤＯ」は復号化後のピクチャタイプの順序、「Ｅｄ」の欄はエンコードディレイ、「Ｄｄ」の欄はデコードディレイをそれぞれ示している。またこの図６では、図３と同様に、符号化装置５２と復号化装置５３との間における伝送路の伝送時間等については考慮せず、復号化装置５３における符号化情報Ｄ２の入力時期は、符号化部１０からの符号化情報Ｄ２の出力時期（「ＥＯ」の欄）と同等とみなしている。
【００７０】
そして「Ｓｕｄ(Start-up delay)」の欄は、各符号化情報Ｄ２を入力してから復号化処理を開始し始めるまでの期間（以下、これをスタートアップディレイと呼ぶ）を示しており、このスタートアップディレイは、符号化装置５２において、符号化条件に基づいて符号制御部６１により算出され、ヘッダとして付加されるようになされている。
【００７１】
復号制御部７１は、まず最初の符号化情報Ｄ２ａを入力すると（「ＥＯ」の欄における「I00 」）、当該符号化情報Ｄ２ａに対するスタートアップディレイ（「Ｓｕｄ」の欄における「６」[ 秒] ）に従わず、当該符号化情報Ｄ２ａを直ちに可逆符号化部１２２に送出して復号化処理を開始するように制御する（「Ｄｄ」の欄における「０」[ 秒] ）。この結果、復号制御部７１は、連続再生する際の準備期間（起動時間）を短縮するできるようになされている。
【００７２】
この場合、復号制御部７１においては、かかる制御により生じた本来開始すべき復号処理開始時期との間のずれ期間（調整しなければならない遅延量であり、具体的に図６では６[ 秒] である。以下、当該期間を調整分遅延量と呼ぶ）が発生するので、この調整分遅延量について、符号化情報Ｄ２ａの復号化処理結果である復元画像情報Ｄ３ａを画像並べ替えバッファ１２６を介して出力した後に再出力（「ＤＯ」欄における「ｔ＝８」の項に相当）することにより、当該調整分遅延量の一部（「Ｄｄ」欄における「ｔ＝８」の「２」[ 秒」に相当）を相殺する。
【００７３】
そして復号制御部７１は、符号化情報Ｄ２ａに続いて順次入力される符号化情報Ｄ２ｂ、Ｄ２ｃ……（「ＥＯ」欄における「P01 」、「P02 」……）をスタートアップディレイに従って復号化処理を実行させ、当該復号化処理後に画像並べ替えバッファ１２６（図９）に蓄積される復元画像情報Ｄ３ｂ、Ｄ３ｃ……（「ＤＯ」欄における「P01 」、「P02 」……）の蓄積状態を監視する。
【００７４】
この状態において復号制御部７１は、画像並べ替えバッファ１２６に蓄積される復元画像情報Ｄ３が破綻（アンダーフロー）するごとに（図６では「ｔ＝１８」及び「ｔ＝３０」）、当該破綻時直前に出力した復元画像情報Ｄ３（「ＤＯ」欄における「P05 」及び「P10 」）を再出力することにより、残りの調整分遅延量を定期的に相殺する。
【００７５】
このようにして復号制御部７１は、再出力制御処理を実行することにより、復元画像情報Ｄ３における出力の連続性を確保することができるようになされている。
【００７６】
ここで、上述したような出力時期通知処理は、図７に示す再出力制御処理手順ＲＴ２に従って順次実行される。
【００７７】
すなわち、復号制御部７１は、例えば復号化処理を実行するための所定の操作が入力部（図示せず）を介して行われると、この再出力制御処理手順ＲＴ２をステップＳＰ１０から開始し、続くステップＳＰ１１において最初の符号化情報Ｄ２ａの入力を待ち受け、当該符号化情報Ｄ２ａが入力された場合には、ステップＳＰ１２に移る。
【００７８】
そして復号制御部７１は、このステップＳＰ１２において符号化情報Ｄ２ａに対するスタートアップディレイに従わず直ちに復号化処理を開始させ、続くステップＳＰ１３において当該復号化処理結果である復元画像情報Ｄ３ａを出力させた後に、ステップＳＰ１４において当該復元画像情報Ｄ３ａを再出力させて調整分遅延量の一部を相殺する。
【００７９】
続いて復号制御部７１は、ステップＳＰ１５において次の復元画像情報Ｄ２（Ｄ２ｂ、Ｄ２ｃ、……Ｄ２ｎ）の復号化処理を開始させて当該処理により得られる復元画像情報Ｄ３（Ｄ３ｂ、Ｄ３ｃ、……Ｄ３ｎ）を出力させ、続くステップＳＰ１６において画像並べ替えバッファ１２６（図９）に蓄積される復元画像情報Ｄ３が破綻したか否かを判定し、否定結果が得られた場合、ステップＳＰ１５に戻って上述の処理を繰り返す。
【００８０】
これに対して肯定結果が得られた場合、復号制御部７１は、続くステップＳＰ１７において、ステップＳＰ１５で出力した復元画像情報Ｄ３（「ＤＯ」欄における「P05 」及び「P10 」）を再出力することにより、残りの調整分遅延量の一部（又は全部）を相殺し、続くステップＳＰ１８に移る。
【００８１】
そして復号制御部７１は、このステップＳＰ１８において調整分遅延量が全て相殺されたか否かを判定し、否定結果が得られた場合には、ステップＳＰ１５に戻って上述の処理を繰り返し、これに対して肯定結果が得られた場合には、続くステップＳＰ１９に移って、この再出力制御処理手順ＲＴ２を終了する。
【００８２】
このようにして符号制御部１１は、再出力制御処理手順ＲＴ２に従って再出力制御処理を実行することができるようになされている。
【００８３】
以上の構成において、この復号化装置５３は、ＪＶＴ符号化方式に従って符号化された符号化情報Ｄ２に対して復号化処理を実行した結果順次生成される復元画像情報Ｄ３を画像並べ替えバッファ１２６（図９）に一時的に蓄積し、当該画像並べ替えバッファ１２６（図９）に蓄積される復元画像情報Ｄ３が破綻した場合に、当該破綻時の直前に出力した復元画像情報Ｄ３を再出力するようにした。
【００８４】
従って、この復号化装置５３では、復号化順が一義的に決まらないＪＶＴ符号化方式に従って符号化された符号化情報Ｄ２であっても、復元画像情報Ｄ３における出力の連続性を確保することができる。
【００８５】
この場合、復号化装置５３は、蓄積バッファ１２１（図９）に蓄積した最初の符号化情報Ｄ２ａに定められた復号化開始時期（スタートアップディレイ）に従わず、当該符号化情報Ｄ２ａを直ちに復号化を開始させ、これにより生じた復号化開始時期とのずれ期間（調整分遅延量）を、画像並べ替えバッファ１２６（図９）に蓄積される復元画像情報Ｄ３が破綻した場合に、当該破綻時の直前に出力した復元画像情報を再出力することにより相殺するようにした。
【００８６】
従って、この復号化装置５３では、連続再生する際の準備期間（起動時間）を短縮できると共に、当該短縮により生じたずれ期間（調整分遅延量）を、定期的に分散するようにして緩和しながら復元画像情報における出力の連続性を確保することができる。
【００８７】
以上の構成によれば、ＪＶＴ符号化方式に従って符号化された符号化情報Ｄ２に対して復号化処理を実行した結果順次生成される復元画像情報Ｄ３を画像並べ替えバッファ１２６（図９）に一時的に蓄積し、当該画像並べ替えバッファ１２６（図９）に蓄積される復元画像情報Ｄ３が破綻した場合に、当該破綻時の直前に出力した復元画像情報Ｄ３を再出力するようにしたことにより、復号化順が一義的に決まらないＪＶＴ符号化方式に従って符号化された符号化情報Ｄ２であっても、復元画像情報Ｄ３における出力の連続性を確保することができ、かくして、連続再生することができる。
【００８８】
（３）他の実施の形態
なお上述の第２の実施の形態においては、ＪＶＴ符号化方式を適用するようにした場合について述べたが、本発明はこれに限らず、少なくともＢピクチャを予測符号化対象として用いることができるよう規定されたこの他種々の符号化方式を適用することができる。
【００８９】
また上述の第２の実施の形態においては、各符号化情報と、当該符号化情報に対する復号化処理の結果順次生成される復元画像情報とを一時的に蓄積する蓄積手段として、蓄積バッファ１２１と、並べ替えバッファ１２６とを別々に用いるようにした場合について述べたが、本発明はこれに限らず、当該蓄積バッファ１２１及び並べ替えバッファ１２６共用するようにしても良い。この場合、バッファの数や蓄積の態様については適宜変更することができる。
【００９０】
また上述の第２の実施の形態においては、出力制御手段としての復号制御部７１により、蓄積バッファ１２１（図９）に蓄積した最初の上記符号化情報Ｄ２ａに定められた復号化開始時期（スタートアップディレイ）に従わず、当該符号化情報Ｄ２ａを直ちに復号化を開始させ、これにより生じた上記復号化開始時期のずれ期間（調整分遅延量）を、画像並べ替えバッファ１２６（図９）に蓄積される復元画像情報Ｄ３が破綻した場合に、当該破綻時の直前に出力した上記復元画像情報を再出力することにより相殺するようにした場合について述べたが、これに加えて、当該蓄積バッファ１２１に蓄積された各符号化情報Ｄ２ａ〜Ｄ２ｂの蓄積順序（すなわち「ＥＯ」の欄に相当）が当該符号化される前の順序（すなわち「ＥＩ」の欄に相当）と異なっていた場合（例えば図６中「ｔ＝３２」の項に相当）には、その異なっていた符号化情報Ｄ２に対応する復元画像情報Ｄ３を再出力するようにしても良い。このようにすれば、かかる順序が異なる場合に最も増大するデコードディレイを、再出力により補完でき、復元画像情報Ｄ３における出力の連続性を一段と確保することができる。
【産業上の利用可能性】
【００９１】
本発明は、連続画像情報を、衛星放送、ケーブルＴＶ若しくはインターネット等のネットワークメディアを介して伝送する際に、又は光ディスク、磁気ディスク若しくはフラッシュメモリ等の記憶メディア上で処理する際に利用可能である。
【符号の説明】
【００９２】
１、５１……画像再生システム、２、５２……符号化装置、３、５３……復号化装置、１０……符号化部、１１、６１……符号制御部、１１ａ……ディレイ算出部、１１ｂ……ヘッダ付加部、２０……復号化部、２１、７１……復号制御部。
【図１】
2010220267.tif 000003
【図２】
2010220267.tif 000004
【図３】
2010220267.tif 000005
【図４】
2010220267.tif 000006
【図５】
2010220267.tif 000007
【図６】
2010220267.tif 000008
【図７】
2010220267.tif 000009
【図８】
2010220267.tif 000010
【図９】
2010220267.tif 000011