(57)【特許請求の範囲】
【請求項１】
復号装置が表示時刻に対応する時刻に復号するピクチャを符号化する符号化装置において、
ランダムアクセスを可能にするピクチャ群の中で最初に表示されるピクチャの表示時刻以降で最初に復号されるピクチャを検出する第１の検出処理と、
前記ピクチャ群の中で、第ｍ番目に表示されるピクチャを検出する第２の検出処理と、
前記ピクチャ群の中で、前記第１の検出処理により検出された前記ピクチャから第ｍ番目に復号されるピクチャを検出する第３の検出処理と、
前記第１の検出処理により検出された前記ピクチャから前記第３の検出処理により検出された前記ピクチャまでのピクチャ列に、前記第２の検出処理により検出された前記ピクチャが含まれているかを判定する判定処理と、
前記判定処理により、前記第２の検出処理により検出された前記ピクチャが前記ピクチャ列に含まれていないと判定された場合に、前記ピクチャ群を構成するピクチャの符号化順を変更することにより、前記第３の検出処理により検出された前記ピクチャが復号されるまでに、前記第２の検出処理により検出されたピクチャを復号する符号化処理と
を実行する符号化部
を備える符号化装置。
【請求項２】
復号装置が表示時刻に対応する時刻に復号するピクチャを符号化する符号化方法において、
ランダムアクセスを可能にするピクチャ群の中で最初に表示されるピクチャの表示時刻以降で最初に復号されるピクチャを検出する第１の検出処理と、
前記ピクチャ群の中で、第ｍ番目に表示されるピクチャを検出する第２の検出処理と、
前記ピクチャ群の中で、前記第１の検出処理により検出された前記ピクチャから第ｍ番目に復号されるピクチャを検出する第３の検出処理と、
前記第１の検出処理により検出された前記ピクチャから前記第３の検出処理により検出された前記ピクチャまでのピクチャ列に、前記第２の検出処理により検出された前記ピクチャが含まれているかを判定する判定処理と、
前記判定処理により、前記第２の検出処理により検出された前記ピクチャが前記ピクチャ列に含まれていないと判定された場合に、前記ピクチャ群を構成するピクチャの符号化順を変更することにより、前記第３の検出処理により検出された前記ピクチャが復号されるまでに、前記第２の検出処理により検出されたピクチャを復号する符号化処理と
を含む符号化方法。
【請求項３】
復号装置が表示時刻に対応する時刻に復号するピクチャを符号化する符号化装置を制御するプロセッサに実行させるプログラムにおいて、
ランダムアクセスを可能にするピクチャ群の中で最初に表示されるピクチャの表示時刻以降で最初に復号されるピクチャを検出する第１の検出処理と、
前記ピクチャ群の中で、第ｍ番目に表示されるピクチャを検出する第２の検出処理と、
前記ピクチャ群の中で、前記第１の検出処理により検出された前記ピクチャから第ｍ番目に復号されるピクチャを検出する第３の検出処理と、
前記第１の検出処理により検出された前記ピクチャから前記第３の検出処理により検出された前記ピクチャまでのピクチャ列に、前記第２の検出処理により検出された前記ピクチャが含まれているかを判定する判定処理と、
前記判定処理により、前記第２の検出処理により検出された前記ピクチャが前記ピクチャ列に含まれていないと判定された場合に、前記ピクチャ群を構成するピクチャの符号化順を変更することにより、前記第３の検出処理により検出された前記ピクチャが復号されるまでに、前記第２の検出処理により検出されたピクチャを復号する符号化処理と
を含むプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置および方法、並びにプログラムに関し、デコード側において表示
待ちが生じないようにピクチャを符号化することができる符号化装置および方法、並びに
プログラムに関する。
【背景技術】
【０００２】
第１図を参照して、動画像圧縮技術符号化標準であるＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）規格での、エンコードおよびデコードの関係を簡単に説明する。
【０００３】
エンコーダ２は、ビデオカメラ１等により取り込まれたビデオ信号を、双方向動き補償フレーム間予測の原理に基づいて符号化し、ビットストリームを生成する。
【０００４】
デコード側のバッファ５がオーバフローしたりアンダフローして破綻してしまうと、ビットストリームを正しく復号することができなくなるので、エンコーダ２は、このバッファ５を破綻させないように、ビットストリームを生成する必要がある。
【０００５】
そこでこれを実現するために、符号化において、仮想のバッファを含むデコーダ６の振る舞いを仮想的にモデル化した仮想デコーダという概念が導入されている。仮想デコーダには、デコードされる前のビットストリームを保存するバッファ（ＣＰＢ：Ｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）と、デコードされたピクチャを保存するバッファ（ＤＰＢ：Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）の２個のバッファが規定されている。ＣＰＢとＤＰＢのバッファサイズは、レベルに応じて規定されている。
【０００６】
例えば、ビデオデータの１フレームまたは１フィールドのピクチャをデコード処理単位であるアクセスユニットとすると、アクセスユニットは、予め定められた到着時刻にＣＰＢに入力される。第２図Ａは、ＣＰＢのデコード時刻に対応する時刻である、ＣＰＢリムーバルタイムを表している。アクセスユニットは、ＣＰＢリムーバルタイムで定義された時刻にＣＰＢから瞬時に取り出されて、仮想デコーダによって瞬時にデコードされる。デコードされたピクチャは、ＣＰＢリムーバルタイムの時刻にＤＰＢに入力される。
【０００７】
デコードされてＤＰＢに入力されたピクチャは、表示時刻順に入れ替えられてＤＰＢに保存される。第２図Ｂは、ＤＰＢの表示時刻に対応する時刻であるＤＰＢアウトプットを表している。アクセスユニットは、ＤＰＢアウトプットタイムで定義された時刻にＤＰＢから出力され、表示される。
【０００８】
なおＣＰＢリムーバルタイムおよびＤＰＢアウトプットタイムは、例えば１６ｍｓｅｃ（ｔｃ）間隔で定義されている。
【０００９】
エンコーダ２は、例えばアクセスユニットをペイロードとして、第３図に示すように、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケットを生成する。ＡＶＣのビットストリームでは、ＣＰＢリムーバルタイムやＤＰＢアウトプットタイムは、各ピクチャのヘッダ情報として格納されているため、この場合にはペイロード中に格納される。
【００１０】
ＰＥＳパケットのヘッダ情報には、当該ＰＥＳパケットにランダムアクセスした際にビデオデータ、オーディオデータ、字幕データの同期を取るのために用いられる表示時刻情報（ＰＴＳ：Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）などが格納される。
【００１１】
エンコーダ２は、第２図Ａや第２図Ｂに示すような、ピクチャ毎のＣＰＢリムーバルタイムやＤＰＢアウトプットタイムなどの規則に従って、これらのバッファが破綻しないようにエンコードを行う。実際のデコード処理の際に従うべき規則となるピクチャ毎のＣＰＢリムーバルタイムやＤＰＢアウトプットタイムの値は、第３図のペイロードに格納されるＡＶＣアクセスユニット内に含まれる。
【００１２】
エンコードされたビットストリームは、実際のプレーヤにおいて、第２図Ｃに示す時刻にデコード処理が行われ、第２図Ｄに示す時刻に表示される。実際のデコード処理の際には、第３図のペイロードに格納されるＡＶＣアクセスユニット内に含まれるＤＰＢアウトプットタイムに基づいて、例えば毎秒３０フレームといったように、指定された時間にピクチャを表示していく。ＡＶＣ規格では、ピクチャのヘッダ情報に仮想デコーダのＣＰＢリムーバルタイムおよびＤＰＢアウトプットタイムが記述されている。
【００１３】
なお、第２図Ｃおよび第２図Ｄに示す、実際のデコード処理におけるデコード時刻および表示時刻は、第２図Ａおよび第２図Ｂに示す仮想デコーダのＣＰＢリムーバルタイムおよびＤＰＢアウトプットタイムと同様に、ｔｃ間隔で示されている。
【００１４】
エンコーダ２により生成されたビットストリームは、伝送バッファ３に入力されて蓄積され、例えばトランスポートストリームやプログラムストリームとして伝送路４に出力されたり、図示しない記録媒体に記録されたりする。
【００１５】
伝送路４または図示されない記録媒体を介して伝送されたトランスポートストリームまたはプログラムストリームは、デコーダ側のバッファ５に入力される。デコーダ６は、このバッファ５からビットストリームを取り出して、各ピクチャについて、第２図Ｃに示すように、仮想デコーダによるＣＰＢリムーバルタイムが示すデコード順序（第２図Ａ）と同じ順序（第２図Ａ）で、ＤＰＢアウトプットタイム（第２図Ｂ）に対応する時刻に合わせてデコード処理を行う（非特許文献１「Ｈ．２６４／ＡＶＣ（ＩＳＯ／ＩＥＣ  １４４９６−１０），Ａｎｎｅｘ  Ｃ」参照）。
【発明の概要】
【発明が解決しようとする課題】
【００１６】
ＡＶＣはＭＰＥＧ２等と比較して、ＰＥＳパケットのペイロードに含まれるピクチャの並び順を比較的自由に変更できる。
【００１７】
また、ＡＶＣはＭＰＥＧ２などのように、デコードタイミングでのみ、デコード画像を出力するというＤＴＳとＰＴＳのアラインメントが守られるわけではない為、デコード時刻でのみデコード画像を出力する簡易なデコーダでは制御が難しい。
【００１８】
ここで、フレームをデコードするタイミングでのみ、デコード画像を出力するというデコーダによりデコーダ処理を行う場合を考えると、デコーダ６は、デコード処理の結果得られた画像を、各ピクチャのヘッダ情報に含まれるＤＰＢアウトプットタイム（第２図Ｂ）に応じた時刻に、表示部７に表示する。
【００１９】
このようなデコーダにおいては、例えば所定の周波数で動作するシステムタイムクロック（ＳＴＣ）に基づいて、デコード処理を行うデータのＰＥＳパケットのヘッダ情報に含まれるデコードタイムスタンプ（ＤＴＳ）またはプレゼンテーションタイムスタンプ（ＰＴＳ）を見ながらデコード処理を実行するわけではない。
【００２０】
しかしながら、このようなデコーダにおいても、実際のデコード処理は、上述したように、仮想デコーダにより定められているＣＰＢリムーバルタイムが示す時刻ではなく、ＤＰＢアウトプットタイムが示す時刻に対応する時刻（第２図Ｂ）に、仮想デコーダによるデコードと同じ順序（第２図Ａ）で行われる、そのため、デコード順と表示順が異なるピクチャの復号が、そのピクチャの表示時刻までに行われない場合がある。
【００２１】
例えば、第２図Ｂで第３番目に表示されるピクチャＢ3は、第２図Ａに示すように第４番目にデコードされる。一方、実際のデコード側のピクチャＢ3のデコード時刻は、第２図Ｃに示すように、ピクチャＢ3の表示時刻（第２図Ｄ）の後の、本来第４番目に表示されるピクチャＰ4の表示時刻（第２図Ｂ）に対応する時刻になる。そのため、第２図Ｄに示すように、ピクチャＢ3を、本来の表示時刻（第２図Ｂ）に表示することができなくなる。第２図Ｄ中、第２図ＢのＤＰＢアウトプットタイムに応じて“Ｂ3”が表示されるべき時刻に×が付されているのは、表示されないことを意味している。この場合、実際のデコード処理では、第２図Ｄのように、ピクチャＢ3の表示待ちが生じる。
【００２２】
本発明はこのような状況に鑑みてなされたものであり、デコード側において表示待ちが生じないようにピクチャを符号化することができるようにするものである。
【課題を解決するための手段】
【００２３】
第１の発明は、復号装置が表示時刻に対応する時刻に復号するピクチャを符号化する符号化装置において、ランダムアクセスを可能にするピクチャ群の中で最初に表示されるピクチャの表示時刻以降で最初に復号されるピクチャを検出する第１の検出処理と、ピクチャ群の中で、第ｍ番目に表示されるピクチャを検出する第２の検出処理と、ピクチャ群の中で、第１の検出処理により検出されたピクチャから第ｍ番目に復号されるピクチャを検出する第３の検出処理と、第１の検出処理により検出されたピクチャから第３の検出処理により検出されたピクチャまでのピクチャ列に、第２の検出処理により検出されたピクチャが含まれているかを判定する判定処理と、判定処理により、第２の検出処理により検出されたピクチャがピクチャ列に含まれていないと判定された場合に、ピクチャ群を構成するピクチャの符号化順を変更することにより、第３の検出処理により検出されたピクチャが復号されるまでに、第２の検出処理により検出されたピクチャを復号する符号化処理とを実行する符号化部を備える符号化装置である。
【００２４】
第２の発明は、復号装置が表示時刻に対応する時刻に復号するピクチャを符号化する符号化方法において、ランダムアクセスを可能にするピクチャ群の中で最初に表示されるピクチャの表示時刻以降で最初に復号されるピクチャを検出する第１の検出処理と、ピクチャ群の中で、第ｍ番目に表示されるピクチャを検出する第２の検出処理と、ピクチャ群の中で、第１の検出処理により検出されたピクチャから第ｍ番目に復号されるピクチャを検出する第３の検出処理と、第１の検出処理により検出された前記ピクチャから第３の検出処理により検出されたピクチャまでのピクチャ列に、第２の検出処理により検出されたピクチャが含まれているかを判定する判定処理と、判定処理により、第２の検出処理により検出されたピクチャがピクチャ列に含まれていないと判定された場合に、ピクチャ群を構成するピクチャの符号化順を変更することにより、第３の検出処理により検出されたピクチャが復号されるまでに、第２の検出処理により検出されたピクチャを復号する符号化処理とを含む符号化方法である。
【００２５】
第３の発明は、復号装置が表示時刻に対応する時刻に復号するピクチャを符号化する符号化装置を制御するプロセッサに実行させるプログラムにおいて、ランダムアクセスを可能にするピクチャ群の中で最初に表示されるピクチャの表示時刻以降で最初に復号されるピクチャを検出する第１の検出処理と、ピクチャ群の中で、第ｍ番目に表示されるピクチャを検出する第２の検出処理と、ピクチャ群の中で、第１の検出処理により検出されたピクチャから第ｍ番目に復号されるピクチャを検出する第３の検出処理と、第１の検出処理により検出されたピクチャから第３の検出処理により検出された前記ピクチャまでのピクチャ列に、第２の検出処理により検出されたピクチャが含まれているかを判定する判定処理と、判定処理により、第２の検出処理により検出されたピクチャがピクチャ列に含まれていないと判定された場合に、ピクチャ群を構成するピクチャの符号化順を変更することにより、第３の検出処理により検出されたピクチャが復号されるまでに、第２の検出処理により検出されたピクチャを復号する符号化処理とを含むプログラムである。
【発明の効果】
【００２６】
本発明によれば、ランダムアクセスを可能にするピクチャ群毎に、ピクチャ群を構成するピクチャそれぞれの復号が、そのピクチャの表示時刻までに行われるように、ピクチャの符号化が行われる。よって、デコード側において表示待ちが生じないように動画像を符号化することができる。
【図面の簡単な説明】
【００２７】
【図１】第１図は、エンコードとデコードの一例の関係を示す図である。
【図２】第２図Ａ、第２図Ｂ、第２図Ｃおよび第２図Ｄは、仮想デコーダモデルに基づく符号化装置の動作と、実際のプレーヤにおける動作とを説明する一例のタイミングチャートである。
【図３】第３図は、ＰＥＳパケットのデータ構造を示す図である。
【図４】第４図は、本発明を適用した符号化装置の構成例を示すブロック図である。
【図５】第５図Ａおよび第５図Ｂは、ＲＩＰ単位毎のデコードと表示の順番を説明する図である。
【図６】第６図は、第４図のビデオエンコーダ２６の構成例を示すブロック図である。
【図７】第７図は、第４図の符号化装置の機能的構成例を示すブロック図である。
【図８】第８図は、第４図の符号化装置の動作を説明するフローチャートである。
【図９】第９図Ａおよび第９図Ｂは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャートである。
【図１０】第１０図Ａおよび第１０図Ｂは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャートである。
【図１１】第１１図Ａ、第１１図Ｂ、第１１図Ｃおよび第１１図Ｄは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャートである。
【図１２】第１２図Ａ、第１２図Ｂ、第１２図Ｃおよび第１２図Ｄは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャートである。
【図１３】第１３図Ａ、第１３図Ｂ、第１３図Ｃおよび第１３図Ｄは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャートである。
【図１４】第１４図Ａ、第１４図Ｂ、第１４図Ｃおよび第１４図Ｄは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャートである。
【図１５】第１５図Ａ、第１５図Ｂ、第１５図Ｃおよび第１５図Ｄは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャートである。
【図１６】第１６図Ａ、第１６図Ｂ、第１６図Ｃおよび第１６図Ｄは、第４図の符号化装置により符号化されたピクチャ群の実際のプレーヤにおけるデコード及び表示のタイミングチャートである。
【発明を実施するための形態】
【００２８】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００２９】
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００３０】
以下に、図面を参照して、本発明の実施の形態について説明する。第４図は、本発明を適用した符号化装置１１の構成例を示している。
【００３１】
この符号化装置１１は、Ｈ．２６４／ＡＶＣの規格に準拠して動画像圧縮符号化を行うが、ランダムアクセスを可能とするために、第５図Ａおよび第５図Ｂに示すような所定枚数のピクチャからなる組（以下、ＲＩＰ：Ｒｅｃｏｖｅｒｙ  Ｐｏｉｎｔ  Ｉｎｔｅｒｖａｌ  Ｐｉｃｔｕｒｅｓと称する）内のピクチャの情報のみでデコードが完結する符号化を行う。第５図Ａは、デコードの順番を、第５図Ｂは、表示の順番をそれぞれ示す。
【００３２】
バス２１には、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２２、メモリ２３、ビデオ信号入力インタフェース２４、制御信号入力インタフェース２５、ビデオエンコーダ２６、およびビデオデータ出力インタフェース２７等が接続されている。
【００３３】
ＣＰＵ２２およびメモリ２３は、コンピュータシステムを形成している。即ち、ＣＰＵ２２は、メモリ２３に記憶されたプログラムを実行し、装置全体を制御するとともに、後述する処理を行う。メモリ２３は、ＣＰＵ２２が実行するプログラムを記憶している。また、メモリ２３は、ＣＰＵ２２の動作上必要なデータを一時的に記憶する。なお、メモリ２３は、不揮発性メモリのみ、または揮発性メモリと不揮発性メモリとの組み合わせで構成することが可能である。また、第４図の装置に、ハードディスクを設け、そのハードディスクに、ＣＰＵ２２が実行するプログラムを格納しておく場合には、メモリ２３は、揮発性メモリのみで構成することが可能である。
【００３４】
ここで、ＣＰＵ２２が実行するプログラムは、ディスク、さらには、ディスク以外のフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＭＯ（Ｍａｇｎｅｔｏ  Ｏｐｔｉｃａｌ）ディスク、磁気ディスク、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【００３５】
なお、プログラムは、メモリ２３にあらかじめ記憶させておくこと、あるいは、上述したようなリムーバブル記録媒体から装置にインストールすることができる。また、プログラムは、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、ディスク装置に無線で転送したり、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、ディスク装置に有線で転送し、ディスク装置では、そのようにして転送されてくるプログラムを受信し、内蔵するメモリ２３にインストールすることができる。
【００３６】
さらに、プログラムは、１のＣＰＵにより処理されるものであっても良いし、複数のＣＰＵによって分散処理されるものであっても良い。ビデオ信号入力インタフェース２４は、ＣＰＵ２２の制御の下、ビデオカメラ等から供給されたビデオ信号を入力し、バス２１を介して、ＣＰＵ２２や、メモリ２３、ビデオエンコーダ２６などに供給する。
【００３７】
制御信号入力インタフェース２５は、図示せぬキー（ボタン）や、リモコン（リモートコントロールコマンダ）がユーザに操作されることによって供給される制御信号を入力し、バス２１を介して、ＣＰＵ２２に供給する。なお、制御信号入力インタフェース２５は、その他、例えば、モデム（ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）モデムを含む）や、ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）などの通信インタフェースとしても機能する。
【００３８】
ビデオエンコーダ２６は、ビデオ信号入力インタフェース２４を介して入力されたビデオ信号を符号化し、その結果得られたビデオデータを、バス２１を介して、ＣＰＵ２２に供給する。ビデオデータ出力インタフェース２７は、ＣＰＵ２２によりビデオデータがパケット化されて得られたビデオトランスポートストリームを出力する。
【００３９】
第６図は、ビデオエンコーダ２６の構成例を示している。Ａ／Ｄ変換部３１は、そこに供給されるピクチャをＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換することにより、ディジタル信号に変換して、２−３検出部３２に供給する。なおここではＡ／Ｄ変換部３１には、２−３プルダウンによって得られたＮＴＳＣ方式のピクチャの画像信号が、フィールド単位で供給されるものとする。
【００４０】
２−３検出部３２は、Ａ／Ｄ変換部３１からのピクチャの、２つのフィールド同士の差分であるフィールド間差分情報等を用いて、２−３韻律の検出を行う。即ち、２−３プルダウンでは、映画フィルムの各フレームが、ＮＴＳＣ方式の２フィールドと３フィールドに交互に変換されるので、ＮＴＳＣ方式のピクチャのシーケンスは、映画フィルムの順次走査の１フレームから得られた２フィールドの組と、映画フィルムの順次走査の１フレームから得られた３フィールドの組とが交互に繰り返される、いわば２−３韻律を有する。２−３検出部３２では、この２フィールドの組と３フィールドの組の検出が行われる。
【００４１】
２−３検出部３２は、検出した２フィールドのピクチャの組または３フィールドのピクチャの組から、１フレームの順次走査のピクチャを構成し、画面並べ替えバッファ３に供給する。なお第２図Ａ、第２図Ｂ、第２図Ｃおよび第２図Ｄは、２−３プルダウンされている場合のピクチャの例を示している。すなわち表示時刻の間隔が、３ｔｃの場合と２ｔｃの場合が存在する。
【００４２】
画面並べ替えバッファ３３は、ピクチャを一時的に記憶し、その記憶したピクチャを、あらかじめ決まっている符号化順にしたがって並べ替え、符号化対象の注目ピクチャ（以下、単に「注目ピクチャ」と記述する）として、マクロブロック単位で、加算器３４に供給する。
【００４３】
注目ピクチャが、イントラ符号化されるイントラ符号化ピクチャである場合には、加算器３４は、その注目ピクチャを、そのまま、直交変換部３５に供給する。
【００４４】
また、注目ピクチャが、インター符号化されるインター符号化ピクチャである場合には、加算器３４は、注目ピクチャから、動き予測／補償部４２から供給される予測画像を減算し、直交変換部３５に供給する。
【００４５】
即ち、動き予測／補償部４２は、画面並べ替えバッファ３３に記憶されたピクチャの動きベクトルを検出するとともに、フレームメモリ４１から、既に符号化されて復号された、注目ピクチャの参照画像となるピクチャを読み出し、その参照画像に対して、動きベクトルに基づく動き補償を施すことで、最適な予測モードによる、注目ピクチャの予測画像を生成する。そして、動き予測／補償部４２は、その予測画像を、加算器３４に供給し、加算器３４は、このようにして動き予測／補償部４２から供給される予測画像を、注目ピクチャから減算して、直交変換部３５に供給する。
【００４６】
直交変換部３５は、加算器３４から供給される注目ピクチャ、または注目ピクチャから予測画像を減算した減算結果である差分画像に対して、例えば、離散コサイン変換等の直交変換を施し、その結果得られる変換係数を、量子化部３６に供給する。
【００４７】
量子化部３６は、後述するレート制御部４３からの制御にしたがった量子化ステップで、直交変換部３５からの変換係数を量子化し、その結果得られる量子化係数を、可逆符号化部３７と逆量子化部３９に供給する。
【００４８】
可逆符号化部３７は、量子化部３６からの量子化係数、さらには、動き予測／補償部４２で検出された動きベクトルなどに対して、例えば、可変長符号化や算術符号化等の可逆符号化を施して多重化し、その結果得られる符号化データを、蓄積バッファ３８に供給する。
【００４９】
なお、可逆符号化部３７において、動きベクトルなどは、符号化データの、いわゆるヘッダ部分に挿入される。蓄積バッファ３８は、可逆符号化部３７からの符号化データを一時記憶し、所定のレートで出力する。また、蓄積バッファ３８の符号化データの記憶量は、レート制御部４３に供給されるようになっており、レート制御部４３は、蓄積バッファ３８の記憶量に基づき、蓄積バッファ３８がオーバフローまたはアンダフローしないように、量子化部３６の量子化ステップをフィードバック制御する。
【００５０】
一方、逆量子化部３９は、量子化部３６から供給される変換係数を、量子化部３６における量子化ステップと同一の量子化ステップで逆量子化し、その結果得られる変換係数を、逆直交変換部４０に供給する。逆直交変換部４０は、逆量子化部３９からの変換係数に逆直交変換処理を施し、これにより、元のイントラ符号化ピクチャを復号、または元のインター符号化ピクチャから予測画像を減算した差分画像を復号して、フレームメモリ４１に供給する。
【００５１】
フレームメモリ４１は、符号化ピクチャを復号したものを記憶する。また、フレームメモリ４１においては、差分画像を復号したものに対して、その差分画像を得るのにインター符号化ピクチャから減算した予測画像を、動き予測／補償部４２から得て加算することにより、インター符号化ピクチャを復号して記憶する。
【００５２】
動き予測／補償部４２では、以上のようにしてフレームメモリ４１に記憶されたピクチャを参照画像として、予測画像が生成される。
【００５３】
第７図は、第４図に示すＣＰＵ２２が実行する符号化処理に関する機能的構成例を示している。制御信号入力制御部５１は、制御信号入力インタフェース２５（第４図）を介して入力された指示を、エンコード制御部５３に通知する。
【００５４】
ビデオ信号入力制御部５２は、ビデオ信号入力インタフェース２４（第４図）を介して入力されたビデオ信号を、ビデオエンコーダ２６（第４図）に供給する。エンコード制御部５３は、制御信号入力制御部５１から供給された指令に応じて、各部を制御して、後述するように、ビデオ信号入力インタフェース２４（第４図）を介して入力されたビデオ信号を符号化させる。
【００５５】
ビデオエンコーダ制御部５４は、エンコード制御部５３の制御の下、ビデオエンコーダ２６（第４図）を制御して、ビデオ信号インタフェース２４（第４図）を介して入力されたビデオ信号を符号化させる。
【００５６】
ビデオデータ出力制御部５５は、エンコード制御部５３の制御の下、ビデオデータ出力インタフェース２７（第４図）を制御して、ビデオエンコーダ２６により生成されたビットストリームをパケット化し、その結果得られたトランスポートストリームを出力する。次に、符号化装置１１における符号化処理の動作を、第８図のフローチャートを参照して説明する。なおはじめに符号化処理の概略を説明し、その後具体例に基づいて詳細に説明する。
【００５７】
ステップＳ１において、エンコード制御部５３は、ビデオ信号入力インタフェース２４により入力された順番に応じて、符号化するピクチャの表示時刻を取得する。次にステップＳ２において、エンコード制御部５３は、表示時刻に応じた所定の符号化順を、ビデオエンコーダ制御部５４に通知する。ビデオエンコーダ制御部５４は、ビデオエンコーダ２６を制御して、その符号化順に、ビデオ信号入力インタフェース２４により入力されたビデオ信号を符号化させる。
【００５８】
ステップＳ３において、エンコード制御部５３は、ビデオエンコーダ２６により符号化された各ピクチャ列から、１個のＲＩＰを選択する。なお以下において、ＲＩＰにおいてデコード順に並ぶピクチャの最初のピクチャを、ピクチャＮ０と称し、最後のピクチャを、ピクチャＮｅと称する。
【００５９】
ステップＳ４において、エンコード制御部５３は、ステップＳ３で選択したＲＩＰを構成するピクチャのＤＰＢアウトプットタイムを読み取るとともに、ステップＳ５において
、ＣＰＢリムーバルタイムを読み取る。
【００６０】
次にステップＳ６において、エンコード制御部５３は、ステップＳ３で選択したＲＩＰのピクチャの中で最初に表示されるピクチャ（以下、適宜、ピクチャＮａと称する）の表示時刻以降にデコードされる、ＲＩＰのピクチャの中で最初にデコードされるピクチャ（以下、適宜、このピクチャＮｄと称する）を検出する。
【００６１】
そしてステップＳ７において、エンコード制御部５３は、後の処理で利用する係数ｍを値１に初期化する。
【００６２】
ステップＳ８において、エンコード制御部５３は、ステップＳ６で検出した、ピクチャＮａからｍ番目に表示されるピクチャ（以下、適宜、ピクチャＮａ＋ｍと称する）と、ピクチャＮｄからｍ番目にデコードされるピクチャ（以下、適宜、ピクチャＮｄ＋ｍと称する）を検出する。
【００６３】
次にステップＳ９において、エンコード制御部５３は、ステップＳ８で検出したピクチャＮｄ＋ｍは、ＲＩＰの最後のピクチャＮｅより前のピクチャであるか否かを判定し、前のピクチャであると判定した場合、ステップＳ１０に進む。
【００６４】
ステップＳ１０において、エンコード制御部５３は、デコード順における｛Ｎ０，・・・・，Ｎｄ＋ｍ｝のピクチャ列に、ピクチャＮａ＋ｍが含まれているか否かを判定し、含まれていると判定した場合、ステップＳ１１に進み、係数ｍの値を１だけインクリメントして、ステップＳ８に戻る。
【００６５】
一方ステップＳ１０で、ピクチャＮａ＋ｍが含まれないと判定された場合、ステップＳ１２に進み、エンコード制御部５３は、例えばステップＳ３において選択しているＲＩＰ内での符号化の順番を変更して、ビデオエンコーダ制御部５４を制御して、再符号化させる。
【００６６】
ステップＳ１２における再符号化の一つの手段としては、リオーダにより表示待ちが発生している場合、表示順とデコード順でピクチャの並びがなるべく同等の並びになるように、ＲＩＰ内でのピクチャのデコード順の並びを変更することが可能である。例えば、Ｎａ＋ｍが表示されるタイミングにおいて、｛Ｎ０，・・・，Ｎｄ＋ｍ｝に含まれるピクチャで表示タイミングがＮａ＋ｍ以降の表示タイミングを持つピクチャとデコード順の並びを入れ替えることにより、Ｎａ＋ｍに該当するピクチャが｛Ｎ０，・・・，Ｎｄ＋ｍ｝に含まれるように変更する。また、デコード順の並びを変更することによって、前後の動き補償の参照関係が変更される為、符号化効率向上の為に割り当てるピクチャタイプを適応的に変更することも可能である。
【００６７】
ステップＳ１２で再符号化がなされると、次のステップＳ１６において、表示待ちが解消されているか否かを判定し、解消されていると判定された場合は、順番を入れ替えたことによりピクチャ並びが変更された箇所からステップＳ４に戻り、再帰的にそれ以降の処理が同様に行われる。
【００６８】
また、ステップＳ１２における再符号化のもう一つの手段として、ＲＩＰ内のピクチャの並びを変更せずに、ＲＩＰ内のピクチャの全てのデコード時刻を表示時刻に対して相対的に早めることも可能である。例えば、ピクチャヘッダ内に格納されているピクチャの表示時刻であるＤＰＢアウトプットタイムに対して、相対的に、デコード時刻であるＣＰＢリムーバルタイムを早めることにより、ＮｄとなるピクチャをＲＩＰ内のデコード並びで数ピクチャ先に進んだピクチャに変更する。例えば、変更前にＮｄ＋ｍに相当するピクチャが、変更後にはＮｄとなる。ここで、当該ＲＩＰの先頭デコード時刻は、ストリームにおける直前のＲＩＰの最終デコード時刻（直前のＲＩＰのＮｅとなるピクチャ）より大きい時刻でなければならない為、デコード時刻を表示時刻に対して相対的に早める場合の制約となる。
【００６９】
次にステップＳ１６において、表示待ちが解消されているか否かを判定し、解消されていると判定された場合は、ステップＳ４に戻り、それ以降の処理が同様に行われる。ステップＳ１６において、直前のＲＩＰとのデコード間隔が、デコード時刻を相対的に早め、表示待ちを発生させない為に十分でない等の理由により、表示待ちが解消されていないと判定される場合も考えられる。このような場合、ステップＳ３に戻り、ストリーム先頭のＲＩＰを選択し、ストリーム先頭からデコード時刻を表示時刻に対して相対的に早めることにより、表示待ち発生を回避する方法がある。
【００７０】
係数ｍの値がステップＳ１１で繰り返しインクリメントされて、ステップＳ９でピクチャＮｄ＋ｍが、ピクチャＮｅより前のフレームではないと判定されたとき、ステップＳ１３に進む。
【００７１】
ステップＳ１３において、エンコード制御部５３は、｛Ｎ０，・・・，Ｎｅ｝のピクチャ列（ＲＩＰ）にピクチャＮａ＋ｍが含まれているか否かを判定し、含まれていないと判定した場合、ステップＳ１４に進む。
【００７２】
ステップＳ１４において、エンコード制御部５３は、例えばステップＳ３において選択しているＲＩＰ内での符号化の順番を変更して、ビデオエンコーダ制御部５４を制御して、再符号化させる。
【００７３】
その後、ステップＳ１３に戻る。ステップＳ１３で、｛Ｎ０，・・・，Ｎｅ｝のピクチャ列にピクチャＮａ＋ｍが含まれていると判定された場合、ステップＳ１５に進み、エンコード制御部５３は、ステップＳ３ですべてのＲＩＰが選択されたか否かを判定し、すべてのＲＩＰが選択されていないと判定した場合、ステップＳ３に戻り、次のＲＩＰを選択して、ステップＳ４以降の処理を同様に実行する。
【００７４】
ステップＳ１５で、すべてのＲＩＰが選択されたと判定された場合、処理は終了する。次に上述した符号化処理を、第９図Ａおよび第９図Ｂ、第１０図Ａおよび第１０図Ｂ、ならびに、第１１図Ａ、第１１図Ｂ、第１１図Ｃおよび第１１図Ｄの例を参照して詳細に説明する。この例では、第９図Ｂ、第１０図Ｂおよび第１１図Ｂのように仮想デコーダに
おけるＤＰＢアウトプットタイムの示す順番に表示されるＲＩＰの最初から４枚分のピクチャが（ステップＳ１）、第９図Ａ、図１０Ａおよび図１１Ａのように仮想デコーダにおけるＣＰＢリムーバルタイムの示す順番にデコードされるように符号化されている（ステップＳ２）。
【００７５】
なお第９図Ａは、第２図Ａが示す同じピクチャのＣＰＢリムーバルタイムを表し、第９図Ｂは、第２図Ｂが示す同じピクチャのＤＰＢアウトプットタイムを表している（ｍ＝１）。図１０Ａ、図１１Ａ、図１０Ｂおよび図１１Ｂも同様である（ｍ＝２）。
【００７６】
すなわちこのＲＩＰの中で最初に表示されるピクチャＩ1（ピクチャＮａ）の表示時刻以降にデコードされるＲＩＰのピクチャの中で最初にデコードされるピクチャＩ1（ピクチャＮｄ）が検出される（ステップＳ４，Ｓ５，Ｓ６）。
【００７７】
次にｍ＝１となり（ステップＳ７）、ピクチャＩ1（ピクチャＮａ）から第１番目に表示されるピクチャＰ2（ピクチャＮａ＋１）（第９図Ｂ）と、ピクチャＩ1から第１番目にデコードされるピクチャＰ2（ピクチャＮｄ＋１）（第９図Ａ）が検出される（ステップＳ８）。
【００７８】
ピクチャＰ2（ピクチャＮｄ＋１）は、このＲＩＰのデコード順における最後のピクチャであるピクチャＮｅより前のピクチャなので（ステップＳ９）、デコード順におけるピクチャＮ０からピクチャＮｄ＋１までのピクチャ列、すなわち｛Ｉ1，Ｐ2｝のピクチャ列に、表示順におけるピクチャＮａ＋１のピクチャＰ2が含まれているか否かが判定され（ステップＳ１０）、この場合、含まれているので、係数ｍ＝２となる（ステップＳ１１）。
【００７９】
そして今度は、ｍ＝２なので、ピクチャＩ1（ピクチャＮｄ）から第２番目にデコードされるピクチャＰ4（ピクチャＮｄ＋２）（第１０図Ａ）と、ピクチャＩ1（ピクチャＮａ）から第２番目に表示されるピクチャＢ3（ピクチャＮａ＋２）（第１０図Ｂ）とが検出される（ステップＳ８）。
【００８０】
ピクチャＰ4（ピクチャＮｄ＋２）は、このＲＩＰのデコード順における最後のピクチャであるピクチャＮｅより前のピクチャなので（ステップＳ９）、デコード順におけるピクチャＮ０からピクチャＮｄ＋ｍまでのピクチャ列、すなわち｛Ｉ1，Ｐ2，Ｐ4｝のピクチャ列に、表示順におけるピクチャＮａ＋２のピクチャＢ3が含まれていないと判定される（ステップＳ１０）。
【００８１】
このように、表示順におけるピクチャＮａ＋ｍのピクチャ（ｍ＝２の場合、ピクチャＢ3）が、デコード順におけるピクチャＮ０からピクチャＮｄ＋ｍまでのピクチャ列（ｍ＝２の場合、｛Ｉ1，Ｐ2，Ｐ4｝のピクチャ列）に含まれていない場合、この例では、ピクチャＢ3のデコード時刻は、第２図Ｃに示したように、ピクチャＢ3の表示時刻（第２図Ｄ）の後の、本来第４番目に表示されるピクチャＰ4の表示時刻（第２図Ｂ）に対応する時刻になる。そのため、第２図Ｄに示したように、ピクチャＢ3は、本来の表示時刻に表示されない。
【００８２】
そこでこの場合、例えば、第１１図Ａに示すように、第９図Ａおよび第１０図Ａの場合に対してピクチャＢ3とピクチャＰ4の仮想デコーダにおけるＣＰＢリムーバルタイムが入れ替わった再符号化が行われる（ステップＳ１２）。
【００８３】
その結果、ｍ＝２の場合でも、ピクチャＢ3が、ＲＩＰの中で最初にデコードされるピクチャＮｄ（ピクチャＩ1）から第２番目にデコードされるピクチャＮｄ＋２（第１１図Ａ）として検出されるので（ステップＳ８）、デコード順におけるピクチャＮ０からピクチャＮｄ＋２までのピクチャ列｛Ｉ1，Ｐ2，Ｂ3｝）に、表示順におけるＮａ＋２番目のピクチャ（再符号化前と同様にピクチャＢ3）が含まれているようになる（ステップＳ１０）。これにより、実際のプレーヤにおいては、第２図Ｃおよび第２図Ｄに示すように、デコーダ側で表示待ちが起こらない。第１１図Ｃおよび第１１図Ｄに示すように、ピクチャＢ3のデコードが、ピクチャＢ3の表示時刻に対応する時刻に行われ、ピクチャＢ3をその表示時刻に表示することができるようになる。
【００８４】
このような処理がピクチャＮａ＋ｍがＲＩＰの最後のピクチャＮｅとなるまで繰り返し行われる。なお以上においては、符号化順を変更して再符号化する場合を例として説明したが（ステップＳ１２）、他の符号化条件を変更するようにしてもよい。
【００８５】
例えば、第１２図Ａおよび第１２図Ｂに示す仮想デゴーダモデルにおける規則に従って符号化された場合、第２番目に表示されるピクチャＢ2（第１２図Ｂ）は、第３番目にデコードされる（第１２図Ａ）。一方、デコード側のピクチャＢ2のデコード時刻は、第１２図Ｃに示すように、ピクチャＢ2の表示時刻（第１２図Ｄ）の後の、本来第３番目に表示されるピクチャＰ3の表示時刻（第１２図Ｂ）に対応する時刻になる。そのため、ピクチャＢ２を、本来の表示時刻（第１２図Ｂ）に表示することができない。
【００８６】
すなわちｍ＝１のとき、ピクチャＮｄ＋１は、ピクチャＰ3であり（第１２図Ａ）、ピクチャＮａ＋１は、ピクチャＢ2となり（第１２図Ｂ）、表示順におけるＮａ＋１番目のピクチャであるピクチャＢ2は、デコード順におけるピクチャＮ０からピクチャＮｄ＋１までのピクチャ列である｛Ｉ1，Ｐ3｝のピクチャ列に含まれない。
【００８７】
そこでこの場合、第１３図Ｂに示すように、ＤＰＢアウトプットタイミングを１ｔｃだけ遅らせるようにして再符号化することにより（ステップＳ１２）、第１３図Ａに示すようにｍ＝１のとき、ピクチャＮｄ＋１は、ピクチャＢ２となるので、表示順におけるＮａ＋１番目のピクチャであるピクチャＢ２は、デコード順におけるピクチャＮ０からピクチャＮｄ＋１までのピクチャ列である｛Ｉ1，Ｐ3，Ｂ2｝のピクチャ列に含まれるようになる。すなわち、実際のデコード処理において、第１３図Ｃおよび第１３図Ｄに示すように、ピクチャＢ2のデコードが、ピクチャＢ２の表示時刻に合わせて行われるので、ピクチャＢ3を、本来の表示時刻に表示することができるようになる。
【００８８】
また、同様に、例えば、第１４図Ａおよび第１４図Ｂに示す、仮想デコーダモデルにおける規則に従って符号化された場合、第３番目に表示されるピクチャＢ3（第１４図Ｂ）は、第４番目にデコードされる（第１４図Ａ）。一方、実際のデコード側のピクチャＢ3のデコード時刻は、第１４図Ｃに示すように、ピクチャＢ3の表示時刻（第１４図Ｄ）の後の、本来第４番目に表示されるピクチャＰ4の表示時刻（第１４図Ｂ）に対応する時刻になる。そのため、第１４図Ｄに示すように、ピクチャＢ3を、本来の表示時刻（第１４図Ｂ）に表示することができない。
【００８９】
すなわちｍ＝２のとき、デコード順におけるピクチャＮｄ＋２は、ピクチャＰ4であり（第１４図Ａ）、表示順におけるピクチャＮａ＋２は、ピクチャＢ3となるため（第１４図Ｂ）、表示順におけるピクチャＮａ＋２であるピクチャＢ3は、デコード順におけるピクチャＮ０からピクチャＮｄ＋２までのピクチャ列である｛Ｉ1，Ｐ2，Ｐ4｝のピクチャ列に含まれない。
【００９０】
そこでこの場合、第１５図Ｂに示すように、ＤＰＢアウトプットタイミングを１ｔｃだけ遅らせるようにして再符号化することにより（ステップＳ１２）、第１５図Ａに示すようにｍ＝２のとき、デコード順におけるピクチャＮｄ＋２は、ピクチャＢ3となるので、表示順におけるピクチャＮａ＋１であるピクチャＢ3（ピクチャＮａ＋１）は、デコード順におけるピクチャＮ０からピクチャＮｄ＋２までのピクチャ列である｛Ｉ1，Ｐ2，Ｐ4，Ｂ3｝のピクチャ列に含まれるようになる。すなわち第１５図Ｃおよび第１５図Ｄに示すように、実際のデコード処理において、ピクチャＢ3のデコードが、ピクチャＢ3の表示時刻に合わせて行われるので、ピクチャＢ3は、本来の表示時刻に表示されるようになる。
【００９１】
以上のように、表示時刻に同期してデコードされる場合において、ランダムアクセスを可能とするために、所定枚数のピクチャからなる組であるＲＩＰを定義し、仮想デコーダにおいてそのＲＩＰ毎に、最初に表示されるピクチャＮａの表示時刻以降で最初にデコードされるピクチャＮｄから第ｍ番目までに、第ｍ番目に表示されるピクチャＮａ＋ｍがデコードされるようにピクチャを符号化するようにしたので、実際のデコード側におけるピクチャの表示待ちを防止することができる。
【００９２】
なお、トップフィールドのピクチャ（例えば、第１６図Ａ、第１６図Ｂ、第１６図Ｃおよび第１６図ＤにおけるＰ2t）と、ボトムフィールドのピクチャ（例えば、第１６図Ａ、第１６図Ｂ、第１６図Ｃおよび第１６図ＤにおけるＰ2b）が存在する場合がある。この場合、ピクチャＮｄの検出においては、第１フィールドのピクチャ（例えば、第１６図Ａ、第１６図Ｂ、第１６図Ｃおよび第１６図Ｄの場合はＰ2t）のＣＰＢリムーバルタイムが参照される。一方、ピクチャＮｄ＋ｍおよびピクチャＮａ＋ｍの検出等においては、ピクチャＰ2tおよびピクチャＰ2bは、合わせて１つのピクチャとして扱われる。すなわち、ピクチャＮｄ＋ｍおよびピクチャＮａ＋ｍの検出を行う際には、デコード順におけるピクチャＮｄ＋１は、Ｐ3であり、表示順におけるピクチャＮａ＋１は、Ｐ2tとＰ2bである、
【００９３】
なお、この例では、実際のデコード処理はフレーム単位またはペアになったフィールド単位で行われるため、第１６図Ｃおよび第１６図Ｄでは、Ｐ2tとＰ2bは、合わせてＰ2(t+b)として示されている。
【００９４】
なお、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【符号の説明】
【００９５】
１１  符号化装置
２１  バス
２２  ＣＰＵ
２３  メモリ
２４  ビデオ信号入力インタフェース
２５  制御信号入力インタフェース
２６  ビデオエンコーダ
２７  ビデオデータ出力インタフェース
５１  制御信号入力制御部
５２  ビデオ信号入力制御部
５３  エンコード制御部
５４  ビデオエンコーダ制御部，
５５  ビデオデータ出力制御部
Ｓ１  ピクチャの表示時刻を取得する
Ｓ２  所定の符号化順に、ピクチャを符号化する（デコード時刻の決定）
Ｓ３  ＲＩＰを選択する  ｛Ｎｏ，・・・，Ｎｅ｝
Ｓ４  ＲＩＰを構成するピクチャの表示時刻を読み取る
Ｓ５  ＲＩＰを構成するピクチャのデコード時刻を読み取る
Ｓ６  最初に表示されるピクチャＮａの表示時刻以降にデコードされるＲＩＰのピクチャ
の中で、最初にデコードされるピクチャＮｄを検出する
Ｓ７  ｍ＝１
Ｓ８  ピクチャＮａ＋ｍとピクチャＮｄ＋ｍを検出する
Ｓ９  ピクチャＮｄ＋ｍは、ピクチャＮｅより前のフレーム？
Ｓ１０  ｛Ｎｏ，・・・，Ｎｄ＋ｍ｝にピクチャＮａ＋ｍが含まれているか？
Ｓ１１  ｍ←ｍ＋１
Ｓ１２  再符号化を行う
Ｓ１３  ｛ピクチャＮｏ，・・・，Ｎｅ｝にピクチャＮａ＋ｍが含まれているか？
Ｓ１４  再符号化を行う
Ｓ１５  すべてのＲＩＰを選択したか？
Ｓ１６  表示待ちが解消されているか？
【図１】
0004902358.tif 000002
【図２Ａ】
0004902358.tif 000003
【図２Ｂ】
0004902358.tif 000004
【図２Ｃ】
0004902358.tif 000005
【図２Ｄ】
0004902358.tif 000006
【図３】
0004902358.tif 000007
【図４】
0004902358.tif 000008
【図５Ａ】
0004902358.tif 000009
【図５Ｂ】
0004902358.tif 000010
【図６】
0004902358.tif 000011
【図７】
0004902358.tif 000012
【図８】
0004902358.tif 000013
【図９Ａ】
0004902358.tif 000014
【図９Ｂ】
0004902358.tif 000015
【図１０Ａ】
0004902358.tif 000016
【図１０Ｂ】
0004902358.tif 000017
【図１１Ａ】
0004902358.tif 000018
【図１１Ｂ】
0004902358.tif 000019
【図１１Ｃ】
0004902358.tif 000020
【図１１Ｄ】
0004902358.tif 000021
【図１２Ａ】
0004902358.tif 000022
【図１２Ｂ】
0004902358.tif 000023
【図１２Ｃ】
0004902358.tif 000024
【図１２Ｄ】
0004902358.tif 000025
【図１３Ａ】
0004902358.tif 000026
【図１３Ｂ】
0004902358.tif 000027
【図１３Ｃ】
0004902358.tif 000028
【図１３Ｄ】
0004902358.tif 000029
【図１４Ａ】
0004902358.tif 000030
【図１４Ｂ】
0004902358.tif 000031
【図１４Ｃ】
0004902358.tif 000032
【図１４Ｄ】
0004902358.tif 000033
【図１５Ａ】
0004902358.tif 000034
【図１５Ｂ】
0004902358.tif 000035
【図１５Ｃ】
0004902358.tif 000036
【図１５Ｄ】
0004902358.tif 000037
【図１６Ａ】
0004902358.tif 000038
【図１６Ｂ】
0004902358.tif 000039
【図１６Ｃ】
0004902358.tif 000040
【図１６Ｄ】
0004902358.tif 000041