(57)【要約】【課題】複数フレーム単位の符号化データの入れ替えに際して，時刻情報の変更の必要性をなくす。【解決手段】画像符号化装置は，画像情報の各フレームの符号化データに，画像復号装置がその符号化データのフレームを入力した時点から何フレーム分後のタイミングでそのフレームの復号画像を出力するかを示す出力タイミング番号を符号化したデータを付加する。画像復号装置では，入力フレームの画像情報を復号するとともに，出力タイミング番号を復号し，出力タイミング番号に応じて，復号画像をすぐに出力するか出力画像メモリの出力タイミング番号に関連付けられたインデックスの示す位置に復号画像を蓄積するかを決定し，適切なタイミングで復号画像を出力する。【選択図】　　　　　図１
2004056232.tif 000002
【特許請求の範囲】
【請求項１】
フレーム間予測符号化方式を用いて画像情報を符号化する動画像符号化方法において，
符号化対象の画像情報をフレーム単位で入力する過程と，
復号側において当該入力フレームを符号化したフレームを入力した時点から何フレーム分後のタイミングで出力するかを示す出力タイミング番号を符号化する過程と，
フレーム間予測符号化方式を用いて前記入力したフレームの画像情報を符号化する過程と，
前記出力タイミング番号を符号化したデータと前記入力したフレームの画像情報を符号化したデータとを符号化データとして出力する過程とを有する
ことを特徴とする動画像符号化方法。
【請求項２】
さらに，復号側において現在の復号フレームを直ちに出力するか否かを示す復号画像出力フラグを符号化する過程を有し，
前記符号化データとともに出力する
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
前記出力タイミング番号を符号化する過程では，復号側において現在の復号フレームを直ちに出力すべきときに，前記出力タイミング番号の値をあらかじめ定めた特定値として符号化する
ことを特徴とする請求項１記載の動画像符号化方法。
【請求項４】
フレーム間予測符号化方式を用いて画像情報を符号化する動画像符号化方法において，
符号化対象の画像情報をフレーム単位で入力する過程と，
入力フレーム数をカウントする過程と，
ピクチャ符号化モードを決定する過程と，
入力フレームを遅延して符号化するかどうかを決定する過程と，
入力フレームを遅延して符号化する場合に，入力画像遅延メモリに入力フレームを蓄積する過程と，
符号化フレーム数をカウントする過程と，
復号側で復号画像を復号直後に出力するか否かを決定する過程と，
復号側で復号画像を復号直後に出力するか否かを示す復号画像出力フラグを符号化し出力する過程と，
復号側で復号画像を復号直後に出力しないと決定された場合に，シーケンス中の全フレームで復号画像の出力が遅延するフレーム数を示す出力遅延フレーム数に，前記入力フレーム数のカウント値を加算し，さらに前記符号化フレーム数のカウント値を減算した値を，出力タイミング番号として計算する過程と，
前記出力タイミング番号を符号化し出力する過程と，
フレーム内画像情報をすべて符号化するまで，フレーム間予測符号化方式を用いて入力フレームを符号化し出力する過程と，
入力フレームの符号化データを復号し，その復号画像をフレーム間予測符号化方式による符号化で参照するための参照画像メモリに蓄積する過程と，
前記入力画像蓄積メモリに蓄積されている画像情報について，前記符号化フレーム数をカウントする過程以降の処理を繰り返す過程とを有する
ことを特徴とする動画像符号化方法。
【請求項５】
フレーム間予測符号化方式を用いて画像情報を符号化する動画像符号化方法において，
符号化対象の画像情報をフレーム単位で入力する過程と，
入力フレーム数をカウントする過程と，
ピクチャ符号化モードを決定する過程と，
入力フレームを遅延して符号化するかどうかを決定する過程と，
入力フレームを遅延して符号化する場合に，入力画像遅延メモリに入力フレームを蓄積する過程と，
符号化フレーム数をカウントする過程と，
復号側で復号画像を復号直後に出力するか否かを決定する過程と，
復号側で復号画像を復号直後に出力しない場合に，シーケンス中の全フレームで復号画像の出力が遅延するフレーム数を示す出力遅延フレーム数に，前記入力フレーム数のカウント値を加算し，さらに前記符号化フレーム数のカウント値を減算した値を，出力タイミング番号として計算し，復号側で復号画像を復号直後に出力する場合には，前記出力タイミング番号を，復号画像を復号直後に出力しない場合の出力タイミング番号と区別できる特定の値に設定する過程と，
前記出力タイミング番号を符号化し出力する過程と，
フレーム内画像情報をすべて符号化するまで，フレーム間予測符号化方式を用いて入力フレームを符号化し出力する過程と，
入力フレームの符号化データを復号し，その復号画像をフレーム間予測符号化方式による符号化で参照するための参照画像メモリに蓄積する過程と，
前記入力画像蓄積メモリに蓄積されている画像情報について，前記符号化フレーム数をカウントする過程以降の処理を繰り返す過程とを有する
ことを特徴とする動画像符号化方法。
【請求項６】
シーケンス中の全フレームで復号画像の出力が遅延するフレーム数を示す出力遅延フレーム数を符号化する過程を有し，
前記一連の符号化データの前に付加して出力する
ことを特徴とする請求項１から請求項５までのいずれか１項に記載の動画像符号化方法。
【請求項７】
フレーム間予測符号化方式を用いて符号化された画像情報を復号する動画像復号方法において，
復号対象の符号化画像情報をフレーム単位で入力するとともに，当該入力フレームを入力した時点から何フレーム分後のタイミングで，その入力フレームの復号画像を出力するかを示す出力タイミング番号の符号化データを入力する過程と，
前記入力したフレームの符号化画像情報を復号する過程と，
前記出力タイミング番号の符号化データを復号する過程と，
前記復号した出力タイミング番号に応じて前記復号した画像情報を出力するタイミングを決定し，前記復号した画像情報を出力する過程とを有する
ことを特徴とする動画像復号方法。
【請求項８】
さらに，現在の復号フレームを直ちに出力するか否かを示す復号画像出力フラグの符号化データを入力する過程と，
前記復号画像出力フラグの符号化データを復号する過程とを有し，
前記復号した画像情報を出力する過程では，前記復号画像出力フラグが現在の復号フレームを直ちに出力することを示している場合に，復号フレームを直ちに出力する
ことを特徴とする請求項７記載の動画像復号方法。
【請求項９】
前記復号した画像情報を出力する過程では，前記復号した出力タイミング番号があらかじめ定められた特定値である場合に，前記復号フレームを直ちに出力する
ことを特徴とする請求項７記載の動画像復号方法。
【請求項１０】
フレーム間予測符号化方式を用いて符号化された画像情報を復号する動画像復号方法において，
復号対象の符号化画像情報をフレーム単位で入力するとともに，当該入力フレームを入力した時点から何フレーム分後のタイミングで，その入力フレームの復号画像を出力するかを示す出力タイミング番号の符号化データおよび復号画像を復号直後に出力するか否かを示す復号画像出力フラグの符号化データを入力する過程と，
前記入力したフレームの符号化画像情報をフレーム間予測復号する過程と，
復号画像をフレーム間予測復号で参照するための参照画像メモリに蓄積する過程と，
前記復号画像出力フラグの符号化データを復号する過程と，
前記出力タイミング番号の符号化データを復号する過程と，
前記復号画像出力フラグが復号画像を復号直後に出力しないことを示す場合に，あらかじめ前記出力タイミング番号に基づいて復号画像を蓄積する出力画像メモリからの復号画像の出力を行い，前記出力画像メモリにおける復号画像の出力順序を示すインデックスを更新し，現フレームの復号画像を前記出力タイミング番号に応じたインデックスが示す出力画像メモリの位置に蓄積する過程と，
前記復号画像出力フラグが復号画像を復号直後に出力することを示す場合に，現フレームの復号画像を出力し，前記出力画像メモリにおける復号画像の出力順序を示すインデックスを更新する過程とを有する
ことを特徴とする動画像復号方法。
【請求項１１】
フレーム間予測符号化方式を用いて符号化された画像情報を復号する動画像復号方法において，
復号対象の符号化画像情報をフレーム単位で入力するとともに，当該入力フレームを入力した時点から何フレーム分後のタイミングで，その入力フレームの復号画像を出力するかを示す出力タイミング番号の符号化データを入力する過程と，
前記入力したフレームの符号化画像情報をフレーム間予測復号する過程と，
復号画像をフレーム間予測復号で参照するための参照画像メモリに蓄積する過程と，
前記出力タイミング番号の符号化データを復号する過程と，
前記復号した出力タイミング番号が特定の値であるか否かにより，復号画像を復号直後に出力するか否かを決定する過程と，
復号画像を復号直後に出力しない場合に，あらかじめ前記出力タイミング番号に基づいて復号画像を蓄積する出力画像メモリからの復号画像の出力を行い，前記出力画像メモリにおける復号画像の出力順序を示すインデックスを更新し，現フレームの復号画像を前記出力タイミング番号に応じたインデックスが示す出力画像メモリの位置に蓄積する過程と，
復号画像を復号直後に出力する場合に，現フレームの復号画像を出力し，前記出力画像メモリにおける復号画像の出力順序を示すインデックスを更新する過程とを有する
ことを特徴とする動画像復号方法。
【請求項１２】
さらにシーケンス中の全フレームで復号画像の出力が遅延するフレーム数を示す出力遅延フレーム数の符号化データを入力する過程と，
入力した出力遅延フレーム数の符号化データを復号する過程とを有し，
復号した出力遅延フレーム数に応じてシーケンス中の全フレームについて復号画像の出力を遅延させる
ことを特徴とする請求項７から請求項１１までのいずれか１項に記載の動画像復号方法。
【請求項１３】
フレーム間予測符号化方式を用いて画像情報を符号化する画像符号化装置において，
符号化対象の画像情報をフレーム単位で入力する手段と，
入力フレーム数をカウントする手段と，
ピクチャ符号化モードを指定する手段と，
入力フレームを遅延して符号化するかどうかを決定する手段と，
遅延して符号化する画像情報を記憶する入力画像遅延メモリと，
入力フレームを遅延して符号化する場合に，前記入力画像遅延メモリに入力フレームを蓄積する手段と，
符号化フレーム数をカウントする手段と，
復号側で復号画像を復号直後に出力するか否かを決定する手段と，
復号側で復号画像を復号直後に出力するか否かを示す復号画像出力フラグを符号化し出力する手段と，
復号側で復号画像を復号直後に出力しないと決定された場合に，シーケンス中の全フレームで復号画像の出力が遅延するフレーム数を示す出力遅延フレーム数に，前記入力フレーム数のカウント値を加算し，さらに前記符号化フレーム数のカウント値を減算した値を，出力タイミング番号として計算する手段と，
前記出力タイミング番号を符号化し出力する手段と，
フレーム間予測符号化方式を用いて入力フレームの画像情報または前記入力画像遅延メモリに蓄積した画像情報を符号化し出力する手段と，
前記フレーム間予測符号化方式による符号化で参照するための復号画像を記憶する参照画像メモリと，
入力フレームの符号化データを復号する手段と，
復号画像を前記参照画像メモリに蓄積する手段とを備える
ことを特徴とする画像符号化装置。
【請求項１４】
フレーム間予測符号化方式を用いて画像情報を符号化する画像符号化装置において，
符号化対象の画像情報をフレーム単位で入力する手段と，
入力フレーム数をカウントする手段と，
ピクチャ符号化モードを決定する手段と，
入力フレームを遅延して符号化するかどうかを決定する手段と，
遅延して符号化する画像情報を記憶する入力画像遅延メモリと，
入力フレームを遅延して符号化する場合に，前記入力画像遅延メモリに入力フレームを蓄積する手段と，
符号化フレーム数をカウントする手段と，
復号側で復号画像を復号直後に出力しない場合に，シーケンス中の全フレームで復号画像の出力が遅延するフレーム数を示す出力遅延フレーム数に，前記入力フレーム数のカウント値を加算し，さらに前記符号化フレーム数のカウント値を減算した値を，出力タイミング番号として計算し，復号側で復号画像を復号直後に出力する場合には，前記出力タイミング番号を，復号画像を復号直後に出力しない場合の出力タイミング番号と区別できる特定の値に設定する手段と，
前記出力タイミング番号を符号化し出力する手段と，
フレーム間予測符号化方式を用いて入力フレームの画像情報または前記入力画像遅延メモリに蓄積した画像情報を符号化し出力する手段と，
前記フレーム間予測符号化方式による符号化で参照するための復号画像を記憶する参照画像メモリと，
入力フレームの符号化データを復号する手段と，
復号画像を前記参照画像メモリに蓄積する手段とを備える
ことを特徴とする画像符号化装置。
【請求項１５】
シーケンス中の全フレームで復号画像の出力が遅延するフレーム数を示す出力遅延フレーム数を符号化し，前記一連の符号化データの前に付加して出力する手段を備える
ことを特徴とする請求項１３または請求項１４に記載の画像符号化装置。
【請求項１６】
フレーム間予測符号化方式を用いて符号化された画像情報を復号する画像復号装置において，
復号対象の符号化画像情報をフレーム単位で入力し，フレーム間予測復号する手段と，
復号画像をフレーム間予測復号で参照するための復号画像を記憶する参照画像メモリと，
復号画像を復号直後に出力するか否かを示す復号画像出力フラグの符号化データを入力し復号する復号手段と，
前記符号化画像情報のフレームを入力した時点から何フレーム分後のタイミングで，そのフレームの復号画像を出力するかを示す出力タイミング番号の符号化データを入力し復号する手段と，
復号画像を遅延させて出力するために記憶する出力画像メモリと，
前記出力画像メモリにおける復号画像の出力順序を示すインデックスを，各フレームの復号画像を出力するごとに更新する手段とを備え，
前記復号画像出力フラグが復号画像を復号直後に出力することを示す場合に，前記復号手段により復号した復号画像を出力し，前記復号画像出力フラグが復号画像を復号直後に出力しないことを示す場合に，前記出力画像メモリに蓄積された復号画像を前記インデックスに従って前記出力画像メモリから読み出して出力するとともに，前記出力タイミング番号に関連付けられたインデックスが示す前記出力画像メモリの位置に現在の復号フレームの復号画像を蓄積する
ことを特徴とする画像復号装置。
【請求項１７】
フレーム間予測符号化方式を用いて符号化された画像情報を復号する画像復号装置において，
復号対象の符号化画像情報をフレーム単位で入力しフレーム間予測復号する復号手段と，
前記符号化画像情報のフレームを入力した時点から何フレーム分後のタイミングで，そのフレームの復号画像を出力するかを示す出力タイミング番号の符号化データを入力する手段と，
前記入力したフレームの符号化画像情報をフレーム間予測復号する手段と，
復号画像をフレーム間予測復号で参照するための参照画像メモリに蓄積する手段と，
復号画像を遅延させて出力するために記憶する出力画像メモリと，
前記出力タイミング番号の符号化データを復号する手段と，
前記復号した出力タイミング番号が特定の値であるか否かにより，復号画像を復号直後に出力するか否かを決定する手段と，
復号画像を復号直後に出力する場合に，前記復号手段により復号した復号画像を出力し，復号画像を復号直後に出力しない場合に，前記出力画像メモリからの復号画像の出力を行い，現フレームの復号画像を前記出力タイミング番号に関連付けられたインデックスが示す前記出力画像メモリの位置に蓄積する手段と，
前記出力画像メモリにおける復号画像の出力順序を示すインデックスを，各フレームの復号画像を出力するごとに更新する手段とを備える
ことを特徴とする画像復号装置。
【請求項１８】
さらにシーケンス中の全フレームで復号画像の出力が遅延するフレーム数を示す出力遅延フレーム数の符号化データを入力する手段と，
入力した出力遅延フレーム数の符号化データを復号する手段とを有し，
復号した出力遅延フレーム数に応じてシーケンス中の全フレームについて復号画像の出力を遅延させる
ことを特徴とする請求項１６または請求項１７に記載の画像復号装置。
【請求項１９】
請求項１から請求項６までのいずれか１項に記載の動画像符号化方法を，コンピュータに実行させるための動画像符号化プログラム。
【請求項２０】
請求項７から請求項１２までのいずれか１項に記載の動画像復号方法を，コンピュータに実行させるための動画像復号プログラム。
【請求項２１】
請求項１から請求項６までのいずれか１項に記載の動画像符号化方法を，コンピュータに実行させるためのプログラムを記録した
ことを特徴とする動画像符号化プログラムの記録媒体。
【請求項２２】
請求項７から請求項１２までのいずれか１項に記載の動画像復号方法を，コンピュータに実行させるためのプログラムを記録した
ことを特徴とする動画像復号プログラムの記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，フレーム間予測符号化方式を使った動画像符号化に関する技術に関し，特に，各フレームにそれを出力する時刻情報を持たせるのではなく，復号画像を出力する際の現在の復号フレームを基準としたタイミングを示す出力タイミング番号を持たせることにより，フレームの入れ替え時における編集を容易にし，また画像復号装置の画像出力部分の装置構成を簡易にすることを可能にした動画像符号化方法，動画像復号方法，画像符号化装置，画像復号装置，動画像符号化プログラム，動画像復号プログラムおよびそれらのプログラムの記録媒体に関するものである。
【０００２】
【従来の技術】
ＭＰＥＧ−１，ＭＰＥＧ−２やＨ．２６１，Ｈ．２６３といった国際標準動画像符号化では，各フレームの出力時刻を符号化する。これらの時刻情報は，ＴＲ（Ｔｅｍｐｏｒａｌ　Ｒｅｆｅｒｅｎｃｅ）と呼ばれ，フレーム毎に固定長符号化される。システムで基準となる時間間隔を予め設定しておき，その時間間隔とＴＲの積でシーケンス先頭からの時刻を示す。画像符号化装置（エンコーダ）では，入力画像の時刻情報をＴＲに設定して各フレームを符号化し，画像復号装置（デコーダ）では，各フレームの復号画像をＴＲで指定された時刻に出力する。
【０００３】
他方，一般的に動画像符号化では時間方向の相関を使って高い符号化効率を実現するため，フレーム間予測符号化を用いている。フレームの符号化モードには，フレーム間の相関を使わずに符号化するＩフレームと，過去に符号化した１フレームから予測するＰフレームと，過去に符号化した２フレームから予測することができるＢフレームがある。特に，映像符号化方式Ｈ．２６３では，参照画像メモリに複数フレーム分の復号画像を蓄積しておき，そのメモリから参照画像を選択して予測することができる。
【０００４】
Ｂフレームでは，より過去のフレームから予測する方法を前方向フレーム間予測と呼び，より未来のフレームから予測する方法を後方向フレーム間予測と呼ぶ。後方向フレーム間予測における参照フレームの表示時刻は，現フレームよりも未来であってもよい。この場合には，現フレームを表示した後に後方向フレーム間予測の参照フレームを出力することになる。
【０００５】
Ｂフレームで２フレームから予測する場合（両方向フレーム間予測の場合）には，２フレームからの画像情報を補間して，１フレーム分の画像情報を作成して予測画像を作成する。
【０００６】
図１９（Ａ１）に，後方向フレーム間予測における参照フレームの表示時刻が未来の場合の，動画像の予測関係の例を示す。第１フレームＦ１から第７フレームＦ７までの符号化モードをＩＢＢＰＢＢＰの順序で符号化する場合には，図１９（Ａ１）に示す予測関係があるため，実際に符号化する場合には，図１９（Ａ２）に示すようにＦ１→Ｆ４→Ｆ２→Ｆ３→Ｆ７→Ｆ５→Ｆ６の順序でフレームを符号化する。この場合の符号化されるＴＲの順序は，符号化フレームと同様にＦ１→Ｆ４→Ｆ２→Ｆ３→Ｆ７→Ｆ５→Ｆ６に対応した値となる。
【０００７】
図１９（Ｂ１）に，後方向フレーム間予測における参照フレームの表示時刻が過去の場合の，動画像の予測関係の例を示す。図１９（Ａ１）の場合と異なり，第１フレームＦ１から第７フレームＦ７までの符号化モードをＩＢＢＰＢＢＰの順序で符号化する場合であっても，図１９（Ｂ１）に示す予測関係があるため，図１９（Ｂ２）に示すようにＦ１→Ｆ４→Ｆ２→Ｆ３→Ｆ５→Ｆ６→Ｆ７の順序でフレームを符号化する。
【０００８】
各フレームの出力時刻を示す方法としては，ＭＰＥＧ−１，２のＴＲのように，シーケンス先頭からの時刻情報を符号化する方法（これを以後，方法ａとする）の他に，例えば次の方法が考えられる。
（方法ｂ）直前に符号化したフレームからの差分時刻情報を符号化する。
（方法ｃ）基準となるフレームを設定して，基準フレームでシーケンス先頭位置からの時刻情報を符号化し，各フレームでは基準フレームからの時刻情報を符号化する。
（方法ｄ）基準となるフレームを設定して，基準フレームでシーケンス先頭位置からの時刻情報を符号化し，各フレームでは直前に符号化したフレームからの差分時刻情報を符号化する。
【０００９】
これらの方法のうち，方法ｂと方法ｄでは，Ｂフレームで後方向フレーム間予測における参照フレームの表示時刻が未来の場合には，直前に符号化したフレームに対して過去のフレームの差分時刻情報を表す必要があり，その場合，例えば差分時刻情報としてマイナスの値を使用する。例えば第１フレームＦ１から第７フレームＦ７までの符号化モードがＩＢＢＩＢＢＩの順の符号化データでは，Ｆ１→Ｆ４→Ｆ２→Ｆ３→Ｆ７→Ｆ５→Ｆ６の順序で符号化されるが，この場合の時刻情報は，符号化データ順に例えば，０，３，−２，１，４，−２，１となる。
【００１０】
【発明が解決しようとする課題】
しかしながら，これらの各フレームの出力時刻を示す方法では，符号化データを複数フレーム単位で入れ替える際に次のような課題があった。
（１）上記の方法ａでは，対象となる全フレームの時刻情報を変更する必要があり，作業が煩雑となった。
（２）上記の方法ｂでは，例えばＩＢＢＩＢＢＩの順に符号化された符号化データにおいて，時刻情報を符号化データ順に０，３，−２，１，４，−２，１と与えられている場合には，同じＩフレームであってもシーケンス中の位置によって時刻情報は０または３または４となる。したがって，方法ａの場合と同様に，対象となる数フレームの時刻情報を変更する必要があり，作業が煩雑となった。
（３）方法ｃまたは方法ｄの方法では，基準フレームの時刻情報を変更する必要があり，作業が煩雑となった。
【００１１】
以上のように，いずれの方法においても，複数フレーム単位の符号化データの入れ替えに際しては，時刻情報の変更が必要であった。
【００１２】
本発明は上記問題点の解決を図り，複数フレーム単位の符号化データの入れ替えに際して，時刻情報を変更する必要性をなくした新しい動画像符号化，復号方式を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明は，上記課題を解決するため，各フレームに復号画像を出力する際の現在の復号フレームを基準としたタイミングを示す情報（これを出力タイミング番号という）を持たせることを特徴とする。
【００１４】
すなわち，本発明は，フレーム間予測符号化方式を用いて画像情報を符号化する動画像符号化方法において，符号化対象の画像情報をフレーム単位で入力し符号化するとともに，当該入力フレームを符号化したフレームを，復号側において現在の復号フレームから何フレーム分後のタイミングで出力するかを示す出力タイミング番号を符号化する。その出力タイミング番号を符号化したデータと入力フレームの画像情報を符号化したデータとを符号化データとして出力する。
【００１５】
復号側において現在の復号フレームを直ちに出力するか否かを示す方法として，それを区別する復号画像出力フラグを符号化し，符号化データに加える方法，または前記出力タイミング番号の値をあらかじめ定めた特定の値（例えば，０）として符号化する方法を用いることができる。
【００１６】
また，画像符号化装置では，画像復号装置で符号化データを復号し出力する際に，復号する符号化データの入力を開始してからその符号化データを復号した復号画像の出力を開始するまでの，シーケンス中の全フレームで復号画像の出力が遅延するフレーム数を示す情報（これを出力遅延フレーム数という）を符号化し，前記一連の符号化データの前に付加して出力するようにする。
【００１７】
画像復号装置では，この出力遅延フレーム数の符号化データを復号し，その出力遅延フレーム数と各フレームごとの出力タイミング番号に従って，復号画像の出力を制御する。
【００１８】
【発明の実施の形態】
まず，本発明の概要について具体例に従って説明する。図１および図２は，本発明に基づく出力タイミング番号の作用を説明する図である。
【００１９】
従来技術では，各フレームの出力時刻を示す方法として，各フレームにシーケンス先頭からの時刻情報を持たせる方法，前フレームからの差分時刻情報を持たせる方法，基準となるフレームを設定して，基準フレームにシーケンス先頭位置からの時刻情報を持たせ，各フレームには，基準フレームからの時刻情報を持たせる方法，または，基準となるフレームを設定して，基準フレームにシーケンス先頭位置からの時刻情報を持たせ，各フレームには，前フレームからの差分時刻情報を持たせる方法が用いられていた。したがって，これらの方法では，符号化データを複数フレーム単位で入れ替える場合に，時刻情報の変更が必要であり，その作業が煩雑であるという問題があった。
【００２０】
本発明では，各フレームに従来技術のような時刻情報ではなく，復号画像を出力する際の現在の復号フレームを基準としたタイミングを示す出力タイミング番号（以後，この値をＯｕｔｐｕｔＴｉｍＮｕｍと表す）を持たせる。また，シーケンス全体として復号画像の出力を遅延させるフレーム数を示す出力遅延フレーム数（以後，この値をＤｅｌａｙＮｕｍと表す）を符号化する。この方法によれば，符号化データを複数フレーム単位で入れ替える際に，符号化データ中の出力タイミング番号と出力遅延フレーム数とを変更する必要がない。
【００２１】
例えば，シーケンスの符号化データが，図１（Ａ）に示すように，（Ｉ３）（Ｐ４）（Ｂ１）（Ｂ２）（Ｉ６）（Ｂ５）となっていたとする。ただし，Ｉ，Ｐ，Ｂは，それぞれ符号化モードを示し，符号化モードの後の番号は出力順序を示す。（Ｂ１）と（Ｂ２）は，（Ｉ３）と（Ｐ４）を参照し，（Ｂ５）は（Ｉ６）を参照しているものとする。
【００２２】
図１に示す例では，出力遅延フレーム数が２であるとする。これは，最初の復号対象の画像（Ｉ３）を入力して，最初に復号画像（Ｂ１）を出力するまでに，２フレーム分の遅延があることを意味している。
【００２３】
画像復号装置は，１フレーム復号するたびに１フレーム出力するものとする。出力画像メモリとして複数フレーム分のメモリを有し，出力タイミング番号によって復号画像の格納位置が決められる。ここでは，説明をわかりやすくするために，画像を１フレーム出力すると，メモリ内のデータが一つ隣のメモリにシフトするものとする（実際には，メモリ内をデータがシフトするのではなく，インデックスを更新することによってデータがシフトしたように見せる）。出力タイミング番号の値が０の場合には，復号後，すぐに出力するものとする。
【００２４】
（Ｉ３）フレームの出力タイミング番号は４であるので，その復号画像は出力画像メモリのインデックス値が４のメモリに格納される。各フレームの処理時間単位で，インデックス値が−１ずつ減算され，（Ｉ３）フレームは，入力してから４フレーム分の時間だけ遅延して出力される。（Ｐ４）フレームの出力タイミング番号も４であるで，（Ｐ４）フレームも入力してから４フレーム分の時間経過後に出力される。（Ｂ１）フレームは，出力タイミング番号が０であるので，直ちに出力され，（Ｂ２）フレームも直ちに出力される。（Ｂ２）フレームの出力の後に，（Ｉ４）フレームの復号画像が出力され，続いて（Ｐ４）フレームの復号画像が出力されることになる。（Ｐ４）フレームの出力後，（Ｂ５）フレーム，（Ｉ６）フレームの順番で出力される。
【００２５】
出力するフレームの順番が（Ｂ１）（Ｂ２）（Ｉ３）（Ｐ４）（Ｂ５）（Ｉ６）である画像情報を符号化する順番は，（Ｉ３）（Ｐ４）（Ｂ１）（Ｂ２）（Ｉ６）（Ｂ５）であるが，これを複数フレーム単位で入れ替えて，（Ｂ５）（Ｉ６）（Ｂ１）（Ｂ２）（Ｉ３）（Ｐ４）の順序で出力するように編集を行った場合にいて説明する。
【００２６】
この場合，符号化するフレームの順番は，（Ｉ６）（Ｂ５）（Ｉ３）（Ｐ４）（Ｂ１）（Ｂ２）になる。このとき，各フレームに付加された出力タイミング番号は，３，１，４，４，０，０であり，複数フレーム単位で出力する順番を入れ替えても，出力タイミング番号を変更する必要はない。図１（Ｂ）に，このときの復号の順番と，出力画像メモリの格納位置と，出力画像の順番の例を示す。
【００２７】
図１（Ｂ）に示す例から明らかなように，出力タイミング番号を変更しなくても，所望する順番で復号画像が出力される。複数フレーム単位の入れ替えが，どの位置であってもよいというわけではないが，必要に応じて入れ替えることができるフレーム位置を制限することにより，出力タイミング番号の変更処理を省略することできる。
【００２８】
同様に，図２に示す例について説明する。例えば，シーケンスの符号化データが，図２（Ａ）に示すように，（Ｉ１）（Ｐ２）（Ｉ４）（Ｂ３）となっていたとする。ただし，（Ｂ３）は（Ｉ４）を参照している。また，出力遅延フレーム数が１であるとする。
【００２９】
（Ｉ１）（Ｐ２）（Ｉ４）（Ｂ３）のフレームは，出力タイミング番号がそれぞれ１，１，２，０となっており，この出力タイミング番号によって出力画像メモリへの格納制御および出力画像メモリからの出力制御が行われ，（Ｉ１）（Ｐ２）（Ｂ３）（Ｉ４）の順番で復号画像が出力されることになる。
【００３０】
これを複数フレーム単位で入れ替えて，（Ｂ３）（Ｉ４）（Ｉ１）（Ｐ２）の順序で出力するように編集を行うものとする。図２（Ｂ）に示すように，符号化のフレームの順番は，（Ｉ４）（Ｂ３）（Ｉ１）（Ｐ２）であり，この場合にもそれぞれの出力タイミング番号によって，所望する順番で復号画像が出力されることになる。
【００３１】
以上のように，本方式では，データを入れ替える個所において，出力画像メモリには必ず最大で出力遅延フレーム数分だけフレームがバッファされている状態になるため，復号画像を上書きすることはない。
【００３２】
同じ出力遅延フレーム数のビットストリームは，結合することができる。また，出力遅延フレーム数が異なるビットストリームを結合する場合には，後述するように，出力遅延フレーム数の差分によってシーケンス毎に出力タイミング番号を調節することにより，結合することができるようになる。
【００３３】
復号画像と出力画像メモリの内容と出力画像の関係について，さらに他の具体例に従って説明する。図３および図４は，画像復号装置における出力画像メモリの使用例を説明する図である。
【００３４】
画像復号装置（デコーダ）は，インデックスで管理される出力画像メモリを備え，そのインデックスは，出力画像メモリ内のメモリから画像を出力するまでの現フレームからのフレーム数を示す。出力画像メモリが複数のメモリで構成される場合には，インデックスは，各メモリを区別する情報でもあり，出力画像メモリ内の各メモリに対して異なる数字で表現される。
【００３５】
画像復号装置は，出力タイミング番号に対応するインデックスが示す出力画像メモリの位置に復号画像を蓄積し，１フレーム分の符号化データを復号するたびに，インデックスを更新することによって，出力画像メモリに蓄積された復号画像かあるいは現フレームの復号画像を１フレーム出力する。
【００３６】
例えば，符号化データが（Ｉ１）（Ｂ２）（Ｂ３）（Ｉ４）（Ｂ５）（Ｂ６）（Ｉ７）となっている場合の動作例を示す。ピクチャタイプの後の番号は出力順序を示す。Ｂフレームの後方向フレーム間予測における参照フレームの表示時刻は未来であるとし，符号化データ中では，（Ｉ１）（Ｉ４）（Ｂ２）（Ｂ３）（Ｉ７）（Ｂ５）（Ｂ６）の順序に並んでいる。ただし，（Ｂ５）（Ｂ６）は，（Ｉ７）のみを参照しているものとする。
【００３７】
この場合，復号画像と出力タイミング番号，出力画像メモリの内容と出力画像の関係は，図３（Ａ）のようになる。この図では，出力タイミング番号が０の場合には，現フレームの復号画像をすぐに出力するものとする。出力タイミング番号が０以外の場合には，画像復号装置は，出力画像メモリからインデックス値が１のメモリに蓄積された画像を出力し，その後に復号画像を出力画像メモリ中の出力タイミング番号に対応するインデックスで指定された位置に蓄積する。画像復号装置は，出力タイミング番号の値にかかわらず，値が０であっても，画像を出力すると出力画像メモリのインデックスの値を更新する。インデックスの値の更新では，元のインデックスの値が１以外の場合には値を１引いて，１の場合には最大値に設定する。
【００３８】
ここで，図３（Ａ）では，出力画像メモリに３フレーム分のメモリを用意し，各メモリに１から始まる正の整数のインデックスを連番で割り当てた。このような構成も可能であるが，この場合には，出力画像メモリには，Ｂフレームの連続するフレーム数とさらに１フレーム分の容量のメモリを備える必要があり，必要なメモリ容量が大きくなる。
【００３９】
そこで，図３（Ｂ）のように出力画像メモリにはシーケンス中の全フレームで復号画像の出力が遅延するフレーム数である出力遅延フレーム数分のメモリを備えておき，各メモリに個別のインデックスを割り振るようにする。ただし，各メモリにおいて，メモリに復号画像が蓄積されていない場合には，インデックスを０に設定しておき，インデックスが０の値のときには，インデックスの値の更新は行わないとする。新たに復号した画像で，出力タイミング番号が０以外の場合には，インデックスが０のメモリ位置に蓄積する。
【００４０】
ここで，出力遅延フレーム数は，Ｂフレームで後方向フレーム間予測における参照フレームの表示時刻が未来となるフレーム数であり，画像符号化時に外部から指定することができるフレーム数である。
【００４１】
このようにすれば，出力画像メモリを出力遅延フレーム数だけ用意すればよく，図３（Ａ）のようなメモリ構成よりもメモリ容量を減らすことができる。ここで，出力遅延フレーム数はシーケンス内で同一の値に設定する。
【００４２】
図３（Ａ）または（Ｂ）に示す例から明らかなように，この方法によれば，画像復号装置は，１フレーム復号するたびに，１フレーム画像を出力することができる。また，この方法によれば，符号化データを複数フレーム単位で入れ替える際に，符号化データ中の出力タイミング番号を変更する必要がなく，したがって符号化データを変更する必要がない。
【００４３】
例えば，上記の符号化データ（Ｉ１）（Ｂ２）（Ｂ３）（Ｉ４）（Ｂ５）（Ｂ６）（Ｉ７）の出力順序を（Ｂ５）（Ｂ６）（Ｉ７）（Ｉ１）（Ｂ２）（Ｂ３）（Ｉ４）に入れ替える場合には，次のようになる。
【００４４】
符号化データ中は，（Ｉ１）（Ｉ４）（Ｂ２）（Ｂ３）（Ｉ７）（Ｂ５）（Ｂ６）に並んでいたものが，（Ｉ７）（Ｂ５）（Ｂ６）（Ｉ１）（Ｉ４）（Ｂ２）（Ｂ３）の順序になる。この場合の各フレームにおける，復号画像と出力タイミング番号，出力画像メモリの内容と出力画像の関係は，図４（Ａ）または（Ｂ）のようになり，出力タイミング番号を変更しなくとも良い。このようにフレームを入れ替えたとしても，出力タイミング番号を変更することなく，画像復号装置は１フレーム復号するたびに，１フレーム画像を出力することができる。また，入れ替える個所において，出力画像メモリには必ず最大で，出力遅延フレーム数分だけ蓄積されている状態になるため，出力画像メモリ内で復号画像を上書きすることはない。
【００４５】
以上のように本発明によれば，符号化データ中のフレームを入れ替えたとしても，符号化データを変更する必要がない。
【００４６】
また，画像復号装置は１フレーム復号するたびに，１フレーム画像を出力することができる。すなわち画像復号装置は，１フレームの復号と出力を同一の周波数で実行することができる。従来のＴＲを使って出力時間を指定する方法では，符号化データ中にＢフレームがあると，画像復号装置は１フレームの復号に対して，フレームを出力しなかったり，複数のフレームをまとめて出力する必要があり，画像復号装置の画像出力部分の装置構成が複雑になる問題があった。しかし，本発明では，画像復号装置は１フレームの復号と同一の周波数で１フレームを出力する構成で十分であり，出力部分の装置構成は簡易に実現できる。
【００４７】
本発明では，符号化データの出力遅延フレーム数が同一であれば，出力画像メモリ内での復号画像のインデックスの最大値が同じとなり，符号化データを結合することが可能である。したがって，符号化データを結合できるかどうかを判断するために，出力遅延フレーム数を符号化データに含めることは好適である。例えばシーケンスヘッダに含めることは好適である。
【００４８】
出力遅延フレーム数が異なる符号化データを結合するには，次のような方法がある。これには結合する符号化データの出力遅延フレーム数が同じになれば良い。そこで複数の出力遅延フレーム数の最大数（ＭａｘＤｅｌａｙＮｕｍ　）を求め，各符号化データにおいて，出力遅延フレーム数（ＤｅｌａｙＮｕｍ）から，差分出力遅延フレーム数（ＤｅｌｔａＤｅｌａｙＮｕｍ　）を次の式に従って求める。
【００４９】
ＤｅｌｔａＤｅｌａｙＮｕｍ　＝ＭａｘＤｅｌａｙＮｕｍ　−ＤｅｌａｙＮｕｍ
この差分出力遅延フレーム数（ＤｅｌｔａＤｅｌａｙＮｕｍ　）を，符号化データ中の各フレームの出力タイミング番号（ＯｕｔｐｕｔＴｉｍＮｕｍ）に加算して得られる値を，改めて出力タイミング番号とする。以上により，結合する符号化データはすべて，ＭａｘＤｅｌａｙＮｕｍ　を出力遅延フレーム数とする符号化データとなり，結合することが可能となる。この場合には，差分出力遅延フレーム数（ＤｅｌｔａＤｅｌａｙＮｕｍ　）を符号化データに含める必要がある。例えばＭＰＥＧ−２のＧＯＰ単位で結合する場合には，差分出力遅延フレーム数をＧＯＰヘッダに含めることは好適である。
【００５０】
次に，本発明の実施の形態に係る画像符号化装置と画像復号装置の例を説明する。
【００５１】
〔画像符号化装置の構成例１〕
図５に，画像符号化装置の第１の構成例の装置概要を示す。画像符号化装置１０は，画像情報を１フレーム単位で取り込む画像入力部１０１と，取り込んだ画像のフレーム数のカウンターを１増やす入力フレーム数カウント部１０２と，取り込んだ画像をＩ，Ｐ，Ｂフレームのいずれで符号化するのかを示す符号化モードを外部から指定する符号化モード指定部１０３と，符号化モード指定部１０３で指定される符号化モードがＢフレームかどうかに従って，取り込んだフレームをすぐに符号化するかどうかを決定する符号化決定部１０４と，取り込んだフレームをすぐに符号化する場合に，そのフレーム数のカウンターを１増やす符号化フレーム数カウント部１０５と，復号側でシーケンス中の全フレームで復号画像の出力が遅延するフレーム数を示す出力遅延フレーム数を外部から指定する遅延指定部１０６と，入力フレーム数カウント部１０２でカウントしているフレーム数と，符号化フレーム数カウント部１０５でカウントしているフレーム数と，遅延指定部１０６で指定された出力遅延フレーム数とから，復号側の出力画像メモリ中に格納された復号画像をどのタイミングで出力するのかを示す出力タイミング番号を計算する出力タイミング番号計算部１０７と，符号化決定部１０４における，取り込んだフレームをすぐに符号化するかどうかの決定結果から，復号側で復号画像をすぐに出力するかどうかを決定する復号画像出力決定部１０８と，出力タイミング番号を可変長または固定長符号化する出力タイミング番号符号化部１０９と，復号側で復号画像をすぐに出力するかどうかを指定する復号画像出力フラグを可変長または固定長符号化する復号画像出力フラグ符号化部１１０と，取り込んだフレームをフレーム間予測符号化を用いて符号化するフレーム間予測符号化部１１１と，フレーム間予測符号化部１１１から得られる符号化データを復号する復号部１１２と，復号画像を蓄積する参照画像メモリ１１３と，取り込んだフレームをすぐに符号化しない場合に，取り込んだフレームを蓄積する入力画像遅延メモリ１１４と，入力画像遅延メモリ１１４に蓄積したフレームがある場合に，そのフレームをフレーム間予測符号化部１１１で符号化するかどうかを決定する遅延画像符号化決定部１１５とを備える。
【００５２】
図中のＳＷ１〜ＳＷ３は，各部への入力または出力を切り替えるスイッチ部である。スイッチ部ＳＷ１は，画像入力部１０１が取り込んだフレームを，符号化決定部１０４がすぐに符号化すると決定した場合に，その入力フレームをスイッチ部ＳＷ２へ導き，すぐに符号化しないと決定した場合には，その入力フレームを入力画像遅延メモリ１１４へ導く。スイッチ部ＳＷ２は，遅延画像符号化決定部１１５が入力画像遅延メモリ１１４に蓄積されているフレームを符号化するかどうかの決定結果に従って，入力画像遅延メモリ１１４に蓄積していたフレームをフレーム間予測符号化部１１１へ導くか，スイッチ部ＳＷ１からの入力フレームをフレーム間予測符号化部１１１へ導くかする切り替えを行う。
【００５３】
また，スイッチ部ＳＷ３は，復号画像出力決定部１０８による復号側で復号画像をすぐに出力するかどうかを決定した結果に従って，出力タイミング番号符号化部１０９による符号化または復号画像出力フラグ符号化部１１０による符号化を制御する。
【００５４】
図６に，画像符号化装置１０の動作フローを示す。まず，ステップＳ１００では，外部から出力遅延フレーム数（ＤｅｌａｙＮｕｍ）が指定される。ステップＳ１０１では，画像符号化装置１０が符号化する画像が存在するかどうかをチェックし，存在する場合にはステップＳ１０２へ進み，存在しない場合には画像符号化装置１０自体の処理を終了する。
【００５５】
ステップＳ１０２では，画像入力部１０１が入力画像を１フレーム取り込む。ステップＳ１０３では，入力フレーム数カウント部１０２が取り込んだフレームのフレーム数カウンター（以後，この値をＩｎｐｕｔＦｒａｍｅＮｕｍ　で示す）を１増やす。ステップＳ１０４では，符号化モード指定部１０３が，画像入力部１０１が取り込んだフレームの符号化モードを外部から指定する。ステップＳ１０５では，符号化決定部１０４が，フレームの符号化モードがＢフレームである場合には，取り込んだフレームの符号化を遅延すると決定し，それ以外のフレームでは取り込んだフレームをすぐに符号化すると決定する。遅延して符号化すると決定した場合には，ステップＳ１０６へ進み，すぐに符号化すると決定した場合には，ステップＳ１０７へ進む。
【００５６】
ステップＳ１０６では，符号化を遅延すると決定したフレームの画像情報を入力画像遅延メモリ１１４に蓄積する。その後，ステップＳ１０２に戻って，同様に次のフレームの処理を行う。
【００５７】
ステップＳ１０７では，符号化フレーム数カウント部１０５が，取り込んだフレームをすぐに符号化すると決定したフレームのフレーム数カウンター（以後，この値をＥｎｃｏｄｅＦｒａｍｅＮｕｍで示す）を１増やす。ステップＳ１０９では，復号画像出力決定部１０８が，復号側で復号画像を復号直後に出力するかどうかを決定する。ここで，ステップＳ１０５において，符号化決定部１０４が取り込んだフレームをすぐに符号化しないと決定した場合には，復号画像を復号直後に出力すると決定し，取り込んだフレームをすぐに符号化すると決定した場合には，復号画像を復号直後に出力しないと決定する。復号画像を復号直後に出力すると決定した場合には，ステップＳ１１０へ進み，復号画像を復号直後に出力すると決定した場合には，ステップＳ１１１へ進む。
【００５８】
ステップＳ１１０では，復号側で復号画像を復号直後に出力すると決定された場合に，復号画像出力フラグ符号化部１１０が復号画像出力フラグを値“１”に設定して符号化する。その後，ステップＳ１１４へ進む。
【００５９】
ステップＳ１１１では，復号側で復号画像を復号直後に出力しないと決定された場合に，復号画像出力フラグ符号化部１１０が復号画像出力フラグを値“０”に設定して符号化する。ステップＳ１１２では，出力タイミング番号計算部１０７が，出力遅延フレーム数（ＤｅｌａｙＮｕｍ）と入力フレーム数カウンター値（ＩｎｐｕｔＦｒａｍｅＮｕｍ　）と符号化フレーム数カウンター値（ＥｎｃｏｄｅＦｒａｍｅＮｕｍ）から，次式に従って，出力タイミング番号（ＯｕｔｐｕｔＴｉｍＮｕｍ）を計算する。
【００６０】
ＯｕｔｐｕｔＴｉｍＮｕｍ＝ＤｅｌａｙＮｕｍ＋ＩｎｐｕｔＦｒａｍｅＮｕｍ　−ＥｎｃｏｄｅＦｒａｍｅＮｕｍ
ステップＳ１１３では，復号側で復号画像を復号直後に出力しないと決定された場合に，出力タイミング番号符号化部１０９が出力タイミング番号を符号化する。
【００６１】
ステップＳ１１４では，符号化するフレームをブロックに分割して，すべてのブロックが符号化されたかどうかを判定する。まだ符号化されていないブロックがあれば，ステップＳ１１５へ進み，フレーム間予測符号化部１１１がブロックを符号化し，符号化結果の符号化データを出力する。ステップＳ１１６では，復号部１１２がフレーム間予測符号化部１１１で得られた符号化データを復号する。ステップＳ１１７では，復号画像を参照画像メモリ１１３に蓄積する。
【００６２】
ステップＳ１１４ですべて符号化されたと判定された場合には，ステップＳ１１８へ進み，ステップＳ１１８では，遅延画像符号化決定部１１５が入力画像遅延メモリ１１４に入力画像が蓄積されているかどうかをチェックし，蓄積されていれば，そのフレームの入力画像を符号化対象として，ステップＳ１０７へ戻る。入力画像が蓄積されていなければ，ステップＳ１０１へ戻る。
【００６３】
ステップＳ１１４ですべてのブロックが符号化されたかどうかを判定する方法としては，例えば次のよう方法を用いることができる。
（１）予めフレーム内のブロック総数を計測しておき，符号化したブロック数がブロック総数に一致した時に，すべてのブロックが符号化されたと判定する。
（２）画像入力部１０１が取り込んだ画像データの最後に，予め特有なビットパターンを持つＥＯＢ画像を入れておき，ＥＯＢ画像を検出した時に，すべてのブロックが符号化されたと判定する。
【００６４】
以上の例では，ステップＳ１１２で出力タイミング番号計算部１０７が出力タイミング番号を計算したが，ステップＳ１０９の直前やステップＳ１１１の直前にて，このステップを実行してもよい。
【００６５】
〔画像符号化装置の構成例２〕
図７に，画像符号化装置の第２の構成例の装置概要を示す。前述した第１の構成例では，出力タイミング番号の他に，復号画像出力フラグ符号化部１１０によって，復号画像出力フラグを符号化したが，出力タイミング番号の特定の値を使って復号画像を出力するかどうかを指定することも可能である。例えば出力タイミング番号の値が０の場合に復号画像を出力するとし，それ以外の値の場合には復号画像を出力せず，さらに復号画像を出力画像メモリの中で出力タイミング番号で指定されるインデックス位置に蓄積することを指定する。
【００６６】
この場合の画像符号化装置１１の構成は，図７のようになる。また動作フローは図８に示すようになる。第２の構成例の画像符号化装置１１において，第１の構成例の画像符号化装置１０と同じ符号で示される要素は，同じ機能を持つので，個々の要素の詳細な説明は省略する。
【００６７】
図８に示す動作フローにおいて，図６で説明した動作フローと異なるのは，図６に示すステップＳ１０９〜Ｓ１１３の部分が，図８ではステップＳ２０８〜Ｓ２１３になっていることである。以下では，前述した例と異なる部分についてのみ説明する。
【００６８】
図８のステップＳ２０８では，まず出力タイミング番号計算部１０７が，出力遅延フレーム数（ＤｅｌａｙＮｕｍ）と入力フレーム数カウンター値（ＩｎｐｕｔＦｒａｍｅＮｕｍ　）と符号化フレーム数カウンター値（ＥｎｃｏｄｅＦｒａｍｅＮｕｍ）とから，次式に従って，出力タイミング番号（ＯｕｔｐｕｔＴｉｍＮｕｍ）を計算する。
【００６９】
ＯｕｔｐｕｔＴｉｍＮｕｍ＝ＤｅｌａｙＮｕｍ＋ＩｎｐｕｔＦｒａｍｅＮｕｍ　−ＥｎｃｏｄｅＦｒａｍｅＮｕｍ
このとき，符号化決定部１０４が，取り込んだフレームをすぐに符号化しないと決定した場合には，出力タイミング番号を前式によって計算して決定する代わりに，出力タイミング番号（ＯｕｔｐｕｔＴｉｍＮｕｍ）の値を“０”に設定する。
【００７０】
ステップＳ２１３では，ステップＳ２０８で決定された出力タイミング番号を符号化し，その符号化結果を出力する。
【００７１】
〔画像符号化装置の構成例３〕
図９に，画像符号化装置の第３の構成例の装置概要を示す。図９に示す画像符号化装置１２は，前述した第１の構成例の画像符号化装置１０に，さらに遅延符号化部１１６を付加した構成になっている。
【００７２】
遅延符号化部１１６は，遅延指定部１０６で指定された出力遅延フレーム数を可変長または固定長符号化し，この出力遅延フレーム数の符号化結果を符号化データ中に含める。画像符号化装置１２の動作フローは，図６で説明した画像符号化装置１０の動作フローと同様である。また，差分出力遅延フレーム数を符号化データ中に含める場合にも，画像符号化装置１２の構成となり，動作フローも同様である。
【００７３】
〔画像符号化装置の構成例４〕
図１０に，画像符号化装置の第４の構成例の装置概要を示す。図１０に示す画像符号化装置１３は，前述した第２の構成例の画像符号化装置１１に，さらに遅延符号化部１１６を付加した構成になっている。
【００７４】
遅延符号化部１１６は，遅延指定部１０６で指定された出力遅延フレーム数を可変長または固定長符号化し，この出力遅延フレーム数の符号化結果を符号化データ中に含める。画像符号化装置１３の動作フローは，図８で説明した画像符号化装置１１の動作フローと同様である。また，差分出力遅延フレーム数を符号化データ中に含める場合にも，画像符号化装置１３の構成となり，動作フローも同様である。
【００７５】
次に，以上説明したような構成で符号化された符号化データを復号する画像復号装置の説明を行う。
【００７６】
〔画像復号装置の構成例１〕
まず，図５に示す第１の構成例の画像符号化装置１０から出力される符号化データを復号する画像復号装置の説明を行う。図１１に，画像復号装置の第１の構成例の装置概要を示す。
【００７７】
画像復号装置２０は，符号化データを復号する復号部２０１と，復号画像を蓄積する参照画像メモリ２０２と，復号画像を復号直後に出力するかどうかを示す復号画像出力フラグを復号する復号画像出力フラグ復号部２０３と，復号画像出力フラグが復号画像を復号直後に出力しないことを示す場合に，出力タイミング番号を復号する出力タイミング番号復号部２０４と，出力タイミング番号で示されたインデックス位置に復号画像を蓄積する出力画像メモリ２０５と，１フレーム復号するたびに出力画像メモリ２０５のインデックスを更新する出力画像メモリインデックス更新部２０６とを備える。
【００７８】
復号画像出力フラグ復号部２０３が復号した復号画像出力フラグによって，復号部２０１が復号した画像情報をすぐに出力するか，復号部２０１が復号した画像情報を出力画像メモリ２０５に蓄積するかを切り替えるスイッチ部ＳＷ４を備える。
【００７９】
出力画像メモリインデックス更新部２０６におけるインデックスの更新では，インデックスの値が“０”以外の場合には値を１減らし，インデックスの値が“０”の場合には，値を最大値に設定する処理を行う。
【００８０】
図１２に，画像復号装置２０の動作フローを示す。ステップＳ３０１では，画像復号装置２０が復号する符号化データが存在するかどうかをチェックし，存在する場合にはステップＳ３０２へ進み，存在しない場合には，ステップＳ３１４へ進む。
【００８１】
ステップＳ３０２では，フレーム内のすべてのブロックが復号されたかどうかを判定する。復号されていないブロックがあれば，ステップＳ３０３へ進み，復号部２１０が符号化データを復号する。続いて，ステップＳ３０４では，復号画像を参照画像メモリ２０２に蓄積し，その後，ステップＳ３０２へ戻る。
【００８２】
ステップＳ３０２において，フレーム内のすべてのブロックが復号されたと判定されると，ステップＳ３０５へ進み，復号画像出力フラグ復号部２０３が復号画像出力フラグを復号する。ステップＳ３０７では，復号画像出力フラグが“０”かどうかを判定し，復号画像出力フラグが“０”であれば復号画像を出力せず，“１”であれば復号画像を出力すると判定する。
【００８３】
復号画像出力フラグが“０”の場合，ステップＳ３０８へ進み，ステップＳ３０８では，出力タイミング番号復号部２０４が出力タイミング番号を復号する。続いて，ステップＳ３０９では，出力画像メモリ２０５からインデックス値が１で示されるメモリ内の復号画像を出力する。ステップＳ３１０では，出力画像メモリインデックス更新部２０６が，出力画像メモリ２０５のインデックスを更新する。ステップＳ３１１では，出力画像メモリ２０５中の，出力タイミング番号で指定されたインデックス位置に復号画像を蓄積する。その後，ステップＳ３０１へ戻る。
【００８４】
ステップＳ３０７の判定において，復号画像出力フラグが“１”の場合，ステップＳ３１２へ進み，ステップＳ３１２では，復号部２０１が復号した復号画像を出力する。ステップＳ３１３では，出力画像メモリインデックス更新部２０６が出力画像メモリ２０５のインデックスを更新する。その後，ステップＳ３０１へ戻る。ステップＳ３０１の判定にて，復号する符号化データが存在しなくなったと判定された場合に，ステップＳ３１４では，出力画像メモリ２０５内の全画像を出力する。
【００８５】
〔画像復号装置の構成例２〕
図１３に，画像復号装置の第２の構成例の装置概要を示す。この画像復号装置２１は，図７に示す画像符号化装置１１で符号化された符号化データを復号する。
【００８６】
前述した第１の構成例の画像復号装置２０では，出力タイミング番号の他に，復号画像出力フラグを復号したが，出力タイミング番号の特定の値を使って復号画像を出力するかどうかを指定することも可能である。例えば出力タイミング番号の値が“０”の場合に復号画像を出力するとし，それ以外の値の場合には復号画像を出力せず，さらに復号画像を出力画像メモリの中で出力タイミング番号で指定されるインデックス位置に蓄積することを指定する。この場合の画像復号装置の構成は，図１３のようになる。また動作フローは，図１４のようになる。
【００８７】
第２の構成例の画像復号装置２１において，第１の構成例の画像復号装置２０との違いは，第１の構成例における復号画像出力フラグ復号部２０３の代わりに，復号画像出力決定部２０９があることである。復号画像出力決定部２０９は，復号部２０１が復号した復号画像をすぐに出力するかどうかを，出力タイミング番号復号部２０８が復号した出力タイミング番号の値によって決定する。出力タイミング番号の値が“０”の場合には，復号画像をすぐに出力すると決定し，“０”以外の値の場合には，復号画像をすぐには出力せず，出力タイミング番号の値によって示される出力画像メモリ２０５のインデックスの位置に復号画像を蓄積する。画像復号装置２１の他の部分については，前述した第１の構成例と同様である。
【００８８】
図１４に示す動作フローにおいて，図１２で説明した動作フローと異なるのは，図１２のステップＳ３０５による復号画像出力フラグを復号する代わりに，ステップＳ４０６によって出力タイミング番号の復号を行い，この値によって復号画像を出力するかどうかを，ステップＳ４０７において決定する点である。
【００８９】
〔画像復号装置の構成例３〕
図１５に，画像復号装置の第３の構成例の装置概要を示す。図１５に示す画像復号装置２２は，前述した第１の構成例の画像復号装置２０に，さらに遅延復号部２０７を付加した構成になっている。この画像復号装置２２は，図９に示す画像符号化装置１２で符号化された符号化データを復号する。
【００９０】
画像復号装置２２が入力する符号化データ中には，符号化された出力遅延フレーム数の情報が含まれており，遅延復号部２０７は，その符号化された出力遅延フレーム数を可変長または固定長復号する。
【００９１】
この画像復号装置２２の動作フローを，図１６に示す。基本的には，図１２に示した第１の構成例の画像復号装置２０の動作フローと同様であるが，シーケンスの符号化データの復号開始時に，ステップＳ５００において，遅延復号部２０７が出力遅延フレーム数を復号する処理が追加されている。
【００９２】
また，差分出力遅延フレーム数（ＤｅｌｔａＤｅｌａｙＮｕｍ　）を符号化データ中に含める実施の場合にも，画像復号装置の構成は，図１５に示すようになり，遅延復号部２０７が出力遅延フレーム数の復号と同様に，差分出力遅延フレーム数を可変長または固定長復号する。
【００９３】
出力遅延フレーム数が符号化データ中に含まれる場合には，図１６のステップＳ５００において，出力遅延フレーム数の復号と差分出力遅延フレーム数の復号とを行い，ステップＳ５０８で，出力タイミング番号復号部２０４が出力タイミング番号を復号した後，復号した出力タイミング番号に差分出力遅延フレーム数（ＤｅｌｔａＤｅｌａｙＮｕｍ　）を加算した値を，実際に用いる出力タイミング番号（ＤｅｌａｙＮｕｍ）とする。
【００９４】
〔画像復号装置の構成例４〕
図１７に，画像復号装置の第４の構成例の装置概要を示す。図１７に示す画像復号装置２３は，前述した第２の構成例の画像復号装置２１に，さらに遅延復号部２０７を付加した構成になっている。この画像復号装置２３は，図１０に示す画像符号化装置１３で符号化された符号化データを復号する。
【００９５】
画像復号装置２３が入力する符号化データ中には，符号化された出力遅延フレーム数の情報が含まれており，遅延復号部２０７は，その符号化された出力遅延フレーム数を可変長または固定長復号する。
【００９６】
この画像復号装置２３の動作フローを，図１８に示す。基本的には，図１４に示した第２の構成例の画像復号装置２１の動作フローと同様であるが，シーケンスの符号化データの復号開始時に，ステップＳ６００において，遅延復号部２０７が出力遅延フレーム数を復号する処理が追加されている。
【００９７】
また，差分出力遅延フレーム数（ＤｅｌｔａＤｅｌａｙＮｕｍ　）を符号化データ中に含める実施の場合にも，画像復号装置の構成は，図１７に示すようになり，遅延復号部２０７が出力遅延フレーム数の復号と同様に，差分出力遅延フレーム数を可変長または固定長復号する。
【００９８】
出力遅延フレーム数が符号化データ中に含まれる場合には，図１８のステップＳ６００において，出力遅延フレーム数の復号と差分出力遅延フレーム数の復号とを行い，ステップＳ６０６で，出力タイミング番号復号部２０４が出力タイミング番号を復号した後，復号した出力タイミング番号に差分出力遅延フレーム数（ＤｅｌｔａＤｅｌａｙＮｕｍ　）を加算した値を，実際に用いる出力タイミング番号（ＤｅｌａｙＮｕｍ）とする。
【００９９】
以上の画像符号化装置および画像復号装置が行う処理は，ハードウェア回路で実現できるだけでなく，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムは，コンピュータが読み取り可能な可搬媒体メモリ，半導体メモリ，ハードディスク等の適当な記録媒体に格納して，そこから読み出すことによりコンピュータに実行させることができる。
【０１００】
【発明の効果】
本発明によれば，符号化データ中の複数フレーム単位にフレームを入れ替えた場合に，時刻情報の変更の手間を省くことができる。
【０１０１】
また，画像復号装置は１フレーム復号するたびに，１フレーム画像を出力することができる。すなわち，画像復号装置の画像出力部分の装置構成を簡易にすることができる。
【図面の簡単な説明】
【図１】本発明に基づく出力タイミング番号の作用を説明する図である。
【図２】本発明に基づく出力タイミング番号の作用を説明する図である。
【図３】画像復号装置における出力画像メモリの使用例を説明する図である。
【図４】画像復号装置における出力画像メモリの使用例を説明する図である。
【図５】画像符号化装置の第１の構成例の装置概要を示す図である。
【図６】第１の構成例の画像符号化装置の動作フローを示す図である。
【図７】画像符号化装置の第２の構成例の装置概要を示す図である。
【図８】第２の構成例の画像符号化装置の動作フローを示す図である。
【図９】画像符号化装置の第３の構成例の装置概要を示す図である。
【図１０】画像符号化装置の第４の構成例の装置概要を示す図である。
【図１１】画像復号装置の第１の構成例の装置概要を示す図である。
【図１２】第１の構成例の画像復号装置の動作フローを示す図である。
【図１３】画像復号装置の第２の構成例の装置概要を示す図である。
【図１４】第２の構成例の画像復号装置の動作フローを示す図である。
【図１５】画像復号装置の第３の構成例の装置概要を示す図である。
【図１６】第３の構成例の画像復号装置の動作フローを示す図である。
【図１７】画像復号装置の第４の構成例の装置概要を示す図である。
【図１８】第４の構成例の画像復号装置の動作フローを示す図である。
【図１９】一般的なフレーム間予測符号化方式の予測関係の例を説明する図である。
【符号の説明】
１０　　画像符号化装置
１０１　画像入力部
１０２　入力フレーム数カウント部
１０３　符号化モード指定部
１０４　符号化決定部
１０５　符号化フレーム数カウント部
１０６　遅延指定部
１０７　出力タイミング番号計算部
１０８　復号画像出力決定部
１０９　出力タイミング番号符号化部
１１０　復号画像出力フラグ符号化部
１１１　フレーム間予測符号化部
１１２　復号部
１１３　参照画像メモリ
１１４　入力画像遅延メモリ
１１５　遅延画像符号化決定部
１１６　遅延符号化部
２０　　画像復号装置
２０１　復号部
２０２　参照画像メモリ
２０３　復号画像出力フラグ復号部
２０４　出力タイミング番号復号部
２０５　出力画像メモリ
２０６　出力画像メモリインデックス更新部
２０７　遅延復号部
２０８　出力タイミング番号復号部
２０９　復号画像出力決定部
ＳＷ１〜ＳＷ４　スイッチ部
【図１】
2004056232.tif 000003
【図２】
2004056232.tif 000004
【図３】
2004056232.tif 000005
【図４】
2004056232.tif 000006
【図５】
2004056232.tif 000007
【図６】
2004056232.tif 000008
【図７】
2004056232.tif 000009
【図８】
2004056232.tif 000010
【図９】
2004056232.tif 000011
【図１０】
2004056232.tif 000012
【図１１】
2004056232.tif 000013
【図１２】
2004056232.tif 000014
【図１３】
2004056232.tif 000015
【図１４】
2004056232.tif 000016
【図１５】
2004056232.tif 000017
【図１６】
2004056232.tif 000018
【図１７】
2004056232.tif 000019
【図１８】
2004056232.tif 000020
【図１９】
2004056232.tif 000021