(57)【特許請求の範囲】
【請求項１】
テレシネ変換された動画像のＭＰＥＧ２符号化フレームを復号する際に、第１の符号化フレームの次に復号する第２の符号化フレームの復号タイミングを推定する動画像復号タイミング推定方法において、
（１）前記第１の符号化フレームの表示順が１番目の場合、前記第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時と推定し、
（２）前記第１の符号化フレームの表示順が２番目の場合、前記第２の符号化フレームの表示期間が２フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の２フィールド期間前と推定し、当該第２の符号化フレームの表示期間が３フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の３フィールド期間前と推定し、
（３）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフレーム構造のとき、
（３−１）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−２）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（３−３）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が異なるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−４）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−５）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−６）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−７）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における上位フィールドのとき、
（４−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−２）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（４−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（４−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における下位フィールドのとき、
（５−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−２）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（５−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（５−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定することを特徴とする動画像復号タイミング推定方法。
【請求項２】
テレシネ変換された動画像のＭＰＥＧ２符号化フレーム列を復号する復号手段と、
前記復号手段で復号された前記符号化フレーム列のうちの第１の符号化フレームに付加されている、表示順を示す番号を識別するための第１の識別データと、フレーム構造／フィールド構造を識別するとともにフィールド構造の場合に最初に表示されるフィールドが上位フィールドか下位フィールドかを識別するための第２の識別データと、フレーム構造の場合に最初に表示されるフィールドが上位フィールドか下位フィールドかを識別するための第３の識別データを抽出する手段と、
前記符号化フレーム列のうち、前記第１の符号化フレームの次に復号する第２の符号化フレームに付加されている、当該第２の符号化フレームのフレーム構造／フィールド構造を識別するとともにフィールド構造の場合に最初に表示されるフィールドが上位フィールドか下位フィールドかを識別するための第４の識別データと、フレーム構造の場合に最初に表示されるフィールドが上位フィールドか下位フィールドかを識別するための第５の識別データと、画面の表示期間を識別するための第６の識別データを抽出する手段と、
前記第１乃至第６の識別データを基に、前記復号手段で前記第２の符号化フレームの復号を開始する復号開始時を推定する推定手段と、
を具備し、前記推定手段は、
（１）前記第１の符号化フレームの表示順が１番目の場合、前記第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時と推定し、
（２）前記第１の符号化フレームの表示順が２番目の場合、前記第２の符号化フレームの表示期間が２フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の２フィールド期間前と推定し、前記第２の符号化フレームの表示期間が３フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の３フィールド期間前と推定し、
（３）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフレーム構造のとき、
（３−１）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−２）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（３−３）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が異なるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−４）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−５）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−６）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−７）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における上位フィールドのとき、
（４−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−２）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（４−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（４−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における下位フィールドのとき、
（５−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−２）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（５−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（５−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定することを特徴とする動画像復号化装置。
【請求項３】
入力されたテレシネ変換された動画像のＭＰＥＧ２符号化フレーム列のうちの第１の符号化フレームに付加されている、表示順を示す番号を識別するための第１の識別データと、フレーム構造／フィールド構造を識別するとともにフィールド構造の場合に最初に表示されるフィールドが上位フィールドか下位フィールドかを識別するための第２の識別データと、フレーム構造の場合に最初に表示されるフィールドが上位フィールドか下位フィールドかを識別するための第３の識別データを抽出する手段と、
前記符号化フレーム列のうち、前記第１の符号化フレームの次に復号する第２の符号化フレームに付加されている、当該第２の符号化フレームのフレーム構造／フィールド構造を識別するとともにフィールド構造の場合に最初に表示されるフィールドが上位フィールドか下位フィールドかを識別するための第４の識別データと、フレーム構造の場合に最初に表示されるフィールドが上位フィールドか下位フィールドかを識別するための第５の識別データと、画面の表示期間を識別するための第６の識別データを抽出する手段と、
前記第１乃至第６の識別データを基に、前記第２の符号化フレームの復号開始時を推定する推定手段と、
前記推定手段で推定された前記第２の符号化フレームの復号開始時を表す情報を当該第２の符号化フレームに付加する手段と、
前記復号開始時を表す情報の付加された前記第２の符号化フレームを含む前記ＭＰＥＧ２符号化フレーム列と、入力されたオーディオのビットストリームとを多重化する多重化手段と、
を具備し、前記推定手段は、
（１）前記第１の符号化フレームの表示順が１番目の場合、前記第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時と推定し、
（２）前記第１の符号化フレームの表示順が２番目の場合、前記第２の符号化フレームの表示期間が２フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の２フィールド期間前と推定し、前記第２の符号化フレームの表示期間が３フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の３フィールド期間前と推定し、
（３）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフレーム構造のとき、
（３−１）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−２）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（３−３）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が異なるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−４）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−５）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−６）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−７）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における上位フィールドのとき、
（４−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−２）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（４−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（４−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における下位フィールドのとき、
（５−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−２）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（５−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（５−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定することを特徴とするＭＰＥＧシステム多重化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、個別に符号化される動画像、音声等の符号化データ列を同期化して多重化するＭＰＥＧシステムにおける動画像の復号タイミング推定方法および、それを用いた動画像符号化装置および動画像復号化装置に関する。
【０００２】
【従来の技術】
個別に符号化された動画像（ビデオ）、音声（オーディオ）等のデータ列を同期・多重して１本化するＭＰＥＧシステムには、主に、ＣＤ−ＲＯＭ等の蓄積メディアのアプリケーションに対応したＭＰＥＧ１システム、このＭＰＥＧ１のアプリケーションを含む幅広いアプリケーションに対応したＭＰＥＧ２システムとがある。
【０００３】
このようなＭＰＥＧシステムでは、ビデオ、オーディオ等を個別に符号化して得られた別個のデータ列（ストリーム）を時分割多重して１本のストリームにし、蓄積メディアに記録したり、通信ネットワークを介して伝送する。再生側では、蓄積メディアから読み出され、あるいは、通信ネットワークを介して受信された多重ストリームから各個別のストリームを分離してそれぞれの復号器に送り、各複合器で個別にストリームを復号して出力装置（ビデオモニタ、スピーカなど）に出力する。その際、送信側で意図したように、受信側で各個別ストリームを同期復号、再生出力するようになっている。
【０００４】
ところで、ＭＰＥＧの符号化画像には、画面の全てをイントラ符号化するイントラ符号化画像（Ｉピクチャ）、フレーム間順方向予測符号化画像（Ｐピクチャ）、過去の再生画像からの順方向予測と未来の再生画像からの逆方向予測をも使う双方向予測符号化画像（Ｂピクチャ）という３つの画像タイプがある。
【０００５】
双方向予測符号化のＢピクチャが挿入される場合、過去の再生画像のみならず、未来の再生画像をも参照する必要があるために、画面の処理順序と原画面の順序が異なることに注意が必要である。
【０００６】
すなわち、符号器では、Ｂピクチャをスキップして次のＩ、Ｐピクチャを先に符号化し、その後、間にあるＢピクチャを符号化する。復号器は、Ｂピクチャを直ちに復号して表示するが、Ｉ、Ｐピクチャは復号した後も間に入るＢピクチャの処理が終了してから表示する。従って、符号器と復号器を通すとＩまたはＰピクチャの現れる周期だけの遅延が発生することになる。
【０００７】
この様子を具体的に示したものが図８である。図８では、入力画像（原画像）、符号化画像、表示画像の関係を画面の処理順と原画面の順序の相違を含めて表している。
【０００８】
図８において、ｂ１２、ｂ１３は、（ｎ−１）番目のＧＯＰ（Ｇｒｏｕｐ    ｏｆ  Ｐｉｃｔｕｒｅ：Ｉピクチャが少なくとも１枚入った画面群構造）に含まれるＢピクチャを表し、ｐ１４は、（ｎ−１）番目のＧＯＰの最後のｐピクチャを表す。
【０００９】
Ｉ２は、ｎ番目のＧＯＰの最初のＩピクチャを表し、ｐ５は、ｎ番目のＧＯＰの最初のｐピクチャを表し、Ｂ０、Ｂ１、Ｂ３、Ｂ４は、ｎ番目のＧＯＰに含まれるＢピクチャを表す。
【００１０】
各ピクチャ間の復号のインターバルＴｘｘ（ｘｘ＝Ｂ０、Ｂ１、Ｉ２、…、Ｐ５、…）は、復号を行っているときに表示を行うピクチャの表示時間である。すなわち、
（１）  現在、Ｂピクチャを復号しているなら、次のピクチャの復号開始までのインターバルは、そのＢピクチャが表示される期間である。
【００１１】
（２）  現在、ＩまたはＰピクチャを復号しているなら、次のピクチャの復号開始までのインターバルは直前に復号を行ったＩまたはＰピクチャが表示される期間である。
【００１２】
ＭＰＥＧ１では、順次走査（ノンインタレース）の画像のみを扱っているが、ＭＰＥＧ２では、順次走査の画像だけでなく、インタレース走査（飛び越し走査）の画像も扱うことができる。順次走査方式とインタレース走査方式の違いを図９を参照して簡単に説明する。
【００１３】
図９では、３０Ｈｚ（詳しくは２９．９７Ｈｚ）順次走査方式（図９（ｂ）参照）と、３０Ｈｚインタレース走査方式、すなわち、フィールド周波数６０Ｈｚの場合（図９（ａ）参照）を例にとり示している。順次走査では、１枚のフレームの中の画像は、全て同じ時間にサンプリングされたものであるが、インタレース走査では、１枚のフレームの中の画像は異なった時間にサンプリングされたものが１ライン毎に交互に（すなわち、奇数ラインと偶数ラインを交互に）繰り返されている。この異なった時間にサンプリングされた画像をそれぞれ第１フィールド、第２フィールドと呼び、インタレース走査の画面では、１枚のフレームは、通常２枚のフィールド画像から構成されることになる（図９（ａ）参照）。
【００１４】
ＭＰＥＧ２では、ピクチャ（ＭＰＥＧにおける１枚の画像単位）にフレームを割り当てることもフィールドを割り当てることもできる。ピクチャにフレームが割り当てられた場合、この割り付け方をフレーム構造と呼ぶ。ピクチャにフィールドが割り当てられた場合、この割り付け方をフィールド構造と呼ぶ。１つの画像シーケンスの中で、フレーム構造とフィールド構造が混在してもよいし、どちらか一方の構造だけで符号化してもよい。
【００１５】
一方、ＭＰＥＧ１では、順次走査方式であるため、全てがフレーム画像として扱われていて、１フレームの表示時間は、２フィールド期間である。
ＭＰＥＧ２では、１フレームを表示する期間は、２フィールドあるいは３フィールドと任意に設定することができる。例えば、フレーム周期２４Ｈｚの映画ソースをＮＴＳＣ方式のフレーム周期３０Ｈｚのインタレースの受像装置でフレームレート変換して表示される場合、２：３プルダウンと呼ばれるテレシネ変換の情報を表すフラグ（ＴＦＦ、ＲＦＦ）を多重して符号化を行う。
【００１６】
ここで、フラグＴＦＦ（ｔｏｐ    ｆｉｅｌｄ    ｆｉｒｓｔ）とは、フレーム構造の場合、最初に表示されるフィールドが上位（ｔｏｐ  ｆｉｅｌｄ）か下位（ｂｏｔｔｏｍ  ｆｉｅｌｄ）かを示し、フラグＲＥＦ（ｒｅｐｅａｔ    ｆｉｒｓｔ    ｆｉｅｌｄ）は、１ピクチャの表示期間が２フィールドか、３フィールドかを示している。なお、この２つのフラグは、各ピクチャ毎に与えられるデータである。
【００１７】
さて、ここで、ランダムアクセス時やチャンネルホッピング時のように、符号化データの途中からエントリーする場合を考える。例えば、図８のｎ番目のＧＯＰから復号を開始する場合、最初のＩまたはＰピクチャの復号時に表示を行う画像がない。このような場合、図８中の復号画像ｐ１４の表示時間が不明であるため、Ｉ２ピクチャの次に復号を行うＢ０ピクチャの復号開始までのインターバルが２フィールド後であるか３フィールド後であるか特定できない。
【００１８】
また、シーケンスのスタートアップ時も同様に符号化側がＩ２ピクチャとＢ０ピクチャの復号インターバルを２フィールドとして符号化を行ったか３フィールドにして符号化を行ったかが不明な場合、前述と同様な問題が発生する。
【００１９】
従来、Ｂ０ピクチャの復号開始時刻を推定するには、次のような方法がある。すなわち、ＭＰＥＧ方式で符号化された画像データには、、付加情報として、符号化された各ピクチャの先頭のバイトが受信バッファに入力されてから復号に用いるまでのバッファ滞留時間（ＶＤ：ＶＢＶ  Ｄｅｌａｙ）が多重されている。このＶＤの値は、９０Ｈｚのクロックで測定したときのクロック数を１６ビットで表現したものである。ＶＤと受信バッファの占有量Ｂｎ、伝送レートＲの関係は、
ＶＤ＝９００００×Ｂｎ／Ｒ
となる。
【００２０】
これより、受信バッファの占有量がＢｎとなった時刻にＢ０ピクチャの復号を開始することが可能である。
しかし、この方法では、Ｂｎを求めるために除算を行う必要があるため、ハードウエアの規模が懸念される。また、可変レート符号化を行った場合は、伝送レートＲがピクチャ単位で変化する場合や、ＶＤの値が「０ｘＦＦＦＦ」という特殊な値で記録される場合があるため、Ｂｎを計算を行うことが非常に困難になる。
【００２１】
一方、従来の動画像符号化技術であるＭＰＥＧ１では、２：３プルダウンと呼ばれるテレシネ変換の情報を表すフラグ（ＴＦＦ、ＲＦＦ）がなく、全てがフレーム画像として扱われていた。従って、ＭＰＥＧ１により符号化された動画像信号を復号する場合、Ｂ０ピクチャの復号を開始する時刻は、Ｉ２ピクチャの復号から１フレーム（２フィールド）後でよい。
【００２２】
【発明が解決しようとする課題】
ＭＰＥＧ２では、前述したように、２：３プルダウンされた画像を扱う可能性があるため、２番目に入力された符号化画像（Ｂ０ピクチャ）の復号を開始する時刻が最初に入力された符号化画像（Ｉ２ピクチャ）の復号から２フィールド後か３フィールド後であるかを容易に特定できないという問題点がある。
【００２３】
すなわち、従来において、最初のＩピクチャの次に復号を行うＢピクチャの復号開始時刻を推定するには、
（１）  固定伝送レートの場合、ハードウエアの増加が予想される。
（２）  可変伝送レートの場合、従来技術では不可能である。
という問題点があった。
【００２４】
復号開始時間が正確に推定されないと、受信した圧縮データを蓄える受信バッファのオーバーフローやアンダーフローが発生する恐れがあり、正常に復号が行われなくなる恐れがある。また、ＭＰＥＧシステムにおいて、再生側でビデオ、オーディオを同期復号することが困難となる。同様に、ＭＰＥＧシステムの符号側においても、復号の開始タイミングを正確に掴めないと、オーディオ等の他のデータが適正な時刻に多重されなくなる。
【００２５】
そこで、本発明は、上記問題点を鑑みてなされたもので、動画像の符号化フレームを復号する際の２番目に復号を行う符号化フレームの復号タイミングを少ない演算量で正確に推定できる動画像復号タイミング推定方法、および、それを用いた動画像符号化装置および動画像復号化装置を提供することを目的とする。
【００２６】
【課題を解決するための手段】
本発明は、テレシネ変換された動画像のＭＰＥＧ２符号化フレームを復号する際の復号タイミングを推定するものであって、
（１）第１の符号化フレームの表示順が１番目の場合、次に復号する第２の符号化フレームの復号開始タイミングは、当該第２の符号化フレームの表示開始時と推定し、
（２）前記第１の符号化フレームの表示順が２番目の場合、前記第２の符号化フレームの表示期間が２フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の２フィールド期間前と推定し、当該２の符号化フレームの表示期間が３フィールド期間であるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の３フィールド期間前と推定し、
（３）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフレーム構造のとき、
（３−１）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−２）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドの位相が同じで、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（３−３）前記第２の符号化フレームがフレーム構造で、その最初に表示されるフィールドと、前記第１の符号化フレームの最初に表示されるフィールドが異なるとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−４）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（３−５）前記第２の符号化フレームがフィールド構造における上位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−６）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（３−７）前記第２の符号化フレームがフィールド構造における下位フィールドで、前記第１の符号化フレームの最初に表示されるフィールドが下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、当該第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における上位フィールドのとき、
（４−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−２）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（４−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（４−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（４−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５）前記第１の符号化フレームの表示順が３番目の場合、当該第１の符号化フレームがフィールド構造における下位フィールドのとき、
（５−１）前記第２の符号化フレームがフレーム構造で、上位フィールドが先に表示されるとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−２）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が２フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定し、
（５−３）前記第２の符号化フレームがフレーム構造で、下位フィールドが先に表示され、かつ、当該第２の符号化フレームの表示期間が３フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の６フィールド期間前と推定し、
（５−４）前記第２の符号化フレームがフィールド構造における上位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の５フィールド期間前と推定し、
（５−５）前記第２の符号化フレームがフィールド構造における下位フィールドのとき、当該第２の符号化フレームの復号開始タイミングは、前記第１の符号化フレームの表示開始時の４フィールド期間前と推定することを特徴とする。
本発明によれば、動画像の符号化フレームを復号する際に、２番目に復号を行う符号化フレームの復号タイミングを少ない演算量で正確に推定できる。
【００２７】
また、本発明の動画像復号化装置は、動画像の符号化データ列から、最初に復号される符号化フレームの表示順を示す番号、フレーム構造／フィールド構造の識別データ、フレーム構造の場合に画面の表示方法の識別データと、２番目に復号される符号化フレームのフレーム構造／フィールド構造の識別データ、フレーム構造の場合に画面の表示方法の識別データ、画面の表示期間を示すデータを抽出する抽出手段と、この抽出手段で抽出された各データと、画面の表示の連続性を基に、２番目の符号化フレームの復号開始時を推定する推定手段とを具備し、この推定手段で推定された復号開始時をもとに、前記符号化フレームを復号することにより、動画像の符号化フレームを復号する際の２番目に復号を行う符号化フレームの復号タイミングを少ない演算量で正確に推定できる。
【００２８】
また、本発明の動画像符号化装置は、動画像の符号化データ列から、最初に復号される符号化フレームの表示順を示す番号、フレーム構造／フィールド構造の識別データ、フレーム構造の場合に画面の表示方法の識別データと、２番目に復号される符号化フレームのフレーム構造／フィールド構造の識別データ、フレーム構造の場合に画面の表示方法の識別データ、画面の表示期間を示すデータを抽出する抽出手段と、この抽出手段で抽出された各データと、画面の表示の連続性を基に、２番目の符号化フレームの復号タイミングを算出する算出手段とを具備し、前記算出された復号タイミング情報を前記符号化フレームに付加することにより、動画像の符号化フレームを復号する際の２番目に復号を行う符号化フレームの復号タイミングを少ない演算量で正確に推定できる。
【００２９】
【発明の実施の形態】
以下、本発明の実施形態について図面を参照して説明する。
図１は、ＭＰＥＧ２のデータ構造の一例を概略的に示したものである。
ＭＰＥＧ２によって符号化された画像データは、上からシーケンス層、ＧＯＰ層、ピクチャ層、…、ブロック層までの階層構成をとるが、図１では、シーケンス層とＧＯＰ層について示している。
【００３０】
シーケンス層のデータ構造は、例えば、一連の同じ属性をもつ画面グループ（ＧＯＰ）のデータ（例えば、順次走査であることを示すＰＳ（Ｐｒｏｇｒｅｓｓｉｖｅ  Ｓｅｑｕｅｎｃｅ）等）を含むシーケンスヘッダ（ＳＨ）と、ＧＯＰのデータからなる。
【００３１】
ＧＯＰ層のデータ構造は、ランダムアクセスの単位となる画面グループ（ＧＯＰ）を構成する複数の画面に共通のデータを含むＧＯＰヘッダと、そのＧＯＰを構成する各画面（ピクチャ）のデータからなる。
【００３２】
ピクチャ層のデータ構造は、各画面毎に、その１枚の画面に共通な属性のデータ（例えば、ＴＲ、ＴＦＦ、ＲＥＦ、ＰＳＴＲ等）を含むピクチャヘッダと、各画面（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）の符号化データからなる。
【００３３】
このような構造のＭＰＥＧ２のデータは、ＭＰＥＧシステムにおいて、さらに、複数のパケットに分解され、オーディオパケット等ともに時分割多重されて、１本のデータ列を生成する。その際、ビデオ、オーディオ等の復号器を含むＭＰＥＧシステム復号器において時刻基準となるＳＴＣ（基本となる同期信号）の値を符号器側で意図した値にセット・校正するための情報であるＳＣＲ（Ｓｙｓｔｅｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）、アクセス・ユニットと呼ばれる復号再生の単位（すなわち、ビデオは１フレーム、オーディオは１オーディオ・フレーム）毎に必要に応じて、再生出力の時刻管理情報であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）、復号の時刻管理情報であるＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）が付加される。
【００３４】
ＭＰＥＧシステムの復号器における時刻基準ＳＴＣがＰＴＳに一致したとき、そのアクセス・ユニットを再生出力する。ＰＴＳは、例えば、９０ＫＨｚのクロックで計測した値で表される。
【００３５】
ＤＴＳは、ＭＰＥＧにおいて、ＩピクチャとＰピクチャは、Ｂピクチャよりも先行して符号化データ列に送出されるために、復号する順序と再生出力する順序が異なることに対応して設けられたもので、ＰＴＳとＤＴＳが異なる場合には、両方のタイムスタンプをつけ、一致する場合はＰＴＳだけをつける。
【００３６】
次に、本実施形態に係る復号タイミング推定方法について、図２、図３に示すフローチャートを参照して説明する。
なお、以下の説明において、符号化フレームとは、符号化対象である１画面の符号化データで、インタレース走査では、１符号化フレームは２枚のフィールド画像から構成されるものである。
【００３７】
まず、この復号タイミング推定方法で用いられるＭＰＥＧ２で定義されているデータ、すなわち、ＴＲ、ＴＦＦ、ＲＥＦ、ＰＳＴＲについて説明する。これらは、ＭＰＥＧ２のデータ構造では、ピクチャ層に付加されているものである。
【００３８】
ＴＲ（Ｔｅｍｐｏｒａｌ  Ｒｅｆｅｒｅｎｃｅ）は、ピクチャの表示順を示す番号である。図２、図３では、ＧＯＰの先頭にある、すなわち、復号処理の順番が最初の符号化フレームのＴＲをＴＲ０と示している。図２、図３では、ＴＲ０の値として、例えば、ＴＲ０＝０、１、２の場合を示している。
【００３９】
ＰＳＴＲ（Ｐｉｃｔｕｒｅ  Ｓｔｒｕｃｔｕｒｅ）は、符号化フレームがフレーム構造かフィールド構造かを示すもので、フィールド構造の場合は、上位フィールド（ｔｏｐ）か、下位フィールド（ｂｏｔｔｏｍ）かも合わせて示す。図２、図３では、ＰＳＴＲの値を、ＰＳＴＲ＝「ｆｒａｍ」、「ｔｏｐ」、「ｂｏｔｔｏｍ」と示している。また、図２、図３では、復号処理の順番が最初の符号化フレームのＰＳＴＲをＰＳＴＲ０、復号処理の順番が２番目の符号化フレームのＰＳＴＲをＰＳＴＲ１と示している。
【００４０】
ＴＦＦ（Ｔｏｐ  Ｆｉｅｌｄ  Ｆｉｒｓｔ）は、符号化フレームがフレーム構造の場合に、最初に表示されるフィールドが上位フィールド（ｔｏｐ）か下位フィールド（ｂｏｔｔｏｍ）かを示す。図２、図３では、ＴＦＦ＝０のとき、ｔｏｐから表示し、ＴＦＦ＝１のとき、ｂｏｔｔｏｍから表示することを示している。また、図２、図３では、復号処理の順番が最初の符号化フレームのＴＦＦをＴＦＦ０、２番目の符号化フレームのＴＦＦをＴＦＦ１と示している。
【００４１】
ＲＥＦ（Ｒｅｐｅａａｔ  Ｆｉｒｓｔ  Ｆｉｅｌｄ）は、２：３プルダウンの際に使われて、１符号化フレームの表示期間が２フィールドか、３フィールドかを示している。図２、図３では、ＲＥＦ＝０のとき２フィールドで、ＲＥＦ＝１のとき３フィールドであることを示している。また、図２、図３では、最初の符号化フレームのＲＥＦをＲＥＦ０、２番目の符号化フレームのＲＥＦをＲＥＦ１と示している。
【００４２】
基準時刻ＳＴＣに基づき、９０ＫＨｚのクロック数で表した１フィールド期間の値を図２、図３においてＦＰＲＤと示している。
最初の符号化フレームのＰＴＳ、ＤＴＳをそれぞれＰＴＳ０、ＤＴＳ０とすると、本発明の復号タイミング推定方法では、２番目の符号化フレームに付加されたＰＳＴ１、ＴＦＦ１、最初の符号化フレームに付加されたＴＲ０、ＰＳＴＲ０、ＰＴＳ０、ＴＦＦ０等の情報を有効に用いて、２番目の符号化フレームが得られた時点で２番目の符号化フレームの復号開始時間ＤＴＳ１を推定することを目的とするものである。
【００４３】
なお、ここで取り扱う動画像データは、Ｂピクチャを含み（ＬＤ（ｌｏｗ  ｄｒｌａｙ）＝０）、順次走査である（ＰＳ（ｐｒｏｇｒｅｓｓｉｖｅ  ｓｅｑｕｅｎｃｅ）＝０）ものとする。ＬＤ、ＰＳは、画像の表示周期（例えば、２４Ｈｚ／２９．９７Ｈｚ）を識別するデータＦＲＣ（ｆｒａｍｅ  ｒａｔｅ  ｃｏｄｅ）とともに、シーケンス層に付加されるデータである。
【００４４】
まず、最初の符号化フレームがＴＲ０＝２、ＰＳＴＲ０＝「ｆｒａｍｅ」、ＴＦＦ０＝１、２番目の符号化フレームがＰＳＴＲ１＝「ｆｒａｍｅ」、ＴＦＦ１＝０、ＲＥＦ１＝０の場合について説明する。
【００４５】
ステップＳ１で、ＴＲ０＝２、すなわち、最初の符号化フレームの表示番号が「２」であるので、ステップＳ４に進む。
ステップＳ４で、ＰＳＴＲ０＝「ｆｒａｍｅ」、すなわち、最初の符号化フレームがフレーム構造であるので、ステップＳ５に進む。
【００４６】
ステップＳ５で、ＰＳＴＲ１＝「ｆｒａｍｅ」、すなわち、２番目の符号化フレームがフレーム構造であるので、ステップＳ８に進む。
ステップＳ８で、ＴＦＦ０＝１、ＴＦＦ１＝０、すなわち、最初の符号化フレームは上位フィールドが先に表示され、２番目のフレームは下位フィールドが先に表示されるので、図３のステップＳ１４に進む。
【００４７】
この場合、図４を参照して具体的に説明する。ＴＲ０＝２より最初の符号化フレーム（Ｉ２）が表示されるまで符号化フレーム（Ｂピクチャ）が２枚挿入されるわけであるが、Ｉ２がフレーム構造でしかもＴＦＦ＝１であることからＩ２の表示は上位（ｔｏｐ）フィールドから開始される。
【００４８】
また、２番目の符号化フレームＢ０はフレーム構造でしかもＴＦＦ１＝０であることからＢ０の表示は下位フィールド（ｂｏｔｔｏｍ）から開始される。また、ＲＥＦ１＝０であるからＢ０の表示期間は２フィールドである。
【００４９】
従って、図４に示すように、ＢＯは、ｂｏｔｔｏｍ→ｔｏｐと表示され、Ｉ２は、ｔｏｐから表示される。
画面表示の際は、必ずｂｏｔｔｏｍフィールドとｔｏｐフィールドが交互に表示され、これを「表示の連続性」と呼ぶことにする。
【００５０】
この例では、Ｉ２が表示される前に表示される他方の符号化フレーム（Ｂピクチャ）Ｂ１の表示期間が不明であるが、仮に、Ｂ１の表示期間が特定できれば、Ｉ２の表示時刻ＰＳＴ０からＢ０、Ｂ１の表示期間を引いたものがＢ０の復号開始時刻になることが容易に理解できよう。
【００５１】
さて、表示の連続性から、２番目に表示されるＢピクチャ（Ｂ１）は、図４に示すように、奇数フィールド期間の表示であることがわかる。さらに、各符号化フレームは、２または３フィールド期間の表示しか許されないため、Ｂ１は、３フィールド期間の表示であることが判断できる。
【００５２】
従って、Ｂ０の復号開始時刻ＤＴＳ１は、Ｉ２の表示開示時刻の５フィールド前になることが推定される（図４参照）。
すなわち、図３のステップＳ１４において、ＢＯの復号開始時刻ＤＴＳ１は、次式（１）より求まる。
【００５３】
ＤＴＳ１＝ＰＴＳ０−５×ＦＰＲＤ      …（１）
ステップＳ８で、ＴＦＦ０＝ＴＦＦ１＝０、あるいは、ＴＦＦ０＝ＴＦＦ１＝１のとき、すなわち、図４において、Ｉ２とＢ０が共に下位フィールドあるいは上位フィールドから先に表示される場合は、図３のステップＳ１３に進む。
【００５４】
ステップＳ１３では、前述同様の原理に基づき、２番目の符号化フレームＢ０の復号開始時刻ＤＴＳ１は、ＲＦＦ１の値に応じて、次式（２）より求まることがわかる
ＤＴＳ１＝ＰＴＳ０−２×（２＋ＲＦＦ１）×ＦＰＲＤ      …（２）
ステップＳ５で、２番目の符号化フレームＢ０がＰＳＴＲ１＝「ｔｏｐ」であるとき、すなわち、上位フィールドから表示が開始されるとき、ステップＳ９に進む。
【００５５】
ステップＳ９では、最初の符号化フレームＩ２のＴＦＦ０の値と表示の連続性をもとに、Ｉ２の前に表示される符号化フレームＢ０、Ｂ１の表示期間を推定する。すなわち、ＴＦＦ０＝１のとき、ステップＳ１５に進み、ＴＦＦ１＝０のとき、ステップＳ１４に進む。
【００５６】
ステップＳ１５では、符号化フレームＢＯ、Ｂ１の表示期間は、４フィールドと推定されるので、Ｂ１の復号開始時刻ＤＴＳ１は、次式（３）より求めることができる。
【００５７】
ＤＴＳ１＝ＰＴＳ０−４×ＦＰＲＤ      …（３）
となる。
ステップＳ１４では、符号化フレームＢ０、Ｂ１の表示期間は５フィールドと推定されるので、Ｂ１の復号開始時間ＤＴＳ１は、（１）式より求めることができる。
【００５８】
ステップＳ５で、２番目の符号化フレームＢ０がＰＳＴＲ１＝「ｂｏｔｔｏｍ」であるとき、すなわち、下位フィールドから表示が開始されるとき、ステップＳ１０に進む。
【００５９】
ステップＳ１０では、最初の符号化フレームＩ２のＴＦＦ０の値と表示の連続性をもとに、Ｉ２の前に表示される符号化フレームＢ０、Ｂ１の表示期間を推定する。すなわち、ＴＦＦ０＝１のとき、符号化フレームＢ０、Ｂ１の表示期間は５フィールドと推定できるので、ステップＳ１４に進み、ＴＦＦ１＝０のとき、符号化フレームＢ０、Ｂ１の表示期間は４フィールドと推定できるので、ステップＳ１５に進む。
【００６０】
ステップＳ４で、最初の符号化フレームＩ２がＰＳＴＲ０＝「ｔｏｐ」のとき、すなわち、Ｉ２がフィールド構造で、しかも上位フィールドの場合は、ステップＳ６に進む。
【００６１】
ステップＳ６で、２番目の符号化フレームがＰＳＴＲ１＝「ｆｒａｍ」のとき、すなわち、Ｂ０がフレーム構造のときは、ステップＳ１１に進む。
ステップＳ１１では、２番目の符号化フレームＢ０のＴＦＦ１の値と表示の連続性を基に、ＢＯ、Ｂ１の表示期間を推定する。すなわち、ＴＦＦ１＝１のとき、ステップＳ１３に進み、ＴＦＦ１＝０のとき、ステップＳ１４に進む。
【００６２】
ステップＳ６で、２番目の符号化フレームがＰＳＴＲ１＝「ｔｏｐ」のとき、すなわち、Ｂ０がフィールド構造で、しかも、上位フィールドのときは、Ｂ０、Ｂ１の表示期間は４フィールドと推定できるので、ステップＳ１５に進む。
【００６３】
ステップＳ６で、２番目の符号化フレームがＰＳＴＲ１＝「ｂｏｔｔｏｍ」のとき、すなわち、Ｂ０がフィールド構造で、しかも、下位フィールドのときは、Ｂ０、Ｂ１の表示期間は５フィールドと推定できるので、ステップＳ１４に進む。
【００６４】
ステップＳ４で、最初の符号化フレームＩ２がＰＳＴＲ０＝「ｂｏｔｔｏｍ」のとき、すなわち、Ｉ２がフィールド構造で、しかも下位フィールドの場合は、ステップＳ７に進む。
【００６５】
ステップＳ７で、２番目の符号化フレームがＰＳＴＲ１＝「ｆｒａｍ」のとき、すなわち、Ｂ０がフレーム構造のときは、ステップＳ１２に進む。
ステップＳ１２では、２番目の符号化フレームＢ０のＴＦＦ１の値と表示の連続性を基に、ＢＯ、Ｂ１の表示期間を推定する。すなわち、ＴＦＦ１＝１のとき、ステップＳ１４に進み、ＴＦＦ１＝０のとき、ステップＳ１３に進む。
【００６６】
ステップＳ７で、２番目の符号化フレームがＰＳＴＲ１＝「ｔｏｐ」のとき、すなわち、Ｂ０がフィールド構造で、しかも、上位フィールドのときは、Ｂ０、Ｂ１の表示期間は５フィールドと推定できるので、ステップＳ１４に進む。
【００６７】
ステップＳ７で、２番目の符号化フレームがＰＳＴＲ１＝「ｂｏｔｔｏｍ」のとき、すなわち、Ｂ０がフィールド構造で、しかも、下位フィールドのときは、Ｂ０、Ｂ１の表示期間は４フィールドと推定できるので、ステップＳ１５に進む。
【００６８】
次に、最初の符号化画像がＴＲ０＝１、ＰＳＴＲ０＝「ｆｒａｍｅ」、２番目の符号化フレームがＰＳＴＲ１＝「ｆｒａｍｅ」、ＲＥＦ１＝０の場合について説明する。
【００６９】
ステップＳ１で、ＴＲ０＝１のとき、すなわち、最初の符号化フレームの表示番号が「１」であるとき、ステップＳ３に進む。
この場合、図５を参照して具体的に説明する。ＴＲ０＝１より、最初の符号化フレームＩ２が表示されるまでＢピクチャの符号化フレームが１枚挿入されるわけであるが、２番目の符号化フレームＢ０は、ＲＥＦ１＝０より、その表示期間は２フィールド期間となることがわかる。すなわち、Ｂ０の復号開始時刻ＤＴＳ１は、最初の符号化フレームＩ２の表示開始時刻の２フィールド前になることが推定される。
【００７０】
もし、２番目の符号化フレームＢ０が、ＲＥＦ１＝１であるときは、その表示期間は３フィールド期間となる。すなわち、Ｂ０の復号開始時刻ＤＴＳ１は、最初の符号化フレームＩ２の表示開始時刻の３フィールド前になることが推定される。
【００７１】
これらをまとめると、図３のステップＳ３において、Ｂ０の復号開始時刻ＤＴＳ１は、次式（４）より求めることができる。
ＤＴＳ１＝ＰＴＳ０−（２＋ＲＥＦ１）×ＦＲＰＤ      …（４）
ステップＳ１で、ＴＲ０＝０のとき、すなわち、最初の符号化フレームの表示番号が「０」のとき、そのＧＯＰ内の画像が他のＧＯＰから独立再生可能である場合が考えられる。このとき、ステップＳ２に進み、２番目の符号化フレームの復号時刻ＤＴＳ１は、最初の符号化フレームの表示開始時刻ＰＴＳ０と同じとなる。
【００７２】
以上、説明したように、上記動画像復号タイミング推定方法によれば、最初に復号される符号化フレームの表示順を示す番号（ＴＲ０）、フレーム構造／フィールド構造の識別データ（ＰＳＴＲ０）、フレーム構造の場合、画面の表示方法の識別データ（ＴＦＦ０）と、２番目に復号される符号化フレームのフレーム構造／フィールド構造の識別データ（ＰＳＴＲ１）、画面の表示方法の識別データ（ＴＦＦ１）、画面の表示期間を示すデータ（ＲＦＦ１）、画面の表示の連続性を基に、最初に復号される符号化フレームの表示開始時刻（ＰＴＳ０）より何フィールド期間前に２番目の符号化フレームの復号が開始されるか、すなわち、２番目の符号化フレームの復号開始時刻（ＤＴＳ１）を少ない演算量で正確に推定することができる。
【００７３】
なお。図２、３、では、ＴＲの値が０、１、２の場合について説明したが、これに限るものではなく、ＴＲの値に応じて前述同様に復号開始時刻の推定が可能となる。
【００７４】
次に、この復号タイミング推定方法を、ＭＰＥＧシステムの符号器および復号器に適用することを考える。
図６は、ＭＰＥＧシステムの復号器側の要部の構成を概略的に示したものである。ＭＰＥＧ１あるいはＭＰＥＧ２のビデオ、オーディオ等の多重化されたビットストリーム（以下、ＭＰＥＧビットストリームと呼ぶ）４０１が、蓄積メディアから読み出され、あるいは、ネットワークを介して受信されると、まず、ＭＰＥＧシステムデコーダ４０２に入力される。
【００７５】
ＭＰＥＧシステムデコーダ４０２は、以下の処理を行う。
（１）  ＭＰＥＧビットストリーム４０１からビデオのビットストリーム４０７を分離してＭＰＥＧビデオデコーダ４０３に出力する。
【００７６】
（２）  ＭＰＥＧビットストリーム４０１からオーディオのビットストリーム４１２を分離してオーディオデコーダ４１３に出力する。
（３）  ＭＰＥＧビットストリーム４０１から最初の符号化フレームの再生出力の時刻管理情報（ＰＴＳ）４０５と、復号の時刻管理情報（ＤＴＳ）４０６を分離し、復号開始タイミング制御回路４０８に出力する。
【００７７】
（４）  ＭＰＥＧビットストリーム４０１からシステム時刻基準参照値（ＳＣＲ）４０４を分離し、復号開始タイミング制御回路４０８に出力し、それをもとに具備されるＭＰＥＧシステムの時刻基準となるＳＴＣカウンタをセットする。
【００７８】
復号開始タイミング制御回路４０は、ＳＴＣカウンタの値と最初の符号化フレームのＤＴＳの値が一致した時点で復号開始信号４１０をＭＰＥＧビデオデコーダに出力する。
【００７９】
ＭＰＥＧビデオデコーダ４０３は、復号開始信号４１０を受けて最初の符号化フレームの復号を開始し、ビデオ信号４１１を出力する。
ＭＰＥＧビデオデコーダ４０３は、図１に示したような構造のビデオシーケンスから、期待される表示方法（すなわち、ＬＤ、ＰＳ、ＦＲＣ）のデータを分離する。さらに、最初の符号化フレームの先頭（ピクチャヘッダ）に含まれる符号化フレームの表示順を示す番号（ＴＲ０）、フレーム構造／フィールド構造の識別データ（ＰＳＴＲ０）、フレーム構造の場合、画面の表示方法の識別データ（ＴＦＦ）を分離し、これらデータ４０９を復号開始タイミング制御回路４０８に出力する。
【００８０】
次に、ＭＰＥＧビデオデコーダ４０３で最初の符号化フレームの復号が終了すると、２番目の符号化フレームの先頭（ピクチャヘッダ）に含まれるフレーム構造／フィールド構造の識別データ（ＰＳＴＲ１）、画面の表示方法の識別データ（ＴＦＦ１）、画面の表示期間を示すデータ（ＲＦＦ１）を分離、これらデータ４０９を復号開始タイミング制御回路４０８に出力する。
【００８１】
復号開始タイミング制御回路４０８では、図２、図３に示したフローチャートに従って、２番目の符号化フレームの復号開始時刻を算出し、その算出された時刻とＳＴＣカウンタの値が一致した時点で、復号開始信号４１０を出力する。
【００８２】
ＭＰＥＧビデオデコーダ４０３では、復号開始信号４１０を受けて、２番目の符号化フレームの復号を開始し、ビデオ信号４１１を出力する。
一方、復号開始タイミング制御回路４０８は、オーディオデコーダ４１３からオーディオのビットストリームから分離されたＰＴＳ４１５を受け取り、それを基に、ビデオ信号と同期再生するように、オーディオの復号開始信号４１６を出力する。
【００８３】
オーディオデコーダ４１３は、オーディオビットストリーム４１２を受け、復号開始信号４１６により復号を介しし、復号されたオーディオ信号４１４を出力する。
【００８４】
図７は、ＭＰＥＧシステムの符号器側の要部の構成を概略的に示したものである。
符号化されたビデオのビットストリーム５０１はビデオ文法解釈部５０２に入力され、それと同時に、システム多重化部５０３に入力される。
【００８５】
ビデオ文法解釈部５０２は、図１に示したような構造のビデオシーケンスから、期待される表示方法（すなわち、ＬＤ、ＰＳ、ＦＲＣ）のデータを分離する。さらに、最初の符号化フレームの先頭（ピクチャヘッダ）に含まれる符号化フレームの表示順を示す番号（ＴＲ０）、フレーム構造／フィールド構造の識別データ（ＰＳＴＲ０）、フレーム構造の場合、画面の表示方法の識別データ（ＴＦＦ）を分離し、これらデータ５０５をＰＴＳ／ＤＴＳ算出回路５０４に出力する。
【００８６】
ＭＰＥＧシステムエンコーダ５０３は、以下の処理を行う。
（１）  ビデオのビットストリーム５０１の最初の符号化フレームに対し、適切なＰＴＳ、ＤＴＳを多重し、この最初の符号化フレームに対するＰＴＳ、ＤＴＳのデータ５０６をＰＴＳ／ＤＴＳ算出回路５０４に出力する。
【００８７】
（２）  符号化されたオーディオのビットストリーム５０９に対し、適切なＰＴＳを多重する。
（３）  ビデオとオーディオのビットストリームを多重することにより、ＭＰＥＧシステムのビットストリーム５０８を出力する。
【００８８】
ＰＴＳ／ＤＴＳ算出回路５０４では、図２、図３に示したフローチャートに従って、２番目の符号化フレームのＰＴＳおよびＤＴＳを算出し、これらデータ５０７をＭＰＥＧシステムエンコーダ５０３に出力する。
【００８９】
ＭＰＥＧシステムエンコーダ５０３では、２番目の符号化フレームに対し、これらの値を参考にして、多重タイミングを制御する。また、必要に応じて、ＰＴＳ／ＤＴＳ算出回路５０４で算出されたＰＴＳ、ＤＴＳを多重してＭＰＥＧシステムのビットストリーム５０８を出力する。
【００９０】
多重化ビットストリーム５０８は、例えば、蓄積メディアに蓄積されたり、ネットワークを介してユーザ宅に配信されたりするようになっている。
以上説明したように、上記実施形態に係るＭＰＥＧシステムの復号化装置によれば、動画像の符号化フレームを復号する際の２番目に復号を行う符号化フレームの復号タイミングを少ない演算量で正確に推定できるので、
（１）  ビデオとオーディオを正確に同期再生できる。
（２）  ビデオのビットストリームを受信して一時蓄積する受信バッファの復号開始時におけるオーバーフローまたはアンダーフローを未然に防止できる。
【００９１】
また、上記実施形態に係るＭＰＥＧシステムの符号化装置によれば、
（１）  ビデオとオーディオを正確に同期多重することができる。
（２）  ビデオとオーディオを多重する際にこれらビットストリームを一時蓄積するバッファのオーバーフローまたはアンダーフローを未然に防止できる。
【００９２】
【発明の効果】
以上説明したように、本発明によれば、動画像の符号化フレームを復号する際の２番目に復号を行う符号化フレームの復号タイミングを少ない演算量で正確に推定できる動画像復号タイミング推定方法、および、それを用いた動画像符号化装置および動画像復号化装置を提供できる。
【図面の簡単な説明】
【図１】ＭＰＥＧ２のデータ構造の一例を示した図。
【図２】復号タイミング推定方法の処理手順を説明するためのフローチャート。
【図３】復号タイミング推定方法の処理手順を説明するためのフローチャート。
【図４】最初の符号化フレームの表示順が「２」であるときの２番目の符号化フレームの復号開始タイミングの推定方法を具体的に説明するための図。
【図５】最初の符号化フレームの表示順が「１」であるときの２番目の符号化フレームの復号開始タイミングの推定方法を具体的に説明するための図。
【図６】ＭＰＥＧシステムの復号化装置の要部の構成を概略的に示した図。
【図７】ＭＰＥＧシステムの符号化装置の要部の構成を概略的に示した図。
【図８】入力画像（原画像）、符号化画像、表示画像の関係を画面の処理順と原画面の順序の相違を含めて表した図。
【図９】順次走査方式とインタレース走査方式について説明するための図。
【符号の説明】
４０１…ＭＰＥＧシステムのビットストリーム、４０２…ＭＰＥＧシステムデコーダ、４０３…ＭＰＥＧビデオデコーダ、４０７…ビデオストリーム、４０８…復号開始タイミング制御回路、４１３…オーディオデコーダ、５０１…ビデオのビットストリーム、５０２…ビデオ文法解釈部、５０３…ＭＰＥＧシステムデコーダ、５０４…ＰＴＳ／ＤＴＳ算出回路、５０８…ＭＰＥＧシステムのビットストリーム、５０９…オーディオビデオストリーム。
【図１】
0003556380.tif 000002
【図２】
0003556380.tif 000003
【図３】
0003556380.tif 000004
【図４】
0003556380.tif 000005
【図５】
0003556380.tif 000006
【図６】
0003556380.tif 000007
【図７】
0003556380.tif 000008
【図８】
0003556380.tif 000009
【図９】
0003556380.tif 000010