(57)【特許請求の範囲】
【請求項１】
原動画像の各フレームを１フレームが２フィールドで構成される動画像に変換し、その動画像の連続する所定数のフレームを１単位として各１単位のフレーム中の特定のフィールドを重複させることにより予め時間軸を調整してなる画像信号中の重複したフィールドを検出して一方の冗長なフィールドを削除するステップと、
フィールドが削除されたことを示すフィールド削除情報を出力するステップと、
冗長なフィールドが削除された後の画像信号を圧縮符号化するステップと、
前記画像信号がフレーム単位で圧縮符号化される時点のフィールド数にフィールド削除回数を加えた累積フィールド数を計数すると共に、そのフレームが圧縮符号化された後の他のフレームに対する配列順序を規定する画像データのタイプを特定するピクチャタイプ情報を出力するステップと、
計数された累積フィールド数とピクチャタイプ情報とを記憶するステップと、
出力されたピクチャタイプ情報に基づいて、ピクチャタイプ情報別に記憶してある累積フィールド数の内の圧縮符号化されたピクチャタイプ情報に対応する累積フィールド数の中で最も古い累積フィールド数を順次選択するステップと、
選択した累積フィールド数を基準周波数のクロック数に換算することで時間情報を計数するステップと、
選択された累積フィールド数を削除するステップと、
計数された時間情報を圧縮符号化された画像信号のフレーム単位に付加するステップと を含むことを特徴とする動画像圧縮符号化方法。
【請求項２】
原動画像の各フレームを１フレームが２フィールドで構成される動画像に変換し、その動画像の連続する所定数のフレームを１単位として各１単位のフレーム中の特定のフィールドを重複させることにより予め時間軸を調整してなる画像信号中の重複したフィールドを検出して一方の冗長なフィールドを削除するステップと、
フィールドが削除されたことを示すフィールド削除情報を出力するステップと、
冗長なフィールドが削除された後の画像信号を圧縮符号化するステップと、
時間情報を表すタイムスタンプの基準となるクロックを生成するステップと、
生成したクロックを計数することにより、画像データをフレーム単位で圧縮符号化する時点のタイムスタンプを算出すると共に、そのフレームが圧縮符号化された後の他のフレームに対する配列順序を規定する画像データのタイプを特定するピクチャタイプ情報を出力するステップと、
算出したタイムスタンプとピクチャタイプ情報とを記憶し、圧縮符号化された後の画像データのピクチャタイプ情報に対応するタイムスタンプを記憶してあるタイムスタンプの内の、圧縮符号化された後の画像データのピクチャタイプ情報と同じピクチャタイプ情報の中で最も古いタイムスタンプから順次選択するステップと、
圧縮符号化後の各フレームのデータに選択したタイムスタンプを付加するステップと
を含むことを特徴とする動画像圧縮符号化方法。
【請求項３】
原動画像の各フレームを１フレームが２フィールドで構成される動画像に変換し、その動画像の連続する所定数のフレームを１単位として各１単位のフレーム中の特定のフィールドを重複させることにより予め時間軸を調整してなる画像信号中の重複したフィールドを検出して一方の冗長なフィールドを削除し、フィールドが削除されたことを示すフィールド削除情報及び冗長なフィールドが削除された後の画像信号を出力するフィールド間引き手段と、
該フィールド間引き手段から出力される画像信号及びフィールド削除情報を入力し、画像信号を圧縮符号化すると共に、圧縮処理したフィールド数及びフィールド削除情報を出力する圧縮符号化手段と、
該圧縮符号化手段へ入力される画像信号の圧縮符号化された後の各フレームの他のフレームに対する配列順序を規定する画像データのタイプを特定するピクチャタイプ情報を出力すると共に、前記フィールド間引き手段への入力時点での累積フィールド数を算出するフィールド数算出手段と、
該フィールド数算出手段が算出した累積フィールド数とピクチャタイプ情報とを記憶し、前記圧縮符号化手段から出力されるピクチャタイプ情報に対応する累積フィールド数を記憶してある累積フィールド数の内の、前記圧縮符号化手段が出力するピクチャタイプ情報と同じピクチャタイプ情報の中で最も小さい累積フィールド数から順次選択するフィールド数選択手段と、
前記累積フィールド数を時間を表わすタイムスタンプに換算するタイムスタンプ換算手段と、
圧縮符号化後の各フレームのデータに前記タイムスタンプ換算手段が換算したタイムスタンプを付加する時間情報付加手段と
を備えることを特徴とする動画像圧縮符号化装置。
【請求項４】
原動画像の各フレームを１フレームが２フィールドで構成される動画像に変換し、その動画像の連続する所定数のフレームを１単位として各１単位のフレーム中の特定のフィールドを重複させることにより予め時間軸を調整してなる画像信号中の重複したフィールドを検出して一方の冗長なフィールドを削除し、フィールドが削除されたことを示すフィールド削除情報及び冗長なフィールドが削除された後の画像信号を出力するフィールド間引き手段と、
該フィールド間引き手段から出力される画像信号及びフィールド削除情報を入力し、画像信号を圧縮符号化すると共に、圧縮処理したフィールド数及びフィールド削除情報を出力する圧縮符号化手段と、
時間情報を表わすタイムスタンプの基準となるクロックを生成するクロック生成手段と、
前記クロック生成手段が生成するクロックを計数することにより、画像データがフレーム単位で前記圧縮符号化手段へ入力される時点のタイムスタンプを算出すると共に、そのフレームが圧縮符号化された後の他のフレームに対する配列順序を規定する画像データのタイプを特定するピクチャタイプ情報を出力するタイムスタンプ算出手段と、
該タイムスタンプ算出手段が算出したタイムスタンプとピクチャタイプ情報とを記憶し、前記圧縮符号化手段から出力されるピクチャタイプ情報に対応するタイムスタンプを記憶してあるタイムスタンプの内の、前記圧縮符号化手段から出力されるピクチャタイプ情報と同じピクチャタイプ情報のタイムスタンプの中で最も古いタイムスタンプから順次選択するタイムスタンプ選択手段と、
圧縮符号化後の各フレームのデータに前記タイムスタンプ選択手段が選択したタイムスタンプを付加するタイムスタンプ付加手段と
を備えることを特徴とする動画像圧縮符号化装置。
【請求項５】
原動画像の各フレームを１フレームが２フィールドで構成される動画像に変換し、その動画像の連続する所定数のフレームを１単位として各１単位のフレーム中の特定のフィールドを重複させることにより予め時間軸を調整してなる画像信号中の重複したフィールドを検出して一方の冗長なフィールドを削除し、フィールドが削除されたことを示すフィールド削除情報及び冗長なフィールドが削除された後の画像信号を出力するフィールド間引き手段と、
該フィールド間引き手段から出力される画像信号及びフィールド削除情報を入力し、画像信号をフレーム単位で独立して圧縮符号化されるフレーム内符号化ピクチャであるＩピクチャと、該Ｉピクチャとのフレーム間の相関特性を利用して圧縮符号化される前方向予測符号化ピクチャであるＰピクチャと、前記Ｉ及びＰピクチャとのフレーム間の相関特性を利用して圧縮符号化される双方向予測符号化ピクチャであるＢピクチャとに圧縮符号化すると共に、圧縮処理したフィールド数及びフィールド削除情報を出力する圧縮符号化手段と、
該圧縮符号化手段へ入力される画像信号の符号化後のＩピクチャまたはＰピクチャの繰返し周期を取得すると共に、そのフレームが圧縮符号化された後の他のフレームに対する配列順序を規定する画像データのタイプを特定するピクチャタイプ情報とフィールド削除情報とを抽出する情報抽出手段と、
該情報抽出手段で取得、抽出したＩピクチャまたはＰピクチャの繰返し周期とピクチャタイプ情報とから、
当該ピクチャタイプがＩピクチャまたはＰピクチャである場合は、１つ前のＩピクチャまたはＰピクチャの累積フィールド数に繰返し周期分のフィールド数と１つ前のＩピクチャまたはＰピクチャの次のＢピクチャから当該ピクチャまでのフィールド削除回数とを加算して当該ピクチャの累積フィールド数とし、
当該ピクチャタイプがＢピクチャでありかつ１つ前のピクチャタイプがＩピクチャまたはＰピクチャである場合は、２つ前のＩピクチャまたはＰピクチャの累積フィールド数に”２”と２つ前のＩピクチャまたはＰピクチャの次のＢピクチャから当該ピクチャまでのＢピクチャフィールド削除回数とを加算して当該ピクチャの累積フィールド数とし、
当該ピクチャタイプがＢピクチャでありかつ１つ前のピクチャタイプがＢピクチャである場合は、１つ前のＢピクチャの累積フィールド数に”２”と当該ピクチャのフィールド削除回数とを加算して当該ピクチャの累積フィールド数とするフィールド数予測手段と、  累積フィールド数を画像のタイムスタンプに換算するタイムスタンプ換算手段と、
前記圧縮符号化手段により圧縮符号化された後のデータに画像のタイムスタンプを付加して画像パケットデータを出力する画像タイムスタンプ付加手段と、
音声データに音声のタイムスタンプを付加して音声パケットデータを出力する音声タイムスタンプ付加手段と、
前記画像タイムスタンプ付加手段から出力される画像パケットデータと前記音声タイムスタンプ付加手段から出力される音声パケットデータと基準となるタイムスタンプとを多重化して出力する多重化手段と、
前記多重化手段で多重化されたデータを画像パケットデータと音声パケットデータに分離するデータ分離手段と、
音声パケットデータから音声のタイムスタンプを抽出して音声の同期合わせ処理を行なう音声同期合わせ処理手段と、
音声パケットデータを復号して出力する音声復号手段と、
画像パケットデータから抽出した画像のタイムスタンプと基準のタイムスタンプとの差分に時間軸のフィルタ処理を行なう時間軸フィルタ手段と、
該時間軸フィルタ手段から出力される値で画像の同期合わせ処理を行なう画像同期合わせ処理手段と、
画像パケットデータを復号して出力する画像復号手段と
を備えたことを特徴とする動画像圧縮符号化／復号化システム。
【請求項６】
前記時間軸フィルタ手段は、画像パケットデータから抽出した画像のタイムスタンプと基準のタイムスタンプとの差分を所定数のピクチャ分加算し、加算結果を前記所定数で除算した商を差分として時間軸のフィルタ処理を行なうべくなしてあり、  前記所定数を、フィールド削除情報の繰り返しピクチャ周期と、ＩピクチャまたはＰピクチャの繰り返しピクチャ周期との公倍数とすることを特徴とする請求項５に記載の動画像圧縮符号化／復号化システム。
【請求項７】
前記時間軸フィルタ手段は、画像パケットデータから抽出した画像のタイムスタンプと基準のタイムスタンプとの差分を所定数のピクチャ分加算し、加算結果を前記所定数で除算した商を差分として時間軸のフィルタ処理を行なうべくなしてあり、  前記所定数を、フィールド削除情報の繰り返しピクチャ周期と、ＩピクチャまたはＰピクチャの繰り返しピクチャ周期との最小公倍数とすることを特徴とする請求項５に記載の動画像圧縮符号化／復号化システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、 MPEG(Moving Picture Experts Group) 方式に代表される動画像圧縮符号化方法及びその装置、並びに動画像圧縮符号化／復号化システムに関し、より詳しくは逆 3:2プルダウン処理時のタイムスタンプ作成の技術に関する。
【０００２】
【従来の技術】
逆 3:2プルダウン処理は、 3:2プルダウン処理されたNTSC信号から冗長なフィールドを間引く処理である。ところで、 3:2プルダウン処理とは、映画フィルム等の24フレームで１秒相当の動画像情報を30フレームで１秒相当のNTSCテレビジョン信号に変換する技術である。
【０００３】
図９は映画フィルムのフレームをNTSCテレビジョン信号に変換する 3:2プルダウン処理の手順を示す模式図である。図９(a) は原フィルムの 4/24(1/6)秒相当の４フレームを示しており、順にF0, F1, F2, F3フレームとする。この原フィルムの４フレームF0, F1, F2, F3をNTSCテレビジョン信号に直接変換した場合、図９(b) に示すようにそれぞれのフレームがトップフィールド（奇数フィールド）t0, t1, t2, t3とボトムフィールド（偶数フィールド）b0, b1, b2, b3とで構成される。即ち、原フィルムのフレームF0はNTSCテレビジョン信号のフィールドt0, b0に、原フィルムのフレームF1はNTSCテレビジョン信号のフィールドt1, b1に、原フィルムのフレームF2はNTSCテレビジョン信号のフィールドt2, b2に、原フィルムのフレームF3はNTSCテレビジョン信号のフィールドt3, b3にそれぞれ変換される。
【０００４】
そして、原フィルムのフレームF0, F1, F2, F3から得られたNTSCテレビジョン信号のフィールドt0, b0, t1, b1, t2, b2, t3, b3を、図９(c) に示されているように、フィールドt0とb2とを重複して使用することによりt0, b0, t0, b1, t1, b2, t2, b2, t3, b3の配列として10フィールド、即ちf0, f1, f2, f3, f4の５フレームに再構成する。従って、NTSCテレビジョン信号に変換後のフレームf0はフィールドt0, b0で、フレームf1はフィールドt0, b1で、フレームf2はフィールドt1, b2で、フレームf3はフィールドt2, b2で、フレームf4はフィールドt3, b3でそれぞれ構成される。
【０００５】
以上のようにして、24フレームで１秒相当の映画フィルムの動画像情報が30フレーム（60フィールド）で１秒相当のNTSCテレビジョン信号に変換される。ところで、このようにして得られたテレビジョン信号をMPEG-2方式で動画像圧縮符号化する場合には、連続する10フィールドに２フィールド含まれる冗長なフィールドを間引く処理、即ち逆 3:2プルダウン処理を行なう必要がある。
【０００６】
図10は、従来のMPEG-2方式による動画像圧縮符号化装置の構成例を示すブロック図である。図10において、参照符号１及び２は第１及び第２のフィールドメモリを示している。第１のフィールドメモリ１は入力されたデジタルの映像信号を１フィールド分遅延させる。参照符号４は第１のフィールドメモリからの出力を第２のフィールドメモリ２へ入力するか否かを切替えるスイッチを示しており、この切替えスイッチ４の出力、換言すれば第１のフィールドメモリ１の出力を第２のフィールドメモリ２が１フィールド分遅延させる。従って、第２のフィールドメモリ２の出力は第１のフィールドメモリ１への入力とは２フィールドの遅延が生じる。
【０００７】
参照符号３は第１のフィールドメモリ１への入力と第２のフィールドメモリ２からの出力（第１のフィールドメモリ１への入力とは２フィールド遅延している）とを比較して１フィールド分の差分が所定値よりも小さい場合、より具体的には実質的に同一である場合に切替えスイッチ４の出力を無信号に、それ以外の場合に切替えスイッチ４の出力を第１のフィールドメモリ１の出力にして第２のフィールドメモリ２へ入力されるように切替える相関検出回路を示している。
【０００８】
参照符号５は映像信号を圧縮処理するビデオエンコーダを、100 はビデオエンコーダ５の出力データを解析してプレゼンテーションタイムスタンプ（以下、PTS という) を計算する PTS解析回路を、101 はビデオエンコーダ５から出力された圧縮データを PTS解析回路100 が PTSの解析を行なっている間、保持しておくバッファメモリを、９はバッファメモリ101 が保持している圧縮データをパケット化し、それに PTS解析回路100 が算出したPTS を付加して出力する PTS付加回路である。
【０００９】
なお、第１のフィールドメモリ１、第２のフィールドメモリ２、相関検出回路３、切替えスイッチ４により逆 3:2プルダウン処理部50が構成される。この逆 3:2プルダウン処理部50は、入力されるビデオデータの各フィールドを２フィールド前のフィールドと比較し、両者の差分が所定値よりも小さい場合、即ち相関が大きい場合に同一のフィールドであると判定して切替えスイッチ４を無信号側に切替えることにより、冗長なフィールドを除去する逆 3:2プルダウン処理を行なう。
【００１０】
ビデオエンコーダ５には切替えスイッチ４の出力信号が入力されており、切替えスイッチ４が無信号側に切替えられた時点で、ビデオエンコーダ５はこれから入力されるフレームの第１フィールドを復号時にもう一度繰り返して出力するためのRFR(Repeat First Field) フラグを有効にした上でMPEG-2ビデオエレメンタリー圧縮符号化処理を行なう。
【００１１】
MPEG-2のビデオエレメンタリー圧縮符号化処理では動画像の相関を利用した圧縮符号化処理を行なうため、符号化後のフレームの配列（以下、ピクチャ並びという）は原信号のピクチャ並びとは異なる順序となる。その状態を図11の模式図に、ＩまたはＰピクチャが現れる周期が３である場合の代表的な例を示す。なお、Ｉピクチャ(Intra coded picture) はフレーム内符号化ピクチャと称され、１フレームのみで独立して符号化される。また、Ｐピクチャ(Predictive coded picture)は前方向予測符号化ピクチャと称され、Ｉピクチャから前方向予測により符号化される。なおこの他に、前後のＩ及びＰピクチャを参照画像として予測符号化される双方向予測符号化ピクチャと称されるＢピクチャ(Bidirectionally predictive coded picture)も存在する。
【００１２】
図11(a) に示されている 3:2プルダウン処理済NTSC信号、図11(b) に示されている逆 3:2プルダウン処理及び図11(f) に示されている再生画像において、t0，t1…はフレーム０，１…のトップフィールドを、b0，b1…はフレーム０、１…のボトムフィールドをそれぞれ表わしている。また、(c) に示されているビデオ符号化処理及び(e) に示されている復号化処理において、たとえばB0，I2，P5はピクチャタイプ（Ｂ、Ｉ、Ｐ) とフレーム番号（０、２、６）とをそれぞれ示している。
【００１３】
図11(a) に示されている 3:2プルダウン処理済のNTSC信号には４フィールドの周期で１フィールド（t0, b2, t4, b6, t8, b10)が重複して付加されている。この信号をデジタル変換した信号が図10に示されているビデデータ入力であり、重複している冗長なフィールドが逆 3:2プルダウン処理部50によって除去され、ビデオエンコーダ５によりビデオ符号化処理が行なわれる。
【００１４】
ビデオエンコーダ５によるビデオ符号化処理では、Ｂピクチャはその前後のＩ及びＰピクチャを参照画像として予測符号化されるため、参照すべきＩ及びＰピクチャが先に符号化され、その後にＢピクチャが符号化される。このため、詳細は後述するが、Ｉ，ＰピクチャとＢピクチャの順序が入れ替わる。
【００１５】
PTS解析回路100 は、ビデオエンコーダ５から出力されるエンコードデータを逐次解析してピクチャタイプ（Ｉ，ＰまたはＢ）、 RFFフラグ、フレーム周期を抽出し、これらに基づいて PTSを算出する。
【００１６】
しかし、Ｉ，Ｐピクチャに関しては、それよりも後ろのＢピクチャの RFFフラグの状態が判明しなければ PTSを算出することができない。たとえば、図11(c) に示されているI2ピクチャのPTS を算出するためには、それに先行するB0，B1ピクチャの RFFフラグを確認し、 RFFフラグが有効”１”であれば、１フィールド分のPTS を加算しなければならない。なお、図11に示されている例では、I2ピクチャのPTS は、図11(d) に示されているようにB0ピクチャの  RFF フラグが有効であるため、フィールド数換算で５フィールドとなる。
【００１７】
このように、Ｉ，ＰピクチャのPTS は次のＩ，Ｐピクチャの直前のＢピクチャの情報がわからなければ確定しないため、それまでの間、データを保持して遅延出力するバッファメモリ101 が必要となる。
【００１８】
従って、バッファメモリ101 は、 PTS解析回路100 がPTS を確定した時点でデータが読み出されるように制御される。バッファメモリ101 から読み出されたデータは PTS付加回路９でパケット化され、 PTS解析回路100 で算出されているPTS が付加されて出力される。
【００１９】
また、コンピュータなどの汎用計算機と組み合わせて動画像圧縮符号化装置を構成する場合の一例としては、エレメンタリーストリームを作成するビデオエンコーダ５までを、即ち逆 3:2プルダウン処理部50とビデオエンコーダ５とを専用ハードウェアで構成し、それ以降の PTS解析回路100 及び PTS付加回路９の機能をソフトウェア処理により行なう構成が可能である。
【００２０】
しかしこのような場合にも、同様の処理手順が必要であり、 PTS解析回路100 に対応するソフトウェアでエンコード結果を逐次解析しつつ PTS付加回路９に対応するソフトウェアでエンコードデータをパケット化すると共に PTS解析回路100 に対応するソフトウェアで算出したPTS を付加してビデオPES(Packetized Elementary Stream) を出力する。
【００２１】
その後、図示していないオーディオエンコーダでエンコードしてPTS を付加したオーディオPES と、タイムスタンプの基準参照値となるSCR(System Clock Reference) と、前述のビデオPES とを図示していない多重化器で多重化してシステムストリームが作成される。このようにして作成されたシステムストリームは、復号化装置により、ビデオとオーディオのPTS 及びSCR を用いて映像と音声の同期を取りながら再生される。
【００２２】
【発明が解決しようとする課題】
従来の動画像圧縮符号化装置は、以上のように構成されていたので、あるピクチャデータのタイムスタンプ情報を確定する際に、そのピクチャデータよりも後から出力されるピクチャデータの情報が必要であるため、後から出力されるピクチャデータまでの全データを保持しておくためのバッファメモリが必要になる。しかも、そのバッファメモリの容量は最大符号化レートを想定し、最大のＩ，Ｐピクチャ間隔を想定して設定されるため、大容量が必要であるという問題点があった。
【００２３】
また一方では、実際に使用する符号化レート、実際のＩ，Ｐピクチャ間隔が通常は想定した最大値以下になるため、メモリの一部が冗長となって有効に使えないという問題点もあった。
【００２４】
更に、パーソナルコンピュータ等の汎用コンピュータに逆 3:2プルダウン処理部50とビデオエンコーダ５とを専用ハードウェアで構成したボードを接続し、それ以降の PTS解析回路100 及び PTS付加回路９の機能をソフトウェア処理により行なう構成を採る場合においても、コンピュータの内部メモリにバッファメモリ101 に対応するメモリ容量が要求される。
【００２５】
本発明はこのような事情に鑑みてなされたものであり、大容量で冗長なバッファメモリを設ける必要の無い動画像圧縮符号化方法及びその装置、並びに動画像圧縮符号化／復号化システムの提供を目的とする。
【００２６】
【課題を解決するための手段】
本発明の請求項１に記載した動画像圧縮符号化方法は、原動画像の各フレームを１フレームが２フィールドで構成される動画像に変換し、その動画像の連続する所定数のフレームを１単位として各１単位のフレーム中の特定のフィールドを重複させることにより予め時間軸を調整してなる画像信号中の重複したフィールドを検出して一方の冗長なフィールドを削除するステップと、フィールドが削除されたことを示すフィールド削除情報を出力するステップと、冗長なフィールドが削除された後の画像信号を圧縮符号化するステップと、前記画像信号がフレーム単位で圧縮符号化される時点のフィールド数にフィールド削除回数を加えた累積フィールド数を計数すると共に、そのフレームが圧縮符号化された後の他のフレームに対する配列順序を規定する画像データのタイプを特定するピクチャタイプ情報を出力するステップと、計数された累積フィールド数とピクチャタイプ情報とを記憶するステップと、出力されたピクチャタイプ情報に基づいて、ピクチャタイプ情報別に記憶してある累積フィールド数の内の圧縮符号化されたピクチャタイプ情報に対応する累積フィールド数の中で最も古い累積フィールド数を順次選択するステップと、選択した累積フィールド数を基準周波数のクロック数に換算することで時間情報を計数するステップと、選択された累積フィールド数を削除するステップと、計数された時間情報を圧縮符号化された画像信号のフレーム単位に付加するステップとを含むことを特徴とする。
【００２７】
このような請求項１に記載した本発明の動画像圧縮符号化方法では、画像データを圧縮符号化する時点で計数した時間情報と圧縮符号化後のピクチャタイプ情報を保持し、圧縮符号化処理された画像データのフレームのピクチャタイプ情報と同一のピクチャタイプ情報に対応する時間情報が選択されて時刻情報が確定される。従って、ある画像データのフレームの時間情報を計算するために、それ以降のフレームのフィールド削除情報である RFFフラグを検出した後に時間情報を計算するというような複雑な処理を行なわずとも済む。
【００２８】
本発明の請求項２に記載した動画像圧縮符号化方法は、原動画像の各フレームを１フレームが２フィールドで構成される動画像に変換し、その動画像の連続する所定数のフレームを１単位として各１単位のフレーム中の特定のフィールドを重複させることにより予め時間軸を調整してなる画像信号中の重複したフィールドを検出して一方の冗長なフィールドを削除するステップと、フィールドが削除されたことを示すフィールド削除情報を出力するステップと、冗長なフィールドが削除された後の画像信号を圧縮符号化するステップと、時間情報を表すタイムスタンプの基準となるクロックを生成するステップと、生成したクロックを計数することにより、画像データをフレーム単位で圧縮符号化する時点のタイムスタンプを算出すると共に、そのフレームが圧縮符号化された後の他のフレームに対する配列順序を規定する画像データのタイプを特定するピクチャタイプ情報を出力するステップと、算出したタイムスタンプとピクチャタイプ情報とを記憶し、圧縮符号化された後の画像データのピクチャタイプ情報に対応するタイムスタンプを記憶してあるタイムスタンプの内の、圧縮符号化された後の画像データのピクチャタイプ情報と同じピクチャタイプ情報の中で最も古いタイムスタンプから順次選択するステップと、圧縮符号化後の各フレームのデータに選択したタイムスタンプを付加するステップとを含むことを特徴とする。
【００２９】
本発明の請求項３に記載した動画像圧縮符号化装置は、原動画像の各フレームを１フレームが２フィールドで構成される動画像に変換し、その動画像の連続する所定数のフレームを１単位として各１単位のフレーム中の特定のフィールドを重複させることにより予め時間軸を調整してなる画像信号中の重複したフィールドを検出して一方の冗長なフィールドを削除し、フィールドが削除されたことを示すフィールド削除情報及び冗長なフィールドが削除された後の画像信号を出力するフィールド間引き手段と、該フィールド間引き手段から出力される画像信号及びフィールド削除情報を入力し、画像信号を圧縮符号化すると共に、圧縮処理したフィールド数及びフィールド削除情報を出力する圧縮符号化手段と、該圧縮符号化手段へ入力される画像信号の圧縮符号化された後の各フレームの他のフレームに対する配列順序を規定する画像データのタイプを特定するピクチャタイプ情報を出力すると共に、前記フィールド間引き手段への入力時点での累積フィールド数を算出するフィールド数算出手段と、該フィールド数算出手段が算出した累積フィールド数とピクチャタイプ情報とを記憶し、前記圧縮符号化手段から出力されるピクチャタイプ情報に対応する累積フィールド数を記憶してある累積フィールド数の内の、前記圧縮符号化手段が出力するピクチャタイプ情報と同じピクチャタイプ情報の中で最も小さい累積フィールド数から順次選択するフィールド数選択手段と、前記累積フィールド数を時間を表わすタイムスタンプに換算するタイムスタンプ換算手段と、圧縮符号化後の各フレームのデータに前記タイムスタンプ換算手段が換算したタイムスタンプを付加する時間情報付加手段とを備えることを特徴とする。
【００３０】
このような請求項３に記載の動画像圧縮符号化装置では、圧縮符号化手段へ入力される時点でカウントされた累積フィールド数と圧縮符号化後のピクチャタイプ情報とを保持しておき、圧縮符号化処理手段から出力されるピクチャタイプ情報と同一のピクチャタイプ情報に対応する累積フィールド数を選択するという単純な換算で時間情報が算出される。従って、ある画像データのフレームの時間情報を計算するために、それ以降のフレームのフィールド削除情報である RFFフラグを検出した後に時間情報を計算するというような複雑な処理を行なわずとも済む。
【００３１】
本発明の請求項４に記載した動画像圧縮符号化装置は、原動画像の各フレームを１フレームが２フィールドで構成される動画像に変換し、その動画像の連続する所定数のフレームを１単位として各１単位のフレーム中の特定のフィールドを重複させることにより予め時間軸を調整してなる画像信号中の重複したフィールドを検出して一方の冗長なフィールドを削除し、フィールドが削除されたことを示すフィールド削除情報及び冗長なフィールドが削除された後の画像信号を出力するフィールド間引き手段と、該フィールド間引き手段から出力される画像信号及びフィールド削除情報を入力し、画像信号を圧縮符号化すると共に、圧縮処理したフィールド数及びフィールド削除情報を出力する圧縮符号化手段と、時間情報を表わすタイムスタンプの基準となるクロックを生成するクロック生成手段と、前記クロック生成手段が生成するクロックを計数することにより、画像データがフレーム単位で前記圧縮符号化手段へ入力される時点のタイムスタンプを算出すると共に、そのフレームが圧縮符号化された後の他のフレームに対する配列順序を規定する画像データのタイプを特定するピクチャタイプ情報を出力するタイムスタンプ算出手段と、該タイムスタンプ算出手段が算出したタイムスタンプとピクチャタイプ情報とを記憶し、前記圧縮符号化手段から出力されるピクチャタイプ情報に対応するタイムスタンプを記憶してあるタイムスタンプの内の、前記圧縮符号化手段から出力されるピクチャタイプ情報と同じピクチャタイプ情報のタイムスタンプの中で最も古いタイムスタンプから順次選択するタイムスタンプ選択手段と、圧縮符号化後の各フレームのデータに前記タイムスタンプ選択手段が選択したタイムスタンプを付加するタイムスタンプ付加手段とを備えることを特徴とする。
【００３３】
このような請求項４に記載の動画像圧縮符号化装置では、圧縮符号化手段へ入力される時点でカウントされたタイムスタンプと圧縮符号化後のピクチャタイプ情報とを保持しておき、圧縮符号化処理手段から出力されるピクチャタイプ情報と同一のピクチャタイプ情報に対応するタイムスタンプを選択することによりタイムスタンプが確定される。従って、ある画像データのフレームのタイムスタンプを計算するために、それ以降のフレームのフィールド削除情報である RFFフラグを検出した後にタイムスタンプを計算するというような複雑な処理を行なわずとも済む。
【００３４】
本発明の請求項５に記載した動画像圧縮符号化／復号化システムは、原動画像の各フレームを１フレームが２フィールドで構成される動画像に変換し、その動画像の連続する所定数のフレームを１単位として各１単位のフレーム中の特定のフィールドを重複させることにより予め時間軸を調整してなる画像信号中の重複したフィールドを検出して一方の冗長なフィールドを削除し、フィールドが削除されたことを示すフィールド削除情報及び冗長なフィールドが削除された後の画像信号を出力するフィールド間引き手段と、該フィールド間引き手段から出力される画像信号及びフィールド削除情報を入力し、画像信号をフレーム単位で独立して圧縮符号化されるフレーム内符号化ピクチャであるＩピクチャと、該Ｉピクチャとのフレーム間の相関特性を利用して圧縮符号化される前方向予測符号化ピクチャであるＰピクチャと、前記Ｉ及びＰピクチャとのフレーム間の相関特性を利用して圧縮符号化される双方向予測符号化ピクチャであるＢピクチャとに圧縮符号化すると共に、圧縮処理したフィールド数及びフィールド削除情報を出力する圧縮符号化手段と、該圧縮符号化手段へ入力される画像信号の符号化後のＩピクチャまたはＰピクチャの繰返し周期を取得すると共に、そのフレームが圧縮符号化された後の他のフレームに対する配列順序を規定する画像データのタイプを特定するピクチャタイプ情報とフィールド削除情報とを抽出する情報抽出手段と、該情報抽出手段で取得、抽出したＩピクチャまたはＰピクチャの繰返し周期とピクチャタイプ情報とから、当該ピクチャタイプがＩピクチャまたはＰピクチャである場合は、１つ前のＩピクチャまたはＰピクチャの累積フィールド数に繰返し周期分のフィールド数と１つ前のＩピクチャまたはＰピクチャの次のＢピクチャから当該ピクチャまでのフィールド削除回数とを加算して当該ピクチャの累積フィールド数とし、当該ピクチャタイプがＢピクチャでありかつ１つ前のピクチャタイプがＩピクチャまたはＰピクチャである場合は、２つ前のＩピクチャまたはＰピクチャの累積フィールド数に”２”と２つ前のＩピクチャまたはＰピクチャの次のＢピクチャから当該ピクチャまでのＢピクチャフィールド削除回数とを加算して当該ピクチャの累積フィールド数とし、当該ピクチャタイプがＢピクチャでありかつ１つ前のピクチャタイプがＢピクチャである場合は、１つ前のＢピクチャの累積フィールド数に”２”と当該ピクチャのフィールド削除回数とを加算して当該ピクチャの累積フィールド数とするフィールド数予測手段と、累積フィールド数を画像のタイムスタンプに換算するタイムスタンプ換算手段と、前記圧縮符号化手段により圧縮符号化された後のデータに画像のタイムスタンプを付加して画像パケットデータを出力する画像タイムスタンプ付加手段と、音声データに音声のタイムスタンプを付加して音声パケットデータを出力する音声タイムスタンプ付加手段と、前記画像タイムスタンプ付加手段から出力される画像パケットデータと前記音声タイムスタンプ付加手段から出力される音声パケットデータと基準となるタイムスタンプとを多重化して出力する多重化手段と、前記多重化手段で多重化されたデータを画像パケットデータと音声パケットデータに分離するデータ分離手段と、音声パケットデータから音声のタイムスタンプを抽出して音声の同期合わせ処理を行なう音声同期合わせ処理手段と、音声パケットデータを復号して出力する音声復号手段と、画像パケットデータから抽出した画像のタイムスタンプと基準のタイムスタンプとの差分に時間軸のフィルタ処理を行なう時間軸フィルタ手段と、該時間軸フィルタ手段から出力される値で画像の同期合わせ処理を行なう画像同期合わせ処理手段と、画像パケットデータを復号して出力する画像復号手段とを備えたことを特徴とする。
【００３５】
このような請求項５に記載の動画像圧縮符号化／復号化システムでは、符号化時にＩ，Ｐピクチャのタイムスタンプが計算される。従って、それ以降に現れるＢピクチャの RFFフラグを検出した後にタイムスタンプを計算するといった複雑な処理を行なわずとも済む。また、復号化時には安定な同期合わせ処理が行なわれる。
【００３７】
本発明の請求項６に記載した動画像圧縮符号化／復号化システムは、請求項５の動画像圧縮符号化／復号化システムにおいて、前記時間軸フィルタ手段は、画像パケットデータから抽出した画像のタイムスタンプと基準のタイムスタンプとの差分を所定数のピクチャ分加算し、加算結果を前記所定数で除算した商を差分として時間軸のフィルタ処理を行なうべくなしてあり、前記所定数を、フィールド削除情報の繰り返しピクチャ周期と、ＩピクチャまたはＰピクチャの繰り返しピクチャ周期との公倍数とすることを特徴とする。
【００３８】
本発明の請求項７に記載した動画像圧縮符号化／復号化システムは、請求項５の動画像圧縮符号化／復号化システムにおいて、前記時間軸フィルタ手段は、画像パケットデータから抽出した画像のタイムスタンプと基準のタイムスタンプとの差分を所定数のピクチャ分加算し、加算結果を前記所定数で除算した商を差分として時間軸のフィルタ処理を行なうべくなしてあり、前記所定数を、フィールド削除情報の繰り返しピクチャ周期と、ＩピクチャまたはＰピクチャの繰り返しピクチャ周期との最小公倍数とすることを特徴とする。
【００３９】
このような請求項５、６及び７に記載の本発明の動画像圧縮符号化／復号化システムでは、応答の速い同期合わせ処理が行なわれる。
【００４０】
【発明の実施の形態】
以下、本発明に係る動画像圧縮符号化装置及び動画像圧縮符号化／復号化システムを、それぞれの実施の形態を示す図面に基づき具体的に説明する。なお、以下の説明において参照する各図中と、従来例の説明において参照した各図中とで同一符号で示されている部分は同一または相当部分を示す。
【００４１】
実施の形態１．
図１は本発明に係る動画像圧縮符号化装置の構成例を示すブロック図である。図１において、参照符号１及び２は第１及び第２のフィールドメモリを示している。第１のフィールドメモリ１は入力されたデジタルの映像信号を１フィールド分遅延させる。参照符号４は第１のフィールドメモリからの出力を第２のフィールドメモリ２へ入力するか否かを切替えるスイッチを示しており、この切替えスイッチ４の出力、換言すれば第１のフィールドメモリ１の出力を第２のフィールドメモリ２が１フィールド分遅延させる。従って、第２のフィールドメモリ２の出力は第１のフィールドメモリ１への入力とは２フィールドの遅延が生じる。
【００４２】
参照符号３は第１のフィールドメモリ１への入力と第２のフィールドメモリ２からの出力（第１のフィールドメモリ１への入力とは２フィールド遅延している）とを比較して１フィールド分の差分が所定値よりも小さい場合、より具体的には実質的に同一である場合に切替えスイッチ４の出力を無信号に、それ以外の場合に切替えスイッチ４の出力を第１のフィールドメモリ１の出力にして第２のフィールドメモリ２へ入力されるように切替える相関検出回路を示している。
【００４３】
参照符号５は映像信号を圧縮処理するビデオエンコーダを、６はビデオエンコーダ５が出力する圧縮データのフィールド数をカウントするフィールド数カウント回路を、７はフィールド数入替回路を、８はフィールド数入替回路７による処理結果をPTS に換算する PTS換算回路を、９はビデオデコーダ５が出力する圧縮データに PTS換算回路８が換算したPTS を付加して出力する PTS付加回路をそれぞれ示している。
【００４４】
次に、図１に示されている本発明に係る動画像圧縮符号化装置の動作について説明する。なお、第１のフィールドメモリ１、第２のフィールドメモリ２、相関検出回路３、切替えスイッチ４により逆 3:2プルダウン処理部50が構成される。この逆 3:2プルダウン処理部50は構成及び動作共に従来と同様であり、入力されるビデオデータの各フィールドを２フィールド前のフィールドと比較し、両者の差分が所定値よりも小さい場合、即ち相関が大きい場合に同一のフィールドであると判定して切替えスイッチ４を無信号側に切替えることにより、冗長なフィールドを除去する逆 3:2プルダウン処理を行なう。
【００４５】
ビデオエンコーダ５には切替えスイッチ４の出力信号が入力されており、切替えスイッチ４が無信号側に切替えられた時点で、ビデオエンコーダ５はこれから入力されるフレームの第１フィールドを復号時にもう一度繰り返して出力するためのフィールド削除情報であるRFF(Repeat First Field) フラグを有効にした上でMPEG-2ビデオエレメンタリー圧縮符号化処理を行ない、その結果として生成されるビデオエレメンタリストリームをパケット化しつつ PTS付加回路９へ出力する。
【００４６】
また、ビデオエンコーダ５は、フレーム単位でビデオデータが入力される都度、入力データの符号化後のピクチャタイプ（Ｉ，Ｐ，Ｂ）及び RFFフラグの有無をフィールド数カウント回路６へ出力する。なお、ピクチャタイプはフィールド数入替回路７へも出力される。
【００４７】
フィールド数カウント回路６は図２のフローチャートに示すような処理シーケンスを実行する。まず、フィールド数カウント回路６は累積フィールド数Ｆを初期化し (ステップS11)、次にビデオエンコーダ５へフレーム単位でビデオデータが入力される都度 (ステップS12)、入力データの符号化後のピクチャタイプ（Ｉ，Ｐ，Ｂ）と RFFフラグの有無とをビデオエンコーダ５から取得し (ステップS13)、既にカウントしている現ピクチャの累積フィールド数とピクチャタイプとをフィールド数入替回路７へ出力する (ステップS13)。
【００４８】
そして、フィールド数カウント回路６は、 RFFフラグが有効である場合は (ステップS14 で”YES") 、そのピクチャのフィールド数を”３”としてカウンとし (ステップS15)、無効である場合は (ステップS14 で”NO")、”２”としてカウンとし (ステップS16)、現ピクチャの累積フィールド数に加算することにより、次に取得するピクチャの累積フィールド数として保持する (ステップS17)。
【００４９】
フィールド数入替回路７には、Ｉ，Ｐピクチャの最大周期分とビデオエンコーダ５でのＩ，Ｐピクチャの最大遅延時間に相当するピクチャ数分のピクチャタイプと累積フィールド数とを格納するレジスタが構成されている。たとえば、Ｉ，Ｐピクチャの最大周期が３であり、Ｉ，Ｐピクチャのエンコード最大遅延時間が0.4 フレームである場合には、両者の加算値”3.4 ”が切り上げられて４ピクチャ分のレジスタがフィールド数入替回路７に構成される。そして、これらのレジスタに、フィールド数カウント回路６から出力されるピクチャの累積フィールド数とピクチャタイプとが順次格納される。
【００５０】
フィールド数カウント回路６は図３のフローチャートに示すような処理シーケンスを実行する。フィールド数入替回路７は、ビデオエンコーダ５へフレーム単位でビデオデータが入力される都度 (ステップS21)、ビデオエンコーダ５から出力されるピクチャタイプを取得すると (ステップS22)、そのピクチャが出力されるタイミングにおいて、レジスタに格納されている同一のピクチャタイプで最も古いピクチャに対応する累積フィールド数を出力する (ステップS23)。なお、累積フィールド数を出力したレジスタはクリアされ (ステップS24)、新たな情報を格納するための準備が行なわれる。
【００５１】
PTS換算回路８は、フィールド数入替回路７から出力された累積フィールド数が入力されると、下記の式(1) からPTS を算出して PTS付加回路９へ出力する。 PTSは90kHz のカウント数であり、映像はNTSC信号とし、フレーム周波数は29.97Hz である。
【００５２】
PTS  ＝  累積フィールド数×１／29.97 ×1/2 ×90000   …(1)
【００５３】
PTS付加回路９は、ビデオエンコーダ５から出力されるビデオエレメンタリストリームをパケット化しつつ、 PTS換算回路８から出力されるPTS を付加することによりビデオPES(Packetized Elementary Stream) を出力する。
【００５４】
実施の形態２．
ところで、上述した実施の形態１では本発明に係る動画像圧縮符号化装置は PTSを算出するための構成として、図１に示すように、フィールド数カウント回路６とフィールド数入替回路７と PTS換算回路８とを備えているが、他の構成を採ることも勿論可能である。そのような構成を有する本発明に係る動画像圧縮符号化装置を実施の形態２として以下に説明する。
【００５５】
図４は PTSを算出するための構成として上述の実施の形態１とは異なる構成を有する本発明に係る動画像圧縮符号化装置の構成例を示すブロック図である。なお、上述の実施の形態１においては、フィールド数カウント回路６とフィールド数入替回路７と PTS換算回路８とで PTSを算出する構成としているが、この実施の形態２においては、 90kHz分周器10と PTSカウント回路11と PTS入替回路12とで PTSを算出する構成としている。
【００５６】
90kHz分周器10はシステムの基準クロックである27MHz のクロックを分周することによりPTS の基準となる90kHz のクロック信号を発生して PTSカウント回路11へ入力する。
【００５７】
PTSカウント回路11では、ビデオエンコーダ５から出力されるエンコード開始情報をトリガとして、 90kHz分周器10から入力されているクロック信号のカウントをスタートする。そして、 PTSカウント回路11は、ビデオエンコーダ５に映像データが入力された時点でフレーム毎に入力データが圧縮符号化された後のピクチャタイプを取得し、取得した時点のカウント値をそのピクチャのPTS としてピクチャタイプと共に PTS入替回路12へ出力する。
【００５８】
PTS入替回路12には、Ｉ，Ｐピクチャの最大周期分とビデオエンコーダ５でのＩ，Ｐピクチャ最大遅延時間とを合わせた数に相当するピクチャのピクチャタイプと累積フィールド数とを格納するレジスタが構成されている。たとえば、Ｉ，Ｐピクチャの最大周期が３であり、Ｉ，Ｐピクチャのエンコード最大遅延時間が 0.4フレームである場合には、両者の加算値”3.4 ”を切り上げた４ピクチャ分のレジスタが PTS入替回路12に構成されている。そして、これらの各レジスタに、 PTSカウント回路11から出力される各ピクチャのPTS とピクチャタイプとが順次格納される。
【００５９】
PTS入替回路l2は、ビデオエンコーダ５から出力されるピクチャタイプを取得すると、それに対応するピクチャが出力されるタイミングで、レジスタに格納してある同一のピクチャタイプの内の最も古いピクチャに対応するPTS を出力する。なお、 PTS入替回路12はPTS を出力した後は、それに対応するレジスタをクリアして新たな情報を格納できるように準備する。
【００６０】
PTS付加回路９は、ビデオエンコーダ５から出力されるビデオエレメンタリストリームをパケット化しつつ、 PTS入替回路l2から出力されたPTS を付加することによりビデオPES(Packetized Elementary Stream) を出力する。
【００６１】
実施の形態３．
ところで、上述した実施の形態１及び２の本発明に係る動画像圧縮符号化装置では、ビデオエンコーダ５へ入力される時点の累積フィールド数またはPTS を取得することにより PTSを算出する構成としているが、他の構成、たとえばビデオエンコーダ５から出力されたデータを解析してPTS を簡易予測するような構成を採ることも可能である。そのような構成を有する本発明に係る動画像圧縮符号化／復号化システムを実施の形態３として以下に詳細に説明する。
【００６２】
図５はビデオエンコーダ５から出力されたデータを解析してPTS を簡易予測するような構成を有する本発明に係る動画像圧縮符号化／復号化システムの構成例を示すブロック図である。なお、逆 3:2プルダウン処理部50、ビデオエンコーダ５及び PTS付加回路９が備えられていることは図１及び図４に示されている実施の形態１及び２と同様であり、また PTS換算回路８が備えられていることは図１に示されている実施の形態１と同様である。
【００６３】
図５において、参照符号13はビデオエンコーダ５によりエンコードされたデータから情報を抽出する情報抽出回路を、14は情報抽出回路13が抽出した情報に基づいて累積フィールド数を予測するフィールド数簡易予測回路をそれぞれ示しており、このフィールド数簡易予測回路14が予測したフィールド数が PTS換算回路8 に与えられてPTS に換算され、その結果が PTS付加回路９へ出力される。
【００６４】
また、参照符号15は音声データを圧縮符号化するオーディオエンコーダを、16はオーディオエンコーダ15が圧縮符号化したオーディオデータをパケット(PES) 化してPTS を付加する PTS付加回路を、26はタイムスタンプの基準参照値となるSCR(System Clock Reference) を発生させる SCR作成回路を、17は PTS付加回路９及び16が作成したビデオPES データとオーディオPES データと SCR作成回路26が作成したSCR とを多重化する多重化回路をそれぞれ示している。
【００６５】
そして、多重化回路17から出力された多重化圧縮データが磁気ディスク等の記録媒体に記録装置18により記録される。
【００６６】
一方、参照符号19は記憶装置18が記録媒体から読み出したデータをビデオPES データ、オーディオPES データ及びSCR に分離する分離回路を、20は分離回路19により分離されたオーディオPES データを復号化するオーディオデコーダを、21は分離回路19により分離されたビデオPES データを復号化するビデオデコーダを、22は分離回路19により分離されたSCR から基準の時刻を発生する基準時刻生成回路を、23はオーディオエンコーダ20が符号化したオーディオ PTSと基準時刻生成回路22が生成した基準時刻とを比較して差分を出力するオーディオ PTS比較回路を、24はビデオエンコーダ21が符号化したビデオ PTSと基準時刻生成回路22が生成した基準時刻とを比較して差分を出力するビデオ PTS比較回路を、25はビデオ PTS比較回路24が出力したビデオ PTSの差分値に時間軸上のフィルタをかけて映像と音声との同期制御情報とする PTS差分フィルタである。
【００６７】
情報抽出回路13は、ビデオエンコーダ５からＩ，Ｐピクチャの周期Ｍを取得し、ビデオエンコーダ５で符号化されたデータからピクチャタイプと RFFフラグとを抽出してフィールド数簡易予測回路14へ出力する。
【００６８】
フィールド数簡易予測回路14では、図６のフローチャートに示すような処理シーケンスで現ピクチャの累積フィールド数を予測する。図６に示されているシーケンスの概略は、まず、フィールド数簡易予測回路14は、Ｉ，Ｐピクチャの周期とビデオエンコーダ５から出力されている現ピクチャのピクチャタイプとから、圧縮符号化処理の前後で生じるピクチャ順序の並べ替えを予測計算した累積フィールド数を算出する。更に、フィールド数簡易予測回路14は、現ピクチャの RFFフラグが有効である場合は既に予測計算してある現ピクチャの累積フィールド数に”１”を加算した結果を新たに現ピクチャの累積フィールド数とする。具体的には以下のようになる。
【００６９】
たとえば、Ｉ，Ｐピクチャの周期Ｍが３である場合に、図６に示すシーケンスにより予測される累積フィールド数を図７及び図８の模式図に示す。なお、図７及び図８は本来は図７の右端と図８の左端とが接続する一枚の図である。
【００７０】
図７及び図８において、動画像圧縮符号化装置へ入力されるNTSC信号がフィルム素材から 3:2プルダウン変換されたものであり、第１のフィールドメモリ１、第２のフィールドメモリ２、相関検出回路３、切替えスイッチ４で構成される逆 3:2プルダウン処理部50において逆 3:2プルダウン処理が行なわれた場合、 RFFフラグが１フレームおきに有効となってビデオエンコーダ５へ入力される（行２）。そして、ビデオエンコーダ５では、入力画像がＢ，Ｂ，Ｉ，Ｂ，Ｂ，Ｐ…のピクチャタイプ順でエンコードされる（行１）。この場合の正しい累積フィールド数は行３に示されているような値となる。
【００７１】
ビデオエンコーダ５での符号化処理では、前後のＩ及びＰピクチャを参照画像としてＢピクチャを予測符号化するため、Ｉ，ＰピクチャとＢピクチャの順序が入れ替わり（行４) 、 RFFフラグ及び正しい累積フィールド数もそれに応じて行５、行６に示されているようになる。
【００７２】
図６に示すシーケンスにより予測された累積フィールド数を行11に示す。図６に示すように、一つ前のＩまたはＰピクチャの累積フィールド数IP（行７) と、２つ前のＩピクチャまたはＰピクチャの累積フィールド数IP1(行８) と、ＩまたはＰピクチャの間に挟まれたＢピクチャの RFFフラグの有効回数BR（行９) と、ＩまたはＰピクチャの間に挟まれた一つ前のＢピクチャの RFFフラグの有効回数BR1(行10) と、ＩまたはＰピクチャの周期Ｍとから、各ピクチャの累積フィールド数Ｆ（行11) が予測される。
【００７３】
図６の予測シーケンスでは、まず前述の各変数の初期設定が行なわれる (ステップS31)。具体的には、、予測フィールド数Ｆは”０”に、前Ｉ，Ｐピクチャの累積フィールド数IPは”−２”に、前々Ｉ，Ｐピクチャの累積フィールド数IP1 は”−８”に、Ｉ，Ｐピクチャに挟まれたＢピクチャの RFFフラグの有効回数BRは”０”に前の連続するＢピクチャの RFFフラグの有効回数BR1 は”０”に、Ｉ，Ｐピクチャの周期Ｍは”３”にそれぞれ初期設定される。
【００７４】
次に、ビデオエンコーダ５のデータ出力からピクチャタイプと  RFF フラグとが取得される (ステップS32)。この取得されたピクチャタイプがＩまたはＰピクチャであった場合は (ステップS33 で”YES") 、下記式(2) により一つ前のＩまたはＰピクチャの累積フィールド数IPに現ピクチャと一つ前のＩまたはＰピクチャ間のフィールド数(2×M)を加え、その間の RFF有効回数(BR)を加えることにより累積フィールド数Ｆの予測値が求められる (ステップS34)。
【００７５】
Ｆ  ＝  IP＋２×Ｍ＋BR  …(2)
【００７６】
次に、現ピクチャの RFFフラグが有効な場合にのみ (ステップS35 で”YES") 、累積フィールド数Ｆに”１”が加えられ (ステップS36)、現ピクチャの予測累積フィールド数Ｐとして出力される (ステップS38)。なおこの際、IP1 がIP（行８) に、IPがＦ（行７) に、BR1 がBR（行10) に、 BR が”０”（行９) にそれぞれ置換される (ステップS37)。
【００７７】
次に、ビデオエンコーダ５のデータ出力から取得されたピクチャタイプがＢピクチャであり (ステップS33 で”NO")、しかもＩまたはＰピクチャのすぐ次に取得された場合は (ステップS41 で”YES") 、下記式(3) により二つ前のＩまたはＰピクチャの累積フィールド数ＩＰに、現ピクチャと二つ前のＩまたはＰピクチャ間の圧縮符号化前のフィールド数として”２”を加え、更に二つ前のＩまたはＰピクチャと一つ前のＩまたはＰピクチャ間のＢピクチャの RFF有効回数(BR1) を加える (ステップS42)。
【００７８】
Ｆ  ＝  IP1 ＋２＋BR1   …(3)
【００７９】
そして、現ピクチャの RFFフラグが有効な場合にのみ (ステップS43 で”YES") 、Ｆに”１”が加えられて現ピクチャの累積フィールド数Ｆとして出力されると共に、 RFFフラグが有効な場合はBRに”１”が加えられる (ステップS44)。
【００８０】
次に、ビデオエンコーダ５のデータ出力から取得されたピクチャタイプがＢピクチャであり (ステップS33 で”NO")、しかも一つ前のピクチャがＢピクチャである場合は (ステップS41 で”NO")、累積フィールド数Ｆに”２”が加えられる (ステップS45)。
【００８１】
そして、現ピクチャの RFFフラグが有効な場合にのみ (ステップS43 で”YES") 、Ｆに”１”が加えられて現ピクチャの累積フィールド数Ｆとして出力されると共に、 RFFフラグが有効な場合はBRに”１”が加えられる (ステップS44)。
【００８２】
このようにしてフィールド数簡易予測回路14が予測した累積フィールド数（行11) は、正しい累積フィールド数に比較して±１フィールドの差分が生じる（行l2) 。その理由は、 RFFフラグの有効、無効をそのピクチャの累積フィールド数に反映させることにあり、Ｉ，Ｐピクチャの繰返し周期３フレームと RFFフラグの繰返し周期２フレームとの最小公倍数６フレームにおいて±１フィールドの差分が繰返される。そして、復号時に PTS差分フィルタ25により時間軸上のフィルタをかけることにより、±１フィールド以下の実用上問題の無い高い精度で同期合わせを行なうことができる。
【００８３】
また、このような予測方法を採る場合は、フィルム素材から 3:2プルダウン処理が行なわれずにNTSC信号に変換された画像データ、即ち原信号から直接得られたNTSC信号である画像データが入力された場合には逆3:2 プルダウン処理部50での逆 3:2プルダウン処理は行なわれないため、 RFFフラグは無効のままである。このため、Ｉ，Ｐピクチャの周期とピクチャタイプとから予測計算された累積フィールド数と正しい累積フィールド数との差分は”０”となり、不要なオフセットが生じることはない。
【００８４】
このようにフィールド数簡易予測回路14から出力された現ピクチャの予測累積フィールド数は、 PTS換算回路８で式(1) により、フィールド数からPTS に変換されて PTS付加回路９へ出力される。
【００８５】
PTS付加回路９は、ビデオエンコーダ５からのビデオエレメンタリストリームをパケット化しつつ、 PTS換算回路８から出力されるPTS を付加することによりビデオPES(Paeketized Elementary Stream) を出力する。
【００８６】
一方、オーディオデータはオーディオエンコーダ15で圧縮符号化され、 PTS付加回路16でオーディオデータのPTS が付加されてパケット(PES) 化される。
【００８７】
また、タイムスタンプの基準参照値となるSCR(System Clock Reference) が SCR作成回路26により作成されて多重化回路17へ出力される。
【００８８】
ビデオPES データ、オーディオPES データ及びSCR は、多重化回路17で多重化されて一つのデータとされて記録装置18により光磁気ディスク等の記録媒体に記録される。
【００８９】
記録装置18により記録媒体から読み出されたデータは、分離回路19によりビデオPES データ、オーディオPES データ及びSCR に分離され、オーディオPES データはオーディオデコーダ20で復号され、ビデオPES データはビデオデコーダ21で復号され、 SCRは基準時刻作成回路22へ入力される。
【００９０】
ビデオPES データがビデオデコーダ21で復号されると、Ｉ，ＰピクチャはＢピクチャの参照画像になるため、行13に示すように、ピクチャの順序が入替わって符号化する前の並びに戻り、累積フィールド数差分（行14) もそれに応じて入替わる。
【００９１】
基準時刻生成回路22では、分離回路19から入力されるSCR を参照して基準時刻を生成する。基準時刻は図７及び図８に示されていいる正しい累積フィールド数（行３、行６) に相当するため、行14の累積フィールド数差分は予測累積フィールド数（行１）と基準時刻のフィールド数換算値との差分に等しい。
【００９２】
オーディオ PTS比較回路23では、オーディオデコーダ20が抽出したオーディオPTS と基準時刻とが比較され、その差分値が出力される。オーディオデコーダ20では、その差分値を”０”とするように同期合わせ処理が行なわれる。
【００９３】
同様にビデオ PTS比較回路24では、ビデオデコーダ21が抽出したビデオPTS と基準時刻とが比較されてその差分値が出力される。このビデオ PTS比較回路24から出力される差分値を PTS差分フィルタ25が６ピクチャ分保持し、６ピクチャ分毎の平均値を算出する。この算出結果は図７及び図８の行15に示されている。なお、初期値は”０”である。
【００９４】
この算出結果が１フィールド相当の時間で除算され、その商に対応する数だけのフィールド数の同期合わせ制御がビデオデコーダ21で行なわれる。また、上述の除算の剰余がオーディオPTS 比較回路23へ入力されてオーディオPTS と基準時刻との差分値に加算される。この加算結果はオーディオデコーダ20へ入力され、その差分値が”０”となるように同期合わせ処理が行なわれる。即ち、１フィールド以下の端数は音声の同期合せ処理を制御することにより、音声を映像に同期させる。
【００９５】
このような同期合わせ処理が行なわれることにより、映像の符号化時にPTS を簡易予測した場合にも、映像と音声とを同期させることが可能になる。
【００９６】
また、 PTS差分フィルタ25が平均するピクチャ数は６ピクチャ分としてあるが、これは RFFフラグのピクチャ周期である２とＩ，Ｐピクチャ周期であるＭ＝３との公倍数である。このように、 PTS差分フィルタ25が平均するピクチャ数を公倍数とすることにより、累積フィールド数差分の平均値がl/6 フィールド（行15) で一定になり、安定した同期合わせ処理を行なうことができるという効果もある。
【００９７】
更に、 PTS差分フィルタ25が平均するピクチャ数を前述の公倍数の内の最小値、即ち最小公倍数である”６”とすることにより、応答牲が迅速な同期合わせ処理を行なうことができるという効果がある。
【００９８】
【発明の効果】
以上に詳述したように本発明の動画像圧縮符号化方法及びその装置、並びに動画像圧縮符号化／復号化システムによれば、圧縮符号化手段から出力されるデータを一時格納するための大量で冗長なメモリを設ける必要が無くなるため、安価で効率的な動画像圧縮符号化装置及び動画像圧縮符号化／復号化システムを得ることができる。
【００９９】
また請求項１に記載の本発明の動画像圧縮符号化方法によれば、画像データを圧縮符号化する時点で計数した時間情報と圧縮符号化後のピクチャタイプ情報を保持し、圧縮符号化処理された画像データのフレームのピクチャタイプ情報と同一のピクチャタイプ情報に対応する時間情報が選択されて時刻情報が確定されるため、ある画像データのフレームの時間情報を計算するために、それ以降のフレームのフィールド削除情報である RFFフラグを検出した後に時間情報を計算するというような複雑な処理が不要になる。
【０１００】
更に請求項２及び３に記載の本発明の動画像圧縮符号化装置によれば、圧縮符号化手段へ入力される時点でカウントされた累積フィールド数と圧縮符号化後のピクチャタイプ情報とを保持しておき、圧縮符号化処理手段から出力されるピクチャタイプ情報と同一のピクチャタイプ情報に対応する累積フィールド数を選択するという単純な換算で時間情報が算出可能になる。このため、ある画像データのフレームの時間情報を計算するために、それ以降のフレームのフィールド削除情報である RFFフラグを検出した後に時間情報を計算するというような複雑な処理が不要になり、簡易な構成の動画像圧縮符号化装置を得ることができる。
【０１０１】
また更に請求項４及び５に記載の本発明の動画像圧縮符号化装置によれば、圧縮符号化手段へ入力される時点でカウントされたタイムスタンプと圧縮符号化後のピクチャタイプ情報とを保持しておき、圧縮符号化処理手段から出力されるピクチャタイプ情報と同一のピクチャタイプ情報に対応するタイムスタンプを選択することによりタイムスタンプが確定される。このため、ある画像データのフレームのタイムスタンプを計算するために、それ以降のフレームのフィールド削除情報である RFFフラグを検出した後にタイムスタンプを計算するというような複雑な処理が不要になり、簡易な構成の動画像圧縮符号化装置を得ることができる。
【０１０２】
更に請求項６に記載の本発明の動画像圧縮符号化／復号化システムによれば、符号化時にはＩ，Ｐピクチャのタイムスタンプを計算するために、それ以降に現れるＢピクチャの RFFフラグを検出した後にタイムスタンプを計算するといった複雑な処理を行なう必要がない動画像圧縮符号化／復号化システムを得ることができる。
【０１０３】
また、請求項７，８及び９に記載の本発明の動画像圧縮符号化／復号化システムによれば、応答の速い同期合わせ処理を行なう動画像圧縮符号化／復号化システムを得ることができる。
【０１０４】
また請求項８及び９に記載の本発明の動画像圧縮符号化／復号化システムによれば、符号化時には安定な同期合わせ処理を行なうことができる動画像圧縮符号化／復号化システムを得ることができる。
【図面の簡単な説明】
【図１】  実施の形態１の本発明に係る動画像圧縮符号化装置の構成例を示すブロック図である。
【図２】  実施の形態１の本発明に係る動画像圧縮符号化装置のフィールド数カウント回路の処理シーケンスを示すフローチャートである。
【図３】  実施の形態１の本発明に係る動画像圧縮符号化装置のフィールド数入替回路の処理シーケンスを示すフローチャートである。
【図４】  実施の形態２の本発明に係る動画像圧縮符号化装置の構成例を示すブロック図である。
【図５】  実施の形態３の本発明に係る動画像圧縮符号化／復号化システムの構成例を示すブロック図である。
【図６】  実施の形態３の本発明に係る動画像圧縮符号化／復号化システムのフィールド数簡易予測回路の処理シーケンスを示すフローチャートである。
【図７】  実施の形態３の本発明に係る動画像圧縮符号化／復号化システムのフィールド数簡易予測回路により予測される累積フィールド数を示す模式図である。
【図８】  実施の形態３の本発明に係る動画像圧縮符号化／復号化システムのフィールド数簡易予測回路により予測される累積フィールド数を示す模式図である。
【図９】   3:2プルダウン処理の手順を示す模式図である。
【図１０】  従来のMPEG-2方式による動画像圧縮符号化装置の構成例を示すブロック図である。
【図１１】  従来のMPEG-2方式による動画像圧縮符号化処理を行なった場合のフレームの配列符号化前後の状態を示す模式図である。
【符号の説明】
５  ビデオエンコーダ、６  フィールド数カウント回路、７  フィールド数入替回路、８   PTS換算回路、９   PTS付加回路、10   90kHz分周器、11   PTSカウント回路、12   PTS入替回路、13  情報抽出回路、14  フィールド数簡易予測回路、15  オーディオエンコーダ、16   PTS付加回路、17  多重化回路、18  記録装置、19  分離回路、20  オーディオデコーダ、21  ビデオデコーダ、22  基準時刻生成回路、23  オーディオ PTS比較回路、24  ビデオ PTS比較回路、25   PTS差分フィルタ、26   SCR作成回路、50  逆3:2 プルダウン処理部。
【図１】
0004315521.tif 000002
【図２】
0004315521.tif 000003
【図３】
0004315521.tif 000004
【図４】
0004315521.tif 000005
【図５】
0004315521.tif 000006
【図６】
0004315521.tif 000007
【図７】
0004315521.tif 000008
【図８】
0004315521.tif 000009
【図９】
0004315521.tif 000010
【図１０】
0004315521.tif 000011
【図１１】
0004315521.tif 000012