(57)【要約】第Ｎピクチャにおいて、第１フィールド分のデータのみからなるマクロブロックが構成可能な８ライン分のデータがバッファに溜め込まれたら、第１フィールドのマクロブロック毎のアクティビティの計算が開始される。第１フィールドのアクティビティに基づき平均アクティビティが算出される。この第１フィールドの平均アクティビティが第Ｎピクチャの第１および第２フィールドに適用され、第Ｎピクチャの正規化アクティビティが算出される。正規化アクティビティに基づき視覚特性を考慮した量子化スケールｍｑａｕｎｔが算出され、第Ｎピクチャの適応量子化が行われる。自分自身のデータに基づき正規化アクティビティが算出されるため、シーンチェンジが発生してもシーンチェンジ後のピクチャの画質が劣化しない。また、システムディレイが小さく抑えられると共に、バッファメモリの容量が小さくて済む。
2002080572.tif 000002
【特許請求の範囲】
【請求項１】
画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出手段と、
上記平均アクティビティ算出手段により上記第１フィールドから算出された上記平均アクティビティを、該第１フィールドと、該第１フレームと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出手段と、
上記正規化アクティビティ算出手段により算出された上記正規化アクティビティを用いて上記第１フィールドおよび上記第２フィールドを量子化する量子化手段と
を有することを特徴とする画像処理装置。
【請求項２】
請求の範囲第１項に記載の画像処理装置において、
上記平均アクティビティ算出手段は、上記画像データを複数の領域に分割して形成されるブロックが構成されるための最小限の上記画像データが入力されたら上記アクティビティの算出を開始し、上記アクティビティを上記第１フィールドで積算して上記平均アクティビティを算出するようにしたことを特徴とする画像処理装置。
【請求項３】
請求の範囲第１項に記載の画像処理装置において、
上記アクティビティ算出手段は、ＭＰＥＧで扱われるマクロブロックの上記第１フィールドに対応するデータだけを用いて上記アクティビティを算出することを特徴とする画像処理装置。
【請求項４】
画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、
上記平均アクティビティ算出のステップにより上記第１フィールドから算出された上記平均アクティビティを、該第１フィールドと、該第１フレームと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出のステップと、
上記正規化アクティビティ算出のステップにより算出された上記正規化アクティビティを用いて上記第１フィールドおよび上記第２フィールドを量子化する量子化のステップと
を有することを特徴とする画像処理方法。
【請求項５】
画像データを量子化する画像処理方法をコンピュータ装置に実行させる画像処理プログラムにおいて、
上記画像処理方法は、
画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、
上記平均アクティビティ算出のステップにより上記第１フィールドから算出された上記平均アクティビティを、該第１フィールドと、該第１フレームと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出のステップと、
上記正規化アクティビティ算出のステップにより算出された上記正規化アクティビティを用いて上記第１フィールドおよび上記第２フィールドを量子化する量子化のステップと
を有することを特徴とする画像処理プログラム。
【請求項６】
画像データを量子化する画像処理方法をコンピュータ装置に実行させる画像処理プログラムが記録された記録媒体において、
上記画像処理方法は、
入力された画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、
上記平均アクティビティ算出のステップにより上記第１フィールドから算出された上記平均アクティビティを、該第１フィールドと、該第１フレームと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出のステップと、
上記正規化アクティビティ算出のステップにより算出された上記正規化アクティビティを用いて上記第１フィールドおよび上記第２フィールドを量子化する量子化のステップと
を有することを特徴とする記録媒体。
【発明の詳細な説明】
技術分野
この発明は、画像信号をブロック単位で量子化して画像信号の圧縮符号化を行い、その際に、フレーム毎の符号量が一定量以下になるように発生符号量を制御する画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体に関する。
背景技術
従来から、画像データの圧縮符号化方式として、画像データを所定画素数から成るブロック単位で量子化を行うことで圧縮符号化するものが知られている。例えばＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ２）では、このような圧縮符号化方式が採用されている。ＭＰＥＧ２では、画像データを所定画素数から成るブロック単位でＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）し、得られたＤＣＴ係数に対して量子化を行うことで、画像データを圧縮符号化する。ＭＰＥＧ２では、量子化の際の量子化ステップが量子化スケールにより指定されて、ＤＣＴ係数の圧縮符号化が行われる。
従来より、例えばこのＭＰＥＧ２の圧縮符号化において、圧縮する画像の複雑さや滑らかさを示すアクティビティ（Ａｃｔｉｖｉｔｙ）という指数を算出し、このアクティビティに基づく適応量子化を用いて画質の最適化を図る方法が知られている。
これは、圧縮処理による画質劣化が視覚的に目立ちやすい、画像が単調で滑らかな領域（以下、平坦領域という）では、量子化ステップの細かい量子化スケールを用いて細かく量子化し、これと反対に、画質劣化の目立ちにくい画像が複雑な領域では、量子化ステップの粗い量子化スケールを用いて粗く量子化を行なう手法であり、限られた符号量の中で画質の最適化を図る有効な手法である。
ところで、画像データの圧縮を行なう場合、上述したように、各画像の領域を所定サイズの画素ブロックに分割し、各ブロック毎に量子化やＤＣＴを行なうことになる。ＭＰＥＧ２による規格では、８画素×８ラインのブロックが最小処理単位として規定される。この８画素×８ラインのブロックでＤＣＴを行ない、このＤＣＴにより得られたＤＣＴ係数を、１６画素×１６ラインのマクロブロック単位で量子化するように規定されている。
一方、上述したアクティビティの算出を行なう単位としては、明確な規定はないものの、ＭＰＥＧ２のＴＭ５（Ｔｅｓｔ  Ｍｏｄｅｌ  ５）においては、ＤＣＴブロックと同様の８画素×８ラインのサブブロックで処理することが提案されている。
以下、ＭＰＥＧ２のＴＭ５で採用された「視覚特性を考慮した適応量子化」におけるアクティビティの算出方法について説明する。
先ず、適応量子化とは、例えば１フレーム単体での発生符号量を制御するために、画像の状態によって異なる量子化スケールＱｊを用いて量子化を行うように、量子化スケールＱｊを各マクロブロック毎のアクティビティにより変化させて、高画質を達成するものである。例えば、視覚的に画質劣化の目立ちやすい画像の平坦領域では、より細かい量子化ステップを有する量子化スケールＱｊを用いて量子化を行い、画質劣化の比較的目立ちにくい絵柄の複雑な画像領域で、より粗い量子化ステップを有する量子化スケールＱｊを用いて量子化を行うように、アクティビティにより量子化スケールＱｊを変化させる。
アクティビティは、予測誤差でなく、原画における輝度信号の画素値を用い、フレームＤＣＴ符号化モードにおける４個のブロックと、フィールドＤＣＴ符号化モードにおける４個のブロックとの合計８個のブロックの画素値を用いて算出される。例えば、ｊ番目のマクロブロックについて、以下の式（１）〜式（３）で与えられる演算を、式（３）、式（２）、式（１）の順に行なうことにより、アクティビティａｃｔｊが求められる。
2002080572.tif 000003
ここで、Ｐｋは、原画の輝度信号ブロック内の画素値であり、式（３）では８×８のブロック内の６４個の画素値を合計し、これを６４で割ることにより、ブロック内の画素値Ｐｋの平均値Ｐａｖｇを求めている。次に、式（２）では、平均値Ｐａｖｇと画素値Ｐｋそれぞれとの差分をとり、８×８のブロック内の平均差分値ｖａｒ＿ｓｂｌｋを算出している。さらに、式（１）において、平均差分値ｖａｒ＿ｓｂｌｋの最小値を採用し、ｊ番目のマクロブロックのアクティビティａｃｔｊを求める。なお、ここで最小値を採用するのは、マクロブロック内の一部だけでも平坦な部分のある場合には、このマクロブロックに対する量子化を細かくする必要があるからである。
そして、ＭＰＥＧ２のＴＭ５では、以上のようにして求めた各マクロブロックのアクティビティａｃｔｊから、「２．０」〜「０．５」の範囲の値をとる正規化アクティビティＮａｃｔｊを、次の式（４）より求める。
2002080572.tif 000004
ここで、「ａｖｇ＿ａｃｔ」は、現在処理中のフレーム（ピクチャ）の１つ前に符号化したフレームにおけるアクティビティａｃｔｊの平均値（平均アクティビティ）である。
そして、視覚特性を考慮した量子化スケールｍｑｕａｎｔｊは、１フレームの発生符号量を制御するために別途求められた量子化スケールＱｊに基づいて、次の（５）式で与えられる。
2002080572.tif 000005
このような量子化スケールｍｑｕａｎｔｊを用いて各マクロブロックの量子化を行なうことにより、１フレームの全体の符号量を所定の範囲内に保ちながら、そのフレームにおける画像の平坦度や複雑度に応じた最適な量子化を行ない、限られた符号量を有効に用いて画像の品位をできるだけ劣化させることなく効率的な画像圧縮を行なう。
ところで、フレーム間でシーンチェンジがあった場合には、シーンチェンジの前後で画像の状態が大きく変化することになり、フレーム間の相関性が損なわれることになる。
第１図Ａ、第１図Ｂ、第１図Ｃおよび第１図Ｄは、従来技術により正規化アクティビティＮａｃｔｊを求める場合の一例の処理を示す。第１図Ａは、フレーム信号であり、一組のローおよびハイで１フレームが示される。第１図Ｂは、入力されるピクチャを示す。１ピクチャが１フレームに対応する。インタレース走査では、１フレームが前半の第１フィールドおよび後半の第２フィールドの２フィールドからなる。
このような入力ピクチャに対して正規化アクティビティＮａｃｔｊを求める場合について説明する。上述したように、ＭＰＥＧ２では、ブロック単位で処理を行うため、ライン毎に入力された画像信号をブロックデータに変換し、所定画素サイズのブロックを形成する必要がある。１６画素×１６ラインでブロックを形成する場合、あるフレームの第２フィールドの最初の８ラインのデータが入力されて、当該フレームの最初のブロックが形成可能となる。したがって、入力ピクチャに対する正規化アクティビティＮａｃｔｊが求められるまでには、第１図Ｃに示されるように、入力ピクチャに対して、少なくとも１フィールド（０．５フレーム）＋８ライン分のディレイが発生する。
入力ピクチャに対する０．５フィールド＋８ライン分のディレイ後に、第（Ｎ−１）ピクチャの平均アクティビティａｖｇ＿ａｃｔが、第（Ｎ−１）ピクチャの１フレームすなわち第１および第２フィールドを用いて計算される。この第（Ｎ−１）ピクチャの平均アクティビティａｖｇ＿ａｃｔを用いて求められた正規化アクティビティＮａｃｔｊに基づき上述の式（５）で求められた量子化スケールｍｑｕａｎｔｊが算出される。この量子化スケールｍｑｕａｎｔｊにより次の第Ｎピクチャの量子化が行われ、出力ピクチャが生成される（第１図Ｄ）。
ここで、入力ピクチャにおいて、第Ｎピクチャから第（Ｎ＋１）ピクチャに移行する際にシーンチェンジが発生した場合について考える。この場合、第１図Ｄに示されるように、シーンチェンジ後の入力ピクチャである第（Ｎ＋１）ピクチャは、シーンチェンジ前の出力ピクチャ（第Ｎピクチャ）の平均アクティビティａｖｇ＿ａｃｔにより求められた正規化アクティビティＮａｃｔｊに基づき得られた量子化スケールｍｑｕａｎｔｊを用いて量子化され、出力ピクチャとされる。
このように、上述の従来技術による方法では、正規化アクティビティＮａｃｔｊを得る際に、１つ前に符号化したフレームの平均アクティビティａｖｇ＿ａｃｔを用いている。フレーム間でのシーンチェンジなどのように、フレーム間の相関性が損なわれた場合に、シーンチェンジ前のフレームから求めた平均アクティビティａｖｇ＿ａｃｔを用いてシーンチェンジ後のフレームのアクティビティを正規化すると、シーンチェンジ後のフレームを正規化するために用いられた平均アクティビティａｖｇ＿ａｃｔは、シーンチェンジ後のフレームの平均アクティビティａｖｇ＿ａｃｔとしては間違った値となってしまう。そのため、シーンチェンジ後のフレームでは、アクティビティの正規化を最適に行えず、却って画質の劣化を生じてしまうという問題点があった。
したがって、この発明の目的は、１フレーム内の発生符号量を制御する際に、適応量子化を用いて画質の最適化を行う場合に、フレーム間でシーンチェンジが発生しても正確に適応量子化を行うことができる画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体を提供することにある。
発明の開示
この発明は、上述した課題を解決するために、画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出手段と、平均アクティビティ算出手段により第１フィールドから算出された平均アクティビティを、第１フィールドと、第１フレームと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出手段と、正規化アクティビティ算出手段により算出された正規化アクティビティを用いて第１フィールドおよび第２フィールドを量子化する量子化手段とを有することを特徴とする画像処理装置である。
また、この発明は、画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、平均アクティビティ算出のステップにより第１フィールドから算出された平均アクティビティを、第１フィールドと、第１フレームと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出のステップと、正規化アクティビティ算出のステップにより算出された正規化アクティビティを用いて第１フィールドおよび第２フィールドを量子化する量子化のステップとを有することを特徴とする画像処理方法である。
また、この発明は、画像データを量子化する画像処理方法をコンピュータ装置に実行させる画像処理プログラムにおいて、画像処理方法は、画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、平均アクティビティ算出のステップにより第１フィールドから算出された平均アクティビティを、第１フィールドと、第１フレームと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出のステップと、正規化アクティビティ算出のステップにより算出された正規化アクティビティを用いて第１フィールドおよび第２フィールドを量子化する量子化のステップとを有することを特徴とする画像処理プログラムである。
また、この発明は、画像データを量子化する画像処理方法をコンピュータ装置に実行させる画像処理プログラムが記録された記録媒体において、画像処理方法は、入力された画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、平均アクティビティ算出のステップにより第１フィールドから算出された平均アクティビティを、第１フィールドと、第１フレームと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出のステップと、正規化アクティビティ算出のステップにより算出された正規化アクティビティを用いて第１フィールドおよび第２フィールドを量子化する量子化のステップとを有することを特徴とする記録媒体である。
上述したように、この発明は、画像データの第１フィールドから算出された平均アクティビティが第１フィールドと、第１フレームと同一フレームの第２フィールドとに適用されて算出された正規化アクティビティを用いて第１フィールドおよび第２フィールドを量子化するようにしているため、１フレームの画像データの量子化を、自分自身の画像データに基づく正規化アクティビティを用いて、小さいシステムディレイで行うことができる。
発明を実施するための最良の形態
以下、この発明について、図面を参照しながら説明する。この発明では、あるフレームの正規化アクティビティＮａｃｔｊを、当該フレームの第１フィールドの画像データから求めた平均アクティビティａｖｇ＿ａｃｔを用いて算出するようにしている。なお、この発明の実施の一形態においても、平均アクティビティａｖｇ＿ａｃｔおよび正規化アクティビティＮａｃｔｊは、従来の技術で式（１）〜式（５）を用いて既に説明した方法に基づき算出することができる。
第２図Ａ、第２図Ｂ、第２図Ｃ、第２図Ｄ、第２図Ｅおよび第２図Ｆは、この発明の実施の第１の形態により正規化アクティビティＮａｃｔｊを求める場合の一例の処理を示す。第２図Ａは、フレーム信号であり、一組のローおよびハイで１フレームが示される。第２図Ｂは、入力されるピクチャを示す。１ピクチャが１フレームに対応する。インタレース走査では、１フレームが前半の第１フィールドおよび後半の第２フィールドの２フィールドからなる。ここでは、第Ｎピクチャに対する処理について考える。また、１６画素×１６ラインのマクロブロック単位で、平均アクティビティａｖｇ＿ａｃｔが算出されるものとする。
第１フィールドのデータだけを用いて計算を行うため、第１フィールドの最初の８ラインが入力されバッファに溜め込まれた時点でマクロブロックの第１フィールド分の最初のデータが得られ、平均アクティビティａｖｇ＿ａｃｔの計算を開始することができる。したがって、第Ｎピクチャが入力されてから計算開始までのディレイは、第２図Ｃに示されるように、最小で８ライン分となる。
第Ｎピクチャの第１フィールドのデータが全て入力され、当該第１フィールドの平均アクティビティａｖｇ＿ａｃｔが算出されると、算出結果が第１および第２フィールドに適用され、第Ｎピクチャの正規化アクティビティＮａｃｔｊが求められる（第２図Ｅ）。この正規化アクティビティＮａｃｔｊと、後述する方法により別途に求められた量子化スケールＱｊにより上述した式（５）の演算が行われ、視覚特性を考慮した量子化スケールｍｑａｕｎｔｊが算出される。この量子化スケールｍｑａｕｎｔｊこより、当該第Ｎピクチャが量子化される。
第Ｎピクチャの正規化アクティビティＮａｃｔｊが第Ｎピクチャの第１フィールドの平均アクティビティａｖｇ＿ａｃｔだけから求められているので、第Ｎピクチャが入力されてから、視覚特性を考慮した量子化スケールｍｑａｕｎｔｊにより第Ｎピクチャの適応量子化が行われるまでのディレイは、第２図Ｆに示されるように、０．５フレーム＋αとなる。
ここで、入力ピクチャにおいて、第Ｎピクチャから第（Ｎ＋１）ピクチャに移行する際にシーンチェンジが発生したことを考える。この発明によれば、上述のように、第Ｎピクチャ自身の第１フィールドから算出された平均アクティビティａｖｇ＿ａｃｔを用いて、第Ｎピクチャの正規化アクティビティＮａｃｔｊが求められる。つまり、この発明では、従来技術で説明したように、正規化アクティビティＮａｃｔｊを求める際に前のフレームの平均アクティビティを用いないため、フレーム間でシーンチェンジがあった場合にも、適正に正規化アクティビティＮａｃｔｊを算出することができる。これにより、シーンチェンジ直後の画質の劣化を防止できる。したがって、例えばフレーム単位で編集を行なうような場合にも、良好な画質を得ることができる。
なお、正規化を行なうフレームの平均アクティビティａｖｇ＿ａｃｔを予め算出し、これに基づいて当該フレームのアクティビティを正規化するという方法も考えられる。この方法によれば、フレーム間のシーンチェンジにかかわらず、最適な平均アクティビティａｖｇ＿ａｃｔを用いてアクティビティの正規化を行なうことが可能となる。
第３図Ａ、第３図Ｂ、第３図Ｃ、第３図Ｄ、第３図Ｅおよび第３図Ｆは、この正規化を行なうフレームの平均アクティビティａｖｇ＿ａｃｔを予め算出して当該フレームのアクティビティを正規化する場合の一例の処理を示す。ここで、第３図Ａおよび第３図Ｂは、上述の第１図Ａおよび第１図Ｂと同一である。この第３図の例では、第３図Ｄに示されるように、量子化を行うピクチャ（例えば第Ｎピクチャ）のデータ全てが、すなわち、第Ｎピクチャの第１および第２フィールドがバッファに格納されたら、バッファに格納されたデータを用いて当該ピクチャの平均アクティビティａｖｇ＿ａｃｔを算出している。
この場合でも、当該ピクチャ（第Ｎピクチャ）が入力されてから少なくとも０．５フィールド＋８ライン分のディレイの後に、平均アクティビティａｖｇ＿ａｃｔの計算が行われる（第３図Ｃおよび第３図Ｄ）。そして、求められた当該ピクチャの平均アクティビティａｖｇ＿ａｃｔを用いて自分自身の正規化アクティビティＮａｃｔｊを求めている。
自分自身のデータに基づき計算された平均アクティビティａｖｇ＿ａｃｔを用いて該ピクチャの正規化アクティビティＮａｃｔｊを求めるため、例えば第Ｎピクチャの直後にシーンチェンジが発生ししても、適正な正規化アクティビティＮａｃｔｊを算出できる（第３図Ｅ）。
しかしながら、この場合には、当該ピクチャの第１および第２フィールド全てのデータを用いて平均アクティビティａｖｇ＿ａｃｔを計算した後、当該ピクチャのアクティビティの正規化を開始することになるため、平均アクティビティａｖｇ＿ａｃｔの計算から正規化までのディレイ（システムディレイ）が大きくなってしまう。
第３図Ａ、第３図Ｂ、第３図Ｃ、第３図Ｄ、第３図Ｅおよび第３図Ｆの例では、第Ｎピクチャが入力されてから０．５フレーム＋８ラインのディレイの後に平均アクティビティａｖｇ＿ａｃｔの計算が開始される。さらに、第Ｎピクチャの第１および第２フィールド全ての平均アクティビティａｖｇ＿ａｃｔが計算された後に、アクティビティの正規化が行われるので、少なくとも１フレーム分のディレイが加算される。すなわち、全体のディレイ量（システムディレイ）は、第３図Ｆに示されるように、少なくとも１．５フレーム＋αとなってしまう。
このようにシステムディレイが大きくなると、例えばリアルタイム編集などの用途には向いていないといえ、特に放送局用の映像機器として使用するには問題があると思われる。また、１ピクチャ分の平均アクティビティａｖｇ＿ａｃｔが計算された後に、当該ピクチャの正規化が行われるので、当該ピクチャの第１および第２フィールドのデータを保持するためのバッファメモリも必要となり、必要なバッファメモリの容量が増加してしまう。
これに対し、上述の第２図Ａ、第２図Ｂ、第２図Ｃ、第２図Ｄ、第２図Ｅおよび第２図Ｆを用いて説明したこの発明による方法では、平均アクティビティを第１フィールドだけから求めているので、正規化アクティビティを算出するフレーム（２フィールド）全体から平均アクティビティを算出する場合に比べて、短い演算時間で実現でき、システムディレイを短縮できる。したがって、画像圧縮処理の時間を短縮でき、ＶＴＲやエンコーダなどの各種動作処理に対する時間的制約を軽減することが可能となる。
なお、ＶＴＲ等におけるシーンチェンジは、特別な編集処理を行なわない限り、通常はフレーム単位で生じるものであるので、各フレームの第１フィールドを用いて当該フレームを処理することで、シーンチェンジの影響を受けないようにし得るものである。
次に、この発明の実施の一形態について説明する。なお、以下に説明する実施の一形態は、この発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、この発明の範囲は、以下の説明において、特に本発明を限定する旨の記載がない限り、これらの態様に限定されないものとする。
第４図Ａおよび第４図Ｂは、この発明の実施の一形態が適用されたディジタルＶＴＲの一例の構成を示す。このディジタルＶＴＲは、ＭＰＥＧ方式により圧縮符号化されたディジタルビデオ信号を記録媒体に直接的に記録することができるようにしたものである。
先ず、このディジタルＶＴＲにおける記録系の構成および処理動作について説明する。この記録系に外部より入力される信号は、ＳＤＩ（Ｓｅｒｉａｌ  Ｄａｔａ  Ｉｎｔｅｒｆａｃｅ）信号およびＳＤＴＩ（Ｓｅｒｉａｌ  Ｄａｔａ  Ｔｒａｎｓｐｏｒｔ  Ｉｎｔｅｒｆａｃｅ）信号の２種類のシリアルディジタルインターフェイス信号、アナログインターフェイス信号および制御信号である外部基準信号ＲＥＦである。
なお、ＳＤＩは、（４：２：２）コンポーネントビデオ信号とディジタルオーディオ信号と付加的データとを伝送するために、ＳＭＰＴＥによって規定されたインターフェイスである。また、ＳＤＴＩは、ディジタルビデオ信号がＭＰＥＧ方式で圧縮符号化されたストリームであるＭＰＥＧエレメンタリストリーム（以下、ＭＰＥＧ  ＥＳと称する）が伝送されるインターフェイスである。ＥＳは、４：２：２のコンポーネントであり、また、上述したように、全てＩピクチャのストリームであり、１ＧＯＰ＝１ピクチャの関係を有する。ＳＤＴＩ−ＣＰ（Ｃｏｎｔｅｎｔ  Ｐａｃｋａｇｅ）のフォーマットでは、ＭＰＥＧ  ＥＳがアクセスユニットへ分離され、また、フレーム単位のパケットにパッキングされている。ＳＤＴＩ−ＣＰでは、十分な伝送帯域（クロックレートで２７ＭＨｚまたは３６ＭＨｚ、ストリームビットレートで２７０Ｍ  ｂｐｓまたは３６０Ｍ  ｂｐｓ）を使用しており、１フレーム期間で、バースト的にＥＳを送ることが可能である。
ＳＤＩにより伝送されるＳＤＩ信号は、ＳＤＩ入力部１０１に入力される。また、アナログビデオ信号からなるアナログ入力信号がアナログ入力部１２０に入力される。アナログ入力部１２０では、入力されたアナログ入力信号をディジタル信号に変換し、例えば上述のＳＤＩフォーマットにマッピングして出力する。アナログ入力信号が変換されＳＤＩフォーマットにマッピングされたこのＳＤＩ信号は、ＳＤＩ入力部１０１に供給される。
ＳＤＩ入力部１０１では、供給されたＳＤＩ信号をシリアル信号からパラレル信号に変換して出力すると共に、ＳＤＩ信号に含まれる入力の位相基準である入力同期信号を抽出し、タイミングジェネレータＴＧ１０２に出力する。
また、ＳＤＩ入力部１０１は、変換したパラレル信号からビデオ信号とオーディオ信号とを分離する。分離されたビデオ入力信号とオーディオ入力信号は、それぞれＭＰＥＧエンコーダ１０３とディレイ回路１０４に出力される。
タイミングジェネレータＴＧ１０２は、入力された外部基準信号ＲＥＦから基準同期信号を抽出する。タイミングジェネレータＴＧでは、この基準同期信号とＳＤＩ入力部１０１から供給された入力同期信号とのうち、所定に指定された基準信号に同期して、このディジタルＶＴＲで必要なタイミング信号を生成し、タイミングパルスとして各ブロックに供給する。
ＭＰＥＧエンコーダ１０３は、入力されたビデオ入力信号を、ＤＣＴ変換して係数データに変換し、係数データを量子化した後、可変長符号化する。ＭＰＥＧエンコーダ１０３から出力される可変長符号化（ＶＬＣ）データは、ＭＰＥＧ２に準拠したエレメンタリストリーム（ＥＳ）である。この出力は、記録側のマルチフォーマットコンバータ（以下、記録側ＭＦＣと称する）１０６の一方の入力端に供給される。
ディレイ回路１０４は、入力されたオーディオ入力信号を、非圧縮データのままで、ＭＰＥＧエンコーダ１０３でのビデオ信号に対する処理のディレイに合わせるためのディレイラインの働きをするものである。このディレイ回路１０４で所定に遅延されたオーディオ信号は、ＥＣＣエンコーダ１０７に出力される。これは、この実施の一形態によるディジタルＶＴＲにおいて、オーディオ信号が非圧縮信号として扱われるためである。
外部からＳＤＴＩにより伝送され供給されたＳＤＴＩ信号は、ＳＤＴＩ入力部１０５に入力される。ＳＤＴＩ信号は、ＳＤＴＩ入力部１０５で同期検出される。そして、バッファに一旦溜め込まれ、エレメンタリストリームが抜き出される。抜き出されたエレメンタリストリームは、記録側ＭＦＣ１０６の他方の入力端に供給される。同期検出されて得られた同期信号は、上述したタイミングジェネレータＴＧ１０２に供給される（図示しない）。
なお、ＳＤＴＩ入力部１０５では、さらに、入力されたＳＤＴＩ信号からディジタルオーディオ信号を抽出する。抽出されたディジタルオーディオ信号は、ＥＣＣエンコーダ１０７に供給される。
このように、この実施の一形態によるディジタルＶＴＲは、ＳＤＩ入力部１０１から入力されるベースバンドのビデオ信号と独立して、ＭＰＥＧ  ＥＳを直接的に入力することができる。
記録側ＭＦＣ回路１０６は、ストリームコンバータとセレクタとを有し、ＳＤＩ入力部１０１およびＳＤＴＩ入力部１０５から供給されたＭＰＥＧ  ＥＳのうち、何れかが選択され、選択されたＭＰＥＧ  ＥＳのＤＣＴ係数を、１マクロブロックを構成する複数のＤＣＴブロックを通して周波数成分毎にまとめ、まとめた周波数成分を低周波数成分から順に並び替える。ＭＰＥＧ  ＥＳの係数が並べ替えられたストリームを、以下、変換エレメンタリストリームと称する。このようにＭＰＥＧ  ＥＳを再配置することにより、サーチ再生時にもなるべく多くのＤＣ係数と低次のＡＣ係数を拾い、サーチ画の品位向上に貢献している。変換エレメンタリストリームは、ＥＣＣエンコーダ１０７に供給される。
ＥＣＣエンコーダ１０７は、大容量のメインメモリが接続され（図示しない）、パッキングおよびシャフリング部、オーディオ用外符号エンコーダ、ビデオ用外符号エンコーダ、内符号エンコーダ、オーディオ用シャフリング部およびビデオ用シャフリング部などを内蔵する。また、ＥＣＣエンコーダ１０９は、シンクブロック単位でＩＤを付加する回路や、同期信号を付加する回路を含む。なお、実施の第１の形態では、ビデオ信号およびオーディオ信号に対するエラー訂正符号としては、積符号が使用される。積符号は、ビデオ信号またはオーディオ信号の２次元配列の縦方向に外符号の符号化を行い、その横方向に内符号の符号化を行い、データシンボルを２重に符号化するものである。外符号および内符号としては、リードソロモンコード（Ｒｅｅｄ−Ｓｏｌｏｍｏｎ  ｃｏｄｅ）を使用できる。
ＥＣＣエンコーダ１０７には、ＭＦＣ回路１０６から出力された変換エレメンタリストリームが供給されると共に、ＳＤＴＩ入力部１０５およびディレイ回路１０４から出力されたオーディオ信号が供給される。ＥＣＣエンコーダ１０７では、供給された変換エレメンタリストリーム及びオーディオ信号に対してシャフリング及びエラー訂正符号化を施し、シンクブロック毎にＩＤおよび同期信号を付加し記録データとして出力する。
ＥＣＣエンコーダ１０７から出力された記録データは、記録アンプを含むイコライザＥＱ１０８で記録ＲＦ信号に変換される。記録ＲＦ信号は、回転ヘッドが所定に設けられた回転ドラム１０９に供給され、磁気テープ１１０上に記録される。回転ドラム１０９には、実際には、隣接するトラックを形成するヘッドのアジマスが互いに異なる複数の磁気ヘッドが取り付けられている。
記録データに対して必要に応じてスクランブル処理を行っても良い。また、記録時にディジタル変調を行っても良く、さらに、パーシャル・レスポンスクラス４とビタビ符号を使用しても良い。なお、イコライザ１０８は、記録側の構成と再生側の構成とを共に含む。
次に、このディジタルＶＴＲにおける再生系の構成および処理動作について説明する。再生時には、磁気テープ１１０から回転ドラム１０９で再生された再生信号が再生アンプなどを含むイコライザ１０８の再生側の構成に供給される。イコライザ１０８では、再生信号に対して、等化や波形整形などがなされる。また、ディジタル変調の復調、ビタビ復号等が必要に応じてなされる。イコライザ１０８の出力は、ＥＣＣデコーダ１１１に供給される。
ＥＣＣデコーダ１１１は、上述したＥＣＣエンコーダ１０７と逆の処理を行うもので、大容量のメインメモリと、内符号デコーダ、オーディオ用およびビデオ用それぞれのデシャフリング部ならびに外符号デコーダを含む。さらに、ＥＣＣデコーダ１１１は、ビデオ用として、デシャフリングおよびデパッキング部、データ補間部を含む。同様に、オーディオ用として、オーディオＡＵＸ分離部とデータ補間部を含む。
ＥＣＣデコーダ１１１では、再生データに対して同期検出を行い、シンクブロックの先頭に付加されている同期信号を検出してシンクブロックを切り出す。再生データは、シンクブロック毎の内符号のエラー訂正がなされ、その後、シンクブロックに対してＩＤ補間処理がなされる。ＩＤが補間された再生データは、ビデオデータとオーディオデータとに分離される。ビデオデータおよびオーディオデータは、それぞれデシャフリング処理され、記録時にシャフリングされたデータ順が元に戻される。デシャフリングされたデータは、それぞれ外符号のエラー訂正が行われる。
ＥＣＣデコーダ１１１において、エラー訂正能力を超え、訂正できないエラーがあるデータに関しては、エラーフラグがセットされる。ここで、ビデオデータのエラーに関しては、エラーを含むデータを指し示す信号ＥＲＲが出力される。
エラー訂正された再生オーディオデータは、ＳＤＴＩ出力部１１５に供給されると共に、ディレイ回路１１４で所定の遅延を与えられてＳＤＩ出力部１１６に供給される。ディレイ回路１１４は、後述するＭＰＥＧデコーダ１１３でのビデオデータの処理による遅延を吸収するために設けられる。
一方、エラー訂正されたビデオデータは、再生変換エレメンタリストリームとして再生側ＭＦＣ回路１１２に供給される。上述した信号ＥＲＲも、再生側ＭＦＣ回路１１２に供給される。再生側ＭＦＣ１１２は、上述した記録側ＭＦＣ１０６と逆の処理を行うものであって、ストリームコンバータを含む。ストリームコンバータでは、記録側のストリームコンバータと逆の処理がなされる。すなわち、ＤＣＴブロックに跨がって周波数成分毎に並べられていたＤＣＴ係数を、ＤＣＴブロック毎に並び替える。これにより、再生信号がＭＰＥＧ２に準拠したエレメンタリストリームに変換される。このとき、ＥＣＣデコーダ１１１から信号ＥＲＲが供給された場合は、対応するデータをＭＰＥＧ２に完全に準拠する信号に置き換えて出力する。
再生側ＭＦＣ回路１１２から出力されたＭＰＥＧ  ＥＳは、ＭＰＥＧデコーダ１１３およびＳＤＴＩ出力部１１５に供給される。ＭＰＥＧデコーダ１１３は、供給されたＭＰＥＧ  ＥＳを復号し、非圧縮の元のビデオ信号に戻す。すなわち、ＭＰＥＧデコーダ１１３は、供給されたＭＰＥＧ  ＥＳに対して逆量子化処理と、逆ＤＣＴ処理とを施す。復号されたビデオ信号は、ＳＤＩ出力部１１６に供給される。
上述したように、ＳＤＩ出力部１１６には、ＥＣＣデコーダ１１１でビデオデータと分離されたオーディオデータがディレイ１１４を介して供給されている。ＳＤＩ出力部１１６では、供給されたビデオデータとオーディオデータとを、ＳＤＩのフォーマットにマッピングし、ＳＤＩフォーマットのデータ構造を有するＳＤＩ信号へ変換される。このＳＤＩ信号が外部に出力される。
一方、ＳＤＴＩ出力部１１５には、上述したように、ＥＣＣデコーダ１１１でビデオデータと分離されたオーディオデータが供給されている。ＳＤＴＩ出力部１１５では、供給された、エレメンタリストリームとしてのビデオデータと、オーディオデータとをＳＤＴＩのフォーマットにマッピングし、ＳＤＴＩフォーマットのデータ構造を有するＳＤＴＩ信号へ変換されるこのＳＤＴＩ信号が外部に出力される。
なお、システムコントローラ１１７（第４図Ａおよび第４図Ｂ中では、シスコン１１７と略記）は、例えばマイクロコンピュータからなり、信号ＳＹ＿ＩＯにより各ブロックと通信を行うことにより、このディジタルＶＴＲの全体の動作を制御する。サーボ１１８は、信号ＳＹ＿ＳＶによりシステムコントローラ１１７と互いに通信を行いながら、信号ＳＶ＿ＩＯにより、磁気テープ１１０の走行制御や回転ドラム１０９の駆動制御などを行う。
第５図Ａ、第５図Ｂおよび第５図Ｃは、上述したＭＰＥＧエンコーダ１０３の一例の構成を、より具体的に示す。また、第５図Ａ、第５図Ｂおよび第５図Ｃの各部において転送されるストリームの構成例を、第６図Ａ、第６図Ｂおよび第６図Ｃ、第７図Ａ、第７図Ｂおよび第７図Ｃ、第８図Ａおよび第８図Ｂ、第９図Ａおよび第９図Ｂ、第１０図Ａ、第１０図Ｂおよび第１０図Ｃ、第１１図Ａ、第１１図Ｂおよび第１１図Ｃ、ならびに、第１２図にそれぞれ示す。
ＭＰＥＧエンコーダ１０３は、入力フィールドアクティビティ平均化処理部１０３Ａ、プリエンコード処理部１０３Ｂおよびエンコード部１０３Ｃからなる。入力フィールドアクティビティ平均化処理部１０３Ａでは、入力されたビデオデータのアクティビティの平均値が求められてプリエンコード処理部１０３Ｂに渡される。プリエンコード処理部１０３Ｂでは、このアクティビティの平均値を用いて入力ビデオデータの量子化による発生符号量が見積もられる。この見積もり結果に基づき、エンコード部１０３Ｃにおいて、符号量制御しながら入力ビデオデータに対する実際の量子化が行われ、量子化されたビデオデータに対しさらに可変長符号化がなされ、ＭＰＥＧ  ＥＳとされて出力される。
なお、タイミングジェネレータＴＧ２２０は、例えば第４図Ａおよび第４図ＢのタイミングジェネレータＴＧ１０３から供給された水平同期信号ＨＤ、垂直同期信号ＶＤおよびフィールド同期信号ＦＬＤに基づき、ＭＰＥＧエンコーダ１０３内で必要とされるタイミング信号を生成し出力する。また、ＣＰＵ  Ｉ／Ｆブロック２２１は、第４図Ａおよび第４図Ｂのシステムコントローラ１１７とのインターフェイスであり、ＣＰＵ  Ｉ／Ｆブロック２２１を介してやりとりされた制御信号やデータにより、ＭＰＥＧエンコーダ１０３における動作が制御される。
先ず、入力フィールドアクティビティ平均化処理部１０３Ａの処理について説明する。ＳＤＩ入力部１０１から出力されＭＰＥＧエンコーダ１０３に入力されたビデオデータは、入力部２０１に供給され、メインメモリ２０３に格納するのに適したインターフェイスに変換されると共に、パリティチェックがなされる。入力部２０１から出力されたビデオデータは、ヘッダ作成部２０２に供給され、垂直ブランキング区間などを利用してＭＰＥＧにおける、ｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒ、ｑｕａｎｔｉｚｅｒ＿ｍａｔｒｉｘ、ｇｏｐ＿ｈｅａｄｅｒなどの各ヘッダが抽出される。抽出された各ヘッダは、メインメモリ２０３に格納される。これらのヘッダは、主に、ＣＰＵ  Ｉ／Ｆブロック２２１から指定される。また、ヘッダ作成部２０２において、垂直ブランキング区間以外では、入力部２０１から供給されたビデオデータがメインメモリ２０３に格納される。
メインメモリ２０３は、画像のフレームメモリであり、ビデオデータの再配列やシステムディレイの吸収などが行われる。ビデオデータの再配列は、例えば図示されないアドレスコントローラによりメインメモリ２０３からの読み出しアドレスを制御されることによりなされる。なお、図中、メインメモリ２０３のブロック中に記載される８ライン、０．５フレームおよび１フレームは、ディレイ値であり、メインメモリ２０３からのリードタイミングが示される。これらは、タイミングジェネレータＴＧ２２０の指令に基づき適切に制御される。
ラスタスキャン／ブロックスキャン変換部２０４は、ライン毎にメインメモリ２０３に格納されたビデオデータを、ＭＰＥＧで扱うマクロブロック毎に切り出して後段のアクティビティ部２０５に送る。この実施の一形態では、上述したように、第１フィールドだけを用いてアクティビティの計算を行うため、ラスタスキャン／ブロックスキャン変換部２０４から出力されるマクロブロックは、第１フィールド分のビデオデータにより構成される。
ラスタスキャン／ブロックスキャン変換部２０４から出力データとして出力されたストリームは、第６図Ａに一例が示されるように、垂直および水平方向のマクロブロックのアドレス情報が先頭に配され、所定サイズの空き領域の後ろに、１マクロブロック分の画像データが格納される。
なお、ストリームは、例えば８ビットを１ワードとして、５７６ワードのデータ長を有し、後半の５１２ワード（データ部と称する）が１マクロブロック分の画像データを格納する領域に割り当てられている。前半の６４ワード（ヘッダ部と称する）は、先頭に上述のマクロブロックのアドレス情報が格納され、その他の部分は、後段の各部にて埋め込まれるデータやフラグなどのため空き領域とされる。
ＭＰＥＧで扱うマクロブロックは、１６画素×１６ラインのマトリクスである。一方、このＭＰＥＧエンコーダ１０３では、第３図Ａ、第３図Ｂ、第３図Ｃ、第３図Ｄ、第３図Ｅおよび第３図Ｆを用いて上述したように、第１フィールドだけによるアクティビティを求める処理を行う。そのため、第１フィールドの８ラインまでがメインメモリ２０３に格納された時点で処理を開始することができる。なお、実際には、タイミングジェネレータＴＧ２２０からの指令にて処理が適切に開始される。
アクティビティ部２０５は、マクロブロック毎のアクティビティを計算する。このＭＰＥＧエンコーダ１０３においては、第１フィールドだけからアクティビティが計算され、その計算結果がフィールドアクティビティ信号ｆｉｅｌｄ＿ａｃｔとして出力される。信号ｆｉｅｌｄ＿ａｃｔは、平均化部２０６に供給され、１フィールド分が積算され、その平均値ａｖｇ＿ａｃｔが求められる。平均値ａｖｇ＿ａｃｔは、後述するプリエンコード処理部１０３Ｂのアクティビティ部２０９に供給される。アクティビティ部２０９では、第１および第２フィールドの平均値ａｖｇ＿ａｃｔを共に用いてプリエンコード処理が行われる。
したがって、第１フィールドにおけるアクティビティの平均値ａｖｇ＿ａｃｔが判明した後、その平均値を用いて、適応量子化を考慮したプリエンコード処理を行うことが可能となる。
次に、プリエンコード処理部１０３Ｂについて説明する。ラスタスキャン／ブロックスキャン変換部２０７Ａは、上述したラスタスキャン／ブロックスキャン変換部２０４と基本的には同様の処理を行う。但し、このラスタスキャン／ブロックスキャン変換部２０７Ａは、符号量の見積もりを行うプリエンコード処理のために行われるため、第１フィールドおよび第２フィールドのビデオデータが共に必要とされる。そのため、ラスタスキャン／ブロックスキャン変換部２０７Ａでは、第２フィールドの８ラインまでがメインメモリ２０３に格納された時点で、ＭＰＥＧで扱う１６画素×１６ラインのサイズのマクロブロックを構成することが可能となり、この時点で処理を開始することができる。なお、実際には、タイミングジェネレータＴＧ２２０からの指令によって、処理が適切に開始される。
ラスタスキャン／ブロックスキャン変換部２０７Ａから出力されたビデオデータは、ＤＣＴモード部２０８に供給される。ＤＣＴモード部２０８は、フィールドＤＣＴ符号化モードおよびフレームＤＣＴ符号化モードの何れを用いて符号化するかを決める。
ここでは、実際に符号化するのではなく、垂直方向に隣接した画素間差分値の絶対値和をフィールドＤＣＴ符号化モードで計算したものと、フレームＤＣＴ符号化モードで計算したものとが比較され、その値が小さい符号化モードが選択される。選択結果は、ＤＣＴモードタイプデータｄｃｔ＿ｔｙｐとしてストリーム中に一時的にフラグとして挿入され、後段に伝えられる。ＤＣＴモードタイプデータｄｃｔ＿ｔｙｐは、第６図Ｂに示されるように、ヘッダ部中の空き領域の後端側に格納される。
アクティビティ部２０９は、上述したアクティビティ部２０５と、基本的には同様の処理を行う。ただし、このアクティビティ部２０９では、上述のように、プリエンコード処理を行うためのもので、第１フィールドおよび第２フィールドのデータが共に用いられて、マクロブロック毎のアクティビティが計算される。アクティビティ部２０９により、先ず、アクティビティａｃｔが求められ、第６図Ｃに示されるように、ヘッダ部のマクロブロックアドレスに続けて格納される。次に、このアクティビティａｃｔと上述した平均化部２０６から得られるフィールドアクティビティの平均値ａｖｇ＿ａｃｔとを用いて、正規化アクティビティＮａｃｔが求められる。
正規化アクティビティＮａｃｔは、正規化アクティビティデータｎｏｒｍ＿ａｃｔとして、第７図Ａに示されるように、ストリーム中のヘッダ部に一時的にフラグとして挿入され、後段に伝えられる。なお、上述のアクティビティａｃｔは、ストリーム中で、正規化アクティビティデータｎｏｒｍ＿ａｃｔに上書きされる。
アクティビティ部２０９の出力は、ＤＣＴ部２１０Ａに供給される。ＤＣＴ部２１０Ａでは、供給されたマクロブロックを８画素×８画素からなるＤＣＴブロックに分割し、ＤＣＴブロックに対して２次元ＤＣＴが行われ、ＤＣＴ係数が生成される。ＤＣＴ係数は、第７図Ｂに示されるように、ストリームのデータ部に格納され、量子化テーブル部２１１Ａに供給される。
量子化テーブル部２１１Ａでは、ＤＣＴ部２１０Ａで変換されたＤＣＴ係数に対して量子化マトリクス（ｑｕａｎｔｉｚｅｒ＿ｍａｔｒｉｘ）による量子化が行われる。量子化テーブル部２１１Ａで量子化されたＤＣＴ係数は、第７図Ｃに示されるように、ストリームのデータ部に格納され、出力される。量子化テーブル部２１１Ａの出力は、複数のＱ＿ｎ（量子化）部２１２、２１２、・・・、ＶＬＣ部２１３、２１３、・・・、積算部Σ２１４、２１４、・・・、ならびに、積算部Σ２１５、２１５、・・・とからなる多段階の量子化部に供給される。量子化テーブル部２１１Ａで量子化されたＤＣＴ係数は、この多段階ステップの量子化部で多段階に量子化される。
ＤＣＴ係数は、Ｑ＿ｎ部２１２、２１２、・・・において、それぞれ異なった量子化スケール（ｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅ）Ｑを用いて量子化される。なお、量子化スケールＱの値は、例えばＭＰＥＧ２の規格によって予め決められており、Ｑ＿ｎ部２１２、２１２、・・・は、この規格に基づき、例えば３１個の量子化器で構成される。このとき、ｎ＝３１であって、Ｑ＿ｎ部２１２、２１２、・・・は、Ｑ＿１部、Ｑ＿２部、・・・、Ｑ＿３１部である。そして、各量子化器がそれぞれに割り振られた量子化スケールＱｎを用いて、ＤＣＴ係数の量子化が合計で３１ステップ、行われる。以下では、Ｑ＿ｎ部２１２、２１２、・・・のそれぞれに対応する量子化スケール値を量子化スケールＱｎ値とする。
Ｑ＿ｎ部２１２、２１２、・・・において、それぞれの量子化スケールＱｎ値により量子化が行われる。このとき、上述のアクティビティ部２０９で得られた正規化アクティビティデータｎｏｒｍ＿ａｃｔを用いて次の式（６）により求めた、視覚特性を考慮した量子化スケールであるｍｑａｕｎｔにより適応量子化が行われる。
2002080572.tif 000006
Ｑ＿ｎ部２１２、２１２、・・・において適応量子化された、量子化スケールＱｎ毎のＤＣＴ係数は、それぞれ第８図Ａに示されるようにストリーム中のデータ部に格納され、ＶＬＣ部２１３、２１３、・・・にそれぞれ供給される。量子化スケールＱｎ毎のＤＣＴ係数は、ＶＬＣ部２１３、２１３、・・・において、ジグザグスキャンなどのスキャニングが施され、２次元ハフマンコードなどに基づくＶＬＣテーブルが参照されてそれぞれ可変長符号化される。
ＶＬＣ部２１３、２１３、・・・で可変長符号化されたデータは、第８図Ｂに示されるようにストリーム中のデータ部に格納され、それぞれ出力される。ＶＬＣ部２１３、２１３、・・・の出力は、それぞれ対応する積算部Σ２１４、２１４、・・・に供給される。
積算部Σ２１４、２１４、・・・では、それぞれマクロブロック毎に発生符号量が積算される。上述のように３１種類の量子化器を用いる場合には、それぞれに対応する３１種類の発生符号量がマクロブロック毎に得られることになる。マクロブロック毎の発生符号量は、第９図Ａに示されるように、積算部Σ２１４、２１４、・・・において積算された発生符号量がストリーム中のヘッダ部に、各々格納される。すなわち、Ｑ＿１部２１２〜Ｑ＿ｎ部２１２のそれぞれの量子化による発生符号量が、マクロブロック毎に、ストリームのヘッダ部に格納される。なお、ストリームのデータ部は、削除される。このマクロブロック毎のストリームは、メインメモリ２０３に供給される。
また、積算部Σ２１４、２１４、・・・から出力されたマクロブロック毎の発生符号量は、それぞれ積算部Σ２１５、２１５、・・・に供給される。積算部Σ２１５、２１５、・・・は、上述した視覚特性を考慮したｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅ（＝ｍｑｕａｎｔ）で量子化した場合のマクロブロック毎の発生符号量に対応する符号量を、積算部Σ２１４で求めたマクロブロック毎の発生符号量の中から選択し、それを１フレーム分積算する。
積算部Σ２１５、２１５、・・・で量子化スケールＱｎ毎にそれぞれ１フレーム分積算された値は、そのフレームにおける発生符号量（フレームデータレート）とされて、第９図Ｂに示されるように、ｎワードのストリームとして後述するレートコントロール部２１７に供給される。なお、上述のように３１種類の量子化器を用いる場合には、それぞれに対応する３１種類の発生符号量がフレーム毎に得られることになる。
発生符号量を求める方法を、より具体的に説明する。例えば、「Ｑ＿４部２１２による発生符号量」は、次のようにして求められる。
例えば、
ｎｏｒｍ＿ａｃｔ［１］＝１．３
ｎｏｒｍ＿ａｃｔ［２］＝１．５
ｎｏｒｍ＿ａｃｔ［３］＝０．８
ｎｏｒｍ＿ａｃｔ［４］＝１．０
・・・
である場合、
ｍｑａｕｎｔ［１］＝４ｘ１．３＝５．２
：Ｑ＿５部２１２による発生符号量を、第９図Ａのヘッダ部から求める。
ｍｑａｕｎｔ［２］＝４ｘ１．５＝６．０
：Ｑ＿６部２１２による発生符号量を、第９図Ａのヘッダ部から求める。
ｍｑａｕｎｔ［３］＝４ｘ０．８＝３．２
：Ｑ＿３部２１２による発生符号量を、第９図Ａのヘッダ部から求める。
ｍｑａｕｎｔ［４］＝４ｘ１．０＝４．０
：Ｑ＿４部２１２による発生符号量を、第９図Ａのヘッダ部から求める。
・・・
以上を、１フレーム分、積算する。これを、Ｑ＿１部２１２〜Ｑ＿ｎ部２１２に対してそれぞれ行い、１フレーム分の発生符号量を求める。
次に、エンコード処理部１０３Ｃについて説明する。エンコード処理部１０３Ｃでは、最終的なエンコード処理が行われる。上述したように、プリエンコード処理部１０３Ｂにおいて、様々な量子化を行った場合の１フレーム分の発生符号量が見積もられる。エンコード処理部１０３Ｃでは、この１フレーム分で見積もられた発生符号量に基づき、予め設定された目標発生符号量を絶対に超えないようにエンコードが行われ、ＭＰＥＧ  ＥＳが出力される。
エンコード処理部１０３Ｃで用いられるデータは、既にメインメモリ２０３に格納されているが、上述したように、プリエンコード処理部１０３Ｂにより様々な量子化を行った場合の１フレームにおける発生符号量が見積もられた時点で処理を開始することができる。エンコード処理部１０３Ｃの各部における処理は、上述と同様に、タイミングジェネレータＴＧ２２０からの指令に基づき適切に開始される。
メインメモリ２０３から読み出されたビデオデータは、ラスタスキャン／ブロックスキャン変換部２０７Ｂにおいて、上述のラスタスキャン／ブロックスキャン変換部２０７Ａと同様の処理をされて１６画素×１６ラインのマクロブロックが切り出される。切り出されたマクロブロックは、第１０図Ａに示されるように、上述した第９図Ａに示されるヘッダ部に対応するデータ部に格納され、ＤＣＴモード部２１６に供給される。
ＤＣＴモード部２１６では、上述のＤＣＴモード部２０８と同様に、フィールドＤＣＴ符号化モードおよびフレームＤＣＴ符号化モードのうち何れを用いて符号化するかが決められる。このとき、既にＤＣＴモード部２０８において符号化モードが決められ、その結果がＤＣＴタイプデータｄｃｔ＿ｔｙｐとしてストリーム中に一時的に挿入されている（第１０図Ａ参照）。ＤＣＴモード部２１６では、ストリームからこのＤＣＴタイプデータｄｃｔ＿ｔｙｐを検出し、検出されたＤＣＴタイプデータｄｃｔ＿ｔｙｐに基づきフィールド符号化モードおよびフレーム符号化モードを切り換える。ＤＣＴモード部２１６の出力を第１０図Ｂに示す。
ＤＣＴモード部２１６から出力されたマクロブロックは、ＤＣＴ部２１０Ｂに供給され、上述のＤＣＴ部２１０Ａと同様にして８画素×８画素のＤＣＴブロック単位で２次元ＤＣＴされる。２次元ＤＣＴされたＤＣＴ係数は、第１０図Ｃに示されるように、ストリーム中のデータ部に格納されて、ＤＣＴ部２１０Ｂから出力される。
量子化テーブル部２１１Ｂは、上述の量子化テーブル部２１１Ａと同様に構成することができ、ＤＣＴ部２１０Ｂで変換されたＤＣＴ係数に対して量子化マトリクスによる量子化が行われる。量子化テーブル部２１１Ｂで量子化されたＤＣＴ係数は、第１１図Ａに示されるように、ストリーム中のデータ部に格納されてレートコントロール部２１７に供給される。
レートコントロール部２１７では、上述したプリエンコード処理部１０３Ｂにおいて積算部Σ２１５、２１５、・・・で得られた、各量子化スケールＱｎ毎のフレームデータレートの中から、システムコントローラ１１７により設定される１フレーム当たりの最大発生符号量を超えないもので、且つ、最も設定値に近いものが選択される。そして、選択されたフレームデータレートに対応する量子化器において用いられたマクロブロック毎の量子化スケール（ｍｑｕａｎｔ）が、ストリーム中に挿入された正規化アクティビティデータｎｏｒｍ＿ａｃｔから再度求められ、量子化部２１８に供給される。
マクロブロック毎の量子化スケールは、第１１図Ｂに示されるように、ストリーム中のヘッダ部の後端側にｑａｕｎｔｉｓｅｒ＿ｓｃａｌｅとして格納され、量子化部２１８に伝えられる。
なお、１フレーム当たりの最大発生符号量は、例えばシステムコントローラ１１７により設定され、ＣＰＵ  Ｉ／Ｆ２２１を介してレートコントロール部２１７に伝えられる。
また、この際、システムコントローラ１１７で設定されＣＰＵ  Ｉ／Ｆ２２１を介して伝えられる、１フレームあたりの最大発生符号量と、上述したストリーム中に挿入された正規化アクティビティデータｎｏｒｍ＿ａｃｔから求められたマクロブロック毎の量子化スケール（ｍｑａｕｎｔ）による発生符号量との差分を超えない範囲で、マクロブロック毎に量子化スケール（ｍｑｕａｎｔ）の値を１サイズ小さくするようにできる。これにより、システムコントローラ１１７で設定されＣＰＵ  Ｉ／Ｆ２２１を介して伝えられる１フレーム当たりの最大発生符号量に近付け、高画質を実現することが可能である。
量子化部２１８では、レートコントロール部２１７により上述のようにして指定される量子化スケール（ｑｕａｎｔｉｚｅｓ＿ｓｃａｌｅ）をストリーム中から取り出し、取り出された量子化スケールに基づき量子化テーブル部２１１Ｂで量子化されたＤＣＴ係数の量子化が行われる。このとき、レートコントロール部２１７から与えられる量子化スケールは、正規化アクティビティデータｎｏｒｍ＿ａｃｔから求められた量子化スケール（ｍｑｕａｎｔ）の値であるため、視覚特性が考慮された適応量子化が行われることになる。
量子化部２１８で量子化されたＤＣＴ係数は、第１１図Ｃに示されるようにストリーム中のデータ部に格納され、ＶＬＣ部２１９に供給される。量子化されＶＬＣ部２１９に供給されたＤＣＴ係数は、ジグザグスキャンなどのスキャンニングが施され、２次元ハフマンコードに基づくＶＬＣテーブルが参照されてそれぞれ可変長符号化される。さらに、可変長符号に対して、バイト単位で整列するようにビットシフトが施され、ＭＰＥＧ  ＥＳとされて出力される。
このとき、ＶＬＣ部２１９までストリームの前半部を構成していたヘッダ部が第１２図に示されるようにスライス層以下のＭＰＥＧのヘッダ情報が格納されるＭＰＥＧのヘッダ部にすげ替えられて出力される。可変長符号は、ストリームの後半側のデータ部に格納される。
なお、上述では、ＭＰＥＧエンコーダ１０３における処理がハードウェアにより行われるように説明したが、これはこの例に限定されない。ＭＰＥＧエンコーダ１０３の処理は、ソフトウェアによっても同様に実現可能なものである。例えば、コンピュータ装置にビデオ信号のアナログおよびディジタルの入力インターフェイスを設け、コンピュータ上に搭載されたソフトウェアによりＣＰＵおよびメモリなどを利用して実行することができる。また、上述のディジタルＶＴＲの構成において、ＭＰＥＧエンコーダ１０３をＣＰＵおよびメモリに置き換えたような構成としてもよい。
このソフトウェアは、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）といった記録媒体にプログラムデータとして記録されて提供される。このソフトウェアが記録された記録媒体をコンピュータ装置に装填し、所定の操作を行うことで当該ソフトウェアがコンピュータ装置にインストールされ、当該ソフトウェアによる処理を実行することが可能な状態とされる。なお、コンピュータ装置の構成は、極めて周知であるため、ここでは説明を省略する。
第１３図は、ＭＰＥＧエンコーダ１０３の処理をソフトウェアで行う場合の一例のフローチャートである。このフローチャートによる処理は、上述したハードウェアによる処理と同様なものであるので、以下では、上述したハードウェアにおける処理を考慮しながら、概略的に説明する。ステップＳ１〜Ｓ７は、上述の入力フィールドアクティビティ平均化処理部１０３Ａによる処理に対応する。ステップＳ１１〜Ｓ２１は、上述のプリエンコード処理部１０３Ｂに対応する。また、ステップＳ３１〜Ｓ３８は、上述のエンコード処理部１０３Ｃに対応する。
最初のステップＳ１で、ビデオデータが取り込まれる。次のステップＳ２で、取り込まれたビデオデータから、垂直ブランキング区間でＭＰＥＧにおける各ヘッダが抽出されメモリに格納される。垂直ブランキング区間以外では、取り込まれたビデオデータがメモリに格納される。
ステップＳ３では、ビデオデータがラスタスキャンからブロックスキャンへと変換され、マクロブロックが切り出される。これは、例えばメモリに格納されたビデオデータを読み出す際の読み出しアドレスを制御することでなされる。ステップＳ４で、マクロブロックに切り出されたビデオデータに対して第１フィールドによるアクティビティ計算がなされ、計算結果のアクティビティＡｃｔｉｂｉｔｙ（ａｃｔ）がステップＳ５で積算され、積算値ｓｕｍとしてメモリに格納される。これらステップＳ３〜Ｓ５までの処理は、ステップＳ６において第１フィールドの最終マクロブロックの処理が終了したと判断されるまで繰り返される。すなわち、積算値ｓｕｍは、１フィールド分のマクロブロックのアクティビティの合計となる。
ステップＳ６において１フィールドの最終マクロブロックまで処理が終了したと判断されたら、ステップＳ７で、メモリに格納された積算値ｓｕｍが１フィールド分のマクロブロック数で除され、１フィールド分のアクティビティが平均化されたフィールドアクティビティの平均値Ａｃｔｉｂｉｔｙ（ａｖｇ＿ａｃｔ）が求められ、メモリに格納される。
フィールドアクティビティの平均値Ａｃｔｉｂｉｔｙ（ａｖｇ＿ａｃｔ）が求められると、処理はステップＳ１１に移行する。ステップＳ１１では、上述のステップＳ３と同様に、メモリに格納されたビデオデータがラスタスキャンからブロックスキャンへと変換され、マクロブロックが切り出される。
次のステップＳ１２で、ＤＣＴをフィールドＤＣＴ符号化モードおよびフレームＤＣＴ符号化モードの何れで行うかが選択され、選択結果がＤＣＴモードタイプデータｄｃｔ＿ｔｙｐとしてメモリに格納される。ステップＳ１３では、第１および第２フィールドが共に用いられて、マクロブロック毎のアクティビティが計算され、上述のステップＳ７で求められメモリに格納されたフィールドアクティビティの平均値Ａｃｔｉｂｉｔｙ（ａｖｇ＿ａｃｔ）を用いて正規化アクティビティＡｃｔｉｂｉｔｙ（ｎｏｒｍ＿ａｃｔ）が求められる。求められた正規化アクティビティＡｃｔｉｂｉｔｙ（ｎｏｒｍ＿ａｃｔ）は、メモリに格納される。
次のステップＳ１４で、上述のステップＳ１１でビデオデータから切り出されたマクロブロックが８画素×８画素からなるＤＣＴブロックに分割され、このＤＣＴブロックに対して２次元ＤＣＴが行われる。２次元ＤＣＴによりＤＣＴブロックが変換されたＤＣＴ係数は、ステップＳ１５で量子化テーブル（ｑｕａｎｔｉｚｅｒ＿ｔａｂｌｅ）による量子化がなされ、処理はステップＳ１６に移行される。
ステップＳ１６〜Ｓ２０の処理を、量子化スケール（ｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅ）Ｑｎ値それぞれについて行うように繰り返すことで、上述のＱ＿ｎ部２１２、２１２、・・・、ＶＬＣ部２１３、２１３、・・・、積算部Σ２１４、２１４、・・・、ならびに、積算部Σ２１５、２１５、・・・に相当する処理が行われる。すなわち、ステップＳ１６で、ＤＣＴ係数に対して量子化スケールＱ＝１での量子化が行われ、ステップＳ１７で、ＶＬＣテーブルが参照されて量子化されたＤＣＴ係数が可変長符号化される。そして、ステップＳ１８で可変長符号化によるマクロブロックにおける発生符号量が計算され、ステップＳ１９で、ステップＳ１８で求められたマクロブロック毎の発生符号量が１フレーム分、積算される。ステップＳ２０で次の量子化スケールＱｎがあるか否かが判断され、次の量子化スケールＱｎがあると判断されたら、処理はステップＳ１６に戻され、次の量子化スケールＱｎに基づく処理が行われる。量子化スケールＱｎ毎の１フレーム分の発生符号量は、それぞれメモリに格納される。
ステップＳ２０で、全ての量子化スケールＱｎの値についてフレームにおける発生符号量の積算値が求められたとされれば、ステップＳ２１で、１フレームの最終マクロブロック（ＭＢ）まで処理が終了したかどうかが判断され、最終マクロブロックまでの処理が終了していなければ、処理がステップＳ１１に戻される。最終マクロブロックまでの処理が終了され１フレーム分の発生符号量が見積もられれば、ステップＳ３１に移行され、実際のエンコード処理が行われる。
ステップＳ３１では、上述のステップＳ１１と同様に、メモリに格納されたビデオデータがラスタスキャンからブロックスキャンへと変換され、マクロブロックが切り出される。次のステップＳ３２では、上述のステップＳ１２でメモリに格納されたＤＣＴモードタイプデータｄｃｔ＿ｔｙｐに基づきＤＣＴ符号化モードが設定される。
ステップＳ３３では、ステップＳ３１でビデオデータから切り出されたマクロブロックが８画素×８画素からなるＤＣＴブロックに分割され、このＤＣＴブロックに対して次元ＤＣＴが行われる。２次元ＤＣＴによりＤＣＴブロックが変換されたＤＣＴ係数は、ステップＳ３４で量子化テーブル（ｑｕａｎｔｉｚｅｒ＿ｔａｂｌｅ）による量子化がなされ、処理はステップＳ３５に移行される。
ステップＳ３５では、上述したステップＳ１１〜Ｓ２１において見積もられた、量子化スケールＱｎ毎の１フレーム分の発生符号量に基づき、実際のエンコード処理において発生される符号量の制御を行うために、後述するステップＳ３６で用いられる量子化スケールＱｎがマクロブロック毎に設定される。
そして、処理はステップＳ３６に移行され、ステップＳ３５で設定された量子化スケールＱｎを用いて、ステップＳ３４で量子化テーブルを用いて量子化されたＤＣＴ係数の量子化が行われる。ステップＳ３６で量子化されたＤＣＴ係数は、次のステップＳ３７でＶＬＣテーブルが参照され可変長符号化される。そして、ステップＳ３８で１フレームの最終マクロブロックまで処理が行われたか否かが判断され、１フレームの最終マクロブロックまで処理されていないと判断されれば、処理がステップＳ３１に戻され、次のマクロブロックに対する量子化処理および可変長符号化処理が行われる。一方、ステップＳ３７で、１フレームの最終マクロブロックまで処理が行われたと判断されれば、１フレーム分のエンコード処理が終了したとされる。
なお、上述では、ステップＳ１１〜Ｓ２１までのプリエンコード処理と、ステップＳ３１〜Ｓ３８までのエンコード処理とを別々の処理として説明したが、これはこの例に限定されない。例えば、ステップＳ１１〜Ｓ２１において発生符号量の見積もりにより得られたデータをメモリに格納し、そこから実際のエンコード処理により得られるデータを選択して取り出すようにする。これにより、ステップＳ３１〜Ｓ３８の処理をステップＳ１１〜Ｓ２１による処理に含まれるループとして組み込むことができる。
第１４図は、この発明の実施の一形態でアクティビティを算出する場合のブロック化を説明するための図である。この実施の一形態では、第１フィールドだけのアクティビティを算出する場合、８画素×４ラインのサブブロック単位で演算を行なう。
第１４図の左側は、１６画素×１６ラインからなる１マクロブロックを示す。第１４図の左側は、１フレームにおいて構成されるマクロブロックを示し、例えば斜線が付されているラインが第２フィールドのラインであり、他が第１フィールドのラインである。このマクロブロックが８画素×８ラインＤＣＴブロックに４分割される。さらに、第１４図の右側に一例が示されるように、第１フィールドを構成する成分（ライン）が取り出され、８画素×４ラインからなる４つのサブブロックを得る。この第１フィールドのデータからなるサブブロックについて、以下に示す演算によってフィールドアクティビティｆｉｅｌｄ＿ａｃｔが算出される。
なお、この実施の一形態では、上述したように、メインメモリ２０３に第１フィールドの８ライン分が格納された時点で処理が開始される。したがって、実際には、１６画素×１６ラインのマクロブロックから第１フィールドのデータからなる８画素×４ラインのサブブロックが取り出されるわけではなく、第１フィールドの８ライン分がメインメモリ２０３に格納された時点で、ラスタスキャン／ブロックスキャン変換部２０４によりブロックデータに変換された８画素×４ラインからなる４つのサブブロックが得られることになる。
先ず、８画素×４ラインのサブブロック毎に、各画素の輝度レベル値（Ｙｋ）の平均値（Ｐ）が次式（７）により求められる。
2002080572.tif 000007
すなわち、サブブロック内の８画素×４ライン＝３２個の輝度レベル値（Ｙｋ）を合計し、それを「３２」で割ることにより、平均値（Ｐ）が求められる。
次に、８画素×４ラインのサブブロック毎に輝度レベル値（Ｙｋ）と平均値（Ｐ）との差分値が二乗され、さらにその二乗された差分値の平均差分値（ｖａｒ＿ｓｂｌｋ）が次式（８）により求められる。
2002080572.tif 000008
１マクロブロックは、４個のサブブロックから構成されるので、４個の平均差分値（ｖａｒ＿ｓｂｌｋ）の中から最小値が求められる。この最小値が当該マクロブロックにおけるフィールドアクティビティｆｉｅｌｄ＿ａｃｔとして採用される（式（８））。
2002080572.tif 000009
以上のような演算処理が各マクロブロック毎に繰り返される。このようにして、第１フィールドにおけるフィールドアクティビティｆｉｅｌｄ＿ａｃｔの平均値（ｆｉｅｌｄ＿ａｖｇ＿ａｃｔ）が求められる。（式（９））
2002080572.tif 000010
なお、ここで値ＭＢｎｕｍは、１フレームにおけるマクロブロックの総数を示している。
この後、従来技術で既に説明した式（１）〜式（５）に基づく計算を行い、アクティビティの正規化を行い、マクロブロック毎のアクティビティを考慮した適応量子化を行なう。
なお、上述したフィールドアクティビティｆｉｅｌｄ＿ａｃｔの演算方法は一例であり、他の方法を用いて算出してもよい。
なお、この発明が適用されたＭＰＥＧエンコーダ１０３は、放送業務用ＶＴＲに適したものとするため、イントラピクチャのみに対応し、さらに、１フレーム当たりのデータ量が設定された値を絶対に超えないように符号量制御されている。そのため、上述したプリエンコード処理部１０３Ｂによるプリエンコード処理が行われているため、上述の第３図Ｆに示したシステムディレイに対してさらに１フレーム分のディレイが追加される。しかしながら、この１フレーム分のディレイは、プリエンコード処理での符号量制御によるものであって、この発明の、当該ピクチャの第１フィールドから求めた平均アクティビティを用いて、マクロブロック毎のアクティビティを考慮した適応量子化を行う、という主旨に関わるものではない。すなわち、プリエンコード処理を行った場合には、この発明による第２図Ａ、第２図Ｂ、第２図Ｃ、第２図Ｄ、第２図Ｅおよび第２図Ｆのタイミングのみならず、従来技術で説明した第１図Ａ、第１図Ｂ、第１図Ｃおよび第１図Ｄ、ならびに、フレーム間のシーンチェンジに対応可能な他の方法である第３図Ａ、第３図Ｂ、第３図Ｃ、第３図Ｄ、第３図Ｅおよび第３図Ｆのタイミングに対して、それぞれ１フレームのディレイがなされることになり、この実施の形態の利点を覆すものではない。
なお、上述では、画像データの符号化方式として画像をブロック単位でＤＣＴして符号化するＭＰＥＧ２方式を採用しているが、これはこの例に限定されない。画像データをブロック単位で符号化する符号化方式であれば、他の符号化方式を用いることも可能である。
また、上述では、この発明の適用される例として、ディジタルＶＴＲを説明しているが、これはこの例に限定されない。この発明は、画像データをブロック符号化を用いて圧縮符号化する他の画像処理装置、例えば伝送のために画像データを圧縮符号化する画像伝送装置にも適用することが可能である。
以上説明したように、この実施の形態では、あるフレームの正規化アクティビティを算出する場合、そのフレームの第１フィールドの画像データから求めた平均アクティビティを用いて正規化アクティビティを算出するようにしている。このように、この実施の形態では、正規化アクティビティの算出の際に前のフレームの平均アクティビティを用いないため、フレーム間でシーンチェンジがあった場合にも適正に正規化アクティビティを算出することができ、画質の劣化を生じない。
また、フレーム（２フィールド）全体から平均アクティビティを算出して正規化アクティビティを求める方法に比べて、演算時間を短くすることができ、システムディレイを短縮できる。
さらに、正規化アクティビティを求めるための１フレーム分のバッファが不要なため、メモリ容量が節約できる。
またそのため、システムディレイの制約がある編集用のＶＴＲにこの発明を適用することで、視覚特性を考慮した画質の最適化を行うことが可能となる。
【図面の簡単な説明】
第１図Ａ、第１図Ｂ、第１図Ｃおよび第１図Ｄは、従来技術により正規化アクティビティＮａｃｔｊを求める場合の一例の処理を示すタイムチャート、第２図Ａ、第２図Ｂ、第２図Ｃ、第２図Ｄ、第２図Ｅおよび第２図Ｆは、この発明の実施の第１の形態により正規化アクティビティＮａｃｔｊを求める場合の一例の処理を示すタイムチャート、第３図Ａ、第３図Ｂ、第３図Ｃ、第３図Ｄ、第３図Ｅおよび第３図Ｆは、正規化を行なうフレームの平均アクティビティａｖｇ＿ａｃｔを予め算出して当該フレームのアクティビティを正規化する場合の一例の処理を示すタイムチャート、第４図Ａおよび第４図Ｂは、この発明の実施の一形態が適用されたディジタルＶＴＲの一例の構成を示すブロック図、第５図Ａ、第５図Ｂおよび第５図Ｃは、ＭＰＥＧエンコーダの一例の構成をより具体的に示すブロック図、第６図Ａ、第６図Ｂおよび第６図Ｃは、ＭＰＥＧエンコーダの各部において転送されるストリームの構成例を示す略線図、第７図Ａ、第７図Ｂおよび第７図Ｃは、ＭＰＥＧエンコーダの各部において転送されるストリームの構成例を示す略線図、第８図Ａおよび第８図Ｂは、ＭＰＥＧエンコーダの各部において転送されるストリームの構成例を示す略線図、第９図Ａおよび第９図Ｂは、ＭＰＥＧエンコーダの各部において転送されるストリームの構成例を示す略線図、第１０図Ａ、第１０図Ｂおよび第１０図Ｃは、ＭＰＥＧエンコーダの各部において転送されるストリームの構成例を示す略線図、第１１図Ａ、第１１図Ｂおよび第１１図Ｃは、ＭＰＥＧエンコーダの各部において転送されるストリームの構成例を示す略線図、第１２図は、ＭＰＥＧエンコーダの各部において転送されるストリームの構成例を示す略線図、第１３図は、ＭＰＥＧエンコーダの処理をソフトウェアで行う場合の一例のフローチャート、第１４図は、この発明の実施の一形態でアクティビティを算出する場合のブロック化を説明するための図である。
符号の説明
１０２    タイミングジェネレータＴＧ
１０３    ＭＰＥＧエンコーダ
１１７    システムコントローラ
２０３    メインメモリ
２０４，２０７Ａ，２０７Ｂ    ラスタスキャン／ブロックスキャン変換部
２０５，２０９    アクティビティ部
２０６    平均化部
２０８，２１６    ＤＣＴモード部
２１０Ａ，２１０Ｂ    ＤＣＴ部
２１１Ａ，２１１Ｂ    量子化テーブル部
２１２    量子化部
２１３    ＶＬＣ部
２１４，２１５    積算部Σ
２１７    レートコントロール部
２１８    量子化部
２１９    ＶＬＣ部
Ｓ１    画像の取り込み
Ｓ２    ヘッダの付加
Ｓ３    ラスタスキャン→ブロックスキャン変換
Ｓ４    第１フィールドによるアクティビティ（ａｃｔ）計算
Ｓ５    アクティビティ（ａｃｔ）積算
ｓｕｍ＝ｓｕｍ＋ａｃｔ
Ｓ６    第１フィールドの最終ＭＢか？
Ｓ７    第１フィールドの平均アクティビティ（ａｖｇ＿ａｃｔ）の計算
ａｖｇ＿ａｃｔ＝ｓｕｍ／ＭＢ数
Ｓ１１    ラスタスキャン→ブロックスキャン変換
Ｓ１２    ＤＣＴモードの決定（ｆｉｅｌｄ＿ｄｃｔ／ｆｒａｍｅ＿ｄｃｔ）
Ｓ１３    アクティビティ（ｎｏｒｍ＿ａｃｔ）の計算
Ｓ１４    ＤＣＴの計算
Ｓ１５    Ｑ＿ｔａｂｌｅによる量子化
Ｓ１６    Ｑ＿ｓｃａｌｅによる量子化
Ｓ１７    ＶＬＣによる可変長符号化
Ｓ１８    ＭＢにおける発生符号量の計算
Ｓ１９    フレームにおける発生符号量の積算（Ｑ＿ｓｃａｌｅの種類毎）
Ｓ２０    他のＱ＿ｓｃａｌｅがあるか？
Ｓ２１    最終ＭＢか？
Ｓ３１    ラスタスキャン→ブロックスキャン変換
Ｓ３２    ＤＣＴモードの選択（ｆｉｅｌｄ＿ｄｃｔ／ｆｒａｍｅ＿ｄｃｔ）
Ｓ３３    ＤＣＴの計算
Ｓ３４    Ｑ＿ｔａｂｌｅによる量子化
Ｓ３５    符号量の制御（Ｑ＿ｓｃａｌｅの設定）
Ｓ３６    Ｑ＿ｓｃａｌｅによる量子化
Ｓ３７    ＶＬＣによる可変長符号化
Ｓ３８    最終ＭＢか？
【図１Ａ】
2002080572.tif 000011
【図１Ｂ】
2002080572.tif 000012
【図１Ｃ】
2002080572.tif 000013
【図１Ｄ】
2002080572.tif 000014
【図２Ａ】
2002080572.tif 000015
【図２Ｂ】
2002080572.tif 000016
【図２Ｃ】
2002080572.tif 000017
【図２Ｄ】
2002080572.tif 000018
【図２Ｅ】
2002080572.tif 000019
【図２Ｆ】
2002080572.tif 000020
【図３Ａ】
2002080572.tif 000021
【図３Ｂ】
2002080572.tif 000022
【図３Ｃ】
2002080572.tif 000023
【図３Ｄ】
2002080572.tif 000024
【図３Ｅ】
2002080572.tif 000025
【図３Ｆ】
2002080572.tif 000026
【図４】
2002080572.tif 000027
【図４Ａ】
2002080572.tif 000028
【図４Ｂ】
2002080572.tif 000029
【図５】
2002080572.tif 000030
【図５Ａ】
2002080572.tif 000031
【図５Ｂ】
2002080572.tif 000032
【図５Ｃ】
2002080572.tif 000033
【図６Ａ】
2002080572.tif 000034
【図６Ｂ】
2002080572.tif 000035
【図６Ｃ】
2002080572.tif 000036
【図７Ａ】
2002080572.tif 000037
【図７Ｂ】
2002080572.tif 000038
【図７Ｃ】
2002080572.tif 000039
【図８Ａ】
2002080572.tif 000040
【図８Ｂ】
2002080572.tif 000041
【図９Ａ】
2002080572.tif 000042
【図９Ｂ】
2002080572.tif 000043
【図１０Ａ】
2002080572.tif 000044
【図１０Ｂ】
2002080572.tif 000045
【図１０Ｃ】
2002080572.tif 000046
【図１１Ａ】
2002080572.tif 000047
【図１１Ｂ】
2002080572.tif 000048
【図１１Ｃ】
2002080572.tif 000049
【図１２】
2002080572.tif 000050
【図１３】
2002080572.tif 000051
【図１４】
2002080572.tif 000052
【手続補正書】
【提出日】平成14年10月22日(2002.10.22)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出手段と、
上記平均アクティビティ算出手段により上記第１フィールドから算出された上記平均アクティビティを、該第１フィールドと、該第１フィールドと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出手段と、
上記正規化アクティビティ算出手段により算出された上記正規化アクティビティを用いて上記第１フィールドおよび上記第２フィールドを量子化する量子化手段と
を有することを特徴とする画像処理装置。
【請求項２】
請求の範囲第１項に記載の画像処理装置において、
上記平均アクティビティ算出手段は、上記画像データを複数の領域に分割して形成されるブロックが構成されるための最小限の上記画像データが入力されたら上記アクティビティの算出を開始し、上記アクティビティを上記第１フィールドで積算して上記平均アクティビティを算出するようにしたことを特徴とする画像処理装置。
【請求項３】
請求の範囲第１項に記載の画像処理装置において、
上記アクティビティ算出手段は、ＭＰＥＧで扱われるマクロブロックの上記第１フィールドに対応するデータだけを用いて上記アクティビティを算出することを特徴とする画像処理装置。
【請求項４】
画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、
上記平均アクティビティ算出のステップにより上記第１フィールドから算出された上記平均アクティビティを、該第１フィールドと、該第１フィールドと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出のステップと、
上記正規化アクティビティ算出のステップにより算出された上記正規化アクティビティを用いて上記第１フィールドおよび上記第２フィールドを量子化する量子化のステップと
を有することを特徴とする画像処理方法。
【請求項５】
画像データを量子化する画像処理方法をコンピュータ装置に実行させる画像処理プログラムにおいて、
上記画像処理方法は、
画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、
上記平均アクティビティ算出のステップにより上記第１フィールドから算出された上記平均アクティビティを、該第１フィールドと、該第１フィールドと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出のステップと、
上記正規化アクティビティ算出のステップにより算出された上記正規化アクティビティを用いて上記第１フィールドおよび上記第２フィールドを量子化する量子化のステップと
を有することを特徴とする画像処理プログラム。
【請求項６】
画像データを量子化する画像処理方法をコンピュータ装置に実行させる画像処理プログラムが記録された記録媒体において、
上記画像処理方法は、
入力された画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、
上記平均アクティビティ算出のステップにより上記第１フィールドから算出された上記平均アクティビティを、該第１フィールドと、該第１フィールドと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出のステップと、
上記正規化アクティビティ算出のステップにより算出された上記正規化アクティビティを用いて上記第１フィールドおよび上記第２フィールドを量子化する量子化のステップと
を有することを特徴とする記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
入力ピクチャに対して、少なくとも１フィールド（０．５フレーム）＋８ライン分のディレイが発生する。
入力ピクチャに対する０．５フィールド＋８ライン分のディレイ後に、第（Ｎ−１）ピクチャの平均アクティビティａｖｇ＿ａｃｔが、第（Ｎ−１）ピクチャの１フレームすなわち第１および第２フィールドを用いて計算される。この第（Ｎ−１）ピクチャの平均アクティビティａｖｇ＿ａｃｔを用いて求められた正規化アクティビティＮａｃｔｊに基づき上述の式（５）で求められた量子化スケールｍｑｕａｎｔｊが算出される。この量子化スケールｍｑｕａｎｔｊにより次の第Ｎピクチャの量子化が行われ、出力ピクチャが生成される（第１図Ｄ）。
ここで、入力ピクチャにおいて、第Ｎピクチャから第（Ｎ＋１）ピクチャに移行する際にシーンチェンジが発生した場合について考える。この場合、第１図Ｄに示されるように、シーンチェンジ後の入力ピクチャである第（Ｎ＋１）ピクチャは、シーンチェンジ前の入力ピクチャ（第Ｎピクチャ）の平均アクティビティａｖｇ＿ａｃｔにより求められた正規化アクティビティＮａｃｔｊに基づき得られた量子化スケールｍｑｕａｎｔｊを用いて量子化され、出力ピクチャとされる。
このように、上述の従来技術による方法では、正規化アクティビティＮａｃｔｊを得る際に、１つ前に符号化したフレームの平均アクティビティａｖｇ＿ａｃｔを用いている。フレーム間でのシーンチェンジなどのように、フレーム間の相関性が損なわれた場合に、シーンチェンジ前のフレームから求めた平均アクティビティａｖｇ＿ａｃｔを用いてシーンチェンジ後のフレームのアクティビティを正規化すると、シーンチェンジ後のフレームを正規化するために用いられた平均アクティビティａｖｇ＿ａｃｔは、シーンチェンジ後のフレームの平均アクティビティａｖｇ＿ａｃｔとしては間違った値となってしまう。そのため、シーンチェンジ後のフレームでは、アクテ


【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
ィビティの正規化を最適に行えず、却って画質の劣化を生じてしまうという問題点があった。
したがって、この発明の目的は、１フレーム内の発生符号量を制御する際に、適応量子化を用いて画質の最適化を行う場合に、フレーム間でシーンチェンジが発生しても正確に適応量子化を行うことができる画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体を提供することにある。
発明の開示
この発明は、上述した課題を解決するために、画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出手段と、平均アクティビティ算出手段により第１フィールドから算出された平均アクティビティを、第１フィールドと、第１フィールドと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出手段と、正規化アクティビティ算出手段により算出された正規化アクティビティを用いて第１フィールドおよび第２フィールドを量子化する量子化手段とを有することを特徴とする画像処理装置である。
また、この発明は、画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、平均アクティビティ算出のステップにより第１フィールドから算出された平均アクティビティを、第１フィールドと、第１フィールドと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出のステップと、正規化アクティビティ算出のステップにより算出された正規化アクティビティを用いて第１フィールドおよび第２フィールドを量子化する量子化のステップとを有することを特徴とする画像


【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
処理方法である。
また、この発明は、画像データを量子化する画像処理方法をコンピュータ装置に実行させる画像処理プログラムにおいて、画像処理方法は、画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、平均アクティビティ算出のステップにより第１フィールドから算出された平均アクティビティを、第１フィールドと、第１フィールドと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出のステップと、正規化アクティビティ算出のステップにより算出された正規化アクティビティを用いて第１フィールドおよび第２フィールドを量子化する量子化のステップとを有することを特徴とする画像処理プログラムである。
また、この発明は、画像データを量子化する画像処理方法をコンピュータ装置に実行させる画像処理プログラムが記録された記録媒体において、画像処理方法は、入力された画像データの第１フィールドから平均アクティビティを算出する平均アクティビティ算出のステップと、平均アクティビティ算出のステップにより第１フィールドから算出された平均アクティビティを、第１フィールドと、第１フィールドと同一フレームの第２フィールドとに適用して正規化アクティビティを算出する正規化アクティビティ算出のステップと、正規化アクティビティ算出のステップにより算出された正規化アクティビティを用いて第１フィールドおよび第２フィールドを量子化する量子化のステップとを有することを特徴とする記録媒体である。
上述したように、この発明は、画像データの第１フィールドから算出された平均アクティビティが第１フィールドと、第１フィールドと同一フレームの第２フィールドとに適用されて算出された正規化アクティビティを用いて第１フィールドおよび第２フィールドを量子化するようにし


【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
構成例を示す略線図、第１２図は、ＭＰＥＧエンコーダの各部において転送されるストリームの構成例を示す略線図、第１３図は、ＭＰＥＧエンコーダの処理をソフトウェアで行う場合の一例のフローチャート、第１４図は、この発明の実施の一形態でアクティビティを算出する場合のブロック化を説明するための図である。
発明を実施するための最良の形態
以下、この発明について、図面を参照しながら説明する。この発明では、あるフレームの正規化アクティビティＮａｃｔｊを、当該フレームの第１フィールドの画像データから求めた平均アクティビティａｖｇ＿ａｃｔを用いて算出するようにしている。なお、この発明の実施の一形態においても、平均アクティビティａｖｇ＿ａｃｔおよび正規化アクティビティＮａｃｔｊは、従来の技術で式（１）〜式（５）を用いて既に説明した方法に基づき算出することができる。
第２図Ａ、第２図Ｂ、第２図Ｃ、第２図Ｄ、第２図Ｅおよび第２図Ｆは、この発明の実施の一形態により正規化アクティビティＮａｃｔｊを求める場合の一例の処理を示す。第２図Ａは、フレーム信号であり、一組のローおよびハイで１フレームが示される。第２図Ｂは、入力されるピクチャを示す。１ピクチャが１フレームに対応する。インタレース走査では、１フレームが前半の第１フィールドおよび後半の第２フィールドの２フィールドからなる。ここでは、第Ｎピクチャに対する処理について考える。また、１６画素×１６ラインのマクロブロック単位で、平均アクティビティａｖｇ＿ａｃｔが算出されるものとする。
第１フィールドのデータだけを用いて計算を行うため、第１フィールドの最初の８ラインが入力されバッファに溜め込まれた時点でマクロブロックの第１フィールド分の最初のデータが得られ、平均アクティビテ


【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
ィａｖｇ＿ａｃｔの計算を開始することができる。したがって、第Ｎピクチャが入力されてから計算開始までのディレイは、第２図Ｃに示されるように、最小で８ライン分となる。
第Ｎピクチャの第１フィールドのデータが全て入力され、当該第１フィールドの平均アクティビティａｖｇ＿ａｃｔが算出される（第２図Ｄ）と、算出結果が第１および第２フィールドに適用され、第Ｎピクチャの正規化アクティビティＮａｃｔｊが求められる（第２図Ｅ）。この正規化アクティビティＮａｃｔｊと、後述する方法により別途に求められた量子化スケールＱｊにより上述した式（５）の演算が行われ、視覚特性を考慮した量子化スケールｍｑａｕｎｔｊが算出される。この量子化スケールｍｑａｕｎｔｊにより、当該第Ｎピクチャが量子化される。
第Ｎピクチャの正規化アクティビティＮａｃｔｊが第Ｎピクチャの第１フィールドの平均アクティビティａｖｇ＿ａｃｔだけから求められているので、第Ｎピクチャが入力されてから、視覚特性を考慮した量子化スケールｍｑａｕｎｔｊにより第Ｎピクチャの適応量子化が行われるまでのディレイは、第２図Ｆに示されるように、０．５フレーム＋αとなる。
ここで、入力ピクチャにおいて、第Ｎピクチャから第（Ｎ＋１）ピクチャに移行する際にシーンチェンジが発生したことを考える。この発明によれば、上述のように、第Ｎピクチャ自身の第１フィールドから算出された平均アクティビティａｖｇ＿ａｃｔを用いて、第Ｎピクチャの正規化アクティビティＮａｃｔｊが求められる。つまり、この発明では、従来技術で説明したように、正規化アクティビティＮａｃｔｊを求める際に前のフレームの平均アクティビティを用いないため、フレーム間でシーンチェンジがあった場合にも、適正に正規化アクティビティＮａｃｔｊを算出することができる。これにより、シーンチェンジ直後の画質の劣化を防止できる。したがって、例えばフレーム単位で編集を行なうような場合にも、良好


【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
ルＶＴＲの全体の動作を制御する。サーボ１１８は、信号ＳＹ＿ＳＶによりシステムコントローラ１１７と互いに通信を行いながら、信号ＳＶ＿ＩＯにより、磁気テープ１１０の走行制御や回転ドラム１０９の駆動制御などを行う。
第５図Ａ、第５図Ｂおよび第５図Ｃは、上述したＭＰＥＧエンコーダ１０３の一例の構成を、より具体的に示す。また、第５図Ａ、第５図Ｂおよび第５図Ｃの各部において転送されるストリームの構成例を、第６図Ａ、第６図Ｂおよび第６図Ｃ、第７図Ａ、第７図Ｂおよび第７図Ｃ、第８図Ａおよび第８図Ｂ、第９図Ａおよび第９図Ｂ、第１０図Ａ、第１０図Ｂおよび第１０図Ｃ、第１１図Ａ、第１１図Ｂおよび第１１図Ｃ、ならびに、第１２図にそれぞれ示す。
ＭＰＥＧエンコーダ１０３は、入力フィールドアクティビティ平均化処理部１０３Ａ、プリエンコード処理部１０３Ｂおよびエンコード部１０３Ｃからなる。入力フィールドアクティビティ平均化処理部１０３Ａでは、入力されたビデオデータのアクティビティの平均値が求められてプリエンコード処理部１０３Ｂに渡される。プリエンコード処理部１０３Ｂでは、このアクティビティの平均値を用いて入力ビデオデータの量子化による発生符号量が見積もられる。この見積もり結果に基づき、エンコード部１０３Ｃにおいて、符号量制御しながら入力ビデオデータに対する実際の量子化が行われ、量子化されたビデオデータに対しさらに可変長符号化がなされ、ＭＰＥＧ  ＥＳとされて出力される。
なお、タイミングジェネレータＴＧ２２０は、例えば第４図Ａおよび第４図ＢのタイミングジェネレータＴＧ１０２から供給された水平同期信号ＨＤ、垂直同期信号ＶＤおよびフィールド同期信号ＦＬＤに基づき、ＭＰＥＧエンコーダ１０３内で必要とされるタイミング信号を生成し出力する。また、ＣＰＵ  Ｉ／Ｆブロック２２１は、第４図Ａおよび第４


【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
の一形態では、上述したように、第１フィールドだけを用いてアクティビティの計算を行うため、ラスタスキャン／ブロックスキャン変換部２０４から出力されるマクロブロックは、第１フィールド分のビデオデータにより構成される。
ラスタスキャン／ブロックスキャン変換部２０４から出力データとして出力されたストリームは、第６図Ａに一例が示されるように、垂直および水平方向のマクロブロックのアドレス情報が先頭に配され、所定サイズの空き領域の後ろに、１マクロブロック分の画像データが格納される。
なお、ストリームは、例えば８ビットを１ワードとして、５７６ワードのデータ長を有し、後半の５１２ワード（データ部と称する）が１マクロブロック分の画像データを格納する領域に割り当てられている。前半の６４ワード（ヘッダ部と称する）は、先頭に上述のマクロブロックのアドレス情報が格納され、その他の部分は、後段の各部にて埋め込まれるデータやフラグなどのため空き領域とされる。
ＭＰＥＧで扱うマクロブロックは、１６画素×１６ラインのマトリクスである。一方、この入力フィールドアクティビティ平均化処理部１０３Ａでは、第２図Ａ、第２図Ｂ、第２図Ｃ、第２図Ｄ、第２図Ｅおよび第２図Ｆを用いて上述したように、第１フィールドだけによるアクティビティを求める処理を行う。そのため、第１フィールドの８ラインまでがメインメモリ２０３に格納された時点で処理を開始することができる。なお、実際には、タイミングジェネレータＴＧ２２０からの指令にて処理が適切に開始される。
アクティビティ部２０５は、マクロブロック毎のアクティビティを計算する。この入力フィールドアクティビティ平均化処理部１０３Ａにおいては、第１フィールドだけからアクティビティが計算され、その計算結果がフィールドアクティビティ信号ｆｉｅｌｄ＿ａｃｔとして出力される。信号ｆｉｅｌｄ＿ａｃｔは、平均化部２


【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
フレームＤＣＴ符号化モードで計算したものとが比較され、その値が小さい符号化モードが選択される。選択結果は、ＤＣＴモードタイプデータｄｃｔ＿ｔｙｐとしてストリーム中に一時的にフラグとして挿入され、後段に伝えられる。ＤＣＴモードタイプデータｄｃｔ＿ｔｙｐは、第６図Ｂに示されるように、ヘッダ部中の空き領域の後端側に格納される。
アクティビティ部２０９は、上述したアクティビティ部２０５と、基本的には同様の処理を行う。ただし、このアクティビティ部２０９では、上述のように、プリエンコード処理を行うためのもので、第１フィールドおよび第２フィールドのデータが共に用いられて、マクロブロック毎のアクティビティが計算される。アクティビティ部２０９により、先ず、アクティビティａｃｔが求められ、第６図Ｃに示されるように、ヘッダ部のマクロブロックアドレスに続けて格納される。次に、このアクティビティａｃｔと上述した平均化部２０６から得られるフィールドアクティビティの平均値ａｖｇ＿ａｃｔとを用いて、正規化アクティビティＮａｃｔが求められる。
正規化アクティビティＮａｃｔは、正規化アクティビティデータｎｏｒｍ＿ａｃｔとして、第７図Ａに示されるように、ストリーム中のヘッダ部に一時的にフラグとして挿入され、後段に伝えられる。なお、上述のアクティビティａｃｔは、ストリーム中で、正規化アクティビティデータｎｏｒｍ＿ａｃｔに上書きされる。
アクティビティ部２０９の出力は、ＤＣＴ部２１０Ａに供給される。ＤＣＴ部２１０Ａでは、供給されたマクロブロックを８画素×８ラインからなるＤＣＴブロックに分割し、ＤＣＴブロックに対して２次元ＤＣＴが行われ、ＤＣＴ係数が生成される。ＤＣＴ係数は、第７図Ｂに示されるように、ストリームのデータ部に格納され、量子化テーブル部２１１Ａに供給される。


【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
図Ａ参照）。ＤＣＴモード部２１６では、ストリームからこのＤＣＴタイプデータｄｃｔ＿ｔｙｐを検出し、検出されたＤＣＴタイプデータｄｃｔ＿ｔｙｐに基づきフィールド符号化モードおよびフレーム符号化モードを切り換える。ＤＣＴモード部２１６の出力を第１０図Ｂに示す。
ＤＣＴモード部２１６から出力されたマクロブロックは、ＤＣＴ部２１０Ｂに供給され、上述のＤＣＴ部２１０Ａと同様にして８画素×８ラインのＤＣＴブロック単位で２次元ＤＣＴされる。２次元ＤＣＴされたＤＣＴ係数は、第１０図Ｃに示されるように、ストリーム中のデータ部に格納されて、ＤＣＴ部２１０Ｂから出力される。
量子化テーブル部２１１Ｂは、上述の量子化テーブル部２１１Ａと同様に構成することができ、ＤＣＴ部２１０Ｂで変換されたＤＣＴ係数に対して量子化マトリクスによる量子化が行われる。量子化テーブル部２１１Ｂで量子化されたＤＣＴ係数は、第１１図Ａに示されるように、ストリーム中のデータ部に格納されてレートコントロール部２１７に供給される。
レートコントロール部２１７では、上述したプリエンコード処理部１０３Ｂにおいて積算部Σ２１５、２１５、・・・で得られた、各量子化スケールＱｎ毎のフレームデータレートの中から、システムコントローラ１１７により設定される１フレーム当たりの最大発生符号量を超えないもので、且つ、最も設定値に近いものが選択される。そして、選択されたフレームデータレートに対応する量子化器において用いられたマクロブロック毎の量子化スケール（ｍｑｕａｎｔ）が、ストリーム中に挿入された正規化アクティビティデータｎｏｒｍ＿ａｃｔから再度求められ、量子化部２１８に供給される。
マクロブロック毎の量子化スケールは、第１１図Ｂに示されるように、ストリーム中のヘッダ部の後端側にｑａｕｎｔｉｓｅｒ＿ｓｃａｌｅとして格納され、


【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
ンからブロックスキャンへと変換され、マクロブロックが切り出される。
次のステップＳ１２で、ＤＣＴをフィールドＤＣＴ符号化モードおよびフレームＤＣＴ符号化モードの何れで行うかが選択され、選択結果がＤＣＴモードタイプデータｄｃｔ＿ｔｙｐとしてメモリに格納される。ステップＳ１３では、第１および第２フィールドが共に用いられて、マクロブロック毎のアクティビティが計算され、上述のステップＳ７で求められメモリに格納されたフィールドアクティビティの平均値Ａｃｔｉｂｉｔｙ（ａｖｇ＿ａｃｔ）を用いて正規化アクティビティＡｃｔｉｂｉｔｙ（ｎｏｒｍ＿ａｃｔ）が求められる。求められた正規化アクティビティＡｃｔｉｂｉｔｙ（ｎｏｒｍ＿ａｃｔ）は、メモリに格納される。
次のステップＳ１４で、上述のステップＳ１１でビデオデータから切り出されたマクロブロックが８画素×８ラインからなるＤＣＴブロックに分割され、このＤＣＴブロックに対して２次元ＤＣＴが行われる。２次元ＤＣＴによりＤＣＴブロックが変換されたＤＣＴ係数は、ステップＳ１５で量子化テーブル（ｑｕａｎｔｉｚｅｒ＿ｔａｂｌｅ）による量子化がなされ、処理はステップＳ１６に移行される。
ステップＳ１６〜Ｓ２０の処理を、量子化スケール（ｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅ）Ｑｎ値それぞれについて行うように繰り返すことで、上述のＱ＿ｎ部２１２、２１２、・・・、ＶＬＣ部２１３、２１３、・・・、積算部Σ２１４、２１４、・・・、ならびに、積算部Σ２１５、２１５、・・・に相当する処理が行われる。すなわち、ステップＳ１６で、ＤＣＴ係数に対して量子化スケールＱ＝１での量子化が行われ、ステップＳ１７で、ＶＬＣテーブルが参照されて量子化されたＤＣＴ係数が可変長符号化される。そして、ステップＳ１８で可変長符号化によるマクロブロックにおける発生符号量が計算され、ステップＳ１９で、ステップＳ１８で求められたマクロブロック毎の発生符号量が１フレーム分、積算される。


【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
ステップＳ２０で次の量子化スケールＱｎがあるか否かが判断され、次の量子化スケールＱｎがあると判断されたら、処理はステップＳ１６に戻され、次の量子化スケールＱｎに基づく処理が行われる。量子化スケールＱｎ毎の１フレーム分の発生符号量は、それぞれメモリに格納される。
ステップＳ２０で、全ての量子化スケールＱｎの値についてフレームにおける発生符号量の積算値が求められたとされれば、ステップＳ２１で、１フレームの最終マクロブロック（ＭＢ）まで処理が終了したかどうかが判断され、最終マクロブロックまでの処理が終了していなければ、処理がステップＳ１１に戻される。最終マクロブロックまでの処理が終了され１フレーム分の発生符号量が見積もられれば、ステップＳ３１に移行され、実際のエンコード処理が行われる。
ステップＳ３１では、上述のステップＳ１１と同様に、メモリに格納されたビデオデータがラスタスキャンからブロックスキャンへと変換され、マクロブロックが切り出される。次のステップＳ３２では、上述のステップＳ１２でメモリに格納されたＤＣＴモードタイプデータｄｃｔ＿ｔｙｐに基づきＤＣＴ符号化モードが設定される。
ステップＳ３３では、ステップＳ３１でビデオデータから切り出されたマクロブロックが８画素×８ラインからなるＤＣＴブロックに分割され、このＤＣＴブロックに対して２次元ＤＣＴが行われる。２次元ＤＣＴによりＤＣＴブロックが変換されたＤＣＴ係数は、ステップＳ３４で量子化テーブル（ｑｕａｎｔｉｚｅｒ＿ｔａｂｌｅ）による量子化がなされ、処理はステップＳ３５に移行される。
ステップＳ３５では、上述したステップＳ１１〜Ｓ２１において見積もられた、量子化スケールＱｎ毎の１フレーム分の発生符号量に基づき、実際のエンコード処理において発生される符号量の制御を行うために、


【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
後述するステップＳ３６で用いられる量子化スケールＱｎがマクロブロック毎に設定される。
そして、処理はステップＳ３６に移行され、ステップＳ３５で設定された量子化スケールＱｎを用いて、ステップＳ３４で量子化テーブルを用いて量子化されたＤＣＴ係数の量子化が行われる。ステップＳ３６で量子化されたＤＣＴ係数は、次のステップＳ３７でＶＬＣテーブルが参照され可変長符号化される。そして、ステップＳ３８で１フレームの最終マクロブロックまで処理が行われたか否かが判断され、１フレームの最終マクロブロックまで処理されていないと判断されれば、処理がステップＳ３１に戻され、次のマクロブロックに対する量子化処理および可変長符号化処理が行われる。一方、ステップＳ３８で、１フレームの最終マクロブロックまで処理が行われたと判断されれば、１フレーム分のエンコード処理が終了したとされる。
なお、上述では、ステップＳ１１〜Ｓ２１までのプリエンコード処理と、ステップＳ３１〜Ｓ３８までのエンコード処理とを別々の処理として説明したが、これはこの例に限定されない。例えば、ステップＳ１１〜Ｓ２１において発生符号量の見積もりにより得られたデータをメモリに格納し、そこから実際のエンコード処理により得られるデータを選択して取り出すようにする。これにより、ステップＳ３１〜Ｓ３８の処理をステップＳ１１〜Ｓ２１による処理に含まれるループとして組み込むことができる。
第１４図は、この発明の実施の一形態でアクティビティを算出する場合のブロック化を説明するための図である。この実施の一形態では、第１フィールドだけのアクティビティを算出する場合、８画素×４ラインのサブブロック単位で演算を行なう。
第１４図の左側は、１６画素×１６ラインからなる１マクロブロック


【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
を示す。第１４図の左側は、１フレームにおいて構成されるマクロブロックを示し、例えば斜線が付されているラインが第２フィールドのラインであり、他が第１フィールドのラインである。このマクロブロックが８画素×８ラインＤＣＴブロックに４分割される。さらに、第１４図の右側に一例が示されるように、第１フィールドを構成する成分（ライン）が取り出され、８画素×４ラインからなる４つのサブブロックを得る。この第１フィールドのデータからなるサブブロックについて、以下に示す演算によってフィールドアクティビティｆｉｅｌｄ＿ａｃｔが算出される。
なお、この実施の一形態では、上述したように、メインメモリ２０３に第１フィールドの８ライン分が格納された時点で処理が開始される。したがって、実際には、１６画素×１６ラインのマクロブロックから第１フィールドのデータからなる８画素×４ラインのサブブロックが取り出されるわけではなく、第１フィールドの８ライン分がメインメモリ２０３に格納された時点で、ラスタスキャン／ブロックスキャン変換部２０４によりブロックデータに変換された８画素×４ラインからなる４つのザブブロックが得られることになる。
先ず、８画素×４ラインのサブブロック毎に、各画素の輝度レベル値（Ｙｋ）の平均値（Ｐ）が次式（７）により求められる。
Ｐ＝１／３２Σ［ｋ＝１，３２］Ｙｋ      ・・・（７）
すなわち、サブブロック内の８画素×４ライン＝３２個の輝度レベル値（Ｙｋ）を合計し、それを「３２」で割ることにより、平均値（Ｐ）が求められる。
次に、８画素×４ラインのサブブロック毎に輝度レベル値（Ｙｋ）と平均値（Ｐ）との差分値が二乗され、さらにその二乗された差分値の平均差分値（ｖａｒ＿ｓｂｌｋ）が次式（８）により求められる。
ｖａｒ＿ｓｂｌｋ＝１／３２  Σ［ｋ＝１，３２］（Ｙｋ−Ｐ）２
・・・（８）


【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
１マクロブロックは、４個のサブブロックから構成されるので、４個の平均差分値（ｖａｒ＿ｓｂｌｋ）の中から最小値が求められる。この最小値が当該マクロブロックにおけるフィールドアクティビティｆｉｅｌｄ＿ａｃｔとして採用される（式（９））。
ｆｉｅｌｄ＿ａｃｔ＝１＋ｍｉｎ［ｓｂｌｋ＝１，４］（ｖａｒ＿ｓｂｌｋ）
・・・（９）
以上のような演算処理が各マクロブロック毎に繰り返される。このようにして、第１フィールドにおけるフィールドアクティビティｆｉｅｌｄ＿ａｃｔの平均値（ｆｉｅｌｄ＿ａｖｇ＿ａｃｔ）が求められる。（式（１０））
ｆｉｅｌｄ＿ａｖｇ＿ａｃｔ＝１／ＭＢｎｕｍ  Σ［ｍ＝１，ＭＢｎｕｍ］ｆｉｅｌｄ＿ａｃｔ［ｍ］                    ・・・（１０）
なお、ここで値ＭＢｎｕｍは、１フレームにおけるマクロブロックの総数を示している。
この後、従来技術で既に説明した式（１）〜式（５）に基づく計算を行い、アクティビティの正規化を行い、マクロブロック毎のアクティビティを考慮した適応量子化を行なう。
なお、上述したフィールドアクティビティｆｉｅｌｄ＿ａｃｔの演算方法は一例であり、他の方法を用いて算出してもよい。
なお、この発明が適用されたＭＰＥＧエンコーダ１０３は、放送業務用ＶＴＲに適したものとするため、イントラピクチャのみに対応し、さらに、１フレーム当たりのデータ量が設定された値を絶対に超えないように符号量制御されている。そのため、上述したプリエンコード処理部１０３Ｂによるプリエンコード処理が行われているため、上述の第３図Ｆに示したシステムディレイに対してさらに１フレーム分のディレイが追加される。しかしながら、この１フレーム分のディレイは、プリエンコード処理での符号量制御によるものであって、この発明の、当該ピクチャの第１フィールドから求めた平均アクティビティを用いて、マクロ


【手続補正１６】
【補正対象書類名】図面
【補正対象項目名】第３図Ｄ
【補正方法】変更
【補正の内容】
【図３Ｄ】
2002080572.tif 000053
【手続補正１７】
【補正対象書類名】図面
【補正対象項目名】第３図Ｅ
【補正方法】変更
【補正の内容】
【図３Ｅ】
2002080572.tif 000054
【手続補正１８】
【補正対象書類名】図面
【補正対象項目名】第５図Ｃ
【補正方法】変更
【補正の内容】
【図５Ｃ】
2002080572.tif 000055
【手続補正１９】
【補正対象書類名】図面
【補正対象項目名】第７図Ａ
【補正方法】変更
【補正の内容】
【図７Ａ】
2002080572.tif 000056
【手続補正２０】
【補正対象書類名】図面
【補正対象項目名】第７図Ｂ
【補正方法】変更
【補正の内容】
【図７Ｂ】
2002080572.tif 000057
【手続補正２１】
【補正対象書類名】図面
【補正対象項目名】第７図Ｃ
【補正方法】変更
【補正の内容】
【図７Ｃ】
2002080572.tif 000058
【手続補正２２】
【補正対象書類名】図面
【補正対象項目名】第８図Ａ
【補正方法】変更
【補正の内容】
【図８Ａ】
2002080572.tif 000059
【手続補正２３】
【補正対象書類名】図面
【補正対象項目名】第８図Ｂ
【補正方法】変更
【補正の内容】
【図８Ｂ】
2002080572.tif 000060
【手続補正２４】
【補正対象書類名】図面
【補正対象項目名】第９図Ａ
【補正方法】変更
【補正の内容】
【図９Ａ】
2002080572.tif 000061
【手続補正２５】
【補正対象書類名】図面
【補正対象項目名】第９図Ｂ
【補正方法】変更
【補正の内容】
【図９Ｂ】
2002080572.tif 000062
【手続補正２６】
【補正対象書類名】図面
【補正対象項目名】第１０図Ａ
【補正方法】変更
【補正の内容】
【図１０Ａ】
2002080572.tif 000063
【手続補正２７】
【補正対象書類名】図面
【補正対象項目名】第１０図Ｂ
【補正方法】変更
【補正の内容】
【図１０Ｂ】
2002080572.tif 000064
【手続補正２８】
【補正対象書類名】図面
【補正対象項目名】第１０図Ｃ
【補正方法】変更
【補正の内容】
【図１０Ｃ】
2002080572.tif 000065
【手続補正２９】
【補正対象書類名】図面
【補正対象項目名】第１１図Ａ
【補正方法】変更
【補正の内容】
【図１１Ａ】
2002080572.tif 000066
【手続補正３０】
【補正対象書類名】図面
【補正対象項目名】第１１図Ｂ
【補正方法】変更
【補正の内容】
【図１１Ｂ】
2002080572.tif 000067
【手続補正３１】
【補正対象書類名】図面
【補正対象項目名】第１１図Ｃ
【補正方法】変更
【補正の内容】
【図１１Ｃ】
2002080572.tif 000068
【国際調査報告】
2002080572.tif 000069
2002080572.tif 000070
2002080572.tif 000071