(57)【特許請求の範囲】
【請求項１】
画像を表す信号を処理するシステムであって、
前記画像を表す信号に応答して、動きベクトルを生成する画像動き処理ネットワークと、
前記画像を表す信号に応答して、２つ以上の画像フレームにわたる画像の輝度勾配の存在を表すインジケータ信号を、３フレーム・シーケンスにわたり対応する、画像を分割した領域を示すセグメント間の隣接するフレームの絶対ピクセル差の総和の比率値を求め、該比率値があらかじめ決めた個数のセグメント間でほぼ一定の場合に生成する検出器と、
前記動きベクトルを零にするために、前記インジケータ信号を前記動き処理ネットワークに供給する手段と、
を具備したことを特徴とする画像を表す信号を処理するシステム。
【請求項２】
請求項１に記載のシステムにおいて、さらに、
入力された前記画像を表す信号と前記動きベクトルとに応答する画像信号符号化器を含むことを特徴とする画像を表す信号を処理するシステム。
【請求項３】
請求項１に記載のシステムにおいて、
前記画像を表す信号はテレビジョン信号のコンポーネントであり、
前記インジケータ信号は複数の画像フレームにわたる画像フェージングに関連した輝度勾配の存在を表していることを特徴とする画像を表す信号を処理するシステム。
【請求項４】
請求項１に記載のシステムにおいて、前記画像動き処理ネットワークは、前記画像を表す信号が入力される入力処理ネットワーク（２０）、残余画像を生じさせる差計算ネットワーク（２２）、離散コサイン変換（ＤＣＴ）および量子化を行う中間プロセッサ（２６、２８）、および順方向エラー訂正処理を行う出力プロセッサ（３６）がこの順序で配置されている信号通路のうち前記中間プロセッサ（２６、２８）と前記出力プロセッサ（３６）との間の信号通路に結合されており、前記画像動き処理ネットワークは、
前記信号通路に結合され、量子化残余画像データを受信する入力端を有する逆中間プロセッサ（４０、４２）と、
前記逆中間プロセッサ（４０、４２）の出力端に結合され、残余画像を受信する入力端を有する加算結合ネットワーク（４４）と、
前記加算結合ネットワーク（４４）の出力端に結合され、再構築されたフレーム画像を受信する入力端を有するメモリ（４６）と、
前記信号通路のうち前記入力処理ネットワーク（２０）と前記差計算ネットワーク（２２）との間に結合され、現フレーム入力を受信する信号入力端と、前記検出器（７０）から前記インジケータ信号を受信する制御入力端と、前記メモリの第１の出力ネットワークに結合され、再構築フレーム入力を受信する入力端と、動きベクトルを出力する出力端とを備えた動き予測器（４８）と、
前記メモリ（４６）の第２の出力ネットワークに結合された入力端と、前記動き予測器（４８）の前記出力端から前記動きベクトルを受信する入力端と、前記差計算ネットワーク（２２）の入力端に結合された出力端とを備えた動き補償ネットワーク（５０）と、
を含むことを特徴とする画像を表す信号を処理するシステム。
【請求項５】
請求項４に記載のシステムにおいて、さらに、
前記動き予測器（４８）の前記出力端から前記動きベクトルを受信する入力端と、前記検出器（７０）から前記インジケータ信号を受信する入力端と、前記信号通路に結合された出力端とを備え、イントラフレーム符号化モードまたは予測インターフレーム符号化モードのいずれかで動作することを決定するインター／イントラ・モード・プロセッサ、
を含むことを特徴とする画像を表す信号を処理するシステム。
【請求項６】
画像を表す信号を処理するシステムであって、
前記画像を表す信号を受信する入力端、および、動きベクトルを出力する信号出力端を備えた画像動きプロセッサ（４０、４２、４４、４６、４８、５０）と、
前記画像動きプロセッサに含まれている動きベクトル・ジェネレータ（４８）であって、前記画像を表す信号を受信する信号入力端と、前記動きベクトルを出力する信号出力端と、前記動きベクトルを零にするためのインジケータ信号を受信する制御入力端とを備えた動きベクトル・ジェネレータ（４８）と、
前記画像を表す信号を受信する入力端と、前記動きベクトル・ジェネレータ（４８）の前記制御入力端に結合された出力端とを備えた、３フレーム・シーケンスにわたり対応する、画像を分割した領域を示すセグメント間の隣接するフレームの絶対ピクセル差の総和の比率値を求め、該比率値があらかじめ決めた個数のセグメント間でほぼ一定の場合に、画像の輝度勾配の存在を表す前記インジケータ信号を生成する画像の輝度勾配インジケータ（７０）と、
を含むことを特徴とする画像を表す信号を処理するシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像輝度勾配の存在時にビデオ信号を符号化するシステムに関するものである。すなわち、本発明はディジタル画像信号処理の分野に関し、より具体的には、イメージ（画像）フェ−ジング(image fading)に関連する輝度勾配(luminance gradient)のように，例えば、通常画像(normal image)からブラック・レベルへの（またはその逆の）画像輝度勾配(image intensity gradient)が存在するときテレビジョン信号を符号化するシステムに関する。
【０００２】
なお、本明細書の記述は本件出願の優先権の基礎たる米国特許出願第０８／３２９，５５３号（１９９４年１０月２６日出願）の明細書の記載に基づくものであって、当該米国特許出願の番号を参照することによって当該米国特許出願の明細書の記載内容が本明細書の一部分を構成するものとする。
【０００３】
【従来の技術】
テレビジョン信号で表されているようなビデオ（映像）シ−ケンスは、一連の動きのない画像(motionless image)が連続して高速に表示され、これにより視聴者に連続する動きの印象を与えている。各フレ−ムはそれぞれが異なる画像情報を伝達しており、動きの表示を得るために必要とされる高速フレ−ム・レートは、しばしば、隣接フレーム間において冗長な時間的情報を大量に生じさせることがある。データ圧縮の一形態である動き補償符号化(motion compensation coding)は、時間的次元における一種の予測符号化(predictive coding) であり、このような時間的冗長性を除くためによく用いられている。
【０００４】
あるフレ−ムから次のフレ−ムまでにシーン（場面）の変化がないときは、あるフレームから次のフレームまでの画像の動きは、あるフレームから次のフレームまでの輝度(intensity) 変化が多いことの原因となる。動き補償予測画像符号化では、２フレーム間の動きを予測し(estimate)その動きを補償することによって、先に符号化されたフレームから現フレームを予測している。現フレームと現フレームの予測との間の差分は、（動きが補償された）残余画像(residual image)と一般に呼ばれ、これが符号化されている。残余画像におけるエネルギは、オリジナル画像におけるエネルギよりもはるかに小さいのが典型的であり、これは、冗長な時間的情報が除去されたためである。オリジナル画像情報ではなく、残余情報を符号化すると、符号化のために利用できるデータ・ビットの利用効率が向上する。
【０００５】
動き補償予測符号化には、多数の形態がある。よく使用されている１つのアプローチは、ブロック・マッチング(block matching)に基づいている。このアプローチでは、現画像フレームは、あらかじめ決められた個数の矩形領域すなわちブロックに分割され、隣接フレームにおける変位(displacement)を求めるための探索（サーチ）が行われ、このサーチにより隣接フレーム内の起こり得るブロックの中で最良一致(best match)を得ている。ｘ、ｙ座標に関連する動ベクトル(motion vector) は、現フレーム内のブロックと隣接フレーム内の最良一致(best match)とを関係づけている。動き補償（残余画像）符号化は、インターフレーム（フレーム間）(inter-frame) 符号化の一例である。動き補償残余符号化から良好な結果が得られない場合（例えば、場面があるフレームから次のフレームまでに変化したときのように、予測が良好でない場合）、イントラフレーム（フレーム内）(intra-frame) 符号化によると良好な結果が得られる場合がある。このイントラフレーム符号化では、フレームのビデオ情報は動きなしでそれ自体が符号化されている。
【０００６】
様々なタイプの画像符号化／圧縮は、上述したインターフレーム予測動き補償符号化を含めて、例えば、Ang 他著「ビデオ圧縮は大きな利益をもたらす」(Video Compression Makes Big Gains)(IEEE Spectrum ，1991年10月）で議論されている。特に、この論文はCCITT H.261 のビデオ動き符号化器について述べており、イントラフレーム符号化、およびMPEG（Motion Pictures Expert Group）画像符号化標準(ISO/IEC 13818-2、1993年11月）に準拠するインターフレーム予測動き補償残余符号化についても述べている。提案されたMPEG標準は、また、インターフレーム・モードおよびイントラフレーム・モードの両モードについて動き補償アルゴリズムを採用している。
【０００７】
【発明が解決しようとする課題】
本出願の発明者は、ある種の条件の下では、いくつかの動き予測器(motion estimator)は非効率であるために、画像“ブロッキネス”・アーティファクト(image "blockiness" artifact−画像を構成するピクセル・ブロック間で細部の目立った差があること）が発生することを認識した。このようなアーティファクトは、例えば、平均自乗誤差(Mean Square Error) または平均絶対誤差(Mean Absolute Error) 処理を採用する動き予測器によって発生する場合があるが、これは、誤差のある一致(erroneous match) が原因している。より具体的に説明すると、通常画像からブラックへの（またはその逆の）画像フェード(image fade)期間に、画像テクスチャ（細部）におけるフレーム間の変化は、高度に精巧化された動き予測器による以外、正確にトラックできないことが認められた。このようにフレーム間画像細部(frame-to-frame image detail) をトラックできないことから、これに代わる方法として輝度トラック(luminance tracking)が行われている。輝度トラッキングによると、動き予測器から誤った情報が得られることになる。これは、画像に動きがない場合、フェージングと共に起こる輝度変化が誤って動きがあるかのように示唆するからである。言い換えると、画像フェージングに関連するフレーム間輝度勾配(luminance gradient)は、画像細部が変化しなかったことを動き予測器(motion estimator)が判別できないとき、動きがあるものと動き予測器の判断を狂わせることになる。このような輝度勾配のトラッキングによると、ランダムで予測不能な結果（例えば、動きベクトル）が得られ、この結果は本質的に使用不能であり、符号化効率の障害となっている。
【０００８】
【課題を解決するための手段】
本発明の原理によれば、ある種の条件の下では動きベクトルにゼロの値を割り当てると、動き補償を含むビデオ信号処理システムにおいて利点があることが認められた。これらの条件の１つは、一般に画像フェージングと関連があるとされている画像輝度勾配(image intensity gradient)の場合について上述したが、この場合には、動きベクトルをゼロにすると、上述した「ブロッキネス(brockiness)」なアーティクラフトが著しく減少するか、あるいは除去されることが判明した。また、動きベクトルをゼロにすると、動き予測器(motion estimator)が不適切な動きを検出したような場合にも利点がある。このようなことは、動き予測器が静止画像の、あるいはある画像フレームの静止領域の(0,0) ベクトルについて特定の検査を行わないとき起こる場合がある。
【０００９】
ここで開示しているシステムによれば、シーン（場面）の輝度変化(intensity change)が検出されたとき、例えば、画像が通常からブラックへ（またはその逆へ）フェージングしたときや、ある通常シーンから別のシーンへフェージングしたとき、動きベクトルがゼロにされる。この目的のために、３つの隣接画像フレームのシーケンスが評価される。各フレームは、同じように配置された複数のセグメントに分割される。隣接フレームでセグメント内の同様な位置に置かれたピクセル間における、差の絶対値の和は、２ペアの隣接フレーム・セグメントのそれぞれについて求められる。絶対値的なピクセル差の和の比率が求められる。この比率が所定セグメント数について実質的に一定のままである場合に、フェージングが示される。
【００１０】
【発明の実施の形態】
図１は、３つの隣接画像フレームのシーケンスを示す図であり、この例では、画像フレームは非飛越し走査線(non-interlaced line) を含んでいる。なお、以下の説明は、走査線飛越し(line-interlaced) フレームのシーケンスであって、各フレームが、あとで説明するように、奇数フィールドと偶数フィールドを含んでいる場合にも当てはまる。フレーム３は、例えば、以下に述べるように図２の装置によって符号化されている過程にある現フレームを示す。フレーム２は時間的にフレーム１の直後に置かれており、フレーム３は時間的にフレーム２の直後に置かれている。各フレームは同じように配置された１２個の水平セグメントに分割され、この例では、“Ａ”〜“Ｌ”で示されている。垂直セグメント、ブロックまたは他の幾何学的配置を使用することも可能である。各フレームは、公知のように複数の画像ピクセルＰを含んでいる。セグメントの個数は、画像のセグメント、つまり、領域が、与えられたシステムの要求条件に従って画像フェージングが発生したことを高信頼に示すだけの個数になっている限り、重要でない。この例では、フレーム３は、３フレーム・シーケンスにおいて最大のフェージング（例えば、通常画像からブラックへの）を示し、フレーム１は、最小のフェージングを示している。
【００１１】
画像フェージングが存在することは、３つの連続フレーム・シーケンスを分析するだけで十分に明らかになることが決定された。この点に関して必要になる３フレーム記憶デバイスは、図２を参照して後述するタイプのビデオ・エンコーダ（符号化器）と関連づけることが必要であるが、フレーム記憶デバイスを独立に設けることも可能である。複数のフレーム記憶デバイスは、デテレシネ(detelecine)やプリフィルタリング操作などの事前処理操作のためにビデオ・エンコーダに設けられていることが多い。以下の説明では、３つの隣接フレームの各々の中の対応するセグメント“Ａ”を分析する場合について説明する。この分析から得られたフレーム差情報は比率ＳA を得るために使用される。この比率の値は、他のすべてのセグメントについて同じ方法で求めた比率と比較したとき、画像フェージングが存在するか否かを示している。以下に説明するプロシージャ（処理手順）は、図３のフローチャートに示されている。なお、図３に示したフローチャートは、既述の飛越し走査フレームの処理にも適用し得るものである。
【００１２】
【実施例】
第１の例として、次に示すようにブラック状態へのフェードが起こった場合について説明する。
【００１３】
フレーム番号                  １          ２        ３
フェージング・シーケンス      １          ａ        ａ2
フェージング・ファクタ“ａ”は任意の値をもっているが、これは画像が通常からブラックへフェードするとき、ピクセルまたはセグメントの大きさがあるフレームから次のフレームまでに減少することを示しているので、ユニティ（１）より小さな値である。実際、輝度（ルミナンス）レベルの変化は、フェージング期間におけるピクセル輝度(pixel intensity) の変化量を正しく示している。このフェージング・シーケンス（１．．ａ．．．ａ2 ）はあらかじめ決められていないが、フェージングがフレーム１（フェージング・ファクタが１であり、フェージングは起こっていない）からフレーム２を経てフレーム３（最大フェージング）までにどのようにして起こるかの一例として示されている。従って、フェージング量はフレーム１からフレーム２を経て（現）フレーム３までに徐々に増加していく。
【００１４】
図１に示すように、フレーム１と２内の対応するセグメントＡについて、隣接フレームの対応するセグメント内の同じ位置に置かれたピクセルの輝度値(intensity value) 間の差が決定される。次に、各ピクセル差の絶対値が求められる。次に、これらの絶対値の和が求められ、フレーム差値ＤＩＦＦ1-2 が得られる。フレーム２と３についても同じプロシージャが用いられて、フレーム差値ＤＩＦＦ2-3 が得られる。最後に、フレーム差値ＤＩＦＦ2-3 とフレーム差値ＤＩＦＦ1-2 との比率が得られる。以上から明らかなように、この例でのフレーム差の比率は、上述したフェージング・シーケンスにおける値“ａ”に対応する値と等しくなっている。フレーム１、２および３間のセグメント“Ａ”の差の比率は、ＳA で示されている。残りのセグメントＢ−Ｌについても同じプロシージャが用いられて、差の比率ＳB −ＳL が得られる。
【００１５】
画像フェージングが存在することは、計算で求めたフレーム差の比率値“ａ”が画像セグメントＡ−Ｌ間でほぼ一定のままになっている場合に示される。しかし、比率の値がすべてのセグメントについてほぼ等しくなっている必要はない。与えられたシステムの要求条件によれば、あらかじめ決めた個数のセグメント、例えば、８０％〜９０％あるいは大多数が等しい比率値を示していれば十分である。この個数は、計算で求めた比率が値“ａ”に等しいかどうかを決定するときのしきい値と共に、アルゴリズムのパラメータにすることができる。また、このあらかじめ決めた個数は、フェージング・シーケンス期間に画像の動きが存在する可能性があることも示している。
【００１６】
例えば、フェード期間中に多くの動きがあって、セグメントの４０％〜５０％だけが同じ比率の値をもっているときは、このフェージング検出システムは、フェージングが起こっていないことを明らかにする。この場合には、フェージングが起こっている場合でも、符号化されるブロックの大きな割合（％）が動きをもっている可能性があるので、エンコーダが動きベクトルをゼロにすることは望ましくないと考えられる。ゼロにされた動きベクトルがこの場合に使用されないのは、ゼロでない動きベクトルを使用した方が有利であるためである。フレーム差の比率値が例えば、ゼロまたはほぼゼロであるときは、フェージングが起こっていないことを示している。具体的に説明すると、任意の１個のセグメント（またはあらかじめ決めた個数のセグメント）のフレーム差値ＤＩＦＦがゼロまたはゼロに近ければ、アルゴリズムはフェージングが起こっていないと宣言することになる。この基準(criterion) により、静止画像またはほぼ静止の画像がフェージング画像であると宣言されることが防止される。
【００１７】
ブラックから通常シーンへのフェードはブラックへのフェード・プロセスの反対であるが、その処理の仕方は同じである。例えば、ブラックから通常画像へのフェードが起こり、フェージング・ファクタがフレーム・シーケンスの過程で次のように“ａ”から“ｂ”に変化した場合について検討する。
【００１８】
フレーム番号                １        ２        ３        ４
フェージング・シーケンス    ａ        ａ2       ａ2 ｂ    ａ2 ｂ2
この例では、ファクタ“ａ”は１（ユニティ）より小さな値であり、係数“ｂ”は１より小さな値であるが“ａ”より大である。上記の例と同様に、フェージング・シーケンスはあらかじめ決められていないが、フェージングがフレーム１（フェージング開始）からフレーム２と３を経てフレーム４（通常画像へのフェージング完了）までにどのようにして起こるかの別の例を示している。差値ＤＩＦＦ1-2 およびＤＩＦＦ2-3 が各セグメントについて決定され、フレーム差の比率ＳA −ＳL が上述したように計算される。以上から明らかなように、この例での差比率は値“ａ（１−ｂ）／（１−ａ）”に等しい。画像フェージングが起こったことは、上述したように、この値がすべてのまたはあらかじめ決めた個数の画像セグメントＡ−Ｌの間でほぼ一定のままである場合に示される。通常からブラックへフェードしてフェージング・ファクタが変化した場合と同じように類似の結果が得られる。
【００１９】
図面を簡単にするために、図１は３つの画像フレームを使用したフェード検出プロセスを示している。しかし、走査線飛越しシステムでは、各フレームは、公知のように、奇数番号の画像フィールドと偶数番号の画像フィールドによって構成されている。そのような場合には、前述した差比率は奇数フィールドと偶数フィールドのシーケンスに対して別々に計算されることになる。例えば、奇数フィールドの差比率ＳA(odd)は次のように計算される。
【００２０】
【数１】
0003933718.tif 000002
【００２１】
ここで、ＤＩＦＦ2-3(odd)は、フレーム２の奇数フィールドとフレーム３の奇数フィールドとの間の絶対ピクセス差の和である。ＤＩＦＦ1-2(odd)は、フレーム１の奇数フィールドとフレーム２の奇数フィールドとの間の絶対ピクセル差の和である。ＳA(odd)はＳB(odd)からＳL(odd)までと比較されて、比率があらかじめ決めた個数のセグメントについてほぼ一定のままであるかどうかが決定される。同様に、偶数フィールドの差比率が計算され、ＳA(even) がＳB(even) からＳL(even) までと比較される。このようにフィールド比較を別々に行うと、システムはフィールド境界でのフェージングを検出することができる。
【００２２】
図４は、走査線飛越しフレーム１、２および３のシーケンスを示し、各フレームは奇数フィールドと偶数フィールドによって構成されている。この例では、奇数フィールドのシーケンスのフェージング・ファクタはａ1 からａ2 へ（以下同様）変化するのに対し、偶数フィールドのフェージング・ファクタはｂ1 からｂ2 へ（以下同様）異なるファクタで変化する。この種のフィールド・フェージングでは、奇数と偶数の差比率（ＳA ．．）は別々に計算されて比較される。
【００２３】
上述したアルゴリズムの結果として、制御信号が発生し、この制御信号は画像フェージングが起こったかどうかを示している。この制御信号をビデオ信号エンコーダで使用すると、図２に示すＭＰＥＧ準拠のビデオ（テレビジョン）信号処理およびデータ圧縮システムと関連づけて後述するように、信号処理を変更できるという利点がある。
【００２４】
図１の例では、対応するフレーム／フィールド・セグメントが処理を受けて、隣接フィールド内の同一個所に置かれたピクセル間のピクセル差の絶対値の和が得られる。与えられたシステムの要求条件に応じて、他のタイプの処理を使用することも可能である。例えば、隣接フィールド内の対応するセグメントの場合には、各セグメント内のピクセルの絶対値を得てから、各セグメントごとに和を求めることが可能である。そのあとで、総和のフィールド差が決定されることになる。隣接する類似のパリティ奇数または偶数フィールド内の対応する同一個所に置かれた対応ピクセル間の差（絶対差ではなく）は、フェージング検出オペレーションで使用することも可能である。
【００２５】
図２のシステムにおいて、入力されたＭＰＥＧ準拠ディジタル・データストリームは、処理される現画像フレームの画像ピクセル・データを表している。入力データは入力フレーム・バッファ２０にストアされる。バッファ２０から呼び出されたデータは差計算ネットワーク２２とマルチプレクサ２４を経由して離散コサイン変換(Discrete Cosine Tranform - DCT)ユニット２６へ送られる。ユニット２２と２４の動作については、図２に示したシステムの動き処理の側面と関連づけて後述する。ユニット２６によって実行される離散コサイン変換は、入力時間ドメイン信号を、離散的周波数スペクトルを表す係数に変換することによってビデオ信号の空間的冗長性を効果的にかつ効率的に減少する公知の手法である。各変換係数は、例えば、８ｘ８ピクセルのブロックを表している。
【００２６】
ユニット２６からのＤＣＴ変換係数はユニット２８によって量子化され、ユニット３０によって可変長符号化され、出力レート・バッファ３２にストアされてから、ユニット３６により順方向エラー訂正(forward error correction - FEC)処理を受ける。バッファ３２の内容（満杯状態）はレート・コントローラ３４によってモニタされ、レート・コントローラ３４は出力制御信号を出力し、この信号は量子化器２８の量子化パラメータ（例えば、量子化ステップ・サイズ）を適応的に変更するために使用される。このメカニズムにより、データストリーム・ビット・レートは、バッファ３２への平均入力レートがほぼ一定になるように制御される。バッファのアンダフローとオーバフローは大幅に防止され、ほぼ一定のバッファ出力ビット・レートが達成される。プロセッサ３６からの出力信号は、例えば、フィルタリングと変調による適当な処理を受けてから、出力チャネルへ伝達される。
【００２７】
図２のブロック４０〜５４は、ブロック２２〜２８と一緒になってＤＰＣＭ動き予測／補償エンコーダの公知構成を形成している。この種のシステムは前掲のAng 他著の論文「ビデオ圧縮は大きな利益をもたらす」に説明されている。本発明の原理によれば、画像フェージング検出器７０はフェード・インジケータ信号を生成するために組み入れられている。この信号は、図１を参照して説明したように、隣接フレームを分析したあとで生成され、モード・コントロール・プロセッサ５４と動き予測器(motion estimation) ４８の制御入力端に入力される。さらに、動き予測器４８から得られた動きベクトルＭＶがモード・プロセッサ５４の制御入力端に入力される。
【００２８】
この動きプロセッサは、イントラフレーム（フレーム間）符号化モードまたは予測インターフレーム（フレーム内）符号化モードのどちらかで動作する。イントラフレーム符号化モードでは、ビデオ信号自体が符号化される。インターフレーム符号化では、符号化されるのは残余画像であり、これは現フレームと現フレームの予測との差を表している。予測が良好であるときは、インターフレーム符号化が使用される。符号化するフレーム情報が少なくて済むため、通常は、この符号化が好ましいとされている。予測符号化では、ピクセルの値はその履歴に基づいて予測される。予測された値はピクセルの現在値から減算されて、誤差、つまり、残余が求められ、これが符号化されて伝達される。受信装置は受信した残余を自身の予測に加えて、正しい現ピクセル値を得る。以下の説明では、予測インターフレーム符号化を使用することを想定している。
【００２９】
動き処理オペレーションでは、ユニット２８からの量子化残余画像データはユニット４０によって逆量子化され、ユニット４２によって逆ＤＣＴ変換されてから加算結合器(additive combiner) ４４に入力される。結合器４４の他方の入力端には、以下で説明するように得られた予測画像が入力される。再構築されたフレーム画像(reconstructed frame image) は、結合器４４に入力された残余画像と予測画像を結合することにより得られる。再構築が必要になるのは、インターフレーム処理では予測符号化が使用され、エンコーダはデコーダの挙動を追跡してデコーダによる再構築画像がオリジナル入力画像から逸脱するのを防止する必要があるためである。再構築された画像はフレーム・メモリ４６にストアされる。動き予測器４８は入力バッファ２０からの現フレーム入力とフレーム・メモリ４６からの再構築フレーム入力を受信する。サーチ・ウィンドウ(search window) を使用して、動き予測器４８は現フレームの各（例えば、８×８）ピクセル・ブロックを、メモリ４６からの直前の再構築画像と比較する。各ピクセル・ブロックごとに、動きベクトル（ＭＶ）が生成され、現画像と再構築画像内のブロック間で最良一致(best match)の相対位置（ブロック間のオフセット）が示される。動きベクトルはユニット３０によって符号化され、受信装置へ送られる。
【００３０】
ユニット４８からの動きベクトルが動き補償ユニット５０への送られ、予測器４８からのそれぞれ関連する動きベクトルの関数として、メモリ４６から予測（位置が調整された）ブロックが得られる。この動作により、再構築フレームからの（例えば、８×８）動き補償ブロックからなる予測画像が得られる。予測画像と現入力ブロックとの差、つまり、残余画像は減算結合器(subtractive combiner)２２から得られる。この残余画像は、前述したように変換され、量子化され、符号化され、受信装置／デコーダへ伝達される。デコーダはコーダ（符号化器）の機能の逆を行う。インターフレーム動作モードでは、デコーダは可変長デコーダから抽出された動きベクトルを使用して、予測ピクセル・ブロックのロケーションを出力する。
【００３１】
図２のエンコーダはペアのマルチプレクサ（ＭＵＸ）２４および５２と、これらに関連するインターフレーム／イントラフレーム・モード・プロセッサ５４も含んでいる。各ＭＵＸは“０”と“１”で示したペアの入力端をもち、交互に切り替えられる入力信号が入力される。ＭＵＸ  ２４の０入力端には現入力信号が入力され、ＭＵＸ  ５２の０入力端には固定バイアス・レベル、例えば、“０”ロジック・レベルが入力される。ＭＵＸ  ２４と５２の“１”入力端には、それぞれ残余画像信号と予測画像信号が入力される。モード・プロセッサ５４は動きベクトル（ＭＶ）に応答して、インターフレーム処理を使用すべきか、イントラフレーム処理を使用すべきかを決定する。動き補償予測が良好であれば、モード・プロセッサ５４はＭＵＸ  ２４と５２の制御入力端へ信号を送って、インターフレーム処理をイネーブルさせる。この場合には、ＭＵＸ  ５２はユニット５０からの予測画像信号を加算器４４へ渡し、ＭＵＸ  ２４は残余画像信号をＤＣＴユニット２６および後続のユニットへ渡すようにイネーブルされる。逆に、予測が良好でなければ、モード・プロセッサ５４からの信号はイントラフレーム処理をイネーブルする。この場合には、残余画像信号ではなく、現フレーム情報自体がＤＣＴユニット２６と後続の符号化ユニットへ渡され、予測画像信号が加算器４４から切り離される。予測が良好であるかどうかの決定は、要求される画像品質やビット数といったように、特定のシステムの要求条件によって変化する種々の要因に基づいて行われる。
【００３２】
モード・プロセッサ５４からＤＣＴユニット２６へ送られる信号の指示を受けて、ユニット２６は動き予測誤差信号を符号化するか（インター符号化）、あるいは動きを推定する予測なしでオリジナル画像のマクロブロックを符号化する（イントラ符号化）。モード・プロセッサ５４からは、本質的に、処理すべきブロックがＤＣＴユニット２６に渡される。インター符号化を行うか、イントラ符号化を行うかの決定は符号化の効率に基づいて行われる。なお、この決定はさまざまな方法で行うことが可能である。基本的には、この決定は、所与の品質レベルでマクロブロックを符号化するために必要なビット数と、所与の符号化ビット数での品質レベルとによって決まる。動きベクトルは、差信号がどの画像領域から導き出されているのかを示している。イントラ符号化とインター符号化との符号化効率が同じであることが分かっていれば、デフォルト（省略時）の符号化決定として、イントラ符号化を使用することができる。イントラ符号化をデフォルトとする決定では、あらかじめ決めたしきい値を使用することができる。
【００３３】
モード・プロセッサ５４は、フェード検出器７０からフェード・インジケータ制御信号も受信する。このフェード検出器７０の動作は図１を参照して以下で説明する。フェード検出器７０には、前述した３フレーム・シーケンスをストアするための３フレーム記憶デバイスのほかに、隣接フレーム内の同じ個所に置かれたセグメント・ピクセルの差を求めるディジタル信号処理回路、ピクセル差の絶対値を求める回路、絶対値の総和を求める回路、隣接フレームからの総和差の比率を求める除算回路を含んでいる。これらの機能を実行するには、適当な量のメモリを必要に応じて設ければよい。なお、図面を簡単にするために、これらのエレメントは示していない。
【００３４】
簡単に説明すると、ユニット７０は、３つの隣接画像フレームのシーケンスを分析して、３フレーム・シーケンスにわたる絶対ピクセル差の総和の比率を求めることにより、画像フェージングが起こったことを通知する。画像フェージングに関連する輝度勾配(luminance gradient)が検出されると、フェード・インジケータの指示を受けて、動き予測器４８は、フェージングが検出されたすべてのフレームについて出力動きベクトル値をゼロ（つまり、座標０，０）にセットする。動きベクトルをゼロにすることは、例えば、空間的変位がないことを示す可変長コードを動き予測器が生成するといったように、公知の手法によって行うことができる。この結果を種々に変更して、階層構造の動き予測システムで使用すれば、粗、精細、または半ピクセルといった特定のレベルで動きベクトルをセットすることが可能である。動き予測器４８の修正された出力は、知られているように、モード・プロセッサ５４内のマクロブロック決定ネットワークによって処理され、評価される。この決定回路は、イントラフレーム符号化決定を行うように若干偏見をもたせておくことが好ましい。インターフレーム符号化では、イントラフレーム符号化とほぼ同数か若干少ない符号化ビットが使用されるが、インター符号化によると、イントラ符号化よりも可視的符号化アーチファクトが発生することになる。
【００３５】
ゼロ（０，０）にされた動きベクトルが良好な一致でないと分かると、モード・プロセッサ５４は本システムをイントラフレーム符号化モードで動作させる。しかし、ゼロにされた動きベクトルが良好な一致であるときは（これは、動きがほとんど、あるいはまったくない画像フェージングでは典型的である）、予測器４８は良好な結果を出力し、ユニット５４の指示を受けて本システムはインターフレーム符号化を実行する。
【００３６】
画像フェージングが起こったとき、フレーム間の振幅（ルミナンス）変化は、典型的には動きに関連した変化よりも顕著であることが確定された。動きベクトルにゼロ（０，０）値を割り当てると、フェージングが存在するとき非常に良好な結果が得られることが判明した。また、フェージングが存在するとき動きベクトルをゼロにすると、符号化に必要なビット数を減少できるという利点が得られ、与えられたシステムの符号化プロシージャを、例えば、インターフレーム符号化とイントラフレーム符号化の間で変更するために使用できる。動いているシーンの動きベクトルは、フェージングが検出されて、画像のうち動きを含んでいる割合がわずかであり（例えば、１０％またはそれ以下）、フレーム間の輝度変化(luminance change)が動きベクトルを生じないと決定されたときは、符号化されない。
【００３７】
コンシューマ（民生）製品で見られるような動き処理システムは十分に精巧化されていないため、真の動きと、複数のフレームにわたる輝度勾配(luminance gradient)のような画像輝度勾配(image intensity gradient)とを区別できない場合がある。これらのシステムは、これらの勾配を「動き」として感知すると、誤った動きベクトルを生成するおそれがある。このように感知された「動き」ベクトルが実際には上述したような（０，０）値をもっていることを動き処理システムに知らせると、符号化ビットが誤った動きベクトルで浪費されることがなくなるので、符号化効率が向上することになる。
【図面の簡単な説明】
【図１】画像フェージングが存在することを示すアルゴリズムを説明するために、画像フレーム・シーケンスを示した図である。
【図２】本発明の原理に従ったビデオ・エンコーダを示すブロック図である。
【図３】フェージング画像を検出するためのアルゴリズムを示すフローチャートである。
【図４】各フレームが奇数画像フィールドと偶数画像フィールドを含み、図１に示したフェージング検出システムによって処理が可能である走査線飛越しフレームのシーケンスを示す図である。
【符号の説明】
２０  フレーム・バッファ（入力バッファ）
２２  差計算ネットワーク（減算結合器）
２４  マルチプレクサ
２６  ＤＣＴ（離散コサイン変換）ユニット
２８  量子化ユニット（適応型量子化器）
３０  可変長符号化器
３２  出力レート・バッファ
３４  レート・コントローラ
３６  順方向誤り訂正（ＦＥＣ）処理ユニット（誤り訂正プロセッサ）
４０  逆量子化ユニット（逆量子化器）
４２  逆ＤＣＴユニット
４４  加算結合器
４６  フレーム・メモリ
４８  動き予測器
５２  マルチプレクサ
５４  モード・コントロール・プロセッサ（インター／イントラ・モード・プロセッサ）
７０  画像フェージング検出器（フェード検出器）
【図１】
0003933718.tif 000003
【図２】
0003933718.tif 000004
【図３】
0003933718.tif 000005
【図４】
0003933718.tif 000006