【手続補正書】
【提出日】平成17年12月15日(2005.12.15)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】圧縮されたＭＰＥＧビデオビットストリームについてワイプを実行するための処理方法および装置
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】  （ａ）圧縮されたビデオデータストリームから画像（イメージ）ピクセル・ブロックのＤＣＴ係数を取り出すステップと、
（ｂ）複数のフレームにわたって変化する画像変移関数に対するＤＣＴ係数をメモリから検索するステップと、
（ｃ）前記画像ピクセル・ブロックのＤＣＴ係数を、前記複数のフレームの個々のフレームに対する前記検索された画像変移関数のＤＣＴ係数で畳み込みを行って、前記画像変移シーケンスの個々のフレームに対するＤＣＴ係数の畳み込みされたブロックを供給するステップと、
（ｄ）前記ＤＣＴ係数の畳み込みされたブロックを出力するステップとからなる、複数のフレームを含む画像変移シーケンスを与えるために、圧縮されたビデオデータストリームを処理する方法。
【請求項２】  前記取り出された画像ピクセル・ブロックのＤＣＴ係数に関する量子化データを記録するステップと、
前記記録された量子化データを前記畳み込みされたＤＣＴ係数のブロックと関連づけるステップと、
を含む、請求項１記載の方法。
【請求項３】  ＭＰＥＧコンパチブルシステムにおいて、
マクロブロック、および前記取り出された画像ピクセル・ブロックのＤＣＴ係数に関するスライス、ヘッダ成分を記録するステップと、
前記記録されたヘッダ成分をＤＣＴ係数の前記畳み込みされたブロックと関連づけるステップと、
を含む、請求項１記載の方法。
【請求項４】  画像ピクセル・ブロックのＤＣＴ係数、または
他の係数に対して１倍または０倍に等しい、検索された画像変移関数のＤＣＴ係数、
を畳み込みするために異なる畳み込み方法を使用するステップを含む、請求項１記載の方法。
【請求項５】  第２の圧縮されたビデオデータストリームから第２の画像ピクセル・ブロックのＤＣＴ係数を取り出すステップと、
複数のフレームにわたって変化する相補関係にある画像変移関数に対するＤＣＴ係数をメモリから検索するステップと、
前記第２の画像ピクセル・ブロックのＤＣＴ係数を、前記複数のフレームの個々のフレームに対する前記検索された相補関係にある画像変移関数のＤＣＴ係数で畳み込みを行って、前記画像変移シーケンスの個々のフレームに対するＤＣＴ係数の第２の畳み込みされたブロックを供給するステップと、
前記畳み込みされたＤＣＴ係数のブロックと前記第２のＤＣＴ係数の畳み込みされたブロックの各対応する成分を加算するステップと、
を含む、請求項１記載の方法。
【請求項６】  前記対応する成分を加算する前に、前記畳み込みされたＤＣＴ係数のブロックと、前記第２のＤＣＴ係数の畳み込みされたブロックの成分をスケーリングするステップを含む、請求項５記載の方法。
【請求項７】  画像変移関数に対する前記ＤＣＴ係数が、複数のフレームにわたってフレーム毎のベース（基準）で連続する線形または非線形のグラデーション（階調）で変化する、請求項１記載の方法。
【請求項８】  圧縮されたビデオデータストリームから画像（イメージ）ピクセル・ブロックのＤＣＴ係数を取り出すデコーダおよびバッファと、
複数のフレームにわたって変化する画像変移関数に対するＤＣＴ係数を記録（ストア）するメモリと、
前記画像ピクセル・ブロックのＤＣＴ係数を、前記複数のフレームの個々のフレームに対する前記記録された画像変移関数のＤＣＴ係数で畳み込みを行って、前記画像変移シーケンスの個々のフレームに対するＤＣＴ係数の畳み込みされたブロックを供給する畳み込み回路と、
前記畳み込みされたＤＣＴ係数のブロックを出力として供給するマルチプレクサと、
からなる、複数のフレームを含む画像変移シーケンスを与えるために圧縮されたビデオデータストリーム処理する装置。
【請求項９】  前記畳み込み回路は、
画像ピクセル・ブロックのＤＣＴ係数、または
他の係数に対して１倍または０倍に等しい、検索された画像変移関数のＤＣＴ係数、
を畳み込みするために異なる畳み込み方法を使用する、請求項８記載の装置。
【請求項１０】  画像変移関数に対する前記ＤＣＴ係数が、複数のフレームにわたってフレーム毎のベース（基準）で連続する線形または非線形のグラデーション（階調）で変化する、請求項８記載の装置。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
発明の概要
本発明は、表示装置に対してワイプを実行するためにＭＰＥＧ−２ビデオビットストリームのような圧縮されたディジタルビデオビットストリームを処理するための方法および装置に関するものあり、その処理はすべて圧縮された領域中で実行される。このようなワイプは、プロダクションスタジオにおけるプロダクションスイッチャにより使用される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
入力する各圧縮されたビットストリームは各別に且つ部分的にデコードされて、ブロックベース（ブロック単位の）ＤＣＴ係数、フレーム情報、さらにスライスおよびマクロブロックヘッダのようなより高位（高次）の情報を得る。アドレス可能なメモリは各種のワイプ機能用の係数を記録（ストア）する。圧縮されたビットストリームのブロックベースＤＣＴ係数および選択されたワイプ機能用のＤＣＴ係数は２次元畳み込み回路に送られ、ここで２組のＤＣＴ係数の畳み込みが行なわれる。畳み込みされた各ビットストリームはその量子化数値でバッファされ且つ互に加算される。次いで加算されたビットストリーム出力は元のマクロブロックヘッダとマルチプレクス（多重化）される。マルチプレクサの出力はワイプシーケンスを実行する圧縮されたＭＰＥＧビデオビットストリームである。アドレス可能なメモリおよびマルチプレクサと通信するコントローラ（制御部）は、選択されたワイプを実行するのに必要な制御を行う。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
発明の実施の形態
図１のＡには全体を１０で表したビデオシーケンスＡのフレームが示されている。図１のＢには全体を１６で表したビデオシーケンスＢの相互に通信するフレームが示されている。表示装置上で単一のビデオワイプシーケンスを生成するために、各ビデオシーケンスＡおよびＢに対して相補関係にある円形ワイプ機能が実行される。図１のＡおよび図１のＢは円形ワイプ機能を表わしているが、本願発明の原理は任意の形式のワイプ機能を実行することが可能であることを理解すべきである。従って、実行されるワイプシーケンスとしては多角形状の水平あるいは垂直スイープ、あるいは任意の複雑なパターンが可能である。ワイプ機能では、一般にフレーム単位で（フレームベースで）順次に古いビデオに代えて新しいビデオが置換される。図１のＡおよび図１のＢはワイプシーケンスの期間中にフレーム毎に古いビデオと新しいビデオに何が生じ、表示装置上に実際に何が示されないかを表している。以下にさらに詳細に説明するように、表示装置上に示された生成されたビデオ（ワイプシーケンス）は図１のＡと図１のＢで生じつつあるシーケンス間の畳み込みされた、あるいは合成されたシーケンスである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
時間領域では、図１のＡのビデオシーケンスに適用されるワイプ機能は、ビデオ領域１２に対応するピクセル位置における１．０の係数と、円形領域１４に対応するピクセル位置における０．０の係数をもった関数で古いビデオシーケンスを乗ずることと等価である。換言すれば、古いビデオシーケンスが“ワイプ”されていない所では、ピクセル値の１．０倍はそのピクセル値に等しいので、ピクセルはその値に止まっている。古いビデオシーケンスが“ワイプ”された所では、ピクセル値はそのピクセル値の０．０倍、すなわち０．０である。図１のＢのビデオシーケンスに適用されるワイプ機能は、円形領域２０に対応するピクセル位置における１．０の係数と、領域１８に対応するピクセル位置における０．０の係数をもった関数で新しいビデオシーケンスを乗ずることと等価である。従って円形領域２０では、新しいビデオはピクセル値の１．０倍がそのピクセル値に等しいので、新しいビデオシーケンスのピクセル値を持ち、ピクセル値がそのピクセル値の０．０倍の所では、ピクセル値は０．０に等しくなる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
ピクセルのブロックがＤＣＴ係数で表わされるＭＰＥＧ−２ビットストリームについては、ＤＣＴ領域からピクセル値領域に変換し、処理後ＤＣＴ領域に戻るよりもむしろＤＣＴ係数について動作するのが本発明の特徴である。すべてのシーケンスが切換わるすべてＩフレームが存在すると仮定する。次に、図２を参照すると、同図には本願発明によるブロック図２２が示されている。シーケンスＡ（円の外側では１．０の計数値、円の内側では０．０の係数値）で動作する特定のワイプ機能のすべてのフレーム中のすべてのブロックでＤＣＴが実行され、これらのＤＣＴが記録（ストア）されると仮定する。同様な処理がシーケンスＢに関して動作する相補関係にあるワイプ機能に対しても実行され、これらのＤＣＴが記録（ストア）される。もしワイプが実行されるのに例えば２０フレーム必要とすれば、シーケンスＡのワイプ機能用の２０フレームのブロックベース（ブロック単位の）ＤＣＴ係数と、シーケンスＢのワイプ機能用の２０フレームのブロックベース（ブロック単位の）ＤＣＴ係数が存在する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
しかしながら、各フレームに対して、ピクセル係数がすべて１．０または０．０のいずれかの領域中に全体が位置する多数のブロックが存在する。全体が１．０の領域中に位置するブロックに対するＤＣＴは直流成分のみからなり、全体が０．０の領域中に位置するブロックに対するＤＣＴは０である。ＡＣ係数をもつブロックのみがピクセル領域で１．０と０．０の両方のピクセル係数をもつブロックである。ブロック内における１．０と０．０の係数の正確なパターンに基づいて、これらのブロックに対するＤＣＴ係数は１．０と０．０の係数のすべての特有のパターンに対して異なるものとなる。特定のワイプパターンが既知であれば、例えば１５フレームにわたる円形ワイプを想定すると、シーケンスＡのワイプと相補関係にあるシーケンスＢのワイプのすべてのフレームに対するその機能用のすべてのＤＣＴ係数が判り、従ってメモリに記録（ストア）することができる。従って、多くの特定されたフレームにわたる円形ワイプ機能、水平ワイプ機能、垂直ワイプ機能、多角形ワイプ機能、その他の任意の形式のワイプ機能について、シーケンスＡおよび相補関係のシーケンスＢに対するワイプ機能用のＤＣＴ係数を予め決定して各ビデオシーケンスにおける動作のために記録（ストア）することができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
時間領域では、ワイプシーケンスは、シーケンスＡをそのワイプ関数で乗じ、シーケンスＢをそのワイプ関数で乗じ、次いで２つを加算することと等価であるから、ＤＣＴ係数に関する等価動作は畳み込みである。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
図２を参照すると、これには本発明の原理を実施するためのブロック図が示されている。シーケンスＡのビデオビットストリーム（古い表示ビデオビットストリームまたはシーケンスか、そのときの表示ビデオビットストリームまたはシーケンスのどちらでもよい）は入力２４を経由して部分ＭＰＥＧデコーダおよびバッファ２５に導かれる。部分ＭＰＥＧデコーダおよびバッファ２５は入力シーケンスＡのビットストリームをそのブロックベース（ブロック単位の）ＤＣＴ係数にデコード（デコードダウン）して、入力シーケンスＡのビットストリームの上記ブロックベースＤＣＴ係数をライン２６を経て２次元（２Ｄ）畳み込み回路（コンボルバ）２８に伝送する。ＭＰＥＧデコーダおよびバッファ２５は、また処理中のブロック用に使用される量子化数値をデコードし、これをライン２９を経て数値制御回路３０に伝送する。さらにＭＰＥＧデコーダおよびバッファ２５は、より高次の（スライスおよびマクロブロックヘッダ）情報をライン３１を経て出力マルチプレクサ３２に伝送し、またフレーム情報をライン３３を経てメモリ装置３４に伝送する。デコーダおよびバッファ２５からのビットストリームとメモリ３４からのビットストリームが、畳み込み回路（ｃｏｎｖｏｌｕｔｉｏｎ  ｃｉｒｃｕｉｔ）２８でブロックベースで（ブロックを単位として）整列（整合）できるようにデコーダ２５において多少のバッファリングが必要である。メモリ３４から供給されるＤＣＴ係数はライン２７を経て２次元畳み込み回路（コンボルバ：ｃｏｎｖｏｌｖｅｒ）２８に到達する。メモリ装置３４は、またワイプ機能が図１のＡおよび図１のＢに示すような円形ワイプであるか、垂直あるいは水平ワイプのような他のワイプ機能のいずれであるかを示すすべてのシーケンスＡ用のすべてのＤＣＴ係数を記録（ストア）する。メモリ装置３４に記録（ストア）され、選択される特定のワイプ機能のＤＣＴ係数はＭＰＥＧデコーダおよびバッファ２５によってライン３３を経てアドレスされる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
シーケンスＡの処理は、ライン３５を経由してメモリ装置３４と通信するコントローラ（制御部）３６によって制御される。コントローラ３６は、マルチプレクサ３２からの出力ビットストリームがマルチプレクサの出力６０を経てプロダクションスイッチャ（図示せず）にクロック入力されるときにオンザフライ（ｏｎ  ｔｈｅ  ｆｌｙ：常時休むことなく）に選択されたワイプ機能用のＤＣＴ係数をアクセスするのに必要な信号を供給する。コントローラ３６は、切り換えられ、畳み込みされ、加算される２（あるいはそれ以上）のビットストリームのトラックを保持する必要がある。従って、コントローラ３６は、これが制御ライン３７を介してマルチプレクサ３２の出力を制御するために使用する特定の入力ビットストリームのフレーム情報によって整列（整合）されたビットストリームを保持する必要がある。これはデコーダおよびバッファ２５から供給されるメモリ３４からのフレーム情報をアドレスするコントローラ３６により行なわれる。ユーザにより選択され、コントローラ３６に入力された特定のワイプ機能用の記録（ストア）されたＤＣＴ係数は、ＭＰＥＧデコーダおよびバッファ２５からのブロックベース（ブロック単位の）ＤＣＴ係数と共にライン２７を経由して２次元畳み込み回路（コンボルバ：ｃｏｎｖｏｌｖｅｒ）２８に送られる。このステップは、同じブロック（および、必然的にその相補関係）中に１．０と０．０の両方の係数が含まれるときのみ非自明（ｎｏｎ−ｔｒｉｖｉａｌ：ノントリビアル）である。１．０と０．０の混合されたピクセル領域係数をもつシーケンスＡ用のワイプ関数のブロックは、最大６４個の非ゼロ項を含むそれ自体のＤＣＴ係数の組をもつ。これらは対応するビデオストリーム中の適当なブロック用のＤＣＴブロック係数で畳み込みされるのに必要である。オーバラップ加算（ｏｖｅｒｌａｐ  ａｄｄ）あるいはオーバラップ退避（ｏｖｅｒｌａｐ  ｓａｖｅ）法のような畳み込み技術の１つを使用することができる。さらに、畳み込み期間中、各ブロックの量子化マトリックス（ｑｕａｎｔｉｚａｔｉｏｎ  ｍａｔｒｉｃｅｓ）の各々を適正に考慮して適当なスケール係数を使用する必要がある。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
シーケンスＡと同様に、シーケンスＢのビデオビットストリーム（新しいビデオビットストリームまたはシーケンスのどちらでもよい）は入力４３を経由して部分ＭＰＥＧデコーダおよびバッファ４４に導かれる。部分ＭＰＥＧデコーダおよびバッファ４４は入力シーケンスＢのビットストリームをそのブロックベース（ブロック単位の）ＤＣＴ係数にデコード（デコードダウン）して、入力シーケンスＢのビットストリームの上記ブロックベースＤＣＴ係数をライン４５を経て２次元（２Ｄ）畳み込み回路（コンボルバ）４６に伝送する。ＭＰＥＧデコーダおよびバッファ４４は、また処理中のブロック用に使用される量子化数値をデコードし、これをライン４７を経て数値制御回路３０に伝送する。さらにＭＰＥＧデコーダおよびバッファ４４は、より高次の（スライスおよびマクロブロックヘッダ）情報をライン５１を経て出力マルチプレクサ３２に伝送し、またフレーム情報をライン５６を経てメモリ装置４８に伝送する。デコーダおよびバッファ４４からのビットストリームとメモリ４８からのビットストリームが、畳み込み回路４６でブロックを単位として整列（整合）できるようにデコーダ４４において多少のバッファリングが必要である。メモリ４８から供給されるＤＣＴ係数はライン５０を経て２次元畳み込み回路（コンボルバ）４６に到達する。メモリ装置４８は、またワイプ機能が図１のＡおよび図１のＢに示すような円形ワイプであるか、垂直あるいは水平ワイプのような他のワイプ機能のいずれであるかを示すすべてのシーケンスＢ用のすべてのＤＣＴ係数を記録（ストア）する。メモリ装置４８に記録（ストア）され、選択される特定のワイプ機能のＤＣＴ係数はＭＰＥＧデコーダおよびバッファ４４によってライン５６を経てアドレスされる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
シーケンスＢの処理はライン４９を経由してメモリ装置４８と通信するコントローラ（制御部）３６によって制御される。コントローラ３６は、マルチプレクサ３２からの出力ビットストリームがマルチプレクサの出力６０を経てプロダクションスイッチャ（図示せず）にクロック入力されるときにオンザフライ（ｏｎ  ｔｈｅ  ｆｌｙ：常時休むことなく）に選択されたワイプ機能用のＤＣＴ係数をアクセスするのに必要な信号を供給する。コントローラ３６は、切り換えられ、畳み込みされ、加算される２（あるいはそれ以上）のビットストリームのトラックを保持する必要がある。従って、コントローラ３６は、これが制御ライン３７を介してマルチプレクサ３２の出力を制御するために使用する特定の入力ビットストリームのフレーム情報によって整列されたビットストリームを保持する必要がある。これはデコーダおよびバッファ４４から供給されるメモリ４８からのフレーム情報をアドレスするコントローラ３６により行なわれる。ユーザにより選択され、コントローラ３６に入力された特定のワイプ機能用の記録（ストア）されたＤＣＴ係数は、ＭＰＥＧデコーダおよびバッファ４４からのブロックベースＤＣＴ係数と共にライン５０を経て２次元畳み込み回路（コンボルバ）４６に送られる。このステップは、同じブロック（および、必然的にその相補関係）中に１．０と０．０の両方の係数が含まれるときのみ非自明（ｎｏｎ−ｔｒｉｖｉａｌ：ノントリビアル）である。１．０と０．０の混合されたピクセル領域係数をもつシーケンスＢ用のワイプ関数のブロックは、最大６４個の非ゼロ項を含むそれ自体のＤＣＴ係数の組をもつ。これらは対応するビデオストリーム中の適当なブロック用のＤＣＴブロック係数で畳み込みされるのに必要である。オーバラップ加算（ｏｖｅｒｌａｐ  ａｄｄ）あるいはオーバラップ退避（ｏｖｅｒｌａｐ  ｓａｖｅ）法のような畳み込み技術の１つを使用することができる。さらに、畳み込み期間中、各ブロックの量子化マトリックス（ｑｕａｎｔｉｚａｔｉｏｎ  ｍａｔｒｉｃｅｓ）の各々を適正に考慮して適当なスケール係数を使用する必要がある。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
バッファ３９および５４からの出力は加算器４１で加算される。加算器４１の出力５５は生成されたブロックのＤＣＴ係数で、これはその後コントローラ３６の制御の下で出力マルチプレクサ３２を使用してビットストリームにシームバック（ｓｅａｍ  ｂａｃｋ：繋ぎ合わせてビットストリームの形式に戻す）される。マルチプレクサ３２は記録（ストア）された係数セクションからの制御情報に基づいてシーケンスＡあるいはシーケンスＢのいずれかを通過させ、最終的に生成された出力ビットストリームは、そのときのワイプ機能のピクセル係数が総合的に１．０（シーケンスＢの係数は０．０であることを意味する）の領域ではシーケンスＡであり、そのときのワイプ機能のピクセル係数が総合的に１．０（シーケンスＡの係数は０．０であることを意味する）の領域ではシーケンスＢであり、１．０と０．０の混合されたワイプ機能係数が存在するときは両方のシーケンスＡ、Ｂの組合わせである。この最後の場合は、制御回路は有効ＭＰＥＧ−２ビットストリームを生成するためにマクロブロックヘッダ中の情報をインテリジェントに（ｉｎｔｅｌｌｉｇｅｎｔｌｙ：知的に）繋ぎ合わせる必要がある。