(57)【特許請求の範囲】
【請求項１】
少なくとも１つのクロス・フェード画像を符号化するための基準画像として使用される、フェードアウト開始画像とフェードイン終了画像との間に時間的に配置された、前記少なくとも１つのクロス・フェード画像についてのビデオ信号データを符号化するビデオ符号器であって、
基準画像重み付けアプリケータと、
前記基準画像重み付けアプリケータと信号通信可能に接続されており、前記少なくとも１つのクロス・フェード画像を符号化するために、前記フェードアウト開始画像と前記フェードイン終了画像の各々に対応する重み付け係数を割り当てる基準画像重み付け係数ユニットと、
を含み、
前記基準画像重み付け係数ユニットは、各基準画像の重み付け係数の最初の推定値を使用して動き推定を実行し、その後、現在の画像内のピクセルの平均値と動き補償された基準画像内のピクセルの平均値との比を計算し、重み付けされ、動き補償された基準画像と前記少なくとも１つのクロス・フェード画像との差分を最小にする前記比を見つけることによって、前記重み付け係数をさらに正確にする、前記ビデオ符号器。
【請求項２】
画像相互間のクロス・フェードを符号化する方法であって、
クロス・フェードが設定された各画像を識別するステップと、
前記クロス・フェードが設定された各画像から適切な各終了点を特定するステップと、
前記各終了点相互間の少なくとも１つの画像を符号化する前に、前記各終了点を符号化するステップと、
実質的に圧縮されていないフェードアウト開始画像を受信するステップと、
実質的に圧縮されていないフェードイン終了画像を受信するステップと、
前記フェードアウト開始画像に対応する少なくとも１つの画像について、重み付け係数を割り当てるステップと、
前記フェードイン終了画像に対応する少なくとも１つの画像について、重み付け係数を割り当てるステップと、
を含み、
前記重み付け係数は各基準画像について最初に推定されて動き推定を実行し、その後、当該重み付け係数は、現在の画像内のピクセルの平均値と動き補償された基準画像内のピクセルの平均値との比を計算し、重み付けされ、動き補償された基準画像と前記少なくとも１つのクロス・フェード画像との差分を最小にする前記比を見つけることによって、さらに正確にされる、前記方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の説明）
本出願は、米国仮特許出願第６０／４３０，７９３号（代理人整理番号ＰＵ０２０４８７）（出願日は２００２年１２月４日、発明の名称は「重み付け予測を用いたビデオ・クロス・フェードの符号化（ＥＮＣＯＤＩＮＧ  ＯＦ  ＶＩＤＥＯ  ＣＲＯＳＳ−ＦＡＤＥＳ  ＵＳＩＮＧ  ＷＥＩＧＨＴＥＤ  ＰＲＥＤＩＣＴＩＯＮ）」）の優先権を主張し、その全文を本出願の説明文に組み入れる。
【０００２】
本発明は、ビデオ符号器に向けられたものであり、詳しくは、画像相互間のビデオ・クロス・フェードを効果的に行うための装置と方法に向けられたものである。
【背景技術】
【０００３】
ビデオ・データは、一般的に、ビット・ストリームの形態で処理されて転送される。一般的なビデオ圧縮符号器・復号器（コーデック）は、符号化すべき画像の基準画像予測を形成して、その予測と現在の画像との差分を符号化することによって、圧縮効率を上げている。予測と現在の画像との相関関係が密接であればあるほど、その画像を圧縮するのに要するビット数は少なくて済み、その結果、処理効率が向上する。従って、最良の実行可能な基準画像予測を形成することが望ましい。
【０００４】
ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、および、ＭＰＥＧ−４を含む多くのビデオ圧縮規格では、前の基準画像の動き補償された画像が現在の画像についての予測として使用され、現在の画像とその予測との差分のみが符号化される。１つの画像予測（Ｐピクチャ）を使用する場合、動き補償予測を形成する際、基準画像はスケーリング（ｓｃａｌｅ）されない。双方向画像予測（Ｂピクチャ）を使用する場合、２つの異なる画像から中間予測が形成され、次に、その２つの中間予測が、各々、等しい重み付け係数（１／２、１／２）によって平均化され、１つの平均化予測が形成される。
【０００５】
特定のビデオ・シーケンスに於いて、とりわけ、フェードを有するビデオ・シーケンスに於いて、符号化すべき現在の画像は、基準画像そのものよりも、重み付け係数によってスケーリングされた基準画像に、より強く相関している。ジョイント・ビデオ・チーム（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）（ＪＶＴ）ビデオ圧縮規格では、各重み付け係数と各オフセットとを基準画像毎に送ることが出来る。この規格では、復号器が各重み付け係数をどのように使用すべきかは規定されているが、符号器が適切な重み付け係数をどのように決定すればよいかについては規格されていない。クロス・フェードを含むシーケンスについて、使用すべき適切な重み付け係数と基準画像とを決定することは、非常に難しい。
【発明の開示】
【０００６】
(発明の概要)
このような従来技術の問題や欠点は、ＪＶＴ重み付け予測を用いて効果的にビデオ・クロス・フェードを圧縮する装置と方法によって、解消される。クロス・フェードの各終了点が特定され、それらが、クロス・フェード領域に於ける各画像を符号化するための基準画像として、使用される。
【０００７】
フェードアウト開始画像とフェードイン終了画像との間に配置されたクロス・フェード画像についてのビデオ信号データを符号化する装置と方法を提供する。符号器部には、フェードアウト開始画像とフェードイン終了画像の各々に対応する重み付け係数を割り当てる基準画像重み付け係数ユニットが含まれている。画像相互間のクロス・フェードを符号化する方法には、間にクロス・フェードが要求される各画像を識別するステップと、そのクロス・フェードについての適切な各終了点を特定するステップと、クロス・フェード画像を符号化する前に上記各終了点を符号化するステップとが含まれる。
【０００８】
本開示事項のこのような形態、特徴、および、利点は、添付図面を参照しつつ、以下に説明する各実施例から明確に理解できる筈である。
【発明を実施するための最良の形態】
【０００９】
動きベクトル推定と適応基準画像重み付け係数割り当てとを含む重み付け予測を用いてビデオ・クロス・フェードを符号化する装置と方法を開示する。特定のビデオ・シーケンスに於いて、とりわけ、フェードを有するビデオ・シーケンスに於いて、符号化すべき現在の画像、即ち、イメージ・ブロックは、基準画像そのものよりも、重み付け係数によってスケーリングされた基準画像に、より強く相関している。基準画像に重み付け係数を適用しないビデオ符号器は、フェードを有するビデオ・シーケンスの符号化の効率が非常に悪い。符号化に重み付け係数を用いる場合、ビデオ符号器は、重み付け係数と動きベクトルの両方を決定する必要があるが、重み付け係数と動きベクトルの各々の最良の選択は、他方に依存する。
【００１０】
従って、ＪＶＴ重み付け予測を用いてビデオ・クロス・フェードを効果的に圧縮する方法を説明する。先ず、クロス・フェードの各終了点が決定され、次に、その各終了点が、クロス・フェード領域に於ける各画像を符号化するための基準画像として使用される。
【００１１】
本説明は、本発明の各原理を、例として、説明するものである。当業者であれば、ここに明確に説明または図示されていなが、本発明の各原理を実施した、本発明の精神から逸脱しない、本発明の範囲内に在る様々な構成を考案できる筈である。
【００１２】
ここに記載する全ての例と条件付き用語は、本発明の各原理の理解と、本発明の発明者が寄与する構想の理解とを容易にして当該技術を発展させる為の教示を目的とするものであり、本発明は、ここで具体的に記載する各例や各条件に限定されるものではない。
【００１３】
更に、本明細書に於ける、本発明の各具体例についての記載のみならず、本発明の各原理、各特徴、および、各実施形態についての記載の全ては、本発明の構造的等価物と機能的等価物の両方を包含するものである。そのような等価物には、現在既知の等価物と将来開発される等価物、即ち、構造の如何に拘わらず、同等の機能を果たすように開発された任意の要素が含まれる。
【００１４】
例えば、当業者であれば、本明細書添付図面の各ブロック図が、本発明の各原理を実施する回路例の概念的な図であることを理解できる筈である。同様に、任意のフローチャート、流れ図、状態遷移図、および、擬似コード等が、実質的にコンピュータ読み取り可能媒体に表されてコンピュータ或いはプロセッサによって実行され得る種々の処理を表していることを、コンピュータ或いはプロセッサが明示されているか否かに拘わらず、理解できる筈である。
【００１５】
各図に示す種々の構成要素の機能は、適切なソフトウェアの使用、ソフトウェアを実行できるハードウェアの使用、および、専用ハードウェアの使用によって得られるように構成できる。また、各機能は、プロセッサによって得られる場合、１つの専用プロセッサ、１つの共用プロセッサ、或いは、複数の個別プロセッサによって得られるように構成でき、その複数の個別プロセッサの一部は共用プロセッサとしてもよい。更に、「プロセッサ」或いは「コントローラ」なる用語の明示的な使用は、ソフトウェアを実行できるハードウェアのみを排他的に意味するものではなく、また、暗示的ではあるが、限定的ではなく、例えば、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェア記憶用リード・オンリ・メモリー（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）、および、不揮発性記憶装置が含まれている。
【００１６】
その他の通常のハードウェア、および／または、特定用途向けハードウェアも含まれてもよい。同様に、図示の各スイッチは、単に概念的なものである。それらの機能は、プログラム論理動作によって、専用論理によって、プログラム制御と専用論理のインターアクションによって、或いは、手動で、実行することができ、その際、状況に応じて、実施者が特定の技術を選択できる。
【００１７】
本願の特許請求の範囲の各請求項に於いて、規定した機能を果たす手段として表現する各構成要素は、全て、その機能を果たす任意の手段を包含するものであり、例えば、ａ）その機能を果たす各回路素子の組み合わせ、或いは、ｂ）任意の形態のソフトウェア、即ち、その機能を果たす当該ソフトウェアを実行する適切な回路と共に組み合わされるファームウェア、マイクロコード等を含む任意の形態のソフトウェアが含まれる。各請求項によって定義される発明は、そこに記載された種々の手段によって得られる各機能が組み合わされて、各請求項に記載された態様で、効果を呈する。本出願人は、それらの機能が得られる各手段を、本明細書に記載する各手段と等価であると考える。
【００１８】
特定のビデオ・シーケンスに於いて、とりわけ、フェードを有するものに於いて、符号化すべき現在の画像、即ち、イメージ・ブロックは、基準画像そのものよりも、重み付け係数によってスケーリングされた基準画像に、より強く相関している。重み付け係数を基準画像に適用しないビデオ符号器は、フェードを有するシーケンスの符号化の効率が非常に悪い。
【００１９】
ＪＶＴビデオ圧縮規格に於いて、各Ｐピクチャは複数の基準画像を使用して画像予測を形成するが、個々のマクロブロックまたはマクロブロック・パーティション（１６×８、８×１６、或いは、８×８のサイズ）は１つの基準画像のみを使用して予測を形成する。動きベクトルの符号化と送信に加え、どの基準画像が使用されるかを示す基準画像インデックスが、マクロブロックまたはマクロブロック・パーティション毎に送信される。限定された一組の使用可能な基準画像が符号器と復号器の両方に記憶され、許容基準画像数が送信される。例えばＭＰＥＧ―２のような以前の規格とは異なり、ＪＶＴ符号器は、前に符号化された画像が基準画像として使用できる点で、相当な融通性を有する。
【００２０】
双予測画像（Ｂピクチャとも呼ばれる）についてのＪＶＴ規格では、マクロブロックまたはマクロブロック・パーティションの各々について、２つの予測子が形成され、その２つの予測子は、それぞれ別の基準画像から得られ、平均化されて、1つの平均化予測子が形成される。双予測で符号化される動きブロックについては、基準画像の両方が、前方方向から得られるか、または、後方方向から得られるか、或いは、基準画像の各々が、前方方向と後方方向から得られる。
【００２１】
予測に使用できる利用可能基準画像の２つのリストが保持される。この２つの基準画像は、リスト０予測子とリスト１予測子と呼ばれる。各基準画像についてのインデックスが、符号化され、リスト０基準画像についてのｒｅｆ＿ｉｄｘ＿Ｉ０と、リスト１基準画像についてのｒｅｆ＿ｉｄｘ＿Ｉ１として、送信される。
【００２２】
ＪＶＴ規格は、重み付け予測の２つのモードを提供している。この２つのモードによって、重み付け係数、および／または、オフセットが、予測形成の際に、基準画像に適用される。使用すべき重み付け係数は、現在のマクロブロックまたはマクロブロック・パーティションについての１つの基準画像インデックス（双予測の場合は複数のインデックス）に基づく。例えばスキップ・モード或いは直接モードのマクロブロックについての基準画像インデックスは、ビット・ストリーム内に符号化されるか、或いは、微分（ｄｅｒｉｖｅ）されてもよい。１つの重み付け係数と１つのオフセットが、現在の画像の各スライスの全てについて、基準画像インデックスの各々と対応している。明示的モードでは、これらのパラメータは、スライス・ヘッダ内に符号化される。暗黙的モードでは、これらのパラメータは、微分される。重み付け係数とオフセットの各パラメータ値は、予測間処理（ｉｎｔｅｒ−ｐｒｅｄｉｃｔｉｏｎ  ｐｒｏｃｅｓｓ）で１６ビット算術演算が可能なように制限される。符号器は、符号化画像毎に、暗黙的モードと明示的モードの何れかを選択できる。
【００２３】
ＪＶＴ規格の双予測画像、即ち、Ｂピクチャでは、２つの予測相互間で適応重み付けが可能である。即ち、Ｐｒｅｄ ＝ ［（Ｐ０） ＊ （Ｐｒｅｄ０）］ ＋ ［（Ｐ１） ＊ （Ｐｒｅｄ１）］ ＋ Ｄ、ここで、Ｐ０とＰ１は重み付け係数、Ｐｒｅｄ０とＰｒｅｄ１は、それぞれ、リスト０とリスト１についての基準画像予測、Ｄはオフセットである。
【００２４】
図１には、標準的なビデオ符号器の概略が参照番号１００で示されている。符号器１００の入力が、加算ジャンクション（ｓｕｍｍｉｎｇ  ｊｕｎｃｔｉｏｎ）１１０の非反転入力と信号通信可能に接続されている。加算ジャンクション１１０の出力が、ブロック変換器１２０と信号通信可能に接続されている。変換器１２０は、量子化器１３０と信号通信可能に接続されている。量子化器１３０の出力は、可変長符号器（ｖａｒｉａｂｌｅ  ｌｅｎｇｔｈ  ｃｏｄｅｒ）（ＶＬＣ）１４０と信号通信可能に接続されている。ＶＬＣ１４０の出力は、符号器１００の外部使用出力である。
【００２５】
量子化器１３０の出力は、また、逆量子化器１５０と信号通信可能に接続されている。逆量子化器１５０は、逆ブロック変換器１６０と信号通信可能に接続されている。更に、逆ブロック変換器１６０は、基準画像記憶装置１７０と信号通信可能に接続されている。この基準画像記憶装置１７０の第１の出力が、動き推定器１８０の第１の入力と信号通信可能に接続されている。符号器１００の入力は、また、動き推定器１８０の第２の入力と信号通信可能に接続されている。動き推定器１８０の出力が、動き補償器１９０の第１の入力と信号通信可能に接続されている。基準画像記憶装置１７０の第２の出力が、動き補償器１９０の第２の入力と信号通信可能に接続されている。動き補償器１９０の出力が、加算ジャンクション１１０の反転入力と信号通信可能に接続されている。
【００２６】
図２には、暗黙的基準画像重み付け機能を有するビデオ符号器の概略が参照番号２００で示されている。符号器２００の入力が、加算ジャンクション２１０の非反転入力と信号通信可能に接続されている。加算ジャンクション２１０の出力が、ブロック変換器２２０と信号通信可能に接続されている。変換器２２０は、量子化器２３０と信号通信可能に接続されている。量子化器２３０の出力は、可変長符号器（ＶＬＣ）２４０と信号通信可能に接続されている。ＶＬＣ２４０の出力は、符号器２００の外部使用出力である。
【００２７】
量子化器２３０の出力は、また、逆量子化器２５０と信号通信可能に接続されている。逆量子化器２５０は、逆ブロック変換器２６０と信号通信可能に接続されている。更に、逆ブロック変換器２６０は、基準画像記憶装置２７０と信号通信可能に接続されている。この基準画像記憶装置２７０の第１の出力が、基準画像重み付け係数割り当て器２７２の第１の入力と信号通信可能に接続されている。符号器２００の入力は、また、基準画像重み付け係数割り当て器２７２の第２の入力と信号通信可能に接続されている。基準画像記憶装置２７０の第２の出力が、動き推定器２８０の第１の入力と信号通信可能に接続されている。
【００２８】
符号器２００の入力は、また、動き推定器２８０の第２の入力と信号通信可能に接続されている。動き推定器２８０の、動きベクトルを示す信号を供給する出力が、動き補償器２９０の第１の入力と信号通信可能に接続されている。基準画像記憶装置２７０の第３の出力が、動き補償器２９０の第２の入力と信号通信可能に接続されている。動き補償器２９０の、動き補償された基準画像を示す信号を供給する出力が、乗算器、即ち、基準画像重み付けアプリケータ２９２の第１の入力と信号通信可能に接続されている。尚、この基準画像重み付けアプリケータ２９２は、この実施例では乗算器として示されているが、その他のもの、例えば、シフト・レジスタによって実施してもよい。基準画像重み付け係数割り当て器２７２の、重み付け係数を示す信号を供給する出力が、基準画像重み付けアプリケータ２９２の第２の入力と信号通信可能に接続されている。基準画像重み付けアプリケータ２９２の出力が、加算ジャンクション２１０の反転入力と信号通信可能に接続されている。
【００２９】
図３には、明示的基準画像重み付け機能を有するビデオ符号器の概略が参照番号３００で示されている。符号器３００の入力が、加算ジャンクション３１０の非反転入力と信号通信可能に接続されている。加算ジャンクション３１０の出力が、ブロック変換器３２０と信号通信可能に接続されている。変換器３２０は、量子化器３３０と信号通信可能に接続されている。量子化器３３０の出力は、可変長符号器（ＶＬＣ）３４０と信号通信可能に接続されている。ＶＬＣ３４０の出力は、符号器３００の外部使用出力である。
【００３０】
量子化器３３０の出力は、また、逆量子化器３５０と信号通信可能に接続されている。逆量子化器３５０は、逆ブロック変換器３６０と信号通信可能に接続されている。更に、逆ブロック変換器３６０は、基準画像記憶装置３７０と信号通信可能に接続されている。この基準画像記憶装置３７０の第１の出力が、基準画像重み付け係数割り当て器３７２の第１の入力と信号通信可能に接続されている。符号器３００の入力は、また、基準画像重み付け係数割り当て器３７２の第２の入力と信号通信可能に接続されている。基準画像重み付け係数割り当て器３７２の、重み付け係数を示す信号を供給する第１の出力が、動き推定器３８０の第１の入力と信号通信可能に接続されている。基準画像記憶装置３７０の第２の出力が、動き推定器３８０の第２の入力と信号通信可能に接続されている。
【００３１】
符号器３００の入力は、また、動き推定器３８０の第３の入力と信号通信可能に接続されている。動き推定器３８０の、動きベクトルを示す信号を供給する出力が、動き補償器３９０の第１の入力と信号通信可能に接続されている。基準画像記憶装置３７０の第３の出力が、動き補償器３９０の第２の入力と信号通信可能に接続されている。動き補償器３９０の、動き補償された基準画像を示す信号を供給する出力が、乗算器、即ち、基準画像重み付けアプリケータ３９２の第１の入力と信号通信可能に接続されている。基準画像重み付け係数割り当て器３７２の、重み付け係数を示す信号を供給する第２の出力が、基準画像重み付けアプリケータ３９２の第２の入力と信号通信可能に接続されている。基準画像重み付けアプリケータ３９２の出力が、加算ジャンクション３９４の第１の非反転入力と信号通信可能に接続されている。基準画像重み付け係数割り当て器３７２の、オフセットを示す信号を供給する第３の出力が、加算ジャンクション３９４の第２の非反転入力と信号通信可能に接続されている。加算ジャンクション３９４の出力が、加算ジャンクション３１０の反転入力と信号通信可能に接続されている。
【００３２】
図４には、明示的基準画像重み付け機能を有するビデオ復号器の概略が参照番号５００で示されている。ビデオ復号器５００には、可変長復号器（ｖａｒｉａｂｌｅ  ｌｅｎｇｔｈ  ｄｅｃｏｄｅｒ）（ＶＬＤ）５１０が含まれており、逆量子化器５２０と信号通信可能に接続されている。逆量子化器５２０は、逆変換器５３０と信号通信可能に接続されている。逆変換器５３０は、加算ジャンクション５４０の第１の入力と信号通信可能に接続されている。加算ジャンクション５４０の出力は、ビデオ復号器５００の出力信号を供給する。加算ジャンクション５４０の出力は、基準画像記憶装置５５０と信号通信可能に接続されている。基準画像記憶装置５５０は、動き補償器５６０と信号通信可能に接続されている。動き補償器５６０は、乗算器、即ち、基準画像重み付けアプリケータ５７０の第１の入力と信号通信可能に接続されている。当業者であれば理解できるように、明示的重み付け予測用のビデオ復号器５００は、暗黙的重み付け予測用としても使用できる。
【００３３】
ＶＬＤ５１０は、また、基準画像重み付け係数ルックアップ５８０と信号通信可能に接続されており、これに係数インデックスを供給する。ルックアップ５８０の、重み付け係数を供給する第１の出力が、基準画像重み付けアプリケータ５７０の第２の入力と信号通信可能に接続されている。基準画像重み付けアプリケータ５７０の出力が、加算ジャンクション５９０の第１の入力と信号通信可能に接続されている。ルックアップ５８０の、オフセットを供給する第２の出力が、加算ジャンクション５９０の第２の入力と信号通信可能に接続されている。加算ジャンクション５９０の出力が、加算ジャンクション５４０の第２の入力と信号通信可能に接続されている。
【００３４】
図５には、画像クロス・フェードの概略が参照番号６００で示されている。例示の画像クロス・フェード６００には、ＦＰ０として識別するフェードアウト開始画像６１０と、ＦＰ１として識別するフェードイン終了画像６１２とが含まれている。
【００３５】
図６には、１つのイメージ・ブロックについて、ビデオ信号データを符号化する処理の例の概要が、参照番号７００で示されている。処理７００は、図２の符号器２００または図３の符号器３００のような符号器を用いて、実施される。処理７００に於いて、開始ブロック７１０が、判定ブロック７１２に制御権を渡す。判定ブロック７１２は、クロス・フェードが有るか否かを判定して、それが無い場合、機能ブロック７１３に制御権を渡す。機能ブロック７１３は、通常の符号化を行い、終了ブロック７２４に制御権を渡す。
【００３６】
一方、判定ブロック７１２は、クロス・フェードを検出した場合、機能ブロック７１４に制御権を渡す。機能ブロック７１４は、フェードアウト開始点ＦＰ０を検出して、機能ブロック７１６に制御権を渡す。機能ブロック７１６は、フェードイン終了点ＦＰ１を検出する。次に、機能ブロック７１６は、機能ブロック７１８に制御権を渡す。機能ブロック７１８は、フェードアウト開始画像ＦＰ０を符号化し、機能ブロック７２０に制御権を渡す。機能ブロック７２０は、フェードイン終了画像ＦＰ１を符号化して、機能ブロック７２２に制御権を渡す。
【００３７】
次に、機能ブロック７２２は、ＦＰ０とＦＰ１との間で、表示順に配置された各画像を符号化し、この際、画像ＦＰ０をリスト０基準とし、画像ＦＰ１をリスト１基準とする重み付け予測を用いる。次に、機能ブロック７２２は、終了ブロック７２４に制御権を渡す。
【００３８】
一対の画像相互間のビデオ・クロス・フェード用のオーサリング・ツール（ａｕｔｈｏｒｉｎｇ  ｔｏｏｌ）が、例えば図２の符号器２００のようなビデオ符号器を含み、前もって記憶したビデオ・コンテンツの処理を行う。非圧縮ビデオ・コンテンツの他、例えば判定リスト、編集スプライス（継ぎ目）点（ｅｄｉｔｉｎｇ  ｓｐｌｉｃｅ  ｐｏｉｎｔ）等の付加的情報も利用可能である。オーサリング・ツールに於けるビデオ符号器は、必ずしもリアルタイムで動作する必要はない。フェード、クロス・フェード等の特殊効果は、オーサリング・ツールに於いて、適用できる。
【００３９】
ビデオ・シーケンスに於けるフェードおよびクロス・フェード（ディゾルブ（ｄｉｓｓｏｌｖｅ）とも呼ばれる）を検出する技術については、種々ものが、よく知られている。各マクロブロック或いはマクロブロック・パーティションについて特定の画像を符号化する際、ＪＶＴ符号器は、符号化判定モード、１つまたは２つの基準画像、および、１つ以上の動きベクトルを選択する必要がある。ＪＶＴ符号器は、重み付け予測を用いる場合、画像毎に、或いは、スライス毎に、使用する各基準インデックスに適用される重み付け係数も選択するように構成できる。１つ以上の基準インデックスは、各許容基準画像を指し、従って、複数の重みを個別基準画像の各々に使用できる。
【００４０】
オーサリング・ツールは、クロス・フェードが生じる時点を検出する。オーサリング・ツールは、クロス・フェードが生じる時点を検出するのに十分な情報を持っているが、その理由は、オーサリング・ツールが、自らクロス・フェードを適用したか、或いは、クロス・フェードを判定リストから読み出したか、或いは、フェード検出アルゴリズムを採用しているからである。１つのクロス・フェードについて、フェードアウト開始点で識別される画像は、ＦＰ０として識別され、フェードイン終了点画像は、ＦＰ１として識別される。クロス・フェードが検出されると、符号器は、ＦＰ０とＦＰ１との間に表示順に配列された各画像（クロス・フェード画像と呼ばれる）を符号化する前に、画像ＦＰ０と画像ＦＰ１とを符号化する。本発明の１つの特徴は、この様に、フェードイン終了画像ＦＰ１が各中間画像よりも前に符号化されることである。
【００４１】
ビデオ符号器では、一般に、Ｉピクチャ、ＰピクチャおよびＢピクチャの各符号化タイプの固定パターンを使用する。また、符号化順序は、一般に、表示順序と異なる。そのような一般的なパターンは、例えば、以下のようになる。
一般的符号化順序：Ｉ０、Ｐ３、Ｂ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５、Ｐ９、Ｂ７、Ｂ８
一般的表示順序：Ｉ０、Ｂ１、Ｂ２、Ｐ３、Ｂ４、Ｂ５、Ｐ６、Ｂ７、Ｂ８、Ｐ９
【００４２】
この一般的なパターンでは、Ｐ３ピクチャが、中間のＢ１ピクチャとＢ２ピクチャよりも前に符号化される。Ｂ１ピクチャとＢ２ピクチャは、Ｉ０とＰ３を、予測処理に於ける基準画像として、使用する。
【００４３】
ＪＶＴ規格は、固定の画像符号化タイプのパターンの使用を規定しておらず、また、符号器が各パターンを調整して符号化効率を最大限に上げることが出来る方法も提案していない。本発明に従えば、クロス・フェードを有するシーケンスの符号化効率は、画像の符号化タイプと符号化順序を調整することによって、改善できる。例えば、仮に、ピクチャ０をフェードイン開始画像として識別し、ピクチャ９をフェードアウト終了画像として識別した場合、次の符号化順序と表示順序が使用可能になる。
本発明符号化順序：Ｉ０、Ｐ９、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｂ７、Ｂ８
本発明表示順序：Ｉ０、Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｂ７、Ｂ８、Ｐ９
【００４４】
クロス・フェード画像が符号化される際、符号器は、各基準画像リストを配列し、若し必要ならば、基準画像選択再命令によって配列して、ＦＰ０がリスト０上の第１画像になり、ＦＰ１がリスト１上の第１画像になるようにする。これによって、符号化効率が向上する。その理由は、基準画像リスト内の第１画像を指す０の基準インデックスの符号化に使用されるビット数が、その他の基準インデックスより少なくて済むからである。次に、ＦＰ０とＦＰ１の各々に対応する基準インデックスについて、重み付け係数が選択される。この選択は、現在の画像の組成に於ける第１画像と第２画像の相対的な寄与に基づいて、行われる。クロス・フェード画像を作成するのに使用される式が、サイド情報から判っている場合、或いは、オーサリング・ツールがそのクロス・フェードを作成したので判っている場合、その組成式から得られる重み付け係数が使用できる。若し、正確な式が判らない場合、数種類のアルゴリズムのうちの任意のアルゴリズムを用いて、例えば、現在の画像の、ＦＰ０およびＦＰ１からの相対的な距離に基づくアルゴリズムを用いて、重み付け係数を算出することが出来る。
【００４５】
このアルゴリズムは、クロス・フェード領域内の全ての符号化画像に適用でき、或いは、選択されて基準画像として記憶される画像のみに適用してもよい。別の実施形態では、暗黙的モード重み付け予測と明示的モード重み付け予測の何れを用いても、各クロス・フェード画像を符号化できる。明示的モードを用いる場合、任意の重み付け係数を用いてよい。暗黙的モードを用いる場合、各重み付け係数は、現在の画像の、ＦＰ０およびＦＰ１からの相対的な距離によって決まる。
【００４６】
本システムと本技術は、１つの予測子で符号化されるＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ  ｐｉｃｔｕｒｅ）にも、或いは、２つの予測子で符号化されるＢピクチャ（Ｂｉ−ｐｒｅｄｉｃｔｉｖｅ  ｐｉｃｔｕｒｅ）の何れに適用してもよい。以下、ＰピクチャとＢピクチャの各場合について、符号器と復号器の両方に有る復号処理を説明する。尚、本技術は、Ｉピクチャ、ＢピクチャおよびＰピクチャに類似した概念を用いた符号化システムにも適用できる。
【００４７】
同じ重み付け係数をＢピクチャ内の単一方向予測について、および、Ｂピクチャ内の双予測について使用できる。１つの予測子がＰピクチャ内のマクロブロックについて使用される場合、或いは、Ｂピクチャ内の単一方向予測について使用される場合、１つの基準画像インデックスが、そのブロックについて、送信される。動き補償の復号処理のステップが１つの予測子を生成した後、重み付け係数がその予測子に適用される。次に、その重み付け予測子が、符号化残差（ｃｏｄｅｄ  ｒｅｓｉｄｕａｌ）に加算され、その加算結果にクリッピングが行われて、復号化画像が形成される。リスト０予測のみを使用するＰピクチャ内のブロック、或いは、Ｂピクチャ内のブロック用として、重み付け予測子は、次のように、形成される。
【数１】
0004756573.tif 000002
ここで、Ｗ０はリスト０基準画像に対応する重み付け係数、Ｄ０はリスト０基準画像に対応するオフセット、Ｐｒｅｄ０はリスト０基準画像からの動き補償された予測ブロックである。
【００４８】
リスト１予測のみを使用するＢピクチャ内のブロック用として、重み付け予測子は、次のように、形成される。
【数２】
0004756573.tif 000003
ここで、Ｗ１はリスト１基準画像に対応する重み付け係数、Ｄ１はリスト１基準画像に対応するオフセット、Ｐｒｅｄ１はリスト１基準画像からの動き補償された予測ブロックである。
【００４９】
重み付け予測子をクリッピングして、その結果得られる値がピクセル値の許容範囲内、一般的に、０から２５５の範囲内に在ることを保証してもよい。重み付け式に於ける乗算の精度は、任意の所定ビット数の分解能に限定してもよい。
【００５０】
双予測の場合、基準画像インデックスは、２つの予測子の各々について、送信される。動き補償が行われて、その２つの予測子が形成される。各予測子には、その基準画像インデックスに対応する重み付け係数が使用され、２つの重み付け予測子が形成される。次に、この２つの重み付け予測子が平均化されて、１つの平均化予測子が形成される。次に、この平均化予測子は、符号化残差に加えられる。
【００５１】
リスト０予測とリスト１予測とを使用するＢピクチャ内のブロック用として、重み付け予測子は、次のように、形成される。
【数３】
0004756573.tif 000004
【００５２】
重み付け予測子にクリッピングを適用して、或いは、重み付け予測子の計算に於ける中間値の任意のものにクリッピングを適用して、その結果得られる値がピクセル値の許容範囲内、一般的に、０から２５５の範囲内に在ることを保証してもよい。
【００５３】
このようにして、複数の基準画像を使用するビデオ圧縮符号器・復号器の基準画像予測に、重み付け係数が適用される。重み付け係数は、１つの画像内の個々の動きブロックについて、その動きブロックについて使用される基準画像インデックスに基づいて、適合する。基準画像インデックスは、既に、圧縮ビデオ・ビット・ストリームで送信されているので、重み付け係数を動きブロック毎に適合させる余計なオーバヘッドが劇的に低減される。同じ基準画像について符号化される動きブロックの全ては、同じ重み付け係数を基準画像予測に適用する。
【００５４】
ＪＶＴ委員会のジョイント・モデル（Ｊｏｉｎｔ  Ｍｏｄｅｌ）（ＪＭ）ソフトウェアに於いて、レート歪み最適化を用いた経験的確率法によって、動きベクトル、マクロブロック・パーティショニング（ｍａｃｒｏｂｌｏｃｋ  ｐａｒｔｉｔｉｏｎｉｎｇ）（マクロブロック区分化）、予測モード、および、基準画像インデックスが選択される。この方法では、これらの選択の各々についての許容値範囲が検査され、各選択についてのコストが算定される。コストが最小限になる選択が選ばれる。
【００５５】
動き推定技術は、広く研究されている。符号化される画像の各動きブロックについて、その動きブロックの、基準画像からの変位を表す動きベクトルが選択される。サーチ領域内の徹底的なサーチ方法では、動きブロック位置に対するオフセットの所定範囲内の全て変位が検査される。その検査には、基準画像内の変位動きブロックと現在の画像内の動きブロック内の各ピクセルの差分絶対和（ｓｕｍ  ｏｆ  ａｂｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅ）（ＳＡＤ）或いは平均二乗誤差（ｍｅａｎ  ｓｑｕａｒｅｄ  ｅｒｒｏｒ）（ＭＳＥ）の算出が含まれる。ＳＡＤ或いはＭＳＥが最も小さいオフセットが、動きベクトルとして、選択される。この技術について、多数のバリエーション（変形形態）、例えば、三ステップサーチ、レート歪み最適化動き推定等が提案されており、これらの全てには、基準画像内の変位動きブロックと現在の動きブロックとのＳＡＤ或いはＭＳＥの算出ステップが含まれる。
【００５６】
動きベクトルと適応基準画像重み付け係数を求めるための算出コストは、高い圧縮効率が得られる動きベクトルと重み付け係数とを選択する一方、反復処理を用いることによって、低減できる。１つの重み付け係数を基準画像全体に適用すると仮定して、動きベクトルと重み付け係数の決定処理の実施例を説明するが、本発明の各原理は、それに限定されるものではない。この処理は、例えば、スライスのような、より小さな画像領域にも適用できる。更に、１つの基準画像のみを使用した１つの実施例を説明するが、本発明の各原理は、複数基準画像予測にも適用でき、双予測画像にも適用できる。
【００５７】
一般に、使用すべき重み付け係数が判っている場合、動きブロックについての動きベクトルの計算は、最も良好に行える。一実施例では、基準画像と現在の画像のピクセル値によって、重み付け係数の推定を行う。重み付け係数は、所定ビット数の分解能に限定してもよい。重み付け係数が１に非常に近い場合、動き推定処理に於いて重み付け係数を考慮する必要はなく、重み付け係数を１に等しいと仮定して、通常の動き推定を行うことが出来る。それ以外の場合、重み付け係数の推定値が、基準画像に適用される。次に、ＳＡＤまたはＭＳＥを算出する任意の方法によって動き推定が行われるが、ＳＡＤまたはＭＳＥの算出は、現在の画像の動きブロックと、重み付けされない基準画像ではなく、重み付けされた基準画像内の変位動きブロックとの間で行われる。重み付け係数の推定は、必要に応じて、動きベクトルの選択後に、更に正確にできる。
【００５８】
現在の動きベクトルが重み付け基準画像に適用され、重み付け動き補償基準画像が形成される。この重み付け動き補償基準画像と現在の画像との差分が算出される。この差分が閾値より小さい場合、或いは、前の最良の差分より小さい場合、本処理は完了して、現在の候補の動きベクトルと重み付け係数が受け付けられる。
【００５９】
差分が閾値より大きい場合、重み付け係数は、更に正確にできる。この場合、動きは補償されているが、重み付けは行われていない基準画像が、現在の候補の動きベクトルに基づいて、形成される。重み付け係数の推定値は、重み付け係数の最初の推定値を形成した時のように動き補償されていない基準画像ではなく動き補償された基準画像と現在の画像とによって、更に正確にされる。
【００６０】
一実施形態に於いて、重み付け係数の最初の推定値ｗは、現在の画像内の各ピクセルの平均値ａｖｇ（ｃｕｒ）を基準画像内の各ピクセルの平均値ａｖｇ（ｒｅｆ）で除して得られる比である。即ち、
【数４】
0004756573.tif 000005
である。
【００６１】
更に正確にされた推定値ｗは、現在の画像内の各ピクセルの平均値ａｖｇ（ｃｕｒ）と動き補償された基準画像内の各ピクセルの平均値ａｖｇ（ｍｃｒｅｆ）との比である。即ち、
【数５】
0004756573.tif 000006
である。
【００６２】
差分ｄｉｆｆは、現在の画像ｃｕｒと重み付けされ動き補償された基準画像ｗｍｃｒｅｆとの各ピクセル差分の平均の絶対値である。
【数６】
0004756573.tif 000007
【００６３】
別の一実施形態では、差分ｄｉｆｆは、現在の画像ｃｕｒの各ピクセルと重み付けされ動き補償された基準画像ｗｍｃｒｅｆの各ピクセルとの差分の絶対値の和である。
【数７】
0004756573.tif 000008
【００６４】
ブロックに基づく動き推定が行われる際、多くのＳＡＤ算出について、基準画像内の同じピクセルが使用される。一実施例では、動き推定処理期間中、一旦、重み付け係数が基準画像内のピクセルに適用されると、その重み付けされたピクセルは、通常ピクセルと共に記憶される。この記憶は、画像の一領域についても、或いは、画像全体についても、行うことができる。
【００６５】
重み付けられた基準画像値は、クリッピングされて、重み付けされていない基準画像と同じビット数、例えば、８ビットで、記憶してもよく、或いは、それ以上のビット数で記憶してもよい。動き補償処理についてクリッピングが行われる場合（この場合、メモリ効率が更に良くなる）、重み付け係数が実際の選択された動きベクトルについて基準画像に再適用され、差分が追加ビットの使用により算出され、クリッピングが差分算出後に行われ、これによって、復号器との不整合（これは、復号器が重み付け係数の適用後にクリッピングを行わない場合に生じる）が回避される。
【００６６】
複数の基準画像を用いて画像が符号化される場合、基準画像の各々について、別個の重み付け係数の算出が可能である。動き推定期間中、動きベクトルと基準画像インデックスとが動きブロックの各々について、選択される。本処理の各反復時に、動きベクトルと重み付け係数とが、各基準画像について、特定される。
【００６７】
一推奨実施形態に於いて、動き推定期間中、所与の動きブロックについての最良の基準画像が決定される。差分の算出は基準画像毎に個別に行われ、その際、その基準画像を用いた動きブロックのみが、その算出に使用される。所与の基準画像についての重み付け係数の推定値を更に正確にする場合も、その基準画像を用いて符号化された動きブロックのみが使用される。双予測符号化の場合、重み付け係数と動きベクトルとが、２つの予測の各々について、個別に決定される。この２つの予測は、平均化されて、平均化予測が形成される。
【００６８】
本発明の各原理は、様々なタイプの動き推定アルゴリズムに適用できる。階層化方式で行う場合、重み付け係数の選択と動きベクトルの選択の反復は、動き推定階層の任意のレベルで実行できる。例えば、この反復方式は、整数画素（ペル）動き推定（ｉｎｔｅｇｅｒ  ｐｉｃｔｕｒｅ  ｅｌｅｍｅｎｔ  （ｐｅｌ）  ｍｏｔｉｏｎ  ｅｓｔｉｍａｔｉｏｎ）について、使用できる。所与の反復アルゴリズムを使用して重み付け係数と整数動きベクトルとが特定された後に、サブ・ペル（ｓｕｂ−ｐｅｌ）動きベクトルが、重み付け係数の選択の更なる反復の必要なしに、特定されるようにしてもよい。
【００６９】
本発明の各特徴と各利点は、当業者であれば、ここに開示した事項に基づいて、容易に把握できる筈である。また、本発明の各原理が、種々の形態のハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ、或いは、これらの任意の組み合わせによって実施できることを理解できる筈である。  
【００７０】
最も好ましくは、本発明の各原理がハードウェアとソフトウェアの組み合わせによって実施されることである。更に、そのソフトウェアは、プログラム記憶装置に具体的に組み込まれるアプリケーション・プログラムとして、実施されるのが望ましい。そのアプリケーション・プログラムは、任意の適切なアーキテクチャから成るマシンにアップロードされて、そのマシンによって実行されるようにしてもよい。そのマシンは、例えば、１つ以上の中央処理装置（ＣＰＵ）、ランダム・アクセス・メモリ（ＲＡＭ）、入出力（Ｉ／Ｏ）インタフェースのようなハードウェアを持つコンピュータ・プラットホームで実施するのが望ましい。そのコンピュータ・プラットホームには、オペレーティング・システムとマイクロ命令コードとが含まれてもよい。ここに記載した種々の処理と機能は、マイクロ命令の一部、或いは、アプリケーション・プログラムの一部、或いは、それらの任意の組み合わせであってもよく、ＣＰＵによって実行されてもよい。更に、例えば増設データ記憶装置や印刷装置のような様々なその他の周辺装置をコンピュータ・プラットホームに接続してもよい。
【００７１】
尚、添付図面に示された各システム構成部分と各方法の一部は、ソフトウェアの形態で実施するのが望ましいので、各システム構成部分相互間の実際の接続、或いは、各処理機能ブロック相互間の実際の接続は、本発明がプログラムされる態様に従って、異なることもある。ここに開示した事項から、当業者であれば、ここに示した本発明の各実施例または各構成例に類似した実施例または構成例を考案できる筈である。
【００７２】
添付図面を参照して各実施例をここに説明したが、本発明は、これらの具体的な実施例に限定されるものではない。また、当業者であれば、本発明の範囲或いは精神から逸脱することなく、様々な変更および修正を行うことが出来るであろう。そのような変更および修正は、全て、本願の特許請求の範囲の各請求項に記載された本発明の範囲内に含まれる。
【図面の簡単な説明】
【００７３】
【図１】図１は、標準的なビデオ符号器のブロック図である。
【図２】図２は、ビデオ・クロス・フェード用の暗黙的基準画像重み付け機能を有するビデオ符号器のブロック図である。
【図３】図３は、ビデオ・クロス・フェード用の明示的基準画像重み付け機能を有するビデオ符号器のブロック図である。
【図４】図４は、ビデオ・クロス・フェード用の明示的基準画像重み付け機能を有するビデオ復号器のブロック図である。
【図５】図５は、一対の画像相互間のビデオ・クロス・フェードを図形的に表す図である。
【図６】図６は、符号化処理例のフローチャートを示す図である。
【図１】
0004756573.tif 000009
【図２】
0004756573.tif 000010
【図３】
0004756573.tif 000011
【図４】
0004756573.tif 000012
【図５】
0004756573.tif 000013
【図６】
0004756573.tif 000014