(57)【要約】本発明は、動画シーケンスの前のイメージと後のイメージの間に補間される少なくとも一つのイメージを構築するための方法に関する。本発明は、オクルージョンデータと称される、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関するデータを考慮することを特徴とする。
2004507943.tif 000002
【特許請求の範囲】
【請求項１】
動画シーケンスの前のイメージと後のイメージとの間に補間される少なくとも一つのイメージを構築するための方法において、
オクルージョン情報と称される、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮する少なくとも一つのモーション推定ステップを含む、ことを特徴とする方法。
【請求項２】
前記シーケンスのイメージはメッシュに付随する、ことを特徴とする請求項１に記載の方法。
【請求項３】
前記メッシュはメッシュ・ピラミッド内に少なくとも二つの入れ子状メッシュ・レベルを有する階層型メッシュである、ことを特徴とする請求項２に記載の方法。
【請求項４】
前記オクルージョン情報は前記前のイメージと前記後のイメージとの間のモーションの前方及び／または後方の推定ステップを実行することにより決定される、ことを特徴とする請求項１乃至３のいずれかに記載の方法。
【請求項５】
前記前のイメージ内（または前記後のイメージ内）に少なくとも一つのオクルージョン・ゾーンが存在する場合において、
各オクルージョン・ゾーンについて、前記前のイメージ（または前記後のイメージ）において、前記オクルージョン・ゾーンに対応する少なくとも一つのメッシュ・ポイントを包含する、包含領域と称される前記メッシュの一部領域を除外して近似的な前のイメージ（または近似的な後のイメージ）を取得するステップと、
前記近似的な前のイメージ（または前記近似的な後のイメージ）から近似的な後のイメージ（または近似的な前のイメージ）を取得することを可能にする、前方モーション・ベクトル（または後方モーション・ベクトル）と称されるモーション・ベクトルを決定するために前方推定（または後方推定）ステップと、
前記近似的な前のイメージ（または前記近似的な後のイメージ）と前記前方モーション・ベクトル（または前記後方モーション・ベクトル）とから中間的なイメージを構築するためのステップと、を具備することを特徴とする請求項１乃至４のいずれかに記載の方法。
【請求項６】
前記包含領域は、前記オクルージョン・ゾーンに関して半径ｋ（ｋ≧１）の円盤（ｋ円盤）である、ことを特徴とする請求項５に記載の方法。
【請求項７】
前記構築ステップにおいて、１未満のスカラー値の重みが掛けられた前記前方モーション・ベクトル（または前記後方モーション・ベクトル）を前記近似的な前のイメージ（または前記近似的な後のイメージ）に適用する、ことを特徴とする請求項５または６に記載の方法。
【請求項８】
前記補間イメージを取得するため、前記中間イメージに付随するメッシュを再構築するステップを具備し、該再構築ステップにおいて、各オクルージョン・ゾーンについて、前記包含領域に対応する前記中間イメージに付随するメッシュの一部に付随する比色情報及び／または光度情報を決定するためのステップを実行する、ことを特徴とする請求項５乃至７のいずれかに記載の方法。
【請求項９】
前記決定ステップにおいて、第一に有限要素を使用する符号化モデルを実施し、第二に代わりの符号化モデルを実施する、ことを特徴とする請求項８に記載の方法。
【請求項１０】
前記補間イメージを取得するため、前記中間イメージに付随するメッシュを再構築するステップを具備し、該再構築ステップにおいて、各オクルージョン・ゾーンについて、前記包含領域に対応する前記後のイメージに付随するメッシュの一部または前記前のイメージに付随するメッシュの一部を前記中間イメージに付随するメッシュに挿入する、ことを特徴とする請求項５乃至７のいずれかに記載の方法。
【請求項１１】
第１の改善された補間イメージを生成するため、各オクルージョン・ゾーンについて、前記補間イメージ内の前記包含領域に対応する前記メッシュの一部の少なくとも一つのノードのポジションを最適化して、前記補間イメージと対応する正確なイメージとの間の局部的なモーションを推定するステップを更に具備する、ことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記改善された第１の補間イメージと前記対応する正確なイメージとの間の誤差を評価するために、誤差イメージを計算するステップを更に具備する、ことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記誤差が前記誤差イメージの少なくとも一つの領域に対して所定の閾値よりも大きい場合には、第２の改善された補間イメージを生成するために前記領域のそれぞれに付随する比色情報及び／または光度情報を決定するステップを実行する、ことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記決定ステップにおいて、第一に有限要素を使用する符号化モデルを実施し、第二に代わりの符号化モデルを実施する、ことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記決定ステップは、前記誤差イメージからまたは前記対応する正確なイメージから所定のコスト基準に応じて実行される、ことを特徴とする請求項１３または１４に記載の方法。
【請求項１６】
前記メッシュはそれが代表する前記イメージよりも大きなサイズを有する、ことを特徴とする請求項２乃至１５のいずれかに記載の方法。
【請求項１７】
前のイメージと後のイメージとの間に補間される少なくとも一つのイメージを補間するためのステップを実行するタイプの、動画シーケンスを符号化するための方法において、
前記補間ステップは、オクルージョン情報と称される、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮するモーション推定サブステップを具備する、ことを特徴とする方法。
【請求項１８】
前のイメージと後のイメージとの間に補間される少なくとも一つのイメージを補間するためのステップを実行するタイプの、動画シーケンスを復号化するための方法において、
前記補間ステップは、オクルージョン情報と称される、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮するモーション推定サブステップを具備する、ことを特徴とする方法。
【請求項１９】
前のイメージと後のイメージとの間に少なくとも一つの補間イメージを補間するための手段を備えるタイプの、動画シーケンスを表示するための端末において、
前記補間手段は、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮するモーション推定手段を具備する、ことを特徴とする端末。
【請求項２０】
動画シーケンスの前のイメージと後のイメージとの間に補間される少なくとも一つのイメージを再構築することを可能にする情報を具備し、
前記情報は、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在を考慮している、ことを特徴とするビデオ信号。
【請求項２１】
コンピュータにおいて使用可能なキャリアに記録され、動画シーケンスの前のイメージと後のイメージとの間に補間される少なくとも一つのイメージを再構築することを可能にする情報を具備するメッシュにおいて、
前記情報は、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在を考慮している、ことを特徴とするメッシュ。
【発明の詳細な説明】
【０００１】
本発明は、動画シーケンス（ｍｏｖｉｎｇ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ）の符号化及び／または復号化の分野に関する。特に、本発明は動画シーケンスの２つの与えられたイメージの間に補間される少なくとも一つのイメージを構成する技術に関する。
【０００２】
本発明は、イメージング（ｉｍａｇｉｎｇ）及び画像処理（ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ）の全ての分野に適用することが可能である。以下のものが非制限的な例として挙げられる。
・特に、ＭＰＥＧ−４またはＨ２６３＋型符号器（ｅｎｃｏｄｅｒ）／復号器（ｄｅｃｏｄｅｒ）またはその他のビデオ符号器／復号器の性能を改善するための、ビデオ符号化及び／または復号化、
・医学画像（ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ）、
・例えばＰＡＬ／ＮＴＳＣ変換といった規格変換。
【０００３】
本発明は、特に帯域幅の飽和と様々なタイプの端末との適合性の問題の克服を目的として、フレームの時間的補間（ｔｅｍｐｏｒａｌ ｉｎｔｅｒｐｏｌａｔｉｏｎ）及び／またはビデオ・シーケンスの双方向符号化に、それとは限定はされないが、適用可能である。
【０００４】
実際、主な目的の一つは満足できるクォリティの動画シーケンス、特に連続するイメージが流れるように次々と互いの後に続くシーケンスをユーザが視聴できるようにすることである。今では、ビデオ・シーケンスの流動性の問題は伝送ネットワークの飽和とユーザに利用可能な表示端末の能力（特に記憶容量）の問題と大きく関連している。
【０００５】
ユーザのリクエストに応え、帯域幅の飽和の問題を克服するには、広範囲のビットレートでビデオ・ストリームを作り出すことが必要である。しかしながら、低いまたは中間のビットレートで伝送されたビデオ・シーケンスは、それを見た場合、一般的にガタガタ動いて見える。
【０００６】
それ故に考えられた方法は、より流動性の高いビデオ・シーケンスを表示端末、伝送ネットワーク及び／またはユーザからのリクエストに応じて生成するために、伝送されたビットストリームを復号化する間にフレーム周波数補間（ｆｒａｍｅ ｆｒｅｑｕｅｎｃｙ ｉｎｔｅｒｐｏｌａｔｉｏｎ）を実行し、そして／または双方向方式で符号化する間に追加情報を格納することであった。
【０００７】
モーション・フィールド（ｍｏｔｉｏｎ ｆｉｅｌｄ）（動きの場）の推定に基づく周波数補間の様々なテクニックが考えられてきたが、しかし現在までのところ、そのどれもが満足に機能しない。
【０００８】
或るシーケンスの２つのイメージ間のモーション（ｍｏｔｉｏｎ）は、一方のイメージのピクセルと他方のイメージの相同（ｈｏｍｏｌｏｇｏｕｓ）ピクセルの位置の違いを特徴付ける二次元ベクトルとして定義することが可能であることが思い起こされかもしれない。ここで、これらのピクセルはその２つのイメージのそれぞれにおける同一の物理的ポイントに対応すると仮定される。従って、変位ベクトルをイメージの各ピクセルに割り当てることにより、そのイメージでの稠密なモーション・フィールド（ｄｅｎｓｅ ｍｏｔｉｏｎ ｆｉｅｌｄ）が定義される。このモーション・フィールドは、オプティカル・フロー（ｏｐｔｉｃａｌ ｆｌｏｗ）とも称される。
【０００９】
フレーム周波数の補間に使用されるモーション・フィールド推定の方法は以下の２つのタイプがある。
・マッチング法（ｍａｔｃｈｉｎｇ ｍｅｔｈｏｄ）とも称される列挙法（ｅｎｕｍｅｒａｔｉｖｅ ｍｅｔｈｏｄ）と、
・差動法（ｄｉｆｆｅｒｅｎｔｉａｌ ｍｅｔｈｏｄ）。
【００１０】
列挙法は、規則的または整合的な分割（ｒｅｇｕｌａｒ ｏｒ ｍａｔｃｈｅｄ ｐａｒｔｉｔｉｏｎｉｎｇ）によりイメージのドメインを有限サイズの領域に再分割することに基づく。その結果、モーションモデルが定義される。このモーションモデルは例えば擬似的（ａｆｆｉｎｅ）、並進的（ｔｒａｎｓｌａｔｉｏｎａｌ）、多項式的（ｐｏｌｙｎｏｍｉａｌ）等である場合があり、その手続きは所定の区間に含まれる１セットの離散値がこのモデルのパラメータに適用される連続的逐次代入を含む。
【００１１】
差動法は、議論されるイメージの各ピクセルにモーション・ベクトルを割り当てることにより稠密なモーション・フィールドを推定することにある。それらの方法は、第一に差分計算を実行し、第二に例えば勾配降下法（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔｓ）に基づく最適化テクニックを実行する。これらの方法は特に例えば、オプティカル・フローの方程式に基づく方法、ｐｅｌ再帰的方法（ｐｅｌ−ｒｅｃｕｒｓｉｖｅ ｍｅｔｈｏｄ）（ｐｅｌは「物理的画像要素（ｐｈｙｓｉｃａｌ ｐｉｃｔｕｒｅ ｅｌｅｍｅｎｔ）を表す」）、パラメトリック法（ｐａｒａｍｅｔｒｉｃ ｍｅｔｈｏｄ）またはロバストな推定量（ｒｏｂｕｓｔ ｅｓｔｉｍａｔｏｒｓ）を含む。
【００１２】
イメージ補間に関する既存のテクニックを改良するために多くの研究が成されてきた。この仕事については、チロ・カッフォリオ（Ｃｉｒｏ ＣＡＦＦＯＲＩＯ）とファビオ・ロッカ（Ｆａｂｉｏ ＲＯＣＣＡ）によって提案された方法（１９９０年２月発行の通信に関するＩＥＥＥトランザクション（ＩＥＥＥ Ｔｒａｎｄａｃｔｉｏｎｓ ｏｎ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）第３８巻第２号「モーション補正イメージ補間（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）」）が参考になる。この方法ではモーション補正にｐｅｌ再帰的推定量（ｐｅｌ−ｒｅｃｕｒｓｉｖｅ ｅｓｔｉｍａｔｏｒ）が使用される。
【００１３】
ｐｅｌ再帰的方法は所定の経路方向にあるイメージの選ばれたピクセルのそれぞれに付随するモーション・ベクトルの予測補正（ｐｒｅｄｉｃｔｉｏｎ−ｃｏｒｒｅｃｔｉｏｎ）によって進行することが思い起こされるであろう。この予測補正は、前のピクセルのモーション・ベクトルの値、または議論されるピクセルに隣接するピクセルのモーション・ベクトルの線形結合に基づいてよい。そのとき補正は勾配降下法によるＤＦＤ（Ｄｉｓｐｌａｃｅｍｅｎｔ Ｆｒａｍｅ Ｄｉｉｆｆｅｒｅｎｃｅ）の最小化に基づく。
【００１４】
この従来技術の欠点は、カッフォリオ（ＣＡＦＦＯＲＩＯ）とロッカ（ＲＯＣＣＡ）により実施されたアルゴリズムは再帰的方向（ｒｅｃｕｒｓｉｖｅ ｄｉｒｅｃｉｔｉｏｎ）と推定されるべき変位の方向とが大きく相互作用することに悩まされることである。
【００１５】
この効果を克服するため、４つの別個の再帰的方向を使用することが考えられた。結果、擾乱効果は最小化された。しかしながら、このテックニックの性能は不十分のままである。
【００１６】
ジャック・ニエグロフスキ（Ｊａｃｋ ＮＩＥＷＥＧＬＯＷＳＫＩ）は（ＩＥＥＥ・ＩＣＡＳＳＰ’９４での「デジタルイメージワーピングを使用するモーション補正されたビデオ補間（ＭＯＴＩＯＮ Ｃｏｍｐｅｎｓａｔｅｄ Ｖｉｄｅｏ Ｉｎｔｅｒｐｏｌａｔｉｏｎ Ｕｓｉｎｇ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｗａｒｐｉｎｇ）」において）「ブロック・マッチング（ｂｌｏｃｋ ｍａｔｃｈｉｎｇ）」として知られている改良されたテクニックと組み合わせた、幾何学的変換の使用に基づく方法を提案している。
【００１７】
この種の方法は、スケールの変更を考慮するために使用することができるが、しかし幾何学的変換とブロック・マッチングの間の無相関（ｄｅｃｏｒｒｅｌａｔｉｏｎ）のために頑健性（ｒｏｂｕｓｔｎｅｓｓ）が低いという欠点がある。
【００１８】
その後、Ｑ．ワン（Ｑ．ＷＡＮＧ）とＬ．Ｊ．クラーク（Ｌ．Ｊ．ＣＬＡＲＫ）（１９９２年４月発行の画像通信（Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）第４巻第２号１６１−１７４ページに記載された「イメージ・シーケンス符号化のためのモーション推定と補正（Ｍｏｔｉｏｎ ａｎｄ Ｃｏｍｐｅｎｓａｔｉｏｎ ｆｏｒ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅ Ｃｏｄｉｎｇ）」において）は先験的定義モデル（ａ ｐｒｉｏｒｉ ｄｅｆｉｎｅｄ ｍｏｄｅｌ）によりイメージのどの領域のモーションもモデリングすることに基づいたパラメトリカル・アルゴリズムを実行することを考えた。
【００１９】
この従来技術の欠点は、モーションが重い領域の推定に適さないということである。
【００２０】
これらのモーション推定テクニックが遭遇する異なった問題を克服するために、Ｌ．ボロクスキ（Ｌ．Ｂｏｒｏｃｓｋｙ）とＰ．シラグ（Ｐ．Ｃｓｉｌｌａｇ）により（１９９４年１０月にスペインのヴィーゴ（Ｖｉｇｏ）で開催された最終ワークショップ１６３−１６６ページに記載された「ウェーブレット・ビデオ符号化とフレーム補間のための多重解像度モーションフィールド推定（Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ ｍｉｔｉｏｎ ｅｓｔｉｍｔｉｏｎ ｆｏｒ Ｗａｖｅｌｅｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ａｎｄ Ｆｒａｍｅ Ｉｎｔｅｒｐｏｒｌａｔｉｏｎ）」において）記述されたような階層的モーションの推定ためのアルゴリズムを実行することが提案されている。
【００２１】
既に述べた従来技術のモーション推定方法のような、この種の階層的モーション推定アルゴリズムは、議論されるビデオシーケンスのイメージ内にあるオクルージョン（ｏｃｃｌｕｓｉｏｎ）ゾーン（メッシュのクラウディング（ｃｒｏｗｄｉｎｇ）、コンシールメント（ｃｏｎｃｅａｌｍｅｎｔ）またはアンカバリング（ｕｎｃｏｖｅｒｉｎｇ）ゾーン）の検出の問題が伴う。実際、異なった面や対象が場面において重なると、オクルージョン・ゾーンが現れ、そのイメージに付随するメッシュ内に不連続なラインが生成される。
【００２２】
イメージ内におけるオクルージョン・ゾーンの発生と／または消滅を管理するために最も一般的に使用されるテクニックでは、レイトレーシング（ｒａｙｔｒａｃｉｎｇ）が使用される。こうしたテクニックでは、イメージを構成するピクセル（構成ピクセル）のそれぞれにこのピクセルに付随するモーション・ベクトルに関係するラベルが結びつけられる。
【００２３】
こうして、少なくとも二つのモーション・ベクトルを受け取るピクセルは、それがシーケンスの前のイメージに存在する少なくとも二つのピクセルをカバーすることを意味するラベル「オクルージョン（ｏｃｃｌｕｓｉｏｎ）」を持ち運ぶ。唯一つのモーション・ベクトルを受け取るピクセルは、それが前のイメージと現在のイメージに存在することを示すラベル「正常（ｎｏｒｍａｌ）」を持ち運ぶ。最後に、全くモーション・ベクトルを受け取らないピクセルは、それがイメージのアンカバリング・ゾーン（ｕｎｃｏｖｅｒｉｎｇ ｚｏｎｅ）に属することを示すために、ラベル「ギャップ（ｇａｐ）」を持ち運ぶ。
【００２４】
この種のテクニックは１９９３年１２月発行のジャーナル「ビジュアル通信と画像表現」（Ｊｏｕｒｎａｌ ｏｆ ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）第４巻第４号３９２−４０６ページに記載されたＪ．リアバス・コーベラ（Ｊ．Ｒｉｂａｓ−Ｃｏｒｂｅｒａ）とＪ．スクランスキ（Ｊ．Ｓｋｌａｎｓｋｙ）の「フレーム間補間（Ｉｎｔｅｒｆｒａｍｅ Ｉｎｔｅｒｐｏｒａｔｉｏｎ）」と仏国レンヌ（ｒｅｎｅ）に所在するトムソンＣＳＦ／研究所エレクトロニクス社（Ｔｈｏｍｓｏｎ−ＣＳＦ／Ｌａｂｏｒａｔｏｉｒｅｓ ｅｌｅｃｔｒｏｎｉｑｕｅ）のＢ．シュポー（Ｂ．Ｃｈｕｐｅａｕ）とＰ．サルモン（Ｐ．Ｓａｌｍｏｎ）による「改良されたスローモーションのためのモーション補正補間（Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｎｇ Ｉｎｔｅｒｐｏｒｌａｔｉｏｎ ｆｏｒ Ｉｍｐｒｏｖｅｄ Ｓｌｏｗ Ｍｏｔｉｏｎ）」に記述されている。
【００２５】
しかしながら、この従来のテクニックはこのラベル情報を補間イメージ（ｉｎｔｅｒｐｏｌａｔｅｄ ｉｍａｇｅ）を帰納的補正するためだけに利用するが、しかし、そうしたイメージを構築することを可能にするモーション推定の間にそれらを考慮することはしない。
【００２６】
本発明は、特に従来技術のこれらの欠点を克服することを目的とする。
【００２７】
特に、本発明の目的は、動画シーケンスにおける前のイメージと後のイメージとの間に補間されるイメージを構築して、そのシーケンスが表示されている間の流れの印象を改善するためのテクニックを提供することにある。
【００２８】
本発明の別の目的は、補間イメージを構築するための実施が単純でかつコストが低いテクニックを提供することにある。
【００２９】
本発明の更に別の目的は、ロバストな補間イメージを構築するための動きが重い領域に適合したテクニックを提供することにある。
【００３０】
本発明の目的は、ビデオ・シーケンス内に補間されるイメージを構築して、そのシーケンスのイメージに付随するメッシュ内のオクルージョン・ゾーン（リバーサル・ゾーン（ｒｅｖｅｒｓａｌ ｚｏｎｅ）、アンカバリング・ゾーン（ｕｎｃｏｖｅｒｉｎｇ ｚｏｎｅ）、クラウディング・ゾーン（ｃｒｏｗｄｉｎｇ ｚｏｎｅ））に対応するオブジェクトの発生及び／または消滅の管理を可能にするテクニックを提供することにもある。
【００３１】
本発明の別の目的は、補間イメージを構築して、記憶容量が限られた端末を持つユーザが流動的なビデオ・シーケンスを見ることができるようにするためのテクニックを提供することにある。
【００３２】
本発明の更に別の目的は、補間イメージを構築して、ユーザが流動的なビデオ・シーケンスを、それが伝送されるネットワークの帯域幅が飽和状態にあるにも関わらず、見ることができるようにするためのテクニックを提供することにある。
【００３３】
本発明の目的は、任意の符号器及び／または復号器と一体化されて、特に流動性の点でその性能を改善する補間イメージを構築するためのテクニックを提供することにある。
【００３４】
これらの目的並びに以下ここに現れる他の目的は、動画シーケンスの前のイメージと後のイメージとの間に補間される少なくとも一つイメージを構築するための方法によって達せられる。
【００３５】
本発明によれば、この種の方法は、オクルージョン情報と称される、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮する。
【００３６】
従って、本発明は動画シーケンス内にイメージを補間するとういう全体的に新規かつ創意あるアプローチに基づくものである。実際、本発明は特に、シーケンスのイメージに付随するメッシュ内に現れるオクルージョン・ゾーン（すなわちリバーサル・ゾーンまたはアンカバリング・ゾーン（ｒｅｖｅｒｓａｌ ｏｒ ｕｎｃｏｖｅｒｉｎｇ ｚｏｎｅｓ））の管理に基づく。
【００３７】
それ故に本発明によれば、シーケンスの２つの与えられたイメージの間に補間される中間イメージを生成して、そうしたイメージ内にある一つ以上のオクルージョン・ゾーンの存在により持ち込まれる偽物（ａｒｔｉｆａｃｔｓ）または不連続なラインを抑えることによって、動画シーケンスのビジュアル的な流動性を大きく改善することが可能となる。
【００３８】
有利には、前記シーケンスのイメージはメッシュ（ｍｅｓｈ）に付随する。
【００３９】
実際、メッシュは、特にビジュアル的な現実の場面において、オブジェクトの表現媒体をだんだんと構成する。つまり、それらはこの種の場面を記述する情報のクォリティの主な部分を表現する。従来的に、メッシュは位相を決める１セットの頂点及び面（または１セットの頂点、辺と向き）で構成される。
【００４０】
この種のメッシュは、それに関連するイメージからモーション推定することを可能にする、例えばフラットなメッシュまたは他のタイプのメッシュであってよい。
【００４１】
本発明の有利な特性によれば、前記メッシュはメッシュ・ピラミッド（ｍｅｓｈ ｐｙｒａｍｉｄ）内に少なくとも二つの入れ子状メッシュ・レベル（ｎｅｓｔｅｄ ｍｅｓｈ ｌｅｖｅｌｓ）を有する階層型メッシュ（ｈｉｅｒａｒｃｈｉｃａｌ ｍｅｓｈ）である。
【００４２】
このことを図１を参照して説明すると、入れ子状階層型メッシュ１１を使用することにより、ロバストな符号化を得ることが可能になり、かつ情報の伝送及び／または記憶にかかるコストが減る。実際、メッシュ内の親ノード（ｐａｒｅｎｔ ｎｏｄｅ）によって運ばれる情報と子ノード（ｄａｕｇｈｔｅｒ ｎｏｄｅｓ）によって運ばれる情報との間の高い相関が存在する。従来的に、メッシュ・ピラミッドの最高レベル（イメージの粗いメッシュに対応する）に属するノード１２、１３の値は、例えば符号器への伝送及び／またはデータ・キャリア１５への記憶を目的として、定量化される。それとは対照的に、メッシュ・ピラミッドの下位レベル（イメージの細かいメッシュに対応する）について、図１に示されているように、子ノード１４の差分値だけが伝送及び／または記憶を目的として定量化される。
【００４３】
有利なテクニックによれば、前記オクルージョン情報は前記前のイメージと前記後のイメージとの間のモーションの前方推定及び／または後方推定のステップを実行することにより決定される。
【００４４】
前方モーション推定ステップの実行は、瞬間ｔ１における第１のイメージを代表するメッシュの頂点に付随する１セットのモーション・ベクトルを決定して、次の瞬間ｔ２における第２のイメージに付随するメッシュの構築を可能とする。こうしたステップにより特に、瞬間ｔ１と瞬間ｔ２におけるイメージの間でオブジェクトの少なくとも部分な消滅を検出することが可能となる。
【００４５】
同様に、先行推定（ｅａｌｉｅｒ ｅｓｔｉｍａｔｉｏｎ）ステップの実行により、前の瞬間ｔ１におけるイメージを得るために瞬間ｔ２におけるイメージに付随するメッシュの頂点にあてがわれるべきモーション・ベクトルを決めることが可能となり、瞬間ｔ１と瞬間ｔ２におけるイメージの間のオブジェクトの起こりうる出現を検出することもできるようになる。
【００４６】
それ故に、オブジェクトの消滅をもしあれば検出するために前方推定ステップを、または、オブジェクトの出現をもしあれば検出するために後方推定ステップを、実行することを考えることは可能である。前方推定ステップと後方推定ステップをジョイントできる能力によって、オブジェクトの消滅または出現に関連するメッシュのリバーサル（ｒｅｖｅｒｓａｌ）またはアンカバリング（ｕｎｃｏｖｅｒｉｎｇ）に対応するどんなオクルージョン・ゾーンの存在も検出することが可能となる。
【００４７】
好ましくは、前記前のイメージ内（または前記後のイメージ内）に少なくとも一つのオクルージョン情報が存在するとき、この種の方法は、
各オクルージョン・ゾーンについて、前記前のイメージ（または前記後のイメージ）において、前記オクルージョン・ゾーンに対応する少なくとも一つのメッシュポイントを包含する、包含領域と称される前記メッシュの一領域を除外して近似的な前のイメージ（または近似的な後のイメージ）を取得するステップと、
前記近似的な前のイメージ（前記近似的な後のイメージ）から近似的な後のイメージ（近似的な前のイメージ）を取得することを可能にする前方モーション・ベクトル（後方モーション・ベクトル）と称されるモーション・ベクトルを決定するための前方推定（または後方推定）ステップと、
【００４８】
前記近似的な前のイメージ（前記近似的な後のイメージ）と前記前方モーション・ベクトル（前記後方モーション・ベクトル）とから中間的なイメージを構築するためのステップと、を含む。
【００４９】
実際、オクルージョン・ゾーンの存在により、シーケンスの２つの与えられたイメージの間のモーション推定の計算に誤差（エラー）が導入されることがある。近似的なイメージはしかして構築される。この近似的なイメージは、或る与えられたイメージから、少なくとも一つのオクルージョン・ゾーンに対応するメッシュの少なくとも一つの領域を除外することによって得られる。
【００５０】
この方法ではそれ故に、議論される瞬間ｔ１とｔ２に対応する２つのイメージの間の予測誤差を最小化するために、不完全なゾーン（すなわち少なくとも一つメッシュを逆に含むゾーン）を除外した後に瞬間ｔ１と瞬間ｔ２との間のモーションの新たな推定が実行される。
【００５１】
近似的なイメージから作られるこの新たな推定はイメージの連続ゾーンに対する最適なモーション・ベクトルを決定するために使用され（すなわち瞬間ｔ１と瞬間ｔ２との間の一対一対応を仮定）、従ってモーション推定の間に得られるモーション・ベクトルの値が不連続なゾーンの存在によって擾乱されることが防止される。
【００５２】
本発明の有利な特性によれば、前記包含領域は前記オクルージョン・ゾーンに関して半径ｋ（ｋ≧１）の円盤（ｋ円盤）である。
【００５３】
オクルージョン・ゾーンに関する半径ｋの円盤の定義が思い起こされるかもしれない。オクルージョン・ゾーンの半径１の円盤はオクルージョン・ゾーンそれ自体である。ｋ＞１の任意の値について、オクルージョン・ゾーンの半径ｋの円盤は、そのオクルージョン・ゾーンを含んでおりかつ議論されるオクルージョン・ゾーンの縁（ｂｏｒｄｅｒ）からｋ−１個の辺（ｋ−１ ｅｄｇｅｓ）から成る最大距離に位置する境界を有する領域に対応する。
【００５４】
好ましくは、前記構築ステップは、１未満のスカラー値の重みが掛けられた前記前方モーション・ベクトル（または前記後方モーション・ベクトル）を前記近似的な前のイメージ（前記近似的な後のイメージ）に適用する。
【００５５】
実際、モーションの前方及び／または後方推定のステップにより、前のイメージから後のイメージまでパスするために使用される全てのモーション・ベクトルを決定することが可能となる。前のイメージと後のイメージとの間で構築されるべき中間イメージの時間的ポジションに応じて、これらのベクトルは０乃至１の範囲のスカラー値で重み付けされる。
【００５６】
本発明の第１の有利な代替的な態様によれば、このタイプの方法は前記中間イメージに付随するメッシュを再構築するステップを具備し、この再構築ステップでは、各オクルージョン・ゾーンについて、前記補間イメージを取得するため、前記包含領域に対応する前記メッシュの一部に付随する比色（ｃｏｌｏｒｉｍｅｔｒｉｃ）情報及び／または光度（ｐｈｏｔｏｍｅｔｒｉｃ）情報を決定するためのステップを実行する。
【００５７】
つまり補間イメージは先に得られた中間イメージから、包含領域に付随する光度及び／または比色情報を決定することにより再構築される。
【００５８】
この種の決定ステップは、仏国特許文書ＦＲ−９８ １２５２５「Ｐｒｏｃｅｄｅ ｄｅ ｃｏｄａｇｅ ｄ’ｉｍａｇｅ ｆｉｘｅｓ ｏｕ ａｎｉｍｅｅｓ ａｖｅｃ ｒｅｄｕｃｔｉｏｎ ｅｔ ａｄａｐｔｉｏｎ ｄｕ ｄｅｂｉｔ」（「ビットレートが減少かつ適合した動画符号化方法」）に提案されたアプローチに従って実施されてよい。
【００５９】
この特許文書の目的は、デジタルイメージを符号化するための方法であって、このイメージを表すその長さが望ましい表現の関数であるビットストリームを生成することを目的とする。この方法は、
符号化されるべきイメージの或るドメイン上において複数の入れ子状メッシュから構成され、そのメッシュポイントの頂点が前記イメージのピクセルであってよい、階層型メッシュを定義するステップと、
各メッシュレベルで、輝度（ｌｕｍｉｎａｎｃｅ）、比色（ｃｈｒｏｍｉｎａｎｃｅ）、位置（ｐｏｓｉｔｉｏｎｓ）を最適化するステップと、
前記階層型メッシュの各メッシュポイントについて、符号化されるイメージと議論されるメッシュポイントが属する入れ子状メッシュの頂点から得られる補間イメージとの間の輝度の差を決定摺るステップと、
ビットストリームに、輝度の差が或る閾差を超えたメッシュポイントの頂点の位置、輝度と比色（ｃｒｏｍｉｎａｎｃｅ）の値（有利には前の階層レベルに関して区別をつけて符合化される）を導入するステップと、を含む。
【００６０】
このテクニックによれば、メッシュステップの最後に、４点ツリー構造（ｑｕａｔｅｒｎａｒｙ ｔｒｅｅ ｓｔｒｕｃｔｕｒｅ）が構築される。階層型メッシュに付随するこのツリー構造はメッシュポイントの頂点の値（色と位置）を操作するために構築される。このツリーは対応するメッシュレベルの三角形の数に等しいノード数を有する。ツリーの各ノードは階層型メッシュのただ一つの三角形に関係する。
【００６１】
このツリーが構築されるとすぐに、伝送かつ／または記憶されるイメージを表すビットストリームに導入するためのツリーのデータが選択される。この選択は望みのクォリティに依存する。
【００６２】
この選択をするために、各三角形について、符号化されるべきイメージと議論されるメッシュポイントが属する入れ子状メッシュの頂点からの補間イメージとの間の輝度の差が計算される。次にこの差は各三角形に対する閾差と比較される。この閾差の値は表現の望ましいクォリティの関数である。
【００６３】
次に、その輝度の差が閾差より大きい三角形に関係するツリーの部分がビットストリームに導入される。これにより、そのイメージに関するデータをこれらの異なった三角形部分の局部的なクォリティに応じて伝送することが可能となる。
【００６４】
有利には、前記決定ステップにおいて、第一に有限要素を使用する符号化モデルを実施し、第二に代替的な符号化モデルを実施する。
【００６５】
実際、階層的符号化、例えば仏国特許出願ＦＲ９８ １２５２５に記述されたこの種の符号化が実施され、イメージの一部がかなりざらつきがあるときは、十分なクォリティの輝度及び／比色情報を取得するために多数のメッシュレベルが用意されることが必要である。この場合、階層的符号化の効率は低い。言い換えると、階層的符号化は比較的滑らかなイメージに良く適合するが、しかし、かなりざらつきのある（ｈｉｇｈｌｙ ｔｅｘｔｅｒｅｄ）部分を持つイメージには適合しない。
【００６６】
それ故に新規なアプローチが考えられた。このアプローチは、例えばＦＲ９９ ０６８１５（Ｐｒｏｃｅｄｅ ｄｅ ｃｏｄａｇｅ ｈｉｅｒａｒｃｈｉｑｕｅ ｅｔ ｍｉｓｅ ｅｎ ｏａｕｖｒｅ ｓｅｌｅｃｔｉｖｅ ｄ’ｕｎ ｃｏｄａｇｅ ａ ｂｓａｅ ｄｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｒｅｖｅｒｓｉｂｌｅ， ｅｔ ｐｒｏｃｅｄｅ ｄｅ ｄｅｃｏｄａｇｅ ｃｏｒｒｅｓｐｏｎｄａｎｔ）の「階層的符号化の方法と可逆変換に基づく符号化の選択的実施、及び対応する復号化の方法（Ｍｅｔｈｏｄ ｏｆ ｈｉｅｒａｃｈｉｃａｌ ｅｎｃｏｄｉｎｇ ａｎｄ ｓｅｌｅｃｔｉｖｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ａｎ ｅｎｃｏｄｉｎｇ ｂａｓｅｄ ｏｎ ｒｅｖｅｒｓｉｂｌｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ， ａｎｄ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｄｅｃｏｄｉｎｇ ｍｅｔｈｏｄ）」に記述されている。符号化されるべきイメージを符号化するためのこうした方法は、
少なくとも２つの入れ子状メッシュ・レベルが頂点（符号化されるべきイメージのピクセルであってよい）によって定められたメッシュポイントによって形成された階層型メッシュ（ｈｉｅｒａｒｃｈｉｃａｌ ｍｅｓｈ）を定義するステップと、
前記メッシュポイントのそれぞれについて、符号化されるべきイメージと議論されるメッシュポイントのメッシュレベルに属するメッシュポイントの頂点から得られる補間イメージとの間の誤差についての一片の情報を決定するステップと、
第１の所定の閾値を下回る一片の誤差情報を有するメッシュポイントの細分を停止するステップと、
第２の所定の閾値を上回る一片の誤差情報を有するメッシュポイントに対して特定の符号化を実施するステップと、
前記第１の所定の閾値を上回りかつ前記第２の所定の閾値を下回る一片の誤差情報を有するメッシュポイントの細分を継続するステップと、
を含む。
【００６７】
こうして、本発明の文脈において有利であることが判明したこの方法によれば、２つの別個の符号化方式が選択的に使用される。階層的符号化または入れ子状メッシュ符号化、は、主要な符号化または基本的な符号化であるが、しかし順序立てて使用されない。つまり、それを必要とするイメージ部分に対して別のより効果的な符号化が使用される。
【００６８】
この特定の符号化を使用する決定は閾値との比較により成される。より具体的には、階層型メッシュを表すツリーの議論される各ノードにおいて、３つの可能性が与えられる。つまり、メッシュポイント（対応するイメージ部分または対応する包含部分について達せられたクォリティが十分である場合）の細分または再分割の停止すること、同じ階層的符号化を維持して次の階層レベルへ進むこと、あるいは別の符号化（特にざらつきの大きな部分により適した符号化）を使用することが挙げられる。
【００６９】
イメージ部分または包含領域の部分の特性に対して符号化の選択をより正確に適合させるためにいくつかの異なるタイプの特定形式の符号化を使用することが可能であることに注意したい。
【００７０】
本発明の第２の有利な代替的な態様によれば、この種の方法は、前記補間イメージを取得するため、前記中間イメージに付随するメッシュを再構築するステップを具備し、該再構築ステップにおいて、各オクルージョン・ゾーンについて、前記包含領域に対応する前記後のイメージに付随するメッシュの一部または前記前のイメージに付随するメッシュの一部を前記中間イメージに付随するメッシュに挿入する。
【００７１】
その結果、中間イメージにおいて、オクルージョン・ゾーンのコンテンツは前のイメージまたは後のイメージの対応するゾーンによって置換される。こうして得られる補間イメージは、前のイメージ（または後のイメージ）に付随するメッシュの変位に対応する補間によって得られる部分と、オクルージョン・ゾーンに対応し後のイメージまたは前のイメージについての情報を含むゾーンによって、構成される。
【００７２】
有利な特性によれば、この種の方法は、各オクルージョン・ゾーンについて、第１の改善された補間イメージを生成するため、前記補間イメージ内の前記包含領域に対応する前記メッシュの一部の少なくとも一つのノードのポジションを最適化して、前記補間イメージと対応する正確なイメージとの間のローカルなモーションを推定するステップを更に具備する。
【００７３】
符号化レベルにおいて、この種のモーションが考慮され、そのモーション推定によって補間イメージとそれに対応する正確なイメージとの間に不連続なゾーンが存在しないこと、特に反転したメッシュが存在しないこと、が決定される場合にのみ符号化される。
【００７４】
有利には、この種のステップは、前記改善された第１の補間イメージと前記対応する正確なイメージとの間の誤差を評価するために誤差イメージを計算するステップを更に具備する。
【００７５】
こうして、補間イメージと対応する正確なイメージとの間のモーション推定によってオクルージョン・ゾーンが存在することが決定されると、誤差計算が実行される。
【００７６】
有利なテクニックによれば、前記誤差は前記誤差イメージの少なくとも一つの領域に対して所定の閾値よりも大きいと、この種の方法では、第２の改善された補間イメージを生成するために前記領域のそれぞれに付随する比色情報及び／または光度情報を決定するステップが実行される。
【００７７】
有利には、前記決定ステップにおいては、第一に有限要素を使用する符号化モデルを実施し、第二に代わりの符号化モデルを実施する。
【００７８】
すでに述べたように、この種の決定ステップは、仏国特許出願ＦＲ９９ ０６８１５（Ｐｒｏｃｅｄｅ ｄｅ ｃｏｄａｇｅ ｈｉｅｒａｒｃｈｉｑｕｅ ｅｔ ｍｉｓｅ ｅｎ ｏａｕｖｒｅ ｓｅｌｅｃｔｉｖｅ ｄ’ｕｎ ｃｏｄａｇｅ ａ ｂｓａｅ ｄｅ ｔｒａ ｓｆｏｒｅｎｍａｔｉｏｎ ｒｅｖｅｒｓｉｂｌｅ ｅｔ ｐｒｏｃｅｄｅ ｄｅ ｃｏｄａｇｅ ｃｏｒｒｅｓｐｏｎｄａｎｔ）の「階層的符号化の方法と可逆変換に基づく符号化の選択的実施、及び対応する復号化の方法（Ｍｅｔｈｏｄｓ ｏｆ ｈｉｅｒａｃｈｉｃａｌ ｅｎｃｏｄｉｎｇ ａｎｄ ｓｅｌｅｃｔｉｖｅ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ａｎ ｅｎｃｏｄｉｎｇ ｂａｓｅｄ ｏｎ ｒｅｖｅｒｓｉｂｌｅ ｔｒａｎｓｆｏｒｍａｔｉｏｎ， ａｎｄ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｄｅｃｏｄｉｎｇ ｍｅｔｈｏｄ）」に説明されている。
【００７９】
本発明の有利な特性によれば、前記決定ステップは、前記誤差イメージからまたは前記対応する正確なイメージから、所定のコスト基準に応じて実行される。
【００８０】
実際、比色及び／または光度情報を決定するステップに先立って、こうしたステップのコストが、第一に誤差イメージから、第二に補間イメージに対応する正確なイメージから、評価される。その後に最もコストのかからない解決法が実行される。
【００８１】
好ましくは、前記メッシュはそれが代表する前記イメージよりも大きなサイズを有する。
【００８２】
この種のテクニックは例えば２０００年６月１３日に本願出願人名義で出願された仏国特許出願ＦＲ００ ０９２７３「イメージ・シーケンスの符号化及び復号化のためのモーション推定量（Ｅａｔｉｍａｔｅｕｒ ｄｅ ｍｏｕｖｅｍｅｎｔ ｐｏｕｒ ｌｅ ｃｏｄａｇｅ ｅｔ ｌｅ ｄｅｃｏｄａｇｅ ｄｅ ｓｅｑｕｅｎｃｅｓ ｄ’ｉｍａｇｅｓ（Ｍｏｔｉｏｎ ｅｓｔｉｍａｔｏｒ ｆｏｒ ｔｈｅ ｅｎｃｏｄｉｎｇ ａｎｄ ｄｅｃｏｄｉｎｇ ｏｆ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ））」に記述されている。この特許出願で説明されているテクニックによれば、それに付随するイメージよりも大きなサイズを有するメッシュを使用することにより、モーション推定とイメージ・シーケンスの符号化及び復号化の補償のテクニックを実施することが可能で、オブジェクトが動いている間にメッシュのアンカバリング（ｕｎｃｏｖｅｒｉｎｇ）とクラウディング（ｃｒｏｗｄｉｎｇ）の管理が可能となる。
【００８３】
本発明によれば、イメージのサイズよりも大きなサイズのメッシュを使用することにより、復号化時のフレームの時間的補間を改良することが可能となる。
【００８４】
本発明は、前のイメージと後のイメージとの間に補間される少なくとも一つのイメージを補間するステップを実行するタイプの、動画シーケンスを符号化するための方法と復号化するための方法にも関係する。
【００８５】
この種の符号化及び復号化の方法において、前記補間ステップは、オクルージョン情報と称される、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮する。
【００８６】
本発明は、前のイメージと後のイメージとの間に少なくとも一つの補間イメージを補間するための手段を備えるタイプの動画シーケンスを表示するための端末において、前記補間手段は、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮することを特徴とする端末にも関係する。
【００８７】
本発明は、動画シーケンスの前のイメージと後のイメージとの間に補間される少なくとも一つのイメージを再構築することを可能にする情報を具備し、前記情報は、前記前のイメージ及び／または前記後のイメージ内における少なくとも一つのオクルージョン・ゾーンの存在に関する情報を考慮している、ことを特徴とするビデオ信号とデータ・キャリアにも関係している。
【００８８】
本発明の他の特徴と利点は、例示的かつ非限定的な例として以下提供される本発明の好ましい実施態様を添付図面を参照しながら説明することにより、より明らかとなる。
【００８９】
本発明の一般原理は、双方向符号化（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ ｅｎｃｏｄｉｎｇ）及び／または復号化の間のフレームの時間的補間の目的で、動画シーケンス内の補間イメージを構築する際にオクルージョン領域を管理することに基づく。
【００９０】
まず図２を参照して説明する。この図は、動画シーケンスの前のイメージと後のイメージとの間に補間されるイメージを構築するための本発明の実施態様における全てのステップを示したブロック図である。
【００９１】
動画シーケンスの２つのイメージが議論される。それらのイメージは２つの連続する瞬間ｔ１とｔ２にあり、それぞれＩ１とＩ２と称される。Ｉ１とＩ２との間の補間イメージＩ’をｔ１とｔ２の間の中間的な瞬間ｔ’において構築することが求められる。
【００９２】
ステップ２１において、イメージＩ２を得るためにＩ１に付随するメッシュ（例えば図１に示されたような階層型メッシュ）のピークにあてがわれるべきモーション・ベクトルを決定するために、イメージＩ１からモーションの前方推定が実行される。もちろんこの種のステップ２１ではイメージＩ２からモーションの後方推定を実行してもよいが、説明を簡単にするために、ステップ２１の間に前方推定を実行する態様のみを説明することに努める。
【００９３】
この種のステップ２１によって、ここではイメージＩ１における一つ以上のオブジェクトの少なくとも部分的な消滅に対応する起こりうるクラウディング（ｃｒｏｗｄｉｎｇ）ゾーンの存在を検出することができる。Ｉ２を得るためにＩ１に付随するメッシュにあてがわれるべきモーションｄを決定することも可能となる。
【００９４】
クラウディング領域が全く存在しないとき、ステップ２２の間に変位ｄ’がＩ１に付随するメッシュにあてがわれる。この変位ｄ’は以下の様に定義される。
【数１】
2004507943.tif 000003
【００９５】
Ｉ２を得るためにＩ１に付随するメッシュにあてがわれるべき変位ｄは、このように０乃至１の範囲にあるスカラー値で重み付けされる。このスカラー値はイメージＩ１とＩ２に関するイメージＩ’の位置に依存する。つまり、イメージＩ１に近い補間イメージを得たい場合は、変位ｄは０に近いスカラー値で重み付けされる。一方、時間的にＩ２に近い補間イメージを得たいなら、変位ｄは１に近いスカラー値で重み付けされる。
【００９６】
ステップ２２の後、望ましい補間イメージＩ’がステップ２３で得られる。
【００９７】
ステップ２１の間に少なくとも一つのクラウディング・ゾーンの存在が検出される場合、ステップ２４において、検出されたクラウディング・ゾーンに対応する包含領域（ｅｍｃｏｐａｓｓｉｎｇ ｒｅｇｉｏｎ）が、このオクルージョン・ゾーンが存在ことによって導入されるであろうモーションの誤差を防止するために、Ｉ１から除外される。結果、近似的なイメージＩ１が得られる。このイメージは少なくとも一つのオクルージョン・ゾーンが除外されたイメージＩ１に対応する。
【００９８】
次にステップ２５の間、イメージの連続ゾーンに対する最適モーション（すなわちｔ１とｔ２の間の一対一対応ベクトル）を決定するためにＩ１の近似値から前方モーション推定が実行される。
【００９９】
次にステップ２１、２４と２５について図３を参照しながらより詳細に説明する。
【０１００】
イメージＩ１からのモーションの前方推定のためのステップ２１の間に、リバーサル・ゾーン（ｒｅｖｅｒｓａｌ ｚｏｎｅ）３１の存在が検出される。ステップ２４の間に、近似的なイメージＩ１を得るために、このリバーサル・ゾーン３１はＩ１から除外される。次いで、Ｉ２を得るためにＩ１に付随するメッシュの頂点にあてがわれるべき最適なモーション・ベクトルを得るために、前方モーション推定２５がこの近似的なイメージＩ１から実行される。
【０１０１】
ステップ２６の間、変位ｄ’が近似的なイメージＩ１に付随するメッシュにあてがわれ、その結果、中間ステップ２７において中間イメージＩ中間が得られる。この種の変位ｄ’はステップ２５で決定される最適変位ｄに０乃至１の範囲にあるスカラー値で重み付けすることによって得られる。これはステップ２２の間に実行されるものに似たテクニックによって成される。
【０１０２】
本発明がフレーム周波数の補間に適用される場合には、ステップ２９１が実行される。このステップでは、ステップ２４の間にＩ１から除外された包含領域に対応する、Ｉ１またはＩ２のゾーンがＩ中間に挿入される。つまり、クラウディング・ゾーンのコンテンツは瞬間ｔ１または瞬間ｔ２の対応するゾーンによって置換される。
【０１０３】
結果、ステップ２９２の間にイメージＩ’が得られる。このイメージは、第一にＩ１に付随するメッシュの変位ｄ’に対応する補間部分によって、第二にオクルージョン・ゾーンに対応しておりイメージＩ１またはイメージＩ２についての情報を含むゾーンの変位によって、構築される。
【０１０４】
本発明が双方向符号化（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ ｅｎｃｏｄｉｎｇ）に適用される場合には、補間イメージＩ’がＩ中間から得れることを可能にする２つの代替的な実施態様を考えることができる。
【０１０５】
第１の実施態様では、ステップ２８１の間に、ステップ２４においてＩ１から除外された包含領域に対応するＩ中間の領域に付随する比色（ｃｏｌｏｒｉｍｅｔｒｉｃ）／光度（ｐｈｏｔｏｍｅｔｒｉｃ）情報が決定される。次いでステップ２８２の間に補間イメージＩ’を得るために、Ｉ中間に付随するメッシュ全体が再構築される。この種のステップ２８１は、例えば仏国特許文書ＦＲ−９８ １２５２５「ビットレートが減少かつ適合した動画符号化方法（Ｐｒｏｃｅｄｅ ｄｅ ｃｏｄａｇｅ ｄ’ｉｍａｇｅ ｆｉｘｅｓ ｏｕ ａｎｉｍｅｅｓ ａｖｅｃ ｒｅｄｕｃｔｉｏｎ ｅｔ ａｄａｐｔｉｏｎ ｄｕ ｄｅｂｉｔ（Ｍｅｔｈｏｄ ｆｏｒ ｔｈｅ ｅｎｃｏｄｉｎｇ ｏｆ ｓｔｉｌｌ ｏｒ ｍｏｖｉｎｇ ｉｍａｇｅｓ ｗｉｔｈ ｒｅｄｕｃｔｉｏｎ ａｎｄ ａｄａｐｔｉｏｎ ｏｆ ｔｈｅ ｂｉｔ ｒａｔｅ））」に提案されたアプローチに従って実施されてよい。
第２の代替的な実施態様では、ステップ２９１の間に、ステップ２４においてＩ１から除外された一つ以上の包含ゾーンに対応するＩ１またはＩ２のゾーンがＩ中間に挿入される。つまり、クラウディング・ゾーンのコンテンツは瞬間ｔ１または瞬間ｔ２の対応するゾーンによって置換される。
【０１０６】
一般に、イメージＩ’は、補間イメージＩ’が全体的にオーバラップすることができるように、前方モーション推定を実行する際にはイメージＩ２のコンテンツを挿入して、そして後方モーション推定を実行する際にはイメージＩ１のコンテンツを挿入することによって得られる。しかしながら特定の場合には、例えばよりクォリティの高いイメージＩ’を得るために、かつ／またはビデオ・シーケンスにより高いビジュアル的流動性を与えるために、後方モーション推定（または前方モーション推定）を行う際にはイメージＩ２（または前方モーション推定に対応してＩ１）のコンテンツを挿入することによりイメージＩ’を構築することが好ましい。
【０１０７】
こうしてステップ２９２においてイメージＩ’が得られる。このイメージＩ’は、第一にＩ１に付随する変位ｄ’に対応する補間部分によって、第二にオクルージョン・ゾーンに対応しておりイメージＩ１またはイメージＩ２についての情報を含むゾーンによって、構築される。
【０１０８】
イメージＩ’の改善された近似を得るために、Ｉ’と対応する正確な補間イメージとの間でモーション推定２９３が行われる。
【０１０９】
結果、ステップ２９４の間に第１の改善された補間イメージＩ’１が得られる。ステップ２９５の間に、改善されたイメージＩ’１と対応する正確な補間イメージとの間の誤差イメージが計算される。
【０１１０】
誤差が小さい場合（例えば所定の誤差閾値を下回る場合）、ステップ２９８においてイメージＩ’１が動画シーケンスのイメージＩ１とＩ２との間に挿入される。
【０１１１】
一方、誤差が大きい場合で、その誤差が誤差イメージの少なくとも特定の部分について所定の閾値を上回る場合、ステップ２９６において誤差が大きいイメージの部分に付随する比色／光度情報が決定される。
【０１１２】
再び、このようなステップ２９６は、例えば仏国特許文書ＦＲ−９８ １２５２５「ビットレートが減少かつ適合した動画符号化方法（Ｐｒｏｃｅｄｅ ｄｅ ｃｏｄａｇｅ ｄ’ｉｍａｇｅ ｆｉｘｅｓ ｏｕ ａｎｉｍｅｅｓ ａｖｅｃ ｒｅｄｕｃｔｉｏｎ ｅｔ ａｄａｐｔｉｏｎ ｄｕ ｄｅｂｉｔ（Ｍｅｔｈｏｄ ｆｏｒ ｔｈｅ ｅｎｃｏｄｉｎｇ ｏｆ ｓｔｉｌｌ ｏｒ ｍｏｖｉｎｇ ｉｍａｇｅｓ ｗｉｔｈ ｒｅｄｕｃｔｉｏｎ ａｎｄ ａｄａｐｔｉｏｎ ｏｆ ｔｈｅ ｂｉｔ ｒａｔｅ））」に記述されたテクニックに従って実行されてよい。
【０１１３】
次いでステップ２９７の間に、イメージ・シーケンスのイメージＩ１とイメージＩ２との間に補間されるべき第２の改善された補間イメージＩ’２が得られる。
【０１１４】
符号化レベルにおいて、符号器によって必要とされる情報は、Ｉ’と対応する正確なイメージとの間のモーション推定と、必要ならば局部的な誤差補正に付随する比色／光度情報とに対応するモーション・ベクトルｄ＊に対応する。
【０１１５】
ステップ２３、２８２、２９４または２９７のいずれかの最後に得られる改善された補間イメージＩ’、Ｉ’１または改善されたイメージＩ’２は、図４に示されているように、動画シーケンスの２つの連続するイメージの間に挿入することができる。
【０１１６】
こうして、例えばシーケンス４０の復号化において、復号器はできる限り符号器によって伝送された情報から補間イメージ４３を構築して、それをシーケンス４０のビジュアル的流動性を高めるために２つのイメージ４１と４２との間に挿入する。
【図面の簡単な説明】
【図１】入れ子状三角形階層型メッシュの一例を示した図である。
【図２】動画シーケンスにおける前のイメージと後のイメージとの間の補間イメージを構築するために実行される本発明における全てのステップを示したブロック図である。
【図３】図２に示されたステップ１１、１４と１５をより詳細に説明するための図である。
【図４】本発明をフレームの時間的補間に適用した場合の一例を示した図である。
【図１】
2004507943.tif 000004
【図２】
2004507943.tif 000005
【図２Ａ】
2004507943.tif 000006
【図２Ｂ】
2004507943.tif 000007
【図３】
2004507943.tif 000008
【図４】
2004507943.tif 000009
【国際公開パンフレット】
2004507943.tif 000010
2004507943.tif 000011
2004507943.tif 000012
2004507943.tif 000013
2004507943.tif 000014
2004507943.tif 000015
2004507943.tif 000016
2004507943.tif 000017
2004507943.tif 000018
2004507943.tif 000019
2004507943.tif 000020
2004507943.tif 000021
2004507943.tif 000022
2004507943.tif 000023
2004507943.tif 000024
2004507943.tif 000025
2004507943.tif 000026
2004507943.tif 000027
2004507943.tif 000028
2004507943.tif 000029
2004507943.tif 000030
2004507943.tif 000031
2004507943.tif 000032
2004507943.tif 000033
2004507943.tif 000034
2004507943.tif 000035
2004507943.tif 000036
2004507943.tif 000037
2004507943.tif 000038
2004507943.tif 000039
2004507943.tif 000040
2004507943.tif 000041
2004507943.tif 000042
【国際調査報告】
2004507943.tif 000043
2004507943.tif 000044
2004507943.tif 000045
2004507943.tif 000046
2004507943.tif 000047
2004507943.tif 000048