(57)【要約】【課題】パッチベースのサンプリングテクスチャ合成を使用したテクスチャ圧縮方法と装置が提供される。【解決手段】装置は、テクスチャを合成することによってピクチャのテクスチャをエンコーディングするエンコーダを含む。当該エンコーダは、パッチベースのサンプリング方法を使用してテクスチャ合成を実行し、入力サンプルテクスチャ内の合成されるべきパッチの位置を示す「変位ベクトル」を判定する。エンコーダにおいて、入力サンプルテクスチャ、及び「変位ベクトル」を示す情報の両方がコーディングされる。デコーダにおいて、当該「変位ベクトル」を直接的に使用することによって新しいパッチが生成される。【選択図】図５
2014180043.tif 000002
【特許請求の範囲】
【請求項１】
テクスチャを合成することによってピクチャのテクスチャをエンコーディングするエンコーダ（３００）を含む装置であって、前記エンコーダは、パッチベースのサンプリング方法を使用して前記テクスチャを合成する場合に、デコーディング操作を前記エンコーダに移動させる情報を使用する、前記装置。
【請求項２】
前記情報が、前記ピクチャの前記テクスチャをデコーディング可能なデコーダにおいて、対応するテクスチャリージョン検索を実行するデコーディング操作を除去する、少なくとも１つの入力テクスチャ空間変位ベクトルを含む、請求項１に記載の装置。
【請求項３】
前記ピクチャが複数のリージョンを含み、
前記エンコーダが、前記複数のリージョンのどれがテクスチャリージョンとしてコーディングされるかを信号伝達する、請求項１に記載の装置。
【請求項４】
前記テクスチャは、前記ピクチャから取得された入力サンプルテクスチャであり、
前記エンコーダ（３００）は、前記情報及び前記入力サンプルテクスチャをエンコーディングする、請求項１に記載の装置。
【請求項５】
前記情報は、対応するデコーダにおける前記ピクチャのテクスチャリージョン内へのテクスチャパッチの直接的な貼り付けをサポートするように構成されている、請求項１に記載の装置。
【請求項６】
前記テクスチャが前記ピクチャから取得された入力サンプルテクスチャであり、
前記エンコーダ（３００）は、前記入力サンプルテクスチャから複数のテクスチャパッチを選択し、デブロッキングフィルタリング及びぼかしのうちの少なくとも一方を使用して前記複数のテクスチャパッチのうちの個々のテクスチャパッチの重なり合う境界ゾーン内の遷移をスムージングする、請求項１に記載の装置。
【請求項７】
テクスチャを合成することによってピクチャのテクスチャをエンコーディングするステップを含む方法であって、前記エンコーディングステップが、パッチベースのサンプリング方法を使用して前記テクスチャの合成をする場合に、デコーディング操作をエンコーダに移動させる情報を使用する、前記方法（５００）。
【請求項８】
前記情報が、前記エンコーダにテクスチャリージョン検索を実行させる少なくとも１つの入力テクスチャ空間変位ベクトル（５３０）を含む、請求項７に記載の方法。
【請求項９】
前記ピクチャが複数のリージョンを含み、
前記方法が、前記複数のリージョンのどれがテクスチャとしてコーディングされるかを信号伝達するステップ（５２０）を更に含む、請求項７に記載の方法。
【請求項１０】
前記テクスチャが、前記ピクチャから取得された入力サンプルテクスチャであり、
前記エンコーディングステップが、前記情報及び前記入力サンプルテクスチャをエンコーディングするステップ（５２０、５３５）を含む、請求項７に記載の方法。
【請求項１１】
前記情報が、対応するデコーダにおける前記ピクチャのテクスチャリージョン内へのテクスチャパッチの直接的な貼り付け（５３０）をサポートするように構成されている、請求項７に記載の方法。
【請求項１２】
前記テクスチャが前記ピクチャから取得された入力サンプルテクスチャであり、
前記エンコーディングステップが、さらに、
前記入力サンプルテクスチャから複数のテクスチャパッチを選択するステップ（５２５）と、
デブロッキングフィルタリング及びぼかしのうちの少なくとも一方を使用して前記複数のテクスチャパッチのうちの個々のテクスチャパッチの重なり合う境界ゾーン内の遷移をスムージングするステップ（５５０）と、
を含む、請求項７に記載の方法。
【請求項１３】
テクスチャを合成することによってピクチャのテクスチャをデコーディングするデコーダ（４００）を含む装置であって、
前記デコーダが、パッチベースのサンプリング方法を使用して前記テクスチャを合成する場合にデコーディング操作を前記デコーダからエンコーダに移動させる情報を使用する、前記装置。
【請求項１４】
前記情報が、前記デコーダにおける対応するテクスチャリージョン検索を除去する少なくとも１つの入力テクスチャ空間変位ベクトルを含む、請求項１３に記載の装置。
【請求項１５】
前記ピクチャが複数のリージョンを含み、
前記デコーダ（４００）が、受信した信号に基づいて、前記複数のリージョンのどれが前記テクスチャとしてコーディングされるかを判定する、請求項１３に記載の装置。
【請求項１６】
前記テクスチャが前記ピクチャから取得された入力サンプルテクスチャであり、
前記デコーダ（４００）が、前記情報及び前記入力サンプルテクスチャをデコーディングする、請求項１３に記載の装置。
【請求項１７】
前記情報が、前記デコーダにおける前記ピクチャのテクスチャリージョン内へのテクスチャパッチの直接的な貼り付けをサポートするように構成されている、請求項１３に記載の装置。
【請求項１８】
前記テクスチャが前記ピクチャから取得された入力サンプルテクスチャであり、
前記デコーダ（４００）は、前記入力サンプルテクスチャから複数のテクスチャパッチを選択し、デブロッキングフィルタリング及びぼかしのうちの少なくとも一方を使用して前記複数のテクスチャパッチのうちの個々のテクスチャパッチの重なり合う境界ゾーン内の遷移をスムージングする、請求項１３に記載の装置。
【請求項１９】
テクスチャを合成することによってピクチャのテクスチャをデコーディングするステップを含む方法であって、
前記デコーディングステップは、パッチベースのサンプリング方法を使用して前記テクスチャを合成する場合に、デコーディング操作がエンコーダに移動された操作から生成された情報を使用する、前記方法（６００）。
【請求項２０】
前記情報は、対応するテクスチャリージョン検索を除去する少なくとも１つの入力テクスチャ空間変位ベクトル（６２０）を含む、請求項１９に記載の方法。
【請求項２１】
前記ピクチャが複数のリージョンを含み、
前記方法が、前記情報に基づいて、前記複数のリージョンのどれがテクスチャリージョンとしてコーディングされるかを判定するステップ（６１０）を更に含む、請求項１９に記載の方法。
【請求項２２】
前記情報が、前記デコーディングステップの間に前記ピクチャのテクスチャリージョン内にテクスチャパッチを直接的に貼り付ける（６２５）ことをサポートするように構成されている、請求項１９に記載の方法。
【請求項２３】
前記テクスチャが前記ピクチャから取得された入力サンプルテクスチャであり、
前記デコーディング方法が、さらに、
前記入力サンプルテクスチャから複数のテクスチャパッチを選択するステップ（６２５）と、
デブロッキングフィルタリング及びぼかしのうちの少なくとも一方を使用して前記複数のテクスチャパッチのうちの個々のテクスチャパッチの重なり合う境界ゾーン内の遷移をスムージングするステップ（６３０）と、
を含む、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全体としてビデオコーディング及びデコーディングに関し、特に、テクスチャ圧縮の方法及び装置に関する。
【背景技術】
【０００２】
多くのイメージ及びビデオコーディング規格、勧告、及びそれらの拡張（本明細書においては、以下まとめてビデオコーディング規格と称する）が存在しているが、テクスチャ圧縮は、十分に開発されていない技術である。第一に、現在のビデオコーディング規格のほとんどは、変形ベースの方法を使用して、ビデオピクチャをエンコーディングする。特定のビデオピクチャのテクスチャの詳細を保存するために、このような方法は、非常に多くのビットを必要とする。特に、イメージが大きなテクスチャ背景を含んでいる場合にそうである。
【０００３】
一般的に、イメージエリアは、フラットリージョン、エッジリージョン、またはテクスチャリージョンに分類可能である。現在のビデオコーディング規格の多くは、このようなピクチャ内に含まれるリージョンのタイプに関わらず、一般的にビデオピクチャに適用される変換ベースの方法を採用する。このような変換ベースの方法が、ビデオピクチャのテクスチャリージョンに適用される場合、フィルタリング等の操作を通して後に処分される一連の高周波成分が生成される。従って、圧縮の間にテクスチャの詳細を保存するのは非常に難しい。なぜならば、このようなリージョンは、通常はこのような高周波成分に関連し、このようなテクスチャリージョンを反映しているからである。
【０００４】
テクスチャ合成は、コンピュータビジョン（computer vision）及びコンピュータグラフィクスアプリケーションの両方において使用され、その高い複雑性故に、テクスチャ合成は、イメージ及びビデオ圧縮操作に頻繁には使用されない。テクスチャ合成に関する方法によれば、テクスチャは、ある程度の固定した分布を有する有限二次元（２Ｄ）平面上のいくつかの視覚的パターンとして定義され得る。テクスチャ合成の目的は、以下に説明される：特定のテクスチャサンプルが与えられた場合、人間の監視者によって受け取られた場合に、当該テクスチャサンプルと同じ潜在する確率論的な処理によって生成されるようにみえる新しいテクスチャが合成される。
【０００５】
テクスチャ合成操作を実行する１つの方法は、特徴空間内の全体統計及びテクスチャアンサンブル（ensemble）からのサンプルイメージを直接的に決定する。このテクスチャ合成操作は、モデルベースのコーディングの一形式である。エンコーダにおいて、このようなテクスチャ合成操作を実行するために、イメージは、最初にテクスチャに関して解析され、当該テクスチャのパラメータが評価されてコーディングされる。デコーダにおいて、これらのパラメータは、データビットストリームから抽出され、モデル化されたテクスチャを再構築するために使用される。特に、テクスチャは、抽出されたパラメータからの確率分布を判定することによってデコーダにおいて再構築される。テクスチャ合成のこの方法の欠点は、エンコーダ及びデコーダの両方において、テクスチャを解析及び再構築するために要求される高い複雑性である。
【発明の概要】
【課題を解決するための手段】
【０００６】
従来技術のこれらの及び他の欠点及び短所は、パッチベースのサンプリングテクスチャ合成を使用したテクスチャ圧縮の方法及び装置に関する本発明の原理によって解決される。
【０００７】
本発明の原理の態様によれば、装置が提供される。当該装置は、テクスチャを合成することによってピクチャに関するテクスチャをエンコーディングするエンコーダを含む。当該エンコーダは、パッチベースのサンプリング方法を使用したテクスチャの合成の際にエンコーダにデコーディング複雑性操作を移動させるための情報を使用する。
【０００８】
本発明の原理の他の態様によれば、方法が提供される。当該方法は、テクスチャを合成することによってピクチャに関するテクスチャをエンコーディングするステップを含む。当該エンコーディングステップは、パッチベースのサンプリング方法を使用したテクスチャの合成の際にエンコーダにデコーディング複雑性操作を移動させるための情報を使用する。
【０００９】
本発明の原理のさらに他の態様によれば、装置が提供される。当該装置は、テクスチャを合成することによってピクチャに関するテクスチャをデコーディングするデコーダを含む。当該デコーダは、パッチベースのサンプリング方法を使用したテクスチャの合成の際にエンコーダにデコーディング複雑性操作を移動させるように構成された情報を使用する。
【００１０】
本発明の原理のさらなる態様によれば、方法が提供される。当該方法は、テクスチャを合成することによってピクチャに関するテクスチャをデコーディングするステップを含む。当該デコーディングステップは、パッチベースのサンプリング方法を使用したテクスチャの合成の際にエンコーダにデコーディング複雑性操作を移動させるための情報を使用する。
【００１１】
本発明の原理のこれらの及び他の態様、特徴及び利点は、添付の図面とともに読まれる以下の例示の実施形態の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【００１２】
本発明の原理は、以下の例示の図によってさらに良く理解されるだろう。
【図１】一般的なパッチベースサンプリング法の図である。
【図２】本発明の原理の実施形態によるパッチベースサンプリング法の図である。
【図３】本発明の原理の実施形態に従った、本発明の原理が適用される例示のビデオエンコーダのブロック図である。
【図４】本発明の原理の実施形態に従った、本発明の原理が適用される例示のビデオデコーダのブロック図である。
【図５】本発明の原理の実施形態に従った、パッチベースのサンプリングテクスチャ合成を使用する例示のビデオテクスチャエンコーディング法のフロー図である。
【図６】本発明の原理の実施形態に従った、パッチベースのサンプリングテクスチャ合成を使用する例示のビデオテクスチャデコーディング法のフロー図である。
【発明を実施するための形態】
【００１３】
本発明の原理は、サンプリングテクスチャ合成を使用したテクスチャ圧縮の方法及び装置に関する。
【００１４】
本説明は、本発明の原理を示す。従って、この発明の発明を実施するための形態を読んだ本技術分野の当業者が、本明細書内に明示的に説明及び図示されていなくとも、本発明の原理を包含する様々な構成を考案可能であることが理解される。  
原理、態様及び本発明の原理の実施形態、並びに本発明の原理の特定の例を列挙している本明細書内の全ての記述は、それらの構造的及び機能的均等物の両方を包含することが意図されている。さらに、このような均等物は、現在知られている均等物及び将来開発される均等物、すなわち構造にかかわらず同一の機能を実行する開発された全ての要素を含むと意図される。
【００１５】
従って、例えば、本明細書において表されているブロック図が、本発明の原理を含む例示の回路の概念的視点を示していることが、本技術分野の当業者によって理解されるだろう。同様に、フローチャート、フロー図、状態遷移図、擬似コード等が、実質的にコンピュータ可読媒体内に表現されてコンピュータまたはプロセッサによって実行され得る様々なプロセスを示し、本技術分野の当業者が本明細書の様々な開示からコンピュータコードを開発可能であることが理解されるだろう。
【００１６】
図面内に示されている様々な要素の機能は、専用のハードウェア及び適切なソフトウェに関連しているソフトウェアを実行可能なハードウェアの使用によってもたらされ得る。プロセッサによってもたらされる場合、当該機能は、単一の専用プロセッサによってか、単一の共有プロセッサによってか、またはいくつかが共有されていてもよい複数の別個のプロセッサによってもたらされ得る。さらに、「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアだけをいうと理解されるべきではなく、限定無しに、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを保存するためのＲＯＭ（read only memory）、ＲＡＭ（random access memory）、グラフィックプロセッサ（ＧＰＵ）、及び不揮発性記憶装置を非明示的に含み得る。
【００１７】
他のハードウェア、従来の及び／またはカスタムのもの、も含まれ得る。同様に、図面内に示されているスイッチは、単に概念的なものである。これらの機能は、プログラムロジックの動作を介して、専用のロジックを介して、プログラム制御の命令及び専用のロジックを介して、または手動で実行され得、特定の技術が、文脈からさらによく理解されるように、実装者によって選択されることが可能である。
【００１８】
本願の特許請求の範囲において、特定の機能を実行するための手段として表されている任意の要素は、例えば、ａ）その機能を実行する回路要素の組み合わせ、またはｂ）ソフトウェアを実行して当該機能をなすための適切な回路と組み合わされたファームウェア、マイクロコード等を含む任意の形式のソフトウェア、を含む当該機能を実行する任意の方法を含むと意図されている。当該特許請求の範囲によって画定される本発明の原理は、開示されている様々な手段によって提供される機能が、特許請求の範囲に記載の態様にて組み合わされかつ共に編成されるという事実の中に存在する。従って、これらの機能を提供可能な全ての手段は、本明細書において示されているものと均等であるとされる。
【００１９】
明細書における本発明の原理の「１つの実施形態」または「実施形態」という記載は、実施形態と共に説明されている特定の特徴、構造、特性等が、本発明の原理の少なくとも１つの実施形態に含まれていることを意味する。従って、明細書全体の様々な箇所に出現する「１つの実施形態において」または「実施形態において」というフレーズの登場は、必ずしも全てが同一の実施形態を参照しているわけではない。
【００２０】
例えば、「Ａ／Ｂ」、「Ａ及び／またはＢ」及び「Ａ及びＢのうちの少なくとも１つ」における「／」、「及び／または」及び「〜のうちの少なくとも１つ」の使用は、最初に挙げられた選択肢（Ａ）のみの選択、２番目に挙げられた選択肢（Ｂ）のみの選択、または両方の選択肢（Ａ及びＢ）の選択を包含することが意図されていると理解されるべきである。他の例として、「Ａ、Ｂ及び／またはＣ」及び「Ａ、Ｂ及びＣの少なくとも１つ」という場合は、当該表現は、最初に挙げられた選択肢（Ａ）のみの選択、２番目に挙げられた選択肢（Ｂ）のみの選択、３番目に挙げられた選択肢（Ｃ）のみの選択、最初及び２番目に挙げられた選択肢（Ａ及びＢ）のみの選択、最初及び３番目に挙げられた選択肢（Ａ及びＣ）のみの選択、２番目及び３番目に挙げられた選択肢（Ｂ及びＣ）のみの選択、または３つの全ての選択肢（Ａ、Ｂ及びＣ）の選択を包含することが意図されている。このことは、本技術分野及び関連技術分野の当業者によって容易に理解されるように、多数のアイテムが挙げられる場合に拡張され得る。
【００２１】
さらに、本発明の原理の１または複数の実施形態及び／または実装例が本明細書においてＭＰＥＧ−４  ＡＶＣ（ＩＳＯ／ＩＥＣ  １４４９６−１０）規格に関連して説明されているが、本発明の原理は、この規格のみに限定されず、本発明の原理の精神を維持しつつ、他のビデオコーディング規格、勧告、及びそれらの拡張（ＭＰＥＧ−４ＡＶＣ規格、ＶＣ−１（ＳＭＰＴＥ）の拡張を含む）に関連して使用され得る。
【００２２】
本明細書において、「ハイレベルシンタックス」は、ビットストリーム内にて階層的にマクロブロックレイヤの上に存在するシンタックスをいう。例えば、本明細書におけるハイレベルシンタックスは、限定するわけではないが、スライスヘッダレベル、付加拡張情報（ＳＥＩ）レベル、ピクチャパラメータセット（ＰＰＳ）レベル、シーケンスパラメータセット（ＳＰＳ）レベル及びネットワーク抽象化レイヤ（ＮＡＬ）ユニットヘッダレベルのシンタックスをいい得る。
【００２３】
本願は、従来技術の統計的モデリング方法とは異なる「パッチベースのサンプリング」と称されるテクスチャモデリングを実行する代替の方法を開示してこれを改良する。このテクスチャビデオコーディング方法は、合成されたテクスチャの構成のための構成要素として入力サンプルテクスチャのテクスチャパッチの使用を含む。図１を参照すると、従来技術によるパッチベースサンプリング方法の概略が、全体として参照符号１００で示されている。
【００２４】
図１のパッチベースのサンプリング方法に含まれているステップの各々において、入力サンプルテクスチャＩｉｎのパッチは、合成テクスチャＩｏｕｔ内に貼り付けられる。パッチ境界に亘るミスマッチング特性を避けるために、新しいパッチＢｋが、すでに貼り付けられたパッチ｛Ｂ０，．．．Ｂｋ−１｝に基づいて選択される。簡略化のために、所定のサイズωＢ×ωＢの正方形パッチのみが使用されている。テクスチャパッチの境界ゾーンは、パッチの境界に沿った幅ωＥの帯として定められている。新しいパッチは、境界ゾーンにおいて古いパッチにオーバーラップしている。新しいパッチは、所定の条件を使用して、境界ゾーンが古いパッチとマッチングしている全てのパッチΨＢに関して入力サンプルテクスチャＩｉｎを検索することによって選択される。合成器は、ΨＢから１つのパッチをランダムに選択し、当該選択されたパッチを合成テクスチャＩｏｕｔ内に入れる。イメージに対するパッチ生成の順序は、底部から頂部、左から右の順である。テクスチャのランダム性の故に、パッチベースのサンプリング方法１００は、通常の走査順序である限り、どの順序が使用されているかには構わないことに留意する。しかし、エンコーダ及びデコーダは、同一の順序を使用すべきである。
【００２５】
図１のパッチベースのサンプリング方法は、以下の様にも記述され得る。
【００２６】
（ａ）入力サンプルテクスチャＩｉｎからテクスチャパッチＢ０をランダムに選択する。Iｏｕｔの左下角内にＢ０を貼り付ける。ｋ＝１に設定する。
【００２７】
（ｂ）ΨＢのテクスチャパッチの各々に関してその境界ゾーンが古い隣接パッチの境界ゾーンにマッチングするように、Ｉｉｎからの全てのテクスチャパッチから決められたΨＢを生成する。
【００２８】
（ｃ）ｋ番目のテクスチャパッチＢｋとしてΨＢから要素をランダムに選択する。Ｉｏｕｔ上にＢｋを張り付ける。ｋ＝ｋ＋１に設定する。
【００２９】
（ｄ）Ｉｏｕｔが完全に覆われるまでステップ（ｂ）及び（ｃ）を繰り返す。
【００３０】
（ｅ）境界ゾーンにおいてブレンディングを実行する。
【００３１】
（ｅ）におけるブレンディングステップは、Ｉｏｕｔがテクスチャパッチで完全に覆われた後に、隣接テクスチャパッチ間の滑らかな遷移をもたらす。
【００３２】
上述のアルゴリズムが強制テクスチャ合成のためのものであることに留意する。境界を伴うテクスチャを合成するために、テクスチャに隣接する境界エリアは、ΨBを検索する際に境界ゾーンとして考えられる。
【００３３】
パッチベースのサンプリング方法がテクスチャ圧縮に使用される場合、入力テクスチャサンプルのみがエンコーダにおいてコーディングされる。デコーダにおいて、テクスチャは、図１のパッチベースのサンプルリング方法に関連する上述のアルゴリズムに従って再構築される。パッチベースのサンプリング方法は、速度及び品質において統計的なモデルベースの方法よりも効率が良い。それでもなお、パッチベースのサンプリング方法は、限定するわけではないが：（１）デコーダがエンコーダよりも複雑であること；（２）デコーダの速度が、時間を浪費する走査であるΨBの検索によって制約を受けること；及び（３）コーデックのパフォーマンスが、エンコーダに対するデコーダの構成に依存している検索アルゴリズムに依存していること、を含むいくつかの欠点を有している。
【００３４】
本発明の原理は、図１とともに理解されるパッチベースの方法よりも良好なパッチベースのサンプリングテクスチャ合成を使用するテクスチャ圧縮の方法及び装置に関する。多くのイメージ及びビデオコーディング規格と対照的に、本発明は、パッチベースのサンプリングによるテクスチャ合成を使用してテクスチャをコーディング可能である。有利に、かつ従来技術とは対照的に、本発明の原理は、デコーダにおけるリアルタイムテクスチャ合成を実装するための情報を使用する。
【００３５】
本発明によれば、複雑性は、デコーダからエンコーダに移動される。このような方針によって、デコーダにおいては検索が不要になり、エンコーダが実質的にパフォーマンス（例えば、圧縮効率）を決することとなる。
【００３６】
図２をみると、例示のパッチベースのサンプリング方法の概略図が、全体として参照符号２００で示されている。図２の方法が、当該方法のパッチベースのサンプリング方法に関する情報を使用することに留意する。
【００３７】
１つの実施形態において、使用される情報は、入力サンプルテクスチャＩｉｎ内の新しいパッチの配置を記述する「変位ベクトル」である。この変位ベクトルは、図２に示されているように、ｄｖとして定義されている。図２の実施形態において、ｄｖは、Ｂｋの左上点からＩｉｎの左上点までの距離である。本発明の原理に従った、この「変位ベクトル」は、基準ピクチャが入力テクスチャＩｉｎであるという点、及び一般的に時間的変位をいう従来の「モーションベクトル」と異なり変位ベクトルが空間的変位であるという点において、現在のビデオ圧縮規格及び勧告おけるモーション補間において使用されているモーションベクトルとは異なる。従って、本発明の原理に従って本明細書に記載されている空間的変位ベクトルは、本明細書内で「入力テクスチャ空間変位ベクトル」と同じ意味で使用される。エンコーダにおいて、入力サンプルテクスチャ及び空間的変位ベクトルｄｖを示す情報の両方がコーディングされる。デコーダにおいて、「変位ベクトル」が直接的に使用されて新しいパッチが生成される。
【００３８】
入力サンプルテクスチャ及び空間変位ベクトルを示す情報は、損失が多いかまたは損失が少ない任意の方法でコーディングされ得る。１つの実施形態において、入力サンプルテクスチャは、ベクトル量子化及びエントロピーコーディングを用いて損失の多い態様でコーディングされ、差分パルス符号変調（ＤＰＣＭ）及びエントロピーコーディングを用いて損失の少ない態様で変位ベクトルをコーディングする。有利には、本発明の原理の実施形態は、限定するわけではないが、解像の各々において変位ベクトルが生成され得る多重解像度パッチベースサンプリングテクスチャ合成を含むパッチベースサンプリングに基づく任意の方法に適用され得る。
【００３９】
図３を参照すると、ＭＰＥＧ−４  ＡＶＣ規格に従ってビデオエンコーディングを実行可能なビデオエンコーダが全体として参照符号３００で示されている。
【００４０】
ビデオエンコーダ３００は、結合器３８５の非反転入力に接続されている出力を有するフレームオーダリングバッファ（frame ordering buffer）３１０を含む。結合器３８５の出力は、変換器及び量子化器３２５の第１の入力に接続されている。変換器及び量子化器３２５の出力は、エントロピーコーダ３４５の第１の入力、並びに逆変換器及び逆量子化器３５０の第１の入力に接続されている。エントロピーコーダ３４５の出力は、結合器３９０の第１の非反転入力に接続されている。結合器３９０の出力は、出力バッファ３３５の第１の入力に接続されている。
【００４１】
エンコーダコントローラ３０５の第１の出力は、フレームオーダリングバッファ３１０の第２の入力、逆変換器及び逆量子化器３５０の第２の入力、ピクチャタイプ判定モジュール３１５の入力、マクロブロックタイプ（ＭＢタイプ）判定モジュール３２０の入力、イントラ予測モジュール３６０の第２の入力、デブロッキングフィルタ３６５の第２の入力、モーション補償器３７０の第１の入力、モーション評価器３７５の第１の入力、基準ピクチャバッファ３８０の第２の入力、テクスチャ合成器３３３の第１の入力、並びに変位ベクトル抽出器３３４の第１の入力に接続されている。
【００４２】
エンコーダコントローラ３０５の第２の出力は、付加拡張情報（ＳＥＩ）挿入器３３０の第１の入力、変換器及び量子化器３２５の第２の入力、エントロピーコーダ３４５の第２の入力、出力バッファ３３５の第２の入力、並びにシーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）挿入器３４０の入力に接続されている。
【００４３】
ピクチャタイプ判定モジュール３１５の第１の出力は、フレームオーダリングバッファ３１０の第３の入力に接続されている。ピクチャタイプ判定モジュール３１５の第２の出力は、マクロブロックタイプ判定モジュール３２０の第２の入力に接続されている。
【００４４】
シーケンスパラメータセット（ＳＰＳ）及びピクチャパラメータセット（ＰＰＳ）挿入器３４０の出力は、結合器３９０の第３の非反転入力に接続されている。
【００４５】
逆量子化器及び逆変換器３５０の出力は、結合器３１９の第１の非反転入力に接続されている。結合器３１９の出力は、イントラ予測モジュール３６０の第１の入力及びデブロッキングフィルタ３６５の第１の入力に接続されている。デブロッキングフィルタ３６５の出力は、基準ピクチャバッファ３８０の第１の入力に接続されている。基準ピクチャバッファ３８０の第１の出力は、モーション評価器３７５の第２の入力及びモーション補償器３７０の第３の入力に接続されている。基準ピクチャバッファ３８０の第２の出力は、テクスチャ合成器３３３の第２の入力に接続されている。テクスチャ合成器３３３の第１の出力は、デブロッキングフィルタ３６５の第３の入力に接続されている。テクスチャ合成器３３３の第２の出力は、変位ベクトル抽出器３３４の第２の入力に接続されている。変位ベクトル抽出器３３４の出力は、エントロピーコーダ３４５の第３の入力に、モーションベクトルを提供するために接続されている。モーション評価器３７５の第１の出力は、モーション補償器３７０の第２の入力に接続されている。モーション評価器３７５の第２の出力は、エントロピーコーダ３４５の第４の入力に、変位ベクトルを提供するために接続されている。１つの実施形態において、モーションベクトル及び変位ベクトルは、大きさ及び方向の両方を含み得るように、同様にコーディングされ得ることに留意する。
【００４６】
モーション補償器３７０の出力は、スイッチ３９７の第１の入力に接続されている。イントラ予測モジュール３６０の出力は、スイッチ３９７の第２の入力に接続されている。マクロブロックタイプ判定モジュール３２０の出力は、スイッチ３９７の第３の入力に接続されている。スイッチ３９７の第３の入力は、スイッチの「データ」入力が（制御入力すなわち第３の入力と比較して）モーション補償器３７０またはイントラ予測モジュール３６０によって提供されるべきか否かを判定する。スイッチ３９７の出力は、結合器３１９の第２の非反転入力及び結合器３８５の反転入力に接続されている。
【００４７】
フレームオーダリングバッファ３１０及びエンコーダコントローラ３０５の入力は、入力ピクチャ３０１を受信するための、エンコーダ３００の入力として利用可能である。さらに、付加拡張情報（ＳＥＩ）挿入器３３０の入力は、メタデータを受信するための、エンコーダ３００の入力として利用可能である。出力バッファ３３５の出力は、ビットストリームを出力するための、エンコーダ３００の出力として利用可能である。
【００４８】
図４を参照すると、ＭＰＥＧ−４  ＡＶＣ規格に従ってビデオデコーディングを実行可能なビデオデコーダが全体として参照符号４００で示されている。
【００４９】
ビデオデコーダ４００は、エントロピーデコーダ４４５の第１の入力に接続されている出力を有する入力バッファ４１０を含む。エントロピーデコーダ４４５の第１の出力は、逆変換器及び逆量子化器４５０の第１の入力に接続されている。逆変換器及び逆量子化器４５０の出力は、結合器４２５の第２の非反転入力に接続されている。結合器４２５の出力は、デブロッキングフィルタ４６５の第２の入力及びイントラ予測モジュール４６０の第１の入力に接続されている。デブロッキングフィルタ４６５の第２の出力は、基準ピクチャバッファ４８０の第１の入力に接続されている。基準ピクチャバッファ４８０の第１の出力は、モーション補償器４７０の第２の入力に接続されている。基準ピクチャバッファ４８０の第２の出力は、テクスチャ合成器４３３の第１の入力に接続されている。変位ベクトルデコーダ４３４の出力は、テクスチャ合成器４３３の第２の入力に接続されている。
【００５０】
エントロピーデコーダ４４５の第２の出力は、モーション補償器４７０の第３の入力、デブロッキングフィルタ４６５の第１の入力、及びイントラ予測モジュール４６０の第２の入力に接続されている。エントロピーデコーダ４４５の第３の出力は、デコーダコントローラ４０５の入力に接続されている。エントロピーデコーダ４４５の第４の出力は、変位ベクトルデコーダ４３４の第２の入力に接続されている。デコーダコントローラ４０５の第１の出力は、エントロピーデコーダ４４５も第２の入力に接続されている。デコーダコントローラ４０５の第２の出力は、逆変換器及び逆量子化器４５０の第２の入力に接続されている。デコーダコントローラ４０５の第３の出力は、イントラ予測モジュール４６０の第３の入力、モーション補償器４７０の第１の入力、基準ピクチャバッファ４８０の第２の入力、テクスチャ合成器４３３の第３の入力、及び変位ベクトルデコーダ４３４の第１の入力に接続されている。デコーダコントローラ４０５の第４の出力は、デブロッキングフィルタ４６５の第３の入力に接続されている。
【００５１】
モーション補償器４７０の出力は、スイッチ４９７の第１の入力に接続されている。イントラ予測モジュール４６０の出力は、スイッチ４９７の第２の入力に接続されている。スイッチ４９７の出力は、結合器４２５の第１の非反転入力に接続されている。
【００５２】
入力バッファ４１０の入力は、入力ビットストリームを受信するための、デコーダ４００の入力として利用可能である。デブロッキングフィルタ４６５の第１の出力は、出力ピクチャを出力するための、デコーダ４００の出力として利用可能である。
【００５３】
図５を参照すると、パッチベースのサンプリングテクスチャ合成を使用する例示のビデオテクスチャエンコーディング方法が、全体として参照符号５００で示されている。
【００５４】
方法５００は、機能５１０に制御を渡す開始ブロック５０５を含む。機能ブロック５１０は、入力イメージにおいてイメージセグメンテーション（image segmentation）を実行し、制御を判定ブロック５１５に渡す。判定ブロック５１５は、現在のイメージセグメンテーションユニット（例えば、イメージブロックまたはイメージリージョン）が、テクスチャリージョンであるか否かを判定する。もし、そうであるならば、制御は機能ブロック５２０に渡される。そうでない場合、制御は機能ブロック５４５に渡される。
【００５５】
機能ブロック５２０は、テクスチャリージョンを（例えば、１または複数のハイレベルシンタックス要素を使用して）信号伝達し、テクスチャリージョンから入力サンプルテクスチャＩｉｎを選択し、当該入力サンプルテクスチャをコーディングかつデコーディングし、機能ブロック５２５に制御を渡す。機能ブロック５２５は、デコーディングされたサンプルテクスチャからのパッチベースのサンプリングを使用してテクスチャリージョンＢｋを再構築することによってテクスチャ合成を実行し、機能ブロック５３０及び機能ブロック５５０に制御を渡す。パッチベースのサンプリングが、限定するわけではないが、ステップ（ａ）から（ｄ）に関して上述された従来技術のパッチベースサンプリングを含む任意のパッチベースサンプリング法を使用して実行され得ることが理解されるべきである。
【００５６】
機能ブロック５３０は、出力テクスチャ内のパッチの各々に関して、対応する情報空間変位ベクトルｄｖを計算し、制御を機能ブロック５３５に渡す。機能ブロック５３５は、全ての空間変位ベクトルｄｖをコーディングして、機能ブロック５４０に制御を渡す。
【００５７】
機能ブロック５４０は、対応するデータ（例えば、コーディングされた変位ベクトル）を出力し、終了ブロック５９９に制御を渡す。
【００５８】
機能ブロック５４５は、他のコーディング方法（ブロック５２０から５３５に関連して特定された方法ではなく）を使用して、非テクスチャ領域をコーディングし、機能ブロック５４０に制御を渡す。
【００５９】
エンコーディングの間にデコーディング操作を実行する機能ブロック５５０は、境界ゾーン間でのブレンディングを実行し、機能ブロック５４５に制御を渡す。
【００６０】
図６を参照すると、パッチベースのサンプリングテクスチャ合成を使用する例示のビデオテクスチャデコーディング方法が、全体として参照符号６００で示されている。
【００６１】
方法６００は、機能ブロック６１０に制御を渡す開始ブロック６０５を含む。機能ブロック６１０は、現在のビットストリームのヘッダ及び／または当該ビットストリームに関連するパケット（単数または複数）のヘッダを（テクスチャリージョンが当該ビットストリームに関連して信号伝達されているかを判定するために）抽出し、判定ブロック６１５に制御を渡す。判定ブロック６１５は、現在のイメージセグメンテーションユニット（例えば、イメージブロックまたはイメージリージョン）がテクスチャリージョンか否かを判定する。そうであるならば、その後、機能ブロック６２０に制御が渡される。そうでない場合、機能ブロック６４５に制御が渡される。
【００６２】
機能ブロック６２０は、入力サンプルテクスチャＩｉｎ及び空間変位ベクトルｄｖの全てをデコーディングし、機能ブロック６２５に制御を渡す。機能ブロック６２５は、空間変位ベクトルｄｖに対応する情報を使用して入力サンプルテクスチャから得られたパッチＢｋを貼り付けることによって、出力テクスチャ領域を再構築し、機能ブロック６３０に制御を渡す。機能ブロック６３０は、全てのパッチまでの境界ゾーン内でブレンディングを実行し、機能ブロック６３５に制御を渡す。
【００６３】
機能ブロック６３５は、テクスチャリージョンを結合し、機能ブロック６４０に制御を渡す。機能ブロック６４０は、対応するデータ（デコーディングされたテクスチャリージョン）を出力し、終了ブロック６９９に制御を渡す。
【００６４】
機能ブロック６４５は、他のデコーディング方法（ブロック６２０から６３０に関して特定される方法ではない）を使用して、非テクスチャリージョンをデコーディングし、機能ブロック６３５に制御を渡す。
【００６５】
本発明の原理によるテクスチャモードの信号伝達が、任意の信号伝達技術を使用して実行され得ることが理解されるべきである。例えば、図５の機能ブロック５２０に関して上述されたように、このような信号伝達は、１または複数のハイレベルシンタックス要素を使用して実行されることが可能である。このようなシンタックス要素または他の技術は、テクスチャモードのような関連モードを単に示し得かつ／または他の方法で特定し得る。当然ながら、本発明の原理は、テクスチャを信号伝達するための前述の方法だけに限定されず、本発明の原理の精神を維持しつつ、本発明の原理に従って他の方法も使用され得る。
【００６６】
機能ブロック６３０に関連して上述されたブレンディングが、任意のブレンディング技術を使用して実行され得ることが更に理解されるべきである。例えば、１つの実施形態において、いくつかのブレンディング方法が適用されて、境界ゾーン内の異なったパッチ間の遷移がスムージングされ得る。さらなる例として、１つの実施形態において、デブロッキングフィルタの概念を、ＭＰＥＧ−４  ＡＶＣ規格及び／またはぼかし方法と関連させて使用することが可能である。１つの実施形態において、ぼかし方法は、２つの最も近い境界または現在の境界及び／もしくは処理された境界群からの双一次補間（重み付け双一次補間）の使用を含む。同一のブレンディング方法がエンコーダのデコーディング部及びデコーダの両方に適用されて、ミスマッチングを回避するのが望ましい。当然ながら、本発明の原理は、上述のブレンディング方法だけに限定されず、本発明の原理の精神を維持しつつ、本発明の原理に従って他の方法も使用され得る。
【００６７】
いくつかが上述されている、本発明の多くの付随する利点／特徴のいくつかの説明がここでなされる。例えば、１つの利点／特徴は、テクスチャの合成によってピクチャのテクスチャをエンコーディングするエンコーダを含む装置である。当該エンコーダは、パッチベースのサンプリング方法を使用してテクスチャを合成する場合、通常のデコーディング複雑性をエンコーダに移動する情報を使用する。
【００６８】
他の利点／特徴は、上述のエンコーダを有する装置であって、当該情報が、ピクチャのテクスチャを後にデコーディングする対応するデコーダにおける対応するテクスチャリージョン検索を除去する少なくとも１つの入力テクスチャ空間変位ベクトルを含む装置である。
【００６９】
更に他の利点／特徴は、上述のエンコーダを有する装置であって、当該ピクチャが複数のリージョンを含み、当該エンコーダが複数のリージョンのどれがテクスチャとしてコーディングされるかを信号伝達する装置である。
【００７０】
さらにもう１つの利点／特徴は、上述のエンコーダを有する装置であって、当該テクスチャが当該ピクチャから取得される入力サンプルテクスチャであり、当該エンコーダが対応する情報及び当該入力サンプルテクスチャをエンコーディングする装置である。
【００７１】
さらに、他の利点／特徴は、上述のエンコーダを有する装置であって、当該情報が、対応するデコーダにおいてピクチャのテクスチャリージョンへの直接的なテクスチャパッチの貼り付けをサポートするように構成されている装置である。
【００７２】
さらなる、他の利点／特徴は、上述のエンコーダを有する装置であって、当該テクスチャが当該ピクチャから取得された入力サンプルテクスチャであり、当該エンコーダが当該入力サンプルテクスチャから複数のテクスチャパッチを選択し、当該エンコーダがデブロッキングフィルタリング及びぼかしの少なくとも１つを使用して複数のテクスチャパッチのうちの個々のテクスチャパッチの重なり合う境界ゾーン内の遷移をスムージングする装置である。
【００７３】
本発明の原理のこれら及び他の特徴及び利点は、本明細書内の教示に基づいて、関連技術分野の当業者に容易に確認可能である。本発明の原理の教示が、様々な形式のハードウェア、ソフトウェア、ファームウェア、特定用途プロセッサ、またはこれらの組み合わせにおいて実装され得ることが理解されるべきである。
【００７４】
最も好ましくは、本発明の原理の教示は、ハードウェアとソフトウェアとの組み合わせとして実装される。さらに、ソフトウェアは、プログラム記憶ユニット内に明白に含まれているアプリケーションプログラムとして実装され得る。このアプリケーションプログラムは、任意の適切なアーキテクチャを含むマシンにアップロードされて当該マシンによって実行され得る。現在好ましい実施形態において、マシンは、１または複数のＣＰＵ（central processing units）、ＲＡＭ（random access memory）、入力／出力（Ｉ／Ｏ）インタフェース等のハードウェアを有するコンピュータプラットフォームにおいて実装され得る。このコンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードも含み得る。本明細書内に記載されている様々な処理及び機能は、マイクロ命令コードの一部であるかもしくはアプリケーションプログラムの一部であるか、またはこれらの任意の組み合わせであって、ＣＰＵによって実行可能なものであり得る。さらに、追加データ記憶ユニット及び印刷ユニット等の様々な他の周辺機器ユニットが、当該コンピュータプラットフォームに接続され得る。
【００７５】
添付の図面に示されている構成システム要素及び方法のいくつかがソフトウェア内に実装されるのが好ましい故に、複数のシステムコンポーネントまたは複数の処理機能ブロックの間の実際の接続は、本発明の原理がプログラミングされる態様に応じて変わり得ると更に理解されるべきである。本明細書内の教示に鑑みて、関連技術の当業者は、本発明の原理のこれらの及び同様な実装または構成を予期することが出来るだろう。
【００７６】
例示の実施形態が添付の図面を参照して本明細書において説明されているが、本発明の原理は、これらの実施形態そのものに限定されず、様々な変形及び変更が、本発明の原理の範囲または精神から逸脱すること無く、関連技術の当業者によってこれらの実施形態にもたらされ得る。これらの変形及び変更の全ては、添付の特許請求の範囲に記載されている本発明の原理の範囲内に含まれることが意図されている。
【図１】
2014180043.tif 000003
【図２】
2014180043.tif 000004
【図３】
2014180043.tif 000005
【図４】
2014180043.tif 000006
【図５】
2014180043.tif 000007
【図６】
2014180043.tif 000008
【外国語明細書】
2014180043000001.pdf