(57)【特許請求の範囲】
【請求項１】
映像を符号化する手段であって、
クロマフォーマットが４４４である場合に、前記映像を符号化する手段は、ストロングイントラスムージングを輝度にのみ適用するよう構成され、ストロングイントラスムージングは色差については有効化されず、
以下の条件の全てが真である場合には、前記映像を符号化する手段は、前記ストロングイントラスムージングを適用するよう構成される、
strong_intra_smoothing_enabled_flagが１に等しい
nTbSが３２に等しい
cIdxがゼロに等しい
Abs(p[-1][-1]+p[nTbS*2-1][-1]-2*p[nTbS-1][-1]＜(1<<(BitDepthY-5))
Abs(p[-1][-1]+p[-1][nTbS*2-1]-2*p[-1][nTbS-1])＜(1<<(BitDepthY-5))
前記映像を符号化する手段、
を備える装置。
【請求項２】
映像を符号化することであって、
クロマフォーマットが４４４である場合に、ストロングイントラスムージングが輝度にのみ適用され、色差については有効化されず、
以下の条件の全てが真である場合には、前記ストロングイントラスムージングが適用される、
strong_intra_smoothing_enabled_flagが１に等しい
nTbSが３２に等しい
cIdxがゼロに等しい
Abs(p[-1][-1]+p[nTbS*2-1][-1]-2*p[nTbS-1][-1]＜(1<<(BitDepthY-5))
Abs(p[-1][-1]+p[-1][nTbS*2-1]-2*p[-1][nTbS-1])＜(1<<(BitDepthY-5))
前記映像を符号化すること、
を含む方法。
【請求項３】
映像を復号する手段であって、
クロマフォーマットが４４４である場合に、前記映像を復号する手段は、ストロングイントラスムージングを輝度にのみ適用するよう構成され、ストロングイントラスムージングは、色差については有効化されず、
以下の条件の全てが真である場合には、前記映像を復号する手段は、前記ストロングイントラスムージングを適用するよう構成される、
strong_intra_smoothing_enabled_flagが１に等しい
nTbSが３２に等しい
cIdxがゼロに等しい
Abs(p[-1][-1]+p[nTbS*2-1][-1]-2*p[nTbS-1][-1]＜(1<<(BitDepthY-5))
Abs(p[-1][-1]+p[-1][nTbS*2-1]-2*p[-1][nTbS-1])＜(1<<(BitDepthY-5))
前記映像を復号する手段、
を備える装置。
【請求項４】
映像を復号することであって、
クロマフォーマットが４４４である場合に、ストロングイントラスムージングが輝度にのみ適用され、色差については有効化されず、
以下の条件の全てが真である場合には、前記ストロングイントラスムージングが適用される、
strong_intra_smoothing_enabled_flagが１に等しい
nTbSが３２に等しい
cIdxがゼロに等しい
Abs(p[-1][-1]+p[nTbS*2-1][-1]-2*p[nTbS-1][-1]＜(1<<(BitDepthY-5))
Abs(p[-1][-1]+p[-1][nTbS*2-1]-2*p[-1][nTbS-1])＜(1<<(BitDepthY-5))
前記映像を復号すること、
を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願への相互参照］
本出願は、２０１４年３月３日に提出された“Strong  Intra  Smoothing  for  in  RExt”というタイトルの米国仮特許出願第６１／９４７，２０７号、２０１４年３月１７日に提出された“Strong  Intra  Smoothing  for  in  RExt”というタイトルの米国仮特許出願第６１／９５４，２４８号、及び２０１４年３月２７日に提出された“Strong  Intra  Smoothing  for  in  RExt”というタイトルの米国仮特許出願第６１／９７１，１４０号の、米国特許法第１１９条（ｅ）の下での優先権を主張し、それらはあらゆる目的のために全体として参照によりここに取り入れられる。
【０００２】
［発明の分野］
本発明は、映像符号化に関する。より具体的には、本発明は、高効率映像符号化に関する。
【背景技術】
【０００３】
ＪＣＴＶＣ−Ｐ１００５＿ｖ１では、クロマフォーマットが４：４：４である場合に、色差へストロングイントラスムージング（ＳＩＳ）を適用することが可能とされている。intra_smoothing_disabled_flagがゼロに等しく、かつcldxがゼロに等しいか又はChromaArrayTypeが３に等しいかのいずれかである場合、特定された隣接サンプルのフィルタリング処理が、サンプルアレイp及び変換ブロックサイズnTbSを入力として呼び出され、その出力がサンプルアレイpへ再割り当てされる。ＲＥｘｔ６．０では、ＳＩＳは輝度についてのみ可能とされている。よって、４４４クロマフォーマットにおいて、色差についてＳＩＳをどう扱うかに関するミスマッチが存在する。
【発明の概要】
【０００４】
条件又は制約に基づいて、ストロングイントラスムージング（ＳＩＳ）が有効化され又は無効化される。クロマフォーマットが４４４である場合に色差についてＳＩＳは可能とされず、クロマフォーマットが４２２又は４４４である場合には色差についてＳＩＳは可能とされない。
【０００５】
１つの観点において、デバイスの非一時的なメモリ内にプログラムされる方法は、映像コンテンツを取得することと、上記映像コンテンツのクロマフォーマットに依存して、ストロングイントラスムージングを実行することなく、上記映像コンテンツを符号化することと、を含む。上記方法は、上記クロマフォーマットが４４４であると判定することと、ストロングイントラスムージングを有効化しないことと、をさらに含む。上記方法は、上記クロマフォーマットが４２２又は４４４であると判定することと、ストロングイントラスムージングを有効化しないことと、をさらに含む。ストロングイントラスムージングフラグは１に等しく、画像成分インデックスはゼロに等しい。上記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、ＰＤＡ（personal  digital  assistant）、セルラー／モバイルフォン、スマートアプライアンス、ゲームコンソール、デジタルカメラ、デジタルカムコーダ、カメラフォン、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイルデバイス、映像プレーヤ、映像ディスクライタ／プレーヤ、テレビジョン、ホームエンターテインメントシステム及びスマートジュエリ、からなる群から選択される。
【０００６】
他の観点において、デバイスの非一時的なメモリ内にプログラムされるシステムは、映像コンテンツのクロマフォーマットに依存して、ストロングイントラスムージングを用いることなく符号化された、符号化映像コンテンツを受信するために構成される受信デバイスと、上記符号化映像コンテンツを表示するために構成される表示デバイスと、を含む。上記符号化映像コンテンツの符号化は、上記クロマフォーマットが４４４であると判定することと、ストロングイントラスムージングを有効化しないことと、を含んで行われた。上記符号化映像コンテンツの符号化は、上記クロマフォーマットが４２２又は４４４であると判定することと、ストロングイントラスムージングを有効化しないことと、を含んで行われた。ストロングイントラスムージングフラグは１に等しく、画像成分インデックスはゼロに等しい。上記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、ＰＤＡ（personal  digital  assistant）、セルラー／モバイルフォン、スマートアプライアンス、ゲームコンソール、デジタルカメラ、デジタルカムコーダ、カメラフォン、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイルデバイス、映像プレーヤ、映像ディスクライタ／プレーヤ、テレビジョン、ホームエンターテインメントシステム及びスマートジュエリ、からなる群から選択される。
【０００７】
他の観点において、ある装置は、表示デバイスと、映像コンテンツのクロマフォーマットに依存して、ストロングイントラスムージングを用いることなく符号化された、映像コンテンツを受信し、上記映像コンテンツを上記表示デバイス上に表示する、ためのアプリケーションを記憶するための非一時的なメモリと、上記メモリに連結され、上記アプリケーションを処理するために構成される処理コンポーネントと、を備える。上記符号化映像コンテンツの符号化は、上記クロマフォーマットが４４４であると判定することと、ストロングイントラスムージングを有効化しないことと、を含んで行われた。上記符号化映像コンテンツの符号化は、上記クロマフォーマットが４２２又は４４４であると判定することと、ストロングイントラスムージングを有効化しないことと、を含んで行われた。ストロングイントラスムージングフラグは１に等しく、画像成分インデックスはゼロに等しい。上記装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、ＰＤＡ（personal  digital  assistant）、セルラー／モバイルフォン、スマートアプライアンス、ゲームコンソール、デジタルカメラ、デジタルカムコーダ、カメラフォン、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイルデバイス、映像プレーヤ、映像ディスクライタ／プレーヤ、テレビジョン、ホームエンターテインメントシステム及びスマートジュエリ、からなる群から選択される。
【図面の簡単な説明】
【０００８】
【図１】いくつかの実施形態に係るＳＩＳ決定方法のフローチャートを示している。
【図２】いくつかの実施形態に係るＳＩＳ決定方法を実行するように構成される例示的なコンピューティングデバイスのブロック図を示している。
【発明を実施するための形態】
【０００９】
ＨＥＶＣ（High  Efficiency  Video  Coding）バージョン１において、イントラ予測における何らかの視覚的なアーティファクトを低減する（例えば、平滑化する）ために、ストロングイントラスムージング（ＳＩＳ）が輝度へ適用される（４２０フォーマット）。ＨＥＶＣのレンジ拡張（RExt）では、より多くのクロマフォーマット（モノクローム、４：２：２及び４：４：４）並びにより深いビット深度（１２、１４、１６）がサポートされる。実装は、４４４クロマフォーマットについてＳＩＳを解決するために、ＲＥｘｔにおいてＳＩＳを拡張すべきである。ＳＩＳの適用に関する制約もまた説明される。
【００１０】
ＳＩＳは、輪郭状のアーティファクトを改善するものの、ブロックアーティファクト及び符号化効率ロスをもたらす。ＳＩＳ無効化の条件が満たされない場合、適切なフラグがゼロ以外の値（１など）へ設定される。
【００１１】
隣接サンプルのフィルタリング処理
…
filterFlagが１に等しい場合、以下が適用される：
変数biIntFlagが次のように導出される：
以下の条件の全てが真である場合、biIntFlagは１に等しいように設定される：
strong_intra_smoothing_enabled_flagが１に等しい
nTbSが３２に等しい
cIdxがゼロに等しい    ／／cIdxは画像成分インデックスである
Abs(p[-1][-1]+p[nTbS*2-1][-1]-2*p[nTbS-1][-1]＜(1<<(BitDepthY-5))
Abs(p[-1][-1]+p[-1][nTbS*2-1]-2*p[-1][nTbS-1])＜(1<<(BitDepthY-5))
【００１２】
ここで示されているのは、ＡＨＧ５テストシーケンス及びＡＨＧ８テストシーケンスに共に基づく、色差についてのＳＩＳ“オン”と“オフ”との間の比較である。
【００１３】
より具体的には、ＳＩＳ“オン”は、クロマフォーマットが４：４：４である場合に色差についてＳＩＳが可能とされることを意味し、デフォルトの設定でintra_smoothing_disabled_flagがゼロ（偽）に設定されるためにＳＩＳが適用される。
【００１４】
本シミュレーションでは、ＡＨＧ５テストシーケンス及び条件が適用される。本シミュレーションはクラスタ内で実行されるため、符号化時間及び復号時間は正確ではない。結果が表１に要約されている。結果は、クロマフォーマットが４：４：４である場合に色差についてＳＩＳを可能とすると、共通的なテスト条件下で現在のリファレンスソフトウェアの符号化性能が劣化するであろうことを示している。
【００１５】
【表１】
0006504174.tif 000002
【００１６】
本シミュレーションでは、ＡＨＧ８テストシーケンス及び条件が適用される。本シミュレーションはクラスタ内で実行されるため、符号化時間及び復号時間は正確ではない。結果が表２に要約されている。結果は、クロマフォーマットが４：４：４である場合に色差についてＳＩＳを可能とすると、共通的なテスト条件下で現在のリファレンスソフトウェアの符号化性能が劣化するであろうことを示している。
【００１７】
【表２】
0006504174.tif 000003
【００１８】
図１は、いくつかの実施形態に係るＳＩＳ決定方法のフローチャートを示している。ステップ１００において、映像コンテンツが取得され、送信され及び／又は受信される。ステップ１０２において、映像コンテンツが符号化される。映像コンテンツは、ここで説明している条件／制約と共にＳＩＳを用いて符号化される。例えば、クロマフォーマットが４４４である場合に、色差についてＳＩＳは可能とされない（例えば、無効化される）。他の例において、クロマフォーマットが４２２又は４４４である場合に、色差についてＳＩＳは可能とされない。ステップ１０４において、映像コンテンツが表示される。いくつかの実施形態では、より少ないステップしか実行されず、又は追加的なステップが実行される。例えば、符号化される映像コンテンツは、符号化された後に復号される。いくつかの実施形態では、ステップの順序が修正される。例えば、映像コンテンツは、符号化され、そして送信される。
【００１９】
図２は、いくつかの実施形態に係るＳＩＳ決定方法を実行するように構成される例示的なコンピューティングデバイスのブロック図を示している。コンピューティングデバイス２００は、画像及び映像といった情報を取得し、記憶し、計算し、処理し、通信し及び／又は表示するために使用されることができる。概して、コンピューティングデバイス２００を実行するために適したハードウェア構造は、ネットワークインタフェース２０２、メモリ２０４、プロセッサ２０６、Ｉ／Ｏデバイス２０８、バス２１０及びストレージデバイス２１２を含む。十分な速度を伴う、適したプロセッサが選択される限り、プロセッサの選択は重要ではない。メモリ２０４は、当分野において知られているいかなる従来型のコンピュータメモリであってもよい。ストレージデバイス２１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、ＨＤ（High  Definition）ディスク／ドライブ、ウルトラＨＤドライブ、フラッシュメモリカード又は他のいかなるストレージデバイスをも含むことができる。コンピューティングデバイス２００は、１つ以上のネットワークインタフェース２０２を含むことができる。ネットワークインタフェースの一例は、イーサネット又は他のタイプのＬＡＮへ接続されるネットワークカードを含む。Ｉ／Ｏデバイス２０８は、次のうちの１つ以上を含むことができる：キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインタフェース、及び他のデバイス。上記ＳＩＳ決定方法を実行するために使用されるＳＩＳ決定方法アプリケーションは、恐らくは、ストレージデバイス２１２及びメモリ２０４内に記憶され、典型的にアプリケーションが処理されるように処理されるであろう。図２に示したよりも多くの又はより少ないコンポーネントがコンピューティングデバイス２００内に含まれてもよい。いくつかの実施形態において、ＳＩＳ決定方法ハードウェア２２０が含められる。図２においてコンピューティングデバイス２００はＳＩＳ決定方法のためのアプリケーション２３０及びハードウェア２２０を含んでいるものの、ＳＩＳ決定方法は、ハードウェア、ファームウェア、ソフトウェア又はそれらの任意の組合せで、コンピューティングデバイス上で実装されてよい。例えば、いくつかの実施形態において、ＳＩＳ決定方法アプリケーション２３０は、メモリ内にプログラムされ、プロセッサを用いて実行される。他の例では、いくつかの実施形態において、ＳＩＳ決定方法ハードウェア２２０は、ＳＩＳ決定方法を実装するように特に設計されたゲート群を含むプログラム済みハードウェアロジックである。
【００２０】
いくつかの実施形態において、ＳＩＳ決定方法アプリケーション２３０は、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態において、モジュールは１つ以上のサブモジュールをも含む。いくつかの実施形態において、より少ないモジュールしか含まれなくてもよく、又は追加的なモジュールが含まれてもよい。
【００２１】
適したコンピューティングデバイスの例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、ＰＤＡ（personal  digital  assistant）、セルラー／モバイルフォン、スマートアプライアンス、ゲームコンソール、デジタルカメラ、デジタルカムコーダ、カメラフォン、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイルデバイス、映像プレーヤ、映像ディスクライタ／プレーヤ（例えば、ＤＶＤライタ／プレーヤ、ＨＤディスクライタ／プレーヤ、ウルトラＨＤディスクライタ／プレーヤ）、テレビジョン、ホームエンターテインメントシステム、スマートジュエリ（例えば、スマートウォッチ）又は他の任意の適したコンピューティングデバイスを含む。
【００２２】
ここで説明したＳＩＳ決定方法を利用するために、デジタルカメラ／カムコーダなどのデバイスを用いて画像／映像コンテンツが取得され、又はテレビジョンなどのデバイスを用いて映像コンテンツが表示される。ＳＩＳ決定方法は、映像コンテンツの伝送の際など、取得され又は表示される映像コンテンツの符号化処理の期間中に、自動的に用いられる。ＳＩＳ決定方法は、ユーザによる補助を伴って実行されてもよく、又はユーザの関与無しに自動的に実行されてもよい。
【００２３】
動作において、ＳＩＳ決定方法は、ＳＩＳがいつ実行されるかを判定して、コンテンツの適切かつ効率的な符号化を確実化する。
【００２４】
［ＩＮ  ＲＥＸＴのためのストロングイントラスムージングのいくつかの実施形態］
１．デバイスの非一時的なメモリ内にプログラムされる方法であって、
ａ）映像コンテンツを取得することと、
ｂ）前記映像コンテンツのクロマフォーマットに依存して、ストロングイントラスムージングを実行することなく、前記映像コンテンツを符号化することと、
を含む方法。
２．前記クロマフォーマットが４４４であると判定することと、ストロングイントラスムージングを有効化しないことと、をさらに含む、条項１の方法。
３．前記クロマフォーマットが４２２又は４４４であると判定することと、ストロングイントラスムージングを有効化しないことと、をさらに含む、条項１の方法。
４．ストロングイントラスムージングフラグが１に等しく、画像成分インデックスがゼロに等しい、条項１の方法。
５．前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、ＰＤＡ（personal  digital  assistant）、セルラー／モバイルフォン、スマートアプライアンス、ゲームコンソール、デジタルカメラ、デジタルカムコーダ、カメラフォン、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイルデバイス、映像プレーヤ、映像ディスクライタ／プレーヤ、テレビジョン、ホームエンターテインメントシステム及びスマートジュエリ、からなる群から選択される、条項１の方法。
６．デバイスの非一時的なメモリ内にプログラムされるシステムであって、
ａ）映像コンテンツのクロマフォーマットに依存して、ストロングイントラスムージングを用いることなく符号化された、符号化映像コンテンツを受信するために構成される受信デバイスと、
ｂ）前記符号化映像コンテンツを表示するために構成される表示デバイスと、
を含むシステム。
７．前記符号化映像コンテンツの符号化は、前記クロマフォーマットが４４４であると判定することと、ストロングイントラスムージングを有効化しないことと、を含んで行われた、条項６のシステム。
８．前記符号化映像コンテンツの符号化は、前記クロマフォーマットが４２２又は４４４であると判定することと、ストロングイントラスムージングを有効化しないことと、を含んで行われた、条項６のシステム。
９．ストロングイントラスムージングフラグが１に等しく、画像成分インデックスがゼロに等しい、条項６のシステム。
１０．前記デバイスは、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、ＰＤＡ（personal  digital  assistant）、セルラー／モバイルフォン、スマートアプライアンス、ゲームコンソール、デジタルカメラ、デジタルカムコーダ、カメラフォン、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイルデバイス、映像プレーヤ、映像ディスクライタ／プレーヤ、テレビジョン、ホームエンターテインメントシステム及びスマートジュエリ、からなる群から選択される、条項６のシステム。
１１．
ａ）表示デバイスと、
ｂ）ｉ）映像コンテンツのクロマフォーマットに依存して、ストロングイントラスムージングを用いることなく符号化された、映像コンテンツを受信し、
ｉｉ）前記映像コンテンツを前記表示デバイス上に表示する、
ためのアプリケーションを記憶するための非一時的なメモリと、
ｃ）前記メモリに連結され、前記アプリケーションを処理するために構成される処理コンポーネントと、
を備える装置。
１２．前記符号化映像コンテンツの符号化は、前記クロマフォーマットが４４４であると判定することと、ストロングイントラスムージングを有効化しないことと、を含んで行われた、条項１１の装置。
１３．前記符号化映像コンテンツの符号化は、前記クロマフォーマットが４２２又は４４４であると判定することと、ストロングイントラスムージングを有効化しないことと、を含んで行われた、条項１１の装置。
１４．ストロングイントラスムージングフラグが１に等しく、画像成分インデックスがゼロに等しい、条項１１の装置。
１５．前記装置は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、ＰＤＡ（personal  digital  assistant）、セルラー／モバイルフォン、スマートアプライアンス、ゲームコンソール、デジタルカメラ、デジタルカムコーダ、カメラフォン、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイルデバイス、映像プレーヤ、映像ディスクライタ／プレーヤ、テレビジョン、ホームエンターテインメントシステム及びスマートジュエリ、からなる群から選択される、条項１１の装置。
【００２５】
本発明の構成及び動作の原理の理解を容易にするための詳細を取り入れながら、特定の実施形態の観点で本発明を説明した。特定の実施形態及びそれらの詳細へのここでのそうした言及は、ここに添付される特許請求の範囲のスコープを限定することを意図したものではない。特許請求の範囲により定義される通りの本発明の思想及びスコープから逸脱することなく、説明のために選択された実施形態において、他の多様な修正をなし得ることが、当業者にはすぐに明らかとなるであろう。
【図１】
0006504174.tif 000004
【図２】
0006504174.tif 000005