(57)【要約】  適応的解像度コーダ又はデコーダ内で参照画像として使用される画像が、処理されている画像の解像度と一致するようにサイズ変更される。サイズ変更プロセスは、処理される画像をより正確に表わすために拡張解像度ビット長を使用して行われる。内部ビット深度はサイズ変更プロセス中保持され、参照画像として保たれる、が記憶される。参照画像が動き補償処理内で使用される場合、サイズ変更される参照は処理されている現在の画像の解像度と一致し、より優れた忠実性を実現するための拡張ビット深度精度を有する。
2019505110.tif 000002
【特許請求の範囲】
【請求項１】
適応的解像度コーディングの方法であって、
参照ピクチャとして使用する画像をサイズ変更すること（１１０）と、
前記サイズ変更済み参照画像のビット深度をサイズ変更前よりも高い精度に増加すること（１２０）であって、ビット深度の増加は解像度の変化がなくてもピクチャごとに行われる、増加すること（１２０）と、
前記サイズ変更済みのビット深度増加画像を記憶すること（１３０）と、
前記記憶したサイズ変更済み画像を参照として使用して現在の画像に対して動き補償を行うこと（１４０）と、
を含む、方法。
【請求項２】
適応的解像度コーディングの機器であって、
参照として使用する画像をサイズ変更するためのプロセッサ（２１０）と、
前記サイズ変更済み参照画像のビット深度をサイズ変更前よりも優れた精度に増加するためのシフト回路（２２０）であって、ビット深度の増加は解像度の変化がなくてもピクチャごとに行われる、シフト回路（２２０）と、
前記サイズ変更済みのビット深度増加画像を記憶するためのメモリ（２３０）と、
現在の画像に作用し、前記記憶されたサイズ変更済み画像を参照として使用する動き補償回路（２４０）と、
を含む、機器。
【請求項３】
エンコーダによって実装される、請求項１に記載の方法又は請求項２に記載の機器。
【請求項４】
デコーダによって実装される、請求項１に記載の方法又は請求項２に記載の機器。
【請求項５】
ビットストリーム内でビット深度情報がシグナリングされる、請求項１に記載の方法又は請求項２に記載の機器。
【請求項６】
サイズ変更済み画像のビット深度の増加が特定の解像度の画像についてのみ行われる、請求項１に記載の方法又は請求項２に記載の機器。
【請求項７】
ビット深度の増加がピクチャごとに行われる、請求項１に記載の方法又は請求項２に記載の機器。
【請求項８】
参照画像のビット深度が前記参照画像内の領域ごとに異なる、請求項１に記載の方法又は請求項２に記載の機器。
【請求項９】
サイズ変更済みピクチャのビット深度が等しいことを示し、前記ビット深度をコーディングするシーケンスヘッダ内のフラグを
コーディングすることを更に含む請求項１に記載の方法、又はコーディングするプロセッサを更に含む請求項２に記載の機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、ビデオ画像の適応的解像度コーディング（ＡＲＣ：adaptive resolution coding）に関する。
【背景技術】
【０００２】
最近の３８４０×２０４８フォーマットの超高精細（ＵＨＤ）ビデオコンテンツの展開、及びやがて来る１００／１２０Ｈｚにおける７６８０×４３２０ｐのＵＨＤ−２ビデオフォーマットは、そのような非常に高精細のピクチャを管理することができるビデオ圧縮ツール及びシステムに対する需要を引き起こした。
【０００３】
加えて、ビデオオンデマンド（ＶＯＤ）及びオーバザトップ（ＯＴＴ）アプリケーションの登場、並びにビデオストリーミングアプリケーションによってやり取りされるビデオコンテンツの増加、適応的解像度は将来のビデオコーデックの新たな且つ困難な要件だと予見されている。
【０００４】
高精細映像コーディング（ＨＥＶＣ）規格における適応的解像度コーディングは、瞬時デコーダリフレッシュ（ＩＤＲ）フレームを挿入することなしに状況に応じて解像度を動的に適応させることを意味する。ＩＤＲフレームを挿入することと比較し、ＡＲＣを使用する場合ゲインが６．９％〜７．４％であることが示されている。一部の研究は、或る実験的な解像度スイッチ選択法（resolution switch selection method）を使用し、元のフレームのサイズ及び構成に応じて３％〜３０％のゲインを報告している。
【０００５】
実際の使用事例では、低ビットレートの応用において十分なコーディング効率を促進するために、下げられた解像度まで再サンプリングすることが使用されている。第１の従来の方法は、ＨＥＶＣ参照ソフトウェアの修正バージョンと共に４Ｋ及び８Ｋビデオコンテンツを使用し、平均約１０％（Ｙ、Ｕ、Ｖそれぞれにおいて１５％、２７．１％、及び１９．４％まで）のBlu-ray Disc（ＢＤ）レートの低下を報告した。
【０００６】
適応的解像度コーディングをビデオコーデック内に実装する場合、２つの主な問題に直面する可能性がある。
【０００７】
第１の問題は精度損失である。参照ピクチャの解像度を現在のピクチャサイズと整合させるためのサイズ変更の間に行われるアップサンプリング操作又はダウンサンプリング操作中に行われる計算内で精度が欠如することは幾らかの損失を生ぜしめる。アップサンプリングプロセス及びダウンサンプリングプロセスは、動き補償（ＭＣ）フィルタのフィルタリング及び丸め演算と共に蓄積する潜在的な情報損失を伴う追加の丸め演算を使用する。
【０００８】
第２の問題はメモリ要件の増加である。デコーダピクチャバッファ（ＤＰＢ）は、デコーダのメモリ要件を増加させ得るあり得る全ての解像度を含み得る。
【０００９】
サイズ変更と動き補償とを共に組み合わせることによってこれらの制限の両方を減らせることを別の従来の手法が示している。しかし、このサイズ変更と動き補償との複合処理はタップ数が増加したフィルタを使用することによって得られ、かかるタップ数の増加は計算負荷を高め、この複合手法の利益を減らし得る。
【発明の概要】
【課題を解決するための手段】
【００１０】
従来技術のこれらの及び他の欠点及び不利点が本原理によって対処され、本原理は適応的解像度コーディングと適応的内部ビット深度増加とを組み合わせる方法及び機器を対象とする。
【００１１】
本原理は、復号され再構築されるピクチャの正規のビット深度と無関係に、場合によってはサイズ変更される参照ピクチャに関連する内部ビット深度増加（ＩＢＤＩ）を指定することを含む。サイズ変更されるＩＢＤＩのパラメータは、ピクチャごとに又は領域ごとに適応させることができる。これらの原理の利点は、適応的解像度コーディングが使用されるとき、サイズ変更済みピクチャの精度を高めることによってビデオコーディング効率を改善することである。
【００１２】
本原理の一態様によれば、適応的解像度コーディングの方法が提供される。この方法は、参照ピクチャとして使用する画像をサイズ変更すること、及びサイズ変更済み画像のビット深度をサイズ変更前よりも優れた精度に増加することを含む。この方法は、サイズ変更済みのビット深度増加画像を記憶すること、及び記憶したサイズ変更済み画像を参照として使用して現在の画像に対して動き補償を行うことを更に含む。
【００１３】
本原理の別の態様によれば、適応的解像度コーディングの機器が提供される。この機器は、参照として使用する画像をサイズ変更するためのプロセッサを含み、サイズ変更済み画像のビット深度をサイズ変更前よりも優れた精度に増加するためのシフト回路を更に含む。この機器は、サイズ変更済みのビット深度増加画像を記憶するためのメモリ、及び現在の画像に作用し、記憶されたサイズ変更済み画像を参照として使用する動き補償回路も含む。
【００１４】
或る有利な実施形態では、先に言及した方法及び機器をエンコーダによって実装する。
【００１５】
別の有利な実施形態では、先に言及した方法及び機器をデコーダによって実装する。
【００１６】
更に別の有利な実施形態では、先に言及した方法及び機器をビットストリーム内でシグナリングされるビット深度情報を使用して実装する。
【００１７】
更に別の有利な実施形態では、先に言及した方法及び機器を実装し、サイズ変更済み画像のビット深度の増加を特定の解像度の画像についてのみ行う。
【００１８】
更に別の有利な実施形態では、先に言及した方法及び機器を実装し、ビット深度の増加をピクチャごとに行う。
【００１９】
更に別の有利な実施形態では、先に言及した方法及び機器を実装し、参照画像のビット深度が参照画像内の領域ごとに異なる。
【図面の簡単な説明】
【００２０】
【図１】本原理を使用する方法の一実施形態を示す。
【図２】本原理を使用する機器の一実施形態を示す。
【図３】本原理を使用するＡＲＣ及びＩＢＤＩの一実施形態例を示す。
【図４】本原理を使用するＡＲＣ単一解像度及びＩＢＤＩの組合せの一実施形態例を示す。
【図５】本原理を使用する、ピクチャごとに適応的なＩＢＤＩの一実施形態例を示す。
【図６】解像度の変化を伴うピクチャごとに適応的なＩＢＤＩの一実施形態例を示す。
【発明を実施するための形態】
【００２１】
適応的解像度コーディング（ＡＲＣ）は精度損失及びメモリの増加を引き起こし得る。参照ピクチャを現在のピクチャサイズのフォーマットに合わせてサイズ変更する場合、数学演算の丸めがフィルタリング及び動き補償プロセスと共に蓄積する精度損失を引き起こし得る。
【００２２】
本明細書に記載する実施形態は、内部ビット深度増加（ＩＢＤＩ）と呼ばれる内部データパスにおける増加したビット深度精度を使用できるようにし、より優れた予測、より小さい残差、及びより優れた全体的ビデオ画質をもたらす。サイズ変更は、例えば８ビットサンプルの線形結合に右シフトによって実施される最終的な丸めを加えたものによって実現することができる。所望の出力ビット深度を得るためにこの右シフトを調節することができる。参照フレームのための内部の１０ビット精度を使用して８ビットのビデオコンテンツをコーディングするＨＥＶＣ参照ソフトウェアを使って行われた実験結果は、デコーダのメモリ要件を増加させたが著しいＢＤレートの改善を示した。
【００２３】
図１は、適応的解像度コーディングのための方法１００の一実施形態を示す。この方法は開始ブロック１０１で始まり、画像をサイズ変更するためのブロック１１０に進む。次いで制御がブロック１１０から、サイズ変更済み画像のビット深度を増加させるためのブロック１２０に進む。ビット深度を増加させることは、画像をサイズ変更する数学プロセス内で使用されるより多くのビットを保つことによって実施され得る。制御はブロック１２０から、サイズ変更済みのビット深度増加画像を記憶するためのブロック１３０に進む。次いで制御がブロック１３０から、記憶したサイズ変更済みのビット深度増加画像を参照として使用して現在の画像に対して動き補償を行い、動き補償済み画像を作り出すためのブロック１４０に進む。
【００２４】
図２は、適応的解像度コーディングのための機器２００の一実施形態を示す。この機器は、入力ポート上で参照画像を受信するプロセッサ２１０を含む。プロセッサ２１０は、自らの入力ポート上の画像をサイズ変更するために使用される。プロセッサ２１０の出力は、シフト回路２２０の入力と信号通信する。シフト回路２２０はサイズ変更済み画像を自らの入力上で受信し、その画像のビット深度を増加させる。シフト回路２２０の出力は、後で参照として使用されるサイズ変更済みのビット深度増加画像を記憶するメモリ２３０の入力と信号接続する。メモリ２３０の出力は、動き補償回路２４０の第１の入力と信号接続する。動き補償回路２４０は、第２の入力ポート上で現在の画像も受信する。動き補償回路２４０の第１の入力ポート上のサイズ変更済みのビット深度増加参照画像と共に現在の画像を処理して、動き補償回路２４０の出力ポート上に動き補償出力をもたらす。
【００２５】
提案する実施形態は、残りの参照ピクチャが正規のビット深度精度を使用しながら、サイズ変更済み解像度参照ピクチャを増加したビット深度精度で記憶することによってＩＢＤＩ及びＡＲＣの利益を組み合わせる。この実施形態は精度損失の問題を軽減するのを助ける。
【００２６】
提案する別の実施形態は、参照ピクチャのビット深度が動的に変わることを可能にする。低解像度の参照ピクチャしかＩＢＤＩと共に記憶されない場合、この手法は、デコーダのメモリ要件の増加によってゲインを消失させることなしに、ＡＲＣの効率を高めることによってＩＢＤＩの利点を活用する。より高精度でアップサンプリングしたサイズ変更済みピクチャを保つことは、メモリの帯域幅要件を著しく高める可能性があり、そのためダウンサンプリングした参照だけを有するＩＢＤＩを使用することによってトレードオフを検討することができる。例えば低解像度の参照をアップサンプリングするうちにより優れた精度が実現されるのでＡＲＣの効率は高まる。更に、全体的なデコーダのメモリ要件は変わらず、又は系統的に増加されない。
【００２７】
サイズ変更済み再構築参照ピクチャのビット深度が、例えばシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、又はスライスヘッダを使用してビットストリーム内でシグナリングされる。より優れた精度を実現するために最終的な丸め及びシフト演算をしかるべく設定することにより、サイズ変更操作（アップサンプリング及びダウンサンプリングの両方）及び動き補償プロセスが記載の実施形態において適応される。
【００２８】
サイズ変更済み参照ピクチャのビット深度が動的に変わる場合、ビット深度情報も動的に送信することができる。例えば、或るビット深度を特定の参照ピクチャに使用することができ、別のビット深度を第２の参照ピクチャに使用することができる。しかし、例えばサイズ変更済み（又は特定のサイズ変更比の）ピクチャ全てのビット深度が同じであることを示すシーケンスヘッダ内のフラグをコーディングし、その値をコーディングすることができる。予測としてこれらの参照ピクチャを使用する再構築ピクチャ内のドリフト誤差を避けるために、デコーダは参照ピクチャのビット深度を知る必要がある。
【００２９】
本原理の一実施形態を図３に示し、図３は複合型のＡＲＣ及びＩＢＤＩの一例を示す。アクセスユニットＡＵ−０に対応するダウンサンプリングされたサイズ変更済み参照ピクチャが１０ビット精度で出力される一方、正規のビット深度は８ビットである。ＡＵ−０に対応するより高精度のダウンサンプリングされた参照ピクチャが、より小さい８ビットサイズのピクチャＡＵ−１への動き補償のためにデコーダピクチャバッファ（ＤＰＢ）から入手できる。ＤＰＢは、低解像度の参照ピクチャ及び高解像度の参照ピクチャの両方を記憶する。
【００３０】
本原理の別の実施形態を図４に示す。図４では、サイズ変更操作を動き補償処理と組み合わせる。精度を高めながら帯域幅メモリを減らす。
【００３１】
別の実施形態では、メモリの帯域幅要件の増加を最小限に抑えるために、サイズ変更済みピクチャのビット深度の増加を低解像度のピクチャについてのみ行う。このシナリオの例が図３、図４、及び図６にある。但し、ビット深度の増加は図示のように低解像度のピクチャの全て又は単にその一部に関係し得る。低解像度のピクチャは、別の解像度で処理されている画像シーケンスのフォーマットと相対的なものであり得る。例えば７６８０×４３２０フォーマットの信号を処理する場合、低解像度は１９２０×１０２４フォーマットの参照であり得る。
【００３２】
別の実施形態では、図５に示すように、解像度の変化がなくても、ビット深度の増加が図６に示すようにピクチャごとに行われる。この形態は、例えば重要な参照ピクチャ又は参照ピクチャとして頻繁に使用されるピクチャの精度を高めることを可能にする。
【００３３】
別の実施形態では、参照ピクチャのビット深度が例えばスライスごと等、ピクチャ内の領域ごとに異なり得る。この実施形態は、より低いＩＢＤＩが使用される場合は帯域幅メモリを節約するために、又はより高いＩＢＤＩが使用される場合は精度を高めるために使用され得る。
【００３４】
上記の実施形態は、セットトップボックス（ＳＴＢ）、モデム、ゲートウェイ、又はビデオのコーディング及び復号を行う他の装置によって実装することができる。
【００３５】
図示の様々な要素の機能は、専用ハードウェア並びに適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアを使用することによって提供することができる。プロセッサによって提供される場合、機能は単一の専用プロセッサによって、単一の共用プロセッサによって、又はその一部が共用されても良い複数の個々のプロセッサによって提供され得る。更に、「プロセッサ」又は「コントローラ」という用語の明示的使用は、ソフトウェアを実行可能なハードウェアを排他的に指すものだと解釈すべきではなく、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読取専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、及び不揮発性記憶域を制限なしに暗に含み得る。
【００３６】
他の従来の及び／又は特注のハードウェアも含まれ得る。同様に、図示の何れのスイッチも概念上のものに過ぎない。それらの機能は、プログラムロジックの動作によって、専用ロジックによって、プログラム制御及び専用ロジックの相互作用によって、更には手動で実行することができ、文脈からより明確に理解されるように特定の技法が実装者によって選択可能である。
【００３７】
本明細書は本原理を例示する。従って本明細書で明確に説明され又は図示されていなくても、本原理を具体化し本原理の趣旨及び範囲に含まれる様々なアレンジを当業者なら考案できることが理解されよう。
【００３８】
本明細書で挙げた全ての例及び条件付き言語は、当技術分野を促進するために発明者がもたらす本原理及び概念を読者が理解するのを助けるための教示を目的とするものであり、具体的に挙げたかかる例及び条件に限定されないものと解釈されるべきである。
【００３９】
更に、本原理並びに本原理の具体例の原理、態様、及び実施形態を挙げる本明細書の全ての表現は、その構造上の等価物及び機能上の等価物の両方を包含することを意図する。加えて、かかる等価物は現在知られている等価物並びに将来開発される等価物、即ち構造に関係なく同じ機能を実行する開発される任意の要素の両方を含むことを意図する。
【００４０】
従って、例えば本明細書で示したブロック図は、本原理を具体化する例示的回路の概念図を示すことを当業者なら理解されよう。同様に、任意の工程図、流れ図、状態遷移図、疑似コード等は、コンピュータ可読媒体内で実質的に表わすことができ、そのためコンピュータ又はプロセッサによって、かかるコンピュータ又はプロセッサが明確に示されていようがいまいが実行される様々なプロセスを表わすことが理解されよう。
【００４１】
本明細書の特許請求の範囲では、指定の機能を行うための手段として表わす如何なる要素も、例えばａ）その機能を行う回路素子の組合せ、又はｂ）その機能を行うためにソフトウェアを実行するための適切な回路と組み合わせられる任意の形式の、従ってファームウェアやマイクロコード等を含むソフトウェアを含む、その機能を行う任意のやり方を包含することを意図する。かかる特許請求の範囲によって定める本原理は、列挙した様々な手段によって与えられる機能が、特許請求の範囲が必要とするやり方で組み合わせられ、まとめられるという事実にある。従って、それらの機能を提供可能な如何なる手段も本明細書に示した手段と等価と見なす。
【００４２】
本原理の「一実施形態」又は「或る実施形態」並びにそれらの他の変形形態に本明細書で言及することは、実施形態に関連して記載した特定の特徴、構造、特性等が本原理の少なくとも一実施形態に含まれることを意味する。従って、本明細書の全体を通して様々な場所に登場する「一実施形態では」又は「或る実施形態では」という語句並びに他の変形形態の登場は必ずしも全て同じ実施形態を指すものではない。
【図１】
2019505110.tif 000003
【図２】
2019505110.tif 000004
【図３】
2019505110.tif 000005
【図４】
2019505110.tif 000006
【図５】
2019505110.tif 000007
【図６】
2019505110.tif 000008
【国際調査報告】
2019505110.tif 000009
2019505110.tif 000010
2019505110.tif 000011