(57)【要約】  本発明の実施形態は、ビデオシーケンス内のオブジェクトの検出に基づき、効率的にビデオデータを符号化する技術を提供する。ビデオコーダは、フレーム上でオブジェクトの検出を行ない、オブジェクトが検出されると、オブジェクトが位置している場所のフレームの領域の統計を生成することができる。ビデオコーダは、オブジェクトの位置に隣接するピクセルと、オブジェクトの統計とを比較し、オブジェクトの位置に対応するピクセルブロックと、検出されたオブジェクトと類似した統計を持つ、隣接するピクセルに対応するピクセルブロックを含むように、オブジェクト領域を画定することができる。ビデオコーダは、ブロックベースの圧縮アルゴリズムに従って、ビデオフレームを符号化することができ、その際オブジェクト領域のピクセルブロックは、比較的品質の高い符号化を生成する符号化パラメータに従って符号化され、オブジェクト領域の外側にあるピクセルブロックは、比較的品質の低い符号化を生成する符号化パラメータに従って符号化される。
2015508954.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ符号化の方法であって、
符号化されるフレームを複数のピクセルブロックに分解するステップと、
前記フレーム上でオブジェクトの検出を行うステップと、
オブジェクトが検出されると、前記オブジェクトが位置している前記フレームの領域の統計を生成するステップと、
前記オブジェクトの位置に隣接するピクセルと、前記オブジェクトの統計とを比較するステップと、
前記オブジェクトの位置に対応するピクセルブロックと、前記比較により識別された隣接するピクセルに対応するピクセルブロックとを含むように、オブジェクト領域を画定するステップと、
ブロックベースの圧縮アルゴリズムに従って前記ビデオフレームを符号化するステップであって、前記オブジェクト領域のピクセルブロックが比較的高い品質の符号化を生成する符号化パラメータに従って符号化され、前記オブジェクト領域の外側のピクセルブロックが比較的低い品質の符号化を生成する符号化パラメータに従って符号化される、ステップと、を含む方法。
【請求項２】
前記符号化パラメータが量子化パラメータを含み、前記オブジェクト領域ピクセルブロックの前記量子化パラメータが前記非オブジェクト領域ピクセルブロックの前記量子化パラメータよりも概ね低い、請求項１に記載の方法。
【請求項３】
前記符号化パラメータが符号化モード選択を含み、非オブジェクト領域ピクセルブロックの符号化モード選択がＳＫＩＰに設定される、請求項１に記載の方法。
【請求項４】
符号化する前に、前記オブジェクトの位置の外側の空間領域内のピクセルに、ぼかしフィルタを適用するステップを更に含む、請求項１に記載の方法。
【請求項５】
前記フレームの複数のサブ領域を画定するステップと、
前記オブジェクト領域の外側の前記ピクセルブロックを、前記オブジェクト領域からの前記ピクセルブロックの距離に従って、各サブ領域に割り当てるステップと、
各サブ領域に従って、前記ピクセルブロックの前記符号化パラメータを調整するステップと、を更に含む請求項１に記載の方法。
【請求項６】
前記調整が、量子化パラメータ調整である、請求項５に記載の方法。
【請求項７】
前記サブ領域が前記オブジェクト領域の周囲にピクセルブロックのハローを形成する、請求項５に記載の方法。
【請求項８】
前記オブジェクト検出が顔検出である、請求項１に記載の方法。
【請求項９】
ビデオ符号化の方法であって、
符号化されるフレームを複数のピクセルブロックに分解するステップと、
前記フレーム上でオブジェクトの検出を行うステップと、
オブジェクトが検出されると、前記オブジェクトが位置している前記フレームの領域の統計を生成するステップと、
前記オブジェクトの位置に隣接するピクセルと、前記オブジェクトの統計とを比較するステップと、
前記オブジェクトの位置に対応するピクセルブロックと、前記比較により識別された隣接するピクセルに対応するピクセルブロックとを含むように、オブジェクト領域を画定するステップと、
ブロックベースの圧縮アルゴリズムに従って前記ビデオフレームを符号化するステップであって、前記オブジェクト領域のピクセルブロックが比較的低い量子化パラメータに従って符号化され、前記オブジェクト領域の外側のピクセルブロックが概ね高い量子化パラメータにより符号化される、ステップと、を含む方法。
【請求項１０】
前記フレームの複数のサブ領域を画定するステップと、
前記オブジェクト領域の外側の前記ピクセルブロックを、前記オブジェクト領域からの前記ピクセルブロックの距離に従って、各サブ領域に割り当てるステップと、
各サブ領域に従って、前記ピクセルブロックの前記符号化パラメータを調整するステップと、を更に含む請求項９に記載の方法。
【請求項１１】
前記ピクセルブロック調整が、前記オブジェクト領域からの各サブ領域の距離に基づき、線形に変化する、請求項１０に記載の方法。
【請求項１２】
前記ピクセルブロック調整が、前記オブジェクト領域からの各サブ領域の距離に基づき、不均一に変化する、請求項１０に記載の方法。
【請求項１３】
前記サブ領域が前記オブジェクト領域の周囲にピクセルブロックのハローを形成する、請求項１０に記載の方法。
【請求項１４】
前記ピクセルブロックの量子化パラメータは、前記オブジェクトからの各ピクセルブロックの距離に従って調整される、請求項９に記載の方法。
【請求項１５】
符号化する前に、前記オブジェクトの位置の外側の空間領域内のピクセルに、ぼかしフィルタを適用するステップを更に含む、請求項９に記載の方法。
【請求項１６】
前記オブジェクト検出が顔検出である、請求項９に記載の方法。
【請求項１７】
ビデオ符号化の方法であって、
符号化を行うビデオフレーム上で顔検出を行うステップと、
顔が検出されると、前記顔検出により識別された顔の長方形の境界に沿って、ピクセルのコンテンツをサンプリングするステップと、
前記サンプリングされたピクセルのコンテンツと、前記顔の長方形内のピクセルのコンテンツを比較するステップと、
前記比較が顔の一部でないと決定したピクセルのコンテンツをフィルタリングするステップと、
量子化パラメータを用いたブロックベースの圧縮アルゴリズムに従って、前記ビデオフレームを符号化するステップであって、前記量子化パラメータが、前記顔の長方形の外側のブロックに対するよりも、前記顔の長方形内のブロックに対して低い値を持つ、ステップと、を含む方法。
【請求項１８】
前記顔の長方形の周囲に、前記フレームの複数のサブ領域を画定するステップと、
前記顔の長方形からの前記ピクセルブロックの距離に従って、前記顔の長方形の外側の前記ピクセルブロックを、各々のサブ領域に割り当てるステップと、
各々のサブ領域に従って、前記ピクセルブロックの前記符号化パラメータを調整するステップと、を更に含む請求項１７に記載の方法。
【請求項１９】
前記サブ領域は、前記顔の長方形の周囲にピクセルブロックのハローを形成する、請求項１８に記載の方法。
【請求項２０】
符号化装置であって、
フレームのピクセルブロックに適用する予測符号化技術に従って、ビデオシーケンスの前記フレームを符号化する符号化エンジンと、
前記ビデオシーケンスのフレーム内で、オブジェクトの位置を識別するオブジェクト検出器と、
前記フレーム内で符号化領域を画定するコントローラであって、前記符号化領域はオブジェクト領域と複数のサブ領域とを含み、前記コントローラは、前記オブジェクト領域内のピクセルブロックには比較的高品質の符号化を施し、前記オブジェクト領域からの各サブ領域の距離に従って、前記サブ領域内の前記ピクセルブロックには次第に低品質の符号化を施すように、前記符号化エンジンにより適用される符号化パラメータを調整する、コントローラと、を備える符号化装置。
【請求項２１】
前記符号化エンジンによる符号化の前に、前記ビデオシーケンスに対して前処理を行う、前記サブ領域に対応するフレームデータにぼかしを施す、ぼかしフィルタを更に備える請求項２０に記載の装置。
【請求項２２】
前記ぼかしフィルタが、前記オブジェクト領域からの距離が大きいピクセルに対してはぼかしレベルを上げ、前記オブジェクト領域からの距離が小さいピクセルに対してはぼかしレベルを下げる、請求項２１に記載の装置。
【請求項２３】
動き予測器を更に含み、
前記ぼかしフィルタが、高いレベルの動きを有するフレームについては前記オブジェクト領域の外側のピクセルのぼかしレベルを上げ、低いレベルの動きを有するフレームについては前記オブジェクト領域の外側のピクセルのぼかしレベルを下げる、請求項２１に記載の装置。
【請求項２４】
前記オブジェクト検出器が、顔検出器である、請求項２０に記載の装置。
【請求項２５】
前記コントローラが、大きい量子化パラメータ調整を前記サブ領域のピクセルブロックに提供することを含む、量子化パラメータ調整を前記符号化エンジンに提供する、請求項２０に記載の装置。
【請求項２６】
前記コントローラが、前記サブ領域のピクセルブロックを選択するＳＫＩＰモード割当を含む、符号化モード選択を前記符号化エンジンに提供する、請求項２０に記載の装置。
【請求項２７】
コンピュータが読み取り可能な媒体であって、プロセッサにより実行されると、プロセッサに、
符号化されるフレームを複数のピクセルブロックに分解させ、
前記フレーム上でオブジェクトの検出を行わせ、
オブジェクトが検出されると、前記オブジェクトが位置している前記フレームの領域の統計を生成させ、
前記オブジェクトの位置に隣接するピクセルと、前記オブジェクトの統計とを比較させ、
前記オブジェクトの位置に対応するピクセルブロックと、前記比較により識別された隣接するピクセルに対応するピクセルブロックと、を含むように、オブジェクト領域を画定させ、
ブロックベースの圧縮アルゴリズムに従って前記ビデオフレームを符号化させ、前記オブジェクト領域のピクセルブロックが、比較的高い品質の符号化を生成する符号化パラメータにより符号化され、前記オブジェクト領域の外側のピクセルブロックが、比較的低い品質の符号化を生成する符号化パラメータにより符号化される、プログラム命令を記憶した、媒体。
【請求項２８】
前記符号化パラメータが、量子化パラメータを含み、前記オブジェクト領域ピクセルブロックの前記量子化パラメータが、前記非オブジェクト領域ピクセルブロックの前記量子化パラメータよりも概ね低い、請求項２７に記載の媒体。
【請求項２９】
前記符号化パラメータが、符号化モード選択を含み、非オブジェクト領域ピクセルブロックの符号化モード選択が、ＳＫＩＰに設定される、請求項２７に記載の媒体。
【請求項３０】
前記命令が更に前記プロセッサに、符号化する前に、前記オブジェクト領域の外側の空間領域内のピクセルに、ぼかしフィルタを適用させる、請求項２７に記載の媒体。
【請求項３１】
エンコーダにより生成された符号化ビデオデータを記憶する、物理的なコンピュータが読み取り可能な媒体であって、前記エンコーダが
符号化されるフレームを複数のピクセルブロックに分解し、
前記フレーム上でオブジェクトの検出を行い、
オブジェクトが検出されると、前記オブジェクトが位置している前記フレームの領域の統計を生成し、
前記オブジェクトの位置に隣接するピクセルと、前記オブジェクトの統計とを比較し、
前記オブジェクトの位置に対応するピクセルブロックと、前記比較により識別された隣接するピクセルに対応するピクセルブロックと、を含むように、オブジェクト領域を画定し、
ブロックベースの圧縮アルゴリズムに従って前記ビデオフレームを符号化し、前記オブジェクト領域のピクセルブロックが比較的高い品質の符号化を生成する符号化パラメータにより符号化され、前記オブジェクト領域の外側のピクセルブロックが比較的低い品質の符号化を生成する符号化パラメータにより符号化された、媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ符号化、特に画像品質を維持すると同時に、バンド幅を節約するビデオ符号化技術に関する。
【背景技術】
【０００２】
ビデオコーデックシステムは、増え続ける様々な民生機器に採用され続けている。ビデオコーデックは、通信バンド幅が、無線ネットワークや、バンド幅が比較的低く予測できない他のインフラにより供給される、例えば最新のスマートフォンやタブレットコンピュータにも見ることができる。そのようなアプリケーションは、符号化ビデオデータのために遥かに大きいバンド幅が利用できるＤＶＤプレーヤのような他のコーデックアプリケーションと著しく異なる。それ故、そのような最新のコーデックアプリケーションは、コーデックの設計者に対して、すぐれた画像品質はそのまま提供して、符号化ビデオのビットレートをできるだけ小さくする、高性能化を要求している。
【０００３】
本発明者は、ビデオフレーム内の着目するオブジェクトを認識し、符号化パラメータを選択して、オブジェクトを含む領域を高品質に符号化し、フレームの他の領域ではバンド幅を節約し、様々な領域の間でスムーズな符号化の移行を提供する、ビデオコーダの技術が必要であることを認めている。
【図面の簡単な説明】
【０００４】
【図１】本発明の一実施形態に係わるビデオ符号化システムの簡単なブロック図である。
【図２】本発明の一実施形態に係わるビデオコーダにより処理することができるビデオデータのフレームの一例である。
【図３】本発明の一実施形態に係わるビデオデータのフレームのピクセルブロックの符号化方法である。
【図４】図２に示すフレームデータに適用した、本発明の様々な実施形態のいくつかの例である。
【図５】図２に示すフレームデータに適用した、本発明の様々な実施形態のいくつかの例である。
【図６】図２に示すフレームデータに適用した、本発明の様々な実施形態のいくつかの例である。
【図７】本発明の実施形態に係るピクセルブロック符号化システムの、簡単なブロック図である。
【発明を実施するための形態】
【０００５】
本発明の実施形態は、ビデオシーケンス内のオブジェクトの検出に基づき、ビデオデータを効率よく符号化する技術を提供する。実施形態によれば、ビデオコーダはフレーム上でオブジェクトの検出を行うことができ、オブジェクトが検出されると、オブジェクトが位置しているフレームの領域の統計を生成する。ビデオコーダは、オブジェクトの位置に隣接するピクセルと、オブジェクトの統計とを比較することができ、オブジェクト領域を、オブジェクトの位置に対応するピクセルブロック、及び検出されたオブジェクトと類似した統計を有する、隣接したピクセルに対応するピクセルブロックを含むように画定することができる。コーダは、ブロックベースの圧縮アルゴリズムによりビデオフレームを符号化してもよいが、オブジェクト領域のピクセルブロックは、比較的高い品質の符号化を生成する符号化パラメータにより符号化され、オブジェクト領域の外側のピクセルブロックは、比較的低い品質の符号化を生成する符号化パラメータにより符号化される。
【０００６】
別の実施形態では、さらに高度な符号化技術を提供する。例えば、ビデオコーダは、個々のピクセルブロック内から、検出されたオブジェクトの一部であるピクセルブロックの部分を、検出されたオブジェクトの一部ではないピクセルブロックの他の部分から、区別することができる。これらの実施形態はさらに、前処理動作をピクセルブロックの様々な部分に適用して、検出されたオブジェクトに属する部分の符号化の高品質を維持し、非オブジェクト部分に対して高圧縮の符号化を施すことができる。例えば、コーダは符号化を行う前に、ピクセルブロックの非オブジェクト部分に対して、ぼかしフィルタを適用することができる。
【０００７】
図１（ａ）は、本発明の一実施形態に係るビデオ符号化システム１００の、簡単なブロック図である。システム１００は、ネットワーク１３０を介して相互に接続された複数の端末１１０、１２０を含んでもよい。端末１１０、１２０は、それぞれローカル位置でビデオデータをキャプチャし、ネットワーク１３０を介して他の端末に転送するためにそのビデオデータを符号化することができる。各端末１１０、１２０は、ネットワーク１３０から他の端末の符号化ビデオデータを受信し、符号化データを復号し、復元したビデオデータを表示することができる。
【０００８】
図１（ａ）では、端末１１０、１２０はスマートフォンを示すが、本発明の原理が大幅に限定されることはない。本発明の実施形態は、パーソナルコンピュータ（デスクトップコンピュータとラップトップコンピュータの両方）、タブレットコンピュータ、コンピュータサーバ、メディアプレーヤ、及び／又はテレビ会議専用機器に応用される。ネットワーク１３０は、端末１１０、１２０間で符号化ビデオデータを伝達する任意の数のネットワークを表しており、例えば有線通信ネットワーク、及び／又は無線通信ネットワークも含む。通信ネットワーク１３０は、回線交換チャネル、及び／又はパケット交換チャネルで、データ交換を行うことができる。代表的なネットワークには、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、及び／又はインターネットが含まれる。本議論のために、ネットワーク１３０のアーキテクチャとトポロジーは、特に本明細で以下に説明しない限り、本発明の動作には重要でない。
【０００９】
図１（ｂ）は、システム１００内で動作可能なビデオコーダ１４０とデコーダ１５０の機能ブロック図である。端末１１０は、カメラ１６０、ビデオコーダ１４０、送信機１７０を含んでもよい。ビデオコーダ１４０は、カメラ１６０でキャプチャしたビデオデータを符号化することができ、符号化したデータを、ネットワーク１３０が提供するチャネル１３１に配信することができる。ビデオコーダ１４０は、ビデオデータのコンテンツに基づき、符号化パラメータを選択してもよい。送信機１７０は、ビデオコーダ１４０により提供された符号化ビデオデータを、音声コーデック又は他のデータソース（図示せず）により提供された他のデータストリームとマージすることができ、他の端末１２０に転送するためにデータを調整することができる。
【００１０】
第２の端末１２０は、受信機１８０、ビデオデコーダ１５０、ディスプレイ１９０を含んでもよい。受信機１８０は、チャネル１３１からデータを受信し、チャネルデータを分解して、符号化ビデオのストリームを始めとする様々なデータストリームにすることができる。ビデオデコーダ１５０は、符号化ビデオデータを復号し、ビデオコーダ１４０が行った符号化プロセスを逆にして、ビデオデータを符号化ビデオデータから復元することができる。ビデオデータはディスプレイ１９０により描画されてもよく、後で使用するために記憶してもよい。
【００１１】
説明したように、ビデオコーダ１４０は、プリプロセッサ１４２、符号化エンジン１４３、ローカルデコーダ１４４、参照映像キャッシュ１４５、オブジェクト検出器１４６、コントローラ１４７を含んでもよい。プリプロセッサ１４２は、カメラ１６０からソースビデオを受信し、ソースビデオ上で様々な処理動作を行い、符号化するために調整することができる。符号化エンジン１４３は、前処理されたビデオ上で圧縮動作を行い、前処理されたビデオの空間的、及び／又は時間的な冗長性を減らすことができる。符号化エンジン１４３は、符号化ビデオデータを、送信機１７０に出力することができる。デコーダ１４４は、参照フレームの符号化ビデオデータを復号し、その後受信するビデオの符号化で使用するために、参照映像キャッシュ１４５内に復号参照フレームを記憶させることができる。
【００１２】
その名が示す通り、オブジェクト検出器１４６はソースビデオ内のオブジェクト、例えば人間の顔、又は他の所定の種類のオブジェクトを識別することができる。オブジェクト検出器１４６は、オブジェクトがフレーム内で検出されたか否か、又もし検出されたらどこでオブジェクトが見つかったかを示すデータを、コントローラ１４７に対して生成することができる。それに応じて、コントローラ１４７はフレーム内に１つ以上の符号化領域を画定してもよく、各符号化領域のために符号化エンジン１４３に符号化調整を提供してもよい。
【００１３】
プリプロセッサ１４２は、カメラから出力されるソースビデオに対して、様々なビデオ処理動作を行って、符号化のためにソースビデオを調整することができる。プリプロセッサ１４２は、ビデオ内で観測された特性に基づいて、ソースビデオに動的に適用することができるノイズ除去フィルタ、鮮鋭化フィルタ、平滑化フィルタ、バイラテラルフィルタ等のようなフィルタのアレイ（図示せず）を含んでもよい。プリプロセッサ１４２は、カメラからのソースビデオデータをレビューして１つ以上の適用フィルタを選択するための自身のコントローラ（図示せず）を含んでもよい。通常プリプロセッサ１４２は、符号化エンジン１４３が動作する際に被る可能性があるデータロスを考慮して、ソースビデオデータを調整し、より効率よく圧縮するか、又は画像品質を維持する。
【００１４】
符号化エンジン１４３は、様々な異なる符号化技術に従って入力されたビデオデータを符号化して圧縮を実現することができる。符号化エンジン１４３は、動き補償予測により画像を圧縮することができる。入力されたビデオのフレームには、イントラ符号化（I-coding）、単方向予測符号化（P-coding）又は双方向予測符号化（B-coding）のような符号化の種類を割り当てることができる。フレームは更に、複数のピクセルブロックに分解され、変換符号化、量子化及びエントロピー符号化により符号化することができる。符号化エンジン１４３は、コントローラ１４７と連携して、低エネルギー変換係数を切り捨てる量子化パラメータを選択することができる。Ｐ符号化、及びＢ符号化されたフレームのピクセルブロックは、予測して符号化することができ、その場合、符号化エンジンは、符号化されるピクセルブロックの予測の役目をする、参照映像キャッシュ１４５内に記憶された復号されたフレームのピクセルブロックを識別する動きベクトルを算出することができ、変換符号化を行う前に予測残差を生成することができる。一実施形態では、ビデオコーダはＩＴＵ  Ｈ．２６３、Ｈ．２６４等で定義された符号化プロトコルに従って動作することができる。
【００１５】
符号化エンジン１４３は更に、後で受信した入力フレームを符号化する際に使用する参照フレームとして、特定の符号化フレームを使用できることを指定することができる。デコーダ１４４は、参照フレームの符号化ビデオデータを復号し、その符号化ビデオデータから復元されたビデオデータを参照映像キャッシュ１４５内に記憶させることができる。このようにして、ビデオデコーダ１５０で復号されるように、ビデオコーダ１４０は参照フレームの復号されたコピーを持つ。
【００１６】
既に述べたように、オブジェクト検出器１４６は、ソースビデオフレーム内に所定の種類のオブジェクトがあることを検出することができる。通常、オブジェクト検出器１４６は、ソースビデオフレーム内で検出されたオブジェクトのピクセル座標を表すデータを出力することができる。コントローラ１４７は、検出されたオブジェクトの座標を、ソースフレームのピクセルブロックに関連付け、そこから所定数の符号化領域を画定することができる。コントローラ１４７は、フレームのピクセルブロックを符号化する際に、符号化エンジン１４３が使用する符号化パラメータを提供することができる。概して言えば、符号化パラメータは、検出されたオブジェクトに最も近い領域内のピクセルブロックには高品質の符号化を施し、検出されたオブジェクトから遠く離れたところのピクセルブロックには比較的低品質の符号化を施すように設定することができる。
【００１７】
送信機１７０は、符号化ビデオデータをチャネル１３１に送信することができる。その際、送信機１７０は符号化ビデオデータを、（図１には示されていないソースを処理することにより提供される）符号化した音声データ及び制御データのような、他の送信すべきデータと共に多重送信してもよい。送信機１７０は、エラー訂正符号化、インターリービング、パケット化等のようなチャネル符号化動作を行ない、データを変調してネットワーク１３０に送信することができる。
【００１８】
ビデオデコーダ１５０は、復号エンジン１５２、参照映像キャッシュ１５４、ポストプロセッサ１５６、コントローラ１５８を含んでもよい。復号エンジン１５２は、参照映像キャッシュ１５４に記憶されている参照映像を参照して、チャネル１３１を介して受信した符号化ビデオデータを復号することができる。復号エンジン１５２は、復号ビデオデータをポストプロセッサ１５６に出力することができる。ポストプロセッサ１５６は復号ビデオデータに追加の動作を行って、表示のために調整をすることができる。参照フレームの復号ビデオデータも、引き続き受信した符号化ビデオデータの復号中に使用するために、参照映像キャッシュ１５４に記憶してもよい。
【００１９】
復号エンジン１５２は、符号化エンジン１４３が行なう符号化動作を逆にした、復号動作を行うことができる。復号エンジン１５２は、エントロピー復号、逆量子化、及び変換復号を行い、復元されたピクセルブロックデータを生成することができる。量子化／逆量子化動作は不可逆プロセスなので、復元されたピクセルデータブロックは、ビデオコーダ１４０により符号化されたソースピクセルブロックの複製である可能性もあるが、何らかのエラーが含まれる場合もある。予測して符号化されたピクセルブロックについては、変換復号が残差データを生成することができる。つまり、復号エンジン１５２が、ピクセルブロックに関連する動きベクトルを使用して（暗示されている場合もある）、参照映像キャッシュ１５４から予測したピクセルブロックを取り出して、予測残差と組み合わせることができる。復号ピクセルブロックは、再びフレームに組み立てられてポストプロセッサ１５６に出力することができる。
【００２０】
復号エンジン１５２が新たな参照フレームを復号する場合は、その後受信する符号化ビデオデータを復号するのに使用するために、参照映像キャッシュ１５４内に復号参照フレームを記憶することができる。
【００２１】
ポストプロセッサ１５６は、追加のビデオ処理を行い、通常は表示装置に描画するために、復元したビデオデータを調整してもよい。通常の後処理動作には、デブロッキングフィルタ、エッジ検出フィルタ、リンギングフィルタ等の適用を含んでもよい。ポストプロセッサ１５６は復元したビデオシーケンスを出力して、ディスプレイ１９０上に描画したり、又は、任意選択で、後で取り出して表示するためにメモリに記憶したりすることができる。
【００２２】
図１（ｂ）に示す機能ブロックがサポートするビデオ符号化及び復号は、一方向だけである。双方向通信については、端末１２０がローカルでキャプチャされたビデオのビデオ符号化用機能ブロック（図示せず）を含んでもよく、端末１１０が、ネットワーク１３０を介して端末１２０から受信した、符号化ビデオデータを復号するための機能ブロック（図示せず）を含んでもよい。本発明の原理は、端末１１０か１２０かのどちらかにあるコーダに適用することができると想定されるが、端末１２０から、端末１１０への符号化方向に与えられた機能ブロックが図１にないのは、単にこの議論を簡単にするためである。
【００２３】
図２は、本発明の一実施形態に係る、ビデオコーダにより加工することができるビデオデータのフレームの例を示す。図２は、ピクセルブロックのアレイに分解されたフレーム２００を示す。各ピクセルブロックは、所定数のピクセルを含むことができ、通常ピクセルの正方形アレイ（例えば、８×８ピクセル、又は１６×１６ピクセル）、又はピクセルの長方形アレイ（例えば、４×８ピクセル、４×１６ピクセル、又は１６×８ピクセル等）になっている。従って、フレームは、ピクセルブロックのアレイを含むことができる。Ｎ×Ｍピクセルブロックのアレイの例を図２に示す。
【００２４】
図２はまた、フレーム２００に適用する際の、オブジェクト検出例の動作を示す。本例では、オブジェクト検出は顔の検出である。顔検出アルゴリズムは、画像データ内に人間の顔があることを識別し、顔が検出されたフレーム２００内の位置を特定する一対の座標（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）を生成することができる。例えばこの座標は、顔を表す長方形の対角のコーナーを画定してもよい。
【００２５】
図３は、本発明の一実施形態に係る、ビデオデータのフレームのピクセルブロックを符号化する方法３００を示す。方法３００は、検出されたオブジェクトの位置を表す座標データを使用することにより開始することができる。方法３００は、検出されたオブジェクトの位置に対応するフレームのピクセルブロックを識別することができる（ボックス３１０）。方法３００は、オブジェクトの位置内のピクセルのデータをサンプリングして、オブジェクトの統計を決定することができる（ボックス３２０）。関連する統計には、色、輝度／明るさ、空間的な複雑さ、ピクセルブロック内のピクセル値の分散とピクセルブロック間のピクセル値の相対分散が含まれてもよい。その後方法３００は、検出されたオブジェクトに隣接するピクセルブロックの中から、検出されたオブジェクトのピクセルブロック内で発見された統計に類似した統計を探してもよい。隣接するピクセルブロック各々に対して、方法３００は隣接するピクセルブロックがオブジェクトの統計と類似した統計を持っているか否かを判定することができ、もし持っていれば、隣接するピクセルブロックをオブジェクト領域に追加することができる（ボックス３３０〜３４０）。類似した統計を持つ隣接するピクセルブロックが、全てオブジェクト領域に追加されるまで、オブジェクトは、検出されたオブジェクトに隣接するピクセルブロック全てについて繰り返すことができる。
【００２６】
オブジェクト領域が画定されれば、方法３００はオブジェクト領域から遠ざかる方向に所定の距離だけ延びる、複数のサブ領域を構築してもよい（ボックス３５０）。その後で、方法３００は、動き補償予測に従って、フレームのピクセルブロックを符号化してもよい。オブジェクト領域及び各サブ領域の符号化パラメータを選択して、オブジェクト領域内では符号化の品質が高く、オブジェクト領域から連続して距離が遠くなる程、サブ領域での符号化品質のレベルはますます低下することを強調することができる（ボックス３６０）。
【００２７】
上述のように、オブジェクト領域にピクセルブロックを含めるか否かの決定（ボックス３３０）は、オブジェクト領域内に既に含まれているピクセルブロックの統計と、オブジェクト領域内のピクセルブロックの１つに隣接するピクセルブロックの候補との比較に基づいて行われてもよい。一実施形態では、この比較には類似性の閾値が含まれてもよい。すなわち、ピクセルブロックの候補の統計と、オブジェクト領域のピクセルブロックの統計との差が、類似性の閾値未満であれば、ピクセルブロックの候補は、オブジェクト領域（ボックス３４０）になることを許可される。動作を反復すると、観測された統計に従って、オブジェクト領域がいろいろな方向へ広がる可能性がある。いくつかの状況では、あるピクセルブロックがあるオブジェクト領域には認められないが、そのオブジェクト領域に認められているピクセルブロックに、部分的にまたは完全に囲まれる可能性がある。一実施形態では、オブジェクト領域の多数のピクセルブロックに隣接したピクセルブロック、あるいはオブジェクト領域のピクセルブロックにより完全に囲まれたピクセルブロックのための類似性閾値を、方法３００が変更することもある。そのような状況では、閾値は低くされる可能性がある。実際の応用では、ピクセルブロックの画像コンテンツは、検出されたオブジェクトに属するピクセルブロックにより全辺が囲まれている場合は、オブジェクトに属しやすい。そのようなピクセルブロックの類似性閾値を下げれば、囲まれたピクセルブロックの統計がオブジェクト領域の統計と概ね一致するが、デフォルトの類似性閾値を下回って合格するほどには近接していない場合は特に、囲まれたピクセルブロックはオブジェクト領域に許可されやすくなる。
【００２８】
図４は、図３の方法を図２のフレームの例に適用した場合を示す。図４（ａ）では、ピクセルブロックが図３のボックス３１０内のオブジェクト認識によって出力された長方形をカバーしているので、領域４１０内に示すピクセルブロックがオブジェクト領域に割り当てられている。その後、方法３００は、領域４１０内のピクセルブロックに類似した統計を持つ、隣接するピクセルブロックを探すにつれて、方法３００はこれらのピクセルブロックを領域４２０内に含んでもよい。符号化するために、領域４２０がオブジェクト領域であると考えてもよい。
【００２９】
オブジェクト領域が識別されれば、この方法はオブジェクト領域を取り囲む他の領域４３０〜４７０を画定してもよい。図４（ａ）の例では、連続する領域は各々、任意の方向で前の領域に隣接するピクセルブロックを含むように画定することができる。こうして領域４３０は、任意の方向で領域４２０に隣接する全てのピクセルブロックを含み、領域４４０は、領域４３０に隣接する全てのピクセルブロックを含む。このプロセスは、フレームの全てのピクセルブロックが、ある領域に割り当てられるまで継続してもよい。この例では、各領域が前の領域を取り囲む「ハロー」を事実上表している。
【００３０】
ピクセルブロックを領域に割り当て終わると、方法３００（図３）は符号化パラメータ調整を領域に割り当てることができる。図４に示す実施形態では、量子化パラメータ調整（ΔＱｐ）を、各領域のピクセルブロックに適用することができる。上述のように、量子化パラメータは、ピクセルブロックの符号化中に得られた変換係数を切り捨て、低エネルギー係数については、完全に消去してしまうことがあり得る。切り捨てられたデータは、デコーダでの逆量子化の際に完全には復元することができないので、量子化を行うとデータロスを引き起こす可能性がある。このように、デコーダで得られた復元されたビデオは、ソースビデオの複製にはなるかもしれないが、符号化を行った結果として目立つ画像アーティファクトを持つ可能性がある。
【００３１】
本発明の一実施形態では、量子化パラメータ調整は、フレームの様々な領域に割り当てることができ、オブジェクト領域では小さい量子化パラメータを、そしてオブジェクト領域から離れた領域では次第に大きい量子化パラメータを提供する。図４（ｂ）は、図４（ａ）の第５列に示すピクセルブロックに割り当てることができる、量子化パラメータ調整の例を示す。図４（ｂ）に示されるように、量子化パラメータ調整は、領域４７０に対応するピクセルブロック位置での最大値から、領域４６０〜４３０の中間値を経て、領域４２０に対応するピクセルブロック位置での最小値まで変化することができる。図４（ｂ）では、均一なステップサイズの量子化パラメータ調整を示したが、図４（ｃ）に示す別の実施形態では、量子化パラメータ調整は不均一に変化している。
【００３２】
本発明のいくつかの実施形態は、符号化領域を画定するときの方法で変化量を調整している。図５に示す実施形態は、２つのサブ領域５３０、５４０だけが画定されてオブジェクト領域５２０を取り囲んでいる。この実施形態では、第１のサブ領域５３０がオブジェクト領域５２０を取り囲み、フレームの他のピクセルブロックは全て背景領域５４０に割当てられている。この例のサブ領域５３０は、領域５２０からピクセルブロック２個分の距離で、あらゆる方向に広がっている。量子化パラメータ調整は、オブジェクト領域５２０に対しては最小レベル、サブ領域５３０には中間レベル、背景サブ領域５４０には最大レベルに設定してもよい。
【００３３】
図６の実施形態では、各サブ領域で占められる面積は異なってもよい。例えば、サブ領域６３０は、オブジェクト領域６２０からあらゆる方向にピクセルブロック１個分の距離で広がっているが、サブ領域６４０は、サブ領域６３０からあらゆる方向にピクセルブロック２個分の距離で広がっている。
【００３４】
図３の方法は、ビデオ符号化システム等のようなリアルタイム符号化環境の多くで、所望のオブジェクトの位置を正確に予測するのに有効である。そのようなアプリケーションの多くでは、オブジェクト検出器１４６（図１）の出力と符号化エンジン１４３により符号化されたフレームとの間に待ち時間がある。言い換えれば、符号化エンジン１４３は、フレームＸ−Ｏｆｆからの位置データを使用して、フレームＸを符号化することができる。図３の方法は、他のやり方ではオブジェクト検出器１４６により識別されたオブジェクトの長方形の位置を微調整することにより現れる可能性のある、目に見えるアーティファクトを減らしている。顔検出システムの場合に、顔のいくつかの部分が高品質に符号化されても、同じ顔の他の部分が低品質に符号化されると、そのようなアーティファクトは、特にやっかいなものになる。
【００３５】
本発明の他の実施形態では、前処理動作は、検出されたオブジェクトからの距離に従って、フレームのいろいろな空間領域の各場所で変わることがある。例えば、プリプロセッサ１４２（図１）は、フレームにぼかしフィルタを適用して、画面から離れた領域で鮮鋭度を減らすことがある。この実施形態では、プリプロセッサ１４２は、検出されたオブジェクトからの距離に基づき、ぼかしフィルタの強さを変えてもよい。そうすると、検出されたオブジェクトの領域内には存在しない、フレームの背景要素の品質を低下させる場合があるが、背景要素の高周波成分が低減される可能性があるので、圧縮効率が向上する場合がある。
【００３６】
別の実施形態では、プリプロセッサ１４２は、フレームの動きの予測に基づき、ぼかしフィルタの強度を変えることができる。フレームの動きは、ビデオシーケンスを解析してプリプロセッサ１４２が予測することができ、あるいは端末１１０内に備えられた動きセンサ（図示せず）から予測できる。予測した動きが大きくなると、ぼかしフィルタの強度が増す場合がある。
【００３７】
図７は、本発明の他の実施形態に係るビデオコーダ７００を示す。ここで、ビデオコーダは、フレームバッファ７１０、ピクセルブロックエンコーダ７２０、デコーダ７３０、参照映像キャッシュ７４０、オブジェクト検出器７５０、コントローラ７６０を含むものとして描かれている。フレームバッファ７１０は、ソースビデオのフレームを記憶し、そこからそのピクセルブロックをピクセルブロックエンコーダ７２０に供給することができる。ピクセルブロックエンコーダ７２０は、以下で議論する、動き補償符号化技術に従って、ピクセルブロックを符号化することができる。ピクセルブロックエンコーダ７２０から出力された符号化されたピクセルブロックデータは、転送する準備が整うまで、出力バッファ（図示せず）内に記憶することができる。デコーダ７３０は、参照フレームの符号化ビデオデータを復号し、その結果復元されたビデオデータを参照映像キャッシュ７４０内に記憶することができる。オブジェクト検出器７５０とコントローラ７６０は連携して、ビデオの各フレーム内のオブジェクトを認識し、そこからオブジェクト領域とサブ領域を画定することができる。
【００３８】
上記のように、ピクセルブロックエンコーダ７２０は、入力ピクセルブロックをイントラベース（Ｉブロック）又はインターベース（Ｐ又はＢブロック）で符号化することができる、動き補償予測技術に従って、ピクセルブロックを符号化することができる。更に、あるピクセルブロックを、そのピクセルブロックのコンテンツは全く符号化されず、以前符号化／復号されたあるフレームと同じ場所に置かれたピクセルブロックからコピーされた、ＳＫＩＰブロックとして符号化してもよい。
【００３９】
ピクセルブロックエンコーダ７２０は、減算器７２１、変換ユニット７２２、量子化器７２３、エントロピーコーダ７２４、動き予測器７２５、コントローラ７２６を含んでよい。入力ピクセルブロックが与えられると、動き予測器７２５は、入力されたピクセルブロックの予測参照の役目をするピクセルブロックをキャッシュされた参照映像フレームの中から検索することができる。もし適切な合致が見つかれば、ピクセルブロックエンコーダ７２０は、ソースピクセルブロックをＰブロック、又はＢブロックとして符号化する。適切な合致が見つからなければ、ピクセルブロックエンコーダ７２０は、ソースピクセルブロックをＩブロックとして符号化する。適切な状況の下で、ピクセルブロックエンコーダ７２０は、ピクセルブロックをＳＫＩＰモードで符号化してもよい。符号化モードを一旦選択すれば、動き予測器７２５（又は、適切な状況の下でのコントローラ７２６）は、ソースピクセルブロックに適用された符号モードを表すメタデータを生成することができる。多くの場合、インター符号化ブロックに対して、動き予測器７２５は、選択された参照ピクセルブロックを識別する動きベクトルを生成することができる。
【００４０】
予測して入力ピクセルブロックを符号化するために、参照映像キャッシュ７４０は、予測したピクセルブロックデータを減算器７２１に出力することができる。減算器７２１は、ソースピクセルブロックと予測したピクセルブロックとの間の差分を表すデータを生成することができる。減算器７２１は、各ピクセルベースで動作して、ピクセルブロック全体の各ピクセル位置で残差を作成する。もし、あるピクセルブロックが、予測しないで符号化される場合、予測したピクセルブロックは減算器７２１には提供さることはない。つまり減算器７２１は、ソースピクセルデータと同じピクセル残差を出力することができる。
【００４１】
変換ユニット７２２は、例えば離散コサイン変換（ＤＣＴ）プロセス、又はウェーブレット変換により、減算器７２１から出力されたピクセルブロックデータを変換係数のアレイへ変換してもよい。通常は、そこから生成された変換係数の数は、変換ユニット７２２に提供されたピクセル数と同じになる。そこで、ピクセルデータの８×８、８×１６、又は１６×１６ブロックは、係数データの８×８、８×１６、又は１６×１６ブロックに変換することができる。量子化器ユニット７２３は、量子化パラメータＱｐにより各ブロックの変換係数を量子化（割り算）することができる。エントロピーコーダ７２４は、ランバリュー符号化、ランレングス符号化等により、量子化係数データを符号化することができる。エントロピーコーダ７２４からのデータは、ピクセルブロックの符号化ビデオデータとしてチャネルに出力することができる。
【００４２】
ピクセルブロックエンコーダのコントローラ７２６は、符号化ビデオデータのビットレートの期待値、符号化品質の期待値、符号化エラーに対する堅牢性の間のバランスを表す符号化ポリシーに従って、ピクセルブロックの符号化モードを選択してもよい。従って、あるソースピクセルブロックに対して適切な予測の合致が見つかることがあっても、コントローラ７２６は、ピクセルブロックをＩブロックとして符号化するモード選択を強制することができる。Ｉブロックは通常、ＰブロックやＢブロックよりもビットレートが高いが、Ｉブロックは転送エラー等を緩和することができる。ビットレートの目標値を満たすために、コントローラ７２６は同様にして、ピクセルブロックの量子化パラメータを選択することができる。
【００４３】
本発明の一実施形態によれば、コントローラ７６０は符号化パラメータ調整を、ピクセルブロックエンコーダのコントローラ７２６に提供してもよく、それによりあるソースピクセルブロックのための符号化パラメータの選択に影響を与える可能性がある。従って、ピクセルブロックエンコーダ７２０がオブジェクト領域（例えば、図４（ａ）の領域４２０）に属するピクセルブロックで動作している時に、コントローラ７６０はピクセルブロックエンコーダ７２０に、フレーム用に比較的小さい量子化パラメータを使用させることができ、ピクセルブロックエンコーダ７２０がサブ領域（図４（ａ）の領域４３０〜４７０）に属するピクセルブロックで動作している時に、コントローラ７６０はピクセルブロックエンコーダ７２０に、それらの領域に適した量子化パラメータを使用させことができる。
【００４４】
別の実施形態では、コントローラ７６０は、サブ領域の特定のいくつかに対して、符号化モードを課することがある。図５を例にとると、コントローラ７６０は、ピクセルブロックエンコーダ７２０に、領域５４０のピクセルブロックをＳＫＩＰモードで符号化させて、量子化パラメータ調整を、領域５２０（一番低いＱｐ）及び領域５３０（高めのＱｐ）それぞれに課してもよい。
【００４５】
更に別の実施形態では、検出されたオブジェクトの他の観測された特性に基づいて、符号化パラメータを選択することもできる。例えば、顔検出を使用する場合、顔検出器は顔が特定の特徴を示しているかどうかを検出できる（例えば、瞬きしているか微笑んでいるか、どのくらい顔が横を向いているか、そのシーンで顔の大きさの占める割合）。エンコーダは、このような特徴に基づいて符号化パラメータを選択してもよい。例として、顔が横を向いている場合は、真っ直ぐ前を見ている場合よりも、低い優先度を与えてもよく、したがって比較的低い品質の符号化パラメータを割り当ててもよい。また、オブジェクト検出器はビデオシーケンス内で識別された多数のオブジェクト（例えば、多数の顔）を指し示してもよい。例えば、顔が２つしかないシーンでは、エンコーダは５０個の顔があるシーンの場合よりも、顔に高い優先度を割り当てる。繰り返すと、高い優先度を割り当てることは、比較的高い品質の符号化を生成する符号化パラメータを選択することにつながり得る。
【００４６】
他の実施形態では、オブジェクトの特定のサブ領域に、異なる品質の符号化レベルを割り当てることができる。例えば、検出された顔の目及び口が顔検出器で検出されてもよく、顔の他の検出された要素よりも符号化の優先順位を高くしてもよい。この実施形態では、システムは一対のオブジェクト領域、つまり検出されたオブジェクトの優先順位の高い要素（例えば、目及び口により占められる領域）に対応する第１のオブジェクト領域、及び検出されたオブジェクトの他の要素（例えば、顔の残りの部分）に対応する第２のオブジェクト領域、並びにフレームの残りを占めるサブ領域、を生成することができる。
【００４７】
上記議論では、コーダとデコーダとの関連で本発明の実施形態の動作を説明した。一般にビデオコーダは電子装置として提供される。ビデオコーダは、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及び／又はデジタルシグナルプロセッサ（ＤＳＰ）のような集積回路内に具体化することができる。あるいは、ビデオコーダは、パーソナルコンピュータ、ノートブック若しくはタブレットコンピュータ、又はコンピュータサーバ上で実行するコンピュータプログラムに具体化することができる。同様に、デコーダは、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及び／又はデジタルシグナルプロセッサ（ＤＳＰ）のような集積回路内に具体化することができ、あるいはパーソナルコンピュータ、ノートブック若しくはタブレットコンピュータ、又はコンピュータサーバ上で実行するコンピュータプログラムに具体化することができる。デコーダは通常、ゲームシステム、スマートフォン、ＤＶＤプレーヤ、携帯メディアプレーヤのような民生電子機器内にパッケージされ、ビデオゲーム、ブラウザベースのメディアプレーヤのような民生用ソフトウェアアプリケーション内にパッケージすることもできる。
【００４８】
本明細書では、本発明の実施形態のいくつかについて、具体的に説明及び／又は記述している。しかしながら、本発明の修正及び変更が、上記の教示内容により、又添付した特許請求の範囲内で、本発明の趣旨及び意図した範囲から逸脱することなく網羅されていることは、十分理解できるであろう。
【図１】
2015508954.tif 000003
【図２】
2015508954.tif 000004
【図３】
2015508954.tif 000005
【図４】
2015508954.tif 000006
【図５】
2015508954.tif 000007
【図６】
2015508954.tif 000008
【図７】
2015508954.tif 000009
【国際調査報告】
2015508954.tif 000010
2015508954.tif 000011
2015508954.tif 000012