(57)【要約】      （修正有）【課題】参照イメージをプロセシングする装置および方法を提供する。【解決手段】アプリケーションプロセッサ１２０は、イントラ予測モードおよびインタ予測モードのうち現在イメージのコーディングブロックに対応する予測モードを決定するように構成される。ビデオコーダ１７０は、インタ予測モードにおいて、スケーリングパラメータと回転パラメータを含む変更パラメータとを決定して参照イメージを変更し、参照イメージの少なくとも一部分を回転パラメータに基づいて回転することによって、かつ、ＬＯＤ（ｌｅｖｅｌ  ｏｆ  ｄｅｔａｉｌ）及び参照イメージのサイズのうち少なくとも１つをスケーリングパラメータに基づいて変更することによって、変更された参照イメージを生成する。ビデオコーダのインタ予測器は、現在イメージのコーディングブロック及び変更された参照イメージの予測ブロックと関連した動き情報を決定する。【選択図】図１
2017123645.tif 000002
【特許請求の範囲】
【請求項１】
オペレーティングシステムを駆動するように構成され、複数のプロセシングコアを含むプロセッサと、
イントラ予測モード（ｉｎｔｒａ−ｐｒｅｄｉｃｔｉｏｎ  ｍｏｄｅ）およびインタ予測モード（ｉｎｔｅｒ−ｐｒｅｄｉｃｔｉｏｎ  ｍｏｄｅ）のうち現在イメージのコーディングブロックに対応する予測モードを決定するように構成され、イントラ予測器とインタ予測器とを含むビデオコーダと、
参照イメージを格納するように構成され、前記参照イメージと前記現在イメージは時間的に（ｔｅｍｐｏｒａｌｌｙ）互いに異なるメモリと、
グラフィックプロセシングユニットとを含み、
前記ビデオコーダは、前記インタ予測モードにおいて、スケーリングパラメータと回転パラメータを含む変更パラメータとを決定して前記参照イメージを変更し、前記参照イメージの少なくとも一部分を前記回転パラメータに基づいて回転することによって、かつＬＯＤ（ｌｅｖｅｌ  ｏｆ  ｄｅｔａｉｌ）および前記参照イメージのサイズのうち少なくとも１つを前記スケーリングパラメータに基づいて変更することによって、前記変更された参照イメージを生成するように構成され、
前記ビデオコーダの前記インタ予測器は前記現在イメージの前記コーディングブロックおよび前記変更された参照イメージの予測ブロックと関連した動き情報を決定するように構成され、前記動き情報に応じて前記現在イメージの前記コーディングブロックおよび前記変更された参照イメージの前記予測ブロック間の残差値（ｒｅｓｉｄｕａｌ  ｖａｌｕｅ）を決定する、アプリケーションプロセッサ。
【請求項２】
前記参照イメージは第１参照イメージと第２参照イメージとを含み、
前記参照イメージの前記回転した部分は前記第１参照イメージ内のオブジェクトに対する変更を含み、前記変更は前記回転パラメータに基づくものであり、
前記第２参照イメージの変更は前記変更されたＬＯＤ（Ｌｅｖｅｌ  Ｏｆ  Ｄｅｔａｉｌ）および前記第２参照イメージ内のオブジェクトの変更されたサイズのうち少なくとも１つを含み、前記変更されたＬＯＤおよび前記変更されたサイズは前記スケーリングパラメータに基づくものである、請求項１に記載のアプリケーションプロセッサ。
【請求項３】
前記ビデオコーダは前記参照イメージの少なくとも一部分をシヤーリング（ｓｈｅａｒ）し、前記シヤーリングされた参照イメージの前記予測ブロックを決定するようにさらに構成され、
前記シヤーリングされた参照イメージ内のオブジェクトは前記参照イメージの少なくとも一部分に対するシヤーリングを含む、請求項１に記載のアプリケーションプロセッサ。
【請求項４】
モバイル端末であって、
オペレーティングシステム、ビデオコーダ、参照イメージを格納するメモリ、およびグラフィックプロセシングユニットを駆動するように構成されるプロセッサを含むシステムオンチップと、
他の電子装置と通信するように構成されるネットワークインタフェースと、
ディスプレイとを含み、
前記ビデオコーダは、前記モバイル端末が変更パラメータに基づいて前記参照イメージを変更し、変更された参照イメージを生成し、現在イメージのコーディングブロックと関連した動き情報を決定させるように動作し、
前記現在イメージと前記参照イメージとは時間的に（ｔｅｍｐｏｒａｌｌｙ）互いに異なり、
前記動き情報は前記変更パラメータおよび前記変更された参照イメージのうち少なくとも１つと関連する、モバイル端末。
【請求項５】
前記ビデオコーダは、前記モバイル端末が前記参照イメージのＬＯＤ（Ｌｅｖｅｌ  Ｏｆ  Ｄｅｔａｉｌ）と前記参照イメージのサイズのうち少なくとも１つを変更し、前記変更された参照イメージの予測ブロックを決定させるように動作し、
前記予測ブロックは前記変更された参照イメージ内の変更されたイメージオブジェクトと関連し、
前記変更されたイメージオブジェクトは前記ＬＯＤおよび前記サイズのうち少なくとも１つに対する変更（ｃｈａｎｇｅ）を含む、請求項４に記載のモバイル端末。
【請求項６】
前記ビデオコーダは、前記モバイル端末が前記変更されたイメージオブジェクトと関連した前記予測ブロックの座標、および前記現在イメージの前記コーディングブロックの座標に基づいて動きベクトルを決定させるように動作し、
前記現在イメージの前記コーディングブロックは前記変更されたイメージオブジェクトとマッチングされるズームイメージオブジェクト（ｚｏｏｍｅｄ  ｉｍａｇｅ  ｏｂｊｅｃｔ）と関連する、請求項５に記載のモバイル端末。
【請求項７】
前記動きベクトルは、さらに、前記参照イメージの前記変更と関連したスケーリング比（ｒａｔｉｏ）に基づいて決定される、請求項６に記載のモバイル端末。
【請求項８】
前記ビデオコーダは、前記モバイル端末が前記スケーリング比と関連した情報、および前記動きベクトルを抽出するように動作させる、請求項７に記載のモバイル端末。
【請求項９】
前記ビデオコーダは、前記モバイル端末が前記参照イメージの少なくとも一部分を回転させ、前記変更された参照イメージの予測ブロックを決定させるように動作し、
前記予測ブロックは前記変更された参照イメージ内の変更されたイメージオブジェクトと関連し、
前記変更されたイメージオブジェクトは前記参照イメージの少なくとも一部分の回転を含む、請求項４に記載のモバイル端末。
【請求項１０】
前記ビデオコーダは、前記モバイル端末が前記動き情報および前記変更された参照イメージのうち少なくとも１つに基づいて前記現在イメージの前記コーディングブロックに対するインタイメージ予測（ｉｎｔｅｒ−ｉｍａｇｅ  ｐｒｅｄｉｃｔｉｏｎ）を実行するように動作する、請求項４に記載のモバイル端末。
【請求項１１】
前記メモリは、前記システムオンチップのアプリケーションプロセッサ内に含まれるシステムメモリ、および前記アプリケーションプロセッサのメモリコントローラとインタフェースされる外部メモリのうち少なくとも１つを含む、請求項４に記載のモバイル端末。
【請求項１２】
アプリケーションプロセッサであって、
プロセッサと、
ビデオコーダと、
参照イメージを格納するように構成されるメモリと、
グラフィックプロセシングユニットと、を含み、
前記プロセッサおよび前記ビデオコーダのうち少なくとも１つは、前記アプリケーションプロセッサが変更パラメータに基づいて前記参照イメージを変更することによって変更された参照イメージを生成させ、前記現在イメージのコーディングブロックと関連した動き情報を決定させるように動作し、
前記現在イメージおよび前記参照イメージは時間的に（ｔｅｍｐｏｒａｌｌｙ）互いに異なり、
前記動き情報は前記変更パラメータおよび前記変更された参照イメージのうち少なくとも１つと関連する、アプリケーションプロセッサ。
【請求項１３】
前記プロセッサおよび前記ビデオコーダのうち少なくとも１つは、前記アプリケーションプロセッサが前記参照イメージのＬＯＤ（ｌｅｖｅｌ  ｏｆ  ｄｅｔａｉｌ）と前記参照イメージのサイズのうち少なくとも１つを変更し、前記変更された参照イメージの予測ブロックを決定させるように動作し、
前記予測ブロックは前記変更された参照イメージ内の変更されたイメージオブジェクトと関連し、
前記変更されたイメージオブジェクトは前記ＬＯＤおよび前記サイズのうち少なくとも１つでの変更（ｃｈａｎｇｅ）を含む、請求項１２に記載のアプリケーションプロセッサ。
【請求項１４】
前記プロセッサおよび前記ビデオコーダのうち少なくとも１つは、前記アプリケーションプロセッサが前記変更されたイメージオブジェクトと関連した前記予測ブロックの座標および前記現在イメージの前記コーディングブロックの座標に基づいて動きベクトルを決定させるように動作し、
前記現在イメージの前記コーディングブロックは前記変更されたイメージオブジェクトとマッチングされるズームイメージオブジェクト（ｚｏｏｍｅｄ  ｉｍａｇｅ  ｏｂｊｅｃｔ）と関連する、請求項１３に記載のアプリケーションプロセッサ。
【請求項１５】
前記動きベクトルは、さらに、前記参照イメージの前記変更と関連したスケーリング比（ｒａｔｉｏ）に基づいて決定される、請求項１４に記載のアプリケーションプロセッサ。
【請求項１６】
前記プロセッサおよび前記ビデオコーダのうち少なくとも１つは、
前記アプリケーションプロセッサが前記動きベクトル、および前記スケーリング比と関連した情報を抽出させるように動作する、請求項１５に記載のアプリケーションプロセッサ。
【請求項１７】
前記プロセッサおよび前記ビデオコーダのうち少なくとも１つは、前記アプリケーションプロセッサが前記参照イメージの少なくとも一部を回転させ、前記変更された参照イメージの予測ブロックを決定させるように動作し、
前記予測ブロックは前記変更された参照イメージ内の変更されたイメージオブジェクトと関連し、
前記変更されたイメージオブジェクトは前記参照イメージの前記少なくとも一部の回転を含む、請求項１２に記載のアプリケーションプロセッサ。
【請求項１８】
前記プロセッサおよび前記ビデオコーダのうち少なくとも１つは、前記アプリケーションプロセッサが前記動き情報および前記変更された参照イメージのうち少なくとも１つに基づいて、前記現在イメージの前記コーディングブロックに対するインタイメージ予測（ｉｎｔｅｒ−ｉｍａｇｅ  ｐｒｅｄｉｃｔｉｏｎ）を実行させるように動作する、請求項１２に記載のアプリケーションプロセッサ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態はビデオコーディングまたはビデオ圧縮に係り、より具体的には参照イメージをプロセシングする装置および方法に関する。
【背景技術】
【０００２】
停止イメージおよびビデオイメージを用いる様々な電子装置があり、電子装置に用いられるイメージデータの量は相当に増加している。このような莫大な量のビデオコンテンツおよびイメージデータはモバイル端末のような様々な電子装置に放送（broadcasting）される。ビデオエンコーディング／デコーディング技術の発展は制限された帯域幅を有するチャネルを介してより多いイメージデータの送信を可能にし、制限された格納容量内に高い解像度を有するビデオデータの格納を可能にする。より効率的なビデオコーディング技術はビデオ使用の急速な発展に重要な役割を果たすことができる。しかし、より高いコーディング効率およびより高い解像度を得るためには多くの計算（ｃｏｍｐｕｔａｔｉｏｎｓ）およびピクセル処理レート（ｐｉｘｅｌ  ｐｒｏｃｅｓｓｉｎｇ  ｒａｔｅ）も増加しなければならず、それに対応するようにＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）標準が開発された。
【０００３】
ＨＥＶＣコーデック（ｃｏｄｅｃ）は、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＳＶＣ（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）およびＭＶＣ（Ｍｕｌｔｉ−ｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）のような以前の標準および拡張標準と類似する様々な特徴を含むように設計されている。このようなビデオコーデックは、データビットストリーム（ｓｔｒｅａｍ）のサイズを減らすために連続したビデオイメージフレームに対する時空的リダンダンシ（ｓｐａｔｉａｌ  ａｎｄ  ｔｅｍｐｏｒａｌ  ｒｅｄｕｎｄａｎｃｙ）を利用することができる。一般的に、空間的予測（ｓｐａｔｉａｌ  ｐｒｅｄｉｃｔｉｏｎ）は同一のイメージフレーム内のサンプルを用いて空間的リダンダンシ（ｓｐａｔｉａｌ  ｒｅｄｕｎｄａｎｃｙ）を減らすために用いられ、インタ画像予測（ｉｎｔｅｒ−ｐｉｃｔｕｒｅ  ｐｒｅｄｉｃｔｉｏｎ）は時間的リダンダンシ（ｔｅｍｐｏｒａｌ  ｒｅｄｕｎｄａｎｃｙ）を減らすために用いられる。これは、相対的に効果的で効率的な送信のためのイメージデータの圧縮および／またはビデオコンテンツの格納を可能にする。しかし、最近までのＨＥＶＣ技術は、ビデオコンテンツ内の目的物の様々なタイプの動作に対応できる改善されたビデオコーディング解法を提供してはいない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１４／１０６９１５号
【特許文献２】韓国公開特許１０−２０１５−００８７２０７号公報
【特許文献３】韓国公開特許１０−２００９−０１０３６６３号公報
【特許文献４】韓国公開特許１０−２０１３−０１１６７７７号公報
【特許文献５】韓国公開特許１０−２０１２−００１８９０６号公報
【特許文献６】韓国公開特許１０−２０１４−００４３０３２号公報
【特許文献７】韓国公開特許１０−２００８−００６４０７２号公報
【特許文献８】欧州特許出願公開第２７８７７３７号明細書
【特許文献９】国際公開第２０１５／００９６９３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施形態は参照イメージをプロセシングする装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の実施形態によるアプリケーションプロセッサは、オペレーティングシステムを駆動するように構成され、複数のプロセシングコアを含むプロセッサ、イントラ予測モード（ｉｎｔｒａ−ｐｒｅｄｉｃｔｉｏｎ  ｍｏｄｅ）およびインタ予測モード（ｉｎｔｅｒ−ｐｒｅｄｉｃｔｉｏｎ  ｍｏｄｅ）のうち現在イメージのコーディングブロックに対応する予測モードを決定するように構成され、イントラ予測器とインタ予測器を含むビデオコーダ、参照イメージを格納するように構成され、参照イメージと現在イメージは時間的に（ｔｅｍｐｏｒａｌｌｙ）互いに異なるメモリ、およびグラフィックプロセシングユニットを含む。ビデオコーダは、インタ予測モードにおいて、スケーリングパラメータと回転パラメータを含む変更パラメータを決定して参照イメージを変更し、参照イメージの少なくとも一部分を回転パラメータに基づいて回転することによって、かつＬＯＤ（ｌｅｖｅｌ  ｏｆ  ｄｅｔａｉｌ）および参照イメージのサイズのうち少なくとも１つをスケーリングパラメータに基づいて変更することによって、変更された参照イメージを生成するように構成される。ビデオコーダのインタ予測器は現在イメージのコーディングブロックおよび変更された参照イメージの予測ブロックと関連した動き情報を決定するように構成され、動き情報に応じて現在イメージのコーディングブロックおよび変更された参照イメージの予測ブロック間の残差値（ｒｅｓｉｄｕａｌ  ｖａｌｕｅ）が決定される。
【０００７】
本発明の他の一面はモバイル端末に関する。本発明の実施形態によるモバイル端末は、オペレーティングシステム、ビデオコーダ、参照イメージを格納するメモリおよびグラフィックプロセシングユニットを駆動するように構成されるプロセッサを含むシステムオンチップ、他の電子装置と通信するように構成されるネットワークインタフェース、およびディスプレイを含む。ビデオコーダは、モバイル端末が変更パラメータに基づいて参照イメージを変更し、変更された参照イメージを生成し、現在イメージのコーディングブロックと関連した動き情報を決定するように動作する。現在イメージと参照イメージは時間的に（ｔｅｍｐｏｒａｌｌｙ）互いに異なり、動き情報は変更パラメータおよび変更された参照イメージのうち少なくとも１つと関連する。
【０００８】
本発明のまた他の一面はプロセッサ、ビデオコーダ、メモリ、グラフィックプロセシングユニットを含むアプリケーションプロセッサの動作方法に関する。本発明の実施形態による動作方法は、変更パラメータに基づいて参照イメージを変更することによって変更された参照イメージを生成し、参照イメージはメモリに格納される、ステップおよび現在イメージのコーディングブロックと関連した動き情報を決定し、現在イメージおよび参照イメージは時間的に（ｔｅｍｐｏｒａｌｌｙ）互いに異なるステップを含む。動き情報は変更パラメータおよび変更された参照イメージのうち少なくとも１つと関連する。
【０００９】
本発明の他の実施形態によるアプリケーションプロセッサは、プロセッサ、ビデオコーダ、参照イメージを格納するように構成されるメモリ、およびグラフィックプロセシングユニットを含む。プロセッサおよびビデオコーダのうち少なくとも１つは、アプリケーションプロセッサが変更パラメータに基づいて参照イメージを変更することによって変更された参照イメージを生成し、現在イメージのコーディングブロックと関連した動き情報を決定するように動作する。この時、現在イメージおよび前記参照イメージは時間的に（ｔｅｍｐｏｒａｌｌｙ）互いに異なり、動き情報は変更パラメータおよび変更された参照イメージのうち少なくとも１つと関連する。
【００１０】
本発明の他の実施形態によるモバイル端末は、オペレーティングシステムを駆動するように構成されるプロセッサ、ビデオコーダ、参照イメージを格納するメモリおよびグラフィックプロセシングユニットを含むシステムオンチップ、他の電子装置と通信するように構成されるネットワークインタフェース、およびディスプレイを含む。プロセッサおよびビデオコーダのうち少なくとも１つは、モバイル端末が、イメージに基づいてオブジェクトの動きを推定し、変更パラメータに基づいて参照イメージを変更し、変更された参照イメージを生成し、動き情報およびインタイメージ予測（ｉｎｔｅｒ−ｉｍａｇｅ  ｐｒｅｄｉｃｔｉｏｎ）と関連した変更された参照イメージを格納し、変更された参照イメージに基づいて現在イメージのコーディングブロックに対するインタイメージ予測を実行するように動作する。この時、現在イメージと参照イメージとは時間的に（ｔｅｍｐｏｒａｌｌｙ）互いに異なる。
【発明の効果】
【００１１】
このような本発明の実施形態によれば、参照イメージをプロセシングする装置および方法が提供される。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態によるビデオコーダを含むアプリケーションプロセッサのブロック図。
【図２】本発明の実施形態によるビデオコーダを含む電子機器のブロック図。
【図３】本発明の実施形態によるビデオエンコーダのブロック図。
【図４】本発明の実施形態によるビデオデコーダのブロック図。
【図５】本発明の実施形態によるデコーディングされたイメージプリプロセッサのブロック図。
【図６】本発明の実施形態によってスケーリングパラメータを用いた参照イメージの変更動作を説明する図。
【図７】本発明の他の実施形態によってスケーリングパラメータを用いた参照イメージの変更動作を説明する図。
【図８】本発明の実施形態によって最適化されたスケーリングパラメータまたは補間に基づいたインタイメージの予測動作を説明する図。
【図９】本発明の実施形態によって回転パラメータを用いた参照イメージの変更動作を説明する図。
【図１０】本発明の他の実施形態によって回転パラメータを用いた参照イメージの変更動作を説明する図。
【図１１】本発明の他の実施形態によって回転パラメータを用いた参照イメージの変更動作を説明する図。
【図１２】本発明の実施形態によってシヤーパラメータを用いた参照イメージの変更動作を説明する図。
【図１３】本発明の実施形態によるインタ予測のための参照イメージの変更プロセスを説明するフローチャート。
【図１４】本発明の実施形態によるインタ予測のための参照イメージの変更を行うビデオエンコーダの動作プロセスを説明するフローチャート。
【図１５】本発明の実施形態によるインタ予測のための参照イメージの変更を行うビデオデコーダの動作プロセスを説明するフローチャート。
【図１６】本発明の実施形態によって生成されたＬＯＤを用いたインタ予測を説明する図。
【図１７】本発明の実施形態によって生成されたＬＯＤを用いたインタ予測を説明する図。
【図１８】本発明の実施形態によって生成された回転参照イメージを用いたインタ予測を説明する図。
【発明を実施するための形態】
【００１３】
本発明の背景技術に記載された内容は単に本発明の技術的思想に関する背景技術の理解を助けるためのものであって、本発明の技術分野の当業者に知られた先行技術に該当する内容として理解してはならない。
【００１４】
下記の記載において、説明の目的で、様々な実施形態の理解を助けるために多くの具体的な詳しい内容が提示される。しかし、様々な実施形態がこのような具体的な詳しい内容無しで、または１つ以上の同等な方式で実施できるということは明らかである。他の例示において、周知の構造と装置は様々な実施形態を不必要に理解し難くすることを避けるためにブロック図で表示される。
図面において、レイヤ、フィルム、パネル、領域などのサイズまたは相対的なサイズは説明を明確にするために誇張される場合がある。また、同一の参照番号は同一の構成要素を示す。
【００１５】
明細書の全体において、ある素子またはレイヤが他の素子またはレイヤと「連結されている」と記述されている場合、これは、直接的に連結されている場合だけでなく、その中間に他の素子やレイヤを介して間接的に連結されている場合も含む。しかし、仮に、ある部分が他の部分と「直接的に連結されている」と記述されている場合には、これは当該部分と他部分との間に他の素子がないことを意味する。「Ｘ、Ｙ、およびＺのうち少なくともいずれか１つ」、かつ「Ｘ、Ｙ、およびＺからなるグループから選択された少なくともいずれか１つ」は、Ｘ１つ、Ｙ１つ、Ｚ１つ、またはＸ、Ｙ、およびＺのうち２つまたはそれ以上のある組み合わせ（例えば、ＸＹＺ、ＸＹＹ、ＹＺ、ＺＺ）として理解することができる。ここで、「および／または」は当該構成のうち１つまたはそれ以上の全ての組み合わせを含む。
【００１６】
ここで、第１、第２などのような用語が様々な素子、要素、地域、レイヤ、および／またはセクションを説明するために用いられるが、このような素子、要素、地域、レイヤ、および／またはセクションはこのような用語に限定されるものではない。このような用語は、１つの素子、要素、地域、レイヤ、および／またはセクションを他の素子、要素、地域、レイヤ、およびまたはセクションと区別するために用いられる。よって、一実施形態における第１素子、要素、地域、レイヤ、および／またはセクションは、他の実施形態における第２素子、要素、地域、レイヤ、および／またはセクションと称することができる。
【００１７】
「下方」、「上方」などのような空間的に相対的な用語が説明の目的で用いられ、それによって、図面に示された通りに１つの素子または特徴と他の素子または特徴との関係を説明する。これは図面上で１つの構成要素の他の構成要素に対する関係を示すのに用いられるだけであって、絶対的な位置を意味するものではない。例えば、図面に示された装置がひっくり返れば、他の素子または特徴の「下方」に位置するものとして描写された素子は、他の素子または特徴の「上方」の方向に位置することになる。よって、一実施形態において、「下方」という用語は上方と下方の両方向を含むことができる。それだけでなく、装置はその他の異なる方向であることができる（例えば、９０度回転した、あるいは異なる方向において）。そして、ここで用いられるそのような空間的に相対的な用語はそれに従って解釈される。
【００１８】
ここで用いられた用語は特定の実施形態を説明するための目的で用いられたものであり、制限するための目的で用いられたものではない。明細書の全体にわたって、ある部分がある構成要素を「含む」とする場合、これは、特に逆の記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいことを意味する。他の定義がない限り、ここで用いられた用語は本発明が属する分野で通常の知識を有する者に一般的に理解されるものと同様な意味を有する。
【００１９】
図１は、本発明の実施形態によるビデオコーダを含むアプリケーションプロセッサのブロック図である。
図１を参照すれば、アプリケーションプロセッサ１２０はシステムオンチップ（Ｓｙｓｔｅｍ−ｏｎ−Ｃｈｉｐ、ＳｏＣ）として構成される。アプリケーションプロセッサ１２０は、アプリケーションプロセッサ１２０内に含まれたメモリコントローラ（ｍｅｍｏｒｙ  ｃｏｎｔｒｏｌｌｅｒ）１３０を介して外部メモリ１１０と連結することができる。図１に示されたものとは異なり、外部メモリ１１０はアプリケーションプロセッサ１２０に含まれたシステムオンチップの一部として積載されてもよい。アプリケーションプロセッサ１２０は、メモリコントローラ１３０、ディスプレイコントローラ（ｄｉｓｐｌａｙ  ｃｏｎｔｒｏｌｌｅｒ）１４０、プロセッサ１５０、グラフィックプロセシングユニット（ＧＰＵ）１６０、ビデオコーダ（ｖｉｄｅｏ  ｃｏｄｅｒ）１７０、イメージ信号プロセッサ（ＩＳＰ）１８０、およびシステムメモリ（ｓｙｓｔｅｍ  ｍｅｍｏｒｙ）１９０を含む。ビデオコーダ１７０は、参照イメージを格納するための画像（ｐｉｃｔｕｒｅ）バッファを有する内部メモリを含む。
【００２０】
アプリケーションプロセッサ１２０は上記で説明した適用例に限定されず、様々な形態に実現され、複数の構成要素および／または代替の構成要素を含んでもよい。例えば、アプリケーションプロセッサ１２０の構成要素は区分された構成および／または区分された領域に位置し、結合されてもよい。アプリケーションプロセッサ１２０の機能、使用、構造などは、アプリケーションプロセッサ１２０が汎用および／または専用のコンピューティング環境またはアーキテクチャによって実行されるビデオコーダとして機能するように（あるいはビデオコーディング機能を含むように）変更および拡張されてもよい。ビデオコーダ１７０の部分または機能は互いに結合されるか、ビデオコーダ１７０と通信する区分されたモジュールに分配されてもよい。
【００２１】
外部メモリ１１０は、アプリケーションプロセッサ１２０のメモリコントローラ１３０によって制御することができる。外部メモリ１１０は、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、埋め込みＤＲＡＭ（ｅｍｂｅｄｄｅｄ  ＤＲＡＭ）などのうち少なくとも１つを含むことができる。しかし、外部メモリ１１０の態様はこれに限定されるものではない。任意の好適な格納装置（またはｒｅｐｏｓｉｔｏｒｙ）がそれに好適な有線又は無線の入出力インタフェースを介してアプリケーションプロセッサ１２０に連結されてもよい。
【００２２】
ディスプレイコントローラ１４０は、イメージがディスプレイ（図示せず）によって表示されるようにインタフェースを介してディスプレイと連結することができる。
【００２３】
プロセッサ１５０は、様々な作業を処理する一方、オペレーティングシステム（ｏｐｅｒａｔｉｎｇ  ｓｙｓｔｅｍ）を駆動し、ハードウェア、ソフトウェア、および／またはファームウェアを有するマイクロプロセッサを含む。プロセッサ１５０は複数のプロセシングコア（例えば、ＣＰＵ）およびキャッシュメモリを含む。例示的な実施形態として、グラフィックプロセシングユニット（Ｇｒａｐｈｉｃ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１６０はバス連結ユニット（Ｂｕｓ  Ｃｏｎｎｅｃｔｉｏｎ  Ｕｎｉｔ）１２１に連結され、ビデオデータプロセシングと関連した１つまたはそれ以上のプロセス（例えば、直列および／または同時プロセス）を処理するように構成される。このようにして、グラフィックプロセシングユニット１６０は、単一スレッド（ｔｈｒｅａｄ）あるいは多重スレッド構造によって実行できるビデオデータプロセシングと関連した１つまたはそれ以上のスレッドを処理するように構成される。グラフィックプロセシングユニット１６０は、グラフィック関連データを計算（または決定）および比較するように構成される制御ユニットを含む。さらに、グラフィックプロセシングユニット１６０は、プロセッサ１５０の代わりにコマンドを分析および実行するように構成されてもよい。
【００２４】
イメージ信号プロセッサ１８０はバス連結ユニット１２１に連結され、例えば、イメージセンサ（図示せず）によって発生される信号を処理する。例えば、イメージ信号プロセッサ１８０はイメージセンサからのデータを処理し、イメージ信号プロセッサ１８０内のメモリおよびシステムメモリ１９０などのようなメモリに処理されたデータを格納する。例えば、イメージ信号プロセッサ１８０は、メモリに格納されるイメージに対するファイルフォーマットを決定する。イメージ信号プロセッサ１８０は、バイヤープロセシング（Ｂａｙｅｒ  ｐｒｏｃｅｓｓｉｎｇ）ユニット、ＲＧＢ（Ｒｅａｄ／Ｇｒｅｅｎ／Ｂｌｕｅ）プロセシングユニット、スケール／回転／アフィン変換（ａｆｆｉｎｅ−ｔｒａｎｓｆｏｒｍ）プロセシングユニット、および／または他方式の好適なプロセシングユニットを含む。各ユニットにおけるプロセシングは、イメージサイズ（ｓｉｚｅ）の制御、カラーの深さ、レンズシェーディング（ｌｅｎｓ  ｓｈａｄｉｎｇ）の補償、適応的カラー補間（ａｄａｐｔｉｖｅ  ｃｏｌｏｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）、色補正（ｃｏｌｏｒ  ｃｏｒｒｅｃｔｉｏｎ）などを通じてイメージ信号プロセッサ１８０によって制御される。イメージ信号プロセッサ１８０によって処理されるイメージデータは、バス連結ユニット１２１を介してビデオコーダ１７０に送信される。
【００２５】
ビデオコーダ１７０は、ビデオコーダ−デコーダ（例えば、コーデック）に対する１つまたはそれ以上のソフトウェアおよび／またはハードウェア構成を含む。ビデオコーダ１７０は、ここに説明するビデオエンコーダおよび／またはビデオデコーダの機能のうち１つまたはそれ以上を処理するように構成されるＣＰＵのようなプロセッサを含む。しかし、本発明の実施形態がこれに限定されるものではない。ビデオエンコーダおよび／またはビデオデコーダ、並びに他のイメージプロセシングのうち１つまたはそれ以上の機能は、アプリケーションプロセッサ１２０の１つまたはそれ以上のモジュールによって行うことができる。この時、アプリケーションプロセッサ１２０の１つまたはそれ以上のモジュールは、イメージ信号プロセッサ１８０、およびアプリケーションプロセッサ１２０に通信可能に連結された外部ビデオコーデックなどを意味し得る。ビデオコーダ１７０によって処理された様々なデータは、ビデオコーダ１７０の（あるいはそれと関連した）メモリ、システムメモリ１９０、外部メモリ１１０などに格納される。例えば、画像バッファが下記に説明する参照イメージおよび／または変更された参照イメージを格納するために活用され得る。この場合、画像バッファは、物理的および／または論理的にビデオコーダ１７０のメモリ、システムメモリ１９０、外部メモリ１１０などの一部分として提供されてもよい。
【００２６】
図２は、本発明の実施形態によるビデオコーダを含む電子機器のブロック図である。
図２を参照すれば、例えば、モバイル端末のような電子機器２００は、システムオンチップ２１０および少なくとも１つのメモリ２２０を含む。メモリ２２０は、例えば、ＮＡＮＤフラッシュメモリ、低電力ＤＤＲ（Ｌｏｗ−Ｐｏｗｅｒ  Ｄｏｕｂｌｅ  Ｄａｔａ  Ｒａｔｅ、ＬＰＤＤＲ）メモリ集積回路のようなフラッシュメモリを意味するが、これに限定されるものではない。例えば、ＳＲＡＭ、ＭＲＡＭ、埋め込みＤＲＡＭ、および／または他の格納装置がシステムオンチップ２１０に連結されるか、またはシステムオンチップ２１０の一部として実装されてもよい。システムオンチップ２１０はコンピュータによって実行可能な命令語（ｉｎｓｔｒｕｃｔｉｏｎｓ）を実行する。システムオンチップ２１０は１つまたはそれ以上の仮想プロセッサを含むことができる。システムオンチップ２１０は、アプリケーションプロセッサ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｃｅｓｓｏｒ）２１１、およびシステムオンチップ２１０に含まれてアプリケーションプロセッサ２１１と通信するシステムメモリ２１２を含むことができる。例えば、アプリケーションプロセッサ２１１は、図１のアプリケーションプロセッサ１２０と関連して説明された構成要素のうち１つまたはそれ以上を含むことができる。しかし、システムオンチップ２１０の様態がこれに限定されるものではない。
【００２７】
ディスプレイ２３０はインタフェースを介してシステムオンチップ２１０に連結される。ディスプレイ２３０はシステムオンチップ２１０の制御に応じてビデオイメージのような様々なイメージをディスプレイする。イメージセンサ２４０はシステムオンチップ２１０と連結され、イメージ信号プロセッサおよびビデオコーダのようなシステムオンチップ２１０内のイメージプロセシングモジュールにビデオイメージデータを提供する。イメージセンサ２４０は、ＣＭＯＳイメージセンサ（ＣＭＯＳ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ、ＣＩＳ）および他のタイプのデジタルカメラなどであってもよい。電子機器２００がマルチプロセッサを含む場合、マルチプロセッサはここに説明する機能および／または動作と関連している互いに異なる命令語セットを実行することができる。
【００２８】
メモリ２２０は、ソフトウェア、ハードウェア、および／またはファームウェア構成要素のうち１つまたはそれ以上のコードを提供する任意の媒体である。メモリ２２０は、不揮発性媒体、揮発性媒体、および伝達媒体などを含む適切な形態で実現することができる。不揮発性媒体は、例えば、光（ｏｐｔｉｃａｌ）または磁気（ｍａｇｎｅｔｉｃ）ディスクを含むことができる。揮発性媒体は、ダイナミック（ｄｙｎａｍｉｃ）メモリを含むことができる。伝達媒体は、同軸ケーブル（ｃｏａｘｉａｌ  ｃａｂｌｅｓ）、銅線（ｃｏｐｐｅｒ  ｗｉｒｅ）、および光ファイバ（ｆｉｂｅｒ  ｏｐｔｉｃｓ）を含むことができる。伝達媒体に対応する信号は、音響波（ａｃｏｕｓｔｉｃ  ｗａｖｅ）、光波（ｏｐｔｉｃａｌ  ｗａｖｅ）、および電磁波（ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ  ｗａｖｅ）の形態を有することができる。コンピュータによって読み取り可能な媒体の形態は、例えば、フロッピーディスク（ｆｌｏｐｐｙ  ｄｉｓｋ）、フレキシブルディスク（ｆｌｅｘｉｂｌｅ  ｄｉｓｋ）、ハードディスク（ｈａｒｄ  ｄｉｓｋ）、磁気テープ（ｍａｇｎｅｔｉｃ  ｔａｐｅ）、また他の形態の磁気媒体、ＣＤ−ＲＯＭ、書換可能なＣＤ（ＣＤ−ＲＷ）、デジタルビデオディスク（ＤＶＤ）、書換可能なＤＶＤ（ＤＶＤ−ＲＷ）、また他の形態の光（ｏｐｔｉｃａｌ）媒体、パンチカード（ｐｕｎｃｈ  ｃａｒｄ）、紙テープ（ｐａｐｅｒ  ｔａｐｅ）、光マークシート（ｏｐｔｉｃａｌ  ｍａｒｋ  ｓｈｅｅｔ）、ホールまたは光学的に識別可能な表示のパターンを有するまた他の形態の媒体、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュ−ＥＰＲＯＭ（ｆｌａｓｈ−ＥＰＲＯＭ）、また他の形態のメモリチップまたはカートリッジ、レジスタ、キャッシュ、またはコントローラ／プロセッサによって読まれる情報を格納する適切な形態のまた他の媒体を含むことができる。メモリ２２０は、ビデオコーダと関連したデータおよびソフトウェア構成要素の少なくとも一部を格納することができる。本明細書において、全般的に、ビデオコーダはビデオエンコーダ、ビデオデコーダ、またはビデオコーデックとして参照される。
【００２９】
電子機器２００は、１つまたはそれ以上の入出力装置（図示せず）、ネットワークインタフェース（図示せず）、モデムプロセッサ（図示せず）などのような他の構成要素を含むことができる。モデムプロセッサはベースステーションとのモバイル通信を可能にし、システムオンチップ２１０の一部あるいはアプリケーションプロセッサ２１１の一部として含まれることができる。内部ハードウェア構成要素は、バス、コントローラのような連結モジュールを介して互いに連結することができる。オペレーティングシステムに該当するソフトウェアは、電子機器２００によって実行される様々なアプリケーションプログラムに対する動作環境を支援し、電子機器２００の構成要素の動作を制御する。
【００３０】
入出力装置はアプリケーションプロセッサに連結され、タッチ入力インタフェース、キーボード、マウス、スタイラスペン（ｓｔｙｌｕｓ  ｐｅｎ）、音声入力モジュール、カメラ、および／またはそれと類似するものを含む。オーディオコーディングおよびビデオコーディングのために、入力装置はサウンドプロセシングのための構成要素とビデオプロセシングのための構成要素を含む。例えば、イメージ信号プロセッサは電子機器２００の一部として含まれ、ビデオコーディングのための特定動作を実行するように構成される。原（ｏｒｉｇｉｎａｌ）画像はイメージセンサ２４０と関連したイメージ信号プロセッサによって処理され、原画像はビデオコーダによってエンコーディングされる。入出力装置は、ディスプレイ２３０、スピーカー、および／またはそれと類似するものを含むか、外部ディスプレイ、外部プリンタ、外部変換器（ｔｒａｎｓｄｕｃｅｒ）などに連結されるインタフェースを含む。
【００３１】
ネットワークインタフェースは任意の適切な通信媒体を介して他の装置と通信することを可能にする。この時、通信は有線又は無線通信であってもよい。ネットワークインタフェースは、無線モデムおよび／またはイーサネット（登録商標）（Ｅｔｈｅｒｎｅｔ）インタフェースとして構成することができる。例えば、ネットワークインタフェースは、１つまたはそれ以上のベースステーションと無線通信を開設するアンテナおよび無線周波数モジュールと関連した無線周波数通信インタフェースを含むことができる。ネットワークインタフェースは、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）モジュール、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））通信モジュール、ジグビー（ＺｉｇＢｅｅ）モジュール、およびそれと類似するものなど近距離無線通信インタフェース（Ｓｈｏｒｔ−ｒａｎｇｅ  ｗｉｒｅｌｅｓｓ  ｃｏｍｍｕｎｉｃａｔｉｏｎ）を含むことができる。通信プロトコルは、電気、赤外線、光、または他のタイプのキャリアに適用される任意の好適な有無線通信技術を含む。
【００３２】
図３は、本発明の実施形態によるビデオエンコーダのブロック図である。図４は、本発明の実施形態によるビデオデコーダのブロック図である。本発明の適用例は図３および図４に限定されるものではない。図３および図４に示された構成要素のうち少なくとも一部は変更または除去されてもよく、追加的な構成要素が提供されてもよい。様々な条件および圧縮タイプに応じて、ビデオエンコーダ３００およびデコーダ４００のモジュールは、追加、変更、省略、多重モジュールに分割、他のモジュールに結合、類似するモジュールに代替されてもよい。
【００３３】
ビデオエンコーダ３００およびビデオデコーダ４００は、イメージフレーム、ビデオフィールドなどのビデオ画像を処理する。ビットストリームシンタックス（ｓｙｎｔａｘ）およびブロック分割方式（ｂｌｏｃｋ  ｐａｒｔｉｔｉｏｎｉｎｇ  ｓｃｈｅｍｅ）は、様々なビデオコーディング標準および方式に応じて変更することができる。例えば、ビデオエンコーダ３００およびビデオデコーダ４００はブロックに基づいたプロセシングユニットを有し、フレームに対して４：２：０マクロブロックフォーマットを用いることができる。この時、各マクロブロックは、４個の８＊８輝度（ｌｕｍｉｎａｎｃｅ）ブロック（または１個の１６＊１６輝度ブロック）および２個の８＊８クロミナンス（ｃｈｒｏｍｉｎａｎｃｅ）ブロックを有する。輝度ブロックおよびクロミナンスブロックは、ＹＣｂＣｒ、ＹＰｂＰｒなどのようなＹＵＶカラー空間フォーマットを用いることができる。
【００３４】
例示的な実施形態として、マクロブロックを基本ユニットとして用いることができる。ビデオエンコーダ３００によって、画像の各マクロブロックのためのコーディングモードを選択することができる。選択されたマクロブロックコーディングモードは、マクロブロックの全サンプルをイントライメージ予測（これは、イントラ画像予測またはイントラ予測として参照される）を用いて予測するか、またはインタイメージ予測（これは、インタ画像予測、インタ予測、または動き補償予測として参照される）を用いて予測するかを決定する。ビデオエンコーダ３００およびビデオデコーダ４００の各々は他のマクロブロックまたはブロックフォーマットを用いるか、８＊８ブロックおよび１６＊１６マクロブロックとは異なるサイズまたは構造の動作を実行することができる。例えば、マクロブロックは、インタイメージ予測またはイントライメージ予測に用いられるサブブロックに分割することができる。ＨＥＶＣのように、１６＊１６マクロブロックより大きいブロックをインタイメージ予測またはイントライメージ予測に用いることができる。
【００３５】
ＨＥＶＣにおいて、各画像は角形（ｓｑｕａｒｅ−ｓｈａｐｅｄ）のコーディングツリーブロック（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｂｌｏｃｋｓ、ＣＴＢｓ）に分割され、ＣＴＢｓの結果値は輝度およびクロミナンス画像構成要素を示す。クロミナンスサンプルの２個のＣＴＢｓと関連した輝度サンプルの各ＣＴＢ、およびこのようなサンプルブロックと関連したシンタックス（ｓｙｎｔａｘ）は、コーディングツリーユニット（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ、ＣＴＵ）に包括される。ＣＴＵは、例えば、インタイメージ予測およびまた他のプロセシングに対する基本プロセシングユニットであってもよい。仮にビデオエンコーダ３００がＨＥＶＣと類似するブロック分割方式を採用すれば、ビデオエンコーダ３００はターゲッティングされたコンピューティング環境に対して最大効率を提供するＣＴＵサイズ（例えば、１６＊１６、３２＊３２、６４＊６４）を選択し、ＣＴＵから分割されたさらに小さいコーディングユニット（Ｃｏｄｉｎｇ  Ｕｎｉｔｓ、ＣＵｓ）と予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔｓ、ＰＵｓ）が用いられる。例えば、仮にＣＵがインタイメージ予測を用いてコーディングされれば、ＣＵに含まれた輝度およびクロミナンスコーディングブロック（Ｃｏｄｉｎｇ  Ｂｌｏｃｋｓ、ＣＢｓ）は予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ  Ｂｌｏｃｋｓ、ＰＢｓ）にさらに分割される。ＰＢは動き補償予測（ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ）に対して同一な動きパラメータを用いる輝度またはクロミナンス構成要素のサンプルのブロックであってもよい。関連シンタックス（ａｓｓｏｃｉａｔｅｄ  ｓｙｎｔａｘ）と共に、輝度ＰＢおよびクロミナンスＰＢｓはＰＵを形成する。しかし、ビデオエンコーダ３００およびビデオデコーダ４００は、様々な例示的な実施形態に応じて互いに異なるブロック分割方式を有することができる。
【００３６】
図３を参照すれば、ビデオエンコーダ３００は、イントラ予測器（Ｉｎｔｒａ  Ｐｒｅｄｉｃｔｏｒ）３１０、動き推定器（Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｏｒ）３２０、動き補償器（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｏｒ）３３０、変換および量子化ブロック（Ｔｒａｎｓｆｏｒｍ  ａｎｄ  Ｑｕａｎｔｉｚａｔｉｏｎ  Ｂｌｏｃｋ）３４０、ビットストリーム生成器（Ｂｉｔｓｔｒｅａｍ  Ｇｅｎｅｒａｔｏｒ）３５０、逆量子化および逆変換ブロック（Ｉｎｖｅｒｓｅ  Ｑｕａｎｔｉｚａｔｉｏｎ  ａｎｄ  Ｉｎｖｅｒｓｅ  Ｔｒａｎｓｆｏｒｍ  Ｂｌｏｃｋ）３６０、フィルタ３７０、デコーディングされた画像プリプロセッサ（Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｐｒｅ−Ｐｒｏｃｅｓｓｏｒ）３８０、および画像バッファ（Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）３９０を含む。
【００３７】
ビデオエンコーダ３００は、現在イメージ（または画像）３０５を含むビデオイメージ（または画像）のシーケンス（ｓｅｑｕｅｎｃｅ）を受信する。ビデオイメージのシーケンスが漸進的なビデオフレームおよび／またはビデオフレームの他のフォーマットを含むことによって、ビットストリームを圧縮されたビデオ情報として出力する。受信された現在イメージ３０５に対してブロック分割が行われ、インタイメージ予測またはイントライメージ予測がプロセシングユニット単位である分割されたブロックに基づいて行われる。ビデオエンコーダ３００は、イントライメージ予測またはインタイメージ予測のためのエンコーディングプロセスを行う。図３に示すように、スイッチ３１５は、現在ブロックがイントラ予測器３１０を用いたイントライメージ予測を用いるか、現在ブロックがインタ予測器（Ｉｎｔｅｒ  Ｐｒｅｄｉｃｔｏｒ）を用いたインタイメージ予測を用いるかを決定する。
【００３８】
各イメージフレームは様々な基準に基づいて分類される。予測に用いられる参照画像に対し、イメージフレームは特定ビデオコーディング標準と類似するようにＩ−フレーム、Ｐ−フレーム、およびＢ−フレームカテゴリに分類される。但し、フレームタイプは他のビデオコーディング方式において互いに異なってもよい。
【００３９】
一般的に、Ｉ−フレームは、また他のイメージフレームを参照イメージフレームとして用いることのない、イントラコーディングされたデータフレームである。例えば、Ｉ−フレームは、現在Ｉ−フレームと時間的に（ｔｅｍｐｏｒａｌｌｙ）互いに異なる以前にデコーディングされた画像からの予測を含まない。例えば、Ｐ−フレームは以前にデコーディングされた参照フレームから予測される。Ｂ−フレームは複数の画像からの両方向（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ）予測を用いてコーディングされたビデオフレームである。よって、Ｉ−フレームはただイントライメージ予測を用いて予測され、Ｐ−フレームとＢ−フレームの少なくとも特定ブロックはインタイメージ予測を用いて予測される。現在イメージ３０５のコーディングブロックと参照イメージフレームの予測ブロック間の差、すなわち、残差（ｒｅｓｉｄｕａｌ）が得られる。
【００４０】
仮に現在イメージ３０５がＨＥＶＣ内のＩＲＡＰ（Ｉｎｔｒａ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｐｏｉｎｔ）画像のようにＩ−フレームでなければ、インタイメージ予測が可能である。現在イメージ３０５は動き推定器３２０および動き補償器３３０を用いたインタイメージ予測が可能である。動き推定器３２０は、参照イメージと現在イメージ３０５のコーディングブロック間の動きを推定する。この時、参照イメージは、例えば、画像バッファ３９０に格納される。参照イメージは、現在イメージ３０５のコーディングプロセス前に先にデコーディングされたイメージフレームである。しかし、参照イメージのうち少なくとも１つのディスプレイ順序は現在イメージ３０５のディスプレイ順序より遅れる。例えば、参照イメージのＰＯＣ（ｐｉｃｔｕｒｅ  ｏｒｄｅｒ  ｃｏｕｎｔ）は現在イメージ３０５より大きくてもよい。ＰＯＣはデコーディングされたイメージフレームのディスプレイ順序を示す。この時、デコーディング順序はディスプレイ順序とは異なってもよい。仮に、例えば、インタイメージ予測に用いられるピクセルの多重領域のような１つ以上のブロックが現在イメージ３０５のコーディングブロックの予測子（ｐｒｅｄｉｃｔｏｒｓ）として参照イメージから識別されれば、予測子はマージ（ｍｅｒｇｅ）されて１つの予測を発生する。
【００４１】
一般的に、参照イメージは、既にコーディングされ、ディスプレイのために再構成されたビデオシーケンス（ｓｅｑｕｅｎｃｅ）内のイメージフレームである。動き推定器３２０は、全体サンプル（ｆｕｌｌ  ｓａｍｐｌｅ）、ハーフサンプル（ｈａｌｆ  ｓａｍｐｌｅ）、クォーターサンプル（ｑｕａｒｔｅｒ  ｓａｍｐｌｅ）によって動きを推定する。仮にスケーリング可能なビデオコーディングが所定の多重コーディング解像度に対して可能であれば、参照イメージの解像度は他の解像度のレイヤにダウンサンプリング（ｄｏｗｎｓａｍｐｌｉｎｇ）され、それにより、互いに異なる質（ｑｕａｌｉｔｙ）のビデオイメージが他のレイヤに応じてコーディングされて再生産される。リサンプリングフィルタはビデオコンテンツコーディングの多重解像度に対して用いられ、互いに異なる解像度の少なくとも２個のレイヤ間の残差に対するリサンプリングは少なくとも２個のレイヤの間で高い解像度信号に対する予測に基づいて行われる。
【００４２】
各空間レイヤにおいて、シングル−レイヤコーディングのように、動き補償予測およびイントライメージ予測が適用される。イメージフレームの低い解像度の画像が同一なイメージフレームの高い解像度の画像を予測するのに用いられるように、コーディング効率はインタイメージ予測によって向上する。その結果、動き推定器３２０は、動きベクトル情報と参照画像インデックスのような動き情報を出力する。ＡＭＶＰ（Ａｄｖａｎｃｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）、動きベクトルコーディングに対するマージモード（ｍｅｒｇｅ  ｍｏｄｅ）、ＨＥＶＣのスキップおよび直接動き推論（ｓｋｉｐｐｅｄ  ａｎｄ  ｄｉｒｅｃｔ  ｍｏｔｉｏｎ  ｉｎｆｅｒｅｎｃｅ）、並びにその以前標準が様々な例示的な実施形態に応じて用いられることができる。動き情報は、ビットストリーム生成器３５０によって予め定義されたシンタックスおよびエントロピー符号化に基づいてコーディングされる。
【００４３】
動き情報に基づいて、動き補償器３３０は、動きベクトルおよびデコーディングされた参照画像を用いてインタイメージ予測プロセスにおける動き補償を実行する。動き補償器３３０は、動きベクトルのためにクォーターサンプルの正確度を利用することができる。フィルタ（例えば、７タップ、８タップ）は補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ）のために用いられて、分割サンプル位置を取得することができる。なお、クォーターサンプル位置に対する線形補間前に実行される、ハーフサンプル位置の６タップフィルタによるフィルタリングを特定構造において用いることができる。各予測ブロックに対して多重参照イメージが用いられるため、１つ以上の動きベクトルを用いることができ、スケーリングおよびオフセットは、ＨＥＶＣおよびＨ．２６４／ＡＶＣにおいて用いられる加重予測（ｗｅｉｇｈｔｅｄ  ｐｒｅｄｉｃｔｉｏｎ）方式のような加重予測方式に基づいた予測を適用することができる。
【００４４】
変換および量子化ブロック３４０は変換器および量子化器を含むことができる。変換および量子化ブロック３４０は、ビデオ情報を周波数ドメインデータに変換する。ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）またはその変形例が変換および量子化ブロック３４０の入力に受信されるサンプルデータのブロックを変換するのに用いられる。以前にデコーディングされた参照イメージの検索範囲内の当該ブロックと同様に、サンプルデータのブロックは現在イメージ３０５のブロックおよび動き補償器３３０から出力された予測間の差に該当する予測残差データを含む。変換はＴＵ（Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ）のユニットおよびＨＥＶＣの残差四分木（ｒｅｓｉｄｕａｌ  ｑｕａｄｔｒｅｅ）方式を用いることができるが、これに限定されるものではない。変換および量子化ブロック３４０は周波数ドメインデータのブロックを量子化する。
【００４５】
ビットストリーム生成器３５０は、変換および量子化ブロック３４０から出力された量子化されたデータをコーディングすることによって、エンコーディングされたビットストリームを生成する。ビットストリーム生成器３５０は、ハフマンコーディング（Ｈｕｆｆｍａｎ  ｃｏｄｉｎｇ）、ランレングス符号化（ｒｕｎ−ｌｅｎｇｔｈ  ｃｏｄｉｎｇ）、差分コーディング（ｄｉｆｆｅｒｅｎｔｉａｌ  ｃｏｄｉｎｇ）およびそれと類似するコーディングのような様々なコーディング方式を実行するエントロピーエンコーダを含むことができる。コーディングシンタックス要素もビットストリーム生成器３５０によってコーディングされることができる。例として、エントロピーコーダは、ＨＥＶＣまたはそれの以前標準および変形に該当する他の方式と同様に、ＣＡＢＡＣ（Ｃｏｎｔｅｘｔ  Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）を用いることができる。エンコーディングされたビットストリームはビデオデコーダに送信される。
【００４６】
変換および量子化ブロック３４０の出力は逆量子化および逆変換ブロック３６０の入力として提供される。逆量子化および逆変換ブロック３６０は逆量子化器および逆変換器を含む。逆量子化器は量子化されたデータを逆に量子化し、逆変換器は逆に量子化されたデータを逆に変換する。逆量子化および逆変換ブロック３６０の出力は再構成された残差（Ｒｅｃｏｎｓｔｒｕｃｔｅｄ  Ｒｅｓｉｄｕａｌ）として、動き補償器３３０から出力された予測に加えられることによって再構成された参照イメージが生成される。デコーディングされた画像バッファはインタ予測および今後のディスプレイのための参照イメージフレームを格納する。
【００４７】
再構成された参照イメージはフィルタ３７０によってフィルタリングされる。フィルタ３７０は、ブロック境界における断絶（ｄｉｓｃｏｎｔｉｎｕｉｔｙ）を減少させ、リンギングアーチファクト（ｒｉｎｇｉｎｇ  ａｒｔｉｆａｃｔｓ）およびサンプル歪み（ｓａｍｐｌｅ  ｄｉｓｔｏｒｔｉｏｎｓ）を弱化させるためにジブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ  ｆｉｌｔｅｒ）およびＳＡＯ（Ｓａｍｐｌｅ  Ａｄａｐｔｉｖｅ  Ｏｆｆｓｅｔ）を含むことができる。フィルタ３７０は、このように様々なフィルタリングメカニズムを含み、原シーケンスイメージからのエラーおよび損失（ｌｏｓｓｅｓ）を補償できることが分かる。ビデオエンコーダ３００は、追加的な無損失コーディング方式なしでブロックに基づいた損失コーディング（ｂｌｏｃｋ−ｂａｓｅｄ  ｌｏｓｓｙ  ｃｏｄｉｎｇ）を実行するか、または無損失コーディングを実行することができる。
【００４８】
デコーディングされた画像プリプロセッサ３８０は、フィルタリングされた参照イメージを変更（ｍｏｄｉｆｉｃａｔｉｏｎ）なしでデコーディングされた画像バッファに格納するか、またはフィルタリングされた参照イメージを変更し、変更された画像バッファに格納することができる。変更された参照イメージは画像バッファ３９０の変更された画像バッファに格納される。画像バッファ３９０は、インタイメージ予測および今後のディスプレイに用いられる変更されていない（ｕｎｍｏｄｉｆｉｅｄ）参照イメージをそれぞれの参照イメージのＰＯＣに応じて格納するためのデコーディングされた画像バッファを含むことができる。さらに、画像バッファ３９０はインタイメージ予測に用いられるが、ディスプレイされない変更された参照イメージを格納するための変更された画像バッファを含むことができる。
【００４９】
例示的な実施形態として、変更された画像バッファはデコーディングされた画像バッファから分離できる。他の実施形態として、変更された画像バッファとデコーディングされた画像バッファとは統合できる。変更された参照イメージおよび変更されていない参照イメージ（または、参照画像）は、動き推定器３２０および動き補償器３３０のうち少なくとも１つに提供され得る。動き推定器３２０および動き補償器３３０は変更されていない参照画像に対する動作を実行する。変更された参照画像に基づいた動き推定および動き補償については以下でより詳しく説明する。動き推定器３２０は、デコーディングされた画像プリプロセッサ３８０と通信して参照イメージの変更方式（ｒｅｆｅｒｅｎｃｅ  ｉｍａｇｅ  ｍｏｄｉｆｉｃａｔｉｏｎ  ｓｃｈｅｍｅｓ）および変更パラメータ（ｍｏｄｉｆｉｃａｔｉｏｎ  ｐａｒａｍｅｔｅｒｓ）を決定することができる。それについても以下でより詳しく説明する。
【００５０】
図４を参照すれば、ビデオデコーダ４００は、ビットストリームプロセッサ（Ｂｉｔｓｔｒｅａｍ  Ｐｒｏｃｅｓｓｏｒ）４１０、逆量子化および逆変換ブロック（Ｉｎｖｅｒｓｅ  Ｑｕａｎｔｉｚａｔｉｏｎ  ａｎｄ  Ｉｎｖｅｒｓｅ  Ｔｒａｎｓｆｏｒｍ  Ｂｌｏｃｋ）４２０、フィルタ４３０、デコーディングされた画像プリプロセッサ（Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｐｒｅ−Ｐｒｏｃｅｓｓｏｒ）４４０、画像バッファ（Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）４５０、動き補償器（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｏｒ）４６０、およびイントラ予測器（Ｉｎｔｒａ  Ｐｒｅｄｉｃｔｏｒ）４７０を含む。
【００５１】
ビットストリームプロセッサ４１０は、ビデオエンコーダ３００によってエンコーディングされたビットストリームを受信する。しかし、ビットストリームプロセッサ４１０はまた他の好適なソースからビットストリームを受信できる。ビットストリームプロセッサ４１０はエントロピーデコーダを含み、受信されたビットストリームに対するエントロピーデコーディングを行うことができる。この時、受信されたビットストリームは、ビデオエンコーダ３００によってエントロピーコーディングされた（ｅｎｔｒｏｐｙ−ｃｏｄｅｄ）ビットストリームである。エントロピーデコーディングは、ビデオエンコーダ３００で実行されたエントロピーエンコーディングの逆（ｉｎｖｅｒｓｅ）である。
【００５２】
逆量子化および逆変換ブロック４２０、フィルタ４３０、デコーディングされた画像プリプロセッサ４４０、画像バッファ４５０、動き補償器４６０、およびイントラ予測器４７０は、図３を参照して説明した、逆量子化および逆変換ブロック３６０、フィルタ３７０、デコーディングされた画像プリプロセッサ３８０、画像バッファ３９０、動き補償器３３０、およびイントラ予測器３１０と実質的に同一の構造とすることができる。以下、重複する説明は省略する。しかし、ビデオエンコーダ３００とは異なり、逆量子化および逆変換ブロック４２０、デコーディングされた画像プリプロセッサ４４０、動き補償器４６０、イントラ予測器４７０、および他の構成要素は、動き情報のような入力をビットストリームプロセッサ４１０から、またはビットストリームプロセッサ４１０との中間構成要素（ｉｎｔｅｒｍｅｄｉａｔｅ  ｃｏｍｐｏｎｅｎｔ）から受信する。この時、当該中間構成要素はビットストリームを予め定義されたシンタックスに応じて処理することができる。
【００５３】
図５は、本発明の実施形態によるデコーディングされた（ｄｅｃｏｄｅｄ）イメージプリプロセッサのブロック図である。
図５を参照すれば、デコーディングされた画像プリプロセッサ５００は、空間スケーラ（Ｓｐａｔｉａｌ  Ｓｃａｌｅｒ）５１０、イメージ回転コントローラ（Ｉｍａｇｅ  Ｒｏｔａｔｉｏｎ  Ｃｏｎｔｒｏｌｌｅｒ）５２０、イメージシヤーコントローラ（Ｉｍａｇｅ  Ｓｈｅａｒ  Ｃｏｎｔｒｏｌｌｅｒ）５３０、および変更コントローラ（Ｍｏｄｉｆｉｃａｔｉｏｎ  Ｃｏｎｔｒｏｌｌｅｒ）５４０を含む。デコーディングされた画像プリプロセッサ５００の１つまたはそれ以上の構成要素は、様々な実施形態に応じて省略、結合、分割、または他の方式に変更されてもよい。デコーディングされた画像プリプロセッサ５００は、デコーディングされた参照イメージ（Ｄｅｃｏｄｅｄ  Ｒｅｆｅｒｅｎｃｅ  ｌｍａｇｅ）の少なくとも一部を受信する。例として、デコーディングされた画像プリプロセッサ５００は、デコーディングされた参照イメージの少なくとも１つのブロックまたはデコーディングされた参照画像フレーム全体を受信することができる。
【００５４】
例示的な実施形態として、空間スケーラ５１０は、受信された参照イメージに対して空間スケーリングを行うことができる。空間スケーリングは、参照イメージに対するダウンサンプリング（ｄｏｗｎｓａｍｐｌｉｎｇ）あるいはアップサンプリング（ｕｐｓａｍｐｌｉｎｇ）によって行なうことができる。このような処理に応じて解像度は変更される。なお、参照イメージのサイズおよびＬＯＤ（ｌｅｖｅｌ  ｏｆ  ｄｅｔａｉｌ）のうち少なくとも１つが変更される。例えば、ダウンサンプリングが実行される時、ピクセルの数は減少し、参照イメージのサイズは減少しうる。例えば、参照イメージの横幅と縦幅とを各々半分に減少させることによって、参照イメージのサイズは１／４サイズに減少しうる（図６参照）。ＬＯＤが変更される場合、各ダウンサンプリングされた参照イメージはＬＯＤインデックスのようなインデックスを有するようになり、スケーリングされたレベルまたはスケーリングされたＬＯＤを示すことができる。ダウンサンプリングのデフォルト（ｄｅｆａｕｌｔ）として、参照イメージのサイズは１／４サイズに減少しうる。さらに、パラメータおよび／またはフラグを設定することによってスケーリング比（ｓｃａｌｉｎｇ  ｒａｔｉｏ）を変更することができ、例えば、参照イメージのサイズは１／３サイズに減少しうる。
【００５５】
スケーリング比はスケーリングパラメータとして決定し設定され、特定参照イメージのスケーリング比を示す。スケーリングパラメータは数式１によって定義することができる。
【００５６】
【数１】
2017123645.tif 000003
【００５７】
Ｓｃａｌｅｄ  Ｒｅｆｅｒｅｎｃｅ  Ｉｍａｇｅ  Ｗｉｄｔｈはスケールされた参照イメージの幅を示す。Ｕｎｍｏｄｉｆｉｅｄ  Ｒｅｆｅｒｅｎｃｅ  Ｉｍａｇｅ  Ｗｉｄｔｈは未変更の参照イメージの幅を示す。高さ比（ｈｅｉｇｈｔ  ｒａｔｉｏ）を幅パラメータの代わりにスケーリングパラメータとして用いることができる。仮に幅のスケーリング比と高さのスケーリング比が互いに異なれば、その２つのスケーリング比を定義し、適用することができる。スケーリングを実行する時、様々な補間フィルタを用いることができる。例えば、ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ、ｂｉｌｉｎｅａｒ、ｂｉｃｕｂｉｃ、ｂｉｃｕｂｉｃ  ｓｍｏｏｔｈｅｒ、ｂｉｃｕｂｉｃ  ｓｈａｒｐｅｒおよび／またはその組み合わせが用いられ得る。
【００５８】
空間スケーラ５１０は、現在イメージ内のオブジェクトのサイズとマッチする変更された参照イメージ内のオブジェクトのサイズに対応する変更された参照イメージを生成する。例えば、イメージ内のオブジェクトの動きのｚ−軸構成要素は動き推定器３２０によって示され（ズームインまたはズームアウト）、以前動き情報はオブジェクトの動きのｚ−軸構成要素を示すのに用いられる。ｚ−軸は参照イメージの垂直方向であってもよい。平面空間内の動きベクトルのｘおよびｙ構成要素と関連して、動きベクトルのｚ−軸構成要素が推定される。隣接イメージフレーム（ＰＯＣ差の少ないフレーム）内のオブジェクトの動きは一定であるため、参照イメージが当該スケーリング比を用いて変更されることによって、変更された参照イメージを用いたインタイメージ予測内のコーディング効率が向上する。
【００５９】
イメージ回転コントローラ５２０は受信された参照イメージの回転を制御する。空間スケーラ５１０のスケーリングパラメータと同様に、回転パラメータが受信された参照イメージの変更に用いられる。回転パラメータは、特定参照イメージの少なくとも１つのブロックに対する回転角度（ｒｏｔａｔｉｏｎ  ｄｅｇｒｅｅ）を含む。回転パラメータは回転中心に対応するパラメータをさらに含む。例えば、回転中心は参照イメージの左上端コーナーとして設定することができる。しかし、回転中心がこれに限定されるものではない。例えば、回転中心は参照イメージフレーム内の検索範囲の左上端コーナーであるか、または参照イメージフレーム内の検索範囲の中心であってもよい。
【００６０】
イメージシヤーコントローラ５３０は受信された参照イメージに対するシヤーリングを制御する。空間スケーラ５１０のスケーリングパラメータと同様に、シヤーパラメータは受信された参照イメージを変更するのに用いることができる。シヤーパラメータは、特定参照イメージの少なくとも１つのブロックに対するシヤーリング程度（ｓｈｅａｒｉｎｇ  ｄｅｇｒｅｅ）を含むことができる。
【００６１】
変更コントローラ５４０は、空間スケーラ５１０、イメージ回転コントローラ５２０、およびイメージシヤーコントローラ５３０の出力のうち少なくとも１つの組み合わせを制御する。図示されてはいないが、特定参照イメージの少なくとも１つのブロックを反映するように構成される反映コントローラ（ｒｅｆｌｅｃｔ  ｃｏｎｔｒｏｌｌｅｒ）のような他のコントローラが変更コントローラ５４０と結合されて構成されてもよい。動きベクトルは、動き情報を構成するスケーリングパラメータ、回転パラメータ、およびシヤーパラメータのように、上記で説明された変更パラメータと関連する。この時、変更されていない参照イメージの、ＰＯＣのような原（ｏｒｉｇｉｎａｌ）参照イメージインデックスが動き情報とさらに関連しうる。または、ＬＯＤインデックスのような変更された参照イメージのインデックスも動き情報とさらに関連しうる。例示的な実施形態として、変更されていない参照イメージも画像バッファ（３９０または４５０）に格納され、ディスプレイおよびインタイメージ予測のために用いることができる。それに関する詳細は他の図面を参照してさらに説明する。
【００６２】
図６は、本発明の実施形態によってスケーリング（ｓｃａｌｉｎｇ）パラメータを用いた参照イメージの変更（ｍｏｄｉｆｉｃａｔｉｏｎ）動作を説明する図である。
図６を参照すれば、現在イメージの現在コーディングブロックＣＢが決定される。ターゲットオブジェクトＴＯは現在コーディングブロックＣＢ内に含まれる。現在コーディングブロックＣＢはただターゲットオブジェクトＴＯの一部を含むものとして決定することができる。本発明の実施形態において、ターゲットオブジェクトＴＯは確認することができ、全体ターゲットオブジェクトＴＯを含むさらに大きいブロックを決定することができる。例えば、さらに大きいブロックは２以上のコーディングブロックＣＢを含むことができる。デコーディングされた画像プリプロセッサ５００によって変更されていないデコーディングされた参照イメージフレームＬＯＤ０に関し、動きベクトルＭＶ０（Δｘ、Δｙ）は、参照イメージの変更が考慮されないのであれば、デコーディングされた参照イメージフレームＬＯＤ０の予測ブロックＰＢの左上端コーナーの座標と現在イメージフレームの現在コーディングブロックＣＢの左上端コーナーの座標の差を計算して決定することができる。
【００６３】
しかし、図６に示すように、デコーディングされた参照イメージフレームＬＯＤ０内の対応するターゲットオブジェクトＴＯ＿０は、現在イメージフレーム内のターゲットオブジェクトＴＯよりほぼ４倍大きい。よって、デコーディングされた参照イメージフレームＬＯＤ０内の１つの予測ブロックＰＢは、対応するターゲットオブジェクトＴＯ＿０の全体面積を含まなくてもよい。例えば、インタ予測効率（ｉｎｔｅｒ−ｐｒｅｄｉｃｔｉｏｎ  ｅｆｆｉｃｉｅｎｃｙ）が保障されなくてもよい。また、イントラ予測がインタイメージ予測（ｉｎｔｅｒ−ｉｍａｇｅ  ｐｒｅｄｉｃｔｉｏｎ）を行う代わりに実行されてもよい。
【００６４】
インタイメージ予測効率および／または確率を増加させるために、ＬＯＤインデックス１を有する変更された参照イメージＬＯＤ１がインタイメージ予測のために選択され得る。変更された参照イメージＬＯＤ１の予測ブロックＰＢ１のサイズは現在イメージフレームの現在コーディングブロックＣＢのサイズとマッチさせることができるが、これに限定されるものではない。この場合、変更された参照イメージＬＯＤ１の予測ブロックＰＢ１にスケーリングされたデコーディングされた参照イメージフレームＬＯＤ０のマッチングブロックＭＢは、現在イメージフレームの現在コーディングブロックＣＢより大きいサイズを有することができる。
【００６５】
変更された動きベクトルＭＶ１は、デコーディングされた参照イメージフレームＬＯＤ０と変更された参照イメージＬＯＤ１間のスケーリング比Ｓ、現在イメージフレームの現在コーディングブロックＣＢの左上端コーナーの座標（ｘ１、ｙ１）、および変更された参照イメージＬＯＤ１の予測ブロックＰＢ１の左上端コーナーの座標（ｘ２’、ｙ２’）のような拡張された動きパラメータに基づいて得られる。スケーリング比は数式２によって定義することができる。
【００６６】
【数２】
2017123645.tif 000004
【００６７】
本発明の実施形態によれば、変更された参照イメージＬＯＤ１のＬＯＤインデックスとデコーディングされた参照イメージフレームＬＯＤ０のマッチングブロックＭＢの左上端コーナーの座標（ｘ２、ｙ２）とは拡張された動きパラメータとして用いることができる。拡張された動きパラメータは動き情報に含まれ、予め定められたシンタックス（ｓｙｎｔａｘ）に応じてコーディングすることができる。一例として、動きベクトルＭＶ１は数式３によって定義することができる。
【００６８】
【数３】
2017123645.tif 000005
本発明の実施形態によれば、動きベクトルＭＶは数式４によって定義することができる。
【００６９】
【数４】
2017123645.tif 000006
幅のスケーリング比Ｓ１が高さのスケーリング比Ｓ２と異なる場合、動きベクトルＭＶは数式５によって定義することができる。
【００７０】
【数５】
2017123645.tif 000007
本発明の実施形態によれば、動きベクトルＭＶは現在イメージフレーム内の座標にスケーリング比を適用することによって定義することができる。例えば、動きベクトルＭＶは数式６によって定義することができる。
【００７１】
【数６】
2017123645.tif 000008
【００７２】
図７は、本発明の他の実施形態によるスケーリングパラメータを用いた参照イメージの変更（ｍｏｄｉｆｉｃａｔｉｏｎ）動作を説明する図である。
図７を参照すれば、現在イメージフレーム内の現在コーディングブロックＣＢが決定される。ターゲットオブジェクトＴＯの一部は現在コーディングブロックＣＢに含まれる。ターゲットオブジェクトＴＯは確認することができ、全体ターゲットオブジェクトＴＯを含むさらに大きいブロックを決定することができる。この場合、さらに大きいブロックは２以上のコーディングブロックＣＢを含むことができる。なお、本発明の実施形態において、現在コーディングブロックＣＢはターゲットオブジェクトＴＯの全体部分を含むように決定することができる。デコーディングされた画像プリプロセッサ５００によって変更されていないデコーディングされた参照イメージフレームＬＯＤ０に関し、動きベクトルＭＶ０（Δｘ、Δｙ）は、参照イメージの変更が考慮されないのであれば、デコーディングされた参照イメージフレームＬＯＤ０の予測ブロックＰＢの左上端コーナーの座標と現在イメージフレームの現在コーディングブロックＣＢの左上端コーナーの座標との差を計算して決定することができる。
【００７３】
しかし、図７に示すように、デコーディングされた参照イメージフレームＬＯＤ０内の対応するターゲットオブジェクトＴＯ＿０は、現在イメージフレーム内のターゲットオブジェクトＴＯよりほぼ４倍大きい。よって、デコーディングされた参照イメージフレームＬＯＤ０内の１つの予測ブロックＰＢは、現在コーディングブロックＣＢ内のターゲットオブジェクトＴＯの面積より大きくてもよい。よって、インタ予測効率（ｉｎｔｅｒ−ｐｒｅｄｉｃｔｉｏｎ  ｅｆｆｉｃｉｅｎｃｙ）が保障されなくてもよい。または、イントラ予測がインタイメージ予測（ｉｎｔｅｒ−ｉｍａｇｅ  ｐｒｅｄｉｃｔｉｏｎ）の代わりに実行されてもよい。
【００７４】
インタイメージ予測効率および／または確率を増加させるために、ＬＯＤインデックス−１を有する変更された参照イメージＬＯＤ−１をインタイメージ予測のために選択することができる。変更された参照イメージＬＯＤ−１の予測ブロックＰＢ１のサイズは現在イメージフレームの現在コーディングブロックＣＢのサイズとマッチさせることができるが、本発明の実施形態がこれに限定されるものではない。この場合、変更された参照イメージＬＯＤ−１の予測ブロックＰＢ１にスケーリングされたデコーディングされた参照イメージフレームＬＯＤ０のマッチングブロックＭＢは、現在イメージフレームの現在コーディングブロックＣＢより小さいサイズを有することができる。
【００７５】
変更された動きベクトルＭＶ１は、デコーディングされた参照イメージフレームＬＯＤ０と変更された参照イメージＬＯＤ−１間のスケーリング比Ｓ（数式２で定義される）、現在イメージフレームの現在コーディングブロックＣＢの左上端コーナーの座標（ｘ１、ｙ１）、および変更された参照イメージＬＯＤ−１の予測ブロックＰＢ１の左上端コーナーの座標（ｘ２’、ｙ２’）のような拡張された動きパラメータに基づいて得られる。
【００７６】
本発明の実施形態によれば、変更された参照イメージＬＯＤ−１のＬＯＤインデックスとデコーディングされた参照イメージフレームＬＯＤ０のマッチングブロックＭＢの左上端コーナーの座標（ｘ２、ｙ２）とは拡張された動きパラメータとして用いることができる。拡張された動きパラメータは動き情報に含まれ、予め定められたシンタックス（ｓｙｎｔａｘ）に応じてコーディングすることができる。一例として、動きベクトルＭＶ１は数式３によって定義することができる。本発明の実施形態によれば、動きベクトルＭＶは数式４または数式６によって定義することができる。幅のスケーリング比Ｓ１が高さのスケーリング比Ｓ２と異なる場合、動きベクトルＭＶは数式５によって定義することができる。
【００７７】
図８は、本発明の実施形態によって最適化されたスケーリングパラメータまたは補間に基づいたインタイメージの予測動作を説明する図である。
図８を参照すれば、デコーディングされた参照イメージＬＯＤ０は変更された参照イメージＬＯＤＭにスケーリングすることができる。例えば、スケーリング比は、図８に示すように、４分の３であってもよい。ｎｅａｒｅｓｔ−ｎｅｉｇｈｂｏｒ補間、ｂｉｌｉｎｅａｒ補間などのような様々なスケーリングアルゴリズムを用いることができる。サブピクセルはＬＯＤ０内の１６ピクセル値をＬＯＤＭ内の９ピクセル値にマッピングするために考慮することができる。例えば、ＬＯＤ０内の１６ピクセル値の一部の加重平均値はＬＯＤＭ内の９ピクセル値の各々にマッピングすることができる。一例として、動きベクトルＭＶは数式７によって定義することができる。
【００７８】
【数７】
2017123645.tif 000009
【００７９】
さらに、予測ブロックの位置ＰＢＭと９ピクセル値は、デコーディングされた参照イメージＬＯＤ０のマッチングブロックＭＢ０および／または変更された参照イメージＬＯＤ１のマッチングブロックＭＢ１の補間に基づいて決定することができる。例えば、ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ、ｂｉｌｉｎｅａｒ、ｂｉｃｕｂｉｃ、ｂｉｃｕｂｉｃ  ｓｍｏｏｔｈｅｒ、ｂｉｃｕｂｉｃ  ｓｈａｒｐｅｒおよび／またはその組み合わせを用いることができる。
【００８０】
図９は、本発明の実施形態によって回転パラメータを用いた参照イメージの変更動作を説明する図である。
図９を参照すれば、現在イメージフレーム内のターゲットオブジェクトＴＯはデコーディングされた参照イメージ内で回転する。参照イメージの変更が考慮されないのであれば、現在イメージフレームのコーディングブロックは、イントラ−イメージ予測またはインタイメージ予測に基づいてデコーディングされた参照イメージから予測される。ターゲットオブジェクトＴＯが回転するため、圧縮は最適ではない。本発明の実施形態において、デコーディングされた参照イメージは、回転した参照イメージ内のターゲットオブジェクトが現在イメージフレーム内のターゲットオブジェクトＴＯにさらによくマッチするようにデコーディングされた参照イメージを回転させて変更することができる。
【００８１】
例えば、図９において、回転角度３０度はターゲットオブジェクトＴＯの適切なマッチングを提供する。回転中心はデコーディングされた参照イメージ内のターゲットオブジェクトＴＯの位置に基づいて決定されるか、またはデコーディングされた参照イメージの左上端コーナーまたはデコーディングされた参照イメージに関する他の位置に決定することができる。拡張された動きパラメータは、変更された動きベクトル、参照画像インデックスおよび回転角度インデックスを含むことができる。回転角度インデックスは、回転中心および回転角度のうち少なくとも１つ以上を含むことができる。拡張された動きパラメータのうち、スケーリングパラメータ（スケーリング比Ｓ、Ｓ１およびＳ２）、回転パラメータ（回転角度、回転中心など）およびシヤーパラメータは参照イメージ変更パラメータとして称し得る。しかし、本発明の実施形態がこれに限定されるものではない。ここで、参照イメージ変更パラメータは参照イメージを変更するために用いることができる。
【００８２】
図１０は、本発明の他の実施形態によって回転（ｒｏｔａｔｉｏｎ）パラメータを用いた参照イメージの変更（ｍｏｄｉｆｉｃａｔｉｏｎ）動作を説明する図である。
図１０を参照すれば、現在イメージフレームはターゲットオブジェクトＴＯを含む。現在イメージフレームの現在コーディングブロックＣＢの左上端コーナーの座標は（ｘ１、ｙ１）である。現在イメージフレーム内のターゲットオブジェクトに関する、デコーディングされた参照イメージ内の対応するターゲットオブジェクトＴＯは角度θだけ回転されうる。インタイメージ予測効率および／または確率を高めるために、デコーディングされた参照イメージはデコーディングされた参照イメージを角度θだけ回転させて変更することができる。
【００８３】
変更された参照イメージ内の予測ブロックＰＢθは、現在イメージフレームの現在コーディングブロックＣＢのインタイメージ予測のために用いることができる。なお、変更された参照イメージ内の予測ブロックＰＢθは、デコーディングされた参照イメージ内のマッチングブロックＭＢの反時計方向の回転であってもよい。また、マッチングブロックＭＢ内のピクセルは予測ブロックＰＢθ内のピクセルと正確にマッチされなくてもよい。様々な補間方式を適用することができ、ピクセル値が調整される。変更された動きベクトルＭＶθは数式８によって決定することができる。
【００８４】
【数８】
2017123645.tif 000010
【００８５】
回転パラメータθはデコーディングされた参照イメージの変更パラメータであってもよい。変更された動きベクトルＭＶθと回転パラメータθはいずれも拡張された動きパラメータであってもよい。さらに、本発明の実施形態において、回転パラメータθに関連し、変更された動きベクトルＭＶθは数式９によって定義することができる。
【００８６】
【数９】
2017123645.tif 000011
【００８７】
図１１は、本発明の他の実施形態によって回転パラメータを用いた参照イメージの変更（ｍｏｄｉｆｉｃａｔｉｏｎ）動作を説明する図である。
図１１を参照すれば、検索範囲ＳＲはデコーディングされた参照イメージ内で決定される。検索範囲は角度θだけ回転させることができる。図１１に示すように、回転中心は検索範囲ＳＲの中心であってもよいが、これに限定されるものではない。例えば、回転中心は検索範囲ＳＲの左上端であってもよい。検索範囲ＳＲのサイズ、回転中心および回転角度と関連した変更された動きベクトルは数式１０によって定義することができる。
【００８８】
【数１０】
2017123645.tif 000012
【００８９】
回転中心（ｘｃ、ｙｃ）と回転パラメータθはデコーディングされた参照イメージの変更パラメータであってもよい。さらに、変更された動きベクトルＭＶθ、回転中心（ｘｃ、ｙｃ）および回転パラメータθは動きパラメータに拡張することができる。また、本発明の実施形態において、回転中心（ｘｃ、ｙｃ）および回転パラメータθと関連し、変更された動きベクトルＭＶθは数式１１によって定義することができる。
【００９０】
【数１１】
2017123645.tif 000013
【００９１】
図１２は、本発明の実施形態によってシヤー（ｓｈｅａｒ）パラメータを用いた参照イメージの変更動作を説明する図である。
図１２を参照すれば、現在イメージフレームはターゲットオブジェクトＴＯを含み、これはデコーディングされた参照イメージ内の対応するターゲットオブジェクトのシヤーイメージである。現在イメージフレームの現在コーディングブロックＣＢの左上端コーナー座標は（ｘ１、ｙ１）である。デコーディングされた参照イメージ内の対応するターゲットオブジェクトは、インタイメージ予測の効率および／または数式１２の確率を向上させるためにシヤーすることができる。
【００９２】
【数１２】
2017123645.tif 000014
【００９３】
デコーディングされた参照イメージは、シヤーパラメータａおよびｂ（ａ、ｂは実数（ｒｅａｌ  ｎｕｍｂｅｒ））によって変更することができる。変更された参照イメージ内の予測ブロックＰＢは、現在イメージフレームの現在コーディングブロックＣＢのインタイメージ予測のために用いることができる。また、変更された参照イメージ内の予測ブロックＰＢは、デコーディングされた参照イメージ内のマッチングブロックＭＢのシヤーリングされたブロックであってもよい。しかし、数式１２のａ、ｂが整数（ｉｎｔｅｇｅｒ）ではない場合、前記マッチングブロックＭＢ内のピクセルは予測ブロックＰＢ内のピクセルと正確に一致しない。様々な補間方式を適用することができ、ピクセル値は調整することができる。変更された動きベクトルＭＶは下記数式１３によって決定することができる。
【００９４】
【数１３】
2017123645.tif 000015
【００９５】
シヤーパラメータａ、ｂはデコーディングされた参照イメージの変更パラメータであってもよい。変更された動きベクトルＭＶおよびシヤーパラメータａ、ｂは拡張された動きベクトルであってもよい。また、本発明の実施形態によれば、シヤーパラメータａ、ｂに関連して変更された動きベクトルＭＶは下記数式１４によって決定することができる。
【００９６】
【数１４】
2017123645.tif 000016
【００９７】
数式１４において、（ｘ２−ｘ１、ｙ２−ｙ１）が動きベクトルとして用いられる場合、変更された参照イメージは相対的に短い時間で画像バッファに格納することができる。その代わりに、それに対応する変更されていない参照イメージを画像バッファに維持することができ、参照イメージは変更パラメータに基づいて変更することができ、インタ予測は変更された参照イメージに基づいて実行することができる。
【００９８】
以下、参照リストシンタックスの例について説明する。
パラメータセットは、一部変更および拡張を伴うＨＥＶＣおよびＨ．２６４／ＡＶＣと類似する構造を有することができる。一例として、シーケンスパラメータセット（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ、ＳＰＳ）および画像パラメータセットＰＰＳが構成または使用されてもよく、また、ビデオパラメータセットＶＰＳも追加されてもよい。それぞれの画像（またはイメージフレーム）は１つ以上のスライスを有してもよく、各スライスはこのようなスライスをデコーディングするために用いられる情報にアクセスするようにシングルアクティブ（ｓｉｎｇｌｅ  ａｃｔｉｖｅ）ＰＰＳ、ＳＰＳ、およびＶＰＳを参照してもよい。ＰＰＳは画像内のモードスライスに適用できる情報を含むことができる。互いに異なる画像内のスライスは同一のＰＰＳを参照するように構成することもできる。ＳＰＳは同一にコーディングされたビデオシーケンス内の全ての画像に適用できる情報を含むことができる。ＶＰＳはコーディングされたビデオシーケンス内の全てのレイヤに適用できる情報を含むことができる。ＶＰＳはスケーラブル（ｓｃａｌａｂｌｅ）およびマルチビュー（ｍｕｌｔｉ−ｖｉｅｗ）コーディングのような階層拡張（ｌａｙｅｒｅｄ  ｅｘｔｅｎｓｉｏｎｓ）のために用いることができる。
【００９９】
それぞれのスライスヘッダ（ｈｅａｄｅｒ）は特定ＰＰＳに参照表示をするＰＰＳ識別子（ｉｄｅｎｔｉｆｉｅｒ）を含むことができる。ＰＰＳは特定ＳＰＳに参照表示をするＳＰＳ識別子を含むことができる。ＳＰＳは特定ＶＰＳに参照表示をするＶＰＳ識別子を含むことができる。ＰＰＳは同一にコーディングされたビデオシーケンス内の他の画像に変更（ｃｈａｎｇｅ）するパラメータを含むことができる。但し、本発明の実施形態によれば、多重画像は同一のＰＰＳを参照することができる。それぞれのＰＰＳはＰＰＳ識別子、参照ＳＰＳのインデックス、パラメータを含むことができ、このパラメータはＰＰＳを参照するスライス内で用いられるコーディングツール（ｃｏｄｉｎｇ  ｔｏｏｌｓ）を説明する。コーディングツールは加重予測されるか、変更された参照リストとなることができる。また、ＰＰＳ内のシグナリングされた（ｓｉｇｎａｌｅｄ）コーディングツールパラメータは複数の参照インデックス（ｉｎｄｉｃｅｓ）を含むことができる。
【０１００】
本発明の実施形態によれば、ＰＰＳは下記のような様々なパラメータを含むことができる。パラメータ名は様々な構造に対応して変更（ｃｈａｎｇｅ）されてもよい。また、このようなパラメータは他のパラメータセットまたはスライスヘッダに含まれてもよい。
【０１０１】
パラメータｒｅｆ＿ｌｏｄ＿ｅｎａｂｌｅ＿ｆｌａｇは、対応する画像のスケーリングされたＬＯＤイメージがインタイメージ予測のために生成されるか否かを示すことができる。
【０１０２】
パラメータｌｏｄ＿ｓｃａｌｉｎｇ＿ｒａｔｉｏ＿ｆｌａｇは、参照イメージのスケーリングがＳ＝１／２または２のようなデフォルトスケーリング値を用いて行われるか否かを示すことができる。一例として、ｌｏｄ＿ｓｃａｌｉｎｇ＿ｒａｔｉｏ＿ｆｌａｇ＝０であれば、参照イメージのスケーリングはＳ＝１／２または２であるデフォルトスケーリング値を用いて行うことができ、ｌｏｄ＿ｓｃａｌｉｎｇ＿ｒａｔｉｏ＿ｆｌａｇ＝１であれば、参照イメージのスケーリングはＳ＝３／４のような非デフォルト（ｎｏｎ−ｄｅｆａｕｌｔ）スケーリング値を用いて行うことができる。
【０１０３】
また、パラメータｌｏｄ＿ｓｃａｌｉｎｇ＿ｍａｎｔｉｓｓａ  ａｎｄ  ｌｏｄ＿ｓｃａｌｉｎｇ＿ｅｘｐｏｎｅｎｔは定義できるものであり、一例として、非デフォルトスケーリング値（ｌｏｄ＿ｓｃａｌｉｎｇ  ｍａｎｔｉｓｓａ＝ｍ、ｌｏｄ＿ｓｃａｌｉｎｇ＿ｅｘｐｏｎｅｎｔ＝ｎ）を用いることができる。
【０１０４】
パラメータｌｏｄ＿ｓｔａｒｔ＿ｎｕｍは最も大きいＬＯＤサイズを有するＬＯＤのＬＯＤインデックスを示すことができる。一例として、ｌｏｄ＿ｓｔａｒｔ＿ｎｕｍ＝−２であれば、最も大きいＬＯＤはＬＯＤ−２であり、これはスケーリング比（ｓｃａｌｉｎｇ  ｒａｔｉｏ）Ｓ＝４に基づいてサイズを調節（ｒｅｓｉｚｅ）する。ｌｏｄ＿ｓｔａｒｔ＿ｎｕｍ＝０であれば、最も大きいＬＯＤはＬＯＤ０に対応する変更されていない参照イメージである。
【０１０５】
パラメータｌｏｄ＿ｅｎｄ＿ｎｕｍは最も小さいＬＯＤサイズを有するＬＯＤのＬＯＤインデックスを示すことができる。一例として、ｌｏｄ＿ｅｎｄ＿ｎｕｍ＝２であれば、ＬＯＤ１およびＬＯＤ２はデコーディングされた参照イメージＬＯＤ０から生成することができる。
【０１０６】
パラメータｌｏｄ＿ｓｃａｌｉｎｇ＿ｆｉｌｔｅｒ＿ｔｙｐｅは補間のためのフィルタタイプを示すことができる。一例として、ＮＮ（Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ）フィルタタイプはｌｏｄ＿ｓｃａｌｉｎｇ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＝０で示し、ｂｉｌｉｎｅａｒフィルタタイプはｌｏｄ＿ｓｃａｌｉｎｇ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＝１で示し、ｂｉｃｕｂｉｃフィルタタイプはｌｏｄ＿ｓｃａｌｉｎｇ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＝２で示すことができる。
【０１０７】
パラメータｒｅｆ＿ｒｏｔ＿ｅｎａｂｌｅ＿ｆｌａｇは、回転した参照イメージがインタイメージ予測のために生成されたか否かを示すことができる。
【０１０８】
パラメータｒｏｔ＿ｃｅｎｔｅｒ＿ｆｌａｇは、参照イメージの回転の中心を参照イメージの左上端コーナーのようなデフォルト値を用いて行うか否かを示すことができる。一例として、ｒｏｔ＿ｃｅｎｔｅｒ＿ｆｌａｇ＝０であれば、図１０に示すように左上端コーナー（０、０）を回転のデフォルト中央値として用いて参照イメージの回転を行う。ｒｏｔ＿ｃｅｎｔｅｒ＿ｆｌａｇ＝１であれば、回転の中心座標としてＣ＝（Ｘｃ、Ｙｃ）のような非デフォルト値を用いることを示すことができる。
【０１０９】
パラメータｒｏｔ＿ｒａｎｇｅ＿ｆｌａｇは参照イメージの全領域が回転するか否かを示すことができる。一例として、ｒｏｔ＿ｒａｎｇｅ＿ｆｌａｇ＝０であれば、図１０に示すように参照イメージの回転は全体参照イメージの回転として実行することができる。ｒｏｔ＿ｒａｎｇｅ＿ｆｌａｇ＝１であれば、参照イメージ内の回転領域は図１１に示すように追加的に知ることができる。
【０１１０】
パラメータｒｏｔ＿ａｎｇｌｅは回転角度（ｒｏｔａｔｉｏｎ  ｄｅｇｒｅｅ）θを示すことができる。
【０１１１】
パラメータｒｏｔ＿ｓｃａｌｉｎｇ＿ｆｉｌｔｅｒ＿ｔｙｐｅは補間のためのフィルタタイプを示すことができる。一例として、ＮＮ（Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ）フィルタタイプはｒｏｔ＿ｓｃａｌｉｎｇ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＝０で示し、ｂｉｌｉｎｅａｒフィルタタイプはｒｏｔ＿ｓｃａｌｉｎｇ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＝１で示し、ｂｉｃｕｂｉｃフィルタタイプはｒｏｔ＿ｓｃａｌｉｎｇ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＝２で示すことができる。
【０１１２】
パラメータｒｅｆ＿ｓｈｅａｒ＿ｅｎａｂｌｅ＿ｆｌａｇは、シヤーリングされた参照イメージがインタイメージ予測のために生成されたか否かを示すことができる。
【０１１３】
パラメータｓｈｅａｒ＿ｒａｎｇｅ＿ｆｌａｇは、参照イメージの全領域がシヤーリングされたイメージに変更されるか否かを示すことができる。一例として、ｓｈｅａｒ＿ｒａｎｇｅ＿ｆｌａｇ＝０であれば、図１２に示すように参照イメージの全領域が変更され、ｓｈｅａｒ＿ｒａｎｇｅ＿ｆｌａｇ＝１であれば、参照イメージ内のシヤーリングプロセシング領域は追加的に知らせることができる。
【０１１４】
パラメータｓｈｅａｒ＿ａ＿ｃｏｍｐｏｎｅｎｔは数式１２のマトリクス内のａ値を示すことができる。
パラメータｓｈｅａｒ＿ｂ＿ｃｏｍｐｏｎｅｎｔは数式１２のマトリクス内のｂ値を示すことができる。
【０１１５】
パラメータｓｈｅａｒ＿ｓｃａｌｉｎｇ＿ｆｉｌｔｅｒ＿ｔｙｐｅは補間のためのフィルタタイプを示すことができる。一例として、ＮＮ（Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ）フィルタタイプはｓｈｅａｒ＿ｓｃａｌｉｎｇ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＝０で示し、ｂｉｌｉｎｅａｒフィルタタイプはｓｈｅａｒ＿ｓｃａｌｉｎｇ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＝１で示し、ｂｉｃｕｂｉｃフィルタタイプはｓｈｅａｒ＿ｓｃａｌｉｎｇ＿ｆｉｌｔｅｒ＿ｔｙｐｅ＝２で示すことができる。
【０１１６】
スライスシンタックスにおいて、現在画像のスライスはスライスセグメントを含み、各スライスセグメントはスライスセグメントヘッダを含むことができる。スライスセグメントヘッダは、参照ＰＰＳに対するインデックスとスライスセグメントを識別できるデータを含むことができる。選択的なエキストラ（ｅｘｔｒａ）スライスヘッダビットは関連したＰＰＳを示す時にスライスセグメントヘッダの開始部分に含ませることができる。このような選択的なエキストラスライスヘッダビットは、ＨＥＶＣの現存するパラメータに対する以前バージョンとの互換性を維持しつつ拡張されたパラメータを利用できるように用いることができる。
【０１１７】
本発明の実施形態によれば、スライスヘッダは、ｌｏｄ＿ｒｅｆｅｒｅｎｃｉｎｇ＿ｅｎａｂｌｅ、ｒｏｔ＿ｒｅｆｅｒｅｎｃｉｎｇ＿ｅｎａｂｌｅ、およびｓｈｅａｒ＿ｒｅｆｅｒｅｎｃｉｎｇ＿ｅｎａｂｌｅを含むことができる。
【０１１８】
パラメータｌｏｄ＿ｒｅｆｅｒｅｎｃｉｎｇ＿ｅｎａｂｌｅは、インタイメージ予測のために現在スライスがＬＯＤ参照イメージを用いることを示すことができる。
パラメータｒｏｔ＿ｒｅｆｅｒｅｎｃｉｎｇ＿ｅｎａｂｌｅは、インタイメージ予測のために現在スライスが回転した参照イメージを用いることを示すことができる。
パラメータｓｈｅａｒ＿ｒｅｆｅｒｅｎｃｉｎｇ＿ｅｎａｂｌｅは、インタイメージ予測のために現在スライスがシヤーリングされた参照イメージを用いることを示す。
【０１１９】
予測ユニット（ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ、ＰＵ）は変更された参照イメージを参照することが可能になるか、及び変更された参照イメージが使用可能（ａｖａｉｌａｂｌｅ）であれば、識別子による変更された参照イメージを決定することができる。
【０１２０】
図５を参照すれば、変更コントローラ５４０は空間スケーラ５１０、イメージ回転コントローラ５２０、およびイメージシヤーコントローラ５３０によって制御されることによって、数式１５によって定義された一般的なアフィン（ａｆｆｉｎｅ）マトリクスを提供することができる。
【０１２１】
【数１５】
2017123645.tif 000017
【０１２２】
【数１６】
2017123645.tif 000018
は、空間スケーラ５１０内に構成された空間的（ｓｐａｔｉａｌ）スケーリングおよび空間的ムーブメントマトリクスであってもよい。
【０１２３】
【数１７】
2017123645.tif 000019
は、イメージ回転コントローラ５２０内に構成された回転マトリクスであってもよい。この時、θは回転角度を示す。
【０１２４】
【数１８】
2017123645.tif 000020
は、イメージシヤーコントローラ５３０内に構成されたシヤーマトリクスであってもよい。この時、パラメータａ、ｂはシヤーパラメータを示す。
【０１２５】
ＰＰＳまたはスライスヘッダは、デコーディングされた参照イメージの幾何学的変換（ｇｅｏｍｅｔｒｉｃ  ｔｒａｎｓｆｏｒｍ）を可能にするｇｅｏｍｅｔｒｉｃ＿ｔｒａｎｓｆｏｒｍ＿ｅｎａｂｌｅ＿ｆｌａｇを含むことができる。このようなｇｅｏｍｅｔｒｉｃ＿ｔｒａｎｓｆｏｒｍ＿ｅｎａｂｌｅ＿ｆｌａｇがイネーブルになれば、一般的なアフィンマトリクスの幾何学的パラメータであるｃ、ｄ、ｅ、ｆ、ｇ、およびｈが提供される。
【０１２６】
画像バッファ３９０，４５０は、デコーディングされた参照イメージ（変更されていない参照イメージ）と変更された参照イメージとを格納するバッファであってもよい。一例として、特定ビットストリームをデコーディングするためにデコーダが割り当てる最小のバッファサイズはパラメータによってシグナリング（ｓｉｇｎａｌｅｄ）することができ、このパラメータはシーケンスパラメータセット内の個別的な時間的（ｔｅｍｐｏｒａｌ）サブレイヤのセットであってもよい。また、このようなデコーディングされた参照イメージフレームに対する最小バッファサイズはｓｐｓ＿ｍａｘ＿ｄｅｃ＿ｐｉｃ＿ｂｕｆｆｅｒｉｎｇ＿ｍｉｎｕｓのコードワード（ｃｏｄｅ  ｗｏｒｄ）で示すことができ、変更された参照イメージに対する最小バッファサイズはまた他のパラメータによって示すことができる。なお、最大バッファサイズも固定された値に決定されるか、パラメータによって示すことができる。
【０１２７】
変更されていない参照イメージフレームおよび変更された参照イメージはいずれもインタイメージ予測のための参照イメージとして用いることができる。変更された参照イメージはディスプレイされない。よって、変更された参照イメージは、「短期（ｓｈｏｒｔ−ｔｅｒｍ）参照のために用いられる」（タイプ１）および「長期（ｌｏｎｇ−ｔｅｒｍ）参照のために用いられる」（タイプ２）に分類する（ｃａｔｅｇｏｒｉｚｅｄ）ことができる。デコーディングされた参照イメージフレームは、前述したタイプ１およびタイプ２と共に、「参照のために用いられない（ｕｎｕｓｅｄ）」（タイプ３）をさらに分類することができる。このタイプ３の参照イメージはその後にディスプレイするためである。
【０１２８】
ＨＥＶＣと類似するように、タイプ２画像はタイプ１画像に比べて画像バッファ内でさらに長く維持することができる。タイプ１に分類される変更された参照イメージはタイプ２に変わったり画像バッファから除去されたりすることができる。タイプ２に分類される変更された参照イメージはこれらが参照イメージとして用いられないのであれば、画像バッファから除去することができる。
【０１２９】
ＨＥＶＣにおいては、参照画像セット（Ｒｅｆｅｒｅｎｃｅ  Ｐｉｃｔｕｒｅ  Ｓｅｔ、ＲＰＳ）は各スライスヘッダ内にシグナリングされた画像表示子（ｉｎｄｉｃａｔｏｒ）セットであり、１セットのｓｈｏｒｔ−ｔｅｒｍ画像と１セットのｌｏｎｇ−ｔｅｒｍ画像で構成される。画像の第１スライスヘッダがデコーディングされれば、デコーディングされた画像バッファ内の画像はＲＰＳによって具体化（ｓｐｅｃｉｆｉｅｄ）されることによってマーキングされる。デコーディング順序において、ある後続画像の予測のための参照イメージとして使用できるデコーディングされた全ての写真はＲＰＳに含まれる。ＲＰＳは、デコーディングされた画像バッファ内の画像を識別するために用いられるＰＯＣ値のセットを含む。また、ＲＰＳは、それぞれの画像に対して対応する画像が現在画像（現在イメージフレームまたは現在イメージ）に対する参照として使用できるか否かを知らせる使用可能性（ａｖａｉｌａｂｌｅ）フラグをシグナリングする。使用できない（ｕｎａｖａｉｌａｂｌｅ）画像はその後の参照に使用できるように作られたり、今後の（ｆｕｔｕｒｅ）画像のデコーディングのために用いることができる。
【０１３０】
本発明の実施形態によれば、ＰＲＳは各スライスヘッダ内にシグナリングされた変更されていない参照イメージ表示子および変更された参照イメージ表示子セットであり、１セットの短期参照イメージ（変更されていないおよび変更された参照イメージ）と１セットの長期参照イメージ（変更されていないおよび変更された参照イメージ）で構成される。画像の第１スライスヘッダがデコーディングされれば、デコーディングされた画像バッファ内の画像はＲＰＳによって具体化されることによってマーキングされる。ＲＰＳは、デコーディングされた画像バッファ内の変更されていない画像を識別するために用いるＰＯＣ値のセットおよび変更識別子のセットを含む。一例として、変更識別子は、少なくとも１つのフラグおよび画像バッファ内の変更された参照イメージを識別するインデックスを含むことができる。
【０１３１】
また、変更識別子は、少なくとも１つの拡張された動きパラメータと対応する（または関連する）パラメータ、参照イメージ変更パラメータ、および前述した参照イメージの変更と関連したフラグを含むことができる。ＲＰＳは、それぞれの参照イメージ（変更されていないおよび変更された参照イメージ）に対して対応する参照イメージが現在画像（現在イメージフレームまたは現在イメージ）に対する参照として使用できるか否かを知らせる使用可能性フラグをシグナリングすることができる。使用できない参照イメージはその後の参照に使用できるように作られたり、今後の画像のデコーディングのために用いることができる。
【０１３２】
現在イメージフレームブロックに対するインタイメージ予測のために、対応する変更された参照イメージは画像バッファ（３９０および／または４５０）から検索（ｒｅｔｒｉｅｖｅｄ）することができる。変更された参照イメージは参照イメージの再構成後に生成することができる。この時、変更された参照イメージは参照イメージに由来（ｏｒｉｇｉｎａｔｅ）する。他の構造による場合、画像バッファ（３９０および／または４５０）は一部変更された参照イメージを格納せず、変更されていない参照イメージおよび参照イメージ変更パラメータを含む拡張された動きパラメータに基づき、その後に変更された参照イメージを生成することができる。
【０１３３】
本発明の実施形態によれば、「長期参照のために用いられる」（タイプ２）に該当する変更された参照イメージは画像バッファ（３９０および／または４５０）に格納されず、画像バッファ（３９０および／または４５０）に格納された変更されていない参照イメージおよび参照イメージ変更パラメータを含む拡張された動きパラメータに基づき、その後に生成することができる。それにより、画像バッファのサイズは減る。
【０１３４】
動き推定器３２０によって動き推定が実行されれば、動き推定器３２０は、現在イメージフレームに含まれた少なくとも１つのターゲットオブジェクトＴＯに対する情報を受信することができる。このような少なくとも１つのターゲットオブジェクトＴＯに対する情報は、ターゲットオブジェクトの境界（ｂｏｕｎｄａｒｉｅｓ）、ターゲットオブジェクトの位置、ターゲットオブジェクトの３次元動き情報などを含むことができる。このような少なくとも１つのターゲットオブジェクトに対する情報に基づき、動き推定をより効率的に行うことができ、生成された変更された参照イメージの個数を減らすことができる。
【０１３５】
図１３は、本発明の実施形態によるインタ予測のための参照イメージの変更プロセスを説明するフローチャートである。
Ｓ１３１０動作において、ビデオコーダは、イメージフレームがエンコーディングされるようにまたはデコーディングされるように決定することができる。決定されたイメージフレームは現在イメージフレームとして提供することができる。一例として、ビデオエンコーダはエンコーディングされる現在イメージフレームのコーディングブロックを決定することができ、ビデオデコーダはデコーディングされる現在イメージフレームのコーディングブロックを決定することができる。現在イメージフレームのコーディングブロックに対し、インタ予測またはイントラ予測が決定される。現在イメージフレームのコーディングブロックに対してインタ予測を実行することに決定されれば、インタ予測器、一例として、図３に示された動き推定器３２０および動き補償器３３０を含むインタ予測器、または図４に示された動き補償器４６０を含むインタ予測器を活用することができる。このような方式により、デコーディングされた画像プリプロセッサは、画像バッファ内に格納された変更された参照イメージを活用することができる。
【０１３６】
Ｓ１３２０動作において、ビデオコーダはインタ予測プロセシングのための参照イメージを得ることができる。参照イメージは、現在イメージフレームと時間的に（ｔｅｍｐｏｒａｌｌｙ）異なる以前のデコーディングされた参照イメージフレームである。ビデオコーダは、Ｓ１３３０動作において、インタ予測効率を向上させるために、前記得られた参照イメージを変更することができる。変更された参照イメージは参照イメージの変更によって生成することができる。Ｓ１３４０ステップにおいて、ビデオコーダは、変更された参照イメージに基づいたイメージフレームが決定されたコーディングブロックに対するインタ予測を行うことができる。
【０１３７】
図１４は、本発明の実施形態によるインタ予測のための参照イメージの変更を行うビデオエンコーダの動作プロセスを説明するフローチャートである。
Ｓ１４１０動作において、ビデオエンコーダは、変更パラメータに基づいて、変更された参照イメージを生成する参照イメージを変更することができる。変更パラメータは、参照イメージを変更する少なくとも１つのパラメータの一例として、スケーリングパラメータ、回転パラメータ、シヤーパリメートルを含むことができる。例えば、変更された参照イメージは少なくとも１つの変更されたオブジェクトを含むことができ、変更されたオブジェクトは少なくとも１つのスケーリングパラメータ、回転パラメータ、シヤーパラメータに基づいて変更することができる。
【０１３８】
Ｓ１４２０動作において、ビデオエンコーダは、現在イメージのコーディングブロックに関連した動き情報を決定することができる。Ｓ１４３０動作によれば、ビデオエンコーダは、少なくとも１つの変更パラメータおよび変更された参照イメージに関連した動き情報をエンコーディングすることができる。一例として、動き情報は、現在イメージのコーディングブロックおよび変更された参照イメージの予測ブロックに関連した動きベクトルを含むことができる。動き情報は、現在イメージのコーディングブロックおよび参照イメージのマッチングブロックに関連しうる。動き情報は、追加的に変更パラメータに対する情報をさらに含むことができる。参照イメージのマッチングブロックは、参照イメージの変更プロセスによって変更された参照イメージの予測ブロックに変換することができる。
【０１３９】
図１５は、本発明の実施形態によるインタ予測のための参照イメージの変更を行うビデオデコーダの動作プロセスを説明するフローチャートである。
Ｓ１５１０動作において、ビデオデコーダは、少なくとも１つの変更パラメータおよび変更参照イメージに関連した動き情報を受信することができる。動き情報の少なくとも一部分は、ビデオエンコーダ（例えば、図３および図１４に示されたビデオエンコーダ）から送信することができる。ビデオエンコーダから送信された動き情報のシンタックスはビデオエンコーダとビデオデコーダとの間で予め定義してもよい。
【０１４０】
Ｓ１５２０動作において、ビデオデコーダは、現在イメージのコーディングブロックに対する動き情報を決定することができる。Ｓ１５３０動作によれば、ビデオデコーダは、現在イメージのコーディングブロックに対する動き情報に含まれた変更パラメータに基づいて、変更された参照イメージを生成する参照イメージを変更することができる。変更パラメータは、参照イメージを変更する少なくとも１つのパラメータの一例として、スケーリングパラメータ、回転パラメータ、シヤーパリメートルを含むことができる。例えば、変更された参照イメージは少なくとも１つの変更されたオブジェクトを含むことができ、変更されたオブジェクトは少なくとも１つのスケーリングパラメータ、回転パラメータ、シヤーパラメータに基づいて変更することができる。
【０１４１】
このような本発明の実施形態によれば、現在イメージのコーディングブロックに対する動き情報は、現在イメージのコーディングブロックおよび変更された参照イメージの予測ブロックに関連した動きベクトルを含むことができる。動き情報は、現在イメージのコーディングブロックおよび参照イメージのマッチングブロックに関連しうる。動き情報は、追加的に変更パラメータに対する情報をさらに含むことができる。参照イメージのマッチングブロックは、参照イメージの変更プロセスによって変更された参照イメージの予測ブロックに変換することができる。
【０１４２】
図１６および図１７は、本発明の実施形態によって生成されたＬＯＤを用いたインタ予測を説明する図である。
図１６を参照すれば、画像セットＩ１、Ｂ２、Ｂ３、Ｂ４、Ｐ５、Ｂ６、Ｂ７、Ｂ８およびＰ９を分析することができ、オブジェクトのｚ方向の動きを決定することができる。ＨＥＶＣには、次のような３つのスライスタイプ（イントラ予測のみのために与えられるイントラ（Ｉ）スライス、イントラ予測に加えて１つの動きベクトルと１つの参照インデックスとを用いてブロック当たり１つの参照画像からインタ予測も可能にする予測（Ｐ）スライス、およびイントラと単一予測に加えて２つの動きベクトルと２つの参照インデックスとを用いてインタ予測も可能にする二重予測（Ｂ）スライス）がある。本発明の実施形態によれば、変更された参照イメージも使用できるため、フラグは変更された参照イメージがスライスのインタ予測のために使用されたかを表示するために各スライスごとに用いることができる。画像Ｉ１は参照イメージに決定することができ、変更された参照イメージは画像Ｉ１のＬＯＤを変化させて生成することができる。各画像におけるオブジェクトのサイズ（三角形状のオブジェクト）は、イメージフレームのシーケンスが画像Ｉ１から画像Ｐ９に移動するに伴って徐々に減少しうる。この場合、ＬＯＤはオブジェクトのサイズが徐々に減少するように生成することができる。オブジェクトを含むコーディングブロックはｚ方向のオブジェクトの動きを表示する動き情報をさらに含むことができる。
【０１４３】
図１７を参照すれば、画像Ｉ１と画像Ｐ９は、画像Ｉ１と画像Ｐ９間の７個のイメージフレームのインタ予測のために変更された参照イメージを生成するために用いることができる。補間は７個の変更された参照イメージを生成するために実施することができる。
図１８は、本発明の実施形態によって生成された回転参照イメージを用いたインタ予測を説明する図である。
図１８を参照すれば、画像（ｐｉｃｔｕｒｅ）セットＩ１、Ｂ２、Ｂ３、Ｂ４、Ｐ５、Ｂ６、Ｂ７、Ｂ８およびＰ９を分析することができ、オブジェクトの回転動きを決定することができる。画像Ｉ１は参照イメージに決定することができ、変更された参照イメージは画像Ｉ１の少なくとも一部を回転させて生成することができる。各画像におけるオブジェクト（四角形状のオブジェクト）の傾きは、イメージフレームのシーケンスが画像Ｉ１から画像Ｐ９に移動するに伴って徐々に変化しうる。この場合、回転した参照イメージはオブジェクトの傾きが徐々に変化するように生成することができる。オブジェクトを含むコーディングブロックはオブジェクトの回転角度を表示する動き情報をさらに含むことができる。
【０１４４】
＜参照画像セット＞
ＨＥＶＣにおいて、「短期参照のために用いられる」、「長期参照のために用いられる」または「参照のために用いられない」としての画像をマーキングするプロセスは、参照画像セット（Ｒｅｆｅｒｅｎｃｅ  Ｐｉｃｔｕｒｅ  Ｓｅｔ、ＲＰＳ）を用いて実行される。ＲＰＳは各スライスヘッダにおいてシグナリングされた画像表示子（ｉｎｄｉｃａｔｏｒ）セットであり、１セットのｓｈｏｒｔ−ｔｅｒｍ画像と１セットのｌｏｎｇ−ｔｅｒｍ画像で構成される。画像の第１スライスヘッダがデコーディングされれば、デコーディングされた画像バッファ内の画像はＲＰＳによって具体化されることによってマーキングされる。参照画像セットは、ＤＰＢ内の画像を確認するために用いられるＰＯＣ値のセットを含む。ＲＰＳは、ＰＯＣ情報をシグナリングするだけでなく、各画像ごとに１つのフラグをシグナリングする。各フラグは、現在画像のための参照のために対応する画像が可能であるか否かを表示する。
【０１４５】
本発明の実施形態によれば、変更された参照イメージのために、変更された参照イメージが生成される関連した参照イメージのＰＯＣ値と、変更された参照イメージを生成するために関連した参照イメージを変更するための変更パラメータとは変更された参照イメージを確認するためにＲＰＳにおいて使用できる。ユニーク（ｕｎｉｑｕｅ）なインデックスまたはユニークな識別子（ｉｄｅｎｔｉｆｉｅｒ）が各変更された参照イメージのために割り当てられれば、ユニークなインデックスまたはユニークな識別子を用いることができる。
【０１４６】
＜参照画像リスト＞
ＨＥＶＣにおいて、以前にデコーディングされた画像の特定セットは、ビットストリーム（ｂｉｔｓｔｒｅａｍ）において画像の残像（ｒｅｍａｉｎｄｅｒ）をデコーディングするためにデコーディングされた画像バッファ（Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  ｂｕｆｆｅｒ、ＤＰＢ）に存在する。このような参照画像を確認するために、ＰＯＣ（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ）識別子のリストは各スライスヘッダから送信される。保存された（ｒｅｔａｉｎｅｄ）参照画像のセットは参照画像セット（Ｒｅｆｅｒｅｎｃｅ  Ｐｉｃｔｕｒｅ  Ｓｅｔ、ＲＰＳ）である。ＨＥＶＣにおいて、参照画像リスト０と参照画像リスト１の２つのリストはＤＰＢ内の画像のリストから作られる。インデックス（参照画像インデックスと呼ばれる）は、このようなリストのうち１つから特定の画像を確認するために用いられる。単一予測のために、画像は２つのリストのうちいずれか１つから選択することができる。二重予測のために、各リストから１つずつ２つの画像を選択することができる。リストがただ１つの画像だけを有する場合、参照画像インデックスは暗黙的に（ｉｍｐｌｉｃｉｔｌｙ）０の値を有し、ビットストリームから送信される必要はない。
【０１４７】
本発明の実施形態によれば、変更された参照イメージを確認するためのインデックスは参照画像リスト０または参照画像リスト１に含ませることができる。なお、他の参照画像リスト（参照画像リスト２、参照画像リスト３など）は、変更された参照イメージのインデックスを含むように用いることができる。参照画像リストが参照画像リスト０または参照画像リスト１以外の他の追加の参照画像リストを有する場合、追加の参照画像リストは変更された参照イメージのために指定することができ、参照画像リスト０と参照画像リスト１は変更されていない参照イメージのＰＯＣを含むために用いることができる。
【０１４８】
本発明の実施形態によれば、参照画像リスト２は、第１参照イメージ（変更されていない参照イメージ）のＰＯＣと第１参照イメージを変更するためのスケーリングパラメータ（ＬＯＤインデックス）を含むために用いることができる。参照画像リスト３は、第２参照イメージ（変更されていない参照イメージ）のＰＯＣと第２参照イメージを変更するための回転パラメータ（回転角度）を含むように用いることができる。参照画像リスト４は、第３参照イメージ（変更されていない参照イメージ）のＰＯＣと第３参照イメージを変更するためのシヤーパラメータとを含むように用いることができる。そのような構造において、参照画像リスト２、３、４、．．．、Ｎは互いに異なる変更タイプのために指定される。各変更された参照イメージは自身を確認するためのインデックスを有する必要はない。その代わりに、変更されていない参照イメージのＰＯＣと変更パラメータとを用いることができる。例えば、参照画像リスト２と３がＰＯＣ値と対応する変更パラメータとを含むと、スケーリングと回転は全て参照画像リスト２と参照画像リスト３の各々に基づいて現在イメージフレームのコーディングブロックのインタ予測のための変更された参照イメージを生成するために実行することができる。
【０１４９】
本発明の実施形態によれば、インタイメージ予測効率および／またはインタイメージ予測確率は変更された参照イメージを用いて増加しうる。
【０１５０】
以上のように、本発明について、具体的な構成要素などのような特定事項と限定された実施形態および図面によって説明したが、これは本発明のより全般的な理解を助けるために提供されるものに過ぎず、本発明はこれらの実施形態に限定されず、本発明が属する技術分野で通常的な知識を有した者であれば、このような記載から様々な修正および変形が可能である。
【０１５１】
したがって、本発明の思想は説明された実施形態に限定して定められてはならず、特許請求の範囲だけでなく、その特許請求の範囲と均等または等価的な変形のある全てのものは本発明の思想の範疇に属する。
【符号の説明】
【０１５２】
１１０・・・外部メモリ
１２０・・・アプリケーションプロセッサ
１３０・・・メモリコントローラ
１４０・・・ディスプレイコントローラ
１５０・・・プロセッサ
１６０・・・グラフィックプロセシングユニット
１７０・・・ビデオコーダ
１８０・・・イメージ信号プロセッサ
１９０・・・システムメモリ
２００・・・電子機器
２１０・・・システムオンチップ
２２０・・・メモリ
２３０・・・ディスプレイ
３００・・・ビデオエンコーダ
４００・・・ビデオデコーダ
【図１】
2017123645.tif 000021
【図２】
2017123645.tif 000022
【図３】
2017123645.tif 000023
【図４】
2017123645.tif 000024
【図５】
2017123645.tif 000025
【図６】
2017123645.tif 000026
【図７】
2017123645.tif 000027
【図８】
2017123645.tif 000028
【図９】
2017123645.tif 000029
【図１０】
2017123645.tif 000030
【図１１】
2017123645.tif 000031
【図１２】
2017123645.tif 000032
【図１３】
2017123645.tif 000033
【図１４】
2017123645.tif 000034
【図１５】
2017123645.tif 000035
【図１６】
2017123645.tif 000036
【図１７】
2017123645.tif 000037
【図１８】
2017123645.tif 000038