(57)【要約】  メモリ帯域幅の要件を低減することができる画像処理方法及び装置が提供される。本方法は、現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するステップであって、Ｎ個の隣接画像ブロックはＮ個の動き情報と１対１で対応し、Ｎ個の動き情報は現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報はＮ個の参照画像ブロックと１対１で対応する、ステップと、事前設定ルールに従ってＮ個の動き情報から候補動き情報を判定するステップと、記憶されるべき画素の位置範囲を参照画像内で判定し、その位置範囲内のすべての画素を記憶するステップであって、位置範囲は候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックはＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、候補動き情報は候補参照画像ブロックに対応する動き情報である、ステップと、その位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行するステップとを含む。
2017505021.tif 000002
【特許請求の範囲】
【請求項１】
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するステップであって、前記Ｎ個の隣接画像ブロックは、前記Ｎ個の動き情報と１対１で対応し、前記Ｎ個の動き情報は、前記現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、前記Ｎ個の動き情報は、前記Ｎ個の参照画像ブロックと１対１で対応する、ステップと、
事前設定ルールに従って前記Ｎ個の動き情報から候補動き情報を判定するステップであって、前記候補動き情報は、前記Ｎ個の動き情報のうちの少なくとも１つの情報である、ステップと、
前記候補動き情報に従って、記憶されるべき画素の位置範囲を前記参照画像内で判定し、前記位置範囲内のすべての画素を記憶するステップであって、前記位置範囲は候補参照画像ブロックのすべての画素をカバーし、前記候補参照画像ブロックは、前記Ｎ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、前記候補参照画像ブロックは、前記候補動き情報に対応する画像ブロックである、ステップと、
前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップと
を含む、画像処理方法。
【請求項２】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、前記候補動き情報が、前記Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行する前記ステップが、
前記候補動き情報に従って前記位置範囲内の前記画素を読み取って前記候補参照画像ブロックを取得するステップと、
前記候補参照画像ブロックに従って前記候補動き情報から最適動き情報を判定するステップと、
前記最適動き情報に従って前記現在の画像ブロックで符号化処理を実行するステップと
を含む、請求項１に記載の方法。
【請求項３】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである、請求項１又は２に記載の方法。
【請求項４】
事前設定ルールに従って前記Ｎ個の動き情報から候補動き情報を判定する前記ステップが、
使用可能なメモリ帯域幅及び／又は前記現在の画像ブロックが属する画像の属性情報に従って前記動き情報から前記候補動き情報を判定するステップ
を含み、前記属性情報は、
前記現在の画像ブロックが属する前記画像の解像度、前記現在の画像ブロックが属する前記画像の内容、前記現在の画像ブロックが属する前記画像のソース、又は前記現在の画像ブロックが属する前記画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される、請求項３に記載の方法。
【請求項５】
前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して目標データストリームを生成する前記ステップが、
前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して前記目標データストリームを生成するステップであって、前記目標データストリームが第１のインデックス情報を備え、前記第１のインデックス情報が前記候補動き情報を示すために使用される、ステップ
を含む、請求項３又は４に記載の方法。
【請求項６】
前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して目標データストリームを生成する前記ステップが、
前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して前記目標データストリームを生成するステップであって、前記目標データストリームは、第２のインデックス情報を備え、前記第２のインデックス情報は、前記参照画像内の前記位置範囲の位置及び対象範囲を示すために使用される、ステップ
を含む、請求項３から５のいずれか一項に記載の方法。
【請求項７】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのすべての画像ブロックである、請求項１又は２に記載の方法。
【請求項８】
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するステップであって、前記Ｎ個の隣接画像ブロックは、前記Ｎ個の動き情報と１対１で対応し、前記Ｎ個の動き情報は、前記現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、前記Ｎ個の動き情報は、前記Ｎ個の参照画像ブロックと１対１で対応する、ステップと、
記憶されるべき画素の位置範囲を前記参照画像内で判定し、前記位置範囲内のすべての画素を記憶するステップであって、前記位置範囲は、候補参照画像ブロックのすべての画素をカバーし、前記候補参照画像ブロックは、前記Ｎ個の参照画像ブロックのうちの少なくとも１つの画像ブロックである、ステップと、
前記動き情報のうちの候補動き情報に従って前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って目標データストリームで復号化処理を実行して前記現在の画像ブロックを再構成するステップであって、前記候補動き情報は、前記候補参照画像ブロックに対応する動き情報である、ステップと
を含む、画像処理方法。
【請求項９】
前記候補参照画像ブロックは、前記Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、前記候補動き情報は、前記Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
前記動き情報のうちの候補動き情報に従って前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って目標データストリームで復号化処理を実行する前記ステップが、
前記動き情報から前記候補動き情報を判定するステップと、
前記候補動き情報に従って前記位置範囲内の前記画素を読み取って前記候補参照画像ブロックを取得するステップと、
前記候補参照画像ブロックに従って前記候補動き情報から最適動き情報を判定するステップと、
前記最適動き情報に従って前記目標データストリームで復号化処理を実行するステップと
を含む、請求項８に記載の方法。
【請求項１０】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのすべての画像ブロックである、請求項８又は９に記載の方法。
【請求項１１】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである、請求項８又は９に記載の方法。
【請求項１２】
記憶されるべき画素の位置範囲を前記参照画像内で判定する前記ステップが、
前記動き情報から前記候補動き情報を判定するステップと、
前記候補動き情報に従って前記参照画像内で前記位置範囲を判定するステップと
を含む、請求項１１に記載の方法。
【請求項１３】
前記動き情報から前記候補動き情報を判定する前記ステップが、
使用可能なメモリ帯域幅及び／又は前記現在の画像ブロックが属する画像の属性情報に従って前記動き情報から前記候補動き情報を判定するステップ
を含み、前記属性情報が、
前記現在の画像ブロックが属する前記画像の解像度、前記現在の画像ブロックが属する前記画像の内容、前記現在の画像ブロックが属する前記画像のソース、又は前記現在の画像ブロックが属する前記画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される、請求項９又は１２に記載の方法。
【請求項１４】
前記動き情報から前記候補動き情報を判定する前記ステップが、
前記候補動き情報を示すために使用される第１のインデックス情報を前記目標データストリームから取得するステップと、
前記第１のインデックス情報に従って前記動き情報から前記候補動き情報を判定するステップと
を含む、請求項９又は１２に記載の方法。
【請求項１５】
記憶されるべき画素の位置範囲を前記参照画像内で判定する前記ステップが、
前記参照画像内の前記位置範囲の位置及び対象範囲を示すために使用される第２のインデックス情報を前記目標データストリームから取得するステップと、
前記第２のインデックス情報に従って前記参照画像において前記位置範囲を判定するステップと
を含む、請求項８から１４のいずれか一項に記載の方法。
【請求項１６】
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するように構成された取得ユニットであって、前記Ｎ個の隣接画像ブロックは、前記Ｎ個の動き情報と１対１で対応し、前記Ｎ個の動き情報は、前記現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、前記Ｎ個の動き情報は、前記Ｎ個の参照画像ブロックと１対１で対応する、取得ユニットと、
前記Ｎ個の動き情報のうちの少なくとも１つの情報である候補動き情報を事前設定ルールに従って前記Ｎ個の動き情報から判定し、前記候補動き情報に従って記憶されるべき画素の位置範囲を前記参照画像内で判定するように構成された判定ユニットであって、前記位置範囲は、候補参照画像ブロックのすべての画素をカバーし、前記候補参照画像ブロックは、前記Ｎ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、前記候補動き情報は、前記候補参照画像ブロックに対応する動き情報である、判定ユニットと、
前記位置範囲内のすべての画素を記憶するように構成された、記憶ユニットと、
前記記憶ユニットから前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成された、処理ユニットと
を備える、画像処理装置。
【請求項１７】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、前記候補動き情報が、前記Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
前記処理ユニットが、具体的に、前記候補動き情報に従って前記記憶ユニットから前記位置範囲内の前記画素を読み取って前記候補参照画像ブロックを取得し、
前記候補参照画像ブロックに従って前記候補動き情報から最適動き情報を判定し、
前記最適動き情報に従って前記現在の画像ブロックで符号化処理を実行するように構成された、請求項１６に記載の装置。
【請求項１８】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである、請求項１６又は１７に記載の装置。
【請求項１９】
前記判定ユニットが、具体的に、使用可能なメモリ帯域幅及び／又は前記現在の画像ブロックが属する画像の属性情報に従って前記動き情報から前記候補動き情報を判定し、前記候補動き情報に従って前記参照画像内で前記位置範囲を判定するように構成され、前記属性情報が、
前記現在の画像ブロックが属する前記画像の解像度、前記現在の画像ブロックが属する前記画像の内容、前記現在の画像ブロックが属する前記画像のソース、又は前記現在の画像ブロックが属する前記画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される、請求項１８に記載の装置。
【請求項２０】
前記処理ユニットが、具体的に、前記記憶ユニットから前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して前記目標データストリームを生成するように構成され、前記目標データストリームは、第１のインデックス情報を備え、前記第１のインデックス情報は、前記候補動き情報を示すために使用される、請求項１８又は１９に記載の装置。
【請求項２１】
前記処理ユニットが、具体的に、前記記憶ユニットから前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して前記目標データストリームを生成するように構成され、前記目標データストリームは、第２のインデックス情報を備え、前記第２のインデックス情報は、前記参照画像内の前記位置範囲の位置及び対象範囲を示すために使用される、請求項１８から２０のいずれか一項に記載の装置。
【請求項２２】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのすべての画像ブロックである、請求項１６又は１７に記載の装置。
【請求項２３】
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するように構成された取得ユニットであって、前記Ｎ個の隣接画像ブロックは、前記Ｎ個の動き情報と１対１で対応し、前記Ｎ個の動き情報は、前記現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、前記Ｎ個の動き情報は、前記Ｎ個の参照画像ブロックと１対１で対応する、取得ユニットと、
記憶されるべき画素の位置範囲を前記参照画像内で判定するように構成された判定ユニットであって、前記位置範囲は、候補参照画像ブロックのすべての画素をカバーし、前記候補参照画像ブロックは、前記Ｎ個の参照画像ブロックのうちの少なくとも１つの画像ブロックである、判定ユニットと、
前記位置範囲内のすべての画素を記憶するように構成された、記憶ユニットと、
前記動き情報のうちの候補動き情報に従って前記記憶ユニットから前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って目標データストリームで復号化処理を実行して前記現在の画像ブロックを再構成するように構成された処理ユニットであって、前記候補動き情報は、前記候補参照画像ブロックに対応する動き情報である、処理ユニットと
を備える、画像処理装置。
【請求項２４】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、前記候補動き情報が、前記Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
前記判定ユニットがさらに、前記動き情報から前記候補動き情報を判定するように構成され、そして、
前記処理ユニットが、具体的に、前記判定ユニットから前記候補動き情報を取得し、前記候補動き情報に従って前記位置範囲内の前記画素を読み取って、前記候補参照画像ブロックを取得し、前記候補参照画像ブロックに従って前記候補動き情報から最適動き情報を判定し、前記最適動き情報に従って前記目標データストリームで復号化処理を実行するように構成された、請求項２３に記載の装置。
【請求項２５】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのすべての画像ブロックである、請求項２３又は２４に記載の装置。
【請求項２６】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである、請求項２３又は２４に記載の装置。
【請求項２７】
前記判定ユニットが、具体的に、前記動き情報から前記候補動き情報を判定し、前記候補動き情報に従って前記参照画像内で前記位置範囲を判定するように構成された、請求項２６に記載の装置。
【請求項２８】
前記判定ユニットが、具体的に、使用可能なメモリ帯域幅及び／又は前記現在の画像ブロックが属する画像の属性情報に従って前記動き情報から前記候補動き情報を判定するように構成され、前記属性情報が、
前記現在の画像ブロックが属する前記画像の解像度、前記現在の画像ブロックが属する前記画像の内容、前記現在の画像ブロックが属する前記画像のソース、又は前記現在の画像ブロックが属する前記画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される、請求項２４又は２７に記載の装置。
【請求項２９】
前記判定ユニットが、具体的に、前記目標データストリームから第１のインデックス情報を取得し、前記第１のインデックス情報に従って前記動き情報から前記候補動き情報を判定するように構成され、前記第１のインデックス情報は、前記候補動き情報を示すために使用される、請求項２４又は２７に記載の装置。
【請求項３０】
前記判定ユニットが、具体的に、前記目標データストリームから第２のインデックス情報を取得し、前記第２のインデックス情報に従って前記参照画像内で前記位置範囲を判定するように構成され、前記第２のインデックス情報は、前記参照画像内の前記位置範囲の位置及び対象範囲を示すために使用される、請求項２３から２９のいずれか一項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、参照により本明細書にその全部が組み込まれている、２０１３年１２月１３日に中国特許庁に出願した、中国特許出願第２０１３１０６８９００２．１号、表題「ＩＭＡＧＥ  ＰＲＯＣＥＳＳＩＮＧ  ＭＥＴＨＯＤ  ＡＮＤ  ＡＰＰＡＲＴＵＳ」の優先権を主張するものである。
【０００２】
本発明は、ビデオ処理の分野に関し、より詳細には、画像処理方法及び装置に関する。
【背景技術】
【０００３】
インターネットの急速な発展と人々の益々豊かになる物質的及び精神的文化に伴い、インターネット上のビデオのアプリケーション需要、特に高解像度ビデオのアプリケーション需要、は増加している。しかし、高解像度ビデオのデータ量は非常に大きく、限られた帯域幅を有するインターネットで高解像度ビデオを送信するために、高解像度ビデオ圧縮符号化及び復号化の問題は、先ず解決される必要のある問題である。
【０００４】
現在、複数の動き情報が隣接画像ブロックから取得され、１つの最適動き情報が取得された複数の動き情報から選択され、動き補償が最適動き情報を使用することによって現在のコーディングブロックで実行される、符号化及び復号化技術が存在する。前述の隣接画像ブロックは、時間的に隣接する画像ブロック又は空間的に隣接する画像ブロックでもよいことに留意されたい。空間的に隣接する画像ブロックは、現在処理される画像ブロックと同じ画像（たとえば、同じビデオフレーム）内の符号化又は復号される画像ブロックであり、時間画像ブロックは、現在処理される画像ブロックの時間領域参照画像（たとえば、順方向参照フレーム又は逆方向参照フレーム）内の対応する符号化又は復号される画像ブロックである。したがって、隣接画像ブロックの動き情報は、現在のコーディングブロックの動き情報をデータストリームに明示的に書き込むことなしに現在処理される画像ブロックの動き情報を判定するために効果的に使用され得る。
【０００５】
しかし、取得された複数の動き情報から１つの最適動き情報を選択する前述のプロセスでは、参照画像（参照画像ブロックとも呼ばれる）内にある及び各動き情報に対応する画素ブロック（又は、各動き情報が指す画素ブロック）に基づいて計算を実行することが必要とされる。したがって、参照画像から、各動き情報が指す参照画像ブロックを読み取り、前述の最適動き情報の計算に使用するためにメモリに参照画像ブロックを記憶することが必要とされる。
【０００６】
具体的には、比較的大量の候補動きベクトルが存在するとき、比較的大量の参照画像ブロックを記憶することが必要とされる。結果として、より高い要件がメモリ帯域幅に課され、システム費用は増える。
【０００７】
したがって、メモリ帯域幅の要件を低減することができる技術を提供することが求められている。
【発明の概要】
【０００８】
本発明の実施形態は、メモリ帯域幅の要件を低減することができる画像処理方法及び装置を提供する。
【０００９】
第１の態様によれば、画像処理方法が提供され、本方法は、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するステップであって、Ｎ個の隣接画像ブロックがＮ個の動き情報と１対１で対応し、Ｎ個の動き情報が現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報がＮ個の参照画像ブロックと１対１で対応する、ステップと、
事前設定ルールに従ってＮ個の動き情報から候補動き情報を判定するステップであって、候補動き情報が、Ｎ個の動き情報のうちの少なくとも１つの情報である、ステップと、
その候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップと、
その位置範囲内のすべての画素を記憶するステップであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、候補参照画像ブロックが候補動き情報に対応する画像ブロックである、ステップと、
その位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップと
を含む。
【００１０】
１つの可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行するステップは、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するステップと
を含む。
【００１１】
第１の態様及び第１の可能な実装方式を参照して、第２の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【００１２】
第１の態様、第１の可能な実装方式、及び第２の可能な実装方式を参照して、第３の可能な実装方式では、事前設定ルールに従ってＮ個の動き情報から候補動き情報を判定するステップは、
使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定するステップ
を含み、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【００１３】
第１の態様、第１の可能な実装方式、第２の可能な実装方式、及び第３の可能な実装方式を参照して、第４の可能な実装方式では、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、その目標データストリームが第１のインデックス情報を含み、第１のインデックス情報が候補動き情報を示すために使用される、ステップ
を含む。
【００１４】
第１の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、及び第４の可能な実装方式を参照して、第５の可能な実装方式では、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第２のインデックス情報を含み、第２のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用される、ステップ
を含む。
【００１５】
第１の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、第４の可能な実装方式、及び第５の可能な実装方式を参照して、第６の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【００１６】
第２の態様によれば、画像処理方法が提供され、本方法は、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するステップであって、Ｎ個の隣接画像ブロックがＮ個の動き情報と１対１で対応し、Ｎ個の動き情報が現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報がＮ個の参照画像ブロックと１対１で対応する、ステップと、
記憶されるべき画素の位置範囲を参照画像内で判定し、その位置範囲内のすべての画素を記憶するステップであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックである、ステップと、
その動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成するステップであって、候補動き情報が、候補参照画像ブロックに対応する動き情報である、ステップと
を含む。
【００１７】
１つの可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、その位置範囲内の画素に従って目標データストリームで復号化処理を実行するステップは、
動き情報から候補動き情報を判定するステップと、
その候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って目標データストリームで復号化処理を実行するステップと
を含む。
【００１８】
第２の態様及び第１の可能な実装方式を参照して、第２の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【００１９】
第２の態様、第１の可能な実装方式、及び第２の可能な実装方式を参照して、第３の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【００２０】
第２の態様、第１の可能な実装方式、第２の可能な実装方式、及び第３の可能な実装方式を参照して、第４の可能な実装方式では、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
動き情報から候補動き情報を判定するステップと、
候補動き情報に従って参照画像内で位置範囲を判定するステップと
を含む。
【００２１】
第２の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、及び第４の可能な実装方式を参照して、第５の可能な実装方式では、動き情報から候補動き情報を判定するステップは、
使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定するステップ
を含み、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【００２２】
第２の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、第４の可能な実装方式、及び第５の可能な実装方式を参照して、第６の可能な実装方式では、動き情報から候補動き情報を判定するステップは、
第１のインデックス情報を目標データストリームから取得するステップであって、第１のインデックス情報が候補動き情報を示すために使用されるステップと、
第１のインデックス情報に従って動き情報から候補動き情報を判定するステップと
を含む。
【００２３】
第２の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、第４の可能な実装方式、第５の可能な実装方式、及び第６の可能な実装方式を参照して、第７の可能な実装方式では、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
第２のインデックス情報を目標データストリームから取得するステップであって、第２のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用される、ステップと、
第２のインデックス情報に従って参照画像において位置範囲を判定するステップと
を含む。
【００２４】
第３の態様によれば、画像処理装置が提供され、その装置は、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するように構成された取得ユニットであって、Ｎ個の隣接画像ブロックがＮ個の動き情報と１対１で対応し、Ｎ個の動き情報が現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報がＮ個の参照画像ブロックと１対１で対応する、取得ユニットと、
事前設定ルールに従ってＮ個の動き情報からそのＮ個の動き情報のうちの少なくとも１つの情報である候補動き情報を判定し、その候補動き情報に従って記憶されるべき画素の位置範囲を参照画像内で判定するように構成された判定ユニットであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、候補動き情報が候補参照画像ブロックに対応する動き情報である、判定ユニットと、
位置範囲内のすべての画素を記憶するように構成された記憶ユニットと、
記憶ユニットから位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成された、処理ユニットと
を含む。
【００２５】
１つの可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、処理ユニットは、具体的に、候補動き情報に従って記憶ユニットから位置範囲内の画素を読み取って候補参照画像ブロックを取得し、候補参照画像ブロックに従って候補動き情報から最適動き情報を判定し、最適動き情報に従って現在の画像ブロックで符号化処理を実行するように構成される。
【００２６】
第３の態様及び第１の可能な実装方式を参照して、第２の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【００２７】
第３の態様、第１の可能な実装方式、及び第２の可能な実装方式を参照して、第３の可能な実装方式では、判定ユニットは、具体的に、使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成され、その属性情報は、現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイルのパラメータのうちの少なくとも１つを示すために使用される。
【００２８】
第３の態様、第１の可能な実装方式、第２の可能な実装方式、及び第３の可能な実装方式を参照して、第４の可能な実装方式では、処理ユニットは、具体的に、記憶ユニットから位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは第１のインデックス情報を含み、第１のインデックス情報は候補動き情報を示すために使用される。
【００２９】
第３の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、及び第４の可能な実装方式を参照して、第５の可能な実装方式では、処理ユニットは、具体的に、記憶ユニットから位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは、第２のインデックス情報を含み、第２のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
【００３０】
第３の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、第４の可能な実装方式、及び第５の可能な実装方式を参照して、第６の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【００３１】
第４の態様によれば、画像処理装置が提供され、その装置は、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するように構成された取得ユニットであって、Ｎ個の隣接画像ブロックがＮ個の動き情報と１対１で対応し、Ｎ個の動き情報が現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報がＮ個の参照画像ブロックと１対１で対応する、取得ユニットと、
記憶されるべき画素の位置範囲を参照画像内で判定するように構成された判定ユニットであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックである、判定ユニットと、
位置範囲内のすべての画素を記憶するように構成された記憶ユニットと、
動き情報のうちの候補動き情報に従って記憶ユニットから位置範囲内の画素を読み取り、その位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成するように構成された処理ユニットであって、候補動き情報が候補参照画像ブロックに対応する動き情報である、処理ユニットと
を含む。
【００３２】
１つの可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、判定ユニットはさらに、動き情報から候補動き情報を判定するように構成され、そして、処理ユニットは、具体的に、判定ユニットから候補動き情報を取得し、候補動き情報に従って位置範囲内の画素を読み取って、候補参照画像ブロックを取得し、候補参照画像ブロックに従って候補動き情報から最適動き情報を判定し、最適動き情報に従って目標データストリームで復号化処理を実行するように構成される。
【００３３】
第４の態様及び第１の可能な実装方式を参照して、第２の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【００３４】
第４の態様、第１の可能な実装方式、及び第２の可能な実装方式を参照して、第３の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【００３５】
第４の態様、第１の可能な実装方式、第２の可能な実装方式、及び第３の可能な実装方式を参照して、第４の可能な実装方式では、判定ユニットは、具体的に、動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成される。
【００３６】
第４の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、及び第４の可能な実装方式を参照して、第５の可能な実装方式では、判定ユニットは、具体的に、使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定するように構成され、その属性情報は、現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイルのパラメータのうちの少なくとも１つを示すために使用される。
【００３７】
第４の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、第４の可能な実装方式、及び第５の可能な実装方式を参照して、第６の可能な実装方式では、判定ユニットは、具体的に、目標データストリームから第１のインデックス情報を取得し、第１のインデックス情報に従って動き情報から候補動き情報を判定するように構成され、第１のインデックス情報は候補動き情報を示すために使用される。
【００３８】
第４の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、第４の可能な実装方式、第５の可能な実装方式、及び第６の可能な実装方式を参照して、第７の可能な実装方式では、判定ユニットは、具体的に、目標データストリームから第２のインデックス情報を取得し、第２のインデックス情報に従って参照画像内で位置範囲を判定するように構成され、第２のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
【００３９】
本発明の実施形態における画像処理方法及び装置によれば、位置範囲が少なくとも１つの動き情報に対応する画素をカバーするように、位置範囲は参照画像内で判定され、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも１つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
【図面の簡単な説明】
【００４０】
本発明の実施形態における技術的解決法をより明確に説明するために、本発明の実施形態を説明するために必要とされる添付の図面を以下に簡単に紹介する。明らかに、以下の説明にある添付の図面は、本発明のいくつかの実施形態を単に示し、当業者は、創造的努力なしにこれらの添付の図面から他の図面をさらに導出し得る。
【００４１】
【図１】本発明の一実施形態による画像処理方法の概略的流れ図である。
【図２ａ】現在の画像ブロックに空間的に隣接する隣接画像ブロックの概略図である。
【図２ｂ】現在の画像ブロックに時間的に隣接する隣接画像ブロックの概略図である。
【図３ａ】本発明の一実施形態の画像処理方法に従って判定される位置範囲の一例の概略図である。
【図３ｂ】本発明の一実施形態の画像処理方法に従って判定される位置範囲のもう１つの例の概略図である。
【図４】本発明のもう１つの実施形態による画像処理方法の概略的流れ図である。
【図５】本発明の一実施形態による画像処理装置の概略的ブロック図である。
【図６】本発明のもう１つの実施形態による画像処理装置の概略的ブロック図である。
【図７】本発明の一実施形態による画像処理エンコーダの概略的構造図である。
【図８】本発明のもう１つの実施形態による画像処理デコーダの概略的構造図である。
【発明を実施するための形態】
【００４２】
以下では、本発明の実施形態において添付の図面を参照して本発明の実施形態における技術的解決法を明確に及び完全に説明する。明らかに、説明される実施形態は、本発明の実施形態のいくつかであり、すべてではない。創造的努力なしに本発明の実施形態に基づいて当業者によって得られるすべての他の実施形態は、本発明の保護範囲内にあるものとする。
【００４３】
本発明の実施形態による画像処理方法及び装置は、複数の動き情報から最適動き情報を判定すること及びその最適動き情報に従って現在の画像ブロックで動き補償を実行することによって、現在の画像ブロックで符号化及び復号化を実装するための様々な技術、たとえば、隣接画像ブロックの動き情報を使用することによって現在処理される画像ブロックの動き情報を判定する、デコーダ側動きベクトル導出（ＤＭＶＤ：Ｄｅｃｏｒｄｅｒ−ｓｉｄｅ  ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｄｅｒｉｖａｔｉｏｎ）技術、マージ（ＭＥＲＧＥ）技術、及び高度動きベクトル予測（ＡＭＶＰ：Ａｄｖａｎｃｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）技術などの技術、に適用可能であり得る。理解及び説明を容易にするために、本発明の実施形態における画像処理方法及び装置がＤＭＶＤ技術に適用される例を使用することによって、以下の説明は行われる。
【００４４】
加えて、本発明の実施形態では、画像は、ビデオ内のビデオフレームでもよい。この場合、画像ブロックは、ビデオフレーム内のフレームブロックでもよい。
【００４５】
図１は、本発明の一実施形態による、エンコーダ側の視点から説明された、画像処理方法１００の概略的流れ図である。図１に示すように、方法１００は、以下を含む。
【００４６】
Ｓ１１０：現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得し、ここで、Ｎ個の隣接画像ブロックは、Ｎ個の動き情報と１対１で対応し、Ｎ個の動き情報は、現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報は、Ｎ個の参照画像ブロックと１対１で対応する。
【００４７】
Ｓ１２０：事前設定ルールに従ってＮ個の動き情報から候補動き情報を判定し、ここで、候補動き情報は、Ｎ個の動き情報のうちの少なくとも１つの情報である。
【００４８】
Ｓ１３０：候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定し、位置範囲内のすべての画素を記憶し、ここで、位置範囲は候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、候補参照画像ブロックは、候補動き情報に対応する画像ブロックである。
【００４９】
Ｓ１４０：位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成する。
【００５０】
具体的には、エンコーダ側は、Ｎ個の動き情報を取得することができ、Ｎは正の整数である。
【００５１】
本発明の本実施形態では、動き情報は、予測方向、参照画像インデックス、又は動きベクトルのうちの１つ以上を含むことができ、予測方向は、単方向予測及び双方向予測を含むことができ、単方向予測は順方向予測及び逆方向予測を含み得る。
【００５２】
順方向予測は、順方向参照画像ｌｉｓｔ、すなわちｌｉｓｔ（リスト）０、内の参照画像を使用することによって予測信号を生成することを示す。
【００５３】
逆方向予測は、逆方向参照画像ｌｉｓｔ、すなわちｌｉｓｔ１、で参照画像を使用することによって予測信号を生成することを示す。双方向予測は、ｌｉｓｔ０内の参照画像及びｌｉｓｔ１内の参照画像を同時に使用することによって予測信号を生成することを示す。
【００５４】
単方向予測では、参照画像インデックスが、ｌｉｓｔ０又はｌｉｓｔ１から選択された参照画像を示すために必要とされる。双方向予測では、２つの参照画像インデックスが、ｌｉｓｔ０から選択された参照画像及びｌｉｓｔ１から選択された参照画像をそれぞれ示すために必要とされる。
【００５５】
各動きベクトルは、水平方向構成要素ｘ及び垂直方向構成要素ｙを含み、（ｘ、ｙ）によって示すことができる。単方向予測では、動きベクトルが、ｌｉｓｔ０又はｌｉｓｔ１から選択された参照画像における予測信号の変位を示すために必要とされる。双方向予測では、２つの動きベクトルが、ｌｉｓｔ０から選択された参照画像及びｌｉｓｔ１から選択された参照画像内の順方向予測信号及び逆方向予測信号の変位をそれぞれ示すために必要とされる。
【００５６】
本発明の本実施形態では、動き情報は、現在の画像ブロック（すなわち、エンコーダ側の符号化されるべき画像ブロック、及び、デコーダ側では、復号される及び再構成されるべき画像ブロック）の隣接画像ブロックから取得される動き情報を示す。本発明の本実施形態では、動き情報は、空間的動き情報及び時間的動き情報を含み得る。
【００５７】
空間的動き情報は、現在の画像ブロックの空間的に隣接するブロックから取得される動き情報であり、時間的動き情報は、時間的に隣接するブロックから取得される動き情報を示す。
【００５８】
図２ａは、ＤＭＶＤ技術における空間的動き情報のソース位置（取得された位置）を示し、図２ｂは、ＤＭＶＤ技術における時間的動き情報のソース位置（取得された位置）を示す。
【００５９】
図２ａに示すように、ＤＭＶＤ技術において、空間的動き情報は、
現在の画像ブロックの左側の画像ブロックＡ（隣接するブロックの一例）の動き情報であって、以下にＭＶ＃Ａによって示される動き情報、
現在の画像ブロックの上側の画像ブロックＢ（隣接するブロックのもう１つの例）の動き情報であって、以下にＭＶ＃Ｂによって示される動き情報、
現在の画像ブロックの右上方の画像ブロックＣ（隣接するブロックのもう１つの例）の動き情報であって、以下にＭＶ＃Ｃによって示される動き情報、及び、
現在の画像ブロックの左上方の画像ブロックＤ（隣接するブロックのもう１つの例）の動き情報であって、以下にＭＶ＃Ｄによって示される動き情報
を含み得る。
【００６０】
予測方向が単方向であるとき、１つの動き情報は、参照画像内の参照ブロックを示すことができ、そして、予測方向が双方向であるとき、１つの動き情報は、順方向参照画像内の参照ブロック及び逆方向参照画像内の参照ブロックを示し得ることに留意されたい。
【００６１】
図２ｂに示すように、ＤＭＶＤ技術において、時間的動き情報は、たとえば、現在の画像ブロックに基づいてＭＶ＃Ｔ’でパニング処理を実行することによって取得される動き情報を含むことができ、動き情報は、以下にＭＶ＃Ｔによって示され、ＭＶ＃Ｔ’は、逆方向参照画像内にある及び現在の画像ブロックに対応する位置にある画像ブロックＥ（隣接するブロックのもう１つの例）の動き情報である。
【００６２】
したがって、エンコーダ側は、前述の５つの動き情報、すなわちＮ個の動き情報の一例、を含む動き情報セット（又は、動き情報ｌｉｓｔ）を取得することができ、その動き情報セットは、
｛ＭＶ＃Ａ，ＭＶ＃Ｂ，ＭＶ＃Ｃ，ＭＶ＃Ｄ，ＭＶ＃Ｔ｝
によって示される。
【００６３】
Ｎ個の動き情報を取得するための前記で説明された方法は、単に、例示的説明を目的とし、本発明はそれに限定されないことを理解されたい。異なる取得方法が、本発明において具体的に限定されない、本発明の本実施形態における画像処理方法が適用可能な技術に従って、使用され得る。
【００６４】
前述のようにＮ個の動き情報を判定した後、エンコーダ側は、参照画像から各動き情報に対応する参照画像ブロック（又は、各動き情報が指す参照画像ブロック）を判定することができる。予測方向が双方向である場合、エンコーダ側は２つの参照画像（順方向参照画像及び逆方向参照画像）から各動きベクトルに対応する参照画像ブロックをそれぞれ判定する必要があることに本明細書では留意されたい。理解及び説明を容易にするために、及び一般性の喪失なしに、以下の説明は、例として逆方向参照画像での処理を使用することによって行われる。
【００６５】
次いで、エンコーダ側は、符号化処理、具体的には、目標動き情報による現在の画像ブロックの動き補償処理、を実行するために、Ｎ個の動き情報から１つの動き情報（理解及び説明を容易にするために以下で目標動き情報と呼ばれる）を判定する必要がある。本プロセスは、後で詳しく説明する。
【００６６】
本発明の本実施形態では、目標動き情報は、事前設定ルールによる計算方式で計算することができ（すなわち、方式１）、或いは、目標動き情報は、現在の画像ブロックの属性及び／又はデバイス性能に従って判定することができる（すなわち、方式２）。前述の２つの場合の処理は、以下で別個に詳しく説明する。
方式１
【００６７】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【００６８】
本発明の本実施形態では、Ｎ個の動き情報のすべてが、候補動き情報として使用され得る。したがって、最適動き情報は、計算方式でＮ個の動き情報から判定することができ、最適動き情報は、前述の目標動き情報として使用される。計算プロセスにおいて、Ｎ個の動き情報（具体的には、動きベクトルが指す参照画像ブロック）に対応する参照画像（候補参照画像ブロックの一例）内の参照画像ブロックを取得することが必要とされ、計算が、参照画像ブロック（具体的には、参照画像ブロック内の画素の画素値）に基づいて実行される。
【００６９】
したがって、本発明の本実施形態では、エンコーダ側は、参照画像内の画素（すなわち、各参照画像ブロック）の位置分布を判定することができ、それらの画素は、記憶される必要があり、後の処理のために使用される。
【００７０】
前述の判定された動き情報の各々は、現在の符号化されるべきブロックの隣接する（時間的に隣接する及び／又は空間的に隣接する）画像ブロックから取得されるので、動き情報（具体的には、動きベクトル）の間に比較的強い相関関係（又は類似性）が存在する。したがって、図３ａ及び図３ｂに示すように、外面的表現は、参照画像ブロックが重複する、又は複数の参照画像ブロックが同じ位置にある画素を含むということである。
【００７１】
先行技術では、エンコーダ側は、各参照画像ブロックに基づいてＮ個の動き情報から最適動き情報を判定するために、各動き情報が指す参照画像ブロックを参照画像から別個に取得し、各参照画像ブロック（具体的には、参照画像ブロック内の画素値）をメモリ空間において独立して記憶する必要がある。したがって、デバイスのメモリ帯域幅がＮ個の参照画像ブロックの読取りに対応し得ることが必要とされ、前述の重複するエリアが複数回にわたり記憶される場合が生じ得る、すなわち、最適動き情報が判定されるとき、Ｎ個の参照画像ブロックを読み取るために、指定された時間内にＮ回の読取りを実行することが必要とされ、メモリ帯域幅の比較的高い要件を結果としてもたらす。
【００７２】
対照的に、本発明の本実施形態では、エリアの範囲が、Ｎ個の参照画像ブロックによって含まれるすべての画素をカバーし得るように、エリア（すなわち、位置範囲）は、前述の判定されるＮ個の動き情報の間に比較的強い相関関係及び類似性が存在するという特徴に基づいて参照画像から判定することができる。たとえば限定ではなくて、たとえば、Ｎ個の参照画像ブロックの最小公開画像ブロック、すなわち図３ａに破線で示されるエリア、が位置範囲として使用され得る。
【００７３】
最小公開画像ブロックは、以下の方式で判定することができる。すなわち、
現在の符号化されるべき画像内の現在の画像ブロックの座標が（ｃｕｒ＿ｘ，ｃｕｒ＿ｙ）であり、そのサイズが（ｂｌｋ＿ｘ）×（ｂｌｋ＿ｙ）画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がｘによって示され、動きベクトルの垂直構成要素がｙによって示されると仮定すると、参照画像において、ＭＶ＃Ａは｛ＭＶ＃Ａ＿ｘ，ＭＶ＃Ａ＿ｙ｝として記述することができ、ＭＶ＃Ｂは｛ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｂ＿ｙ｝として記述することができ、ＭＶ＃Ｃは｛ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｃ＿ｙ｝として記述することができ、ＭＶ＃Ｄは｛ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｄ＿ｙ｝として記述することができ、そして、ＭＶ＃Ｔは｛ＭＶ＃Ｔ＿ｘ，ＭＶ＃Ｔ＿ｙ｝として記述することができる。
【００７４】
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δｘ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく、
目標画像ブロックに関する水平方向における最大変位Δｘ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく
目標画像ブロックに関する垂直方向における最小変位Δｙ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δｙ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しい。
【００７５】
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、（ｃｕｒ＿ｘ＋Δｘ＿ｍｉｎ，ｃｕｒ＿ｙ＋Δｙ＿ｍｉｎ）であり、そして、
矩形領域の右下角の画素の座標は、（ｃｕｒ＿ｘ＋Δｘ＿ｍａｘ＋ｂｌｋ＿ｘ，ｃｕｒ＿ｙ＋Δｙ＿ｍａｘ＋ｂｌｋ＿ｙ）である。
【００７６】
したがって、位置範囲内の各画素の情報（画素値など）は、最適動き情報の判定のその後の処理で使用するために、読み取り、メモリに記憶することができる。
【００７７】
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
Ｎ個の参照画像ブロックのうちの少なくとも２つの参照画像ブロックが互いに重複すると判定するステップ
をさらに含む。
【００７８】
具体的に、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、参照画像が重複する場合、位置範囲の判定及びその位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。
【００７９】
したがって、メモリ帯域幅の要件が先行技術と比較して低減されることを確保することができる。
【００８０】
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
Ｎ個の参照画像ブロックのうちの少なくとも２つの参照画像ブロックが互いに重複し、及び重複する参照画像ブロックの量が事前設定された量閾値以上であり、又は重複する範囲が事前設定された範囲閾値以上であると判定するステップ
をさらに含む。
【００８１】
具体的には、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、そして、参照画像が重複する場合、重複するエリアの特徴（たとえば、重複する参照画像ブロックの量及び／又は重複する範囲のサイズ）をさらに判定することができ、前述の重複するエリアの特徴が事前設定条件に合う、たとえば、重複する参照画像ブロックの量が事前設定された量閾値以上である、及び／又は重複する範囲が事前設定された範囲閾値以上である）場合、位置範囲の判定及び位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。前述の量閾値は、参照画像ブロックの量（又は、動き情報の量）に従ってセットされ得ることに留意されたい。たとえば、参照画像ブロックの量が５である場合、量閾値は５にセットされ得る。同様に、前述の範囲閾値は、参照画像ブロックのサイズに従ってセットされ得る。
【００８２】
したがって、メモリ帯域幅の要件が先行技術と比較して低減されることが、さらに確保され得る。
【００８３】
次いで、最適動き情報が、記憶された位置範囲（具体的には、その位置範囲内の画素）に従って、Ｎ個の動き情報から判定され得る。
【００８４】
すなわち、任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行するステップは、
候補動き情報に従って位置範囲内の画素を読み取って候補画像ブロックを取得するステップと、
候補画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するステップと
を含む。
【００８５】
具体的に、前述の判定された位置範囲はすべての参照画像ブロックをカバーするので、各動き情報に対応する参照画像ブロック（具体的には、各参照画像ブロックの画素の情報）は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報は、参照画像ブロックに従って動き情報から判定され得る。たとえば、評価が、各動き情報に対応する評価値を取得するために、各動き情報に対応する画素の情報に基づいて及び所定の基準（たとえば、レート歪み基準）を適用することによって、実行可能であり、そして、最小評価値を有する動き情報が、最適動き情報、すなわち、現在の画像ブロックで符号化処理（たとえば、動き補償処理）を実行するための動き情報、として選択される。
【００８６】
前述の所定の基準は、適用される符号化技術に従って適切に変更することができ、本発明において具体的に限定されないことを理解されたい。たとえば、ＤＭＶＤ技術において、双方向予測の場合、各動き情報は順方向動き情報及び逆方向動き情報を含み、順方向動き情報は、順方向参照画像内の参照画像ブロック（順方向参照画像ブロックと呼ばれる）を示すために使用され、そして、逆方向動き情報は、逆方向参照画像内の画像ブロック（順方向参照画像ブロックと呼ばれる）を示すために使用され、そして、順方向参照画像ブロック及び逆方向参照画像ブロックの対応する位置の画素値の平方差の和が、測定基準として使用される場合、最小の平方差の和を有する動き情報が、最適動き情報として使用され得る。
【００８７】
次いで、エンコーダ側は、最適動き情報を使用して目標画像ブロックでの動き補償符号化動作などの処理を実行して、現在の画像ブロックで符号化を実装し、目標データストリームを生成し、デコーダ側に目標データストリームを送信することができる。本明細書において、最適動き情報に従って現在の画像ブロックで符号化処理をエンコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は、本明細書では省略される。
【００８８】
任意選択で、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第２のインデックス情報を含み、第２のインデックス情報が参照画像内の位置範囲の位置を示すために使用される、ステップ
を含む。
【００８９】
具体的に、本発明の本実施形態では、前述のように位置範囲を判定した後に、エンコーダ側はさらに、生成されたデータストリームに参照画像内のその位置範囲の位置を示すための情報、すなわち第２のインデックス情報、を追加することができ、デコーダ側は、第２のインデックス情報に従って参照画像内で位置範囲を直接判定することができる。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
【００９０】
本発明の本実施形態における画像処理方法によれば、最適動き情報の取得を確保することができ、画像処理効果を改善することができ、ユーザ体験を向上させることができるように、判定される位置範囲は、すべての参照画像をカバーする。
方式２
【００９１】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【００９２】
具体的に、エンコーダ側のデバイスのハードウェアによって限定されるため、たとえば、メモリ帯域幅によって限定されるため、現在使用可能なメモリ帯域幅が、前述の方式１で判定された最小公開画像ブロック（位置範囲の一例）の要件を満たすことができない場合が存在し得る。
【００９３】
前述の問題を考慮して、本発明の本実施形態は、以下の技術的解決法を提供する。すなわち、判定された位置範囲は、いくつかの参照画像ブロック（すなわち、候補参照画像ブロックの一例）のみをカバーし得る。カバーされる参照画像ブロックの量がＭであると仮定すると、１≦Ｍ＜Ｎが満たされる。
【００９４】
したがって、位置範囲が少なくとも１つの完全な参照画像ブロックをカバーすること、すなわち、少なくとも１つの動き情報が使用可能であること、を確保することができ、そして、符号化が動き情報を使用することによって現在の画像ブロックで実行されることを確保することを前提として、メモリ帯域幅の要件は低減することができる。
【００９５】
この場合、エリアの範囲が、Ｍ個の参照画像ブロックによって含まれるすべての画素、すなわち図３ｂで破線によって示されるエリア、をカバーし得るように、エリア（すなわち、位置範囲）が、参照画像内で判定され得る。
【００９６】
任意選択で、事前設定ルールに従ってＮ個の動き情報から候補動き情報を判定するステップは、
使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定するステップ
を含み、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【００９７】
具体的に、本発明の本実施形態では、Ｍ個の候補参照画像ブロックが選択され得る、或いは、Ｍ個の候補参照画像ブロックに対応する動き情報が、使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従って、選択され得る。
【００９８】
前述のパラメータを使用するための方法を以下に別個に説明する。
【００９９】
Ａ．現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、及び現在の画像ブロックが属する画像の制作スタイル
【０１００】
たとえば、画像が内容によって分類される場合、画像は、ニュース画像、スポーツ画像、映画−テレビジョン画像などでもよい。同様に、画像はまた、ソース及び制作スタイルによって分類することもできる。同じタイプの画像の最適動き情報（又は最適動き情報が由来する隣接画像ブロック）は、常に同じである。したがって、本発明の本実施形態では、各タイプの画像の優先度の高い動き情報の統計値は、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、現在の画像ブロックが属する画像の制作スタイルなどに従って、収集することができ、優先度の高い動き情報は、このタイプの画像の最適動き情報になる最も大きな可能性を有する。
【０１０１】
したがって、位置範囲が判定されているとき、その位置範囲が前述の優先度の高い動き情報に対応する参照画像ブロックをカバーすることが優先的に確保され得る。
【０１０２】
任意選択で、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
その位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第１のインデックス情報を含み、第１のインデックス情報が候補動き情報を示すために使用される、ステップ
を含む。
【０１０３】
具体的に、前述のように優先度の高い動き情報（すなわち、候補動き情報の一例）を判定した後に、エンコーダ側は、生成されたデータストリームに候補動き情報を示すための情報、すなわち第１のインデックス情報、を加えることができ、そして、デコーダ側は、各候補動き情報に対応する参照画像ブロック（すなわち、候補参照画像ブロック）を判定するために、第１のインデックス情報に従ってＮ個の動き情報から候補動き情報を直接判定することができる。したがって、位置範囲は、参照画像内で判定することができ、そして、その位置範囲は、候補参照画像ブロックをカバーし得る。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
【０１０４】
Ｂ．使用可能なメモリ帯域幅
【０１０５】
本発明の本実施形態では、読み取る及び記憶することができる位置範囲のサイズは、現在使用可能なメモリ帯域幅のサイズに従って判定され得る。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補画像ブロック及びその候補画像ブロックを指す候補動き情報が、判定され得る。
【０１０６】
現在使用可能なメモリ帯域幅が十分大きい場合、その位置範囲によってカバーされる参照画像ブロックの複数の組合せが存在する場合が存在し得ることに留意されたい。たとえば、同サイズの位置範囲では、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックの量は異なることがあり、又は同サイズの位置範囲では、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックに対応する動き情報は異なる。
【０１０７】
この場合、最大の参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、比較的多量の参照画像ブロックが提供可能であり、最終的に判定される及び符号化処理のために使用される動き情報は、最適化され得る。
【０１０８】
別法として、前述の判定された優先度の高い動き情報に対応する参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、符号化処理が優先度の高い動き情報に従って実行されることが、確保され得る。
【０１０９】
Ｃ．現在の画像ブロックが属する画像の解像度
【０１１０】
異なる画像解像度は、エンコーダ側のハードウェアで異なる要件を有する。たとえば、比較的高い解像度を有する画像では、その画像で符号化を実装するために、比較的高い性能、たとえば、比較的高いメモリ帯域幅、を有するハードウェアを構成することが通常は必要とされる。したがって、記憶され得る位置範囲のサイズは、現在の画像ブロックが属する画像の解像度に従って判定され、すなわち、解像度がより高い場合、位置範囲はより大きい。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補画像ブロック及びその候補画像ブロックを指す候補動き情報が、判定され得る。
【０１１１】
位置範囲が、使用可能なメモリ帯域幅及び現在の画像ブロックが属する画像の解像度（又は、エンコーダ側のハードウェア性能）に従って判定される場合、その位置範囲は、以下の方式で判定することができる。すなわち、
現在の符号化されるべき画像内の現在の画像ブロックの座標が（ｃｕｒ＿ｘ，ｃｕｒ＿ｙ）であり、そのサイズが（ｂｌｋ＿ｘ）×（ｂｌｋ＿ｙ）画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がｘによって示され、動きベクトルの垂直構成要素がｙによって示されると仮定すると、その参照画像において、ＭＶ＃Ａは｛ＭＶ＃Ａ＿ｘ，ＭＶ＃Ａ＿ｙ｝として記述することができ、ＭＶ＃Ｂは｛ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｂ＿ｙ｝として記述することができ、ＭＶ＃Ｃは｛ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｃ＿ｙ｝として記述することができ、ＭＶ＃Ｄは｛ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｄ＿ｙ｝として記述することができ、そして、ＭＶ＃Ｔは｛ＭＶ＃Ｔ＿ｘ，ＭＶ＃Ｔ＿ｙ｝として記述することができる。
【０１１２】
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δｘ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく、
目標画像ブロックに関する水平方向における最大変位Δｘ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく、
目標画像ブロックに関する垂直方向における最小変位Δｙ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δｙ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しい。
【０１１３】
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、（ｃｕｒ＿ｘ＋ｍａｘ（−Ωｘ＿ｍｉｎ，Δ＿ｘ＿ｍｉｎ），ｃｕｒ＿ｙ＋ｍａｘ（−Ωｙ＿ｍｉｎ，Δ＿ｙ＿ｍｉｎ））であり、そして、
矩形領域の右下角の画素の座標は、（ｃｕｒ＿ｘ＋ｂｌｋ＿ｘ＋ｍｉｎ（Ωｘ＿ｍａｘ，Δｘ＿ｍａｘ），ｃｕｒ＿ｙ＋ｂｌｋ＿ｙ＋ｍｉｎ（Ωｙ＿ｍａｘ，Δｙ＿ｍａｘ）であり、
但し、Ωｘ＿ｍｉｎ、Ωｘ＿ｍａｘ，Ωｙ＿ｍｉｎ、及びΩｙ＿ｍａｘの値は、使用可能なメモリ帯域幅又はエンコーダのハードウェア性能に従って判定され得る。
【０１１４】
任意選択で、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第２のインデックス情報を含み、第２のインデックス情報が参照画像内の位置範囲の位置を示すために使用される、ステップ
を含む。
【０１１５】
具体的に、本発明の本実施形態では、前述のように位置範囲を判定した後に、エンコーダ側はさらに、生成されたデータストリームに参照画像内のその位置範囲の位置を示すための情報、すなわち第２のインデックス情報、を追加することができ、デコーダ側は、第２のインデックス情報に従って、参照画像内で位置範囲を直接判定することができる。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
【０１１６】
たとえば限定ではなくて、本発明の本実施形態では、第２のインデックス情報は、Ωｘ＿ｍｉｎ、Ωｘ＿ｍａｘ、Ωｙ＿ｍｉｎ、及びΩｙ＿ｍａｘの前述の値でもよい。加えて、第２のインデックス情報は、適切な構文要素を使用することによって、データストリームの異なる位置で識別することができ、たとえば、ピクチャパラメータセット（ＰＰＳ、Ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）又はスライスヘッダ（ｓｌｉｃｅ  ｈｅａｄｅｒ）において識別され得る。ピクチャパラメータセット又はスライスヘッダがデータストリームにおいて出現する頻度は比較的低いので、これらの位置でのΩｘ＿ｍｉｎ、Ωｘ＿ｍａｘ、Ωｙ＿ｍｉｎ、及びΩｙ＿ｍａｘの前述の値の識別によってもたらされる余分な帯域幅の効果は、ほとんど無視することができる。
【０１１７】
位置範囲が前述のように判定された後、位置範囲内の各画素の情報（画素値など）は、読み取り、メモリに記憶することができる。
【０１１８】
加えて、位置範囲が、１つのみの完全な参照画像ブロック（すなわち、候補画像ブロック）をカバーし得るとき、符号化処理が、候補参照画像ブロック及び候補参照画像ブロックに対応する動き情報を直接使用することによって、現在のブロックで実行され得る。
【０１１９】
位置範囲が、２つより多い完全な参照画像ブロック（すなわち、候補画像ブロック）をカバーし得るとき、最適動き情報は、記憶された位置範囲（具体的には、位置範囲内の画素）に従って、それらの２つより多い候補画像ブロックに対応する動き情報から判定され得る。
【０１２０】
すなわち、任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行するステップは、
候補動き情報に従って位置範囲内の画素を読み取って候補画像ブロックを取得するステップと、
候補画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するステップと
を含む。
【０１２１】
具体的に、前述の判定された位置範囲は２つより多い参照画像ブロックをカバーするので、各候補動き情報に対応する候補参照画像ブロック（具体的には、各参照画像ブロックの画素の情報）は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報は、候補動き情報から判定され得る。たとえば、評価が、候補動き情報に対応する画素の情報に基づいて及び所定の基準を適用することによって実行されて、各候補動き情報に対応する評価値を取得することができ、そして、最小評価値を有する候補動き情報が、最適動き情報、すなわち、現在の画像ブロックで符号化処理（たとえば、動き補償処理）を実行するための動き情報、として選択される。
【０１２２】
次いで、エンコーダ側は、最適動き情報を使用して目標画像ブロックでの動き補償符号化動作などの処理を実行して、現在の画像ブロックで符号化を実装し、目標データストリームを生成し、デコーダ側に目標データストリームを送信することができる。本明細書において、最適動き情報に従って現在の画像ブロックで符号化処理をエンコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は本明細書では省略される。
【０１２３】
本発明の本実施形態における画像処理方法によれば、位置範囲が、少なくとも１つの動き情報に対応する画素をカバーするように、位置範囲は、参照画像において判定され、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも１つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
【０１２４】
図４は、本発明の一実施形態による、デコーダ側の視点から説明された、画像処理方法２００の概略的流れ図である。図４に示すように、方法２００は、以下を含む。
【０１２５】
Ｓ２１０：現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得し、ここで、Ｎ個の隣接画像ブロックは、Ｎ個の動き情報と１対１で対応し、Ｎ個の動き情報は、現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報は、Ｎ個の参照画像ブロックと１対１で対応する。
【０１２６】
Ｓ２２０：記憶されるべき画素の位置範囲を参照画像内で判定し、位置範囲内のすべての画素を記憶し、ここで、位置範囲は、候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも１つの画像ブロックである。
【０１２７】
Ｓ２３０：動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成し、ここで、候補動き情報は、候補参照画像ブロックに対応する動き情報である。
【０１２８】
具体的には、デコーダ側は、Ｎ個の動き情報を取得することができ、Ｎは正の整数である。
【０１２９】
本発明の本実施形態では、動き情報は、予測方向、参照画像インデックス、又は動きベクトルのうちの１つ以上を含むことができ、予測方向は単方向予測及び双方向予測を含むことができ、そして、単方向予測は順方向予測及び逆方向予測を含むことができる。
【０１３０】
順方向予測は、順方向参照画像ｌｉｓｔ、すなわちｌｉｓｔ（リスト）０、内の参照画像を使用することによって予測信号を生成することを示す。
【０１３１】
逆方向予測は、逆方向参照画像ｌｉｓｔ、すなわちｌｉｓｔ１、内の参照画像を使用することによって予測信号を生成することを示す。双方向予測は、ｌｉｓｔ０内の参照画像及びｌｉｓｔ１内の参照画像を同時に使用することによって予測信号を生成することを示す。
【０１３２】
単方向予測では、参照画像インデックスが、ｌｉｓｔ０又はｌｉｓｔ１から選択された参照画像を示すために必要とされる。双方向予測では、２つの参照画像インデックスが、ｌｉｓｔ０から選択された参照画像及びｌｉｓｔ１から選択された参照画像をそれぞれ示すために必要とされる。
【０１３３】
各動きベクトルは、水平方向構成要素ｘ及び垂直方向構成要素ｙを含み、（ｘ、ｙ）によって示すことができる。単方向予測では、動きベクトルが、ｌｉｓｔ０又はｌｉｓｔ１から選択された参照画像における予測信号の変位を示すために必要とされる。双方向予測では、２つの動きベクトルが、ｌｉｓｔ０から選択された参照画像及びｌｉｓｔ１から選択された参照画像内の順方向予測信号及び逆方向予測信号の変位をそれぞれ示すために必要とされる。
【０１３４】
本発明の本実施形態では、動き情報は、現在の画像ブロック（すなわち、エンコーダ側の符号化されるべき画像ブロック、及びデコーダ側では、復号される及び再構成されるべき画像ブロック）の隣接画像ブロックから取得される動き情報を示す。本発明の本実施形態では、動き情報は、空間的動き情報及び時間的動き情報を含み得る。
【０１３５】
空間的動き情報は、現在の画像ブロックの空間的に隣接するブロックから取得される動き情報であり、時間的動き情報は、時間的に隣接するブロックから取得される動き情報を示す。
【０１３６】
図２ａは、ＤＭＶＤ技術における空間的動き情報のソース位置（取得された位置）を示し、図２ｂは、ＤＭＶＤ技術における時間的動き情報のソース位置（取得された位置）を示す。
【０１３７】
図２ａに示すように、ＤＭＶＤ技術において、空間的動き情報は、
現在の画像ブロックの左側の画像ブロックＡ（隣接するブロックの一例）の動き情報であって、以下でＭＶ＃Ａによって示される動き情報と、
現在の画像ブロックの上側の画像ブロックＢ（隣接するブロックのもう１つの例）の動き情報であって、以下でＭＶ＃Ｂによって示される動き情報と、
現在の画像ブロックの右上の画像ブロックＣ（隣接するブロックのもう１つの例）の動き情報であって、以下でＭＶ＃Ｃによって示される動き情報と、
現在の画像ブロックの左上方の画像ブロックＤ（隣接するブロックのもう１つの例）の動き情報であって、以下でＭＶ＃Ｄによって示される動き情報と
を含み得る。
【０１３８】
予測方向が単方向であるとき、１つの動き情報は、参照画像内の参照ブロックを示すことができ、そして、予測方向が双方向であるとき、１つの動き情報は、順方向参照画像内の参照ブロック及び逆方向参照画像内の参照ブロックを示し得ることに留意されたい。
【０１３９】
図２ｂに示すように、ＤＭＶＤ技術において、時間的動き情報は、たとえば、現在の画像ブロックに基づいてＭＶ＃Ｔ’でパニング処理を実行することによって取得された動き情報を含むことができ、その動き情報は以下にＭＶ＃Ｔによって示され、ＭＶ＃Ｔ’は、逆方向参照画像内にある及び現在の画像ブロックに対応する位置にある画像ブロックＥ（隣接するブロックのもう１つの例）の動き情報である。
【０１４０】
したがって、デコーダ側は、前述の５つの動き情報、すなわちＮ個の動き情報の一例、を含む動き情報セット（又は、動き情報ｌｉｓｔ）を取得することができ、その動き情報セットは、
｛ＭＶ＃Ａ，ＭＶ＃Ｂ，ＭＶ＃Ｃ，ＭＶ＃Ｄ，ＭＶ＃Ｔ｝
によって示される。
【０１４１】
前述の取得された動き情報が繰り返される場合、繰り返される動き情報は、Ｎ個の動き情報が互いに異なることを確保するために、削除され得ることに留意されたい。
【０１４２】
Ｎ個の動き情報を取得するための前述で説明された方法は、単に例示的説明を目的とし、本発明はそれに限定されないことを理解されたい。異なる取得方法が、本発明において具体的に限定されない、本発明の本実施形態における画像処理方法が適用可能な技術に従って、使用され得る。
【０１４３】
前述のようにＮ個の動き情報を判定した後に、デコーダ側は、参照画像から各動き情報に対応する参照画像ブロック（又は、各動き情報が指す参照画像ブロック）を判定することができる。予測方向が双方向である場合、デコーダ側は、２つの参照画像（順方向参照画像及び逆方向参照画像）から各動きベクトルに対応する参照画像ブロックをそれぞれ判定する必要があることに留意されたい。理解及び説明を容易にするために、並びに一般性を失うことなく、以下の説明は、一例として逆方向参照画像での処理を使用することによって行われる。
【０１４４】
次いで、デコーダ側は、復号化処理、具体的には、目標動き情報による動き補償処理、を実行するために、Ｎ個の動き情報から１つの動き情報（理解及び区別を容易にするために以下で目標動き情報と呼ばれる）を判定する必要がある。そのプロセスは次に詳細に説明される。
【０１４５】
本発明の本実施形態では、目標動き情報は、事前設定ルールによる計算方式で計算され得る（すなわち、方式３）、或いは、目標動き情報は、現在の画像ブロックの属性及び／又はデバイス性能に従って判定され得る（すなわち、方式４）。前述の２つの場合における処理は、以下で別個に詳細に説明される。
方式３
【０１４６】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【０１４７】
本発明の本実施形態では、最適動き情報は、計算方式でＮ個の動き情報（候補動き情報の一例）から判定することができ、その最適動き情報は、前述の目標動き情報として使用される。計算プロセスにおいて、Ｎ個の動き情報（具体的には、動きベクトルが指す参照画像ブロック）に対応する参照画像ブロック（候補参照画像ブロックの一例）を取得することが必要とされ、計算が、参照画像ブロック（具体的には、参照画像ブロック内の画素の画素値）に基づいて実行される。
【０１４８】
したがって、本発明の本実施形態では、デコーダ側は、参照画像内の画素（すなわち、各参照画像ブロック）の位置分布を判定することができ、それらの画素は、記憶される必要があり、後の処理のために使用される。
【０１４９】
前述の判定された動き情報の各々は、復号される必要がある現在の画像ブロックの隣接する（時間的に隣接する及び／又は空間的に隣接する）画像ブロックから取得されるので、動き情報（具体的には、動きベクトル）の間に比較的強い相関関係（又は類似性）が存在する。したがって、図３ａ及び図３ｂに示すように、外面的表現は、参照画像ブロックが重複する、又は複数の参照画像ブロックが同じ位置にある画素を含むということである。
【０１５０】
先行技術では、デコーダ側は、各動き情報が指す参照画像ブロックを参照画像から別個に取得する必要があり、各参照画像ブロック（具体的には、参照画像ブロック内の画素値）をメモリ空間に独立して記憶して各参照画像ブロックに基づいてＮ個の動き情報から最適動き情報を判定する必要がある。したがって、デバイスのメモリ帯域幅が、Ｎ個の参照画像ブロックの読取り及び記憶に対応し得ることが必要とされ、そして、前述の重複するエリアが複数回にわたり記憶される場合が生じることがあり、メモリ帯域幅の比較的高い要件をもたらす。
【０１５１】
対照的に、本発明の本実施形態では、エリアの範囲が、Ｎ個の参照画像ブロックによって含まれるすべての画素をカバーし得るように、エリア（すなわち、位置範囲）は、前述の判定されたＮ個の動き情報の間に比較的強い相関関係及び類似性が存在するという特徴に基づいて参照画像から判定され得る。たとえば限定ではなくて、たとえば、Ｎ個の参照画像ブロックの最小公開画像ブロック、すなわち図３ａに破線で示されるエリア、が位置範囲として使用され得る。
【０１５２】
最小公開画像ブロックは、以下の方式で判定することができる。すなわち、
現在の再構成されるべき画像内の現在の画像ブロックの座標が（ｃｕｒ＿ｘ，ｃｕｒ＿ｙ）であり、そのサイズが（ｂｌｋ＿ｘ）×（ｂｌｋ＿ｙ）画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がｘによって示され、動きベクトルの垂直構成要素がｙによって示されると仮定すると、その参照画像において、ＭＶ＃Ａは｛ＭＶ＃Ａ＿ｘ，ＭＶ＃Ａ＿ｙ｝として記述することができ、ＭＶ＃Ｂは｛ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｂ＿ｙ｝として記述することができ、ＭＶ＃Ｃは｛ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｃ＿ｙ｝として記述することができ、ＭＶ＃Ｄは｛ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｄ＿ｙ｝として記述することができ、そして、ＭＶ＃Ｔは｛ＭＶ＃Ｔ＿ｘ，ＭＶ＃Ｔ＿ｙ｝として記述することができる。
【０１５３】
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δｘ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく、
目標画像ブロックに関する水平方向における最大変位Δｘ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく
目標画像ブロックに関する垂直方向における最小変位Δｙ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δｙ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しい。
【０１５４】
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、（ｃｕｒ＿ｘ＋Δｘ＿ｍｉｎ，ｃｕｒ＿ｙ＋Δｙ＿ｍｉｎ）であり、そして、
矩形領域の右下角の画素の座標は、（ｃｕｒ＿ｘ＋Δｘ＿ｍａｘ＋ｂｌｋ＿ｘ，ｃｕｒ＿ｙ＋Δｙ＿ｍａｘ＋ｂｌｋ＿ｙ）である。
【０１５５】
したがって、位置範囲内の各画素の情報（画素値など）は、最適動き情報の判定のその後の処理で使用するために、読み取り、メモリに記憶され得る。
【０１５６】
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
Ｎ個の参照画像ブロックのうちの少なくとも２つの参照画像ブロックが互いに重複すると判定するステップ
をさらに含む。
【０１５７】
具体的に、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、参照画像が重複する場合、位置範囲の判定及び位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。
【０１５８】
したがって、メモリ帯域幅の要件が先行技術と比較して低減されることを確保することができる。
【０１５９】
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
Ｎ個の参照画像ブロックのうちの少なくとも２つの参照画像ブロックが互いに重複し、及び重複する参照画像ブロックの量が事前設定された量閾値以上であり、又は重複する範囲が事前設定された範囲閾値以上であると判定するステップ
をさらに含む。
【０１６０】
具体的に、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、そして、参照画像が重複する場合、重複するエリアの特徴（たとえば、重複する参照画像ブロックの量及び／又は重複する範囲のサイズ）はさらに判定することができ、そして、前述の重複するエリアの特徴が事前設定条件に合う、たとえば、重複する参照画像ブロックの量が事前設定された量閾値以上である、及び／又は重複する範囲が事前設定された範囲閾値以上である）場合、位置範囲の判定及びその位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。前述の量閾値は、参照画像ブロックの量（又は、動き情報の量）に従ってセットされ得ることに留意されたい。たとえば、参照画像ブロックの量が５である場合、量閾値は、５にセットされ得る。同様に、前述の範囲閾値は、参照画像ブロックのサイズに従ってセットされ得る。
【０１６１】
したがって、メモリ帯域幅の要件が、先行技術と比較して低減されることが、さらに確保され得る。
【０１６２】
次いで、最適動き情報が、記憶された位置範囲（具体的には、位置範囲内の画素）に従って、Ｎ個の動き情報から判定され得る。
【０１６３】
すなわち、任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行するステップは、
動き情報から候補動き情報を判定するステップと、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って目標データストリームで復号化処理を実行するステップと
を含む。
【０１６４】
具体的に、前述の判定された位置範囲はすべての参照画像ブロックをカバーするので、各動き情報に対応する参照画像ブロック（具体的には、各参照画像ブロックの画素の情報）は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報は、参照画像ブロックに従って動き情報から判定され得る。たとえば、評価が、各動き情報に対応する評価値を取得するために、各動き情報に対応する画素の情報に基づいて及び所定の基準（たとえば、レート歪み基準）を適用することによって、実行可能であり、そして、最小評価値を有する動き情報が、最適動き情報、すなわち、現在の画像ブロックで復号化及び再構成処理（たとえば、動き補償処理）を実行するための動き情報、として選択される。
【０１６５】
前述の所定の基準は、適用された復号化技術に従って、適切に変更することができ、本発明において具体的に限定されないことを理解されたい。たとえば、ＤＭＶＤ技術において、双方向予測の場合、各動き情報は順方向動き情報及び逆方向動き情報を含み、順方向動き情報は、順方向参照画像内の参照画像ブロック（順方向参照画像ブロックと呼ばれる）を示すために使用され、そして、逆方向動き情報は、逆方向参照画像内の画像ブロック（順方向参照画像ブロックと呼ばれる）を示すために使用され、順方向参照画像ブロック及び逆方向参照画像ブロックの対応する位置の画素値の平方差の和が測定基準として使用される場合、最小の平方差の和を有する動き情報が、最適動き情報として使用され得る。
【０１６６】
次いで、デコーダ側は、現在の画像ブロックで再構成を実装するために、最適動き情報を使用して、エンコーダ側からのデータストリームで動き補償復号化動作などの処理を実行することができる。本明細書において、最適動き情報による現在の画像ブロックの復号化処理をデコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は、本明細書では省略される。
【０１６７】
任意選択で、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
第２のインデックス情報を目標データストリームから取得するステップであって、第２のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用される、ステップと、
第２のインデックス情報に従って参照画像において位置範囲を判定するステップと
を含む。
【０１６８】
具体的に、本発明の本実施形態では、エンコーダ側は、データストリームに参照画像内の位置範囲の位置及び範囲を示すための情報、すなわち第２のインデックス情報、を追加することができる。したがって、デコーダ側は、データストリームから第２のインデックス情報を取得し、第２のインデックス情報に従って、参照画像内の位置範囲（具体的には、メモリに記憶される必要がある画素）を直接判定することができる。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
【０１６９】
本発明の本実施形態における画像処理方法によれば、最適動き情報の取得を確保することができ、画像処理効果を改善することができ、ユーザ体験を改善することができるように、判定される位置範囲は、すべての参照画像をカバーする。
方式４
【０１７０】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【０１７１】
具体的には、デコーダ側のデバイスのハードウェアによって限定されるため、たとえば、メモリ帯域幅によって限定されるため、現在使用可能なメモリ帯域幅が、前述の方式３において判定される最小公開画像ブロック（位置範囲の一例）の要件を満たすことができない場合があり得る。
【０１７２】
前述の問題を考慮して、本発明の本実施形態は、以下の技術的解決法を提供し、すなわち、判定された位置範囲は、いくつかの参照画像ブロック（すなわち、候補参照画像ブロックの一例）のみをカバーし得る。カバーされる参照画像ブロックの量がＭであると仮定すると、１≦Ｍ＜Ｎが満たされる。
【０１７３】
したがって、位置範囲が少なくとも１つの完全な参照画像ブロックをカバーする、すなわち少なくとも１つの動き情報が使用可能である、ことを確保することができ、復号化及び再構成が動き情報を使用することによって現在の画像ブロックで実行されることを確保することを前提として、メモリ帯域幅の要件は低減され得る。
【０１７４】
この場合、エリアの範囲が、Ｍ個の参照画像ブロックによって含まれるすべての画素、すなわち図３ｂで破線によって示されるエリア、をカバーし得るように、エリア（すなわち、位置範囲）が、参照画像内で判定され得る。
【０１７５】
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するステップ
を含み、ここで、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【０１７６】
具体的に、本発明の本実施形態では、Ｍ個の候補参照画像ブロックが選択され得る、或いは、Ｍ個の候補参照画像ブロックに対応する動き情報が、使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従って、選択され得る。
【０１７７】
前述のパラメータを使用するための方法を以下で別個に説明する。
【０１７８】
Ａ．現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、及び現在の画像ブロックが属する画像の制作スタイル
【０１７９】
たとえば、画像が内容によって分類される場合、画像は、ニュース画像、スポーツ画像、映画−テレビジョン画像などでもよい。同様に、画像はまた、ソース及び制作スタイルによって分類することもできる。同じタイプの画像の最適動き情報（又は、最適動き情報が由来する隣接画像ブロック）は、常に同じである。したがって、本発明の本実施形態では、各タイプの画像の優先度の高い動き情報の統計値は、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、現在の画像ブロックが属する画像の制作スタイルなどに従って集めることができ、優先度の高い動き情報は、このタイプの画像の最適動き情報になる最も大きな可能性を有する。
【０１８０】
したがって、位置範囲が判定されているとき、その位置範囲が前述の優先度の高い動き情報に対応する参照画像ブロックをカバーすることが優先的に確保され得る。
【０１８１】
任意選択で、動き情報から候補動き情報を判定するステップは、
第１のインデックス情報を目標データストリームから取得するステップであって、第１のインデックス情報が候補動き情報を示すために使用されるステップと、
第１のインデックス情報に従って動き情報から候補動き情報を判定するステップと
を含む。
【０１８２】
具体的に、エンコーダ側は、生成されたデータストリームに候補動き情報に関する情報を示すための情報、すなわち、第１のインデックス情報、を追加することができ、デコーダ側は、各候補動き情報に対応する参照画像ブロック（すなわち、候補参照画像ブロック）を判定するために、データストリームから第１のインデックス情報を取得し、第１のインデックス情報に従ってＮ個の動き情報から候補動き情報を直接判定する。したがって、位置範囲を参照画像内で判定することができ、その位置範囲は、候補参照画像ブロックをカバーし得る。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
【０１８３】
Ｂ．使用可能なメモリ帯域幅
【０１８４】
本発明の本実施形態では、読み取る及び記憶することができる位置範囲のサイズは、現在使用可能なメモリ帯域幅のサイズに従って判定され得る。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補画像ブロック及び候補画像ブロックを指す動き情報が、判定され得る。
【０１８５】
現在使用可能なメモリ帯域幅が十分大きい場合、位置範囲によってカバーされる参照画像ブロックの複数の組合せが存在する場合が存在し得ることに留意されたい。たとえば、同サイズの位置範囲について、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックの量は異なることがあり、又は同サイズの位置範囲について、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックに対応する動き情報は異なる。
【０１８６】
この場合、最大参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、比較的多量の参照画像ブロックが提供可能であり、そして、最終的に判定される及び復号化処理のために使用される動き情報が、最適化され得る。
【０１８７】
別法として、前述の判定された優先度の高い動き情報に対応する参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、復号化処理が優先度の高い動き情報に従って実行されることが確保され得る。
【０１８８】
Ｃ．現在の画像ブロックが属する画像の解像度
【０１８９】
異なる画像解像度は、デコーダ側のハードウェアの異なる要件を有する。たとえば、比較的高い解像度を有する画像では、画像の復号化を実装するために、比較的高い性能、たとえば、比較的高いメモリ帯域幅、を有するハードウェアを構成することが通常は必要とされる。したがって、記憶され得る位置範囲のサイズは、現在の画像ブロックが属する画像の解像度に従って判定され、すなわち、解像度がより高い場合、位置範囲はより大きい。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補画像ブロック及び候補画像ブロックを指す動き情報が、判定され得る。
【０１９０】
位置範囲が、使用可能なメモリ帯域幅及び現在の画像ブロックが属する画像の解像度（又は、デコーダ側のハードウェア性能）に従って判定される場合、その位置範囲は、以下の方式で判定することができる。すなわち、
現在の画像内の現在の画像ブロックの座標が（ｃｕｒ＿ｘ，ｃｕｒ＿ｙ）であり、そのサイズが（ｂｌｋ＿ｘ）×（ｂｌｋ＿ｙ）画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がｘによって示され、動きベクトルの垂直構成要素がｙによって示されると仮定すると、その参照画像において、ＭＶ＃Ａは｛ＭＶ＃Ａ＿ｘ，ＭＶ＃Ａ＿ｙ｝として記述することができ、ＭＶ＃Ｂは｛ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｂ＿ｙ｝として記述することができ、ＭＶ＃Ｃは｛ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｃ＿ｙ｝として記述することができ、ＭＶ＃Ｄは｛ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｄ＿ｙ｝として記述することができ、そして、ＭＶ＃Ｔは｛ＭＶ＃Ｔ＿ｘ，ＭＶ＃Ｔ＿ｙ｝として記述することができる。
【０１９１】
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δｘ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく、
目標画像ブロックに関する水平方向における最大変位Δｘ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく
目標画像ブロックに関する垂直方向における最小変位Δｙ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δｙ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しい。
【０１９２】
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、（ｃｕｒ＿ｘ＋ｍａｘ（−Ωｘ＿ｍｉｎ，Δ＿ｘ＿ｍｉｎ），ｃｕｒ＿ｙ＋ｍａｘ（−Ωｙ＿ｍｉｎ，Δ＿ｙ＿ｍｉｎ））であり、そして、
矩形領域の右下角の画素の座標は、（ｃｕｒ＿ｘ＋ｂｌｋ＿ｘ＋ｍｉｎ（Ωｘ＿ｍａｘ，Δｘ＿ｍａｘ），ｃｕｒ＿ｙ＋ｂｌｋ＿ｙ＋ｍｉｎ（Ωｙ＿ｍａｘ，Δｙ＿ｍａｘ）であり、
但し、Ωｘ＿ｍｉｎ、Ωｘ＿ｍａｘ、Ωｙ＿ｍｉｎ、及びΩｙ＿ｍａｘの値は、使用可能なメモリ帯域幅又はデコーダのハードウェア性能に従って判定され得る。
【０１９３】
任意選択で、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
第２のインデックス情報を目標データストリームから取得するステップであって、第２のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用されるステップと、
第２のインデックス情報に従って参照画像において位置範囲を判定するステップと
を含む。
【０１９４】
具体的に、本発明の本実施形態では、エンコーダ側は、生成されたデータストリームに参照画像内の位置範囲の位置及び範囲（又は、カバーされる画素）を示すための情報、すなわち、第２のインデックス情報、を追加することができる。したがって、デコーダ側は、データストリームから第２のインデックス情報を取得し、第２のインデックス情報に従って参照画像内の位置範囲を直接判定する。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
【０１９５】
たとえば限定ではなくて、本発明の本実施形態では、第２のインデックス情報は、Ωｘ＿ｍｉｎ、Ωｘ＿ｍａｘ、Ωｙ＿ｍｉｎ、及びΩｙ＿ｍａｘの前述の値でもよい。加えて、第２のインデックス情報は、適切な構文要素を使用することによって、そのデータストリームの異なる位置で識別することができ、たとえば、ピクチャパラメータセット（ＰＰＳ、Ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）又はスライスヘッダ（ｓｌｉｃｅ  ｈｅａｄｅｒ）において識別され得る。ピクチャパラメータセット又はスライスヘッダがデータストリームにおいて出現する頻度は比較的低いので、これらの位置でのΩｘ＿ｍｉｎ、Ωｘ＿ｍａｘ、Ωｙ＿ｍｉｎ、及びΩｙ＿ｍａｘの前述の値の識別によってもたらされる余分な帯域幅の効果は、ほとんど無視することができる。
【０１９６】
位置範囲が前述のように判定された後、その位置範囲内の各画素の情報（画素値など）は、読み取り、メモリに記憶することができる。
【０１９７】
加えて、位置範囲が、１つのみの完全な参照画像ブロック（すなわち、候補画像ブロック）をカバーし得るとき、復号化処理が、候補参照画像ブロック及び候補参照画像ブロックに対応する動き情報を直接使用することによって、現在のブロックで実行され得る。
【０１９８】
位置範囲が、２つより多い完全な参照画像ブロック（すなわち、候補画像ブロック）をカバーし得るとき、最適動き情報は、記憶された位置範囲（具体的には、位置範囲内の画素）に従って、それらの２つより多い候補画像ブロックに対応する動き情報から判定され得る。
【０１９９】
すなわち、任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行するステップは、
動き情報から候補動き情報を判定するステップと、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って目標データストリームで復号化処理を実行するステップと
を含む。
【０２００】
具体的に、前述の判定される位置範囲は２つより多い参照画像ブロックをカバーするので、各候補動き情報に対応する候補参照画像ブロック（具体的には、各参照画像ブロックの画素の情報）は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報が、候補動き情報から判定され得る。たとえば、評価が、候補動き情報に対応する画素の情報に基づいて及び所定の基準を適用することによって実行されて、各候補動き情報に対応する評価値を取得することができ、そして、最小評価値を有する候補動き情報が、最適動き情報、すなわち、現在の画像ブロックで復号化処理（たとえば、動き補償処理）を実行するための動き情報、として選択される。
【０２０１】
次いで、デコーダ側は、現在の画像ブロックで再構成を実装するために、最適動き情報を使用してデータストリームの動き補償復号化動作などの処理を実行することができる。本明細書において、最適動き情報による現在の画像ブロックの復号化処理をデコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は、本明細書では省略される。
【０２０２】
本発明の本実施形態における画像処理方法によれば、位置範囲は、その位置範囲が少なくとも１つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、その少なくとも１つの動き情報から判定され得る。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
【０２０３】
前述では、図１から図４を参照して本発明の実施形態による画像処理方法を詳細に説明したが、以下では、図５及び図６を参照して本発明の実施形態による画像処理装置を詳細に説明する。
【０２０４】
図５は、本発明の一実施形態による画像処理装置３００の概略的ブロック図である。図５に示すように、装置３００は、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するように構成された、取得ユニット３１０であって、Ｎ個の隣接画像ブロックがＮ個の動き情報と１対１で対応し、Ｎ個の動き情報が現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報がＮ個の参照画像ブロックと１対１で対応する、取得ユニット３１０と、
Ｎ個の動き情報のうちの少なくとも１つの情報である候補動き情報を事前設定ルールに従ってＮ個の動き情報から判定し、候補動き情報に従って記憶されるべき画素の位置範囲を参照画像において判定するように構成された、判定ユニット３２０であって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、候補動き情報が候補参照画像ブロックに対応する動き情報である、判定ユニット３２０と、
位置範囲内のすべての画素を記憶するように構成された、記憶ユニット３３０と、
記憶ユニット３３０から位置範囲内の画素を読み取るように及び位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成された、処理ユニット３４０と
を含む。
【０２０５】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
処理ユニット３４０は、具体的に、候補参照画像ブロックを取得するために、候補動き情報に従って記憶ユニット３３０から位置範囲内の画素を読み取るように、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するように、及び、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するように構成される。
【０２０６】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【０２０７】
任意選択で、判定ユニット３２０は、具体的に、使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成され、その属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【０２０８】
任意選択で、処理ユニット３４０は、具体的に、記憶ユニット３３０から位置範囲内の画素を読み取るように及び位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは第１のインデックス情報を含み、第１のインデックス情報は候補動き情報を示すために使用される。
【０２０９】
任意選択で、処理ユニット３４０は、具体的に、記憶ユニット３３０から位置範囲内の画素を読み取るように及び位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは第２のインデックス情報を含み、第２のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
【０２１０】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【０２１１】
本発明の本実施形態による画像処理装置３００は、本発明の本実施形態の方法におけるエンコーダ側に対応することができ、そして、画像処理装置３００の各ユニット、すなわち各モジュール、の前述の及び他の動作及び／又は機能は、図１の方法１００の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
【０２１２】
本発明の本実施形態における画像処理装置によれば、位置範囲は、その位置範囲が少なくとも１つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、その少なくとも１つの動き情報から判定され得る。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
【０２１３】
図７は、本発明の一実施形態による画像処理装置４００の概略的ブロック図である。図７に示すように、装置４００は、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するように構成された、取得ユニット４１０であって、Ｎ個の隣接画像ブロックがＮ個の動き情報と１対１で対応し、Ｎ個の動き情報が現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報がＮ個の参照画像ブロックと１対１で対応する、取得ユニット４１０と、
記憶されるべき画素の位置範囲を参照画像内で判定するように構成された、判定ユニット４２０であって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックである、判定ユニット４２０と、
位置範囲内のすべての画素を記憶するように構成された、記憶ユニット４３０と、
動き情報のうちの候補動き情報に従って記憶ユニット４３０から位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成するように構成された、処理ユニット４４０であって、候補動き情報が候補参照画像ブロックに対応する動き情報である、処理ユニット４４０と
を含む。
【０２１４】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
判定ユニット４２０はさらに、動き情報から候補動き情報を判定するように構成され、そして、
処理ユニット４４０は、具体的に、判定ユニット４２０から候補動き情報を取得し、その候補動き情報に従って位置範囲内の画素を読み取って、候補参照画像ブロックを取得し、候補参照画像ブロックに従って候補動き情報から最適動き情報を判定し、その最適動き情報に従って目標データストリームで復号化処理を実行するように構成される。
【０２１５】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【０２１６】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【０２１７】
任意選択で、判定ユニット４２０は、具体的に、動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成される。
【０２１８】
任意選択で、判定ユニット４２０は、具体的に、使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定するように構成され、属性情報は
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【０２１９】
任意選択で、判定ユニット４２０は、具体的に、目標データストリームから第１のインデックス情報を取得し、第１のインデックス情報に従って動き情報から候補動き情報を判定するように構成され、第１のインデックス情報は、候補動き情報を示すために使用される。
【０２２０】
任意選択で、判定ユニット４２０は、具体的に、目標データストリームから第２のインデックス情報を取得し、第２のインデックス情報に従って参照画像内で位置範囲を判定するように構成され、第２のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
【０２２１】
本発明の本実施形態による画像処理装置４００は、本発明の実施形態の方法におけるデコーダ側に対応し、画像処理装置４００の各ユニット、すなわち各モジュール、の前述の及び他の動作及び／又は機能は、図４の方法２００の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
【０２２２】
本発明の本実施形態における画像処理装置によれば、位置範囲は、その位置範囲が少なくとも１つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも１つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
【０２２３】
前述では、図１から図４を参照して本発明の実施形態による画像処理方法を詳細に説明したが、以下では、図７及び図８を参照して本発明の実施形態による画像処理エンコーダ及びデコーダを詳細に説明する。
【０２２４】
図７は、本発明の一実施形態による画像処理エンコーダ５００の概略的ブロック図である。図７に示すように、エンコーダ５００は、
バス５１０と、
そのバスに接続されたプロセッサ５２０と、
そのバスに接続されたメモリ５３０と
を含むことができ、ここで、
プロセッサ５２０は、メモリ５３０に記憶されたプログラムをバス５１０を使用することによって呼び出して、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得することであって、Ｎ個の隣接画像ブロックはＮ個の動き情報と１対１で対応し、Ｎ個の動き情報は現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報がＮ個の参照画像ブロックと１対１で対応する、取得すること
Ｎ個の動き情報のうちの少なくとも１つの情報である候補動き情報を事前設定ルールに従ってＮ個の動き情報から判定し、その候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定し、位置範囲内のすべての画素を記憶するようにメモリ５３０を制御することであって、位置範囲は候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックはＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、候補動き情報は候補参照画像ブロックに対応する動き情報である、制御すること、及び、
メモリ５３０から位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成すること
を行うように構成される。
【０２２５】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
プロセッサ５２０は、具体的に、候補参照画像ブロックを取得するために、候補動き情報に従ってメモリ５３０から位置範囲内の画素を読み取ること、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定すること、及び、
最適動き情報に従って現在の画像ブロックで符号化処理を実行こと
を行うように構成される。
【０２２６】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【０２２７】
任意選択で、プロセッサ５２０は、具体的に、メモリ５３０の使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成され、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【０２２８】
任意選択で、プロセッサ５２０は、具体的に、メモリ５３０から位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、目標データストリームは第１のインデックス情報を含み、第１のインデックス情報は候補動き情報を示すために使用される。
【０２２９】
任意選択で、プロセッサ５２０は、具体的に、メモリ５３０から位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、目標データストリームは第２のインデックス情報を含み、第２のインデックス情報は参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
【０２３０】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【０２３１】
本発明の本実施形態では、デバイス５００の構成要素は、バス５１０を使用することによって、ともに結合される。バス５１０は、データバスに加えて、電力バス、制御バス、及びステータス信号バスを含む。しかし、明確な説明のために、様々なタイプのバスは、図中でバス５１０として示される。
【０２３２】
プロセッサ５２０は、本発明の本方法の実施形態で開示されるステップ及び論理ブロック図を実装又は実行することができる。プロセッサ５２０は、マイクロプロセッサでもよく、又は、そのプロセッサは、従来のプロセッサ、デコーダなどでもよい。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、復号化プロセッサにおいてハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。そのソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。記憶媒体はメモリ５３０内に置かれ、プロセッサはメモリ５３０内の情報を読み取り、そのプロセッサのハードウェアと組み合わせて前述の方法のステップを完了する。
【０２３３】
本発明の本実施形態では、プロセッサ５２０は、中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、  略して「ＣＰＵ」）でもよく、又は、プロセッサ５２０は、別の汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は別のプログラマブル論理デバイス、離散的ゲート又はトランジスタ論理デバイス、離散的ハードウェア構成要素などでもよいことを理解されたい。その汎用プロセッサは、マイクロプロセッサでもよく、又は、そのプロセッサは、任意の従来のプロセッサなどでもよい。
【０２３４】
メモリ５３０は、読取り専用メモリ及びランダムアクセスメモリを含むことができ、プロセッサ５２０に命令及びデータを提供することができる。メモリ５３０の一部はさらに、不揮発性ランダムアクセスメモリを含み得る。たとえば、メモリ５３０はさらに、デバイスタイプ情報を記憶することができる。
【０２３５】
一実装プロセスで、前述の方法のステップが、プロセッサ５２０内のハードウェアの集積論理回路によって、又はソフトウェア形式の命令によって、実行され得る。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、プロセッサ内のハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。そのソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。
【０２３６】
本発明の本実施形態による画像処理エンコーダ５００は、本発明の実施形態の本方法におけるエンコーダ側に対応することができ、そして、画像処理エンコーダ５００の各ユニット、すなわち各モジュール、の前述の及び他の動作及び／又は機能は、図１の方法１００の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
【０２３７】
本発明の本実施形態における画像処理エンコーダによれば、位置範囲は、その位置範囲が少なくとも１つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、その少なくとも１つの動き情報から判定され得る。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
【０２３８】
図８は、本発明の一実施形態による画像処理デコーダ６００の概略的ブロック図である。図９に示すように、デコーダ６００は、
バス６１０と、
そのバスに接続されたプロセッサ６２０と、
そのバスに接続されたメモリ６３０と
を含むことができ、ここで、
プロセッサ６２０は、メモリ６３０に記憶されたプログラムをバス６１０を使用することによって呼び出して、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得することであって、Ｎ個の隣接画像ブロックは、Ｎ個の動き情報と１対１で対応し、Ｎ個の動き情報は、現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報は、Ｎ個の参照画像ブロックと１対１で対応する、取得すること、
記憶されるべき画素の位置範囲を参照画像内で判定し、その位置範囲内のすべての画素を記憶するようにメモリ６３０を制御することであって、位置範囲は候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックはＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックである、制御すること、及び、
動き情報のうちの候補動き情報に従ってメモリ６３０からその位置範囲内の画素を読み取り、その位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成することであって、候補動き情報は、候補参照画像ブロックに対応する動き情報である、再構成すること
を行うように構成される。
【０２３９】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
プロセッサ６２０は、具体的に、動き情報から候補動き情報を判定すること、
候補動き情報に従ってメモリ６３０から位置範囲内の画素を読み取って候補参照画像ブロックを取得すること、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定すること、及び、
最適動き情報に従って目標データストリームで復号化処理を実行すること
を行うように構成される。
【０２４０】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【０２４１】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【０２４２】
任意選択で、プロセッサ６２０は、具体的に、動き情報から候補動き情報を判定すること、及び、
候補動き情報に従って参照画像内で位置範囲を判定すること
を行うように構成される。
【０２４３】
任意選択で、プロセッサ６２０は、具体的に、メモリ６３０の使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従って動き情報から候補動き情報を判定するように構成され、ここで、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【０２４４】
任意選択で、プロセッサ６２０は、具体的に、候補動き情報を示すために使用される第１のインデックス情報を目標データストリームから取得すること、及び
第１のインデックス情報に従って動き情報から候補動き情報を判定すること
を行うように構成される。
【０２４５】
任意選択で、プロセッサ６２０は、具体的に、参照画像内の位置範囲の位置及び対象範囲を示すために使用される第２のインデックス情報を目標データストリームから取得すること、及び、
第２のインデックス情報に従って参照画像内で位置範囲を判定すること
を行うように構成される。
【０２４６】
本発明の本実施形態では、デバイス６００の構成要素は、バス６１０を使用することによって、ともに結合される。バス６１０は、データバスに加えて、電力バス、制御バス、及びステータス信号バスを含む。しかし、明確な説明のために、様々なタイプのバスは、図中でバス６１０として示される。
【０２４７】
プロセッサ６２０は、本発明の本方法の実施形態で開示されるステップ及び論理ブロック図を実装又は実行することができる。プロセッサ６２０は、マイクロプロセッサでもよく、又は、そのプロセッサは、従来のプロセッサ、デコーダなどでもよい。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、復号化プロセッサにおいてハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。そのソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。その記憶媒体はメモリ６３０内に置かれ、プロセッサはメモリ６３０内の情報を読み取り、プロセッサのハードウェアと組み合わせて前述の方法のステップを完了する。
【０２４８】
本発明の本実施形態では、プロセッサ６２０は、中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、略して「ＣＰＵ」）でもよく、或いは、プロセッサ６２０は、別の汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は別のプログラマブル論理デバイス、離散的ゲート又はトランジスタ論理デバイス、離散的ハードウェア構成要素などでもよい。汎用プロセッサは、マイクロプロセッサでもよく、又は、プロセッサは任意の従来のプロセッサなどでもよいことを理解されたい。
【０２４９】
メモリ６３０は、読取り専用メモリ及びランダムアクセスメモリを含み、命令及びデータをプロセッサ６２０に提供することができる。メモリ６３０の一部はさらに、不揮発性ランダムアクセスメモリを含み得る。たとえば、メモリ６３０はさらに、デバイスタイプ情報を記憶することができる。
【０２５０】
一実装プロセスで、前述の方法のステップは、プロセッサ６２０内のハードウェアの集積論理回路によって又はソフトウェア形式の命令によって実行され得る。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、プロセッサ内のハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。
【０２５１】
本発明の実施形態において画像処理エンコーダ６００は、本発明の実施形態の本方法におけるエンコーダ側に対応することができ、そして、画像処理エンコーダ６００の各ユニット、すなわち各モジュール、の前述の及び他の動作及び／又は機能は、図４の方法２００の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
【０２５２】
本発明の本実施形態における画像処理エンコーダによれば、位置範囲は、その位置範囲が少なくとも１つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも１つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
【０２５３】
本発明の実施形態では、エンコーダ側及びデコーダ側が、同じルールを使用することによって、位置範囲と、符号化及び復号化処理のために使用される動きベクトルとを前もって判定する場合、エンコーダ側及びデコーダ側が位置範囲を判定する方式（すなわち、判定された位置範囲がすべての又はいくつかの参照画像ブロックをカバーする場合）が一致することが確保される必要があることに留意されたい。具体的には、判定された位置範囲がいくつかの参照画像ブロックをカバーする場合、エンコーダ側によって判定される位置範囲によってカバーされる画像ブロックが、デコーダ側によって判定される位置範囲によってカバーされる画像ブロックと一致することが確保されることが必要とされる。
【０２５４】
加えて、前述の説明では、位置範囲が参照画像内の矩形範囲である実施形態が列挙されたが、本発明はそれに限定されない。位置範囲の形は、その位置範囲が候補参照画像ブロックをカバーし得ることが確保され得る限り、任意で設定することができ、本発明で具体的に限定されない。
【０２５５】
前述のプロセスのシーケンス番号は、本発明の様々な実施形態における実行順序を意味しないことを理解されたい。プロセスの実行順序は、プロセスの機能及び内部ロジックに従って判定されるべきであり、本発明の実施形態の実装プロセスの制限として解釈されるべきではない。
【０２５６】
加えて、メモリ帯域幅は、単位時間内のメモリのメモリ空間アクセスの時間の量を評価するための指標である。
【０２５７】
本明細書で開示される実施形態で説明される例と組み合わせて、ユニット及びアルゴリズムステップが、電子ハードウェア或いはコンピュータソフトウェア及び電子ハードウェアの組合せによって実装され得ることが、当業者には理解され得る。機能がハードウェアによって実行されるかソフトウェアによって実行されるかは、本技術的解決法の個々の適用例及び設計制約条件に応じて決まる。当業者は、異なる方法を使用して各特定の適用例のために記載された機能を実装し得るが、その実装が本発明の範囲を超えると考えられるべきではない。
【０２５８】
前述のシステム、装置、及びユニットの詳細な動作プロセスについて、便利及び簡潔な説明を目的として、前述の方法の実施形態における対応するプロセスが参照され得ることを当業者は明確に理解することができ、詳細は本明細書で再度説明はされない。
【０２５９】
本願で提供されるいくつかの実施形態では、開示されるシステム、装置、及び方法は他の方式でも実装され得ることを理解されたい。たとえば、記載された装置実施形態は、単に例示である。たとえば、ユニット分割は、単に論理的機能分割であり、実際の実装形態では他の分割でもよい。たとえば、複数のユニット又は構成要素は、別のシステムに結合又は統合することができ、或いは、いくつかの特徴は、省略しても又は実行しなくてもよい。加えて、表示された又は論じられた相互結合若しくは直接結合又は通信接続は、いくつかのインターフェースを使用することによって、実装することができる。装置又はユニット間の間接結合又は通信接続が、電子的、機械的、又は他の形で実装され得る。
【０２６０】
別個の部分として説明されたユニットは、物理的に別個であってもなくてもよく、ユニットとして表示された部分は、物理ユニットであってもなくてもよく、１か所に置かれてもよく、又は、複数のネットワークユニットで分散されてもよい。ユニットのうちのいくつか又はすべては、実施形態の解決法の目的を達成するための実際のニーズに従って、選択することができる。
【０２６１】
加えて、本発明の実施形態における機能ユニットは、１つの処理ユニットに統合してもよく、又は、各々のユニットが物理的に離れて存在してもよく、又は、２つ以上のユニットが１つのユニットに統合される。
【０２６２】
機能がソフトウェア機能ユニットの形で実装され、独立した製品として販売又は使用されるとき、それらの機能は、コンピュータ可読記憶媒体に記憶され得る。そのような理解に基づいて、基本的に本発明の技術的解決法、又は先行技術に寄与する部分、又は本技術的解決法の一部は、ソフトウェア製品の形で実装することができる。コンピュータソフトウェア製品は、記憶媒体に記憶され、本発明の実施形態で説明される本方法のステップのすべて又は一部を実行するようにコンピュータデバイス（パーソナルコンピュータ、サーバ、ネットワークデバイスなどでもよい）に命令するためのいくつかの命令を含む。前述の記憶媒体は、ＵＳＢフラッシュドライブ、取外し可能ハードディスク、読取り専用メモリ（ＲＯＭ、Ｒｅａｄ−ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気ディスク、又は光ディスクなど、プログラムコードを記憶することができる任意の媒体を含む。
【０２６３】
前述の説明は単に、本発明の特定の実装方式であるが、本発明の保護範囲を限定するものではない。本発明で開示される技術的範囲内で当業者によって容易に考え出される任意の変更又は置換は、本発明の保護範囲内にあるものとする。したがって、本発明の保護範囲は、本特許請求の範囲の保護範囲によるものとする。
【図１】
2017505021.tif 000003
【図２ａ】
2017505021.tif 000004
【図２ｂ】
2017505021.tif 000005
【図３ａ】
2017505021.tif 000006
【図３ｂ】
2017505021.tif 000007
【図４】
2017505021.tif 000008
【図５】
2017505021.tif 000009
【図６】
2017505021.tif 000010
【図７】
2017505021.tif 000011
【図８】
2017505021.tif 000012
【手続補正書】
【提出日】平成28年7月29日(2016.7.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、参照により本明細書にその全部が組み込まれている、２０１３年１２月１３日に中国特許庁に出願した、中国特許出願第２０１３１０６８９００２．１号、表題「ＩＭＡＧＥ  ＰＲＯＣＥＳＳＩＮＧ  ＭＥＴＨＯＤ  ＡＮＤ  ＡＰＰＡＲＴＵＳ」の優先権を主張するものである。
【０００２】
本発明は、ビデオ処理の分野に関し、より詳細には、画像処理方法及び装置に関する。
【背景技術】
【０００３】
インターネットの急速な発展と人々の益々豊かになる物質的及び精神的文化に伴い、インターネット上のビデオのアプリケーション需要、特に高解像度ビデオのアプリケーション需要、は増加している。しかし、高解像度ビデオのデータ量は非常に大きく、限られた帯域幅を有するインターネットで高解像度ビデオを送信するために、高解像度ビデオ圧縮符号化及び復号化の問題は、先ず解決される必要のある問題である。
【０００４】
現在、複数の動き情報が隣接画像ブロックから取得され、１つの最適動き情報が取得された複数の動き情報から選択され、動き補償が最適動き情報を使用することによって現在のコーディングブロックで実行される、符号化及び復号化技術が存在する。前述の隣接画像ブロックは、時間的に隣接する画像ブロック又は空間的に隣接する画像ブロックでもよいことに留意されたい。空間的に隣接する画像ブロックは、現在処理される画像ブロックと同じ画像（たとえば、同じビデオフレーム）内の符号化又は復号される画像ブロックであり、時間的に近隣のブロックは、現在処理される画像ブロックの時間領域参照画像（たとえば、順方向参照フレーム又は逆方向参照フレーム）内の対応する符号化又は復号される画像ブロックである。したがって、隣接画像ブロックの動き情報は、現在のコーディングブロックの動き情報をデータストリームに明示的に書き込むことなしに現在処理される画像ブロックの動き情報を判定するために効果的に使用され得る。
【０００５】
しかし、取得された複数の動き情報から１つの最適動き情報を選択する前述のプロセスでは、参照画像（参照画像ブロックとも呼ばれる）内にある及び各動き情報に対応する画素ブロック（又は、各動き情報が指す画素ブロック）に基づいて計算を実行することが必要とされる。したがって、参照画像から、各動き情報が指す参照画像ブロックを読み取り、前述の最適動き情報の計算に使用するためにメモリに参照画像ブロックを記憶することが必要とされる。
【０００６】
具体的には、比較的大量の候補動きベクトルが存在するとき、比較的大量の参照画像ブロックを記憶することが必要とされる。結果として、より高い要件がメモリ帯域幅に課され、システム費用は増える。
【０００７】
したがって、メモリ帯域幅の要件を低減することができる技術を提供することが求められている。
【発明の概要】
【０００８】
本発明の実施形態は、メモリ帯域幅の要件を低減することができる画像処理方法及び装置を提供する。
【０００９】
第１の態様によれば、画像処理方法が提供され、本方法は、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するステップであって、Ｎ個の隣接画像ブロックがＮ個の動き情報と１対１で対応し、Ｎ個の動き情報が現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報がＮ個の参照画像ブロックと１対１で対応する、ステップと、
事前設定ルールに従ってＮ個の動き情報から候補動き情報を判定するステップであって、候補動き情報が、Ｎ個の動き情報のうちの少なくとも１つの情報である、ステップと、
その候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップと、
その位置範囲内のすべての画素を記憶するステップであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、候補参照画像ブロックが候補動き情報に対応する画像ブロックである、ステップと、
その位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップと
を含む。
【００１０】
第１の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行するステップは、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するステップと
を含む。
【００１１】
第１の態様及び第１の可能な実装方式を参照して、第２の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【００１２】
第１の態様、第１の可能な実装方式、及び第２の可能な実装方式を参照して、第３の可能な実装方式では、事前設定ルールに従ってＮ個の動き情報から候補動き情報を判定するステップは、
使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従ってＮ個の動き情報から候補動き情報を判定するステップ
を含み、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【００１３】
第１の態様、第１の可能な実装方式、第２の可能な実装方式、及び第３の可能な実装方式を参照して、第４の可能な実装方式では、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、その目標データストリームが第１のインデックス情報を含み、第１のインデックス情報が候補動き情報を示すために使用される、ステップ
を含む。
【００１４】
第１の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、及び第４の可能な実装方式を参照して、第５の可能な実装方式では、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第２のインデックス情報を含み、第２のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用される、ステップ
を含む。
【００１５】
第１の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、第４の可能な実装方式、及び第５の可能な実装方式を参照して、第６の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【００１６】
第２の態様によれば、画像処理方法が提供され、本方法は、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するステップであって、Ｎ個の隣接画像ブロックがＮ個の動き情報と１対１で対応し、Ｎ個の動き情報が現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報がＮ個の参照画像ブロックと１対１で対応する、ステップと、
記憶されるべき画素の位置範囲を参照画像内で判定し、その位置範囲内のすべての画素を記憶するステップであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックである、ステップと、
その動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成するステップであって、候補動き情報が、候補参照画像ブロックに対応する動き情報である、ステップと
を含む。
【００１７】
第１の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、その位置範囲内の画素に従って目標データストリームで復号化処理を実行するステップは、
Ｎ個の動き情報から候補動き情報を判定するステップと、
その候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って目標データストリームで復号化処理を実行するステップと
を含む。
【００１８】
第２の態様及び第１の可能な実装方式を参照して、第２の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【００１９】
第２の態様、第１の可能な実装方式、及び第２の可能な実装方式を参照して、第３の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【００２０】
第２の態様、第１の可能な実装方式、第２の可能な実装方式、及び第３の可能な実装方式を参照して、第４の可能な実装方式では、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
Ｎ個の動き情報から候補動き情報を判定するステップと、
候補動き情報に従って参照画像内で位置範囲を判定するステップと
を含む。
【００２１】
第２の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、及び第４の可能な実装方式を参照して、第５の可能な実装方式では、Ｎ個の動き情報から候補動き情報を判定するステップは、
使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従ってＮ個の動き情報から候補動き情報を判定するステップ
を含み、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【００２２】
第２の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、第４の可能な実装方式、及び第５の可能な実装方式を参照して、第６の可能な実装方式では、Ｎ個の動き情報から候補動き情報を判定するステップは、
第１のインデックス情報を目標データストリームから取得するステップであって、第１のインデックス情報が候補動き情報を示すために使用されるステップと、
第１のインデックス情報に従ってＮ個の動き情報から候補動き情報を判定するステップと
を含む。
【００２３】
第２の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、第４の可能な実装方式、第５の可能な実装方式、及び第６の可能な実装方式を参照して、第７の可能な実装方式では、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
第２のインデックス情報を目標データストリームから取得するステップであって、第２のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用される、ステップと、
第２のインデックス情報に従って参照画像において位置範囲を判定するステップと
を含む。
【００２４】
第３の態様によれば、画像処理装置が提供され、その装置は、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するように構成された取得ユニットであって、Ｎ個の隣接画像ブロックがＮ個の動き情報と１対１で対応し、Ｎ個の動き情報が現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報がＮ個の参照画像ブロックと１対１で対応する、取得ユニットと、
事前設定ルールに従ってＮ個の動き情報からそのＮ個の動き情報のうちの少なくとも１つの情報である候補動き情報を判定し、その候補動き情報に従って記憶されるべき画素の位置範囲を参照画像内で判定するように構成された判定ユニットであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、候補動き情報が候補参照画像ブロックに対応する動き情報である、判定ユニットと、
位置範囲内のすべての画素を記憶するように構成された記憶ユニットと、
記憶ユニットから位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成された、処理ユニットと
を含む。
【００２５】
第１の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、処理ユニットは、具体的に、候補動き情報に従って記憶ユニットから位置範囲内の画素を読み取って候補参照画像ブロックを取得し、候補参照画像ブロックに従って候補動き情報から最適動き情報を判定し、最適動き情報に従って現在の画像ブロックで符号化処理を実行するように構成される。
【００２６】
第３の態様及び第１の可能な実装方式を参照して、第２の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【００２７】
第３の態様、第１の可能な実装方式、及び第２の可能な実装方式を参照して、第３の可能な実装方式では、判定ユニットは、具体的に、使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従ってＮ個の動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成され、その属性情報は、現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイルのパラメータのうちの少なくとも１つを示すために使用される。
【００２８】
第３の態様、第１の可能な実装方式、第２の可能な実装方式、及び第３の可能な実装方式を参照して、第４の可能な実装方式では、処理ユニットは、具体的に、記憶ユニットから位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは第１のインデックス情報を含み、第１のインデックス情報は候補動き情報を示すために使用される。
【００２９】
第３の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、及び第４の可能な実装方式を参照して、第５の可能な実装方式では、処理ユニットは、具体的に、記憶ユニットから位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは、第２のインデックス情報を含み、第２のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
【００３０】
第３の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、第４の可能な実装方式、及び第５の可能な実装方式を参照して、第６の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【００３１】
第４の態様によれば、画像処理装置が提供され、その装置は、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するように構成された取得ユニットであって、Ｎ個の隣接画像ブロックがＮ個の動き情報と１対１で対応し、Ｎ個の動き情報が現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報がＮ個の参照画像ブロックと１対１で対応する、取得ユニットと、
記憶されるべき画素の位置範囲を参照画像内で判定するように構成された判定ユニットであって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックである、判定ユニットと、
位置範囲内のすべての画素を記憶するように構成された記憶ユニットと、
動き情報のうちの候補動き情報に従って記憶ユニットから位置範囲内の画素を読み取り、その位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成するように構成された処理ユニットであって、候補動き情報が候補参照画像ブロックに対応する動き情報である、処理ユニットと
を含む。
【００３２】
第１の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、判定ユニットはさらに、Ｎ個の動き情報から候補動き情報を判定するように構成され、そして、処理ユニットは、具体的に、判定ユニットから候補動き情報を取得し、候補動き情報に従って位置範囲内の画素を読み取って、候補参照画像ブロックを取得し、候補参照画像ブロックに従って候補動き情報から最適動き情報を判定し、最適動き情報に従って目標データストリームで復号化処理を実行するように構成される。
【００３３】
第４の態様及び第１の可能な実装方式を参照して、第２の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【００３４】
第４の態様、第１の可能な実装方式、及び第２の可能な実装方式を参照して、第３の可能な実装方式では、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【００３５】
第４の態様、第１の可能な実装方式、第２の可能な実装方式、及び第３の可能な実装方式を参照して、第４の可能な実装方式では、判定ユニットは、具体的に、Ｎ個の動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成される。
【００３６】
第４の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、及び第４の可能な実装方式を参照して、第５の可能な実装方式では、判定ユニットは、具体的に、使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従ってＮ個の動き情報から候補動き情報を判定するように構成され、その属性情報は、現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイルのパラメータのうちの少なくとも１つを示すために使用される。
【００３７】
第４の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、第４の可能な実装方式、及び第５の可能な実装方式を参照して、第６の可能な実装方式では、判定ユニットは、具体的に、目標データストリームから第１のインデックス情報を取得し、第１のインデックス情報に従ってＮ個の動き情報から候補動き情報を判定するように構成され、第１のインデックス情報は候補動き情報を示すために使用される。
【００３８】
第４の態様、第１の可能な実装方式、第２の可能な実装方式、第３の可能な実装方式、第４の可能な実装方式、第５の可能な実装方式、及び第６の可能な実装方式を参照して、第７の可能な実装方式では、判定ユニットは、具体的に、目標データストリームから第２のインデックス情報を取得し、第２のインデックス情報に従って参照画像内で位置範囲を判定するように構成され、第２のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
【００３９】
本発明の実施形態における画像処理方法及び装置によれば、位置範囲が少なくとも１つの動き情報に対応する画素をカバーするように、位置範囲は参照画像内で判定され、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも１つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
【図面の簡単な説明】
【００４０】
本発明の実施形態における技術的解決法をより明確に説明するために、本発明の実施形態を説明するために必要とされる添付の図面を以下に簡単に紹介する。明らかに、以下の説明にある添付の図面は、本発明のいくつかの実施形態を単に示し、当業者は、創造的努力なしにこれらの添付の図面から他の図面をさらに導出し得る。
【００４１】
【図１】本発明の一実施形態による画像処理方法の概略的流れ図である。
【図２ａ】現在の画像ブロックに空間的に隣接する隣接画像ブロックの概略図である。
【図２ｂ】現在の画像ブロックに時間的に隣接する隣接画像ブロックの概略図である。
【図３ａ】本発明の一実施形態の画像処理方法に従って判定される位置範囲の一例の概略図である。
【図３ｂ】本発明の一実施形態の画像処理方法に従って判定される位置範囲のもう１つの例の概略図である。
【図４】本発明のもう１つの実施形態による画像処理方法の概略的流れ図である。
【図５】本発明の一実施形態による画像処理装置の概略的ブロック図である。
【図６】本発明のもう１つの実施形態による画像処理装置の概略的ブロック図である。
【図７】本発明の一実施形態による画像処理エンコーダの概略的構造図である。
【図８】本発明のもう１つの実施形態による画像処理デコーダの概略的構造図である。
【発明を実施するための形態】
【００４２】
以下では、本発明の実施形態において添付の図面を参照して本発明の実施形態における技術的解決法を明確に及び完全に説明する。明らかに、説明される実施形態は、本発明の実施形態のいくつかであり、すべてではない。創造的努力なしに本発明の実施形態に基づいて当業者によって得られるすべての他の実施形態は、本発明の保護範囲内にあるものとする。
【００４３】
本発明の実施形態による画像処理方法及び装置は、複数の動き情報から最適動き情報を判定すること及びその最適動き情報に従って現在の画像ブロックで動き補償を実行することによって、現在の画像ブロックで符号化及び復号化を実装するための様々な技術、たとえば、隣接画像ブロックの動き情報を使用することによって現在処理される画像ブロックの動き情報を判定する、デコーダ側動きベクトル導出（ＤＭＶＤ：Ｄｅｃｏｒｄｅｒ−ｓｉｄｅ  ｍｏｔｉｏｎ  ｖｅｃｔｏｒ  ｄｅｒｉｖａｔｉｏｎ）技術、マージ（ＭＥＲＧＥ）技術、及び高度動きベクトル予測（ＡＭＶＰ：Ａｄｖａｎｃｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ）技術などの技術、に適用可能であり得る。理解及び説明を容易にするために、本発明の実施形態における画像処理方法及び装置がＤＭＶＤ技術に適用される例を使用することによって、以下の説明は行われる。
【００４４】
加えて、本発明の実施形態では、画像は、ビデオ内のビデオフレームでもよい。この場合、画像ブロックは、ビデオフレーム内のフレームブロックでもよい。
【００４５】
図１は、本発明の一実施形態による、エンコーダ側の視点から説明された、画像処理方法１００の概略的流れ図である。図１に示すように、方法１００は、以下を含む。
【００４６】
Ｓ１１０：現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得し、ここで、Ｎ個の隣接画像ブロックは、Ｎ個の動き情報と１対１で対応し、Ｎ個の動き情報は、現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報は、Ｎ個の参照画像ブロックと１対１で対応する。
【００４７】
Ｓ１２０：事前設定ルールに従ってＮ個の動き情報から候補動き情報を判定し、ここで、候補動き情報は、Ｎ個の動き情報のうちの少なくとも１つの情報である。
【００４８】
Ｓ１３０：候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定し、位置範囲内のすべての画素を記憶し、ここで、位置範囲は候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、候補参照画像ブロックは、候補動き情報に対応する画像ブロックである。
【００４９】
Ｓ１４０：位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成する。
【００５０】
具体的には、エンコーダ側は、Ｎ個の動き情報を取得することができ、Ｎは正の整数である。
【００５１】
本発明の本実施形態では、動き情報は、予測方向、参照画像インデックス、又は動きベクトルのうちの１つ又は複数を含むことができ、予測方向は、単方向（単方向予測）及び双方向（双方向予測）でもよく、単方向予測は順方向予測及び逆方向予測を含み得る。
【００５２】
順方向予測は、順方向参照画像ｌｉｓｔ、すなわちｌｉｓｔ（リスト）０、内の参照画像を使用することによって予測信号を生成することを示す。
【００５３】
逆方向予測は、逆方向参照画像ｌｉｓｔ、すなわちｌｉｓｔ１、で参照画像を使用することによって予測信号を生成することを示す。双方向予測は、ｌｉｓｔ０内の参照画像及びｌｉｓｔ１内の参照画像を同時に使用することによって予測信号を生成することを示す。
【００５４】
単方向予測では、参照画像インデックスが、ｌｉｓｔ０又はｌｉｓｔ１から選択された参照画像を示すために必要とされる。双方向予測では、２つの参照画像インデックスが、ｌｉｓｔ０から選択された参照画像及びｌｉｓｔ１から選択された参照画像をそれぞれ示すために必要とされる。
【００５５】
各動きベクトルは、水平方向構成要素ｘ及び垂直方向構成要素ｙを含み、（ｘ、ｙ）によって示すことができる。単方向予測では、動きベクトルが、ｌｉｓｔ０又はｌｉｓｔ１から選択された参照画像における予測信号の変位を示すために必要とされる。双方向予測では、２つの動きベクトルが、ｌｉｓｔ０から選択された参照画像及びｌｉｓｔ１から選択された参照画像内の順方向予測信号及び逆方向予測信号の変位をそれぞれ示すために必要とされる。
【００５６】
本発明の本実施形態では、動き情報は、現在の画像ブロック（すなわち、エンコーダ側の符号化されるべき画像ブロック、及び、デコーダ側では、復号される及び再構成されるべき画像ブロック）の隣接画像ブロックから取得される動き情報を示す。本発明の本実施形態では、動き情報は、空間的動き情報及び時間的動き情報を含み得る。
【００５７】
空間的動き情報は、現在の画像ブロックの空間的に隣接するブロックから取得される動き情報であり、時間的動き情報は、時間的に隣接するブロックから取得される動き情報を示す。
【００５８】
図２ａは、ＤＭＶＤ技術における空間的動き情報のソース位置（取得された位置）を示し、図２ｂは、ＤＭＶＤ技術における時間的動き情報のソース位置（取得された位置）を示す。
【００５９】
図２ａに示すように、ＤＭＶＤ技術において、空間的動き情報は、
現在の画像ブロックの左側の画像ブロックＡ（隣接するブロックの一例）の動き情報であって、以下にＭＶ＃Ａによって示される動き情報、
現在の画像ブロックの上側の画像ブロックＢ（隣接するブロックのもう１つの例）の動き情報であって、以下にＭＶ＃Ｂによって示される動き情報、
現在の画像ブロックの右上方の画像ブロックＣ（隣接するブロックのもう１つの例）の動き情報であって、以下にＭＶ＃Ｃによって示される動き情報、及び、
現在の画像ブロックの左上方の画像ブロックＤ（隣接するブロックのもう１つの例）の動き情報であって、以下にＭＶ＃Ｄによって示される動き情報
を含み得る。
【００６０】
予測方向が単方向であるとき、１つの動き情報は、参照画像内の参照ブロックを示すことができ、そして、予測方向が双方向であるとき、１つの動き情報は、順方向参照画像内の参照ブロック及び逆方向参照画像内の参照ブロックを示し得ることに留意されたい。
【００６１】
図２ｂに示すように、ＤＭＶＤ技術において、時間的動き情報は、たとえば、現在の画像ブロックに基づいてＭＶ＃Ｔ’でシフト処理を実行することによって取得される動き情報を含むことができ、動き情報は、以下にＭＶ＃Ｔによって示され、ＭＶ＃Ｔ’は、逆方向参照画像内にある及び現在の画像ブロックに対応する位置にある画像ブロックＥ（隣接するブロックのもう１つの例）の動き情報である。
【００６２】
したがって、エンコーダ側は、前述の５つの動き情報、すなわちＮ個の動き情報の一例、を含む動き情報セット（又は、動き情報ｌｉｓｔ）を取得することができ、その動き情報セットは、
｛ＭＶ＃Ａ，ＭＶ＃Ｂ，ＭＶ＃Ｃ，ＭＶ＃Ｄ，ＭＶ＃Ｔ｝
によって示される。
【００６３】
Ｎ個の動き情報を取得するための前記で説明された方法は、単に、例示的説明を目的とし、本発明はそれに限定されないことを理解されたい。異なる取得方法が、本発明において具体的に限定されない、本発明の本実施形態における画像処理方法が適用可能な技術に従って、使用され得る。
【００６４】
前述のようにＮ個の動き情報を判定した後、エンコーダ側は、参照画像から各動き情報に対応する参照画像ブロック（又は、各動き情報が指す参照画像ブロック）を判定することができる。予測方向が双方向である場合、エンコーダ側は２つの参照画像（順方向参照画像及び逆方向参照画像）から各動き情報に対応する参照画像ブロックをそれぞれ判定する必要があることに本明細書では留意されたい。理解及び説明を容易にするために、及び一般性の喪失なしに、以下の説明は、例として逆方向参照画像での処理を使用することによって行われる。
【００６５】
次いで、エンコーダ側は、符号化処理、具体的には、目標動き情報による現在の画像ブロックの動き補償処理、を実行するために、Ｎ個の動き情報から１つの動き情報（理解及び説明を容易にするために以下で目標動き情報と呼ばれる）を判定する必要がある。本プロセスは、後で詳しく説明する。
【００６６】
本発明の本実施形態では、目標動き情報は、事前設定ルールによる計算方式で計算することができ（すなわち、方式１）、或いは、目標動き情報は、現在の画像ブロックの属性及び／又はデバイス性能に従って判定することができる（すなわち、方式２）。前述の２つの場合の処理は、以下で別個に詳しく説明する。
方式１
【００６７】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【００６８】
本発明の本実施形態では、Ｎ個の動き情報のすべてが、候補動き情報として使用され得る。したがって、最適動き情報は、計算方式でＮ個の動き情報から判定することができ、最適動き情報は、前述の目標動き情報として使用される。計算プロセスにおいて、Ｎ個の動き情報（具体的には、動きベクトルが指す参照画像ブロック）に対応する参照画像（候補参照画像ブロックの一例）内の参照画像ブロックを取得することが必要とされ、計算が、参照画像ブロック（具体的には、参照画像ブロック内の画素の画素値）に基づいて実行される。
【００６９】
したがって、本発明の本実施形態では、エンコーダ側は、参照画像内の画素（すなわち、各参照画像ブロック）の位置分布を判定することができ、それらの画素は、記憶される必要があり、後の処理のために使用される。
【００７０】
前述の判定された動き情報の各々は、現在の符号化されるべきブロックの隣接する（時間的に隣接する及び／又は空間的に隣接する）画像ブロックから取得されるので、動き情報（具体的には、動きベクトル）の間に比較的強い相関関係（又は類似性）が存在する。したがって、図３ａ及び図３ｂに示すように、外面的表現は、参照画像ブロックが重複する、又は複数の参照画像ブロックが同じ位置にある画素を含むということである。
【００７１】
先行技術では、エンコーダ側は、各参照画像ブロックに基づいてＮ個の動き情報から最適動き情報を判定するために、各動き情報が指す参照画像ブロックを参照画像から別個に取得し、各参照画像ブロック（具体的には、参照画像ブロック内の画素値）をメモリ空間において独立して記憶する必要がある。したがって、デバイスのメモリ帯域幅がＮ個の参照画像ブロックの読取りに対応し得ることが必要とされ、前述の重複するエリアが複数回にわたり記憶される場合が生じ得る、すなわち、最適動き情報が判定されるとき、Ｎ個の参照画像ブロックを読み取るために、指定された時間内にＮ回の読取りを実行することが必要とされ、メモリ帯域幅の比較的高い要件を結果としてもたらす。
【００７２】
対照的に、本発明の本実施形態では、エリアの範囲が、Ｎ個の参照画像ブロックによって含まれるすべての画素をカバーし得るように、エリア（すなわち、位置範囲）は、前述の判定されるＮ個の動き情報の間に比較的強い相関関係及び類似性が存在するという特徴に基づいて参照画像から判定することができる。たとえば限定ではなくて、Ｎ個の参照画像ブロックの最小公開画像ブロック、すなわち図３ａに破線で示されるエリア、が位置範囲として使用され得る。
【００７３】
最小公開画像ブロックは、以下の方式で判定することができる。すなわち、
現在の符号化されるべき画像内の現在の画像ブロックの座標が（ｃｕｒ＿ｘ，ｃｕｒ＿ｙ）であり、そのサイズが（ｂｌｋ＿ｘ）×（ｂｌｋ＿ｙ）画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がｘによって示され、動きベクトルの垂直構成要素がｙによって示されると仮定すると、参照画像において、ＭＶ＃Ａは｛ＭＶ＃Ａ＿ｘ，ＭＶ＃Ａ＿ｙ｝として記述することができ、ＭＶ＃Ｂは｛ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｂ＿ｙ｝として記述することができ、ＭＶ＃Ｃは｛ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｃ＿ｙ｝として記述することができ、ＭＶ＃Ｄは｛ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｄ＿ｙ｝として記述することができ、そして、ＭＶ＃Ｔは｛ＭＶ＃Ｔ＿ｘ，ＭＶ＃Ｔ＿ｙ｝として記述することができる。
【００７４】
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δｘ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく、
目標画像ブロックに関する水平方向における最大変位Δｘ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく
目標画像ブロックに関する垂直方向における最小変位Δｙ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δｙ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しい。
【００７５】
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、（ｃｕｒ＿ｘ＋Δｘ＿ｍｉｎ，ｃｕｒ＿ｙ＋Δｙ＿ｍｉｎ）であり、そして、
矩形領域の右下角の画素の座標は、（ｃｕｒ＿ｘ＋Δｘ＿ｍａｘ＋ｂｌｋ＿ｘ，ｃｕｒ＿ｙ＋Δｙ＿ｍａｘ＋ｂｌｋ＿ｙ）である。
【００７６】
したがって、位置範囲内の各画素の情報（画素値など）は、最適動き情報の判定のその後の処理で使用するために、読み取り、メモリに記憶することができる。
【００７７】
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
Ｎ個の参照画像ブロックのうちの少なくとも２つの参照画像ブロックが互いに重複すると判定するステップ
をさらに含む。
【００７８】
具体的に、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、参照画像が重複する場合、位置範囲の判定及びその位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。
【００７９】
したがって、メモリ帯域幅の要件が先行技術と比較して低減されることを確保することができる。
【００８０】
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
Ｎ個の参照画像ブロックのうちの少なくとも２つの参照画像ブロックが互いに重複し、及び重複する参照画像ブロックの量が事前設定された量閾値以上であり、又は重複する範囲が事前設定された範囲閾値以上であると判定するステップ
をさらに含む。
【００８１】
具体的には、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、そして、参照画像が重複する場合、重複するエリアの特徴（たとえば、重複する参照画像ブロックの量及び／又は重複する範囲のサイズ）をさらに判定することができ、前述の重複するエリアの特徴が事前設定条件に合う、たとえば、重複する参照画像ブロックの量が事前設定された量閾値以上である、及び／又は重複する範囲が事前設定された範囲閾値以上である）場合、位置範囲の判定及び位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。前述の量閾値は、参照画像ブロックの量（又は、動き情報の量）に従ってセットされ得ることに留意されたい。たとえば、参照画像ブロックの量が５である場合、量閾値は５にセットされ得る。同様に、前述の範囲閾値は、参照画像ブロックのサイズに従ってセットされ得る。
【００８２】
したがって、メモリ帯域幅の要件が先行技術と比較して低減されることが、さらに確保され得る。
【００８３】
次いで、最適動き情報が、記憶された位置範囲（具体的には、その位置範囲内の画素）に従って、Ｎ個の動き情報から判定され得る。
【００８４】
すなわち、任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行するステップは、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するステップと
を含む。
【００８５】
具体的に、前述の判定された位置範囲はすべての参照画像ブロックをカバーするので、各動き情報に対応する参照画像ブロック（具体的には、各参照画像ブロックの画素の情報）は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報は、参照画像ブロックに従って動き情報から判定され得る。たとえば、評価が、各動き情報に対応する評価値を取得するために、各動き情報に対応する画素の情報に基づいて及び所定の基準（たとえば、レート歪み基準）を適用することによって、実行可能であり、そして、最小評価値を有する動き情報が、最適動き情報、すなわち、現在の画像ブロックで符号化処理（たとえば、動き補償処理）を実行するための動き情報、として選択される。
【００８６】
前述の所定の基準は、適用される符号化技術に従って適切に変更することができ、本発明において具体的に限定されないことを理解されたい。たとえば、ＤＭＶＤ技術において、双方向予測の場合、各動き情報は順方向動き情報及び逆方向動き情報を含み、順方向動き情報は、順方向参照画像内の参照画像ブロック（順方向参照画像ブロックと呼ばれる）を示すために使用され、そして、逆方向動き情報は、逆方向参照画像内の参照画像ブロック（順方向参照画像ブロックと呼ばれる）を示すために使用され、そして、順方向参照画像ブロック及び逆方向参照画像ブロックの対応する位置の画素値の平方差の和が、測定基準として使用される場合、最小の平方差の和を有する動き情報が、最適動き情報として使用され得る。
【００８７】
次いで、エンコーダ側は、最適動き情報を使用して目標画像ブロックでの動き補償符号化動作などの処理を実行して、現在の画像ブロックで符号化を実装し、目標データストリームを生成し、デコーダ側に目標データストリームを送信することができる。本明細書において、最適動き情報に従って現在の画像ブロックで符号化処理をエンコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は、本明細書では省略される。
【００８８】
任意選択で、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第２のインデックス情報を含み、第２のインデックス情報が参照画像内の位置範囲の位置を示すために使用される、ステップ
を含む。
【００８９】
具体的に、本発明の本実施形態では、前述のように位置範囲を判定した後に、エンコーダ側はさらに、生成されたデータストリームに参照画像内のその位置範囲の位置を示すための情報、すなわち第２のインデックス情報、を追加することができ、デコーダ側は、第２のインデックス情報に従って参照画像内で位置範囲を直接判定することができる。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
【００９０】
本発明の本実施形態における画像処理方法によれば、最適動き情報の取得を確保することができ、画像処理効果を改善することができ、ユーザ体験を向上させることができるように、判定される位置範囲は、すべての参照画像をカバーする。
方式２
【００９１】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【００９２】
具体的に、エンコーダ側のデバイスのハードウェアによって限定されるため、たとえば、メモリ帯域幅によって限定されるため、現在使用可能なメモリ帯域幅が、前述の方式１で判定された最小公開画像ブロック（位置範囲の一例）の要件を満たすことができない場合が存在し得る。
【００９３】
前述の問題を考慮して、本発明の本実施形態は、以下の技術的解決法を提供する。すなわち、判定された位置範囲は、いくつかの参照画像ブロック（すなわち、候補参照画像ブロックの一例）のみをカバーし得る。カバーされる参照画像ブロックの量がＭであると仮定すると、１≦Ｍ＜Ｎが満たされる。
【００９４】
したがって、位置範囲が少なくとも１つの完全な参照画像ブロックをカバーすること、すなわち、少なくとも１つの動き情報が使用可能であること、を確保することができ、そして、符号化が動き情報を使用することによって現在の画像ブロックで実行されることを確保することを前提として、メモリ帯域幅の要件は低減することができる。
【００９５】
この場合、エリアの範囲が、Ｍ個の参照画像ブロックによって含まれるすべての画素、すなわち図３ｂで破線によって示されるエリア、をカバーし得るように、エリア（すなわち、位置範囲）が、参照画像内で判定され得る。
【００９６】
任意選択で、事前設定ルールに従ってＮ個の動き情報から候補動き情報を判定するステップは、
使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従ってＮ個の動き情報から候補動き情報を判定するステップ
を含み、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【００９７】
具体的に、本発明の本実施形態では、Ｍ個の候補参照画像ブロックが選択され得る、或いは、Ｍ個の候補参照画像ブロックに対応する動き情報が、使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従って、選択され得る。
【００９８】
前述のパラメータを使用するための方法を以下に別個に説明する。
【００９９】
Ａ．現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、及び現在の画像ブロックが属する画像の制作スタイル
【０１００】
たとえば、画像が内容によって分類される場合、画像は、ニュース画像、スポーツ画像、映画−テレビジョン画像などでもよい。同様に、画像はまた、ソース及び制作スタイルによって分類することもできる。同じタイプの画像の最適動き情報（又は最適動き情報が由来する隣接画像ブロック）は、常に同じである。したがって、本発明の本実施形態では、各タイプの画像の優先度の高い動き情報の統計値は、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、現在の画像ブロックが属する画像の制作スタイルなどに従って、収集することができ、優先度の高い動き情報は、このタイプの画像の最適動き情報になる最も大きな可能性を有する。
【０１０１】
したがって、位置範囲が判定されているとき、その位置範囲が前述の優先度の高い動き情報に対応する参照画像ブロックをカバーすることが優先的に確保され得る。
【０１０２】
任意選択で、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
その位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第１のインデックス情報を含み、第１のインデックス情報が候補動き情報を示すために使用される、ステップ
を含む。
【０１０３】
具体的に、前述のように優先度の高い動き情報（すなわち、候補動き情報の一例）を判定した後に、エンコーダ側は、生成されたデータストリームに候補動き情報を示すための情報、すなわち第１のインデックス情報、を加えることができ、そして、デコーダ側は、各候補動き情報に対応する参照画像ブロック（すなわち、候補参照画像ブロック）を判定するために、第１のインデックス情報に従ってＮ個の動き情報から候補動き情報を直接判定することができる。したがって、位置範囲は、参照画像内で判定することができ、そして、その位置範囲は、候補参照画像ブロックをカバーし得る。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
【０１０４】
Ｂ．使用可能なメモリ帯域幅
【０１０５】
本発明の本実施形態では、読み取る及び記憶することができる位置範囲のサイズは、現在使用可能なメモリ帯域幅のサイズに従って判定され得る。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補参照画像ブロック及びその候補参照画像ブロックを指す候補動き情報が、判定され得る。
【０１０６】
現在使用可能なメモリ帯域幅が十分大きい場合、その位置範囲によってカバーされる参照画像ブロックの複数の組合せが存在する場合が存在し得ることに留意されたい。たとえば、同サイズの位置範囲では、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックの量は異なることがあり、又は同サイズの位置範囲では、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックに対応する動き情報は異なる。
【０１０７】
この場合、最大の参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、比較的多量の参照画像ブロックが提供可能であり、最終的に判定される及び符号化処理のために使用される動き情報は、最適化され得る。
【０１０８】
別法として、前述の判定された優先度の高い動き情報に対応する参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、符号化処理が優先度の高い動き情報に従って実行されることが、確保され得る。
【０１０９】
Ｃ．現在の画像ブロックが属する画像の解像度
【０１１０】
異なる画像解像度は、エンコーダ側のハードウェアで異なる要件を有する。たとえば、比較的高い解像度を有する画像では、その画像で符号化を実装するために、比較的高い性能、たとえば、比較的高いメモリ帯域幅、を有するハードウェアを構成することが通常は必要とされる。したがって、記憶され得る位置範囲のサイズは、現在の画像ブロックが属する画像の解像度に従って判定され、すなわち、解像度がより高い場合、位置範囲はより大きい。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補参照画像ブロック及びその候補参照画像ブロックを指す候補動き情報が、判定され得る。
【０１１１】
位置範囲が、使用可能なメモリ帯域幅及び現在の画像ブロックが属する画像の解像度（又は、エンコーダのハードウェア性能）に従って判定される場合、その位置範囲は、以下の方式で判定することができる。すなわち、
現在の符号化されるべき画像内の現在の画像ブロックの座標が（ｃｕｒ＿ｘ，ｃｕｒ＿ｙ）であり、そのサイズが（ｂｌｋ＿ｘ）×（ｂｌｋ＿ｙ）画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がｘによって示され、動きベクトルの垂直構成要素がｙによって示されると仮定すると、その参照画像において、ＭＶ＃Ａは｛ＭＶ＃Ａ＿ｘ，ＭＶ＃Ａ＿ｙ｝として記述することができ、ＭＶ＃Ｂは｛ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｂ＿ｙ｝として記述することができ、ＭＶ＃Ｃは｛ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｃ＿ｙ｝として記述することができ、ＭＶ＃Ｄは｛ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｄ＿ｙ｝として記述することができ、そして、ＭＶ＃Ｔは｛ＭＶ＃Ｔ＿ｘ，ＭＶ＃Ｔ＿ｙ｝として記述することができる。
【０１１２】
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δｘ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく、
目標画像ブロックに関する水平方向における最大変位Δｘ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく、
目標画像ブロックに関する垂直方向における最小変位Δｙ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δｙ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しい。
【０１１３】
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、（ｃｕｒ＿ｘ＋ｍａｘ（−Ωｘ＿ｍｉｎ，Δ＿ｘ＿ｍｉｎ），ｃｕｒ＿ｙ＋ｍａｘ（−Ωｙ＿ｍｉｎ，Δ＿ｙ＿ｍｉｎ））であり、そして、
矩形領域の右下角の画素の座標は、（ｃｕｒ＿ｘ＋ｂｌｋ＿ｘ＋ｍｉｎ（Ωｘ＿ｍａｘ，Δｘ＿ｍａｘ），ｃｕｒ＿ｙ＋ｂｌｋ＿ｙ＋ｍｉｎ（Ωｙ＿ｍａｘ，Δｙ＿ｍａｘ）であり、
但し、Ωｘ＿ｍｉｎ、Ωｘ＿ｍａｘ，Ωｙ＿ｍｉｎ、及びΩｙ＿ｍａｘの値は、使用可能なメモリ帯域幅又はエンコーダのハードウェア性能に従って判定され得る。
【０１１４】
任意選択で、位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップは、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップであって、目標データストリームが第２のインデックス情報を含み、第２のインデックス情報が参照画像内の位置範囲の位置を示すために使用される、ステップ
を含む。
【０１１５】
具体的に、本発明の本実施形態では、前述のように位置範囲を判定した後に、エンコーダ側はさらに、生成されたデータストリームに参照画像内のその位置範囲の位置を示すための情報、すなわち第２のインデックス情報、を追加することができ、デコーダ側は、第２のインデックス情報に従って、参照画像内で位置範囲を直接判定することができる。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
【０１１６】
たとえば限定ではなくて、本発明の本実施形態では、第２のインデックス情報は、Ωｘ＿ｍｉｎ、Ωｘ＿ｍａｘ、Ωｙ＿ｍｉｎ、及びΩｙ＿ｍａｘの前述の値でもよい。加えて、第２のインデックス情報は、適切な構文要素を使用することによって、データストリームの異なる位置で識別することができ、たとえば、ピクチャパラメータセット（ＰＰＳ、Ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）又はスライスヘッダ（ｓｌｉｃｅ  ｈｅａｄｅｒ）において識別され得る。ピクチャパラメータセット又はスライスヘッダがデータストリームにおいて出現する頻度は比較的低いので、これらの位置でのΩｘ＿ｍｉｎ、Ωｘ＿ｍａｘ、Ωｙ＿ｍｉｎ、及びΩｙ＿ｍａｘの前述の値の識別によってもたらされる余分な帯域幅の効果は、ほとんど無視することができる。
【０１１７】
位置範囲が前述のように判定された後、位置範囲内の各画素の情報（画素値など）は、読み取り、メモリに記憶することができる。
【０１１８】
加えて、位置範囲が、１つのみの完全な参照画像ブロック（すなわち、候補参照画像ブロック）をカバーし得るとき、符号化処理が、候補参照画像ブロック及び候補参照画像ブロックに対応する動き情報を直接使用することによって、現在の画像ブロックで実行され得る。
【０１１９】
位置範囲が、少なくとも２つの完全な参照画像ブロック（すなわち、候補参照画像ブロック）をカバーし得るとき、最適動き情報は、記憶された位置範囲（具体的には、位置範囲内の画素）に従って、それらの少なくとも２つの候補参照画像ブロックに対応する動き情報から判定され得る。
【０１２０】
すなわち、任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行するステップは、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するステップと
を含む。
【０１２１】
具体的に、前述の判定された位置範囲は少なくとも２つの参照画像ブロックをカバーするので、各候補動き情報に対応する候補参照画像ブロック（具体的には、各参照画像ブロックの画素の情報）は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報は、候補動き情報から判定され得る。たとえば、評価が、候補動き情報に対応する画素の情報に基づいて及び所定の基準を適用することによって実行されて、各候補動き情報に対応する評価値を取得することができ、そして、最小評価値を有する候補動き情報が、最適動き情報、すなわち、現在の画像ブロックで符号化処理（たとえば、動き補償処理）を実行するための動き情報、として選択される。
【０１２２】
次いで、エンコーダ側は、最適動き情報を使用して目標画像ブロックでの動き補償符号化動作などの処理を実行して、現在の画像ブロックで符号化を実装し、目標データストリームを生成し、デコーダ側に目標データストリームを送信することができる。本明細書において、最適動き情報に従って現在の画像ブロックで符号化処理をエンコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は本明細書では省略される。
【０１２３】
本発明の本実施形態における画像処理方法によれば、位置範囲が、少なくとも１つの動き情報に対応する画素をカバーするように、位置範囲は、参照画像において判定され、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも１つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
【０１２４】
図４は、本発明の一実施形態による、デコーダ側の視点から説明された、画像処理方法２００の概略的流れ図である。図４に示すように、方法２００は、以下を含む。
【０１２５】
Ｓ２１０：現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得し、ここで、Ｎ個の隣接画像ブロックは、Ｎ個の動き情報と１対１で対応し、Ｎ個の動き情報は、現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報は、Ｎ個の参照画像ブロックと１対１で対応する。
【０１２６】
Ｓ２２０：記憶されるべき画素の位置範囲を参照画像内で判定し、位置範囲内のすべての画素を記憶し、ここで、位置範囲は、候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも１つの画像ブロックである。
【０１２７】
Ｓ２３０：動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成し、ここで、候補動き情報は、候補参照画像ブロックに対応する動き情報である。
【０１２８】
具体的には、デコーダ側は、Ｎ個の動き情報を取得することができ、Ｎは正の整数である。
【０１２９】
本発明の本実施形態では、動き情報は、予測方向、参照画像インデックス、又は動きベクトルのうちの１つ又は複数含むことができ、予測方向は単方向予測及び双方向予測を含むことができ、そして、単方向予測は順方向予測及び逆方向予測を含むことができる。
【０１３０】
順方向予測は、順方向参照画像ｌｉｓｔ、すなわちｌｉｓｔ（リスト）０、内の参照画像を使用することによって予測信号を生成することを示す。
【０１３１】
逆方向予測は、逆方向参照画像ｌｉｓｔ、すなわちｌｉｓｔ１、内の参照画像を使用することによって予測信号を生成することを示す。双方向予測は、ｌｉｓｔ０内の参照画像及びｌｉｓｔ１内の参照画像を同時に使用することによって予測信号を生成することを示す。
【０１３２】
単方向予測では、参照画像インデックスが、ｌｉｓｔ０又はｌｉｓｔ１から選択された参照画像を示すために必要とされる。双方向予測では、２つの参照画像インデックスが、ｌｉｓｔ０から選択された参照画像及びｌｉｓｔ１から選択された参照画像をそれぞれ示すために必要とされる。
【０１３３】
各動きベクトルは、水平方向構成要素ｘ及び垂直方向構成要素ｙを含み、（ｘ、ｙ）によって示すことができる。単方向予測では、動きベクトルが、ｌｉｓｔ０又はｌｉｓｔ１から選択された参照画像における予測信号の変位を示すために必要とされる。双方向予測では、２つの動きベクトルが、ｌｉｓｔ０から選択された参照画像及びｌｉｓｔ１から選択された参照画像内の順方向予測信号及び逆方向予測信号の変位をそれぞれ示すために必要とされる。
【０１３４】
本発明の本実施形態では、動き情報は、現在の画像ブロック（すなわち、エンコーダ側の符号化されるべき画像ブロック、及びデコーダ側では、復号される及び再構成されるべき画像ブロック）の隣接画像ブロックから取得される動き情報を示す。本発明の本実施形態では、動き情報は、空間的動き情報及び時間的動き情報を含み得る。
【０１３５】
空間的動き情報は、現在の画像ブロックの空間的に隣接するブロックから取得される動き情報であり、時間的動き情報は、時間的に隣接するブロックから取得される動き情報を示す。
【０１３６】
図２ａは、ＤＭＶＤ技術における空間的動き情報のソース位置（取得された位置）を示し、図２ｂは、ＤＭＶＤ技術における時間的動き情報のソース位置（取得された位置）を示す。
【０１３７】
図２ａに示すように、ＤＭＶＤ技術において、空間的動き情報は、
現在の画像ブロックの左側の画像ブロックＡ（隣接するブロックの一例）の動き情報であって、以下でＭＶ＃Ａによって示される動き情報と、
現在の画像ブロックの上側の画像ブロックＢ（隣接するブロックのもう１つの例）の動き情報であって、以下でＭＶ＃Ｂによって示される動き情報と、
現在の画像ブロックの右上の画像ブロックＣ（隣接するブロックのもう１つの例）の動き情報であって、以下でＭＶ＃Ｃによって示される動き情報と、
現在の画像ブロックの左上方の画像ブロックＤ（隣接するブロックのもう１つの例）の動き情報であって、以下でＭＶ＃Ｄによって示される動き情報と
を含み得る。
【０１３８】
予測方向が単方向であるとき、１つの動き情報は、参照画像内の参照ブロックを示すことができ、そして、予測方向が双方向であるとき、１つの動き情報は、順方向参照画像内の参照ブロック及び逆方向参照画像内の参照ブロックを示し得ることに留意されたい。
【０１３９】
図２ｂに示すように、ＤＭＶＤ技術において、時間的動き情報は、たとえば、現在の画像ブロックに基づいてＭＶ＃Ｔ’でパニング処理を実行することによって取得された動き情報を含むことができ、その動き情報は以下にＭＶ＃Ｔによって示され、ＭＶ＃Ｔ’は、逆方向参照画像内にある及び現在の画像ブロックに対応する位置にある画像ブロックＥ（隣接するブロックのもう１つの例）の動き情報である。
【０１４０】
したがって、デコーダ側は、前述の５つの動き情報、すなわちＮ個の動き情報の一例、を含む動き情報セット（又は、動き情報ｌｉｓｔ）を取得することができ、その動き情報セットは、
｛ＭＶ＃Ａ，ＭＶ＃Ｂ，ＭＶ＃Ｃ，ＭＶ＃Ｄ，ＭＶ＃Ｔ｝
によって示される。
【０１４１】
前述の取得された動き情報が繰り返される場合、繰り返される動き情報は、Ｎ個の動き情報が互いに異なることを確保するために、削除され得ることに留意されたい。
【０１４２】
Ｎ個の動き情報を取得するための前述で説明された方法は、単に例示的説明を目的とし、本発明はそれに限定されないことを理解されたい。異なる取得方法が、本発明において具体的に限定されない、本発明の本実施形態における画像処理方法が適用可能な技術に従って、使用され得る。
【０１４３】
前述のようにＮ個の動き情報を判定した後に、デコーダ側は、参照画像から各動き情報に対応する参照画像ブロック（又は、各動き情報が指す参照画像ブロック）を判定することができる。予測方向が双方向である場合、デコーダ側は、２つの参照画像（順方向参照画像及び逆方向参照画像）から各動き情報に対応する参照画像ブロックをそれぞれ判定する必要があることに留意されたい。理解及び説明を容易にするために、並びに一般性を失うことなく、以下の説明は、一例として逆方向参照画像での処理を使用することによって行われる。
【０１４４】
次いで、デコーダ側は、復号化処理、具体的には、目標動き情報による動き補償処理、を実行するために、Ｎ個の動き情報から１つの動き情報（理解及び区別を容易にするために以下で目標動き情報と呼ばれる）を判定する必要がある。そのプロセスは次に詳細に説明される。
【０１４５】
本発明の本実施形態では、目標動き情報は、事前設定ルールによる計算方式で計算され得る（すなわち、方式３）、或いは、目標動き情報は、現在の画像ブロックの属性及び／又はデバイス性能に従って判定され得る（すなわち、方式４）。前述の２つの場合における処理は、以下で別個に詳細に説明される。
方式３
【０１４６】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【０１４７】
本発明の本実施形態では、最適動き情報は、計算方式でＮ個の動き情報（候補動き情報の一例）から判定することができ、その最適動き情報は、前述の目標動き情報として使用される。計算プロセスにおいて、Ｎ個の動き情報（具体的には、動きベクトルが指す参照画像ブロック）に対応する参照画像ブロック（候補参照画像ブロックの一例）を取得することが必要とされ、計算が、参照画像ブロック（具体的には、参照画像ブロック内の画素の画素値）に基づいて実行される。
【０１４８】
したがって、本発明の本実施形態では、デコーダ側は、参照画像内の画素（すなわち、各参照画像ブロック）の位置分布を判定することができ、それらの画素は、記憶される必要があり、後の処理のために使用される。
【０１４９】
前述の判定された動き情報の各々は、復号される必要がある現在の画像ブロックの隣接する（時間的に隣接する及び／又は空間的に隣接する）画像ブロックから取得されるので、動き情報（具体的には、動きベクトル）の間に比較的強い相関関係（又は類似性）が存在する。したがって、図３ａ及び図３ｂに示すように、外面的表現は、参照画像ブロックが重複する、又は複数の参照画像ブロックが同じ位置にある画素を含むということである。
【０１５０】
先行技術では、デコーダ側は、各動き情報が指す参照画像ブロックを参照画像から別個に取得する必要があり、各参照画像ブロック（具体的には、参照画像ブロック内の画素値）をメモリ空間に独立して記憶して各参照画像ブロックに基づいてＮ個の動き情報から最適動き情報を判定する必要がある。したがって、デバイスのメモリ帯域幅が、Ｎ個の参照画像ブロックの読取り及び記憶に対応し得ることが必要とされ、そして、前述の重複するエリアが複数回にわたり記憶される場合が生じることがあり、メモリ帯域幅の比較的高い要件をもたらす。
【０１５１】
対照的に、本発明の本実施形態では、エリアの範囲が、Ｎ個の参照画像ブロックによって含まれるすべての画素をカバーし得るように、エリア（すなわち、位置範囲）は、前述の判定されたＮ個の動き情報の間に比較的強い相関関係及び類似性が存在するという特徴に基づいて参照画像から判定され得る。たとえば限定ではなくて、たとえば、Ｎ個の参照画像ブロックの最小公開画像ブロック、すなわち図３ａに破線で示されるエリア、が位置範囲として使用され得る。
【０１５２】
最小公開画像ブロックは、以下の方式で判定することができる。すなわち、
現在の再構成されるべき画像内の現在の画像ブロックの座標が（ｃｕｒ＿ｘ，ｃｕｒ＿ｙ）であり、そのサイズが（ｂｌｋ＿ｘ）×（ｂｌｋ＿ｙ）画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がｘによって示され、動きベクトルの垂直構成要素がｙによって示されると仮定すると、その参照画像において、ＭＶ＃Ａは｛ＭＶ＃Ａ＿ｘ，ＭＶ＃Ａ＿ｙ｝として記述することができ、ＭＶ＃Ｂは｛ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｂ＿ｙ｝として記述することができ、ＭＶ＃Ｃは｛ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｃ＿ｙ｝として記述することができ、ＭＶ＃Ｄは｛ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｄ＿ｙ｝として記述することができ、そして、ＭＶ＃Ｔは｛ＭＶ＃Ｔ＿ｘ，ＭＶ＃Ｔ＿ｙ｝として記述することができる。
【０１５３】
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δｘ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく、
目標画像ブロックに関する水平方向における最大変位Δｘ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく
目標画像ブロックに関する垂直方向における最小変位Δｙ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δｙ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しい。
【０１５４】
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、（ｃｕｒ＿ｘ＋Δｘ＿ｍｉｎ，ｃｕｒ＿ｙ＋Δｙ＿ｍｉｎ）であり、そして、
矩形領域の右下角の画素の座標は、（ｃｕｒ＿ｘ＋Δｘ＿ｍａｘ＋ｂｌｋ＿ｘ，ｃｕｒ＿ｙ＋Δｙ＿ｍａｘ＋ｂｌｋ＿ｙ）である。
【０１５５】
したがって、位置範囲内の各画素の情報（画素値など）は、最適動き情報の判定のその後の処理で使用するために、読み取り、メモリに記憶され得る。
【０１５６】
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
Ｎ個の参照画像ブロックのうちの少なくとも２つの参照画像ブロックが互いに重複すると判定するステップ
をさらに含む。
【０１５７】
具体的に、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、参照画像が重複する場合、位置範囲の判定及び位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。
【０１５８】
したがって、メモリ帯域幅の要件が先行技術と比較して低減されることを確保することができる。
【０１５９】
任意選択で、動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップの前に、本方法は、
Ｎ個の参照画像ブロックのうちの少なくとも２つの参照画像ブロックが互いに重複し、及び重複する参照画像ブロックの量が事前設定された量閾値以上であり、又は重複する範囲が事前設定された範囲閾値以上であると判定するステップ
をさらに含む。
【０１６０】
具体的に、各参照画像ブロックが前述のように判定された後、参照画像が互いに重複するかどうかを先ず判定することができ、そして、参照画像が重複する場合、重複するエリアの特徴（たとえば、重複する参照画像ブロックの量及び／又は重複する範囲のサイズ）はさらに判定することができ、そして、前述の重複するエリアの特徴が事前設定条件に合う、たとえば、重複する参照画像ブロックの量が事前設定された量閾値以上である、及び／又は重複する範囲が事前設定された範囲閾値以上である）場合、位置範囲の判定及びその位置範囲内の画素の情報の記憶の前述のプロセスが、実行され得る。前述の量閾値は、参照画像ブロックの量（又は、動き情報の量）に従ってセットされ得ることに留意されたい。たとえば、参照画像ブロックの量が５である場合、量閾値は、５にセットされ得る。同様に、前述の範囲閾値は、参照画像ブロックのサイズに従ってセットされ得る。
【０１６１】
したがって、メモリ帯域幅の要件が、先行技術と比較して低減されることが、さらに確保され得る。
【０１６２】
次いで、最適動き情報が、記憶された位置範囲（具体的には、位置範囲内の画素）に従って、Ｎ個の動き情報から判定され得る。
【０１６３】
すなわち、任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行するステップは、
Ｎ個の動き情報から候補動き情報を判定するステップと、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って目標データストリームで復号化処理を実行するステップと
を含む。
【０１６４】
具体的に、前述の判定された位置範囲はすべての参照画像ブロックをカバーするので、各動き情報に対応する参照画像ブロック（具体的には、各参照画像ブロックの画素の情報）は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報は、参照画像ブロックに従って動き情報から判定され得る。たとえば、評価が、各動き情報に対応する評価値を取得するために、各動き情報に対応する画素の情報に基づいて及び所定の基準（たとえば、レート歪み基準）を適用することによって、実行可能であり、そして、最小評価値を有する動き情報が、最適動き情報、すなわち、現在の画像ブロックで復号化及び再構成処理（たとえば、動き補償処理）を実行するための動き情報、として選択される。
【０１６５】
前述の所定の基準は、適用された復号化技術に従って、適切に変更することができ、本発明において具体的に限定されないことを理解されたい。たとえば、ＤＭＶＤ技術において、双方向予測の場合、各動き情報は順方向動き情報及び逆方向動き情報を含み、順方向動き情報は、順方向参照画像内の参照画像ブロック（順方向参照画像ブロックと呼ばれる）を示すために使用され、そして、逆方向動き情報は、逆方向参照画像内の画像ブロック（順方向参照画像ブロックと呼ばれる）を示すために使用され、順方向参照画像ブロック及び逆方向参照画像ブロックの対応する位置の画素値の平方差の和が測定基準として使用される場合、最小の平方差の和を有する動き情報が、最適動き情報として使用され得る。
【０１６６】
次いで、デコーダ側は、現在の画像ブロックで再構成を実装するために、最適動き情報を使用して、エンコーダ側からのデータストリームで動き補償復号化動作などの処理を実行することができる。本明細書において、最適動き情報に従って現在の画像ブロックの復号化処理をデコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は、本明細書では省略される。
【０１６７】
任意選択で、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
第２のインデックス情報を目標データストリームから取得するステップであって、第２のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用される、ステップと、
第２のインデックス情報に従って参照画像において位置範囲を判定するステップと
を含む。
【０１６８】
具体的に、本発明の本実施形態では、エンコーダ側は、データストリームに参照画像内の位置範囲の位置及び範囲を示すための情報、すなわち第２のインデックス情報、を追加することができる。したがって、デコーダ側は、データストリームから第２のインデックス情報を取得し、第２のインデックス情報に従って、参照画像内の位置範囲（具体的には、メモリに記憶される必要がある画素）を直接判定することができる。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
【０１６９】
本発明の本実施形態における画像処理方法によれば、最適動き情報の取得を確保することができ、画像処理効果を改善することができ、ユーザ体験を改善することができるように、判定される位置範囲は、すべての参照画像をカバーする。
方式４
【０１７０】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【０１７１】
具体的には、デコーダ側のデバイスのハードウェアによって限定されるため、たとえば、メモリ帯域幅によって限定されるため、現在使用可能なメモリ帯域幅が、前述の方式３において判定される最小公開画像ブロック（位置範囲の一例）の要件を満たすことができない場合があり得る。
【０１７２】
前述の問題を考慮して、本発明の本実施形態は、以下の技術的解決法を提供し、すなわち、判定された位置範囲は、いくつかの参照画像ブロック（すなわち、候補参照画像ブロックの一例）のみをカバーし得る。カバーされる参照画像ブロックの量がＭであると仮定すると、１≦Ｍ＜Ｎが満たされる。
【０１７３】
したがって、位置範囲が少なくとも１つの完全な参照画像ブロックをカバーする、すなわち少なくとも１つの動き情報が使用可能である、ことを確保することができ、復号化及び再構成が動き情報を使用することによって現在の画像ブロックで実行されることを確保することを前提として、メモリ帯域幅の要件は低減され得る。
【０１７４】
この場合、エリアの範囲が、Ｍ個の参照画像ブロックによって含まれるすべての画素、すなわち図３ｂで破線によって示されるエリア、をカバーし得るように、エリア（すなわち、位置範囲）が、参照画像内で判定され得る。
【０１７５】
任意選択で、Ｎ個の動き情報のうちの候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従ってＮ個の動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するステップ
を含み、ここで、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【０１７６】
具体的に、本発明の本実施形態では、Ｍ個の候補参照画像ブロックが選択され得る、或いは、Ｍ個の候補参照画像ブロックに対応する動き情報が、使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従って、選択され得る。
【０１７７】
前述のパラメータを使用するための方法を以下で別個に説明する。
【０１７８】
Ａ．現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、及び現在の画像ブロックが属する画像の制作スタイル
【０１７９】
たとえば、画像が内容によって分類される場合、画像は、ニュース画像、スポーツ画像、映画−テレビジョン画像などでもよい。同様に、画像はまた、ソース及び制作スタイルによって分類することもできる。同じタイプの画像の最適動き情報（又は、最適動き情報が由来する隣接画像ブロック）は、常に同じである。したがって、本発明の本実施形態では、各タイプの画像の優先度の高い動き情報の統計値は、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、現在の画像ブロックが属する画像の制作スタイルなどに従って集めることができ、優先度の高い動き情報は、このタイプの画像の最適動き情報になる最も大きな可能性を有する。
【０１８０】
したがって、位置範囲が判定されているとき、その位置範囲が前述の優先度の高い動き情報に対応する参照画像ブロックをカバーすることが優先的に確保され得る。
【０１８１】
任意選択で、Ｎ個の動き情報から候補動き情報を判定するステップは、
第１のインデックス情報を目標データストリームから取得するステップであって、第１のインデックス情報が候補動き情報を示すために使用されるステップと、
第１のインデックス情報に従ってＮ個の動き情報から候補動き情報を判定するステップと
を含む。
【０１８２】
具体的に、エンコーダ側は、生成されたデータストリームに候補動き情報に関する情報を示すための情報、すなわち、第１のインデックス情報、を追加することができ、デコーダ側は、各候補動き情報に対応する参照画像ブロック（すなわち、候補参照画像ブロック）を判定するために、データストリームから第１のインデックス情報を取得し、第１のインデックス情報に従ってＮ個の動き情報から候補動き情報を直接判定する。したがって、位置範囲を参照画像内で判定することができ、その位置範囲は、候補参照画像ブロックをカバーし得る。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
【０１８３】
Ｂ．使用可能なメモリ帯域幅
【０１８４】
本発明の本実施形態では、読み取る及び記憶することができる位置範囲のサイズは、現在使用可能なメモリ帯域幅のサイズに従って判定され得る。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補参照画像ブロック及び候補参照画像ブロックを指す動き情報が、判定され得る。
【０１８５】
現在使用可能なメモリ帯域幅が十分大きい場合、位置範囲によってカバーされる参照画像ブロックの複数の組合せが存在する場合が存在し得ることに留意されたい。たとえば、同サイズの位置範囲について、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックの量は異なることがあり、又は同サイズの位置範囲について、参照画像内の位置範囲の位置が異なる場合、カバーされ得る参照画像ブロックに対応する動き情報は異なる。
【０１８６】
この場合、最大参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、比較的多量の参照画像ブロックが提供可能であり、そして、最終的に判定される及び復号化処理のために使用される動き情報が、最適化され得る。
【０１８７】
別法として、前述の判定された優先度の高い動き情報に対応する参照画像ブロックをカバーし得る範囲が、使用される位置範囲として使用され得る。したがって、復号化処理が優先度の高い動き情報に従って実行されることが確保され得る。
【０１８８】
Ｃ．現在の画像ブロックが属する画像の解像度
【０１８９】
異なる画像解像度は、デコーダ側のハードウェアの異なる要件を有する。たとえば、比較的高い解像度を有する画像では、画像の復号化を実装するために、比較的高い性能、たとえば、比較的高いメモリ帯域幅、を有するハードウェアを構成することが通常は必要とされる。したがって、記憶され得る位置範囲のサイズは、現在の画像ブロックが属する画像の解像度に従って判定され、すなわち、解像度がより高い場合、位置範囲はより大きい。したがって、カバーされ得る参照画像ブロックの量及び位置は、位置範囲のサイズに従って判定され得る。したがって、候補参照画像ブロック及び候補参照画像ブロックを指す動き情報が、判定され得る。
【０１９０】
位置範囲が、使用可能なメモリ帯域幅及び現在の画像ブロックが属する画像の解像度（又は、デコーダ側のハードウェア性能）に従って判定される場合、その位置範囲は、以下の方式で判定することができる。すなわち、
現在の画像内の現在の画像ブロックの座標が（ｃｕｒ＿ｘ，ｃｕｒ＿ｙ）であり、そのサイズが（ｂｌｋ＿ｘ）×（ｂｌｋ＿ｙ）画素であり、一般性を失うことなく、参照画像において、動きベクトルの水平構成要素がｘによって示され、動きベクトルの垂直構成要素がｙによって示されると仮定すると、その参照画像において、ＭＶ＃Ａは｛ＭＶ＃Ａ＿ｘ，ＭＶ＃Ａ＿ｙ｝として記述することができ、ＭＶ＃Ｂは｛ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｂ＿ｙ｝として記述することができ、ＭＶ＃Ｃは｛ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｃ＿ｙ｝として記述することができ、ＭＶ＃Ｄは｛ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｄ＿ｙ｝として記述することができ、そして、ＭＶ＃Ｔは｛ＭＶ＃Ｔ＿ｘ，ＭＶ＃Ｔ＿ｙ｝として記述することができる。
【０１９１】
したがって、各参照画像ブロックにおいて、以下のように判定することができる。
目標画像ブロックに関する水平方向における最小変位Δｘ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく、
目標画像ブロックに関する水平方向における最大変位Δｘ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｘ，ＭＶ＃Ｂ＿ｘ，ＭＶ＃Ｃ＿ｘ，ＭＶ＃Ｄ＿ｘ，ＭＶ＃Ｔ＿ｘ）に等しく
目標画像ブロックに関する垂直方向における最小変位Δｙ＿ｍｉｎは、ｍｉｎ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しく、そして、
目標画像ブロックに関する垂直方向における最大変位Δｙ＿ｍａｘは、ｍａｘ（ＭＶ＃Ａ＿ｙ，ＭＶ＃Ｂ＿ｙ，ＭＶ＃Ｃ＿ｙ，ＭＶ＃Ｄ＿ｙ，ＭＶ＃Ｔ＿ｙ）に等しい。
【０１９２】
本定義において、参照画像から一度に読み取られ、一時的に記憶される位置範囲は、矩形領域でもよく、ここで、
矩形領域の左上角の画素の座標は、（ｃｕｒ＿ｘ＋ｍａｘ（−Ωｘ＿ｍｉｎ，Δ＿ｘ＿ｍｉｎ），ｃｕｒ＿ｙ＋ｍａｘ（−Ωｙ＿ｍｉｎ，Δ＿ｙ＿ｍｉｎ））であり、そして、
矩形領域の右下角の画素の座標は、（ｃｕｒ＿ｘ＋ｂｌｋ＿ｘ＋ｍｉｎ（Ωｘ＿ｍａｘ，Δｘ＿ｍａｘ），ｃｕｒ＿ｙ＋ｂｌｋ＿ｙ＋ｍｉｎ（Ωｙ＿ｍａｘ，Δｙ＿ｍａｘ）であり、
但し、Ωｘ＿ｍｉｎ、Ωｘ＿ｍａｘ、Ωｙ＿ｍｉｎ、及びΩｙ＿ｍａｘの値は、使用可能なメモリ帯域幅又はデコーダのハードウェア性能に従って判定され得る。
【０１９３】
任意選択で、記憶されるべき画素の位置範囲を参照画像内で判定するステップは、
第２のインデックス情報を目標データストリームから取得するステップであって、第２のインデックス情報が参照画像内の位置範囲の位置及び対象範囲を示すために使用されるステップと、
第２のインデックス情報に従って参照画像において位置範囲を判定するステップと
を含む。
【０１９４】
具体的に、本発明の本実施形態では、エンコーダ側は、生成されたデータストリームに参照画像内の位置範囲の位置及び範囲（又は、カバーされる画素）を示すための情報、すなわち、第２のインデックス情報、を追加することができる。したがって、デコーダ側は、データストリームから第２のインデックス情報を取得し、第２のインデックス情報に従って参照画像内の位置範囲を直接判定する。したがって、デコーダ側の負荷は低減することができ、デコーダ側の消費電力は低減することができ、そして、デコーダ側の処理効率は改善することができる。
【０１９５】
たとえば限定ではなくて、本発明の本実施形態では、第２のインデックス情報は、Ωｘ＿ｍｉｎ、Ωｘ＿ｍａｘ、Ωｙ＿ｍｉｎ、及びΩｙ＿ｍａｘの前述の値でもよい。加えて、第２のインデックス情報は、適切な構文要素を使用することによって、そのデータストリームの異なる位置で識別することができ、たとえば、ピクチャパラメータセット（ＰＰＳ、Ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）又はスライスヘッダ（ｓｌｉｃｅ  ｈｅａｄｅｒ）において識別され得る。ピクチャパラメータセット又はスライスヘッダがデータストリームにおいて出現する頻度は比較的低いので、これらの位置でのΩｘ＿ｍｉｎ、Ωｘ＿ｍａｘ、Ωｙ＿ｍｉｎ、及びΩｙ＿ｍａｘの前述の値の識別によってもたらされる余分な帯域幅の効果は、ほとんど無視することができる。
【０１９６】
位置範囲が前述のように判定された後、その位置範囲内の各画素の情報（画素値など）は、読み取り、メモリに記憶することができる。
【０１９７】
加えて、位置範囲が、１つのみの完全な参照画像ブロック（すなわち、候補参照画像ブロック）をカバーし得るとき、復号化処理が、候補参照画像ブロック及び候補参照画像ブロックに対応する動き情報を直接使用することによって、現在のブロックで実行され得る。
【０１９８】
位置範囲が、少なくとも２つの完全な参照画像ブロック（すなわち、候補参照画像ブロック）をカバーし得るとき、最適動き情報は、記憶された位置範囲（具体的には、位置範囲内の画素）に従って、それらの少なくとも２つの候補参照画像ブロックに対応する動き情報から判定され得る。
【０１９９】
すなわち、任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
動き情報のうちの候補動き情報に従って位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行するステップは、
Ｎ個の動き情報から候補動き情報を判定するステップと、
候補動き情報に従って位置範囲内の画素を読み取って候補参照画像ブロックを取得するステップと、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するステップと、
最適動き情報に従って目標データストリームで復号化処理を実行するステップと
を含む。
【０２００】
具体的に、前述の判定される位置範囲は少なくとも２つの参照画像ブロックをカバーするので、各候補動き情報に対応する候補参照画像ブロック（具体的には、各参照画像ブロックの画素の情報）は、その位置範囲内の画素の記憶された情報から取得され得る。したがって、最適動き情報が、候補動き情報から判定され得る。たとえば、評価が、候補動き情報に対応する画素の情報に基づいて及び所定の基準を適用することによって実行されて、各候補動き情報に対応する評価値を取得することができ、そして、最小評価値を有する候補動き情報が、最適動き情報、すなわち、現在の画像ブロックで復号化処理（たとえば、動き補償処理）を実行するための動き情報、として選択される。
【０２０１】
次いで、デコーダ側は、現在の画像ブロックで再構成を実装するために、最適動き情報を使用してデータストリームの動き補償復号化動作などの処理を実行することができる。本明細書において、最適動き情報に従って現在の画像ブロックの復号化処理をデコーダ側によって実行するプロセス及び方法は、先行技術におけるそれらと同様でもよい。説明の繰返しを避けるために、その説明は、本明細書では省略される。
【０２０２】
本発明の本実施形態における画像処理方法によれば、位置範囲は、その位置範囲が少なくとも１つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、その少なくとも１つの動き情報から判定され得る。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
【０２０３】
前述では、図１から図４を参照して本発明の実施形態による画像処理方法を詳細に説明したが、以下では、図５及び図６を参照して本発明の実施形態による画像処理装置を詳細に説明する。
【０２０４】
図５は、本発明の一実施形態による画像処理装置３００の概略的ブロック図である。図５に示すように、装置３００は、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するように構成された、取得ユニット３１０であって、Ｎ個の隣接画像ブロックがＮ個の動き情報と１対１で対応し、Ｎ個の動き情報が現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報がＮ個の参照画像ブロックと１対１で対応する、取得ユニット３１０と、
Ｎ個の動き情報のうちの少なくとも１つの情報である候補動き情報を事前設定ルールに従ってＮ個の動き情報から判定し、候補動き情報に従って記憶されるべき画素の位置範囲を参照画像において判定するように構成された、判定ユニット３２０であって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、候補動き情報が候補参照画像ブロックに対応する動き情報である、判定ユニット３２０と、
位置範囲内のすべての画素を記憶するように構成された、記憶ユニット３３０と、
記憶ユニット３３０から位置範囲内の画素を読み取るように及び位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成された、処理ユニット３４０と
を含む。
【０２０５】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
処理ユニット３４０は、具体的に、候補参照画像ブロックを取得するために、候補動き情報に従って記憶ユニット３３０から位置範囲内の画素を読み取るように、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定するように、及び、
最適動き情報に従って現在の画像ブロックで符号化処理を実行するように構成される。
【０２０６】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【０２０７】
任意選択で、判定ユニット３２０は、具体的に、使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従ってＮ個の動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成され、その属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【０２０８】
任意選択で、処理ユニット３４０は、具体的に、記憶ユニット３３０から位置範囲内の画素を読み取るように及び位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは第１のインデックス情報を含み、第１のインデックス情報は候補動き情報を示すために使用される。
【０２０９】
任意選択で、処理ユニット３４０は、具体的に、記憶ユニット３３０から位置範囲内の画素を読み取るように及び位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、その目標データストリームは第２のインデックス情報を含み、第２のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
【０２１０】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【０２１１】
本発明の本実施形態による画像処理装置３００は、本発明の本実施形態の方法におけるエンコーダ側に対応することができ、そして、画像処理装置３００の各ユニット、すなわち各モジュール、の前述の及び他の動作及び／又は機能は、図１の方法１００の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
【０２１２】
本発明の本実施形態における画像処理装置によれば、位置範囲は、その位置範囲が少なくとも１つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、その少なくとも１つの動き情報から判定され得る。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
【０２１３】
図６は、本発明の一実施形態による画像処理装置４００の概略的ブロック図である。図７に示すように、装置４００は、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するように構成された、取得ユニット４１０であって、Ｎ個の隣接画像ブロックがＮ個の動き情報と１対１で対応し、Ｎ個の動き情報が現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報がＮ個の参照画像ブロックと１対１で対応する、取得ユニット４１０と、
記憶されるべき画素の位置範囲を参照画像内で判定するように構成された、判定ユニット４２０であって、位置範囲が候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックがＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックである、判定ユニット４２０と、
位置範囲内のすべての画素を記憶するように構成された、記憶ユニット４３０と、
動き情報のうちの候補動き情報に従って記憶ユニット４３０から位置範囲内の画素を読み取り、位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成するように構成された、処理ユニット４４０であって、候補動き情報が候補参照画像ブロックに対応する動き情報である、処理ユニット４４０と
を含む。
【０２１４】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
判定ユニット４２０はさらに、Ｎ個の動き情報から候補動き情報を判定するように構成され、そして、
処理ユニット４４０は、具体的に、判定ユニット４２０から候補動き情報を取得し、その候補動き情報に従って位置範囲内の画素を読み取って、候補参照画像ブロックを取得し、候補参照画像ブロックに従って候補動き情報から最適動き情報を判定し、その最適動き情報に従って目標データストリームで復号化処理を実行するように構成される。
【０２１５】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【０２１６】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【０２１７】
任意選択で、判定ユニット４２０は、具体的に、Ｎ個の動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成される。
【０２１８】
任意選択で、判定ユニット４２０は、具体的に、使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従ってＮ個の動き情報から候補動き情報を判定するように構成され、属性情報は
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【０２１９】
任意選択で、判定ユニット４２０は、具体的に、目標データストリームから第１のインデックス情報を取得し、第１のインデックス情報に従ってＮ個の動き情報から候補動き情報を判定するように構成され、第１のインデックス情報は、候補動き情報を示すために使用される。
【０２２０】
任意選択で、判定ユニット４２０は、具体的に、目標データストリームから第２のインデックス情報を取得し、第２のインデックス情報に従って参照画像内で位置範囲を判定するように構成され、第２のインデックス情報は、参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
【０２２１】
本発明の本実施形態による画像処理装置４００は、本発明の実施形態の方法におけるデコーダ側に対応し、画像処理装置４００の各ユニット、すなわち各モジュール、の前述の及び他の動作及び／又は機能は、図４の方法２００の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
【０２２２】
本発明の本実施形態における画像処理装置によれば、位置範囲は、その位置範囲が少なくとも１つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも１つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
【０２２３】
前述では、図１から図４を参照して本発明の実施形態による画像処理方法を詳細に説明したが、以下では、図７及び図８を参照して本発明の実施形態による画像処理エンコーダ及びデコーダを詳細に説明する。
【０２２４】
図７は、本発明の一実施形態による画像処理エンコーダ５００の概略的ブロック図である。図７に示すように、エンコーダ５００は、
バス５１０と、
そのバスに接続されたプロセッサ５２０と、
そのバスに接続されたメモリ５３０と
を含むことができ、ここで、
プロセッサ５２０は、メモリ５３０に記憶されたプログラムをバス５１０を使用することによって呼び出して、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得することであって、Ｎ個の隣接画像ブロックはＮ個の動き情報と１対１で対応し、Ｎ個の動き情報は現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報がＮ個の参照画像ブロックと１対１で対応する、取得すること
Ｎ個の動き情報のうちの少なくとも１つの情報である候補動き情報を事前設定ルールに従ってＮ個の動き情報から判定し、その候補動き情報に従って、記憶されるべき画素の位置範囲を参照画像内で判定し、位置範囲内のすべての画素を記憶するようにメモリ５３０を制御することであって、位置範囲は候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックはＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、候補動き情報は候補参照画像ブロックに対応する動き情報である、制御すること、及び、
メモリ５３０から位置範囲内の画素を読み取り、その位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成すること
を行うように構成される。
【０２２５】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
プロセッサ５２０は、具体的に、候補参照画像ブロックを取得するために、候補動き情報に従ってメモリ５３０から位置範囲内の画素を読み取ること、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定すること、及び、
最適動き情報に従って現在の画像ブロックで符号化処理を実行こと
を行うように構成される。
【０２２６】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【０２２７】
任意選択で、プロセッサ５２０は、具体的に、メモリ５３０の使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従ってＮ個の動き情報から候補動き情報を判定し、候補動き情報に従って参照画像内で位置範囲を判定するように構成され、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【０２２８】
任意選択で、プロセッサ５２０は、具体的に、メモリ５３０から位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、目標データストリームは第１のインデックス情報を含み、第１のインデックス情報は候補動き情報を示すために使用される。
【０２２９】
任意選択で、プロセッサ５２０は、具体的に、メモリ５３０から位置範囲内の画素を読み取り、位置範囲内の画素に従って現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成され、目標データストリームは第２のインデックス情報を含み、第２のインデックス情報は参照画像内の位置範囲の位置及び対象範囲を示すために使用される。
【０２３０】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【０２３１】
本発明の本実施形態では、エンコーダ５００の構成要素は、バス５１０を使用することによって、ともに結合される。バス５１０は、データバスに加えて、電力バス、制御バス、及びステータス信号バスを含む。しかし、明確な説明のために、様々なタイプのバスは、図中でバス５１０として示される。
【０２３２】
プロセッサ５２０は、本発明の本方法の実施形態で開示されるステップ及び論理ブロック図を実装又は実行することができる。プロセッサ５２０は、マイクロプロセッサでもよく、又は、そのプロセッサは、従来のプロセッサ、デコーダなどでもよい。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、復号化プロセッサにおいてハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。そのソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。記憶媒体はメモリ５３０内に置かれ、プロセッサはメモリ５３０内の情報を読み取り、そのプロセッサのハードウェアと組み合わせて前述の方法のステップを完了する。
【０２３３】
本発明の本実施形態では、プロセッサ５２０は、中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、  略して「ＣＰＵ」）でもよく、又は、プロセッサ５２０は、別の汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は別のプログラマブル論理デバイス、離散的ゲート又はトランジスタ論理デバイス、離散的ハードウェア構成要素などでもよいことを理解されたい。その汎用プロセッサは、マイクロプロセッサでもよく、又は、そのプロセッサは、任意の従来のプロセッサなどでもよい。
【０２３４】
メモリ５３０は、読取り専用メモリ及びランダムアクセスメモリを含むことができ、プロセッサ５２０に命令及びデータを提供することができる。メモリ５３０の一部はさらに、不揮発性ランダムアクセスメモリを含み得る。たとえば、メモリ５３０はさらに、デバイスタイプ情報を記憶することができる。
【０２３５】
一実装プロセスで、前述の方法のステップが、プロセッサ５２０内のハードウェアの集積論理回路によって、又はソフトウェア形式の命令によって、実行され得る。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、プロセッサ内のハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。そのソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。
【０２３６】
本発明の本実施形態による画像処理エンコーダ５００は、本発明の実施形態の本方法におけるエンコーダ側に対応することができ、そして、画像処理エンコーダ５００の各ユニット、すなわち各モジュール、の前述の及び他の動作及び／又は機能は、図１の方法１００の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
【０２３７】
本発明の本実施形態における画像処理エンコーダによれば、位置範囲は、その位置範囲が少なくとも１つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、その少なくとも１つの動き情報から判定され得る。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
【０２３８】
図８は、本発明の一実施形態による画像処理デコーダ６００の概略的ブロック図である。図８に示すように、デコーダ６００は、
バス６１０と、
そのバスに接続されたプロセッサ６２０と、
そのバスに接続されたメモリ６３０と
を含むことができ、ここで、
プロセッサ６２０は、メモリ６３０に記憶されたプログラムをバス６１０を使用することによって呼び出して、
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得することであって、Ｎ個の隣接画像ブロックは、Ｎ個の動き情報と１対１で対応し、Ｎ個の動き情報は、現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、Ｎ個の動き情報は、Ｎ個の参照画像ブロックと１対１で対応する、取得すること、
記憶されるべき画素の位置範囲を参照画像内で判定し、その位置範囲内のすべての画素を記憶するようにメモリ６３０を制御することであって、位置範囲は候補参照画像ブロックのすべての画素をカバーし、候補参照画像ブロックはＮ個の参照画像ブロックのうちの少なくとも１つの画像ブロックである、制御すること、及び、
動き情報のうちの候補動き情報に従ってメモリ６３０からその位置範囲内の画素を読み取り、その位置範囲内の画素に従って目標データストリームで復号化処理を実行して現在の画像ブロックを再構成することであって、候補動き情報は、候補参照画像ブロックに対応する動き情報である、再構成すること
を行うように構成される。
【０２３９】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、候補動き情報は、Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
プロセッサ６２０は、具体的に、Ｎ個の動き情報から候補動き情報を判定すること、
候補動き情報に従ってメモリ６３０から位置範囲内の画素を読み取って候補参照画像ブロックを取得すること、
候補参照画像ブロックに従って候補動き情報から最適動き情報を判定すること、及び、
最適動き情報に従って目標データストリームで復号化処理を実行すること
を行うように構成される。
【０２４０】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのすべての画像ブロックである。
【０２４１】
任意選択で、候補参照画像ブロックは、Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである。
【０２４２】
任意選択で、プロセッサ６２０は、具体的に、Ｎ個の動き情報から候補動き情報を判定すること、及び、
候補動き情報に従って参照画像内で位置範囲を判定すること
を行うように構成される。
【０２４３】
任意選択で、プロセッサ６２０は、具体的に、メモリ６３０の使用可能なメモリ帯域幅及び／又は現在の画像ブロックが属する画像の属性情報に従ってＮ個の動き情報から候補動き情報を判定するように構成され、ここで、属性情報は、
現在の画像ブロックが属する画像の解像度、現在の画像ブロックが属する画像の内容、現在の画像ブロックが属する画像のソース、又は現在の画像ブロックが属する画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される。
【０２４４】
任意選択で、プロセッサ６２０は、具体的に、候補動き情報を示すために使用される第１のインデックス情報を目標データストリームから取得すること、及び
第１のインデックス情報に従ってＮ個の動き情報から候補動き情報を判定すること
を行うように構成される。
【０２４５】
任意選択で、プロセッサ６２０は、具体的に、参照画像内の位置範囲の位置及び対象範囲を示すために使用される第２のインデックス情報を目標データストリームから取得すること、及び、
第２のインデックス情報に従って参照画像内で位置範囲を判定すること
を行うように構成される。
【０２４６】
本発明の本実施形態では、デコーダ６００の構成要素は、バス６１０を使用することによって、ともに結合される。バス６１０は、データバスに加えて、電力バス、制御バス、及びステータス信号バスを含む。しかし、明確な説明のために、様々なタイプのバスは、図中でバス６１０として示される。
【０２４７】
プロセッサ６２０は、本発明の本方法の実施形態で開示されるステップ及び論理ブロック図を実装又は実行することができる。プロセッサ６２０は、マイクロプロセッサでもよく、又は、そのプロセッサは、従来のプロセッサ、デコーダなどでもよい。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、復号化プロセッサにおいてハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。そのソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。その記憶媒体はメモリ６３０内に置かれ、プロセッサはメモリ６３０内の情報を読み取り、プロセッサのハードウェアと組み合わせて前述の方法のステップを完了する。
【０２４８】
本発明の本実施形態では、プロセッサ６２０は、中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、略して「ＣＰＵ」）でもよく、或いは、プロセッサ６２０は、別の汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は別のプログラマブル論理デバイス、離散的ゲート又はトランジスタ論理デバイス、離散的ハードウェア構成要素などでもよい。汎用プロセッサは、マイクロプロセッサでもよく、又は、プロセッサは任意の従来のプロセッサなどでもよいことを理解されたい。
【０２４９】
メモリ６３０は、読取り専用メモリ及びランダムアクセスメモリを含み、命令及びデータをプロセッサ６２０に提供することができる。メモリ６３０の一部はさらに、不揮発性ランダムアクセスメモリを含み得る。たとえば、メモリ６３０はさらに、デバイスタイプ情報を記憶することができる。
【０２５０】
一実装プロセスで、前述の方法のステップは、プロセッサ６２０内のハードウェアの集積論理回路によって又はソフトウェア形式の命令によって実行され得る。本発明の実施形態を参照して開示される本方法のステップは、ハードウェアプロセッサを使用することによって直接実行及び完了することができ、又は、プロセッサ内のハードウェア及びソフトウェアモジュールの組合せを使用することによって実行及び完了することができる。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読取り専用メモリ、プログラマブル読取り専用メモリ、電気的消去可能プログラマブルメモリ、又はレジスタなどの本分野の成熟した記憶媒体内に置かれ得る。
【０２５１】
本発明の実施形態において画像処理デコーダ６００は、本発明の実施形態の本方法におけるエンコーダ側に対応することができ、そして、画像処理デコーダ６００の各ユニット、すなわち各モジュール、の前述の及び他の動作及び／又は機能は、図４の方法２００の対応するプロセスを実装することを別個に意図されており、詳細は、簡潔性を目的として、本明細書で再度説明はされない。
【０２５２】
本発明の本実施形態における画像処理デコーダによれば、位置範囲は、その位置範囲が少なくとも１つの動き情報に対応する画素をカバーするように、参照画像において判定され、そして、前述の位置範囲内の画素がメモリに同時に読み込まれる場合、最適動き情報は、各動き情報の対応する画素を別個に読み取るのではなくて、少なくとも１つの動き情報から判定することができる。したがって、メモリ帯域幅の要件は低減することができ、システム要件及び費用は低減することができる。
【０２５３】
本発明の実施形態では、エンコーダ側及びデコーダ側が、同じルールを使用することによって、位置範囲と、符号化及び復号化処理のために使用される動きベクトルとを前もって判定する場合、エンコーダ側及びデコーダ側が位置範囲を判定する方式（すなわち、判定された位置範囲がすべての又はいくつかの参照画像ブロックをカバーする場合）が一致することが確保される必要があることに留意されたい。具体的には、判定された位置範囲がいくつかの参照画像ブロックをカバーする場合、エンコーダ側によって判定される位置範囲によってカバーされる画像ブロックが、デコーダ側によって判定される位置範囲によってカバーされる画像ブロックと一致することが確保されることが必要とされる。
【０２５４】
加えて、前述の説明では、位置範囲が参照画像内の矩形範囲である実施形態が列挙されたが、本発明はそれに限定されない。位置範囲の形は、その位置範囲が候補参照画像ブロックをカバーし得ることが確保され得る限り、任意で設定することができ、本発明で具体的に限定されない。
【０２５５】
前述のプロセスのシーケンス番号は、本発明の様々な実施形態における実行順序を意味しないことを理解されたい。プロセスの実行順序は、プロセスの機能及び内部ロジックに従って判定されるべきであり、本発明の実施形態の実装プロセスの制限として解釈されるべきではない。
【０２５６】
加えて、メモリ帯域幅は、単位時間内のメモリのメモリ空間アクセスの時間の量を評価するための指標である。
【０２５７】
本明細書で開示される実施形態で説明される例と組み合わせて、ユニット及びアルゴリズムステップが、電子ハードウェア或いはコンピュータソフトウェア及び電子ハードウェアの組合せによって実装され得ることが、当業者には理解され得る。機能がハードウェアによって実行されるかソフトウェアによって実行されるかは、本技術的解決法の個々の適用例及び設計制約条件に応じて決まる。当業者は、異なる方法を使用して各特定の適用例のために記載された機能を実装し得るが、その実装が本発明の範囲を超えると考えられるべきではない。
【０２５８】
前述のシステム、装置、及びユニットの詳細な動作プロセスについて、便利及び簡潔な説明を目的として、前述の方法の実施形態における対応するプロセスが参照され得ることを当業者は明確に理解することができ、詳細は本明細書で再度説明はされない。
【０２５９】
本願で提供されるいくつかの実施形態では、開示されるシステム、装置、及び方法は他の方式でも実装され得ることを理解されたい。たとえば、記載された装置実施形態は、単に例示である。たとえば、ユニット分割は、単に論理的機能分割であり、実際の実装形態では他の分割でもよい。たとえば、複数のユニット又は構成要素は、別のシステムに結合又は統合することができ、或いは、いくつかの特徴は、省略しても又は実行しなくてもよい。加えて、表示された又は論じられた相互結合若しくは直接結合又は通信接続は、いくつかのインターフェースを使用することによって、実装することができる。装置又はユニット間の間接結合又は通信接続が、電子的、機械的、又は他の形で実装され得る。
【０２６０】
別個の部分として説明されたユニットは、物理的に別個であってもなくてもよく、ユニットとして表示された部分は、物理ユニットであってもなくてもよく、１か所に置かれてもよく、又は、複数のネットワークユニットで分散されてもよい。ユニットのうちのいくつか又はすべては、実施形態の解決法の目的を達成するための実際のニーズに従って、選択することができる。
【０２６１】
加えて、本発明の実施形態における機能ユニットは、１つの処理ユニットに統合してもよく、又は、各々のユニットが物理的に離れて存在してもよく、又は、２つ以上のユニットが１つのユニットに統合される。
【０２６２】
機能がソフトウェア機能ユニットの形で実装され、独立した製品として販売又は使用されるとき、それらの機能は、コンピュータ可読記憶媒体に記憶され得る。そのような理解に基づいて、基本的に本発明の技術的解決法、又は先行技術に寄与する部分、又は本技術的解決法の一部は、ソフトウェア製品の形で実装することができる。コンピュータソフトウェア製品は、記憶媒体に記憶され、本発明の実施形態で説明される本方法のステップのすべて又は一部を実行するようにコンピュータデバイス（パーソナルコンピュータ、サーバ、ネットワークデバイスなどでもよい）に命令するためのいくつかの命令を含む。前述の記憶媒体は、ＵＳＢフラッシュドライブ、取外し可能ハードディスク、読取り専用メモリ（ＲＯＭ、Ｒｅａｄ−ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気ディスク、又は光ディスクなど、プログラムコードを記憶することができる任意の媒体を含む。
【０２６３】
前述の説明は単に、本発明の特定の実装方式であるが、本発明の保護範囲を限定するものではない。本発明で開示される技術的範囲内で当業者によって容易に考え出される任意の変更又は置換は、本発明の保護範囲内にあるものとする。したがって、本発明の保護範囲は、本特許請求の範囲の保護範囲によるものとする。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するステップであって、前記Ｎ個の隣接画像ブロックは、前記Ｎ個の動き情報と１対１で対応し、前記Ｎ個の動き情報は、前記現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、前記Ｎ個の動き情報は、前記Ｎ個の参照画像ブロックと１対１で対応する、ステップと、
事前設定ルールに従って前記Ｎ個の動き情報から候補動き情報を判定するステップであって、前記候補動き情報は、前記Ｎ個の動き情報のうちの少なくとも１つの情報である、ステップと、
前記候補動き情報に従って、記憶されるべき画素の位置範囲を前記参照画像内で判定し、前記位置範囲内のすべての画素を記憶するステップであって、前記位置範囲は候補参照画像ブロックのすべての画素をカバーし、前記候補参照画像ブロックは、前記Ｎ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、前記候補参照画像ブロックは、前記候補動き情報に対応する画像ブロックである、ステップと、
前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して目標データストリームを生成するステップと
を含む、画像処理方法。
【請求項２】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、前記候補動き情報が、前記Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行する前記ステップが、
前記候補動き情報に従って前記位置範囲内の前記画素を読み取って前記候補参照画像ブロックを取得するステップと、
前記候補参照画像ブロックに従って前記候補動き情報から最適動き情報を判定するステップと、
前記最適動き情報に従って前記現在の画像ブロックで符号化処理を実行するステップと
を含む、請求項１に記載の方法。
【請求項３】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである、請求項１又は２に記載の方法。
【請求項４】
事前設定ルールに従って前記Ｎ個の動き情報から候補動き情報を判定する前記ステップが、
使用可能なメモリ帯域幅及び／又は前記現在の画像ブロックが属する画像の属性情報に従って前記Ｎ個の動き情報から前記候補動き情報を判定するステップ
を含み、前記属性情報は、
前記現在の画像ブロックが属する前記画像の解像度、前記現在の画像ブロックが属する前記画像の内容、前記現在の画像ブロックが属する前記画像のソース、又は前記現在の画像ブロックが属する前記画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される、請求項３に記載の方法。
【請求項５】
前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して目標データストリームを生成する前記ステップが、
前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して前記目標データストリームを生成するステップであって、前記目標データストリームが第１のインデックス情報を備え、前記第１のインデックス情報が前記候補動き情報を示すために使用される、ステップ
を含む、請求項３又は４に記載の方法。
【請求項６】
前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して目標データストリームを生成する前記ステップが、
前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して前記目標データストリームを生成するステップであって、前記目標データストリームは、第２のインデックス情報を備え、前記第２のインデックス情報は、前記参照画像内の前記位置範囲の位置及び対象範囲を示すために使用される、ステップ
を含む、請求項３から５のいずれか一項に記載の方法。
【請求項７】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのすべての画像ブロックである、請求項１又は２に記載の方法。
【請求項８】
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するステップであって、前記Ｎ個の隣接画像ブロックは、前記Ｎ個の動き情報と１対１で対応し、前記Ｎ個の動き情報は、前記現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、前記Ｎ個の動き情報は、前記Ｎ個の参照画像ブロックと１対１で対応する、ステップと、
記憶されるべき画素の位置範囲を前記参照画像内で判定し、前記位置範囲内のすべての画素を記憶するステップであって、前記位置範囲は、候補参照画像ブロックのすべての画素をカバーし、前記候補参照画像ブロックは、前記Ｎ個の参照画像ブロックのうちの少なくとも１つの画像ブロックである、ステップと、
前記Ｎ個の動き情報のうちの候補動き情報に従って前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って目標データストリームで復号化処理を実行して前記現在の画像ブロックを再構成するステップであって、前記候補動き情報は、前記候補参照画像ブロックに対応する動き情報である、ステップと
を含む、画像処理方法。
【請求項９】
前記候補参照画像ブロックは、前記Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、前記候補動き情報は、前記Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
前記動き情報のうちの候補動き情報に従って前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って目標データストリームで復号化処理を実行する前記ステップが、
前記Ｎ個の動き情報から前記候補動き情報を判定するステップと、
前記候補動き情報に従って前記位置範囲内の前記画素を読み取って前記候補参照画像ブロックを取得するステップと、
前記候補参照画像ブロックに従って前記候補動き情報から最適動き情報を判定するステップと、
前記最適動き情報に従って前記目標データストリームで復号化処理を実行するステップと
を含む、請求項８に記載の方法。
【請求項１０】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのすべての画像ブロックである、請求項８又は９に記載の方法。
【請求項１１】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである、請求項８又は９に記載の方法。
【請求項１２】
記憶されるべき画素の位置範囲を前記参照画像内で判定する前記ステップが、
前記Ｎ個の動き情報から前記候補動き情報を判定するステップと、
前記候補動き情報に従って前記参照画像内で前記位置範囲を判定するステップと
を含む、請求項１１に記載の方法。
【請求項１３】
前記Ｎ個の動き情報から前記候補動き情報を判定する前記ステップが、
使用可能なメモリ帯域幅及び／又は前記現在の画像ブロックが属する画像の属性情報に従って前記Ｎ個の動き情報から前記候補動き情報を判定するステップ
を含み、前記属性情報が、
前記現在の画像ブロックが属する前記画像の解像度、前記現在の画像ブロックが属する前記画像の内容、前記現在の画像ブロックが属する前記画像のソース、又は前記現在の画像ブロックが属する前記画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される、請求項９又は１２に記載の方法。
【請求項１４】
前記Ｎ個の動き情報から前記候補動き情報を判定する前記ステップが、
前記候補動き情報を示すために使用される第１のインデックス情報を前記目標データストリームから取得するステップと、
前記第１のインデックス情報に従って前記Ｎ個の動き情報から前記候補動き情報を判定するステップと
を含む、請求項９又は１２に記載の方法。
【請求項１５】
記憶されるべき画素の位置範囲を前記参照画像内で判定する前記ステップが、
前記参照画像内の前記位置範囲の位置及び対象範囲を示すために使用される第２のインデックス情報を前記目標データストリームから取得するステップと、
前記第２のインデックス情報に従って前記参照画像において前記位置範囲を判定するステップと
を含む、請求項８から１４のいずれか一項に記載の方法。
【請求項１６】
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するように構成された取得ユニットであって、前記Ｎ個の隣接画像ブロックは、前記Ｎ個の動き情報と１対１で対応し、前記Ｎ個の動き情報は、前記現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、前記Ｎ個の動き情報は、前記Ｎ個の参照画像ブロックと１対１で対応する、取得ユニットと、
前記Ｎ個の動き情報のうちの少なくとも１つの情報である候補動き情報を事前設定ルールに従って前記Ｎ個の動き情報から判定し、前記候補動き情報に従って記憶されるべき画素の位置範囲を前記参照画像内で判定するように構成された判定ユニットであって、前記位置範囲は、候補参照画像ブロックのすべての画素をカバーし、前記候補参照画像ブロックは、前記Ｎ個の参照画像ブロックのうちの少なくとも１つの画像ブロックであり、前記候補動き情報は、前記候補参照画像ブロックに対応する動き情報である、判定ユニットと、
前記位置範囲内のすべての画素を記憶するように構成された、記憶ユニットと、
前記記憶ユニットから前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して目標データストリームを生成するように構成された、処理ユニットと
を備える、画像処理装置。
【請求項１７】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、前記候補動き情報が、前記Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
前記処理ユニットが、具体的に、前記候補動き情報に従って前記記憶ユニットから前記位置範囲内の前記画素を読み取って前記候補参照画像ブロックを取得し、
前記候補参照画像ブロックに従って前記候補動き情報から最適動き情報を判定し、
前記最適動き情報に従って前記現在の画像ブロックで符号化処理を実行するように構成された、請求項１６に記載の装置。
【請求項１８】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである、請求項１６又は１７に記載の装置。
【請求項１９】
前記判定ユニットが、具体的に、使用可能なメモリ帯域幅及び／又は前記現在の画像ブロックが属する画像の属性情報に従って前記Ｎ個の動き情報から前記候補動き情報を判定し、前記候補動き情報に従って前記参照画像内で前記位置範囲を判定するように構成され、前記属性情報が、
前記現在の画像ブロックが属する前記画像の解像度、前記現在の画像ブロックが属する前記画像の内容、前記現在の画像ブロックが属する前記画像のソース、又は前記現在の画像ブロックが属する前記画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される、請求項１８に記載の装置。
【請求項２０】
前記処理ユニットが、具体的に、前記記憶ユニットから前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して前記目標データストリームを生成するように構成され、前記目標データストリームは、第１のインデックス情報を備え、前記第１のインデックス情報は、前記候補動き情報を示すために使用される、請求項１８又は１９に記載の装置。
【請求項２１】
前記処理ユニットが、具体的に、前記記憶ユニットから前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って前記現在の画像ブロックで符号化処理を実行して前記目標データストリームを生成するように構成され、前記目標データストリームは、第２のインデックス情報を備え、前記第２のインデックス情報は、前記参照画像内の前記位置範囲の位置及び対象範囲を示すために使用される、請求項１８から２０のいずれか一項に記載の装置。
【請求項２２】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのすべての画像ブロックである、請求項１６又は１７に記載の装置。
【請求項２３】
現在の画像ブロックに隣接するＮ個の隣接画像ブロックからＮ個の動き情報を取得するように構成された取得ユニットであって、前記Ｎ個の隣接画像ブロックは、前記Ｎ個の動き情報と１対１で対応し、前記Ｎ個の動き情報は、前記現在の画像ブロックの参照画像内のＮ個の参照画像ブロックを示すために使用され、前記Ｎ個の動き情報は、前記Ｎ個の参照画像ブロックと１対１で対応する、取得ユニットと、
記憶されるべき画素の位置範囲を前記参照画像内で判定するように構成された判定ユニットであって、前記位置範囲は、候補参照画像ブロックのすべての画素をカバーし、前記候補参照画像ブロックは、前記Ｎ個の参照画像ブロックのうちの少なくとも１つの画像ブロックである、判定ユニットと、
前記位置範囲内のすべての画素を記憶するように構成された、記憶ユニットと、
前記動き情報のうちの候補動き情報に従って前記記憶ユニットから前記位置範囲内の前記画素を読み取り、前記位置範囲内の前記画素に従って目標データストリームで復号化処理を実行して前記現在の画像ブロックを再構成するように構成された処理ユニットであって、前記候補動き情報は、前記候補参照画像ブロックに対応する動き情報である、処理ユニットと
を備える、画像処理装置。
【請求項２４】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのうちの少なくとも２つの画像ブロックであり、前記候補動き情報が、前記Ｎ個の動き情報のうちの少なくとも２つの動き情報であり、そして、
前記判定ユニットがさらに、前記Ｎ個の動き情報から前記候補動き情報を判定するように構成され、そして、
前記処理ユニットが、具体的に、前記判定ユニットから前記候補動き情報を取得し、前記候補動き情報に従って前記位置範囲内の前記画素を読み取って、前記候補参照画像ブロックを取得し、前記候補参照画像ブロックに従って前記候補動き情報から最適動き情報を判定し、前記最適動き情報に従って前記目標データストリームで復号化処理を実行するように構成された、請求項２３に記載の装置。
【請求項２５】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのすべての画像ブロックである、請求項２３又は２４に記載の装置。
【請求項２６】
前記候補参照画像ブロックが、前記Ｎ個の参照画像ブロックのうちのいくつかの画像ブロックである、請求項２３又は２４に記載の装置。
【請求項２７】
前記判定ユニットが、具体的に、前記Ｎ個の動き情報から前記候補動き情報を判定し、前記候補動き情報に従って前記参照画像内で前記位置範囲を判定するように構成された、請求項２６に記載の装置。
【請求項２８】
前記判定ユニットが、具体的に、使用可能なメモリ帯域幅及び／又は前記現在の画像ブロックが属する画像の属性情報に従って前記Ｎ個の動き情報から前記候補動き情報を判定するように構成され、前記属性情報が、
前記現在の画像ブロックが属する前記画像の解像度、前記現在の画像ブロックが属する前記画像の内容、前記現在の画像ブロックが属する前記画像のソース、又は前記現在の画像ブロックが属する前記画像の制作スタイル
のパラメータのうちの少なくとも１つを示すために使用される、請求項２４又は２７に記載の装置。
【請求項２９】
前記判定ユニットが、具体的に、前記目標データストリームから第１のインデックス情報を取得し、前記第１のインデックス情報に従って前記Ｎ個の動き情報から前記候補動き情報を判定するように構成され、前記第１のインデックス情報は、前記候補動き情報を示すために使用される、請求項２４又は２７に記載の装置。
【請求項３０】
前記判定ユニットが、具体的に、前記目標データストリームから第２のインデックス情報を取得し、前記第２のインデックス情報に従って前記参照画像内で前記位置範囲を判定するように構成され、前記第２のインデックス情報は、前記参照画像内の前記位置範囲の位置及び対象範囲を示すために使用される、請求項２３から２９のいずれか一項に記載の装置。
【国際調査報告】
2017505021.tif 000013
2017505021.tif 000014
2017505021.tif 000015
2017505021.tif 000016