(57)【要約】  画像動き補償方法及び装置であり、この方法は、現在の画像ブロックの初期動きベクトルを取得し、この初期動きベクトルが指向する参照画像が特定参照画像である場合、この初期動きベクトルに基づいて、この現在の画像ブロックに動き補償を行い、この初期動きベクトルが指向する参照画像が非特定参照画像である場合、この初期動きベクトルを修正し、修正後の動きベクトルを得て、この修正後の動きベクトルに基づいて、この現在の画像ブロックに動き補償を行うことを含む。この方法は、特定参照画像の画像エッジの明らかな揺れにより、意義のない検索を行うことを回避し、符号化復号化効率を高めることができる。
2021520124.tif 000002
【特許請求の範囲】
【請求項１】
画像動き補償方法であって、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
前記初期ＭＶが指向する参照画像が特定参照画像である場合、前記初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、
前記初期ＭＶが指向する参照画像が非特定参照画像である場合、前記初期ＭＶを修正し、修正後のＭＶを得て、前記修正後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、を含む画像動き補償方法。
【請求項２】
前記初期ＭＶが指向する参照画像が非特定参照画像である場合、前記初期ＭＶを修正し、修正後のＭＶを得て、前記修正後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことは、
前記現在の画像ブロックのＭＶ候補リストを取得し、前記ＭＶ候補リストにおけるいずれかの候補ＭＶが指向する参照画像が非特定参照画像であることと、
前記ＭＶ候補リストに基づいて、前記初期ＭＶを確定することと、
前記初期ＭＶを修正し、修正後のＭＶを得ることと、
前記修正後のＭＶに基づいて、前記現在の画像ブロックに動き補償を行うことと、を含む請求項１に記載の方法。
【請求項３】
前記現在の画像ブロックのＭＶ候補リストを取得することは、
前記ＭＶ候補リストに加えるための候補ＭＶを確定し、前記候補ＭＶが指向する参照画像が非特定参照画像である場合、前記候補ＭＶを前記ＭＶ候補リストに加えることを含む請求項２に記載の方法。
【請求項４】
前記方法は、
前記候補ＭＶが指向する参照画像のフレームマークに基づいて、前記候補ＭＶが指向する参照画像が非特定参照画像であると確定することをさらに含む請求項３に記載の方法。
【請求項５】
前記ＭＶ候補リストは、
前記現在の画像ブロックが高度動きベクトル予測ＡＭＶＰモードにある場合、非特定参照画像に対して得られたオリジナルＡＭＶＰ候補ＭＶ、
非特定参照画像に対して得られたマージ候補ＭＶ、
非特定参照画像から補間により得られたＭＶ、及び
前記現在のブロックの非特定参照画像に対する上方隣接ＭＶと左側隣接ＭＶのうちの少なくとも一つの候補ＭＶを含む請求項２〜４のいずれか一項に記載の方法。
【請求項６】
前記ＭＶ候補リストに基づいて、前記初期ＭＶを確定することは、
双方向マッチング法とテンプレートマッチング法とのうちの少なくとも一つに基づいて、前記ＭＶ候補リストにおける候補ＭＶに対応する歪みコストを確定することと、
前記ＭＶ候補リストにおける歪みコストが最も小さいＭＶを前記初期ＭＶとすることと、を含む請求項５に記載の方法。
【請求項７】
前記初期ＭＶを修正し、修正後のＭＶを得ることは、
前記現在の画像ブロックにサブＭＶ候補リストを生成し、前記サブＭＶ候補リストには前記初期ＭＶを含むことと、
前記サブＭＶ候補リストから歪みコストが最も小さいＭＶを前記修正後のＭＶとして確定することと、を含む請求項６に記載の方法。
【請求項８】
前記初期ＭＶは、第１初期ＭＶ、及び第２初期ＭＶを含み、
前記初期ＭＶが指向する参照画像が特定参照画像である場合、前記初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行うことは、
前記第１初期ＭＶ、及び前記第２初期ＭＶのうちの少なくとも一つの初期ＭＶが指向する参照画像が特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、
前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する参照画像がいずれも非特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、修正後の第１ＭＶ、及び修正後の第２ＭＶを得て、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、を含む請求項１に記載の方法。
【請求項９】
前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、修正後の第１ＭＶ、及び修正後の第２ＭＶを得ることは、
第１参照画像ブロック、及び第２参照画像ブロックに基づいて、テンプレートを生成し、ここで、前記第１参照画像ブロックは、前記第１初期ＭＶに対応し、かつ第１参照画像に属し、前記第２参照画像ブロックは、前記第２初期ＭＶに対応し、かつ第２参照画像に属することと、
前記テンプレートに基づいて、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶを得ることと、を含む請求項８に記載の方法。
【請求項１０】
前記テンプレートに基づいて、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶを得ることは、
Ｎ個の第３参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｎ個の第３参照画像ブロックは、Ｎ個の第３初期ＭＶに対応し、かつ前記第１参照画像に属することと、
Ｍ個の第４参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｍ個の第４参照画像ブロックは、Ｍ個の第４初期ＭＶに対応し、かつ前記第２参照画像に属することと、
前記マッチング結果に基づいて、前記Ｎ個の第３初期ＭＶから一つの第３初期ＭＶを選択し、及び前記Ｍ個の第４初期ＭＶから一つの第４初期ＭＶを選択し、前記一つの第３初期ＭＶ、及び前記一つの第４初期ＭＶを前記現在の画像ブロックのＭＶとし、又は前記現在の画像ブロックのＭＶを確定することに用いることと、を含む請求項９に記載の方法。
【請求項１１】
前記第３初期ＭＶは、前記第１初期ＭＶを含み、前記第４初期ＭＶは、前記第２初期ＭＶを含む請求項１０に記載の方法。
【請求項１２】
前記Ｎ個の第３初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第１初期ＭＶに基づいて偏移して得られ、前記Ｍ個の第４初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第２初期ＭＶに基づいて偏移して得られたものである請求項１０又は１１に記載の方法。
【請求項１３】
前記Ｎは、前記Ｍに等しい請求項１０〜１２のいずれか一項に記載の方法。
【請求項１４】
前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの後方向フレームであり、又は、
前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの前方向フレームである請求項１０〜１３のいずれか一項に記載の方法。
【請求項１５】
前記特定参照画像は、長期参照画像、合成フレーム、出力されないフレームのうちの少なくとも一つを含む請求項１〜１４のいずれか一項に記載の方法。
【請求項１６】
前記方法は、
前記参照画像が出力されないフレームであると確定し、前記参照画像が合成フレームであると確定する場合、前記参照画像を前記特定参照画像であると確定することをさらに含む請求項１〜１５のいずれか一項に記載の方法。
【請求項１７】
前記非特定参照画像は、短期参照画像を含む請求項１〜１６のいずれか一項に記載の方法。
【請求項１８】
画像動き補償装置であって、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリと、
前記少なくとも一つのメモリにアクセスし、かつ前記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサと、を含み、前記操作は、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
前記初期ＭＶが指向する参照画像が特定参照画像である場合、前記初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、
前記初期ＭＶが指向する参照画像が非特定参照画像である場合、前記初期ＭＶを修正し、修正後のＭＶを得て、前記修正後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、である画像動き補償装置。
【請求項１９】
前記プロセッサは、具体的に、
前記現在の画像ブロックのＭＶ候補リストを取得し、前記ＭＶ候補リストにおけるいずれかの候補ＭＶが指向する参照画像が非特定参照画像であり、
前記ＭＶ候補リストに基づいて、前記初期ＭＶを確定し、
前記初期ＭＶを修正し、修正後のＭＶを得て、
前記修正後のＭＶに基づいて、前記現在の画像ブロックに動き補償を行うためのものである請求項１８に記載の画像動き補償装置。
【請求項２０】
前記プロセッサは、さらに、
前記ＭＶ候補リストに加えるための候補ＭＶを確定し、前記候補ＭＶが指向する参照画像が非特定参照画像である場合、前記候補ＭＶを前記ＭＶ候補リストに加えるためのものである請求項１９に記載の画像動き補償装置。
【請求項２１】
前記プロセッサは、さらに、
前記候補ＭＶが指向する参照画像のフレームマークに基づいて、前記候補ＭＶが指向する参照画像が非特定参照画像であると確定するためのものである請求項１８〜２０のいずれか一項に記載の画像動き補償装置。
【請求項２２】
前記ＭＶ候補リストは、
前記現在の画像ブロックが高度動きベクトル予測ＡＭＶＰモードにある場合、非特定参照画像に対して得られたオリジナルＡＭＶＰ候補ＭＶ、
非特定参照画像に対して得られたマージ候補ＭＶ、
非特定参照画像から補間により得られたＭＶ、及び
前記現在のブロックの非特定参照画像に対する上方隣接ＭＶと左側隣接ＭＶのうちの少なくとも一つの候補ＭＶを含む請求項２１に記載の画像動き補償装置。
【請求項２３】
前記プロセッサは、具体的に、
双方向マッチング法とテンプレートマッチング法とのうちの少なくとも一つに基づいて、前記ＭＶ候補リストにおける候補ＭＶに対応する歪みコストを確定し、
前記ＭＶ候補リストにおける歪みコストが最も小さいＭＶを前記初期ＭＶとするためのものである請求項２２に記載の画像動き補償装置。
【請求項２４】
前記プロセッサは、具体的に、
前記現在の画像ブロックにサブＭＶ候補リストを生成し、前記サブＭＶ候補リストには前記初期ＭＶを含み、
前記サブＭＶ候補リストから歪みコストが最も小さいＭＶを前記修正後のＭＶとして確定するためのものである請求項１８〜２０のいずれか一項に記載の画像動き補償装置。
【請求項２５】
前記初期ＭＶは、第１初期ＭＶ、及び第２初期ＭＶを含み、
前記プロセッサは、具体的に、
前記第１初期ＭＶ、及び前記第２初期ＭＶのうちの少なくとも一つの初期ＭＶが指向する参照画像が特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行い、
前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する参照画像がいずれも非特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、修正後の第１ＭＶ、及び修正後の第２ＭＶを得て、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶに基づいて前記現在の画像ブロックに動き補償を行うためのものである請求項１８に記載の画像動き補償装置。
【請求項２６】
前記プロセッサは、具体的に、
第１参照画像ブロック、及び第２参照画像ブロックに基づいて、テンプレートを生成し、ここで、前記第１参照画像ブロックは、前記第１初期ＭＶに対応し、かつ第１参照画像に属し、前記第２参照画像ブロックは、前記第２初期ＭＶに対応し、かつ第２参照画像に属し、
前記テンプレートに基づいて、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶを得るためのものである請求項２５に記載の画像動き補償装置。
【請求項２７】
前記プロセッサは、具体的に、
Ｎ個の第３参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｎ個の第３参照画像ブロックは、Ｎ個の第３初期ＭＶに対応し、かつ前記第１参照画像に属し、
Ｍ個の第４参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｍ個の第４参照画像ブロックは、Ｍ個の第４初期ＭＶに対応し、かつ前記第２参照画像に属し、
前記マッチング結果に基づいて、前記Ｎ個の第３初期ＭＶから一つの第３初期ＭＶを選択し、及び前記Ｍ個の第４初期ＭＶから一つの第４初期ＭＶを選択し、前記一つの第３初期ＭＶ、及び前記一つの第４初期ＭＶを前記現在の画像ブロックのＭＶとし、又は前記現在の画像ブロックのＭＶを確定することに用いるためのものである請求項２６に記載の画像動き補償装置。
【請求項２８】
前記第３初期ＭＶは、前記第１初期ＭＶを含み、前記第４初期ＭＶは、前記第２初期ＭＶを含む請求項２７に記載の画像動き補償装置。
【請求項２９】
前記Ｎ個の第３初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第１初期ＭＶに基づいて偏移して得られ、前記Ｍ個の第４初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第２初期ＭＶに基づいて偏移して得られたものである請求項２７又は２８に記載の画像動き補償装置。
【請求項３０】
前記Ｎは、前記Ｍに等しい請求項２７〜２９のいずれか一項に記載の画像動き補償装置。
【請求項３１】
前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの後方向フレームであり、又は、
前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの前方向フレームである請求項２７〜３０のいずれか一項に記載の画像動き補償装置。
【請求項３２】
前記特定参照画像は、長期参照画像、合成フレーム、出力されないフレームのうちの少なくとも一つを含む請求項１８〜３１のいずれか一項に記載の画像動き補償装置。
【請求項３３】
前記プロセッサは、さらに、
前記参照画像が出力されないフレームであると確定し、かつ前記参照画像が合成フレームであるとさらに確定する場合、前記参照画像を前記特定参照画像であると確定するためのものである請求項１８〜３２のいずれか一項に記載の画像動き補償装置。
【請求項３４】
前記非特定参照画像は、短期参照画像を含む請求項１８〜３３のいずれか一項に記載の画像動き補償装置。
【請求項３５】
コンピュータで読み取り可能な記憶媒体であって、
これにはコマンドが記憶され、コマンドがコンピュータで運用される場合、コンピュータに請求項１〜１７のいずれか一項に記載の画像動き補償方法を実行させるコンピュータで読み取り可能な記憶媒体。
【請求項３６】
請求項１８〜３４のいずれか一項に記載の画像動き補償装置を含む符号化デバイス。
【請求項３７】
請求項１８〜３４のいずれか一項に記載の画像動き補償装置を含む復号化デバイス。
【請求項３８】
画像動き補償方法であって、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
前記初期ＭＶのスケーリング比率を確定し、ここで、前記初期ＭＶが特定参照画像を指向する場合、前記初期ＭＶのスケーリング比率は、１であることと、
前記初期ＭＶのスケーリング比率に基づいて、前記初期ＭＶをスケーリングすることと、
前記スケーリング後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、を含む画像動き補償方法。
【請求項３９】
前記スケーリング後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことは、
前記スケーリング後のＭＶを修正し、修正後のＭＶを得ることと、
前記修正後のＭＶに基づいて、前記現在の画像ブロックに動き補償を行うことと、を含む請求項３８に記載の方法。
【請求項４０】
前記現在の画像ブロックの初期動きベクトルＭＶを取得することは、
前記現在の画像ブロックのＭＶ候補リストを取得することと、
前記ＭＶ候補リストに基づいて、前記初期ＭＶを確定することと、を含む請求項３８又は３９に記載の方法。
【請求項４１】
前記ＭＶ候補リストにおけるいずれかの候補ＭＶが指向する参照画像は、非特定参照画像である請求項４０に記載の方法。
【請求項４２】
前記現在の画像ブロックのＭＶ候補リストを取得することは、
前記ＭＶ候補リストに加えるための候補ＭＶを確定し、前記候補ＭＶが指向する参照画像が非特定参照画像である場合、前記候補ＭＶを前記ＭＶ候補リストに加えることを含む請求項４１に記載の方法。
【請求項４３】
前記方法は、
前記候補ＭＶが指向する参照画像のフレームマークに基づいて、前記候補ＭＶが指向する参照画像が非特定参照画像であると確定することをさらに含む請求項４２に記載の方法。
【請求項４４】
前記ＭＶ候補リストは、
前記現在の画像ブロックが高度動きベクトル予測ＡＭＶＰモードにある場合、非特定参照画像に対して得られたオリジナルＡＭＶＰ候補ＭＶ、
非特定参照画像に対して得られたマージ候補ＭＶ、
非特定参照画像から補間により得られたＭＶ、及び
前記現在のブロックの非特定参照画像に対する上方隣接ＭＶと左側隣接ＭＶのうちの少なくとも一つの候補ＭＶを含む請求項４０〜４３のいずれか一項に記載の方法。
【請求項４５】
前記ＭＶ候補リストに基づいて、前記初期ＭＶを確定することは、
双方向マッチング法とテンプレートマッチング法とのうちの少なくとも一つに基づいて、前記ＭＶ候補リストにおける候補ＭＶに対応する歪みコストを確定することと、
前記ＭＶ候補リストにおける歪みコストが最も小さいＭＶを前記初期ＭＶとすることと、を含む請求項４４に記載の方法。
【請求項４６】
前記スケーリング後のＭＶを修正し、修正後のＭＶを得ることは、
前記現在の画像ブロックにサブＭＶ候補リストを生成し、前記サブＭＶ候補リストには前記スケーリング後のＭＶを含むことと、
前記サブＭＶ候補リストから歪みコストが最も小さいＭＶを前記修正後のＭＶとして確定することと、を含む請求項４５に記載の方法。
【請求項４７】
前記初期ＭＶは、第１初期ＭＶ、及び第２初期ＭＶを含み、前記方法は、
前記第１初期ＭＶ、及び前記第２初期ＭＶのうちの少なくとも一つの初期ＭＶが指向する参照画像が特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶのスケーリング比率をいずれも１にセットし、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、
前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する参照画像がいずれも非特定参照画像である場合、前記第１初期ＭＶのスケーリング比率、及び前記第２初期ＭＶのスケーリング比率を確定し、前記第１初期ＭＶのスケーリング比率に基づいて、前記第１初期ＭＶをスケーリングし、前記第２初期ＭＶのスケーリング比率に基づいて、前記第２初期ＭＶをスケーリングし、前記スケーリング後の第１初期ＭＶ、及び前記スケーリング後の第２初期ＭＶに基づいて、前記現在の画像ブロックに動き補償を行うこととのうちの少なくとも一つを含む請求項３８に記載の方法。
【請求項４８】
前記スケーリング後の第１初期ＭＶ、及び前記スケーリング後の第２初期ＭＶに基づいて、前記現在の画像ブロックに動き補償を行うことは、
第１参照画像ブロック、及び第２参照画像ブロックに基づいて、テンプレートを生成し、ここで、前記第１参照画像ブロックは前記スケーリング後の第１初期ＭＶに対応し、かつ第２参照画像に属し、前記第２参照画像ブロックは前記スケーリング後の第２初期ＭＶに対応し、かつ第１参照画像に属し、前記第１参照画像は、前記第１初期ＭＶが指向する参照画像であり、前記第２参照画像は、前記第２初期ＭＶが指向する参照画像であることと、
前記テンプレートに基づいて、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶを得ることと、を含む請求項４７に記載の方法。
【請求項４９】
前記テンプレートに基づいて、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶを得ることは、
Ｎ個の第３参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｎ個の第３参照画像ブロックは、Ｎ個の第３初期ＭＶに対応し、かつ前記第１参照画像に属することと、
Ｍ個の第４参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｍ個の第４参照画像ブロックは、Ｍ個の第４初期ＭＶに対応し、かつ前記第２参照画像に属することと、
前記マッチング結果に基づいて、前記Ｎ個の第３初期ＭＶから一つの第３初期ＭＶを選択し、及び前記Ｍ個の第４初期ＭＶから一つの第４初期ＭＶを選択し、前記一つの第３初期ＭＶ、及び前記一つの第４初期ＭＶを前記現在の画像ブロックのＭＶとし、又は前記現在の画像ブロックのＭＶを確定することに用いることと、を含む請求項４７に記載の方法。
【請求項５０】
前記第３初期ＭＶは、前記第１初期ＭＶを含み、前記第４初期ＭＶは、前記第２初期ＭＶを含む請求項４９に記載の方法。
【請求項５１】
前記Ｎ個の第３初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第１初期ＭＶに基づいて偏移して得られ、前記Ｍ個の第４初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第２初期ＭＶに基づいて偏移して得られたものである請求項４９又は５０に記載の方法。
【請求項５２】
前記Ｎは、前記Ｍに等しい請求項４９〜５１のいずれか一項に記載の方法。
【請求項５３】
前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの後方向フレームであり、又は、
前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの前方向フレームである請求項４９〜５２のいずれか一項に記載の方法。
【請求項５４】
前記特定参照画像は、長期参照画像、合成フレーム、出力されないフレームのうちの少なくとも一つを含む請求項３８〜５３のいずれか一項に記載の方法。
【請求項５５】
前記方法は、
前記参照画像が出力されないフレームであると確定し、かつ前記参照画像が合成フレームであるとさらに確定する場合、前記参照画像を前記特定参照画像であると確定することをさらに含む請求項３８〜５４のいずれか一項に記載の方法。
【請求項５６】
前記非特定参照画像は、短期参照画像を含む請求項３８〜５５のいずれか一項に記載の方法。
【請求項５７】
画像動き補償装置であって、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリと、
前記少なくとも一つのメモリにアクセスし、かつ前記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサと、を含み、前記操作は、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
前記初期ＭＶのスケーリング比率を確定し、ここで、前記初期ＭＶが特定参照画像を指向する場合、前記初期ＭＶのスケーリング比率は、１であることと、
前記初期ＭＶのスケーリング比率に基づいて、前記初期ＭＶをスケーリングすることと、
前記スケーリング後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、である装置。
【請求項５８】
前記プロセッサが前記スケーリング後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことは、
前記スケーリング後のＭＶを修正し、修正後のＭＶを得ることと、
前記修正後のＭＶに基づいて、前記現在の画像ブロックに動き補償を行うことと、を含む請求項５７に記載の画像動き補償装置。
【請求項５９】
前記プロセッサが現在の画像ブロックの初期動きベクトルＭＶを取得することは、
前記現在の画像ブロックのＭＶ候補リストを取得することと、
前記ＭＶ候補リストに基づいて、前記初期ＭＶを確定することと、を含む請求項５７又は５８に記載の画像動き補償装置。
【請求項６０】
前記ＭＶ候補リストにおけるいずれかの候補ＭＶが指向する参照画像は、非特定参照画像である請求項５９に記載の画像動き補償装置。
【請求項６１】
前記プロセッサが前記現在の画像ブロックのＭＶ候補リストを取得することは、
前記ＭＶ候補リストに加えるための候補ＭＶを確定し、前記候補ＭＶが指向する参照画像が非特定参照画像である場合、前記候補ＭＶを前記ＭＶ候補リストに加えることを含む請求項６０に記載の画像動き補償装置。
【請求項６２】
前記プロセッサは、さらに、
前記候補ＭＶが指向する参照画像のフレームマークに基づいて、前記候補ＭＶが指向する参照画像が非特定参照画像であると確定するためのものである請求項６１に記載の画像動き補償装置。
【請求項６３】
前記ＭＶ候補リストは、
前記現在の画像ブロックが高度動きベクトル予測ＡＭＶＰモードにある場合、非特定参照画像に対して得られたオリジナルＡＭＶＰ候補ＭＶ、
非特定参照画像に対して得られたマージ候補ＭＶ、
非特定参照画像から補間により得られたＭＶ、及び
前記現在のブロックの非特定参照画像に対する上方隣接ＭＶと左側隣接ＭＶのうちの少なくとも一つの候補ＭＶを含む請求項５９〜６２のいずれか一項に記載の画像動き補償装置。
【請求項６４】
前記プロセッサが前記ＭＶ候補リストに基づいて、前記初期ＭＶを確定することは、
双方向マッチング法とテンプレートマッチング法とのうちの少なくとも一つに基づいて、前記ＭＶ候補リストにおける候補ＭＶに対応する歪みコストを確定することと、
前記ＭＶ候補リストにおける歪みコストが最も小さいＭＶを前記初期ＭＶとすることと、を含む請求項６３に記載の画像動き補償装置。
【請求項６５】
前記プロセッサが前記スケーリング後のＭＶを修正し、修正後のＭＶを得ることは、
前記現在の画像ブロックにサブＭＶ候補リストを生成し、前記サブＭＶ候補リストには前記スケーリング後のＭＶを含むことと、
前記サブＭＶ候補リストから歪みコストが最も小さいＭＶを前記修正後のＭＶとして確定することと、を含む請求項６４に記載の画像動き補償装置。
【請求項６６】
前記初期ＭＶは、第１初期ＭＶ、及び第２初期ＭＶを含み、前記プロセッサは、具体的に、
前記第１初期ＭＶ、及び前記第２初期ＭＶのうちの少なくとも一つの初期ＭＶが指向する参照画像が特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶのスケーリング比率をいずれも１にセットし、前記第１初期ＭＶ、及び第２初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、
前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する参照画像がいずれも非特定参照画像である場合、前記第１初期ＭＶのスケーリング比率、及び前記第２初期ＭＶのスケーリング比率を確定し、前記第１初期ＭＶのスケーリング比率に基づいて、前記第１初期ＭＶをスケーリングし、前記第２初期ＭＶのスケーリング比率に基づいて、前記第２初期ＭＶをスケーリングし、前記スケーリング後の第１初期ＭＶ、及び前記スケーリング後の第２初期ＭＶに基づいて、前記現在の画像ブロックに動き補償を行うこととのうちの少なくとも一つのためのものである請求項５７に記載の画像動き補償装置。
【請求項６７】
前記プロセッサが前記スケーリング後の第１初期ＭＶ、及び前記スケーリング後の第２初期ＭＶに基づいて、前記現在の画像ブロックに動き補償を行うことは、
第１参照画像ブロック、及び第２参照画像ブロックに基づいて、テンプレートを生成し、ここで、前記第１参照画像ブロックは前記スケーリング後の第１初期ＭＶに対応し、かつ第２参照画像に属し、前記第２参照画像ブロックは前記スケーリング後の第２初期ＭＶに対応し、かつ第１参照画像に属し、前記第１参照画像は、前記第１初期ＭＶが指向する参照画像であり、前記第２参照画像は、前記第２初期ＭＶが指向する参照画像であることと、
前記テンプレートに基づいて、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶを得ることと、を含む請求項６６に記載の画像動き補償装置。
【請求項６８】
前記プロセッサが前記テンプレートに基づいて、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶを得ることは、
Ｎ個の第３参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｎ個の第３参照画像ブロックは、Ｎ個の第３初期ＭＶに対応し、かつ前記第１参照画像に属することと、
Ｍ個の第４参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｍ個の第４参照画像ブロックは、Ｍ個の第４初期ＭＶに対応し、かつ前記第２参照画像に属することと、
前記マッチング結果に基づいて、前記Ｎ個の第３初期ＭＶから一つの第３初期ＭＶを選択し、及び前記Ｍ個の第４初期ＭＶから一つの第４初期ＭＶを選択し、前記一つの第３初期ＭＶ、及び前記一つの第４初期ＭＶを前記現在の画像ブロックのＭＶとし、又は前記現在の画像ブロックのＭＶを確定することに用いることと、を含む請求項６６に記載の画像動き補償装置。
【請求項６９】
前記第３初期ＭＶは、前記第１初期ＭＶを含み、前記第４初期ＭＶは、前記第２初期ＭＶを含む請求項６８に記載の画像動き補償装置。
【請求項７０】
前記Ｎ個の第３初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第１初期ＭＶに基づいて偏移して得られ、前記Ｍ個の第４初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第２初期ＭＶに基づいて偏移して得られたものである請求項６８又は６９に記載の画像動き補償装置。
【請求項７１】
前記Ｎは、前記Ｍに等しい請求項６８〜７０のいずれか一項に記載の画像動き補償装置。
【請求項７２】
前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの後方向フレームであり、又は、
前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの前方向フレームである請求項６８〜７１のいずれか一項に記載の画像動き補償のため装置。
【請求項７３】
前記特定参照画像は、長期参照画像、合成フレーム、出力されないフレームのうちの少なくとも一つを含む請求項５７〜７２のいずれか一項に記載の画像動き補償装置。
【請求項７４】
前記プロセッサは、さらに、
前記参照画像が出力されないフレームであると確定し、かつ前記参照画像が合成フレームであるとさらに確定する場合、前記参照画像を前記特定参照画像であると確定するためのものである請求項５７〜７３のいずれか一項に記載の画像動き補償装置。
【請求項７５】
前記非特定参照画像は、短期参照画像を含む請求項５７〜７４のいずれか一項に記載の画像動き補償装置。
【請求項７６】
コンピュータで読み取り可能な記憶媒体であって、
これにはコマンドが記憶され、コマンドがコンピュータで運用される場合、コンピュータに請求項３８〜５６のいずれか一項に記載の画像動き補償方法を実行させるコンピュータで読み取り可能な記憶媒体。
【請求項７７】
請求項５７〜７５のいずれか一項に記載の画像動き補償装置を含む符号化デバイス。
【請求項７８】
請求項５７〜７５のいずれか一項に記載の画像動き補償装置を含む復号化デバイス。
【請求項７９】
画像処理方法であって、
第１初期動きベクトルＭＶ、及び第２初期ＭＶを取得し、前記第１初期ＭＶは、第１参照画像を指向し、前記第２初期ＭＶは、第２参照画像を指向することと、
前記第１参照画像、及び前記第２参照画像のうちの少なくとも一つが特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、
前記第１参照画像、及び前記第２参照画像がいずれも非特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値に基づいて、現在の画像ブロックのＭＶを計算して得て、前記現在の画像ブロックのＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、を含む方法。
【請求項８０】
前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値に基づいて、現在の画像ブロックのＭＶを計算して得ることは、
前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値、及び最適化原理に基づいて、前記現在の画像ブロックのＭＶを計算して得ることを含む請求項７９に記載の方法。
【請求項８１】
前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることは、
前記第１初期ＭＶが指向する第１参照画像ブロック、及び前記第２初期ＭＶが指向する第２参照画像ブロックを加重合計し、前記現在の画像ブロックの予測画像ブロックを得ることを含む７９又は８０に記載の方法。
【請求項８２】
前記第１初期ＭＶ、及び前記第２初期ＭＶの予測方向は異なる請求項７９〜８１のいずれか一項に記載の方法。
【請求項８３】
前記第１初期ＭＶ、及び前記第２初期ＭＶの予測方向は同じであり、前記第１初期ＭＶ、及び前記第２初期ＭＶはいずれも０でなく、前記第１参照画像、及び前記第２参照画像は異なる請求項７９〜８２のいずれか一項に記載の方法。
【請求項８４】
前記現在の画像ブロックのＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることは、
前記現在の画像ブロックのＭＶ、前記第１初期ＭＶが指向する第１参照画像ブロック、及び前記第２初期ＭＶが指向する第２参照画像ブロックに基づいて、前記現在の画像ブロックの予測画像ブロックを計算して得ることを含む請求項７９〜８３のいずれか一項に記載の方法。
【請求項８５】
前記特定参照画像は、長期参照画像、合成フレーム、出力されないフレームのうちの少なくとも一つを含む請求項７９〜８４のいずれか一項に記載の方法。
【請求項８６】
前記方法は、
前記第１参照画像と前記第２参照画像とのうちの少なくとも一つが出力されないフレームであると確定し、かつ前記第１参照画像と前記第２参照画像とのうちの少なくとも一つが合成フレームであるとさらに確定する場合、前記第１参照画像と前記第２参照画像とのうちの少なくとも一つを前記特定参照画像であると確定することをさらに含む請求項７９〜８５のいずれか一項に記載の方法。
【請求項８７】
前記非特定参照画像は、短期参照画像を含む請求項７９〜８６のいずれか一項に記載の方法。
【請求項８８】
画像処理装置であって、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリと、
前記少なくとも一つのメモリにアクセスし、かつ前記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサと、を含み、前記操作は、
第１初期動きベクトルＭＶ、及び第２初期ＭＶを取得し、前記第１初期ＭＶは、第１参照画像を指向し、前記第２初期ＭＶは、第２参照画像を指向することと、
前記第１参照画像、及び前記第２参照画像のうちの少なくとも一つが特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、
前記第１参照画像、及び前記第２参照画像がいずれも非特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値に基づいて、現在の画像ブロックのＭＶを計算して得て、前記現在の画像ブロックのＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、である装置。
【請求項８９】
前記プロセッサは、具体的に、
前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値、及び最適化原理に基づいて、前記現在の画像ブロックのＭＶを計算して得るためのものである請求項８８に記載の装置。
【請求項９０】
前記プロセッサは、具体的に、
前記第１初期ＭＶが指向する第１参照画像ブロック、及び前記第２初期ＭＶが指向する第２参照画像ブロックを加重合計し、前記現在の画像ブロックの予測画像ブロックを得るためのものである８８又は８９に記載の装置。
【請求項９１】
前記第１初期ＭＶ、及び前記第２初期ＭＶの予測方向は異なる請求項８８〜９０のいずれか一項に記載の装置。
【請求項９２】
前記第１初期ＭＶ、及び前記第２初期ＭＶの予測方向は同じであり、前記第１初期ＭＶ、及び前記第２初期ＭＶはいずれも０でなく、前記第１参照画像、及び前記第２参照画像は異なる請求項８８〜９１のいずれか一項に記載の装置。
【請求項９３】
前記プロセッサは、具体的に、
前記現在の画像ブロックのＭＶ、前記第１初期ＭＶが指向する第１参照画像ブロック、及び前記第２初期ＭＶが指向する第２参照画像ブロックに基づいて、前記現在の画像ブロックの予測画像ブロックを計算して得るためのものである請求項８８〜９２のいずれか一項に記載の装置。
【請求項９４】
前記特定参照画像は、長期参照画像、合成フレーム、出力されないフレームのうちの少なくとも一つを含む請求項８８〜９３のいずれか一項に記載の装置。
【請求項９５】
前記プロセッサは、さらに、
前記第１参照画像と前記第２参照画像とのうちの少なくとも一つが出力されないフレームであると確定し、かつ前記第１参照画像と前記第２参照画像とのうちの少なくとも一つが合成フレームであるとさらに確定する場合、前記第１参照画像と前記第２参照画像とのうちの少なくとも一つを前記特定参照画像であると確定するためのものである請求項８８〜９４のいずれか一項に記載の装置。
【請求項９６】
前記非特定参照画像は、短期参照画像を含む請求項８８〜９５のいずれか一項に記載の装置。
【請求項９７】
コンピュータで読み取り可能な記憶媒体であって、
これにはコマンドが記憶され、コマンドがコンピュータで運用される場合、コンピュータに請求項７９〜８７のいずれか一項に記載の画像処理方法を実行させるコンピュータで読み取り可能な記憶媒体。
【請求項９８】
請求項８８〜９６のいずれか一項に記載の画像処理装置を含む符号化デバイス。
【請求項９９】
請求項８８〜９６のいずれか一項に記載の画像処理装置を含む復号化デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
著作権の宣言
本特許文書により開示される内容には著作権により保護される資料が含まれる。当該著作権は、著作権者により所有される。著作権者は、いかなる者が特許商標局の公式記録、及び公文書に存在する当該特許文書、又は当該特許の開示を複製することにも反対しない。
【０００２】
本出願は、画像処理分野に関し、特に、画像動き補償方法及び装置に関する。
【背景技術】
【０００３】
ここ数年、携帯型デバイス、ハンディ型デバイス、及びウェアラブルデバイスの流行により、動画の容量が増え続けている。動画形態がより複雑になるにつれて、動画の記憶と伝送もより難しくなっている。動画の記憶と伝送が占めるバンド幅を軽減するために、通常、符号化端で動画データを符号化圧縮し、復号化端で復号化する。
【０００４】
符号化圧縮過程は、予測、変換、定量化、及びエントロピー符号化などの処理を含む。ここで、予測は、フレーム内予測、及びフレーム間予測の二種類のタイプを含み、それは、予測ブロックデータを利用して現在の符号化対象画像ブロックの冗長情報を取り除くことを目的とする。フレーム内予測は、本フレーム画像の情報を利用して予測ブロックデータを取得する。フレーム間予測は、参照画像の情報を利用して予測ブロックデータを取得し、その過程は、現在の符号化対象画像を複数の符号化対象画像ブロックに分け、符号化対象画像ブロックを複数のサブ画像ブロックに分け、その後、各サブ画像ブロックに対して、参照画像において現在のサブ画像ブロックに最もマッチングする画像ブロックを検索して予測画像ブロックとし、予測画像ブロックと現在のサブ画像ブロックとの相対変位がすなわち動きベクトルである。その後、このサブ画像ブロックと予測画像ブロックとの対応画素値を引いて残差を得る。得られた各サブ画像ブロックに対応する残差を一体に組み合わせ、符号化対象画像ブロックの残差を得る。残差は、変換、定量化、エントロピー符号化などの処理の後、エントロピー符号化ビットストリームを得て、エントロピー符号化ビットストリーム、及び例えば、フレーム内予測モード、動きベクトル（又は動きベクトル残差）などの情報といった符号化後の符号化モード情報を記憶し、又は復号化端へ送信する。
【０００５】
画像の復号化端では、エントロピー符号化ビットストリームを得た後にエントロピー復号化し、対応する残差を得て、復号化により得られた動きベクトル、フレーム内予測などの情報に基づいて復号化対象画像ブロックに対応する予測画像ブロックを検索し、予測画像ブロックと残差に基づいて復号化対象画像ブロックにおける各画素点の値を得る。
【０００６】
以上の説明から、フレーム間予測を行う場合、選択された参照画像と現在の符号化対象画像が類似するほど、フレーム間予測により生じる残差が小さくなり、これによりフレーム間予測の符号化効率を高めることがわかる。具体的には、既存の技術では動画における各画像を利用してシーンを含む背景コンテンツの高品質な特定参照画像を構築できるものがある。フレーム間予測を行う場合、現在の符号化対象画像、又は現在の復号化対象画像の背景部分は、前記高品質な特定参照画像を参照して、フレーム間予測の残差情報を減らすことに用いることができ、これにより符号化効率を高める。つまり、この特定参照画像は、フレーム間予測の参照画像である。長期参照画像は、復号化済み画像ではなく、人工的に構築された画像である。長期参照画像には複数の画像ブロックが含まれ、いずれかの画像ブロックはいずれもある復号化済み画像から抽出されたものであり、長期参照画像における異なる画像ブロックは、異なる復号化済み画像からの可能性がある。
【０００７】
符号化効率を高め、符号化端により送信される情報量を減らすために、既存の技術では復号化端において動きベクトルを直接、導出できるものがある。符号化端は動きベクトル情報、又は動きベクトル残差情報を送信する必要がなく、復号化端も動きベクトル情報、又は動きベクトル残差情報を復号化せずに真の動きベクトル得ることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
動きベクトルの導出を使用する既存の技術、及び双方向動き予測を使用する技術においては、長期参照画像の特殊性を考慮しないものがある。動きベクトルの導出を使用する技術には動きベクトルが指向する参照画像が長期参照画像であるか否かを考慮しないものがあり、動きベクトルの修正を行う場合に長期参照画像において動き検索を行う可能性があり、これによりかえって検索効率、及び符号化効率を低下させてしまう。双方向動き予測を使用する技術は、画像の時間相関性に基づいて動きベクトルを操作し、関連する動きベクトルが指向する参照画像が長期参照画像である場合、現在の符号化対象画像、又は現在の復号化対象画像と長期参照画像との時間距離の定義が不明確なので、これらの操作は失効する可能性がある。
【課題を解決するための手段】
【０００９】
本出願は、画像動き補償方法、及び画像動き補償装置を提供し、符号化／復号化効率を高めることができる。
【００１０】
第１の態様では、画像動き補償方法を提供し、この方法は、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
前記初期ＭＶが指向する参照画像が特定参照画像である場合、前記初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、
前記初期ＭＶが指向する参照画像が非特定参照画像である場合、前記初期ＭＶを修正し、修正後のＭＶを得て、前記修正後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、を含む。
【００１１】
第２の態様では、画像動き補償装置を提供し、この装置は、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリと、
前記少なくとも一つのメモリにアクセスし、かつ前記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサと、を含み、操作は、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
前記初期ＭＶが指向する参照画像が特定参照画像である場合、前記初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、
前記初期ＭＶが指向する参照画像が非特定参照画像である場合、前記初期ＭＶを修正し、修正後のＭＶを得て、前記修正後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、である。
【００１２】
第３の態様では、コンピュータで読み取り可能な記憶媒体を提供し、これにはコマンドが記憶され、コマンドがコンピュータで運用される場合、コンピュータに第１の態様による画像動き補償方法を実行させる。
【００１３】
第４の態様では、第２の態様による画像動き補償装置を含む符号化デバイスを提供する。
【００１４】
第５の態様では、第２の態様による画像動き補償装置を含む復号化デバイスを提供する。
【００１５】
第６の態様では、画像動き補償方法を提供し、この方法は、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
前記初期ＭＶのスケーリング比率を確定し、ここで、前記初期ＭＶが特定参照画像を指向する場合、前記初期ＭＶのスケーリング比率は、１であることと、
前記初期ＭＶのスケーリング比率に基づいて、前記初期ＭＶをスケーリングすることと、
前記スケーリング後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、を含む。
【００１６】
第７の態様では、画像動き補償装置を提供し、この装置は、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリと、
前記少なくとも一つのメモリにアクセスし、かつ前記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサと、を含み、操作は、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
前記初期ＭＶのスケーリング比率を確定し、ここで、前記初期ＭＶが特定参照画像を指向する場合、前記初期ＭＶのスケーリング比率は、１であることと、
前記初期ＭＶのスケーリング比率に基づいて、前記初期ＭＶをスケーリングすることと、
前記スケーリング後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、である。
【００１７】
第８の態様では、コンピュータで読み取り可能な記憶媒体を提供し、これにはコマンドが記憶され、コマンドがコンピュータで運用される場合、コンピュータに第６の態様による画像動き補償方法を実行させる。
【００１８】
第９の態様では、第７の態様による画像動き補償装置を含む符号化デバイスを提供する。
【００１９】
第１０の態様では、第７の態様による画像動き補償装置を含む復号化デバイスを提供する。
【００２０】
第１１の態様では、画像処理方法を提供し、この方法は、
第１初期動きベクトルＭＶ、及び第２初期ＭＶを取得し、前記第１初期ＭＶは、第１参照画像を指向し、前記第２初期ＭＶは、第２参照画像を指向することと、
前記第１参照画像、及び前記第２参照画像のうちの少なくとも一つが特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、
前記第１参照画像、及び前記第２参照画像がいずれも非特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値に基づいて、現在の画像ブロックのＭＶを計算して得て、前記現在の画像ブロックのＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、を含む。
【００２１】
第１２の態様では、画像処理装置を提供し、この装置は、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリと、
前記少なくとも一つのメモリにアクセスし、かつ前記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサと、を含み、操作は、
第１初期動きベクトルＭＶ、及び第２初期ＭＶを取得し、前記第１初期ＭＶは、第１参照画像を指向し、前記第２初期ＭＶは、第２参照画像を指向することと、
前記第１参照画像、及び前記第２参照画像のうちの少なくとも一つが特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、
前記第１参照画像、及び前記第２参照画像がいずれも非特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値に基づいて、現在の画像ブロックのＭＶを計算して得て、前記現在の画像ブロックのＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、である。
【００２２】
第１３の態様では、コンピュータで読み取り可能な記憶媒体を提供し、これにはコマンドが記憶され、コマンドがコンピュータで運用される場合、コンピュータに第１１の態様による画像処理方法を実行させる。
【００２３】
第１４の態様では、第１２の態様による画像処理装置を含む符号化デバイスを提供する。
【００２４】
第１５の態様では、第１２の態様による画像処理装置を含む復号化デバイスを提供する。
【図面の簡単な説明】
【００２５】
【図１】本出願の一つの実施例の画像動き補償方法の概略的フローチャートである。
【図２】本出願の一つの実施例の双方向マッチング法の原理概略図である。
【図３】本出願の一つの実施例のテンプレートマッチング法の原理概略図である。
【図４】本出願の一つの実施例のＤＭＶＲ技術の原理概略図である。
【図５】本出願の他の一つの実施例の画像処理方法の概略的フローチャートである。
【図６】本出願の一つの実施例のＢＩＯ技術の原理概略図である。
【図７】本出願の一つの実施例の画像動き補償装置の概略的フレーム図である。
【図８】本出願の一つの実施例の画像処理装置の概略的フレーム図である。
【図９】本出願の他の一つの実施例の画像動き補償方法の概略的フローチャートである。
【図１０】本出願の別の一つの実施例の画像動き補償装置の概略的フレーム図である。
【発明を実施するための形態】
【００２６】
以下に図面を踏まえて、本出願の実施例における技術的解決手段を説明する。
【００２７】
別途定義される場合を除き、本文に使用されるすべての技術用語及び学術用語は、本出願の技術分野の当業者が通常理解する意味と同じである。本文においては、本出願の明細書で使用される技術用語は、具体的な実施例を説明する目的のために過ぎず、本出願を限定することを目的としていない。
【００２８】
まず本出願の実施例に関する関連する技術、及び概念を説明する。
【００２９】
動画とは、複数の画像からなるものである。動画を符号化／復号化する場合、動画における異なる画像は、異なる予測方法を採用できる。画像に基づいて採用される予測方法は、画像をフレーム内予測画像、及びフレーム間予測画像に分けることができ、ここでのフレーム間予測画像は、前方向予測画像、及び双方向予測画像を含む。Ｉ画像は、フレーム内予測画像であり、キーフレームともいい、Ｐ画像は、前方向予測画像であり、それ以前の符号化／復号化済みの一枚のＰ画像、又はＩ画像を参照画像とする。Ｂ画像は、双方向予測画像であり、前後の画像を参照画像とする。一実施形態は、符号化／復号化端が複数枚の画像を符号化／復号化した後に一段ずつのグループオブピクチャ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ、ＧＯＰ）を生成し、このＧＯＰは、一枚のＩ画像、及び複数枚のＢ画像（又は双方向予測画像）とＰ画像（又は前方向予測画像）とのうちの少なくとも一つからなるグループオブピクチャである。復号化端は、放映時に一段ずつのＧＯＰを読み取って復号化した後に画面を読取り、レンダリング表示する。
【００３０】
現代の動画符号化／復号化規格において、画像を複数の小さなブロックに分け、異なる解像度の画像について符号化／復号化することができ、つまり画像は、複数の画像ブロックに分けることができる。画像は、いずれかの数の画像ブロックに分けることができる。例えば、この画像は、ｍ×ｎ画像ブロック行列に分けることができる。画像ブロックは、矩形形状、正方形形状、円形形状、又はいずれかのその他の形状を有することができる。画像ブロックは、いずれかのサイズを有することができ、例えば、ｐ×ｑ画素である。各画像ブロックはいずれも同じサイズと形状とのうちの少なくとも一つを有することができる。代替可能には、二つ又はさらに多くの画像ブロックは異なるサイズと形状とのうちの少なくとも一つを有することができる。画像ブロックは、いずれかの重なり部分を有することができ、又は有しないこともできる。いくつかの実施例において、この画像ブロックは、いくつかの符号化／復号化規格において、マクロブロック、又は最大符号化ユニット（Ｌａｒｇｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ、ＬＣＵ）と呼ばれる。Ｈ．２６４規格について、この画像ブロックは、マクロブロックと呼ばれ、その大きさは、１６×１６画素であってよい。高効率映像符号化（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、ＨＥＶＣ）規格について、画像ブロックは、最大符号化ユニットと呼ばれ、その大きさは、画素６４×６４画素であってよい。
【００３１】
他のいくつかの実施例において、画像ブロックは、マクロブロック若しくは最大符号化ユニットでなくてもよく、マクロブロック若しくは最大符号化ユニットの一部を含み、又は少なくとも二つの完全なマクロブロック（若しくは最大符号化ユニット）を含み、又は少なくとも一つの完全なマクロブロック（若しくは最大符号化ユニット）と一つのマクロブロック（若しくは最大符号化ユニット）の一部を含み、又は少なくとも二つの完全なマクロブロック（若しくは最大符号化ユニット）といくつかのマクロブロック（若しくは最大符号化ユニット）の一部を含む。このように、画像が複数の画像ブロックに分けられた後、それぞれ画像データにおけるこれらの画像ブロックを符号化／復号化できる。
【００３２】
符号化過程は、予測、変換、定量化、及びエントロピー符号化などの処理を含む。ここで、予測は、フレーム内予測、及びフレーム間予測の二種類のタイプを含み、それは、予測ブロックデータを利用して現在の符号化対象画像ブロックの冗長情報を取り除くことを目的とする。フレーム内予測は、本フレーム画像の情報を利用して予測ブロックデータを取得する。フレーム間予測は、参照画像の情報を利用して予測ブロックデータを取得し、その過程は、現在の符号化対象画像を複数の符号化対象画像ブロックに分け、符号化対象画像ブロックを複数のサブ画像ブロックに分け、その後、各サブ画像ブロックに対して、参照画像において現在のサブ画像ブロックに最もマッチングする画像ブロックを検索して予測画像ブロックとし、予測画像ブロックと現在のサブ画像ブロックとの相対変位がすなわち動きベクトルである。その後、このサブ画像ブロックと予測画像ブロックとの対応画素値を引いて残差を得る。得られた各サブ画像ブロックに対応する残差を一体に組み合わせ、符号化対象画像ブロックの残差を得る。
【００３３】
本出願の各実施例において、変換行列により画像ブロックの残差の関連性を取り除くことができ、すなわち画像ブロックの冗長情報を取り除くことで、符号化効率を高める。画像ブロックにおけるデータブロックの変換は通常、二次元変換を採用し、すなわち符号化端は、データブロックの残差情報をそれぞれ一つのＮ×Ｍの変換行列、及びその転置行列と乗じ、乗じた後に得られるのが変換係数である。変換係数を定量化した後に定量化後の係数を得て、最後に定量化後の係数をエントロピー符号化して、エントロピー符号化ビットストリームを得る。エントロピー符号化ビットストリーム、及び例えば、フレーム内予測モード、動きベクトル（又は動きベクトル残差）などの情報といった符号化後の符号化モード情報を記憶し、又は復号化端へ送信する。
【００３４】
画像の復号化端では、エントロピー符号化ビットストリームを得た後にエントロピー符号化し、対応する残差を得る。復号化により得られた動きベクトル、フレーム内予測などの情報に基づいて画像ブロックに対応する予測画像ブロックを検索する。予測画像ブロックと残差に基づいて現在のサブ画像ブロックにおける各画素点の値を得る。
【００３５】
前文において符号化／復号化済みの画像を現在の符号化／復号化対象の参照画像とすることに言及した。いくつかの実施例において、参照画像をさらに構築することで、参照画像と現在の符号化／復号化対象画像との類似度を高めることができる。
【００３６】
例を挙げると、動画コンテンツ内に特定の符号化／復号化シーンがあり、このシーンにおける背景が基本的に変化しない場合、動画内の前景にのみ変化、又は動きが生じる。例えば動画モニタリングは、このタイプのシーンに属する。動画モニタリングシーンでは通常、モニタリングカメラは固定され動かず、又は緩慢な移動のみ生じ、背景は基本的に変化しないと認めることができる。これに対して、動画モニタリングカメラにより撮影された人又は車両などの物体には常に移動又は変化が生じ、前景が常に変化すると認めることができる。このタイプのシーンにおいて、特定の参照画像を構築でき、この特定の参照画像には高品質の背景情報のみ含まれる。この特定参照画像には複数の画像ブロックが含まれることができ、いずれかの画像ブロックはいずれもある復号化済み画像から抽出されたものであり、この特定参照画像における異なる画像ブロックは、異なる復号化済み画像からの可能性がある。フレーム間予測を行う場合、現在の符号化／復号化対象画像の背景部分は、この特定参照画像を参照でき、これによりフレーム間予測の残差情報を減らすことに用いることができ、これにより符号化／復号化効率を高める。
【００３７】
上述は、特定参照画像についての具体的な例示である。いくつかの実施形態において、特定参照画像は、以下のうちの少なくとも一つの性質を有する。合成フレーム（ｃｏｍｐｏｓｉｔｅ  ｒｅｆｅｒｅｎｃｅ）、長期参照画像、出力されない画像である。例えば、この特定参照画像は、合成された長期参照画像であってよく、又は出力されない合成フレームであってよく、又は出力されない長期参照画像などであってよい。いくつかの実施形態において、合成フレームは、合成参照フレームと呼ばれる。
【００３８】
いくつかの実施例において、非特定参照画像は、以下のうちの少なくとも一つの性質を有しない参照画像であってよい。合成フレーム、長期参照画像、出力されない参照画像である。例えば、この特定参照画像は、合成フレーム以外の参照画像を含むことができ、又は長期参照画像以外の参照画像を含むことができ、又は出力されない参照画像以外の参照画像を含むことができ、又は合成された長期参照画像以外の参照画像を含むことができ、又は出力されない合成フレーム以外の参照画像を含むことができ、又は出力されない長期参照画像以外の参照画像を含むことができるなどである。
【００３９】
いくつかの実施形態において、動画における画像を参照画像とできる場合、長期参照画像、及び短期参照画像に分けることができる。ここで、この短期参照画像は、長期参照画像に対応する概念である。短期参照画像は、参照画像のバッファ領域におけるある時間帯に存在し、この短期参照画像を経た後の復号化済みの参照画像が参照画像のバッファ領域において複数の入出操作をされた後、短期参照画像は参照画像のバッファ領域から移動される。参照画像のバッファ領域は、参照画像リストバッファメモリ、参照画像リスト、参照フレームリストバッファメモリ、又は参照フレームリストなどということができ、本文においてはそれを参照画像のバッファ領域と統一する。
【００４０】
長期参照画像（又は長期参照画像における一部データ）は、参照画像のバッファ領域に存在し続けることができ、この長期参照画像（又は長期参照画像における一部データ）は、復号化済みの参照画像の参照画像のバッファ領域における入出操作の影響を受けず、復号化端が更新コマンド操作を送信したときにのみ、この長期参照画像（又は長期参照画像における一部データ）は、参照画像のバッファ領域から移動する。
【００４１】
短期参照画像、及び長期参照画像の異なる規格における呼び方は異なる可能性があり、例えば、Ｈ．２６４／アドバンスビデオコーディング（ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ、ＡＶＣ）、又はＨ．２６５／ＨＥＶＣなどの規格における短期参照画像は、短期参照フレーム（ｓｈｏｒｔ−ｔｅｒｍ  ｒｅｆｅｒｅｎｃｅ）と呼ばれ、長期参照画像は、長期参照フレーム（ｌｏｎｇ−ｔｅｒｍ  ｒｅｆｅｒｅｎｃｅ）と呼ばれる。また、ＡＶＳコーディング規格（ａｕｄｉｏ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｓｔａｎｄａｒｄ、ＡＶＳ）、１−Ｐ２、ＡＶＳ２−Ｐ２、ＩＥＥＥ（ｉｎｓｔｉｔｕｔｅ  ｏｆ  ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  ｅｌｅｃｔｒｏｎｉｃｓ  ｅｎｇｉｎｅｅｒｓ、ＩＥＥＥ）１８５７．９−Ｐ４などの規格において、長期参照画像は、背景フレーム（ｂａｃｋｇｒｏｕｎｄ  ｐｉｃｔｕｒｅ）と呼ばれる。また、ＶＰ８、ＶＰ９などの規格において、長期参照画像はゴールデンフレーム（ｇｏｌｄｅｎ  ｆｒａｍｅ）と呼ばれる。
【００４２】
本出願の実施例において特定の技術用語を採用することは、特定のシーンに応用されなければならないことを示すわけではないことを理解するものとし、例えば、長期参照画像を長期参照フレームということは、Ｈ．２６４／ＡＶＣ又はＨ．２６５／ＨＥＶＣなどの規格に対応する技術に用いらなければならないことを示すわけではない。
【００４３】
以上に述べた長期参照画像は複数の復号化済み画像から抽出された画像ブロックから構築されて得られたものであってよく、又は複数の復号化済み画像を利用して既存の参照フレーム（例えば、予めメモリされた参照フレーム）を更新して得られたものであってよい。当然のことながら、この構築された特定参照画像は、短期参照画像であってもよい。又は、長期参照画像は、構築された参照画像でなくてもよい。
【００４４】
上述の実施形態において、特定参照画像は、長期参照画像を含むことができ、非特定参照画像は、短期参照画像を含むことができる。
【００４５】
選択可能には、参照フレームのタイプは、ストリーム構造において特殊フィールドから識別できる。
【００４６】
選択可能には、参照画像が長期参照画像であると確定する場合、この参照画像を特定参照画像であると確定する。又は参照画像が出力されないフレームであると確定する場合、この参照画像を特定参照画像であると確定する。又は参照画像が合成フレームであると確定する場合、この参照画像を特定参照画像であると確定する。又は参照画像が出力されないフレームであると確定し、かつこの参照画像が合成フレームであると確定する場合、この参照画像を特定参照画像であると確定する。
【００４７】
選択可能には、各種タイプの参照画像はいずれも対応するマークを有することができ、このとき復号化端にとって、参照画像が有するマークによってこの参照画像が特定参照画像であるか否かを確定できる。
【００４８】
いくつかの実施形態において、参照画像が長期参照画像のマークを有すると確定する場合、この参照画像を特定参照画像であると確定する。
【００４９】
いくつかの実施形態において、参照画像が出力されないマークを有すると確定する場合、この参照画像を特定参照画像であると確定する。
【００５０】
いくつかの実施形態において、参照画像が合成フレームのマークを有すると確定する場合、この参照画像を特定参照画像であると確定する。
【００５１】
いくつかの実施形態において、参照画像が以下の３つのマークのうちの少なくとも二つを有する場合、この参照画像を特定参照画像であると確定する。長期参照画像のマーク、出力されないマーク、合成フレーム又は合成参照フレームのマークである。例えば、参照画像が出力されないマークを有すると確定し、かつ参照画像が合成フレームのマークを有すると確定する場合、参照画像を特定参照画像であると確定する。
【００５２】
具体的には、画像は、出力されるフレームか否かを指示するマークを有することができ、ある画像が出力されないと指示される場合、このフレームは参照画像であることを示し、さらに、このフレームが合成フレームのマークを有するか否かを判断し、有する場合、前記参照画像を特定参照画像であると確定する。ある画像が出力されると指示される場合、合成フレームか否かの判断を行わなくてもよく、このフレームは特定参照画像でないと直接、確定する。又は、ある画像が出力されないと指示されるが、合成フレームでないマークを有する場合、このフレームは、特定参照画像でないと確定できる。
【００５３】
選択可能には、画像ヘッダ（ｐｉｃｔｕｒｅ  ｈｅａｄｅｒ）、画像パラメータセット（ＰＰＳ、ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、スライスヘッダ（ｓｌｉｃｅ  ｈｅａｄｅｒ）からパラメータを解析して前記参照画像が以下の条件の一つを満たすと確定する場合、前記参照画像が特定参照画像であると確定する。
【００５４】
前記参照画像が長期参照画像である。
【００５５】
前記参照画像が合成参照画像である。
【００５６】
前記参照画像が出力されない画像である。
【００５７】
前記参照画像が出力されない画像である場合、前記参照画像が合成参照画像であるかをさらに判断する。
【００５８】
前文において動きベクトルの導出を使用する技術に言及したが、動きベクトルを修正する場合、特定参照画像に動き検索を行うと、かえって検索効率、及び符号化／復号化効率を低下させてしまう。特定参照画像は、人工的に構築されたものであり、又は時間順序が早い以前のある特定参照画像からのものであり、特定参照画像における画像ブロックの間には空間上の関連があるとは限らず、画像ブロックエッジに明らかな揺れがあるので、このような特定参照画像に基づいて、動きベクトルを検索する意義は大きくない。
【００５９】
パターンマッチング動きベクトルの導出（Ｐａｔｔｅｒｎ  Ｍａｔｃｈｉｎｇ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｄｅｒｉｖａｔｉｏｎ、ＰＭＭＶＤ）技術、及びデコーダー・サイド・モーション・ベクトル・リファインメント（Ｄｅｃｏｄｅ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｒｅｆｉｎｅｍｅｎｔ、ＤＭＶＲ）技術はいずれも動きベクトルの導出を使用する技術である。
【００６０】
前文ではさらに双方向動き予測を使用する技術に言及し、画像の時間相関性に基づいて動きベクトルを操作し、関連する動きベクトルが指向する参照画像が特定参照画像である場合、現在の符号化対象画像、又は現在の復号化対象画像と特定参照画像との時間距離の定義が不明確なので、これらの操作は失効する可能性がある。双方向オプティカルフロー（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  Ｏｐｔｉｃａｌ  ｆｌｏｗ、ＢＩＯ）予測技術は、双方向動き予測を使用した技術である。
【００６１】
次にＰＭＭＶＤ、ＤＭＶＲ、及びＢＩＯを踏まえて、本発明の画像動き補償方法を、例を挙げて説明する。本発明における画像動き補償方法は、この３つの技術に限定されるわけではないことを説明する必要がある。
【００６２】
本出願の実施例の画像動き補償方法を説明する前に、まずＨＥＶＣ規格での動画符号化復号化過程を簡単に説明する。
【００６３】
ＨＥＶＣ規格は、３つのフレーム間予測のモードを定義している。Ｉｎｔｅｒモード、Ｍｅｒｇｅモード、及びＳｋｉｐモードである。フレーム間予測の目的は、動きベクトル（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ、ＭＶ）を得て、その後、この動きベクトルに基づいて、予測画像ブロックの参照画像における位置を確定することである。近接する画像ブロックは動き方式において類似性があり、例えば、画像ブロック（例えば、符号化対象画像ブロックと復号化対象画像ブロックとのうちの少なくとも一つ）と近接する画像ブロックとはいずれも同一物体に属し、カメラが移動する場合、それらの移動距離と方向は自然と類似し、又は同じであるので、動きベクトルを計算する必要がないことが多く、直接、近接する画像ブロックの動きベクトルを現在の画像ブロックの動きベクトルとする。ここで、Ｍｅｒｇｅモード、及びＳｋｉｐモードでは、動きベクトルの残差（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｄｉｆｆｅｒｅｎｃｅ、ＭＶＤ）は、０であり、すなわち、近接する符号化済み画像ブロック、又は復号化済み画像ブロックに基づいて、直接、動きベクトルを得る。
【００６４】
符号化対象画像ブロックと復号化対象画像ブロックとのうちの少なくとも一つのモードがＭｅｒｇｅモードの場合、作動原理は以下のとおりである。近接する画像ブロックにより一つの動きベクトル予測（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ、ＭＶＰ）候補リストを構築し、ＭＶＰ候補リストから最適なＭＶＰを現在の画像ブロックの動きベクトルとして選択し、その後、この動きベクトルに基づいて、予測画像ブロックの位置を確定し、予測画像ブロックを確定した後に残差を計算して得られる。Ｍｅｒｇｅモードでは、動きベクトルは、ＭＶＰ候補リストから選択されたものであるので、ＭＶＤが存在しない。符号化端は、残差、及び選択された動きベクトルのＭＶＰ候補リストにおけるインデックスについて符号化すればよく、ＭＶＤを符号化する必要はない。復号化端は、類似の方法によりＭＶＰ候補リストを構築でき、その後、符号化端により伝送されたインデックスに基づいて、動きベクトルを得る。復号化端は、動きベクトルに基づいて、予測画像ブロックを確定し、残差を取り込んで復号化して現在の画像ブロックを得る。
【００６５】
Ｍｅｒｇｅモードでの符号化端の具体的な動作プロセスは以下のとおりである。
１．ＭＶＰ候補リストを取得する。
２．ＭＶＰ候補リストから最適なＭＶＰを選択するとともに、このＭＶＰのＭＶＰ候補リストでのインデックスを得る。
３．選択されたＭＶＰを現在の画像ブロックの動きベクトルとする。
４．動きベクトルに基づいて、参照画像から予測画像ブロックを確定する。
５．現在の画像ブロックから予測画像ブロックを引いて残差を得る。
６．動きベクトルは、ＭＶＰ候補リストから選択されたものであるので、ＭＶＤが存在せず、残差、及び選択されたＭＶＰのＭＶＰ候補リストにおけるインデックスを復号化端へ送信すればよい。
【００６６】
Ｍｅｒｇｅモードでの復号化端の具体的な動作プロセスは以下のとおりである。
１．残差、及び動きベクトルのＭＶＰ候補リストでのインデックスを受信する。
２．ＭＶＰ候補リストを取得する。
３．インデックスに基づいて、ＭＶＰ候補リストにおいて動きベクトルを検索して現在の画像ブロックの動きベクトルとする。
４．動きベクトルに基づいて、予測画像ブロックを確定し、残差を取り込んで復号化して現在の画像ブロックを得る。
【００６７】
以上は、通常のＭｅｒｇｅモードでの処理過程である。
【００６８】
Ｓｋｉｐモードは、Ｍｅｒｇｅモードの特殊な例である。Ｍｅｒｇｅモードにより動きベクトルを得た後、エンコーダが、ある方法に基づいて、現在の画像ブロック、及び予測画像ブロックが基本的に同じであると判断した場合、残差のデータを伝送する必要はなく、動きベクトルのＭＶＰ候補リストでのインデックスのみ伝送すればよく、及び現在の画像ブロックは予測画像ブロックから直接、マークを得られることを示す。
【００６９】
Ｉｎｔｅｒモードでは、まずＭＶＰを確定し、その後、ＭＶＰを修正し、ＭＶＤを得る。符号化端は、復号化端へインデックス、及び残差を伝送する必要があるだけでなく、復号化端へＭＶＤも伝送する必要がある。高度動きベクトル予測（Ａｄｖａｎｃｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｉｏｎ、ＡＭＶＰ）は、競争メカニズムにより動きベクトル予測を実現するツールである。
【００７０】
ＡＭＶＰモードでもＭＶＰ候補リストがあり、このＭＶＰ候補リストにおける動きベクトルは、現在の画像ブロックの空間領域、又は時間領域での近接するブロックから得られるものである。ＡＭＶＰモードでのＭＶＰ候補リストは、ＭｅｒｇｅモードでのＭＶＰ候補リストと異なる可能性がある。符号化端、又は復号化端は、ＭＶＰ候補リストから最適なＭＶＰを選択する。このＭＶＰを検索開始点として、その付近を検索し、最適な動きベクトルを得て、この動きベクトルは、現在の画像ブロックの動きベクトルである。この動きベクトルに基づいて、予測画像ブロックの位置を確定し、予測画像ブロックを確定した後に残差を計算して得られる。同時にこのＭＶとＭＶＰとを互いに引いて、ＭＶＤを得る。符号化端は、残差、ＭＶＰのＭＶＰ候補リストにおけるインデックス、及びＭＶＤについて符号化して復号化端へ送信する。復号化端は、類似の方法によりＭＶＰ候補リストを構築でき、その後、符号化端により伝送されたインデックスに基づいて、ＭＶＰを得る。復号化端は、ＭＶＰ、及びＭＶＤに基づいて、ＭＶを確定し、ＭＶに基づいて、予測画像ブロックを確定し、残差を取り込んで復号化して現在の画像ブロックを得る。
【００７１】
ＡＭＶＰモードでの符号化端の具体的な動作プロセスは以下のとおりである。
１．ＭＶＰ候補リストを取得する。
２．ＭＶＰ候補リストから最適なＭＶＰを選択するとともに、このＭＶＰのＭＶＰ候補リストでのインデックスを得る。
３．ＭＶＰに基づいて、検索開始点を確定する。
４．開始点付近で検索し、最適な動きベクトルを得る。
５．動きベクトルに基づいて、参照画像から予測画像ブロックを確定する。
６．現在の画像ブロックから予測画像ブロックを引いて残差を得る。
７．動きベクトルからＭＶＰを引いてＭＶＤを得る。
８．残差、選択されたＭＶＰのＭＶＰ候補リストにおけるインデックス、及びＭＶＤを復号化端へ送信する。
【００７２】
ＡＭＶＰモードでの復号化端の具体的な動作プロセスは、これ以上説明しない。
【００７３】
本出願の実施例は、画像動き補償方法１００を提供する。図１は、本出願の一つの実施例の画像動き補償方法１００の概略的フローチャートである。図１に示すように、この方法１００は、
Ｓ１１０、現在の画像ブロックの初期動きベクトルを取得することと、
Ｓ１２０、この初期動きベクトルが指向する参照画像が特定参照画像である場合、この初期動きベクトルに基づいて、この現在の画像ブロックに動き補償を行うことと、
Ｓ１３０、この初期動きベクトルが指向する参照画像が非特定参照画像である場合、この初期動きベクトルを修正し、修正後の動きベクトルを得て、前記修正後の動きベクトルに基づいてこの現在の画像ブロックに動き補償を行うことと、を含む。
【００７４】
いくつかの実施形態において、初期動きベクトルが特定参照画像を指向する場合、動き補償を直接行い、初期動きベクトルが非特定参照画像を指向する場合、初期動きベクトルを修正し、前記修正後の動きベクトルに基づいて、動き補償を行い、特定参照画像の画像ブロックエッジの明らかな揺れにより、意義のない検索を行うことを回避でき、符号化復号化効率を高めることができる。
【００７５】
可能な実施形態において、本出願の実施例の画像動き補償方法１００は、ＰＭＭＶＤ技術に応用できる。
【００７６】
ＰＭＭＶＤ技術は、フレームレートアップコンバージョン（Ｆｒａｍｅ  Ｒａｔｅ  Ｕｐ  Ｃｏｎｖｅｒｓｉｏｎ、ＦＲＵＣ）技術に基づく特殊なＭｅｒｇｅモードである。このような特殊なＭｅｒｇｅモードでは、現在の画像ブロックの動き情報（例えば、ＭＶとＭＶＤ）は、ストリームにおいて符号化されず、復号化端で直接生成される。
【００７７】
選択可能には、この可能な実施形態において、Ｓ１３０前記初期動きベクトルが指向する参照画像が非特定参照画像である場合、前記初期動きベクトルを修正し、修正後の動きベクトルを得て、前記修正後の動きベクトルに基づいて、前記現在の画像ブロックに動き補償を行うことは、前記現在の画像ブロックの動きベクトル候補リストを取得し、前記動きベクトルの候補リストにおけるいずれかの候補動きベクトルが指向する参照画像が非特定参照画像であることと、前記動きベクトル候補リストに基づいて、前記初期動きベクトルを確定することと、前記初期動きベクトルを修正し、修正後の動きベクトルを得ることと、前記修正後の動きベクトルに基づいて、前記現在の画像ブロックに動き補償を行うことと、を含むことができる。
【００７８】
本実施形態において、動きベクトル候補リストから初期動きベクトルを確定し、この動きベクトル候補リストにおける候補ベクトルが指向する参照画像が非特定参照画像である場合、初期動きベクトルを修正し、修正後の動きベクトルを得て、修正後の動きベクトルに基づいて、現在の画像ブロックに動き補償を行うことは、特定参照画像の画像ブロックエッジの明らかな揺れにより、意義のない検索を行うことを回避し、符号化復号化効率を高めることができる。
【００７９】
選択可能には、可能な実施形態において、現在の画像ブロックの動きベクトル候補リストを取得することは、前記動きベクトル候補リストに加えるための候補動きベクトルを確定し、前記候補動きベクトルが指向する参照画像が非特定参照画像である場合、前記候補動きベクトルを前記動きベクトル候補リストに加えることを含むことができる。
【００８０】
具体的には、一つの実施例において、前記方法１００は、前記候補動きベクトルが指向する参照画像のフレームマークに基づいて、前記候補動きベクトルが指向する参照画像が非特定参照画像であると確定することをさらに含むことができる。具体的には、前記候補動きベクトルが指向する参照画像のフレームマークに基づいて、前記候補動きベクトルが指向する参照画像が特定参照画像であるか否か確定できる。候補動きベクトルが指向する参照画像が特定参照画像である場合、特定参照画像に対応する候補動きベクトルを動きベクトル候補リストに加えなくてもよい。このように、動きベクトル候補リストから初期動きベクトルを選択する場合、特定参照画像に対応する動きベクトルを選択しない。
【００８１】
本出願の各実施例の動きベクトルは、３つのパラメータを含むことを理解するものとし、水平成分ｖｘ、垂直成分ｖｙ及び指向する参照画像のフレームマークである。例えば、このフレームマークは、ピクチャオーダーカウント（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ、ＰＯＣ）であってよく、その他の形態のマークであってもよい。符号化端、及び復号化端は、このフレームマークにより、参照画像の属性を確定でき、この参照画像が特定参照画像か、それとも非特定参照画像かを判断する。
【００８２】
選択可能には、一つの実施例において、前記動きベクトル候補リストに基づいて、初期動きベクトルを確定することは、選択された初期動きベクトルが特定参照画像を指向する動きベクトルか否かを判断し、選択された初期動きベクトルのうちの少なくとも一つが特定参照画像を指向する場合、初期動きベクトルを再度選択し、指向する参照画像が特定参照画像以外の参照画像の初期動きベクトルを選択するまで行うことを含むことができる。
【００８３】
具体的には、動きベクトル候補リストに基づいて、確定された初期動きベクトルが指向するのが特定参照画像である場合、予め設定されたルールに基づいて、動きベクトル候補リストから候補動きベクトルを再度選択し、初期動きベクトルとできる。この予め設定されたルールは例えば、マッチングコストが次に小さい候補動きベクトルを選択し、この候補動きベクトルが指向するのが特定参照画像でない場合、この候補動きベクトルを初期動きベクトルとするものであってよい。この実施例は例示に過ぎず、本出願を限定するわけではない。
【００８４】
符号化端を例とし、ＦＲＵＣ  ｍｅｒｇｅモードでの動きベクトル導出過程は、二つのステップに分かれる。第１ステップは、符号化ユニット（Ｃｏｄｉｎｇ  Ｕｎｉｔ、ＣＵ）レベル動き検索であり、第２ステップは、サブＣＵ（Ｓｕｂ−ＣＵ）レベル動き細密化過程である。類似して、復号化端も符号化端に類似した機能を実現できる。
【００８５】
ＣＵレベル動き検索において、ＣＵレベル動きベクトル候補リストを生成する。双方向マッチング法に基づいて、ＣＵレベル動きベクトル候補リストからマッチングコスト（ｃｏｓｔ）が最も小さい動きベクトルを検索し、例えば、ＭＶ−Ａである。テンプレートマッチング法でもＣＵレベル動きベクトル候補リストからマッチングコストが最も小さい動きベクトルを検索し、例えば、ＭＶ−Ｂである。その後、Ｍｅｒｇｅモード戦略において使用されるレート歪みコスト（Ｒａｔｅ  Ｄｉｓｔｏｒｔｉｏｎ  Ｃｏｓｔ、ＲＤ−Ｃｏｓｔ）戦略に基づいて、現在のＣＵがＦＲＵＣ  ｍｅｒｇｅモードを使用するか否かを決定する。すなわち、ＲＤ−Ｃｏｓｔ戦略を使用して２つのマッチング法（双方向マッチング法、及びテンプレートマッチング法）の結果をチェックする。マッチングコストが小さいマッチング方法により得られた結果をさらに、その他のＣＵモードの結果と再度比較する。二つのマッチング法におけるマッチングコストが小さいマッチング方法は最終的なマッチングコストの最も小さいものであり、現在のＣＵのＦＲＵＣのフラグをＴＲＵＥとし、かつ復号化端が対応するマッチング方法を使用するよう指示する。
【００８６】
この具体的な実施形態において、ＣＵレベル動きベクトル候補リストは、本出願の実施例の方法１００における動きベクトル候補リストに対応できる。動きベクトル候補リストを生成する場合、リストに加えられる動きベクトルを走査し、動きベクトルが非特定参照画像を指向する場合、この動きベクトルを動きベクトル候補リストに加えることができ、特定参照画像を指向する場合、この動きベクトルを棄却して、動きベクトル候補リストに加えない。本実施形態における動きベクトル候補リストは、前記現在の画像ブロックが高度動きベクトル予測ＡＭＶＰモードにある場合、非特定参照画像に対して得られたオリジナルＡＭＶＰ候補動きベクトル、非特定参照画像に対して得られたマージ候補動きベクトル、非特定参照画像から補間により得られた動きベクトル、及び前記現在のブロックの非特定参照画像に対する上方隣接動きベクトルと左側隣接動きベクトルのうちの少なくとも一つの候補動きベクトルを含むことができる。この動きベクトル候補リストは、ＣＵレベル動きベクトル候補リストとしてもよい。本実施形態において、非特定参照画像は具体的に、短期参照画像、又は短期参照フレームであってよいことを理解されたい。
【００８７】
前記動きベクトル候補リストに基づいて、前記初期動きベクトルを確定することは、双方向マッチング法とテンプレートマッチング法とのうちの少なくとも一つに基づいて、前記動きベクトル候補リストにおける候補動きベクトルに対応する歪みコストを確定することと、前記動きベクトル候補リストにおける歪みコストが最も小さい動きベクトルを前記初期動きベクトルとすることと、を含むことができる。
【００８８】
具体的には、符号化端を例とし、前記動きベクトル候補リストに基づいて、初期動きベクトルを確定することは、ＣＵレベル動き検索に対応できる。ＣＵレベル動き検索において、双方向マッチング法に基づいて、ＣＵレベル動きベクトル候補リストからマッチングコストが最も小さい動きベクトルを検索し、例えば、ＭＶ−Ａである。テンプレートマッチング法でもＣＵレベル動きベクトル候補リストからマッチングコストが最も小さい動きベクトルを検索し、例えば、ＭＶ−Ｂである。その後、Ｍｅｒｇｅモード戦略において使用されるＲＤ−Ｃｏｓｔ戦略に基づいて、現在のＣＵがＦＲＵＣ  ｍｅｒｇｅモードを使用するか否かを決定する。すなわち、ＲＤ−Ｃｏｓｔ戦略を使用して２つのマッチング法（双方向マッチング法、及びテンプレートマッチング法）の結果をチェックする。マッチングコストが小さいマッチング方法により得られた結果をさらに、その他のＣＵモードの結果と再度比較する。二つのマッチング法におけるマッチングコストが小さいマッチング方法が最終的なマッチングコストが最も小さいものであり、現在のＣＵのＦＲＵＣのフラグをＴＲＵＥとし、かつ復号化端が対応するマッチング方法を使用するよう指示する。類似して、復号化端も符号化端に類似した機能を実現できるが、復号化端は、符号化端ほど複雑ではなく、例えば、復号化端は、符号化端のマッチング方法を指示するためのフラグを直接受信し、ＲＤ−Ｃｏｓｔ戦略を実行する必要はない。
【００８９】
選択可能には、初期動きベクトルを修正し、修正後の動きベクトルを得ることは、前記現在の画像ブロックにサブ動きベクトル候補リストを生成し、前記サブ動きベクトル候補リストには前記初期動きベクトルを含むことと、前記サブ動きベクトル候補リストから歪みコストが最も小さい動きベクトルを前記修正後の動きベクトルとして確定することと、を含むことができる。
【００９０】
具体的には、初期動きベクトルを修正し、修正後の動きベクトルを得ることは、サブＣＵレベル動き細密化に対応できる。
【００９１】
ＣＵレベル動き検索においてマッチングコストが最も小さい動きベクトルは、初期動きベクトルであり、それはＣＵレベル動き細密化の開始点とされる。開始点周囲においてＣＵレベルにより確定されたマッチング方法（双方向マッチング、又はテンプレートマッチング法）に基づいて、局部検索を行う。具体的には、サブＣＵレベル動き細密化において、サブＣＵレベル動きベクトル候補リストを生成できる。サブＣＵレベル動きベクトル候補リストにおいて、マッチングコストが小さい動きベクトルを検索し、現在のＣＵの動きベクトルとする。
【００９２】
サブＣＵレベル動きベクトル候補リストにおいてＣＵレベル動き検索により確定された動きベクトル（ａｎ  ＭＶ  ｄｅｔｅｒｍｉｎｅｄ  ｆｒｏｍ  ａ  ＣＵ−ｌｅｖｅｌ  ｓｅａｒｃｈ）と、現在の画像ブロックの上方隣接動きベクトル、左側隣接動きベクトル、左上方隣接動きベクトル、及び右上方隣接動きベクトル（ｔｏｐ、ｌｅｆｔ、ｔｏｐ−ｌｅｆｔ  ａｎｄ  ｔｏｐ−ｒｉｇｈｔ  ｎｅｉｇｈｂｏｕｒｉｎｇ  ＭＶｓ）と、参照画像における現在の画像ブロックの対応位置の伸縮後の動きベクトル（ｓｃａｌｅｄ  ｖｅｒｓｉｏｎｓ  ｏｆ  ｃｏｌｌｏｃａｔｅｄ  ＭＶｓ  ｆｒｏｍ  ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅｓ）と、その他の時間領域から導出された候補動きベクトル（ｕｐ  ｔｏ  ４  ＡＴＭＶＰ  ｃａｎｄｉｄａｔｅｓとｕｐ  ｔｏ  ４  ＳＴＭＶＰ  ｃａｎｄｉｄａｔｅｓ）とを含むことができる。
【００９３】
上述の具体的な実施形態において、候補動きベクトルが指向する参照画像が特定参照画像である場合、特定参照画像に対応する候補動きベクトルをＣＵレベル動きベクトル候補リストに加えず、特定参照画像に対応する候補動きベクトルが初期動きベクトルになる機会がないようにする。
【００９４】
他の具体的な実施形態において、ＣＵレベル動きベクトル候補リストに基づいて確定された初期動きベクトルが指向するのが特定参照画像である場合、予め設定されたルールに基づいて、ＣＵレベル動きベクトル候補リストから候補動きベクトルを再度選択し、初期動きベクトルとできる。この予め設定されたルールは例えば、マッチングコストが次に小さい候補動きベクトルを選択し、この候補動きベクトルが指向するのが特定参照画像でない場合、この候補動きベクトルを初期動きベクトルとするものであってよい。
【００９５】
図２は、本出願の一つの実施例の双方向マッチング法の原理概略図である。図２に示すように、双方向マッチング法は、現在のＣＵの動き軌跡において異なる参照画像における二つの予測画像ブロックの間の最も近接したマッチングを検索し、現在のＣＵの動きベクトルを導出する。双方向マッチング法は、現在の画像ブロックの動き軌跡が連続しているとの仮定に基づく。二つの予測画像ブロックの動きベクトルＭＶ０、及びＭＶ１は、現在の画像と二つの参照画像（参照画像０と参照画像１）との間の時間領域距離（ＴＤ０とＴＤ１）と比例するものとする。動きベクトル候補リストを走査し、例えば、ＭＶ０について、動きベクトル対ＭＶ０とＭＶ１を生成できる。ここで、ＭＶ０、ＴＤ０、ＴＤ１に基づいて、ＭＶ１を生成できる。ＭＶ０に対応する動きベクトル対が指向する二つの予測画像ブロックの間の歪みが最も小さい場合、この動きベクトル（つまりＭＶ０）は、現在のＣＵの動きベクトルである。ＴＤ０＝ＴＤ１の場合、双方向マッチングは、鏡像に基づく双方向マッチングに変化する。
【００９６】
二つの参照画像におけるいずれか一つが特定参照画像である場合、現在の画像（現在の符号化対象画像、又は現在の復号化対象画像）と特定参照画像との時間距離の定義が不明確なので、双方向マッチングは実行できないことを理解されたい。しかも、特定参照画像は、人工的に構築されたものであり、又は時間順序が早い以前のある特定参照画像からのものであり、特定参照画像における画像ブロックの間には空間上の関連があるとは限らず、画像ブロックエッジに明らかな揺れがあるので、双方向マッチングがこのような特定参照画像に基づいて、動きベクトルを検索する意義は大きくない。本出願の可能な実施形態において、特定参照画像に対応する候補動きベクトルをＣＵレベル動きベクトル候補リストに加えないことで、上述の課題が生じることを回避する。
【００９７】
図３は、本出願の一つの実施例のテンプレートマッチング法の原理概略図である。図３に示すように、テンプレートマッチング法は、現在の画像のテンプレート（現在のＣＵの上方画像ブロックと左側画像ブロックとのうちの少なくとも一つ）と参照画像におけるブロック（テンプレートの大きさと同じ）との間において最も近接するマッチングを検索し、現在のＣＵの動きベクトルを導出する。テンプレートを得た後に、テンプレートと候補の動きベクトルが指向する予測画像ブロックとの間の歪みが最も小さい場合、この候補の動きベクトルは、現在のＣＵの動きベクトルである。
【００９８】
参照画像が特定参照画像である場合、特定参照画像は、人工的に構築されたものであり、又は時間順序が早い以前のある特定参照画像からのものであり、特定参照画像における画像ブロックの間には空間上の関連があるとは限らず、画像ブロックエッジに明らかな揺れがあるので、このような特定参照画像に基づいて、動きベクトルを検索する意義は大きくなく、すなわちテンプレートマッチング法の結果は不正確であり、ひいては意義がない。本出願の可能な実施形態において、特定参照画像に対応する候補動きベクトルをＣＵレベル動きベクトル候補リストに加えないことで、上述の課題が生じることを回避する。
【００９９】
具体的な実施形態において、本出願の実施例の画像動き補償方法１００は、ＤＭＶＲ技術に応用できる。
【０１００】
ＤＭＶＲ技術は、双方向予測を行う場合、現在の画像ブロックにさらに正確な予測を行うために使用される細密化技術である。次に復号化端を例として、ＤＭＶＲ技術を詳細に説明する。ＤＭＶＲ技術は主に、二つの大きなステップを含み、第１ステップは、複数の初期動きベクトルに対応する復号化済み画像ブロックに基づいて、テンプレートを構築することである。第２ステップは、テンプレートに基づいて、この複数の初期動きベクトルを修正することである。
【０１０１】
具体的には、復号化端は、動きベクトル候補リストを生成できる。例えば、この動きベクトル候補リストは、前文で説明したＡＭＶＰモードの動きベクトル候補リスト、又はＭｅｒｇｅテンプレートの動きベクトル候補リストであってよい。復号化端は、符号化端から送信された初期動きベクトルを指示するための複数のインデックスを受信できる。復号化端は、インデックスに基づいて、動きベクトル候補リストから複数の初期動きベクトルを得る。復号化端は、この複数の初期動きベクトルに対応する復号化済み画像ブロックに基づいて、テンプレート（例えば、画素を加重合計する方法）を生成し、生成されたテンプレートを利用して、それぞれこの複数の初期動きベクトルを修正する。最後に、この修正後の動きベクトルに基づいて前記現在の画像ブロックに動き補償を行う。
【０１０２】
本具体的な実施形態において、初期動きベクトルは、第１初期動きベクトル、及び第２初期動きベクトルを含むことができる。初期動きベクトルにおいて特定参照画像が存在する場合、以下の処理を採用できる。Ｓ１２０、前記現在の初期動きベクトルが指向する参照画像が特定参照画像である場合、前記初期動きベクトルに基づいて、前記現在の画像ブロックに動き補償を行うことは、前記第１初期動きベクトル、及び第２初期動きベクトルのうちの少なくとも一つの初期動きベクトルが指向する参照画像が特定参照画像である場合、前記第１初期動きベクトル、及び前記第２初期動きベクトルに基づいて、前記現在の画像ブロックに動き補償を行うことと、前記第１初期動きベクトル、及び前記第２初期動きベクトルが指向する参照画像がいずれも非特定参照画像である場合、前記第１初期動きベクトル、及び前記第２初期動きベクトルを修正し、修正後の第１動きベクトル、及び修正後の第２動きベクトルを得て、前記修正後の第１動きベクトル、及び前記修正後の第２動きベクトルに基づいて、前記現在の画像ブロックに動き補償を行うことと、を含むことができる。初期動きベクトルにおいて特定参照画像が存在しない場合、すなわち初期動きベクトルはいずれも非特定参照画像である場合、既存のＤＭＶＲの処理方法を採用できる。
【０１０３】
図４は、本出願の一つの実施例のＤＭＶＲ技術の原理概略図である。具体的には、初期動きベクトルが第１初期動きベクトル（例えば、ＭＶ０であってよい）、及び第２初期動きベクトル（例えば、ＭＶ１であってよい）を含み、第１初期動きベクトルに対応する復号化済み画像ブロックが第１フレームの第１復号化済み画像ブロックに属すると仮定すると、この第１フレームは、第１参照画像であってよく、この第１復号化済み画像ブロックは、第１参照画像ブロックであってよい。第２動きベクトルに対応する復号化済み画像ブロックが第２フレームの第２復号化済み画像ブロックに属すると仮定すると、この第２フレームは、第２参照画像であってよく、この第２復号化済み画像ブロックは、第２参照画像ブロックであってよい。この第１参照画像ブロック、及びこの第２参照画像ブロックを加重合計し、テンプレートを得ることができる。ここで、このテンプレートは、双方向テンプレートということができる。
【０１０４】
選択可能には、一つの実施例において、前記初期動きベクトルは、第１初期動きベクトル、及び第２初期動きベクトルを含む。前記第１初期動きベクトル、及び前記第２初期動きベクトルを修正し、修正後の第１動きベクトル、及び修正後の第２動きベクトルを得ることは、第１参照画像ブロック、及び第２参照画像ブロックに基づいて、テンプレートを生成し、ここで、前記第１参照画像ブロックは前記第１初期動きベクトルに対応し、かつ第１参照画像に属し、前記第２参照画像ブロックは前記第２初期動きベクトルに対応し、かつ第２参照画像に属することと、前記テンプレートに基づいて、前記第１初期動きベクトル、及び前記第２初期動きベクトルを修正し、修正後の第１動きベクトル、及び修正後の第２動きベクトルを得ることと、を含むことができる。
【０１０５】
具体的には、前記テンプレートに基づいて、前記第１初期動きベクトル、及び前記第２初期動きベクトルを修正し、修正後の第１動きベクトル、修正後の第２動きベクトルを得ることは、Ｎ個の第３参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｎ個の第３参照画像ブロックは、Ｎ個の第３初期動きベクトルに対応し、かつ前記第１参照画像に属することと、Ｍ個の第４参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｍ個の第４参照画像ブロックは、Ｍ個の第４初期動きベクトルに対応し、かつ前記第２参照画像に属することと、前記マッチング結果に基づいて、前記Ｎ個の第３初期動きベクトルから一つの第３初期動きベクトルを選択し、前記Ｍ個の第４初期動きベクトルから一つの第４初期動きベクトルを選択し、前記一つの第３初期動きベクトル、及び前記一つの第４初期動きベクトルを前記現在の画像ブロックの動きベクトル（すなわち、修正後の第１動きベクトル、及び修正後の第２動きベクトル）とし、又は前記現在の画像ブロックの動きベクトルを確定することに用いることと、を含むことができる。
【０１０６】
選択可能には、この選択された第３初期動きベクトルは、最も小さい歪みコストに対応する動きベクトルであってよい。又は、この選択された第３初期動きベクトルは、ある特定の値よりも小さい歪みコストに対応する動きベクトルであってよい。
【０１０７】
選択可能には、この選択された第４初期動きベクトルは、最も小さい歪みコストに対応する動きベクトルであってよい。又は、この選択された第４初期動きベクトルは、ある特定の値よりも小さい歪みコストに対応する動きベクトルであってよい。
【０１０８】
ここで、前記一つの第３初期動きベクトル、及び前記一つの第４初期動きベクトルを前記現在の画像ブロックの動きベクトルとし、この場合、前記一つの第３初期動きベクトル、及び前記一つの第４初期動きベクトルに対応する既知の画像ブロック（すなわち、初期予測画像ブロック）を加重合計して予測画像ブロックを得ることができる。
【０１０９】
又は、前記一つの第３初期動きベクトル、及び前記一つの第４初期動きベクトルを前記現在の画像ブロックの動きベクトルを確定することに用いることができ、つまり前記一つの第３初期動きベクトル、及び前記一つの第４初期動きベクトルはそれぞれＭＶＰとできる。この場合、この第３ＭＶＰを開始点として検索最適化し、最適化された動きベクトルを得ることができ、及びこの第４ＭＶＰを開始点として検索最適化し、他の最適化された動きベクトルを得ることができる。この二つの最適化された動きベクトルに対応する既知の画像ブロック（すなわち、初期予測画像ブロック）を加重合計して予測画像ブロックを得ることができる。
【０１１０】
選択可能には、このＮとＭは等しくてよい。
【０１１１】
選択可能には、この第３初期動きベクトルは、この第１初期動きベクトルを含み、この第４初期動きベクトルは、この第２初期動きベクトルを含み、つまり、テンプレートを生成するための第１初期動きベクトルに対応する参照画像ブロック、及び第２動きベクトルに対応する参照画像ブロックもそれぞれテンプレートとマッチングする必要がある。
【０１１２】
選択可能には、本出願の実施例において、このＮ個の第３初期動きベクトルにおける少なくとも一部の初期動きベクトルは、この第１初期動きベクトルに基づいて偏移して得られ、このＭ個の第４初期動きベクトルにおける少なくとも一部の初期動きベクトルは、この第２初期動きベクトルに基づいて偏移して得られたものである。
【０１１３】
例えば、このＮ個の第３初期動きベクトルにおける第１初期動きベクトル以外の初期動きベクトルは、この第１初期動きベクトルに基づいて偏移して得られ、例えば、Ｎは、９に等しくてよく、そのうちの８個の初期動きベクトルは、第１初期動きベクトルに基づいて偏移して得られ、例えば、８つの方向で偏移して得られ、又は垂直方向、若しくは水平方向で異なる画素を偏移して得られるものである。
【０１１４】
また例えば、このＮ個の第４初期動きベクトルにおける第２初期動きベクトル以外の初期動きベクトルは、この第２初期動きベクトルに基づいて偏移して得られ、例えば、Ｎは、９に等しくてよく、そのうちの８個の初期動きベクトルは、第２初期動きベクトルに基づいて偏移して得られ、例えば、８つの方向で偏移して得られ、又は垂直方向、若しくは水平方向で異なる画素を偏移して得られるものである。
【０１１５】
選択可能には、本出願の実施例において、前記第１参照画像は、前記現在の画像ブロックの前方向フレームであってよく、前記第２参照画像は、前記現在の画像ブロックの後方向フレームであってよい。又は、前記第１参照画像は、前記現在の画像ブロックの前方向フレームであってよく、前記第２参照画像は、前記現在の画像ブロックの前方向フレームであってよい。
【０１１６】
具体的な実施形態において、復号化端は、動きベクトル候補リストを生成し、符号化端から送信された初期動きベクトルを指示するための二つのインデックスを受信する。復号化端は、ＤＭＶＰ条件を判断し、このＤＭＶＰ条件は、二つの初期動きベクトル（例えば、ＭＶ０とＭＶ１であってよい）がいずれも特定参照画像を指向せず、かつ二つの初期動きベクトルの予測方向が逆であり、すなわち一つは前方向であり、他は後方向であることを求める。ＤＭＶＲ条件を満たす場合、ＭＶ０に対応する画像ブロック、及びＭＶ１に対応する画像ブロックを加重合計し、双方向テンプレートを生成する。
【０１１７】
本出願の可能な実施形態において、特定参照画像に対応する候補動きベクトルを動きベクトル候補リストに加えないことで、二つのインデックスにより指示される初期動きベクトルが指向する参照画像が特定参照画像であることを回避する。他の可能な実施形態において、二つのインデックスにより指示される初期動きベクトルが指向する参照画像が特定参照画像である場合、復号化端は、符号化端が特定参照画像を指向しない動きベクトルを初期動きベクトルと再度指示するよう求めることができ、又は復号化端は、戻り、又はＤＭＶＲアルゴリズムの失効をマークする。
【０１１８】
第１参照画像において、ＭＶ０に対応する画像ブロックについて、水平方向と垂直方向とのうちの少なくとも一つで一つの輝度画素を偏移し、検索された近接する８つの画素ブロックの動きベクトルは、ＭＶ０の合計９つの動きベクトルとともに参照リストｌｉｓｔ０を形成できる。第２参照画像において、ＭＶ１に対応する画像ブロックについて、水平方向と垂直方向とのうちの少なくとも一つで一つの輝度画素を偏移し、検索された近接する８つの画素ブロックの動きベクトルは、ＭＶ１の合計９つの動きベクトルとともに参照リストｌｉｓｔ１を形成できる。
【０１１９】
復号化端が使用する双方向テンプレートマッチングは、双方向テンプレートと参照画像における再構築ブロックとの間で歪みに基づく検索を行うために、最終的に、追加の動き情報がない細密化後の動きベクトルを得る。二つの参照画像における動きベクトル（Ｌｉｓｔ０における動きベクトル、及びｌｉｓｔ１における動きベクトル）について、最も小さいマッチングコストを持つ動きベクトルは、更新動きベクトルとして当初の動きベクトルに替わる。最終的に、二つの新しい動きベクトル（図３に示すＭＶ０'、及びＭＶ１'）で当初のＭＶ０とＭＶ１を代替する。ＭＶ０'に対応する予測画像ブロック、及びＭＶ１'に対応する予測画像ブロックに基づいて、最終的な双方向予測結果を生成する。
【０１２０】
ＤＭＶＲ技術において、参照画像が特定参照画像である場合、特定参照画像は、人工的に構築されたものであり、又は時間順序が早い以前のある特定参照画像からのものであり、特定参照画像における画像ブロックの間には空間上の関連があるとは限らず、画像ブロックエッジに明らかな揺れがあるので、このような特定参照画像に基づいて、動きベクトルを検索する意義は大きくなく、すなわちＤＭＶＲ技術は不正確であり、ひいては意義がないことを理解されたい。本出願の実施例において、特定参照画像に対応する動きベクトルを細密化せず、直接動き補償に用いることで、上述の課題が生じることを回避する。
【０１２１】
本出願の実施例は、画像処理方法２００を提供する。図５は、本出願の他の一つの実施例の画像処理方法２００の概略的フローチャートである。図５に示すように、この方法２００は、
第１初期動きベクトル、及び第２初期動きベクトルを取得し、この第１初期動きベクトルは、第１参照画像を指向し、この第２初期Ｍ動きベクトルは、第２参照画像を指向するＳ２１０と、
この第１参照画像、及びこの第２参照画像のうちの少なくとも一つが特定参照画像である場合、この第１初期動きベクトル、及びこの第２初期動きベクトルに基づいて、現在の画像ブロックの予測画像ブロックを計算して得るＳ２２０と、
この第１参照画像、及びこの第２参照画像がいずれも非特定参照画像である場合、この第１初期動きベクトル、及びこの第２初期動きベクトルが指向する画素点の勾配値に基づいて、現在の画像ブロックの動きベクトルを計算して得て、この現在の画像ブロックの動きベクトルに基づいて、現在の画像ブロックの予測画像ブロックを計算して得るＳ２３０と、を含む。
【０１２２】
本出願の実施例の画像処理方法は、二つの初期動きベクトルが指向する参照画像がいずれも非特定参照画像である場合、画素点の勾配値、及び最適化原理を採用して、現在の画像ブロックの動きベクトルを計算して得て、現在の画像ブロックの予測画像ブロックを計算して得る。二つの初期動きベクトルが指向する参照画像に特定参照画像が存在する場合、二つの初期動きベクトルに基づいて、直接現在の画像ブロックの予測画像ブロックを計算して得て、現在の画像と特定参照画像との時間距離の定義が不明確であることにより予測が実行できないことを回避し、符号化復号化効率を高めることができる。
【０１２３】
選択可能には、Ｓ２３０前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値に基づいて、前記現在の画像ブロックのＭＶを計算して得ることは、前記第１初期ＭＶ、前記第２初期ＭＶが指向する画素点の勾配値、及び最適化原理に基づいて、前記現在の画像ブロックのＭＶを計算して得ることを含むことができる。
【０１２４】
具体的な実施形態において、本出願の実施例の画像処理方法２００は、双方向動き予測モードの改良に応用できる。双方向動き予測モードとは、ある現在の画像ブロックを符号化する場合に、二つの異なる参照画像由来の二つの初期予測画像ブロックを同時に使用して現在の画像ブロックを予測し、かつ二つの初期予測画像ブロックを一つの画像ブロックに結合し、現在の画像ブロックの予測画像ブロックとすることをいう。ＢＩＯ予測技術とは、双方向動き予測モードでの技術である。ＢＩＯ予測技術では、動きベクトルは、通常の双方向動き予測モードに比べて、さらに多くの符号化マークがないが、予測画像ブロックの導出過程は異なる。ＢＩＯ予測技術は、ブロック動き補償に基づく動き最適化であり、オプティカルフローモードにより動きベクトルを計算し、サンプリングポイントレベルの動き最適化である。
【０１２５】
本出願の実施例のＢＩＯ予測技術は、二つのステップを含むことができる。第１ステップは、二つの初期ＭＶ（例えば、第１初期ＭＶ、及び第２初期ＭＶ）に基づいて、現在の画像ブロックのＭＶを計算して得ることである。具体的には、前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値、及び最適化原理に基づいて、現在の画像ブロックのＭＶを計算して得ることである。第２ステップは、前記現在の画像ブロックのＭＶ、前記第１初期ＭＶが指向する第１参照画像ブロック、及び前記第２初期ＭＶが指向する第２参照画像ブロックに基づいて、前記現在の画像ブロックの予測画像ブロックを計算して得ることである。具体的には、ＢＩＯ予測技術は、二つの初期ＭＶが指向する二つの参照画像ブロックを補間し、現在の画像ブロックと同じサイズの二つの初期予測画像ブロックを得て、その後、この二つの初期予測画像ブロックを加重合計し、現在の画像ブロックの予測画像ブロックとして結合することである。
【０１２６】
図６は、本出願の一つの実施例のＢＩＯ技術の原理概略図である。ＢＩＯ技術は、短い時間内に、物体の動きが水平方向、及び垂直方向のいずれにおいても等速運動であると仮定し、オプティカルフロー法の解析条件に適合する。図６に示すように、二つの初期ＭＶが指向する参照点ｋ（ｋ＝０、１）の動きベクトル（ｖｘ、ｖｙ）、及び輝度値Ｉ（ｋ）は、以下のオプティカルフロー公式に適合すると仮定できる。
∂Ｉ（ｋ）／∂ｔ＋ｖｘ∂Ｉ（ｋ）／∂ｘ＋ｖｙ∂Ｉ（ｋ）／∂ｙ＝０  公式１
式中、∂Ｉ（ｋ）／∂ｘ及び∂Ｉ（ｋ）／∂ｙは、勾配の水平成分、及び垂直成分を示す。
【０１２７】
オプティカルフロー公式及びＨｅｒｍｉｔｅを補間により連立して以下のような多項式を得て、ｔ＝０の場合、ＢＩＯ予測値である。
ｐｒｅｄＢＩＯ＝１／２・（Ｉ（０）＋Ｉ（１）＋ｖｘ／２・（τ１∂Ｉ（１）／∂ｘ−τ０∂Ｉ（０）／∂ｘ）＋ｖｙ／２・（τ１∂Ｉ（１）／∂ｙ−τ０∂Ｉ（０）／∂ｙ））  公式２
式中、τ０及びτ１は、それぞれ現在の画像から参照画像０、及び参照画像１までの距離を示し、両者は、現在の画像、及び二つの参照画像のＰＯＣにより計算して得ることができる。
τ０＝ＰＯＣ（ｃｕｒｒｅｎｔ）−ＰＯＣ（Ｒｅｆ０）  公式３
τ１＝ＰＯＣ（Ｒｅｆ１）−ＰＯＣ（ｃｕｒｒｅｎｔ）  公式４
式中、ＰＯＣ（ｃｕｒｒｅｎｔ）は、現在の画像のピクチャオーダーカウントであり、ＰＯＣ（Ｒｅｆ０）は、参照画像０のピクチャオーダーカウントであり、ＰＯＣ（Ｒｅｆ１）は、参照画像１のピクチャオーダーカウントである。
【０１２８】
参照画像は異なる方向であることができ、すなわち一つは過去からであり、一つは未来からである。二つの参照画像は同じ方向でもあり、すなわちいずれも過去からであり、又はいずれも未来からである。二つの参照画像が同じ方向の場合、τ０及びτ１は、異符号である。このような状況では、二つの参照画像は、同じであることはできず、すなわちτ０≠τ１であり、参照領域は、非ゼロの動き（ＭＶｘ０，ＭＶｙ０，ＭＶｘ１，ＭＶｙ１≠０）があり、動きベクトルは、時間領域の距離に比例する（ＭＶｘ０／ＭＶｘ１＝ＭＶｙ０／ＭＶｙ１＝−τ０／τ１）。
【０１２９】
小さい領域内の動きが同じであると仮定すると、ＢＩＯの動きベクトルが以下のような１次のテイラー展開の公式を満たすことができる。
Δ＝（Ｉ（０）−Ｉ（１）＋ｖｘ（τ１∂Ｉ（１）／∂ｘ＋τ０∂Ｉ（０）／∂ｘ）＋ｖｙ（τ１∂Ｉ（１）／∂ｙ＋τ０∂Ｉ（０）／∂ｙ））  公式５
式中、Δは、二つの参照画像において対応する二つの参照点（例えば、図４におけるＡ、Ｂの両点）の画素差のテイラー１次展開である。勾配値、及び最適化方法により解析し、現在の画像ブロックの最適な動きベクトルが全領域内Δの二乗、及び最小を満たし、これにより最適な動きベクトル（ｖｘ、ｖｙ）を計算でき、アルゴリズムのロバスト性を考慮すると、ｖｘ及びｖｙは、ある閾値範囲内にあるものとする。
【０１３０】
上述の公式に基づいて、ＢＩＯ予測技術のプロセスは以下のとおりである。現在の画像ブロックについて、その二つの参照画像に対応する位置の画素値はいずれも既に得られた。公式におけるＩ（０）及びＩ（１）は、それぞれ二つの参照画における画素値を示し、上述の公式における既知のものは、Ｉ（０）、Ｉ（１）及びτ０とτ１であり、勾配水平成分、及び垂直成分は、参照画像において計算により得られ、未知のものは、ｖｘ、ｖｙ及びΔである。一つの領域内のすべての画素点について、いずれも一つのΔを算出でき、最適化方法を使用して、Δが最小値のｖｘ及びｖｙを得るようにし、つまり必要な最適な動きベクトルである。ここで、ｖｘ及びｖｙを計算する場合、それぞれｖｘ及びｖｙに一つの区間を与え、この区間の閾値は、二つの参照画像の現在の画像に対する方向により確定される。最適な動きベクトルを得た後、この最適な動きベクトルが指向する画像ブロック＋残差を直接、現在の画像ブロックとするわけではなく、公式２により現在の画像ブロックの各画素を計算して、これはＢＩＯ予測値ともいい、各画素の予測値を一体に組み合わせて、予測画像ブロックを形成する。
【０１３１】
選択可能には、本出願の実施例において、前記第１初期動きベクトル、及び前記第２初期動きベクトルに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることは、前記第１初期動きベクトルが指向する第１参照画像ブロック、及び前記第２初期動きベクトルが指向する第２参照画像ブロックを加重合計し、前記現在の画像ブロックの予測画像ブロックを得ることを含む。
【０１３２】
具体的には、ＢＩＯ予測開始実行前に判断条件を追加し、又はＢＩＯ条件に必要条件を追加する。第１初期動きベクトルが指向する第１参照画像、及び第２初期動きベクトルが指向する第２参照画像がいずれも特定参照画像でなく、しかも当初のＢＩＯ条件に合格する場合、ＢＩＯ予測を行うことができる。そうでなければ、直接、二つの初期動きベクトルに基づいて、現在の画像ブロックの予測画像ブロックを計算して得て、又は戻り、又はＢＩＯ予測アルゴリズムの失効をマークする。
【０１３３】
ＢＩＯ条件は、前記第１初期動きベクトル、及び前記第２初期動きベクトルの予測方向は異なることをさらに含むことができる。又は、代替可能には、ＢＩＯ条件は、前記第１初期動きベクトル、及び前記第２初期動きベクトルの予測方向は同じであり、前記第１初期動きベクトル、及び前記第２初期動きベクトルはいずれも０ではなく、前記第１参照画像、及び前記第２参照画像は異なることをさらに含むことができる。同時に、第１初期動きベクトル、及び第２初期動きベクトルの各方向成分の比率は同じであり、いずれも動きベクトルが指向する第１参照画像と現在の画像との距離、及び第２参照画像と現在の画像との距離の比に等しい。
【０１３４】
本出願の各実施例の動きベクトルは、３つのパラメータを含むことを理解するものとし、水平成分ｖｘ、垂直成分ｖｙ、及び指向する参照画像のフレームマークである。例えば、このフレームマークは、ＰＯＣであってよく、その他の形態のマークであってもよい。符号化端、及び復号化端は、このフレームマークにより、参照画像の属性を確定でき、この参照画像が特定参照画像であるか否かを判断する。
【０１３５】
選択可能には、本出願の実施例において、初期動きベクトルが指向する参照画像が特定参照画像であるか否かを判断することは、初期動きベクトルが指向する参照画像のフレームマークに基づいて、初期動きベクトルが指向する参照画像が特定参照画像であるか否かを確定することを含むことができる。
【０１３６】
選択可能には、本出願の実施例において、Ｓ２３０前記現在の画像ブロックの動きベクトルに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることは、前記現在の画像ブロックの動きベクトル、前記第１初期動きベクトルが指向する第１参照画像ブロック、及び前記第２初期動きベクトルが指向する第２参照画像ブロックに基づいて、前記現在の画像ブロックの予測画像ブロックを計算して得ることを含むことができる。具体的な計算公式は、前文において詳細に説明しており、ここではこれ以上説明しない。
【０１３７】
方法２００の具体的な実施形態は、以下のステップを含むことができる。
【０１３８】
１．現在の二つの初期動きベクトルがＢＩＯ条件に適合するか否かを判断し、判断条件は、以下のとおりである。
【０１３９】
ａ）二つの初期動きベクトルが指向する参照画像がいずれも非特定参照画像であり、すなわち第１初期動きベクトルが指向する第１参照画像、及び第２初期動きベクトルが指向する第２参照画像がいずれも非特定参照画像である。
【０１４０】
ｂ）以下の２項のうちの一つを満たし、
ｉ）二つの初期動きベクトルが異なる予測方向（それぞれ前方向と後方向）からである。
ｉｉ）二つの初期動きベクトルが同じ予測方向の異なる参照画像からであり、かつ二つの初期動きベクトルがいずれも０ではなく、しかも二つの初期動きベクトルの各方向成分の比率が同じであり、いずれも動きベクトルが指向する参照画像と現在の画像との距離の比に等しい。
【０１４１】
同時にａ）及びｂ）を満たす初期動きベクトルは、ＢＩＯ条件に適合し、ＢＩＯ予測を行うことができる。
【０１４２】
２．二つの初期動きベクトルの予測方向に基づいて、演算閾値を確定し、すなわちｖｘ及びｖｙの区間の閾値である。
【０１４３】
３．二つの初期動きベクトルが指向する画素点の勾配値を計算する。
【０１４４】
４．勾配値、及び最適化原理に基づいて、最適な動きベクトルを計算し、現在の画像ブロックの動きベクトルとする。
【０１４５】
５．現在の画像ブロックの動きベクトル、二つの初期動きベクトルが指向する参照画像ブロックによりＢＩＯ予測値を得る。
【０１４６】
ｂ）ｉ）のみを満たす場合、前記第１初期動きベクトルが指向する第１参照画像ブロック、及び前記第２初期動きベクトルが指向する第２参照画像ブロックを加重合計し、前記現在の画像ブロックの予測画像ブロックを得る。
【０１４７】
本出願の実施例のＢＩＯ予測が参照する原理、公式、及びステップは、上述の説明を参照でき、ここではこれ以上説明しない。
【０１４８】
ＢＩＯ予測技術において、参照画像が特定参照画像である場合、現在の画像（現在の符号化対象画像、又は現在の復号化対象画像）と特定参照画像との時間距離の定義が不明確なので、ＢＩＯ予測技術は実行できないことを理解されたい。本出願の実施例において、二つの初期動きベクトルが指向する参照画像に特定参照画像が存在する場合、直接、二つの初期動きベクトルに基づいて、現在の画像ブロックの予測画像ブロックを計算して得て、これにより上述の課題が生じることを回避する。
【０１４９】
本出願の各実施例の方法はいずれも符号化端、及び復号化端に応用できることを理解されたい。本出願の各実施例の現在の画像ブロックは、符号化対象画像ブロックであってよく、復号化対象画像ブロックであってもよい。
【０１５０】
本出願の実施例は、ＰＭＭＶＤ技術、ＤＭＶＲ技術、及びＢＩＯ予測技術に応用される画像処理方法を例示的に提示したにすぎず、本出願の実施例の方法は、さらに既存の又は将来のその他の動画符号化／復号化技術に応用でき、本出願の実施例は、これを限定しないことを理解されたい。
【０１５１】
図７は、本出願の一つの実施例の画像動き補償装置７０の概略的フレーム図である。図７に示すように、画像動き補償装置７０は、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリ７０１と、
前記少なくとも一つのメモリにアクセスし、かつ前記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサ７０２と、を含み、操作は、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
前記初期ＭＶが指向する参照画像が特定参照画像である場合、前記初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、
前記初期ＭＶが指向する参照画像が非特定参照画像である場合、前記初期ＭＶを修正し、修正後のＭＶを得て、前記修正後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、である。
【０１５２】
いくつかの実施例において、前記プロセッサ７０２は、具体的に、
前記現在の画像ブロックのＭＶ候補リストを取得し、前記ＭＶ候補リストにおけるいずれかの候補ＭＶが指向する参照画像が非特定参照画像であり、
前記ＭＶ候補リストに基づいて、前記初期ＭＶを確定し、
前記初期ＭＶを修正し、修正後のＭＶを得て、
前記修正後のＭＶに基づいて、前記現在の画像ブロックに動き補償を行うためのものである。
【０１５３】
いくつかの実施例において、前記プロセッサ７０２は、さらに、
前記ＭＶ候補リストに加えるための候補ＭＶを確定し、前記候補ＭＶが指向する参照画像が非特定参照画像である場合、前記候補ＭＶを前記ＭＶ候補リストに加えるためのものである。
【０１５４】
いくつかの実施例において、前記プロセッサ７０２は、さらに、
前記候補ＭＶが指向する参照画像のフレームマークに基づいて、前記候補ＭＶが指向する参照画像が非特定参照画像であると確定するためのものである。
【０１５５】
いくつかの実施例において、前記ＭＶ候補リストは、以下のうちの少なくとも一つの候補ＭＶを含み、
前記現在の画像ブロックが高度動きベクトル予測ＡＭＶＰモードにある場合、非特定参照画像に対して得られたオリジナルＡＭＶＰ候補ＭＶ、
非特定参照画像に対して得られたマージ候補ＭＶ、
非特定参照画像から補間により得られたＭＶ、及び
前記現在のブロックの非特定参照画像に対する上方隣接ＭＶと左側隣接ＭＶである。
【０１５６】
いくつかの実施例において、前記プロセッサ７０２は、具体的に、
双方向マッチング法とテンプレートマッチング法とのうちの少なくとも一つに基づいて、前記ＭＶ候補リストにおける候補ＭＶに対応する歪みコストを確定し、
前記ＭＶ候補リストにおける歪みコストが最も小さいＭＶを前記初期ＭＶとするためのものである。
【０１５７】
いくつかの実施例において、前記プロセッサ７０２は、具体的に、
前記現在の画像ブロックにサブＭＶ候補リストを生成し、前記サブＭＶ候補リストには前記初期ＭＶを含み、
前記サブＭＶ候補リストから歪みコストが最も小さいＭＶを前記修正後のＭＶとして確定するためのものである。
【０１５８】
いくつかの実施例において、前記初期ＭＶは、第１初期ＭＶ、及び第２初期ＭＶを含み、
前記プロセッサ７０２は、具体的に、
前記第１初期ＭＶ、及び前記第２初期ＭＶのうちの少なくとも一つの初期ＭＶが指向する参照画像が特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行い、
前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する参照画像が非特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、修正後の第１ＭＶ、及び修正後の第２ＭＶを得て、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶに基づいて前記現在の画像ブロックに動き補償を行うためのものである。
【０１５９】
いくつかの実施例において、前記プロセッサ７０２は、具体的に、
第１参照画像ブロック、及び第２参照画像ブロックに基づいて、テンプレートを生成し、ここで、前記第１参照画像ブロックは、前記第１初期ＭＶに対応し、かつ第１参照画像に属し、前記第２参照画像ブロックは、前記第２初期ＭＶに対応し、かつ第２参照画像に属し、
前記テンプレートに基づいて、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、修正後の第１ＭＶ、及び前記修正後の第２ＭＶを得るためのものである。
【０１６０】
いくつかの実施例において、前記プロセッサ７０２は、具体的に、
Ｎ個の第３参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｎ個の第３参照画像ブロックは、Ｎ個の第３初期ＭＶに対応し、かつ前記第１参照画像に属し、
Ｍ個の第４参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｍ個の第４参照画像ブロックは、Ｍ個の第４初期ＭＶに対応し、かつ前記第２参照画像に属し、
前記マッチング結果に基づいて、前記Ｎ個の第３初期ＭＶから一つの第３初期ＭＶを選択し、及び前記Ｍ個の第４初期ＭＶから一つの第４初期ＭＶを選択し、前記一つの第３初期ＭＶ、及び前記一つの第４初期ＭＶを前記現在の画像ブロックのＭＶとし、又は前記現在の画像ブロックのＭＶを確定することに用いるためのものである。
【０１６１】
いくつかの実施例において、前記第３初期ＭＶは、前記第１初期ＭＶを含み、前記第４初期ＭＶは、前記第２初期ＭＶを含む。
【０１６２】
いくつかの実施例において、前記Ｎ個の第３初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第１初期ＭＶに基づいて偏移して得られ、前記Ｍ個の第４初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第２初期ＭＶに基づいて偏移して得られたものである。
【０１６３】
いくつかの実施例において、前記Ｎは、前記Ｍに等しい。
【０１６４】
いくつかの実施例において、前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの後方向フレームであり、又は、
前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの前方向フレームである。
【０１６５】
画像動き補償装置７０は、さらに、対応するソフトウェアモジュールにより実現できることを理解するものとし、ここではこれ以上説明しない。
【０１６６】
図８は、本出願の他の一つの実施例の画像処理装置８０の概略的フレーム図である。図８に示すように、画像処理装置８０は、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリ８０１と、
前記少なくとも一つのメモリにアクセスし、かつ前記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサ８０２と、を含み、操作は、
第１初期動きベクトルＭＶ、及び第２初期ＭＶを取得し、前記第１初期ＭＶは、第１参照画像を指向し、前記第２初期ＭＶは、第２参照画像を指向することと、
前記第１参照画像、及び前記第２参照画像のうちの少なくとも一つが特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、
前記第１参照画像、及び前記第２参照画像がいずれも非特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値に基づいて、現在の画像ブロックのＭＶを計算して得て、前記現在の画像ブロックのＭＶに基づいて、現在の画像ブロックの予測画像ブロックを計算して得ることと、である。
【０１６７】
いくつかの実施例において、前記プロセッサ８０２は、具体的に、
前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する画素点の勾配値、及び最適化原理に基づいて、前記現在の画像ブロックのＭＶを計算して得るためのものである。
【０１６８】
いくつかの実施例において、前記プロセッサ８０２は、具体的に、
前記第１初期ＭＶが指向する第１参照画像ブロック、及び前記第２初期ＭＶが指向する第２参照画像ブロックを加重合計し、前記現在の画像ブロックの予測画像ブロックを得るためのものである。
【０１６９】
いくつかの実施例において、前記第１初期ＭＶ、及び前記第２初期ＭＶの予測方向は異なる。
【０１７０】
いくつかの実施例において、前記第１初期ＭＶ、及び前記第２初期ＭＶの予測方向は同じであり、前記第１初期ＭＶ、及び前記第２初期ＭＶはいずれも０ではなく、前記第１参照画像、及び前記第２参照画像は異なる。
【０１７１】
いくつかの実施例において、前記プロセッサ８０２は、具体的に、
前記現在の画像ブロックのＭＶ、前記第１初期ＭＶが指向する第１参照画像ブロック、及び前記第２初期ＭＶが指向する第２参照画像ブロックに基づいて、前記現在の画像ブロックの予測画像ブロックを計算して得るためのものである。
【０１７２】
画像処理装置８０は、さらに、対応するソフトウェアモジュールにより実現できることを理解するものとし、ここではこれ以上説明しない。
【０１７３】
動きベクトルの導出を使用するいくつかの技術においては、動きベクトルが特定参照画像を指向する場合、この動きベクトルに対するスケーリングは意義がなく、検索効率、及び符号化／復号化効率を低下させてしまう。これは、動きベクトルをスケーリングする場合には画像の間の距離に基づいて、動きベクトルをスケーリングし、一方、特定参照画像は人工的に構築される可能性があり、その他の参照画像と距離があるわけではないという考えによるからであり、このような特定参照画像に基づいて動きベクトルをスケーリングする意義は大きくない。
【０１７４】
本出願は、さらに画像動き補償方法を提供する。図９は、本出願の別の一つの実施例の画像動き補償方法９００の概略的フローチャートである。図９に示すように、この方法９００は、
現在の画像ブロックの初期動きベクトルＭＶを取得するＳ９１０と、
この初期ＭＶのスケーリング比率を確定し、ここで、この初期ＭＶが特定参照画像を指向する場合、この初期ＭＶのスケーリング比率は、１であるＳ９２０と、
この初期ＭＶのスケーリング比率に基づいて、この初期ＭＶをスケーリングするＳ９３０と、
このスケーリング後のＭＶに基づいて前記現在の画像ブロックに動き補償を行うＳ９４０と、を含む。
【０１７５】
ここで、初期ＭＶを取得する方法は、上述に説明された初期ＭＶを取得する方法と同じでもよく、ここではこれ以上説明しない。
【０１７６】
本出願の実施例の画像動き補償方法は、初期ＭＶが特定参照画像を指向する場合、そのスケーリング比率は、１である。初期ＭＶが非特定参照画像を指向する場合、そのスケーリング比率を限定せず、この現在の画像と非特定参照画像との間の距離、及びスケーリング戦略に基づいて、動きベクトルをスケーリングし、ひいては動き補償を行い、符号化復号化効率を高めることができる。
【０１７７】
いくつかの実施例において、スケーリング後のＭＶに基づいて、直接、前記現在の画像ブロックに動き補償を行う。
【０１７８】
いくつかの実施例において、スケーリング後のＭＶについて、前記スケーリング後のＭＶをさらに修正でき、修正後のＭＶを得て、前記修正後のＭＶに基づいて前記現在の画像ブロックに動き補償を行う。ここで、スケーリング後のＭＶを修正する方法は、上述に説明された初期ＭＶを修正する方法と同じでもよく、ここではこれ以上説明しない。
【０１７９】
例えば、図５に示すように、前記第１初期ＭＶは、第１参照画像を指向し、前記第２初期ＭＶは、第２参照画像を指向する。第１参照画像、及び第２参照画像がいずれも非特定参照画像を指向する場合、第１参照画像と第２参照画像との間の距離に基づいて、第１初期ＭＶ、及び第２初期ＭＶをスケーリングする。その後、スケーリング後の第１初期ＭＶ、及びスケーリング後の第２初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行う。一実施形態において、第１参照画像ブロックを確定し、前記第１参照画像ブロックは、このスケーリング後の第１初期ＭＶに対応し、かつ第２参照画像に属し、第２参照画像ブロックを確定し、この第２参照画像ブロックは、このスケーリング後の第２初期ＭＶに対応し、かつ第１参照画像に属する。前記第１参照画像ブロック、及び第２参照画像ブロックに基づいてテンプレートを生成し、このテンプレートに基づいて、第１初期ＭＶ、及び第２初期ＭＶを修正し、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶを得る。修正後の第１ＭＶ、及び第２ＭＶを利用して、現在の画像ブロックの動きベクトルを計算する。
【０１８０】
ここで、このテンプレートに基づいて、第１初期ＭＶ、及び第２初期ＭＶを修正する方法は、上述に説明されたテンプレートに基づいて、第１初期ＭＶ、及び第２初期ＭＶを修正する方法と同じでもよく、ここではこれ以上説明しない。
【０１８１】
本出願は、さらに別の画像動き補償方法を提供する。この画像動き補償方法において、現在の画像ブロックの初期動きベクトルＭＶを取得し、前記初期ＭＶが特定参照画像を指向する場合、及びこの初期ＭＶが非特定参照画像を指向する場合、それぞれ異なる操作を採用して前記初期ＭＶに基づいて、前記現在の画像ブロックに動き補償を行う。
【０１８２】
ここで、初期ＭＶを取得する方法は、上述に説明された初期ＭＶを取得する方法と同じでもよく、ここではこれ以上説明しない。
【０１８３】
一つの実施例において、初期ＭＶが特定参照画像を指向する場合、この初期ＭＶを使用して現在の画像ブロックに動き補償を行う。初期ＭＶが非特定参照画像を指向する場合、１、初期ＭＶをスケーリングし、スケーリング後の初期ＭＶに基づいて、現在の画像ブロックに動き補償を行う実施形態と、２、初期ＭＶを修正し、修正後の初期ＭＶに基づいて、現在の画像ブロックに動き補償を行う実施形態と、３、初期ＭＶをスケーリングし、スケーリング後のＭＶを修正し、修正後のＭＶを得て、修正後のＭＶに基づいて、現在の画像ブロックに動き補償を行う実施形態と、４、初期ＭＶを修正し、修正後のＭＶをスケーリングし、スケーリング後のＭＶを得て、スケーリング後のＭＶに基づいて、現在の画像ブロックに動き補償を行う実施形態という４つの実施形態がある。
【０１８４】
ここで、スケーリング後のＭＶを修正する方法、又は初期ＭＶを修正する方法は、上述に説明された初期ＭＶを修正する方法と同じでもよく、ここではこれ以上説明しない。
【０１８５】
一つの実施例において、初期ＭＶが特定参照画像を指向する場合、初期ＭＶを修正し、修正後のＭＶに基づいて動き補償を行うことができる。初期ＭＶが非特定参照画像を指向する場合、初期ＭＶをスケーリング後に、又は初期ＭＶをスケーリングし、及び修正後に、現在の画像ブロックに動き補償を行うことができる。すなわち、初期ＭＶが特定参照画像を指向する状況では、スケーリングのステップをスキップして初期ＭＶを直接、修正し、又は直接、初期ＭＶのスケーリング比率を１にセットしてスケーリングした後に修正する。初期ＭＶが非特定参照画像を指向する状況では、初期ＭＶをスケーリングし、又は初期ＭＶをスケーリングし、及び修正し、符号化復号化効率を高めることができる。
【０１８６】
本出願のその他の実施例において、初期ＭＶが特定参照画像を指向する場合、初期ＭＶを直接使用して動き補償を行い、又は初期ＭＶを修正し、修正後のＭＶに基づいて、動き補償を行う。及び初期ＭＶが非特定参照画像を指向する場合、初期ＭＶにスケーリングと修正とのうちの少なくとも一つを行い、動き補償を行い、各種の実施形態は任意に組み合わせてもよく、本出願の実施例はこれを限定しない。
【０１８７】
いくつかの実施例において、前記現在の画像ブロックの初期動きベクトルＭＶを取得することは、前記現在の画像ブロックのＭＶ候補リストを取得することと、前記ＭＶ候補リストに基づいて、前記初期ＭＶを確定することと、を含む。すなわち、初期ＭＶをスケーリングした（スケーリング比率が１のスケーリングを含む）後に、初期ＭＶが非特定参照画像を指向するＭＶを選択して修正し、初期ＭＶがいずれのタイプの参照画像を指向するかに関わらず、いずれも修正してもよい。
【０１８８】
選択可能には、前記ＭＶ候補リストにおけるいずれかの候補ＭＶが指向する参照画像は、非特定参照画像である。
【０１８９】
選択可能には、前記現在の画像ブロックのＭＶ候補リストを取得することは、前記ＭＶ候補リストに加えるための候補ＭＶを確定し、前記候補ＭＶが指向する参照画像が非特定参照画像である場合、前記候補ＭＶを前記ＭＶ候補リストに加えることを含むことができる。
【０１９０】
選択可能には、前記方法は、前記候補ＭＶが指向する参照画像のフレームマークに基づいて、前記候補ＭＶが指向する参照画像が非特定参照画像であると確定することをさらに含むことができる。
【０１９１】
選択可能には、前記ＭＶ候補リストは、以下のうちの少なくとも一つの候補ＭＶを含むことができ、前記現在の画像ブロックが高度動きベクトル予測ＡＭＶＰモードにある場合、非特定参照画像に対して得られたオリジナルＡＭＶＰ候補ＭＶ、非特定参照画像に対して得られたマージ候補ＭＶ、非特定参照画像から補間により得られたＭＶ、及び前記現在のブロックの非特定参照画像に対する上方隣接ＭＶと左側隣接ＭＶである。
【０１９２】
選択可能には、前記ＭＶ候補リストに基づいて、前記初期ＭＶを確定することは、双方向マッチング法とテンプレートマッチング法とのうちの少なくともの一つに基づいて、前記ＭＶ候補リストにおける候補ＭＶに対応する歪みコストを確定することと、前記ＭＶ候補リストにおける歪みコストが最も小さいＭＶを前記初期ＭＶとすることと、を含むことができる。
【０１９３】
選択可能には、前記スケーリング後のＭＶを修正し、修正後のＭＶを得ることは、前記現在の画像ブロックにサブＭＶ候補リストを生成し、前記サブＭＶ候補リストには前記スケーリング後のＭＶを含み、前記サブＭＶ候補リストから歪みコストが最も小さいＭＶを前記修正後のＭＶとして確定することを含むことができる。
【０１９４】
選択可能には、前記初期ＭＶは、第１初期ＭＶ、及び第２初期ＭＶを含み、前記方法は、前記第１初期ＭＶ、及び前記第２初期ＭＶのうちの少なくとも一つの初期ＭＶが指向する参照画像が特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶのスケーリング比率をいずれも１にセットし、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて、前記現在の画像ブロックに動き補償を行うことと、前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する参照画像がいずれも非特定参照画像である場合、前記第１初期ＭＶのスケーリング比率、及び前記第２初期ＭＶのスケーリング比率を確定し、前記第１初期ＭＶのスケーリング比率に基づいて、前記第１初期ＭＶをスケーリングし、前記第２初期ＭＶのスケーリング比率に基づいて、前記第２初期ＭＶをスケーリングし、前記スケーリング後の第１初期ＭＶ、及び前記スケーリング後の第２初期ＭＶに基づいて、前記現在の画像ブロックに動き補償を行うこととのうちの少なくとも一つを含む。
【０１９５】
選択可能には、前記スケーリング後の第１初期ＭＶ、及び前記スケーリング後の第２初期ＭＶに基づいて、前記現在の画像ブロックに動き補償を行うことは、第１参照画像ブロック、及び第２参照画像ブロックに基づいて、テンプレートを生成し、ここで、前記第１参照画像ブロックは前記スケーリング後の第１初期ＭＶに対応し、かつ第２参照画像に属し、前記第２参照画像ブロックは前記スケーリング後の第２初期ＭＶに対応し、かつ第１参照画像に属し、前記第１参照画像は、前記第１初期ＭＶが指向する参照画像であり、前記第２参照画像は、前記第２初期ＭＶが指向する参照画像であることと、前記テンプレートに基づいて、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶを得ることと、を含む。
【０１９６】
選択可能には、前記テンプレートに基づいて、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、前記修正後の第１ＭＶ、前記修正後の第２ＭＶを得ることは、Ｎ個の第３参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｎ個の第３参照画像ブロックは、Ｎ個の第３初期ＭＶに対応し、かつ前記第１参照画像に属することと、Ｍ個の第４参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｍ個の第４参照画像ブロックは、Ｍ個の第４初期ＭＶに対応し、かつ前記第２参照画像に属することと、前記マッチング結果に基づいて、前記Ｎ個の第３初期ＭＶから一つの第３初期ＭＶを選択し、及び前記Ｍ個の第４初期ＭＶから一つの第４初期ＭＶを選択し、前記一つの第３初期ＭＶ、及び前記一つの第４初期ＭＶを前記現在の画像ブロックのＭＶとし、又は前記現在の画像ブロックのＭＶを確定することに用いることと、を含む。
【０１９７】
選択可能には、前記第３初期ＭＶは、前記第１初期ＭＶを含むことができ、前記第４初期ＭＶは、前記第２初期ＭＶを含むことができる。
【０１９８】
選択可能には、前記Ｎ個の第３初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第１初期ＭＶに基づいて偏移して得られ、前記Ｍ個の第４初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第２初期ＭＶに基づいて偏移して得られたものであってもよい。
【０１９９】
選択可能には、前記Ｎは、前記Ｍに等しくてよい。
【０２００】
選択可能には、前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの後方向フレームであり、又は、前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの前方向フレームである。
【０２０１】
上述の選択可能な実施形態は、方法１００の詳細に類似して実現できることを理解するものとし、ここではこれ以上説明しない。
【０２０２】
図１０は、本出願の一つの実施例の画像動き補償装置１０００の概略的フレーム図である。図１０に示すように、画像動き補償装置１０００は、
コンピュータで実行可能なコマンドを記憶するための少なくとも一つのメモリ１００１と、
前記少なくとも一つのメモリにアクセスし、かつ前記コンピュータで実行可能なコマンドを実行することで、以下の操作を実施することに単独、又は共同で用いられる少なくとも一つのプロセッサ１００２と、を含み、操作は、
現在の画像ブロックの初期動きベクトルＭＶを取得することと、
前記初期ＭＶのスケーリング比率を確定し、ここで、前記初期ＭＶが特定参照画像を指向する場合、前記初期ＭＶのスケーリング比率は、１であることと、
前記初期ＭＶのスケーリング比率に基づいて、前記初期ＭＶをスケーリングすることと、
前記スケーリング後のＭＶに基づいて、前記現在の画像ブロックに動き補償を行うことと、である。
【０２０３】
いくつかの実施例において、前記プロセッサ１００２が前記スケーリング後のＭＶに基づいて、前記現在の画像ブロックに動き補償を行うことは、
前記スケーリング後のＭＶを修正し、修正後のＭＶを得ることと、
前記修正後のＭＶに基づいて、前記現在の画像ブロックに動き補償を行うことと、を含む。
【０２０４】
いくつかの実施例において、前記プロセッサ１００２が前記現在の画像ブロックの初期動きベクトルＭＶを取得することは、
前記現在の画像ブロックのＭＶ候補リストを取得することと、
前記ＭＶ候補リストに基づいて、前記初期ＭＶを確定することと、を含む。
【０２０５】
いくつかの実施例において、前記ＭＶ候補リストにおけるいずれかの候補ＭＶが指向する参照画像は、非特定参照画像である。
【０２０６】
いくつかの実施例において、前記プロセッサ１００２が前記現在の画像ブロックのＭＶ候補リストを取得することは、
前記ＭＶ候補リストに加えるための候補ＭＶを確定し、前記候補ＭＶが指向する参照画像が非特定参照画像である場合、前記候補ＭＶを前記ＭＶ候補リストに加えることを含む。
【０２０７】
いくつかの実施例において、前記プロセッサ１００２は、さらに、
前記候補ＭＶが指向する参照画像のフレームマークに基づいて、前記候補ＭＶが指向する参照画像が非特定参照画像であると確定するためのものである。
【０２０８】
いくつかの実施例において、前記ＭＶ候補リストは、
前記現在の画像ブロックが高度動きベクトル予測ＡＭＶＰモードにある場合、非特定参照画像に対して得られたオリジナルＡＭＶＰ候補ＭＶ、
非特定参照画像に対して得られたマージ候補ＭＶ、
非特定参照画像から補間により得られたＭＶ、及び
前記現在のブロックの非特定参照画像に対する上方隣接ＭＶと左側隣接ＭＶのうちの少なくとも一つの候補ＭＶを含む。
【０２０９】
いくつかの実施例において、前記プロセッサ１００２が前記ＭＶ候補リストに基づいて、前記初期ＭＶを確定することは、
双方向マッチング法とテンプレートマッチング法とのうちの少なくとも一つに基づいて、前記ＭＶ候補リストにおける候補ＭＶに対応する歪みコストを確定することと、
前記ＭＶ候補リストにおける歪みコストが最も小さいＭＶを前記初期ＭＶとすることと、を含む。
【０２１０】
いくつかの実施例において、前記プロセッサ１００２が前記スケーリング後のＭＶを修正し、修正後のＭＶを得ることは、
前記現在の画像ブロックにサブＭＶ候補リストを生成し、前記サブＭＶ候補リストには前記スケーリング後のＭＶを含むことと、
前記サブＭＶ候補リストから歪みコストが最も小さいＭＶを前記修正後のＭＶとして確定することと、を含む。
【０２１１】
いくつかの実施例において、前記初期ＭＶは、第１初期ＭＶ、及び第２初期ＭＶを含み、前記プロセッサ１００２は、具体的に、
前記第１初期ＭＶ、及び前記第２初期ＭＶのうちの少なくとも一つの初期ＭＶが指向する参照画像が特定参照画像である場合、前記第１初期ＭＶ、及び前記第２初期ＭＶのスケーリング比率をいずれも１にセットし、前記第１初期ＭＶ、及び前記第２初期ＭＶに基づいて前記現在の画像ブロックに動き補償を行うことと、
前記第１初期ＭＶ、及び前記第２初期ＭＶが指向する参照画像がいずれも非特定参照画像である場合、前記第１初期ＭＶのスケーリング比率、及び前記第２初期ＭＶのスケーリング比率を確定し、前記第１初期ＭＶのスケーリング比率に基づいて、前記第１初期ＭＶをスケーリングし、前記第２初期ＭＶのスケーリング比率に基づいて、前記第２初期ＭＶをスケーリングし、前記スケーリング後の第１初期ＭＶ、及び前記スケーリング後の第２初期ＭＶに基づいて、前記現在の画像ブロックに動き補償を行うこととのうちの少なくとも一つのためのものである。
【０２１２】
いくつかの実施例において、前記プロセッサ１００２が前記スケーリング後の第１初期ＭＶ、及び前記スケーリング後の第２初期ＭＶに基づいて、前記現在の画像ブロックに動き補償を行うことは、
第１参照画像ブロック、及び第２参照画像ブロックに基づいて、テンプレートを生成し、ここで、前記第１参照画像ブロックは前記スケーリング後の第１初期ＭＶに対応し、かつ第２参照画像に属し、前記第２参照画像ブロックは前記スケーリング後の第２初期ＭＶに対応し、かつ第１参照画像に属し、前記第１参照画像は、前記第１初期ＭＶが指向する参照画像であり、前記第２参照画像は、前記第２初期ＭＶが指向する参照画像であることと、
前記テンプレートに基づいて、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶを得ることと、を含む。
【０２１３】
いくつかの実施例において、前記プロセッサ１００２が前記テンプレートに基づいて、前記第１初期ＭＶ、及び前記第２初期ＭＶを修正し、前記修正後の第１ＭＶ、及び前記修正後の第２ＭＶを得ることは、
Ｎ個の第３参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｎ個の第３参照画像ブロックは、Ｎ個の第３初期ＭＶに対応し、かつ前記第１参照画像に属することと、
Ｍ個の第４参照画像ブロックを利用して、それぞれ前記テンプレートとマッチングし、ここで、前記Ｍ個の第４参照画像ブロックは、Ｍ個の第４初期ＭＶに対応し、かつ前記第２参照画像に属することと、
前記マッチング結果に基づいて、前記Ｎ個の第３初期ＭＶから一つの第３初期ＭＶを選択し、及び前記Ｍ個の第４初期ＭＶから一つの第４初期ＭＶを選択し、前記一つの第３初期ＭＶ、及び前記一つの第４初期ＭＶを前記現在の画像ブロックのＭＶとし、又は前記現在の画像ブロックのＭＶを確定することに用いることと、を含む。
【０２１４】
いくつかの実施例において、前記第３初期ＭＶは、前記第１初期ＭＶを含み、前記第４初期ＭＶは、前記第２初期ＭＶを含む。
【０２１５】
いくつかの実施例において、前記Ｎ個の第３初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第１初期ＭＶに基づいて偏移して得られ、前記Ｍ個の第４初期ＭＶにおける少なくとも一部の初期ＭＶは、前記第２初期ＭＶに基づいて偏移して得られたものである。
【０２１６】
いくつかの実施例において、前記Ｎは、前記Ｍに等しい。
【０２１７】
いくつかの実施例において、前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの後方向フレームであり、又は、
前記第１参照画像は、前記現在の画像ブロックの前方向フレームであり、前記第２参照画像は、前記現在の画像ブロックの前方向フレームである。
【０２１８】
いくつかの実施例において、前記特定参照画像は、長期参照画像、合成フレーム、出力されないフレームのうちの少なくとも一つを含む。
【０２１９】
いくつかの実施例において、前記プロセッサ１００２は、さらに、
前記参照画像が出力されないフレームであると確定し、かつ前記参照画像が合成フレームであるとさらに確定する場合、前記参照画像を前記特定参照画像であると確定するためのものである。
【０２２０】
いくつかの実施例において、前記非特定参照画像は、短期参照画像を含む。
【０２２１】
画像動き補償装置１０００は、さらに、対応するソフトウェアモジュールにより実現できることを理解するものとし、ここではこれ以上説明しない。
【０２２２】
本出願の各実施例の装置は、メモリ、及びプロセッサにより実現でき、各メモリは、本出願の実施例の方法を実行するためのコマンドを記憶するためのものであり、プロセッサは、上述コマンドを実行し、装置が本出願の各実施例の方法を実行するようにすることを理解されたい。
【０２２３】
本出願の実施例において言及するプロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、ＣＰＵ）であってよく、その他の汎用プロセッサ、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、既成のフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ、ＦＰＧＡ）、又はその他のプログラマブルロジックデバイス、ディスクリートゲート、又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントなどであってよいことを理解されたい。汎用プロセッサは、マイクロプロセッサであってよく、又はこのプロセッサは、いずれかの通常のプロセッサなどであってよい。
【０２２４】
本出願の実施例で言及するメモリは、揮発性メモリ、若しくは不揮発性メモリであってよく、又は揮発性及び不揮発性メモリの両者を含むことができることをさらに理解されたい。ここで、不揮発性メモリは、リードオンリメモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭ）、プログラマブルリードオンリメモリ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ、ＰＲＯＭ）、消去可能プログラマブルリードオンリメモリ（Ｅｒａｓａｂｌｅ  ＰＲＯＭ、ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ、ＥＥＰＲＯＭ）、又はフラッシュメモリであってよい。揮発性メモリは、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＲＡＭ）であってよく、外部高速バッファメモリとして用いられる。例示的だが限定しない説明により、多くの形態のＲＡＭを用いることができ、例えば、スタティックラム（Ｓｔａｔｉｃ  ＲＡＭ、ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ  ＲＡＭ、ＤＲＡＭ）、シンクロナスＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ、ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（Ｄｏｕｂｌｅ  Ｄａｔａ  Ｒａｔｅ  ＳＤＲＡＭ、ＤＤＲ  ＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（Ｅｎｈａｎｃｅｄ  ＳＤＲＡＭ、ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（Ｓｙｎｃｈｌｉｎｋ  ＤＲＡＭ、ＳＬＤＲＡＭ）、及びダイレクトラムバスＲＡＭ（Ｄｉｒｅｃｔ  Ｒａｍｂｕｓ  ＲＡＭ、ＤＲ  ＲＡＭ）である。
【０２２５】
プロセッサが汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ、又はその他のプログラマブルロジックデバイス、ディスクリートゲート、又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントの場合、メモリ（記憶モジュール）は、プロセッサに集積されることを説明する必要がある。
【０２２６】
本文で説明されるメモリは、これらの、及び任意のその他の適切なタイプのメモリを含むが、それに限定しないことに留意するものとする。
【０２２７】
本出願の実施例は、コンピュータで読み取り可能な記憶媒体をさらに提供し、これにはコマンドが記憶され、コマンドがコンピュータで運用される際、コンピュータに上述の各方法の実施例の方法を実行させる。
【０２２８】
本出願の実施例は、コンピュータデバイスをさらに提供し、このコンピュータデバイスは、上述コンピュータで読み取り可能な記憶媒体を含む。
【０２２９】
本出願の実施例は、符号化デバイスをさらに提供し、この符号化デバイスは、画像動き補償装置７０と、画像処理装置８０と、画像動き補償装置１０００とのうちの少なくとも一つを含む。
【０２３０】
本出願の実施例は、復号化デバイスをさらに提供し、この復号化デバイスは、画像動き補償装置７０と、画像処理装置８０と、画像動き補償装置１０００とのうちの少なくとも一つを含む。
【０２３１】
本出願の実施例は、航空機に応用でき、特に無人機分野である。
【０２３２】
本出願の各実施例の電気回路、サブ電気回路、サブユニットの区分は、概略的にすぎないことを理解されたい。当業者は、本文で開示される実施例により説明される各例示的な電気回路、サブ電気回路、及びサブユニットは、分解、又は組み合わせることができることを認識できる。
【０２３３】
上述の実施例において、全部又は部分的に、ソフトウェア、ハードウェア、ファームウェア、又はその他の任意の組み合わせにより実現できる。ソフトウェアを使用して実現する場合、全部又は部分的にコンピュータプログラム製品の形態により実現できる。コンピュータプログラム製品は、一つ又は複数のコンピュータコマンドを含む。コンピュータでコンピュータコマンドをロード又は実行する場合、全部又は部分的に、本出願の実施例に基づくプロセス又は機能を生成する。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又はその他のプログラミング可能な装置でもよい。コンピュータコマンドは、コンピュータで読み取り可能な記憶媒体に記憶でき、又はコンピュータで読み取り可能な記憶媒体から他のコンピュータで読み取り可能な記憶媒体へ伝送でき、例えば、コンピュータコマンドは、サイト、コンピュータ、サーバ、又はデータセンタから有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ、ＤＳＬ））、又は無線（例えば、赤外線、無線、マイクロ波など）の方法により他のサイト、コンピュータ、サーバ、又はデータセンタへ伝送できる。コンピュータで読み取り可能な記憶媒体は、コンピュータでアクセス可能ないずれかの使用可能な媒体であってよく、又は一つ若しくは複数の使用可能な媒体が集積されたサーバ、データセンタなどを含むデータ記憶デバイスであってよい。使用可能な媒体は、磁性媒体（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光媒体（例えば、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｄｉｓｃ、ＤＶＤ））、又は半導体媒体（例えば、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｉｓｋ、ＳＳＤ））などであってよい。
【０２３４】
本明細書全体において言及される「一つの実施例」又は「実施例」は、実施例に関連する特定の特徴、構造、又は特性が本出願の少なくとも一つの実施例に含まれることを意味することを理解されたい。従って、本明細書全体の各箇所における「一つの実施例において」、又は「実施例において」は、同じ実施例を指すとは限らない。このほか、これらの特定の特徴、構造、又は特性は、任意の適切な方法で一つ又は複数の実施例に結合されることができる。
【０２３５】
本出願の各実施例において、上述の各過程の番号の大きさは、実行順序の前後を意味するわけではなく、各過程の実行順序は、その機能及び内在的なロジックにより確定され、本出願の実施例の実施過程にいかなる制限を行うものではないことを理解されたい。
【０２３６】
本出願の実施例における「Ａに対応するＢ」とは、ＢがＡに関連し、Ａに基づいて、Ｂを確定できることを示すことを理解されたい。但し、Ａに基づいて、Ｂを確定するとは、ＡによってのみＢを確定することを意味するわけではなく、さらに、Ａとその他の情報とのうちの少なくとも一つに基づいて、Ｂを確定できることを理解されたい。
【０２３７】
本文における用語「少なくとも一つの」は、関連対象の関連関係を説明するにすぎず、３つの関係が存在でき、例えば、ＡとＢとのうちの少なくとも一つは、Ａが単独で存在する、ＡとＢが同時に存在する、Ｂが単独で存在する、の３つの状況があることを理解されたい。このほか、本文における記号「／」は通常、前後の関連対象が「又は」の関係であることを示す。
【０２３８】
当業者は、本文で開示される実施例により説明される各例示的なユニット、及びアルゴリズムステップを踏まえ、電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせにより実現できることを認識できる。これらの機能が最終的にハードウェア、又はソフトウェアの方法で実行されるかは、技術的解決手段の特定の応用、及び設計上の制約条件により決定される。当業者は、各特定の応用に異なる方法を使用することで説明される機能を実現できるが、このような実現は、本出願の範囲を超えると認識されるべきではない。
【０２３９】
当業者は、説明しやすく、簡潔に説明するために、上述の説明されるシステム、装置、及びユニットの具体的な作動過程が前述の方法の実施例における対応過程を参照できることを明確に理解でき、ここではこれ以上説明しない。
【０２４０】
本出願により提供される複数の実施例において、開示されるシステム、装置、及び方法は、その他の方法により実現できることを理解されたい。例えば、上述に説明された装置の実施例は、例示的にすぎない。例えば、前記ユニットの区分は、ロジック機能の区分にすぎず、実際に実現する場合には、他の分割方法があってよく、例えば、複数のユニット、若しくはコンポーネントは、結合でき、若しくは他のシステムに集積でき、又はいくつかの特徴は無視でき、若しくは実行しないことができる。また、示された、若しくは検討された互いの間の結合、又は直接的な結合、又は通信接続は、いくつかのインターフェースによることができ、装置、若しくはユニットの間接的な結合、又は通信接続は、電気的であってよく、機械、又はその他の形態であってよい。
【０２４１】
前記分離部材として説明されたユニットは、物理的に分割されてもよく、又は物理的に分割されなくてもよく、ユニットとして表示される部材は、物理ユニットでもよく、又は物理ユニットでなくてもよく、すなわち一つの場所に位置でき、又は複数のネットワークユニットに分布されてもよい。実際の必要に応じてそのうちの一部又は全部のユニットを選択して本実施例の解決手段の目的を実現できる。
【０２４２】
このほか、本出願の各実施例における各機能ユニットは、一つの処理ユニットに集積でき、各ユニットが単独で物理的に存在することもでき、二つ又は二つ以上のユニットが一つのユニットに集積されてもよい。
【０２４３】
以上に述べたのは、本出願の具体的な実施形態に過ぎないが、本出願の保護範囲は、これに限定されるわけではなく、当分野を熟知する当業者はいずれも本出願により開示される技術範囲内において、変更又は置換を容易に想到でき、いずれも本出願の保護範囲内に含まれるものとする。従って、本出願の保護範囲は、記載された特許請求の範囲の保護範囲に準じるものとする。
【図１】
2021520124.tif 000003
【図２】
2021520124.tif 000004
【図３】
2021520124.tif 000005
【図４】
2021520124.tif 000006
【図５】
2021520124.tif 000007
【図６】
2021520124.tif 000008
【図７】
2021520124.tif 000009
【図８】
2021520124.tif 000010
【図９】
2021520124.tif 000011
【図１０】
2021520124.tif 000012
【国際調査報告】
2021520124.tif 000013
2021520124.tif 000014
2021520124.tif 000015
2021520124.tif 000016
2021520124.tif 000017
2021520124.tif 000018
2021520124.tif 000019
2021520124.tif 000020