(57)【要約】  ３６０°全方向映像を含むパノマラ映像の右側境界部分と左側境界部分との空間的相関関係が高い性質を利用して、パノマラ映像の動き予測及び補償を行うことを特徴とする映像の動き推定及び補償である。これにより、パノマラ映像の動き推定及び補償の効率性及び正確度を向上させて画質を改善できる。特に、パノマラ映像の右側境界部分及び左側境界部分の画質改善に効果がある。
2008510358.tif 000002
【特許請求の範囲】
【請求項１】
３６０°全方向映像情報を含むパノマラ映像の動き推定方法において、
現在パノマラ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを利用して、前記現在データユニットの動きベクトルを予測するステップと、
前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングするステップと、
パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得るステップと、
所定評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定するステップとを含むことを特徴とする方法。
【請求項２】
前記現在データユニットの動きベクトルを予測するステップは、
前記複数の以前データユニットのうち少なくとも一つが、前記現在パノマラ映像の左側境界または右側境界の外側に存在すれば、前記現在パノマラ映像の左側境界と右側境界とを連結して、前記現在パノマラ映像が円筒形の映像であると仮定し、前記円筒形の映像から前記複数の以前データユニットを決定するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記複数の以前データユニットは、前記現在データユニットの左側に隣接した第１データユニット、前記現在データユニットの上側に隣接した第２データユニット、前記第２データユニットの右側に隣接した第３データユニット、及び前記第１データユニットと前記第２データユニットとの両方に隣接する第４データユニットであることを特徴とする請求項１に記載の方法。
【請求項４】
所定の探索範囲内で前記現在データユニットと最も類似した参照データユニットを決定するステップと、
決定された前記参照データユニットを表す動きベクトルを決定するステップと、をさらに含むことを特徴とする請求項１に記載の方法。
【請求項５】
３６０°全方向映像情報を含むパノマラ映像の動き推定方法において、
現在パノマラ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを利用して前記現在データユニットの動きベクトルを予測するステップと、
前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部または全部が参照映像の左側境界または右側境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得るステップと、
所定評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定するステップとを含むことを特徴とする方法。
【請求項６】
前記現在データユニットの動きベクトルを予測するステップは、
前記複数の以前データユニットのうち少なくとも一つが前記現在パノマラ映像の左側境界または右側境界の外側に存在すれば、前記現在パノマラ映像の左側境界と右側境界とを連結して、前記現在パノマラ映像が円筒形の映像であると仮定し、前記円筒形の映像から前記複数の以前データユニットを決定するステップを含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記複数の以前データユニットは、前記現在データユニットの左側に隣接した第１データユニット、前記現在データユニットの上側に隣接した第２データユニット、前記第２データユニットの右側に隣接した第３データユニット、及び前記第１データユニットと前記第２データユニットとの両方に隣接する第４データユニットであることを特徴とする請求項５に記載の方法。
【請求項８】
所定探索範囲内で前記現在データユニットと最も類似した参照データユニットを決定するステップと、
決定された前記参照データユニットを表す動きベクトルを決定するステップとを含むことを特徴とする請求項５に記載の方法。
【請求項９】
３６０°全方向映像情報を含むパノマラ映像の動き推定装置において、
現在パノマラ映像の動き推定に利用するための参照映像及び現在パノマラ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを保存するメモリと、
前記複数の以前データユニットの前記動きベクトルを利用して前記現在データユニットの動きベクトルを予測し、前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、前記参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングし、パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得た後、所定の評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定する動き推定部と、を備えることを特徴とする装置。
【請求項１０】
前記動き推定部は、
前記複数の以前データユニットのうち少なくとも一つが前記現在パノマラ映像の左側境界または右側境界の外側に存在すれば、前記現在パノマラ映像の左側境界と右側境界とを連結して、前記現在パノマラ映像が円筒形の映像であると仮定し、前記円筒形の映像から前記複数の以前データユニットを決定することを特徴とする請求項９に記載の装置。
【請求項１１】
前記複数の以前データユニットは、前記現在データユニットの左側に隣接した第１データユニット、前記現在データユニットの上側に隣接した第２データユニット、前記第２データユニットの右側に隣接した第３データユニット、及び前記第１データユニットと前記第２データユニットとの両方に隣接する第４データユニットであることを特徴とする請求項９に記載の装置。
【請求項１２】
前記動き推定部は、所定探索範囲内で前記現在データユニットと最も類似した参照データユニットを決定し、決定された前記参照データユニットを表す動きベクトルを決定することを特徴とする請求項９に記載の装置。
【請求項１３】
３６０°全方向映像情報を含むパノマラ映像の動き推定装置において、
現在パノマラ映像の動き推定に利用するための参照映像及び現在パノマラ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを保存するメモリと、
前記複数の以前データユニットの前記動きベクトルを利用して前記現在データユニットの動きベクトルを予測し、前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部または全部が参照映像の左側境界または右側境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得た後、所定の評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定する動き推定部とを備えることを特徴とする装置。
【請求項１４】
前記動き推定部は、前記複数の以前データユニットのうち少なくとも一つが前記現在パノマラ映像の左側境界または右側境界の外側に存在すれば、前記現在パノマラ映像の左側境界と右側境界とを連結して、前記現在パノマラ映像が円筒形の映像であると仮定し、前記円筒形の映像から前記複数の以前データユニットを決定することを特徴とする請求項１３に記載の装置。
【請求項１５】
前記複数の以前データユニットは、前記現在データユニットの左側に隣接した第１データユニット、前記現在データユニットの上側に隣接した第２データユニット、前記第２データユニットの右側に隣接した第３データユニット、及び前記第１データユニットと前記第２データユニットとの両方に隣接する第４データユニットであることを特徴とする請求項１３に記載の装置。
【請求項１６】
前記動き推定部は、所定探索範囲内で前記現在データユニットと最も類似した参照データユニットを決定し、決定された前記参照データユニットを表す動きベクトルを決定することを特徴とする請求項１３に記載の装置。
【請求項１７】
３６０°全方向映像情報を含むパノマラ映像の動き補償方法において、
現在パノマラ映像に含まれた現在データユニットの動きベクトルを入力されるステップと、
前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングするステップと、
パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得るステップと、
前記参照データユニットの画素値を利用して前記現在データユニットを再生するステップとを含むことを特徴とする方法。
【請求項１８】
３６０°全方向映像情報を含むパノマラ映像の動き補償方法において、
現在パノマラ映像に含まれた現在データユニットの動きベクトルを入力されるステップと、
前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得るステップと、
前記参照データユニットの画素値を利用して前記現在データユニットを再生するステップとを含むことを特徴とする方法。
【請求項１９】
３６０°全方向映像情報を含むパノマラ映像の動き補償装置において、
現在パノマラ映像の動き補償に利用するための参照映像を保存するメモリと、
前記現在パノマラ映像に含まれた現在データユニットの動きベクトルを入力されて、前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングし、パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得た後、前記参照データユニットの画素値を利用して前記現在データユニットを再生する動き補償部とを備えることを特徴とする装置。
【請求項２０】
３６０°全方向映像情報を含むパノマラ映像の動き補償装置において、
現在パノマラ映像の動き補償に利用するための参照映像を保存するメモリと、
前記現在パノマラ映像に含まれた現在データユニットの動きベクトルを入力されて、前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得た後、前記参照データユニットの画素値を利用して前記現在データユニットを再生する動き補償部とを備えることを特徴とする装置。
【請求項２１】
コンピュータで読み取り可能な記録媒体において、
現在パノマラ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを利用して前記現在データユニットの動きベクトルを予測するステップと、
前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングするステップと、
パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得るステップと、
所定評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定するステップと、を含むことを特徴とする３６０°全方向映像情報を含むパノマラ映像の動き推定方法を実現させるためのプログラムを記録した記録媒体。
【請求項２２】
コンピュータで読み取り可能な記録媒体において、
現在パノマラ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを利用して前記現在データユニットの動きベクトルを予測するステップと、
前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部または全部が参照映像の左側境界または右側境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得るステップと、
所定評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定するステップとを含むことを特徴とする３６０°全方向映像情報を含むパノマラ映像の動き推定方法を実現させるためのプログラムを記録した記録媒体。
【請求項２３】
コンピュータで読み取り可能な記録媒体において、
現在パノマラ映像に含まれた現在データユニットの動きベクトルを入力されるステップと、
前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得るステップと、
前記参照データユニットの画素値を利用して前記現在データユニットを再生するステップと、を含むことを特徴とする３６０°全方向映像情報を含むパノマラ映像の動き補償方法を実現させるためのプログラムを記録した記録媒体。
【請求項２４】
コンピュータで読み取り可能な記録媒体において、
現在パノマラ映像に含まれた現在データユニットの動きベクトルを入力されるステップと、
前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得るステップと、
前記参照データユニットの画素値を利用して前記現在データユニットを再生するステップとを含むことを特徴とする３６０°全方向映像情報を含むパノマラ映像の動き補償方法を実現させるためのプログラムを記録した記録媒体。
【請求項２５】
３６０°全方向映像情報を含むパノマラ映像の動き推定装置において、
第１境界及び第２境界を有する参照映像と、前記第１境界及び前記第２境界にそれぞれ隣接した第１参照データユニット及び第２参照データユニットとを保存するメモリと、
前記メモリから現在映像に含まれた現在データユニット及び前記参照映像の参照データユニットを入力され、前記第１参照データユニット及び第２参照データユニットのうち何れか一方のみが探索範囲に属する場合、前記探索範囲に属する参照データユニットを利用して現在データユニットの動きベクトルを推定する動き推定部とを備えることを特徴とする装置。
【請求項２６】
前記参照映像は、前記第１境界と前記第２境界とが連結されれば、円筒形の映像となり、前記円筒形の映像で前記第１参照データユニットと前記第２参照データユニットとは、それぞれ相互隣接して空間的な相関関係を有する第１マクロブロック及び第２マクロブロックを備えることを特徴とする請求項２５に記載の装置。
【請求項２７】
前記参照映像及び前記現在映像は、パノマラ映像を備え、前記探索範囲は、前記第１参照データユニット及び前記第２参照データユニットのうち一つのみが、前記現在データユニットの動きベクトルの探索範囲の外側に位置した場合、前記現在データユニットの動きベクトルの探索範囲の外側に位置した参照データユニットを備えることを特徴とする請求項２５に記載の装置。
【請求項２８】
前記動きベクトル及び前記現在映像によって参照マクロブロックを生成する動き補償部と、
前記現在映像及び前記参照マクロブロックによって前記参照映像に対応する信号を発生する符号化部とをさらに備えることを特徴とする請求項２５に記載の装置。
【請求項２９】
量子化された変換係数に対応する符号化された信号によって前記動きベクトルを生成し、前記符号化された信号によって残留信号を生成する手段と、
前記動きベクトルによって前記参照マクロブロックを生成する手段と、
前記マクロブロック及び前記残留信号によって前記現在映像を生成する手段とをさらに備えることを特徴とする請求項２８に記載の装置。
【請求項３０】
３６０°全方向映像情報を含むパノマラ映像を生成する装置において、
現在映像及び参照映像に対応するデータを含んだビットストリームを復号化し、前記現在映像の現在データユニットの動きベクトルを生成して、前記参照映像の第１境界に位置した第１参照データユニットを備える前記参照映像の探索範囲に符合させる復号化部と、
前記動きベクトルによって前記探索範囲に含まれていない、前記参照映像の第２境界に位置した第２参照データユニットを利用して前記第１参照データユニットの参照マクロブロックを生成するパノマラ映像動き補償部と、
前記参照マクロブロック及び前記復号化されたビットストリームに対応するデータによって前記現在映像を生成する出力部とを備えることを特徴とする装置。
【請求項３１】
３６０°全方向映像情報を含むパノマラ映像の動きベクトルを推定する装置において、
符号化器及び復号化器を備え、
前記符号化器は、
第１境界及び第２境界を有する参照映像と、前記第１境界及び前記第２境界にそれぞれ隣接した第１参照データユニット及び第２参照データユニットとを保存するメモリと、
前記メモリから現在映像に含まれた現在データユニット及び前記参照映像の参照データユニットを入力され、前記第１参照データユニット及び第２参照データユニットのうち何れか一方のみが探索範囲に属する場合、前記探索範囲に属する参照データユニットを利用して現在データユニットの動きベクトルを推定する動き推定部と、
前記動きベクトル及び前記現在映像によって参照マクロブロックを生成する動き補償部と、
前記現在映像及び前記参照マクロブロックによって前記参照映像に対応するビットストリームを生成する符号化部とを備え、
前記復号化器は、
現在映像及び参照映像に対応するデータを含むビットストリームを復号化し、前記現在映像の現在データユニットの動きベクトルを生成して、前記参照映像の第１境界に位置した第１参照データユニットを備える、前記参照映像の探索範囲に符合させる復号化部と、
前記動きベクトルによって前記探索範囲に含まれていない、前記参照映像の第２境界に位置した第２参照データユニットを利用して前記第１参照データユニットの参照マクロブロックを生成する第２動き補償部と、
前記参照マクロブロック及び前記復号化されたビットストリームに対応するデータによって前記現在映像を生成する出力部とを備えることを特徴とする装置。
【請求項３２】
３６０°全方向映像情報を含むパノマラ映像の動きベクトルを推定する方法において、
第１境界及び第２境界を有する参照映像と、前記第１境界及び前記第２境界にそれぞれ隣接した第１参照データユニット及び第２参照データユニットとを保存するステップと、
前記メモリから現在映像に含まれた現在データユニット及び前記参照映像の参照データユニットを入力されて、前記第１参照データユニット及び第２参照データユニットのうち何れか一方のみが探索範囲に属する場合、前記探索範囲に属する参照データユニットを利用して現在データユニットの動きベクトルを推定するステップと、を含むことを特徴とする方法。
【請求項３３】
前記動きベクトル及び前記現在映像によって参照マクロブロックを生成するステップと、
前記現在映像及び前記参照マクロブロックによって前記参照映像に対応する信号を生成するステップとをさらに含むことを特徴とする請求項３２に記載の方法。
【請求項３４】
３６０°全方向映像情報を含むパノマラ映像を生成する方法において、
現在映像及び参照映像に対応するデータを含んだビットストリームを復号化し、前記現在映像の現在データユニットの動きベクトルを生成して、前記参照映像の第１境界に位置した第１参照データユニットを備える、前記参照映像の探索範囲に符合させるステップと、
前記動きベクトルによって前記探索範囲に含まれていない、前記参照映像の第２境界に位置した第２参照データユニットを利用して前記第１参照データユニットの参照マクロブロックを生成するステップと、
前記参照マクロブロック及び前記復号化されたビットストリームに対応するデータによって前記現在映像を生成するステップとを含むことを特徴とする方法。
【請求項３５】
３６０°全方向映像情報を含むパノマラ映像の動きベクトルを推定する方法において、
第１境界及び第２境界を有する参照映像と、前記第１境界及び前記第２境界にそれぞれ隣接した第１参照データユニット及び第２参照データユニットとを保存するステップと、
前記メモリから現在映像に含まれた現在データユニット及び前記参照映像の参照データユニットを入力されて、前記第１参照データユニット及び第２参照データユニットのうち何れか一方のみが探索範囲に属する場合、前記探索範囲に属する参照データユニットを利用して現在データユニットの動きベクトルを推定するステップと、
前記動きベクトル及び前記現在映像によって参照マクロブロックを生成するステップと、
前記現在映像及び前記参照マクロブロックによって前記参照映像に対応するビットストリームを生成するステップと、
現在映像及び参照映像に対応するデータを含んだビットストリームを復号化し、前記参照映像の第１境界に位置した第１参照データユニットを備える、前記参照映像の探索範囲に符合するように前記現在映像の現在データユニットの動きベクトルを生成するステップと、
前記動きベクトルによって前記探索範囲に含まれていない、前記参照映像の第２境界に位置した第２参照データユニットを利用して前記第１参照データユニットの参照マクロブロックを生成するステップと、
前記参照マクロブロック及び前記復号化されたビットストリームに対応するデータによって前記現在映像を生成するステップとを含むことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノマラ映像の動き推定及び補償に係り、さらに詳細には、３６０°全方向映像情報を含むパノマラ映像の動き推定方法、動き推定装置、動き補償方法及び動き補償装置に関する。
【背景技術】
【０００２】
全方向ビデオカメラシステムは、固定視点を基準に３６０°全方向撮影の可能なカメラシステムをいう。全方向ビデオカメラシステムは、カメラに双曲面ミラーのような特殊形態のミラーや、魚眼レンズのような特殊レンズを装着するか、複数のカメラを利用して全方向を撮影する。
【０００３】
全方向ビデオエンコーディング方法が適用される一例として、三次元実感放送がある。三次元実感放送の一例を挙げれば、野球競技などで多様な視点からの光景についての映像情報は、視聴者側の端末に全て与えられる。すなわち、投手の立場からの視点、捕手の立場からの視点、打者の立場からの視点、一塁席観衆の立場からの視点などでの多様な映像情報が視聴者に提供される。視聴者は、見たい視点を自ら決定して、その視点からの映像を視聴しうる。
【０００４】
全方向カメラシステムにより撮影された映像は、３次元の球形環境に対応する特徴を有する。したがって、全方向カメラシステムにより撮影された３次元映像を２次元平面映像に変換する。このとき、２次元平面映像は、３６０°全方向映像を含むパノマラ映像となる。２次元パノマラ映像に対して全方向ビデオコーディングが行われる。
【０００５】
一方、映像符号化技術の一つである動き推定は、所定の評価関数を利用して現在フレーム内のデータユニットと最も類似したデータユニットを以前フレームで探索して、両データユニットの位置の差を表す動きベクトルを求める過程である。ここで、データユニットは、一般的に１６Ｘ１６サイズのマクロブロックが主に利用されるが、１６Ｘ８、８Ｘ１６及び８Ｘ８ブロックなどの多様なサイズのブロックが利用されうる。
【０００６】
１６ｘ１６サイズのマクロブロック単位で行われる従来の技術の一例による動き推定の過程をさらに詳細に説明する。まず、現在マクロブロックに隣接する複数の以前マクロブロックの動きベクトルを利用して、現在マクロブロックの動きベクトルを予測する。図１は、現在マクロブロックの動きベクトルの予測に利用される複数の以前マクロブロックを示す図である。Ｘは、現在マクロブロックを表し、Ａ、Ｂ、Ｃ及びＤは、現在マクロブロックＸの前に符号化された以前マクロブロックである。
【０００７】
しかし、現在フレーム内での現在マクロブロックＸの位置によって利用できない以前マクロブロックが発生する。図２Ａは、現在マクロブロックＸの動きベクトルの予測に利用する以前マクロブロックＢ、Ｃ及びＤが存在しない場合を表す。このような場合、現在マクロブロックＸの動きベクトルは、０に設定される。
【０００８】
図２Ｂは、現在マクロブロックＸの動きベクトルの予測に利用する以前マクロブロックＡ及びＤが存在しない場合を表す。このような場合、以前マクロブロックＡ及びＤの動きベクトルは、それぞれ０に設定される。現在マクロブロックＸの動きベクトルは、以前マクロブロックＡ、Ｂ、Ｃ及びＤの中間値に設定される。
【０００９】
図２Ｃは、現在マクロブロックＸの動きベクトルの予測に利用する以前マクロブロックＣが存在しない場合を表す。このような場合、以前マクロブロックＣの動きベクトルは、それぞれ０に設定される。現在マクロブロックＸの動きベクトルは、以前マクロブロックＡ、Ｂ、Ｃ及びＤの中間値に設定される。
【００１０】
現在マクロブロックＸの予測動きベクトルが求められれば、予測動きベクトルが表す、参照フレーム内の参照マクロブロックと現在のマクロブロックとの類似程度を所定の評価関数を利用して計算する。その後、所定の探索範囲内で現在マクロブロックと最も類似した参照フレーム内の参照マクロブロックを探索する。前記所定の評価関数としては、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）関数、ＳＡＴＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｔｒａｎｓｆｏｒｍｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）関数またはＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）関数を利用することが一般的である。
【００１１】
所定の探索範囲内で現在マクロブロックと最も類似した参照マクロブロックの探索時、参照マクロブロックの一部または全画素が参照映像の外部に存在してもよい。このような場合、図３に示すように、参照映像の左側境界に位置した画素値を参照映像の左側境界の外側領域にパッディングし、参照映像の右側境界に位置した画素値を参照映像の右側境界の外側領域にパッディングした後に動き予測及び補償を行う。このような方式による動き予測及び補償をＵＭＶ（Ｕｎｒｅｓｔｒｉｃｔｅｄ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ）モードによる動き予測及び補償という。
【００１２】
図４Ａは、３６０°全方向映像を含む円筒形の映像を示す図であり、図４Ｂは、図４Ａに示す円筒形の映像を基準線Ｘに沿って切断することによって生成された、３６０°全方向映像を含むパノマラ映像を表す。図４Ｂに示すように、人間状の客体の左側部分Ａは、パノマラ映像の右側境界部分に位置し、人間状の客体の右側部分Ｂは、パノマラ映像の左側境界部分に位置するということが分かる。すなわち、３６０°全方向映像を含むパノマラ映像の右側境界部分と左側境界部分との空間的な相関関係は非常に高い。
【００１３】
全方向映像情報を含むパノマラ映像のこのような特性を考慮せず、前述の従来の技術による動き予測及び補償方法をそのまま全方向映像情報を含むパノマラ映像に適用することは効率的ではない。したがって、全方向映像情報を含むパノマラ映像に適した動き予測及び補償方法が要求される。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明が解決しようとする技術的課題は、全方向映像情報を含むパノマラ映像の特性に合う、さらに効率的かつ正確な動き推定方法及びその装置を提供するところにある。
【００１５】
本発明が解決しようとする他の技術的課題は、全方向映像情報を含むパノマラ映像の特性に合う、さらに効率的かつ正確な動き補償方法及びその装置を提供するところにある。
【課題を解決するための手段】
【００１６】
前記課題を達成するための本発明の一実施形態に係る動き推定方法は、３６０°全方向映像情報を含むパノマラ映像の動き推定方法において、現在パノマラ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを利用して、前記現在データユニットの動きベクトルを予測するステップと、前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングするステップと、パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得るステップと、所定評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定するステップと、を含むことを特徴とする。
【００１７】
前記現在データユニットの動きベクトルを予測するステップは、前記複数の以前データユニットのうち少なくとも一つが、前記現在パノマラ映像の左側境界または右側境界の外側に存在すれば、前記現在パノマラ映像の左側境界と右側境界とを連結して、前記現在パノマラ映像が円筒形の映像であると仮定し、前記円筒形の映像から前記複数の以前データユニットを決定するステップを含むことが望ましい。
【００１８】
前記複数の以前データユニットは、前記現在データユニットの左側に隣接した第１データユニット、前記現在データユニットの上側に隣接した第２データユニット、前記第２データユニットの右側に隣接した第３データユニット、及び前記第１データユニットと前記第２データユニットとの両方に隣接する第４データユニットであることが望ましい。
【００１９】
また、所定の探索範囲内で前記現在データユニットと最も類似した参照データユニットを決定するステップと、決定された前記参照データユニットを表す動きベクトルを決定するステップとをさらに含むことが望ましい。
【００２０】
前記課題を達成するための本発明の他の実施形態に係る動き推定方法は、３６０°全方向映像情報を含むパノマラ映像の動き推定方法において、現在パノマラ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを利用して前記現在データユニットの動きベクトルを予測するステップと、前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部または全部が参照映像の左側境界または右側境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得るステップと、所定評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定するステップとを含むことを特徴とする。
【００２１】
また、前記現在データユニットの動きベクトルを予測するステップは、前記複数の以前データユニットのうち少なくとも一つが前記現在パノマラ映像の左側境界または右側境界の外側に存在すれば、前記現在パノマラ映像の左側境界と右側境界とを連結して、前記現在パノマラ映像が円筒形の映像であると仮定し、前記円筒形の映像から前記複数の以前データユニットを決定するステップを含むことが望ましい。
【００２２】
また、前記複数の以前データユニットは、前記現在データユニットの左側に隣接した第１データユニット、前記現在データユニットの上側に隣接した第２データユニット、前記第２データユニットの右側に隣接した第３データユニット、及び前記第１データユニットと前記第２データユニットとの両方に隣接する第４データユニットであることが望ましい。
【００２３】
また、所定探索範囲内で前記現在データユニットと最も類似した参照データユニットを決定するステップと、決定された前記参照データユニットを表す動きベクトルを決定するステップとを含むことが望ましい。
【００２４】
前記課題を達成するための本発明の一実施形態に係る動き推定装置は、３６０°全方向映像情報を含むパノマラ映像の動き推定装置において、現在パノマラ映像の動き推定に利用するための参照映像及び現在パノマラ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを保存するメモリと、前記複数の以前データユニットの前記動きベクトルを利用して前記現在データユニットの動きベクトルを予測し、前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、前記参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングし、パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得た後、所定の評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定する動き推定部と、を備えることを特徴とする。
【００２５】
また、前記動き推定部は、前記複数の以前データユニットのうち少なくとも一つが前記現在パノマラ映像の左側境界または右側境界の外側に存在すれば、前記現在パノマラ映像の左側境界と右側境界とを連結して、前記現在パノマラ映像が円筒形の映像であると仮定し、前記円筒形の映像から前記複数の以前データユニットを決定することが望ましい。
【００２６】
また、前記複数の以前データユニットは、前記現在データユニットの左側に隣接した第１データユニット、前記現在データユニットの上側に隣接した第２データユニット、前記第２データユニットの右側に隣接した第３データユニット、及び前記第１データユニットと前記第２データユニットとの両方に隣接する第４データユニットであることが望ましい。
【００２７】
また、前記動き推定部は、所定探索範囲内で前記現在データユニットと最も類似した参照データユニットを決定し、決定された前記参照データユニットを表す動きベクトルを決定することが望ましい。
【００２８】
前記課題を達成するための本発明の他の実施形態に係る動き推定装置は、３６０°全方向映像情報を含むパノマラ映像の動き推定装置において、現在パノマラ映像の動き推定に利用するための参照映像及び現在パノマラ映像に含まれた現在データユニットに隣接した複数の以前データユニットの動きベクトルを保存するメモリと、前記複数の以前データユニットの前記動きベクトルを利用して前記現在データユニットの動きベクトルを予測し、前記予測された動きベクトルが表す参照データユニットに含まれた画素の一部または全部が参照映像の左側境界または右側境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得た後、所定の評価関数を利用して前記現在データユニットと前記参照データユニットとの類似度を決定する動き推定部とを備えることを特徴とする。
【００２９】
また、前記動き推定部は、前記複数の以前データユニットのうち少なくとも一つが前記現在パノマラ映像の左側境界または右側境界の外側に存在すれば、前記現在パノマラ映像の左側境界と右側境界とを連結して、前記現在パノマラ映像が円筒形の映像であると仮定し、前記円筒形の映像から前記複数の以前データユニットを決定することが望ましい。
【００３０】
また、前記複数の以前データユニットは、前記現在データユニットの左側に隣接した第１データユニット、前記現在データユニットの上側に隣接した第２データユニット、前記第２データユニットの右側に隣接した第３データユニット、及び前記第１データユニットと前記第２データユニットとの両方に隣接する第４データユニットであることが望ましい。
【００３１】
また、前記動き推定部は、所定探索範囲内で前記現在データユニットと最も類似した参照データユニットを決定し、決定された前記参照データユニットを表す動きベクトルを決定することが望ましい。
【００３２】
前記他の課題を達成するための本発明の一実施形態に係る動き補償方法は、３６０°全方向映像情報を含むパノマラ映像の動き補償方法において、現在パノマラ映像に含まれた現在データユニットの動きベクトルを入力されるステップと、前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングするステップと、パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得るステップと、前記参照データユニットの画素値を利用して前記現在データユニットを再生するステップとを含むことを特徴とする。
【００３３】
前記他の課題を達成するための本発明の他の実施形態に係る動き補償方法は、３６０°全方向映像情報を含むパノマラ映像の動き補償方法において、現在パノマラ映像に含まれた現在データユニットの動きベクトルを入力されるステップと、前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得るステップと、前記参照データユニットの画素値を利用して前記現在データユニットを再生するステップとを含むことを特徴とする。
【００３４】
前記他の課題を達成するための本発明の一実施形態に係る動き補償装置は、３６０°全方向映像情報を含むパノマラ映像の動き補償装置において、現在パノマラ映像の動き補償に利用するための参照映像を保存するメモリと、前記現在パノマラ映像に含まれた現在データユニットの動きベクトルを入力されて、前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングし、パッディングされた前記参照映像から前記参照データユニットの全ての画素値を得た後、前記参照データユニットの画素値を利用して前記現在データユニットを再生する動き補償部とを備えることを特徴とする。
【００３５】
前記他の課題を達成するための本発明の他の実施形態に係る動き補償装置は、３６０°全方向映像情報を含むパノマラ映像の動き補償装置において、現在パノマラ映像の動き補償に利用するための参照映像を保存するメモリと、前記現在パノマラ映像に含まれた現在データユニットの動きベクトルを入力されて、前記現在データユニットの動きベクトルが表す参照データユニットに含まれた画素の一部または全部が、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定し、前記円筒形の映像から前記参照データユニットの全ての画素値を得た後、前記参照データユニットの画素値を利用して前記現在データユニットを再生する動き補償部と、を備えることを特徴とする。
【発明の効果】
【００３６】
本発明によれば、３６０°全方向映像を含むパノマラ映像の右側境界部分と左側境界部分との空間的な相関関係が非常に高い性質を利用して、パノマラ映像の動き予測及び補償を行うことによって、動き推定及び補償の効率性及び正確度を向上させて画質を改善できる。特に、本発明によれば、３６０°全方向映像を含むパノマラ映像の右側境界部分及び左側境界部分の動き予測及び補償の効率性並びに正確度を向上させて、右側境界部分及び左側境界部分の画質を改善できる。
【発明を実施するための最良の形態】
【００３７】
以下、添付された図面を参照して本発明に係る実施形態を詳細に説明する。
【００３８】
図５は、本発明の一実施形態に係るパノマラ映像の動きベクトルエンコーダのブロック図である。図５に示すように、本発明の一実施形態に係るパノマラ映像の動きベクトルエンコーダは、変換部１１０、量子化部１１５、逆量子化部１２０、逆変換部１２５、加算部１３０、クリッピング部１４０、フレームメモリ１５０、パノマラ映像動き推定部１６０、パノマラ映像動き補償部１７０、減算部１８０及び可変長符号化部（Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｅｒ：ＶＬＣ）１９０を備える。
【００３９】
変換部１１０は、パノマラ映像を入力されて、所定方式の変換方法によって入力パノマラ映像を変換した後に変換係数値を出力する。入力パノマラ映像は、図４Ｂは、図４Ａに示す円筒形の映像を基準線Ｘに沿って切断することによって生成された、３６０°全方向映像を含むパノマラ映像である。変換部１１０により行われる前記所定方式の変換方法は、例えば、８Ｘ８ブロック単位のＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）がある。
【００４０】
量子化部１１５は、変換部１１０から入力された変換係数値を量子化する。逆量子化部１２０及び逆変換部１２５によりそれぞれ逆量子化及び逆変換後に入力パノマラ映像が再生される。再生されたパノマラ映像は、クリッピング部１４０により正規化された後にフレームメモリ１５０に保存される。フレームメモリ１５０に保存されたパノマラ映像は、新たに入力されたパノマラ映像の動き推定及び補償に参照映像として利用される。加算部１３０は、所定値及び再生されたパノマラ映像を入力され、
所定値を利用して再生されたパノマラ映像を変更し、再生されたパノマラ映像または変更されたパノマラ映像のうち一つを、クリッピング部１４０またはパノマラ映像動き補償部１７０に再生されたパノマラ映像として出力する。所定値によって変更されたパノマラ映像は、再生されたパノマラ映像と同一でありうる。
【００４１】
パノマラ映像動き推定部１６０は、フレームメモリ１５０に保存された参照パノマラ映像を利用して本発明に係る動き推定を行う。すなわち、パノマラ映像動き推定部１６０は、現在パノマラ映像情報を入力されて、フレームメモリ１５０に保存された参照パノマラ映像を利用して、前記現在パノマラ映像の動き推定を行って、前記現在パノマラ映像の動きベクトルを生成した後にＶＬＣ
１９０に出力する。動き推定及び補償は、所定大きさのブロック単位で行われる。動き推定及び補償の単位ブロックをデータユニットという。本実施形態でデータユニットは、１６Ｘ１６マクロブロックと仮定する。
【００４２】
パノマラ映像動き補償部１７０は、本発明に係る動き補償を行う。すなわち、パノマラ映像動き推定部１６０により生成された現在マクロブロックの動きベクトルを入力されて、現在マクロブロックに対応する参照マクロブロックを減算部１８０に出力する。減算部１８０は、現在パノマラ映像の現在マクロブロックの動きベクトル及びフレームメモリ１５０の参照パノマラ映像を利用して、現在マクロブロックと参照マクロブロックとの間の残差信号を変換部１１０に出力する。パノマラ映像動き補償部１７０は、参照マクロブロックを生成するために、再生されたパノマラ映像及び動きベクトルを使用できる。前記残差信号は、変換部１１０及び量子化部１１５によりそれぞれ変換及び量子化された後にＶＬＣ  １９０により可変長符号化される。一方、パノマラ映像動き推定部１６０により生成された現在マクロブロックの動きベクトルは、ＶＬＣ  １９０に直接入力されて可変長符号化される。
【００４３】
以下では、図面を参照してパノマラ映像動き推定部１６０の動作をさらに詳細に説明する。図６Ａ及び図６Ｂは、本発明の一実施形態に係るパノマラ映像の動き推定方法のフローチャートである。パノマラ映像動き推定部１６０は、現在データユニットに隣接した複数の以前データユニットの動きベクトルを利用して前記現在データユニットの動きベクトルを予測する（Ｓ３１０）。図１に示すように、データユニットＸが現在データユニットであるとすると、データユニットＡ、Ｂ、Ｃ及びＤが、現在データユニットＸの動きベクトル予測のために必要な以前データユニットである。本実施形態でデータユニットは、１６Ｘ１６サイズのマクロブロックである。
【００４４】
パノマラ映像動き推定部１６０は、内部メモリに保存した以前マクロブロックＡ、Ｂ、Ｃ及びＤの動きベクトルを探索する。以前マクロブロックＡ、Ｂ、Ｃ及びＤの動きベクトルが何れも存在するならば、これらの動きベクトルを利用して所定方式または従来の技術によって現在マクロブロックＸの動きベクトルを予測する。
【００４５】
しかし、以前マクロブロックＡ、Ｂ、Ｃ及びＤの動きベクトルのうち少なくとも一つが存在しなくてもよい。図７Ａは、以前マクロブロックＡ及びＤが存在せず、以前マクロブロックＡ及びＤの動きベクトルを使用できない場合を表し、図７Ｂは、以前マクロブロックＣが存在せず、以前マクロブロックＣの動きベクトルを使用できない場合を表す。
【００４６】
前述のように、３６０°全方向映像を含むパノマラ映像の右側境界部分と左側境界部分との空間的な相関関係は非常に高い。すなわち、パノマラ映像の右側境界部分と左側境界部分との実際の空間上の距離は０である。したがって、本発明では、現在マクロブロックＸの動きベクトルの予測に必要な以前マクロブロックＡ、Ｃ及びＤのうち、存在しない以前マクロブロックがあれば、前述のパノマラ映像の特性を利用して、必要な以前マクロブロックの動きベクトルを決定する。すなわち、図７Ａに示すように、以前マクロブロックＤと同じＹ軸上の右側境界部分に存在する以前マクロブロックＤ’は、以前マクロブロックＤと同じであると言える。したがって、以前マクロブロックＤ’の動きベクトルを以前マクロブロックＤの動きベクトルと見なして、現在マクロブロックＸの動きベクトルの予測に利用する。しかし、以前マクロブロックＡと同じＹ軸上の右側境界部分に存在する以前マクロブロックは、現在マクロブロックＸの動き推定後に動き推定されるので、利用する動きベクトルが存在しない。したがって、現在マクロブロックＸの動きベクトルの予測に利用する以前マクロブロックＡの動きベクトルは、０に設定する。
【００４７】
図７Ｂに示すように、以前マクロブロックＣと同じＹ軸上の左側境界部分に存在する以前マクロブロックＣ’との以前マクロブロックＣと同じであると見ることができる。したがって、以前マクロブロックＣ’の動きベクトルを以前マクロブロックＣの動きベクトルと見做して現在マクロブロックＸの動きベクトルの予測に利用する。
【００４８】
パノマラ映像動き推定部１６０は、ステップ３１０によって現在マクロブロックＸの動きベクトルを予測した後、前記予測された動きベクトルが表す参照マクロブロックが参照映像内に存在するか否かを判断する（Ｓ３１５）。参照映像は、フレームメモリ１５０に保存されている。
【００４９】
現在マクロブロックＸの動きベクトルが表す参照マクロブロックのあらゆる画素が参照映像内に存在すれば、参照マクロブロックの全ての画素値をフレームメモリ１５０から獲得した後（Ｓ３３０）、現在マクロブロックＸと参照マクロブロックとの類似度を所定の評価関数を利用して評価する（Ｓ３３５）。
【００５０】
しかし、現在マクロブロックＸの動きベクトルが表す参照マクロブロックの一部または全画素が参照映像の左側境界または右側境界のうち、何れか一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を前記一つの境界の外側にパッディングする（Ｓ３２０）。
【００５１】
図８Ａは、参照マクロブロックが参照映像の境界にまたがって存在する場合を表し、図８Ｂは、参照マクロブロックが参照映像の外側領域に存在する場合を表す。図３に示す従来の技術によれば、参照映像の左側境界に位置した画素値を参照映像の左側境界の外側領域にパッディングし、参照映像の右側境界に位置した画素値を参照映像の右側境界の外側領域にパッディングした後に動き予測及び補償を行った。
【００５２】
しかし、本発明では、３６０°全方向映像を含むパノマラ映像の右側境界部分と左側境界部分との空間的な相関関係が非常に高い性質を利用して、図９に示すように、参照映像の外側領域をパッディングする。図９に示すように、参照映像４００の左側境界の外側領域４８０は、参照映像４００の右側境界領域４７０に位置した画素値でパッディングする。参照映像４００の右側境界の外側領域４６０は、参照映像４００の左側境界領域４５０に位置した画素値でパッディングする。
【００５３】
パノマラ映像動き推定部１６０は、ステップ３２０によって参照映像をパッディングした後、パッディングされた参照映像から参照マクロブロックの全ての画素値をフレームメモリ１５０から獲得する（Ｓ３２５）。その後、現在マクロブロックＸと参照マクロブロックとの類似度を、所定の評価関数を利用して評価する（Ｓ３３５）。前記所定の評価関数としては、ＳＡＤ関数、ＳＡＴＤ関数またはＳＳＤ関数を利用することが一般的である。
【００５４】
一方、前述のようなパッディング過程を行わず、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定することによって、前記円筒形の映像から前記参照データユニットの全ての画素値を得てもよい。さらに具体的に説明すれば、参照映像は、図４Ｂに示すような２次元平面映像である。このような２次元平面映像の左側境界と右側境界とを連結すれば、図４Ａに示すような円筒形の映像となる。参照映像が円筒形の映像であると仮定すれば、前記円筒形の映像から前記参照データユニットの全ての画素値が得られる。
【００５５】
パノマラ映像動き推定部１６０は、所定の探索範囲内で参照マクロブロックの位置を変更し、変更された参照マクロブロックと現在マクロブロックＸとの類似度を評価する（Ｓ３４０、３４５）。パノマラ映像動き推定部１６０は、所定の探索範囲内で複数の参照マクロブロックと現在マクロブロックＸとの類似度の評価が完了すれば、前記複数の参照マクロブロックのうち、現在マクロブロックＸと最も類似した参照マクロブロックを決定し、その参照マクロブロックを表す動きベクトルを生成する（Ｓ３５０）。
【００５６】
図１０は、現在マクロブロックＸの動きベクトルを示す図である。図１０に示すように、現在マクロブロックＸ５１０と最も類似した参照マクロブロックのパッディングされた参照映像上では参照マクロブロック５３０であり、参照マクロブロック５３０に対応する、パッディングされていない参照映像５００上のマクロブロックは、マクロブロック５４０である。現在マクロブロックＸ５１０と最も類似した参照マクロブロックを参照マクロブロック５３０であるとするとき、参照番号５５０は、現在マクロブロックＸ５１０の動きベクトルを表す。現在マクロブロックＸ５１０と最も類似した参照マクロブロックを参照マクロブロック５４０であるとすると、参照番号５６０は、現在マクロブロックＸ５１０の動きベクトルを表す。すなわち、現在マクロブロックＸ５１０の動きベクトルは、前述の２つで表現できる。しかし、動き検出のための所定の探索範囲を逸脱したマクロブロックを表す動きベクトルをデコーダ側に伝送できないので、参照マクロブロック５３０を表す動きベクトル５５０を現在マクロブロックＸ５１０の動きベクトルとして決定する。
【００５７】
以下では、本発明の一実施形態に係るパノラマ映像の動き補償方法及び装置について説明する。
【００５８】
図１１は、本発明の一実施形態に係るパノマラ映像の動きベクトルデコーダのブロック図である。図１１に示すように、本発明の一実施形態に係るパノマラ映像の動きベクトルデコーダは、可変長復号化部（Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｄｅｃｏｄｅｒ：ＶＬＤ）７１０、逆量子化部７２０、逆変換部７３０、加算部７４０、パノマラ映像動き補償部７５０、クリッピング部７６０及びフレームメモリ７７０を備える。
【００５９】
ＶＬＤ  ７１０は、入力ビットストリームを可変長復号化する。ＶＬＤ  ７１０の出力のうち動きベクトルは、パノマラ映像動き補償部７５０に出力され、現在マクロブロックと参照マクロブロックとの残差信号は、逆量子化部７２０に出力される。
【００６０】
フレームメモリ７７０には、逆量子化部７２０、逆変換部７３０及びクリッピング部７６０を経て再生された参照映像が保存される。フレームメモリ７７０に保存された参照映像は、新たに入力されたパノマラ映像の動き補償に利用される。
【００６１】
パノマラ映像動き補償部７５０は、フレームメモリ７７０に保存された参照パノマラ映像を利用して、本発明に係る動き補償を行う。図５に示すようなパノマラ映像動きベクトルエンコーダから伝送された現在マクロブロックの動きベクトルを入力されて、現在マクロブロックに対応する参照マクロブロックをフレームメモリ７７０から読み出して加算部７４０に出力する。さらに、加算部７４０は、逆量子化部７２０及び逆変換部７３０によりそれぞれ逆量子化及び逆変換された、現在マクロブロックと参照マクロブロックとの残差信号を入力される。
【００６２】
加算部７４０は、現在マクロブロックと参照マクロブロックとの残差信号と、パノマラ映像動き補償部７５０から参照マクロブロックとを入力されて現在マクロブロックを再生する。クリッピング部７６０は、加算部７４０から出力された再生された現在マクロブロックを正規化する機能を行う。
【００６３】
以下では、図面を参照してパノマラ映像動き補償部７５０の動作をさらに詳細に説明する。図１２は、本発明の一実施形態に係るパノマラ映像の動き補償方法のフローチャートである。
【００６４】
パノマラ映像動き補償部７５０は、動き補償を行う現在データユニットの動きベクトルをＶＬＤ  ７１０から入力される（Ｓ９１０）。本実施形態で、データユニットは、１６Ｘ１６サイズのマクロブロックである。
【００６５】
パノマラ映像動き補償部７５０は、前記現在マクロブロックの動きベクトルが表す参照マクロブロックが参照映像内に存在するか否かを判断する（Ｓ９２０）。参照映像は、フレームメモリ７７０に保存されている。
【００６６】
現在マクロブロックの動きベクトルが表す参照マクロブロックの全ての画素が参照映像内に存在すれば、参照マクロブロックの全ての画素値をフレームメモリ７７０から獲得した後（Ｓ９５０）、現在マクロブロックを再生する（Ｓ９６０）。加算部７４０は、逆変換部７３０から出力された、現在マクロブロックと参照マクロブロックとの残差信号と、パノマラ映像動き補償部７５０から出力された参照マクロブロックとを入力されて現在マクロブロックを再生する。
【００６７】
しかし、現在マクロブロックの動きベクトルが表す参照マクロブロックの一部または全画素が、図８Ａまたは図８Ｂに示すように、参照映像の左側境界または右側境界のうち一つの境界の外側に存在すれば、前記参照映像の他の一つの境界から所定範囲までの映像を、前記一つの境界の外側にパッディングする（Ｓ９３０）。本発明では、３６０°全方向映像を含むパノマラ映像の右側境界部分と左側境界部分との空間的な相関関係が非常に高い性質を利用して、図９に示すように、参照映像の外側領域をパッディングする。
【００６８】
パノマラ映像動き補償部７５０は、ステップ９３０によって参照映像をパッディングした後、パッディングされた参照映像から参照マクロブロックの全ての画素値をフレームメモリ７７０から獲得する（Ｓ９４０）。
【００６９】
一方、前述のようなパッディング過程を行わず、前記参照映像の左側境界と右側境界とを連結して、前記参照映像が円筒形の映像であると仮定することによって、前記円筒形の映像から前記参照データユニットの全ての画素値を得てもよい。さらに具体的に説明すれば、参照映像は、図４Ｂに示すような２次元平面映像である。このような２次元平面映像の左側境界と右側境界とを連結すれば、図４Ａに示すような円筒形の映像となる。参照映像が円筒形の映像であると仮定すれば、前記円筒形の映像から前記参照データユニットの全ての画素値が得られる。
【００７０】
最後に、加算部７４０は、現在マクロブロックと参照マクロブロックとの残差信号と、パノマラ映像動き補償部７５０から出力された参照マクロブロックとを入力されて現在マクロブロックを再生する（Ｓ９６０）。
【００７１】
また、本発明は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能ナコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（リード  オンリー  メモリ）、ＲＡＭ（ランダム  アクセス  メモリ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ、例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存され、かつ実行されうる。
【００７２】
以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明が本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されうるということが理解できるであろう。本発明の範囲は、前述の説明ではなく、特許請求の範囲に記載されており、それと同等な範囲内にある全ての差異点は、本発明に含まれたものと解釈されねばならない。
【図面の簡単な説明】
【００７３】
【図１】従来の技術に係る現在マクロブロックの動きベクトルの予測に利用される複数の以前マクロブロックを示す図である。
【図２Ａ】現在マクロブロックの動きベクトルの予測に利用する以前マクロブロックが存在しない場合を示す図である。
【図２Ｂ】現在マクロブロックの動きベクトルの予測に利用する以前マクロブロックが存在しない場合を示す図である。
【図２Ｃ】現在マクロブロックの動きベクトルの予測に利用する以前マクロブロックが存在しない場合を示す図である。
【図３】従来の技術に係る参照映像のパッディング方法を説明するための図である。
【図４Ａ】３６０°全方向映像を含む円筒形の映像を示す図である。
【図４Ｂ】図４Ａに示す円筒形の映像に対応する２次元パノマラ映像を示す図である。
【図５】本発明の一実施形態に係るパノマラ映像の動きベクトルエンコーダのブロック図である。
【図６Ａ】本発明の一実施形態に係るパノマラ映像の動き推定方法のフローチャートである。
【図６Ｂ】本発明の一実施形態に係るパノマラ映像の動き推定方法のフローチャートである。
【図７Ａ】現在マクロブロックの動きベクトルの予測に利用する以前マクロブロックの選択の一例を示す図である。
【図７Ｂ】現在マクロブロックの動きベクトルの予測に利用する以前マクロブロックの選択の他の一例を示す図である。
【図８Ａ】参照マクロブロックが参照映像の境界にまたがって存在する場合を示す図である。
【図８Ｂ】参照マクロブロックが参照映像の外側領域に存在する場合を示す図である。
【図９】本発明の一実施形態に係る参照映像のパッディング方法を説明するための図である。
【図１０】現在マクロブロックＸの動きベクトルを示す図である。
【図１１】本発明の一実施形態に係るパノマラ映像の動きベクトルデコーダのブロック図である。
【図１２】本発明の一実施形態に係るパノマラ映像の動き補償方法のフローチャートである。
【図１】
2008510358.tif 000003
【図２Ａ】
2008510358.tif 000004
【図２Ｂ】
2008510358.tif 000005
【図２Ｃ】
2008510358.tif 000006
【図３】
2008510358.tif 000007
【図４Ａ】
2008510358.tif 000008
【図４Ｂ】
2008510358.tif 000009
【図５】
2008510358.tif 000010
【図６Ａ】
2008510358.tif 000011
【図６Ｂ】
2008510358.tif 000012
【図７Ａ】
2008510358.tif 000013
【図７Ｂ】
2008510358.tif 000014
【図８Ａ】
2008510358.tif 000015
【図８Ｂ】
2008510358.tif 000016
【図９】
2008510358.tif 000017
【図１０】
2008510358.tif 000018
【図１１】
2008510358.tif 000019
【図１２】
2008510358.tif 000020
【国際調査報告】
2008510358.tif 000021
2008510358.tif 000022
2008510358.tif 000023