(57)【要約】回転マッチングを通して動きを予測することによって、ビデオ信号の圧縮率を向上させる映像符号化装置及び方法を提供する。映像信号を符号化する映像符号化装置であって、動き予測部は、入力される現在のフレームに対して、参照フレームを構成する以前のフレームの動きを推定することによって動きベクトルを計算し、回転及びマッチング部は、現在のフレームに比べて、以前のフレームの回転を推定することによって、現在のフレームの回転角を検出し、回転復元部は、参照フレームを回転角に従って復元して、回転復元されたフレームを出力し、動き補償部は、動きベクトルを使用して、回転復元されたフレームを再構成して動きが予測されたフレームを出力し、符号化器は、現在のフレームと動きが予測されたフレームとの間の差を示す差分信号を生成して、差分信号、動きベクトル、及び回転角を符号化する。
2007523525.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を符号化する映像符号化装置であって、
入力される現在のフレームに対して、参照フレームを構成する以前のフレームの動きを推定することによって動きベクトルを計算する動き予測部と、
前記現在のフレームに比べて、前記以前のフレームの回転を推定することによって、前記現在のフレームの回転角を検出する回転及びマッチング部と、
前記参照フレームを前記回転角に従って復元して、回転復元されたフレームを出力する回転復元部と、
前記動きベクトルを使用して、回転復元され前記フレームを再構成して動きが予測されたフレームを出力する動き補償部と、
前記現在のフレームと動きが予測された前記フレームとの間の差を示す差分信号、前記動きベクトル、及び前記回転角を符号化して、出力フレームを出力する符号化器と
を具備することを特徴とする映像符号化装置。
【請求項２】
前記回転及びマッチング部は、
前記現在のフレームを構成する各現在のブロックに対して、前記現在のブロックに対応する前記参照フレームの参照ブロックを所定の単位の角度で回転させながら、前記現在のブロックと最小の差を有するようにする回転角を決定することを特徴とする請求項１記載の映像符号化装置。
【請求項３】
前記動き予測部は、
前記現在のフレームを構成する各現在のブロックに対して、前記現在のブロックに対応する前記参照フレームの参照ブロックへの変位を示す前記動きベクトルを算出し、前記現在のブロックと前記参照ブロックとの間の差の値を基準差の値として生成することを特徴とする請求項１記載の映像符号化装置。
【請求項４】
前記差の値は、
前記現在のブロックの各画素値と前記参照ブロックの各画素値との間の差の和であることを特徴とする請求項３記載の映像符号化装置。
【請求項５】
前記回転及びマッチング部は、
前記参照ブロックを所定の単位の角度で変化する回転角だけ回転させながら、各回転角だけ回転した参照ブロックと前記現在のブロックとの間の差の値を前記基準差の値と比較して、前記基準差の値より所定のしきい値だけさらに小さくなる、回転した参照ブロックの回転角を出力することを特徴とする請求項３記載の映像符号化装置。
【請求項６】
前記しきい値は、
０より大きいか、又は同一であり、前記基準差の値の１０％より小さいか、又は、同一であることを特徴とする請求項５記載の映像符号化装置。
【請求項７】
前記符号化器は、
前記現在のフレームと回転復元された前記フレームとの間の差分信号を求める減算器と、
前記差分信号を離散コサイン変換して、離散コサイン変換係数を出力する離散コサイン変換器と、
前記離散コサイン変換係数を量子化する量子化器と、
量子化された前記離散コサイン変換係数を再配列するスキャン部と、
再配列された前記離散コサイン変換係数を前記動きベクトル及び前記回転角と共に可変長符号化する可変長符号化器と、
量子化された前記離散コサイン変換係数を逆量子化する逆量子化器と、
逆量子化された前記離散コサイン変換係数を逆離散コサイン変換する逆離散コサイン変換器と、
前記逆離散コサイン変換器の出力を前記動きが補償されたフレームと結合して、新たな参照フレームとして貯蔵する結合器と
を具備することを特徴とする請求項１記載の映像符号化装置。
【請求項８】
映像信号を符号化する映像符号化方法であって、
入力される現在のフレームに対して、参照フレームを構成する以前のフレームの動きを推定することによって動きベクトルを計算するステップと、
前記現在のフレームに比べて、前記以前のフレームの回転を推定することによって、前記現在のフレームの回転角を検出するステップと、
前記参照フレームを前記回転角に従って復元して、回転復元されたフレームを出力するステップと、
前記動きベクトルを使用して、回転復元された前記フレームを再構成して動きが予測されたフレームを出力するステップと、
前記現在のフレームと動きが予測された前記フレームとの間の差を示す差分信号、前記動きベクトル、及び前記回転角を符号化して、出力フレームを出力するステップと
を具備することを特徴とする映像符号化方法。
【請求項９】
前記回転角を計算するステップは、
前記現在のフレームを構成する各現在のブロックに対して、前記現在のブロックに対応する前記参照フレームの参照ブロックを所定の単位の角度で回転させながら、前記現在のブロックと最小の差を有するようにする回転角を決定することを特徴とする請求項８記載の映像符号化方法。
【請求項１０】
前記動きベクトルを計算するステップは、
前記現在のフレームを構成する各現在のブロックに対して、前記現在のブロックに対応する前記参照フレームの参照ブロックへの変位を示す前記動きベクトルを算出し、前記現在のブロックと前記参照ブロックとの間の差の値を基準差の値として生成することを特徴とする請求項８記載の映像符号化方法。
【請求項１１】
前記差の値は、
前記現在のブロックの各画素値と前記参照ブロックの各画素値との間の絶対差の和（Sum of Absolute Difference；ＳＡＤ）であることを特徴とする請求項１０記載の映像符号化方法。
【請求項１２】
前記回転角を算出するステップは、
前記参照ブロックを所定の単位の角度で変化する回転角だけ回転させながら、各回転角だけ回転した参照ブロックを含む拡張ブロックを決定するステップと、
前記拡張ブロックを前記現在のブロックと同一のサイズでクリッピングすることによって回転ブロックを生成するステップと、
前記回転ブロックと前記現在のブロックとの間の差の値を計算するステップと、
前記基準差の値より所定のしきい値だけさらに小さい差の値を有する回転ブロックのうちの最小の差の値を有する回転ブロックの回転角を出力するステップと
を具備することを特徴とする請求項１０記載の映像符号化方法。
【請求項１３】
前記しきい値は、
０より大きいか、又は同一であり、前記基準差の値の１０％より小さいか、又は、同一であることを特徴とする請求項１２記載の映像符号化方法。
【請求項１４】
前記所定の単位の角度は、
π／１８０であることを特徴とする請求項１２記載の映像符号化方法。
【請求項１５】
前記回転角は、
−π／４乃至π／４の範囲内で増加するか又は減少することを特徴とする請求項１２記載の映像符号化方法。
【請求項１６】
前記拡張ブロックの各々は、
【数１】
2007523525.tif 000006
の横及び縦の長さを有し、前記Ｎは、前記現在のブロック及び前記参照ブロックの横及び縦長さであり、前記θは、該当拡張ブロックの回転角であることを特徴とする請求項１２記載の映像符号化方法。
【請求項１７】
前記拡張ブロックの各画素の座標 （ｘ'，ｙ'）は、
【数２】
2007523525.tif 000007
によって計算され、ここで、前記θは、該当拡張ブロックの回転角であることを特徴とする請求項１２記載の映像符号化方法。
【請求項１８】
前記符号化するステップは、
前記現在のフレームと回転復元された前記フレームとの間の差分信号を求めるステップと、
前記差分信号を離散コサイン変換して、離散コサイン変換係数を出力するステップと、
前記離散コサイン変換係数を量子化するステップと、
量子化された前記離散コサイン変換係数を再配列するステップと、
再配列された前記離散コサイン変換係数を前記動きベクトル及び前記回転角と共に可変長符号化するステップと、
量子化された前記離散コサイン変換係数を逆量子化するステップと、
逆量子化された前記離散コサイン変換係数を逆離散コサイン変換するステップと、
前記逆離散コサイン変換器の出力を前記動きが補償されたフレームと結合して、新たな参照フレームとして貯蔵するステップと
を具備することを特徴とする請求項８記載の映像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化に関し、特に、回転マッチングを使用して動きを予測することによって、ビデオ信号の圧縮率を向上させる映像符号化装置及び方法に関する。
【背景技術】
【０００２】
よく知られているように、離散された映像信号は、アナログ信号よりさらによい静止画の画質を提供する。一連の映像フレームから構成されたビデオ信号がデジタル形態で表現される場合、高品質の映像を再生するためには、相当の量のデータが伝送されなければならない。しかしながら、送信チャンネルの使用可能な帯域が制限されているので、多量のデータを伝送するためには、伝送されるデータを圧縮して、そのサイズを縮小する必要がある。
このように、映像データを圧縮するための多様な方式中、確率的な符号化方式と時間的／空間的な圧縮方式を結合したハイブリッド符号化方式とがもっとも効率的な方式として知られている。このような技術は、例えば、国際標準化機構によってその標準案が既に制定された、ＭＰＥＧ（Motion Picture Experts Group）−１／２／３、Ｈ．２６１／２６３／２６４、及びＪＰＥＧ（Joint Picture Experts Group）の勧告案に幅広く開示されている。
【０００３】
大部分のハイブリッド符号化方式は、動き補償差分パルス符号変調（Differential Pulse Code Modulation；以下、‘ＤＰＣＭ’と称する）と、離散コサイン変換（Discrete Cosine Transform；以下、‘ＤＣＴ’と称する）と、ＤＣＴ係数量子化、及び可変長符号化（Variable Length Coding；以下、‘ＶＬＣ’と称する）とを使用する。動き補償ＤＰＣＭは、現在のフレームと以前のフレームとの間の物体の動き（すなわち、差）を検出し、物体の動きに従って、現在のフレームを予測して、現在のフレームと予測値との間の差を示す差分信号を生成する。２次元ＤＣＴは、映像データ間の空間的な重複性を用いるか、又は、除去するもので、デジタル映像データブロックをＤＣＴ係数に変換する。このようなＤＣＴ係数を量子化、スキャニング、及びＶＬＣを経るようにすることによって、送信データの量を効率的に減少させることができる。
さらに詳細には、動き補償ＤＰＣＭは、時間領域で映像の重複性を除去するために、現在のフレームと以前のフレームとの間の推定された物体の動きに基づいて、現在のフレームを以前のフレームから予測する。このように推定された動きは、以前のフレームと現在のフレームとの間の変位を示す２次元動きベクトル（Motion Vector；ＭＶ）で表されることができる
【０００４】
通常、物体の変位を推定するのには、幾つかのアプローチがある。上記物体の変位の推定は、２つのタイプに分類されるが、そのうちの１つは、ブロックマッチングアルゴリズムを用いるブロック単位の動き推定方法であり、他の１つは、画素循環アルゴリズムを用いる画素単位の動き推定方法である。
上記画素単位の動き推定を使用すると、変位を示す動きベクトルは、すべての画素に対して計算される。このような方法は、さらに正確な画素値の推定及び容易なスケール変化（例えば、ズーミング（zooming））の長所にもかかわらず、多量の動きベクトルが発生する場合、動きベクトルのすべては、伝送されることができない。
これに比べて、上記ブロック単位の動き推定を使用すると、現在のフレームの所定のサイズのブロックを以前のフレームの所定の範囲の探索ブロック内で、以前のブロックから１つの画素ずつ移動する対応ブロックと比較して、その誤差値が最小である最適の整合ブロックを検出する。結果的に、現在のフレームに対してブロック全体に対するフレーム間の変位ベクトル（フレーム間ブロックが移動した程度）を推定する。ここで、現在のフレームと以前のフレームとの間の対応する２つのブロック間の類似性の判断には、絶対差の和（Sum of Absolute Differences；以下、‘ＳＡＤ’と称する）、または差の自乗和（Sum of Square Differences；ＳＳＤ）が主に使用される。
上述したように、ビデオ圧縮技術において、動き予測のために、時間的に先行するフレームと現在のフレームとの間の差を求めるための多様な技術が研究されているが、これらは、すべての探索ブロックが上・下／左・右の垂直及び水平方向に動くものと見なされる、という点では同一である。
【０００５】
最近、静止画及び動映像の撮影が可能なデジタルカメラ及び小型カメラの内蔵された携帯電話が急増することに従って、専門家だけではなく、一般ユーザーが固定の装置がなくてもカメラを使用する場合が頻繁に発生している。従って、カメラが上下左右に揺れ（PAN）、傾斜する（TILT）ことによって、映像が揺れるようになる場合が頻りに発生する。実際に、カメラは、３次元の空間上で任意の方向に回転するが、カメラによって撮られた映像は、２次元の映像フレームにマッピングされる。従って、このような映像の揺れ及び振動は、２次元の映像フレームの回転として現れる。
図１は、手振れにより映像の全体が回転する場合の一例を示す。図１を参照すると、実際には、以前のフレームの１つのブロックのみが現在のフレームで変更されるとしても、手振れにより現在のフレームの全体の映像が回転するという観点で、現在のフレームと以前のフレームとの差は、非常に大きくなる。
図２は、映像回転の他の例を示す。全体の映像が回転せず、以前のフレームの１つの物体のみが現在のフレームで変更される。このような場合、実際に、物体それ自体が大きく変化しないとしても、物体の回転によって現在のフレームと以前のフレームとの差が大きくなる。このように、特定のブロックが回転するに従って、回転前のフレームと回転後のフレームとの間には、ある程度の差が存在する。このような差が大きいほど、映像の圧縮率は、減少される。
【０００６】
上述したように、従来の映像符号化技術である、ＭＰＥＧ及びＨ．２６ｘシリーズは、動くブロックの２次元回転に対しては全く考慮していない。従って、物体の動きがない場合でも、動きがあるものと間違って判断して、大きい動きベクトルが発生する。このような大きい動きベクトルは、映像の圧縮率を増加させて、送信効率を低下させる。特に、映像データを無線インターフェースを介して伝送する移動通信システムの場合、映像の圧縮率の増加は、無線資源の効率を格段に低減させる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記背景に鑑みて、本発明の目的は、映像の回転マッチングを使用して動きを予測する映像符号化装置及び方法を提供することにある。
本発明のもう１つの目的は、映像回転情報を提供することによって、映像データの圧縮率を向上させる映像符号化装置及び方法を提供することにある。
【課題を解決するための手段】
【０００８】
このような目的を達成するために、本発明の第１の特徴によれば、映像信号を符号化する映像符号化装置は、入力される現在のフレームに対して、参照フレームを構成する以前のフレームの動きを推定することによって動きベクトルを計算する動き予測部と、上記現在のフレームに比べて、上記以前のフレームの回転を推定することによって、上記現在のフレームの回転角を検出する回転及びマッチング部と、上記参照フレームを上記回転角に従って復元して、回転復元されたフレームを出力する回転復元部と、上記動きベクトルを使用して、回転復元された上記フレームを再構成して動きが予測されたフレームを出力する動き補償部と、上記現在のフレームと動きが予測された上記フレームとの間の差を示す差分信号、上記動きベクトル、及び上記回転角を符号化して、出力フレームを出力する符号化器とを具備することを特徴とする。
【０００９】
本発明の第２の特徴によれば、映像信号を符号化する映像符号化方法は、入力される現在のフレームに対して、参照フレームを構成する以前のフレームの動きを推定することによって動きベクトルを計算するステップと、上記現在のフレームに比べて、上記以前のフレームの回転を推定することによって、上記現在のフレームの回転角を検出するステップと、上記参照フレームを上記回転角に従って復元して、回転復元されたフレームを出力するステップと、上記動きベクトルを使用して、回転復元された上記フレームを再構成して動きが予測されたフレームを出力するステップと、上記現在のフレームと動きが予測された上記フレームとの間の差を示す差分信号、上記動きベクトル、及び上記回転角を符号化して、出力フレームを出力するステップとを具備することを特徴とする。
【発明の効果】
【００１０】
本発明の実施形態は、入力映像の回転による圧縮率の低下を防止し、これによって、送信効率を向上させることができる。特に、移動端末機を通した画像通信の際に、ユーザの手振れによる映像の不安定性によって発生するビット量の増加を効率的に防止することができる、という長所がある。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の望ましい実施形態を添付の図面を参照しつつ詳細に説明する。図面の説明において、同一の構成要素に対してはできるだけ同一の参照符号及び参照番号を付して説明する。また、本発明に関連した公知機能或いは構成に関する説明が本発明の要旨を不明にすると判断された場合に、その詳細な説明を省略する。
【００１２】
本発明の実施形態は、映像間の差の値の生成のための動き予測の際、現在のフレームの特定のブロックに対して探索を遂行しながら、参照フレームとマッチングするに当たって、回転を通じて得られた参照ブロックと比較して、回転による差を最小にする。
図３は、典型的な映像符号化装置の概略的な構成を示すブロック図である。図３を参照すると、現在のフレームの入力データは、入力バッファ１０５に貯蔵される。上記現在のフレームデータとは、フレーム単位の映像情報を意味するもので、１つのフレームを構成する画素（pixels）の個数だけの画素値から構成される。入力バッファ１０５は、上記現在のフレームを減算器１１５及び動き予測部１１０へ提供する。
動き予測部１１０は、参照バッファ１６０に貯蔵された再構成された以前のフレーム、すなわち、参照フレームに対して、現在のフレームの各ブロックが、以前のフレームの対応するブロックへ移動した程度を示す動きベクトルを決定する。上記動き予測の原理は、図４及び図５を参照して下記に説明する。動き補償部１６５は、参照バッファ１６０に貯蔵された参照フレームのブロックを上記動きベクトルに従って補償することによって、動きが補償された上記現在のフレームを再構成して、減算器１１５へ提供する。
【００１３】
動き予測部１１０の動作についてさらに詳細に説明する。動き予測部１１０は、現在のフレームを所定のサイズＮ（例えば、Ｎ＝１６画素）を有する正方形ブロックに分割し、上記ブロックの各々に対して参照フレームを探索（search）して、現在のフレームのブロックともっとも類似した参照フレームの対応するブロックを決定する。このとき、参照フレームの全体を探索すると、相当に多くの演算量が要求されるので、参照フレームの同一の位置から１つの画素又は半画素ずつ上下左右に移動する、同一のサイズの探索ウィンドーを用いて参照フレームを探索する。上記参照フレームの探索には、全領域探索（Full search）、ダイアモンド探索（Diamond search）、３ステップ探索（three step search）のような多様な探索方式が存在するが、これは、よく知られており、本発明の要旨とは関連がないので、詳細な説明を省略する。
【００１４】
現在のフレームの一つのブロックに対して参照フレームの対応するブロックが探索されると、動き予測部１１０は、上記２つのブロックをマッチングさせて、同一性を判断する。上記同一性の判断は、知られた色々な計算式によってなされることができる。ここでは、絶対差の和（Sum of Absolute Differences；以下、‘ＳＡＤ’と称する）を用いる。上記ＳＡＤは、次のような〈式１〉によって計算される。
【００１５】
【数１】
2007523525.tif 000003
【００１６】
ここで、Ａｉは、現在のフレームのブロックのｉ番目の画素値であり、Ｂｉは、参照フレームのブロックのｉ番目の画素値である。
すると、動き予測部１１０は、現在のフレームのブロックに対して最小のＳＡＤを有する参照フレームのブロックを決定し、上記現在のフレームのブロックから上記参照フレームの決定されたブロックへの動きベクトル（ＭＶ）を決定する。
【００１７】
図４及び図５は、動き予測部１１０による動き予測の原理を説明する。図４は、参照フレームから１つのフレーム間隔だけの時間が経過した後に入力される現在のフレームを示す。図４に示すように、現在のフレームは、参照フレームに比べて、一つの物体の移動のみが変化した。すると、図５に示すように、現在のフレームの座標（３，３）でのブロックに対応する参照フレームの座標（１，１）でのブロックが決定される。現在のフレームのブロック（３，３）から参照フレームの対応するブロック（１，１）への動きベクトルは、（−２，２）となる。
【００１８】
減算器１１５は、上記現在のフレームの該当ブロックから、上記動き補償部１６５から受信された動きが補償された各ブロックを減算して、その結果の差分画素値を含む差分信号を生成する。すると、離散コサイン変換器（ＤＣＴ）１２０は、空間領域の上記差分信号を周波数領域を示す一連のＤＣＴ係数へ変換する。量子化器１２５は、上記ＤＣＴ係数を所定の量子化ステップサイズを使用して量子化する。このように量子化を遂行する理由は、残っている０（zero）ではない小さい値のＤＣＴ係数を０にして、量子化された係数の分散が元来のＤＣＴ係数の分散よりも減少する効果を通じて、さらに効率的な符号化がなされるようにするためである。スキャン部１３０は、量子化された上記ＤＣＴ係数を、２次元から１次元に、そして、低周波数から高周波数の順序に再配列する。
【００１９】
可変長符号化器（ＶＬＣ）１３５は、所定の制御情報と共にスキャン部１３０から受信されたデータの可変長符号化を行って、現在のフレームに比べて圧縮されたサイズを有する出力フレームを出力バッファ１４０へ提供する。ここで、可変長符号化とは、発生確率が高い値に長さが短い符号を割り当て、発生確率が低い値に長さが長い符号を割り当てて、平均符号の長さを減少させるエントロピー符号化を意味する。上記制御情報は、現在のフレームの各ブロックが、以前の参照フレームの対応するブロックから移動した程度を示す動きベクトル（ＭＶ）を含む。
【００２０】
一方、逆量子化器１４５は、量子化された上記データをさらにＤＣＴ係数に逆量子化する。逆ＤＣＴ（Inverse Discrete Cosine Transform；ＩＤＣＴ）１５０は、逆量子化された上記ＤＣＴ係数を空間領域の差分信号へ変換する。結合器１５５は、動き補償部１６５から受信された動きが補償された現在のフレームをＩＤＣＴ変換器１５０から受信された差分信号と結合して、参照バッファ１６０に次のフレームのための参照フレームとして保存する。
【００２１】
上述したように、動き予測部１１０は、参照フレームで探索ウィンドーを上下左右の垂直方向のみへ移動させながら、対応するブロックを決定する。従って、入力映像が揺れたり、又は、映像内の物体の回転動きに対して、圧縮率の損失が発生する。このような問題を解消するために、本発明の実施形態によると、動き予測部１１０によって決定された参照ブロックを所定の回転角だけずつ回転させながら、対応する参照ブロックと現在のフレームのブロックとの間の最小の差を有する回転角を決定する。そして、回転した参照ブロックと現在のフレームのブロックとの間の差のみを圧縮することによって、映像回転による圧縮率の損失を防止する。
【００２２】
図６は、本発明の望ましい実施形態による映像符号化装置の概略的な構成を示すブロック図である。図３と図６とを比較すると、回転及びマッチング部２７０及び回転復元部２７５が図６の映像符号化装置にさらに含まれることが分かる。ここで、本発明の主な要旨とは関連のない減算器２１５からＶＬＣ２３５までの構成要素は、図６に示した全体の構成要素を含む映像符号化装置と区分して符号化器と称する。
【００２３】
図６を参照すると、現在のフレームの入力データは、入力バッファ２０５に保存される。上記現在のフレームデータとは、フレーム単位で構成された映像情報を意味するもので、１つのフレームを構成する画素の個数だけの画素値から構成される。入力バッファ２０５は、上記現在のフレームを減算器２１５及び動き予測部２１０へ提供する。
動き予測部２１０は、参照バッファ２６０に貯蔵された再構成された以前のフレーム、すなわち、参照フレームに対して、現在のフレームの各ブロックが、以前のフレームの対応するブロックへ移動した程度を示す動きベクトルを決定する。すると、動き補償部２６５は、参照バッファ２６０に貯蔵された参照フレームのブロックを上記動きベクトルに従って補償することによって、上記動きが補償された現在のフレームを再構成して、減算器２１５へ提供する。
すなわち、動き予測部２１０は、現在のフレームを所定のサイズＮ（例えば、Ｎ＝１６画素）を有する正方形ブロックに分割し、上記ブロックの各々に対して参照フレームを探索して、現在のフレームのブロックともっとも類似した参照フレームの対応する参照ブロックを決定して、上記現在のフレームのブロックから参照フレームの対応する参照ブロックへの動きベクトル（ＭＶ）を決定する。
【００２４】
回転及びマッチング部２７０は、上記参照ブロックを所定の回転角だけずつ回転させながら、上記参照ブロックが、現在のフレームの対応するブロックともっとも類似している回転角を決定する。上記回転ブロックは、上記参照ブロックの回転によって生成される拡張ブロックの一部である。図７は、回転ブロックと拡張ブロックとの関係を示す。すなわち、参照ブロックのサイズがＮ×Ｎの場合、拡張ブロックは、回転した参照ブロックの全体を含むようにＮ'×Ｎ'のサイズを有する。上記Ｎ'は、次のような〈式２〉を使用して決定される。
【００２５】
【数２】
2007523525.tif 000004
【００２６】
ここで、Ｎは、上記参照ブロックの横及び縦の長さであり、θは、上記回転ブロックの回転角である。
上記拡張ブロックの画素は、次のような〈式３〉を使用して決定される。
【００２７】
【数３】
2007523525.tif 000005
【００２８】
ここで、（ｘ，ｙ）は、上記参照ブロックの画素の座標であり、（ｘ'，ｙ'）は、上記参照ブロックに対応する拡張ブロックの画素の座標である。
【００２９】
回転による新たな画素値が実数であるので、離散映像データへ変換するために補間（interpolation）される。参照ブロックが参照フレームの境界に位置すると、参照フレームを外れる画素値は、０となる。すると、上記参照ブロックに対応する回転ブロックは、上記拡張ブロックの中央からＮ×Ｎのサイズでクリッピングされたブロックとなる。すなわち、回転及びマッチング部２７０は、上記参照ブロックの回転角を−π／４とπ／４との間の範囲内で、π／１８０の単位で増加させるか、または減少させつつ、上記回転角だけ回転したブロックと現在のブロックとの間のＳＡＤを求めて、回転したブロックによるＳＡＤが、回転以前の参照ブロックに対するＳＡＤよりも小さくなる回転角を決定する。
【００３０】
回転復元部２７５は、参照バッファ２６０に貯蔵された参照フレームのブロックを回転及びマッチング部２７０による回転角に従って復元し、動き補償部２６５は、回転復元された上記参照フレームのブロックを動き予測部２１０によって計算された動きベクトルに従って補償することによって、上記動きが補償された上記現在のフレームを再構成して、減算器２１５へ提供する。
【００３１】
減算器２１５は、上記現在のフレームの各ブロックから、動き補償部２６５から受信された動きが補償された各ブロックを減算して、その結果、差分画素値を含む差分信号を生成する。すると、離散コサイン変換器（ＤＣＴ）２２０は、空間領域の上記差分信号を周波数領域を示す一連のＤＣＴ係数へ変換する。量子化器２２５は、上記ＤＣＴ係数を所定の量子化ステップサイズを使用して量子化する。スキャン部２３０は、量子化された上記ＤＣＴ係数を、２次元から１次元に、そして、低周波数から高周波数の順序に再配列する。
【００３２】
可変長符号化器（ＶＬＣ）２３５は、所定の制御情報と共にスキャン部２３０から受信されたデータの可変長符号化を行って、現在のフレームに比べて圧縮されたサイズを有する出力フレームを出力バッファ２４０へ提供する。上記制御情報は、現在のフレームの各ブロックが、以前の参照フレームの対応するブロックから移動した程度を示す動きベクトル（ＭＶ）と、現在のフレームの各ブロックが以前の参照フレームの対応するブロックから回転した程度を示す回転角（θ）とを含む。
【００３３】
一方、逆量子化器２４５は、量子化された上記データをさらにＤＣＴ係数に逆量子化する。逆ＤＣＴ（Inverse DCT；ＩＤＣＴ）２５０は、逆量子化された上記ＤＣＴ係数を空間領域の差分信号へ変換する。結合器２５５は、動き補償部２６５から受信された動きが補償された現在のフレームをＩＤＣＴ変換器２５０から受信された差分信号と結合して、参照バッファ２６０に次のフレームに対する動き予測及び動き補償のための参照フレームとして保存する。
【００３４】
図８、図９、及び図１０を参照して、本発明の望ましい実施形態による映像符号化動作についてさらに詳細に説明する。下記の説明では、現在のフレームの１つのブロックに対する動作のみを示したものに留意すべきである。すなわち、後述される動作は、現在のフレームのすべてのブロックの各々に対して遂行される。
【００３５】
図８は、本発明の望ましい実施形態による動き予測部２１０の動作を示すフローチャートである。
図８を参照すると、ステップ３００で、動き予測部２１０は、現在のフレームのＮ×Ｎサイズを有する１つのブロックを受信する。入力された上記ブロックは、現在のブロックと称する。ステップ３０２で、動き予測部２１０は、上記現在のブロックを参照フレームと比較して、上記参照フレームで、上記現在のブロックともっとも類似している、すなわち、最小のＳＡＤを有するブロック、すなわち、参照ブロックを決定する。ステップ３０４で、動き予測部２１０は、上記現在のブロックから上記参照ブロックへの動きベクトル（ＭＶ） 及び上記現在のブロックと上記参照ブロックとの間のＳＡＤを出力する。上記ＳＡＤは、基準ＳＡＤと見なされる。
【００３６】
図９は、本発明の望ましい実施形態による回転及びマッチング部２７０の動作を示すフローチャートである。ここでは、図示の便宜のために、回転角θを０から増加させる場合及び減少させる場合をともに示したが、実際に増加させる場合と減少させる場合とが独立して実行されなければならない。
【００３７】
図９を参照すると、ステップ３１０で、回転及びマッチング部２７０は、動き予測部２１０から現在のブロック及び上記現在のブロックに対応する参照ブロックを受信し、回転角θは、０に設定される。ステップ３１２で、上記回転角θは、π／１８０だけ増加される（又は、減少される）。ステップ３１４で、上記参照ブロックを上記回転角だけ回転させて、上記回転角に従って決定されたサイズＮ'×Ｎ’を有し、回転した上記参照ブロックを含む拡張ブロックが決定される。ステップ３１６で、回転及びマッチング部２７０は、上記拡張ブロックをＮ×Ｎサイズで中央からクリッピングして、上記拡張ブロックの中央に位置する回転ブロックを決定する。
【００３８】
ステップ３１８で、回転及びマッチング部２７０は、上記回転ブロックの画素値を上記現在のブロックの画素値と比較して、新たなＳＡＤ、すなわち、回転ＳＡＤを計算する。ステップ３２０で、回転ＳＡＤは、動き予測部２１０から受信された基準ＳＡＤと比較される。回転ＳＡＤから基準ＳＡＤを減算した差があらかじめ設定されたしきい値ＴＨよりも小さいと、回転及びマッチング部２７０は、ステップ３２２へ進行する。上記差がしきい値ＴＨより大きいか、又は同一であると、ステップ３２６へ進行する。望ましくは、しきい値ＴＨは、０より大きいか、又は、同一であり、基準ＳＡＤの１０％より大きいか、又は、同一の範囲で決定される。
【００３９】
ステップ３２２で、回転及びマッチング部２７０は、回転ＳＡＤを以前の回転角による回転ＳＡＤと比較して、最小値であるか否かを判別する。最小値である場合、回転及びマッチング部２７０は、ステップ３２４で、現在の回転角を貯蔵する。ステップ３２６で、現在の回転角θがπ／４に到達したか否かを判別する（回転角が減少する場合には、−π／４に到達したか否かを判別する。）。回転角θがπ／４ではない場合、回転及びマッチング部２７０は、ステップ３１２へ戻る。回転角θがπ／４である場合（回転角の減少動作が遂行されない場合には、回転角を減少させる動作を遂行した後）、回転及びマッチング部２７０は、ステップ３２８へ進行する。ステップ３２８で、回転及びマッチング部２７０は、貯蔵された回転角を出力する。すべての回転ＳＡＤから基準ＳＡＤを減算した差がしきい値ＴＨより大きいか、または同一であると、出力される回転角は、０となる。
【００４０】
図１０は、本発明の望ましい実施形態による映像符号化動作を示すフローチャートである。上記映像符号化動作は、図６に示したＶＬＣ２３５を介して減算器２１５を含む符号化器で発生する。
図１０を参照すると、ステップ３３０で、減算器２１５は、現在のフレームの各ブロックと、動き予測がなされ、回転復元されたフレームの対応するブロックとの間の差分信号を生成する。ステップ３３２で、ＤＣＴ２２０は、上記差分信号をＤＣＴ係数へ変換して、ステップ３３４で、量子化器２２５は、上記ＤＣＴ係数を量子化する。ステップ３３６で、スキャン部２３０は、量子化された上記ＤＣＴ係数を再配列し、ステップ３３８で、ＶＬＣ２３５は、スキャン部２３０から受信されたデータを図７に示された動作で決定された動きベクトル、及び図９に示された動作で決定された回転角とともに符号化することによって出力フレームを生成し、ステップ３４０で、上記出力フレームは、所定の処理の後に送信される。
【００４１】
以上、本発明の詳細について具体的な実施形態に基づき説明してきたが、本発明の範囲を逸脱しない限り、各種の変形が可能なのは明らかである。従って、本発明の範囲は、上記実施形態に限定されるものではなく、特許請求の範囲の記載及び該記載と同等なものにより定められるべきである。
【図面の簡単な説明】
【００４２】
【図１】手振れにより映像の全体が回転する場合の一例を示す図である。
【図２】従来の映像捕捉装置を使用して映像回転の他の例を示す図である。
【図３】従来の映像符号化装置の構成を概略的に示すブロック図である。
【図４】図３に示した動き予測部を使用して動き予測の原理を説明する図である。
【図５】図３に示した動き予測部を使用して動き予測の原理を説明する図である。
【図６】本発明の望ましい実施形態による映像符号化装置の構成を概略的に示すブロック図である。
【図７】本発明の望ましい実施形態による回転ブロックと拡張ブロックとの関係を示す図である。
【図８】本発明の望ましい実施形態による動き予測動作を示すフローチャートである。
【図９】本発明の望ましい実施形態による回転及びマッチング動作を示すフローチャートである。
【図１０】本発明の望ましい実施形態による映像符号化動作を示すフローチャートである。
【符号の説明】
【００４３】
１０５  入力バッファ
１１０  動き予測部
１１５  減算器
１２０  離散コサイン変換器
１２５  量子化器
１３０  スキャン部
１３５  可変長符号化器
１４０  出力バッファ
１４５  逆量子化器
１５０  ＩＤＣＴ変換器
１５５  結合器
１６０  参照バッファ
１６５  動き補償部
２０５  入力バッファ
２１０  動き予測部
２１５  減算器
２２０  離散コサイン変換器
２２５  量子化器
２３０  スキャン部
２３５  可変長符号化器
２４０  出力バッファ
２４５  逆量子化器
２５０  ＩＤＣＴ変換器
２５５  結合器
２６０  参照バッファ
２６５  動き補償部
２７０  回転及びマッチング部
２７５  回転復元部
【図１】
2007523525.tif 000008
【図２】
2007523525.tif 000009
【図３】
2007523525.tif 000010
【図４】
2007523525.tif 000011
【図５】
2007523525.tif 000012
【図６】
2007523525.tif 000013
【図７】
2007523525.tif 000014
【図８】
2007523525.tif 000015
【図９】
2007523525.tif 000016
【図１０】
2007523525.tif 000017
【国際調査報告】
2007523525.tif 000018
2007523525.tif 000019