(57)【特許請求の範囲】
【請求項１】
ビデオデコーダにおいて、
符号化されたビットストリームから映像情報と付加情報を分離するＶＬＤと、
前記ＶＬＤから印加される付加情報からマクロブロック単位の動きベクトルを抽出し、そのうち背景領域の動きに関する局部動きベクトルのみを用いてグローバル動きベクトルを算出するグローバル動き算出部と、
前記付加情報からフレームタイプを抽出し、抽出されたフレームタイプに基づきグローバル動きベクトルの累積の可否を判断し、該判断結果に基づいて、グローバル動き算出部からのグローバル動きベクトルを累積する時間的累積部と、
前記時間的累積部で累積されたグローバル動きベクトルを用いて復元映像を動き補償して安定化させるようにするグローバル動き補償部を含むディジタル映像安定化機能を有するデコーダ。
【請求項２】
前記グローバル動き算出部は、
前記付加情報に含まれているマクロブロック単位の局部動きベクトルらをクラスタリング技法を用いて背景領域の動きに関する局部動きベクトルを分類し、分類された背景領域の局部動きベクトルに基づいてグローバル動きベクトルを検出することを特徴とする請求項１に記載のディジタル映像安定化機能を有するデコーダ。
【請求項３】
前記グローバル動き算出部は、
前記ＶＬＤから付加情報を入力されマクロブロック単位に局部動きベクトルを抽出する局部動きベクトル検出部と、
抽出された局部動きベクトルが示す位置に基づいて該局部動きベクトルを分類することによって、背景領域の動きに関する局部動きベクトルを分類する動き分割処理部と、
前記動き分割処理部から分類された背景領域の局部動きベクトルに基づいて一つのグローバル動きベクトルを検出するグローバル動きベクトル検出部とからなることを特徴とする請求項２に記載のディジタル映像安定化機能を有するデコーダ。
【請求項４】
前記動き分割処理部は、
前記局部動きベクトル検出部から抽出された局部動きベクトルが示す位置と所定の中心位置を有する所定個数のクラスタの該中心位置との比較結果に基づいて、該局部動きベクトルを該所定個数のクラスタの内のいずれかに分類する類似動き推定部と、
前記類似動き推定部から分類されたクラスタのうち、クラスタ内の局部動きベクトルの個数と分散について所定の条件を満たす一つのクラスタを選ぶ背景動き選択部とからなることを特徴とする請求項３に記載のディジタル映像安定化機能を有するデコーダ。
【請求項５】
前記時間的累積部は、
前記ＶＬＤから印加される付加情報からフレームタイプを抽出するフレームタイプ抽出処理部と、
前記フレームタイプ抽出処理部から抽出されたフレームタイプがＩ及びＰフレームの場合グローバル動きベクトルをそのまま累積させ、Ｂフレームの場合Ｂフレームの復元に用いられるグローバル動きベクトルを累積するグローバル動きベクトル累積部とからなることを特徴とする請求項１に記載のディジタル映像安定化機能を有するデコーダ。
【請求項６】
ビデオデコーダを用いたディジタル映像安定化方法において、
符号化されたビットストリームを入力され映像情報と付加情報とに分離する分離段階と、
前記分離段階から分離される付加情報からマクロブロック単位の動きベクトルを抽出し、そのうち背景領域の動きに関する局部動きベクトルのみを用いてグローバル動きベクトルを算出する算出段階と、
前記付加情報からフレームタイプを抽出し、抽出されたフレームタイプに基づきグローバル動きベクトルの累積の可否を判断し、該判断結果に基づいて前記算出段階からのグローバル動きベクトルを累積する累積段階と、
前記累積段階で累積されたグローバル動きベクトルを用いて復元映像を動き補償して安定化する安定化段階とを含むディジタル映像安定化方法。
【請求項７】
前記算出段階は、
前記付加情報を入力されマクロブロック単位に局部動きベクトルを抽出する第１段階と、
前記第１段階から抽出された局部動きベクトルが示す位置に基づいて該局部動きベクトルを分類することによって、背景領域の動きに関する局部動きベクトルを分類する第２段階と、
前記２段階から分類された背景領域の局部動きベクトルに基づいて一つのグローバル動きベクトルを検出する第３段階とからなることを特徴とする請求項６に記載のディジタル映像安定化方法。
【請求項８】
前記第２段階は、
前記第１段階から抽出された局部動きベクトルが示す位置と所定の中心位置を有する所定個数のクラスタの該中心位置との比較結果に基づいて、該局部動きベクトルを該所定個数のクラスタの内のいずれかに分類する第２ａ段階と、
前記第２ａ段階から分類されたクラスタのうち、クラスタ内の局部動きベクトルの個数と分散について所定の条件を満たす一つのクラスタを選ぶ第２ｂ段階とからなることを特徴とする請求項７に記載のディジタル映像安定化方法。
【請求項９】
前記累積段階は、
前記付加情報からフレームタイプを抽出する第１段階と、
前記第１段階において抽出されたフレームタイプがＩ及びＰフレームの場合グローバル動きベクトルをそのまま累積させ、Ｂフレームの場合Ｂフレームの復元に用いられるグローバル動きベクトルを累積する第２段階とからなることを特徴とする請求項６に記載のディジタル映像安定化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はデコーダに係り、特に符号化されたビットストリームから抽出された付加情報を用いて映像安定化を行うデコーダ及びディジタル映像安定化方法に関する。
【０００２】
【従来の技術】
映像圧縮は膨大な量の映像を貯蔵し転送するために使用される。移動映像通信システムは映像の符号化、復号化及び転送が実時間に行われるべきである。動き補償コデック(Motion compensation codec)はかかる移動映像通信システムにおいて膨大な量の映像を転送するのに使用される。ところが、かかる動き補償コデックが採用されたカムコーダで撮影する際使用者の手振れと動きにより撮影された映像に揺らぎが発生して画質が劣化する。ディジタル映像安定化(Digital image stabilization)はかかる映像の揺らぎを補正することにより映像の画質を改善させる。今まで多様なディジタル映像安定化装置がカメラやカムコーダの前処理器として開発された。
【０００３】
図１は従来のディジタル映像安定化部とビデオコデックを結合した構成図である。図１の装置のディジタル映像安定化部１０は手振れによるいわゆるカメラ振れが生じた映像(Fluctuated video : 以下「揺らぎ映像」と称する)を入力され安定化された映像信号を出力する。ビデオエンコーダ(Video encoder)２０は安定化された映像信号を入力され符号化する。そして、ビデオエンコーダ２０から転送された符号化されたビットストリームはビデオデコーダ(Video decoder)３０に入力され復号化される。従って、ビデオデコーダ３０は復元されたビデオ信号を出力する。
【０００４】
図２は図１のディジタル映像安定化部１０の詳細ブロック図である。図２のディジタル映像安定化部１０は揺らぎ映像が入力される映像メモリ部(Image memory)１１、映像拡大部１６及び動きベクトル検出部１２を含む。動きベクトル検出部１２は入力された揺らぎ映像から動きベクトルを検出する。また、図２の装置は動きベクトル検出部１２から検出された動きベクトルについてグローバル動きベクトルを検出するグローバル動きベクトル検出部１３と検出されたグローバル動きベクトルを入力され累積する動きベクトル累積部１４、及び累積された動きベクトルから安定化された映像を出力する安定化映像出力部１５を含む。
【０００５】
図２に示されたディジタル映像安定化装置は、動き補償コデックの前処理器として用いられる。図２において、入力される揺らぎ映像は映像メモリ部１１、動きベクトル検出部１２、及び映像拡大部１６に同時に入力される。動きベクトル検出部１２は入力される現在フレームの揺らぎ映像と映像メモリ部１１に既に貯蔵された以前フレームの映像を比較して動きベクトルを検出する。グローバル動きベクトル検出部１３は動きベクトル検出部１２で検出された動きベクトルについてフレーム別に発生するグローバル動きベクトル(Global motion vector)を検出する。検出されたグローバル動きベクトルは動きベクトル累積部(Motion vector integration unit)１４に出力される。そして、動きベクトル累積部１４は入力されたグローバル動きベクトルを累積し、安定化映像出力部１５は累積された動きベクトルを用いて動き補償して安定化された映像を出力する。かかる過程を図３を参照して以下詳細に説明する。
【０００６】
図３は図２の動きベクトル検出部１２で各小領域の動きを推定するための領域と小領域内の基準点(Reference point)を示した図である。
【０００７】
動きベクトル検出部１２は連続的に入力される隣り合う二つの映像で手振れによる動きを判断するために三つの小領域を定め、各小領域で基準点を設定する。そして、現在フレームの基準点と以前フレームの基準点とを比較して相関度が最高の位置をその小領域の動きベクトルと決定する。グローバル動きベクトル検出部１３は各小領域の動きベクトルを入力されグローバル動きベクトルを検出する。この際、動いている物体あるいは低い照度を有する映像における動き推定は誤ベクトルを検出する確率が高い。従って、この誤ベクトルに対する検証のためにグローバル動きベクトル検出部１３が必要である。既存の方式では正確な動きベクトルであるかを判定するために動きベクトルと決定された位置における相関値と隣接した位置における相関値の傾きを以って判定した。グローバル動きベクトル検出部１３では各フレーム別にグローバル動きベクトルが一つずつ発生する。このグローバル動きベクトルを用いて映像の揺らぎを補正するためには映像シーケンスの最初フレームを基準にして現在フレームにおけるグローバル動きベクトルを次のように累積しなければならない。このようなグローバル動きベクトルの累積は動きベクトル累積部１４で行われる。
【数１】
0003636677.tif 000002
【０００８】
式１において、
【数２】
0003636677.tif 000003
と
【数３】
0003636677.tif 000004
はそれぞれｎ番目フレームの累積動きベクトルとグローバル動きベクトルである。そして、ｋは減衰係数(Damping coefficient)である。
【０００９】
安定化映像出力部１５は映像拡大部１６から入力される拡大された映像で累積動きベクトルを用いて動き補償することにより安定化した映像が得られる。
【００１０】
このように従来のディジタル映像安定化装置は映像の揺らぎを補正するために入力映像で動き推定を行い、推定された結果からカメラの動きを推定して安定化された映像に補正した。
【００１１】
このようなディジタル映像安定化は、計算量及びハードウェア複雑度を減らすために入力される全体映像を用いず幾つかの小領域を定め、定まった小領域についてのみ動きを推定した。また、演算量を減らすために小領域内の全ての画素値を用いず、幾つかの基準点のみを用いている。ところが、この方式は幾つかの基準点のみを用いることにより演算量は減らせるものの、整合過程において使用されるデータの不足により動き推定性能が低下する。従って、既存のディジタル映像安定化技法はビデオコデックにおける動き推定の他、付加的に動き推定技法がさらに要求されるため、システム複雑度が高まるという問題点がある。
【００１２】
【発明が解決しようとする課題】
従って、本発明の目的は、前述した問題点を解決できるようにディジタル映像安定化システム内で付加的に動き推定を行わず、ビデオデコーダ内で符号化されたビットストリームから抽出された付加情報を用いることにより一層効率的なディジタル映像安定化を行えるデコーダを提供することにある。
【００１３】
本発明の他の目的は、ビデオデコーダを用いてディジタル映像安定化を行う方法を提供することにある。
【００１４】
【課題を解決するための手段】
前述した目的を達成するための本発明のディジタル映像安定化機能を有するデコーダは、符号化されたビットストリームから映像情報と付加情報とを分離するＶＬＤと、ＶＬＤから印加される付加情報から背景領域の動きに関する局部動きベクトルのみを用いてグローバル動きベクトルを算出するグローバル動き算出部と、グローバル動き算出部からのグローバル動きベクトルを入力されフレームタイプを考慮して時間的に累積する時間的累積部、及び時間的累積部で累積された動きベクトルを用いて復元映像を安定化させるグローバル動き補償部を含む。
【００１５】
また、本発明の他の目的を達成するためのディジタル映像安定化方法は、符号化されたビットストリームを入力され映像情報と付加情報とに分離する分離段階と、分離段階で分離された付加情報から背景領域の動きに関する局部動きベクトルのみを用いてグローバル動きベクトルを算出する算出段階と、算出されたグローバル動きベクトルを入力されフレームタイプを考慮して時間的に累積する累積段階、及び累積段階で累積されたグローバル動きベクトルを用いて復元映像を安定化する安定化段階を含む。
【００１６】
【発明の実施の形態】
以下、添付した図面に基づき本発明の望ましい一実施形態を詳述する。
図４のビデオコデックは符号化されたビットストリームを転送するビデオエンコーダ１００と、符号化されたビットストリームを受信され復号化するビデオデコーダ２００とから構成される。ビデオデコーダ２００は本発明のディジタル映像安定化部３００を備え、符号化されたビットストリームの付加情報に基づくディジタル映像安定化を行う。
【００１７】
このようなビデオデコーダ２００を図５に基づき説明する。
図５の装置は符号化されたビットストリーム形態の揺らぎ映像を入力され出力するバッファ２０１と、バッファ２０１から入力されたビットストリームを映像情報と付加情報とに分離する可変長復号化部(variable length decoding : 以下「ＶＬＤ」と称する)２０２を含む。ＶＬＤ２０２から映像情報を入力され処理する逆量子化部２０３と、逆ＤＣＴ２０４を含み、ＶＬＤ２０２から付加情報を入力される動き補償部２０５と、ディジタル映像安定化部３００を含む。また、映像情報を貯蔵するフレームメモリ２０６が動き補償部２０５と連結される。ディジタル映像安定化部３００はＶＬＤ２０２とフレームメモリ２０６との間に連結され、グローバル動き算出部３１０、時間的累積部３２０、及びグローバル動き補償部３３０を備える。ここで、付加情報はマクロブロック単位の動きベクトルとそのマクロブロックのフレームタイプを含む。
【００１８】
図５において、バッファ２０１は符号化されたビットストリーム形態の揺らぎ映像を入力されてＶＬＤ２０２に出力する。ＶＬＤ２０２は入力されるビットストリームを可変長復号化して映像情報と付加情報を出力する。映像情報は逆量子化部２０３に入力され量子化レベルに基づき逆量子化される。逆ＤＣＴ２０４は逆量子化された映像を逆ＤＣＴしてＤＣＴされる以前の状態に変換する。こうして復元された映像はフレームメモリ２０６に基準映像として貯蔵される。一方、付加情報は動き補償部２０５とディジタル映像安定化部３００に入力される。動き補償部２０５は入力された付加情報を用いてフレームメモリ２０６に貯蔵された基準映像から現在フレームの映像を補償して出力する。ディジタル映像安定化部３００のグローバル動き算出部３１０はビットストリームでマクロブロック単位の動きベクトルを用いてグローバル動きベクトルを算出する。
【００１９】
図６はグローバル動き算出部３１０の詳細ブロック図である。
グローバル動き算出部３１０の局部動きベクトル検出部３１１はマクロブロック単位の局部動きベクトルを算出して出力する。局部動きベクトル検出部３１１はマクロブロック単位の局部動きベクトルをフレームタイプ別に区分して検出する。動き補償による各フレームタイプはイントラ符号化のためのＩフレームと、順方向予測符号化のためのＰフレーム、及び双方向予測符号化のためのＢフレームがある。Ｐフレームの復元のためにはＩフレームが参照フレームになり、Ｂフレームの復元のためにはＩまたはＰフレームが参照フレームになる。Ｉフレームはイントラ符号化されるため動きベクトルが存しない。しかし、Ｂフレームは両側の二つの参照フレームから生成された順方向と逆方向動きベクトルを有する。従って、Ｉフレームと以前の参照フレームとの間に存するＢフレームの動きベクトルを利用する。すなわち、現在のＩフレームと以前のＰフレームとの間に存するＢフレームから以前Ｐフレームからの順方向動きベクトルとＩフレームからの逆方向動きベクトルの差異値を以前参照フレームの順方向動きベクトルにする。同様に、Ｐフレームの動きベクトルはＩフレームにおける方式と同一にし、Ｐフレームの有している以前の参照フレームＩあるいはＰフレームからの順方向動きベクトルをさらに演算せずに利用する。また、Ｂフレームは以前参照フレームからの順方向動きベクトルと以後参照フレームからの逆方向動きベクトルを含む。従って、参照フレームからの順方向または逆方向動きベクトルのうち一つを選ぶ。
【００２０】
図７はこのように検出された局部動きベクトルをフレーム単位に集めて構成した動きフィールドの例を示す。本発明の実施形態では被写体の動きにより生成された局部動きベクトルは除き、背景領域の動きにより生成された局部動きベクトルのみを用いてグローバル動きベクトルを抽出する。まず、検出された局部動きベクトルは動き分割処理部３１２に入力される。動き分割処理部３１２は類似動き推定部３１３と背景動き選択部３１４とから構成される。類似動き推定部３１３はクラスタリング(clustering)技法を用いて入力された局部動きベクトルをＫ個のクラスタに分類する。背景動き選択部３１４は分類されたＫ個のクラスタのうち背景領域の動きになる可能性が最高のクラスタを選んで出力する。すると、グローバル動きベクトル検出部３１５は背景動き選択部３１４で選ばれたクラスタ内の局部動きベクトルからグローバル動きベクトルを検出してこれを時間的累積部３２０に出力する。
【００２１】
グローバル動きベクトルを検出するためのクラスタリング過程は次の通りである。
段階１：初期化
クラスタの個数Ｋを定め、各クラスタの初期中心を任意に定める。
段階２：サンプルの分類
全てのサンプルベクトルを分類する。サンプルベクトルＶｎは次の式によりＫ個のクラスタのうち一つに含まれる。
（式２）
Ｖｎ∈Ｓｊ、if‖Ｖｎ−Ｚｉ‖＜‖Ｖｎ−Ｚｊ‖、for all ｉ＝１、２、．，，Ｋ、ｉ≠ｊ
ここで、Ｓｊ＝｛Ｘ｜Ｘはクラスタｊに近接している｝
であり、ｎは１≦ｎ≦Ｎである。
段階３：新たなクラスタ中心計算
２段階において生成されたクラスタについて次の式によりクラスタ中心からの距離が最小になる新たなクラスタ中心Ｚｊを計算する。
（式３）
Ｚｊ＝１／ＮｊΣＶｎ（Ｖｎ∈Ｓｊ）
Ｎｊは段階２において生成された新たなクラスタ内のサンプルの個数である。
段階４：収斂したか否かの判断
クラスタＳｊの新たな中心が以前中心と等しければクラスタリングを停止し、以前の中心と異なると段階２に戻って繰り返す。
【００２２】
グローバル動きベクトルを検出するためには局部動きベクトルを多数個のクラスタに分類した後背景領域の動きを示す一つのクラスタを選ぶ。この際、グローバル動きベクトルによる映像全体の画素は同一の方向と大きさで移動したと仮定する。この仮定は次のような二種の要件が成り立つ。その一つはグローバル動きと類似した値を有する局部動きベクトルが集まっているクラスタ内のサンプル個数は他のクラスタ内のサンプルの個数より遥かに多いということであり、もう一つはグローバル動きベクトルと類似した形態を有する局部動きベクトルが集まっているクラスタ内のサンプルの分散は他のクラスタ内のサンプルの分散より遥かに小さいということである。本発明においてはこの二つの条件を満たすクラスタがグローバル動きベクトルを含んでいると規定し、背景領域の動きを含むクラスタとして選ばれる。
【００２３】
選ばれたクラスタからグローバル動きベクトルを検出する方法は次の通りである。
（式４）
Ｖｇ＝ｍｅｄｉａｎ｛Ｖｎ｝、Ｖｎ∈Ｓｊ
ここで、Ｖｇはグローバル動きベクトルであり、Ｓｊは背景領域の動きを含むクラスタである。選ばれたクラスタからグローバル動きベクトルを検出するために局部動きベクトルのメディアン値を取る方法は、局部動きベクトルの平均を取る方法より誤差を含む局部動きベクトルの影響を減らせられるので、一層検出性能を高めることができる。
【００２４】
図８は図５の時間的累積部の詳細構成図である。
時間的累積部３２０はフレームタイプ抽出処理部３２１とグローバル動きベクトル累積部３２２とから構成されている。時間的累積部３２０はグローバル動きベクトル算出部３１０から入力されるグローバル動きベクトルをフレームタイプを考慮して時間的に累積する。すなわち、フレームタイプ抽出処理部３２１はＶＬＤ２０２から印加される付加情報を通して入力映像のフレームタイプを抽出する。また、グローバル動きベクトル累積部３２２はグローバル動きベクトルを入力されフレームタイプ抽出処理部３２１から印加されるフレームタイプに基づきグローバル動きベクトルを累積する。すなわち、フレームタイプがＩ及びＰフレームの場合はグローバル動きベクトルをそのまま累積させ、Ｂフレームの場合はＢフレームを補正する場合のみグローバル動きベクトルを累積する。グローバル動き補償部３３０は累積されたグローバル動きベクトルを用いてフレームメモリ２０６から入力される復元映像の揺らぎを動き補償して安定化させる。グローバル動き補償部３３０は元々の画面において手振れにより揺られた映像画面１２、１３、１４を安定化して安定化された映像画面１１として出力する。
【００２５】
【発明の効果】
以上述べたような本発明のディジタル映像安定化装置は、符号化されたビットストリームから抽出された付加情報を用いてグローバル動きベクトルを検出するので、複雑なハードウェア構造が要求されない。従って、低い転送率を要求する次世代携帯電話システム(Next generation mobile phone system)あるいは移動マルチメディア端末機(Mobile multimedia terminal)などのような移動映像通信システムにおいて映像の揺らぎを補正するのに効果的である。
【図面の簡単な説明】
【図１】  従来のディジタル映像安定化装置を備えたビデオコデックの構成図である。
【図２】  図１のディジタル映像安定化部の詳細ブロック図である。
【図３】  従来の動き推定方法を説明するための図である。
【図４】  本発明の一実施形態によるビデオコデックの構成図である。
【図５】  図４のディジタル映像安定化機能を有するビデオデコーダの詳細ブロック図である。
【図６】  図５のグローバル動き算出部についての詳細ブロック図である。
【図７】  本発明の動きフィールドを説明するための図である。
【図８】  図５の時間的累積部に対する詳細ブロック図である。
【図９】  本発明のグローバル動き補償を説明するための図である。
【符号の説明】
１００   ビデオエンコーダ
２００   ビデオデコーダ
２０２   ＶＬＤ
３００   ディジタル映像安定化部
３１０   グローバル動き算出部
３２０   時間的累積部
３３０   グローバル動き補償部
【図１】
0003636677.tif 000005
【図２】
0003636677.tif 000006
【図３】
0003636677.tif 000007
【図４】
0003636677.tif 000008
【図５】
0003636677.tif 000009
【図６】
0003636677.tif 000010
【図７】
0003636677.tif 000011
【図８】
0003636677.tif 000012
【図９】
0003636677.tif 000013