(57)【要約】  適応型フレーム間ウェーブレットのビデオコーディング方法、前記方法のためのコンピュータで読取り可能な記録媒体、及び装置を提供する。複数のフレームよりなるフレームグループを入力されて、所定の過程を経て境界部分ピクセルのモーションベクトルを用いてモードフラグを決定する(a)段階と、前記決定されたモードフラグによって所定の方向に前記フレームグループのフレームを時間的に分解する(b)段階と、前記(b)段階により得られたフレームを、空間的変換と量子化過程とを経てビットストリーム化する(c)段階と、を含むフレーム間ウェーブレットのビデオコーディング方法である。
2007503750.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームよりなるフレームグループを入力されて所定の過程を経て境界部分ピクセルのモーションベクトルを用いてモードフラグを決定する(a)段階と、
前記決定されたモードフラグによって所定の方向に前記フレームグループのフレームを時間的に分解する(b)段階と、
前記(b)段階により得られたフレームを空間的変換と量子化過程とを経てビットストリーム化する(c)段階と、を含むフレーム間ウェーブレットのビデオコーディング方法。
【請求項２】
前記(a)段階において、１つのフレームグループは、16個のフレームよりなることを特徴とする請求項１に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項３】
前記(a)段階は、モーション推定を階層的可変サイズブロックマッチング方法を用いて求めた各ピクセルのモーションベクトルのうち、所定厚さの境界部分のモーションベクトルを用いて所定方法でモードフラグを決定することを特徴とする請求項１に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項４】
前記モードフラグを決定するためのモーションベクトルは、左側及び右側境界部分のピクセルのモーションベクトルであることを特徴とする請求項３に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項５】
前記モードフラグ(F）は、
if(abs(L)<Threshold)  then  L=0
if(abs(R)<Threshold)  then  R=0
if((L<0  and  R==0)  or  (L==0  and  R>0)  or  (L<0  and  R>0))  then  F=0
else  if((L>0  and  R==0)  or  (L==0  and  R<0)  or  (L>0  and  R<0))  then  F=1
else  F=2であるアルゴリズムにより求められるが、ここで、Lは、所定厚さの左側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Rは、所定厚さの右側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、前記(b)段階は、F=0である場合に、前記フレームグループのフレームを時間的順方向に分解し、F=1である場合に、前記フレームグループのフレームを時間的逆方向に分解し、F=2である場合には、前記フレームグループのフレームを、時間的順方向と逆方向とを所定の順序で混ぜて分解することを特徴とする請求項４に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項６】
前記(b)段階において、F=2である場合に、前記フレームは、フレーム間の平均時間的距離が最小化されるように分解されることを特徴とする請求項５に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項７】
前記モードフラグを決定するためのモーションベクトルは、左側、右側、上側、及び下側境界部分のピクセルのモーションベクトルであることを特徴とする請求項３に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項８】
前記モードフラグ(D）は、
if(abs(L)<Threshold)  then  L=0
if(abs(R)<Threshold)  then  R=0
if(abs(U)<Threshold)  then  U=0
if(abs(D)<Threshold)  then  D=0
if(((L<0  and  R==0)  or  (L==0  and  R>0)  or  (L<0  and  R>0))  and  ((D<0  and  U==0)  or  (D==0  and  U>0)  or  (D<0  and  U>0)  or  (D==0  and  U==0)))  then  F=0
else if(((L>0  and  R==0)  or  (L==0  and  R<0)  or  (L>0  and  R<0))  and  ((D>0  and  U==0)  or  (D==0  and  U<0)  or  (D>0  and  U<0)  or  (D==0  and  U==0)))  then  F=1
else F=2であるアルゴリズムにより求められるが、ここで、Lは、所定厚さの左側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Rは、所定厚さの右側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Uは、所定厚さの上側境界部分の各ピクセルのモーションベクトルのY方向成分の平均値を意味し、Dは、所定厚さの下側境界部分の各ピクセルのモーションベクトルのY方向成分の平均値を意味し、前記(b)段階は、F=0である場合、前記フレームグループのフレームを時間的順方向に分解し、F=1である場合に、前記フレームグループのフレームを時間的逆方向に分解し、F=2である場合に、前記フレームグループのフレームを時間的順方向と逆方向とを所定の順序で混ぜて分解することを特徴とする請求項７に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項９】
前記(b)段階において、前記F=２である場合、前記フレームは、平均時間的距離が最小となるように分解することを特徴とする請求項８に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項１０】
複数のフレームよりなるフレームグループを入力されて所定の過程を経て境界部分ピクセルのモーションベクトルを用いてモードフラグを決定する(a)段階と、
前記決定されたモードフラグによって所定の方向に前記フレームグループのフレームを時間的に分解する(b)段階と、
前記(b)段階により得られたフレームを空間的変換と量子化過程とを経てビットストリーム化する(c)段階と、を含む段階を実行するためのコンピュータで実行可能な命令語を有している記録媒体。
【請求項１１】
前記(a)段階において、１つのフレームグループは、16個のフレームよりなることを特徴とする請求項１０に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１２】
前記(a)段階は、モーション推定を階層的可変サイズブロックマッチング方法を用いて求めた各ピクセルのモーションベクトルのうち、所定厚さの境界部分のモーションベクトルを用いて所定方法でモードフラグを決定することを特徴とする請求項９に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１３】
前記モードフラグを決定するためのモーションベクトルは、左側及び右側境界部分のピクセルのモーションベクトルであることを特徴とする請求項１２に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１４】
前記モードフラグ(F）は、
if(abs(L)<Threshold)  then  L=0
if(abs(R)<Threshold)  then  R=0
if((L<0  and  R==0)  or  (L==0  and  R>0)  or  (L<0  and  R>0))  then  F=0
else  if((L>0  and  R==0)  or  (L==0  and  R<0)  or  (L>0  and  R<0))  then  F=1
else  F=2であるアルゴリズムにより求められるが、ここで、Lは、所定厚さの左側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Rは、所定厚さの右側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、前記(b)段階は、F=0である場合に、前記フレームグループのフレームを時間的順方向に分解し、F=1である場合に、前記フレームグループのフレームを時間的逆方向に分解し、F=2である場合には、前記フレームグループのフレームを、時間的順方向と逆方向とを所定の順序で混ぜて分解することを特徴とする請求項１３に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１５】
前記(b)段階において、F=2である場合に、前記フレームは、フレーム間の平均時間的距離が最小化されるように分解されることを特徴とする請求項１４に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１６】
前記モードフラグを決定するためのモーションベクトルは、左側、右側、上側、及び下側境界部分のピクセルのモーションベクトルであることを特徴とする請求項１２に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１７】
前記モードフラグ(D）は、
if(abs(L)<Threshold)  then  L=0
if(abs(R)<Threshold)  then  R=0
if(abs(U)<Threshold)  then  U=0
if(abs(D)<Threshold)  then  D=0
if(((L<0  and  R==0)  or  (L==0  and  R>0)  or  (L<0  and  R>0))  and  ((D<0  and  U==0)  or  (D==0  and  U>0)  or  (D<0  and  U>0)  or  (D==0  and  U==0)))  then  F=0
else if(((L>0  and  R==0)  or  (L==0  and  R<0)  or  (L>0  and  R<0))  and  ((D>0  and  U==0)  or  (D==0  and  U<0)  or  (D>0  and  U<0)  or  (D==0  and  U==0)))  then  F=1
else F=2であるアルゴリズムにより求められるが、ここで、Lは、所定厚さの左側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Rは、所定厚さの右側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Uは、所定厚さの上側境界部分の各ピクセルのモーションベクトルのY方向成分の平均値を意味し、Dは、所定厚さの下側境界部分の各ピクセルのモーションベクトルのY方向成分の平均値を意味し、前記(b)段階は、F=0である場合、前記フレームグループのフレームを時間的順方向に分解し、F=1である場合に、前記フレームグループのフレームを時間的逆方向に分解し、F=2である場合に、前記フレームグループのフレームを時間的順方向と逆方向とを所定の順序で混ぜて分解することを特徴とする請求項１６に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１８】
前記(b)段階において、モードフラグが両方向である場合、前記フレームは、平均時間的距離が最小となるように分解することを特徴とする請求項１7に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１９】
複数のフレームよりなるフレームグループを入力されてビットストリームを生成するフレーム間ビデオコーディングする装置において、
前記フレームグループを入力されて所定の過程を経て各フレームのピクセルのモーションベクトルを求め、前記モーションベクトルのうち、境界部分ピクセルのモーションベクトルを用いてモードフラグを決定するモーション推定及びモード決定部と、
前記モーション推定及びモード決定部によって求めたモーションベクトルを用いてモードフラグによって所定の時間軸方向にフレームを低周波及び高周波フレームに分解するモーション補償時間的フィルタリング部と、を備えることを特徴とするフレーム間ウェーブレットビデオコーディング装置。
【請求項２０】
前記モーション補償時間的フィルタリング部により分解された低周波及び高周波フレームを空間的な低周波及び高周波成分にウェーブレット分解する空間的変換部をさらに備えることを特徴とする請求項１９に記載のフレーム間ウェーブレットビデオコーディング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウェーブレットビデオコーディング方法と、これを実行させることができるコンピュータで読取り可能な記録媒体及び装置に係り、より詳細には、時間的フィルタリング方向を変化させて平均時間距離を短縮させるフレーム間ウェーブレットビデオコーディング法(Interframe  Wavelets  Video  Coding；以下、"IWVC"と称する)に関する。
【背景技術】
【０００２】
インターネットを含む情報通信技術が発達するにつれて文字、音声だけでなく画像通信が増加しつつある。既存の文字中心の通信方式では消費者の多様な欲求を満たすには足りなく、したがって、文字、映像、音楽など多様な形態の情報を収容できるマルチメディアサービスが増加しつつある。マルチメディアデータは、その量がぼう大で大容量の記録媒体を必要とし、伝送時に広い帯域幅を必要とする。例えば、640*480の解像度を有する24bitツルーカラーのイメージは１フレーム当り640*480*24bitの容量、言い換えれば、約7.37Mbitのデータが必要である。これを秒当り30フレームで伝送する場合には、221Mbit/secの帯域幅を必要とし、90分間上映される映画を保存しようとすれば、約1200Gbitの保存空間を必要とする。したがって、文字、映像、オーディオを含むマルチメディアデータを伝送するには、圧縮コーディング技法を使用することが必須である。
【０００３】
データを圧縮する基本的な原理はデータの重複をなくす過程である。イメージで同じ色や客体が反復されるような空間的重複や、動映像フレームで隣接フレームがほとんど変化のない場合や、オーディオで同じ音が反復され続けるような時間的重複、または人間の視覚及び知覚能力が高い周波数に鈍感なことを考慮した心理視覚重複をなくすことによりデータを圧縮できる。データ圧縮の種類は、ソースデータの損失如何、それぞれのフレームに対して独立的に圧縮するか否か、圧縮及び復元に必要な時間が同一であるか否かによって、各々損失/無損失圧縮、フレーム内の/フレーム間圧縮、対称/非対称圧縮に分けられる。その他にも、圧縮復元遅延時間が50msを超えない場合には、リアルタイム圧縮に分類し、フレームの解像度が多様な場合は、スケーラブル圧縮に分類する。文字データや医学用データなどの場合には、無損失圧縮が用いられ、マルチメディアデータの場合には、主に損失圧縮が用いられる。一方、空間的重複を除去するためには、フレーム内の圧縮が用いられ、時間的重複を除去するためには、フレーム間圧縮が用いられる。
【０００４】
マルチメディアを伝送するための伝送媒体は、媒体別にその性能が異なる。現在使われている伝送媒体は、秒当り数十Mbitのデータを伝送できる超高速通信網から秒当り384Kbitの伝送速度を有する移動通信網まで多様な伝送速度を有する。MPEG-1、MPEG-2、H.263またはH.264のような従来のビデオコーディングはモーション補償予測コーディング法に基づいているが、時間的重複はモーション補償により除去し、空間的重複は変換コーディングにより除去する。このような方法は、良い圧縮率を有しているが、主アルゴリズムにおいて再帰的接近法と関連して問題点がある。すなわち、再帰的接近法によりツルースケーラブルビットストリームのための柔軟性を持っていない。したがって、多様な速度の伝送媒体を支援するために、または伝送環境によってこれに適したデータ率でマルチメディアを伝送できるスケーラビリティーを有するデータコーディング方法、すなわち、ウェーブレットビデオコーディング方法またはサブバンドビデオコーディング方法と呼ばれるデータコーディング方法がさらにマルチメディア環境に適している。
【０００５】
ＩＷＶＣは、非常に柔軟なスケーラブルビットストリームを提供しうる。しかし、現在IWVCは、H.264のようなコーディング方法と比較する時、低い性能を示している。このように低い性能によって、IWVCは、非常に優れたスケーラビリティーにも拘らず、非常に制限されたアプリケーションにのみ用いられている実情である。これにより、スケーラビリティーを有するデータコーディング方法の性能を向上させることは非常に重要な問題となっている。
【０００６】
図1は、従来の3次元フレーム間ウェーブレットビデオコーディング過程を示すフローチャートである。
まず、イメージを入力される(S1)。イメージは、複数個のフレームよりなるフレームグループ(Group  of  Frame；以下、GOFと称する）単位で入力される。例えば、16個のフレームは、１つのGOFになり得、各種演算はGOFを基準とする。
【０００７】
イメージを入力されれば、モーション推定を行う(S2)。モーション推定は、階層的可変サイズブロックマッチング法(Hierarchical  Variable  Size  Block  Matching；以下、HVSBMと称する)を用いるが、これは次の通りである。図2を参照すれば、まず、元のイメージサイズがN*Nである場合、ウェーブレット変換を用いてレベル0(N*N)、レベル1(N/2*N/2)、レベル2(N/4*N/4）の映像を得る。次いで、レベル2のイメージに対してモーション推定ブロックサイズを16*16、8*8、4*4に変更させつつ、それぞれのブロックに該当するモーション推定(Motion  Estimationｌ；以下、MEと称する）及び絶対歪曲サイズ(Magnitude  of  Absolute  Distortion；以下、MADと称する）を求める。同様にレベル1のイメージに対してモーション推定ブロックサイズを32*32、16*16、8*8、4*4に変更させつつ、それぞれのブロックに該当するME及びMADと、レベル0のイメージに対してモーション推定ブロックサイズを64*64、32*32、16*16、8*8、4*4に変更させつつ、それぞれのブロックに該当するME及びMADを求める。
【０００８】
次いで、MADが最小となるようにMEツリーを選別(Pruning)する(S3)。
選別された最適のMEを用いてモーション補償時間的フィルタリング(Motion  Compensation  Temporal  Filtering；以下、MCTF)を行う(S4)。図3を参照すれば、まず時間的レベル0で16個のイメージフレームに対して順方向にMCTFを行って8個の低周波と8個の高周波フレームとを得る。時間的レベル1で8個の低周波フレームに対して順方向MCTFを行って4個の低周波と4個の高周波フレームとを得る。時間的レベル2でレベル1の4個の低周波フレームに対して順方向にMCTFを行って2個の低周波と2個の高周波フレームとを得る。最後に、時間的レベル3でレベル2の2個の低周波フレームに対して順方向にMCTFを行って１つの低周波と1個の高周波フレームとを得る。このようなMCTFフィルタリングを通じて15個の高周波フレームと最終レベルの１つの低周波フレームとを含んで総16個のサブバンド(H1、H3、H5、H7、H9、H11、H13、H15、LH2、LH6、LH10、LH14、LLH4、LLH12、LLLH8、及びLLLL16)を得る。
【０００９】
16個のサブバンドを得た後、これに対して空間的変換及び量子化過程を行う(S5)。次いで、最後に前記空間的変換及び量子化過程を通じて生成されたデータと、モーション推定データとを含み、ヘッダを付けてビットストリームを生成する(S6)。
【００１０】
前記のようなIWVCは、非常に優れたスケーラビリティーを有しているが、従来の他のビデオコーディング方式と関連してまだ十分に満足できるほどの性能は持っていない。IWVCの性能と関連して境界条件による１つの例は、図4を通じて説明する。
【００１１】
図4は、境界条件による従来のMCTFの性能を比較するための図面である。
左図は、フレーム外部のイメージがフレーム内部に入る状況を示し、右図は、フレーム内部のイメージがフレームの外部に抜け出る状況を示している。順方向にMCTFを行った場合、時間的に先行するイメージは、フィルタリングされた高周波イメージに代替され、時間的に後続するイメージは、フィルタリングされた低周波イメージに代替される。ビデオコーディングは、高周波フレームと最上位レベルの１つの低周波フレームを用いる。すなわち、高周波フレームの成分の大小によってビデオコーディングの性能が左右される。
【００１２】
まず、イメージが内部に入る状況を説明すれば、T-1フレームは高周波イメージに代替され、Tフレームは低周波イメージに代替される。T-1フレームの全てのイメージブロックは、Tフレームのイメージと対をなして、両イメージブロックの差に比例する高周波成分の大きさが対をなしていない場合より小さくなる。すなわち、高周波イメージに代替されるT-1フレームの容量は小さくなる。
【００１３】
一方、イメージが外部に抜け出る最悪の状況では、T-1フレームの全てのイメージブロックは、Tフレームのイメージブロックと対をなすことができなくなる。このような場合に、対をなしていないイメージブロック(A及びN)は相対的に最も小さい差が生じるイメージブロック(B及びM)と対をなす。したがって、AとBとの差と、NとMとの差を表現するためにT-1フレームは大容量を有さねばならない。
【００１４】
前述したように、MCTFの性能は、内部に入力されるイメージや外部に出力されるイメージのような境界条件によって大きく変化する。したがって、MCTFを行う間にフィルタリング方向を境界条件によって適応的に変化させるビデオコーディング方法が要求される。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
本発明は、境界条件によって時間的フィルタリングの方向を変えられる適応型フレーム間ウェーブレットのビデオコーディング方法を提供する。
また、本発明は、前述した必要性を充足させるための適応型フレーム間ウェーブレットのビデオコーディング方法を実行させることができるコンピュータで読取り可能な記録媒体と装置とを提供する。
【課題を解決するための手段】
【００１６】
本発明によるフレーム間ウェーブレットのビデオコーディング方法は、複数のフレームよりなるフレームグループを入力されて所定の過程を経て境界部分ピクセルのモーションベクトルを用いてモードフラグを決定する(a)段階と、前記決定されたモードフラグによって所定の方向に前記フレームグループのフレームを時間的に分解する(b)段階と、前記(b)段階により得られたフレームを空間的変換と量子化過程とを経てビットストリーム化する(c)段階と、を含む。
【００１７】
前記(a)段階において、１つのフレームグループは、16個のフレームよりなることが望ましい。前記(a)段階はモーション推定を階層的可変サイズブロックマッチング方法を用いて求めた各ピクセルのモーションベクトルのうち、所定厚さの境界部分のモーションベクトルを用いて所定の方法でモードフラグを決定することが望ましい。一方、前記モードフラグを決定するためのモーションベクトルは、左側及び右側境界部分のピクセルのモーションベクトルであっても良く、左側、右側、上側、及び下側境界部分のピクセルのモーションベクトルであっても良い。前者の場合に、前記モードフラグ(F）は、
【００１８】
if(abs(L)<Threshold)  then  L=0
if(abs(R)<Threshold)  then  R=0
if((L<0  and  R==0)  or  (L==0  and  R>0)  or  (L<0  and  R>0))  then  F=0
else  if((L>0  and  R==0)  or  (L==0  and  R<0)  or  (L>0  and  R<0))  then  F=1
else  F=2であるアルゴリズムにより求められるが、ここで、Lは、所定厚さの左側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Rは所定厚さの右側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、前記(b)段階は、F=0である場合に、前記フレームグループのフレームを時間的順方向に分解し、F=1である場合に、前記フレームグループのフレームを時間的逆方向に分解し、F=2である場合には、前記フレームグループのフレームを時間的順方向と逆方向とを所定の順序で混ぜて分解することが望ましい。後者の場合に、前記モードフラグ(D）は、
【００１９】
if(abs(L)<Threshold)  then  L=0
if(abs(R)<Threshold)  then  R=0
if(abs(U)<Threshold)  then  U=0
if(abs(D)<Threshold)  then  D=0
if(((L<0  and  R==0)  or  (L==0  and  R>0)  or  (L<0  and  R>0))  and  ((D<0  and  U==0)  or  (D==0  and  U>0)  or  (D<0  and  U>0)  or  (D==0  and  U==0)))  then  F=0
else if(((L>0  and  R==0)  or  (L==0  and  R<0)  or  (L>0  and  R<0))  and  ((D>0  and  U==0)  or  (D==0  and  U<0)  or  (D>0  and  U<0)  or  (D==0  and  U==0)))  then  F=1
elseF=2であるアルゴリズムにより求められるが、ここで、Lは、所定厚さの左側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Rは、所定厚さの右側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Uは、所定厚さの上側境界部分の各ピクセルのモーションベクトルのY方向成分の平均値を意味し、Dは、所定厚さの下側境界部分の各ピクセルのモーションベクトルのY方向成分の平均値を意味し、前記(b)段階は、F=0である場合、前記フレームグループのフレームを時間的順方向に分解し、F=1である場合に、前記フレームグループのフレームを時間的逆方向に分解し、F=2の場合に、前記フレームグループのフレームを時間的順方向と逆方向とを所定の順序で混ぜて分解することが望ましい。
【００２０】
前者及び後者の場合において、前記F=２である場合に前記フレームは、平均時間的距離が最小となるように分解することが望ましい。
前記方法を実行できるプログラムは、コンピュータで読取り可能な記録媒体に記録してコンピュータを用いて使用できる。
【００２１】
前記目的を達成するために、本発明に係るフレーム間ウェーブレットビデオコーディング装置は、複数のフレームよりなるフレームグループを入力されて所定の過程を経て各フレームのピクセルのモーションベクトルを求め、前記モーションベクトルのうち、境界部分ピクセルのモーションベクトルを用いてモードフラグを決定するモーション推定及びモード決定部、前記モーション推定及びモード決定部によって求めたモーションベクトルを用いてモードフラグによって所定の時間軸方向にフレームを低周波及び高周波フレームに分解するモーション補償時間的フィルタリング部と、を備えることを特徴とする。
【００２２】
前記モーション補償時間的フィルタリング部により分解された低周波及び高周波フレームを空間的な低周波及び高周波成分にウェーブレット分解する空間的変換部をさらに備えることが望ましい。
【発明を実施するための最良の形態】
【００２３】
以下、添付された図面を参照して本発明の望ましい実施形態を詳細に説明する。
図5は、本発明の一実施形態によるフレーム間ウェーブレットビデオコーディング過程を示すフローチャートである。
まず、イメージを入力される(S10)。イメージは、複数個のフレームよりなるフレームグループ(Group  of  Frame；以下、GOFと称する）単位で受ける。１つのGOFは、計算及び取扱の便宜上、2n(但し、nは自然数)個のフレームで構成されることが望ましい。すなわち、2、4、8、16、32などとなりうる。１つのGOFを構成するフレームの数が増加すれば、ビデオコーディングの効率は増加するが、バッファリングの時間及びコーディング時間が延びる性質を有し、フレームの数が減少すれば、ビデオコーディングの効率が減少する性質を有する。本発明の望ましい実施形態においては、１つのGOFは16個のフレームで構成される。
【００２４】
イメージを入力されれば、モーション推定及びモードフラグを設定する(S20)。モーション推定は、図1を通じて説明した従来の方法と同じ階層的可変サイズブロックマッチング法(Hierarchical  Variable  Size  Block  Matching；以下、HVSBMと称する)を用いることが望ましい。モードフラグは、境界条件による時間的フィルタリングの方向を決定するのに用いられ、モードフラグを決定する基準については、図6、図7及び図7を通じて後述する。
【００２５】
モーション推定及びモードフラグ設定過程(S20)が終われば、従来の技術と同様に選別作業を行う(S30)。
次いで、選別されたモーションベクトルを用いてMCTFを行う(S40)。モードフラグによるMCTFの方向については、図9に基づいて後述する。
【００２６】
MCTFが終われば、生成された16個のサブバンドに対して空間的変換及び量子化過程を行う(S50)。次いで、最後に前記空間的変換及び量子化過程を通じて生成されたデータと、モーションベクトルデータ、及びモードフラグを含むビットストリームを生成する(S60)。
【００２７】
図6は、境界条件によるモーション補償時間的フィルタリング順序を決定する基準を説明する図面であり、図7及び図8は、モードフラグ決定のために使われる境界部分のピクセルを示す図面である。
【００２８】
左図及び右図は、何れもフレーム内部のイメージがフレームの外部に抜け出る状況を示しており、左図は順方向MCTFを行う場合を示し、右図は逆方向MCTFを行う場合を示している。すなわち、イメージブロックBとNは、T-1フレームからTフレームに変わる時、外部に流出される。順方向MCTFを行う左図を先に説明すれば、T-1のイメージブロックBとNは、自身とマッチングされるイメージブロックがTではなくなる。これにより、自身とマッチングされない他のイメージブロックであるC及びNが、イメージブロックB及びNと比較対象となる。このような場合においてBとCとの差、及びCとNとの差は、大きくなり、これは何れも高周波フレームに代替されるT-1の情報量を増加させる要因となる。一方、逆方向MCTFを行う右図を説明すれば、高周波フレームに代替されるTフレームの各イメージブロックはT-1フレームとマッチングされるので、高周波フレームTの情報量は少なくても良い。
【００２９】
このような概念を拡張させれば、ある境界に新たなイメージが入力される場合ならば、順方向MCTFの方が効率が良く、出力される場合ならば、逆方向MCTFが良くなる。その他の場合ならば、適切に順方向と逆方向とを混ぜてMCTFを行うことが効率面で良い。すなわち、入力されたGOFの境界条件によって適切な方向を選択してMCTFを行うことが、ビデオコーディングの効率と性能とを高める。モードフラグを設定するための大原則は、新たなイメージがフレームに入力される場合ならば、順方向MCTFを使用し、出力される場合ならば、逆方向MCTFを使用する。その他の場合には、順方向と逆方向とを適切に混ぜてMCTFを行う。
【００３０】
モードフラグは、フレームの境界部分のピクセルのモーションベクトルを用いて決定しうる。対象となる境界部分のピクセルは、図7のように左右側境界部分を対象とすることができるが(第1実施形態)、図8のように上下左右側境界部分を対象とすることもできる(第2実施形態)。モードフラグを決定するのに使われる境界部分の厚さによって、ビデオコーディングの性能が決定されるが、厚さが過度に薄ければ、特定イメージの出入についての情報を逃す恐れがあり、過度に厚ければ、境界条件の判断が遅くなる恐れがある。したがって、適切な厚さを決定することが望ましいが、本発明の実施形態では、境界部分は32ピクセルでモードフラグを決定した。
【００３１】
モードフラグを決定するために、まずHVSBMで各フレームのピクセルのモーションベクトルを求める。各フレームのピクセルに対するモーションベクトルが決定されれば、これに基づいてモードフラグを決定する。モーションベクトルを用いたモードフラグは、時間的レベルごとに異ならせることもあるが、時間的レベル0によりモードフラグを決定することが望ましい。
【００３２】
まず、図7の第1実施形態では、フレームの左側及び右側の境界部分のモーションベクトルを用いてモードフラグを決定するが、これは通常の動映像のフレームに新たなイメージが入出力される場合は、主にX方向になされるからである。１つのGOFを構成するあらゆるフレームの左側境界部分の各ピクセルのモーションベクトルの平均を求める。前記モーションベクトルの平均値のX成分をLという。同様に、１つのGOFを構成するあらゆるフレームの右側境界部分の各ピクセルのモーションベクトルの平均を求める。前記モーションベクトルの平均値のX成分をRという。L値が0より小さな場合、イメージが左側境界部分を通じてフレームに入ることを意味するならば、R値が0より小さな場合はイメージが右側境界部分を通じてフレーム外側に抜け出ることを意味する。同様に、L値が0より大きい場合やR値が0より小さな場合は反対の場合を意味する。一方、実際にイメージの入出力がない場合でも、LまたはRは0にならない場合があるので、適切なL及びRは適切な臨界値を超えない場合には、0と判断することが望ましい。左側または右側にイメージがフレームに入力される場合は、L値が0より小さく、Rは０または０より大きい場合であるか、L値は0より小さく、R値は0より大きい場合である。このような場合には、順方向MCTFを用いることが望ましい。一方、左側または右側にイメージがフレームから抜け出る場合は、L値が0より大きく、Rは0か、0より小さい場合であるか、L値は0より大きく、R値は0より小さい場合である。このような場合には、逆方向MCTFを行うことが望ましい。一方、左側にイメージが入力され、右側にイメージが抜け出る場合には順方向や逆方向のうち、何れか一方よりは両方向を適切に混ぜてMCTFを行うことが望ましい。
【００３３】
これを整理すれば、次のようなアルゴリズムでモードフラグ(F)を決定しうる。
if(abs(L)<Threshold)  then  L=0
if(abs(R)<Threshold)  then  R=0
if((L<0  and  R==0)  or  (L==0  and  R>0)  or  (L<0  and  R>0))  then  F=0
else if((L>0  and  R==0)  or  (L==0  and  R<0)  or  (L>0  and  R<0))  then  F=1
else F=2
ここで、F=0は順方向モードであり、F=1は逆方向モードであり、F=2は両方向モードをいう。
【００３４】
次いで、図8の第2実施形態を説明すれば、上下左右側境界部分を全て利用する。第1実施形態と同じ方法でLとR値を求め、モーションベクトルのY成分の平均値でUとDとを求める。この際、第1実施形態と同様に、最小限１つの境界部分にイメージが入力され、何れか１境界部分にもイメージが出力されない場合には、順方向MCTFを行うことが望ましく、最小限１つの境界部分にイメージが出力され、如何なる１つの境界部分にもイメージが入力されない場合には、逆方向MCTFを行うことが望ましい。その他の場合には、順方向と逆方向とを適切に混ぜて両方向MCTFを行うことが望ましい。
【００３５】
これを整理すれば、次のようなアルゴリズムでモードフラグ(F)を決定しうる。
if(abs(L)<Threshold)  then  L=0
if(abs(R)<Threshold)  then  R=0
if(abs(U)<Threshold)  then  U=0
if(abs(D)<Threshold)  then  D=0
if(((L<0  and  R==0)  or  (L==0  and  R>0)  or  (L<0  and  R>0))  and  ((D<0  and  U==0)  or  (D==0  and  U>0)  or  (D<0  and  U>0)  or  (D==0  and  U==0)))  then  F=0
else if(((L>0  and  R==0)  or  (L==0  and  R<0)  or  (L>0  and  R<0))  and  ((D>0  and  U==0)  or  (D==0  and  U<0)  or  (D>0  and  U<0)  or  (D==0  and  U==0)))  then  F=1
else F=2
ここで、F=0は順方向モードであり、F=1は逆方向モードであり、F=2は両方向モードをいう。
【００３６】
しかし、前述した第1及び第2実施形態は、例示的なものであって、本発明の技術的思想はこれに限定されない。すなわち、本発明の技術的思想は、境界部分のイメージ入出力情報を用いて適切な方向のMCTFを利用することである。これにより、第1及び第2実施形態とは違って、MCTFの方向を設定することは、モードフレームに対する境界部分のモーションベクトルの平均値を利用するものでなく、２つ以上の一部のフレーム別にモードを異ならせる場合も本発明の技術的思想に含まれると解釈せねばならない。
【００３７】
図9は、境界条件を代表するモードフラグによるモーション補償時間的フィルタリング順序を示す図面である。
順方向モードである場合には、示されたように++++++++でモーション推定方向を決定する。逆方向モードである場合には、示されたように--------でモーション推定方向を決定する。最後に、両方向である場合には、多様な方向に決定できるが、図9は+-+-+-+-でレベル0のモーション推定方向を決定したことを例示する。ここで、+は順方向を意味し、-は逆方向を意味する。
【００３８】
順方向及び逆方向の場合には、何れも同じ方向にMCTFを行うが、両方向である場合には、その方向をどのように決定するかによってビデオコーディングの性能が変わる。すなわち、両方向の場合に多様な方法で順方向と逆方向との順序を決定できるが、順方向モードと逆方向モード及び両方向モードのモーション推定方向の可能な例のうち、代表的なものは表1に例示する。
【００３９】
【表１】
2007503750.tif 000003
【００４０】
両方向モードで方向の順序の組合わせは、非常に多いが、その中でa、b、c、dの４つを例示する。まず、cとdは、最後のレベルの低周波フレーム(以下、基準フレームと称する)を1番から16番フレームの中心部分(8番目フレーム)に位置させたことが特徴である。すなわち、基準フレームは、ビデオデコーディングにおいて、最も核心的なフレームであって、他のフレームは基準フレームに基づいて復元する。この際、前記基準フレームとの時間的距離が遠いということは、それほど復元性能を低下させる要因となる。したがって、cの実施形態とdの実施形態は、他のフレームとの距離が最も短くなるように基準フレームが中心部(8番目フレーム)に位置するように順方向と逆方向とを組合わせた例に該当する。
【００４１】
一方、aとbとの場合には、平均時間的距離(Average Temporal Distance；以下、ATDと称する)が最小となる地点の例である。ATDを計算するためには、まず時間的距離を計算するが、時間的距離は２フレーム間の位置差で定義される。図3を参照すれば、フレーム1とフレーム2の時間距離は1と定義し、フレームL2とフレームL4の時間距離は、2と定義する。ATDは、モーション推定のために演算される各フレーム対の時間距離を何れも加算した値をモーション推定のためのフレーム対の数として定義する。ATD値を求めれば、aの場合に
【００４２】
【数１】
2007503750.tif 000004
となり、bの場合に
【００４３】
【数２】
2007503750.tif 000005
となる。参考に、順方向モードの場合と逆方向モードの場合には、
【００４４】
【数３】
2007503750.tif 000006
となる。cの場合には、
【００４５】
【数４】
2007503750.tif 000007
であり、dは
【００４６】
【数５】
2007503750.tif 000008
である。実際にシミュレーションによれば、ATD値が小さいほどPSNR(Peak Signal to Noise Ratio)値が大きくなってビデオコーディングの性能が増加する。
【００４７】
図10は、適応型フレーム間ウェーブレットビデオコーディングのためのシステムの機能的ブロック図である。
フレーム間ウェーブレットビデオコーディングシステムは、モーション推定及びモード決定部10と、モーションベクトルを用いて決定されたモードによって時間的重複を除去するモーション補償時間的フィルタリング部40と、空間的重複を除去する空間的変換部50と、モーションベクトルを所定のアルゴリズムによりエンコーディングするモーションベクトルエンコーディング部20と、空間的変換部50により分解された各成分別ウェーブレット係数を量子化する量子化部60及び量子化部60から受けたエンコーディングされたビットストリームを臨時に保存するバッファ30を含む。
【００４８】
モーション推定及びモード決定部10は、モーション補償時間フィルタリング部に使われるモーションベクトルを求めるが、階層的可変サイズブロックマッチング法(Hierarchical Variable Size Block Matching；HVSBM)により階層的な方法で求める。また、時間的フィルタリングのための方向を決定するためのモードフラグを決定する。
【００４９】
モーション補償時間的フィルタリング部40はモーション推定及びモード決定部10によって求めたモーションベクトルを用いて時間軸方向にフレームを低周波及び高周波フレームに分解する。分解時の方向は、モードフラグによって決定される。フレームの分解時は、フレームグループ(Group Of Frames；以下"GOF"と称する)別に分解する。これを通じて時間的重複を除去する。
【００５０】
空間的変換部50は、モーション補償時間的フィルタリング部40により時間軸方向に分解されたフレームに対して空間的な低周波及び高周波成分にウェーブレット分解するが、これを通じて空間的重複を除去する。
【００５１】
モーションベクトルエンコーディング部20は、モーション推定及びモード決定部により階層的に求められたモーションベクトルとモードフラグとをエンコーディングしてバッファ30に伝送する。
【００５２】
量子化部60は、空間的変換部50により分解された各成分別ウェーブレット係数を量子化してエンコーディングする。
バッファ30は、エンコーディングされたデータとモーションベクトル及びモードフラグを含むビットストリームの伝送前まで保存するが、レート制御アルゴリズム(Rate control algorithm)によって制御される。
【００５３】
実験結果としては、約0．8dBの性能向上があった。実験はmobileとtempete、Canoa、及びbusを用い、その結果は表2ないし表5のようである。
【表２】
2007503750.tif 000009
【００５４】
【表３】
2007503750.tif 000010
【００５５】
【表４】
2007503750.tif 000011
【００５６】
【表５】
2007503750.tif 000012
【産業上の利用可能性】
【００５７】
本発明によれば、境界条件によって適応的にフレーム間ウェーブレットビデオコーディングを行うことができる。すなわち、既存の方法と比較する時、本発明によれば、PSNR値が増加することが分かる。
【００５８】
本発明が属する技術分野で当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。本発明の範囲は詳細な説明よりは特許請求の範囲により表れ特許請求の範囲の意味及び範囲、そしてその等価概念から導かれるあらゆる変更または変形された形態が本発明の範囲に含まれると解釈されねばならない。
【図面の簡単な説明】
【００５９】
【図１】従来の3次元フレーム間ウェーブレットビデオコーディング過程を示すフローチャートである。
【図２】従来の階層的可変サイズブロックマッチングを用いたモーション推定過程を説明するための図面である。
【図３】従来のモーション補償時間フィルタリング過程を説明するための図面である。
【図４】境界条件による従来のモーション補償時間的フィルタリングの性能を比較するための図面である。
【図５】本発明の一実施形態によるフレーム間ウェーブレットビデオコーディング過程を示すフローチャートである。
【図６】境界条件によるモーション補償時間的フィルタリング順序を決定する基準を説明するための図面である。
【図７】モードフラグ決定のために使われる境界部分のピクセルを示す図面である。
【図８】モードフラグ決定のために使われる境界部分のピクセルを示す図面である。
【図９】境界条件を代表するモードフラグによるモーション補償時間的フィルタリング順序を示す図面である。
【図１０】適応型フレーム間ウェーブレットビデオコーディングのためのシステムの機能的ブロック図である。
【符号の説明】
【００６０】
１０      モーション推定及びモード決定部
２０      モーションベクトルエンコーディング部
３０      バッファ
４０      モーション補償時間的フィルタリング部
５０      空間的変換部
６０      量子化部
【図１】
2007503750.tif 000013
【図３】
2007503750.tif 000014
【図４】
2007503750.tif 000015
【図５】
2007503750.tif 000016
【図６】
2007503750.tif 000017
【図７】
2007503750.tif 000018
【図８】
2007503750.tif 000019
【図９】
2007503750.tif 000020
【図１０】
2007503750.tif 000021
【図２】
2007503750.tif 000022
【手続補正書】
【提出日】平成18年2月24日(2006.2.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のフレームよりなるフレームグループを入力されて所定の過程を経て境界部分ピクセルのモーションベクトルを用いてモードフラグを決定する(a)段階と、
前記決定されたモードフラグによって所定の方向に前記フレームグループのフレームを時間的に分解する(b)段階と、
前記(b)段階により得られたフレームを空間的変換と量子化過程とを経てビットストリーム化する(c)段階と、を含むフレーム間ウェーブレットのビデオコーディング方法。
【請求項２】
前記(a)段階において、１つのフレームグループは、16個のフレームよりなることを特徴とする請求項１に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項３】
前記(a)段階は、モーション推定を階層的可変サイズブロックマッチング方法を用いて求めた各ピクセルのモーションベクトルのうち、所定厚さの境界部分のモーションベクトルを用いて所定方法でモードフラグを決定することを特徴とする請求項１に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項４】
前記モードフラグを決定するためのモーションベクトルは、左側及び右側境界部分のピクセルのモーションベクトルであることを特徴とする請求項３に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項５】
前記モードフラグ(F）は、
if(abs(L)<Threshold)  then  L=0
if(abs(R)<Threshold)  then  R=0
if((L<0  and  R==0)  or  (L==0  and  R>0)  or  (L<0  and  R>0))  then  F=0
else  if((L>0  and  R==0)  or  (L==0  and  R<0)  or  (L>0  and  R<0))  then  F=1
else  F=2であるアルゴリズムにより求められるが、ここで、Lは、所定厚さの左側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Rは、所定厚さの右側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、前記(b)段階は、F=0である場合に、前記フレームグループのフレームを時間的順方向に分解し、F=1である場合に、前記フレームグループのフレームを時間的逆方向に分解し、F=2である場合には、前記フレームグループのフレームを、時間的順方向と逆方向とを所定の順序で混ぜて分解することを特徴とする請求項４に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項６】
前記(b)段階において、F=2である場合に、前記フレームは、フレーム間の平均時間的距離が最小化されるように分解されることを特徴とする請求項５に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項７】
前記モードフラグを決定するためのモーションベクトルは、左側、右側、上側、及び下側境界部分のピクセルのモーションベクトルであることを特徴とする請求項３に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項８】
前記モードフラグ(D）は、
if(abs(L)<Threshold)  then  L=0
if(abs(R)<Threshold)  then  R=0
if(abs(U)<Threshold)  then  U=0
if(abs(D)<Threshold)  then  D=0
if(((L<0  and  R==0)  or  (L==0  and  R>0)  or  (L<0  and  R>0))  and  ((D<0  and  U==0)  or  (D==0  and  U>0)  or  (D<0  and  U>0)  or  (D==0  and  U==0)))  then  F=0
else if(((L>0  and  R==0)  or  (L==0  and  R<0)  or  (L>0  and  R<0))  and  ((D>0  and  U==0)  or  (D==0  and  U<0)  or  (D>0  and  U<0)  or  (D==0  and  U==0)))  then  F=1
else F=2であるアルゴリズムにより求められるが、ここで、Lは、所定厚さの左側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Rは、所定厚さの右側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Uは、所定厚さの上側境界部分の各ピクセルのモーションベクトルのY方向成分の平均値を意味し、Dは、所定厚さの下側境界部分の各ピクセルのモーションベクトルのY方向成分の平均値を意味し、前記(b)段階は、F=0である場合、前記フレームグループのフレームを時間的順方向に分解し、F=1である場合に、前記フレームグループのフレームを時間的逆方向に分解し、F=2である場合に、前記フレームグループのフレームを時間的順方向と逆方向とを所定の順序で混ぜて分解することを特徴とする請求項７に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項９】
前記(b)段階において、前記F=２である場合、前記フレームは、平均時間的距離が最小となるように分解することを特徴とする請求項８に記載のフレーム間ウェーブレットのビデオコーディング方法。
【請求項１０】
複数のフレームよりなるフレームグループを入力されて所定の過程を経て境界部分ピクセルのモーションベクトルを用いてモードフラグを決定する(a)段階と、
前記決定されたモードフラグによって所定の方向に前記フレームグループのフレームを時間的に分解する(b)段階と、
前記(b)段階により得られたフレームを空間的変換と量子化過程とを経てビットストリーム化する(c)段階と、を含む段階を実行するためのコンピュータで実行可能な命令語を有している記録媒体。
【請求項１１】
前記(a)段階において、１つのフレームグループは、16個のフレームよりなることを特徴とする請求項１０に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１２】
前記(a)段階は、モーション推定を階層的可変サイズブロックマッチング方法を用いて求めた各ピクセルのモーションベクトルのうち、所定厚さの境界部分のモーションベクトルを用いて所定方法でモードフラグを決定することを特徴とする請求項１０に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１３】
前記モードフラグを決定するためのモーションベクトルは、左側及び右側境界部分のピクセルのモーションベクトルであることを特徴とする請求項１２に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１４】
前記モードフラグ(F）は、
if(abs(L)<Threshold)  then  L=0
if(abs(R)<Threshold)  then  R=0
if((L<0  and  R==0)  or  (L==0  and  R>0)  or  (L<0  and  R>0))  then  F=0
else  if((L>0  and  R==0)  or  (L==0  and  R<0)  or  (L>0  and  R<0))  then  F=1
else  F=2であるアルゴリズムにより求められるが、ここで、Lは、所定厚さの左側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Rは、所定厚さの右側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、前記(b)段階は、F=0である場合に、前記フレームグループのフレームを時間的順方向に分解し、F=1である場合に、前記フレームグループのフレームを時間的逆方向に分解し、F=2である場合には、前記フレームグループのフレームを、時間的順方向と逆方向とを所定の順序で混ぜて分解することを特徴とする請求項１３に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１５】
前記(b)段階において、F=2である場合に、前記フレームは、フレーム間の平均時間的距離が最小化されるように分解されることを特徴とする請求項１４に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１６】
前記モードフラグを決定するためのモーションベクトルは、左側、右側、上側、及び下側境界部分のピクセルのモーションベクトルであることを特徴とする請求項１２に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１７】
前記モードフラグ(D）は、
if(abs(L)<Threshold)  then  L=0
if(abs(R)<Threshold)  then  R=0
if(abs(U)<Threshold)  then  U=0
if(abs(D)<Threshold)  then  D=0
if(((L<0  and  R==0)  or  (L==0  and  R>0)  or  (L<0  and  R>0))  and  ((D<0  and  U==0)  or  (D==0  and  U>0)  or  (D<0  and  U>0)  or  (D==0  and  U==0)))  then  F=0
else if(((L>0  and  R==0)  or  (L==0  and  R<0)  or  (L>0  and  R<0))  and  ((D>0  and  U==0)  or  (D==0  and  U<0)  or  (D>0  and  U<0)  or  (D==0  and  U==0)))  then  F=1
else F=2であるアルゴリズムにより求められるが、ここで、Lは、所定厚さの左側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Rは、所定厚さの右側境界部分の各ピクセルのモーションベクトルのX方向成分の平均値を意味し、Uは、所定厚さの上側境界部分の各ピクセルのモーションベクトルのY方向成分の平均値を意味し、Dは、所定厚さの下側境界部分の各ピクセルのモーションベクトルのY方向成分の平均値を意味し、前記(b)段階は、F=0である場合、前記フレームグループのフレームを時間的順方向に分解し、F=1である場合に、前記フレームグループのフレームを時間的逆方向に分解し、F=2である場合に、前記フレームグループのフレームを時間的順方向と逆方向とを所定の順序で混ぜて分解することを特徴とする請求項１６に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１８】
前記(b)段階において、モードフラグが両方向である場合、前記フレームは、平均時間的距離が最小となるように分解することを特徴とする請求項１7に記載のコンピュータで実行可能な命令語を有している記録媒体。
【請求項１９】
複数のフレームよりなるフレームグループを入力されてビットストリームを生成するフレーム間ビデオコーディングする装置において、
前記フレームグループを入力されて所定の過程を経て各フレームのピクセルのモーションベクトルを求め、前記モーションベクトルのうち、境界部分ピクセルのモーションベクトルを用いてモードフラグを決定するモーション推定及びモード決定部と、
前記モーション推定及びモード決定部によって求めたモーションベクトルを用いてモードフラグによって所定の時間軸方向にフレームを低周波及び高周波フレームに分解するモーション補償時間的フィルタリング部と、を備えることを特徴とするフレーム間ウェーブレットビデオコーディング装置。
【請求項２０】
前記モーション補償時間的フィルタリング部により分解された低周波及び高周波フレームを空間的な低周波及び高周波成分にウェーブレット分解する空間的変換部をさらに備えることを特徴とする請求項１９に記載のフレーム間ウェーブレットビデオコーディング装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
【数５】
2007503750.tif 000023
である。実際にシミュレーションによれば、ATD値が小さいほどPSNR(Peak Signal to Noise Ratio)値が大きくなってビデオコーディングの性能が増加する。
【国際調査報告】
2007503750.tif 000024