(57)【要約】【課題】本発明は、大きな量子化ステップ幅を使用することなく所望の低レートを達成する新たな映像符号化用プレフィルタリング技術の提供を目的とする。【解決手段】例えば、カメラワークに対応するグローバルモーションを検出して、その検出結果に基づいて次フレーム内の画素との対応付けが不可能となる非連結領域を特定すると、その非連結領域を正方領域に分割して、それらの正方領域に対して直交変換を行うことで、その非連結領域に対して直交変換を行う。続いて、その直交変換により得た変換係数に対して、視覚感度関数を用いた重み付けに基づくフィルタリングを行うなどにより、周波数成分に応じた重み付けに基づくフィルタリングを行うことで、視覚感度の弱い成分を中心にフィルタリングを行う。続いて、そのフィルタリングした変換係数に対して、直交変換の逆変換を行うことで映像符号化の対象となる最終的なフレームを生成する。【選択図】図２
2007104515.tif 000002
【特許請求の範囲】
【請求項１】
映像符号化の対象となる画像をプレフィルタリングする映像符号化プレフィルタリング方法であって、
映像符号化の対象となるフレームの持つ次フレーム内の画素との対応付けが不可能となる非連結領域に対して、直交変換を行う過程と、
上記直交変換により得た変換係数に対して、周波数成分に応じた重み付けに基づくフィルタリングを行う過程と、
上記フィルタリングした変換係数に対して、上記直交変換の逆変換を行うことで映像符号化の対象となる最終的なフレームを生成する過程とを備えることを、
特徴とする映像符号化プレフィルタリング方法。
【請求項２】
請求項１に記載の映像符号化プレフィルタリング方法において、
上記直交変換を行う過程では、上記非連結領域を正方領域に分割して、それらの正方領域に対して直交変換を行うことを、
特徴とする映像符号化プレフィルタリング方法。
【請求項３】
請求項１又は２に記載の映像符号化プレフィルタリング方法において、
上記フィルタリングを行う過程では、視覚感度関数を用いた重み付けに基づくフィルタリングを行うことを、
特徴とする映像符号化プレフィルタリング方法。
【請求項４】
請求項１ないし３のいずれか１項に記載の映像符号化プレフィルタリング方法において、
カメラワークに対応するグローバルモーションを検出して、その検出結果に基づいて上記非連結領域を特定する過程を備えることを、
特徴とする映像符号化プレフィルタリング方法。
【請求項５】
請求項１ないし３のいずれか１項に記載の映像符号化プレフィルタリング方法において、
カメラワークに対応するグローバルモーションを検出する機構から、その検出結果を受け取り、それに基づいて上記非連結領域を特定する過程を備えることを、
特徴とする映像符号化プレフィルタリング方法。
【請求項６】
請求項４又は５に記載の映像符号化プレフィルタリング方法において、
上記非連結領域を特定する過程では、隣接するフレームのグローバルモーションの差が閾値以下である場合に、上記検出結果に基づいて上記非連結領域を特定することを、
特徴とする映像符号化プレフィルタリング方法。
【請求項７】
請求項１ないし３のいずれか１項に記載の映像符号化プレフィルタリング方法において、
フレーム内に存在する被覆されるオブジェクトを検出する機構から、その検出結果を受け取ることで上記非連結領域を特定する過程を備えることを、
特徴とする映像符号化プレフィルタリング方法。
【請求項８】
請求項１ないし３のいずれか１項に記載の映像符号化プレフィルタリング方法において、
フレーム内に存在する移動するオブジェクトを検出する機構から、その検出結果を受け取ることで上記非連結領域を特定する過程を備えることを、
特徴とする映像符号化プレフィルタリング方法。
【請求項９】
映像符号化の対象となる画像をプレフィルタリングする映像符号化プレフィルタリング装置であって、
映像符号化の対象となるフレームの持つ次フレーム内の画素との対応付けが不可能となる非連結領域に対して、直交変換を行う手段と、
上記直交変換により得た変換係数に対して、周波数成分に応じた重み付けに基づくフィルタリングを行う手段と、
上記フィルタリングした変換係数に対して、上記直交変換の逆変換を行うことで映像符号化の対象となる最終的なフレームを生成する手段とを備えることを、
特徴とする映像符号化プレフィルタリング装置。
【請求項１０】
請求項１ないし８のいずれか１項に記載の映像符号化プレフィルタリング方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プレフィルタリングプログラム。
【請求項１１】
請求項１ないし８のいずれか１項に記載の映像符号化プレフィルタリング方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プレフィルタリングプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化の対象となる画像をプレフィルタリングする映像符号化プレフィルタリング方法及びその装置と、その映像符号化プレフィルタリング方法の実現に用いられる映像符号化プレフィルタリングプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【背景技術】
【０００２】
Ｈ．２６４（例えば、非特許文献１参照）等のフレーム間予測に基づく符号化方式の場合、ブロックと呼ばれる矩形状に分割された領域毎に、予測残差に対する直交変換・量子化が行われる。このとき、符号量の制御は変換係数に対する量子化ステップ幅をパラメータとして行われる。
【０００３】
フレーム内の統計的な性質は局所的に変化するため、フレーム内の局所的な性質に応じて量子化ステップ幅を変更する処理が検討されている。例えば、ＭＰＥＧ−２のＴＭ５では、アクティビティの高い領域では視覚的に符号化歪みが目立ち難いという知見を利用して、部分領域内のアクティビティに基づき、局所的に量子化ステップ幅の制御を行っている。また、観測者の注目する領域により多くの符号量を割り当てることで、同じ符号量でも主観品質を向上させる方法が検討されている。また、他の研究では、時間的に動きのある領域を注視領域とみなし、その領域には他の領域より多くの符号量を割り当てることで主観品質の向上を実現しているものも存在する。
【０００４】
しかし、こうした従来法では、量子化に起因して発生するブロック境界の歪み（ブロック歪み）については考慮されていない。ブロック歪みは量子化により隣接領域内の直流成分が不連続となることにより発生する。ブロック歪みによる画質劣化は低レートで特に顕著となる。
【０００５】
さらに、従来法では、隣接するフレーム間の変化に基づく視覚特性については考慮されていない。このため、時間軸でのマスキング効果は利用されておらず、改良の余地が残る。
【非特許文献１】Joint Video Team. Draft ITU-T Recommendation and Final draft international standard of joint video specification. ITU-T Rec.H.264 and ISO/IEC 14496-10 AVC, 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
カメラのズーム、パン、チルトといったカメラワークのある映像の場合、フレーム境界に近い領域の中には、次フレームではフレーム内に存在しないものもある。例えば、左に動くカメラパンの映像の場合、フレーム右側の外縁領域の一部は、次のフレームには存在しない。このように、次フレームにおいてフレーム内に存在せず、次フレーム内の画素との対応付けが不可能な領域を非連結領域と呼ぶ。
【０００７】
カメラワーク以外にも非連結領域の例としては、オブジェクトが移動によりフレームの範囲外に移動する場合や、オブジェクトがオクルージョンにより被覆される場合などがある。
【０００８】
図８に、カメラワークによる非連結領域の例を示し、図９に、オクルージョンによる非連結領域の例を示し、図１０に、オブジェクトの移動による非連結領域の例を示す。ここで、各々の図において、網掛け部が非連結領域を示す。
【０００９】
非連結領域の表示される時間はフレームレートの逆数と短く、非連結領域の画質劣化は相対的に検知され難い。つまり、主観画質に及ぼす影響は小さいと考えられる。このため、非連結領域内の画素については積極的に符号量の削減を図る。これは、一種の時間方向マスキング効果の利用といえる。
【００１０】
符号量削減の方策として、量子化ステップ幅のみによる制御は望ましくない。これは、大きな量子化ステップ幅が設定された場合、量子化による直流成分の不連続性からブロック歪みが発生するためである。ブロック歪みは、日常、我々が目にすることの無い極めて不自然な歪みであるため、主観画質を大きく劣化させる要因となり、主観画質の向上のためにはできる限り抑圧する必要がある。しかし、ブロック毎に量子化を行う限りブロック歪みが発生し、量子化ステップ幅が大きくなれば、ブロック歪みが大きくなることは避けることのできない問題である。
【００１１】
本発明はかかる事情に鑑みてなされたものであって、符号化処理に先立ち、非連結領域に対して情報量削減効果のある前処理を施し、大きな量子化ステップ幅を使用することなく所望の低レートを達成する新たな映像符号化用プレフィルタリング技術の提供を目的とする。
【課題を解決するための手段】
【００１２】
この目的を達成するために、本発明の映像符号化プレフィルタリング装置は、映像符号化の対象となる画像をプレフィルタリングする処理を行うために、（１）映像符号化の対象となるフレームの持つ次フレーム内の画素との対応付けが不可能となる非連結領域に対して、直交変換を行う変換手段と、（２）変換手段の実行する直交変換により得た変換係数に対して、周波数成分に応じた重み付けに基づくフィルタリングを行うフィルタリング手段と、（３）フィルタリング手段のフィルタリングした変換係数に対して、変換手段の実行する直交変換の逆変換を行うことで映像符号化の対象となる最終的なフレームを生成する逆変換手段とを備えるように構成する。
【００１３】
この構成を採るときにあって、カメラワークに対応するグローバルモーションを検出して、その検出結果に基づいて非連結領域を特定する特定手段を備えることがあり、この特定手段を備えるときには、隣接するフレームのグローバルモーションの差が閾値以下である場合に、その検出結果に基づいて非連結領域を特定することがある。
【００１４】
また、この構成を採るときにあって、カメラワークに対応するグローバルモーションを検出する機構から、その検出結果を受け取り、それに基づいて非連結領域を特定する特定手段を備えることがあり、この特定手段を備えるときには、隣接するフレームのグローバルモーションの差が閾値以下である場合に、その検出結果に基づいて非連結領域を特定することがある。
【００１５】
また、この構成を採るときにあって、フレーム内に存在する被覆されるオブジェクトを検出する機構から、その検出結果を受け取ることで非連結領域を特定する特定手段を備えることがある。
【００１６】
また、この構成を採るときにあって、フレーム内に存在する移動するオブジェクトを検出する機構から、その検出結果を受け取ることで非連結領域を特定する特定手段を備えることがある。
【００１７】
以上の各処理手段が動作することで実現される本発明の映像符号化プレフィルタリング方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。
【００１８】
このように構成される本発明の映像符号化プレフィルタリング装置では、映像符号化の対象となるフレームの中から、次フレーム内の画素との対応付けが不可能となる非連結領域を特定すると、先ず最初に、その特定した非連結領域を正方領域に分割して、それらの正方領域に対して直交変換を行うことで、その特定した非連結領域に対して直交変換を行う。
【００１９】
続いて、その直交変換により得た変換係数に対して、視覚感度関数を用いた重み付けに基づくフィルタリングを行うなどにより、周波数成分に応じた重み付けに基づくフィルタリングを行うことで、視覚感度の弱い成分を中心にフィルタリングを行う。
【００２０】
そして、最後に、そのフィルタリングした変換係数に対して、直交変換の逆変換を行うことで映像符号化の対象となる最終的なフレームを生成する。
【発明の効果】
【００２１】
以上説明したように、本発明では、視覚的マスキング効果を利用したプレフィルタ処理を実現するものであり、次フレームでフレーム内に残っていない非連結領域に対して、信号内の視覚感度の弱い成分を中心にフィルタリングし、符号化器への入力信号が有する情報量の削減を図るように処理するのである。
【００２２】
このフィルタリングの結果は原信号との解離を生むことになるが、視覚的マスキング効果により主観画質の劣化を抑えることが可能となる。また、符号化器への入力信号の情報量を削減することで、符号化時における量子化ステップ幅を小さく抑えることが可能となり、結果として、量子化によるブロック歪みを軽減できるようになる。
【発明を実施するための最良の形態】
【００２３】
以下、実施の形態に従って本発明を詳細に説明する。
【００２４】
符号化器へ入力する信号の含む情報量が少なくなれば、所望の符号量を実現するために使用する量子化ステップ幅を小さくできる。これは、前述したブロック歪みの抑制に繋がる。
【００２５】
そこで、本発明では、視覚的に劣化の検知されにくい非連結領域に対して、プレフィルタ処理により符号化器へ入力する信号の情報量を削減し、符号化による量子化歪みを抑制するという方式を採る。
【００２６】
次に、本発明で実行される非連結領域の決定処理とプレフィルタ処理とについて詳細に説明する。
【００２７】
（ｉ）非連結領域の決定処理
カメラワークにより非連結領域が発生する場合を考える。説明を簡単にするために、左右のカメラパン、上下のカメラチルトの各場合に分けて説明する。ただし、本発明は、これらを組み合わせた場合、および、ズームインの場合も同様に適用できる。
【００２８】
この場合、非連結領域は、以下の処理から求める。
【００２９】
（１）各フレームのglobal motion を算出し、第ｔフレームのglobal motion を（ｄx （ｔ），ｄy （ｔ））とする。なお、global motion については、センサを使ってカメラの動きを検出することにより求めることも可能であるが、そのような方法に依らずに画像から求めることも可能であり、この画像から求める方法としては、例えば下記の文献１に記載される方法を利用することができる。
【００３０】
〔文献１〕上倉一人, 渡辺裕, 小林直樹, 一之瀬進, 安田浩. 演算量低減を考慮したグローバル動き・輝度変化補償動画像符号化. 電子情報通信学会論文誌, Vol.J82-B, No.9, pp.1676-1688, Spt.1999.
【００３１】
（２）次の不等式
｜ｄx （ｔ）−ｄx （ｔ＋１）｜≦Ｄ
を満たす場合、global motion に基づき、非連結領域を以下のように定める。
【００３２】
すなわち、global motion がほぼ等速であることを示している場合に、非連結領域を特定することになる。ここで、Ｄは予め与えられた閾値であり、また、以下に記載するＸはフレームの横幅、Ｙはフレームの縦幅である。また、ｘ＝０，ｙ＝０が左上角に位置する原点となる座標系を用いている。
【００３３】
（イ）カメラを左方向に動かしながら撮影した映像の場合：
第ｔフレームの右側の領域
Ｘ−ｄx （ｔ）≦ｘ≦Ｘ−１，０≦ｙ≦Ｙ−１
が非連結領域となる。
【００３４】
（ロ）カメラを右方向に動かしながら撮影した映像の場合：
第ｔフレームの左側の領域
０≦ｘ≦ｄx （ｔ）−１，０≦ｙ≦Ｙ−１
が非連結領域となる。
【００３５】
（ハ）カメラを下方向に動かしながら撮影した映像の場合：
第ｔフレームの上側の領域
０≦ｘ≦Ｘ−１，０≦ｙ≦ｄy （ｔ）−１
が非連結領域となる。
【００３６】
（ニ）カメラを上方向に動かしながら撮影した映像の場合：
第ｔフレームの下側の領域
０≦ｘ≦Ｘ−１，Ｙ−ｄy （ｔ）≦ｙ≦Ｙ−１
が非連結領域となる。
【００３７】
オブジェクトが移動によりフレームの範囲外に移動する場合、あるいは、オブジェクトがオクルージョンにより被覆される場合については、非連結領域の検出は外部から何らかの手法が与えられるものとする。例えば、オプティカルフローの推定に基づき、対応点の取れない画素を同定することで、上述の非連結領域が検出できる。
【００３８】
（ii）プレフィルタ処理
非連結領域に対して、以下のプレフィルタ処理を行う。
【００３９】
カメラを右方向に動かしながら撮影した映像の場合で説明するならば、先ず最初に、非連結領域
ｆt （ｘ，ｙ）  ：  ０≦ｘ≦ｄx （ｔ）−１，０≦ｙ≦Ｙ−１
を、以下のＩ＋１個の正方領域（２k ×２k 画素）
０≦ｘ≦ｄx （ｔ）−１，２k （ｉ−１）≦ｙ≦２k ｉ−１
ただし、ｉ＝１, ・・・, Ｉ
０≦ｘ≦ｄx （ｔ）−１，Ｙ−２k ≦ｙ≦Ｙ−１
に分割する。
【００４０】
ここで、
０≦ｘ≦ｄx （ｔ）−１，２k （ｉ−１）≦ｙ≦２k ｉ−１
ただし、ｉ＝１, ・・・, Ｉ
の領域を第ｉ（ｉ＝１，・・・，Ｉ）領域と呼び、
０≦ｘ≦ｄx （ｔ）−１，Ｙ−２k ≦ｙ≦Ｙ−１
の領域を第Ｉ＋１領域と呼ぶ。
【００４１】
なお、Ｉはｄx （ｔ）＝２k ＋ｌ（０≦ｌ≦２k −１）として、
［Ｙ÷２k ］＝Ｉ
という式より求めた値である。ここで、［ｒ］は実数ｒを超えない最大の整数を示している。
【００４２】
この正方領域の分割は、ｙ＝０を起点として、ｙ＝Ｙ−１に向けて、２k ×２k 画素の正方領域をＩ個切り出すことで第ｉ領域（ｉ＝１，・・・，Ｉ）を生成し、その次の領域については２k ×２k 画素の正方領域を切り出せないので、今度は、ｙ＝Ｙ−１を起点として、逆の方向から２k ×２k 画素の正方領域を１個切り出すことで第Ｉ＋１領域を生成することを意味している。
【００４３】
次に、各正方領域に対して、下記の式（１）に示す離散フーリエ変換を施し、フーリエ係数を得る。なお、以下ではＮ＝２k とおく。また、（ｘ0 ，ｙ0 ）は第ｉ領域、第Ｉ＋１領域の左上角の座標値であり、
ｘ0 ＝０，ｙ0 ＝２k （ｉ−１）    １≦ｉ≦Ｉ
ｘ0 ＝０，ｙ0 ＝Ｙ−２k           ｉ＝Ｉ＋１
である。
【００４４】
【数１】
2007104515.tif 000003
【００４５】
この離散フーリエ変換により得られたフーリエ係数Ｆ（ｕ，ｖ）（０≦ｕ≦Ｎ−１，０≦ｖ≦Ｎ−１）に対して、
Ｆ* （ｕ，ｖ）＝Ｆ（ｕ，ｖ）ｇ* （γ）
という重み付けを行う。
【００４６】
ここで、ｇ* （γ）はｇ（γ）を用いて表される関数であり、
ｇ* （γ）＝１                  ０≦γ≦γ0 
＝αｇ（γ）＜１      γ0 ＜γ
で表される。ただし、αは係数である。
【００４７】
このｇ（γ）は視覚感度関数として知られる関数であり、以下のような例がある。
【００４８】
【数２】
2007104515.tif 000004
【００４９】
ここで、式（２）は下記の文献２に記載されるものであり、式（３）は下記の文献３に記載されるものであり、式（４）は下記の文献４に記載されるものであり、式（５）は下記の文献５に記載されるものである。
【００５０】
〔文献２〕J.L.Mannos and D.J.Sakrison. The effect of a visual fidelity criterion on the encoding of images. IEEE Trans. Infomation Theory, Vol.IT-20, pp.523-536, July 1974.
〔文献３〕N.B.Nill. A visual model weighted cosine transform for image compression and quality assessment. IEEE Trans. Commun., Vol.COM-33, No.12, pp.551-557, June 1985. 
〔文献４〕K.N.Ngan, K.S.Leong, and H.Singh. Cosine transform coding incorporating human visual system model. SPIE Fiber, pp.165-171, Sept.1986. 
〔文献５〕B.Chitprasert and K.R.Rao. Human visual weighted progressive image transmission. IEEE Trans. Commun., pp.1040-1044, July 1990.
【００５１】
また、γは空間周波数の大きさを示し、
γ＝β（ｕ2 ＋ｖ2 ）1/2 ／（２×２k ）
で表される値であり、γ0 は、
γ0 ＝ argmax ｇ（γ）
で定義されるように、ｇ（γ）が最大値をとる引数である。
【００５２】
この重み付けを行う、
Ｆ* （ｕ，ｖ）＝Ｆ（ｕ，ｖ）ｇ* （γ）
の意味するところは、γが大きくなる場合、すなわち、（ｕ2 ＋ｖ2 ）1/2 が大きくなる場合には、ｇ* （γ）を１より小さくすることでフーリエ変換係数を小さくするようにすることを意味しており、したがって、高周波成分のフーリエ変換係数を小さくするように変更することを意味している。
【００５３】
最後に、高周波成分を小さくしたＦ* （ｕ，ｖ）を逆離散フーリエ変換して、プレフィルタ処理後の信号ｆ* （ｘ，ｙ）を得る。
【００５４】
なお、領域“０≦ｘ≦ｄx （ｔ）−１，Ｙ−２k ≦ｙ≦２k Ｉ−１”については、上述した理由により第Ｉ領域と第Ｉ＋１領域とが重なることで２通りのプレフィルタ処理後の信号ｆ* （ｘ，ｙ）が得られることになるが、ここでは、領域“０≦ｘ≦ｄx （ｔ）−１，Ｙ−２k ≦ｙ≦Ｙ−１”に対するプレフィルタ処理の結果を用いるものとする。
【００５５】
このようにして、本発明では、次フレームでフレーム内に残っていない非連結領域に対して、信号内の視覚感度の弱い成分を中心にフィルタリングし、符号化器への入力信号が有する情報量の削減を図るように処理するのである。
【００５６】
このフィルタリングの結果は原信号との解離を生むことになるが、視覚的マスキング効果により主観画質の劣化を抑えることが可能となる。また、符号化器への入力信号の情報量を削減することで、符号化時における量子化ステップ幅を小さく抑えることが可能となり、結果として、量子化によるブロック歪みを軽減できるようになる。
【実施例】
【００５７】
次に、本発明の実施例について説明する。
【００５８】
図１に、本発明を具備する映像符号化装置１の装置構成を図示する。
【００５９】
この図に示すように、本発明を具備する映像符号化装置１は、符号化機構２０の前段に、次フレーム内の画素との対応付けが不可能となる非連結領域に対してフィルタ処理を行うプレフィルタ処理機構１０を備えることを特徴とする。
【００６０】
図２ないし図４に、プレフィルタ処理機構１０の実行する処理フローの一例を図示する。次に、この処理フローに従って、プレフィルタ処理機構１０の実行する処理について詳細に説明する。
【００６１】
〔１〕プレフィルタ処理機構１０の実行する全体的な処理
先ず最初に、図２の処理フローに従って、プレフィルタ処理機構１０の実行する全体的な処理について説明する。
【００６２】
ステップ１０１：符号化対象映像のフレームを入力とし、global motion を求める処理を行い、求めたglobal motion をレジスタに書き出す。ここで、global motion を求める方法としては、例えば、上述した文献１に記載される方法を利用する。
【００６３】
ステップ１０２：ステップ１０１の処理を全てのフレームについて繰返し行う。
【００６４】
ステップ１０３：隣接する２フレームのglobal motion を読み込み、レジスタに書き出す。
【００６５】
ステップ１０４：隣接する２フレームのglobal motion を入力とし、この２つのフレームのglobal motion の差が、ある閾値以下であるのか否かの判定を行い、判定結果である真偽値を出力する。出力が真値の場合には、ステップ１０５の処理に進み、出力が偽値の場合には、ステップ１１０の処理に移る。
【００６６】
ステップ１０５：フィルタ処理対象フレームのglobal motion を入力とし、そのフレーム内における非連結領域を特定する処理を行い、非連結領域を特定可能な座標情報をレジスタに書き出す。この非連結領域の特定処理の詳細については後述する。
【００６７】
ステップ１０６：非連結領域内の２k ×２k 画素の領域内の画素値を入力とし、離散フーリエ変換による変換処理を行い、得られた変換係数をレジスタに書き出す。
【００６８】
ステップ１０７：ステップ１０６の処理で得られた変換係数に対して、周波数領域での重み付けを行い、重み付けした変換係数をレジスタに書き出す。
【００６９】
ステップ１０８：ステップ１０７の処理で得られた変換係数に対して、逆離散フーリエ変換による変換処理を行い、得られた画像信号をレジスタに書き出す。
【００７０】
ステップ１０９：ステップ１０６〜ステップ１０８の処理を非連結領域内の全画素について行う。
【００７１】
ステップ１１０：ステップ１０３〜ステップ１０９の処理を全てのフレームについて行う。
【００７２】
〔２〕ステップ１０５の処理の詳細
次に、図３及び図４に示す処理フローに従って、ステップ１０５で実行する非連結領域の特定処理について説明する。
【００７３】
ステップ１０５の処理に入ることで非連結領域の特定処理に入ると、図３及び図４の処理フローに示すように、先ず最初に、ステップ２０１で、フィルタ処理対象フレームのglobal motion （ｄx （ｔ），ｄy （ｔ））を入力し、続くステップ２０２で、その入力したｄx （ｔ），ｄy （ｔ）の値が０を示しているのか否かということを判定するとともに、０を示していないときには、その符号を判定する。
【００７４】
続いて、ステップ２０３で、ステップ２０２の判定結果に従ってカメラが右方向へ動いているのか否かを判断して、カメラが右方向へ動いていることを判断するときには、ステップ２０４に進んで、ｄx （ｔ）の大きさに従って、図５（ａ）に示すように、フレームの左端部分に位置する非連結領域を特定する。
【００７５】
一方、ステップ２０３でカメラが右方向へ動いていないことを判断するときには、ステップ２０５に進んで、ステップ２０２の判定結果に従ってカメラが左方向へ動いているのか否かを判断して、カメラが左方向へ動いていることを判断するときには、ステップ２０６に進んで、ｄx （ｔ）の大きさに従って、図５（ｂ）に示すように、フレームの右端部分に位置する非連結領域を特定する。
【００７６】
一方、ステップ２０５でカメラが左方向へ動いていないことを判断するときには、ステップ２０７に進んで、ステップ２０２の判定結果に従ってカメラが上方向へ動いているのか否かを判断して、カメラが上方向へ動いていることを判断するときには、ステップ２０８に進んで、ｄy （ｔ）の大きさに従って、図５（ｃ）に示すように、フレームの下端部分に位置する非連結領域を特定する。
【００７７】
一方、ステップ２０７でカメラが上方向へ動いていないことを判断するときには、ステップ２０９に進んで、ステップ２０２の判定結果に従ってカメラが下方向へ動いているのか否かを判断して、カメラが下方向へ動いていることを判断するときには、ステップ２１０に進んで、ｄy （ｔ）の大きさに従って、図５（ｄ）に示すように、フレームの上端部分に位置する非連結領域を特定する。
【００７８】
一方、ステップ２０９でカメラが下方向へ動いていないことを判断するときには、ステップ２１１に進んで、ステップ２０２の判定結果に従ってカメラが右上方向へ動いているのか否かを判断して、カメラが右上方向へ動いていることを判断するときには、ステップ２１２に進んで、ｄx （ｔ），ｄy （ｔ）の大きさに従って、図５（ｅ）に示すように、フレームの左端部分・下端部分に位置する非連結領域を特定する。
【００７９】
一方、ステップ２１１でカメラが右上方向へ動いていないことを判断するときには、ステップ２１３に進んで、ステップ２０２の判定結果に従ってカメラが左上方向へ動いているのか否かを判断して、カメラが左上方向へ動いていることを判断するときには、ステップ２１４に進んで、ｄx （ｔ），ｄy （ｔ）の大きさに従って、図５（ｆ）に示すように、フレームの右端部分・下端部分に位置する非連結領域を特定する。
【００８０】
一方、ステップ２１３でカメラが左上方向へ動いていないことを判断するときには、ステップ２１５に進んで、ステップ２０２の判定結果に従ってカメラが左下方向へ動いているのか否かを判断して、カメラが左下方向へ動いていることを判断するときには、ステップ２１６に進んで、ｄx （ｔ），ｄy （ｔ）の大きさに従って、図５（ｇ）に示すように、フレームの右端部分・上端部分に位置する非連結領域を特定する。
【００８１】
一方、ステップ２１５でカメラが左下方向へ動いていないことを判断するとき、すなわち、カメラが右下方向へ動いていることを判断するときには、ステップ２１７に進んで、ｄx （ｔ），ｄy （ｔ）の大きさに従って、図５（ｈ）に示すように、フレームの左端部分・上端部分に位置する非連結領域を特定する。
【００８２】
このようにして、プレフィルタ処理機構１０は、図２ないし図４の処理フローを実行することで、次フレームでフレーム内に残っていない非連結領域に対して、信号内の視覚感度の弱い成分を中心にフィルタリングし、符号化器への入力信号が有する情報量の削減を図るように処理するのである。
【００８３】
〔３〕プレフィルタ処理機構１０の装置構成
図６に、プレフィルタ処理機構１０の装置構成を図示する。次に、この装置構成図に従って、プレフィルタ処理機構１０の装置構成について説明する。
【００８４】
１０１：１０１はglobal motion 算出部である。このglobal motion 算出部１０１は、符号化対象映像のフレームを入力とし、global motion を求める処理を行い、求めたglobal motion をglobal motion 記憶部１０２に書き出す。そして、この処理を全てのフレームについて行う。ここで、global motion を求める方法としては、例えば上述した文献１に記載される方法を利用する。
【００８５】
１０３：１０３はglobal motion 有意差判定部である。このglobal motion 有意差判定部１０３は、global motion 記憶部１０２から読み出した隣接する２フレームのglobal motion と、閾値記憶部１０４から読み出した閾値とを入力とし、この２つのフレームのglobal motion の差がその閾値以下であるかの判定を行い、判定結果である真偽値を出力する。出力が真値の場合には、非連結領域特定部１０５に処理を渡し、出力が偽値の場合には、最終フレーム判定部１１３に処理を渡す。
【００８６】
１０５：１０５は非連結領域特定部である。この非連結領域特定部１０５は、フィルタ処理対象フレームのglobal motion を入力とし、そのフレーム内における非連結領域を特定する処理を行い、非連結領域と特定した領域について、非連結領域内の信号を非連結領域記憶部１０６に書き出す。
【００８７】
１０７：１０７は離散フーリエ変換処理部である。この離散フーリエ変換処理部１０７は、非連結領域記憶部１０６から読み出した非連結領域の画素値に対して、２k ×２k 画素の正方形領域毎に離散フーリエ変換処理を行い、得られた変換係数を離散フーリエ変換係数記憶部１０８に書き出す。
【００８８】
１０９：１０９は周波数重み付け処理部である。この周波数重み付け処理部１０９は、離散フーリエ変換係数記憶部１０８から読み出した変換係数に対して、周波数領域での重み付けを行い、重み付けした変換係数を修正離散フーリエ変換係数記憶部１１０に書き出す。
【００８９】
１１１：１１１は逆離散フーリエ変換処理部である。この逆離散フーリエ変換処理部１１１は、修正離散フーリエ変換係数記憶部１１０から読み出した変換係数に対して、逆離散フーリエ変換による変換処理を行い、得られた画像信号をフィルタリング画像信号記憶部１１２に書き出す。
【００９０】
１１３：１１３は最終フレーム判定部である。この最終フレーム判定部１１３は、処理を渡されたときに、最終フレームまで処理を行っていない場合には、global motion 有意差判定部１０３に対して繰返しの処理に入ることを指示し、最終フレームまで処理を行った場合には、フィルタリング画像信号記憶部１１２からフィルタリング画像信号を読み出して図１に示した符号化機構２０に出力する処理を行う。
【００９１】
この構成に従って、本発明のプレフィルタ処理機構１０は上述したプレフィルタ処理を実行するのである。
【００９２】
〔４〕他の実施例
以上に説明した実施例では、プレフィルタ処理機構１０がglobal motion を算出（検出）するという構成を採ったが、図７（ａ）に示すように、プレフィルタ処理機構１０とは別に設けられるglobal motion 算出機構１０００が用意される場合には、そのglobal motion 算出機構１０００からglobal motion の算出結果を受け取り、それに基づいて非連結領域を特定することになる。
【００９３】
また、以上に説明した実施例では、global motion に基づいて非連結領域を特定するという構成を採ったが、図７（ｂ）に記載するように、オクルージョンによる被覆オブジェクトを検出するという処理を行う被覆オブジェクト検出機構２０００が用意される場合には、その被覆オブジェクト検出機構２０００から、その検出結果を受け取ることで非連結領域を特定することになる。
【００９４】
また、以上に説明した実施例では、global motion に基づいて非連結領域を特定するという構成を採ったが、図７（ｃ）に記載するように、移動するオブジェクトを検出するという処理を行う移動オブジェクト検出機構３０００が用意される場合には、その移動オブジェクト検出機構３０００から、その検出結果を受け取ることで非連結領域を特定することになる。
【図面の簡単な説明】
【００９５】
【図１】本発明を具備する映像符号化装置の装置構成図である。
【図２】プレフィルタ処理機構の実行する処理フローの一例である。
【図３】プレフィルタ処理機構の実行する処理フローの一例である。
【図４】プレフィルタ処理機構の実行する処理フローの一例である。
【図５】非連結領域の特定処理の説明図である。
【図６】プレフィルタ処理機構の装置構成図である。
【図７】本発明の他の実施例である。
【図８】カメラワークによる非連結領域を説明する図である。
【図９】オクルージョンによる非連結領域を説明する図である。
【図１０】オブジェクトの移動による非連結領域を説明する図である。
【符号の説明】
【００９６】
１      映像符号化装置
１０    プレフィルタ処理機構
２０    符号化機構
１０１  global motion 算出部
１０２  global motion 記憶部
１０３  global motion 有意差判定部
１０４  閾値記憶部
１０５  非連結領域特定部
１０６  非連結領域記憶部
１０７  離散フーリエ変換処理部
１０８  離散フーリエ変換係数記憶部
１０９  周波数重み付け処理部
１１０  修正離散フーリエ変換係数記憶部
１１１  逆離散フーリエ変換処理部
１１２  フィルタリング画像信号記憶部
１１３  最終フレーム判定部
【図１】
2007104515.tif 000005
【図２】
2007104515.tif 000006
【図３】
2007104515.tif 000007
【図４】
2007104515.tif 000008
【図５】
2007104515.tif 000009
【図６】
2007104515.tif 000010
【図７】
2007104515.tif 000011
【図８】
2007104515.tif 000012
【図９】
2007104515.tif 000013
【図１０】
2007104515.tif 000014