(57)【要約】【課題】  動画像オブジェクトの動きに忠実なフィルタ処理を符号化対象フレームに施す。【解決手段】  フレームメモリ301は、最新のIピクチャのフレームを格納する。動きベクトル検出器200は、符号化対象フレームから、動き補償用に、動画像オブジェクトの動きベクトルを検出する。前処理用ベクトル補正部303は、動き補償用の動きベクトルを基準として、フィルタ処理用に、フレームメモリ301に格納されたIピクチャのフレームと、Pピクチャのフレームの間の動きベクトルを検出する。前処理部117は、フィルタ処理用の動きベクトルに基づくフィルタ処理を符号化対象フレームに施す。【選択図】  図3
2008199521.tif 000002
【特許請求の範囲】
【請求項１】
最新のイントラ符号化ピクチャのフレームを格納するメモリと、
符号化対象フレームから、動き補償用に、動画像オブジェクトの動きベクトルを検出する第一の検出手段と、
前記動き補償用の動きベクトルを基準として、フィルタ処理用に、前記メモリに格納されたフレームと、前記イントラ符号化ピクチャ以外の予め定められたフレームの間の動きベクトルを検出する第二の検出手段と、
前記フィルタ処理用の動きベクトルに基づくフィルタ処理を前記符号化対象フレームに施すフィルタ処理手段とを有することを特徴とする画像処理装置。
【請求項２】
前記第一および第二の検出手段は、マクロブロック単位に前記動きベクトルを検出し、前記フィルタ処理手段は、前記マクロブロック単位の動きベクトルに基づき、前記マクロブロック単位に前記フィルタ処理を行うことを特徴とする請求項1に記載された画像処理装置。
【請求項３】
前記予め定められたフレームは、予測符号化ピクチャのフレームであることを特徴とする請求項1または請求項2に記載された画像処理装置。
【請求項４】
前記予め定められたフレームは、前記イントラ符号化ピクチャのフレームの次のフレームであることを特徴とする請求項1または請求項2に記載された画像処理装置。
【請求項５】
前記フィルタ処理は、ローパスフィルタを用いる処理であることを特徴とする請求項1から請求項4の何れか一項に記載された画像処理装置。
【請求項６】
最新のイントラ符号化ピクチャのフレームをメモリに格納し、
符号化対象フレームから、動き補償用に、動画像オブジェクトの動きベクトルを検出し、
前記動き補償用の動きベクトルを基準として、フィルタ処理用に、前記メモリに格納されたフレームと、前記イントラ符号化ピクチャ以外の予め定められたフレームの間の動きベクトルを検出し、
前記フィルタ処理用の動きベクトルに基づくフィルタ処理を前記符号化対象フレームに施すことを特徴とする画像処理方法。
【請求項７】
コンピュータ装置を制御して、請求項1から請求項5の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするコンピュータプログラム。
【請求項８】
請求項7に記載されたコンピュータプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の符号化に関する。
【背景技術】
【０００２】
ディジタル化された動画像は情報量が多いため、動画像を記録・伝送するに当ってはデータ圧縮技術が必須である。様々なデータ圧縮技術が提案されているが、その一例として「ITU勧告H.261  オーディオビジュアル・サービス用ビデオ符号化」などのハイブリッド符号化方式が挙げられる。この方式によれば、動き検出・動き補償によるフレーム間信号圧縮符号化により、動画像のデータ圧縮を実現する。さらに、動き検出時に得られた動き情報を利用して、オブジェクトごとの符号化や、動きによる領域分割への応用が期待される。
【０００３】
動画像オブジェクトの動きに合わせた強度のローパスフィルタ処理を行えば、視覚的な劣化が見え難い動画像にすることができる。しかし、動きベクトルの検出は、通常、発生符号量を最小にする観点から行われる。そのため、検出された動きベクトルと動画像オブジェクトの動きの相関は充分に高いとは言えず、動画像オブジェクトの動きに忠実なフィルタ処理などを行うことはできない。
【０００４】
【特許文献１】特開2000-175192公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、動画像オブジェクトの動きに忠実なフィルタ処理を符号化対象フレームに施すことを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００７】
本発明は、最新のイントラ符号化ピクチャのフレームをメモリに格納し、符号化対象フレームから、動き補償用に、動画像オブジェクトの動きベクトルを検出し、前記動き補償用の動きベクトルを基準として、フィルタ処理用に、前記メモリに格納されたフレームと、前記イントラ符号化ピクチャ以外の予め定められたフレームの間の動きベクトルを検出し、前記フィルタ処理用の動きベクトルに基づくフィルタ処理を前記符号化対象フレームに施すことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動画像オブジェクトの動きに忠実なフィルタ処理を符号化対象フレームに施すことができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。なお、以下では、動きベクトルを用いた簡単なフレーム間符号化方式を例にとって説明する。しかし、本発明は、これに限定されず、MPEG2、MPEG4符号化のようなフレーム間符号化方式にも適用可能である。
【実施例１】
【００１０】
図1は実施例の動画像符号化装置の構成例を示すブロック図である。
【００１１】
入力端子100には、時間軸方向に連続する複数のフレーム（画像）で構成されるディジタル動画像が入力される。動画像の各フレームは、小さな矩形領域Bij、例えば8×8、16×16画素などに分割されて処理される。また、カラー動画像の処理は、マクロブロック(MB)と呼ばれる矩形領域単位に行われる。MBijの面積はBijの面積より大きい。なお、i, jは個々のブロックまたはマクロブロックを表す添字である。
【００１２】
以下では、入力動画像がカラー動画像であると想定して、マクロブロック単位の処理を説明する。従って、以下の説明におけるブロックはマクロブロックのことである。
【００１３】
動きベクトル検出部109は、ブロック単位に、フレームメモリ108に記憶された一つ前の符号化対象フレーム（前フレーム）の符号化画像を参照して動きベクトルを検出する。その際、動きベクトル検出部109は、符号化対象ブロックの周囲±15画素の範囲でブロックマッチングを行い、予測誤差の絶対和の平均が最小のブロックを予測ブロックとして、動きベクトルを検出する。
【００１４】
前処理部117は、ブロック単位に、動きベクトル検出部109の検出情報（動きベクトル）に応じた強度が異なるローパスフィルタ処理を現在符号化しているフレーム（現フレーム）の符号化対象ブロックに施す。例えば、動きベクトルが大、中、小のブロックがあるとすればそれぞれ、強い、中、弱いローパスフィルタ処理を施すことになる。
【００１５】
前処理部117は、ローパスフィルタ処理のみならず、εフィルタなどの非線形平滑化フィルタ処理を行ってもよい。この場合、εフィルタで定義される周辺信号との閾値を予め三段階に設定し、上記ローパスフィルタ処理の強い、中、弱いに対応させればよい。
【００１６】
減算器101は、前処理部117が出力する符号化対象ブロックと、予測画像保持部111が保持する予測画像の対応ブロックの差分信号（予測誤差信号）を出力する。
【００１７】
直交変換部103は、符号化モード判定部102の制御に従い、前処理部117が出力する符号化対象ブロック、または、減算器101が出力する予測誤差信号を、フレーム単位またはブロック単位に直交変換する。量子化部105は、レート制御部112の制御に従い、直交変換部103が出力する直交変換係数をスカラ量子化する。
【００１８】
可変長符号化部104は、量子化部105から入力される量子化値を可変長符号化する。バッファ114は、符号化された複数のフレームをバッファする。そして、レート制御部112の制御に従い、符号化された複数のフレームをデータ圧縮された動画像データとして出力端子115に出力する。
【００１９】
逆量子化部113は、直交変換部103から出力される量子化値を逆量子化して、直交変換係数を出力する。逆直交変換部106は、逆量子化部113が出力する直交変換係数を逆直交変換してブロックまたは予測誤差信号を再生する。
【００２０】
加算器107は、逆直交変換部106が再生したブロックと予測画像保持部111が保持する予測画像の対応ブロックを加算して符号化対象ブロックを再生して、フレームメモリ108の対応領域に格納する。または、逆直交変換部106が再生した予測誤差信号をフレームメモリ108の対応領域に格納する。
【００２１】
符号化モード判定部102は、直交変換部103に符号化対象ブロックを直交変換させる場合は、再生された符号化対象ブロックをフレームメモリ108に格納するように加算器107を制御する。また、直交変換部103に予測誤差信号を直交変換させる場合は、再生された予測誤差信号をフレームメモリ108に格納するように加算器107を制御する。つまり、フレームメモリ108は、ローカルデコードされたフレームを記憶する。
【００２２】
動き補償部110は、動きベクトル検出部109の検出情報（動きベクトル）を用いて、フレームメモリ108に格納された再生フレーム（参照フレーム）から予測画像を生成して予測画像保持部111に格納する。予測画像保持部111は、蓄積した予測画像を減算器101と加算器107に出力する。
【００２３】
動きベクトル検出部109は、一般に、動きベクトル検出器とベクトルメモリから構成される。動きベクトル検出器は、入力端子100から入力される現フレームと、フレームメモリ108に格納された再生フレーム（前フレームの情報）を利用して、差分信号を最小にする観点から符号化用の動きベクトルの検出を行う。ベクトルメモリは、検出された動きベクトルの情報（以下、単に「動きベクトル」とする）を格納する。ベクトルメモリに格納された動きベクトルは、前処理部117と動き補償部110によって参照される。
【００２４】
図2は前処理用の動きベクトルと、動き補償用の動きベクトルの関係を示す図である。
【００２５】
動き補償用の動きベクトルは、図4(b)（双方向予測(B-VOP)ありの場合）や図4(c)（B-VOPなしの場合）に示すように、イントラ符号化ピクチャ（Iピクチャ）に対する動画オブジェクトの動きを示している。一方、前処理用の動きベクトルは、図4(a)に示すように、現フレームと前フレームの間で定義される動きベクトルY1、Y2、Y3である。
【００２６】
つまり、前処理用の動きベクトルY1、Y2、Y3と、動き補償用の動きベクトルX1、X2、X3には次の関係がある。
Y1 = X1
Y2 = X2 - X1
Y3 = X3 - X2
【００２７】
図3はハイブリッド前処理補正型の動きベクトル検出部109の構成例を示すブロック図である。
【００２８】
動きベクトル検出器200は、フレームメモリ108に格納された再生フレームを参照画像として、現フレームの符号化対象ブロックの動きを検出して、符号化の観点から最適な動きベクトルを検出する。ベクトルメモリ201は、動きベクトル検出器200が検出した動きベクトルを格納する。
【００２９】
フレームメモリ301は、最新のIピクチャのフレームを格納する。
【００３０】
前処理用ベクトル補正部303は、符号化モード判定部102の信号が予測符号化ピクチャ（Pピクチャ）の符号化を示すと、フレームメモリ301のフレームに基づき、ベクトルメモリ201の動きベクトルを動画オブジェクトの動きに沿って補正する。
【００３１】
ベクトル正規化部302は、前処理用ベクトル補正部303が出力する動きベクトルを正規化して、前処理部117へ出力する。
【００３２】
図4は動きベクトル検出部109の動作例を説明するフローチャートで、IピクチャからPピクチャへの動き検出を説明するフローチャートである。
【００３３】
動きベクトル検出部109は、Iピクチャのフレームをフレームメモリ301に格納する(S402)。
【００３４】
次に、動きベクトル検出部109は、フレームメモリ108の再生フレームを参照画像として、動画像オブジェクトの動きベクトルを検出する(S403)。そして、検出した動きベクトルをベクトルメモリ201に格納し(S404)、ベクトルメモリ201の動きベクトルを前処理用ベクトル補正部303と動き補償部110へ送信する(S405)。なお、情報の送信単位は、マクロブロック単位でもフレーム単位でも構わない。フレーム単位に情報を送信する場合、1フレーム分の情報が蓄積されるまで情報の送信は行われない。
【００３５】
次に、動きベクトル検出部109は、符号化モード判定部102から入力される信号に基づき、現フレームがPピクチャか否かを判定する(S406)。Pピクチャ以外の場合は処理をステップS410に進める。
【００３６】
現フレームがPピクチャの場合、動きベクトル検出部109は、ベクトルメモリ201の動きベクトルを基準として、フレームメモリ301のIピクチャとPピクチャ（現フレーム）の間の動きベクトルを検出する(S407)。つまり、ベクトルメモリ201の動きベクトルを初期値として、所定画素範囲（例えば±7画素）で動きベクトルを検出する。
【００３７】
そして、ベクトル正規化部302により、検出した動きベクトルを正規化（1/N倍）して(S408)、前処理部117へ送信する(S409)。なお、NはIピクチャからPピクチャまでのフレーム数で、例えばIピクチャ、双方向予測符号化ピクチャ（Bピクチャ）、Bピクチャ、Pピクチャの順にフレームが並んでいればN=3である。
【００３８】
次に、動きベクトル検出部109は、Iピクチャが更新されたかを判定し(S410)、未更新であれば処理をステップS403に戻し、Iピクチャが更新された（1GOPが終了した）場合は処理をステップS402に戻す。
【００３９】
このように、動きベクトル検出部109は、符号化用（動き補償用）の動きベクトルに基づき、前処理用の動きベクトルを検出する。従って、動画像オブジェクトの動きとの相関が充分に高い前処理用の動きベクトルを検出することができる。
【００４０】
また、符号化の観点から検出した動きベクトルの中で、IピクチャからPピクチャ間の動きを示す動きベクトルを利用して、前処理用の動きベクトルを概算（概略検出）するため、簡単な構成で高速に前処理用の動きベクトルを検出することができる。
【００４１】
なお、上記のIピクチャからPピクチャへの動き検出ではなく、PピクチャからBピクチャへの動き検出や、双方向予測(B-VOP)も可能である。その場合、図3に示す処理をP-B間のフレーム分、または、所定方向分、行えばよい。
【００４２】
図5は動きベクトル検出部109の別の動作例を説明するフローチャートで、Iピクチャの次のBまたはPピクチャへの動き検出を説明するフローチャートである。
【００４３】
Iピクチャの次のBまたはPピクチャへの動きを検出する場合、図3に示すベクトル正規化部302は不要である。つまり、ステップS411の判定により、Iピクチャの次のフレームの場合はIピクチャと当該フレームの間の動きベクトルを検出し(S412)、正規化(S408)を行わず、検出した動きベクトルを前処理部117に送信する(S409)。
【００４４】
このようにすれば、Iピクチャから1フレーム離れたピクチャの間の動画オブジェクトの動きを検出することになり、より精度の高い前処理用の動きベクトルを検出することができる。
【００４５】
前処理部117は、このようにして検出された前処理用の動きベクトルに基づき、動画像オブジェクトの動きに合わせた強度のローパスフィルタ処理を行う。従って、動画像オブジェクトの動きに忠実な動的フィルタ処理を行うことができ、視覚的な劣化が見え難い動画像にすることができる。
【００４６】
［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。
【００４７】
また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記憶媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する記憶媒体は本発明を構成する。
【００４８】
また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
【００４９】
また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、前記カードやユニットのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
【００５０】
本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。
【図面の簡単な説明】
【００５１】
【図１】実施例の動画像符号化装置の構成例を示すブロック図、
【図２】前処理用の動きベクトルと、動き補償用の動きベクトルの関係を示す図、
【図３】ハイブリッド前処理補正型の動きベクトル検出部の構成例を示すブロック図、
【図４】動きベクトル検出部の動作例を説明するフローチャート、
【図５】動きベクトル検出部の別の動作例を説明するフローチャートである。
【図１】
2008199521.tif 000003
【図２】
2008199521.tif 000004
【図３】
2008199521.tif 000005
【図４】
2008199521.tif 000006
【図５】
2008199521.tif 000007