(57)【要約】【課題】奥行き情報を用いてデブロッキングフィルタの強度を適切に設定し、画質の向上を図る。【解決手段】奥行き情報を含む画像に対してブロック単位で処理を行う画像処理装置であって、所定のブロック境界に隣接する２つの隣接ブロックに含まれる奥行き情報を用いて、２つの隣接ブロックが同一オブジェクトに属するか否かを判定する判定部と、判定部の判定結果に基づいて、所定のブロック境界に対し、デブロッキングフィルタのフィルタ強度を設定するフィルタ強度設定部と、フィルタ強度設定部により設定されたフィルタ強度のデブロッキングフィルタの処理を、所定のブロック境界に対して行うデブロッキングフィルタ部と、を有する。【選択図】図３
2014143515.tif 000002
【特許請求の範囲】
【請求項１】
奥行き情報を含む画像に対してブロック単位で処理を行う画像処理装置であって、
所定のブロック境界に隣接する２つの隣接ブロックに含まれる奥行き情報を用いて、前記２つの隣接ブロックが同一オブジェクトに属するか否かを判定する判定部と、
前記判定部の判定結果に基づいて、前記所定のブロック境界に対し、デブロッキングフィルタのフィルタ強度を設定するフィルタ強度設定部と、
前記フィルタ強度設定部により設定されたフィルタ強度のデブロッキングフィルタの処理を、前記所定のブロック境界に対して行うデブロッキングフィルタ部と、
を有する画像処理装置。
【請求項２】
前記判定部は、
各隣接ブロック内の奥行き情報に対してクラスタリングを行い、クラスタリングの結果により前記各隣接ブロックのそれぞれの奥行き情報が所定範囲内に属する場合は、前記２つの隣接ブロックが同一オブジェクトに属すると判定する請求項１記載の画像処理装置。
【請求項３】
前記フィルタ強度設定部は、
前記判定部により同一オブジェクトに属すると判定された場合、前記所定のブロック境界に対し、符号化規格に従って設定されたデブロッキングフィルタのフィルタ強度よりも強いフィルタ強度を設定する請求項１又は２記載の画像処理装置。
【請求項４】
前記フィルタ強度設定部は、
前記判定部により同一オブジェクトに属すると判定された場合、前記所定のブロック境界に対し、符号化規格に従って設定されたデブロッキングフィルタの境界強度よりも強い境界強度を設定する境界強度設定部を有する請求項３記載の画像処理装置。
【請求項５】
前記フィルタ強度設定部は、
前記判定部により同一オブジェクトに属すると判定された場合、前記所定のブロック境界に対し、符号化規格に従って設定されたデブロッキングフィルタのオフセット値よりも大きいオフセット値を設定するオフセット値設定部を有する請求項３又は４記載の画像処理装置。
【請求項６】
前記オフセット値設定部は、
量子化パラメータ値が閾値より大きい場合に、前記オフセット値の設定変更を行う請求項５記載の画像処理装置。
【請求項７】
コンピュータに、
奥行き情報を含む画像に対してブロック単位で処理を行わせる際、所定のブロック境界に隣接する２つの隣接ブロックに含まれる奥行き情報を用いて、前記２つの隣接ブロックが同一オブジェクトに属するか否かを判定する判定ステップ、
前記判定ステップにより判定された結果に基づいて、前記所定のブロック境界に対し、デブロッキングフィルタのフィルタ強度を設定するフィルタ強度設定ステップ、
前記フィルタ強度設定ステップにより設定されたフィルタ強度のデブロッキングフィルタの処理を、前記所定のブロック境界に対して行うデブロッキングフィルタステップ、
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像をブロック単位で処理する画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、カラー画像とともに近赤外線を利用した距離計測によって、奥行き情報を取得することができる「ＲＧＢ−Ｄセンサ」を搭載したカメラが盛んに研究されている。このカメラの一例として、Ｍｉｃｒｏｓｏｆｔ社のＫｉｎｅｃｔ（登録商標）がある。よって、将来的には、２次元の画像信号と、奥行き情報とを有する動画像情報が増加することが予想される。
【０００３】
従来技術であるＨ．２６４／ＡＶＣ（Advanced Video Coding）や現在規格化作業中のＨＥＶＣ（High Efficiency Video Coding）などの映像の圧縮符号化方式では、映像の各フレームをブロックと呼ばれる矩形領域に分割して符号化が行われる。
【０００４】
Ｈ．２６４／ＡＶＣやＨＥＶＣの符号化処理には、画像の符号化時に生じるブロック歪を減少させるフィルタ処理がある。このフィルタ処理では、例えばデブロッキングフィルタが用いられる。
【０００５】
図１は、デブロッキングフィルタ処理前の画素値を示す図である。図１に示す例では、４×４のブロックの境界において、ブロックｐ内のｐ０〜ｐ３の画素値と、ブロックｑ内のｑ０〜ｑ３の画素値とに対し、デブロッキングフィルタが施される。
【０００６】
図２は、Ｈ．２６４／ＡＶＣにおけるＢｓ（Boundary Strength：境界強度）値の定義を示す図である。図２に示す条件で設定されたＢｓ値に基づくフィルタ強度で、隣接ブロックｐの画素値と、隣接ブロックｑの画素値とにデブロッキングフィルタが施される。
【０００７】
図２に示すように、デブロッキングフィルタは、同一画像に属するブロック境界に、一様に同じ強さのフィルタ処理が行われるのではなく、適応的にフィルタ強度を決定しながらフィルタ処理が行われる（例えば非特許文献１参照）。
【０００８】
また、デブロッキングフィルタを含むポストフィルタ処理において、再符号化する際に、量子化ステップに基づき、フィルタパラメータを生成する技術がある（例えば特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】大久保榮監修，「改訂三版  Ｈ．２６４／ＡＶＣ  教科書」，インプレス  Ｒ＆Ｄ，ｐ１４４−１４８，２００９年１月１日
【特許文献】
【００１０】
【特許文献１】特開２００７−３３６４６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従来技術では、２つの隣接ブロックｐ、ｑのいずれかがマクロブロックに属するか、マクロブロック境界に属するか、直交変換係数を持つか、参照ピクチャや動きベクトル値が異なるかのみを基準にＢｓ値が決められる。
【００１２】
Ｂｓ値について、隣接ブロックｐ、ｑの少なくとも一方がイントラ・マクロブロックに属し、かつマクロブロック境界に位置する場合は、例えばオブジェクト（前景）と背景との境界が、ブロック境界にあったとしても、強いＢｓ値が設定される。したがって、オブジェクトと背景との境界がぼけてしまうという問題点があった。
【００１３】
また、同一のオブジェクト内のブロック境界に、ブロック歪が生じていても条件によっては弱いＢｓ値が設定され、ブロック歪を適切にぼかすことができないという問題点があった。なお、ＨＥＶＣでは、図２に示す定義とは異なる可能性があるが、Ｂｓ値を設定してフィルタ処理を行うことは変わらない。そのため、Ｈ．２６４／ＡＶＣにおける上記の問題と同様の問題がＨＥＶＣでも起こる可能性がある。
【００１４】
そこで、本発明は、奥行き情報を用いてデブロッキングフィルタの強度を適切に設定し、画質の向上を図ることができる画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の一態様における画像処理装置は、奥行き情報を含む画像に対してブロック単位で処理を行う画像処理装置であって、所定のブロック境界に隣接する２つの隣接ブロックに含まれる奥行き情報を用いて、前記２つの隣接ブロックが同一オブジェクトに属するか否かを判定する判定部と、前記判定部の判定結果に基づいて、前記所定のブロック境界に対し、デブロッキングフィルタのフィルタ強度を設定するフィルタ強度設定部と、前記フィルタ強度設定部により設定されたフィルタ強度のデブロッキングフィルタの処理を、前記所定のブロック境界に対して行うデブロッキングフィルタ部と、を有する。
【００１６】
また、前記判定部は、各隣接ブロック内の奥行き情報に対してクラスタリングを行い、クラスタリングの結果により前記各隣接ブロックのそれぞれの奥行き情報が所定範囲内に属する場合は、前記２つの隣接ブロックが同一オブジェクトに属すると判定してもよい。
【００１７】
また、前記フィルタ強度設定部は、前記判定部により同一オブジェクトに属すると判定された場合、前記所定のブロック境界に対し、符号化規格に従って設定されたデブロッキングフィルタのフィルタ強度よりも強いフィルタ強度を設定してもよい。
【００１８】
また、前記フィルタ強度設定部は、前記判定部により同一オブジェクトに属すると判定された場合、前記所定のブロック境界に対し、符号化規格に従って設定されたデブロッキングフィルタの境界強度よりも強い境界強度を設定する境界強度設定部を有してもよい。
【００１９】
また、前記フィルタ強度設定部は、前記判定部により同一オブジェクトに属すると判定された場合、前記所定のブロック境界に対し、符号化規格に従って設定されたデブロッキングフィルタのオフセット値よりも大きいオフセット値を設定するオフセット値設定部を有してもよい。
【００２０】
また、前記オフセット値設定部は、量子化パラメータ値が閾値より大きい場合に、前記オフセット値の設定変更を行ってもよい。
【００２１】
また、本発明の他の態様における画像処理プログラムは、コンピュータに、奥行き情報を含む画像に対してブロック単位で処理を行わせる際、所定のブロック境界に隣接する２つの隣接ブロックに含まれる奥行き情報を用いて、前記２つの隣接ブロックが同一オブジェクトに属するか否かを判定する判定ステップ、前記判定ステップにより判定された結果に基づいて、前記所定のブロック境界に対し、デブロッキングフィルタのフィルタ強度を設定するフィルタ強度設定ステップと、前記フィルタ強度設定ステップにより設定されたフィルタ強度のデブロッキングフィルタの処理を、前記所定のブロック境界に対して行うデブロッキングフィルタステップ、を実行させる。
【発明の効果】
【００２２】
本発明によれば、奥行き情報を用いてデブロッキングフィルタの強度を適切に設定し、画質の向上を図ることができる。
【図面の簡単な説明】
【００２３】
【図１】デブロッキングフィルタ処理前の画素値を示す図。
【図２】Ｈ．２６４／ＡＶＣにおけるＢｓ値の定義を示す図。
【図３】実施例１における画像処理装置の構成の一例を示すブロック図。
【図４】Ｈ．２６４／ＡＶＣにおけるＱＰ値に対応するα及びβを示す図。
【図５】実施例１における画像処理装置の処理の一例を示すフローチャート。
【図６】実施例２における画像処理装置の概略構成の一例を示すブロック図。
【図７】実施例３における画像処理装置の概略構成の一例を示すブロック図。
【図８】実施例４における画像処理装置の概略構成の一例を示すブロック図。
【発明を実施するための形態】
【００２４】
以下、各実施例について、添付図面を参照しながら詳細に説明する。
【００２５】
［実施例１］
まず、実施例１における画像処理装置について説明する。実施例１における画像処理装置は、デブロッキングフィルタを施す装置である。この画像処理装置は、集積回路などにより実装されてもよい。また、画像処理とは、画像符号化及び画像復号を含む。
【００２６】
＜構成＞
図３は、実施例１における画像処理装置１０の構成の一例を示すブロック図である。図３に示す画像処理装置１０は、判定部１０１と、フィルタ強度設定部１０２と、デブロッキングフィルタ部１０３とを有する。
【００２７】
判定部１０１は、復号画像と、この復号画像の画素位置毎、又は所定領域（例えば４×４、８×８など）毎に与えられた奥行き情報を取得する。奥行き情報がどの単位で得られるかは、深度センサに依存する。
【００２８】
判定部１０１は、所定のブロック境界に隣接する２つの隣接ブロックに含まれる奥行き情報を用いて、２つの隣接ブロックが同一オブジェクトに属するか否かを判定する。判定部１０１は、この判定を行うため、分類部１１１と、取得部１１２と、奥行き判定部１１３とを有する。
【００２９】
分類部１１１は、例えば、復号画像内の各奥行き情報をクラスタリングする。分類部１１１は、奥行き情報を示す奥行き深度が例えば２５６段階である場合、クラスタ数ｋ＝８に設定し、ｋ−ｍｅａｎｓ法を適用して奥行き情報のクラスタリングを行う。
【００３０】
奥行き深度の段階数は、深度センサの性能に従うため２５６に限られない。クラスタ数ｋは、予め適切な値が設定されていればよい。
【００３１】
また、分類部１１１は、奥行き情報のヒストグラムを求め、このヒストグラムが取る値の範囲をクラスタ数ｋに等分割し、奥行き情報を分類してもよい。
【００３２】
分類部１１１は、各画素位置又は各所定領域の奥行き情報のクラスタリング結果として、奥行き降順に番号を付与して、このクラスタリング結果を示すクラスタリング情報（例えば０〜７）を取得部１１２に出力する。
【００３３】
取得部１１２は、復号画像のブロック毎に、クラスタリング情報の代表値を取得する。取得部１１２は、ブロック境界を示す情報について、符号化器や、後述する前処理部２００から取得したり、判定部１０１からクラスタリング情報をブロック毎に取得したりして把握すればよい。
【００３４】
取得部１１２は、ブロック毎にクラスタリング情報を平均化し、端数を四捨五入する整数化を行い、ブロック毎に１つの奥行き情報（代表値）を取得する。なお、取得部１１２は、ブロック毎に、クラスタリング情報の中央値や最頻値を代表値としてもよい。取得部１１２は、ブロック毎の奥行き情報の代表値を奥行き判定部１１３に出力する。
【００３５】
奥行き判定部１１３は、取得部１１２から取得した、隣接ブロックｐ、ｑの奥行き情報が所定範囲内に属するか否かを判定する。例えば、奥行き判定部１１３は、隣接ブロックｐの奥行き情報と隣接ブロックｑの奥行き情報との差が所定値以内にあるか否かを判定する。
【００３６】
奥行き判定部１１３は、所定値を０にすれば、奥行き情報が同じクラスタに属するか否かを判定でき、所定値を例えば１などにすれば、奥行き情報同士が類似するか否かを判定できる。奥行き判定部１１３は、判定結果をフィルタ強度設定部１０２に出力する。
【００３７】
奥行き判定部１１３は、隣接ブロックｐ、ｑの奥行き情報の差が所定値以内であれば、隣接ブロックｐ、ｑは、同一オブジェクトに属すると判定する。また、奥行き判定部１１３は、隣接ブロックｐ、ｑの奥行き情報の差が所定値より大きければ、隣接ブロックｐ、ｑは、同一オブジェクトに属しないと判定する。
【００３８】
また、奥行き判定部１１３は、隣接ブロックｐ、ｑの奥行き情報の差が所定値以内であれば、隣接ブロックｐ、ｑのブロック境界位置に存在する画素の不連続箇所はブロック歪であると判定してもよい。同一オブジェクトで画素が不連続であるということは、ブロック歪である可能性が高い。
【００３９】
画素の不連続については、例えば図１に示す画素を用いて、｜ｐ０−ｑ０｜＜αかつ｜ｐ１−ｑ０｜＜βかつ｜ｑ１−ｑ０｜＜βが満たされれば、不連続と判定される。α及びβ（ここではオフセット値とも称す）は、後述するＱＰ値（図４参照）に応じて決定される値である。
【００４０】
また、奥行き判定部１１３は、隣接ブロックｐ、ｑの奥行き情報の差が所定値より大きければ、隣接ブロックｐ、ｑのブロック境界は、原画像に存在する元々のオブジェクトと背景との境界であると判定してもよい。異なるオブジェクトの境界は、元々存在する境界である可能性が高い。
【００４１】
なお、判定部１０１は、奥行き情報の分類を行わずに、ブロック内の奥行き情報の代表値を決定し、隣接ブロックｐ、ｑの奥行き情報の代表値の差が所定値以内であるかを判定してもよい。
【００４２】
フィルタ強度設定部１０２は、判定部１０１の判定結果に基づいて、所定のブロック境界に対し、デブロッキングフィルタのフィルタ強度を設定する。フィルタ強度設定部１０２は、フィルタ強度の設定について、符号化規格で設定されたフィルタ強度を、奥行き情報の判定結果に基づいて再設定（設定変更）すればよい。
【００４３】
例えば、フィルタ強度設定部１０２は、判定部１０１により同一オブジェクトに属すると判定された場合、所定のブロック境界に対し、符号化規格に従って設定されたデブロッキングフィルタのフィルタ強度よりも強いフィルタ強度を設定してもよい。
【００４４】
また、フィルタ強度設定部１０２は、判定部１０１により同一オブジェクトに属しないと判定された場合、所定のブロック境界に対し、符号化規格に従って設定されたデブロッキングフィルタのフィルタ強度よりも弱いフィルタ強度を設定してもよい。
【００４５】
フィルタ強度設定部１０２は、フィルタ強度の設定を行うため、境界強度設定部１２１と、オフセット値設定部１２２とを有する。
【００４６】
境界強度設定部１２１は、まず、図２に示すＢｓ値の定義に従って設定されたＢｓ値を例えば符号化器などから取得する。Ｂｓ値は、Ｈ．２６４／ＡＶＣでは、０〜４の５段階である。
【００４７】
例えば、境界強度設定部１２１は、判定部１０１により隣接ブロックｐ、ｑが同一オブジェクトに属すると判定された場合、所定のブロック境界に対し、符号化規格に従って設定されたデブロッキングフィルタの境界強度よりも強い境界強度を設定する。
【００４８】
境界強度を強くする理由は、隣接ブロックｐ、ｑが同一オブジェクトに属するにも関わらず、ブロック境界で画素の不連続があれば、その不連続はブロック歪である可能性が高いからである。
【００４９】
境界強度設定部１２１は、例えば隣接ブロックｐ、ｑが同一オブジェクトに属すると判定された場合、Ｂｓ値を１つインクリメントする。Ｂｓ値が大きいほど、フィルタ強度が強くなる。なお、Ｂｓ値の上限は、符号化規格に従う。Ｈ．２６４／ＡＶＣの場合は、Ｂｓ値の上限は４である。
【００５０】
なお、境界強度設定部１２１は、隣接ブロックｐ、ｑが同一オブジェクトに属しないと判定された場合、所定のブロック境界に対し、符号化規格に従って設定されたデブロッキングフィルタの境界強度よりも弱い境界強度を設定してもよい。これは、元々存在する境界をぼかしすぎないようにするためである。
【００５１】
オフセット値設定部１２２は、判定部１０１により隣接ブロックｐ、ｑが同一オブジェクトに属すると判定された場合、所定のブロック境界に対し、符号化規格に従って設定されたデブロッキングフィルタのオフセット値よりも大きいオフセット値を設定する。オフセット値が大きくなれば、フィルタ強度が強くなる。
【００５２】
オフセット値設定部１２２は、例えば現在の量子化パラメータ値（ＱＰ値）を符号化器などから取得し、このＱＰ値に対応するデブロッキングフィルタのオフセット値を現在の値よりも大きく設定する。
【００５３】
図４は、Ｈ．２６４／ＡＶＣにおけるＱＰ値に対応するα及びβを示す図である。図４に示すように、Ｈ．２６４／ＡＶＣでは、ＱＰ値が０〜５１の値にそれぞれ対応してα及びβが設定されている。
【００５４】
例えば、ＱＰ値が３０として符号化されていて、隣接ブロックｐ、ｑが同一オブジェクトに属すると判定された場合、オフセット値設定部１２２は、ＱＰ値が３５に対応するオフセット値に設定する。ＱＰ値やオフセット値の上限は、符号化規格に従う。Ｈ．２６４／ＡＶＣの場合は、ＱＰ値の上限は５１であり、αの上限は２５５であり、βの上限は１８である。
【００５５】
また、オフセット値設定部１２２は、ＱＰ値の値に応じてオフセット値の設定変更を行うか否かを決定してもよい。オフセット値設定部１２２は、例えば、現在のＱＰ値が閾値（例えば２０）より大きい場合に、オフセット値の変更を行ってもよい。ＱＰ値が小さい場合は画質が良いため、フィルタを強くかけすぎると、かえってフィルタ処理した部分が目立つ可能性があるからである。
【００５６】
なお、オフセット値設定部１２２は、隣接ブロックｐ、ｑが同一オブジェクトに属しないと判定された場合、所定のブロック境界に対し、符号化規格に従って設定されたデブロッキングフィルタのオフセット値よりも小さいオフセット値を設定してもよい。
【００５７】
境界強度設定部１２１とオフセット値設定部１２２は、両方の処理が行われてもよいし、いずれか一方の処理が予め設定されて行われてもよい。
【００５８】
フィルタ強度設定部１０２は、設定されたフィルタ強度、例えば境界強度であるＢｓ値及び／又はオフセット値をデブロッキングフィルタ部１０３に出力する。
【００５９】
図３に戻り、デブロッキングフィルタ部１０３は、フィルタ強度設定部１０２により設定されたフィルタ強度のデブロッキングフィルタの処理を、隣接ブロックｐ、ｑの境界である所定のブロック境界に対して行う。
【００６０】
デブロッキングフィルタ部１０３は、フィルタ強度設定部１０２により設定されたＢｓ値やオフセット値を用いてフィルタ処理を行う。デブロッキングフィルタ部１０３は、フィルタ処理後の復号画像を出力する。
【００６１】
以上の構成を有することで、奥行き情報を用いてデブロッキングフィルタの強度を適切に設定し、画質の向上を図ることができる。
【００６２】
＜動作＞
次に、実施例１における画像処理装置１０の動作について説明する。図５は、実施例１における画像処理装置１０の処理の一例を示すフローチャートである。図５に示す処理は、１つのブロック境界に対する処理を示す。
【００６３】
ステップＳ１０１で、判定部１０１は、所定のブロック境界に対する隣接ブロックｐ、ｑの奥行き情報を取得する。判定部１０１は、隣接ブロックｐ、ｑの奥行き情報の代表値を決定する。奥行き情報の代表値は、クラスタリング情報の代表値でもよいし、奥行き情報そのものの代表値でもよい。
【００６４】
ステップＳ１０２で、判定部１０１は、隣接ブロックｐ、ｑのそれぞれの奥行き情報（代表値）の差が所定値以下であるか否かを判定する。奥行き情報の差が所定値以下であれば（ステップＳ１０２−ＹＥＳ）ステップＳ１０３に進み、奥行き情報の差が所定値より大きければ（ステップＳ１０２−ＮＯ）ステップＳ１０３'に進む。
【００６５】
ステップＳ１０３で、フィルタ強度設定部１０２は、判定部１０１に判定された結果に基づいて、所定のブロック境界に対し、デブロッキングフィルタのフィルタ強度を設定する。例えば、フィルタ強度設定部１０２は、同一オブジェクトに属すると判定された場合、所定のブロック境界に対し、符号化規格に従って設定されたデブロッキングフィルタのフィルタ強度よりも強いフィルタ強度を設定する。ステップＳ１０３'で、フィルタ強度設定部１０２は、同一オブジェクトに属しないと判定された場合、所定のブロック境界に対し、符号化規格に従って設定されたデブロッキングフィルタのフィルタ強度よりも弱いフィルタ強度を設定することも可能である。
【００６６】
フィルタ強度を設定変更するのに、Ｂｓ値の設定変更とオフセット値の設定変更とがある。フィルタ強度設定部１０２は、Ｂｓ値とオフセット値との両方を設定変更してもよいし、いずれか一方を設定変更するようにしてもよい。なお、フィルタ強度設定部１０２は、条件によってフィルタ強度を設定変更しない場合、符号化規格に従って設定されたフィルタ強度をそのまま用いるようにする。
【００６７】
ステップＳ１０４で、デブロッキングフィルタ部１０３は、フィルタ強度設定部１０２により設定されたフィルタ強度のデブロッキングフィルタを所定のブロック境界に対してかける。
【００６８】
以上、実施例１によれば、奥行き情報を用いてデブロッキングフィルタの強度を適切に設定し、画質の向上を図ることができる。例えば、実施例１によれば、奥行き情報を用いて、ブロック境界の画素の不連続がブロック歪であるのか、元々存在する不連続であるのかを判定することができる。よって、実施例１によれば、デブロッキングフィルタ処理の確度を向上させ、画質改善を図ることができる。
【００６９】
また、実施例１によれば、ＱＰ値に応じてオフセット値の設定変更をするか否かを決定することもできる。ＱＰ値は画質を制御するパラメータであるため、画質が良い画像に対して強いフィルタをかけることを防止することができる。
【００７０】
［実施例２］
実施例２では、実施例１における画像処理装置１０をループフィルタ部に含む画像処理装置（画像符号化装置）について説明する。実施例２では、入力される原画に奥行き情報が含まれているとする。
【００７１】
＜構成＞
図６は、実施例２における画像処理装置２０の概略構成の一例を示すブロック図である。図６に示す例では、画像処理装置２０は、前処理部２００と、予測誤差信号生成部２０１と、直交変換部２０２と、量子化部２０３と、エントロピー符号化部２０４と、逆量子化部２０５と、逆直交変換部２０６と、復号画像生成部２０７と、ループフィルタ部２０９と、復号画像記憶部２１０と、イントラ予測部２１１と、インター予測部２１２と、動きベクトル計算部２１３と、予測画像選択部２１５とを有する。各部についての概略を以下に説明する。
【００７２】
前処理部２００は、ピクチャタイプに合わせてピクチャを並べ替え、ピクチャタイプ及びフレーム毎のフレーム画像等を順次出力する。また、前処理部２００は、ブロック分割なども行い、ブロック分割の境界情報をループフィルタ部２０９に出力してもよい。また、前処理部２００は、原画に含まれる奥行き情報をループフィルタ部２０９及びエントロピー符号化部２０４に出力する。
【００７３】
予測誤差信号生成部２０１は、入力された動画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。
【００７４】
予測誤差信号生成部２０１は、そのブロックデータと、予測画像選択部２１５から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部２０１は、生成された予測誤差信号を直交変換部２０２に出力する。
【００７５】
直交変換部２０２は、入力された予測誤差信号を直交変換処理する。直交変換部２０２は、変換された係数値を示す信号を量子化部２０３に出力する。
【００７６】
量子化部２０３は、直交変換部２０２からの出力信号を量子化する。量子化部２０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部２０４及び逆量子化部２０５に出力する。量子化部２０３は、量子化パラメータのＱＰ値をループフィルタ部２０９に出力する。
【００７７】
エントロピー符号化部２０４は、量子化部２０３からの出力信号や、動きベクトル計算部２１３から出力された動きベクトル情報やループフィルタ部２０９からのフィルタ係数やブロック毎の奥行き情報の代表値などをエントロピー符号化して出力する。
【００７８】
また、エントロピー符号化部２０４は、イントラ予測部２１１から取得したイントラ予測方向の差分値や、インター予測部２１２から取得した動きベクトルと予測ベクトルの差分値などをエントロピー符号化してもよい。
【００７９】
また、エントロピー符号化部２０４は、前処理部２００から取得した奥行き情報をエントロピー符号化してもよい。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。
【００８０】
逆量子化部２０５は、量子化部２０３からの出力信号を逆量子化してから逆直交変換部２０６に出力する。逆直交変換部２０６は、逆量子化部２０５からの出力信号を逆直交変換処理してから復号画像生成部２０７に出力する。これら逆量子化部２０５及び逆直交変換部２０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。
【００８１】
復号画像生成部２０７は、イントラ予測部２１１で画面内予測された画像あるいはインター予測部２１２で動き補償された画像のブロックデータと、逆量子化部２０５及び逆直交変換部２０６により復号処理された予測誤差信号とを加算する。復号画像生成部２０７は、加算して生成した復号画像のブロックデータを、ループフィルタ部２０９に出力する。
【００８２】
ループフィルタ部２０９は、例えばＡＬＦ（Adaptive Loop Filter）やデブロッキングフィルタであり、少なくともデブロッキングフィルタを備えるとする。例えば、ループフィルタ部２０９は、実施例１における画像処理装置１０の構成を有し、実施例１で説明した、奥行き情報を用いるデブロッキングフィルタの処理を行う。ループフィルタ部２０９は、フィルタ処理結果を復号画像記憶部２１０に出力し、蓄積された１画像分のフィルタ処理結果を参照画像として記憶させる。
【００８３】
復号画像記憶部２１０は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部２１１、インター予測部２１２及び動きベクトル計算部２１３に出力する。
【００８４】
イントラ予測部２１１は、符号化対象画像の処理対象ブロックに対して、すでに符号化された参照画素から予測画像のブロックデータを生成する。イントラ予測部２１１は、複数の予測方向を用いて予測を行い、最適な予測方向を決定する。予測方向については、符号化済みブロックの予測方向との差分値をビットストリームに含めるために、差分値がエントロピー符号化部２０４に出力される。
【００８５】
インター予測部２１２は、復号画像記憶部２１０から取得した参照画像のデータを動きベクトル計算部２１３から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。動きベクトルについては、符号化済みブロックの動きベクトル（予測ベクトル）との差分値をビットストリームに含めるために、差分値がエントロピー符号化部２０４に出力される。
【００８６】
動きベクトル計算部２１３は、符号化対象画像におけるブロックデータと、復号画像記憶部２１０から取得する参照画像とを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術などを用いて求められるブロック単位の空間的なずれを示す値である。
【００８７】
動きベクトル計算部２１３は、求めた動きベクトルをインター予測部２１２に出力し、参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部２０４に出力する。
【００８８】
イントラ予測部２１１とインター予測部２１２から出力されたブロックデータは、予測画像選択部２１５に入力される。
【００８９】
予測画像選択部２１５は、イントラ予測部２１１とインター予測部２１２から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部２０１に出力される。
【００９０】
なお、図６に示す画像処理装置２０の構成は一例であり、必要に応じて各構成を組み合わせたり、各構成を適宜変更したりしてもよい。
【００９１】
以上、実施例２によれば、画像符号化時に、奥行き情報を用いてデブロッキングフィルタの強度を適切に設定し、画質の向上を図ることができる。
【００９２】
［実施例３］
実施例３では、実施例１における画像処理装置１０をループフィルタ部に含む画像処理装置（画像復号装置）について説明する。実施例３における画像処理装置は、実施例２における画像処理装置２０で符号化されたビットストリームを復号する装置である。
【００９３】
＜構成＞
図７は、実施例３における画像処理装置３０の概略構成の一例を示すブロック図である。図７に示すように、画像処理装置３０は、エントロピー復号部３０１と、逆量子化部３０２と、逆直交変換部３０３と、イントラ予測部３０４と、復号情報記憶部３０５と、インター予測部３０６と、予測画像選択部３０７と、復号画像生成部３０８と、ループフィルタ部３１０と、フレームメモリ３１１とを有する。各部についての概略を以下に説明する。
【００９４】
エントロピー復号部３０１は、ビットストリームが入力されると、画像処理装置２０のエントロピー符号化に対応するエントロピー復号を行う。エントロピー復号部３０１により復号された予測誤差信号などは逆量子化部３０２に出力される。また、復号したＱＰ値や、奥行き情報や、インター予測されている場合の、復号された動きベクトルの差分値などは復号情報記憶部３０５に出力される。
【００９５】
また、エントロピー復号部３０１は、イントラ予測の場合、イントラ予測部３０４にその旨通知する。また、エントロピー復号部３０１は、復号対象画像がインター予測されているか、イントラ予測されているかを予測画像選択部３０７に通知する。
【００９６】
逆量子化部３０２は、エントロピー復号部３０１からの出力信号に対して逆量子化処理を行う。逆量子化された出力信号は逆直交変換部３０３に出力される。
【００９７】
逆直交変換部３０３は、逆量子化部３０２からの出力信号の復号ブロックに対して逆直交変換処理を行い、残差信号を生成する。残差信号は復号画像生成部３０８に出力される。
【００９８】
イントラ予測部３０４は、フレームメモリ３１１から取得する復号対象画像のすでに復号化された周辺画素から、複数の予測方向を用いて予測画像を生成する。
【００９９】
復号情報記憶部３０５は、復号されたＱＰ値や奥行き情報や動きベクトルや分割モードなどの復号情報を記憶する。
【０１００】
インター予測部３０６は、フレームメモリ３１１から取得した参照画像のデータを復号情報記憶部３０５から動きベクトルの差分値などを取得する。インター予測部３０６は、予測ベクトルを決定し、決定した予測ベクトルと、動きベクトルの差分値とを加算し、動きベクトルを生成する。インター予測部３０６は、生成した動きベクトルを用いて動き補償を行う。これにより、動き補償された参照画像としてのブロックデータが生成される。
【０１０１】
予測画像選択部３０７は、イントラ予測画像、又はインター予測画像どちらか一方の予測画像を選択する。選択されたブロックデータは、復号画像生成部３０８に出力される。
【０１０２】
復号画像生成部３０８は、予測画像選択部３０７から出力される予測画像と、逆直交変換部３０３から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像はループフィルタ部３１０に出力される。
【０１０３】
ループフィルタ部３１０は、復号画像生成部３０８から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ処理後の復号画像をフレームメモリ３１１に出力する。
【０１０４】
ループフィルタ部３１０は、実施例１における画像処理装置１０の構成を有し、復号情報記憶部３０５から取得した奥行き情報を用いて、実施例１で説明したデブロッキングフィルタ処理を行う。なお、ループフィルタ後の復号画像は表示装置などに出力されてもよい。
【０１０５】
フレームメモリ３１１は、参照画像となる復号画像などを記憶する。なお、復号情報記憶部３０５とフレームメモリ３１１は、分けた構成にしているが、同じ記憶部であってもよい。
【０１０６】
以上、実施例３によれば、実施例２における画像処理装置２０で符号化されたビットストリームを適切に復号することができる。
【０１０７】
［実施例４］
図８は、実施例４における画像処理装置４０の概略構成の一例を示すブロック図である。図８に示す画像処理装置４０は、上述した実施例１〜３で説明した画像処理をソフトウェアで実装した装置の一例である。
【０１０８】
図８に示すように、画像処理装置４０は、制御部４０１と、主記憶部４０２と、補助記憶部４０３と、ドライブ装置４０４と、ネットワークＩ／Ｆ部４０６と、入力部４０７と、表示部４０８とを有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【０１０９】
制御部４０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部４０１は、主記憶部４０２又は補助記憶部４０３に記憶された画像処理のプログラムを実行する演算装置である。制御部４０１は、入力部４０７や記憶装置からデータを受け取り、演算、加工した上で、表示部４０８や記憶装置などに出力する。
【０１１０】
また、制御部４０１は、画像処理のプログラムを実行することで、実施例１〜３で説明した処理を実現することができる。
【０１１１】
主記憶部４０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部４０２は、制御部４０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【０１１２】
補助記憶部４０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【０１１３】
ドライブ装置４０４は、記録媒体４０５、例えばフレキシブルディスクからプログラムを読み出し、記憶部にインストールする。
【０１１４】
また、記録媒体４０５に、所定のプログラムを格納し、この記録媒体４０５に格納されたプログラムはドライブ装置４０４を介して画像処理装置４０にインストールされる。インストールされた所定のプログラムは、画像処理装置４０により実行可能となる。
【０１１５】
ネットワークＩ／Ｆ部４０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置４０とのインターフェースである。
【０１１６】
入力部４０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部４０８の表示画面上でキーの選択等を行うためのマウスやスライドパット等を有する。表示部４０８は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部４０１から入力される表示データに応じた表示が行われる。
【０１１７】
なお、図３に示す画像処理装置１０の各部は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。
【０１１８】
また、図６に示す復号画像記憶部２１０は、例えば主記憶部４０２又は補助記憶部４０３により実現され、図６に示す復号画像記憶部２１０以外の構成は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。
【０１１９】
また、図７に示す復号情報記憶部３０５及びフレームメモリ３１１は、例えば主記憶部４０２又は補助記憶部４０３により実現されうる。図７に示す復号情報記憶部３０５及びフレームメモリ３１１以外の構成は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。
【０１２０】
画像処理装置４０で実行されるプログラムは、実施例１〜３で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部４０１が補助記憶部４０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部４０２上にロードされ、１又は複数の各部が主記憶部４０２上に生成されるようになっている。
【０１２１】
このように、上述した実施例１〜３で説明した画像処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、実施例１〜３で説明した処理を実現することができる。
【０１２２】
また、このプログラムを記録媒体４０５に記録し、このプログラムが記録された記録媒体４０５をコンピュータや携帯端末など処理装置に読み取らせて、前述した画像処理を実現させることも可能である。
【０１２３】
なお、記録媒体４０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【０１２４】
また、上述した各実施例で説明した画像処理は、１つ又は複数の集積回路に実装されてもよい。なお、実施例４における画像処理装置４０は、上記の通り、画像処理装置１０、２０、３０の少なくとも１つの装置としての機能を有してもよい。
【０１２５】
また、上述した各実施例における画像処理装置は、Ｂｓ値及び／又はオフセット値を用いるデブロッキングフィルタを行う符号化技術に対して適用可能であり、Ｈ．２６４／ＡＶＣやＨＥＶＣだけに限られるものではない。
【０１２６】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。
【符号の説明】
【０１２７】
１０、２０、３０、４０  画像処理装置
１０１  判定部
１０２  フィルタ強度設定部
１０３  デブロッキングフィルタ部
１１１  分類部
１１２  取得部
１１３  奥行き判定部
１２１  境界強度設定部
１２２  オフセット値設定部
２０４  エントロピー符号化部
２０９  ループフィルタ部
３０１  エントロピー復号部
３１０  ループフィルタ部
４０１  制御部
４０２  主記憶部
４０３  補助記憶部
【図１】
2014143515.tif 000003
【図２】
2014143515.tif 000004
【図３】
2014143515.tif 000005
【図４】
2014143515.tif 000006
【図５】
2014143515.tif 000007
【図６】
2014143515.tif 000008
【図７】
2014143515.tif 000009
【図８】
2014143515.tif 000010