(57)【要約】【課題】既存の非ブロック化フィルタリング手順の形式を維持するだけでなく、ブロッキング現象も共に、效率的に除去するか、減少させることができる境界フィルタリング強度の決定方法と、これを用いた非ブロック化フィルタリング方法及び装置を提供する。【解決手段】二つのブロックが全部イントラ符号化されることなく、上記二つのブロックが共に０ではない変換係数を有することなく、上記二つのブロックに対する動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値が共に１より小さく、動き補償が同じである参照フレームを用いて遂行された場合にのみ、隣接した二つのブロックに対する境界フィルタリング強度を決定するにあたって、上記二つのブロックが輝度補償モードに符号化されか否かを考慮する。【選択図】図６ａ
2008154221.tif 000002
【特許請求の範囲】
【請求項１】
隣接した二つのブロックのうち少なくとも一つのブロックがイントラ符号化されたか否かを判定するための段階：
上記二つのブロックが共にイントラ符号化されなかったと判定される場合、上記二つのブロックのうち少なくとも一つのブロックが直交変換係数を有するか否かを判定するための段階：
上記二つのブロックが共に直交変換係数を有しないと判定される場合、上記二つのブロックに対して動きベクトル（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ）のｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償が相異する参照フレームに基づいて遂行されたか否かを判定するための段階：及び
上記動きベクトルの差の絶対値が１より小さく、かつ上記動き補償が同じである参照フレームに基づいて遂行されたと判定される場合、上記二つのブロックが輝度補償モードに符号化されたか否かを判定して境界フィルタリング強度を決定する段階を含む非ブロック化フィルタリングのための境界フィルタリング強度の決定方法。
【請求項２】
請求項１において、
上記境界フィルタリング強度の決定段階は、上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値の大きさが相異するか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化されたか否かを判定する過程を含むことを特徴とする非ブロック化フィルタリングのための境界フィルタリング強度の決定方法。
【請求項３】
請求項２において、
上記二つのブロックが共に輝度補償モードに符号化され、各ブロックに対する輝度変更値の大きさが相異すると判定される場合には、上記二つのブロックに対する輝度変更値の差を用いるか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化されたと判定される場合には、そのブロックの輝度変更値の大きさを用いて境界フィルタリング強度を決定することを特徴とする非ブロック化フィルタリングのための境界フィルタリング強度の決定方法。
【請求項４】
隣接した二つのブロックに対する境界フィルタリング強度を決定する方法において、
上記二つのブロックの各々に対して輝度補償モードに符号化されたか否かを判定する段階：及び
上記判定結果に基づいて非ブロック化フィルタリング強度を決定する段階を含み、
上記判定段階は上記二つのブロックが共にイントラモードに符号化されなく、直交変換係数を有しないブロックであり、かつ上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値が共に１より小さく、動き補償で参照するフレームが同じであるという条件を満たす場合にのみ遂行することを特徴とする境界フィルタリング強度の決定方法。
【請求項５】
隣接した二つのブロックに対する境界フィルタリング強度を決定するための手順：及び
上記決定された境界フィルタリング強度に従って、上記二つのブロックの画素値に対するフィルタリングを適用するための手順を含み、
上記境界フィルタリング強度を決定するための手順は、
隣接した二つのブロックのうち少なくとも一つのブロックがイントラ符号化されたか否かを判定するための段階：
上記二つのブロックが共にイントラ符号化されなかったと判定される場合、上記二つのブロックのうち少なくとも一つのブロックが直交変換係数を有するか否かを判定するための段階：
上記二つのブロックが共に直交変換係数を有しないと判定される場合、上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償が相異する参照フレームに基づいて遂行されたか否かを判定するための段階：及び
上記動きベクトルの差の絶対値が１より小さく、かつ上記動き補償が同じである参照フレームに基づいて遂行されたと判定される場合、上記二つのブロックが各々輝度補償モードに符号化されたか否かを判定して境界フィルタリング強度を決定する段階を含む非ブロック化フィルタリング方法。
【請求項６】
隣接した二つのブロックに対する境界フィルタリング強度を決定するための境界フィルタリング強度決定部：及び
上記境界フィルタリング強度決定部から出力される境界フィルタリング強度に従って、上記二つのブロックの画素値に対するフィルタリングを適用するためのフィルタリング適用部を含み、
上記境界フィルタリング強度決定部における決定手順は、
隣接した二つのブロックのうち少なくとも一つのブロックがイントラ符号化されたか否かを判定するための段階：
上記二つのブロックが共にイントラ符号化されなかったと判定される場合、上記二つのブロックのうち少なくとも一つのブロックが直交変換係数を有するか否かを判定するための段階：
上記二つのブロックが共に直交変換係数を有しないと判定される場合、上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償が相異する参照フレームに基づいて遂行されたか否かを判定するための段階：及び
上記動きベクトルの差の絶対値が共に１より小さく、かつ上記動き補償が同じである参照フレームに基づいて遂行されたと判定される場合、上記二つのブロックが各々輝度補償モードに符号化されたか否かを判定して境界フィルタリング強度を決定する段階を含む非ブロック化フィルタリング装置。
【請求項７】
隣接した二つのブロックに対する境界フィルタリング強度を決定するための手順：及び
上記境界フィルタリング強度決定手順で決定された境界フィルタリング強度に基づいてフィルタリングを遂行するフィルタリング適用手順を含み、
上記境界フィルタリング強度の決定手順は、
上記二つのブロックが共にイントラモードに符号化されなく、直交変換係数を有しないブロックであり、かつ上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値が共に１より小さく、動き補償で参照するフレームが同じであるという条件を満たす場合、上記二つのブロックに対して輝度補償モードに符号化されたか否かを判定する段階：及び
上記判定段階において、上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値が同じであると判定されるか、又は上記二つのブロックのうち輝度補償符号化されたブロックが一つもないと判定される場合、上記フィルタリング適用手順で境界フィルタリングを遂行しない値に境界フィルタリング強度を決定する段階を含む非ブロック化フィルタリング方法。
【請求項８】
隣接した二つのブロックのうち少なくとも一つのブロックがイントラ符号化されたか否かを判定するための段階：
上記二つのブロックが共にイントラ符号化されなかったと判定される場合、上記二つのブロックのうち少なくとも一つのブロックが直交変換係数を有するか否かを判定するための段階：
上記二つのブロックが共に直交変換係数を有しないと判定される場合、上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償が相異する参照フレームに基づいて遂行されたか否かを判定するための段階：
上記動きベクトルの差の絶対値が共に１より小さく、かつ上記動き補償が同じである参照フレームに基づいて遂行されたと判定される場合、上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値が相異するか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化されたか否かを判定する段階：及び
上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値が相異すると判定されるか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化された場合、上記二つのブロックの輝度変更値の差又は上記一つのブロックの輝度変更値の大きさを用いて境界フィルタリング強度を決定する段階を含むことを特徴とする境界フィルタリング強度の決定方法。
【請求項９】
請求項８において、
上記輝度変更値の大きさ又は上記輝度変更値が所定大きさの臨界値以上である場合には第１の大きさの境界フィルタリング強度に決定し、上記臨界値より小さい場合には上記第１の大きさの場合より弱い強度にフィルタリングを遂行する第２の大きさの境界フィルタリング強度に決定することを特徴とする境界フィルタリング強度の決定方法。
【請求項１０】
請求項９において、
上記臨界値は５であり、
上記第１の大きさは、上記二つのブロックのうち少なくとも一つがイントラ符号化され、かつ上記二つのブロック境界がマクロブロック境界と一致しない場合の境界フィルタリング強度と同一であり、
上記第２の大きさは、上記二つのブロックが共にイントラモードに符号化されなく、かつ０ではない変換係数を有しないブロックであり、また上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうちいずれか一つが１以上であるか、又は動き補償で参照するフレームが相異する場合の境界フィルタリング強度と同じであることを特徴とする境界フィルタリング強度の決定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化／復号化に関し、より具体的には、境界フィルタリング強度（Ｂｏｕｎｄａｒｙ  Ｆｉｌｔｅｒｉｎｇ  Ｓｔｒｅｎｇｔｈ）を決定するための方法と、これを用いた非ブロック化フィルタリング方法及び装置に関するものである。
【背景技術】
【０００２】
多視点ビデオコーディング（Ｍｕｌｔｉ−ｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）とは、複数のカメラから獲得した各ビューの映像ら、即ち、多視点映像を処理することである。複数のカメラらは同じオブジェクト（Ｏｂｊｅｃｔ）に対して距離及び／又は対向方向において一定の規則によって互いに離隔されて配置される。その結果、多視点映像はこれを構成する各ビューの映像間に高い相関関係が存在する。各ビューの映像間の高い相関関係を適切に用いれば、ＭＶＣにおいて符号化効率を顕著に向上させることができる。
【０００３】
現在、標準化作業が活発に進行中であるＭＶＣにおいては、既存の動映像コーディングに関する国際標準であるＨ．２６４／ＭＰＥＧ−４  ｐａｒｔ  １０  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（以下、Ｈ．２６４／ＡＶＣという）を基盤としながら、上述した多視点映像の特性を考慮して符号化効率を向上させる方法を模索している。例えば、Ｈ．２６４／ＡＶＣに規定されているジョイントスケーラブルビデオコーディング（Ｊｏｉｎｔ  Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、ＪＳＶＣ）において、時間的スケーラビリティ（Ｔｅｍｐｏｒａｌ  Ｓｃａｌａｂｉｌｉｔｙ）を支援するために遂行される方法である階層的なＢ−映像（Ｈｉｅｒａｒｃｈｉｃａｌ  Ｂ−ｐｉｃｔｕｒｅｓ）コーディング処理をビュー内（Ｉｎｔｒａ−ｖｉｅｗ）予測コーディングにも適用している。また、ＭＶＣにおいては上述した多視点映像の特性を考慮してビュー間（Ｉｎｔｅｒ−Ｖｉｅｗ）予測処理も並行して遂行することによって、符号化効率の向上を成し遂げようとする。
【０００４】
図１は、現在、標準化が進行中であるＭＶＣにおけるビュー内予測及びビュー間予測関係を表す予測構造の一例を示した図面である。図１は、８つのビューが存在する場合の例であり、時間方向の映像グループ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）の大きさが８である場合である。図１において、Ｓ０、Ｓ１、Ｓ２、Ｓ３、...、Ｓ７は、各々一つのビューを表し、Ｔ０、Ｔ１、Ｔ  ２、Ｔ  ３、...、Ｔ１００は時間方向を表す。
【０００５】
図１を参照すると、各ビュー内ではＨ．２６４／ＡＶＣに規定されている階層的なＢ−映像構造が使われて時間方向への予測符号化を遂行していることがわかる。また、各ビューの最初の時間（Ｔ０）の映像らと、その以後に、時間方向に８フレームずつ離れている映像、即ち、時間方向の映像グループ（ＧＯＰ）の大きさだけ離れている映像ら（Ｔ８、Ｔ１６、Ｔ２４、...における映像）は、隣接するビューからの予測（ビュー間予測、Ｉｎｔｅｒ−ｖｉｅｗ  Ｐｒｅｄｉｃｔｉｏｎ）のみを遂行している。例えば、時間Ｔ０、Ｔ８、Ｔ１６、Ｔ２４、...において、Ｓ２ビューはＳ０ビューから、Ｓ１ビューはＳ０ビューとＳ２ビューから、Ｓ４ビューはＳ２ビューから、Ｓ３ビューはＳ２ビューとＳ４ビューから、Ｓ６ビューはＳ４ビューから、Ｓ５ビューはＳ４ビューとＳ６ビューから、Ｓ７ビューは最後のビューであるためＳ６ビューから、予測を遂行する。
【０００６】
また、２度目ビュー（即ち、Ｓ１、Ｓ３、Ｓ５、Ｓ７）毎では、その以外の時間（Ｔ１、Ｔ２、Ｔ３、...、Ｔ７、Ｔ９、Ｔ１０、...）でも時間方向のビュー内予測（Ｔｅｍｐｏｒａｌ  Ｉｎｔｒａ−ｖｉｅｗ  ｐｒｅｄｉｃｔｉｏｎ）と共にビュー間予測も遂行する。即ち、時間方向のビュー内予測外にも、Ｓ１ビューはＳ０ビューとＳ２ビューから、Ｓ３ビューはＳ２ビューとＳ４ビューから、Ｓ５ビューはＳ４ビューとＳ６ビューから、ビュー間予測を遂行する。
【０００７】
ところが、同じ被写体から反射される光は方向に応じて相異するため、ＭＶＣにおいて符号化効率を極大化させるためにはこれを考慮するのが望ましい。より具体的に、被写体に対する距離及び／又は方向はカメラに応じて差があることがあるため、たとえ同じ時間に撮影した映像としても各カメラを通じて獲得した映像には明るさ（又は輝度）及び／又は色差の差が発生する。また、現在標準化作業が進行中であるＭＶＣにおいては、動き予測と、このような各ビュー映像間に存在する輝度及び／又は色差の差を共に補償することによって符号化効率を極大化させようとする。
【０００８】
一方、このような輝度補償や色差補償は、ビュー方向への予測符号化にのみ限定されなく、時間方向への予測符号化にも同一に適用できる。また、現在標準化作業が進行中であるＭＶＣにおけるビュー方向（Ｖｉｅｗ  Ｄｉｒｅｃｔｉｏｎ）及び／又は時間方向（Ｔｅｍｐｏｒａｌ  Ｄｉｒｅｃｔｉｏｎ）予測符号化においては、現在フレーム（又は現在ブロック）と参照フレーム（又は参照ブロック）間に存在する明るさ及び／又は色差の差である輝度変更値（Ｉｌｌｕｍｉｎａｔｉｏｎ  Ｃｈａｎｇｅ  Ｖａｌｕｅ）及び／又は色差変更値（Ｃｈｒｏｍｉｎａｎｃｅ  Ｃｈａｎｇｅ  Ｖａｌｕｅ）を求めた後、上記明るさ及び／又は色差の差を参照フレームの映像に反映した以後に予測を遂行する輝度補償（Ｉｌｌｕｍｉｎａｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ）及び／又は色差補償（Ｃｈｒｏｍｉｎａｎｃｅ  Ｃｏｍｐｅｎｓａｔｉｏｎ）手順が含まれている。
【０００９】
ところが、現在標準化が進行中であるＭＶＣにおいて考慮されている輝度及び／又は色差補償手順は任意の大きさを有するブロック単位、例えばマクロブロック単位又はこれよりより小さい大きさのブロック単位に遂行される。また、このようなブロック単位の輝度及び／又は色差補償手順は、いわゆるブロッキング現象（Ｂｌｏｃｋｉｎｇ  Ａｒｔｉｆａｃｔｓ）を引き起こす可能性が相当高い。従って、輝度補償及び／又は色差補償手順を遂行することによって引起こされるブロッキング現象を、除去するか、又は減少させる方法が要請されるが、現在標準化作業が進行中であるＭＶＣにおいてはこれについて考慮していない。
【非特許文献１】特許庁、コンピュータグラフィックス（アニメーション）Ｅ−３符号化、２００１年３月５日、標準技術集、［２００７年１１月１５日検索］、インターネット  ＜ＵＲＬ：http://www.jpo.go.jp/shiryou/s_sonota/hyoujun_gijutsu/gurafic/0030.html＞
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする技術的課題は、輝度補償及び／又は色差補償によって引起こされるブロッキング現象を、除去するか、又は減少させることができる境界フィルタリング強度の決定方法と、これを用いた非ブロック化フィルタリング方法及び装置を提供することである。
【００１１】
本発明が解決しようとする他の技術的課題は、既存の非ブロック化フィルタリング手順の形式をそのまま維持するだけでなく、これと共に輝度補償などによるブロッキング現象も共に、效率的に除去するか、減少させることができる境界フィルタリング強度の決定方法と、これを用いた非ブロック化フィルタリング方法及び装置を提供することである。
【課題を解決するための手段】
【００１２】
上記の技術的課題を達成するための本発明の一実施形態による非ブロック化フィルタリングのための境界フィルタリング強度の決定方法は、隣接した二つのブロックのうち少なくとも一つのブロックがイントラ符号化されたか否かを判定するための段階と、該段階で上記二つのブロックが共にイントラ符号化されなかったと判定される場合、上記二つのブロックのうち少なくとも一つのブロックが直交変換係数を有するか否かを判定するための段階と、該段階で上記二つのブロックが共に直交変換係数を有しないと判定される場合、上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償が相異する参照フレームに基づいて遂行されたか否かを判定するための段階と、該段階で上記動きベクトルの差の絶対値が共に１より小さく、かつ上記動き補償が同じである参照フレームに基づいて遂行されたと判定される場合、上記二つのブロックが輝度補償モードに符号化されたか否かを判定して境界フィルタリング強度を決定する段階とを含む。
【００１３】
上記実施形態の一側面によれば、上記境界フィルタリング強度の決定段階は、上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値の大きさが相異するか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化されたか否かを判定する過程を含まれていてもよい。また、この場合、上記二つのブロックが共に輝度補償モードに符号化され、各ブロックに対する輝度変更値の大きさが相異すると判定される場合には、上記二つのブロックに対する輝度変更値の差を用いるか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化されたと判定される場合には、そのブロックの輝度変更値の大きさを用いて境界フィルタリング強度を決定してもよい。
【００１４】
上記の技術的課題を達成するための本発明の他の実施形態による非ブロック化フィルタリングのための境界フィルタリング強度の決定方法は、隣接した二つのブロックに対する境界フィルタリング強度を決定する方法であって、上記二つのブロックの各々に対して輝度補償モードに符号化されたか否かを判定する段階、及び上記判定結果に基づいて非ブロック化フィルタリング強度を決定する段階を含み、上記判定段階は上記二つのブロックが共にイントラモードに符号化されなく、直交変換係数を有しないブロックであり、かつ上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値が共に１より小さく、動き補償で参照するフレームが同じであるという条件を満たす場合にのみ遂行することを特徴とする。
【００１５】
上記の技術的課題を達成するための本発明の一実施形態による非ブロック化フィルタリング方法は、隣接した二つのブロックに対する境界フィルタリング強度を決定するための手順と、上記決定された境界フィルタリング強度に従って、上記二つのブロックの画素値に対するフィルタリングを適用するための手順とを含み、ここで上記境界フィルタリング強度を決定するための手順は、隣接した二つのブロックのうち少なくとも一つのブロックがイントラ符号化されたか否かを判定するための段階と、上記二つのブロックが共にイントラ符号化されなかったと判定される場合、上記二つのブロックのうち少なくとも一つのブロックが直交変換係数を有するか否かを判定するための段階と、上記二つのブロックが共に直交変換係数を有しないと判定される場合、上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償が相異する参照フレームに基づいて遂行されたか否かを判定するための段階と、上記動きベクトルの差の絶対値が共に１より小さく、かつ上記動き補償が同じである参照フレームに基づいて遂行されたと判定される場合、上記二つのブロックが各々輝度補償モードに符号化されたか否かを判定して境界フィルタリング強度を決定する段階とを含む。
【００１６】
上記の技術的課題を達成するための本発明の一実施形態による非ブロック化フィルタリング装置は、隣接した二つのブロックに対する境界フィルタリング強度を決定するための境界フィルタリング強度決定部と、上記境界フィルタリング強度決定部から出力される境界フィルタリング強度に従って、上記二つのブロックの画素値に対するフィルタリングを適用するためのフィルタリング適用部とを含み、上記境界フィルタリング強度決定部における決定手順は、隣接した二つのブロックのうち少なくとも一つのブロックがイントラ符号化されたか否かを判定するための段階と、上記二つのブロックが共にイントラ符号化されなかったと判定される場合、上記二つのブロックのうち少なくとも一つのブロックが直交変換係数を有するか否かを判定するための段階と、上記二つのブロックが共に直交変換係数を有しないと判定される場合、上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償が相異する参照フレームに基づいて遂行されたか否かを判定するための段階と、上記動きベクトルの差の絶対値が共に１より小さく、かつ上記動き補償が同じである参照フレームに基づいて遂行されたと判定される場合、上記二つのブロックが各々輝度補償モードに符号化されたか否かを判定して境界フィルタリング強度を決定する段階とを含む。
【００１７】
上記の技術的課題を達成するための本発明の他の実施形態による非ブロック化フィルタリング方法は、隣接した二つのブロックに対する境界フィルタリング強度を決定するための手順と、上記境界フィルタリング強度決定手順で決定された境界フィルタリング強度に基づいてフィルタリングを遂行するフィルタリング適用手順とを含み、上記境界フィルタリング強度の決定手順は、上記二つのブロックが共にイントラモードに符号化されなく、直交変換係数を有しないブロックであり、かつ上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値が共に１より小さく、動き補償で参照するフレームが同じであるという条件を満たす場合、上記二つのブロックに対して輝度補償モードに符号化されたか否かを判定する段階と、上記判定段階において、上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値が同じであると判定されるか、又は上記二つのブロックのうち輝度補償符号化されたブロックが一つもないと判定される場合、上記フィルタリング適用手順で境界フィルタリングを遂行しない値に境界フィルタリング強度を決定する段階とを含む。
【００１８】
上記の技術的課題を達成するための本発明のもう一つの実施形態による非ブロック化フィルタリングのための境界フィルタリング強度の決定方法は、隣接した二つのブロックのうち少なくとも一つのブロックがイントラ符号化されたか否かを判定するための段階と、該段階で上記二つのブロックが共にイントラ符号化されなかったと判定される場合、上記二つのブロックのうち少なくとも一つのブロックが直交変換係数を有するか否かを判定するための段階と、該段階で上記二つのブロックが共に直交変換係数を有しないと判定される場合、上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償が相異する参照フレームに基づいて遂行されたか否かを判定するための段階と、該段階で上記動きベクトルの差の絶対値が共に１より小さく、かつ上記動き補償が同じである参照フレームに基づいて遂行されたと判定される場合、上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値が相異するか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化されたか否かを判定する段階と、該段階で上記二つのブロックが共に輝度補償モードに符号化され、各ブロックの輝度変更値が相異すると判定されるか、又は上記二つのブロックのうちいずれか一つのブロックのみ輝度補償モードに符号化された場合、上記二つのブロックの輝度変更値の差又は上記一つのブロックの輝度変更値の大きさを用いて境界フィルタリング強度を決定する段階とを含む。
【００１９】
上記実施形態の一側面によれば、上記輝度変更値の大きさ又は上記輝度変更値が所定大きさの臨界値以上である場合には第１の大きさの境界フィルタリング強度に決定し、上記臨界値より小さい場合には上記第１の大きさの場合より弱い強度にフィルタリングを遂行する第２の大きさの境界フィルタリング強度に決定してもよい。この場合、上記臨界値は５であり、上記第１の大きさは、上記二つのブロックのうち少なくとも一つがイントラ符号化され、かつ上記二つのブロック境界がマクロブロック境界と一致しない場合の境界フィルタリング強度と同一であり、上記第２の大きさは、上記二つのブロックが共にイントラモードに符号化されなく、かつ０ではない変換係数を有しないブロックであり、また上記二つのブロックに対して動きベクトルのｘ軸成分又はｙ軸成分の差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償で参照するフレームが相異する場合の境界フィルタリング強度と同一であってもよい。
【発明の効果】
【００２０】
上記の課題解決手段によると、輝度補償及び／又は色差補償によって引起こされるブロッキング現象を除去するか、又は減少させることができる。特に、既存の非ブロック化フィルタリング手順の形式をそのまま維持するだけでなく、他の原因と共に輝度補償などによるブロッキング現象も共に、效率的に除去することによって画質を改善することができる。
【発明を実施するための最良の形態】
【００２１】
以下、添付図面を参照して本発明の望ましい実施形態に対して詳細に説明する。後述する実施形態は本発明の技術的思想を説明するための目的であるため、本発明の技術的思想はこの実施形態によって限定されることと解釈されてはならない。本実施形態に対する説明及び図面において、それぞれの構成要素に付加された参照符号は、説明の便宜のために記載されたものである。
【００２２】
上述したように、ブロック単位に映像を符号化する場合にはブロッキング現象が現れるが、このようなブロッキング現象を除去するか、又は減少させる方法のうち一つとしてＨ．２６４／ＡＶＣ標準に規定されている非ブロック化フィルタリング手順（Ｄｅｂｌｏｃｋｉｎｇ  Ｆｉｌｔｅｒｉｎｇ  Ｐｒｏｃｅｓｓ）がある。上記非ブロック化フィルタリング手順によれば、先ずフィルタリングの程度を分類するための境界フィルタリング強度（ｂＳ）決定手順を遂行し、ここで決定された境界フィルタリング強度に基づいて両ブロックの画素値をフィルタリングするフィルタリング適用手順を連続的に遂行する。ところが、この非ブロック化フィルタリング手順は、輝度補償及び／又は色差補償が考慮されない単一時点ビデオコーディング（Ｓｉｎｇｌｅ−ｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）に関することであるため、輝度補償及び／又は色差補償を遂行するＭＶＣなどの場合にもこれをそのまま適用するのは難しいという短所がある。
【００２３】
ところが、現在標準化が進行中であるＭＶＣにおいてはＨ．２６４／ＡＶＣ標準に規定されている既存の非ブロック化フィルタリング手順をそのまま適用することが考慮されている。図２は、ＭＶＣへの適用が考慮されている非ブロック化フィルタリング手順で境界フィルタリング強度（ｂＳ）を決定する手順を表すフローチャートである。以下、図２を参照してこれに対し簡略に説明する。
【００２４】
図２を参照すると、境界フィルタリング強度（ｂＳ）を決定するために先ず互いに隣接するブロックｐとｑのうち少なくとも一つのブロックがイントラ符号化されたか否かを判断する（Ｓ１０１）。ここでブロックｐ又はｑがイントラ符号化又はインタ符号化されたというのは、ブロックｐ又はｑがイントラ符号化されたマクロブロックであるか、又はこれに属するということを意味することができる。
【００２５】
また、ブロックｐとｑの相関関係は図３に示している。図３を参照すると、ブロックｐはブロック境界に対して左側又は上側に位置するブロックを表し、ブロックｑはブロック境界に対して右側又は下側に位置するブロックを表す。上記段階Ｓ１０１での判断結果、ブロックｐとｑのうちイントラ符号化されたブロックが一つ以上存在する場合には段階Ｓ１０２に進行し、反対に、ブロックｐとｑが共にインタ符号化された場合には段階Ｓ１０３に進行する。ここで、インタ符号化とは、現在フレームと時間が相異するか及び／又はビューが相異する再構成フレームの映像を参照フレームとして用いる予測符号化のことである。
【００２６】
段階Ｓ１０２、即ち段階Ｓ１０１でブロックｐとｑのうちイントラ符号化されたブロックが少なくとも一つ存在すると判断された場合には、ブロックｐとｑの境界がマクロブロック（Ｍａｃｒｏｂｌｏｃｋ、ＭＢ）の境界と一致するかを判断する（Ｓ１０２）。判断結果、ブロックｐとｑの境界がＭＢの境界と一致する場合には境界フィルタリング強度（ｂＳ）を４に決定する（Ｓ１０５）。反面、ブロックｐとｑの境界がＭＢの境界ではない場合には境界フィルタリング強度（ｂＳ）を３に決定する（Ｓ１０６）。境界フィルタリング強度（ｂＳ）が４である場合には後続するフィルタリング適用手順で最も強いフィルタリングが適用され、その値が小さいほどフィルタリングの強度は弱くなる。
【００２７】
段階Ｓ１０３、即ち段階Ｓ１０１でブロックｐとｑが共にインタ符号化されたブロックであると判断された場合には、ブロックｐとｑのうち少なくとも一つが直交変換係数を有するか否かを判断する（Ｓ１０３）。直交変換係数は、コーディングされた係数（Ｃｏｄｅｄ  Ｃｏｅｆｆｉｃｉｅｎｔ）又は０ではない変換係数（Ｎｏｎ−ｚｅｒｏ  Ｔｒａｎｓｆｏｒｍｅｄ  Ｃｏｅｆｆｉｃｉｅｎｔ）ともいう。判断結果、直交変換係数を有するブロックが一つ以上存在する場合には境界フィルタリング強度（ｂＳ）を２に決定する（Ｓ１０７）。反面、直交変換係数を有するブロックが一つもない場合には段階Ｓ１０４に進行する。
【００２８】
段階Ｓ１０４ではブロックｐとｑに対して動きベクトルの一成分、即ちｘ軸成分又はｙ軸成分の差の絶対値が１と同じであるか、より大きいか、及び／又は動き補償における参照フレームが相異するかを判断する（Ｓ１０４）。ここで、'参照フレームが相異する'とは、参照フレーム自体が相異するということと参照フレームの個数が相異するということを全て含む。判断結果、動きベクトルの差の絶対値のうち少なくとも一つが１以上になるか、又は動き補償における参照フレームが相異する場合には境界フィルタリング強度（ｂＳ）を１に決定する（Ｓ１０８）。反面、動きベクトルの差の絶対値が共に１より小さく、動き補償における参照フレームが同じである場合には、境界フィルタリング強度（ｂＳ）を０に決定する（Ｓ１０９）。境界フィルタリング強度（ｂＳ）が０とは、後続するフィルタリング適用手順でフィルタリングを遂行しないとのことである。
【００２９】
以上、説明した通り、ＭＶＣにおいて、現在適用することを考慮している非ブロック化フィルタリング手順における境界フィルタリング強度を決定する方法では、該当ブロックが輝度補償モード、又は色差補償モードに符号化されたかは全く考慮していない。反面、図１を参照して説明した通り、ＭＶＣにおけるビュー方向及び／又は時間方向予測符号化時には符号化効率を向上させるために輝度補償及び／又は色差補償を遂行する。このように、ビュー方向又は時間方向予測符号化時には輝度補償及び／又は色差補償を遂行する反面、非ブロック化フィルタリング手順でこれを全く考慮しないならば、上記非ブロック化フィルタリング手順を通じてブロッキング現象を完全に除去するか、又は效果的に減少させることができないという問題が発生する。
【００３０】
従って、後述する本発明の実施形態では、輝度補償モード及び／又は色差補償モードなどを用いて符号化するＭＶＣなどのような映像符号化／復号化手順において、輝度補償や色差補償などのようなブロック単位の符号化によって派生することができるブロッキング現象を一時に除去するか、又は減少させることができる方法及び装置を提案する。以下では、輝度値に対する非ブロック化フィルタリングに対して主に説明するが、本発明が輝度値に対する非ブロック化フィルタリングに対してのみ限定されることではないというのは当業者に自明である。
【００３１】
第１の実施形態
図４は、本発明の第１の実施形態による非ブロック化フィルタリング手順における境界フィルタリング強度を決定する方法の一例を示すフローチャートである。
【００３２】
図４を参照すると、先ず互いに隣接したブロックｐとブロックｑが共に輝度補償モード（Ｉｌｌｕｍｉｎａｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ  Ｍｏｄｅ、ＩＣモード）に符号化されながら両ブロックの輝度変更値（Ｉｌｌｕｍｉｎａｔｉｏｎ  Ｃｈａｎｇｅ  Ｖａｌｕｅ）が相異するか、又はブロックｐとブロックｑのうちいずれか一つのみ輝度補償モードに符号化されたか否かを判断する（Ｓ２０１）。ここで、輝度補償モードとは、ブロックｐとｑ自体又はこれを含むブロック（例えば、マクロブロック）に対するビュー方向又は時間方向予測符号化のために輝度補償が用いられた場合のことである。
【００３３】
判断結果、これに該当する場合、即ちブロックｐとｑが共に輝度補償モードに符号化されて両ブロックの輝度変更値が互いに相異するか、又はブロックｐとｑのうちいずれか一つのブロックのみ輝度補償モードに符号化された場合には、境界フィルタリング強度（ｂＳ）を０ではない任意の値（Ｋ１）に決定する（Ｓ２０２）。上記Ｋ１は、例えば、Ｈ．２６４／ＡＶＣ標準でのように１乃至４のうちいずれか一つの値であってもよい。反面、Ｓ２０１での判断結果、これに該当しない場合、例えば、ブロックｐとｑのうち輝度補償モードに符号化されたブロックがないか、又はブロックｐとｑが共に輝度補償モードに符号化されたとしても両ブロックの輝度変更値が同じである場合には、境界フィルタリング強度（ｂＳ）を０に決定する（Ｓ２０３）。ここで、境界フィルタリング強度（ｂＳ）が０とは、フィルタリング適用段階においてフィルタリングを遂行しないとのことである。
【００３４】
境界フィルタリング強度（ｂＳ）を示す上記Ｋ１は、いずれか一つの固定された値、例えば１乃至４のうちいずれか一つの値であってよい。又は、ブロックｐとｑが共に輝度補償モードである場合には、両ブロックの輝度変更値の差（即ち、両ブロックの輝度変更値の差分値の絶対値）又はブロックｐとｑのうちいずれか一つのみ輝度補償モードである場合には、そのブロックの輝度変更値の大きさ（絶対値）に応じて、上記Ｋ１値を２つ以上に可変的に決定してもよい。例えば、上記輝度変更値の差又は大きさが任意の臨界値、例えば５以上である場合には上記Ｋ１は３となり、上記差又は大きさが上記臨界値より小さい場合には、上記Ｋ１は１となるようにしてもよい。後述するように、臨界値を５とし、これを基準にＫ１を１又は３とした場合、ＭＶＣテスト映像を用いた実際シミュレーション結果で実質的な画質の改善が観察された。
【００３５】
図５は、本発明の第１の実施形態による非ブロック化フィルタリング手順で境界フィルタリング強度を決定する他の例を表すフローチャートである。以下で説明する例は、図４を参照して説明した例と比較する場合、境界フィルタリング強度を決定するための具体的な判断手順において多少差がある。
【００３６】
図５を参照すると、先ずブロックｐとｑのうち少なくとも一つが輝度補償モードであるか否かを判断する（Ｓ２１１）。判断結果、上記ブロックｐとｑのうち輝度補償モードであるブロックが一つもない場合には、境界フィルタリング強度（ｂＳ）を０に決定する（Ｓ２１４）。反面、輝度補償モードであるブロックが一つ以上存在する場合には、段階Ｓ２１２に進行する。段階Ｓ２１２では、ブロックｐとｑが共に輝度補償モードであり、また各ブロックの輝度変更値が互いに同じであるか否かを判断する（Ｓ２１２）。判断結果、これに該当しない場合には境界フィルタリング強度（ｂＳ）を０ではない任意の値（Ｋ１）に決定するが、これに該当する場合には境界フィルタリング強度（ｂＳ）を０に決定する。ここで、Ｋ１は一つの固定された値であるか、又は輝度変更値の差異や大きさに応じて変わってもよい。
【００３７】
第２の実施形態
上述した本発明の第１の実施形態による境界フィルタリング強度の決定手順と、これを用いる非ブロック化フィルタリング方法は、単に輝度補償によってもたらされるブロッキング現象のみを除去するか、又は減少させることができる。ところが、既存にも別個の非ブロック化フィルタリング手順が存在したという点を考慮すれば、映像の符号化／復号化手順で、上述した本発明の第１の実施形態と既存の非ブロック化フィルタリング手順をどのように結合するのかが問題になる。なぜならば、これによって符号化効率及び／又は映像の画質特性に相当な影響を及ぼすことができるためである。
【００３８】
上述した本発明の第１の実施形態と既存の非ブロック化フィルタリング手順の関係を結合する一つの方法として、既存の非ブロック化フィルタリング手順（例えば、Ｈ．２６４／ＡＶＣの非ブロック化フィルタリング手順）と、上記第１の実施形態による非ブロック化フィルタリング手順を並行して遂行することを考慮することができる。この場合、上記第１の実施形態による非ブロック化フィルタリング手順は既存の非ブロック化フィルタリング手順に対する前処理又は後処理として行われる。しなしながら、このような方法は符号化過程や復号化過程で非ブロック化フィルタリング手順を２回遂行しなければならないため、効率が多少落ちるだけでなく、２回の非ブロック化フィルタリングによってフィルタリング効果が相殺されてしまうおそれがある。
【００３９】
従って、このような問題点を解決するためには、既存の非ブロック化フィルタリング手順内で輝度補償如何を共に考慮する統合された非ブロック化フィルタリング手順を遂行するのが望ましい。例えば、既存の非ブロック化フィルタリング手順、より具体的には、境界フィルタリング強度を決定する時考慮する既存の判定事項と共に輝度補償モードに符号化されたかを共に考慮した後、フィルタリング適用手順はただ１回のみ遂行することによって、全体的に効率的な符号化を遂行することが可能である。
【００４０】
しかしながら、このような場合にも、既存の境界フィルタリング強度決定方法内で輝度補償符号化如何をいつ及び／又はいかなる方式に考慮するかの事項も効率的な符号化に影響を及ぼす事項である。既存の境界フィルタリング強度を決定するアルゴリズムと上述した第１の実施形態に含まれた判定事項を最適の方式に結合させることによって、非ブロック化フィルタリング効果を極大化させる必要がある。後述するように、本発明の第２の実施形態では既存の境界フィルタリング強度の決定アルゴリズムの最も最後の段階、即ちＨ．２６４／ＡＶＣ標準による境界フィルタリング強度の決定手順で境界フィルタリング強度（ｂＳ）が０となる場合にのみ、上述した第１の実施形態に含まれている判定事項である輝度補償符号化如何を別途に考慮する。併せて、本発明の第２の実施形態では、両ブロックの輝度変更値の差異又はいずれか一つのブロックの輝度変更値の大きさに基づいて境界フィルタリング強度を適切に決定することによって、より効率的に画質の改善を成し遂げようとする。
【００４１】
このように、本実施形態において、既存の境界フィルタリング強度の決定手順で特定の条件（Ｈ．２６４／ＡＶＣで境界フィルタリング強度が０になる条件）を満たす場合にのみ上述した第１の実施形態の適用を考慮する理由は、ブロッキング現象を除去又は減少させることと符号化効率を全部考慮する時、このような方法が最も効率的であるというのが実際シミュレーションデータによって確認されたためである。
【００４２】
本発明者がシミュレーションを通じて実際に獲得した実験データによる場合、ＭＶＣにおいて既存の非ブロック化フィルタリング手順をそのまま適用する場合には、境界フィルタリング強度が０になるブロックでブロッキング現象がめだつように現れると判明された。表１は、ＱＶＧＡ（Ｑｕａｒｔｅｒ  Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ）解像度を有するＭＶＣのテスト映像シークエンスのうち一つの映像シークエンスボールルーム（Ｂａｌｌｒｏｏｍ）を符号化する場合、上記映像シークエンスボールルームの１９１番目の映像を構成するブロックらのうち輝度補償されたブロックらの周辺境界で使われた境界フィルタリング強度の頻度を量子化パラメータ（Ｑｕａｎｔｉｚａｔｉｏｎ  Ｐａｒａｍｅｔｅｒ）によって表したものである。上記境界フィルタリング強度は、図２を参照して上記説明した境界フィルタリング強度の決定方法を用いて求めた。表１を参照すると、量子化パラメータの大きさに応じて、頻度が多少差はあるが、いずれの場合であっても境界フィルタリング強度が０又は１を有する場合が８０％以上になるということを分かる。また、輝度補償が適用されたブロックらのうち約４５乃至５０％程度が非ブロック化フィルタリングが適用されない値である境界フィルタリング強度が０ということがわかる。
【００４３】
【表１】
2008154221.tif 000003
【００４４】
表１によれば、輝度補償が適用されたブロックらのうち約５０％程度がフィルタリングが適用されないが、このような場合にはブロッキング現象によって主観的な画質の低下が現れざるを得ない。また、本発明者がシミュレーションを通じて獲得した表１のテスト映像でも実際にこの部分でブロッキング現象が発見された。また、上記実験結果によれば、境界フィルタリング強度（ｂＳ）が１である場合にはブロッキング現象がほとんど現れないということを確認することができた。
【００４５】
このような結果は、他のテスト映像を用いたシミュレーションデータを通じても同一に確認することができた。例えば、上記映像シークエンスボールルームの１２番目映像でも同じ結果が現れ、またＱＶＧＡ解像度を有する映像シークエンスエグジット（Ｅｘｉｔ）の３番目ビューの１２番目映像でも境界フィルタリング強度が０になるブロックの周囲でブロッキング現象がめだつように現れるということを実験を通じて確認することができた。
【００４６】
従って、本発明によれば、互いに隣接する２ブロックが共にインタモードである場合にのみ上記ブロックの符号化時に輝度補償を遂行したか否かを考慮することによって境界フィルタリング強度を決定する。特に、本発明の望ましい一側面によれば、互いに隣接する２ブロックが共にインタ符号化された場合として既存の方法（Ｈ．２６４／ＡＶＣ標準）による場合、境界フィルタリング強度が０になる場合、即ち、２ブロックが共に直交変換係数を有せず、また上記２ブロックの動きベクトルの一成分、即ちｘ軸成分又はｙ軸成分の差の絶対値（以下、単純に'動きベクトルの差'という）が全部１より小さく、かつ動き補償手順で２ブロックが参照する映像（フレーム）が同じである場合にのみ、上記２ブロックが輝度補償モードに符号化されたか否かを判定して境界フィルタリング強度を決定する。このような本発明の実施形態によれば、上記２ブロックのうち少なくとも一つがイントラモードである場合であるか、又は全てインタモードである場合であるとしても少なくとも一つのブロックが直交変換係数を有するか、又は直交変換係数を有するブロックが一つもないとしても２ブロックの動きベクトルの差が１以上になるか、又は動き補償手順で２ブロックが参照するフレームが相異する場合には、境界フィルタリング強度を決定するにあたって上記２ブロックが輝度補償モードに符号化されたか否かを判定しない。
【００４７】
以下では、上述した本発明の第２の実施形態による非ブロック化フィルタリング方法における境界フィルタリング強度の決定手順に関して、添付図面を参照して詳細に説明する。本実施形態は、全部Ｈ．２６４／ＡＶＣ標準に規定された非ブロック化フィルタリング手順に基づいたことであって、本実施形態によって決定された境界フィルタリング強度に基づいてフィルタリングを適用する具体的な方法も上記標準に規定された方法と同じ方法が適用されることができるが、本発明がこれに限定されるのではない。本明細書ではフィルタリングを適用する具体的な方法に対する詳細な説明は省略する。
【００４８】
図６ａ及び図６ｂは、本発明の第２の実施形態による非ブロック化フィルタリング手順で境界フィルタリング強度を決定する方法の一例を示すフローチャートである。
【００４９】
先ず図６ａを参照すると、先ずブロックｐとｑのうち少なくとも一つのブロックがイントラ符号化されたブロックであるか否かを判断する（Ｓ３０１）。ここでブロックｐ又はブロックｑがイントラ符号化されたか否かは、ブロックｐ又はブロックｑを含むマクロブロックがイントラ符号化されたか否かに応じて判断することができる。判断結果、イントラ符号化されたブロックが少なくとも一つ存在する場合には、段階Ｓ３０２に進行し、そうでない場合には、段階Ｓ３０３に進行する。段階Ｓ３０２では、ブロックｐとｑの境界がマクロブロックの境界と一致するかを判断する（Ｓ３０２）。判断結果、ブロックｐとｑの境界がマクロブロックの境界と一致すれば境界フィルタリング強度（ｂＳ）を４に決定し（Ｓ３０７）、そうでない場合には境界フィルタリング強度（ｂＳ）を３に決定する（Ｓ３０８）。また、段階Ｓ３０３ではブロックｐとｑのうち少なくとも一つのブロックが直交変換係数を有するか否かを判断する（Ｓ３０３）。判断結果、直交変換係数を有するブロックが少なくとも一つ存在する場合には境界フィルタリング強度（ｂＳ）を２に決定するが（Ｓ３０９）、そうでない場合には段階Ｓ３０４に進行する。段階Ｓ３０４ではブロックｐとｑの動きベクトルの差が１以上になるか、又は動き補償でブロックｐとｑが参照するフレームが相異するか否かを判断し（Ｓ３０４）、判断結果、これに該当する場合には境界フィルタリング強度（ｂＳ）を１に決定する（Ｓ３１０）。また、上記段階Ｓ３０４での判断結果、ブロックｐとｑの動きベクトルの差が１より小さく、動き補償におけるブロックｐとｑが参照するフレームが同じである場合には、従来とは違いブロック境界（ｂＳ）を無条件０に決定せず、図６ｂに手順が進行される。
【００５０】
次いで、図６ｂを参照すると、ブロックｐとｑのうち少なくとも一つのブロックが輝度補償モードに符号化されたブロックであるか否かを判断する（Ｓ３０５）。判断結果、輝度補償モードに符号化されたブロックが一つもない場合には境界フィルタリング強度（ｂＳ）を０に決定して手順を終了する（Ｓ３１２）。しなしながら、輝度補償を遂行したブロックが一つでも存在する場合には段階Ｓ３０６に進行する。
【００５１】
段階Ｓ３０６ではブロックｐとｑが共に輝度補償モードに符号化されたブロックであり、かつ各ブロックの輝度変更値が互いに同じであるか否かを判断する（Ｓ３０６）。判断結果、これに該当する場合には境界フィルタリング強度（ｂＳ）を０に決定して手順を終了する（Ｓ３１２）。反面、判断結果、これに該当しない場合、例えば、ブロックｐとｑのうちいずれか一つのブロックのみ輝度補償モードに符号化されるか、又はブロックｐとｑが共に輝度補償モードに符号化された場合であるとしても両ブロックの輝度変更値が相異する場合には境界フィルタリング強度（ｂＳ）を０ではない任意の値（Ｋ１）に決定する（Ｓ３１１）。
【００５２】
このように、本発明の第２の実施形態によれば、Ｈ．２６４／ＡＶＣ標準ではブロックｐとブロックｑに対する境界フィルタリング強度（ｂＳ）が０に決定されなければならない条件であるとしても、上記ブロックｐとｑが各々互いに相違する大きさの輝度変更値に全部輝度補償モードに符号化されたブロックであるか、又は上記ブロックｐとｑのうちいずれか一つのブロックのみ輝度補償モードに符号化されたブロックであるか否かを判断した後、境界フィルタリング強度を決定する。また、万一これに該当する場合には上記境界フィルタリング強度（ｂＳ）は０ではない所定大きさ（Ｋ１）の値に決定され、これに相応する勢いでフィルタリングを遂行する。しかしながら、これに該当しない場合には従来と同様に  境界フィルタリング強度を０に決定し、フィルタリングを遂行しない。
【００５３】
本実施形態の一側面によれば、上記Ｋ１は固定された一つの値であってもよく、この場合には後続するフィルタリング適用手順で常に同じ勢いでフィルタリングが遂行される。本実施形態の他の側面によれば、上記Ｋ１は特定条件に応じて値が変わり、フィルタリングの勢いが可変的であってもよい。例えば、ブロックｐとｑが共に輝度補償モードである場合には両ブロックの輝度変更値の差又はブロックｐとｑのうちいずれか一つのみ輝度補償モードである場合にはそのブロックの輝度変更値の大きさ（絶対値）を考慮し、境界フィルタリング強度を適応的に決定することができる。この場合、上記輝度変更値の差又は大きさが大きい場合にはフィルタリングを強く遂行し、小さい場合にはフィルタリングを弱く遂行してもよい。第１の実施形態で説明した通り、上記輝度変更値の差又は大きさが任意の臨界値、例えば５以上である場合には、上記Ｋ１が３になるようにして強いフィルタリングを遂行し、上記差又は大きさが５より小さい場合には上記Ｋ１は１になるようにして弱いフィルタリングを遂行することができる。
【００５４】
図７ａ及び図７ｂは、本発明の第２の実施形態による非ブロック化フィルタリング方法において境界フィルタリング強度を決定する手順の他の例を表すフローチャートである。
【００５５】
図７ａ及び図７ｂに示しているフローチャートにおいて、段階Ｓ３２１乃至Ｓ３２４での手順とＳ３２７乃至Ｓ３３０での手順とは、各々図６ａ及び図６ｂに示しているフローチャートの段階Ｓ３０１乃至Ｓ３０４での手順とＳ３０７乃至Ｓ３１０での手順とが同一であるため、以下ではその以外の手順についてのみ説明する。
【００５６】
図７ｂを参照すると、段階Ｓ３２４以後に段階Ｓ３２５に進行した場合、即ちブロックｐとｑが共にインタモードとして０ではない変換係数を有せず、またブロックｐとｑの動きベクトルのｘ軸成分（水平成分）の差の絶対値とｙ軸成分（垂直成分）の差の絶対値とが共に１より小さく、動き補償で参照するフレームが同じである場合、ブロックｐとｑが共に輝度補償モードに符号化され、また、この場合に各ブロックの輝度変更値が互いに相異するか、又はブロックｐとｑのうちいずれか一つのブロックのみ輝度補償モードに符号化されたか否かを判断する（Ｓ３２５）。判断結果、これに該当しない場合には境界フィルタリング強度（ｂＳ）を０に決定し（Ｓ３３３）、これに該当する場合には段階Ｓ３２６に進行する。
【００５７】
また、段階Ｓ３２６では、万一、ブロックｐとｑのうち一つブロックのみ輝度補償を遂行した場合には、そのブロックの輝度変更値の大きさが任意の臨界値（Ｔ１）以上であるか、又はブロックｐとｑが共に輝度補償を遂行した場合には、両ブロックの輝度変更値の差が任意の臨界値（Ｔ１）以上であるか否か、を判断する（Ｓ３２６）。判断結果、上記輝度変更値の大きさ又は差が上記臨界値（Ｔ１）以上である場合には境界フィルタリング強度（ｂＳ）をＫ２に決定し（Ｓ３３１）、上記臨界値（Ｔ１）より小さい場合には境界フィルタリング強度（ｂＳ）をＫ２より小さいＫ１に決定する（Ｓ３３２）。この場合に上記臨界値（Ｔ１）は５であり、また、Ｋ１は１、Ｋ２は３であってもよいが、本実施形態がこれに限定されるのではない。
【００５８】
図８は、本発明の一実施形態による非ブロック化フィルタリング装置の概略的な構成を示すブロック図である。上記非ブロック化フィルタリング装置（１０）は、例えば、ＭＶＣのための符号器又は復号器に含まれる構成要素の一つであってよい。上記非ブロック化フィルタリング装置（１０）には、上記符号器又は復号器の逆量子化及び逆変換手段で出力された画素レジデュデータと予測画素データが合算されたデータが入力されてもよい。また、上記符号器又は復号器は、ビュー方向及び／又は時間方向予測符号化又は復号化時に輝度補償及び／又は色差補償を遂行するための手段を備えた装置である。
【００５９】
図８を参照すると、非ブロック化フィルタリング装置（１０）は、境界フィルタリング強度決定部（１２）とフィルタリング遂行部（１４）とを含む。境界フィルタリング強度決定部（１２）は、図４乃至図７を参照して説明した本発明の実施形態に従って、ブロックｐとブロックｑに対する境界フィルタリング強度（ｂＳ）を決定するための手段である。境界フィルタリング強度決定部（１２）には、境界フィルタリング強度を決定するにあたって必要な情報、例えば、Ｈ．２６４／ＡＶＣ標準に規定された情報（例えば、ブロックｐとｑがイントラ符号化されたか、又はインタ符号化されかに関する情報、直交変換係数を有しているかに関する情報、参照フレームに関する情報、動きベクトル値等）外にブロックｐとブロックｑに対して輝度補償を遂行したか否かを表す情報、及び／又は、輝度補償を遂行した場合には該当ブロックの輝度変更値などが共に入力され、決定された境界フィルタリング強度（ｂＳ）が出力される。境界フィルタリング強度決定部（１２）で境界フィルタリング強度を決定する具体的な方法は上記詳細に説明したため、ここでこれに対する説明は省略する。
【００６０】
フィルタリング遂行部（１４）は、境界フィルタリング強度決定部（１２）から入力される境界フィルタリング強度（ｂＳ）に基づいて、ブロックｐとブロックｑに対する非ブロック化フィルタリングを遂行する。フィルタリング遂行部（１４）でフィルタリングを遂行する具体的な方法は特別な制限がなく、例えばＨ．２６４／ＡＶＣ標準に規定された方法が同一に用いられてもよい。上述したように、フィルタリング遂行部（１４）には逆量子化及び逆変換されたブロックｐとｑのピクセル値が入力される。
【００６１】
以上、本発明の望ましい実施形態を添付図面を参照して詳細に説明した。しかしながら、本発明の技術的思想はこのような実施形態の記載によって限定されると解釈されてはならない。
【図面の簡単な説明】
【００６２】
【図１】多視点ビデオコーディングにおける予測構造の一例を示すブロック図である。
【図２】現在多視点ビデオコーディングにおいて適用が考慮されている境界フィルタリング手順を表すフローチャートである。
【図３】非ブロック化フィルタリングに用いられるブロックｐとブロックｑの関係を表す図面である。
【図４】本発明の第１の実施形態による非ブロック化フィルタリング手順において境界フィルタリング強度を決定する過程を示すフローチャートの一例である。
【図５】本発明の第１の実施形態による非ブロック化フィルタリング手順において境界フィルタリング強度を決定する過程を示すフローチャートの他の例である。
【図６ａ】及び
【図６ｂ】本発明の第２の実施形態による非ブロック化フィルタリング手順において境界フィルタリング強度を決定する過程を示すフローチャートの一例である。
【図７ａ】及び
【図７ｂ】本発明の第２の実施形態による非ブロック化フィルタリング手順において境界フィルタリング強度を決定する過程を示すフローチャートの他の例である。
【図８】本発明の一実施形態による非ブロック化フィルタリング装置の構成を示すブロック図である。
【符号の説明】
【００６３】
ｂＳ  境界フィルタリング強度
ｐ、ｑ  ブロック
【図１】
2008154221.tif 000004
【図２】
2008154221.tif 000005
【図３】
2008154221.tif 000006
【図４】
2008154221.tif 000007
【図５】
2008154221.tif 000008
【図６ａ】
2008154221.tif 000009
【図６ｂ】
2008154221.tif 000010
【図７ａ】
2008154221.tif 000011
【図７ｂ】
2008154221.tif 000012
【図８】
2008154221.tif 000013