(57)【特許請求の範囲】
【請求項１】
ブロックベースの予測符号化を行う映像符号化方式や、前記映像符号化方式により符号化された映像を復号する映像復号方式で発生するブロック歪みを低減させるためのデブロッキング処理装置が実行するデブロッキング処理方法であって、
前記デブロッキング処理装置の検出手段が、各ブロックについて、各ブロックの画素値の変化方向を示すエッジがどちらの方向への画素値変化を示しているのかを検出する検出ステップと、
前記デブロッキング処理装置の決定手段が、デブロッキングの対象となるブロック境界を持つ処理対象ブロックおよび前記処理対象ブロックに接するブロックについて検出した前記エッジの方向に基づいて、前記ブロック境界に対して施すデブロッキングフィルタの施す方向を決定する決定ステップと、
前記デブロッキング処理装置のフィルタ実行手段が、前記決定した方向に従って、前記ブロック境界に対して前記デブロッキングフィルタを施すフィルタ実行ステップと
を有するデブロッキング処理方法。
【請求項２】
請求項１に記載のデブロッキング処理方法において、
前記検出ステップでは、前記検出手段が、各ブロックについて、各ブロックの画素値変化の水平方向の成分を検出するとともに、各ブロックの画素値変化の垂直方向の成分を検出して、検出した前記水平方向の成分および前記垂直方向の成分に基づいて、前記エッジの方向を検出するデブロッキング処理方法。
【請求項３】
請求項１に記載のデブロッキング処理方法において、
前記検出ステップでは、前記検出手段が、各ブロックについて、各ブロックを画面内符号化した場合に用いられる予測モードの情報を取得して、取得した前記予測モードの情報に基づいて、前記エッジの方向を検出するデブロッキング処理方法。
【請求項４】
請求項２に記載のデブロッキング処理方法において、
前記デブロッキング処理装置の算出手段が、各ブロックについて、検出した前記水平方向の成分および前記垂直方向の成分に基づいて、前記エッジの強度を算出する算出ステップを備え、
前記決定ステップでは、前記決定手段が、前記処理対象ブロックについて算出した前記エッジの強度と所定の閾値とを比較し、前記エッジの強度が前記所定の閾値以下である場合には、前記エッジの方向に基づいて決定した前記デブロッキングフィルタの施す方向を前記ブロック境界に直交する方向に変更するデブロッキング処理方法。
【請求項５】
請求項３に記載のデブロッキング処理方法において、
前記決定ステップでは、前記決定手段が、前記処理対象ブロックについての前記予測モードの情報が画素平均値を予測信号とする予測モードであることを示している場合には、前記エッジの方向に基づいて決定した前記デブロッキングフィルタの施す方向を前記ブロック境界に直交する方向に変更するデブロッキング処理方法。
【請求項６】
請求項１ないし５のいずれか１項に記載のデブロッキング処理方法において、
前記決定ステップでは、前記決定手段が、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックについて検出した前記エッジの方向をキーにして、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックの前記エッジの方向と前記デブロッキングフィルタの施す方向との対応関係について記述する情報を記憶する記憶手段の記憶データを参照することで、前記デブロッキングフィルタの施す方向を決定するデブロッキング処理方法。
【請求項７】
ブロックベースの予測符号化を行う映像符号化方式や、前記映像符号化方式により符号化された映像を復号する映像復号方式で発生するブロック歪みを低減させるためのデブロッキング処理装置であって、
各ブロックについて、各ブロックの画素値の変化方向を示すエッジがどちらの方向への画素値変化を示しているのかを検出する検出手段と、
デブロッキングの対象となるブロック境界を持つ処理対象ブロックおよび前記処理対象ブロックに接するブロックについて検出した前記エッジの方向に基づいて、前記ブロック境界に対して施すデブロッキングフィルタの施す方向を決定する決定手段と、
前記決定した方向に従って、前記ブロック境界に対して前記デブロッキングフィルタを施すフィルタ実行手段と
を有するデブロッキング処理装置。
【請求項８】
請求項７に記載のデブロッキング処理装置において、
前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックの前記エッジの方向と前記デブロッキングフィルタの施す方向との対応関係について記述する情報を記憶する記憶手段を備え、
前記決定手段は、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックについて検出した前記エッジの方向をキーにして、前記記憶手段の記憶データを参照することで、前記デブロッキングフィルタの施す方向を決定するデブロッキング処理装置。
【請求項９】
請求項１ないし６のいずれか１項に記載のデブロッキング処理方法の各ステップをコンピュータに実行させるためのデブロッキング処理プログラム。
【請求項１０】
請求項１ないし６のいずれか１項に記載のデブロッキング処理方法の各ステップをコンピュータに実行させるためのデブロッキング処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ブロックベースの予測符号化を実装する映像符号化装置や映像復号装置で用いられるデブロッキング処理方法およびその装置と、そのデブロッキング処理方法の実現に用いられるデブロッキング処理プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
本願は、２００８年１０月２２日に、日本に出願された特願２００８−２７１４９６号に基づいて優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
映像符号化において、異なる画面間で予測を実行する画面間予測符号化（動き補償）では、参照する画像は復号された画像を用いるようにしている。このため、低ビットレートで符号化する場合、ブロック歪みが発生して復号された画像は劣化し、その劣化した画像を参照するため、画質劣化が伝播する問題があった。【０００３】
そこで、ブロック歪みを低減させるループ内フィルタが提案されており、映像符号化標準に導入されている。また、現在、国際標準化会合ＩＳＯ  ＭＰＥＧ（Moving Picture Experts Group）やＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）  ＶＣＥＧ（Video Coding Experts Group）でもループ内フィルタに限らず、プレフィルタやポストフィルタも含めてフィルタ関連の提案は数多くされ、活発に議論されている。プレフィルタやポストフィルタと異なり、ループ内フィルタを使用することで、フィルタがかかる対象画像の画質が改善されるだけでなく、その画像を参照する後続のフレームへの影響も改善され、映像全体の画質向上（符号化効率改善）が可能になる。このため、ループ内フィルタの改善は非常に期待される領域である。 【０００４】
映像情報を符号化する場合、現状のＭＰＥＧ−１やＭＰＥＧ−２やＭＰＥＧ−４やＨ．２６１やＨ．２６２やＨ．２６４などの映像符号化標準においては、画像をＭ×Ｎ（ＭおよびＮは２の倍数、例えば４，８，１６）のブロックに分割して符号化を行う。分割後、画面内や画面間で、処理対象ブロックと参照ブロック（復号したブロック）との差分を取り、その残差信号を直交変換し、量子化をしてエントロピー符号化を施し、バイナリデータとして出力する。【０００５】
人間の視覚特性が高周波に鈍感であることを利用して、量子化をする際に、画像の高周波成分は削除される。このときブロック単位で高周波成分が落とされるため、復号された画像では、ブロックの境界が目立ち、ブロック状のノイズが乗ることになる。特に映像に割り当てられる符号量が低い状況（すなわち、低ビットレート）では、ブロックノイズが顕著に視認される。【０００６】
動き補償型画面間予測符号化においては、過去もしくは未来にある参照フレームと処理対象フレームとの残差信号および動きベクトル（移動量）を送信することで、時間方向の冗長性を削減する。この動き補償型画面間予測符号化においては、参照先の画像にブロック状のノイズが含まれていて劣化している場合、参照フレームと処理対象フレームとの間の差分を取ると、その残差信号は増え、符号化効率の低下を招く結果となる。【０００７】
そこで、Ｈ．２６４／ＡＶＣでは、参照フレーム、すなわち復号画像をフレームメモリに格納する際に、符号化時に発生するブロックノイズを減少させるフィルタを使用する。本フィルタをデブロッキングフィルタと呼ぶ。【０００８】
なお、以上に記載した点については、下記に示す非特許文献１のpp. 140-144およびp. 269に記載されている。【０００９】
図２４Ａに、符号化の工程におけるデブロッキングフィルタの位置を示し、図２４Ｂに、復号の工程におけるデブロッキングフィルタの位置を示す。【００１０】
デブロッキングフィルタの処理は、１つのマクロブロック（以下、ＭＢと略記する）を分割して得られる１６個のブロック（４×４）の各ブロック境界に対して施される。また、ＭＢ境界の場合、隣接ＭＢが存在すれば、フィルタに必要な画素が得られるため、処理を同様に施す。【００１１】
図２５Ａおよび図２５Ｂに、具体的な処理箇所を示す。ここで、図２５Ａは垂直方向のブロック境界に関するフィルタの位置を示す。また、図２５Ｂは水平方向のブロック境界に関するフィルタ位置を示す。ただし、処理対象ＭＢが輝度信号の８×８ブロックで処理された場合には、基本的に実線部分のみ処理を施し、輝度信号そして色差信号の４×４ブロックで処理された場合には、実線と破線部分の両方を処理する。【００１２】
なお、以上に記載した点については、下記に示す非特許文献２のpp. 182-193に記載されている。【００１３】
画像の特性によって、ブロック歪みが発生し易い箇所と発生しにくい箇所があるため、デブロッキングフィルタの処理は適応的に施される。具体的には、
・境界強度（Ｂｓ値：Boundary Strength)
・境界間画素の差分の絶対値
の条件に従って、処理が変化する。下記の表１に、境界強度の定義を示す。【００１４】
【表１】
0005503548.tif 000002
【００１５】
また、図２５Ａおよび図２５Ｂに示されるように、１つのブロックの画素値をｐm （０≦ｍ＜４：ブロック境界に近いほど添字は小さい）、もう一方のブロックの画素値をｑn （０≦ｎ＜４：ブロック境界に近いほど添字は小さい）とする場合、
１．Ｂｓ＞０
２．|ｐ0−ｑ0|＜α ＆＆ |ｐ1−ｐ0|＜β ＆＆ |ｑ1−ｑ0|＜β
という２つの条件を満たす場合に、デブロッキングフィルタは動作する。【００１６】
ここで、αおよびβは符号化時に定める量子化パラメータ（ＱＰ：Quantization Parameter）に依存して、一意に定まる。また、ユーザー側もスライスヘッダに含まれる２つのパラメータslice＿alpha＿c0＿offset＿div2およびslice＿beta＿offset＿div2のフラグを利用することで、αおよびβを調整することが可能となっている。【００１７】
さらに、上記の２つのパラメータ以外に、ピクチャパラメータセット（ヘッダ部分）にて、deblocking＿filter＿control＿present＿flagおよびdisable＿deblocking＿filter＿idc の２つのパラメータにより、
１．ブロック境界、およびＭＢ境界にデブロッキングフィルタを施す
２．ＭＢ境界のみにデブロッキングフィルタを施す
３．デブロッキングフィルタを施さない
というように、３種類のレベルに分けて、デブロッキングフィルタの制御が可能となっている。【００１８】
なお、デブロッキングフィルタとは関係しないが、画面内予測の性能を改善する様々な手法が提案されている。本発明者も、画像のテクスチャに合わせて傾斜を付けて予測することで画面内予測の性能を改善する手法を提案している（非特許文献３参照）。
【先行技術文献】
【非特許文献】
【００１９】
【非特許文献１】大久保榮, 角野眞也, 菊池義浩, 鈴木輝彦： "改訂版  Ｈ．２６４／ＡＶＣ教科書",インプレス, 2006
【非特許文献２】ITU-T Study Group 16-Questions 6/16 : "Draft new Corrigendum 1 to H.264 Advanced video coding for generic audiovisual services", 2005
【非特許文献３】松尾翔平, 高村誠之, 上倉一人, 八島由幸： "傾斜付きイントラ予測の基礎検討",画像符号化シンポジウムPCSJ2007
【発明の概要】
【発明が解決しようとする課題】
【００２０】
従来のデブロッキングフィルタでは、ブロック境界に対して、常に垂直方向（９０°）に画素をとり、（ｉ）境界強度と、（ii）選択された画素の差分の絶対値という２つの条件によって、フィルタ処理を適応的に施していた。【００２１】
しかしながら、従来技術では垂直方向のみの画素処理になるため、仮に符号化対象画像が固有の斜め方向のテクスチャ（例えば、斜めの模様や線）を有する場合、そのテクスチャをぼかしてしまう可能性があった。【００２２】
すなわち、従来のデブロッキングフィルタは適応的に処理を施すものの、元来画像に含まれるテクスチャの方向を考慮して処理するという機構は有していない。このため、従来技術に従っていると、本来残すべきテクスチャに対してもフィルタを施してしまうことから、斜めのテクスチャ成分が滑らかになり、主観画質が劣化する可能性があった。【００２３】
本発明はかかる事情に鑑みてなされたものであって、画像に残すべき斜め方向のテクスチャを保存し、かつブロックノイズを効率的に削減可能とする新たなデブロッキング処理技術の提供を目的とするものである。また、これにより、単一画像の主観画質向上だけでなく、画質が向上した画像を参照することにより画面間予測符号化の性能も向上させることで、映像情報全体の符号化効率向上を実現可能とすることを目的とするものである。
【課題を解決するための手段】
【００２４】
この目的を達成するために、本発明のデブロッキング処理方法は、ブロックベースの予測符号化を行う映像符号化方式や、前記映像符号化方式により符号化された映像を復号する映像復号方式で発生するブロック歪みを低減させるためのデブロッキング処理装置が実行するデブロッキング処理方法であって、前記デブロッキング処理装置の検出手段が、各ブロックについて、各ブロックの画素値の変化方向を示すエッジがどちらの方向への画素値変化を示しているのかを検出する検出ステップと、前記デブロッキング処理装置の決定手段が、デブロッキングの対象となるブロック境界を持つ処理対象ブロックおよび前記処理対象ブロックに接するブロックについて検出した前記エッジの方向に基づいて、前記ブロック境界に対して施すデブロッキングフィルタの施す方向を決定する決定ステップと、前記デブロッキング処理装置のフィルタ実行手段が、前記決定した方向に従って、前記ブロック境界に対して前記デブロッキングフィルタを施すフィルタ実行ステップとを有する。
【００２５】
本発明のデブロッキング処理方法において、前記検出ステップでは、前記検出手段が、各ブロックについて、各ブロックの画素値変化の水平方向の成分を検出するとともに、各ブロックの画素値変化の垂直方向の成分を検出して、検出した前記水平方向の成分および前記垂直方向の成分に基づいて、前記エッジの方向を検出するようにしても良い。
【００２６】
本発明のデブロッキング処理方法において、前記検出ステップでは、前記検出手段が、各ブロックについて、各ブロックを画面内符号化した場合に用いられる予測モードの情報を取得して、取得した前記予測モードの情報に基づいて、前記エッジの方向を検出するようにしても良い。
【００２７】
本発明のデブロッキング処理方法において、前記デブロッキング処理装置の算出手段が、各ブロックについて、検出した前記水平方向の成分および前記垂直方向の成分に基づいて、前記エッジの強度を算出する算出ステップを備え、前記決定ステップでは、前記決定手段が、前記処理対象ブロックについて算出した前記エッジの強度と所定の閾値とを比較し、前記エッジの強度が前記所定の閾値以下である場合には、前記エッジの方向に基づいて決定した前記デブロッキングフィルタの施す方向を前記ブロック境界に直交する方向に変更するようにしても良い。
【００２８】
本発明のデブロッキング処理方法において、前記決定ステップでは、前記決定手段が、前記処理対象ブロックについての前記予測モードの情報が画素平均値を予測信号とする予測モードであることを示している場合には、前記エッジの方向に基づいて決定した前記デブロッキングフィルタの施す方向を前記ブロック境界に直交する方向に変更するようにしても良い。
【００２９】
本発明のデブロッキング処理方法において、前記決定ステップでは、前記決定手段が、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックについて検出した前記エッジの方向をキーにして、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックの前記エッジの方向と前記デブロッキングフィルタの施す方向との対応関係について記述する情報を記憶する記憶手段の記憶データを参照することで、前記デブロッキングフィルタの施す方向を決定するようにしても良い。
【００３０】
本発明のデブロッキング処理装置は、ブロックベースの予測符号化を行う映像符号化方式や、前記映像符号化方式により符号化された映像を復号する映像復号方式で発生するブロック歪みを低減させるためのデブロッキング処理装置であって、各ブロックについて、各ブロックの画素値の変化方向を示すエッジがどちらの方向への画素値変化を示しているのかを検出する検出手段と、デブロッキングの対象となるブロック境界を持つ処理対象ブロックおよび前記処理対象ブロックに接するブロックについて検出した前記エッジの方向に基づいて、前記ブロック境界に対して施すデブロッキングフィルタの施す方向を決定する決定手段と、前記決定した方向に従って、前記ブロック境界に対して前記デブロッキングフィルタを施すフィルタ実行手段とを有する。【００３１】
本発明のデブロッキング処理装置において、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックの前記エッジの方向と前記デブロッキングフィルタの施す方向との対応関係について記述する情報を記憶する記憶手段を備え、前記決定手段は、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックについて検出した前記エッジの方向をキーにして、前記記憶手段の記憶データを参照することで、前記デブロッキングフィルタの施す方向を決定するようにしても良い。【００３２】
本発明のデブロッキング処理プログラムは、上記デブロッキング処理方法の各ステップをコンピュータに実行させるためのデブロッキング処理プログラムである。
【００３３】
本発明のコンピュータ読み取り可能な記録媒体は、上記デブロッキング処理方法の各ステップをコンピュータに実行させるためのデブロッキング処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００３４】
以上説明したように、本発明によれば、従来のデブロッキングフィルタでは斜め方向のエッジが保存できず、画質の劣化を招くと考えられる斜め方向のエッジを多く含む画像に対して、保存すべき斜め方向のテクスチャも保存しつつ、ブロック境界に存在するブロックノイズを削減することができるようになる。したがって、主観画質の向上を実現できるようになる。【００３５】
そして、本発明によれば、デコードされる画像が高画質化されることから、この画像を参照する画面間予測符号化にて、残差信号を低下させることができ、その結果として符号化効率の向上を実現できるようになる。
【図面の簡単な説明】
【００３６】
【図１】本発明の基本原理を示す説明図である。
【図２】エッジ方向の説明図である。
【図３】本発明の第１の実施形態に従ったデブロッキング処理装置の構成図である。
【図４】第１の実施形態のデブロッキング処理装置が実行するフローチャートである。
【図５】第１の実施形態のデブロッキング処理装置が実行するフローチャートである。
【図６】第１の実施形態のデブロッキング処理装置が実行するフローチャートである。
【図７】第１の実施形態のデブロッキング処理装置が実行するフローチャートである。
【図８】第１の実施形態のデブロッキング処理装置が実行するフローチャートである。
【図９】第１の実施形態のデブロッキング処理装置が実行するフローチャートである。
【図１０】エッジ方向の検出処理の説明図である。
【図１１】エッジ方向の検出処理の説明図である。
【図１２】エッジ方向を区分けするエッジタイプの説明図である。
【図１３】フィルタ処理画素の決定処理の説明図である。
【図１４Ａ】フィルタ処理画素の決定処理の説明図である。
【図１４Ｂ】フィルタ処理画素の決定処理の説明図である。
【図１４Ｃ】フィルタ処理画素の決定処理の説明図である。
【図１４Ｄ】フィルタ処理画素の決定処理の説明図である。
【図１４Ｅ】フィルタ処理画素の決定処理の説明図である。
【図１５Ａ】フィルタ処理画素の決定処理の説明図である。
【図１５Ｂ】フィルタ処理画素の決定処理の説明図である。
【図１５Ｃ】フィルタ処理画素の決定処理の説明図である。
【図１５Ｄ】フィルタ処理画素の決定処理の説明図である。
【図１５Ｅ】フィルタ処理画素の決定処理の説明図である。
【図１５Ｆ】フィルタ処理画素の決定処理の説明図である。
【図１５Ｇ】フィルタ処理画素の決定処理の説明図である。
【図１６】フィルタ処理画素の決定処理の説明図である。
【図１７Ａ】フィルタ処理画素の決定処理の説明図である。
【図１７Ｂ】フィルタ処理画素の決定処理の説明図である。
【図１７Ｃ】フィルタ処理画素の決定処理の説明図である。
【図１７Ｄ】フィルタ処理画素の決定処理の説明図である。
【図１７Ｅ】フィルタ処理画素の決定処理の説明図である。
【図１７Ｆ】フィルタ処理画素の決定処理の説明図である。
【図１７Ｇ】フィルタ処理画素の決定処理の説明図である。
【図１８】フィルタ処理画素決定用情報記憶部の記憶する情報の説明図である。
【図１９Ａ】本発明の第１の実施形態の有効性を検証するために行った実験結果の説明図である。
【図１９Ｂ】本発明の第１の実施形態の有効性を検証するために行った実験結果の説明図である。
【図２０】本発明の第２の実施形態に従ったデブロッキング処理装置の構成図である。
【図２１】第２の実施形態のデブロッキング処理装置が実行するフローチャートである。
【図２２】第２の実施形態のデブロッキング処理装置が実行するフローチャートである。
【図２３】第３の実施形態のデブロッキング処理装置が実行するフローチャートである。
【図２４Ａ】符号化の工程におけるデブロッキングフィルタの実装位置の説明図である。
【図２４Ｂ】復号の工程におけるデブロッキングフィルタの実装位置の説明図である。
【図２５Ａ】垂直方向のブロック境界に関するデブロッキングフィルタの位置を示す説明図である。
【図２５Ｂ】水平方向のブロック境界に関するデブロッキングフィルタの位置を示す説明図である。
【発明を実施するための形態】
【００３７】
まず、本発明の実施形態を説明するのに先立ち、本発明が適用されるデブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムの基本原理について説明する。本発明が適用されるデブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラムでは、ブロック境界に対する垂直方向のみだけでなく、画像の有するテクスチャの向きに応じてフィルタの方向を適応的に変化させて画素変換処理を施すようにしている。これにより、画像固有のテクスチャを保存しつつ、ブロックノイズを効率的に削減することが可能となり、主観画質を向上させるデブロッキングフィルタを実現することができるようになる。
【００３８】
図１の（ａ）部分に示すように、符号化対象ブロックが斜め方向にテクスチャを含む場合を想定する。
【００３９】
この場合、図１の（ｂ）部分のように、従来のデブロッキングフィルタを施すと、ブロック境界のブロックノイズは削減できるが、斜めのテクスチャも状況に応じて平滑化するため、テクスチャに影響を与える可能性がある。
【００４０】
そこで、図１の（ｃ）部分のように、テクスチャの向きに応じて斜め方向にフィルタ処理を行うことで、テクスチャを残しつつ、ブロックノイズを削減させる。これにより、主観画質の向上を実現できるとともに、処理画像を参照する場合の残差信号の削減を実現でき、符号化効率の向上も実現できるようになる。
【００４１】
次に、このことを実現するデブロッキング処理装置の構成について説明する。
【００４２】
このデブロッキング処理装置は、ブロックベースの予測符号化を行う映像符号化方式や、前記映像符号化方式により符号化された映像を復号する映像復号方式で発生するブロック歪みを低減させることを実現するために、（１）各ブロックについて、各ブロックの画素値の変化方向を示すエッジがどちらの方向への画素値変化を示しているのかを検出する検出手段と、（２）デブロッキングの対象となるブロック境界を持つ処理対象ブロックおよび前記処理対象ブロックに接するブロック（上下左右斜め方向で接するブロック）について検出した前記エッジの方向に基づいて、前記ブロック境界に対して施すデブロッキングフィルタの施す方向を決定する決定手段と、（３）前記決定手段の決定した方向に従って、前記デブロッキングの対象となる前記ブロック境界に対して前記デブロッキングフィルタを施すフィルタ実行手段とを備える。
【００４３】
さらに、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックの前記エッジの方向と前記デブロッキングフィルタの施す方向との対応関係について記述する情報を記憶する記憶手段を備えることがある。この場合には、前記決定手段は、前記処理対象ブロックおよび前記処理対象ブロックに接する前記ブロックについて検出された前記エッジの方向をキーにして、この記憶手段の記憶データを参照することで、前記デブロッキングフィルタの施す方向を決定することになる。
【００４４】
この構成を採るときに、検出手段は、各ブロックについて、各ブロックの画素値の水平方向の成分を検出するとともに、各ブロックの画素値変化の垂直方向の成分を検出して、検出した前記水平方向の成分および前記垂直方向の成分に基づいて、前記エッジの方向を検出することがある。
【００４５】
この場合に、各ブロックについて、前記検出手段の検出した前記水平方向の成分および前記垂直方向の成分に基づいて、前記エッジの強度を算出する算出手段を備えることがある。この算出手段を備える場合において、前記決定手段は、前記算出手段が前記処理対象ブロックについて算出した前記エッジの強度と所定の閾値とを比較し、前記エッジの強度が前記所定の閾値以下である場合には、前記検出手段の検出した前記エッジの方向に基づいて決定した前記デブロッキングフィルタの施す方向を前記デブロッキングの対象となる前記ブロック境界に直交する方向に変更することがある。
【００４６】
また、この構成を採るときに、前記検出手段は、各ブロックについて、各ブロックを画面内符号化した場合に用いられる予測モードの情報を取得して、取得した前記予測モードの情報に基づいて、エッジの方向を検出することがある。
【００４７】
この場合に、前記決定手段は、前記処理対象ブロックについての前記予測モードの情報が画素平均値を予測信号とする予測モードであることを指名している場合には、前記検出手段の検出した前記エッジの方向に基づいて決定した前記デブロッキングフィルタの施す方向を前記デブロッキングの対象となる前記ブロック境界に直交する方向に変更することがある。
【００４８】
以上の各処理手段が動作することで実現されるデブロッキング処理方法はコンピュータプログラムでも実現できるものである。このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供されたりして、デブロッキング処理方法を実施する際にコンピュータにインストールされてＣＰＵ（中央処理装置）などの制御手段上で動作することによりデブロッキング処理方法を実現することになる。
【００４９】
この構成により、ブロック境界に対する斜め方向についてもデブロッキングフィルタ処理を可能にする。その結果、保存すべき斜め方向のテクスチャも保存しつつ、ブロック境界に存在するブロックノイズを削減することが可能となり、主観画質の向上を実現できる。
【００５０】
また、デコードされる画像が高画質化されることから、この画像を参照する画面間予測符号化において残差信号を低下させることができ、その結果として符号化効率の向上も実現可能となる。
【００５１】
これに対して、従来のデブロッキングフィルタでは、ブロック境界に対して垂直方向にしか画素変更処理ができなかった。したがって、ブロック境界に存在するブロックノイズを平滑化する際に、本来画像が有する斜め方向のテクスチャをぼかしてしまい、主観画質の劣化を招く可能性があった。
【００５２】
次に、実施形態に従って本発明を詳細に説明する。
【００５３】
以下、本発明に言うエッジとは、輝度信号の変化の向きを意味し、図２に示すように、テクスチャの方向に対して直角になるものである。
【００５４】
〔第１の実施形態〕
まず最初に、本発明の第１の実施形態に従ったデブロッキング処理装置１について説明する。
【００５５】
図３に、本発明の第１の実施形態に従ったデブロッキング処理装置１の構成を図示する。
【００５６】
このデブロッキング処理装置１は、図２４Ａや図２４Ｂに示すような形態で映像符号化装置や映像復号装置に実装されるものである。図３に示すように、本実施形態により構成されるデブロッキング処理装置１は、画素決定部４０にて使用するブロック内のエッジ成分を導出して、そのブロック内のエッジの方向を検出するエッジ検出部１０と、エッジ検出部１０の検出結果を記憶するエッジ方向情報記憶部２０と、デブロッキングフィルタの処理対象となる画素（フィルタ処理画素）の決定に用いる情報を記憶するフィルタ処理画素決定用情報記憶部３０と、エッジ方向情報記憶部２０およびフィルタ処理画素決定用情報記憶部３０の記憶する情報を参照することで、エッジ検出部１０により検出されたエッジの方向から、実際のフィルタ処理に用いる画素を決定する画素決定部４０と、画素決定部４０により決定された画素を用いて、フィルタ処理を使用するかどうかを決定するフィルタ使用判定部５０と、画素決定部４０により決定された画素に対してフィルタ処理を実行するフィルタ処理部６０と、ＭＢの最後のブロック境界かどうかを判定することで処理の終了を判断する処理終了判定部７０とから構成される。
【００５７】
なお、フィルタ処理画素決定用情報記憶部３０の記憶するフィルタ処理画素の決定に用いる情報については図１８を参照して詳述する。
【００５８】
このエッジ検出部１０は、図３に示すように、ＭＢ内の各ブロックの水平方向のエッジ成分を導出するｘ方向エッジ成分導出部１１と、ＭＢ内の各ブロックの垂直方向のエッジ成分を導出するｙ方向エッジ成分導出部１２と、ｘ方向エッジ成分導出部１１およびｙ方向エッジ成分導出部１２により導出されたエッジ成分を用いて各ブロックのエッジの方向を決定して、エッジ方向情報記憶部２０に保存するエッジ方向決定部１３とから構成される。
【００５９】
また、画素決定部４０は、図３に示すように、エッジ方向情報記憶部２０の記憶する情報を参照することで、ＭＢ内の各ブロック境界に関わるエッジの方向を確認する隣接ブロックエッジ確認部４１と、フィルタ処理画素決定用情報記憶部３０の記憶する情報を参照することで、隣接ブロックエッジ確認部４１により確認されたエッジの方向に基づいて、デブロッキングフィルタの処理対象となる画素を決定するフィルタ処理画素決定部４２とから構成される。
【００６０】
図４〜図９に、このように構成される本実施形態のデブロッキング処理装置１が１つのＭＢ内の４×４ブロック境界を処理する場合に実行するフローチャートの一例を図示する。
【００６１】
次に、これらのフローチャートに従って、本実施形態のデブロッキング処理装置１の実行する処理について詳細に説明する。
【００６２】
なお、以下では、特に断りがない限り、ブロックサイズは４×４で、処理対象は輝度信号とする。また、エッジの方向については、４方向（水平（０°）、垂直（９０°）、斜め（４５°および１３５°))と仮定する。
【００６３】
〔１〕本実施形態の実行するフローチャート
〔１−１〕全体的なフローチャート
図４に、本実施形態のデブロッキング処理装置１の実行する一連の処理の全体的なフローチャートを図示する。
【００６４】
ここで、これから示す処理はＭＢ単位で行い、画像に含まれるＭＢに対して順番に適用することで実行される。
【００６５】
本実施形態のデブロッキング処理装置１は、図４のフローチャートに示すように、まず最初に、ステップＳ１０１にて、ＭＢ内の１６個の４×４ブロックにおける全てのエッジの方向を検出し、その情報をエッジ方向情報記憶部２０に保存する。エッジの方向の検出方法については、ステップＳ２０１〜ステップＳ２０３（図５のフローチャート）で後述する。
【００６６】
続いて、ステップＳ１０２にて、ステップＳ１０１で求まったエッジの方向からフィルタ方向の選択を行う。フィルタ方向の選択後、デブロッキングフィルタの処理に必要となる８点の画素を指定する。フィルタ方向の選択と画素の指定の仕方の詳細については、ステップＳ６０１〜ステップＳ６０２（図９のフローチャート）で後述する。
【００６７】
続いて、ステップＳ１０３にて、未選択のブロックを１つ選択して、その選択したブロックについて、デブロッキングフィルタ処理の使用有無の判定を行う。これは従来のＨ．２６４／ＡＶＣに定義されている判定条件を用いる。もしフィルタを使用する場合は、ステップＳ１０４に進む。もしフィルタを使用しない場合は、次のブロック処理へ進むために、処理の位置が最終ブロックに到達したかどうかの判定を行うステップＳ１０５へ進む。
【００６８】
続いて、ステップＳ１０４にて、ステップＳ１０２にて選択された８点の画素を用い、実際にフィルタ処理を実行する。
【００６９】
続いて、ステップＳ１０５にて、次のブロックへと処理を進めるかどうかの判定を行う。処理対象ブロックが最終ブロックでなければ、そのまま次のブロックへ処理を進めるので、ステップＳ１０３の処理へ戻る。最終ブロックまで処理が終わっていれば、処理を終了する。
【００７０】
〔１−２〕ステップＳ１０１の処理の詳細
〔１−２−１〕ステップＳ１０１の全体的な処理
次に、図５のフローチャートに従って、ステップＳ１０１にて実行する処理の詳細について説明する。
【００７１】
本実施形態のデブロッキング処理装置１は、図４のフローチャートのステップＳ１０１の処理に入ると、図５のフローチャートに示すように、まず最初に、ステップＳ２０１にて、ｘ方向（水平方向）のエッジ成分の導出を行う。続いて、ステップＳ２０２にて、ｙ方向（垂直方向）のエッジ成分の導出を行う。続いて、ステップＳ２０３にて、ステップＳ２０１とステップＳ２０２にて求まった各方向のエッジ成分から、ブロックの有するエッジの方向を決定する。
【００７２】
次に、ステップＳ２０１、Ｓ２０２、Ｓ２０３の処理の詳細について、それぞれ順番に説明する。
【００７３】
〔１−２−２〕ステップＳ２０１の処理の詳細
図６のフローチャートに従って、ステップＳ２０１にて実行する処理の詳細について説明する。
【００７４】
本実施形態のデブロッキング処理装置１は、図５のフローチャートのステップＳ２０１の処理に入ると、図６のフローチャートに示すように、まず最初に、ステップＳ３０１にて、フィルタｆｘ＝｛−１，１｝（図１０を参照）を対象ブロックに対して水平方向に施し、得られる行列をエッジマトリクスｘ（ＥＭｘ）と定義する（図１０を参照）。
【００７５】
続いて、ステップＳ３０２にて、ステップＳ３０１で得られたＥＭｘに対して、各成分の和を取る。この値をＳｘとする。Ｓｘはエッジの水平方向成分を示し、プラスならば左から右へ輝度値が上昇する傾向があることを意味し、マイナスの場合は、左から右へ輝度値が減少する傾向があることを意味する。
【００７６】
図１０に、ステップＳ２０１にて実行する処理の概念図を示す。この図１０において、４×４ブロックの大きさを持つエッジマトリクスｘ（ＥＭｘ）の各要素値をＥＭｘ（ｉ，ｊ）とし、ｉは１以上の整数でｘ方向の位置を示し、ｊは１以上の整数でｙ方向の位置を示す。図１０に示すように、例えば、画素値２８及び３１をそれぞれ有する２つの画素に対してフィルタｆｘ＝｛−１，＋１｝を施すことで、ＥＭｘの成分として３０−２８＝２が得られる。また、ＥＭｘの１２個の成分の和を取ることで、Ｓｘとして３１が得られる。
【００７７】
〔１−２−３〕ステップＳ２０２の処理の詳細
図７のフローチャートに従って、ステップＳ２０２にて実行する処理の詳細について説明する。
【００７８】
本実施形態のデブロッキング処理装置１は、図５のフローチャートのステップＳ２０２の処理に入ると、図７のフローチャートに示すように、まず最初に、ステップＳ４０１にて、フィルタｆｙ＝｛−１，１｝（図１１を参照）を対象ブロックに対して垂直方向に施し、得られる行列をエッジマトリクスｙ（ＥＭｙ）と定義する（図１１を参照）。
【００７９】
続いて、ステップＳ４０２にて、ステップＳ４０１で得られたＥＭｙに対して、各成分の和を取る。この値をＳｙとする。Ｓｙはエッジの垂直方向成分を示し、プラスならば上から下へ輝度値が上昇する傾向があることを意味し、マイナスの場合は、上から下へ輝度値が減少する傾向があることを意味する。
【００８０】
図１１に、ステップＳ２０２にて実行する処理の概念図を示す。この図１１において、４×４ブロックの大きさを持つエッジマトリクスｙ（ＥＭｙ）の各要素値をＥＭｙ（ｉ，ｊ）とし、ｉは１以上の整数でｘ方向の位置を示し、ｊは１以上の整数でｙ方向の位置を示す。図１１に示すように、例えば、画素値３０及び３３をそれぞれ有する２つの画素に対してフィルタｆｙ＝｛−１，＋１｝を施すことで、ＥＭｙの成分として３３−３０＝３が得られる。また、ＥＭｙの１２個の成分の和を取ることで、Ｓｙとして２８が得られる。
【００８１】
〔１−２−４〕ステップＳ２０３の処理の詳細
図８のフローチャートに従って、ステップＳ２０３にて実行する処理の詳細について説明する。
【００８２】
本実施形態のデブロッキング処理装置１は、図５のフローチャートのステップＳ２０３の処理に入ると、図８のフローチャートに示すように、まず最初に、ステップＳ５０１にて、ステップＳ３０２で求めたＳｘおよびステップＳ４０２で求めたＳｙを、
Ｄ＝Ｓｙ／Ｓｘ
という式に代入して、ブロックの有するエッジの角度Ｄを求める。
【００８３】
続いて、ステップＳ５０２にて、ステップＳ５０１で求めたエッジ角度Ｄから、エッジの方向を決定する。例えば、エッジの方向が４種類の場合、下記の表２の場合分けにしたがって、エッジの方向（エッジタイプ）を決定する。
【００８４】
【表２】
0005503548.tif 000003
【００８５】
図１２に示すように、“Ｄ＝０．４１４”はエッジ角度Ｄが２２．５°であること（ｔａｎ２２．５°≒０．４１４に由来）を意味し、“Ｄ＝２．４１４”はエッジ角度Ｄが６７．５°であること（ｔａｎ６７．５°≒２．４１４に由来）を意味し、“Ｄ＝−２．４１４”はエッジ角度Ｄが１１２．５°であること（ｔａｎ１１２．５°≒−２．４１４に由来）を意味し、“Ｄ＝−０．４１４”はエッジ角度Ｄが１５７．５°であること（ｔａｎ１５７．５°≒−０．４１４に由来）を意味している。
【００８６】
これから、表２に示す“Ｄ≦−2.414 ，2.414 ＜Ｄ”の指すエッジタイプ３は、図１２に示すように、エッジ角度Ｄが６７．５°〜１１２．５°（２４７．５°〜２９２．５°）にあることを意味する（代表角度＝９０°，２７０°）。また、表２に示す“−2.414 ＜Ｄ≦−0.414 ”の指すエッジタイプ４は、図１２に示すように、エッジ角度Ｄが１１２．５°〜１５７．５°（２９２．５°〜３３７．５°）にあることを意味する（代表角度＝１３５°，３１５°）。また、表２に示す“−0.414 ＜Ｄ≦0.414 ”の指すエッジタイプ１は、図１２に示すように、エッジ角度Ｄが１５７．５°〜２０２．５°（３３７．５°〜２２．５°）にあることを意味する（代表角度＝０°（＝３６０°），１８０°）。また、表２に示す“0.414 ＜Ｄ≦2.414 ”の指すエッジタイプ２は、図１２に示すように、エッジ角度Ｄが２２．５°〜６７．５°（２０２．５°〜２４７．５°）にあることを意味する（代表角度＝４５°，２２５°）。
【００８７】
この表２の場合分けにしたがって、例えば、図１０および図１１に例示したブロックでは、Ｓｘ＝３１で、Ｓｙ＝２８であることで、Ｄ＝０．９０になることから、ステップＳ５０２の処理に従って、代表角度が４５°，２２５°となるエッジタイプ２と決定されることになる。
【００８８】
〔１−３〕ステップＳ１０２の処理の詳細
次に、図９のフローチャートに従って、ステップＳ１０２にて実行する処理の詳細について説明する。
【００８９】
本実施形態のデブロッキング処理装置１は、図４のフローチャートのステップＳ１０２の処理に入ると、図９のフローチャートに示すように、まず最初に、ステップＳ６０１にて、図３に示したエッジ方向情報記憶部２０の記憶する情報を参照することで、ステップＳ１０１で求めたＭＢ内の全てのブロックについてのエッジ方向の情報を取得して、各ブロック境界面について、どの方向でフィルタを施すかを確認する。
【００９０】
続いて、ステップＳ６０２にて、ステップＳ６０１で確認したフィルタ方向に沿って、８点の処理対象画素（フィルタ処理画素）を決定する。
【００９１】
この処理対象画素（フィルタ処理画素）の決定は、基本的には、図１３に示すように、エッジの方向に直交する直線上に並ぶ画素を選ぶことで行う。すなわち、エッジの垂直方向に画像のテクスチャ（線など）があると予測されるため、それに沿う形でフィルタをかけるようにフィルタ処理画素を選ぶ。
【００９２】
次に、図１４Ａ〜図１７Ｇに、水平方向のブロック境界を処理対象とする場合に、処理対象のブロックのエッジの方向と、そのブロックの周辺に位置するブロックのエッジの方向とに応じて、どのような形で８点のフィルタ処理画素を決定するのかということについての具体例を図示する。
【００９３】
図１４Ａ〜図１４Ｅに示す具体例は、処理対象ブロックのエッジの方向がエッジタイプ１である場合に、そのブロックの周辺に位置するブロックのエッジの方向に応じて、どのような形で８点のフィルタ処理画素を決定するのかということについて記載する。
【００９４】
すなわち、処理対象ブロックのエッジの方向がエッジタイプ１である場合に、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ１またはエッジタイプ３である場合には、図１４Ａに示すように、従来技術と同じ形態で８点のフィルタ処理画素を決定する。
【００９５】
ここで、このときに、上方向に隣接するブロックのエッジの方向がエッジタイプ３である場合に、図１３に示す基本的な構成に従ってフィルタ処理画素を選んでいないのは、水平方向に並ぶ画素を選ぶことができないからである。したがって、この場合には、従来技術と同じ形態で８点のフィルタ処理画素を決定することになる。
【００９６】
また、処理対象ブロックのエッジの方向がエッジタイプ１である場合に、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの右上方向に隣接するブロックのエッジの方向がエッジタイプ２である場合には、図１４Ｂに示すような形態で８点のフィルタ処理画素を決定することになる。
【００９７】
また、処理対象ブロックのエッジの方向がエッジタイプ１である場合に、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの左上方向に隣接するブロックのエッジの方向がエッジタイプ４である場合には、図１４Ｃに示すような形態で８点のフィルタ処理画素を決定することになる。
【００９８】
また、処理対象ブロックのエッジの方向がエッジタイプ１である場合に、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの右上方向に隣接するブロックのエッジの方向がエッジタイプ３である場合には、図１４Ｄに示すような形態で８点のフィルタ処理画素を決定することになる。
【００９９】
また、処理対象ブロックのエッジの方向がエッジタイプ１である場合に、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの左上方向に隣接するブロックのエッジの方向がエッジタイプ３である場合には、図１４Ｅに示すような形態で８点のフィルタ処理画素を決定することになる。
【０１００】
図１５Ａ〜図１５Ｇに示す具体例は、処理対象ブロックのエッジの方向がエッジタイプ２である場合に、そのブロックの周辺に位置するブロックのエッジの方向に応じて、どのような形で８点のフィルタ処理画素を決定するのかということについて記載する。
【０１０１】
図１５Ａは、処理対象ブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ３またはエッジタイプ４の場合の具体例である。図１５Ａに示すように、これらの場合は、従来技術と同じ形態で８点のフィルタ処理画素を決定する。
【０１０２】
また、図１５Ｂは、処理対象ブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ１で、処理対象ブロックの左方向に隣接するブロックのエッジの方向がエッジタイプ２である場合の具体例である。
【０１０３】
また、図１５Ｃは、処理対象ブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの右上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの左方向に隣接するブロックのエッジの方向がエッジタイプ２である場合の具体例である。
【０１０４】
また、図１５Ｄは、処理対象ブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの右上方向に隣接するブロックのエッジの方向がエッジタイプ３で、処理対象ブロックの左方向に隣接するブロックのエッジの方向がエッジタイプ２である場合の具体例である。
【０１０５】
また、図１５Ｅは、処理対象ブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ１で、処理対象ブロックの左方向に隣接するブロックのエッジの方向がエッジタイプ３である場合の具体例である。
【０１０６】
また、図１５Ｆは、処理対象ブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの右上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの左方向に隣接するブロックのエッジの方向がエッジタイプ３である場合の具体例である。
【０１０７】
また、図１５Ｇは、処理対象ブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ２で、処理対象ブロックの右上方向に隣接するブロックのエッジの方向がエッジタイプ３で、処理対象ブロックの左方向に隣接するブロックのエッジの方向がエッジタイプ３である場合の具体例である。
【０１０８】
図１６に示す具体例は、処理対象ブロックのエッジの方向がエッジタイプ３である場合に、そのブロックの周辺に位置するブロックのエッジの方向に応じて、どのような形で８点のフィルタ処理画素を決定するのかということについて記載する。
【０１０９】
この図に示すように、処理対象ブロックのエッジの方向がエッジタイプ３である場合には、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ１、エッジタイプ２、エッジタイプ３、エッジタイプ４のいずれにある場合も、従来技術と同じ形態で８点のフィルタ処理画素を決定することになる。
【０１１０】
図１７Ａ〜図１７Ｇに示す具体例は、処理対象ブロックのエッジの方向がエッジタイプ４である場合に、そのブロックの周辺に位置するブロックのエッジの方向に応じて、どのような形で８点のフィルタ処理画素を決定するのかということについて記載する。
【０１１１】
図１７Ａは、処理対象ブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ３またはエッジタイプ２の場合の具体例である。図１７Ａに示すように、これらの場合は、従来技術と同じ形態で８点のフィルタ処理画素を決定する。
【０１１２】
また、図１７Ｂは、処理対象ブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ１で、処理対象ブロックの右方向に隣接するブロックのエッジの方向がエッジタイプ４である場合の具体例である。
【０１１３】
また、図１７Ｃは、処理対象ブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの左上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの右方向に隣接するブロックのエッジの方向がエッジタイプ４である場合の具体例である。
【０１１４】
また、図１７Ｄは、処理対象ブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの左上方向に隣接するブロックのエッジの方向がエッジタイプ３で、処理対象ブロックの右方向に隣接するブロックのエッジの方向がエッジタイプ４である場合の具体例である。
【０１１５】
また、図１７Ｅは、処理対象ブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ１で、処理対象ブロックの右方向に隣接するブロックのエッジの方向がエッジタイプ３である場合の具体例である。
【０１１６】
また、図１７Ｆは、処理対象ブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの左上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの右方向に隣接するブロックのエッジの方向がエッジタイプ３である場合の具体例である。
【０１１７】
また、図１７Ｇは、処理対象ブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの上方向に隣接するブロックのエッジの方向がエッジタイプ４で、処理対象ブロックの左上方向に隣接するブロックのエッジの方向がエッジタイプ３で、処理対象ブロックの右方向に隣接するブロックのエッジの方向がエッジタイプ３である場合の具体例である。
【０１１８】
このようにして、図４のフローチャートのステップＳ１０２では、図９のフローチャートを実行することで、ＭＢ内ブロックのエッジの方向に基づいて、図１４Ａ〜図１７Ｇに示すような形態でデブロッキングフィルタの処理対象となるフィルタ処理画素を決定するように処理する。
【０１１９】
なお、図１４Ａ〜図１７Ｇでは、発生するテクスチャの状況（頻度）を考慮して代表的な具体例を示したが、これら以外の具体例についても、図１４Ａ〜図１７Ｇに示した具体例に準じてデブロッキングフィルタの処理対象となるフィルタ処理画素を決定することができる。
【０１２０】
例えば、図１４Ｂにおける処理対象ブロックの右上方向に隣接するブロックのエッジの方向が、エッジタイプ２ではなくエッジタイプ１である場合には、従来技術と同じ形態で８点のフィルタ処理画素を決定する。その理由は、テクスチャが、処理対象ブロックの上方向に隣接するブロックと処理対象ブロックの右上方向に隣接するブロックとの間で途切れてしまうため、デブロッキングフィルタ処理を施さない方が良いと判断されるためである。
【０１２１】
一方、例えば、図１４Ｂにおける処理対象ブロックの右上方向に隣接するブロックのエッジの方向が、エッジタイプ２ではなくエッジタイプ４である場合、テクスチャが右上に伸びるところを強制的に左下へ向かわせることになる。すなわち、テクスチャは“／＼”のように曲がることになる。なお、この場合は、処理対象ブロックの右方向に隣接するブロックについてもエッジの方向を判定することになる。テクスチャが“＜”あるいは“＞”のように曲がる場合も含めて、テクスチャが急峻に変化する状況（頻度）はあまりないと予想されるが、こうした場合にもデブロッキングフィルタ処理を施すことが可能である。
【０１２２】
要するに、画像のテクスチャ（線など）がエッジに対して垂直方向に現れるという想定の下で、テクスチャの線分が遮断される状況は効率低下を招く可能性があるため、デブロッキングフィルタ処理を施す候補から外すということになる。
【０１２３】
ここで、図１４Ａ〜図１７Ｇでは、水平方向のブロック境界を処理対象とする場合に、処理対象のブロックのエッジの方向と、そのブロックに隣接するブロックのエッジの方向とに応じて、どのような形で８点のフィルタ処理画素を決定するのかということについて説明したが、垂直方向のブロック境界を処理対象とする場合も、同様にして８点のフィルタ処理画素を決定することになる。すなわち、垂直方向のブロック境界を処理対象とする場合には、図１４Ａ〜図１７Ｇを９０°だけ傾ける形で同様に処理できる。
【０１２４】
以上に説明したように、図４のフローチャートのステップＳ１０２では、図９のフローチャートを実行することで、処理対象ブロックおよびその周辺に位置するブロック（上下左右斜め方向に接するブロック）のエッジの方向に基づいて、図１４Ａ〜図１７Ｇに示すような形態で８点のフィルタ処理画素を決定することになる。この決定処理を実現するために、図３に示したフィルタ処理画素決定用情報記憶部３０が用意される。
【０１２５】
図１８に、フィルタ処理画素を決定するために用意されるフィルタ処理画素決定用情報記憶部３０のデータ構造の一例を図示する。
【０１２６】
この図に示すように、フィルタ処理画素決定用情報記憶部３０は、処理対象となるブロック境界が水平方向である場合に、処理対象ブロックのエッジタイプ（エッジの方向）の値と、周辺のブロックのエッジタイプの値との組み合わせのそれぞれについて、フィルタ処理画素として決定される画素の位置を記述した位置情報を記憶する。また、フィルタ処理画素決定用情報記憶部３０は、処理対象となるブロック境界が垂直方向である場合に、処理対象ブロックのエッジタイプの値と、周辺のブロックのエッジタイプの値との組み合わせのそれぞれについて、フィルタ処理画素として決定される画素の位置を記述した位置情報を記憶する。
【０１２７】
このようなデータ構造を持つフィルタ処理画素決定用情報記憶部３０を設けて、ステップＳ６０１において、図３に示したエッジ方向情報記憶部２０の記憶する情報を参照することで、処理対象ブロックおよびその周辺に位置するブロックのエッジタイプを特定すると、ステップＳ６０２では、その特定したエッジタイプ情報および処理対象のブロック境界の方向情報をキーにして、フィルタ処理画素決定用情報記憶部３０の記憶する情報を参照することで、８点のフィルタ処理画素を決定する。
【０１２８】
〔１−４〕ステップＳ１０３，ステップＳ１０４の処理
ステップＳ１０３では、デブロッキングフィルタ処理の使用有無の判定を行う。これは従来のＨ．２６４／ＡＶＣに定義されている判定条件を用いる。
【０１２９】
ステップＳ１０３でデブロッキングフィルタ処理の使用を決定する場合には、続いて、ステップＳ１０４で、ステップＳ１０２で決定したフィルタ処理画素に対して、従来のＨ．２６４／ＡＶＣに定義されているデブロッキングフィルタ処理を施す。
【０１３０】
従来のデブロッキングフィルタではブロック境界に対して垂直方向の８点４組の画素しか変更が行えなかったが、以上に説明した本発明の実施形態により斜め方向のデブロッキングフィルタ処理が可能となる。これにより、本発明が解決しようとする課題に対応できることになって、主観画質の向上と符号化効率の向上が見込めることになる。
【０１３１】
以上、４×４ブロックについての説明を行ったが、４×４ブロック以外の大きさにも本発明の概念は適用可能である。また、輝度信号だけでなく、色差信号に対しても同様に適用可能である。
【０１３２】
〔２〕本実施形態の有効性を検証するために行った実験について
次に、本実施形態の有効性を検証するために行った実験結果について説明する。
【０１３３】
この実験は、標準化で利用されている標準画像Foreman について、本実施形態を実装して画像品質を検証することで行った。具体的な実験条件は下記の通りである。
【０１３４】
・使用ソフトウェア：  ＫＴＡ（Key Technical Area） ver. 1.8 
・画像種類        ：  Foreman 
・画像サイズ      ：  ＱＣＩＦ（１７６×１４４）
・ＧＯＰ構造      ：  III...（All intra coded)
・量子化パラメータ：  ３７（固定）
・エッジ方向      ：  ４
・フレーム枚数    ：  １０
・フレームスキップ：  １
なお、画像とソフトウェアについては、
・http://media.xiph.org/video/derf/ （標準画像）
・http://iphome.hhi.de/suehring/tml/download/KTA/ （ソフトウェア）
にてそれぞれ入手できる。
【０１３５】
図１９Ａに、実験により得られた標準画像Foreman についてのフレーム単位の客観画質ＰＳＮＲ(Peak Signal-to-Noise Ratio)値を図示し、図１９Ｂに、それをグラフ化したデータを図示する。ここで、図１９Ｂにおいて、横軸は処理フレーム番号を示し、縦軸は該当フレームにおける客観画質（ＰＳＮＲ）を示す。また、凡例のNormalは従来のデブロッキングフィルタを意味しており、ＥＡＤＦ（Edge Adaptive Deblocking Filter ）は本実施形態によるフィルタを意味する。
【０１３６】
この実験結果により、本実施形態を利用することで画質が向上していることを確認でき、本実施形態の有効性を検証できた。
【０１３７】
〔第２の実施形態〕
次に、本発明の第２の実施形態に従ったデブロッキング処理装置１について説明する。
【０１３８】
本発明の第１の実施形態ではエッジの方向に直交する直線上に並ぶ画素を使ってデブロッキング処理を実行する構成を採ることから、斜めのエッジを有する画像については、その画質を向上させることができるものの、複雑なテクスチャを有する画像については、フレームによっては画質が劣化することも考えられる。
【０１３９】
そこで、第２の実施形態では、この点を考慮して、各ブロックについてエッジの強度を求めるようにして、その求めたエッジの強度が大きい処理対象ブロック、すなわち、斜めの強い（鮮明な）エッジを有する画像については、第１の実施形態と同様のデブロッキングフィルタを利用してデブロッキング処理を実行し、一方、その求めたエッジの強度が小さい処理対象ブロック、すなわち、複雑なテクスチャを有する画像、もしくはエッジが弱い（目立たない）画像については、従来技術によるデブロッキングフィルタを利用してデブロッキング処理を実行するという構成を採る。
【０１４０】
図２０に、本発明の第２の実施形態に従ったデブロッキング処理装置１の構成を図示する。
【０１４１】
本実施形態のデブロッキング処理装置１は、第１の実施形態の備えるエッジ方向決定部１３に代えてエッジ方向決定部１３αを備え、第１の実施形態の備えるエッジ方向情報記憶部２０に代えてエッジ方向強度情報記憶部２０αを備え、第１の実施形態の備える画素決定部４０がさらにエッジ強度判定部４３とフィルタ処理画素最終決定部４４とを備えるという構成を採る。
【０１４２】
このエッジ方向決定部１３αは、ｘ方向エッジ成分導出部１１およびｙ方向エッジ成分導出部１２により導出されたエッジ成分を用いて各ブロックのエッジの方向を決定することに加えて、そのエッジの強度を算出して、それらの情報をエッジ方向強度情報記憶部２０αに保存する。
【０１４３】
また、エッジ強度判定部４３は、エッジ方向強度情報記憶部２０αの記憶する情報を参照することで、ＭＢ内の各ブロックのエッジの強度を取得して、それを所定の閾値と比較することで、ＭＢ内の各ブロックのエッジの強度が大きいものであるのか否かを判定する。
【０１４４】
また、フィルタ処理画素最終決定部４４は、エッジ強度判定部４３によりエッジの強度が小さいと判定されたブロックについて、フィルタ処理画素決定部４２の決定したフィルタ処理画素を、従来技術で使われているフィルタ処理画素（ブロック境界の方向に直交する直線上に並ぶ画素で構成されるフィルタ処理画素）に変更する。
【０１４５】
図２１および図２２に、本実施形態のデブロッキング処理装置１が１つのＭＢ内の４×４ブロック境界を処理する場合に実行するフローチャートの一例を図示する。
【０１４６】
次に、これらのフローチャートに従って、本実施形態のデブロッキング処理装置１の実行する処理について詳細に説明する。
【０１４７】
なお、以下では、特に断りがない限り、ブロックサイズは４×４で、処理対象は輝度信号とする。また、エッジの方向については、４方向（水平（０°）、垂直（９０°）、斜め（４５°および１３５°))と仮定する。
【０１４８】
本実施形態のデブロッキング処理装置１は、図２１のフローチャートに示すように、まず最初に、ステップＳ７０１にて、ＭＢ内の１６個の４×４ブロックにおける全てのエッジの方向および強度を検出し、その情報をエッジ方向強度情報記憶部２０αに保存する。第１の実施形態と異なる点は、エッジの強度を導出する処理が加わる点である。エッジの方向および強度の検出方法については、ステップＳ８０１〜ステップＳ８０４（図２２のフローチャート）で後述する。
【０１４９】
続いて、ステップＳ７０２にて、ステップＳ７０１で求まったエッジの方向からフィルタ方向の選択を行う。フィルタ方向の選択後、デブロッキングフィルタの処理に必要となる８点の画素を指定する。フィルタ方向の選択と画素の指定の仕方の詳細については、ステップＳ６０１〜ステップＳ６０２（図９のフローチャート）で説明した通りである。
【０１５０】
続いて、ステップＳ７０３にて、処理対象ブロックを１つ選択して（ＭＢ内でフィルタをかける処理の位置順序はＨ．２６４／ＡＶＣに基づく）、その選択したブロックについて、ステップＳ７０１にて導出されたエッジの強度と所定の閾値との比較を行う。エッジの強度が閾値よりも大きければ、エッジが強く、テクスチャが斜め方向に現れると判断して、ステップＳ７０２で決定されたフィルタ処理画素を最終的なフィルタ処理画素として決定して、ステップＳ７０４の処理を実行することなくステップＳ７０５へ進む。
【０１５１】
一方、エッジの強度が閾値よりも小さいか等しければ、エッジが弱く、テクスチャが斜め方向に現われていないと判断して、ステップＳ７０２で決定されたフィルタ処理画素を変更すべくステップＳ７０４に進む。ステップＳ７０４にて、従来技術と同様に、ブロック境界の方向に直交する直線上に並ぶ画素を最終的なフィルタ処理画素として決定することで、デブロッキングフィルタの処理に必要となる８点の画素を指定する。つまり、ステップ７０２で選択したフィルタ方向をブロック境界に直交する方向に変更する。
【０１５２】
ステップＳ７０３，ステップＳ７０４の処理を終えると、続いて、ステップＳ７０５にて、デブロッキングフィルタ処理の使用有無の判定を行う。これは従来のＨ．２６４／ＡＶＣに定義されている判定条件を用いる。もしフィルタを使用する場合は、ステップＳ７０６に進む。もしフィルタを使用しない場合は、次のブロック処理へ進むために、処理の位置が最終ブロックに到達したかどうかの判定を行うステップＳ７０７へ進む。
【０１５３】
続いて、ステップＳ７０６にて、ステップＳ７０４の処理を行わないブロックについては、ステップＳ７０２にて決定された８点の画素を用いて実際にフィルタ処理（すなわち、第１の実施形態と同様の斜め方向のフィルタ処理）を実行する。一方、ステップＳ７０４の処理を行ったブロックについては、ステップＳ７０４にて決定された８点の画素を用いて実際にフィルタ処理（すなわち、従来技術と同様のブロック境界に対して垂直方向のみのフィルタ処理）をステップＳ７０６にて実行する。
【０１５４】
続いて、ステップＳ７０７にて、次のブロックへと処理を進めるかどうかの判定を行う。処理対象ブロックが最終ブロックでなければ、そのまま次のブロックへ処理を進めるので、ステップＳ７０３の処理へ戻る。最終ブロックまで処理が終わっていれば、処理を終了する。
【０１５５】
次に、図２２のフローチャートに従って、ステップＳ７０１にて実行する処理の詳細について説明する。
【０１５６】
本実施形態のデブロッキング処理装置１は、図２１のフローチャートのステップＳ７０１の処理に入ると、図２２のフローチャートに示すように、まず最初に、ステップＳ８０１にて、ｘ方向（水平方向）のエッジ成分の導出を行う。この処理の詳細は、第１の実施形態のステップＳ３０１〜ステップＳ３０２で詳説した通りである。
【０１５７】
続いて、ステップＳ８０２にて、ｙ方向（垂直方向）のエッジ成分の導出を行う。この処理の詳細は、第１の実施形態のステップＳ４０１〜ステップＳ４０２で詳説した通りである。
【０１５８】
続いて、ステップＳ８０３にて、ステップＳ８０１で求めたエッジの水平方向成分の和ＳｘおよびステップＳ８０２で求めたエッジの垂直方向成分の和Ｓｙから、ブロックの有するエッジの角度Ｄを求めて、それに基づいてエッジの方向を決定する。この処理の詳細は、第１の実施形態のステップＳ５０１〜ステップＳ５０２で詳説した通りである。
【０１５９】
続いて、ステップＳ８０４にて、ステップＳ８０１で求めたエッジの水平方向成分の和ＳｘおよびステップＳ８０２で求めたエッジの垂直方向成分の和Ｓｙを、
Ｍ＝（Ｓｘ2 ＋Ｓｙ2 ）1/2 
という式に代入して、ブロックの有するエッジの強度Ｍを算出する。
【０１６０】
なお、図２１のフローチャートのステップＳ７０３で用いるエッジの強度と比較することになる閾値は、複数の符号化対象映像からフレームを取り、それらのフレームの有するエッジ強度の平均値を算出することなどで決定することが可能である。
【０１６１】
以上に説明した本実施形態により、エッジの強度を考慮して、エッジの方向に対応したデブロッキングフィルタ処理が可能となる。これにより、エッジの強度を考慮せずに、エッジの強度が弱くてもエッジの方向からフィルタ方向を決めるという構成を採る第１の実施形態に比べて、特に強い斜め方向のテクスチャが存在し、その部分のみにフィルタ処理画素の方向を変えたい場合に有効な方法となる。
【０１６２】
〔第３の実施形態〕
次に、本発明の第３の実施形態に従ったデブロッキング処理装置１について説明する。
【０１６３】
本実施形態と第２の実施形態との違いは、ステップＳ７０１に該当するエッジ方向の検出方法と、ステップＳ７０３に該当するエッジ強度を用いた判定方法とが異なる点である。なお、本実施形態に従ったデブロッキング処理装置の構成は、第２の実施形態に従ったデブロッキング処理装置（図２０を参照）の構成と同様である。
【０１６４】
まず、図２３のフローチャートに従って、ステップＳ７０１に対しての変更内容について詳説する。本実施形態では、イントラ予測情報を利用してエッジの方向を検出するようにしている。
【０１６５】
なお、以下では、特に断りがない限り、ブロックサイズは４×４で、処理対象は輝度信号とする。また、エッジの方向については、４方向（水平（０°）、垂直（９０°）、斜め（４５°および１３５°））と仮定する。
【０１６６】
本実施形態のデブロッキング処理装置１では、エッジの方向を検出する場合、図２３のフローチャートに示すように、まず最初に、ステップＳ９０１にて、処理対象ＭＢがイントラ予測で符号化されているのかどうかを判定する。もしもイントラ予測符号化されていた場合は、ステップＳ９０２に進み、ＭＢ内のイントラ予測の予測モード情報を取得する。
【０１６７】
一方、処理対象ＭＢがイントラ予測で符号化されているのではなくてインター予測で符号化されていた場合は、ステップＳ９０３へ進み、処理対象ＭＢのイントラ予測を実行する。そして、ステップＳ９０３が終了したら、続いてステップＳ９０４へ進み、そのイントラ予測で得られた予測モード情報を取得する。
【０１６８】
続いて、ステップＳ９０５にて、ステップＳ９０２またはＳ９０４で取得した予測モード情報に従って、エッジの方向の決定を行う。このエッジの方向の決定には、予測モードとエッジの方向との対応表である下記の表３を用いる。
【０１６９】
【表３】
0005503548.tif 000004
【０１７０】
例えば、予測モードが０の場合、Ｈ．２６４／ＡＶＣにおいては垂直予測が選ばれているため、同様の画素値を持つ画素のラインが垂直方向に伸びていると予想される。従って画像のテクスチャが垂直方向にあるため、エッジは水平方向、すなわち、第１の実施形態における図１２のエッジタイプ１に相当すると予想される。また、予測モードが２の場合は、ＭＢが平均値予測されるため、エッジはないかあるいは非常に弱いと考えられ、エッジの方向をＮｏｎと判定する。
【０１７１】
このようにして、本実施形態では、処理対象ＭＢをイントラ予測した場合の予測モードからエッジの方向を推定する。
【０１７２】
次に、ステップＳ７０３に対しての変更内容について詳説する。
【０１７３】
本実施形態のデブロッキング処理装置１では、ステップＳ９０５にてエッジの方向がＮｏｎと判定された場合は、エッジの強度が閾値以下になるとみなし、ステップＳ７０４へ進むことで、従来のデブロッキングフィルタと同様の方向の処理にする。それ以外の場合については、ステップＳ７０４の処理を行わないことで、エッジの方向に従ってデブロッキングフィルタ処理を行う。
【０１７４】
以上に説明した本実施形態により、第２の実施形態と同様に、エッジの強度を考慮して、エッジの方向に対応したデブロッキングフィルタ処理が可能となる。これにより、エッジの強度を考慮せずに、エッジの強度が弱くてもエッジの方向からフィルタ方向を決めるという構成を採る第１の実施形態に比べて、特に強い斜め方向のテクスチャが存在し、その部分のみにフィルタ処理画素の方向を変えたい場合に有効な方法となる。
【０１７５】
なお、上記で説明した各処理ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、映像符号化装置に係る上述した種々の処理を行ってもよい。
【０１７６】
ここでいうコンピュータシステムとは、ＯＳ（オペレーティングシステム）や周辺機器等のハードウェアを含むものであってもよい。また、コンピュータシステムは、ＷＷＷ（ワールドワイドウェブ）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１７７】
コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ（コンパクトディスク）−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また、コンピュータ読み取り可能な記録媒体とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
【０１７８】
上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介してあるいは伝送媒体中の伝送波により、他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する伝送媒体は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであって良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であって良い。
【０１７９】
以上、本発明の実施形態を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で構成の付加，省略，置換，およびその他の変更が可能である。本発明は前述した説明によって限定されることはなく、添付の請求の範囲によってのみ限定される。
【産業上の利用可能性】
【０１８０】
本発明は、ブロックベースの予測符号化を実装する映像符号化装置や映像復号装置で用いられるデブロッキング処理に適用できるものである。本発明を適用することで、画像固有のテクスチャを保存しつつ、ブロックノイズを削減することが可能となり、主観画質を向上させるデブロッキング処理を実現することができるようになる。
【符号の説明】
【０１８１】
１    デブロッキング処理装置
１０  エッジ検出部
１１  ｘ方向エッジ成分導出部
１２  ｙ方向エッジ成分導出部
１３、１３α  エッジ方向決定部
２０、２０α  エッジ方向情報記憶部
３０  フィルタ処理画素決定用情報記憶部
４０  画素決定部
４１  隣接ブロックエッジ確認部
４２  フィルタ処理画素決定部
４３  エッジ強度判定部
４４  フィルタ処理画素最終決定部
５０  フィルタ使用判定部
６０  フィルタ処理部
７０  処理終了判定部
【図１】
0005503548.tif 000005
【図２】
0005503548.tif 000006
【図３】
0005503548.tif 000007
【図４】
0005503548.tif 000008
【図５】
0005503548.tif 000009
【図６】
0005503548.tif 000010
【図７】
0005503548.tif 000011
【図８】
0005503548.tif 000012
【図９】
0005503548.tif 000013
【図１０】
0005503548.tif 000014
【図１１】
0005503548.tif 000015
【図１２】
0005503548.tif 000016
【図１３】
0005503548.tif 000017
【図１４Ａ】
0005503548.tif 000018
【図１４Ｂ】
0005503548.tif 000019
【図１４Ｃ】
0005503548.tif 000020
【図１４Ｄ】
0005503548.tif 000021
【図１４Ｅ】
0005503548.tif 000022
【図１５Ａ】
0005503548.tif 000023
【図１５Ｂ】
0005503548.tif 000024
【図１５Ｃ】
0005503548.tif 000025
【図１５Ｄ】
0005503548.tif 000026
【図１５Ｅ】
0005503548.tif 000027
【図１５Ｆ】
0005503548.tif 000028
【図１５Ｇ】
0005503548.tif 000029
【図１６】
0005503548.tif 000030
【図１７Ａ】
0005503548.tif 000031
【図１７Ｂ】
0005503548.tif 000032
【図１７Ｃ】
0005503548.tif 000033
【図１７Ｄ】
0005503548.tif 000034
【図１７Ｅ】
0005503548.tif 000035
【図１７Ｆ】
0005503548.tif 000036
【図１７Ｇ】
0005503548.tif 000037
【図１８】
0005503548.tif 000038
【図１９Ａ】
0005503548.tif 000039
【図１９Ｂ】
0005503548.tif 000040
【図２０】
0005503548.tif 000041
【図２１】
0005503548.tif 000042
【図２２】
0005503548.tif 000043
【図２３】
0005503548.tif 000044
【図２４Ａ】
0005503548.tif 000045
【図２４Ｂ】
0005503548.tif 000046
【図２５Ａ】
0005503548.tif 000047
【図２５Ｂ】
0005503548.tif 000048