(57)【要約】【課題】画像の高解像度化に伴う処理負荷を軽減可能な高解像度化装置を提供する。【解決手段】基準フレームと注目画素を設定し、符号化モード情報を取得する動画像復号化部１０１と、基準フレームよりも画素数の多い仮高解像度画像を生成する仮高解像度画像生成部１０２と、注目画素に対応する符号化モード情報に基づいて、注目画素に対して動き０の位置に相当する仮高解像度画像の対応位置の画素値に対する修正の有無を判定する判定部１０３と、注目画素に対応する対応点を復号低解像度画像の中から小数精度で取得し、判定部１０３が対応位置の画素値に対する修正を行うと判定した場合には所定の修正処理を行い、判定部１０３が対応位置の画素値に対する修正を行わないと判定した場合には仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する高解像度画像修正部１０４と、を備える。【選択図】        図１
2010124397.tif 000002
【特許請求の範囲】
【請求項１】
動画像符号化方式によって圧縮された動画像の符号化データを復号し、復号後の画像信号から高解像度画像信号を生成する高解像度化装置において、
前記復号後の画像信号により構成される画像を順次基準フレームとして設定し、当該基準フレームから、内挿処理によって当該基準フレームよりも画素数の多い仮高解像度画像を生成し、さらに、当該基準フレームに含まれる複数の画素を１つずつ注目画素として設定し、前記符号化データに基づき注目画素ごとまたは当該注目画素を含む特定範囲ごとに、所定の符号化モード情報を取得する仮高解像度画像生成手段と、
前記注目画素に対応する符号化モード情報に基づいて、当該注目画素に対して動き０の位置に相当する仮高解像度画像の対応位置の画素値に対する修正の有無を判定する判定手段と、
前記注目画素に対応する対応点を、前記復号後の画像信号の中から小数精度で取得する対応点探索手段と、
前記判定手段が前記仮高解像度画像の対応位置の画素値に対する修正を行うと判定した場合には、当該仮高解像度画像の対応位置の画素値に対して所定の修正処理を行い、一方、修正を行わないと判定した場合には、当該仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する画像修正手段と、
を備えることを特徴とする高解像度化装置。
【請求項２】
前記復号後の画像信号により構成される画像に含まれる各画素を、隣接する画素の画素値との差分を基準として分類された複数の領域のうちの１つの領域に分別する領域分別手段、
を備え、
前記対応点探索手段は、さらに、前記領域分別手段の分別結果に基づいて、隣接する画素の画素値との差分が所定のしきい値よりも小さいことを示す領域に分別された画素については対応点の探索を行わず、
前記画像修正手段は、前記判定手段の結果によらず、前記対応点探索手段が対応点の探索を行わなかった画素に対応する仮高解像度画像の対応位置の画素値の修正を行わないことを特徴とする請求項１に記載の高解像度化装置。
【請求項３】
動画像符号化方式によって圧縮された動画像の符号化データを復号し、復号後の画像信号から高解像度画像信号を生成する高解像度化装置において、
前記復号後の画像信号により構成される画像を順次基準フレームとして設定し、当該基準フレームから、内挿処理によって当該基準フレームよりも画素数の多い仮高解像度画像を生成し、さらに、当該基準フレームに含まれる複数の画素を１つずつ注目画素として設定し、前記符号化データに基づき注目画素ごとまたは当該注目画素を含む特定範囲ごとに、所定の符号化モード情報を取得する仮高解像度画像生成手段と、
前記注目画素に対応する符号化モード情報に基づいて、当該注目画素を、隣接する画素の画素値との差分を基準として分類された複数の領域のうちの１つの領域に分別する領域分別手段と、
前記領域分別手段が、隣接する画素の画素値との差分が所定のしきい値よりも小さいことを示す領域に分別した注目画素については、対応点の探索を行わず、その他の領域に分別した注目画素に対応する対応点を、前記復号後の画像信号の中から小数精度で取得する対応点探索手段と、
前記対応点探索手段が対応点の探索を行った注目画素に対応する仮高解像度画像の対応位置の画素値については所定の修正処理を行い、一方、前記対応点探索手段が対応点の探索を行わなかった注目画素に対応する仮高解像度画像の対応位置の画素値については前記修正処理を行わず、当該仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する画像修正手段と、
を備えることを特徴とする高解像度化装置。
【請求項４】
動画像符号化方式によって圧縮された動画像の符号化データを復号し、復号後の画像信号から高解像度画像信号を生成する高解像度化装置において、
前記復号後の画像信号により構成される画像を順次基準フレームとして設定し、当該基準フレームから、内挿処理によって当該基準フレームよりも画素数の多い仮高解像度画像を生成し、さらに、当該基準フレームに含まれる複数の画素を１つずつ注目画素として設定し、前記符号化データに基づき注目画素ごとまたは当該注目画素を含む特定範囲ごとに、所定の符号化モード情報を取得する仮高解像度画像生成手段と、
前記注目画素の画素値と当該注目画素に隣接する画素の画素値との差分が所定の対応点探索しきい値よりも小さい場合は対応点の探索を行わず、所定の対応点探索しきい値よりも大きい場合は、前記注目画素に対応する符号化モード情報に基づいて、当該注目画素の対応点を前記復号後の画像信号の中から小数精度で取得する対応点探索手段と、
前記対応点探索手段が対応点の探索を行った注目画素に対応する仮高解像度画像の対応位置の画素値については所定の修正処理を行い、一方、前記対応点探索手段が対応点の探索を行わなかった注目画素に対応する仮高解像度画像の対応位置の画素値については前記修正処理を行わず、当該仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する画像修正手段と、
を備えることを特徴とする高解像度化装置。
【請求項５】
前記復号後の画像信号により構成される画像に含まれる各画素を、隣接する画素の画素値との差分を基準として分類された複数の領域のうちの１つの領域に分別する領域分別手段、
を備え、
前記対応点探索手段は、さらに、前記領域分別手段の分別結果に基づいて、隣接する画素の画素値との差分が所定の領域分別しきい値（領域分別しきい値＞対応点探索しきい値）よりも小さいことを示す領域に分別された画素については対応点の探索を行わないことを特徴とする請求項４に記載の高解像度化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像符号化された画像データを高解像度の画像データに変換する高解像度化装置に関する。
【背景技術】
【０００２】
ある低解像度画像に対して高解像度化処理を画面一様に行うと、画像の平坦領域におけるノイズ成分についても鮮鋭化が行われるため、高解像度画像の画質が低下する。下記特許文献１には、高解像度化する画像を平坦領域とエッジ領域に分別し、領域ごとに異なる高解像度化処理を行う技術が開示されている。領域を分別する方法としては、分別対象とする画素とその周辺画素のそれぞれの画素値の分散量等の指標を算出し、それらの値に応じて分別する。しかしながら、上記従来の技術では、全ての低解像度画像に対して１画素ごとに分別処理を実施し高解像度化処理を実施するため処理負荷が大きい、という問題があった。
【０００３】
【特許文献１】特開２００７−３１０８３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、上記に鑑みてなされたものであって、画像の高解像度化に伴う処理負荷を軽減可能な高解像度化装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本願発明の一態様によれば、動画像符号化方式によって圧縮された動画像の符号化データを復号し、復号後の画像信号から高解像度画像信号を生成する高解像度化装置において、前記復号後の画像信号により構成される画像を順次基準フレームとして設定し、当該基準フレームから、内挿処理によって当該基準フレームよりも画素数の多い仮高解像度画像を生成し、さらに、当該基準フレームに含まれる複数の画素を１つずつ注目画素として設定し、前記符号化データに基づき注目画素ごとまたは当該注目画素を含む特定範囲ごとに、所定の符号化モード情報を取得する仮高解像度画像生成手段と、前記注目画素に対応する符号化モード情報に基づいて、当該注目画素に対して動き０の位置に相当する仮高解像度画像の対応位置の画素値に対する修正の有無を判定する判定手段と、前記注目画素に対応する対応点を、前記復号後の画像信号の中から小数精度で取得する対応点探索手段と、前記判定手段が前記仮高解像度画像の対応位置の画素値に対する修正を行うと判定した場合には、当該仮高解像度画像の対応位置の画素値に対して所定の修正処理を行い、一方、修正を行わないと判定した場合には、当該仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する画像修正手段と、を備えることを特徴とする高解像度化装置が提供される。
【０００６】
また、本願発明の一態様によれば、動画像符号化方式によって圧縮された動画像の符号化データを復号し、復号後の画像信号から高解像度画像信号を生成する高解像度化装置において、前記復号後の画像信号により構成される画像を順次基準フレームとして設定し、当該基準フレームから、内挿処理によって当該基準フレームよりも画素数の多い仮高解像度画像を生成し、さらに、当該基準フレームに含まれる複数の画素を１つずつ注目画素として設定し、前記符号化データに基づき注目画素ごとまたは当該注目画素を含む特定範囲ごとに、所定の符号化モード情報を取得する仮高解像度画像生成手段と、前記注目画素に対応する符号化モード情報に基づいて、当該注目画素を、隣接する画素の画素値との差分を基準として分類された複数の領域のうちの１つの領域に分別する領域分別手段と、前記領域分別手段が、隣接する画素の画素値との差分が所定のしきい値よりも小さいことを示す領域に分別した注目画素については、対応点の探索を行わず、その他の領域に分別した注目画素に対応する対応点を、前記復号後の画像信号の中から小数精度で取得する対応点探索手段と、前記対応点探索手段が対応点の探索を行った注目画素に対応する仮高解像度画像の対応位置の画素値については所定の修正処理を行い、一方、前記対応点探索手段が対応点の探索を行わなかった注目画素に対応する仮高解像度画像の対応位置の画素値については前記修正処理を行わず、当該仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する画像修正手段と、を備えることを特徴とする高解像度化装置が提供される。
【０００７】
また、本願発明の一態様によれば、動画像符号化方式によって圧縮された動画像の符号化データを復号し、復号後の画像信号から高解像度画像信号を生成する高解像度化装置において、前記復号後の画像信号により構成される画像を順次基準フレームとして設定し、当該基準フレームから、内挿処理によって当該基準フレームよりも画素数の多い仮高解像度画像を生成し、さらに、当該基準フレームに含まれる複数の画素を１つずつ注目画素として設定し、前記符号化データに基づき注目画素ごとまたは当該注目画素を含む特定範囲ごとに、所定の符号化モード情報を取得する仮高解像度画像生成手段と、前記注目画素の画素値と当該注目画素に隣接する画素の画素値との差分が所定の対応点探索しきい値よりも小さい場合は対応点の探索を行わず、所定の対応点探索しきい値よりも大きい場合は、前記注目画素に対応する符号化モード情報に基づいて、当該注目画素の対応点を前記復号後の画像信号の中から小数精度で取得する対応点探索手段と、前記対応点探索手段が対応点の探索を行った注目画素に対応する仮高解像度画像の対応位置の画素値については所定の修正処理を行い、一方、前記対応点探索手段が対応点の探索を行わなかった注目画素に対応する仮高解像度画像の対応位置の画素値については前記修正処理を行わず、当該仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する画像修正手段と、を備えることを特徴とする高解像度化装置が提供される。
【発明の効果】
【０００８】
本発明によれば、画像の修正処理を行う画素を限定することができ、画像の高解像度化に必要な処理負荷を軽減することができる、という効果を奏する。
【０００９】
また、本発明によれば、分別処理を行う画素を限定することができ、さらに画像の高解像度化に必要な処理負荷を軽減することができる、という効果を奏する。
【００１０】
また、本発明によれば、対応点の探索を行う画素を限定することができ、画像の高解像度化に必要な処理負荷を軽減することができる、という効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下に添付図面を参照して、この発明にかかる高解像度化装置の最良な実施の形態を詳細に説明する。なお、以下の説明において画像のことをフレームと呼ぶことがある。
【００１２】
（第１の実施の形態）
図１は、第１の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。高解像度化装置は、動画像復号化部１０１と、仮高解像度画像生成部１０２と、判定部１０３と、高解像度画像修正部１０４と、から構成される。
【００１３】
動画像復号化部１０１は、動画像符号化データを入力して復号化処理を行い、復号低解像度画像信号と符号化モード情報を出力する。このとき、復号低解像度画像信号の中から高解像度化処理を行う画像を基準フレームとして順次設定する。また、基準フレームに含まれる画素を１つずつ注目画素として順次設定し、さらに、注目画素を含むマクロブロックを設定する。符号化モード情報は、予測モード情報、動きベクトル、直交変換係数および量子化パラメータである。ここでは、一例として、マクロブロックごとに符号化モード情報を出力する。なお、サブマクロブロックごとに符号化モード情報を出力することとしてもよい。また、画素ごとに符号化モード情報を出力してもよい。
【００１４】
仮高解像度画像生成部１０２は、基準フレームに設定された復号低解像度画像信号を入力し、一般的な内挿フィルタを利用する３次畳み込み法等によって所定の解像度を持つ仮高解像度画像を作成し、高解像度画像修正部１０４へ出力する。仮高解像度画像は、目的の高解像度画像と同等の画素数を持つ画像であり、通常、画面内の被写体がぼけている状態や本来直線的な部分が階段状に表されている状態である。
【００１５】
判定部１０３は、動画像復号化部１０１からの符号化モード情報に基づいて、注目画素を含むマクロブロックごとに、そのマクロブロックに含まれる画素に対応する仮高解像度画像の対応位置の画素値の修正を行うかどうかを判定し、判定信号を高解像度画像修正部１０４へ出力する。対応位置とは、ある画素を注目画素として設定した場合に、その注目画素を含む基準フレームの復号低解像度画像を仮高解像度化した画像における、注目画素に対して動き０の位置にあたる仮高解像度画像の画素である。判定処理の詳細については後述する。
【００１６】
高解像度画像修正部１０４は、判定部１０３からの判定信号に基づいて、注目画素の対応位置の仮高解像度画像の画素値を修正する。図２は、高解像度画像修正部１０４の構成例を示すブロック図である。高解像度画像修正部１０４は、スイッチ２０１と、対応点探索部２０２と、画素修正部２０３と、メモリ２０４と、から構成される。
【００１７】
スイッチ２０１は、判定部１０３からの判定信号に基づいて、仮高解像度画像信号の出力先を切り替える。対応点探索部２０２は、対応点を探索し、探索した結果である対応点探索情報と復号低解像度画像信号を画素修正部２０３へ出力する。対応点とは、注目画素を中心とした数画素四方の範囲の各画素の画素値と、前記範囲と同じ大きさに含まれる各画素の画素値が最も近似する場合の、復号低解像度画像内の前記範囲の中心の画素である。対応点は、基準フレーム以外のフレームで設定してもよいし、基準フレームの中から設定してもよい。探索方法はパラボラフィッティング法やオーバーサンプリング法等の既存の方法により小数精度で行う。画素修正部２０３は、判定部１０３からの判定信号に基づいて、ＰＯＣＳ（Projection  Onto  Convex  Sets）法や重ね合わせ法により、仮高解像度画像の対応位置の画素値の修正を行う。または、過去に生成した高解像度画像と同じ画素値に置き換える。メモリ２０４は、過去に生成した高解像度画像を保存する。対応点の探索方法および画素値の修正方法は上記の方法に限定するものではなく、他の方法でもよい。
【００１８】
つづいて、判定部１０３による判定処理を、フローチャートに基づいて詳細に説明する。図３−１は、判定部１０３の処理を示すフローチャートである。
【００１９】
まず、注目画素を含むマクロブロックがスキップマクロブロックの場合について説明する。判定部１０３は、符号化モード情報に基づいて注目画素を含むマクロブロックがスキップマクロブロックであると判定した場合（ステップＳ１０１：Ｙｅｓ）、注目画素を含むマクロブロックの動きベクトルが整数精度位置を参照しているかどうかを判定する（ステップＳ１０２）。
【００２０】
整数精度位置を参照している場合（ステップＳ１０２：Ｙｅｓ）、判定部１０３は、マクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値を、過去に生成した高解像度画像における仮高解像度画像の対応位置に相当する位置（以下、第一の参照位置とする）の画素値と同一にすると判定し（ステップＳ１０３）、判定信号を高解像度画像修正部１０４へ出力する。
【００２１】
一方、上記ステップＳ１０２の処理において、整数精度位置を参照していない場合（ステップＳ１０２：Ｎｏ）、判定部１０３は、注目画素を含むマクロブロックにおける低解像度画像は高解像度処理の効果が表れるほどの画質の鮮鋭度はないとして、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行わないと判定し（ステップＳ１０４）、判定信号を高解像度画像修正部１０４へ出力する。
【００２２】
なお、注目画素を含むマクロブロックがスキップマクロブロックでない場合は（ステップＳ１０１：Ｎｏ）、イントラ予測判定フローへ進む（ステップＳ１０５）。図３−２は、イントラ予測判定フローを示す図である。
【００２３】
ここで、上記判定部１０３によるイントラ予測判定フロー、すなわち、注目画素を含むマクロブロックの予測モードがイントラ予測モードの場合の判定処理を、図３−２にしたがって説明する。なお、サブマクロブロックの予測モードがイントラ予測モードの場合の判定処理についても同様である。
【００２４】
注目画素を含むマクロブロックの予測モードがイントラ予測モードであって（ステップＳ１０６：Ｙｅｓ）、かつ、「ＤＣ予測であること、ＤＣＴ係数が直流成分（ＤＣ成分）のみ、またはＤＣＴ係数が全て０」の条件を満たす場合（ステップＳ１０７：Ｙｅｓ）、判定部１０３は、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行わないと判定し（ステップＳ１０８）、判定信号を高解像度画像修正部１０４へ出力する。
【００２５】
一方、ＤＣ予測であること、ＤＣＴ係数がＤＣ成分のみ、ＤＣＴ係数が全て０、の各条件を１つも満たしていない場合（ステップＳ１０７：Ｎｏ）、判定部１０３は、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行うと判定し（ステップＳ１０９）、判定信号を高解像度画像修正部１０４へ出力する。
【００２６】
なお、注目画素を含むマクロブロックの予測モードがイントラ予測モードでない場合は（ステップＳ１０６：Ｎｏ）、インター予測判定フローに進む（ステップＳ１１０）。図３−３は、インター予測判定フローを示す図である。
【００２７】
ここで、上記判定部１０３によるインター予測判定フロー、すなわち、注目画素を含むマクロブロックの予測モードがインター予測モードの場合の判定処理を、図３−３にしたがって説明する。なお、サブマクロブロックの予測モードがインター予測モードの場合の判定処理についても同様である。
【００２８】
注目画素を含むマクロブロックの動きベクトルの本数が１本の場合（ステップＳ１１１：Ｙｅｓ）、判定部１０３は、その動きベクトルが整数精度位置を参照しているかどうかを判定する（ステップＳ１１２）。整数精度位置を参照していると判定した場合において（ステップＳ１１２：Ｙｅｓ）、さらに、そのマクロブロックのＤＣＴ係数がＤＣ成分のみまたは全て０の場合（ステップＳ１１３：Ｙｅｓ）、判定部１０３は、マクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値を、過去に生成した高解像度画像の第一の参照位置の画素値と同一にすると判定し（ステップＳ１１４）、判定信号を高解像度画像修正部１０４へ出力する。
【００２９】
また、マクロブロックのＤＣＴ係数が、ＤＣ成分のみまたは全て０の条件を満たさない場合（ステップＳ１１３：Ｎｏ）、判定部１０３は、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行うと判定し（ステップＳ１１５）、判定信号を高解像度画像修正部１０４へ出力する。
【００３０】
なお、上記ステップＳ１１１の処理において、注目画素を含むマクロブロックの動きベクトルの本数が２本以上の場合（ステップＳ１１１：Ｎｏ）、判定部１０３は、低解像度画像信号に基づいて作成される予測画像は複数の画素の平均値を用いるためにぼけているとして、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行わないと判定し（ステップＳ１１６）、判定信号を高解像度画像修正部１０４へ出力する。
【００３１】
また、上記ステップＳ１１２の処理において、動きベクトルが整数精度位置を参照していない場合（ステップＳ１１２：Ｎｏ）、判定部１０３は、注目画素を含むマクロブロックにおける低解像度画像は高解像度処理の効果が表れるほどの画質の鮮鋭度はないとして、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行わないと判定し（ステップＳ１１６）、判定信号を高解像度画像修正部１０４へ出力する。
【００３２】
なお、上記処理において判定部１０３が修正処理を行わないと判定した場合（ステップＳ１０４、Ｓ１１６）であっても、装置の演算量に余裕があれば、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行うこととしてもよい。
【００３３】
また、判定部１０３が、修正処理を行うと判定した場合（ステップＳ１０９、Ｓ１１５）、または、上記演算量に余裕があるとして修正処理を行うと判定した場合（ステップＳ１０４、Ｓ１１６）、以下のしきい値との比較により、さらに、修正処理を行うこととしてもよい。
【００３４】
図４は、上記しきい値との比較処理を示すフローチャートである。判定部１０３は、ＤＣ成分以外のＤＣＴ係数値の和SumACを算出し（ステップＳ２０１）、算出したSumACとしきい値THとの比較を行う（ステップＳ２０２）。
【００３５】
しきい値THは、量子化パラメータqscaleに基づいて設定する。一例として、たとえば、以下のように一次式であらわす。
THx＝αx×qscale＋offsetx                                  （１）
ただし、x∈｛intra，inter｝であり、αinterおよびαintraは「αinter＜αintra」の関係を持つ比例定数である。また、offsetinterおよびoffsetintraは、ユーザが任意に設定できるパラメータとする。
【００３６】
たとえば、SumACがしきい値THよりも小さい場合（ステップＳ２０２：Ｙｅｓ）、判定部１０３は、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行わないと判定し（ステップＳ２０３）、判定信号を高解像度画像修正部１０４へ出力する。一方、SumACがしきい値TH以上の場合（ステップＳ２０２：Ｎｏ）、判定部１０３は、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行うと判定し（ステップＳ２０４）、判定信号を高解像度画像修正部１０４へ出力する。
【００３７】
つづいて、高解像度画像修正部１０４による処理を説明する。高解像度画像修正部１０４は、判定部１０３による判定信号に基づいて、以下の処理を行う。
【００３８】
判定部１０３が修正処理を行わないと判定した場合、高解像度画像修正部１０４では、スイッチ２０１がスイッチを上側へ接続し、仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する。
【００３９】
判定部１０３が修正処理を行うと判定した場合、高解像度画像修正部１０４では、スイッチ２０１がスイッチを下側へ接続し、画素修正部２０３が対応点探索部２０２からの対応点探索情報と復号低解像度画像信号に基づいて、仮高解像度画像の対応位置の画素値の修正量を算出し、修正後の画素値を高解像度画像信号として出力する。
【００４０】
判定部１０３が過去の高解像度画像の第一の参照位置の画素値と同一にすると判定した場合、高解像度画像修正部１０４では、スイッチ２０１がスイッチを下側へ接続し、画素修正部２０３が、メモリ２０４から過去に生成した高解像度画像の第一の参照位置の画素値を抽出し、仮高解像度画像の対応位置の画素値を第一の参照位置の画素値と同一にして高解像度画像信号として出力する。
【００４１】
以上説明したように、本実施の形態によれば、判定部１０３が、符号化モード情報に基づいて、注目画素を含むマクロブロックごとに画像の修正処理を行うかどうかの判定を行うこととした。これにより、画像の修正処理を行う画素を限定することができ、画像の高解像度化に必要な処理負荷を軽減することができる。
【００４２】
（第２の実施の形態）
本実施の形態では、高解像度画像修正部１０４が領域分別部を備える構成とする。以下、第１の実施の形態と異なる部分について説明する。
【００４３】
図５は、第２の実施の形態にかかる高解像度画像修正部１０４の構成例を示すブロック図である。高解像度画像修正部１０４は、前述した第１の実施の形態の図２の構成に加えて、領域分別部３０１と対応点探索部３０２を備える。
【００４４】
領域分別部３０１は、復号低解像度画像信号を入力し、注目画素ごとに、注目画素に隣接する複数の画素の画素値との差分に基づいて２以上の種類を持ついずれかの領域に分別する。領域を分別する方法としては、画素値の変化が直線的に起こっているエッジ領域、それ以外の平坦領域、の２つに分別する方法がある。この場合、既存のソーベルフィルタを利用することで、エッジ領域と平坦領域を分別することができる。
【００４５】
また、エッジ領域、局所的な領域で画素値の変化が大きい画素が多いテクスチャ領域、局所的な領域で画素値の変化が小さい平坦領域、の３つの領域に分別することも可能である。この場合、たとえば、上記で平坦領域と分別された領域において、注目画素と注目画素に隣接する複数の画素の画素値との差分を取り、たとえば、その差分の絶対値の和が特定のしきい値以上の場合をテクスチャ領域とし、しきい値未満の場合を平坦領域とする。以下では、エッジ領域と平坦領域の２つの領域に分別する場合について説明する。
【００４６】
対応点探索部３０２は、領域分別部３０１からの領域分別情報と復号低解像度画像信号に基づいて、対応点の探索を行う。対応点の探索方法は、第１の実施の形態と同様であるが、領域分別部３０１が平坦領域と判定した画素については対応点の探索を行わない。対応点探索部３０２は、対応点を探索した結果である対応点探索情報と復号低解像度画像信号を、画素修正部２０３へ出力する。
【００４７】
本実施の形態では、対応点探索の前に領域分別を行う。平坦領域と分別された画素の対応位置の仮高解像度画像の画素値については、そのまま高解像度画像信号として出力する（仮高解像度画像の画素の画素値で十分であるため）。そのため、領域分別部３０１が平坦領域と分別した画素については、対応する仮高解像度画像の対応位置の画素値を修正しないため、対応点探索部３０２は対応点の探索を行わない。
【００４８】
以上説明したように、本実施の形態によれば、対応点探索の前に領域分別を行うこととした。これにより、平坦領域については対応点探索を行わないため、第１の実施の形態と比較して、さらに、画像の高解像度化に必要な処理負荷を軽減することができる。
【００４９】
（第３の実施の形態）
本実施の形態は、判定部を備えない構成とする。以下、第１の実施の形態または第２の実施の形態と異なる部分について説明する。
【００５０】
図６は、第３の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。高解像度化装置は、前述した第２の実施の形態の図１および図５の構成から、判定部１０３，高解像度画像修正部１０４のスイッチ２０１とメモリ２０４，領域分別部３０１、を削除し、領域分別部４０１とメモリ４０２を備える。
【００５１】
領域分別部４０１は、符号化モード情報と復号低解像度画像信号を入力し、注目画素を含むマクロブロックごとに領域の分別を行う。ここでは、一例として、エッジ領域と平坦領域の２つの領域に分別する。領域分別の方法は領域分別部３０１による処理と同等であり、３つ以上の領域に分別する場合についても適用可能である。領域分別部４０１は、領域を分別した結果である領域分別情報と復号低解像度画像信号を対応点探索部３０２へ出力する。メモリ４０２は、過去に高解像度画像を生成する過程で領域を分別した際の画素ごとの領域分別情報を保存する。
【００５２】
つづいて、領域分別部４０１による分別処理を、フローチャートに基づいて詳細に説明する。図７−１は、領域分別部４０１の処理を示すフローチャートである。まず、注目画素を含むマクロブロックがスキップマクロブロックの場合について説明する。
【００５３】
注目画素を含むマクロブロックの動きベクトルが整数精度位置を参照している場合（ステップＳ１０２：Ｙｅｓ）、領域分別部４０１は、マクロブロックに含まれる画素の領域を、過去に高解像度画像を生成する過程で領域分別を行った画像における上記マクロブロックに相当する位置（以下、第二の参照位置とする）の画素の領域と同一にする（ステップＳ３０１）。このとき、領域分別部４０１は、メモリ４０２に保存されている過去に領域分別した際の領域分別情報から第二の参照位置の領域の情報を抽出し、マクロブロックに含まれる画素の領域を第二の参照位置の画素の領域と同一にする。一方、整数精度位置を参照していない場合（ステップＳ１０２：Ｎｏ）、領域分別部４０１は、マクロブロックに含まれる画素を全て平坦領域に分別する（ステップＳ３０２）。
【００５４】
なお、注目画素を含むマクロブロックがスキップマクロブロックでない場合は（ステップＳ１０１：Ｎｏ）、イントラ予測分別フローへ進む（ステップＳ３０３）。図７−２は、イントラ予測分別フローを示す図である。
【００５５】
ここで、上記領域分別部４０１によるイントラ予測分別フロー、すなわち、注目画素を含むマクロブロックの予測モードがイントラ予測モードの場合の分別処理を、図７−２にしたがって説明する。なお、サブマクロブロックの予測モードがイントラ予測モードの場合の分別処理についても同様である。
【００５６】
注目画素を含むマクロブロックの予測モードがイントラ予測モードであって（ステップＳ１０６：Ｙｅｓ）、かつ、イントラ予測モードが水平（左または右）方向から±４５°以内の方向予測モードである場合（ステップＳ３０４：Ｙｅｓ）、領域分別部４０１は、そのマクロブロックに含まれる画素ごとに行う領域分別処理において、垂直エッジを探索する処理を省略し、水平エッジのみを探索する分別処理を行う（ステップＳ３０５）。一方、水平（左または右）方向から±４５°以内の方向予測モードではなく（ステップＳ３０４：Ｎｏ）、かつ、垂直（上または下）方向から±４５°未満の方向予測モードである場合（ステップＳ３０６：Ｙｅｓ）、領域分別部４０１は、そのマクロブロックに含まれる画素ごとに行う領域分別処理において、水平エッジを探索する処理を省略し、垂直エッジのみを探索する分別処理を行う（ステップＳ３０７）。
【００５７】
垂直（上または下）方向から±４５°未満の方向予測モードではなく（ステップＳ３０６：Ｎｏ）、さらに「方向予測モードではない」かつ「ＤＣＴ係数がＤＣ成分のみまたはＤＣＴ係数が全て０」、の条件を満たす場合（ステップＳ３０８：Ｙｅｓ）、領域分別部４０１は、そのマクロブロックに含まれる画素を全て平坦領域に分別する（ステップＳ３０９）。一方、方向予測モードである場合、または、「ＤＣＴ係数がＤＣ成分のみまたはＤＣＴ係数が全て０」の条件を満たしていない場合（ステップＳ３０８：Ｎｏ）、領域分別部４０１は、領域分別の処理を行う（ステップＳ３１０）。
【００５８】
ここで、方向予測モードについて説明する。水平（左または右）方向から±４５°以内の方向予測モードとは、たとえば、ＩＴＵ−Ｔで規定するＨ．２６４に記載されている4x4ブロックのイントラ予測の予測方向モードを示すIntra4x4PredModeが、１，３，４，６，８のいずれかの場合の予測モードである。一方、垂直（上または下）方向から±４５°未満の方向予測モードとは、Intra4x4PredModeが、０，５，７のいずれかの場合の予測モードである。8x8ブロックのイントラ予測の予測方向モードについても、予測方向モードを示すシンタックスがIntra8x8PredModeに置き換わるだけで同様である。また、16ｘ16ブロックのイントラ予測について、水平（左または右）方向から±４５°以内の方向予測モードとは、同様に、ＩＴＵ−Ｔで規定するＨ．２６４に記載されているIntra16x16PredModeが１の場合の予測モードである。一方、垂直（上または下）方向から±４５°未満の方向予測モードとは、Intra16x16PredModeが０の場合の予測モードである。
【００５９】
なお、注目画素を含むマクロブロックの予測モードがイントラ予測モードでない場合は（ステップＳ１０６：Ｎｏ）、インター予測分別フローに進む（ステップＳ３１１）。図７−３は、インター予測分別フローを示す図である。
【００６０】
ここで、上記領域分別部４０１によるインター予測分別フロー、すなわち、注目画素を含むマクロブロックの予測モードがインター予測モードの場合の分別処理を、図７−３にしたがって説明する。なお、サブマクロブロックの予測モードがインター予測モードの場合の分別処理についても同様である。
【００６１】
マクロブロックのＤＣＴ係数がＤＣ成分のみまたは全て０の場合（ステップＳ１１３：Ｙｅｓ）、領域分別部４０１は、そのマクロブロックに含まれる画素の領域を、過去に高解像度画像を生成する過程で領域分別を行った画像における第二の参照位置の画素の領域と同一にする（ステップＳ３１２）。マクロブロックのＤＣＴ係数が、ＤＣ成分のみまたは全て０の条件を満たさない場合（ステップＳ１１３：Ｎｏ）、領域分別部４０１は、領域分別の処理を行う（ステップＳ３１３）。
【００６２】
なお、注目画素を含むマクロブロックの動きベクトルの本数が２本以上の場合（ステップＳ１１１：Ｎｏ）、領域分別部４０１は、そのマクロブロックに含まれる画素を全て平坦領域に分別する（ステップＳ３１４）。また、動きベクトルが整数精度位置を参照していない場合についても（ステップＳ１１２：Ｎｏ）、領域分別部４０１は、そのマクロブロックに含まれる画素を全て平坦領域に分別する（ステップＳ３１４）。
【００６３】
また、上記処理において領域分別部４０１が平坦領域に分別した場合（ステップＳ３０２、Ｓ３１４）であっても、装置の演算量に余裕があれば領域分別の処理を行うこととしてもよい。
【００６４】
また、領域分別部４０１は、領域分別の処理を行うとした場合（ステップＳ３１０、Ｓ３１３）、または、上記演算量に余裕があるとして領域分別の処理を行うとした場合（ステップＳ３０２、Ｓ３１４）、以下のしきい値との比較により、さらに、領域分別の処理を行うこととしてもよい。
【００６５】
図８は、上記しきい値との比較処理を示すフローチャートである。たとえば、SumACがしきい値THよりも小さい場合（ステップＳ２０２：Ｙｅｓ）、領域分別部４０１は、そのマクロブロックに含まれる画素を全て平坦領域に分別する（ステップＳ４０１）。一方、SumACがしきい値TH以上の場合（ステップＳ２０２：Ｎｏ）、領域分別部４０１は、領域分別の処理を行う（ステップＳ４０２）。
【００６６】
領域分別部４０１の処理をまとめると以下のとおりである。
【００６７】
マクロブロックに含まれる画素を全て平坦領域に分別した場合、領域分別部４０１は、その旨を領域分別情報として出力する。
【００６８】
領域分別の処理を行う場合、領域分別部４０１は、マクロブロックに含まれる画素を、エッジ領域，平坦領域のいずれかの領域に分別して、その結果を領域分別情報として出力する。
【００６９】
過去の領域分別情報を利用する場合、領域分別部４０１は、メモリ４０２に保存されている過去の領域分別情報から第二の参照位置の領域の情報を抽出し、マクロブロックに含まれる画素の領域を第二の参照位置の画素の領域と同一にして領域分別情報として出力する。
【００７０】
対応点探索部３０２は、領域分別部４０１からの領域分別情報と復号低解像度画像信号に基づいて、対応点の探索を行う。対応点探索部３０２は、領域分別部４０１がエッジ領域と分別した画素に対して対応点探索を行い、対応点探索情報を出力する。また、対応点探索部３０２は、領域分別部４０１が平坦領域と分別した画素に対して対応点の探索を行わず、平坦領域である（対応位置の画素値の修正の必要がない）旨を対応点探索情報として出力する。
【００７１】
以上説明したように、本実施の形態によれば、領域分別部４０１が、符号化モード情報に基づいて注目画素を含むマクロブロックごとに領域分別を行うこととした。これにより、分別処理を行う画素を限定することができ、さらに画像の高解像度化に必要な処理負荷を軽減することができる。
【００７２】
（第４の実施の形態）
本実施の形態では、判定部および領域分別部を備えない構成とする。以下、第１〜３の実施の形態と異なる部分について説明する。
【００７３】
図９は、第４の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。高解像度化装置は、前述した第３の実施の形態の図６の構成から、領域分別部４０１，メモリ４０２，対応点探索部３０２を削除し、対応点探索部５０１とメモリ５０２を備える。
【００７４】
対応点探索部５０１は、符号化モード情報と復号低解像度画像信号を入力し、注目画素を含むマクロブロックごとに対応点の探索を行う。対応点を探索する場合の方法については、既存の方法と同様である。対応点を探索した結果である対応点探索情報と復号低解像度画像信号を画素修正部２０３へ出力する。メモリ５０２は、過去に高解像度画像を生成する過程で対応点を探索した際の画素ごとの対応点探索情報を保存する。
【００７５】
つづいて、対応点探索部５０１の探索処理を、フローチャートに基づいて詳細に説明する。図１０−１は、対応点探索部５０１の処理を示すフローチャートである。まず、注目画素を含むマクロブロックがスキップマクロブロックの場合について説明する。
【００７６】
注目画素を含むマクロブロックの動きベクトルが整数精度位置を参照している場合（ステップＳ１０２：Ｙｅｓ）、対応点探索部５０１は、マクロブロックに含まれる画素の対応点を、過去に高解像度画像を生成する過程で対応点探索を行った画像における上記マクロブロックに相当する位置（以下、第三の参照位置とする）の画素の対応点と同一にする（ステップＳ５０１）。このとき、対応点探索部５０１は、メモリ５０２に保存されている過去に対応点探索した際の対応点探索情報から第三の参照位置の対応点の情報を抽出し、マクロブロックに含まれる画素の対応点を第三の参照位置の画素の対応点と同一にする。一方、整数精度位置を参照していない場合（ステップＳ１０２：Ｎｏ）、対応点探索部５０１は、マクロブロックに含まれる画素を平坦領域として対応点探索を行わない（ステップＳ５０２）。
【００７７】
なお、注目画素を含むマクロブロックがスキップマクロブロックでない場合は（ステップＳ１０１：Ｎｏ）、イントラ予測探索フローへ進む（ステップＳ５０３）。図１０−２は、イントラ予測探索フローを示す図である。
【００７８】
ここで、上記対応点探索部５０１によるイントラ予測探索フロー、すなわち、注目画素を含むマクロブロックの予測モードがイントラ予測モードの場合の探索処理を、図１０−２にしたがって説明する。なお、サブマクロブロックの予測モードがイントラ予測モードの場合の探索処理についても同様である。
【００７９】
イントラ予測モードが水平（左または右）方向から±４５°以内の方向予測モードである場合（ステップＳ３０４：Ｙｅｓ）、対応点探索部５０１は、そのマクロブロックに含まれる画素ごとに行う対応点探索において、対応点探索の範囲を左右の縦ラインに限定する（ステップＳ５０４）。一方、水平（左または右）方向から±４５°以内の方向予測モードではなく（ステップＳ３０４：Ｎｏ）、かつ、垂直（上または下）方向から±４５°未満の方向予測モードである場合（ステップＳ３０６：Ｙｅｓ）、対応点探索部５０１は、そのマクロブロックに含まれる画素ごとに行う対応点探索において、対応点探索の範囲を上下の横ラインに限定する（ステップＳ５０５）。
【００８０】
垂直（上または下）方向から±４５°未満の方向予測モードではなく（ステップＳ３０６：Ｎｏ）、さらに「方向予測モードではない」かつ「ＤＣＴ係数がＤＣ成分のみまたはＤＣＴ係数が全て０」の条件を満たす場合（ステップＳ３０８：Ｙｅｓ）、対応点探索部５０１は、そのマクロブロックに含まれる画素を平坦領域として対応点探索を行わない（ステップＳ５０６）。一方、「方向予測モードである」場合、または、「ＤＣＴ係数がＤＣ成分のみまたはＤＣＴ係数が全て０」の条件を満たさない場合（ステップＳ３０８：Ｎｏ）、対応点探索部５０１は、対応点探索を行う（ステップＳ５０７）。
【００８１】
なお、注目画素を含むマクロブロックの予測モードがイントラ予測モードでない場合は（ステップＳ１０６：Ｎｏ）、インター予測探索フローに進む（ステップＳ５０８）。図１０−３は、インター予測探索フローを示す図である。
【００８２】
ここで、上記対応点探索部５０１によるインター予測探索フロー、すなわち、注目画素を含むマクロブロックの予測モードがインター予測モードの場合の探索処理を、図１０−３にしたがって説明する。なお、サブマクロブロックの予測モードがインター予測モードの場合の探索処理についても同様である。
【００８３】
そのマクロブロックのＤＣＴ係数がＤＣ成分のみまたは全て０の場合（ステップＳ１１３：Ｙｅｓ）、対応点探索部５０１は、マクロブロックに含まれる画素の対応点を、過去に高解像度画像を生成する過程で対応点探索を行った画像における第三の参照位置の画素の対応点と同一にする（ステップＳ５０９）。マクロブロックのＤＣＴ係数が、ＤＣ成分のみまたは全て０の条件を満たさない場合（ステップＳ１１３：Ｎｏ）、対応点探索部５０１は、対応点探索を行う（ステップＳ５１０）。
【００８４】
なお、注目画素を含むマクロブロックの動きベクトルの本数が２本以上の場合（ステップＳ１１１：Ｎｏ）、対応点探索部５０１は、そのマクロブロックに含まれる画素を平坦領域として対応点探索を行わない（ステップＳ５１１）。また、動きベクトルが整数精度位置を参照していない場合についても（ステップＳ１１２：Ｎｏ）、対応点探索部５０１は、そのマクロブロックに含まれる画素を平坦領域として対応点探索を行わない（ステップＳ５１１）。
【００８５】
また、上記処理において対応点探索部５０１が対応点探索を行わないとした場合（ステップＳ５０２、Ｓ５１１）であっても、装置の演算量に余裕があれば対応点探索を行うこととしてもよい。
【００８６】
また、対応点探索部５０１が、対応点探索を行うとした場合（ステップＳ５０７、Ｓ５１０）、または、上記演算量に余裕があるとして対応点探索を行うとした場合（ステップＳ５０２、Ｓ５１１）、以下のしきい値との比較により、さらに、対応点探索を行うこととしてもよい。
【００８７】
図１１は、上記しきい値との比較処理を示すフローチャートである。たとえば、SumACがしきい値THよりも小さい場合（ステップＳ２０２：Ｙｅｓ）、対応点探索部５０１は、そのマクロブロックに含まれる画素を平坦領域として対応点探索を行わない（ステップＳ６０１）。一方、SumACがしきい値TH以上の場合（ステップＳ２０２：Ｎｏ）、対応点探索部５０１は、対応点探索を行う（ステップＳ６０２）。
【００８８】
対応点探索部５０１の処理をまとめると以下のとおりである。
【００８９】
対応点探索を行わない場合、対応点探索部５０１は、その旨を対応点探索情報として出力する。
【００９０】
対応点探索を行う場合、対応点探索部５０１は、マクロブロックに含まれる画素に対して対応点探索を行い、その結果を対応点探索情報として出力する。
【００９１】
過去の対応点探索情報を利用する場合、対応点探索部５０１は、メモリ５０２に保存されている過去の対応点探索情報から第三の参照位置の対応点の情報を抽出し、マクロブロックに含まれる画素の対応点を第三の参照位置の画素の対応点と同一にして対応点探索情報として出力する。
【００９２】
以上説明したように、本実施の形態によれば、対応点探索部５０１が、符号化モード情報に基づいて、注目画素を含むマクロブロックごとに対応点探索を行うこととした。これにより、対応点の探索を行う画素を限定することができ、画像の高解像度化に必要な処理負荷を軽減することができる。
【００９３】
（第５の実施の形態）
本実施の形態では、対応点探索部に符号化モード情報と領域分別情報を入力する構成とする。以下、第１〜４の実施の形態と異なる部分について説明する。
【００９４】
図１２は、第５の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。高解像度化装置は、前述した第４の実施の形態の図９の構成から、対応点探索部５０１を削除し、領域分別部３０１と対応点探索部６０１を備える。
【００９５】
対応点探索部６０１は、符号化モード情報と領域分別部３０１からの領域分別情報とを入力して対応点探索を行い、対応点探索情報と復号低解像度画像信号を画素修正部２０３へ出力する。本実施の形態では、第４の実施の形態と同様、符号化モード情報に基づいて対応点探索を行うが、既に領域分別部３０１で平坦領域と分別した画素については対応点探索を行わない。平坦領域に分別された画素に対して対応点探索を行わないことを除けば、対応点探索部６０１の処理は、第４の実施の形態でフローチャート（図１０−１〜図１１）を用いて説明した処理と同等である。
【００９６】
また、領域分別部３０１を、符号化モード情報と復号低解像度信号を入力とする領域分別部４０１に置き換えることも可能である。図１３は、領域分別部３０１を領域分別部４０１に置き換えた高解像度化装置の構成例を示すブロック図である。この場合、領域分別部４０１の処理は、第３の実施の形態でフローチャート（図７−１〜図８）を用いて説明した処理と同等であり、対応点探索部６０１の処理は上記と同一である。
【００９７】
ただし、領域分別する処理を限定する場合（図８）、および対応点を探索する処理を限定する場合（図１１）において使用するしきい値については、式（１）で示した条件以外に次のような条件を追加する。領域分別部４０１におけるしきい値を「THx  （x∈｛intra，inter｝）」とし、対応点探索部６０１におけるしきい値を「TH'x  （x∈｛intra，inter｝）」とすると、全ての「x」について、「THx＞TH'x」となる（後段の対応点探索部６０１のしきい値の方を小さくする）ように式（１）の比例定数およびoffset値を調整する。
【００９８】
以上説明したように、本実施の形態によれば、対応点探索の前に領域分別を行うこととした。これにより、平坦領域については対応点探索を行わないため、第４の実施の形態と比較して、さらに、画像の高解像度化に必要な処理負荷を軽減することができる。
【図面の簡単な説明】
【００９９】
【図１】第１の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。
【図２】第１の実施の形態にかかる高解像度画像修正部の構成例を示すブロック図である。
【図３−１】判定部の処理を示すフローチャートである。
【図３−２】判定部の処理を示すフローチャートである。
【図３−３】判定部の処理を示すフローチャートである。
【図４】判定部の処理を示すフローチャートである。
【図５】第２の実施の形態にかかる高解像度画像修正部の構成例を示すブロック図である。
【図６】第３の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。
【図７−１】領域分別部の処理を示すフローチャートである。
【図７−２】領域分別部の処理を示すフローチャートである。
【図７−３】領域分別部の処理を示すフローチャートである。
【図８】領域分別部の処理を示すフローチャートである。
【図９】第４の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。
【図１０−１】対応点探索部の処理を示すフローチャートである。
【図１０−２】対応点探索部の処理を示すフローチャートである。
【図１０−３】対応点探索部の処理を示すフローチャートである。
【図１１】対応点探索部の処理を示すフローチャートである。
【図１２】第５の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。
【図１３】第５の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。
【符号の説明】
【０１００】
１０１  動画像復号化部、１０２  仮高解像度画像生成部、１０３  判定部、１０４  高解像度画像修正部、２０１  スイッチ、２０２  対応点探索部、２０３  画素修正部、２０４  メモリ、３０１  領域分別部、３０２  対応点探索部、４０１  領域分別部、４０２  メモリ、５０１  対応点探索部、５０２  メモリ、６０１  対応点探索部。
【図１】
2010124397.tif 000003
【図２】
2010124397.tif 000004
【図３−１】
2010124397.tif 000005
【図３−２】
2010124397.tif 000006
【図３−３】
2010124397.tif 000007
【図４】
2010124397.tif 000008
【図５】
2010124397.tif 000009
【図６】
2010124397.tif 000010
【図７−１】
2010124397.tif 000011
【図７−２】
2010124397.tif 000012
【図７−３】
2010124397.tif 000013
【図８】
2010124397.tif 000014
【図９】
2010124397.tif 000015
【図１０−１】
2010124397.tif 000016
【図１０−２】
2010124397.tif 000017
【図１０−３】
2010124397.tif 000018
【図１１】
2010124397.tif 000019
【図１２】
2010124397.tif 000020
【図１３】
2010124397.tif 000021