(57)【要約】  多視点動映像の情報量を最小化できるように、多視点動映像を符号化する方法及び装置を提供する。該多視点動映像符号化の方法は、基準フレームと基準フレームと異なる視点を有する隣接フレームとの間の視差ベクトルを、それぞれの隣接フレームごとに予測する段階と、基準フレームと視差ベクトルとを利用して隣接フレームについての補償されたフレームを生成する段階と、隣接フレームと補償されたフレームとの相関関係を決定する段階と、決定された相関関係を利用して多視点動映像符号化のための予測構造を決定する段階とを含む。これにより、多視点動映像についての情報量を最小化する予測構造を利用し、多視点動映像を効率的に符号化できる。
2009505607.tif 000002
【特許請求の範囲】
【請求項１】
基準フレームと、前記基準フレームと異なる視点を有するそれぞれの隣接フレームとの間の視差ベクトルを予測する段階と、
前記基準フレームと前記視差ベクトルとを利用し、前記隣接フレームについての補償されたフレームを生成する段階と、
前記隣接フレームと前記補償されたフレームとの相関関係を決定する段階と、
前記相関関係を利用して多視点動映像符号化のための予測構造を決定する段階とを含むことを特徴とする多視点動映像符号化の方法。
【請求項２】
前記相関関係は、前記隣接フレームと前記補償されたフレームとの類似度を示し、
前記相関関係を決定する段階は、
前記隣接フレームと前記補償されたフレームとの相関関係に対応する値に反比例する歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）を計算する段階を含み、
ここで、前記Ｖｉは、基準視点からｉ番目の視点で獲得されたフレームを示し、前記ｃＶｉは、前記基準フレーム、及び前記基準フレームと前記Ｖｉフレームとの間の視差ベクトルを利用して補償されたフレームを示し、ｉは、０と同じであるか、それよりも大きい整数であることを特徴とする請求項１に記載の多視点動映像符号化の方法。
【請求項３】
前記歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）を計算する段階は、
前記隣接フレーム及び前記補償されたフレームに対するＰＳＮＲ、ＭＡＤ、ＳＡＤ、ＭＳＥのうち少なくとも１つの関数を利用して計算する段階を含むことを特徴とする請求項２に記載の多視点動映像符号化の方法。
【請求項４】
前記予測構造を決定する段階は、
前記歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）と臨界値とを比較する段階と、
前記歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）が前記臨界値より大きくなる整数ｉの値を決定する段階と、
前記ｉの値に比例するＢフレームの個数を含む予測構造を、前記予測構造として決定する段階とを含むことを特徴とする請求項２に記載の多視点動映像符号化の方法。
【請求項５】
前記予測構造は、
水平に複数個の視点によるフレーム間の視差予測を行い、垂直に経時的なフレーム間の動き予測を行うために使われ、水平及び垂直に拡張されうることを特徴とする請求項１に記載の多視点動映像符号化の方法。
【請求項６】
前記予測構造を決定する段階は、
（ｉ−１）個のＢフレームを含む予測構造を、前記多視点動映像符号化のための前記予測構造として決定する段階を含むことを特徴とする請求項４に記載の多視点動映像符号化の方法。
【請求項７】
前記予測構造は、
所定の時間ごとに前記相関関係によって再構成されうることを特徴とする請求項１に記載の多視点動映像符号化の方法。
【請求項８】
前記予測構造を利用して多視点動映像を符号化する段階を含むことを特徴とする請求項１に記載の多視点動映像符号化の方法。
【請求項９】
基準フレームと前記基準フレームと異なる視点を有する隣接フレームとの間の視差ベクトルを、前記それぞれの隣接フレームごとに予測する予測部と、
前記基準フレームと前記視差ベクトルとを利用し、前記隣接フレームについての補償されたフレームを生成する補償部と、
前記隣接フレームと前記補償されたフレームとの相関関係を決定する相関関係決定部と、
前記相関関係を利用して多視点動映像符号化のための予測構造を決定する予測構造決定部とを備えることを特徴とする多視点動映像符号化の装置。
【請求項１０】
前記相関関係は、前記隣接フレームと前記補償されたフレームとの類似度を示し、
前記相関関係決定部は、
前記相関関係を決定するとき、前記隣接フレームと前記補償されたフレームとの相関関係に対応する値に反比例する歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）を計算し、
ここで、前記Ｖｉは、基準視点からｉ番目の視点で獲得されたフレームを示し、前記ｃＶｉは、前記基準フレーム、及び前記基準フレームと前記Ｖｉフレームとの間の視差ベクトルを利用して補償されたフレームを示し、ｉは、０と同じであるか、それよりも大きい整数であることを特徴とする請求項９に記載の多視点動映像符号化の装置。
【請求項１１】
前記相関関係決定部は、
前記歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）を計算するとき、前記隣接フレーム及び前記補償されたフレームに対するＰＳＮＲ、ＭＡＤ、ＳＡＤ、ＭＳＥのうち少なくとも１つの関数を利用して計算することを特徴とする請求項１０に記載の多視点動映像符号化の装置。
【請求項１２】
前記予測構造決定部は、
前記歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）と所定の臨界値とを比較し、前記歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）が前記臨界値より大きくなる整数ｉの値を決定し、前記ｉの値に比例するＢフレームの個数を含む予測構造を、前記多視点動映像符号化のための予測構造として決定することを特徴とする請求項１０に記載の多視点動映像符号化の装置。
【請求項１３】
前記予測構造は、
水平に複数個の視点によるフレーム間の視差予測を行い、垂直に経時的なフレーム間の動き予測を行うために使われ、水平及び垂直に拡張されうることを特徴とする請求項９に記載の多視点動映像符号化の装置。
【請求項１４】
前記予測構造決定部は、
（ｉ−１）個のＢフレームを含む予測構造を、前記多視点動映像符号化のための前記予測構造として決定することを特徴とする請求項１２に記載の多視点動映像符号化の装置。
【請求項１５】
前記予測構造は、
所定の時間ごとに前記相関関係によって再構成されうることを特徴とする請求項９に記載の多視点動映像符号化の装置。
【請求項１６】
前記予測構造を利用して多視点動映像を符号化部を備えることを特徴とする請求項９に記載の多視点動映像符号化の装置。
【請求項１７】
基準フレームと、前記基準フレームと異なる視点を有するそれぞれの隣接フレームとの間の視差ベクトルを予測する段階と、
前記基準フレームと前記視差ベクトルとを利用し、前記隣接フレームについての補償されたフレームを生成する段階と、
前記隣接フレームと前記補償されたフレームとの相関関係を決定する段階と、
前記相関関係を利用して多視点動映像符号化のための予測構造を決定する段階とを含む多視点動映像符号化の方法を具現するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項１８】
第１映像と前記第１映像と異なる視点を有する第２映像との間の視差ベクトルを予測する段階と、
前記第１映像と前記視差ベクトルとを利用して第３映像を生成する段階と、
前記第２映像と前記第３映像との相関関係を決定する段階と、
前記相関関係を利用し、前記第１映像及び前記第２映像に対する符号化のための予測構造を決定する段階とを含むことを特徴とする映像符号化の方法。
【請求項１９】
第１映像と前記第１映像と異なる視点を有する第２映像との間の視差ベクトルを予測する予測部と、
前記第１映像と前記視差ベクトルとを利用して第３映像を生成する生成部と、
前記第２映像と前記第３映像との相関関係を決定する相関関係決定部と、
前記相関関係を利用し、前記第１映像及び前記第２映像に対する符号化のための予測構造を決定する予測構造決定部とを備えることを特徴とする映像符号化の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点動映像シーケンスを符号化する方法及び装置に係り、さらに詳細には、多視点カメラにより表現される多視点動映像の情報量を最小化できるように、多視点動映像を符号化する方法及び装置に関する。
【背景技術】
【０００２】
高品質の情報及び通信サービスを実現する最も理想的な特性のうちの一つは、現実感である。これは、三次元（３Ｄ）映像に基づいた画像通信により達成されうる。３Ｄ映像システムは、教育、演芸、医療手術、画像会議など多くの潜在的な応用分野で利用されうる。多数の視聴者に遠隔地の場面に係るさらに生き生きしており、正確な情報を伝達するために、３つ以上のカメラが若干互いに異なる視点（view）に配され、多視点シーケンスを生成する。
【０００３】
３Ｄ映像分野に対する関心により、多数の研究グループが３Ｄ映像処理及びディスプレイシステムについて報告している。ヨーロッパでは、デジタル・ステレオ映像シーケンスをキャプチャし、符号化し、伝送して表示するためのシステムを開発する目的で、ＤＩＳＴＩＭＡのようなさまざまなプロジェクトにより３ＤＴＶについての研究が開始されている。それらプロジェクトは、３Ｄ遠隔臨場感（telepresence）のある通信で映像情報を改善するための目的の他のプロジェクトであるＰＡＮＯＲＡＭＡを導き出した。現在、それらのプロジェクトは、他のプロジェクトＡＴＴＥＳＴを導き出したが、このプロジェクトで、３Ｄコンテンツ獲得、３Ｄ圧縮及び送信、及び３Ｄディスプレイシステムの多様な分野の技術が研究された。このプロジェクトで、ＭＰＥＧ−２及びＤＶＢ（Digital  Video  Broadcasting）システムは、特に２Ｄコンテンツ送信のためのベースレイヤ（base  layer)及び３Ｄの深み感あるデータの送信のためのアドバンスト・レイヤを使用するための、時間拡張性（ＴＳ：Temporal  Scalibility）により３Ｄコンテンツを伝送するために適用された。
【０００４】
ＭＰＥＧ−２で、マルチビュー・プロファイル（ＭＶＰ）は、ＭＰＥＧ−２標準に対する修正として、１９９６年に定義された。ＭＶＰの重要な新しい構成要素は、マルチカメラ・シーケンスについての時間拡張性（ＴＳ）モードの利用に係る定義及びＭＰＥＧ−２シンタックスでの獲得カメラパラメータに対する定義である。
【０００５】
減少したフレームレート（frame  rate）で信号を代表するベースレイヤ・ストリームを符号化し、２本のストリームが有効である場合、全体フレームレートで再生を許容するために、中間に付加的なフレームを挿入するのに利用されうる向上レイヤを定義することが可能である。向上レイヤを符号化する効率的な方法は、向上レイヤフレーム内のそれぞれのマクロブロックに対し、ベースレイヤ・フレームまたは最近再構成された向上レイヤフレームから最上の動き補償予測に関する決定がなされるように許容するのである。
【０００６】
かような信号に対し、時間拡張性シンタックスを利用してステレオ及び多視点チャンネル符号化を行うのは、容易である。この目的のために、１つのカメラ視点からのフレーム（通常、左目のフレーム）はベースレイヤとして定義され、残りからのフレームは向上レイヤとして定義される。ベースレイヤは、同時モノスコピック（monoscopic）・シーケンスを示す。向上レイヤに対し、視差（disparity）補償予測は、遮断領域（occluded  region）では失敗することがあるが、同じチャンネル内部の動き補償予測により再構成された映像品質を続けて維持できる。ＭＰＥＧ−２ＭＶＰは、ステレオ・シーケンスとして主に定義されるために、多視点シーケンスを支援せず、もともと多視点シーケンスに拡張し難い。
【０００７】
図１は、ＭＰＥＧ−２マルチビュー・プロファイルの符号化器及び復号化器を示す図である。
【０００８】
ＭＰＥＧ−２で提供する拡張性は、１つの映像装備を使用して異なる解像度や形式を有する映像を同時に復号化するためのものであり、ＭＰＥＧ−２で支援する拡張性のうち視覚拡張性は、フレームレートを高めることによって視覚的画質を向上させる技術である。マルチビュー・プロファイルは、かような時間拡張性を考慮し、ステレオ動映像に適用したものである。
【０００９】
実質的に、ステレオ動映像概念を有する符号化器及び復号化器の構造は、図１の時間拡張性のような構造を有し、ステレオ動映像のうち左側映像は、ベース視点符号化器（base  view  encoder）に入力され、ステレオ動映像の右側映像は、時間的補助視点符号化器（temporal  auxiliary  view  encoder）に入力される。
【００１０】
補助視点符号化器は、時間拡張性のためのものであり、時間的にベースレイヤの映像間に映像をインターリービングするインターレイヤ符号化器（interlayer encoder）である。
【００１１】
従って、左側映像を別に符号化及び復号化すれば、ニ次元動映像を得ることができ、左側映像と右側映像とを同時に符号化及び復号化すれば、立体動映像を具現できる。ここで、動映像の伝送や保存のために、２つの映像のシーケンスを合わせたり分離できるシステム・マルチプレクサ及びシステム・デマルチプレクサが必要である。
【００１２】
図２は、ＭＰＥＧ−２マルチビュー・プロファイルを利用したステレオ動映像符号化器及び復号化器を示す図である。
【００１３】
ベースレイヤは、動き補償及び離散余弦変換（ＤＣＴ：Discrete  Cosine  Transform）を利用して符号化し、逆過程を介して復号化する。時間的補助視点符号化器は、復号化されたベースレイヤの映像を基に予測した時間的インターレイヤ符号化器（temporal  interlayer  encoder）の役割を行う。
【００１４】
すなわち、２個の視差補償予測、またはそれぞれ１個の視差予測及び動き補償予測がここに使われ、ベースレイヤの符号化器及び復号化器と同様に、時間的補助視点符号化器は、視差及び動き補償ＤＣＴ符号化器及び復号化器を備える。
【００１５】
また、動き予測／補償符号化過程で、動き予測器（predictor）と補償器（compensator）とが必要であるように、視差補償符号化過程で、視差予測器と補償器とが必要である。ブロック基盤の動き／視差予測及び補償に付け加え、符号化過程は、予測された結果映像と原映像との差映像のＤＣＴ、ＤＣＴ係数の量子化及び可変長符号化などを含む。反対に、復号化過程は、可変長復号化、逆量子化、逆ＤＣＴのような過程を含む。
【００１６】
ＭＰＥＧ−２符号化は、Ｂピクチャのための双方向動き予測によって、非常に効率的な圧縮方法であり、時間拡張性もかなり効率的であるために、双方向予測だけを使用したＢピクチャを右側映像の符号化に使用し、高効率の圧縮を得ることができる。
【００１７】
図３は、双方向予測のために、２つの視差予測を使用して視差だけを考慮した予測符号化を示す図である。
【００１８】
左側映像は、ノン・スケーラブル（non-scalable）ＭＰＥＧ−２符号化器を使用して符号化し、右側映像は、復号化された左側映像を基に、ＭＰＥＧ−２時間的補助視点符号化器を使用して符号化する。
【００１９】
すなわち、右側映像は、２つの参照映像、例えば左側映像から求めた予測を使用し、Ｂピクチャに符号化される。このとき、２つの参照映像のうちの一つは、同時にディスプレイされる左側映像であり、他の一つは、時間的に次に出てくる左側映像である。
【００２０】
そして、２つの予測は、動き推定／補償と同様に、順方向、逆方向、双方向の３つの予測モードを有する。ここで、順方向モードは、同じ時間の左側映像から予測した視差を意味し、逆方向モードは、すぐに次の左側映像から予測した視差を意味する。かような方法の場合、右側映像の予測は、２つの左側映像の視差ベクトルを介してなされるために、かかる形態の予測方法を視差ベクトルだけを考慮した予測符号化という。従って、符号化器では、右側動映像の各フレームごとに２つの視差ベクトルを推定し、復号化器では、この２つの視差ベクトルを利用して左側動映像から右側動映像を復号化する。
【００２１】
図４は、双方向予測のために、視差ベクトルと動きベクトルとを使用した予測符号化を示す図である。図４は、図３に図示された双方向予測を介したＢピクチャを使用するが、双方向予測は、１個の視差推定と１個の動き推定とを使用する。すなわち、１つの同時間帯の左側映像から視差予測と、すぐに以前の時間の右側映像からの動き予測とを使用する。
【００２２】
そして、視差だけを考慮した予測符号化と同様に、双方向予測も、順方向、逆方向そして双方向（interpolated）モードと呼ばれる三種の予測モードを含む。ここで、順方向モードは、復号化された右側映像からの動き予測を意味し、逆方向モードは、復号化された左側映像からの視差予測を意味する。
【００２３】
前述のように、ＭＰＥＧ−２マルチビュー・プロファイルの規格自体は、多視点動映像についての符号化器を考慮しておらず、実際のステレオ動映像に適するように設計されていないので、多数の人に同時に立体感及び臨場感を提供するための多視点動映像を効率的に提供できる符号化器が必要である。
【発明の開示】
【発明が解決しようとする課題】
【００２４】
本発明がなそうとする技術的課題は、多数の人に同時に立体感及び臨場感を提供し、多視点動映像を効率的に提供できる多視点動映像を符号化する方法及び装置を提供することである。
【００２５】
また、本発明がなそうとする技術的課題は、多視点動映像についての情報量を最小化する予測構造を利用して多視点動映像を符号化する方法及び装置を提供することである。
【課題を解決するための手段】
【００２６】
前記の技術的課題を達成するために、本発明の一特徴によって、基準フレームと基準フレームと異なる視点を有する隣接フレームとの間の視差ベクトルを、それぞれの隣接フレームごとに予測する段階と、基準フレームと予測された視差ベクトルとを利用して隣接フレームについての補償されたフレームを生成する段階と、隣接フレームと補償されたフレームとの相関関係を決定する段階と、決定された相関関係を利用して多視点動映像符号化のための予測構造を決定する段階とを含む多視点動映像符号化の方法を提供する。
【００２７】
望ましくは、相関関係は、隣接フレームと補償されたフレームとの類似度を示し、相関関係を決定する段階は、隣接フレームと補償されたフレームとの相関関係に対応する値に反比例する歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）を計算する段階を含み、ここで、Ｖｉは、基準視点からｉ番目の視点で獲得されたフレームを示し、ｃＶｉは、基準フレーム、及び基準フレームとＶｉフレームとの間の視差ベクトルを利用して補償されたフレームを示し、ｉは、０と同じであるか、それよりも大きい整数である。
【００２８】
望ましくは、歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）を計算する段階は、隣接フレーム及び補償されたフレームに対するＰＳＮＲ（Peak  Signal  to  Noise  Ratio）、ＭＡＤ（Mean  of  Absolute  Difference）、ＳＡＤ（Sum  of  Absolute  Difference）、ＭＳＥ（Mean  Square  Error）のうち少なくとも１つの関数を利用して計算する段階を含む。
【００２９】
望ましくは、予測構造を決定する段階は、歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）と所定の臨界値とを比較する段階と、歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）が前記臨界値より大きくなるｉの値を決定する段階と、ｉの値に比例するＢフレームの個数を含む予測構造を予測構造として決定する段階とを含む。
【００３０】
望ましくは、予測構造は、水平に複数個の視点（view）によるフレーム間の視差予測を行い、垂直に経時的なフレーム間の動き予測を行うための構造として水平及び垂直に拡張されうる。
【００３１】
望ましくは、予測構造を決定する段階は、（ｉ−１）個のＢフレームを含む予測構造を、前記多視点動映像符号化のための予測構造として決定する段階を含む。
【００３２】
望ましくは、予測構造は、所定の時間ごとに相関関係によって再構成されうる。望ましくは、本発明による多視点動映像符号化の方法は、再構成可能な予測構造を利用して多視点動映像符号化を完了する段階を含む。
【００３３】
前記の技術的課題を達成するために、本発明の他の特徴によって、基準フレームと基準フレームと異なる視点を有する隣接フレームとの間の視差ベクトルを、それぞれの隣接フレームごとに予測する予測部と、基準フレームと予測された視差ベクトルとを利用して隣接フレームについての補償されたフレームを生成する補償部と、前記隣接フレームと補償されたフレームとの相関関係を決定する相関関係決定部と、決定された相関関係を利用して多視点動映像符号化のための予測構造を決定する予測構造決定部とを備える多視点動映像符号化の装置が提供される。
【００３４】
前記の技術的課題を達成するために、本発明のさらに他の特徴によって、多視点動映像符号化の方法を具現するためのプログラムを記録したコンピュータで読み取り可能な記録媒体が提供される。
【発明の効果】
【００３５】
本発明によれば、多数の人に同時に立体感及び臨場感を提供し、多視点動映像を効率的に提供できる多視点動映像を符号化する方法及び装置を提供できる。
【００３６】
また、隣接フレームと補償された隣接フレームとの相関関係による多視点動映像符号化のための予測構造を採択し、多視点動映像についての情報量を最小化できる多視点動映像を符号化する方法及び装置を提供できる。
【発明を実施するための最良の形態】
【００３７】
以下、添付した図面を参照しつつ、本発明の望ましい実施例について詳細に説明する。
【００３８】
図５は、本発明の一実施例による多視点動映像符号化の装置の内部構成を示すブロック図である。
【００３９】
本発明の一実施例による多視点動映像符号化の装置は、多視点映像バッファ５１０、予測部５２０、視差／動き補償部５３０、差映像符号化部５４０及びエントロピ符号化部５５０を備える。
【００４０】
図５で、提案された多視点動映像符号化の装置は、多数のカメラシステムまたは他の可能な方法から通常獲得される多視点ビデオソースを受信する。入力された多視点ビデオは、多視点映像バッファ５１０に保存される。多視点映像バッファ５１０は、保存された多視点動映像ソースデータを予測部５２０及び差映像符号化部５４０に提供する。
【００４１】
予測部５２０は、視差推定部５２２及び動き推定部５２４を備え、保存された多視点ビデオソースに対して動き予測及び視差予測を実行する。予測部５２０は、図６ないし図１２に図示されたような矢印方向に視差ベクトル及び動きベクトルを推定して視差／動き補償部５３０に提供する。
【００４２】
予測部５２０で動きと視差とに係る予測を実行するとき、図６ないし図１２を参照して後述する本発明による多視点動映像符号化の構造と共に、多視点視差ベクトルと、これを動映像に拡張したときに発生する動きベクトルとを効率的に利用して推定方向を設定できる。すなわち、ＭＰＥＧ−２で符号化するための構造を視点軸に拡張し、空間的／時間的相関度を利用できるのである。
【００４３】
視差／動き補償部５３０で視差及び動き補償は、視差推定部５２２及び動き推定部５２４で推定された動きベクトル及び視差ベクトルを利用して実行される。視差／動き補償部５３０は、推定された動き及び視差ベクトルを利用して復元された映像を差映像符号化部５４０に提供する。
【００４４】
差映像符号化部５４０は、多視点映像バッファ５１０から提供される原映像と、視差／動き補償部５３０により補償された復元映像との差情報を、さらに良好な画質と立体感とを提供するために、差映像符号化を行ってエントロピ符号化部５５０に提供する。
【００４５】
エントロピ符号化部５５０は、予測部５２０で生成された視差ベクトル及び動きベクトルについての情報と、差映像符号化部５４０からの残差映像とを入力され、多視点動映像ソースデータに係るビットストリームを生成する。
【００４６】
図６は、本発明の一実施例による多視点動映像の単位符号化構造を示す図である。図６は、視点の個数が３つであると仮定するとき、コア−予測構造または単位−予測構造の構造である。四角形ブロックは、多視点ビデオソースでの映像フレームを示す。水平方向の矢印は、視点またはカメラ位置によるフレームのシーケンスを示し、垂直方向の矢印は、時間によるフレームのシーケンスを示す。フレームで、Ｉピクチャは、ＭＰＥＧ−２／４またはＨ．２６４でのＩフレームと同じ「イントラピクチャ」を示す。Ｐピクチャ及びＢピクチャは、それぞれＭＰＥＧ−２／４またはＨ．２６４と同じように、「予測ピクチャ」及び「双方向予測ピクチャ」を示す。
【００４７】
しかし、Ｐピクチャ及びＢピクチャは、多視点ビデオ・コーディングで共に動き予測及び視差予測により予測される。図６で、ピクチャフレーム間の矢印は、予測方向を意味する。水平方向を指す矢印は、視差測定を意味し、垂直方向を指す矢印は、動き予測を意味する。本発明の一実施例によれば、Ｂピクチャは、三種のタイプから構成され、図７を参照して説明する。
【００４８】
図７は、本発明の一実施例による多視点動映像の符号化に利用される三種のＢピクチャのタイプ及びＰ１ピクチャを示す図である。
【００４９】
本発明の一実施例によるＢピクチャは、３つのタイプのピクチャから構成される。図７で、Ｂ、Ｂ１、Ｂ２ピクチャは、水平にまたは垂直に隣接した２つ以上のフレームにより予測されるピクチャ・フレームを意味する。
【００５０】
Ｂピクチャは、図７Ａのように、水平に隣接した２個のフレーム、図７Ｂのように、垂直に隣接した２個のフレームにより予測される。一方、図７Ｃのように、Ｐ１フレームと図示されたフレームは、水平に隣接した１個のフレーム及び垂直に隣接した１個のフレームにより予測される双方向予測フレームであるが、本明細書では、Ｐ１フレームと定義する。
【００５１】
Ｂ１ピクチャは、図７Ｄのように、水平に隣接した２個のフレーム及び垂直に隣接した１個のフレーム、または図７Ｅのように、水平に隣接した１個のフレーム及び垂直に隣接した２個のフレームにより予測される。Ｂ２ピクチャは、図７Ｆのように、水平にまたは垂直に４個の隣接したフレームにより予測される。
【００５２】
再び図６を参照し、多視点動映像の予測シーケンスを示す単位符号化構造について説明する。図６で、基本的な予測シーケンスは、次の通りである。
【００５３】
Ｉ→Ｐ→Ｂ（またはＰ１）→Ｂ１＞Ｂ２
まず、Ｉフレーム６０１がイントラ予測される。Ｉフレーム６０１から水平にＰフレーム６０３が予測され、垂直にＰフレーム６１０が予測される。
【００５４】
次に、Ｉフレーム６０１及びＰフレーム６０３を参照し、水平に双方向予測を行ってＢフレーム６０２が予測され、Ｉフレーム６０１及びＰフレーム６１０を参照し、垂直に双方向予測を行ってＢフレーム６０４及びＢフレーム６０７が予測され、水平にＰフレーム６１０を参照して垂直にＰフレーム６０３を参照し、Ｐ１フレーム６１２が予測される。
【００５５】
その次に、Ｂ１フレームが予測される。水平にＢフレーム６０４を参照して垂直にＰフレーム６０３とＰ１フレーム６１２とを参照し、Ｂ１フレーム６０６が予測され、水平にＢフレーム６０７を参照して垂直にＰフレーム６０３及びＰ１フレーム６１２を参照し、Ｂ１フレーム６０９が予測され、水平にＰフレーム６１０及びＰ１フレーム６１２を参照して垂直にＢフレーム６０２を参照し、Ｂ１フレーム６１１が予測される。
【００５６】
最後に、Ｂ２フレームが予測される。水平にＢフレーム６０４及びＢ１フレーム６０６を参照して垂直にＢフレーム６０２及びＢ１フレーム６１１を参照し、Ｂ２フレーム６０５が予測され、水平にＢフレーム６０７及びＢ１フレーム６０９を参照して垂直にＢフレーム６０２及びＢ１フレーム６１１を参照し、Ｂ２フレーム６０８が予測される。
【００５７】
図６及び図７を参照して説明した通り、本発明によれば、双方向予測を行うとき、ＢフレームだけではなくしてＢ１フレーム及びＢ２フレームを利用し、Ｂフレームの個数を増やすことができるので、多視点映像を符号化するとき、情報量を減少させることができるのである。
【００５８】
図８Ａ及び図８Ｂは、本発明の一実施例による隣接したフレーム間の相関関係（Correlation）を決定する構造を示す図である。
【００５９】
図８ＡでＶ１、Ｖ２ないしＶｎは、隣接するように位置する多視点カメラから撮影されて出力される映像を示したものである。図８Ａ及び図８Ｂで、Ｖ０フレームを出力するカメラを基準（base）カメラと定めているが、他のカメラを基準カメラに定めることが可能であることはいうまでもない。空間的予測、すなわち視差予測は、基準カメラ及び隣接したｎ−カメラ間のカメラから出力されたフレームによって行われる。
【００６０】
図８Ｂに図示されたｃＶ１からｃＶｎまでの映像は、補償された映像フレームを図示したものである。補償された映像フレームは、図８Ａに図示されているように、予測した視差ベクトル及び基準カメラから出力されるＶ０フレームを利用して作られうる。
【００６１】
例えば、Ｖ０フレーム及びＶ２フレーム間の視差ベクトルを例に取って、ブロック単位視差推定方法によって予測する。予測された視差及びＶ０フレームを利用して補償されたフレームは、ｃＶ２である。Ｖ０フレームとＶ２フレームとの映像に一致する部分が多い場合には、補償されたｃＶ２フレームと元のＶ２フレームは、類似することとなる。かような場合には、Ｖ０フレーム及びＶ２フレーム間の視差ベクトルを利用し、多視点映像を符号化することが適切である。
【００６２】
しかし、例えば、Ｖ０フレームとＶ３フレームとに含まれる映像に、互いに一致する部分が少ない場合には、Ｖ０フレームとＶ３フレームとの間の視差ベクトルを予測し、Ｖ０フレームと予測された視差ベクトルとを利用してｃＶ３フレームを補償することになれば、Ｖ３フレームとｃＶ３フレームとの間に差が大きくなるのである。
【００６３】
従って、前述の通り、隣接したフレーム間の類似いかんが予測構造に影響を及ぼすために、隣接したフレーム間の類似いかんを決定する必要がある。元の隣接フレームが視差ベクトルを利用して補償された隣接フレームと類似性がある場合、元の隣接フレームと視差ベクトルとを利用して補償された隣接フレーム間に、相関関係があることもある。本発明の一実施例によれば、隣接フレーム間の類似いかんは、元の隣接フレームと補償された隣接フレームとの相関関係によって決定できる。
【００６４】
さらに詳細に説明すれば、Ｖ０フレームを基準カメラから出力される基準フレームとするとき、Ｖ０フレームとＶｉフレームとに含まれる映像が類似しているか否かは、補償されたｃＶｉフレームと元のＶｉフレームとの相関関係、または相関関係に該当する値に反比例する歪曲度（distortion）を計算して確認することができる。
【００６５】
元の映像と、元の映像と補償された映像との差を示す程度の歪曲度は、Ｄｉ（Ｖｉ，ｃＶｉ）（ここで、ｉは、０より大きい整数）と定義される。Ｖｉは、基準カメラからｉ番目のカメラが撮影して出力するフレームを意味し、ｃＶｉは、基準カメラから撮影したフレーム、例えばＶ０フレームとＶｉフレームとの視差ベクトル及びＶ０フレームを利用して補償されたフレームを意味する。
【００６６】
本発明の一実施例によれば、歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）を計算するために、ＰＳＮＲ（Peak  to  Signal  Noise  Ratio）、ＭＡＤ（Mean  of  Absolute  Difference）、ＳＡＤ（Sum  of  Absolute  Difference）、ＭＳＥ（Mean  Squared  Error）のような関数を利用できる。例えば、ＳＡＤを利用する場合、歪曲度は、ｉ番目のカメラにより出力されたＶｉフレーム・サブブロック（またはマクロ・ブロック）の実際画素値と、補償されたフレームであるｃＶｉフレームの補償されたサブブロック（またはマクロブロック）の補償された画素値との差の絶対値をいずれも加えて求められうる。
【００６７】
図９Ａないし図９Ｃは、本発明の一実施例による初期フレームの予測構造を示す図である。図９Ａないし図９Ｃを参照するに、本発明の一実施例による予測構造は、まず初期の予測構造を決定するとき、またはＩフレームで予測を行うときに決定される。例えば、予測構造は、時間ｔ１で、ＩフレームとＰフレームとの類似性によって、ＩフレームとＰフレームとの間のＢフレームの個数が比例して増加する構造を有する。また、本発明は、基準カメラから出力される基準フレームと、隣接したカメラから出力された隣接映像フレームとの相関関係によって、一定の時間ごとに再構成できるピクチャ構造を提案する。
【００６８】
本発明によれば、歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）が所定の臨界値より初めて大きくなるｉの値を決定し、ｉの値に比例するＢフレームの個数を含む予測構造を、多視点動映像符号化のための予測構造として決定する。ここで、臨界値は、実験で定めることができる所定の値である。また、臨界値は、歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）を計算する関数によって異なって決まりうる。
【００６９】
また、本発明の一実施例によれば、Ｉフレームから予測を始めるとき、歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）が所定の臨界値ｔｈより小さい場合には、（ｉ−１）個のＢフレームから構成される予測構造を利用して多視点動映像を符号化できる。
【００７０】
図８Ａないし図９Ｃを参照するに、Ｖ１フレームと復元されたｃＶ１フレームとの間の歪曲度Ｄ１（Ｖ１，ｃＶ１）が所定の臨界値より大きい場合には、Ｖ１フレームと復元されたｃＶ１フレームとの間には、相関関係が低いので、Ｂピクチャを含まない図９Ａに図示されたタイプＡの予測構造を利用することが望ましい。
【００７１】
タイプＡの予測構造は、Ｂピクチャを利用せずにＩピクチャ及びＰピクチャだけを利用して構成され、隣接したフレーム間の相関関係が低いときに利用されることが望ましい。すなわち、ＩまたはＰピクチャ９０１を参照してＰピクチャ９０２を予測し、Ｐピクチャ９０２を参照してＰピクチャ９０３を予測する。
【００７２】
一方、歪曲度Ｄ１（Ｖ１，ｃＶ１）が所定の臨界値よりは小さいが、Ｖ０フレームとＶ２フレームとに共通して含まれる映像の部分が小さい場合には、Ｄ２（Ｖ２，ｃＶ２）は、所定の臨界値より大きくありうる。かかる場合には、参照されるピクチャ（９１１，９１３）間には、１個のＢピクチャを含む図９Ｂに図示された予測構造を利用して予測を行うことが望ましい。図９ＡのＢピクチャを含まないタイプＡの予測構造を利用するより、情報量を減らしつつ、効率的に圧縮符号化を行うことができるためである。タイプＢの予測構造は、図９Ａと図９Ｃとに比べ、中間ほどの相関関係がある場合に利用されうる。
【００７３】
また、歪曲度Ｄ２（Ｖ２，ｃＶ２）までは所定の臨界値より小さいが、歪曲度Ｄ３（Ｖ３，ｃＶ３）が所定の臨界値より大きい場合には、図９Ａ及び図９Ｂに比べ、ＩピクチャとＰピクチャとの間、またはＰピクチャとＰピクチャとの間に隣接したフレーム間に相関関係が高いときに利用されうるタイプＣの予測構造を利用する。図９Ｃを参照するに、参照されるピクチャ９２１，９２４間に双方向予測を行って生成されるＢピクチャ９２２，９２３が２つ含まれる。このように、２個のＢピクチャを含む図９Ｃに図示されたタイプＣの予測構造を利用して予測すれば、図９Ａまたは図９Ｂの予測構造を利用するより、情報量を減らしつつ効率的に圧縮符号化を行うことができる。
【００７４】
ここでは、予測構造にＢフレームが含まれない場合、周期的に１個のＢフレームが含まれる場合、２個のＢフレームが含まれる場合を例に挙げているが、図９Ａないし図９Ｃの構造は、カメラ、すなわち視点の個数によって拡張されうる。すなわち、元のフレームと補償されて再構成されたフレームとの相関関係が高い場合には、Ｂピクチャをさらに多く含む予測構造が利用されうる。従って、図示されていないが、参照されるピクチャ間のＢピクチャは３つ、４つと増加しうる。また、視点Ｖ１で、Ｉフレームを基準フレームとして説明したが、基準フレームは、Ｐフレームになることも可能である。
【００７５】
図１０は、本発明の一実施例による多視点動映像符号化の予測構造を示す図である。
【００７６】
まず、Ｉフレームで予測を行うとき、すなわち、時間がｔ１であるとき、フレームの予測構造を決定する。図１０では、前述のＤ１（Ｖ１，ｃＶ１）が所定の臨界値より大きく、図９Ａに図示されたタイプＡの形態で予測を始める。時間ｔ２及びｔ３での予測構造は、時間ｔ１でのタイプＡの予測構造によって決定される。
【００７７】
次に、ｔ４で動映像のＤｉを計算して予測構造を決定する。図１０を参照するに、ｔ４でも、Ｄ１（Ｖ１，ｃＶ１）が所定の臨界値より大きく、タイプＡと類似したタイプＡ１の形態で予測が行われるということが分かる。タイプＡ１は、ＰフレームとＰ１フレームとから構成され、Ｐフレームから予測が始まるという点を除いて、タイプＡと類似した構造を有する。時間ｔ５及びｔ６での予測構造は、時間ｔ４でのタイプＡの予測構造によって決定される。
【００７８】
次に、ｔ７で、再び動映像のＤｉを計算して予測構造を決定する。ｔ７でも、Ｄ１（Ｖ１，ｃＶ１）が所定の臨界値より大きく、タイプＡと類似したタイプＡ１の形態で予測が行われるということが分かる。図１０に図示された通り、タイプＡ及びタイプＡ１の予測構造だけを利用し、多視点動映像の予測が行われうる。
【００７９】
図１１は、本発明の他の実施例による多視点動映像符号化の予測構造を示す図である。図１１では、前述のＤ２（Ｖ２，ｃＶ２）が所定の臨界値より大きいが、Ｄ３（Ｖ３，ｃＶ３）が所定の臨界値より小さい場合であって、図９Ｂに図示されたタイプＢの形態で予測を始める。時間ｔ２及びｔ３での予測構造は、時間ｔ１でのタイプＢの予測構造によって決定される。
【００８０】
ｔ４で、再び動映像のＤｉを計算して予測構造を決定する。図１１を参照するに、ｔ４でも、Ｄ２（Ｖ２，ｃＶ２）が所定の臨界値より大きいが、Ｄ３（Ｖ３，ｃＶ３）が所定の臨界値より小さく、タイプＢと類似したタイプＢ１の形態で予測が行われるということが分かる。図１１に図示された通り、タイプＢ１は、Ｐフレームから予測が行われるという点を除いて、タイプＢと類似した予測構造を有し、Ｐフレーム、Ｂ１フレーム、Ｐ１フレーム、Ｂ１フレーム及びＰ１フレームから構成される。時間ｔ５及びｔ６での予測構造は、時間ｔ４でのタイプＢ１の予測構造によって決定される。
【００８１】
ｔ７で、再び動映像のＤｉを計算して予測構造を決定する。図１１に図示された通り、タイプＢ及びタイプＢ１の予測構造を利用し、多視点動映像の予測が行われうる。
【００８２】
図１２は、本発明のさらに他の実施例による多視点動映像符号化の予測構造を示す図である。
【００８３】
時間がｔ１であるとき、フレームの予測構造を決定する。図１２では、前述のＤ１（Ｖ１，ｃＶ１）が所定の臨界値より大きく、タイプＡの形態で予測を始める。時間ｔ２及びｔ３での予測構造は、時間ｔ１でのタイプＡの予測構造によって決定される。
【００８４】
次に、ｔ４で動映像のＤｉを計算して予測構造を決定する。図１２を参照するに、ｔ４では、Ｄ２（Ｖ２，ｃＶ２）が所定の臨界値より大きいが、Ｄ３（Ｖ３，ｃＶ３）が所定の臨界値より小さく、タイプＢ１の形態で予測が行われるということが分かる。時間ｔ５及びｔ６での予測構造は、時間ｔ４でのタイプＢ１の予測構造によって決定される。
【００８５】
ｔ７で、再び動映像のＤｉを計算して予測構造を決定する。図１１に図示された通り、タイプＡの予測構造、タイプＢ１の予測構造、及びタイプＡ１の予測構造の順序のように、動映像の特性によって予測構造を変えつつ、多視点動映像の予測が行われうる。すなわち、図１０ないし１２に図示された通り、予測構造は、あらゆるＧＯＧＯＰ（Groups  of  Groups  of  Pictures）に適用でき、Ｉフレームで予測を始めるあらゆる初期のバージョンで再構成されうる。一方、Ｐフレームで予測を始めても、Ｉフレームで予測が始まるときに構成されうる予測構造と類似した形態の変形された予測構造によって再構成されうる。よって、本発明による多視点動映像符号化のための予測構造は、所定の時間ごとにフレーム間の相関関係によって再構成されうるということが分かる。
【００８６】
図１３は、本発明の一実施例による多視点動映像符号化の方法の順序を示すフローチャートである。
【００８７】
基準フレームと、基準フレームと異なる視点を有する隣接フレームとの間の視差ベクトルを、それぞれの隣接フレームごとに予測する（Ｓ１３１０）。基準フレームと予測された視差ベクトルとを利用し、隣接フレームについての補償されたフレームを生成する（Ｓ１３２０）。
【００８８】
隣接フレームと補償されたフレームとの相関関係を決定する（Ｓ１３３０）。相関関係を決定する段階は、隣接フレームと補償されたフレームとの相関関係に対応する値に反比例する歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）を計算して決定できる。ここで、Ｖｉは、基準視点からｉ番目の視点で獲得されたフレームを示し、ｃＶｉは、基準フレーム及びＶｉフレーム間の視差ベクトルを利用して補償されたフレームを示し、ｉは、０と同じであるか、それよりも大きい整数である。
【００８９】
前述の通り、歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）は元の隣接フレーム及び補償されたフレームに対するＰＳＮＲ、ＭＡＤ、ＳＡＤ、ＭＳＥのうち少なくとも１つの関数を利用して計算できる。
【００９０】
決定された相関関係を利用し、本発明による多視点動映像符号化のための予測構造を決定する（Ｓ１３４０）。予測構造の決定は、歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）と所定の臨界値とを比較する段階と、歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）が所定の臨界値より初めて大きくなるｉの値を決定する段階と、ｉの値に比例するＢフレームの個数を含む予測構造を、予測構造として決定する段階とを含んで行うことができる。
【００９１】
本発明による多視点動映像符号化のための予測構造は、図６ないし図９で説明した通り、水平に複数個の視点（view）によるフレーム間の視差予測を行い、垂直に経時的なフレーム間の動き予測を行うための構造であって、水平及び垂直に拡張されうる。
【００９２】
Ｉフレームで予測を始めるとき、（ｉ−１）個のＢフレームを含む予測構造は、多視点動映像符号化のための予測構造として決定できる。一方、予測構造は、所定の時間ごとに基準フレームと隣接フレームとの相関関係によって再構成されうる。このように決定された再構成可能な予測構造を利用し、多視点動映像を符号化できる。
【００９３】
図１４は、本発明の一実施例による多視点動映像符号化の装置の構成を示すブロック図である。
【００９４】
本発明の一実施例による多視点動映像符号化の装置は、予測部１４１０、補償部１４２０、相関関係決定部１４３０及び予測構造決定部１４４０を備える。
予測部１４１０と補償部１４２０とには、多視点映像バッファ（図示せず）から多視点ビデオソースが入力される。予測部１４１０は、基準フレームと基準フレームと異なる視点を有する隣接フレームとの間の視差ベクトルを、それぞれの隣接フレームごとに予測し、補償部１４２０に視差ベクトルを伝達する。補償部１４２０は、基準フレームと予測された視差ベクトルとを利用し、隣接フレームについての補償されたフレームを生成する。
【００９５】
相関関係決定部１４３０は、隣接フレームと補償されたフレームとの相関関係を決定する。相関関係は、前述の通り、隣接フレームと補償されたフレームとの相関関係に対応する値に反比例する歪曲度Ｄｉ（Ｖｉ，ｃＶｉ）を計算して決定できる。
【００９６】
予測構造決定部１４４０は、決定された相関関係を利用し、本発明による多視点動映像符号化のための予測構造を決定する。決定された予測構造を利用して多視点動映像符号化を行うことは、図５に図示されたような多視点動映像符号化の装置と同じ構成を利用できる。
【００９７】
本発明による多視点動映像符号化の方法は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現できる。前記のプログラムを具現するコード及びコードセグメントは、当分野のコンピュータプログラマによって容易に推論されうる。コンピュータで読み取り可能な記録媒体は、コンピュータ・システムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（リードオンリメモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光ディスクなどがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータ・システムに分散され、分散方式でコンピュータで読み取り可能なコードで保存されて実行されうる。
【００９８】
以上の説明は、本発明の一実施例にすぎず、本発明の属する技術分野で当業者は、本発明の本質的特性から外れない範囲で変形された形態に具現できるであろう。従って、本発明の範囲は、前述の実施例に限定されるものではなく、特許請求の範囲に記載された内容と同等な範囲内にある多様な実施形態が含まれるものと解釈されねばならない。
【図面の簡単な説明】
【００９９】
【図１】ＭＰＥＧ−２マルチビュー・プロファイル（ＭＶＰ：Multi  view  profile）の符号化器及び復号化器を示す図である。
【図２】ＭＰＥＧ−２マルチビュー・プロファイルを利用したステレオ動映像符号化器を示す図である。
【図３】双方向予測のために、２つの視差予測を使用し、視差だけを考慮した予測符号化を示す図である。
【図４】双方向予測のために、視差ベクトルと動きベクトルとを使用した予測符号化を示す図である。
【図５】本発明の一実施例による多視点動映像符号化の装置の内部構成を示すブロック図である。
【図６】本発明の一実施例による多視点動映像の単位符号化構造を示す図である。
【図７Ａ】本発明の一実施例による多視点動映像の符号化に利用されるＢピクチャのタイプを示す図である。
【図７Ｂ】本発明の一実施例による多視点動映像の符号化に利用されるＢピクチャのタイプを示す図である。
【図７Ｃ】本発明の一実施例による多視点動映像の符号化に利用されるＰ１ピクチャを示す図である。
【図７Ｄ】本発明の一実施例による多視点動映像の符号化に利用されるＢ１ピクチャのタイプを示す図である。
【図７Ｅ】本発明の一実施例による多視点動映像の符号化に利用されるＢ１ピクチャのタイプを示す図である。
【図７Ｆ】本発明の一実施例による多視点動映像の符号化に利用されるＢ２ピクチャのタイプを示す図である。
【図８Ａ】本発明の一実施例によって、隣接したフレーム間の相関関係を決定する構造を示す図である。
【図８Ｂ】本発明の一実施例によって、隣接したフレーム間の相関関係を決定する構造を示す図である。
【図９Ａ】本発明の一実施例による初期フレームの予測構造を示す図である。
【図９Ｂ】本発明の一実施例による初期フレームの予測構造を示す図である。
【図９Ｃ】本発明の一実施例による初期フレームの予測構造を示す図である。
【図１０】本発明の一実施例による多視点動映像符号化の予測構造を示す図である。
【図１１】本発明の他の実施例による多視点動映像符号化の予測構造を示す図である。
【図１２】本発明のさらに他の実施例による多視点動映像符号化の予測構造を示す図である。
【図１３】本発明の一実施例による多視点動映像符号化の方法の順序を示すフローチャートである。
【図１４】本発明の一実施例による多視点動映像符号化の装置の構成を示すブロック図である。
【図１】
2009505607.tif 000003
【図２】
2009505607.tif 000004
【図３】
2009505607.tif 000005
【図４】
2009505607.tif 000006
【図５】
2009505607.tif 000007
【図６】
2009505607.tif 000008
【図７Ａ】
2009505607.tif 000009
【図７Ｂ】
2009505607.tif 000010
【図７Ｃ】
2009505607.tif 000011
【図７Ｄ】
2009505607.tif 000012
【図７Ｅ】
2009505607.tif 000013
【図７Ｆ】
2009505607.tif 000014
【図８Ａ】
2009505607.tif 000015
【図８Ｂ】
2009505607.tif 000016
【図９Ａ】
2009505607.tif 000017
【図９Ｂ】
2009505607.tif 000018
【図９Ｃ】
2009505607.tif 000019
【図１０】
2009505607.tif 000020
【図１１】
2009505607.tif 000021
【図１２】
2009505607.tif 000022
【図１３】
2009505607.tif 000023
【図１４】
2009505607.tif 000024
【国際調査報告】
2009505607.tif 000025
2009505607.tif 000026