(57)【要約】【課題】本発明は、復号化された出力ビットストリームが一定の知覚品質を有するように、入力映像の出力ビットストリームを符号化する方法を提供する。【解決手段】固定ビットレートを有する基本レイヤビットストリームが、入力映像から生成され、入力上位レイヤビットストリームが、入力映像と基本レイヤビットストリームとの差分から生成される。または、基本レイヤビットストリームと入力上位レイヤビットストリームは、予め格納される。レート特性および歪み特性が、基本レイヤビットストリームと入力上位レイヤビットストリームから抽出され、可変ビットレートを有する出力上位レイヤビットストリームが、レート特性および歪み特性に従って、入力上位レイヤビットストリームから生成される。基本と出力上位レイヤビットストリームは、組合せられて、可変ビットレートと一定の歪みを有する出力ビットストリームを形成する。
2006515718.tif 000002
【特許請求の範囲】
【請求項１】
測定可能なレートおよび歪み特性を有する入力映像を表す出力ビットストリームを生成する方法であって、品質が一定の出力映像として再構築される前記出力ビットストリームを生成する方法であり、
前記入力映像を表す基本レイヤビットストリームおよび入力上位レイヤビットストリームを提供するステップと、
前記レートおよび歪み特性にしたがって、前記入力上位レイヤビットストリームから、可変ビットレートを有する出力上位レイヤビットストリームを生成するステップと、
前記基本レイヤビットストリームを前記出力上位レイヤビットストリームと組み合わせて、可変ビットレートおよび一定の歪みを有する前記出力ビットストリームを形成するステップと
を含む入力映像を表す出力ビットストリームを生成する方法。
【請求項２】
ＦＧＳエンコーダにおいて、固定ビットレートで前記入力映像から前記基本レイヤビットストリームを生成するステップと、
前記ＦＧＳエンコーダにおいて、前記入力映像と前記基本レイヤビットストリームとの差から、前記入力上位レイヤビットストリームを生成するステップと、
前記基本レイヤビットストリームおよび前記入力上位レイヤビットストリームを第１の格納ユニットに格納するステップと
をさらに含む請求項１記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項３】
ＦＧＳデコーダにおいて、前記基本レイヤビットストリームおよび前記出力上位レイヤビットストリームから、前記出力映像を再構築するステップ
をさらに含む請求項１記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項４】
非同期伝送用の第２の格納ユニットに前記出力ビットストリームを格納するステップ
をさらに含む請求項１記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項５】
前記出力ビットストリームを同期伝送用のネットワークに提示するステップ
をさらに含む請求項１記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項６】
前記入力上位レイヤビットストリームを生成する前に、前記基本レイヤビットストリームを部分的に復号化するステップ
をさらに含む請求項１記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項７】
前記入力上位レイヤビットストリームを生成する前に、前記基本レイヤビットストリームをすべて復号化するステップ
をさらに含む請求項１記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項８】
前記入力上位レイヤビットストリームをビットプレーン符号化するステップ
をさらに含む請求項１記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項９】
前記入力映像から、前記レートおよび歪み特性を測定するステップ
をさらに含む請求項１記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項１０】
前記基本レイヤビットストリームおよび前記入力上位レイヤビットストリームから、前記レートおよび歪み特性を測定するステップ
をさらに含む請求項１記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項１１】
前記測定されたレートおよび歪みのサンプルを線形補間して、前記基本レイヤビットストリームおよび前記入力上位レイヤビットストリームの前記レートおよび歪み特性を正しくモデル化する曲線を推定するステップ
をさらに含む請求項１０記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項１２】
２つの隣接するレートおよび歪みサンプルの対を比較するステップと、
前記レートおよび歪みサンプルの対の間の前記測定された歪みを平均化して、一定の歪み値を推定するステップと、
利用可能な最大レートを求めて、チャネルの利用可能な帯域によって一定の歪みを維持するステップと、
Ｍ個のフレームのスライディングウィンドウを使用して、経時にわたる前記レートサンプルの変動に適合するステップと
をさらに含む請求項１０記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項１３】
周波数領域において、前記レートおよび歪み特性を測定するステップ
をさらに含む請求項１０記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項１４】
前記入力上位レイヤの前記レートサンプルを測定するステップと、
各レートサンプルをレート−歪みサンプル対の第１の部分として記録するステップと、
各レートサンプルに基づいて指定された数のビットに対して、ビットプレーン可変長復号化およびビットプレーンシフトを使用して、ＦＧＳ残差信号を前記周波数領域において再構築するステップと、
元のＦＧＳ残差信号から、前記再構築されたＦＧＳ残差信号を差し引いて、誤差信号を生成するステップと、
前記誤差信号に基づいて歪み値を推定して、各レート−歪みサンプル対の第２の部分として歪みサンプルを生成するステップと
をさらに含む請求項１３記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項１５】
複数のフレーム毎に、前記レートおよび歪みのサンプル対を測定するステップ
をさらに含む請求項８記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項１６】
各ステップにおいて１よりも大きなフレーム数分、前記スライディングウィンドウを移動させるステップ
をさらに含む請求項１２記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項１７】
前記空間領域において前記レートおよび歪み特性を測定するステップ
をさらに含む請求項１０記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項１８】
各レートサンプルに基づいて指定される数のビットに対して逆離散コサイン変換を使用して、前記空間領域においてＦＧＳ残差信号を再構築するステップ
をさらに含む請求項１７記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項１９】
前記ウィンドウ中のフレームの数は、前記ウィンドウ内のフレームの複雑性にしたがって調整される
請求項１２記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項２０】
前記ウィンドウ中のフレームの数は、前記出力ビットストリームの伝送に使用されるネットワークの状態にしたがって調整される
請求項１２記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項２１】
前記入力上位レイヤは、複数のビットプレーンを含み、
２つのレート−歪みサンプルを使用して各ビットプレーンを近似するステップ  をさらに含む請求項１０記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項２２】
同時の複数の出力ビットストリームは、対応するレート歪み特性をそれぞれ有する複数の入力映像から生成され、
前記入力映像をそれぞれ表す前記基本レイヤビットストリームおよび前記対応する入力上位レイヤビットストリームを提供するステップと、
前記対応するレートおよび歪み特性にしたがって、前記入力上位レイヤビットストリームから、可変ビットレートを有する前記出力上位レイヤビットストリームを生成するステップと、
前記基本レイヤビットストリームを前記出力上位レイヤビットストリームと組み合わせて、可変ビットレートおよび一定の歪みを各入力映像ごとに有する前記出力ビットストリームを形成するステップと、
前記複数の出力ビットストリームの前記可変ビットレートの和が、常に、一定の合計ビットレート以下であるように、前記複数の出力ビットストリームを多重化するステップと
をさらに含む請求項１記載の入力映像を表す出力ビットストリームを生成する方法。
【請求項２３】
前記和は、前記チャネルの総ＣＢＲに可能な限り近い
請求項１５記載の入力映像を表す出力ビットストリームを生成する方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、包括的に映像のコード変換の分野に関し、特に、スケーラブルな映像データのコード変換に関する。
【０００２】
【従来の技術】
映像圧縮は、より少ない記憶容量資源、ネットワーク資源、およびプロセッサ資源での視覚的な情報の格納、伝送、および処理を可能にする。最も広く使用されている映像圧縮規格としては、動画の格納および検索のためのＭＰＥＧ−１、デジタルテレビジョンのためのＭＰＥＧ−２、およびテレビ会議のためのＨ．２６３が挙げられ、ISO/IEC 11172-2: 1993「Information Technology-Coding of Moving Pictures and Associated Audio for Digital Storage Media up to about 1.5Mbit/s-Part 2:Video」、D. LeGall「MPEG:A Video Compression Standard for Multimedia Applications」Communications of the ACM, Vol.34, No.4, pp.46-58, 1991、ISO/IEC13818-2: 1996「Information Technology-Generic Coding of Moving Pictures and Associated Audio Information-Part 2:Video」1994、ITU-T SG XV, DRAFT H.263「Video Coding for Low Bitrate Communication」1996、およびITU-T SG XVI, DRAFT13 H. 263+Q15-A-60 rev.0「Video Coding for Low Bitrate Communication」1997を参照されたい。
【０００３】
これら規格は、主に画像またはフレームの空間的圧縮、およびフレームシーケンスの空間的および時間的な圧縮に関わる比較的低いレベルの仕様である。共通する特徴として、これら規格は、フレーム単位で圧縮を行う。規格は、広範囲の用途に高い圧縮比を実現する。
【０００４】
帯域幅が固定された通信チャネルを介して映像を伝送するために、映像はしばしば、固定ビットレート（ＣＢＲ）を使用して符号化される。各フレームにもたらされるビットの小さな変動を考慮するために、エンコーダの出力ビットがまず格納バッファに送られる。続けて、バッファが出力ビットを固定ビットレートでチャネルに放出する。
【０００５】
ＣＢＲ符号化映像には多くの利点があるが、ＣＢＲ符号化は特定の欠点も有する。１つの欠点は、知覚された画像品質が、ビットストリーム内の歪みの変動によりばらつくことである。歪みが増大すると、知覚された画像品質が悪化する。別の欠点として、ＣＢＲ符号化は、経時的に変化する異種のネットワークを介して映像を伝送する有効な手段を提供しない。このようなネットワークは、多くのユーザ間での利用可能ビットレート（ＡＢＲ）に基づいて確立される可変の帯域およびセッションのいずれか一方、またはこれら２つの組み合わせを特徴とする。双方の場合において、一定または最大の品質の映像を提供するために、あるいは通信チャネルの容量を完全に利用するために、可変ビットレート（ＶＢＲ）符号化がしばしば考慮される。
【０００６】
２００１年３月６日付けでBlawat他に発行された米国特許第６，１９８，８７８号「Method and apparatus for encoding and decoding digital video data」では、固定容量媒体に格納されたＶＢＲ符号化映像のためのバッファ制御戦略が記載された。Blawat他は、シーケンスの第２の部分、たとえば総再生時間の２０％の品質の損失をごくわずかに保ちながら、シーケンス全体のうちの第１の部分、たとえば、総再生時間の８０％での品質を増大させた。ＶＢＲ符号化映像は生成されるが、一定の品質を保証する方法については記載されていなかった。むしろ、再構築された映像における歪みを最小化することに重点が置かれていた。
【０００７】
２００１年３月２０日付けでFert他に発行された米国特許第６，２０５，１７４号「Variable bit-rate video coding method and corresponding video coder」では、解析パス、予測パス、およびピクチャ再配置を含むＶＢＲ映像符号化方法が記載された。第１のパスからのデータが、最終的な量子化ステップサイズ、ならびにフレームグループ（ＧＯＰ）割り当てと呼ばれる、ピクチャタイプ、すなわちＩ、Ｐ、およびＢの各フレーム、のロケーションに影響を与えるという点において、従来のＶＢＲコーダを改良した。妥当な一定品質を実現するには複数回の繰り返す必要があり、繰り返しの回数が多くなるほど、品質が改良されることが示された。しかしながら、繰り返しごとに、さらなる処理電力が消費されるとともに、遅延が増大した。
【０００８】
１９９９年１１月２日付けでBoice他に発行された米国特許第５，９７８，０２９号「Real-time encoding of video sequence employing two encoders and statistical analysis」は、映像フレームシーケンスを解析し、また情報を導き出す符号化サブシステムについて記載した。このサブシステムは、集められた情報を解析し、制御パラメータセットを生成する制御プロセッサを備える。第２の符号化サブシステムは、対応する制御パラメータセットを使用して各フレームを符号化した。第１のパスにおいて統計を集め、次いでその統計を使用して第２のパスにおいて符号化を実行することによって、多くの従来のＶＢＲエンコーダに関連する遅延を克服した。原理上、記載のエンコーダシステムは、従来のマルチパスエンコーダとあまり異なっていないが、Boice他は、リアルタイムでの動作を保証するために２つのエンコーダを接続できるようにする手段を記載した。
【０００９】
要約すると、従来技術による方法は、ビットレートの変動が主要な問題ではない場合に、歪みを最小化するＶＢＲコーダを主に記載している。
【００１０】
従来技術から、第１の段階中に符号化ビットストリームからデータを抽出し、抽出されたデータを符号化の第２の段階において使用することは、一般的な技術であることは明白である。これは、Lin他により「Bit-rate control using piece-wise approximated rate-distortion characteristics」IEEE Trans. Circuits and Systems for Video Technology、１９９８年８月にさらに説明されている。Lin他は、映像を符号化する大きな量子化スケールセットについて述べている。対応するレート−量子化器データおよび歪み−量子化器データもまた記録された。その記録データを使用して、線形補間法または三次補間法を介して曲線を補間した。最終的に、曲線を使用して、所与の固定レートについて平均歪みまたは歪み変動を最小化する量子化スケールセットが選択された。しかしながら、Lin他の方法は、レート−量子化器データを計算するにあたり計算的に高価であり、またさらに、最適な量子化スケールを求める複雑な検索が必要である。そのため、この方法は、リアルタイムでの用途、特に低ビットレートストリーミングデータには使用することができない。
【００１１】
図１は、従来技術による大半のＶＢＲエンコーダの土台をなす概念を示す。エンコーダ１００の一分岐では、ソース符号化統計１１１が、統計生成器１１０によって入力映像１０１から抽出される。特殊な場合の統計生成器１１０は、大きな量子化パラメータセットを使用して、おそらく、多くのレート−歪みサンプルから実際のレート−歪み（Ｒ−Ｄ）統計１１１を抽出する映像エンコーダである。Ｒ−Ｄ統計１１１は、統計解析器１２０に送られ、ここで、符号化のためにＲ−Ｄパラメータ１２１が求められる。Ｒ−Ｄパラメータ１２１は、遅延１４０した入力映像１０１のコピーに単一レイヤＶＢＲ符号化１３０を行うために使用される。結果は、格納可能またはネットワークを介して伝送可能なＶＢＲ符号化ビットストリーム１３１である。
【００１２】
図２は、２０００年１２月２６日付けでWang他に発行された米国特許第６，１６７，０８４号「Dynamic bit-allocation for statistical multiplexing of compressed and uncompressed digital video signals」に記載のＶＢＲ符号化を統計多重化に応用したものを示す。動的ビット割り当て方法２００は、ＣＢＲチャネル２６２を介して伝送される複数のプログラム２０１にレートを割り当てる。各プログラム（映像）２０１は、圧縮ビットストリームあるいは非圧縮ビットストリームの形態で、おそらくディスク２２０に格納される。
【００１３】
階層動的ビット割り当ては、レート制御プロセッサ２４０を使用して行われる。レート制御プロセッサはまず、スーパーフレームグループ（ＧＯＰ）レベルでビットを割り当て、次いで最終的にフレームレベルまで下がる。レート制御プロセッサ２４０は、複数の単一レイヤＶＢＲトランスコーダ２３１〜２３２およびエンコーダ２３３〜２３４によって抽出されるレート−歪みパラメータ２４１を使用する。目標とするビット数が、フレームのタイプおよびプログラム優先度にしたがって、レート制御プロセッサ２４０において決定される。目標とするビットレートに対する制約は、バッファ２６０のオーバフローおよびアンダフローを防止するために、レート制御プロセッサにおいて考慮される。したがって、ライン２６１上の信号は、バッファ２６０の「満杯度」を示す。各映像プログラムの目標ビット数は、複数のエンコーダそれぞれに送られて、複数の単一レイヤＶＢＲビットストリーム２３５〜２３８が生成される。これらビットストリームは、多重化され（２５０）、バッファリングされ（２６０）、そして通常、ＣＢＲチャネル２６２を介して伝送される。
【００１４】
映像を、たとえば映像サーバから受信側（たとえばテレビまたはコンピュータ）に伝送する場合、外部帯域変動が主要な問題である。変動は、品質に影響を及ぼすだけではなく、伝送中の遅延およびジッタにも影響する。２０００年７月４日付けでGrafに発行された米国特許第６、０８５、２２１号「File server for multimedia file distribution」は、ファイルサーバからマルチメディアファイルを伝送する方法を記載した。ＶＢＲコーダは、マルチメディアを圧縮するために使用された。Grafは、ＶＢＲ符号化の詳細について述べていなかった。Grafは、符号化フォーマットに関係なく、一定の知覚品質を実現することができると単純に仮定した。しかしながら、映像伝送をスケジューリングする方法について述べている。また、再構築された映像の知覚品質を最適化するために使用することのできる方法について言及しなかった。
【００１５】
大半の部分において、上述した方法は、２つの暗黙の仮定を有する。第１に、単一レイヤ符号化方式が想定されたことであり、第２に、レートまたは歪みの制約を満たすように調整可能な限られたパラメータセットがあり、たとえば、ＭＰＥＧ−２の場合、量子化パラメータおよびＧＯＰ構造、すなわちフレームタイプおよびロケーションのみが考慮されることである。
【００１６】
ＭＰＥＧ−４等、マルチメディアアプリケーションのための映像符号化規格（ＩＳＯ／ＩＥＣ１４４９６−２：１９９９「Information technology-coding of audio/visual objects, Part 2: Visual」を参照のこと）は、符号化効率を向上させるツールおよびオブジェクトベースの符号化およびエラー耐性をサポートするツールを含む、いくつかの新しい符号化ツールを提供する。
【００１７】
ネットワークを介して映像コンテンツを送出する際の主な問題の１つは、ユーザおよびネットワークによって課される特定の制約に見合うようにコンテンツを適合させることである。ユーザは、知覚品質の変動が最小な状態で再生するよう求める。しかしながら、動的なネットワーク状況により、この実現が難しくなることがしばしばある。
【００１８】
ＦＧＳ(fine granular scalable)符号化は、ＭＰＥＧ−４規格によって採用されてきた。ＦＧＳ符号化をサポートするツールは、ＭＰＥＧ−４規格の補正ISO/IEC14496-2:1999/FDAM4、「Information technology-coding of audio/visual objects, Part 2: Visual」に指定されている。ＦＧＳ符号化の概観は、Liにより「Overview of Fine Granularity Scalability in MPEG-4 video standard」IEEE Trans.Circuits and Systems for Video Technology、２００１年３月に説明されている。
【００１９】
ＦＧＳ符号化は、従来のスケーラブルな符号化から根本的に逸脱している。従来のスケーラブルな符号化の場合、コンテンツは、基本レイヤビットストリーム、およびおそらくいくつかの上位レイヤビットストリームに符号化され、粒度は、形成される上位レイヤビットストリームの数と同じ程度の細かさしかなかった。結果得られるレート−歪み曲線は、階段関数に類似する。
【００２０】
対照的に、ＦＧＳ符号化は、継続的にスケーラブルな上位レイヤビットストリームを提供する。継続スケーラブル上位レイヤビットストリームの提供は、離散コサイン変換（ＤＣＴ）係数を使用するビットプレーン符号化法によって実現される。ビットプレーン符号化では、上位レイヤビットストリームを任意のポイントで打ち切ることが可能である。この方法では、再構築される映像の品質は、復号化される上位レイヤビットストリームのビット数に比例する。
【００２１】
図３は、従来のＦＧＳエンコーダ３００を示す。入力映像３０１が、典型的な基本レイヤエンコーダ３１０に提供される。基本レイヤエンコーダは、ＤＣＴ３１１、量子化（Ｑ）３１２、動き補償（ＭＣ）３１８、逆量子化（Ｑ−１）３１３、逆ＤＣＴ（ＩＤＣＴ）３１４、動き予測３１７、クリッピング３１５、フレームメモリ３１６、および可変長コーダ（ＶＬＣ）３１９の各コンポーネントを備える。基本レイヤエンコーダ３１０の出力は、ある所定の最小固定ビットレートを有する基本レイヤビットストリーム３０１である。通常、ＣＢＲは非常に長く、たとえば２０Ｋｂｐｓ以下である。したがって、基本レイヤビットストリームは、高帯域チャネルおよび低帯域チャネルを介して伝送することが可能である。
【００２２】
上位レイヤビットストリームは、入力映像３０１から基本レイヤビットストリーム３１０の再構築フレームを差し引くことによって生成される。これにより、空間領域においてＦＧＳ残差信号３２２がもたらされる。次いで、上位レイヤ符号化は残差信号３２２に適用される。上位符号化は、ＤＣＴ３３０を含み、その後にビットプレーンシフト３４０、最大化演算３５０、およびビットプレーンＶＬＣ符号化３６０が続き、上位レイヤビットストリーム３０３を生成する。
【００２３】
図４は、基本レイヤビットストリーム３０２および上位レイヤビットストリーム３０３に適用されて、再構築された基本レイヤ映像４９１および再構築された上位レイヤ映像４９２を生成するＦＧＳデコーダ４００を示す。デコーダ４００は、可変長デコーダ（ＶＬＤ）４１０、逆量子化４１５、逆ＤＣＴ４２０、動き補償４２５、フレームメモリ４３０、およびクリッピング４３５の各コンポーネントを備える。ＦＧＳ残差信号４５６は、上位レイヤビットストリーム３０３をビットプレーンＶＬＤ４４５、ビットプレーンシフト４５０、およびＩＤＣＴ４５５の各コンポーネントを通過させることによって再構築される。次いで、ＦＧＳ残差信号４５６を再構築基本レイヤ信号４３６に加えて（４５７）、上位映像４９２をもたらすことができる。組み合わせられた信号をクリッピング（４６０）して、信号が範囲内にあるように確実にする。すなわち、８ビットピクセル値は、［０，２５５］の範囲になければならない。
【００２４】
ＦＧＳ符号化映像ビットストリームの上位レイヤでのビットプレーンシフトを制御する選択的強化方法は、２００１年７月１７日付けでChen他に発行された米国特許第６，２６３，０２２号「System and method for fine granular scalable video with selective quality enhancement」に記載された。ここでは、基本レイヤ映像の符号化に使用される量子化パラメータが、対応するシフト係数も決定する。視覚的に重要であるとみなされるマクロブロックに関連するビットプレーンほど、高くシフトされた。
【００２５】
留意すべき重要なポイントは、基本レイヤビットストリームのビットレートがある所定の最小値であることである。上位レイヤビットストリームは、最小から略可逆的（near lossless）な再構築までの範囲のレートおよび歪みをカバーした。また、上位レイヤビットストリームは、生成された後に格納し、多数回再使用することが可能であった。たとえば、ネットワーク特性にしたがって、現在のネットワークの状態を考慮に入れて、適当な数のビットをフレームに割り当て、ネットワークを介して伝送することができる。しかしながら、その方式では、調整する量子化パラメータがないことに留意することが重要である。
【００２６】
規格は、レート割り当て、またはこれと同様の意味合いで、フレーム単位でのビットの打ち切りをどのように行うべきかを指定していない。規格は、スケーラブルビットストリームをどのように復号化するかを指定するだけである。さらに、レート−歪み（Ｒ−Ｄ）特性を、たとえば量子化パラメータに基づいてモデル化するために使用されてきた従来の方法は、ＦＧＳ符号化に使用されるビットプレーン符号化方式にもはや有効ではない。そのため、再構築された映像の品質が、目立って変化する可能性がある。
【００２７】
分差感度は我々人間の視覚知覚にとって重要であるため、全体の歪みよりも知覚品質のばらつきを最小に抑えることが重要である。最適なレート割り当ては、指数Ｒ−Ｄモデルのコストを最小化することによって行うことができる。これにより、フレーム間で一定の品質がもたらされる。Wang他「A new rate allocation scheme for progessive fine granular scalable coding」Proc. International Symposium on Circuits and Systems, 2001を参照のこと。しかしながら、この従来技術によるモデルベースの手法は、低ビットレート信号ではうまくいかない。
【００２８】
【発明が解決しようとする課題】
したがって、一定の品質を有する出力ビットストリームを提供可能なスケーラブルコーダが必要とされる。さらに、リアルタイムで品質要件に見合うようにレートを調整することができるように、ビットプレーン符号化ビットストリームのＲ−Ｄ特性を測定可能な技法を提供することが望ましい。
【００２９】
【課題を解決するための手段】
本発明は、復号化された出力ビットストリームが一定の知覚品質を有するように、入力映像の出力ビットストリームを符号化する方法を提供する。固定ビットレートを有する基本レイヤビットストリームが、入力映像から生成され、入力上位レイヤビットストリームが、入力映像と基本レイヤビットストリームとの差分から生成される。あるいは、基本レイヤビットストリームおよび入力上位レイヤビットストリームが予め格納される。
【００３０】
レートおよび歪み特性が、基本レイヤビットストリームおよび入力上位レイヤビットストリームから抽出され、可変ビットレートを有する出力上位レイヤビットストリームが、レートおよび歪み特性にしたがって入力上位レイヤビットストリームから生成される。基本レイヤビットストリームおよび出力上位レイヤビットストリームは、組み合わせられて、可変ビットレートおよび一定の歪みを有する出力ビットストリームを形成する。
【００３１】
【発明の実施の形態】
システム構造
図５は、本発明による映像エンコーダ５００を示す。エンコーダ５００は、入力としてソース映像５０１を採用し、基本レイヤビットストリームおよび上位レイヤビットストリームから構成されるビットストリームを出力として生成する。利点として、基本および上位レイヤビットストリームを組み合わせることにより、一定の知覚品質を有する映像を再構築することが可能になる。
【００３２】
本発明による映像コーダ５００は、レート−歪み抽出器５２０および上位レイヤＶＢＲトランスコーダ５４０に接続されたＦＧＳエンコーダ５１０を備える。
【００３３】
システム動作
ＦＧＳエンコーダ５１０は、基本レイヤビットストリーム５１１および入力上位レイヤビットストリーム５１２を生成する。基本レイヤビットストリーム５１１は、所定の最小ビットレートおよび対応する歪みを有する。入力上位レイヤビットストリーム５１２は、基本レイヤビットストリーム５１１を部分的または完全に復号化した状態で、ビットプレーン符号化を使用して入力映像５０１と基本レイヤビットストリーム５１１との差分から生成される。
【００３４】
レート−歪み抽出器５２０は、基本および上位レイヤビットストリームをサンプリングして、レート−歪み（Ｒ−Ｄ）特性５２１を求める。具体的には、Ｒ−Ｄサンプルセットが測定され、これについてはさらに詳細に後述する。サンプルを線形補間して、基本および入力上位レイヤビットストリームのＲ−Ｄ特性を正しくモデル化する曲線を推定する。
【００３５】
上位レイヤＶＢＲトランスコーダ５４０は、スライディングウィンドウ５４１および利用可能なネットワーク帯域５４２を使用して、レートおよび歪み特性５２１にしたがって、入力上位レイヤビットストリーム５１２から出力上位レイヤビットストリーム５１９を生成する。後述するように、ウィンドウ５４１のサイズ（Ｍ）は、固定としてもよく、また映像の複雑性およびネットワークの状態に適合させることもできる。
【００３６】
次いで、基本レイヤビットストリーム５１１および出力上位レイヤビットストリーム５１９を組み合わせて、ディスクに格納して後に非同期伝送しても、また２つのビットストリームを、コード変換時に同期してネットワーク５５０を通して伝送することもできる。いずれの場合でも、ビットストリーム５１１および５１９を再構築すると、歪みのばらつきが最小限の映像が生成される。このようにして、本方法は有効に、再構築された映像の知覚品質を一定に保つ。
【００３７】
あるいは、基本レイヤビットストリーム５１１および入力上位レイヤビットストリーム５１２は、ＦＧＳエンコーダ５１１によって事前に生成され、格納ユニット５１５に予め格納される。ＦＧＳエンコーダ５１０は、この事前コード変換段階において、基本および入力上位レイヤビットストリーム５１１〜５１２を生成しつつ、レート−歪み特性５２１も予め生成することができる。これらもまた、関連する基本レイヤビットストリーム５１１および入力上位レイヤビットストリーム５１２と共に、格納ユニット５１５に格納することができる。次いで、レート−歪み抽出器５２０を迂回し、上位レイヤＶＢＲトランスコーダ５４０が、上述したように、リアルタイムで同期して動作する。
【００３８】
ＦＧＳビットストリームでの最適なレート割り当て
レートを最適に割り当てる従来の方法は、レート（Ｒ）制約を受けて、全体の歪み（Ｄ）を最小に抑える解決策を提供した。最も一般的な手法は、ラグランジュ乗数λを使用することによって全体の歪みを最小化する。したがって、本発明も費用関数Ｊ（λ）を最小化する。
【００３９】
【数１】
2006515718.tif 000003
【００４０】
式中、Ｎはシーケンス中のフレーム数である。
【００４１】
式（１）を直接解くと、スケーラブルビットストリームの場合のように低ビットレート状態下、すなわちレート容量(rate budget)Ｒｂｕｄｇｅｔが小さい場合、負のレート割り当てが導き出される。これは現実的ではないため、周知のカラッシュ−クーン−タッカー（ＫＫＴ）の制約が適用される。たとえば、周知のモデルＤ（Ｒ）＝ａσ２２−２Ｒが与えられる場合、解は、
【００４２】
【数２】
2006515718.tif 000004
【００４３】
になり、式中、（ｘ）＋は、ｘの正の部分を表し、以下のようになる。
【００４４】
【数３】
2006515718.tif 000005
【００４５】
レート−歪み抽出器
本発明のＲ−Ｄ抽出器５２０は、基本レイヤビットストリーム５１１およびお入力上位レイヤビットストリーム５１２に対して動作して、Ｒ−Ｄ特性５２１を提供する。本発明の方法は、低ビットレートでの従来技術による近似形態モデルの不正確性に起因する問題を克服する。
【００４６】
モデルベースのレート割り当て方法の性能は、選択されたモデルの精度に大きく依存する。従来技術による指数モデルは、ＦＧＳビットストリーム５１１〜５１２に存在する可能性のある低ビットレートにおけるレート／歪み特性を正確にモデル化しない（上記Wangを参照）。これは、この主題についての古典的な理論と一貫する（JayantおよびNollの著「Digital Coding of Waveforms、Prentice Hall」１９８４年を参照）。
【００４７】
従来技術による問題を克服するために、本発明のＲ−Ｄ特性５２１は、ＦＧＳビットストリームにおける完全なＲ−Ｄ関係を推定する。本発明では、Ｒ−Ｄサンプル間に線形補間を使用して、Ｒ−Ｄ関係を正しくモデル化する曲線を推定する。実際のＲ−Ｄ曲線は通常滑らかであるため、Ｒ−Ｄ曲線の正確な推定には、少数のＲ−Ｄサンプルしか必要ない。実際、２つのＲ−Ｄサンプルで、各ビットプレーンのＲ−Ｄ関係が十分に近似されることがわかった。
【００４８】
利点として、本発明のＲ−Ｄ抽出器５２０は、格納されているビットストリームのみならず、ストリーミング映像に対するリアルタイム動作でもＲ−Ｄ特性５２１を求めることができる。加えて、本発明では、概して、信号のばらつきはＤＣＴとは無関係であるため、Ｒ−Ｄ特性は、ＤＣＴ係数を使用して周波数領域において、あるいは空間領域において得ることができる。本発明では、従来の技法を使用して、基本レイヤビットストリーム５１１からＲ−Ｄ特性を抽出することができるが、本発明ではまた、入力上位レイヤビットストリーム５１２からもＲ−Ｄ特性を抽出する。
【００４９】
空間Ｒ−Ｄ抽出
図６ａは、空間領域においてＲ−Ｄ歪みサンプルを測定するＲ−Ｄ抽出器のブロック図である。まず、上位レイヤビットストリーム５１９が、ビットストリームコントローラ６１０を通過して、レートサンプル６１１を測定する。レートサンプルは、線形離間しても、また所定の関数にしたがって選択してもよい。レートサンプルは、各Ｒ−Ｄサンプル対｛Ｒ，Ｄ｝の第１の部分として記録される。ビットプレーンＶＬＤ６２０、ビットプレーンシフト６３０、およびＩＤＣＴ６４０を使用して、各レートサンプルに基づいて、指定された数のビットを使用し、ＦＧＳ残差信号６４１を再構築する。再構築されたＦＧＳ残差６４１が元のＦＧＳ残差６０２から差し引かれて（６４５）（図３の信号３２２を参照）、誤差信号６４６をもたらす。次いで、歪み６５１が、空間領域誤差６４６に基づいて推定され（６５０）、歪みサンプル６５１をもたらし、これが各Ｒ−Ｄ対｛Ｒ，Ｄ｝の第２の部分を形成する。このプロセスが、複数のレートサンプルポイントに対して繰り返されて、Ｒ−Ｄ対の集合がもたらされる。
【００５０】
周波数抽出
図６ｂは、ＤＣＴ領域におけるＲ−Ｄサンプルを測定するＲ−Ｄ抽出器のブロック図である。このプロセスは、ＤＣＴ領域での再構築ＦＧＳ残差６３１をもたらすためにＩＤＣＴ６４０が採用されないことを除き、図６ａに記述するプロセスと同様である。この再構築ＦＧＳは、元のＦＧＳ残差６０２（図３の信号３２２を参照）から差し引かれ（６４５）て、誤差信号６４６’をもたらす。次いで、歪み６５１が、周波数領域誤差６４６’に基づいて推定され（６５０’）て、歪みサンプル６５１がもたらされ、これが各Ｒ−Ｄ対｛Ｒ，Ｄ｝の第２の部分を形成する。このプロセスが、複数のレートサンプルポイントに対して繰り返されて、Ｒ−Ｄ対の集合がもたらされる。
【００５１】
Ｒ−Ｄサンプルが基本レイヤビットストリームのみから得られる従来技術とは対照的に、本発明では、サンプルをビットプレーン符号化上位レイヤビットストリームからも抽出する。従来技術による技法では、入力映像を各種量子化器を使用して符号化する必要がある。これは、計算的に厳しく、本明細書に述べるリアルタイムでの用途にふさわしくない。本発明の方法は、ビットプレーン符号化上位レイヤビットストリームからのリアルタイムでのＲ−Ｄサンプル抽出を可能にする。
【００５２】
一定の歪みを有する単一ＦＧＳ映像のビットレート割り当て
本発明において抽出されるＲ−Ｄ特性５２１は、ＶＢＲトランスコーダ５４０における最適なレート割り当てに十分なものである。この情報が与えられると、式（１）の費用関数を再び最小化するが、今度は歪みを制約する。従来技術による方法では、通常、全数探索（exhaustive search）を用いて式（１）の最適な解を見つけた。対照的に、本発明は、実用的なレート割り当て方法を提供する。
【００５３】
一定の歪みの適した初期推定に基づいて、最適な解をワンパスで得ることができる。スライディングウィンドウ技法を使用して、経時にわたるネットワークの変動に順応する。
【００５４】
一定の歪みＤの初期推定について、Ｄｍｉ≧Ｄ≧Ｄｎｉ、かつＲｍｉ≧Ｒｉ≧Ｒｎｉのような２つの隣接するＲ−Ｄサンプル｛Ｒｍｉ，Ｄｍｉ｝および｛Ｒｎｉ，Ｒｎｉ｝を考慮する。ただし、Ｒｉは、一定の歪みＤを実現するためにフレームｉに割り当てるべき最適なレートである。本発明では、測定された歪みサンプル、すなわちＤ＝（１／Ｎ）ΣＤｉ（ｉ＝０〜Ｎ−１）の平均を用いることによって、Ｄの初期推定を求める。ただし、Ｄｉは、固定ビットレート割り当てに関連する歪みである。固定ビット割り当てに関連するレートを使用して、最適なレートがある近傍を概算する、計算効率的な方法を提供する。
【００５５】
実際、各フレームに利用可能な帯域は、ネットワーク状態の変動により変動する。したがって、本発明では、スライディングウィンドウを使用するビットレート割り当て方式を用いる。時間ａにおけるフレームから開始してＭ個のフレームのウィンドウのレート容量Ｗａは、
【００５６】
【数４】
2006515718.tif 000006
【００５７】
であり、式中、Ｒｂｕｄｇｅｔは、時間ａにおける利用可能な帯域であり、Ｆｓは、入力シーケンスのフレームレートである。レート容量は、ウィンドウ中の各フレームについて求められ、現フレームへのレート割り当ては、以下に与えられる式の集合に基づき、
【００５８】
【数５】
2006515718.tif 000007
【００５９】
式中、ΔＲｉ＝Ｒｍｉ−ＲｎｉおよびΔＤｉ＝Ｄｍｉ−Ｄｎｉは、２つの隣接するＲ−Ｄサンプルにおけるレートおよび歪みそれぞれの差を表す。これは、Ｍ個の式の集合をもたらし、Ｍ個の未知数を既知の方法を使用して求めることができる。
【００６０】
上記式の解が、フレームｉについて負の場合、Ｒｉ＝０とし、解を再び計算する。各ウィンドウに割り当てられるレートは、フレーム単位で変化するため、現フレームＲｉについてのみ上記式を解く。
【００６１】
本発明の方法の計算の複雑性は、従来技術において行われる全数探索よりも大幅に低い。しかしながら、本発明では、フレーム単位ではなく、Ｍ個のフレームのあらゆる集合についてレートを求めることによって、計算コストをさらに低減する。この方法では、スライディングウィンドウは、一度に一フレームの代わりに、各ステップにおいてＭ個のフレーム分移動する。各ステップにおいて、ウィンドウ中の各フレームに割り当てられたレートは、フレームの集合に対するレートである。この改良された方法は、状態がゆっくりと変化するネットワークの場合に最もよく機能する。また、スライディングウィンドウのサイズＭを増大することにより、歪みの変動をさらに低減することができ、約２０個のフレームの範囲のサイズのウィンドウが最もよく機能することがわかった。しかしながら、Ｍの値は、映像の複雑性の変動量および／またはネットワークのダイナミクスに基づいて、適応可能に選択することができる。
【００６２】
ウィンドウサイズがより大きい場合、伝送前に、より多くのＲ−Ｄ情報を知る必要がある。Ｒ−Ｄ情報をオフラインで取得して格納した場合、レート制御プロセッサ７２０は、このデータにすぐにアクセスすることができる。本発明の方法の計算の複雑性は非常に低く、０（Ｍ）であるため、事実上、計算遅延を無視することができる。安定したネットワーク状態下では、映像の複雑性の変化に起因するばらつきを平滑化するために、より大きなウィンドウを選択することが望ましい。
【００６３】
一方、ネットワーク状態が不安定である場合、本発明では、初期遅延という犠牲を払って滑らかさを選好する。この場合、バッファを使用して、現在のＭ個のフレームを一時的に格納することができる。次いで、ビットレート割り当ては、現フレームの間で調整することができる。現実の用途の場合、ウィンドウサイズは、フレーム間の最大変動、初期遅延への感度、および目標平滑度に基づいて適応的に求めることができる。最適な解は、これら要因のバランスがとれたものである。
【００６４】
一定の歪みを有する複数のＦＧＳ映像のビットレート割り当て
近代の通信システムでは、映像ストリームの伝送は、通常、高帯域ＣＢＲチャネル、たとえば同軸ケーブルまたは光ファイバケーブルを備えた広域ネットワークによって受信側に結び付けられる。複数の映像をこのタイプのネットワークで伝送する場合、個々のビットストリームが、一定の総ビットレートを有する単一チャネルに多重化される。
【００６５】
複数の映像それぞれに一定の知覚品質を保ちつつ、高帯域チャネルを効率的に利用するために、各映像は、上述したようにＶＢＲ符号化される。さらに、複数のＶＢＲ出力ビットストリームの和は、随時、固定の総ビットレート以下である。実際、帯域を完全に利用するためには、和は可能な限り、チャネルの総ＣＢＲに近いものとなる。
【００６６】
本発明の方法は、チャネルの利用を最大化しながら、同時に各映像中の歪みの変動のみならず、全映像全体の歪みも最小化する。
【００６７】
図７は、本発明による複数映像ＦＧＳ統計エンコーダ７００のブロック図を示す。エンコーダ７００への同時入力は複数の映像７０１であり、出力は、上記条件を満たしながら、ＣＢＲチャネル７４１上の多重化されたＶＢＲビットストリームである。
【００６８】
まず、各入力映像７０１が、上述したように、個々に符号化され（５１０）てＶＢＲ  ＦＧＳビットストリーム５１１および５１２になる。対応するＲ−Ｄ特性５２１を測定することができる。非同期、すなわちリアルタイムではない用途の場合、出力は格納ユニット５１５に格納される。Ｒ−Ｄ特性５２１は、レート制御プロセッサ７２０に送られる。レート制御プロセッサは、各上位レイヤＶＢＲトランスコーダ５４０へのレート割り当て７２１を求める。同期、すなわちリアルタイムの用途の場合、記憶装置５１５が迂回され、基本および入力上位レイヤビットストリームが、上位レイヤＶＢＲトランスコーダ５４０に直接渡される。
【００６９】
トランスコーダ５４０からの出力ビットストリームは、多重化され（７３０）、バッファリングされ（７４０）、ＣＢＲチャネル７４１を介して同期伝送されるか、または格納されて後に非同期伝送される。バッファは、バッファの満杯度についてのフィードバック信号７４２をレート制御プロセッサ７２０に提供する。
【００７０】
レート制御プロセッサ
レート制御プロセッサ７００は、単一映像について上述した論述を複数の映像に拡張する。同様の仮定が行われる。すなわち、複数の映像にわたる歪みの変動が最小のとき、全体の歪みが最小になる。Ｍ個のフレームの二次元ウィンドウおよびフレームｂで開始されるＫ個のソースの場合のレート容量Ｗｂは、
【００７１】
【数６】
2006515718.tif 000008
【００７２】
であり、式中、Ｒｂｕｄｇｅｔは、ここでは、Ｋ個のソースの総ビット容量であり、Ｒｊ，ｉは、フレームｉにおいて映像ｊに使用されるビット数である。レート容量は、各映像のウィンドウ中の各フレームについて求められ、現フレームのレート割り当ては、式の集合：
【００７３】
【数７】
2006515718.tif 000009
【００７４】
に基づく。式中、ΔＲｊ，ｉ＝Ｒｍｊ，ｉ−Ｒｎｊ，ｉおよびΔＤｊ，ｉ＝Ｄｍｊ，ｉ−Ｄｎｊ，ｉは、映像ｊからの２つの隣接するＲ−Ｄサンプルにおけるレートおよび歪みそれぞれの差を表す。上記により、Ｍ×Ｋ個の式の集合がもたらされ、Ｍ×Ｋ個の未知数を既知の方法を使用して求めることができる。
【００７５】
結果および効果
本発明の単一映像方法の有効性を確証するために、ＭＰＥＧ−４規格で使用される周知の「職長（foreman）」映像シーケンスを、ＦＧＳおよびＦＧＳ−Ｔｅｍｍｐｏｒａｌ（ＦＧＳＴ）符号化を使用して共通中間形式（ＣＩＦ）解像度で符号化する。基本レイヤビットストリームのフレーム符号化レートは、ＦＧＳおよびＦＧＳＴ符号化の双方について１０ｆｐｓに固定する。３つのレート割り当て方法、すなわち均一ビット割り当て方法、最適ビット割り当て方法に基づくガウスモデル、および本発明による方法をテストする。
【００７６】
図８ａ〜図８ｃはそれぞれ、異なるレート８０２に対応する各フレームの結果生じる歪み８０１を示し、３つのフレームの各群８００が比較され、クロスハッチした棒８０３は、３フレームグループのうちの第１のフレームを表す。これらグラフから、図８ｃに示す本発明による方法のみが、広範囲のビットレートのフレームにわたって一定の歪みを実現することは明らかである。
【００７７】
図９ａおよび図９ｂは、本発明のスライディングウィンドウの手法９０１を従来技術による均一のビット割り当て９０２と比較したものである。基本レイヤビットレートは、２つの集合の量子化パラメータを使用して符号化され、上位レイヤビットストリームには、７５ｋバイト毎秒のレートが割り当てられ、均一ビット割り当ての場合、２．５ｋバイト／ＦＧＳ−ＶＯＰになる。各方法の歪み９１１が、１００個の連続フレーム９１２にわたってプロットされる。
【００７８】
結果は、本発明の方法９０１を使用する場合には、わずか数フレームの後、歪みが一定になるが、均一ビット割り当て方法９０２による歪みは、一連の１００フレーム全体にわたって大幅な変動を含むことを明確に示している。これは、典型的な「ショット」の長さが、１秒から１０秒の範囲、すなわち３０〜３００フレームの範囲にある多くの映像にとって重要である。
【００７９】
さらに、歪みの平均二乗誤差（ＭＳＥ）の平均は、図９ａでは３５．１４から３４．９１に下がり、図９ｂでは４６．３１から４５．５０に下がる。
【００８０】
図１０および図１１は、本発明の複数映像方法の有効性を確証するために、従来技術による均一ビット割り当て１０００を本発明のスライディングウィンドウの手法１１００と比較する。職長１００１、沿岸警備隊１００２、自動車電話１００３、およびモバイル１００４の各シーケンスをＦＧＳおよびＦＧＳＴ符号化を使用して、ＣＩＦ解像度で符号化する。基本レイヤビットストリームのフレーム符号化レートは、ＦＧＳおよびＦＧＳＴ符号化の双方について１０ｆｐｓに固定する。上位レイヤビットストリームには、１３２０ｋｂｐｓのレートが割り当てられ、均一ビット割り当ての場合、５．５ｋバイト／ＦＧＳ−ＶＯＰになる。各方法の歪みが、１００個の連続フレームにわたってプロットされる。
【００８１】
従来技術による均一ビット割り当てを使用した結果１０００は、シーケンスが大幅な品質差を有することを示す。これは、各シーケンスに関連する複雑性が異なることによるものである。均一レート割り当てでは、シーケンス間の差の他に、同じシーケンス内のフレーム間の内部変動も防止することができない。一方、本発明による方法を使用する場合、略一定の品質結果１１００が得られる。平均歪みは、３０．７０から２７．６６に約１０％下がった。
【００８２】
本発明を好ましい実施形態の例により説明したが、他の様々な適合および変更を本発明の精神および範囲内で行いうることを理解されたい。したがって、併記の特許請求の範囲の目的は、本発明の真の精神および範囲内にあるこのような変形および変更をすべて網羅することである。
【図面の簡単な説明】
【図１】  従来技術による単一レイヤＶＢＲエンコーダのブロック図である。
【図２】  統計多重化出力を有する従来技術による複数の単一レイヤＶＢＲエンコーダのブロック図である。
【図３】  従来技術によるＦＧＳエンコーダのブロック図である。
【図４】  従来技術によるＦＧＳデコーダのブロック図である。
【図５】  本発明による固定品質の複数レイヤＶＢＲエンコーダのブロック図である。
【図６ａ】  空間領域におけるＦＧＳ上位レイヤ符号化のレート−歪み抽出器のブロック図である。
【図６ｂ】  周波数領域におけるＦＧＳ上位レイヤビットストリームのレート−歪み抽出器のブロック図である。
【図７】  統計多重化出力を有する複数のＦＧＳエンコーダおよびＶＢＲエンコーダのブロック図である。
【図８ａ】  複数レイヤ符号化方法を比較したグラフである。
【図８ｂ】  複数レイヤ符号化方法を比較したグラフである。
【図８ｃ】  複数レイヤ符号化方法を比較したグラフである。
【図９ａ】  従来技術による方法と比較した、本発明による第１の符号化パラメータセットを使用してのフレーム単位での固定品質のグラフである。
【図９ｂ】  従来技術による方法と比較した、本発明による第２の符号化パラメータセットを使用してのフレーム単位での一定品質を示すグラフプロットである。
【図１０】  従来技術による均一なビット割り当て方法を使用しての統計多重化出力ビットストリームのフレーム単位での可変品質を示すグラフである。
【図１１】  本発明によるビット割り当て方法を使用しての統計多重化出力ビットストリームのフレーム単位での一定品質を示すグラフである。
【図１】
2006515718.tif 000010
【図２】
2006515718.tif 000011
【図３】
2006515718.tif 000012
【図４】
2006515718.tif 000013
【図５】
2006515718.tif 000014
【図６ａ】
2006515718.tif 000015
【図６ｂ】
2006515718.tif 000016
【図７】
2006515718.tif 000017
【図８ａ】
2006515718.tif 000018
【図８ｂ】
2006515718.tif 000019
【図８ｃ】
2006515718.tif 000020
【図９ａ】
2006515718.tif 000021
【図９ｂ】
2006515718.tif 000022
【図１０】
2006515718.tif 000023
【図１１】
2006515718.tif 000024
【国際調査報告】
2006515718.tif 000025
2006515718.tif 000026
2006515718.tif 000027