(57)【特許請求の範囲】
【請求項１】
左と右の成分を含む１つの３Ｄビデオフレームを符号化するために使用できる、符号化ビットの数を定義する、フレーム配分を得ることと、
前記フレーム配分と、前記左と右の成分の間での重み付けとに基づいて、前記１つの３Ｄビデオフレームの前記左と右の成分内のビデオブロックに対して、ビット割り当ての値を生成することであって、前記重み付けは、前記１つの３Ｄビデオフレームの歪に対する前記左と右の成分からの歪の寄与に基づいている、ビット割り当ての値を生成することと
を含む方法。
【請求項２】
前記ビット割り当ての値はロー(ｒｈｏ)・ドメインの値を含み、
前記ロー・ドメインの値を、対応する量子化パラメーター（ＱＰ）値にマッピングすることと、
前記マッピングに基づいて、前記左と右の成分の前記ビデオブロックの各々に、符号化ビットの数を割り当てることを、
さらに含む、請求項１の方法。
【請求項３】
前記割り当てられた符号化ビットを用いて、前記左と右の成分の前記ビデオブロックを符号化することを、さらに含む、請求項２の方法。
【請求項４】
前記重み付けに基づいて、前記左と右の成分に対して、異なる量の前記符号化ビットを割り当てることを、さらに含む、請求項２の方法。
【請求項５】
前記左と右の成分を視るために用いる表示装置の型式に基づいて、前記重み付けを調整することを、さらに含む請求項１の方法。
【請求項６】
前記１つの３Ｄビデオフレームが送信される出力デバイスから、前記表示装置の型式の指示を受け取ることを、さらに含む請求項５の方法。
【請求項７】
前記重み付けは、前記左と右の成分における歪に対する、視る人の感度に基づいている、請求項１の方法。
【請求項８】
ビデオエンコーダーであって、
左と右の成分を含む１つの３Ｄビデオフレームを符号化するために使用できる、符号化ビットの数を定義する、フレーム配分を得るように、および、
前記フレーム配分と、前記左と右の成分の間での重み付けとに基づいて、前記１つの３Ｄビデオフレームの前記左と右の成分内のビデオブロックに対して、ビット割り当ての値を生成するように、
構成され、前記重み付けは、前記１つの３Ｄビデオフレームの歪に対する前記左と右の成分からの歪の寄与に基づいている、ビデオエンコーダー
を備える装置。
【請求項９】
前記ビット割り当ての値がロー・ドメインの値を含み、前記ビデオエンコーダーが、前記ロー・ドメインの値を対応する量子化パラメーター（ＱＰ）値にマッピングするように、および、前記マッピングを基にして、前記左と右の成分内の、前記ビデオブロックの各々に、符号化ビットの数を割り当てるように構成されている、請求項８の装置。
【請求項１０】
前記ビデオエンコーダーが、前記割り当てられた符号化ビットを用いて、前記左と右の成分内の前記ビデオブロックを符号化するように構成されている、請求項９の装置。
【請求項１１】
前記ビデオエンコーダーが、前記重み付けに基づいて、前記左と右の成分に対して、異なる量の前記符号化ビットを割り当てるように構成されている、請求項９の装置。
【請求項１２】
前記ビデオエンコーダーが、前記左と右の成分を視るために用いる、表示装置の型式に基づいて、前記重み付けを調整するように構成されている、請求項８の装置。
【請求項１３】
前記ビデオエンコーダーは、前記１つの３Ｄビデオフレームが送信される出力デバイスから、前記表示装置の型式の指示を受け取るように、構成されている、請求項１２の装置。
【請求項１４】
前記重み付けは、前記左と右の成分における歪に対する、視る人の感度に基づいている、請求項８の装置。
【請求項１５】
左と右の成分を含む１つの３Ｄビデオフレームを符号化するために使用できる符号化ビットの数を定義するフレーム配分を得る手段と、
前記フレーム配分と、前記左と右の成分の間の重み付けとに基づいて、前記１つの３Ｄビデオフレームの左と右の成分内のビデオブロックに対して、ビット割り当て値を生成する手段であって、前記重み付けは、前記１つの３Ｄビデオフレームの歪に対する前記左と右の成分からの歪の寄与に基づいている、ビット割り当て値を生成する手段とを、
備える装置。
【請求項１６】
前記ビット割り当て値が、ロー・ドメインの値を含み、前記方法、前記デバイスは、
前記ロー・ドメインの値を、対応する量子化パラメーター（ＱＰ）値にマッピングする手段と、
前記マッピングに基づいて前記左と右の成分の前記ビデオブロックの各々に、符号化ビットの数を割り当てる手段とを、
さらに備える、請求項１５の装置。
【請求項１７】
前記割り当てられた符号化ビットを用いて、前記左と右の成分の前記ビデオブロックを符号化する手段を、さらに備える、請求項１６の装置。
【請求項１８】
前記重み付けに基づいて前記左と右の成分に対して、異なる量の前記符号化ビットを割り当てるための手段を、さらに備える、請求項１６の装置。
【請求項１９】
前記左と右の成分を視るために用いる、表示装置の型式に基づいて、前記重み付けを調整する手段を、さらに備える、請求項１５の装置。
【請求項２０】
前記１つの３Ｄビデオフレームが送信される出力デバイスから、前記表示装置の型式の指示を受け取る手段をさらに備える、請求項１９の装置。
【請求項２１】
前記重み付けは、前記左と右の成分における歪に対する、視る人の感度に基づいている、請求項１５の装置。
【請求項２２】
左と右の成分を含む１つの３Ｄビデオフレームを符号化するために使用できる、符号化ビットの数を定義する、フレーム配分を得るように、および、
前記フレーム配分と、前記左と右の成分の間の重み付けとに基づいて、前記１つの３Ｄビデオフレームの前記左と右の成分内のビデオブロックに対して、ビット割り当て値を生成するように、
コンピューターを動作させるコードであって、前記重み付けは、前記１つの３Ｄビデオフレームの歪に対する前記左と右の成分からの歪の寄与に基づいている、コード
を含むコンピューター可読メディアを含むコンピューター・プログラム製品。
【請求項２３】
前記ビット割り当て値が、ロー・ドメインの値を含み、前記コンピューター可読メディアは、前記ロー・ドメインの値を、対応する量子化パラメーター（ＱＰ）値にマッピングするように、および、前記マッピングに基づいて、前記左と右の成分の前記ビデオブロックの各々に、符号化ビットの数を割り当てるように、前記コンピューターを動作させるコードをさらに含む、請求項２２のコンピューター・プログラム製品。
【請求項２４】
前記コンピューター可読メディアは、前記割り当てられた符号化ビットを用いて、前記左と右の成分の前記ビデオブロックを符号化するように、前記コンピューターを動作させるコードをさらに含む、請求項２３のコンピューター・プログラム製品。
【請求項２５】
前記コンピューター可読メディアは、前記左と右の成分を視るために用いる表示装置の型式に基づいて、前記重み付けを調整するように、前記コンピューターを動作させるコードをさらに含む、請求項２２のコンピューター・プログラム製品。
【請求項２６】
前記コンピューター可読メディアは、前記１つの３Ｄビデオフレームが送信される出力デバイスから、前記表示装置の型式の指示を受け取るように、前記コンピューターを動作させるコードをさらに含む、請求項２５のコンピューター・プログラム製品。
【請求項２７】
前記重み付けは、前記左と右の成分における歪に対する、視る人の感度に基づいている、請求項２２のコンピューター・プログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ディジタルビデオの符号化に関するものであり、さらに詳細には、３Ｄビデオコンテンツの符号化のための技術に関するものである。
【背景技術】
【０００２】
ディジタルビデオの機能は、ディジタル・テレビ、ディジタル直接衛星放送システム、無線通信デバイス、個人情報端末（ＰＤＡ）、ラップトップ・コンピューター、デスクトップ・コンピューター、ディジタル音楽プレーヤーとビデオ・プレーヤー、携帯ゲーム機、ビデオ・ゲーム・コンソール、ディジタル・カメラ、ディジタル記録デバイス、携帯または衛星無線電話などの、広い範囲の装置に組み入れることができるようになっている。ディジタルビデオデバイスは、従来のアナログビデオシステムと比較して、増加したバンド幅効率により、ビデオシーケンスを処理し送信する上で、顕著な改善をもたらしている。
【０００３】
種々のビデオ符号化標準が、ディジタルビデオシーケンスの符号化のために確立された。たとえば、動画エクスパート・グループ（Moving Picture Experts Group：ＭＰＥＧ）は、ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４を含む多くの標準を開発した。他の例に含まれるのは、国際電話通信連合（ＩＴＵ）のＩＴＵ−Ｔ  Ｈ．２６３標準とＩＴＵ−Ｔ  Ｈ．２６４標準、および、その対抗者のＩＳＯ／ＩＥＣ  ＭＰＥＧ−４，Ｐａｒｔ１０、すなわち、先進的ビデオコーディング（Advanced Video Coding：ＡＶＣ）である。これらのビデオ符号化標準は、圧縮した形態へのデータの符号化により、ビデオシーケンスの送信効率の改善を支援している。３Ｄビデオへのビデオの符号化標準の応用では、有限のバンド幅の有線または無線ネットワークを通して、ユーザーの３Ｄビューイングをサポートするのが望ましい。
【０００４】
ビデオコンテンツは、従来の、２次元（２Ｄ）フォーマット、あるいは３次元（３Ｄ）フォーマットに従って記録されてもよい。３Ｄビデオコンテンツは、異なる方法によって作られ、表示されてもよい。たとえば、３Ｄビデオコンテンツは、立体視（stereoscopic）の二眼カメラで得られ、右目用と左目用の成分（component）として表示される。この代わりに、一眼の視野（cyclopean view）と奥行きのデータを得るために、奥行きカメラとともに、従来の一眼カメラを使ってもよい。さらなる選択肢として、一眼のカメラを使って、一眼の視野を作成し、これを処理して、一眼の視野と奥行き方向のデータとの両方を生成する。異なる３Ｄビデオ供給源は、従来の２Ｄディスプレイ、特殊な眼鏡に補助された、立体視ディスプレイ、あるいは、自動立体視ディスプレイのような、異なる型式のビデオ出力デバイスを必要とするかもしれない。
【発明の概要】
【０００５】
本開示は、３Ｄビデオの符号化技術に向けられている。立体の３Ｄビデオのフレームは、立体画像（stereo image）を生成するために結合される、左と右の成分を備えている。ある歪量が与えられる場合に、左と右の成分は、人間の目の歪に対する応答の非対称性により、立体画像の知覚される視覚の品質（visual quality）に対して、異なる影響がある。フレーム・レベルのビット配分と、左と右の成分との間の重み付けとに基づいて、３Ｄビデオエンコーダーは、３Ｄビデオの左と右の成分との間で、符号化ビットの割り当てを調整する。
【０００６】
重み付けは、左と右の成分における、歪に対する、視る人（human viewer）の感度に基づくかもしれない。ビデオエンコーダーは、この重み付けを使って、ロー（rho）（ρ）ドメインに、ビット割り当てを生成してもよい。左と右の成分の寄与により生成される、全体の品質を示す品質測定規準（quality metric）に基づいて、重み付けビット割り当てを、導き出してもよい。立体画像における、全体としての知覚される歪を減らし、これによって、視覚の品質を向上させるか、維持するために、重み付けビット割り当ては、非対称な歪の応答を補正する。
【０００７】
１つの態様として、本開示では、３Ｄビデオフレームに使用できる符号化ビット数を定義する、フレーム配分（frame budget）を得ることと、左と右の成分の間での、フレーム配分と重み付けとを基にして、３Ｄビデオフレームの左と右の成分内のブロックの、ビット割り当て量を生成することを、含む方法を提供する。
【０００８】
もうひとつの態様として、本開示は、３Ｄビデオフレームに使用できる符号化ビット数を定義する、フレーム配分を得るようにし、左と右の成分の間での、フレーム配分と重み付けとを基にして、３Ｄビデオフレームの左と右の成分内のブロックの、ビット割り当て量を生成するように構成された、ビデオエンコーダーを、備えるデバイスを提供する。
【０００９】
ここに説明された方法は、ハードウェア、ソフトウェア、ファームウェアあるいはこれらの任意の組み合わせによって、実施されてもよい。ソフトウェアによって実施された場合には、この技術は、その一部が、ここに記載の、１つ以上の方法を、コンピューターで処理させる、プログラム・コードを含む、コンピューターで読み出し可能な媒体を含む、コンピューター・プログラム製品によって実現されてもよい。
【００１０】
１つ以上の実施例の詳細については、添付の図面と以下の説明において明らかにされる。他の特徴、目的および利点は、説明と図および請求項から明らかになる。
【図面の簡単な説明】
【００１１】
【図１】図１は、３Ｄビデオの符号化および復号化システムを示すブロック図である。
【図２】図２は、３Ｄビデオの生成と符号化と表示の異なる技術を説明するブロック図である。
【図３Ａ】図３Ａは、２系統の経路技術を用いた、立体画像ディスプレイによる表示をさせる、立体視の二眼カメラを用いた、３Ｄビデオの生成を説明するブロック図である。
【図３Ｂ】図３Ｂは、最適化技術を用いて、立体画像ディスプレイによって表示するための、立体視の二眼カメラによる、３Ｄビデオの生成を示す、ブロック図である。
【図４】図４は、最適化技術を用いて、符号化された３Ｄビデオを生成するための、ビデオの符号化エンジンを示すブロック図である。
【図５】図５は、３Ｄビデオの品質測定規準の生成、および３Ｄビデオの品質測定規準に基づいた、符号化ビットの割り当てを示す、フロー・ダイアグラムである。
【図６】図６は、３Ｄビデオの品質測定規準に基づいた、３Ｄビデオ構成要素に対して符号化ビットの割り当てを示す、もう１つのフロー・ダイアグラムである。
【図７】図７は、ロー（ρ）ドメインにおける、３Ｄビデオ構成要素に対する、符号化ビットの割り当てを示す、フロー・ダイアグラムである。
【詳細な説明】
【００１２】
本開示は３Ｄビデオの符号化に関するものである。立体の３Ｄビデオフレームは、立体画像を生成するために結合される、左と右の成分を備えている。ある歪量が与えられる場合に、左と右の成分は、人間の目の歪に対する応答の非対称性により、立体画像の知覚される視覚の品質に対して、異なる影響を受ける。フレーム・レベルのビット配分と、左と右の成分の間の、重み付けに基づいて、３Ｄビデオエンコーダーは、３Ｄビデオの左と右の成分との間でコーディング・ビットの配置を補正する。
【００１３】
重み付けは、左と右の成分における歪に対する、視る人の感度に、基づくかもしれない。ビデオエンコーダーは、この重み付けを使って、ロー（ρ）ドメインに、ビット割り当てを生成してもよい。左と右の成分の寄与により生成される、全体の品質を示す品質測定規準に基づいて、重み付けビットの割り当てを、導き出してもよい。重み付けビットの割り当ては、非対称な歪応答を補正し、全体としての知覚歪を減らし、立体画像に対する、全体としての知覚歪を減らすので、視覚の品質を向上させ、維持し、立体画像における、視覚の品質を向上させ、維持する。
【００１４】
図１は、３Ｄビデオの符号化および復号化システム１０を示すブロック図である。図１に示されるように、システム１０は３Ｄビデオ供給デバイス１２および３Ｄビデオ出力デバイス１４を備えている。デバイス１２および１４は送信チャネル１６を通して通信する。送信チャンネル１６は、有線または無線通信メディアであってよい。図１の例において、３Ｄビデオの供給デバイス１２は、３Ｄビデオ取り込みデバイス、３Ｄビデオアーカイブ１８、および、３Ｄビデオエンコーダー２０を備えている。３Ｄビデオ出力デバイス１４は、３Ｄビデオデコーダー２２と、３Ｄビデオディスプレイとを備えている。３Ｄビデオ供給デバイス１２は、３Ｄビデオ出力デバイス１４に送信するビデオを生成する。しかしながら、ある態様において、デバイス１２と１４は、本質的には対称的な形態で動作する。例えば、各々のデバイス１２および１４はビデオ符号化および復号化する構成要素を備えていてもよい。従って、システム１０は、ビデオデバイス１２、１４の間の、たとえば、ビデオストリーミング、ビデオ同報通信、または、ビデオ電話の、一方向、または、双方向ビデオ伝送をサポートしてもよい。見やすくするために、示されていないが、有線および／または無線通信をサポートするために、一方または両方のデバイスは、適切なモデム、フィルター、周波数変換、および増幅の構成要素を備えていてもよい。
【００１５】
３Ｄビデオ取り込みデバイス／アーカイブ１８は、立体視の二眼カメラ、奥行きカメラと組み合わせた一眼カメラ、２Ｄから３Ｄへのコンバーターと組み合わせた一眼カメラなどの、様々な３Ｄビデオ取り込みデバイスのいずれかを備えていてもよい。あるいは、３Ｄビデオ取り込みデバイス／アーカイブ１８は、以前に取り込んだ３Ｄビデオを記憶するアーカイブ・デバイスであってもよい。さらなる選択肢として、３Ｄビデオは、コンテンツ・プロバイダーによるビデオ送り装置から、または、コンピューターにより生成されたグラフィックス・データから得られてもよい。いずれの場合にも、取り込んだ、あるいは、あらかじめ取り込んだ、あるいは、可視化された３Ｄビデオは、送信チャネル１６を通して、３Ｄビデオ供給デバイス１２から、３Ｄビデオ出力デバイス１４までの送信のために、３Ｄビデオエンコーダー２０により、符号化され得る。さらなる例においては、３Ｄビデオ供給デバイス１２は、ある場合には、２Ｄビデオデータのチャンネルだけではなく、３Ｄビデオデータの１個以上のチャンネルを同報通信するデバイスを備えていてもよい。
【００１６】
システム１０１は、セッション開始プロトコル（ＳＩＰ）、ＩＴＵ−Ｔ  Ｈ．３２３標準、ＩＴＵ−Ｔ  Ｈ．３２４標準、または、他の標準に従う、ビデオ電話およびビデオストリームをサポートしてもよい。さらに、システム１０は、３Ｄビデオカムコーダーのアプリケーションをサポートすることもできる。３Ｄビデオエンコーダー２０は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３、あるいはＩＴＵ−Ｔ  Ｈ．２６４のような画像圧縮標準、および、そのカウンターパートである、ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４，Ｐａｒｔ１０、すなわち、高度なビデオ符号化（Advanced Video Coding）に従って、符号化ビデオデータを生成してもよい。図１に示されていないが、ビデオエンコーダー２０とビデオデコーダー２２は、オーディオ・エンコーダーとデコーダーに、それぞれ統合され、共通データ・ストリームまたは個別データ・ストリームで、オーディオとビデオの両方の符号化を取り扱う、適切なＭＵＸ−ＤＥＭＵＸユニット、または、他のハードウェアとソフトウェアとを備えてもよい。適用可能な場合には、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ  Ｈ．２２３マルチプレクサ・プロトコル、または、ユーザー・データグラム・プロトコル（ＵＤＰ）等の他のプロトコルに従ってもよい。
【００１７】
ある態様において、ビデオの同報通信について、本開示では、技術標準ＴＩＡ−１０９９（「ＦＬＯ明細書」）として公表される予定の、下り通信のみの（ＦＬＯ）無線インターフェース仕様書、「フォワードリンクのみの、地球上のモバイルのマルチメディア・マルチキャストに対する無線インターフェース明細書（Forward Link Only Air Interface Specification for Terrestrial Mobile Multimedia Multicast）」、を用いる、地球上モバイル・マルチメディア・マルティキャスト（ＴＭ３）システムにおける、リアル・タイムビデオサービスのための、改良版のＨ．２６４ビデオコーディングへの応用を考慮している。このＦＬＯ仕様書は、ＦＬＯエア・インターフェースを通して、サービスを提供するのに適した、ビット・ストリームのシンタックスとセマンティクス、および、復号化処理を定義する例を備えている。あるいは、ＤＶＢ−Ｈ（digital video broadcast-handheld：携帯機器向けディジタルビデオ同報通信）、ＩＳＤＢ−Ｔ（integrated services digital broadcast - terrestrial：地球上の統合サービスディジタル同報通信球）、または、ＤＭＢ（digital media broadcast：ディジタル・メディア同報通信）のような、他の標準に従って、ビデオは同報通信されてもよい。従って、供給デバイス１２は、移動無線端末、ビデオストリーミング・サーバー、または、ビデオ同報通信サーバーであってかまわない。しかしながら、この開示に記載された技術は、同報通信、マルチキャストあるいはポイント・ツー・ポイント・システムの特定の型式のいずれにも限定されるものではない。同報通信システムに使われる場合、１つ以上のチャンネルは３Ｄチャンネルであり、他のチャンネルは２Ｄチャンネルであるかもしれない。
【００１８】
ビデオエンコーダー２０およびビデオデコーダー２２は、各々、１つ以上のプロセッサ、ディジタル信号プロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、個別部品のロジック、ソフトウェア、ハードウェア、ファームウェア、あるいは、これらの任意の組み合わせとして実施されてもよい。各々のビデオエンコーダー２０およびビデオデコーダー２２は、１台以上のエンコーダーおよびデコーダーに含まれていてもよい。そのどちらも、それぞれの加入者装置、同報通信装置、サーバー等において、結合したエンコーダー／デコーダー（ＣＯＤＥＣ）の一部として集積化されてもよい。さらに、３Ｄビデオ供給デバイス１２と、３Ｄビデオ出力デバイスは、それぞれ、符号化したビデオの送信と受信のために、適切な変調、復調、周波数変換、フィルター、および増幅の構成要素を備えることができる。適用可能なときには、無線通信の場合の、無線周波数（ＲＦ）の無線構成要素およびアンテナを備えていてもよい。しかしながら、説明を容易にするために、このような構成要素は図１には示されていない。
【００１９】
３Ｄビデオをサポートするために、ビデオエンコーダー２０は、３Ｄビデオの、左の成分と右の成分とを符号化する。左の成分は、視る人の左の目により、視覚的に知覚される成分に対応する。右の成分は、視る人の右の目により、視覚的に知覚される成分に対応する。左と右の成分は併せて、視る人により視覚的に統合され、立体イメージの全体としての３Ｄ視野が形成される。左の成分は、左の目で視るために構成された、３Ｄビデオフレームの少なくとも一部として、一般に、参照されてもよい。同様に、右の成分は、右の目で視るために構成された、３Ｄビデオフレームの少なくとも一部として、一般に、参照されてもよい。左と右の成分に関する、ビデオフレームの組み合わせが、全体の３Ｄステレオビデオフレームを作り出すように、それぞれの成分は、少なくともビデオフレームの一部を定義するデータを含む。さらに、各々の成分は、１つのビデオブロック、または、左か右のフレームを形成するマクロ・ブロック（ＭＢ）のような、複数個のビデオブロックを含んでいてもよい。ある場合には、色をフィルターする眼鏡を使う、立体視ディスプレイについては、左の成分は赤い色のデータに対応し、右の成分は青色と緑色のデータに対応する、すなわち、アナグリフ形式でもよい。従って、左の成分は、フレームから、赤い色のデータを伝達し、右の成分から、青と緑の色のデータを伝達してもよい。
【００２０】
ビデオエンコーダー２０は、たとえば、ＭＰＥＧ４、または、Ｈ．２６４の符号化を使って、左の成分と右の成分とを、別々に符号化し、３Ｄビデオデコーダー２２により復号化するために、３Ｄビデオ出力デバイス１４に、符号化された成分を送信する。３Ｄビデオを、直接、あるいは立体視の眼鏡やファインダーのような付加的な表示アクセサリーを通して、生成するために、復号化された左および右の３Ｄビデオ成分は、３Ｄビデオディスプレイ２４を駆動するのに使われる。ビデオディスプレイ２４は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）、または、プラズマディスプレイのような、何らかの型式のディスプレイを、ディスプレイ・ドライバー・ハードウェア、ファームウェアおよびソフトウェアとともに含み得る。３Ｄビデオの視覚の品質は、３Ｄ供給ビデオだけでなく、３Ｄ供給ビデオの左と右の成分に適用された、符号化プロセス、および、表示装置の特性にも依存していることもある。
【００２１】
この開示に従って、３Ｄビデオフレームの左と右の成分により生成された立体視３Ｄビデオの全体の視覚の品質を向上させ、維持するように、ビデオエンコーダー２０は、構成され得る。ある態様において、ビデオエンコーダー２０は、左と右の成分により生成される、立体ビデオにおける、全体として知覚される歪を低減するように、重み付ビット割り当ての仕組みを、適用するように構成され得る。たとえば、与えられた表示装置について、立体画像における、全体として知覚される歪に対する、左と右の成分の歪の、相対的な寄与についての分析から得られた、重み付け係数により、重み付けビット割り当て方式は、あらかじめ構成され得る。重み付けは、左と右の成分における歪に対する、視る人の感度に基づくものであるかもしれない。フレーム・レベルのビット配分と重み付け係数が与えられると、ビデオエンコーダー２０は、符号化された３Ｄビデオにおける、全体としての歪を低減するために、左と右の成分に、符号化したビットを割り当てる、ビット割り当て方式を適用する。左と右の、それぞれの、成分に割り当てられたビット数は、このような成分の実効的な符号化レートを決めている。ビット割り当て方式は、左と右の成分に、符号化ビットを割り当てるために、ロー・ドメイン値あるいは量子化パラメーター（ＱＰ）値のような、ビット割り当て値を割り当ててもよい。あるビデオブロック、または、フレームに割り当てられた、符号化ビット数の増加は、ビデオブロックまたはフレームの実効的な符号化レートを増加させる。１つの（たとえば、右の）成分として使用されるビット数の低減は、他の１つの（たとえば、左の）成分として使用されるビット数の、同じ程度の増加とともに、たとえば、いくつかの場合においては、全体としての品質測定規準値を、増加させる場合もある。ビデオエンコーダー２０は、３Ｄ視覚の品質を、向上させるか維持するために、調整可能なビット割り当てを有する、立体ビデオ符号化をサポートする。
【００２２】
量子化パラメーター（ＱＰ）ドメイン、ρ（ｒｈｏ：ロー）ドメイン、または、他のいくつかのビット割り当てドメインにおいて、ビット割り当て値を割り当て、これにより、品質測定規準に基づいて、左と右の３Ｄビデオ成分の、符号化レートをここで調整するために、ビット割り当てスキームは動作してもよい。ロー・ドメインのビット割り当てにおいて、たとえば、ρパラメーターは、ＭＢのようなビデオブロックにおいて、０でない量子化されたＡＣ変換係数の数を表す。マクロ・ブロックはフレームの一部を形成するビデオブロックである。ＭＢのサイズは１６ｘ１６のピクセルかもしれない。しかしながら、他のＭＢのサイズも可能であり、同様に、１６ｘ８、８ｘ１６、８ｘ８、４ｘ８、８ｘ４、４ｘ４などのような、部分分割サイズも可能である。マクロ・ブロック、または、他のビデオブロックが種々の、異なるサイズを持っていてもよい、という理解のもとに、マクロ・ブロックについて、例示を目的として、ここに説明される。ρドメインのレート制御は、ＱＰドメインのレート制御よりも、正確である傾向がある。しかしながら、ＱＰドメインへのビット割り当ては、ある場合には、使われるであろう。適用可能なビデオフレームに指定された、全体としての、フレーム・レベルのビット配分を守る限りにおいては、ρドメイン、または、ＱＰドメインのビット割り当ては、品質測定規準に基づき、左と右の３Ｄビデオ成分に、それぞれ、割り付けられた符号化ビットの、有効な制御を達成できるように使うことができる。この開示において、ρドメインのビット割り当てについては、実例を目的とし、３Ｄイメージの左と右の成分との間で、符号化したビットを割り当てるために使われる、特定のビット割り当てドメイン、ρ、ＱＰ、または、その他の、特定のビット割り当てドメインに限定されることなく、一般的に説明される。
【００２３】
３Ｄ映像出力デバイス１４は、ビデオストリーミング、ビデオの同報通信および／または、ビデオ電話を装備する、無線移動端末、有線端末のような、任意の、多様な有線または無線デバイスとして実施される。無線移動端末の例には、無線通信機能とビデオ符号化および／または復号化機能を備えた、移動無線電話機（たとえば、いわゆるカメラ電話やビデオ電話）、モバイル個人ディジタル端末（ＰＤＡ）、モバイル・コンピューター、モバイル・ゲーム・デバイス、モバイル・テレビ、または、その他のモバイル・デバイスがある。有線端末の例には、デスクトップ・コンピューター、ビデオ電話、ネットワーク機器、セットトップ・ボックス、ゲームコンソール、対話型テレビなどが含まれる。３Ｄビデオ供給デバイス１２は、３Ｄビデオ出力デバイス１４と同様に、ビデオストリーミング・サーバー、ビデオ同報通信サーバーあるいは有線、または、無線端末かもしれない。デバイス１２または１４は、ビデオ情報を送信するか、ビデオ情報を受信するか、ビデオ情報を送受信するように構成されていてもよい。
【００２４】
ビデオストリーミング、ビデオ同報通信、または、ビデオ電話において、特にモバイルのビデオストリーミング、無線通信による同報通信と電話では、非常に低いデータ・レートが、しばしば要求されるので、バンド幅が、非常に心配である。特に、通信チャンネル１６は、限定されたバンド幅しか持っていないので、チャンネル１６により、高品質のビデオシーケンスを、実効的にリアル・タイム送信することは、非常に挑戦的なことになるであろう。チャンネル１６の物理的な制約、あるいは、ことによると、サービス品質（ＱｏＳ）による制約、遅延による制約、バッファーのステータス、または、通信チャンネル１６の供給者に課せられた、バンド幅の割り当ての制約により、通信チャンネル１６は、たとえば、限定されたバンド幅の無線通信リンクかもしれない。さらに、チャンネルの状態は、位置、または、チャンネル・トラフィックにより変化し、バンド幅の変化となるかもしれない。
【００２５】
チャネルの状態、ＱｏＳによる制限、キャリアの必要条件、遅延による制約、バッファ・ステータスおよび他の制約は、与えられた３Ｄビデオフレームに、割り当てることができる、ビット数の最大値を支配する、フレーム・レベル・ビット配分に帰着し得る。３Ｄビデオの、左と右の成分間の、符号化ビットの、選択的かつ差分的な割り当ては、与えられた特定のフレーム・レベルのビット配分と、視る人の、左と右の成分に対する、非対称な歪応答において、３Ｄビデオの視覚の品質を向上するか維持することができる。たとえば、左または右のチャンネルに、より多くの符号化ビットを、選択的に割り当てることにより、視覚の品質を改善できる結果となるかもしれない。他の言葉で言えば、左と右の成分間での、ビット配分を平等に分けるのではなく、一方の成分に、他方より多くのビットを割り当てることにより、人間の色認識における、補間機能により、視覚の品質を向上させることができる。また、左の成分と右の成分とで、歪の視覚への影響は、歪への応答の、左と右の目の非対称的な優越性のために、本質的に異なっているかもしれない。
【００２６】
図２は、３Ｄビデオの生成、符号化、表示のための、種々の技術を示すブロック図である。一般に、３Ｄビデオコンテンツの供給源は、３つのカテゴリーに分けることができる：（１）立体視の二眼カメラ、（２）通常の一眼カメラと奥行カメラ２８、（３）通常の一眼カメラ３０と２Ｄから３Ｄへの変換３２。立体視の二眼カメラ２６は、２個のカメラを同時に、実時間で使って、立体視ビデオを取り込み、最も３Ｄに近いと、最終視覚者によって知覚される傾向がある。一眼カメラと奥行カメラ２８を使うのが、これよりも安価な解決策である。しかしながら、一眼カメラと奥行カメラ２８により実行される、ビデオ取り込みの処理は、たいていの場合には、各々の物体の奥行きを推定するのに、より多くの時間を必要とし、実時間でビデオを記録することができないであろう。一眼カメラ３０を、２Ｄから３Ｄへの変換３２と一緒に使うことにより、別の安価な解決策を提供でき、以前に取り込んだ２Ｄビデオシーケンスと逆向きの互換性がある。しかしながら、２Ｄから３Ｄへの変換は、不正確な奥行推定のため、好ましくない変換誤差を生成してしまう。
【００２７】
図２に示されるように、立体視二眼カメラ２６は、左目の視野３４および右目の視野３６、すなわち、左と右の成分を、それぞれ発生する。一眼カメラおよび奥行カメラ２８の組み合わせは、ビデオシーンのために、一眼の視野３８と奥行データ４０を、それぞれ生成する。一眼カメラ３０は、一眼の視野４２を生成し、この視野は、２Ｄから３Ｄへの変換３２により、一眼の視野３８と奥行データ４０に変換される。立体視二眼カメラ２６と、一眼＋奥行きカメラ２８により、または、一眼の光景３８と、一眼＋奥行きカメラ２８により生成された、奥行きデータ４０、または、一眼の視野３８と、一眼カメラ３０と２Ｄ−３Ｄ変換３２により生成された奥行きデータ４０により生成した左と右の成分３４と３６とを、ビデオエンコーダー２０は、符号化し、３Ｄビデオコンテンツの、視覚表示のために、駆動する表示装置のための、１つ以上の型式の表示データを生成する。
【００２８】
たとえば、ビデオエンコーダー２０は、２Ｄディスプレイ・データ４４、立体視ディスプレイ・データ４６、および／または、自動立体ディスプレイ・データ４８を発生してもよい。立体視ディスプレイ・データ４６は、人間の色認識における、補間機能を模倣し、３Ｄ眼鏡あるいはファインダーのような、色フィルター・デバイスを用いる、すなわち、アナグリフ形式により、異なるカラー・チャンネルを示すことにより、３Ｄビデオを生成する。立体視ディスプレイ・データ４６の効用は、比較的安価であり、かつ、一般に、受け入れられる、視覚の品質を作り出すことである。自動立体視ディスプレイは、より自然で、より品質の高い３Ｄの経験を提供できるが、比較的高価である。２Ｄディスプレイ・データ４４の効用は、現存の２Ｄ表示装置では、良好に動作することであるが、視覚の品質を損なうかもしれない。
【００２９】
立体視二眼カメラ２６、一眼と奥行きカメラ２８、または、一眼カメラ３０と、２Ｄ−３Ｄ変換モジュール２２により、生成された、３Ｄビデオデータを、図２に示された、ディスプレイ・データタイプ４４，４６，４８、その他のディスプレイ・データ形式のうち、任意の１つに、変形（または、変換）するように、３Ｄビデオエンコーダー２０は、構成されている。この開示に説明されているように、重み付けビット割り当ての仕組みのために、３Ｄビデオは、組み合わせることにより、立体ビデオとなる、左と右のビデオ成分を含む、ステレオビデオに変換されるべきである。ある実施では、３Ｄビデオエンコーダー２０は、３Ｄビデオ出力デバイス１４に備えられる、３Ｄビデオディスプレイ２４に関連付けられているディスプレイの型式を指示するディスプレイ型式の指示を受け取ることができる。指示された、ディスプレイの型式が、立体視である場合には、たとえば、３Ｄビデオエンコーダー２０は、必要であれば、立体視ディスプレイの型式に適合するように、入力された３Ｄデータを変換してもよい。たとえば、指示されたディスプレイの型式が、立体視の場合には、３Ｄビデオコーダー２０は、一眼の視野データ３８と奥行データ４０を、左目と右目の視野データを含む、立体視ディスプレイ・データ４６に変換する。他の例として、指示された、ディスプレイの型式が２Ｄである場合には、３Ｄビデオコーダーは、左目の視野データ３４と、右目の視野データ３６とを、２Ｄディスプレイ・データ４４に変換する。
【００３０】
ディスプレイの型式の指示は、いろいろな方法で得られるであろう。たとえば、３Ｄビデオ出力デバイス１４は、ディスプレイの型式の指示を、３Ｄビデオ供給デバイス１２に、たとえば、帯域内送信または帯域外送信を使って、送る。この場合には、３Ｄビデオエンコーダー２０は、ディスプレイの型式の指示を、直接的に、または、間接的に、３Ｄビデオ出力デバイス１４から受け取る。あるいは、ディスプレイの型式の指示は、製造業者、通信業者、または、ユーザーにより供給されるか、または、供給デバイスの型式、宛先デバイスの型式、供給デバイスが使われる応用、および／または、供給デバイスが使われる分野のような事実に基づいて、推定されてもよい。ディスプレイの型式指示は、３Ｄコンテンツの、適切な立体出力フォーマットへの、いずれかの必要な変換を選択するのに、使われるだけではなく、この開示に記載したように、品質測定規準の生成、および／または、重み付けビットの割り当てスキームに使われる、重み付け係数αの選択にも使われる。３Ｄビデオエンコーダー２０は、図２に描かれた、データ４４，４６、および４８のように、種々のタイプの３Ｄデータを生成しても良いが、本開示は、一般に、例示の目的のために、左と右の成分を含む、、立体視ディスプレイ・データ４６の符号化について、説明する。
【００３１】
符号化および立体イメージの復元の段階において、いくつかの異なるタイプの視覚的な質の低下が生じるかもしれない。３Ｄビデオコンテンツには、立体画像を構成するために、従来の２Ｄビデオよりも、多くの情報が必要である。たとえば、３Ｄビデオコンテンツは、さらに、奥行き情報、または、２個のビデオ供給源を必要とする。この結果として、与えられたバンド幅に対して、３Ｄビデオが適用可能な、フレーム・レベルのビット配分を満たすために、より高い圧縮比が、通常、必要とされる。より高い圧縮比により、さらに厳しい圧縮の変換誤差がもたらされるかもしれない。さらに、そのような変換誤差の影響は、３Ｄビデオを表示するのに使う、ディスプレイの型式により、変化する。たとえば、視覚的な変換誤差は、立体視ディスプレイや、自動立体視ディスプレイよりも、２Ｄディスプレイでは、さらに著しい。さらに、立体画像の構成のプロセスにより導入された、いくつかの新しい変換誤差、たとえば、キーストーンやカード・ボード効果は、知覚される視覚の品質を低下させるかもしれない。品質測定規準の生成は、視覚の品質の客観的な評価と、変換誤差の低減のための、符号化ビットのインテリジェントな割り当てとをサポートすることができる。
【００３２】
図３Ａは、２つのパス技術を使った、立体視ディスプレイを用いて表示するために、立体視二眼カメラ２６を使った、３Ｄビデオの生成を示す、ブロック・ダイアグラムである。図３Ａの例では、ビデオエンコーダー２０は、３Ｄ供給（入力）ビデオと、符号化したビデオから復元したビデオとを比較し、符号化したビデオの品質を判定し、受け入れられる品質でビデオを符号化するのに使う、品質フィードバックを生成する。言い換えれば、最初のパスにおいて、ビデオエンコーダー２０は、既存の符号化パラメーターのセットを使って、符号化ビデオフレームを生成し、符号化したフレームを復元し、これを供給ビデオと比較する。２番目のパスにおいて、ビデオエンコーダー２０は、上記の比較から得られた品質のフィードバックをもとに、ビデオフレームを、再度、符号化する。たとえば、品質フィードバックが、改善を必要とする場合には、ビデオエンコーダー２０は、左と右の成分の間での、ビット割り当てを補正してもよい。ビデオエンコーダー２０は、ビット割り当てを調節するために、フレームごとをベースにした、この２重のパスの符号化プロセスを適用してもよい。
【００３３】
３Ｄビデオは、他の型式の３Ｄビデオ取り込みデバイスによって生成されるか、または、コンピューターによって生成されるが、説明のために、立体視二眼カメラ２６の使用について説明する。図３の例では、立体視二眼カメラ２６は左と右の３Ｄビデオの成分を生成し、それらをコンテンツ・データベース５２に蓄積する。左と右のビデオペアを、データベース５２に記録することにより、ビデオプロデューサーは、異なるディスプレイの効果と圧縮の問題を考慮することなく、高品質のビデオを作成することができる。ビデオエンコーダー２０は左と右の成分を含む立体ビデオフレームを符号化するように構成され、左と右の成分を生成するために、何らかの必要とされる変換を使ってもよい。しかしながら、３Ｄ入力ビデオは、たいていの場合には、コンテンツ・データベース５２により、左および右の成分を含む、立体ビデオの形式で、供給されるだろう。３Ｄビデオが立体視の２眼カメラにより得られる場合には、左と右の成分は直接利用可能である。３Ｄビデオが、奥行き情報を有する一眼カメラにより得られる場合には、左と右の成分を生成するのに、変換が必要である。同様に、一眼カメラが３Ｄビデオを得る場合には、左および右の成分を生成するには、変換が必要である。ＭＰＥＧ４またはＨ．２６４などの符号化技術を用い、コンテンツ・データベース５２からの、３Ｄビデオコンテンツを符号化し、左と右の成分により生成された立体画像の、知覚される視覚の品質を向上させるために設計した、重み付けビット割り付け方式を適用する、ビデオ符号化エンジン５６を、３Ｄビデオエンコーダー２０は、備えている。
【００３４】
図３Ａの例において、品質測定規準アナライザー（quality metric analyzer）５８は、３Ｄビデオ符号化エンジン５６により生成された、符号化ビデオの視覚の品質を分析し、３Ｄのビデオ符号化エンジン５６に対して、品質フィードバックとして視覚の品質測定基準（visual quality metric）を生成する。特に、品質測定規準アナライザー５８は、符号化された３Ｄビデオを復元した上で、左と右の成分における歪を、元の（入力の）供給３Ｄビデオにおける、左と右の成分と比較して、分析してもよい。以下に説明されるように、３Ｄビデオの符号化エンジン５６は、品質測定規準のフィードバックを用いて、フレーム・レベルのビット配分と、品質測定規準をもとにした、ビット配分スキームとに従って、左と右の成分との間で、符号化したビットを割り当て、これによって、視る人により知覚される、視覚の品質を向上するか維持する。特に、ビデオ符号化エンジン５６は、品質測定規準に基づいた、ビット割り当ての重み付けを調整してもよい。したがって、ビデオ符号化エンジン５６は、品質測定規準に基づいて、左と右の３Ｄビデオ成分に対する、符号化レートを調整するために、符号化したビットを割り当て、左と右の３Ｄビデオ成分を符号化する、調整された符号化レートを適用してもよい。ユーザーが、結合した立体フォーマットで、左と右の３Ｄビデオ成分を、視ることができるようにするために、ビデオエンコーダー２０は、チャンネル１６を通して、出力デバイス１４に、符号化された左と右の３Ｄビデオ成分を送信する。
【００３５】
出力デバイス１４は、チャンネル１６を通して、符号化された３Ｄビデオを受信し、復号化し、１人または複数の視る人に対して、復元された３Ｄビデオを表示する。図３の例において、出力デバイス１４は、立体視用の眼鏡６０により補助された、立体視用のビデオディスプレイ、立体視用のファインダー、または、立体視３Ｄの視野を表示するのに適した、その他の装置を備えていてもよい。立体視の眼鏡６０は、二色（赤い青／シアン）眼鏡、液晶シャッタ眼鏡、極性化されたレンズ眼鏡あるいは、ヘッド・マウント・ディスプレイのような様々な形式をとってもよい。他の態様において、出力デバイス１４は２Ｄディスプレイ、または、自動立体ディスプレイを含んでいてもよい。各々の場合において、出力デバイス１４は、特定のディスプレイの型式、一般的なディスプレイの種類、または、他の役に立つ情報を、出力デバイス１４に関連する、ディスプレイの型式に、ビット割り当てスキームを、カスタマイズするために、調整をするのに使う、３Ｄビデオの符号化エンジン５６に通信する。
【００３６】
図３Ａの例において、眼鏡６０は、右（青）および左（赤）の、構成レンズを有する、カラー・フィルター眼鏡である。カラー・フィルター眼鏡６０は、合理的なコストと品質とを持っている。眼鏡６０の動作の基本原理は、この分野では周知であるが、眼鏡が色を、独立のチャネルに分け、左と右の目に対して、それぞれ、赤と青の色を表示する。結果として生じる立体イメージは、分離されたカラー・チャンネルおよび人間固有の視覚メカニズムにより形成される。色フィルター眼鏡６０を使う、立体視ディスプレイ用の、適切な画像ファイルを構築するのに、アナグリフと呼ばれる方法では、赤色は左の成分の画像から抜き出され、青と緑色は、右の成分の画像から抜きだされる。視る人は、左と右の成分の画像を、視覚的に合成して、頭の中で、最終的な立体３Ｄカラー・イメージを生成する。
【００３７】
ディスプレイと、眼鏡のような何らかの外部ハードウェアを含む、ディスプレイの型式は、視る人にとって眼に見える変換誤差の程度と特性に影響があるので、したがって、使用することにより、より良い視覚の品質をサポートする、ビット割り当てスキームに影響するかもしれない。以下に説明されるように、いくつかの態様において、３Ｄビデオ符号化エンジン５６は、３Ｄビデオの、左の成分と、右の成分との、ビット割り当ての、重み付けの制御をする、ディスプレイの型式に基づいて、重み付け係数の選択をしてもよい。３Ｄビデオの全体において表示される変換誤差は、左または右の視野に、より支配的に生成されるかもしれない。したがって、全体としての視覚の品質に大きな影響を与える視野に、符号化ビットの重み付け割り当てをすることが望ましい。重み付けは、ビット割り付け、品質測定規準、または、両方の組み合わせにより表現されてもよい。左と右の両方の成分が影響する、歪を考慮する、全体としての３Ｄ視覚の品質測定基準と組み合わせることにより、重み付けビット割り当ては、視覚の品質を向上し、維持するのに効果的とすることができる。
【００３８】
この開示全体にわたって、モジュール、ブロック、または、構成要素としての、異なる特徴の描写は、ビデオエンコーダー２０の異なる機能面を強調するように意図していて、このようなモジュールは、独立したハードウェア、および／または、ソフトウェアの構成要素によって、実現しなければならないと、いうことを、必ずしも意味しない。どちらかと言えば、３Ｄビデオ符号化エンジン５６と品質測定規準アナライザー５８のような、１つ以上のモジュールに関わる機能は、共通または独立のハードウェア、および／または、ソフトウェアの構成要素に、統合されてもよい。ある場合には、そのような特徴に付随する機能を、コンピューターに、実行させるように構成されたコードを含む、共通、または、独立の、ソフトウェア、または、ソフトウェア・モジュールにより、そのような特徴が、実現されてもよい。
【００３９】
図３Ｂは、最適化技術を用い、立体視ディスプレイを通して表示するために、立体視の二眼カメラにより、３Ｄビデオ生成する、ブロック・ダイアグラムである。
【００４０】
図３Ｂは、実質的には図３Ａと一致するが、最適化に基づいたビット割り当て技術を示している。３Ｄビデオエンコーダー２０は、左と右の成分を含む、立体視ビデオフレームを受け取り、符号化し、左と右の成分を生成するために、何らかの必要な変換を取り扱うことができる。しかしながら、図３Ａの例におけるように、３Ｄ入力ビデオは、通常の場合には、コンテンツ・データベース５２により、第１および第２の成分を含む、立体視ビデオの形式で、供給されてもよい。図３Ｂの例において、左および右の成分により生成された、立体画像の知覚される視覚の品質を、向上させるために設計した、最適化に基づいた重み付けビット割り付け方式を使用して、ビデオ符号化エンジン５６は、コンテンツ・データベース５２による、３Ｄビデオコンテンツを符号化する。
【００４１】
ビデオ符号化エンジン５６は、コンテンツ・データベース５２から、３Ｄビデオ入力ビデオを、たとえば、出力デバイス１４から、ディスプレイの型式の指定を受け取る。ディスプレイの型式の表示を使って、３Ｄビデオ符号化エンジン５８は、重み付け係数を選択し、３Ｄ入力ビデオの、左と右の成分間の符号化ビットの、重み付け割り当てを生成する。重み付けビット割り当てを使って、３Ｄビデオ符号化エンジン５６は、３Ｄ入力ビデオを符号化し、符号化したビデオを、たとえばチャンネル１６を通して、出力デバイス１４に送信する。３Ｄビデオの左と右の成分の歪への影響が与えられた場合に、符号化された３Ｄビデオにおける、全体として知覚される視覚歪を最小化するか、少なくとも減らすように、最適化に基づいた、ビット割り当て方式は、構成されてもよい。特に、人間の目の左と右との、非対称な歪応答に起因する左と右の成分への、異なる相対的な影響と、ディスプレイの特性とを、もし適用可能であれば、補正するために、重み付け係数は選択されてもよい。
【００４２】
図３Ａの例のように、出力デバイス１４は、符号化した３Ｄビデオを、チャンネル１６を通して受け取り、復号化し、再現された３Ｄビデオを、１人または複数の視る人（human viewer）のために表示する。また、図３Ａのように、図３Ｂの出力デバイス１４は、立体視眼鏡６０に補助された、立体視ビデオディスプレイ、立体視ファインダー、または、立体視３Ｄ視野（stereoscopic 3D view）を表示するのに適した、何らかの他の装置を備えるであろう。ディスプレイと、眼鏡のような何らかの外部ハードウェアを含む、ディスプレイの型式は、視る人にとって眼に見える、変換誤差の程度と特性に影響がある場合には、３Ｄビデオ符号化エンジン５６は、特定の表示装置、または、表示装置の特性に適した、重み付け係数を選択してもよい。どんな場合でも、適切な重み付け係数を選択するのに、ビデオ符号化エンジン５６は、全体としての視覚の品質に、より大きな影響を与え、視覚の品質を向上させ、維持させるのに適しているかもしれない、（左または右の）視野に対する、重み付けをつけた、符号化ビットの割り当てを提供する。
【００４３】
図４は、最適化に基づいたビット割り当て方式を用いた、３Ｄビデオエンコーダー２０の中で、符号化した３Ｄビデオを生成するための、ビデオ符号化エンジン５６を示すブロック・ダイアグラムである。図４に示すように、ビデオ符号化エンジン５６は、左／右成分重み付け発生器６２と、３Ｄロー・ドメイン・ビット割り当てモジュール６４と、フレーム・レベル・レート・コントローラー６６と、ロー・ツー・ＱＰ・マッパー６８と、ビデオ符号化ユニット７０とを備えていてもよい。左／右成分の重み付け発生器６２と、３Ｄロー・ドメイン・ビット割り当てモジュール６４と、フレーム・レベル・レート・コントローラー６６と、ロー・ツー・ＱＰマッパー６８とともに、ビデオ符号化ユニット７０は、ビデオエンコーダー２０全体の一部を構成し、符号化したビデオを生成するために、ＭＰＥＧ−４またはＨ．２６４等の符号化技術にしたがって、符号化ビットを適用する役割を持つ。図４に示すように、ビデオ符号化ユニット７０は、３Ｄ入力ビデオを受け取り、ビデオを符号化し、符号化された３Ｄビデオを生成する。左／右成分の重み付け発生器６２は、ディスプレイの型式の表示を受け取り、３Ｄロー・ドメイン・ビット割り当てモジュール６４と、コーディング・ユニット７０とで使う、重み付け係数アルファを生成する。ビット割り当てモジュール６４は、重み付け係数に基づいて、３Ｄビデオフレームの左と右の成分に、ビットを割り当てる。
【００４４】
また、モジュール、ブロック、または、構成要素の異なる特徴の描写は、異なる機能面を強調することを意図していて、このようなモジュールは、独立したハードウェア、および／または、ソフトウェア構成要素により実現しなければならないということを、必ずしも意味しない。ある場合には、ビデオ符号化エンジン５６の種々の態様が、共有されるハードウェア、および／または、ソフトウェアにより、組み合わせられ、一緒に動作し、実現されるであろう。したがって、図４に描かれた、種々の構成要素は、各々のモジュールによる機能を含む、多様な方法により、構成されてもよい。どんな場合でも、ビデオエンコーダー２０の種々の構成要素は、ハードウェア、ソフトウェア、ファームウェア、または、これらの組み合わせにより、実現されてもよい。たとえば、そのような構成要素は、１個以上のマイクロプロセッサー、ディジタル信号処理プロセッサ（ＤＳＰｓ）、１個以上の特定用途向け集積回路（ＡＳＩＣｓ）、１つ以上のフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡｓ）、または、他の等価な集積回路か、個別の論理回路として動作してもよい。
【００４５】
図４の例において、左／右の成分の重み付け生成器６２は、出力デバイス１４、または、出力デバイスのグループに関する、ディスプレイの型式を指示する入力を受け取る。前記のように、ディスプレイの型式の入力は、帯域内送信または帯域外送信の合図を使って、出力デバイス１４から伝えられる、実際のディスプレイの型式の入力であってもよい。あるいは、ディスプレイの型式の入力は、通信業者、製造業者、またはユーザーにより指定されてもよいし、あるいは、供給デバイスの型式、出力デバイスの型式、供給デバイスが使われるアプリケーション、および／または、供給デバイスまたは出力デバイスが使われる分野などのファクターに基づいて推定されてもよい。ディスプレイの型式に基づいて、左／右の成分の重み付け生成器６２は、歪解析と、最終目的である、ビット割り当てを目的とした、重み付けの置き方を、左の成分に向けるのか、右の成分に向けるのかを指定する、重み付け係数αを生成する。たとえば、左／右成分重み付け発生器６２は、テーブルから重み付け係数を選択するか、重み付け係数を計算してもよい。
【００４６】
ビデオ符号化ユニット７０は、３Ｄ入力ビデオ、すなわち、元の供給源の３Ｄビデオの左と右の成分を受信する。左と右の成分は、３Ｄビデオシーケンスの、左と右の成分からの、ビデオフレームとして、受信されてもよい。フレーム・レベル・ビット配分、ＲＢＵＤＧＥＴに加えて、重み付け係数αを用いて、３Ｄロー・ドメイン・ビット割り当てモジュール６４は、３Ｄビデオフレームの左と右の成分内の、ビデオブロック、たとえばマクロ・ブロック、に対するビット割り当ての値を生成する。ビット割り付けの値は、ロー・ドメインの値でもよい。
【００４７】
重み付け係数αは、３Ｄビデオの全体としての視覚の品質に対する、左と右の成分の、相対的な影響を表わす、支配要因（dominance factor）かもしれない。この例において、赤、緑、青（ＲＧＢ）の画像が、アナグリフ画像から構成されていて、各々のカラー・チャンネルが、異なるカメラから得られる場合には、左と右の成分の画像における品質レベルは、視る人にとっての、全体としての視覚の品質に対して、異なる寄与をする。例えば、同じ歪が、左の成分画像と右の成分画像との両方にあると、イメージのうちの一方は、人間の目の知覚品質が与えられると、一方のチャンネルの、他方に対する、非対称的な優越性により、視覚の品質に、劇的に異なる影響を持つかもしれない。したがって、第１の成分（左、または、右）における歪が、全体としての視覚の品質に、第２の成分よりも、より著しい影響がある場合には、３Ｄロー・ドメイン割り当てモジュール６４は、追加のビットが、視覚の品質を向上させるために、第１の成分に割り当てられるように、ロー・ドメインの値を割り当てることにより、差分を扱うように構成されてもよい。
【００４８】
重み付け係数αは、特定の成分（左か右の）が、全体としの視覚の品質に影響を及ぼす程度を定量化する。左の成分の歪が、より強く視覚の品質に影響を与える場合には、αはより高くなる。他方では、右の成分上の歪がより強く、視覚の品質に影響を与える場合には、αはより低くなる。重み付け係数αは、立体画像の、全体として知覚される視覚の品質に対する、左と右の成分の、相対的な寄与の見極めを認める、品質測定規準に基づいて、決定されるかもしれない。少なくとも、ある程度は、重み付け係数αに基づいて、ビデオエンコーダー２０により符号化される、ビデオフレームの、左の成分と右の成分との間の、ロー・ドメイン・ビット割り当てを、３Ｄロー・ドメイン・ビット割付モジュール６４は偏らせる。マクロ・ブロック（ＭＢｓ）のような、個々のビデオブロックのために、ビデオフレーム内に、あるいはフレーム内のすべてのビデオブロックに、割り当てが指示されてもよい。割り当ては、ブロックごとを基準として、または、フレームごとを基準として、更新されてもよい。
【００４９】
ロー・ドメイン・ビット割り当てモジュール６４は、フレーム・レベル・レート・コントローラー６６から、フレーム・レベル・レート配分、ＲＢＵＤＧＥＴを受け取り、ビデオ符合化ユニット７０から、符号化したＭＢの標準偏差σを受け取る。標準偏差σは、動き推定後に得られる、実質的な残留の標準偏差であり、前のフレームから蓄積された残留の統計であるかもしれない。この標準偏差は、左と右の成分に対する、標準偏差の成分により、表されてもよい。たとえば、標準偏差は、左の成分の標準偏差σｌｉおよび右の成分の標準偏差σｒｉとして表現されてもよい。重み付け係数αと、標準偏差σｌｉ、σｒｉとを使って、ロー・ドメイン・ビット割り当てモジュール６４は、左と右の成分の間の、優先的なロー・ドメイン・ビット割り当てを目的として、左の成分ＭＢｓと、右の成分ＭＢｓとを区別する。ロー・ドメイン・ビット割り当てモジュール６４は、左の成分と右の成分の、各々のフレームにおける、各々のＭＢのρ（ロー）パラメーターを生成する。ρパラメーターは、ＭＢにおける、０でない、量子化された、ＡＣ変換係数を表す。ρドメインのレート制御は、ＱＰドメインのレート制御よりも、正確である傾向がある。
【００５０】
フレーム・レベル・レート・コントローラー６６は、ビデオシーケンス内の、個々のフレームに対して、ビット割り付けを生成する。特に、フレーム・レベル・レート・コントローラー５４は、そのフレームにおける、左と右の成分を含む、現時点でのフレーム内の全てのＭＢを、符号化するために、適用可能なビット数を示す、ＲＢＵＤＧＥＴの値を生成する。フレーム・レベル・レート・コントローラー６６は、チャネル状態、キャリアの要求、サービス品質（ＱｏＳ）の制約、遅延の制約、バッファ・ステータス、または、その他の要求および条件により課せられる、バンド幅の要求に基づいて、フレームにビットを割り付ける、一般的なレート・コントローラーでもよい。フレーム・レベル・ビット配分ＲＢＵＤＧＥＴ、標準偏差σ、および、重み付け係数αを用いて、ロー（ρ）・ドメイン・ビット割り当てモジュール６４は、左と右の成分における、ブロックに対するビット割り当て値を生成する。特に、この例においては、ロー・ドメイン・ビット割り当てモジュール６４は、それぞれ、ρｌｉ（左画像のρ）とρｒｉ（右画像のρ）である、各々の左の成分、または、右の成分ＭＢにおけるρの配分を示す、ρドメイン出力を生成する。ρドメイン出力は、ρｌｉとρｒｉの値を、対応するＱＰ値、ＱＰｌｉとＱＰｒｉに、各々のＭＢでマップする、ρからＱＰへのマッパー６８に適用される。フレームの左と右の成分のそれぞれにおいて、ＭＢ用のＱＰ値、ＱＰｌｉとＱＰｒｉを、それぞれ用いて、ビデオ符号化ユニット７０は、３Ｄ入力ビデオを符号化し、符号化された３Ｄビデオを生成する。
【００５１】
符号化および立体画像復元ステージに関連する、圧縮において、異なる原因による、いくつかの品質低下がもたらされる。３Ｄビデオコンテンツは、従来の２Ｄ情報より多くの情報、たとえば、画像、奥行き情報、２つのビデオ供給源からの、右と左の情報を、通常の場合には、必要とするので、適用できるビット配分を満たすために、より高い圧縮比を適用してもよい。したがって、与えられたバンド幅を満たす、３Ｄ符号化のため、より厳しい圧縮変換誤差が取り込まれてしまうことになる。さらに、他の変換誤差が、立体画像構築の過程で生じ、さらに、知覚品質を下げる。ロー・ドメイン・ビット割り当てモジュール６４は、３Ｄビデオの符号化に付随する圧縮により、生じる変換誤差の低減を可能にする。重み付けビット割り当てを、生成する場合に、ロー・ドメイン・ビット割り当てモジュール６４が使用する、実例の式について、以下に、さらに詳細に説明する。
【００５２】
品質測定規準（quality metric）を生成する目的のために、最初の入力ビデオ
【数１】
0005474569.tif 000002
【００５３】
と、復元したビデオ
【数２】
0005474569.tif 000003
【００５４】
とを、左の成分について、比較することにより、また、最初の入力ビデオ
【数３】
0005474569.tif 000004
【００５５】
と、再構成したビデオ
【数４】
0005474569.tif 000005
【００５６】
とを、右の成分について、比較することにより、歪を分析することができる。圧縮した立体画像の非対称な特性のために、左と右の画像の両方からの、ピーク信号対雑音比（peak signal-to-noise ratio：ＰＳＮＲ）を平等に平均して、品質を推定することは、誤解を招く可能性がある。したがって、立体画像のＰＳＮＲは、全体としての立体画像の品質を、より正確に予測するために、修正するほうがよい。特に、重み付け係数αは、左と右の成分により生じる、異なる影響を表すのに使うことができ、同様に、ロー・ドメイン・ビット割り当てモジュール６４による、ビット割り当てに、影響を与えるために使うことができる。
【００５７】
以下に明らかにするのは、ビデオ符号化エンジン５６の典型的な構成要素と、特にロー・ドメイン・ビット割り当てモジュール６４とにより、知覚される視覚の品質を向上し、維持する意味で、３Ｄ画像の左と右の成分に、符号化ビットを割り当てるために、実行されるであろう、典型的な最適化技術の議論である。以下の説明において、値ＤＬとＤＲは、左と右、それぞれの立体画像の成分の、ピクセルごとに正規化された歪を示す。重み付け係数αは、左目対右目の、視覚の重要度係数を表し、０と１の間の実数として表されてもよい。
【００５８】
ディスプレイの型式、または、ディスプレイの型式の特性により、さらに詳しく言うと、特定のディスプレイの型式、または、ディスプレイの型式の特性における、左と右の成分の、相対歪への影響の分析を基にして、重み付け係数αの値は選択される。ディスプレイ装置が、たとえば、図３の２Ｄ表示データ４４のような、２Ｄ表示データだけをサポートできる、２Ｄディスプレイである場合には、左と右の成分の一方だけが、すべての符号化ビットの割り当てを受けるように、左と右の重み付け係数αは１、または、０に設定される。言いかえると、表示装置が３Ｄ立体ビデオをサポートすることができない場合には、ビット割り当ては、１つのチャンネルが全ての符号化ビットを受け取る、すなわち、重み付け係数αを０か１のどちらかに設定するシナリオに戻ってもよい。他の場合では、出力デバイス１４が、立体ビデオをサポートするディスプレイを持っていない場合には、立体画像の、全体として知覚される視覚の品質に対する、左と右の成分の、相対的歪への影響の解析により決定されるように、重み付け係数αの値は、０と１との間の値になるであろう。
【００５９】
上記の変数の間の関係が、線形関数に簡単化されれば、品質測定規準は、次の式で表される、ビデオシーケンス全体としての歪として表現される。
【数５】
0005474569.tif 000006
【００６０】
ただし、
【数６】
0005474569.tif 000007
【００６１】
は、元の、および、復元された左の視野であり、
【数７】
0005474569.tif 000008
【００６２】
は、元の、および、復元された右の視野である。復元された視野は、元の供給源ビデオと比較するために、符号化されたビデオの成分から復元される。品質測定規準は、左の３Ｄビデオ成分の推定品質ＤＬに、αで重み付けし、右の３Ｄビデオ成分の推定品質ＤＲに、１−αで重み付けすることにより、または、その逆に重み付けし、そして、それらの重み付けされた品質に基づいて品質測定規準を形成することにより、形成される。要素αは、一般に、０と１の間の数であり得る。
式（１）の線形関係が、人間の視覚的な知覚としての見方に有効であるかどうかという疑問を、実験的に確かめることができる。さらに、特定の出力表示装置、または、表示装置の特性のカテゴリーに対する、主観的な人間の視覚的な知覚に、密接に関連付けられるように、後戻りテストにより、αの適切な値が決定されてもよい。異なる出力表示装置、異なる種類の表示装置、異なるビューイング・アプリケーション、または、異なるユーザーによって、αの適切な値は異なるかもしれない。したがって、左／右成分の重み付け発生器６２は、左と右の３Ｄビデオ成分を、視るために使用する、ある型式の表示装置に基づいて、重み付けを調整してもよい。たとえば、左／右成分の重み付け発生器６２は、異なるディスプレイの型式の指示に対して、異なる値を、計算または選択する。左／右重み付け品質測定規準は、全体としての、立体３Ｄビデオの好ましい、主観的な、知覚される品質をサポートする、最適な符号化パラメーターの選択と、ビット割り当て方式とを、得られる入力として、有用であるかもしれないので、式（１）は、立体ビデオ符号化とビット割り当てにおいて、重要な役割を果たすことができる。
【００６３】
たとえば、上記の式（１）に表現されているように、立体視覚の品質に対する、左と右の成分の、異なる影響を考慮に入れる品質測定規準は、一般的に視覚の品質を評価する上で、有用であろう。しかしながら、このような品質測定規準は、ビデオ符号化プロセスにおいて、詳しくは、３Ｄロー（ρ）ドメイン・ビット・割り当てモジュール６４の、ビット割り当てにおいて、特に有用であろう。フレーム・レベル・レート・コントローラー６６によって生成されるＲＢＵＤＧＥＴが、与えられた、左の成分と、右の成分の、２つのフレームにおける、合計のビット配分を意味し、Ｒがフレームの符号化のビット・レートであるとすれば、ビット割り当てモジュール６４が取り扱うビット割り当ての問題は、次のように表すことができる。
【数８】
0005474569.tif 000009
【００６４】
この最適化問題（２）は、ラグランジュの緩和（Lagrangian relaxation）およびダイナミック・プログラミングにより、たとえば、Ｈ．ワング、Ｇ．Ｍ．シュースター、Ａ．Ｋ．カツアッゲロス著の「オブジェクト・ベースのビデオ符号化のための、歪見積もりによる、最適なビット割り当て方式」、アイ・イー・イー・イー、トランスアクション、サーキット・システム・フォー・ビデオ・テクノロジー、１５巻、９号、１１１３−１１２３頁、９月、２００５年（H. Wang, G. M. Schuster, A. K. Katsaggelos, "Rate-distortion optimal bit allocation scheme for object-based video coding," IEEE Trans. Circuits System for Video Technology, Vol. 15, No. 9, pp. 1113-1123, Sept. 2005）に、説明されているように解くことができる。しかしながら、このような方法での、計算の複雑さは、たいていの場合には、現存する実時間システムが、許容できる範囲を超えている。したがって、より複雑さが低い、最適に近い解決策が望ましい。
【００６５】
立体ビデオ符号化において、Ｎがフレームにおける、マクロ・ブロックの数を表わし、｛ρｌｉ｝、｛σｌｉ｝、｛Ｒｌｉ｝、｛Ｄｌｉ｝が、左視野の、ｉ番目のマクロ・ブロックの、ρの値、標準偏差、レート、および歪（エラーの自乗和）の組を表し、｛ρｒｉ｝、｛σｒｉ｝、｛Ｒｒｉ｝、｛Ｄｒｉ｝が、右視野の、ｉ番目のマクロ・ブロックの、ρの値、標準偏差、レート、および歪（エラーの自乗和）の組を表す。歪Ｄｌｉは、符号化された左の３Ｄビデオ成分の、推定される品質を表し、歪Ｄｒｉは、右の３Ｄビデオ成分の、推定される品質を表す。
【００６６】
左と右の歪の推定値および加重係数アルファ（α）に基づいて、左と右の成分により形成された、立体ビデオフレームに対する全体としての品質測定規準を形成することができる。たとえば、立体ビデオフレームの重み付け歪Ｄは、
【数９】
0005474569.tif 000010
【００６７】
で、表すことができる。これにより、ロー・ドメイン・ビット割り当てモジュール６４により、ビット割り当てをサポートするために、式（３）が与えられると、問題（２）を次のように書き換えることができる。
【数１０】
0005474569.tif 000011
【００６８】
問題（４）は、モデリング・ベースのビット割り当て方法を使って解決することができる。バーガーの歪見積もり理論、エングルウッドクリフス、ＮＪ：プレンティス・ホール、１９８４（Rate Distortion Theory, Englewood Cliffs, NJ:Prentice Hall, 1984）に説明されているように、自然画像における、ＡＣ係数の分布は、ラプラシアン分布
【数１１】
0005474569.tif 000012
【００６９】
により、最も良く近似することができる。したがって、Ｚ．ヒー、Ｓ．Ｋ．ミルタによる、”ＤＣＴビデオ符号化におけるリニアー・ソース・モデルと統合レート制御アルゴリズム”、アイ・イー・イー・イー・トランスアクション、ビデオ・テクノロジー用のサーキット・システムズ、１２巻、１１号、９７０−９８２頁、２００２年１１月（Z.He and S. K. Mitra, "A linear source model and a unified rate control algorithm for DCT video coding," IEEE Trans. Circuits System for Video Technology, Vol. 12, No. 11, pp. 970-982, Nov. 2002）によれば、ｉ番目のマクロ・ブロックにおけるレートと歪とは、たとえば、次のようなρの関数として、以下の式（５）と（６）のように、モデル化することができる。
【数１２】
0005474569.tif 000013
【００７０】
および
【数１３】
0005474569.tif 000014
【００７１】
ただし、ＡとＢは、一定のモデル化パラメーターであり、Ａは、０でない係数を、符号化するために必要とされる、平均ビット数と考えることができ、Ｂはノン・テクスチャ情報のためのビットと考えることができる。上記の式（５）と（６）において、異なるＢの値を、左と右の視野において使うことができる。しかしながら、簡単のために、２つの視野が、非常に似ているという仮定に基づいて、同じＢの値を、左と右の両方の視野に使うことができる。しかしながら、Ｂの値はこれらの式では、一定値であるので、単純化は、誘導の一般性に対して影響を与えないことを、強調しておくことが重要である。
【００７２】
左の成分と、右の成分の、推定された歪は、それぞれ、以下の、式（７）および（８）により表されてもよい：
【数１４】
0005474569.tif 000015
【００７３】
および
【数１５】
0005474569.tif 000016
【００７４】
ここで、θは未知の定数であるが、履歴的な統計、たとえば、ビット・レート＝θ＊ρである、ρとビット・レートのプロットの傾きから、推定することができる。任意に選んだρｉに対して、かなりの量子化器を生成できる、十分に正確なρ−ＱＰテーブルが用意されていると仮定しているので、式（７）と（８）では、量子化器を使わずに、ρｌｉとρｒｉの値を最適化することができる。
【００７５】
この開示に説明されたように、式（５）−（８）は、符号化パラメーター（ρ）の関数として表された、歪のレートの表示の１組を、表示するのに使われるであろう。これらの式は、立体ビデオ符号化のための、ロー・ドメインにおける、最適なビット割り当て手法を得るのに使われる。本開示に記載の、ロー・ドメインのビット割り当て手法は、説明のために示されている。しかしながら、他のレート歪関数も、ロー・ドメインか量子化ドメイン（ＱＰ）のどちらかにおいて、与えられたフレーム・ビットの配分と、左と右との成分の重み付けを使った、ビットの配分方法を得るのに、使うことができる。
【００７６】
一般に、式（４）は、以下のように、制約された問題を非制約の問題に変換する、ラグランジュの緩和を使って、解くことができる。
【数１６】
0005474569.tif 000017
【００７７】
ここで、式（９）において、最適化されたラムダ、λ＊は、
【数１７】
0005474569.tif 000018
【００７８】
を成立させる解である。式（９）において、偏微分係数を０にすることにより、最適化されたρｉについて、次の表現が得られる。
【数１８】
0005474569.tif 000019
【００７９】
と
【数１９】
0005474569.tif 000020
【００８０】
が成り立つとすれば、
【数２０】
0005474569.tif 000021
【００８１】
が成り立つ。したがって、次のようになる。
【数２１】
0005474569.tif 000022
【００８２】
と
【数２２】
0005474569.tif 000023
【００８３】
そして同様に、
【数２３】
0005474569.tif 000024
【００８４】
他方では、
【数２４】
0005474569.tif 000025
【００８５】
したがって、
【数２５】
0005474569.tif 000026
【００８６】
式（１４）−（１７）から、ビット割り当てモジュール６４は、次のように左と右の成分のビット割り当てを得るように構成され得る。
【数２６】
0005474569.tif 000027
【００８７】
そして同様に、
【数２７】
0005474569.tif 000028
【００８８】
したがって、この例において、ビット割り当てモジュール６４は、上記の式（１８）および（１９）を用いて、左と右の成分に対する、ロー（ρ）の値、ρｌｉおよびρｒｉを、それぞれ生成することができる。顕著なのは、左と右の成分における、重み付け係数αと、歪の差の度合いが与えられた場合に、左と右の３Ｄビデオの成分に割り当てられる符号化ビットの量は異なってもよい。言い換えれば、ビット割り当てモジュール６４により設定されたロー（ρ）の値が異なる場合には、左と右の成分における、実効的な符号化レートは異なる。ビット割り当てモジュール６４は、左と右の成分のロー値、ρｌｉおよびρｒｉを生成するために、式（１８）と（１９）を適用するように設定されていてもよい。いったん、３Ｄ立体ビデオフレームの、左と右の成分のマクロ・ブロックのために、ρｌｉおよびρｒｉの値が決定されると、対応する量子化パラメーター（ＱＰｓ）を、ρ−ＱＰマッパー６８により供給される、ρ−ＱＰの履歴テーブルに基づいて、決定することができる。特に、ρ−ＱＰマッパー６８は、各々のＭＢについて、ローの値、ρｌｉおよびρｒｉを、対応するＱＰ値、ＱＰｌｉとＱＰｒｉに、それぞれマップする。マッパー６８は、上述した、参照テーブルを用いて、ビデオ符号化ユニット７０で使用するために、ロー（ρ）値を、対応するＱＰ値に変換してもよい。あるいは、マッパー６８は数学関数を使用してもよい。
【００８９】
二眼カメラを使って記録し、赤と青の眼鏡を使って視る、多くの立体画像とビデオについて、実施された実験は、本開示に記載した、品質測定規準とビット割り当て方式の有用性を検証した。その実験には、次の３つの重要な構成要素を含んでいた。（１）式（１）において明らかな、線形関係が、”期待される”標準的な人の知覚と一致することの確認；（２）後戻りテストによる、式（１）における、適切な重み付け係数αの決定；（３）両方の視野からの結合した知覚による品質測定を考慮することのない、一般的な画像およびビデオの符号化方式と比較した、最適なビット割付方式の評価。
【００９０】
式（１）における、線形な関係の確認について、主観的なテストにより、直線的な関係が、共通な人間の知覚に対応することを、示した。重み付け係数αが、０と１の間に調整されるので、式（１）から得られる、客観的な品質のスコアと、視覚による知覚品質との一致は、大きく変化する。異なる品質レベルを持つ、圧縮した左と右の画像の組み合わせにより形成された立体像を評価した。使用した圧縮方式はＪＰＥＧ２０００である。品質のレベルは、圧縮率と、これに伴う、１から１００まで変化する、出力品質を制御する。より高い値は、より良い品質と、より低い圧縮率を示す。左と右の成分の画像の品質レベルは、それぞれ５と１００に設定し、異なる品質の組み合わせの立体画像が形成された。
【００９１】
（左と右の）目が異なるだけで、同じ品質損失が、両方の画像に、ほとんど同程度に取り込まれるので、左と右の成分の画像により構成される、立体画像の、人間が知覚する品質は、ほとんど同じであると期待されている。しかしながら、主観的な観察は、左と右の画像との間で、全体としての品質低下に対する、非常に異なった感度を持っていることを示した。特に、左の画像の品質を５に設定し、右の画像の品質を１００に設定すると、左の画像の品質を１００に設定し、右の画像の品質を５に設定する場合と比較して、立体画像の品質は、はるかに良好である。特に、左の画像の品質を１００に設定し、右の画像の品質を５に設定した場合には、立体画像では、歪は、はるかに見えやすい。人間の目は、左と右の目とで、歪に対する応答において、非対称的な優越性（dominance）を持つので、左と右の画像に与えた、同じ歪が、末端の視る人に、劇的に異なる影響を引き起こすことができる。したがって、非対称的な優越性を考慮し、適切な重み付け係数αを使って、左と右の成分の間での、差を付けたビット割り当てを、適用することにより、結果として得られる立体３Ｄ画像の、良好な、全体としての視覚の品質をサポートすることができる。
【００９２】
この係数αは、左と右の画像からの、歪に対する視る人の感度として、考えることができる。ここで、より高いαは、人間が歪に対してより低い許容度を有しているという意味である。したがって、重み付けは、左と右の成分における歪に対する、視る人の感度に基づいている。異なる歪の組み合わせを持つ、左と右の画像により形成された立体画像の、主観的な実験が実施された。その出力は、平均意見スコア（Mean-Opinion-Score：ＭＯＳ）であり、１から５まで変動し、より高い値がより良い品質を表す。テストの高い信頼度を保証するために、また、評価者を疲労させないようにするために、品質水準５、１５、２０、３０、５０、および１００だけを、左と右の画像の両方に使用した。この場合、６×６＝３６の立体画像の異なる組み合わせが、各々のシーンについて生成された。”適切な”αの値は、知覚の歪モデルを備えた、パラメーター適合方法を用いて、特定の３Ｄビデオ供給源および出力装置に合わせて、決めることができる。
【数２８】
0005474569.tif 000029
【００９３】
ここで、γｉ、φｉ、γｒおよびφｒは、ＭＯＳデータに適合するために、歪出力を１から５の間に規格化するための係数である。パラメーターは最小二乗法を用いる、後戻りテストにより得られた。さらに、異なる出力装置に合わせて調整されてもよい。したがって、以上で説明されたように、ディスプレイの型式の表示は、特定のαの値の選択と計算を起動するのに使われても良い。たとえば、あらかじめ定義されたαの値のテーブルを、ディスプレイの型式に応じて適切な重み付け係数（α）選択するために使うことができる。
【００９４】
二眼のカメラによる立体ビデオの取り込み、および、表示画面と赤と青の立体視眼鏡に依存する出力装置では、およそ０．３のαの値が、望ましい視覚結果を作り出すのに、特に効果的であろうということが、見出された。この結果は、以下の式において示される、ピクセルの輝度に対する、赤、緑および青の色成分の寄与と、概して、一致している。
【００９５】
Ｌｕｍｉｎａｎｃｅ＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ＋１６                              （２０）
そして、左のレンズ（赤のレンズ）は大半の赤の光を左目に導き、右のガラス（青のレンズ）は、緑と青の光の大半を右目に導くのに対して、人間の目では、右目からの緑の光に対して、感度がより高く、左の目からの光に対しては、感度がより低いので、この結果は合理的である。左の視野と比較すると、右の視野の方が歪に対して、より敏感であるという傾向を、目は持っている。この意味では、より低い重み付けを、左の視野からの歪に与えるように、値を選択すべきである。これは、式（１）の基本的な前提に対応している。言いかえれば、ある品質測定規準を生成し、左の成分と右の成分との間で、差を付けたビット配分を実行する目的で、左の成分における歪に、右の成分における歪よりも、少ない重み付けが与えられるように、式（１）のα重み付け係数を、通常の場合には選択するべきである。
【００９６】
ここに説明したように、知覚的な品質測定規準によって導かれるビット割り当て方式と、知覚的な品質測定規準に依存しないビット割り当て方式とについて、多くの結果について検討した。想定される、主観的な重要度に基づく、左と右の成分の画像の符号化は、同じ量の符号化ビットを費やすが、左と右の成分との間で、異なる量のビットを配分することにより、実質的には、品質を改善できる。右の成分よりも、左の成分により多くの、符号化ビットを割り当てる場合と比較すると、左の成分よりも、右の成分により多くの、符号化ビットを割り当てることにより、立体画像における、より高い全体としての視覚の品質の結果を得た。左と右の成分に対するフレーム・サイズは、キロビットを単位として、ほぼ同じであるが、主観的な視覚の品質への影響は、きわめて顕著である。したがって、品質測定規準とビット割り当て手法とは、この開示に記載したように、左と右の成分の画像から形成される、立体画像の、全体としての視覚の品質を向上させるのに、有効になりうる。
【００９７】
図５は、３Ｄビデオの品質測定規準の生成と、３Ｄビデオの品質測定規準を基にした、符号化ビットの割り当てとを示す、３Ｄビデオフロー・ダイアグラムである。図５に示すように、ビデオエンコーダー２０は、たとえば、左と右の成分を含んでいる、３Ｄビデオデータを取り込み（７２）、左と右の成分の間での重み付けを生成し（７４）、重み付けに基づき、左と右の成分の画像の間での、符号化ビットの割り当てを調整し（７６）、このビット割り当てを使って、３Ｄビデオデータを符号化する（７８）。符号化ビットの割り当ては、フレームごとに、または、ブロックごとに、更新されてもよい。以上で説明した操作は、ビデオエンコーダー２０を構成する、種々の要素またはモジュールにより実行される。たとえば、ビット割り当てモジュール６４は、３Ｄビデオの、左と右の成分の間でのビット割り当てを調整してもよい。ビデオ符号化ユニット７０は、ビット割り当てに基づいて、左と右の成分を符号化し、３Ｄの符号化されたビデオを生成する。
【００９８】
図６は、３Ｄビデオの品質測定規準に基づいた、３Ｄビデオ成分への、符号化ビットの割り当てを示す、もう１つのフロー・ダイアグラムである。図６に示すように、ビデオエンコーダー２０は、３Ｄビデオデータを取り込む（８０）。この例において、左と右の成分の重み付け発生器６２は、たとえば、デフォルト値として、ユーザー指定の値として、または、ディスプレイの型式の指示に基づいて決定した値として、左と右の重み付け係数αを取り込む（８２）。ディスプレイの型式の表示は、出力デバイス１４によって供給されるか、製造業者、通信業者、または、ユーザーにより表示されるか、または、供給デバイスの型式、宛先デバイスの型式、供給デバイスが使われるアプリケーション、および／または、供給デバイス、または、出力デバイスが使われる分野のような要素に基づいて決定される。ビット割り当てモジュール６４は、フレーム・レベル・レート・コントローラー６６から、フレーム・レベル・ビット配分を得る（８４）。ビット割り当てモジュール６４は、左／右重み付け係数αと、ビット配分とに基づいて、左と右の成分の間で、符号化ビットの割り当てを調整する（８６）。次いで、符号化プロセスは、更新した符号化ビット割り当てを適用する。特に、符号化ユニット７０は、たとえば、ＭＰＥＧ４またはＨ．２６４等のビデオ符号化方式に従って、３Ｄビデオデータの符号化をするために、ビット割り当てを使う（８８）。
【００９９】
図７は、ロー（ρ）ドメインにおける、３Ｄビデオ成分に対する、符号化ビットの割り当てを示す、フロー・ダイアグラムである。ロー（ρ）ドメインのビット割り当ては、精度のためには望ましい。しかしながら、もし望むのであれば、完全にＱＰドメイン内で、ビット割り当てを、実行することができるだろう。ロー（ρ）ドメインのビット割り当てのために、ビデオエンコーダー２０は、３Ｄビデオデータを受け取り（９２）、左／右重み付け係数α（９４）を受け取り、また、フレーム・レベル・ビット配分を受け取る（９６）。さらに、このような操作の一部、または、全ては、ビデオエンコーダー２０を構成する成分またはモジュールにより実行されてもよい。フレーム・レベル・ビット割り当てを受け取る（９６）際に、ビット割り当てモジュール６４は、重み付け係数αと、ビット配分とを使って、３Ｄビデオの左と右の成分の間での、ロー・ドメイン・ビット割り当てを生成する（９８）。ローからＱＰへのマッパー６８は、次に、対応するＱＰ値に対して、ローの値をマッピングし（１００）、ビデオ符号化ユニット７０は、３Ｄビデオを符号化するために、ＱＰ値を適用する（１０２）。符号化プロセスは、続いて、フレーム・ベース、または、ブロック・ベースに基づいて、ビット割り当ての調整を行う。
【０１００】
いくつかの態様において、ビデオエンコーダー２０は、出力表示型式の指示をもとに、３Ｄビデオデータの、異なる立体フォーマットへの変換をサポートする。たとえば、ビデオエンコーダー２０は、３Ｄビデオデータを受け取り、出力デバイス１４に関わるディスプレイの型式を判定する。このディスプレイの型式をもとに、ビデオエンコーダー２０は、何らかの変換、たとえば、１つの立体フォ−マットから他の立体フォーマットへの変換が必要かどうかを、判定する。変換が必要な場合には、ビデオエンコーダー２０は、指示されたディスプレイの型式に基づいて、適切な立体フォーマットを選択し、３Ｄビデオデータを、選択された立体フォーマットに変換する。
【０１０１】
次いで、ビデオエンコーダー２０は、新しい３Ｄビデオデータを符号化してもよい。ＭＰＥＧ４、または、Ｈ．２６４符号化のような、ビデオ符号化方法に従って、ビデオは符号化されてもよい。３Ｄビデオコンテンツを、受け取るように指定された、出力デバイス１４の特性に依存する、種々の立体フォーマットに、３Ｄビデオコンテンツを、変換することを、ビデオ変換は可能にすることができる。たとえば、３Ｄビデオコンテンツが、一眼カメラの情報と奥行き情報として、コンテンツ・データベース５２に記録されている場合に、出力デバイス１４が立体視ディスプレイを備えていることがわかれば、ビデオ変換は、３Ｄビデオコンテンツを、立体視ディスプレイを通しての表示に適切な、右と左の成分に変換してもよい。同様に、出力デバイス１４が２Ｄディスプレイを備えていて、３Ｄビデオコンテンツが、立体視のビデオコンテンツとして、データベース５２に記録されている場合には、変換処理は、立体視データを２Ｄディスプレイに適した、２Ｄデータに変換してもよい。一般的には、変換が必要であるかどうか、もし必要であるならば、どの立体視フォーマットを、変換のために選択すべきであるかを、決定するのに、変換処理は、ディスプレイの型式の表示に、依存し得る。この開示に述べたように、ディスプレイの型式表示は、出力デバイス１４により提供されてもよいし、通信業者、製造業者、ユーザー、応用の型式、分野、デバイスの型式等により示されてもよい。
【０１０２】
３Ｄビデオの機能を備えた、次世代の携帯電話等の、広い範囲の機器に適用される、３Ｄビデオコンテンツの圧縮と復元の枠組みについて、本開示は説明している。３Ｄビデオにおける、左と右の成分の、異なる影響を考慮した、知覚される品質測定規準と、品質測定規準に基づく、ビット割り当て方式とを使って、異なる表示フォーマットと表示デバイスを使う、異なる視る人に、類似の立体ビデオコンテンツを提供することができるかもしれない。３Ｄ供給ビデオは、異なる方法により、取り込まれ、可視化されてもよいが、ビデオ製作者が、異なるディスプレイと、符号化に伴う圧縮との影響を、必ずしも検討することなく、高品質のビデオを生成することができるように、共通のデータベースに保存されてもよい。むしろ、ビデオを受け取るように指定された、出力デバイスに関連付けられた、適切な立体フォーマットへと、供給ビデオに対して、いずれかの必要な変換を実行する、ビデオエンコーダーが提供され得る。
【０１０３】
さらに、または、その代わりに、品質測定規準を生成し、変換誤差およびディスプレイの特性により生じる歪に対処するために、ビデオの左と右の成分の間での、符号化ビットの割り当てを調整する、ビデオエンコーダーが備えられてもよい。特に、ビデオデコーダーは、本開示に説明されているように、ビット割り当てを通しての圧縮比を、また、受容できる、知覚される視覚の品質を、達成できる限りにおいて、ビット配分を満たす、視る人が知覚するビデオの品質を、動的に調整してもよい。圧縮比と、知覚される品質とをバランスさせるために、立体画像の品質測定規準を、本開示で定義したように、用いてもよい。品質測定規準に従って、ビット割り当て方式により実施される、レート制御機構を、符号化ビットと、圧縮により生じる品質歪とを、制御するために適用することができる。
【０１０４】
ここに述べられた、技術は、ハードウェア、ソフトウェア、ファームウェア、または、これらの組み合わせにより、実施されてもよい。ソフトウェアにより実施される場合には、本技術は、少なくともその一部において、コンピューターにより読み取り可能なメディア上の、１つ以上の記憶された、または、送信された、命令、または、コードにより実現されてもよい。コンピューターにより読み取り可能な媒体には、コンピューター記憶メディア、通信メディア、または、その両方を含んでいてもよいし、コンピューター・プログラムの、ある場所から他の場所への転送を容易にする、何らかのメディアを備えていてもよい。記憶メディアは、コンピューターによりアクセスできる、何らかの利用可能なメディアであればよい。
【０１０５】
例としてであり、限定するものではないが、このようなコンピューターにより読み出し可能なメディアには、必要なプログラム・コードを、コンピューターによりアクセス可能な、命令またはデータ構造の形で、移動し、記憶させるために使うことができる、データ記憶メディア、たとえば、同期型ダイナミック・ランダム・アクセス・メモリー（ＳＤＲＡＭ）等のようなＲＡＭ、読み取り専用メモリー（ＲＯＭ）、不揮発性ランダム・アクセス・メモリー（ＮＶＦＲＡＭ）、ＲＯＭ、電気的に消去と書き換えが可能なメモリー（ＥＥＰＲＯＭ）、ＥＥＰＲＯＭ，ＦＬＡＳＨメモリー、ＣＤ−ＲＯＭ、または、その他の光ディスク記憶装置、磁気ディスク記憶装置、または、その他の磁気記憶装置、または、その他のコンピューター可読な記憶メディアが含まれる。
【０１０６】
また、任意の接続は、適切に、コンピューター可読メディアと名付けられている。たとえば、同軸ケーブル、光ファイバーケーブル、ツイストペア、ディジタル加入者線（ＤＳＬ）、または、赤外線、無線およびマイクロ波のような無線技術を使用して、ソフトウェアがウェブサイト、サーバー、または、他の遠隔の供給源から送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または、赤外線、無線およびマイクロ波のような無線技術は、メディアの定義に含まれている。ＤｉｓｋとＤｉｓｃは、ここで使用されたように、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、ディジタル・バーサタイル・ディスク（ＤＶＤ）、フロッピー（登録商標）ディスクおよびブルーレイ・ディスクを含んでいる。Ｄｉｓｋは、普通の場合には、磁気的にデータを再生するが、Ｄｉｓｃは、データを、たとえば、レーザーを使って、光学的に再生する。上記の物の組み合わせも、コンピューター可読メディアの範囲に含めるべきである。
【０１０７】
コンピューター・プログラム製品の、コンピューター可読メディアに関わるコードは、たとえば、１つ以上の、ディジタル信号プロセッサ（ＤＳＰｓ）、汎用向けのマイクロプロセッサー、特定用途向け集積回路（ＡＳＩＣｓ）、フィールド・プログラマバブル・ロジック・アレイ（ＦＰＧＡｓ）、または、他の同等の集積、あるいは、個別ロジック回路等の、コンピューターにより実行されてもよい。いくつかの態様において、ここで説明された機能は、符号化と復号化とのために設定された専用ソフトウェア・モジュール、または、ハードウェア・モジュールにより提供されてもよいし、または、結合したビデオエンコーダー−デコーダー（ＣＯＤＥＣ）に組み入れられてもよい。
【０１０８】
開示された、ビデオ符号化技術の種々の態様について、説明がされた。これら、および、その他の態様は、以下の請求項の範囲に含まれている。
なお、以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］３Ｄビデオフレームに使用できる、符号化ビットの数を定義する、フレーム配分を得ると、
前記フレーム配分と、左と右の成分の間での重み付けとに基づいて、前記３Ｄビデオフレームの左と右の成分内のブロックに対して、ビット割り当ての値を生成すること、
を含む方法。
［Ｃ２］前記ビット割り当ての値はロー(ｒｈｏ)・ドメインの値を含み、
前記ロー・ドメインの値を、対応する量子化パラメーター（ＱＰ）値にマッピングすることと、
前記左と右の成分の前記ブロックの各々に、符号化ビットの数を割り当てることを、
さらに含む、Ｃ１の方法。
［Ｃ３］前記割り当てられた符号化ビットを用いて、前記左と右の成分の前記ブロックを符号化することを、さらに含む、Ｃ２の方法。
［Ｃ４］前記重み付けに基づいて、前記左と右の成分に対して、異なる量の前記符号化ビットを割り当てることを、さらに含む、Ｃ２の方法。
［Ｃ５］前記左と右の成分を視るために用いる表示装置の型式に基づいて、前記重み付けを調整することを、さらに含むＣ１の方法。
［Ｃ６］前記３Ｄビデオフレームが送信される出力デバイスから、前記表示装置の型式の指示を受け取ることを、さらに含むＣ５の方法。
［Ｃ７］前記重み付けは、前記左と右の成分における歪に対する、視る人の感度に基づいている、Ｃ１の方法。
［Ｃ８］３Ｄビデオフレームに使用できる、符号化ビットの数を定義する、フレーム配分を得るように、および、前記フレーム配分と、前記左と右の成分の間での重み付けとに基づいて、前記３Ｄビデオフレームの左と右の成分内のブロックに対して、ビット割り当て値を生成するように、構成されているビデオエンコーダーを備える装置。
［Ｃ９］前記ビット割り当ての値がロー・ドメインの値を備え、前記ビデオエンコーダーが、前記ロー・ドメインの値が、対応する量子化パラメーター（ＱＰ）値にマッピングされていて、前記マッピングを基にして、前記左と右の成分内の、前記ブロックの各々に、符号化ビットの数を割り当てる、Ｃ８の装置。
［Ｃ１０］前記ビデオエンコーダーが、前記割り当てられた符号化ビットを用いて、前記左と右の成分内の前記ブロックを符号化するように構成されている、Ｃ９の装置。
［Ｃ１１］前記ビデオエンコーダーが、前記重み付けに基づいて、前記左と右の成分に対して、異なる量の前記符号化ビットを割り当てるように構成されている、Ｃ９の装置。
［Ｃ１２］前記ビデオエンコーダーが、前記左と右の成分を視るために用いる、表示装置の型式に基づいて、前記重み付けを調整するように構成されている、Ｃ８の装置。
［Ｃ１３］ビデオエンコーダーは、前記３Ｄビデオフレームが送信される出力デバイスから、前記表示装置の型式の指示を受け取るように、構成されている、Ｃ１２の装置。
［Ｃ１４］前記重み付けは、前記左と右の成分における歪に対する、視る人の感度に基づいている、Ｃ８の装置。
［Ｃ１５］３Ｄビデオフレームに使用できる符号化ビットの数を定義するフレーム配分を受け取る手段と、
前記フレーム配分と、左と右の成分の間の重み付けに基づいて、前記３Ｄビデオフレームの左と右の成分内のブロックに対して、ビット割り当て値を生成する手段とを、
備える装置。
［Ｃ１６］前記ビット割り当て値が、ロー・ドメインの値を含み、前記方法、前記デバイスは、
前記ロー・ドメインの値を、対応する量子化パラメーター（ＱＰ）にマッピングする手段と、
前記マッピングに基づいて前記左と右の成分の前記ブロックの各々に、符号化ビットの数を割り当てる手段とを、
さらに備える、Ｃ１５の装置。
［Ｃ１７］前記割り当てられた符号化ビットを用いて、前記左と右の成分の前記ブロックを符号化する手段を、さらに備える、Ｃ１６の装置。
［Ｃ１８］前記重み付けに基づいて前記左と右の成分に対して、異なる量の前記符号化ビットを割り当てるための手段を、さらに備える、Ｃ１６の装置。
［Ｃ１９］前記左と右の成分を視るために用いる、表示装置の型式に基づいて、前記重み付けを調整する手段を、さらに備える、Ｃ１５の装置。
［Ｃ２０］前記３Ｄビデオフレームが送信される出力デバイスから、前記表示装置の型式の指示を受け取る手段をさらに備える、Ｃ１９の装置。
［Ｃ２１］前記重み付けは、前記左と右の成分における歪に対する、視る人の感度に基づいている、Ｃ１５の装置。
［Ｃ２２］３Ｄビデオフレームに使用できる、符号化ビットの数を定義する、フレーム配分を得るように、および、
前記フレーム配分と左と右の成分の間の重み付けとに基づいて、前記３Ｄビデオフレームの左と右の成分内のブロックに対して、前記ビット割り当て値を生成するように、
コンピューターを動作させるコードを含むコンピューター可読メディアを含むコンピューター・プログラム製品。
［Ｃ２３］前記ビット割り当て値が、ロー・ドメインの値を含み、前記コンピューター可読メディアは、前記ロー・ドメインの値を、対応する量子化パラメーター（ＱＰ）にマッピングを行うように、および、前記マッピングに基づいて、前記左と右の成分の前記ブロックの各々に、符号化ビットの数を割り当てるように、コンピューターを動作させるコードをさらに含む、Ｃ２２のコンピューター・プログラム製品。
［Ｃ２４］前記コンピューター可読メディアは、前記割り当てられた符号化ビットを用いて、前記左と右の成分の前記ブロックを符号化するように、コンピューターを動作させるコードをさらに含む、Ｃ２３のコンピューター・プログラム製品。
［Ｃ２５］前記コンピューター可読メディアは、前記左と右の成分を視るために用いる表示装置の型式に基づいて、前記重み付けを調整するように、コンピューターを動作させるコードをさらに含む、Ｃ２２のコンピューター・プログラム製品。
［Ｃ２６］前記コンピューター可読メディアは、前記３Ｄビデオフレームが送信される出力デバイスから、前記表示装置の型式の指示を受け取るように、前記コンピューターを動作させるコードをさらに含む、Ｃ２５のコンピューター・プログラム製品。
［Ｃ２７］前記重み付けは、前記左と右の成分における歪に対する、視る人の感度に基づいている、Ｃ２２のコンピューター・プログラム製品。
【図１】
0005474569.tif 000030
【図２】
0005474569.tif 000031
【図３Ａ】
0005474569.tif 000032
【図３Ｂ】
0005474569.tif 000033
【図４】
0005474569.tif 000034
【図５】
0005474569.tif 000035
【図６】
0005474569.tif 000036
【図７】
0005474569.tif 000037