(57)【要約】  符号化方法は、ピクチャデータと前記表示情報とを含むビデオストリームを得る。各ピクチャデータは、画面領域を分割して得られた分割領域のそれぞれに、左目用画像と、右目用画像とを格納しているL-R格納画像である。表示情報は2D表示情報と3D表示情報とがあり、前記3D表示情報におけるクロッピング情報は、3D表示に用いる画面領域をクロッピング領域として指定しており、前記2D表示情報におけるクロッピング情報は、左目用画像及び右目用画像のうち2D表示に用いるものが格納されている領域をクロッピング領域として指定している。
2012017643.tif 000002
【特許請求の範囲】
【請求項１】
符号化方法であって、
画面領域を分割して得られた分割領域のそれぞれに左目用画像と右目用画像とを格納しているピクチャデータのうち、第１の画面領域をクロッピング領域として指定したクロッピング情報を含む第１の表示情報と、第２の画面領域をクロッピング領域として指定したクロッピング情報を含む第２の表示情報を生成する生成ステップと、
原画像を符号化して、複数の前記ピクチャデータと前記第１の表示情報及び前記第２の表示情報とを含むビデオストリームを得る符号化ステップと
を含むことを特徴とする符号化方法。
【請求項２】
前記第１の画面領域は、前記左目用画像又は前記右目用画像のいずれか一方に対応する画面領域の一部又は全部であり、
前記第２の画面領域は、前記左目用画像に対応する画面領域の一部又は全部と、前記右目用画像に対応する画面領域の一部又は全部であり、
前記第１の表示情報におけるクロッピング情報を用いて、2D表示に用いる画面領域を指定しており、
前記第２の表示情報におけるクロッピング情報を用いて、3D表示に用いる画面領域を指定している
ことを特徴とする請求項１記載の符号化方法。
【請求項３】
前記第１の画面領域は、前記左目用画像に対応する画面領域の一部又は全部であり、
前記第２の画面領域は、前記右目用画像に対応する画面領域の一部又は全部であり、
前記第１の表示情報におけるクロッピング情報と、前記第２の表示情報におけるクロッピング情報の両方を用いて、3D表示に用いる画面領域を指定しており、
前記第１の表示情報におけるクロッピング情報と、前記第２の表示情報におけるクロッピング情報のいずれか一方を用いて、2D表示に用いる画面領域を指定している
ことを特徴とする請求項１記載の符号化方法。
【請求項４】
前記ピクチャデータは、画面領域を上下に分割することで得られた分割領域のそれぞれに、左目用画像と、右目用画像とを格納していることを特徴とする請求項３記載の符号化方法。
【請求項５】
前記第１の表示情報と前記第２の表示情報は、クロッピング情報で指定しているクロッピング領域に、スケーリングを施すためのスケーリング情報をさらに含むことを特徴とする請求項１記載の符号化方法。
【請求項６】
前記符号化ステップは、
複数の前記ピクチャデータのうち、ビデオシーケンス先頭にあたるピクチャデータを構成する符号化スライスに、シーケンスヘッダ及び補足データを付加することでピクチャデータをアクセスユニットに変換するサブステップと、
複数の前記ピクチャデータのうち、ビデオシーケンス先頭以外にあたるピクチャデータを構成する符号化スライスに、補足データを付加することでピクチャデータをアクセスユニットに変換するサブステップとを含み、
前記第１の表示情報と前記第２の表示情報のいずれか一方はシーケンスヘッダに格納され、他方は補足データに格納されることを特徴とする請求項１記載の符号化方法。
【請求項７】
前記符号化ステップは、
前記ピクチャデータを構成する符号化スライスと、前記符号化スライスを復号するために必要な属性情報を、ネットワーク抽象レイヤユニットに変換して、アクセスユニットを生成するサブステップを含み、
上記変換にあたって、前記アクセスユニットに、前記第１の表示情報と前記第２の表示情報のいずれか一方を格納したネットワーク抽象レイヤユニットを追加することを特徴とする請求項１記載の符号化方法。
【請求項８】
前記符号化ステップは、
複数の前記ピクチャデータのうち、ビデオシーケンス先頭にあたるピクチャデータを構成する符号化スライスに、シーケンスヘッダ及び補足データを付加することでピクチャデータをアクセスユニットに変換するサブステップを含み、
前記シーケンスヘッダには、前記第１の表示情報と前記第２の表示情報が格納されていることを特徴とする請求項１記載の符号化方法。
【請求項９】
前記符号化方法は、
ビデオストリームを含む２以上のエレメンタリストリームの多重化を行い、トランスポートストリームを得る多重化ステップをさらに含み、
前記多重化ステップでは、
複数の前記ピクチャデータを含むビデオストリームと、ビデオストリームについてのストリーム管理情報をトランスポートストリームパケット列に変換して他のエレメンタリストリームと多重化する処理を行い、
前記第１の表示情報と前記第２の表示情報の何れか一方は、前記ビデオストリームについてのストリーム管理情報に配置されることを特徴とする請求項１記載の符号化方法。
【請求項１０】
前記ビデオストリームについてのストリーム管理情報とは、デジタル放送システムにおけるプログラム管理テーブルPMT、イベント情報テーブルEIT、サービス情報テーブルSITの何れかであることを特徴とする請求項９記載の符号化方法。
【請求項１１】
前記符号化ステップは、
前記ピクチャデータを構成する符号化スライスに、補足データを付加することで前記ピクチャデータをアクセスユニットに変換するサブステップを含み、
前記符号化ステップにおけるサブステップでは、3D表示情報を前記補足データに格納するか否かを決定し、補足データに3D表示情報を格納しないと決定した場合、前記多重化ステップでは、前記ビデオストリームについてのストリーム管理情報に3D表示情報を格納することを特徴とする請求項９記載の符号化方法。
【請求項１２】
ビデオストリームを入力して表示処理を行う表示装置であって、
前記ビデオストリームは、複数のピクチャデータと、表示情報とを含み、
各前記ピクチャデータは、画面領域を分割して得られた分割領域のそれぞれに、左目用画像と、右目用画像とを格納しており、
前記表示情報は、ピクチャデータのうち表示に用いるクロッピング領域を指定するクロッピング情報と前記クロッピング領域にスケーリングを施すためのスケーリング情報とをそれぞれ含む2D表示情報と3D表示情報があり、
前記3D表示情報におけるクロッピング情報は、
3D表示に用いる画面領域を、クロッピング領域として指定しており、
前記2D表示情報におけるクロッピング情報は、
左目用画像及び右目用画像のうち2D表示に用いる画面領域を、クロッピング領域として指定しており、
前記表示装置は、
一次フレームバッファ部と、
二次フレームバッファ部と、
圧縮ピクチャデータを復号化して非圧縮のピクチャデータを一次フレームバッファ部に書き込む復号化部と、
一次フレームバッファ部に格納されている非圧縮のピクチャデータに対して、前記表示情報に従った表示処理を施し、処理結果を二次フレームバッファに書き込む表示処理部とを備え、
前記表示処理部は、
前記2D表示情報内のクロッピング情報に従い、一次フレームバッファ部に格納されているピクチャデータのうち、クロッピング領域として指定されている部分を読み出して、前記2D表示情報内のスケーリング情報に従いスケーリング変換を施した上で二次フレームバッファ部に書き込むことを特徴とする表示装置。
【請求項１３】
ビデオストリームを入力して表示処理を行う表示装置であって、
前記ビデオストリームは、複数のピクチャデータと、表示情報とを含み、
各前記ピクチャデータは、画面領域を分割して得られた分割領域のそれぞれに、左目用画像と、右目用画像とを格納しており、
前記表示情報は、ピクチャデータのうち表示に用いるクロッピング領域を指定するクロッピング情報と前記クロッピング領域にスケーリングを施すためのスケーリング情報とをそれぞれ含む2D表示情報と3D表示情報があり、
前記3D表示情報におけるクロッピング情報は、
3D表示に用いる画面領域を、クロッピング領域として指定しており、
前記2D表示情報におけるクロッピング情報は、
左目用画像及び右目用画像のうち2D表示に用いる画面領域を、クロッピング領域として指定しており、
前記表示装置は、
一次フレームバッファ部と、
二次フレームバッファ部と、
圧縮ピクチャデータを復号化して非圧縮のピクチャデータを一次フレームバッファ部に書き込む復号化部と、
一次フレームバッファ部に格納されている非圧縮のピクチャデータに対して、前記表示情報に従った表示処理を施し、処理結果を二次フレームバッファに書き込む表示処理部と、
2D再生モードと、3D再生モードとがある表示モードのうちカレントの表示モードを記憶するモード記憶部と、
二次フレームバッファ部に格納されているピクチャデータに3D変換処理を行う3D変換処理部と、
左目用画像を書き込む左目用フレームバッファ部と、
右目用画像を書き込む右目用フレームバッファ部とを備え、
前記表示処理部は、
カレントの表示モードが3D再生モードである場合、2D表示情報よりも優先して3D表示情報を参照し、
前記3D表示情報内のクロッピング情報に従い、一次フレームバッファ部に格納されているピクチャデータのうち、クロッピング領域として指定されている部分を読み出して、前記3D表示情報内のスケーリング情報に従いスケーリング変換を施した上で二次フレームバッファ部に書き込むことを特徴とする表示装置。
【請求項１４】
ビデオストリームを復号化して、表示処理を行う復号方法であって、
前記ビデオストリームは、複数のピクチャデータと、表示情報とを含み、
各前記ピクチャデータは、画面領域を分割して得られた分割領域のそれぞれに、左目用画像と、右目用画像とを格納しており、
前記表示情報は、ピクチャデータのうち表示に用いるクロッピング領域を指定するクロッピング情報と前記クロッピング領域にスケーリングを施すためのスケーリング情報とをそれぞれ含む2D表示情報と3D表示情報があり、
前記3D表示情報におけるクロッピング情報は、
3D表示に用いる画面領域を、クロッピング領域として指定しており、
前記2D表示情報におけるクロッピング情報は、
左目用画像及び右目用画像のうち2D表示に用いる画面領域を、クロッピング領域として指定しており、
前記復号方法は、
圧縮ピクチャデータを復号化して非圧縮のピクチャデータを一次フレームバッファ部に書き込む復号化ステップと、
一次フレームバッファ部に格納されている非圧縮のピクチャデータに対して、前記表示情報に従った表示処理を施し、処理結果を二次フレームバッファ部に書き込む表示処理ステップとを含み、
前記表示処理ステップでは、
前記2D表示情報内のクロッピング情報に従い、一次フレームバッファ部に格納されているピクチャデータのうち、クロッピング領域として指定されている部分を読み出して、前記2D表示情報内のスケーリング情報に従いスケーリング変換を施した上で二次フレームバッファ部に書き込むことを特徴とする復号方法。
【請求項１５】
ビデオストリームを復号化して、表示処理を行う復号方法であって、
前記ビデオストリームは、複数のピクチャデータと、表示情報とを含み、
各前記ピクチャデータは、画面領域を分割して得られた分割領域のそれぞれに、左目用画像と、右目用画像とを格納しており、
前記表示情報は、ピクチャデータのうち表示に用いるクロッピング領域を指定するクロッピング情報と前記クロッピング領域にスケーリングを施すためのスケーリング情報とをそれぞれ含む2D表示情報と3D表示情報とがあり、
前記3D表示情報におけるクロッピング情報は、
3D表示に用いる画面領域を、クロッピング領域として指定しており、
前記2D表示情報におけるクロッピング情報は、
左目用画像及び右目用画像のうち2D表示に用いる画面領域を、クロッピング領域として指定しており、
前記復号方法は、
圧縮ピクチャデータを復号化して非圧縮のピクチャデータを一次フレームバッファ部に書き込む復号化ステップと、
モード記憶部に記憶され、2D再生モードと3D再生モードとがある表示モードを読み出すステップと、
一次フレームバッファ部に格納されている非圧縮のピクチャデータに対して、前記表示情報に従った表示処理を施し、処理結果を二次フレームバッファ部に書き込む表示処理ステップと、  
二次フレームバッファ部に格納されているピクチャデータに3D変換処理を行い、左目用画像を左目用フレームバッファ部に書き込み、右目用画像を右目用フレームバッファ部に書き込む3D変換処理ステップとを含み、
前記表示処理ステップでは、
カレントの表示モードが3D再生モードである場合、2D表示情報よりも優先して3D表示情報を参照し、
前記3D表示情報内のクロッピング情報に従い、一次フレームバッファ部に格納されているピクチャデータのうち、クロッピング領域として指定されている部分を読み出して、前記3D表示情報内のスケーリング情報に従いスケーリング変換を施した上で二次フレームバッファ部に書き込むことを特徴とする復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像を記録あるいは伝送し表示するための、符号化方法、表示装置、及び復号方法に関する。
【背景技術】
【０００２】
近年、映画館等において、3D映像を楽しむ機会が増えていることに伴い、デジタルテレビ等においても3D映像の番組の放送が求められてきている。【０００３】
ここで、立体視映像を再生、表示するための技術を開示している文献として、特許文献１が挙げられる。特許文献１には、Side-by-Side方式（並列方式）により格納された3D映像の立体視再生を行う表示装置が開示されている。Side-by-Side方式とは、ビデオストリームを構成する個々のフレームのピクチャデータを右半分の領域と、左半分の領域とに分割して、右半分の領域と左半分の領域のそれぞれに、立体視に必要な右目用画像と左目用画像とを格納して伝送する方式である。このように、画面全体に左目用画像と右目用画像を同時に保存した格納画像のことをL-R格納画像と呼ぶ。従来の3D表示装置を用いて上述のSide-by-Side方式の3D映像を表示する場合には、一般的には、まず3D表示装置が、入力されてくるビデオストリームに対してSide-by-Side方式の3D映像であるか否かの判定を行う。次に、Side-by-Side方式の3D映像であると判定すると、3D表示装置は、その3D映像の中に含まれているL-R格納画像に対して、右目用画像と左目用画像の復号化を行って3D映像を表示する。【０００４】
このように、従来の3D表示装置は、Side-by-Side方式によるL-R格納画像が格納されている場合にのみ、3D映像を正しく再生し、表示することができる。これによって、以下の技術課題をもたらすことがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】日本特許第３７８９７９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
図１は、Side-by-Side方式の映像を配信する際の技術課題を説明する図である。【０００７】
まず、図１の左下部に示すように、Side-by-Side方式に対応した従来の3D表示装置は、左目用画像、右目用画像のそれぞれを表示デバイス（表示画面）のサイズに拡大して、時分割などの方法を用いて3D表示を行う。【０００８】
しかし、従来の2D表示装置がSide-by-Side方式のビデオストリームを再生する場合、2D表示装置は、左目用画像と右目用画像が左右に並んだピクチャデータを、一枚の画像としてそのまま表示する。従って、図１の右下部に示すように、2D表示装置の画面には、左目用画像と、右目用画像とが横方向に並んだ画像がそのまま表示されることになる。このため、視聴者は表示画面上に左右に並ぶ２枚の相似する2D映像を見ることになる。この場合、視聴者はSide-by-Side方式のビデオストリームを、本来の表示画面の大きさの2D映像として楽しむこともできない。【０００９】
これを避けるために、デジタルテレビの放送として、Side-by-Side方式の3D映像とは別に、重複して同じ内容の2D映像を用意することが考えられる。【００１０】
しかし、2D表示装置に、普通の2D映像と、Side-by-Side方式の3D映像とが同時に伝送された場合、2D表示装置は、3D映像の再生ができないにも拘らず、3D映像を受信することができる。そうすると、視聴者は、チャネルザッピングで普通の2D映像を選別する必要がある。チャネルザッピングで3D映像をたまたま選んだ場合に、2D表示装置は、やはり上述のように左目用画像と右目用画像が横方向に並んで表示されるという現象を回避することはできない。加えて、同一の番組に対して、重複した内容の2D映像と3D映像との二種のデータストリームを同時に伝送する必要があり、多くの通信帯域を費やすことになるので、伝送負担を増加すると共に、複数回のザッピングが必要であり、2D表示装置の操作性を低下することになる。【００１１】
さらに、従来技術では、2D表示装置が右目用画像と左目用画像が横方向に並んだ画像をそのまま再生してしまうため、3D映像を放送したり、配信したりする事業者は、従来の2D表示装置を使用する視聴者から、2D画像ではなく、左目用画像と右目用画像が横方向に並んだ画像が表示されるとの苦情を受けることになる。【００１２】
また今後の新製品開発において、新しい2D表示装置がL-R格納画像をそのまま表示しないよう、製品仕様に改良を施すことは可能であるが、商品市場で既に発売され、各世帯に設置されている既存の2D表示装置の製品仕様は変わらないため課題が残る。【００１３】
また、3D映像の表示を行う場合に、従来の3D表示装置は、ピクチャデータの右半分の分割領域には右目用画像が、左半分の分割領域には左目用画像が格納されているという前提で、左目用画像、右目用画像の切り出しを行う。しかし、ピクチャデータを構成する画像のレイアウトが異なる場合、3D映像を表示画面に正常に表示することはできない。例えば、ビデオストリームの作り手側が、TopAndBottom方式を、左目用画像、右目用画像の格納に採用した場合、伝送されているピクチャデータを構成する画像のレイアウトは、左目用画像と右目用画像を一つの画面の上下に並んで格納する。この場合、Side-by-Side方式に対応した従来の3D表示装置は、3D映像を正しく表示することができない。【００１４】
従って、本発明の目的は、従来の2D表示装置、新しい2D表示装置、従来の2D表示装置、新しい3D表示装置のいずれにおいても、その表示内容を正しいものにすることができる符号化方法、表示装置及び復号方法を提供することである。
【課題を解決するための手段】
【００１５】
本発明に係る符号化方法は、画面領域を分割して得られた分割領域のそれぞれに左目用画像と右目用画像とを格納しているピクチャデータのうち、第１の画面領域をクロッピング領域として指定したクロッピング情報を含む第１の表示情報と、第２の画面領域をクロッピング領域として指定したクロッピング情報を含む第２の表示情報を生成するステップと、原画像を符号化して、複数の前記ピクチャデータと前記第１の表示情報及び前記第２の表示情報とを含むビデオストリームを得る符号化ステップとを含むことを特徴とする。【００１６】
また、本発明に係る表示装置又は復号方法は、ビデオストリームを入力して表示処理を行うものであり、前記ビデオストリームは、複数のピクチャデータと、表示情報とを含み、各前記ピクチャデータは、画面領域を分割して得られた分割領域のそれぞれに、左目用画像と、右目用画像とを格納しており、前記表示情報は、ピクチャデータのうち表示に用いるクロッピング領域を指定するクロッピング情報と前記クロッピング領域にスケーリングを施すためのスケーリング情報とをそれぞれ含む2D表示情報と3D表示情報があり、前記3D表示情報におけるクロッピング情報は、3D表示に用いる画面領域を、クロッピング領域として指定しており、前記2D表示情報におけるクロッピング情報は、左目用画像及び右目用画像のうち2D表示に用いる画面領域を、クロッピング領域として指定しており、一次フレームバッファ部と、二次フレームバッファ部と、圧縮ピクチャデータを復号化して非圧縮のピクチャデータを一次フレームバッファ部に書き込み、一次フレームバッファ部に格納されている非圧縮のピクチャデータに対して、前記表示情報に従った表示処理を施し、処理結果を二次フレームバッファ部に書き込み、前記2D表示情報内のクロッピング情報に従い、一次フレームバッファ部に格納されているピクチャデータのうち、クロッピング領域として指定されている部分を読み出して、前記2D表示情報内のスケーリング情報に従いスケーリング変換を施した上で二次フレームバッファ部に書き込むことを特徴とする。【００１７】
また、本発明に係る他の表示装置又は復号方法は、ビデオストリームを入力して表示処理を行うものであり、前記ビデオストリームは、複数のピクチャデータと、表示情報とを含み、各前記ピクチャデータは、画面領域を分割して得られた分割領域のそれぞれに、左目用画像と、右目用画像とを格納しており、前記表示情報は、ピクチャデータのうち表示に用いるクロッピング領域を指定するクロッピング情報と前記クロッピング領域にスケーリングを施すためのスケーリング情報とをそれぞれ含む2D表示情報と3D表示情報があり、前記3D表示情報におけるクロッピング情報は、3D表示に用いる画面領域を、クロッピング領域として指定しており、前記2D表示情報におけるクロッピング情報は、左目用画像及び右目用画像のうち2D表示に用いる画面領域を、クロッピング領域として指定しており、一次フレームバッファ部と、二次フレームバッファ部と、圧縮ピクチャデータを復号化して非圧縮のピクチャデータを一次フレームバッファ部に書き込み、一次フレームバッファ部に格納されている非圧縮のピクチャデータに対して、前記表示情報に従った表示処理を施し、処理結果を二次フレームバッファに書き込み、2D再生モードと、3D再生モードとがある表示モードのうちカレントの表示モードを記憶し、二次フレームバッファ部に格納されているピクチャデータに3D変換処理を行い、カレントの表示モードが3D再生モードである場合、2D表示情報よりも優先して3D表示情報を参照し、前記3D表示情報内のクロッピング情報に従い、一次フレームバッファ部に格納されているピクチャデータのうち、クロッピング領域として指定されている部分を読み出して、前記3D表示情報内のスケーリング情報に従いスケーリング変換を施した上で二次フレームバッファ部に書き込むことを特徴とする。
【発明の効果】
【００１８】
本発明に係る符号化方法によれば、2D表示装置に2D映像が、3D表示装置に3D映像が正しく表示可能である。その意味で互換性の高い3Dビデオストリームを提供することができる。【００１９】
ここで、本発明の一実施形態に係る2D表示情報は、右目用画像、左目用画像のうち何れかをクロッピング領域として指定したクロッピング情報の設定が従来の2D表示情報と異なる点が新しいが、クロッピング又はスケーリング変換を指示するためのフォーマットについては従来の2D表示情報のフォーマットを援用することができる。このため、2D表示情報を含む3Dビデオストリームが従来の2D表示装置に供給された場合、従来の2D表示装置が既存のハードウェアによって新たな2D表示情報におけるクロッピング情報又はスケーリング情報に基づき、クロッピング、又はスケーリングを行うことができる。こうすることで、従来の2D表示装置に3Dビデオストリームを伝送する場合にも、正しい内容を表示することができる。従って、作成したビデオストリームの互換性を向上することができる。また、従来の2D表示装置のハードウェアを利用して表示内容が正しいものになるので、実用的価値は大きい。【００２０】
また、本発明の一実施形態に係る3D表示情報は、クロッピング情報又はスケーリング情報を含んでいるため、表示装置は、3D表示情報に基づき正しい右目用画像領域及び左目用画像領域を容易に見つけることができ、同一のピクチャデータに格納されている、右目用画像、左目用画像のそれぞれを正しく切り出して立体視再生に供することができる。従って、右目用画像、左目用画像がピクチャデータに横方向又は縦方向に並んで格納されていたとしても、又はピクチャデータに対する右目用画像と左目用画像の割合の大きさが異なっていたとしても、ビデオストリームにおける3D表示情報を抽出することにより伝送方式に関係なく、ピクチャデータに格納されている右目用画像及び左目用画像を正しく切り出すことができ、安定した立体視再生を実現することができる。また、3D映像を製作する者は、従来の技術に比べ、右目用画像、左目用画像の格納又は伝送の仕方や、ピクチャデータに対する右目用画像と左目用画像の割合を従来よりも自由に設定することができる。
【図面の簡単な説明】
【００２１】
【図１】Side-by-Side方式の映像を配信する場合の技術課題を説明する図である。
【図２】3Dデジタル方式と2Dデジタル方式の利用形態を示す図である
【図３】MPEG-2トランスポートストリーム形式のデジタルストリームの構成を示す図である。
【図４】PMTのデータ構造を詳しく説明する図である。
【図５】ビデオストリームのGOP構造、ビデオアクセスユニットの内部構成を示す。
【図６】個々のピクチャデータがPESパケットに変換される過程を示す図である。
【図７】トランスポートストリームを構成するTSバケットのデータ構造を示している。
【図８】2D表示情報、3D表示情報がどのように格納されるかという格納内容の具体例を示す。
【図９】サイドバイサイド方式、トップアンドボトム方式におけるL-R格納画像がどのように表示に供されるかという表示の過程を示す。
【図１０】眼鏡を介して、3D区間における左目用画像、右目用画像を視聴することでユーザによって認知される立体視画像を示す。
【図１１】MPEG-4 AVCビデオデコーダのデコーダモデルを示す。
【図１２】クロッピング情報によるクロッピング領域の指定の仕方を示す。
【図１３】フレームの変化を具体的に示す図である。
【図１４】左目用画像を左側に配置し、サイドバイサイド方式における4つのレイアウトパターンを示す。
【図１５】トップアンドボトム方式における2つのレイアウトパターンを示す図である。
【図１６】余白領域が追加されたトップアンドボトム方式のピクチャデータと、スライスデータとの関係を示す図である。
【図１７】タイプ識別子が想定している、2D表示用の領域の4つの類型(type1〜4)を示す。
【図１８】トランスポートストリームの放送を行う放送局の内部構成を示す。
【図１９】実施形態１に係る符号化方法の処理手順を示すフローチャートである。
【図２０】実施形態１に係る符号化方法の処理手順の他の例を示すフローチャートである。
【図２１】実施形態１に係るL-R格納画像と表示情報の生成を説明するフローチャートである。
【図２２】L-R格納画像の符号化処理を説明するフローチャートである。
【００２２】
【図２３】実施形態１に係る多重化処理を説明するフローチャートである。
【図２４】2D表示装置の内部構造を示す図である。
【図２５】2Dデジタルテレビ３００の内部構成を示す図である。
【図２６】3D表示装置の内部構造を示す図である。
【図２７】3Dデジタルテレビ１００を説明する図である。
【図２８】実施形態２に係る復号化方法の処理手順を示すフローチャートである。
【図２９】実施形態２に係る3Dモード表示処理を詳しく説明するフローチャートである。
【図３０】実施形態３に係る3D表示情報の指定を示す図である。
【図３１】実施形態３に係るL-R格納画像及び表示情報の生成の詳細を示すフローチャートである。
【図３２】実施形態３に係るL-R格納画像のエンコード手順を示すフローチャートである。
【図３３】実施形態３に係るL-R格納画像(i)を構成するスライスデータのエンコード手順を示すフローチャートである。
【図３４】実施形態３に係る復号方法の処理手順を示すフローチャートである。
【図３５】実施形態３に係る3Dモード表示処理の処理手順を示すフローチャートである。
【図３６】実施形態４に係る3D表示情報の指定を示す図である。
【図３７】ハーフHD２面のビデオストリームと、ハーフHD２面の拡張ストリームとから、フルHDの左目用画像、右目用画像を得る過程を示す。
【図３８】左目用画像（A）をべース映像として、右目用画像（B）、左目差分映像（C）、右目差分映像（D）がMPEG-4 AVCのようなビュー間参照を使って圧縮を行う過程を示す。
【図３９】2D映像とデプスマップから左目用画像と右目用画像の視差画像を生成する例を模式的に示す。
【図４０】2D表示情報、3D表示情報をデプスマップに適用する場合の適用例を説明する図である。
【図４１】左目用画像と右目用画像を別々のビデオストリームとして、１本のトランスポートストリームに格納するようにする形態である。
【図４２】マルチビュー符号化方式による立体視のための左目ビデオストリーム、右目ビデオストリームの内部構成の一例を示す図である。
【発明を実施するための形態】
【００２３】
上記課題解決手段を具備した符号化方法は、オーサリングコンピュータシステムにおいて、コンピュータプログラムの処理手順として組み込むことにより実施することができる。上記課題解決手段を具備した表示装置は、デジタルテレビ等の工業製品として実施することができる。上記課題解決手段を具備した復号化方法は、上記デジタルテレビにおいて、コンピュータプログラムの処理手順として組み込むことにより実施することができる。
【００２４】
以下、上記符号化方法の発明、表示装置の発明、復号化方法の発明の実施形態について説明する。先ず始めに、一般消費者にとって身近な存在である、表示装置の使用形態について説明する。表示装置の実施品であるデジタルテレビには、図２に示すように3D映像が視聴可能な3Dデジタルテレビ１００と、3D映像の再生をサポートしなく2D映像のみを再生できる2Dデジタルテレビ３００がある。
【００２５】
図２（a）は、3Dデジタルテレビの使用形態を示す図である。図２（a）に示すように、ユーザは、デジタルテレビ１００と3D眼鏡２００とを用いて3D映像を見る。
【００２６】
3Dデジタルテレビ１００は、2D映像及び3D映像を表示することができるものであり、受信した放送波に含まれるストリームを再生することで映像を表示する。
【００２７】
3Dデジタルテレビ１００は、3D眼鏡２００をユーザが着用することで立体視を実現するものである。3D眼鏡２００は、液晶シャッターを備え、継時分離方式による視差画像をユーザに視聴させる。視差画像とは、右目に入る映像と、左目に入る映像とから構成される一組の映像であり、それぞれの目に対応したピクチャだけがユーザの目に入るようにして立体視を行わせる。図２（b）は、左目用画像の視聴時のシャッターの形態を示す。画面上に左目用画像が表示されている瞬間において、前述の3D眼鏡２００は、左目に対応する液晶シャッターを透光にし、右目に対応する液晶シャッターを遮光にする。図２（c）は、右目用画像の視聴時のシャッターの形態を示す。画面上に右目用画像が表示されている瞬間において、先ほどと逆に右目に対応する液晶シャッターを透光にし、左目に対応する液晶シャッターを遮光にする。2Dデジタルテレビ３００は、図２（d）に示すように、3Dデジタルテレビ１００と異なり、立体視を実現できない。2Dデジタルテレビ３００は、2D映像のみを表示することができるものであり、受信した放送波に含まれるストリームを2D映像としてのみ再生できる。
【００２８】
以上が、表示装置の使用形態についての説明である。
【００２９】
（実施の形態１）
実施の形態１として、上記表示装置の存在を前提とした、符号化方法の具体的な形態について説明する。当該符号化方法は、原画像となる左目用画像、右目用画像からビデオストリーム、トランスポートストリームを生成するものであり、その具体的手順は、ビデオストリーム、トランスポートストリームの構造に依拠するところが大きい。符号化方式の説明に先立ち、トランスポートストリームの基本的構造についての説明を行う。
【００３０】
デジタルテレビの放送波等での伝送では、一般的にMPEG-2トランスポートストリーム（Transport  Stream：TS）形式のデジタルストリームが使われている。MPEG-2トランスポートストリームとは、ビデオやオーディオなど様々なストリームを多重化して伝送するための規格である。ISO/IEC１３８１８-１およびITU-T勧告H２２２.０において標準化されている。
【００３１】
図３は、MPEG-2トランスポートストリーム形式のデジタルストリームの構成を示す図である。本図に示すようにトランスポートストリームは、ビデオストリーム、オーディオストリーム、字幕ストリームなどを多重化することで得られる。ビデオストリームは番組の主映像を、オーディオストリームは番組の主音声部分や副音声を、字幕ストリームは番組の字幕情報を格納している。ビデオストリームは、MPEG-2、MPEG-4 AVCなどの方式を使って符号化される。オーディオストリームは、ドルビーAC-３、MPEG-2  AAC、MPEG-４  AAC、HE-AACなどの方式で圧縮・符号化されている。
【００３２】
図中の５０１、５０２、５０３は、ビデオストリームの変換の過程を示す。ピクチャデータ列５０１は、PESパケット列５０２に変換され、その上で、TSパケット列５０３に変換される。
【００３３】
図中の５０４、５０５、５０６は、オーディオストリームの変換の過程を示す。オーディオ信号５０４は、量子化・サンプリングを経てオーディオフレーム列に変換される。オーディオフレームはPESパケット列５０５に変換され、その上でTSパケット列５０６に変換される。
【００３４】
図中の５０８、５０９は、字幕ストリームの変換の過程を示す。字幕ストリームは、Page Composition Segment(PCS)、Region Composition Segment(RCS)、Pallet Define Segment(PDS)、Object Define Segmentt(ODS)といった複数種別の機能セグメント列５０８に変換され、その上でTSパケット列５０９に変換される。
【００３５】
図中の６０１、６０２、６０３は、ストリーム管理情報の変換の過程を示す。ストリーム管理情報は、PSI(Program Specificvation Information)と呼ばれるシステムパケットに格納され、トランスポートストリームに多重化されているビデオストリーム、オーディオストリーム、字幕ストリームを1つの放送番組として管理する情報のことである。ストリーム管理情報には、PAT（Program  Association  Table）、PMT（Program  Map  Table）、イベント情報テーブルEIT（Event  Information  Table）及びサービス情報テーブルSIT（Service  Information  Table）といった種別がある。その中、PATはトランスポートストリーム中に利用されるPMTのPIDが何であるかを示し、PAT自身のPID配列で登録される。PMTは、トランスポートストリーム中に含まれる映像・音声・字幕などの各ストリームのPIDと各PIDに対応するストリームの属性情報を持ち、またトランスポートストリームに関する各種ディスクリプタを持つ。ディスクリプタにはAVストリームのコピーを許可・不許可を指示するコピーコントロール情報などがある。SITは、MPEG-2 TS標準でユーザが定義可能な領域を用いて各放送波の標準に従って定義した情報である。EITは、番組の名称や放送日時、放送内容など番組に関連する情報を持つ。上述の情報の具体的なフォーマットについては、http:www.arib.or.jp/english/html/overview/doc/4-TR-B14v4_4-2p3.pdfに格納したARIB（Association  of  Radio  Industries  and  Businesses）に公開した資料を参照されたい。
【００３６】
図４はPMTのデータ構造を詳しく説明する図である。PMTの先頭には、そのPMTに含まれるデータの長さなどを記した「PMTへッダ」が配置される。その後ろには、トランスポートストリームに関する「ディスクリプタ#1〜#N」が複数配置される。一般的には、前述したコピーコントロール情報などの情報が、ディスクリプタとして記載される。ディスクリプタの後には、トランスポートストリームに含まれる各ストリームに関する「ストリーム情報#1〜#N」が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためのストリームタイプ、ストリームのPID、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。
【００３７】
以上がトランスポートストリームと、そのストリーム管理情報についての説明である。続いて、ビデオストリームの詳細について説明する。
【００３８】
実施の形態１の符号化方式で生成されるビデオストリームは、MPEG-2、MPEG-4 AVC、SMPTE  VC-１などの動画圧縮符号化方式による圧縮符号化がなされている。これらの圧縮符号化方式においては、動画像の空間方向および時間方向の冗長性を利用してデータ量の圧縮を行う。時間方向の冗長性を利用する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対象のピクチャとの差分値に対して空間方向の冗長度を取り除くことによりデータ量の圧縮を行う。
【００３９】
上述したような各符号化方式のビデオストリームは、図５（a）に示すようなGOP構造を有する点で共通している。ビデオストリームは、複数のGOP（Group  of  Pictures）から構成されており、GOPを符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能となっている。GOPは１つ以上のビデオアクセスユニットにより構成されている。図５（a）は、GOPの一例である。
【００４０】
図５（a）に示すように、GOPは、Iピクチャ、Pピクチャ、Bピクチャ、Brピクチャといった複数種別のピクチャデータから構成される。
【００４１】
GOP構造における個々のピクチャデータのうち、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをIrtra(I)ピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位である。また、既に処理済の１枚のピクチャを参照してピクチャ間予測符号化するピクチャをPピクチャと呼び、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをBピクチャと呼び、Bピクチャの中で他のピクチャから参照されるピクチャをBrピクチャと呼ぶ。また、フレーム構造の場合のフレーム、フィールド構造の場合のフィールドを、ここでは"ビデオアクセスユニット"と呼ぶ。
【００４２】
ビデオアクセスユニットは、ピクチャの符号化データを格納する単位であり、フレーム構造の場合は１フレーム、フィールド構造の場合は１フィールドのデータが格納される。GOPの先頭は、Iピクチャとなる。MPEG-4 AVC、MPEG-2の双方について説明を行うとすると説明が冗長になるので、以降の説明では、特に断らない限り、ビデオストリームの圧縮符号化形式はMPEG-4 AVCであるとの前提で説明を進める。
【００４３】
図５（b）は、GOPの先頭に位置するIピクチャデータに該当するビデオアクセスユニットの内部構成を示す。GOP先頭にあたるビデオアクセスユニットは、複数のネットワーク抽象化レイヤ(NAL)ユニットから構成される。GOPの先頭にあたるビデオアクセスユニットは、AU識別コード、シーケンスへッダ、ピクチャへッダ、補足データ、圧縮ピクチャデータ、パディングデータといったNALユニットで構成される。
【００４４】
「AU識別コード」はビデオアクセスユニットの先頭を示す開始符号である。「シーケンスへッダ」は、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納している。共通の情報としては、解像度、フレームレート、アスペクト比、ビットレートなどがある。「ピクチャへッダ」はピクチャ全体の符号化の方式などの情報を格納している。「補足データ」は圧縮データの復号化に必須ではない付加データであり、例えば、映像と同期してTVに表示するクローズドキャプションの文字情報やGOP構造情報などを格納している。「パディングデータ」は、形式を整えるための意味のないデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。
【００４５】
AU識別コード、シーケンスへッダ、ピクチャへッダ、補足データ、圧縮ピクチャデータ、パディングデータの中身の構成は、ビデオの符号化方式によって異なる。
【００４６】
例えば、MPEG-4 AVCの場合であれば、AU識別コードは、AUデリミタ（Access  Unit  Delimiter）に、シーケンスへッダはSPS（Sequence  Paramter  Set）に、ピクチャへッダはPPS（Picture  Parameter  Set）に、圧縮ピクチャデータは複数個のスライス（slice）に、補足データはSEI（Supplemental  Enhancement  Information）に、パディングデータはFillerDataに対応する。
【００４７】
例えば、MPEG-2の場合であれば、シーケンスへッダはsequence_Header、sequence_extension、group_of_picture_headerに、ピクチャへッダはpicture_header、picture_coding_extensionに、圧縮ピクチャデータは複数個のスライスに、補足データはuser_dataに対応する。AU識別コードは存在しないが、それぞれのへッダのスタートコードを使えば、ビデオアクセスユニットの切れ目を判断できる。トランスポートストリームに含まれる各ストリームはPIDと呼ばれるストリーム識別IDによって識別される。このPIDのパケットを抽出することでデコーダは、対象のストリームを抽出することが出来る。PIDとストリームの対応は以降で説明するPMTパケットのディスクリプタに格納される。
【００４８】
個々のピクチャデータは図６の変換の過程を経て、PES（Packetized Elementary Stream）パケットのペイロードに配置される。図６は、個々のピクチャデータがPESパケットに変換される過程を示す図である。
【００４９】
図６における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、PESパケット列を示す。図６の矢印yy１，yy２，yy３，yy４に示すように、ビデオストリームにおける複数のVideo  Presentation  UnitであるIピクチャ、Bピクチャ、Pピクチャは、ピクチャ毎に分割され、PESパケットのペイロードに格納される。各PESバケットはPESへッダを持ち、PESへッダには、ピクチャの表示時刻であるPTS（Presentation  Time-Stamp）やピクチャの復号化時刻であるDTS（Decoding  Time-Stamp）が格納される。
【００５０】
個々のピクチャデータを変換することで得られたPESパケットは複数に分割され、個々の分割部分は、TSパケットのペイロードに配置される。図７は、トランスポートストリームを構成するTSバケットのデータ構造を示している。TSパケットは、４ByteのTSへッダと、アダプテーションフィールドと、TSペイロードから構成される１８８Byte固定長のパケットである。TSへッダは、transpot-priority、PID、adaptaion_field_controlなどから構成される。PIDは前述したとおりトランスポートストリームに多重化されているストリームを識別するためのIDである。transport_priorityは、同一PIDのTSパケットの中のパケットの種別を識別するための情報である。また、以上の各部は、全て具備する必要がある部分ではなく、アダプテーションフィールドとTSペイロードはどちらかだけが存在する場合と両方が存在する場合がある。ここで、adaptation_field_controlは、アダプテーションフィールドとTSペイロードが存在するかを示す。adaptation_field_controlが"１"の場合は、TSペイロードのみが存在し、adaptation_field_controlが"２"の場合は、アダプテーションフィールドのみが存在し、adaptation_field_controlが"３"の場合は、TSペイロードとアダプテーションフィールドの両方が存在することを示す。
【００５１】
アダプテーションフィールドは、PCRなどの情報や、TSパケットを１８８バイト固定長にするためにスタッフィングするデータの格納領域である。TSペイロードにはPESパケットが分割されて格納される。
【００５２】
以上のように、個々のピクチャデータは、PESパケット化、TSパケット化の過程を経てトランスポートストリームにされており、また、ピクチャデータを構成する個々のパラメータは、NALユニットに変換されていることがわかる。以上がトランスポートストリームについての説明である。続いて、2D表示情報、3D表示情報の詳細について説明する。
【００５３】
本実施形態において特徴的なのは、以上のデータ構造に、2Dモード用の表示情報(2D表示情報)、3Dモード用の表示情報(3D表示情報)が組込まれている点である。"表示情報"とは、表示装置に対する表示制御を規定する情報である。ビデオストリーム又はトランスポートストリームを受信した表示装置は、ビデオストリームから抽出した表示情報に基づいて、符号化されたフレームの領域、又は実際に表示に使う領域を変更することができる。
【００５４】
以下、トランスポートストリームの更なる詳細な内部構成について説明する。2D表示情報、3D表示情報は、MPEG-4 AVCにおけるビデオアクセスユニット構造と互換がとれる形で格納することが要請される。
【００５５】
図８は、2D表示情報、3D表示情報がどのように格納されるかという格納内容の具体例を示す。本図の例では、フルHDのフレームサイズを使ってサイドバイサイド方式の3D映像を格納する場合の例を示している。
【００５６】
本図の第１段目は、MPEG-4 AVCビデオストリームのビデオアクセスユニットを構成するNALユニットを示し、第２段目はPESパケット列、第３段目はTSパケット列、第４段目はストリーム管理情報、第５段目は、トランスポートストリームであり、図３に示したものと同一である。第１段目はNALユニットを示す。このNALユニットは、PESパケットに格納されるピクチャデータを構成するものであり、図５（b）と同一である。
【００５７】
2D表示情報は、NALユニットの1つである"シーケンスヘッダ"に格納される。図中の枠w3は、圧縮スライスデータの内部構成をクローズアップして示している。この枠内に示すように、圧縮スライスデータは、マルチビュー格納画像を構成するものである。
【００５８】
マルチビュー格納画像とは、1つのピクチャデータがなす所定解像度の画素領域(フレーム領域という)の中に、複数の視点からの視点画像が格納されているものをいう。よって、ピクチャデータがデコードされた際、そのフレーム領域から各視点に対応する視点画像を取り出すことにより、立体視再生を行うことができる。視差画像がステレオ画像であり、左目用画像、右目用画像の組みから構成される場合、左目用画像、右目用画像という2つの視点画像が、ピクチャデータに格納されることになる。ここで、左目用画像、右目用画像が格納されたマルチビュー格納画像を"L-R格納画像"という。マルチビュー格納画像の全てのバリエーションについて説明を行うとすると説明が煩雑になるので、以降の説明において、マルチビュー格納画像は、視点画像として左目用画像、右目用画像の組みを格納したL-R格納画像であるとして以降の説明を進める。
【００５９】
この図８の具体例において、ビデオストリームを形成するための圧縮ピクチャデータは、フルHDの左目用画像がハーフHDにダウンコンバートされてピクチャの左側の領域に格納され、フルHDの右目用画像がハーフHDにダウンコンバートされてピクチャの右側の領域に格納される。これにより、左目用画像と右目用画像はフルHDのフレーム内に左右に並べて格納される。
【００６０】
図中の枠w2は、シーケンスヘッダの内部構成をクローズアップして示している。この枠内に示すように、シーケンスヘッダには、2D表示情報が格納される。2D表示情報は、クロッピング情報及びスケーリング情報から構成される。破線枠は、クロッピング情報によって指定される範囲を示す。
【００６１】
図中の枠w1は、補足データ及びストリーム管理情報の内部構成をクローズアップして示している。この枠内に示すように、補足データ及びストリーム管理情報に3D表示情報が配置される。3D表示情報は、原則的には補足データに格納されるが、補足データに格納されない場合、予備的にストリーム管理情報に格納される。
【００６２】
PMTパケットの中では、3D表示情報は、具体的には、ビデオストリームに対応するストリームディスクリプタの１つとして格納される。3D表示情報を含むストリームディスクリプタは、MPEG-4 AVCの場合には、AVCビデオ記述子の未定義部分に格納するのが望ましい。3D表示情報を含むストリームディスクリプタは、MPEG-2の場合には、ビデオ符号化・復号化コントロール記述子の未定義部分に格納するのが望ましい。3D表示情報は、2D表示情報と同様に、「クロッピング情報」と「スケーリング情報」を含む。サイドバイサイド方式の例では、3D表示情報のクロッピング情報は、2D表示情報と異なり、フルHDのピクチャデータ全体領域を指定する。また、スケーリング情報は、フルHDのデータをフルHDのまま表示する値が設定されている。即ち、スケーリングの比例は、等倍である。
【００６３】
3D表示情報を補足データに入れる場合、具体的には、MPEG-4 AVCの場合は3D表示情報をSEIメッセージに格納し、MPEG-2の場合は3D表示情報をuser_dataやextension_dataに格納する。
【００６４】
以上のように3D表示情報は、補足データ、ストリーム管理情報のどちらかに格納することができる。これらのそれぞれを3D表示情報の格納場所とした場合の利点を述べる。
【００６５】
補足データに3D表示情報を格納する場合、ビデオストリーム時間軸において、L-R格納画像の格納方式を変化させることができる。よって、3D表示情報による表示制御の内容を時々刻々と変化させるのに最適である。なお、3D表示情報は、GOP先頭のピクチャのみに格納するようにしてもよく、この場合、再生装置は、GOPごとに解析をすればよくなるため、３D表示情報の解析処理を簡易に行うことができるようになる。
【００６６】
これに対してストリーム管理情報は、トランスポートストリーム1つに対して有効となる情報であるから、ビデオストリーム時間軸全体で、3D表示情報による制御内容は固定されることになる。よって、１又は複数の番組で、共通の表示制御を実現したいような場合、ストリーム管理情報に3D表示情報を配置することが最適となる。以上が3D表示情報の格納場所についての説明である。  
続いて、3D方式情報の格納場所の詳細について説明する。
【００６７】
図中の枠w4は、補足データの内部構成をクローズアップしている。この枠内に示すように、補足データには、3D方式情報が配置される。3D方式情報は3D方式の種類を示す。
【００６８】
3D方式には、フレーム互換方式やマルチビュー符号化方式があり、さらにフレーム互換方式には、サイドバイサイド方式、トップアンドボトム方式、Line  Alternative方式などがある。3D方式情報には、上述の方式の種類が特定できる情報が格納されている。サイドバイサイド方式の例である場合、3D方式情報には、「サイドバイサイド方式」という識別子が設定される。3D方式情報を補足データに入れる場合にはMPEG-4 AVCの場合は3D方式情報をSEIメッセージに格納し、MPEG-2の場合は3D方式情報をuser_dataやextension_dataに格納する。MPEG-4 AVCの場合には、フレーム互換3D方式の種別を定義する補足データとしてframe_packing_arrangement  SEIを3D方式情報として用いる。
【００６９】
以上が3D方式情報についての説明である。続いて、ビデオストリームによる3D再生の詳細について説明する。
【００７０】
以降の説明においてビデオストリームは、フレーム互換方式による3D再生を実現するものとする。フレーム互換方式は、左目ビデオと右目ビデオの対応する各ピクチャをそれぞれ間引きまたは縮小した上で一つのピクチャに合成して、通常の動画像圧縮符号化を行う方式である。その一例としては、サイドバイサイド方式がある。サイドバイサイド方式では、左目ビデオと右目ビデオの対応する各ピクチャをそれぞれ水平方向に１/２に圧縮した上で、左右に並べることで一つのピクチャに合成する。
【００７１】
合成されたピクチャによる動画像は、通常の動画像圧縮符号化が行われてストリーム化される。一方、再生時は、ストリームを通常の動画像圧縮符号化方式に基づいて動画像に復号化される。復号化された動画像の各ピクチャは、左右画像に分割されて、それぞれ水平方向に２倍に伸長されることによって、左目用画像、右目用画像が得られる。
【００７２】
図９（a）は、サイドバイサイド方式におけるL-R格納画像がどのように表示に供されるかという表示の過程を示す。GOP構造に属するピクチャを示す。第１段目におけるピクチャがサイドバイサイド方式のL-R格納画像になっている。このL-R格納画像は、第２段目の3D映像区間を構成するものである。L-R格納画像に格納されている左目用画像、右目用画像を、一枚のピクチャとして表示させることで、区間は構成される。
【００７３】
第１段目と第２段目との間の矢印ya1,ya2は、L-R格納画像における個々の左目用画像、右目用画像が、切り出され、拡大されることで表示される過程を模式的に示す。
【００７４】
以上がサイドバイサイド方式についての説明である。続いてトップアンドボトム方式の詳細について説明する。
【００７５】
図９（b）は、トップアンドボトム方式におけるL-R格納画像がどのように表示に供されるかという表示の過程を示す。GOP構造に属するピクチャを示す。第１段目におけるピクチャがトップアンドボトム方式のL-R格納画像になっている。このL-R格納画像は、第２段目の3D映像区間を構成するものである。L-R格納画像に格納されている左目用画像、右目用画像を、一枚のピクチャとして表示させることで、3D映像区間は構成される。
【００７６】
第１段目と第２段目との間の矢印yb1,yb2は、L-R格納画像における個々の左目用画像、右目用画像が、切り出され、拡大されることで表示される過程を模式的に示す。
【００７７】
図１０は、眼鏡を介して、3D映像区間における左目用画像、右目用画像を視聴することでユーザによって認知される立体視画像を示す。本図に示すように、立体眼鏡を着用したユーザを左側に描き、右側には、対象物たる恐竜の骨格を左目から見た場合の例と、対象物たる恐竜の骨格を右目から見た場合の例とをそれぞれ示している。立体眼鏡は右目及び左目の透光、遮光の交替を繰り返す場合は、ユーザの脳内では、目の残像反応により、左目に入るシーンと右目に入るシーンとの重合せがなされ、あたかもユーザに顔の中央の延長線上に存在する立体映像を見るようになることができる。以上が、ビデオストリームによる3D再生についての説明である。
【００７８】
以上のサイドバイサイド方式、トップアンドボトム方式のピクチャデータ再生は、ビデオデコーダのデコーダモデルにおける切り出し制御、スケーリング制御を前提にしてなされる。
【００７９】
サイドバイサイド方式、トップアンドボトム方式のピクチャデータ再生が根拠としている、ビデオデコーダのデコーダモデルにおけるクロッピング情報に基づく切り出し制御、スケーリング情報によるスケーラ制御を説明する。図１１（a）は、MPEG-4 AVCビデオデコーダのデコーダモデルを示す。本図におけるデコーダモデルは、TB１、MB２、EB３、デコーダコア４、DPB５、スケーラ６、ビデオプレーン７、表示処理部８から構成される。
【００８０】
Transport Buffer(TB)１は、ビデオストリームを含むTSパケットが多重分離部から出力された際、TSパケットのまま一旦蓄積しておくためのバッファである。
【００８１】
Multiplexed Buffer(MB)２は、TBからEBにビデオストリームを出力するにあたって、一旦PESパケットを蓄積しておくためのバッファである。TBからMBにデータが転送される際に、TSパケットのTSヘッダは取り除かれる。
【００８２】
Elementaly Buffer(EB)３は、符号化状態にあるビデオアクセスユニットが格納されるバッファである。MBからEBにデータが転送される際にPESヘッダが取り除かれる。
【００８３】
デコーダコア４は、ビデオエレメンタリストリームの個々のビデオアクセスユニットを所定の復号時刻（DTS）でデコードすることによりフレーム/フィールド画像を作成する。個々のピクチャデータをデコードするにあたってデコーダコア４は、未来方向又は過去方向に存在するピクチャデータを参照ピクチャとして利用して、動き補償を行う。
【００８４】
Decoded Picture Buffer(DPB)５は、復号されたフレーム/フィールド画像を一時的に保持しておくバッファである。ビデオデコーダ５７が、ピクチャ間予測符号化されたPピクチャやBピクチャなどのビデオアクセスユニットをデコードする際に、既にデコードされたピクチャを参照するために利用する。
【００８５】
スケーラ６は、デコーデッドピクチャバッファに格納されたピクチャデータに対して、スケーリング変換を施し、変換後のピクチャデータをビデオプレーンに書き込む。
【００８６】
ビデオプレーン７は、変換後のピクチャデータを構成する、一画面分の画素データを格納して表示に供する。
【００８７】
表示処理部８は、クロッピング情報に従ったクロッピング制御、スケーリング情報に従ったスケーリング制御を実行する。
【００８８】
以上がビデオデコーダのデコーダモデルの一例についての説明である。なお、本発明に係る表示装置の実施形態は、上記にて説明したMPEG-4 AVCビデオデコーダのデコーダモデルに限定されない。
【００８９】
続いて、クロッピング情報、スケーリング情報がデコーダモデルに供給されることで、どのようにピクチャデータが表示されるかという表示の過程を説明する。図１１（b）の左側はデコーデッドピクチャバッファの格納内容、右側はビデオプレーンの格納内容を示す。
【００９０】
先ず、クロッピング情報がもたらす制御について説明する。クロッピング情報は、フレーム領域の中から実際に表示する領域を、「クロッピング領域」として指定するものである。"フレーム領域"とは、1つのフレームに該当するビデオアクセスユニットをデコードすることで得られる画素の集合であり、ビデオアクセスユニット内にフルHDのピクチャデータが存在する場合、フルHDのピクチャデータを構成する1920×1080の画素が、このフレーム領域を構成する。NALユニット化されたビデオアクセスユニットをデコーダがデコーダした際、フレーム領域は、デコーデッドピクチャバッファに構築される。そして"クロッピング領域"とは、フレーム領域のうち、クロッピング情報により指定された範囲をいう。
【００９１】
図１１（b）の真ん中は、クロッピング情報により指定されたクロッピング領域を示す。クロッピング情報はデコーデッドピクチャバッファの格納内容であるフレーム領域の中から実際に表示する領域を、「クロッピング領域」として指定するものである。そのため、表示情報がデコーダに供給された際、表示処理部は2D表示情報のクロッピング情報に従って、デコーデッドピクチャバッファの格納内容からクロッピング領域を切り出して（クロップして）ビデオプレーンに転送するという処理を行うことなる。矢印yc1は、かかるクロッピングの過程を模式的に示す。
【００９２】
次に、スケーリング情報がもたらす制御について説明する。スケーリング情報は、クロッピング領域をテレビなどのディスプレイに表示するのに適合したサイズにスケーリングするための情報である。図１０（b）の真ん中は、クロッピング情報により指定されたクロッピング領域を示す。スケーリング情報はデコーデッドピクチャバッファから切り出されたクロッピング領域をどのような倍率で表示するかという倍率を指定するものである。そのため、表示情報がデコーダに供給された際、スケーラは表示情報のスケーリング情報に従って解像度変換を行い、変換後のクロッピング領域をビデオプレーンに書き込むことになる。図中の白抜き矢印yc2は、かかる解像度変換の過程を模式的に示す。
【００９３】
以上がクロッピング情報、スケーリング情報についての説明である。続いて、クロッピング情報によるクロッピング領域の指定の仕方について説明する。
【００９４】
図１２は、クロッピング情報によるクロッピング領域の指定の仕方を示す。描画にあたってイメージには、X-Y座標系における表示座標が設定される。図１２では、図面の左上を原点(0,0)とし、右方向をX軸の正方向、下方向をY軸の正方向としている。以降の説明において、特に断らない限り、X-Y座標系の表記には、本図と同様の表記を用いる。
【００９５】
図１２（a）は、クロッピング領域の上線/下線/左線/右線と、符号化されたフレーム領域の上線/下線/左線/右線との差分を、上下左右のクロップ量として指定するという指定方式を示す。図１２（b）は、デコーデッドピクチャバッファにおけるフレーム領域の左上座標を原点として、クロッピング領域の左上座標を定義し、かつ、クロッピング領域の横幅、縦幅を定義することで、クロッピング領域を指定するという指定方式を示す。
【００９６】
クロッピング領域の指定の仕方について図１２（a）、（b）の双方をサポートするとなると説明が煩雑になるので、以降の説明では、図１２（b）の表記でクロッピング領域を指定するものとする。以上がクロッピング領域の指定の仕方についての説明である。続いて、2D表示情報、3D表示情報について技術的意義について説明する。
【００９７】
本実施形態で特徴的なのは、上述した通り、これらのクロッピング情報、スケーリング情報が2D表示情報、3D表示情報のそれぞれに存在する点である。2D表示情報内のクロッピング情報は、表示装置が当該ビデオストリームを用いて2D映像を表示する時にクロッピングを行うのに必要な情報を規定している。
【００９８】
以上がクロッピング情報によるクロッピング領域の指定の仕方についての説明である。続いて、2D表示情報におけるクロッピング情報及びスケーリング情報の役割と、3D表示情報におけるクロッピング情報及びスケーリング情報の役割とについて説明する。
【００９９】
2D表示情報のクロッピング情報は、フレーム領域のうち、2D互換画像の占有領域を指定している。"2D互換画像"とは、3Dモード、2Dモードの両方のモードにおいて表示に供される視点画像である。立体視再生のための視差画像は、複数の視点画像から構成される。これら複数の視点画像のうち、2Dモードでの表示に適したものが、2D表示情報のクロッピング情報により指定されることになる。
【０１００】
視差画像がステレオ画像であり、左目用画像、右目用画像の組みから構成される場合、左目用画像、右目用画像という2つの視点画像のうち、2Dモードでの表示に適したものが、2D表示情報のクロッピング情報により指定されることになる。視差画像がマルチチャネル画像であり、左目用画像、右目用画像、中央、右斜上画像、右斜下画像、左斜上画像、左斜下画像といった3つ以上の視点画像から構成される場合、これらの視点画像のうち2Dモードでの再生に適したものが、2D表示情報のクロッピング情報にて指定されることになる。視差画像及び視点画像の全てのバリエーションについて説明を行うとすると説明が煩雑になるから、以降の説明において、2D互換画像は左目用画像であるとして説明を進める。2D表示情報におけるクロッピング情報及びスケーリング情報は、表示装置が当該ビデオストリームを用いて2D映像を表示する時にクロッピングを行うべき部分と、クロッピングがなされた画像をスケーリングするのに必要な情報とを規定する。
【０１０１】
対照的に3D表示情報内のクロッピング情報は、フレーム領域のうち、2D互換画像と、2D非互換画像との結合画像が占有している占有領域をクロッピング領域として指し示す。
【０１０２】
"2D非互換画像"とは、2D再生モードでは表示されないが3Dモードにおいてのみ表示される映像を表す。立体視映像を構成する視差画像は、2以上の視点画像から構成されるので、これらの視点画像のうち1つが2D互換画像となり、残りの視点画像が2D非互換画像となる。本実施形態では、1つのピクチャデータ内に、複数の視点画像が格納されているという前提であるから、フレーム領域の全体領域のうち、複数の視点画像が占有している占有領域全体が、3D表示情報のクロッピング情報により指定されることになる。
【０１０３】
視差画像がステレオ方式であり、視点画像が左目用画像、右目用画像である場合、3D表示情報のクロッピング情報によって指定されているクロッピング領域から、2D表示情報のクロッピング情報によって指定されている領域を取り除けば、2D非互換画像を得ることができる。表示装置は、2D表示情報を取得する度に、2D表示情報のクロッピング情報によって指定されているクロッピング領域を切り出す処理を行い、2D互換画像である左目用画像を得る。そうして得た左目用画像を、左目用のビデオプレーンに書き込む。一方表示装置は、3D表示情報を取得する度に、3D表示情報のクロッピング情報によって指定されているクロッピング領域から、2D表示情報のクロッピング情報によって指定されているクロッピング領域を取り除く処理を行い、2D非互換画像である右目用画像を得る。そうして得た右目用画像を立体視用のビデオプレーンに書き込む。こうすることで、左目用画像及び右目用画像が表示に供されることになる。
【０１０４】
3D表示情報のクロッピング情報は、表示装置が当該ビデオストリームを用いて3D映像を表示する時にクロッピングを行うのに必要な情報を規定するものであり、3D表示情報におけるスケーリング情報は、表示装置が当該ビデオストリームを用いて3D映像を表示する時にクロッピングされた画像をスケーリングするのに必要な情報を規定する。
【０１０５】
ビデオアクセスユニットのNALユニットの1つである補足データ、又は、PMTバケットなどのストリーム管理情報には、「3D表示情報」や「3D方式情報」が存在する場合と、存在しない場合とがある。ビデオストリームやストリーム管理情報には、「3D表示情報」や「3D方式情報」の存否を示すフラグ(存否フラグ)が格納される。このように存否フラグをビデオストリームやNALユニットに存在すれば、3Dデジタルテレビ１００は、PMTパケットの存在可否フラグを使って復号化前に、ビデオストリーム内の「3D表示情報」や「3D方式情報」の解析のためのメモリ確保等の前準備を行うことが出来る。
【０１０６】
以上が3D表示情報におけるクロッピング情報、スケーリング情報の役割についての説明である。続いて、既存の符号化方式の情報要素のうち、クロッピング情報及びスケーリング情報と技術的に同視することができるものを述べる。
【０１０７】
クロッピング情報とスケーリング情報は、画像のクロッピング領域及びスケーリングの比例を確定できるフィールド又はパラメータであるから、同等の機能をもつフィールド又はパラメータは、既存の符号化方式のシンタックスから見出すことができる。
【０１０８】
画像のクロッピング領域を確定できるフィールド又はパラメータとしては、例えば、MPEG-2  ISO/IEC  １３８１８-２の標準における以下のパラメータが該当する。
【０１０９】
- 6.2.2.4 Sequence display extension
- display_horizontal_size
- display_vertical_size
- 6.2.3.3 Picture display extension
- frame_centre_horizontal_offset
- frame_centre_vertical_offset 
またMPEG-4AVC  ISO/IEC  １４４９６-１０の標準において以下のパラメータが該当する。
【０１１０】
- 7.4.2.1.1 Sequence parameter set data semantics
- frame_cropping_flag
- frame_crop_left_offset
- frame_crop_right_offset
- frame_crop_top_offset
- frame_crop_bottom_offset
クロッピング領域を行うか否かの指定方式は、MPEG-4 AVCのSPSに格納されるパラメータ「frame_cropping」情報を使ったものである。より具体的には、クロッピング領域を指定する場合には、上記で説明したパラメータ「frame_cropping_flag」を１に設定し、上述のパラメータ「frame_crop_top_offset/frame_crop_bottom_offset/frame_crop_left_offset/frame_crop_right_offset」に上/下/左/右のクロップ量を指定する。MPEG-2の場合には、クロッピング領域の縦横のサイズ（sequence_display_extensionのdisplay_horizontal_size，display_vertical_size）と、符号化されたフレーム領域の中心とクロッピング領域の中心との差分情報（picture_display_extensionのframe_centre_horizontal_offset，frame_centre_vertical_offset）を使ってクロッピング領域を指定できる。
【０１１１】
スケーリング情報は、クロッピング領域をテレビなどのディスプレイに表示するのに適合したサイズにスケーリングするための情報であるから、例えば、表示時のアスペクト比を定義できれば足りる。再生装置はそのアスペクト比さえ知得することができれば、クロッピング領域をアップコンバートして表示を行うことができるからである。例えば、MPEG-4 AVCの場合には、スケーリング情報として、SPSにアスペクト比の情報（asepct_ratio_idc）が格納される。MPEG-4 AVCの場合、例えば、1440×1080のクロッピング領域を、1920×1080に拡大して表示するためには、アスペクト比は４：３を指定する。この場合、水平方向に４/３倍（１４４０×４/３=１９２０）にアップコンバートされ、1920×1080に拡大されて表示される。MPEG-2の場合にも同様にsequence-headerにアスペクト比の情報（aspect_ratio_information）が格納されている。
【０１１２】
符号化されたピクチャがサイドバイサイド方式のフルHDの映像の楊合には、左目もしくは右目の半分の領域（ハーフHD）がクロッピング領域として指定される。2D映像として左目側の映像を表示したい場合に、MPEG-4 AVCの場合では、クロッピング領域の情報は、上・左・下クロップ量の値が０で、右クロップ量が９６０ピクセル分になるように設定される。スケーリング情報には、960×1080のハーフHDから1920×1080のフルHDに変更する値がある。例えば、MPEG-4AVCの場合では、aspect_ratio_idcにおいて16(2:1)の値が指定される。この2D表示情報は、既存の2D表示装置が、受信したサイドバイサイド方式の3Dビデオストリームを用いて2D再生を行う際に参照する情報となる。従って、2D表示装置がL-R格納画像（例えばサイドバイサイド方式）のビデオストリームを受信したとしても、当該画像のうち一部の画像をクロッピングして実際の再生に用いることで、2D映像を正常に再生することができる。
【０１１３】
図１３は、フレームの変化を具体的に示す図である。ここで、2D映像を表示する表示装置の例として、2Dデジタルテレビを説明し、3D映像を表示する表示装置の例として、3Dデジタルテレビを説明する。また、図１３（a）は、サイドバイサイド方式のフルHDの例の復号化方法の例である。
【０１１４】
図１３（a）は、2D表示情報に基づくピクチャの表示の過程を示す。図１３（a）の左側はL-R格納画像、真ん中は、デコーデッドピクチャバッファの格納内容、右側はビデオプレーンの格納内容を示す。
【０１１５】
圧縮化L-R格納画像を復号することで、非圧縮のL-R格納画像であるピクチャデータがデコーデッドピクチャバッファに得られると、表示処理部８は、復号化したピクチャデータに対して、2D表示情報を用いて表示方法を決定する。そして表示処理部は、2D表示情報に従いクロッピング領域を確定する。図１３（a）の例では、2D表示情報には左画面のハーフHD領域（第１の画面領域の一例）を指定しているから、この場合に、表示処理部は、デコーデッドピクチャバッファに得られた非圧縮のピクチャデータのうち、左画面のハーフHD領域を切り出して読み出す。スケーラは、2D表示情報のスケーリング情報に従い、クリップされたピクチャデータのスケーリングを行ってビデオプレーンに書き込む。図１３（a）の例では、2D表示情報のスケーリング情報により、ハーフHDをフルHDにアップコンバートするための倍率(スケーリングファクター)が特定されるので、スケーラは、左画面のハーフHDの映像をフルHDにアップコンバートし、表示機器に合わせて2D映像を表示する。
【０１１６】
図１３（b）は、3D表示情報に基づく、ピクチャの表示の過程を示す。図１３（b）の左側はL-R格納画像、真ん中は、デコーデッドピクチャバッファの格納内容、右側はビデオプレーンの格納内容を示す。表示処理部は、復号化したピクチャデータに対して、3D表示情報を用いて表示方法を決定する。そして、デコーデッドピクチャバッファに非圧縮のL-R格納画像が得られれば、3D表示情報のクロッピング情報に従って、デコーデッドピクチャバッファの中のうち、クロッピング領域を確定する。図１３（b）の例では、3D表示情報のクロッピング情報には全画面のフルHD領域（第２の画面領域の一例）を指定しているから、3Dデジタルテレビは、フルHD領域をそのまま切り出してスケーラに供する。3Dデジタルテレビは、3D表示情報に従いスケーリング方法を確定する。図１３（b）の例では、3D表示情報のスケーリング情報には、フルHDをそのまま表示する値が格納されているので、スケーラは、フルHDの映像をそのまま利用し、ビデオプレーンに書き込む。
【０１１７】
さらに、3Dデジタルテレビは、3D方式情報に従い既存の3D映像の表示を行う。図１３（b）の例では、3D方式情報には、サイドバイサイド方式の映像が記載されているので、サイドバイサイド方式の左目用画像と右目用画像をそれぞれアップコンバートし、テレビの3D方式に合わせて3D表示を行う。
【０１１８】
まとめると、上述したようなフォーマットのビデオストリーム、トランスポートストリームを構成することにより、L-R格納画像などのフレーム互換の3D映像を使って、2D映像のみを復号化できる再生装置では左目用画像もしくは右目用画像のどちらかをテレビの表示サイズで2D映像として再生でき、3D映像として再生できる再生装置では3D映像として再生できる。例えば、サイドバイサイド方式のフルHDのビデオストリームの場合において、2D映像のみしか再生できない再生装置には、サイドバイサイド方式の左目もしくは右目の映像をフルHDにアップコンバートして再生する。3D映像のみしか再生できない再生装置の場合には、サイドバイサイド方式の左目と右目の映像をフルHDにアップコンバートして3D映像として再生する。以上が2D表示情報、3D表示情報についての説明である。続いて、2D表示情報、3D表示情報が網羅できる、L-R格納画像のレイアウトパターンについて説明する。
【０１１９】
L-R格納画像のレイアウトには様々なパターンがあり、これらのパターンに適合するよう、2D表示情報を設定することができる。
【０１２０】
画像を表記するにあたって、横方向の960個の画素の集まりを"1K"と扱い、縦方向の1080個の画素を"1K"と扱う。フルHDの解像度、つまり、1920×1080は、2K×1Kと表現される。この1Kという単位を用いた場合、サイドバイサイド方式のレイアウトとして、2K×1K(1920×1080)、4K×1K(3840×1080)、3K×1K(2880×1080)、4K×2K(3840×2160)という4つのパターンを作成することができる。図１４は、サイドバイサイド方式における4つのレイアウトパターンを示す図である。
【０１２１】
図１４（a）は、2K×1KのフルHD、つまりL-R格納画像の解像度が1920×1080、左目用画像を左側に配置し、右目用画像を右側に配置したレイアウトパターンを示す。図中の破線枠は、2Dビデオとして表示させる領域を模式的に表したものである。このレイアウトパターンに対する2D表示情報は、破線枠で囲んだ部分、つまり、960×1080画素の左目用画像を2Dビデオとして表示させることを意図している。
【０１２２】
図１４（b）は、4K×1K、つまりL-R格納画像の解像度が3840×1080、左目用画像を左側に配置し、右目用画像を右側に配置したレイアウトパターンを示す。図中の破線枠は、2Dビデオとして表示させる領域を模式的に表したものである。このレイアウトパターンに対する2D表示情報は、破線枠で囲んだ部分、つまり、1920×1080画素のフルHDの左目用画像を2Dビデオとして表示させることを意図している。
【０１２３】
図１４（c）は、3K×1K、つまりL-R格納画像の解像度が2880×1080、左目用画像を左側に配置し、右目用画像を右側に配置したレイアウトパターンを示す。図中の破線枠は、2Dビデオとして表示させる領域を模式的に表したものである。このレイアウトパターンに対する2D表示情報は、破線枠で囲んだ部分、つまり、1920×1080画素のフルHDの左目用画像を2Dビデオとして表示させることを意図している。
【０１２４】
図１４（d）は、4K×2K、つまりL-R格納画像の解像度が3840×2160、左目用画像を左側に配置し、右目用画像を右側に配置したレイアウトパターンを示す。図中の破線枠は、2Dビデオとして表示させる領域を模式的に表したものである。このレイアウトパターンに対する2D表示情報は、破線枠で囲んだ部分、つまり、1920×2160画素のフルHDの左目用画像を2Dビデオとして表示させることを意図している。
【０１２５】
これら図１４（a）〜（d）に示すように、2K×1K,4K×1K,3K×1K,4K×2Kといったレイアウトで、左目用画像、右目用画像がサイドバイサイド方式により配置される場合でも、L-R格納画像から適切に左目用画像のみを切り出して表示に供することができる。具体的にいうと、４K×1Kのサイドバイサイド方式の3D映像では、2Dデジタルテレビ３００では2D映像は2D表示情報を用いてフルHDで再生し、3Dデジタルテレビ１００では3D映像は3D表示情報を用いてフルHD×２面で再生できる。同様に2K×2Kのトップアンドボトム方式の3D映像では、2Dデジタルテレビ３００では2D映像は2D表示情報を用いてフルHDで再生し、3Dデジタルテレビ１００では3D映像は3D表示情報を用いてフルHD×２面で再生できる。以上がサイドバイサイドについての説明である。続いて、トップアンドボトムの詳細について説明する。
【０１２６】
トップアンドボトム方式のレイアウトとして、2K×2K(1920×2160)、2K×1.5K(1920×1620)という2つのパターンを作成することができる。図１５は、トップアンドボトム方式における2つのレイアウトパターンを示す図である。
【０１２７】
図１５（a）は、1920×2160の解像度をもつ、2K×2Kのトップアンドボトム方式のL-R格納画像であり、左目用画像が上側-右目用画像が下側であり、上半分の1920×1080の左目用画像を2Dビデオとして表示させるものである。2Dビデオとして表示させるのは左目用画像であるから、(0,0)を左上座標とした1920×1080の左目用画像を2Dビデオとして表示させるよう、クロッピング情報が設定されている。
【０１２８】
図１５（b）は、1920×1620の解像度をもつ、2K×1.5Kのトップアンドボトム方式のL-R格納画像であり、左目用画像が上側-右目用画像が下側であり、上半分の1920×1080の左目用画像を2Dビデオとして表示させるものである。2Dビデオとして表示させるのは左目用画像であるから、(0,0)を左上座標とした1920×1080の左目用画像を2Dビデオとして表示させるよう、クロッピング情報が設定される。2K×1.5Kのトップアンドボトム方式の3D映像では、2Dデジタルテレビ３００では2D映像は2D表示情報を用いてフルHDで再生し、3Dデジタルテレビ１００では3D映像は3D表示情報を用いて3D表示用の領域を取り出した上で、フルHD（L）とハーフHD（R）をアップコンバートしたものとで3D表示することができる。フルHD（L）をダクンコンバートしてどちらもハーフHDの解像度にしてから再度アップコンバートして3D表示することもできる。
【０１２９】
この図１５に示すように、L-R格納画像が2K×1K、2K×1.5Kといったレイアウトになる場合でも、2D表示情報、3D表示情報を設定することで、2Dデジタルテレビ３００での再生、3Dデジタルテレビ１００での再生を適切に行うことができる。以上のように、クロッピング情報、スケーリング情報の設定を変更すれば、3K×1Kのサイドバイサイド方式の3D映像において、2Dデジタルテレビ３００では2D映像は2D表示情報を用いてフルHDで再生し、3Dデジタルテレビ１００では3D映像は3D表示情報を用いて3D表示用の領域を取り出した上で、フルHD（L）とハーフHD（R）をアップコンバートしたものとで3D表示することができる。以上がサイドバイサイド及びトップアンドボトムのレイアウトについての説明である。続いて、トップアンドボトム特有の符号化の詳細について説明する。
【０１３０】
1920×1080として表示される左目用画像及び右目用画像は、ピクチャの上半分、下半分に配置する。下半分、上半分に配置しようとする場合、左目用画像及び右目用画像のそれぞれは、1920×540,1920×540となる。このように縦540画素の集まりをトップアンドボトム方式によりピクチャに格納する場合、これらをどのように、スライスデータとして分割するかが問題になる。スライスデータは、複数のマクロブロック（16×16といった画素の集まり）から構成される。1920×1080をスライスデータに分割しようとすると、1080は、16の倍数ではないから(1080=16×67+8)、スライスデータへの分割にあたって、縦画素数が16画素に満たないスライスデータが生じる。そこで、1920×1080の下に1920×8の余白領域を追加する。こうすることでピクチャデータの縦画素を16の倍数1088(=16×68)にし、トップアンドボトム方式のピクチャデータを68個のスライスデータに変換することができる。図１６（a）は、余白領域が追加されたトップアンドボトム方式のピクチャデータと、スライスデータとの関係を示す図である。
【０１３１】
左側は、トップアンドボトム方式のピクチャデータを構成する、左目用画像、右目用画像、余白領域を示す。本図（a）では、1920×8の余白領域を、トップアンドボトム方式の右目用画像の下に配置している。このケースでは、1920×540を3D表示情報における左目用画像として、1920×540を3D表示情報における右目用画像として指定する。そして、1920×8を余白領域として指定する。図１６（a）のトップアンドボトム方式の3D映像の場合には、2D表示情報のクロッビング情報に規定される領域は、上もしくは下の半分の領域を指すことになる。2D表示情報のクロッピング領域を上の半分に設定する場合には、上・左・右クロップ量の値が０で、下クロップ量が５４０ピクセル分になるように設定される。スケーリング情報には、上もしくは下の半分の領域（1920×540）からフルHD（1920×1080）へのアップコンバートする時の値が設定される。MPEG-4 AVCの場合には、asppect_ratio_idcの値はExtended_SARで、sar_width=１、sar_height=２に設定される。
【０１３２】
右側は、ビデオアクセスユニットの構成要素である、複数の圧縮スライスデータを示す。本図に示すように、トップアンドボトム方式を構成する左目用画像、右目用画像、余白領域の画素データは、16画素ずつ、スライスデータに変換されてゆくことがわかる。
【０１３３】
しかし、かかる変換にあたっては以下の問題が生じる。符号化において1920×1080の画素はスライスデータに変換される。左目用画像、右目用画像は、1920×540画素であり、この540という縦画素数は、16の倍数ではないから(540=16×33+12)、左目用画像の末尾に位置する1920×12画素と、右目用画像の先端に位置する1920×4画素とが、同じスライスデータに格納されることになる。これら左目用画像の末尾に位置する1920×12画素と、右目用画像の先端に位置する1920×4画素とには、相関性が存在しないので、左目用画像の末尾に位置する1920×12画素と、右目用画像の先端に位置する1920×4画素とが1つのスライスデータに格納されれば、圧縮効率が低下する。
【０１３４】
そこで、1920×8の余白領域を、1920×4の余白領域と、1920×4の余白領域とに分割して、分割で得られたそれぞれの余白領域を、左目用画像、右目用画像のそれぞれに配置する。図１６（b）は、分割で得られた余白領域が追加された左目用画像、右目用画像を示す図である。このように追加されれば、左目用画像、右目用画像は、何れも1920×544画素であり、この544という縦画素数は、16の倍数であるから(544=16×34)、左目用画像の末尾に位置する1920×16画素と、右目用画像の先端に位置する1920×16画素とが、別々のスライスデータに格納されることになる。これらの画素を別々のスライスデータに格納することにより、圧縮効率が低下することはない。
【０１３５】
図１６（b）のケースでは、(0,0)を左上座標とした1920×540の矩形領域を3D表示情報における左目用画像に用いるクロッピング領域（第１の画面領域の一例）として指定する。ここから、余白領域をスキップした領域、つまり(0,544)を左上座標とした1920×540の矩形領域を3D表示情報における右目用画像に用いるクロッピング領域（第２の画面領域の一例）として指定する。
【０１３６】
L-R格納画像では、サイドバイサイド方式、トップアンドボトム方式といった様々なレイアウトを採用することができ、また、個々の左目用画像、右目用画像の解像度が様々な値になることがある。しかしこれらレイアウト及び解像度の組合せがどのようなものであっても、クロッピング情報、スケーリング情報から2Dテレビにおける再生内容や3Dテレビにおける再生内容を適切にすることができる。
【０１３７】
以上がトップアンドボトム方式における特有の改良についての説明である。続いて、クロッピング情報による2D表示領域の表記のバリエーションについて説明する。
【０１３８】
図１２では、クロッピング領域の各辺からのオフセット、左上座標、横幅、縦幅を用いたが、L-R格納画像における左目用画像、右目用画像の格納方式がある程度定型化されている場合、クロッピング情報の表記に、タイプ識別子を用いることができる。このタイプ識別子は、定型化された2D表示用の領域の類型を特定するものである。図１７は、タイプ識別子が想定している、2D表示用の領域の4つの類型(type1〜4)を示す。
【０１３９】
図１７（a）は、type1のL-R格納画像の方式及びクロッピング領域の指定を示す。TYPE=1は、L-R格納画像がサイドバイサイド方式であり、その左側の左目用画像を2D表示情報のクロッピング領域（第１の画面領域の一例）として指定するものである。図中の破線枠は、2D表示情報のクロッピング領域による領域指定を模式的に示す。
【０１４０】
図１７（b）は、type3のL-R格納画像の方式及びクロッピング領域の指定を示す。TYPE=3は、L-R格納画像がトップアンドボトム方式であり、その上側の左目用画像を2D表示情報のクロッピング領域（第１の画面領域の一例）として指定するものである。図中の破線枠は、2D表示情報のクロッピング領域による領域指定を模式的に示す。
【０１４１】
図１７（c）は、type2のL-R格納画像の方式及びクロッピング領域の指定を示す。TYPE=2は、L-R格納画像がサイドバイサイド方式であり、その右側の右目用画像を2D表示情報のクロッピング領域（第２の画面領域の一例）として指定するものである。図中の破線枠は、2D表示情報のクロッピング領域による領域指定を模式的に示す。
【０１４２】
図１７（d）は、type4のL-R格納画像の方式及びクロッピング領域の指定を示す。TYPE=4は、L-R格納画像がトップアンドボトム方式であり、その下側の右目用画像を2D表示情報のクロッピング領域（第２の画面領域の一例）として指定するものである。図中の破線枠は、2D表示情報のクロッピング領域による領域指定を模式的に示す。
【０１４３】
以上の図１７（a）〜（d）のうち、例えば、図１７（c）のTYPE=２であれば、「2Dビデオ表示情報」は「Side-by-Sideの右側」を指しているので、2D再生を行う時にSide-by-Side方式の右側を用い、3D映像を表示する時に「左側」をさらに組合せばよい。
【０１４４】
2Dビデオ表示情報を「左画像」か「右画像」のどちらかに固定的に運用としてしまえば、その映像が2D映像なのか、Side-by-Sideなのか、TopandBottomなのかを示す3D方式情報の識別子を用いることで、3D映像に必要なクロッピング領域を特定することもできる。
【０１４５】
以上が、2D表示情報、3D表示情報の具体例についての説明である。続いて、符号化方法の詳細について説明する。上記符号化方法が前提にしているハードウェア資源とは、放送局でデジタル放送番組の作成に用いられるオーサリングコンピュータシステムのハードウェア資源である。当該オーサリングコンピュータシステムは、ネットワークドライブ、サーバコンピュータ、クライアントコンピュータによって構成され、個々のコンピュータは、MPU,ROM,RAMを含む。これらのオーサリングコンピュータシステム全体は、"データ作成装置"と呼ばれる。
【０１４６】
図１８は、トランスポートストリームの放送を行う放送局の内部構成を示す。本図に示すように、放送局は、オーサリングコンピュータシステムであるデータ作成装置４０１と、送信部４０２とから構成される。本図に示すように、データ作成装置４０１は、ビデオ符号化部１１、多重化処理部１２、データ格納方法決定部１３、ユーザインターフェイス１４から構成されている。図中のドラム記号は、"ハードディスクストレージ"を表す。つまりデータ作成装置には、3D映像原画を格納しているストレージ、ビデオストリームを格納しているストレージ、オーディオストリームを格納しているストレージ、字幕ストリームを格納しているストレージ、ストリーム管理情報を格納しているストレージ、トランスポートストリームを格納するストレージが存在する。
【０１４７】
これらのストレージは、構内ネットワークにおけるネットワークドライブであり、3D映像原画やビデオストリーム、オーディオストリーム等は、これらのストレージの所定のディレクトリ構成において、ファイルとして格納されている。ビデオ符号化部１１及び多重化処理部１２は、上記構内ネットワークにおけるサーバコンピュータであり、構内ネットワークを通じて上述したようなストレージをアクセスし、各種ストリームの読み出しやトランスポートストリームの書き込みを実行する。以下、ビデオ符号化部１１、多重化処理部１２のそれぞれについて説明する。
【０１４８】
ビデオ符号化部１１は、ストレージに格納された3D映像原画を読み出して圧縮符号化を行い、圧縮符号化で得られたビデオストリームをストレージに書き込む。ストレージに格納された3D映像原画には、左目用画像の非圧縮のビットマップなどの画像イメージ、右目用画像の非圧縮のビットマップなどの画像イメージがある。ビデオ符号化部１１は、MPEG-4 AVCやMPEG-2などの圧縮方式に従い、データ格納方法決定部１３の指定に従って符号化を行う。L-R格納画像の格納方式として、「フルHDのサイドバイサイド方式の3D映像」と指定された場合には、フルHDの左目用画像の画像イメージとフルHDの右目用画像の画像イメージをそれぞれハーフHDにダウンコンバートして、それぞれのイメージを１フレームにサイドバイサイド方式で左右に並べて格納した後、圧縮符号化を行う。そして、ビデオ符号化部１１は、圧縮符号化されたストリームにおいて、シーケンスへッダに2D表示情報を格納し、補足データに3D表示情報を格納した後、圧縮した映像ストリームはビデオストリームとしてストレージに書き込む。
【０１４９】
フルHDのフレームに対する圧縮符号化において、ビデオ符号化部１１はビデオシーケンス先頭にあたるL-R格納画像を構成する符号化スライスにシーケンスヘッダ及び補足データを付加することで、L-R格納画像をビデオアクセスユニットに変換すると共に、ビデオシーケンス先頭以外にあたるL-R格納画像を構成する符号化スライスに補足データを付加することで、L-R格納画像をビデオアクセスユニットに変換する。GOP先頭に位置するビデオアクセスユニットのシーケンスへッダには、「クロッピング情報」及び「スケーリング情報」を含む2D表示情報を格納する。ビデオ符号化部１１は、さらに、ビデオストリームの補足データに、「クロッピング情報」及び「スケーリング情報」を含む3D表示情報を格納する。
【０１５０】
ここで、表示装置にストリームが対応する3D方式を了解させるために、ビデオ符号化部１１は、補足データに「3D方式情報」を格納する。
【０１５１】
多重化処理部１２は、生成したビデオストリーム、及びその他のオーディオストリーム、字幕ストリームなどのストリームについて多重化処理を行い、3D表示情報を当該ビデオストリームのストリーム管理情報に格納した後、L-R格納画像をピクチャデータとするビデオストリームと、ビデオストリームについてのストリーム管理情報とを、トランスポートパケット列に変換して、オーディオストリーム、字幕ストリームに多重化する。かか多重化で得られたトランスポートストリームをストレージに書き込む。ストレージに書き込まれたトランスポートストリームは、送信部４０２に供され、放送される。
【０１５２】
以上がビデオ符号化部１１、多重化処理部１２についての説明である。続いて、データ格納方法決定部１３、ユーザインターフェイス部１４について説明する。データ格納方法決定部１３及びユーザインターフェイス部１４は、クライアントコンピュータである。構内ネットワークの各ストレージにおいて、3D映像原画、ビデオストリーム、オーディオストリーム、字幕ストリーム、トランスポートストリーム等を格納したファイルは、GUIにおいてアイコンやサムネール等により視覚的に表現される。ユーザは、ユーザインターフェイス１４のGUIに表示されたアイコンやサムネールに対してドラッグ操作、ドロップ操作、クリック操作を行うことにより、3D映像原画、ビデオストリーム、オーディオストリーム、字幕ストリーム、トランスポートストリーム等に対して、コピー操作や削除操作、その他、編集操作を実行することができる
以下、データ格納方法決定部１３について説明する。データ格納方法決定部１３は、ユーザインターフェイスを通じて、L-R格納画像における左目用画像、右目用画像の格納方式の一覧を提示し、ユーザから操作に応じて、この一覧に掲げた格納方式の何れかを指定する。例えば、データ格納方法決定部１３は、図８の例に示す映像フォーマットのトランスポートストリームを作成する場合には、「フルHDのサイドバイサイド方式の3D映像」と指定する。この情報は、ビデオ符号化部１１、多重化処理部１２に通知される。ストレージに格納されている原画像には、様々な解像度のものがあるので、左目用画像となる原画像及び右目用画像となる原画像の組合せは、図１４に示した4つのサイドバイサイドのレイアウト、図１５に示した2つのトップアンドボトムのレイアウトのうち何れに該当することになる。左目用画像、右目用画像の格納方式が何であるか、左目用画像、右目用画像の解像度が何であるかによって、L-R格納画像のレイアウトがどれになるかは一義的に定まるので、そのようにして定めたレイアウトから、シナリオメモリ１３は2D表示情報におけるクロッピング情報の指定やスケーリング情報を自動的に設定する。
【０１５３】
以上がデータ作成装置についての説明である。続いて、このデータ作成装置のハードウェア資源を前提にした符号化方式の処理手順について説明する。
【０１５４】
データ作成装置には、図１９〜図２２の処理手順をコンピュータコードで記述したプログラムが予め組込まれており、データ作成装置におけるクライアントコンピュータのMPU、サーバコンピュータのMPUが、このプログラムの処理手順を実行することによりソフトウェア制御を実現する。次に、符号化方法の詳細について説明する。図１９は、本発明にかかる符号化方法の処理手順を示すフローチャートである。
【０１５５】
まず、ビデオ符号化部１１は、上述の表示情報を生成する（ステップS１）。具体的には、ピクチャデータを構成する画面領域を分割して得られた分割領域のそれぞれに左目用画像と右目用画像とを格納した画像（L-R格納画像と呼ぶ）に対して、第１の画面領域をクロッピング領域として指定したクロッピング情報を含む第１の表示情報と、第２の画面領域をクロッピング領域として指定したクロッピング情報を含む第２の表示情報を生成する。ここで、第１の画面領域及び第２の画面領域の指定方法（決め方）は、本明細書の他の欄に記載の通り様々な例がある。
【０１５６】
次に、ビデオ符号化部１１は、L-R格納画像を符号化した後、生成した表示情報を符号化された画像データの所定位置に入れて、上述したようなフォーマットのビデオストリームを生成する（ステップS２）。上記の符号化方法によれば、2D表示装置に2D映像が、3D表示装置に3D映像が正しく表示可能である、互換性の高い3Dビデオストリームを提供することができる。
【０１５７】
以上が本発明にかかる符号化方法の処理手順についての説明である。本発明にかかる符号化方法はデジタル放送番組を作成するためのデータ処理装置上で使用するから、符号化方法の実施形態としては、上記デジタル放送番組を作成するための基本的な処理手順が必要になる。続いて、データ処理装置上で符号化方法を実施するための符号化方法の詳細について説明する。ここで、デジタル放送番組の作成のための基本的な処理手順とは、ビデオストリーム以外のエレメンタリストリームを生成する行程、そうして生成された複数種別のエレメンタリストリームを多重化する行程のことである。ビデオストリーム以外のエレメンタリストリームとは、オーディオストリーム、字幕ストリームのことであり、多重化行程では、これらビデオストリームと、オーディオストリームと、字幕ストリームとが多重化されることになる。以下、図２０のフローチャートについて説明する。図２０は、デジタル放送番組作成を前提にした符号化方法の処理手順を示すフローチャートである。本フローチャートは、図１９のフローチャートとの共通の処理手順(ステップS１、ステップS２)に、デジタル放送番組の作成のための基本的な処理手順(ステップS３、ステップS４、ステップS５)を追加したものになっている。
【０１５８】
まず、3D映像の原画像が入力された時に、ビデオ符号化部１１は、データ格納方法決定部１３により決定されたデータ格納方法に従い、入力された3D映像の原画像から、L-R格納画像と上述の表示情報を生成する（ステップS１）。
【０１５９】
次に、ビデオ符号化部１１は、生成したL-R格納画像を符号化した後、生成した表示情報を符号化された画像データの所定位置に入れて、上述したようなフォーマットのビデオストリームを生成する（ステップS２）。
【０１６０】
次に、オーディオストリームの生成（ステップS３）、字幕ストリームの生成（ステップS４）を行い、生成したビデオストリーム、オーディオストリーム及び字幕ストリームに対し多重化処理を行って、一つのトランスポートストリームに多重化する（ステップS５）。なお、オーディオストリーム、字幕ストリームが存在しない場合は、ステップS３、ステップS４、ステップS５を省略してもよい。
【０１６１】
この図２０のフローチャートは、メインルーチンにあたるものであり、本フローチャートの下位のフローチャートとして、図２１〜図２３におけるサブルーチンのフローチャートが存在する。以下、図２１〜図２３について説明する。
【０１６２】
図２１は、実施形態１に係るL-R格納画像と表示情報の生成を説明するフローチャートである。本フローチャートにおける変数(i)は、処理対象となる個々のL-R格納画像を特定するための制御変数である。従って、以降のフローチャートにおいて、ループのi巡目の処理で処理対象となるL-R格納画像をL-R格納画像(i)と表記することにする。更に、L-R格納画像(i)に格納される左目用画像、右目用画像を"左目用画像(i)、右目用画像(i)"と表し、L-R格納画像(i)に対応するビデオアクセスユニットを"ビデオアクセスユニット(i)"、このビデオアクセスユニットに対応するフレームを"フレームi"と表す。
【０１６３】
本図のフローチャートは、ステップS１２〜ステップS２０の処理を全てのフレームについて繰り返すループ構造になっている(ステップS１０、ステップS１１）
まず、ビデオ符号化部１１により、3D映像原画から得られたフレームiの左目用画像（i）と右目用画像（i）をハーフHDに設定する（ステップS１２）。次に、ビデオ符号化部１１は、データ格納方法決定部１３により指定されたデータ格納方法に従い、ハーフHDの左目用画像（i）と右目用画像（i）をそれぞれ同一画面内の分割領域に格納してL-R格納画像（i）を得る（ステップS１３）。当該データ格納方法は、上述のサイドバイサイド方式やトップアンドボトム方式などが挙げられる。
【０１６４】
次に、生成したL-R格納画像（i）に対して、表示装置にハーフHDからフルHDへの変換を命じるスケーリング情報を生成する（ステップS１４）。
【０１６５】
次に、ビデオ符号化部１１は、2D再生用の映像が左目用画像であるか否かを判定し（ステップS１５）、判定結果が「YES」の場合、L-R格納画像（i）のうち左目用画像（i）をクロッピング領域として指定する左目用クロッピング情報を生成する（ステップS１８）。かつ、生成した左目用クロッピング情報とステップS１４で生成したスケーリング情報を、フレームiについての2D表示情報とする（ステップS１９）。
【０１６６】
判断結果が「NO」の場合、L-R格納画像（i）のうち右目用画像（i）をクロッピング領域として指定する右目用クロッピング情報を生成する（ステップS１６）。かつ、生成した右目用クロッピング情報とステップS１４で生成したスケーリング情報とを、フレームiについての2D表示情報とする（ステップS１７）。
【０１６７】
2D表示情報を生成した後、さらにクロッピング領域として全画面を指定したクロッピング情報と、１倍を指定したスケーリング情報とを生成し、生成したクロッピング情報とスケーリング情報とを、3D表示情報とする（ステップS２０）。
【０１６８】
次に、全てのフレームについて上述の処理を繰り返し、各フレーム毎のL-R格納画像を生成してL-R格納画像を構成し、各フレームについての2D表示情報と3D表示情報を生成する（ステップS１０、S１１）。
【０１６９】
なお、図２１のフローチャートにおいて、スケーリング情報の生成（ステップS１４）を省略してもよい。その場合、表示装置は表示デバイス（表示画面）のサイズに基づいてスケーリングを行う。すなわち、2D表示情報および3D表示情報を構成する情報として、クロッピング情報は必須であるが、スケーリング情報は省略可能な任意の要素である。
【０１７０】
次に、ビデオ符号化部１１は、上述のように生成したL-R格納画像と表示情報を用いて、L-R格納画像を符号化する。図２２は、L-R格納画像の符号化処理を説明するフローチャートである。図２２では各フレーム毎のL-R格納画像に対してステップS２３〜ステップS２８の処理を実行するループ構造になっている(ステップS２１、ステップS２２)。
【０１７１】
まず、L-R格納画像（i）を構成するスライスを符号化し（ステップS２３）、次に現在符号化処理を行っているL-R格納画像(i)はビデオシーケンス先頭のビデオアクセスユニットであるかを判定し（ステップS２４）、判断結果が「YES」の場合、ステップS２５に移行し、シーケンスヘッダ、ピクチャヘッダ、補足データを符号化スライスの前に付与してビデオアクセスユニット（i）を取得し、その後、得られたビデオアクセスユニット（i）のシーケンスヘッダに、生成した2D表示情報を設定する（ステップS２６）。
【０１７２】
判断結果が「NO」の場合、ステップS２７に移行し、ピクチャヘッダ、補足データを符号化スライスの前に付与してビデオアクセスユニット（i）を取得する。
【０１７３】
次に、ステップS２８に移行し、ビデオアクセスユニット（i）の補足データに、生成した3D表示情報を設定することにより、フレームiのL-R格納画像(i)に対する符号化を完成する。続いて、全てのフレームに対し上述の符号化処理を繰り返して、再生に利用可能なビデオストリームを生成する。
【０１７４】
図２３は、実施形態１に係る多重化処理を説明するフローチャートである。図２３に示すように、多重化処理部１２は、ビデオストリームを含む各エレメンタリストリームについてトランスポートストリームのパケット化を行い（ステップS４１）、ビデオ符号化部１１から得られた3D表示情報を用いて、ストリーム管理情報（例えばPMTパケット）に3D表示情報を格納して、3D表示情報を格納したPMTを含むトランスポートパケットを生成する（ステップS４２）。次に、多重化処理部１２は、PMTを格納したTSパケットと、エレメンタリストリームを格納したTSパケットから、トランスポートストリームを得る（ステップS４３)。以上が実施形態１に係る符号化方法についての説明である。
【０１７５】
以上のように本実施形態によれば、2D表示情報は、右目用画像、左目用画像のうち何れかをクロッピング領域として指定したクロッピング情報の設定のみが従来の表示情報と異なり、クロッピング情報の設定以外は、表示装置に対してクロッピングやスケーリング変換を指示する従来の表示情報と変わらない。このため2D表示情報を含む3Dビデオストリームが従来の表示装置に供給された場合、表示装置がクロッピング情報、スケーリング情報に基づき、クロッピング、又はスケーリングを行うことができる。こうすることで、従来の2D表示装置のハードウェアを利用して表示内容が正しいものになるので、実用的価値は大きい。
【０１７６】
3D表示情報は、クロッピング情報又はスケーリング情報を含んでいるため、表示装置は、3D表示情報に基づき正しい右目用画像領域及び左目用画像領域を容易に見つけることができ、同一のピクチャデータに格納されている、右目用画像、左目用画像のそれぞれを正しく切り出して立体視再生に供することができる。従って、右目用画像、左目用画像がピクチャデータに横方向又は縦方向に並んで格納されていたとしても、又はピクチャデータに対する右目用画像と左目用画像の割合の大きさが異なっていたとしても、ビデオストリームにおける3D表示情報を抽出することにより伝送方式に関係なく、ピクチャデータに格納されている右目用画像及び左目用画像を正しく切り出すことができ、安定した立体視再生を実現することができる。また、3D映像を製作する者は、従来の技術に比べ、右目用画像、左目用画像の格納又は伝送の仕方や、ピクチャデータに対する右目用画像と左目用画像の割合を従来よりも自由に設定することができる。
【０１７７】
（実施の形態２）
本実施形態では、上述の符号化処理において生成したトランスポートストリームを表示する表示装置に関する。
【０１７８】
図２４は、実施形態２に係る2D表示装置３１０の内部構成を示す図である。
【０１７９】
2D表示装置は、入力されたビデオストリームに対して表示処理を行うものであり、映像デコード部２４（復号化部）、表示処理部２５、フレームバッファ(1)２７（第１フレームバッファ部）、フレームバッファ(2)２８（第２フレームバッファ部）から構成される。
【０１８０】
映像デコード部２４は、ビデオストリームを受け取ると、受け取ったストリームの復号化を行う。L-R格納画像である3D映像のフレームは、サイドバイサイド方式で構成されているフレームである。映像デコード部２４は、復号化されたフレームをフレームバッファ(1)２７へ書き込んで保存する。
【０１８１】
表示処理部２５は、フレームバッファ(1)２７に格納された復号化済みピクチャデータから2D表示情報を取り出して2D表示情報のクロッピング情報とスケーリング情報を元に表示方法を決定する。即ち、2D表示情報に従って、フレームバッファ(1)２７に格納された非圧縮のピクチャデータに対して表示処理を施し、処理結果をフレームバッファ(2)２８に書き込む。
【０１８２】
具体的には、表示処理部２５は、フレームバッファ(1)２７に格納された復号化済みビデオストリームのシーケンスヘッダなどから2D表示情報を取り出す。取り出した2D表示情報におけるクロッピング情報に従い、フレームバッファ(1)２７に格納されたピクチャデータのうちクロッピング領域として指定された部分を読み出して、クロッピングを完成する。かつ、表示処理部２５は、上記2D表示情報内のスケーリング情報に従い、読み出したクロッピング領域の部分に対してスケーリング変換を施した上で、フレームバッファ(2)２８に書き込む。
【０１８３】
ここで、上記2D表示装置の構成要素と、図１１を用いて説明したMPEG-4 AVCビデオデコーダのデコーダモデルの構成要素との対応関係について説明する。
【０１８４】
図２４の映像デコード部２４は、図１１におけるトランスポートバッファ(TB)１、マルチプレクスドバッファ(MB)２、エレメンタリバッファ(TB)３、デコーダコア４に対応する。図２４の表示処理部２５は、図１１における表示処理部８、スケーラ６に対応する。図２４のフレームバッファ(1)２７は、図１１におけるデコーデッドピクチャバッファ(DPB)５に対応する。図２４のフレームバッファ(2)２８は、図１１におけるビデオプレーン７に対応する。
【０１８５】
なお、図１１を用いて説明したMPEG-4 AVCビデオデコーダのデコーダモデルは、一つの例であるので、本発明に係る2D表示装置の実施形態は、図１１の構成に限定されない。
【０１８６】
以上が、本発明に係る2D表示装置の実施形態である。上記の2D表示装置によれば、2D表示情報を含む3Dビデオストリームが供給された場合、右目用画像と左目用画像が並んだ画像をそのまま表示することなく、正しい内容の2D画像を表示することができる。
【０１８７】
続いて、この2D表示装置をベースにした2Dデジタルテレビの内部構成について説明する。本実施形態に係る2Dデジタルテレビは、具体的には、2D映像の表示が可能なプラズマテレビや液晶テレビなどの装置であり、ビデオストリームを送出するトランスポートストリームを受信する。2Dデジタルテレビの内部構成は、2Dテレビ機器としての基本的な機能を担保するための構成要素を、2D表示装置の構成要素に追加した形態になっている。図２５は、2Dデジタルテレビ３００の内部構成を示す図である。本図において破線で囲んだ部位が2D表示装置の構成要素である。そして、2Dテレビ機器としての基本的な機能を担保するための構成要素とは、2D表示装置にビデオストリームを供給するための構成要素(チューナ２１、NIC２２、多重分離部２３)、ビデオストリーム以外の他のエレメンタリストリームを処理するための構成要素(字幕デコード部２９、OSD作成部３０、加算部３１、音声デコード部３２)、ユーザとの対話性を実現するための構成要素(表示部２６、スピーカ３３、ユーザインターフェイス部３４)がある。また、2Dテレビ機器としての基本的な機能を担保するための構成要素が存在するため、2D表示装置の構成要素は、この2Dテレビ機器としての基本的な機能を担保するための構成要素との入出力を実現する。以下、2Dデジタルテレビ３００の構成要素を参照符号に沿って説明する。
【０１８８】
2Dデジタルテレビ３００は、図２５に示すように、チューナ２１、NIC２２、多重分離部２３、映像デコード部２４、表示処理部２５、表示部２６、フレームバッファ(1)２７、フレームバッファ(2)２８、字幕デコード部２９、OSD作成部３０、加算部３１、音声デコード部３２、スピーカ３３、ユーザインターフェイス部３４から構成される。そのうち、映像デコード部２４、表示処理部２５、フレームバッファ(1)２７、フレームバッファ(2)２８は、前に説明した2D表示装置３１０と共通の構成要素であり、同一の参照符号を付している。
【０１８９】
チューナ２１は、デジタル放送波のトランスポートストリームを受信し、受信した信号を復調する機能を有している。
【０１９０】
ネットワークインターフェイスカード(NIC)２２は、IPネットワークと接続されており、外部から入力されたトランスポートストリームを受信する機能を有している。
【０１９１】
多重分離部２３は、受信したトランスポートストリームを、ビデオストリームと、それ以外の音声ストリーム、グラフィクスストリームなどに分離し、ビデオストリームを映像デコード部２４へ出力する。また多重分離部２３は、チューナ２１やNIC２２からトランスポートストリームを読み出すことに加えて、記録媒体からトランスポートストリームを読み出すこともできる。
【０１９２】
映像デコード部２４は、ビデオストリームを多重分離部２３から受け取ると、受け取ったストリームの復号化を行う。この映像デコード部２４の内部には、図１１（a）に示したデコーダモデルの構成要素のうち、TB１、MB２、EB３、デコーダコア４、スケーラ６が存在する。L-R格納画像である3D映像のフレームは、サイドバイサイド方式で構成されているフレームである。映像デコード部２４は、復号化されたフレームをフレームバッファ(1)２７へ書き込んで保存する。
【０１９３】
表示処理部２５は、前に説明した2D表示装置の表示処理部２５と同様の処理を行う。
【０１９４】
表示部２６は、フレームバッファ(2)２８に書き込まれるフレームを、指定されるフレームレートで順次ディスプレイに表示する。
【０１９５】
フレームバッファ(1)２７は、デコーデッドピクチャバッファ５に該当する構成要素であり、映像デコード部２４で復号化されたフレームを格納するための領域を有する。
【０１９６】
フレームバッフア(2)２８は、ピクチャプレーンに該当する構成要素であり、表示処理部２５で復号化されたフレームを格納するための領域を有する。
【０１９７】
字幕デコード部２９は、多重分離部２３による多重分離で得られた字幕ストリームをデコードする。
【０１９８】
OSD作成部３０は、ユーザインターフェイスに対してなされたユーザ操作に従い、電子番組ガイド(EPG)やセットアップメニューとなるオンスクリーディスプレイを作成する。
【０１９９】
加算部３１は、字幕デコード部のデコードで得られた字幕、OSD作成部が作成したオンスクリーディスプレイを復号化されたフレームに合成する。ここでの合成は所定の階層構造に基づく。この階層構造とは、ビデオプレーンが下位のレイヤに存在していて、その1つ上のレイヤに字幕が存在し、更にその上のレイヤにOSDが存在するというものである。レイヤ合成部６は、この階層構造に従ってレイヤ合成を行い、ピクチャデータのそれぞれに、字幕やOSDが合成された合成映像を得て、出力に供する。 
【０２００】
音声デコード部３２は、多重分離で得られたオーディオストリームをデコードする。
【０２０１】
スピーカ３３は、音声デコード部３２のデコードで得られた非圧縮のオーディオを出力する。
【０２０２】
ユーザインターフェイス部３４は、電子番組ガイド(EPG)やセットアップメニューの呼び出し操作やチャネル選択操作をユーザから受け付けて、かかる操作に基づき選局や表示処理を行うよう、多重分離部２３、表示処理部２５を制御する。
【０２０３】
以上が2Dデジタルテレビ３００についての説明である。続いて、3D表示装置１１０の詳細について説明する。3D表示装置１１０は、2D表示装置３１０との互換を維持しつつも、立体視再生のための構成要素を具備したものである。図２６は、3D表示装置１１０の内部構成を示す。本図に示すように、3D表示装置１１０は、2D表示装置の構成要素(映像デコード部２４、表示処理部２５、フレームバッファ(1)２７、フレームバッファ(2)２８)と、3D表示装置１１０特有の構成要素(モード記憶部４０、3D変換処理部４１、フレームバッファ(L)４２、フレームバッファ(R)４３)とが存在する。3D表示装置１１０において、新規に追加された構成要素については、４０番台の参照符号を付している。3Dモード特有の改良が施された構成要素(表示処理部２５+)については、２桁の数値に"+"記号を付加することで、2D表示装置の構成要素と区別している。以下、3D表示装置１１０特有の構成要素(モード記憶部４０、3D変換処理部４１)と、3D表示装置１１０のために改良が施された構成要素(表示処理部２５+)とについて、モード記憶部４０→表示処理部２５+→3D変換処理部４１の順序で説明する。
【０２０４】
モード記憶部４０は、カレントの表示モードが、2Dモード、3Dモードの何れであるかを示すフラグを格納している。
【０２０５】
表示処理部２５+は、2Dモードも3Dモードも実現できるが、モード記憶部５０に記憶されているカレントの表示モードが3Dモードの場合に、2D表示情報よりも  3D表示情報を優先的に参照し、3D表示情報に従って、フレームバッファ(1)２７に格納された非圧縮のピクチャデータに対して表示処理を施し、処理結果をフレームバッファ(2)２８に書き込む。
【０２０６】
3D変換処理部４１は、フレームバッファ(2)２８に書き込まれた非圧縮のピクチャデータに対して、3D変換処理を行う。ここで、3D変換処理とは、１枚のピクチャに格納された左目用画像と右目用画像をそれぞれ切り出して、拡大することで、3D表示に使用する左目用画像と右目用画像を生成することである。
【０２０７】
3D変換処理によって生成された左目用画像と右目用画像は、それぞれフレームバッファ(L)４２、フレームバッファ(R)４３に書き込まれる。
【０２０８】
本実施形態で想定しているマルチビュー格納画像はL-R格納画像であるから、図２６の3D表示装置には、左目用のフレームバッファ４２、右目用のフレームバッファ４３が存在する。本実施形態で想定しているマルチビュー格納画像が、3つ以上の視点画像を格納している場合、3D表示装置には、3つ以上の視点画像のそれぞれに対応する3つ以上のフレームバッファが存在することはいうまでもない。
【０２０９】
以上が、本発明に係る3D表示装置の実施形態である。上記の3D表示装置によれば、3D表示情報に基づき正しい右目用画像領域及び左目用画像領域を容易に見つけることができ、同一のピクチャデータに格納されている、右目用画像、左目用画像のそれぞれを正しく切り出して立体視再生を行うことができる。
【０２１０】
続いて、3Dデジタルテレビ１００の詳細について説明する。本実施形態に係る3Dデジタルテレビ１００は、3Dテレビ機器としての基本的な機能を担保するための構成要素を、3D表示装置１１０の構成要素に追加した形態になっている。図２７は、3Dデジタルテレビ１００の内部構成を示す図である。本図において破線で囲んだ部位が3D表示装置１１０の構成要素である。そして、3Dテレビ機器としての基本的な機能を担保するための構成要素とは、図２５に示した2Dデジタルテレビの構成要素と同じもの(チューナ２１、NIC２２、多重分離部２３、表示部２６、字幕デコード部２９、OSD作成部３０、加算部３１、音声デコード部３２、スピーカ３３、ユーザインターフェイス部３４)と、3Dデジタルテレビ１００特有のもの(スイッチ４４)とがある。3Dモード特有の改良が施された構成要素(多重分離部２３+、表示処理部２５+、表示部２６+、ユーザインターフェイス部３４+)については、２桁の数値に"+"記号を付加することで、2Dデジタルテレビ３００の構成要素と区別している。また、映像デコード部２４、フレームバッファ(1)２７、フレームバッファ(2)２８、表示処理部２５+、モード記憶部４０、3D変換処理部４１、フレームバッファ(L)４２、フレームバッファ(R)４３は、前に説明した3D表示装置１１０と共通の構成要素であり、同一の参照符号を付している。
【０２１１】
以下、3Dデジタルテレビ１００特有の構成要素(スイッチ４４)について説明する。
【０２１２】
スイッチ４４は、フレームバッファ（L）４２、フレームバッフア（R）４３に書き出されたフレーム画像を選択して表示部２６に転送する。表示するフレームに応じてフレームバッフア（L）４２、フレームバッフア（R）４３を交互に選択して表示する。
【０２１３】
以上が3Dデジタルテレビ１００特有の構成要素についての説明である。続いて、3Dデジタルテレビ１００特有の改良が施された構成要素(多重分離部２３+、表示処理部２５+、表示部２６+、ユーザインターフェイス部３４+)について説明する。
【０２１４】
多重分離部２３+は、受信したトランスポートストリームを、ビデオストリームと、それ以外の音声ストリーム、グラフィクスストリームなどに分離し、ビデオストリームを映像デコード部３４へ出力する。また多重分離部２３+は、受信したトランスポートストリームからPSIなどのシステムパケットを抽出して、PMTパケットなどのトランスポートストリームのストリーム管理情報から、表示を行うビデオストリームに対応する3D表示情報を取得する機能を有しており、ストリーム管理情報から3D表示情報を抽出すると、当該3D表示情報を表示処理部２５+に通知する。また、多重化分離部２３+は、チューナ２１やNIC２２からトランスポートストリームを読み出すことに加えて、記録媒体からトランスポートストリームを読み出すこともできる。
【０２１５】
表示処理部２５+は、モード記憶部４１におけるカレント表示モードが3Dモードの場合に、2D表示情報よりも3D表示情報を優先的に参照して、3D表示情報のクロッピング情報とスケーリング情報とを元に表示方法を決定する。具体的には、表示処理部２５+は、ビデオストリームの補足データなどから3D表示情報を取り出し、取り出した3D表示情報内のクロッピング情報に従い、フレームバッファ(1)２７に格納されたピクチャデータのうちクロッピング領域として指定された部分を読み出して、クロッピングを完成する。かつ、表示処理部２５+は、上記3D表示情報内のスケーリング情報に従い、読み出したクロッピング領域の部分に対してスケーリング変換を施した上で、フレームバッファ(2)２７に書き込む。
【０２１６】
表示部２６+は、スイッチ４４から転送されたフレームを表示する。表示部２６+は3D眼鏡に通信を行い、左目用画像が表示されるときは、3D眼鏡の左目側が開き、右目用画像が表示されるときは、3D眼鏡の右目側が開くように3D眼鏡の液晶シャッタを制御する。
【０２１７】
ユーザインターフェイス部３４+は、2Dモード、3Dモードの選択操作をユーザから受け付けて、モード記憶部４０におけるフラグを書き換えることができる。2Dモード、3Dモードの設定・変更は、再生装置に予め組込まれたセットアップメニューを介してなされる。本実施形態のセットアップメニューには、音声言語設定、字幕言語設定といった一般的なセットアップ項目の他に、2Dモード、3Dモードの設定項目が存在しており、リモコンを通じて、かかる項目を設定すれば、モード記憶部４０におけるフラグの設定値が書き換えられることになる。
【０２１８】
以上が3Dデジタルテレビ１００の内部構成についての説明である。当然のことであるが、3Dテレビ機器としての基本的な機能を担保するための構成要素は、3D表示装置に係る発明の実施のために記載したに過ぎない。表示装置に係る発明が、3Dテレビ機器以外の他の機器として実施される場合は、その他の機器における基本的機能を担保するための構成要素に置き換えられることはいうまでもない。
【０２１９】
この3Dデジタルテレビ１００の内部構成は、コンピュータのハードウェア資源に該当するものであり、上記課題解決手段を具備した復号化方法は、このハードウェア資源に対して処理手順を命じるコンピュータコードとして、3Dデジタルテレビ１００上に実装される。ここで、図２７において破線で囲んだ部分は、図２６に示した本発明にかかる「表示装置」に相当する。
【０２２０】
続いて、復号化方法の詳細について説明する。図２８は、実施形態１に係る復号化方法の処理手順を示すフローチャートである。本フローチャートは、最上位の処理、つまり、メインルーチンに該当するものであり、本フローチャートの下位のフローチャートとして図２９のフローチャートが存在する。以下、メインルーチンにおける処理手順について説明する。
【０２２１】
図２８に示すように、まず、映像デコード部２４のデコーダコアは、復号化部が備えるエレメンタリストリームバッファ（EB：Elementary  Stream  Buffer）などのバッファに格納された多重化分離済みのビデオストリームから、カレントPTM（Presentation Time）を復号化時刻DTS（Decoding  Time-Stamp）とするビデオアクセスユニットをサーチし（ステップS５２）、次に、サーチしたビデオアクセスユニット内の圧縮ピクチャデータを復号化して、非圧縮のL-R格納画像を生成してフレームバッファ(1)２７に書き込む（ステップS５３）。
【０２２２】
ここで、カレントPTMとは、プレーヤ内クロックにおけるシステムタイムクロック（STC）時間軸での現在時刻のことである。
【０２２３】
次に、表示処理部２５+は、カレントPTMをピクチャの表示時刻PTS（Presentation  Time-Stamp）とするビデオアクセスユニットをサーチし（ステップS５４）、サーチされたビデオアクセスユニットをカレントのビデオアクセスユニットとする（ステップS５５）。
【０２２４】
続いてモード記憶部４０によりカレントのモードを判定し（ステップS５６）、カレントのモードが2Dモードの場合には、ステップS５７に移行し、表示処理部２５+は、カレントのビデオアクセスユニットを構成するネットワーク抽象レイヤーユニットのシーケンスヘッダから、2D表示情報であるクロッピング情報とスケーリング情報を取得し（ステップS５７）、クロッピング情報に従い、フレームバッファ(1)２７からL-R格納画像内のクロッピング領域を切り出す（ステップS５８）。次に、表示処理部２５+は、スケーリング情報に従い、切り出したクロッピング領域をスケーリングした後、スケーリングしたピクチャをフレームバッファ(2)２８に格納する（ステップS５９）。これにより、2D映像の復号化が完了したため、表示部２６+は、フレームバッファ(2)２８からピクチャデータを読み出して再生することができる。
【０２２５】
一方、カレントのモードが3Dモードの場合には、ステップS６０の3Dモード表示処理に入る(ステップS６０)。図２９は、実施形態２に係る3Dモード表示処理を詳しく説明するフローチャートである。
【０２２６】
図２９に示すように、3Dモード表示処理に入った後、まず、表示処理部２５+は、カレントのビデオアクセスユニットの補足データから3D表示情報をサーチし、3D表示情報が存在するか否かを判定する（ステップS７１）。判定結果が「YES」の場合には、ステップS７２に移行し、カレントのビデオアクセスユニットの補足データから、3D表示情報であるクロッピング情報とスケーリング情報を取得する。一方、判定結果が「NO」の場合には、ステップS７３に移行し、多重化分離部２３+によりカレントPTMをサーチし、カレントPTMから3D表示情報であるクロッピング情報とスケーリング情報を取得する（ステップS７３）。
【０２２７】
次に、表示処理部２５+は、取得したクロッピング情報に従い、フレームバッファ(1)２７からL-R格納画像内のクロッピング領域（例えば全画面）を切り出す（ステップS７４）。次に、表示処理部２５+は、取得したスケーリング情報に従い、切り出したクロッピング領域をスケーリングした後、スケーリングしたピクチャをフレームバッファ(2)２８に格納する（ステップS７５）。
【０２２８】
次に、最終にフレームバッファ(2)２８に格納したピクチャを用いて、通常の3D再生を行う。即ち、3D方式情報などに従い、フレームバッファ(2)２８に格納したピクチャに3D変換を行って、それぞれフレームバッファ(R)/(L)の何れかに書き込む（ステップS７６）。
【０２２９】
これにより、3D映像の復号化が完了したため、表示部２６+は、フレームバッファ(R)/(L)からそれぞれピクチャデータを読み出して再生することができる。再生装置は、表示情報を格納した具体的な位置に従い、2D表示情報か3D表示情報かを識別して再生を行うことができるので、簡単な構成により画面表示効果の向上が実現する。
【０２３０】
上述の例では、表示処理部は、先に補足データから3D表示情報を取り出すことを試みた後、ストリーム管理情報をサーチする。即ち、表示処理部は、ビデオアクセスユニット内の補足データから3D表示情報を取り出し、ビデオアクセスユニット内の補足データに3D表示情報が存在しない場合に、ビデオストリームについてのストリーム管理情報から3D表示情報を取り出すことになる。
【０２３１】
以上のように本実施形態によれば、既存の2Dデジタルテレビ３００の内部構成に、3D表示情報を処理するための構成要素を追加し、既存の2Dデジタルテレビ３００の構成要素の一部を改良するだけで、3D表示情報の処理を行える3Dデジタルテレビ１００を開発して市場に送り出すことができる。3Dデジタルテレビ１００の製造コストを低廉にすることにより、3Dデジタルテレビ１００の普及に拍車をかけることができる。
【０２３２】
(実施の形態３)
実施の形態１における3D表示情報のクロッピング情報、スケーリング情報は、フレーム領域全体を指定していた。これに対して本実施形態における3D表示情報のクロッピング情報は、フレーム領域を2つに分割することで得られた分割領域のうち、2D表示情報のクロッピング情報にて指定されているものとは異なる領域を指定する。
【０２３３】
2D表示情報のクロッピング情報は、左目用画像及び右目用画像のうち2D互換画像として表示されるべき領域をクロッピング領域として指定しているから、フレーム領域の残りの分割領域には、2D互換画像の反対視線の映像、つまり2D非互換画像が存在すると考える。よって表示装置は、2D表示情報を取得する度に、2D表示情報のクロッピング情報によって指定されているクロッピング領域を切り出す処理を行い、2D互換画像である左目用画像を得る。そうして得た左目用画像を、左目用のビデオプレーン４に書き込む。
【０２３４】
一方、3D表示情報を取得する度に、3D表示情報のクロッピング情報によって指定されているクロッピング領域を切り出す処理を行い、2D非互換画像である右目用画像を得る。そうして得た右目用画像を右目用のビデオプレーン４に書き込む。こうすることで、左目用画像及び右目用画像が表示に供されることになる。
【０２３５】
図３０は、実施の形態３に係る3D表示情報の指定を示す図である。本図は、図１３をベースとして作図されており、また破線の枠がクロッピング領域を示している点も、図１３と同一である。このベースとなる構成と比較して図３０（b）の内容が異なる。具体的にいうと、3D表示情報におけるクロッピング情報は、2D表示情報で指定されていた領域の反対側の領域をクロッピング領域として指定している。つまり図３０（a）の2D表示情報のクロッピング情報は、左半分の領域（第１の画面領域の一例）をクロッピング領域として指定しているが、図３０（b）の3D表示情報のクロッピング情報は、右半分の領域（第２の画面領域の一例）をクロッピング領域として指定している。
【０２３６】
このように、2D表示情報で指定されていたクロッピング領域の反対側を、3D表示情報用のクロッピング領域として指定するため、3Dモードにおいて表示装置は、その3D表示情報のクロッピング情報に従い、クロッピング領域を切り出せば足りる。
【０２３７】
図３０においては、サイドバイサイド方式のフルHD映像の場合に、2D表示情報が左目側のハーフHDの領域を指している場合には、3D表示情報は右目側のハーフHDの領域を指定することになる。従って、再生時において表示装置は、2D表示情報と3D表示情報を組み合わせさえすれば3D映像を再生することができる。
【０２３８】
即ち、3D表示情報内のクロッピング情報は、2D表示情報がクロッピング領域として指定していない領域を、クロッピング領域として指定しているから、2D表示情報内のクロッピング情報及び3D表示情報内のクロッピング情報の両方を用いて、3D表示用の画面領域を指定することになる。
【０２３９】
この場合に、実施の形態３において図２６に示す表示装置で3D表示を行う場合は以下の注意が必要になる。3D表示情報内のクロッピング情報は、上記2D表示情報にクロッピング領域として指定していない領域を、クロッピング領域として指定しているので、表示処理部２５+は、フレームバッファ(1)に格納されたピクチャデータのフレーム領域のうち、2D表示情報内のクロッピング情報により指定されたクロッピング領域と、3D表示情報内のクロッピング情報により指定されたクロッピング領域との双方を読み出して、フレームバッファ(2)に書き込む。
【０２４０】
以下、2D表示情報のframe-cropping情報で指定していたクロッピング領域の反対側の領域を、3D表示情報のframe-cropping情報が指定している場合の具体的な符号化方法の処理手順、復号方法の処理手順について説明する。
【０２４１】
2D表示情報のframe-cropping情報で指定していたクロッピング領域の反対側の領域を、3D表示情報のframe-cropping情報が指定している場合、ビデオストリームがMPEG-4 AVCであれば、図１２（a）と同様の形式で、反対側のクロッピング領域を指定すればよい。具体的には、3D表示情報のframe-cropping情報に、MPEG-4 AVCで規定されたframe-crop_offset,frame-crop_bottom_offset,frame-crop_left_offset,frame-crop_right_offsetというフィールドを設け、これらで、フレーム領域とクロッピング領域との上下左右のオフセットを規定すればよい。このように規定すれば、既存のMPEG-4 AVCデコーダの処理手順との互換を維持できる形で、3D表示情報を処理することができる。
【０２４２】
以上が実施形態３に係る3D表示情報におけるクロッピング情報についての説明である。続いて、かかる3D表示情報の改良に伴う符号化方法の改良及び復号化方法の改良について説明する。
【０２４３】
実施形態１において図２１〜図２３を用いて示したL-R格納画像及び表示情報の生成の処理手順、L-R格納画像のエンコード手順、多重化処理の処理手順は、図３１〜図３３のものに置き換えられ、実施形態２において図２８〜図２９を用いて示した復号映像の処理手順、3Dモード表示処理の処理手順は、図３４〜図３５のもの置き換えられる。以下、図３１〜図３３を参照しながら、実施形態３独特の改良が加えられた符号化方法の処理手順について説明する。
【０２４４】
図３１は、L-R格納画像及び表示情報の生成の詳細を示すフローチャートである。本フローチャートは、全てのフレームについて、ステップS１１２〜ステップS１２０の処理を繰り返すループ構造になっている(ステップS１１０、ステップS１１１)。本フローチャートにおける変数(i)は、処理対象となる個々のL-R格納画像を特定するための制御変数である。従って、以降のフローチャートにおいて、ループのi巡目の処理で処理対象となるL-R格納画像をL-R格納画像(i)と表記することにする。更に、L-R格納画像(i)に格納される左目用画像、右目用画像を左目用画像(i)、右目用画像(i)と表し、L-R格納画像(i)に対応するビデオアクセスユニットをビデオアクセスユニット(i)と表す。
【０２４５】
ステップS１１２〜ステップS１２０の処理は、以下の通りである。ステップS１１２においてフレームの左目用画像(i)と、右目用画像(i)とをハーフHDに設定し、ステップS１１３においてハーフHDの左目用画像(i)と、右目用画像(i)とを指定されたデータ格納方法に従って格納してL-R格納画像(i)を得て、ステップS１１４においてL-R格納画像(i)のうち、左目用画像をクロッピング領域として指定した左目用frame-cropping情報を生成し、ステップS１１５においてL-R格納画像(i)のうち、右目用画像をクロッピング領域として指定した右目用frame-cropping情報を生成する。
【０２４６】
そしてステップS１１６においてハーフHD→フルHDの変換を命じるaspect_ratio_idcを生成する。ステップS１１７は、2D再生されるのが左目用画像であるか否かの判定であり、もし左目用画像なら左目用frame-cropping情報と、aspect_ratio_idcとをフレームについての2D表示情報とする(ステップS１１８)。
【０２４７】
右目用画像であるなら右目用frame-cropping情報と、aspect_ratio_idcとをフレームについての2D表示情報とする(ステップS１１９)。ステップS１２０において、左目用frame-cropping情報及び右目用frame-cropping情報のうち、2D表示情報ではないものと、aspect_ratio_idcとを3D表示情報とする(ステップS１２０)。
【０２４８】
なお、図３１において、aspect_ratio_idc（スケーリング情報）の生成（ステップS１１６）を省略してもよい。その場合、表示装置は表示デバイス（表示画面）のサイズに基づいてスケーリングを行う。すなわち、2D表示情報および3D表示情報を構成する情報として、クロッピング情報は必須であるが、スケーリング情報は省略可能な任意の要素である。
【０２４９】
図３２は、L-R格納画像のエンコード手順を示すフローチャートである。本フローチャートは、全てのフレームのL-R格納画像についてステップS１２３〜ステップS１２９を繰り返すループ構造になっている。ステップS１２３は、L-R格納画像(i)を構成するスライスデータのエンコード手順であり、エンコードが終了すれば、ステップS１２４の判定ステップに移行する。ステップS１２４は、L-R格納画像(i)が、ビデオシーケンス先頭のビデオアクセスユニットであるか否かを判定するものである。シーケンス先頭であれば、SPS,PPS,SEIといったNALユニットを符号化スライスデータの前に付与してビデオアクセスユニット(i)を得て(ステップS１２５)、SPSに2D表示情報を格納する。シーケンス先頭でなければ、PPS、SEIといったNALユニットを符号化スライスデータの前に付与してビデオアクセスユニット(i)を得る(ステップS１２７)。その後、ビデオアクセスユニット(i)のSEIに3D表示情報を設定し(ステップS１２８)、ビデオアクセスユニット(i)を構成するSPS、PPS、SEI、符号化スライスデータをそれぞれNALユニット化して配列する(ステップS１２９)。
【０２５０】
図３３は、L-R格納画像(i)を構成するスライスデータのエンコード手順を示すフローチャートである。ステップS１３０は、L-R格納画像(i)の格納方式がトップアンドボトム方式であるか否かの判定であり、もしそうであれば、ステップS１３１において、上下の左目用画像、右目用画像の下端に余白領域をもうけて、左目用画像、右目用画像の境界をスライスデータのバウンダリィと一致させる。例えば、L-R格納画像が1920×1080である場合、1920×540画素である左目用画像の下部に1920×4画素の余白領域が追加されると共に、1920×540画素である右目用画像の下部に1920×4画素の余白領域が追加されるため、左目用画像と、右目用画像との境界が、スライスデータの境界である16画素に一致することになる。
【０２５１】
このような処理で、境界一致の保証がなされた後、ステップS１３２〜ステップS１３９のループに移行する。このループは、ステップS１３４〜ステップS１３９の処理を、L-R格納画像を構成する全てのスライスデータについて繰り返すものである。ステップS１３４は、スライスデータのピクチャタイプの決定であり、参照ピクチャが存在するようなピクチャタイプであれば、スライスデータを構成するマクロブロックに対してフレーム間動き予測を実行して(ステップS１３６)、マクロブロックを差分化する(ステップS１３７)。参照ピクチャがなければ、ステップS１３６、ステップS１３７をスキップする。ステップS１３８は、マクロブロックのDCT量子化を行い、ステップS１３９においてマクロブロックのエントロピー符号化する。これらの処理が繰り返されることでL-R格納画像を構成するマクロブロックが符号化されてゆく。
【０２５２】
以上が実施形態３に係る符号化方法の処理手順についての説明である。続いて、図３４〜図３５を参照しながら、実施形態３独特の改良が加えられた復号化方法の処理手順について説明する。
【０２５３】
図３４は、復号方法の処理手順を示すフローチャートである。本フローチャートは、ステップS１５１においてカレントPTMがフレーム期間の始期になったかどうかを判定する。カレントPTMとは、表示装置の内部クロックで管理されている現在の再生時刻のことである。カレントPTMがフレーム期間の始期になれば、ステップS１５２〜ステップS１６１の処理を実行する。この処理は、カレントPTMをDTSとするビデオアクセスユニットをElementary Bufferからサーチし(ステップS１５２)、サーチしたビデオアクセスユニット内の圧縮ピクチャデータをデコードして非圧縮のL-R格納画像をフレームバッファ(1)に書き込み(ステップS１５３)、カレントPTMをPTSとするビデオアクセスユニットをサーチして(ステップS１５４)、サーチしたビデオアクセスユニットをカレントビデオアクセスユニットにする(ステップS１５５)という処理を実行した上、ステップS５７の判定ステップを実行するというものである。ステップS１５７は、カレントモードが2Dかどうかの判定であり、もし2Dモードであれば、カレントビデオアクセスユニットのSPSから2D表示情報であるframe-cropping情報、aspect_ratio_idcを取得し(ステップS１５８)、カレントのSPSにおけるframe-cropping情報のframe-crop_offset,frame-crop_bottom_offset,frame-crop_left_offset,frame-crop_right_offsetに従い、フレームバッファからL-R格納画像のクロッピング領域を切り出して(ステップS１５９)、カレントビデオアクセスユニットのaspect_ratio_idcに従い、クロッピング領域のスケーリング変換を行い、フレームバッファに書き込む(ステップS１６０)。ステップS１５７において、カレントモードが3Dモードと判定されたなら、ステップS１６１に移行して3Dモードの表示処理を行う。
【０２５４】
図３５は、3Dモード表示処理の処理手順を示すフローチャートである。ステップS１７１は、カレントビデオアクセスユニットのSEIに、3D表示情報が存在するか否かの判定であり、存在すれば、ステップS１７２においてカレントビデオアクセスユニットのSEIの3D表示情報であるframe-cropping情報、aspect_ratio_idcを取得する。存在しなければ、ステップS１７３においてカレントPTMの3D表示情報であるframe-cropping情報、aspect_ratio_idcを取得する。ステップS１７４において、2D表示情報のframe-cropping情報のframe-crop_offset,frame-crop_bottom_offset,frame-crop_left_offset,frame-crop_right_offsetに従い、フレームバッファ(1)からL-R格納画像のクロッピング領域を切り出して、ステップS１７５において取得したaspect_ratio_idcに従い、切り出されたクロッピング領域のスケーリング変換を行い、フレームバッファ(L)(R)に書き込む。
【０２５５】
ステップS１７６において、3D表示情報のframe-cropping情報のframe-crop_offset,frame-crop_bottom_offset,frame-crop_left_offset,frame-crop_right_offsetに従い、フレームバッファ(1)からL-R格納画像のクロッピング領域を切り出して、ステップS１７７において取得したaspect_ratio_idcに従い、切り出されたクロッピング領域のスケーラ変換を行い、フレームバッファ(L)(R)の何れかに書き込む。
【０２５６】
以上のように本実施形態によれば、2D表示情報でクロッピング領域として指定されていた部分領域と反対側の部分領域を、3D表示情報でクロッピング領域として指定するので、3D表示情報に基づいて実行していた処理を、2D表示情報に基づき実行することで、左目用画像、右目用画像の双方を表示に供することができる。これにより、3Dデジタルテレビ１００のソフトウェア処理の実装を効率的にすることができる。なお、本実施形態の符号化方法を実現するデータ作成装置の構成は、実施の形態１にて図１８を用いて説明したデータ作成装置の構成と同じである為、説明を省略する。
【０２５７】
(実施の形態４)
実施の形態１における3D表示情報のクロッピング情報、スケーリング情報は、フレーム領域全体を指定していた。これに対して本実施形態における3D表示情報ではクロッピング情報を省略する。3D表示情報におけるクロッピング情報の代わりに、3D方式情報を用いる。
【０２５８】
図３６は、実施形態４に係る3D表示情報の指定を示す図である。本図は、図１３（a）（b）をベースとして作図されており、また破線の枠がクロッピング領域を示している点も、図１３と同一である。このベースとなる構成と比較して図１３（b）の内容が異なる。具体的にいうと、図３６（b）では、クロッピング領域が指定されていない。代わりに3D方式情報が表示装置に与えられる。2D表示情報のクロッピング情報と、3D方式情報とを用いて右目用画像の切り出しを行う。つまり3D方式情報がサイドバイサイド方式を示しており、2D表示情報のクロッピング情報で左目用画像がクロッピング領域として指定している場合、そのクロッピング領域の横方向に、右目用画像が存在すると考えられるから、このフレーム領域の右半分を切り出して表示に供する。
【０２５９】
また3D方式情報がトップアンドボトム方式を示しており、2D表示情報のクロッピング情報で左目用画像がクロッピング領域として指定している場合、そのクロッピング領域の下方向に、右目用画像が存在すると考えられるから、このフレーム領域の下半分を切り出して表示に供する。なお、本実施形態の符号化方法を実現するデータ作成装置の構成は、実施の形態１にて図１８を用いて説明したデータ作成装置の構成と同じである為、説明を省略する。
【０２６０】
(実施の形態５)
本実施形態は、ハーフHD２面による3D映像再生を実現する。図３７は、ハーフHD２面のビデオストリームと、ハーフHD２面の拡張ストリームとから、フルHDの左目用画像、右目用画像を得る過程を示す。
【０２６１】
本図の左上は、フルHDのサイドバイサイド方式などのハーフHD２面の3D映像を構成するビデオストリームを示す。
【０２６２】
左下は、ハーフHD２面の3D映像を高解像度化するための差分映像を構成する拡張ストリームを示す。
【０２６３】
2D映像の再生装置の場合にはサイドバイサイド方式のL-R格納画像の格納画像のどちらかを2D表示情報に従って再生し、3D映像の再生装置の場合にはサイドバイサイド方式の左目用画像と右目用画像をスケーリングして拡大して3D映像を表示し、差分情報を使って高解像度化できる3D映像の再生装置の場合にはサイドバイサイド方式の左目用画像と右目用画像の差分情報を使って高解像度化して3D映像を再生する。このケースにおいても図８で説明した映像フォーマットで、2D表示情報を指定し、2D映像の再生装置の場合には2D表示情報のクロッピング情報で指定された領域を拡大表示する。
【０２６４】
再生装置が「ハーフHD２面の3D映像」と「ハーフHD２面の3D映像を高解像度化するための差分映像」との関係を判断するために、組み合わせの情報がPMTのディスクリプタに格納するのが望ましい。
【０２６５】
例えば、MVC_extension_descriptor、又はMVC_operation_point_descriptorなどに格納される。ここで、この高解像度用の差分映像とは、例えば、フルHD２面の左目用画像、右目用画像をサイドバイサイド方式化するために奇数ラインを残してダウンスケーリングしている場合に、偶数ラインを集めたものが左目用画像、右目用画像の差分映像として格納される。
【０２６６】
このように高解像度を実現する方式の場合には、図３８のように、ハーフHDのストリームをそれぞれ用意して、それぞれが参照しあう構成すると圧縮効率が高い。図３８の場合には、左目用画像（A）をべース映像として、右目用画像（B）、左目差分画像（C）、右目差分画像（D）がMPEG-4 AVCのようなビュー間参照を使って圧縮が行われる。この場合には、右目用画像（B）、左目差分画像（C）、右目差分画像（D）の関係情報がPMTのディスクリプタやビデオストリーム内の補足データなどに格納される。
【０２６７】
（実施の形態６）
本実施形態は、デプスマップ方式のビデオストリームの伝送に3D表示情報を用いる改良を開示する。デプスマップ方式とは、視差画像を用いた方法の1つであり、右目に入る映像と左目に入る映像をそれぞれ用意する方式の他に、2D映像に対して画素単位で奥行き値が与えられたデプスマップを別途用意して、2D映像とデプスマップに基づいて左目用画像と右目用画像の視差画像をプレーヤやディスプレイで生成する方法である。
【０２６８】
図３９は、2D映像とデプスマップから左目用画像と右目用画像の視差画像を生成する例を模式的に示している。デプスマップには2D映像内のそれぞれの画素に対応して奥行き値をもっており、図３９の例では、2D映像の円形の物体は、デプスマップでは奥行きが高いことを示す情報が割り当てられ、それ以外の領域は奥行きが低いことを示す情報が割り当てられている。この情報は、画素ごとのビット列で格納しても良いし、画像イメージ（例えば「黒」を奥行きが低いことを示し、「白」を奥行きが高いことを示す画像イメージ）として格納しても良い。視差画像は、デプスマップの奥行き値から、2D映像の視差量を調整することによって作成することができる。図３９の例では、2D映像内の円形の物体の奥行き値は高いため、視差画像を作成するときには、円形の物体の画素の視差量を大きくし、円形物体以外の領域は、奥行き値が低いため、円形の物体以外の領域の画素の視差量を小さくして、左目用画像、右目用画像を作成する。この左目用画像と右目用画像を、継時分離方式等を使って表示すれば立体視が可能となる。
【０２６９】
図４０は、2D表示情報、3D表示情報をデプスマップに適用する場合の例を説明する図である。図４０の上方に示すように、符号化部は、フルHDで左半分に2D映像、右半分に2D映像に対するデプスマップの映像を格納しておく。このようにして図８で説明した映像フォーマットを適用すれば、2D表示情報のクロッピング情報に左半分の2D映像をスケーリング及び2D再生用として指定することにより、2Dデジタルテレビ３００では左半分の2D映像を再生し、3D表示情報のクロッピング情報に全画面を3D再生用として指定し、3D情報又は3D方式情報に当該デプスマップ方式を識別可能な識別子を設定することにより、3Dデジタルテレビ１００では左半分の2D映像とデプスマップ映像から、左目用画像と右目用画像を生成可能であり、3D映像の表示が可能となる。
【０２７０】
図４０の下方に示すように、フレームサイズが２８８０×１０８０ピクセル分のL-R格納画像を生成し、その中、フルHDでサイドバイサイド方式の画像を構成し、残りの960×1080ピクセル分で左目か右目の映像に対するデプスマップの映像を格納するようにしても良い。このようにすれば、当該映像は、サイドバイサイド方式の3Dデジタルテレビ１００だけでなく、デプスマップの再生装置に対応して3D再生できる。この場合、符号化部は、3D表示情報に、サイドバイサイド方式を実現するためのクロッピング情報やスケーリング情報だけでなく、デプスマップでの3D映像を実現するためのクロッピング情報やスケーリング情報も同時に格納して、3D方式に応じて選択できるようにする。
【０２７１】
（備考）
以上、本願の出願時点において、出願人が知り得る最良の実施の形態について説明したが、以下に示す技術的トピックについては、更なる改良や変更実施を加えることができる。各実施の形態に示した通り実施するか、これらの改良・変更を施すか否かは、何れも任意的であり、実施する者の主観によることは留意されたい。
【０２７２】
本実施形態では、フレーム互換方式の3D映像を例にとって説明したが、図４１に示すように左目用画像と右目用画像を別々のビデオストリームとして、１本のトランスポートストリームに格納するようにして、2D映像は左目、右目のどちらかの映像を再生し、3D映像は左目、右目の両方を再生する、という構成にしてもよい。この場合には、PMTパケットのディスクリプタには、どのビデオストリームとペアで3D映像を構成するかを示す情報が格納されている。例えば、図４１の例では、左目用画像はPIDが０×１０１１、右目用画像はPIDが０×１０１５であり、この場合には、そのディスクリプタには、左目用画像のPID=０×１０１１で、右目用画像のPID=０×１０１５であるという情報が記載される。もしくは、ビデオストリームに対応するストリームディスクリプタに、反対側のビューのPIDが記載されてもよい。例えば、図４１の例では、左目用画像のビデオストリームに対応するストリームディスクリプタに、右目用画像ビデオストリームのPIDとして０×１０１５が格納され、右目用画像のビデオストリームに対応するストリームデイスクリプタに、左目用画像ビデオストリームのPIDとして０×１０１１が格納される。ディスクリプタは、左目用画像と右目用画像がビュー間参照を使ってMPEG-４  MVCで圧縮されている場合には、MVC_extension_descriptorやMVC_operation_point_descriptorに格納されても良い。図４２は、左目ビデオストリーム及び右目ビデオストリームにおける個々のピクチャデータがどのように再生されるかを示す。
【０２７３】
図４２は、マルチビュー符号化方式による立体視のための左目ビデオストリーム、右目ビデオストリームの内部構成の一例を示す図である。
【０２７４】
本図の第２段目は、左目ビデオストリームの内部構成を示す。このストリームには、ピクチャデータI１、P２、Br３、Br４、P５、Br６、Br７、P９というピクチャデータが含まれている。これらのピクチャデータは、Decode  Time  Stamp（DTS）に従い復号化される。第１段目は、左目用画像を示す。そうして復号化されたピクチャデータI１、P２、Br３、Br４、P５、Br６、Br７、P９をPTSに従い、I１、Br３、Br４、P２、Br６、Br７、P５の順序で再生することで、左目用画像が再生されることになる。本図において、参照ピクチャを持たずに符号化対象ピクチャのみを用いてピクチャ内予測符号化を行うピクチャをIピクチャと呼ぶ。ピクチャとは、フレームおよびフィールドの両者を包含する１つの符号化の単位である。また、既に処理済の１枚のピクチャを参照してピクチャ間予測符号化するピクチャをPピクチャと、既に処理済みの２枚のピクチャを同時に参照してピクチャ間予測符号化するピクチャをBピクチャと、Bピクチャの中で他のピクチャから参照されるピクチャをBrピクチャとそれぞれ呼ばれる。
【０２７５】
第４段目は、右目ビデオストリームの内部構成を示す。この右目ビデオストリームは、P１、P２、B３、B４、P５、B６、B７、P８というピクチャデータが含まれている。これらのピクチャデータは、DTSに従い復号化される。第３段目は、右目用画像を示す。そうして復号化されたピクチャデータP１、P２、B３、B４、P５、B６、B７、P８をPTSに従い、P１、B３、B４、P２、B６、B７、P５の順序で再生することで、右目用画像が再生されることになる。ただし、継時分離方式の立体視再生では、同じPTSが付された左目用画像と右目用画像とのペアのうち一方の表示を、PTSの間隔の半分の時間（以下、「3D表示ディレイ」という）分だけ遅延して表示する。
【０２７６】
第５段目は、3D眼鏡２００の状態をどのように変化させるかを示す。この第５段目に示すように、左目用画像の視聴時は、右目のシャッターを閉じ、右目用画像の視聴時は、左目のシャックーを閉じていることがわかる。
【０２７７】
これらの左目ビデオストリーム、右目ビデオストリームは、時間方向の相関特性を利用したピクチャ間予測符号化に加えて、視点間の相関特性を利用したピクチャ間予測符号化によって圧縮されている。右目ビデオストリームのピクチャは、左目ビデオストリームの同じ表示時刻のピクチャを参照して圧縮されている。
【０２７８】
例えば、右目ビデオストリームの先頭Pピクチャは、左目ビデオストリームのIピクチャを参照し、右目ビデオストリームのBピクチャは、左目ビデオストリームのBrピクチャを参照し、右目ビデオストリームの二つ目のPピクチャは、左目ビデオストリームのPピクチャを参照している。
【０２７９】
そして、圧縮符号化された左目ビデオストリーム及び右目ビデオストリームのうち、単体で復号化が可能になるものを"べースビュービデオストリーム"という。また、左目ビデオストリーム及び右目ビデオストリームのうち、ペースビュービデオストリームを構成する個々のピクチャデータとのフレーム間相関特性に基づき圧縮符号化されており、べースビュービデオストリームが復号化された上で復号化可能になるビデオストリームを、"ディペンデントビューストリーム"という。なおべースビュービデオストリームとディペンデントビューストリームは、それぞれ別々のストリームとして格納や伝送されてもよいし、例えばMPEG-2 TSなどの同一のストリームに多重化されてもよい。
【０２８０】
このように視点間の相関を利用したマルチビュー符号化方式の圧縮方法としては、Multiview  Video  Coding（MVC）と呼ばれるMPEG-4 AVC/H.２６４の修正規格がある。ISO/IEC  MPEGとITU-T  VCEGの共同プロジェクトであるJoint  Video  Team（JVT）は、２００８年７月にMultiview  Video  Coding（MVC）と呼ばれるMPEG-4 AVC/H.２６４の修正規格の策定を完了した。MVCは、複数視点の映像をまとめて符号化する規格であり、映像の時間方向の類似性だけでなく視点間の類似性も予測符号化に利用することで、複数視点の独立した圧縮に比べて圧縮効率を向上している。
【０２８１】
なお、本映像フォーマットとしてトランスポートストリームの構成を挙げたが、これらは放送波で伝送することはもちろんのこと、Blu-ray  Disc、DVD、HDD、SDカードなどの情報記録媒体に記録しても良いし、インターネットなどのネットワークでの伝送に利用しても良い。なお、Blu-ray  Disc、DVD、HDD、SD力ードなどの情報記録媒体では、トランスポートストリームに格納されたストリームの属性やランダムアクセス用のテーブル情報が記載されたストリーム属性情報ファイルや、トランスポートストリームの再生区間を定義するプレイリストファイルが存在する。
【０２８２】
3D表示情報をGOPの先頭のみのビデオアクセスユニットに格納するとしても良い。このようにすることで、再生装置はGOP先頭のビデオアクセスユニットのみ情報解析を行えばよいので、処理負荷が少なくなる。なお、全てのGOPのビデオアクセスユニットには必ず入れると制約しても良い。このようにすれば、ランダムアクセスで飛び込んだ場合にもその情報を確実に取得することが出来る。なお、トランスポートストリーム内では、2D表示情報や3D表示情報を変更してはいけないと制約しても良い。このようにすることで、再生装置はトランスポートストリームの再生に一度だけ情報解析を行えばよいので、処理負荷が少なくなる。なお、トランスポートストリーム同士がシームレスに接続することを要求されるケースでも、2D表示情報や3D表示情報を変えてはいけないとしても良い。このようにすれば、シームレス接続時の処理負荷を減らすことが出来る。
【０２８３】
3D映像の再生装置は、3D表示情報が正しく取得できなかったときの処理のために、2D表示情報をユーザがインタラクティブに変更できる機能を提供しても良い。従って、2D表示情報を3D表示情報と同じように変換し、このようにすることで、ストリームの転送エラーなどがおこった場合にも2D表示情報を用いて3D映像の表示を行うことが出来る。
【０２８４】
3D表示情報は、補足データ以外のネットワーク抽象レイヤーユニットに格納してもよい。この場合に、ビデオ符号化部１７０１は、L-R格納画像を構成する符号化スライスと上記符号化スライスを符号化するのに必要な属性情報とをネットワーク抽象レイヤーユニットに変換してビデオアクセスユニットを生成し、この変換を行う時に、上記ビデオアクセスユニットに、3D表示情報を格納したネットワーク抽象レイヤーユニットを追加する。これにより、ビデオアクセスユニットに3D表示情報が保存される。
【０２８５】
クロッピング情報、スケーリング情報は、表示装置を制御してクロッピング動作又はスケーリング動作を行うように表示装置に提示できる情報でありさえすれば足りるから、MPEG-2 Video、MPEG-4 AVC以外の規格で規定された情報要素であって、クロッピング情報、スケーリング情報と技術的に同視することができるものであれば他のものを採用してもよい。
【０２８６】
フレーム互換方式にはサイドバイサイド方式、トップアンドボトム方式の他に、ピクチャ内の１ライン毎に左右画像を交互に配置するLine  alternative方式を採用してもよい。
【０２８７】
符号化にあたって、3D方式情報の設定にクロッピング情報の設定を利用したり、3D方式情報のために新しく値を定義しても良い。3D方式情報がPMTパケットに格納される場合、具体的には、多重化にあたて、3D方式情報を該当ビデオストリームに対応するストリームディスクリプタの１つとして格納することができる。3D方式情報を含むストリームディスクリプタは、MPEG-4 AVCの場合には、AVCビデオ記述子の未定義部分に格納することもできる。3D方式情報を含むストリームディスクリプタは、MPEG-2の場合には、ビデオ復号化コントロール記述子の未定義部分に格納しても良い。また、上述のように、当該3D方式情報は必須ではなく、ビデオ符号化部１１は、ビデオストリームに当該3D方式情報を格納せず、表示情報のみを格納してもよく、かつ、当該3D方式情報は、3D表示装置がビデオストリームの3D方式を了解する必要がある場合にのみ参照される。
【０２８８】
本発明では、多重化処理部は、別個のファイルに3D表示情報を格納するようにしても良い。このようにストリーム以外のファイルに情報を格納すれば後からのデータの修正が容易になる。
【０２８９】
ビデオアクセスユニットを構成するNALユニットのうち、幾つかのものは常に必要ではなく、実際の必要に応じ増減可能である。例えば、シーケンスへッダはGOP先頭のビデオアクセスユニットでのみ必要で、それ以外のビデオアクセスユニットにはなくてもよい。また、符号化方式によっては、ピクチャへッダは前のビデオアクセスユニットのものを参照して、自身のビデオアクセスユニット内にピクチャへッダがなくても良い。
【０２９０】
2D表示情報と3D表示情報を全てシーケンスヘッダに保存してもよく、この場合に、符号化処理では、ビデオシーケンス先頭にあたるL-R格納画像を構成する符号化スライスに、シーケンスヘッダ及び補足データを付加することでL-R格納画像をビデオアクセスユニットに変換し、当該シーケンスヘッダに2D表示情報と3D表示情報を格納する。
【０２９１】
幾つかの3D方式がデフォルト値である表示装置のために特別にビデオストリームを作成する場合、当該3D方式情報を省略してもよい。
【０２９２】
ビデオストリームを単独に生成し、オーディオ、字幕などの他のストリームがない場合は、当該多重化処理部１２を省略して、符号化されたビデオストリームのみを出力してもよい。
【０２９３】
図２１のフローチャートでは、まず2D表示情報を生成し、次に3D表示情報を生成したが、この両者間には前後の順序がなく、まず3D表示情報を生成し、次に2D表示情報を生成してもよい。また、ステップS１４をステップS１７とステップS１９の後にそれぞれ移行し、各判定分岐毎に、スケーリング情報を生成する。どの順序かにかかわらず、最終的に2D表示情報及び3D表示情報のクロッピング情報とスケーリング情報を生成できればよい。
【０２９４】
また、左目用画像又は右目用画像のうち何れかを2D再生用の画像としてデフォルトで選択することにより（例えば、左目用画像であるとデフォルトする）、ステップS１５の判定を省略してもよい。この時、図２１にはステップS１５、１６、１７が存在しない。
【０２９５】
L-R格納画像と、ハーフHDからフルHDへの変換を一例として説明したが、これは本発明の具体的な実施例の一つに過ぎず、変換比の異なる分割領域に左目用画像又は右目用画像を格納したL-R格納画像を作成してもよく、かつ、左目用画像又は右目用画像の大きさは必ずしも同じではなく、一方の画像が他方より大きいなどの情況であってもよい。
【０２９６】
また、3D表示情報のスケーリング情報は必ずしも１倍ではなく、画面上の一部の領域でのみ3D表示用の左目用画像又は右目用画像を格納し、当該3D表示領域をクロッピングした後、それをディスプレイのスクリーンの大きさに拡大してもよい。
【０２９７】
ビデオシーケンス先頭のビデオアクセスユニットのシーケンスヘッダのみに2D表示情報を設定したが、上述のように、もちろん、各ビデオアクセスユニット毎のシーケンスヘッダに2D表示情報を設定してもよい。
【０２９８】
上述の実施の形態１、２には、それぞれ2D表示情報と3D表示情報をデータストリームの異なる位置に設定する例を説明したが、本発明はこれに限らず、3D表示情報は、補足データ又はPMTパケットに格納できるだけでなく、シーケンスヘッダのシンタックス（Syntax）を拡張してリザーブ領域に格納してもよいし、新しくデータを用意してもよい。例えば、MPEG-4 AVCの場合には、新しくNALユニットを定義してもよい。同じ理由で、2D表示情報の格納位置もビデオユニットのシーケンスヘッダに限らず、表示装置により識別可能な任意の位置に格納することができる。これにより、表示装置は、2D表示情報と3D表示情報を格納する位置に従い、2D表示情報と3D表示情報を区分又は識別することにより、2D表示情報か3D表示情報かを正確に判定することができる。
【０２９９】
サイドバイサイド方式の3D映像を構成した何れかの既存のトランスポートストリームを受信した際、、シーケンスヘッダにおける元の「2D表示情報」を、2D表示情報に書き換えて、図８に示す映像フォーマットにすることにより、2Dデジタルテレビ３００において左目用画像又は右目用画像のどちらかをクロッピングして再生することができる。更に、PMTパケットや補足データに格納される「3D表示情報」又は「3D方式情報」を書き換えたり追加することにより、3D再生を行う前に、クロッピングとスケーリングにより表示用の領域をさらに確定して、3D再生をより柔軟にし、全画面の一部のみを用いて3D再生を行ってもよい。
【０３００】
また本発明に係る符号化方法では、生成したビデオストリームで、2Dデジタルテレビ３００がサイドバイサイド方式の左目用画像もしくは右目用画像のどちらかをスケーリングして再生できるようにしたが、ユーザは2Dデジタルテレビ３００でL-R格納画像を左右分割された状態などの正常でない状態で出力したい場合には、同様に、2D表示情報、3D表示情報又は3D方式情報を書き換えればよい。
【０３０１】
2D表示情報と3D表示情報のシンタックスをすべて同じにしておくことが望ましい。こうしておけば、3Dの再生装置は、シーケンスへッダの2D表示情報を、3D表示情報に置き換えることにより、どの位置の表示情報を抽出しても3D表示を行うことができ、それにより2D表示又は3D表示で復号又は再生処理を分ける必要なく、処理を簡易に行える。
【０３０２】
映像フォーマットとして、表示情報をトランスポートストリームに格納した構成をあげたが、3D映像を格納する際に、2Dデジタルテレビ３００が表示に使う情報として、2Dデジタルテレビ３００の2D映像再生に適切なクロッピング領域やアスペクト比を「2D表示情報」に格納でき、又は、3Dデジタルテレビ１００が3D映像の表示に使う情報として、3Dデジタルテレビ１００での3D映像再生に適切なクロッビング領域やアスペクト比を「3D表示情報」に格納できるのであれば、トランスポートストリームだけでなく、例えば表示情報をプログラムストリームやMPEG-４システムストリームなどに格納することも可能である。特にMPEG-４システムストリームでMPEG-4 AVCを格納する楊合には、SPSを、ストリームとは分離してへッダ部で一元管理するため、すでにサイドバイサイド方式で記録している映像ストリームに対して、映像を2D再生機器で２分割表示ではなく全画面で2D表示を行いたい場合には、へッダ部にあるSPSに格納される2D表示情報であるクロッピング情報（frame_cropping）、スケーリング情報（aspect_ratio_idc）を書き換えるだけで実現できる。
【０３０３】
映像ストリームをストリーミングなどで配信する場合には、ユーザの要望に応じて、「2D表示情報」を書き換えて配信するようにしてもよい。例えば、サイドバイサイド方式形式のフルHDの映像コンテンツを、ネットワークストリーミングで2Dの再生装置で再生するケースは次のようになる。左目用画像もしくは右目用画像のどちらかのハーフHDの映像をスケーリングしてテレビに表示することをユーザが希望する場合には、符号化部は、図８で説明した映像フォーマットの2D表示情報（クロッピング情報=ハーフHD、スケーリング情報=ハーフHDからフルHDへのアップコンバート）をシーケンスへッダにいれて転送する。サイドバイサイド方式の左右に２分割されたフルHDの映像をそのままの形でテレビに表示することをユーザが希望する場合には、2D表示情報には、「クロッピング情報=フルHD、スケーリング情報=フルHDのまま」の情報を設定し、それをシーケンスへッダにいれて転送する。そして、どちらのケースでもシーケンスへッダ以外の情報は同じであるようにする。このように構成することで、ユーザの希望に応じた画面表示を実現するとともに、配信側はシーケンスへッダだけを変更すればよいので、データ作成負荷が少なくて済む。
【産業上の利用可能性】
【０３０４】
本発明に係る映像ストリームは、3D映像のコンテンツを、2Dデジタルテレビ３００では2D映像として再生でき、3Dデジタルテレビ１００では3D映像として再生できることが出来るようになる。これにより、2D映像のみを再生できる再生機器を持つユーザに対しても、3D映像を再生できる再生機器を持つユーザに対しても、同じ3D映像コンテンツを配布することが可能となる。故に本願に包含される符号化方法の発明、表示装置の発明、復号化方法の発明は、テレビ放送や映画などの映像配信産業、民生機器産業において高い利用可能性を持つ。
【符号の説明】
【０３０５】
１００  3Dデジタルテレビ
２００  3D眼鏡
３００  2Dデジタルテレビ
５０１  ビデオフレーム列
５０２  ビデオのPESパケット
５０３  ビデオのTSパケット
５０４  オーディオフレーム列
５０５  オーディオのPESパケット
５０６  オーディオのTSパケット
５０７  字幕ストリーム
５０８  字幕ストリームのPESパケット
５０９  字幕ストリームのTSパケット
【図１】
2012017643.tif 000003
【図２】
2012017643.tif 000004
【図３】
2012017643.tif 000005
【図４】
2012017643.tif 000006
【図５】
2012017643.tif 000007
【図６】
2012017643.tif 000008
【図７】
2012017643.tif 000009
【図８】
2012017643.tif 000010
【図９】
2012017643.tif 000011
【図１０】
2012017643.tif 000012
【図１１】
2012017643.tif 000013
【図１２】
2012017643.tif 000014
【図１３】
2012017643.tif 000015
【図１４】
2012017643.tif 000016
【図１５】
2012017643.tif 000017
【図１６】
2012017643.tif 000018
【図１７】
2012017643.tif 000019
【図１８】
2012017643.tif 000020
【図１９】
2012017643.tif 000021
【図２０】
2012017643.tif 000022
【図２１】
2012017643.tif 000023
【図２２】
2012017643.tif 000024
【図２３】
2012017643.tif 000025
【図２４】
2012017643.tif 000026
【図２５】
2012017643.tif 000027
【図２６】
2012017643.tif 000028
【図２７】
2012017643.tif 000029
【図２８】
2012017643.tif 000030
【図２９】
2012017643.tif 000031
【図３０】
2012017643.tif 000032
【図３１】
2012017643.tif 000033
【図３２】
2012017643.tif 000034
【図３３】
2012017643.tif 000035
【図３４】
2012017643.tif 000036
【図３５】
2012017643.tif 000037
【図３６】
2012017643.tif 000038
【図３７】
2012017643.tif 000039
【図３８】
2012017643.tif 000040
【図３９】
2012017643.tif 000041
【図４０】
2012017643.tif 000042
【図４１】
2012017643.tif 000043
【図４２】
2012017643.tif 000044
【手続補正書】
【提出日】平成23年11月30日(2011.11.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化方法であって、
画面領域を分割して得られた分割領域のそれぞれに左目用画像と右目用画像とを格納しているピクチャデータのうち、第１の画面領域をクロッピング領域として指定したクロッピング情報を含む第１の表示情報と、第２の画面領域をクロッピング領域として指定したクロッピング情報を含む第２の表示情報を生成する生成ステップと、
原画像を符号化して、複数の前記ピクチャデータと前記第１の表示情報及び前記第２の表示情報とを含むビデオストリームを得る符号化ステップとを含み、
前記第１の画面領域は、前記左目用画像又は前記右目用画像のいずれか一方に対応する画面領域の一部又は全部であり、
前記第２の画面領域は、前記左目用画像に対応する画面領域の一部又は全部と、前記右目用画像に対応する画面領域の一部又は全部であり、
前記第１の表示情報におけるクロッピング情報を用いて、２Ｄ表示に用いる画面領域を指定しており、
前記第２の表示情報におけるクロッピング情報を用いて、３Ｄ表示に用いる画面領域を指定しており、
前記符号化ステップは、
複数の前記ピクチャデータのうち、ビデオシーケンス先頭にあたるピクチャデータを構成する符号化スライスに、シーケンスヘッダを付加することでピクチャデータをアクセスユニットに変換するサブステップを含み、
前記シーケンスヘッダは、２Ｄ表示の際にアクセスされる領域であって、
前記第１の表示情報は、前記シーケンスヘッダに格納されることを特徴とする符号化方法。
【請求項２】
符号化方法であって、
画面領域を分割して得られた分割領域のそれぞれに左目用画像と右目用画像とを格納しているピクチャデータのうち、第１の画面領域をクロッピング領域として指定したクロッピング情報を含む第１の表示情報と、第２の画面領域をクロッピング領域として指定したクロッピング情報を含む第２の表示情報を生成する生成ステップと、
原画像を符号化して、複数の前記ピクチャデータと前記第１の表示情報及び前記第２の表示情報とを含むビデオストリームを得る符号化ステップとを含み、
前記第１の画面領域は、前記左目用画像に対応する画面領域の一部又は全部であり、
前記第２の画面領域は、前記右目用画像に対応する画面領域の一部又は全部であり、
前記第１の表示情報におけるクロッピング情報と、前記第２の表示情報におけるクロッピング情報の両方を用いて、３Ｄ表示に用いる画面領域を指定しており、
前記第１の表示情報におけるクロッピング情報と、前記第２の表示情報におけるクロッピング情報のいずれか一方を用いて、２Ｄ表示に用いる画面領域を指定しており、
前記符号化ステップは、
複数の前記ピクチャデータのうち、ビデオシーケンス先頭にあたるピクチャデータを構成する符号化スライスに、前記シーケンスヘッダを付加することでピクチャデータをアクセスユニットに変換するサブステップを含み、
前記シーケンスヘッダは、２Ｄ表示の際にアクセスされる領域であって、
前記第１の表示情報及び前記第２の表示情報のうち、２Ｄ表示に用いる画面領域を指定している方は、前記シーケンスヘッダに格納されることを特徴とする符号化方法。
【請求項３】
前記ピクチャデータは、画面領域を上下に分割することで得られた分割領域のそれぞれに、左目用画像と、右目用画像とを格納していることを特徴とする請求項１又は２記載の符号化方法。
【請求項４】
前記第１の表示情報と前記第２の表示情報は、クロッピング情報で指定しているクロッピング領域に、スケーリングを施すためのスケーリング情報をさらに含むことを特徴とする請求項１又は２記載の符号化方法。
【請求項５】
前記サブステップは、
複数の前記ピクチャデータのうち、ビデオシーケンス先頭にあたるピクチャデータを構成する符号化スライスに、シーケンスヘッダ及び補足データを付加することでピクチャデータをアクセスユニットに変換し、
複数の前記ピクチャデータのうち、ビデオシーケンス先頭以外にあたるピクチャデータを構成する符号化スライスに、補足データを付加することでピクチャデータをアクセスユニットに変換し、
前記第１の表示情報と前記第２の表示情報のうち、３Ｄ表示に用いられる画面領域を指定している方は、補足データに格納されることを特徴とする請求項１又は２記載の符号化方法。
【請求項６】
前記サブステップは、
前記ピクチャデータを構成する符号化スライスと、前記符号化スライスを復号するために必要な属性情報を、ネットワーク抽象レイヤユニットに変換して、アクセスユニットを生成し、
上記変換にあたって、前記第１の表示情報及び前記第２の表示情報のうち、３Ｄ表示に用いる画面領域を指定している方を格納したネットワーク抽象レイヤユニットを前記アクセスユニットに追加することを特徴とする請求項１又は２記載の符号化方法。
【請求項７】
前記サブステップは、
複数の前記ピクチャデータのうち、ビデオシーケンス先頭にあたるピクチャデータを構成する符号化スライスに、シーケンスヘッダ及び補足データを付加することでピクチャデータをアクセスユニットに変換し、
前記シーケンスヘッダには、前記第１の表示情報と前記第２の表示情報が格納されていることを特徴とする請求項１又は２記載の符号化方法。
【請求項８】
前記符号化方法は、
ビデオストリームを含む２以上のエレメンタリストリームの多重化を行い、トランスポートストリームを得る多重化ステップをさらに含み、
前記多重化ステップでは、
複数の前記ピクチャデータを含むビデオストリームと、ビデオストリームについてのストリーム管理情報をトランスポートストリームパケット列に変換して他のエレメンタリストリームと多重化する処理を行い、
前記第１の表示情報及び前記第２の表示情報のうち、３Ｄ表示に用いる画面領域を指定している方は、前記ビデオストリームについてのストリーム管理情報に配置されることを特徴とする請求項１又は２記載の符号化方法。
【請求項９】
前記ビデオストリームについてのストリーム管理情報とは、デジタル放送システムにおけるプログラム管理テーブルＰＭＴ、イベント情報テーブルＥＩＴ、サービス情報テーブルＳＩＴの何れかであることを特徴とする請求項８記載の符号化方法。
【請求項１０】
前記符号化ステップは、
前記ピクチャデータを構成する符号化スライスに、補足データを付加することで前記ピクチャデータをアクセスユニットに変換するサブステップを含み、
前記符号化ステップにおけるサブステップでは、前記第１の表示情報及び前記第２の表示情報のうち、３Ｄ表示に用いる画面領域を指定している方を前記補足データに格納するか否かを決定し、補足データに格納しないと決定した場合、前記多重化ステップでは、前記ビデオストリームについてのストリーム管理情報に、前記第１の表示情報及び前記第２の表示情報のうち、３Ｄ表示に用いる画面領域を指定している方を格納することを特徴とする請求項８記載の符号化方法。
【請求項１１】
ビデオストリームを入力して表示処理を行う表示装置であって、
前記ビデオストリームは、複数のピクチャデータと、表示情報とを含み、
各前記ピクチャデータは、画面領域を分割して得られた分割領域のそれぞれに、左目用画像と、右目用画像とを格納しており、
前記表示情報は、ピクチャデータのうち表示に用いるクロッピング領域を指定するクロッピング情報と前記クロッピング領域にスケーリングを施すためのスケーリング情報とをそれぞれ含む２Ｄ表示情報と３Ｄ表示情報があり、
前記３Ｄ表示情報におけるクロッピング情報は、
３Ｄ表示に用いる画面領域を、クロッピング領域として指定しており、
前記２Ｄ表示情報におけるクロッピング情報は、
左目用画像及び右目用画像のうち２Ｄ表示に用いる画面領域を、クロッピング領域として指定しており、
複数の前記ピクチャデータのうち、ビデオシーケンス先頭にあたるピクチャデータを構成する符号化スライスにはシーケンスヘッダが付加されており、  前記シーケンスヘッダは、２Ｄ表示の際にアクセスされる領域であって、
前記２Ｄ表示情報はシーケンスヘッダに格納されており、
前記表示装置は、
一次フレームバッファ部と、
二次フレームバッファ部と、
圧縮ピクチャデータを復号化して非圧縮のピクチャデータを一次フレームバッファ部に書き込む復号化部と、
一次フレームバッファ部に格納されている非圧縮のピクチャデータに対して、前記シーケンスヘッダに格納された２Ｄ表示情報に従った表示処理を施し、処理結果を二次フレームバッファに書き込む表示処理部とを備え、
前記表示処理部は、
前記２Ｄ表示情報内のクロッピング情報に従い、一次フレームバッファ部に格納されているピクチャデータのうち、クロッピング領域として指定されている部分を読み出して、前記シーケンスヘッダに格納された２Ｄ表示情報内のスケーリング情報に従いスケーリング変換を施した上で二次フレームバッファ部に書き込むことを特徴とする表示装置。
【請求項１２】
ビデオストリームを入力して表示処理を行う表示装置であって、
前記ビデオストリームは、複数のピクチャデータと、表示情報とを含み、
各前記ピクチャデータは、画面領域を分割して得られた分割領域のそれぞれに、左目用画像と、右目用画像とを格納しており、
前記表示情報は、ピクチャデータのうち表示に用いるクロッピング領域を指定するクロッピング情報と前記クロッピング領域にスケーリングを施すためのスケーリング情報とをそれぞれ含む２Ｄ表示情報と３Ｄ表示情報があり、
前記３Ｄ表示情報におけるクロッピング情報は、
３Ｄ表示に用いる画面領域を、クロッピング領域として指定しており、
前記２Ｄ表示情報におけるクロッピング情報は、
左目用画像及び右目用画像のうち２Ｄ表示に用いる画面領域を、クロッピング領域として指定しており、
複数の前記ピクチャデータのうち、ビデオシーケンス先頭にあたるピクチャデータを構成する符号化スライスにはシーケンスヘッダが付加されており、  前記シーケンスヘッダは、２Ｄ表示の際にアクセスされる領域であって、
前記２Ｄ表示情報はシーケンスヘッダに格納されており、
前記表示装置は、
一次フレームバッファ部と、
二次フレームバッファ部と、
圧縮ピクチャデータを復号化して非圧縮のピクチャデータを一次フレームバッファ部に書き込む復号化部と、
一次フレームバッファ部に格納されている非圧縮のピクチャデータに対して、前記シーケンスヘッダに格納された２Ｄ表示情報に従った表示処理を施し、処理結果を二次フレームバッファに書き込む表示処理部と、
２Ｄ再生モードと、３Ｄ再生モードとがある表示モードのうちカレントの表示モードを記憶するモード記憶部と、
二次フレームバッファ部に格納されているピクチャデータに３Ｄ変換処理を行う３Ｄ変換処理部と、
左目用画像を書き込む左目用フレームバッファ部と、
右目用画像を書き込む右目用フレームバッファ部とを備え、
前記表示処理部は、
カレントの表示モードが３Ｄ再生モードである場合、前記シーケンスヘッダに格納された２Ｄ表示情報よりも優先して３Ｄ表示情報を参照し、
前記３Ｄ表示情報内のクロッピング情報に従い、一次フレームバッファ部に格納されているピクチャデータのうち、クロッピング領域として指定されている部分を読み出して、前記３Ｄ表示情報内のスケーリング情報に従いスケーリング変換を施した上で二次フレームバッファ部に書き込むことを特徴とする表示装置。
【請求項１３】
ビデオストリームを復号化して、表示処理を行う復号方法であって、
前記ビデオストリームは、複数のピクチャデータと、表示情報とを含み、
各前記ピクチャデータは、画面領域を分割して得られた分割領域のそれぞれに、左目用画像と、右目用画像とを格納しており、
前記表示情報は、ピクチャデータのうち表示に用いるクロッピング領域を指定するクロッピング情報と前記クロッピング領域にスケーリングを施すためのスケーリング情報とをそれぞれ含む２Ｄ表示情報と３Ｄ表示情報があり、
前記３Ｄ表示情報におけるクロッピング情報は、
３Ｄ表示に用いる画面領域を、クロッピング領域として指定しており、
前記２Ｄ表示情報におけるクロッピング情報は、
左目用画像及び右目用画像のうち２Ｄ表示に用いる画面領域を、クロッピング領域として指定しており、
複数の前記ピクチャデータのうち、ビデオシーケンス先頭にあたるピクチャデータを構成する符号化スライスにはシーケンスヘッダが付加されており、
前記シーケンスヘッダは、２Ｄ表示の際にアクセスされる領域であって、
前記２Ｄ表示情報はシーケンスヘッダに格納されており、
前記復号方法は、
圧縮ピクチャデータを復号化して非圧縮のピクチャデータを一次フレームバッファ部に書き込む復号化ステップと、
一次フレームバッファ部に格納されている非圧縮のピクチャデータに対して、前記シーケンスヘッダに格納された２Ｄ表示情報に従った表示処理を施し、処理結果を二次フレームバッファ部に書き込む表示処理ステップとを含み、
前記表示処理ステップでは、
前記シーケンスヘッダに格納された２Ｄ表示情報内のクロッピング情報に従い、一次フレームバッファ部に格納されているピクチャデータのうち、クロッピング領域として指定されている部分を読み出して、前記２Ｄ表示情報内のスケーリング情報に従いスケーリング変換を施した上で二次フレームバッファ部に書き込むことを特徴とする復号方法。
【請求項１４】
ビデオストリームを復号化して、表示処理を行う復号方法であって、
前記ビデオストリームは、複数のピクチャデータと、表示情報とを含み、
各前記ピクチャデータは、画面領域を分割して得られた分割領域のそれぞれに、左目用画像と、右目用画像とを格納しており、
前記表示情報は、ピクチャデータのうち表示に用いるクロッピング領域を指定するクロッピング情報と前記クロッピング領域にスケーリングを施すためのスケーリング情報とをそれぞれ含む２Ｄ表示情報と３Ｄ表示情報とがあり、
前記３Ｄ表示情報におけるクロッピング情報は、
３Ｄ表示に用いる画面領域を、クロッピング領域として指定しており、
前記２Ｄ表示情報におけるクロッピング情報は、
左目用画像及び右目用画像のうち２Ｄ表示に用いる画面領域を、クロッピング領域として指定しており、
複数の前記ピクチャデータのうち、ビデオシーケンス先頭にあたるピクチャデータを構成する符号化スライスにはシーケンスヘッダが付加されており、
前記シーケンスヘッダは、２Ｄ表示の際にアクセスされる領域であって、
前記２Ｄ表示情報はシーケンスヘッダに格納されており、
前記復号方法は、
圧縮ピクチャデータを復号化して非圧縮のピクチャデータを一次フレームバッファ部に書き込む復号化ステップと、
モード記憶部に記憶され、２Ｄ再生モードと３Ｄ再生モードとがある表示モードを読み出すステップと、
一次フレームバッファ部に格納されている非圧縮のピクチャデータに対して、前記シーケンスヘッダに格納された２Ｄ表示情報に従った表示処理を施し、処理結果を二次フレームバッファ部に書き込む表示処理ステップと、
二次フレームバッファ部に格納されているピクチャデータに３Ｄ変換処理を行い、左目用画像を左目用フレームバッファ部に書き込み、右目用画像を右目用フレームバッファ部に書き込む３Ｄ変換処理ステップとを含み、
前記表示処理ステップでは、
カレントの表示モードが３Ｄ再生モードである場合、前記シーケンスヘッダに格納された２Ｄ表示情報よりも優先して３Ｄ表示情報を参照し、
前記３Ｄ表示情報内のクロッピング情報に従い、一次フレームバッファ部に格納されているピクチャデータのうち、クロッピング領域として指定されている部分を読み出して、前記３Ｄ表示情報内のスケーリング情報に従いスケーリング変換を施した上で二次フレームバッファ部に書き込むことを特徴とする復号方法。
【国際調査報告】
2012017643.tif 000045
2012017643.tif 000046
2012017643.tif 000047
2012017643.tif 000048