(57)【要約】【課題】フレームコンパチブル方式の立体画像データを送信する際、２ＤＴＶに対してのサービスコンパチブルを実現する。【解決手段】画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報を挿入する。受信側の２次元テレビ受信機（２ＤＴＶ）は、この画像領域情報に基づいて、デコード後の画像データから２次元表示用の画像データを切り取って２次元画像データを得ることが可能となる。【選択図】図９
2012199897.tif 000002
【特許請求の範囲】
【請求項１】
画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコード部と、
上記エンコード部で生成された圧縮ビデオストリームを送信する送信部とを備え、
上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報を挿入する
画像データ送信装置。
【請求項２】
上記画像領域情報は、
領域の大きさを示す情報および領域の位置を示す情報、あるいは領域の大きさを示す情報である
請求項１に記載の画像データ送信装置。
【請求項３】
上記圧縮ビデオストリームは、ＭＰＥＧ２ｖｉｄｅｏフォーマットの圧縮ビデオストリームであり、
上記領域の大きさを示す情報は、Sequence Display Extension 内に拡張パラメータとして含まれ、
上記領域の位置を示す情報は、Picture Display Extension 内に拡張パラメータとして含まれる
請求項２に記載の画像データ送信装置。
【請求項４】
上記フレームコンパチブル方式の立体画像データは、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである
請求項１に記載の画像データ送信装置。
【請求項５】
上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報をさらに挿入する
請求項１に記載の画像データ送信装置。
【請求項６】
画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコードステップと、
上記エンコードステップで生成された圧縮ビデオストリームを送信する送信ステップとを備え、
上記エンコードステップでは、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報を挿入する
画像データ送信方法。
【請求項７】
画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信部と、
上記受信部で受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコード部と、
上記デコード部で生成された画像データに基づいて表示用の画像データを得る画像データ処理部とを備え、
上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報が挿入されており、
上記画像データ処理部は、上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して２次元表示用の画像データを切りとって２次元画像データを得る
画像データ受信装置。
【請求項８】
ユーザが２次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、
上記画像データ処理部は、
上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、
上記ユーザ操作部で上記２次元表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている画像領域情報を利用して上記立体画像データから２次元表示用の画像データを切りとって２次元画像データを得る
請求項７に記載の画像データ受信装置。
【請求項９】
ユーザが２次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、
上記画像データ処理部は、
上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、
上記ユーザ操作部で上記立体表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている画像領域情報が示すハーフ解像度の値を２倍の値に解釈し、上記立体画像データからフル解像度の左眼画像データおよび右眼画像データを得る
請求項７に記載の画像データ受信装置。
【請求項１０】
画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信ステップと、
上記受信ステップで受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコードステップと、
上記デコードステップで生成された画像データに基づいて表示用の画像データを得る画像データ処理ステップとを備え、
上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報が挿入されており、
上記画像データ処理ステップでは、上記デコードステップで生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して２次元表示用の画像データを切りとって２次元画像データを得る
画像データ受信方法。
【請求項１１】
画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコード部と、
上記エンコード部で生成された圧縮ビデオストリームを送信する送信部とを備え、
上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報を挿入する
画像データ送信装置。
【請求項１２】
上記圧縮ビデオストリームは、ＭＰＥＧ２ｖｉｄｅｏフォーマットの圧縮ビデオストリームであり、
上記画像領域情報は、ピクチャーレイヤのユーザデータ領域に挿入される
請求項１１に記載の画像データ送信装置。
【請求項１３】
上記ピクチャーレイヤのユーザデータ領域には、上記フレームコンパチブル方式の立体画像データであることを識別できるシグナリング情報が挿入されており、
上記画像領域情報は上記シグナリング情報より後の位置に挿入される
請求項１２に記載の画像データ送信装置。
【請求項１４】
上記フレームコンパチブル方式の立体画像データは、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである
請求項１１に記載の画像データ送信装置。
【請求項１５】
画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコードステップと、
上記エンコードステップで生成された圧縮ビデオストリームを送信する送信ステップとを備え、
上記エンコードステップでは、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報を挿入する
画像データ送信方法。
【請求項１６】
画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信部と、
上記受信部で受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコード部と、
上記デコード部で生成された画像データに基づいて表示用の画像データを得る画像データ処理部とを備え、
上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入されており、
上記画像データ処理部は、上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して立体表示用の画像データを切りとって左眼画像データおよび右眼画像データを得る
画像データ受信装置。
【請求項１７】
ユーザが２次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、
上記画像データ処理部は、
上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、
上記ユーザ操作部で上記立体表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている画像領域情報を利用して上記立体画像データから立体表示用の画像データを切りとって左眼画像データおよび右眼画像データを得る
請求項１６に記載の画像データ受信装置。
【請求項１８】
画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信ステップと、
上記受信ステップで受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコードステップと、
上記デコードステップで生成された画像データに基づいて表示用の画像データを得る画像データ処理ステップとを備え、
上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入されており、
上記画像データ処理ステップでは、上記デコードステップで生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して立体表示用の画像データを切りとって左眼画像データおよび右眼画像データを得る
画像データ受信方法。
【請求項１９】
画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信部と、
上記受信部で受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコード部と、
上記デコード部で生成された画像データに基づいて表示用の画像データを得る画像データ処理部とを備え、
上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから２次元表示用の画像データを切り取るための第１の画像領域情報およびデコード後の画像データから立体表示用の画像データを切り取るための第２の画像領域情報が挿入されており、
ユーザが２次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、
上記画像データ処理部は、
上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、
上記ユーザ操作部で上記２次元表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている上記第１の画像領域情報を利用して上記立体画像データから２次元表示用の画像データを切りとって２次元画像データを得、
上記ユーザ操作部で上記立体表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている上記第２の画像領域情報を利用して上記立体画像データから立体表示用の画像データを切りとって左眼画像データおよび右眼画像データを得る
画像データ受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法に関する。特に、本技術は、フレームコンパチブル方式の立体画像データの圧縮ビデオストリームを送信する画像データ送信装置等に関する。
【背景技術】
【０００２】
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この伝送方式においては、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
【０００３】
図２４は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体画像（３Ｄ画像）の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体画像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。
【０００４】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体画像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体画像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。
【０００５】
従来、立体画像データの伝送フォーマットとして、サイド・バイ・サイド（Side By Side）方式、トップ・アンド・ボトム（Top & Bottom）方式などのフレームコンパチブル方式の立体画像データが知られている。例えば、図２５（ａ）はサイド・バイ・サイド方式を示し、図２５（ｂ）はトップ・アンド・ボトム方式を示している。ここでは、１９２０×１０８０のピクセルフォーマットである場合を示している。
【０００６】
サイド・バイ・サイド方式は、図２５（ａ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この方式の場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれ、原信号に対して水平解像度は半分となる。
【０００７】
トップ・アンド・ボトム方式は、図２５（ｂ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この方式場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれ、原信号に対して垂直解像度は半分となる。
【０００８】
ここで、受信側における表示画像データ生成処理について簡単に説明する。図２６（ａ）は、１９２０×１０８０のピクセルフォーマットの２次元画像データに関する処理を概略的に示している。この場合、送信側では、１６×１６のブロック毎に符号化を行うために、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化が行われている。
【０００９】
そのため、受信側では、復号化後に、１９２０画素×１０８８ラインの画像データが得られる。しかし、そのうち８ラインはブランクデータであることから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り取りが行われて、２次元テレビ受信機（以下、適宜、「２ＤＴＶ」という）用の表示用画像データが生成される。
【００１０】
図２６（ｂ）は、１９２０×１０８０のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データ（３次元画像データ）に関する処理を概略的に示している。この場合も、送信側では、１６×１６のブロック毎に符号化を行うために、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化が行われている。
【００１１】
そのため、受信側では、復号化後に、１９２０画素×１０８８ラインの画像データが得られる。しかし、そのうち８ラインはブランクデータであることから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り取りが行われる。そして、この画像データが左右に二分され、それぞれに水平方向のスケーリング処理が施されて、立体テレビ受信機（以下、適宜、「３ＤＴＶ」という）用の左眼および右眼の表示用画像データが生成される。
【００１２】
図２６（ｃ）は、１９２０×１０８０のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データ（３次元画像データ）に関する処理を概略的に示している。この場合も、送信側では、１６×１６のブロック毎に符号化を行うために、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化が行われている。
【００１３】
そのため、受信側では、復号化後に、１９２０画素×１０８８ラインの画像データが得られる。しかし、そのうち８ラインはブランクデータであることから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り取りが行われる。そして、この画像データが上下に二分され、それぞれに垂直方向のスケーリング処理が施されて、３ＤＴＶ用の左眼および右眼の表示用画像データが生成される。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
２ＤＴＶにおいて、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式の立体画像データが受信されるとき、上述したように１９２０画素×１０８０ラインの画像データを切り取って２ＤＴＶ用の表示用画像データを生成すると、図２７（ａ），図２７（ｂ）に示すように、左右あるいは上下に同様の画像が並んだ不自然な画像表示となる。
【００１６】
本技術は、フレームコンパチブル方式の立体画像データを送信する際、２ＤＴＶに対してのサービスコンパチブルを実現することにある。また、本技術は、フレームコンパチブル方式の立体画像データを送信する際、３ＤＴＶにおけるデータ切り取り処理の便宜を図ることにある。
【課題を解決するための手段】
【００１７】
本技術の概念は、
画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコード部と、
上記エンコード部で生成された圧縮ビデオストリームを送信する送信部とを備え、
上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報を挿入する
画像データ送信装置にある。
【００１８】
本技術において、エンコード部により、画像データに対してエンコード処理が行われて圧縮ビデオストリームが生成される。そして、送信部により、この圧縮ビデオストリームが送信される。エンコード部では、画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報が挿入される。ここで、フレームコンパチブル方式の立体画像データは、例えば、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである。
【００１９】
本技術において、例えば、画像領域情報は、領域の大きさを示す情報および領域の位置を示す情報、あるいは、領域の大きさを示す情報とされる。この場合、例えば、圧縮ビデオストリームはＭＰＥＧ２ｖｉｄｅｏフォーマットの圧縮ビデオストリームであり、領域の大きさを示す情報は、Sequence Display Extension 内に拡張パラメータとして含まれ、領域の位置を示す情報は、Picture Display Extension 内に拡張パラメータとして含まれる。
【００２０】
このように本技術においては、画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報が挿入される。そのため、受信側の２次元テレビ受信機（２ＤＴＶ）では、この画像領域情報に基づいて、デコード後の画像データから２次元表示用の画像データを切り取って２次元画像データを得ることが可能となる。したがって、フレームコンパチブル方式の立体画像データを送信する際、２ＤＴＶに対してのサービスコンパチブルを実現できる。
【００２１】
また、受信側の立体テレビ受信機（３ＤＴＶ）では、ユーザ操作により二次元表示モードが選択される場合、この画像領域情報に基づいて、デコード後の画像データから２次元表示用の画像データを切り取って２次元画像データを得ることが可能となる。したがって、フレームコンパチブル方式の立体画像データを送信する際、３ＤＴＶ（２次元表示モード）に対してのサービスコンパチブルを実現できる。
【００２２】
なお、本技術において、例えば、エンコード部は、画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報をさらに挿入する、ようにされてもよい。これにより、受信側の立体テレビ受信機（３ＤＴＶ）におけるデータ切り取り処理の便宜を図ることができる。すなわち、受信側の３ＤＴＶでは、ユーザ操作により、立体表示モードが選択される場合、この画像領域情報に基づいて、デコード後の画像データから立体表示用の画像データの切り取りを容易かつ正しく行うことができ、従って、左眼画像データおよび右眼画像データを良好に得ることが可能となる。
【００２３】
また、本技術の他の概念は、
画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信部と、
上記受信部で受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコード部と、
上記デコード部で生成された画像データに基づいて表示用の画像データを得る画像データ処理部とを備え、
上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報が挿入されており、
上記画像データ処理部は、上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して２次元表示用の画像データを切りとって２次元画像データを得る
画像データ受信装置にある。
【００２４】
本技術において、受信部により、画像データに対してエンコード処理を行って生成された圧縮ビデオストリームが受信される。そして、デコード部により、この圧縮ビデオストリームに対してデコード処理が行われて画像データが生成される。そして、画像データ処理部により、この画像データに基づいて表示用の画像データが得られる。この場合、例えば、圧縮ビデオストリームは、ＭＰＥＧ２ｖｉｄｅｏフォーマットの圧縮ビデオストリームである。
【００２５】
ここで、圧縮ビデオストリームには、画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報が挿入されている。ここで、フレームコンパチブル方式の立体画像データは、例えば、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである。
【００２６】
画像データ処理部では、デコード部で生成された画像データ、つまりデコード後の画像データがフレームコンパチブル方式の立体画像データであるとき、この立体画像データから、画像領域情報が利用されて、２次元表示用の画像データが切り取られて２次元画像データが得られる。
【００２７】
このように本技術においては、画像データ処理部では、デコード後の画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに挿入されている画像領域情報が利用されて、この立体画像データから２次元表示用の画像データの切り取りが自動的に行われる。そのため、２次元テレビ受信機（２ＤＴＶ）では、フレームコンパチブル方式の立体画像データが送信されてくる際、左右あるいは上下に同様の画像が並んだ不自然な画像表示が行われることがなく、自動的に良好な２次元画像の表示が可能となる。
【００２８】
また、本技術において、例えば、ユーザが２次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、画像データ処理部は、デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、ユーザ操作部で２次元表示モードが選択される場合には、圧縮ビデオストリームに挿入されている画像領域情報を利用して、立体画像データから２次元表示用の画像データを切りとって２次元画像データを得る、ようにされてもよい。
【００２９】
この場合、デコード後の画像データがフレームコンパチブル方式の立体画像データであるとき、２次元表示モードが選択されている場合、圧縮ビデオストリームに挿入されている画像領域情報が利用されて、その立体画像データから２次元表示用の画像データの切り取りが自動的に行われる。そのため、立体テレビ受信機（３ＤＴＶ）では、フレームコンパチブル方式の立体画像データが送信されてくる際、２次元表示モードが選択される場合、左右あるいは上下に同様の画像が並んだ不自然な画像表示が行われることがなく、自動的に良好な２次元画像の表示が可能となる。
【００３０】
また、本技術において、例えば、ユーザが２次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、画像データ処理部は、デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、ユーザ操作部で立体表示モードが選択される場合には、圧縮ビデオストリームに挿入されている画像領域情報が示すハーフ解像度の値を２倍の値に解釈し、立体画像データからフル解像度の左眼画像データおよび右眼画像データを得る、ようにされてもよい。この場合、圧縮ビデオストリームに挿入されている画像領域情報が利用されて、良好な立体画像の表示が可能となる。
【００３１】
また、本技術の他の概念は、
画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコード部と、
上記エンコード部で生成された圧縮ビデオストリームを送信する送信部とを備え、
上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報を挿入する
画像データ送信装置にある。
【００３２】
本技術において、エンコード部により、画像データに対してエンコード処理が行われて圧縮ビデオストリームが生成される。そして、送信部により、この圧縮ビデオストリームが送信される。エンコード部では、画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入される。ここで、フレームコンパチブル方式の立体画像データは、例えば、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである。
【００３３】
本技術において、例えば、圧縮ビデオストリームは、ＭＰＥＧ２ｖｉｄｅｏフォーマットの圧縮ビデオストリームであり、画像領域情報はピクチャーレイヤのユーザデータ領域に挿入される。また、本技術において、例えば、ピクチャーレイヤのユーザデータ領域には、フレームコンパチブル方式の立体画像データであることを識別できるシグナリング情報が挿入されており、画像領域情報はシグナリング情報より後の位置に挿入される。
【００３４】
このように本技術においては、画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入される。そのため、受信側の立体テレビ受信機（３ＤＴＶ）におけるデータ切り取り処理の便宜を図ることができる。すなわち、受信側の３ＤＴＶでは、ユーザ操作により、立体表示モードが選択される場合、この画像領域情報に基づいて、デコード後の画像データから立体表示用の画像データの切り取りを容易かつ正しく行うことができ、従って、左眼画像データおよび右眼画像データを良好に得ることが可能となる。
【００３５】
また、本技術の他の概念は、
画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信部と、
上記受信部で受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコード部と、
上記デコード部で生成された画像データに基づいて表示用の画像データを得る画像データ処理部とを備え、
上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入されており、
上記画像データ処理部は、上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して立体表示用の画像データを切りとって左眼画像データおよび右眼画像データを得る
画像データ受信装置にある。
【００３６】
本技術において、受信部により、画像データに対してエンコード処理を行って生成された圧縮ビデオストリームが受信される。そして、デコード部により、この圧縮ビデオストリームに対してデコード処理が行われて画像データが生成される。そして、画像データ処理部により、この画像データに基づいて表示用の画像データが得られる。この場合、例えば、圧縮ビデオストリームは、ＭＰＥＧ２ｖｉｄｅｏフォーマットの圧縮ビデオストリームである。
【００３７】
ここで、圧縮ビデオストリームには、画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入されている。ここで、フレームコンパチブル方式の立体画像データは、例えば、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである。
【００３８】
画像データ処理部では、デコード部で生成された画像データ、つまりデコード後の画像データがフレームコンパチブル方式の立体画像データであるとき、この立体画像データから、画像領域情報が利用されて、立体表示用の画像データが切り取られて左眼画像データおよび右眼画像データが得られる。
【００３９】
このように本技術においては、画像データ処理部では、デコード後の画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに挿入されている画像領域情報が利用されて、この立体画像データから立体表示用の画像データの切り取りが自動的に行われる。そのため、立体テレビ受信機（３ＤＴＶ）では、フレームコンパチブル方式の立体画像データが送信されてくる際、ユーザ操作により、立体表示モードが選択される場合、デコード後の画像データから立体表示用の画像データの切り取りを容易かつ正しく行うことができ、従って、左眼画像データおよび右眼画像データを良好に得ることが可能となる。
【発明の効果】
【００４０】
本技術によれば、フレームコンパチブル方式の立体画像データを送信する際、２ＤＴＶに対してのサービスコンパチブルを実現できる。また、本技術によれば、フレームコンパチブル方式の立体画像データを送信する際、３ＤＴＶにおけるデータ切り取り処理の便宜を図ることができる。
【図面の簡単な説明】
【００４１】
【図１】本技術の実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２】画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。
【図３】シグナリング情報（Stereo_Video_Format_Signaling）を含むユーザデータのデータ構造(Syntax)を示す図である。
【図４】シグナリング情報（Stereo_Video_Format_Signaling()）のデータ構造(Syntax)を示す図である。
【図５】シグナリング情報のデータ構造における主要なデータ規定内容（Semantics）を示す図である。
【図６】「Stereo_Video_Format_Signaling_type」の３Ｄ映像フォーマット識別情報を示す図である。
【図７】ＭＰＥＧ２ｖｉｄｅｏに規定されているＳＤＥの構造例（Syntax）を示す図である。
【図８】ＭＰＥＧ２ｖｉｄｅｏに規定されているＰＤＥの構造例（Syntax）を示す図である。
【図９】切り取り領域を示す画像領域情報としてのＳＤＥ，ＰＤＥ内の拡張パラメータの設定例を示す図である。
【図１０】切り取り領域を示す画像領域情報としてのＳＤＥ，ＰＤＥ内の拡張パラメータの設定例を示す図である。
【図１１】立体画像領域情報（Stereo_Video_Cropping）を含むユーザデータのデータ構造(Syntax)を示す図である。
【図１２】立体画像領域情報（Stereo_Video_Cropping）のデータ構造(Syntax)を示す図である。
【図１３】立体画像領域情報のデータ構造における主要なデータ規定内容（Semantics）を示す図である。
【図１４】圧縮ビデオストリームのピクチャーレイヤのユーザデータ領域に挿入されるシグナリング情報と立体画像領域情報の位置関係を概略的に示す図である。
【図１５】画像送受信システムを構成する受信機としての２次元テレビ受信機（２ＤＴＶ）の構成例を示すブロック図である。
【図１６】ＣＰＵにおけるストリーム認識処理の手順の一例を示すフローチャートである。
【図１７】画像送受信システムを構成する受信機としての立体テレビ受信機（３ＤＴＶ）の構成例を示すブロック図である。
【図１８】ＣＰＵにおける画像データ処理部の処理切り換えに関する制御処理の手順を示すフローチャートである。
【図１９】立体テレビ受信機の画像データ処理部における立体表示モードにおける処理を説明するための図である。
【図２０】立体テレビ受信機の画像データ処理部における立体表示モードにおける処理を説明するための図である。
【図２１】切り取り領域を示す画像領域情報としてのＳＤＥ内の拡張パラメータの設定例を示す図である。
【図２２】切り取り領域を示す画像領域情報としてのＳＤＥ内の拡張パラメータの設定例を示す図である。
【図２３】２次元テレビ受信機（２ＤＴＶ）および立体テレビ受信機（３ＤＴＶ）における２Ｄストリーム、３Ｄストリームに対する表示処理をまとめて示した図である。
【図２４】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。
【図２５】フレームコンパチブル方式の立体画像データの伝送フォーマットの一例（サイド・バイ・サイド方式、トップ・アンド・ボトム方式）を示す図である。
【図２６】受信側（２ＤＴＶ、３ＤＴＶ）における表示画像データ生成処理を説明するための図である。
【図２７】２ＤＴＶにおいて、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式の立体画像データが受信されときの不自然な画像表示を示す図である。
【発明を実施するための形態】
【００４２】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００４３】
＜１．実施の形態＞
［画像送受信システム］
図１は、実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００および受信機２００により構成されている。放送局１００は、２次元画像データあるいは立体画像データを含む圧縮ビデオストリームを有するトランスポートストリーム（多重化データストリームデータ）ＴＳを、放送波に載せて送信する。
【００４４】
この実施の形態において、圧縮ビデオストリームは、ＭＰＥＧ２ｖｉｄｅｏフォーマットの圧縮ビデオストリームである。また、この実施の形態において、フレームコンパチブル方式の立体画像データが含まれる圧縮ビデオストリームには、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報が挿入される。また、この実施の形態において、この圧縮ビデオストリームには、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入される。フレームコンパチブル方式の立体画像データは、例えば、サイド・バイ・サイド（Side By Side）方式、あるいはトップ・アンド・ボトム（Top &Bottom）方式などの立体画像データである。
【００４５】
また、この実施の形態において、立体画像データのピクセルフォーマットは、１９２０×１０８０であるとする。放送局１００は、この立体画像データに対して、１６×１６のブロック毎に符号化を行う。そのため、放送局１００は、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化を行う。
【００４６】
受信機２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。受信機２００は、受信されたトラスポートストリームＴＳから、圧縮ビデオストリームを得る。この場合、フレームコンパチブル方式の立体画像データが含まれる圧縮ビデオストリームには、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報が挿入されている。また、この圧縮ビデオストリームには、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入されている。
【００４７】
受信機２００は、この圧縮ビデオストリームに対してデコード処理を行って、２次元画像データあるいは立体画像データを生成する。そして、受信機２００は、２ＤＴＶであるとき、デコード後の画像データが２次元画像データである場合には、従来と同様の２次元表示処理を行って、２次元画像を表示する。
【００４８】
また、受信機２００は、２ＤＴＶであるとき、デコード後の画像データがフレームコンパチブル方式の立体画像データである場合には、圧縮ビデオストリームに挿入されている、２次元表示用の画像データを切り取るための画像領域情報を利用する。つまり、受信機２００は、この画像領域情報を利用して立体画像データから２次元表示用の画像データを切りとり、水平または垂直のスケーリング処理を行って２次元画像データを得て、２次元画像表示を行う。
【００４９】
また、受信機２００は、３ＤＴＶであるとき、デコード後の画像データが２次元画像データである場合には、従来と同様の２次元表示処理を行って、２次元画像を表示する。また、受信機２００は、３ＤＴＶであるとき、デコード後の画像データがフレームコンパチブル方式の立体画像データであって、２次元表示モードが選択されている場合には、圧縮ビデオストリームに挿入されている、２次元表示用の画像データを切り取るための画像領域情報を利用する。つまり、受信機２００は、この画像領域情報を利用して立体画像データから２次元表示用の画像データを切りとり、水平または垂直のスケーリング処理を行って２次元画像データを得て、２次元画像表示を行う。
【００５０】
また、受信機２００は、３ＤＴＶであるとき、デコード後の画像データがフレームコンパチブル方式の立体画像データであって、立体表示モードが選択されている場合には、立体画像データに基づいて立体画像表示を行う。この場合、受信機２００は、圧縮ビデオストリームに挿入されている、立体表示用の画像データを切り取るための画像領域情報を利用する。つまり、受信機２００は、この画像領域情報を利用して立体画像データから立体表示用の画像データを切り取る。そして、受信機は、切り取った画像データを左右あるいは上下に二分し、それぞれに水平方向あるいは垂直方向のスケーリング処理を施して、立体画像を表示するための左眼画像データおよび右眼画像データを得る。
【００５１】
なお、この場合、受信機２００は、圧縮ビデオストリームに挿入されている、２次元表示用の画像データを切り取るための画像領域情報を利用することも可能である。すなわち、受信機２００は、この画像領域情報が示すハーフ解像度の値を２倍の値に解釈して立体画像データから立体表示用の画像データを切り取る。そして、受信機２００は、切り取った画像データを左右あるいは上下に二分し、それぞれに水平方向あるいは垂直方向のスケーリング処理を施して、立体画像を表示するための左眼画像データおよび右眼画像データを得る。
【００５２】
「送信データ生成部の構成例」
図２は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２と、オーディオエンコーダ１１３と、マルチプレクサ１１４を有している。
【００５３】
データ取り出し部１１１には、データ記録媒体１１１ａが、例えば、着脱自在に装着される。データ記録媒体１１１ａは、ディスク状記録媒体、半導体メモリ等である。このデータ記録媒体１１１ａには、トランスポートストリームＴＳで送信する所定番組の２次元画像データ、あるいは立体（３Ｄ）画像データが記録されている。また、このデータ記録媒体１１１ａには、画像データに対応した音声データが記録されている。立体画像データには、上述したようにフレームコンパチブル方式の立体画像データ、例えば、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などの立体画像データが含まれる（図２５（ａ），（ｂ）参照）。
【００５４】
ビデオエンコーダ１１２は、データ取り出し部１１１から出力される画像データに対して、ＭＰＥＧ２ｖｉｄｅｏフォーマットでエンコード処理を行って圧縮ビデオストリームを生成する。この場合、ビデオエンコーダ１１２は、１９２０画素×１０８０ラインの画像データに対して、１６×１６のブロック毎に符号化を行うため、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化を行う。
【００５５】
ビデオエンコーダ１１２は、圧縮ビデオストリームのピクチャーレイヤ、例えば、ユーザデータ領域、あるいはピクチャヘッダに相当する場所に、画像データのシグナリング情報を挿入する。このシグナリング情報は、画像データが立体画像データであるか２次元画像データであるかを示し、さらに立体画像データである場合には、その伝送フォーマットが何であるかを示す。
【００５６】
図３は、シグナリング情報（Stereo_Video_Format_Signaling）を含むユーザデータのデータ構造(Syntax)を示している。「user_data_start_code」の３２ビットフィールドは、ユーザデータ（user_data）の開始コードであり、“0x000001B2”の固定値とされる。この開始コードに続く３２ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「Stereo_Video_Format_Signaling_identifier」とされ、ユーザデータが、シグナリング情報（Stereo_Video_Format_Signaling）であることが識別される。この「Stereo_Video_Format_Signaling_identifier」は、“0x4A503344”の固定値とされる。この識別子の後のデータ本体として、シグナリング情報（Stereo_Video_Format_Signaling()）が配置される。
【００５７】
図４は、シグナリング情報（Stereo_Video_Format_Signaling()）のデータ構造(Syntax)を示し、図５はその主要なデータ規定内容（Semantics）を示している。「Stereo_Video_Format_Signaling_Length」の８ビットフィールドは、以降のバイト長を示す。ここでは、“3”の固定値とされる。「Stereo_Video_Format_Signaling_type」の７ビットフィールドは、３Ｄ映像フォーマットを識別する情報であり、各フォーマットの種別を示す。図６に示すように、「０００００１１」はサイド・バイ・サイド方式の３Ｄ映像であることを示し、「００００１００」はトップ・アンド・ボトム方式の３Ｄ映像であることを示し、さらに、「０００１０００」は２Ｄ映像であることを示す。
【００５８】
図２に戻って、ビデオエンコーダ１１２は、この圧縮ビデオストリーム（ＭＰＥＧ２ｖｉｄｅｏストリーム）に、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報（以下、適宜、「２次元画像領域情報」という）を挿入する。ビデオエンコーダ１１２は、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などのフレームコンパチブル方式の立体画像データである場合、この２次元画像領域情報を挿入する。
【００５９】
この実施の形態において、ビデオエンコーダ１１２は、２次元画像領域情報を挿入するため、ＭＰＥＧ２ｖｉｄｅｏストリームのシステムレイヤに存在するＳＤＥ（Sequence Display Extension），ＰＤＥ（PictureDisplay Extension）を利用する。この実施の形態において、２次元画像領域情報は、切り取り領域の大きさを示す情報と、切り取り領域の位置を示す情報とからなる。ビデオエンコーダ１１２は、ＳＤＥ内に、拡張パラメータとして、切り取り領域の大きさを示す情報を含ませる。また、ビデオエンコーダ１１２は、ＰＤＥ内に、拡張パラメータとして、切り取り領域の位置を示す情報を含ませる。
【００６０】
図７は、詳細説明は省略するが、ＭＰＥＧ２ｖｉｄｅｏに規定されているＳＤＥの構造例（Syntax）を示している。ビデオエンコーダ１１２は、このＳＤＥの「display_horizontal_size」の１４ビットフィールドに、切り取り領域の水平方向サイズを示す画素数情報を設定する。また、ビデオエンコーダ１１２は、このＳＤＥの「display_vertical_size」の１４ビットフィールドに、切り取り領域の垂直方向サイズを示す画素数情報を設定する。
【００６１】
図８は、詳細説明は省略するが、ＭＰＥＧ２ｖｉｄｅｏに規定されているＰＤＥの構造例（Syntax）を示している。ビデオエンコーダ１１２は、このＰＤＥの「frame_centre_horizontal_offset」の１６ビットフィールドに、切り取り領域の中心位置の、デコード後の画像データの中心位置からの水平方向のオフセット値を示す画素数情報を設定する。また、ビデオエンコーダ１１２は、このＰＤＥの「frame_centre_vertical_offset」の１６ビットフィールドに、切り取り領域の中心位置の、復号後の画像データの中心位置からの垂直方向のオフセット値を示す画素数情報を設定する。
【００６２】
図９は、各値の設定の一例を示している。この例は、デコード後の画像データが１９２０画素×１０８０ラインであって、その画像データのうち１９２０画素×１０８０ラインに実質的な画像データ存在する場合の例である。また、この例は、受信側において、サイド・バイ・サイド方式では左側に存在する左眼画像データを、トップ・アンド・ボトム方式では上側に存在する左眼画像データを２次元表示用の画像データとして切り取る場合の例である。なお、デコード後の画像データの中心位置をＡ０とし、切り取り領域の中心位置をＢ０としている。
【００６３】
サイド・バイ・サイド方式の場合、ＳＤＥ内、ＰＤＥ内の拡張パラメータは、以下のように設定される。すなわち、「display_horizontal_size＝９６０」、「display_vertical_size＝１０８０」に設定される。また、「frame_centre_horizontal_offset＝−４８０」、「frame_centre_vertical_offset＝−４」に設定される。一方、トップ・アンド・ボトム方式の場合、ＳＤＥ内、ＰＤＥ内の拡張パラメータは、以下のように設定される。すなわち、「display_horizontal_size＝１９２０」、「display_vertical_size＝５４０」に設定される。また、「frame_centre_horizontal_offset＝０」、「frame_centre_vertical_offset＝−２７４」に設定される。
【００６４】
図１０は、各値の設定の他の例を示している。この例は、デコード後の画像データが１９２０画素×１０８０ラインであって、その画像データのうち１９２０画素×１０８０ラインに実質的な画像データ存在する場合の例である。また、この例は、受信側において、サイド・バイ・サイド方式では右側に存在する右眼画像データを、トップ・アンド・ボトム方式では下側に存在する右眼画像データを２次元表示用の画像データとして切り出す場合の例である。なお、デコード後の画像データの中心位置をＡ０とし、切り取り領域の中心位置をＢ０としている。
【００６５】
サイド・バイ・サイド方式の場合、ＳＤＥ内、ＰＤＥ内の拡張パラメータは、以下のように設定される。すなわち、「display_horizontal_size＝９６０」、「display_vertical_size＝１０８０」に設定される。また、「frame_centre_horizontal_offset＝４８０」、「frame_centre_vertical_offset＝−４」に設定される。一方、トップ・アンド・ボトム方式の場合、ＳＤＥ内、ＰＤＥ内の拡張パラメータは、以下のように設定される。すなわち、「display_horizontal_size＝１９２０」、「display_vertical_size＝５４０」に設定される。また、「frame_centre_horizontal_offset＝０」、「frame_centre_vertical_offset＝２６６」に設定される。
【００６６】
図２に戻って、また、ビデオエンコーダ１１２は、この圧縮ビデオストリーム（ＭＰＥＧ２ｖｉｄｅｏストリーム）に、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報（以下、適宜、「立体画像領域情報」という）を挿入する。ビデオエンコーダ１１２は、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などのフレームコンパチブル方式の立体画像データである場合、この立体画像領域情報を挿入する。ビデオエンコーダ１１２は、圧縮ビデオストリームのピクチャーレイヤ、例えば、ユーザデータ領域、あるいはピクチャヘッダに相当する場所に、この立体画像領域情報を挿入する。
【００６７】
図１１は、立体画像領域情報（Stereo_Video_Cropping）を含むユーザデータのデータ構造(Syntax)を示している。「user_data_start_code」の３２ビットフィールドは、ユーザデータ（user_data）の開始コードであり、“0x000001B2”の固定値とされる。この開始コードに続く３２ビットフィールドは、ユーザデータの内容を識別する識別子である。ここでは、「Stereo_Video_Cropping_identifier」とされ、ユーザデータが、立体画像領域情報（Stereo_Video_Cropping）であることが識別される。この識別子の後のデータ本体として、立体画像領域情報（Stereo_Video_Cropping()）が配置される。
【００６８】
図１２は、立体画像領域情報（Stereo_Video_Cropping）のデータ構造(Syntax)を示し、図１３はその主要なデータ規定内容（Semantics）を示している。「temporal_repetition_cropping」は、１ビットのフラグ情報である。フラグ“１”は、次の立体画像領域情報（Stereo_Video_Cropping）のユーザデータが現れるまで、ここで定義される状態を保持することを示す。フラグ“０”は、現在のピクチャ（Picture）に限定で、状態を定義していることを示す。
【００６９】
「frame_3D_left_offset」の１６ビットフィールドは、立体画像領域の左端位置の、デコード後の画像データの左上位置からの水平方向のオフセット値を示す。「frame_3D_right_offset」の１６ビットフィールドは、立体画像領域の右端位置の、デコード後の画像データの左上位置からの水平方向のオフセット値を示す。「frame_3D_top_offset」の１６ビットフィールドは、立体画像領域の上端位置の、デコード後の画像データの左上位置からの垂直方向のオフセット値を示す。さらに、「frame_3D_bottom_offset」の１６ビットフィールドは、立体画像領域の下端位置の、デコード後の画像データの左上位置からの垂直方向のオフセット値を示す。
【００７０】
上述したように、シグナリング情報（Stereo_Video_Format_Signaling）を含むユーザデータ、および立体画像領域情報（Stereo_Video_Cropping）を含むユーザデータは、いずれも圧縮ビデオストリームのピクチャーレイヤのユーザデータ領域に挿入される。図１４は、その場合におけるシグナリング情報と立体画像領域情報の位置関係を概略的に示しており、立体画像領域情報はシグナリング情報より後の位置に挿入される。
【００７１】
図２に戻って、オーディオエンコーダ１１３は、データ取り出し部１１１から出力される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、圧縮オーディオストリームを生成する。マルチプレクサ１１４は、ビデオエンコーダ１１２およびオーディオエンコーダ１１３で生成された各ストリームをパケット化して多重し、トランスポートストリーム（多重化データストリーム）ＴＳを生成する。
【００７２】
図２に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から出力される２次元画像データ、あるいは立体（３Ｄ）画像データは、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、その画像データに対して、ＭＰＥＧ２ｖｉｄｅｏフォーマットのエンコード処理が行われて、圧縮ビデオストリームが生成される。
【００７３】
また、ビデオエンコーダ１１２では、圧縮ビデオストリームのピクチャーレイヤ、例えばユーザデータ領域、あるいはピクチャヘッダに相当する場所に、２次元画像データか立体画像データか、さらに立体画像データであればその伝送フォーマットを識別可能なシグナリング情報が挿入される（図３〜６参照）。
【００７４】
また、ビデオエンコーダ１１２では、フレームコンパチブル方式以外の立体画像データであるとき、この圧縮ビデオストリームに、デコード後の画像データから２次元表示用の画像データを切り取るための２次元画像領域情報が挿入される。この場合、ＭＰＥＧ２ｖｉｄｅｏストリームのシステムレイヤに存在するＳＤＥ，ＰＤＥが利用されて、画像領域情報の挿入が行われる（図７〜図１０参照）。
【００７５】
また、ビデオエンコーダ１１２では、フレームコンパチブル方式以外の立体画像データであるとき、この圧縮ビデオストリームにデコード後の画像データから立体表示用の画像データを切り取るための立体画像領域情報が挿入される（図１１〜図１４参照）。この立体画像領域情報は、上述のシグナリング情報と同様に、ピクチャーレイヤ、例えばユーザデータ領域、あるいはピクチャヘッダに相当する場所に挿入される。
【００７６】
また、データ取り出し部１１１から上述したように立体画像データが出力されるとき、このデータ取り出し部１１１からその立体画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ１１３に供給される。このオーディオエンコーダ１１３では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、圧縮オーディオストリームが生成される。
【００７７】
ビデオエンコーダ１１２で生成された圧縮ビデオストリームはマルチプレクサ１１４に供給される。また、オーディエンコーダ１１３で生成された圧縮オーディオストリームはマルチプレクサ１１４に供給される。マルチプレクサ１１４では、各エンコーダから供給されるストリームがパケット化されて多重され、トランスポートストリーム（多重化データストリーム）ＴＳが生成される。
【００７８】
上述したように、図２に示す送信データ生成部１１０において、ビデオエンコーダ１１２で、画像データに対して、ＭＰＥＧ２ｖｉｄｅｏフォーマットのエンコード処理が行われて、圧縮ビデオストリームが生成される。そして、その際に、画像データがフレームコンパチブル方式の立体画像データであるときは、デコード後の画像データから２次元表示用の画像データを切り取るための２次元画像領域情報が挿入される。
【００７９】
そのため、受信側の２次元テレビ受信機（２ＤＴＶ）では、この２次元画像領域情報に基づいて、デコード後の画像データから２次元表示用の画像データを切り取って２次元画像データを得ることが可能となる。したがって、フレームコンパチブル方式の立体画像データを送信する際、２ＤＴＶに対してのサービスコンパチブルを実現できる。
【００８０】
また、受信側の立体テレビ受信機（３ＤＴＶ）では、ユーザ操作により二次元表示モードが選択される場合、この２次元画像領域情報に基づいて、デコード後の画像データから２次元表示用の画像データを切り取って２次元画像データを得ることが可能となる。したがって、フレームコンパチブル方式の立体画像データを送信する際、３ＤＴＶ（２次元表示モード）に対してのサービスコンパチブルを実現できる。
【００８１】
また、図２に示す送信データ生成部１１０においては、圧縮ビデオストリームが生成される際に、画像データがフレームコンパチブル方式の立体画像データであるとき、立体画像領域情報が挿入される。この立体画像領域情報は、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報である。
【００８２】
そのため、受信側の立体テレビ受信機（３ＤＴＶ）におけるデータ切り取り処理の便宜を図ることができる。すなわち、受信側の３ＤＴＶでは、ユーザ操作により、立体表示モードが選択される場合、この立体画像領域情報に基づいて、デコード後の画像データから立体表示用の画像データの切り取りを容易かつ正しく行うことができ、従って、左眼画像データおよび右眼画像データを良好に得ることが可能となる。
【００８３】
「２次元テレビ受信機（２ＤＴＶ）の構成例」
図１５は、受信機２００としての２次元テレビ受信機（２ＤＴＶ）２００Ａの構成例を示している。この２次元テレビ受信機２００Ａは、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモートコントロール受信部２０５と、リモートコントロール送信機２０６を有している。
【００８４】
また、この２次元テレビ受信機２００Ａは、アンテナ端子２１０と、デジタルチューナ２１１と、トランスポートストリームバッファ（ＴＳバッファ）２１２と、デマルチプレクサ２１３を有している。また、この受信機２００Ａは、ビデオデコーダ２１４と、ディスプレイアウトプットバッファ（ＤＯバッファ）２１５と、画像データ処理部２１６と、ビューバッファ２２２と、オーディオデコーダ２１８と、チャネル処理部２１９を有している。
【００８５】
ＣＰＵ２０１は、受信機２００Ａの各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００Ａの各部を制御する。リモートコントロール受信部２０５は、リモートコントロール送信機２０６から送信されたリモーコントロール信号を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモーコントロール信号に基づいて、受信機２００Ａの各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は内部バス２０４に接続されている。
【００８６】
アンテナ端子２１０は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１１は、アンテナ端子２１０に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。トランスポートストリームバッファ（ＴＳバッファ）２１２は、デジタルチューナ２１１から出力されたトランスポートストリームＴＳを一時的に蓄積する。
【００８７】
この実施の形態において、トランスポートストリームＴＳは、上述の放送局１００の送信データ生成部１１０（図２参照）で生成されたトランスポートストリームＴＳであるとする。すなわち、このトランスポートストリームＴＳは、フレームコンパチブル方式の立体画像データに対してエンコード処理を行って生成された圧縮ビデオストリーム（ＭＰＥＧ２ｖｉｄｅｏストリーム）を持っている。
【００８８】
この圧縮ビデオストリームには、ＭＰＥＧ２ｖｉｄｅｏストリームのシステムレイヤに存在するＳＤＥ，ＰＤＥが利用されて、デコード後の画像データから２次元表示用の画像データを切り取るための２次元画像領域情報が挿入されている。また、この圧縮ビデオストリームには、ピクチャーレイヤのユーザデータ領域に、デコード後の画像データから立体表示用の画像データを切り取るための立体画像領域情報が挿入されている。
【００８９】
デマルチプレクサ２１３は、ＴＳバッファ２１２に一時的に蓄積されたトランスポートストリームＴＳから、圧縮ビデオストリームおよび圧縮オーディオストリームを抽出する。ビデオデコーダ２１４は、上述の送信データ生成部１１０のビデオエンコーダ１１２とは逆の処理を行う。すなわち、このビデオデコーダ２１４は、デマルチプレクサ２１３で抽出された圧縮ビデオストリームに対してデコード処理を行って画像データを生成する。この画像データは、２次元画像データ、あるいは立体画像データである。
【００９０】
上述したように、放送局１００の送信データ生成部１１０では、１９２０画素×１０８８ラインの立体画像データに対して、１６×１６のブロック毎に符号化を行うため、ブランクデータからなる８ラインが付加され、１９２０画素×１０８８ラインの画像データとして符号化が行われている。そのため、ビデオデコーダ２１４は、デコード後の画像データとして、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データを取得する。
【００９１】
また、ビデオデコーダ２１４は、圧縮ビデオストリームのピクチャーレイヤに挿入されている画像データのシグナリング情報を読む。そして、ビデオデコーダ２１４は、デコード後の画像データがフレームコンパチブル方式の立体画像データであるときは、圧縮ビデオストリームに挿入されている、デコード後の画像データから２次元表示用の画像データを切り取るための２次元画像領域情報を取り出す。ビデオデコーダ２１４は、シグナリング情報および２次元画像領域情報をＣＰＵ２０１に供給する。ビデオデコーダ２１４は、圧縮ビデオストリームに挿入されている、デコード後の画像データから立体表示用の画像データを切り取るための立体画像領域情報については読み飛ばす。
【００９２】
ビデオデコーダ２１４で生成される画像データがサイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などのフレームコンパチブル方式の立体画像データであるとき、ＣＰＵ２０１は、シグナリング情報により、そのことを認識する。
【００９３】
図１６のフローチャートは、ＣＰＵ２０１におけるストリーム認識処理の手順の一例を示している。ＣＰＵ２０１は、ステップＳＴ１１において、処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップ１２において、ＣＰＵ２０１は、３Ｄシグナリング情報があるか否か、つまりシグナリング情報が立体画像データであることを示しているか否かを判別する。
【００９４】
３Ｄシグナリング情報があるとき、ＣＰＵ２０１は、ステップＳＴ１３において、シグナリング情報が立体画像データのフォーマットとしてサイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式等のフレームコンパチブル方式の立体画像データを示しているか否かを判断する。フレームコンパチブル方式の立体画像データを示しているとき、ＣＰＵ２０１は、ステップＳＴ１４において、３Ｄストリーム、つまりデコード後の画像データがフレームコンパチブル方式の立体画像データであると認識し、その後に、ステップＳＴ１５において、処理を終了する。
【００９５】
ステップＳＴ１２でシグナリング情報がないとき、あるいはステップＳＴ１３でフレームコンパチブル方式の立体画像データでないとき、ＣＰＵ２０１は、ステップＳＴ１６において、２Ｄストリーム、つまりデコード後の画像データが２次元画像データであると認識し、その後に、ステップＳＴ１５において、処理を終了する。
【００９６】
ＣＰＵ２０１は、上述のような、ストリーム認識処理を行い、その結果に基づいて、画像データ処理部２２１における処理を制御する。
【００９７】
ＤＯバッファ２１５は、ビデオデコーダ２１４で取得された画像データを一時的に蓄積する。画像データ処理部２２１は、ＤＯバッファ２１５に蓄積されている画像データから、ＣＰＵ２０１の制御のもと、２次元表示用の画像データの切り取りを行って、２次元画像データＳＶを生成する。
【００９８】
この場合、ＣＰＵ２０１が２Ｄストリーム、つまりデコード後の画像データが２次元画像データであると認識するとき、画像データ処理部２２１は、従来と同様の２次元表示処理を行って、２次元画像データＳＶを得る。一方、ＣＰＵ２０１が３Ｄストリーム、つまりデコード後の画像データがフレームコンパチブル方式の立体画像データであると認識するとき、画像データ処理部２２１は、２次元画像領域情報を利用して、２次元画像データＳＶを生成する。
【００９９】
すなわち、２次元画像領域情報がデコード後の画像データのうち左眼画像データ領域を示す場合（図９参照）、画像データ処理部２２１は、デコード後の立体画像データから左眼画像データ領域の画像データを切り取る。そして、画像データ処理部２２１は、切り取った左眼画像データに対して水平または垂直のスケーリング処理を施し、２次元画像を表示するための２次元画像データＳＶを得る。この場合、Sequence_Display_extensionのhorizontal_size、vertical_sizeで切り出した領域を、sequence_headerのaspect_ratio_informationの指定に従い、変換する。
【０１００】
また、２次元画像領域情報がデコード後の画像データのうち、右眼画像データ領域を示す場合（図１０参照）、画像データ処理部２２１は、デコード後の立体画像データから右眼画像データ領域の画像データを切り取る。そして、画像データ処理部２２１は、切り取った右眼画像データに対して水平または垂直のスケーリング処理を施し、２次元画像を表示するための２次元画像データＳＶを得る。この場合も、Sequence_Display_extensionのhorizontal_size、vertical_sizeで切り出した領域を、sequence_headerのaspect_ratio_informationの指定に従い、変換する。
【０１０１】
ビューバッファ２２２は、画像データ処理部２２１で得られた２次元画像データＳＶを一時的に蓄積し、図示しない表示ディスプレイなどの画像出力部に出力する。
【０１０２】
２次元テレビ受信機（２ＤＴＶ）２００Ａの動作を簡単に説明する。アンテナ端子２１０に入力されたテレビ放送信号はデジタルチューナ２１１に供給される。このデジタルチューナ２１１では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。このトランスポートストリームＴＳは、ＴＳバッファ２１２に一時的に蓄積される。
【０１０３】
デマルチプレクサ２１３では、ＴＳバッファ２１２に一時的に蓄積されたトランスポートストリームＴＳから、圧縮ビデオストリームおよび圧縮オーディオストリームが抽出される。圧縮ビデオストリームはビデオデコーダ２１４に供給され、圧縮オーディオストリームはオーディオデコーダ２１８に供給される。
【０１０４】
ビデオデコーダ２１４では、デマルチプレクサ２１３で抽出された圧縮ビデオストリームに対してデコード処理が施されて、２次元画像データあるいは立体画像データが生成される。この画像データは、ＤＯバッファ２１５に一時的に蓄積される。
【０１０５】
また、ビデオデコーダ２１４では、圧縮ビデオストリームのピクチャーレイヤに挿入されている画像データのシグナリング情報が読み込まれる。そして、ビデオデコーダ２１４では、デコード後の画像データがフレームコンパチブル方式の立体画像データであるときは、圧縮ビデオストリームに挿入されている、デコード後の画像データから２次元表示用の画像データを切り取るための２次元画像領域情報が取り出される。シグナリング情報および２次元画像領域情報は、ＣＰＵ２０１に供給される。
【０１０６】
ＣＰＵ２０１では、シグナリング情報に基づいて、２Ｄストリームか３Ｄストリームかの判断がなされる。そして、その判断結果に基づいて、画像データ処理部２２１における処理が制御される。
【０１０７】
ＣＰＵ２０１が２Ｄストリーム、つまりデコード後の画像データが２次元画像データであると認識するとき、画像データ処理部２２１では、従来と同様の２次元表示処理が行われて、２次元画像データＳＶが生成される。この２次元画像データＳＶは、ビューバッファ２２２を通じて、表示ディスプレイなどの画像出力部に出力される。表示ディスプレイには、２次元画像が表示される。
【０１０８】
また、ＣＰＵ２０１が３Ｄストリーム、つまりデコード後の画像データがフレームコンパチブル方式の立体画像データであると認識するとき、画像データ処理部２２１では、２次元画像領域情報が利用されて、２次元画像データＳＶが生成される。
【０１０９】
すなわち、ＤＯバッファ２１５に蓄積されている立体画像データから、ＣＰＵ２０１の制御のもと、左眼画像データあるいは右眼画像データが２次元表示用の画像データとして切り取られる。そして、画像データ処理部２２１では、切り取られた画像データに対して水平または垂直のスケーリング処理が施され、２次元画像を表示するための２次元画像データＳＶが得られる。この２次元画像データＳＶは、ビューバッファ２２２を通じて、表示ディスプレイなどの画像出力部に出力される。表示ディスプレイには、２次元画像が表示される。
【０１１０】
また、デマルチプレクサ２１３で抽出された圧縮オーディオストリームは、オーディオデコーダ２１８に供給される。このオーディオデコーダ２１８では、圧縮オーディオストリームに対してデコード処理が行われて、復号化された音声データが得られる。この音声データは、チャネル処理部２１９に供給される。チャネル処理部２１９では、その音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡが生成される。この音声データＳＡは、スピーカなどの音声出力部に出力される。
【０１１１】
上述したように、図１５に示す２次元テレビ受信機（２ＤＴＶ）２００Ａにおいて、ビデオデコーダ２１４では、圧縮ビデオストリームにＳＤＥ，ＰＤＥが利用されて挿入されている、デコード後の画像データから２次元表示用の画像データを切り取るための２次元画像領域情報が取り出される。そして、画像データ処理部２２１では、デコード後の画像データがフレームコンパチブル方式の立体画像データであるときは、ＣＰＵ２０１の制御のもと、２次元画像領域情報が利用される。つまり、フレームコンパチブル方式の立体画像データから、２次元表示用の画像データ（左眼画像データまたは右眼画像データ）の切り取りが自動的に行われる。
【０１１２】
そして、画像データ処理部２２１では、切り取られた画像データに対して水平あるいは垂直のスケーリング処理が施されて、２次元画像データＳＶが得られる。そのため、フレームコンパチブル方式の立体画像データが送信されてくる際、左右あるいは上下に同様の画像が並んだ不自然な画像表示が行われることがなく、自動的に良好な２次元画像の表示が可能となる。
【０１１３】
なお、上述では、ビデオデコーダ２１４は、圧縮ビデオストリームのピクチャーレイヤに挿入されている画像データのシグナリング情報を読み込むものとしている。そして、ビデオデコーダ２１４は、デコード後の画像データがフレームコンパチブル方式の立体画像データであるとき、圧縮ビデオストリームに挿入されている２次元画像領域情報を取り出して、画像データ処理部２２１における２次元表示処理に利用している。
【０１１４】
しかし、ビデオデコーダ２１４は、圧縮ビデオストリームのピクチャーレイヤに挿入されている画像データのシグナリング情報と立体画像領域情報の両方を読み飛ばすようにしてもよい。そして、画像データ処理部２２１は、ＳＤＥ（sequence_display_extension）、あるいはＰＤＥ(picture_display_extension)におけるクロッピング（cropping）により、片方のビューのみを切り出して表示するようにしてもよい。このことは、後述する、立体テレビ受信機（３ＤＴＶ）で、２次元表示モードが選択されている場合も同様である。
【０１１５】
「立体テレビ受信機（３ＤＴＶ）の構成例」
図１７は、受信機２００としての立体テレビ受信機（３ＤＴＶ）２００Ｂの構成例を示している。この立体テレビ受信機２００Ｂは、ユーザ操作により、２次元表示モードまたは立体表示モードを選択することが可能とされている。立体テレビ受信機２００Ｂは、立体表示モードでは立体画像を表示し、２次元表示モードでは２次元画像を表示する。なお、この図１７において、図１５と対応する部分には同一符号を付し、適宜、その詳細説明を省略する。
【０１１６】
この立体テレビ受信機２００Ｂは、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモートコントロール受信部２０５と、リモートコントロール送信機２０６を有している。また、この立体テレビ受信機２００Ｂは、アンテナ端子２１０と、デジタルチューナ２１１と、トランスポートストリームバッファ（ＴＳバッファ）２１２と、デマルチプレクサ２１３を有している。また、この立体テレビ受信機２００Ｂは、ビデオデコーダ２１４と、ディスプレイアウトプットバッファ（ＢＯバッファ）２１５と、画像データ処理部２１６と、ビューバッファ２１７Ｌ，２１７Ｒと、オーディオデコーダ２１８と、チャネル処理部２１９を有している。
【０１１７】
上述したように、この立体テレビ受信機２００Ｂは、ユーザ操作により、２次元表示モードまたは立体表示モードを選択することが可能とされている。ユーザは、例えば、リモートコントロール送信機２０６を操作することで、２次元表示モードまたは立体表示モードを択一的に選択可能とされる。この意味で、リモートコントロール送信機２０６は、ユーザが２次元表示モードまたは立体表示モードを選択するためのユーザ操作部を構成している。
【０１１８】
ビデオデコーダ２１４は、デマルチプレクサ２１３で抽出された圧縮ビデオストリームに対してデコード処理を行って、２次元画像データあるいは立体画像データを生成する。この画像データは、ＤＯバッファ２１５に一時的に蓄積される。画像データ処理部２１６は、ＤＯバッファ２１５に蓄積されている画像データから、ＣＰＵ２０１の制御のもと、立体画像データを構成する左眼画像データＳＬおよび右眼画像データＳＲ、あるいは２次元画像データＳＶを生成する。
【０１１９】
また、ビデオデコーダ２１４は、圧縮ビデオストリームのピクチャーレイヤに挿入されている画像データのシグナリング情報を読む。ビデオデコーダ２１４は、デコード後の画像データがフレームコンパチブル方式の立体画像データであるときは、圧縮ビデオストリームに挿入されている、デコード後の画像データから２次元表示用の画像データを切り取るための２次元画像領域情報を取り出す。
【０１２０】
また、ビデオデコーダ２１４は、デコード後の画像データがフレームコンパチブル方式の立体画像データであるときは、圧縮ビデオストリームに挿入されている、デコード後の画像データから立体表示用の画像データを切り取るための立体画像領域情報を取り出す。ビデオデコーダ２１４は、シグナリング情報および画像領域情報（２次元画像領域情報、立体画像領域情報）をＣＰＵ２０１に供給する。
【０１２１】
ＣＰＵ２０１は、シグナリング情報に基づいて、２Ｄストリームか３Ｄストリームかの判断を行う（図１６参照）。そして、ＣＰＵ２０１は、その結果に基づいて、画像データ処理部２１６における処理を制御する。
【０１２２】
ＣＰＵ２０１が２Ｄストリーム、つまりデコード後の画像データが２次元画像データであると認識するとき、画像データ処理部２１６は、従来と同様の２次元表示処理を行って、２次元画像データＳＶを生成する。
【０１２３】
また、ＣＰＵ２０１は、３Ｄストリーム、つまりデコード後の画像データがフレームコンパチブル方式の立体画像データであると認識するとき、２次元表示モード、立体表示モードのいずれの選択状態にあるかにより、画像データ処理部２１６の処理を制御する。
【０１２４】
つまり、ＣＰＵ２０１は、ユーザ操作による上述の表示モード選択情報に基づいて、画像データ処理部２１６の処理を切り換える。図１８のフローチャートは、ＣＰＵ２０１における制御処理の手順を示している。ＣＰＵ２０１は、ステップＳＴ１において、制御処理を開始し、その後に、ステップＳＴ２の処理に移る。ＣＰＵ２０１は、このステップＳＴ２において、現在、２次元表示モードが選択されているか、立体表示モードが選択されているかを、判断する。
【０１２５】
立体表示モードが選択されているとき、ＣＰＵ２０１は、ステップＳＴ３において、画像データ処理部２１６の処理を立体表示処理に切り換え、その後に、ステップＳＴ４において、制御処理を終了する。一方、２次元表示モードが選択されているとき、ＣＰＵ２０１は、ステップＳＴ５において、画像データ処理部２１６の処理を２次元表示処理に切り換え、その後に、ステップＳＴ４において、制御処理を終了する。
【０１２６】
ＣＰＵ２０１は、図１８のフローチャートに示す制御処理を周期的に、あるいは、ユーザが表示モードの選択操作を行った場合などに、実行する。そのため、画像データ処理部２１６は、立体表示モードが選択されている場合には立体表示処理を行うと共に、２次元表示モードが選択されている場合には２次元表示処理を行う。
【０１２７】
画像データ処理部２１６における立体表示処理は、以下の処理である。すなわち、画像データ処理部２１６は、ＤＯバッファ２１５に蓄積されている立体画像データから、立体画像領域情報を利用して、左眼画像データＳＬおよび右眼画像データＳＲを生成する。すなわち、つまり、画像データ処理部２１６は、この立体画像領域情報を利用して立体画像データから立体表示用の画像データを切り取る。そして、画像データ処理部２１６は、切り取った画像データを左右あるいは上下に二分し、それぞれに水平方向あるいは垂直方向のスケーリング処理を施して、立体画像を表示するための左眼画像データＳＬおよび右眼画像データＳＲを得る。
【０１２８】
なお、この場合、画像データ処理部２１６は、ＤＯバッファ２１５に蓄積されている立体画像データから、２次元画像領域情報を利用して、左眼画像データＳＬおよび右眼画像データＳＲを生成することも可能である。この場合、画像データ処理部２１６は、図１９、図２０に示すように、画像領域情報のうちdisplay_horizontal_size 、あるいはdisplay_vertical_sizeを各々２倍の値に解釈して、立体画像データからフル解像度の左眼画像データＳＬおよび右眼画像データＳＲを得る。つまり、画像領域情報が示すハーフ解像度の値を２倍の値に解釈し、立体画像データからフル解像度の左眼画像データおよび右眼画像データを得る。
【０１２９】
また、画像データ処理部２１６における２次元表示処理は、以下の処理である。すなわち、画像データ処理部２１６は、２次元画像領域情報を利用して、２次元画像データＳＶを生成する。すなわち、画像データ処理部２１６は、ＤＯバッファ２１５に蓄積されている立体画像データから、ＣＰＵ２０１の制御のもと、上述の２次元画像領域情報に基づいて、２次元表示用の画像データ（左眼画像データまたは右眼画像データ）を切り取る。
【０１３０】
そして、画像データ処理部２１６は、切り取った左眼画像データに対して水平または垂直のスケーリング処理を施し、２次元画像データＳＶを得る（図９、図１０参照）。この場合、Sequence_Display_extensionのhorizontal_size、vertical_sizeで切り出した領域を、sequence_headerのaspect_ratio_informationの指定に従い、変換する。
【０１３１】
ビューバッファ２１７Ｌは、画像データ処理部２１６で生成された左眼画像データＳＬ、あるいは２次元画像データＳＶを一時的に蓄積し、図示しない表示ディスプレイなどの画像出力部に出力する。また、ビューバッファ２１７Ｒは、画像データ処理部２１６で生成された右眼画像データＳＲを一時的に蓄積し、表示ディスプレイなどの画像出力部に出力する。
【０１３２】
詳細説明は省略するが、図１７に示す立体テレビ受信機２００Ｂのその他は、上述の図１５に示す２次元テレビ受信機２００Ａと同様に構成されている。
【０１３３】
立体テレビ受信機２００Ｂの動作を簡単に説明する。アンテナ端子２１０に入力されたテレビ放送信号はデジタルチューナ２１１に供給される。このデジタルチューナ２１１では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。このトランスポートストリームＴＳは、ＴＳバッファ２１２に一時的に蓄積される。
【０１３４】
デマルチプレクサ２１３では、ＴＳバッファ２１２に一時的に蓄積されたトランスポートストリームＴＳから、圧縮ビデオストリームおよび圧縮オーディオストリームが抽出される。圧縮ビデオストリームはビデオデコーダ２１４に供給され、圧縮オーディオストリームはオーディオデコーダ２１８に供給される。
【０１３５】
ビデオデコーダ２１４では、デマルチプレクサ２１３で抽出された圧縮ビデオストリームに対してデコード処理が施されて、２次元画像データあるいは立体画像データが生成される。この立体画像データは、ＤＯバッファ２１５に一時的に蓄積される。
【０１３６】
また、ビデオデコーダ２１４では、圧縮ビデオストリームのピクチャーレイヤに挿入されている画像データのシグナリング情報が読み込まれる。そして、ビデオデコーダ２１４では、デコード後の画像データがフレームコンパチブル方式の立体画像データであるときは、圧縮ビデオストリームに挿入されている、デコード後の画像データから２次元表示用の画像データを切り取るための２次元画像領域情報が取り出される。
【０１３７】
また、ビデオデコーダ２１４では、デコード後の画像データがフレームコンパチブル方式の立体画像データであるときは、圧縮ビデオストリームに挿入されている、デコード後の画像データから立体表示用の画像データを切り取るための立体画像領域情報が取り出される。シグナリング情報および画像領域情報（２次元画像領域情報、立体画像領域情報）は、ＣＰＵ２０１に供給される。
【０１３８】
ＣＰＵ２０１では、シグナリング情報に基づいて、２Ｄストリームか３Ｄストリームかの判断がなされる（図１６参照）。そして、その結果に基づいて、画像データ処理部２１６における処理が制御される。
【０１３９】
ＣＰＵ２０１が２Ｄストリーム、つまりデコード後の画像データが２次元画像データであると認識するとき、画像データ処理部２１６では、従来と同様の２次元表示処理が行われて、２次元画像データＳＶが生成される。この２次元画像データＳＶは、ビューバッファ２１７Ｌを通じて、表示ディスプレイなどの画像出力部に出力される。表示ディスプレイには、２次元画像が表示される。
【０１４０】
ＣＰＵ２０１が３Ｄストリーム、つまりデコード後の画像データがフレームコンパチブル方式の立体画像データであると認識するときは、２次元表示モードが選択されているか立体表示モードが選択されているかにより、画像データ処理部２１６における処理が制御される。この場合、ＣＰＵ２０１により、ユーザ操作による上述表示モード選択情報に基づいて、画像データ処理部２１６の処理が切り換えられる（図１８参照）。画像データ処理部２１６では、立体表示モードが選択されている場合には立体表示処理が行われ、２次元表示モードが選択されている場合には２次元表示処理が行われる。
【０１４１】
画像データ処理部２１６では、立体表示処理として、以下の処理が行われる。すなわち、画像データ処理部２１６では、ＤＯバッファ２１５に蓄積されている立体画像データから、立体画像領域情報が利用されて、立体表示用の画像データが切り取られる。そして、画像データ処理部２１６では、切り取られた画像データが左右あるいは上下に二分され、それぞれに水平方向あるいは垂直方向のスケーリング処理が施されて、立体画像を表示するための左眼画像データＳＬおよび右眼画像データＳＲが得られる。
【０１４２】
これら画像データＳＬ，ＳＲは、ビューバッファ２１７Ｌ，２１７Ｒを通じて、表示ディスプレイなどの画像出力部に出力される。表示ディスプレイには、ユーザが立体画像を知覚するための画像表示が行われる。例えば、シャッタメガネ方式では、シャッタメガネのシャッタ動作に同期して左眼画像および右眼画像が交互に表示される。
【０１４３】
また、画像データ処理部２１６では、２次元表示処理として、以下の処理が行われる。すなわち、画像データ処理部２１６では、ＤＯバッファ２１５に蓄積されている立体画像データから、２次元画像領域情報が利用されて、左眼画像データあるいは右眼画像データが２次元表示用の画像データとして切り取られる。そして、画像データ処理部２１６では、切り取られた画像データに対して水平または垂直のスケーリング処理が施され、２次元画像データＳＶが得られる。この次元画像データＳＶは、ビューバッファ２１７Ｌを通じて、表示ディスプレイなどの画像出力部に出力される。表示ディスプレイには、２次元画像が表示される。
【０１４４】
上述したように、図１７に示す立体テレビ受信機（３ＤＴＶ）２００Ｂにおいては、ビデオデコーダ２１４では、デコード後の画像データがフレームコンパチブル方式の立体画像データである場合、２次元画像領域情報が取り出される。つまり、ビデオデコーダ２１４では、上述したように圧縮ビデオストリームにＳＤＥ，ＰＤＥが利用されて挿入されている、デコード後の画像データから２次元表示用の画像データを切り取るための２次元画像領域情報が取り出される。
【０１４５】
そして、画像データ処理部２１６では、デコード後の画像データがフレームコンパチブル方式の立体画像データである場合、２次元表示モードが選択されているときには、ＣＰＵ２０１の制御のもと、２次元画像領域情報が利用される。つまり、この２次元画像領域情報が利用されて、フレームコンパチブル方式の立体画像データから、２次元表示用の画像データ（左眼画像データまたは右眼画像データ）の切り取りが自動的に行われる。
【０１４６】
そして、画像データ処理部２１６では、切り取られた画像データに対して水平あるいは垂直のスケーリング処理が施されて、２次元画像データＳＶが得られる。そのため、フレームコンパチブル方式の立体画像データが送信されてくる際、左右あるいは上下に同様の画像が並んだ不自然な画像表示が行われることがなく、自動的に良好な２次元画像の表示が可能となる。
【０１４７】
また、図１７に示す立体テレビ受信機（３ＤＴＶ）２００Ｂにおいては、ビデオデコーダ２１４では、デコード後の画像データがフレームコンパチブル方式の立体画像データである場合、立体画像領域情報が取り出される。つまり、ビデオデコーダ２１４では、上述したように圧縮ビデオストリームのピクチャーレイヤのユーザデータ領域に挿入されている、デコード後の画像データから立体表示用の画像データを切り取るための立体画像領域情報が取り出される。
【０１４８】
そして、画像データ処理部２１６では、デコード後の画像データがフレームコンパチブル方式の立体画像データである場合、立体表示モードが選択されているときには、ＣＰＵ２０１の制御のもと、立体画像領域情報が利用される。つまり、この立体画像領域情報が利用されて、フレームコンパチブル方式の立体画像データから、立体表示用の画像データの切り取りが自動的に行われる。そのため、デコード後の画像データから立体表示用の画像データの切り取りを容易かつ正しく行うことができ、従って、左眼画像データＳＬおよび右眼画像データＳＲを良好に得ることができる。
【０１４９】
＜２．変形例＞
なお、上述実施の形態においては、圧縮ビデオストリーム（ＭＰＥＧ２ｖｉｄｅｏストリーム）に２次元画像領域情報として領域の大きさを示す情報と領域の位置を示す情報の双方を挿入する例を示した。しかし、圧縮ビデオストリームに２次元画像領域情報として領域の大きさを示す情報のみを挿入することも考えられる。
【０１５０】
その場合、サイド・バイ・サイド方式にあっては、受信側において、例えば、左側領域あるいは右側領域にある画像データを２次元表示用の画像データとして機械的に切り取るようにされる。また、その場合、トップ・アンド・ボトム方式にあっては、受信側において、例えば、上側領域あるいは下側領域の画像データを２次元表示用の画像データとして切り取るようにされる。
【０１５１】
その場合、例えば、ＭＰＥＧ２ｖｉｄｅｏストリームのシステムレイヤに存在するＳＤＥのみが利用され、画像領域情報として、領域の大きさを示す情報のみが挿入される。図２１、図２２は、その場合におけるＳＤＥ内の拡張パラメータの設定例を示している。図２１は、受信側において、サイド・バイ・サイド方式では左側に存在する左眼画像データを、トップ・アンド・ボトム方式では上側に存在する左眼画像データを切り取る場合の例を示している。また、図２２は、受信側において、サイド・バイ・サイド方式では右側に存在する右眼画像データを、トップ・アンド・ボトム方式では下側に存在する右眼画像データを切り取る場合の例を示している。
【０１５２】
図２３は、上述した２次元テレビ受信機（２ＤＴＶ）２００Ａおよび立体テレビ受信機（３ＤＴＶ）２００Ｂにおいて、２Ｄストリーム、３Ｄストリームに対する表示処理をまとめて示したものである。
【０１５３】
また、上述実施の形態においては、圧縮ビデオストリーム（ＭＰＥＧ２ｖｉｄｅｏストリーム）のシステムレイヤに存在するＳＤＥ，ＰＤＥを利用して、２次元画像領域情報を挿入する例を示した。しかし、圧縮ビデオストリームにおける２次元画像領域情報の配置位置は、ＳＤＥ，ＰＤＥに限定されるものではなく、その他の位置に配置してもよい。
【０１５４】
また、上述実施の形態においては、２次元画像領域情報が、切り取り領域（矩形領域）の大きさを示す情報と、切り取り領域の位置を示す情報とからなる例を示した。切り取り領域の大きさを示す情報として水平、垂直のサイズ情報としているが、例えば、水平、垂直のサイズが異なる複数の領域パターンを示すパターン番号等とすることもできる。同様に、切り取り領域の位置を示す情報として、切り取り領域の中心位置の、デコード後の画像データの中心位置からのオフセット値としているが、単に、左眼画像データあるいは右眼画像データのいずれかを切り取る場合には、例えば、「左」または「右」（「上」または「下」）を識別する情報であってもよい。
【０１５５】
また、上述実施の形態においては、圧縮ビデオストリームがＭＰＥＧ２ｖｉｄｅｏストリームである例を示したが、本技術は、その他のフォーマットの圧縮ビデオストリームを送信する際にも適用可能である。
【０１５６】
また、上述実施の形態においては、圧縮ビデオストリームに、２次元画像領域情報と立体画像領域情報の両方が挿入されている。しかし、いずれかだけが挿入される構成も考えられる。
【０１５７】
なお、本技術は、以下のような構成もとることができる。
（１）画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコード部と、
上記エンコード部で生成された圧縮ビデオストリームを送信する送信部とを備え、
上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報を挿入する
画像データ送信装置。
（２）上記画像領域情報は、
領域の大きさを示す情報および領域の位置を示す情報、あるいは領域の大きさを示す情報である
前記（１）に記載の画像データ送信装置。
（３）上記圧縮ビデオストリームは、ＭＰＥＧ２ｖｉｄｅｏフォーマットの圧縮ビデオストリームであり、
上記領域の大きさを示す情報は、Sequence Display Extension 内に拡張パラメータとして含まれ、
上記領域の位置を示す情報は、Picture Display Extension 内に拡張パラメータとして含まれる
前記（１）または（２）に記載の画像データ送信装置。
（４）上記フレームコンパチブル方式の立体画像データは、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである
前記（１）から（３）のいずれかに記載の画像データ送信装置。
（５）上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報をさらに挿入する
前記（１）から（４）のいずれかに記載の画像データ送信装置。
（６）画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信部と、
上記受信部で受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコード部と、
上記デコード部で生成された画像データに基づいて表示用の画像データを得る画像データ処理部とを備え、
上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから２次元表示用の画像データを切り取るための画像領域情報が挿入されており、
上記画像データ処理部は、上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して２次元表示用の画像データを切りとって２次元画像データを得る
画像データ受信装置。
（７）ユーザが２次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、
上記画像データ処理部は、
上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、
上記ユーザ操作部で上記２次元表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている画像領域情報を利用して上記立体画像データから２次元表示用の画像データを切りとって２次元画像データを得る
前記（６）に記載の画像データ受信装置。
（８）ユーザが２次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、
上記画像データ処理部は、
上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、
上記ユーザ操作部で上記立体表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている画像領域情報が示すハーフ解像度の値を２倍の値に解釈し、上記立体画像データからフル解像度の左眼画像データおよび右眼画像データを得る
前記（６）または（７）に記載の画像データ受信装置。
（９）画像データに対してエンコード処理を行って圧縮ビデオストリームを生成するエンコード部と、
上記エンコード部で生成された圧縮ビデオストリームを送信する送信部とを備え、
上記エンコード部は、上記画像データがフレームコンパチブル方式の立体画像データであるとき、上記圧縮ビデオストリームに、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報を挿入する
画像データ送信装置。
（１０）上記圧縮ビデオストリームは、ＭＰＥＧ２ｖｉｄｅｏフォーマットの圧縮ビデオストリームであり、
上記画像領域情報は、ピクチャーレイヤのユーザデータ領域に挿入される
前記（９）に記載の画像データ送信装置。
（１１）ピクチャーレイヤのユーザデータ領域には、上記フレームコンパチブル方式の立体画像データであることを識別できるシグナリング情報が挿入されており、
上記画像領域情報は上記シグナリング情報より後の位置に挿入される
前記（１０）に記載の画像データ送信装置。
（１２）上記フレームコンパチブル方式の立体画像データは、サイド・バイ・サイド方式、またはトップ・アンド・ボトム方式の立体画像データである
前記（９）から（１１）のいずれかに記載の画像データ送信装置。
（１２）画像データに対してエンコード処理を行って生成された圧縮ビデオストリームを受信する受信部と、
上記受信部で受信された圧縮ビデオストリームに対してデコード処理を行って画像データを生成するデコード部と、
上記デコード部で生成された画像データに基づいて表示用の画像データを得る画像データ処理部とを備え、
上記圧縮ビデオストリームには、上記画像データがフレームコンパチブル方式の立体画像データであるとき、デコード後の画像データから立体表示用の画像データを切り取るための画像領域情報が挿入されており、
上記画像データ処理部は、上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、該立体画像データから上記圧縮ビデオストリームに挿入されている画像領域情報を利用して立体表示用の画像データを切りとって左眼画像データおよび右眼画像データを得る
画像データ受信装置。
（１３）ユーザが２次元表示モードまたは立体表示モードを選択するユーザ操作部をさらに備え、
上記画像データ処理部は、
上記デコード部で生成された画像データがフレームコンパチブル方式の立体画像データであるとき、
上記ユーザ操作部で上記立体表示モードが選択される場合には、上記圧縮ビデオストリームに挿入されている画像領域情報を利用して上記立体画像データから立体表示用の画像データを切りとって左眼画像データおよび右眼画像データを得る
前記（１２）に記載の画像データ受信装置。
【符号の説明】
【０１５８】
１０・・・画像送受信システム
１００・・・放送局
１１０・・・送信データ生成部
１１１・・・データ取り出し部
１１１ａ・・・データ記録媒体
１１２・・・ビデオエンコーダ
１１３・・・オーディオエンコーダ
１１４・・・マルチプレクサ
２００・・・受信機
２００Ａ・・・２次元テレビ受信機（２ＤＴＶ）
２００Ｂ・・・立体テレビ受信機（３ＤＴＶ）
２０１・・・ＣＰＵ
２０６・・・リモートコントロール送信機
２１０・・・アンテナ端子
２１１・・・デジタルチューナ
２１２・・・トランスポートストリームバッファ（ＴＳバッファ）
２１３・・・デマルチプレクサ
２１４・・・ビデオデコーダ
２１５・・・ディスプレイアウトプットバッファ（ＤＯバッファ）
２１６・・・画像データ処理部
２１７Ｌ，２１７Ｒ・・・ビューバッファ
２１８・・・オーディオデコーダ
２１９・・・チャネル処理部
２２１・・・画像データ処理部
２２２・・・ビューバッファ
【図１】
2012199897.tif 000003
【図２】
2012199897.tif 000004
【図３】
2012199897.tif 000005
【図４】
2012199897.tif 000006
【図５】
2012199897.tif 000007
【図６】
2012199897.tif 000008
【図７】
2012199897.tif 000009
【図８】
2012199897.tif 000010
【図９】
2012199897.tif 000011
【図１０】
2012199897.tif 000012
【図１１】
2012199897.tif 000013
【図１２】
2012199897.tif 000014
【図１３】
2012199897.tif 000015
【図１４】
2012199897.tif 000016
【図１５】
2012199897.tif 000017
【図１６】
2012199897.tif 000018
【図１７】
2012199897.tif 000019
【図１８】
2012199897.tif 000020
【図１９】
2012199897.tif 000021
【図２０】
2012199897.tif 000022
【図２１】
2012199897.tif 000023
【図２２】
2012199897.tif 000024
【図２３】
2012199897.tif 000025
【図２４】
2012199897.tif 000026
【図２５】
2012199897.tif 000027
【図２６】
2012199897.tif 000028
【図２７】
2012199897.tif 000029