(57)【要約】【課題】受信側（３ＤＴＶ）においてクロッピング情報を用いた切り出し処理を適切に行って、左眼および右眼の表示用画像データを正しく生成可能とする。【解決手段】ビデオデータストリームのヘッダ部に、２Ｄ表示用のクロッピング情報と共に、３Ｄ表示用のクロッピング情報を含む「Stereo_Video_Cropping SEI」を挿入する。受信側の３ＤＴＶは、このクロッピング情報に基づいて画像データの切り出し処理を行うことができる。データストリームの上位レイヤに、３Ｄ表示用のクロッピング情報が存在するか否かを示すフラグ情報「stereo_video_cropping_SEI_Not_present_flag」を挿入する。受信側の３ＤＴＶは、ビデオデータストリームのヘッダ部を解析することなく、３Ｄ表示用のクロッピング情報の存在の有無を把握できる。【選択図】図６
2012114575.tif 000002
【特許請求の範囲】
【請求項１】
左眼画像データおよび右眼画像データを有する立体画像データを出力する画像データ出力部と、
上記画像データ出力部から出力される立体画像データを含み、ヘッダ部に２次元表示用の第１のクロッピング情報と共に、立体表示用の第２のクロッピング情報が挿入されているデータストリームを有する多重化データストリームを送信する送信部と
を備える画像データ送信装置。
【請求項２】
上記送信部は、
上記データストリームの上位レイヤに、上記第２のクロッピング情報が上記データストリームのヘッダ部に存在するか否かを示すフラグ情報を挿入する
請求項１に記載の画像データ送信装置。
【請求項３】
上記多重化データストリームには、該多重化データストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、
上記送信部は、上記フラグ情報を、上記プログラム・マップ・テーブルの配下に挿入する
請求項２に記載の画像データ送信装置。
【請求項４】
上記送信部は、上記フラグ情報を、上記プログラム・マップ・テーブルのプログラム・デスクリプタとして挿入する
請求項３に記載の画像データ送信装置。
【請求項５】
上記送信部は、上記フラグ情報を、上記プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入する
請求項３に記載の画像データ送信装置。
【請求項６】
上記第２のクロッピング情報には、該第２のクロッピング情報によるクロッピング状態がいつまで続くかを示す情報が付加されている
請求項１に記載の画像データ送信装置。
【請求項７】
左眼画像データおよび右眼画像データを有する立体画像データを出力する画像データ出力ステップと、
上記画像データ出力ステップで出力される立体画像データを含み、ヘッダ部に２次元表示用の第１のクロッピング情報と共に、立体表示用の第２のクロッピング情報が挿入されているデータストリームを有する多重化データストリームを送信する送信ステップと
を備える画像データ送信方法。
【請求項８】
左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に２次元表示用の第１のクロッピング情報と共に、立体表示用の第２のクロッピング情報が挿入されているデータストリームを持つ多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された上記立体画像データに基づいて、左眼および右眼の表示用画像データを生成する画像データ処理部とを備え、
上記画像データ処理部は、
上記データストリームのヘッダ部に含まれている上記第２のクロッピング情報に基づいて画像データ切り出し処理を行う
画像データ受信装置。
【請求項９】
左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に２次元表示用の第１のクロッピング情報と共に、立体表示用の第２のクロッピング情報が挿入されているデータストリームを持つ多重化データストリームを受信する受信ステップと、
上記受信ステップで受信された多重化データストリームから取得された上記立体画像データに基づいて、左眼および右眼の表示用画像データを生成する画像データ処理ステップとを備え、
上記画像データ処理ステップでは、
上記データストリームのヘッダ部に含まれている上記第２のクロッピング情報に基づいて画像データ切り出し処理を行う
画像データ受信方法。
【請求項１０】
左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に２次元表示用のクロッピング情報が挿入されているデータストリームを持つ多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された上記立体画像データに基づいて、左眼および右眼の表示用画像データを生成する画像データ処理部とを備え、
上記画像データ処理部は、
上記データストリームのヘッダ部に含まれている上記２次元表示用のクロッピング情報を立体表示用のクロッピング情報に変換し、該立体表示用のクロッピング情報に基づいて画像データ切り出し処理を行う
画像データ受信装置。
【請求項１１】
左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に２次元表示用のクロッピング情報が挿入されているデータストリームを持つ多重化データストリームを受信する受信ステップと、
上記受信ステップで受信された多重化データストリームから取得された上記立体画像データに基づいて、左眼および右眼の表示用画像データを生成する画像データ処理ステップとを備え、
上記画像データ処理ステップでは、
上記データストリームのヘッダ部に含まれている上記２次元表示用のクロッピング情報を立体表示用のクロッピング情報に変換し、該立体表示用のクロッピング情報に基づいて上記受信部で受信された上記多重化データストリームから取得された上記立体画像データから画像データ切り出し処理を行う
画像データ受信方法。
【請求項１２】
左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に２次元表示用のクロッピング情報が挿入されているデータストリームを持つ多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された上記立体画像データに基づいて、左眼および右眼の表示用画像データを生成する画像データ処理部とを備え、
上記画像データ処理部は、
上記２次元表示用のクロッピング情報に基づいて画像データ切り出し処理を行って、左眼または右眼の一方の表示用画像データを生成し、
上記２次元表示用のクロッピング情報に基づいた画像切り出し処理後に残っている画像データに基づいて、左眼または右眼の他方の表示用画像データを生成する
画像データ受信装置。
【請求項１３】
左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に２次元表示用のクロッピング情報が挿入されているデータストリームを持つ多重化データストリームを受信する受信ステップと、
上記受信ステップで受信された多重化データストリームから取得された上記立体画像データに基づいて、左眼および右眼の表示用画像データを生成する画像データ処理ステップとを備え、
上記画像データ処理ステップでは、
上記２次元表示用のクロッピング情報に基づいて画像データ切り出し処理を行って、左眼または右眼の一方の表示用画像データを生成し、
上記２次元表示用のクロッピング情報に基づいた画像切り出し処理後に残っている画像データに基づいて、左眼または右眼の他方の表示用画像データを生成する
画像データ受信方法。
【請求項１４】
左眼画像データおよび右眼画像データを有する立体画像データを出力する画像データ出力部と、
上記画像データ出力部から出力される立体画像データを含み、ヘッダ部にクロッピング情報が挿入されているデータストリームを持つ多重化データストリームを有する送信する送信部とを備え、
上記送信部は、
上記データストリームのヘッダ部または上記データストリームの上位レイヤに、上記クロッピング情報が２次元画像用か立体画像用かを識別する識別情報を挿入する
画像データ送信装置。
【請求項１５】
上記立体画像用であることを識別する識別情報は、上記クロッピング情報が左眼画像データのクロッピング情報であるか右眼画像データのクロッピング情報であるかを示す情報を含む
請求項１４に記載の画像データ送信装置。
【請求項１６】
上記識別情報は、上記データストリームのヘッダ部に挿入され、
上記識別情報に、上記クロッピング情報によるクロッピング状態がいつまで続くかを示す情報が付加されている
請求項１４に記載の画像データ送信装置。
【請求項１７】
上記多重化データストリームには、該多重化データストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを示すプログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルが含まれており、
上記送信部は、上記識別情報を、上記プログラム・マップ・テーブルの配下に挿入する
請求項１４に記載の画像データ送信装置。
【請求項１８】
左眼画像データおよび右眼画像データを有する立体画像データを出力する画像データ出力ステップと、
上記画像データ出力ステップで出力される立体画像データを含み、ヘッダ部にクロッピング情報が挿入されているデータストリームを送信する送信ステップとを備え、
上記送信ステップでは、
上記データストリームのヘッダ部または上記データストリームの上位レイヤに、上記クロッピング情報が２次元画像用か立体画像用かを識別する識別情報を挿入する
画像データ送信方法。
【請求項１９】
左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に立体表示用のクロッピング情報および上記立体画像データの伝送フォーマット情報が挿入されているデータストリームを持つ多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された上記立体画像データに基づいて、２次元表示用画像データを生成する画像データ処理部とを備え、
上記画像データ処理部は、
上記データストリームのヘッダ部に含まれている上記立体表示用のクロッピング情報および上記立体像データの伝送フォーマット情報に基づいて、画像データ切り出し処理およびスケーリング処理を行う
画像データ受信装置。
【請求項２０】
左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に立体表示用のクロッピング情報および上記立体画像データの伝送フォーマット情報が挿入されているデータストリームを持つ多重化データストリームを受信する受信ステップと、
上記受信ステップで受信された多重化データストリームから取得された上記立体画像データに基づいて、２次元表示用画像データを生成する画像データ処理部ステップとを備え、
上記画像データ処理ステップでは、
上記データストリームのヘッダ部に含まれている上記立体表示用のクロッピング情報および上記立体像データの伝送フォーマット情報に基づいて、画像データ切り出し処理およびスケーリング処理を行う
画像データ受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法に関し、特に、送信側から立体画像データと共にクロッピング情報を送信し、受信側ではこのクロッピング情報を用いて画像データの切り出し処理を行う画像送受信システムにおける画像データ送信装置等に関する。
【背景技術】
【０００２】
例えば、特許文献１には、立体画像データのテレビ放送電波を用いた伝送方式について提案されている。この場合、左眼用画像データおよび右眼用画像データを含む立体画像データが送信され、テレビ受信機において、両眼視差を利用した立体画像表示が行われる。
【０００３】
図３８は、両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクト（物体）の左右像の表示位置と、その立体画像（３Ｄ画像）の再生位置との関係を示している。例えば、スクリーン上に図示のように左像Ｌａが右側に右像Ｒａが左側にずれて表示されているオブジェクトＡに関しては、左右の視線がスクリーン面より手前で交差するため、その立体画像の再生位置はスクリーン面より手前となる。ＤＰａは、オブジェクトＡに関する水平方向の視差ベクトルを表している。
【０００４】
また、例えば、スクリーン上に図示のように左像Ｌｂおよび右像Ｒｂが同一位置に表示されているオブジェクトＢに関しては、左右の視線がスクリーン面で交差するため、その立体画像の再生位置はスクリーン面上となる。さらに、例えば、スクリーン上に図示のように左像Ｌｃが左側に右像Ｒｃが右側にずれて表示されているオブジェクトＣに関しては、左右の視線がスクリーン面より奥で交差するため、その立体画像の再生位置はスクリーン面より奥となる。ＤＰｃは、オブジェクトＣに関する水平方向の視差ベクトルを表している。
【０００５】
従来、立体画像データの伝送フォーマットとして、サイド・バイ・サイド（Side By Side）方式、トップ・アンド・ボトム（Top & Bottom）方式などが知られている。例えば、図３９（ａ）はサイド・バイ・サイド方式を示し、図３９（ｂ）はトップ・アンド・ボトム方式を示している。ここでは、１９２０×１０８０のピクセルフォーマットである場合を示している。
【０００６】
サイド・バイ・サイド方式は、図３９（ａ）に示すように、水平方向の前半では左眼画像データのピクセルデータを伝送し、水平方向の後半では右眼画像データのピクセルデータを伝送する方式である。この方式の場合、左眼画像データおよび右眼画像データは、それぞれ、水平方向のピクセルデータが１／２に間引かれ、原信号に対して水平解像度は半分となる。
【０００７】
トップ・アンド・ボトム方式は、図３９（ｂ）に示すように、垂直方向の前半では左眼画像データの各ラインのデータを伝送し、垂直方向の後半では左眼画像データの各ラインのデータを伝送する方式である。この方式場合、左眼画像データおよび右眼画像データのラインが１／２に間引かれ、原信号に対して垂直解像度は半分となる。
【０００８】
ここで、受信側における表示画像データ生成処理について簡単に説明する。図４０（ａ）は、１９２０×１０８０のピクセルフォーマットの２次元画像データに関する処理を概略的に示している。この場合、送信側では、１６×１６のブロック毎に符号化を行うために、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化が行われている。
【０００９】
そのため、受信側では、復号化後に、１９２０画素×１０８８ラインの画像データが得られる。しかし、そのうち８ラインはブランクデータであることから、ビデオデータストリームに含まれるクロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われて、２次元テレビ受信機（以下、適宜、「２ＤＴＶ」という）用の表示用画像データが生成される。
【００１０】
図４０（ｂ）は、１９２０×１０８０のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データ（３次元画像データ）に関する処理を概略的に示している。この場合も、送信側では、１６×１６のブロック毎に符号化を行うために、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化が行われている。
【００１１】
そのため、受信側では、復号化後に、１９２０画素×１０８８ラインの画像データが得られる。しかし、そのうち８ラインはブランクデータであることから、ビデオデータストリームに含まれるクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、この画像データが左右に二分され、それぞれにスケーリング処理が施されて、立体テレビ受信機（以下、適宜、「３ＤＴＶ」という）用の左眼および右眼の表示用画像データが生成される。
【００１２】
図４０（ｃ）は、１９２０×１０８０のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データ（３次元画像データ）に関する処理を概略的に示している。この場合も、送信側では、１６×１６のブロック毎に符号化を行うために、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化が行われている。
【００１３】
そのため、受信側では、復号化後に、１９２０画素×１０８８ラインの画像データが得られる。しかし、そのうち８ラインはブランクデータであることから、ビデオデータストリームに含まれるクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、この画像データが上下に二分され、それぞれにスケーリング処理が施されて、３ＤＴＶ用の左眼および右眼の表示用画像データが生成される。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００５−６１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
２ＤＴＶにおいて、上述のサイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式の立体画像データの場合、１９２０画素×１０８０ラインの画像データを切り出しして２ＤＴＶ用の表示用画像データを生成した場合、左右あるいは上下に同様の画像が並んだ不自然な画像表示となる。
【００１６】
そこで、２ＤＴＶにおいて、この不自然な画像表示を回避できるように、ビデオデータストリームに含まれるクロッピング情報を、左眼または右眼の一方、例えば左眼の画像データのみを切り出すための情報とすることが考えられる。その場合、２ＤＴＶ、３ＤＴＶの処理は、以下のようになる。
【００１７】
図４１（ａ）は、２ＤＴＶにおける、１９２０×１０８０のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データ（３次元画像データ）における処理を概略的に示している。２ＤＴＶでは、復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。この場合、クロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの左眼画像データの切り出しが行われる。そして、この左眼画像データにスケーリング処理が施されて、２ＤＴＶ用の表示用画像データが生成される。この場合、自然な画像表示となる。
【００１８】
これに対して、図４１（ｂ）は、３ＤＴＶにおける、１９２０×１０８０のピクセルフォーマットのサイド・バイ・サイド方式の立体画像データ（３次元画像データ）における処理を概略的に示している。３ＤＴＶでも、復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。この場合、クロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの左眼画像データの切り出しが行われる。
【００１９】
そして、この左眼画像データにスケーリング処理が施されて、１９２０画素×１０８８ラインの画像データが生成される。この画像データは、上述した２ＤＴＶの表示用画像データと同じものである。３ＤＴＶでは、サイド・バイ・サイド方式なので、さらに、この画像データが左右に二分され、それぞれにスケーリング処理が施されて、３ＤＴＶ用の左眼および右眼の表示用画像データが生成される。この場合、左眼画像および右眼画像は、１つの画像を左右に二分した一方および他方であることから、正しく立体表示（３Ｄ表示）がなされない。
【００２０】
図４２（ａ）は、２ＤＴＶにおける、１９２０×１０８０のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データ（３次元画像データ）における処理を概略的に示している。２ＤＴＶでは、復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。この場合、クロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの左眼画像データの切り出しが行われる。そして、この左眼画像データにスケーリング処理が施されて、２ＤＴＶ用の表示用画像データが生成される。この場合、正しく二次元表示（２Ｄ表示）が行われる。
【００２１】
これに対して、図４２（ｂ）は、３ＤＴＶにおける、１９２０×１０８０のピクセルフォーマットのトップ・アンド・ボトム方式の立体画像データ（３次元画像データ）の処理を概略的に示している。３ＤＴＶでも、復号化後に、１９２０画素×１０８８ラインの画像データが得られるが、そのうち８ラインはブランクデータである。この場合、クロッピング（cropping）情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの左眼画像データの切り出しが行われる。
【００２２】
そして、この左眼画像データにスケーリング処理が施されて、１９２０画素×１０８８ラインの画像データが生成される。この画像データは、上述した２ＤＴＶの表示用画像データと同じものである。３ＤＴＶでは、トップ・アンド・ボトム方式なので、さらに、この画像データが上下に二分され、それぞれにスケーリング処理が施されて、３ＤＴＶ用の左眼および右眼の表示用画像データが生成される。この場合、左眼画像および右眼画像は、１つの画像を上下に二分した一方および他方であることから、正しく立体表示（３Ｄ表示）がなされない。
【００２３】
この発明の目的は、受信側においてクロッピング情報を用いた切り出し処理を適切に行って、表示用画像データを正しく生成可能とすることにある。
【課題を解決するための手段】
【００２４】
この発明の概念は、
左眼画像データおよび右眼画像データを有する立体画像データを出力する画像データ出力部と、
上記画像データ出力部から出力される立体画像データを含み、ヘッダ部に２次元表示用の第１のクロッピング情報と共に、立体表示用の第２のクロッピング情報が挿入されているデータストリームを有する多重化データストリームを送信する送信部と
を備える画像データ送信装置にある。
【００２５】
この発明において、画像データ出力部により、左眼画像データおよび右眼画像データを有する、例えば、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などの立体画像データが出力される。そして、送信部により、この立体画像データを含むデータストリーム（ビデオエレメンタリストリーム）を有する多重化データストリームが送信される。この場合、データストリームのヘッダ部に、２次元表示用の第１のクロッピング情報と共に、立体表示用の第２のクロッピング情報が挿入されている。
【００２６】
このように、この発明においては、データストリームのヘッダ部に、２次元表示用の第１のクロッピング情報と共に、立体表示用の第２のクロッピング情報が挿入されており、受信側の３ＤＴＶは、このクロッピング情報に基づいて画像データの切り出し処理を行うことができる。そのため、受信側の３ＤＴＶは、左眼および右眼の表示用画像データを正しく生成でき、正しい立体表示が可能となる。
【００２７】
なお、この発明において、例えば、第２のクロッピング情報には、この第２のクロッピング情報によるクロッピング状態がいつまで続くかを示す情報が付加される。この場合、受信側の３ＤＴＶは、この情報に基づいて、第２のクロッピング情報によるクロッピング状態がいつまで続くかを容易に把握可能となる。例えば、この情報は、次の第２のクロッピング情報が現れるまで状態を保持する、あるいは、現在のピクチャに限定で定義する、などを示す。
【００２８】
また、この発明において、例えば、送信部は、データストリームの上位レイヤに、このデータストリームのヘッダ部に第２のクロッピング情報が存在するか否かを示すフラグ情報を挿入する、ようにされる。この場合、例えば、フラグ情報は、プログラム・マップ・テーブルの配下に挿入される。例えば、フラグ情報は、プログラム・マップ・テーブルのプログラム・デスクリプタとして挿入される。また、例えば、フラグ情報は、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入される。この場合、受信側の３ＤＴＶは、データストリームのヘッダ部を解析することなく、第２のクロッピング情報の存在の有無を把握できる。
【００２９】
また、この発明の他の概念は、
左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に２次元表示用の第１のクロッピング情報と共に、立体表示用の第２のクロッピング情報が挿入されているデータストリームを持つ多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された上記立体画像データに基づいて、左眼および右眼の表示用画像データを生成する画像データ処理部とを備え、
上記画像データ処理部は、
上記データストリームのヘッダ部に含まれている上記第２のクロッピング情報に基づいて画像データ切り出し処理を行う
画像データ受信装置にある。
【００３０】
この発明において、受信部により、データストリームを持つ多重化データストリームが受信される。このデータストリームには、左眼画像データおよび右眼画像データを有する、例えば、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などの立体画像データが含まれている。また、このデータストリームには、２次元表示用の第１のクロッピング情報と共に、立体（３次元）表示用の第２のクロッピング情報が挿入されている。
【００３１】
画像データ処理部により、受信部で受信された多重化データストリームから取得された立体画像データに基づいて、左眼および右眼の表示用画像データが生成される。この場合、画像データ処理部では、データストリームに含まれている、立体（３次元）表示用の第２のクロッピング情報に基づいて画像データの切り出しが行われる。
【００３２】
このように、この発明においては、データストリームのヘッダ部に挿入されている立体表示用の第２のクロッピング情報に基づいて画像データの切り出し処理が行われる。そのため、左眼および右眼の表示用画像データが正しく生成され、正しい立体表示が可能となる。
【００３３】
また、この発明の他の概念は、
左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に２次元表示用のクロッピング情報が挿入されているデータストリームを持つ多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された上記立体画像データに基づいて、左眼および右眼の表示用画像データを生成する画像データ処理部とを備え、
上記画像データ処理部は、
上記データストリームのヘッダ部に含まれている上記２次元表示用のクロッピング情報を立体表示用のクロッピング情報に変換し、該立体表示用のクロッピング情報に基づいて画像データ切り出し処理を行う
画像データ受信装置にある。
【００３４】
この発明において、受信部により、データストリームを持つ多重化データストリームが受信される。このデータストリームには、左眼画像データおよび右眼画像データを有する、例えば、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などの立体画像データが含まれている。また、このデータストリームのヘッダ部には、２次元表示用のクロッピング情報が挿入されている。そして、画像データ処理部により、受信部で受信された多重化データストリームから取得された立体画像データに基づいて、左眼および右眼の表示用画像データが生成される。
【００３５】
この場合、画像データ処理部では、データストリームに含まれている、２次元表示用のクロッピング情報が立体表示用のクロッピング情報に変換され、この立体表示用のクロッピング情報に基づいて画像データの切り出しが行われる。これにより、左眼および右眼の表示用画像データが正しく生成され、正しい立体表示が可能となる。
【００３６】
また、この発明の他の概念は、
左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に２次元表示用のクロッピング情報が挿入されているデータストリームを持つ多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された上記立体画像データに基づいて、左眼および右眼の表示用画像データを生成する画像データ処理部とを備え、
上記画像データ処理部は、
上記２次元表示用のクロッピング情報に基づいて画像データ切り出し処理を行って、左眼または右眼の一方の表示用画像データを生成し、
上記２次元表示用のクロッピング情報に基づいた画像切り出し処理後に残っている画像データに基づいて、左眼または右眼の他方の表示用画像データを生成する
画像データ受信装置にある。
【００３７】
この発明において、受信部により、データストリームを持つ多重化データストリームが受信される。このデータストリームには、左眼画像データおよび右眼画像データを有する、例えば、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などの立体画像データが含まれている。また、このデータストリームのヘッダ部には、２次元表示用のクロッピング情報が挿入されている。そして、画像データ処理部により、受信部で受信された多重化データストリームから取得された立体画像データに基づいて、左眼および右眼の表示用画像データが生成される。
【００３８】
この場合、画像データ処理部では、データストリームに含まれている２次元表示用のクロッピング情報に基づいて画像データの切り出しが行われて、左眼または右眼の一方の表示用画像データが生成される。また、この画像データ処理部では、２次元表示用のクロッピング情報に基づいた画像切り出し処理後に残っている画像データに基づいて、左眼または右眼の他方の表示用画像データが生成される。これにより、左眼および右眼の表示用画像データが正しく生成され、正しい立体表示が可能となる。
【００３９】
また、この発明のさらに他の概念は、
左眼画像データおよび右眼画像データを有する立体画像データを出力する画像データ出力部と、
上記画像データ出力部から出力される立体画像データを含み、ヘッダ部にクロッピング情報が挿入されているデータストリームを持つ多重化データストリームを送信する送信部とを備え、
上記送信部は、
上記データストリームのヘッダ部または上記データストリームの上位レイヤに、上記クロッピング情報が２次元画像用か立体画像用かを識別する識別情報を挿入する
画像データ送信装置にある。
【００４０】
この発明において、画像データ出力部により、左眼画像データおよび右眼画像データを有する、例えば、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などの立体画像データが出力される。そして、送信部により、この立体画像データを含むデータストリーム（ビデオエレメンタリストリーム）を有する多重化データストリームが送信される。この場合、データストリームのヘッダ部に、クロッピング情報が挿入されている。このクロッピング情報は、２次元画像用あるいは立体画像用のクロッピング情報である。
【００４１】
送信部により、データストリームのヘッダ部またはデータストリームの上位レイヤに、クロッピング情報が２次元画像用か立体画像用かを識別する識別情報が挿入される。この場合、例えば、立体画像用であることを識別する識別情報には、クロッピング情報が左眼画像データのクロッピング情報であるか右眼画像データのクロッピング情報であるかを示す情報が付加されていてもよい。例えば、識別情報は、プログラム・マップ・テーブルの配下に挿入される。例えば、識別情報は、プログラム・マップ・テーブルのプログラム・デスクリプタとして挿入される。また、例えば、識別情報は、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入される。
【００４２】
このように、この発明においては、データストリームのヘッダ部またはデータストリームの上位レイヤに、クロッピング情報が２次元画像用か立体画像用かを識別する識別情報が挿入されており、受信側の３ＤＴＶは、データストリームのヘッダ部に含まれているクロッピング情報が２次元画像用か立体画像用かを容易に把握でき、このクロッピング情報を用いた適切な処理が可能となる。
【００４３】
そして、受信側の３ＤＴＶでは、クロッピング情報が２次元画像用の場合には、そのクロッピング情報に基づいて画像データの切り出し処理が行われて、左眼および右眼の表示用画像データが生成される。一方、受信側の３ＤＴＶでは、クロッピング情報が立体画像用の場合には、例えば、そのクロッピング情報が２次元画像用のクロッピング情報に変換される。そして、この立体表示用のクロッピング情報に基づいて画像データの切り出し処理が行われて、左眼および右眼の表示用画像データが生成される。これにより、左眼および右眼の表示用画像データが正しく生成され、正しい立体表示が可能となる。
【００４４】
なお、この発明において、例えば、識別情報はデータストリームのヘッダ部に挿入され、識別情報に、クロッピング情報によるクロッピング状態がいつまで続くかを示す情報が付加されていてもよい。この場合、受信側の３ＤＴＶは、この情報に基づいて、クロッピング情報によるクロッピング状態がいつまで続くかを容易に把握可能となる。例えば、この情報は、次の識別情報が現れるまで状態を保持する、あるいは、現在のピクチャ（picture）に限定する、などを示す。
【００４５】
また、この発明の別の概念は、
左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に立体表示用のクロッピング情報および上記立体画像データの伝送フォーマット情報が挿入されているデータストリームを持つ多重化データストリームを受信する受信部と、
上記受信部で受信された多重化データストリームから取得された上記立体画像データに基づいて、２次元表示用画像データを生成する画像データ処理部とを備え、
上記画像データ処理部は、
上記データストリームのヘッダ部に含まれている上記立体表示用のクロッピング情報および上記立体像データの伝送フォーマット情報に基づいて、画像データ切り出し処理およびスケーリング処理を行う
画像データ受信装置にある。
【００４６】
この発明において、受信部により、データストリームを持つ多重化データストリームが受信される。このデータストリームには、左眼画像データおよび右眼画像データを有する、例えば、サイド・バイ・サイド方式、あるいはトップ・アンド・ボトム方式などの立体画像データが含まれている。また、このデータストリームのヘッダ部には、立体表示用のクロッピング情報および立体画像データの伝送フォーマット情報が挿入されている。そして、画像データ処理部により、受信部で受信された多重化データストリームから取得された立体画像データに基づいて、２次元表示用画像データが生成される。
【００４７】
この場合、画像データ処理部では、データストリームのヘッダ部に含まれている、立体表示用のクロッピング情報および立体画像データの伝送フォーマット情報に基づいて、画像データ切り出し処理およびスケーリング処理が行われる。すなわち、このクロッピング情報および伝送フォーマット情報に基づいて、立体画像データの一部、例えば左眼画像データが切り出され、この切り出された画像データに対して伝送フォーマットに応じた方向のスケーリング処理が施される。例えば、サイド・バイ・サイド方式であれば水平方向にスケーリングされ、トップ・アンド・ボトム方式であれば垂直方向にスケーリングされる。これにより、２次元表示用画像データが正しく生成され、正しい２次元表示が可能となる。
【発明の効果】
【００４８】
この発明によれば、受信側では、画像データの切り出し処理を適切に行って、左眼および右眼の表示用画像データ、あるいは２次元表示画像データを正しく生成でき、正しい立体表示が可能となる。
【図面の簡単な説明】
【００４９】
【図１】この発明の第１の実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２】画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。
【図３】ビデオデータストリームにおけるアクセスユニットのデータ構造例を示す図である。
【図４】アクセスユニットのＳＰＳ（Sequence Parameter Set）の中で定義されているクロッピング情報の構造を示す図である。
【図５】「Frame Packing Arrangement SEI」の構造例およびその主要なデータ規定内容を示す図である。
【図６】プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下にフラグ情報を挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。
【図７】「AVC_video_desucriptor」の構造例およびその主要なデータ規定内容を示す図である。
【図８】プログラム・マップ・テーブルのプログラム・デスクリプタとしてフラグ情報を挿入する場合におけるトランスポートストリームＴＳの構成例を示す図である。
【図９】「Stereo_Video_cropping_descriptor」の構造例およびその主要なデータ規定内容を示す図である。
【図１０】画像送受信システムを構成する受信機（３ＤＴＶ）の構成例を示すブロック図である。
【図１１】第１の実施の形態における受信機の３Ｄ信号処理部等の処理（サイド・バイ・サイド方式）を説明するための図である。
【図１２】第１の実施の形態における受信機の３Ｄ信号処理部等の処理（トップ・アンド・ボトム方式）を説明するための図である。
【図１３】画像送受信システムを構成する受信機（２ＤＴＶ）の構成例を示すブロック図である。
【図１４】この発明の第２の実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図１５】画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。
【図１６】ビデオデータストリームにおけるアクセスユニットのデータ構造例を示す図である。
【図１７】画像送受信システムを構成する受信機（３ＤＴＶ）の構成例を示すブロック図である。
【図１８】第２の実施の形態における受信機の３Ｄ信号処理部等の処理（サイド・バイ・サイド方式）を説明するための図である。
【図１９】第２の実施の形態における受信機の３Ｄ信号処理部等の処理（トップ・アンド・ボトム方式）を説明するための図である。
【図２０】この発明の第３の実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２１】画像送受信システムを構成する受信機（３ＤＴＶ）の構成例を示すブロック図である。
【図２２】第３の実施の形態における受信機の３Ｄ信号処理部等の処理（サイド・バイ・サイド方式）を説明するための図である。
【図２３】第３の実施の形態における受信機の３Ｄ信号処理部等の処理（トップ・アンド・ボトム方式）を説明するための図である。
【図２４】この発明の第４の実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図２５】画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。
【図２６】ビデオデータストリームにおけるアクセスユニットのデータ構造例を示す図である。
【図２７】「Cropping_Rectangle_Target SEI」の構造例を示す図である。
【図２８】「Cropping_Rectangle_Target SEI」の主要なデータ規定内容を示す図である。
【図２９】画像送受信システムを構成する受信機（３ＤＴＶ）の構成例を示すブロック図である。
【図３０】クロッピング情報が２Ｄ画像用か３Ｄ画像用かを示す識別情報が挿入される「AVC_video_desucriptor」の構造例を示す図である。
【図３１】AVC_video_desucriptor」の主要なデータ規定内容を示す図である。
【図３２】クロッピング情報が２Ｄ画像用か３Ｄ画像用かを示す識別情報が挿入される「Stereo_Video_cropping_descriptor」の構造例を示す図である。
【図３３】この発明の第５の実施の形態としての画像送受信システムの構成例を示すブロック図である。
【図３４】画像送受信システムを構成する放送局の送信データ生成部の構成例を示すブロック図である。
【図３５】第５の実施の形態における受信機の２Ｄ信号処理部等の処理（サイド・バイ・サイド方式）を説明するための図である。
【図３６】第５の実施の形態における受信機の２Ｄ信号処理部等の処理（トップ・アンド・ボトム方式）を説明するための図である。
【図３７】画像送受信システムを構成する受信機（２ＤＴＶ）の構成例を示すブロック図である。
【図３８】両眼視差を利用した立体画像表示において、スクリーン上におけるオブジェクトの左右像の表示位置と、その立体像の再生位置との関係を説明するための図である。
【図３９】立体画像データの伝送フォーマットの一例（サイド・バイ・サイド方式、トップ・アンド・ボトム方式など）を説明するための図である。
【図４０】受信側における表示画像データ生成処理を説明するための図である。
【図４１】従来のクロッピング情報を用いたサイド・バイ・サイド方式における画像処理を説明するための図である。
【図４２】従来のクロッピング情報を用いたトップ・アンド・ボトム方式における画像処理を説明するための図である。
【発明を実施するための形態】
【００５０】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
５．第５の実施の形態
【００５１】
＜１．第１の実施の形態＞
［画像送受信システム］
図１は、第１の実施の形態としての画像送受信システム１０の構成例を示している。この画像送受信システム１０は、放送局１００および受信機２００により構成されている。放送局１００は、左眼画像データおよび右眼画像データを有する立体（３次元＝３Ｄ）画像データを含むビデオデータストリームを有するトランスポートストリーム（多重化データストリームデータ）ＴＳを、放送波に載せて送信する。この立体画像データの伝送フォーマットは、サイド・バイ・サイド（Side By Side）方式（図３９（ａ）参照）、トップ・アンド・ボトム（Top& Bottom）方式（図３９（ｂ）参照）などである。
【００５２】
この実施の形態において、立体画像データのピクセルフォーマットは、１９２０×１０８０であるとする。放送局１００は、この立体画像データに対して、１６×１６のブロック毎に符号化を行う。そのため、放送局１００は、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化を行う。
【００５３】
ビデオデータストリームのヘッダ部には、２次元（２Ｄ）表示用のクロッピング（cropping）情報と共に、立体（３Ｄ）表示用のクロッピング情報が挿入されている。ここで、２Ｄ表示用のクロッピング情報は第１のクロッピング情報を構成し、３Ｄ表示用のクロッピング情報は第２のクロッピング情報を構成している。なお、この実施の形態において、ビデオデータストリームは、例えば、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）ストリームである。
【００５４】
トランスポートストリームＴＳには、ビデオデータストリームの上位レイヤに、３Ｄ表示用のクロッピング情報がビデオデータストリームのヘッダ部に挿入されているか否かを示すフラグ情報が挿入されている。このフラグ情報は、例えば、プログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルの配下に挿入される。具体的には、例えば、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下、あるいは、プログラム・マップ・テーブルのプログラム・デスクリプタとして挿入される。
【００５５】
受信機２００は、放送局１００から放送波に載せて送られてくるトランスポートストリームＴＳを受信する。受信機２００は、受信されたトラスポートストリームＴＳから、サイド・バイ・サイド方式（図３９（ａ）参照）、トップ・アンド・ボトム方式（図３９（ｂ）参照）などの、左眼画像データおよび右眼画像データを含む立体画像データを取得する。
【００５６】
上述したように、放送局１００では、１６×１６のブロック毎に符号化を行うため、ブランクデータからなる８ラインが付加されて、１９２０画素×１０８８ラインの画像データとして符号化が行われている。そのため、受信機２００は、復号化後の立体画像データとして、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データを取得する。
【００５７】
受信機２００は、３Ｄ表示には対応していない、つまり２Ｄ表示のみが可能なテレビ受信機（２ＤＴＶ）である場合、ビデオデータストリームのヘッダ部に挿入されている２Ｄ表示用のクロッピング情報を用いる。すなわち、受信機２００は、この２Ｄ表示用のクロッピング情報に基づいて、受信立体画像データから、例えば左眼画像データの切り出しを行って、２ＤＴＶ用の表示用画像データを生成する。
【００５８】
例えば、サイド・バイ・サイド方式の場合、受信機２００は、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データの切り出しを行う。その後、受信機２００は、この左眼画像データにスケーリング処理を施して、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データを生成する。
【００５９】
また、例えば、トップ・アンド・ボトム方式の場合、受信機２００は、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データの切り出しを行う。その後、受信機２００は、この左眼画像データにスケーリング処理を施して、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データを生成する。
【００６０】
また、受信機２００は、３Ｄ表示が可能なテレビ受信機（３ＤＴＶ）である場合、トランスポートストリームＴＳのビデオデータストリームの上位レイヤに挿入されているフラグ情報から、３Ｄ表示用のクロッピング情報が挿入されていることを把握する。そして、受信機２００は、ビデオデータストリームのヘッダ部に挿入されている３Ｄ表示用のクロッピング情報を用いる。すなわち、受信機２００は、この３Ｄ表示用のクロッピング情報に基づいて、受信立体画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しを行って、３ＤＴＶ用の左眼および右眼の表示用画像データを生成する。
【００６１】
例えば、サイド・バイ・サイド方式の場合、受信機２００は、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しを行う。その後、受信機２００は、この画像データを左右に二分し、それぞれにスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼および右眼の表示用画像データを生成する。
【００６２】
また、例えば、トップ・アンド・ボトム方式の場合、受信機２００は、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しを行う。その後、受信機２００は、この画像データを上下に二分し、それぞれにスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼および右眼の表示用画像データを生成する。
【００６３】
「送信データ生成部の構成例」
図２は、放送局１００において、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０の構成例を示している。この送信データ生成部１１０は、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２と、オーディオエンコーダ１１３と、マルチプレクサ１１４を有している。
【００６４】
データ取り出し部１１１には、データ記録媒体１１１ａが、例えば、着脱自在に装着される。データ記録媒体１１１ａは、ディスク状記録媒体、半導体メモリ等である。このデータ記録媒体１１１ａには、トランスポートストリームＴＳで送信する所定番組の立体（３Ｄ）画像データと共に、この立体画像データに対応した音声データが記録されている。立体画像データは、左眼画像データおよび右眼画像データを有している。立体画像データの伝送フォーマットは、例えば、サイド・バイ・サイド方式、トップ・アンド・ボトム方式などである（図３９（ａ），（ｂ）参照）。データ取り出し部１１１は、データ記録媒体１１１ａから、立体画像データおよび音声データを取り出して出力する。
【００６５】
ビデオエンコーダ１１２は、データ取り出し部１１１から出力される立体画像データに対して、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の符号化を施して符号化ビデオデータを得る。また、このビデオエンコーダ１１２は、後段に備えるストリームフォーマッタ（図示せず）により、この符号化ビデオデータを含むビデオエレメンタリストリーム（ビデオデータストリーム）を生成する。
【００６６】
この際、ビデオエンコーダ１１２は、このビデオデータストリームのヘッダ部に、２Ｄ表示用のクロッピング情報（第１のクロッピング情報）を挿入すると共に、３Ｄ表示用のクロッピング情報（第２のクロッピング情報）を挿入する。
【００６７】
図３（ａ）、（ｂ）は、ビデオデータストリームにおけるアクセスユニットのデータ構造例を示している。Ｈ．２６４ではピクチャをアクセスユニットという単位で定義している。図３（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットの構造を示し、図３（ｂ）は、ＧＯＰの先頭以外のアクセスユニットの構造を示している。
【００６８】
２Ｄ表示用のクロッピング情報は、アクセスユニットのＳＰＳ（Sequence Parameter Set）の部分に挿入される。図４は、ＳＰＳの中で定義されているクロッピング情報の構造（Syntax）を示している。このＳＰＳの中では、「frame_cropping_flag」のフラグ情報でクロッピング情報の存在の有無が示される。そして、クロッピング情報は、画像データの切り出し領域としての長方形領域を指定する情報である。
【００６９】
「frame_crop_left_offset」は水平方向の開始位置、つまり左端位置を示す。「frame_crop_right_offset」は水平方向の終了位置、つまり右端位置を示す。「frame_crop_top_offset」は垂直方向の開始位置、つまり上端位置を示す。「frame_crop_bottom_offset」は垂直方向の終了位置、つまり下端位置を示す。いずれも、左上位置からのオフセット値で示される。
【００７０】
画像データが立体画像データである場合、アクセスユニットのＳＥＩｓの部分に、「Frame Packing Arrangement SEI message」が挿入されている。このＳＥＩに、画像データがいかなる伝送フォーマットの立体画像データであるかを示すタイプ情報が含まれている。
【００７１】
また、この実施の形態において、アクセスユニットのＳＥＩｓの部分に、新たに、「Stereo_Video_Cropping SEI」が定義される。そして、このＳＥＩに、３Ｄ表示用のクロッピング情報が挿入される。図５は、「Stereo_Video_Cropping SEI」の構造例（Syntax）およびその主要なデータ規定内容（semantics）を示している。
【００７２】
「stereo_video_cropping_id」のフィールドは、「Stereo_Video_Cropping SEI」を識別する識別子である。「temporal_repetition」の１ビットフィールドは、このＳＥＩに含まれる３Ｄ表示用のクロッピング情報によるクロッピング状態がいつまで続くかを示す情報である。“１”は、次の「Stereo_Video_Cropping SEI」が現れるまでその状態を保持することを示す。“０”は、現在のピクチャ（アクセスユニット）に限定で、状態を定義することを示す。
【００７３】
この「temporal_repetition」の情報により、受信側では、このＳＥＩに含まれる３Ｄ表示用のクロッピング情報によるクロッピング状態がいつまで続くかを、容易に把握可能となる。
【００７４】
この「Stereo_Video_CroppingSEI」に含まれる３Ｄ表示用のクロッピング情報は、上述したＳＰＳに含まれる２Ｄ表示用のクロッピング情報と同様に、画像データの切り出し領域としての長方形領域を指定する情報である。そのため、３Ｄ表示用のクロッピング情報の構成は、２Ｄ表示用のクロッピング情報の構成と同様である。
【００７５】
「frame_3D_left_offset」は水平方向の開始位置、つまり左端位置を示す。「frame_3D_right_offset」は水平方向の終了位置、つまり右端位置を示す。「frame_3D_top_offset」は垂直方向の開始位置、つまり上端位置を示す。「frame_3D_bottom_offset」は垂直方向の終了位置、つまり下端位置を示す。いずれも、左上位置からのオフセット値で示される。
【００７６】
図２に戻って、オーディオエンコーダ１１３は、データ取り出し部１１１から出力される音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化を施し、オーディオのエレメンタリストリーム（オーディオデータストリーム）を生成する。マルチプレクサ１１４は、ビデオエンコーダ１１２およびオーディオエンコーダ１１３で生成された各エレメンタリストリームをパケット化して多重し、トランスポートストリーム（多重化データストリーム）ＴＳを生成する。
【００７７】
ここで、マルチプレクサ１１４は、ビデオデータストリームの上位レイヤに、３Ｄ表示用のクロッピング情報がビデオデータストリームのヘッダ部に挿入されているか否かを示すフラグ情報を挿入する。この実施の形態において、このフラグ情報は、例えば、プログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルの配下に挿入される。
【００７８】
図６は、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下にフラグ情報が挿入される場合におけるトランスポートストリームＴＳの構成例を示している。この構成例では、ビデオエレメンタリストリームのＰＥＳパケット「Video PES」が含まれている。
【００７９】
また、トランスポートストリームＴＳには、ＰＳＩ（Program Specific Information）として、ＰＭＴ（ProgramMap Table）が含まれている。このＰＳＩは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。また、トランスポートストリームには、イベント単位の管理を行うＳＩ（Serviced Information）としてのＥＩＴ(EventInformation Table)が含まれている。
【００８０】
ＰＭＴには、プログラム全体に関連する情報を記述するプログラム・デスクリプタ（Program Descriptor）が存在する。また、このＰＭＴには、各エレメンタリストリームに関連した情報を持つエレメンタリ・ループが存在する。この構成例では、ビデオエレメンタリ・ループ（Video ES loop）が存在する。
【００８１】
このエレメンタリ・ループには、ストリーム毎に、パケット識別子（PID）、ストリームタイプ（Stream_Type）等の情報が配置されると共に、そのエレメンタリストリームに関連する情報を記述するデスクリプタも配置される。なお、この構成例では、図面の簡単化のために、オーディオに関しては、その図示を省略している。
【００８２】
この構成例では、ビデオデータストリームのヘッダ部に、新たに、「Stereo_Video_Cropping SEI」が定義され、このＳＥＩに、上記したように、３Ｄ表示用のクロッピング情報が挿入されている。そして、この構成例では、このＳＥＩの存在、従って３Ｄ表示用のクロッピング情報の存在を示すフラグ情報が、ビデオエレメンタリ・ループ（Video ES loop）に含まれる「AVC_video_descriptor」内に挿入される。
【００８３】
図７は、「AVC_video_descriptor」の構造例（Syntax）およびその主要なデータ規定内容（semantics）を示している。このデスクリプタ自体は、既にＨ．２６４／ＡＶＣの規格に入っている。ここでは、このデスクリプタに、「stereo_video_cropping_SEI_Not_present_flag」の１ビットのフラグ情報が、新たに、定義される。
【００８４】
このフラグ情報は、ビデオデータストリームのヘッダ部に「Stereo_Video_Cropping SEI」が含まれるか否か、従って３Ｄ表示用のクロッピング情報が挿入されているか否かを示す。“０”はこのＳＥＩが含まれていることを示し、“１”はこのＳＥＩが含まれていないことを示す。
【００８５】
図８は、プログラム・マップ・テーブルのプログラム・デスクリプタとしてフラグ情報が挿入される場合におけるトランスポートストリームＴＳの構成例を示している。この図８において、図６と対応する部分に関しては、その説明を省略する。
【００８６】
この構成例では、ビデオデータストリームのヘッダ部に、新たに、「Stereo_Video_Cropping SEI」が定義され、このＳＥＩに、上記したように、３Ｄ表示用のクロッピング情報が挿入されている。そして、この構成例では、このＳＥＩの存在、従って３Ｄ表示用のクロッピング情報の存在を示すフラグ情報を持つ、「Stereo_Video_cropping_descriptor
」のプログラム・デスクリプタが新たに定義される。
【００８７】
図９は、「Stereo_Video_cropping_descriptor」の構造例（Syntax）およびその主要なデータ規定内容（semantics）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタが「Stereo_Video_cropping_descriptor」である、ことを示す。「descriptor_length」の８ビットフィールドは、以降のデータバイト数を示す。
【００８８】
「stereo_video_cropping_SEI_Not_present_flag」は、上述した「AVC_video_descriptor」内に新たに定義された「stereo_video_cropping_SEI_Not_present_flag」と同様のの１ビットのフラグ情報である。このフラグ情報は、ビデオデータストリームのヘッダ部に「Stereo_Video_Cropping SEI」が含まれるか否か、従って３Ｄ表示用のクロッピング情報が挿入されているか否かを示す。“０”はこのＳＥＩが含まれていることを示し、“１”はこのＳＥＩが含まれていないことを示す。
【００８９】
図２に示す送信データ生成部１１０の動作を簡単に説明する。データ取り出し部１１１から出力される立体（３Ｄ）画像データは、ビデオエンコーダ１１２に供給される。このビデオエンコーダ１１２では、その画像データに対して、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の符号化が施されて、符号化ビデオデータが得られる。また、このビデオエンコーダ１１２では、後段に備えるストリームフォーマッタ（図示せず）により、この符号化ビデオデータを含むビデオエレメンタリストリーム（ビデオデータストリーム）が生成される。
【００９０】
この場合、ビデオエンコーダ１１２では、このビデオデータストリームのヘッダ部に、２Ｄ表示用のクロッピング情報（第１のクロッピング情報）が挿入されると共に、３Ｄ表示用のクロッピング情報（第２のクロッピング情報）が挿入される。２Ｄ表示用のクロッピング情報は、アクセスユニットのＳＰＳの部分に挿入される。また、アクセスユニットのＳＥＩｓの部分に、「Stereo_Video_Cropping SEI」が新たに定義され、このＳＥＩに３Ｄ表示用のクロッピング情報が挿入される。
【００９１】
また、データ取り出し部１１１から上述したように立体画像データが出力されるとき、このデータ取り出し部１１１からその画像データに対応した音声データも出力される。この音声データは、オーディオエンコーダ１１３に供給される。このオーディオエンコーダ１１３では、音声データに対して、ＭＰＥＧ−２Ａｕｄｉｏ ＡＡＣ等の符号化が施され、符号化オーディオデータを含むオーディオエレメンタリストリーム（オーディオデータストリーム）が生成される。
【００９２】
ビデオエンコーダ１１２で生成されたビデオエレメンタリストリームはマルチプレクサ１１４に供給される。また、オーディエンコーダ１１３で生成されたオーディオエレメンタリストリームはマルチプレクサ１１４に供給される。マルチプレクサ１１４では、各エンコーダから供給されるエレメンタリストリームがパケット化されて多重され、トランスポートストリーム（多重化データストリーム）ＴＳが生成される。
【００９３】
この場合、マルチプレクサ１１４では、ビデオデータストリームの上位レイヤに、３Ｄ表示用のクロッピング情報がビデオデータストリームのヘッダ部に挿入されているか否かを示すフラグ情報が挿入される。このフラグ情報は、例えば、プログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルの配下に挿入される。
【００９４】
上述したように、図２に示す送信データ生成部１１０においては、ビデオエンコーダ１１２で、ビデオデータストリームのヘッダ部に、２Ｄ表示用のクロッピング情報と共に、３Ｄ表示用のクロッピング情報が挿入される。そのため、受信側の３ＤＴＶは、３Ｄ表示用のクロッピング情報に基づいて画像データの切り出し処理を行うことができる。したがって、受信側の３ＤＴＶは、左眼および右眼の表示用画像データを正しく生成でき、正しい立体表示が可能となる。
【００９５】
また、図２に示す送信データ生成部１１０においては、マルチプレクサ１１４で、データストリームの上位レイヤに、このビデオデータストリームのヘッダ部に３Ｄ表示用のクロッピング情報が存在するか否かを示すフラグ情報が挿入される。そのため、受信側の３ＤＴＶは、ビデオデータストリームのヘッダ部を解析することなく、３Ｄ表示用のクロッピング情報の存在の有無を把握できる。
【００９６】
「受信機の構成例」
図１０は、受信機２００の構成例を示している。この受信機２００は、３Ｄ表示が可能なテレビ受信機（３ＤＴＶ）である。この受信機２００は、ＣＰＵ２０１と、フラッシュＲＯＭ２０２と、ＤＲＡＭ２０３と、内部バス２０４と、リモコン受信部２０５と、リモコン送信機２０６を有している。
【００９７】
また、この受信機２００は、アンテナ端子２１０と、デジタルチューナ２１１と、トランスポートストリームバッファ（ＴＳバッファ）２１２と、デマルチプレクサ２１３を有している。また、この受信機２００は、ビデオデコーダ２１４と、ディスプレイアウトプットバッファ（ＢＯバッファ）２１５と、３Ｄ信号処理部２１６と、ビューバッファ２１７Ｌ，２１７Ｒと、オーディオデコーダ２１８と、チャネル処理部２１９を有している。
【００９８】
ＣＰＵ２０１は、受信機２００の各部の動作を制御する。フラッシュＲＯＭ２０２は、制御ソフトウェアの格納およびデータの保管を行う。ＤＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを構成する。ＣＰＵ２０１は、フラッシュＲＯＭ２０２から読み出したソフトウェアやデータをＤＲＡＭ２０３上に展開してソフトウェアを起動させ、受信機２００の各部を制御する。リモコン受信部２０５は、リモコン送信機２０６から送信されたリモーコントロール信号（リモコンコード）を受信し、ＣＰＵ２０１に供給する。ＣＰＵ２０１は、このリモコンコードに基づいて、受信機２００の各部を制御する。ＣＰＵ２０１、フラッシュＲＯＭ２０２およびＤＲＡＭ２０３は内部バス２０４に接続されている。
【００９９】
アンテナ端子２１０は、受信アンテナ（図示せず）で受信されたテレビ放送信号を入力する端子である。デジタルチューナ２１１は、アンテナ端子２１０に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリーム（ビットストリームデータ）ＴＳを出力する。トランスポートストリームバッファ（ＴＳバッファ）２１２は、デジタルチューナ２１１から出力されたトランスポートストリームＴＳを一時的に蓄積する。
【０１００】
このトランスポートストリームＴＳは、サイド・バイ・サイド方式、トップ・アンド・ボトム方式などの、左眼画像データおよび右眼画像データを有するビデオデータストリームを持っている。このビデオデータストリームのヘッダ部には、２Ｄ表示用のクロッピング情報が挿入されていると共に、３Ｄ表示用のクロッピング情報が挿入されている。ここで、２Ｄ表示用のクロッピング情報は、アクセスユニットのＳＰＳの部分に挿入されている。また、アクセスユニットのＳＥＩｓの部分に新たに定義された「Stereo_Video_Cropping SEI」に３Ｄ表示用のクロッピング情報が挿入されている。
【０１０１】
また、トランスポートストリームＴＳには、ビデオデータストリームの上位レイヤに、フラグ情報（Stereo_video_cropping_SEI_Not_present_flg）が挿入されている。このフラグ情報は、３Ｄ表示用のクロッピング情報がビデオデータストリームのヘッダ部に含まれているか否かを示す。このフラグ情報は、例えば、プログラム・スペシフィック・インフォメーションとしてのプログラム・マップ・テーブルの配下に挿入されている。具体的には、例えば、プログラム・マップ・テーブルのビデオエレメンタリ・ループの配下に挿入され、あるいは、プログラム・マップ・テーブルのプログラム・デスクリプタとして挿入されている。
【０１０２】
デマルチプレクサ２１３は、ＴＳバッファ２１２に一時的に蓄積されたトランスポートストリームＴＳから、ビデオおよびオーディオの各エレメンタリストリームを抽出する。また、デマルチプレクサ２１３は、トランスポートストリームＴＳからプログラム・マップ・テーブル（ＰＭＴ）を抽出し、このテーブルの情報をＣＰＵ２０１に供給する。
【０１０３】
上述したように、このテーブルには、３Ｄ表示用のクロッピング情報がビデオデータストリームのヘッダ部に含まれているか否かを示すフラグ情報（Stereo_video_cropping_SEI_Not_present_flg）が挿入されている。ＣＰＵ２０１は、このフラグ情報に基づいて、３Ｄ表示用のクロッピング情報がビデオデータストリームのヘッダ部に含まれているか否かを把握する。
【０１０４】
ビデオデコーダ２１４は、上述の送信データ生成部１１０のビデオエンコーダ１１２とは逆の処理を行う。すなわち、このビデオデコーダ２１４は、デマルチプレクサ２１３で抽出されたビデオエレメンタリストリーム（ビデオデータストリーム）に含まれる符号化画像データに対して復号化処理を行って復号化された立体画像データを得る。
【０１０５】
上述したように、放送局１００の送信データ生成部１１０では、１６×１６のブロック毎に符号化を行うため、ブランクデータからなる８ラインが付加されて、１９２０画素×１０８８ラインの画像データとして符号化が行われている。そのため、ビデオデコーダ２１４は、復号化後の立体画像データとして、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データを取得する。
【０１０６】
また、ビデオデコーダ２１４は、ビデオデータストリームのヘッダ情報を抽出し、このヘッダ情報をＣＰＵ２０１に供給する。この場合、アクセスユニットのＳＰＳの部分には２Ｄ表示用のクロッピング情報が含まれている。また、アクセスユニットのＳＥＩｓの部分に新たに定義された「Stereo_Video_Cropping SEI」には、３Ｄ表示用のクロッピング情報が含まれている。
【０１０７】
ＤＯバッファ２１５は、ビデオデコーダ２１４で取得された立体画像データを一時的に蓄積する。３Ｄ信号処理部２１６は、ＤＯバッファ２１５に蓄積されている受信立体画像データから、ＣＰＵ２０１の制御のもと、３Ｄ表示用のクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しを行う。そして、３ＤＴＶ用の左眼表示画像データＳＬおよび右眼表示画像データＳＲを生成する。
【０１０８】
すなわち、３Ｄ信号処理部２１６は、サイド・バイ・サイド方式の場合、図１１に示すように、１９２０画素×１０８０ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しを行う。その後、３Ｄ信号処理部２１６は、この画像データを左右に二分し、それぞれに水平方向のスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼表示画像データＳＬおよび右眼表示画像データＳＲを生成する。
【０１０９】
また、３Ｄ信号処理部２１６は、トップ・アンド・ボトム方式の場合、図１２に示すように、１９２０画素×１０８０ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しを行う。その後、３Ｄ信号処理部２１６は、この画像データを上下に二分し、それぞれに垂直方向のスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ライン左眼表示画像データＳＬおよび右眼表示画像データＳＲを生成する。
【０１１０】
図１０に戻って、ビューバッファ２１７Ｌは、３Ｄ信号処理部２１６で生成された３ＤＴＶ用の１９２０画素×１０８０ラインの左眼表示画像データＳＬを一時的に蓄積し、表示ディスプレイなどの画像出力部に出力する。また、ビューバッファ２１７Ｒは、３Ｄ信号処理部２１６で生成された３ＤＴＶ用の１９２０画素×１０８０ラインの右眼表示画像データＳＲを一時的に蓄積し、表示ディスプレイなどの画像出力部に出力する。
【０１１１】
オーディオデコーダ２１８は、上述の送信データ生成部１１０のオーディオエンコーダ１１３とは逆の処理を行う。すなわち、このオーディオデコーダ２１８は、デマルチプレクサ２１３で抽出されたオーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理を行って復号化された音声データを得る。チャネル処理部２１９は、オーディオデコーダ２１８で得られる音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡを生成し、スピーカなどの音声出力部に出力する。
【０１１２】
受信機２００の動作を簡単に説明する。アンテナ端子２１０に入力されたテレビ放送信号はデジタルチューナ２１１に供給される。このデジタルチューナ２１１では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームＴＳが出力される。このトランスポートストリームＴＳは、ＴＳバッファ２１２に一時的に蓄積される。
【０１１３】
デマルチプレクサ２１３では、ＴＳバッファ２１２に一時的に蓄積されたトランスポートストリームＴＳから、ビデオおよびオーディオの各エレメンタリストリームが抽出される。また、デマルチプレクサ２１３では、トランスポートストリームＴＳからプログラム・マップ・テーブル（ＰＭＴ）が抽出される。このテーブルの情報は、ＣＰＵ２０１に供給される。
【０１１４】
このテーブルには、３Ｄ表示用のクロッピング情報がビデオデータストリームのヘッダ部に含まれているか否かを示すフラグ情報（Stereo_video_cropping_SEI_Not_present_flg）が含まれている。ＣＰＵ２０１では、このフラグ情報に基づいて、３Ｄ表示用のクロッピング情報がビデオデータストリームのヘッダ部に含まれているか否か、把握される。
【０１１５】
デマルチプレクサ２１３で抽出されるビデオエレメンタリストリーム（ビデオデータストリーム）は、ビデオデコーダ２１４に供給される。このビデオデコーダ２１４では、デマルチプレクサ２１３で抽出されたビデオエレメンタリストリームに含まれる符号化画像データに対して復号化処理が行われ、復号化された立体画像データが得られる。この立体画像データは、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データである。この立体画像データは、ＤＯバッファ２１５に一時的に蓄積される。
【０１１６】
また、ビデオデコーダ２１４では、ビデオデータストリームのヘッダ情報が抽出され、このヘッダ情報はＣＰＵ２０１に供給される。この場合、ＳＰＳの部分には２Ｄ表示用のクロッピング情報が含まれており、また、「Stereo_Video_Cropping SEI」には３Ｄ表示用のクロッピング情報が含まれている。
【０１１７】
３Ｄ信号処理部２１６では、ＤＯバッファ２１５に蓄積されている受信立体画像データから、ＣＰＵ２０１の制御のもと、３Ｄ表示用のクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、３Ｄ信号処理部２１６では、３ＤＴＶ用の１９２０画素×１０８８ラインの左眼表示画像データＳＬおよび右眼表示画像データＳＲが生成される。３Ｄ信号処理部２１６で生成された３ＤＴＶ用の表示画像データＳＬ，ＳＲは、それぞれ、ビューバッファ２１７Ｌ，２１７Ｒを通じて、表示ディスプレイなどの画像出力部に出力される。
【０１１８】
また、デマルチプレクサ２１３で抽出されたオーディオエレメンタリストリームは、オーディオデコーダ２１８に供給される。このオーディオデコーダ２１８では、オーディオエレメンタリストリームに含まれる符号化音声データに対して復号化処理が行われて、復号化された音声データが得られる。この音声データは、チャネル処理部２１９に供給される。チャネル処理部２１９では、その音声データに対して、例えば５．１chサラウンド等を実現するための各チャネルの音声データＳＡが生成される。この音声データＳＡは、スピーカなどの音声出力部に出力される。
【０１１９】
上述したように、図１０に示す受信機２００においては、３Ｄ信号処理部２１６で、ビデオデータストリームのヘッダ部に挿入されている３Ｄ表示用のクロッピング情報に基づいて、切り出し処理が行われる。すなわち、３Ｄ信号処理部２１６では、受信立体画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そのため、左眼および右眼の表示用画像データが正しく生成され、正しい３Ｄ表示が可能となる。
【０１２０】
なお、図１３は、２Ｄ表示のみが可能なテレビ受信機（２ＤＴＶ）である場合の受信機２００の構成例を示している。ここでは、便宜的に、受信機２００ａとしている。図１３において、図１０と対応する部分には、同一符号を付し、適宜、その詳細説明を省略する。
【０１２１】
この受信機２００ａにおいて、デマルチプレクサ２１３では、ＴＳバッファ２１２に一時的に蓄積されたトランスポートストリームＴＳから、ビデオおよびオーディオの各エレメンタリストリームが抽出される。また、デマルチプレクサ２１３では、トランスポートストリームＴＳからプログラム・マップ・テーブル（ＰＭＴ）が抽出される。このテーブルの情報は、ＣＰＵ２０１に供給される。
【０１２２】
このテーブルには、上述したように、３Ｄ表示用のクロッピング情報がビデオデータストリームのヘッダ部に含まれているか否かを示すフラグ情報（Stereo_video_cropping_SEI_Not_present_flg）が含まれている。しかし、この受信機２００ａにおけるＣＰＵ２０１では、このフラグ情報は無視される。
【０１２３】
ビデオデコーダ２１４では、デマルチプレクサ２１３で抽出されたビデオエレメンタリストリームに含まれる符号化画像データに対して復号化処理が行われ、復号化された立体画像データが得られる。この立体画像データは、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データである。この立体画像データは、ＤＯバッファ２１５に一時的に蓄積される。
【０１２４】
また、ビデオデコーダ２１４では、ビデオデータストリームのヘッダ情報が抽出され、このヘッダ情報はＣＰＵ２０１に供給される。この場合、アクセスユニットのＳＰＳの部分には２Ｄ表示用のクロッピング情報が含まれており、また、アクセスユニットのＳＥＩｓの部分に新たに定義された「Stereo_Video_Cropping SEI」には、３Ｄ表示用のクロッピング情報が含まれている。しかし、この受信機２００ａにおけるＣＰＵ２０１では、３Ｄ表示用のクロッピング情報は無視される。
【０１２５】
この受信機２００ａにおいては、上述した受信機２００の３Ｄ信号処理部２１６、ビューバッファ２１７Ｌ，２１７Ｒの部分が、２Ｄ信号処理部２２１、ビューバッファ２２２により構成されている。２Ｄ信号処理部２２１では、ＤＯバッファ２１５に蓄積されている受信立体画像データから、ＣＰＵ２０１の制御のもと、２Ｄ表示用のクロッピング情報に基づいて、例えば左眼画像データの切り出しが行われて、２ＤＴＶ用の表示用画像データＳＶが生成される。
【０１２６】
例えば、サイド・バイ・サイド方式の場合、２Ｄ信号処理部２２１では、図１１に示すように、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データの切り出しが行われる。そして、２Ｄ信号処理部２２１では、この左眼画像データにスケーリング処理が施されて、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データＳＶが生成される。
【０１２７】
また、例えば、トップ・アンド・ボトム方式の場合、２Ｄ信号処理部２２１では、図１２に示すように、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データの切り出しが行われる。そして、２Ｄ信号処理部２２１では、この左眼画像データにスケーリング処理が施されて、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データＳＶが生成される。２Ｄ信号処理部２２１で生成された２ＤＴＶ用の表示画像データＳＶは、ビューバッファ２２２を通じて、表示ディスプレイなどの画像出力部に出力される。
【０１２８】
この受信機２００ａのその他は、図１０に示す受信機２００と同様に構成され、同様の動作が行われる。この２Ｄ表示のみが可能なテレビ受信機（２ＤＴＶ）である受信機２００ａにおいては、２Ｄ信号処理部２２１で、ビデオデータストリームのヘッダ部に挿入されている２Ｄ表示用のクロッピング情報に基づいて、切り出し処理が行われるため、表示用画像データが正しく生成され、正しい２Ｄ表示が行われる。
【０１２９】
＜２．第２の実施の形態＞
［画像送受信システム］
図１４は、第２の実施の形態としての画像送受信システム１０Ａの構成例を示している。この画像送受信システム１０Ａは、放送局１００Ａおよび受信機２００Ａにより構成されている。放送局１００Ａは、左眼画像データおよび右眼画像データを有する立体（３次元＝３Ｄ）画像データを含むビデオデータストリームを有するトランスポートストリーム（多重化データストリームデータ）ＴＳを、放送波に載せて送信する。この立体画像データの伝送フォーマットは、サイド・バイ・サイド（Side By Side）方式（図３９（ａ）参照）、トップ・アンド・ボトム（Top& Bottom）方式（図３９（ｂ）参照）などである。
【０１３０】
この第２の実施の形態において、立体画像データのピクセルフォーマットは、１９２０×１０８０であるとする。放送局１００Ａは、この立体画像データに対して、１６×１６のブロック毎に符号化を行う。そのため、放送局１００Ａは、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化を行う。
【０１３１】
ビデオデータストリームのヘッダ部には、２次元（２Ｄ）表示用のクロッピング情報が挿入されている。この場合、上述の第１の実施の形態とは異なり、ビデオデータストリームのヘッダ部には、立体（３Ｄ）表示用のクロッピング情報は挿入されていない。そのため、この第２の実施の形態では、上述の第１の実施の形態とは異なり、ビデオデータストリームの上位レイヤに、３Ｄ表示用のクロッピング情報がビデオデータストリームのヘッダ部に挿入されているか否かを示すフラグ情報を挿入することも、行われていない。
【０１３２】
受信機２００Ａは、放送局１００Ａから放送波に載せて送られてくるトランスポートストリームＴＳを受信する。受信機２００Ａは、受信されたトラスポートストリームＴＳから、サイド・バイ・サイド方式（図３９（ａ）参照）、トップ・アンド・ボトム方式（図３９（ｂ）参照）などの、左眼画像データおよび右眼画像データを含む立体画像データを取得する。
【０１３３】
上述したように、放送局１００Ａでは、１６×１６のブロック毎に符号化を行うため、ブランクデータからなる８ラインが付加されて、１９２０画素×１０８８ラインの画像データとして符号化が行われている。そのため、受信機２００Ａは、復号化後の立体画像データとして、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データを取得する。
【０１３４】
受信機２００Ａは、３Ｄ表示には対応していない、つまり２Ｄ表示のみが可能なテレビ受信機（２ＤＴＶ）である場合、ビデオデータストリームのヘッダ部に挿入されている２Ｄ表示用のクロッピング情報を用いる。すなわち、受信機２００Ａは、この２Ｄ表示用のクロッピング情報に基づいて、受信立体画像データから、例えば左眼画像データの切り出しを行って、２ＤＴＶ用の表示用画像データを生成する。
【０１３５】
例えば、サイド・バイ・サイド方式の場合、受信機２００Ａは、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データの切り出しを行う。その後、受信機２００Ａは、この左眼画像データにスケーリング処理を施して、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データを生成する。
【０１３６】
また、例えば、トップ・アンド・ボトム方式の場合、受信機２００Ａは、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データの切り出しを行う。その後、受信機２００Ａは、この左眼画像データにスケーリング処理を施して、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データを生成する。
【０１３７】
また、受信機２００Ａは、３Ｄ表示が可能なテレビ受信機（３ＤＴＶ）である場合、ビデオデータストリームのヘッダ部に挿入されている２Ｄ表示用のクロッピング情報を、３Ｄ表示用のクロッピング情報に変換する。そして、この受信機２００Ａは、この３Ｄ表示用のクロッピング情報に基づいて、受信立体画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しを行って、３ＤＴＶ用の左眼および右眼の表示用画像データを生成する。
【０１３８】
例えば、サイド・バイ・サイド方式の場合、２Ｄ表示用のクロッピング情報は、１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データを切り出すための長方形領域を指定する情報である。受信機２００Ａは、この２Ｄ表示用のクロッピング情報を、１９２０画素×１０８０ラインの画像データの全体を切り出すための長方形領域を指定する情報に変換する。
【０１３９】
そして、受信機２００Ａは、変換後の３Ｄ表示用のクロッピング情報に基づいて、１９２０画素×１０８０ラインの画像データの切り出しを行う。その後、受信機２００Ａは、この画像データが左右に二分し、それぞれにスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼および右眼の表示用画像データを生成する。
【０１４０】
また、例えば、サイド・バイ・サイド方式の場合、２Ｄ表示用のクロッピング情報は、１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データを切り出すための長方形領域を指定する情報である。受信機２００Ａは、この２Ｄ表示用のクロッピング情報を、１９２０画素×１０８０ラインの画像データの全体を切り出すための長方形領域を指定する情報に変換する。
【０１４１】
そして、受信機２００Ａは、変換後の３Ｄ表示用のクロッピング情報に基づいて、１９２０画素×１０８０ラインの画像データの切り出しを行う。その後、受信機２００Ａは、この画像データが上下に二分し、それぞれにスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼および右眼の表示用画像データを生成する。
【０１４２】
「送信データ生成部の構成例」
図１５は、放送局１００Ａにおいて、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０Ａの構成例を示している。この送信データ生成部１１０Ａは、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２Ａと、オーディオエンコーダ１１３と、マルチプレクサ１１４Ａを有している。この図１５において、図２と対応する部分には、同一符号を付し、適宜、その詳細説明を省略する。
【０１４３】
ビデオエンコーダ１１２Ａでは、データ取り出し部１１１から出力される立体画像データに対して、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の符号化が施されて符号化ビデオデータが得られる。また、このビデオエンコーダ１１２Ａでは、後段に備えるストリームフォーマッタ（図示せず）により、この符号化ビデオデータを含むビデオエレメンタリストリーム（ビデオデータストリーム）が生成される。
【０１４４】
この際、ビデオエンコーダ１１２Ａでは、このビデオデータストリームのヘッダ部に、２Ｄ表示用のクロッピング情報が挿入される（図４参照）。ただし、図２に示す送信データ生成部１１０のビデオエンコーダ１１２とは異なり、３Ｄ表示用のクロッピング情報の挿入は行われない。図１６（ａ）、（ｂ）は、その場合における、ビデオデータストリームにおけるアクセスユニットのデータ構造を示している。Ｈ．２６４ではピクチャをアクセスユニットという単位で定義している。図１６（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットのデータ構造を示し、図１６（ｂ）は、ＧＯＰの先頭以外のアクセスユニットの構造を示している。
【０１４５】
２Ｄ表示用のクロッピング情報は、上述の図３（ａ）、（ｂ）に示すアクセスユニットのデータ構造と同様に、アクセスユニットのＳＰＳ（Sequence Parameter Set）の部分に挿入される。また、上述の図３（ａ）、（ｂ）に示すアクセスユニットのデータ構造と異なり、アクセスユニットのＳＥＩｓの部分に「Stereo_Video_Cropping SEI」は定義されていない。
【０１４６】
マルチプレクサ１１４Ａでは、ビデオエンコーダ１１２Ａおよびオーディオエンコーダ１１３で生成された各エレメンタリストリームがパケット化されて多重され、トランスポートストリーム（多重化データストリーム）ＴＳが生成される。なお、このマルチプレクサ１１４Ａでは、図２に示す送信データ生成部１１０のマルチプレクサ１１４とは異なり、ビデオデータストリームの上位レイヤに、３Ｄ表示用のクロッピング情報がビデオデータストリームのヘッダ部に挿入されているか否かを示すフラグ情報を挿入することは、行われない。
【０１４７】
図１５に示す送信データ生成部１１０Ａのその他は、図２に示す送信データ生成部１１０と同様に構成され、同様の動作が行われる。この図１５に示す送信データ生成部１１０Ａにおいて、マルチプレクサ１１４Ａでは、以下のようなトランスポートストリーム（多重化データストリーム）ＴＳが生成される。すなわち、左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に２次元表示用のクロッピング情報が挿入されているビデオデータストリームを持つトランスポートストリームＴＳが生成される。
【０１４８】
「受信機の構成例」
図１７は、受信機２００Ａの構成例を示している。この受信機２００Ａは、３Ｄ表示が可能なテレビ受信機（３ＤＴＶ）である。この図１７において、図１０と対応する部分には、同一符号を付し、適宜、その詳細説明は省略する。
【０１４９】
ビデオデコーダ２１４では、デマルチプレクサ２１３で抽出されたビデオエレメンタリストリーム（ビデオデータストリーム）に含まれる符号化画像データに対して復号化処理が行われて、復号化された立体画像データが得られる。この立体画像データは、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データである。この立体画像データは、ＤＯバッファ２１５に一時的に蓄積される。
【０１５０】
また、ビデオデコーダ２１４では、ビデオデータストリームのヘッダ情報が抽出され、このヘッダ情報がＣＰＵ２０１に供給される。この場合、アクセスユニットのＳＰＳの部分には２Ｄ表示用のクロッピング情報が含まれている。この２Ｄ表示用のクロッピング情報に基づいて、後述する３Ｄ信号処理部２１６Ａにおける画像データ切り出し処理が、制御される。
【０１５１】
ＣＰＵ２０１では、２Ｄ表示用のクロッピング情報が、３Ｄ表示用のクロッピング情報に変換される。例えば、立体画像データの伝送フォーマットがサイド・バイ・サイド方式の場合、水平方向の終了位置、つまり右端位置を示す「frame_crop_right_offset」の値が２倍とされる。また、例えば、立体画像データの伝送フォーマットがトップ・アンド・ボトム方式の場合、垂直方向の終了位置、つまり下端位置を示す「frame_crop_bottom_offset」の値が２倍とされる。
【０１５２】
３Ｄ信号処理部２１６Ａでは、ＤＯバッファ２１５に蓄積されている受信立体画像データから、変換後の３Ｄ表示用のクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、３ＤＴＶ用の左眼表示画像データＳＬおよび右眼表示画像データＳＲが生成される。
【０１５３】
すなわち、３Ｄ信号処理部２１６Ａでは、サイド・バイ・サイド方式の場合、図１８に示すように、１９２０画素×１０８０ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。さらに、３Ｄ信号処理部２１６Ａでは、この画像データが左右に二分され、それぞれに水平方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼表示画像データＳＬおよび右眼表示画像データＳＲが生成される。
【０１５４】
また、３Ｄ信号処理部２１６Ａでは、トップ・アンド・ボトム方式の場合、図１９に示すように、１９２０画素×１０８０ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。その後、３Ｄ信号処理部２１６Ａでは、この画像データが上下に二分され、それぞれに垂直方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ライン左眼表示画像データＳＬおよび右眼表示画像データＳＲが生成される。
【０１５５】
図１７に示す受信機２００Ａのその他は、図１０に示す受信機２００と同様に構成され、同様の動作が行われる。この図１７に示す受信機２００Ａにおいては、ビデオデータストリームのヘッダ部に挿入されている２Ｄ表示用のクロッピング情報が、３Ｄ表示用のクロッピング情報に変換される。そして、３Ｄ信号処理部２１６Ａで、この３Ｄ表示用のクロッピング情報に基づいて、切り出し処理が行われる。すなわち、３Ｄ信号処理部２１６Ａでは、受信立体画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そのため、左眼および右眼の表示用画像データが正しく生成され、正しい３Ｄ表示が可能となる。
【０１５６】
なお、上述の図１３に示す受信機２００ａにおける２Ｄ信号処理部２２１の処理は、第１の実施の形態の場合と同様となる。すなわち、２Ｄ信号処理部２２１では、ＤＯバッファ２１５に蓄積されている受信立体画像データから、２Ｄ表示用のクロッピング情報に基づいて、例えば左眼画像データの切り出しが行われて、２ＤＴＶ用の表示用画像データＳＶが生成される。
【０１５７】
例えば、サイド・バイ・サイド方式の場合、２Ｄ信号処理部２２１では、図１８に示すように、１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データの切り出しが行われる。そして、２Ｄ信号処理部２２１では、この左眼画像データにスケーリング処理が施されて、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データＳＶが生成される。
【０１５８】
また、例えば、トップ・アンド・ボトム方式の場合、２Ｄ信号処理部２２１では、図１９に示すように、１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データの切り出しが行われる。そして、２Ｄ信号処理部２２１では、この左眼画像データにスケーリング処理が施されて、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データＳＶが生成される。
【０１５９】
＜３．第３の実施の形態＞
［画像送受信システム］
図２０は、第３の実施の形態としての画像送受信システム１０Ｂの構成例を示している。この画像送受信システム１０Ｂは、放送局１００Ｂおよび受信機２００Ｂにより構成されている。放送局１００Ｂは、左眼画像データおよび右眼画像データを有する立体（３次元＝３Ｄ）画像データを含むビデオデータストリームを有するトランスポートストリーム（多重化データストリームデータ）ＴＳを、放送波に載せて送信する。この立体画像データの伝送フォーマットは、サイド・バイ・サイド（Side By Side）方式（図３９（ａ）参照）、トップ・アンド・ボトム（Top& Bottom）方式（図３９（ｂ）参照）などである。
【０１６０】
この第３の実施の形態において、立体画像データのピクセルフォーマットは、１９２０×１０８０であるとする。放送局１００Ｂは、この立体画像データに対して、１６×１６のブロック毎に符号化を行う。そのため、放送局１００Ｂは、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化を行う。
【０１６１】
ビデオデータストリームのヘッダ部には、２次元（２Ｄ）表示用のクロッピング情報が挿入されている。この場合、上述の第２の実施の形態と同様に、ビデオデータストリームのヘッダ部には、立体（３Ｄ）表示用のクロッピング情報は挿入されていない。そのため、この第３の実施の形態では、上述の第２の実施の形態と同様に、ビデオデータストリームの上位レイヤに、３Ｄ表示用のクロッピング情報がビデオデータストリームのヘッダ部に挿入されているか否かを示すフラグ情報を挿入することも、行われていない。
【０１６２】
受信機２００Ｂは、放送局１００Ｂから放送波に載せて送られてくるトランスポートストリームＴＳを受信する。受信機２００Ｂは、受信されたトラスポートストリームＴＳから、サイド・バイ・サイド方式（図３９（ａ）参照）、トップ・アンド・ボトム方式（図３９（ｂ）参照）などの、左眼画像データおよび右眼画像データを含む立体画像データを取得する。
【０１６３】
上述したように、放送局１００Ｂでは、１６×１６のブロック毎に符号化を行うため、ブランクデータからなる８ラインが付加されて、１９２０画素×１０８８ラインの画像データとして符号化が行われている。そのため、受信機２００Ｂは、復号化後の立体画像データとして、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データを取得する。
【０１６４】
受信機２００Ｂは、３Ｄ表示には対応していない、つまり２Ｄ表示のみが可能なテレビ受信機（２ＤＴＶ）である場合、ビデオデータストリームのヘッダ部に挿入されている２Ｄ表示用のクロッピング情報を用いる。すなわち、受信機２００Ｂは、この２Ｄ表示用のクロッピング情報に基づいて、受信立体画像データから、例えば左眼画像データの切り出しを行って、２ＤＴＶ用の表示用画像データを生成する。
【０１６５】
例えば、サイド・バイ・サイド方式の場合、受信機２００Ｂは、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データの切り出しを行う。その後、受信機２００Ｂは、この左眼画像データにスケーリング処理を施して、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データを生成する。
【０１６６】
また、例えば、トップ・アンド・ボトム方式の場合、受信機２００Ｂは、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データの切り出しを行う。その後、受信機２００Ｂは、この左眼画像データにスケーリング処理を施して、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データを生成する。
【０１６７】
また、受信機２００Ｂは、３Ｄ表示が可能なテレビ受信機（３ＤＴＶ）である場合、２Ｄ表示用のクロッピング情報に基づいて画像データ切り出し処理を行って、左眼または右眼の一方、例えば左眼の表示用画像データを生成する。さらに、受信機２００Ｂは、２Ｄ表示用のクロッピング情報に基づいた画像切り出し処理後に残っている画像データに基づいて、左眼または右眼の他方、例えば右眼の表示用画像データを生成する。
【０１６８】
例えば、サイド・バイ・サイド方式の場合、２Ｄ表示用のクロッピング情報は、１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データを切り出すための長方形領域を指定する情報である。受信機２００Ｂは、この２Ｄ表示用のクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データの切り出しを行う。その後、受信機２００Ｂは、この左眼画像データに水平方向のスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼表示用画像データを生成する。
【０１６９】
そして、受信機２００Ｂは、１９２０画素×１０８０ラインの画像データのうち、残っている９６０画素×１０８０ラインの例えば右眼画像データの切り出しを行う。その後、この右眼画像データに水平方向のスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの右眼表示用画像データを生成する。
【０１７０】
また、例えば、トップ・アンド・ボトム方式の場合、２Ｄ表示用のクロッピング情報は、１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データを切り出すための長方形領域を指定する情報である。受信機２００Ｂは、この情報に基づいて、１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データの切り出しを行う。その後、受信機２００Ｂは、この左眼画像データに垂直方向のスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼表示用画像データを生成する。
【０１７１】
そして、受信機２００Ｂは、１９２０画素×１０８０ラインの画像データのうち、残っている１９２０画素×５４０ラインの例えば右眼画像データの切り出しを行う。その後、この右眼画像データに垂直方向のスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの右眼表示用画像データを生成する。
【０１７２】
「送信データ生成部の構成例」
放送局１００Ｂにおける、上述したトランスポートストリームＴＳを生成する送信データ生成部に関しては、詳細説明は省略するが、上述の第２の実施の形態における送信データ生成部１１０Ａと同様に構成される。
【０１７３】
「受信機の構成例」
図２１は、受信機２００Ｂの構成例を示している。この受信機２００Ｂは、３Ｄ表示が可能なテレビ受信機（３ＤＴＶ）である。この図２１において、図１０と対応する部分には、同一符号を付し、適宜、その詳細説明は省略する。
【０１７４】
ビデオデコーダ２１４では、デマルチプレクサ２１３で抽出されたビデオエレメンタリストリーム（ビデオデータストリーム）に含まれる符号化画像データに対して復号化処理が行われて、復号化された立体画像データが得られる。この立体画像データは、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データである。この立体画像データは、ＤＯバッファ２１５に一時的に蓄積される。
【０１７５】
また、ビデオデコーダ２１４では、ビデオデータストリームのヘッダ情報が抽出され、このヘッダ情報がＣＰＵ２０１に供給される。この場合、アクセスユニットのＳＰＳの部分には２Ｄ表示用のクロッピング情報が含まれている。この２Ｄ表示用のクロッピング情報に基づいて、後述する３Ｄ信号処理部２１６Ｂにおける画像データ切り出し処理が、制御される。
【０１７６】
ＣＰＵ２０１では、２Ｄ表示用のクロッピング情報に基づいて、残りの画像データを切り出すための長方形領域を指定する残領域クロッピング情報が生成される。例えば、立体画像データの伝送フォーマットがサイド・バイ・サイド方式の場合、水平方向の終了位置、つまり右端位置を示す「frame_crop_right_offset」の値が２倍とされ、「alternative_view_horizontal_edge」とされる。これにより、残領域クロッピング情報が生成される。
【０１７７】
この残領域クロッピング情報は、「frame_crop_top_offset」、「frame_crop_bottom_offset」、「frame_crop_right_offset + 1」、「alternative_view_horizontal_edge」により構成される。「frame_crop_right_offset + 1」は、水平方向の開始位置、つまり左端位置を示す。「alternative_view_horizontal_edge」は、水平方向の終了位置、つまり右端位置を示す。「frame_crop_top_offset」は、垂直方向の開始位置、つまり上端位置を示す。「frame_crop_bottom_offset」は、垂直方向の終了位置、つまり下端位置を示す。いずれも、左上位置からのオフセット値で示される。
【０１７８】
また、例えば、立体画像データの伝送フォーマットがトップ・アンド・ボトム方式の場合、垂直方向の終了位置、つまり下端位置を示す「frame_crop_bottom_offset」の値が２倍とされ、「alternative_view_vertical_edge」とされる。これにより、残領域クロッピング情報が生成される。
【０１７９】
この残領域クロッピング情報は、「frame_crop_bottom_offset + 1」、「alternative_view_vertical_edge」、「frame_crop_left_offset」、「frame_crop_right_offset」により構成される。「frame_crop_left_offset」は、水平方向の開始位置、つまり左端位置を示す。「frame_crop_right_offset」は、水平方向の終了位置、つまり右端位置を示す。「frame_crop_bottom_offset + 1」は、垂直方向の開始位置、つまり上端位置を示す。「alternative_view_vertical_edge」は、垂直方向の終了位置、つまり下端位置を示す。いずれも、左上位置からのオフセット値で示される。
【０１８０】
３Ｄ信号処理部２１６Ｂでは、２Ｄ表示用のクロッピング情報に基づいて画像データ切り出し処理が行われて、左眼または右眼の一方、例えば左眼の表示用画像データが生成される。さらに、３Ｄ信号処理部２１６Ｂでは、残領域クロッピング情報に基づいて画像データ切り出し処理が行われて、左眼または右眼の他方、例えば右眼の表示用画像データが生成される。
【０１８１】
例えば、サイド・バイ・サイド方式の場合、２Ｄ表示用のクロッピング情報は、１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データを切り出すための長方形領域を指定する情報である。３Ｄ信号処理部２１６Ｂでは、図２２に示すように、この２Ｄ表示用のクロッピング情報に基づいて、１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データの切り出しが行われる。その後、３Ｄ信号処理部２１６Ｂでは、この左眼画像データに水平方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼表示用画像データが生成される。
【０１８２】
また、３Ｄ信号処理部２１６Ｂでは、図２２に示すように、残領域クロッピング情報に基づいて、１９２０画素×１０８０ラインの画像データのうち、残っている９６０画素×１０８０ラインの例えば右眼画像データの切り出しが行われる。その後、３Ｄ信号処理部２１６Ｂでは、この右眼画像データに水平方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ラインの右眼表示用画像データが生成される。
【０１８３】
また、例えば、トップ・アンド・ボトム方式の場合、２Ｄ表示用のクロッピング情報は、１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データを切り出すための長方形領域を指定する情報である。３Ｄ信号処理部２１６Ｂでは、図２３に示すように、２Ｄ表示用のクロッピング情報に基づいて、１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データの切り出しが行われる。その後、３Ｄ信号処理部２１６Ｂでは、この左眼画像データに垂直方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼表示用画像データが生成される。
【０１８４】
そして、３Ｄ信号処理部２１６Ｂでは、図２３に示すように、残領域クロッピング情報に基づいて、１９２０画素×１０８０ラインの画像データのうち、残っている１９２０画素×５４０ラインの例えば右眼画像データの切り出しが行われる。その後、この右眼画像データに垂直方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ラインの右眼表示用画像データが生成される。
【０１８５】
図２１に示す受信機２００Ｂのその他は、図１０に示す受信機２００と同様に構成され、同様の動作が行われる。この図２１に示す受信機２００Ｂにおいては、ビデオデータストリームに含まれている２Ｄ表示用のクロッピング情報に基づいて画像データの切り出しが行われて、左眼または右眼の一方の表示用画像データが生成される。また、この画像データ処理部では、２次元表示用のクロッピング情報に基づいた画像切り出し処理後に残っている画像データに基づいて、左眼または右眼の他方の表示用画像データが生成される。そのため、左眼および右眼の表示用画像データが正しく生成され、正しい立体表示が可能となる。
【０１８６】
なお、上述の図１３に示す受信機２００ａにおける２Ｄ信号処理部２２１の処理は、第２の実施の形態の場合と同様となる。すなわち、２Ｄ信号処理部２２１では、ＤＯバッファ２１５に蓄積されている受信立体画像データから、２Ｄ表示用のクロッピング情報に基づいて、例えば左眼画像データの切り出しが行われて、２ＤＴＶ用の表示用画像データＳＶが生成される。
【０１８７】
例えば、サイド・バイ・サイド方式の場合、２Ｄ信号処理部２２１では、図２２に示すように、１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データの切り出しが行われる。そして、２Ｄ信号処理部２２１では、この左眼画像データにスケーリング処理が施されて、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データＳＶが生成される。
【０１８８】
また、例えば、トップ・アンド・ボトム方式の場合、２Ｄ信号処理部２２１では、図２３に示すように、１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データの切り出しが行われる。そして、２Ｄ信号処理部２２１では、この左眼画像データにスケーリング処理が施されて、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データＳＶが生成される。
【０１８９】
＜４．第４の実施の形態＞
［画像送受信システム］
図２４は、第４の実施の形態としての画像送受信システム１０Ｃの構成例を示している。この画像送受信システム１０Ｃは、放送局１００Ｃおよび受信機２００Ｃにより構成されている。放送局１００Ｃは、左眼画像データおよび右眼画像データを有する立体（３次元＝３Ｄ）画像データを含むビデオデータストリームを有するトランスポートストリーム（多重化データストリームデータ）ＴＳを、放送波に載せて送信する。この立体画像データの伝送フォーマットは、サイド・バイ・サイド方式（図３９（ａ）参照）、トップ・アンド・ボトム方式（図３９（ｂ）参照）などである。
【０１９０】
この実施の形態において、立体画像データのピクセルフォーマットは、１９２０×１０８０であるとする。放送局１００Ｃは、この立体画像データに対して、１６×１６のブロック毎に符号化を行う。そのため、放送局１００Ｃは、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化を行う。
【０１９１】
ビデオデータストリームのヘッダ部には、２Ｄ画像用のクロッピング情報、あるいは、３Ｄ画像用のクロッピング情報が挿入されている。ここで、２Ｄ画像用のクロッピング情報は、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データを切り出すための長方形領域を指定するクロッピング情報である。また、３Ｄ画像用のクロッピング情報は１９２０画素×１０８０ラインの画像データのうち、左眼画像データ領域、あるいは右眼画像データ領域を切り出すための長方形領域を指定するクロッピング情報である。また、このビデオデータストリームのヘッダ部には、クロッピング情報が２Ｄ画像用か３Ｄ画像用かを識別する識別情報が挿入されている。なお、この実施の形態において、ビデオデータストリームは、例えば、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）ストリームである。
【０１９２】
受信機２００Ｃは、放送局１００Ｃから放送波に載せて送られてくるトランスポートストリームＴＳを受信する。受信機２００Ｃは、受信されたトラスポートストリームＴＳから、サイド・バイ・サイド方式（図３９（ａ）参照）、トップ・アンド・ボトム方式（図３９（ｂ）参照）などの、左眼画像データおよび右眼画像データを含む立体画像データを取得する。
【０１９３】
上述したように、放送局１００Ｃでは、１６×１６のブロック毎に符号化を行うため、ブランクデータからなる８ラインが付加されて、１９２０画素×１０８８ラインの画像データとして符号化が行われている。そのため、受信機２００Ｃは、復号化後の立体画像データとして、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データを取得する。
【０１９４】
受信機２００Ｃは、３Ｄ表示が可能なテレビ受信機（３ＤＴＶ）である場合、ビデオデータストリームのヘッダ部に挿入されているクロッピング情報につき、このヘッダ部に挿入されている識別情報により、２Ｄ表示用か３Ｄ表示用かを把握する。受信機２００Ｃは、このクロッピング情報に基づいて、受信立体画像データからデータ切り出し処理を行って、３ＤＴＶ用の左眼および右眼の表示用画像データを生成する。
【０１９５】
例えば、クロッピング情報が２Ｄ画像用であって、サイド・バイ・サイド方式の場合、受信機２００Ｃは、この２Ｄ画像用のクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しを行う。その後、受信機２００Ｃは、この画像データを左右に二分し、それぞれに水平方向のスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼および右眼の表示用画像データを生成する。
【０１９６】
また、例えば、クロッピング情報が２Ｄ画像用であって、トップ・アンド・ボトム方式の場合、受信機２００Ｃは、この２Ｄ画像用のクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しを行う。その後、受信機２００Ｃは、この画像データを上下に二分し、それぞれに垂直方向のスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼および右眼の表示用画像データを生成する。
【０１９７】
また、例えば、クロッピング情報が３Ｄ画像用である場合、上述した第２の実施の形態と同様の処理（１）、あるいは上述した第３の実施の形態と同様の処理（２）を行って、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼および右眼の表示用画像データを生成する。
【０１９８】
「処理（１）」
例えば、受信機２００Ｃは、３Ｄ表示が可能なテレビ受信機（３ＤＴＶ）である場合、ビデオデータストリームのヘッダ部に挿入されている３Ｄ画像用のクロッピング情報を、２Ｄ画像用のクロッピング情報に変換する。そして、この受信機２００Ｃは、この２Ｄ画像用のクロッピング情報に基づいて、受信立体画像データから、１９２０画素×１０８０ラインの画像データの切り出しを行って、３ＤＴＶ用の左眼および右眼の表示用画像データを生成する。
【０１９９】
例えば、サイド・バイ・サイド方式の場合、３Ｄ画像用のクロッピング情報は、１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データを切り出すための長方形領域を指定する情報である。受信機２００Ｃは、この３Ｄ画像用のクロッピング情報を、１９２０画素×１０８０ラインの画像データの全体を切り出すための長方形領域を指定する２Ｄ画像用のクロッピング情報に変換する。
【０２００】
そして、受信機２００Ｃは、変換後の２Ｄ画像用のクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しを行う。その後、受信機２００Ｃは、この画像データが左右に二分し、それぞれにスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼および右眼の表示用画像データを生成する。
【０２０１】
また、例えば、トップ・アンド・ボトム方式の場合、３Ｄ画像用のクロッピング情報は、１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データを切り出すための長方形領域を指定する情報である。受信機２００Ｃは、この３Ｄ画像用のクロッピング情報を、１９２０画素×１０８０ラインの画像データの全体を切り出すための長方形領域を指定する２Ｄ画像用のクロッピング情報に変換する。
【０２０２】
そして、受信機２００Ｃは、変換後の２Ｄ画像用のクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しを行う。その後、受信機２００Ｃは、この画像データを上下に二分し、それぞれにスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼および右眼の表示用画像データを生成する。
【０２０３】
「処理（２）」
受信機２００Ｃは、３Ｄ表示が可能なテレビ受信機（３ＤＴＶ）である場合、３Ｄ画像用のクロッピング情報に基づいて画像データ切り出し処理を行って、左眼または右眼の一方、例えば左眼の表示用画像データを生成する。さらに、受信機２００Ｃは、３Ｄ画像用のクロッピング情報に基づいた画像切り出し処理後に残っている画像データに基づいて、左眼または右眼の他方、例えば右眼の表示用画像データを生成する。
【０２０４】
例えば、サイド・バイ・サイド方式の場合、３Ｄ画像用のクロッピング情報は、１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データを切り出すための長方形領域を指定する情報である。受信機２００Ｃは、この情報に基づいて、１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データの切り出しを行う。その後、受信機２００Ｃは、この左眼画像データに水平方向のスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼表示用画像データを生成する。
【０２０５】
そして、受信機２００Ｃは、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、残っている９６０画素×１０８０ラインの例えば右眼画像データの切り出しを行う。その後、この右眼画像データに水平方向のスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの右眼表示用画像データを生成する。
【０２０６】
また、例えば、トップ・アンド・ボトム方式の場合、３Ｄ画像用のクロッピング情報は、１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データを切り出すための長方形領域を指定する情報である。受信機２００Ｃは、この情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データの切り出しを行う。その後、受信機２００Ｃは、この左眼画像データに垂直方向のスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼表示用画像データを生成する。
【０２０７】
そして、受信機２００Ｃは、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、残っている１９２０画素×５４０ラインの例えば右眼画像データの切り出しを行う。その後、この右眼画像データに垂直方向のスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの右眼表示用画像データを生成する。
【０２０８】
「送信データ生成部の構成例」
図２５は、放送局１００Ｃにおいて、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０Ｃの構成例を示している。この送信データ生成部１１０Ｃは、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２Ｃと、オーディオエンコーダ１１３と、マルチプレクサ１１４Ｃを有している。この図２５において、図２と対応する部分には、同一符号を付し、適宜、その詳細説明を省略する。
【０２０９】
ビデオエンコーダ１１２Ｃでは、データ取り出し部１１１から出力される立体画像データに対して、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の符号化が施されて符号化ビデオデータが得られる。また、このビデオエンコーダ１１２Ｃでは、後段に備えるストリームフォーマッタ（図示せず）により、この符号化ビデオデータを含むビデオエレメンタリストリーム（ビデオデータストリーム）が生成される。
【０２１０】
この際、ビデオエンコーダ１１２Ｃでは、このビデオデータストリームのヘッダ部に、上述した２Ｄ画像用あるいは３Ｄ画像用のクロッピング情報が挿入される（図４参照）。また、ビデオエンコーダ１１２Ｃでは、このビデオデータストリームのヘッダ部に、クロッピング情報が２Ｄ画像用か３Ｄ画像用かを識別する識別情報が挿入される。
【０２１１】
図２６（ａ）、（ｂ）は、ビデオデータストリームにおけるアクセスユニットのデータ構造を示している。Ｈ．２６４ではピクチャをアクセスユニットという単位で定義している。図２６（ａ）は、ＧＯＰ（Group Of Pictures）の先頭のアクセスユニットの構造を示し、図２６（ｂ）は、ＧＯＰの先頭以外のアクセスユニットの構造を示している。クロッピング情報は、アクセスユニットのＳＰＳ（Sequence Parameter Set）の部分に挿入される。
【０２１２】
画像データが立体画像データである場合、アクセスユニットのＳＥＩｓ部分に、「Frame Packing Arrangement SEI message」が挿入されている。このＳＥＩに、画像データがいかなる伝送フォーマットの立体画像データであるかを示すタイプ情報が含まれている。
【０２１３】
また、この実施の形態において、アクセスユニットのＳＥＩｓの部分に、新たに、「Cropping_Rectangle_Target SEI」が定義される。そして、このＳＥＩに、クロッピング情報が２Ｄ画像用か３Ｄ画像用かを識別する識別情報が挿入される。図２７は、「Cropping_Rectangle_Target SEI」の構造例（Syntax）を示し、図２８は、その主要なデータ規定内容（semantics）を示している。
【０２１４】
「Cropping_Rectangle_Target_id」のフィールドは、Cropping_Rectangle_Target SEI」wo識別する識別子である。「temporal_repetition」の１ビットフィールドは、クロッピング情報によるクロッピング状態がいつまで続くかを示す情報である。“１”は、次の「Cropping_Rectangle_Target SEI」が現れるまでその状態を保持することを示す。“０”は、現在のピクチャ（アクセスユニット）に限定で、状態を定義することを示す。
【０２１５】
「cropping_rectangle_target」の２ビットフィールドは、クロッピング情報が２Ｄ画像用か３Ｄ画像用かを識別する識別情報である。“００”は、クロッピング情報が２Ｄ画像用であることを示す。“０１”は、クロッピング情報が３Ｄ画像用であることを示し、しかも、それで指定される長方形領域が左眼データ領域に対応していることを示す。“１０”は、クロッピング情報が３Ｄ画像用であることを示し、しかも、それで指定される長方形領域が右眼データ領域に対応していることを示す。
【０２１６】
マルチプレクサ１１４Ｃでは、ビデオエンコーダ１１２Ｃおよびオーディオエンコーダ１１３で生成された各エレメンタリストリームがパケット化して多重され、トランスポートストリーム（多重化データストリーム）ＴＳが生成される。なお、このマルチプレクサ１１４Ｃでは、図２に示す送信データ生成部１１０のマルチプレクサ１１４とは異なり、ビデオデータストリームの上位レイヤに、３Ｄ表示用のクロッピング情報がビデオデータストリームのヘッダ部に挿入されているか否かを示すフラグ情報を挿入することは、行われない。
【０２１７】
図２５に示す送信データ生成部１１０Ｃのその他は、図２に示す送信データ生成部１１０と同様に構成され、同様の動作が行われる。この図２５に示す送信データ生成部１１０Ｃにおいて、マルチプレクサ１１４Ｃでは、以下のようなトランスポートストリーム（多重化データストリーム）ＴＳが生成される。すなわち、左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に２Ｄ画像用または３Ｄ画像用のクロッピング情報と、その識別情報が挿入されているビデオデータストリームを持つトランスポートストリームＴＳが生成される。
【０２１８】
上述したように、図２５に示す送信データ生成部１１０Ｃにおいては、ビデオエンコーダ１１２Ｃで、ビデオデータストリームのヘッダ部に、クロッピング情報が２Ｄ画像用か３Ｄ画像用かを識別する識別情報が挿入されており、受信側の３ＤＴＶは、データストリームのヘッダ部に含まれているクロッピング情報が２Ｄ画像用か３Ｄ画像用かを容易に把握でき、このクロッピング情報を用いた適切な処理が可能となる。
【０２１９】
「受信機の構成例」
図２９は、受信機２００Ｃの構成例を示している。この受信機２００Ｃは、３Ｄ表示が可能なテレビ受信機（３ＤＴＶ）である。この図２９において、図１０と対応する部分には、同一符号を付し、適宜、その詳細説明は省略する。
【０２２０】
ビデオデコーダ２１４では、デマルチプレクサ２１３で抽出されたビデオエレメンタリストリーム（ビデオデータストリーム）に含まれる符号化画像データに対して復号化処理が行われて、復号化された立体画像データが得られる。この立体画像データは、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データである。この立体画像データは、ＤＯバッファ２１５に一時的に蓄積される。
【０２２１】
また、ビデオデコーダ２１４では、ビデオデータストリームのヘッダ情報が抽出され、このヘッダ情報がＣＰＵ２０１に供給される。この場合、アクセスユニットのＳＰＳの部分に２Ｄ画像用または３Ｄ画像用のクロッピング情報が含まれている。また、アクセスユニットのＳＥＩｓの部分に新たに定義された「Cropping_Rectangle_Target SEI」には、クロッピング情報が２Ｄ画像用か３Ｄ画像用かを識別する識別情報が挿入されている。  このクロッピング情報および識別情報に基づいて、後述する３Ｄ信号処理部２１６Ｃにおける画像データ切り出し処理が、制御される。
【０２２２】
クロッピング情報が２Ｄ画像用であるとき、３Ｄ信号処理部２１６Ｃでは、ＤＯバッファ２１５に蓄積されている受信立体画像データから、２Ｄ画像用のクロッピング情報に基づいて、１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、３ＤＴＶ用の左眼表示画像データＳＬおよび右眼表示画像データＳＲが生成される。
【０２２３】
すなわち、３Ｄ信号処理部２１６Ｃでは、サイド・バイ・サイド方式の場合、図１１に示すように、１９２０画素×１０８０ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。その後、３Ｄ信号処理部２１６Ｃでは、この画像データが左右に二分され、それぞれに水平方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼表示画像データＳＬおよび右眼表示画像データＳＲが生成される。
【０２２４】
また、３Ｄ信号処理部２１６Ｃでは、トップ・アンド・ボトム方式の場合、図１２に示すように、１９２０画素×１０８０ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。その後、３Ｄ信号処理部２１６では、この画像データが上下に二分され、それぞれに垂直方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ライン左眼表示画像データＳＬおよび右眼表示画像データＳＲが生成される。
【０２２５】
また、クロッピング情報が３Ｄ画像用であるとき、３Ｄ信号処理部２１６Ｃでは、例えば、以下の処理（１）、あるいは処理（２）が行われる。
【０２２６】
「処理（１）」
ＣＰＵ２０１では、３Ｄ画像用のクロッピング情報が、２Ｄ画像用のクロッピング情報に変換される。例えば、立体画像データの伝送フォーマットがサイド・バイ・サイド方式の場合、水平方向の終了位置、つまり右端位置を示す「frame_crop_right_offset」の値が２倍とされる。また、例えば、立体画像データの伝送フォーマットがトップ・アンド・ボトム方式の場合、垂直方向の終了位置、つまり下端位置を示す「frame_crop_bottom_offset」の値が２倍とされる。
【０２２７】
３Ｄ信号処理部２１６Ｃでは、ＤＯバッファ２１５に蓄積されている受信立体画像データから、変換後の２Ｄ画像用のクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、３ＤＴＶ用の左眼表示画像データＳＬおよび右眼表示画像データＳＲが生成される。
【０２２８】
すなわち、３Ｄ信号処理部２１６Ｃでは、サイド・バイ・サイド方式の場合、図１８に示すように、１９２０画素×１０８０ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。さらに、３Ｄ信号処理部２１６Ｃでは、この画像データが左右に二分され、それぞれに水平方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼表示画像データＳＬおよび右眼表示画像データＳＲが生成される。
【０２２９】
また、３Ｄ信号処理部２１６Ｃでは、トップ・アンド・ボトム方式の場合、図１９に示すように、１９２０画素×１０８０ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。その後、３Ｄ信号処理部２１６Ｃでは、この画像データが上下に二分され、それぞれに垂直方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ライン左眼表示画像データＳＬおよび右眼表示画像データＳＲが生成される。
【０２３０】
「処理（２）」
ＣＰＵ２０１では、３Ｄ画像用のクロッピング情報に基づいて、残りの画像データを切り出すための長方形領域を指定する残領域クロッピング情報が生成される。３Ｄ信号処理部２１６Ｃでは、３Ｄ画像用のクロッピング情報に基づいて画像データ切り出し処理が行われて、左眼または右眼の一方、例えば左眼の表示用画像データが生成される。さらに、３Ｄ信号処理部２１６Ｃでは、残領域クロッピング情報に基づいて画像データ切り出し処理が行われて、左眼または右眼の他方、例えば右眼の表示用画像データが生成される。
【０２３１】
例えば、サイド・バイ・サイド方式の場合、３Ｄ画像用のクロッピング情報は、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データを切り出すための長方形領域を指定する情報である。
【０２３２】
３Ｄ信号処理部２１６Ｃでは、図２２に示すように、この３Ｄ画像用のクロッピング情報情報に基づいて、１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データの切り出しが行われる。その後、３Ｄ信号処理部２１６Ｃでは、この左眼画像データに水平方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼表示用画像データが生成される。
【０２３３】
また、３Ｄ信号処理部２１６Ｃでは、図２２に示すように、残領域クロッピング情報に基づいて、１９２０画素×１０８０ラインの画像データのうち、残っている９６０画素×１０８０ラインの例えば右眼画像データの切り出しが行われる。その後、３Ｄ信号処理部２１６Ｃでは、この右眼画像データに水平方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ラインの右眼表示用画像データが生成される。
【０２３４】
また、例えば、トップ・アンド・ボトム方式の場合、３Ｄ画像用のクロッピング情報は、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データを切り出すための長方形領域を指定する情報である。
【０２３５】
３Ｄ信号処理部２１６Ｃでは、図２３に示すように、３Ｄ画像用のクロッピング情報に基づいて、１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データの切り出しが行われる。その後、３Ｄ信号処理部２１６Ｃでは、この左眼画像データに垂直方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼表示用画像データが生成される。
【０２３６】
そして、３Ｄ信号処理部２１６Ｃでは、図２３に示すように、残領域クロッピング情報に基づいて、１９２０画素×１０８０ラインの画像データのうち、残っている１９２０画素×５４０ラインの例えば右眼画像データの切り出しが行われる。その後、この右眼画像データに垂直方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ラインの右眼表示用画像データが生成される。
【０２３７】
図２９に示す受信機２００Ｃのその他は、図１０に示す受信機２００と同様に構成され、同様の動作が行われる。この図２９に示す受信機２００Ｃにおいては、ビデオデータストリームに含まれているクロッピング情報と、それが２Ｄ画像用か３Ｄ画像用かを示す識別情報に基づいて画像データの切り出しが適切に行われる。そのため、左眼および右眼の表示用画像データが正しく生成され、正しい立体表示が可能となる。
【０２３８】
なお、上述第４の実施の形態では、ビデオデータストリームのヘッダ部に挿入されるクロッピング情報が２Ｄ画像用か３Ｄ画像用かを示す識別情報を、同じく、ビデオデータストリームのヘッダ部に挿入される例を示した。つまり、この第４の実施の形態では、「Cropping_Rectangle_Target SEI」を新たに定義し、この中に識別情報が含まれるようにしている。
【０２３９】
しかし、このクロッピング情報が２Ｄ画像用か３Ｄ画像用かを示す識別情報を、ビデオデータストリームの上位レイヤに挿入することも考えられる。例えば、プログラム・マップ・テーブルの配下に挿入することが考えられる。
【０２４０】
例えば、クロッピング情報が２Ｄ画像用か３Ｄ画像用かを示す識別情報は、ビデオエレメンタリ・ループ（Video ES loop）に含まれる「AVC_video_descriptor」内に挿入される。図３０は、その場合における「AVC_video_descriptor」の構造例（Syntax）を示し、図３１は、その主要なデータ規定内容（semantics）を示している。このデスクリプタ自体は、既にＨ．２６４／ＡＶＣの規格に入っている。
【０２４１】
ここでは、このデスクリプタに、「cropping_rectangle_target」の２ビットフィールドが、新たに、定義される。なお、図３０に示す構造例は、上述の第１の実施の形態における「AVC_video_descriptor」の構造例（図７参照）に、この２ビットフィールドをさらに追加した例としている。この第４の実施の形態だけであれば、「stereo_video_cropping_SEI_Not_present_flag」の１ビットのフラグ情報は不要である。しかし、例えば、第４の実施の形態において、さらに第１の実施の形態と同様に、「Stereo_Video_Cropping SEI」のＳＥＩが新たに定義されることも想定される。その場合には、この１ビットのフラグ情報は有効となる。
【０２４２】
「cropping_rectangle_target」の２ビットフィールドは、クロッピング情報が２Ｄ画像用か３Ｄ画像用かを識別する識別情報である。“００”は、クロッピング情報が２Ｄ画像用であることを示す。“０１”は、クロッピング情報が３Ｄ画像用であることを示し、しかも、それで指定される長方形領域が左眼データ領域に対応していることを示す。“１０”は、クロッピング情報が３Ｄ画像用であることを示し、しかも、それで指定される長方形領域が右眼データ領域に対応していることを示す。
【０２４３】
また、例えば、クロッピング情報が２Ｄ画像用か３Ｄ画像用かを示す識別情報は、プログラム・マップ・テーブルのプログラム・デスクリプタとして挿入される。その場合、例えば、この識別情報を持つ、「Stereo_Video_cropping_descriptor」が新たに定義される。そして、このデスクリプタに、「cropping_rectangle_target」の２ビットフィールドが定義される。
【０２４４】
図３２は、「Stereo_Video_cropping_descriptor」の構造例（Syntax）を示している。「descriptor_tag」の８ビットフィールドは、このデスクリプタが「Stereo_Video_cropping_descriptor」である、ことを示す。「descriptor_length」の８ビットフィールドは、以降のデータバイト数を示す。
【０２４５】
なお、図３２に示す構造例は、上述の第１の実施の形態における「Stereo_Video_cropping_descriptor」の構造例（図９参照）に、「cropping_rectangle_target」の２ビットフィールドをさらに追加した例としている。この第４の実施の形態だけであれば、「stereo_video_cropping_SEI_Not_present_flag」の１ビットのフラグ情報は不要である。しかし、例えば、第４の実施の形態において、さらに第１の実施の形態と同様に、「Stereo_Video_Cropping SEI」のＳＥＩが新たに定義されることも想定される。その場合には、この１ビットのフラグ情報は有効となる。
【０２４６】
「cropping_rectangle_target」の２ビットフィールドは、クロッピング情報が２Ｄ画像用か３Ｄ画像用かを識別する識別情報である。“００”は、クロッピング情報が２Ｄ画像用であることを示す。“０１”は、クロッピング情報が３Ｄ画像用であることを示し、しかも、それで指定される長方形領域が左眼データ領域に対応していることを示す。“１０”は、クロッピング情報が３Ｄ画像用であることを示し、しかも、それで指定される長方形領域が右眼データ領域に対応していることを示す。
【０２４７】
＜５．第５の実施の形態＞
［画像送受信システム］
図３３は、第５の実施の形態としての画像送受信システム１０Ｄの構成例を示している。この画像送受信システム１０Ｄは、放送局１００Ｄおよび受信機２００Ｄにより構成されている。放送局１００Ｄは、左眼画像データおよび右眼画像データを有する立体（３次元＝３Ｄ）画像データを含むビデオデータストリームを有するトランスポートストリーム（多重化データストリームデータ）ＴＳを、放送波に載せて送信する。この立体画像データの伝送フォーマットは、サイド・バイ・サイド（Side By Side）方式（図３９（ａ）参照）、トップ・アンド・ボトム（Top& Bottom）方式（図３９（ｂ）参照）などである。
【０２４８】
この第５の実施の形態において、立体画像データのピクセルフォーマットは、１９２０×１０８０であるとする。放送局１００Ｄは、この立体画像データに対して、１６×１６のブロック毎に符号化を行う。そのため、放送局１００Ｄは、ブランクデータからなる８ラインを付加して、１９２０画素×１０８８ラインの画像データとして符号化を行う。ビデオデータストリームのヘッダ部には、立体（３Ｄ）表示用のクロッピング情報が挿入されている。また、このビデオデータストリームのヘッダ部には、、立体画像データの伝送フォーマット情報が挿入されている。
【０２４９】
受信機２００Ｄは、放送局１００Ｄから放送波に載せて送られてくるトランスポートストリームＴＳを受信する。受信機２００Ｄは、受信されたトラスポートストリームＴＳから、サイド・バイ・サイド方式（図３９（ａ）参照）、トップ・アンド・ボトム方式（図３９（ｂ）参照）などの、左眼画像データおよび右眼画像データを含む立体画像データを取得する。
【０２５０】
上述したように、放送局１００Ｄでは、１６×１６のブロック毎に符号化を行うため、ブランクデータからなる８ラインが付加されて、１９２０画素×１０８８ラインの画像データとして符号化が行われている。そのため、受信機２００Ｄは、復号化後の立体画像データとして、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データを取得する。
【０２５１】
受信機２００Ｄは、３Ｄ表示には対応していない、つまり２Ｄ表示のみが可能なテレビ受信機（２ＤＴＶ）である場合、ビデオデータストリームのヘッダ部に挿入されている３Ｄ表示用のクロッピング情報および立体画像データの伝送フォーマット情報に基づいて、画像データ切り出し処理およびスケーリング処理を行う。すなわち、受信機２００Ｄは、このクロッピング情報および伝送フォーマット情報に基づいて、立体画像データの一部、例えば左眼画像データを切り出し、この切り出された画像データに対して伝送フォーマットに応じた方向のスケーリング処理を施し、２ＤＴＶ用の表示用画像データを生成する。
【０２５２】
例えば、サイド・バイ・サイド方式の場合、受信機２００Ｄは、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データの切り出しを行う。その後、受信機２００Ｄは、この左眼画像データに水平方向のスケーリング処理を施して、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データを生成する。
【０２５３】
また、例えば、トップ・アンド・ボトム方式の場合、受信機２００Ｄは、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データの切り出しを行う。その後、受信機２００Ｄは、この左眼画像データに垂直方向のスケーリング処理を施して、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データを生成する。
【０２５４】
また、受信機２００Ｄは、３Ｄ表示が可能なテレビ受信機（３ＤＴＶ）である場合、ビデオデータストリームのヘッダ部に挿入されている３Ｄ表示用のクロッピング情報に基づいて、受信立体画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しを行って、３ＤＴＶ用の左眼および右眼の表示用画像データを生成する。
【０２５５】
例えば、サイド・バイ・サイド方式の場合、受信機２００Ｄは、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しを行う。その後、受信機２００は、この画像データを左右に二分し、それぞれにスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼および右眼の表示用画像データを生成する。
【０２５６】
また、例えば、トップ・アンド・ボトム方式の場合、受信機２００Ｄは、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しを行う。その後、受信機２００は、この画像データを上下に二分し、それぞれにスケーリング処理を施して、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼および右眼の表示用画像データを生成する。
【０２５７】
「送信データ生成部の構成例」
図３４は、放送局１００Ｄにおいて、上述したトランスポートストリームＴＳを生成する送信データ生成部１１０Ｄの構成例を示している。この送信データ生成部１１０Ｄは、データ取り出し部（アーカイブ部）１１１と、ビデオエンコーダ１１２Ｄと、オーディオエンコーダ１１３と、マルチプレクサ１１４Ｄを有している。この図３４において、図２と対応する部分には、同一符号を付し、適宜、その詳細説明を省略する。
【０２５８】
ビデオエンコーダ１１２Ｄでは、データ取り出し部１１１から出力される立体画像データに対して、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の符号化が施されて符号化ビデオデータが得られる。また、このビデオエンコーダ１１２Ｄでは、後段に備えるストリームフォーマッタ（図示せず）により、この符号化ビデオデータを含むビデオエレメンタリストリーム（ビデオデータストリーム）が生成される。
【０２５９】
この際、ビデオエンコーダ１１２Ｄでは、このビデオデータストリームのヘッダ部に、３Ｄ表示用のクロッピング情報が挿入される（図４参照）。３Ｄ表示用のクロッピング情報は、アクセスユニットのＳＰＳ（Sequence Parameter Set）の部分に挿入される（図１６参照）。なお、アクセスユニットのＳＥＩｓの部分に、「Frame Packing Arrangement SEI message」が挿入されている（図１６参照）。このＳＥＩに、立体画像データがいかなる伝送フォーマットの立体画像データであるかを示すタイプ情報（伝送フォーマット情報）が含まれている。
【０２６０】
マルチプレクサ１１４Ｄでは、ビデオエンコーダ１１２Ｄおよびオーディオエンコーダ１１３で生成された各エレメンタリストリームがパケット化されて多重され、トランスポートストリーム（多重化データストリーム）ＴＳが生成される。
【０２６１】
図３４に示す送信データ生成部１１０Ｄのその他は、図２に示す送信データ生成部１１０と同様に構成され、同様の動作が行われる。この図３４に示す送信データ生成部１１０Ｄにおいて、マルチプレクサ１１４Ａでは、以下のようなトランスポートストリーム（多重化データストリーム）ＴＳが生成される。すなわち、左眼画像データおよび右眼画像データを有する立体画像データを含み、ヘッダ部に３Ｄ表示用のクロッピング情報が挿入されているビデオデータストリームを持つトランスポートストリームＴＳが生成される。
【０２６２】
「受信機の構成例」
３Ｄ表示が可能なテレビ受信機（３ＤＴＶ）である受信機２００Ｄは、ここでは、図示しないが、図１０に示す受信機２００と同様に構成され、同様に動作する。ただし、３Ｄ信号処理部２１６では、アクセスユニットのＳＰＳ（Sequence Parameter Set）の部分に挿入されている３Ｄ表示用のクロッピング情報に基づいて、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。そして、３ＤＴＶ用の左眼表示画像データＳＬおよび右眼表示画像データＳＲが生成される。
【０２６３】
すなわち、３Ｄ信号処理部２１６Ｄでは、サイド・バイ・サイド方式の場合、図３５に示すように、１９２０画素×１０８０ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。さらに、３Ｄ信号処理部２１６Ｄでは、この画像データが左右に二分され、それぞれに水平方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ラインの左眼表示画像データＳＬおよび右眼表示画像データＳＲが生成される。
【０２６４】
また、３Ｄ信号処理部２１６Ｄでは、トップ・アンド・ボトム方式の場合、図３６に示すように、１９２０画素×１０８０ラインの画像データから、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データの切り出しが行われる。その後、３Ｄ信号処理部２１６Ｄでは、この画像データが上下に二分され、それぞれに垂直方向のスケーリング処理が施されて、３ＤＴＶ用の１９２０画素×１０８０ライン左眼表示画像データＳＬおよび右眼表示画像データＳＲが生成される。
【０２６５】
図３７は、３Ｄ表示が可能なテレビ受信機（３ＤＴＶ）である受信機２００Ｄの構成例を示している。この図３７において、図１３と対応する部分には、同一符号を付し、適宜、その詳細説明は省略する。
【０２６６】
ビデオデコーダ２１４では、デマルチプレクサ２１３で抽出されたビデオエレメンタリストリーム（ビデオデータストリーム）に含まれる符号化画像データに対して復号化処理が行われて、復号化された立体画像データが得られる。この立体画像データは、ブランクデータからなる８ラインが付加された１９２０画素×１０８８ラインの画像データである。この立体画像データは、ＤＯバッファ２１５に一時的に蓄積される。
【０２６７】
また、ビデオデコーダ２１４では、ビデオデータストリームのヘッダ情報が抽出され、このヘッダ情報がＣＰＵ２０１に供給される。この場合、アクセスユニットのＳＰＳの部分には３Ｄ表示用のクロッピング情報および立体画像データの伝送フォーマット情報が含まれている。このクロッピング情報および伝送フォーマット情報に基づいて、後述する２Ｄ信号処理部２１６Ｄにおける画像データ切り出し処理が、制御される。
【０２６８】
ＣＰＵ２０１では、３Ｄ表示用のクロッピング情報が、２Ｄ表示用のクロッピング情報に変換される。例えば、立体画像データの伝送フォーマットがサイド・バイ・サイド方式の場合、水平方向の終了位置、つまり右端位置を示す「frame_crop_right_offset」の値が１／２倍とされる。また、例えば、立体画像データの伝送フォーマットがトップ・アンド・ボトム方式の場合、垂直方向の終了位置、つまり下端位置を示す「frame_crop_bottom_offset」の値が１／２倍とされる。
【０２６９】
２Ｄ信号処理部２１６Ｄでは、ＤＯバッファ２１５に蓄積されている受信立体画像データから、変換後の２Ｄ表示用のクロッピング情報に基づいて、ＤＯバッファ２１５に蓄積されている受信立体画像データから、例えば左眼画像データの切り出しが行われ、２ＤＴＶ用の表示用画像データＳＶが生成される。
【０２７０】
例えば、サイド・バイ・サイド方式の場合、２Ｄ信号処理部２２１Ｄでは、図３５に示すように、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、９６０画素×１０８０ラインの例えば左眼画像データの切り出しが行われる。そして、２Ｄ信号処理部２２１Ｄでは、この左眼画像データにスケーリング処理が施されて、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データＳＶが生成される。
【０２７１】
また、例えば、トップ・アンド・ボトム方式の場合、２Ｄ信号処理部２２１では、図３６に示すように、実質的な画像データが含まれる１９２０画素×１０８０ラインの画像データのうち、１９２０画素×５４０ラインの例えば左眼画像データの切り出しが行われる。そして、２Ｄ信号処理部２２１Ｄでは、この左眼画像データにスケーリング処理が施され、２ＤＴＶ用の１９２０画素×１０８０ラインの表示用画像データＳＶが生成される。
【０２７２】
図３７に示す受信機２００Ｄのその他は、図１３に示す受信機２００と同様に構成され、同様の動作が行われる。この図３７に示す受信機２００Ｄにおいては、ビデオデータストリームのヘッダ部に含まれている、３Ｄ表示用のクロッピング情報および立体画像データの伝送フォーマット情報に基づいて、画像データ切り出し処理およびスケーリング処理が行われる。そのため、２次元表示用画像データが正しく生成され、正しい２次元表示が可能となる。
【産業上の利用可能性】
【０２７３】
この発明は、例えば、サイド・バイ・サイド方式、トップ・アンド・ボトム方式などの立体画像データを放送波に載せて送信する画像送受信システムに適用できる。
【符号の説明】
【０２７４】
１０，１０Ａ〜１０Ｄ・・・画像送受信システム
１００，１００Ａ〜１００Ｄ・・・放送局
１１０，１１０Ａ，１１０Ｃ，１１０Ｄ・・・送信データ生成部
１１１・・・データ取り出し部
１１１ａ・・・データ記録媒体
１１２，１１２Ａ，１１２Ｃ，１１２Ｄ・・・ビデオエンコーダ
１１３・・・オーディオエンコーダ
１１４，１１４Ａ，１１４Ｃ，１１４Ｄ・・・マルチプレクサ
２００，２００Ａ〜２００Ｃ・・・受信機
２０１・・・ＣＰＵ
２０２・・・フラッシュＲＯＭ
２０３・・・ＤＲＡＭ
２０４・・・内部バス
２０５・・・リモコン受信機
２０６・・・リモコン送信機
２１０・・・アンテナ端子
２１１・・・デジタルチューナ
２１２・・・トランスポートストリームバッファ（ＴＳバッファ）
２１３・・・デマルチプレクサ
２１４・・・ビデオデコーダ
２１５・・・ディスプレイアウトプットバッファ（ＤＯバッファ）
２１６，２１６Ａ〜２１６Ｃ・・・３Ｄ信号処理部
２１７Ｌ，２１７Ｒ・・・ビューバッファ
２１８・・・オーディオデコーダ
２１９・・・チャネル処理部
２２１，２２１Ｄ・・・２Ｄ信号処理部
２２２・・・ビューバッファ
【図１】
2012114575.tif 000003
【図２】
2012114575.tif 000004
【図３】
2012114575.tif 000005
【図４】
2012114575.tif 000006
【図５】
2012114575.tif 000007
【図６】
2012114575.tif 000008
【図７】
2012114575.tif 000009
【図８】
2012114575.tif 000010
【図９】
2012114575.tif 000011
【図１０】
2012114575.tif 000012
【図１１】
2012114575.tif 000013
【図１２】
2012114575.tif 000014
【図１３】
2012114575.tif 000015
【図１４】
2012114575.tif 000016
【図１５】
2012114575.tif 000017
【図１６】
2012114575.tif 000018
【図１７】
2012114575.tif 000019
【図１８】
2012114575.tif 000020
【図１９】
2012114575.tif 000021
【図２０】
2012114575.tif 000022
【図２１】
2012114575.tif 000023
【図２２】
2012114575.tif 000024
【図２３】
2012114575.tif 000025
【図２４】
2012114575.tif 000026
【図２５】
2012114575.tif 000027
【図２６】
2012114575.tif 000028
【図２７】
2012114575.tif 000029
【図２８】
2012114575.tif 000030
【図２９】
2012114575.tif 000031
【図３０】
2012114575.tif 000032
【図３１】
2012114575.tif 000033
【図３２】
2012114575.tif 000034
【図３３】
2012114575.tif 000035
【図３４】
2012114575.tif 000036
【図３５】
2012114575.tif 000037
【図３６】
2012114575.tif 000038
【図３７】
2012114575.tif 000039
【図３８】
2012114575.tif 000040
【図３９】
2012114575.tif 000041
【図４０】
2012114575.tif 000042
【図４１】
2012114575.tif 000043
【図４２】
2012114575.tif 000044