(57)【要約】【課題】高フレームレートの画像を、既存の低フレームレートの画像の方式と互換性を有する方式で符号化や復号することができるようにする。【解決手段】ベースエンコーダは、高フレームレートデータのうちの既存フレームレートの画像データをベースビューとして符号化する。ノンベースエンコーダは、高フレームレートデータのうちのベースビュー以外の画像データをノンベースビューとして、ベースビューを参照して符号化する。SEI生成部は、表示制御情報を生成する。アンテナは、符号化されたベースビューと、符号化されたノンベースビューと、表示制御情報とを伝送する。本技術は、例えば、TV放送を送信するTV送信機に適用することができる。【選択図】図４
2013030907.tif 000002
【特許請求の範囲】
【請求項１】
所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像をベース画像として符号化し、前記所定のフレームレートのＮ倍のフレームレートの画像のうちの前記ベース画像以外の画像をノンベース画像として、前記ベース画像を参照して符号化する符号化部と、
前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報を生成する生成部と、
前記符号化部により符号化された前記ベース画像および前記ノンベース画像と、前記生成部により生成された前記表示制御情報とを伝送する伝送部と
を備える符号化装置。
【請求項２】
前記符号化部により符号化された前記ベース画像および前記ノンベース画像と、前記生成部により生成された前記表示制御情報とから、送信データを生成する送信データ生成部
をさらに備え、
前記生成部は、前記表示制御情報と、前記送信データに前記表示制御情報が含まれているかを表す表示制御情報フラグとを生成し、
前記伝送部は、前記送信データ生成部により生成された前記送信データと、前記生成部により生成された前記表示制御情報フラグとを伝送する
請求項１に記載の符号化装置。
【請求項３】
前記表示制御情報は、前記Ｎを表す情報を含む
請求項１に記載の符号化装置。
【請求項４】
前記表示制御情報は、前記画像がプログレッシブ方式の画像であるか、または、インターレース方式の画像であるかを表す方式情報を含む
請求項１に記載の符号化装置。
【請求項５】
前記表示制御情報は、前記符号化部により符号化された前記ノンベース画像を復号するかを表す復号フラグを含む
請求項１に記載の符号化装置。
【請求項６】
前記表示制御情報は、前記ノンベース画像が前記ベース画像と同一のフレーム画像を構成する画像であるかを表すペア情報を含む
請求項１に記載の符号化装置。
【請求項７】
前記表示制御情報は、前記ベース画像を表示するかを表す表示フラグを含む
請求項１に記載の符号化装置。
【請求項８】
前記表示制御情報は、前記ベース画像がフレーム単位で符号化されているか、または、フィールド単位で符号化されているかを表す符号化単位情報を含む
請求項１に記載の符号化装置。
【請求項９】
符号化装置が、
所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像をベース画像として符号化し、前記所定のフレームレートのＮ倍のフレームレートの画像のうちの前記ベース画像以外の画像をノンベース画像として、前記ベース画像を参照して符号化する符号化ステップと、
前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報を生成する生成ステップと、
前記符号化ステップの処理により符号化された前記ベース画像および前記ノンベース画像と、前記生成ステップの処理により生成された前記表示制御情報とを伝送する伝送ステップと
を含む符号化方法。
【請求項１０】
所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像がベース画像として符号化された結果得られるベース符号化データと、前記ベース画像以外の画像がノンベース画像として前記ベース画像を参照して符号化された結果得られるノンベース符号化データと、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報とを受信する受信部と、
前記受信部により受信された前記ベース符号化データを復号し、前記受信部により受信された前記ノンベース符号化データのうちの少なくとも一部を、前記ベース符号化データの復号の結果得られる前記ベース画像を参照して復号する復号部と、
前記復号部による復号の結果得られる前記ベース画像および前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ倍のフレームレートの画像として表示させる表示制御部と
を備え、
前記受信部により受信された前記表示制御情報は、前記復号部による前記ノンベース符号化データの復号、または、前記表示制御部による表示制御の少なくとも一方に用いられる
復号装置。
【請求項１１】
前記受信部により受信された前記ベース符号化データと、前記ノンベース符号化データと、前記表示制御情報とからなる送信データから、前記ベース符号化データと、前記ノンベース符号化データと、前記表示制御情報とを抽出する抽出部
をさらに備え、
前記受信部は、前記送信データと、前記送信データに前記表示制御情報が含まれているかを表す表示制御情報フラグとを受信し、
前記抽出部は、前記受信部により受信された、前記送信データに前記表示制御情報が含まれていることを表す表示制御情報フラグに基づいて、前記受信部により受信された前記送信データから、前記ベース符号化データと、前記ノンベース符号化データと、前記表示制御情報とを抽出し、
前記復号部は、前記抽出部により抽出された前記ベース符号化データを復号し、前記ベース符号化データの復号の結果得られる前記ベース画像を参照して、前記抽出部により抽出された前記ノンベース符号化データを復号する
請求項１０に記載の復号装置。
【請求項１２】
前記表示制御情報は、前記Ｎを表す情報を含み、
前記復号部は、前記Ｎを表す情報に基づいて前記所定のフレームレートのＭ倍のフレームレートを決定し、前記Ｍ倍のフレームレートに基づいて前記ノンベース符号化データのうちの復号対象を決定し、前記復号対象を復号する
請求項１０に記載の復号装置。
【請求項１３】
前記表示制御情報は、前記画像がプログレッシブ方式の画像であるか、または、インターレース方式の画像であるかを表す方式情報を含み、
前記復号部は、前記方式情報に基づいて前記所定のフレームレートのＭ倍のフレームレートを決定し、前記Ｍ倍のフレームレートに基づいて前記ノンベース符号化データのうちの復号対象を決定し、前記復号対象を復号する
請求項１０に記載の復号装置。
【請求項１４】
前記表示制御情報は、前記ノンベース符号化データを復号するかを表す復号フラグを含み、
前記復号部は、前記ノンベース符号化データを復号することを表す復号フラグに対応するノンベース符号化データを、前記ベース画像を参照して復号する
請求項１０に記載の復号装置。
【請求項１５】
前記表示制御情報は、前記ノンベース画像が前記ベース画像と同一のフレーム画像を構成する画像であるかを表すペア情報を含み、
前記表示制御部は、前記ペア情報に基づいて、前記所定のフレームレートのＭ倍のフレームレートの画像とされる前記ベース画像と前記ノンベース画像の表示順を決定する
請求項１０に記載の復号装置。
【請求項１６】
前記表示制御情報は、前記ベース画像を表示するかを表す表示フラグを含み、
前記表示制御部は、前記ベース画像を表示することを表す前記表示フラグに対応するベース画像と前記ノンベース画像の少なくとも一部とを、前記所定のフレームレートのＭ倍のフレームレートの画像として表示させる
請求項１０に記載の復号装置。
【請求項１７】
前記表示制御情報は、前記ベース画像がフレーム単位で符号化されているか、または、フィールド単位で符号化されているかを表す符号化単位情報を含み、
前記表示制御部は、前記符号化単位情報に基づいて、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ倍のフレームレートの、前記符号化単位情報が表す単位の画像として表示させる
請求項１０に記載の復号装置。
【請求項１８】
復号装置が、
所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像がベース画像として符号化された結果得られるベース符号化データと、前記ベース画像以外の画像がノンベース画像として前記ベース画像を参照して符号化された結果得られるノンベース符号化データと、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報とを受信する受信ステップと、
前記受信ステップの処理により受信された前記ベース符号化データを復号し、前記受信ステップの処理により受信された前記ノンベース符号化データのうちの少なくとも一部を、前記ベース符号化データの復号の結果得られる前記ベース画像を参照して復号する復号ステップと、
前記復号ステップの処理による復号の結果得られる前記ベース画像および前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ倍のフレームレートの画像として表示させる表示制御ステップと
を含み、
前記受信ステップの処理により受信された前記表示制御情報は、前記復号ステップの処理による前記ノンベース符号化データの復号、または、前記表示制御ステップの処理による表示制御の少なくとも一方に用いられる
復号方法。
【請求項１９】
所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像がベース画像として符号化された結果得られるベース符号化データと、前記ベース画像以外の画像がノンベース画像として前記ベース画像を参照して符号化された結果得られるノンベース符号化データと、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報とを受信する受信部と、
前記受信部により受信された前記ベース符号化データを復号する復号部と、
前記復号部による復号の結果得られる前記ベース画像を、前記所定のフレームレートの画像として表示させる表示制御部と
を備える復号装置。
【請求項２０】
復号装置が、
所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像がベース画像として符号化された結果得られるベース符号化データと、前記ベース画像以外の画像がノンベース画像として前記ベース画像を参照して符号化された結果得られるノンベース符号化データと、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報とを受信する受信ステップと、
前記受信ステップの処理により受信された前記ベース符号化データを復号する復号ステップと、
前記復号ステップの処理による復号の結果得られる前記ベース画像を、前記所定のフレームレートの画像として表示させる表示制御ステップと
復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、符号化装置および符号化方法、並びに、復号装置および復号方法に関し、特に、高フレームレートの画像を、既存の低フレームレートの画像の方式と互換性を有する方式で符号化や復号することができるようにした符号化装置および符号化方法、並びに、復号装置および復号方法に関する。
【背景技術】
【０００２】
各国においてデジタル放送が広まってきており、デジタル放送において高フレームレート画像や３Ｄ画像などを扱う次世代技術を導入することが盛んになってきている。例えば、欧州では、通常の２倍のフレームレートである50p/60pの1920×1080画素からなる画像（以下、50p/60p画像という）の放送が早い段階で規格化されている。
【０００３】
図１は、この規格によって実現されるTV（Television）送受信システムの一例を示すブロック図である。
【０００４】
図１のTV送受信システム１０は、カメラ１１、TV送信機１２、およびTV受信機１３により構成される。
【０００５】
TV送受信システム１０のカメラ１１は、例えば、50p/60p画像を撮像し、その結果得られる50p/60p画像の画像データ（50p/60p raw data）をTV送信機１２に供給する。
【０００６】
TV送信機１２は、エンコーダ１２Ａを有する。エンコーダ１２Ａは、カメラ１１から供給される50p/60p画像の画像データを符号化する。TV送信機１２は、その結果得られる50p/60p画像の符号化データを含むビットストリーム(50p/60p stream)を、電波を用いて送信する。
【０００７】
TV受信機１３は、デコーダ１３Ａを有する。TV受信機１３は、TV送信機１２から電波を用いて送信されてくる50p/60p画像のビットストリームを受信する。デコーダ１３Ａは、50p/60p画像のビットストリームに含まれる符号化データを、AVC方式に対応する方式で復号し、50p/60p画像の画像データを得る。TV受信機１３は、その50p/60p画像の画像データに基づいて、50p/60p画像（50p/60p view）を表示する。
【０００８】
以上のようなTV送受信システム１０は、50p/60p画像を符号化し、復号するため、MPEG4(Moving Picture Experts Group phase 4)/AVC（Advanced Video Coding)方式のレベル4.2等で符号化および復号を行う。
【０００９】
しかしながら、これまでの放送規格においては、MPEG4/AVC方式のレベル4.0が符号化方式の上限として決められているため、既存のTV受信機の復号能力は、MPEG4/AVC方式のレベル4.0以下である場合が多い。従って、既存のTV受信機では、50i/60iまたは25p/30pの1920×1080画素からなる画像以上のスペックの画像を復号することは困難である。その結果、既存のTV受信機が50p/60p画像の放送を受信する場合、表示画像が乱れたり、表示すべき画像がスキップされたり、画像が表示されなかったりする。
【００１０】
そこで、以下のようにして、既存の放送と互換性を有する50p/60p画像の放送を行うことが考えられる。即ち、TV送信機が、50p/60p画像をMEPG4/AVCの拡張規格であるSVC（Scalable Video Coding）で符号化して送信し、既存のTV受信機は、50p/60p画像のうちの、50i/60iまたは25p/30pの1920×1080画素からなる画像のみを復号して表示することが考えられる。しかしながら、SVC方式の技術を導入しているTV送受信システムは少ない現状があり、50p/60p画像の放送との互換性のためだけにTV送受信システムにSVC方式の技術を導入することは、コストアップに繋がる。
【００１１】
また、1つの放送帯域で50p/60p画像の放送と、50i/60i画像または25p/30p画像の放送の両方を同時に送信するサイマル放送を行うことも考えられる。しかしながら、この場合、１つの放送帯域で２本の放送を伝送する必要があるため、各放送のビットレートを落とす必要がある。その結果、放送帯域の狭い地上波放送では、特に各放送の画質が劣化する。また、50p/60p画像の放送に対応していない既存のTV受信機であっても、サイマル放送の各放送を視聴することができるため、視聴者は、50p/60p画像の放送の破綻した画像を視聴し、混乱する可能性がある。
【００１２】
以上により、50p/60p画像の放送は実際にはまだ始められない状況である。
【００１３】
また、欧州では、サイドバイサイド方式で多重化され、MPEG4/AVC方式で符号化されたHalf-HD（High Definition）の３Ｄ画像の放送が規格化されている。このような３Ｄ画像の放送を行うシステムは、例えば、特許文献１に記載されている。なお、サイドバイサイド方式とは、画面内の左右に水平方向の解像度が半分にされた左眼用の画像と右目用の画像をそれぞれ配置する方式である。
【００１４】
さらに、近年、欧州では、Full-HDの３Ｄ画像の放送の規格化の検討が始まりつつある。
【００１５】
Full-HDの３Ｄ画像の放送を実現する方法としては、3D-BD（Blu-Ray（登録商標） Disc ）においても使用されているMVC（Multiview Video Coding）方式を符号化方式として用いる方法が考えられている。この方法が用いられた場合、Full-HDの３Ｄ画像の放送に対応するTV受信機では、MVC方式に対応する方式で復号可能なデコーダが用意される。なお、MVC方式は、MPEG4/AVC方式の拡張規格であり、MVC方式では、50p/60p画像を扱うことができる。
【００１６】
また、ビデオカメラ等においても、パーソナルコンテンツとしてMVC方式で符号化されたFull-HDの３Ｄ画像を記録することが考えられており、その３Ｄ画像をTV受信機で再生するユースケースが想定される。
【００１７】
以上により、今後、TV受信機には、MVC方式に対応する方式で復号可能なデコーダが用意される可能性が高い。
【００１８】
なお、Full-HDの３Ｄ画像の放送を実現する方法としては、左眼用の画像を奇数フィールドとし、右眼用の画像を偶数フィールドとして符号化する方法もある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２０１１−１０９３９７号公報
【特許文献２】特開平７−１２３４４７号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
上述したように、既存のTV受信機が50p/60p画像の放送を受信する場合、表示画像が乱れたり、表示すべき画像がスキップされたり、画像が表示されなかったりする。
【００２１】
従って、50p/60p画像の放送を既存の放送の方式と互換性を有する方式で符号化することにより、既存の放送と互換性を有する50p/60p画像の放送を実現することが求められている。即ち、高フレームレートの画像を、既存の低フレームレートの画像の方式と互換性を有する方式で符号化や復号することが求められている。
【００２２】
本技術は、このような状況に鑑みてなされたものであり、高フレームレートの画像を、既存の低フレームレートの画像の方式と互換性を有する方式で符号化や復号することができるようにするものである。
【課題を解決するための手段】
【００２３】
本技術の第１の側面の符号化装置は、所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像をベース画像として符号化し、前記所定のフレームレートのＮ倍のフレームレートの画像のうちの前記ベース画像以外の画像をノンベース画像として、前記ベース画像を参照して符号化する符号化部と、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報を生成する生成部と、前記符号化部により符号化された前記ベース画像および前記ノンベース画像と、前記生成部により生成された前記表示制御情報とを伝送する伝送部とを備える符号化装置である。
【００２４】
本技術の第１の側面の符号化方法は、本技術の第１の側面の符号化装置に対応する。
【００２５】
本技術の第１の側面においては、所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像がベース画像として符号化され、前記所定のフレームレートのＮ倍のフレームレートの画像のうちの前記ベース画像以外の画像がノンベース画像として、前記ベース画像を参照して符号化され、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報が生成され、符号化された前記ベース画像および前記ノンベース画像と、前記表示制御情報とが伝送される。
【００２６】
本技術の第２の側面の復号装置は、所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像がベース画像として符号化された結果得られるベース符号化データと、前記ベース画像以外の画像がノンベース画像として前記ベース画像を参照して符号化された結果得られるノンベース符号化データと、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報とを受信する受信部と、前記受信部により受信された前記ベース符号化データを復号し、前記受信部により受信された前記ノンベース符号化データのうちの少なくとも一部を、前記ベース符号化データの復号の結果得られる前記ベース画像を参照して復号する復号部と、前記復号部による復号の結果得られる前記ベース画像および前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ倍のフレームレートの画像として表示させる表示制御部とを備え、前記受信部により受信された前記表示制御情報は、前記復号部による前記ノンベース符号化データの復号、または、前記表示制御部による表示制御の少なくとも一方に用いられる復号装置である。
【００２７】
本技術の第２の側面の復号方法は、本技術の第２の側面の復号装置に対応する。
【００２８】
本技術の第２の側面においては、所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像がベース画像として符号化された結果得られるベース符号化データと、前記ベース画像以外の画像がノンベース画像として前記ベース画像を参照して符号化された結果得られるノンベース符号化データと、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報とが受信され、受信された前記ベース符号化データが復号され、受信された前記ノンベース符号化データのうちの少なくとも一部が、前記ベース符号化データの復号の結果得られる前記ベース画像を参照して復号され、復号の結果得られる前記ベース画像および前記ノンベース画像の少なくとも一部が、前記所定のフレームレートのＭ倍のフレームレートの画像として表示される。なお、受信された前記表示制御情報は、前記ノンベース符号化データの復号、または、表示制御の少なくとも一方に用いられる。
【００２９】
本技術の第３の側面の復号装置は、所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像がベース画像として符号化された結果得られるベース符号化データと、前記ベース画像以外の画像がノンベース画像として前記ベース画像を参照して符号化された結果得られるノンベース符号化データと、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報とを受信する受信部と、前記受信部により受信された前記ベース符号化データを復号する復号部と、前記復号部による復号の結果得られる前記ベース画像を、前記所定のフレームレートの画像として表示させる表示制御部とを備える復号装置である。
【００３０】
本技術の第３の側面の復号方法は、本技術の第３の側面の復号装置に対応する。
【００３１】
本技術の第３の側面においては、所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像がベース画像として符号化された結果得られるベース符号化データと、前記ベース画像以外の画像がノンベース画像として前記ベース画像を参照して符号化された結果得られるノンベース符号化データと、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報とが受信され、受信された前記ベース符号化データが復号され、復号の結果得られる前記ベース画像が、前記所定のフレームレートの画像として表示される。
【発明の効果】
【００３２】
本技術の第１の側面によれば、高フレームレートの画像を、既存の低フレームレートの画像の方式と互換性を有する方式で符号化することができる。
【００３３】
また、本技術の第２の側面によれば、既存の低フレームレートの画像の方式と互換性を有する方式で符号化された高フレームレートの画像を復号することができる。
【００３４】
さらに、本技術の第３の側面によれば、既存の低フレームレートの画像の方式と互換性を有する方式で符号化された高フレームレートの画像のうちの低フレームレートの画像を復号することができる。
【図面の簡単な説明】
【００３５】
【図１】TV送受信システムの一例を示すブロック図である。
【図２】Full-HDの３Ｄ画像の放送を送受信するTV送受信システムの例を示すブロック図である。
【図３】本技術を適用したTV送受信システムの一実施の形態の概要を説明する図である。
【図４】図３のTV送信機の詳細構成例を示す図である。
【図５】表示制御情報のSEIの記述例を示す図である。
【図６】フォーマット変換タイプの例を示す図である。
【図７】補間ＡＵフラグの例を示す図である。
【図８】ベースビュー非表示フラグの例を示す図である。
【図９】ベースビュー符号化単位フラグの例を示す図である。
【図１０】表示制御情報フラグの記述例を示す図である。
【図１１】図４のTV送信機の送信処理を説明するフローチャートである。
【図１２】図３のTV受信機の詳細構成例を示すブロック図である。
【図１３】図３のTV受信機の詳細構成例を示すブロック図である。
【図１４】TV受信機の処理を説明する図である。
【図１５】TV受信機の処理を説明する図である。
【図１６】TV受信機の処理を説明する図である。
【図１７】TV受信機の処理を説明する図である。
【図１８】TV受信機５３の受信処理を説明するフローチャートである。
【図１９】図１８の４倍処理の詳細を説明するフローチャートである。
【図２０】図１８の２倍インターレース処理の詳細を説明するフローチャートである。
【図２１】TV受信機５４の受信処理を説明するフローチャートである。
【図２２】コンピュータの一実施の形態の構成例を示す図である。
【発明を実施するための形態】
【００３６】
［本技術の前提］
図２は、Full-HDの３Ｄ画像の放送を送受信するTV送受信システムの例を示すブロック図である。
【００３７】
図２のTV送受信システム３０は、カメラ３１Ａおよび３１Ｂ、TV送信機３２、並びにTV受信機３３により構成される。
【００３８】
カメラ３１Ａは、３Ｄ画像のうちの左眼用の画像を撮像し、その結果得られる左眼用の画像データをTV送信機３２に供給する。また、カメラ３１Ｂは、３Ｄ画像のうちの右眼用の画像を撮像し、その結果得られる右眼用の画像データをTV送信機３２に供給する。
【００３９】
TV送信機３２は、ベースエンコーダ３２Ａとノンベースエンコーダ３２Ｂを有する。ベースエンコーダ３２Ａは、カメラ３１Ａから供給される左眼用の画像データをベースビューとしてAVC方式で符号化する。また、ベースエンコーダ３２Ａは、符号化されたベースビューを復号し、復号されたベースビューをノンベースエンコーダ３２Ｂに供給する。
【００４０】
ノンベースエンコーダ３２Ｂは、ベースエンコーダ３２Ａから供給される復号されたベースビュー等を参照して、カメラ３１Ｂから供給される右眼用の画像データをノンベースビューとしてMVC方式で符号化する。TV送信機３２は、ベースエンコーダ３２Ａによる符号化の結果得られる符号化データと、ノンベースエンコーダ３２Ｂによる符号化の結果得られる符号化データを含むMVCストリームを、電波を用いて送信する。
【００４１】
TV受信機３３は、ベースデコーダ３３Ａとノンベースデコーダ３３Ｂを有する。TV受信機３３は、TV送信機３２から電波を用いて送信されてくるMVCストリームを受信する。ベースデコーダ３３Ａは、MVCストリームのうちのベースビューの符号化データを、AVC方式に対応する方式で復号する。ベースデコーダ３３Ａは、復号の結果得られるベースビューである左眼用の画像データをノンベースデコーダ３３Ｂに供給する。
【００４２】
ノンベースデコーダ３３Ｂは、MVCストリームのうちのノンベースビューの符号化データを、ベースデコーダ３３Ａから供給されるベースビュー等を参照して、MVC方式に対応する方式で復号する。これにより、ノンベースデコーダ３３Ｂは、右眼用の画像データを得る。TV受信機３３は、左眼用の画像データに基づいて左眼用の画像を表示し、右眼用の画像データに基づいて右眼用の画像を表示する。視聴者は、所定の眼鏡などを用いて、左眼用の画像を左眼のみで見て、右眼用の画像を右眼のみで見ることにより、立体視を行う。
【００４３】
ここで、既存の放送に対応するが、Full-HDの３Ｄ画像の放送には対応していないTV受信機は、例えばAVC方式に対応する方式で復号するデコーダを有している。従って、このようなTV受信機では、TV送信機３２から送信されるMVCストリームのうちのベースビューのストリームを復号することができる。よって、TV送信機３２で送信されるFull-HDの３Ｄ画像の放送の符号化方式であるMVC方式は、既存の放送の符号化方式であるAVC方式と互換性を有しているといえる。
【００４４】
そこで、本技術は、MVC方式で50p/60p画像を符号化することにより、50p/60p画像の放送と既存の放送の互換性を確保する。これにより、サイマル放送が行われる場合のように画質を劣化させることなく、50p/60p画像の放送と既存の放送の互換性を確保することができる。また、既存の放送に対応するTV送受信システムにおいてもAVC方式の技術は導入されているため、TV送受信システムのコストアップを抑制しつつ、50p/60p画像の放送と既存の放送の互換性を確保することができる。さらに、Full-HDの３Ｄ画像の放送の符号化方式としてMVC方式が採用される場合、Full-HDの３Ｄ画像の放送に対応するTV送受信システムからの変更が少なくて済む。
【００４５】
［本技術を適用したTV送受信システムの一実施の形態の概要の説明］
図３は、本技術を適用したTV送受信システムの一実施の形態の概要を説明する図である。
【００４６】
図３のTV送受信システム５０は、カメラ５１、TV送信機５２、TV受信機５３、およびTV受信機５４により構成される。
【００４７】
TV送受信システム５０のカメラ５１は、既存のTV受信機で処理可能なフレームレート（以下、既存フレームレートという）のN（Nは2以上の整数）倍の高フレームレートで撮像を行い、その結果得られる画像データを高フレームレートデータとして取得する。ここでは、既存フレームレートが、50i/60iまたは25p/30pであるものとする。カメラ５１は、高フレームレートデータをTV送信機５２に供給する。
【００４８】
TV送信機５２は、符号化装置として機能し、ベースエンコーダ６１とノンベースエンコーダ６２を有する。ベースエンコーダ６１は、カメラ５１から供給される高フレームレートデータのうちの既存フレームレートの画像データをベースビューとして、AVC方式で符号化する。また、ベースエンコーダ６１は、符号化されたベースビューを復号し、復号されたベースビューをノンベースエンコーダ６２に供給する。
【００４９】
ノンベースエンコーダ６２は、高フレームレートデータのうちのベースビュー以外の画像データをノンベースビューとして、MVC方式で符号化する。このとき、ノンベースエンコーダ６２は、ベースエンコーダ６１から供給される復号されたベースビュー等を参照画像として用いる。
【００５０】
TV送信機５２は、ベースエンコーダ６１による符号化の結果得られるベース符号化データと、ノンベースエンコーダ６２による符号化の結果得られるノンベース符号化データを含むMVCストリームを、電波を用いて伝送する。
【００５１】
TV受信機５３は、50p/60p画像の放送に対応するTV受信機であり、復号装置として機能し、ベースデコーダ７１とノンベースデコーダ７２を有する。TV受信機５３は、TV送信機５２から電波を用いて伝送されてくるMVCストリームを受信する。ベースデコーダ７１は、MVCストリームに含まれるベースビュー符号化データを、AVC方式に対応する方式で復号する。ベースデコーダ７１は、復号の結果得られるベースビューをノンベースデコーダ７２に供給する。
【００５２】
ノンベースデコーダ７２は、MVCストリームに含まれるノンベースビュー符号化データのうちの少なくとも一部を、MVC方式に対応する方式で復号する。このとき、ノンベースデコーダ７２は、ベースデコーダ７１から供給されるベースビュー等を参照する。
【００５３】
TV受信機５３は、ベースデコーダ７１による符号化の結果得られるベースビューとノンベースデコーダ７２による符号化の結果得られるノンベースビューに基づいて、既存フレームレートのM（Mは2以上N以下の整数）倍のフレームレートの画像を表示する。なお、Mの最大値は、TV受信機５３の処理能力による値である。
【００５４】
TV受信機５４は、50p/60p画像の放送に対応しない既存のTV受信機であり、復号装置として機能し、デコーダ８１を有する。TV受信機５４は、TV送信機５２から電波を用いて送信されてくるMVCストリームを受信する。デコーダ８１は、ベースデコーダ７１と同様に、MVCストリームに含まれるベースビュー符号化データを、AVC方式に対応する方式で復号する。TV受信機５４は、ベースデコーダ７１による復号の結果得られるベースビューである既存フレームレートの画像データに基づいて、既存フレームレートの画像を表示する。
【００５５】
［TV送信機の構成例］
図４は、図３のTV送信機５２の詳細構成例を示す図である。
【００５６】
図４に示すように、TV送信機５２は、ベースエンコーダ６１とノンベースエンコーダ６２の他、フレームメモリ１０１、SEI（Supplemental Enhancement Information）生成部１０２、NAL(Network Abstraction Layer)生成部１０３、PES(Packetized Elementary Stream)生成部１０４、TS（Transport Stream）生成部１０５、およびアンテナ１０６を有する。
【００５７】
TV送信機５２のベースエンコーダ６１は、上述したように、カメラ５１から供給される高フレームレートデータのうちの既存フレームレートの画像データをベースビューとして、AVC方式で符号化する。このとき、ベースエンコーダ６１は、フレームメモリ１０１に保持されている、符号化され、復号されたベースビューを参照画像として用いる。また、ベースエンコーダ６１は、符号化されたベースビューを復号し、フレームメモリ１０１に供給する。
【００５８】
また、ベースエンコーダ６１は、符号化されたベースビューをベース符号化データとしてNAL生成部１０３に供給する。さらに、ベースエンコーダ６１は、現在の符号化対象のベースビューのビューＩＤと符号化単位をSEI生成部１０２に供給する。なお、ビューＩＤとは、各画像データに撮像順に付与された固有のＩＤである。
【００５９】
ノンベースエンコーダ６２は、上述したように、高フレームレートデータのうちのベースビュー以外の画像データをノンベースビューとして、MVC方式で符号化する。このとき、ノンベースエンコーダ６２は、フレームメモリ１０１に保持されている、復号されたベースビューまたはノンベースビューを参照画像として用いる。また、ノンベースエンコーダ６２は、符号化されたノンベースビューを復号し、フレームメモリ１０１に供給する。
【００６０】
また、ノンベースエンコーダ６２は、符号化されたノンベースビューをノンベース符号化データとしてNAL生成部１０３に供給する。さらに、ノンベースエンコーダ６２は、現在の符号化対象のノンベースビューのビューＩＤをSEI生成部１０２に供給する。
【００６１】
フレームメモリ１０１は、ベースエンコーダ６１から供給される復号されたベースビューを保持する。また、フレームメモリ１０１は、ノンベースエンコーダ６２から供給される復号されたノンベースビューを保持する。
【００６２】
SEI生成部１０２は、生成部として機能し、ベースエンコーダ６１から供給されるビューＩＤおよび符号化単位、並びに、ノンベースエンコーダ６２から供給されるビューＩＤ等に基づいて、表示制御情報を生成する。なお、表示制御情報とは、TV受信機５３において、ベースビューとノンベースビューの少なくとも一部に対応する画像を、既存フレームレートのM倍のフレームレートの画像として表示する際に用いる情報である。
【００６３】
SEI生成部１０２は、表示制御情報のSEI等をMVC方式用のSEIとして生成するとともに、AVC方式用のSEIを生成し、NAL生成部１０３に供給する。また、SEI生成部１０２は、MVCストリームに表示制御情報が含まれているかどうか、即ちMVC方式用のSEIが表示制御情報のSEIを含んでいるかどうかを表す表示制御情報フラグを生成し、TS生成部１０５に供給する。
【００６４】
NAL生成部１０３は、ベースエンコーダ６１から供給されるベース符号化データ、ノンベースエンコーダ６２から供給されるノンベース符号化データ、SEI生成部１０２から供給されるSEI等に、NALヘッダを付加する。これにより、NAL生成部１０３は、ベース符号化データ、ノンベース符号化データ、SEI等のNALユニットを生成する。NAL生成部１０３は、送信データ生成部として機能し、生成されたNALユニットからアクセスユニット（AU）を送信データとして生成して、PES生成部１０４に供給する。
【００６５】
PES生成部１０４は、NAL生成部１０３から供給されるAUをPESパケット化し、その結果得られるPESパケットをTS生成部１０５に供給する。
【００６６】
TS生成部１０５は、PES生成部１０４から供給されるPESパケット、SEI生成部１０２から供給される表示制御情報フラグを含むデータ等をTSパケット化し、TSパケットを生成する。そして、TS生成部１０５は、そのTSパケットを多重化し、TSを生成する。TS生成部１０５は、生成されたTSをMVCストリームとして、アンテナ１０６に供給する。
【００６７】
アンテナ１０６は、伝送部として機能し、TS生成部１０５から供給されるMVCストリームを、電波を用いてＴＶ受信機５３に送信する。
【００６８】
［表示制御情報のSEIの例］
図５は、表示制御情報のSEIの記述例を示す図である。
【００６９】
図５に示すように、表示制御情報のSEI（mvc_format_type_info）には、フォーマット変換タイプ（format_conversion_type）、補間ＡＵフラグ（interpolation_AU_flag）、ベースビュー非表示フラグ（base_view_no_output_flag）、ベースビュー符号化単位フラグ（base_view_is_field_encoded_flag）、および将来の拡張用の予約領域(reserved)が配置される。
【００７０】
フォーマット変換タイプは、対応する符号化対象の画像のタイプを表す情報であり、ユーザ入力等に基づいて生成される。補間ＡＵフラグは、対応するノンベースビューがベースビューと同一のフレームの画像データを構成するフィールドまたはフレーム単位の画像データであるかどうかを表すペア情報である。補間ＡＵフラグは、フォーマット変換タイプとベースエンコーダ６１およびノンベースエンコーダ６２からのビューＩＤに基づいて生成される。
【００７１】
また、ベースビュー非表示フラグは、100i/120i画像を表示させる場合に、対応するノンベースビューと同一のフレームの画像データを構成するベースビューを表示するかどうかを表す情報であり、フォーマット変換タイプに基づいて生成される。ベースビュー符号化単位フラグは、対応するベースビューがフレーム単位で符号化されているか、または、フィールド単位で符号化されているかを表す符号化単位情報であり、ベースエンコーダ６１からの符号化単位に基づいて生成される。
【００７２】
[フォーマット変換タイプの例]
図６は、表示制御情報のSEIに配置されるフォーマット変換タイプの例を示す図である。
【００７３】
図６の例では、フォーマット変換タイプは、0乃至3のいずれかの値である。フォーマット変換タイプ「0」は、対応する符号化対象の画像が３Ｄ画像であることを表す。フォーマット変換タイプ「1」は、対応する符号化対象の画像におけるNが2であり、符号化対象の画像がプログレッシブ方式の画像であることを表す。フォーマット変換タイプ「２」は、対応する符号化対象の画像におけるNが2であり、符号化対象の画像がインターレース方式の画像であることを表す。フォーマット変換タイプ「３」は、対応する符号化対象の画像におけるNが4であり、符号化対象の画像がプログレッシブ方式の画像であることを表す。
【００７４】
なお、フォーマット変換タイプ「５」乃至「７」は、将来の拡張用の予約領域である。
【００７５】
[補間ＡＵフラグの例]
図７は、表示制御情報のSEIに配置される補間ＡＵフラグの例を示す図である。
【００７６】
図７に示すように、補間ＡＵフラグは0または1である。補間ＡＵフラグ「０」は、対応するノンベースビューがベースビューと同一のフレームの画像データを構成するフィールドまたはフレーム単位の画像データではないことを表す。一方、補間ＡＵフラグ「１」は、対応するノンベースビューがベースビューと同一のフレームの画像データを構成するフィールドまたはフレーム単位の画像データであることを表す。
【００７７】
[ベースビュー非表示フラグの例]
図８は、表示制御情報のSEIに配置されるベースビュー非表示フラグの例を示す図である。
【００７８】
図８に示すように、ベースビュー非表示フラグは0または1である。ベースビュー非表示フラグ「０」は、100i/120i画像を表示させる場合に、対応するノンベースビューと同一のフレームの画像データを構成するベースビューを表示することを表す。一方、ベースビュー非表示フラグ「１」は、100i/120i画像を表示させる場合に、100i/120i画像を表示させる場合に、対応するノンベースビューと同一のフレームの画像データを構成するベースビューを表示しないことを表す。なお、高フレームレートデータに基づいて100i/120i画像を表示させることができない場合には、ベースビュー非表示フラグは任意の値をとることができるが、ここでは０とする。
【００７９】
[ベースビュー符号化単位フラグの例]
図９は、表示制御情報のSEIに配置されるベースビュー符号化単位フラグの例を示す図である。
【００８０】
図９に示すように、ベースビュー符号化単位フラグは0または1である。ベースビュー符号化単位フラグ「０」は、対応するベースビューがフレーム単位で符号化されていることを表し、ベースビュー符号化単位フラグ「１」は、対応するベースビューがフィールド単位で符号化されていることを表す。
【００８１】
[表示制御情報フラグの記述例]
図１０は、表示制御情報フラグの記述例を示す図である。
【００８２】
図１０に示すように、表示制御情報フラグ（mvc_format_type_info_present）は、PMT(Program Map Table)等のTSパケット内のMVC拡張ディスクリプタ（MVC_extension_descriptor）の4ビットの予約領域のうちの1ビットの領域に記述される。表示制御情報フラグは、MVCストリームに表示制御情報が含まれていることを表す場合1であり、MVCストリームに表示制御情報が含まれていないことを表す場合0である。
【００８３】
このように、表示制御情報フラグは、TSパケットに含まれるので、TV受信機５３は、復号前にMVCストリームに表示制御情報が含まれているかどうかを認識することができる。
【００８４】
[TV送信機の処理の説明]
図１１は、図４のTV送信機５２の送信処理を説明するフローチャートである。この送信処理は、例えば、カメラ５１から高フレームレートデータが供給されたとき、開始される。
【００８５】
なお、図１１のステップＳ１１乃至Ｓ１７の処理は、符号化単位で行われる。
【００８６】
ステップＳ１１において、TV送信機５２のベースエンコーダ６１は、処理対象の高フレームレートデータが既存フレームレートの画像データであるかどうかを判定する。
【００８７】
ステップＳ１１で、処理対象の高フレームレートデータが、既存フレームレートの画像データであると判定された場合、ステップＳ１２において、ベースエンコーダ６１は、処理対象の高フレームレートデータをベースビューとして、AVC方式で符号化する。このとき、ベースエンコーダ６１は、フレームメモリ１０１に保持されている、符号化され、復号されたベースビューを参照画像として用いる。また、ベースエンコーダ６１は、符号化されたベースビューを復号し、フレームメモリ１０１に供給する。また、ベースエンコーダ６１は、符号化されたベースビューをベース符号化データとしてNAL生成部１０３に供給する。
【００８８】
ステップＳ１３において、ベースエンコーダ６１は、現在の符号化対象のベースビューのビューＩＤと符号化単位をSEI生成部１０２に供給し、処理をステップＳ１７に進める。  
【００８９】
一方、ステップＳ１１で、処理対象の高フレームレートデータが、既存フレームレートの画像データではないと判定された場合、処理はステップＳ１４に進む。
【００９０】
ステップＳ１４において、ノンベースエンコーダ６２は、処理対象の高フレームレートデータをノンベースビューとして、MVC方式で符号化する。このとき、ノンベースエンコーダ６２は、フレームメモリ１０１に保持されている、符号化され、復号されたベースビューまたはノンベースビューを参照画像として用いる。また、ノンベースエンコーダ６２は、符号化されたノンベースビューを復号し、フレームメモリ１０１に供給する。さらに、ノンベースエンコーダ６２は、符号化されたノンベースビューをノンベース符号化データとしてNAL生成部１０３に供給する。
【００９１】
ステップＳ１５において、ノンベースエンコーダ６２は、現在の符号化対象のノンベースビューのビューＩＤをSEI生成部１０２に供給する。
【００９２】
ステップＳ１６において、SEI生成部１０２は、ベースエンコーダ６１から供給されるビューＩＤおよび符号化単位、並びに、ノンベースエンコーダ６２から供給されるビューＩＤ等に基づいて、表示制御情報を生成する。そして、SEI生成部１０２は、表示制御情報のSEI等をMVC方式用のSEIとして生成するとともに、AVC方式用のSEIを生成し、NAL生成部１０３に供給し、処理をステップＳ１７に進める。
【００９３】
ステップＳ１７において、SEI生成部１０２は、表示制御情報フラグを生成し、TS生成部１０５に供給する。
【００９４】
ステップＳ１８において、NAL生成部１０３は、ベースエンコーダ６１からのベース符号化データ、ノンベースエンコーダ６２からのノンベース符号化データ、SEI生成部１０２からのSEI等に、NALヘッダを付加することにより、ベース符号化データ、ノンベース符号化データ、SEI等のNALユニットを生成する。
【００９５】
ステップＳ１９において、NAL生成部１０３は、生成されたNALユニットからAUを生成し、PES生成部１０４に供給する。
【００９６】
ステップＳ２０において、PES生成部１０４は、NAL生成部１０３から供給されるAUをPESパケット化し、その結果得られるPESパケットをTS生成部１０５に供給する。
【００９７】
ステップＳ２１において、TS生成部１０５は、PES生成部１０４から供給されるPESパケット、SEI生成部１０２から供給される表示制御情報フラグを含むデータ等をTSパケット化し、TSパケットを生成する。
【００９８】
ステップＳ２２において、TS生成部１０５は、生成されたTSパケットを多重化し、多重化データとしてのTSを生成する。
【００９９】
ステップＳ２３において、TS生成部１０５は、生成されたTSをMVCストリームとして、電波を用いて、アンテナ１０６からＴＶ受信機５３に送信し、処理を終了する。
【０１００】
以上のように、TV送信機５２は、既存フレームレートのＮ倍のフレームレートの画像のうちの既存フレームレートの画像をベースビューとしてAVC方式で符号化し、ベースビュー以外の画像をノンベースビューとしてMVC方式で符号化する。これにより、既存フレームレートのＮ倍のフレームレートの画像を、既存フレームレートの画像の方式と互換性を有する方式で符号化することができる。その結果、TV送信機５２から送信されるMVCストリームのうちのベースビューは、50p/60p画像の放送に対応しない既存のTV受信機５４においても復号することができる。
【０１０１】
また、TV送信機５２は、既存フレームレートのＮ倍のフレームレートの画像の符号化データのみを送信すればよいので、既存フレームレートの画像と、既存フレームレートのＮ倍のフレームレートの画像を別々にサイマル放送として送信する場合に比べて、帯域利用効率が良い。その結果、ビットレートを低下させる必要がなく、画質の劣化を防止することができる。また、TV送信機５２は、既存フレームレートの画像と、既存フレームレートのＮ倍のフレームレートの画像の両方を生成する必要がないため、処理コストを削減することができる。
【０１０２】
さらに、既存の放送に対応するTV送受信システムにおいてもAVC方式の技術は導入されているため、TV送受信システムのコストアップを抑制することができる。さらに、Full-HDの３Ｄ画像の放送の符号化方式としてMVC方式が採用される場合、Full-HDの３Ｄ画像の放送に対応するTV送受信システムからの変更が少なくて済む。
【０１０３】
また、TV送信機５２は、表示制御情報を送信するので、TV受信機５３は、表示制御情報に基づいて、ベースビューとノンベースビューの復号や表示制御を行い、既存フレームレートのＭ倍のフレームレートの画像を表示させることができる。
【０１０４】
[TV受信機５３の詳細構成例]
図１２は、図３のTV受信機５３の詳細構成例を示すブロック図である。
【０１０５】
図１２のTV受信機５３は、ベースデコーダ７１とノンベースデコーダ７２のほか、アンテナ１２１、TS分離部１２２、PES分離部１２３、NALフィルタ１２４、フレームメモリ１２５、SEI取得部１２６、および表示制御部１２７を有する。
【０１０６】
アンテナ１２１は、受信部として機能し、TV送信機５２のアンテナ１０６（図４）から電波を用いて送信されてくるMVCストリームを受信して、TS分離部１２２に供給する。
【０１０７】
TS分離部１２２は、アンテナ１２１から供給されるMVCストリームをTSパケットに分離する。TS分離部１２２は、分離されたTSパケットに含まれる表示制御情報フラグをNALフィルタ１２４に供給する。また、TS分離部１２２は、分離されたTSパケットに含まれるPESパケットをPES分離部１２３に供給する。
【０１０８】
PES分離部１２３は、TS分離部１２２から供給されるPESパケットをNALユニットに分離する。PES分離部１２３は、分離されたNALユニットをNALフィルタ１２４に供給する。
【０１０９】
NALフィルタ１２４は、抽出部として機能し、TS分離部１２２から供給される表示制御情報フラグに基づいて、PES分離部１２３から供給されるNALユニットから、ベースビュー符号化データ、ノンベースビュー符号化データ、表示制御情報等を抽出する。
【０１１０】
具体的には、NALフィルタ１２４は、NALユニットに含まれるNALヘッダを参照して、ベースビュー符号化データ、ノンベースビュー符号化データ、SEI等のNALユニットを分離する。そして、NALフィルタ１２４は、ベースビュー符号化データのNALユニットからベースビュー符号化データを抽出し、ノンベースビュー符号化データのNALユニットからノンベースビュー符号化データを抽出する。また、NALフィルタ１２４は、表示制御情報フラグがMVCストリームに表示制御情報が含まれていることを表す場合、MVC方式用のSEIから表示制御情報を抽出する。
【０１１１】
そして、NALフィルタ１２４は、抽出されたベースビュー符号化データをベースデコーダ７１に供給し、ノンベースビュー符号化データをノンベースデコーダ７２に供給する。また、NALフィルタ１２４は、抽出された表示制御情報をSEI取得部１２６に供給する。
【０１１２】
ベースデコーダ７１は、上述したように、ベースビュー符号化データをAVC方式に対応する方式で復号する。このとき、ベースデコーダ７１は、フレームメモリ１２５に保持されている既に復号済みのベースビューを参照する。ベースデコーダ７１は、復号の結果得られるベースビューを、フレームメモリ１２５と表示制御部１２７に供給する。
【０１１３】
ノンベースデコーダ７２は、SEI取得部１２６から供給されるフォーマット変換タイプに基づいてMを決定し、そのMに基づいて復号対象とするノンベースビュー符号化データを決定する。そして、ノンベースデコーダ７２は、復号対象として決定されたノンベースビュー符号化データをMVC方式に対応する方式で復号する。このとき、ノンベースデコーダ７２は、フレームメモリ１２５に保持されている既に復号済みのベースビューまたはノンベースビューを参照する。ノンベースデコーダ７２は、復号の結果得られるノンベースビューをフレームメモリ１２５と表示制御部１２７に供給する。
【０１１４】
フレームメモリ１２５は、ベースデコーダ７１から供給されるベースビューを一時的に保持する。また、フレームメモリ１２５は、ノンベースデコーダ７２から供給されるノンベースビューを一時的に保持する。
【０１１５】
SEI取得部１２６は、NALフィルタ１２４から供給される表示制御情報のうちのフォーマット変換タイプをノンベースデコーダ７２に供給し、補間ＡＵフラグ、ベースビュー非表示フラグ、および符号化単位フラグを表示制御部１２７に供給する。
【０１１６】
表示制御部１２７は、SEI取得部１２６から供給される表示制御情報に基づいて、ベースデコーダ７１から供給されるベースビューおよびノンベースデコーダ７２から供給されるノンベースビューに対応する画像を、図示せぬ表示部に表示させる。
【０１１７】
具体的には、表示制御部１２７は、補間ＡＵフラグに基づいて表示順を決定し、ベースビュー非表示フラグに基づいて表示対象を決定する。さらに、表示制御部１２７は、ベースビュー符号化単位フラグに基づいて、ベースビューおよびノンベースビューに対応する画像を、ベースビュー符号化単位フラグが表す単位の画像とする。そして、表示制御部１２７は、決定された表示順で、表示対象とされたベースビューおよびノンベースビューに対応する既存フレームレートのM倍のフレームレートの画像を、ベースビュー符号化単位フラグが表す単位の画像として表示させる。
【０１１８】
[TV受信機５４の詳細構成例]
図１３は、図３のTV受信機５４の詳細構成例を示すブロック図である。
【０１１９】
図１３のTV受信機５４は、デコーダ８１のほか、アンテナ１４１、TS分離部１４２、PES分離部１４３、NALフィルタ１４４、フレームメモリ１４５、および表示制御部１４６を有する。
【０１２０】
アンテナ１４１は、受信部として機能し、TV送信機５２のアンテナ１０６（図４）から電波を用いて送信されてくるMVCストリームを受信して、TS分離部１４２に供給する。
【０１２１】
TS分離部１４２は、アンテナ１２１から供給されるMVCストリームをTSパケットに分離する。TS分離部１２２は、分離されたTSパケットに含まれるPESパケットをPES分離部１４３に供給する。
【０１２２】
PES分離部１４３は、TS分離部１４２から供給されるPESパケットをNALユニットに分離する。PES分離部１４３は、分離されたNALユニットをNALフィルタ１４４に供給する。
【０１２３】
NALフィルタ１４４は、PES分離部１４３から供給されるNALユニットに含まれるNALヘッダを参照して、ベースビュー符号化データのNALユニットを分離し、そのNALユニットから、ベースビュー符号化データを抽出する。NALフィルタ１４４は、抽出されたベースビュー符号化データをデコーダ８１に供給する。
【０１２４】
デコーダ８１は、上述したように、ベースビュー符号化データを、AVC方式に対応する方式で復号する。このとき、デコーダ８１は、フレームメモリ１４５に保持されている既に復号済みのベースビューを参照する。ベースデコーダ７１は、復号の結果得られるベースビューを、フレームメモリ１４５と表示制御部１４６に供給する。
【０１２５】
フレームメモリ１４５は、デコーダ８１から供給されるベースビューを一時的に保持する。
【０１２６】
表示制御部１４６は、デコーダ８１から供給されるベースビューに対応する画像を、図示せぬ表示部に表示させる。これにより、表示部には、ベースビューに対応する既存フレームレートの画像が表示される。
【０１２７】
[TV受信機５３とTV受信機５４の処理の説明]
図１４は、符号化対象の画像が50p/60p画像であり、ベースビューの符号化単位が25p/30pの1920×1080画素からなる画像（以下、25p/30p画像という）のフレーム単位であり、Mの最大値が2であり、TV受信機５３の表示方式がプログレッシブ方式である場合の、TV受信機５３とTV受信機５４の処理を説明する図である。
【０１２８】
なお、図１４において、正方形は、１フレームの画像を表し、正方形内の数字は、フレーム番号を表している。
【０１２９】
図１４Ａに示すように、符号化対象の画像が50p/60p画像であり、ベースビューの符号化単位が25p/30p画像のフレーム単位である場合、例えばフレーム番号が奇数であるフレームの画像がベースビューとして符号化される。また、フレーム番号が偶数であるフレームの画像がノンベースビューとして符号化される。
【０１３０】
また、図１４Ａに示すように、ベース符号化データのNALユニットのNALヘッダには、NALユニットの種類を表すNALユニットタイプ（nal_unit_type）として1または5が記述される。一方、ノンベース符号化データのNALユニットのNALヘッダには、NALユニットタイプとして20が記述される。
【０１３１】
TV受信機５４は、図１４Ｂに示すように、50p/60p画像のMVCストリームに含まれるNALユニットのうち、NALユニットタイプとして1または5が記述されたNALヘッダが付加されたベース符号化データのNALユニットのみを取得し、復号して表示させる。これにより、50p/60p画像のうちの、フレーム番号が奇数番号であるフレームの画像、即ち既存フレームレートの25p/30p画像が表示される。
【０１３２】
一方、TV受信機５３は、図１４Ｃに示すように、50p/60p画像のMVCストリームに含まれるNALユニットのうちの、ベース符号化データのNALユニットだけでなく、NALユニットタイプとして20が記述されたNALヘッダが付加されたノンベース符号化データのNALユニットとSEIのNALユニットを取得する。
【０１３３】
ここで、符号化対象の画像が50p/60p画像である場合、表示制御情報のSEIに配置されるフォーマット変換タイプは、Nが2であり、符号化対象の画像がプログレッシブ方式の画像であることを表す1である。また、TV受信機５３に対応するMの最大値は2であるため、TV受信機５３は、50p/60p画像を処理する能力を有している。従って、TV受信機５３は、Mを2に決定し、そのMに基づいて全てのノンベース符号化データを復号対象に決定する。そして、TV受信機５３は、ベース符号化データとノンベース符号化データを復号する。
【０１３４】
また、TV受信機５３は、表示制御情報のSEIに配置される補間ＡＵフラグ、ベースビュー非表示フラグ、および符号化単位フラグに基づいて、復号の結果得られるベースビューとノンベースビューからなる高フレームレートデータに基づいて、50p/60p画像を表示させる。
【０１３５】
具体的には、図１４Ａに示すように、全てのノンベースビューは、ベースビューと独立のフレームの画像データを構成するフレーム単位の画像データである。従って、全ての補間ＡＵフラグは、対応するノンベースビューがベースビューと同一のフレームの画像データを構成するフィールドまたはフレーム単位の画像データではないことを表す0である。よって、TV受信機５３は、ベースビューとノンベースビューの表示順を、POC（Picture Order Count）にしたがって設定する。
【０１３６】
また、符号化対象の画像が50p/60p画像である場合、100i/120i画像を表示させることはできないため、ベースビュー非表示フラグは０であり、復号された全てのベースビューとノンベースビューが表示対象とされる。
【０１３７】
さらに、ベースビューの符号化単位はフレーム単位であるので、ベースビュー符号化単位フラグは、対応するベースビューがフレーム単位で符号化されていることを表す0である。従って、TV受信機５３は、ベースビューおよびノンベースビューに対応する画像をフレーム単位の画像とする。
【０１３８】
TV受信機５３は、以上のようにして決定された表示順、表示対象の単位としてのフレーム、および表示対象に基づいて、全てのベースビューおよびノンベースビューに対応する画像をフレーム単位の画像として、表示順にしたがって表示させる。これにより、50p/60p画像が表示される。
【０１３９】
図１５は、符号化対象の画像が50p/60p画像であり、ベースビューの符号化単位が50i/60iの1920×1080画素からなる画像（以下、50i/60i画像という）のフレーム単位であり、Mの最大値が2であり、TV受信機５３の表示方式がプログレッシブ方式である場合の、TV受信機５３とTV受信機５４の処理を説明する図である。
【０１４０】
なお、図１５において、正方形は、１フレームの画像を表す。また、正方形内の数字は、フレーム番号を表し、Ｔはトップフィールドを表し、Ｂはボトムフィールドを表す。即ち、例えば、1T/2Bは、フレーム番号が1であるフレームのトップフィールドと、フレーム番号が2であるフレームのボトムフィールドからなるフレームである。
【０１４１】
図１５Ａに示すように、符号化対象の画像が50p/60p画像であり、ベースビューの符号化単位が50i/60i画像のフレーム単位である場合、例えばフレーム番号が奇数であるフレームのトップフィールドと、フレーム番号が偶数であるフレームのボトムフィールドからなるフレーム（以下、奇数フレームという）の画像データがベースビューとして符号化される。また、フレーム番号が奇数であるフレームのボトムフィールドと、フレーム番号が偶数であるフレームのトップフィールドからなるフレーム（以下、偶数フレームという）の画像データがノンベースビューとして符号化される。
【０１４２】
TV受信機５４は、図１５Ｂに示すように、50p/60p画像のMVCストリームに含まれるNALユニットのうち、NALユニットタイプとして1または5が記述されたNALヘッダが付加されたベース符号化データのNALユニットのみを取得し、復号して表示させる。これにより、50p/60p画像のうちの奇数フレームの画像、即ち既存フレームレートの50i/60i画像が表示される。
【０１４３】
一方、TV受信機５３は、図１５Ｃに示すように、50p/60p画像のMVCストリームに含まれるNALユニットのうちの、ベース符号化データのNALユニットだけでなく、NALユニットタイプとして20が記述されたNALヘッダが付加されたノンベース符号化データのNALユニットとSEIのNALユニットを取得する。
【０１４４】
ここで、上述したように、符号化対象の画像が50p/60p画像である場合、フォーマット変換タイプは1であり、TV受信機５３に対応するMの最大値は2であるため、TV受信機５３は、50p/60p画像を処理する能力を有している。従って、TV受信機５３は、Mを2に決定し、そのMに基づいて全てのノンベース符号化データを復号対象に決定する。そして、TV受信機５３は、ベース符号化データとノンベース符号化データを復号する。
【０１４５】
また、TV受信機５３は、表示制御情報のSEIに配置される補間ＡＵフラグ、ベースビュー非表示フラグ、および符号化単位フラグに基づいて、復号の結果得られるベースビューとノンベースビューからなる高フレームレートデータに基づいて、50p/60p画像を表示させる。
【０１４６】
具体的には、図１５Ａに示すように、全てのノンベースビューは、ベースビューと同一のフレームの画像データを構成するフレーム単位の画像データであるので、全ての補間ＡＵフラグは1である。従って、TV受信機５３は、ベースビューとノンベースビューの表示順を、連続するように設定する。また、上述したように、符号化対象の画像が50p/60p画像である場合、100i/120i画像を表示させることはできないので、ベースビュー非表示フラグは０であり、復号された全てのベースビューとノンベースビューが表示対象とされる。
【０１４７】
さらに、ベースビューの符号化単位はフレーム単位であるので、ベースビュー符号化単位フラグは0であり、TV受信機５３は、ベースビューおよびノンベースビューに対応する画像をフレーム単位の画像とする。
【０１４８】
TV受信機５３は、以上のようにして決定された表示順、表示対象の単位としてのフレーム、および表示対象に基づいて、全てのベースビューおよびノンベースビューに対応する画像をフレーム単位の画像として、ベースビューとノンベースビューに対応する画像が連続するように表示させる。これにより、50p/60p画像が表示される。
【０１４９】
なお、本実施の形態では、符号化単位フラグが0である場合、図１４に示したように符号化単位がプログレッシブ方式の画像のフレーム単位であるか、または、図１５に示したように符号化単位がインターレース方式の画像のフレーム単位であるものとし、図１４と図１５の場合を区別しないようにするが、区別するようにしてもよい。
【０１５０】
図１６は、符号化対象の画像が50p/60p画像であり、ベースビューの符号化単位が50i/60i画像のフィールド単位であり、Mの最大値が2であり、TV受信機５３の表示方式がプログレッシブ方式である場合の、TV受信機５３とTV受信機５４の処理を説明する図である。
【０１５１】
なお、図１６において、正方形は、１フィールドの画像を表す。また、正方形内の数字は、フレーム番号を表し、Ｔはトップフィールドを表し、Ｂはボトムフィールドを表す。即ち、例えば、1Tは、フレーム番号が1であるフレームのトップフィールドを表し、2Bは、フレーム番号が2であるフレームのボトムフィールドを表す。これらのことは、後述する図１７においても同様である。
【０１５２】
図１６Ａに示すように、符号化対象の画像が50p/60p画像であり、ベースビューの符号化単位が50i/60i画像のフィールド単位である場合、例えばフレーム番号が奇数であるフレームのトップフィールドと、フレーム番号が偶数であるフレームのボトムフィールドの画像データがベースビューとして符号化される。また、フレーム番号が奇数であるフレームのボトムフィールドと、フレーム番号が偶数であるフレームのトップフィールドの画像データがノンベースビューとして符号化される。
【０１５３】
TV受信機５４は、図１６Ｂに示すように、50p/60p画像のMVCストリームに含まれるNALユニットのうち、NALユニットタイプとして1または5が記述されたNALヘッダが付加されたベース符号化データのNALユニットのみを取得し、復号して表示させる。これにより、50p/60p画像のうちの、フレーム番号が奇数であるフレームのトップフィールドと、フレーム番号が偶数であるフレームのボトムフィールドの画像、即ち既存フレームレートの50i/60i画像が表示される。
【０１５４】
一方、TV受信機５３は、図１６Ｃに示すように、50p/60p画像のMVCストリームに含まれるNALユニットのうちの、ベース符号化データのNALユニットだけでなく、NALユニットタイプとして20が記述されたNALヘッダが付加されたノンベース符号化データのNALユニットとSEIのNALユニットを取得する。
【０１５５】
ここで、上述したように、符号化対象の画像が50p/60p画像である場合、フォーマット変換タイプは1であり、TV受信機５３に対応するMの最大値は2であるため、TV受信機５３は、50p/60p画像を処理する能力を有している。従って、TV受信機５３は、Mを2に決定し、そのMに基づいて全てのノンベース符号化データを復号対象に決定する。そして、TV受信機５３は、ベース符号化データとノンベース符号化データを復号する。
【０１５６】
また、TV受信機５３は、表示制御情報のSEIに配置される補間ＡＵフラグ、ベースビュー非表示フラグ、および符号化単位フラグに基づいて、復号の結果得られるベースビューとノンベースビューからなる高フレームレートデータに基づいて、50p/60p画像を表示させる。
【０１５７】
具体的には、図１６Ａに示すように、全てのノンベースビューは、ベースビューと同一のフレームの画像データを構成するフィールド単位の画像データであるので、全ての補間ＡＵフラグは1である。従って、TV受信機５３は、ベースビューとノンベースビューの表示順を、連続するように設定する。また、図１４や図１５と同様に、符号化対象の画像が50p/60p画像である場合、100i/120i画像を表示させることはできないので、ベースビュー非表示フラグは０であり、復号された全てのベースビューとノンベースビューが表示対象とされる。
【０１５８】
さらに、ベースビューの符号化単位はフィールド単位であるので、ベースビュー符号化単位フラグは、対応するベースビューがフィールド単位で符号化されていることを表す1である。従って、TV受信機５３は、ベースビューおよびノンベースビューに対応する画像をフィールド単位の画像とする。
【０１５９】
TV受信機５３は、以上のようにして決定された表示順、表示対象の単位としてのフィールド、および表示対象に基づいて、全てのベースビューおよびノンベースビューに対応する画像をフィールド単位の画像として、ベースビューとノンベースビューに対応する画像が連続するように表示させる。これにより、50p/60p画像が表示される。
【０１６０】
図１７は、符号化対象の画像が100p/120p画像であり、ベースビューの符号化単位が50i/60i画像のフィールド単位である場合の、TV受信機５３とTV受信機５４の処理を説明する図である。
【０１６１】
図１７Ａに示すように、符号化対象の画像が100p/120p画像であり、ベースビューの符号化単位が50i/60i画像のフィールド単位である場合、例えばフレーム番号が1つ置きの奇数であるフレームのトップフィールドと、フレーム番号が、その次の奇数であるフレームのボトムフィールドの画像データがベースビューとして符号化される。また、フレーム番号が1つ置きの奇数であるフレームのボトムフィールド、フレーム番号が、その次の奇数であるフレームのトップフィールド、並びに、フレーム番号が偶数であるフレームのボトムフィールドおよびトップフィールドの画像データがノンベースビューとして符号化される。
【０１６２】
TV受信機５４は、図１７Ｂに示すように、100p/120p画像のMVCストリームに含まれるNALユニットのうち、NALユニットタイプとして1または5が記述されたNALヘッダが付加されたベース符号化データのNALユニットのみを取得し、復号して表示させる。これにより、100p/120p画像のうちの、フレーム番号が1つ置きの奇数であるフレームのトップフィールドと、フレーム番号が、その次の奇数であるフレームのボトムフィールドの画像、即ち既存フレームレートの50i/60i画像が表示される。
【０１６３】
一方、TV受信機５３は、図１７Ｃ乃至図１７Ｅに示すように、100p/120p画像のMVCストリームに含まれるNALユニットのうちの、ベース符号化データのNALユニットだけでなく、NALユニットタイプとして20が記述されたNALヘッダが付加されたノンベース符号化データのNALユニットとSEIのNALユニットを抽出する。
【０１６４】
ここで、符号化対象の画像が100p/120p画像である場合、表示制御情報のSEIに配置されるフォーマット変換タイプは、Nが4であり、符号化対象の画像がプログレッシブ方式の画像であることを表す3である。また、TV受信機５３に対応するMの最大値が2であり、表示方式がプログレッシブ方式である場合、TV受信機５３は、50p/60p画像を処理する能力を有している。従って、TV受信機５３は、Mを2に決定し、そのMに基づいて、図１７Ｃに示すように、フレーム番号が奇数であるフレームのトップフィールドとボトムフィールドのノンベース符号化データを復号対象に決定する。そして、TV受信機５３は、ベース符号化データと、復号対象として決定されたノンベース符号化データを復号する。
【０１６５】
また、TV受信機５３は、表示制御情報のSEIに配置される補間ＡＵフラグ、ベースビュー非表示フラグ、および符号化単位フラグに基づいて、復号の結果得られるベースビューとノンベースビューに基づいて、50p/60p画像を表示させる。
【０１６６】
具体的には、図１７Ａに示すように、フレーム番号が奇数であるフレームのノンベースビューは、ベースビューと同一のフレームの画像データを構成するフィールド単位の画像データである。従って、フレーム番号が奇数であるフレームの補間ＡＵフラグは、1である。よって、TV受信機５３は、復号の結果得られるベースビューとノンベースビューの表示順を、連続するように設定する。
【０１６７】
また、符号化対象の画像が100p/120p画像である場合、100i/120i画像を表示させるためには、トップフィールドのベースビューは表示する必要があるが、ボトムフィールドのベースビューは表示する必要がない。従って、トップフィールドのベースビューと同一のフレームを構成するボトムフィールドのノンベースビューのベースビュー非表示フラグは、対応するノンベースビューと同一のフレームの画像データを構成するベースビューを表示することを表す0である。一方、ボトムフィールドのベースビューと同一のフレームを構成するトップフィールドのノンベースビューのベースビュー非表示フラグは、対応するノンベースビューと同一のフレームの画像データを構成するベースビューを表示しないことを表す1である。
【０１６８】
但し、いまの場合、TV受信機５３は、100i/120i画像を表示させないため、ベースビュー非表示フラグ「１」は無視され、復号された全てのベースビューとノンベースビューが表示対象とされる。
【０１６９】
また、ベースビューの符号化単位はフィールド単位であるので、ベースビュー符号化単位フラグは、対応するベースビューがフィールド単位で符号化されていることを表す1である。従って、TV受信機５３は、ベースビューおよびノンベースビューに対応する画像をフィールド単位の画像とする。
【０１７０】
TV受信機５３は、以上のようにして決定された表示順、表示対象の単位としてのフィールド、および表示対象に基づいて、全てのベースビューと、フレーム番号が奇数であるフレームのトップフィールドとボトムフィールドのノンベースビューとに対応する画像をフィールド単位の画像として、そのベースビューとノンベースビューに対応する画像が連続するように表示させる。これにより、50p/60p画像が表示される。
【０１７１】
一方、TV受信機５３に対応するMの最大値が2であり、表示方式がインターレース方式である場合、TV受信機５３は、100i/120i画像を処理する能力を有している。また、上述したように、フォーマット変換タイプは4である。従って、TV受信機５３は、Mを2に決定し、そのMに基づいて、図１７Ｄに示すように、フレーム番号が奇数であるフレームのトップフィールドとフレーム番号が偶数であるフレームのボトムフィールドのノンベース符号化データを復号対象に決定する。そして、TV受信機５３は、ベース符号化データと、復号対象として決定されたノンベース符号化データを復号する。
【０１７２】
また、TV受信機５３は、表示制御情報のSEIに配置される補間ＡＵフラグ、ベースビュー非表示フラグ、および符号化単位フラグに基づいて、復号の結果得られるベースビューとノンベースビューに基づいて、100i/120i画像を表示させる。
【０１７３】
具体的には、上述したように、フレーム番号が奇数であるフレームの補間ＡＵフラグは、対応するノンベースビューがベースビューと同一のフレームの画像データを構成するフィールドまたはフレーム単位の画像データであることを表す1である。一方、図１７Ａに示すように、フレーム番号が偶数であるフレームのノンベースビューは、他のノンベースビューと同一のフレームの画像データを構成するフィールド単位の画像データである。従って、フレーム番号が偶数であるフレームの補間ＡＵフラグは、対応するノンベースビューがベースビューと同一のフレームの画像データを構成するフィールドまたはフレーム単位の画像データではないことを表す0である。
【０１７４】
よって、TV受信機５３は、フレーム番号が奇数であるフレームのベースビューとノンベースビューの表示順を、連続するように設定する。また、TV受信機５３は、フレーム番号が偶数であるフレームのノンベースビューの表示順を、POCにしたがって設定する。
【０１７５】
さらに、上述したように、トップフィールドのベースビューと同一のフレームを構成するボトムフィールドのノンベースビューのベースビュー非表示フラグは0であり、ボトムフィールドのベースビューと同一のフレームを構成するトップフィールドのノンベースビューのベースビュー非表示フラグは1である。従って、TV受信機５３は、復号されたベースビューとノンベースビューのうちの、ベースビュー非表示フラグ「1」に対応するボトムフィールドのベースビュー以外を表示対象とする。
【０１７６】
また、上述したように、ベースビュー符号化単位フラグは1であるので、TV受信機５３は、ベースビューおよびノンベースビューに対応する画像をフィールド単位の画像とする。
【０１７７】
TV受信機５３は、以上のようにして決定された表示順、表示対象の単位としてのフィールド、および表示対象に基づいて、トップフィールドのベースビュー、並びに、フレーム番号が奇数であるフレームのトップフィールドおよびフレーム番号が偶数であるフレームのボトムフィールドのノンベースビューに対応する画像を、フィールド単位の画像として、表示順にしたがって表示させる。これにより、100i/120i画像が表示される。
【０１７８】
また、TV受信機５３に対応するMの最大値が4であり、表示方式がプログレッシブ方式である場合、TV受信機５３は、100p/120p画像を処理する能力を有している。また、上述したように、フォーマット変換タイプは4である。従って、TV受信機５３は、Mを4に決定し、そのMに基づいて、図１７Ｅに示すように、全てのノンベース符号化データを復号対象に決定する。そして、TV受信機５３は、ベース符号化データとノンベース符号化データを復号する。
【０１７９】
また、TV受信機５３は、表示制御情報のSEIに配置される補間ＡＵフラグ、ベースビュー非表示フラグ、および符号化単位フラグに基づいて、復号の結果得られるベースビューとノンベースビューに基づいて、100p/120p画像を表示させる。
【０１８０】
具体的には、上述したように、フレーム番号が奇数であるフレームの補間ＡＵフラグは1であり、フレーム番号が偶数であるフレームの補間ＡＵフラグは0である。従って、TV受信機５３は、上述したように、フレーム番号が奇数であるフレームのベースビューとノンベースビューの表示順を連続するように設定し、フレーム番号が偶数であるフレームのノンベースビューの表示順を、POCにしたがって設定する。
【０１８１】
また、いまの場合、TV受信機５３は、100i/120i画像を表示させないため、ベースビュー非表示フラグ「１」は無視され、復号された全てのベースビューとノンベースビューが表示対象とされる。さらに、上述したように、ベースビュー符号化単位フラグは1であるので、TV受信機５３は、ベースビューおよびノンベースビューに対応する画像をフィールド単位の画像とする。
【０１８２】
TV受信機５３は、以上のようにして決定された表示順、表示対象の単位としてのフィールド、および表示対象に基づいて、全てのベースビューとノンベースビューに対応する画像をフィールド単位の画像として、表示順にしたがって表示させる。これにより、100p/120p画像が表示される。
【０１８３】
[TV受信機５３の処理の説明]
図１８は、Mの最大値が4であり、プログレッシブ方式に対応するTV受信機５３の受信処理を説明するフローチャートである。この受信処理は、例えば、TV受信機５３にMVCストリームが送信されてきたとき、開始される。
【０１８４】
図１８のステップＳ４０において、アンテナ１２１は、TV送信機５２のアンテナ１０６から電波を用いて送信されてくるMVCストリームを受信し、TS分離部１２２に供給する。
【０１８５】
ステップＳ４１において、TS分離部１２２は、アンテナ１２１から供給されるMVCストリームをTSパケットに分離する。TS分離部１２２は、分離されたTSパケットに含まれる表示制御情報フラグをNALフィルタ１２４に供給する。また、TS分離部１２２は、分離されたTSパケットに含まれるPESパケットをPES分離部１２３に供給する。
【０１８６】
ステップＳ４２において、PES分離部１２３は、TS分離部１２２から供給されるPESパケットをNALユニットに分離する。PES分離部１２３は、分離されたNALユニットをNALフィルタ１２４に供給する。
【０１８７】
ステップＳ４３において、NALフィルタ１２４は、NALユニットに含まれるNALヘッダを参照して、ベースビュー符号化データ、ノンベースビュー符号化データ、SEI等のNALユニットを分離する。
【０１８８】
ステップＳ４４において、NALフィルタ１２４は、TS分離部１２２から供給される表示制御情報フラグに基づいて、ステップＳ４３で分離されたNALユニットからベースビュー符号化データ、ノンベースビュー符号化データ、および表示制御情報を抽出する。そして、NALフィルタ１２４は、抽出されたベースビュー符号化データをベースデコーダ７１に供給し、ノンベースビュー符号化データをノンベースデコーダ７２に供給する。また、NALフィルタ１２４は、抽出された表示制御情報をSEI取得部１２６に供給する。そして、SEI取得部１２６は、NALフィルタ１２４から供給される表示制御情報のうちのフォーマット変換タイプをノンベースデコーダ７２に供給し、補間ＡＵフラグ、ベースビュー非表示フラグ、および符号化単位フラグを表示制御部１２７に供給する。
【０１８９】
ステップＳ４５において、ベースデコーダ７１は、NALフィルタ１２４から供給されるベースビュー符号化データをAVC方式に対応する方式で復号する。このとき、ベースデコーダ７１は、フレームメモリ１２５に保持されている既に復号済みのベースビューを参照する。ベースデコーダ７１は、復号の結果得られるベースビューを、フレームメモリ１２５に供給して保持させるとともに、表示制御部１２７に供給する。
【０１９０】
ステップＳ４６において、ノンベースデコーダ７２は、フォーマット変換タイプが3であるかどうかを判定する。ステップＳ４６でフォーマット変換タイプが3である場合、即ち符号化対象の画像が100p/120p画像である場合、処理はステップＳ４７に進む。
【０１９１】
ステップＳ４７において、TV受信機５３は、表示制御情報に基づいて、ベースビューとノンベースビューからなる100p/120p画像を表示させる４倍処理を行い、処理を終了する。なお、４倍処理の詳細は、後述する図１９を参照して説明する。
【０１９２】
一方、ステップＳ４６でフォーマット変換タイプが3ではないと判定された場合、ステップＳ４８において、ノンベースデコーダ７２は、フォーマット変換タイプが2であるかどうかを判定する。
【０１９３】
ステップＳ４８でフォーマット変換タイプが2であると判定された場合、即ち、符号化対象の画像が100i/120i画像である場合、処理はステップＳ４９に進む。
【０１９４】
ステップＳ４９において、TV受信機５３は、表示制御情報に基づいて、ベースビューとノンベースビューの一部からなる100i/120i画像を表示させる２倍インターレース処理を行い、処理を終了する。なお、２倍インターレース処理の詳細は、後述する図２０を参照して説明する。
【０１９５】
また、ステップＳ４８でフォーマット変換タイプが2ではないと判定された場合、ステップＳ５０において、ノンベースデコーダ７２は、フォーマット変換タイプが1であるかどうかを判定する。
【０１９６】
ステップＳ５０でフォーマット変換タイプが1であると判定された場合、即ち、符号化対象の画像が50p/60p画像である場合、処理はステップＳ５１に進む。
【０１９７】
ステップＳ５１において、TV受信機５３は、表示制御情報に基づいて、ベースビューとノンベースビューの一部からなる50p/60p画像を表示させる２倍プログレッシブ処理を行い、処理を終了する。なお、２倍プログレッシブ処理の詳細は後述する。
【０１９８】
また、ステップＳ５０でフォーマット変換タイプが1ではないと判定された場合、即ちフォーマット変換タイプが0である場合、ステップＳ５２において、ノンベースデコーダ７２は、TV受信機５３が３D画像を処理可能であるかどうかを判定する。
【０１９９】
ステップＳ５２でTV受信機５３が３D画像を処理可能であると判定された場合、ステップＳ５３において、TV受信機５３は、ベースビューに対応する画像を左眼用の画像とし、ノンベースビューに対応する画像を右眼用の画像として表示させる３Ｄ画像処理を行う。
【０２００】
具体的には、TV受信機５３のノンベースデコーダ７２は、ノンベースビュー符号化データをMVC方式に対応する方式で復号し、表示制御部１２７に供給する。そして、表示制御部１２７は、ベースデコーダ７１からのベースビューに対応する画像を左眼用の画像として表示させ、ノンデースデコーダ７２からのノンベースビューに対応する画像を右眼用の画像として表示させることにより、３Ｄ画像を表示させる。そして、処理は終了する。
【０２０１】
一方、ステップＳ５２でTV受信機５３が３D画像を処理可能ではないと判定された場合、ステップＳ５４において、表示制御部１２７は、ベースデコーダ７１から供給されるベースビューに対応する画像を２Ｄ画像として表示させる２Ｄ画像処理を行う。そして、処理は終了する。
【０２０２】
なお、図示は省略するが、Mの最大値が2であり、インターレース方式に対応するTV受信機５３の受信処理は、ステップＳ４６およびＳ４７の処理がなく、ステップＳ４８でフォーマット変換タイプが2または3であるかどうかを判定することを除いて、図１８の受信処理と同様である。
【０２０３】
また、図示は省略するが、Mの最大値が2であり、プログレッシブ方式に対応するTV受信機５３の受信処理は、ステップＳ４６乃至Ｓ４９の処理がなく、ステップＳ５０でフォーマット変換タイプが1乃至3のいずれかであるかどうかを判定することを除いて、図１８の受信処理と同様である。
【０２０４】
さらに、図示は省略するが、３Ｄ画像を処理可能なMVC方式に対応するTV受信機の受信処理は、ステップＳ４１で表示制御フラグが無視され、ステップＳ４４で表示制御情報が抽出されず、Ｓ４５の処理後にＳ５３の処理が行われることを除いて、図１８の受信処理と同様である。
【０２０５】
図１９は、図１８のステップＳ４７の４倍処理の詳細を説明するフローチャートである。
【０２０６】
図１９のステップＳ７１において、ノンベースデコーダ７２は、Mを4に決定し、既存フレームレートの3（=M-1）倍のフレームレートのノンベースビュー符号化データ、即ち全てのノンベースビュー符号化データを復号する。このとき、ノンベースデコーダ７２は、フレームメモリ１２５に保持されている既に復号済みのベースビューまたはノンベースビューを参照する。ノンベースデコーダ７２は、復号の結果得られるノンベースビューをフレームメモリ１２５に供給して保持させるとともに、表示制御部１２７に供給し、処理をステップＳ７２に進める。なお、以降のステップＳ７２乃至Ｓ７７の処理は、復号されたノンベースビュー単位で行われる。
【０２０７】
ステップＳ７２において、表示制御部１２７は、補間ＡＵフラグが1であるかどうかを判定する。ステップＳ７２で補間ＡＵフラグが1であると判定された場合、ステップＳ７３において、表示制御部１２７は、処理対象のノンベースビューと、そのノンベースビューに対応するベースビューの表示順を、連続するように設定する。そして、処理はステップＳ７５に進む。
【０２０８】
一方、ステップＳ７２で補間ＡＵフラグが1ではないと判定された場合、即ち補間ＡＵフラグが0である場合、ステップＳ７４において、表示制御部１２７は、処理対象のノンベースビューと、そのノンベースビューに対応するベースビューの表示順を、POCにしたがって設定する。そして、処理はステップＳ７５に進む。
【０２０９】
ステップＳ７５において、表示制御部１２７は、符号化単位フラグが1であるかどうかを判定する。ステップＳ７５で符号化単位フラグが1であると判定された場合、ステップＳ７６において、表示制御部１２７は、ベースビューおよびノンベースビューに対応する画像をフィールド単位の画像とし、処理をステップＳ７８に進める。
【０２１０】
一方、ステップＳ７５で符号化単位フラグが1ではないと判定された場合、即ち符号化単位フラグが0である場合、処理はステップＳ７７に進む。ステップＳ７７において、表示制御部１２７は、ベースビューおよびノンベースビューに対応する画像をフレーム単位の画像とし、処理をステップＳ７８に進める。
【０２１１】
ステップＳ７８において、表示制御部１２７は、復号されたベースビューとノンベースビューに対応する画像を、符号化単位フラグが表す単位の画像として、表示順にしたがって表示させる。そして、処理は終了する。
【０２１２】
なお、図１８のステップＳ５１の２倍プログレッシブ処理は、図１９のステップＳ７１において、ノンベースデコーダ７２が、Mを2に決定し、既存フレームレートの1（=M-1）倍のフレームレートのノンベースビュー符号化データを復号することを除いて、図１９の４倍処理と同様であるので、説明は省略する。
【０２１３】
図２０は、図１８のステップＳ４９の２倍インターレース処理の詳細を説明するフローチャートである。
【０２１４】
図２０のステップＳ９１において、ノンベースデコーダ７２は、Mを2に決定し、既存フレームレートの1(=M-1)倍のフレームレートのノンベースビュー符号化データを復号する。このとき、ノンベースデコーダ７２は、フレームメモリ１２５に保持されている既に復号済みのベースビューまたはノンベースビューを参照する。ノンベースデコーダ７２は、復号の結果得られるノンベースビューをフレームメモリ１２５に供給して保持させるとともに、表示制御部１２７に供給し、処理をステップＳ９２に進める。なお、以降のステップＳ９２乃至Ｓ９９の処理は、復号されたノンベースビュー単位で行われる。
【０２１５】
ステップＳ９２において、表示制御部１２７は、ベースビュー非表示フラグが0であるかどうかを判定する。ステップＳ９２でベースビュー非表示フラグが0であると判定された場合、ステップＳ９３において、表示制御部１２７は、処理対象のノンベースビューに対応するベースビューを表示対象とし、処理をステップＳ９４に進める。
【０２１６】
一方、ステップＳ９２でベースビュー非表示フラグが0ではないと判定された場合、即ちベースビュー非表示フラグが1である場合、表示制御部１２７は、処理対象のノンベースビューに対応するベースビューを表示対象とせず、処理をステップＳ９４に進める。
【０２１７】
ステップＳ９４乃至Ｓ９９の処理は、図１９のステップＳ７２乃至Ｓ７７の処理と同様であるので、説明は省略する。
【０２１８】
ステップＳ９９の処理後、ステップＳ１００において、表示制御部１２７は、ステップＳ９３で表示対象とされたベースビューとノンベースビューに対応する画像を、符号化単位フラグが表す単位の画像として、表示順にしたがって表示させる。そして、処理は終了する。
【０２１９】
以上のように、TV受信機５３は、TV送信機５２により伝送されてくるMVCストリームに含まれるベース符号化データをAVC方式に対応する方式で復号し、ノンベース符号化データをMVC方式に対応する方式で復号する。従って、TV受信機５３は、TV送信機５２により既存フレームレートの画像の方式と互換性を有する方式で符号化された高フレームレートデータを復号することができる。
【０２２０】
また、TV受信機５３は、表示制御情報に基づいて、ベースビューとノンベースビューの復号や表示制御を行うので、既存フレームレートのＭ倍のフレームレートの画像を表示させることができる。
【０２２１】
さらに、表示制御情報はMVC方式用のSEIに配置されるので、TV受信機５３は、MVC方式に対応するTV受信機からの大幅なシステムの変更、特にハードウェアの変更なしに表示制御情報を取得することができる。
【０２２２】
[TV受信機５４の処理の説明]
図２１は、TV受信機５４の受信処理を説明するフローチャートである。この受信処理は、例えば、TV受信機５４にMVCストリームが送信されてきたとき、開始される。
【０２２３】
図２１のステップＳ１２０において、アンテナ１４１は、TV送信機５２のアンテナ１０６から電波を用いて送信されてくるMVCストリームを受信して、TS分離部１４２に供給する。
【０２２４】
ステップＳ１２１において、TS分離部１４２は、アンテナ１２１から供給されるMVCストリームをTSパケットに分離する。TS分離部１２２は、分離されたTSパケットに含まれるPESパケットをPES分離部１４３に供給する。
【０２２５】
ステップＳ１２２において、PES分離部１４３は、TS分離部１４２から供給されるPESパケットをNALユニットに分離する。PES分離部１４３は、分離されたNALユニットをNALフィルタ１４４に供給する。
【０２２６】
ステップＳ１２３において、NALフィルタ１４４は、PES分離部１４３から供給されるNALユニットに含まれるNALヘッダを参照して、ベースビュー符号化データのNALユニットを分離し、そのNALユニットから、ベースビュー符号化データを抽出する。NALフィルタ１４４は、抽出されたベースビュー符号化データをデコーダ８１に供給する。
【０２２７】
ステップＳ１２４において、デコーダ８１は、ベースビュー符号化データをAVC方式に対応する方式で復号する。このとき、デコーダ８１は、フレームメモリ１４５に保持されている既に復号済みのベースビューを参照する。ベースデコーダ７１は、復号の結果得られるベースビューを、フレームメモリ１４５に供給して保持させるとともに、表示制御部１４６に供給する。
【０２２８】
ステップＳ１２５において、表示制御部１４６は、デコーダ８１から供給されるベースビューに対応する画像を、図示せぬ表示部に表示させる。これにより、表示部には、ベースビューに対応する既存フレームレートの画像が表示される。
【０２２９】
以上のように、TV受信機５４は、TV送信機５２により伝送されてくるMVCストリームに含まれるベース符号化データをAVC方式に対応する方式で復号する。従って、TV受信機５３は、TV送信機５２により既存フレームレートの画像の方式と互換性を有する方式で符号化された高フレームレートデータのうちの既存フレームレートの画像データを復号することができる。
【０２３０】
なお、本実施の形態では、既存フレームレートの画像をAVC方式で符号化し、高フレームレートの画像をMVC方式で符号化するようにしたが、高フレームレートの画像の符号化方式が、既存フレームレートの画像の符号化方式と互換性を有していれば、符号化方式はこれらに限定されない。
【０２３１】
また、表示制御情報には、フォーマット変換タイプ、補間ＡＵフラグ、ベースビュー非表示フラグ、およびベースビュー符号化単位フラグの一部のみが含まれるようにしてもよい。さらに、表示制御情報には、対応するノンベースビューを復号するかどうかを表す非デコードフラグ（force_no_decorded_flag）が含まれるようにしてもよい。
【０２３２】
例えば、符号化対象が100p/120p画像であり、Mの最大値が2であり、プログレッシブ方式に対応するTV受信機５３が想定されている場合、その100p/120p画像のうちの50p/60p画像を表示する場合に表示する必要がないノンベースビュー（図１７の例では２Ｔ，２Ｂ，４Ｔ，４Ｂ，６Ｔ，６Ｂ）の非デコードフラグは、対応するノンベースビューを復号しないことを表す1である。一方、50p/60p画像を表示する場合に表示する必要があるノンベースビュー（図１７の例では１Ｂ，３Ｔ，５Ｂ，７Ｔ）の非デコードフラグは、対応するノンベースビューを復号することを表す0である。表示制御情報に非デコードフラグが含まれる場合、ノンベースデコーダ７２は、非デコードフラグに基づいて、非デコードフラグ「0」に対応するノンベース符号化データを復号対象として決定する。なお、非デコードフラグは、想定するTV受信機５３の能力ごとに生成されるようにしてもよい。
【０２３３】
さらに、上述した説明では、ベースビュー非表示フラグは、100i/120i画像を表示させる場合の情報であるものとしたが、100i/120i画像以外の画像を表示させる場合の情報であってもよい。
【０２３４】
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２３５】
そこで、図２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２３６】
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部２０８やROM（Read Only Memory）２０２に予め記録しておくことができる。
【０２３７】
あるいはまた、プログラムは、リムーバブルメディア２１１に格納（記録）しておくことができる。このようなリムーバブルメディア２１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア２１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０２３８】
なお、プログラムは、上述したようなリムーバブルメディア２１１からドライブ２１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部２０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０２３９】
コンピュータは、CPU(Central Processing Unit)２０１を内蔵しており、CPU２０１には、バス２０４を介して、入出力インタフェース２０５が接続されている。
【０２４０】
CPU２０１は、入出力インタフェース２０５を介して、ユーザによって、入力部２０６が操作等されることにより指令が入力されると、それに従って、ROM２０２に格納されているプログラムを実行する。あるいは、CPU２０１は、記憶部２０８に格納されたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。
【０２４１】
これにより、CPU２０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース２０５を介して、出力部２０７から出力、あるいは、通信部２０９から送信、さらには、記憶部２０８に記録等させる。
【０２４２】
なお、入力部２０６は、キーボードや、マウス、マイク等で構成される。また、出力部２０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０２４３】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０２４４】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２４５】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２４６】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２４７】
さらに、本技術は、以下のような構成もとることができる。
【０２４８】
（１）
所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像をベース画像として符号化し、前記所定のフレームレートのＮ倍のフレームレートの画像のうちの前記ベース画像以外の画像をノンベース画像として、前記ベース画像を参照して符号化する符号化部と、
前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報を生成する生成部と、
前記符号化部により符号化された前記ベース画像および前記ノンベース画像と、前記生成部により生成された前記表示制御情報とを伝送する伝送部と
を備える符号化装置。
（２）
前記符号化部により符号化された前記ベース画像および前記ノンベース画像と、前記生成部により生成された前記表示制御情報とから、送信データを生成する送信データ生成部
をさらに備え、
前記生成部は、前記表示制御情報と、前記送信データに前記表示制御情報が含まれているかを表す表示制御情報フラグとを生成し、
前記伝送部は、前記送信データ生成部により生成された前記送信データと、前記生成部により生成された前記表示制御情報フラグとを伝送する
前記（１）に記載の符号化装置。
（３）
前記表示制御情報は、前記Ｎを表す情報を含む
前記（１）または（２）に記載の符号化装置。
（４）
前記表示制御情報は、前記画像がプログレッシブ方式の画像であるか、または、インターレース方式の画像であるかを表す方式情報を含む
前記（１）乃至（３）のいずれかに記載の符号化装置。
（５）
前記表示制御情報は、前記符号化部により符号化された前記ノンベース画像を復号するかを表す復号フラグを含む
前記（１）乃至（４）のいずれかに記載の符号化装置。
（６）
前記表示制御情報は、前記ノンベース画像が前記ベース画像と同一のフレーム画像を構成する画像であるかを表すペア情報を含む
前記（１）乃至（５）のいずれかに記載の符号化装置。
（７）
前記表示制御情報は、前記ベース画像を表示するかを表す表示フラグを含む
前記（１）乃至（６）のいずれかに記載の符号化装置。
（８）
前記表示制御情報は、前記ベース画像がフレーム単位で符号化されているか、または、フィールド単位で符号化されているかを表す符号化単位情報を含む
前記（１）乃至（７）のいずれかに記載の符号化装置。
（９）
符号化装置が、
所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像をベース画像として符号化し、前記所定のフレームレートのＮ倍のフレームレートの画像のうちの前記ベース画像以外の画像をノンベース画像として、前記ベース画像を参照して符号化する符号化ステップと、
前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報を生成する生成ステップと、
前記符号化ステップの処理により符号化された前記ベース画像および前記ノンベース画像と、前記生成ステップの処理により生成された前記表示制御情報とを伝送する伝送ステップと
を含む符号化方法。
（１０）
所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像がベース画像として符号化された結果得られるベース符号化データと、前記ベース画像以外の画像がノンベース画像として前記ベース画像を参照して符号化された結果得られるノンベース符号化データと、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報とを受信する受信部と、
前記受信部により受信された前記ベース符号化データを復号し、前記受信部により受信された前記ノンベース符号化データのうちの少なくとも一部を、前記ベース符号化データの復号の結果得られる前記ベース画像を参照して復号する復号部と、
前記復号部による復号の結果得られる前記ベース画像および前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ倍のフレームレートの画像として表示させる表示制御部と
を備え、
前記受信部により受信された前記表示制御情報は、前記復号部による前記ノンベース符号化データの復号、または、前記表示制御部による表示制御の少なくとも一方に用いられる
復号装置。
（１１）
前記受信部により受信された前記ベース符号化データと、前記ノンベース符号化データと、前記表示制御情報とからなる送信データから、前記ベース符号化データと、前記ノンベース符号化データと、前記表示制御情報とを抽出する抽出部
をさらに備え、
前記受信部は、前記送信データと、前記送信データに前記表示制御情報が含まれているかを表す表示制御情報フラグとを受信し、
前記抽出部は、前記受信部により受信された、前記送信データに前記表示制御情報が含まれていることを表す表示制御情報フラグに基づいて、前記受信部により受信された前記送信データから、前記ベース符号化データと、前記ノンベース符号化データと、前記表示制御情報とを抽出し、
前記復号部は、前記抽出部により抽出された前記ベース符号化データを復号し、前記ベース符号化データの復号の結果得られる前記ベース画像を参照して、前記抽出部により抽出された前記ノンベース符号化データを復号する
前記（１０）に記載の復号装置。
（１２）
前記表示制御情報は、前記Ｎを表す情報を含み、
前記復号部は、前記Ｎを表す情報に基づいて前記所定のフレームレートのＭ倍のフレームレートを決定し、前記Ｍ倍のフレームレートに基づいて前記ノンベース符号化データのうちの復号対象を決定し、前記復号対象を復号する
前記（１０）または（１１）に記載の復号装置。
（１３）
前記表示制御情報は、前記画像がプログレッシブ方式の画像であるか、または、インターレース方式の画像であるかを表す方式情報を含み、
前記復号部は、前記方式情報に基づいて前記所定のフレームレートのＭ倍のフレームレートを決定し、前記Ｍ倍のフレームレートに基づいて前記ノンベース符号化データのうちの復号対象を決定し、前記復号対象を復号する
前記（１０）乃至（１２）のいずれかに記載の復号装置。
（１４）
前記表示制御情報は、前記ノンベース符号化データを復号するかを表す復号フラグを含み、
前記復号部は、前記ノンベース符号化データを復号することを表す復号フラグに対応するノンベース符号化データを、前記ベース画像を参照して復号する
前記（１０）または（１１）に記載の復号装置。
（１５）
前記表示制御情報は、前記ノンベース画像が前記ベース画像と同一のフレーム画像を構成する画像であるかを表すペア情報を含み、
前記表示制御部は、前記ペア情報に基づいて、前記所定のフレームレートのＭ倍のフレームレートの画像とされる前記ベース画像と前記ノンベース画像の表示順を決定する
前記（１０）乃至（１４）のいずれかに記載の復号装置。
（１６）
前記表示制御情報は、前記ベース画像を表示するかを表す表示フラグを含み、
前記表示制御部は、前記ベース画像を表示することを表す前記表示フラグに対応するベース画像と前記ノンベース画像の少なくとも一部とを、前記所定のフレームレートのＭ倍のフレームレートの画像として表示させる
前記（１０）乃至（１５）のいずれかに記載の復号装置。
（１７）
前記表示制御情報は、前記ベース画像がフレーム単位で符号化されているか、または、フィールド単位で符号化されているかを表す符号化単位情報を含み、
前記表示制御部は、前記符号化単位情報に基づいて、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ倍のフレームレートの、前記符号化単位情報が表す単位の画像として表示させる
前記（１０）乃至（１６）のいずれかに記載の復号装置。
（１８）
復号装置が、
所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像がベース画像として符号化された結果得られるベース符号化データと、前記ベース画像以外の画像がノンベース画像として前記ベース画像を参照して符号化された結果得られるノンベース符号化データと、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報とを受信する受信ステップと、
前記受信ステップの処理により受信された前記ベース符号化データを復号し、前記受信ステップの処理により受信された前記ノンベース符号化データのうちの少なくとも一部を、前記ベース符号化データの復号の結果得られる前記ベース画像を参照して復号する復号ステップと、
前記復号ステップの処理による復号の結果得られる前記ベース画像および前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ倍のフレームレートの画像として表示させる表示制御ステップと
を含み、
前記受信ステップの処理により受信された前記表示制御情報は、前記復号ステップの処理による前記ノンベース符号化データの復号、または、前記表示制御ステップの処理による表示制御の少なくとも一方に用いられる
復号方法。
（１９）
所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像がベース画像として符号化された結果得られるベース符号化データと、前記ベース画像以外の画像がノンベース画像として前記ベース画像を参照して符号化された結果得られるノンベース符号化データと、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報とを受信する受信部と、
前記受信部により受信された前記ベース符号化データを復号する復号部と、
前記復号部による復号の結果得られる前記ベース画像を、前記所定のフレームレートの画像として表示させる表示制御部と
を備える復号装置。
（２０）
復号装置が、
所定のフレームレートのＮ（Ｎは２以上の整数）倍のフレームレートの画像のうちの、前記所定のフレームレートの画像がベース画像として符号化された結果得られるベース符号化データと、前記ベース画像以外の画像がノンベース画像として前記ベース画像を参照して符号化された結果得られるノンベース符号化データと、前記ベース画像と前記ノンベース画像の少なくとも一部を、前記所定のフレームレートのＭ（Ｍは２以上Ｎ以下の整数）倍のフレームレートの画像として表示する際に用いる表示制御情報とを受信する受信ステップと、
前記受信ステップの処理により受信された前記ベース符号化データを復号する復号ステップと、
前記復号ステップの処理による復号の結果得られる前記ベース画像を、前記所定のフレームレートの画像として表示させる表示制御ステップと
復号方法。
【符号の説明】
【０２４９】
５２  TV送信機，  ５３，５４  TV受信機，  ６１  ベースエンコーダ，  ６２  ノンベースエンコーダ，  ７１  ベースデコーダ，  ７２  ノンベースデコーダ，  ８１  デコーダ，  １０２  SEI生成部，  １０３  NAL生成部，  １０６  アンテナ，  １２１  アンテナ，  １２４  NALフィルタ，  １２７  表示制御部，  １４１  アンテナ，  １４６  表示制御部
【図１】
2013030907.tif 000003
【図２】
2013030907.tif 000004
【図３】
2013030907.tif 000005
【図４】
2013030907.tif 000006
【図５】
2013030907.tif 000007
【図６】
2013030907.tif 000008
【図７】
2013030907.tif 000009
【図８】
2013030907.tif 000010
【図９】
2013030907.tif 000011
【図１０】
2013030907.tif 000012
【図１１】
2013030907.tif 000013
【図１２】
2013030907.tif 000014
【図１３】
2013030907.tif 000015
【図１４】
2013030907.tif 000016
【図１５】
2013030907.tif 000017
【図１６】
2013030907.tif 000018
【図１７】
2013030907.tif 000019
【図１８】
2013030907.tif 000020
【図１９】
2013030907.tif 000021
【図２０】
2013030907.tif 000022
【図２１】
2013030907.tif 000023
【図２２】
2013030907.tif 000024