(57)【要約】【課題】既存の映像サービスで広く普及している技術を活用して、スケーラブル伝送を可能とする。【解決手段】スケーラブル送受信システムＡＡは、スケーラブル伝送装置１およびスケーラブル受信装置２を備える。スケーラブル伝送装置１は、シングルストリーム符号化方式を用いて、入力映像ＳＩＧ１から上位レイヤ多重化信号ＳＩＧ２および下位レイヤ多重化信号ＳＩＧ３を生成して出力する。スケーラブル受信装置２は、シングルストリーム復号方式を用いて、上位レイヤ多重化信号ＳＩＧ２および下位レイヤ多重化信号ＳＩＧ３から、上位レイヤ出力映像ＳＩＧ４および下位レイヤ出力映像ＳＩＧ５を生成して出力する。【選択図】図１
2015142268.tif 000002
【特許請求の範囲】
【請求項１】
スケーラビリティを有する映像をシングルストリーム符号化方式を用いて伝送するスケーラブル伝送装置であって、
スケーラビリティにしたがって、シングルストリーム符号化方式で符号化できるスケーラブル映像を入力映像から生成するスケーラブル映像生成手段と、
前記スケーラブル映像生成手段により生成されたスケーラブル映像をレイヤごとにシングルストリーム符号化して、符号化ストリームを生成するレイヤ別符号化手段と、
前記レイヤ別符号化手段により生成された符号化ストリームのうち、最も低品質なレイヤである下位レイヤの符号化ストリームについて、多重化するとともに、前記下位レイヤの符号化ストリームにおける同期情報を求める下位レイヤストリーム送出手段と、
前記レイヤ別符号化手段により生成された符号化ストリームのうち前記下位レイヤの符号化ストリームを除くもののそれぞれについて、前記同期情報を基準として多重化する上位レイヤストリーム送出手段と、を備えることを特徴とするスケーラブル伝送装置。
【請求項２】
前記スケーラブル映像生成手段は、前記スケーラブル映像として、解像度スケーラビリティを有するスケーラブル映像と、時間スケーラビリティを有するスケーラブル映像と、画質スケーラビリティを有するスケーラブル映像と、のうち少なくともいずれかを生成することを特徴とする請求項１に記載のスケーラブル伝送装置。
【請求項３】
前記入力映像のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、
前記スケーラブル映像生成手段は、
前記入力映像に対してサブサンプル処理を施して、前記入力映像よりも解像度の低い映像を下位レイヤ映像として生成し、
前記下位レイヤ映像をアップサンプルした映像と、前記入力映像と、の差分値を算出して差分信号を生成し、
前記差分信号に対して（２＾ｎ）−１を加算し、
前記加算した結果を２で除算した結果を上位レイヤ映像とすることを特徴とする請求項１に記載のスケーラブル伝送装置。
【請求項４】
前記入力映像のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、
前記スケーラブル映像生成手段は、
前記入力映像に対してサブサンプル処理を施して、前記入力映像よりも解像度の低い映像を下位レイヤ映像として生成し、
前記下位レイヤ映像をアップサンプルした映像と、前記入力映像と、の差分値を算出して差分信号を生成し、
前記差分信号に対して（２＾ｎ）−１を加算し、
前記加算した結果をｎ＋１以上のビット深度を有する上位レイヤ映像とすることを特徴とする請求項１に記載のスケーラブル伝送装置。
【請求項５】
前記スケーラブル映像生成手段は、
前記入力映像に対してサブサンプル処理を施して、前記入力映像よりもフレームレートの低い映像を下位レイヤ映像として生成し、
前記入力映像から前記下位レイヤ映像を除外した映像を上位レイヤ映像として生成することを特徴とする請求項１に記載のスケーラブル伝送装置。
【請求項６】
前記入力映像のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、
前記スケーラブル映像生成手段は、
前記入力映像に対してフィルタ処理を施して、前記入力映像よりも画質の低い映像を下位レイヤ映像として生成し、
前記下位レイヤ映像をアップサンプルした映像と、前記入力映像と、の差分値を算出して差分信号を生成し、
前記差分信号に対して（２＾ｎ）−１を加算し、
前記加算した結果を２で除算した結果を上位レイヤ映像とすることを特徴とする請求項１に記載のスケーラブル伝送装置。
【請求項７】
前記入力映像のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、
前記スケーラブル映像生成手段は、
前記入力映像に対してフィルタ処理を施して、前記入力映像よりも画質の低い映像を下位レイヤ映像として生成し、
前記下位レイヤ映像をアップサンプルした映像と、前記入力映像と、の差分値を算出して差分信号を生成し、
前記差分信号に対して（２＾ｎ）−１を加算し、
前記加算した結果をｎ＋１以上のビット深度を有する上位レイヤ映像とすることを特徴とする請求項１に記載のスケーラブル伝送装置。
【請求項８】
前記下位レイヤストリーム送出手段は、前記同期情報として、トランスポートストリームに用いられる表示タイムスタンプ情報、復号タイムスタンプ情報、またはリファレンスクロック情報を用いることを特徴とする請求項１から７のいずれかに記載のスケーラブル伝送装置。
【請求項９】
シングルストリーム符号化方式を用いて伝送されたスケーラビリティを有する映像を受信するスケーラブル受信装置であって、
多重化された符号化ストリームをレイヤごとに多重分離して符号化ストリームを得るとともに、各レイヤの符号化ストリームにおける同期情報を求めるレイヤ別受信手段と、
前記レイヤ別受信手段により求められた各レイヤの符号化ストリームをシングルストリーム復号方式により復号して復号映像を生成するレイヤ別復号手段と、
前記レイヤ別復号手段により生成されたレイヤごとの復号映像を、前記レイヤ別受信手段により求められた同期情報に基づいて映像合成してスケーラブル映像を生成するスケーラブル映像合成手段と、を備えることを特徴とするスケーラブル受信装置。
【請求項１０】
前記レイヤ別復号手段により復号映像が生成された各レイヤのうち、最も解像度の低いレイヤを下位レイヤとし、前記下位レイヤより解像度の１つ高いレイヤを上位レイヤとし、前記スケーラビリティを有する映像を生成するために用いられた入力映像のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、
前記スケーラブル映像合成手段は、
前記レイヤ別復号手段により生成された前記上位レイヤの復号映像に２を乗算し、
前記乗算した結果から（２＾ｎ）−１を減算して差分信号を生成し、
前記レイヤ別受信手段により求められた同期情報に基づいて、同じ時刻のフレームごとに、前記差分信号と、前記レイヤ別復号手段により生成された前記下位レイヤの復号映像をアップサンプルした映像と、を加算して、前記上位レイヤの映像とすることを特徴とする請求項９に記載のスケーラブル受信装置。
【請求項１１】
前記レイヤ別復号手段により復号映像が生成された各レイヤのうち、最も解像度の低いレイヤを下位レイヤとし、前記下位レイヤより解像度の１つ高いレイヤを上位レイヤとし、前記スケーラビリティを有する映像を生成するために用いられた入力映像のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、
前記スケーラブル映像合成手段は、
前記レイヤ別復号手段により生成された前記上位レイヤの復号映像を、ｎ＋１のビット深度を有する信号にスケーリングし、
前記スケーリングした結果から（２＾ｎ）−１を減算して差分信号を生成し、
前記レイヤ別受信手段により求められた同期情報に基づいて、同じ時刻のフレームごとに、前記差分信号と、前記レイヤ別復号手段により生成された前記下位レイヤの復号映像をアップサンプルした映像と、を加算して、前記上位レイヤの映像とすることを特徴とする請求項９に記載のスケーラブル受信装置。
【請求項１２】
前記レイヤ別復号手段により復号映像が生成された各レイヤのうち、最もフレームレートの低いレイヤを下位レイヤとし、前記下位レイヤよりフレームレートの１つ高いレイヤを上位レイヤとすると、
前記スケーラブル映像合成手段は、
前記レイヤ別受信手段により求められた同期情報に基づいて、前記レイヤ別復号手段により生成された前記上位レイヤの復号映像と、前記レイヤ別復号手段により生成された前記下位レイヤの復号映像と、を時刻の早いものから順番に並べて、前記上位レイヤの映像とすることを特徴とする請求項９に記載のスケーラブル受信装置。
【請求項１３】
前記レイヤ別復号手段により復号映像が生成された各レイヤのうち、最も画質の低いレイヤを下位レイヤとし、前記下位レイヤより画質の１つ高いレイヤを上位レイヤとし、前記スケーラビリティを有する映像を生成するために用いられた入力映像のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、
前記スケーラブル映像合成手段は、
前記レイヤ別復号手段により生成された前記上位レイヤの復号映像に２を乗算し、
前記乗算した結果から（２＾ｎ）−１を減算して差分信号を生成し、
前記レイヤ別受信手段により求められた同期情報に基づいて、同じ時刻のフレームごとに、前記差分信号と、前記レイヤ別復号手段により生成された前記下位レイヤの復号映像と、を加算して、前記上位レイヤの映像とすることを特徴とする請求項９に記載のスケーラブル受信装置。
【請求項１４】
前記レイヤ別復号手段により復号映像が生成された各レイヤのうち、最も画質の低いレイヤを下位レイヤとし、前記下位レイヤより画質の１つ高いレイヤを上位レイヤとし、前記スケーラビリティを有する映像を生成するために用いられた入力映像のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、
前記スケーラブル映像合成手段は、
前記レイヤ別復号手段により生成された前記上位レイヤの復号映像を、ｎ＋１のビット深度を有する信号にスケーリングし、
前記スケーリングした結果から（２＾ｎ）−１を減算して差分信号を生成し、
前記レイヤ別受信手段により求められた同期情報に基づいて、同じ時刻のフレームごとに、前記差分信号と、前記レイヤ別復号手段により生成された前記下位レイヤの復号映像と、を加算して、前記上位レイヤの映像とすることを特徴とする請求項９に記載のスケーラブル受信装置。
【請求項１５】
前記レイヤ別受信手段は、前記同期情報として、トランスポートストリームに用いられる表示タイムスタンプ情報、復号タイムスタンプ情報、またはリファレンスクロック情報を用いることを特徴とする請求項９から１４のいずれかに記載のスケーラブル受信装置。
【請求項１６】
スケーラブル伝送装置からスケーラブル受信装置にスケーラビリティを有する映像をシングルストリーム符号化方式を用いて伝送するスケーラブル送受信システムであって、
前記スケーラブル伝送装置は、
スケーラビリティにしたがって、シングルストリーム符号化方式で符号化できるスケーラブル映像を入力映像から生成するスケーラブル映像生成手段と、
前記スケーラブル映像生成手段により生成されたスケーラブル映像をレイヤごとにシングルストリーム符号化して、符号化ストリームを生成するレイヤ別符号化手段と、
前記レイヤ別符号化手段により生成された符号化ストリームのうち、最も低品質なレイヤである下位レイヤの符号化ストリームについて、多重化するとともに、前記下位レイヤの符号化ストリームにおける同期情報を求める下位レイヤストリーム送出手段と、
前記レイヤ別符号化手段により生成された符号化ストリームのうち前記下位レイヤの符号化ストリームを除くもののそれぞれについて、前記同期情報を基準として多重化する上位レイヤストリーム送出手段と、を備え、
前記スケーラブル受信装置は、
多重化された符号化ストリームをレイヤごとに多重分離して符号化ストリームを得るとともに、各レイヤの符号化ストリームにおける同期情報を求めるレイヤ別受信手段と、
前記レイヤ別受信手段により求められた各レイヤの符号化ストリームをシングルストリーム復号方式により復号して復号映像を生成するレイヤ別復号手段と、
前記レイヤ別復号手段により生成されたレイヤごとの復号映像を、前記レイヤ別受信手段により求められた同期情報に基づいて映像合成してスケーラブル映像を生成するスケーラブル映像合成手段と、を備えることを特徴とするスケーラブル送受信システム。
【請求項１７】
スケーラブル映像生成手段、レイヤ別符号化手段、下位レイヤストリーム送出手段、および上位レイヤストリーム送出手段を備え、スケーラビリティを有する映像をシングルストリーム符号化方式を用いて伝送するスケーラブル伝送装置におけるスケーラブル伝送方法であって、
前記スケーラブル映像生成手段が、スケーラビリティにしたがって、シングルストリーム符号化方式で符号化できるスケーラブル映像を入力映像から生成する第１のステップと、
前記レイヤ別符号化手段が、前記第１のステップにより生成されたスケーラブル映像をレイヤごとにシングルストリーム符号化して、符号化ストリームを生成する第２のステップと、
前記下位レイヤストリーム送出手段が、前記第２のステップにより生成された符号化ストリームのうち、最も低品質なレイヤである下位レイヤの符号化ストリームについて、多重化するとともに、前記下位レイヤの符号化ストリームにおける同期情報を求める第３のステップと、
前記上位レイヤストリーム送出手段が、前記第２のステップにより生成された符号化ストリームのうち前記下位レイヤの符号化ストリームを除くもののそれぞれについて、前記同期情報を基準として多重化する第４のステップと、を備えることを特徴とするスケーラブル伝送方法。
【請求項１８】
レイヤ別受信手段、レイヤ別復号手段、およびスケーラブル映像合成手段を備え、シングルストリーム符号化方式を用いて伝送されたスケーラビリティを有する映像を受信するスケーラブル受信装置におけるスケーラブル受信方法であって、
前記レイヤ別受信手段が、多重化された符号化ストリームをレイヤごとに多重分離して符号化ストリームを得るとともに、各レイヤの符号化ストリームにおける同期情報を求める第１のステップと、
前記レイヤ別復号手段が、前記第１のステップにより求められた各レイヤの符号化ストリームをシングルストリーム復号方式により復号して復号映像を生成する第２のステップと、
前記スケーラブル映像合成手段が、前記第２のステップにより生成されたレイヤごとの復号映像を、前記第１のステップにより求められた同期情報に基づいて映像合成してスケーラブル映像を生成する第３のステップと、を備えることを特徴とするスケーラブル受信方法。
【請求項１９】
スケーラブル映像生成手段、レイヤ別符号化手段、下位レイヤストリーム送出手段、および上位レイヤストリーム送出手段を備え、スケーラビリティを有する映像をシングルストリーム符号化方式を用いて伝送するスケーラブル伝送装置におけるスケーラブル伝送方法を、コンピュータに実行させるためのプログラムであって、
前記スケーラブル映像生成手段が、スケーラビリティにしたがって、シングルストリーム符号化方式で符号化できるスケーラブル映像を入力映像から生成する第１のステップと、
前記レイヤ別符号化手段が、前記第１のステップにより生成されたスケーラブル映像をレイヤごとにシングルストリーム符号化して、符号化ストリームを生成する第２のステップと、
前記下位レイヤストリーム送出手段が、前記第２のステップにより生成された符号化ストリームのうち、最も低品質なレイヤである下位レイヤの符号化ストリームについて、多重化するとともに、前記下位レイヤの符号化ストリームにおける同期情報を求める第３のステップと、
前記上位レイヤストリーム送出手段が、前記第２のステップにより生成された符号化ストリームのうち前記下位レイヤの符号化ストリームを除くもののそれぞれについて、前記同期情報を基準として多重化する第４のステップと、をコンピュータに実行させるためのプログラム。
【請求項２０】
レイヤ別受信手段、レイヤ別復号手段、およびスケーラブル映像合成手段を備え、シングルストリーム符号化方式を用いて伝送されたスケーラビリティを有する映像を受信するスケーラブル受信装置におけるスケーラブル受信方法を、コンピュータに実行させるためのプログラムであって、
前記レイヤ別受信手段が、多重化された符号化ストリームをレイヤごとに多重分離して符号化ストリームを得るとともに、各レイヤの符号化ストリームにおける同期情報を求める第１のステップと、
前記レイヤ別復号手段が、前記第１のステップにより求められた各レイヤの符号化ストリームをシングルストリーム復号方式により復号して復号映像を生成する第２のステップと、
前記スケーラブル映像合成手段が、前記第２のステップにより生成されたレイヤごとの復号映像を、前記第１のステップにより求められた同期情報に基づいて映像合成してスケーラブル映像を生成する第３のステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラブル伝送装置、スケーラブル受信装置、スケーラブル送受信システム、スケーラブル伝送方法、スケーラブル受信方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、映像サービスにおけるコンテンツの高解像度化が進んでおり、近い将来には４Ｋ解像度の映像サービスの提供が期待されている。４Ｋ映像サービスの普及期においては、新しい４Ｋ解像度映像と、従来のＨＤ解像度映像と、が混在して映像サービスが提供されることが予想される。
【０００３】
そこで、例えばケーブルテレビ網では、４Ｋ解像度映像とＨＤ解像度映像とを混在させた映像サービスを円滑に提供する技術として、スケーラブル符号化（Scalable  Video  Coding：ＳＶＣ）方式を用いたハイブリッド伝送技術が提案されている（例えば、非特許文献１参照）。このスケーラブル符号化方式を用いたハイブリッド伝送技術では、ＨＤ解像度映像を、従来のＲＦ方式で伝送するとともに、４Ｋ解像度映像とＨＤ解像度映像との差分データを、ＩＰ方式で伝送する。なお、ＳＶＣ方式としては、例えば、一般的な映像サービスで用いられているＨ．２６４  ＡＶＣを拡張した規格である、Ｈ．２６４  ＳＶＣ（例えば、非特許文献２参照）がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】“Draft  new  Recommendation  J.svc,”  ITU-T  SG9/Q1,  TD149,  Jan  2013.
【非特許文献２】Joint  Video  Team(JVT)  of  ISO/IEC  MPEG  and  ITU-T  VCEG,  "Text  of  ISO/IEC  14496-10  Advanced  Video  Coding,"
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、スケーラブル符号化規格は、コンテンツ提供側である制作現場も含めて、一般には普及していない。このため、４Ｋ解像度映像とＨＤ解像度映像とを混在させた映像サービスを、従来のスケーラブル符号化技術を用いて提供しようとした場合、現在普及している伝送装置や受信装置を用いることができず、コストや普及の観点で大きな課題となる。したがって、非特許文献１に示されているスケーラブル符号化方式を用いたハイブリッド伝送技術による映像サービスの提供を行うために、Ｈ．２６４  ＡＶＣといった既存の映像サービスで広く普及している技術を活用することで、スケーラブル伝送を可能とする技術が求められていた。
【０００６】
そこで、本発明は、上述の課題に鑑みてなされたものであり、既存の映像サービスで広く普及している技術を活用して、スケーラブル伝送を可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）  本発明は、スケーラビリティを有する映像をシングルストリーム符号化方式を用いて伝送するスケーラブル伝送装置（例えば、図２のスケーラブル伝送装置１に相当）であって、スケーラビリティにしたがって、シングルストリーム符号化方式で符号化できるスケーラブル映像（例えば、図２の上位レイヤ映像ＳＩＧ６や、図２の下位レイヤ映像ＳＩＧ７に相当）を入力映像（例えば、図２の入力映像ＳＩＧ１に相当）から生成するスケーラブル映像生成手段（例えば、図２のスケーラブル映像生成部１１に相当）と、前記スケーラブル映像生成手段により生成されたスケーラブル映像をレイヤごとにシングルストリーム符号化して、符号化ストリーム（例えば、図２の上位レイヤ符号化ストリームＳＩＧ８や、図２の下位レイヤ符号化ストリームＳＩＧ９に相当）を生成するレイヤ別符号化手段（例えば、図２の上位レイヤ符号化部１２や、図２の下位レイヤ符号化部１３に相当）と、前記レイヤ別符号化手段により生成された符号化ストリームのうち、最も低品質なレイヤである下位レイヤの符号化ストリーム（例えば、図２の下位レイヤ符号化ストリームＳＩＧ９に相当）について、多重化するとともに、前記下位レイヤの符号化ストリームにおける同期情報（例えば、図２の同期情報ＳＩＧ１０に相当）を求める下位レイヤストリーム送出手段（例えば、図２の下位レイヤストリーム送出部１５に相当）と、前記レイヤ別符号化手段により生成された符号化ストリームのうち前記下位レイヤの符号化ストリームを除くもの（例えば、図２の上位レイヤ符号化ストリームＳＩＧ８に相当）のそれぞれについて、前記同期情報を基準として多重化する上位レイヤストリーム送出手段（例えば、図２の上位レイヤストリーム送出部１４に相当）と、を備えることを特徴とするスケーラブル伝送装置を提案している。
【０００８】
この発明によれば、スケーラビリティにしたがってスケーラブル映像を入力映像から生成し、生成したスケーラブル映像をレイヤごとに独立してシングルストリーム符号化することとした。このため、Ｈ．２６４  ＡＶＣやＭＰＥＧ−２  ｖｉｄｅｏといった、既存の映像サービスで普及しているシングルストリーム符号化方式を用いて、映像をスケーラブル伝送することができる。
【０００９】
（２）  本発明は、（１）のスケーラブル伝送装置について、前記スケーラブル映像生成手段は、前記スケーラブル映像として、解像度スケーラビリティを有するスケーラブル映像と、時間スケーラビリティを有するスケーラブル映像と、画質スケーラビリティを有するスケーラブル映像と、のうち少なくともいずれかを生成することを特徴とするスケーラブル伝送装置を提案している。
【００１０】
この発明によれば、（１）のスケーラブル伝送装置において、解像度スケーラビリティを有するスケーラブル映像と、時間スケーラビリティを有するスケーラブル映像と、画質スケーラビリティを有するスケーラブル映像と、をシングルストリーム符号化方式を用いて伝送することができる。
【００１１】
（３）  本発明は、（１）のスケーラブル伝送装置について、前記入力映像のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、前記スケーラブル映像生成手段（例えば、図３のスケーラブル映像生成部１１に相当）は、前記入力映像に対してサブサンプル処理を施して、前記入力映像よりも解像度の低い映像を下位レイヤ映像（例えば、図３の下位レイヤ映像ＳＩＧ７に相当）として生成し、前記下位レイヤ映像をアップサンプルした映像と、前記入力映像と、の差分値を算出して差分信号を生成し、前記差分信号に対して（２＾ｎ）−１を加算し、前記加算した結果を２で除算した結果を上位レイヤ映像（例えば、図３の上位レイヤ映像ＳＩＧ６に相当）とすることを特徴とするスケーラブル伝送装置を提案している。
【００１２】
この発明によれば、（１）のスケーラブル伝送装置において、解像度スケーラビリティを有するスケーラブル映像を、シングルストリーム符号化方式を用いて伝送することができる。
【００１３】
（４）  本発明は、（１）のスケーラブル伝送装置について、前記入力映像のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、前記スケーラブル映像生成手段（例えば、図３のスケーラブル映像生成部１１に相当）は、前記入力映像に対してサブサンプル処理を施して、前記入力映像よりも解像度の低い映像を下位レイヤ映像（例えば、図３の下位レイヤ映像ＳＩＧ７に相当）として生成し、前記下位レイヤ映像をアップサンプルした映像と、前記入力映像と、の差分値を算出して差分信号を生成し、前記差分信号に対して（２＾ｎ）−１を加算し、前記加算した結果をｎ＋１以上のビット深度を有する上位レイヤ映像（例えば、図３の上位レイヤ映像ＳＩＧ６に相当）とすることを特徴とするスケーラブル伝送装置を提案している。
【００１４】
この発明によれば、（１）のスケーラブル伝送装置において、解像度スケーラビリティを有するスケーラブル映像を、シングルストリーム符号化方式を用いて伝送することができる。
【００１５】
（５）  本発明は、（１）のスケーラブル伝送装置について、前記スケーラブル映像生成手段（例えば、図７のスケーラブル映像生成部１１Ａに相当）は、前記入力映像に対してサブサンプル処理を施して、前記入力映像よりもフレームレートの低い映像を下位レイヤ映像（例えば、図７の下位レイヤ映像ＳＩＧ７に相当）として生成し、前記入力映像から前記下位レイヤ映像を除外した映像を上位レイヤ映像（例えば、図７の上位レイヤ映像ＳＩＧ６に相当）として生成することを特徴とするスケーラブル伝送装置を提案している。
【００１６】
この発明によれば、（１）のスケーラブル伝送装置において、時間スケーラビリティを有するスケーラブル映像を、シングルストリーム符号化方式を用いて伝送することができる。
【００１７】
（６）  本発明は、（１）のスケーラブル伝送装置について、前記入力映像のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、前記スケーラブル映像生成手段（例えば、図１１のスケーラブル映像生成部１１Ｂに相当）は、前記入力映像に対してフィルタ処理を施して、前記入力映像よりも画質の低い映像を下位レイヤ映像（例えば、図１１の下位レイヤ映像ＳＩＧ７に相当）として生成し、前記下位レイヤ映像をアップサンプルした映像と、前記入力映像と、の差分値を算出して差分信号を生成し、前記差分信号に対して（２＾ｎ）−１を加算し、前記加算した結果を２で除算した結果を上位レイヤ映像（例えば、図１１の上位レイヤ映像ＳＩＧ６に相当）とすることを特徴とするスケーラブル伝送装置を提案している。
【００１８】
この発明によれば、（１）のスケーラブル伝送装置において、画質スケーラビリティを有するスケーラブル映像を、シングルストリーム符号化方式を用いて伝送することができる。
【００１９】
（７）  本発明は、（１）のスケーラブル伝送装置について、前記入力映像のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、前記スケーラブル映像生成手段（例えば、図１１のスケーラブル映像生成部１１Ｂに相当）は、前記入力映像に対してフィルタ処理を施して、前記入力映像よりも画質の低い映像を下位レイヤ映像（例えば、図１１の下位レイヤ映像ＳＩＧ７に相当）として生成し、前記下位レイヤ映像をアップサンプルした映像と、前記入力映像と、の差分値を算出して差分信号を生成し、前記差分信号に対して（２＾ｎ）−１を加算し、前記加算した結果をｎ＋１以上のビット深度を有する上位レイヤ映像（例えば、図１１の上位レイヤ映像ＳＩＧ６に相当）とすることを特徴とするスケーラブル伝送装置を提案している。
【００２０】
この発明によれば、（１）のスケーラブル伝送装置において、画質スケーラビリティを有するスケーラブル映像を、シングルストリーム符号化方式を用いて伝送することができる。
【００２１】
（８）  本発明は、（１）から（７）のいずれかのスケーラブル伝送装置について、前記下位レイヤストリーム送出手段は、前記同期情報として、トランスポートストリームに用いられる表示タイムスタンプ情報（例えば、後述のＰＴＳに相当）、復号タイムスタンプ情報（例えば、後述のＤＴＳに相当）、またはリファレンスクロック情報（例えば、後述のＰＣＲに相当）を用いることを特徴とするスケーラブル伝送装置を提案している。
【００２２】
この発明によれば、（１）から（７）のいずれかのスケーラブル伝送装置において、同期情報として、既存の情報を用いることができる。
【００２３】
（９）  本発明は、シングルストリーム符号化方式を用いて伝送されたスケーラビリティを有する映像を受信するスケーラブル受信装置（例えば、図４のスケーラブル受信装置２に相当）であって、多重化された符号化ストリーム（例えば、図４の上位レイヤ多重化信号ＳＩＧ２や、図４の下位レイヤ多重化信号ＳＩＧ３に相当）をレイヤごとに多重分離して符号化ストリーム（例えば、図４の上位レイヤ符号化ストリームＳＩＧ１１や、図４の下位レイヤ符号化ストリームＳＩＧ１３に相当）を得るとともに、各レイヤの符号化ストリームにおける同期情報（例えば、図４の同期情報ＳＩＧ１２や、図４の同期情報ＳＩＧ１４に相当）を求めるレイヤ別受信手段（例えば、図４の上位レイヤストリーム受信部２１や、図４の下位レイヤストリーム受信部２２に相当）と、前記レイヤ別受信手段により求められた各レイヤの符号化ストリームをシングルストリーム復号方式により復号して復号映像（例えば、図４の上位レイヤ映像ＳＩＧ１５や、図４の下位レイヤ映像ＳＩＧ１６に相当）を生成するレイヤ別復号手段（例えば、図４の上位レイヤ復号部２３や、図４の下位レイヤ復号部２４に相当）と、前記レイヤ別復号手段により生成されたレイヤごとの復号映像を、前記レイヤ別受信手段により求められた同期情報に基づいて映像合成してスケーラブル映像（例えば、図４の上位レイヤ出力映像ＳＩＧ４や、図４の下位レイヤ出力映像ＳＩＧ５に相当）を生成するスケーラブル映像合成手段（例えば、図４のスケーラブル映像合成部２５に相当）と、を備えることを特徴とするスケーラブル受信装置を提案している。
【００２４】
この発明によれば、レイヤごとに独立して符号化ストリームを復号し、同期情報に基づいてレイヤ間の同期を確立することとした。このため、Ｈ．２６４  ＡＶＣやＭＰＥＧ−２  ｖｉｄｅｏといった、既存の映像サービスで普及しているシングルストリーム符号化方式を用いてスケーラブル伝送された映像を、復号することができる。
【００２５】
（１０）  本発明は、（９）のスケーラブル受信装置について、前記レイヤ別復号手段により復号映像が生成された各レイヤのうち、最も解像度の低いレイヤを下位レイヤとし、前記下位レイヤより解像度の１つ高いレイヤを上位レイヤとし、前記スケーラビリティを有する映像を生成するために用いられた入力映像（例えば、図１の入力映像ＳＩＧ１に相当）のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、前記スケーラブル映像合成手段（例えば、図４のスケーラブル映像合成部２５に相当）は、前記レイヤ別復号手段により生成された前記上位レイヤの復号映像（例えば、図４の上位レイヤ映像ＳＩＧ１５に相当）に２を乗算し、前記乗算した結果から（２＾ｎ）−１を減算して差分信号を生成し、前記レイヤ別受信手段により求められた同期情報（例えば、図４の同期情報ＳＩＧ１２や、図４の同期情報ＳＩＧ１４に相当）に基づいて、同じ時刻のフレームごとに、前記差分信号と、前記レイヤ別復号手段により生成された前記下位レイヤの復号映像（例えば、図４の下位レイヤ映像ＳＩＧ１６に相当）をアップサンプルした映像と、を加算して、前記上位レイヤの映像（例えば、図４の上位レイヤ出力映像ＳＩＧ４に相当）とすることを特徴とするスケーラブル受信装置を提案している。
【００２６】
この発明によれば、（９）のスケーラブル受信装置において、既存の映像サービスで普及しているシングルストリーム符号化方式を用いてスケーラブル伝送された解像度スケーラビリティを有する映像を、復号することができる。
【００２７】
（１１）  本発明は、（９）のスケーラブル受信装置について、前記レイヤ別復号手段により復号映像が生成された各レイヤのうち、最も解像度の低いレイヤを下位レイヤとし、前記下位レイヤより解像度の１つ高いレイヤを上位レイヤとし、前記スケーラビリティを有する映像を生成するために用いられた入力映像（例えば、図１の入力映像ＳＩＧ１に相当）のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、前記スケーラブル映像合成手段（例えば、図４のスケーラブル映像合成部２５に相当）は、前記レイヤ別復号手段により生成された前記上位レイヤの復号映像（例えば、図４の上位レイヤ映像ＳＩＧ１５に相当）を、ｎ＋１のビット深度を有する信号にスケーリングし、前記スケーリングした結果から（２＾ｎ）−１を減算して差分信号を生成し、前記レイヤ別受信手段により求められた同期情報（例えば、図４の同期情報ＳＩＧ１２や、図４の同期情報ＳＩＧ１４に相当）に基づいて、同じ時刻のフレームごとに、前記差分信号と、前記レイヤ別復号手段により生成された前記下位レイヤの復号映像（例えば、図４の下位レイヤ映像ＳＩＧ１６に相当）をアップサンプルした映像と、を加算して、前記上位レイヤの映像（例えば、図４の上位レイヤ出力映像ＳＩＧ４に相当）とすることを特徴とするスケーラブル受信装置を提案している。
【００２８】
この発明によれば、（９）のスケーラブル受信装置において、既存の映像サービスで普及しているシングルストリーム符号化方式を用いてスケーラブル伝送された解像度スケーラビリティを有する映像を、復号することができる。
【００２９】
（１２）  本発明は、（９）のスケーラブル受信装置について、前記レイヤ別復号手段により復号映像が生成された各レイヤのうち、最もフレームレートの低いレイヤを下位レイヤとし、前記下位レイヤよりフレームレートの１つ高いレイヤを上位レイヤとすると、前記スケーラブル映像合成手段（例えば、図８のスケーラブル映像合成部２５Ａに相当）は、前記レイヤ別受信手段により求められた同期情報（例えば、図８の同期情報ＳＩＧ１２や、図８の同期情報ＳＩＧ１４に相当）に基づいて、前記レイヤ別復号手段により生成された前記上位レイヤの復号映像（例えば、図８の上位レイヤ映像ＳＩＧ１５に相当）と、前記レイヤ別復号手段により生成された前記下位レイヤの復号映像（例えば、図８の下位レイヤ映像ＳＩＧ１６に相当）と、を時刻の早いものから順番に並べて、前記上位レイヤの映像（例えば、図８の上位レイヤ出力映像ＳＩＧ４に相当）とすることを特徴とするスケーラブル受信装置を提案している。
【００３０】
この発明によれば、（９）のスケーラブル受信装置において、既存の映像サービスで普及しているシングルストリーム符号化方式を用いてスケーラブル伝送された時間スケーラビリティを有する映像を、復号することができる。
【００３１】
（１３）  本発明は、（９）のスケーラブル受信装置について、前記レイヤ別復号手段により復号映像が生成された各レイヤのうち、最も画質の低いレイヤを下位レイヤとし、前記下位レイヤより画質の１つ高いレイヤを上位レイヤとし、前記スケーラビリティを有する映像を生成するために用いられた入力映像（例えば、図１の入力映像ＳＩＧ１に相当）のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、前記スケーラブル映像合成手段（例えば、図１２のスケーラブル映像合成部２５Ｂに相当）は、前記レイヤ別復号手段により生成された前記上位レイヤの復号映像（例えば、図１２の上位レイヤ映像ＳＩＧ１５に相当）に２を乗算し、前記乗算した結果から（２＾ｎ）−１を減算して差分信号を生成し、前記レイヤ別受信手段により求められた同期情報（例えば、図１２の同期情報ＳＩＧ１２や、図１２の同期情報ＳＩＧ１４に相当）に基づいて、同じ時刻のフレームごとに、前記差分信号と、前記レイヤ別復号手段により生成された前記下位レイヤの復号映像（例えば、図１２の下位レイヤ映像ＳＩＧ１６に相当）と、を加算して、前記上位レイヤの映像（例えば、図１２の上位レイヤ出力映像ＳＩＧ４に相当）とすることを特徴とするスケーラブル受信装置を提案している。
【００３２】
この発明によれば、（９）のスケーラブル受信装置において、既存の映像サービスで普及しているシングルストリーム符号化方式を用いてスケーラブル伝送された画質スケーラビリティを有する映像を、復号することができる。
【００３３】
（１４）  本発明は、（９）のスケーラブル受信装置について、前記レイヤ別復号手段により復号映像が生成された各レイヤのうち、最も画質の低いレイヤを下位レイヤとし、前記下位レイヤより画質の１つ高いレイヤを上位レイヤとし、前記スケーラビリティを有する映像を生成するために用いられた入力映像（例えば、図１の入力映像ＳＩＧ１に相当）のビット深度をｎ（ｎは、ｎ≧１を満たす整数）とすると、前記スケーラブル映像合成手段（例えば、図１２のスケーラブル映像合成部２５Ｂに相当）は、前記レイヤ別復号手段により生成された前記上位レイヤの復号映像（例えば、図１２の上位レイヤ映像ＳＩＧ１５に相当）を、ｎ＋１のビット深度を有する信号にスケーリングし、前記スケーリングした結果から（２＾ｎ）−１を減算して差分信号を生成し、前記レイヤ別受信手段により求められた同期情報（例えば、図１２の同期情報ＳＩＧ１２や、図１２の同期情報ＳＩＧ１４に相当）に基づいて、同じ時刻のフレームごとに、前記差分信号と、前記レイヤ別復号手段により生成された前記下位レイヤの復号映像（例えば、図１２の下位レイヤ映像ＳＩＧ１６に相当）と、を加算して、前記上位レイヤの映像（例えば、図１２の上位レイヤ出力映像ＳＩＧ４に相当）とすることを特徴とするスケーラブル受信装置を提案している。
【００３４】
この発明によれば、（９）のスケーラブル受信装置において、既存の映像サービスで普及しているシングルストリーム符号化方式を用いてスケーラブル伝送された画質スケーラビリティを有する映像を、復号することができる。
【００３５】
（１５）  本発明は、（９）から（１４）のいずれかのスケーラブル受信装置について、前記レイヤ別受信手段は、前記同期情報として、トランスポートストリームに用いられる表示タイムスタンプ情報、復号タイムスタンプ情報、またはリファレンスクロック情報を用いることを特徴とするスケーラブル受信装置を提案している。
【００３６】
この発明によれば、（９）から（１４）のいずれかのスケーラブル受信装置において、同期情報として、既存の情報を用いることができる。
【００３７】
（１６）  本発明は、スケーラブル伝送装置（例えば、図１のスケーラブル伝送装置１に相当）からスケーラブル受信装置（例えば、図１のスケーラブル受信装置２に相当）にスケーラビリティを有する映像をシングルストリーム符号化方式を用いて伝送するスケーラブル送受信システム（例えば、図１のスケーラブル送受信システムＡＡに相当）であって、前記スケーラブル伝送装置は、スケーラビリティにしたがって、シングルストリーム符号化方式で符号化できるスケーラブル映像（例えば、図２の上位レイヤ映像ＳＩＧ６や、図２の下位レイヤ映像ＳＩＧ７に相当）を入力映像（例えば、図２の入力映像ＳＩＧ１に相当）から生成するスケーラブル映像生成手段（例えば、図２のスケーラブル映像生成部１１に相当）と、前記スケーラブル映像生成手段により生成されたスケーラブル映像をレイヤごとにシングルストリーム符号化して、符号化ストリーム（例えば、図２の上位レイヤ符号化ストリームＳＩＧ８や、図２の下位レイヤ符号化ストリームＳＩＧ９に相当）を生成するレイヤ別符号化手段（例えば、図２の上位レイヤ符号化部１２や、図２の下位レイヤ符号化部１３に相当）と、前記レイヤ別符号化手段により生成された符号化ストリームのうち、最も低品質なレイヤである下位レイヤの符号化ストリーム（例えば、図２の下位レイヤ符号化ストリームＳＩＧ９に相当）について、多重化するとともに、前記下位レイヤの符号化ストリームにおける同期情報（例えば、図２の同期情報ＳＩＧ１０に相当）を求める下位レイヤストリーム送出手段（例えば、図２の下位レイヤストリーム送出部１５に相当）と、前記レイヤ別符号化手段により生成された符号化ストリームのうち前記下位レイヤの符号化ストリームを除くもの（例えば、図２の上位レイヤ符号化ストリームＳＩＧ８に相当）のそれぞれについて、前記同期情報を基準として多重化する上位レイヤストリーム送出手段（例えば、図２の上位レイヤストリーム送出部１４に相当）と、を備え、前記スケーラブル受信装置は、多重化された符号化ストリーム（例えば、図４の上位レイヤ多重化信号ＳＩＧ２や、図４の下位レイヤ多重化信号ＳＩＧ３に相当）をレイヤごとに多重分離して符号化ストリーム（例えば、図４の上位レイヤ符号化ストリームＳＩＧ１１や、図４の下位レイヤ符号化ストリームＳＩＧ１３に相当）を得るとともに、各レイヤの符号化ストリームにおける同期情報（例えば、図４の同期情報ＳＩＧ１２や、図４の同期情報ＳＩＧ１４に相当）を求めるレイヤ別受信手段（例えば、図４の上位レイヤストリーム受信部２１や、図４の下位レイヤストリーム受信部２２に相当）と、前記レイヤ別受信手段により求められた各レイヤの符号化ストリームをシングルストリーム復号方式により復号して復号映像（例えば、図４の上位レイヤ映像ＳＩＧ１５や、図４の下位レイヤ映像ＳＩＧ１６に相当）を生成するレイヤ別復号手段（例えば、図４の上位レイヤ復号部２３や、図４の下位レイヤ復号部２４に相当）と、前記レイヤ別復号手段により生成されたレイヤごとの復号映像を、前記レイヤ別受信手段により求められた同期情報に基づいて映像合成してスケーラブル映像（例えば、図４の上位レイヤ出力映像ＳＩＧ４や、図４の下位レイヤ出���映像ＳＩＧ５に相当）を生成するスケーラブル映像合成手段（例えば、図４のスケーラブル映像合成部２５に相当）と、を備えることを特徴とするスケーラブル送受信システムを提案している。
【００３８】
この発明によれば、上述した効果と同様の効果を奏することができる。
【００３９】
（１７）  本発明は、スケーラブル映像生成手段（例えば、図２のスケーラブル映像生成部１１に相当）、レイヤ別符号化手段（例えば、図２の上位レイヤ符号化部１２や、図２の下位レイヤ符号化部１３に相当）、下位レイヤストリーム送出手段（例えば、図２の下位レイヤストリーム送出部１５に相当）、および上位レイヤストリーム送出手段（例えば、図２の上位レイヤストリーム送出部１４に相当）を備え、スケーラビリティを有する映像をシングルストリーム符号化方式を用いて伝送するスケーラブル伝送装置（例えば、図２のスケーラブル伝送装置１に相当）におけるスケーラブル伝送方法であって、前記スケーラブル映像生成手段が、スケーラビリティにしたがって、シングルストリーム符号化方式で符号化できるスケーラブル映像（例えば、図２の上位レイヤ映像ＳＩＧ６や、図２の下位レイヤ映像ＳＩＧ７に相当）を入力映像（例えば、図２の入力映像ＳＩＧ１に相当）から生成する第１のステップと、前記レイヤ別符号化手段が、前記第１のステップにより生成されたスケーラブル映像をレイヤごとにシングルストリーム符号化して、符号化ストリーム（例えば、図２の上位レイヤ符号化ストリームＳＩＧ８や、図２の下位レイヤ符号化ストリームＳＩＧ９に相当）を生成する第２のステップと、前記下位レイヤストリーム送出手段が、前記第２のステップにより生成された符号化ストリームのうち、最も低品質なレイヤである下位レイヤの符号化ストリーム（例えば、図２の下位レイヤ符号化ストリームＳＩＧ９に相当）について、多重化するとともに、前記下位レイヤの符号化ストリームにおける同期情報（例えば、図２の同期情報ＳＩＧ１０に相当）を求める第３のステップと、前記上位レイヤストリーム送出手段が、前記第２のステップにより生成された符号化ストリームのうち前記下位レイヤの符号化ストリームを除くもの（例えば、図２の上位レイヤ符号化ストリームＳＩＧ８に相当）のそれぞれについて、前記同期情報を基準として多重化する第４のステップと、を備えることを特徴とするスケーラブル伝送方法を提案している。
【００４０】
この発明によれば、上述した効果と同様の効果を奏することができる。
【００４１】
（１８）  本発明は、レイヤ別受信手段（例えば、図４の上位レイヤストリーム受信部２１や、図４の下位レイヤストリーム受信部２２に相当）、レイヤ別復号手段（例えば、図４の上位レイヤ復号部２３や、図４の下位レイヤ復号部２４に相当）、およびスケーラブル映像合成手段（例えば、図４のスケーラブル映像合成部２５に相当）を備え、シングルストリーム符号化方式を用いて伝送されたスケーラビリティを有する映像を受信するスケーラブル受信装置（例えば、図４のスケーラブル受信装置２に相当）におけるスケーラブル受信方法であって、前記レイヤ別受信手段が、多重化された符号化ストリーム（例えば、図４の上位レイヤ多重化信号ＳＩＧ２や、図４の下位レイヤ多重化信号ＳＩＧ３に相当）をレイヤごとに多重分離して符号化ストリーム（例えば、図４の上位レイヤ符号化ストリームＳＩＧ１１や、図４の下位レイヤ符号化ストリームＳＩＧ１３に相当）を得るとともに、各レイヤの符号化ストリームにおける同期情報（例えば、図４の同期情報ＳＩＧ１２や、図４の同期情報ＳＩＧ１４に相当）を求める第１のステップと、前記レイヤ別復号手段が、前記第１のステップにより求められた各レイヤの符号化ストリームをシングルストリーム復号方式により復号して復号映像（例えば、図４の上位レイヤ映像ＳＩＧ１５や、図４の下位レイヤ映像ＳＩＧ１６に相当）を生成する第２のステップと、前記スケーラブル映像合成手段が、前記第２のステップにより生成されたレイヤごとの復号映像を、前記第１のステップにより求められた同期情報に基づいて映像合成してスケーラブル映像（例えば、図４の上位レイヤ出力映像ＳＩＧ４や、図４の下位レイヤ出力映像ＳＩＧ５に相当）を生成する第３のステップと、を備えることを特徴とするスケーラブル受信方法を提案している。
【００４２】
この発明によれば、上述した効果と同様の効果を奏することができる。
【００４３】
（１９）  本発明は、スケーラブル映像生成手段（例えば、図２のスケーラブル映像生成部１１に相当）、レイヤ別符号化手段（例えば、図２の上位レイヤ符号化部１２や、図２の下位レイヤ符号化部１３に相当）、下位レイヤストリーム送出手段（例えば、図２の下位レイヤストリーム送出部１５に相当）、および上位レイヤストリーム送出手段（例えば、図２の上位レイヤストリーム送出部１４に相当）を備え、スケーラビリティを有する映像をシングルストリーム符号化方式を用いて伝送するスケーラブル伝送装置（例えば、図２のスケーラブル伝送装置１に相当）におけるスケーラブル伝送方法を、コンピュータに実行させるためのプログラムであって、前記スケーラブル映像生成手段が、スケーラビリティにしたがって、シングルストリーム符号化方式で符号化できるスケーラブル映像（例えば、図２の上位レイヤ映像ＳＩＧ６や、図２の下位レイヤ映像ＳＩＧ７に相当）を入力映像（例えば、図２の入力映像ＳＩＧ１に相当）から生成する第１のステップと、前記レイヤ別符号化手段が、前記第１のステップにより生成されたスケーラブル映像をレイヤごとにシングルストリーム符号化して、符号化ストリーム（例えば、図２の上位レイヤ符号化ストリームＳＩＧ８や、図２の下位レイヤ符号化ストリームＳＩＧ９に相当）を生成する第２のステップと、前記下位レイヤストリーム送出手段が、前記第２のステップにより生成された符号化ストリームのうち、最も低品質なレイヤである下位レイヤの符号化ストリーム（例えば、図２の下位レイヤ符号化ストリームＳＩＧ９に相当）について、多重化するとともに、前記下位レイヤの符号化ストリームにおける同期情報（例えば、図２の同期情報ＳＩＧ１０に相当）を求める第３のステップと、前記上位レイヤストリーム送出手段が、前記第２のステップにより生成された符号化ストリームのうち前記下位レイヤの符号化ストリームを除くもの（例えば、図２の上位レイヤ符号化ストリームＳＩＧ８に相当）のそれぞれについて、前記同期情報を基準として多重化する第４のステップと、をコンピュータに実行させるためのプログラムを提案している。
【００４４】
この発明によれば、コンピュータを用いてプログラムを実行することで、上述した効果と同様の効果を奏することができる。
【００４５】
（２０）  本発明は、レイヤ別受信手段（例えば、図４の上位レイヤストリーム受信部２１や、図４の下位レイヤストリーム受信部２２に相当）、レイヤ別復号手段（例えば、図４の上位レイヤ復号部２３や、図４の下位レイヤ復号部２４に相当）、およびスケーラブル映像合成手段（例えば、図４のスケーラブル映像合成部２５に相当）を備え、シングルストリーム符号化方式を用いて伝送されたスケーラビリティを有する映像を受信するスケーラブル受信装置（例えば、図４のスケーラブル受信装置２に相当）におけるスケーラブル受信方法を、コンピュータに実行させるためのプログラムであって、前記レイヤ別受信手段が、多重化された符号化ストリーム（例えば、図４の上位レイヤ多重化信号ＳＩＧ２や、図４の下位レイヤ多重化信号ＳＩＧ３に相当）をレイヤごとに多重分離して符号化ストリーム（例えば、図４の上位レイヤ符号化ストリームＳＩＧ１１や、図４の下位レイヤ符号化ストリームＳＩＧ１３に相当）を得るとともに、各レイヤの符号化ストリームにおける同期情報（例えば、図４の同期情報ＳＩＧ１２や、図４の同期情報ＳＩＧ１４に相当）を求める第１のステップと、前記レイヤ別復号手段が、前記第１のステップにより求められた各レイヤの符号化ストリームをシングルストリーム復号方式により復号して復号映像（例えば、図４の上位レイヤ映像ＳＩＧ１５や、図４の下位レイヤ映像ＳＩＧ１６に相当）を生成する第２のステップと、前記スケーラブル映像合成手段が、前記第２のステップにより生成されたレイヤごとの復号映像を、前記第１のステップにより求められた同期情報に基づいて映像合成してスケーラブル映像（例えば、図４の上位レイヤ出力映像ＳＩＧ４や、図４の下位レイヤ出力映像ＳＩＧ５に相当）を生成する第３のステップと、をコンピュータに実行させるためのプログラムを提案している。
【００４６】
この発明によれば、コンピュータを用いてプログラムを実行することで、上述した効果と同様の効果を奏することができる。
【発明の効果】
【００４７】
本発明によれば、既存の映像サービスで広く普及している技術を活用して、スケーラブル伝送を可能とすることができる。
【図面の簡単な説明】
【００４８】
【図１】本発明の第１実施形態に係るスケーラブル送受信システムのブロック図である。
【図２】前記実施形態に係るスケーラブル送受信システムが備えるスケーラブル伝送装置のブロック図である。
【図３】前記実施形態に係るスケーラブル送受信システムが備えるスケーラブル伝送装置に設けられたスケーラブル映像生成部のブロック図である。
【図４】前記実施形態に係るスケーラブル送受信システムが備えるスケーラブル受信装置のブロック図である。
【図５】本発明の第２実施形態に係るスケーラブル送受信システムのブロック図である。
【図６】前記実施形態に係るスケーラブル送受信システムが備えるスケーラブル伝送装置のブロック図である。
【図７】前記実施形態に係るスケーラブル送受信システムが備えるスケーラブル伝送装置に設けられたスケーラブル映像生成部のブロック図である。
【図８】前記実施形態に係るスケーラブル送受信システムが備えるスケーラブル受信装置のブロック図である。
【図９】本発明の第３実施形態に係るスケーラブル送受信システムのブロック図である。
【図１０】前記実施形態に係るスケーラブル送受信システムが備えるスケーラブル伝送装置のブロック図である。
【図１１】前記実施形態に係るスケーラブル送受信システムが備えるスケーラブル伝送装置に設けられたスケーラブル映像生成部のブロック図である。
【図１２】前記実施形態に係るスケーラブル送受信システムが備えるスケーラブル受信装置のブロック図である。
【発明を実施するための形態】
【００４９】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００５０】
＜第１実施形態＞
［スケーラブル送受信システムＡＡの構成および動作］
図１は、本発明の第１実施形態に係るスケーラブル送受信システムＡＡのブロック図である。スケーラブル送受信システムＡＡは、スケーラブル伝送装置１およびスケーラブル受信装置２を備え、スケーラブル伝送装置１からスケーラブル受信装置２に解像度スケーラビリティを有する映像をシングルストリーム符号化方式を用いて伝送する。
【００５１】
スケーラブル伝送装置１は、入力映像ＳＩＧ１を入力とする。本実施形態では、入力映像ＳＩＧ１は、４Ｋ解像度映像であるものとする。このスケーラブル伝送装置１は、シングルストリーム符号化方式を用いて、入力映像ＳＩＧ１から上位レイヤ多重化信号ＳＩＧ２および下位レイヤ多重化信号ＳＩＧ３を生成して出力する。
【００５２】
スケーラブル受信装置２は、上位レイヤ多重化信号ＳＩＧ２および下位レイヤ多重化信号ＳＩＧ３を入力とする。このスケーラブル受信装置２は、シングルストリーム復号方式を用いて、上位レイヤ多重化信号ＳＩＧ２および下位レイヤ多重化信号ＳＩＧ３から、上位レイヤ出力映像ＳＩＧ４および下位レイヤ出力映像ＳＩＧ５を生成して出力する。なお、本実施形態では、上位レイヤ出力映像ＳＩＧ４は、４Ｋ解像度映像であり、下位レイヤ出力映像ＳＩＧ５は、ＨＤ解像度映像であるものとする。
【００５３】
［スケーラブル伝送装置１の構成および動作］
図２は、スケーラブル伝送装置１のブロック図である。スケーラブル伝送装置１は、スケーラブル映像生成部１１、上位レイヤ符号化部１２、下位レイヤ符号化部１３、上位レイヤストリーム送出部１４、および下位レイヤストリーム送出部１５を備える。
【００５４】
スケーラブル映像生成部１１は、入力映像ＳＩＧ１を入力とする。このスケーラブル映像生成部１１は、スケーラビリティにしたがって、シングルストリーム符号化方式で符号化できる上位レイヤ映像ＳＩＧ６および下位レイヤ映像ＳＩＧ７を入力映像ＳＩＧ１から生成して出力する。このスケーラブル映像生成部１１について、図３を用いて詳述する。
【００５５】
図３は、スケーラブル映像生成部１１のブロック図である。スケーラブル映像生成部１１は、下位レイヤ映像生成部１１１およびスケーラブル差分映像生成部１１２を備える。
【００５６】
下位レイヤ映像生成部１１１は、入力映像ＳＩＧ１を入力とする。この下位レイヤ映像生成部１１１は、入力映像ＳＩＧ１に対してサブサンプル処理を施して、入力映像ＳＩＧ１よりも品質（本実施形態では、解像度）の低い映像（本実施形態では、ＨＤ解像度映像）を生成し、下位レイヤ映像ＳＩＧ７として出力する。
【００５７】
スケーラブル差分映像生成部１１２は、入力映像ＳＩＧ１および下位レイヤ映像ＳＩＧ７を入力とする。このスケーラブル差分映像生成部１１２は、下位レイヤ映像ＳＩＧ７をアップサンプルした映像を生成し、このアップサンプルした映像と、入力映像ＳＩＧ１と、の差分値を算出して差分信号を生成する。
【００５８】
上述の差分信号を、本実施形態では映像信号として扱い、符号化処理を施す。しかし、差分信号には負数が含まれ得るので、スケーラブル差分映像生成部１１２は、生成した差分信号を、負数を含まない信号に変換して、上位レイヤ映像ＳＩＧ６として出力する。具体的には、入力映像ＳＩＧ１のビット深度をｎビット（ただし、ｎは、ｎ≧１を満たす整数）とすると、まず、差分信号の全ての画素に対して（２＾ｎ）−１のオフセットを加算する。次に、オフセットを加算した結果を２で除算した結果を上位レイヤ映像ＳＩＧ６として出力するか、または、オフセットを加算した結果をｎ＋１ビット以上のビット深度を有する上位レイヤ映像ＳＩＧ６として出力する。
【００５９】
図２に戻って、下位レイヤ符号化部１３は、下位レイヤ映像ＳＩＧ７を入力とする。この下位レイヤ符号化部１３は、下位レイヤ映像ＳＩＧ７に対して、Ｈ．２６４  ＡＶＣ、Ｈ．２６５  ＨＥＶＣ、ＭＰＥＧ−２  ｖｉｄｅｏなどに代表されるシングルストリーム符号化により符号化処理を行って、下位レイヤ符号化ストリームＳＩＧ９として出力する。
【００６０】
上位レイヤ符号化部１２は、上位レイヤ映像ＳＩＧ６を入力とする。この上位レイヤ符号化部１２は、上位レイヤ映像ＳＩＧ６に対して、Ｈ．２６４  ＡＶＣ、Ｈ．２６５  ＨＥＶＣ、ＭＰＥＧ−２  ｖｉｄｅｏなどに代表されるシングルストリーム符号化により符号化処理を行って、上位レイヤ符号化ストリームＳＩＧ８として出力する。なお、上位レイヤ符号化部１２が符号化処理において用いるシングルストリーム符号化の方式は、下位レイヤ符号化部１３が符号化処理において用いるシングルストリーム符号化の方式と同一であってもよいし、異なっていてもよい。
【００６１】
下位レイヤストリーム送出部１５は、下位レイヤ符号化ストリームＳＩＧ９を入力とする。この下位レイヤストリーム送出部１５は、ＭＰＥＧ−２  ＴＳなどに基づいて下位レイヤ符号化ストリームＳＩＧ９を多重化し、下位レイヤ多重化信号ＳＩＧ３として出力する。また、下位レイヤストリーム送出部１５は、下位レイヤ符号化ストリームＳＩＧ９におけるＰＴＳ（Presentation  Time  Stamp）やＤＴＳ（Decode  Time  Stamp）やＰＣＲ（Program  Clock  Reference）などの情報を取得し、同期情報ＳＩＧ１０として出力する。
【００６２】
上位レイヤストリーム送出部１４は、上位レイヤ符号化ストリームＳＩＧ８と、同期情報ＳＩＧ１０と、を入力とする。この上位レイヤストリーム送出部１４は、同期情報ＳＩＧ１０を基準として、ＭＰＥＧ−２  ＴＳなどに基づいて上位レイヤ符号化ストリームＳＩＧ８を多重化し、上位レイヤ多重化信号ＳＩＧ２として出力する。
【００６３】
［スケーラブル受信装置２の構成および動作］
図４は、スケーラブル受信装置２のブロック図である。スケーラブル受信装置２は、上位レイヤストリーム受信部２１、下位レイヤストリーム受信部２２、上位レイヤ復号部２３、下位レイヤ復号部２４、およびスケーラブル映像合成部２５を備える。
【００６４】
上位レイヤストリーム受信部２１は、上位レイヤ多重化信号ＳＩＧ２を入力とする。この上位レイヤストリーム受信部２１は、上位レイヤ多重化信号ＳＩＧ２を多重分離して、上位レイヤ符号化ストリームＳＩＧ１１を得て出力するとともに、上位レイヤ符号化ストリームＳＩＧ１１におけるＰＴＳやＤＴＳやＰＣＲなどの情報を取得し、同期情報ＳＩＧ１２として出力する。
【００６５】
下位レイヤストリーム受信部２２は、下位レイヤ多重化信号ＳＩＧ３を入力とする。この下位レイヤストリーム受信部２２は、下位レイヤ多重化信号ＳＩＧ３を多重分離して、下位レイヤ符号化ストリームＳＩＧ１３を得て出力するとともに、下位レイヤ符号化ストリームＳＩＧ１３におけるＰＴＳやＤＴＳやＰＣＲなどの情報を取得し、同期情報ＳＩＧ１４として出力する。
【００６６】
上位レイヤ復号部２３は、上位レイヤ符号化ストリームＳＩＧ１１を入力とする。この上位レイヤ復号部２３は、上位レイヤ符号化ストリームＳＩＧ１１に対して、上位レイヤ符号化部１２において用いられた方式と同一の方式のシングルストリーム復号により復号処理を行って、上位レイヤ映像ＳＩＧ１５として出力する。
【００６７】
下位レイヤ復号部２４は、下位レイヤ符号化ストリームＳＩＧ１３を入力とする。この下位レイヤ復号部２４は、下位レイヤ符号化ストリームＳＩＧ１３に対して、下位レイヤ符号化部１３において用いられた方式と同一の方式のシングルストリーム復号により復号処理を行って、下位レイヤ映像ＳＩＧ１６として出力する。
【００６８】
スケーラブル映像合成部２５は、同期情報ＳＩＧ１２、ＳＩＧ１４と、上位レイヤ映像ＳＩＧ１５と、下位レイヤ映像ＳＩＧ１６と、を入力とする。このスケーラブル映像合成部２５は、まず、同期情報ＳＩＧ１２、ＳＩＧ１４に基づいて、同一の同期情報を有する上位レイヤ映像ＳＩＧ１５のフレームと下位レイヤ映像ＳＩＧ１６のフレームとを、同じ時刻のフレームであると対応付ける。次に、スケーラブル差分映像生成部１１２においてオフセットを加算した結果を２で除算した結果を上位レイヤ映像ＳＩＧ６とした場合には、上位レイヤ映像ＳＩＧ１５に２を乗算した結果から（２＾ｎ）−１のオフセットを減算して、差分信号を生成する。一方、スケーラブル差分映像生成部１１２においてオフセットを加算した結果をｎ＋１ビット以上のビット深度を有する上位レイヤ映像ＳＩＧ６とした場合には、上位レイヤ映像ＳＩＧ１５をビット深度ｎ＋１ビットの信号にスケーリングした結果から（２＾ｎ）−１のオフセットを減算して、差分信号を生成する。次に、同じ時刻のフレームごとに、生成した差分信号と、下位レイヤ映像ＳＩＧ１６をアップサンプルした映像と、を加算して、上位レイヤ出力映像ＳＩＧ４として出力する。また、下位レイヤ映像ＳＩＧ１６を下位レイヤ出力映像ＳＩＧ５として出力する。
【００６９】
以上のスケーラブル伝送装置１によれば、解像度スケーラビリティを有するスケーラブル映像を入力映像ＳＩＧ１から生成し、生成したスケーラブル映像をレイヤごとに独立してシングルストリーム符号化する。このため、既存の映像サービスで普及しているシングルストリーム符号化方式を用いて、解像度スケーラビリティを有する映像をスケーラブル伝送することができる。
【００７０】
また、以上のスケーラブル受信装置２によれば、レイヤごとに独立して符号化ストリームを復号し、同期情報ＳＩＧ１２、ＳＩＧ１４に基づいてレイヤ間の同期を確立する。このため、既存の映像サービスで普及しているシングルストリーム符号化方式を用いてスケーラブル伝送された解像度スケーラビリティを有する映像を、復号することができる。
【００７１】
＜第２実施形態＞
［スケーラブル送受信システムＢＢの構成および動作］
図５は、本発明の第２実施形態に係るスケーラブル送受信システムＢＢのブロック図である。スケーラブル送受信システムＢＢは、スケーラブル伝送装置１Ａおよびスケーラブル受信装置２Ａを備え、スケーラブル伝送装置１Ａからスケーラブル受信装置２Ａに時間スケーラビリティを有する映像をシングルストリーム符号化方式を用いて伝送する。なお、スケーラブル送受信システムＢＢにおいて、図１に示した本発明の第１実施形態におけるスケーラブル送受信システムＡＡと同一構成要件については、同一符号を付し、その説明を省略する。また、本実施形態では、入力映像ＳＩＧ１および上位レイヤ出力映像ＳＩＧ４は、フレームレートが６０ｆｐｓの映像であり、下位レイヤ出力映像ＳＩＧ５は、フレームレートが３０ｆｐｓの映像であるものとする。
【００７２】
［スケーラブル伝送装置１Ａの構成および動作］
図６は、スケーラブル伝送装置１Ａのブロック図である。スケーラブル伝送装置１Ａは、図２に示した本発明の第１実施形態に係るスケーラブル伝送装置１とは、スケーラブル映像生成部１１の代わりにスケーラブル映像生成部１１Ａを備える点と、上位レイヤストリーム送出部１４の代わりに上位レイヤストリーム送出部１４Ａを備える点と、が異なる。
【００７３】
図７は、スケーラブル映像生成部１１Ａのブロック図である。スケーラブル映像生成部１１Ａは、下位レイヤ映像生成部１１１Ａおよび上位レイヤ映像生成部１１２Ａを備える。
【００７４】
下位レイヤ映像生成部１１１Ａは、入力映像ＳＩＧ１を入力とする。この下位レイヤ映像生成部１１１Ａは、入力映像ＳＩＧ１に対してサブサンプル処理を施して、入力映像ＳＩＧ１よりも品質（本実施形態では、フレームレート）の低い映像（本実施形態では、３０ｆｐｓの映像）を生成し、下位レイヤ映像ＳＩＧ７として出力する。
【００７５】
上位レイヤ映像生成部１１２Ａは、入力映像ＳＩＧ１および下位レイヤ映像ＳＩＧ７を入力とする。この上位レイヤ映像生成部１１２Ａは、入力映像ＳＩＧ１から下位レイヤ映像ＳＩＧ７を除外した映像を生成し、上位レイヤ映像ＳＩＧ６として出力する。
【００７６】
図６に戻って、上位レイヤストリーム送出部１４Ａは、上位レイヤ符号化ストリームＳＩＧ８と、同期情報ＳＩＧ１０と、を入力とする。この上位レイヤストリーム送出部１４Ａは、同期情報ＳＩＧ１０を用いつつ、ＭＰＥＧ−２  ＴＳなどに基づいて上位レイヤ符号化ストリームＳＩＧ８を多重化し、上位レイヤ多重化信号ＳＩＧ２として出力する。なお、多重化の際には、同期情報ＳＩＧ１０に基づいて、上位レイヤ符号化ストリームＳＩＧ８における各フレームの同期情報が、下位レイヤ符号化ストリームＳＩＧ９における各フレームの同期情報の真ん中になるように、上位レイヤ符号化ストリームＳＩＧ８における各フレームの同期情報を設定する。言い換えると、上位レイヤ符号化ストリームＳＩＧ８における各フレームの同期情報のことを上位レイヤ同期情報と呼び、下位レイヤ符号化ストリームＳＩＧ９における各フレームの同期情報のことを下位レイヤ同期情報と呼ぶこととすると、多重化の際には、隣り合う２つのフレームの下位レイヤ同期情報の真ん中に、上位レイヤ同期情報が位置するように、上位レイヤ同期情報のそれぞれを設定する。
【００７７】
［スケーラブル受信装置２Ａの構成および動作］
図８は、スケーラブル受信装置２Ａのブロック図である。スケーラブル受信装置２Ａは、図４に示した本発明の第１実施形態に係るスケーラブル受信装置２とは、スケーラブル映像合成部２５の代わりにスケーラブル映像合成部２５Ａを備える点が異なる。
【００７８】
スケーラブル映像合成部２５Ａは、同期情報ＳＩＧ１２、ＳＩＧ１４と、上位レイヤ映像ＳＩＧ１５と、下位レイヤ映像ＳＩＧ１６と、を入力とする。このスケーラブル映像合成部２５Ａは、まず、同期情報ＳＩＧ１２、ＳＩＧ１４に基づいて、上位レイヤ映像ＳＩＧ１５における各フレームの映像と、下位レイヤ映像ＳＩＧ１６における各フレームの映像と、を時刻の早いものから順番に並べて、上位レイヤ出力映像ＳＩＧ４として出力する。また、下位レイヤ映像ＳＩＧ１６を下位レイヤ出力映像ＳＩＧ５として出力する。
【００７９】
以上のスケーラブル伝送装置１Ａによれば、時間スケーラビリティを有するスケーラブル映像を入力映像ＳＩＧ１から生成し、生成したスケーラブル映像をレイヤごとに独立してシングルストリーム符号化する。このため、既存の映像サービスで普及しているシングルストリーム符号化方式を用いて、時間スケーラビリティを有する映像をスケーラブル伝送することができる。
【００８０】
また、以上のスケーラブル受信装置２Ａによれば、レイヤごとに独立して符号化ストリームを復号し、同期情報ＳＩＧ１２、ＳＩＧ１４に基づいてレイヤ間の同期を確立する。このため、既存の映像サービスで普及しているシングルストリーム符号化方式を用いてスケーラブル伝送された時間スケーラビリティを有する映像を、復号することができる。
【００８１】
＜第３実施形態＞
［スケーラブル送受信システムＣＣの構成および動作］
図９は、本発明の第３実施形態に係るスケーラブル送受信システムＣＣのブロック図である。スケーラブル送受信システムＣＣは、スケーラブル伝送装置１Ｂおよびスケーラブル受信装置２Ｂを備え、スケーラブル伝送装置１Ｂからスケーラブル受信装置２Ｂに画質スケーラビリティを有する映像をシングルストリーム符号化方式を用いて伝送する。なお、スケーラブル送受信システムＣＣにおいて、図１に示した本発明の第１実施形態におけるスケーラブル送受信システムＡＡと同一構成要件については、同一符号を付し、その説明を省略する。また、本実施形態では、入力映像ＳＩＧ１および上位レイヤ出力映像ＳＩＧ４は同一の画質を有する映像であり、下位レイヤ出力映像ＳＩＧ５は、入力映像ＳＩＧ１および上位レイヤ出力映像ＳＩＧ４より画質の低い映像であるものとする。
【００８２】
［スケーラブル伝送装置１Ｂの構成および動作］
図１０は、スケーラブル伝送装置１Ｂのブロック図である。スケーラブル伝送装置１Ｂは、図２に示した本発明の第１実施形態に係るスケーラブル伝送装置１とは、スケーラブル映像生成部１１の代わりにスケーラブル映像生成部１１Ｂを備える点が異なる。
【００８３】
図１１は、スケーラブル映像生成部１１Ｂのブロック図である。スケーラブル映像生成部１１Ｂは、下位レイヤ映像生成部１１１Ｂおよびスケーラブル差分映像生成部１１２を備える。
【００８４】
下位レイヤ映像生成部１１１Ｂは、入力映像ＳＩＧ１を入力とする。この下位レイヤ映像生成部１１１Ｂは、入力映像ＳＩＧ１に対して低帯域通過フィルタといったフィルタを用いたフィルタ処理を施して、入力映像ＳＩＧ１よりも品質（本実施形態では、画質）の低い映像を生成し、下位レイヤ映像ＳＩＧ７として出力する。
【００８５】
［スケーラブル受信装置２Ｂの構成および動作］
図１２は、スケーラブル受信装置２Ｂのブロック図である。スケーラブル受信装置２Ｂは、図４に示した本発明の第１実施形態に係るスケーラブル受信装置２とは、スケーラブル映像合成部２５の代わりにスケーラブル映像合成部２５Ｂを備える点が異なる。
【００８６】
スケーラブル映像合成部２５Ｂは、同期情報ＳＩＧ１２、ＳＩＧ１４と、上位レイヤ映像ＳＩＧ１５と、下位レイヤ映像ＳＩＧ１６と、を入力とする。このスケーラブル映像合成部２５Ｂは、まず、同期情報ＳＩＧ１２、ＳＩＧ１４に基づいて、同一の同期情報を有する上位レイヤ映像ＳＩＧ１５のフレームと下位レイヤ映像ＳＩＧ１６のフレームとを、同じ時刻のフレームであるとして対応付ける。次に、スケーラブル差分映像生成部１１２においてオフセットを加算した結果を２で除算した結果を上位レイヤ映像ＳＩＧ６とした場合には、上位レイヤ映像ＳＩＧ１５に２を乗算した結果から（２＾ｎ）−１のオフセットを減算して、差分信号を生成する。一方、スケーラブル差分映像生成部１１２においてオフセットを加算した結果をｎ＋１ビット以上のビット深度を有する上位レイヤ映像ＳＩＧ６とした場合には、上位レイヤ映像ＳＩＧ１５をビット深度ｎ＋１ビットの信号にスケーリングした結果から（２＾ｎ）−１のオフセットを減算して、差分信号を生成する。次に、同じ時刻のフレームごとに、生成した差分信号と下位レイヤ映像ＳＩＧ１６とを加算して、上位レイヤ出力映像ＳＩＧ４として出力する。また、下位レイヤ映像ＳＩＧ１６を下位レイヤ出力映像ＳＩＧ５として出力する。
【００８７】
以上のスケーラブル伝送装置１Ｂによれば、画質スケーラビリティを有するスケーラブル映像を入力映像ＳＩＧ１から生成し、生成したスケーラブル映像をレイヤごとに独立してシングルストリーム符号化する。このため、既存の映像サービスで普及しているシングルストリーム符号化方式を用いて、画質スケーラビリティを有する映像をスケーラブル伝送することができる。
【００８８】
また、以上のスケーラブル受信装置２Ｂによれば、レイヤごとに独立して符号化ストリームを復号し、同期情報ＳＩＧ１２、ＳＩＧ１４に基づいてレイヤ間の同期を確立する。このため、既存の映像サービスで普及しているシングルストリーム符号化方式を用いてスケーラブル伝送された画質スケーラビリティを有する映像を、復号することができる。
【００８９】
なお、本発明のスケーラブル伝送装置１、１Ａ、１Ｂやスケーラブル受信装置２、２Ａ、２Ｂの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムをスケーラブル伝送装置１、１Ａ、１Ｂやスケーラブル受信装置２、２Ａ、２Ｂに読み込ませ、実行することによって、本発明を実現できる。
【００９０】
ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、スケーラブル伝送装置１、１Ａ、１Ｂやスケーラブル受信装置２、２Ａ、２Ｂに設けられたプロセッサによって行われる。
【００９１】
また、上述のプログラムは、このプログラムを記憶装置などに格納したスケーラブル伝送装置１、１Ａ、１Ｂやスケーラブル受信装置２、２Ａ、２Ｂから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００９２】
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能をスケーラブル伝送装置１、１Ａ、１Ｂやスケーラブル受信装置２、２Ａ、２Ｂにすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００９３】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【００９４】
例えば、上述の各実施形態では、入力映像ＳＩＧ１は、４Ｋ解像度映像であるものとしたが、これに限らず、４Ｋ解像度映像よりも解像度の高い映像であってもよいし、４Ｋ解像度映像よりも解像度の低い映像であってもよい。
【００９５】
また、上述の第１実施形態では、上位レイヤ出力映像ＳＩＧ４は、入力映像ＳＩＧ１と同じ４Ｋ解像度映像であるものとし、下位レイヤ出力映像ＳＩＧ５は、ＨＤ解像度映像であるものとした。しかし、これに限らず、上位レイヤ出力映像ＳＩＧ４は、入力映像ＳＩＧ１とは異なる解像度を有する映像であってもよい。また、下位レイヤ出力映像ＳＩＧ５は、上位レイヤ出力映像ＳＩＧ４よりも解像度の低い映像であればよい。
【００９６】
また、上述の第２実施形態では、上位レイヤ出力映像ＳＩＧ４は、入力映像ＳＩＧ１と同じ６０ｆｐｓの映像であるものとし、下位レイヤ出力映像ＳＩＧ５は、３０ｆｐｓ映像であるものとした。しかし、これに限らず、上位レイヤ出力映像ＳＩＧ４は、入力映像ＳＩＧ１とは異なるフレームレートの映像であってもよい。また、下位レイヤ出力映像ＳＩＧ５は、上位レイヤ出力映像ＳＩＧ４よりもフレームレートの低い映像であればよく、フレームレートが上位レイヤ出力映像ＳＩＧ４の半分ではなくてもよい。
【００９７】
また、上述の第１実施形態では、スケーラブル伝送装置１は、上位レイヤ映像ＳＩＧ６および下位レイヤ映像ＳＩＧ７の２種類の映像について、符号化および多重化して出力するものとした。しかし、これに限らず、例えば３種類や４種類の映像について、符号化および多重化して出力するものとしてもよい。
【００９８】
例えば３種類の映像について符号化および多重化して出力する場合には、スケーラブル映像生成部１１は、入力映像ＳＩＧ１とは品質の異なる２種類の映像を生成し、最も品質の低い映像をアップサンプルした映像と、２番目に品質の高い映像と、の差分信号を生成するとともに、２番目に品質の高い映像をアップサンプルした映像と、最も品質の高い映像と、の差分信号を生成すればよい。また、下位レイヤ符号化部１３は、最も品質の低い映像に対してシングルストリーム符号化を行えばよく、上位レイヤ符号化部１２は、最も品質の高い映像と、２番目に品質の高い映像と、のそれぞれに対してシングルストリーム符号化を行えばよい。また、下位レイヤストリーム送出部１５は、最も品質の低い映像のシングルストリーム符号化の結果を多重化するとともに、最も品質の低い映像のシングルストリーム符号化の結果におけるＰＴＳやＤＴＳやＰＣＲなどの情報を取得すればよい。また、上位レイヤストリーム送出部１４は、最も品質の低い映像のシングルストリーム符号化の結果におけるＰＴＳやＤＴＳやＰＣＲなどの情報を基準として、最も品質の高い映像と、２番目に品質の高い映像と、をそれぞれ多重化すればよい。
【００９９】
また、上述の第１実施形態では、スケーラブル受信装置２は、上位レイヤ多重化信号ＳＩ２および下位レイヤ多重化信号ＳＩＧ３の２種類の多重化信号について、多重分離および復号して出力するものとした。しかし、これに限らず、例えば３種類や４種類の多重化信号について、多重分離および復号して出力するものとしてもよい。
【０１００】
例えば４種類の多重化信号について多重分離および復号して出力する場合には、上位レイヤストリーム受信部２１は、最も品質の高い映像についての多重化信号と、２番目に品質の高い映像についての多重化信号と、３番目に品質の高い映像についての多重化信号と、を多重分離するとともに、それぞれにおけるＰＴＳやＤＴＳやＰＣＲなどの情報を取得し、上位レイヤ復号部２３は、上位レイヤストリーム受信部２１により多重分離された結果をそれぞれ復号すればよい。また、下位レイヤストリーム受信部２２は、最も品質の低い映像についての多重化信号を多重分離するとともに、それにおけるＰＴＳやＤＴＳやＰＣＲなどの情報を取得し、下位レイヤ復号部２４は、下位レイヤストリーム受信部２２により多重分離されたた結果を復号すればよい。また、スケーラブル映像合成部２５は、上位レイヤ復号部２３による復号結果のそれぞれから差分信号をそれぞれ生成し、それぞれの差分信号と、下位レイヤ復号部２４による復号結果をアップサンプルした映像と、を加算して、最も品質の高い出力映像と、２番目に品質の高い出力映像と、３番目に品質の高い出力映像と、を出力するとともに、下位レイヤ復号部２４による復号結果を最も品質の低い出力映像として出力すればよい。
【０１０１】
また、シングルストリーム符号化方式を用いて伝送する映像を、上述の第１実施形態では解像度スケーラビリティを有する映像とし、上述の第２実施形態では時間スケーラビリティを有する映像とし、上述の第３実施形態では画質スケーラビリティを有する映像としたが、これに限らず、これらを複数組み合わせた映像としてもよい。具体的には、例えば、偶数フレームでは解像度スケーラビリティを有する映像とし、奇数フレームでは時間スケーラビリティを有する映像としてもよい。この場合には、偶数フレームでは、第１実施形態において説明した処理を行い、奇数フレームでは、第２実施形態において説明した処理を行えばよい。
【符号の説明】
【０１０２】
ＡＡ、ＢＢ、ＣＣ・・・スケーラブル送受信システム
１、１Ａ、１Ｂ・・・スケーラブル伝送装置
２、２Ａ、２Ｂ・・・スケーラブル受信装置
１１、１１Ａ、１１Ｂ・・・スケーラブル映像生成部
１２・・・上位レイヤ符号化部
１３・・・下位レイヤ符号化部
１４、１４Ａ・・・上位レイヤストリーム送出部
１５・・・下位レイヤストリーム送出部
２１・・・上位レイヤストリーム受信部
２２・・・下位レイヤストリーム受信部
２３・・・上位レイヤ復号部
２４・・・下位レイヤ復号部
２５、２５Ａ、２５Ｂ・・・スケーラブル映像合成部
１１１、１１１Ａ、１１１Ｂ・・・下位レイヤ映像生成部
１１２・・・スケーラブル差分映像生成部
１１２Ａ・・・上位レイヤ映像生成部
【図１】
2015142268.tif 000003
【図２】
2015142268.tif 000004
【図３】
2015142268.tif 000005
【図４】
2015142268.tif 000006
【図５】
2015142268.tif 000007
【図６】
2015142268.tif 000008
【図７】
2015142268.tif 000009
【図８】
2015142268.tif 000010
【図９】
2015142268.tif 000011
【図１０】
2015142268.tif 000012
【図１１】
2015142268.tif 000013
【図１２】
2015142268.tif 000014