(57)【要約】  受信装置は、ジッタを補償する必要がない第１伝送経路にて受信した第１信号を蓄積して出力する第１バッファと、ジッタを補償する必要がある第２伝送経路にて受信した第２信号を蓄積して出力する第２バッファと、前記第２バッファにおいてアンダーフローが発生する可能性があるか否かを監視し、アンダーフローが発生する可能性がある場合に、前記第１バッファの余剰バッファサイズ及び前記第２バッファの余剰バッファサイズに基づいて前記第１バッファ及び前記第２バッファの制御方法を決定する制御管理部と、前記制御管理部により決定された前記第１バッファ及び前記第２バッファの制御方法に基づいて前記第１バッファ及び前記第２バッファを制御する制御部と、を備える。
2014162748.tif 000002
【特許請求の範囲】
【請求項１】
ジッタを補償する必要がない第１伝送経路にて受信した第１信号を蓄積して出力する第１バッファと、
ジッタを補償する必要がある第２伝送経路にて受信した第２信号を蓄積して出力する第２バッファと、
前記第２バッファにおいてアンダーフローが発生する可能性があるか否かを監視し、アンダーフローが発生する可能性がある場合に、前記第１バッファの余剰バッファサイズ及び前記第２バッファの余剰バッファサイズに基づいて前記第１バッファ及び前記第２バッファの制御方法を決定する制御管理部と、
前記制御管理部により決定された前記第１バッファ及び前記第２バッファの制御方法に基づいて前記第１バッファ及び前記第２バッファを制御する制御部と、
を備える受信装置。
【請求項２】
前記制御管理部は、更に、前記第１信号と前記第２信号との同期に必要な精度に係る制御情報に基づいて、前記制御方法の決定を行う
請求項１記載の受信装置。
【請求項３】
前記制御管理部は、更に、前記第１信号の許容可能なＥｎｄ−ｔｏ−Ｅｎｄ遅延時間に係る情報に基づいて、前記制御方法の決定を行う
請求項１記載の受信装置。
【請求項４】
第１伝送経路から受信した第１信号を蓄積して出力する第１バッファと、
第２伝送経路から受信した第２信号を蓄積して出力する第２バッファと、
前記第１信号に含まれる時刻情報と前記第２信号に含まれる時刻情報とに基づいて、前記第１信号と前記第２信号との同期に係る前記第１バッファ及び前記第２バッファの同期制御を行う制御部と、
前記制御部による前記同期制御に応じて、同期に係る報知を行う報知部と、
を備える受信装置。
【請求項５】
前記制御部は、視聴者による入力内容に基づいて前記同期制御を行う
請求項４記載の受信装置。
【請求項６】
ジッタを補償する必要がない第１伝送経路にて受信した第１信号を蓄積して出力する第１バッファと、ジッタを補償する必要がある第２伝送経路にて受信した第２信号を蓄積して出力する第２バッファと、を備える受信装置において行われる受信方法であって、
前記第２バッファにおいてアンダーフローが発生する可能性があるか否かを監視し、アンダーフローが発生する可能性がある場合に、前記第１バッファの余剰バッファサイズ及び前記第２バッファの余剰バッファサイズに基づいて前記第１バッファ及び前記第２バッファの制御方法を決定し、
決定された前記第１バッファ及び前記第２バッファの制御方法に基づいて前記第１バッファ及び前記第２バッファを制御する
受信方法。
【請求項７】
第１伝送経路から受信した第１信号を蓄積して出力する第１バッファと、第２伝送経路から受信した第２信号を蓄積して出力する第２バッファと、を備える受信装置において行われる受信方法であって、
前記第１信号に含まれる時刻情報と前記第２信号に含まれる時刻情報とに基づいて、前記第１信号と前記第２信号との同期に係る前記第１バッファ及び前記第２バッファの同期制御を行い、
前記同期制御に応じて、同期に係る報知を行う
受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる伝送経路を用いて伝送された信号に基づくサービスの提供技術に関する。【０００２】
２０１３年４月１３日出願の特願２０１３−０７９８９７、２０１３年６月６日出願の米国仮出願６１／８３１９４１に含まれる、特許請求の範囲、明細書、図面及び要約書の開示内容はすべて本願に援用される。
【背景技術】
【０００３】
近年、異なる伝送経路を用いて伝送される放送と通信とを連携させた様々なサービスが提案されている。【０００４】
このようなサービスを享受する装置として、例えば、次のような受信装置が提案されている（例えば、特許文献１、２、３参照）。【０００５】
受信装置は、放送コンテンツをデジタル放送信号から受信し、放送コンテンツに連動した通信コンテンツを通信ネットワークから受信し、放送コンテンツと通信コンテンツとを同期させて提示する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−９３３２号公報
【特許文献２】特開２０１３−９３５９号公報
【特許文献３】特開２０１３−９３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、放送と通信とを連携させたサービスのより好ましい形態を検討し、放送と通信とを連携させたサービスの品質の向上を図ることは重要である。【０００８】
なお、放送と通信との連携サービスに限らず、通信と通信との連携サービス、放送と放送との連携サービス等、また、異なる３つ以上の伝送経路を用いた連携サービスに関しても、同様である。【０００９】
そこで、本発明は、異なる伝送経路を用いた連携サービスの品質向上を図ることを可能にする受信装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一態様に係る受信装置は、ジッタを補償する必要がない第１伝送経路にて受信した第１信号を蓄積して出力する第１バッファと、ジッタを補償する必要がある第２伝送経路にて受信した第２信号を蓄積して出力する第２バッファと、前記第２バッファにおいてアンダーフローが発生する可能性があるか否かを監視し、アンダーフローが発生する可能性がある場合に、前記第１バッファの余剰バッファサイズ及び前記第２バッファの余剰バッファサイズに基づいて前記第１バッファ及び前記第２バッファの制御方法を決定する制御管理部と、前記制御管理部により決定された前記第１バッファ及び前記第２バッファの制御方法に基づいて前記第１バッファ及び前記第２バッファを制御する制御部と、を備える。
【発明の効果】
【００１１】
上記の受信装置によれば、異なる伝送経路を用いた連携サービスの品質向上を図ることが可能になる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１に係る受信装置１の構成を示すブロック図。
【図２】図１のバッファ１３及びバッファ２２の一構成例を示すブロック図。
【図３】図１の受信装置１におけるコンテンツ提示の状態遷移の一例を示す図。
【図４】図１の受信装置１における放送コンテンツと通信コンテンツとの同期提示方法の一例を説明するための信号イメージを示す図。
【図５】図１の受信装置１による放送コンテンツと通信コンテンツとの同期提示方法の処理動作の一例を示すフローチャート。
【図６】同期提示方法の他の例を説明するための信号イメージを示す図。
【図７】同期提示方法の更に他の例を説明するための信号イメージを示す図。
【図８】同期提示方法の処理動作の他の例を示すフローチャート。
【図９】実施の形態１の一の変形例に係る受信装置１Ａの構成を示すブロック図。
【図１０】実施の形態１の他の変形例に係る受信装置１Ｂの構成を示すブロック図。
【図１１】設定メニュー画面の一例を示す図。
【図１２】同期提示方法設定画面の一例を示す図。
【図１３】同期提示マニュアル設定画面の一例を示す図。
【図１４】本発明の実施の形態２に係る受信装置１００の構成を示すブロック図。
【図１５】図１４の制御管理部１４１の一構成例を示すブロック図。
【図１６】図１４の受信装置１００の放送通信受信開始後の遅延バッファ及びデジッタバッファの初期動作の一例を示すフローチャート。
【図１７】図１４の制御方法決定部１７４による制御方法決定動作の一例を示すフローチャート。
【図１８】実施の形態２の一の変形例に係る受信装置１００Ａの構成を示すブロック図。
【発明を実施するための形態】
【００１３】
（発明の基礎となった知見１）
特許文献１に記載の受信装置は、放送コンテンツをデジタル放送信号から受信し、放送コンテンツに連動した通信コンテンツを通信ネットワークから受信する。そして、受信装置は、受信した放送コンテンツを一時的に第１同期用バッファに格納し、受信した通信コンテンツを一時的に第２同期用バッファに格納する。受信装置は、命令実行部により指定された時間に応じて、第１同期用バッファ及び第２同期用バッファのいずれか一方から出力されるコンテンツの出力時間を制御し、放送コンテンツ及び通信コンテンツのいずれか一方の提示を遅延させる。これにより、受信時刻が異なる放送コンテンツと通信コンテンツとを同期して提示することを可能としている。
【００１４】
また、特許文献２に記載の受信装置は、放送コンテンツの提示を遅延させることによって放送コンテンツと通信コンテンツとの提示を同期させる。この受信装置において、外部からの操作又は外部からの制御信号を契機に通信コンテンツを取得し、通信コンテンツの取得完了後に放送コンテンツを通常提示しているときの提示時刻よりも遅延させて提示する遅延提示を開始する。これにより、通信コンテンツの取得中も、放送コンテンツを通常提示することを可能としている。
【００１５】
上述した特許文献１及び特許文献２に記載された従来の受信装置では、放送コンテンツを再生し、通信コンテンツを再生していない状態から、放送コンテンツと通信コンテンツとの両方を再生する状態に切り替える際に、放送コンテンツの受信時刻に対する通信コンテンツの受信時刻の遅延時間に応じて、放送コンテンツの提示を遅延させる必要がある。これにより、視聴者に提示される放送コンテンツは、一時的に途切れることになる。これは、放送コンテンツの受信時刻に対する通信コンテンツの受信時刻の遅延時間が大きい程、視聴者に大きな影響を与えることになる。
【００１６】
また、通信コンテンツの受信時刻に対して放送コンテンツの受信時刻が遅延している場合も同様の課題が発生する。すなわち、通信コンテンツを再生し、放送コンテンツを再生していない状態から、通信コンテンツと放送コンテンツとの両方を再生する状態に切り替える際に、通信コンテンツの受信時刻に対する放送コンテンツの受信時刻の遅延時間に応じて、通信コンテンツの提示を遅延させる必要がある。これにより、視聴者に提示される通信コンテンツは、一時的に途切れることになる。これは、通信コンテンツの受信時刻に対する放送コンテンツの受信時刻の遅延時間が大きい程、視聴者に大きな影響を与えることになる。
【００１７】
しかしながら、これまでのところ、この課題に対する技術的な解決策が検討されていない。
【００１８】
そこで、発明者らは、この課題に対する技術的な解決策を検討した。
【００１９】
この検討の結果、発明者らは、例えば、放送コンテンツの提示を遅延させる前後又は通信コンテンツの提示を遅延させる前後で放送と通信との同期に関する通知を視聴者に行うことにより、視聴者に与える影響の軽減が図られるとの知見を得た。
【００２０】
以下、この知見に基づいて得た解決策に基づく実施の形態等について説明する。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１に係る放送通信連携受信装置である受信装置１の構成を示すブロック図である。
【００２２】
受信装置１は、デジタル放送受信部１１、分離部１２、バッファ１３、復号部１４、通信送受信部２１、バッファ２２、復号部２３、コンテンツ生成部３１、通信送受信部４１、操作入力部４２、及び制御部５１を備える。
【００２３】
但し、受信装置１は、例えば、テレビ受信機、ポータブルテレビ、レコーダ、セットトップボックス、スマートフォン、タブレット等のデバイスである。
【００２４】
デジタル放送受信部１１は、外部の放送アンテナ３によって受信されたデジタル放送信号を入力とする。そして、デジタル放送受信部１１は、デジタル放送信号から所望のチャネルを選局し、選局した所望のチャネルのデジタル放送信号に対して復調処理及び誤り訂正処理等を行い、トランスポートストリームを生成して分離部１２へ出力する。なお、受信装置１が放送アンテナ３を内部に備えるようにしてもよい。
【００２５】
但し、デジタル放送とは、例えば、地上デジタル放送、ＢＳ（Ｂｒｏａｄｃａｓｔｉｎｇ  Ｓａｔｅｌｌｉｔｅ）デジタル放送、ＣＳ（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓａｔｅｌｌｉｔｅ）デジタル放送、ケーブルテレビ、光ファイバ等のＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）網を用いた放送などである。
【００２６】
分離部１２は、デジタル放送受信部１１によって生成されたトランスポートストリームを、映像データ、音声データ及びデータ放送等に分離する。また、分離部１２はトランスポートストリームに含まれる各種制御情報を取得する。
【００２７】
トランスポートストリームに含まれる制御情報には、例えば、システム情報であるＰＳＩ（Ｐｒｏｇｒａｍ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ）、ＳＩ（Ｓｅｒｖｉｃｅ  Ｉｎｆｏｒｍａｔｉｏｎ）、同期情報であるＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）、アプリケーションに関する情報であるアプリケーションデータテーブル（Ａｐｐｌｉｃａｔｉｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔａｂｌｅ：ＡＩＴ）がある。ＡＩＴには、例えば、アプリケーションを特定するアプリケーションＩＤ、アプリケーションの起動及び終了等のライフサイクルを制御可能な制御コード、アプリケーションのロケーション情報が記述されている。
【００２８】
また、分離部１２から出力される映像データや音声データ等は、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケットとして構成されている。各ＰＥＳパケットに含まれるＰＥＳヘッダには、同期用の提示時刻情報として、ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）及びＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ）が格納されている。なお、ＰＴＳ及びＤＴＳのいずれか一方、または両方がＰＥＳヘッダに含まれていない場合もある。
【００２９】
分離された映像データや音声データ等は分離部１２からバッファ１３へ出力され、ＰＣＲやＡＩＴ等は分離部１２から制御部５１へ出力される。
【００３０】
バッファ１３は、分離部１２から出力される映像データや音声データ等を格納する。そして、バッファ１３は、制御部５１から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータをＰＥＳパケット単位で復号部１４及び通信送受信部４１の一方又は両方に出力する。なお、バッファ１３については更に図２を用いて後述する。
【００３１】
復号部１４は、バッファ１３から出力された映像や音声等のコンポーネント毎のＰＥＳパケットをエレメンタリーストリーム（ＥＳ）に変換し、ＰＥＳパケットのＰＥＳヘッダからＰＴＳ及びＤＴＳを抽出する。また、復号部１４は、抽出したＰＴＳ及びＤＴＳを制御部５１へ出力する。そして、復号部１４はコンポーネント毎のエレメンタリーストリームを復号し、コンテンツ生成部３１へ出力する。但し、映像コンテンツの復号前のピクチャフレームの順番と復号後のピクチャフレームの順番が異なる場合は、復号部１４は内部に備えるバッファを用いて順番の入れ替えを行った後、コンテンツ生成部３１へ出力する。
【００３２】
通信送受信部２１は、通信ネットワーク経由で、放送事業者に関連する事業者または他の事業者が提供するコンテンツサーバからアプリケーション及びＡＶコンテンツを取得する。また、通信送受信部２１は、通信ネットワーク経由で、ＡＩＴ等の制御情報を取得する場合もある。通信事業者から提供されるＡＶコンテンツには、ファイルデータ、映像データ、及び音声データ等がある。通信送受信部２１は、取得したアプリケーション及び制御情報を制御部５１へ出力する。通信送受信部２１は、取得したＡＶコンテンツをバッファ２２へ出力する。
【００３３】
通信送受信部２１及び後述する通信送受信部４１は、例えば、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＰＬＣ（Ｐｏｗｅｒ  Ｌｉｎｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、及びＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）等の通信規格に準拠した通信方法を用いて通信を行う。但し、通信送受信部２１と通信送受信部４１とは同一の構成であってもよいし、別の構成であってもよい。
【００３４】
バッファ２２は、通信送受信部２１から出力されるＡＶコンテンツのコンテンツデータを格納する。そして、バッファ２２は、制御部５１から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータをＰＥＳパケット単位で復号部２３及び通信送受信部４１の一方又は両方に出力する。なお、バッファ２２については更に図２を用いて後述する。
【００３５】
復号部２３は、バッファ２２から出力された映像や音声等のコンポーネント毎のＰＥＳパケットをエレメンタリーストリーム（ＥＳ）に変換し、ＰＥＳパケットのＰＥＳヘッダからＰＴＳ及びＤＴＳを抽出する。また、復号部２３は、抽出したＰＴＳ及びＤＴＳを制御部５１へ出力する。そして、復号部２３はコンポーネント毎のエレメンタリーストリームを復号し、コンテンツ生成部３１へ出力する。但し、映像コンテンツの復号前のピクチャフレームの順番と復号後のピクチャフレームの順番が異なる場合は、復号部２３は内部に備えるバッファを用いて順番の入れ替えを行った後、コンテンツ生成部３１へ出力する。  コンテンツ生成部３１は、復号部１４から出力された各コンポーネント（映像、音声、字幕等）のコンテンツデータと、復号部２３から出力された各コンポーネント（映像、音声及び字幕等）のコンテンツデータとを用い、制御部５１の指示に従ってサービスの提示コンテンツを生成する。コンテンツ生成部５１で生成された提示コンテンツは外部の提示部５へ出力され、提示部５にて提示される。なお、受信装置１が提示部５を内部に備えるようにしてもよい。
【００３６】
通信送受信部４１は、提示部５とは異なるコンテンツ提示装置、及び視聴者が操作する入力インターフェースとの間で通信を実行する。コンテンツ提示装置には、例えば、テレビ受信機、ポータブルテレビ、スマートフォン、及びタブレット等がある。通信送受信部４１は、バッファ１３、２２から出力されたＰＥＳパケットをコンテンツ提示装置に送信する。また、通信送受信部４１は、制御部５１から受け付けたデータをコンテンツ提示装置に送信する。入力インターフェースには、例えば、リモコン、タブレット端末、スマートフォン、パーソナルコンピュータのキーボード、マウス、カメラ、及びマイク等がある。また、通信送受信部４１は、入力インターフェースから受け付けた入力内容を操作入力部４２又は制御部５１に出力する。なお、コンテンツ提示装置と入力インターフェースは同一の装置であってもよいし、異なる装置であってもよい。
【００３７】
操作入力部４２は、外部の入力インターフェース、又は、内蔵された入力インターフェースから、視聴者による入力インターフェースを用いた操作に応じた制御信号を取得し、取得した制御信号に対応する制御情報を制御部５１に伝える。入力インターフェースには、例えば、リモコン、タブレット端末、スマートフォン、パーソナルコンピュータのキーボード、マウス、カメラ、及びマイク等がある。視聴者による入力インターフェースを用いた操作とは、例えば、物理的または画面上に仮想的に配置されたボタンの押下、ジェスチャ、音声による操作、及びそれらの組み合わせ等である。また、入力インターフェースからの制御信号は、通信送受信部４１を介して操作入力部４２に入力されてもよいし、通信送受信部４１を介して制御部５１に直接入力されてもよい。入力インターフェースからの制御信号が通信送受信部４１を介して制御部５１に直接入力される場合は、受信装置１は操作入力部４２を備えていなくてもよい。
【００３８】
制御部５１は、分離部１２から出力されたＰＣＲを用いて基準クロック信号を生成する。この生成された基準クロック信号は、バッファ１３、２２の出力タイミングの制御などに利用される。
【００３９】
制御部５１は、復号部１４から出力されるＰＴＳを用いて、放送で送られてきた各コンテンツ（映像コンテンツ、音声コンテンツ等）間の出力タイミングを合わせるための制御情報を生成し、バッファ１３内の後述するＰＥＳバッファ７１へ出力する。また、制御部５１は、復号部２３から出力されるＰＴＳを用いて、通信で送られてきた各コンテンツ（映像コンテンツ、音声コンテンツ等）間の出力タイミングを合わせるための制御情報を生成し、バッファ２２内の後述するＰＥＳバッファ７１へ出力する。
【００４０】
さらに、制御部５１は、復号部１４から出力されるＰＴＳと復号部２３から出力されるＰＴＳとを用いて放送コンテンツと通信コンテンツとの間の遅延時間を算出する。そして、算出した遅延時間を基に放送コンテンツと通信コンテンツとの出力タイミングを合わせるための制御情報を生成し、バッファ１３内の後述する同期用バッファ７２及びバッファ２２内の後述する同期用バッファ７２へ出力する。また、制御部５１は、視聴者に対する放送コンテンツと通信コンテンツとの同期に係る報知（同期提示報知）の指示をコンテンツ生成部３１に行う。
【００４１】
なお、同期提示報知は、例えば、放送コンテンツの後述する通常提示から後述する遅延提示に切り替わる際の不連続映像の提示の発生の視聴者に対する報知や映像の重複提示の発生の視聴者に対する報知等である。この同期提示報知に関しては具体例を含め後述する。
【００４２】
以下、バッファ１３及びバッファ２２の一構成例について図２を用いて説明する。なお、バッファ１３とバッファ２２とは同じ構成のものを利用することができるのでまとめて説明する。
【００４３】
図２は、図１のバッファ１３及びバッファ２２の一構成例を示すブロック図である。
【００４４】
バッファ１３、２２は、ＰＥＳバッファ７１、及び同期用バッファ７２を備える。
【００４５】
ＰＥＳバッファ７１は、映像コンテンツや音声コンテンツ等のコンテンツ間の出力タイミングを揃えるためのバッファである。ＰＥＳバッファ７１は、映像コンテンツや音声コンテンツ等の各コンテンツをＰＥＳパケットに変換し、制御部５１によって制御情報にて指示された出力タイミングでＰＥＳ単位のコンテンツデータを出力する。
【００４６】
同期用バッファ７２は、放送コンテンツと通信コンテンツ間の出力タイミングを揃えるためのバッファである。同期用バッファ７２は、制御部５１によって制御情報にて指示されたタイミングでＰＥＳ単位のコンテンツデータを出力する。
【００４７】
但し、ＰＥＳバッファ７１及び同期用バッファ７２は任意の遅延時間及び任意の出力タイミングでＰＥＳ単位のコンテンツデータを出力することが可能であり、遅延時間及び出力タイミングは全て制御部５１の指示に従う。
【００４８】
以下に、放送コンテンツと通信コンテンツとの出力タイミングを合わせて放送コンテンツと通信コンテンツとを提示する同期提示方法について説明する。
【００４９】
放送通信連携サービスには、ＨＴＭＬ５などのアプリケーションにより放送と通信の連携を制御する方法と、アプリケーションを介在せずに放送と通信の連携を制御する方法がある。なお、以下ではアプリケーションにより放送通信連携サービスを提供する場合を例に説明するが、アプリケーションは、ＨＴＭＬ５アプリケーションでもよいし、受信機のレジデントアプリケーションでもよい。また、レジデントアプリケーションや受信機の機能の一部をＡＰＩとして提供し、ＨＴＭＬ５など他のアプリケーションで制御してもよい。
【００５０】
放送通信連携サービスには、アプリケーションがＡＶコンテンツに連動した従属型サービス、及びアプリケーションがＡＶコンテンツに連動しない独立型サービスがある。また、通信コンテンツには様々なものがある。
【００５１】
以下の説明では、放送コンテンツに連動する従属型サービスにおいて、放送コンテンツに連動する通信コンテンツを提示するユースケースを考える。また、通信コンテンツは、パケットを時間的に先行して取得することのできないリアルタイムなライブ映像のマルチキャスト配信であるとする。
【００５２】
放送コンテンツと通信コンテンツとの同期提示方法の具体例を説明するために用いる、受信装置１におけるコンテンツ提示の状態遷移の一例を図３に示す。
【００５３】
図３の状態遷移図では、受信装置１は、電源ＯＦＦ状態（放送ＯＦＦ／通信ＯＦＦの状態）から開始する。そして、放送コンテンツ提示をＯＮにすることにより、受信装置１は、放送ＯＦＦ／通信ＯＦＦの状態から、放送コンテンツのみを提示している状態（放送ＯＮ／通信ＯＦＦの状態）に遷移する。さらに、受信装置１は、放送ＯＮ／通信ＯＦＦの状態から、通信コンテンツ提示をＯＮにすることにより、放送コンテンツ及び通信コンテンツの両方を提示している状態（放送ＯＮ／通信ＯＮの状態）に遷移する。
【００５４】
以下では、「放送ＯＮ／通信ＯＦＦの状態」を「状態Ａ」と定義し、「放送ＯＮ／通信ＯＮの状態」を「状態Ｂ」と定義する。また、「状態Ａ」から「状態Ｂ」へ遷移することが決定してから遷移が完了するまでの期間を「遷移期間」と定義する。
【００５５】
放送通信連携サービスを提供するためには、アプリケーションが起動していることが前提となる。よって放送通信連携サービスを提供する際にアプリケーションが起動していない場合には、アプリケーションの起動が必要となる。また放送サービスのみを提供するためには、必ずしもアプリケーションが起動している必要はない。
【００５６】
例えば、状態Ａから状態Ｂへ遷移する場合において、状態Ａでアプリケーションが起動していない場合、アプリケーションの起動が必要となる。このとき、アプリケーションは、放送信号の中に含まれるＡＩＴに基づいて起動する。
【００５７】
アプリケーションの起動タイミングとして、放送コンテンツ又は通信コンテンツに格納されているＡＩＴを基に視聴者が明示的に指定する場合、及び、ＡＩＴのアプリケーションの起動情報を基にコンテンツに連動してダイナミックに自動起動する場合等がある。また、アプリケーションの終了タイミングとして、放送コンテンツ又は通信コンテンツに格納されているＡＩＴを基に視聴者が明示的に指定する場合、及び、ＡＩＴのアプリケーションの終了情報を基にコンテンツに連動してダイナミックに自動終了する場合等がある。
【００５８】
放送コンテンツを提示中に通信コンテンツをＯＮにする方法として、放送コンテンツ中に格納されているＡＩＴを基に視聴者が明示的に指定する方法、及び放送コンテンツに格納されているＡＩＴに基づき自動起動する方法等がある。
【００５９】
一般に、通信コンテンツの受信は、放送コンテンツの受信と比較して遅延が大きいため、ライブ映像を放送及び通信で送信する場合、受信側において放送コンテンツに対して通信コンテンツが遅延して受信される。
【００６０】
放送コンテンツを提示中に、通信コンテンツの提示を開始し、放送コンテンツと通信コンテンツとを同期させて提示するためには、放送コンテンツを遅延して提示する必要がある。
【００６１】
図３に示すコンテンツ提示の状態遷移における放送コンテンツと通信コンテンツとの同期提示方法の一例について図４及び図５を用いて説明する。
【００６２】
図４は、図３に示すコンテンツ提示の状態遷移における放送コンテンツと通信コンテンツとの同期提示方法の一例を説明するための信号イメージを示す図である。
【００６３】
図４（ａ）は、遅延なしの放送コンテンツの時間信号を表す。この信号を用いて放送提示を行う場合を「通常提示」と定義する。
【００６４】
図４（ｂ）は、遅延させた放送コンテンツの時間信号を表す。この信号を用いて放送提示を行う場合を「遅延提示」と定義する。なお、図中の「Ｄ」は放送コンテンツの受信時刻に対する通信コンテンツの受信時刻の遅延時間である。
【００６５】
図４（ｃ）は、通信コンテンツの時間信号を表す。
【００６６】
図４（ｄ）は、実際に提示する放送コンテンツの時間信号を表す。
【００６７】
図４（ｅ）は、実際に提示する通信コンテンツの時間信号を表す。
【００６８】
受信装置１は、時刻Ｔ１までの期間、及び通信コンテンツの取得を開始した時刻Ｔ１から通信コンテンツの提示の準備が完了する時刻Ｔ２までの期間、つまり、状態Ａから状態Ｂへの遷移が完了するまでは、放送コンテンツを通常提示する。
【００６９】
そして、受信装置１は、通信コンテンツの提示の準備が完了した時刻Ｔ２以降の期間、つまり、状態Ａから状態Ｂへの遷移が完了した後、放送コンテンツを遅延提示するとともに通信コンテンツを提示する。
【００７０】
このように、状態Ａから状態Ｂへの遷移が完了したタイミングで、放送コンテンツの提示が通常提示から遅延提示に切り替わる。このため、状態Ａから状態Ｂへの遷移が完了したタイミングにおいて、放送コンテンツの提示は不連続な映像等の提示になる。また、遅延提示を開始してからしばらくの期間、放送コンテンツの提示は通常提示にて一回提示された映像等と同じ映像等の重複提示になる。不連続な映像等の提示又は映像等の重複提示は視聴者の視聴に違和感を与え、時には不快感を与える可能性もある。
【００７１】
そのため、受信装置１は、放送コンテンツの重複提示期間に、視聴者に対する放送コンテンツと通信コンテンツとの同期に係る報知（同期提示報知）を行う（例えば、「放送コンテンツと通信コンテンツとの同期をとるために放送コンテンツを重複提示している」旨のメッセージを提示部５に提示する）。
【００７２】
このような同期提示報知を行うことにより、視聴者は、不連続な映像等の提示や映像等の重複提示の理由を把握することが可能になり、視聴者の視聴に与える違和感や不快感を緩和することが可能になる。
【００７３】
図５は、図３に示すコンテンツ提示の状態遷移における受信装置１による放送コンテンツと通信コンテンツとの同期提示方法の処理動作の一例を示すフローチャートである。但し、図５のフローチャートの開始時点では、受信装置１は電源ＯＦＦ状態（放送ＯＦＦ／通信ＯＦＦの状態）にある。
【００７４】
受信装置１は、放送コンテンツ提示をＯＮにすることにより、電源ＯＦＦ状態（放送ＯＦＦ／通信ＯＦＦの状態）から放送ＯＮ／通信ＯＦＦの状態（状態Ａ）に遷移する（ステップＳ１１）。受信装置１は、放送コンテンツの取得を開始して放送コンテンツの通常提示を開始する（ステップＳ１２）。
【００７５】
次に、受信装置１は、アプリケーションの取得を契機に通信コンテンツの取得を開始する（ステップＳ１３）。
【００７６】
受信装置１は、通信コンテンツの提示の準備が完了したか否かを判定する（ステップＳ１４）。通信コンテンツの提示の準備が完了したと判定されるまで（Ｓ１４：Ｎｏ）、ステップＳ１４の処理が行われる。そして、通信コンテンツの提示の準備が完了したと判定された場合（Ｓ１４：Ｙｅｓ）、ステップＳ１５の処理が行われる。なお、通信コンテンツの取得の準備が完了したか否かの判定は、例えば、所定量の通信コンテンツのコンテンツデータがバッファ２０２に蓄積された場合に、通信コンテンツの取得の準備が完了したと判定する。
【００７７】
受信装置１は、制御部５１において、復号後の放送コンテンツのＰＴＳと通信コンテンツのＰＴＳとを比較し、放送コンテンツに対する通信コンテンツの遅延時間を算出する（ステップＳ１５）。
【００７８】
制御部５１は、ステップＳ１５において算出した遅延時間を基に放送コンテンツと通信コンテンツとの出力タイミングを合わせるための制御情報を生成し、バッファ１３内の同期用バッファ７２及びバッファ２２内の同期用バッファ７２へ出力する。バッファ１３内の同期用バッファ７２は制御情報に従ってステップＳ１５で算出された遅延時間に基づいてバッファ出力を遅延させ、バッファ２２内の同期用バッファ７２は制御情報に従ってバッファ出力を行う。これにより、受信装置１は、放送コンテンツの提示を通常提示から遅延提示に切り換えて遅延提示を開始し、同時に、通信コンテンツの提示を開始する。さらに、制御部５１は、同期提示報知用のメッセージ（例えば、「放送コンテンツと通信コンテンツとの同期をとるために放送コンテンツを重複提示している」旨のメッセージ）の提示をコンテンツ生成部３１に指示し、コンテンツ生成部３１はこの指示に基づいて提示部５に同期提示報知用のメッセージの提示を開始する（ステップＳ１６）。
【００７９】
制御部５１は、ステップＳ１５で算出した遅延時間に基づいて放送コンテンツの重複提示が終了したか否かを判定する（ステップＳ１７）。放送コンテンツの重複提示が終了したと判定されるまで（Ｓ１７：Ｎｏ）、ステップＳ１７の処理が行われる。そして、放送コンテンツの重複提示が終了したと判定された場合（Ｓ１７：Ｙｅｓ）、制御部５１は、同期提示報知用のメッセージの提示の終了をコンテンツ生成部３１に指示し、コンテンツ生成部３１はこの指示に基づいて同期報知用のメッセージの提示部５への提示を終了する（ステップＳ１８）。
【００８０】
（実施の形態１の補足）
以下、実施の形態１の補足について記載する。
【００８１】
（１）実施の形態１において説明した放送コンテンツと通信コンテンツとの同期提示方法は一例であり、これに限定されるものではない。
【００８２】
例えば、図６に示す同期提示方法であってもよい。但し、図６（ａ）〜（ｅ）の時間信号は夫々図４（ａ）〜（ｅ）の時間信号と同じ種類のものである。
【００８３】
図４の同期提示方法では、状態の遷移期間に、つまり、通信コンテンツの取得を開始してから通信コンテンツの提示の準備が完了するまでの期間に、放送コンテンツを通常提示する。
【００８４】
これに対して、図６の同期提示方法では、状態の遷移期間、つまり、通信コンテンツの取得を開始してから通信コンテンツの提示の準備が完了するまでの期間に、放送コンテンツの提示を中断して提示部５の画面をブラックアウトさせる。これとともに、受信装置１は、視聴者に対する同期提示報知のために例えば放送コンテンツと通信コンテンツとの同期をとるための待機中であることを示すメッセージを提示部５に提示する。
【００８５】
また、バッファのクロックタイミングの制御方法又は提示タイミングを変えることで様々な同期提示方法が可能であり、例えば図７に示す同期提示方法がある。但し、図７（ａ）〜（ｅ）の時間信号は夫々図４（ａ）〜（ｅ）の時間信号と同じ種類のものである。
【００８６】
図７の同期提示方法では、受信装置１は、通信コンテンツの取得を契機に、放送コンテンツのスロー再生を開始し、通信コンテンツの提示の準備の完了と放送コンテンツの再生時間とを比較しながら、放送コンテンツの遅延提示と通信コンテンツの提示を行う状態に遷移する。これとともに、受信装置１は、視聴者に対する同期提示報知用に例えば放送コンテンツと通信コンテンツとの同期をとるための放送コンテンツのスロー再生中であることを示すメッセージを提示部５に提示する。なお、スロー再生はバッファの出力の時間間隔を広げることによって実現することができる。放送コンテンツはスロー再生により少しずつ遅延調整を行い、遅延調整が完了し、放送コンテンツの提示時刻と通信コンテンツの提示時刻が一致した時刻に、放送コンテンツと通信コンテンツとを同期させて提示する。この場合は通信の提示準備完了時刻と同期提示提示タイミングは一致しない。
再生のタイミングやクロック制御は制御部５１が制御する。また、制御部５１は同期提示方法に応じて、適切な提示や提示タイミングをコンテンツ生成部３１に出力する。
【００８７】
図７の同期提示方法では、放送コンテンツと通信コンテンツとを同期させて提示する際に、これらの提示をよりスムーズにすることができる。
【００８８】
（２）実施の形態１の同期提示方法では、通信コンテンツの準備の完了を契機として放送コンテンツの提示を通常提示から遅延提示に切り換えている。しかしながら、これに限定されるものではなく、例えば放送コンテンツを予め遅延提示させておくようにしてもよく、この一例を図８のフローチャートを用いて説明する。但し、図８のフローチャートの開始時点では、受信装置１は電源ＯＦＦ状態（放送ＯＦＦ／通信ＯＦＦの状態）にある。
【００８９】
受信装置１は、放送コンテンツ提示をＯＮにすることにより、電源ＯＦＦ状態（放送ＯＦＦ／通信ＯＦＦの状態）から放送ＯＮ／通信ＯＦＦの状態に遷移する（ステップＳ５１）。受信装置１は、放送コンテンツの取得を開始して放送コンテンツの通常提示を開始する（ステップＳ５２）。
【００９０】
受信装置１は、放送コンテンツの通常提示中に、第一のアプリケーションとして、放送コンテンツを遅延提示させるアプリケーション（以下、「遅延提示アプリケーション」と言う。）を起動する（ステップＳ５３）。放送の遅延提示タイミングとして、例えば、視聴者が指定したタイミング、及び放送事業者やその他の事業者が通信または放送のＡＩＴで指定したタイミング、或いはＡＩＴに基づいて取得したアプリケーションで指定したタイミング等を挙げることができる。
【００９１】
遅延提示アプリケーションを起動した後、受信装置１は、制御部５１において、通信コンテンツを取得し、復号後の放送コンテンツのＰＴＳと通信コンテンツのＰＴＳとを比較し、放送コンテンツに対する通信コンテンツの遅延時間を算出する（ステップＳ５４）。
【００９２】
制御部５１はステップＳ５４において算出した遅延時間を基にバッファ１３内の同期用バッファ７２の出力遅延を制御し、これにより、受信装置１は、放送コンテンツの提示を通常提示から遅延提示に切り換えて遅延提示を開始する。さらに、制御部５１は、同期提示報知用のメッセージ（例えば、「放送コンテンツと通信コンテンツとの同期をとるために放送コンテンツを重複提示している」旨のメッセージ）の提示をコンテンツ生成部３１に指示し、コンテンツ生成部３１はこの指示に基づいて提示部５に同期提示報知用のメッセージの提示を開始する（ステップＳ５５）。
【００９３】
制御部５１は、ステップＳ５４で算出した遅延時間に基づいて放送コンテンツの重複提示が終了したか否かを判定する（ステップＳ５６）。放送コンテンツの重複提示が終了したと判定されるまで（Ｓ５６：Ｎｏ）、ステップＳ５６の処理が行われる。そして、放送コンテンツの重複提示が終了したと判定された場合（Ｓ５６：Ｙｅｓ）、制御部５１は、同期提示報知用のメッセージの提示の終了をコンテンツ生成部３１に指示し、コンテンツ生成部３１はこの指示に基づいて同期提示報知用のメッセージの提示部５への提示を終了する（ステップＳ５７）。
【００９４】
放送ＯＮ／通信ＯＦＦの状態かつ放送コンテンツの遅延提示中に、受信装置１は、第二のアプリケーションを起動し、これにより通信コンテンツの取得を開始する（ステップＳ５８）。
【００９５】
受信装置１は、通信コンテンツの提示の準備が完了したか否かを判定する（ステップＳ５９）。通信コンテンツの提示の準備が完了したと判定されるまで（Ｓ５９：Ｎｏ）、ステップＳ５９の処理が行われる。そして、通信コンテンツの提示の準備が完了したと判定された場合（Ｓ５９：Ｙｅｓ）、受信装置１は、通信コンテンツの提示を開始する（ステップＳ６０）。
【００９６】
遅延提示の可能性のあるプログラムの場合、放送受信の開始時、選局時、又はＣＭ（コマーシャル）のタイミング等、視聴者の違和感が小さいタイミングで放送コンテンツを予め遅延提示させておくことにより、放送コンテンツと通信コンテンツとのスムーズな同期提示が可能になる。
【００９７】
なお、例えば、放送コンテンツの遅延提示を開示させるタイミング（例えば放送受信の開始時や選局時）によっては同期提示報知用のメッセージを提示しないようにしてもよい。
【００９８】
（３）実施の形態１で説明した同期提示方法における視聴者に対する放送コンテンツと通信コンテンツとの同期提示に係る報知（同期提示報知）の内容及び期間は一例であり、これに限定されるものではない。
【００９９】
以下に、同期提示報知について、実施の形態１で記載した内容を含めて説明する。
【０１００】
同期提示報知の内容として、例えば、放送コンテンツと通信コンテンツとの同期提示に係るメッセージの提示、及び不連続映像のアニメーションの提示などがある。
【０１０１】
具体的には、例えば下記のように提示する。
【０１０２】
・設定されている同期提示方法を視聴者に示すメッセージ又はアイコン等を表示する。
【０１０３】
・不連続な映像表示が発生すること、または、不連続な映像表示が発生したことを視聴者に示すメッセージ又はアイコン等を表示する。
【０１０４】
・映像が重複提示されていることを視聴者に示すメッセージ又はアイコン等を表示する。
【０１０５】
・不連続な表示を解消するために、映像の間にアニメーションの機能を入れる。
【０１０６】
なお、メッセージ又はアイコン等の表示の他に、テロップ表示や音声出力などがある。また、外部のデバイスを用いて提示しても良い。
【０１０７】
同期提示報知のタイミング又は期間として、例えば、放送コンテンツの重複提示が行われている期間、通信コンテンツの取得を開始してから放送コンテンツの重複提示が終了するまでの期間、アプリケーションの起動タイミング、通信コンテンツの準備が完了したタイミングなど、受信装置１のイベントに応じたタイミングや期間などがある。また、視聴者のインターフェース操作によるタイミングなどもある。なお、視聴者が同期提示報知を許可する間のみ同期提示報知を行うようにしてもよい。
【０１０８】
制御部５１が、例えば、アプリケーションで指定された同期提示方法、又は、予め定められたルール、又は、受信装置の設定等に従って、同期提示報知の内容やタイミング又は期間を決定し、コンテンツ生成部３１に指示する。コンテンツ生成部３１は、制御部５１の指示に従って決定されたタイミング又は期間において決定された内容の同期提示報知を実行する。なお、受信装置の設定は視聴者が行うことができてもよいし、行うことができなくてもよい。
【０１０９】
また、放送や通信に同期提示報知の内容やタイミング又は期間を指示する制御信号を埋め込むなど、放送事業者又は放送事業者に関連する事業者又は他の事業者が同期提示報知の内容やタイミング又は期間をコンテンツに応じて指示できるようなものであってもよい。
【０１１０】
（４）実施の形態１では、通信コンテンツの取得タイミングはアプリケーションの取得タイミングと同じであるとして説明したが、これに限定されるものではなく、別のタイミングであってもよい。なお、通信コンテンツの取得のタイミングは、例えばアプリケーションの指示に従う。
【０１１１】
（５）実施の形態１では、受信装置１の状態遷移が図３に一例を示す状態遷移であるとして説明したが、これに限定されるものではなく、例えば次のようなものであってもよい。
【０１１２】
受信装置１は、放送コンテンツの通常提示、且つ、コンテンツに連動しない独立通信アプリケーションの起動中の状態（放送ＯＮ／通信独立アプリＯＮ／連動アプリＯＦＦの状態）から、放送に連動するアプリケーションが起動した状態（放送ＯＮ／通信独立アプリＯＮ／連動アプリＯＮの状態）への、状態遷移においても、放送コンテンツを遅延させる必要がある。この場合においても、実施の形態１及び実施の形態１の補足で説明する同期提示方法や同期提示方法における同期提示報知と実質的に同じ内容を適用することが可能である。
【０１１３】
（６）実施の形態１や実施の形態１の補足の（２）では、放送コンテンツと通信コンテンツの遅延時間を算出するために、復号後に出力されるＰＴＳを用いて計算している。しかしながら、これに限定されるものではなく、ＤＴＳを用いて計算してもよいし、ＰＴＳとＤＴＳの２つの情報を用いて計算してもよい。また、復号前のＰＴＳやＤＴＳを用いて計算してもよい。また、ＰＣＲや、ＰＣＲに基づいて生成されたクロック（ＳＴＣ）、ＰＴＳ，ＤＴＳを用いて計算してもよい。基準クロックがＮＴＰである場合は、ＮＴＰを用いて計算してもよいし、放送コンテンツと通信コンテンツが異なる基準クロックを用いている場合には、それぞれの基準クロックの対応関係を示すタイムライン補助情報を用いて計算してもよい。
【０１１４】
また、バッファの制御タイミングは、ＰＴＳやＤＴＳの算出する場所やバッファの位置を勘案して算出する。ＰＴＳやＤＴＳの算出する場所やバッファの位置が異なる例として次のような構成を用いることができる。
【０１１５】
実施の形態１は、復号部１４においてＰＴＳやＤＴＳを抽出したが、ＰＥＳパケットからＥＳへの変換、及びＰＴＳ，ＤＴＳの抽出は、復号部１４でなく、バッファ１３におけるＰＥＳバッファ７１において処理してもよい。この場合、バッファ１３においてＰＥＳバッファ７１と同期用バッファ７２の位置は逆であることが望ましい。ＰＥＳバッファ７１は、抽出したＰＴＳ及びＤＴＳを制御部５１へ出力する。ＰＥＳバッファ７1は、制御部５１から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータを復号部１４及び通信送受信部４１の一方又は両方に出力する。同様に、ＰＥＳパケットからＥＳへの変換、及びＰＴＳ，ＤＴＳの抽出は、復号部２３でなく、バッファ２２におけるＰＥＳバッファ７１において処理してもよい。この場合、バッファ２２においてＰＥＳバッファ７１と同期用バッファ７２の位置は逆であることが望ましい。ＰＥＳバッファ７１は、抽出したＰＴＳ及びＤＴＳを制御部５１へ出力する。ＰＥＳバッファ７１は、制御部５１から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータを復号部２３及び通信送受信部４１の一方又は両方に出力する 。なお、以上の構成は、後述する実施の形態２で説明する構成と同等であり、図２におけるＰＥＳバッファ７１は、図１４及び図１８における分離バッファ１１４に相当する。
【０１１６】
（７）実施の形態１では、制御部５１から指示されたタイミングで映像や音声等のコンポーネント毎のコンテンツデータをＰＥＳパケット単位で通信送受信部４１に出力し、通信送受信部４１は、コンテンツデータ及び、制御部５１から受け付けたデータをコンテンツ提示装置に送信すると説明したが、より具体的には、通信送受信部４１では、映像や音声等のコンポーネント毎のアクセスユニットやＰＥＳパケット、及び制御部５１から入力された制御情報やクロック情報を、特定の多重化方式を用いて再多重した後に、連携端末に送信する。多重化方式には、ＭＰ４，ＭＰＥＧ２−ＴＳ、ＭＰＥＧ−ＤＡＳＨ、ＭＭＴなどがある。
【０１１７】
（８）実施の形態１では、放送コンテンツに対して通信コンテンツが一定の時間で遅延しているとしたが、通信コンテンツに対して放送コンテンツが遅延している場合も考えられる。この場合は、放送コンテンツの提示が通常提示の１パターンとなり、通信コンテンツの提示が通常提示と遅延提示の２パターンとなる。なお、この点を除いて、実施の形態１及び実施の形態１の補足で説明する同期提示方法や同期提示方法における同期提示報知と実質的に同じ内容を適用することが可能である。
【０１１８】
実施の形態１では、放送コンテンツに対して通信コンテンツが一定の時間で遅延しているとしたが、例えば、通信伝送路における伝送ジッタの影響により、放送コンテンツに対する通信コンテンツの遅延時間が一定でない場合、バッファを適切に制御して、放送コンテンツと通信コンテンツとの同期提示を行う。
【０１１９】
（９）実施の形態１では、放送ＯＮ／通信ＯＦＦの状態から放送ＯＮ／通信ＯＮの状態への遷移に関して説明したが、放送ＯＮ／通信ＯＮの状態から放送ＯＮ／通信ＯＦＦの状態への遷移もある。
【０１２０】
この放送ＯＮ／通信ＯＮの状態から放送ＯＮ／通信ＯＦＦの状態への遷移において、放送コンテンツの提示を遅延提示から通常提示に切り換えるような場合には、放送コンテンツの不連続な提示の発生や放送コンテンツの提示の一部の欠落の発生が起こる。
【０１２１】
このため、受信装置１は、放送コンテンツの不連続な提示の発生や放送コンテンツの提示の一部の欠落の発生等を内容とする同期提示報知を視聴者に対して行うようにしてもよい。
【０１２２】
なお、制御部５１が同期提示報知の内容やタイミング又は期間を決定し、コンテンツ生成部３１に指示する。そして、コンテンツ生成部３１は指示されたタイミング又は期間で指示された内容の報知を実行する。
【０１２３】
（１０）実施の形態１では、図１を用いて放送コンテンツと通信コンテンツとを同期して提示する場合について説明したが、これに限定されるものではなく、例えば、次のようなものであってもよい。
【０１２４】
１つのコンテンツを２つの異なる伝送経路で送信する場合、受信装置の構成を例えば２つの伝送経路から受信するコンテンツを同期して１つの復号部で復号する図９に示す構成とすることができる。但し、図９において、図１の構成ユニットと実質的に同じ処理を行う構成ユニットには同じ符号を付している。
【０１２５】
図９に示す受信装置１Ａにおいて、復号部１４Ａは、バッファ１３及びバッファ２２の出力を入力とし、夫々からの入力データを復号して、コンテンツ生成部３１Ａに出力する。コンテンツ生成部３１Ａは、復号部１４Ａの出力を入力とし、入力データを用いて制御部５１の指示に従ってサービスの提示コンテンツを生成する。
【０１２６】
放送を用いて主映像を送信し、通信を用いて拡張情報を送信する場合、受信装置の構成を例えば主映像を一の復号部で復号し、主映像と拡張映像とを他の復号部で復号する図１０に示す構成とすることができる。但し、図１０において、図１の構成ユニットと実質的に同じ処理を行う構成ユニットには同じ符号を付している。
【０１２７】
図１０に示す受信装置１Ｂにおいて、復号部１４Ｂは、バッファ１３の出力を入力とし、入力データを復号して、コンテンツ生成部３１Ｂに出力する。コンテンツ生成部３１Ｂは、復号部１４Ｂの出力を入力とし、入力データを用いて制御部５１の指示に従って非拡張映像等の提示コンテンツを生成して提示部５に出力する。
【０１２８】
復号部２３Ｂは、バッファ１３及びバッファ２２の出力を入力とし、入力データを復号して、コンテンツ生成部３２Ｂに出力する。コンテンツ生成部３２Ｂは、復号部１４Ｂの出力と復号部２３Ｂの出力とを入力とし、夫々からの入力データを用いて制御部５１の指示に従って拡張映像等の提示コンテンツを生成して提示部５Ｂに出力する。
【０１２９】
図９及び図１０の何れの場合においても、実施の形態１及び実施の形態１の補足で説明する同期提示方法や同期提示方法における同期提示報知と実質的に同じ内容を適用することが可能である。
【０１３０】
（１１）放送と通信との間で受信に時間差が生じていたとしても、コンテンツによっては放送と通信との間で同期をとる必要性のないことがあり、放送と通信との間で同期制御を行わないという選択肢もある。この場合、制御部５１は放送と通信との間で同期制御を行うか、行わないかを決定するようにしてもよい。
【０１３１】
同期の必要性は、受信装置が決めても良いし、コンテンツ毎に遅延許容度を規定し、放送事業者または放送事業者に関連する事業者又は他の事業者が、放送または通信を用いて受信装置に伝えてもよい。遅延許容度はＡＩＴなどで送る方法や、ＡＩＴで特定できるアプリケーション内で送る方法、放送信号の制御情報（ＳＩ）等がある。
【０１３２】
（１２）実施の形態１において図１及び図２を用いて説明した受信装置１におけるバッファ構成は一例であり、実施の形態１と同等の機能を持つバッファであれば、この構成に限定されない。
【０１３３】
例えば、バッファはメモリサイズをもっとも小さくできる位置に配置するのが望ましい。また、実施の形態１では、ＰＥＳバッファ、同期用バッファ、リオーダーバッファなど機能毎にバッファを備えるようにしているが、これに限定されるものではなく、一つのバッファに複数の機能を備えるようにしてもよい。また、バッファがそれぞれの機能に対して割り当てるメモリ割り当ては動的であってもよいし、メモリを共有で複数の機能を実現してもよい。
【０１３４】
なお、図９及び図１０を用いて説明した受信装置１Ａ，１Ｂについても同様のことが言える。
【０１３５】
（１３）実施の形態１では、放送と通信の同期制御に関して説明したが、連携するシステムは、放送と通信との連携に限らず、放送と放送との連携でもよいし、通信と通信との連携でも良いし、３つ以上の伝送経路に基づく信号の連携でも良い。
【０１３６】
（１４）実施の形態１では、ＭＰＥＧ２−ＴＳシステムで規定されたパケット構成を用いて説明したが、多重化方式は特に限定されるものではない。多重化方式として、例えば、ＭＰ４や、ストリーミングに広く用いられているＲＴＰ、ＭＭＴ等がある。
【０１３７】
（１５）放送通信連携サービスでは、受信装置と、例えば、スマートフォン、タブレットなどの通信端末であるコンテンツ提示装置とが連携するサービスも提案されている。
【０１３８】
この場合、受信装置１で提示されるコンテンツとコンテンツ提示装置で提示されるコンテンツとの同期制御が必要である。
【０１３９】
このようなサービスの一例として、受信装置で放送コンテンツを提示し、コンテンツ提示装置で通信コンテンツを提示するものが挙げられる。
【０１４０】
しかしながら、受信装置とコンテンツ提示装置とが連携するサービスは、これに限定されるものではない。例えば、（Ａ）通信コンテンツが受信装置で提示され、放送コンテンツがコンテンツ提示装置で提示されるサービス、（Ｂ）放送コンテンツと通信コンテンツの一部とが受信装置で提示され、通信コンテンツの一部がコンテンツ提示装置で提示されるサービス、（Ｃ）放送コンテンツの一部が受信装置で提示され、放送コンテンツの一部と通信コンテンツとがコンテンツ提示装置で提示されるサービス、（Ｄ）通信コンテンツの一部が受信装置で提示され、通信コンテンツの一部と放送コンテンツとがコンテンツ提示装置で提示されるサービス、（Ｅ）放送コンテンツの一部と通信コンテンツとが受信装置で提示され、放送コンテンツがコンテンツ提示装置で提示されるサービス、及び（Ｆ）放送コンテンツの一部と通信コンテンツの一部とが受信装置で提示され、放送コンテンツの一部と通信コンテンツの一部とがコンテンツ提示装置で提示されるサービス、などがある。
【０１４１】
受信装置とコンテンツ提示装置との間で、放送と通信との同期制御を実現するためには、同期に関するＡＩＴ等の制御情報と、ＰＴＳ又はＤＴＳ又は放送と通信との間の遅延時間と、同期提示方法や同期提示報知とを、必要に応じて相手に通知する必要がある。
【０１４２】
受信装置で放送を受信し、連携端末であるタブレット端末で通信を受信し、互いに同期させる場合、連携端末のＰＴＳを受信装置に通知する必要がある。
【０１４３】
また、受信装置で受信した放送コンテンツや通信コンテンツを連携端末に送信する場合、受信装置で同期制御を行った後のデータを送信することにより、連携端末のハードウェアやソフトウェアの負担を軽減することができる。このとき、受信装置は、受信装置とコンテンツ提示装置との間の通信で発生する遅延時間を算出し、放送コンテンツの受信時刻に対する通信コンテンツの受信時刻の遅延時間と、受信装置とコンテンツ提示装置との間の通信で発生する遅延時間の両方を考慮してバッファ１３内のＰＥＳバッファ７１及びバッファ２２内のＰＥＳバッファ７１からのＰＥＳパケットの出力タイミングを制御してもよい。
【０１４４】
いずれの場合においても、制御部５１は、同期提示方法や同期提示報知の内容及びタイミング又は期間を決定し、コンテンツ生成部へ指示すると同時に、決定した内容を通信送受信部４１を介して連携端末へ通知する。
【０１４５】
（１６）アプリケーションの種類やコンテンツによって、通信と放送とを同期させて提示するユースケースや同期提示方法は数多く存在する。
【０１４６】
制御部５１は、複数の同期提示方法を提供できる機能、及び同期提示方法に応じた同期提示に係る提示方法を制御できる機能を有し、アプリケーションやコンテンツに応じて選択可能な複数の同期提示方法を視聴者に提示する。
【０１４７】
視聴者は、選択可能な複数の同期提示方法の中から、入力インターフェースを用いた操作によって選択する。そして、選択内容が制御部５１に入力されて設定される。なお、設定に関する一連の動作は、制御部５１、操作入力部４２、コンテンツ生成部３１、提示部５が連動して行う。
【０１４８】
図１１に設定メニューの一例を示す。
【０１４９】
図１１の例では、放送通信連携のメニューとして、アニメーション設定と、同期提示方法設定とができるようになっている。
【０１５０】
アニメーション設定では、例えば同期提示の画面遷移において、２つの不連続な映像を連結する際のアニメーションの設定ができる。
【０１５１】
同期提示方法設定では、同期提示方法に関する設定ができる。図１２に同期提示方法の設定画面の一例を示す。同期提示方法設定では、例えば、受信機おまかせモード、放送局おまかせモード、マニュアルモード、ＯＦＦ（同期提示を行わない）の他、視聴者に提示可能な同期提示方法（Ｔｙｐｅ１、Ｔｙｐｅ２）の中から視聴者が選択できるようになっている。
【０１５２】
視聴者が放送局おまかせモードを選択した場合、制御部５１は、ＡＩＴに同期提示方法が設定されている場合のみ、ＡＩＴに記述されている同期提示方法を実行する。
【０１５３】
視聴者が受信機おまかせモードを選択した場合、制御部５１は、視聴者に提示可能な同期提示方法又はＡＩＴに記述されている同期提示方法の中から選択し、選択した同期提示方法を実行する。なお、同期提示方法の選択は動的に行われても良い。
【０１５４】
なお、同期提示方法はＡＩＴで指定する以外に、ＡＩＴで特定できるアプリケーション内で指定方法、放送信号の制御情報（ＳＩ等）を用いて指定する方法がある。
【０１５５】
視聴者がマニュアルモードを選択した場合、図１３に一例を示すマニュアル設定画面が立ち上がる。図１３のマニュアル設定画面の例では、視聴者が−１０秒〜＋１０秒のうちの−ＭＡＸ秒〜＋ＭＡＸ秒までの間で遅延時間を設定できるようになっている。遅延時間のＭＡＸ値は、コンテンツのデータの大きさ、バッファの大きさなどから制御部５１が決定する。また、ＰＴＳから算出された同期遅延時間を推奨値として表示する。また、視聴者は図中の黒く塗られた黒矢印の位置を移動させることによって遅延時間の設定を変更することができる。また、視聴者は推奨値ボタンを押すことによって遅延時間を制御部５１が決定した推奨値に戻すことができる。また、視聴者はリセットボタンを押すことによって遅延時間を０にすることができる（遅延のない通常提示に切り替えることができる）。
【０１５６】
視聴者が遅延時間の設定を変更する操作を行うと、遅延時間を示す制御信号が制御部５１に出力される。制御部５１は制御信号に基づいてバッファを制御して遅延を調整する。
【０１５７】
（１７）本実施の形態で説明した制御部５１の機能は、ソフトウェアとして実装しても良いし、アプリケーションとして実装しても良い。また、機能の一部をＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ）としてパッケージすることもできる。
【０１５８】
（発明の基礎となった知見２）
特許文献３に記載の受信装置は、放送コンテンツをデジタル放送信号から受信し、放送コンテンツに連動した通信コンテンツを通信ネットワークから受信する。そして、受信装置は、放送コンテンツのＰＴＳと通信コンテンツのＰＴＳとの差に基づいて、放送コンテンツの提示を遅延させる。
【０１５９】
ところで、インターネットのような通信網では、伝送経路においてジッタが発生するため、受信側でジッタを補償する必要がある。このため、通信用の受信装置にはジッタを補償するためのデジッタバッファが必要になる。一方、放送用の受信装置にはデジッタバッファは必要でない。放送と通信とを連携させる放送通信連携受信装置としての受信装置は、通信用にデジッタバッファを備え、さらに、放送用にデジッタバッファのバッファ遅延に相当したバッファ遅延を実現するための遅延バッファを備え、通信と放送との再生時間を合わせる必要がある。
【０１６０】
特許文献３に記載された受信装置は、上述したように、放送コンテンツのＰＴＳと通信コンテンツのＰＴＳとの差に基づいて放送コンテンツと通信コンテンツとを同期させる。同期に大容量のバッファを用いれば、アンダーフローやオーバーフローすることなしに、ジッタを補償することが可能になる。
【０１６１】
しかしながら、バッファ容量を大きくすれば、Ｅｎｄ−ｔｏ−Ｅｎｄ遅延が大きくなるという課題がある。これまでの放送受信システムでは、Ｅｎｄ−ｔｏ−Ｅｎｄ遅延を極小化することが要求されており、受信装置に余剰メモリが十分にあったとしても、全てのメモリをジッタ補償に使用することは現実的ではなく、必要最小限のメモリを使用することが望ましい。また、受信装置の同期再生及び復号時のバッファ管理を保証するためのシステムデコーダモデルが規定されている場合、所定サイズのバッファを用いて受信装置の動作を保証する必要がある。
【０１６２】
放送通信連携受信装置としての受信装置において、所定サイズのバッファを用いてデジッタバッファを制御する場合、アンダーフロー及びオーバーフローが発生する可能性が高く、アンダーフロー対策として例えば通信コンテンツの更なるバッファリングが必要となる。特許文献３に記載された受信装置を用いた場合、放送用の遅延バッファの遅延時間がデジッタバッファの制御に引きずられ、放送用の遅延バッファにオーバーフロー又はアンダーフローが発生したり、コンテンツの視聴に影響を与え、放送受信機の動作の保証が困難になる。
【０１６３】
そこで、発明者らは、この課題に対する技術的な解決策を検討し、この検討の結果、発明者らが得た解決策に基づく実施の形態等を以下において説明する。
【０１６４】
（実施の形態２）
図１４は、本発明の実施の形態２に係る放送通信連携受信装置である受信装置１００の構成を示すブロック図である。
【０１６５】
受信装置１００は、デジタル放送受信部１１１、分離部１１２、遅延バッファ１１３、分離バッファ１１４、復号部１１５、通信送受信部１２１、分離部１２２、デジッタバッファ１２３、分離バッファ１２４、復号部１２５、コンテンツ生成部１３１、制御管理部１４１、及び制御部１５１を備える。
【０１６６】
デジタル放送受信部１１１は、外部の放送アンテナ３によって受信されたデジタル放送信号を入力とする。そして、デジタル放送受信部１１１は、デジタル放送信号から所望のチャネルを選局し、選局した所望のチャネルのデジタル放送信号に対して復調処理及び誤り訂正処理等を行い、トランスポートストリームを生成して分離部１１２へ出力する。
【０１６７】
分離部１１２は、デジタル放送受信部１１１によって生成されたトランスポートストリームを、映像データ、音声データ及び字幕データ等に分離して遅延バッファ１１３に出力する。また、分離部１１２はトランスポートストリームに含まれる各種制御情報を取得し、ＰＣＲを制御部１５１に出力し、コンテンツの種類や制御に係る情報を含む制御情報を制御管理部１４１へ出力する。
【０１６８】
遅延バッファ１１３は、デジッタバッファ１２３のバッファ遅延に相当したバッファ遅延を実現するためのバッファである。遅延バッファ１１３は、制御部１５１から指示された入出力タイミングに従って分離部１１２から出力される映像データや音声データ等のコンポーネント毎のコンテンツデータの遅延を調整して分離バッファ１１４へ出力する。
【０１６９】
分離バッファ１１４は、遅延バッファ１１３から出力される映像データや音声データ等を格納し、ＰＥＳパケットのＰＥＳヘッダから取得したＤＴＳなどのタイムスタンプ情報に基づいて、映像や音声等のコンポーネント毎のエレメンタリーストリーム（ＥＳ）をそれらの出力タイミングを揃えてアクセスユニット単位で復号部１１５に出力する。また、分離バッファ１１４はＰＥＳヘッダから取得したＤＴＳなどのタイムスタンプ情報を制御部１５１に出力する。なお、分離バッファ１１４、１２４は、ＭＰＥＧ２システムにおけるＥｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ  Ｂｕｆｆｅｒと同様の機能を備えるものである。
【０１７０】
復号部１１５は、分離バッファ１１４から出力された映像や音声等のコンポーネント毎のアクセスユニットを復号し、コンテンツ生成部１３１へ出力する。
【０１７１】
通信送受信部１２１は、通信ネットワーク経由で、放送事業者に関連する事業者または他の事業者が提供するコンテンツサーバからＡＶコンテンツを取得し、取得したＡＶコンテンツを分離部１２２へ出力する。通信事業者から提供されるＡＶコンテンツには、ファイルデータ、映像データ、及び音声データ等がある。
【０１７２】
分離部１２２は、通信送受信部１２１から入力されたＡＶコンテンツを、映像データ及び音声データ等に分離して、デジッタバッファ１２３に出力する。また、分離部１２２はＡＶコンテンツに含まれるコンテンツの種類や制御に係る情報を含む制御情報を制御管理部１４１へ出力する。
【０１７３】
デジッタバッファ１２３は、伝送経路によるジッタを吸収するためのバッファである。デジッタバッファ１２３は、制御部１５１から指示された入出力タイミングで分離部１２２から出力される映像データや音声データ等のコンポーネント毎のコンテンツデータの遅延を調整して分離バッファ１２４へ出力する。
【０１７４】
分離バッファ１２４は、デジッタバッファ１２３から出力される映像データや音声データ等を格納し、ＰＥＳパケットのＰＥＳヘッダから取得したＤＴＳなどのタイムスタンプ情報に基づいて、映像や音声等のコンポーネント毎のエレメンタリーストリームをそれらの出力タイミングを揃えてアクセスユニット単位で復号部１１５に出力する。また、分離バッファ１２４はＰＥＳヘッダから取得したＤＴＳなどのタイムスタンプ情報を制御部１５１に出力する。
【０１７５】
復号部１２５は、分離バッファ１２４から出力された映像や音声等のコンポーネント毎のアクセスユニットを復号し、コンテンツ生成部１３１へ出力する。
【０１７６】
コンテンツ生成部１３１は、復号部１１５から出力された各コンポーネント（映像、音声、字幕等）のコンテンツデータと、復号部１２５から出力された各コンポーネント（映像、音声及び字幕等）のコンテンツデータとを用いて提示コンテンツを生成する。コンテンツ生成部１３１で生成された提示コンテンツは外部の提示部５へ出力され、提示部５にて提示される。
【０１７７】
制御管理部１４１は、制御情報に含まれるコンテンツの種類や制御に係る情報と、遅延バッファ１１３の状態及びデジッタバッファ１２３の状態とに基づいて、遅延バッファ１１３及びデジッタバッファ１２３の制御方法を決定し、決定した制御方法を制御部１５１に指示する。なお、制御管理部１４１については更に図１５を用いて後述する。
【０１７８】
制御部１５１は、分離部１１２から出力されたＰＣＲを用いて基準クロック信号を生成する。この生成された基準クロック信号は、各バッファの出力タイミングの制御などに利用される。
【０１７９】
制御部１５１は、分離バッファ１１４から出力されるＤＴＳなどのタイムスタンプ情報、分離バッファ１２４から出力されるＤＴＳなどのタイムスタンプ情報、制御管理部１４１によって決定された制御方法に基づいて遅延バッファ１１３及びデジッタバッファ１２３の遅延を制御する。
【０１８０】
以下、制御管理部１４１の一構成例について図１５を用いて説明する。
【０１８１】
図１５は、図１４の制御管理部１４１の一構成例を示すブロック図である。
【０１８２】
制御管理部１４１は、制御情報抽出部１７１、バッファ管理部１７２、監視部１７３、及び制御方法決定部１７４を備える。
【０１８３】
制御情報抽出部１７１は、入力される制御情報からコンテンツの種類や制御に係る情報を抽出し、抽出したコンテンツの種類や制御に係る情報を制御方法決定部１７４に出力する。但し、コンテンツの種類や制御に係る情報として、例えばコンテンツ同期に必要な精度に係る情報、放送コンテンツの許容できるＥｎｄ−ｔｏ−Ｅｎｄ遅延時間に係る情報などがある。なお、コンテンツの種類や制御に係る情報などの制御情報は例えば送信側で多重して送信される。制御情報は、例えば多重化方式としてＭＰＥＧ２−ＴＳ方式を用いる場合は、記述子、テーブルなどで構成されるＰＳＩやＳＩ、セクション等である。
【０１８４】
バッファ管理部１７２は、遅延バッファ１１３及びデジッタバッファ１２３の夫々について、バッファサイズ、バッファ占有量、及び遅延時間（バッファに入力されてから出力されるまでの時間）を管理し、これらを基に使用可能な余剰バッファのサイズを算出する。
【０１８５】
なお、例えば、バッファ管理部１７２は、入力クロック及び出力クロックを常に監視し、デジッタバッファ１２３及び遅延バッファ１１３夫々での遅延時間、及び、バッファ占有量を算出することができる。
【０１８６】
また、バッファ管理部１７２は、デジッタバッファ１２３及び遅延バッファ１１３夫々でのバッファ占有量を、平均ビットレートにバッファでの遅延時間を乗算することによって算出することができる。
【０１８７】
なお、バッファ管理部１７２は、遅延バッファ１１３及びデジッタバッファ１２３の他に共有管理しているバッファメモリがあれば、その中で使用可能なメモリを含めて動的にバッファサイズを決定してもよい。
【０１８８】
監視部１７３は、デジッタバッファ１２３においてアンダーフローの発生の可能性及びオーバーフローの発生の可能性を常時監視し、監視結果を制御方法決定部１７４に通知する。
【０１８９】
ここで、実施の形態２において監視部１７３が行う監視処理の一例について記載する。
【０１９０】
監視部１７３は、デジッタバッファ１２３のバッファ占有量を監視する。
【０１９１】
そして、監視部１７３は、デジッタバッファ１２３のバッファ占有量が所定の第１閾値未満の場合にアンダーフローの発生の可能性があるとしてアンダーフローフラグをＯＮにする。一方、監視部１７３は、デジッタバッファ１２３のバッファ占有量が所定の第１閾値以上の場合にアンダーフローの発生の可能性がないとしてアンダーフローフラグをＯＦＦにする。
【０１９２】
また、監視部１７３は、デジッタバッファ１２３のバッファ占有量が所定の第２閾値を超える場合にオーバーフローの発生の可能性があるとしてオーバーフローフラグをＯＮにする。一方、監視部１７３は、デジッタバッファ１２３のバッファ占有量が所定の第２閾値以下の場合にオーバーフローの発生の可能性がないとしてオーバーフローフラグをＯＦＦにする。
【０１９３】
監視部１７３は上記の動作を常時行う。
【０１９４】
制御方法決定部１７４は、アンダーフローの発生の可能性又はオーバーフローの発生の可能性がある場合、余剰バッファサイズ、Ｅｎｄ−ｔｏ−Ｅｎｄ遅延、コンテンツの種類や制御に係る情報などに基づいて、遅延バッファ１１３及びデジッタバッファ１２３の制御方法を決定し、決定した制御方法を制御部１５１に通知する。なお、制御方法決定部１７４の動作については更に図１７を用いて後述する。
【０１９５】
図１６は図１４の受信装置１００の放送通信受信開始後の遅延バッファ１１３及びデジッタバッファ１２３の初期動作の一例を示すフローチャートである。但し、図１６のフローチャートでは、遅延バッファ１１３及びデジッタバッファ１２３においてアンダーフロー及びオーバーフローは発生しないとする。なお、図１６では、通信に関する処理を図の左側に、放送に関する処理を図の右側に記す。
【０１９６】
受信装置１００は、放送の受信を開始し（ステップＳ１０１）、通信の受信を開始する（ステップＳ１０２）。
【０１９７】
通信の受信開始後、デジッタバッファ１２３は制御部１５１の制御を受けて通信データのバッファリングを開始する（ステップＳ１０３）。制御部１５１はデジッタバッファ１２３のバッファリングの開始に合わせて遅延バッファ１１３のバッファリングの開始を制御し、遅延バッファ１１３は制御部１５１による制御を受けて放送データのバッファリングを開始する（ステップＳ１０４）。
【０１９８】
制御部１５１は、デジッタバッファ１２３のバッファリング量が初期バッファリング量に達したか否か、つまり、デジッタバッファ１２３の初期バッファリングが完了したか否かを判定する（ステップＳ１０５）。デジッタバッファ１２３の初期バッファリングが完了したと判定されるまで（Ｓ１０５：Ｎｏ）、デジッタバッファ１２３及び遅延バッファ１１３の初期バッファリングが行われ、ステップＳ１０５の処理が行われる。
【０１９９】
デジッタバッファ１２３の初期バッファリングが完了したと判定された場合（Ｓ１０５：Ｙｅｓ）、制御部１５１はデジッタバッファ１２３及び遅延バッファ１１３のデータの遅延出力の開始を制御する。デジッタバッファ１２３は制御部１５１による制御を受けて通信データの遅延出力を開始し（ステップＳ１０６）、遅延バッファ１０３は制御部１５１による制御を受けて放送データの遅延出力を開始する（ステップＳ１０７）。
【０２００】
以上のように、デジッタバッファ１２３の動作に応じて、遅延バッファ１１３を動作させ、初期動作が完了する。
【０２０１】
但し、デジッタバッファ１２３の初期バッファリング量は、例えば、補償したいジッタの想定時間と平均ビットレートを乗算した値である。
【０２０２】
遅延出力を開始させる前の通常の放送データの出力は、デジッタバッファ１２３の初期バッファリングの完了を待って出力開始してもよいし、デジッタバッファ１２３の初期バッファリングの完了を待たずに出力開始してもよい。
【０２０３】
デジッタバッファ１２３の出力開始時、放送データと通信データとのタイムスタンプ情報から算出された時間差を基に、放送データに対して時間を合わせた通信データを出力する。
【０２０４】
なお、図１６では、放送を遅延させるために遅延バッファ１１３のサイズは十分な大きさを持つとして説明したが、放送データの遅延出力開始前に遅延バッファ１１３がオーバーフローしそうな場合は、その時点で適切に処理する必要がある。
【０２０５】
図１７は、図１４の制御方法決定部１７４による制御方法決定動作の一例を示すフローチャートである。但し、図１７のフローチャートの開始時点では、デジッタバッファ１２３と遅延バッファ１１３との同期がとれている定常状態にあるとする。
【０２０６】
制御方法決定部１７４は、監視部１７３によるデジッタバッファ１２３の監視の結果に基づくアンダーフローフラグがＯＮかＯＦＦのどちらであるかを判定する（ステップＳ１５１）。アンダーフローフラグがＯＦＦの場合、つまり、デジッタバッファ１２３においてアンダーフローの発生の可能性がない場合（Ｓ１５１：ＯＦＦ）、制御方法決定部１７４は、監視部１７３によるデジッタバッファ１２３の監視の結果に基づくオーバーフローフラグがＯＮかＯＦＦのどちらであるかを判定する（ステップＳ１５２）。
【０２０７】
オーバーフローフラグがＯＦＦの場合、つまり、デジッタバッファ１２３においてオーバーフローの発生の可能性がない場合（Ｓ１５２：ＯＦＦ）、ステップＳ１５１の処理に戻る。
【０２０８】
オーバーフローフラグがＯＮの場合、つまり、デジッタバッファ１２３においてオーバーフローの発生の可能性がある場合（Ｓ１５２：ＯＮ）、制御方法決定部１７４は制御方法としてオーバーフローに対する処理（例えば、デジッタバッファ１２３の出力をスキップする処理）に決定して制御部１５１に対して指示する。制御部１５１はこの指示を受けてデジッタバッファ１２３に対してオーバーフローに対する処理を実行する（ステップＳ１５３）。
【０２０９】
アンダーフローフラグがＯＮの場合、つまり、デジッタバッファ１２３においてアンダーフローの発生の可能性がある場合（Ｓ１５１：ＯＮ）、制御方法決定部１７４は、デジッタバッファ１２３に余裕があるか否かを判定する（ステップＳ１５４）。ステップＳ１５４の判定は、例えば、バッファ管理部１７２において算出されるデジッタバッファ１２３の余剰バッファサイズが所定値以上ある場合にデジッタバッファ１２３に余裕があると判定される。
【０２１０】
デジッタバッファ１２３に余裕がないと判定された場合（Ｓ１５４：Ｎｏ）、ステップＳ１６２の処理に進む。
【０２１１】
一方、デジッタバッファ１２３に余裕があると判定された場合（Ｓ１５４：Ｙｅｓ）、制御方法決定部１７４は、遅延バッファ１１３に余裕があるか否かを判定する（ステップＳ１５５）。ステップＳ１５５の判定は、例えば、バッファ管理部１７２において算出される遅延バッファ１１３の余剰バッファサイズが所定値以上ある場合に遅延バッファ１１３に余裕があると判定される。
【０２１２】
遅延バッファ１１３に余裕がないと判定された場合（Ｓ１５５：Ｎｏ）、ステップＳ１６２の処理に進む。
【０２１３】
遅延バッファ１１３に余裕があると判定された場合（Ｓ１５５：Ｙｅｓ）、制御方法決定部１７４は、制御部１５１にデジッタバッファ１２３の追加バッファリングを指示し、制御部１５１はこの指示を受けてデジッタバッファ１２３の出力を停止させるとともに追加バッファリングをさせる制御を行う。デジッタバッファ１２３は制御部１５１による制御を受けて出力を停止し、追加バッファリングを行う（ステップＳ１５６）。
【０２１４】
制御方法決定部１７４は、デジッタバッファ１２３の追加バッファリングが完了したか否かを判定する（ステップＳ１５７）。追加バッファリング完了したかどうかは、例えば、監視部１７３によるデジッタバッファ１２３の監視の結果に基づき、デジッタバッファの占有量が十分であり、デジッタバッファが再びアンダーフローする可能性が少ないと判定した時点で、追加バッファリングが完了したと判定する。
【０２１５】
デジッタバッファ１２３の追加バッファリングが完了していないと判定された場合には（Ｓ１５７：Ｎｏ）、ステップＳ１５４の処理に戻る。
【０２１６】
デジッタバッファ１２３の追加バッファリングが完了したと判定された場合には（Ｓ１５７：Ｙｅｓ）、制御方法決定部１７４は放送を遅延させる必要があるか否かを判定する（ステップＳ１５８）。ステップＳ１５８の判定は、例えば、コンテンツ同期に必要な精度に係る情報が同期の必要なしの場合に放送を遅延させる必要がないと判定する。
【０２１７】
放送を遅延させる必要がないと判定された場合（Ｓ１５８：Ｎｏ）、制御方法決定部１７４は、制御方法として遅延バッファ１１３の遅延制御を行わない制御方法に決定し、決定した制御方法を制御部１５１に通知する。制御部１５１はこの通知を受けて遅延バッファ１１３の遅延制御を行わず、遅延バッファ１１３は放送データを遅延させることなく出力する（ステップＳ１５９）。
【０２１８】
放送を遅延させる必要があると判定された場合（Ｓ１５８：Ｙｅｓ）、制御方法決定部１７４は、放送コンテンツの許容できるＥｎｄ−ｔｏ−Ｅｎｄ遅延時間に係る情報を利用して、実際のＥｎｄ−ｔｏ−Ｅｎｄ遅延時間が許容範囲内であるか否かを判定する（ステップＳ１６０）。放送コンテンツの許容できるＥｎｄ−ｔｏ−Ｅｎｄ遅延時間に係る情報は、例えば、送信側でコンテンツの許容できるＥｎｄ−ｔｏ−Ｅｎｄ遅延時間を指定し、制御信号として放送を用いて送信し、受信装置は放送信号を受信し、制御信号から放送コンテンツの許容できるＥｎｄ−ｔｏ−Ｅｎｄ遅延時間に係る情報を取得することができる。
【０２１９】
Ｅｎｄ−ｔｏ−Ｅｎｄ遅延時間が許容範囲内でないと判定された場合（Ｓ１６０：Ｎｏ）、ステップＳ１６２の処理に進む。
【０２２０】
Ｅｎｄ−ｔｏ−Ｅｎｄ遅延時間が許容範囲内であると判定された場合（Ｓ１６０：Ｙｅｓ）、制御方法決定部１７４は、制御方法として遅延バッファ１１３の遅延制御を行う制御方法に決定し、決定した制御方法を制御部１５１に通知する。制御部１５１はこの通知を受けて遅延バッファ１１３の遅延制御を行い、遅延バッファ１１３は放送データの遅延出力動作を行う（ステップＳ１６１）。なお、遅延制御における遅延バッファ１１３での遅延量は、デジッタバッファ１２３の入出力カウンタと遅延バッファ１１３の入出力カウンタを利用することにより、算出可能である。
【０２２１】
ステップＳ１６２において、制御方法決定部１７４は放送と通信との同期は不可能と判定する。そして、制御方法決定部１７４は放送の受信動作のみ保証するように、デジッタバッファ１２３と遅延バッファ１１３を独立に制御する制御方法に決定し、決定した制御方法を制御部１５１に通知する。制御部１５１はこの通知を受けてデジッタバッファ１２３と遅延バッファ１１３とを独立に制御する（ステップＳ１６２）。
【０２２２】
（実施の形態２の補足）
以下、実施の形態２の補足について記載する。
【０２２３】
（１）実施の形態２において、放送と通信との間で伝送経路による遅延差がある場合、受信装置の構成を図１８に示す構成とすることができる。但し、図１８において、図１４の構成ユニットと実質的に同じ処理を行う構成ユニットには同じ符号を付している。
【０２２４】
図１８の受信装置１００Ａは、図１４の受信装置１００に対して、遅延バッファ１１３と分離バッファ１１４との間に同期バッファ１９１を追加し、デジッタバッファ１２３と分離バッファ１２４との間に同期バッファ１９６を追加した構成になっている。
【０２２５】
制御部１５１は、分離バッファ１１４からのＤＴＳなどのタイムスタンプ情報と、分離バッファ１２４からのＤＴＳなどのタイムスタンプ情報とを用いて、放送データと通信データとの間で同期がとられるように、同期バッファ１９１及び同期バッファ１９６の出力タイミングを制御する。
【０２２６】
（２）デジッタバッファ１２３がアンダーフローの発生の可能性又はオーバーフローの発生の可能性がある場合でも、必ずしも遅延バッファ１１３を制御する必要はない。
【０２２７】
（３）実施の形態２で説明した制御方法の決定の仕組みは、様々なアンダーフローの回避方法やオーバーフローの回避方法が用いられる場合に、利用され得る。
【０２２８】
（４）実施の形態２において、予めバッファの動作を保証するためのバッファサイズが規定されている場合、規定されているバッファサイズを用いて余剰バッファサイズを算出してもよい。
【０２２９】
規定されたバッファサイズでデジッタバッファ１２３及び遅延バッファ１１３の制御が不可能である場合、通信に関する受信動作を保証しなくてもよい。
【０２３０】
規定されたバッファサイズで制御が不可能である場合、その旨を示すメッセージを例えば提示部５に提示するようにしてもよい。
【０２３１】
規定されたバッファサイズで制御が不可能である場合は、その旨を示す情報を通信手段を用いて送信側にフィードバックするようにしてもよい。
【０２３２】
実際のジッタ時間や放送と通信の遅延時間等の伝送路に係る情報を通信手段を用いて送信側にフィードバックするようにしてもよい。
【０２３３】
（５）放送と通信との同期を保証できない場合、受信装置の放送に関する動作を優先させた制御を行うことが好ましい。
【０２３４】
放送と通信との同期が保証できない場合、デジッタバッファ１２３を監視しながら、デジッタバッファ１２３及び遅延バッファ１１３を適切に制御することにより、受信装置の放送に関する動作を保証する。
【０２３５】
（６）デジッタバッファ１２３の制御の結果として、通信コンテンツをより遅延の少ないデータ、ジッタの少ないデータに変更するという選択肢も可能である。この場合は、通信送受信部１２１からその旨をコンテンツサーバに通知し、ジッタの少ないデータを取得する。これにより、安定したサービスを視聴者に提供することが可能になる。
【０２３６】
通信コンテンツの取得の変更に伴って、放送コンテンツの取得方法を変更する必要が生じることも想定される。この場合、制御管理部１４１は放送コンテンツの取得方法の変更を行う。
【０２３７】
（７）送信側において、伝送路の品質を示す制御情報をシグナリングメッセージとして多重して送信し、受信装置は送信された品質に基づいて制御方法を決定或いは限定するようにしてもよい。例えば、伝送路の品質を示す制御信号として、通信伝送路で想定される最大遅延時間が送信側からシグナリングされている場合、受信装置は、受信装置のバッファサイズと比較することで、通信コンテンツを受信するかどうか、或いは、放送コンテンツと通信コンテンツとを同期再生するかどうかを判定してもよい。
【０２３８】
送信側において、推奨する制御方法を示す制御情報をシグナリングメッセージとして多重して送信し、受信装置は送信された推奨する制御方法に基づいて動作するようにしてもよい。
【０２３９】
送信側において、送信側が動作を保証することが可能なジッタ時間、並びに、デジッタバッファ１２３及び遅延バッファ１１３のバッファサイズの情報をシグナリングメッセージとして多重して送信するようにしてもよい。
【０２４０】
（８）コンテンツ同期に必要な精度とは、例えば、一方のコンテンツに対して他方のコンテンツが、（Ａ）同期必要なし、（Ｂ）１０秒以内の同期精度が必要、（Ｃ）１秒以内の同期精度が必要、（Ｄ）フレーム単位での同期精度が必要、等である。
【０２４１】
受信装置１００は、コンテンツ同期に必要な精度を満たすように、同期やジッタに係る制御方法を自由に決定することができる。このため、受信装置の仕様や能力に合わせた制御方法を選択することも可能になる。例えば、フレームレベルの同期が必要であれば、デジッタバッファ１２３に合せて高精度の遅延バッファ１１３の制御を行う。また、同期の必要がなければ、デジッタバッファ１２３の制御に合せた遅延バッファ１１３の制御を行わないという選択も可能になる。最低限必要な同期精度を通知するのではなく、推奨する同期精度を送信してもよい。
【０２４２】
受信装置がコンテンツの内容に応じて同期の精度を判定し、制御方法を決定することも可能である。例えば、コンテンツが映像と字幕の場合は、字幕を視聴するために問題がないレベルであれば、同期の精度を落として制御してもよい。
【０２４３】
（９）送信側が、一方のコンテンツが単独で復号可能か、単独で復号不可能かの制御情報を送信するようにしてもよい。例えば、放送が単独で復号不可能であれば、放送と通信とを同期させることが必須となる。一方、放送が単独で復号可能であれば、同期不可能な場合、放送コンテンツのみ表示するという選択肢も可能である。
【０２４４】
（１０）送信側で、許容できるジッタやデジッタバッファ量を規定し、制御信号として送信するようにしてもよい。
【０２４５】
コンテンツ制作者が同期の精度を例えば「強制する」又は「強制しない」と決めて、送信側でこの情報を送信するようにしてもよい。
【０２４６】
（１１）制御情報は復号開始前に取得可能であることが好ましい。
【０２４７】
復号開始前に取得可能な情報として、例えば多重化方式としてＭＭＴ（ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）を用いる場合、ＣＩ（Ｃｏｍｐｏｓｉｔｉｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ）に記述してもよいし、ＭＰＴ（ＭＭＴ  Ｐａｃｋｅｇｅ  Ｔａｂｌｅ）の中に、Ａｓｓｅｔのリストとともに記述してもよい。また、ＭＰＥＧ２−ＴＳの場合、ＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）のような制御情報でもよいし、ＭＰＥＧ−ＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）を用いる場合には、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）に記述してもよいし、他の多重化システムの場合でも、受信装置において復号開始前に取得可能なプログラム情報であれば良い。
【０２４８】
制御情報は、放送又は通信のどちらか一方又は両方から送信し、制御管理部１４１は復号開始前に制御情報を取得、解析し、デジッタバッファ１２３及び遅延バッファ１１３の制御方法を決定する。
【０２４９】
（１２）ジッタや放送と通信との同期を補償するためのバッファサイズを予め規定し、更に、規定されたバッファサイズ内で動作補償するための制約条件を規定し、規定に基づいてアンダーフローやオーバーフロー対策など、バッファの動作を決定してもよい。
【０２５０】
デジッタバッファ、遅延バッファ、同期バッファの合計サイズを規定しておき、合計サイズの中で動作を補償する規定であってもよい。
【０２５１】
（１３）図１４及び図１８に構成を示した受信装置１００、１００Ａの構成を、図９を用いて説明した１つの復号部で復号するように変形してもよく、図１０を用いて説明した例えば２つのコンテンツ生成部を備えるように変形してもよい。
【０２５２】
（１４）実施の形態２及び実施の形態２の補足で説明した機能をハードウェアで実現するようにしてもよく、ソフトウェアで実現するようにしてもよい。また、一部をハードウェアで実現し、一部をソフトウェアで実現するようにしてもよい。
【０２５３】
（１５）ジッタや放送と通信との同期が完了したコンテンツを復号する前に、タブレット等の連携装置に送信するようにしてもよい。
【０２５４】
（１６）実施の形態２及び実施の形態２の補足で説明した機能の一部を、受信装置としてだけでなく、中継局の機能の一部として実現してもよい。
【０２５５】
（１７）デジッタバッファ１１３及び遅延バッファ１２３の制御結果（例えば、「放送と通信との間での同期が不可能」などのエラーメッセージ）を、視聴者に対して提示するようにしてもよいし、レポートとして記録するようにしてもよい。
【０２５６】
（１８）実施の形態２において図１４を用いて説明した受信装置１００におけるバッファ構成は一例であり、実施の形態２と同等の機能を持つバッファであれば、この構成に限定されない。
【０２５７】
例えば、バッファはメモリサイズをもっとも小さくできる位置に配置するのが望ましい。また、実施の形態２では、遅延バッファ１１３、分離バッファ１１４、デジッタバッファ１２３、分離バッファ１２４など機能毎にバッファを備えるようにしているが、これに限定されるものではなく、一つのバッファに複数の機能を備えるようにしてもよい。また、バッファがそれぞれの機能に対して割り当てるメモリ割り当ては動的であってもよいし、メモリを共有で複数の機能を実現してもよい。
【０２５８】
なお、図１８を用いて説明した受信装置１００Ａについても同様のことが言える。
【０２５９】
（１９）実施の形態２では、多重化方式としてＭＰＥＧ２−ＴＳを例に挙げて説明したが、多重化方式は特に限定されるものではない。多重化方式として、例えば、ＭＰ４や、ストリーミングに広く用いられているＲＴＰ、ＭＭＴ等がある。
【０２６０】
（その他）
実施の形態１及び実施の形態１の補足で説明した内容を適宜組み合わせてもよい。
【０２６１】
実施の形態２及び実施の形態２の補足で説明した内容を適宜組み合わせてもよい。
【０２６２】
実施の形態１及び実施の形態１の補足で説明した内容と実施の形態２及び実施の形態２の補足で説明した内容とを適宜組み合わせてもよい。
【０２６３】
実施の形態１及び実施の形態１の補足で説明した内容を実施の形態２及び実施の形態２の補足で説明した内容に適用してもよく、実施の形態２及び実施の形態２の補足で説明した内容を実施の形態１及び実施の形態１の補足で説明した内容に適用してもよい。
【０２６４】
≪まとめ≫
実施の形態や変形例に係る受信装置及び受信方法とその効果についてまとめる。
【０２６５】
（１）第１の受信装置は、ジッタを補償する必要がない第１伝送経路にて受信した第１信号を蓄積して出力する第１バッファと、ジッタを補償する必要がある第２伝送経路にて受信した第２信号を蓄積して出力する第２バッファと、前記第２バッファにおいてアンダーフローが発生する可能性があるか否かを監視し、アンダーフローが発生する可能性がある場合に、前記第１バッファの余剰バッファサイズ及び前記第２バッファの余剰バッファサイズに基づいて前記第１バッファ及び前記第２バッファの制御方法を決定する制御管理部と、前記制御管理部により決定された前記第１バッファ及び前記第２バッファの制御方法に基づいて前記第１バッファ及び前記第２バッファを制御する制御部と、を備える。
【０２６６】
第１の受信方法は、ジッタを補償する必要がない第１伝送経路にて受信した第１信号を蓄積して出力する第１バッファと、ジッタを補償する必要がある第２伝送経路にて受信した第２信号を蓄積して出力する第２バッファと、を備える受信装置において行われる受信方法であって、前記第２バッファにおいてアンダーフローが発生する可能性があるか否かを監視し、アンダーフローが発生する可能性がある場合に、前記第１バッファの余剰バッファサイズ及び前記第２バッファの余剰バッファサイズに基づいて前記第１バッファ及び前記第２バッファの制御方法を決定し、決定された前記第１バッファ及び前記第２バッファの制御方法に基づいて前記第１バッファ及び前記第２バッファを制御する。
【０２６７】
これらによれば、ジッタを補償する必要がない第１信号とジッタを補償する必要がある第２信号とのサービスの品質向上を図ることができる。
【０２６８】
（２）第２の受信装置は、第１の受信装置において、前記制御管理部は、更に、前記第１信号と前記第２信号との同期に必要な精度に係る制御情報に基づいて、前記制御方法の決定を行う。
【０２６９】
（３）第３の受信装置は、第１の受信装置において、前記制御管理部は、更に、前記第１信号の許容可能なＥｎｄ−ｔｏ−Ｅｎｄ遅延時間に係る情報に基づいて、前記制御方法の決定を行う。
【０２７０】
（４）第４の受信装置は、第１伝送経路から受信した第１信号を蓄積して出力する第１バッファと、第２伝送経路から受信した第２信号を蓄積して出力する第２バッファと、前記第１信号に含まれる時刻情報と前記第２信号に含まれる時刻情報とに基づいて、前記第１信号と前記第２信号との同期に係る前記第１バッファ及び前記第２バッファの同期制御を行う制御部と、前記制御部による前記同期制御に応じて、同期に係る報知を行う報知部と、を備える。
【０２７１】
第２の受信方法は、第１伝送経路から受信した第１信号を蓄積して出力する第１バッファと、第２伝送経路から受信した第２信号を蓄積して出力する第２バッファと、を備える受信装置において行われる受信方法であって、前記第１信号に含まれる時刻情報と前記第２信号に含まれる時刻情報とに基づいて、前記第１信号と前記第２信号との同期に係る前記第１バッファ及び前記第２バッファの同期制御を行い、前記同期制御に応じて、同期に係る報知を行う。
【０２７２】
これらによれば、第１信号と第２信号との同期をとる際に視聴者に与える違和感や不快感の軽減を図ることが可能になる。
【０２７３】
（５）第５の受信装置は、前記制御部は、視聴者による入力内容に基づいて前記同期制御を行う。
【０２７４】
これによれば、第１信号と第２信号との同期を視聴者の希望に沿ったものにすることができる。
【産業上の利用可能性】
【０２７５】
本発明は、異なる伝送路を用いて伝送された信号に基づくサービスの提供を行う受信装置に適用することができる。
【符号の説明】
【０２７６】
１  受信装置
３  放送アンテナ
５  提示部
１１  デジタル放送受信部
１２  分離部
１３、２２  バッファ
１４、２３  復号部
２１、４１  通信送受信部
３１  コンテンツ生成部
４２  操作入力部
５１  制御部
【図１】
2014162748.tif 000003
【図２】
2014162748.tif 000004
【図３】
2014162748.tif 000005
【図４】
2014162748.tif 000006
【図５】
2014162748.tif 000007
【図６】
2014162748.tif 000008
【図７】
2014162748.tif 000009
【図８】
2014162748.tif 000010
【図９】
2014162748.tif 000011
【図１０】
2014162748.tif 000012
【図１１】
2014162748.tif 000013
【図１２】
2014162748.tif 000014
【図１３】
2014162748.tif 000015
【図１４】
2014162748.tif 000016
【図１５】
2014162748.tif 000017
【図１６】
2014162748.tif 000018
【図１７】
2014162748.tif 000019
【図１８】
2014162748.tif 000020
【国際調査報告】
2014162748.tif 000021
2014162748.tif 000022
2014162748.tif 000023
2014162748.tif 000024