(57)【要約】【課題】  遅延時間を考慮した同期通信を実現する。【解決手段】  ネットワークを介して他の通信装置から送信されたデータを受信する通信装置は、該他の通信装置から該データを受信するまでの該ネットワーク上の伝送遅延時間を算出し、該データを受信してから該データに対するデコード処理のためのデコード処理時間を導出し、該伝送遅延時間と該デコード処理時間に応じて、該他の通信装置へ通信制御を要求するメッセージを送信する。【選択図】図７
2019033394.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して他の通信装置から送信されたデータを受信する通信装置であって、
前記他の通信装置から前記データを受信するまでの前記ネットワーク上の伝送遅延時間を算出する算出手段と、
前記データを受信してから前記データに対するデコード処理のためのデコード処理時間を導出する導出手段と、
前記伝送遅延時間と前記デコード処理時間に応じて、前記他の通信装置へ通信制御を要求するメッセージを送信する送信手段と、
を有することを特徴とする通信装置。
【請求項２】
前記伝送遅延時間と前記デコード処理時間の合計時間が所定の時間を超える場合、
前記送信手段は、前記合計時間が前記所定の時間以内になるように、前記他の通信装置へ第１の通信制御を要求するメッセージを送信することを特徴とする請求項１に記載の通信装置。
【請求項３】
前記第１の通信制御は、前記データに対するエンコードに関する制御であることを特徴とする請求項２に記載の通信装置。
【請求項４】
前記送信手段は、前記合計時間に対する前記デコード処理時間の割合を示す情報を、前記メッセージと共に送信することを特徴とする請求項２または３に記載の通信装置。
【請求項５】
前記送信手段は、前記伝送遅延時間が前記所定の時間を超える場合、前記伝送遅延時間が前記所定の時間以内になるように、前記他の通信装置へ第２の通信制御を要求するメッセージを送信することを特徴とする請求項２から４のいずれか１項に記載の通信装置。
【請求項６】
前記第２の通信制御は、前記他の通信装置との通信における通信帯域を拡張するための制御であることを特徴とする請求項５に記載の通信装置。
【請求項７】
前記導出手段は、前記デコード処理を計時することにより、前記デコード処理時間を導出することを特徴とする請求項１から６のいずれか１項に記載の通信装置。
【請求項８】
前記導出手段は、前記データに対するエンコード処理の方式と前記通信装置の処理能力に基づいて前記デコード処理時間を導出することを特徴とする請求項１から６のいずれか１項に記載の通信装置。
【請求項９】
前記伝送遅延時間と前記デコード処理時間の合計時間が所定の時間以内の場合、
前記送信手段は、前記所定の時間以内で通信が可能であること示すメッセージを送信することを特徴とする請求項１から８のいずれか１項に記載の通信装置。
【請求項１０】
ネットワークを介して他の通信装置へデータを送信する通信装置であって、
前記他の通信装置から、前記他の通信装置における前記データを受信するまでの前記ネットワーク上の伝送遅延時間が所定の時間を超えたことを示す第１のメッセージ、または、前記伝送遅延時間と、前記他の通信装置における前記データを受信してから前記データに対するデコード処理のためのデコード処理時間との合計時間が前記所定の時間を超えたことを示す第２のメッセージを受信する受信手段と、
前記受信手段により前記第１のメッセージまたは前記第２のメッセージが受信されたことに応じて、異なる通信制御を行う制御手段と、
を有することを特徴とする通信装置。
【請求項１１】
前記受信手段により前記第１のメッセージが受信された場合、
前記制御手段は、前記データに対するエンコードに関する制御を行うことを特徴とする請求項１０に記載の通信装置。
【請求項１２】
前記受信手段により前記第１のメッセージとともに前記合計時間に対する前記デコード処理時間の割合を示す情報が受信された場合、
前記制御手段は、前記情報に応じて、前記データに対するエンコード処理の圧縮率を上げること、前記データに対するフレームレートを下げること、冗長データを送信しながら前記データに対するフレームレートを下げること、前記データのサイズを縮小すること、の少なくともいずれかを行うことを特徴とする請求項１０または１１に記載の通信装置。
【請求項１３】
前記受信手段により前記第２のメッセージが受信された場合、
前記制御手段は、前記他の通信装置との通信における通信帯域を拡張するための制御を行うことを特徴とする請求項１０から１２のいずれか１項に記載の通信装置。
【請求項１４】
ネットワークを介して他の通信装置から送信されたデータを受信する通信装置の制御方法であって、
前記他の通信装置から前記データを受信するまでの前記ネットワーク上の伝送遅延時間を算出する算出工程と、
前記データを受信してから前記データに対するデコード処理のためのデコード処理時間を導出する導出工程と、
前記伝送遅延時間と前記デコード処理時間に応じて、前記他の通信装置へ通信制御を要求するメッセージを送信する送信工程と、
を有することを特徴とする通信装置の制御方法。
【請求項１５】
ネットワークを介して他の通信装置へデータを送信する通信装置の制御方法であって、
前記他の通信装置から、前記他の通信装置における前記データを受信するまでの前記ネットワーク上の伝送遅延時間が所定の時間を超えたことを示す第１のメッセージ、または、前記伝送遅延時間と、前記他の通信装置における前記データを受信してから前記データに対するデコード処理のためのデコード処理時間との合計時間が前記所定の時間を超えたことを示す第２のメッセージを受信する受信工程と、
前記受信工程により前記第１のメッセージまたは前記第２のメッセージが受信されたことに応じて、異なる通信制御を行う制御工程と、
を有することを特徴とする通信装置の制御方法。
【請求項１６】
コンピュータを、請求項１から１３のいずれか１項に記載の通信装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同期通信技術に関する。
【背景技術】
【０００２】
近年、Ｅｔｈｅｒｎｅｔ（登録商標）によるネットワーク通信において、送信端末と複数の受信端末で構成する同期通信システムの検討が進められている。この同期通信システムは、送信端末がＡｕｄｉｏ／Ｖｉｄｅｏ等のストリームデータ（以下、ＡＶデータ）をリアルタイムに伝送して、システム内の複数の受信端末が同期した再生を可能とするシステムである。このシステムを実現する代表的な規格として、Ｅｔｈｅｒｎｅｔ  ＡＶＢ（Ａｕｄｉｏ  Ｖｉｄｅｏ  Ｂｒｉｄｇｉｎｇ）と呼ばれるプロトコル規格が、産業系、放送系の分野で注目され始めている。
【０００３】
Ｅｔｈｅｒｎｅｔ  ＡＶＢでは、機器間の時刻同期を行う機能と、既定した遅延量以内にデータ伝送を行うためのＱｏＳ （Ｑｕａｌｉｔｙ  ｏｆ  Ｓｅｒｖｉｃｅ）機能が規定されている。これらの機能により、送信端末は、データ再生時刻が設定されたデータをリアルタイムに伝送し、複数の受信端末は規定の遅延で当該データを受信し、複数の端末間で同期して再生すること（リアルタイム・同期通信）が可能となる。
【０００４】
リアルタイム・同期通信の従来技術として、特許文献１に記載されている通信端末装置がある。通信端末装置は、内部の記憶媒体から読み出したデータが、第一の端末に受信されるまでに要する時間と、第二の端末に受信されるまでに要する時間との差である遅延時間を検出する。そして、通信端末装置は、検出した遅延時間に基づき、第一の端末へ送信するためのデータを読み出す時刻と第二の端末へ送信するためのデータを読み出す時刻とを調整する。これにより、第一の端末にデータが受信される時刻と第二の端末にデータが受信される時刻とが一致することが可能となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−９０１８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１では、ネットワーク上のデータ転送による遅延時間１と端末内のデータ処理による遅延時間２とを合算した時間を、遅延時間として検出する。ここで、特許文献１では、端末内のデータ処理による遅延時間２は、固定値として取り扱われている。
【０００７】
しかしながら、端末内のデータ処理による遅延時間は、条件により変動し得る。例えば、端末内のデータ処理として、受信した映像ストリームをディスプレイ等に表示するためのデコード処理を考える。解像度やフレームレートの高い映像ストリームは、低い映像ストリームに比べてデコード処理する情報量が多くなり、データ処理による遅延時間は長くなり得る。そのため、映像ストリームの解像度やフレームレートを閾値以上に高くすると、システムとして規定している遅延時間を超えてしまう通信端末が発生する可能性がある。また、システムとして規定している遅延時間を超えてしまう通信端末が発生したことは、送信側である通信端末装置に通知されないため、そのような場合に通信端末装置は何らの対策を講じることができず、リアルタイム・同期通信を維持することは困難であった。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、遅延時間を考慮した同期通信を実現することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための一手段として、本発明の通信装置は以下の構成を有する。すなわち、ネットワークを介して他の通信装置から送信されたデータを受信する通信装置であって、前記他の通信装置から前記データを受信するまでの前記ネットワーク上の伝送遅延時間を算出する算出手段と、前記データを受信してから前記データに対するデコード処理のためのデコード処理時間を導出する導出手段と、前記伝送遅延時間と前記デコード処理時間に応じて、前記他の通信装置へ通信制御を要求するメッセージを送信する送信手段と、を有する。
【発明の効果】
【００１０】
本発明によれば、遅延時間を考慮した同期通信が実現される。
【図面の簡単な説明】
【００１１】
【図１】実施形態における同期通信システムの概略図である。
【図２】（Ａ）は送信端末１０１のハードウェア構成例を示すブロック図である。（Ｂ）は送信端末１０１の機能構成例を示すブロック図である。
【図３】（Ａ）は受信端末１０６のハードウェア構成例を示すブロック図である。（Ｂ）は受信端末１０６の機能構成例を示すブロック図である。
【図４】同期通信システムにおけるデータの流れを説明する図である。
【図５】ネットワーク上の伝送遅延が生じる場合の、同期通信システムにおけるデータの流れを説明する図である。
【図６】受信端末１０６におけるデータ処理遅延が生じる場合の、同期通信システムにおけるデータの流れを説明する図である。
【図７】受信端末１０６の動作フローチャートである。
【図８】送信端末１０１の動作フローチャートである。
【図９】Ｆａｉｌｕｒｅ  Ｃｏｄｅに対する処理の例を表す表である。
【発明を実施するための形態】
【００１２】
以下、添付の図面を参照して、本発明をその実施形態の一例に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１３】
送信端末、複数の中継端末、複数の受信端末から構成される同期通信システムを例に、本発明の実施形態を説明する。送信端末から送信されるデータは、１以上の中継端末を介して、それぞれの受信端末に受信され、複数の受信端末は、同期して受信したデータの再生を行う。
【００１４】
（同期通信システムの構成）
図１に、本実施形態における同期通信システムの構成の概略図を示す。図１に示す同期通信システムは、１台の送信端末１０１、５台の受信端末１０２〜１０６と３台の中継端末１０７〜１０９で構成され、各端末間はネットワークによって接続されている。説明のため、送信端末１０１はビデオカメラとして機能するものとする。また、受信端末１０２〜１０６は、映像観賞用のプロジェクタや、映像確認用のディスプレイや、映像の編集操作を行うための編集機材や、映像の解析や合成等の動画処理演算を行うＰＣ等である。なお、送信端末１０１や受信端末１０２〜１０６の機能（アプリケーション）はこれらに限定されない。
【００１５】
送信端末１０１と各受信端末１０２〜１０６は、中継端末１０７〜１０９によって、Ｅｔｈｅｒｎｅｔ  ＡＶＢ等のリアルタイム・同期通信が可能な通信プロトコル規格に対応したネットワークで接続されている。そのため、送信端末１０１と各受信端末１０２〜１０６との間でネットワークを介して一定の精度で時刻同期や一定の遅延時間以内のデータ転送が可能となっている。なお、Ｅｔｈｅｒｎｅｔ  ＡＶＢでは、受信端末に対して既定の遅延で通信が可能で、かつ、各々時刻同期可能な送信端末、受信端末（および中継端末）のグループは、ＡＶＢドメインと称する。
【００１６】
送信端末１０１は、撮影により取得した映像データを一旦蓄積した後、ネットワーク上に送出可能な映像ストリームデータにエンコード処理を行う。そして、送信端末１０１は、既定の伝送遅延時間を満たすようにネットワークを介して各受信端末１０２〜１０６に映像ストリームデータを送信（配信）する。
【００１７】
各受信端末１０２〜１０６は、受信した映像ストリームデータを各端末に応じた映像出力や編集、解析、映像合成等の様々なアプリケーションで利用するためにデコード処理を行う。例えば、受信端末１０６が映像観賞用のプロジェクタであれば、受信端末１０６は、デコード処理した映像を、映像ストリームデータの送信元である送信端末１０１と同期して投影する。ここで同期とは、送信端末１０１から送出された映像ストリームデータを、受信端末１０６の内部でデコード処理し、一定の遅延時間以内で映像を投影することを指す。
【００１８】
また、受信端末１０５と受信端末１０６でマルチプロジェクションを形成する場合は、受信端末１０５と受信端末１０６は、デコード処理した映像を、映像ストリームデータの送信元である送信端末１０１と同期して（一定の遅延時間以内で）投影する。これにより、ユーザは投影された映像をマルチプロジェクションとして視聴することが可能となる。
【００１９】
（送信端末の構成）
送信端末１０１の構成について説明する。図２（Ａ）は、送信端末１０１のハードウェア構成例を示すブロック図である。送信端末１０１は、ビデオカメラとして機能する場合、ハードウェア構成の一例として、記憶部２０１、制御部２０２、撮像部２０３、入力部２０４、出力部２０５、および通信部２０６を有する。
【００２０】
記憶部２０１はＲＯＭ、ＲＡＭの両方、もしくは、いずれか一方により構成され、後述する各種動作を行うためのプログラムや、無線通信のための通信パラメータ等の各種情報を記憶する。なお、記憶部２０１として、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体を用いてもよい。本実施形態では、記憶部２０１は、映像データ等を一時的に記憶する場合にも使用される。
【００２１】
制御部２０２はＣＰＵ、または、ＭＰＵにより構成され、記憶部２０１に記憶されたプログラムを実行することにより送信端末１０１全体を制御する。なお、制御部２０２は、記憶部２０１に記憶されたプログラムとＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）との協働により送信端末１０１全体を制御するようにしてもよい。本実施形態では、制御部２０２は、後述する通信制御部２１２（図２（Ｂ））に対して、Ｅｔｈｅｒｎｅｔ  ＡＶＢ等のリアルタイム・同期通信が可能な通信プロトコル規格に準じた通信プロトコルの制御も行う。
【００２２】
また、制御部２０２は、撮像部２０３を制御して、撮像処理を実行する。撮像部２０３は、カメラで構成され、撮影を行って映像データを取得する。入力部２０４は、ユーザからの各種操作の受付を行う。出力部２０５は、ユーザに対して各種出力を行う。ここで、出力部２０５による出力とは、画面上への表示や、スピーカーによる音声出力、振動出力等の少なくとも１つを含む。なお、タッチパネルのように入力部２０４と出力部２０５の両方を１つのモジュールで実現するようにしてもよい。
【００２３】
通信部２０６は、ＩＥＥＥ８０２．３関連規格に準拠した有線系ネットワーク（ＬＡＮ）と接続する通信用インターフェースである。また、通信部２０６は、Ｅｔｈｅｒｎｅｔ  ＡＶＢ等のリアルタイム・同期通信が可能な通信プロトコル規格を使用した通信が可能なインターフェースである。また、通信部２０６は、ＩＥＥＥ８０２．１１関連規格に準拠した無線ＬＡＮと接続するＨｏｓｔ＿ＩＦ（ＵＳＢ、ＳＤＩＯまたはＰＣＩｅ等）で構成されてもよい。また、通信部２０６は、制御部２０２が無線ＬＡＮモジュールに搭載されるコントロールＬＳＩを制御するためのインターフェースであってもよい。
【００２４】
図２（Ｂ）は、送信端末１０１の機能構成例を示すブロック図である。送信端末１０１は、機能構成の一例として、エンコード処理部２１１、通信制御部２１２、およびタイマ／時計部２１３を有する。
【００２５】
エンコード処理部２１１は、撮像部２０３により取得されて記憶部２０１に一時的に記憶されている映像データを読み込み、符号化処理を施して、映像ストリームデータを生成する。エンコード処理部２１１は、映像ストリームデータを、記憶部２０１に書き戻す。ここで符号化処理とは主に映像データの圧縮処理であり、圧縮方式としてはＨ．２６５／ＨＥＶＣやＨ．２６４／ＡＶＣなどの圧縮方式を使用して符号化処理を行う。また、エンコード処理部２１１は、映像データの画面サイズの縮小、あるいは映像のフレームレートの削減なども、圧縮時のパラメータとして使用し得る。
【００２６】
通信制御部２１２、通信プロトコル規格にしたがった通信制御を行う。例えば、通信制御部２１２は、記憶部２０１に一時的に記憶されている映像ストリームデータを読み出して通信プロトコル規格に規定のパケット化した後、パケットをネットワーク上へ送信するために通信部２０６に当該パケットを送る。
【００２７】
タイマ／時計部２１３は、日時や時刻を示す時計機能と、ある一定期間を計測可能なタイマとで構成されている。タイマ／時計部２１３は、制御部２０２の指示に応じて必要な日時、時刻、タイマなどの情報を提供する。タイマ／時計部２１３は、送信端末１０１の内部の処理時間の計測などに使用される。
【００２８】
（受信端末の構成）
受信端末１０６の構成について説明する。図３（Ａ）は、受信端末１０６のハードウェア構成例を示すブロック図である。受信端末１０６は、映像観賞用のプロジェクタとして機能する場合、ハードウェア構成の一例として、記憶部３０１、制御部３０２、投影部３０３、入力部３０４、出力部３０５、および通信部３０６を有する。記憶部３０１、制御部３０２、入力部３０４、出力部３０５、および通信部３０６は、図２（Ａ）の記憶部２０１、制御部２０２、入力部２０４、出力部２０５、および通信部２０６と同様であるため、説明を省略する。ただし、制御部３０２は、投影部３０３に対して投影タイミングを指示可能である。
【００２９】
投影部３０３は、映像表示素子とレンズと光源で構成され、映像表示素子で表示される映像を光源とレンズを使用してスクリーン等に投影する。投影部３０３は、記憶部３０１に一時的に記憶されている、後述するデコード処理部３１２により復号化された映像データを読み込み、制御部３０２が指示する投影タイミングでスクリーン等に投影する。
【００３０】
図３（Ｂ）は、受信端末１０６の機能構成例を示すブロック図である。受信端末１０６は、機能構成の一例として、通信制御部３１１、デコード処理部３１２、およびタイマ／時計部３１３を有する。
【００３１】
通信制御部３１１は、通信プロトコル規格にしたがった通信制御を行う。例えば、通信制御部３１１は、受信したパケットを通信プロトコル規格にしたがって映像ストリームデータに復号化する。映像ストリームデータは記憶部３０１に一時的に記憶される。
【００３２】
デコード処理部３１２は、記憶部３０１に一時的に記憶されている映像ストリームデータを読み込み、映像ストリームデータに対して復号化処理を施す。デコード処理部３１２は、復号化処理後のデータを記憶部３０１に書き戻す。デコード処理部による復号化処理とは、主に映像データの伸長処理である。デコード処理部３１２は、Ｈ．２６５／ＨＥＶＣやＨ．２６４／ＡＶＣなどの圧縮方式を使用して圧縮された映像ストリームデータの復号化処理を行う。
【００３３】
タイマ／時計部３１３は、日時や時刻を示す時計機能と、ある一定期間を計測可能なタイマとで構成されている。タイマ／時計部３１３は、制御部３０２の指示に応じて必要な日時、時刻、タイマなどの情報を提供する。タイマ／時計部３１３は、受信端末１０６の内部の処理時間の計測などに使用される。
【００３４】
なお、受信端末１０２〜１０５のハードウェア構成および機能構成は、それぞれ図３（Ａ）と図３（Ｂ）と同様であってもよい。また、送信端末１０１、受信端末１０２〜１０６ともに、図２（Ａ）と図３（Ａ）に示したハードウェア構成、図２（Ｂ）と図３（Ｂ）に示した機能構成を有するように構成されてもよい。
【００３５】
（送信端末から受信端末までのデータの流れ）
図４に、送信端末１０１から受信端末１０６への映像ストリームデータを転送する際のデータの流れの一例を示す。図４では、例としてビデオカメラである送信端末１０１が映像ストリームデータを送信し、受信端末１０６が映像ストリームデータを受信してデコード処理した後に映像を投影するまでを示している。
【００３６】
この時のデータ転送の経路は、送信端末１０１→中継端末１０７→中継端末１０８→中継端末１０９→受信端末１０６となっており、図４にそれぞれの端末でどのようにデータ転送が行われるかを示している。また、図４の横軸は時間の経過を示しており、図中のｔｎ、ｔｎ＋１、ｔｎ＋２、ｔｎ＋３で示す時刻の間隔は均一であり、本実施形態における同期通信システムの同期周期のタイミングを示している。
【００３７】
期間４０１は、送信端末１０１が任意の時刻ｔｎからｔｎ＋１の期間で撮影によって映像データを取得する期間を示している。期間４０１では、送信端末１０１は、取得した映像データに対してエンコード処理を施して映像ストリームデータＤ１を生成する処理も並行して実施している。
【００３８】
期間４０２は、送信端末１０１が期間４０１でエンコード処理により生成した映像ストリームデータＤ１を中継端末１０７に送出している期間を示している。送信端末１０１は時刻ｔｎ＋１から送出を開始して、期間４０２の終了時点で、中継端末１０７への転送を完了する。
【００３９】
期間４０３は、中継端末１０７が送信端末１０１から送信された映像ストリームデータＤ１を受信した後、映像ストリームデータＤ１を中継端末１０８へ転送し、完了するまでの期間を示している。中継端末１０７は、一旦内部に映像ストリームデータＤ１を蓄積しながら順次転送することが可能である。
【００４０】
期間４０４は、中継端末１０８が中継端末１０７から転送された映像ストリームデータＤ１を受信した後、映像ストリームデータＤ１を中継端末１０９へ転送し、完了するまでの期間を示している。中継端末１０８も、一旦内部に映像ストリームデータＤ１を蓄積しながら順次転送することが可能である。
【００４１】
期間４０５は、中継端末１０９が中継端末１０８から転送された映像ストリームデータＤ１を受信した後、受信端末１０６へ映像ストリームデータＤ１を転送し、完了するまでの期間を示している。中継端末１０９も、一旦内部に映像ストリームデータＤ１を蓄積しながら順次転送することが可能である。
【００４２】
期間４０６は、受信端末１０６が中継端末１０９から転送された映像ストリームデータＤ１を受信する期間を示している。期間４０６の終了時点で、転送された映像ストリームデータＤ１の受信端末１０６への転送が完了する。
【００４３】
期間４０７は、受信端末１０６が、期間４０６で受信した映像ストリームデータＤ１に対するデコード処理の期間を示している。期間４０７の終了時点で、受信端末１０６は、デコード処理を完了し、いつでも映像を投影可能な状態となる。
【００４４】
期間４０９は、受信端末１０６による映像の投影待ち時間を示している。この待ち時間は、映像ストリームデータＤ１の送信元である送信端末１０１と同期して（すなわち一定の遅延時間以内で）映像を投影するために、同期タイミングである時刻ｔｎ＋２になるまで、投影を待機している期間である。
【００４５】
期間４０８は、期間４０１で送信端末１０１が時刻ｔｎからｔｎ＋１の期間で撮影によって取得した映像データ（映像ストリームデータＤ１）を投影して映像をユーザに表示する期間（時刻ｔｎ＋２からｔｎ＋３）を示している。
【００４６】
このように、映像の投影タイミングを規定して投影することで、例えば、図４のように動作する受信端末１０５と受信端末１０６によりマルチプロジェクションを形成することが可能である。
【００４７】
詳細には、送信端末１０１が任意の時刻ｔｎからｔｎ＋１の期間に撮影して取得した映像データの右半分と左半分の映像データに対応する映像ストリームデータを、それぞれ受信端末１０５と受信端末１０６へ配信したとする。そして、受信端末１０５に対して、期間４０２〜４０７と同様な手順が実施されたとする。この場合、受信端末１０５と受信端末１０６が同期して投影可能となり、マルチプロジェクションとして、合わせた映像をユーザに提供できる。
【００４８】
なお、上記期間４０１〜４０９における説明は、送信端末１０１が任意の時刻ｔｎからｔｎ＋１の期間で撮影によって取得した映像データが受信端末１０６で投影されるまでの動作の説明である。実際には、送信端末１０１から受信端末１０６への映像ストリーム転送は連続的に行われており、図４ではそのうちの任意の期間（時刻ｔｎからｔｎ＋１までに取得した映像データ）を抜き出して説明したものである。
【００４９】
図４の例では、受信端末１０６は、期間ｔｎ＋２で（期間４０８の開始時点で）映像ストリームデータＤ１を投影することが可能であった。続いて、図５と図６を参照して、ネットワーク上のデータ転送の遅延時間が所定値を超えることにより、受信端末１０６が期間ｔｎ＋２で映像ストリームデータＤ１を投影できない例を説明する。
【００５０】
図５は、ネットワーク上の伝送遅延が生じる場合の、送信端末１０１から受信端末１０６への映像ストリームデータを転送する際のデータの流れの一例を示す。図５は、図４と同様に、ビデオカメラである送信端末１０１が映像ストリームデータを送信し、受信端末１０６が映像ストリームデータを受信してデコード処理した後に映像を投影するまでを示している。この時のデータ転送の経路や図中のｔｎ、ｔｎ＋１、ｔｎ＋２、ｔｎ＋３で示す時刻については、図４と同様である。
【００５１】
期間５０１〜５０６における動作は、図４の期間４０１〜４０６における動作と同様のため、説明を省略する。ただし、ネットワーク上の伝送遅延が生じることにより、期間５０３〜５０５のうち少なくとも１期間は、対応する図４の期間４０３〜４０５より長い期間とする。そのため、期間５０６の終了時点は時刻ｔｎ＋２を超えてしまい、リアルタイム・同期通信の通信プロトコル規格を満足していない状況となっている。
【００５２】
期間５０７は、受信端末１０６が、期間５０６で受信した映像ストリームデータＤ１に対して映像を投影するためにデコード処理の期間を示している。期間５０７の終了時点で、受信端末１０６は、デコード処理を完了し、いつでも映像を投影可能な状態となる。ここで、期間５０３〜５０５のうち少なくとも１期間が、対応する図４の期間４０３〜４０５より長く、その差分（の合計）を期間αとする。この場合、図５に示すように、期間５０７の終了時点は、ｔｎ＋２＋αとなる。
【００５３】
期間５０８は、期間５０１で送信端末１０１が時刻ｔｎからｔｎ＋１の期間で撮影によって取得した映像データ（映像ストリームデータＤ１）を投影して映像をユーザに表示する期間（時刻ｔｎ＋２＋αからｔｎ＋３＋α）を示している。
【００５４】
このように、受信端末１０６が期間５０６で映像ストリームデータＤ１を受信している段階で同期が破たんしてしまっているため、本来の時刻ｔｎ＋２より期間αだけ遅延して始まる期間５０９の開始時点から投影が開始される。この場合、例えば受信端末１０５と受信端末１０６でマルチプロジェクションに投影しようとしても映像にずれが発生してしまう可能性がある。
【００５５】
詳細には、送信端末１０１が任意の時刻ｔｎからｔｎ＋１の期間に撮影して取得した映像データの右半分と左半分の映像データに対応する映像ストリームデータを、それぞれ受信端末１０５と受信端末１０６へ配信したとする。そして、受信端末１０５に対して図４の期間４０２〜４０７と同様な手順が実施され、受信端末１０６に対して期間５０２〜５０７の手順が実施されたとする。この場合、受信端末１０５は、時刻ｔｎ＋２に投影可能であるが、受信端末１０６は期間α遅延して投影することとなり、マルチプロジェクションとしては、ずれた映像をユーザに提供することになる。
【００５６】
図６は、受信端末１０６におけるデータ処理遅延が生じる場合の、送信端末１０１から受信端末１０６への映像ストリームデータを転送する際のデータの流れの一例を示す。図６では、図４と同様に、ビデオカメラである送信端末１０１が映像ストリームデータを送信し、受信端末１０６が映像ストリームデータを受信してデコード処理した後に映像を投影するまでを示している。この時のデータ転送の経路や図中のｔｎ、ｔｎ＋１、ｔｎ＋２、ｔｎ＋３で示す時刻については、図４と同様である。
【００５７】
期間６０１〜６０６における動作は、図４の期間４０１〜４０６における動作と同様のため、説明を省略する。期間６０７は、受信端末１０６が、期間６０６で受信した映像ストリームデータＤ１に対するデコード処理の期間を示している。期間６０７の終了時点で、受信端末１０６は、デコード処理を完了し、いつでも映像を投影可能な状態となる。しかしながら、図６に示すように、受信端末１０６によるデコード処理の遅延により、期間６０７の終了時点が時刻ｔｎ＋２を超えている。期間６０７の終了時点と時刻ｔｎ＋２の差を期間βとする。
【００５８】
期間６０８は、期間６０１で送信端末１０１が時刻ｔｎからｔｎ＋１の期間で撮影によって取得した映像データ（映像ストリームデータＤ１）を投影して映像をユーザに表示する期間（時刻ｔｎ＋２＋βからｔｎ＋３＋β）を示している。
【００５９】
このように、映像ストリームデータＤ１の受信完了である期間６０６の終了時点の時刻は時刻ｔｎ＋２よりも早い時刻となり、リアルタイム・同期通信の通信プロトコル規格は満足している。しかしながら、受信端末１０６の内部処理（デコード処理）が遅いためにリアルタイム・同期通信が破たんしている。受信端末１０６が期間６０６で映像ストリームデータのデコード処理をしている段階で同期が破たんしてしまっているため、本来の時刻ｔｎ＋２より期間βだけ遅延して始まる期間６０９の開始時点から投影が開始される。この場合、例えば受信端末１０５と受信端末１０６でマルチプロジェクションに投影しようとしても映像にずれが発生してしまう可能性がある。
【００６０】
詳細には、送信端末１０１が任意の時刻ｔｎからｔｎ＋１の期間に撮影して取得した映像データの右半分と左半分の映像データに対応する映像ストリームデータを、それぞれ受信端末１０５と受信端末１０６へ配信したとする。そして、受信端末１０５に対して図４の期間４０２〜４０７と同様な手順が実施され、受信端末１０６に対して期間６０２〜６０７の手順が実施されたとする。この場合、受信端末１０５は、時刻ｔｎ＋２に投影可能であるが、受信端末１０６は期間β遅延して投影することとなり、マルチプロジェクションとしては、ずれた映像をユーザに提供することになる。
【００６１】
（受信端末の動作）
続いて、図４〜６のようなデータ転送が行われる場合の、受信端末１０６の動作について図７を参照して説明する。図７は、本実施形態における同期通信システムにおける受信端末１０６の動作フローチャートである。ここでは、国際標準化機構（ＩＳＯ）によって策定されたＯＳＩ（Ｏｐｅｎ  Ｓｙｓｔｅｍｓ  Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ）参照モデルの各レイヤを参照する。
【００６２】
Ｓ７０１では、受信端末１０６は、図１に示す同期通信システムを構成する１つの端末として起動している。このとき、受信端末１０６は、送信端末１０１から映像ストリームデータを受信している状態であってもよい。
【００６３】
Ｓ７０２で、受信端末１０６は、通信部３０６を介して、ＯＳＩ参照モデルで規定されるトランスポート層より上位層のレイヤの通信パケットにより同期通信開始の通知を受信たかどうか判定する。同期通信開始の通知を受信した場合、受信端末１０６は、当該通知から、転送される映像ストリームデータに関する情報（符号化方式など）を取得する。また、受信端末１０６は、通信部３０６を介して送信端末１０１から通信パケットの形態でトーカ広告メッセージを受信したかどうかを判定する。なお、既に同期通信開始の通知を受信している場合は、Ｓ７０２では、受信端末１０６は、トーカ広告メッセージを受信したかどうかのみを判定し得る。トーカ広告メッセージは、リアルタイム・同期通信の通信プロトコル規格に規定されるメッセージであり、データリンク層を使用して送信される。受信端末１０６は、トーカ広告メッセージを受信することにより、必要となる伝送帯域情報、ネットワーク上の伝送遅延情報などを取得することができる。同期通信開始の通知／トーカ広告メッセージを受信した場合は（Ｓ７０２でＹｅｓ）、処理はＳ７０３へ移行し、そうでなければ（Ｓ７０２でＮｏ）、処理はＳ７１１へ移行する。
【００６４】
Ｓ７０３では、受信端末１０６は、受信したトーカ広告メッセージに付加されている情報から、ネットワーク上の伝送遅延時間を算出する。トーカ広告メッセージには、経路上の送信端末１０１や中継端末１０７〜１０９における伝送遅延情報が付加されて伝送されるようになっている。受信端末１０６は、図４の期間４０２〜４０５についての情報が伝達されることから、自身の遅延時間（例えば図４の期間４０６）加算して、ネットワーク上の伝送遅延時間を算出する。
【００６５】
Ｓ７０４では、受信端末１０６は、Ｓ７０３で算出した伝送遅延時間が所定の値以下（例えば２ｍｓ以下）であるかどうかを判定する。伝送遅延時間が所定の値以下であれば（Ｓ７０４でＹｅｓ）、処理はＳ７０６へ移行し、そうでなければ（Ｓ７０４でＮｏ）、処理はＳ７０５へ移行する。
【００６６】
Ｓ７０３で算出された伝送遅延時間が所定の値以下であること（Ｓ７０４でＹｅｓ）は、データリンク層で規定されているリアルタイム・同期通信の通信プロトコル規格を満足していることを意味する。逆に、Ｓ７０３で算出された伝送遅延時間が所定の値を超えること（Ｓ７０４でＮｏ）は）、データリンク層で規定されているリアルタイム・同期通信の通信プロトコル規格を満足していないことを意味する。
【００６７】
Ｓ７０５では、受信端末１０６は、リアルタイム・同期通信が実施できないことを送信端末１０１へ通知する。受信端末１０６は、この通知として、例えばリスナ要求失敗メッセージを、データリンク層を使用して送信端末１０１へ送信する。
【００６８】
Ｓ７０６では、受信端末１０６は、デコード処理時間（アプリケーションで利用するためのデコード処理時間）を導出する。すでにＳ７０３で算出された伝送遅延時間が所定の値以内であったため（Ｓ７０４でＹｅｓ）、データリンク層のレベルではリアルタイム・同期通信が可能である。ただし、ユーザ視点で見るとリアルタイム・同期通信が実現しているかどうかは、投影される映像が送信端末１０１と同期して所定の遅延量以内で表示されるかどうかに関連する。そのため、受信端末１０６の内部処理時間（つまりデコード処理時間）を遅延情報として考慮する必要があり、デコード処理時間を算出する。
【００６９】
デコード処理時間は、図４の期間４０７、図５の期間５０７、図６の期間６０７に相当する。受信端末１０６は、先に受信した映像ストリームデータに関する情報（符号化方式など）と、受信端末１０６の処理能力に基づいて、デコード処理時間を導出する。また、すでに受信端末１０６が送信端末１０１から映像ストリームデータを受信している場合は、制御部３０２がタイマ／時計部３１３とデコード処理部３１２を制御して実際のデコード処理時間を算出（導出）し得る。なお、受信端末１０６の処理能力は、予め制御部３０２にとって既知であり得る。
【００７０】
Ｓ７０７では、受信端末１０６は、Ｓ７０３で算出した伝送遅延時間とＳ７０６で導出したデコード処理時間を加算してトータル（合計）遅延時間を算出する。トータル遅延時間は、例えば図４の期間４０２〜４０７の合計時間に相当する。
【００７１】
Ｓ７０８では、受信端末１０６は、Ｓ７０７で算出されたトータル遅延時間が所定の値以下（例えば２ｍｓ以下）であるかどうかを判定する。トータル遅延時間が所定の値以下であれば（Ｓ７０８でＹｅｓ）、処理はＳ７１０へ移行し、そうでなければ（Ｓ７０８でＮｏ）、処理はＳ７０９へ移行する。
【００７２】
Ｓ７０７で算出されたトータル遅延時間が所定の値以下であること（Ｓ７０８でＹｅｓ）は、ユーザ視点でリアルタイム・同期通信が実現していることを意味する。すなわち、受信端末１０６が投影する映像が送信端末１０１と同期して所定の遅延量以内で表示され、図４に示した映像データ転送が実現できること意味する。逆に、Ｓ７０７で算出されたトータル遅延時間が所定の値を超えてしまうこと（Ｓ７０８でＮｏ）は、ユーザ視点でリアルタイム・同期通信が実現していないことを意味する。すなわち、受信端末１０６が投影する映像が送信端末１０１と同期して所定の遅延量以内で表示できず、図６に示した映像データ転送となる可能性があることを意味する。
【００７３】
Ｓ７０９では、受信端末１０６は、リアルタイム・同期通信が実施できないことを送信端末１０１へ通知する。受信端末１０６は、この通知として、例えばリスナ要求失敗メッセージを、データリンク層を使用して送信端末１０１へ送信する。受信端末１０６は更に、デコード処理時間が所定の時間内に終了しないことを示す情報を、トランスポート層より上位層のレイヤの通信パケットに含めて送信する。本実施形態では、当該情報は、リアルタイム・同期通信の通信プロトコル規格に規定されるＦａｉｌｕｒｅ  Ｃｏｄｅとする。また、受信端末１０６は、このＦａｉｌｕｒｅ  Ｃｏｄｅで空きとなっているコードを新規に使用してもよい。また、当該情報は、Ｓ７０７で算出されたトータル遅延時間に対してＳ７０６で導出されたデコード処理時間の割合がどの程度であるかの情報であっても良い。Ｓ７０９で送信し得るＦａｉｌｕｒｅ  Ｃｏｄｅの例を図９に示す。図９については、後述する。
【００７４】
Ｓ７１０では、受信端末１０６は、リアルタイム・同期通信が実施できることを送信端末１０１へ通知する。受信端末１０６は、この通知として、例えばリスナ準備完了メッセージを、データリンク層を使用して送信端末１０１へ送信する。
【００７５】
Ｓ７１１では、受信端末１０６は、送信端末１０１との接続を終了する要因が発生したかどうかを判定する。送信端末１０１との接続を終了する要因が発生した場合は（Ｓ７１１でＹｅｓ）、処理はＳ７１３へ移行し、そうでなければ（Ｓ７１１でＮｏ）、処理はＳ７０２へ移行する。例えば、制御部３０２が実行しているアプリケーションソフトウエアにおいてユーザからの操作などで送信端末１０１との接続を終了させる指示を検知した場合は上記の要因となる。また、受信端末１０６が、送信端末１０１から通信回線を切断する旨の通知を含んだ受信パケットを受信した場合も上記の要因となる。
【００７６】
Ｓ７１２では、受信端末１０６は、送信端末１０１との接続を終了する処理（同期通信終了処理）を実施する。具体的には、受信端末１０６は、リアルタイム・同期通信の通信プロトコル規格に従って送信端末１０１との切断処理を実行する。Ｓ７１３は、このフローチャートの終了を示している。フローチャートの終了により、例えば、受信端末１０６は、図１に示す同期通信システムを構成する１つの端末として起動しているが、送信端末１０１と非接続状態となる。
【００７７】
（送信端末の動作）
続いて、図４〜６のようなデータ伝送が行われる場合の、送信端末１０１の動作について図８を参照して説明する。図８は、本実施形態における同期通信システムにおける送信端末１０１の動作フローチャートである。図７と同様に、ここでは、国際標準化機構（ＩＳＯ）によって策定されたＯＳＩ（Ｏｐｅｎ  Ｓｙｓｔｅｍｓ  Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ）参照モデルの各レイヤを参照する。
【００７８】
Ｓ８０１では、送信端末１０１は、図１に示す同期通信システムを構成する１つの端末として起動している。Ｓ８０２では、送信端末１０１は、受信端末１０６と同期通信を開始する要因が発生したかどうかを判定する。受信端末１０６との接続を開始させる要因が発生した場合は（Ｓ８０２でＹｅｓ）、処理はＳ８０３へ移行し、そうでなければ（Ｓ８０２でＮｏ）、Ｓ８０２の状態を維持する。例えば、制御部２０２が実行しているアプリケーションソフトウエアにおいてユーザからの操作などで受信端末１０６との同期通信を開始する指示を検知した場合は上記の要因となる。
【００７９】
Ｓ８０３では、送信端末１０１は、受信端末１０６へ同期通信開始の通知を送信する。詳細には、送信端末１０１は、ＯＳＩ参照モデルで規定されるトランスポート層より上位層のレイヤの通信パケットに転送される映像ストリームデータに関する情報（符号化方式など）を、同期通信開始の通知に付加して送信する。また、送信端末１０１は、データリンク層を使用して、必要となる伝送帯域情報、ネットワーク上の伝送遅延情報などを、トーカ広告メッセージに付加して送信する。なお、既に同期通信開始の通知を送信している場合は、Ｓ８０３では、トーカ広告メッセージのみを送信し得る。
【００８０】
Ｓ８０４では、送信端末１０１は、受信端末１０６からリスナ準備完了メッセージ（Ｓ７１１）を受信したかどうかを判定する。受信端末１０６からリスナ準備完了メッセージが受信された場合は（Ｓ８０４でＹｅｓ）、処理はＳ８１０へ移行し、そうでない場合は（Ｓ８０４でＮｏ）、処理はＳ８０５へ移行する。
【００８１】
Ｓ８０５では、送信端末１０１は、図７に示すＳ７０５とＳ７０９のいずれにおけるリスナ要求失敗メッセージを受信端末１０６から受信したかを判定する。すなわち、Ｓ７０９におけるリスナ要求失敗メッセージを受信した場合は、リアルタイム・同期通信の通信プロトコル規格は満足しているが、受信端末１０６によるデコード処理時間が所定の時間以上の場合である。一方、Ｓ７０５におけるリスナ要求失敗メッセージを受信した場合は、リアルタイム・同期通信の通信プロトコル規格を満足していない（伝送遅延時間が所定の時間内に終了しない）場合である。送信端末１０１は、いずれのリスナ要求失敗メッセージを受信したかに応じて、その後の処理を変える。すなわち、送信端末１０１は、いずれのリスナ要求失敗メッセージを受信したかに応じて、異なる通信制御を行う。Ｓ７０９におけるリスナ要求失敗メッセージを受信した場合は、処理はＳ８０６へ移行する。一方、Ｓ７０５におけるリスナ要求失敗メッセージを受信した場合は、処理はＳ８０８へ移行する。
【００８２】
Ｓ８０６では、送信端末１０１は、データリンク層を使用してトーカ失敗メッセージを受信端末１０６に送信する。すなわち、受信端末１０６がＳ７０９におけるリスナ要求失敗メッセージを受信したことに応答して、確認応答としてデータリンク層を使用してトーカ失敗メッセージを受信端末１０６へ送信する。この時、送信端末１０１は。受信端末１０６のデコード処理時間が所定の時間内に終了しないことの通知（処理記号リスナ要求失敗メッセージ（Ｓ７０９））を受信したことを示す情報をＦｉｌｕｒｅ  Ｃｏｄｅ‘２０’で表記してトーカ失敗メッセージに付加し得る。
【００８３】
Ｓ８０７では、送信端末１０１は、エンコード処理部２１１におけるエンコード処理の内容を変更する。詳細には、制御部２０２が、受信端末１０６の処理能力に応じて受信端末１０６が所定の時間内にデコード処理が終了するように、エンコード処理部２１１により実施されるエンコード処理の内容を変更する。例えば、制御部２０２は、映像データの画面サイズの縮小、あるいは映像のフレームレートの削減などを実施してデコード処理の負荷を低減するように、エンコード処理を変更する。ここで、送信端末１０１は、図９を用いて後述するように、Ｓ７０９におけるリスナ要求失敗メッセージとともに受信したＦａｉｌｕｒｅ  Ｃｏｄｅに基づいて、エンコード処理を変更してもよい。なお、エンコード処理を変更してもなお、送信端末１０１がリスナ準備完了メッセージを受信できない場合は、例えば出力部３０５を介してユーザにエラーメッセージを出力してもよい。
【００８４】
Ｓ８０８では、送信端末１０１は、データリンク層を使用してトーカ失敗メッセージを受信端末１０６に送信する。すなわち、受信端末１０６がＳ７０５におけるリスナ要求失敗メッセージを受信したことに応答して、確認応答としてデータリンク層を使用してトーカ失敗メッセージを受信端末１０６へ送信する。この時、送信端末１０１は、伝送遅延時間が所定の時間内に終了しないことの通知（リスナ要求失敗メッセージ（Ｓ７０５））を受信したことを示す情報をＦｉｌｕｒｅ  Ｃｏｄｅ‘１’で表記してトーカ失敗メッセージに付加し得る。
【００８５】
Ｓ８０９では、送信端末１０１は、リアルタイム・同期通信の通信プロトコル規格で規定される通信帯域予約において、予約する通信帯域の拡張設定を行う。詳細には、通信制御部２１２は、リアルタイム・同期通信の通信プロトコル規格にしたがって、図１に示す同期通信システムで設定可能な通信帯域に拡張する。通信帯域の拡張のために必要であれば、送信端末１０１は、更なる通信を行ってもよい。その後、送信端末１０１は、Ｓ８０４でリスナ準備完了メッセージを受信できるまで、再度Ｓ８０３とＳ８０４の処理を繰り返す。なお、拡張可能な範囲まで通信帯域を拡張してなお、送信端末１０１がリスナ準備完了メッセージを受信できない場合は、例えば出力部３０５を介してユーザにエラーメッセージを出力してもよい。
【００８６】
Ｓ８１０では、送信端末１０１は、生成した映像ストリームデータを受信端末１０６に送信（配信）する。詳細には、エンコード処理部２１１は、撮像部２０３により取得された映像データに対してエンコード処理を行って映像ストリームデータを生成する。そして、通信部２０６が、ネットワークを介して受信端末１０６に映像ストリームデータを送信する。
【００８７】
Ｓ８１１では、送信端末１０１は、受信端末１０６との接続を終了する要因が発生したかどうかを判定する。受信端末１０６との接続を終了する要因が発生した場合は（Ｓ８１１でＹｅｓ）、処理はＳ８１２へ移行し、そうでなければ（Ｓ８１１でＮｏ）、処理はＳ８１０へ移行する。例えば、制御部２０２が実行しているアプリケーションソフトウエアにおいてユーザからの操作などで受信端末１０６との接続を終了させる指示を検知した場合は上記の要因となる。また、送信端末１０１が、受信端末１０６から通信回線を切断する旨の通知を含んだ受信パケットを受信した場合も上記の要因となる。
【００８８】
Ｓ８１２では、送信端末１０１は、受信端末１０６との接続を終了する処理（同期通信終了処理）を行う。詳細には、送信端末１０１は、リアルタイム・同期通信の通信プロトコル規格に従って受信端末１０６との切断処理を実行する。Ｓ８１３は、このフローチャートの終了を示している。フローチャートの終了により、例えば、送信端末１０１が図１に示す同期通信システムを構成する１つの端末として起動しているが、受信端末１０６と非接続状態となる。
【００８９】
図９は、図７のＳ７０９で通知されるＦａｉｌｕｒｅ  Ｃｏｄｅに対する図８のＳ８０７の処理の例を表す表である。ここでは、拡張したＦａｉｌｕｒｅ  Ｃｏｄｅを列９０１に記載している。また、Ｆａｉｌｕｒｅ  Ｃｏｄｅが示す情報を列９０２に記載している。また、Ｓ８０７において、送信端末１０１の制御部２０２がエンコード処理部２１１に対して行う処理を列９０３に記載している。なお、本実施形態では、上述のようにＳ７０９では、受信端末１０６は、Ｆａｉｌｕｒｅ  Ｃｏｄｅを送信するとしたが、Ｆａｉｌｕｒｅ  Ｃｏｄｅを用いない場合、受信端末１０６は、列９０２に示す情報を含めた通信パケットを送信する（Ｓ７０９）。そして、送信端末１０１は当該通信パケットを受信し、図９に従って、対応する処理を実施することができる。
【００９０】
Ｆａｉｌｕｒｅ  Ｃｏｄｅ：２０は、デコード処理時間が所定の時間内で終了しなかった（所定の時間より長い）ことに対応する。そして、この場合は、制御部２０２は、エンコード処理において映像の圧縮率を上げる変更を選択する。Ｆａｉｌｕｒｅ  Ｃｏｄｅ：２１は、デコード処理時間がトータル遅延時間の２５％未満であることに対応する。そして、この場合は、制御部２０２は、エンコード処理において映像の圧縮率を上げる変更を選択する。Ｆａｉｌｕｒｅ  Ｃｏｄｅ：２２は、デコード処理時間がトータル遅延時間の２５％以上５０％未満であることに対応する。そして、この場合は、制御部２０２は、エンコード処理において映像のフレームレートを下げる選択する。Ｆａｉｌｕｒｅ  Ｃｏｄｅ：２３は、Ｓ７０９でデコード処理時間がトータル遅延時間の５０％以上７５％未満であることに対応する。そして、この場合は、制御部２０２は、エンコード処理において映像のフレームレートを下げる選択する。制御部２０２は、フレームレートを下げることによって空きとなったフレームタイミングに時間的に１つ前のフレーム情報（冗長データ）を再度送信するように、エンコード処理を変更する。Ｆａｉｌｕｒｅ  Ｃｏｄｅ：２４は、デコード処理時間がトータル遅延時間の７５％以上１００％未満であることに対応する。そして、この場合は、制御部２０２は、エンコード処理において画面サイズを縮小して更に圧縮率を上げる変更を選択する。このようなエンコード処理の変更により、受信端末１０６のデコード処理時間が短縮され得る。
【００９１】
このように、本実施形態によれば、受信端末側でデータ処理時間（アプリケーションで利用するためのデコード処理時間）を検出可能となる。そして、内部のデータ処理による遅延か、ネットワーク上の伝送による遅延か、遅延種別を送信端末側に通知する。これにより、送信端末側は、受信端末側で規定内の遅延となるように送信データ情報量や送り方を制御して所定の遅延量に抑えることが可能となる。
【００９２】
なお、本実施形態では、リアルタイム・同期通信を実現するための所定の時間を、一例とて２ｍｓとしたが、時間はこれに限定されない。また、図７、図８のフローチャートの処理の順序は、図示されたものに限定されない。例えば、図７において、受信端末１０６は、伝統遅延時間を算出する（Ｓ７０３）前に、デコード処理時間を導出する（Ｓ７０６）構成であってもよい。また、図７、８のフローチャートでは、ＡＶＢの規格に準じてトーカ広告メッセージ、トーカ失敗メッセージ、リスナ準備完了メッセージを用いたが、同じ趣旨であれが多様なメッセージデータを利用可能である。また、図９のＦａｉｌｕｒｅ  Ｃｏｄｅに対する処理は一例であり、例えば、一つのＦａｉｌｕｒｅ  Ｃｏｄｅに対して、列９０３に示す処理を組み合わせて実施してもよい。
【００９３】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００９４】
１０１  送信端末、１０２〜１０６  受信端末、  １０７〜１０９  中継端末
【図１】
2019033394.tif 000003
【図２】
2019033394.tif 000004
【図３】
2019033394.tif 000005
【図４】
2019033394.tif 000006
【図５】
2019033394.tif 000007
【図６】
2019033394.tif 000008
【図７】
2019033394.tif 000009
【図８】
2019033394.tif 000010
【図９】
2019033394.tif 000011