(57)【要約】【課題】複数系統のネットワークで伝送されるパケットを受信する受信側において、複数系統のパケット間のタイミングのずれを解消する。【解決手段】バッファリング処理装置において、複数系統のネットワーク間での最大遅延時間を保持する記憶部と、前記複数系統のネットワークのそれぞれから、時刻が付されたパケットを受信する入力部と、受信したパケットを系統毎に格納するバッファ部と、系統毎に、パケットに付された時刻から前記最大遅延時間が経過した時刻に当該パケットを出力する出力部とを備える。【選択図】図１
2020155988.tif 000002
【特許請求の範囲】
【請求項１】
複数系統のネットワーク間での最大遅延時間を保持する記憶部と、
前記複数系統のネットワークのそれぞれから、時刻が付されたパケットを受信する入力部と、
受信したパケットを系統毎に格納するバッファ部と、
系統毎に、パケットに付された時刻から前記最大遅延時間が経過した時刻に当該パケットを出力する出力部と
を備えるバッファリング処理装置。
【請求項２】
前記パケットは、映像、音声、データ、又は、これらの任意の組み合わせであるメディア信号から変換されたパケットである
請求項１に記載のバッファリング処理装置。
【請求項３】
前記最大遅延時間は、前記複数系統のネットワークのそれぞれにおいて測定された過去の遅延時間における最大遅延時間のうち、前記複数系統のネットワーク間で最大の遅延時間である
請求項１又は２に記載のバッファリング処理装置。
【請求項４】
前記複数系統のネットワークの受信側に、請求項１ないし３のうちいずれか１項に記載の前記バッファリング処理装置を備え、
前記複数系統のネットワークのそれぞれの送信側に、映像、音声、データ、又は、これらの任意の組み合わせであるメディア信号を、時刻を付したパケットに変換する変換装置を備える
通信システム。
【請求項５】
複数系統のネットワーク間での最大遅延時間を保持するバッファリング処理装置が実行するバッファリング処理方法であって、
前記複数系統のネットワークのそれぞれから、時刻が付されたパケットを受信する入力ステップと、
受信したパケットを系統毎に格納するバッファリングステップと、
系統毎に、パケットに付された時刻から前記最大遅延時間が経過した時刻に当該パケットを出力する出力ステップと
を備えるバッファリング処理方法。
【請求項６】
コンピュータを、請求項１ないし３のうちいずれか１項に記載のバッファリング処理装置における各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像、音声、データ等のメディア信号をＩＰ変換し、当該ＩＰパケットを送信する技術に関連するものである。
【背景技術】
【０００２】
カメラ・マイク等で取得した映像及び音声等のメディア信号をＩＰ変換してネットワークに送信する技術がある。
【０００３】
メディア信号のＩＰパケット化においては、標準的な規定により、各社の製品が製造されている。標準的な規定としては、例えば、ＳＭＰＴＥ（Society of Motion Picture and Television Engineers、米国映画テレビ技術者協会）が定めた標準規定ＳＴ２１１０があり、ＳＴ２１１０では、放送における映像・音声等メディア信号（ＳＤＩ：Serial Digital Interface信号）をＩＰパケット（Ｖｉｄｅｏ  ｏｖｅｒ  ＩＰ）に変換（あるいはその逆の変換）する方法が規定されている。
【０００４】
当該規定では、変換装置及び途中のＩＰネットワーク経路上のスイッチ等各装置で時刻同期をさせたうえで、同期をＩＰパケットに反映させることで、放送用途での同期を実現させている。なお、時刻同期に関しては、ＳＭＰＴＥ  ＳＴ２０５９というＰＴＰ：Precision Time Protocol（ＩＥＥＥ１５８８）に基づく規定を利用して１μ秒以下の精度で時刻を合わせている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−１２５７４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
複数拠点のカメラ・マイク等で取得した映像／音声を、それぞれの拠点でＩＰ変換してネットワーク送信することにより、複数拠点の映像／音声を合成して表示したり、複数拠点の映像／音声を切り替えて表示したりする用途が検討されている。
【０００７】
しかし、ＩＰ変換を行う各送信側拠点から、ＩＰパケットを受信する受信側拠点へのネットワーク遅延は、送信側拠点毎に異なる。そのため、各送信側拠点から伝送されたそれぞれのＩＰパケットを映像・音声信号に変換して表示した際に、送信側拠点間で同じ時刻に取得された映像／音声を同時に表示することができず、ずれが生じる。そのため、例えば、同じ対象物（スポーツにおける競技者等）を複数の送信側拠点で撮影し、受信側拠点において映像・音声信号を合成した場合に合成映像・音声内でずれが生じたり、切り替えて利用しようとすると切替前後で映像・音声の流れが少し前へ遡ったり、少し先へ飛んだりすることになる。
【０００８】
本発明は上記の点に鑑みてなされたものであり、複数系統のネットワークで伝送されるパケットを受信する受信側において、複数系統のパケット間のタイミングのずれを解消することを可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
開示の技術によれば、複数系統のネットワーク間での最大遅延時間を保持する記憶部と、
前記複数系統のネットワークのそれぞれから、時刻が付されたパケットを受信する入力部と、
受信したパケットを系統毎に格納するバッファ部と、
系統毎に、パケットに付された時刻から前記最大遅延時間が経過した時刻に当該パケットを出力する出力部と
を備えるバッファリング処理装置が提供される。
【発明の効果】
【００１０】
開示の技術によれば、複数系統のネットワークで伝送されるパケットを受信する受信側において、複数系統のパケット間のタイミングのずれを解消することを可能とする技術が提供される。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態におけるシステムの全体構成例を示す図である。
【図２】本発明の実施の形態におけるシステムの全体構成例を示す図である。
【図３】バッファリング処理装置の機能構成を示す図である。
【図４】バッファリング処理装置のハードウェア構成例を示す図である。
【図５】バッファリング処理装置の処理手順を示すフローチャートである。
【図６】映像フレームの到着タイミングと送信タイミングとの関係を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
【００１３】
以下の説明では、映像、音声、データ（センサデータ、制御信号等）のそれぞれ、及びこれらの組み合わせ（映像＋音声、映像＋データ、音声＋データ、又は、映像＋音声＋データ）を総称してメディア信号と呼ぶ。
【００１４】
また、本実施の形態における通信システムは、ＳＭＰＴＥ  ＳＴ２１１０、及びＳＭＰＴＥ  ＳＴ２０５９に準拠した動作を行うことを想定しているが、ＳＭＰＴＥ  ＳＴ２１１０、及びＳＭＰＴＥ  ＳＴ２０５９を用いることは一例に過ぎない。本発明は、ＳＭＰＴＥ  ＳＴ２１１０、及びＳＭＰＴＥ  ＳＴ２０５９を用いない場合にも適用可能である。
【００１５】
また、本実施の形態における通信システムは、メディア信号をＩＰ変換して伝送し、バッファに蓄積することとしているが、対象とするパケットはＩＰパケットに限らない。例えば、対象とするパケットが、Ｅｔｈｅｒフレームであってもよいし、その他の単位のデータ（パケット、フレーム、あるいはセルと呼ばれてもよい）であってもよい。
【００１６】
（システム構成）
図１に、本実施の形態における通信システムの構成例を示す。図１に示すように、本実施の形態における通信システムでは、映像撮影及び音声収集可能なカメラ（マイクを含む）が複数の拠点（図１の例では拠点Ａと拠点Ｂが示されている）に備えられている。各拠点は、１つの場所にあり、拠点毎の物理的な位置は異なっている。
【００１７】
なお、本実施の形態では、メディア信号として、カメラにより取得できる、映像単独、音声単独、あるいは映像と音声の組み合わせを用いることを想定しているが、例えば、センサ等から取得される振動データ等もメディア信号として用いることも可能である。この場合、例えば、ある拠点でコンサートの振動データをメディア信号として取得し、別の拠点で同じコンサートの映像・音声をメディア信号として取得し、受信側において、振動と映像・音声を同期させて出力することができる。
【００１８】
図１の例において、拠点Ａには、カメラ１１、メディア信号ＩＰ変換送出装置１２、及びＮＷスイッチ１３が備えられており、拠点Ｂには、カメラ２１、メディア信号ＩＰ変換送出装置２２、及びＮＷスイッチ２３が備えられている。
【００１９】
カメラ１１は、マイクも有しており、映像を撮影するとともに、音声を収集し、映像と音声からなるメディア信号としてのＳＤＩ信号を送信する。メディア信号ＩＰ変換送出装置１２は、カメラから受信するメディア信号（具体的にはＳＤＩ信号）をＩＰ変換し、ＩＰパケットを送出する。ＮＷスイッチ１３は、受信したＩＰパケットを所望の宛先に向けて送出する。
【００２０】
拠点Ｂにおけるカメラ２１、メディア信号ＩＰ変換送出装置２２、ＮＷスイッチ２３は、それぞれ拠点Ａにおけるカメラ１１、メディア信号ＩＰ変換送出装置１２、ＮＷスイッチ１３と同様の機能を備える。
【００２１】
拠点Ｏには、ＮＷスイッチ１４、２４、バッファリング処理装置１００、ＩＰ信号受信メディア変換装置１５、２５、再生装置１６、２６が備えられる。なお、再生装置１６、２６を備えることは一例に過ぎない。例えば、再生装置１６、２６に代えて、ＩＰ信号受信メディア変換装置１５、２５からのＳＤＩ信号を受信し、合成、切り替え等の編集を行って出力する配信サーバが備えられてもよい。
【００２２】
ＮＷスイッチ１４、２４は、受信したＩＰパケットを所望の宛先に送出する。バッファリング処理装置１００は、複数系統のネットワークから受信したＩＰパケットのタイミングを系統間で揃えてから当該ＩＰパケットを出力する。バッファリング処理装置１００の詳細は後述する。ＩＰ信号受信メディア変換装置１５、２５は、受信したＩＰパケットをメディア信号（具体的にはＳＤＩ信号）に変換し、出力する。
【００２３】
図１の例では、拠点Ａと拠点Ｏとの間（具体的には、ＮＷスイッチ１３とＮＷスイッチ１４との間）は、有線ネットワークで接続されている。また、拠点Ｂと拠点Ｏとの間（具体的には、ＮＷスイッチ２３とＮＷスイッチ２４との間）は、無線ネットワークと有線ネットワークが組み合わされたネットワークで接続されている。ここでは、拠点Ａと拠点Ｏとの間の経路を系統１と呼び、拠点Ｂと拠点Ｏとの間の経路を系統２と呼ぶ。無線ネットワークは、例えば５Ｇネットワークである。５Ｇネットワークにより、大容量でリアルタイム性のある通信が無線で可能になる。
【００２４】
図１に示す例において、それぞれの系統のネットワーク遅延は、伝送経路の距離や機器・回線種別によって異なる。例えば、無線区間では、カメラと基地局との距離や、周囲の建物の状況等によって、遅延が大きくなる場合がある。そのため、図１に示す例において、有線ネットワークのみで接続される拠点Ａと拠点Ｏとの間と、無線ネットワークと有線ネットワークが組み合わされたネットワークで接続される拠点Ｂと拠点Ｏとの間では、後者の遅延のほうが大きくなることが考えられる。
【００２５】
そのため、複数拠点のカメラで取得したメディア信号を、それぞれの拠点で、ＳＭＰＴＥ  ＳＴ２１１０等の規定に従ってＩＰ変換してネットワークに送信する場合において、伝送されたそれぞれのＩＰパケットをメディア信号（映像・音声信号）に変換して表示した際に、各地点の映像・音声の撮影時時刻からの遅延時間が系統間でずれてしまう。
【００２６】
このずれたままの映像・音声信号を、放送や映像解析等に利用しようとすると、例えば、同じ対象物（スポーツにおける競技者等）を複数のカメラで撮影した（ＩＰ変換・伝送、映像・音声信号に戻された）映像・音声信号を合成した場合に合成映像・音声内でずれが生じたり、切り替えて利用しようとすると切替前後で映像・音声の流れが少し前へ遡ったり、少し先へ飛んだりすることになる。
【００２７】
そこで、本実施の形態では、予め、それぞれの系統のネットワークにＩＰパケットを流した際の遅延量を測定しておき、測定した遅延量を実際のメディア伝送時の予測遅延量として使用する。具体的には、後述するように、バッファリング処理装置１００において、系統間の遅延時間の最大値に合わせて、各系統のＩＰパケットをバッファに蓄積することで、各系統でタイミングを合わせて送信することとしている。
【００２８】
なお、本実施の形態では、メディア信号ＩＰ変換送出装置／ＩＰ信号受信メディア変換装置での変換にかかる時間は一定と見なしている。また、本実施の形態では、各装置における時刻はＰＴＰ：Precision Time Protocol（ＳＭＰＴＥ  ＳＴ２０５９に基づくプロファイル）により、誤差１μ秒以内に合わせられていて、メディア信号ＩＰ変換送出装置でその時刻（映像／音声／データがカメラ等で撮影／収集／取得された時刻であると見なしてよい）がＩＰヘッダに正しく書き込まれる。そのため、各ＩＰパケットが送信タイミングからどれだけ遅延して到着しているかは、ＩＰヘッダに書き込まれた時刻とバッファリング処理装置側の時刻とを比較することで算出できる。
【００２９】
（装置構成）
図２は、図１における構成において、拠点Ａ，Ｂに加え、拠点Ｃが加えられた例を示す図である。図２は、拠点Ｃがあることを除き、実質的に図１と同じであるが、各系統の構成をより分かり易く示している。また、図２では、メディア信号ＩＰ変換送出装置１２、２２、３２は、その処理内容（メディア信号をパケット化）に着目してＥｎＣａｐｓｕｌａｔｉｏｎと記載している。また、ＩＰ信号受信メディア変換装置１５、２５、３５は、その処理内容（パケットをメディア信号化）に着目してＤｅＣａｐｓｕｌａｔｉｏｎと記載している。
【００３０】
図３に、バッファリング処理装置１００の機能構成図を示す。図３に示すように、バッファリング処理装置１００は、入力部１１０、バッファ部１２０、出力部１３０、制御部１４０を有する。
【００３１】
入力部１１０は、各ＮＷスイッチからのＩＰパケットを受信し、入力する。バッファ部１２０は、例えば系統毎にバッファを備え、各バッファに各系統のＩＰパケットを格納する。出力部１３０は、各バッファからＩＰパケットを読み出し、送出する。制御部１４０は、ＩＰパケットのバッファへの格納、及びＩＰパケットのバッファからの読み出しの制御を行う。制御の詳細は後述する。
【００３２】
（ハードウェア構成例）
バッファリング処理装置１００は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。
【００３３】
すなわち、バッファリング処理装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該バッファリング処理装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
【００３４】
図４は、本実施の形態における上記コンピュータのハードウェア構成例を示す図である。図４のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、及び入力装置１００７等を有する。
【００３５】
当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００３６】
メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、当該バッファリング処理装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。
【００３７】
（動作例）
次に、図２、図３に示す構成を有するバッファリング処理装置１００の動作例を図５のフローチャートの手順に沿って説明する。この動作の前提として、通信システム全体の各装置間では、ＳＭＰＴＥ  ＳＴ２０５９（ＰＴＰ）により時刻が同期して揃っているものとする。
【００３８】
なお、以下では、遅延測定やｍａｘ＿Ｔ算出等の事前処理をバッファリング処理装置１００が行うこととしているが、これは一例であり、バッファリング処理装置１００以外の装置が事前処理を行って、当該装置からｍａｘ＿Ｔ等の値をバッファリング処理装置１００に設定することとしてもよい。
【００３９】
＜Ｓ１０１：事前処理＞
本実施の形態では、事前に系統毎のネットワーク経路における、ＩＰパケットを流したときの遅延時間を測定しておく。遅延時間の測定方法は特定の方法に限られないが、例えば、系統毎に、カメラ等でメディア信号を取得し、メディア信号ＩＰ変換送出装置によりメディア信号をＩＰパケットに変換し、送出し、受信側の拠点におけるＮＷスイッチあるいはバッファリング処理装置においてＩＰパケットの受信時刻からＩＰパケットのヘッダに付された時刻を引くことで遅延時間を測定する。
【００４０】
上記の測定に関し、測定の目的のためにＩＰパケットを流すこととしてもよいし、メディア伝送のサービス提供中に測定を行うこととしてもよい。
【００４１】
バッファリング処理装置１００（の制御部１４０）は、系統毎の過去の遅延時間の実績をメモリ等の記憶部に記録し、系統毎に、有効範囲における（無視できる特殊な場合における無効値（異常値）を除いた）最小値と最大値をｍｉｎ＿ｔ、ｍａｘ＿ｔとし、また全系統合わせての最小値と最大値をｍｉｎ＿Ｔ、ｍａｘ＿Ｔとし、これらの値を記憶部に保持する。
【００４２】
バッファリング処理装置１００の制御部１４０は、系統毎に「ｍａｘ＿Ｔ−ｍｉｎ＿ｔ」を算出し、系統毎に、「ｍａｘ＿Ｔ−ｍｉｎ＿ｔ」の時間長に相当するサイズのバッファをバッファ部１２０に設定する。ある時間長に相当するバッファのサイズは、ＩＰパケットの帯域（例：単位時間当たりの伝送バイト量等）と当該時間長を掛けることで得ることができる。なお、「バッファを設定する」とは、例えば、バッファとして使用するメモリ領域を確保することである。
【００４３】
系統毎に、「ｍａｘ＿Ｔ−ｍｉｎ＿ｔ」の時間長に相当するサイズのバッファを設定することは一例であり、例えば、各系統で同一の値であるｍａｘ＿Ｔの時間長に相当するサイズのバッファを設定することとしてもよいし、これよりも大きなサイズのバッファを設定することとしてもよい。
【００４４】
上記の準備の後、拠点Ａ〜ＣのそれぞれにおけるＥｎＣａｐｓｕｌａｔｉｏｎに対してＳＤＩ→ＩＰ変換・送信の開始を指示し、拠点Ｏの各ＤｅＣａｐｓｕｌａｔｉｏｎにＩＰ受信・ＳＤＩ変換の開始を指示することで、ＩＰ化されたメディア信号の拠点間伝送が始まる。なお、ここでは、各カメラからのメディア信号送出が既に開始されている状態であるとする。また、送信側ＩＰパケットには、メディア信号がＩＰ変換された際の時刻ｘがＩＰヘッダに記される。当該時刻ｘは、カメラでメディア（映像等）が取得された時刻であると見なしてもよい。
【００４５】
＜ステップＳ１０２：ＩＰパケット入力、Ｓ１０３、バッファ蓄積＞
系統毎に、メディア信号をＩＰ化したＩＰパケットがバッファリング処理装置１００に到着すると、入力部１１０によりＩＰパケットが入力され、入力されたＩＰパケットは系統毎にバッファに格納される。
【００４６】
＜Ｓ１０４：ＩＰパケット出力＞
制御部１４０は、系統毎に、バッファに格納されているＩＰパケットのヘッダに記載されている時刻ｘ（メディア信号がＩＰ変換された時刻であり、映像等が撮影された時刻と見なしてよい）を確認し、時刻ｘからｍａｘ＿Ｔ時間が経過したＩＰパケットを検出すると、当該ＩＰパケットをバッファから読み出し、出力するよう、出力部１３０に指示する。指示を受けた出力部１３０は、当該時刻ｘのＩＰパケットを、その系統に対応するＤｅＣａｐｓｕｌａｔｉｏｎに送信する。なお、時刻ｘからｍａｘ＿Ｔ時間が経過したかどうか、つまり、ＩＰパケットを出力するかどうかの判断を出力部１３０が行うこととしてもよい。
【００４７】
上記の制御により、各系統のバッファには「ｍａｘ＿Ｔ−実際の遅延時間ｔ」分のＩＰパケットが蓄えられることになり、時刻ｘの古いもの（例：撮影順）から送信されることになる。
【００４８】
＜Ｓ１０５：ＩＰパケット削除＞
制御部１４０は、ＩＰパケットが送出されたバッファから当該ＩＰパケットを削除する。
【００４９】
各ＤｅＣａｐｓｕｌａｔｉｏｎでは、送られた順にＩＰパケットをＳＤＩ信号（映像・音声等）に変換する処理をして、当該ＳＤＩ信号を例えば再生装置に出力する。また上記により、ＤｅＣａｐｓｕｌａｔｉｏｎから出力されるＳＤＩ信号をそのまま合成したり、リアルタイムで切り替えて出力したりすることで、同期の取れた合成・切替が可能になっている。
【００５０】
バッファリング処理装置１００におけるＩＰパケットの到着タイミングとＤｅＣａｐｓｕｌａｔｉｏｎ（ＳＤＩ変換装置）に送信するタイミングとの関係の例を図６に示す。図６においては、理解のしやすさのために、ＩＰパケットを、ＳＤＩ変換後の映像フレームとして表現している。ただし、図６の「映像フレーム」をＩＰパケットであると見なして考えてもよい。また、図６は、図２の場合のように、３つの系統がある場合を示している。
【００５１】
図６に示すように、ｍａｘ＿ｔ３が、通信システム全体での遅延の最大値であり、前述したｍａｘ＿Ｔに相当する。また、ｔ１、ｔ２、ｔ３はそれぞれ、系統１、系統２、系統３における実際の遅延時間である。
【００５２】
図６に示す状態において、映像フレームＸは時刻ｘに取得された映像フレームである。これは、前述した時刻ｘのＩＰパケットに相当する。各系統において、時刻ｘからｍａｘ＿ｔ３が経過した時点で、当該映像フレームＸはＳＤＩ変換装置に送信される。例えば、系統１に関し、時刻ｘの映像フレームＸは、ｔ１の遅延でバッファされるので、時刻ｘからｍａｘ＿ｔ３が経過した時点の時刻は、バッファされてから「ｍａｘ＿ｔ３−ｔ１」が経過した時刻となる。よって、「ｍａｘ＿ｔ３−ｔ１」分のパケットがバッファに蓄積されたら時刻ｘの映像フレームＸが出力される。系統２、３も同様である。
【００５３】
系統１〜３において、時刻ｘの映像フレームＸは、「時刻ｘからｍａｘ＿ｔ３が経過した時刻」に同時に出力される。それ以降の映像フレームも同様に、系統１〜３において同時に出力される。
【００５４】
（シナリオ例）
本実施の形態に係る技術は様々な場面（シナリオ）において適用することが可能であり、特定のシナリオに限定して適用されるわけではない。本実施の形態に係る技術が適用されるシナリオの例として下記のシナリオ（１）〜（３）がある。
【００５５】
（１）同じ被写体を撮影した際の、別のカメラ・マイクの映像・音声を合成する場合に、映像と音声をきちんと合わせたい場合。例えば、野球の試合において、バッターをカメラで遠隔から撮影するとともに、そのバッターの打球音をバッターに近いマイクで収集する場合において、バットに球が当たる映像と、打球音とが合うようにする。
【００５６】
（２）同じ被写体を別の角度から撮影した映像を切り替えて放送する際に、時刻が巻き戻ったり、シーンが飛んだりしないようにする場合。例えば、駅伝のテレビ中継において、中継車のカメラで撮影された映像と、定点カメラで撮影された映像とを切り替えて、走者の一連の動作を見せる。
【００５７】
（３）複数拠点の映像・音声を同時に並べて表示する場合。例えば、複数拠点での音楽セッション等でタイミングを合わせて演奏する様子を同時に並べて表示する際に、拠点間で映像・音声がずれないように表示を行う。
【００５８】
（効果について）
本実施の形態に係る技術により、複数拠点のカメラ、マイク、センサ等で取得したメディア信号（映像、音声、データ等）を、それぞれの拠点でＩＰ変換してネットワーク送信する場合において、系統間でのＩＰネットワーク遅延が異なる場合であっても、受信側において複数系統のＩＰパケットをタイミングを合わせて出力できる。これにより、例えば、放送や映像解析等において映像・音声信号を合成や切替等に利用する際に、合わせる作業を行わなくても、合成映像・音声内でずれが生じることがなくなり、また、切替前後で映像・音声の流れが少し前へ遡ったり、少し先へ飛んだりすることもなくなる。
【００５９】
なお、ずれを調整する方法として、ＩＰ変換前に（カメラ側で）調整する方法や、映像・音声信号（ＳＤＩ信号）に再変換後に調整する方法も考えられる。しかし、これらの方法では、ＳＤＩ信号としての同期のための放送基準信号（ＢＢ信号：Black Burst Signal等）の配布が必要になりコストがかかる。
【００６０】
他方、本実施の形態に係る技術では、ＩＰネットワーク上の機器で同期している時刻をそのまま参照できるので、放送基準信号の配布が不要でありコストメリットがある。また、本実施の形態に係る技術は、ＩＰネットワーク上での処理であるために、ＩＰネットワークにおける遅延量の変化に対応し易いというメリットもある。
【００６１】
（実施の形態のまとめ）
以上、説明したとおり、本明細書には、少なくとも、下記の各項に記載したバッファリング処理装置、通信システム、バッファリング処理方法、及びプログラムが開示されている。
（第１項）
複数系統のネットワーク間での最大遅延時間を保持する記憶部と、
前記複数系統のネットワークのそれぞれから、時刻が付されたパケットを受信する入力部と、
受信したパケットを系統毎に格納するバッファ部と、
系統毎に、パケットに付された時刻から前記最大遅延時間が経過した時刻に当該パケットを出力する出力部と
を備えるバッファリング処理装置。
なお、上記の最大遅延時間は、例えば、実施の形態でのｍａｘ＿Ｔに相当する。
（第２項）
前記パケットは、映像、音声、データ、又は、これらの任意の組み合わせであるメディア信号から変換されたパケットである
第１項に記載のバッファリング処理装置。
（第３項）
前記最大遅延時間は、前記複数系統のネットワークのそれぞれにおいて測定された過去の遅延時間における最大遅延時間のうち、前記複数系統のネットワーク間で最大の遅延時間である
第１項又は第２項に記載のバッファリング処理装置。
（第４項）
前記複数系統のネットワークの受信側に、第１項ないし第３項のうちいずれか１項に記載の前記バッファリング処理装置を備え、
前記複数系統のネットワークのそれぞれの送信側に、映像、音声、データ、又は、これらの任意の組み合わせであるメディア信号を、時刻を付したパケットに変換する変換装置を備える
通信システム。
（第５項）
複数系統のネットワーク間での最大遅延時間を保持するバッファリング処理装置が実行するバッファリング処理方法であって、
前記複数系統のネットワークのそれぞれから、時刻が付されたパケットを受信する入力ステップと、
受信したパケットを系統毎に格納するバッファリングステップと、
系統毎に、パケットに付された時刻から前記最大遅延時間が経過した時刻に当該パケットを出力する出力ステップと
を備えるバッファリング処理方法。
（第６項）
コンピュータを、第１項ないし第３項のうちいずれか１項に記載のバッファリング処理装置における各部として機能させるためのプログラム。
【００６２】
以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００６３】
１１、２１、３１  カメラ
１２、２２、３２  メディア信号ＩＰ変換送出装置
１３、１４、２３、２４、３３、３４  ＮＷスイッチ
１５、２５、３５  ＩＰ信号受信メディア変換装置
１６、２６、３６  再生装置
１００  バッファリング処理装置
１１０  入力部
１２０  バッファ部
１３０  出力部
１４０  制御部
１０００  ドライブ装置
１００２  補助記憶装置
１００３  メモリ装置
１００４  ＣＰＵ
１００５  インタフェース装置
１００６  表示装置
１００７  入力装置
【図１】
2020155988.tif 000003
【図２】
2020155988.tif 000004
【図３】
2020155988.tif 000005
【図４】
2020155988.tif 000006
【図５】
2020155988.tif 000007
【図６】
2020155988.tif 000008