(57)【要約】【課題】複数の表示系機器に対する映像・音声データの同期ズレを抑制する。【解決手段】所定のフレーム調整指示に基づき、時系列な複数のフレームデータに所定のフレームデータを挿入し、又は複数のフレームデータから一部のフレームデータを削除するフレーム調整を行う符号化データ調整部３１２又は映像音声データ調整部３１４と、フレーム調整が行われた各フレームデータを順次出力する映像音声データ出力部３１５と、各フレームデータをそれぞれ出力するための基準時刻と、各フレームデータがそれぞれ出力された出力時刻と、を比較する映像音声データ出力時刻調整部３１６と、を備え、映像音声データ出力時刻調整部３１６は、出力時刻が基準時刻よりも閾値以上先行している場合、所定のフレームデータを挿入するフレーム調整指示を行い、出力時刻が基準時刻よりも閾値以上遅延している場合、一部のフレームデータを削除するフレーム調整指示を行う。【選択図】図２
2020198510.tif 000002
【特許請求の範囲】
【請求項１】
複数のデータを同期する同期制御装置において、
前記データは、映像データ、音声データ、又は、映像及び音声データであり、
前記データから時系列な複数のフレームデータを取得するフレームデータ取得部と、
所定のフレーム調整指示に基づき、前記複数のフレームデータに所定のフレームデータを挿入し、又は前記複数のフレームデータから一部のフレームデータを削除するフレーム調整を行うデータ調整部と、
前記フレーム調整が行われた各フレームデータを順次出力するデータ出力部と、
前記各フレームデータをそれぞれ出力するための基準時刻と、前記各フレームデータがそれぞれ出力された出力時刻と、を比較するデータ出力時刻調整部と、を備え、
前記データ出力時刻調整部は、
前記出力時刻が前記基準時刻よりも閾値以上先行している場合、前記所定のフレームデータを挿入する前記フレーム調整指示を行い、
前記出力時刻が前記基準時刻よりも閾値以上遅延している場合、前記一部のフレームデータを削除する前記フレーム調整指示を行う
ことを特徴とする同期制御装置。
【請求項２】
前記各フレームデータは、符号化されており、
前記データ調整部は、
前記各フレームデータの種類を判定し、前記所定のフレーム調整指示がフレームデータの挿入指示の場合、フルフレームを挿入し、前記所定のフレーム調整指示がフレームデータの削除指示の場合、フルフレームよりも１つ前の差分フレームを削除することを特徴とする請求項１に記載の同期制御装置。
【請求項３】
複数のデータを同期する同期制御装置で行う同期制御方法において、
前記データは、映像データ、音声データ、又は、映像及び音声データであり、
前記データから時系列な複数のフレームデータを取得する第１のステップと、
所定のフレーム調整指示に基づき、前記複数のフレームデータに所定のフレームデータを挿入し、又は前記複数のフレームデータから一部のフレームデータを削除するフレーム調整を行う第２のステップと、
前記フレーム調整が行われた各フレームデータを順次出力する第３のステップと、
前記各フレームデータをそれぞれ出力するための基準時刻と、前記各フレームデータがそれぞれ出力された出力時刻と、を比較する第４のステップと、を行い、
前記第４のステップでは、
前記出力時刻が前記基準時刻よりも閾値以上先行している場合、前記所定のフレームデータを挿入する前記フレーム調整指示を行い、
前記出力時刻が前記基準時刻よりも閾値以上遅延している場合、前記一部のフレームデータを削除する前記フレーム調整指示を行う
ことを特徴とする同期制御方法。
【請求項４】
請求項３に記載の同期制御方法をコンピュータに実行させることを特徴とする同期制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像・音声データを同期制御する技術に関する。
【背景技術】
【０００２】
エンタープライズ分野では、複数の監視拠点を集約化する傾向にあり、複数の監視拠点を遠隔地で映像監視する遠隔映像監視技術の需要が拡大している。例えば、複数の空港を一拠点で監視可能な航空管制、空港ロビー・駅・スタジアムを一括監視可能な公共空間監視、土石流・津波・ダムを遠隔監視可能な防災監視を実現する遠隔映像監視システムが切望されている。
【０００３】
当該遠隔映像監視システムは、複数の監視拠点を統合監視するだけでなく、監視拠点個々の広い監視エリアを効果的に状況把握するため、例えばテロ対策の強化や大規模な自然災害の未然防止を迅速に実現するため、高精細かつ広視野角な映像をリアルタイムに監視側に伝送する機能を持つ。
【０００４】
例えば、拠点側の遠隔映像監視装置は、複数の撮像系機器から複数のカメラ映像（映像・音声データ）をそれぞれ受信し、受信した複数の映像・音声データを合成して、合成したパノラマ映像の映像・音声データと、映像データから検出したオブジェクト情報とを、ＭＭＴ（MPEG Media Transport）プロトコルを用いて、ＩＰネットワーク経由で、監視側の遠隔映像監視装置へ同期伝送する。
【０００５】
また、監視側の遠隔映像監視装置は、パノラマ映像の映像・音声データ及びオブジェクト情報を受信した後、受信した映像・音声データを複数の表示系機器（マルチスクリーン）へそれぞれ同期出力するとともに、受信したオブジェクト情報を映像・音声データに同期して当該複数の表示系機器へそれぞれ出力する。
【０００６】
このような遠隔映像監視システムにおいて、ＩＰネットワークの伝送区間では、ＮＴＰ（Network Time Protocol）を用いるため、映像・音声データとオブジェクト情報との同期制御を担保可能である（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】“デジタル放送におけるMMTによるメディアトランスポート方式”、標準規格、ARIB STD-B60、1.13版、一般社団法人電波産業会、2018年10月
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、監視側の遠隔映像監視装置と複数の表示系機器との間では、当該監視側の遠隔映像監視装置から出力される複数の映像・音声データを完全に同期制御することは難しいという課題がある。
【０００９】
具体的には、図８に示すように、監視側の遠隔映像監視装置Ｂが備える複数の出力用デバイス（出力用ボード）がそれぞれ独自の内部クロックで動作するため、複数の映像・音声データの出力時間間隔にズレが生じ、複数の表示系機器に対する提示時刻にもズレが生じ、当該複数の表示系機器において映像・音声データの同期再生が担保できない影響が発生してしまう。当初は同期していた映像・音声データであっても、小さなズレが積み上がることで、長時間経過により全体のズレが大きくなる。例えば、内部クロックのズレによる影響が１秒あたり１０μｓｅｃある場合、フレームレートが６０ｆｐｓの映像を再生すると、約１６６７秒（≒２８分）あたり１フレームのズレが発生していくこととなる。
【００１０】
本発明は、上記事情を鑑みてなされたものであり、複数の表示系機器に対する映像・音声データの同期ズレを抑制することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するため、本発明の同期制御装置は、複数のデータを同期する同期制御装置において、前記データは、映像データ、音声データ、又は、映像及び音声データであり、前記データから時系列な複数のフレームデータを取得するフレームデータ取得部と、所定のフレーム調整指示に基づき、前記複数のフレームデータに所定のフレームデータを挿入し、又は前記複数のフレームデータから一部のフレームデータを削除するフレーム調整を行うデータ調整部と、前記フレーム調整が行われた各フレームデータを順次出力するデータ出力部と、前記各フレームデータをそれぞれ出力するための基準時刻と、前記各フレームデータがそれぞれ出力された出力時刻と、を比較するデータ出力時刻調整部と、を備え、前記データ出力時刻調整部は、前記出力時刻が前記基準時刻よりも閾値以上先行している場合、前記所定のフレームデータを挿入する前記フレーム調整指示を行い、前記出力時刻が前記基準時刻よりも閾値以上遅延している場合、前記一部のフレームデータを削除する前記フレーム調整指示を行うことを特徴とする。
【００１２】
上記同期制御装置において、前記各フレームデータは、符号化されており、前記データ調整部は、前記各フレームデータの種類を判定し、前記所定のフレーム調整指示がフレームデータの挿入指示の場合、フルフレームを挿入し、前記所定のフレーム調整指示がフレームデータの削除指示の場合、フルフレームよりも１つ前の差分フレームを削除することを特徴とする。
【００１３】
また、本発明の同期制御方法は、複数のデータを同期する同期制御装置で行う同期制御方法において、前記データは、映像データ、音声データ、又は、映像及び音声データであり、前記データから時系列な複数のフレームデータを取得する第１のステップと、所定のフレーム調整指示に基づき、前記複数のフレームデータに所定のフレームデータを挿入し、又は前記複数のフレームデータから一部のフレームデータを削除するフレーム調整を行う第２のステップと、前記フレーム調整が行われた各フレームデータを順次出力する第３のステップと、前記各フレームデータをそれぞれ出力するための基準時刻と、前記各フレームデータがそれぞれ出力された出力時刻と、を比較する第４のステップと、を行い、前記第４のステップでは、前記出力時刻が前記基準時刻よりも閾値以上先行している場合、前記所定のフレームデータを挿入する前記フレーム調整指示を行い、前記出力時刻が前記基準時刻よりも閾値以上遅延している場合、前記一部のフレームデータを削除する前記フレーム調整指示を行うことを特徴とする。
【００１４】
また、本発明の同期制御プログラムは、上記同期制御方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、複数の表示系機器に対する映像・音声データの同期ズレを最小限に抑制できる。
【図面の簡単な説明】
【００１６】
【図１】遠隔映像監視システムの構成例を示す図である。
【図２】デコード装置の構成例を示す図である。
【図３】符号化フレームによる同期制御処理フローを示す図である。
【図４】挿入処理後のフレームデータのイメージを示す図である。
【図５】削除処理後のフレームデータのイメージを示す図である。
【図６】映像フレームにより同期制御処理フローを示す図である。
【図７】挿入処理後のフレームデータのイメージを示す図である。
【図８】課題のイメージを示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明を実施する一実施形態について図面を用いて説明する。
【００１８】
本実施形態では、上記課題を解決するため、同期制御装置、同期制御方法、及び同期制御プログラム（以下、本段落で単に「同期制御装置」という）を開示する。本実施形態では、当該同期制御装置を遠隔映像監視システムに適用する場合を例に説明する。但し、当該同期制御装置は、例えば、エンターテイメント分野のパブリックビューイングで用いられる情報処理システム等、遠隔監視以外の用途にも適用可能である。
【００１９】
［遠隔映像監視システム］
最初に、本実施形態に係る遠隔映像監視システムについて説明する。
【００２０】
遠隔映像監視システムは、拠点側の遠隔映像監視装置が、複数のカメラ映像（映像・音声データ）を合成したパノラマ映像の映像・音声データと、映像データから検出したオブジェクト情報とを、ＭＭＴプロトコルを用いて、ＩＰネットワーク経由で、監視側の遠隔映像監視装置へ同期伝送するシステムである。ＩＰネットワークの伝送区間では、ＮＴＰを用いて、映像・音声データとオブジェクト情報との同期制御を低遅延に実現する。
【００２１】
図１は、本実施形態に係る遠隔映像監視システム１の構成例を示す図である。当該遠隔映像監視システム１は、拠点側に配置された拠点側の遠隔映像監視装置Ａと、監視側に配置された監視側の遠隔映像監視装置Ｂと、を備える。
【００２２】
まず、拠点側の遠隔映像監視装置Ａについて説明する。拠点側の遠隔映像監視装置Ａは、図１に示したように、例えば、合成処理装置１０と、オブジェクト情報統合装置２０と、を備える。
【００２３】
合成処理装置１０は、拠点側に配置された複数の撮像系機器２から複数の映像・音声データをそれぞれ受信し、受信した複数の映像データを合成してパノラマ映像を生成して、受信した映像データから１以上のオブジェクトを検出してトラッキングを行うとともに、生成したパノラマ映像の映像データと音声データをエンコード処理して、エンコード処理後の映像・音声データを、ＭＭＴプロトコルを用いてＩＰネットワーク４経由で監視側の遠隔映像監視装置Ｂへ伝送する機能を備える。この機能を実行するため、合成処理装置１０は、図１に示したように、例えば、合成処理部１１と、エンコード処理部１２と、オブジェクト検出・トラッキング処理部１３と、を備える。
【００２４】
合成処理部１１は、複数の撮像系機器２から例えば最大４Ｋサイズの映像・音声データをそれぞれＳＤＩインタフェースより入力し、入力したタイミングで同期を行い、同期した複数の映像データをリアルタイムに合成する。複数の映像データを合成する際には、撮像系機器２間の視差の影響を低減するため、合成処理部１１は、複数の映像データ間で同期している各映像データのつなぎ目（ｓｅａｍ）を動的に変更するとともに、所定のオブジェクトを追跡したトラッキング処理結果を活用することにより、合成品質の向上を図る。
【００２５】
エンコード処理部１２は、合成により得たパノラマ映像の映像・音声データに対してエンコード処理（符号化処理）を行い、監視側の遠隔映像監視装置Ｂを構成するデコード装置３０で受信可能なＭＭＴＰパケットに変換して、ＩＰネットワーク４経由で、当該デコード装置３０へ送出する。例えば、エンコード処理部１２は、入力された映像非圧縮データをＨＥＶＣ（High Efficiency Video Coding）コーデック又はＡＶＣ（Advanced Video Coding）コーデックでエンコードし、音声非圧縮データをＡＡＣ（Advanced Audio Coding）コーデックでエンコードして、ＭＭＴＰストリームに変換して送出する。その際、ＭＭＴＰストリームのタイムコードを管理することにより、オブジェクト情報統合装置２０から送出されるオブジェクト情報との同期を担保する。
【００２６】
オブジェクト検出・トラッキング処理部１３は、複数の映像データから１つ以上のオブジェクトを検出してトラッキングを行い、当該オブジェクトの検出及びトラッキングの実行結果をオブジェクト情報としてオブジェクト情報統合装置２０にＷｅｂｓｏｃｋｅｔで送信する。尚、オブジェクトの検出及びトラッキング方法は、公知の技術を用いて実現可能である。
【００２７】
オブジェクト情報統合装置２０は、オブジェクト検出・トラッキング処理部１３からオブジェクト情報をＷｅｂｓｏｃｋｅｔで受け取り、受け取ったオブジェクト情報に含まれるオブジェクトのカメラ映像上の座標をサラウンド映像上の座標へ変換する。また、オブジェクト情報統合装置２０は、重複領域に同時に表れるオブジェクトについては統合して１つのオブジェクトとする。そして、オブジェクト情報統合装置２０は、オブジェクト情報内のトラッキング情報に所定の連携キーを付加して図示しない所定の外部サーバへ問い合わせを行い、得られた任意の付加情報をトラッキング情報に追加する。その後、オブジェクト情報統合装置２０は、トラッキング情報からシグナリングメッセージを生成し、ＭＭＴＰパケット化してＭＭＴＰストリームに変換して、ＭＭＴプロトコルを用いて、ＩＰネットワーク４経由で、監視側の遠隔映像監視装置Ｂを構成する統合オブジェクト情報受信装置４０へ送出する。
【００２８】
次に、監視側の遠隔映像監視装置Ｂについて説明する。監視側の遠隔映像監視装置Ｂは、図１に示したように、例えば、デコード装置３０と、統合オブジェクト情報受信装置４０と、を備える。
【００２９】
デコード装置３０は、ＩＰネットワーク４を介して合成処理装置１０のエンコード処理部１２からＭＭＴＰストリームを受信し、受信したＭＭＴＰストリーム内のＭＭＴＰパケットに含まれる符号化された映像・音声データに対してデコード処理（復号化処理）を行い、デコード処理により復号化された映像・音声データを図示しない複数の出力用デバイス間で同期制御して複数の表示系機器３へそれぞれ出力する機能を備える。
【００３０】
統合オブジェクト情報受信装置４０は、ＩＰネットワーク４を介してオブジェクト情報統合装置２０からＭＭＴＰストリームを受信し、受信したＭＭＴＰストリーム内のＭＭＴＰパケットに含まれるオブジェクト情報を取得し、当該オブジェクト情報内のオブジェクトの座標を、映像・音声のコンポーネントを識別するアセット毎の座標へ変換して、複数の表示系機器３へそれぞれ出力する。尚、アセットに関する詳細については、非特許文献１に記載されている。
【００３１】
尚、実際の運用では、デコード装置３０及び統合オブジェクト情報受信装置４０と表示系機器３との間に、映像・音声データとオブジェクト情報とを重畳する付加情報重畳装置が設けられるが、当該付加情報重畳装置はデータ情報の重畳機能であることから、デコード装置３０、統合オブジェクト情報受信装置４０、表示系機器３のうちいずれかに実装可能である。また、撮像系機器２とは、例えば、４Ｋカメラである。表示系機器３とは、例えば、ディスプレイであり、複数の表示系機器３は、マルチスクリーンである。
【００３２】
［デコード装置］
デコード装置３０の機能は、上述した通りであるが、本実施形態では、監視側の遠隔映像監視装置から出力される複数の映像・音声データを完全に同期制御することは難しいという課題を解決するため、デコード装置３０に同期制御部（同期制御装置）を備える。
【００３３】
当該同期制御部は、後述の映像音声データ出力部が備える複数の出力用デバイスの各クロック進行を監視し、出力される複数のフレームデータ間でズレの発生を検知した場合、検知したフレームデータの先行又は遅延に対してフレームデータの挿入又は削除を行う。具体的には、出力用デバイスのクロックが早い場合、１フレーム分先行した時点でフレームを挿入するリピート処理を行い、出力デバイスのクロックが遅い場合、１フレーム分遅延した時点でフレームを削除するスキップ処理を行う。これにより、個々の映像・音声データの出力タイミングがそれぞれ調整され、複数の映像・音声データ間での同期ズレの発生を最小限に抑制可能とする。
【００３４】
図２は、同期制御部を備えたデコード装置３０の構成例を示す図である。当該デコード装置３０は、複数の表示系機器３へ概ね同じタイミングでそれぞれ出力される複数の映像・音声データの同期精度を向上させる制御を行う。例えば、デコード装置３０は、フレームデータ取得部３１１と、符号化データ調整部３１２と、符号化データ復号部３１３と、映像音声データ調整部３１４と、映像音声データ出力部３１５と、映像音声データ出力時刻調整部３１６と、時刻同期部３１７と、を備える。これらの機能部の中で一部、例えば、符号化データ復号部３１３は、デコード装置３０の既存機能部である。
【００３５】
フレームデータ取得部３１１は、ＩＰネットワーク４を介して合成処理装置１０からＭＭＴＰストリームを受信し、受信したＭＭＴＰストリームに含まれる符号化された映像・音声データから時系列な複数のフレームデータを取得する機能を備える。
【００３６】
符号化データ調整部（データ調整部）３１２は、映像音声データ出力時刻調整部３１６からフレーム調整指示を受けた場合、当該フレーム調整指示に含まれる指示内容に基づき、取得した複数のフレームデータに所定のフレームデータを挿入し、又は当該複数のフレームデータから一部のフレームデータを削除するフレーム調整を行い、映像音声データ出力時刻調整部３１６からフレーム調整指示を受けていない場合、取得した複数のフレームデータに対して当該フレーム調整を行わない機能を備える。
【００３７】
符号化データ復号部３１３は、符号化データ調整部３１２を経由してフレームデータ取得部３１１から送出された複数のフレームデータを受け取り、受け取った複数のフレームデータをそれぞれデコード処理（復号化処理）する機能を備える。
【００３８】
以降、デコード処理前のフレームデータを「符号化フレーム」といい、デコード処理後のフレームデータを「映像・音声フレーム」という。
【００３９】
映像音声データ調整部（データ調整部）３１４は、映像音声データ出力時刻調整部３１６からフレーム調整指示を受けた場合、当該フレーム調整指示に含まれる指示内容に基づき、デコード処理された複数の映像・音声フレームに所定の映像・音声フレームを挿入し、又は当該複数の映像・音声フレームから一部の映像・音声フレームを削除するフレーム調整を行い、映像音声データ出力時刻調整部３１６からフレーム調整指示を受けていない場合、デコード処理された複数の映像・音声フレームに対して当該フレーム調整を行わない機能を備える。
【００４０】
映像音声データ出力部（データ出力部）３１５は、符号化データ調整部３１２と映像音声データ調整部３１４のうち一方又は両方でフレーム調整が行われた複数の映像・音声フレームを、ＮＴＰを基に指定される基準時刻に従い、順次、複数の出力用デバイスから複数の表示系機器３へそれぞれ出力する機能を備える。
【００４１】
映像音声データ出力時刻調整部（データ出力時刻調整部）３１６は、時刻同期部３１７より通知されるＮＴＰベースの時刻情報を基にした時刻であり、カメラ映像のフレームレートに応じた時間間隔毎に指定した基準時刻を映像音声データ出力部３１５に通知する機能を備える。
【００４２】
また、映像音声データ出力時刻調整部３１６は、各映像・音声フレームをそれぞれ出力するために指定していた当該基準時刻と、各映像・音声フレームが実際にそれぞれ出力された出力時刻と、を比較し、当該出力時刻が当該基準時刻よりも閾値以上先行している場合、所定の符号化フレームを挿入するフレーム調整指示を符号化データ調整部３１２に対して行い、当該出力時刻が当該基準時刻よりも閾値以上遅延している場合、一部の符号化フレームを削除するフレーム調整指示を符号化データ調整部３１２に対して行う機能を備える。
【００４３】
また、映像音声データ出力時刻調整部３１６は、各映像・音声フレームをそれぞれ出力するために指定していた上記基準時刻と、各映像・音声フレームが実際にそれぞれ出力された出力時刻と、を比較し、当該出力時刻が当該基準時刻よりも閾値以上先行している場合、所定の映像・音声フレームを挿入するフレーム調整指示を映像音声データ調整部３１４に対して行い、当該出力時刻が当該基準時刻よりも閾値以上遅延している場合、一部の映像・音声フレームを削除するフレーム調整指示を映像音声データ調整部３１４に対して行う機能を備える。
【００４４】
尚、映像音声データ出力時刻調整部３１６は、符号化データ調整部３１２と映像音声データ調整部３１４のうち一方のみ又は両方に対してフレーム調整指示を出力可能である。いずれのデータ調整部を機能させるかは、ユーザが予め設定していた設定情報に基づき判断してもよいし、ユーザが随時設定してもよい。
【００４５】
時刻同期部３１７は、外部のＮＴＰサーバ５から時刻情報を受信し、受信した時刻情報を映像音声データ出力時刻調整部３１６に通知する機能を備える。ＮＴＰサーバ５は一般に原子時計等に基づく時刻情報を提供するため、当該ＮＴＰサーバ５から受信する時刻情報は正確であり、基準時刻の元情報として適正な時刻情報である。
【００４６】
上述した同期制御部３１は、デコード装置３０と同様に、ＣＰＵ、メモリ、入出力インタフェース、通信インタフェース等を備えたコンピュータで実現可能である。また、同期制御部３１としてコンピュータを機能させるための同期制御プログラム、当該同期制御プログラムの記憶媒体の作成も可能である。
【００４７】
［同期制御方法］
次に、複数の映像・音声データを同期制御する同期制御方法について説明する。当該同期制御方法では、映像データを例に説明する。音声データ、又は、映像及び音声データの場合でも、当該同期制御方法を適用できる。
【００４８】
［符号化フレームによる同期制御方法］
最初に、符号化フレーム用いて同期制御を行う方法について説明する。図３は、符号化データ調整部３１２で行う符号化フレームでの同期制御処理フローを示す図である。
【００４９】
ステップＳ１０１；
最初に、フレームデータ取得部３１１は、合成処理装置１０から送信されたＭＭＴＰストリーム（符号化された映像データ）を入力し、入力した映像データから時系列な複数の符号化フレームを取得する。その後、同期制御部３１は、符号化フレーム毎に後述するステップＳ１０２〜ステップＳ１０６を実行する。
【００５０】
ステップＳ１０２；
まず、映像音声データ出力時刻調整部３１６は、複数の符号化フレームに係る各映像フレームをそれぞれ出力するために指定された基準時刻と、各映像フレームが実際に映像音声データ出力部３１５からそれぞれ出力された出力時刻と、を比較し、基準時刻に対して出力時刻が１フレーム分先行しているか、又は１フレーム分遅延しているかを判定する。
【００５１】
例えば、フレームレートが６０ｆｐｓの映像であれば、フレーム時間間隔は約１６．６６ｍｓｅｃとなるので、映像音声データ出力時刻調整部３１６は、基準時刻よりも映像フレームの出力時刻が１６．６６ｍｓｅｃ分早い場合、１フレーム分先行していると判定し、基準時刻よりも映像フレームの出力時刻が１６．６６ｍｓｅｃ分遅い場合、１フレーム分遅延していると判定する。１フレーム分先行している場合、ステップＳ１０３へ進み、１フレーム分遅延している場合、ステップＳ１０５へ進み、１フレーム分先行又は遅延していない場合、処理を終了して次の符号化フレームを処理する。
【００５２】
ステップＳ１０３；
１フレーム分先行している場合、映像音声データ出力時刻調整部３１６は、符号化フレームを挿入するためのフレーム調整指示を符号化データ調整部３１２に対して行う。その後、符号化データ調整部３１２は、当該フレーム調整指示を受けた場合、処理対象の符号化データの種類を判定し、次の符号フレームがＩＤＲフレーム（フルフレーム；一枚の全画像フレーム）か否かを判定する。そして、次の符号フレームがＩＤＲフレームである場合、ステップＳ１０４へ進み、次の符号フレームがＩＤＲフレームでない場合、処理を終了して次の符号化フレームを処理する。
【００５３】
ステップＳ１０４；
次の符号フレームがＩＤＲフレームである場合、符号化データ調整部３１２は、図４に示すように、当該ＩＤＲフレームを複製して挿入する。その後、処理を終了して次の符号化フレームを処理する。
【００５４】
つまり、ステップＳ１０２〜ステップＳ１０４において、映像音声データ出力時刻調整部３１６は、映像音声データ出力部３１５の出力用デバイスのクロック進行を監視し、クロック進行が早い場合、符号化データ調整部３１２が、１フレーム分先行した時点で符号化フレームを複製して挿入するリピート処理を行う。この場合、符号化データ調整部３１２は、次のＩＤＲフレームの発生を待ち、ＩＤＲフレームが発生した際にＩＤＲフレームを複製して挿入するリピート処理を行う。これにより、画質への影響を回避しつつ１フレーム分の同期ズレからの回復を実現可能となる。
【００５５】
ステップＳ１０５；
１フレーム分遅延している場合、映像音声データ出力時刻調整部３１６は、一部の符号化フレームを削除するためのフレーム調整指示を符号化データ調整部３１２に対して行う。その後、符号化データ調整部３１２は、当該フレーム調整指示を受けた場合、処理対象の符号化データの種類を判定し、次の符号フレームがＩＤＲフレームか否かを判定する。そして、次の符号フレームがＩＤＲフレームである場合、ステップＳ１０６へ進み、次の符号フレームがＩＤＲフレームでない場合、処理を終了して次の符号化フレームを処理する。
【００５６】
ステップＳ１０６；
次の符号フレームがＩＤＲフレームである場合、符号化データ調整部３１２は、図５に示すように、当該ＩＤＲフレームよりも１つ前のＰフレーム（差分フレーム；ＩＤＲフレームに対する差分画像フレーム）を削除する。その後、処理を終了して次の符号化フレームを処理する。尚、図５に示されたＢフレームも差分フレームである。
【００５７】
つまり、ステップＳ１０２、ステップＳ１０５〜ステップＳ１０６において、映像音声データ出力時刻調整部３１６は、映像音声データ出力部３１５の出力用デバイスのクロック進行を監視し、クロック進行が遅い場合、符号化データ調整部３１２が、１フレーム分遅延した時点で符号化フレームを削除するスキップ処理を行う。この場合、符号化データ調整部３１２は、ＩＤＲフレームの発生を待ち、ＩＤＲフレームが発生した際にＩＤＲフレームの一つ前のＰフレームを削除する。これにより、画質に影響を及ぼすことなく１フレーム分の同期ズレからの回復を実現可能となる。
【００５８】
［映像フレームによる同期制御方法］
次に、映像フレームを用いて同期制御を行う方法について説明する。図６は、映像音声データ調整部３１４で行う映像フレームでの同期制御処理フローを示す図である。
【００５９】
ステップＳ２０１；
最初に、フレームデータ取得部３１１は、合成処理装置１０から送信されたＭＭＴＰストリーム（符号化された映像データ）を入力し、入力した映像データから時系列な複数の符号化フレームを取得する。その後、同期制御部３１は、符号化フレームをデコード処理した映像フレーム毎に後述するステップＳ２０２〜ステップＳ２０３を実行する。
【００６０】
ステップＳ２０２；
まず、映像音声データ出力時刻調整部３１６は、各映像フレームをそれぞれ出力するために指定された基準時刻と、各映像フレームが実際に映像音声データ出力部３１５からそれぞれ出力された出力時刻と、を比較し、基準時刻に対して出力時刻が１フレーム分先行しているか、又は１フレーム分遅延しているかを判定する。当該判定方法は、ステップＳ１０２で説明した具体例と同様である。１フレーム分先行している場合、ステップＳ２０３へ進み、１フレーム分遅延している場合、ステップＳ２０４へ進み、１フレーム分先行又は遅延していない場合、処理を終了して次の映像フレームを処理する。
【００６１】
ステップＳ２０３；
１フレーム分先行している場合、映像音声データ出力時刻調整部３１６は、映像フレームを挿入するためのフレーム調整指示を映像音声データ調整部３１４に対して行う。その後、映像音声データ調整部３１４は、当該フレーム調整指示を受けた場合、図７に示すように、処理対象の１つ前又は後の映像フレームを複製して挿入する。
【００６２】
ステップＳ２０４；
１フレーム分遅延している場合、映像音声データ出力時刻調整部３１６は、一部の映像フレームを削除するためのフレーム調整指示を映像音声データ調整部３１４に対して行う。その後、映像音声データ調整部３１４は、当該フレーム調整指示を受けた場合、処理対象の映像フレームを削除する。
【００６３】
以降、次の映像フレームについて、ステップＳ２０２〜ステップＳ２０４の処理を繰り返し実行する。
【００６４】
つまり、ステップＳ２０２〜ステップＳ２０３において、映像音声データ出力時刻調整部３１６は、映像音声データ出力部３１５の出力用デバイスのクロック進行を監視し、クロック進行が早い場合、映像音声データ調整部３１４は、１フレーム分先行した時点で映像フレームを複製して挿入するリピート処理を行う。これにより、画質への影響を回避しつつ１フレーム分の同期ズレからの回復を実現可能となる。
【００６５】
また、ステップＳ２０２、ステップＳ２０４において、クロック進行が遅い場合、映像音声データ調整部３１４は、１フレーム分遅延した時点で映像フレームを削除するスキップ処理を行う。これにより、画質に影響を及ぼすことなく１フレーム分の同期ズレからの回復を実現可能となる。
【００６６】
［実施形態の効果］
以上より、本実施形態によれば、符号化された映像・音声データから時系列な複数のフレームデータを取得するフレームデータ取得部３１１と、所定のフレーム調整指示に基づき、複数のフレームデータ（デコード処理前の符号化フレーム、デコード処理後の映像・音声フレーム）に所定のフレームデータを挿入し、又は複数のフレームデータから一部のフレームデータを削除するフレーム調整を行う符号化データ調整部３１２又は映像音声データ調整部３１４と、フレーム調整が行われた各フレームデータを順次出力する映像音声データ出力部３１５と、各フレームデータをそれぞれ出力するための基準時刻と、各フレームデータがそれぞれ出力された出力時刻と、を比較する映像音声データ出力時刻調整部３１６と、を備え、映像音声データ出力時刻調整部３１６は、出力時刻が基準時刻よりも閾値以上先行している場合、所定のフレームデータを挿入するフレーム調整指示を行い、出力時刻が基準時刻よりも閾値以上遅延している場合、一部のフレームデータを削除するフレーム調整指示を行うので、遠隔映像監視システムにおいて複数の表示系機器に対する複数の映像・音声データの同期ズレを最小限に抑制できる。
【００６７】
また、本実施形態によれば、各フレームデータは、符号化されており、符号化データ調整部３１２は、各符号フレームの種類を判定し、フレーム調整指示が符号フレームの挿入指示の場合、ＩＤＲフレームを挿入し、フレーム調整指示が符号フレームの削除指示の場合、ＩＤＲフレームよりも１つ前のＰフレームを削除するので、遠隔映像監視システムにおいて複数の表示系機器に対する複数の映像・音声データの同期ズレを最小限に抑制できる。
【符号の説明】
【００６８】
１…遠隔映像監視システム
２…撮像系機器
３…表示系機器
４…ＩＰネットワーク
５…ＮＴＰサーバ
１０…合成処理装置
１１…合成処理部
１２…エンコード処理部
１３…オブジェクト検出・トラッキング処理部
２０…オブジェクト情報統合装置
３０…デコード装置
３１…同期制御部
３１１…フレームデータ取得部
３１２…符号化データ調整部
３１３…符号化データ復号部
３１４…映像音声データ調整部
３１５…映像音声データ出力部
３１６…映像音声データ出力時刻調整部
３１７…時刻同期部
４０…統合オブジェクト情報受信装置
Ａ…拠点側の遠隔映像監視装置
Ｂ…監視側の遠隔映像監視装置
【図１】
2020198510.tif 000003
【図２】
2020198510.tif 000004
【図３】
2020198510.tif 000005
【図４】
2020198510.tif 000006
【図５】
2020198510.tif 000007
【図６】
2020198510.tif 000008
【図７】
2020198510.tif 000009
【図８】
2020198510.tif 000010