(57)【要約】【課題】映像・音響を臨場感を持って再現するための情報の送出タイミングを揃えるとともに、欠損に対応する。【解決手段】映像上の被写体を特定するラベルとその被写体の位置を特定する位置情報とが対応付けられたデータを基準のタイムスタンプに同期させる情報同期装置であって、前記データを時刻毎に受信する受信部と、受信した前記データを記憶するバッファと、前記ラベルのいずれかについて前記バッファに前記基準のタイムスタンプの前後の時刻の前記位置情報が揃ったら、当該位置情報を用いて前記ラベルの前記基準のタイムスタンプにおける位置情報を補間して生成する位置情報補間部と、を有する。【選択図】図２
2020057847.tif 000002
【特許請求の範囲】
【請求項１】
映像上の被写体を特定するラベルとその被写体の位置を特定する位置情報とが対応付けられたデータを基準のタイムスタンプに同期させる情報同期装置であって、
前記データを時刻毎に受信する受信部と、
受信した前記データを記憶するバッファと、
前記ラベルのいずれかについて前記バッファに前記基準のタイムスタンプの前後の時刻の前記位置情報が揃ったら、当該位置情報を用いて前記ラベルの前記基準のタイムスタンプにおける位置情報を補間して生成する位置情報補間部と、
を有することを特徴とする情報同期装置。
【請求項２】
前記基準のタイムスタンプにおける位置情報のフレームレートを変換して送出するフレームレート変換部
を有することを特徴とする請求項１に記載の情報同期装置。
【請求項３】
映像上の被写体を特定するラベルとその被写体の位置を特定する位置情報とが対応付けられたデータを基準のタイムスタンプに同期させる情報同期装置であって、
前記データを時刻毎に受信する受信部と、
前記位置情報のタイムスタンプに近い時刻の前記基準のタイムスタンプに当該位置情報を割り当てる位置情報同期部と、を有し、
前記位置情報同期部は、前記位置情報を割り当てようとした前記基準のタイムスタンプに対して別の位置情報が割り当て済の場合は当該位置情報を前記基準のタイムスタンプに割り当てず、前記位置情報のタイムスタンプ近傍の所定時間区間内の前記基準のタイムスタンプのうち位置情報が割り当てられていない前記基準のタイムスタンプに対して当該位置情報を割り当てることを特徴とする情報同期装置。
【請求項４】
前記位置情報同期部は、前記位置情報のタイムスタンプより前の時刻の２つの基準のタイムスタンプに位置情報が割り当てられていない場合は、当該２つの基準のタイムスタンプのうちの１つに前記位置情報を割り当てることを特徴とする請求項３に記載の情報同期装置。
【請求項５】
映像上の被写体を特定するラベルとその被写体の位置を特定する位置情報とが対応付けられたデータを基準のタイムスタンプに同期させる情報同期方法であって、
コンピュータによる、
前記データを時刻毎に受信するステップと、
受信した前記データをバッファに記憶するステップと、
前記ラベルのいずれかについて前記バッファに前記基準のタイムスタンプの前後の時刻の前記位置情報が揃ったら、当該位置情報を用いて前記ラベルの前記基準のタイムスタンプにおける位置情報を補間して生成するステップと、
を有することを特徴とする情報同期方法。
【請求項６】
映像上の被写体を特定するラベルとその被写体の位置を特定する位置情報とが対応付けられたデータを基準のタイムスタンプに同期させる情報同期方法であって、
コンピュータによる、
前記データを時間毎に受信するステップと、
前記位置情報のタイムスタンプに近い時刻の前記基準のタイムスタンプに当該位置情報を割り当てるステップと、を有し、
前記位置情報を割り当てるステップは、前記位置情報を割り当てようとした前記基準のタイムスタンプに対して別の位置情報が割り当て済の場合は当該位置情報を前記基準のタイムスタンプに割り当てず、前記位置情報のタイムスタンプ近傍の所定時間区間内の前記基準のタイムスタンプのうち位置情報が割り当てられていない前記基準のタイムスタンプに対して当該位置情報を割り当てることを特徴とする情報同期方法。
【請求項７】
請求項１乃至４のいずれかに記載の情報同期装置の各部としてコンピュータを動作させることを特徴とする情報同期プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、センサ情報を同期し補間する技術に関する。
【背景技術】
【０００２】
現地会場で撮影された映像・音だけでなく、被写体の３次元位置情報や環境などの現地会場を遠隔地で再現するための情報を伝送し、伝送先において現地会場の状況を時間的・空間的に再現する技術の研究開発が進められている。
【０００３】
現地会場を時間的・空間的に再現するためには、映像に含まれる被写体毎の３次元位置情報の時系列データが必要となる。そのために、複数のセンサで取得した被写体の位置情報に関するデータと映像データとを用いて、被写体毎の３次元位置情報の時系列データを生成する必要がある。非特許文献１では、ＬｉＤＡＲにより被写体の３次元位置情報を得て、ＴｉｎｙＹＯＬＯを用いた深層学習により映像データ中の人物をトラッキングした結果と対応づけを行うことで、被写体毎の３次元位置情報の時系列データを生成する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】石井陽子、徳永徹郎、外村喜秀、日高浩太、「Kirari! Tracker: LiDARと深層学習エンジンを用いたリアルタイム特定人物追跡システムの検討」、2017年映像情報メディア学会冬季大会
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１では、ＴｉｎｙＹＯＬＯで人物が抽出された映像フレームを基準として、三次元情報の対応付けを行う。つまり、映像フレーム中の人物毎にラベルを付し、各ラベル（人物）に３次元位置情報を対応付ける。人物が抽出された映像フレームに対応する時刻のＬｉＤＡＲデータが存在しない場合には、前後のＬｉＤＡＲのデータを用いて対応付けを行う。
【０００６】
ここで、フレーム内に複数の被写体（ラベル）が存在する状況において、フレームによって一部の被写体が検出されない場合がある。あるいは、位置情報を特定する複数のセンサのうち一部のセンサ情報が欠損してしまうこともある。非特許文献１は、このようなデータの一部欠損に対応することができない。また、欠損した情報を無視したり、情報が揃うまで待機させたりする単純な方法では、最終的に生成される被写体毎の３次元位置情報データの精度低下や伝送遅延の増大などの問題が生じてしまう。
【０００７】
本発明は、上記に鑑みてなされたものであり、情報が一部欠損している場合でも、所定の時刻（基準タイムスタンプ）に同期された被写体毎の３次元位置情報データの生成が可能な情報同期技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る情報同期装置は、映像上の被写体を特定するラベルとその被写体の位置を特定する位置情報とが対応付けられたデータを基準のタイムスタンプに同期させる情報同期装置であって、前記データを時刻毎に受信する受信部と、受信した前記データを記憶するバッファと、前記ラベルのいずれかについて前記バッファに前記基準のタイムスタンプの前後の時刻の前記位置情報が揃ったら、当該位置情報を用いて前記ラベルの前記基準のタイムスタンプにおける位置情報を補間して生成する位置情報補間部と、を有することを特徴とする。
【０００９】
本発明に係る情報同期装置は、映像上の被写体を特定するラベルとその被写体の位置を特定する位置情報とが対応付けられたデータを基準のタイムスタンプに同期させる情報同期装置であって、前記データを時刻ごとに受信する受信部と、前記位置情報のタイムスタンプに近い時刻の前記基準のタイムスタンプに当該位置情報を割り当てる位置情報同期部と、を有し、前記位置情報同期部は、前記位置情報を割り当てようとした前記基準のタイムスタンプに対して別の位置情報が割り当て済の場合は当該位置情報を前記基準のタイムスタンプに割り当てず、前記位置情報のタイムスタンプ近傍の所定時間区間内の前記基準のタイムスタンプのうち位置情報が割り当てられていない前記基準のタイムスタンプに対して当該位置情報を割り当てることを特徴とする。
【００１０】
本発明に係る情報同期方法は、映像上の被写体を特定するラベルとその被写体の位置を特定する位置情報とが対応付けられたデータを基準のタイムスタンプに同期させる情報同期方法であって、コンピュータによる、前記データを時刻毎に受信するステップと、受信した前記データをバッファに記憶するステップと、前記ラベルのいずれかについて前記バッファに前記基準のタイムスタンプの前後の時刻の前記位置情報が揃ったら、当該位置情報を用いて前記ラベルの前記基準のタイムスタンプにおける位置情報を補間して生成するステップと、を有することを特徴とする。
【００１１】
本発明に係る情報同期方法は、映像上の被写体を特定するラベルとその被写体の位置を特定する位置情報とが対応付けられたデータを基準のタイムスタンプに同期させる情報同期方法であって、コンピュータによる、前記データを時刻毎に受信するステップと、前記位置情報のタイムスタンプに近い時刻の前記基準のタイムスタンプに当該位置情報を割り当てるステップと、を有し、前記位置情報を割り当てるステップは、前記位置情報を割り当てようとした前記基準のタイムスタンプに対して別の位置情報が割り当て済の場合は当該位置情報を前記基準のタイムスタンプに割り当てず、前記位置情報のタイムスタンプ近傍の所定時間区間内の前記基準のタイムスタンプのうち位置情報が割り当てられていない前記基準のタイムスタンプに対して当該位置情報を割り当てることを特徴とする。
【００１２】
本発明に係る情報同期プログラムは、上記の情報同期装置の各部としてコンピュータを動作させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、情報が一部欠損している場合であっても、所定の時刻（基準タイムスタンプ）に同期された被写体毎の３次元位置情報データを生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態のイマーシブテレプレゼンスシステムの全体構成図である。
【図２】本実施形態の位置情報配信装置の構成を示す機能ブロック図である。
【図３】デプスマップの一例を示す図である。
【図４】トラッキングデータの一例を示す図である。
【図５】デプスマップとトラッキングデータを統合した一例を示す図である。
【図６】各ラベルの位置情報の生成タイミングを具体的に説明するための図である。
【図７】本実施形態の位置情報配信装置の処理の流れを示すフローチャートである。
【図８】本実施形態の位置情報受信装置の構成を示す機能ブロック図である。
【図９】フレームレート変換処理を説明するための図である。
【図１０】フレームレート変換処理を説明するための図である。
【図１１】第２の実施の形態の位置情報配信装置の構成を示す機能ブロック図である。
【図１２】センサ情報同期部の処理の流れを示すフローチャートである。
【図１３】センサ情報同期部の処理を具体的に説明するための図である。
【図１４】センサ情報同期部の別の処理を具体的に説明するための図である。
【発明を実施するための形態】
【００１５】
［第１の実施の形態］
以下、本発明の第１の実施の形態について図面を用いて説明する。
【００１６】
図１は、本実施形態の伝送装置の全体構成図である。
【００１７】
図１に示す伝送装置１は、試合会場などの撮影現場側に位置情報配信装置１０およびメディアエンコーダ３０を備え、パブリックビューイング会場などの表示側に位置情報受信装置２０、メディアデコーダ４０、及び映像・音響出力装置５０を備える。
【００１８】
位置情報配信装置１０は、撮影現場に配置したセンサまたは外部サーバから撮影された被写体ごとの位置を示すセンサ情報（例えば、デプスマップ、トラッキングデータ）を受信し、統合して、映像のフレームレートに合わせた被写体ごとの３次元位置情報を生成する。生成した情報の伝送には、例えばＡｄｖａｎｃｅｄ  ＭＭＴ（ＭＰＥＧ  Ｍｅｄｉａ  Ｔｒａｎｓｐｏｒｔ）を用いる。Ａｄｖａｎｃｅｄ  ＭＭＴは、映像・音声などの提示時刻をＵＴＣ（Ｃｏｏｒｄｉｎａｔｅｄ  Ｕｎｉｖｅｒｓａｌ  Ｔｉｍｅ）で指定できるため、放送および通信のように伝送経路が別々であっても端末側でコンテンツを同期して表示可能である。ただし、本発明はＭＭＴによる伝送に限られるものではなく、任意のデータ伝送方法を用いて良い。位置情報配信装置１０は、映像と同期した被写体ごとの位置情報を位置情報受信装置２０へ送出する。
【００１９】
位置情報受信装置２０は、受信した被写体ごとの位置情報を保持しておき、映像・音響出力装置５０からの位置情報取得要求に応じて、被写体ごとの位置情報を指定されたフレームレートに変換の上、出力する。出力方法としては、例えば、Ｗｅｂｓｏｃｋｅｔインタフェイスによるｐｕｓｈ配信や、ＭＩＤＩインタフェイスによるバッファリングを伴う配信などがある。
【００２０】
メディアエンコーダ３０は、被写体を撮影した映像および音声をエンコードし、メディアデコーダ４０へ送出する。
【００２１】
メディアデコーダ４０は、受信した映像および音をデコードして映像・音響出力装置５０へ送出する。
【００２２】
映像・音響出力装置５０は、伝送された情報から伝送元（撮影現場）を時間的・空間的に再現して提示する装置である。例えば、映像・音響出力装置５０は、メディアデコーダ４０から受信した映像と、位置情報受信装置２０から受信した被写体ごとの位置情報に基づき、映像素材の位置およびサイズを被写体ごとの位置情報に基づいて制御することで３次元映像を表示する表示装置（奥行き表現可能な３次元表示装置）と、メディアデコーダ４０から受信した音響信号と、位置情報受信装置２０から受信した被写体ごとの位置情報とに基づいて、被写体の位置に応じた位置から音が発せられるかのように知覚される音を再生する音響装置（音像定位装置）とから構成される。
【００２３】
次に、本実施形態の位置情報配信装置１０について説明する。
【００２４】
図２は、本実施形態の位置情報配信装置１０の構成を示す機能ブロック図である。位置情報配信装置１０は、センサ情報統合部１１、受信部１２、バッファ１３、位置情報補間部１４、及び位置情報送出部１５を備える。
【００２５】
センサ情報統合部１１は、センサで取得された３次元位置を特定可能なデータと、映像から抽出されたトラッキングデータと、を受信し、オブジェクト（被写体）のラベルとオブジェクトの３次元座標情報を対応付けた位置情報（被写体毎の３次元位置情報）を生成する。３次元位置を特定可能なデータとは、例えば、デプスマップ（視差マップ）である。デプスマップは、ステレオカメラで撮影した画像間のピクセル毎のズレの大きさに基づいて、視差の情報から三角測量法により距離の情報に変換したデータである。デプスマップに限らず、オブジェクトの３次元位置（特に奥行き方向の位置）を特定可能なデータであれば、例えば、単眼カメラで撮影した映像を元に生成されたマスク映像等であってもよい。
【００２６】
トラッキングデータは、映像から抽出された、各フレームに含まれる１以上のオブジェクトの各々を特定するラベルと各オブジェクトのフレーム中の座標情報とを対応付けた系列からなるデータである。つまり、トラッキングデータは、映像から得た各オブジェクトの２次元的な位置情報（位置の時間変化）を特定可能なデータとセンサで取得された奥行き方向の位置を特定可能なデータからなる三次元データである。
【００２７】
センサ情報統合部１１は、３次元位置を特定可能なデータからオブジェクトの輪郭の座標情報を得て、トラッキングデータからオブジェクトの映像フレーム中の位置とオブジェクトのラベルを得て、３次元位置を特定可能なデータとトラッキングデータとを統合する。
【００２８】
以下、３次元位置を特定可能なデータがデプスマップである場合を例に、センサから得た３次元位置情報を特定可能なデータと映像から得たオブジェクトの２次元位置を特定可能なデータとを対応付けるセンサ情報統合部の処理の具体例を説明する。
【００２９】
図３にデプスマップの一例を示し、図４にトラッキングデータの一例を示す。
【００３０】
センサ情報統合部１１は、デプスマップとトラッキングデータの座標情報を共通的に利用できる形式へ変換し、座標情報をもとにデプスマップとトラッキングデータをマッチングする。つまり、センサ情報統合部１１は、デプスマップから得られた３次元座標情報に対応するトラッキングデータの示すオブジェクトを特定し、３次元座標情報にラベルを付与する。図５に、デプスマップとトラッキングデータを統合した一例を示す。３次元座標情報にラベルを付与したものが被写体ごとの位置情報である。
【００３１】
例えば、デプスマップの最大値および最小値、もしくは、最頻値をＺ値（奥行き）として用い、デプスマップの輪郭と奥行きと内部パラメータとを用いてＸ値（幅）とＹ値（高さ）を算出することで、デプスマップの３次元座標情報を変換した変換後の座標情報であるローカル座標（Ｘ値、Ｙ値、Ｚ値）を得る。これをトラッキングデータと共通的に利用できる座標系（グローバル座標系）に変換する。
【００３２】
あるいは、トラッキングデータのローカル座標系をＺ値（奥行き）とし、Ｘ値とＹ値は、デプスマップの輪郭と奥行きと内部パラメータとから計算されるＸ値（幅）とＹ値（高さ）を使うことで、トラッキングデータの変換後の座標情報であるローカル座標（Ｘ値、Ｙ値、Ｚ値）を得る。これをグローバル座標系に変換する。
【００３３】
あるいは、トラッキングデータのローカル座標系をグローバル座標系に変換し、グローバル座標系においてオブジェクトを特定する矩形の重心点を算出した結果をトラッキングデータの座標情報（変換後の座標情報）とすれば、デプスマップの座標情報と共通的に利用できる形式となる。
【００３４】
以上の何れかの方式で変換することで座標系を揃えたデータを用いて、両者のデータをマッチングすることが可能となる。
【００３５】
受信部１２は、時刻毎に、被写体に対応したラベルごとの位置情報を受信する。ラベルごとの位置情報は、例えば、センサ情報統合部１１により、センサで取得された３次元位置を特定可能なデータと、映像から抽出されたトラッキングデータとを統合して得られるデータである。
【００３６】
バッファ１３は、受信部１２の受信した位置情報を保持する。
【００３７】
位置情報補間部１４は、ラベルのいずれかについて、バッファ１３に基準となるタイムスタンプの前後の時刻の位置情報が揃っていれば、そのラベルについて基準のタイムスタンプにおける位置情報を補間して生成する。基準のタイムスタンプは、映像の各フレームに同期するように、映像のタイムスタンプに基づいて決められる。
【００３８】
図６は、位置情報補間部１４の処理を具体的に説明するための図である。時刻ｔ１，ｔ２，ｔ３は、基準のタイムスタンプである。時刻ｔα、ｔβ、ｔγ、ｔδは、バッファ１３が保持する位置情報に付与されたタイムスタンプ（例えばセンサ情報が到着した時刻）である。時刻ｔα、ｔβ、ｔγ、ｔδの下に記載した「ａ」，「ｂ」，「ｃ」はその時刻のデータに含まれる位置情報のラベルである。データは複数のラベルａ，ｂ，ｃの位置情報を含み、いずれかのラベルの位置情報が欠損することもある。例えば、図６では、時刻ｔαのデータはラベルａとラベルｂの位置情報を含み、ラベルｃの位置情報は欠損している。
【００３９】
各ラベルの位置情報の生成タイミングについて説明する。時刻ｔαに、ラベルａ，ｂの位置情報を含むデータがバッファ１３に到着する。時刻ｔβに、ラベルａ，ｃの位置情報を含むデータがバッファ１３に到着する。ラベルａについては、時刻ｔ１の前後の時刻ｔα，ｔβの位置情報が揃う。ラベルｂについては、時刻ｔ１より後の時刻の位置情報がなく、ラベルｃについては、時刻ｔ１より前の時刻の位置情報がない。位置情報補間部１４は、ラベルａの時刻ｔ１における位置情報を時刻ｔα，ｔβのラベルａの位置情報を線形補間して生成し、位置情報送出部１５へ送信する。ラベルｂ，ｃについては時刻ｔ１における位置情報は現時点では生成しない。
【００４０】
時刻ｔγに、ラベルｂの位置情報を含むデータがバッファ１３に到着する。ラベルｂについては、時刻ｔ１，ｔ２の前後の時刻ｔα，ｔγの位置情報が揃う。ラベルａ，ｃについては、時刻ｔ２より後の時刻の位置情報がない。位置情報補間部１４は、ラベルｂの時刻ｔ１，ｔ２における位置情報を時刻ｔα，ｔγのラベルｂの位置情報を線形補間して生成し、位置情報送出部１５へ送信する。
【００４１】
時刻ｔδに、ラベルａ，ｃの位置情報を含むデータがバッファ１３に到着する。ラベルａ，ｃについては、時刻ｔ２，ｔ３の前後の時刻ｔβ，ｔδの位置情報が揃う。ラベルｂについては、時刻ｔ３より後の時刻の位置情報がない。位置情報補間部１４は、ラベルａ，ｃに時刻ｔ２，ｔ３における位置情報を時刻ｔβ，ｔδのラベルａ，ｃの位置情報を線形補間して生成し、位置情報送出部１５へ送信する。
【００４２】
このように、位置情報補間部１４は、線形補間に必要な位置情報がラベルごとに揃うと、基準のタイムスタンプにおける各ラベルの位置情報を生成する。
【００４３】
位置情報送出部１５は、各ラベルの位置情報を位置情報補間部１４から受信し、映像に同期してＭＭＴパケットを送出するタイミングで、各ラベルの位置情報（被写体ごとの位置情報）を含むＭＭＴパケットを送出する。
【００４４】
続いて、位置情報配信装置１０の処理の流れについて説明する。
【００４５】
図７は、位置情報配信装置１０の処理の流れを示すフローチャートである。
【００４６】
センサ情報統合部１１は、デプスマップおよびトラッキングデータを受信すると、デプスマップとトラッキングデータを統合し、受信部１２へ送信してバッファ１３に記憶する（ステップＳ１１）。デプスマップとトラッキングデータの受信タイミングおよび頻度は異なるので、センサ情報統合部１１は、統合に必要なデータが揃ったときにデータを統合する。
【００４７】
位置情報補間部１４は、基準のタイムスタンプにおける位置情報の補間に必要なデータが揃ったラベルが存在するか否か判定する（ステップＳ１２）。
【００４８】
データが揃ったラベルが存在しない場合は（ステップＳ１２のＮＯ）、処理を終了して次のデータの到着を待つ。
【００４９】
データが揃ったラベルが存在する場合（ステップＳ１２のＹＥＳ）、位置情報補間部１４は、基準のタイムスタンプに合わせてデータが揃ったラベルの位置情報を生成する（ステップＳ１３）。
【００５０】
位置情報送出部１５は、被写体ごとの位置情報を含むＭＭＴパケットを送出する（ステップＳ１４）。
【００５１】
なお、上記ステップＳ１１〜Ｓ１４の処理を終えると、次のデータを処理対象としてステップＳ１１〜Ｓ１４の処理が繰り返される。
【００５２】
次に、本実施形態の位置情報受信装置２０について説明する。
【００５３】
図８は、本実施形態の位置情報受信装置２０の構成を示す機能ブロック図である。位置情報受信装置２０は、位置情報受信部２１、フレームレート変換部２２、及び位置情報出力部２３を備える。
【００５４】
位置情報受信部２１は、被写体ごとの位置情報を含むＭＭＴパケットを受信し、被写体ごとの位置情報を取得する。
【００５５】
フレームレート変換部２２は、映像・音響出力装置５０から指定されたフレームレートに基づき、位置情報のフレームレートを指定のフレームレートに変換する。位置情報受信部２１が受信した位置情報のフレームレートは、位置情報配信装置１０が位置情報を生成したタイミングに基づくものである。例えば、位置情報のフレームレートは映像のフレームレートに合わせた６０ｆｐｓ（ｆｒａｍｅｓ  ｐｅｒ  ｓｅｃｏｎｄ）とする。映像・音響出力装置５０から１５ｆｐｓのフレームレートが指定された場合、フレームレート変換部２２は、６０ｆｐｓの位置情報を１５ｆｐｓに変換する。変換先のフレームレートに相当するタイミングの位置情報は、変換前のフレームレートにおける前後のフレームに対して線形となる座標として算出する。
【００５６】
図９，１０を用いてフレームレートの変換処理について説明する。図９，１０では、説明を簡単にするために、受信した位置情報のフレームレートは４ｆｐｓであるとする。
【００５７】
図９の例では、位置情報を２ｆｐｓに変換する。指定されたフレームレートが受信した位置情報のフレームレートの約数である場合は、出力タイミングに対応する位置情報が存在するので、対応する位置情報を出力すればよい。図９の例では、１秒間で４つの位置情報を受信し、１秒間で２つの位置情報を出力する。具体的には、フレームレート変換部２２は、位置情報のうち（ｘ１，ｙ１，ｚ１）と（ｘ３，ｙ３，ｚ３）を出力する。対応する位置情報が欠落していた場合は、前後の位置情報を用いて補間する。なお、図９，１０では位置情報を（ｘ，ｙ，ｚ）としているが、例えば、被写体を囲むバウンディングボックスを位置情報としてもよい。
【００５８】
図１０の例では、位置情報を５ｆｐｓに変換する。出力タイミングに対応する位置情報が存在しない場合は、前後の位置情報を用いて補間する。図１０の例では、（ｘ１，ｙ１，ｚ１）と（ｘ２，ｙ２，ｚ２）の位置情報の間のタイミングの位置情報が必要なので、（ｘ１，ｙ１，ｚ１）と（ｘ２，ｙ２，ｚ２）を用いて（ｘ１×０．２＋ｘ２×０．８，ｙ１×０．２＋ｙ２×０．８，ｚ１×０．２＋ｚ２×０．８）と線形補間する。
【００５９】
位置情報出力部２３は、フレームレート変換部２２がフレームレートを変換した位置情報を出力する。
【００６０】
位置情報受信装置２０に複数の映像・音響出力装置５０が接続されており、映像・音響出力装置５０のそれぞれが異なるフレームレートを指定した場合、位置情報受信装置２０はそれぞれに対して個別にフレームレートの変換を行い、位置情報を配信する。
【００６１】
なお、位置情報配信装置１０がフレームレートを変換する機能を備えてもよい。
【００６２】
以上説明したように、本実施形態によれば、センサ情報統合部１１がデプスマップとトラッキングデータを統合し、３次元座標情報に被写体のラベルを付与した位置情報をバッファ１３に記憶し、位置情報補間部１４が、基準のタイムスタンプの前後の時刻の位置情報が揃ったラベルについて、基準のタイムスタンプにおける位置情報を補間して生成することにより、センサ情報の送出タイミングを基準のタイムスタンプに同期させるとともに、欠損した情報を補間することができる。つまり、位置情報配信装置１０が、３次元位置を特定するデータと映像データとを同期させることで基準タイムスタンプに同期させた被写体毎の３次元位置情報を生成する情報同期装置として機能する。
【００６３】
本実施形態の情報同期装置（位置情報配信装置１０）によれば、トラッキングデータに複数のラベルが含まれる場合であっても、含まれる全てのラベルの位置情報が揃うまで待つこと無く、ラベルごとに位置情報を補間して生成するので、系全体として遅延を抑制できる。
【００６４】
本実施形態によれば、位置情報受信装置２０が指定のフレームレートに変換することにより、映像・音響出力装置５０の望む受信頻度および受信タイミングで被写体ごとの位置情報を出力できる。
【００６５】
［第２の実施の形態］
本発明の第２の実施の形態について図面を用いて説明する。
【００６６】
伝送装置の全体構成は第１の実施の形態と同じである。第２の実施の形態は、位置情報配信装置１０による、被写体ごとの位置情報を映像のフレームレートに合わせる処理が第１の実施の形態とは異なる。
【００６７】
図１１は、第２の実施の形態の位置情報配信装置１０の構成を示す機能ブロック図である。位置情報配信装置１０は、センサ情報同期部１６Ａ，１６Ｂ、センサ情報統合部１７、及び位置情報送出部１８を備える。
【００６８】
センサ情報同期部１６Ａ，１６Ｂは、デプスマップおよびトラッキングデータを受信して、受信したデータのそれぞれを基準のタイムスタンプに割り当てる。データを基準のタイムスタンプに割り当てる処理の詳細は後述する。
【００６９】
センサ情報統合部１７は、基準のタイムスタンプに割り当てられたデプスマップとトラッキングデータに基づき、基準のタイムスタンプにおける、被写体のラベルとオブジェクトの３次元座標情報を統合した位置情報を生成する。
【００７０】
位置情報送出部１８は、被写体ごとの位置情報をセンサ情報統合部１７から受信し、所定のタイミングで、被写体ごとの位置情報を含むＭＭＴパケットを送出する。
【００７１】
続いて、センサ情報同期部１６Ａ，１６Ｂの処理について説明する。
【００７２】
図１２は、センサ情報同期部１６Ａの処理の流れを示すフローチャートである。図１３は、センサ情報同期部１６Ａの処理を具体的に説明するための図である。図１３のｔ１〜ｔ６が、基準のタイムスタンプであり、映像のタイムスタンプに基づいたフレームタイムスタンプｔ１〜ｔ６である。図１３の例では、デプスマップｄ１〜ｄ７を受信する。ただし、デプスマップｄ５は欠損したデータである。
【００７３】
センサ情報同期部１６Ａは、処理対象のデータ（デプスマップ）のタイムスタンプ近傍のフレームタイムスタンプにデータが割り当て済か否か判定し（ステップＳ２１）、近傍のフレームタイムスタンプにデータが割り当てられていなければ（ステップＳ２１のＮＯ）、データを近傍のフレームタイムスタンプに割り当てる（ステップＳ２２）。例えば、デプスマップｄ１のタイムスタンプ近傍のフレームタイムスタンプｔ１にはデータが割り当てられていなかったので、フレームタイムスタンプｔ１にデプスマップｄ１を割り当てる。なお、フレームタイムスタンプｔ１にデプスマップｄ１を割り当てるとは、フレームタイムスタンプｔ１の位置情報の生成に用いるデプスマップとしてデプスマップｄ１を利用する、すなわち、デプスマップｄ１の位置情報を用いてフレームタイムスタンプｔ１の位置情報を生成することを意味する。同様に、フレームタイムスタンプｔ２にデプスマップｄ２を割り当てる。
【００７４】
近傍のフレームタイムスタンプにデータが割り当てられている場合（ステップＳ２１のＹＥＳ）、そのデータの割り当てをスキップして、次のデータについて処理をする。例えば、図１３では、デプスマップｄ３のタイムスタンプ近傍のフレームタイムスタンプｔ２にはデプスマップｄ２が割り当てられているので、デプスマップｄ３の割り当てをスキップする。つまり、デプスマップｄ３は使用しない。
【００７５】
センサ情報同期部１６Ａは、データのタイムスタンプ近傍の所定時間区間内にデータが割り当てられていないフレームタイムスタンプが存在するか否か判定し（ステップＳ２３）、データが割り当てられていないフレームタイムスタンプが存在する場合（ステップＳ２３のＹＥＳ）、そのフレームタイムスタンプにデータをリピートして割り当てる（ステップＳＳ２４）。例えば、図１３では、デプスマップｄ５は欠損していることを想定しているためフレームタイムスタンプｔ４には本来割り当てられるはずのデプスマップｄ５が割り当てられない。そこで、デプスマップｄ６が、上記のステップＳ２２においてフレームタイムスタンプｔ５に割り当てられ、ステップＳ２４においてフレームタイムスタンプｔ４にもリピートして割り当てられる。
【００７６】
上記ステップＳ２１〜Ｓ２４の処理を終えると、次のデータを処理対象としてステップＳ２１〜Ｓ２４の処理を繰り返す。
【００７７】
本実施形態では、所定時間区間内をデータのタイムスタンプより過去の２フレームタイムスタンプの時間内とし、過去の２フレームタイムスタンプにデータが割り当てられていないときは、データを１フレームタイムスタンプまでリピートして割り当てる。なお、過去の１フレームタイムスタンプのみにデータが割り当てられていない場合、実際の表現上ではほぼ影響がないため、データをリピートして割り当てない。また、データがしばらくの間欠損していた場合、その欠損の全てに対してリピートさせようとすると、リピートさせるデータが到着した時点でそのデータを大量にコピーする処理が必要となり、処理速度およびメモリ消費の観点で破綻する可能性がある。本実施形態では、データをリピートして割り当てる範囲を所定時間区間に限定し、２フレームタイムスタンプ分の欠損に対して１フレームタイムスタンプ分だけ対応し、１フレームタイムスタンプ分の欠損としてデータの欠損をカバーする。センサ情報を伝送するＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）の規格として、フレームレートからのゆらぎはある程度の範囲に収まり、２フレームタイムスタンプ分の欠損はほとんど発生しない。２フレームタイムスタンプの欠損に対して１フレームタイムスタンプ分だけ対応すれば、データの欠損をカバーできる。
【００７８】
図１４は、センサ情報同期部１６Ｂの処理を具体的に説明するための図である。
【００７９】
トラッキングデータの到着間隔は同期する基準となるフレームタイムスタンプｔ１〜ｔ６の間隔よりも広く、データの信頼性も高い。そのため、センサ情報同期部１６Ｂは、図１４に示すように、フレームタイムスタンプｔ１〜ｔ６のそれぞれに最も近いタイムスタンプを持つトラッキングデータｄ１，ｄ２を割り当てる。
【００８０】
なお、トラッキングデータに対しても図１２，１３で示したデータをスキップしたり、リピートしたりする方式を用いてもよいし、フレームタイムスタンプにデータを割り当てる際にデータを線形補間してもよい。デプスマップについても同様の手法が適用できる。
【００８１】
センサ情報統合部１７は、各フレームタイムスタンプに割り当てられたデプスマップとトラッキングデータを統合し、被写体のラベルとオブジェクトの３次元座標情報を統合した位置情報を生成し、位置情報送出部１８が、所定のタイミングで、被写体ごとの位置情報を含むＭＭＴパケットを送出する。
【００８２】
以上説明したように、本実施形態によれば、センサ情報同期部１６Ａ，１６Ｂは、基準となるフレームタイムスタンプを決めて、フレームタイムスタンプにデプスマップまたはトラッキングデータの少なくともいずれかを割り当てるものであって、センサ情報同期部１６Ａは、受信したデプスマップのタイムスタンプ近傍のフレームタイムスタンプが割り当て済の場合は、そのデプスマップをフレームタイムスタンプに割り当てず、デプスマップのタイムスタンプ近傍の所定時間区間内のフレームタイムスタンプのうち、デプスマップが割り当てられていないフレームタイムスタンプがあれば、そのデプスマップを割り当てることにより、受信したデプスマップおよびトラッキングデータのタイムスタンプを揃えるとともに、処理負荷を抑えつつ欠損した情報を補うことができる。
【００８３】
本実施形態によれば、位置情報配信装置１０が、デプスマップおよびトラッキングデータなどのセンサ情報のタイムスタンプをＭＭＴで伝送する前に映像のフレームタイムスタンプに合わせることにより、データを利用する側のシステムはタイムスタンプ補正済のデータを利用できるので、実装の手間および処理内容の削減が可能である。
【００８４】
第１の実施の形態および第２の実施の形態における位置情報配信装置１０と位置情報受信装置２０が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは位置情報配信装置１０および位置情報受信装置２０が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００８５】
なお、第２の実施の形態の複数のセンサ情報のタイムスタンプを揃えて統合する処理を第１の実施の形態に組み合わせてもよい。
【符号の説明】
【００８６】
１…伝送装置
１０…位置情報配信装置
１１…センサ情報統合部
１２…受信部
１３…バッファ
１４…位置情報補間部
１５…位置情報送出部
１６Ａ，１７Ｂ…センサ情報同期部
１７…センサ情報統合部
１８…位置情報送出部
２０…位置情報受信装置
２１…位置情報受信部
２２…フレームレート変換部
２３…位置情報出力部
３０…メディアエンコーダ
４０…メディアデコーダ
５０…映像・音響出力装置
【図１】
2020057847.tif 000003
【図２】
2020057847.tif 000004
【図３】
2020057847.tif 000005
【図４】
2020057847.tif 000006
【図５】
2020057847.tif 000007
【図６】
2020057847.tif 000008
【図７】
2020057847.tif 000009
【図８】
2020057847.tif 000010
【図９】
2020057847.tif 000011
【図１０】
2020057847.tif 000012
【図１１】
2020057847.tif 000013
【図１２】
2020057847.tif 000014
【図１３】
2020057847.tif 000015
【図１４】
2020057847.tif 000016