(57)【要約】      （修正有）【課題】検出データ及び特徴量データを容易に同期させて統合する、ストリームデータ総合方法及びシステムを提供する。【解決手段】指紋信号発生器１０が、対象Ｔを観測する際の観測条件を示すシーケンスパターンおよび送信間隔で、検出データＤｄに重畳されるうる指紋信号Ｓを対象Ｔに対して出射するとともに、指紋信号Ｓの内容を示す指紋情報Ｐを指紋情報ＤＢ１４に登録する。ストリームデータ統合装置１５が、主ストリームデータ配信装置１２および副ストリームデータ配信装置１３から主ストリームデータＤｍ及び副ストリームデータＤｓを受信し、指紋情報ＤＢ１４から取得した主ストリームデータＤｍ及び副ストリームデータＤｓと対応する指紋情報Ｐと、主ストリームデータＤｍ内の検出データＤｄおよび副ストリームデータＤｓ内の特徴量データから抽出した指紋信号Ｓとに基づいて、検出データＤｄおよび特徴量データを相互に同期させて統合する。【選択図】図１
2017103621.tif 000002
【特許請求の範囲】
【請求項１】
対象を観測して得られた検出データを時系列で出力する観測ステップと、
前記対象を観測する際の観測条件を示すシーケンスパターンおよび送信間隔で、前記検出データに重畳されうる指紋信号を前記対象に対して出射するとともに、前記指紋信号の内容を示す指紋情報を指紋情報ＤＢに登録する指紋信号発生ステップと、
前記検出データから主ストリームデータを生成して通信ネットワークへ配信する主ストリームデータ配信ステップと、
前記通信ネットワークから受信した前記主ストリームデータに含まれている前記検出データに基づいて、前記指紋信号が重畳された特徴量データを時系列で算出し、これら特徴量データから副ストリームデータを生成して前記通信ネットワークへ配信する副ストリームデータ配信ステップと、
入力されたストリームデータ統合指示に基づいて、前記通信ネットワークから前記主ストリームデータおよび前記副ストリームデータを受信し、前記指紋情報ＤＢから取得した前記主ストリームデータおよび前記副ストリームデータと対応する指紋情報と、前記主ストリームデータ内の検出データおよび前記副ストリームデータ内の特徴量データから抽出した前記指紋信号とに基づいて、前記検出データおよび前記特徴量データを相互に同期させて統合するストリームデータ統合ステップと
を備えることを特徴とするストリームデータ統合方法。
【請求項２】
請求項１に記載のストリームデータ統合方法において、
前記ストリームデータ統合ステップは、前記指紋信号のシーケンスパターンに前記観測条件として含まれる出射日時に基づいて、前記主ストリームデータ内の基準位置に位置する前記検出データと前記副ストリームデータ内の基準位置に位置する前記特徴量データとを時刻同期させ、前記指紋信号の送信間隔に基づいて、後続する前記検出データと前記特徴量データとの時間軸尺度を調整することを特徴とするストリームデータ統合方法。
【請求項３】
対象を観測して得られた検出データを時系列で出力する観測機器と、
前記対象を観測する際の観測条件を示すシーケンスパターンおよび送信間隔で、前記検出データに重畳されうる指紋信号を前記対象に対して出射するとともに、前記指紋信号の内容を示す指紋情報を指紋情報ＤＢに登録する指紋信号発生器と、
前記検出データから主ストリームデータを生成して通信ネットワークへ配信する主ストリームデータ配信装置と、
前記通信ネットワークから受信した前記主ストリームデータに含まれている前記検出データに基づいて、前記指紋信号が重畳された特徴量データを時系列で算出し、これら特徴量データから副ストリームデータを生成して前記通信ネットワークへ配信する副ストリームデータ配信装置と、
入力されたストリームデータ統合指示に基づいて、前記通信ネットワークから前記主ストリームデータおよび前記副ストリームデータを受信し、前記指紋情報ＤＢから取得した前記主ストリームデータおよび前記副ストリームデータと対応する指紋情報と、前記主ストリームデータ内の検出データおよび前記副ストリームデータ内の特徴量データから抽出した前記指紋信号とに基づいて、前記検出データおよび前記特徴量データを相互に同期させて統合するストリームデータ統合装置と
を備えることを特徴とするストリームデータ統合システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像、音声、センサー出力等からなる検出データを時系列で観測して得られた主ストリームデータと、これら主ストリームデータを処理することによって生成される特徴量データなどの副ストリームデータとについて、これらストリームデータ間で同期を取るためのストリームデータ同期技術に関する。
【背景技術】
【０００２】
ＩＳＯのMoving Picture Experts Groupで策定されたマルチメディアコンテンツのデータ圧縮やメタデータの標記方法に関する規格の１つとして、コンテンツに付加するメタデータに関する国際標準規格ＩＳＯ／ＩＥＣ  １５９３８：ＭＰＥＧ−７がある。このＭＰＥＧ−７では、例えば映像中の何時何分何秒の部分にどのようなシーンがある、というメタデータ（付加情報）を映像フレームに埋め込んでいくための規格が規定されている。メタデータとしては映像データから計算された画像特徴量データとすることも可能であり、検索等のデータ照合に利用される。
【０００３】
このような技術では、コンテンツとメタデータとの同期を確保するために、コンテンツとメタデータがデータ構造上において密に結び付けられている。そのため、コンテンツに対して多種のメタデータを追加しようとするとコンテンツの総量が肥大化してしまうという問題がある。
一般的に、メタデータとして必要とされる特徴量データは、照合処理の内容によって異なる。様々な照合処理に対応するためにメタデータ種類を増やしてしまうと、使用頻度の少ないメタデータも映像データに埋め込まれて伝送されることになり、ネットワーク伝送資源を無駄にしてしまう。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】MPEG-7、国際標準規格ISO/IEC 15938、The Moving Picture Experts Group、http://mpeg.chiariglione.org/standards/mpeg-7
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、映像、音声、センサー出力等からなる検出データを時系列で観測して得られた主ストリームデータをネットワーク上に流し続け、そのデータを情報加工することで新たな価値を生み出すサービスが検討されている。例えば、空港や駅などの公共空間に設置されたカメラからの映像から、普段とは違う異常な人々の振る舞いをリアルタイムで検知することができれば、異常に対する早期の対応を計画することが可能になり、防犯や防災の観点から有用であるとされている。
【０００６】
従来、個別のセンサー機器や監視装置の内部でこのような異常検知等の情報処理が実行されていたが、今後は、異常検知のために必要な特徴ベクトルの計算や学習事例との照合による異常判定等の処理は、ネットワーク上に分散して配置されているどの情報処理機器においてでも実行することが可能となる。つまり、センサー機器や監視装置等の情報源で生成された主ストリームデータを、通信ネットワーク上にあるいずれかの情報処理機器が必要に応じて２次加工して副ストリームデータを生成し、さらにその先の別の情報処理機器がこれら主・副ストリームデータを統合して情報加工し、価値ある情報とする、分散データ処理方式が一般的になる。
【０００７】
このような分散データ処理環境において、複数のセンサー機器や監視装置の間で時刻同期やクロック幅の揺らぎに関して調整を取ることは、作業負担やコスト負担が増大するため期待できない。したがって、ネットワーク上の情報処理機器において、情報源を異にする主・副ストリームデータの間で時刻合わせや時間間隔合わせ等の同期確保が困難となるが、これら主・副ストリームデータに含まれる検出データおよび特徴量データを統合分析する際には、解析対象となる検出データおよび特徴量データ同士のタイミングを厳密に合わせる必要があり、主・副ストリームデータの再同期が課題となる。
【０００８】
本発明はこのような課題を解決するためのものであり、主・副ストリームデータに含まれる検出データおよび特徴量データを容易に同期させて統合できるストリームデータ統合技術を提供することを目的としている。
【課題を解決するための手段】
【０００９】
このような目的を達成するために、本発明にかかるストリームデータ統合方法は、対象を観測して得られた検出データを時系列で出力する観測ステップと、前記対象を観測する際の観測条件を示すシーケンスパターンおよび送信間隔で、前記検出データに重畳されうる指紋信号を前記対象に対して出射するとともに、前記指紋信号の内容を示す指紋情報を指紋情報ＤＢに登録する指紋信号発生ステップと、前記検出データから主ストリームデータを生成して通信ネットワークへ配信する主ストリームデータ配信ステップと、前記通信ネットワークから受信した前記主ストリームデータに含まれている前記検出データに基づいて、前記指紋信号が重畳された特徴量データを時系列で算出し、これら特徴量データから副ストリームデータを生成して前記通信ネットワークへ配信する副ストリームデータ配信ステップと、入力されたストリームデータ統合指示に基づいて、前記通信ネットワークから前記主ストリームデータおよび前記副ストリームデータを受信し、前記指紋情報ＤＢから取得した前記主ストリームデータおよび前記副ストリームデータと対応する指紋情報と、前記主ストリームデータ内の検出データおよび前記副ストリームデータ内の特徴量データから抽出した前記指紋信号とに基づいて、前記検出データおよび前記特徴量データを相互に同期させて統合するストリームデータ統合ステップとを備えている。
【００１０】
また、本発明にかかる上記ストリームデータ統合方法の一構成例は、前記ストリームデータ統合ステップが、前記指紋信号のシーケンスパターンに前記観測条件として含まれる出射日時に基づいて、前記主ストリームデータ内の基準位置に位置する前記検出データと前記副ストリームデータ内の基準位置に位置する前記特徴量データとを時刻同期させ、前記指紋信号の送信間隔に基づいて、後続する前記検出データと前記特徴量データとの時間軸尺度を調整するようにしたものである。
【００１１】
また、本発明にかかるストリームデータ統合システムは、対象を観測して得られた検出データを時系列で出力する観測機器と、前記対象を観測する際の観測条件を示すシーケンスパターンおよび送信間隔で、前記検出データに重畳されうる指紋信号を前記対象に対して出射するとともに、前記指紋信号の内容を示す指紋情報を指紋情報ＤＢに登録する指紋信号発生器と、前記検出データから主ストリームデータを生成して通信ネットワークへ配信する主ストリームデータ配信装置と、前記通信ネットワークから受信した前記主ストリームデータに含まれている前記検出データに基づいて、前記指紋信号が重畳された特徴量データを時系列で算出し、これら特徴量データから副ストリームデータを生成して前記通信ネットワークへ配信する副ストリームデータ配信装置と、入力されたストリームデータ統合指示に基づいて、前記通信ネットワークから前記主ストリームデータおよび前記副ストリームデータを受信し、前記指紋情報ＤＢから取得した前記主ストリームデータおよび前記副ストリームデータと対応する指紋情報と、前記主ストリームデータ内の検出データおよび前記副ストリームデータ内の特徴量データから抽出した前記指紋信号とに基づいて、前記検出データおよび前記特徴量データを相互に同期させて統合するストリームデータ統合装置とを備えている。
【発明の効果】
【００１２】
本発明によれば、主ストリームデータに含まれている検出データと、これら検出データから生成した副ストリームデータに含まれている特徴量データとが、同一時刻ごとに対応して出力される。したがって、同一対象Ｔを観測して得られた検出データと、この検出データから計算した特徴量データとを相互に同期させて統合して分析することができる。
このため、観測機器、主ストリームデータ配信装置、および副ストリームデータ配信装置が通信ネットワーク上に分散配置されている分散データ処理環境であっても、これら装置の間での時刻同期やクロック幅の揺らぎに関する調整を必要とすることなく、解析対象となる検出データおよび特徴量データ同士のタイミングを厳密に合わせることができる。したがって、高い精度で検出データおよび特徴量データを統合分析することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】ストリームデータ統合システムの構成を示すブロック図である。
【図２】指紋信号の構成例である。
【図３】検出データ例（映像）を示す説明図である。
【図４】検出データ例（音声）を示す説明図である。
【図５】検出データ例（振動）を示す説明図である。
【図６】特徴量データ（画像ＨＯＧ特徴量）を示す説明図である。
【図７】特徴量データ（画像ＳＩＦＴ特徴量）を示す説明図である。
【図８】特徴量データ（ＭＦＣＣ特徴量）を示す説明図である。
【図９】特徴量データ（時間分解周波数特徴量）を示す説明図である。
【図１０】ストリームデータ統合処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
次に、本発明の一実施の形態について図面を参照して説明する。
［ストリームデータ統合システム］
まず、図１を参照して、本実施の形態にかかるストリームデータ統合システム１について説明する。図１は、ストリームデータ統合システムの構成を示すブロック図である。
【００１５】
図１のストリームデータ統合システム１は、映像、音声、センサー出力等からなる検出データを時系列で観測して得られた主ストリームデータと、これら主ストリームデータの検出データを処理することによって生成される特徴量データなどの副ストリームデータとを、相互に同期させて統合する機能を有している。
【００１６】
近年、遠隔操縦または自律式の飛行物体であるドローン（Drone）などの観測機器に、ビデオカメラや各種観測センサーを搭載し、自然環境や災害現場の監視、都市部における交通や人流の監視等、様々なモニタニング活動に関する検討が進んでいる。このようなモニタリング活動においては、各々の観測機器で収録されて配信される主ストリームデータと、この主ストリームデータから生成した副ストリームデータとを統合的に解析することで、監視・観測対象について、より高度で正確な知見を見出すことができる。
【００１７】
これら主・副ストリームデータを統合的に解析するためには、映像、音声、センサー出力等からなる検出データを時系列で観測して主・副得られたストリームデータを同期させて解析する必要があるが、現実の収録環境においては、観測機器の時刻合わせなどのタイミング合わせの実施は困難である。
【００１８】
本発明は、時間・場所・機器などの固有の観測条件を示す指紋信号（観測識別信号）を、これら対象に対して出射することにより、監視・観測の対象から指紋信号が重畳された検出データからなる主ストリームデータ、さらには副ストリームデータを生成し、これら主・副ストリームデータに重畳されている指紋信号に基づき、両者を同期させて統合するようにしたものである。
【００１９】
次に、図１を参照して、本発明にかかるストリームデータ統合システム１の構成について詳細に説明する。
このストリームデータ統合システム１には、主な機能部として、指紋信号発生器１０、観測機器１１、主ストリームデータ配信装置１２、副ストリームデータ配信装置１３、指紋情報ＤＢ１４、およびストリームデータ統合装置１５が設けられている。
【００２０】
指紋信号発生器１０は、全体として光源、照明機器、スピーカ、物理振動発生器などの信号発生源からなり、対象Ｔに対して指紋信号Ｓを出射する機能と、この指紋信号Ｓに関する指紋情報Ｐを通信ネットワークＮＷを介して指紋情報ＤＢ１４へ登録する機能を有している。なお、指紋信号発生器１０については、複数の観測機器１１で共用してもよく、観測機器１１ごとに個別に設けてもよく、さらには観測機器１１内に搭載してもよい。
【００２１】
図２は、指紋信号の構成例である。ここでは、一定の送信間隔を有するシーケンスパターン（パルス系列）からなる指紋信号（観測識別信号）が示されており、これらシーケンスパターンおよび送信間隔が、出射日時、出射場所、出射機器など、観測条件を示す各種属性情報を示している。なお、シーケンスパターンについては、時刻同期精度に応じた間隔をあけて送信すればよく、シーケンスパターンの未送信期間については、一定の送信間隔で単純なスパイク信号を送信すればよい。
【００２２】
したがって、主・副ストリームデータＤｍ，Ｄｓから抽出した指紋信号Ｓのシーケンスパターンを、指紋情報ＤＢ１４に登録された指紋情報Ｐと照合することにより、指紋信号Ｓに関する出射日時、出射場所、出射機器などの各種属性情報、すなわち主・副ストリームデータＤｍ，Ｄｓに固有の観測条件を導出できるとともに、シーケンスパターンの送信間隔から、主・副ストリームデータＤｍ，Ｄｓの時間軸縮尺を導出できる。
【００２３】
観測機器１１は、全体として前述したドローンや空港や駅などの公共空間に設置された監視カメラなどの各種観測機器からなり、指紋信号発生器１０から出射された指紋信号Ｓが重畳された、対象Ｔに関する映像、音声、センサー出力等からなる検出データＤｄを、検出器１１Ａにより観測して主ストリームデータ配信装置１２へ時系列で出力する機能を有している。検出部１１Ａとしては、カメラ、マイク、振動センサなど、観測する物理量に応じて各種検出機器を用いればよい。
【００２４】
図３は、検出データ例（映像）を示す説明図である。ここでは、指紋信号発生器１０から赤外光により出射された指紋信号Ｓが検出データＤｄに含まれている。これにより、観測時に指紋信号Ｓを人に知覚されにくくできるとともに、可視光からなる観測内容を劣化させずに指紋信号Ｓを検出データＤｄに重畳させることができる。
【００２５】
図４は、検出データ例（音声）を示す説明図である。ここでは、指紋信号発生器１０から可聴周波数より低い低周波音声により出射された指紋信号Ｓが検出データＤｄに含まれている。これにより、観測時に指紋信号Ｓを人に知覚されにくくできるとともに、可聴音からなる観測内容を劣化させずに指紋信号Ｓを重畳させることができる。
【００２６】
図５は、検出データ例（振動）を示す説明図である。ここでは、指紋信号発生器１０から低周波振動により出射された指紋信号Ｓが検出データＤｄに含まれている。これにより、観測時に指紋信号Ｓを人に知覚されにくくできるとともに、これにより振動量からなる観測内容を劣化させずに指紋信号Ｓを重畳させることができる。
【００２７】
主ストリームデータ配信装置１２は、全体として観測機器１１を制御するＰＣなどの制御装置１２Ａからなり、観測機器１１から出力された検出データＤｄを受け取って、予め設定されているデータ構成に基づいて主ストリームデータＤｍを生成して通信ネットワークＮＷへ配信する機能を有している。
【００２８】
副ストリームデータ配信装置１３は、全体としてサーバ装置などの情報処理装置１３Ａ，１３Ｂ，１３Ｃからなり、通信ネットワークＮＷを介して主ストリームデータ配信装置１２から受信した主ストリームデータＤｍから特徴量データＤｃを時系列で算出する機能と、これら時系列の特徴量データＤｃから予め設定されているデータ構成に基づいて副ストリームデータＤｓを生成して通信ネットワークＮＷへ配信する機能を有している。
【００２９】
副ストリームデータ配信装置１３については、算出すべき特徴量データＤｃごとに別個に設けてもよい。図１では、画像ＨＯＧ（Histograms of Oriented Gradients）特徴量を抽出する情報処理装置１３Ａ、画像ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量を抽出する情報処理装置１３Ｂ、およびＭＦＣＣ（Mel-Frequency Cepstrum Coefficients）特徴量を抽出する情報処理装置１３Ｃが例として設けられている。
【００３０】
図６は、特徴量データ（画像ＨＯＧ特徴量）を示す説明図である。画像ＨＯＧ特徴量は、画像データに含まれる対象のエッジについて、局所領域で輝度勾配方向をヒストグラム化することにより得られた、対象物体の形状を大まかに表す特徴量である。人物領域抽出に広く用いられ、幾何学的変換に強く、照明の変動に頑健であるとされている。
【００３１】
図７は、特徴量データ（画像ＳＩＦＴ特徴量）を示す説明図である。画像ＳＩＦＴ特徴量は、異なる尺度空間での局所探索により画像から特徴点を抽出し、特徴点で輝度勾配方向をヒストグラム化することにより得られた、画像の特徴を表す特徴量である。回転・スケール変化に不変であり、照明変化に頑健であるとされている。
【００３２】
図８は、特徴量データ（ＭＦＣＣ特徴量）を示す説明図である。ＭＦＣＣ特徴量は、音声信号の高域成分を強調した後、メル尺度に基づきメル周波数スペクトラムを求めてケプストラムに変換して低次成分を抽出して得られた、音声のスペクトル包絡を示す特徴量である。音源に由来する成分と声道に由来する成分とを分離して表すことができるとされている。
【００３３】
図9は、特徴量データ（時間分解周波数特徴量）を示す説明図である。時間分解周波数特徴量は、検出したデータに関する周波数分析を時間の経過順に並べたものであり、機械的振動を含む各種振動の特徴を示す特徴量である。
なお、主ストリームデータＤｍから副ストリームデータＤｓを生成する処理については、副ストリームデータ配信装置１３での実行に限定されるものではなく、この副ストリームデータ生成機能を主ストリームデータ配信装置１２に設けて実行してもよい。
【００３４】
指紋情報ＤＢ１４は、全体としてサーバ装置で構成されたデータベースからなり、指紋信号発生器１０から通知された指紋情報Ｐを通信ネットワークＮＷを介して受信してデータベースへ登録する機能と、通信ネットワークＮＷを介したストリームデータ統合装置１５からの要求に応じて、指定された指紋信号発生器１０、日時、場所と対応する指紋情報Ｐをストリームデータ統合装置１５へ返送する機能とを有している。データベースに登録される指紋情報Ｐの内容としては、指紋信号Ｓの出射日時、出射場所、出射機器、送信間隔などの各種属性情報が含まれている。
【００３５】
ストリームデータ統合装置１５は、全体としてサーバ装置などの情報処理装置からなり、通信ネットワークＮＷを介して主ストリームデータ配信装置１２および副ストリームデータ配信装置１３から受信した主ストリームデータＤｍおよび副ストリームデータＤｓを相互に同期させて統合する機能を有している。
このストリームデータ統合装置１５には、主な処理部として、データ取得部１５Ａ、指紋信号抽出部１５Ｂ、およびデータ処理部１５Ｃが設けられている。
【００３６】
データ取得部１５Ａは、入力されたストリームデータ統合指示に基づいて、主ストリームデータ配信装置１２および副ストリームデータ配信装置１３から、通信ネットワークＮＷを介して主ストリームデータＤｍおよび副ストリームデータＤｓを受信する機能と、これら主ストリームデータＤｍおよび副ストリームデータＤｓと対応する指紋情報Ｐを指紋情報ＤＢ１４から取得する機能とを有している。
【００３７】
指紋信号抽出部１５Ｂは、データ取得部１５Ａで受信した主ストリームデータＤｍ内の検出データＤｄに重畳されている指紋信号Ｓ（シーケンスパターン）を抽出する機能と、副ストリームデータＤｓ内の特徴量データＤｃに重畳されている指紋信号Ｓ（シーケンスパターン）を抽出する機能を有している。
【００３８】
データ処理部１５Ｃは、指紋信号抽出部１５Ｂで抽出した主ストリームデータＤｍおよび副ストリームデータＤｓの指紋信号Ｓと、データ取得部１５Ａで取得した指紋情報Ｐとに基づいて、データ取得部１５Ａで受信した主ストリームデータＤｍに含まれている検出データＤｄと、副ストリームデータＤｓに含まれている特徴量データＤｃとを相互に同期させ、統合して出力する機能とを有している。
【００３９】
この際、具体的には、指紋情報Ｐに含まれる出射日時に基づき、主ストリームデータＤｍ内の基準位置に位置する検出データＤｄと副ストリームデータＤｓ内の基準位置に位置する特徴量データＤｃとが時刻同期される。この場合、基準位置としては、検出データＤｄおよび特徴量データＤｃから出射日時を示す指紋信号Ｓが抽出された時点を基準位置とすればよい。
【００４０】
また、主ストリームデータＤｍと副ストリームデータＤｓとに含まれる指紋信号Ｓの送信間隔に基づいて、主ストリームデータＤｍに含まれる後続の検出データＤｄと副ストリームデータＤｓに含まれる後続の特徴量データＤｃとの時間軸尺度が調整される。この時間軸尺度は、検出データＤｄと特徴量データＤｃとのデータサイズの違いにより発生するものである。
さらに、指紋情報Ｐに含まれる出射場所および出射機器に基づいて、時刻同期および時間軸尺度が調整された検出データＤｄおよび特徴量データＤｃに関する対象Ｔおよび観測条件が特定される。
【００４１】
［本実施の形態の動作］
次に、図１０を参照して、本実施の形態にかかるストリームデータ統合システム１のストリームデータ統合動作について説明する。図１０は、ストリームデータ統合処理を示すフローチャートである。
【００４２】
まず、観測開始に当たり、指紋信号発生器１０から対象Ｔに対して指紋信号Ｓが出射されるとともに（ステップ１００）、この指紋信号Ｓに関する指紋情報Ｐが指紋信号発生器１０から指紋情報ＤＢ１４に登録される（ステップ１０１）。
【００４３】
観測機器１１は、カメラ、マイク、振動センサなどの検出部１１Ａにより、映像、音声、センサー出力等からなる検出データＤｄを対象Ｔから検出して、主ストリームデータ配信装置１２へ出力する（ステップ１０２）。これにより、指紋信号Ｓが重畳された検出データＤｄが主ストリームデータ配信装置１２へ出力されることになる。
【００４４】
続いて、主ストリームデータ配信装置１２は、観測機器１１から出力された検出データＤｄを受け取って、予め設定されているデータ構成に基づいて主ストリームデータＤｍを生成し、通信ネットワークＮＷへ配信する（ステップ１０３）。これにより、指紋信号Ｓが重畳された検出データＤｄが主ストリームデータＤｍとして配信されることになる。
【００４５】
この後、副ストリームデータ配信装置１３は、通信ネットワークＮＷを介して主ストリームデータ配信装置１２から受信した主ストリームデータＤｍの検出データＤｄから、特徴量データＤｃを時系列で算出し（ステップ１０４）、これら時系列の特徴量データＤｃから予め設定されているデータ構成に基づいて副ストリームデータＤｓを生成して通信ネットワークＮＷへ配信する（ステップ１０５）。これにより、検出データＤｄに重畳された指紋信号Ｓが特徴量データＤｃにも重畳されて、副ストリームデータＤｓとして配信されることになる。
【００４６】
次に、ストリームデータ統合装置１５は、データ取得部１５Ａにより、入力された統合指示に基づいて、主ストリームデータ配信装置１２および副ストリームデータ配信装置１３から、通信ネットワークＮＷを介して主ストリームデータＤｍおよび副ストリームデータＤｓを受信するとともに（ステップ１０６）、これら主ストリームデータＤｍおよび副ストリームデータＤｓと対応する指紋情報Ｐを指紋情報ＤＢ１４から取得し（ステップ１０７）、指紋信号抽出部１５Ｂにより、これら主ストリームデータＤｍ内の検出データＤｄおよび副ストリームデータＤｓ内の特徴量データＤｃに重畳されている指紋信号Ｓ（シーケンスパターン）を抽出する（ステップ１０８）。
【００４７】
この後、ストリームデータ統合装置１５は、データ処理部１５Ｃにより、指紋情報Ｐに含まれる出射日時に基づき、主ストリームデータＤｍ内の検出データＤｄと副ストリームデータＤｓ内の特徴量データＤｃとを時刻同期させるとともに、指紋信号Ｓの送信間隔に基づいて、検出データＤｄと特徴量データＤｃとの時間軸尺度を調整する（ステップ１０９）。また、データ処理部１５Ｃにより、指紋情報Ｐに含まれる出射場所および出射機器に基づいて、検出データＤｄと特徴量データＤｃに関する観測条件を特定し、一連のストリームデータ統合動作を終了する。
【００４８】
これにより、主ストリームデータＤｍに含まれている検出データＤｄと、これら検出データＤｄから生成した副ストリームデータＤｓに含まれている特徴量データＤｃとが、同一時刻タイミングごとに対応して出力され、観測機器１１、主ストリームデータ配信装置１２、および副ストリームデータ配信装置１３に搭載されているクロック生成素子の個体差に由来する揺らぎがある場合においても、時間的ずれが補正されることになる。
【００４９】
［本実施の形態の効果］
このように、本実施の形態は、指紋信号発生器１０が、対象Ｔを観測する際の観測条件を示すシーケンスパターンおよび送信間隔で、検出データＤｄに重畳されるうる指紋信号Ｓを対象Ｔに対して出射するとともに、指紋信号Ｓの内容を示す指紋情報Ｐを指紋情報ＤＢ１４に登録し、ストリームデータ統合１５が、主ストリームデータ配信装置１２および副ストリームデータ配信装置１３から主ストリームデータＤｍおよび副ストリームデータＤｓを受信し、指紋情報ＤＢ１４から取得した主ストリームデータＤｍおよび副ストリームデータＤｓと対応する指紋情報Ｐと、主ストリームデータＤｍ内の検出データＤｄおよび副ストリームデータＤｓ内の特徴量データＤｃから抽出した指紋信号Ｓとに基づいて、検出データＤｄおよび特徴量データＤｃを相互に同期させて統合するようにしたものである。
【００５０】
これにより、主ストリームデータＤｍに含まれている検出データＤｄと、これら検出データＤｄから生成した副ストリームデータＤｓに含まれている特徴量データＤｃとが、同一時刻ごとに対応して出力される。したがって、同一対象Ｔを観測して得られた検出データＤｄと、この検出データＤｄから計算した特徴量データＤｃとを相互に同期させて統合して分析することができる。
【００５１】
このため、観測機器１１、主ストリームデータ配信装置１２、および副ストリームデータ配信装置１３が通信ネットワークＮＷ上に分散配置されている分散データ処理環境であっても、これら装置間で時刻同期やクロック幅の揺らぎに関する調整を必要とすることなく、解析対象となる検出データＤｄおよび特徴量データＤｃ同士の時刻タイミングを厳密に合わせることができる。したがって、高い精度でＤｄおよび特徴量データＤｃを統合分析することが可能となる。
【００５２】
［実施の形態の拡張］
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。また、各実施形態については、矛盾しない範囲で任意に組み合わせて実施することができる。
【００５３】
なお、図１では、１つの対象Ｔに対して１つの指紋信号Ｓが出射されている場合が例として示されているが、対象Ｔと指紋信号Ｓとの対応関係は、１対１に限定されるものではなく、１対多、多対１、さらには多対多であってもよい。
また、１つの対象Ｔを複数の観測機器１１で観測する場合が例として示されているが、対象Ｔと観測機器１１との対応関係は１対多に限定されるものではなく、１対１、多対１、さらには多対多であってもよい。
【符号の説明】
【００５４】
１…ストリームデータ統合システム、１０…指紋信号発生器、１１…観測機器、１１Ａ…検出部、１２…主ストリームデータ配信装置、１３…副ストリームデータ配信装置、１４…指紋情報ＤＢ、１５…ストリームデータ統合装置、１５Ａ…データ取得部、１５Ｂ…指紋信号抽出部、１５Ｃ…データ処理部、ＮＷ…通信ネットワーク、Ｔ…対象、Ｓ…指紋信号、Ｐ…指紋情報、Ｄｄ…検出データ、Ｄｍ…主ストリームデータ、Ｄｃ…特徴量データ、Ｄｓ…副ストリームデータ。
【図１】
2017103621.tif 000003
【図２】
2017103621.tif 000004
【図３】
2017103621.tif 000005
【図４】
2017103621.tif 000006
【図５】
2017103621.tif 000007
【図６】
2017103621.tif 000008
【図７】
2017103621.tif 000009
【図８】
2017103621.tif 000010
【図９】
2017103621.tif 000011
【図１０】
2017103621.tif 000012