(57)【要約】      （修正有）【課題】システム構成を単純化し、複数のストリームの映像コンテンツを再生する際にストリーム間に生じる同期「ずれ」の発生を抑える複数ストリーム同期再生技術を提供する。【解決手段】複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定手段１０５と、各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御手段１０６とを有するストリーム同期再生システム。【選択図】図１
2008199557.tif 000002
【特許請求の範囲】
【請求項１】
ストリーム同期再生システムであって、
複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定手段と、
各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御手段と
を有することを特徴とするストリーム同期再生システム。
【請求項２】
前記決定手段と前記再生制御手段とをストリームの受信側に備えたことを特徴とする請求項１に記載のストリーム同期再生システム。
【請求項３】
前記決定手段は、画像認識によりコンテンツの人物または物体の動きの変化を認識し、この認識した人物または物体の動きの変化に基づいてシーンの特徴的変化を検出するように構成されていることを特徴とする請求項２に記載のストリーム同期再生システム。
【請求項４】
前記決定手段は、音声認識によりコンテンツの音声の変化を認識し、この認識した音声の変化に基づいてシーンの特徴的変化を検出するように構成されていることを特徴とする請求項２に記載のストリーム同期再生システム。
【請求項５】
前記決定手段は、コンテンツの輝度の変化に基づいてシーンの特徴的変化を検出するように構成されていることを特徴とする請求項２に記載のストリーム同期再生システム。
【請求項６】
前記決定手段をストリームの配信側に備え、前記再生制御手段をストリームの受信側に備えたことを特徴とする請求項１に記載のストリーム同期再生システム。
【請求項７】
コンテンツにシーンの特徴的変化を示す識別情報を挿入する挿入手段と、
前記決定手段は、前記コンテンツに挿入された識別情報に基づいて、同期用基準フレームを決定することを特徴とする請求項６に記載のストリーム同期再生システム。
【請求項８】
前記挿入手段は、前記識別情報として不可視光をコンテンツに挿入するであることを特徴とする請求項７に記載のストリーム同期再生システム。
【請求項９】
前記挿入信号は、前記識別情報として不可聴音をコンテンツに挿入することを特徴とする請求項７に記載のストリーム同期再生システム。
【請求項１０】
複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定手段と、
各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御手段と
を有することを特徴とするストリーム同期再生装置。
【請求項１１】
前記決定手段は、画像認識によりコンテンツの人物または物体の動きの変化を認識し、この認識した人物または物体の動きの変化に基づいてシーンの特徴的変化を検出するように構成されていることを特徴とする請求項１０に記載のストリーム同期再生装置。
【請求項１２】
前記決定手段は、音声認識によりコンテンツの音声の変化を認識し、この認識した音声の変化に基づいてシーンの特徴的変化を検出するように構成されていることを特徴とする請求項１０に記載のストリーム同期再生装置。
【請求項１３】
前記決定手段は、コンテンツの輝度の変化に基づいてシーンの特徴的変化を検出するように構成されていることを特徴とする請求項１０に記載のストリーム同期再生装置。
【請求項１４】
複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定ステップと、
各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御ステップと
を有することを特徴とするストリーム同期再生方法。
【請求項１５】
前記決定ステップは、画像認識によりコンテンツの人物または物体の動きの変化を認識し、この認識した人物または物体の動きの変化に基づいてシーンの特徴的変化を検出することを特徴とする請求項１４に記載のストリーム同期再生方法。
【請求項１６】
前記決定ステップは、音声認識によりコンテンツの音声の変化を認識し、この認識した音声の変化に基づいてシーンの特徴的変化を検出することを特徴とする請求項１４に記載のストリーム同期再生方法。
【請求項１７】
前記決定ステップは、コンテンツの輝度の変化に基づいてシーンの特徴的変化を検出することを特徴とする請求項１４に記載のストリーム同期再生方法。
【請求項１８】
情報処理装置のプログラムであって、前記プログラムは情報処理装置を、
複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定処理と、
各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御処理と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストリームの映像を再生するストリーム同期再生技術に関し、特に、複数のストリームを、簡易な構成で、かつ同期「ずれ」を抑えながら、同期を取って再生する複数ストリーム同期再生技術に関する。
【背景技術】
【０００２】
近年、ビデオカメラが普及し、動画撮影機能が付加された携帯電話やデジタルカメラも広く普及するようになった。これによって、一般の人々も動画を容易に撮影できるようになった。特に、運動会や結婚式等のイベント会場では、上述した動画撮影機器を持った人が多数集まり、同じ時間の同じ場面が複数の撮影機器によって様々な角度から撮影されることになる。
【０００３】
また、サッカーや野球等のスポーツ中継においても、選手や試合の場面などが複数地点に設置されたカメラによって撮影されることが多い。このような場合も、同じ時間の同じ場面が複数のカメラによって様々な角度から撮影されることになる。
【０００４】
このように複数地点から同じ対象物（被写体）を撮影して得られた複数のストリームは、インターネット等を利用した映像配信インフラを用いて配信されることが多い。これらの配信された複数のストリームを同時に受信することで、ユーザは、個々の意思で視点を切り替えながら同じ場面を様々な角度から視聴することが可能となる。
【０００５】
しかしながら、複数地点からストリームを同時に配信した場合、撮像装置における処理遅延や各ストリームのデータ転送に伴う伝播遅延が発生し、この為、別の視点から見た場面がずれて表示されるといった問題が生じていた。
【０００６】
このような問題点に鑑みて、近年では、ストリーム間の配信の遅延差から生じる受信時刻の「ずれ」を補正し、複数のストリームの同期を取って再生する同期処理技術が提案されてきている。
【０００７】
例えば、特許文献１には、複数地点に設置されたカメラ等の撮像装置において映像データに対し時刻情報の関連付けを行い、この時刻情報に基づいて複数のストリームデータ間の同期処理を行うことで、複数ストリームデータを多重化して記録する装置が記載されている。具体的には、特許文献１の発明では、まず、NTP（Network Time Protocol）やGPS（Global Positioning system）等の情報を用いて撮像装置のシステム時刻の同期を取り、時刻情報を映像データに関連付ける。そして、ストリーム記録装置が受信した複数のストリームデータをそれぞれバッファリングし、さらに、映像データに関連付けられた時刻情報に基づいてバッファ間で同時刻のストリームデータを順次取り出していくことで、ストリームデータ間の同期処理を実現している。
【０００８】
また、特許文献２には、複数地点に設置された撮像装置によって配信されるフレームレートの異なるストリームデータ間で、同期再生を実現する装置が開示されている。特許文献２の発明では、フレームレートの小さなストリームデータのフレームが存在する時刻を再生開始時刻とし、この再生開始時刻に合わせてフレームレートのより大きなストリームデータを再生することで、フレームレートの異なるストリームデータ間での同期再生を実現している。
【特許文献１】特開２００６−１５７４９２号公報
【特許文献２】特開２００５−３２８１２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
前述したように、特許文献１及び特許文献２に示される発明では、複数ストリームデータの同期再生を実現させる目的で、撮像装置側にストリームデータに対するタイムスタンプ手段を持たせている。そして、ストリーム同期再生装置側では、撮像装置がスタンプした時刻情報に基づいて複数ストリームデータの同期再生を実施している。
【００１０】
しかしながら、特許文献１及び特許文献２の発明を含む従来の同期再生方式では、同期の「ずれ」の発生を完全に防ぐことは困難であった。
【００１１】
タイムスタンプ処理によりストリーム間の同期をとる場合、撮像装置間のシステム時刻の同期の「ずれ」やタイムスタンプ処理における同期「ずれ」の発生が避けられなかった。また、この同期の「ずれ」は、ネットワーク遅延や干渉によるゆらぎを起因として生じることも多く、視聴したユーザが違和感を覚えるようなケースも少なくなかった。
【００１２】
加えて、システムが複雑化するという別の問題点もあった。例えば、撮像装置が、上述の如くタイムスタンプ手段を持たせる場合、撮像装置間のシステム時刻を同期させるため、基準時刻の生成手段を備えた基準時刻生成装置が不可欠となる。さらに、この基準時刻生成装置から基準時刻を取得するための取得手段も撮像装置において別途用意する必要がある。このため、装置の種類が多くなり、その結果システムが複雑化していた。
【００１３】
従って、本発明が解決しようとする課題は、複数のストリームの映像コンテンツを再生する際に複数のストリーム間に生じる同期「ずれ」の発生を抑えるストリーム同期再生技術を提供することにある。
【００１４】
さらに、本発明が解決しようとする課題は、システム構成を単純化したストリーム同期再生技術を提供することにある。
【課題を解決するための手段】
【００１５】
上記課題を解決する本発明は、ストリーム同期再生システムであって、複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定手段と、各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御手段とを有することを特徴とする。
【００１６】
また、上記課題を解決する本発明は、ストリーム同期再生装置であって、複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定手段と、各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御手段とを有することを有することを特徴とする。
【００１７】
また、上記課題を解決する本発明は、複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定ステップと、各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御ステップとを有することを特徴とする。
【００１８】
また、上記課題を解決する本発明は、情報処理装置のプログラムであって、前記プログラムは情報処理装置を、複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定する決定処理と、各ストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生する再生制御処理として機能させることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、複数のストリームの映像コンテンツを再生する際に複数のストリーム間に生じる同期「ずれ」の発生を抑えるストリーム同期再生技術を提供することができる。
【００２０】
その理由は、本発明では、複数のストリームのコンテンツ間でシーンの特徴的変化が共通する各ストリームのフレームを、同期用基準フレームとして決定し、このストリームのコンテンツの同期用基準フレームの映像を同じタイミングで再生するように制御しているからである。
【発明を実施するための最良の形態】
【００２１】
次に、本発明の第１の実施の形態について、図１のブロック図及び図２のフローチャートを用いて説明する。
【００２２】
尚、以下では、複数のストリームのコンテンツが映像コンテンツであるものとして説明する。
【００２３】
図１を参照すると、１ａ，１ｂ，１ｃは撮像装置であり、物体や人物の映像を動画として撮影する。
【００２４】
Ａ，Ｂ，Ｃは、ストリームである。Ａは、撮像装置１ａで撮影された動画によるストリームである。Ｂ，Ｃも同様に、それぞれ撮像装置１ｂ，１ｃで撮影された動画によるストリームである。
【００２５】
１００は、ストリーム同期再生装置であり、撮像装置１ａ，１ｂ，１ｃのそれぞれとはネットワーク１０を介して接続されている。
【００２６】
ストリーム同期再生装置１００は、受信部１０１と、バッファ１０２と、復号部１０３と、検出部１０４と、同期情報決定部１０５と、再生制御部１０６と、表示部１０７とを含む。
【００２７】
受信部１０１は、撮像装置１ａ，１ｂ，１ｃからネットワーク経由で配信されてきたストリームを受信する。受信部１０１は、具体的には、図１に示されるように、撮像装置１ａからのストリームを受信する受信部１０１ａと、撮像装置１ｂからのストリームを受信する受信部１０１ｂと、撮像装置１ｃからのストリームを受信する受信部１０１ｃとを有する。
【００２８】
バッファ１０２ａ、１０２ｂ，１０２ｃは記憶領域であり、受信部１ａ，１ｂ，１ｃで受信した符号圧縮された状態のストリームデータを一時的に格納する。尚、ストリームデータとは、ストリームに含まれるデータであり、映像コンテンツを構成する。
【００２９】
復号部１０３は、バッファに格納されている符号圧縮されたストリームデータを復号し、同期情報決定部１０５へ転送する。具体的には、復号部１０３は、バッファ１０２ａに格納されているストリームデータを復号する復号部１０３ａと、バッファ１０２ｂに格納されているストリームデータを復号する復号部１０３ｂと、バッファ１０２ｃに格納されているストリームデータを復号する復号部１０３ｃとを有する。
【００３０】
検出部１０４は、映像コンテンツの映像からシーンの特徴的な変化のあるフレームを検出する。具体的には、映像コンテンツ中の人物または物体の動きの変化を画像認識により認識し、この認識した人物または物体の動きの変化に基づいて、シーンの特徴的変化のあるフレームを各ストリームのコンテンツの中から検出する。ここで、シーンの特徴的変化とは、映像を構成するフレームの前後で対比したときに顕著に見られるコンテンツの内容の変化である。ここで、シーンとは、コンテンツのある場面を意味し、例えば、野球やサッカー中継等の場合、「ボールを投げた」、「ボールを蹴った」といった場面である。また、シーンの特徴的変化とは、シーン（場面）が大きく変わることを意味し、例えば、野球ではホームランのシーンや、サッカーではゴールのシーン等である。
【００３１】
このとき、検出部１０４で検出された「シーンの特徴的変化」のあるフレームは、同期用基準フレームの候補となる。以降では、同期用基準フレームの候補となるこの抽出されたフレームを「候補フレーム」と呼ぶ。
【００３２】
同期情報決定部１０５は、複数のストリームのコンテンツ間で「シーンの特徴的変化」が共通する各ストリームのフレームを、同期用基準フレームとして決定する。この同期用基準フレームは、複数のストリームのコンテンツ間で同期を取る際に用いられるフレームとなる。
【００３３】
ここで、シーンの特徴的変化が共通するフレームとは、各ストリームで検出されたシーンの特徴的変化が同じであるフレームであって、各ストリームのコンテンツのそれぞれに存在するフレームである。
【００３４】
同期情報決定部１０５は、前述した候補フレームのうち、任意のストリームの候補フレームを選択し、この候補フレームと同じ「シーンの特徴的変化」の候補フレームが他の各ストリームに存在しているか否かを調べる。ここで、同じ「シーンの特徴的変化」の候補フレームの同定方法であるが、各候補フレームの内容を画像認識等で解析して同一のシーンの特徴的変化を検出する方法や、各候補フレームの音に着目して同様な音の変化があるものを同じシーンの特徴的変化であるとして検出するようにしても良く、また他の方法でもかまわない。
【００３５】
候補フレームのそれぞれについてこのようにチェックしていった結果、各ストリームのコンテンツのそれぞれに同じシーンの特徴的変化が見られる候補フレームが存在した場合には、この候補フレームを同期用基準フレームに決定し、フレーム番号を取得する。
【００３６】
さらに、同期情報決定部１０５は、この決定した同期用基準フレームに基づいて同期情報を生成し、制御側へ通知する。ここで、同期情報とは、決定した同期用基準フレームのフレーム識別子（ここでは、フレーム番号）と、ストリームデータを識別するためのストリーム識別子とが少なくとも関連付けられた情報であり、具体的には図６の例に示される。
【００３７】
再生制御部１０６は、同期情報決定部１０５から通知された同期情報に基づいて、各ストリームの映像コンテンツの同期用基準フレームの映像を同じタイミングで再生する同期制御をおこなう。具体的には、同期情報決定部１０５から通知されてきた同期情報に含まれるストリーム識別子及び同期用基準フレームのフレーム番号に基づいて、各ストリームの映像コンテンツの同期用基準フレームの再生が同一タイミングとなるように制御再生し、各ストリームの映像コンテンツを表示部１０７へ転送する。
【００３８】
表示部１０７は、同期制御部１０４から転送されてきた映像コンテンツの映像を表示する。
【００３９】
次に、上記のように構成させたストリーム同期再生装置の動作について、図２のフローチャートに沿って、図５，図６を適宜用いながら、説明する。
【００４０】
尚、以下の説明では、３台の撮像装置１ａ〜１ｃによって野球中継における選手の動きが撮影されている状況を想定して説明するが、撮像装置は何台であっても構わない。
【００４１】
また、ストリームの配信側の撮像装置からネットワークを介してストリーム配信される場合を例にとって説明するが、ストリーミングサーバを介してストリーム配信される場合であっても、むろん構わない。
【００４２】
また、検出部１０４は、人物の動きの変化を画像認識し、この認識した人物の動きの変化に基づいてシーンの特徴的変化を検出する構成をとるものとするが、これに限ることはない。映像コンテンツ中の音声の変化を音声認識し、この認識した音声の変化に基づいてシーンの特徴的変化を検出する構成をとってもよい。例えば、前述した野球やサッカー中継等の場合、「ホイッスルが鳴った」、「観客の歓声が上がった」といった音声の変化があった場合に、シーンの特徴的変化が有るとしてもよい。同様にして、映像中の輝度の変化に基づいてシーンの特徴的変化を検出してもよい。
【００４３】
また、撮像装置１ｂ，１ｃとネットワーク１０との間は、撮像装置１ａとネットワーク１０との間よりも広帯域のアクセス回線で接続されている場合を想定して説明する。また、撮像装置１ｂとネットワーク１０間の転送距離は、撮像装置１ｃの転送距離よりも幾分長いものとする。このようなネットワーク環境の違いから、ストリームＡはストリームＢよりも１フレーム転送分だけ遅れて受信され、ストリームＣはストリームＢよりも１フレーム転送分だけ早く受信された場合を想定して説明する。
【００４４】
更に、以下では、説明の便宜の為、ある野球選手がバッターボックスに立った際に、撮像装置１ａ〜１ｃは、この選手を被写体とする撮影を同時刻に開始したものとして説明する。
【００４５】
さて、受信部１０１ａ，１０１ｂ，１０１ｃが、撮像装置１ａ，１ｂ，１ｃによって撮影された動画のストリームＡ，Ｂ，Ｃをそれぞれ受信すると（ステップＳ１）、各ストリームのデータは、それぞれバッファ１０２ａ，１０２ｂ，１０２ｃに格納される。
【００４６】
このとき、図６に示されるように、回線の転送速度や転送距離等の違いにより、ストリームＡはストリームＢに比べて１フレーム転送分の時間だけ遅れて受信され、ストリームＢはストリームＣに１フレーム転送分の時間だけ遅れて受信されている。
【００４７】
そして、バッファ１０２ａ，１０２ｂ，１０２ｃにそれぞれ格納され符号圧縮されているストリームデータは、それぞれ復号部１０３ａ，１０３ｂ，１０３ｃによって復号される（ステップＳ２）。
【００４８】
次に、検出部１０４により、ストリームＡ，Ｂ,Ｃの各映像コンテンツの映像について、シーンの特徴的な変化の有無がチェックされ、シーンの特徴的な変化のあるフレームが検出される（ステップＳ３）。
【００４９】
ここでは、図５に示されるように、シーンの特徴的な変化の見られるフレームとして、ストリームＡの映像コンテンツについてはフレーム番号５を持ったフレームが、ストリームＢの映像コンテンツではフレーム番号１，６を持ったフレームが、ストリームＣの映像コンテンツではフレーム番号２，７を持ったフレームが検出されている。これらの検出されたフレームは、同期制御に用いるための同期用基準フレームを決定するフレームの候補（候補フレーム）となる。
【００５０】
尚、「ボールを投げた」、「ボールを蹴った」といった人物・物体の動きは、急激な変化であったとしても、動きの開始から終了までに数秒はかかる。このため、このような動きの変化（シーンの特徴的変化）が見られるフレームは、数十枚のフレームに亘って構成されることになる。ここでは、前述した候補フレームの検出において、シーンの特徴的変化がはじまる最初の瞬間の１フレームを候補フレームとして検出するものとするが、これに限る必要はない。シーンの特徴的変化が検出されたフレームの前後連続する数フレームを候補フレームとして検出するようにしてもよい。
【００５１】
尚、本実施の形態では、「シーンの特徴的変化」が共通するフレームの有無を各ストリームについて調べる際、注目する候補フレームを中心とする前後合計５フレームに対応する他のストリームのフレームを対象に調べるものとする。これは、経験的に見ると、複数の撮像装置で同時に撮影を開始した場合、ストリーム間に生じる同期の「ずれ」の程度は数フレーム分であることが多いため、この数フレームの範囲内に「シーンの特徴的変化」が見られるフレームが存在した場合、これらのフレームが「シーンの特徴的変化」が共通するフレームである可能性が高い点に着目したものである。もちろん、このチェック対象範囲は、例えば、注目する候補フレームの前後１０フレーム分などとしてもよい。
【００５２】
続いて、同期情報決定部１０５によって、同期用基準フレームが決定され、同期用基準フレームのフレーム番号が取得される。この同期用基準フレームの決定は、具体的には以下のように行われる。
【００５３】
まず、あるストリームで注目する候補フレームを中心とする前後５フレームに対応する他のストリームのフレームの位置に、「シーンの特徴的変化」が見られる候補フレームが存在するか否かが、候補フレーム毎にチェックされてゆく（ステップＳ４）。
【００５４】
図５に示されるように、今、注目する候補フレームがストリームＡの映像コンテンツの“フレーム５”である場合、フレーム５を中心とする連続する５フレーム分はフレーム３〜フレーム７である。そこで、まず、このフレーム３〜７に対応するストリームＢのコンテンツの位置に「シーンの特徴的変化」が検出されたフレームがあるかどうかが調べられる。ここでは、ストリームＢの映像コンテンツの“フレーム６”はシーンの特徴的変化が検出されたフレームである。さらに、ストリームＣの映像コンテンツにも、シーンの特徴的変化の見られる“フレーム７”が検出されている。
【００５５】
従って、注目する候補フレームがストリームＡの映像コンテンツの“フレーム５”である場合、フレーム５を中心とする連続する５フレームに対応する他のストリームのフレーム位置には、シーンの特徴的変化が共通するフレームが存在していることになる（ステップＳ４：Ｙｅｓ）。すなわち、ここでは、図５に示されるように、ストリームＡの映像コンテンツのフレーム５と、ストリームＢの映像コンテンツのフレーム６と、ストリームＣの映像コンテンツのフレーム７とがシーンの特徴的変化が共通するフレームである。そして、これらのフレームが同期用基準フレームとして決定される（ステップＳ５）。
【００５６】
更に、同期情報決定部１０５ａによって、ストリームＡの映像コンテンツの同期用基準フレームのフレーム番号（ここでは、５番）が取得され、同様に、同期情報決定部１０５ｂ，１０５ｃによって、ストリームＢ，Ｃの映像コンテンツからも同期用基準フレームのフレーム番号（ここでは、６番、７番）が取得される。そして、この取得された同期用基準フレームの各フレーム番号とストリーム識別子とが少なくとも関連付けられ、その結果、図６の例で示される同期情報が生成される。そして、この同期情報は再生制御部１０６に渡される。
【００５７】
次に、再生制御部１０６は、この同期情報に基づいてストリームデータＡ，Ｂ，Ｃの同期を取る。具体的には、再生制御部１０６によって、同期情報が参照され、ストリームデータＡのフレーム番号５のフレーム、ストリームデータＢのフレーム番号６のフレーム、及びストリームデータＣのフレーム番号７のフレームが同一のタイミング（同一時刻）で再生される（ステップＳ６）。これにより、回線の転送速度・転送距離の違い等で生じたストリーム間の同期のずれが解消され、ストリーム間で同期が取られた映像コンテンツが表示される（ステップＳ７）。
【００５８】
上記第１の実施の形態では、同期用基準フレームの映像の再生タイミングが同一となるよう制御する再生制御手段をストリーム受信側に備えているので、撮像装置間のシステム時計の時差に起因する同期の「ずれ」、或いは、撮像装置間のタイムスタンプ処理時間の差に起因する同期の「ずれ」、更には、ネットワーク遅延や干渉によるゆらぎを起因とする同期の「ずれ」、といった同期再生するうえでの想定される種々の同期「ずれ」の要因の影響を無視することができる。
【００５９】
さらに、上記実施の形態では、撮像装置側では映像データにタイムスタンプ処理を施す必要が無く、撮像装置間のシステム時刻を同期させる基準時刻生成装置や基準時刻生成装置から基準時刻を取得する構成部も設ける必要がない。この為、ストリーム同期再生装置の構成を簡素化することができる。
【００６０】
尚、上記実施の形態では、「人物又は物体の動きの変化」に基づいてシーンの特徴的変化が検出されたフレーム候補を検出し、この中から、コンテンツ間でシーンの特徴的変化が共通するフレームを同期用基準フレームに決定するよう構成させたが、これに限る必要はない。
【００６１】
例えば、「人物又は物体の動きの変化に基づいてシーンの特徴的変化が検出されたフレーム」のみにまずは注目し、このフレームが複数ストリームの映像コンテンツ間で共通するか否かをチェックし、共通性が無い場合、次に「音声の変化に基づいてシーンの特徴的変化が検出されたフレーム」に注目して共通性をチェックする、といったようして同期用基準フレームを決定するようにしてもよい。
【００６２】
上記実施の形態では、注目する候補フレームの前後数フレームに対応する他のストリームのフレームについて、「シーンの特徴的変化」が見られるフレームが存在するか否かをチェックし、存在した場合には「シーンの特徴的変化」が同じであるとし、同期用基準フレームとして決定する構成をとった。しかしながら、より厳密に「シーンの特徴的変化」が同じかどうかを判断させたうえで同期用基準フレームを決定するようにしてもよい。
【００６３】
例えば、精度の高い画像認識装置を用いて対象物の体型、顔の輪郭等の特徴量を取得し、この特徴量に基づいて複数ストリームのコンテンツ間の「シーンの特徴的変化」が同じかどうかをチェックするようにしてもよい。
【００６４】
また、シーンの特徴的変化を示す物理的な量の値（例えば、音声の変化であれば、直前のフレームとの振幅変化（差分）を示す値、輝度の変化であれば、直前のフレームとの明度の変化（差分）を示す値）が、予め定められた閾値を越えているか否かで「シーンの特徴的変化」が同じかどうかをチェックし、そのうえで同期用基準フレームに決定するようにしてもよい。
【００６５】
次に、本発明の第２の実施の形態について、図３のブロック図を用いて説明する。
【００６６】
図３を見ると、第２の実施の形態では、複数の撮像装置１ａ、１ｂ、１ｃからなるストリーム配信側の撮像装置１は、識別情報挿入部２０６と、同期情報決定部２０５とを有する。さらに、ストリームの受信側には、検出部２０４と、同期情報生成部２０８（２０８ａ〜２０８ｃ）とを有する。その他構成部分については第１の実施の形態の構成と同じであるため、同じ構成部分については第１の実施の形態の場合と同一の符号番号を付し、詳細な説明を省略する。
【００６７】
同期情報決定部２０５は、映像コンテンツにシーンの特徴的変化を示す識別情報を挿入し、この挿入した識別情報に基づいて、同期用基準フレームを決定する。具体的には、同期情報決定部２０５は、識別情報挿入部２０６を有する。この識別情報挿入部２０６は、赤外線等の不可視光を複数の撮像装置１ａ〜１ｃのレンズに向けて同時に照射することで、シーンの特徴的変化を識別する。この不可視光の挿入は、撮像装置１ａ，１ｂ，１ｃの全てが同じ方向を向いている時におこなうことが望ましい。これにより、シーンの特徴的変化を識別するための識別情報が同一タイミングで各ストリームのコンテンツに挿入される。
【００６８】
上述した識別情報が各ストリームのコンテンツに挿入されることで、この識別情報によりもたらされるシーンの特徴的変化も、複数ストリームの映像コンテンツ間で共通するものとなる。従って、識別情報挿入部２０６による識別情報の挿入により、映像コンテンツ間で、シーンの特徴的変化が共通するフレーム（同期用基準フレーム）が、一意に決定づけられる。
【００６９】
尚、識別情報挿入部２０６の機能は、撮像装置とは独立したストリーム配信側にある別の装置に持たせるようにしてもよい。
【００７０】
検出部２０４は、映像コンテンツの映像からシーンの特徴的な変化を検出する。具体的には、識別情報挿入部２０６により挿入された識別情報によりもたらされる赤外線や超音波等によりシーンの特徴的変化を検出する。
【００７１】
同期情報生成部２０８は、検出部２０４で検出されたシーンの特徴的変化が見られるフレームのフレーム番号を取得する。このフレーム番号は、撮像装置１の同期情報決定部２０５で決定づけられた同期用基準フレームのフレーム番号となる。さらに、同期情報生成部２０８は、このフレーム番号をストリーム識別子と関連付けて、同期情報として再生制御部１０６に通知する。
【００７２】
次に、第２の実施の形態における動作について、図４のフローチャートを用いて説明する。尚、以下では、赤外線を各撮像装置のレンズに照射することで識別情報の挿入をおこなうものとする。
【００７３】
まず、撮像装置１ａ〜１ｃが同じ方向を向いているタイミングで、ストリーム配信側の識別情報挿入部２０６から、撮像装置１ａ〜１ｃに赤外線が照射される（ステップＴ１）。これにより、コンテンツにシーンの特徴的変化を示す識別情報が挿入される。
【００７４】
次に、このコンテンツに識別情報の挿入されたストリームＡ，Ｂ，Ｃを受信したストリーム同期再生装置１００では、受信部１０１、復号部１０３において、第１の実施の形態と同様にストリームデータの受信処理／復号処理が施される（ステップＴ２〜Ｔ３）。
【００７５】
さらに、検出部２０４によって、挿入された識別情報によるシーンの特徴的変化が検出される（ステップＴ４）。
【００７６】
続いて、同期情報生成部２０８によって、識別情報によってもたらされたシーンの特徴的変化が見られるフレーム番号が、各ストリームの映像コンテンツから取得される。すなわち、検出部２０４で検出されたシーンの特徴的変化が見られるフレームのフレーム番号が同期情報生成部２０８によって取得される（ステップＴ５）。さらに、この取得されたフレーム番号がストリーム識別子と関連付けられ、再生制御部１０６に送信される。
【００７７】
以降は、実施の形態１の場合と同様、再生制御部１０６において、この同期情報に基づいてストリームデータＡ，Ｂ，Ｃの同期を取った再生制御がなされ、ストリーム間での同期が取られる（ステップＴ６〜Ｔ７）。
【００７８】
上記第２の実施の形態では、シーンの特徴的変化を識別するための識別情報を各ストリームに意図的に挿入することで、複数のストリームの映像コンテンツ間で、シーンの特徴的変化が共通するフレーム（同期用基準フレーム）を確実に決定付けることができる。
【００７９】
上記では、識別情報を１回挿入する場合を例にとって説明したが、識別情報は定期的に複数回挿入してもよい。さらにこの場合、識別情報挿入部が識別情報を映像コンテンツに定期的に挿入する時間間隔をストリーム同期再生装置に通知しておくと好都合である。このように構成させた場合、ストリーム同期再生装置は、同期情報の生成処理を予め決められた時間にだけ行えばよいので、同期処理の負荷を低減させることができる為である。
【００８０】
尚、上記実施の形態では、赤外線を照射することでストリームのコンテンツに識別情報を挿入する場合を例にとったが、これに限ることはない。不可視光であれば、赤外線以外の光を照射して各ストリームに識別情報を挿入してもよい。また、超音波等の不可聴音により各ストリームに識別情報を挿入する形であってもよい。
【００８１】
さて、上記実施の形態では、人物・物体の変化、音声の変化、または輝度の変化のいずれかに基づいて、シーンの特徴的変化が見られるフレームを検出する場合を例にとって説明した。しかしながら、第３の実施の形態として、音声認識や画像認識といった複数の認識手段を同時に用いることで、シーンの特徴的変化の見られる候補フレームを同時に全て洗い出し、この洗い出した全候補フレームの中から同期用基準フレームを決定するようにしてもよい。
【００８２】
第３の実施の形態では、検出部１０４及び同期情報決定部１０５に替えて、検出部３０４と同期情報決定部３０５とを有する。
【００８３】
検出部３０４は、シーンの特徴的変化の検出に加え、フレームに含まれる物理量を取得する。ここで、フレームに含まれる物理量とは、例えば、フレームに含まれる音声の大きさ（振幅）の値、フレームを構成する画像の画素数の値、明るさを示す値、等である。検出部３０４は、この取得した物理量を参照し、検出されたシーンの特徴的な変化が、「人物の動きの変化」に基づくものなのか、「音声の変化」に基づくものなのか、「輝度の変化」に基づくものなのかをそれぞれ判断する。
【００８４】
同期情報決定部３０５は、「シーンの特徴的変化」と同じ「シーンの特徴的変化」の見られるフレームがコンテンツ間で共通して存在している場合に、同期用基準フレームとして決定する。その他の構成部分の機能については、上述した第１，２の実施の形態と同一であり、同一の構成部分においては同一の符号を付して、詳細な説明は省略する。
【００８５】
第３の実施の形態においては、検出部３０４により、図８に示されるように、「人物の動きの変化に基づいてシーンの特徴的変化が検出されたフレーム」と「音声の変化に基づいてシーンの特徴的変化が検出されたフレーム」と「輝度の変化に基づいてシーンの特徴的変化が検出されたフレーム」とがシーンの特徴的変化が見られるフレーム（候補フレーム）として混在する形で検出されることになる。
【００８６】
このとき、検出部３０４は、取得したフレームの物理量に基づいて、検出された候補フレームのシーンの特徴的な変化が、「人物の動きの変化」に基づくものなのか、「音声の変化」に基づくものなのか、「輝度の変化」に基づくものなのかを、それぞれ判断する。例えば、ストリームＡのフレーム５の物理量が１００ｄＢであった場合、同じ「シーンの特徴的変化」であれば、ストリームＢのフレーム７の物理量も、ストリームＣのフレーム８の物理量も、１００ｄＢに近似する値となる為、判断することができる。
【００８７】
次に、同期情報決定部３０５は、候補フレームで検出された「シーンの特徴的変化」と同じ「シーンの特徴的変化」の見られるフレームがコンテンツ間で共通して存在している場合に、同期用基準フレームとして決定する。
【００８８】
図８の例では、ストリームＡのフレーム５と、ストリームＢのフレーム７と、ストリームＣのフレーム８とが同期用基準フレームに決定される。
【００８９】
上記実施の形態では、シーンの特徴的変化の見られる候補フレームを同時に全て洗い出し、この洗い出した全候補フレームの中から同期用基準フレームを決定するよう構成させたので、シーンの特徴的変化の検出を異なる手法で個別に行うのに比べて、同期処理を効率化でき、処理時間の短縮化を図ることができる。
【００９０】
尚、上記実施の形態では、装置の各部をハードウェアで構成したが、各部の一部または全部をプログラムとして情報処理装置に機能させるようにすることもできる。
【図面の簡単な説明】
【００９１】
【図１】本発明における第１の実施形態の構成を示すブロック図
【図２】本発明における第１の実施形態の処理手順を示すフローチャート
【図３】本発明における第２の実施形態の構成を示すブロック図
【図４】本発明における第２の実施形態の処理手順を示すフローチャート
【図５】第１の実施の形態におけるストリームの構成例を示す図
【図６】同期情報の例を示す図
【図７】本発明における第３の実施形態の構成を示すブロック図
【図８】第３の実施の形態におけるストリームの構成例を示す図
【符号の説明】
【００９２】
１    撮像装置
２    同期情報挿入装置
１０    ネットワーク
１００    ストリーム同期再生装置
１０１    受信部
１０２    復号部
１０４    検出部
１０５    同期情報決定部
１０６    再生制御部
１０７    表示部
２０４    検出部
２０８    同期情報生成部
３０４    検出部
３０５    同期情報決定部
【図１】
2008199557.tif 000003
【図２】
2008199557.tif 000004
【図３】
2008199557.tif 000005
【図４】
2008199557.tif 000006
【図５】
2008199557.tif 000007
【図６】
2008199557.tif 000008
【図７】
2008199557.tif 000009
【図８】
2008199557.tif 000010