(57)【要約】【課題】複数の撮影装置のＡＶストリームについて撮影情報に基づいてどのＡＶストリームを優先するかの決定をおこなうストリーム中継装置を提供すること。【解決手段】本発明に係るストリーム中継装置は、ストリームを撮影した撮影装置の位置情報や撮影の方向を含む撮影情報を受信し、ストリームどうしの撮影範囲の重複を判定し、撮影範囲の重複の情報からどのストリームを優先ストリームとするかを判定する。【選択図】図１
2012204843.tif 000002
【特許請求の範囲】
【請求項１】
入力される複数のストリームのうち、優先的に送信するストリームを決定するストリーム中継装置であって、
前記ストリームを撮影した撮影装置から前記ストリームの撮影に関して、前記撮影装置の位置情報や撮影の方向を含む撮影情報を受信する、撮影情報受信手段と、
前記撮影情報受信手段から前記撮影情報を受け取り、前記ストリームどうしの撮影範囲の重複を判定する撮影範囲重複判定手段と、
前記撮影範囲重複判定手段から前記ストリームの撮影範囲の重複の情報から、どのストリームを優先ストリームとするかを判定する判定手段とを備える
ことを特徴とするストリーム中継装置。
【請求項２】
それぞれが映像及び音声を含む複数のストリームを受信するストリーム受信手段と、
前記ストリーム受信手段から複数のストリームを受信し、前記判定手段から優先するストリームの情報を受信して、優先するストリームと優先しないストリームを振り分ける映像送信振り分け手段と、
前記映像送信振り分け手段から優先するストリームを受信し、送信帯域が保証された通信網を通じて外部にストリームを送信するＣＢＲ送信手段と、
前記映像送信振り分け手段から優先しないストリームを受信、送信帯域がベストエフォートである通信網を通じて外部にストリームを送信するＶＢＲ送信手段とを備える
ことを特徴とする請求項１記載のストリーム中継装置。
【請求項３】
ストリームを視聴するクライアントから、どのストリームが好まれて視聴されているかの情報を受信する視聴情報受信手段と、
前記撮影範囲重複判定手段からストリームの撮影範囲の重複の情報を、視聴情報受信手段からどのストリームが好まれて視聴されているかの情報を受け取り、両方の情報からどのストリームを優先ストリームとするかを判定する判定手段とを備える
ことを特徴とする請求項１記載のストリーム中継装置。
【請求項４】
入力される複数のストリームのうち、優先的に送信するストリームを決定するストリーム中継用集積回路であって、
前記ストリームを撮影した撮影装置から前記ストリームの撮影に関して、前記撮影装置の位置情報や撮影の方向を含む撮影情報を受信する、撮影情報受信手段と、
前記撮影情報受信手段から前記撮影情報を受け取り、前記ストリームどうしの撮影範囲の重複を判定する撮影範囲重複判定手段と、
前記撮影範囲重複判定手段から前記ストリームの撮影範囲の重複の情報から、どのストリームを優先ストリームとするかを判定する判定手段とを備える
ことを特徴とするストリーム中継用集積回路。
【請求項５】
入力される複数のストリームのうち、優先的に送信するストリームを決定するストリーム中継方法であって、
前記ストリームを撮影した撮影装置から前記ストリームの撮影に関して、前記撮影装置の位置情報や撮影の方向を含む撮影情報を受信する、撮影情報受信ステップと、
前記撮影情報受信ステップから前記撮影情報を受け取り、前記ストリームどうしの撮影範囲の重複を判定する撮影範囲重複判定ステップと、
前記撮影範囲重複判定ステップから前記ストリームの撮影範囲の重複の情報から、どのストリームを優先ストリームとするかを判定する判定ステップとを備える
ことを特徴とするストリーム中継方法。
【請求項６】
入力される複数のストリームのうち、優先的に送信するストリームを決定するストリーム中継プログラムであって、
前記ストリームを撮影した撮影装置から前記ストリームの撮影に関して、前記撮影装置の位置情報や撮影の方向を含む撮影情報を受信する、撮影情報受信ステップと、
前記撮影情報受信ステップから前記撮影情報を受け取り、前記ストリームどうしの撮影範囲の重複を判定する撮影範囲重複判定ステップと、
前記撮影範囲重複判定ステップから前記ストリームの撮影範囲の重複の情報から、どのストリームを優先ストリームとするかを判定する判定ステップとを備える
ことを特徴とするストリーム中継プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
発明は、複数のＡＶ（オーディオ・ビデオ）ストリームを受信し、１つ以上のＡＶストリームを転送して中継する技術に関する。
【背景技術】
【０００２】
近年、無線ネットワークに接続可能デジタルビデオカメラや携帯電話機、スマートフォン、タブレット端末等、ＡＶストリームのネットワーク送信が可能な撮影装置が普及してきている。用途として例えば、野球やサッカー等のスポーツイベントにおいて、各人がその様子をそれぞれの撮影装置で撮影し、ネットワーク経由でｕｓｔｒｅａｍ（ｈｔｔｐ：／／ｗｗｗ．ｕｓｔｒｅａｍ．ｃｏｍ／）といったストリーム配信サーバにＡＶストリームを送信して、ネットワークの先の複数のストリーム視聴クライアントでＡＶストリームを視聴するといったことがおこなわれている。
【０００３】
ここで、ＡＶストリームは、映像ストリームと音声ストリームとから構成され、映像ストリームは、所定時間（例えば１／３０ｓ）毎に生成された複数の映像フレームを含んで構成されるものである。
【０００４】
撮影装置内でＡＶストリームはネットワーク送信するためにＨ．２６４といった方式で符号化され、情報量が圧縮された状態で送信される。近年の撮影装置は高解像度化が進み高画質化が進む一方で、ＡＶストリームの情報量が増え、そのビットレートが数Ｍｂｐｓ〜２０Ｍｂｐｓといった高ビットレートになってきている。
【０００５】
また、撮影装置はＧＰＳといったセンサーで位置特定ができ、電子コンパスや加速度センサー、ジャイロセンサー等で、三次元空間で機器の向きを特定できる。これらの装置の組み合わせで、撮影装置はどの位置で、どの方向を撮影しているかを特定することができる。
【０００６】
ここで、無線ネットワークはたとえば第三世代携帯電話通信方式であるＷ−ＣＤＭＡを用いた広域通信網や、ＩＥＥＥ８０２．１１で規定される無線ＬＡＮ方式を用いた小規模通信網である。一般に、前者の広域通信網では１つの基地局にアクセスできる無線局の範囲が広い（数ｋｍ）一方、後者の小規模通信網に比べると通信速度が遅い（実質最高数Ｍｂｐｓ）。後者の小規模通信網では、１つの基地局にアクセスできる無線局の範囲が狭い（数十ｍ〜数百ｍ）一方、通信速度が速い（実質数十〜数百Ｍｂｐｓ）。
【０００７】
仮に、多数の撮影装置が広域通信網を用いて、１つのスポーツをイベントに対して撮影をおこない、高ビットレートのＡＶストリームをストリーム配信サーバに一斉に送信した場合、広域通信網が持つ通信帯域をオーバーしてしまう。このように通信帯域をオーバーした場合、通信データの一部が欠損し、ＡＶストリーム中の画像フレームの一部が失われたり、音声の一部が失われたりし、視聴している側としては画質や音質が低下する。
【０００８】
この問題に対し、イベント会場内では通信帯域を大きく確保できる無線ＬＡＮを用いた小規模通信をおこない、撮影装置から受信したＡＶストリームをストリーム配信サーバに広域通信網を用いて再送信する中継装置を用意する方法が考えられる（図２）。中継装置は、ストリーム配信サーバに送るＡＶストリームを選別したり、再符号化によりストリームの情報量を削減したりすることにより、限られた広域通信網を用いて画像フレームや音声の欠損といったストリームの品質低下を回避する。
【０００９】
このような方法においては、撮影者が手に持って自由に動く撮影装置と違い、中継装置は固定的に配置することが可能なため、広域通信網として無線ではなく、光ファイバーや銅線といった有線ネットワークを用いてストリーム配信サーバにストリームを送信することが有効である。しかし、光ファイバーを使った通信でもたとえば１００Ｍｂｐｓといった通信帯域しか持たず、高解像度のＡＶストリームが１本２０Ｍｂｐｓだった場合、高々４〜５本のＡＶストリームしか送信できない。したがって、高解像度のカメラが多数AVストリームの送信した場合、前記と同じく中継装置はストリーム配信サーバに送信するAVストリームの選別や再符号化による低ビットレート化を施さなければならない。
【００１０】
ストリーム配信サーバに送信するAVストリームの選別や再符号化による低ビットレート化をおこなうための方法として、AVストリームをグループ化して、同じグループに属する一部のAVストリームを低ビットレート化する技術が知られている（例えば、特許文献１）。特許文献１では、ズーム映像と広角映像を撮影する撮影装置が同一グループにあるとき、一方の撮影装置から送信されるAVストリームを低ビットレート化する方法について開示されている。
【００１１】
これにより、重複した近傍の画角で撮影する撮影装置群について、いずれかのAVストリームを高解像度で送る、または選ばれたストリーム以外のものを送らないことで、限られたストリーム配信サーバへの通信帯域を有効活用することができる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００７−３２５１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、特許文献１では、さまざまに撮影される撮影装置の画角が、撮影装置が自由に動き回ることによって変わることを考慮していない。これは特に、スポーツイベントの観客が自由に自分のカメラを撮影装置とする場合に対応できない。観客は自由に動き回るし、どの方向を撮るかも事前に予測することはできない。したがってあらかじめどのようなグループ分けをしておくかを決めておくことはできない。これでは画角を考慮した送信ＡＶストリームの選別や、選別した以外のＡＶストリームの圧縮を有効におこなうことができない。
【００１４】
そこで、本発明は係る問題に鑑みてなされたものであり、撮影装置からAVストリームとともに撮影位置や撮影方向の情報を同時に得ることで、どのような場所が撮影されているかを判断することで、送信AVストリームの選別が可能なストリーム中継装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明に係るストリーム中継装置は、入力される複数のストリームのうち、優先的に送信するストリームを決定するストリーム中継装置であって、前記ストリームを撮影した撮影装置から前記ストリームの撮影に関して、前記撮影装置の位置情報や撮影の方向を含む撮影情報を受信する、撮影情報受信手段と、前記撮影情報受信手段から前記撮影情報を受け取り、前記ストリームどうしの撮影範囲の重複を判定する撮影範囲重複判定手段と、前記撮影範囲重複判定手段から前記ストリームの撮影範囲の重複の情報から、どのストリームを優先ストリームとするかを判定する判定手段とを備えることを特徴とする。
【発明の効果】
【００１６】
上記構成を備える本発明に係るストリーム中継装置は、ストリームの撮影位置や撮影方向を考慮することによって、視聴者にとって重要となるストリームが優先されて送信されることを実現し、結果高品質なストリーミングを実現することができる。
【００１７】
また、それぞれが映像及び音声を含む複数のストリームを受信するストリーム受信手段と、前記ストリーム受信手段から複数のストリームを受信し、前記判定手段から優先するストリームの情報を受信して、優先するストリームと優先しないストリームを振り分ける映像送信振り分け手段と、前記映像送信振り分け手段から優先するストリームを受信し、送信帯域が保証された通信網を通じて外部にストリームを送信するＣＢＲ送信手段と、前記映像送信振り分け手段から優先しないストリームを受信、総身体行き場ベストエフォートである通信網を通じて外部にストリームを送信するＶＢＲ送信手段とを備えることとしてもよい。
【００１８】
これにより、本発明に係るストリーム中継装置は、優先したストリームを帯域保証された通信網を用いて送信し、それ以外のストリームを帯域がベストエフォートの通信網を用いて送信することで、優先されたストリームの伝送を確実におこなうことができ、高品質のストリーミングをおこなうことができる。
【００１９】
また、ストリームを視聴するクライアントから、どのストリームが好まれて視聴されているかの情報を受信する視聴情報受信手段と、前記撮影範囲重複判定手段からストリームの撮影範囲の重複の情報を、視聴情報受信手段からどのストリームが好まれて視聴されているかの情報を受け取り、両方の情報からどのストリームを優先ストリームとするかを判定する判定手段とを備えることとしてもよい。
【００２０】
これにより、本発明に係るストリーム中継装置は、視聴者が好んで視聴しているストリームを優先的に送信することができるため、視聴者にとってより高品質なストリーミングを提供することができる。
【００２１】
また、上述の構成を備えることにより、本発明に係るストリーム中継用集積回路は、入力される複数のストリームのうち、優先的に送信するストリームを決定するストリーム中継用集積回路であって、前記ストリームを撮影した撮影装置から前記ストリームの撮影に関して、前記撮影装置の位置情報や撮影の方向を含む撮影情報を受信する、撮影情報受信手段と、前記撮影情報受信手段から前記撮影情報を受け取り、前記ストリームどうしの撮影範囲の重複を判定する撮影範囲重複判定手段と、前記撮影範囲重複判定手段から前記ストリームの撮影範囲の重複の情報から、どのストリームを優先ストリームとするかを判定する判定手段とを備えることを特徴とする。
【００２２】
これにより、本発明に係るストリーム中継用集積回路はストリームの撮影位置や撮影方向を考慮することによって、視聴者にとって重要となるストリームが優先されて送信されることを実現し、結果高品質なストリーミングを実現することができる。
【図面の簡単な説明】
【００２３】
【図１】実施の形態１に係るストリーム中継装置１００１を含むストリーム配信システムの構成図である。
【図２】中継装置を用いて、撮影装置からのAVストリームを小規模通信にて受信し、ストリーム配信サーバに送信するシステムの概要図
【図３】撮影情報Ｔ３００１をあらわすテーブルの例を示した図
【図４】撮影範囲重複管理テーブルＴ４００１をあらわすテーブルの例を示した図
【図５】視聴情報管理テーブルＴ５００１をあらわすテーブルの例を示した図
【図６】送信優先度判定テーブルＴ６００１をあらわすテーブルの例を示した図
【図７】判定部１１０４において送信優先度判定テーブルＴ６００１を作る方法についてのフローチャート図
【図８】判定部１１０４において優先するストリームを決定する方法についてのフローチャート図
【発明を実施するための形態】
【００２４】
以下、本発明に係るストリーム中継装置の一実施形態を、図面を参照しながら説明する。
（実施の形態１）
図１は、実施の形態１に係るストリーム中継装置１００１を含むストリーム配信システムの構成図である。
【００２５】
同図に示すように、ストリーム配信システムは、ストリーム中継装置１００１の他、１つ以上の撮影装置１００２、１つ以上の視聴クライアント１００３、ストリーム配信サーバ１００４を含んで構成される。
【００２６】
撮影装置１００２は各撮影装置で撮影した映像を例えばＨ．２６４／ＭＰＥＧ−４ＡＶＣ規格に準拠した方式で符号化し、ネットワークプロトコルＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）を用いて、無線ＬＡＮ方式ＩＥＥＥ  ８０２．１１ｎを用いてストリーム中継装置１００１に送信する。あわせて撮影装置１００２は、撮影位置（経度・緯度）、撮影方向（方角、仰俯角）、撮影好適距離、撮影画角、撮影ビットレートからなる撮影情報Ｔ３００１をストリーム中継装置１００１に送信する。撮影情報Ｔ３００１については、映像を送信するＲＴＰパケット内の拡張ヘッダに格納してもよいし、たとえばＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）を用いて、映像とは別のプロトコルでストリーム中継装置１００１に送信してもよい。あわせて撮影装置１００２は送信する撮影ＩＤをストリーム中継装置１００１に送信する。撮影ＩＤの送信方法は、撮影情報Ｔ３００１と同様である。
【００２７】
撮影情報Ｔ３００１がどのように表現されるかについての一例を図３に示す。撮影情報Ｔ３００１は例えばテーブルで表現され、撮影位置Ｄ３００２（経度・緯度）、撮影方向Ｄ３００３（方角、仰俯角）、撮影好適距離Ｄ３００４、撮影画角Ｄ３００５、ビットレートＤ３００６をあらわす数値群からなるデータである。
【００２８】
撮影位置Ｄ３００２は例えば経度と緯度と標高をあらわす浮動小数点数値の組からなる。
撮影方向Ｄ３００３は例えば、０≦ｄ＜３６０からなる浮動小数点ｄと、−９０≦ｅ≦９０からなる浮動小数点ｅの組からなる。ｄは方角をあらわし、たとえば真北の場合は０、真東の場合は９０、真南の場合１８０、真西の場合２７０となり、その間の向きではそれぞれの角度に比例した値となる。ｅは仰俯角をあらわし、例えば真上の場合は９０、水平の場合は０、真下の場合は−９０となり、その間の向きではそれぞれの角度に比例した値となる。
【００２９】
撮影好適距離Ｄ３００４は、その撮影装置が現在動作している焦点距離に応じて、カメラからどの距離がもっとも撮影対象が好ましく映っているかをあらわすものである。撮影好適距離Ｄ３００４は２つの浮動小数点数値からなり、それぞれ撮影好適最小距離と撮影好適最大距離である。例えば撮影好適最小距離が２．３４で、撮影好適最大距離が１０．２２である場合、カメラの位置から２．２２メートルから１０．２２メートルの範囲に映っているものが、好ましい状態で映っていることを示す。
【００３０】
撮影画角Ｄ３００５は、その撮影装置が現在撮影している範囲に関して、カメラを中心として撮影方向に対してどの角度までが映るかを表すものである。撮影画角Ｄ３００５は０≦ａ≦９０となる浮動小数点数値ａとなり、撮影方向に対して３０どの角度まで撮影できるときに３０、８０度の角度まで撮影できるときに８０となり、その間の角度ではそれぞれの角度に比例した値となる。
【００３１】
ビットレートＤ３００６は、その撮影装置が送信したＡＶストリームのビットレートを示す浮動小数点数値である。例えば単位をＭｂｐｓとして、１７．０５と記述されていたときは、ＡＶストリームのビットレートが１７．０５Ｍｂｐｓであることを示す。
【００３２】
ストリーム配信サーバ１００３は、ストリーム中継装置１００１から１つ以上のＡＶストリームと、そのＡＶストリームがどの撮影装置で撮影されたかを示す撮影ＩＤを受信する。ＡＶストリームや撮影ＩＤはＲＴＰやＨＴＴＰといったネットワークプロトコルやその組み合わせを用いて、たとえば光ファイバー上のＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）で伝送される。ストリーム配信サーバはたとえばＰＣサーバやビデオエンコーダで実現され、必要に応じて符号化変換が行われた後、視聴クライアント１００３にＡＶストリームと撮影ＩＤをコピーして配信する。
【００３３】
視聴クライアント１００４は、ストリーム配信サーバ１００３から１つ以上のＡＶストリームと対応する撮影ＩＤを受信する。ＡＶストリームや撮影ＩＤはＲＴＰやＨＴＴＰといったネットワークプロトコルやその組み合わせを用いて、たとえば光ファイバー上のＩＰで伝送される。視聴クライアントはたとえばＰＣはビデオデコーダにより実現され、ＡＶストリームを復号化して視聴者に提示する。視聴クライアント１００４は現在視聴者に提示している１ついじょうのＡＶストリームに関して、提示媒体上でどの撮影ＩＤのＡＶストリームに視聴者が注目しているかの視聴情報を撮影ＩＤをストリーム中継装置１００１に伝える。例えば液晶ディスプレイ上でマルチウインドウシステムおいて、一番手前に配置しているウィンドウで提示されているＡＶストリームの撮影ＩＤに対しては１０、それ以外に対しては１とする。他の例としては、１画面上にタイル上に複数のＡＶストリームを提示する際、一番大きな面積を持っているものを１０、それ以外を１とする。ＡＶストリームの撮影ＩＤをストリーム中継装置１００１に伝える方法としては、たとえばＨＴＴＰと光ファイバー上のＩＰが用いられる。
【００３４】
以下にストリーム中継装置１００１を構成する各部について述べる。
撮影情報受信部１１０１は、１つ以上の撮影装置１００２から、撮影情報Ｔ３００１と撮影ＩＤを受信する。撮影情報受信部１１０１は例えば、汎用ＣＰＵ上のプログラムとＳＤＲＡＭメモリ上の作業領域と無線ＬＡＮネットワークインタフェースの組み合わせや、専用の集積回路で実現される。撮影情報受信部１１０１は撮影情報Ｔ３００１と撮影ＩＤを撮影範囲重複判定部１１０２へ内部バスやネットワークを通じて送信する。
【００３５】
撮影範囲重複判定部１１０２は、撮影情報受信部１１０１から、撮影情報Ｔ３００１と撮影ＩＤを受信する。撮影範囲重複判定部１１０２は汎用ＣＰＵ上のプログラムとＳＤＲＡＭメモリ上の作業領域の組み合わせや、専用の集積回路で実現される。撮影範囲重複判定部１１０２は受信した撮影情報Ｔ３００１と撮影ＩＤから、撮影範囲重複管理テーブルＴ４００１を作成する。撮影重複判定部１１０２は、複数の撮影情報Ｔ３００１と撮影ＩＤの組を受信すると、それぞれの撮影情報Ｔ３００１を比較して、３次元空間上で撮影範囲が重複しているかを判定し、各々の撮影ＩＤに対して撮影範囲が重複している１つ以上の撮影ＩＤの列を重複撮影ＩＤとしてテーブルに記録する。撮影範囲重複判定部１１０２は作成した撮影範囲重複管理テーブルＴ４００１を判定部１１０４に送信する。撮影範囲重複判定部１１０２は撮影情報受信部１１０１から撮影情報Ｔ３００１と撮影ＩＤが伝えられるたびに撮影範囲重複管理テーブルＴ４００１を更新し、さらに更新されたことを判定部１１０４に伝える。
【００３６】
図４に撮影範囲重複管理テーブルＴ４００１の例を示す。Ｄ４００２は撮影ＩＤを示す列であり、Ｄ４００３はその撮影ＩＤに対応する重複撮影ＩＤの組を示す列である。図４の例においては、撮影ＩＤ１，２，３に関して撮影範囲が重複しおり、撮影ＩＤ４，５に関して他の撮影ＩＤと撮影範囲が重複していないことを示している。
【００３７】
撮影範囲重複判定部１１０２における撮影範囲の重複判定の詳細について以下に述べる。
撮影範囲重複判定部は各々のＡＶストリームの撮影情報Ｔ３００１から、まず平面方向の撮影領域を計算する。平面方向に関して、撮影位置Ｄ３００２の経度と緯度を平面上の円の中心とし、撮影好適距離Ｄ３００４の撮影好適最大距離を半径とした円を想定する。この円において、中心から撮影方向Ｄ３００３の方角をその角度の中心とし、撮影画角Ｄ３００５をその中心角とする扇形領域ＣＳ１とする。同様に同じく撮影位置Ｄ３００２の経度と緯度を平面上の円の中心とし、撮影好適距離Ｄ３００４の撮影好適最小距離を半径とした円を想定する。この円において、中心から撮影方向Ｄ３００３の方角をその角度の中心とし、撮影画角Ｄ３００５をその中心角とする扇形領域ＣＳ２とする。撮影範囲は、扇形領域ＣＳ１から扇形領域ＣＳ２を除いたものとなる。
【００３８】
水平面に対し垂直に交わる面についても同様に考えると、撮影位置Ｄ３００２の経度と標高を水平面に対し垂直に交わる面上の円の中心とし、撮影好適距離Ｄ３００４の撮影好適最大距離を半径とした円を想定する。この円において、中心から撮影方向Ｄ３００３の仰俯角をその角度の中心とし、撮影画角Ｄ３００５をその中心角とする扇形領域ＣＳ３とする。同様に同じく撮影位置Ｄ３００２の経度と標高を平面上の円の中心とし、撮影好適距離Ｄ３００４の撮影好適最小距離を半径とした円を想定する。この円において、中心から撮影方向Ｄ３００３の仰俯角をその角度の中心とし、撮影画角Ｄ３００５をその中心角とする扇形領域ＣＳ４とする。撮影範囲は、扇形領域ＣＳ３から扇形領域ＣＳ４を除いたものとなる。
【００３９】
撮影範囲重複判定部１１０２は２つのＡＶストリームに関して上記の水平面の撮影範囲と水平面に垂直な面の撮影範囲とを比較し、その両方で重複がある場合、２つのＡＶストリームの撮影範囲が重複していると判定する。
【００４０】
視聴情報受信部１１０３は、視聴クライアント１００４から視聴者が好んで視聴している撮影ＩＤを受信する。視聴情報受信部１１０３は汎用ＣＰＵ上のプログラムとＳＤＲＡＭメモリ上の作業領域の組み合わせや、専用の集積回路で実現される。視聴情報受信部１１０３は視聴クライアント１００４から現在好んで視聴している撮影ＩＤを受信していると、各々の撮影ＩＤに関してカウントし、撮影ＩＤに対する人気度を管理する視聴情報管理テーブルＴ５００１を作成する。視聴情報受信部１１０３は作成した視聴情報管理テーブルＴ５００１を判定部１１０４に送信する。視聴情報受信部１１０３は視聴クライアント１００４からの視聴数が変わるたびに視聴情報管理テーブルＴ５００１を更新し、さらに更新されたことを判定部１１０４に伝える。
【００４１】
図５に視聴情報管理テーブルＴ５００１の例を示す。Ｔ５００２は撮影ＩＤを示す列であり、Ｔ５００３はその撮影ＩＤに対応する重複撮影ＩＤの組を示す列である。図５の例では撮影ＩＤ１と２が残りの撮影ＩＤに比べて、より多くの視聴者に好んで視聴されていることを示している。
【００４２】
判定部１１０４は、撮影範囲重複判定部１１０２から撮影範囲重複管理テーブルＴ４００１を、視聴情報受信部１１０３から視聴情報管理テーブルＴ５００１を受け取る。判定部１１０４はＣＢＲ送信部１１０７で送信できる通信帯域を事前に知っている。判定部１１０４は汎用ＣＰＵ上のプログラムとＳＤＲＡＭメモリ上の作業領域の組み合わせや、専用の集積回路で実現される。判定部１１０４は撮影範囲重複管理テーブルＴ４００１と視聴情報管理テーブルＴ５００１から、どの撮影ＩＤのＡＶストリームを優先して送信するかを決定する。どの撮影ＩＤのＡＶストリームを優先するかの結果を映像送信振り分け部１１０５に内部バスやネットワークを通じて伝える。
【００４３】
判定部１１０４がどのように、どの撮影ＩＤのＡＶストリームを優先して送信するかを決定する方法の例について、以下に述べる。まず判定部１１０４は判定に必要な中間データとして送信優先度判定テーブルＴ６００１を作成する。図６に送信優先度判定テーブルＴ６００１の例を示す。送信優先度判定テーブルＴ６００１を作る方法についてフローチャートを図７に示す。Ｓ７００１において、判定部はまず、撮影範囲重複管理テーブルＴ４００１または視聴情報管理テーブルＴ５００１が更新されたら受け取る。Ｓ７００２において、撮影範囲重複管理テーブルと視聴情報管理テーブルに対して、一般的なリレーショナルデータベース操作の１つであるＪＯＩＮをおこなう。ＪＯＩＮをおこなう際のキーフィールドは撮影ＩＤである。Ｓ７００３において、Ｓ７００２でＪＯＩＮした結果のテーブルを、人気度が大きい順にソートする。Ｓ７００３の結果により得られるテーブルが、送信優先度判定テーブルＴ６００１である。
【００４４】
続いて、判定部１１０４が送信優先度判定テーブルＴ６００１を用いてどのように、どの撮影ＩＤのＡＶストリームを優先して送信するかを決定する方法の例について、図８を用いて以下に述べる。Ｓ８００１において、初期設定として注目レコードを１列目（一番先頭）とし、残り通信帯域をＣＢＲ送信部の通信帯域とし、「裏優先レコード」を空とする。Ｓ８００２において注目レコードの重複撮影ＩＤに含まれない撮影ＩＤを、注目レコードから次のレコード方向（人気度の高いものから低いものへの方向）に対して検索する。Ｓ８００３において、Ｓ８００２において検索した結果該当するものがあるかどうかを判定する。Ｓ８００３において、なかった場合、注目レコードを次のレコードにし、Ｓ８００２に戻る。Ｓ８００５において、Ｓ８００２における検索で見つかったものを「裏優先レコード」とする。Ｓ８００６において、「注目レコード」と「裏優先レコード」のビットレートの和は残り通信帯域以下か、を判定する。Ｓ８００６の結果としてＮＯであった場合、Ｓ８００７において「裏優先レコード」を空とし、注目レコードを次のレコードにする。Ｓ８００６の結果としてＹＥＳであった場合、Ｓ８００８において残り通信帯域から、  「注目レコード」と「裏優先レコード」のビットレートの和を減算する。Ｓ８００９において、注目レコードの撮影ＩＤを優先ＩＤに含め、注目レコードを次のレコードにする。Ｓ８０１０において、「注目レコード」のビットレートは残り通信帯域以下か、を判定する。Ｓ８０１０がＹＥＳの場合、Ｓ８０１１において残り通信帯域から、  「注目レコード」のビットレートを減算し、Ｓ８００９に戻る。Ｓ８０１０がＮＯの場合、処理を終了する。
【００４５】
以上の方法の結果、判定部１１０４は、優先ＩＤに含まれる撮影ＩＤと裏優先レコードに含まれる撮影ＩＤを、優先するＡＶストリームＩＤとして映像送信振り分け部１１０５に伝える。
【００４６】
ストリーム受信部１１０６は１つ以上の撮影装置１００２から、ＡＶストリームと撮影ＩＤの組を受信する。撮影情報受信部１１０１は例えば、汎用ＣＰＵ上のプログラムとＳＤＲＡＭメモリ上の作業領域と無線ＬＡＮネットワークインタフェースの組み合わせや、専用の集積回路で実現される。ストリーム受信部１１０６は、ＡＶストリームと撮影ＩＤの組を映像送信振り分け部１１０５へ内部バスやネットワークを通じて送信する。
【００４７】
映像送信振り分け部１１０５はストリーム受信部１１０６から１つ以上のＡＶストリームと撮影ＩＤの組を受信する。映像送信振り分け部１１０５は、判定部１１０４から送信を優先する撮影ＩＤの集合（優先撮影ＩＤ集合）を受け取る。映像送信振り分け部１１０５は汎用ＣＰＵ上のプログラムとＳＤＲＡＭメモリ上の作業領域の組み合わせや、専用の集積回路で実現される。映像送信振り分け部１１０５は判定部１１０４から受け取った最新の優先撮影ＩＤの内容に基づいて、ストリーム受信部１１０６から入力したＡＶストリームをＣＢＲ送信部１１０７とＶＢＲ送信部１１０８に振り分けて送信する。入力した各々のＡＶストリームに対して、該当する撮影ＩＤが判定部１１０４から受け取った最新の優先撮影ＩＤ集合に含まれる場合は、そのＡＶストリームをＣＢＲ送信部１１０７に送る。それ以外のＡＶストリームはＶＢＲ送信部１１０８に送る。ＣＢＲ送信部１１０７とＶＢＲ送信部１１０８への送信は、内部バスやネットワークを用いる。
【００４８】
ＣＢＲ送信部１１０７は、映像送信振り分け部１１０５から１つ以上のＡＶストリームと撮影ＩＤの組を受信するし、そのままストリーム配信サーバ１００３へ送信する。ＣＢＲ送信部１１０７は汎用ＣＰＵ上のプログラムとＳＤＲＡＭメモリ上の作業領域と無線ＬＡＮネットワークインタフェースの組み合わせや、専用の集積回路で実現される。ＣＢＲ送信部１１０７からストリーム配信サーバ１００３への送信は、通信帯域が一定以上に常に保証されたネットワークを用いる。この保証された通信帯域幅は、事前に判定部１１０４に知らせておく。
【００４９】
ＶＢＲ送信部１１０８は、映像送信振り分け部１１０５から１つ以上のＡＶストリームと撮影ＩＤの組を受信するし、ストリーム配信サーバ１００３へ送信する。ＶＢＲ送信部１１０８は汎用ＣＰＵ上のプログラムとＳＤＲＡＭメモリ上の作業領域と無線ＬＡＮネットワークインタフェースの組み合わせや、専用の集積回路で実現される。ＶＢＲ送信部１１０８からストリーム配信サーバ１００３への送信は、通信帯域がベストエフォートでしか保証されないネットワークを用いる。ＶＢＲ送信部１１０８は入力したＡＶストリームのビットレートの総計がネットワークの通信帯域を超えた場合、映像フレームをスキップさせたり、パケットを欠落させたり、再符号化による低ビットレート化を実施する。
【００５０】
以上、本発明に係るストリーム中継装置について、実施の形態に基づいて説明したが、以下のように変形することも可能であり、本発明は上述した各実施の形態に示した通りのストリーム中継装置に限られないことは勿論である。
【００５１】
（１）実施の形態に係る撮影装置の機能をストリーム中継装置に組み込んで利用してもよい。
（２）実施の形態において説明したストリーム中継装置は、その構成要素の全部又は一部を、１チップ又は複数チップの集積回路で実現してもよいし、コンピュータのプログラムで実現してもよいし、その他どのような形態で実施してもよい。
【００５２】
集積回路で実現する場合、典型的には、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００５３】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路、又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００５４】
さらには、半導体技術の進歩、又は派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。
【００５５】
またコンピュータプログラムで実現する場合、メモリカード、ＣＤ−ＲＯＭなどいかなる記録媒体に書き込まれたものをコンピュータに読み込ませて実行させる形にしてもよいし、ネットワークを経由してプログラムをダウンロードして実行させる形にしてもよい。
【産業上の利用可能性】
【００５６】
本発明に係るストリーム装置は、複数の撮影装置のＡＶストリームについて撮影情報に基づいてどのＡＶストリームを優先するかの決定をおこなう際に利用される。
【符号の説明】
【００５７】
ストリーム中継装置    １００１
撮影装置              １００２
ストリーム配信サーバ  １００３
視聴クライアント      １００４
撮影情報受信部        １１０１
撮影範囲重複判定部    １１０２
視聴情報受信部        １１０３
判定部                １１０４
映像送信振り分け部    １１０５
ストリーム受信部      １１０６
ＣＢＲ送信部          １１０７
ＶＢＲ送信部          １１０８
【図１】
2012204843.tif 000003
【図２】
2012204843.tif 000004
【図３】
2012204843.tif 000005
【図４】
2012204843.tif 000006
【図５】
2012204843.tif 000007
【図６】
2012204843.tif 000008
【図７】
2012204843.tif 000009
【図８】
2012204843.tif 000010