(57)【要約】ビデオシェアリング（共有）が説明されている。一実施形態では、携帯電話のようなモバイルビデオキャプチャデバイスは同一イベントのビデオストリームをキャプチャする。ビデオシェアリングシステムはビデオストリームに関するコンテキスト情報を取得し、その情報を使用してそのストリームからビデオ出力を形成する。その出力は他のエンティティによるシェアリング（共有）のためである。例えば、形成されたビデオは、入力ビデオストリームの個々のストリームに比べて、強化された視聴経験を提供する。いくつかの実施形態では、コンテキスト情報はビデオストリームのコンテンツ分析から得られることも、記憶されたコンテキスト情報から得られることも、デバイス特性のような制御情報から得られることもある。一部の実施形態では、ライブイベントのビデオストリームが受信され、その出力ビデオがリアルタイムで形成される。いくつかの例では、フィードバックがビデオキャプチャデバイスに提供されて、ズーム、ビューイングポジションまたは他の特性が調整されること示唆するか、またはそれを自動的に達成する。
2012518948.tif 000002
【特許請求の範囲】
【請求項１】
複数のビデオキャプチャデバイス（１０２）を含む通信ネットワーク（１００）内のノード（１０１）におけるビデオシェアリング（共有）のコンピュータ実装方法であって、
同一イベントの複数のビデオストリームを受信することであって、前記複数のビデオストリームの各々は前記複数のビデオキャプチャデバイスのうちの異なるビデオキャプチャデバイスから発生したものであること（２００）、
前記ビデオストリームに関するコンテキスト情報を取得すること（２０２）、
前記通信ネットワーク内の他のエンティティによるシェアリングのためのビデオストリーム出力を提供することであって、前記ビデオストリーム出力は前記コンテキスト情報を基に前記受信したビデオストリームから形成されること（２０６）
を含むことを特徴とする方法。
【請求項２】
前記コンテキスト情報を取得することは、前記ビデオストリームのビデオコンテンツを分析することを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記ビデオストリーム出力は、前記ビデオストリームの１つだけからのイベントのビューに比べてイベントの向上したビューを提供するために形成されることを特徴とする請求項１または請求項２に記載の方法。
【請求項４】
前記ビデオストリームはライブイベントのものであり、リアルタイムで実行されることを特徴とする請求項１乃至３のいずれかに記載の方法。
【請求項５】
前記コンテキスト情報を基に制御情報を前記ビデオキャプチャデバイスに送信することをさらに含むことを特徴とする請求項１に記載の方法。
【請求項６】
前記コンテキスト情報を基にユーザフィードバックを前記ビデオキャプチャデバイスに送信すること（２０５）をさらに含むことを特徴とする請求項１乃至５のいずれかに記載の方法。
【請求項７】
前記ビデオコンテンツを分析するプロセスは、前記ビデオキャプチャデバイスの各々のビューイングアングルに関係するパラメータを判断することをさらに含むことを特徴とする請求項２に記載の方法。
【請求項８】
前記ビデオコンテンツを分析するプロセスは、前記ビデオコンテンツの品質を評価することも含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記ビデオストリーム出力を提供することは、前記ビデオストリームの２つまたはそれ以上の少なくとも一部を１つにまとめる（スティッチ）ことを含むことを特徴とする請求項１乃至８のいずれかに記載の方法。
【請求項１０】
少なくとも１つのオーディオストリームが各ビデオストリームと関連する複数のオーディオストリームを受信すること（３０７）、
前記受信したオーディオストリームから形成されたオーディオストリーム出力を提供すること
をさらに含むことを特徴とする請求項１乃至９のいずれかに記載の方法。
【請求項１１】
各ビデオストリームに対するチャネルＩＤを受信することをさらに含み、同一イベントの前記各ビデオストリームは同一チャネルＩＤを持っていることを特徴とする請求項１乃至１０のいずれかに記載の方法。
【請求項１２】
複数のモバイルビデオキャプチャデバイス（１０２）を含む通信ネットワーク（１００）内のノード（１０１）におけるビデオシェアリングのコンピュータ実装方法であって、
複数のビデオストリームを受信することであって、前記ビデオストリームの各々は前記複数のビデオキャプチャデバイスのうちの異なるビデオキャプチャデバイスから発生したものであること（２００）、
前記ビデオストリームの少なくとも２つを、前記ビデオストリームの各々について受信したチャネル情報を使用して同一イベントをキャプチャするものとして特定すること（２０１）、
前記特定したビデオストリームのビデオコンテンツを分析すること（３１３）、
前記通信ネットワーク内の他のエンティティ（１０４、１０５、１０６）によるシェアリングのためのビデオストリーム出力（５１２）であって、前記特定したビデオストリームから前記ビデオコンテンツ分析を考慮して形成されたビデオストリーム出力を提供すること
を含み、
前記ビデオストリーム出力は、前記特定したビデオストリームの１つだけからのイベントのビューに比べて、イベントの向上したビューを提供するために形成されることを特徴とする方法。
【請求項１３】
複数のモバイルビデオキャプチャデバイスを含む通信ネットワーク（１００）内のモバイルビデオキャプチャデバイス（１０２）における方法であって、
イベントのビデオストリームをキャプチャすること（７００）、
同一イベントのビデオストリームをキャプチャしている１または２以上の他のモバイルビデオキャプチャデバイスを特定すること（７０１）、
前記キャプチャしたビデオストリームを、他のエンティティとのシェアリング（共有）のためにいつ通信ノードに送信するかを判断するために、前記１または２以上の他のビデオキャプチャデバイスとネゴシエートすること（７０３）
を含むことを特徴とする方法。
【請求項１４】
前記他のモバイルビデオキャプチャデバイスを特定することは、前記通信ネットワーク内の前記モバイルビデオキャプチャデバイスとチャネルＩＤ情報を交換することを含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記１または２以上の他のビデオキャプチャデバイスとネゴシエートすることは、前記モバイルビデオキャプチャデバイスで利用可能なリソースに関する情報を交換することを含むことを特徴とする請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオシェアリングに関する。
【背景技術】
【０００２】
携帯電話（mobile telephone）を使用してキャプチャしたビデオをエンドユーザがＷｅｂサイトにアップロードするのを可能にするビデオシェアリング（共有）Ｗｅｂサービスが知られている。ビデオはそのあと、そのＷｅｂサイトにアクセスする他人によって表示されることがある。エンドユーザは、自分のビデオをそのＷｅｂサイトに訪ねるすべての人に公共的に利用可能にするかどうかを指定することも、そのビデオを指定した個人グループだけにシェアリング（共有）させるかどうかを指定することもできる。
【０００３】
このようなビデオシェアリングＷｅｂサービスは、異なる国に住んでいるファミリメンバ（家族）の間でファミリイベントのビデオをシェアリング（共有）するといったように多くの目的に使用されている。その他の例としては、教育講義やエンターテインメントパフォーマンスのビデオをシェアリングすることがある。代表例として、ビデオは携帯電話でキャプチャされ、その後にＷｅｂサイトにアップロードされている。そのあと、他の人はＷｅｂサービスからビデオをダウンロードすることができる。
【０００４】
典型的には、携帯電話によって記録されたビデオは、様々な理由で解像度が低く、品質が劣っている。例えば、典型的にはエンドユーザはビデオキャプチャのエキスパートではないので、携帯電話は、ビデオキャプチャ期間に不本意に揺れることがある。また、記録されるシーンに対するビデオキャプチャデバイスの位置および照明条件や他の環境条件が誤って選択されることもある。さらに、モバイルキャプチャデバイスとＷｅｂサイト間の通信リンクがアップロード期間に不良であることがあり、このことはビデオの品質をさらに低下させるおそれがある。
【０００５】
さらに、複数のユーザが同一イベントのビデオをキャプチャした場合、Ｗｅｂサイトにおけるその結果のビデオを選択することは困難である。この場合、個人がこれらのビデオの各々を見てから、どのビデオが最良の結果を提供するかを判断することには時間がかかり、複雑なプロセスである。個人がこれらのビデオの各々をＷｅｂサイトからダウンロードしてから自分の目的に最も合ったビデオを選択する場合には、ダウンロードリンク容量(download link capacity)が使用される。また、記憶容量がＷｅｂサービスで占有され、すべてのビデオをＷｅｂサービスにアップロードするためのバンド幅が使用される。
【０００６】
本明細書に記載されている実施形態は、公知のビデオシェアリングシステムの欠点のいずれかまたはすべてを解決する実現形態に限定されない。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Richard Szeliski, “Image Alignment and Stitching: A tutorial”（2006 Foundations and Trends in Computer Graphics and Version Vol. 2, No. 1(2006) 1-104に発表。）
【非特許文献２】Y Deng, “Unsupported Segmentation of Color-Texture Regions in Images and Video”(BS Manjunath - IEEE Transactions on Pattern Analysis and Machine, 2001)
【非特許文献３】Bouthemy他, “Video hyper-links creation for content-based browsing and navigation”（1999 Proc. Workshop on Content-Based Multimedia Indexing, CBM1‘99）
【発明の概要】
【０００８】
以下は、本発明の基本的理解が得られるように開示事項を簡単に要約したものである。この要約は開示事項の広範な概要ではなく、本発明のキーとなる要素または重要な要素を特定するものでもなく、本発明の範囲を限定するものでもない。この要約の唯一の目的は、本明細書に開示したいくつかの概念を、以下に記載されたより詳細の説明の序論として提示することである。
【０００９】
ビデオシェアリング（共有）が説明されている。一実施形態では、携帯電話のようなモバイルビデオキャプチャデバイスは同一イベントのビデオストリームをキャプチャする。ビデオシェアリングシステムはビデオストリームに関するコンテキスト情報を取得し、その情報を使用してそのストリームからビデオ出力を形成する。その出力は他のエンティティによるシェアリング（共有）のためである。例えば、形成されたビデオは、入力ビデオストリームの個々のストリームに比べて、強化された視聴経験(viewing experience)を提供する。いくつかの実施形態では、コンテキスト情報はビデオストリームのコンテンツ分析から得られることも、記憶されたコンテキスト情報から得られることも、デバイス特性のような制御情報から得られることもある。一部の実施形態では、ライブイベントのビデオストリームが受信され、その出力ビデオはリアルタイムで形成される。いくつかの例では、フィードバックがビデオキャプチャデバイスに提供されて、ズーム、ビューイングポジションまたは他の特性が調整されていることを示唆し、またはそのことを自動的に達成する。
【００１０】
付随する特徴の多くは、添付図面と共に以下の詳細な説明を参照すると、より容易に理解されるだろう。
【００１１】
本明細書の記載は、添付図面を参照して以下の詳細な説明を読むことにより理解が容易になるだろう。
【図面の簡単な説明】
【００１２】
【図１】通信ネットワークで使用されるビデオシェアリングシステムを示す概略図である。
【図２】ビデオシェアリングシステムでの方法を示すフロー図である。
【図３】ビデオシェアリングシステムでの別の方法を示すフロー図である。
【図４】ビデオシェアリングシステムを示す概略図である。
【図５】図４のコンテンツ分析コンポーネントの詳細を示す概略図である。
【図６】ビデオスティッチングと共にビデオシェアリングシステムの使用を示す概略図である。
【図７】ビデオキャプチャデバイスでの方法を示すフロー図である。
【図８】ビデオシェアリングシステムを実現することができる例示的なコンピューティングベースデバイスを示す図である。
【発明を実施するための形態】
【００１３】
添付図面における類似部分は類似参照符号を用いて示されている。
【００１４】
添付図面に関連して以下に示した詳細な説明は本発明を説明することを目的としており、本発明が構築または利用されることがある唯一の態様を表すことを目的としてはいない。以下の説明は、本発明の機能と本発明を構築し、操作するステップのシーケンスを記述している。しかし、同一または同等の機能およびシーケンスが異なる例によって実行されることもある。
【００１５】
図１は、通信ネットワーク１００において使用されるビデオシェアリングシステム(video sharing system)１０１を示す概略図である。通信ネットワークは、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、ワイヤレス通信ネットワーク、またはエンティティ間でストリーミングビデオを通信するのに適した任意のネットワークなどの、任意の適切なタイプのものである。ストリーミングユーザ１０２は、モバイルであることも、または、モバイルでないこともあるビデオキャプチャデバイス(video capture device)を含む。例えば、これらのビデオキャプチャデバイスは、携帯電話、ＰＤＡ、ラップトップコンピュータ、若しくは、ポータブルまたは固定式であって、ストリーミングビデオをキャプチャし、そのビデオを直接または他のエンティティを経由して通信ネットワーク１００に送信する能力を持つ任意の適切なタイプのビデオキャプチャデバイスであってもよい。図示の例では、ビデオキャプチャデバイス１０２はすべてが、例えば、結婚式のような同一シーン１０３のビデオをキャプチャする携帯電話として示されている。もっと多くのモバイルキャプチャデバイスが存在していることもあり、それらのデバイスは他のシーンやイベントのビデオをキャプチャしていることがある。
【００１６】
ビデオシェアリングシステムは、明確化のために図１にシングル通信ネットワークノード１０１として図示した、インフラストラクチャを含む。しかし、その機能は通信ネットワーク１００内の複数のエンティティにわたって分散されることがあるので、シングルネットワークノード１０１を使用することは必須ではない。通信ネットワークノードは、ストリーミングビデオと制御情報をビデオキャプチャデバイス１０２から受信し、通信ネットワーク内の他のエンティティ１０４、１０５、１０６がそのストリーム化ビデオを強化された方法(enhanced manner)でシェアリング（共有）するのを可能にする機能を備えている。コンテキスト情報(contextual information)は、受信したビデオストリークに可能な限りの様々な方法で価値を追加するためにビデオシェアリングシステムによって使用される。一実施形態では、結婚式１０３に物理的に出席していない他のファミリメンバ（家族）は、ビデオシェアリングシステム１０１によって提供されたビデオを、ビデオシェアリングシステムと通信しながら大型ディスプレイスクリーン１０６で見ることができる。他のタイプのエンティティがビデオをシェアリング（共有）することもあり、そのようなエンティティとしては、パーソナルコンピュータ１０４、携帯電話１０５、またはビデオシェアリングシステム１０１からビデオを受信し、表示する能力をもつ他のエンティティがある。
【００１７】
図２は、ビデオシェアリングシステム（図１に示す１０１のような）での方法を示すフロー図である。複数のビデオストリームがビデオキャプチャデバイスから受信（２００）され、ビデオシェアリングシステムは、同一イベントであるビデオストリームを特定（２０１）する。この特定は、任意の適切な方法で達成される。例えば、各ビデオキャプチャデバイスとビデオシェアリングシステム１０１間の通信は、１つがビデオストリームコンテンツの通信用であり、１つが制御情報の通信用であるペアの通信チャネルを使用して達成されることがある。一部の実施形態では、制御情報チャネルは、イベントのＩＤ(identifier)をビデオシェアリングシステムに送信するために使用され、このＩＤは同一イベントのビデオストリームを選択するために使用される。例えば、特定のイベントのコードまたはチャネルＩＤをユーザが指定するのを可能にするＷｅｂサービスがビデオシェアリングシステム１０１によって提供される。特定のイベントのビデオストリームをキャプチャするすべてのストリーミングユーザはそのＷｅｂサービスにアクセスできるので、適切なチャネルＩＤを選択することができる。このようにすると、ビデオシェアリングシステムは大量のビデオストリームを受信し、同一イベントのレコードであるストリームを高速にかつ簡単に特定することができる。他の実施形態では、同一イベントのレコードであるストリームを特定するためにビデオストリーム自体のコンテンツが分析される。また、場合によっては、チャネルＩＤ情報はビデオコンテンツと一緒に送信されることもある。
【００１８】
一部の実施形態において、ビデオキャプチャデバイスがオーディオキャプチャ能力も備えている場合には、オーディオストリームがビデオストリームと一緒に送信される。しかし、このことは必須ではない。
【００１９】
ビデオシェアリングシステム１０１は同一イベントの各ビデオストリームに関するコンテキスト情報を取得（２０２）する。例えば、このコンテキスト情報はビデオキャプチャデバイスとビデオシェアリングシステムの間の制御チャネルから受信（２０４）した情報を含んでいることもある。代替的にまたは同じく、コンテキスト情報はビデオストリームコンテンツの分析（２０３）から（および／またはいずれかの関連オーディオストリームコンテンツから）取得されることもある。コンテキスト情報は、過去のビデオストリームの振る舞いのヒストリカルレコードから取得されることも、および／またはビデオシェアリングリングシステムにアクセス可能であるビデオキャプチャデバイスレコードから取得されることもあり得る。
【００２０】
コンテキスト情報の例を非網羅的(non-exhaustive) に列挙すると、ビデオ品質、ビデオの安定性(steadiness)／揺れ(shakiness)、オーディオ品質、ＧＰＳ情報のように制御チャネル経由で取得される物理的ロケーション情報、セルラネットワーク(cellular network)ロケーション情報、ビューイングアングル推定(viewing angle estimate)、オブジェクト認識結果、ビデオストリームオーバラップ推定、通信リンク条件、使用可能バンド幅、パケット損失、遅延、ジッタのほかに、そのデバイスで実行可能な処理量を示すことができるビデオキャプチャデバイスバッテリの現在の状態、最大可能解像度などのビデオキャプチャデバイスの能力、照明の最小ルックス、ズーミング能力（光学およびデジタル）がある。
【００２１】
コンテキスト情報を、ルール、しきい値または他の基準と一緒に使用して、ビデオシェアリングシステムは、オプションとして、フィードバックをビデオキャプチャデバイスに送信（２０５）するように構成される。このフィードバックは、デバイス上のグラフィカルユーザインタフェース（または他のインタフェース）からビデオキャプチャデバイスのユーザに提示されるユーザフィードバックであることがある。例えば、フィードバックは、ユーザがビデオキャプチャデバイスの位置を特定の方法で移動すると、キャプチャされるシーンのビュー(view)が向上することを示唆することがある。別の例では、フィードバックは、ユーザがビデオキャプチャデバイスのズームを変更すること、またはビデオキャプチャデバイスの解像度または他の能力を変えることを示唆することがある。別の例では、フィードバックはユーザがカメラを安定化すること、またはカメラの動きを変更することを示唆することがある。そのほかの例では、フィードバックは、同一イベントをキャプチャする他のビデオキャプチャデバイスのロケーションと能力を指示し、現在のビデオキャプチャデバイスにキャプチャを続けさせるか否かについて提案を行なうことがある。フィードバックは単にビデオキャプチャデバイスによって受信され、ユーザの入力なしでそのデバイスによって自動的に作用（act）されることがあるので、フィードバックがエンドユーザに見えない(transparent)こともあり得る。例えば、フィードバックは、そのユーザと別のユーザの間の共通ビューのような冗長情報をビデオキャプチャデバイスが送信しないことを指示することがある。このようにすると、ビデオ処理能力が軽減され、バンド幅が節減される。
【００２２】
ビデオシェアリングシステムは、通信ネットワーク内の他のエンティティによるシェアリング（共有）のためのビデオ出力を形成（２０６）するようにも構成される。ビデオ出力を形成するプロセスは、価値が追加され、シェアリング（共有）されるビデオが、受信したビデオストリームの個々のストリームだけを表示するのに比べて、強化された視聴経験を提供するようにコンテキスト情報を考慮する。このビデオ出力は、例えば、ビューポイント(view point)が変更されるのを可能にし、視野(field of view)を大きくするためにビデオストリームを１つにまとめ（スティッチ）、関係ドキュメントまたはマテリアルにリンクを追加し、品質を向上し、セキュリティを向上するために、または他のビデオシェアリング強化の理由で、同一イベントの受信したビデオストリームから形成される。ビデオ出力はオフラインで形成され、ビデオシェアリングシステムにアクセス可能である通信ネットワーク内のロケーションに記憶されることがある。ビデオ出力は、シェアされたビデオを要求するエンティティのリクエストに応じてダイナミックに形成されることもあり得る。一部の実施形態では、ビデオストリームは、他のエンティティによってライブプロセスでシェアされるライブイベントである。この場合、ビデオシェアリングシステムでのプロセスはリアルタイムに実行される。
【００２３】
図３は、例示的なビデオシェアリング方法を示すフロー図である。破線３１６の上方のフロー図の部分はビデオキャプチャデバイスで実行されるプロセスを表す。破線３１６の下方と破線３１７の上方のフロー図の部分はビデオシェアリングシステム（図１の１０１のような）で実行されるプロセスを表す。破線３１７の下方のフロー図の部分はシェアされるビデオを受信するエンティティで実行されるプロセスを表す。
【００２４】
ビデオキャプチャデバイスでのカメラドライバ３０１は、キャプチャプロセス３０２を実行してビデオストリームをキャプチャする。ビデオストリームは、この分野で知られた任意の適切なタイプのビデオエンコーダ３０３を使用して符号化される。ビデオデバイスがオーディオキャプチャ能力も備えている実施形態では、マイクロホンドライバ３０６が用意されている。これは、この分野で公知のように符号化（３０８）されたオーディオストリームをキャプチャ（３０７）する。ビデオストリームとオーディオストリームは多重化（３０４）され、リアルタイムプロトコル（ＲＴＰ）通信リンク経由でＲＴＰトランスミッタ３０５を使用してビデオシェアリングシステム（図１の１０１）に送信される。ＲＴＰは、ＲＦＣ３５５０および他のＲＦＣにおいてInternet Engineering Task Forceによって定義されている。しかし、ＲＴＰ通信リンクを使用することは必須ではない。適当であればどのような通信プロトコルも、コンテンツをビデオキャプチャデバイスからビデオシェアリングシステムに送信するために使用されることがある。制御情報を通信するためにビデオキャプチャデバイスとビデオシェアリングシステムの間の別の通信セッションが確立されることがあり得る。例えば、この別の通信セッションはＳＩＰ(session initiation protocol)を使用して確立されこともあれば、他の適切なプロトコルを使用して確立されることもある。図３に図示の例では、ＲＴＣＰ(real-time transport protocol)はＲＴＣＰトランスミッタ３１１およびＲＴＣＰレシーバ３０９と一緒に使用されている。
【００２５】
ビデオシェアリングシステムでは、ＲＴＰセッションで受信されたコンテンツが多重分離(demultiplex)され、ビデオコンテンツがビデオデコーダ３１２を使用してデコードされる。オーディオコンテンツもオーディオデコーダを使用してデコードされることがある。ビデオコンテンツおよびオプションとしてオーディオコンテンツは、以下に詳しく説明されているコンテンツ分析エンジン(content analysis engine)３１３を使用して処理される。このコンテンツ分析エンジン３１３は出力ビデオストリームを形成する機能も備えており、ストリーミングマネージャ(streaming manager)３１４は、ビデオをシェアすることを要求するエンティティにプロビジョニングするのに適したフォーマットにストリームを変換する。ビデオストリーム出力は、任意の適切な通信プロトコルを使用して宛先エンティティに送信される。そのようなプロトコルとしては、ＭＭＳ(Microsoft（登録商標）メディアサーバ）、Ｗｉｎｄｏｗｓ（登録商標）メディアＨＴＴＰ(hyper text transfer)ストリーミングプロトコルまたはＲＴＳＰ(real time streaming protocol)およびＲＴＰがある。宛先エンティティでは、メディアプレイヤ３１５のような、任意の適切なディスプレイエンジンを使用してビデオが表示される。
【００２６】
図４は、図１の通信ネットワークノード１０１に設けることができるビデオシェアリング装置４００を示す概略図である。この装置４００は、キャスティングディレクタ(casting director)４０１、ビデオキャスティングエンジン(video casting engine)４０３、コンテンツ分析エンジン(content analysis engine)４０２、およびコンテンツプロビジョニングエンジン(content provisioning engine)４０４を備える。これらのエンジンは一体になっていて、シングル通信ネットワークノードを使用して提供されることも、通信ネットワーク内の複数のサーバまたは他のプロセッサにわたって分散されていることもある。
【００２７】
ビデオシェアリング装置４００は、各ビデオキャプチャデバイス４０８に装備されたビデオストリームエンジン４０５からの入力を受信する共に、同じく各ビデオキャプチャデバイスに装備されたモデレータ(moderator)４０６から入力を受信する。この入力は通信ネットワーク４０７上を送信される。また、図４は、装置４００によってシェアされるビデオを受信する例示的なビデオシェアリングデバイスも示す。これらには、テレビジョン４０９、適当なＷｅｂブラウザおよび機器を使用して表示されるＷｅｂページ４１０、および携帯電話４１１が含まれる。
【００２８】
上述したように、各ビデオキャプチャデバイス４０８はビデオストリーミングエンジン４０５およびモデレータ４０６を備える。これらが一緒になって、図４に示すようなキャスティング層(casting tier)を形成する。ビデオストリーミングエンジン４０５は、ビデオシェアリング装置４００の上流側のデバイスによってキャプチャされたビデオをストリーム化するように構成される。モデレータ４０６は、ビデオシェアリング装置４００のキャスティングディレクタ４０１に制御情報を送信するように構成される。この制御情報は定期的におよび／またはオンデマンドで送信されることがあり、カメラ解像度、ＣＰＵ利用状況、バンド幅の利用可能性などのように、デバイスの能力と使用状況に関する情報を含むことがある。モデレータ４０６はキャスティングディレクタ４０１から受信したコマンドを実行するように構成されることもある。
【００２９】
次に、ビデオシェアリング装置４００の詳細について説明する。ビデオキャスティングエンジン４０３はビデオキャプチャデバイス４０８からビデオストリームを受信し、これらのビデオストリームをコンテンツ分析の準備状態に置く。ビデオキャスティングエンジンは、制御情報をキャスティングディレクタ４０１に転送するように構成されることもある。例えば、この制御情報は、パケット損失や遅延のように、ビデオストリームの受信の結果としてビデオキャスティングエンジンに使用可能である通信ネットワーク統計を含むことがある。
【００３０】
コンテンツ分析エンジン４０２はビデオキャプチャデバイスから受信したコンテンツを分析する構成になっており、そのコンテンツはビデオコンテンツおよび／またはオーディオコンテンツを含むことがある。この分析は、リアルタイムで実行されることもあれば、オフラインで実行されることもある。コンテンツ分析エンジン４０２の詳細については、図５を参照して以下に説明する。
【００３１】
キャスティングディレクタ４０１はモデレータ４０６から入力を受信すると共に、ビデオキャスティングエンジン４０３から制御情報を受信し、キャスティング分析エンジン４０２から情報を受信する。キャスティングディレクタ４０１は、事前に指定したルール、しきい値または他の基準と共に、キャスティングディレクタ４０１に使用可能である情報を基にロール（役割）をビデオキャプチャデバイス４０８に割り当てるように構成される。これはビデオキャプチャデバイス４０８でコマンドをモデレータに送信してロールを実現するように構成されており、ユーザフィードバックをビデオキャプチャデバイス４０８に送信することも可能である。
【００３２】
一実施形態では、キャスティングディレクタ４０１は、これらのビデオキャプチャデバイスの機能に関する情報（この情報はモデレータから受信されることもあれば、登録プロセスの結果としてビデオシェアリング装置４００で使用可能であることもある）を基におよびターゲット視聴経験(target viewing experience)に関する情報（この情報はビデオシェアリング装置によって提供されるＷｅｂサービスでユーザ入力によって事前に指定または与えられることがある）を使用してロールをビデオキャプチャデバイス４０８に割り当てるように構成される。ある例では、ターゲット視聴経験はイベントのより広い視野を得るためである。別の例では、ターゲット視聴経験はイベントの最適ビューイングアングルを選択するためである。割り当てられるロールとしては、例えば、ビデオを単独でストリーム化すること、ビデオとオーディオをストリーム化すること、オーディオを単独でストリーム化すること、指定した時間までどのコンテンツもストリーム化を中止すること、などがある。
【００３３】
一部の実施形態では、キャスティングディレクタ４０１は、ビデオシェアリングシステム４００が実現されているサーバに設けられる。その他の実施形態では、キャスティングディレクタは全体的にまたは部分的にビデオキャプチャデバイス４０８間に分散されている。以下では、キャプチャディレクタが部分的にビデオキャプチャデバイス間に分散されている実施形態の詳細について説明する。
【００３４】
ビデオシェアリング装置４００は、ビデオキャプチャデバイス４０８からターゲットエンティティにキャストされるビデオフィード(video feeds)を送信することを受け持つコンテンツプロビジョニングエンジン４０４を備える。このプロビジョニングエンジン４０４は、宛先ターゲットのタイプに適したフォーマットにビデオフィードを変形するように構成される。例えば、ターゲットエンティティは、テレビジョン４０９、Ｗｅｂブラウザ４１０でビデオを表示するコンピュータ、または携帯電話４１１であることがある。
【００３５】
コンテンツプロビジョニングエンジン４０４は、ストリーミングユーザがそこにキャストすることが可能であって、ターゲットエンティティが表示できるチャネルＩＤ（またはイベントＩＤ）をエンドユーザが作成するのを可能にするＷｅｂサービスを提供するように構成されることもある。このＷｅｂサービスは、ユーザがユーザ詳細、ビデキャプチャデバイス詳細、ターゲットデバイス詳細などを登録し、記憶する能力を提供することもある。さらに、ビデオシェアリングのためのチャネルを公共(public)または私用(private)にするオプションがユーザに与えられることがあり、この場合、私用チャネルは指定したユーザグループだけがそこにキャストおよび／または表示することを可能にしている。Ｗｅｂサービスは、特定のチャネルに関連するターゲット視聴経験をユーザが指定することも可能にしている。例えば、これは最も広い視野を得るためでも、最適なビューイングアングルを選択するためでもある。
【００３６】
図５は、コンテンツ分析エンジン４０２を示す概略図である。このエンジンは、図４に関連して上述したようにビデオストリーム５０１と制御情報５０２を入力として受信する。このエンジンは、入力ビデオストリーム５０１から形成された出力ビデオ５１２を、制御情報５０２を含むコンテキスト情報およびコンテンツ分析エンジン自体によって実行されたコンテンツ分析の結果と一緒に提供する。
【００３７】
コンテンツ分析エンジンは、コンテンツの異なるタイプの分析を行なうための種々のコンポーネントまたはモジュールを含む。これらの例は図５にモジュール５０３−５０６として示されているが、これらは単なる例である。このようなモジュールは異なる組み合わせで使用されることも、他のタイプが使用されることもある。いずれかのペアのビデオストリーム間のオーバラップの程度または量を評価するオーバラップアセッサ(overlap assessor)５０３が設けられることもある。このアセッサ５０３からの結果は、コンテンツ分析エンジンに設けられたビデオスティッチングエンジン(video stitching engine)５０８によって使用されることがある。オーバラップ評価とビデオスティッチングの方法は、適当であればどのような方法でも使用されることがある。例えば、イメージアライメントプロセスおよびスティッチングアルゴリズムは、非特許文献１に詳しく説明されている。オーバラップアセッサ５０３とビデオスティッチングエンジン５０８は一体であることもある。
【００３８】
同一イベントをキャプチャリングするビデオキャプチャデバイスの相対的ビューイングアングルを評価するビューイングアングルアセッサ(viewing angle assessor)５０４が設けられることもある。相対的ビューイングアングルを評価する方法は、適当であればどのような方法でも使用されることがある。同一イベントをキャプチャする異なるビデオキャプチャデバイスからのビデオストリームの相対的品質を評価する評価アセッサ(quality assessor)５０５が設けられることもある。ビデオ品質を評価する方法は、適当であればどのような方法でも使用されることがある。ビデオシーケンスからのオブジェクト（または領域(region)だけの可能性もある）を自動的に抽出するオブジェクト検出および追跡エンジン(object detection and tracking engine)５０６が設けられることもある。オブジェクトは、複数のフレームにまたがっていて、リアルな物理的オブジェクトに対応する２Ｄイメージ領域の集まりである。このようなオブジェクト検出および追跡エンジンは、非特許文献２に記載されているもののように、適当であればどのようなエンジンも使用されことがある。このような自動化プロセスを使用してビデオからオブジェクトを抽出すると、多くの方法でビデオに価値を追加することができる。例えば、オブジェクト別にビデオコンテンツをサーチする能力を追加する方法および／またはビデオ内のオブジェクトとのハイパリンクを追加する方法がある。
【００３９】
出力ビデオ強化モジュール(output video enhancement module)は、コンテキスト情報およびターゲット視聴経験に関する指定したルール、しきい値または基準があればそれと一緒に入力ビデオストリーム５０１を受け取る。これらは出力ビデオ５１２を形成するために使用される。出力ビデオを形成するために様々なエンジンが提供されており、これらは相互に一体になっていることがあるが、明確化のために図５には別々に示されている。例えば、これらのエンジンはビデオスティッチングエンジン５０８、ビューイングアングル選択エンジン５０９、品質選択エンジン５１０、およびＷｅｂリンク挿入エンジンからなっている。Ｗｅｂリンク挿入エンジンは、オブジェクト検出および追跡エンジンから結果を受け取り、これらを使用してハイパリンクをビデオ出力５１２内に挿入することがある。これらは、オブジェクト検出および追跡エンジンの結果によって判断された通りに、ビデオコンテンツに関係するドキュメント、ファイル、他のビデオ、他のリソースとのハイパリンクとなることがある。例えば、これらのハイパリンクは、非特許文献３に記載されているように、ビデオデータベース内でナビゲーションを可能にすることがある。
【００４０】
図６は、ビデオスティッチングエンジン５０８の使用を示す概略図である。ストリーミングユーザは上述したようにビデオキャプチャデバイス６０１、６０２を持っており、これらを使用して、同一イベントであるが異なるビューポイントからのビデオをキャプチャする。ビデオキャプチャデバイスの第１のデバイスの視野(field of view)は図６に６０３で示され、ビデオキャプチャデバイスの第２のデバイスの視野は図６に６０４で示されている。図示のように視野の間に若干のオーバラップがある。ビデオストリームは、上述したように、上流に向かってビデオシェアリングシステム６０５に送信され、１つにスティッチされて、シングルビデオストリームのどちらかが単独で達成するよりも、イベントのより広い視野をもつ出力ビデオを形成する。この出力ビデオはＰＣ６０７または他のエンティティから表示されることがあり、表現６０８はその結果のビデオディスプレイを示している。
【００４１】
一部の実施形態では、キャスティングディレクタの機能は、少なくともその一部がビデオキャプチャデバイス間に分散されている。例えば、各ビデオキャプチャデバイスは、以下に図７を参照して説明するように方法を実行するように構成されていることがある。イベントのビデオはオプションとしてキャプチャされ、そのデバイスは、同一イベントのビデオをキャプチャしているか、またはキャプチャしようとしている他のビデオキャプチャデバイスを特定（７０１）することに進む。例えば、この特定プロセスは、ビデオシェアリングシステムを探し出して(probe)情報を要求することを含むこともある。他の実施形態では、この特定は、物理的近隣における他のワイヤレス通信デバイスを探し出す(probe)ローカルワイヤレス発見プロセス(discovery process)を使用して行なわれる。他のワイヤレス通信デバイスが発見されると、情報は、イベントに対するビデオシェアリングチャネルに関するものと交換（７０２）されることがある。このようにして、ビデオキャプチャデバイスは、同一イベントのビデオをキャプチャしている他のビデオキャプチャデバイスを特定することができる。イベントが１つの物理的ロケーションにだけあることは必須でない。例えば、イベントは異なる地理的ロケーションの間のシェアされるイベントであることがあり、この場合には、関係するビデオキャプチャデバイスは、すべてがビデオチェアリングシステムから得られることのある同一チャネルＩＤを使用することになる。
【００４２】
これらの他のデバイスが特定されると、デバイスは、特定したデバイスとネゴシエートすることに自動的に進み、ビデオキャプチャをどのように進めるか、および／または進めるかどうかを判断する。このネゴシエーションプロセスでは、これらのデバイスにおけるリソース、バンド幅の使用可能性などに関する情報のやりとりが行なわれることがあり、これらのデバイスで指定された使用可能なルールに従って進められることになる。
【００４３】
図８は、例示的なコンピューティングベースデバイス８００の種々のコンポーネントを示す図であり、このデバイスは、コンピューティングデバイスおよび／またはエレクトロニックデバイスの任意の形体で実現することができ、そこにビデオシェアリングシステムの実施形態を実現することができる。
【００４４】
コンピューティングベースデバイス８００は、メディアコンテンツを受信するのに適したいずれかのタイプである１または２以上の入力８０６、インターネットプロトコル（ＩＰ）入力、ビデオストリーム、オーディオストリームまたはその他の入力を備えている。このデバイスは、通信ネットワーク上でモバイルビデオキャプチャデバイス、携帯電話、および他の通信エンティティとの通信を可能にする通信インタフェース８０７も備える。
【００４５】
コンピューティングベースデバイス８００は１または２以上のプロセッサも備えており、これらプロセッサは、マイクロプロセッサ、コントローラまたはビデオシェアリングシステムを提供するためにこのデバイスの動作を制御するコンピューティング実行可能命令を処理するのに適した他のいずれかのタイプのプロセッサも備える。オペレーティングシステム８０４を含むプラットフォームソフトウェアまたは他の任意の適切なプラットフォームソフトウェアがコンピューティングベースデバイスに設けられて、アプリケーションソフトウェア８０３がこのデバイス上で実行されるのを可能にすることができる。
【００４６】
コンピューティング実行可能命令は、メモリ８０２のような、任意の適切なコンピュータ可読媒体を使用して提供されることがある。メモリは任意の適切なタイプであり、そのようなものとして、ランダムアクセスメモリ（ＲＡＭ）、磁気または光学ストレージデバイスのような任意の適切なタイプのディスクストレージデバイス、ハードディスクドライブ、またはＣＤ、ＤＶＤまたは他のディスクドライブなどがある。フラッシュメモリ、ＥＰＲＯＭまたはＥＥＰＲＯＭが使用されることもある。
【００４７】
出力８０５も提供され、そのようなものとして、コンピューティングベースデバイスと一体であるか、または通信状態にあるディスプレイシステムへのオーディオ出力および／またはビデオ出力がある。ディスプレイシステムは、グラフィカルユーザインタフェースまたは他の任意の適切なタイプのユーザインタフェースを提供することができるが、これは必須ではない。
【００４８】
用語「コンピュータ」は、本明細書では、命令の実行が可能であるような処理能力を備えたいずれかのデバイスを指すために用いられている。この分野の精通者ならば認識されるように、このような処理能力は多数の異なるデバイスに組み込まれているので、用語「コンピュータ」には、ＰＣ、サーバ、携帯電話、パーソナルデジタルアシスタントおよびその他の多数のデバイスが含まれる。
【００４９】
本明細書に記載された方法は、有形記憶媒体上のマシン可読形体のソフトウェアによって実行されることがある。ソフトウェアは、方法の各ステップが任意の適切な順序で、またはほぼ同時に実行されるようにパラレルプロセッサまたはシリアルプロセッサ上で実行するのに適することができる。
【００５０】
このことは、ソフトウェアが高価で、個々に取引可能な商品になり得ることを認めている。これには、「ダム(dumb)」または標準ハードウェア上で実行され、またはそれを制御して、所望の機能を実行するソフトウェアを含むことを意図している。また、ＨＤＬ(hardware description language)ソフトウェアのように、ハードウェアの構成を「記述」または定義するソフトウェアを含むことも意図しており、このソフトウェアは、所望の機能を実行するためにシリコンチップを設計したり、ユニバーサルプログラミングチップ(universal programming chip)を構成したり、するのに使用される。
【００５１】
当業者ならば認識されるように、プログラム命令を記憶するために利用されるストレージデバイスは、ネットワークにまたがって分散させることができる。例えば、リモートコンピュータはソフトウェアとして記述されたプロセスの例を記憶することができる。ローカルコンピュータまたはターミナルコンピュータはリモートコンピュータにアクセスし、プログラムを実行するソフトウェアの一部または全部をダウンロードすることがあり得る。代替的に、ローカルコンピュータはソフトウェアの部分を必要に応じてダウンロードすることも、一部のソフトウェア命令をローカルコンピュータで、一部をリモートコンピュータ（またはコンピュータネットワーク）で実行することもある。また、この分野の精通者ならば認識されるように、この分野の精通者に知られた従来の技法を利用すると、ソフトウェアの全部または一部がＤＳＰ、プログラマブルロジックアレイなどの、専用回路によって実行されることもある。
【００５２】
本明細書に示した範囲またはデバイス値は、この分野の精通者に自明であるように、求める効果を失うことなく拡張または変更されることがあり得る。
【００５３】
以上から理解されるように、上述した利益および利点は、１つの実施形態に関係にしていることも、複数の実施形態に関係していることもある。これらの実施形態は、明記した問題のいずれか、またはすべてを解決する実施形態にも、明記した利益と利点を有する実施形態にも限定されない。また、以上から理解されるように、項目には、１または２以上の項目が含まれている。
【００５４】
本明細書に記載した方法のステップは、任意の適当な順序で実行されることも、該当する場合に同時に実行されることもある。さらに、個々のブロックは、本明細書に記載した主題の精神および範囲から逸脱することなく、これらの方法のいずれからも削除されることがある。上述した例のどの例の側面も、上述した例のいずれかの側面と結合されて、求める効果を失うことなく別の例を形成することができる。
【００５５】
用語「コンピューティング」は、本明細書では特定した方法ブロックまたはエレメントを含むことを意味しているが、このようなブロックまたはエレメントは排他的リストを構成しないこと、および方法または装置は追加のブロックまたはエレメントを含むことがあることを意味するために使用されている。
【００５６】
以上から理解されるように、好適実施形態の上記説明は単なる例示であり、当業者によって種々の変更が行なわれることがあり得る。上記の指定、例およびデータは、本発明の例示的な実施形態の構造と使用を詳しく説明したものである。本発明の種々の実施形態は、ある程度詳細に、または１または２以上の個々の実施形態を参照して上述してきたが、この分野の精通者ならば、本発明の精神または範囲から逸脱することなく、開示した実施形態に多数の変更を行なうことが可能である。
【図１】
2012518948.tif 000003
【図２】
2012518948.tif 000004
【図３】
2012518948.tif 000005
【図４】
2012518948.tif 000006
【図５】
2012518948.tif 000007
【図６】
2012518948.tif 000008
【図７】
2012518948.tif 000009
【図８】
2012518948.tif 000010
【国際調査報告】
2012518948.tif 000011
2012518948.tif 000012
2012518948.tif 000013