(57)【要約】【課題】制作コンテンツをビデオ会議の受動的参加者に配信する方法及びシステム【解決手段】能動的参加者及び受動的参加者をサポートする会議システム。会議システムは、能動的参加者及び受動的参加者を定義するクライアントコンポーネント、クライアントコンポーネントで定義された能動的参加者及び受動的各参加者に対する接続を有するサーバーコンポーネントを有する。サーバーコンポーネントは、能動的参加者及び受動的参加者とサーバーコンポーネントとの接続をコントロールする接続マネージャー、会議メディアを受け取ると共に能動的参加者及び受動的参加者に会議メディアを配信するメディアミキサー、受動的参加者に配信する会議メディアを選択する仮想プロデューサーを有する。受動的参加者に提供される会議メディアはある能動的参加者のグループの活動や選択に基づいて動的に決定される。【選択図】    図２
2004343761.tif 000002
【特許請求の範囲】
【請求項１】
能動的参加者のメディアを能動的参加者が選択及び構成する一方、会議システムがメディアを選択し受動的参加者に提供する、能動的参加者及び受動的参加者をサポートする会議システムであって、前記会議システムは、
能動的参加者及び受動的参加者を定義するクライアントコンポーネントを有し、
前記クライアントコンポーネントにおいて定義された前記能動的参加者及び受動的参加者の各々への接続を有するサーバーコンポーネントを有し、前記サーバーコンポーネントは、
前記能動的参加者及び受動的参加者と前記サーバーコンポーネント間の接続を管理する接続マネージャーと、
会議メディアを受け取ると共に前記能動的参加者及び受動的参加者に会議メディアを配信するためのメディアミキサーと、
前記受動的参加者に配信される会議メディアを選択する仮想プロデューサーとを有し、
前記受動的参加者に提供される会議メディアはある能動的参加者のグループの活動及び選択に基づいて動的に決められることを特徴とする会議システム。
【請求項２】
さらにイベントハンドラーを有し、前記イベントハンドラーは参加者の活動をモニタする共に参加者の活動についての情報を前記メディアミキサーに供給する前記接続マネージャーと協働することを特徴とする請求項１に記載の会議システム。
【請求項３】
さらにセッションマネージャーを有し、前記セッションマネージャーは前記サーバーコンポーネントの一部で、コラボレーション及びメディア交換の規則を定めるように構成され、コラボレーション及びメディア交換の規則により能動的参加者及び受動的参加者の会議メディアの使用可能性がコントロールされることを特徴とする請求項１に記載の会議システム。
【請求項４】
前記仮想プロデューサーは、メディア格付けモジュール、メディア解析モジュール、メディア選択・レイアウトモジュールを有することを特徴とする請求項１に記載の会議システム。
【請求項５】
前記メディア格付けモジュールは、ある特定の会議の会議メディアの全てのリストと、会議メディアに関する能動的参加者の格付け、会議メディアと関連付けられた興味マーカー、及び会議メディアと関連付けられたトリガーイベントを示す表示を受け取り、会議メディアの全ての生のメディア格付けを提供することを特徴とする請求項４に記載の会議システム。
【請求項６】
前記メディア解析モジュールは、会議メディアの全ての生のメディア格付けを受け取り、受動的参加者に提供するのに適したメディアのメディア格付けを提供するために全ての会議メディアを解析し、前記メディア解析モジュールは生のメディア格付けを解析するためにシステム規則及びコラボレーション規則を用いることを特徴とする請求項４に記載の会議システム。
【請求項７】
前記メディア選択・レイアウトモジュールは、受動的参加者に提供するのに適したメディアのメディア格付けを受け取り、受動的参加者に提供するメディアコンテンツを選択すると共に選択されたメディアコンテンツのレイアウトを選択することを特徴とする請求項４に記載の会議システム。
【請求項８】
複数の能動的参加者、及び
複数の受動的参加者、
をさらに有することを特徴とする請求項１に記載の会議システム。
【請求項９】
能動的参加者及び受動的参加者をサポートするビデオ会議システムであって、
能動的参加者及び受動的参加者を定義するクライアントコンポーネントを有すると共に、
前記クライアントコンポーネントで定義された各能動的参加者及び受動的参加者への接続を有するサーバーコンポーネントを有し、前記サーバーコンポーネントは、
会議メディアを解析し、受動的参加者に提供する会議メディアを選択する仮想プロデューサーを有し、
受動的参加者に提供される会議メディアはある能動的参加者のグループの活動及び選択に基づいて前記仮想プロデューサーにより動的に決められることを特徴とするビデオ会議システム。
【請求項１０】
前記仮想プロデューサーは、メディア格付けモジュール、メディア解析モジュール、メディア選択・レイアウトモジュールを有することを特徴とする請求項９に記載のビデオ会議システム。
【請求項１１】
前記メディア格付けモジュールはビデオ会議システムで使用するために提供された全てのメディアの生のランキングを決め、前記生のランキングは、能動的参加者がビデオ会議システムで使用するために提供されたメディアに対する興味の測定結果及び興味の表現に従った、ビデオ会議システムで使用するために提供された全てのメディアの順序付けであることを特徴とする請求項１０に記載のビデオ会議システム。
【請求項１２】
前記メディア解析モジュールは、コラボレーション規則及びシステム規則を適用して、ビデオ会議システムで使用するために提供された全ての生ランキングをバッファリングすることを特徴とする請求項１０に記載のビデオ会議システム。
【請求項１３】
前記メディア格付け及びレイアウトモジュールは、受動的参加者に提供するメディアコンテンツ及びプレゼンテーションレイアウトを選択することを特徴とする請求項１０に記載のビデオ会議システム。
【請求項１４】
ビデオ会議の参加者に配信する複数のメディアストリームの集合を決める方法であって、
ビデオ会議における全てのメディアストリームの生ランキングを決め、
その全てのメディアストリームの生ランキングを解析し、
その全てのメディアストリームの生ランキングをフィルタリングし、
そのフィルタリングされた生ランキングから複数のメディアストリームの集合を選択し、
選択された集合の複数のメディアストリームをビデオ会議の参加者に配信することからなることを特徴とする方法。
【請求項１５】
メディアコンテンツ選択、メディアレイアウト選択、メディアに対する興味の表現をモニターする対象となるビデオ会議の参加者の集合を定義し、
ビデオ会議のシステム規則の集合を定義し、
ビデオ会議フォーマットのコラボレーション規則の集合を定義し、
そのシステム規則及びコラボレーション規則に従って、前記選択された集合の複数のメディアストリームのプレゼンテーションレイアウトを選択すること、
からなることを特徴とする請求項１４に記載の方法。
【請求項１６】
前記定義された集合のビデオ会議参加者のメディアコンテンツ選択、メディアレイアウト選択、及びメディアに対する興味の表現に基づいて判定された興味領域からビデオ会議における全てのメディアストリームのコンテンツの重要性を予測すること、
からさらになることを特徴とする請求項１５に記載の方法。
【請求項１７】
全てのメディアストリームの生ランキングのフィルタリングはシステム規則集合及びコラボレーション規則集合に従っていることを特徴とする請求項１４に記載の方法。
【請求項１８】
能動的参加者及び受動的参加者を有する複数の参加者によるビデオ会議で受動的参加者向けメディアプレゼンテーションを制作する方法であって、前記方法は、
複数参加者によるビデオ会議における全てのメディアの生のメディア格付けを決め、
その生のメディア格付けをフィルタリングし、
そのフィルタリングされた生のメディア格付けから受動的参加者に提供するメディアを選択し、
その選択されたメディアを複数参加者ビデオ会議の受動的参加者に提供することからなり、
前記複数の参加者ビデオ会議は、メディアプレゼンテーションを制作し、受動的参加者に提供することを特徴とする方法。
【請求項１９】
定義された能動的参加者集合の各参加者をモニターすることからさらになり、前記モニターはメディア選択、メディアレイアウト、識別されたメディアコンテンツに対する興味表現を含む、
ことを特徴とする請求項１８に記載の方法。
【請求項２０】
能動的参加者に提供するために前記選択されたメディアのメディアレイアウトを選択する、
ことからさらになることを特徴とする請求項１８に記載の方法。
【請求項２１】
複数の参加者によるビデオ会議における全てのメディアの生のメディア格付けは、前記定義された能動的参加者集合のメディア選択及びメディアレイアウト、並びに識別されたメディアコンテンツに対する興味表現を集約することによる複数参加者ビデオ会議の全てのメディアの順序付けであることを特徴とする請求項１９に記載の方法。
【請求項２２】
生のメディア格付けのフィルタリングはシステム規則及びコラボレーション規則に従うことを特徴とする請求項１８に記載の方法。
【請求項２３】
複数の参加者によるビデオ会議の受動的参加者にメディアプレゼンテーションを提供するプログラム命令を有するコンピュータ可読媒体であって、
ビデオ会議における全てのメディアストリームの生のランキングを決めるプログラム命令と、
その全てのメディアストリームの生ランキングを解析するプログラム命令と、
その全てのメディアストリームの生ランキングをフィルタリングするプログラム命令と、
そのフィルタリングされた生ランキングから複数のメディアストリームの集合を選択するプログラム命令と、
その選択された集合の複数のビデオストリームをビデオ会議の受動的参加者に配信するプログラム命令と、
を有することを特徴とするコンピュータ可読媒体。
【請求項２４】
ビデオ会議の参加者集合をモニターするプログラム命令をさらに有し、前記モニターはメディアコンテンツの選択、メディアレイアウトの選択、メディアに対する興味の表現を含み、
ビデオ会議のシステム規則集合を定義するプログラム命令を有し、
ビデオ会議フォーマットのコラボレーション規則集合を定義するプログラム命令を有すると共に、
前記選択された集合の複数のメディアストリームのプレゼンテーションレイアウトをシステム規則及びコラボレーション規則に従って選択する命令プログラムを有する、
ことを特徴とする請求項２３に記載のコンピュータ可読媒体。
【請求項２５】
メディアコンテンツの選択、メディアレイアウトの選択、及びビデオ会議の前記定義された集合の参加者のメディアに対する興味の表現をモニターすることに基づいて決められた興味領域からビデオ会議における全てのメディアストリームのコンテンツの重要性を予測するプログラム命令を、
さらに有することを特徴とする請求項２４に記載のコンピュータ可読媒体。
【請求項２６】
全てのメディアストリームの生ランキングのフィルタリングはシステム規則集合及びコラボレーション規則集合に従っていることを特徴とする請求項２３に記載のコンピュータ可読媒体。
【請求項２７】
複数の参加者によるビデオ会議システムでシステム効率及びバンド幅利用率を調整する方法であって、
複数の参加者によるビデオ会議システムで用意された全てのメディアのメディア格付けを決め、
複数の参加者によるビデオ会議システムによる制作コンテンツにおけるメディアの利用率を判定し、
メディアファイルの大きさ、メディアの品質、メディア配信のフレームレート、及びメディアコンテンツの配信を含む一つ以上のメディア配信パラメータを調整することからなり、
一つ以上のメディア配信パラメータの調整は決定されたメディア格付け及び利用率に従っていることを特徴とする方法。
【請求項２８】
決められたメディア格付けを複数の参加者によるビデオ会議システムの参加者をモニターして取得し、前記モニターはメディアコンテンツの選択、メディアレイアウトの選択、及び識別されたメディアコンテンツの対する興味の表現を含むことを特徴する請求項２７に記載の方法。
【請求項２９】
メディアコンテンツの選択のモニターと、メディアレイアウトの選択と、及びモニターされた参加者のメディアに対する興味の表現とから判定された識別された興味領域から複数参加者ビデオ会議において使用可能な全てのメディアのコンテンツ重要性を予測することからさらになり、
一つ以上のメディア配信パラメータの調整はさらに予測されたメディアコンテンツ重要性に従っている、
ことを特徴とする請求項２８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には複数の参加者が参加する会議システムに関し、より具体的には能動的参加者からのフィードバックがバックチャンネルを介して提供される総合複数参加者会議システムにおいて、能動的参加者の活動に基づいて受動的参加者にリアルタイムにコンテンツを配信するための発明である。
【背景技術】
【０００２】
会議システムは概してある参加者のグループが共同できる方法を説明している。会議システムの構造によって情報交換の規則が決まる。会議システム構造の中で、コミュニケーション方法が定義され、アクセス可能なメディアタイプが識別される。システムによっては遠隔地にいる参加者や移動する参加者とのコミュニケーションできるものもあるが、他は専用の場所やメンバーへのアクセスに限定される。参加者を論理的な会議空間にグループ化したり、コラボレーションに対してセキュリティアクセス権を割り当てたり、特定のタイプのメディア通信専用にしたりといった特徴は、全て様々な会議システムの要素である。
【０００３】
形式の異なるコラボレーションでは、必要なコミュニケーションを管理するために異なるシステムや構成が不可欠になるのが一般的である。例えば、コラボレーションが教育訓練の場合には、システムは、発表者がコンテンツを管理できると同時に、視聴者や参加者のグループに対して直接講義の資料を管理できなければならない。別々の場所にいる参加者の間でのグループ討議やコラボレーションでは、システムは、各場所でのやりとりに寄与する役目の参加者からの入力及び出力に同時に対応できなければならない。電話による会議システムでは、音声通信しか利用できない。
【０００４】
ビデオ会議システムでは、参加者が、対面状態のコラボレーションややり取りに必要な目に見えるコンテンツを提供したり、そのコラボレーションややり取りに関係する、文書やプレゼンテーションスライドやイメージなどといった他の目に見えるメディア提供するには、より専用化されたデバイスが必要となる。
【０００５】
一つのコラボレーションモデルは一対一のコラボレーションとして知られている。一対一コラボレーションでは、コラボレーション規則とも呼ばれる会議規則は単純である。つまり、単に参加者メディアが交換される。各参加者は他の参加者の音声を聞き、映像を見る。各参加者は他の参加者が通信を終えるまで応答したり、その他の交換を提供するのを待つので、従来からのエチケット及び社会的規範によってこのやり取りが制御されるのが一般的である。この「全二重」のコミュニケーションスタイルは、対面でのやり取りに近く、割り込みや自由な表現が可能である。しかしながら、会議システムによっては、システムの要件や制限のために、制約的なコミュニケーション規則を課するものがある。そそのようなシステム規則には、一人の参加者の送信が終了したことを知らせることが要求されたり（つまり、「半二重」）、回答したり新しい送信を始める許可などが含まれる。いずれのシステムにおいても、一対一コラボレーションに関与していないオブザーバは単に参加者間のやりとりを追っていればいいので、能動的に話をしている参加者にいつでも注意を集中している可能性は高い。
【０００６】
別のコラボレーションモデルは一対多のコラボレーションである。一対多のコラボレーションでは、「一」が発言者又はプレゼンターで、「多」が出席している「視聴者」又は参加者というのが一般的である。主に一方向のやり取りである一対多コラボレーションでは、視聴者全員が発言者の活動を見聞きできなければならない（すなわち、発言者のメディアが参加者全員に送られる）。視聴者メンバーにとって、他の参加者の活動（つまり、視聴者の音声及び／又は映像メディア）は、望ましくなかったり、一対多コラボレーションの有効性を損なう原因になったりすることがある。しかしながら、発言者はプレゼンテーションに対する視聴者のフィードバックに関心があり、割り込みや質問を知りたいと思っているかもしれない。さらに、一対多コラボレーションモデルによっては、質疑応答時のように、いつ、誰が話すかを発言者がコントロールできる場合がある。そうしたとき、視聴者メンバーは発言者の回答だけでなく参加者の質問も聞きたいかもしれない。従って、一対多コラボレーションの会議システムは一対一コラボレーションよりも複雑な規則を必要とする。一対多コラボレーションに参加していない観察者は、管理している発言者を追っていればいいし、あるいは視聴者参加者の反応や提案をじっと見ていてもよい。
【０００７】
また別のコラボレーションモデルはグループ討議である。グループ討議では、コラボレーション規則を狭く定義して、一対一コラボレーションと同じように運営することができる。例えば、一対一コラボレーションが多数発生すると考える。参加者全員の間でメディアの交換が発生し、交換の秩序は容認されている社会的規範及び慣習によって定められる。それに対し、パネルディスカッションでは司会や時間管理で細かいコラボレーション規則が求められる可能性がある。パネルディスカッション、つまりグループ対多コラボレーションモデルと定義することができる特定のタイプのグループ討議では、参加者の一部のグループだけがコラボレーションで貢献する役割を演じればよい（各パネル参加者からのメディアは、すべての視聴者としての参加者に送られる）。残りの参加者はパネルメンバーのやりとりを視聴する（観察している）視聴者のメンバーであるかもしれない。討議をコントロールすると共に、予め定められた規則に従って、決められた時間の制約の中で、議題から外れないようにコラボレーションの方向を維持する司会者の役が、一人以上の特別な参加者に割り当てられる。司会者は、発言権やパネルメンバーに割り当てる時間、あるいは質疑応答セッションなどの限られた時間での視聴者メンバーとのやり取りやりの管理などに対する特別の権利をもっている。ここでも、こうしたグループコラボレーションモデルでのやり取りに関係しない観察者は、メディアの交換の流れの中で明らかになっていく「議題」を追っていく。
【０００８】
会議環境には、メディアの選択肢があるのが普通である。様々なフォーマットのリアルタイムの音声や映像信号は主要なメディアである。ドキュメント、プレゼンテーションスライド、イメージなどによりメディアの選択肢がさらに拡がる。会議システムは一般的にそれがサポートするメディアの数やタイプによって限定され、ある特定のメディアタイプに対する優れたサポートは、会議システムの中で他との差別化を図る一つの方法である。
【０００９】
会議中に使用可能なメディアの数は参加者の総数よりも大きくなる可能性がある。マイクは会議を行なう場所及び／又は各参加者からの音声を供給する。被写体をいろいろに見せる複数のカメラによって、発言者、他の参加者、あるいは他のグループ／場所を捉える映像メディアを提供することができる。
【００１０】
【特許文献１】米国特許出願公開第２００１／００４３５７１号明細書
【特許文献２】米国再発行特許発明第６，２０２，０８４号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１１】
従来の会議システムは、一般的に、メディア交換やコミュニケーションを容易にするように構成され運営される。会議の参加者は、システムにメディアを提供するように構成されていることがある。上述の各コラボレーションモデルにおいて、「能動的」参加者は通常メディアを提供することが可能で、他の参加者の提供するメディアに参加できるようになっている。重要なのは、各能動的参加者は自分が観察したり交換しているメディアを管理できることである。しかし、観察者は、一般的にはメディアを提供するようには構成されていない。「受動的」参加者、つまり観察者は、会議システムの提供するメディアを見たり聞いたり、又はモニターすることができる。受動的参加者はメディアの交換や提供をコントロールすることはできないので、会議システムが提供する、コラボレーションで交換された「興味深いメディア」の「ビュー」（あるいはその一部）に依存する。会議環境によっては、ある特定の能動的参加者が、受動的参加者へのフィードとして指定される。この指定された能動的参加者が選んだメディアが何であれ、またそのメディアが、どのようにこの指定された能動的参加者によって、見られ、聞かれ、観察されるように構成されようとも、これらは受動的参加者にそのまま提供される。例えば、この指定された能動的参加者がコラボレーションのプレゼンターの場合、このプレゼンター参加者がモニターしているのは今プレゼンテーションをしているメディアだけなので、視聴者へのフィードバックや現在のプレゼンテーションメディアが、受動的参加者に提供されるメディアの全てとなるかもしれない。他の会議システムでは、第３者のメディアプロデューサーによって、この受動的参加者にふさわしいプレゼンテーション用のメディアが選択され構成される。この第３者メディアプロデューサーは、「興味のある」メディアをバランスよく選択するのが理想的ではあるが、「興味のある」の選択はメディアプロデューサーを務めるこの第３者によって制限される上に、メディアや参加者（能動的、受動的）の数や多様性が増すと、興味の選択はますます難しくなる。例えば、複数の場所がかかわってくる一対多やグループ対多のコラボレーションでは、一つの場所の興味と別の場所の興味とが大きく異なるかもしれない。受動的参加者に提供されたメディアの選択及び構成は、一つの場所／グループのニーズを満たすには十分だけれども、別の場所／グループにとっては全く不十分かもしれない。必要なのは、「一」であっても「多」であっても、また興味が一様であっても多様であっても、受動的参加者のニーズを満足する自動化された、知的なコンテンツとコンテンツ配信機能を提供する会議システムである。
【課題を解決するための手段】
【００１２】
大まかに言えば、本発明は、会議メディアに対する関心を演繹的に推論し格付けすると共に、複数参加者ビデオ会議の受動的参加者のために選択されたメディアのコンテンツ及びプレゼンテーションレイアウトを制作する仮想プロデューサーモジュールを有する複数参加者による会議システムを提供してこうしたニーズに応えるものである。本発明は、プロセス、装置、システム、デバイス、方法、あるいはコンピュータ可読媒体など、いろいろな方法で実現できる。本発明の実施例をいくつか以下に説明する。
【００１３】
本発明は、能動的参加者及び受動的参加者をサポートする会議システムを提供する。この会議システムは、能動的参加者が能動的参加者のためのメディアを能動的参加者が選択及び構成し、会議システムが受動的参加者に対するメディアを選択し、提供する。この会議システムは、能動的参加者および受動的参加者を定義するクライアントコンポーネントと、そのクライアントコンポーネントにおいて定義される能動的参加者と受動的参加者各々への接続を有するサーバークライアントを有する。サーバーコンポーネントは、能動的参加者及び受動的参加者の各々とサーバーコンポーネントとの接続を管理する接続マネージャーと、会議メディアを受け取ると共に能動的参加者及び受動的参加者に会議メディアを配信するためのメディアミキサーと、受動的参加者に配信される会議メディアを選択する仮想プロデューサーを有する。受動的参加者に提供される会議メディアは、能動的参加者のグループの活動及び選択に基づいて動的に決定される。
【００１４】
また本発明は、能動的参加者及び受動的参加者をサポートするビデオ会議システムを提供する。このビデオ会議システムは、能動的参加者及び受動的参加者を定義するクライアントコンポーネントと、そのクライアントコンポーネントにおいて定義される能動的参加者及び受動的参加者の各々への接続を有するサーバークライアントを有する。サーバーコンポーネントは、会議メディアを解析すると共に受動的参加者に提供される会議メディアを選択する仮想プロデューサーを有する。受動的参加者に提供される会議メディアは、能動的参加者のあるグループの活動及び選択に基づいて仮想プロデューサーによって動的に決められる。
【００１５】
また本発明は、ビデオ会議の参加者に配信する複数のメディアストリームからなる集合を決める方法を提供する。この方法は、ビデオ会議における全てのメディアストリームに関して生の格付けを決め、その全メディアストリームの生の格付けを解析する。この方法はさらに全メディアストリームの生の格付けをフィルタリングし、そのフィルタリングされた生の格付けから複数のメディアストリームからなる集合を選択する。その選択された複数のメディアストリームの集合がビデオ会議の参加者に配信される。
【００１６】
また本発明は、複数参加者によるビデオ会議の受動的参加者のためにメディアプレゼンテーションを制作する方法を提供する。この複数参加者ビデオ会議には、能動的参加者と受動的参加者がいるので、この方法では複数参加者によるビデオ会議における全てのメディアの生のメディア格付けが決められる。この方法はさらに、生のメディア格付けをフィルタリングし、そのフィルタリングされた生のメディア格付けから受動的参加者に提供されるメディアを選択することができる。その選択されたメディアが複数参加者ビデオ会議で受動的参加者に提供される。この複数参加者ビデオ会議システムは受動的参加者に対するメディアプレゼンテーションを制作及び提供する。
【００１７】
また本発明は、複数参加者によるビデオ会議の受動的参加者にメディアプレゼンテーションを提供するプログラム命令を有するコンピュータ可読媒体を提供する。このコンピュータ可読媒体は、ビデオ会議における全てのメディアストリームの生の格付けを決定するプログラム命令と、その全メディアストリームの生の格付けを解析するプログラム命令を含んでいる。全メディアストリームの生の格付けをフィルタリングするプログラム命令及びそのフィルタリングされた生の格付けから複数のメディアストリームからなる集合を選択するプログラム命令も提供する。その選択された複数のメディアストリームからなる集合をビデオ会議の受動的参加者に配信するためのプログラム命令も提供する。
【００１８】
本発明は従来技術に優る数多くの効果を有し、そうした効果は発明の原理を例をあげて説明している添付の図面と共に以下に述べる詳細な説明から明白になる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態を図面に基づいて説明する。
【実施例１】
【００２０】
ビデオ会議の受動的参加者に興味深いコンテンツを解析し、選択し、配信する発明を説明する。以下の説明において、本発明を完全に理解できるように数多くの具体的な説明を述べる。しかしながら、そうした具体的な説明を部分的にあるいは全く知らなくても本発明を実施できることは当業者であればこの開示に照らして理解できるであろう。他の場合には、本発明を不要に曖昧にしないために、公知のプロセス操作については詳細な説明を省く。
【００２１】
本発明の実施例は、ビデオ会議において、興味に基づく知的なメディア選択をビデオ会議の受動的参加者のために制作する方法及びシステムを提供する。本明細書で使用しているように、「メディア」には、例えば、パワーポイント（POWERPOINT）プレゼンテーションイメージ、ビデオ／音声ストリーム、ラスタ／ベクトルイメージ、アノテーション、ドキュメントなど、ビデオ会議で遭遇する任意の適したタイプの情報及びデータが含まれる。本発明の実施例は、先に出願した米国特許出願番号１０／１９２，０８０に説明されているビデオ会議システムで実施することができる。
【００２２】
概要として、本発明の実施例を実施できるビデオ会議システムを大まかに説明する。図１は、バックチャンネル１１０ａ〜１１０ｎで示されるクライアントモニターバックチャンネル１１０を有する、複数の参加者による会議システム１００の概略図である。複数参加者会議システム１００は、参加者Ａ（１０２ａ）〜参加者Ｎ（１０２ｎ）で示される会議参加者Ａ〜Ｎを含み、各会議参加者１０２は会議クライアント１０４ａ〜１０４ｎで示される会議クライアント１０４及びクライアントモニター１０６ａ〜１０６ｎで示されるクライアントモニター１０６を有する。会議チャンネル１０８ａ〜１０８ｎで示される会議チャンネル１０８及びバックチャンネル１１０ａ〜１１０ｎで示されるバックチャンネル１１０は、各会議参加者１０２をメディアハブサーバーの多地点制御ユニット（ＭＣＵ）１１２と接続する。ＭＣＵ１１２は、イベントハンドラー１１６を有する接続マネージャー１１４、セッションマネージャー１１８、メディアミキサー１２０を有する。
【００２３】
図で示した複数参加者による会議システム１００において、会議クライアント１０４は参加者１０２にローカル機能を提供すると共に会議システムへのアクセスを許可する。参加者１０２が提供したメディアコンテンツは、会議チャンネル１０８を経由して会議クライアント１０４からＭＣＵ１１２に送られる。さらに、メディアはＭＣＵ１１２から会議チャンネル１０８を経由して会議クライアント１０４によって受け取られ再生される。
【００２４】
例えば、本会議システム１００は、ビデオ会議に接続されたパソコンにインストール可能なピアツーピアのビデオ会議アプリケーションなどの、既存の会議クライアントソフトウェアを拡張する。ピアツーピアのビデオ会議アプリケーションの一例として、マイクロソフト社のアプリケーションNETMEETINGがある。クライアントモニター１０６が提供するデータによってソフトウェアの機能を高めることができる。例えば、クライアントモニター１０６は、グラフィカルユーザインターフェース（ＧＵＩ）を組み込んでおり、これによりピアツーピアアプリケーションのビデオウィンドウが一つのコンポーネントとなる。
【００２５】
クライアントモニター１０６は、会議クライアント１０４からＭＣＵ１１２への入力を捕らえて供給する。その捕えられた入力は、会議チャンネル１０８と並行して動作する個別のバックチャンネル接続１１０を介してＭＣＵに送信される。例えば、ＭＣＵ１１２は、バックチャンネル１１０を介して、この獲得されてＭＣＵ１１２に供給された入力を基にして、参加者１０２に表示されているＧＵＩを動的に修正することができる。例えば、クライアントモニター１０６は、参加者１０２のマウス操作やキーボード動作といったイベントを捕らえる。また、会議クライアント１０４に表示される映像やその他のメディア信号を構成したり表示するために行われる活動をイベントとして捉える。例えば、このような活動は捕獲され、バックチャンネル１１０を介してＭＣＵ１１２に送られ、解釈される。それにより、バックチャンネル１１０は、活動領域やユーザーインターフェースオブジェクトやそれに類するものに対して、ビデオストリーム内で機能やコンテンツをコントロールするために使用されることを許可する。従って、参加者１０２は、選択されたメディアレイアウトの異なる領域に割当てられた映像を直接的にも間接的にもコントロールする。クライアントイベントを処理するＭＣＵ１１２に対して、会議チャンネル１０８を介した能動的な提供や選択によって直接的に、あるいはバックチャンネル１１０介したフィードバックにより間接的にと。
【００２６】
ＭＣＵ１１２は、会議システム１００の一次サーバーで、接続されている参加者１０２ａ〜１０２ｎ間での複数の参加者による会議を容易にする。その他のコンポーネントは全てＭＣＵ１１２内で管理、維持される。接続マネージャー１１４は、ＭＣＵ１１２と参加者１０２ａ〜１０２ｎとの物理的接続を支援する。各参加者１０２ａ〜１０２ｎのピアエンドポイントとして機能しながら、接続マネージャー１１４は、特定の参加者１０２に対して全てのメディアがＭＣＵ１１２に出入りするところである。バックチャンネル１１０を有する参加者１０２ａ〜１０２ｎは、接続マネージャー１１４と接続し、イベントハンドラー１１６を介してイベントを解決する。
【００２７】
イベントハンドラー１１６は、各参加者１０２ａ〜１０２ｎの活動をモニターすると共に経路１２４でメディアミキサー１２０に入力を供給し、メディアレイアウトを構成する。各イベントは、映像や音声やその他のメディアデータと関連するコンテキストマーカーを、その活動時に生成する。ある解析方法により特定のメディアデータに関する全てのコンテキストマーカーを調べ、「興味領域」を抽出する。
【００２８】
セッションマネージャー１１８は、各タイプの会議コラボレーションを管理する規則を定義し、それに従ってシステム及び参加者両方のメディア交換動作をコントロールする。セッションマネージャー１１８は、参加者１０２ａ〜１０２ｎが操作又はコントロールできるコンテンツを制限することができる。セッションマネージャー１１８は、一人以上の参加者１０２からなるあるグループの役割を定義し、その役割に適した機能を提供することもできる。例えば、セッションマネージャー１１８は、視聴者としての参加者１０２よりも発言者としての参加者１０２による会議のコントロールを優先するプレゼンテーション規則を定義してもよい。ある視聴者としての参加者１０２が質問をしたい場合は、この規則により以下のように指示される。まず発言者としての参加者１０２が、質問のあるその視聴者としての参加者１０２を呼び出すためにシステムに信号を送らなければならない。そして、その視聴者である参加者１０２の音声がシステムを通過することが許可される。そして、その発言者である参加者１０２にコントロールが戻って、コメントする。パネルディスカッションの規則を定義する場合は、セッションマネージャー１１８は、「一次」参加者１０２を構成する小さなグループの参加者１０２を定義し、その他の参加者は基本的に観察モードだけで出席する。また、コラボレーションモデルに基づいて、コンテンツや活動をコントロールするのもセッションマネージャー１１８の機能の一つである。
【００２９】
メディアミキサー１２０は、各参加者１０２ａ〜１０２ｎから提供された会議メディアを受け取り、しかるべきメディアを会議の各参加者１０２ａ〜１０２ｎに適宜配信する。より効率的に配信できるように、いくつかのメディア信号を適宜組み合せてもいい。メディアミキサー１２０は、イベントハンドラー１１６やセッションマネージャー１１８など様様なソースから命令を受け、各参加者１０２ａ〜１０２ｎに対するメディア配信のレイアウトやコンテンツをコントロールする。
【００３０】
図１のビデオ会議システム１００で示した本発明の実施例は、能動的参加者及び受動的参加者の両方に対応可能な、複数参加者によるビデオ会議適応型コンテンツ配信システムを提供することによって、ビデオ会議システム１００により配信されるコンテンツを強化する。本発明のシステムは、提供されたコラボレーションメディアや、能動的な参加者グループの活動や対話、さらに会議を管理する規則をモニターして、通信の対象として「重要な」又は最も関係あるコンテンツやレイアウトを決める。このシステムには「仮想プロデューサー」が組み込まれ、これらの活動や入力を解析すると共に、提供されたメディアの一部を選択して、会議を受動的に見ている参加者（つまり、会議経験機能が限定されている参加者や活動または入力の機能は十分にもっているが受動的に眺めることを選択する参加者）に配信する。
【００３１】
本発明の実施例は、会議メディアのコンテンツの重要性を定義し割り当てる、「興味マーカー」を提供するフィードバックメカニズムを有する。メディア重要度を使用することで、リアルタイムでメディアの配信、品質、プレゼンテーションを変更し、より重要性の高い、又は関心の高いメディアを強調し、不要なメディア処理をなくすことでシステム負担（例えば、選択されたメディアを処理するのに要するシステムリソースの量）を軽減することができる。
【００３２】
図２は、本発明の一実施例による複数参加者会議システム１５０のシステム概略図である。前述の通り、本発明の実施例は、図１に示した複数参加者会議システム１００で実施することも、他の任意の適切なビデオ会議システムで実施することもできる。基本的に、図１で説明したコンポーネントは、全て図２の複数参加者会議システム１５０に含まれており、いくつかの変更点については以下に詳細に説明する。図及び説明を簡明にするために、会議参加者１５２が全ての参加者１５６を含むように集合的に図解されている。全参加者１５６は、１５６ａ〜１５６ｎで示されている。個々の参加者１５６ａ〜１５６ｎは、能動的（Ａ）か受動的（Ｐ）か示され、各参加者１５６ａ〜１５６ｎは、言うまでもなく会議クライアント及びクライアントモニター（図１では会議クライアントＡ〜Ｎ（１０４ａ〜１０４ｎ）及びクライアントモニターＡ〜Ｎ（１０６ａ〜１０６ｎ））を有すると想定する。１５８ａ〜１５８ｎで示されるクライアント接続チャンネル１５８は、その参加者１５６の構成によって、会議チャンネル（図１では会議チャンネル１０８ａ〜１０８ｎ）とバックチャンネル（図１ではバックチャンネル１１０ａ〜１１０ｎ）を有するのか、会議チャンネルだけを有するのか、が決まる。本発明の一実施例において、能動的参加者１５６は、会議チャンネルとバックチャンネルの両方を有するクライアント接続チャンネル１５８を有する。受動的参加者１５６は、多地点制御ユニット（ＭＣＵ）１６０と接続可能な会議チャンネルを有するクライアント接続チャンネル１５８を有する（バックチャンネルも有していて構わないが、必須ではない）。ＭＣＵ１６０は、以下に説明するように、拡張され仮想プロデューサーモジュール１６２が組み込まれている。
【００３３】
本発明の一実施例において、仮想プロデューサーモジュール１６２は、入力を解析し、会議メディアの一部を選択して、会議を受動的に見ている参加者１５６に配信する。仮想プロデューサーモジュール１６２は、メディア格付け（ＭＲ）モジュール１６４、メディア解析（ＭＡ）モジュール１６６、メディア選択・レイアウト（ＭＳＬ）モジュール１６８を有する。
【００３４】
プロデューサーの伝統的な役割は、メディアの興味深いコンテンツを判定し、選択された信号をしかるべき参加者に送ることである。一般的には、システムに直接取り付けられた専用のメディア管理デバイスによって、プロデューサーはタスクの達成が可能になる。専用のメディア管理デバイスは、プロデューサーが検査したり選択したりするために使用可能な全てのメディアにアクセスする。この専用のメディア管理デバイスを介して、プロデューサーは、ユーザに必要な信号だけを配信するようにこの配信システムをプログラムすることができる。プロデューサーを使えないシステムでは、予めプログラムされた規則がプロデューサーのような機能を提供する。例えば、予めプログラムされた規則には、音声信号が一番大きい参加者のビデオを表示するとか、指定された発言者のビデオだけを表示するといったことを含めることができる。
【００３５】
本発明の一実施例において、メディアコンテンツのコントロールは、能動的参加者のグループの中に分散される。次の説明では、能動的参加者を（集合的に）能動的参加者１５６として示しているが、言うまでもなく、能動的参加者１５６には全ての能動的参加者１（Ｐ１）１５６ａ、（Ｐ２）１５６ｂ、（Ｐ３）１５６ｃ、（Ｐ４）１５６ｄ、及び任意の能動的参加者１５６ｎが含まれる。同様に、受動的参加者は（集合的に）受動的参加者１５６として示されているが、言うまでもなく、全ての受動的参加者５（Ｐ５）１５６ｅ、（Ｐ６）１５６ｆ、（Ｐ７）１５６ｇ、（Ｐ８）１５６ｈ、及び任意の受動的参加者１５６ｎが含まれる。以下に詳説するように、システムの「成果物」は、参加者が定義したレイアウトやメディアの選択によって、メディアミキサー１２０に与えられたミキシング指示により発生する。仮想プロデューサーモジュール１６２は、同じように動作する「仮想プロデューサー」を作成する。仮想プロデューサーモジュール１６２は、能動的参加者１５６グループからの入力をミキシングして「成果物」を生成する。その成果物に寄与する能動的参加者１５６のグループを能動的プロデューサー参加者１５６と呼ぶことにする。
【００３６】
能動的参加者１５６は、会議中に使用可能なメディアレイアウトの集合から個々のメディアレイアウトを選択する（又はメディアレイアウトが供給される）。メディアレイアウトについては、図５Ａ〜５Ｅで詳細に説明する。選択されたレイアウトは、複数の領域を定義し、各能動的参加者１５６は、ＭＣＵ１６０によって会議メディアを表示するように指示する。能動的参加者１５６は、メディアを選択してそのレイアウトの中にミキシングし、配信することで、実質的にはその会議の個々のローカルビュー（チャンネル）を「制作」する。ＭＣＵ１６０は、これらの選択を変えるイベントを絶えずモニターすることにより、各能動的参加者１５６のメディアやレイアウトの選択を認識する。
【００３７】
受動的参加者１５６は、メディアコンテンツ及びレイアウトの管理を複数参加者ビデオ会議システム１５０に任せる。受動的参加者１５６は、ビデオ会議を観察し、しかるべきコンテンツをしかるべきレイアウトで配信することを複数参加者ビデオ会議システムに頼っている。一つのシナリオとして、複数参加者ビデオ会議システム１５０は、例えば、能動的参加者Ｐ１（１５６ａ）の「制作」コンテンツを受動的参加者１５６全員に単に供給することができる。しかしながら、Ｐ１（１５６ａ）は自分の「成果物」の選択肢を他の参加者１５６に知られたくないかもしれないし（つまり、Ｐ１はプロデューサー参加者ではない）、Ｐ１（１５６ａ）は受動的参加者１５６のビデオ会議観察用に選択された最も適したメディアをもっていないかもしれないし、Ｐ１（１５６ａ）はビデオ会議の全ての能動的参加者１５６を代表するような典型的な参加者ではないかもしれない。さらに、この簡素化されたソリューションは、受動的参加者１５６への特定のコンテンツの提供を制限するシステム規則又はコラボレーション規則を計算に入れられない。
【００３８】
受動的参加者１５６は、複数参加者ビデオ会議システム１５０と明確な対話をしないかもしれない。一例として、受動的参加者に提供されるメディアコンテンツは複数参加者ビデオ会議システム１５０によって作られる。複数参加者ビデオ会議システム１５０は、システム規則及びコラボレーション規則と、重みを付けられた参加者の活動と、複数の能動的プロデューサー参加者１５６によって生成されたイベントマーカーの集合に従って、このコンテンツを制作する。能動的プロデューサー参加者１５６は、システム及びコラボレーション規則に従ってメディアコンテンツを選択及び構成し、フィードバックを提供し、さらに、以下に詳説する、特定のメディアコンテンツの有意性を識別する興味マーカーを提供する。例えば、仮想プロデューサーモジュール１６２は、提供されたメディアコンテンツを知的に選択及び構成すべく、受動的参加者１５６の代理役を果たす。
【００３９】
図３は、本発明の一つの実施例による仮想プロデューサーモジュール１６２の簡約概略図である。仮想プロデューサーモジュール１６２は、全てのシステム情報、関係ある参加者の活動、会議メディア選択肢を収集及び評価し、システム規則及びコラボレーション規則に従って会議の専用ビューを構築する。仮想プロデューサーモジュール１６２への特定の入力については、メディア格付けコンポーネントモジュール１６４、メディア解析コンポーネントモジュール１６６、メディア選択・レイアウトコンポーネントモジュール１６８を含む仮想プロデューサーモジュール１６２のコンポーネントモジュールの機構と共に、図４、６、７で以下に詳説する。一例として、仮想プロデューサーモジュール１６２からメディアミキサー１２０に出力され、その出力により、制作コンテンツが受動的参加者１５６に配信されるように指示する（図２参照）。
【００４０】
図４は、本発明の一実施例による仮想プロデューサーモジュール１６２（図３参照）のメディア格付けコンポーネントモジュール１６４の簡単な概略図である。制作された会議ビューは、システム規則及びコラボレーション規則に従って、レイアウトによって画定された格付けメディア埋め込み領域のレイアウトから成り立っている。レイアウト内のメディアの格付けは、メディア格付けコンポーネントモジュール１６４の機能である。能動的参加者１５６（図２参照）は、ＭＣＵ（図２参照）が提供するレイアウトでメディアコンテンツを選択及び構成することができる。一例として、能動的参加者１５６は、ＭＣＵ１６０が提供する複数のメディア構成テンプレートからレイアウトを選択する。メディアコンテンツは、ある特定の能動的参加者１５６に使用可能な全てのメディアコンテンツからなる一つの集合から選択される。選択されたメディアコンテンツ及びレイアウトは他の全ての能動的参加者１５６間で独特であるかもしれない。
【００４１】
図５Ａ〜５Ｅは、本発明の一実施例として実現された模式的メディアレイアウトを示す図である。本明細書で用いているように、レイアウトにより、ビューを区分する領域の集合（Ｒ１〜Ｒｎ）が定義される。別の領域とオーバラップする領域は、オーバラップする空間を「切り捨てる」（隠す）か、オーバラップした領域と透過的に一緒にされているかのいずれかである。各領域は、複数参加者ビデオ会議システム１５０（図２）において、ある特定のコラボレーションや会議に使用可能ないくつかのメディアコンテンツを保持するための代替物を表わす。メディアの例としては、会議参加者から提供される音声や映像、会議場や遠隔地からの音声及び／又は映像、文書、スライドプレゼンテーション、イメージなどがあるが、もちろんこれらに限定されるものではない。例えば、メディアレイアウトにおいて、各参加者の使用可能なビデオフレームは、それを見ている参加者固有の構成規則に従って、一つ以上のＲｎ領域内に収まるように拡大縮小される（各Ｒｎ領域は一つのビデオフレームを有する）。
【００４２】
例えば、メディアレイアウト内のＲｎ領域は、それぞれがその重要性、機能及び用途、相対的大きさ、又はその他のパラメータに応じて重み付けされているかもしれない。一例として、各能動的参加者１５６（図２参照）は選択されたメディアレイアウトのＲｎ領域に相対的重要度を割り当てる。別の例では、能動的参加者１５６はメディアレイアウトを選択するが、各Ｒｎ領域の相対的重要度は複数参加者ビデオ会議システム１５０（図２参照）やシステム規則などによって事前に決められる。一般的には、一つの領域が一次（Ｐ）領域に指定され、もう一つの領域がサーバーユーザインタフェース（ＳＵＩ）領域に指定される。ＳＵＩ領域は、サーバーインタフェース又は構成インタフェースのためにとっておく。普通、各領域の寸法は、サーバーと会議参加者１５２（図２参照）との間で決められたフレームサイズと、メディアコンテンツのアスペクト比とによってコントロールされる。
【００４３】
図５Ａ〜５Ｅは、本発明の実施例で使用可能な多様な模式的メディアレイアウトを説明するものである。図５Ａでは、基本的に一次領域Ｒ１がメディアレイアウトを埋めつくし、二次的に重要な領域Ｒ２はより小さな「ピクチャインピクチャ」表示として識別される。図５Ｂでは、一次領域Ｒ１はメディアレイアウトの左側の一番大きな領域で、一次領域Ｒ１のすぐ下の小さな領域にＳＵＩがある。各Ｒｎに割り当てられた数字（つまり、Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５）はＲｎ領域の相対的順位で、１が重要性や関連性、関心度が最も高く、以降、２、３、…、ｎの順になる。図５Ｃはそれぞれ大きさの複数のＲｎからなる構成を表示し、図５Ｄは同じ大きさの複数のＲｎ領域の構成を示している。図５Ｅは単一のＲｎ領域にメディアレイアウトを埋めこむ構成を示している。例えば、図５Ｅは、一対一コラボレーションに最良の（又は唯一の）メディアレイアウトかもしれない。
【００４４】
図４に戻ると、メディア格付けコンポーネントモジュール１６４は複数参加者によるビデオ会議システム１５０（図２）で使用可能な全てのメディアの生の格付けを出力するために複数の入力を一緒にする。メディア格付けコンポーネントモジュールへの入力には、メディアリスト１８６、参加者の格付け１８０、興味マーカー１８２、トリガーイベント１８４があり、これらの入力から生のメディア格付け１８８出力が生成される。
【００４５】
メディアリスト１８６は、例えば特定のビデオ会議セッションなどにおけるコラボレーションのやり取りにおいて、使用可能な全てのメディアを編集したものである。例えば、ある特定のビデオ会議セッションには、第１発言者からの音声（Ａ１）、第１発言者からの映像（Ｖ１）、第２発言者からの音声（Ａ２）、第２発言者からの映像（Ｖ２）、第１ドキュメント（Ｄ１）、第１パワーポイントプレゼンテーション（ＰＰＩ）などがあるかもしれない。メディアリスト１８６は、単にメディア格付けコンポーネントモジュール１６３によって処理される使用可能な全てのメディアのリストである。
【００４６】
コラボレーションのやり取りに導入されたコンテンツやイベントは、意図した用途だけでなく測定されたフィードバックにも応じて、重み付される。例えば、プレゼンテーションスライドを表示しているプレゼンターのビデオイメージよりもプレゼンターが表示している新しいプレゼンテーションスライドを重要視することができる。ある特定のメディア集合の配信により、多数の能動的プロデューサー参加者から、又はある特定の場所や領域、システム上の下位区分などに在する能動的プロデューサー参加者の一部といった識別可能な一部の能動的プロデューサー参加者から、測定可能な応答を生成することができる。各参加者のメディアレイアウトは、選択されているメディア間の格付けを確立するのにも役立つ。
【００４７】
本発明の一実施例において、メディア格付けコンポーネントモジュール１６４は、各会議メディアに重みを割り当てるために、参加者の選択、イベント活動、メディアレイアウトなどを集約する。次に、コラボレーションのやり取りの中で、受動的参加者１５６（図２参照）に対して提示されるメディアを選択及び構成するために、割り当てられた生のウェイトを解析する。一例として、メディアの格付けは、各能動的プロデューサー参加者１５６（図２参照）が使用可能な全てのメディアに対する興味を測定した集計である。参加者の格付け入力１８０は、各能動的プロデューサー参加者がメディアの選択及び構成により表現した関心度である。選択された各能動的プロデューサー参加者１５６のメディアレイアウト（図５Ａ〜５Ｅ参照）によって、ある特定の能動的プロデューサー参加者１５６にとって使用可能な全メディアの重要度のランクが決まる。例えば、各能動的プロデューサー参加者１５６は、第１発言者からの音声及び第１発言者からの映像をＲ１領域（図５Ａ〜５Ｅ参照）の中に構成して、第１発言者の音声及び映像が極めて重要なことを示すかもしれない。各能動的プロデューサー参加者１５６が使用できる残りのメディアは、各能動的プロデューサー参加者１５６にとって使用可能なメディアの選択及び構成を同化し、それを反映させたメディアの関心度や重要度に応じて格付けされる。
【００４８】
一例として、興味マーカー１８２は、能動的プロデューサー参加者１５６にとって、あらゆるメディアのイベントやある時間的な瞬間やある部分についての関連性、有意性、重要性を示す目安でもある。興味マーカー１８２は、一般的にある時点を感知することが可能で、短期又は長期のメディア格付けに用いることができる。一例として、能動的プロデューサー参加者１５６は、特定のメディアに興味マーカーを割り当てることができる。例えば、メディアレイアウトのＳＵＩ領域にあるアイコンやメニューや選択可能な機能（図５Ａ〜５Ｅ及び関連の説明参照）を用いて、ビデオ会議中に興味マーカーを割り当てる。別の例では、能動的プロデューサー参加者１５６のメディアレイアウトのメディア領域を右クリックして、その特定の又は関連付けられたメディアの興味マーカーを識別することができる。興味マーカー１８２は捕らえられ、メディア格付けコンポーネントモジュール１６４に入力される。
【００４９】
一般的に、メディアに興味をもつ時点というのは興味マーカーが割り当てられるよりも先である。これは、能動的プロデューサー参加者１５６は、見たり聞いたりしたことを処理して考えるの、音声や映像のような時間ベースのコンテンツについては特にそうである。例えば、音声や映像といった動的メディアの場合、メディア時間の幅（つまり、メディアの５秒、１０秒、又は３０秒前なども興味の中に含まれる）を定義するように興味マーカーを構成することができる。また、より静的なメディアでは、興味マーカーによって特定のプレゼンテーションスライド、ドキュメント、あるいはドキュメントの頁、項、段落などを識別するようにしてもいい。
【００５０】
本発明の一実施例では、異なるタイプの興味マーカーを処理し、集約し、メディア格付けコンポーネントモジュール１６４に入力するように構成することができる。例えば、投票マーカーは決議を有するメディアを知らせる。「イエス」、「賛成」、「ノー」、「不賛成」やその他のマーキングが全てシステムに入力される。このフィードバックはメディアでトラッキングできるので、複数のメディアセグメントに渡る累積結果を維持して、能動的プロデューサー参加者１５６のグループが興味度を測定するようにすることができる。メディア格付けへ寄与するだけでなく、この結果をリアルタイムで処理して予測したり、実際の結果をリアルタイムで発言者参加者１５６や他の参加者１５６に公表してフィードバックすることもできる。別のタイプの興味マーカーとしてトピックマーカーがある。メディアを「ハイライト」して後で検討するために使用する。トピックをハイライトすることによってブックマークと同様にメディアのコンテンツのある領域を識別する。
【００５１】
トリガーイベント１８４は、ある行動やイベントが発生した際に、特に関連性のある又は関心のあるメディアを識別する。一例として、トリガーイベントには、新しいプレゼンテーションスライドの表示、文書の導入、新しい発言者、新しいグループの追加又は参加者の分割、質疑応答などが含まれる。トリガーイベント１８４入力の好ましい実施や用途に従って、トリガーイベントを特定のコラボレーションモデルや会議に対して定義したり適合させることができる。
【００５２】
メディア格付けコンポーネントモジュール１６４のメディア格付け１８８出力は、複数参加者ビデオ会議システム１５０（図２参照）のある特定のセッションで使用できる全ての使用可能メディアの生の格付けの集まりである。一例として、メディア格付け１８８は、測定された累積の関心度、関連性、重要性、有意性などが順番（降順又は昇順）に並んだ使用可能な全メディアのリストである。例えば、メディア格付け１８８出力を得るために、フィルタ、コラボレーション又はシステム規則、あるいはその他のどのような制約も直接的に適用されない。一例として、以下に図６で説明する解析及びフィルタリング用メディア解析コンポーネントモジュールには、生のメディア格付け１８８が供給される。
【００５３】
図６は、本発明の一実施例による、仮想プロデューサーモジュール１６２（図２参照）のメディア解析コンポーネントモジュール１６６を示した図である。メディア解析コンポーネントモジュール１６６は、メディア格付けコンポーネントモジュール１６４（図４参照）から生のメディア格付け１８８を受け取り、使用可能なメディアの格付けを解析すると共に、動的環境で、興味、関連性、有意性、重要性などが急激且つ突然に変動しやすい格付けされたメディアをフィルタリング及び減衰させる。一例として、メディア解析コンポーネントモジュール１６６への入力には、生のメディア格付け１８８、コラボレーション規則１９０、システム規則１９２が含まれる。そして重み付けされたメディアリストとも呼ばれる格付けされたメディアリスト１９４が出力される。
【００５４】
仮想プロデューサーモジュール１６２（図２参照）の予測能力により、興味マーカー、その他のメディア表記、履歴の傾向、識別されたトリガーイベントなどに基づいて、いつ、しかるべきメディアがすぐに使用できる状態になっていなければならないかを識別することができる。同様に、異なる時点のメディアに対するマーカーの繰り返し使用は、重要性の高いメディアを識別する文脈解析システムに役に立つ。メディア解析コンポーネントモジュール１６６は、このような学習した動作をメディア格付け１８８に適用する。
【００５５】
構成オプションとしても知られる、コラボレーション規則１９０や固定のシステム規則１９２によって、メディア格付けが仮想プロデューサー１６２（図２参照）で使用されるのを防止することができる。一例として、とりわけ賢明、楽しい、あるいは興味深い他の参加者１５６からの音声メディアが能動的プロデューサー参加者の集合から一貫して高いメディア格付け１８８を受けていたとしても、識別された発言者である参加者、つまり能動的参加者１５６（図２参照）を指定された一次興味メディアとするようにコラボレーション規則で決めてもよい。別の実施例では、システム規則によって、Ｐ３（１５６ｃ）（図２参照）からの映像は表示されない、あるいは文書は全て個別の文書リーダで供給され、受動的参加者１５６のメディアレイアウト（図５Ａ〜５Ｅ参照）のＲｎ領域に文書は構成されない、と決めてもよい。メディア解析コンポーネントモジュール１６６はこの機能をサポートしている。
【００５６】
一実施例として、メディア解析コンポーネントモジュール１６６は、仮想プロデューサーモジュール１６２（図２参照）機能におけるメディア格付け１６４とメディア選択及びレイアウト１６８コンポーネントモジュールとの間にバッファを提供する。例えば、メディア解析コンポーネントモジュール１６６は、ランク付きメディアリスト１９４の変更のタイミングをコントロールして、メディア選択が急速に変わって参加者を混乱させないようにする。また、生のメディア格付け１８８を変えずにプログラム可能なある時間が経過した後にだけランク付きメディアリスト１９４の変更を許可するようにメディア解析コンポーネントモジュール１６６をプログラムしてもよい。二人以上の参加者の間でやり取りが行なわれる場合には、メディア解析コンポーネントモジュール１６６によって「ピンポン」作用を減衰又は除去することができる。受動的参加者１５６（図２参照）の気が散ったりプレゼンテーションが混乱しないように、メディアレイアウトを修正やメディアの変更を減衰、音量又はその他のメディア構成の修正、あるいは他のそうした方策を実施してもよい。
【００５７】
一実施例において、興味マーカー１８２やトリガーイベント１８４（図４参照）など他のイベントは、メディア格付けコンポーンネントモジュール１６４（図４参照）に入力されるのとは別に、メディア解析コンポーネントモジュール（図６には未表示）に供給される。興味マーカーの「クラスタ」解析やイベント活動の「トレンド」解析によって、受動的参加者１５６（図２参照）のビデオ会議経験を向上させることができる。興味領域は、活動のクラスタや活動のトレンドが発生した（又は発生している）メディア空間を指している。活動のクラスタは、ある短い時間間隔に渡るイベントのような機能として定義される。クラスタはイベントのタイプやイベント間の関係に基づいて類別することができる。例えば、能動的参加者１５６（図２参照）の大きなグループは、一次メディアとしてある特定の会議メンバーを見ることを選択したり、興味マーカーをそのメディアに割り当てるという活動を発生させる。全ての活動は小さな時間間隔に発生する。これによりクラスタが類別され、興味領域がシステムによって識別される。メディア格付け及び選択のための未来解析を実行するために、この興味領域に注目するように、システムによってクラスタ興味マーカーを割り当てるようにしてもよい。また、システムが、単一の興味マーカーやイベント格付け動作の場合よりも大きい位取り、つまり重みによって、メディア格付けやメディア格付けの変更を実施するようにクラスタ興味マーカーを使用してもよい。
【００５８】
場合によっては、活動のクラスタとは対照的に、活動のトレンドは検出される。例えば、ある長めの区間に、参加者１５６のあるグループが別の参加者と比べてある特定の参加者をもっと見始めると、活動のトレンドが識別される。その参加者１５６のグループがメディアに見出している関連する興味をハイライトして、その特定の参加者のメディアに及ぶ興味領域を作成してもいい。メディアの格付けや選択のために未来解析を実施するにあたりこの興味領域に注目するように、システムがトレンド興味マーカーを割り当てるようにしてもいい。クラスタ興味マーカーのトレンドをシステムが識別するようにすることもできる。また、システムが、他の興味マーカーやイベント格付け活動の場合よりも大きい位取り、つまり重みによって、メディア格付け又はメディア格付けの変更を実施するためにクラスタ興味マーカーを使用してもよい。
【００５９】
このような活動を解析し、興味領域にラベルを付けるシステム機能には、大多数の参加者がある特定のメディアを見るのを監視する機能が入ってもよい。その際、システムは、自分自身の興味マーカーをそのメディアに作り、参加者のビューの重要な変化を示す目印とする。同様に、発言者参加者１５６やその他の参加者１５６は重要な議題に対して合図したり、明確なもっと重みのある興味マーカーを生成してもよい。このような興味マーカーは、メディア格付けプロセスに直接的に影響を与えるかもしれないし、あるいはメディア解析コンポーネントモジュール１６６に採用され、システム規則１９２に従ってランク付きメディアリスト１９４出力を適宜修正するかもしれない。
【００６０】
本発明の一実施例において、メディア解析コンポーネントモジュール１６６は、一般的に、コラボレーション規則１９０やシステム規則１９２に基づいてバッファリングを行ない、さらに任意の又は全てのトレンドを示す興味マーカーの入力を実行する。そのためにはメディアミキサー１２０（図２参照）からのメディア信号にアクセスしなければならない、及び／又は、例えばメディア格付けの「同点」などを解決するために、ランク付きメディアリスト１９４を決定する別のプロデューサーモジュール１６２ａ（図８及び関連説明参照）を使用する。
【００６１】
メディア解析コンポーネントモジュール１６６の出力が、ランク付きメディアリスト１９４である。例えば、ランク付きメディアリスト１９４は、格付けや重み付けが割り当てられた、受動的参加者１５６（図２参照）が使用可能な全てのメディアのリストである。前述の通り、システムの全てのメディアが受動的参加者１５６に必ずしも使用可能とは限らない。ランク付きメディアリスト１９４は、基本的には、コラボレーション規則１９０やシステム規則１９２、さらに一例としては興味マーカー（図６では未表示）などに従って、既にバッファリングされた、減衰された、さもなければフィルタリングされた入力メディアの格付け１８８である。図６において、ランク付きメディアリスト１９４に割り当てられた格付けや重みを「Ｘ」で示す。これは、受動的参加者１５６にとって使用可能な各メディアに割り当てられたランクや重みを示している。しかし、任意の適切な手段を用いて、使用可能な各メディアで興味レベルに優先順位を付けたり表示したりすることもできる。ランク付きメディアリストは、図７で以下に説明するように、次にメディア選択・レイアウトコンポーネントモジュール１６８により使用される。
【００６２】
図７は、本発明の一実施例による、メディア選択・レイアウトコンポーネントモジュール１６８を示す図である。ランク付きメディアリスト１９４は、メディア解析コンポーネントモジュール１６６（図６参照）からメディア選択・レイアウトコンポーネントモジュール１６８に入力され、その出力は仮想プロデューサーモジュール１６２（図２参照）からメディアミキサー１２０に送られる。生のメディア格付けに引き続いてコラボレーション規則、システム規則、興味マーカーに照らして格付けの解析を行なった後、メディアを選択及びレイアウトをしなければならない。選択されたものは、受動的参加者１５６（図２参照）に提供する制作コンテンツ及びビューを構築するためにメディアミキサー１２０に送られる。
【００６３】
一例として、基本的に図６で説明したと同じように機能するコラボレーション規則１９０及びシステム規則１９２は、受動的参加者１５６（図２参照）にとって使用可能なメディアレイアウトをフィルタリングするだけでなく、メディアコンテンツをフィルタリングするために、メディア選択・レイアウトコンポーネントモジュール１６８に入力される。初めに、簡単なレイアウト（つまり、メディア用に２、３の領域だけが入ったレイアウト）を選択してもよい。例えば、能動的参加者１５６（図２参照）によるレイアウト選択は、レイアウト選択のランクを定義し、受動的参加者１５６への提供を検討する。ランク付きメディアリスト１９４の中で重要性に関してランクの高いメディアの総数や全メディア間の相対的拡がりに基づいて、新たなレイアウトが選択され、最も役に立つメディアの集合として表示される。レイアウトを頻繁な変更や定期的な変更は、ユーザの気を散らす可能性があるので、一例として、ランク付きメディアリスト１９４に変更が起きるとどんな変更でもシステム規則１９２によってバッファリング又は減衰される。さらに、コラボレーション規則１９０及びシステム規則１９２が、使用されるレイアウトを定義するようにしてもよい。いずれの場合も、一旦レイアウトが選択されると、仮想プロデューサーモジュール１６２が決定した「最良の」メディアがビューに表示される。
【００６４】
言うまでもなく、受動的参加者１５６（図２参照）へのプレゼンテーションとして選択されなかったメディアも、能動的参加者１５６（図２参照）によって選択されなかったメディアと同様に、システム性能を修正する候補である。例えば、仮想プロデューサーモジュール１６２（図２参照）で使用できないメディアや使用されないメディアは、会議では重要でないかもしれないし、これに対応するデータ率を低下させることができる。これにより「興味のある」メディアに対するシステムの処理能力が高まる。
【００６５】
本明細書で説明するように、仮想プロデューサーは受動的参加者のために活動する。全てのシステム情報や、能動的参加者の活動や会議メディア選択に関連する情報を収集して評価することにより、仮想プロデューサーはある受動的参加者のグループのための専用の会議ビューを構築する。例えば、仮想プロデューサーモジュール１６２（図２参照）の実施は、任意の数の仮想プロデューサーに対応できるように拡大縮小される。前述の通り、複数参加者ビデオ会議システム１５０（図２参照）は、複数の定義された参加者グループに対応できる。定義された受動的参加者グループでは、配信された制作コンテンツに関する興味及び需要が異なる可能性がある。一例として、図２に示したように、より多くの仮想プロデューサーモジュール１６２をシステムに追加することによって、あるいは複数参加者環境内のネットワーク型ピアに仮想プロデューサーモジュール１６２を追加することによって、複数参加者ビデオ会議システム１５０に追加の仮想プロデューサーモジュール１６２を加えることができる。別の例では、定義されたグループ、部門、会議場、興味領域などに対応できる複数の仮想プロデューサーを作るために、各コンポーネントモジュール、つまり、メディア格付け１６４、メディア解析１６６、メディア選択・レイアウト１６８の各コンポイーネントモジュールの論理的な下位区分を、仮想プロデューサーモジュール１６２全体の中で、定義することができる。例えば、一つの会議場にいる参加者の集合はその現場の参加者に関心のあるコンテンツをより正確に「制作」できるかもしれない。その識別されたグループや参加者のグループのために定義された仮想プロデューサーは、会議の他の場所のために定義されたものとは動作が異なるかもしれない。同様に、別の会場から別の発言者がプレゼンテーションを始める場合のように、任意の仮想プロデューサーを構成する参加者の集合が、会議進行中に変わるかもしれない。従って、システムは、全ての「ローカル」の仮想プロデューサーの組合せから作られた会議全体の「グローバル」仮想プロデューサーを構築することもできる。
【００６６】
図８は、本発明の一実施例による、制作コンテンツの複数の出力を提供する仮想プロデューサーモジュール１６２ａを示した図である。図８において、コンポーネントモジュールは、各コンポーネントモジュールの複数の論理下位区分を示すために添字「Ｎ」で識別されている。従って、メディア格付けコンポーネントモジュール１６４ａ、メディア解析コンポーネントモジュール１６６ａ、メディア選択・レイアウトコンポーネントモジュール１６８ａは、複数のコンポーネントモジュールを表わす。コンポーネントモジュールの各集合、つまり、一つのメディア格付けコンポーネントモジュール１６４ａと、一つのメディア解析コンポーネントモジュール１６６ａと、一つのメディア選択・レイアウトコンポーネントモジュール１６８ａとを有する各集合は、定義されたグループ、下位区分、会議場などに制作コンテンツを提供するために上記のように動作する。定義された各グループ、下位区分、会議場などに供給された制作コンテンツは、そのグループのシステム規則、コラボレーション規則、興味マーカーなどに従って、しかるべきグループのために一意的に制作されている。前述の通り、別の例では、複数の仮想プロデューサーモジュールは、ある定義されたグループに独自の制作コンテンツを提供するために基本的にピアとして動作する。
【００６７】
図９は、本発明の一実施例による、複数参加者ビデオ会議システムの受動的参加者に制作メディアコンテンツを提供する方法を説明したハイレベルのフローチャート２００である。この方法は操作２０２、能動的参加者及び受動的参加者の両方を有する複数参加者によるビデオ会議システムを提供することから始まる。例えば、複数参加者ビデオ会議システムは図２で先に説明した通りである。
【００６８】
この方法は２０４に進み、能動的参加者の集合が定義される。例えば、ビデオ会議環境で能動的参加者が明らかにした興味や活動に基づいて制作コンテンツが取得される。但し、参加者によっては、メディアコンテンツ、レイアウト、興味などを能動的視聴者用コンテンツの制作に提供したくないかもしれない、あるいは提供するように構成されていなかったり、許可されていないかもしれない。プロデューサー参加者は、能動的参加者の部分集合である。能動的プロデューサー参加者により表わされたメディア選択やレイアウト、興味マーカーは、仮想プロデューサーモジュールに入力され、ビデオ会議で受動的参加者に配信されるコンテンツを制作するのに使用される。
【００６９】
次に、２０６で、各能動的プロデューサー参加者が表わした特定の会議メディアに対する興味度がモニターされる。例えば、複数参加者ビデオ会議システムは、能動的参加者と多地点制御ユニットとの間にバックチャンネルリンクを有する。各能動的参加者のクライアントモニターを使用して、メディアコンテンツ選択や、メディアレイアウトや、興味マーカーなどによって具体的に表現された興味をモニターする。モニターされた能動的プロデューサー参加者のパラメータは仮想プロデューサーモジュールに供給され、会議の受動的参加者用コンテンツを制作するのに使用される。
【００７０】
次に２０６に進み、能動的プロデューサー参加者の活動や興味マーカー、トリガーイベントなどに基づいて全ての会議メディアの生の興味ランキングが決められる。例えば、システム規則、コラボレーション規則、使用度などにかかわりなく会議の全てのメディアの生の興味ランキングが決められる。図４で説明したように、仮想プロデューサーモジュールのメディア格付けコンポーネントモジュールで生のランキングが決められる。
【００７１】
操作２１０では、図６で先に説明したように、システム規則やコラボレーション規則に沿って生の興味ランキングが解析され、バッファリングされ、ファイルリングされ、減衰される。例えば、システム規則やコラボレーション規則により、受動的参加者にとって使用可能なメディアが限定される。さらに、メディアに対する興味が急に変わったり頻繁に変わると、受動的参加者の気が散ったり混乱する原因になるので、そのような変化は、提供するのに最適なコンテンツやレイアウトを選択する前に、考慮され、フィルタリングされ、減衰される。さらに、トレンドや、特定グループ、設定、コンテンツ、参加者などは全て、受動的参加者に使用可能になる最適なメディアの格付けに影響を及ぼす可能性がある。
【００７２】
この方法は２１２に進み、受動的参加者に提供するためのランク付きメディアリストからコラボレーション規則やシステム規則に基づいてメディアコンテンツ及びレイアウトが選択される。例えば、メディア選択及びレイアウトは、図７で説明したように、仮想プロデューサーモジュールのメディア選択・レイアウトコンポーネントモジュールによって実行される。
【００７３】
メディアコンテンツの選択及びレイアウトはメディアミキサーに供給され、２１４で複数参加者ビデオ会議の受動的参加者に制作されたメディア及びレイアウトが提供される。制作されたコンテンツは、適応型コンテンツ配信システムが能動的参加者のニーズと受動的プロデューサー参加者の興味の変化の両方に応答するという点で、動的である。例えば、制作コンテンツは一意的制作コンテンツを複数の定義された受動的参加者グループや下位区分に提供すると共に、会議進行中のコンテンツ及び参加者両方の変化に応答するように作られている。会議進行中に制作コンテンツが継続して配信されるので、この方法は受動的参加者への配信が必要でなくなった時点で終了する。
【産業上の利用可能性】
【００７４】
上記の実施例に照らして、本発明はコンピュータシステムに保持されたデータを伴う様々なコンピュータで実施される操作を用いることが理解されるはずである。これらの操作は物理的数量の物理的操作を要する操作である。必ずしもそうとは限らないが、一般的に、これらの数量は保持可能、転送可能、結合可能、比較可能、もしくは操作可能な電気信号又は磁気信号の形をとる。さらに、実行される操作は、生成、識別、判定、又は比較といった用語で言及されることが多い。
【００７５】
本発明をコンピュータ可読媒体にコンピュータ可読コードとして実施することもできる。コンピュータ可読媒体はコンピュータシステムが後で読み取り可能なデータを保持できる任意のデータストレージ装置である。コンピュータコードが実施されている電磁搬送波もコンピュータ可読媒体の一つである。コンピュータ可読媒体の例としては、ハードドライブ、ネットワーク結合型ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、その他の光学式及び非光学式データストレージ装置がある。コンピュータ可読コードが分散して保持及び実行されるようにコンピュータ可読媒体をネットワーク接続コンピュータシステムで分散することもできる。
【００７６】
はっきり理解できるように本発明を幾分詳細に説明してきたが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明白であろう。よって、本願の実施例は説明のためであって限定のためではないと考えるべきであり、本発明は本明細書で述べた詳細に限定されるものではなく、添付の特許請求の範囲及び同等の範囲内で修正可能である。
【図面の簡単な説明】
【００７７】
【図１】クライアントモニターバックチャンネルを有する複数参加者のよる会議システムの概略図。
【図２】本発明による複数参加者会議システムのシステム概略図。
【図３】本発明による仮想プロデューサーの簡約概略図。
【図４】本発明によるメディア格付けコンポーネントモジュールの簡単図。
【図５】本発明による模式的メディアレイアウトの図解。
【図６】本発明によるメディア解析コンポーネントモジュール。
【図７】本発明によるメディア選択及びレイアウトコンポーネントモジュール。
【図８】本発明による仮想プロデューサーモジュール。
【図９】本発明の複数参加者によるビデオ会議システムの受動的参加者に制作メディアコンテンツを提供する方法を説明したフローチャート。
【符号の説明】
【００７８】
１００、１５０    会議システム
１０２、１５６    参加者
１０４    会議クライアント
１０６    クライアントモニター
１０８    会議チャンネル
１１０    バックチャンネル
１１２、１６０    多地点制御ユニット
１１４    接続マネージャー
１１６    イベントハンドラー
１１８    セッションマネージャー
１２０    メディアミキサー
１５８    クライアント接続チャンネル
１６２    仮想プロデューサーモジュール
１６４    メディア格付けモジュール
１６６    メディア解析モジュール
１６８    メディア選択・レイアウトモジュール
【図１】
2004343761.tif 000003
【図２】
2004343761.tif 000004
【図３】
2004343761.tif 000005
【図４】
2004343761.tif 000006
【図５】
2004343761.tif 000007
【図６】
2004343761.tif 000008
【図７】
2004343761.tif 000009
【図８】
2004343761.tif 000010
【図９】
2004343761.tif 000011