(57)【要約】【課題】ビデオ会議をモバイル端末などの低伝送レートの回線しか使えない端末で視聴する際の見かけのビデオ映像品質を向上させる。【解決手段】ビデオ会議用端末からの動画イメージを合成して合成イメージ１３を作成し、モバイル端末１９へ送る。この際、合成前の個々のイメージのモーションベクトルの大きさや音声レベルから注目すべき会議参加者を定め、合成の際に当該参加者のイメージにより大きな帯域を割り当てる。これにより、合成イメージ中で注目を集める参加者が明瞭に表示される。【選択図】図１
2008278166.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークに接続された複数のビデオ会議端末の間で行われるビデオ会議を低速の通信回線に接続された端末から視聴するシステムにおいて、
前記複数のビデオ会議端末から取得した参加者のイメージおよび音声を含む複数のフィードを合成し、前記低速の通信回線に適合するグループフィードを生成する合成装置を設けたことを特徴とするシステム。
【請求項２】
前記低速の通信回線は無線通信回線であり、
前記ネットワークと前記無線通信回線の間にＩＭＳを設け、
前記合成装置は前記ＩＭＳ内に設けた
ことを特徴とする請求項１のシステム。
【請求項３】
前記合成装置は前記複数のフィードに対応する前記参加者の着目度に基き、前記複数のフィードを合成する際の各フィードに割り当てる帯域幅を決めることを特徴とする請求項１または２のシステム。
【請求項４】
前記着目度は前記フィード中のイメージのモーションベクトルの大きさと音声レベルの少なくとも一方に基いて定められることを特徴とする請求項３のシステム。
【請求項５】
前記着目度の最も高い前記参加者に最も大きな帯域を割り当てることを特徴とする請求項１から４の何れかのシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ会議システムに関し、より具体的にはモバイル環境など、伝送レートが低い回線を介してビデオ会議を視聴する環境でもできるだけユーザが見やすい映像などを提供するようにしたビデオ会議システムに関する。
【背景技術】
【０００２】
会議参加者それぞれにビデオカメラとマイクロフォンを準備し、これらをネットワークで接続することにより、参加者全員が１つの会議室に集合する代わりにそれぞれが遠隔地や別の建物あるいは部屋にいたままで会議を行うことのできるビデオ会議システムが以前から提案されている。
例えば、特許文献１では、複数台の端末コンピュータがネットワークに接続され、会議参加者はそれぞれ自分の端末コンピュータからビデオ会議に参加する。各端末コンピュータはその使用者のビデオ映像と発言を取り込むビデオカメラとマイクロフォンを備えており、そのビデオ映像と音声を当該端末コンピュータの能力に応じたエンコーディングを行ってネットワークに送り出す。
【０００３】
特許文献１においては、ネットワークに接続されている端末コンピュータのビデオ映像や音声のエンコーディング能力やデコーディング能力が異なったり、あるいはディスプレイのフレームサイズなどの表示能力が異なるなど、端末コンピュータの能力が互いに異なることが想定されている。このような状況下では、ある参加者からのビデオ映像や音声を別の参加者が受け取っても視聴できない場合がある。この問題を解決するため、特許文献１では、ネットワーク上にメディアデータ変換ユニットを設置し、このユニットがビデオ映像や音声データを変換する。変換対象としては、フレームサイズ、フレームレート、音声品質、複数の参加者をモザイク状に１画面上に合成する場合の最大参加者数などが例示されている。なお、音声については、表示されている参加者の音声が混合されて送られる。各端末コンピュータは他の端末コンピュータから直接ビデオ映像や音声を受け取る代わりに、自分を管轄するメディアデータ変換ユニットから、自分の能力に適合する形態に変換済みの、また複数参加者が１画面上に配置された合成済みの、ビデオ映像と音声を受け取る。
【０００４】
近年、コンピュータ、ディスプレイ、データ通信技術の発達を利用して、複数地点間を高速、低遅延、低損失のデータ通信回線で接続し、各地点に高精細のビデオカメラ、ディスプレイ、高音質のマイクロフォン、スピーカ、および高い処理能力を有するコンピュータを設置し、１つの会議室に集まって会議をしているのとほとんど同じ臨場感と便宜性を与える高性能ビデオ会議システムが実用に供されるようになってきた。
このような高性能ビデオ会議システムを使用することにより、物理的に同じ場所に参加者が集合することが必要になる状況が非常に少なくなるという点で大いに有益である。しかしながら、移動体通信と電子機器の小型化により、同じく近年急速に発達を遂げてきたモバイルコンピューティング環境の利用者にとっては、特にモバイルコンピューティングにおいて利用可能な通信回線の能力が制限されていることにより、このような高性能ビデオ会議システムで行われているビデオ会議を視聴することは事実上できないという大きな問題がある。
【特許文献１】特開平９-３２１７９３
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上述した背景技術の問題を解決あるいは軽減するためになされたものであって、モバイルコンピューティング環境などの比較的低速の通信回線しか利用できないという制約下でも、ユーザの感覚上できるだけ高品質のビデオ映像などを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明のビデオ会議視聴システムは、ネットワークに接続された複数のビデオ会議端末の間で行われるビデオ会議を低速の通信回線に接続された端末から視聴するシステムに、前記複数のビデオ会議端末から取得した参加者のイメージおよび音声を含む複数のフィードを合成し、前記低速の通信回線に適合するグループフィードを生成する合成装置を設けている。
【０００７】
さらに、上述の通信回線は無線通信回線であり、ネットワークと無線通信回線の間にＩＭＳを設け、上述の合成装置は前記ＩＭＳ内に設けられるようにしても良い。
【０００８】
さらに、上述の合成装置は複数のフィードに対応する前記参加者の着目度に基き、複数のフィードを合成する際の各フィードに割り当てる帯域幅を決めるようにしてもよい。
【０００９】
さらに、上述の着目度はフィード中のイメージのモーションベクトルの大きさと音声レベルの少なくとも一方に基いて定められるようにしてもよい。
【００１０】
さらに、着目度の最も高い参加者に最も大きな帯域を割り当てるようにしてもよい。
【発明の効果】
【００１１】
本発明によれば、ビデオ映像中でユーザが通常注目することが期待される領域に広い通信帯域を動的に割り当てることにより、ユーザの感覚上、高品質のビデオ映像などを提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態を説明する。
【００１３】
図１に、本発明の一実施形態のシステムにおける処理を概念的に示す。本システムでビデオ会議を行う際には、その参加者はそれぞれ自分の端末の前に着席して、ビデオ会議用のビデオカメラの視野に収まる。参加者の人数にはもちろん理論的な限界はないが、図１では、３名の参加者がいる場合を想定している。参加者ごとに用意されたビデオカメラで撮影された参加者１名ごとの動画のイメージ１０、１１、１２が得られる。すなわち、これらの参加者は物理的に別の場所からビデオ会議に参加することができるので、参加者ごとに別個のビデオカメラを準備している。
【００１４】
このようにして撮影された参加者のイメージを合成した場合に不自然にならないようにするため、先ずイメージ修正が行われる。
【００１５】
例えば、イメージ１０、１１、１２には、それぞれ人物の背景として、床と奥の壁の交差する線が写っている。中央のイメージ１１はこの交差する線が水平になっているために正面からのイメージに見えるが、左右のイメージ１０、１２は交差する線がそれぞれ右上がり、左上がりになっているため、どちらも斜め方向から見たイメージであるような印象を与える。従って、これら３つのイメージをそのまま水平方向に並置するなどして単純に合成すると、非常に不自然な印象を与える可能性がある。そこで、これらのイメージに対してパースペクティブの調節を行うイメージ修正を施す。また、人物のサイズや明るさ、色調などのその他のイメージの属性が大きく異なっていてもやはり合成結果が不自然になるため、イメージ修正においてはこれらの属性についても必要とされる範囲でイメージ間で大きな差がないように調節する。なお、このようなパースペクティブ、その他の属性の調節それ自体は本発明の直接の要旨ではなく、また上述したような各種の調節は既に当業者に知られている事項であるため、ここではそれらの具体的な手順や構成については説明しない。
【００１６】
このようにしてイメージ修正によって均質になったイメージ１０、１１、１２が並置された１つの動画のイメージをイメージ合成によって得る。
【００１７】
それぞれの参加者の端末から得られる動画のイメージ１０、１１、１２はそれぞれ個別フィード１４としてＩＭＳ（IP Multimedia Subsystem）１６に送られる。ＩＭＳ１６は固定電話網や移動体通信網など、これまで回路スイッチやパケットスイッチが異なっていた公衆通信サービスを、IP技術やインターネット電話で使われるプロトコルであるSIP（Session Initiation Protocol）で統合し、マルチメディアサービスを実現させる通信方式およびそれを実現する設備である。ＩＭＳは、第３世代携帯電話規格の標準化団体であり、W-CDMAを策定した3GPP（3rd Generation Partnership Project）と、CDMA2000を策定した3GPP2（3rd Generation Partnership Project 2）によって標準化が行われたものである（なお、3GPP2ではＭＭＤ（Multimedia Domain）と呼ばれている）。ＩＭＳについては当業者に周知な事項であり、詳細はこれらの標準化団体から公表されるので、これ以上の詳細は説明しない。
【００１８】
また、本明細書では、フィードは実時間の出来事から得られるイメージや音声などのストリームの意味で使用される。つまり、図１の例では、フィードとはビデオ会議の参加者を撮影しまた音声を取り込んで即座にエンコードして得られるビデオ、音声ストリームである。
【００１９】
なお、図１では参加者毎のイメージの修正・合成処理をＩＭＳ１６の外部に記載しているが、実際にはＩＭＳの内部で行うのが好ましい。また、このようなイメージの修正・合成処理はハードウエアとソフトウエアの何れで行っても良いし、また両者でそれぞれ処理の一部を分担して行っても良い。
【００２０】
ＩＭＳ１６はこのようにして得られた個別フィード１４とイメージ合成結果であるグループフィード１５のいずれかを選択して、第３世代携帯電話との無線回線である３Ｇリンク１７を介してこのビデオ会議を視聴しているユーザが持っているモバイル端末１９へ送る。もちろんここでビデオ会議の参加者の音声も同様にして参加者へ送られる。ここで、モバイル端末１９へ送られるフィードとして個別フィードを選択するか、それともグループフィードを選択するか、などは、モバイル端末１９のユーザが設定したり、あるいは特定の１名が発言しているか、それとも複数の人間が発言していたりあるいは誰も発言していないなどの状況によって動的に制御することができる。本発明は個別フィードではなく複数の参加者のイメージを合成して得られるグループフィードに関するものであるため、以下の説明ではＩＭＳ１６はグループフィードをモバイル端末１９へ送るものとして説明を行う。
【００２１】
モバイル端末１９は３Ｇリンク１７を介して受信したパケットの損失率などの３Ｇリンク１７の伝送品質に関するフィードバック１８をＩＭＳ１６に返す。これにより、ＩＭＳ１６は、モバイル端末１９への３Ｇリンク１７の帯域幅やエラー訂正方法などの制御を動的に行う。なお、モバイル端末は、多くの場合、会議に参加する（会議で発言などする）のではなく、ビデオ会議での発言などの会議で起こっていることを視聴するために使用される。このようにモバイル端末の役割をビデオ会議の視聴に限定できる場合には、イメージや音声に数秒程度の遅延を許すことができる。従って、３Ｇリンクでは避けることのできないバケットロスへの対策としてパケットの再送を行うことができる。
【００２２】
周知のように、無線による通信リンクの品質は、モバイル端末１９の移動やその周囲の状況の変化などにより大きく変動する。このように変動する３Ｇリンク１７の帯域幅に追随してＩＭＳ１６はグループフィードの帯域を変化させてモバイル端末へ送信するのであるが、携帯電話用の無線回線である３Ｇリンク１７の使用可能帯域幅は、その通信状態が良好なときであっても、高品質のイメージを使って行われるビデオ会議における動画イメージが使用できる帯域幅に比べてきわめて狭いものになる。このように使用帯域幅が広い高画質の動画イメージを、それよりも大幅に帯域の狭い３Ｇリンクに適合させるために単純に帯域を減らすと、イメージ中の各種の人物、資料、その他の物体などの解像度が大きく低下し、またそれらのものが動くと、このような解像度の低下が更に甚だしくなる。複数の参加者が同時に見えるようにするためにイメージ１０、１１、１２の合成を行った合成イメージ１３を含むグループフィード１５については、個別フィードをモバイル端末１９へ送る場合に比べて、イメージ中に多数の人物やその他の物体が入っているために、このような問題が特に顕著になり、通信状態などによっては、モバイル端末１９で見ることのできるイメージ中に何が映っているのかほとんど見分けることができないということにもなりかねない。
【００２３】
この問題を軽減し、利用できる通信回線が携帯電話の無線回線のように帯域幅が狭い場合であっても、そのような通信回線の先に設けられている端末上で、ユーザの感覚上、できるだけ良好な画質のイメージをユーザに提供するため、本実施例では、合成されたイメージ中の参加者のうちで最も活動的な参加者を検出し、イメージを合成する際にその着目すべき参加者のイメージに広い帯域を割り当てる。
【００２４】
通常行われる会議でも、活動的な、すなわち、発言していたり大きな身振りをしている参加者に注目が集まる。本発明においても、活動的な参加者として、その参加者からの音声のレベルがもっとも大きかったり、イメージの動きがもっとも大きな参加者、あるいは音声レベルとイメージの動きの両者がもっとも大きな参加者を選び、合成イメージをエンコーディングする際にその参加者からのイメージに対してもっとも大きな帯域を割り当てる。式で書けば、
Min{Σｗ(ａi, ｖi)ｄi(ｒi)}   s.t. Σｒi≦Ｒ      (1)
（１）式は、合成イメージが使用することのできる最大のビットレートがＲであるという拘束条件の下で、合成イメージ中の参加者i毎の重み付きひずみｗ(ａi, ｖi)ｄi(ｒi)の総計を最小にするという、拘束条件付き最適化を意味している。ここで、ａi、ｖiはそれぞれ、参加者iの発言の音声レベルであってその合計を１に正規化したもの、参加者iのイメージのモーションベクトルの大きさであってその合計を１に正規化したものを表す。また、ｄiは参加者iに割り当てられるエンコーディングレートをｒiとしたときの合成イメージ中における参加者iに相当するイメージのひずみ（すなわち、このイメージと参加者iの個別フィードによって表わされるイメージの違い、換言すれば、個別フィードからのイメージに対する合成イメージ中の当該参加者に相当するイメージの劣化の程度）を表す。
【００２５】
音声レベルとモーションベクトルの大きさに対して具体的にどのような重みｗ(ａi, ｖi)を割り当てるかは設計事項に属するが、音声レベルとモーションベクトルの大きさが大きくなるほどこの重みの値も大きくなるように定める。また、発言も身振りも非常に小さい場合にこの重みの値をどこまで小さくするかは、そのような非活動的な参加者のイメージの画質がどこまで低下してもよいか、という問題であるため、経験的な値を使う、実験的に決める、など、実際のシステム設計の際に決めることができる。もちろん、音声レベルとモーションベクトルの大きさの両方を使って重みを決めるのではなく、いずれか一方だけで重みを決めるようにしても良い。
【００２６】
また、（１）式やそれについての上述の説明は、音声レベルやモーションベクトルの大きさが時間変化していない場合の議論であるが、実際に発言を行っている際には、発言が継続している間も音声レベルやモーションベクトルの大きさは大きく変化する。また、２名（あるいはより多くの）参加者が、非常に短い時間間隔で相互に短い発言を繰り返すという、対話性のきわめて高い状況が会議中に出現する場合がある。従って、音声レベルやモーションベクトルの大きさが突然大きく減少したからといって、そこでその参加者が非活動的な状態に移行したとみなしてエンコーディングレートを直ちに小さくするのは好ましくない。
【００２７】
この問題を解決するため、例えば重みｗ(ａi, ｖi)にある種の時定数を持たせることができる。具体的には、計算や表から求められたこの重みの値をそのまま使用する代わりに、その時点までの過去の一連の重みの値の平均を取る（あるいは最近の値ほど影響が大きくなるようにするために重み付き平均を取る）、この重みの値が急激に減少しないように、減少レートが上限を越えないようにする、などの方法がある。あるいは、重みｗ(ａi, ｖi)を決めるためのパラメータである音声レベルａiとモーションベクトルの大きさｖiのそれぞれに対して、上述したような平均化や減少レートの上限の設定を行うようにしてもよい。発言中の音声レベルとモーションベクトルの大きさの変化の態様は異なっているから、音声レベルとモーションベクトルの大きさのそれぞれについて独立した平均化処理や減少レート上限設定などの処理を行うことで、上述の問題に対してより適切に対処することが可能になる。更に、上述した平均化や減少レートの上限設定だけではなく、例えば、入力が小さくなっても一定時間は重みなどの出力の値を維持したり、あらかじめ設定したパターンで重みなどの出力の値が変化するようにしてもよい。
【００２８】
また、議長などが発言者を指名することのできるビデオ会議システムでは、上述したような活動的な参加者の自動検出とそれに対応したエンコーディングレートの動的な割当を一時的に停止したり、あるいはその作用を弱くするように設定できるようにしても良い。この場合、議長が指名した発言者に強制的に大きなエンコーディングレートを割当て、指名されていない参加者が発言に割り込んでもそれに対してはエンコーディングレートの割当を全く増加させないか、あるいは僅かな増加に止める。これにより、他の参加者からの好ましくない割り込み発言があった場合でも、モバイル端末ユーザからは、議事が比較的整然と進行しているように見える。
【００２９】
以下では、上述した動作を行うシステムの構成およびその動作手順をより具体的に説明する。
【００３０】
図２は、高速ネットワーク上にビデオ会議の参加者の端末が設置され、このネットワークに接続されたＩＭＳからモバイル端末に対してこれらの参加者の合成イメージを上述した方法により伝送するネットワークシステムである。
【００３１】
図２において、高速ネットワーク２００にビデオカメラ、マイクロフォン、スピーカ付き端末（以下、単に端末と言う）２０１−１、２０１−２、・・・、２０１−ｎ（ｎは自然数）が接続されている。ビデオ会議を行うに当たっては、各参加者がこれらの端末のいずれかを操作して、ビデオ会議に参加する。これらの端末２０１に設けられたビデオカメラとマイクロフォンにより、その前にいる参加者の姿や声を取り込み、またスピーカから他の参加者の音声を出力する。
【００３２】
端末２０１に設けられたビデオカメラとマイクロフォンで取り込まれた参加者のイメージと音声は、周知の方法により実時間でエンコーディングされて個別フィードに変換され、高速ネットワーク２００に送り込まれる。また、端末２０１は必要に応じて高速ネットワーク２００から他の端末からの個別フィードを取り込み、それ単独で、あるいは複数のビデオフィードを合成した形（縦あるいは横に並べる、モザイク上に配置する、など）で端末のスクリーン上に表示する。
【００３３】
ビデオ会議を行うに当たっては、これらのフィードを各端末から送出しまた受信するだけでなく、各種の制御信号やステータス信号を相互に交換したり、構成によってはビデオ会議全体を管理するサーバ２０３からの制御を行う必要がある。しかし、これらのフィードを流すための十分な帯域を持っているネットワークに接続されたこれらの端末２０１−１、２０１−２、・・・、２０１−ｎ間で行われるビデオ会議の一般的な構成・動作そのものは、例えば特許文献１に示されるようによく知られている事項であり、また本発明の特徴でもないため、これ以上説明しない。
【００３４】
なお、１台の端末２０１の前に複数の参加者が集まってビデオ会議に参加することも可能である。説明を簡単にするため、本明細書では各端末には１名の参加者が位置することを想定しているが、複数の参加者の集団が１台の端末を使ってビデオ会議に参加する場合には、このような端末については「参加者」を「参加者の集団」とみなすだけで矛盾なく説明できる。従って、本発明は参加者の集団が１台の端末を使ってビデオ会議に参加することも含む。また、そのような場合についても明細書において十分な開示が与えられている。
【００３５】
なお、ビデオカメラは通常は端末のスクリーン上方などに設置されるが、参加者は多くの場合は端末の画面を見ているため、ビデオカメラそのものを注視していることは少ない。従って、端末に設置されたビデオカメラで取り込んだ参加者の映像を他の端末から見ると、スクリーン上に映し出された参加者は見ているものから目を逸らしているように見える。例えば、端末のスクリーン上方にビデオカメラが設置されている場合には、画面上の参加者はやや下向きに視線を逸らしているように見える。このようなアイコンタクトのない状態は、ビデオ会議などのような話しかけを行う局面では、話しかけられる者に対してあまり良い印象を与えないことが知られている。
【００３６】
この問題を解決するためになされている研究の一つでは、端末スクリーンの上端と下端などの周囲２箇所にビデオカメラを設け、これらからの映像を合成することで、参加者がビデオカメラを正面から注視しているように見える画像を得る。
【００３７】
以下では、高速ネットワーク２００に接続されたＩＭＥ１６を用いることで、このようにして行われているビデオ会議の参加者の複数のイメージをイメージ合成する構成と手順をより具体的に説明する。
【００３８】
ＩＭＳ１６内にストリーミングマネージャ（ＳＭ）２１０を設ける。ストリーミングマネージャ１６はビデオ会議全体を制御するサーバ２０３から、ビデオ会議が開始されたことと、参加者の端末２０１−１、２０１−２、・・・、２０１−ｎからの個別フィード１４（図１）を識別するための情報を受け取り、（１）式を用いて説明したところの、合成対象の個別フィード中の着目すべきものに多くの帯域を割り当てる動的帯域割当を用いたエンコーディングと合成を行う。このようにして合成されたグループフィードはＩＭＳ１６が３Ｇリンク１７を介してモバイル端末１９へ送出する。
【００３９】
（１）式を参照すると、この式の拘束条件付き最適化を行う合成に当たって必要となる情報は、合成対象のフィード１４の各々のイメージのモーションベクトルの大きさａiと音声レベルｖi、および３Ｇリンク上でモバイル端末１９へ向かうグループフィードのために使用可能な帯域幅Ｒである。モーションベクトルの大きさと音声レベルについては当然ながら、ストリーミングマネージャ２１０に与えられるフィード１４の各々から得ることができる。また、使用可能帯域幅RはＩＭＳ１６から提供される。既に述べたように、ＩＭＳ１６はモバイル端末１９と３Ｇリンク１７を介して通信しているが、３Ｇリンクのエラーレート３Ｇリンク１７を介して受信したパケットの損失率などの３Ｇリンク１７の伝送品質に関するフィードバック１８をＩＭＳ１６に返す。これにより、ＩＭＳ１６は、モバイル端末１９への３Ｇリンク１７の帯域幅やエラー訂正方法などの制御を動的に行う。３Ｇリンクの帯域幅とエラー訂正方法の情報から、この３Ｇリンクを介してモバイル端末１９に送るグループフィードに使用できる帯域幅を知ることができる。このように、グループフィードのために使用できる帯域幅の情報を持っているＩＭＳ１６内に（あるいはＩＭＳ１６と直接接続された形で）ストリーミングマネージャ２１０を設けることにより、（１）式の拘束条件付最適化を行ったグループフィードを生成することが容易になる。
【００４０】
図３、図４はそれぞれストリーミングマネージャ２１０の構成、動作を示す図である。
【００４１】
図３において、ストリーミングマネージャ２１０はＩＭＳ１６の中に設けられている。ＩＭＳ１６は多くの要素を含むが、判りやすさのため、ここでの説明に重要でない部分は省略してある。ＩＭＳ１６は高速ネットワーク側インターフェース３０１を介して高速ネットワーク２００に、また３Ｇリンク側インターフェース３０３を介して３Ｇリンク１７に接続されている。ＩＭＳ１６の内部にあるストリーミングマネージャ２１０も高速ネットワーク側インターフェース３０１を介して個別フィード１４を獲得する。ストリーミングマネージャ２１０はまた、３Ｇリンク側インターフェース３０３からＩＭＳ１６が獲得したフィードバック１９に基いてＩＭＳ１６が求めたところのグループフィードに使用可能な帯域幅Ｒを３Ｇリンク側インターフェース３０３を介して得る。もちろんこれらの個別フィードや帯域幅はこれらのインターフェースからではなくＩＭＳ１６内の別の要素を経由して得ることもできる。
【００４２】
ストリーミングマネージャ内のモーションベクトル検出部３１１と音声レベル検出部３１２は、このようにして得られた一連のフィード（つまり、図１の端末２０１−１、２０１−２、・・・、２０１−ｎからのｎ個のフィードであり、ｎ人（あるいはｎ組）の参加者の音声付きイメージを表す）からそれぞれのイメージのモーションベクトルの大きさと音声レベルを検出し、これらの一連の値を重み生成部３１３に送る。
【００４３】
重み生成部はこのようにして与えられた各個別フィードのモーションベクトルの大きさと音声レベルを用いて、（１）式について説明した一連の重みｗ(ａi, ｖi)を求める。これらの重みは表検索で求めても良いし、あるいは計算式を利用しても良い。また、既に説明したように、重みの変化に時定数的な要素を導入することもできる。
【００４４】
このようにして得られた一連の重みと、３Ｇリンク側インターフェース３０３を介して与えられる利用可能な帯域幅Ｒから、最適化部３１４は（１）式に基いた最適化を行い、それによって定まる参加者毎（つまり個別フィード毎）のエンコーディングレートｒiをイメージ合成部３１５に与える。
【００４５】
イメージ合成部３１５はこのようにして与えられたエンコーディングレートと個別フィードに基いて、個別フィード毎に与えられたエンコーディングレートでエンコードし、合成イメージを含むグループフィードを生成し、３Ｇリンク側インターフェース３０３を介して３Ｇリンク１７へ送り出す。
【００４６】
図４のフローチャートに基いてストリーミングマネージャ２１０の動作を説明する。図４のフローチャートは互いに非同期的に動作する２つの部分に分かれている。左側のブロック４１０は、イメージ合成部３１５により個別フィードを合成してグループフィードを生成し３Ｇリンク側へ出力するという動作が連続して行われている。図４の右側ではブロック４２０で個別フィード毎にそのモーションベクトルの大きさと音声レベルを求める。次にこのようにして求められた一連のモーションベクトルの大きさと音声レベルから、ブロック４２２において、個別フィード（つまり参加者）毎の重みを求める。ブロック４２４ではこのようにして求められた重みとグループフィードのために利用できる帯域幅情報を使って、（１）式を満足するフィード毎のエンコーディングレートを求める。ここで、ブロック４２４からブロック４１０へ至る線が破線になっているのは、この線は制御フローを表す線ではなく、データ（つまりエンコーディングレート）を送ることを表していることを示すためである。このようにしてブロック４２４で求められた最新のエンコーディングレートを随時獲得して、ブロック４１０においてその時点での最適なエンコーディングを個々の個別フィードに対して行って合成することで、最適なグループフィードを生成し続ける。
【００４７】
なお、参加者が４名いるのにグループフィードには参加者を３名しか収容しないなどと言うように、実際に合成される個別フィードの数が参加者数よりも多い場合には、イメージ生成部３１５に合成すべき個別フィード数を供給することで合成対象の個別フィードを選択しても良い。また、その際には重み生成部３１３あるいは最適化部３１４にその個別フィード数を供給して、重みの順に並べてそのフィード数よりも後の順位になったフィードに対しては重みがゼロであると扱うようにしても良い。
【００４８】
ストリーミングマネージャ２１０はソフトウエアでもハードウエアでも、あるいは両者の混合形態でも実装することができる。ソフトウエアで実装する場合には、両インターフェースとの接続部に何らかのインターフェースのハードウエアを必要とするが、それ以外の部分はソフトウエアモジュールやメモリ上の参照テーブルの形で実装される。これらのソフトウエアモジュールやテーブルなどを外部記憶装置から読み出してメインメモリ上に展開し、プロセッサを使用して周知のように実行させる。ストリーミングマネージャをＩＭＳ１６と一体になった形態でソフトウエアで実装することもできる。
【産業上の利用可能性】
【００４９】
本発明は、高速・高品質の通信回線の利用を前提としたビデオ会議システムを使って行われるビデオ会議に、移動体端末などの低速回線しか利用できないユーザを接続する場合などに利用可能である。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施形態のシステムにおける処理を概念的に示す図である。
【図２】本発明の一実施形態が実現されるネットワークシステムを示す図である。
【図３】ストリーミングマネージャ２１０の構成を示す図である。
【図４】ストリーミングマネージャ２１０の動作を示すフローチャートである。
【符号の説明】
【００５１】
１０、１１、１２：イメージ
１３：合成イメージ
１４：個別フィード
１５：グループフィード
１６：ＩＭＳ
１７：３Ｇリンク
１８：フィードバック
１９：モバイル端末
２０１−１、２０１−２、・・・、２０１−ｎ：端末
２１０：ストリーミングマネージャ（ＳＭ）
３０１：高速ネットワーク側インターフェース
３０３：３Ｇリンク側インターフェース
３１１：モーションベクトル検出部
３１２：音声レベル検出部
３１３：重み生成部
３１４：最適化部
３１５：イメージ合成部
【図１】
2008278166.tif 000003
【図２】
2008278166.tif 000004
【図３】
2008278166.tif 000005
【図４】
2008278166.tif 000006