(57)【要約】【課題】  ビデオ会議システムにおいて、端末装置に表示される映像の配置が変更された場合に、それに追随して、画質低下を招くことなくデータ通信量を低減するように、映像の解像度が変更されていくことを可能とする。【解決手段】  端末装置２０の映像配置変更情報送信部２０９は、映像の配置変更を指示する映像配置変更情報をサーバー装置に送信する。映像配置変更部２１３は、サーバー装置から受信した映像配置情報を用いて、各端末装置のカメラ２０５が撮影した映像の配置を変更して、その結果を表示部２１４に表示する。映像解像度変更部２０６は、映像配置情報を用いて、自端末装置のカメラ２０５が撮影した映像が他の端末装置で表示される最大サイズを算定して、そのサイズを用いてカメラ２０５の映像解像度を変更する。【選択図】図３
2016189505.tif 000002
【特許請求の範囲】
【請求項１】
撮影機能および映像表示機能を具備した複数の端末装置と、前記複数の端末装置とデータ通信手段で接続されたサーバー装置とを含むビデオ会議システムであって、
前期サーバー装置は、
前記端末装置から映像データを受信して、各前記端末装置に送信する映像データ中継部と、
前記端末装置から映像の配置変更を指示する映像配置変更情報を受信して、各前記端末装置で撮影された映像をどのように配置して表示するかを指定する映像配置情報を生成して、各前記端末装置に送信する映像配置情報送信部とを有し、
前記端末装置は、
撮影した映像を符号化して映像データを生成し前記サーバー装置に送信する映像符号化部と、
前記サーバー装置に映像の配置変更を指示する前記映像配置変更情報を送信する映像配置変更情報送信部と、
前記サーバー装置から中継されてきた映像データを復号して映像を再現する映像復号部と、
前記サーバー装置から受信した前記映像配置情報を用いて、前記映像復号部が復号した映像を配置して表示する映像配置変更部と、
前記映像配置情報を用いて、該端末装置が撮影した映像が他の各前記端末装置で表示される最大サイズを算定して、該最大サイズを用いて、該端末装置が撮影する映像の解像度を変更する映像解像度変更部とを有することを特徴とする。
【請求項２】
請求項１に記載のビデオ会議システムにおいて、前記映像配置変更情報には、前記端末装置で撮影された映像の配置順序を指定する情報が含まれることを特徴とするビデオ会議システム。
【請求項３】
請求項１に記載のビデオ会議システムにおいて、前記映像配置変更情報には、前記端末装置の映像表示画面のサイズ情報が含まれることを特徴とするビデオ会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ会議システムに関する。
【背景技術】
【０００２】
下記の特許文献1には、複数の端末装置と多地点制御装置(MCU:Multipoint Control Unit)とを含み、各端末装置からビデオデータをMCUに送信し、MCUは各端末装置からのビデオデータを単一のビデオデータに合成することなく、各端末装置に配信することにより、MCUでの画質劣化をなくすとともに、各端末装置において自由度の高いビデオ画面の配置が可能なビデオ会議システムが開示されている
【０００３】
この特許文献1のビデオ会議システムでは、端末装置で映像表示画面の配置を変更した場合に、それに対応して映像の解像度を変更する仕組みがないため、有効な画質を維持するためには、映像データ送信元の各端末装置が初めから充分高い解像度の映像データを送信し続ける必要がある。一般に映像の解像度が高くなると、それを圧縮するためのエンコード処理量が大きくなり、圧縮した映像データのデータ量も大きくなる。さらに、それを元の映像に復元するためのデコード処理量も大きくなる。従って、上記のビデオ会議システムにおいては、各端末装置において、高い解像度の映像をエンコードして送信し、他の端末装置からの高い解像度の映像データを受信することになり、高い映像データ処理能力と高い映像データ受信能力とが必要となる。また、全ての端末装置からのデータの中継を行うMCUにおいてはより高いデータ中継能力が必要となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平8?307844号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
解決しようとする問題点は、ビデオ会議システムにおいて、端末装置に表示される映像の配置が変更された場合に、それに追随して映像の解像度が変更される仕組みがないため、有効な画質を維持するためには、映像データ送信元の各端末装置が充分高い解像度の映像データを送信し続ける必要があるという点である。
【課題を解決するための手段】
【０００６】
上記課題を解決する本発明は、撮影機能および映像表示機能を具備した複数の端末装置と、それら複数の端末装置とインターネットや専用回線のようなデータ通信手段で接続されたサーバー装置とから構成されたビデオ会議システムにおいて、
前期サーバー装置は、
前記端末装置から映像データを受信して、各前記端末装置に送信する映像データ中継部と、
前記端末装置から映像の配置変更を指示する映像配置変更情報を受信して、各前記端末装置で撮影された映像をどのように配置して表示するかを指定する映像配置情報を生成して、各前記端末装置に送信する映像配置情報送信部とを有し、
前記端末装置は、
撮影した映像を符号化して映像データを生成し前記サーバー装置に送信する映像符号化部と、
前記サーバー装置に映像の配置変更を指示する前記映像配置変更情報を送信する映像配置変更情報送信部と、
前記サーバー装置から中継されてきた映像データを復号して映像を再現する映像復号部と、
前記サーバー装置から受信した前記映像配置情報を用いて、前記映像復号部が復号した映像を配置して表示する映像配置変更部と、
前記映像配置情報を用いて、該端末装置が撮影した映像が他の各前記端末装置で表示される最大サイズを算定して、該最大サイズを用いて、該端末装置が撮影する映像の解像度を変更する映像解像度変更部とを有することを特徴とする。
【発明の効果】
【０００７】
本発明のビデオ会議システムにおいては、会議の場面に応じて映像の配置が変更されると、その変更に追従して、変更後の映像の表示サイズに応じた解像度を選択することができ、表示サイズが小さくなった場合には解像度を下げることにより、画質劣化を招くことなく、送受信される映像データの通信量を低減し、端末装置の映像の符号化および復号化に関わる処理負荷を低減することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】図１は本発明の実施例であるビデオ会議システムの構成を示す図である。
【図２】図２はサーバー装置の構成を示すブロック図である。
【図３】図３は端末装置の構成を示すブロック図である。
【図４】図４は映像配置情報の形式を示す図である。
【図５】図５は端末装置が表示する映像の表示タイプを示す図である。
【図６】図６は端末装置の表示タイプが「０」の時の映像配置を示す図である。
【図７】図７は端末装置の表示タイプが「１」の時の映像配置を示す図である。
【図８】図８は映像配置変更情報の形式を示す図である。
【図９】図９は端末装置のカメラが撮影する映像の解像度のタイプを示す図である。
【図１０】図１０は端末装置からの映像を表示する領域のサイズを算定するフローチャートである。
【図１１】図１１は映像配置変更動作の説明図で、変更前の映像配置情報を示す図である。
【図１２】図１２は映像配置変更動作の説明図で、変更前のカメラの解像度タイプを示す図である。
【図１３】図１３は映像配置変更動作の説明図で、映像配置順序変更後の映像配置情報を示す図である。
【図１４】図１４は映像配置変更動作の説明図で、映像配置順序変更後のカメラの解像度タイプを示す図である。
【図１５】図１５は映像配置変更動作の説明図で、映像表示タイプ変更後の映像配置情報を示す図である。
【図１６】図１６は映像配置変更動作の説明図で、映像表示タイプ変更後のカメラの解像度タイプを示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１０】
図１は、本発明のビデオ会議システムの一実施形態の全体構成を示すシステム構成図である。このビデオ会議システムは、サーバー装置１０と、４台の端末装置２０ー１、２０ー２、２０ー３、２０ー４と、サーバー装置１０と各端末装置とを通信回線３０を介して接続するネットワーク４０とを有する。４台の端末装置２０ー１、２０ー２、２０ー３、２０ー４には、それぞれ、会議システム内で各端末装置を識別するための端末ID、「T００１」、「T００２」、「T００３」、「T００４」が割り当てられている。
【００１１】
各端末装置はマイクとカメラを有しており、そこで集音された音声と撮影された映像はサーバー装置１０で中継され、他の全ての端末装置に送られる。各端末装置はまたスピーカーと映像表示機能を有しており、サーバー装置１０で中継された他の全ての端末装置からの音声を合成して、スピーカーで再生する。また、サーバー装置１０で中継された他の全ての端末装置からの映像と自端末装置のカメラ映像とを合成して表示する。また、各端末装置は、マウスやキーボートのような機器からユーザーからの指示を入力する機能を有しており、その指示により、各端末装置で撮影された映像をどのように配置するかを変更することができる。以下、この実施形態の各構成要素とその動作について説明する。
【００１２】
図２は、図１に示したサーバー装置１０の機能構成の一例を示すブロック図である。サーバー装置１０は、通信回線３０からデータを受信する受信インタフェース１０１と、通信回線３０にデータを送信する送信インタフェース１０２と、映像データおよび音声データの中継を行うデータ中継部１０３と、端末装置で表示される映像の配置を示す映像配置情報を生成して送信する映像配置情報送信部１０４とを有する。
【００１３】
データ中継部１０３は、受信インタフェース１０１から映像データと音声データを受信して、受信データを送信インタフェース１０２を経由して各端末装置に送信する。映像配置情報送信部１０４は、受信インタフェース１０から端末装置で表示される映像の配置変更を指示する映像配置変更情報を受信し、映像配置情報を生成して、送信インタフェース１０２を介して各端末装置に送信する。
【００１４】
図３は、図１に示した端末装置２０ー１、２０ー２、２０ー３、２０ー４の機能構成の一例を示すブロック図である。端末装置２０は、通信回線３０にデータを送信する送信インタフェース２０１と、通信回線３０からデータを受信する受信インタフェース２０２と、マイク２０３と、マイク２０３が生成した音声信号を符号化する音声符号化部２０４と、カメラ２０５と、カメラ２０５が撮影する映像の解像度を変更する映像解像度変更部２０６と、カメラ２０５が撮影した映像信号を符号化する映像符号化部２０７と、会議に参加しているユーザーからの指示を入力するユーザーインタフェース２０８と、ユーザーからの指示に基づき映像配置変更情報を生成して送信する映像配置変更情報送信部２０９と、受信した音声データを復号する音声復号部２１０と、スピーカー２１１と、受信した映像データを復号する映像復号部２１２と、映像の配置を変更する映像配置変後部２１３と、復号された映像と自端末装置のカメラ２０５からの映像とを表示する表示部２１４とを有する。
【００１５】
映像解像度変更部２０６は、受信インタフェース２０２が受信した映像配置情報を用いて、自端末装置のカメラ２０５が撮影した映像が他の各端末装置で表示される映像サイズを算定して、それらのサイズ以上でできるだけ低い解像度を選択して、カメラ２０５に撮影解像度として設置する。映像配置変後部２１３は、映像復号部２１２が復号した他の各端末装置からの映像信号と、自端末装置のカメラ２０５からの映像信号とを、受信インタフェース２０２が受信した映像配置情報を用いて、配置する位置とサイズを決定して、表示部２１４上に表示する。
【００１６】
図４は、この実施形態で用いられる映像配置情報の形式を示す図である。映像配置情報は、各端末装置のカメラ２０５が撮影した映像が、システム内のそれぞれの端末装置の表示部２１４でどのように配置され、表示されるかを示す情報である。この実施形態では、映像の配置は、端末装置の表示部２１４の状態と、各端末装置からの映像の配置順序とによって決定される。端末装置の表示部２１４の状態は、表示タイプと呼ばれる値によって示され、端末装置毎に異なった値であっても良い。一方、映像の配置順序は、会議の場面によって変更できるが、端末装置間での差異はない。図４で、映像配置情報は、端末装置の端末IDと、該端末装置の表示部２１４の表示タイプとの組が、映像の配置順序に従って並んでいるという形式を有している。
【００１７】
図５は、この実施形態で用いられる端末装置の表示部２１４の状態を示す表示タイプの形式を示す図である。表示タイプ「０」は、表示画面の横ピクセル数が１３６６で、縦ピクセル数が７６８である状態である。表示タイプ「１」は、表示画面の横ピクセル数が１０２４で、縦ピクセル数が７６８である状態である。表示タイプの変更は、例えば、液晶プロジェクターの接続のようなユーザーの操作によって引き起こされる。
【００１８】
図６は、端末装置の表示部２１４の表示タイプが「０」である時の映像配置を示す図である。配置順序が「１」の端末装置の映像は、横１０２４ピクセル、縦７６８ピクセルの矩形の表示領域内に表示される。配置順序が「２」から「４」の端末装置の映像は、横３２０ピクセル、縦２４０ピクセルの矩形の表示領域内に表示される。
【００１９】
図７は、端末装置の表示部２１４の表示タイプが「１」である時の映像配置を示す図である。配置順序が「１」の端末装置の映像は、横８００ピクセル、縦６００ピクセルの矩形の表示領域内に表示される。配置順序が「２」から「４」の端末装置の映像は、横１９２ピクセル、縦１４４ピクセルの矩形の表示領域内に表示される。
【００２０】
図８は、この実施形態で用いられる映像配置変更情報の形式を示す図である。映像配置変更情報は、映像の配置を変更するために、端末装置からサーバー装置に送られる情報である。この実施形態では、映像配置変更情報には、映像配置の変更を指示するための配置順序変更情報と、端末装置の表示タイプの変更を指示するための表示タイプ変更情報とがあり、それぞれ、コマンドコードとパラメータ１とパラメータ２との組で表現される。配置順序変更情報では、コマンドコードは「０」、パラメータ１は映像の配置順序を「１」にする端末装置の端末ID、そして、パラメータ２は未使用である。表示タイプ変更情報では、コマンドコードは「１」、パラメータ１は表示タイプを変更する端末装置の端末ID、そして、パラメータ２は変更後の表示タイプである。
【００２１】
図９は、この実施形態で用いられるカメラ２０５が撮影する映像の解像度を示す図である。映像の解像度は解像度タイプで表現される。解像度タイプ「０」は、横ピクセル数が１０２４で、縦ピクセル数が７６８の解像度を示す。解像度タイプ「１」は、横ピクセル数が８００で、縦ピクセル数が６００の解像度を示す。解像度タイプ「２」は、横ピクセル数が３２０で、縦ピクセル数が２４０の解像度を示す。そして、解像度タイプ「３」は、横ピクセル数が１９２で、縦ピクセル数が１４４の解像度を示す。
【００２２】
図１０は、端末装置の映像解像度変更部２０６が、受信した映像配置情報を用いて、自端末装置のカメラ２０５の撮影映像が他の各端末装置で表示される領域のサイズを算定するフローを示す図である。図４に示されるように映像配置情報には端末IDが配置順序に従って並んでおり、映像解像度変更部２０６は、映像配置情報に含まれる端末ID毎に、該端末装置で、自端末装置の撮影映像がどのサイズで表示されるかを図10のフローに従って算定する。
【００２３】
まず、映像配置情報に含まれる自端末装置の配置順序が「１」か否かが判定される（ステップS１００）。
【００２４】
配置順序が「１」である場合には、次に、該端末装置の表示タイプが「０」であるか否かが判定される（ステップS１１０）。表示タイプが「０」である場合には、表示領域のサイズは横１０２４ピクセル、縦７６８ピクセルと算定される（ステップS１１１）。表示タイプが「０」でない場合には、表示領域のサイズは横８００ピクセル、縦６００ピクセルと算定される（ステップS１１２）。
【００２５】
配置順序が「１」でない場合には、次に、該端末装置の表示タイプが「０」であるか否かが判定される（ステップS１２０）。表示タイプが「０」である場合には、表示領域のサイズは横３２０ピクセル、縦２４０ピクセルと算定される（ステップS１２１）。表示タイプが「０」でない場合には、表示領域のサイズは横１９２ピクセル、縦１４４ピクセルと算定される（ステップS１２２）。
【００２６】
映像解像度変更部２０６は、上記の手順で配置順序が「１」から「４」の各端末装置について、そこでの表示領域のサイズを算定する。そして、それらの表示領域サイズの最大値を求め、その最大サイズを下回らない範囲で最低の解像度の解像度タイプを、図９を用いて選定し、カメラ２０５が撮影する映像の解像度を変更する。
【００２７】
以上、この実施形態の構成と機能について説明した。続いて、この実施形態で、映像の配置が変更されるシーケンスについて、図を参照して説明する。以下の説明においては、端末装置をその端末IDで記述する。例えば、端末IDが「T００１」の端末装置を端末装置「T００１」と記述する。
【００２８】
図１１は、変更前の映像配置情報の一例を示す図である。この例では、端末装置「T００１」が配置順序「１」、端末装置「T００２」が配置順序「２」、端末装置「T００３」が配置順序「３」、そして、端末装置「T００４」が配置順序「４」となっている。また、端末装置「T００１」が表示タイプ「０」、他の端末装置が表示タイプ「１」となっている。
【００２９】
この変更前の状態にあっては、各端末装置の映像解像度変更部２０６は、図１１の映像配置情報を用いて、上記で説明した手順で、自端末装置のカメラ２０５が撮影する映像解像度を図１２に示す解像度タイプに設定する。端末装置「T００１」は解像度タイプ「０」となり、端末装置「T００２」、端末装置「T００３」および端末装置「T００４」は解像度タイプ「２」となる。
【００３０】
この状態から、端末装置「T００３」のユーザーの操作により、端末装置「T００３」の配置順序が「１」に変更される場合の動作について以下に説明する。
【００３１】
ユーザーの入力操作により、端末装置「T００３」は、映像配置の変更を指示する映像配置変更情報をサーバー装置に送信する。該映像配置変更情報は、コマンドコードが「０」で、表示パラメータ１が端末ID「T００３」となっている。
【００３２】
該映像配置変更情報を受信したサーバー装置は、それを用いて変更した映像配置情報を各端末装置に送信する。図１３は、変更後の映像配置情報を示す図である。端末装置「T００３」の配置順序が「１」となり、他の各端末装置の配置順序が一つづつ下がっている。
【００３３】
この変更後の映像配置情報を受信した各端末装置の映像解像度変更部２０６は、自端末装置のカメラ２０５が撮影する映像解像度を該映像配置情報を用いて変更する。図１４は、変更後の各端末装置のカメラの解像度タイプを示す図である。配置順序が「３」から「１」に変わった端末装置「T００３」の解像度タイプは「２」から「０」に変更され、配置順序が「１」から「２」に変わった端末装置「T００１」の解像度タイプは「０」から「２」に変更されている。
【００３４】
この映像の配置順序の変更においては、端末装置「T００１」のカメラの映像解像度は、それを表示する領域のサイズが小さくなるのに追従して、解像度タイプ「０」すなわち横ピクセル数１０２４、縦ピクセル数７６８の高い解像度から、解像度タイプ「２」すなわち横ピクセル数３２０、縦ピクセル数２４０の低い解像度に変更される。逆に、端末装置「T００３」のカメラの映像解像度は、それを表示する領域のサイズが大きくなるのに追従して、解像度タイプ「２」の低い解像度から、解像度タイプ「０」の高い解像度に変更される。
【００３５】
もう一つの変更例として、図１１に示す状態から、端末装置「T００１」のユーザーの操作により、端末装置「T００１」の表示タイプが「１」に変更される場合の動作について以下に説明する。
【００３６】
ユーザーの入力操作により、端末装置「T００１」は、端末装置「T００１」の表示タイプの変更を指示する映像配置変更情報をサーバー装置に送信する。該映像配置変更情報は、コマンドコードが「１」で、表示パラメータ１が端末ID「T００１」で、表示パラメータ２が表示タイプ「１」となっている。
【００３７】
該映像配置変更情報を受信したサーバー装置は、それを用いて変更した映像配置情報を各端末装置に送信する。図１５は、変更後の映像配置情報を示す図である。端末装置「T００１」の表示タイプが「１」となっている。
【００３８】
この変更後の映像配置情報を受信した各端末装置の映像解像度変更部２０６は、自端末装置のカメラ２０５が撮影する映像解像度を該映像配置情報を用いて変更する。図１６は、変更後の各端末装置のカメラの解像度タイプを示す図である。端末装置「T００１」の解像度タイプは、「０」から「１」に変更され、他の端末装置の解像度タイプは、「２」から「３」に変更されている。
【００３９】
この映像の表示タイプの変更においては、表示タイプが「０」である端末装置がいなくなるに伴い、各端末装置の映像の表示エリアの最大サイズが小さくなる。この変化に追従して、端末装置「T００１」のカメラの映像解像度は、解像度タイプは、「０」すなわち横ピクセル数１０２４、縦ピクセル数７６８の高い解像度から、解像度タイプ「１」すなわち横ピクセル数８００、縦ピクセル数６００の一段階だけ低い解像度に変更される。また、他の端末装置のカメラの映像解像度は、解像度タイプ「２」すなわち横ピクセル数３２０、縦ピクセル数２４０の解像度から、解像度タイプ「３」すなわち横ピクセル数１９２、縦ピクセル数１４４の一段階低い解像度に変更される。
【００４０】
上述したように、本発明の実施形態においては、端末装置のユーザーの操作で映像の表示状態が変更されると、それに追従して各端末装置のカメラ映像の解像度が、表示映像の画質を低下させない範囲で最低の解像度となるように変更される。映像の解像度を下げることは、その符号化および復号に必要とされる端末装置の演算処理量の低下、さらに、映像データのデータ量の低下をもたらす。映像データのデータ量の低下は、特に、データ通信が集中するサーバー装置において、その通信回線の負担低減に効果がある。
【００４１】
上述した本発明の実施形態においては、映像配置変更情報として、各端末装置からの映像の配置順序を指定する配置順序変更情報と、各端末装置の表示画面サイズの変更を指示する表示タイプ変更情報とが示されているが、他に表示画面の構成パターンを複数パターン定義し、そのパターンの変更を指示する情報が含まれていても良い。例えば、複数の端末装置からの映像が均等なサイズで表示されるパターンや、２台の端末装置からの映像が大きなサイズであるパターンなどを定義して、それらのパターンを変更する指示が映像配置変更情報に含まれていても良い。
【００４２】
以上説明した端末装置やサーバー装置の各構成、機能、動作シーケンス等は、専用のハードウエアで実現しても良いし、パーソナルコンピュータのような汎用のハードウエアとその上で動作するソフトウエアで実現しても良い。
【産業上の利用可能性】
【００４３】
この発明は、ビデオ会議システムを製造する産業で利用される。
【符号の説明】
【００４４】
１０  サーバー装置
１０１  受信インタフェース
１０２  送信インタフェース
１０３  データ中継部
１０４  映像配置情報送信部
２０、２０ー１、２０−２、２０−３、２０ー４  端末装置
２０１  送信インタフェース
２０２  受信インタフェース
２０３  マイク
２０４  音声符号化部
２０５  カメラ
２０６  映像解像度変更部
２０７  映像符号化部
２０８  ユーザーインタフェース
２０９  映像配置変更情報送信部
２１０  音声復号部
２１１  スピーカー
２１２  映像復号部
２１３  映像配置変後部
２１４  表示部
３０  通信回線
４０  ネットワーク
【図１】
2016189505.tif 000003
【図２】
2016189505.tif 000004
【図３】
2016189505.tif 000005
【図４】
2016189505.tif 000006
【図５】
2016189505.tif 000007
【図６】
2016189505.tif 000008
【図７】
2016189505.tif 000009
【図８】
2016189505.tif 000010
【図９】
2016189505.tif 000011
【図１０】
2016189505.tif 000012
【図１１】
2016189505.tif 000013
【図１２】
2016189505.tif 000014
【図１３】
2016189505.tif 000015
【図１４】
2016189505.tif 000016
【図１５】
2016189505.tif 000017
【図１６】
2016189505.tif 000018