(57)【要約】【課題】遠隔会議システムにおいて、会議参加者の自然な動作により、発言権の設定や強調対象の選択を可能にする。【解決手段】各端末１-1，１-2，・・・，１-Nから送信された映像音声１０-1，１０-２，・・・，１０-Nは映像音声合成・制御サーバ２で受信される。映像音声合成・制御サーバ２から送信された合成映像音声２０-1、２０-2，・・・，２０-Nは、第１の端末１-1、第２の端末１-2，・・・，第Ｎの端末１-Nで受信される。司会者端末である第１の端末１-1の会議参加者が、表示されている合成映像の所望の位置を指示する動作を行うと、第１の端末１-1は指示された位置を表す動作検出結果１１を映像音声合成・制御サーバ２へ送信する。映像音声合成・制御サーバ２は、指示された位置に表示されている端末の映像及び音声を強調した合成映像音声２０-1、２０-2，・・・，２０-Nを生成する。【選択図】図１
2016010039.tif 000002
【特許請求の範囲】
【請求項１】
映像を含む情報を複数の拠点に設置された会議端末間で通信する遠隔会議システムであって、
所定の一つの会議端末で表示されている映像の所望の位置を、該会議端末を使用する会議参加者が所定の第１の動作で指示したとき、その指示された位置を検出する位置検出手段と、
前記位置検出手段により検出された位置と、前記所定の一つの会議端末で表示されている映像における他の複数の会議端末の拠点の映像の位置を表す情報とから、前記所定の一つの会議端末を使用する会議参加者により指示された位置に表示されている拠点を検出する拠点検出手段と、
前記拠点検出手段により検出された拠点の映像を強調する映像強調手段と、
を有する、遠隔会議システム。
【請求項２】
請求項１に記載された遠隔会議システムにおいて、
前記拠点の映像の位置を表す情報は、前記拠点の会議参加者の映像の位置を表す情報を含む、遠隔会議システム。
【請求項３】
請求項１に記載された遠隔会議システムにおいて、
前記拠点検出手段により検出された拠点の音声を強調する音声強調手段を有する、遠隔会議システム。
【請求項４】
請求項１に記載された遠隔会議システムにおいて、
前記第１の動作は前記映像に非接触の動作であり、前記位置検出手段は、前記指示された位置を非接触で検出する、遠隔会議システム。
【請求項５】
請求項１に記載された遠隔会議システムにおいて、
前記所定の一つの会議端末を使用する会議参加者が前記第１の動作と異なる第２の動作を行ったとき、映像の強調を解除する映像強調解除手段を有する、遠隔会議システム。
【請求項６】
映像を含む情報を複数の拠点に設置された会議端末間で通信する遠隔会議システムにおける映像処理方法であって、
所定の一つの会議端末で表示されている映像の所望の位置を、該会議端末を使用する会議参加者が所定の動作で指示したとき、その指示された位置を検出する位置検出工程と、
前記位置検出工程で検出された位置と、前記所定の一つの会議端末で表示されている映像における他の複数の会議端末の拠点の映像の位置を表す情報とから、前記所定の一つの会議端末を使用する会議参加者により指示された位置に表示されている拠点を検出する拠点検出工程と、
前記拠点検出工程で検出された拠点の映像を強調する映像強調工程と、
を有する、遠隔会議システムにおける映像処理方法。
【請求項７】
映像を含む情報を複数の拠点に設置された会議端末間で通信する遠隔会議システムに使用される映像制御装置であって、
各会議端末に対し、他の会議端末の拠点の映像を送信する映像送信手段と、
前記複数の会議端末のうち、所定の一つの会議端末から、該会議端末を使用する会議参加者が所定の動作で、前記映像送信手段から送信され、該会議端末で表示されている前記映像の所望の位置を指示したとき、その指示された位置の検出結果を受信する検出結果受信手段と、
前記検出結果受信手段により受信された検出結果と、前記所定の一つの会議端末で表示されている映像における他の複数の会議端末の拠点の映像の位置を表す情報とから、前記所定の一つの会議端末を使用する会議参加者により指示された位置に表示されている拠点を検出する拠点検出手段と、
前記拠点検出手段により検出された拠点の映像を強調する映像強調手段と、
を有する、映像制御装置。
【請求項８】
コンピュータを請求項７に記載された映像制御装置の各手段として機能させるためのプログラム。
【請求項９】
映像を含む情報を複数の拠点に設置された会議端末間で通信する遠隔会議システムに使用される会議端末であって、
他の会議端末の拠点の映像を表示する映像出力手段と、
会議参加者が所定の動作で前記映像出力手段で表示されている映像の所望の位置を指示したとき、その指示された位置を検出する位置検出手段と、
前記位置検出手段により検出された位置と、前記映像出力手段で表示されている他の複数の会議端末の拠点の映像の位置を表す情報とから、前記会議参加者により指示された位置に表示されている拠点を検出する拠点検出手段と、
前記拠点検出手段により検出された拠点の映像を強調する映像強調手段と、
を有する、会議端末。
【請求項１０】
コンピュータを請求項９に記載された会議端末の位置検出手段と、拠点検出手段、及び映像強調手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔会議システム、その映像処理方法、映像制御装置、会議端末、及びプログラムに関する。
【背景技術】
【０００２】
近年、情報通信技術の発達に伴い、インターネットなどのネットワークを介して、互いに遠隔地にいる者が会議に参加できる遠隔会議システムが開発されている。遠隔会議は、例えばテレビ会議およびウェブ会議などのように、会議を行う際に、参加者が実際に一箇所に集まって直接話し合う形態の会議ではなく、参加者が互いに離れた地点（拠点）にいながらにして、互いに接続された会議端末を使用して動画と音声を通信して話し合いを進める形態の会議である。
【０００３】
このような遠隔会議システムを利用した遠隔会議では、２箇所の参加者が会議を行うだけでなく、３箇所以上の多数の参加者が遠隔会議に参加する場合も多い。多数の参加者が遠隔会議を行う場合、会議の進行に伴って発言者が発言する際に、一度に複数の参加者が発言したのでは混乱してしまう。
【０００４】
このような問題に対処した遠隔会議システムとして、特許文献１に記載された遠隔会議システムがある。この遠隔会議システムでは、複数の会議端末のうちの１つを司会者端末とし、司会者が会議の進行を管理できるよう、会議端末からの発言意志の通知に応じて、その会議端末に発言権を設定することで、限られた会議端末のみが映像及び音声を通信できるようにする。
【０００５】
また、特定の参加者を他の参加者に注目させ、会議を円滑に進行させることを可能にした遠隔会議システムも知られている（特許文献２）。この遠隔会議システムでは、任意の会議端末から他の会議端末に対し、参加者自身の映像及び音声等の会議情報をより強調して出力させるための要求信号を送信し、各会議端末は他の会議端末から強調要求信号を受信したとき、強調要求信号で指定された参加者の会議情報を強調して再生する。
【０００６】
しかし、上記従来の遠隔会議システムにおける発言権の設定方法や強調対象の選択方法には、会議端末のボタンやキーボードの使用、メニュー画面での操作など、煩わしさ、不自然さが伴うという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、このような問題を解決するためになされたものであり、その目的は、遠隔会議システムにおいて、会議参加者の自然な動作により、発言権の設定や強調対象の選択を可能にすることである。
【課題を解決するための手段】
【０００８】
本発明は、映像を含む情報を複数の拠点に設置された会議端末間で通信する遠隔会議システムであって、所定の一つの会議端末で表示されている映像の所望の位置を、該会議端末を使用する会議参加者が所定の第１の動作で指示したとき、その指示された位置を検出する位置検出手段と、前記位置検出手段により検出された位置と、前記所定の一つの会議端末で表示されている映像における他の複数の会議端末の拠点の映像の位置を表す情報とから、前記所定の一つの会議端末を使用する会議参加者により指示された位置に表示されている拠点を検出する拠点検出手段と、前記拠点検出手段により検出された拠点の映像を強調する映像強調手段と、を有する、遠隔会議システムである。
【発明の効果】
【０００９】
本発明によれば、遠隔会議システムにおいて、会議参加者の自然な動作により、発言権の設定や強調対象の選択が可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る遠隔会議システムの全体構成について説明するための図である。
【図２】本発明の第１の実施形態に係る遠隔会議システムにおける端末のハードウェア構成を示すブロック図である。
【図３】本発明の第１の実施形態に係る遠隔会議システムにおける映像音声合成・制御サーバのハードウェア構成を示すブロック図である。
【図４】本発明の第１の実施形態に係る遠隔会議システムにおける司会者端末の機能ブロック図である。
【図５】本発明の第１の実施形態に係る遠隔会議システムにおける映像音声合成・制御サーバの機能ブロック図である。
【図６】図４における動作検出手段の出力について説明するための図である。
【図７】図６における指定座標の検出方法について説明するための図である。
【図８】図５における映像配置情報及び合成映像について説明するための図である。
【図９】本発明の第１の実施形態に係る遠隔会議システムにおける強調処理の解除動作について説明するための図である。
【図１０】本発明の第１の実施形態に係る遠隔会議システムの動作を示すフローチャートである。
【図１１】本発明の第２の実施形態に係る遠隔会議システムの全体構成について説明するための図である。
【図１２】本発明の第２の実施形態に係る遠隔会議システムにおける司会者端末の機能ブロック図である。
【図１３】本発明の第２の実施形態に係る遠隔会議システムにおける司会者端末以外の端末の機能ブロック図である。
【図１４】本発明の第２の実施形態に係る遠隔会議システムにおける司会者端末の送信動作及び司会者端末以外の端末の受信動作示すフローチャートである。
【図１５】本発明の第２の実施形態に係る遠隔会議システムにおける司会者端末以外の端末の送信動作及び司会者端末の受信動作示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面を参照して説明する。
［第１の実施形態］
〈遠隔会議システムの全体構成〉
図１は、本発明の第１の実施形態に係る遠隔会議システムの全体構成について説明するための図である。
【００１２】
この遠隔会議システムは、複数の拠点としてのＮ箇所（Ｎは３以上の整数）の拠点に設置されたＮ台の会議端末である第１の端末１-1、第２の端末１-2，・・・，第Ｎの端末１-Nと、映像音声合成・制御サーバ２とをネットワーク３に接続することにより構成されており、端末間で映像及び音声を通信することで遠隔会議を支援することができる。
【００１３】
各端末は映像及び音声（以下、映像音声）を映像音声合成・制御サーバ２へ送信する。
映像音声合成・制御サーバ２は受信した映像音声を制御、合成した後、合成した映像音声を各端末へと送信する。各端末は映像音声合成・制御サーバ２からの合成映像音声を受信する。
【００１４】
即ち、第１の端末１-1から送信された映像音声１０-1、第２の端末１-2から送信された映像音声１０-2，・・・，第Ｎの端末１-Nから送信された映像音声１０-Nは、それぞれネットワーク３を通り、映像音声合成・制御サーバ２で受信される。そして、映像音声合成・制御サーバ２から送信された合成映像音声２０-1、２０-2，・・・，２０-Nは、ネットワーク３を通り、それぞれ第１の端末１-1、第２の端末１-2，・・・，第Ｎの端末１-Nで受信される。
【００１５】
ここで、２０-1、２０-2，・・・，２０-Nを全て同じものにしてもよいが、本実施形態では送信先の端末によって異なる。即ち、例えば、第１の端末１-1へ送信する合成映像音声２０-1には、第１の端末１-1からの映像音声１０-1は含めず、それ以外から端末からの映像音声のみを合成する。
【００１６】
第１の端末１-1は司会者端末である。司会者端末とは、会議参加者の一人である司会者が使用する端末である。司会者端末の決定方法には、例えば、会議の開始前、あるいは開始後にどの端末がそうかをメニュー操作などで登録する方法、事前に司会者役の人物の顔や声を登録して、会議中に認識できた端末を設定する方法などがある。
【００１７】
司会者端末は、司会者が会議を円滑に進めるための発言権の決定や映像音声の強調などを行うための所定の動作を検出し、動作検出結果１１を映像音声合成・制御サーバ２へと送信する。後に詳述するように、動作検出結果は、司会者が、第１の端末１−１で受信し表示している合成映像上のどこを指し示す動作を行ったかを表す情報を含んでいる。映像音声合成・制御サーバ２は、動作検出結果１１をもとに、映像、音声の制御を行う。なお、以下の説明では、第１の端末１-1、第２の端末１-2，・・・，第Ｎの端末１-Nを区別しない場合は端末１とする。
【００１８】
〈端末のハードウェア構成〉
図２は、本発明の第１の実施形態に係る遠隔会議システムにおける端末のハードウェア構成を示すブロック図である。
【００１９】
端末１は、コンピュータ及びその周辺装置などから構成されており、ＣＰＵ５１１、メモリ（ＲＯＭ、ＲＡＭ）５１２、記憶媒体装着部５１３、ネットワーク装置５１４、モニタ制御部５１５、入力装置５１６、ＨＤＤ（ハードディスク装置）５１７、カメラ５２１、スピーカ５２２及びマイク５２３がバスラインで接続された構造を有する。
【００２０】
ＣＰＵ５１１は、ＨＤＤ５１７からプログラム５２０を読み出して実行し、端末１を全体的に制御する。メモリ５１２のＲＡＭは、ＤＲＡＭなどの揮発性メモリであり、ＣＰＵがプログラムやＯＳを実行する際の作業エリアとなる。メモリ５１２のＲＯＭは、ブートプログラムなどを記憶する不揮発性メモリである。
【００２１】
記憶媒体装着部５１３は、各種の記憶媒体５１９を脱着可能に接続するインタフェースであり、記憶媒体５１９からデータを読み出し、また、記憶媒体５１９にデータを書き込む際に利用される。プログラム５２０は、記憶媒体５１９に記憶された状態で配布され、記憶媒体５１９から読み出されＨＤＤ５１７にインストールされる。なお、記憶媒体５１９は、ＵＳＢメモリ、ＳＤカード、メモリースティック（登録商標）、マルチメディアカード、ＣＤ−ＲＯＭ（Ｒ／Ｗ）、ＤＶＤ−ＲＯＭ（ＲＡＭ、Ｒ／Ｗ）等である。
【００２２】
ネットワーク装置５１４は、端末１をネットワーク３に接続するためのインタフェース（例えばイーサネット（登録商標）カード）である。プログラム５２０は、ネットワーク装置５１４が不図示のサーバからダウンロードすることでＨＤＤ５１７にインストールされてよい。
【００２３】
ＨＤＤ５１７には、遠隔会議システムの端末側のプログラム５２０、ＯＳ、及び後述する各種のデータが記憶されている。プログラム５２０は、端末１に後述する機能ブロック（図４）を構成し、後述するフローチャート（図１０）を実行させる。
【００２４】
入力装置５１６は、マウスやキーボード、タッチパネルなどを用いて、会議の参加者が端末１を操作するための装置である。モニタ制御部５１５は、ＯＳやプログラム５２０が指定する解像度や色数で、ディスプレイ５１８に表示する画面を描画する。ディスプレイ５１８は、モニタ制御部５１５の制御によりＧＵＩ（Graphical User Interface）画面を表示するユーザ−インタフェースとなる。ディスプレイ５１８はＬＣＤやプロジェクタからなり、ＬＣＤにタッチパネルを一体に搭載していてもよい。
【００２５】
カメラ５２１は端末１が設置されている拠点を撮影することで、拠点の映像を取得する装置である。この拠点の映像は、端末１及びその周辺の映像、並びに端末１を使用する会議参加者の映像からなる。マイク５２３は端末１を使用する会議参加者が発声した音声を集音する装置である。カメラ５２１が撮影した映像とマイク５２３が集音した音声は、他の端末へリアルタイムに送信される。この映像は他の端末のディスプレイ５１８に表示され、音声はスピーカ５２２から出力される。
【００２６】
〈映像音声合成・制御サーバ〉
図３は、本発明の第１の実施形態に係る遠隔会議システムにおける映像音声合成・制御サーバのハードウェア構成を示すブロック図である。
【００２７】
本発明に係る映像制御装置としての映像音声合成・制御サーバ２は、コンピュータ及びその周辺装置などから構成されており、ＣＰＵ６１１、メモリ（ＲＯＭ、ＲＡＭ）６１２、記憶媒体装着部６１３、ネットワーク装置６１４、入力装置６１６、及びＨＤＤ６１７がバスラインで接続された構造を有する。
【００２８】
ＣＰＵ６１１は、ＨＤＤ６１７からプログラム６２０を読み出し実行し、映像音声合成・制御サーバ２を全体的に制御する。メモリ６１２のＲＡＭは、ＤＲＡＭなどの揮発性メモリであり、ＣＰＵがプログラムやＯＳを実行する際の作業エリアとなる。記憶媒体装着部６１３は、各種の記憶媒体６１９を脱着可能に接続するインタフェースであり、記憶媒体６１９からデータを読み出し、また、記憶媒体６１９にデータを書き込む際に利用される。プログラム６２０は、記憶媒体６１９に記憶された状態で配布され、記憶媒体６１９から読み出されＨＤＤ６１７にインストールされる。
【００２９】
ネットワーク装置６１４は、映像音声合成・制御サーバ２をネットワーク３に接続するためのインタフェースである。入力装置６１６は、マウスやキーボード、タッチパネルなどを用いて、映像音声合成・制御サーバ２を操作するための装置である。
【００３０】
〈司会者端末の機能ブロック図〉
図４は、本発明の第１の実施形態に係る遠隔会議システムにおける司会者端末の機能ブロック図である。
【００３１】
司会者端末である第１の端末１-1は、映像取得手段１０１、映像送信手段１０２、音声取得手段１０３、音声送信手段１０４、センサ情報取得手段１０５、動作検出手段１０６、検出結果送信手段１０７、映像受信手段１０８、映像出力手段１０９、音声受信手段１１０、及び音声出力手段１１１を備えている。
【００３２】
映像取得手段１０１は、カメラ５２１が撮影した司会者の映像を取得する。映像送信手段１０２は、映像取得手段１０１により取得された映像をネットワーク装置５１４により、ネットワーク３を介して映像音声合成・制御サーバ２へ送信する。音声取得手段１０３は、マイク５２３が集音した司会者の音声を取得する。音声送信手段１０４は、音声取得手段１０３により取得された音声をネットワーク装置５１４により、ネットワーク３を介して映像音声合成・制御サーバ２へ送信する。映像取得手段１０１により取得された映像と、音声取得手段１０３により取得された音声が映像音声１０-1を構成する。
【００３３】
映像受信手段１０８は、映像音声合成・制御サーバ２から送信された映像を受信し、映像出力手段１０９は、映像受信手段１０８により受信された映像をディスプレイ５１８で表示する。音声受信手段１１０は、映像音声合成・制御サーバ２から送信された音声を受信し、音声出力手段１１１は、音声受信手段１１０により受信された音声をスピーカ５２２で再生（出力）する。映像受信手段１０８により受信された映像と、音声受信手段１１０により受信された音声が合成映像音声２０-1を構成する。
【００３４】
センサ情報取得手段１０５は、第１の端末１-1のディスプレイ５１８の前面などに配置された距離センサなどから、司会者の身体要素、例えば手までの距離情報を取得する。動作検出手段１０６は、センサ情報取得手段１０５により取得されたセンサ情報と、映像取得手段１０１により取得された映像とから、司会者が、ディスプレイ５１８に表示されている映像上の所望の位置を指し示す（指示する）所定の動作を行ったか否かを検出し、動作検出結果を出力する。この動作検出結果には、指し示した位置の座標も含める。つまり、動作検出手段１０６は本発明に係る位置検出手段として機能する。動作検出手段１０６の構成の詳細及び動作検出結果の詳細については後述する。
【００３５】
なお、司会者端末以外の端末は、センサ情報取得手段１０５、動作検出手段１０６、及び検出結果送信手段１０７を備える必要はないので、これらの手段を司会者端末から除いた構成の端末でよい。また、これらの手段を備えている端末であっても、司会者役ではない場合、これらの手段は何も行わなくてよい。
【００３６】
〈映像音声合成・制御サーバ〉
図５は、本発明の第１の実施形態に係る遠隔会議システムにおける映像音声合成・制御サーバの機能ブロック図である。
【００３７】
映像音声合成・制御サーバ２は、映像受信手段２０１、映像合成手段２０２、映像送信手段２０３、音声受信手段２０４、音声合成手段２０５、音声送信手段２０６、検出結果受信手段２０７、強調対象選択手段２０８、映像制御手段２０９、及び音声制御手段２１０を備えている。
【００３８】
映像受信手段２０１は、第１の端末１-1，第２の端末１-2，・・・，第Ｎの端末１-Nから送信された映像１，２，・・・，Ｎを受信する。映像合成手段２０２は、映像受信手段２０１により受信された映像１，２，・・・，Ｎ（合成前映像）を合成して合成映像１、２，・・・，Ｎを生成する。映像合成手段２０２の動作の詳細及び合成映像の内容の詳細については後述する。映像送信手段２０３は、合成映像１，２，・・・，Ｎを第１の端末１-1，第２の端末１-2，・・・，第Ｎの端末１-Nへ送信する。
【００３９】
音声受信手段２０４は、第１の端末１-1，第２の端末１-2，・・・，第Ｎの端末１-Nから送信された音声１，２，・・・，Ｎを受信する。音声合成手段２０５は、音声受信手段２０４により受信された音声１，２，・・・，Ｎ（合成前音声）を合成して合成音声１，２，・・・，Ｎを生成する。音声合成手段２０５の動作の詳細及び合成音声の内容の詳細については後述する。音声送信手段２０６は、合成音声１，２，・・・，Ｎを第１の端末１-１，第２の端末２-2，・・・，第Ｎの端末１-Nへ送信する。
【００４０】
ここで、映像１，２，・・・，Ｎと音声１，２，・・・，Ｎが図１における映像音声１０-１，１０-2，・・・，１０-Nを構成し、合成映像１，２，・・・，Ｎと合成音声１，２，・・・，Ｎが図１における合成映像音声２０-１，２０-2，・・・，２０-Nを構成する。
【００４１】
検出結果受信手段２０７は、第１の端末１-1から送信された動作検出結果を受信する。強調対象選択手段２０８は、受信した動作検出結果と、映像合成手段２０２から供給される映像配置情報とから、映像１，２，・・・，Ｎのうち、強調対象となる端末を選択し、選択結果としての強調対象情報を映像制御手段２０９及び音声制御手段２１０へ送出する。つまり、強調対象選択手段２０８は、本発明に係る拠点検出手段として機能する。映像制御手段２０９、音声制御手段２１０は、入力された強調対象情報に基づいて、それぞれ映像合成手段２０２、音声合成手段２０５の動作を制御する。映像配置情報及び強調対象情報の詳細については後述する。
【００４２】
〈動作検出手段の構成の詳細及び動作検出結果の詳細〉
図６は、図４における動作検出手段１０６の出力について説明するための図であり、図７は、図６における指定座標の検出方法について説明するための図である。ここで、図７Ａ及び図７Ｂは、それぞれ司会者の手と司会者端末（第１の端末１-1）のディスプレイ５１８の画面との関係の平面図及び側面図である。
【００４３】
図６に示すように、動作検出手段１０６の出力、即ち動作検出結果は、所定の動作が行われたか否かを表す情報と、指定座標とを対応付けたデータからなる。ここで、「所定の動作」とは、会議の司会者が第１の端末１-1のディスプレイ５１８の画面５１８ａに表示されている合成映像のある位置を指し示す動作であり、「指定座標」はその画面上の位置を表す二次元座標（ｘ，ｙ）である。なお、二次元座標の原点は例えば画面５１８ａの左下端である。
【００４４】
この動作検出結果は一定時間毎に出力される。図の場合、１回目と３回目に所定の動作が行われていないことを示す“FALSE”が出力され、２回目と４回目に所定の動作が行われたことを示す“TRUE”が出力されている。そして、２回目と４回目には、「指定座標」として、それぞれ“ｘ＝１００，ｙ＝１５０”、“ｘ＝３００，ｙ＝１２０”が出力されている。
【００４５】
ここで、「指定座標」は、司会者の手の向きとディスプレイ５１８の画面との位置関係から算出することができる。即ち、司会者の手４０とディスプレイ５１８の画面５１８ａとが図７Ａ及び図７Ｂに示す関係にあるとき、画面５１８ａ上の点（ｘ，ｙ）は下記の式〔１〕、〔２〕で求められる。
ｘ＝Ｚｈｔａｎθｈ＋ｘｈ  …式〔１〕
ｙ＝Ｚｈｔａｎφｈ＋ｙｈ  …式〔２〕
【００４６】
ここで、手４０の三次元座標（ｘｈ，ｙｈ，ｚｈ）及び向き（θｈ，φｈ）は、例えば映像取得手段１０１で取得された映像や距離センサの情報から得られる。
【００４７】
第１の端末１-1が設置されている拠点に司会者以外の参加者がいる場合、動作検出手段１０６は、司会者とその他の参加者を区別して、司会者のみを検出対象とする必要がある。区別する方法には、予め司会者の位置を決めておく方法（例：カメラ５２１の中心に最も近い位置にいる人物を司会者と決める）、会議開始前に司会者の位置を指定する方法、顔認識で司会者を判別する方法などがある。
【００４８】
〈映像合成手段の動作の詳細及び合成映像の内容の詳細〉
図８は、図５における映像配置情報及び合成映像について説明するための図である。ここで、図８Ａは映像配置情報を示しており、図８Ｂは、図８Ａに示されている映像配置情報に対応する合成映像の画面上の配置を示す図である。これらの図において、端末番号１，２，３は、図１における任意の３つの端末の番号を表す。
【００４９】
映像配置情報は、映像合成手段２０２が各端末の映像をどのように合成するかを表す情報（レイアウト情報）であり、図８Ａに示すように、端末番号と、配置位置（左上端の座標、右下端の座標）を表す情報と、重ねる順番を表す情報とからなる。そして、図８Ａに示す映像配置情報を基にディスプレイ５１８の画面５１８ａに表示される合成画像は、図８Ｂに示すようになる。
【００５０】
強調対象選択手段２０８は、動作検出結果と、司会者端末１-1へ送信した合成映像の映像配置情報を照らし合わせることで、指定座標ではどの端末の映像が表示されていたかを判断することが出来るので、その判断の結果を基に強調対象とする端末を選択する。即ち、例えば、図８Ａに示す映像配置情報に対して、動作検出結果の指定座標が（１００，１００）であった場合、表示領域内にその座標を含んでいる第２の端末１-2を強調対象として選択する。なお、動作検出結果が所定の動作を検出していない場合、強調対象選択手段２０８は強調対象を選択しないので、「強調対象情報」として強調対象が選択されていないことを表す情報が送信される。
【００５１】
映像制御手段２０９、音声制御手段２１０は、強調対象として選択された端末の映像音声を強調するための映像制御信号、音声を強調するための音声制御信号を、それぞれ映像合成手段２０２、音声合成手段２０５へ送る。つまり、映像制御手段２０９、音声制御手段２１０は、それぞれ本発明に係る映像強調手段、音声強調手段として機能する。映像を強調する方法には、例えば表示領域を拡大するなどがある。音声を強調する方法には、例えば強調対象端末以外の端末からの音声をミュートするなどがある。この音声ミュートを行った場合、強調対象端末を使用する会議参加者に発言権を設定したことになる。強調対象が選択されていない場合、映像制御信号、音声制御信号はそのままの値とする。
【００５２】
選択される強調対象を端末単位ではなく、個人単位にすることも可能である。その場合、映像合成手段２０２から得られる映像配置情報に、映像中の人物の位置情報を含める必要がある。人物の位置情報を得る方法には、例えば予め位置を固定しておく方法や、顔認識、人物認識などを利用する方法などがある。強調対象選択手段２０８は、動作検出結果の指定座標に最も近い位置に表示されている人物を、強調対象として選択する。個人単位で映像音声を強調する方法には、例えば、対象人物の表示領域を切り出して拡大表示する方法や、マイクアレイ処理で指向性を制御する方法などがある。
【００５３】
〈強調処理の解除〉
図９は、本発明の第１の実施形態に係る遠隔会議システムにおける強調処理の解除動作について説明するための図である。
【００５４】
強調処理を解除したい場合、新たに解除用の動作を定義して利用してもよい。例えば、解除したいときは手を叩く、などである。その場合、動作検出結果は例えば図９のようになる。図６に示す動作検出結果に対して動作番号が追加されており、映像制御手段２０９、音声制御手段２１０は、指定された強調対象と動作番号に対応する制御を行う。
【００５５】
この図の場合、２回目の動作検出結果は指定座標“ｘ＝１００，ｙ＝１５０”の端末（図８Ｂの場合、端末番号２の端末）に対する強調対象の指定動作を表すものである。つまり、司会者が第１の端末１-1のディスプレイ５１８に表示されている合成映像の端末番号２の端末を指し示す動作を行った結果が検出されたことを表している。また、４回目の動作検出結果は強調処理の解除動作を表すものである。つまり、司会者が例えば手を叩く動作を行った結果が検出されたことを表している。
【００５６】
〈遠隔会議システムの動作〉
図１０は、本発明の第１の実施形態に係る遠隔会議システムの動作を示すフローチャートである。
【００５７】
まず司会者端末（第１の端末１-1）において、映像取得手段１０１、音声取得手段１０３、センサ情報取得手段１０５は、それぞれ映像、音声、センサ情報を取得する（ステップＳ１）。次に動作検出手段１０６は、ステップＳ１で取得した映像及びセンサ情報から、所定動作を検出したか否かを判定する（ステップＳ２）。
【００５８】
動作検出手段１０６は、所定動作を検出した場合（ステップＳ２：Yes）、ステップＳ１で取得した映像及びセンサ情報から、所定の動作の指し示す座標（指定座標）を計算し、動作検出結果に追加する（ステップＳ３）。
【００５９】
次に検出結果送信手段１０７は、ステップＳ１で取得した映像及び音声、ステップＳ２、Ｓ３で求めた動作検出結果を映像音声合成・制御サーバ２へ送信する（ステップＳ４）。
【００６０】
動作検出手段１０６が所定動作を検出しなかった場合は（ステップＳ２：No）、ステップＳ１で取得した映像及び音声、及び所定動作が行われなかったことを表す情報（図６における“FALSE”）を含む動作検出結果を映像音声合成・制御サーバ２へ送信する（ステップＳ４）。
【００６１】
映像音声合成・制御サーバ２は、第１の端末１-1からの映像、音声、及び動作検出結果を受信する（ステップＳ５）。次に強調対象選択手段２０８は、その動作検出結果は所定動作を検出しているか否か、即ち動作検出結果が所定動作を検出していることを表す情報（図６における“TRUE”）を含むか否かを判定する（ステップＳ６）。
【００６２】
判定の結果、所定動作を検出していた場合は（ステップＳ６：Yes）、その動作検出結果と、映像合成手段２０２からの映像配置情報とから、強調対象とする端末を選択する（ステップＳ７）。このとき、選択の結果を表す強調対象情報が映像制御手段２０９及び音声制御手段２１０に供給される。
【００６３】
次に映像制御手段２０９、音声制御手段２１０は、ステップＳ６で選択された端末の映像及び音声を強調するように、それぞれの合成時のパラメータを調整する（ステップＳ８）。
【００６４】
映像合成手段２０２、音声合成手段２０５は、映像制御手段２０９、音声制御手段２１０により調整されたパラメータに基づいて、各端末へ送信するための映像の合成、音声の合成を行う（ステップＳ９）。
【００６５】
強調対象選択手段２０８が、所定動作を検出していなかった場合（ステップＳ６：NO）、映像制御手段２０９、音声制御手段２１０は制御信号のパラメータはそのままの値とし、映像合成手段２０２、音声合成手段２０５は、そのままの値のパラメータを用いて、各端末へ送信するための映像の合成、音声の合成を行う（ステップＳ９）。
【００６６】
映像送信手段２０３、音声送信手段２０６は、ステップＳ９で合成された映像、音声を各端末へ送信する（ステップＳ１０）。各端末では、映像受信手段１０８、音声受信手段１１０が、それぞれ映像音声合成・制御サーバ２からの映像、音声を受信する（ステップＳ１１）。そして、映像出力手段１０９が映像を表示し、音声出力手段１１１が音声を再生する（ステップＳ１２）。
【００６７】
司会者端末以外の端末（第２の端末１-2，・・・，第Ｎの端末１-N）の動作は下記のとおりである。「映像、音声を取得する」（ステップＳ１における「映像、音声、センサ情報」を「映像、音声」に変更）→「映像、音声をサーバへ送信する」（ステップＳ４における「映像、音声、動作検出結果」を「映像、音声」に変更）→「映像、音声をサーバから受信する」（ステップＳ１１と同じ）→「映像、音声情報を表示再生する」（ステップＳ１２と同じ）。
【００６８】
このように、本発明の第１の実施形態に係る遠隔会議システムには下記（１）〜（５）の特徴がある。
（１）司会者の自然な動作により、発言権の設定、映像の強調、音声の強調が可能である。
（２）映像配置情報を各端末からの映像をどう合成しているかを表すレイアウト情報とすることで、拠点単位で強調対象を選択することができる。
（３）映像配置情報を各端末からの映像に参加者がどう位置しているかを表す人物位置情報を含ませることにより、個人単位で強調対象を選択することができる。
（４）司会者の自然な動作により、強調処理を解除することもできる。
（５）司会者による会議の進行の管理が容易になる。
【００６９】
［第２の実施形態］
〈遠隔会議システムの全体構成〉
図１１は、本発明の第２の実施形態に係る遠隔会議システムの全体構成について説明するための図である。この図において、図１（第１の実施形態に係る遠隔会議システムの全体構成）と同じ部分には図１と同じ参照符号を付すとともに、特に必要な場合以外はその部分の説明を省略する。
【００７０】
この遠隔会議システムは、Ｎ台の端末である第１の端末４-１，第２の端末４-2，・・・，第Ｎの端末４-Nをネットワーク３に接続することにより構成される。第１の端末４-1が司会者端末である。
【００７１】
各端末は映像音声を互いに送受信し、第１の実施形態において映像音声合成・制御サーバ２が行っていた合成処理を各端末内で行うことが、第１の実施形態との主な相違点である。
【００７２】
即ち、第１の端末４-1は、映像音声１０-1を第２の端末４-2，・・・，第Ｎの端末４-Nへ送信し、第２の端末４-2，・・・，第Ｎの端末４-Nから映像音声１０-2，・・・，１０-Nを受信する。また、第２の端末４-2は、映像音声１０-2を第１の端末４-1，第３の端末４-3，・・・，第Ｎの端末４-Nへ送信し、第１の端末４-１，第３の端末４-3，・・・，第Ｎの端末４-Nから映像音声１０-1，１０-3，・・・，１０-Nを受信する。また、第Ｎの端末４-Nは、映像音声１０-Nを第１の端末４-1，・・・，第Ｎ−１の端末４-(N−1)へ送信し、第１の端末４-1，・・・，第Ｎ−１の端末４-(N−1) から映像音声１０-1，・・・，１０-(N−1)を受信する。
【００７３】
また、司会者端末である第１の端末４-1は、強調対象情報１３を第２の端末４-2，・・・，第Ｎの端末４-Nへ送信する。強調対象情報１３は第１の実施形態の映像音声合成・制御サーバ２の強調対象選択手段２０８が生成する強調対象情報と同じものである。
【００７４】
〈端末のハードウェア構成〉
各端末のハードウェア構成は第１の実施形態における端末のハードウェア構成（図２）と同じである。
【００７５】
〈司会者端末の機能ブロック図〉
図１２は、本発明の第２の実施形態に係る遠隔会議システムにおける司会者端末の機能ブロック図である。
【００７６】
司会者端末である第１の端末４-1は、映像取得手段４０１、映像送信手段４０２、音声取得手段４０３、音声送信手段４０４、センサ情報取得手段４０５、動作検出手段４０６、強調対象選択手段４０７、強調対象送信手段４０８、映像受信手段４０９、映像合成手段４１０、映像出力手段４１１、音声受信手段４１２、音声合成手段４１３、音声出力手段４１４、映像制御手段４１５、及び音声制御手段４１６を備えている。
【００７７】
ここで、映像取得手段４０１、映像送信手段４０２、音声取得手段４０３、音声送信手段４０４、センサ情報取得手段４０５、動作検出手段４０６、映像受信手段４０９、映像合成手段４１０、映像出力手段４１１、音声受信手段４１２、及び音声出力手段４１４は、映像受信手段４０９が他の各端末から映像２，・・・，Ｎを受信し、音声受信手段４１０が他の各端末から音声２，・・・，Ｎを受信する点以外は図４（第１の実施形態における司会者端末の機能ブロック図）における同名の手段と同じ構成及び機能を備えている。映像２と音声２が映像音声１０-2を構成し、映像Ｎと音声Ｎが映像音声１０-Nを構成する。
【００７８】
また、図１２において、強調対象選択手段４０７、映像合成手段４１０、音声合成手段４１３、映像制御手段４１５、及び音声制御手段４１６は、図５（第１の実施形態における映像音声合成・制御サーバ２の機能ブロック図）における同名の手段と同じ構成及び機能を備えている。
【００７９】
強調対象送信手段４０８は、強調対象選択手段４０７で生成された強調対象情報をネットワーク３経由で第２の端末４-2，・・・，第Ｎの端末４-Nへ送信する手段である。
【００８０】
〈司会者端末以外の端末の機能ブロック図〉
図１３は、本発明の第２の実施形態に係る遠隔会議システムにおける司会者端末以外の端末の一つである第２の端末４-2の機能ブロック図である。この図において、図１２と同一の手段には図１２と同じ参照符号を付すとともに、特に必要な場合以外はその部分の説明を省略する。また、ここでは、便宜上、第２の端末４-2の機能ブロック図を示したが、第３の端末４-3，・・・，第Ｎの端末４-Nの機能ブロックも第２の端末４-2の機能ブロックと同じである。
【００８１】
第２の端末４-2は、第１の端末４-1からセンサ情報取得手段４０５、動作検出手段４０６、強調対象選択手段４０７、及び強調対象送信手段４０８を除去し、強調対象受信手段４１７を付加した構成を備えている。ただし、第１の実施形態と同様に、全ての端末の構成を同一にし、使用しない手段が動作しないように制御してもよい。
【００８２】
〈遠隔会議システムの動作〉
《司会者端末の送信動作及び司会者端末以外の端末の受信動作》
図１４は、本発明の第２の実施形態に係る遠隔会議システムにおける司会者端末の送信動作及び司会者端末以外の端末の受信動作を示すフローチャートである。
【００８３】
まず司会者端末（第１の端末４-1）において、映像取得手段４０１、音声取得手段４０３、センサ情報取得手段４０５は、それぞれ映像、音声、センサ情報を取得する（ステップＳ２１）。次に動作検出手段４０６は、ステップＳ２１で取得した映像及びセンサ情報から、所定動作を検出したか否かを判定する（ステップＳ２２）。
【００８４】
動作検出手段４０６は、所定動作を検出した場合（ステップＳ２２：Yes）、ステップＳ２１で取得した映像及びセンサ情報から、所定の動作の指し示す座標（指定座標）を計算し、動作検出結果に追加する（ステップＳ２３）。
【００８５】
つまり、ステップＳ２１〜Ｓ２３は図１０（第１の実施形態の動作を示すフローチャート）におけるステップＳ１〜Ｓ３と同じである。
【００８６】
次のステップＳ２４では、強調対象選択手段４０７が、ステップＳ２３での動作検出結果と、映像合成手段４１０から供給される映像配置情報とから、強調対象とする端末を選択し、選択結果として強調対象情報を生成する。次いで強調対象送信手段４０８は、ステップＳ２１で取得した音声と映像、及びステップＳ２４で生成した強調対象情報をその他の各端末へ送信する（ステップＳ２５）。ステップＳ２２から直接ステップＳ２５へ進んだ場合、即ち所定の動作が検出されなかった場合は、強調対象情報は強調対象が選択されていないことを表す情報となる。
【００８７】
司会者端末以外の端末（その他端末）では、自端末以外の全ての端末から送信された映像、音声をそれぞれ映像受信手段４０９、音声受信手段４１２で受信し、司会者端末から送信された強調対象情報を強調対象受信手段４１７で受信する（ステップＳ２６）。
【００８８】
次に、映像制御手段４１５、音声制御手段４１６は、強調対象が選択されているか否か、即ち強調対象情報が、選択された端末を表す情報を含んでいるか否かを判定する（ステップＳ２７）。
【００８９】
判定の結果、強調対象が選択されていた場合は（ステップＳ２７：Yes）、映像制御手段４１５、音声制御手段４１６は、選択された端末の映像及び音声を強調するように、それぞれの合成時のパラメータを調整する（ステップＳ２８）。次に映像合成手段４１０、音声合成手段４１３は、映像制御手段４１５、音声制御手段４１６により調整されたパラメータに基づいて、各端末からの映像の合成、音声の合成を行う（ステップＳ２９）。
【００９０】
判定の結果、強調対象が選択されていなかった場合は（ステップＳ２７：No）、映像制御手段４１５、音声制御手段４１６は制御信号のパラメータをそのままの値とし、映像合成手段４１０、音声合成手段４１３は、そのままの値のパラメータを用いて、各端末からの映像の合成、音声の合成を行う（ステップＳ２９）。
【００９１】
次に映像出力手段４１１が合成映像を表示し、音声出力手段４１４が合成音声を再生する（ステップＳ３０）。
【００９２】
《司会者端末以外の端末の送信動作及び司会者端末の受信動作》
図１５は、本発明の第２の実施形態に係る遠隔会議システムにおける司会者端末以外の端末の送信動作及び司会者端末の受信動作示すフローチャートである。
【００９３】
司会者端末以外の端末（その他端末）では、映像取得手段４０１、音声取得手段４０３は、それぞれ映像、音声を取得し（ステップＳ３１）、映像送信手段４０２、音声送信手段４０４は、それぞれ映像取得手段４０１、音声取得手段４０３で取得された映像、音声を各端末へ送信する（ステップＳ３２）。
【００９４】
司会者端末では、各端末から送信された映像、音声をそれぞれ映像受信手段４０９、音声受信手段４１２で受信する（ステップＳ３３）。次に映像制御手段４１５、音声制御手段４１６は、強調対象が選択されているか否か、強調対象情報が、選択された端末を表す情報を含んでいるか否かを判定する（ステップＳ３４）。この強調対象情報は、図１４のステップＳ２５で送信された強調対象情報と同じものである。以後のステップＳ３４〜Ｓ３７は図１４におけるステップＳ２８〜Ｓ３０と同じである。
【００９５】
なお、以上の各実施形態では、動作検出手段１０６，４０６は、カメラ５２１で取得した映像と距離センサの情報とを用いて、司会者による所定動作を非接触で検出しているが、タッチパネルを搭載したディスプレイを用い、司会者が指やタッチペンなどでタッチした位置を検出することで、所定動作を検出することもできる。また、司会者の視線を検出し、その視線の先の映像上の位置を検出（算出）することで、所定動作を検出することもできる。
【符号の説明】
【００９６】
１…端末、１-1，４-1…第１の端末、１-2，４-2，・・・，１-N，４-N…第２，・・・，第Ｎの端末、１０６，４０６…動作検出手段、２０８，４０７…強調対象選択手段、２０９，４１５…映像制御手段、２１０，４１６…音声制御手段、
【先行技術文献】
【特許文献】
【００９７】
【特許文献１】特開２０１２−２１７０６８号公報
【特許文献２】特開平６−１２１３０９号公報
【図１】
2016010039.tif 000003
【図２】
2016010039.tif 000004
【図３】
2016010039.tif 000005
【図４】
2016010039.tif 000006
【図５】
2016010039.tif 000007
【図６】
2016010039.tif 000008
【図７】
2016010039.tif 000009
【図８】
2016010039.tif 000010
【図９】
2016010039.tif 000011
【図１０】
2016010039.tif 000012
【図１１】
2016010039.tif 000013
【図１２】
2016010039.tif 000014
【図１３】
2016010039.tif 000015
【図１４】
2016010039.tif 000016
【図１５】
2016010039.tif 000017