(57)【要約】【課題】テレビ会議装置において、拠点数が多い場合でも、各拠点からの映像データを視聴者に見易く表示すること。【解決手段】通信制御部１０３は、複数の他拠点の会議端末装置１０−２〜２４から、各々の映像データおよび音声データを受信する。映像・音声合成部１０５は、テレビ会議に参加する拠点の数および各拠点の優先度に応じて画面レイアウトおよび表示対象の複数の映像データを決定し、画面レイアウトに従って、表示対象の複数の映像データを合成した合成映像データを生成する。このとき、映像・音声合成部１０５は、第１優先度の全ての拠点の映像データを常に表示させ、第１優先度よりも低い第２優先度の一部の拠点の映像データを切り替えて表示させるように合成映像データを生成する。映像・音声出力制御部１０６は、合成映像データを、表示装置５００の画面に表示させる。【選択図】図１
2018056766.tif 000002
【特許請求の範囲】
【請求項１】
ホスト拠点に設けられ、複数の他拠点のテレビ会議装置と同時に接続可能なテレビ会議装置であって、
前記ホスト拠点を撮影して映像データを取得する映像入力部と、
前記ホスト拠点の音声を収音して音声データを取得する音声入力部と、
前記複数の他拠点の会議端末装置から、各々の映像データおよび音声データを受信する通信制御部と、
テレビ会議に参加する拠点の数および各拠点の優先度に応じて画面レイアウトおよび表示対象の複数の映像データを決定し、前記画面レイアウトに従って前記表示対象の複数の映像データを合成した合成映像データを生成して画面に表示させる表示制御部と、
を具備し、
前記表示制御部は、
第１優先度の全ての拠点の映像データを常に表示させ、前記第１優先度よりも低い第２優先度の一部の拠点の映像データを切り替えて表示させる、
テレビ会議装置。
【請求項２】
前記表示制御部は、
所定の前記第２優先度の一部の拠点の映像データを表示してから所定の第１時間を経過した時点で、他の前記第２優先度の一部の拠点の映像データを表示する、
請求項１に記載のテレビ会議装置。
【請求項３】
前記音声データのレベルを検出するレベル検出部をさらに有し、
前記表示制御部は、
前記音声データのレベルが閾値以上の拠点を前記第１優先度の拠点と認定する、
請求項１または２に記載のテレビ会議装置。
【請求項４】
前記表示制御部は、
前記第１優先度の拠点において、所定の第２時間に前記閾値以上のレベルの音声データが検出されなかった場合、当該拠点を前記第２優先度の拠点と認定する、
請求項３に記載のテレビ会議装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の拠点のそれぞれに設置された装置と同時接続可能なテレビ会議装置に関する。
【背景技術】
【０００２】
複数の拠点を繋いで遠隔会議を行うことができるテレビ会議システムが普及している。特許文献１には、３拠点の映像データを同時にモニタの画面に表示するテレビ会議装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２３１４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、多くの拠点（例えば、２４拠点）と同時に接続できるテレビ会議装置が開発されている。
【０００５】
各拠点からの映像データを、同一面積の領域に表示させると、拠点数が多い場合に、各映像データの表示面積が小さくなってしまい、視聴者には見づらい画面になってしまう。
【０００６】
本発明の目的は、拠点数が多い場合でも、各拠点からの映像データを視聴者に見易く表示することができるテレビ会議装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明のテレビ会議装置は、ホスト拠点に設けられ、複数の他拠点のテレビ会議装置と同時に接続可能なテレビ会議装置であって、前記ホスト拠点を撮影して映像データを取得する映像入力部と、前記ホスト拠点の音声を収音して音声データを取得する音声入力部と、前記複数の他拠点の会議端末装置から、各々の映像データおよび音声データを受信する通信制御部と、テレビ会議に参加する拠点の数および各拠点の優先度に応じて画面レイアウトおよび表示対象の複数の映像データを決定し、前記画面レイアウトに従って前記表示対象の複数の映像データを合成した合成映像データを生成して画面に表示させる表示制御部と、を具備し、前記表示制御部は、第１優先度の全ての拠点の映像データを常に表示させ、前記第１優先度よりも低い第２優先度の一部の拠点の映像データを切り替えて表示させる。
【発明の効果】
【０００８】
本発明によれば、拠点数が多い場合でも、各拠点からの映像データを視聴者に見易く表示することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１に係るテレビ会議装置の構成を示すブロック図
【図２】本発明の実施の形態１に係るテレビ会議装置の状態の遷移を示す状態遷移図
【図３】本発明の実施の形態１に係るテレビ会議装置の動作を示すフロー図
【図４】本発明の実施の形態１に係るテレビ会議装置の画面レイアウトの制御動作を示すフロー図
【図５】本発明の実施の形態１に係るテレビ会議装置の画面に表示される合成映像データの画面レイアウトの一例を示す図
【図６】本発明の実施の形態２に係るテレビ会議装置の画面レイアウトの制御動作を示すフロー図
【図７】本発明の実施の形態２に係るテレビ会議装置の画面に表示される合成映像データの画面レイアウトの一例を示す図
【図８】本発明の実施の形態３に係るテレビ会議装置の画面に表示される合成映像データの画面レイアウトの一例を示す図
【発明を実施するための形態】
【００１０】
以下、図面を適宜参照して、本発明の実施の形態につき、詳細に説明する。なお、以下では、同時に接続できる拠点数が２４であるテレビ会議システムを例に説明する。
【００１１】
（実施の形態１）
実施の形態１では、主として発言を行う参加者が居る第１優先度の発言拠点と、基本的に発言を行わず傍聴のみを行う参加者が居る、第１優先度よりも低い第２優先度の傍聴拠点とが固定されている場合について説明する。
【００１２】
＜テレビ会議装置の構成および接続関係＞
まず、本発明の実施の形態１に係るテレビ会議装置１０の構成および接続関係について、図１を用いて詳細に説明する。
【００１３】
各拠点には、それぞれ、テレビ会議装置１０が設置されている。ホスト拠点（多拠点接続装置（ＭＣＵ）、拠点番号１）のテレビ会議装置１０−１は、他の拠点（拠点番号２〜２４）のそれぞれに設置された各テレビ会議装置１０−２〜２４と、ネットワーク２０を介して接続し、音声データ及び映像データの送信／受信を行う。ネットワーク２０は、典型的にはインターネットである。
【００１４】
テレビ会議装置１０−１は、本体装置１００、ユーザ操作入力装置２００、映像入力装置３００、音声入力装置４００および表示装置５００から構成されている。
【００１５】
本体装置１００は、ユーザ操作入力装置２００、映像入力装置３００、音声入力装置４００および表示装置５００と接続している。
【００１６】
ユーザ操作入力装置２００は、ユーザによる拠点を選択する操作を検出し、選択された拠点を示す選択拠点情報を含む信号を有線又は無線により本体装置１００に送信する。ユーザ操作入力装置２００は、典型的にはリモコン又はタッチパネルである。
【００１７】
映像入力装置３００は、本体装置１００が設置されている拠点を撮影して得られた映像データを本体装置１００に出力する。なお、映像入力装置３００が出力する映像データには、カメラが撮像した映像データの他に、ＰＣに保存された映像データ、ＤＶＤプレーヤにより再生された映像データ等がある。
【００１８】
音声入力装置４００は、本体装置１００が設置されている拠点の音声を収音して得られた音声データ等を本体装置１００に出力する。なお、音声入力装置４００が出力する音声データには、マイクが収音した音声データの他に、ＰＣに保存された映像データとセットの音声データ、ＤＶＤプレーヤにより再生された映像データとセットの音声データ等がある。
【００１９】
表示装置５００は、本体装置１００から出力された映像データを画面に表示すると共に、本体装置１００から出力された音声データを図示しないスピーカから出力する。
【００２０】
本体装置１００は、ユーザ指示受信部１０１と、会議制御部１０２と、通信制御部１０３と、映像・音声符号化／復号部１０４と、映像・音声合成部１０５と、映像・音声出力制御部１０６と、静止画保持部１０７と、映像入力制御部１０８と、音声入力制御部１０９と、から主に構成される。なお、映像・音声合成部１０５と映像・音声出力制御部１０６とにより、表示制御部が構成される。
【００２１】
ユーザ指示受信部１０１は、ユーザ操作入力装置２００から送信された信号を受信し、受信信号に含まれている選択拠点情報を抽出し、会議制御部１０２に出力する。選択拠点情報には、テレビ会議に参加する各拠点のＩＰアドレス（あるいはＩＳＤＮ番号）、および、優先度（発言拠点か傍聴拠点か）を示すフラグが含まれる。
【００２２】
会議制御部１０２は、ユーザ指示受信部１０１から入力した選択拠点情報に基づいて、通信制御部１０３と、映像・音声符号化／復号部１０４と、映像・音声合成部１０５と、におけるデータの入出力のタイミングを制御する。また、会議制御部１０２は、ユーザ指示受信部１０１から入力した選択拠点情報を映像・音声合成部１０５に出力する。また、会議制御部１０２は、選択拠点情報に基づいて、通信制御部１０３における発信処理及び呼の確立処理を制御すると共に、映像データを受信したか否かを監視する。
【００２３】
通信制御部１０３は、会議制御部１０２の制御に従ったタイミングで動作する。通信制御部１０３は、他のテレビ会議装置１０−２〜２４との間で呼を確立する。そして、通信制御部１０３は、呼を確立した後、他のテレビ会議装置１０−２〜２４が送信した映像データ及び音声データを、ネットワーク２０を介して受信し、映像・音声符号化／復号部１０４に出力する。また、通信制御部１０３は、呼を確立した後、映像・音声符号化／復号部１０４から入力した映像データ及び音声データを、ネットワーク２０を介して他のテレビ会議装置１０−２〜２４に送信する。なお、通信制御部１０３は、所定の通信プロトコルに従って動作する。通信プロトコルは、典型的にはＳＩＰ又はＨ．３２３である。
【００２４】
映像・音声符号化／復号部１０４は、会議制御部１０２の制御に従ったタイミングで動作する。映像・音声符号化／復号部１０４は、映像・音声合成部１０５から入力した映像データ、および、音声入力制御部１０９から入力した音声データを符号化して通信制御部１０３に出力する。また、映像・音声符号化／復号部１０４は、通信制御部１０３から入力した他のテレビ会議装置１０−２〜２４からの映像データおよび音声データを復号して映像・音声合成部１０５に出力する。
【００２５】
映像・音声合成部１０５は、会議制御部１０２の制御に従ったタイミングで動作する。映像・音声合成部１０５は、映像・音声符号化／復号部１０４から入力した他のテレビ会議装置１０−２〜２４からの映像データと、映像入力制御部１０８から入力した映像データと、に基づいて、会議制御部１０２から入力した選択拠点情報の拠点数に応じて、複数の映像データを合成した合成映像データを生成し、映像・音声出力制御部１０６に出力する。なお、映像・音声合成部１０５は、各テレビ会議装置１０−２〜２４から映像データを受信するまでの間、静止画保持部１０７に保持された静止画が表示されるように合成映像データを生成する。
【００２６】
また、映像・音声合成部１０５は、映像・音声符号化／復号部１０４から入力した他のテレビ会議装置１０−２〜２４からの音声データと、音声入力制御部１０９から入力した音声データを合成した合成音声データを生成し、映像・音声出力制御部１０６に出力する。また、映像・音声合成部１０５は、映像入力制御部１０８から入力した映像データを映像・音声符号化／復号部１０４に出力する。
【００２７】
また、映像・音声合成部１０５は、選択拠点情報の拠点数、各拠点の優先度、および、内蔵するタイマの計時結果に応じて、合成映像データの画面レイアウトを変更する。なお、映像・音声合成部１０５による合成映像データのレイアウト変更の具体例については後述する。
【００２８】
映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した合成映像データを表示装置５００の画面に表示させると共に、合成音声データを表示装置５００のスピーカから音声として出力させる。
【００２９】
静止画保持部１０７は、他のテレビ会議装置１０−２〜２４から映像データを受信するまでの期間において、所定の静止画を表示装置５００の画面に表示させるための静止画データを予め保持している。
【００３０】
映像入力制御部１０８は、映像入力装置３００から入力した映像データを映像・音声合成部１０５に出力する。
【００３１】
音声入力制御部１０９は、音声入力装置４００から入力した音声データを映像・音声符号化／復号部１０４および映像・音声合成部１０５に出力する。
【００３２】
＜テレビ会議装置の接続状態の遷移＞
次に、テレビ会議装置１０−１の接続状態の遷移について、図２を用いて詳細に説明する。
【００３３】
テレビ会議装置１０−１は、電源ＯＮとなることにより動作を開始する。テレビ会議装置１０−１は、電源ＯＮされた直後では非通信状態である（Ｓ１）。
【００３４】
テレビ会議装置１０−１は、非通信状態（Ｓ１）において、他の１つのテレビ会議装置１０−ｉ（ｉは２から２４のいずれかの整数）と接続することにより、テレビ会議装置１０−ｉと一対一の通信状態（１：１通信状態）になる（Ｓ２）。そして、テレビ会議装置１０−１は、１：１通信状態（Ｓ２）において、通信状態であるテレビ会議装置１０−ｉとの接続を切断すると非通信状態になる（Ｓ１）。なお、テレビ会議装置１０−１は、非通信状態（Ｓ１）において、電源ＯＦＦとなることにより動作を終了する。
【００３５】
また、テレビ会議装置１０−１は、１：１通信状態（Ｓ２）から、さらに他のテレビ会議装置１０−ｊ（ｊはｉ以外の２から２４のいずれかの整数）と接続することにより、複数の拠点のテレビ会議装置１０−ｉ、ｊと通信状態（ＭＣＵ通信状態）になる（Ｓ３）。
【００３６】
そして、テレビ会議装置１０−１は、通信状態にあるテレビ会議装置１０−ｊとの接続を切断すれば一対一の通信状態になり（Ｓ２）、さらに通信状態にあるテレビ会議装置１０−ｉとの接続を切断すれば非通信状態になる（Ｓ１）。
【００３７】
また、テレビ会議装置１０−１は、非通信状態（Ｓ１）において、他の全てのテレビ会議装置１０−２〜２４に対して一斉に発信することにより他の全てのテレビ会議装置１０−２〜２４と通信状態（ＭＣＵ通信状態）になる（Ｓ３）。そして、テレビ会議装置１０は、他の全てのテレビ会議装置１０−２〜２４との接続を一斉に切断すれば非通信状態になる（Ｓ１）。
【００３８】
一斉に発信する方法としては、ユーザが発信時に発信先をテレビ会議装置１０−１に手入力する方法、又は、テレビ会議装置１０−１に予め記憶させておいた複数の発信先情報を登録したリストをユーザに選択させる方法等が考えられる。また、発信先を特定する方法としては、ＩＰアドレス、電話番号又は識別コード等が考えられる。
【００３９】
＜テレビ会議装置の動作＞
次に、テレビ会議装置１０−１の動作について、図３を用いて詳細に説明する。なお、図３は、テレビ会議装置１０−１が、他の全てのテレビ会議装置１０−２〜２４に対して一斉に発信する場合のフローである。
【００４０】
まず、ユーザ指示受信部１０１が、ユーザ操作入力装置２００から信号を受信し、受信した信号に含まれる選択拠点情報を抽出して会議制御部１０２に出力する。
【００４１】
会議制御部１０２は、選択拠点情報のＮ（Ｎは１以上の整数、図３ではＮ＝２３）拠点のそれぞれに設置されたテレビ会議装置１０−２〜２４に一斉発信を行うように通信制御部１０３を制御する。これにより、通信制御部１０３は、選択拠点のテレビ会議装置１０−２〜２４に一斉発信を行う（Ｓ１１）。具体的には、会議制御部１０２は、選択拠点情報が複数の発信先情報を記録した１つのリストの情報である場合、そのリストに登録されている発信先情報の発信先の数により拠点数Ｎを認識することができる。
【００４２】
また、映像・音声合成部１０５は、会議制御部１０２から入力した選択拠点情報の拠点数に基づいて、（Ｎ＋１）個以上の分割領域を有する画面レイアウト（以下、「初期画面レイアウト」という）を決定する（Ｓ１２）。なお、各分割領域には、いずれかの拠点が対応付けられている。
【００４３】
また、通信制御部１０３は、他の拠点の各テレビ会議装置１０−２〜２４との間で呼を確立する（Ｓ１３）。
【００４４】
次に、映像・音声合成部１０５は、映像入力制御部１０８から入力したテレビ会議装置１０−１の映像データ、および、他のテレビ会議装置１０−２〜２４の映像データのそれぞれが、初期画面レイアウトの、対応する分割領域に表示されるように合成映像データ（以下、「初期合成映像データ」という）を生成する。そして、映像・音声出力制御部１０６が、映像・音声合成部１０５から入力した初期合成映像データを表示装置５００の画面に表示させる（Ｓ１４）（図５（ａ）参照）。なお、他の各テレビ会議装置１０−２〜２４から映像データを受信するまでは、対応する分割領域に静止画データが表示される。
【００４５】
他の全てのテレビ会議装置１０−２〜２４から映像データを受信した後（Ｓ１５：ＹＥＳ）、映像・音声合成部１０５は、初期合成映像データとは画面レイアウトが異なる新たな合成映像データ（以下、「更新合成映像データ」という）を生成する。そして、映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した更新合成映像データを表示装置５００の画面に表示させる（Ｓ１６）。更新合成映像データは、全ての発言拠点のテレビ会議装置１０の映像データと、一部の傍聴拠点の映像データが表示されるようにレイアウトされた映像データである（図５（ｂ）参照）。
【００４６】
その後、テレビ会議装置１０−１は、双方向通信を継続している間、映像・音声合成部１０５および映像・音声出力制御部１０６にて、更新合成映像データの画面レイアウトを制御する処理を行う（Ｓ１７）。
【００４７】
以下、更新合成映像データの画面レイアウトの制御動作（Ｓ１７）の詳細について、図４を用いて説明する。
【００４８】
まず、映像・音声合成部１０５は、タイマをスタートさせる（Ｓ２１）。
【００４９】
タイマが満了した（所定時間Ｔを計時した）場合（Ｓ２２：ＹＥＳ）、更新合成映像データの画面レイアウトを変更する（図５（ｃ）、（ｄ）、（ｅ）参照）。そして、映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した新たな更新合成映像データを表示装置５００の画面に表示させる（Ｓ２３）。
【００５０】
また、映像・音声合成部１０５は、タイマをリスタートさせる（Ｓ２４）。その後、フローはＳ２２に戻る。
【００５１】
なお、タイマが満了するまでは、レイアウト変更は行われない（Ｓ２２：ＮＯ）。
【００５２】
＜レイアウト変更の具体例＞
次に、映像・音声合成部１０５による合成映像データのレイアウト変更の具体例について、図５を用いて詳細に説明する。なお、図５において、画面内の各領域に記された数字は拠点番号に対応する。例えば、「１」と記された領域には、拠点番号１のテレビ会議装置１０−１で撮像された映像データが表示される。
【００５３】
図５（ａ）は、初期合成映像データの一例を示す。図５（ｂ）、（ｃ）、（ｄ）、（ｅ）は、それぞれ、更新合成映像データの一例を示す。
【００５４】
テレビ会議装置１０−１は、選択拠点情報に基づいて一斉発信を行った後、表示装置５００の画面に初期合成映像データを表示させる（図３のＳ１４）。初期合成映像データは、図５（ａ）に示すように、（Ｎ＋１）個以上（図５（ａ）では２５個）に等分された各分割領域に、対応する拠点の映像データ（あるいは静止画データ）が表示されるようにレイアウトされる。
【００５５】
テレビ会議装置１０−１は、全ての拠点との呼が確立した後（図３のＳ１５：ＹＥＳ）、更新合成映像データを表示装置５００の画面に表示させる（図３のＳ１６）。更新合成映像データは、図５（ｂ）に示すように、第１領域（図５（ｂ）の太線枠）に、全ての発言拠点（図５（ｂ）では拠点番号１、２、３、４）の映像データが表示され、第１領域以外の第２領域内に、所定数ｑ（図５（ｂ）ではｑ＝５）の傍聴拠点（図５（ｂ）では拠点番号５、６、７、８、９）の映像データが表示されるようにレイアウトされる。
【００５６】
そして、図５（ｂ）の更新合成映像データの表示を開始してから所定時間Ｔが経過した時点で（図４のＳ２２：ＹＥＳ）、テレビ会議装置１０−１は、図５（ｃ）に示すように、第１領域の表示状態を維持したまま第２領域の傍聴拠点の映像データを切り替え、第２領域に他の傍聴拠点（図５（ｃ）では拠点番号１０、１１、１２、１３、１４）の映像データが表示されるように更新合成映像データの画面レイアウトを変更する（図４のＳ２３）。
【００５７】
その後、所定時間Ｔが経過する毎に、テレビ会議装置１０−１は、図５（ｄ）、（ｅ）に示すように、第２領域の傍聴拠点の映像データを切り替えるように更新合成映像データの画面レイアウトを変更する。
【００５８】
さらに、図５（ｅ）の更新合成映像データの表示を開始してから所定時間Ｔが経過した時点で、テレビ会議装置１０−１は、再び図５（ｂ）に示すように、更新合成映像データの画面レイアウトを変更する。
【００５９】
この結果、全ての傍聴拠点の映像データが、一定時間、画面に表示されることとなる。なお、全ての発言拠点の映像データは、常に画面に表示される。
【００６０】
また、図５（ａ）と図５（ｂ）との対比から明らかなように、一部の拠点の映像データのみを表示させる更新合成映像データの方が、全ての拠点の映像データを表示させる初期合成映像データよりも、各映像データの表示面積を大きくすることができる。
【００６１】
＜効果＞
このように、本実施の形態では、全ての発言拠点の映像データを常に表示させるとともに、一部の傍聴拠点の映像データを順次切り替えて表示させるように画面レイアウトを制御する。これにより、全ての発言拠点の映像データを常に画面に表示させるとともに、全ての傍聴拠点の映像データを一定時間画面に表示させることができる。そして、全ての拠点の映像データを表示させる場合に比べて、各映像データの表示面積を大きくすることができるので、拠点数が多い場合でも、各拠点からの映像データを視聴者に見易く表示することができる。
【００６２】
（実施の形態２）
実施の形態２では、発言拠点が固定されておらず、全ての拠点が発言拠点になり得る場合について説明する。
【００６３】
＜テレビ会議装置の構成および接続関係＞
本実施の形態のテレビ会議装置１０の構成および接続関係は、実施の形態１で説明した図１に示したものと同一であるので、その説明を省略する。ただし、映像・音声符号化／復号部１０４および映像・音声合成部１０５に、以下の機能が追加される。
【００６４】
映像・音声符号化／復号部１０４は、各テレビ会議装置１０−１〜２４の音声データのレベルを検出する（レベル検出部）。そして、映像・音声符号化／復号部１０４は、検出結果を映像・音声合成部１０５に出力する。
【００６５】
映像・音声合成部１０５は、音声データのレベルに応じて、各拠点の優先度（発言拠点か傍聴拠点か）を決定する。
【００６６】
＜テレビ会議装置の動作＞
本実施の形態のテレビ会議装置１０−１の動作全体は、実施の形態１で説明した図３に示したものと同一であるので、その説明を省略する。本実施の形態は、更新合成映像データの画面レイアウトの制御動作（Ｓ１７）のみが実施の形態１と異なる。
【００６７】
以下、本実施の形態のテレビ会議装置１０−１における、更新合成映像データの画面レイアウトの制御動作（Ｓ１７）の詳細について図６を用いて説明する。
【００６８】
まず、映像・音声合成部１０５は、主タイマをスタートさせる（Ｓ３１）。
【００６９】
主タイマが満了した（所定時間Ｔ１を計時した）場合（Ｓ３２：ＹＥＳ）、第２領域の傍聴拠点の映像データを切り替えるように更新合成映像データの画面レイアウトを変更する。そして、映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した新たな更新合成映像データを表示装置５００の画面に表示させる（Ｓ３３）。
【００７０】
また、映像・音声合成部１０５は、タイマをリスタートさせる（Ｓ３４）。その後、フローはＳ３２に戻る。
【００７１】
また、主タイマが満了していないタイミングで（Ｓ３２：ＮＯ）、映像・音声符号化／復号部１０４が、各テレビ会議装置１０−１〜２４の音声データのレベルを検出し、検出結果を映像・音声合成部１０５に出力する（Ｓ３５）。
【００７２】
映像・音声合成部１０５は、テレビ会議装置１０−１〜２４の中で、音声データのレベルが閾値以上のものを発言拠点と認定し、他を傍聴拠点と認定する。そして、映像・音声合成部１０５は、新たな発言拠点が発生したか否かを判定する（Ｓ３６）。
【００７３】
新たな発言拠点が発生した場合（Ｓ３６：ＹＥＳ）、映像・音声合成部１０５は、当該発言拠点について個別タイマをスタートさせる（Ｓ３７）。また、映像・音声合成部１０５は、当該発言拠点の映像データが第１領域内に表示されるように更新合成映像データの画面レイアウトを変更する。そして、映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した新たな更新合成映像データを表示装置５００の画面に表示させる（Ｓ３８）。その後、フローはＳ３２に戻る。
【００７４】
一方、新たな発言拠点が発生しなかった場合（Ｓ３６：ＮＯ）、映像・音声合成部１０５は、既存の発言拠点の参加者が新たな発言を行ったか否かを判定する（Ｓ３９）。
【００７５】
そして、既存の発言拠点の参加者が新たな発言を行った場合（Ｓ３９：ＹＥＳ）、映像・音声合成部１０５は、個別タイマをリスタートさせる（Ｓ４０）。その後、フローはＳ３２に戻る。
【００７６】
一方、既存の発言拠点の参加者が新たな発言を行わなかった場合（Ｓ３９：ＮＯ）、映像・音声合成部１０５は、個別タイマが満了した（所定時間Ｔ２を計時した）か否かを判定する（Ｓ４１）。
【００７７】
個別タイマが満了した場合（Ｓ４１：ＹＥＳ）、映像・音声合成部１０５は、当該発言拠点の映像データが第１領域内に表示されないように更新合成映像データの画面レイアウトを変更する。そして、映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した新たな更新合成映像データを表示装置５００の画面に表示させる（Ｓ３８）。その後、フローはＳ３２に戻る。
【００７８】
個別タイマが満了していない場合（Ｓ４１：ＮＯ）、フローはＳ３２に戻る。
【００７９】
＜レイアウト変更の具体例＞
次に、映像・音声合成部１０５による合成映像データのレイアウト変更の具体例について、図７を用いて詳細に説明する。なお、図７において、画面内の各領域に記された数字は拠点番号に対応する。例えば、「１」と記された領域には、拠点番号１のテレビ会議装置１０−１で撮像された映像データが表示される。
【００８０】
図７（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）は、それぞれ、更新合成映像データの一例を示す。
【００８１】
テレビ会議装置１０−１は、全ての拠点との呼が確立した後（図３のＳ１５：ＹＥＳ）、更新合成映像データを表示装置５００の画面に表示させる（図３のＳ１６）。更新合成映像データは、図７（ａ）に示すように、第１領域（図７（ａ）の太線枠）に、全ての発言拠点（図７（ａ）では拠点番号１）の映像データが表示され、第１領域以外の第２領域内に、所定数ｑ（図７（ａ）ではｑ＝５）の傍聴拠点（図７（ａ）では拠点番号２、３、４、５、６）の映像データが表示されるようにレイアウトされる。このとき、発言拠点の映像データの表示面積を、傍聴拠点の映像データの表示面積よりも大きくするようにレイアウトしても良い。
【００８２】
そして、図７（ａ）の更新合成映像データの表示を開始してから所定時間Ｔ１が経過した時点で（図６のＳ３２：ＹＥＳ）、テレビ会議装置１０−１は、図７（ｂ）に示すように、第１領域の表示状態を維持したまま第２領域の傍聴拠点の映像データを切り替え、第２領域に他の傍聴拠点（図７（ｂ）では拠点番号７、８、９、１０、１１）の映像データが表示されるように更新合成映像データの画面レイアウトを変更する（図６のＳ３３）。
【００８３】
その後、図７（ｂ）の更新合成映像データの表示を開始してから所定時間Ｔ１が経過する前に（図６のＳ３２：ＮＯ）、新たな発言拠点（拠点番号２）が発生した場合（図６のＳ３６：ＹＥＳ）、テレビ会議装置１０−１は、図７（ｃ）に示すように、第１領域に新たな発言拠点の映像データを加えるように更新合成映像データの画面レイアウトを変更する（図６のＳ３８）。このとき、第２領域の分割領域の数が増減する場合には、これに合わせて映像データを表示させる傍聴拠点の数を増減させる。図７（ｃ）の例では、拠点番号１２、１３、１４の映像データが追加で表示される。
【００８４】
その後、拠点番号２の参加者が新たな発言を行い（図６のＳ３９：ＹＥＳ）、直近の発言から所定時間Ｔ２を経過する前であって、図７（ｃ）の更新合成映像データの表示を開始してから所定時間Ｔ１が経過した場合（図６のＳ３２：ＹＥＳ）、テレビ会議装置１０−１は、図７（ｄ）に示すように、第１領域の表示状態を維持したまま第２領域の傍聴拠点の映像データを切り替え、第２領域に他の傍聴拠点（図７（ｄ）では拠点番号１５、１６、１７、１８、１９、２０、２１、２２）の映像データが表示されるように更新合成映像データの画面レイアウトを変更する（図６のＳ３３）。
【００８５】
その後、拠点番号２の参加者が新たな発言を行わず（図６のＳ３９：ＮＯ）、直近の発言から所定時間Ｔ２を経過した場合（図６のＳ４１：ＹＥＳ）、テレビ会議装置１０−１は、図７（ｅ）に示すように、第１領域から発言拠点２の映像データを外すように更新合成映像データの画面レイアウトを変更する（図６のＳ３８）。
【００８６】
その後、所定時間Ｔ１が経過した時点で、テレビ会議装置１０−１は、図７（ｆ）に示すように、第２領域の傍聴拠点の映像データを切り替えるように更新合成映像データの画面レイアウトを変更する。
【００８７】
この結果、全ての傍聴拠点の映像データが、一定時間、画面に表示されることとなる。なお、全ての発言拠点の映像データは、常に画面に表示される。
【００８８】
また、一部の拠点の映像データのみを表示させる更新合成映像データの方が、全ての拠点の映像データを表示させる初期合成映像データよりも、各映像データの表示面積を大きくすることができる。
【００８９】
＜効果＞
このように、本実施の形態では、全ての発言拠点の映像データを常に表示させるとともに、一部の傍聴拠点の映像データを順次切り替えて表示させるように画面レイアウトを制御する。さらに、本実施の形態では、参加者が発言した拠点を発言拠点に加え、その拠点の映像データを表示させ、直近の発言から一定時間参加者の発言が無い拠点を発言拠点から外し、その拠点の映像データの表示を止めるように画面レイアウトを制御する。これにより、発言拠点が固定されていない場合であっても、全ての発言拠点の映像データを常に画面に表示させるとともに、全ての傍聴拠点の映像データを一定時間画面に表示させることができる。そして、全ての拠点の映像データを表示させる場合に比べて、各映像データの表示面積を大きくすることができるので、拠点数が多い場合でも、各拠点からの映像データを視聴者に見易く表示することができる。
【００９０】
（実施の形態３）
実施の形態３では、主として発言を行う参加者が居る発言拠点と、基本的に発言を行わず傍聴のみを行う参加者が居る傍聴拠点とが予め決められ、傍聴拠点の参加者が質問等の発言を行うことがある場合について説明する。
【００９１】
＜テレビ会議装置の構成および接続関係＞
本実施の形態のテレビ会議装置１０の構成および接続関係は、実施の形態１で説明した図１に示したものと同一であるので、その説明を省略する。また、映像・音声符号化／復号部１０４および映像・音声合成部１０５の追加機能は、実施の形態２で説明したものと同一であるので、その説明を省略する。
【００９２】
＜テレビ会議装置の動作＞
本実施の形態のテレビ会議装置１０−１の動作全体は、実施の形態１で説明した図３に示したものと同一であるので、その説明を省略する。また、本実施の形態の、更新合成映像データの画面レイアウトの制御動作（Ｓ１７）は、実施の形態２で説明した図６に示したものと同一であるので、その説明を省略する。
【００９３】
＜レイアウト変更の具体例＞
次に、映像・音声合成部１０５による合成映像データのレイアウト変更の具体例について、図８を用いて詳細に説明する。なお、図８において、画面内の各領域に記された数字は拠点番号に対応する。例えば、「１」と記された領域には、拠点番号１のテレビ会議装置１０−１で撮像された映像データが表示される。
【００９４】
図８（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）は、それぞれ、更新合成映像データの一例を示す。
【００９５】
図８（ａ）、（ｂ）は、実施の形態２で説明した図７（ａ）、（ｂ）と共通であるので、その説明を省略する。
【００９６】
図８（ｂ）の更新合成映像データの表示を開始してから所定時間Ｔ１が経過する前に（図６のＳ３２：ＮＯ）、拠点番号２の傍聴拠点が質問等の発言を行った場合（図６のＳ３６：ＹＥＳ）、拠点番号２の傍聴拠点は新たな発言拠点となり、テレビ会議装置１０−１は、図８（ｃ）に示すように、第２領域の一部（図８（ｂ）の拠点番号７の映像データが表示されていた領域）を第１領域とし、そこに新たな発言拠点（拠点番号２）の映像データを加えるように更新合成映像データの画面レイアウトを変更する（図６のＳ３８）。
【００９７】
その後、拠点番号２の参加者が新たな発言を行い（図６のＳ３９：ＹＥＳ）、直近の発言から所定時間Ｔ２を経過する前であって、図７（ｃ）の更新合成映像データの表示を開始してから所定時間Ｔ１が経過した場合（図６のＳ３２：ＹＥＳ）、テレビ会議装置１０−１は、図８（ｄ）に示すように、第１領域の表示状態を維持したまま第２領域の傍聴拠点の映像データを切り替え、第２領域に他の傍聴拠点（図８（ｄ）では拠点番号１２、１３、１４、１５）の映像データが表示されるように更新合成映像データの画面レイアウトを変更する（図６のＳ３３）。
【００９８】
その後、拠点番号２の参加者が新たな発言を行わず（図６のＳ３９：ＮＯ）、直近の発言から所定時間Ｔ２を経過した場合（図６のＳ４１：ＹＥＳ）、テレビ会議装置１０−１は、第１領域から発言拠点２の映像データを外す（図６のＳ３８）。
【００９９】
その後、所定時間Ｔ１が経過した時点で、テレビ会議装置１０−１は、図８（ｅ）に示すように、第２領域の傍聴拠点の映像データを切り替えるように更新合成映像データの画面レイアウトを変更する。
【０１００】
その後、さらに所定時間Ｔ１が経過した時点で、テレビ会議装置１０−１は、図８（ｆ）に示すように、第２領域の傍聴拠点の映像データを切り替えるように更新合成映像データの画面レイアウトを変更する。
【０１０１】
この結果、全ての傍聴拠点の映像データが、一定時間、画面に表示されることとなる。なお、全ての発言拠点の映像データは、常に画面に表示される。
【０１０２】
また、一部の拠点の映像データのみを表示させる更新合成映像データの方が、全ての拠点の映像データを表示させる初期合成映像データよりも、各映像データの表示面積を大きくすることができる。
【０１０３】
＜効果＞
このように、本実施の形態では、全ての発言拠点の映像データを常に表示させるとともに、一部の傍聴拠点の映像データを順次切り替えて表示させるように画面レイアウトを制御する。さらに、本実施の形態では、参加者が発言した拠点を発言拠点に加え、その拠点の映像データを表示させ、直近の発言から一定時間参加者の発言が無い拠点を発言拠点から外し、その拠点の映像データの表示を止めるように画面レイアウトを制御する。これにより、発言拠点が固定されていない場合であっても、全ての発言拠点の映像データを常に画面に表示させるとともに、全ての傍聴拠点の映像データを一定時間画面に表示させることができる。そして、全ての拠点の映像データを表示させる場合に比べて、各映像データの表示面積を大きくすることができるので、拠点数が多い場合でも、各拠点からの映像データを視聴者に見易く表示することができる。
【０１０４】
なお、本発明は、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更可能である。
【０１０５】
具体的には、上記の実施の形態では、映像を表示するまでに静止画を表示する場合について説明したが、本発明はこれに限られず、静止画以外のメッセージ等の文字情報を表示する、あるいは、黒画面のままとするようにしてもよい。
【０１０６】
また、上記の実施の形態では、同時に接続できる拠点数が２４であるテレビ会議システムを例に説明したが、本発明は同時に接続できる拠点数に制限は無い。
【０１０７】
また、本発明では、ユーザの設定により、表示用の映像データと送信用の映像データとを別個に生成することができる。例えば、映像入力制御部１０８から出力された映像データを表示用の映像データとし、映像・音声合成部１０５で合成された映像データを送信用の映像データとすることができる。
【産業上の利用可能性】
【０１０８】
本発明は、ホスト拠点に設けられ、ホスト拠点と異なる複数の拠点の相手装置と同時に接続可能なテレビ会議装置に用いるに好適である。
【符号の説明】
【０１０９】
１０  テレビ会議装置
１００  本体装置
１０１  ユーザ指示受信部
１０２  会議制御部
１０３  通信制御部
１０４  映像・音声符号化／復号部
１０５  映像・音声合成部
１０６  映像・音声出力制御部
１０７  静止画保持部
１０８  映像入力制御部
１０９  音声入力制御部
２００  ユーザ操作入力装置
３００  映像入力装置
４００  音声入力装置
５００  表示装置
【図１】
2018056766.tif 000003
【図２】
2018056766.tif 000004
【図３】
2018056766.tif 000005
【図４】
2018056766.tif 000006
【図５】
2018056766.tif 000007
【図６】
2018056766.tif 000008
【図７】
2018056766.tif 000009
【図８】
2018056766.tif 000010
【手続補正書】
【提出日】平成29年3月24日(2017.3.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ホスト拠点に設けられ、複数の他拠点のテレビ会議装置と同時に接続可能なテレビ会議装置であって、
前記ホスト拠点を撮影して映像データを取得する映像入力部と、
前記ホスト拠点の音声を収音して音声データを取得する音声入力部と、
前記複数の他拠点の会議端末装置から、各々の映像データおよび音声データを受信する通信制御部と、
テレビ会議に参加する拠点の数および各拠点の優先度に応じて画面レイアウトおよび表示対象の複数の映像データを決定し、前記画面レイアウトに従って前記表示対象の複数の映像データを合成した合成映像データを生成して画面に表示させる表示制御部と、
を具備し、
前記表示制御部は、
画面全体を、前記テレビ会議に参加する拠点の総数よりも少なく、かつ、第１優先度の拠点の総数よりも多い分割画面に分割した画面レイアウトを設定し、
前記分割画面に、前記第１優先度の全ての拠点の映像データを常に表示させ、かつ、前記第１優先度よりも低い第２優先度の一部の拠点の映像データを、前記第２優先度の全ての拠点の映像データのいずれもが所定時間内の一部の時間に表示されるように、順次切り替えて表示させる、
テレビ会議装置。
【請求項２】
前記表示制御部は、
所定の前記第２優先度の一部の拠点の映像データを表示してから所定の第１時間を経過した時点で、他の前記第２優先度の一部の拠点の映像データを表示する、
請求項１に記載のテレビ会議装置。
【請求項３】
前記音声データのレベルを検出するレベル検出部をさらに有し、
前記表示制御部は、
前記音声データのレベルが閾値以上の拠点を前記第１優先度の拠点と認定する、
請求項１または２に記載のテレビ会議装置。
【請求項４】
前記表示制御部は、
前記第１優先度の拠点において、所定の第２時間に前記閾値以上のレベルの音声データが検出されなかった場合、当該拠点を前記第２優先度の拠点と認定する、
請求項３に記載のテレビ会議装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明のテレビ会議装置は、ホスト拠点に設けられ、複数の他拠点のテレビ会議装置と同時に接続可能なテレビ会議装置であって、前記ホスト拠点を撮影して映像データを取得する映像入力部と、前記ホスト拠点の音声を収音して音声データを取得する音声入力部と、前記複数の他拠点の会議端末装置から、各々の映像データおよび音声データを受信する通信制御部と、テレビ会議に参加する拠点の数および各拠点の優先度に応じて画面レイアウトおよび表示対象の複数の映像データを決定し、前記画面レイアウトに従って前記表示対象の複数の映像データを合成した合成映像データを生成して画面に表示させる表示制御部と、を具備し、前記表示制御部は、画面全体を、前記テレビ会議に参加する拠点の総数よりも少なく、かつ、第１優先度の拠点の総数よりも多い分割画面に分割した画面レイアウトを設定し、前記分割画面に、前記第１優先度の全ての拠点の映像データを常に表示させ、かつ、前記第１優先度よりも低い第２優先度の一部の拠点の映像データを、前記第２優先度の全ての拠点の映像データのいずれもが所定時間内の一部の時間に表示されるように、順次切り替えて表示させる。