(57)【要約】【課題】ユーザ同士が会話を行っている場合に、会議に参加している複数の通信端末間で使用可能なネットワーク帯域自体を増大させることなく、会話を行っているユーザの通信端末間で使用できるネットワーク帯域を効率良く確保することができる通信端末、通信方法、および通信システムを提供する。【解決手段】通信端末は、２つの通信端末のユーザ間で会話が開始すると、会話が開始しことを検出する。会話を開始したユーザの通信端末である会話端末は、会話相手の端末である相手端末を特定する（Ｓ２）。会話が開始すると（Ｓ４：ＹＥＳ）、会話端末は、会話を行っていない非会話端末を選定する（Ｓ６）。会話端末は、選定した非会話端末および相手端末にのみ通信データを送信する（Ｓ８，Ｓ９）。会話端末から選定された非会話端末は、他の非会話端末に通信データを転送する（Ｓ１５）。【選択図】図６
2011066730.tif 000002
【特許請求の範囲】
【請求項１】
３つ以上の他の通信端末にネットワークを介して接続し、音声データおよび画像データの少なくとも一方を含む通信データを送受信する通信端末であって、
自端末のユーザと、前記他の通信端末中の一の通信端末のユーザとの間で会話が開始されたことを検出する第一開始検出手段と、
前記第一開始検出手段によって会話が開始されたことが検出された場合に、開始された会話の相手側の前記一の通信端末である相手端末を特定する第一特定手段と、
前記第一特定手段によって前記相手端末が特定された場合に、前記他の通信端末のうち、会話を行っている前記相手端末を除く非会話端末を少なくとも１つ選定する選定手段と、
音声データおよび画像データの少なくとも一方を含む情報から通信データを生成する生成手段と、
前記第一特定手段によって特定された前記相手端末に、前記生成手段によって生成された通信データである第一データを送信する第一送信手段と、
前記選定手段によって選定された前記非会話端末に、前記生成手段による生成元となる情報が前記第一データと共通する通信データである第二データを送信する第二送信手段と、
前記他の通信端末中の２つの通信端末のユーザ間で会話が開始されたことを検出する第二開始検出手段と、
前記第二開始検出手段によって会話が開始されたことが検出された場合に、開始された会話を行っている前記２つの通信端末を特定する第二特定手段と、
前記他の通信端末から第二データを受信した場合に、前記第二特定手段によって特定された前記２つの通信端末以外の通信端末に、受信した前記第二データを転送する転送手段と
を備えたことを特徴とする通信端末。
【請求項２】
前記第一送信手段は、前記第二送信手段によって送信される第二データよりもデータ量が大きい第一データを前記相手端末に送信することを特徴とする請求項１に記載の通信端末。
【請求項３】
前記第一特定手段によって特定された相手端末を履歴として順に第一記憶手段に記憶する記憶制御手段をさらに備え、
前記選定手段は、複数の前記非会話端末のうち、前記第一記憶手段に履歴として記憶された順が新しい非会話端末を優先して選定する第一選定手段を備えたことを特徴とする請求項１または２に記載の通信端末。
【請求項４】
前記選定手段は、
複数の前記非会話端末のうち、自端末との間の通信データの伝送時間が短い非会話端末を優先して選定する第二選定手段と、
複数の前記非会話端末のうち、自端末との間のネットワーク帯域が高い非会話端末を優先して選定する第三選定手段と、
複数の前記非会話端末のうち、データの処理能力が高い非会話端末を優先して選定する第四選定手段と
の少なくともいずれかを備えたことを特徴とする請求項１から３のいずれかに記載の通信端末。
【請求項５】
前記ネットワークを介して接続された複数の通信端末における、それぞれの通信端末の優先度を記憶する第二記憶手段から、前記優先度を取得する第一取得手段をさらに備え、
前記選定手段は、複数の前記非会話端末のうち、前記第一取得手段によって取得された優先度が高い非会話端末を優先して選定する第五選定手段を備えたことを特徴とする請求項１から４のいずれかに記載の通信端末。
【請求項６】
それぞれの前記通信端末を使用するユーザを特定する特定情報を、前記ユーザが使用する前記通信端末に対応付けて記憶する第三記憶手段から、前記特定情報を取得する第二取得手段と、
前記複数の通信端末のそれぞれを使用するユーザの発話音声を取得する第三取得手段と、
前記第三取得手段によって取得された発話音声から発話内容を認識する音声認識手段とをさらに備え、
前記第一特定手段は、前記音声認識手段によって認識された発話内容に前記特定情報が含まれている場合に、前記特定情報を用いて前記相手端末を特定する音声特定手段を備えたことを特徴とする請求項１から５のいずれかに記載の通信端末。
【請求項７】
前記他の通信端末から送信された通信データに基づいて、画像を表示する表示手段に前記他の通信端末のユーザを表示させる表示制御手段と、
ユーザを撮像する撮像手段から、前記ユーザの撮像映像を取得する第四取得手段と、
前記第四取得手段によって取得された撮像映像から前記ユーザの視線方向を検出する視線検出手段とをさらに備え、
前記第一特定手段は、前記表示手段に表示されたユーザが、前記視線検出手段によって検出された視線方向にある場合に、視線方向にあるユーザが使用する通信端末を前記相手端末に特定する視線特定手段を備えたことを特徴とする請求項１から６のいずれかに記載の通信端末。
【請求項８】
前記第一開始検出手段または前記第二開始検出手段によって会話が開始されたことが検出された後、２つの通信端末のユーザ間の会話が終了したか否かを検出する終了検出手段と、
前記終了検出手段によって前記会話が終了したことが検出された場合に、前記生成手段によって生成された通信データである第三データを、前記他の通信端末の全てに送信する第三送信手段とをさらに備えたことを特徴とする請求項１から７のいずれかに記載の通信端末。
【請求項９】
ネットワークを介して相互に接続され、音声データおよび画像データの少なくとも一方を含む通信データを送受信する４つ以上の通信端末を備えた通信システムで行われる通信方法であって、
自端末のユーザと、自端末に接続された他の通信端末中の一の通信端末のユーザとの間で会話が開始されたことを検出する第一開始検出ステップと、
前記第一開始検出ステップによって会話が開始されたことが検出された場合に、開始された会話の相手側の前記一の通信端末である相手端末を特定する第一特定ステップと、
前記第一特定ステップによって前記相手端末が特定された場合に、前記他の通信端末のうち、会話を行っている前記相手端末を除く非会話端末を少なくとも１つ選定する選定ステップと、
音声データおよび画像データの少なくとも一方を含む情報から通信データを生成する生成ステップと、
前記第一特定ステップによって特定された前記相手端末に、前記生成ステップによって生成された通信データである第一データを送信する第一送信ステップと、
前記選定ステップによって選定された前記非会話端末に、前記生成ステップによる生成元となる情報が前記第一データと共通する通信データである第二データを送信する第二送信ステップと、
前記他の通信端末中の２つの通信端末のユーザ間で会話が開始されたことを検出する第二開始検出ステップと、
前記第二開始検出ステップによって会話が開始されたことが検出された場合に、開始された会話を行っている前記２つの通信端末を特定する第二特定ステップと、
前記他の通信端末から第二データを受信した場合に、前記第二特定ステップによって特定された前記２つの通信端末以外の通信端末に、受信した前記第二データを転送する転送ステップと
を備えたことを特徴とする通信方法。
【請求項１０】
音声データおよび画像データの少なくとも一方を含む通信データを送受信する通信端末を４つ以上備え、複数の前記通信端末がネットワークを介して相互に接続される通信システムであって、
前記通信端末は、
自端末のユーザと、前記他の通信端末中の一の通信端末のユーザとの間で会話が開始されたことを検出する第一開始検出手段と、
前記第一開始検出手段によって会話が開始されたことが検出された場合に、開始された会話の相手側の前記一の通信端末である相手端末を特定する第一特定手段と、
前記第一特定手段によって前記相手端末が特定された場合に、前記他の通信端末のうち、会話を行っている前記相手端末を除く非会話端末を少なくとも１つ選定する選定手段と、
音声データおよび画像データの少なくとも一方を含む情報から通信データを生成する生成手段と、
前記第一特定手段によって特定された前記相手端末に、前記生成手段によって生成された通信データである第一データを送信する第一送信手段と、
前記選定手段によって選定された前記非会話端末に、前記生成手段による生成元となる情報が前記第一データと共通する通信データである第二データを送信する第二送信手段と、
前記他の通信端末中の２つの通信端末のユーザ間で会話が開始されたことを検出する第二開始検出手段と、
前記第二開始検出手段によって会話が開始されたことが検出された場合に、開始された会話を行っている前記２つの通信端末を特定する第二特定手段と、
前記他の通信端末から第二データを受信した場合に、前記第二特定手段によって特定された前記２つの通信端末以外の通信端末に、受信した前記第二データを転送する転送手段と
を備えたことを特徴とする通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声データおよび画像データの少なくとも一方を含むデータを複数の通信端末間で送受信して会議を実行するための通信端末、通信方法、および通信システムに関する。
【背景技術】
【０００２】
従来、複数のユーザの全てが同一の拠点にいない場合でも会議を実行できるように、音声データおよび画像データを複数の通信端末間で送受信する技術が知られている。ユーザ同士が会話を行っている場合、会話を行っているユーザの通信端末間で使用できるネットワーク帯域を確保するために、例えば、特許文献１に記載の映像通信装置は、ユーザ間で会話が行われているか否かに応じて異なるネットワークを使用している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２２２１２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、会議に参加している複数の通信端末間で使用可能なネットワーク帯域自体を増大させている。この場合、会議に参加していない他の機器が使用できるネットワーク帯域が圧迫されるという問題点があった。
【０００５】
本発明は、ユーザ同士が会話を行っている場合に、会議に参加している複数の通信端末間で使用可能なネットワーク帯域自体を増大させることなく、会話を行っているユーザの通信端末間で使用できるネットワーク帯域を効率良く確保することができる通信端末、通信方法、および通信システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第一の態様に係る通信端末は、３つ以上の他の通信端末にネットワークを介して接続し、音声データおよび画像データの少なくとも一方を含む通信データを送受信する通信端末であって、自端末のユーザと、前記他の通信端末中の一の通信端末のユーザとの間で会話が開始されたことを検出する第一開始検出手段と、前記第一開始検出手段によって会話が開始されたことが検出された場合に、開始された会話の相手側の前記一の通信端末である相手端末を特定する第一特定手段と、前記第一特定手段によって前記相手端末が特定された場合に、前記他の通信端末のうち、会話を行っている前記相手端末を除く非会話端末を少なくとも１つ選定する選定手段と、音声データおよび画像データの少なくとも一方を含む情報から通信データを生成する生成手段と、前記第一特定手段によって特定された前記相手端末に、前記生成手段によって生成された通信データである第一データを送信する第一送信手段と、前記選定手段によって選定された前記非会話端末に、前記生成手段による生成元となる情報が前記第一データと共通する通信データである第二データを送信する第二送信手段と、前記他の通信端末中の２つの通信端末のユーザ間で会話が開始されたことを検出する第二開始検出手段と、前記第二開始検出手段によって会話が開始されたことが検出された場合に、開始された会話を行っている前記２つの通信端末を特定する第二特定手段と、前記他の通信端末から第二データを受信した場合に、前記第二特定手段によって特定された前記２つの通信端末以外の通信端末に、受信した前記第二データを転送する転送手段とを備えている。
【０００７】
第一の態様に係る通信端末によると、複数の通信端末のうち、会話を行っているユーザが使用する２つの通信端末（以下、「会話端末」という。）の間では、第一データが相互に送受信される。会話端末は、複数の非会話端末のうちの少なくとも１つに第二データを送信する。第二データを受信した非会話端末が、他の非会話端末に第二データを転送する。従って、会話中、会話端末は、他の通信端末の全てに通信データを送信しなくても、会議を実行できる。よって、複数の通信端末間で使用できるネットワーク帯域自体を増大させることなく、ネットワーク帯域を効率的に利用して、会話端末が使用できるネットワークの帯域を確保することができる。その結果、２つの会話端末間で通信データが安定して送受信されるため、会議をスムーズに進行させることができる。データ量が大きい通信データを会話端末間で送受信することもできる。
【０００８】
前記第一送信手段は、前記第二送信手段によって送信される第二データよりもデータ量が大きい第一データを前記相手端末に送信することが望ましい。この場合、通信端末は、会話端末として動作する場合、会話の相手側の相手端末との間に確保された帯域を用いて、第二データよりもデータ量が大きい第一データを相手端末に送信することができる。よって、通信端末は、音声および映像の少なくとも一方を、高い品質で会話中のユーザに提供することができる。また、通信端末は、第一データよりもデータ量が小さい第二データを非会話端末に送信する。よって、相手端末との間で使用できる帯域をより確実に確保し、第一データを円滑に相手端末に送信することができる。
【０００９】
前記通信端末は、前記第一特定手段によって特定された相手端末を履歴として順に第一記憶手段に記憶する記憶制御手段をさらに備えてもよい。前記選定手段は、複数の前記非会話端末のうち、前記第一記憶手段に履歴として記憶された順が新しい非会話端末を優先して選定する第一選定手段を備えてもよい。会話端末から第二データが送信されて非会話端末が受信するまでの遅延時間は、会話端末から非会話端末に直接第二データが送信される方が、転送される場合よりも短くなる。従って、この場合、現在の会話との関連性が一般的に高い、履歴への記憶順が新しい会話相手に対して、時間遅延を最小限に抑えて通信データを送信することができる。
【００１０】
前記選定手段は、複数の前記非会話端末のうち、自端末との間の通信データの伝送時間が短い非会話端末を優先して選定する第二選定手段と、複数の前記非会話端末のうち、自端末との間のネットワーク帯域が高い非会話端末を優先して選定する第三選定手段と、複数の前記非会話端末のうち、データの処理能力が高い非会話端末を優先して選定する第四選定手段との少なくともいずれかを備えるのが望ましい。この場合、通信端末は、会話端末として動作する場合、選定手段によって選定されなかった非会話端末に対して、伝送の遅延が少ない状態、または伝送中の不具合が生じ難い状態で第二データを送信することができる。
【００１１】
前記通信端末は、前記ネットワークを介して接続された複数の通信端末における、それぞれの通信端末の優先度を記憶する第二記憶手段から、前記優先度を取得する第一取得手段をさらに備えてもよい。前記選定手段は、複数の前記非会話端末のうち、前記第一取得手段によって取得された優先度が高い非会話端末を優先して選定する第五選定手段を備えてもよい。この場合、ユーザは、各通信端末の優先度を設定することで、優先度が高い通信端末のユーザに対して、時間遅延を最小限に抑えて通信データを送信することができる。
【００１２】
前記通信端末は、それぞれの前記通信端末を使用するユーザを特定する特定情報を、前記ユーザが使用する前記通信端末に対応付けて記憶する第三記憶手段から、前記特定情報を取得する第二取得手段と、前記複数の通信端末のそれぞれを使用するユーザの発話音声を取得する第三取得手段と、前記第三取得手段によって取得された発話音声から発話内容を認識する音声認識手段とをさらに備えてもよい。前記第一特定手段は、前記音声認識手段によって認識された発話内容に前記特定情報が含まれている場合に、前記特定情報を用いて前記相手端末を特定する音声特定手段を備えてもよい。この場合、通信端末は、ユーザの発話音声によって、会話相手の通信端末である相手端末を容易に特定することができる。
【００１３】
前記通信端末は、前記他の通信端末から送信された通信データに基づいて、画像を表示する表示手段に前記他の通信端末のユーザを表示させる表示制御手段と、ユーザを撮像する撮像手段から、前記ユーザの撮像映像を取得する第四取得手段と、前記第四取得手段によって取得された撮像映像から前記ユーザの視線方向を検出する視線検出手段とをさらに備えてもよい。前記第一特定手段は、前記表示手段に表示されたユーザが、前記視線検出手段によって検出された視線方向にある場合に、視線方向にあるユーザが使用する通信端末を前記相手端末に特定する視線特定手段を備えてもよい。この場合、通信端末は、ユーザの視線によって、会話相手の通信端末である相手端末を容易に特定することができる。
【００１４】
前記通信端末は、前記第一開始検出手段または前記第二開始検出手段によって会話が開始されたことが検出された後、２つの通信端末のユーザ間の会話が終了したか否かを検出する終了検出手段と、前記終了検出手段によって前記会話が終了したことが検出された場合に、前記生成手段によって生成された通信データである第三データを、前記他の通信端末の全てに送信する第三送信手段とをさらに備えるのが望ましい。上記構成の通信端末は、自端末を含む複数の通信端末中の２つの通信端末のユーザ間の会話が終了すると、各端末間で相互に通信データを直接送受信することができる。従って、２つの端末間での会話が行われていない場合には、通信データが送信されてから受信されるまでの時間遅延を最小限に抑えることができる。
【００１５】
本発明の第二の態様に係る通信方法は、ネットワークを介して相互に接続され、音声データおよび画像データの少なくとも一方を含む通信データを送受信する４つ以上の通信端末を備えた通信システムで行われる通信方法であって、自端末のユーザと、自端末に接続された他の通信端末中の一の通信端末のユーザとの間で会話が開始されたことを検出する第一開始検出ステップと、前記第一開始検出ステップによって会話が開始されたことが検出された場合に、開始された会話の相手側の前記一の通信端末である相手端末を特定する第一特定ステップと、前記第一特定ステップによって前記相手端末が特定された場合に、前記他の通信端末のうち、会話を行っている前記相手端末を除く非会話端末を少なくとも１つ選定する選定ステップと、音声データおよび画像データの少なくとも一方を含む情報から通信データを生成する生成ステップと、前記第一特定ステップによって特定された前記相手端末に、前記生成ステップによって生成された通信データである第一データを送信する第一送信ステップと、前記選定ステップによって選定された前記非会話端末に、前記生成ステップによる生成元となる情報が前記第一データと共通する通信データである第二データを送信する第二送信ステップと、前記他の通信端末中の２つの通信端末のユーザ間で会話が開始されたことを検出する第二開始検出ステップと、前記第二開始検出ステップによって会話が開始されたことが検出された場合に、開始された会話を行っている前記２つの通信端末を特定する第二特定ステップと、前記他の通信端末から第二データを受信した場合に、前記第二特定ステップによって特定された前記２つの通信端末以外の通信端末に、受信した前記第二データを転送する転送ステップとを備えている。
【００１６】
第二の態様に係る通信方法によると、複数の通信端末のうち、会話を行っているユーザが使用する２つの会話端末の間では、第一データが相互に送受信される。会話端末は、複数の非会話端末のうちの少なくとも１つに第二データを送信する。第二データを受信した非会話端末が、他の非会話端末に第二データを転送する。従って、会話中、会話端末は、他の通信端末の全てに通信データを送信しなくても、会議を実行できる。よって、複数の通信端末間で使用できるネットワーク帯域自体を増大させることなく、ネットワーク帯域を効率的に利用して、会話端末が使用できるネットワークの帯域を確保することができる。その結果、２つの会話端末間で通信データが安定して送受信されるため、会議をスムーズに進行させることができる。データ量が大きい通信データを会話端末間で送受信することもできる。
【００１７】
本発明の第三の態様に係る通信システムは、音声データおよび画像データの少なくとも一方を含む通信データを送受信する通信端末を４つ以上備え、複数の前記通信端末がネットワークを介して相互に接続される通信システムであって、前記通信端末は、自端末のユーザと、前記他の通信端末中の一の通信端末のユーザとの間で会話が開始されたことを検出する第一開始検出手段と、前記第一開始検出手段によって会話が開始されたことが検出された場合に、開始された会話の相手側の前記一の通信端末である相手端末を特定する第一特定手段と、前記第一特定手段によって前記相手端末が特定された場合に、前記他の通信端末のうち、会話を行っている前記相手端末を除く非会話端末を少なくとも１つ選定する選定手段と、音声データおよび画像データの少なくとも一方を含む情報から通信データを生成する生成手段と、前記第一特定手段によって特定された前記相手端末に、前記生成手段によって生成された通信データである第一データを送信する第一送信手段と、前記選定手段によって選定された前記非会話端末に、前記生成手段による生成元となる情報が前記第一データと共通する通信データである第二データを送信する第二送信手段と、前記他の通信端末中の２つの通信端末のユーザ間で会話が開始されたことを検出する第二開始検出手段と、前記第二開始検出手段によって会話が開始されたことが検出された場合に、開始された会話を行っている前記２つの通信端末を特定する第二特定手段と、前記他の通信端末から第二データを受信した場合に、前記第二特定手段によって特定された前記２つの通信端末以外の通信端末に、受信した前記第二データを転送する転送手段とを備えている。
【００１８】
第三の態様に係る通信システムによると、複数の通信端末のうち、会話を行っているユーザが使用する２つの会話端末の間では、第一データが相互に送受信される。会話端末は、複数の非会話端末のうちの少なくとも１つに第二データを送信する。第二データを受信した非会話端末が、他の非会話端末に第二データを転送する。従って、会話中、会話端末は、他の通信端末の全てに通信データを送信しなくても、会議を実行できる。よって、複数の通信端末間で使用できるネットワーク帯域自体を増大させることなく、ネットワーク帯域を効率的に利用して、会話端末が使用できるネットワークの帯域を確保することができる。その結果、２つの会話端末間で通信データが安定して送受信されるため、会議をスムーズに進行させることができる。データ量が大きい通信データを会話端末間で送受信することもできる。
【図面の簡単な説明】
【００１９】
【図１】テレビ会議システム３のシステム構成を示す図である。
【図２】テレビ会議端末１の電気的構成を示すブロック図である。
【図３】テレビ会議中に表示装置３４に表示される画像の一例を示す図である。
【図４】ＨＤＤ１３の通信相手情報記憶エリア１３２に記憶されている情報を示す模式図である。
【図５】ＨＤＤ１３の会話履歴記憶エリア１３３に記憶されている情報を示す模式図である。
【図６】テレビ会議端末１およびＰＣ２が行うメイン処理のフローチャートである。
【図７】メイン処理中に実行される会議開始処理のフローチャートである。
【図８】テレビ会議端末１およびＰＣ２が行う第一会話開始検出処理のフローチャートである。
【図９】テレビ会議端末１およびＰＣ２が行う第二会話開始検出処理のフローチャートである。
【図１０】メイン処理中に実行される中継端末選定処理のフローチャートである。
【図１１】テレビ会議端末１およびＰＣ２が行う中継端末受諾処理のフローチャートである。
【図１２】テレビ会議システム３における通常のデータの送受信態様の一例を示す図である。
【図１３】拠点Ａのユーザと拠点Ｅのユーザとが会話を行っている場合のデータの送受信態様の一例を示す図である。
【図１４】図１３の場合の拠点Ａの通信端末の送受信態様を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の通信端末を具現化した一実施の形態であるテレビ会議端末１、およびパーソナルコンピュータ（以下、「ＰＣ」という。）２について、図面を参照して説明する。なお、参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００２１】
図１を参照して、テレビ会議端末１およびＰＣ２を備えたテレビ会議システム３のシステム構成について説明する。テレビ会議システム３は、ネットワーク８を介して接続された複数の通信端末によって構成される。図１では、テレビ会議システム３を構成する通信端末として、拠点Ａに配置されたテレビ会議端末１、拠点Ｂに配置されたＰＣ２、および拠点Ｃに配置されたテレビ会議端末１を図示している。テレビ会議システム３では、各通信端末が互いに情報を入出力することで、複数の拠点のユーザに映像および音声を共有させる。その結果、全てのユーザが同一の拠点にいない場合でも、ユーザは円滑に会議を実行することができる。
【００２２】
各通信端末は、同一拠点内に配置されたマイク３１、スピーカ３２、カメラ３３、表示装置３４、および赤外線ライト３５に接続している。マイク３１は、音声を音声データに変換する。スピーカ３２は、音声データに基づいて音声を発生させる。カメラ３３は動画像を撮像する。表示装置３４は画像を表示する。赤外線ライト３５は、詳細は後述するが、ユーザの視線方向を検出するために用いられる。
【００２３】
次に、図２を参照して、テレビ会議端末１の電気的構成について説明する。なお、ＰＣ２の電気的構成のうち、本実施の形態を説明するために必要な構成については、テレビ会議端末１の電気的構成と同じである。また、テレビ会議を実行するためにテレビ会議端末１およびＰＣ２が行う動作、記憶しているデータの構成等も同じである。よって、以下の説明では、ＰＣ２の電気的構成についてはテレビ会議端末１の構成と同一の番号を付し、この詳細な説明は省略する。ＰＣ２が行う動作等の説明も省略する。
【００２４】
図２に示すように、テレビ会議端末１は、テレビ会議端末１の制御を司るＣＰＵ１０を備えている。ＣＰＵ１０には、ＲＯＭ１１、ＲＡＭ１２、ハードディスクドライブ（以下、「ＨＤＤ」という。）１３、および入出力インターフェース１９が、バス１８を介して接続されている。
【００２５】
ＲＯＭ１１は、テレビ会議端末１を動作させるためのプログラムおよび初期値等を記憶している。ＲＡＭ１２は、制御プログラムで使用される各種の情報を一時的に記憶する。ＨＤＤ１３は、各種の情報を記憶する不揮発性の記憶装置である。ＨＤＤ１３の代わりに、ＥＥＰＲＯＭまたはメモリカード等の記憶装置を用いてもよい。
【００２６】
入出力インターフェース１９には、音声入力処理部２１、音声出力処理部２２、映像入力処理部２３、映像出力処理部２４、操作部２５、外部通信Ｉ／Ｆ２６、および赤外線ライト３５が接続されている。音声入力処理部２１は、マイク３１からの音声データの入力を処理する。音声出力処理部２２は、スピーカ３２の動作を処理する。映像入力処理部２３は、カメラ３３からの画像データ（映像データ）の入力を処理する。映像出力処理部２４は、表示装置３４の動作を処理する。操作部２５は、ユーザがテレビ会議端末１に各種指示を入力するために用いられる。外部通信Ｉ／Ｆ２６は、テレビ会議端末１をネットワーク８に接続する。
【００２７】
次に、図３を参照して、テレビ会議端末１が行う動作の概要について説明する。図３に示すように、テレビ会議端末１は、ネットワーク８を介して接続された他の通信端末から画像データを受信する。テレビ会議端末１は、受信した画像データに基づいて、表示装置３４に画像を表示させる。図３は、拠点Ａ，Ｂ，Ｃ，Ｄ，Ｅのそれぞれに配置された５つの通信端末によってテレビ会議が実行されている場合に、拠点Ａのテレビ会議端末１が表示装置３４に表示させる画像の一例を示す。テレビ会議中、テレビ会議端末１は、他の通信端末と同じ数の表示領域４１〜４４を表示装置３４内に形成する。表示領域４１〜４４のそれぞれに、他の拠点の画像を表示させる。また、テレビ会議端末１は、他の通信端末から受信した音声データに基づいて、スピーカ３２から音声を発生させる。その結果、別拠点にいる複数のユーザは遠隔会議を行うことができる。
【００２８】
また、テレビ会議端末１は、複数の通信端末中の２つの通信端末のユーザ間で会話が行われたことを検出する。さらに、複数の通信端末の中から、会話中のユーザの通信端末（以下、「会話端末」という。）を特定する。テレビ会議端末１は、会話を検出すると、２つの会話端末間のネットワーク８の帯域を優先的に確保するための処理を行う。具体的には、会話端末は、会話を行っていない複数の非会話端末の中から、音声データおよび画像データ（以下、「通信データ」という。）を直接送信する非会話端末（以下、「中継端末」という。）を選定する。会話端末は、会話相手の通信端末（以下、「相手端末」という。）、および選定した非会話端末にのみ、通信データを送信する。中継端末は、会話端末から受信した通信データを、その他の非会話端末に転送する。その結果、会話端末が送信する通信データの経路が減少し、会話端末のネットワーク８の帯域が確保される。
【００２９】
ここで、テレビ会議端末１は、会話開始の検出、および会話端末の特定を行うために、ユーザの視線方向を検出して利用する方法と、音声認識を利用する方法とを用いることができる。
【００３０】
テレビ会議端末１が行うユーザの視線方向の検出について説明する。テレビ会議端末１は、同一拠点内のユーザの視線方向を検出することができる。検出した視線方向に、表示装置３４に形成された複数の表示領域４１〜４４のいずれがあるかを判断する。テレビ会議端末１は、自端末のユーザの会話相手を、視線方向にある表示領域に画像が表示されている拠点のユーザに特定する。
【００３１】
視線方向の検出について、具体的に説明する。視線方向の検出方法には周知の方法を用いればよい。例えば、特開平１０−１０８８４３号公報に掲載された方法を適用できる。この方法によると、テレビ会議端末１は、赤外線ライト３５を用いて赤外線を発光させる。赤外線は、ユーザの眼球角膜反射面に反射されて虚像（プルキニエ像）を形成する。カメラ３３は、形成されたプルキニエ像と眼球の瞳孔中心とを撮影する。テレビ会議端末１は、プルキニエ像と瞳孔中心との相対位置から、ユーザの視線方向を検出することができる。ユーザの視線方向を検出すると、他の拠点の画像の表示領域が視線方向にあるか否かを判断して、会話相手を特定する。この処理の詳細については後述する。
【００３２】
テレビ会議端末１が行う音声認識について説明する。テレビ会議端末１は、入力された音声データについて、周知の音声認識を行うことができる。認識した音声に基づいて、ユーザの会話相手の特定、および会話が終了したか否かの判断を行う。
【００３３】
具体的には、ＨＤＤ１３には、音声認識を行うための音響モデル、言語モデル、および単語辞書が記憶されている。テレビ会議端末１は、音声データを入力すると、入力した音声データを分析し、特徴量を抽出した後、音響モデルと言語モデルとのマッチングを行う。その結果、言語モデルで受理可能な文毎に尤度が求まり、尤度が最も高い文が認識結果として得られる。マッチングの際、言語モデルは単語辞書を参照する。なお、尤度が規定の閾値以下の値になった場合には、認識失敗として認識結果は得られない。テレビ会議端末１は、会話の開始部分から通信端末の登録ユーザ名を認識した場合には、認識したユーザに向けての会話が開始したと判断して処理を行う。また、テレビ会議端末１は、「以上」「終わり」「皆さん」等、２拠点のユーザ間の会話が終了したと判断するための特定の音声を認識した場合には、会話が終了したと判断する。この処理の詳細については後述する。
【００３４】
次に、図４および図５を参照して、テレビ会議端末１のＨＤＤ１３に記憶されるデータについて説明する。ＨＤＤ１３には、自端末情報記憶エリア１３１、通信相手情報記憶エリア１３２、および会話履歴記憶エリア１３３等の各種記憶エリアが設けられている（図２参照）。
【００３５】
自端末情報記憶エリア１３１には、自端末の登録ユーザ名、処理能力、および優先度が記憶されている。登録ユーザ名は、自端末を使用するユーザを特定するためにあらかじめ登録されたユーザの名称である。ユーザは、複数の登録ユーザ名をあらかじめ登録しておくこともできる。例えば、ユーザが同僚から「鈴木」と呼ばれ、部下からは「部長」と呼ばれる場合には、登録ユーザ名として「鈴木」および「部長」を共に登録しておくことができる。登録ユーザ名は、音声認識による会話相手の特定を行うために用いられる。処理能力は、自端末のデータ処理能力を示す値である。本実施の形態では、処理能力として、自端末のＣＰＵ１０のクロック周波数が記憶されている。しかし、処理能力として用いることができる情報はこれに限られない。例えば、自端末のメモリの容量等の他の情報を、自端末の処理能力を示す値に用いてもよい。優先度は、テレビ会議システム３内の複数の通信端末における自端末の優先度を示す。優先度は、テレビ会議が実行される際にあらかじめユーザによって設定されている。
【００３６】
通信相手情報記憶エリア１３２には、図４に示すように、テレビ会議システム３における他の通信端末に関する各種情報が記憶されている。具体的には、登録ユーザ名、伝送時間、利用可能帯域幅、処理能力、および優先度が、それぞれの端末について記憶されている。ここで、伝送時間は、自端末と通信相手の端末との間のデータの伝送時間である。伝送時間は、テレビ会議の開始時に公知の方法で計測される。本実施の形態では、自端末と通信相手の端末との間で時間を同期させておき、通信相手の端末から受信したデータに付されているタイムスタンプと、自端末で計測している時間とを比較することで、伝送時間が計測される。しかし、ＰＩＮＧコマンド等を通信相手の端末に送信し、応答が得られるまでの時間から伝送時間を計測してもよい。また、利用可能帯域幅は、通信相手の端末との間で利用できるネットワーク８の帯域幅であり、データ通信の速度を示す値である。利用可能帯域幅は、テレビ会議システム３で利用するネットワーク８、ネットワーク８に接続するための接続回線、インターフェース等に左右される。本実施の形態では、テレビ会議の開始時から、他の通信端末の各々との間の利用可能帯域幅が、公知の手法によって計測される。
【００３７】
テレビ会議端末１は、テレビ会議を開始させる際に、通信相手情報記憶エリア１３２に記憶される各種情報を取得する。伝送時間、利用可能帯域幅、処理能力、および優先度は、自端末が会話端末となった場合に、音声データおよび画像データを直接送信する中継端末を複数の非会話端末の中から選定するために使用される。この詳細は後述する。
【００３８】
会話履歴記憶エリア１３３には、図５に示すように、自端末のユーザの会話相手となった相手端末の履歴が順に記憶される。図５に示す例は、拠点Ａのテレビ会議端末１の会話履歴を示す。この例では、前回の相手端末が拠点Ｂの端末、２回前の相手端末が拠点Ｄの端末、３回前の相手端末が拠点Ｂの端末、４回前の相手端末が拠点Ｅの端末であることを示す。会話履歴も、非会話端末を選定するために使用される。
【００３９】
以下、本実施の形態に係るテレビ会議端末１およびＰＣ２が行う処理について、図６から図１１を参照して説明する。テレビ会議端末１およびＰＣ２が行う処理は同じであるため、以下ではテレビ会議端末１が行う処理について説明する。以下説明するメイン処理、会話開始検出処理、および中継端末受諾処理は、ＲＯＭ１１に記憶されているプログラムに従ってＣＰＵ１０が実行する。
【００４０】
図６に示すメイン処理は、テレビ会議を実行する指示が入力されることで開始される。メイン処理が開始されると、まず、会議開始処理が行われる（Ｓ１）。会議開始処理では、テレビ会議中の処理を実行するための各種情報の送受信、記憶、処理方法の設定等が行われる。
【００４１】
図７に示すように、会議開始処理では、まず、ＨＤＤ１３の自端末情報記憶エリア１３１（図２参照）に記憶されている自端末の登録ユーザ名、処理能力、および優先度が取得される（Ｓ２１）。取得された自端末の情報が、テレビ会議システム３中の他の通信端末に送信される（Ｓ２２）。他の通信端末のそれぞれの登録ユーザ名、処理能力、および優先度の情報が他の通信端末から受信され、ＨＤＤ１３の通信相手情報記憶エリア１３２（図４参照）に記憶される（Ｓ２３）。
【００４２】
他の通信端末の各々との間のデータの伝送時間が計測され、通信相手情報記憶エリア１３２に記憶される（Ｓ２４）。他の通信端末の各々との間のネットワーク８の利用可能帯域幅が計測され、通信相手情報記憶エリア１３２に記憶される（Ｓ２５）。利用可能帯域幅は、テレビ会議中に適宜計測され、その都度更新される。
【００４３】
次いで、中継端末の選定方法が設定される（Ｓ２６）。前述したように、中継端末は、非会話端末のうち、会話端末から通信データを受信して他の非会話端末に転送する端末である。テレビ会議端末１は、会話端末となった場合に、会話履歴、データの伝送時間、利用可能帯域幅、データの処理能力、および優先度のいずれかの情報を用いて、中継端末を選定することができる。Ｓ２６の処理では、ユーザによる操作部２５（図２参照）の操作に応じて、いずれの情報を用いて中継端末を選定するかが設定される。
【００４４】
次いで、相手端末の特定方法が設定される（Ｓ２７）。前述したように、テレビ会議端末１は、会話相手の相手端末を特定するために、ユーザの視線方向を検出する方法と、音声認識による方法とを用いることができる。Ｓ２７の処理では、いずれの方法で相手端末を特定するかが設定される。次いで、他の通信端末からの音声データおよび画像データの受信が開始され、受信した通信データに基づく音声の発生、および画像の表示が開始されて、テレビ会議が実行される（Ｓ２８）。処理はメイン処理に戻る。
【００４５】
図６の説明に戻る。会議開始処理（Ｓ１）が終了し、テレビ会議が開始されると、会話開始検出処理が開始される（Ｓ２）。会話開始検出処理では、２つの通信端末間で会話が開始されたことが検出される。さらに、２つの会話端末が特定される。ここでは、会議開始処理で行われた設定（図７、Ｓ２７）に応じて、第一会話開始検出処理（図８参照）、および第二会話開始検出処理（図９参照）のいずれかが実行される。なお、会話開始検出処理は、メイン処理と並行して実行される。
【００４６】
図８を参照して、第一会話開始検出処理について説明する。第一会話開始検出処理は、音声認識を利用して相手端末を特定する設定が行われている場合に実行される。ＣＰＵ１０は、自端末の拠点を含む全ての拠点についての音声データを取得し、取得した音声データに対して音声認識を行う。まず、音声認識の結果から、いずれかの拠点での発話の開始時に登録ユーザ名が発話されたか否かが判断される（Ｓ３１）。詳細には、所定時間以上の無音状態の後に発話が行われた場合に、発話の開始時であるとされる。ＨＤＤ１３から登録ユーザ名が取得され、自端末および他の通信端末の登録ユーザ名のいずれかが発話の開始部分に含まれているか否かが判断される。登録ユーザ名が含まれていなければ（Ｓ３１：ＮＯ）、この判断が繰り返し行われる。登録ユーザ名が含まれていれば（Ｓ３１：ＹＥＳ）、登録ユーザ名の後の無音状態が一定時間（本実施の形態では０．５秒）に達したか否かが判断される（Ｓ３２）。本実施の形態では、登録ユーザ名の後の無音時間が一定時間未満であれば、発話された登録ユーザ名は一連の会話の途中に登場したユーザ名、つまり、会話相手に呼びかけを行う目的以外の目的で発話されたユーザ名と判断される。従って、無音状態が０．５秒未満であれば（Ｓ３２：ＮＯ）、処理はＳ３１の判断へ戻る。無音状態が０．５秒に達した場合には（Ｓ３２：ＹＥＳ）、あるユーザが他のいずれかのユーザに対する呼びかけを行ったと判断され、その時点で２拠点のユーザによる会話が開始されたと判断される。
【００４７】
会話が開始されたと判断されると、発話の開始部分に含まれていた登録ユーザ名が、自端末の登録ユーザ名であるか否かが判断される（Ｓ３４）。自端末の登録ユーザ名でなければ（Ｓ３４：ＮＯ）、登録ユーザ名が含まれていた発話の音声データが、自端末に入力された音声データであるか否かが判断される（Ｓ３５）。
【００４８】
自端末の登録ユーザ名が含まれている場合には、他の通信端末のユーザが自端末のユーザを呼びかけている。また、登録ユーザ名が、自端末に入力された音声データに含まれていれば、自端末のユーザが他の通信端末のユーザを呼びかけている。従って、自端末の登録ユーザ名が含まれていた場合（Ｓ３４：ＹＥＳ）、または、自端末に入力された音声データである場合には（Ｓ３５：ＹＥＳ）、自端末が２つの会話端末の一方であると判定される（Ｓ３６）。自端末が会話端末であることを示す会話端末特定情報が、他の通信端末の全てに送信される（Ｓ３７）。もう一方の会話端末から、会話端末特定情報が受信される（Ｓ３８）。会話端末特定情報の送信元の通信端末が、会話相手のユーザの端末である相手端末に特定される（Ｓ３９）。特定された相手端末が、会話履歴（図５参照）の「前回」の欄に追加されて（Ｓ４０）、処理はＳ３１の判断へ戻る。
【００４９】
発話に含まれていた登録ユーザ名が自端末の登録ユーザ名でなく（Ｓ３４：ＮＯ）、音声データが自端末に入力された音声データでもなければ（Ｓ３５：ＮＯ）、自端末が非会話端末であると判定される（Ｓ４２）。会話端末となった他の２つの通信端末から、会話端末特定情報が受信される（Ｓ４３）。会話端末特定情報の送信元である２つの通信端末が会話端末に特定されて（Ｓ４４）、処理はＳ３１の判断へ戻る。
【００５０】
図９を参照して、第二会話開始検出処理について説明する。第二会話開始検出処理は、ユーザの視線方向の検出を利用して相手端末を特定する設定が行われている場合に実行される。まず、自端末に接続されているマイク３１（図２参照）からの音声データの入力が開始されたか否かが判断される（Ｓ５１）。入力が開始された場合には（Ｓ５１：ＹＥＳ）、自端末に接続されているカメラ３３（図２参照）から撮像映像が取得され（Ｓ５２）、前述した視線方向の検出処理が行われる（Ｓ５３）。検出されたユーザの視線方向に、表示領域４１〜４４（図３参照）のいずれかがあるか否かが判断される（Ｓ５４）。視線方向にいずれの表示領域もなければ（Ｓ５４：ＮＯ）、処理はＳ５１の判断へ戻る。視線方向にいずれかの表示領域があれば（Ｓ５４：ＹＥＳ）、自端末のユーザが他のユーザに対して会話を開始したと判断され、自端末が会話端末の一方であると判定される（Ｓ５６）。視線方向にある表示領域に対応する通信端末が、相手端末に特定される（Ｓ５７）。特定された相手端末が、会話履歴（図５参照）に記憶される（Ｓ５８）。特定された相手端末が会話端末であることを示す会話端末特定情報が、他の通信端末の全てに送信される（Ｓ５９）。処理はＳ５１の判断へ戻る。
【００５１】
マイク３１からの音声データの入力が開始されていなければ（Ｓ５１：ＮＯ）、他の通信端末から会話端末特定情報を受信したか否かが判断される（Ｓ６１）。受信していなければ（Ｓ６１：ＮＯ）、処理はＳ５１の判断へ戻る。受信した場合には（Ｓ６１：ＹＥＳ）、自端末が会話端末に特定されているか否かが、受信した会話端末特定情報によって判断される（Ｓ６３）。自端末が会話端末に特定されていれば（Ｓ６３：ＹＥＳ）、自端末が会話端末の一方であると判定される（Ｓ６４）。会話端末特定情報の送信元の通信端末が、相手端末に特定される（Ｓ６５）。相手端末が会話履歴に記憶されて（Ｓ６６）、処理はＳ５１の判断へ戻る。
【００５２】
自端末が会話端末に特定されていなければ（Ｓ６３：ＮＯ）、自端末が非会話端末であると判定される（Ｓ６８）。会話端末特定情報によって会話端末に特定されている通信端末と、情報の送信元の通信端末とが、会話端末に特定される（Ｓ６９）。処理はＳ５１の判断へ戻る。
【００５３】
図６の説明に戻る。会話開始検出処理が開始されると（Ｓ２）、まず、通常の通信データの送受信が行われる。詳細には、同一拠点内のマイク３１およびカメラ３３からの入力データがエンコードされ、中品質の音声データおよび画像データが生成される。生成された通信データが、他の通信端末の全てに同じように送信される（Ｓ３）。中品質のデータとは、データ量が後述する高品質データと低品質データとの間にあるデータである。データ量は、エンコード時の圧縮率、サンプリングレート、画像の解像度、画像データのフレームレート、エラー訂正符号等によって変動する。出力される音声および画像の品質は、データ量が大きいほど高い。
【００５４】
次いで、前述した会話開始検出処理（図８または図９参照）によって、２拠点のユーザ間の会話の開始が検出されたか否かが判断される（Ｓ４）。詳細には、会話開始検出処理において、自端末が会話端末または非会話端末であると判定された場合に、会話開始が検出されたと判断される（Ｓ３６，Ｓ４２，Ｓ５６，Ｓ６４，Ｓ６８）。会話開始が検出されていなければ（Ｓ４：ＮＯ）、通常の通信データの送受信が継続される。会話開始が検出された場合には（Ｓ４：ＹＥＳ）、自端末が会話端末となっているか否かが判断される（Ｓ５）。自端末が会話端末となっていれば（Ｓ５：ＹＥＳ）、相手端末との間のネットワーク８の帯域を確保するための会話端末としての処理が行われる。まず、複数の非会話端末から中継端末を選定する中継端末選定処理が行われる（Ｓ６）。前述したように、中継端末とは、非会話端末のうち、会話端末が音声データおよび画像データを直接送信する通信端末である。中継端末は、会話端末から受信した通信データを、その他の非会話端末に転送する。
【００５５】
図１０に示すように、中継端末選定処理が開始されると、会議開始処理で行われた設定（図７、Ｓ２６）に応じて、該当する非会話端末が中継端末の候補として１つ選定される（Ｓ７１）。非会話端末の選定方法の詳細については後述する。次いで、中継端末の候補に選定したことを示す選定情報が、選定された非会話端末に送信される（Ｓ７２）。選定した非会話端末から受諾情報を受信したか否かが判断される（Ｓ７３）。詳細は後述するが、候補に選定された非会話端末は、選定の受諾を示す受諾情報、および拒否を示す拒否情報のいずれかを送信する。拒否情報が受信された場合には（Ｓ７３：ＮＯ）、選定した非会話端末が中継端末の候補から除外されて（Ｓ７４）、残りの非会話端末から再び中継端末の候補が選定される（Ｓ７１）。受諾情報が受信された場合には（Ｓ７３：ＹＥＳ）、候補として選定された非会話端末が中継端末に決定されて（Ｓ７５）、処理はメイン処理へ戻る。
【００５６】
次に、図１１を参照して、中継端末受諾処理について説明する。中継端末受諾処理は、テレビ会議が行われている間、メイン処理と並行して実行されている。まず、２拠点のユーザ間の会話が終了したか否かが判断される（Ｓ８１）。本実施の形態では、無音状態が所定時間以上継続した場合、会話が終了したと判断される。また、「以上」「終わり」「皆さん」等、２拠点のユーザ間の会話が終了したと判断するための特定の音声が認識された場合にも、会話が終了したと判断される。会話が終了していないと判断された場合には（Ｓ８１：ＮＯ）、新たな会話の開始が検出されたか否かが判断される（Ｓ８２）。会話開始検出処理（図８および図９参照）において新たな会話の開始が検出されていなければ（Ｓ８２：ＮＯ）、他の通信端末から選定情報を受信したか否かが判断される（Ｓ８３）。受信していなければ（Ｓ８３：ＮＯ）、処理はＳ８１の判断へ戻る。
【００５７】
選定情報を受信した場合には（Ｓ８３：ＹＥＳ）、自端末が既に中継端末に選定されているか否かが、受諾中フラグによって判断される（Ｓ８４）。受諾中フラグは、自端末が中継端末に選定されている場合にＯＮとされ、選定されていない場合にＯＦＦとされる。中継端末に選定されていなければ（Ｓ８４：ＮＯ）、受諾中フラグがＯＮとされる（Ｓ８５）。中継端末への選定を受諾することを示す受諾情報が、選定情報の送信元の会話端末に送信される（Ｓ８６）。処理はＳ８１の判断へ戻る。一方、既に中継端末に選定されている場合には（Ｓ８４：ＹＥＳ）、選定を拒否することを示す拒否情報が送信されて（Ｓ８７）、処理はＳ８１の判断へ戻る。また、会話が終了したと判断された場合（Ｓ８１：ＹＥＳ）、および、新たな会話の開始が検出された場合には（Ｓ８２：ＹＥＳ）、受諾中フラグがＯＦＦとされて（Ｓ８８）、処理はＳ８１の判断へ戻る。
【００５８】
ここで、中継端末の候補の選定方法（図１０、Ｓ７１参照）の詳細について説明する。前述したように、中継端末は、会話履歴、データの伝送時間、利用可能帯域幅、データの処理能力、および優先度のいずれかの情報を用いて選定される。
【００５９】
会話履歴を用いて中継端末を選定するように設定されている場合は、ＨＤＤ１３の会話履歴記憶エリア１３３（図５参照）に記憶されている会話履歴が参照される。非会話端末のうち、会話履歴に記憶された順が新しい非会話端末から中継端末の候補に選定される。会話履歴に記憶された順が新しい非会話端末ほど、現在の会話に対する関連性は一般的に高い。そして、中継端末には会話端末から音声データおよび画像データが直接送信される。従って、中継端末に選定されなかった非会話端末に比べ、会話端末がデータを送信してから受信するまでの遅延時間は短い。よって、会話履歴に記憶された順が新しい非会話端末を優先して中継端末に選定することで、現在の会話に対する関連性が高い非会話端末の受信遅延を最小限に抑えることができる。
【００６０】
データの伝送時間を用いて中継端末を選定するように設定されている場合には、ＨＤＤ１３の通信相手情報記憶エリア１３２（図４参照）に記憶されている伝送時間が参照される。非会話端末のうち、会話端末との間のデータの伝送時間が短い非会話端末から中継端末の候補に選定される。中継端末は、会話端末から受信した通信データを、他の非会話端末に転送する。従って、会話端末と中継端末との間の伝送時間が長ければ、それに伴って、他の全ての非会話端末の受信遅延も長くなる。伝送時間が短い非会話端末を優先して中継端末に選定することで、非会話端末全体の受信遅延を緩和することができる。
【００６１】
利用可能帯域幅を用いて中継端末を選定するように設定されている場合には、利用可能帯域幅が広い（帯域の値が高い）非会話端末から中継端末の候補に選定される。利用可能帯域幅が広い程、データの通信速度が速い。従って、非会話端末全体の受信遅延を緩和することができる。
【００６２】
データの処理能力を用いて中継端末を選定するように設定されている場合には、処理能力が高い非会話端末から中継端末の候補に選定される。データの処理能力が高い非会話端末は、処理能力が低い非会話端末に比べ、会話端末から通信データを受信して他の非会話端末に転送するまでの処理を迅速に行うことができる。従って、非会話端末全体の受信遅延を緩和することができる。
【００６３】
優先度を用いて中継端末を選定するように設定されている場合には、ＨＤＤ１３の通信相手情報記憶エリア１３２（図４参照）に記憶されている優先度が取得される。高い優先度が設定されている非会話端末から中継端末の候補に選定される。この場合、ユーザは、優先度を適宜設定することで、所望の通信端末の受信遅延を最小限に抑えることができる。
【００６４】
図６の説明に戻る。中継端末が選定されると（Ｓ６）、高品質の音声データ・画像データと、低品質の音声データ・画像データとが、同一の音声および画像から生成される（Ｓ７）。詳細には、同一拠点内のマイク３１およびカメラ３３からの入力データが異なる条件でエンコードされ、データ量が異なる２種類の通信データが生成される。次いで、会話相手である相手端末に、高品質データが送信される（Ｓ８）。選定された中継端末に、低品質データが送信される（Ｓ９）。中継端末以外の非会話端末には、いずれの通信データも送信されない。次いで、新たな会話の開始が検出されたか否かが判断される（Ｓ１０）。検出された場合には（Ｓ１０：ＹＥＳ）、処理はＳ５の判断へ戻る。新たな会話の開始が検出されていなければ（Ｓ１０：ＮＯ）、相手端末のユーザとの間の会話が終了したか否かが判断される（Ｓ１１）。この判断条件は、図１１のＳ８１の判断条件と同じである。会話が終了していなければ（Ｓ１１：ＮＯ）、処理はＳ７へ戻り、高品質のデータおよび低品質のデータの送信が継続される。会話が終了した場合には（Ｓ１１：ＹＥＳ）、処理はＳ３へ戻り、通常のデータの送受信、つまり、他の全ての通信端末への中品質のデータの送信が、再び行われる。
【００６５】
また、会話が開始した場合に、自端末が会話端末となっていなければ（Ｓ５：ＮＯ）、非会話端末としての処理が行われる。まず、低品質のデータが生成される（Ｓ１２）。会話端末を含む他の全ての通信端末に、生成された低品質データが送信される（Ｓ１３）。次いで、中継端末に選定されているか否かが判断される（Ｓ１４）。選定されていなければ（Ｓ１４：ＮＯ）、処理はそのままＳ１６の判断へ移行する。中継端末に選定されていれば（Ｓ１４：ＹＥＳ）、会話端末から受信した低品質データが、他の非会話端末に転送されて、低品質データが非会話端末内でブロードキャストされる（Ｓ１５）。他の非会話端末とは、換言すると、全ての通信端末中、２つの会話端末と１つの中継端末（自端末）とを除く通信端末である。ここで、本実施の形態におけるブロードキャストとは、同一の非会話端末に同一のデータが重複して送信されることなく、且つ、複数の非会話端末内でデータがループされることなく、会話端末によって生成された低品質データが非会話端末に送信されることを示す。本実施の形態では、会話端末が送信した低品質データは、選定された１つの中継端末から他の非会話端末のそれぞれに対し、一方向に転送される。その結果、会話端末が送信した低品質データが同一の非会話端末に重複して送信されたり、データが非会話端末内でループしたりすることを防止することができる。
【００６６】
次いで、新たな会話の開始が検出されたか否かが判断される（Ｓ１６）。検出された場合には（Ｓ１６：ＹＥＳ）、処理はＳ５の判断へ戻る。新たな会話の開始が検出されていなければ（Ｓ１６：ＮＯ）、会話が終了したか否かが判断される（Ｓ１７）。会話が終了していなければ（Ｓ１７：ＮＯ）、処理はＳ１２へ戻り、非会話端末としての処理が継続される。会話が終了した場合には（Ｓ１７：ＹＥＳ）、処理はＳ３へ戻り、通常の通信データの送受信が行われる。
【００６７】
次に、図１２から図１４を参照して、テレビ会議端末１およびＰＣ２が上記の処理を行った場合の通信データの送受信の態様について説明する。図１２から図１４は、拠点Ａ，Ｂ，Ｃ，Ｄ，Ｅの５拠点の通信端末からなるテレビ会議システム３における通信データの送受信の一例を示す。図１２は、２拠点のユーザ間の会話が行われていない場合の送受信の態様を示す。図１３は、拠点Ａのユーザと拠点Ｅのユーザとが会話を行っている場合の送受信の態様を示す。図１４では、図１３の場合の、拠点Ａの通信端末の送受信の態様のみを図示している。
【００６８】
図１２に示すように、２拠点のユーザ間の会話が行われていない場合には、各通信端末は、中品質のデータを他の通信端末の全てに送信する。その結果、各通信端末は、他の全ての拠点の音声および映像を出力できる。よって、音声および映像を用いた遠隔会議を実行できる。しかし、ネットワーク８（図１および図２参照）の帯域は変動する場合がある。例えば、５拠点中２つの拠点のユーザ同士で会話を行っている場合、帯域が低下して音声および映像が途切れると会議が次の段階に進行せず、遠隔会議を円滑に実行することはできない。従って、２拠点のユーザ間で会話が行われている場合には、会話を行っているユーザの通信端末間のネットワーク８の帯域を優先的に確保することが望ましい。
【００６９】
図１３に示すように、テレビ会議システム３では、拠点Ａのユーザと拠点Ｅのユーザとが会話を行うと、拠点ＡおよびＥの通信端末である会話端末は、通信データを相互に送受信する。会話端末同士で通信データを直接送受信するため、一方の会話端末から通信データが送信されてから他方が受信するまでの時間は短い。よって、２拠点のユーザ間の会話を円滑に行わせることができる。また、会話端末は、拠点Ｂ，Ｃ，Ｄの３つの非会話端末のうちのいずれかを中継端末に選定し、選定した非会話端末にのみ通信データを送信する。
【００７０】
図１４に示すように、拠点Ａの通信端末は、会話端末として動作する間、拠点Ｃ，Ｄの非会話端末に通信データを送信する必要がない。従って、会話端末として動作する場合は、通信データの送受信の経路の数を減少させることができる。よって、本実施の形態の通信端末は、会話端末として動作する場合、拠点Ａ〜Ｅの通信端末間で使用できるネットワーク帯域全体を増大させることなく、ネットワーク帯域を効率的に利用して、会話中に使用できるネットワーク帯域を確保することができる。拠点Ａ〜Ｅ以外の機器のネットワーク帯域を圧迫することはない。使用するネットワークを変更する等の煩雑な処理を経る必要もない。そして、拠点Ａにおける音声および画像の通信データは、拠点Ｂの中継端末が拠点Ｃ，Ｄの非会話端末に転送する。よって、テレビ会議システム３では、会話端末が他の通信端末の全てに通信データを送信しなくても、遠隔会議を円滑に実行できる。つまり、２拠点のユーザ間で会話が開始された場合、非会話端末も含めた全ての通信端末による遠隔会議を継続して円滑に実行しつつ、２つの会話端末が使用できるネットワーク帯域を確保することができる。
【００７１】
また、図１３に示すように、２つの会話端末は、それぞれ異なる非会話端末を中継端末に選定することができる。この場合、通信データを転送する処理負担が、複数の非会話端末のうちの１つに集中することなく、処理負担を分散させることができる。
【００７２】
通信データの品質について説明する。図１３および図１４に示すように、会話端末（Ａ，Ｅ）同士で送受信される通信データは、データ量が大きい高品質のデータである。従って、会話端末（Ａ，Ｅ）は、音声および映像を高い品質で会話中のユーザに提供することができる。一方、会話端末（Ａ，Ｅ）は、データ量が小さい低品質のデータを中継端末（ＢまたはＤ）に送信する。会話端末（Ａ，Ｅ）は、中継端末（ＢまたはＤ）に送信する通信データのデータ量を小さくすることで、相手端末との間で使用できるネットワーク８の帯域を、より確実に確保することができる。さらに、ブロードキャストする通信データのデータ量が小さいため、非会話端末（Ｂ，Ｃ，Ｄ）は、会話端末（Ａ，Ｅ）から送信された通信データを円滑にブロードキャストすることができる。また、非会話端末（Ｂ，Ｃ，Ｄ）は、２つの会話端末間で会話が開始されると、送信するデータを低品質データとする。その結果、会話端末（Ａ，Ｅ）に送信される通信データのデータ量が小さくなる。よって、会話端末（Ａ，Ｅ）が使用できる帯域を確保できる。
【００７３】
各通信端末は、２拠点のユーザ間の会話の終了を検出すると、中品質のデータを他の通信端末の全てに直接送信する（図１２参照）。従って、各通信端末は、２拠点のユーザ間で会話が行われていない場合には、データの受信遅延を最小限に抑えつつ遠隔会議を進行させることができる。また、各会議端末は、音声認識、およびユーザの視線方向の検出の少なくともいずれかを利用して、会話相手の通信端末である相手端末を容易に特定することができる。
【００７４】
なお、上記実施の形態において、テレビ会議端末１およびＰＣ２が本発明の「通信端末」に相当する。図８のＳ３６および図９のＳ５６，Ｓ６４で自端末のユーザと他の通信端末のユーザとの間で会話が開始されたことを検出するＣＰＵ１０が「第一開始検出手段」として機能する。図８のＳ３８，Ｓ３９、および図９のＳ５７，Ｓ６５で相手端末を特定するＣＰＵ１０が「第一特定手段」として機能する。図１０の中継端末選定処理を行うＣＰＵ１０が「選定手段」および「第一〜第五選定手段」として機能する。図６のＳ３，Ｓ７，Ｓ１２で通信データを生成するＣＰＵ１０が「生成手段」として機能する。上記実施の形態の高品質データが本発明の「第一データ」に相当する。低品質データが「第二データ」に相当し、中品質データが「第三データ」に相当する。
【００７５】
図６のＳ８で相手端末に高品質データを送信するＣＰＵ１０が「第一送信手段」として機能する。図６のＳ９で中継端末に低品質データを送信するＣＰＵ１０が「第二送信手段」として機能する。図８のＳ４２および図９のＳ６８で他の２つの通信端末間の会話開始を検出するＣＰＵ１０が「第二開始検出手段」として機能する。図８のＳ４４および図９のＳ６９で２つの会話端末を特定するＣＰＵ１０が「第二特定手段」として機能する。図６のＳ１５で低品質データを非会話端末間でブロードキャストするＣＰＵ１０が「転送手段」として機能する。
【００７６】
ＨＤＤ１３の会話履歴記憶エリア１３３が「第一記憶手段」に相当する。図８のＳ４０および図９のＳ５８，Ｓ６６で相手端末を履歴として記憶するＣＰＵ１０が「記憶制御手段」として機能する。ＨＤＤ１３の通信相手情報記憶エリア１３２が「第二記憶手段」および「第三記憶手段」に相当する。図１０のＳ７１で、優先度を用いて中継端末を設定する場合にＨＤＤ１３から優先度を取得するＣＰＵ１０が「第一取得手段」として機能する。図８のＳ３１で登録ユーザ名をＨＤＤ１３から取得するＣＰＵ１０が「第二取得手段」として機能する。各通信端末の発話音声を取得するＣＰＵ１０が「第三取得手段」として機能し、取得した発話音声に対して音声認識を行うＣＰＵ１０が「音声認識手段」として機能する。図８のＳ３９で、入力音声に含まれていた登録ユーザ名を用いて相手端末を特定するＣＰＵ１０が「音声特定手段」として機能する。
【００７７】
他の通信端末から受信した画像データに基づいて画像を表示装置３４に表示させるＣＰＵ１０が「表示制御手段」として機能する。図９のＳ５２で自端末の撮像映像を取得するＣＰＵ１０が「第四取得手段」として機能する。図９のＳ５３でユーザの視線方向を検出するＣＰＵ１０が「視線検出手段」として機能する。図９のＳ５４，Ｓ５７で、ユーザの視線方向にある表示領域に対応する通信端末を相手端末に特定するＣＰＵ１０が「視線特定手段」として機能する。図６のＳ１１，Ｓ１７で会話が終了したことを検出するＣＰＵ１０が「終了検出手段」として機能する。図６のＳ３で中品質データを他の通信端末の全てに送信するＣＰＵ１０が「第三送信手段」として機能する。
【００７８】
図８のＳ３６および図９のＳ５６，Ｓ６４で自端末のユーザと他の通信端末のユーザとの間で会話が開始されたことを検出する処理が「第一開始検出ステップ」に相当する。図８のＳ３８，Ｓ３９、および図９のＳ５７，Ｓ６５で相手端末を特定する処理が「第一特定ステップ」に相当する。図１０の中継端末選定処理が「選定ステップ」および「第一〜第五選定ステップ」に相当する。図６のＳ３，Ｓ７，Ｓ１２で通信データを生成する処理が「生成ステップ」に相当する。図６のＳ８で相手端末に高品質データを送信する処理が「第一送信ステップ」に相当する。図６のＳ９で中継端末に低品質データを送信する処理が「第二送信ステップ」に相当する。図８のＳ４２および図９のＳ６８で他の２つの通信端末間の会話開始を検出する処理が「第二開始検出ステップ」に相当する。図８のＳ４４および図９のＳ６９で２つの会話端末を特定する処理が「第二特定ステップ」に相当する。図６のＳ１５で低品質データを非会話端末間でブロードキャストする処理が「転送ステップ」に相当する。
【００７９】
本発明は、上記実施の形態に限定されることはなく、様々な変形が可能であることは言うまでもない。例えば、テレビ会議システム３に使用する通信端末の数が５つに限られないことは勿論である。会話端末が中継端末を１つ選定する場合には、４つ以上の通信端末を用いることで本発明を適用できる。
【００８０】
上記実施の形態では、２つの会話端末はそれぞれ１つの中継端末を非会話端末の中から選定している。しかし、１つの会話端末が２以上の中継端末を選定してもよい。２以上の中継端末を選定した場合でも、会話端末の通信データの送信経路を減少させることができる。この場合、一の会話端末から選定された中継端末は、その一の会話端末から未だ通信データを受信していない非会話端末に、通信データを転送すればよい。
【００８１】
非会話端末内で通信データをブロードキャストする方法は、上記実施の形態で用いた方法に限られない。ネットワーク８内の特殊なアドレスを指定して通信データを送信する方法等、データの重複、ループ等が発生しない周知の方法を用いてブロードキャストを行ってもよい。また、図１４に示す例では、拠点Ｂの中継端末が拠点Ｃ，Ｄの非会話端末のそれぞれに通信データを直接転送している。しかし、通信データは、拠点Ｂから拠点Ｃ、さらに拠点Ｃから拠点Ｄのように、順に転送されてもよい。
【００８２】
上記実施の形態では、高品質、中品質、および低品質の３つの通信データの送受信を制御することで、会話端末が使用できるネットワーク８の帯域をより確実に確保している。しかし、送信する通信データの品質は適宜変更できる。例えば、通信データの送信先が会話端末であるか否かに関わらず、同一の品質の通信データを各々の通信端末に送信してもよい。本発明によれば、通信データの品質を変えなくても、会話端末の通信データの送信経路を減少させることができるため、会話端末が使用できる帯域を確保することができる。非会話端末も同様に、会話が行われているか否かに関わらず同一の品質の通信データを送信してもよい。
【００８３】
上記実施の形態では、２つの会話端末はそれぞれ異なる非会話端末を中継端末に選定している。その結果、通信データを転送する処理の負担を２つの非会話端末に分散させることができる。しかし、２つの会話端末が同一の非会話端末を中継端末に選定してもよい。例えば、２つの会話端末が共に、処理能力が最も高い非会話端末を中継端末に選定する。２つの会話端末から送信される通信データが、同一の中継端末を経由して他の非会話端末に転送されると、非会話端末では、２つの通信データの受信遅延に差が生じることがない。よって、非会話端末は、２つの会話端末から同時に通信データを受信することができる。
【００８４】
上記実施の形態では、各通信端末は、音声認識およびユーザの視線方向の検出を利用して相手端末を特定している。しかし、相手端末の特定方法は適宜変更できる。例えば、会話を開始するユーザに操作部２５等を操作させて、相手端末を指定させてもよい。また、一定時間内に各通信端末が送信する音声データのデータ量を監視し、送信するデータ量が大きい２つの通信端末を会話端末として処理を行ってもよい。同様に、会話が終了したか否かを判断するための判断方法、会話が開始したか否かを検出するための検出方法等も変更できる。
【符号の説明】
【００８５】
１    テレビ会議端末
２    ＰＣ
３    テレビ会議システム
１０    ＣＰＵ
１３    ＨＤＤ
３４    表示装置
４１〜４４    表示領域
１３２    通信相手情報記憶エリア
１３３    会話履歴記憶エリア
【図１】
2011066730.tif 000003
【図２】
2011066730.tif 000004
【図３】
2011066730.tif 000005
【図４】
2011066730.tif 000006
【図５】
2011066730.tif 000007
【図６】
2011066730.tif 000008
【図７】
2011066730.tif 000009
【図８】
2011066730.tif 000010
【図９】
2011066730.tif 000011
【図１０】
2011066730.tif 000012
【図１１】
2011066730.tif 000013
【図１２】
2011066730.tif 000014
【図１３】
2011066730.tif 000015
【図１４】
2011066730.tif 000016