(57)【要約】      （修正有）【課題】所定量単位の入力ごとに音声データの送信をおこなうパッケージモードにより、送信先の端末装置に対して確実に音声データを送信する。【解決手段】複数のテレビ会議端末のうち、会議データの送信元となるテレビ会議端末１１０ａは、カメラ２１２ａ、マイク２１４ａによって会議データの入力を受け付け、会議データにおける音声データの送信を逐次おこなうリアルタイムモードと、所定量単位の入力ごとにおこなうパッケージモードとを、通信状況に基づいて選択し、通信Ｉ／Ｆ２０７ａによって選択されたモードで音声データの送信をおこなう。会議データの受信先となるテレビ会議端末１１０ｂは、音声Ｉ／Ｆ２０５ａによって送信された音声データを、モード毎に記憶し、スピーカ２１３ｂによって、モード毎に記憶された音声データについて、リアルタイムモードによる音声データを優先して出力する。【選択図】図３
2013207465.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して接続された複数の端末間で会議データを送受信して会議をおこなう会議システムであって、
複数の前記端末のうち、前記会議データの送信元となる送信端末は、
前記会議データの入力を受け付ける入力手段と、
前記入力手段によって入力される前記会議データにおける音声データの送信を逐次おこなうリアルタイムモードと、所定量単位の入力ごとにおこなうパッケージモードとを、前記端末間で送受信される前記会議データの通信状況に基づいて選択する選択手段と、
前記選択手段によって選択されたモードによって、複数の前記端末間で前記音声データの送信をおこなう通信制御手段と、を備え、
複数の前記端末のうち、前記会議データの受信先となる受信端末は、
前記通信制御手段によって送信された前記音声データを、前記モード毎に記憶する記憶手段と、
前記記憶手段によって前記モード毎に記憶された前記音声データについて、前記リアルタイムモードによる前記音声データを優先して出力する出力手段と、
を備えることを特徴とする会議システム。
【請求項２】
前記選択手段は、前記送信端末で前記音声データが送信前に記憶される記憶領域における前記音声データの記憶履歴から、最も古い前記音声データが所定期間よりも長く記憶されている場合、前記パッケージモードを選択することを特徴とする請求項１に記載の会議システム。
【請求項３】
前記選択手段は、複数の前記端末間で所定時間に送信される前記音声データの容量と、受信される前記音声データの容量との差分を検知し、前記差分が所定量以上であった場合、前記パッケージモードを選択することを特徴とする請求項１または２に記載の会議システム。
【請求項４】
前記選択手段は、複数の前記端末間で送受信される前記会議データのうち、前記受信端末で表示される映像データの単位時間当たりのピクチャ数が、所定数以下であった場合、前記パッケージモードを選択することを特徴とする請求項１〜３のいずれか一つに記載の会議システム。
【請求項５】
前記通信制御手段は、前記モード選択手段によって前記パッケージモードが選択された場合、前記送信端末から送信される前記会議データのうち、少なくとも、前記音声データとは異なるデータである映像データの送信を停止することを特徴とする請求項１〜４のいずれか一つに記載の会議システム。
【請求項６】
前記選択手段によって選択される前記モードに基づいて、前記送信端末で送信対象となる前記音声データの入力状態を示す画像を生成する生成手段と、
前記生成手段によって生成された前記音声データの前記入力状態を示す画像を表示する表示手段と、
をさらに含むことを特徴とする請求項１〜５のいずれか一つに記載の会議システム。
【請求項７】
前記送信端末は、前記会議の参加者の属性に関する属性情報を取得する取得手段を含み、
前記選択手段は、前記取得手段によって取得された属性情報及び前記通信状況に基づいて、前記モードを選択することを特徴とする請求項１〜６のいずれか一つに記載の会議システム。
【請求項８】
前記パッケージモードによって、複数の前記端末間で前記音声データの送受信が行われる場合、送信対象となった前記音声データの送信完了時間を検知する検知手段を含み、
前記選択手段は、前記検知手段によって前記送信完了時間が所定時間よりも短時間であった場合、前記リアルタイムモードを選択することを特徴とする請求項１〜７のいずれか一つに記載の会議システム。
【請求項９】
ネットワークを介して接続された複数の端末間で会議データを送受信して会議をおこなう会議システムであって、
複数の前記端末のうち、前記会議データの送信元となる送信端末は、
前記会議データの入力を受け付ける入力手段と、
前記入力手段によって入力される前記会議データにおける音声データの送信を逐次おこなうリアルタイムモードと、所定量単位の入力ごとにおこなうパッケージモードとから、前記音声データを送信するモードを設定するモード設定手段と、
前記モード設定手段によって設定された前記モードによって、複数の前記端末間で前記音声データの送信をおこなう通信制御手段と、を備え、
複数の前記端末のうち、前記会議データの受信先となる受信端末は、
前記通信制御手段によって送信された前記音声データを、前記モード毎に記憶する記憶手段と、
前記記憶手段によって前記モード毎に記憶された前記音声データについて、前記リアルタイムモードによる前記音声データを優先して出力する出力手段と、
を備えることを特徴とする会議システム。
【請求項１０】
ネットワークを介して接続された相手先端末との間で会議データを送受信して会議を行う端末装置であって、
送信対象となる前記会議データの入力を受け付ける入力手段と、
前記入力手段によって入力された前記会議データにおける音声データの送信を逐次おこなうリアルタイムモードと、所定量単位の入力ごとにおこなうパッケージモードとを、前記相手先端末との間で送受信される前記会議データの通信状況に基づいて選択する選択手段と、
前記選択手段によって選択されたモードによって、前記相手先端末との間で前記音声データの送信を行う通信制御手段と、
を備えることを特徴とする端末装置。
【請求項１１】
ネットワークを介して接続された相手先端末との間で会議データを送受信して会議を行う端末装置であって、
前記相手先端末から受信する前記会議データにおける音声データについて、送信が逐次おこなわれるリアルタイムモードと、所定量単位でおこなわれるパッケージモードとを示すモード情報を受信するモード受信手段と、
前記相手先端末から受信された前記音声データを、前記モード情報が示すモード毎に記憶する記憶手段と、
前記記憶手段によって前記モード毎に記憶された前記音声データについて、前記リアルタイムモードによる前記音声データを優先して出力する出力手段と、
を備えることを特徴とする端末装置。
【請求項１２】
ネットワークを介して接続された複数の端末間で会議データを送受信して会議をおこなう会議方法であって、
前記会議データの送信元となる送信端末において、前記会議データの入力を受け付ける入力工程と、
前記入力工程によって入力される前記会議データにおける音声データの送信を逐次おこなうリアルタイムモードと、所定量単位でおこなうパッケージモードとを、前記端末間で送受信される前記会議データの通信状況に基づいて選択する選択工程と、
前記選択工程によって選択されたモードによって、複数の前記端末間で前記音声データの送信をおこなう通信制御工程と、
前記通信制御工程によって送信された前記音声データを、前記会議データの受信先となる受信端末によって、前記モード毎に記憶する記憶工程と、
前記記憶工程によって前記モード毎に記憶された前記音声データについて、前記リアルタイムモードによる前記音声データを優先して出力する出力工程と、
を含むことを特徴とする会議方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ネットワークを介して接続された複数拠点の端末装置によって送受信される会議データを、各拠点の端末装置で再生することで、遠隔の拠点間で会議をおこなう会議システム、端末装置および会議方法に関する。
【背景技術】
【０００２】
テレビ会議システムは、複数の拠点間で会議をおこなう際、各拠点間で相互に映像データや音声データなどの会議データを送受信する。各拠点の端末装置は、送受信された映像データや音声データを再生する。
【０００３】
近年では、通信ネットワークの伝送状況を検出し、検出された伝送状況に応じて映像データの通信に用いる帯域と、音声データの通信に用いる帯域との配分を決定する提案がされている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平２０１０−９３５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に記載の技術では、通信ネットワークの伝送状況に応じて、映像データと音声データの帯域配分を決定した場合であっても、劣悪な伝送状況では、映像データおよび音声データともに適切な送受信がおこなわれなくなる。したがって、再生する映像データおよび音声データが途切れてしまうなどして、各拠点の参加者は、会議の内容を正確に把握することができないという問題が一例として挙げられる。
【０００６】
この発明は、上述した問題を解決するため、送信元の端末装置は、音声データを逐次送信するリアルタイムモードのほかに、音声データを所定量単位の入力ごとにおこなうパッケージモードを備え、パッケージモードが選択されることにより、送信先の端末装置に対して確実に音声データを送信することのできる会議システム、端末装置および会議方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するため、請求項１の発明の会議システムは、ネットワークを介して接続された複数の端末間で会議データを送受信して会議をおこなう会議システムであって、複数の前記端末のうち、前記会議データの送信元となる送信端末は、前記会議データの入力を受け付ける入力手段と、前記入力手段によって入力される前記会議データにおける音声データの送信を逐次おこなうリアルタイムモードと、所定量単位の入力ごとにおこなうパッケージモードとを、前記端末間で送受信される前記会議データの通信状況に基づいて選択する選択手段と、前記選択手段によって選択されたモードによって、複数の前記端末間で前記音声データの送信をおこなう通信制御手段と、を備え、複数の前記端末のうち、前記会議データの受信先となる受信端末は、前記通信制御手段によって送信された前記音声データを、前記モード毎に記憶する記憶手段と、前記記憶手段によって前記モード毎に記憶された前記音声データについて、前記リアルタイムモードによる前記音声データを優先して出力する出力手段と、を備えることを特徴とする。
【０００８】
請求項２の発明の会議システムは、上記発明において、前記選択手段は、前記送信端末で前記音声データが送信前に記憶される記憶領域における前記音声データの記憶履歴から、最も古い前記音声データが所定期間よりも長く記憶されている場合、前記パッケージモードを選択することを特徴とする。
【０００９】
請求項３の発明の会議システムは、上記発明において、前記選択手段は、複数の前記端末間で所定時間に送信される前記音声データの容量と、受信される前記音声データの容量との差分を検知し、前記差分が所定量以上であった場合、前記パッケージモードを選択することを特徴とする。
【００１０】
請求項４の発明の会議システムは、上記発明において前記選択手段は、複数の前記端末間で送受信される前記会議データのうち、前記受信端末で表示される映像データの単位時間当たりのピクチャ数が、所定数以下であった場合、前記パッケージモードを選択することを特徴とする。
【００１１】
請求項５の発明の会議システムは、上記発明において、前記通信制御手段は、前記モード選択手段によって前記パッケージモードが選択された場合、前記送信端末から送信される前記会議データのうち、少なくとも、前記音声データとは異なるデータである映像データの送信を停止することを特徴とする。
【００１２】
請求項６の発明の会議システムは、上記発明において、前記選択手段によって選択される前記モードに基づいて、前記送信端末で送信対象となる前記音声データの入力状態を示す画像を生成する生成手段と、前記生成手段によって生成された前記音声データの前記入力状態を示す画像を表示する表示手段と、をさらに含むことを特徴とする。
【００１３】
請求項７の発明の会議システムは、上記発明において、前記送信端末は、前記会議の参加者の属性に関する属性情報を取得する取得手段を含み、前記選択手段は、前記取得手段によって取得された属性情報及び前記通信状況に基づいて、前記モードを選択することを特徴とする。
【００１４】
請求項８の発明の会議システムは、上記発明において、前記パッケージモードによって、複数の前記端末間で前記音声データの送受信が行われる場合、送信対象となった前記音声データの送信完了時間を検知する検知手段を含み、前記選択手段は、前記検知手段によって前記送信完了時間が所定時間よりも短時間であった場合、前記リアルタイムモードを選択することを特徴とする。
【００１５】
請求項９の発明の会議システムは、ネットワークを介して接続された複数の端末間で会議データを送受信して会議をおこなう会議システムであって、複数の前記端末のうち、前記会議データの送信元となる送信端末は、前記会議データの入力を受け付ける入力手段と、前記入力手段によって入力される前記会議データにおける音声データの送信を逐次おこなうリアルタイムモードと、所定量単位の入力ごとにおこなうパッケージモードとから、前記音声データを送信するモードを設定するモード設定手段と、前記モード設定手段によって設定された前記モードによって、複数の前記端末間で前記音声データの送信をおこなう通信制御手段と、を備え、複数の前記端末のうち、前記会議データの受信先となる受信端末は、前記通信制御手段によって送信された前記音声データを、前記モード毎に記憶する記憶手段と、前記記憶手段によって前記モード毎に記憶された前記音声データについて、前記リアルタイムモードによる前記音声データを優先して出力する出力手段と、を備えることを特徴とする。
【００１６】
請求項１０の発明の端末装置は、ネットワークを介して接続された相手先端末との間で会議データを送受信して会議を行う端末装置であって、送信対象となる前記会議データの入力を受け付ける入力手段と、前記入力手段によって入力された前記会議データにおける音声データの送信を逐次おこなうリアルタイムモードと、所定量単位の入力ごとにおこなうパッケージモードとを、前記相手先端末との間で送受信される前記会議データの通信状況に基づいて選択する選択手段と、前記選択手段によって選択されたモードによって、前記相手先端末との間で前記音声データの送信を行う通信制御手段と、を備えることを特徴とする。
【００１７】
請求項１１の発明の端末装置は、ネットワークを介して接続された相手先端末との間で会議データを送受信して会議を行う端末装置であって、前記相手先端末から受信する前記会議データにおける音声データについて、送信が逐次おこなわれるリアルタイムモードと、所定量単位でおこなわれるパッケージモードとを示すモード情報を受信するモード受信手段と、前記相手先端末から受信された前記音声データを、前記モード情報が示すモード毎に記憶する記憶手段と、前記記憶手段によって前記モード毎に記憶された前記音声データについて、前記リアルタイムモードによる前記音声データを優先して出力する出力手段と、を備えることを特徴とする。
【００１８】
請求項１２の発明の会議方法は、ネットワークを介して接続された複数の端末間で会議データを送受信して会議をおこなう会議方法であって、前記会議データの送信元となる送信端末において、前記会議データの入力を受け付ける入力工程と、前記入力工程によって入力される前記会議データにおける音声データの送信を逐次おこなうリアルタイムモードと、所定量単位でおこなうパッケージモードとを、前記端末間で送受信される前記会議データの通信状況に基づいて選択する選択工程と、前記選択工程によって選択されたモードによって、複数の前記端末間で前記音声データの送信をおこなう通信制御工程と、前記通信制御工程によって送信された前記音声データを、前記会議データの受信先となる受信端末によって、前記モード毎に記憶する記憶工程と、前記記憶工程によって前記モード毎に記憶された前記音声データについて、前記リアルタイムモードによる前記音声データを優先して出力する出力工程と、を含むことを特徴とする。
【発明の効果】
【００１９】
請求項１に記載の発明によれば、端末間における会議データの通信状況に応じて、音声データを送信するモードをパッケージモードにすることができる。パッケージモードは、所定時間分に入力される音声データが送信完了すると次の所定時間分の音声データの入力を行なうこととなる。したがって、送信端末は受信端末に対して、通信状況が劣悪な状態でも記憶容量を超える音声データを破棄などすることなく、入力された音声データを確実に送信することができる。また、受信端末では、リアルタイムモードで送信された音声データがある場合、リアルタイムモードの音声データを優先して出力することで、会議のリアルタイム性を最大限確保するとともに、パッケージモードの音声データの出力によって、参加者に会議内容を漏れなく把握させることができる。
【００２０】
請求項２に記載の発明によれば、送信端末において、送信前に記憶される音声データに所定期間より長く記憶されている音声データがある場合、パッケージモードによる音声データの送信をおこなう。換言すれば、送信バッファの詰まり具合によって通信が滞っているかを判断して、通信が滞る場合であってもパッケージモードによって、入力された音声データを確実に送信することで、参加者に会議内容を漏れなく把握させることができる。
【００２１】
請求項３に記載の発明によれば、複数の端末間で送受信された音声データについて、所定時間において送信されたデータ量と受信されたデータ量の差分から、音声データの遅延が大きい場合、パッケージモードによる音声データの送信をおこなう。換言すれば、所定時間内に送受信される音声データのパケット遅延から通信が滞っているかを判断して、通信が滞る場合であってもパッケージモードによって、入力された音声データを確実に送信することで、参加者に会議内容を漏れなく把握させることができる。
【００２２】
請求項４に記載の発明によれば、受信端末で表示される映像データによって、通信が滞っているかを判断して、通信が滞る場合であってもパッケージモードによって、確実に音声データを送信することで、参加者に会議内容を漏れなく把握させることができる。
【００２３】
請求項５に記載の発明によれば、パッケージモードによって音声データが送信される場合、映像データの送信を停止する。したがって、映像データの送信の負荷を負うことなく、音声データを確実かつ迅速に送信することで、参加者に会議内容を漏れなく把握させることができる。
【００２４】
請求項６に記載の発明によれば、音声データの入力状態を示す画像を表示することができるため、参加者に、パッケージモードによる音声データの送信がされていることを把握させることができる。
【００２５】
請求項７に記載の発明によれば、参加者の属性に応じてリアルタイムモードとパッケージモードとを選択することができる。したがって、必要な参加者の音声データをより確実に送信して、適切な会議をおこなわせることができる。
【００２６】
請求項８に記載の発明によれば、送信対象となった音声データの送信完了時間を検知して、所定時間よりも短時間である場合、通信状況が改善したと判断してリアルタイムモードで音声データを送信することができる。したがって、会議のリアルタイム性を最大限確保することができる。
【００２７】
請求項９に記載の発明によれば、端末間における音声データを送信するモードをパッケージモードにすることができる。パッケージモードは、所定時間分に入力される音声データが送信完了すると次の所定時間分の音声データの入力を行なうこととなる。したがって、送信端末は受信端末に対して、通信状況が劣悪な状態でも記憶容量を超える音声データを破棄などすることなく、入力された音声データを確実に送信することができる。また、受信端末では、リアルタイムモードで送信された音声データがある場合、リアルタイムモードの音声データを優先して出力することで、会議のリアルタイム性を最大限確保するとともに、パッケージモードの音声データの出力によって、参加者に会議内容を漏れなく把握させることができる。
【００２８】
請求項１０に記載の発明によれば、端末間における会議データの通信状況に応じて、音声データを送信するモードをパッケージモードにすることができる。したがって、送信端末は入力された音声データを受信端末に対して確実に送信することができる。
【００２９】
請求項１１に記載の発明によれば、受信された音声データがリアルタイムモードで送信されたデータか、パッケージモードで送信されたデータかを示すモード情報によって、リアルタイムモードの音声データを優先して出力することができる。したがって、会議のリアルタイム性を最大限確保するとともに、パッケージモードの音声データの出力によって、参加者に会議内容を漏れなく把握させることができる。
【００３０】
請求項１２に記載の発明によれば、端末間における会議データの通信状況に応じて、音声データを送信するモードをパッケージモードにすることができる。したがって、送信端末は受信端末に対して音声データを確実に送信することができる。また、受信端末では、リアルタイムモードで送信された音声データがある場合、リアルタイムモードの音声データを優先して出力することで、会議のリアルタイム性を最大限確保するとともに、パッケージモードの音声データの出力によって、参加者に会議内容を漏れなく把握させることができる。
【００３１】
以上説明したように、本発明にかかる会議システム、端末装置および会議方法によれば、会議のリアルタイム性を最大限確保しつつ、パッケージモードによって、送信先の端末装置に対して確実に音声データを送信することができるため、参加者に会議内容を確実に把握させ、適切な会議を実行させることができるという効果を奏する。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態のテレビ会議システムの一例を示す説明図である。
【図２】本発明の実施形態のテレビ会議端末のハード構成の一例を示す説明図である。
【図３】本発明のテレビ会議システムにおける映像データおよび音声データの送受信の一例を示す説明図である。
【図４】本発明の実施形態におけるリアルタイムモード用の音声データの一例を示す説明図である。
【図５】本発明の実施形態におけるパッケージモード用の音声データの一例を示す説明図である。
【図６】本発明の実施形態における会議データの送信元のテレビ端末の処理の内容を示すフローチャートである。
【図７】本発明の実施形態における会議データの受信先のテレビ端末の処理の内容を示すフローチャートである。
【図８】本発明の変形例の参加者の属性と通信状況の判断基準の一例を示す説明図である。
【図９】本発明の変形例の送信元のテレビ会議端末のディスプレイの表示の一例を示す説明図である。
【図１０】本発明の変形例の受信先のテレビ会議端末のディスプレイの表示の一例を示す説明図である。
【発明を実施するための形態】
【００３３】
以下に添付図面を参照して、この発明にかかる会議システム、端末装置および会議方法の好適な実施の形態を詳細に説明する。
【００３４】
（実施形態）
（全体構成）
図１〜図３を用いて、本発明の実施形態の端末装置を、複数拠点でテレビ会議をおこなうテレビ会議システムに用いるテレビ会議端末に適用した場合について説明する。図１は、本発明の実施形態のテレビ会議システムの一例を示す説明図である。なお、本実施形態では、各拠点Ａ，Ｂ，Ｃに設置されたテレビ会議端末１１０（１１０ａ，１１０ｂ，１１０ｃ）によって、本発明の送信端末、受信端末、端末装置を実現し、ネットワーク１５０を介して複数のテレビ会議端末１１０が接続されたテレビ会議システム１００によって、本発明にかかる会議システムを実現する場合について説明する。
【００３５】
図１において、テレビ会議システム１００は、各拠点Ａ，Ｂ，Ｃに設置されたテレビ会議端末１１０ａ，１１０ｂ，１１０ｃと、管理サーバ１５０とがネットワークＮＷを介して接続されて構成されている。テレビ会議システム１００は、地理的に離れた各拠点Ａ，Ｂ，Ｃに設置されたテレビ会議端末１１０ａ，１１０ｂ，１１０ｃ、管理サーバ１５０がインターネットなどのネットワークＮＷを介して接続されたり、建物内の離れた各拠点Ａ，Ｂ，Ｃに設置されたテレビ会議端末１１０ａ，１１０ｂ，１１０ｃ、管理サーバ１５０がＬＡＮ（ローカルエリアネットワーク）などのネットワークＮＷを介して接続されたりしている。また、ネットワークＮＷは、公衆電話回線網などであってもよい。
【００３６】
以降の説明では、各拠点の区別をしない場合、符号の末尾の記号である「ａ」，「ｂ」，「ｃ」を省略して説明する。なお、本実施形態では、テレビ会議端末１１０ａ，１１０ｂ，１１０ｃは、管理サーバ１５０を介してテレビ会議をおこなう構成として説明するが、Ｐ２Ｐ（ｐｅｅｒ  ｔｏ  ｐｅｅｒ）通信によって接続され、テレビ会議をおこなうこととしてもよい。
【００３７】
テレビ会議システム１００は、各拠点Ａ，Ｂ，Ｃでテレビ会議に参加する参加者Ａ，Ｂ，Ｃの映像データや音声データを会議データとしてテレビ会議端末１１０によって送受信させる。具体的には、テレビ会議端末１１０は、カメラ２１２やマイク２１４によって自拠点における参加者の映像や音声を取得する。テレビ会議端末１１０は、取得した自拠点の参加者の映像や音声から送信対象となる映像データや音声データを生成し、ネットワークＮＷ、管理サーバ１５０を介して他拠点のテレビ会議端末１１０に送信する。
【００３８】
テレビ会議端末１１０は、他拠点のテレビ会議端末１１０から送信される参加者の映像データや音声データをネットワークＮＷ、管理サーバ１５０を介して受信する。テレビ会議端末１１０は、受信した各データから他拠点の参加者の映像データや音声データ、自拠点の映像データや音声データを、ディスプレイ２１１やスピーカ２１３によって再生する。
【００３９】
すなわち、テレビ会議端末１１０は、自拠点と他拠点で相互に送受信される参加者の映像データや音声データを再生する。各拠点の参加者は、自拠点のテレビ会議端末１１０によって再生される映像データや音声データを視聴することで、遠隔に位置する参加者同士でテレビ会議をおこなう。
【００４０】
（ハード的構成）
図２を用いて、本発明の実施形態のテレビ会議端末１１０のハード的構成について説明する。図２は、本発明の実施形態のテレビ会議端末のハード的構成の一例を示す説明図である。
【００４１】
図２において、テレビ会議端末１１０は、ＣＰＵ（セントラルプロセッシングユニット）２０１と、ＲＡＭ（ランダムアクセスメモリ）２０２と、ＲＯＭ（リードオンリーメモリ）２０３と、ディスプレイ２１１やカメラ２１２に対して各種映像データの入出力を制御する映像Ｉ／Ｆ２０４と、スピーカ２１３やマイク２１４に対して各種音声データの入出力を制御する音声Ｉ／Ｆ２０５と、各種情報の入力を受け付ける操作部２０６と、外部機器との通信を制御する通信Ｉ／Ｆ２０７と、各種情報を記憶する記憶媒体２０８とを備えている。また、テレビ会議端末１１０の各構成部は、バス２００によってそれぞれ接続されている。また、詳細は後述するが、映像Ｉ／Ｆ２０４は、映像データの送受信をおこなうため、エンコーダ３１０と、映像用送信バッファ３１１と、デコーダ３６０と、映像用受信バッファ３６１とを備えている。音声Ｉ／Ｆ２０５は、音声データの送受信を行うため、エンコーダ３２０と、リアルタイムモード用送信バッファ３２１と、パッケージモード用送信バッファ３２２と、デコーダ３７０と、リアルタイムモード用受信バッファ３７１と、パッケージモード用受信バッファ３７２とを備えている。通信Ｉ／Ｆ２０７は、送信バッファ３３０，３８０と、受信バッファ３４０，３９０とを備えている。
【００４２】
ＣＰＵ２０１は、テレビ会議端末１１０全体の制御をおこなう。ＣＰＵ２０１は、ＲＡＭ２０２をワークエリアとして、ＲＯＭ２０３から読み込まれる各種プログラムを実行する。
【００４３】
映像Ｉ／Ｆ２０４は、ＣＰＵ２０１の制御にしたがって、ディスプレイ２１１に各種情報を表示させる。映像Ｉ／Ｆ２０４は、たとえば、カメラ２１２によって撮像された自拠点の映像データや、他拠点のテレビ会議端末１１０から受信された映像データをデコードしてディスプレイ２１１に表示させる。また、映像Ｉ／Ｆ２０４は、ＣＰＵ２０１の制御にしたがって、テレビ会議に用いる資料画像やテレビ会議の処理画像をディスプレイ２１１に表示させる。
【００４４】
映像Ｉ／Ｆ２０４は、ＣＰＵ２０１の制御にしたがって、カメラ２１２によって自拠点の参加者を撮像する。映像Ｉ／Ｆ２０４は、ＣＰＵ２０１の制御にしたがって、カメラ２１２によって撮像された参加者の映像データを後述する映像用送信バッファ３１１に出力する。
【００４５】
音声Ｉ／Ｆ２０５は、ＣＰＵ２０１の制御にしたがって、スピーカ２１３に各種音声を出力させる。音声Ｉ／Ｆ２０５は、他拠点のテレビ会議端末１１０から受信された音声データをデコードしてスピーカ２１３に出力させる。また、音声Ｉ／Ｆ２０５は、ＰＵ２０１の制御にしたがって、他拠点とのテレビ会議に関する案内音声などをスピーカ２１３に出力させる。
【００４６】
音声Ｉ／Ｆ２０５は、ＣＰＵ２０１の制御にしたがって、マイク２１４によって自拠点の参加者の音声を集音する。音声Ｉ／Ｆ２０５は、ＣＰＵ２０１の制御にしたがって、マイク２１４によって集音された参加者の音声データを後述するリアルタイムモード用送信バッファ３２１またはパッケージモード用送信バッファ３２２に出力する。
【００４７】
操作部２０６は、参加者などから各種情報の入力を受け付ける。操作部２０６は、マウスやタッチパネルや操作ボタンなどによって構成され、テレビ会議に関する情報や後述する送信モードの選択などの入力を受け付けて、入力された信号をＣＰＵ２０１へ出力する。
【００４８】
通信Ｉ／Ｆ２０７は、通信回線を通じてインターネットなどのネットワークＮＷに接続され、このネットワークＮＷを介して他のテレビ会議端末１１０やその他外部機器に接続される。通信Ｉ／Ｆ２０７は、ネットワークＮＷとテレビ会議端末１１０内部のインターフェースをつかさどり、外部機器に対するデータの入出力を制御する。通信Ｉ／Ｆ２０７には、たとえば、モデムやＬＡＮアダプタなどを採用することができる。
【００４９】
通信Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御にしたがって、自拠点の映像データや音声データを、他拠点のテレビ会議端末１１０へネットワークＮＷを介して送信する。通信Ｉ／Ｆ２０７は、ＣＰＵ２０１の制御にしたがって、映像データや音声データをネットワークＮＷ、管理サーバ１５０を介して送信する。
【００５０】
記憶媒体２０８は、ＨＤ（ハードディスク）や着脱可能な記録媒体の一例としてのＦＤ（フレキシブルディスク）などである。記憶媒体２０８は、それぞれのドライブデバイスを有し、ＣＰＵ２０１の制御にしたがって各種データが記録される。また、記憶媒体２０８からは、それぞれのドライブデバイスの制御にしたがってデータが読み取られる。
【００５１】
ここで、図３を用いて、本発明のテレビ会議システム１００における映像データおよび音声データの送受信の概要について説明する。図３は、本発明のテレビ会議システムにおける映像データおよび音声データの送受信の一例を示す説明図である。図３の説明では、テレビ会議端末１１０ａからテレビ会議端末１１０ｂへ、会議データである映像データや音声データが送信される場合について説明する。なお、会議データの送信元となる送信端末であるテレビ会議端末１１０ａは、送信に関する機能、会議データの受信先となる受信端末であるテレビ会議端末１１０ｂは、受信に関する機能を抽出して説明する。また、図３の説明では、図１に示した管理サーバ１５０の図示は省略し、ネットワークＮＷを介して会議データが送受信されることとして説明する。
【００５２】
図３において、テレビ会議端末１１０ａは、ＣＰＵ２０１ａの制御にしたがって、カメラ２１２ａによって撮像された映像を、映像Ｉ／Ｆ２０４ａのエンコーダ３１０に出力させる。エンコーダ３１０は、入力された映像をテレビ会議端末１１０ｂへ送信するため映像データにエンコードし、映像用送信バッファ３１１に出力する。映像Ｉ／Ｆ２０４ａは、ＣＰＵ２０１ａの制御にしたがって、映像用送信バッファ３１１に記憶された映像データを、通信Ｉ／Ｆ２０７ａの送信バッファ３３０に出力する。
【００５３】
テレビ会議端末１１０ａは、ＣＰＵ２０１ａの制御にしたがって、マイク２１４ａによって集音された音声を、音声Ｉ／Ｆ２０５ａのエンコーダ３２０に出力させる。エンコーダ３２０は、入力された音声をテレビ会議端末１１０ｂへ送信するため音声データにエンコードし、リアルタイムモード用送信バッファ３２１またはパッケージモード用送信バッファ３２２に出力する。
【００５４】
テレビ会議端末１１０ａのリアルタイムモード用送信バッファ３２１は、送信モードがリアルタイムモードに選択された場合における音声データを保持するバッファである。リアルタイムモードは、たとえば、マイク２１４ａから入力された音声を２０ｍｓｅｃ程度の音声データとして逐次送信する送信モードである。
【００５５】
リアルタイムモードでは、通信Ｉ／Ｆ２０７ａから受信先のテレビ会議端末１１０ｂへの音声データの送信が完了したか否かに関わらず、マイク２１４ａによって入力された音声がエンコーダ３２０によってエンコードされる。エンコードされた音声データは、逐次リアルタイムモード用送信バッファ３２１、送信バッファ３３０に保持され、通信Ｉ／Ｆ２０７ａから受信先のテレビ会議端末１１０ｂへ送信される。
【００５６】
テレビ会議端末１１０ａのパッケージモード用送信バッファ３２２は、送信モードがパッケージモードに選択された場合における音声データを保持するバッファである。パッケージモードは、たとえば、マイク２１４ａから入力された音声を１０ｓｅｃ程度の音声データとしてから送信する送信モードである。
【００５７】
パッケージモードでは、通信Ｉ／Ｆ２０７ａから受信先のテレビ会議端末１１０ｂへの音声データの送信が完了した後、マイク２１４ａによってあらたに入力された音声がエンコーダ３２０によってエンコードされることとなる。エンコードされた音声データは、パッケージモード用送信バッファ３２２、送信バッファ３３０に保持され、通信Ｉ／Ｆ２０７ａから受信先のテレビ会議端末１１０ｂへ送信される。換言すれば、パッケージモードでは、所定量単位の入力である音声データの送信が完了してから、つぎの音声の入力を有効とする構成となる。
【００５８】
なお、本実施形態では、パッケージモードで音声データを送信する場合、映像データの送信を停止することとして説明する。パッケージモードの際、映像データの送信を停止することで、パッケージモードの音声データを確実に送信することができる。
【００５９】
ここで、図４および図５を用いて、リアルタイムモード用の音声データと、パッケージモード用の音声データについて説明する。図４は、本発明の実施形態におけるリアルタイムモード用の音声データの一例を示す説明図である。図５は、本発明の実施形態におけるパッケージモード用の音声データの一例を示す説明図である。
【００６０】
図４において、リアルタイムモード用の音声データ４００は、送信元の端末装置の識別情報４０１と、データ種別４０２と、モード種別４０３と、データ容量を示すデータ長４０４と、リアルタイムモード用の音声データ４０５と、から構成される。具体的には、たとえば、識別情報４０１はテレビ会議端末１００ａのＩＤ、データ種別４０２は音声、モード種別４０３はリアルタイムモード、データ長４０４は約２０ｍｓｅｃの音声である５０バイト程度となる。
【００６１】
図５において、パッケージモード用の音声データ５００は、送信元の端末装置の識別情報５０１と、データ種別５０２と、モード種別５０３と、データ容量を示すデータ長５０４と、パッケージモード用の音声データ５０５と、から構成される。具体的には、たとえば、識別情報５０１はテレビ会議端末１１０ａのＩＤ、データ種別５０２は音声、モード種別５０３はパッケージモード、データ長５０４は約１０ｓｅｃの音声である２５ｋバイト程度となる。
【００６２】
図３に戻って、送信モードの選択について説明する。送信モードの選択は、ＣＰＵ２０１ａによっておこなわれる。具体的には、送信モードは、後述する操作部２０６の参加者による操作入力を受け付けると、操作入力にしたがってＣＰＵ２０１によって送信モードの設定がおこなわれる。ＣＰＵ２０１は、設定した送信モードに基づいて音声Ｉ／Ｆ２０５、通信Ｉ／Ｆ２０７の制御をおこない、後述する音声データの送受信を実行する。このようにすることで、参加者にとって必要な場合、確実に音声データ５００を送信することができる。
【００６３】
また、送信モードは、リアルタイムモードで送信される場合の送信バッファ３３０に保持されている音声データが所定期間よりも長く保持されていると判断された場合、パッケージモードがＣＰＵ２０１ａによって選択されることとしてもよい。換言すれば、送信バッファの詰まり具合として、送信バッファ３３０に保持される音声データ４００の容量が所定量以上（たとえば、２５００バイト以上）とＣＰＵ２０１ａが判断した場合にパッケージモードを選択してもよい。このようにすることで、通信状況が悪く、音声データ４００の送信が進まない状況であっても、音声データ５００を確実に送信することができる。
【００６４】
また、送信モードは、所定時間で通信Ｉ／Ｆ２０７ａから送信された音声データ４００の容量と、通信Ｉ／Ｆ２０７ｂによって受信された音声データ４００の容量の差分が、所定量以上となったと判断された場合にパッケージモードがＣＰＵ２０１ａによって選択されることとしてもよい。換言すれば、所定時間における音声データ４００の受信量をテレビ会議端末１１０ｂから取得して、所定時間で送信した音声データ４００に対する送信遅延が大きいとＣＰＵ２０１ａが判断した場合にパッケージモードを選択する。このようにすることで、通信状況が悪く、音声データ４００の送信遅延が大きくなってしまうことにより、連続した再生が困難な状況であっても、音声データ５００を確実に送信することができる。
【００６５】
また、送信モードは、ＣＰＵ２０１ａによって受信先のテレビ会議端末１１０ｂにおける映像データの再生状況に応じて選択されることとしてもよい。具体的には、テレビ会議端末１１０ａは、テレビ会議端末１１０ｂのデコーダ３６０によって所定時間に再生された映像データのピクチャ数を取得する。ＣＰＵ２０１ａは、取得されたピクチャ数が所定数（たとえば、１秒あたり０．２枚のフレームである０．２ｆｐｓ）以下と判断した場合、パッケージモードを選択する。このようにすることで、映像データによって通信状況を判断して、通信状況が悪い状況であっても音声データ５００を確実に送信することができる。
【００６６】
なお、上述した例では、参加者の操作入力、送信バッファの詰まり具合、送信遅延、映像の再生状況によって、送信モードを選択する構成としたが、少なくともいずれか一つ以上の組み合わせであったり、その他、通信状況を検出する手段によって送信モードを選択する構成とすればよい。
【００６７】
テレビ会議端末１１０ａの通信Ｉ／Ｆ２０７ａは、ＣＰＵ２０１ａによって選択や設定された送信モードに応じて、送信バッファ３３０に保持されている映像データまたは音声データ４００または５００を、ネットワークＮＷを介してテレビ会議端末１１０ｂへ送信する。具体的には、送信モードはＣＰＵ２０１ａによって一時記憶され、通信Ｉ／Ｆ２０７ａは、一時保持されている送信モードによってリアルタイムモードが選択されている場合、映像データと、リアルタイムモード用の音声データ４００とをテレビ会議端末１１０ｂへ送信する。また、通信Ｉ／Ｆ２０７ａは、パッケージモードが選択されている場合、パッケージモード用の音声データ５００とをテレビ会議端末１１０ｂへ送信する。パッケージモードで音声データ５００が送信される場合、音声データ５００の送信が完了してから、映像データの送信が再開される。
【００６８】
テレビ会議端末１１０ａの受信バッファ３４０は、テレビ会議端末１１０ｂから、所定時間で受信された音声データ４００の容量に関する情報や、所定時間に再生された映像データのピクチャ数に関する情報を受信する。受信バッファ３４０は、ＣＰＵ２０１ａの制御にしたがって、音声データ４００の容量に関する情報やピクチャ数に関する情報をエンコーダ３２０へ出力する。エンコーダ３２０は、ＣＰＵ２０１ａの制御にしたがって、音声データ４００の容量に関する情報やピクチャ数に関する情報に基づいて選択される送信モードに応じて、音声データ４００または５００のエンコードをおこなう。
【００６９】
テレビ会議端末１１０ｂは、ＣＰＵ２０１ｂの制御にしたがって、ネットワークＮＷを介してテレビ会議端末１１０ａから受信された映像データまたは音声データ４００または５００の再生をおこなう。テレビ会議端末１１０ｂは、通信Ｉ／Ｆ２０５ｂによって受信された映像データまたは音声データ４００または５００を受信バッファ３９０に保持する。通信Ｉ／Ｆ２０５ｂは、ＣＰＵ２０１ｂの制御にしたがって、受信バッファ３９０に保持されたデータの種別に応じて、音声Ｉ／Ｆ２０５ｂのリアルタイムモード用受信バッファ３７１、パッケージモード用受信バッファ３７２、映像Ｉ／Ｆ２０４ｂの映像用受信バッファ３６１へデータを出力する。
【００７０】
テレビ会議端末１１０ｂのリアルタイムモード用受信バッファ３７１は、リアルタイムモード用の音声データ４００を保持する。リアルタイムモード用受信バッファ３７１は、リアルタイムモード用の音声データ４００が所定量（たとえば、１００ｍｓｅｃ程度）保持される毎にデコーダ３７０へ出力する。
【００７１】
テレビ会議端末１１０ｂのパッケージモード用受信バッファ３７２は、パッケージモード用の音声データ５００を保持する。パッケージモード用受信バッファ３７２は、音声データ５００のデータ長５０４に基づいて、音声データ５００の保持が完了すると、リアルタイムモード用受信バッファ３７１に、音声データ４００が残存していない場合、音声データ５００をデコーダ３７０へ出力する。
【００７２】
テレビ会議端末１１０ｂのデコーダ３７０は、リアルタイムモード用受信バッファ３７１またはパッケージモード用受信バッファ３７２から入力された音声データ４００または５００をデコードして、スピーカ２１３ｂによって再生させる。具体的には、デコーダ３７０は、リアルタイムモード用の音声データ４００のデコードが完了している場合、パッケージモード用の音声データ５００がそろっていたら音声データ５００のデコードをおこなうこととなる。このようにすることで、音声データ４００の再生におけるリアルタイム性を確保しつつ、音声データ５００の再生を確実におこなうことができる。
【００７３】
テレビ会議端末１１０ｂの映像用受信バッファ３６１は、映像データを保持する。映像用受信バッファ３６１は、保持された映像データをデコーダ３７０へ出力する。デコーダ３６０は、映像用受信バッファ３６１から入力された映像データをデコードして、ディスプレイ２１１ｂによって再生させる。デコーダ３６０は、ディスプレイ２１１ｂによる映像データの再生の際、所定時間に再生された映像データのピクチャ数を送信バッファ３８０に出力する。
【００７４】
テレビ会議端末１１０ｂの送信バッファ３８０は、ネットワークＮＷを介して、テレビ会議端末１１０ａへ所定時間に再生された映像データのピクチャ数に関する情報や、所定時間における音声データ４００の受信量に関する情報を送信する。
【００７５】
なお、図３の例では、映像Ｉ／Ｆ２０４、音声Ｉ／Ｆ２０５、通信Ｉ／Ｆ２０７にそれぞれデータを一時保持可能なバッファを設けることとして説明したが、記憶媒体２０８をバッファとして利用する構成でもよい。
【００７６】
なお、各構成要素と、各機能を対応付けて説明すると、図２に示した映像Ｉ／Ｆ２０４、音声Ｉ／Ｆ２０５によって、本発明の入力手段の機能を実現する。ＣＰＵ２０１、音声Ｉ／Ｆ２０５、操作部２０６、通信Ｉ／Ｆ２０７によって、本発明の選択手段、モード設定手段の機能を実現する。ＣＰＵ２０１、通信Ｉ／Ｆ２０７によって、本発明の通信制御手段の機能を実現する。ＣＰＵ２０１、音声Ｉ／Ｆ２０５によって、本発明の記憶手段の機能を実現する。ＣＰＵ２０１、音声Ｉ／Ｆ２０５によって、本発明の出力手段の機能を実現する。
【００７７】
（テレビ会議システム１００の処理の内容）
図６および図７を用いて、本発明の実施形態のテレビ会議システム１００の処理の内容について説明する。図６は、本発明の実施形態における会議データの送信元のテレビ会議端末の処理の内容を示すフローチャートである。なお、図６のフローチャートでは、送信元としてテレビ会議端末１１０ａの処理について説明する。
【００７８】
図６のフローチャートにおいて、まず、ＣＰＵ２０１ａは、テレビ会議が開始されたか否かを判断する（ステップＳ６０１）。テレビ会議の開始は、たとえば、参加者による操作部２０６の操作に基づいて、通信Ｉ／Ｆ２０ａ７を介して他のテレビ会議端末１１０ｂに対して接続要求をおこなう。通信Ｉ／Ｆ２０７を介して他のテレビ会議端末１１０ｂから応答を受信することによって判断される。
【００７９】
ステップＳ６０１において、テレビ会議が開始されるのを待って、開始された場合（ステップＳ６０１：Ｙｅｓ）は、ＣＰＵ２０１ａは、カメラ２１２ａやマイク２１４ａから入力された映像データや音声データのうち、音声データをパッケージモードで送信するか否かを判断する（ステップＳ６０２）。具体的には、たとえば、ＣＰＵ２０１ａは、参加者による操作部２０６ａの操作入力を受け付けて、パッケージモードが選択された場合や、通信状況が悪い場合、音声データをパッケージモードで送信すると判断する。
【００８０】
ステップＳ６０２において、パッケージモードで送信しないと判断された場合（ステップＳ６０２：Ｎｏ）は、ＣＰＵ２０１ａは、音声データの送信モードをリアルタイムモードに設定する（ステップＳ６０９）。リアルタイムモードは、たとえば、マイク２１４ａから入力された音声を２０ｍｓｅｃ程度の音声データとして逐次送信する送信モードである。
【００８１】
ＣＰＵ２０１ａは、映像Ｉ／Ｆ２０４ａ、音声Ｉ／Ｆ２０５ａおよび通信Ｉ／Ｆ２０７ａを制御して、ステップＳ６０１において接続された他のテレビ会議端末１１０ｂに対して、カメラ２１２ａやマイク２１４ａから入力された映像データや音声データをリアルタイムモードで送信する（ステップＳ６１０）。
【００８２】
ＣＰＵ２０１ａは、テレビ会議が終了されたか否かを判断する（ステップＳ６０８）。テレビ会議の終了は、たとえば、参加者による操作部２０６ａの操作による指示や、通信Ｉ／Ｆ２０７ａを介して受信される他のテレビ会議端末１１０ｂからの指示などに基づいておこなわれる。
【００８３】
ステップＳ６０８において、テレビ会議が終了されない場合（ステップＳ６０８：Ｎｏ）は、ステップＳ６０２へ戻って処理を繰り返す。ステップＳ６０８において、テレビ会議が終了された場合（ステップＳ６０８：Ｙｅｓ）は、そのまま一連の処理を終了する。
【００８４】
ステップＳ６０２において、パッケージモードで送信すると判断された場合（ステップＳ６０２：Ｙｅｓ）は、ＣＰＵ２０１ａは、音声データの送信モードをパッケージモードに設定する（ステップＳ６０３）。パッケージモードは、たとえば、マイク２１４ａから入力された音声を１０ｓｅｃ程度の音声データとしてから送信する送信モードである。
【００８５】
ＣＰＵ２０１ａは、映像Ｉ／Ｆ２０４ａおよび通信Ｉ／Ｆ２０７ａを制御して、ステップＳ６０１において接続された他のテレビ会議端末１１０ｂに対して、カメラ２１２ａに入力された映像データの送信を停止する（ステップＳ６０４）。映像データの送信を停止することで、映像データの送信負荷を低減し、パッケージモードの音声データの送信を確実におこなうことができる。また、パッケージモードの音声データとの同期を図ることもできる。
【００８６】
ＣＰＵ２０１ａは、音声Ｉ／Ｆ２０５ａを制御して、マイク２１４ａから入力される音声を所定量録音する（ステップＳ６０５）。具体的には、ＣＰＵ２０１ａは、音声Ｉ／Ｆ２０５ａを制御して、マイク２１４ａから入力された音声の録音処理として、１０ｓｅｃ程度の音声データをパッケージモード用送信バッファ３２２に保持させる。
【００８７】
所定量の録音が終了すると、ＣＰＵ２０１ａは、音声Ｉ／Ｆ２０５ａおよび通信Ｉ／Ｆ２０７ａを制御して、ステップＳ６０１において接続された他のテレビ会議端末１１０ｂに対して、ステップＳ６０５において保持された音声データをパッケージモードで送信する（ステップＳ６０６）。
【００８８】
ステップＳ６０６において、パッケージモードによる所定量の音声データの送信が完了すると、ＣＰＵ２０１ａは、映像Ｉ／Ｆ２０４ａおよび通信Ｉ／Ｆ２０７ａを制御して、ステップＳ６０１において接続された他のテレビ会議端末１１０ｂに対して、カメラ２１２ａに入力された映像データの送信を再開する（ステップＳ６０７）。
【００８９】
ＣＰＵ２０１ａは、テレビ会議が終了されたか否かを判断する（ステップＳ６０８）。テレビ会議の終了は、たとえば、参加者による操作部２０６ａの操作による指示や、通信Ｉ／Ｆ２０７ａを介して受信される他のテレビ会議端末１１０ｂからの指示などに基づいておこなわれる。
【００９０】
ステップＳ６０８において、テレビ会議が終了されない場合（ステップＳ６０８：Ｎｏ）は、ステップＳ６０２へ戻って処理を繰り返す。ステップＳ６０８において、テレビ会議が終了された場合（ステップＳ６０８：Ｙｅｓ）は、そのまま一連の処理を終了する。
【００９１】
図７は、本発明の実施形態における会議データの受信先のテレビ会議端末の処理の内容を示すフローチャートである。なお、図７のフローチャートでは、会議データである映像データおよび音声データのうち、映像データについては、受信された映像データから順に再生することとし、特に音声データの受信および再生処理について説明する。なお、図７のフローチャートでは、受信先としてテレビ会議端末１１０ｂの処理について説明する。
【００９２】
図７のフローチャートにおいて、まず、ＣＰＵ２０１ｂは、テレビ会議が開始されたか否かを判断する（ステップＳ７０１）。テレビ会議の開始は、たとえば、参加者による操作部２０６ｂの操作に基づいて、通信Ｉ／Ｆ２０７ｂを介して他のテレビ会議端末１１０ａに対して接続要求をおこなう。通信Ｉ／Ｆ２０７ｂを介して他のテレビ会議端末１１０ａから応答を受信することによって判断される。
【００９３】
ステップＳ７０１において、テレビ会議が開始されるのを待って、開始された場合（ステップＳ７０１：Ｙｅｓ）は、ＣＰＵ２０１ｂは、ステップＳ７０１において接続された他のテレビ会議端末１１０ａから音声データを受信したか否かを判断する（ステップＳ７０２）。
【００９４】
ステップＳ７０２において、音声データを受信していない場合（ステップＳ７０２：Ｎｏ）は、ＣＰＵ２０１ｂは、テレビ会議が終了されたか否かを判断する（ステップＳ７０６）。テレビ会議の終了は、たとえば、参加者による操作部２０６ｂの操作による指示や、通信Ｉ／Ｆ２０７ｂを介して受信される他のテレビ会議端末１１０ａからの指示などに基づいておこなわれる。
【００９５】
ステップＳ７０６において、テレビ会議が終了されない場合（ステップＳ７０６：Ｎｏ）は、ステップＳ７０２へ戻って処理を繰り返す。ステップＳ７０６において、テレビ会議が終了された場合（ステップＳ７０６：Ｙｅｓ）は、そのまま一連の処理を終了する。
【００９６】
ステップＳ７０２において、音声データを受信している場合（ステップＳ７０２：Ｙｅｓ）は、ＣＰＵ２０１は、通信Ｉ／Ｆ２０７ｂを制御して、受信バッファ３９０に音声データを記憶する（ステップＳ７０３）。具体的には、ＣＰＵ２０１ｂは、ステップＳ７０２において受信された音声データのモード種別に基づいて、音声データを受信バッファ３９０から、リアルタイムモード用受信バッファ３７１またはパッケージモード用受信バッファ３７２へ出力し、保持させる。
【００９７】
ＣＰＵ２０１は、ステップＳ７０３において記憶された音声データのうち、リアルタイムモードで送信された音声データがあるか否かを判断する（ステップＳ７０４）。具体的には、ＣＰＵ２０１ｂは、リアルタイムモード用受信バッファ３７１に、音声データが保持されている場合、リアルタイムモードで送信された音声データがあると判断する。
【００９８】
ステップＳ７０４において、リアルタイムモードで送信された音声データがある場合（ステップＳ７０４：Ｙｅｓ）は、ＣＰＵ２０１ｂは、音声Ｉ／Ｆ２０５ｂを制御して、リアルタイムモード用受信バッファ３７１に保持された音声データをデコーダ３７０でデコードして、スピーカ２１３ｂによって再生させる（ステップＳ７０５）。
【００９９】
音声データを再生すると、ＣＰＵ２０１ｂは、テレビ会議が終了されたか否かを判断する（ステップＳ７０６）。テレビ会議の終了は、たとえば、参加者による操作部２０６ｂの操作による指示や、通信Ｉ／Ｆ２０７ｂを介して受信される他のテレビ会議端末１１０ａからの指示などに基づいておこなわれる。
【０１００】
ステップＳ７０６において、テレビ会議が終了されない場合（ステップＳ７０６：Ｎｏ）は、ステップＳ７０２へ戻って処理を繰り返す。ステップＳ７０６において、テレビ会議が終了された場合（ステップＳ７０６：Ｙｅｓ）は、そのまま一連の処理を終了する。
【０１０１】
ステップＳ７０４において、リアルタイムモードで送信された音声データがない場合（ステップＳ７０４：Ｎｏ）は、ＣＰＵ２０１ｂは、パッケージモードで送信された音声データがそろっているか否かを判断する（ステップＳ７０７）。具体的には、ＣＰＵ２０１ｂは、パッケージモード用受信バッファ３７２音声データの保持が完了しているか否かを判断する。
【０１０２】
ステップＳ７０７において、パッケージモードで送信された音声データがそろっていない場合（ステップＳ７０７：Ｎｏ）は、ステップＳ７０６へ移行し、パッケージモードで送信された音声データがそろっている場合（ステップＳ７０７：Ｙｅｓ）は、ＣＰＵ２０１ｂは、音声Ｉ／Ｆ２０５ｂを制御して、パッケージモード用受信バッファ３７２に保持された音声データをデコーダ３７０でデコードして、スピーカ２１３ｂによって再生させる（ステップＳ７０５）。このように、パッケージモードによる音声データは、リアルタイム性を保持しない代わりに確実に音声を再生することができる。換言すれば、遅れて再生される可能性があるものの、正確な音声を再生するという効果を奏する。
【０１０３】
音声データを再生すると、ＣＰＵ２０１ｂは、テレビ会議が終了されたか否かを判断する（ステップＳ７０６）。テレビ会議の終了は、たとえば、参加者による操作部２０６ｂの操作による指示や、通信Ｉ／Ｆ２０７ｂを介して受信される他のテレビ会議端末１１０からの指示などに基づいておこなわれる。
【０１０４】
ステップＳ７０６において、テレビ会議が終了されない場合（ステップＳ７０６：Ｎｏ）は、ステップＳ７０２へ戻って処理を繰り返す。ステップＳ７０６において、テレビ会議が終了された場合（ステップＳ７０６：Ｙｅｓ）は、そのまま一連の処理を終了する。
【０１０５】
なお、本発明の各構成要素における処理と、本発明の実施形態の各処理または各機能とを関連付けて説明すると、特に図示はしていないが、ステップＳ６０１においてテレビ会議が開始されたのち、ＣＰＵ２０１ａ、映像Ｉ／Ｆ２０４ａ、カメラ２１２ａ、音声Ｉ／Ｆ２０５ａおよびマイク２１４ａから映像データや音声データの入力を受け付ける処理によって、本発明の入力工程の処理が実行される。ステップＳ６０２におけるＣＰＵ２０１ａの処理によって、本発明の選択工程の処理が実行される。ステップＳ６０３、ステップＳ６０６、ステップＳ６０９、ステップＳ６１０におけるＣＰＵ２０１ａ、映像Ｉ／Ｆ２０４ａ、音声Ｉ／Ｆ２０５ａ、通信Ｉ／Ｆ２０７ａの処理によって、本発明の通信制御工程の処理が実行される。ステップＳ７０２、ステップＳ７０３におけるＣＰＵ２０１ｂ、音声Ｉ／Ｆ２０５ｂ、通信Ｉ／Ｆ２０７ｂの処理によって、本発明の記憶工程の処理が実行される。ステップＳ７０５におけるＣＰＵ２０１ｂ、音声Ｉ／Ｆ２０５ｂ、スピーカ２１３ｂの処理によって、本発笑みの出力工程の処理が実行される。
【０１０６】
以上説明したように、本発明の実施形態によれば、音声データを送信する送信モードをパッケージモードとすることで、受信先のテレビ会議端末１１０へ、確実に音声データを送信することができる。また、受信先のテレビ会議端末１１０では、リアルタイムモードで送信された音声データを優先して再生する構成であるため、会議のリアルタイム性を確保しつつ、会議内容を漏れなく再生することができる。
【０１０７】
（その他一部の変形例）
本発明の実施形態では特に、パッケージモードで音声データを送信するか否かの判断について、送信バッファの詰まり具合、送信遅延、映像の再生状況などの通信状況によって判断することとして説明したが、これに限ることはない。具体的には、通信状況の判断を参加者の属性を用いておこなうこととしてもよい。参加者の属性は、たとえば、テレビ会議において、議長、参加者などのステータスでもよく、ステータスに応じて、より確実に音声データを送信できるよう設定することとしてもよい。
【０１０８】
ここで、図８を用いて、参加者の属性に応じて、通信状況の判断をおこなう場合について説明する。図８は、本発明の変形例の参加者の属性と通信状況の判断基準の一例を示す説明図である。図８において、判断テーブル８００は、記憶媒体２０８などに記憶されており、参加者の属性を示す属性欄８０１と、送信バッファの詰まり具合の容量を示す送信バッファ欄８０２と、送信先の映像の再生状況を示す送信先映像欄８０３と、がそれぞれ対応付けられている。
【０１０９】
ＣＰＵ２０１は、記憶媒体２０８から判断テーブル８００を読み込んで送信モードの判定をおこなう。具体的には、ＣＰＵ２０１は、音声を入力した参加者が議長である場合、送信バッファの詰まり具合として、送信バッファ３３０に保持される音声データ４００の容量が１２００バイト以上となった場合にパッケージモードを選択する。一方、ＣＰＵ２０１は、ＣＰＵ２０１は、音声を入力した参加者が一般の参加者である場合、送信バッファの詰まり具合として、送信バッファ３３０に保持される音声データ４００の容量が２５００バイト以上となった場合にパッケージモードを選択する。
【０１１０】
すなわち、議長の方が、一般の参加者と比べて、送信バッファが小容量詰まっている段階でパッケージモードを選択することとなる。したがって、より重要な発言をおこなう議長の方が、一般の参加者と比べて、確実に音声データを送信できることとなる。
【０１１１】
また、ＣＰＵ２０１は、音声を入力した参加者が議長である場合、受信先で所定時間に再生された映像データのピクチャ数が０．５ｆｐｓ以下であった場合にパッケージモードを選択する。一方、ＣＰＵ２０１は、ＣＰＵ２０１は、音声を入力した参加者が一般の参加者である場合、受信先で所定時間に再生された映像データのピクチャ数が０．５ｆｐｓ以下であった場合にパッケージモードを選択する。
【０１１２】
すなわち、議長の方が、一般の参加者と比べて、映像の再生状況の劣化をいち早く検知してパッケージモードを選択することとなる。したがって、より重要な発言をおこなう議長の方が、一般の参加者と比べて、確実に音声データを送信できることとなる。
【０１１３】
本発明の実施形態では特に、図６に示したステップＳ６０２において、繰り返しパッケージモードで音声データを送信するか否かを判断することとしたが、これに限ることはない。具体的には、一旦、パッケージモードで音声データを送信することとしたら、同一の会議では、パッケージモードでの音声データの送信を継続することとしてもよい。このようにすれば、ステップＳ６０２における判断処理の負荷を低減させることができる。特に、通信状況の変動が少ない場合、複数回判断処理をおこなわなくても、適切な会議を実行させることができる。
【０１１４】
また、パッケージモードを継続させる場合、音声データの送信完了時間が短時間であれば、通信状況が改善したと判断して、リアルタイムモードによる音声データの送信をおこなう構成としてもよい。このようにすれば、会議のリアルタイム性を最大限確保して、適切な会議を実行することができる。
【０１１５】
また、音声データの送信をパッケージモードでおこなうのか、リアルタイムモードでおこなうのかを参加者に知らせる仕組みを加えることとしてもよい。このようにすることで、会議に対する意識の統一を図り、適切な会議を実行することができる。
【０１１６】
ここで、図９および図１０を用いて、本発明の変形例の音声データの送信モードに関する表示について説明する。図９は、本発明の変形例の送信元のテレビ会議端末のディスプレイの表示の一例を示す説明図である。図１０は、本発明の変形例の受信先のテレビ会議端末のディスプレイの表示の一例を示す説明図である。なお、図９および図１０では、図１に示したテレビ会議端末１１０について、音声データの送信元をテレビ会議端末１１０ａとし、受信先をテレビ会議端末１１０ｂとして説明する。
【０１１７】
図９において、テレビ会議端末１１０ａは、ＣＰＵ２０１ａおよび映像Ｉ／Ｆ２０４ａの制御にしたがって、本発明の表示手段であるディスプレイ２１１ａに、各参加者Ａ，Ｂ，Ｃの映像であるＡ画面９１０と、Ｂ画面９２０と、Ｃ画面９３０とを表示している。テレビ会議端末１１０ａは、音声データの送信モードがパッケージモードである場合、本発明の生成手段であるＣＰＵ２０１ａおよび映像Ｉ／Ｆ２０４ａによって、参加者Ａにからの音声データの録音状況を示す録音画面９５０を生成する。録音画面９５０は、パッケージモードで録音される１０ｓｅｃ程度の所定量を最大としたバー９５１を表示しており、図示左から、録音完了、録音中、未録音のデータを示している。録音画面によって、参加者Ａは、自身の音声データがパッケージモードで送信されることを確認することができる。
【０１１８】
図１０において、テレビ会議端末１１０ｂは、ＣＰＵ２０１ｂおよび映像Ｉ／Ｆ２０４ｂの制御にしたがって、本発明の表示手段であるディスプレイ２１１ｂに、各参加者Ａ，Ｂ，Ｃの映像であるＡ画面１０１０と、Ｂ画面１０２０と、Ｃ画面１０３０と、を表示している。テレビ会議端末１１０ｂは、テレビ会議端末１１０ａから送信される音声データの送信モードがパッケージモードである場合、本発明の生成手段であるＣＰＵ２０１ｂおよび映像Ｉ／Ｆ２０４ｂによって、Ａ画面１０１０にパッケージモードを示すパッケージ画面１０５０を合成して表示している。具体的には、受信しているパッケージモード用の音声データ５００のデータ種別５０２を参照したり、テレビ会議端末１１０ａからパッケージモードで音声データ５００を送信中であることを示す情報を取得することとしてもよい。パッケージ画面１０５０によって、参加者Ｂは、どの参加者がパッケージモードで音声データを送信するのか把握することができる。
【０１１９】
また、図９および図１０では、パッケージモードの際の表示について説明したが、リアルタイムモードの場合、録音画面９５０、パッケージ画面１０５０は、グレーアウトさせたり、削除したりしてもよい。
【０１２０】
また、上述した説明では、実施形態および一部の変形例について別々の例として説明したが、これに限ることはない。すなわち、それぞれを組み合わせた構成として、実施形態および一部の変形例による手法を適宜組み合わせて利用してもよい。
【０１２１】
なお、本発明の実施形態および変形例で説明した方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。この通信プログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒体であってもよい。
【符号の説明】
【０１２２】
１００  テレビ会議システム
１１０（１１０ａ，１１０ｂ，１１０ｃ）  テレビ会議端末
ＮＷ  ネットワーク
２００  バス
２０１  ＣＰＵ
２０２  ＲＡＭ
２０３  ＲＯＭ
２０４  映像Ｉ／Ｆ
２０５  音声Ｉ／Ｆ
２０６  操作部
２０７  通信Ｉ／Ｆ
２０８  記憶媒体
２１１  ディスプレイ
２１２  カメラ
２１３  スピーカ
２１４  マイク
３１０，３２０  エンコーダ
３１１  映像用送信バッファ
３２１  リアルタイムモード用送信バッファ
３２２  パッケージモード用送信バッファ
３３０，３８０  送信バッファ
３４０，３９０  受信バッファ
３６０，３７０  デコーダ
３６１  映像用受信バッファ
３７１  リアルタイムモード用受信バッファ
３７２  パッケージモード用受信バッファ
４００，５００  音声データ
【図２】
2013207465.tif 000003
【図４】
2013207465.tif 000004
【図５】
2013207465.tif 000005
【図６】
2013207465.tif 000006
【図７】
2013207465.tif 000007
【図８】
2013207465.tif 000008
【図９】
2013207465.tif 000009
【図１０】
2013207465.tif 000010
【図１】
2013207465.tif 000011
【図３】
2013207465.tif 000012