(57)【要約】【課題】会議端末間のデータ転送において、限られた通信帯域幅の範囲内で必要な映像情報を効率良く送信する技術を提供する。【解決手段】撮影範囲がそれぞれ異なる領域に設定され、映像信号を生成する複数のＷｅｂカメラ１０７と、音源の発した音声を収音し音声信号を生成するマイクアレイ１０６と、マイクアレイ１０６により生成された音声信号に基づいて音源の方向を表す音源方向情報を生成する音源方向情報生成手段と、音源方向情報にて表される方向に撮影範囲が向くように設定されているＷｅｂカメラ１０７で話者の映像を撮影し、話者の音声および映像をネットワークに向けて出力することを特徴とする通信装置を提供する。【選択図】図６（Ａ）
2008113164.tif 000002
【特許請求の範囲】
【請求項１】
撮影範囲がそれぞれ設定され、前記各撮影範囲内の映像を示す映像信号を各々出力する複数の撮影手段と、
収音した音の音声信号を生成する音声信号生成手段と、
前記音声信号生成手段が生成した音声信号に基づいて音源の方向を特定し、特定した方向を示す音源方向情報を出力する音源方向特定手段と、
前記音源方向情報に対応する前記撮影手段を選択する選択手段と、
前記選択手段が選択した撮影手段が出力する映像信号と前記音声信号生成手段が生成した音声信号をネットワークを介して他の端末装置に出力する出力手段と
を具備することを特徴とする通信装置。
【請求項２】
撮影範囲がそれぞれ設定され、前記各撮影範囲内の映像を示す映像信号を各々出力する複数の撮影手段と、
収音した音の音声信号を生成する音声信号生成手段と、
前記音声信号生成手段が生成した音声信号に基づいて音源の方向を特定し、特定した方向を示す音源方向情報を出力する音源方向特定手段と、
前記音源方向情報に対応する前記撮影手段を選択する選択手段と、
前記音声信号生成手段が生成した音声信号のうち前記音源方向情報に対応する音声信号を抽出する音声抽出手段と、
前記選択手段が選択した撮影手段が出力する映像信号と前記音声抽出手段が抽出した音声信号をネットワークを介して他の端末装置に出力する出力手段と
を具備することを特徴とする通信装置。
【請求項３】
前記音声信号生成手段は複数のマイクが配列されたマイクアレイを有し、前記音声抽出手段は前記マイクアレイの収音方向を制御する収音方向制御装置を有し、前記音源方向特定手段は前記収音方向制御装置が制御する収音方向と前記マイクアレイが出力する音声信号の音量レベルから前記方向を特定する方向特定装置を有していることを特徴とする請求項２に記載の通信装置。
【請求項４】
前記音声信号生成手段は、個別に位置の設定ができる複数のマイクを有し、前記音源方向特定手段は、前記各マイクが出力する音声信号の音量レベルから音源方向として認識される一つのマイクを選択し、選択したマイクを示す情報を前記音源方向情報として出力し、前記音声信号抽出手段は前記音源方向特定手段によって選択されたマイクの音声信号を抽出することを特徴とする請求項１または２に記載の通信装置。
【請求項５】
前記出力手段は、１画面を構成する全エリアのうち特定のエリアを前記撮影手段選択手段が選択した撮影手段が出力する映像信号の表示エリアとして設定し、他のエリアには、他の映像信号が表示されるように合成した映像信号を出力することを特徴とする請求項１から４いずれかに記載の通信装置。
【請求項６】
前記出力手段が出力する映像信号の１画面を構成する全エリアをどのように区分するかを示すとともに、区分したエリアの中において前記特定のエリアを設定する複数の区分データと、
前記区分データを選択する区分データ選択手段とを有し、
前記出力手段は前記区分データ選択手段が選択した区分データに従って１画面を区分するとともに、区分データが示すエリアを前記特定のエリアとして認識することを特徴とする請求項５記載の通信装置。
【請求項７】
撮影対象となる領域の音源位置に応じた複数の態様を示すパターン画像を複数記憶するとともに、前記各パターン画像における音源位置と前記各撮影手段の撮影範囲との対応関係が記憶されたテーブルと、
前記パターン画像を選択するパターン画像選択手段とを有し、
前記パターン画像選択手段が選択したテンプレートに対応する各撮影範囲を前記テーブルを参照して決定し、決定した各撮影範囲に一致するように前記各撮影手段を制御する撮影範囲制御手段とを有することを特徴とする請求項１から６いずれかに記載の通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声と共に画像を送信する通信装置に関する。
【背景技術】
【０００２】
近年、通信網を介して接続された複数の会議端末を用いて会議を行う会議システムが一般に普及している。特許文献１には、遠隔地にある者同士が参加して行われる遠隔テレビ会議の運営を支援する技術が開示されている。この文献に開示されたシステムは、複数のテレビ会議端末と、それら各端末における音声情報や映像情報のやり取りを仲介する多地点テレビ会議中継装置とを備える。そして中継装置は、会議で使用する資料の参照ページや会議終了までの残り時間などといった会議運営情報を、自身を経由する音声情報や映像情報に対して適宜重畳する。
【特許文献１】特開平０５−１４５９１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、参加者が相手側に関して必要とする映像情報は、会議の局面に応じてさまざまである。例えば会議開始直後においては、相手側の会議室全体の様子や参加者の位置関係などを知る必要があるし、議論の最中には誰がどのような表情で発言しているのかを知る必要があるであろう。しかし、特許文献１の技術を利用してそれら必要な映像情報を詳細に相手側に伝えようとすると送信するデータ量が膨大になってしまい、限りある通信帯域幅ではまかなうことはできなかった。
【０００４】
本発明は、上記の課題に応じてなされたものであり、例えば会議端末間のデータ転送において、必要な映像情報を効率良く送信する技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る通信装置の第1の実施形態は、撮影範囲がそれぞれ設定され、前記各撮影範囲内の映像を示す映像信号を各々出力する複数の撮影手段と、収音した音の音声信号を生成する音声信号生成手段と、前記音声信号生成手段が生成した音声信号に基づいて音源の方向を特定し、特定した方向を示す音源方向情報を出力する音源方向特定手段と、前記音源方向情報に対応する前記撮影手段を選択する選択手段と、前記選択手段が選択した撮影手段が出力する映像信号と前記音声信号生成手段が生成した音声信号をネットワークを介して他の端末装置に出力する出力手段とを具備することを特徴とする。
【０００６】
また、本発明に係る通信装置の第２の実施形態は、撮影範囲がそれぞれ設定され、前記各撮影範囲内の映像を示す映像信号を各々出力する複数の撮影手段と、収音した音の音声信号を生成する音声信号生成手段と、前記音声信号生成手段が生成した音声信号に基づいて音源の方向を特定し、特定した方向を示す音源方向情報を出力する音源方向特定手段と、前記音源方向情報に対応する前記撮影手段を選択する選択手段と、前記音声信号生成手段が生成した音声信号のうち前記音源方向情報に対応する音声信号を抽出する音声抽出手段と、前記選択手段が選択した撮影手段が出力する映像信号と前記音声抽出手段が抽出した音声信号をネットワークを介して他の端末装置に出力する出力手段とを具備することを特徴とする。
【０００７】
また、本発明に係る通信装置の第３の実施形態は、前記第２の実施形態において、前記音声信号生成手段は複数のマイクが配列されたマイクアレイを有し、前記音声抽出手段は前記マイクアレイの収音方向を制御する収音方向制御装置を有し、前記音源方向特定手段は前記収音方向制御装置が制御する収音方向と前記マイクアレイが出力する音声信号の音量レベルから前記方向を特定する方向特定装置を有していることを特徴とする。
【０００８】
また、本発明に係る通信装置の第４の実施形態は、前記第１または２の実施形態において、前記音声信号生成手段は、個別に位置の設定ができる複数のマイクを有し、前記音源方向特定手段は、前記各マイクが出力する音声信号の音量レベルから音源方向として認識される一つのマイクを選択し、選択したマイクを示す情報を前記音源方向情報として出力し、前記音声信号抽出手段は前記音源方向特定手段によって選択されたマイクの音声信号を抽出することを特徴とする。
【０００９】
また、本発明に係る通信装置の第５の実施形態は、前記第１ないし４いずれかに記載の実施形態において、前記出力手段は、１画面を構成する全エリアのうち特定のエリアを前記撮影手段選択手段が選択した撮影手段が出力する映像信号の表示エリアとして設定し、他のエリアには、他の映像信号が表示されるように合成した映像信号を出力することを特徴とする。
【００１０】
また、本発明に係る通信装置の第６の実施形態は、前記第５に記載の実施形態において、前記出力手段が出力する映像信号の１画面を構成する全エリアをどのように区分するかを示すとともに、区分したエリアの中において前記特定のエリアを設定する複数の区分データと、前記区分データを選択する区分データ選択手段とを有し、前記出力手段は前記区分データ選択手段が選択した区分データに従って１画面を区分するとともに、区分データが示すエリアを前記特定のエリアとして認識することを特徴とする。
【００１１】
また、本発明に係る通信装置の第７の実施形態は、前記第１ないし６いずれかに記載の実施形態において、撮影対象となる領域の音源位置に応じた複数の態様を示すパターン画像を複数記憶するとともに、前記各パターン画像における音源位置と前記各撮影手段の撮影範囲との対応関係が記憶されたテーブルと、前記パターン画像を選択するパターン画像選択手段とを有し、前記パターン画像選択手段が選択したテンプレートに対応する各撮影範囲を前記テーブルを参照して決定し、決定した各撮影範囲に一致するように前記各撮影手段を制御する撮影範囲制御手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明に係る会議端末によれば、会議端末間のデータ転送において必要な映像情報を効率良く送信する技術を提供することができる、といった効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しつつ本発明の一実施形態である会議端末について説明する。
（Ａ：構成）
図１は、本発明の一実施形態である会議端末を含む会議システム１の構成を示すブロック図である。会議システム１は、会議端末１０Ａと会議端末１０Ｂと通信網２０とからなり、会議端末１０Ａおよび会議端末１０Ｂは通信網２０にそれぞれ有線接続されている。会議端末１０Ａおよび会議端末１０Ｂは互いに同じ構成からなり、以下では会議端末１０Ａおよび会議端末１０Ｂを区別する必要が無いときには、両者を会議端末１０と総称する
なお、ここでは２台の会議端末が通信網２０に接続されている場合について例示されているが、３台以上の会議端末が接続されているとしても良い。
【００１４】
本実施形態では、通信プロトコルとして以下に述べる各通信プロトコルが用いられている。すなわち、アプリケーション層の通信プロトコルとして、音声データおよび映像データの転送にはReal-time Transport Protocol（以下、「ＲＴＰ」）が用いられている。ＲＴＰとは、音声データや映像データをend-to-endでリアルタイムに送受信する通信サービスを提供するための通信プロトコルであり、その詳細はＲＦＣ１８８９に規定されている。ＲＴＰにおいては、ＲＴＰパケットを生成し送受信することにより通信端末同士でデータの授受が行われる。一方画像データの転送には、ＨＴＴＰ（Hypertext Transfer Protocol）が用いられている。また、トランスポート層の通信プロトコルとしては、ＵＤＰが用いられており、ネットワーク層の通信プロトコルとしてはＩＰが用いられている。上記の会議端末１０Ａおよび会議端末１０Ｂには、それぞれにＩＰアドレスが割り振られており、ネットワーク上で一元的に識別される。
なお、ＨＴＴＰ、ＵＤＰ、およびＩＰについては、一般に広く用いられている通信プロトコルであるため説明を省略する。
【００１５】
次に、会議端末１０のハードウェア構成について図３を参照して説明する。なお、以下の説明において、上に挙げた会議端末１０の構成が、いずれの会議端末に属するものであるかを区別する必要があるときには、例えば会議端末１０Ａの制御部１０１を制御部１０１Ａなどのようにアルファベットを付して表す。
【００１６】
図に示す制御部１０１は、例えばＣＰＵ（Central Processing Unit）であり、後述する記憶部１０３に格納されている各種プログラムを実行することにより、会議端末１０の各部の動作を制御する。
【００１７】
記憶部１０３は、ＲＯＭ（Read Only Memory）１０３ａおよびＲＡＭ（Random Access Memory）１０３ｂを有する。
ＲＯＭ１０３ａは、本発明に特徴的な機能を制御部１０１に実現させるためのデータや制御プログラムを格納している。上記データの一例としては、Ｗｅｂカメラ選択テーブル、テストデータ、送信レート管理テーブル等がある。これらのデータについては後に詳細に説明する。
ＲＡＭ１０３ｂは、各種プログラムにしたがって作動している制御部１０１によってワークエリアとして利用されると共に、マイクアレイ１０６およびＷｅｂカメラ１０７から受取った音声データ・映像データ等を記憶する。
【００１８】
操作部１０４は、例えばキーボードやマウスなどであり、会議端末１０の操作者が操作部１０４を操作して何らかの入力操作を行うと、その操作内容を表すデータが制御部１０１へと伝達される。
【００１９】
マイクアレイ１０６は、図示せぬ複数（本実施形態では８つ）のマイクロホンユニットと、アナログ／デジタル（以下、「Ａ／Ｄ」と略記する）コンバータを含む。マイクアレイ１０６は指向性マイクとしての機能を有し、音声を収音する方位を走査しながら音声を収音する機能を有する。制御部１０１はそのようにさまざまな方位からの音声から生成された音声データを解析し、音量レベルが大きい方位を音源（すなわち、受信した音声が人間の声ならばその話者）の方位として特定する。なお、同時に複数の参加者が発言するなどして同時に複数の方向から音声の入力があった場合には、制御部１０１はそれら複数の方位からの音声の音量レベルを比較し、最も音量レベルが高い方向を音源の方向とする。
図５は、会議室におけるマイクアレイ１０６および参加者２の相対配置の一例を示した図である。具体的には、マイクアレイ１０６が特定した音源方位に関する情報は、マイクアレイ１０６の中央から見た音源の方向（極座標における偏角Φ）として生成され、音声データと共にＲＡＭ１０３ｂへ出力される。なお、図５において話者は参加者２ａであり、音源方位はπ／６となる。
【００２０】
Ｗｅｂカメラ１０７は、Ｃ−ＭＯＳイメージセンサからの入力をＭｏｔｉｏｎ−ＪＰＥＧ動画として出力する。なお、Ｍｏｔｉｏｎ−ＪＰＥＧとは、撮影したフレームごとの映像をＪＰＥＧ圧縮し、これを連続して記録する動画データ生成方式である。Ｗｅｂカメラ１０７は、所定の画像サイズおよび単位時間あたりのフレーム数（ｆｐｓ；frames per second）で映像を撮影し、ＪＰＥＧによる画像圧縮を施してＲＡＭ１０３ｂへ出力する。解像度はＷｅｂカメラに予め設定された値を用い、単位時間当たりのフレーム数については、適宜制御部１０１により制御される。また、画像の圧縮率はＪＰＥＧによる画像圧縮（圧縮率は１／５〜１／６０）の範囲内で、制御部１０１の制御下で設定が可能となっている。
なお、本実施形態において会議端末１０においてＷｅｂカメラ１０７は５つ取り付けられており、参加者２はそれらの向きを手動で変更することが可能である。
【００２１】
Ｗｅｂカメラ１０７が出力したデータは一旦ＲＡＭ１０３ｂに書き込まれ、制御部１０１はＲＡＭ１０３ｂに書き込まれたデータからＲＴＰパケットを生成する。ＲＴＰパケットは、図２に示すようにＩＰにおけるデータ転送単位であるパケットやＴＣＰにおけるデータ転送単位であるセグメントと同様に、ペイロード部に対してヘッダ部が付与され構成されている。
【００２２】
ペイロード部には、例えばデータ送信メッセージにおいては、所定時間（本実施形態においては２０ミリ秒）分の音声・映像データ等が書き込まれる。また、受信通知メッセージにおいては、受取ったパケットのシーケンス番号が書き込まれる。
ヘッダ部には、タイムスタンプ、ペイロードタイプ、シーケンス番号、および区画情報の４種類のデータがセットされる。ここで、タイムスタンプとは、時刻（音声通信の開始を指示されてから経過した時間）を示すデータである。ペイロードタイプとは、通信メッセージの種別をその通信メッセージの宛先に識別させるためのデータである。本実施形態で利用されるメッセージ種別には、話者映像データ送信メッセージ、会議室映像データ送信メッセージ、音声データ送信メッセージ、資料データ送信メッセージ、受信通知メッセージの５種類がある。それらのメッセージにおいて、ペイロードタイプには、それぞれ“１”、“２”、“３”、“４”、“５”の５種類の数字が書き込まれる。シーケンス番号とは、各パケットを一意に識別するための識別子であり、例えば１つの音声データが複数のＲＴＰパケットに分割されて送信される場合に、各パケットに対して１、２、３…のようにシーケンス番号が付与される。区画情報とは、当該ＲＴＰパケットに含まれる画像を後述する映像表示部１０５のどの領域に表示するかを規定する情報である。例えば（０、０）−（２５６、１９２）などのように、画像の位置情報が座標で書き込まれている。
【００２３】
通信ＩＦ部１０２は、例えばＮＩＣ（Network Interface Card）であり、通信網２０に接続されている。この通信ＩＦ部１０２は、制御部１０１から引渡されたＲＴＰパケットを下位層の通信プロトコルにしたがって順次カプセル化することにより得られるＩＰパケットを通信網２０へ送出する。なお、カプセル化とは、上記ＲＴＰパケットをペイロード部に書き込んだＵＤＰセグメントを生成し、さらに、そのＵＤＰセグメントをペイロード部に書き込んだＩＰパケットを生成することである。また、通信ＩＦ部１０２は、通信網２０を介してＩＰパケットを受信し、上記カプセル化とは逆の処理を行うことにより、そのＩＰパケットにカプセル化されているＲＴＰパケットを読み出して制御部１０１へ引渡す。
【００２４】
映像表示部１０５は、１０２４pixel×７６８pixelのモニタである。通信ＩＦ部１０２を介して受取ったデータに基づいて画像や資料を表示する。
【００２５】
スピーカ１０８は、制御部１０１から引渡される音声データの表す音声を再生するものであり、スピーカユニットとＤ／Ａコンバータとを含んでいる。Ｄ／Ａコンバータは、制御部１０１から引渡される音声データに対してＤ／Ａ変換を施すことによってアナログの音声信号へ変換しスピーカユニットへ出力するものである。そして、スピーカユニットは、Ｄ／Ａコンバータから受取った音声信号に応じた音声を再生する。
以上が、会議端末１０のハードウェア構成である。
【００２６】
ここで、会議室における会議端末１０の設置態様について説明する。図６（Ａ）は、会議端末１０が設置された会議室の様子を示した図（図５と対応している）である。会議室には机３が設置され、会議に参加する参加者２ａ、２ｂ、２ｃ、および２ｄが机の周囲に設置されたイスに腰掛けている。机の横には会議端末１０が設置され、映像表示部１０５、マイクアレイ１０６、５つ設置されたＷｅｂカメラ１０７、およびスピーカ１０８が参加者に面している。なお、以下で５つのＷｅｂカメラ１０７の各々を区別して示す必要がある場合には、図６（Ａ）に示すようにそれぞれＷｅｂカメラ１０７ａ、１０７ｂ、１０７ｃ、１０７ｄ、および１０７ｅと表す。
【００２７】
映像表示部１０５は、全ての参加者が視認することができる場所に配置されている。マイクアレイ１０６は、複数のマイクロホンユニットが水平に一列に並ぶように映像表示部１０５の下方に配置されている。スピーカ１０８は、マイクアレイ１０６を挟むようにして会議端末１０において左右２箇所に配置されている。
【００２８】
Ｗｅｂカメラ１０７は、映像表示部１０５の下方に、水平に一列に並ぶように配置されており、それぞれに番号が付けられたラインを介して会議端末１０に接続されている。具体的には、Ｗｅｂカメラ１０７ａはライン１に、Ｗｅｂカメラ１０７ｂはライン２に、Ｗｅｂカメラ１０７ｃはライン３に、Ｗｅｂカメラ１０７ｄはライン４に、Ｗｅｂカメラ１０７ｅはライン５に接続されている。
【００２９】
ここで、図６（Ａ）に示した会議室を、会議端末１０の側から俯瞰した場合の様子を図６（Ｂ）に示す。図６（Ｂ）において、領域ａ、ｂ、ｃ、ｄ、およびｅは、それぞれ図６（Ａ）に示されるＷｅｂカメラ１０７ａ、１０７ｂ、１０７ｃ、１０７ｄ、および１０７ｅにより撮影される領域を示す。領域ｅは、会議室全体を含み、領域ａ、ｂ、ｃ、およびｄは、それぞれ参加者２ａ、２ｂ、２ｃ、および２ｄを含むように、各Ｗｅｂカメラ１０７の撮影範囲は設置されている。
【００３０】
次に、会議端末１０の特徴的な機能について説明する。それらは大別して（１）映像選択機能、（２）利用可能帯域幅測定機能、（３）データ送信レート制御機能の３つがある。以上の機能は、制御部１０１がＲＯＭ１０３ａに格納されている制御プログラムを実行することにより実現される。
【００３１】
まず、映像選択機能について説明する。映像選択機能とは、その時点で発言をしている話者に向けられたＷｅｂカメラ１０７を選択し、選択されたＷｅｂカメラ１０７で撮影された映像を相手側会議端末１０に表示する機能である。
ここで、ＲＯＭ１０３ａに格納されたＷｅｂカメラ選択テーブルについて説明する。図７は、Ｗｅｂカメラ選択テーブルの一例を示した図である。Ｗｅｂカメラ選択テーブルには、音源方位情報である偏角の範囲と、各Ｗｅｂカメラ１０７が接続されたライン番号が対応付けられている。
【００３２】
制御部１０１は、ＲＡＭ１０３ｂに書き込まれた音源方位情報を読み出し、音源方位情報である偏角の値をＷｅｂカメラ選択テーブルと照らし合わせることにより、ライン番号を特定する。例えば、図５に示されるように偏角Φ＝π／６である参加者２ａが発言した場合、Ｗｅｂカメラ選択テーブルにおいては音源方位情報の偏角Φ＝０〜π／４に対応するため、ライン１に接続されたＷｅｂカメラ１０７、すなわちＷｅｂカメラ１０７ａが選択される。続いて制御部１０１は、選択されたライン番号に接続されたＷｅｂカメラ１０７に映像データを生成・出力する旨の信号を出力する。制御部１０１から信号を受信したＷｅｂカメラ１０７は、映像データを生成しＲＡＭ１０３ｂに出力する。
【００３３】
制御部１０１は、以上のように話者が撮影された映像データと同時に、Ｗｅｂカメラ１０７ｅが生成した映像データを相手側会議端末１０に向けて送信する。その際制御部１０１は、話者が撮影された映像データを含むＲＴＰパケットのペイロードタイプには “１”を、区画情報には、“（０，０）−（５１２、３８４）”を書き込み、一方Ｗｅｂカメラ１０７ｅが生成した映像データのペイロードタイプには“２”を、区画情報には、“（０，３８４）−（５１２、７６８）”を書き込む。また、それら映像データと並行して資料データも送信する。資料データのペイロードタイプには“４”を、区画情報には、“（５１２，０）−（１０２４、７６８）”を書き込む。
【００３４】
相手側会議端末１０は両映像データを受信する。映像表示部１０５は、受取ったデータの区画情報を読み出し、映像表示部１０５の該当する領域にデータの内容を表示する。さて図４に示すように、映像表示部１０５の表示面は図中左上を原点として座標が設定されている。例えば“（０，０）−（５１２、３８４）”の区画情報は、原点（０，０）、（５１２、０）、（５１２、３８４）、（０、３８４）の４点で囲まれた領域を表す。従って、Ｗｅｂカメラ１０７ａの映像データは話者表示部１０５ａに、Ｗｅｂカメラ１０７ｅの映像データは会議室表示部１０５ｂに、そして資料データは資料表示部１０５ｃに表示される。
【００３５】
次に、利用可能帯域幅測定機能について図８に示すフローチャートを参照しながら説明する。利用可能帯域幅測定機能とは、通信網２０を介して相手側会議端末とデータ通信する際に、その通信網２０にて利用することのできる最大の通信帯域幅を測定する機能である。まず制御部１０１は、パケットを送信する際の送信間隔を決定する（ステップＳＣ１００）。利用可能帯域幅測定処理を初めて行う際には、所定の送信間隔を選択する。次に制御部１０１は、ＲＯＭ１０３ａに格納されたテストデータから複数のパケットを生成し、上記選択された送信間隔で相手側会議端末へ送信する（ステップＳＣ１１０）。このとき、制御部１０１は送信した各パケットのシーケンス番号をＲＡＭ１０３ｂに書き込む。なお、上記テストデータは、予めＷｅｂカメラ１０７が生成する映像データと同様にＭｏｔｉｏｎ−ＪＰＥＧによる映像データであり、その映像内容はどのようなものであっても良い。
【００３６】
相手側会議端末１０の制御部１０１は上記テストデータを受信し、受信した各パケットのシーケンス番号を受信通知メッセージに書き込み、該受信通知メッセージを送信側会議端末に対して返信する。送信側会議端末１０の制御部１０１は、相手側会議端末から返信されてきた受信通知メッセージを受信し（ステップＳＣ１２０）、上記テストデータの送信におけるパケットロスの発生率（受信されなかったパケット数／送信されたパケット数）を算出する（ステップＳＣ１３０）。
【００３７】
制御部１０１は、上記所定の送信間隔でテストデータを送信した場合に、パケットロスが発生しなかった場合（ステップＳＣ１３０；“Ｎｏ”）、ステップＳＣ１００以降の処理を再度行う。そのとき、ステップＳＣ１００においては、前回のステップＳＣ１００ないしステップＳＣ１３０の処理において利用した送信間隔より所定の割合だけ短い送信間隔を選択する。送信間隔が短くなると、単位時間当たりの送信データ量すなわち送信レートは高くなる。一般に、利用可能な帯域幅に比較して送信レートが小さい場合にはパケットロスの発生率は少なく、送信レートが利用可能な帯域幅に対して大きくなるに伴いパケットロスの発生率が高くなることが知られている。従って、テストデータの送信においてパケットロスが発生した場合には、その際に利用した送信レートは利用可能な通信帯域幅を上回ったことを意味する。
従って制御部１０１は、各パケットの送信間隔を順次短くしてステップＳＣ１００ないしステップＳＣ１３０を繰り返し行い、パケットロスが発生した場合（ステップＳＣ１３０；“Ｙｅｓ”）には、その１回前にテストデータを送信した際の送信レート（テストデータのデータ量／送信にかかった時間）を、その時点での利用可能な帯域幅（単位はＢＰＳ；Ｂｙｔｅ／秒）として算出する（ステップＳＣ１４０）。
以上が、利用可能帯域幅測定処理である。
【００３８】
次に、データ送信レート制御機能について説明する。
データ送信レート制御機能とは、利用可能帯域幅測定機能により測定された利用可能な通信帯域幅に応じて、出力する音声データおよび映像データのデータ送信レートを制御する処理を実行する機能である。
【００３９】
図９は、送信レート管理テーブルの一例を示した図である。送信レート管理テーブルには、Ｗｅｂカメラ１０７に設定される単位時間当たりのフレーム数（frames per second）、およびＭｏｔｉｏｎ−ＪＰＥＧ方式におけるＪＰＥＧ画像の圧縮率が、利用可能な通信帯域幅に対応させて規定されている。制御部１０１は、上述した利用可能帯域幅測定機能により測定された利用可能な通信帯域幅を、ＲＯＭ１０３ａに格納された送信レート管理テーブルと照らし合わせることにより、利用可能な帯域幅に対応した単位時間当たりのフレーム数およびＪＰＥＧ画像の圧縮率を選択する。
【００４０】
制御部１０１は、全てのＷｅｂカメラ１０７において、単位時間当たりのフレーム数、およびＪＰＥＧ画像の圧縮率を、選択された値に設定する。データ通信が開始されると、Ｗｅｂカメラ１０７は設定された単位時間あたりのフレーム数で映像データを生成し、制御部１０１は生成された映像データを選択されたＪＰＥＧ画像の圧縮率で圧縮する。
以上がデータ送信レート制御機能である。
【００４１】
（Ｂ：動作）
次に、会議端末１０Ａの側の参加者と会議端末１０Ｂの参加者とが遠隔会議を行う際に、会議端末１０が行う動作について説明する。なお、遠隔会議の開始時点で、Ｗｅｂカメラ１０７の各々はすでに図６（Ｂ）に示される領域を撮影できるように設置されているものとする。また、Ｗｅｂカメラ選択テーブルには、図７に示すように音源の方位と各Ｗｅｂカメラ１０７が接続されたライン番号とが対応付けられて書き込まれているものとする。
【００４２】
始めに、制御部１０１Ａは、データ通信の開始直後および一定時間おきにパラメータ調整処理を行う。図１０は、データを送信する側（会議端末１０Ａ）の行うパラメータ調整処理の流れを示したフローチャートである。
【００４３】
制御部１０１Ａは、まず利用可能帯域幅測定処理を行う（ステップＳＡ１００）。次に制御部１０１は、利用可能帯域幅測定処理の測定値を、ＲＯＭ１０３ａに格納された送信レート管理テーブル（図９参照）と照らし合わせ、テーブル中で該測定値より小さいものの中で最大の利用可能な帯域幅と対応付けられているフレーム数、およびＪＰＥＧ画像の圧縮率を選択する。制御部１０１Ａは、全てのＷｅｂカメラ１０７の単位時間当たりの撮影フレーム数を選択された値に設定する（ステップＳＡ１１０）と共に、ＪＰＥＧ画像の圧縮率を選択された値に設定する（ステップＳＡ１２０）。続くステップＳＡ１３０において、パラメータ調整処理を開始してから一定時間が経過したかどうか判定する。ステップＳＡ１３０の判定結果が“Ｎｏ”である場合は、一定時間が経過するまでステップＳＡ１３０の処理が繰り返される。一定時間が経過すると、ステップＳＡ１３０の判定結果は“Ｙｅｓ”となり、ステップＳＡ１４０が行われる。ステップＳＡ１４０においては、制御部１０１Ａは、データ通信が終了したかどうか判定する。ステップＳＡ１４０の判定結果が“Ｎｏ”である場合にはステップＳＡ１００以降の処理が再び行われる。ステップＳＡ１４０の判定結果が“Ｙｅｓ”である場合には、制御部１０１はパラメータ調整処理を終了する。
以上の処理から、制御部１０１はデータ通信開始後一定時間置きに利用可能帯域幅測定処理を行い、測定された利用可能な帯域幅に合わせてデータ送信に係る各種のパラメータがその都度設定されることとなる。そのことにより、時々刻々と変化する利用可能な通信帯域幅に応じてデータの送信を行うことができ、データを効率的に支障なく送信することができる。
【００４４】
以下では、遠隔会議中に会議端末１０Ａの側の参加者２ａが発言し、会議端末１０Ｂの側の参加者がその発言を聴く場合に会議端末１０Ａが行う動作を説明する。
図１１は、データ通信を行う際に会議端末１０が行う処理の流れを示したフローチャートである。参加者２ａが発言すると、マイクアレイ１０６Ａは該音声を収音し、音声データを生成する（ステップＳＢ１００）。制御部１０１Ａは、生成された音声データを元に音源の方位情報を生成する（ステップＳＢ１１０）。この場合図５に示すような位置に参加者２ａは位置することから、音源方位情報は参加者２ａの方位（偏角）であるπ／６となる。マイクアレイ１０６Ａにより生成された音声データおよび音源方位情報はＲＡＭ１０３ｂＡに書き込まれる。
【００４５】
制御部１０１Ａは、ＲＡＭ１０３ｂＡに書き込まれた音源方位情報を、Ｗｅｂカメラ管理テーブルと照らし合わせることにより、Ｗｅｂカメラ１０７が接続されたライン番号の一つ（この場合ライン１）を特定する（ステップＳＢ１２０）。次に制御部１０１Ａは、ステップＳＢ１２０で特定されたＷｅｂカメラ１０７ａＡに参加者２ａの詳細な映像を表す映像データを生成させる（ステップＳＢ１３０）。
【００４６】
制御部１０１Ａは、Ｗｅｂカメラ１０７ａＡにより生成された話者映像データ、Ｗｅｂカメラ１０７ｅＡにより生成された会議室映像データ、音声データ、および資料データを会議端末１０Ｂに向けて送信する（ステップＳＢ１４０）。
【００４７】
会議端末１０Ｂは、話者映像・会議室映像を表す映像データ、音声データ、および資料データを受信する。音声データはスピーカ１０８Ｂから再生される。映像データおよび資料データについては、制御部１０１Ｂは、各映像データの有する区画情報を読み出す。該区画情報には、それぞれのデータが表示されるべき映像表示部１０５Ｂの領域が座標で書き込まれている。映像表示部１０５Ｂは、該区画情報に基づいて所定の領域にそれぞれのデータ内容を表示する。
【００４８】
以上の処理により、相手側の会議端末１０Ｂを利用する参加者は、スピーカ１０８Ｂから会議端末１０Ａを利用する話者の音声を聞きながら、話者により提示される資料データおよび話者の表情などを視認することができる。
（Ｃ：変形例）
以上、本発明の実施形態について説明したが、本発明は以下に述べる種々の形態で実施することができる。
【００４９】
（１）上記実施例において、映像選択機能、利用可能帯域幅測定機能、データ送信レート制御機能の各機能は、会議端末に対して設けられていたが、設置対象はもちろん会議端末に限定されない。たとえば映像データや音声データを生成し、それらをクライアント装置へ提供するサーバ装置などに適用しても良い。
【００５０】
（２）上記実施例において、本発明に係る会議端末に特徴的な機能をソフトウェアモジュールで実現する場合について説明したが、上記各機能を担っているハードウェアモジュールを組み合わせて本発明に係る会議端末を構成するようにしても良い。
【００５１】
（３）上述した実施形態では、映像データおよび音声データの通信にアプリケーション層の通信プロトコルとしてＲＴＰを用いる場合について説明したが、他の通信プロトコルを用いても良いことは勿論である。要は、所定のヘッダ部とペイロード部とを有するデータブロックのペイロード部に、映像データまたは音声データを所定時間分ずつ書き込んで送信する通信プロトコルであれば、どのような通信プロトコルであっても良い。また、上述した実施形態では、トランスポート層の通信プロトコルとしてＵＤＰを用いる場合について説明したが、ＴＣＰを用いるようにしても良い。同様にネットワーク層の通信プロトコルがＩＰに限定されるものではない。
【００５２】
（４）上述した実施形態では、映像データ、音声データ、および資料データの送受信を並行して行う場合について説明したが、データの種類はそれらのデータ種に限られるものではない。資料データについては送受信を行わなくても良い。
【００５３】
（５）上記実施形態では、会議端末１０Ａおよび会議端末１０Ｂが通信網２０に有線接続されている場合について説明したが、通信網２０が例えば無線ＬＡＮ（Local Area Network）などの無線パケット通信網であり、会議端末１０Ａおよび会議端末１０Ｂが、この無線パケット通信網に接続されていても勿論良い。また、上記実施形態では通信網２０がインターネットである場合について説明したが、ＬＡＮ（Local Area Network）であっても良いことは勿論である。要は、所定の通信プロトコルにしたがって行われる通信を仲介する機能を備えた通信網であれば、どのような通信網であっても良い。
【００５４】
（６）上記実施形態では、本発明に係る通信装置に特徴的な機能を制御部１０１に実現させるための制御プログラムをＲＯＭ１０３ａに予め書き込んでおく場合について説明したが、ＣＤ−ＲＯＭやＤＶＤなどのコンピュータ装置読み取り可能な記録媒体に上記制御プログラムを記録して配布するとしても良く、インターネットなどの電気通信回線経由のダウンロードにより上記制御プログラムを配布するようにしても勿論良い。
【００５５】
（７）上記実施形態では、会議室全体の映像データについても、話者の映像の映像データと同様の解像度・単位時間当たりのフレーム数・ＪＰＥＧ画像の圧縮率による制御を行う場合について説明したが、会議室全体の映像は必要に応じて単位時間当たりのフレーム数を下げたり、ＪＰＥＧ画像の圧縮率を上げたりして送出してもよいし、一定時間置きに静止画を送出しても良い。
【００５６】
（８）上記実施形態では、話者の映像データを動画とする場合について説明したが、必要に応じて、または通信網の回線状況に応じて静止画を送信してもよい。
【００５７】
（９）上記実施形態では、マイクアレイを用いることにより話者の特定を行う場合について示した。しかし、話者の特定方法はマイクアレイに限らない。例えば、会議室において複数の（望ましくは参加者の数と同数の）マイクロホンを参加者の前に設置し、複数のマイクロホンにおいて収音された音声のうち最も音量レベルが高い音声データを選択し、選択された音声データを生成したマイクロホンに対応する参加者が話者であると判断し、特定された話者に向けられたカメラを選択してもよい。
また、操作部１０４として参加者の数だけボタンを設置し、各参加者が該ボタンを押下してから発言を行うようにしても良い。その場合、制御部１０１は、押下されたボタンが出力する信号を受信して話者を特定し、該話者に向けられたＷｅｂカメラ１０７を選択するようにすれば良い。
【００５８】
（１０）上記実施形態では、ＷｅｂカメラはＭｏｔｉｏｎ−ＪＰＥＧ方式により映像データを生成した。しかし、映像の記録方式はＭｏｔｉｏｎ−ＪＰＥＧに限定されず、ＭＰＥＧなど他の方式を用いても良い。
【００５９】
（１１）上記実施形態では、Ｗｅｂカメラ１０７は５つ設置されている場合について説明したが、Ｗｅｂカメラ１０７の設置数は５つに限定されない。参加者の人数などに応じて適宜定めればよい。また、会議端末１０に設けられるＷｅｂカメラ１０７を接続するライン（端子）の数についても同様であり、設置されるＷｅｂカメラ１０７の数よりも多く設けられていれば良い。
【００６０】
（１２）上記実施形態では、Ｗｅｂカメラ１０７の撮影領域を予め参加者が手動で調整する場合について説明した。しかし、Ｗｅｂカメラ１０７の撮影領域の調整を制御部１０１による制御下で行うようにしても良い。その場合、以下に説明するような実施形態が可能である。
Ｗｅｂカメラを水平および上下に回転させて撮影領域を調整するための駆動手段を会議端末１０に設け、該駆動手段を制御部１０１により制御できるようにする。また、予め“配置テンプレート”をＲＯＭ１０３ａに格納しておく。図１２は、配置テンプレートの一例を示した図である。配置テンプレートには、複数のパターンＡ、Ｂ、およびＣが設定されている。パターンごとに、参加者の位置とＷｅｂカメラ撮影方向が対応付けられて規定されている。ここで参加者の位置とは、マイクアレイ１０６を基準とした各参加者の相対位置を模式的に示した図であり、一方Ｗｅｂカメラ撮影方向とは、各ラインに接続されたＷｅｂカメラ１０７の撮影方向である。なお、撮影方向はマイクアレイが音源方位情報を生成する際に用いたのと同様の極座標における偏角として表されている。
会議を開始するにあたって、映像表示部１０５は、配置テーブルの“参加者の位置”の項目に書き込まれたテンプレート画像を表示する。該会議端末を利用する参加者は、映像表示部１０５に表示された複数のパターンから該会議における参加者の数や座席位置に合致するものを選択する。制御部１０１は、特定のパターンが選択されると、各ラインに接続されたＷｅｂカメラ１０７の各々を選択されたパターンにおいて規定されているＷｅｂカメラ撮影方向に向けるよう上記駆動手段を駆動させる。
以上に説明した実施形態により、参加者は会議端末１０を会議室に設置した後に設置位置に応じたテンプレートを作成しておくことで、以降の会議開催の度にＷｅｂカメラの位置を手動で設定しなおす手間を省くことができる。
【００６１】
（１３）上記実施形態では、映像表示部１０５の表示面を図４に示すように区画する場合について説明した。しかし、映像表示部１０５の区画は上記の態様に限定されない。例えば、図１３に示す区画テンプレートをＲＯＭ１０３ａに格納しておく。区画テンプレートにおいては、映像表示部１０５の表示面の区画法を模式的に示した複数のテンプレートが、会議に参加する人数に対して規定されている。各テンプレートにおいて、数字が書き込まれた区画は、該数字のライン番号に接続されたＷｅｂカメラ１０７の映像（各参加者の映像）が表示される。なお、たとえば１／２／３と表示された区画は、１ないし３のライン番号に接続されたＷｅｂカメラ１０７いずれかの映像が表示される。“会議室”と書き込まれた区画は、上記実施形態における会議室表示部１０５ｂと同様に、ライン５に接続されたＷｅｂカメラ１０７ｅの映像が表示される。“資料”と書き込まれた区画は、上記実施形態における資料表示部１０５ｃと同様である。
さて、参加者は会議が始まる際に、会議の参加人数に合わせて特定のテンプレートを選択する。特定のテンプレートが選択されると、選択されたテンプレートに規定されるように映像表示部１０５は区画され、それぞれの区画にはテンプレートで規定されるように各Ｗｅｂカメラ１０７の映像や資料が表示される。
以上のようにすることで、参加者が必要とする情報を、そのときの状況に合わせたレイアウトで映像表示部１０５に表示させることができる。
また、以上のようにデフォルトのテンプレートを選択した上で、更に発言者が発言した際にテンプレートを短期間切り換えるようにしてもよい。すなわち、発言者切換用テンプレートを別途選択しておき、発言者が切り替わると制御部１０１は映像表示部１０５の区画法をデフォルトのテンプレートから発言者切換用テンプレートに所定の時間切り換え、所定時間が経過するとデフォルトのテンプレートに戻す。例えば、参加者が3名の場合に、デフォルトのテンプレートとしてテンプレートＡを、発言者切換用テンプレートとしてテンプレートＣを選択しておくと、例えば参加者Ａが発言を始めるとテンプレートＣに示されるように映像表示部１０５の中央に発言者である参加者Ａの映像が画面中央に大きく表示され、その後テンプレートＡに示されるように参加者全員の映像、会議室全体の映像、および資料が表示される。同様に参加者Ｂが発言すると、発言を始めてから所定の時間は参加者Ｂの映像が画面中央に大きく表示される。以上のように会議中にもテンプレートを切り換えることで、発言者が変わったことを知らせたり、どの参加者が発言を始めたのかを参加者に報知したりすることができる。
【００６２】
（１４）上記実施形態では、映像表示部１０５において話者・会議室映像データおよび資料データを図４に示すような区画割りで表示する場合について説明した。しかし、映像表示部１０５の区画割りは上記の態様に限定されるものではなく、各データの表示領域の大小や位置関係など他の種々の態様でおこなっても良い。
【００６３】
（１５）上記実施形態では、ＲＴＰパケットのヘッダ部に区画情報を含ませることにより、各映像データが映像表示部１０５において表示される領域を指定する場合について説明した。しかし、各映像データを映像表示部１０５のどの領域に表示するのかを映像データの受信側の会議端末１０が制御するようにしても良い。その場合、相手側会議端末１０は、その映像表示部１０５をあらかじめ複数の領域に区画しそれぞれの区画に映像の種類（話者映像、会議室映像）を対応させておく。映像データを受取ったらパケットのペイロードタイプを読み出し、ペイロードタイプから映像の種類を判別し、対応する映像表示部１０５に割り当てて出力するようにすればよい。
【００６４】
（１６）上記実施形態では、表示部１０５の表示面を区画し、複数のデータを表示する場合について説明した。しかし、例えば表示面全体に話者の映像を表示する場合など、映像表示部１０５の表示面の区画は行わなくても良い。
【図面の簡単な説明】
【００６５】
【図１】本発明に係る会議端末を含む会議システムの構成を示すブロック図である。
【図２】ＲＴＰパケットの構成を示す図である。
【図３】会議端末１０の構成を示すブロック図である。
【図４】映像表示部の一例を示した図である。
【図５】マイクアレイによる音源方位の検出を説明する図である。
【図６（Ａ）】会議室における会議端末および参加者の位置関係を示す図である。
【図６（Ｂ）】会議端末の側から見た参加者の位置関係を示す図である。
【図７】Ｗｅｂカメラ選択テーブルの一例を示す図である。
【図８】利用可能帯域幅測定処理の流れを示すフローチャートである。
【図９】送信レート管理テーブルの一例を示す図である。
【図１０】パラメータ調整処理の流れを示すフローチャートである。
【図１１】データ転送の流れを示すフローチャートである。
【図１２】配置テンプレートの一例を示す図である。
【図１３】区画テンプレートの一例を示す図である。
【符号の説明】
【００６６】
１…会議システム、２…参加者、３…机、１０、１０Ａ、１０Ｂ…会議端末、２０…通信網、１０１…制御部、１０２…通信ＩＦ部、１０３…記憶部（１０３ａ；ＲＯＭ、１０３ｂ；ＲＡＭ）、１０４…操作部、１０５…映像表示部（１０５ａ…話者表示部、１０５ｂ…会議室表示部、１０５ｃ…資料表示部）、１０６…マイクアレイ、１０７…Ｗｅｂカメラ、１０８…スピーカ、１０９…バス
【図１】
2008113164.tif 000003
【図２】
2008113164.tif 000004
【図３】
2008113164.tif 000005
【図４】
2008113164.tif 000006
【図５】
2008113164.tif 000007
【図６（Ａ）】
2008113164.tif 000008
【図６（Ｂ）】
2008113164.tif 000009
【図７】
2008113164.tif 000010
【図８】
2008113164.tif 000011
【図９】
2008113164.tif 000012
【図１０】
2008113164.tif 000013
【図１１】
2008113164.tif 000014
【図１２】
2008113164.tif 000015
【図１３】
2008113164.tif 000016