(57)【要約】【課題】会議端末間のデータ転送において、限られた通信帯域幅で必要な画像情報を効率良く送信する技術を提供する。【解決手段】送信側会議端末は、会議室全体を撮影領域としたフレーム画像（静止画像）を生成し、予め相手側会議端末に送信しておく。会議が開始すると、送信側会議端末は、Ｗｅｂカメラの撮影領域の中で参加者などを含み時間経過と共に変化する詳細領域（図中領域ＢおよびＣ）のみからなる動画を生成し、相手側会議端末に送信する。相手側会議端末は、上記フレーム画像と会議中に受信した動画を重ね合わせて表示部に表示する。以上の処理により参加者は参加者などを含み時間の経過と共に変化する領域については動画でリアルタイムに視認することができると同時に、重要性が低い領域については静止画で埋め合わせることで、ネットワークの帯域を過大に利用することなく必要な情報を送受信することができる。【選択図】図１０
2009071580.tif 000002
【特許請求の範囲】
【請求項１】
設定された撮影領域内において、１または複数の特定領域を設定する設定手段と、
前記設定された撮影領域を撮影し、前記撮影領域内の画像に対応する第１の画像データと前記設定手段が設定した特定領域内の画像に対応する第２の画像データを生成する画像データ生成手段と、
前記画像データ生成手段が生成した前記第１の画像データおよび前記第２の画像データを通信網を介して他の通信装置に出力する出力手段と
を具備し、
前記出力手段から出力される前記第２の画像データは、所定時間あたりの画面数が前記第１の画像よりも多いことを特徴とする通信装置。
【請求項２】
前記画像データ生成手段は、前記第２の画像データを生成するにあたり、前記第１の画像データよりも所定時間あたりの画面数を多く生成することを特徴とする請求項１に記載の通信装置。
【請求項３】
前記出力手段は、前記第２の画像データを前記第１の画像データよりも所定時間あたりの画面数を多く出力することを特徴とする請求項１に記載の通信装置。
【請求項４】
前記画像データ生成手段は、前記第１の画像を静止画として生成すると共に、前記第２の画像を動画として生成することを特徴とする請求項１ないし３のいずれかに記載の通信装置。
【請求項５】
前記画像データ生成手段は、前記撮影領域において前記第２の画像データが表す画像の領域を含まない領域において前記第１の画像データを生成することを特徴とする請求項１ないし４のいずれかに記載の通信装置。
【請求項６】
接続された通信網において利用可能な通信帯域幅を測定する測定手段と、
通信帯域と対応した画質を指定するテーブルと、
通信に先立ち前記測定手段が測定した利用可能な通信帯域幅に対応する画質を、前記テーブルを参照して前記撮影手段に設定する画質調整手段と
を有する請求項１ないし５のいずれかに記載の通信装置。
【請求項７】
接続された通信網において利用可能な通信帯域幅を測定する測定手段と、
通信帯域と対応した圧縮率を指定するテーブルと、
通信に先立ち前記測定手段が測定した利用可能な通信帯域幅に対応する圧縮率を、前記テーブルを参照して前記撮影手段に設定する圧縮率調整手段と
を有する請求項１ないし５のいずれかに記載の通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声と共に画像を送信する通信装置に関する。
【背景技術】
【０００２】
近年、通信網を介して接続された複数の会議端末を用いて会議を行う会議システムが一般に普及している。特許文献１には、遠隔地にある者同士が参加して行われる遠隔テレビ会議の運営を支援する技術が開示されている。この文献に開示されたシステムは、複数のテレビ会議端末と、それら各端末における音声情報や映像情報のやり取りを仲介する多地点テレビ会議中継装置とを備える。そして中継装置は、会議で使用する資料の参照ページや会議終了までの残り時間などといった会議運営情報を、自身を経由する音声情報や映像情報に対して適宜重畳する。
【特許文献１】特開平０５−１４５９１８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、会議室の様子を映した映像などはデータ量が非常に大きい。そのため、ネットワークの限られた通信帯域幅の範囲内で映像情報を送信するために、従来はデータを圧縮したり映像のフレームレートや解像度を低下させたりしていた。しかし、非可逆的な圧縮を施したりフレームレートや解像度を低く設定したりすると、映像データの品質が低下するという問題点があった。
【０００４】
本発明は、上記の課題に応じてなされたものであり、会議端末間のデータ転送において、限られた通信帯域幅で必要な情報を効率良く送信する技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る通信装置の第1の実施形態は、設定された撮影領域内において、１または複数の特定領域を設定する設定手段と、前記設定された撮影領域を撮影し、前記撮影領域内の画像に対応する第１の画像データと前記設定手段が設定した特定領域内の画像に対応する第２の画像データを生成する画像データ生成手段と、前記画像データ生成手段が生成した前記第１の画像データおよび前記第２の画像データを通信網を介して他の通信装置に出力する出力手段とを具備し、前記出力手段から出力される前記第２の画像データは、所定時間あたりの画面数が前記第１の画像よりも多いことを特徴とする。
【０００６】
また、本発明に係る通信装置の第２の実施形態は、前記第１の実施形態において、前記画像データ生成手段は、前記第２の画像データを生成するにあたり、前記第１の画像データよりも所定時間あたりの画面数を多く生成することを特徴とする。
【０００７】
また、本発明に係る通信装置の第３の実施形態は、前記第１の実施形態において、前記出力手段は、前記第２の画像データを前記第１の画像データよりも所定時間あたりの画面数を多く出力することを特徴とする。
【０００８】
また、本発明に係る通信装置の第４の実施形態は、前記第１ないし３いずれかの実施形態において、前記画像データ生成手段は、前記第１の画像を静止画として生成すると共に、前記第２の画像を動画として生成することを特徴とする。
【０００９】
また、本発明に係る通信装置の第５の実施形態は、前記第１ないし４いずれかに記載の実施形態において、前記画像データ生成手段は、前記撮影領域において前記第２の画像データが表す画像の領域を含まない領域において前記第１の画像データを生成することを特徴とする。
【００１０】
また、本発明に係る通信装置の第６の実施形態は、前記第１ないし５いずれかに記載の実施形態において、接続された通信網において利用可能な通信帯域幅を測定する測定手段と、通信帯域と対応した画質を指定するテーブルと、通信に先立ち前記測定手段が測定した利用可能な通信帯域幅に対応する画質を、前記テーブルを参照して前記撮影手段に設定する画質調整手段とを有することを特徴とする。
【００１１】
また、本発明に係る通信装置の第７の実施形態は、前記第１ないし５いずれかに記載の実施形態において、接続された通信網において利用可能な通信帯域幅を測定する測定手段と、通信帯域と対応した圧縮率を指定するテーブルと、通信に先立ち前記測定手段が測定した利用可能な通信帯域幅に対応する圧縮率を、前記テーブルを参照して前記撮影手段に設定する圧縮率調整手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明に係る会議端末によれば、会議端末間のデータ転送において、限られた通信帯域幅で必要な情報を効率良く送信することができる、といった効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しつつ本発明の一実施形態である会議端末について説明する。
（Ａ：構成）
図１は、本発明の一実施形態である会議端末を含む会議システム１の構成を示すブロック図である。会議システム１は、会議端末１０Ａと会議端末１０Ｂと通信網２０とからなり、会議端末１０Ａおよび会議端末１０Ｂは通信網２０にそれぞれ有線接続されている。会議端末１０Ａおよび会議端末１０Ｂは互いに同じ構成からなり、以下では会議端末１０Ａおよび会議端末１０Ｂを区別する必要が無いときには、両者を会議端末１０と総称する。
なお、ここでは２台の会議端末が通信網２０に接続されている場合について例示されているが、３台以上の会議端末が接続されているとしても良い。
【００１４】
本実施形態では、通信プロトコルとして以下に述べる各通信プロトコルが用いられている。すなわち、アプリケーション層の通信プロトコルとして、音声データおよび画像データの転送にはReal-time Transport Protocol（以下、「ＲＴＰ」）が用いられている。ＲＴＰとは、音声データや画像データをend-to-endでリアルタイムに送受信する通信サービスを提供するための通信プロトコルであり、その詳細はＲＦＣ１８８９に規定されている。ＲＴＰにおいては、ＲＴＰパケットを生成し送受信することにより通信端末同士でデータの授受が行われる。また、トランスポート層の通信プロトコルとしては、ＵＤＰ（User Datagram Protocol）が用いられており、ネットワーク層の通信プロトコルとしてはＩＰ（Internet Protocol）が用いられている。上記の会議端末１０Ａおよび会議端末１０Ｂには、それぞれにＩＰアドレスが割り振られており、ネットワーク上で一元的に識別される。
なお、ＵＤＰおよびＩＰについては、一般に広く用いられている通信プロトコルであるため説明を省略する。
【００１５】
次に、会議端末１０のハードウェア構成について図２を参照して説明する。
図に示す制御部１０１は、例えばＣＰＵ（Central Processing Unit）であり、後述する記憶部１０３に格納されている各種制御プログラムを実行することにより、会議端末１０の各部の動作を制御する。
【００１６】
Ｗｅｂカメラ１０７は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ(Charge Coupled Device) イメージセンサからの入力をＭｏｔｉｏｎ−ＪＰＥＧ方式の動画として出力する。なお、Ｍｏｔｉｏｎ−ＪＰＥＧ方式とは、撮影したフレームごとの画像をＪＰＥＧ（Joint Photographic Experts Group）圧縮し、これを連続して記録する動画データ生成方式である。Ｗｅｂカメラ１０７は、所定の画像サイズおよび単位時間あたりのフレーム数（ｆｐｓ；frames per second）で画像を撮影し、ＪＰＥＧ方式の画像圧縮を施してＲＡＭ１０３ｂへ出力する。画像サイズはＷｅｂカメラ１０７に予め設定された値（本実施形態では６４０pixel×４８０pixel）を用い、単位時間当たりのフレーム数については、適宜制御部１０１により制御される。また、画像の圧縮率はＪＰＥＧ方式の画像圧縮（圧縮率は１／５〜１／６０）の範囲内で、制御部１０１の制御下で設定が可能となっている。また、参加者はＷｅｂカメラ１０７の向きを手動で変更し、その画像領域を任意に設定することが可能である。また、Ｗｅｂカメラ１０７は、所定の信号を受けるとその時点で生成されているフレームの画像をキャプチャーし、静止画として出力する機能を有している。
【００１７】
記憶部１０３は、ＲＯＭ（Read Only Memory）１０３ａおよびＲＡＭ（Random Access Memory）１０３ｂを有する。ＲＯＭ１０３ａは、本発明に特徴的な機能を制御部１０１に実現させるためのデータや制御プログラムを格納している。上記データの一例としては、テストデータ、送信レート管理テーブル等がある。
【００１８】
ここで、上記送信レート管理テーブルについて説明する。図３は、送信レート管理テーブルの一例を示した図である。送信レート管理テーブルには、Ｗｅｂカメラ１０７が動画データを生成する際の単位時間当たりのフレーム数（ｆｐｓ）、およびＪＰＥＧ方式の画像の圧縮率が、利用可能な通信帯域幅（Ｍｂｐｓ；Mega bit per second）に対応させて規定されている。一方上記テストデータは、予めＷｅｂカメラ１０７によって生成されたＭｏｔｉｏｎ−ＪＰＥＧ方式の画像データである。なお、その内容はどのようなものであっても良い。
【００１９】
ＲＡＭ１０３ｂは、各種プログラムにしたがって作動している制御部１０１によってワークエリアとして利用されると共に、音声入力部１０６およびＷｅｂカメラ１０７から受取った音声データ・画像データを記憶する。
【００２０】
制御部１０１は上記制御プログラムに従い、ＲＡＭ１０３ｂに書き込まれた音声データまたは画像データからＲＴＰパケットを生成する。ＲＴＰパケットは、図４に示すようにＩＰにおけるデータ転送単位であるパケットやＴＣＰ（Transmission Control Protocol）におけるデータ転送単位であるセグメントと同様に、ペイロード部に対してヘッダ部が付与され構成されている。
【００２１】
ヘッダ部には、タイムスタンプ、ペイロードタイプ、シーケンス番号、画像タイプおよび区画情報の５種類のデータが書き込まれる。ここで、タイムスタンプとは、当該ＲＴＰパケットが送信される時刻（音声通信の開始を指示されてから経過した時間）を示すデータである。ペイロードタイプとは、通信メッセージの種別をその通信メッセージの宛先に識別させるためのデータである。本実施形態で利用されるメッセージ種別には、音声データ送信メッセージ、画像データ送信メッセージ、受信通知メッセージの３種類がある。それらのメッセージにおいて、ペイロードタイプには、それぞれ“１”、“２”、“３”の３種類の数字が書き込まれる。シーケンス番号とは、各パケットを一意に識別するための識別子であり、例えば１つの音声データが一連のＲＴＰパケットに分割されて送信される場合に、各パケットに対して１、２、３…のようにシーケンス番号が付与される。画像タイプとは、ペイロード部に書き込まれた画像データが、後述する“フレーム画像”と“詳細画像”のいずれであるかを示し、それぞれ“１”または“２”が書き込まれる。区画情報とは、ペイロード部に書き込まれた画像データが“詳細画像”であるとき、該詳細画像が後述する表示部１０５のどの領域に表示されるものであるかを規定する情報であるが、その詳細は後述する。
【００２２】
ペイロード部には、音声データ送信メッセージまたは画像データ送信メッセージにおいては、それぞれ所定時間（本実施形態においては２０ミリ秒）分の音声データまたは画像データが書き込まれる。また、受信通知メッセージにおいては、受取ったパケットのシーケンス番号が書き込まれる。
【００２３】
音声入力部１０６は、マイクロホン１０６ａと、アナログ／デジタル（以下、「Ａ／Ｄ」と略記する）コンバータ１０６ｂを含む。マイクロホン１０６ａは音声を収音し、該音声を表すアナログ信号（以下、音声信号）を生成し、Ａ／Ｄコンバータ１０６ｂに出力する。Ａ／Ｄコンバータ１０６ｂは、マイクロホン１０６ａから受取った音声信号をデジタル信号（以下、音声データ）に変換してＲＡＭ１０３ｂへ出力する。
【００２４】
操作部１０４は、例えばキーボードやマウスなどであり、会議端末１０の操作者が操作部１０４を操作して何らかの入力操作を行うと、その操作内容を表すデータが制御部１０１へと伝達される。
【００２５】
通信ＩＦ部１０２は、例えばＮＩＣ（Network Interface Card）であり、通信網２０に接続されている。この通信ＩＦ部１０２は、制御部１０１から受取ったＲＴＰパケットを下位層の通信プロトコルにしたがって順次カプセル化することにより得られるＩＰパケットを通信網２０へ送出する。なお、カプセル化とは、上記ＲＴＰパケットをペイロード部に書き込んだＵＤＰセグメントを生成し、さらに、そのＵＤＰセグメントをペイロード部に書き込んだＩＰパケットを生成することである。また、通信ＩＦ部１０２は、通信網２０を介してＩＰパケットを受信し、上記カプセル化とは逆の処理を行うことにより、そのＩＰパケットにカプセル化されているＲＴＰパケットを読み出して制御部１０１へ出力する。
【００２６】
表示部１０５は、幅６４０pixel×縦４８０pixelのモニタである。通信ＩＦ部１０２を介して受取った各種画像データに基づいて画像を表示する。
【００２７】
エコーキャンセラ１１０は、制御部１０１から受取った音声データから、スピーカ１０８ａからマイクロホン１０６ａへ回り込んだエコー成分を除去し出力する。エコー成分をキャンセルする方法としては、既存のいずれの方法を用いても良い。
音声出力部１０８は、エコーキャンセラ１１０から受取った音声データの表す音声を再生するものであり、スピーカ１０８ａとＤ／Ａコンバータ１０８ｂとを含んでいる。Ｄ／Ａコンバータ１０８ｂは、制御部１０１から受取った音声データに対してＤ／Ａ変換を施すことによって音声信号へ変換しスピーカ１０８ａへ出力するものである。そして、スピーカ１０８ａは、Ｄ／Ａコンバータ１０８ｂから受取った音声信号に応じた音声を再生する。
【００２８】
以上の構成からなる会議端末１０は、会議室において以下のように設置されている。図５に示すように、会議室には机３が設置され、会議に参加する参加者２ａ、２ｂ、２ｃ、および２ｄが机の周囲に設置されたイスに腰掛けている。机の横には会議端末１０が設置され、表示部１０５は、全ての参加者が視認することができる位置に配置されている。マイクロホン１０６ａおよびＷｅｂカメラ１０７は、表示部１０５の下方に配置されている。スピーカ１０８ａは、マイクロホン１０６ａおよびＷｅｂカメラ１０７を挟むようにして会議端末１０において左右２箇所に配置されている。
【００２９】
（Ｂ：動作）
次に、会議端末１０Ａおよび１０Ｂを利用する参加者が遠隔会議を行う際に、会議端末１０が行う動作について説明する。なお、以下の説明において、上に挙げた会議端末１０の構成が、いずれの会議端末に属するものであるかを区別する必要があるときには、例えば会議端末１０Ａの制御部１０１を制御部１０１Ａなどのようにアルファベットを付して表す。
【００３０】
遠隔会議が開始される前に、制御部１０１は、データ通信に係るＷｅｂカメラ１０７の設定を最適化するためのパラメータ調整処理を行う。図６は、パラメータ調整処理の流れを示したフローチャートである。
【００３１】
制御部１０１は、まず利用可能帯域幅測定処理を行う（ステップＳＡ１００）。利用可能帯域幅測定処理とは、通信網２０を介して相手側会議端末とデータ通信する際に、その通信網２０にて利用することのできる最大の通信帯域幅を測定する機能である。本処理については、図７に示すフローチャートを用いて詳細に説明する。
【００３２】
まず制御部１０１は、パケットを送信する際の送信間隔を決定する（ステップＳＢ１００）。利用可能帯域幅測定処理を初めて行う際には、所定の送信間隔を設定する。次に制御部１０１は、ＲＯＭ１０３ａに格納されたテストデータから一連のパケットを生成し、ステップＳＢ１００にて決定された送信間隔で相手側会議端末へ送信する（ステップＳＢ１１０）。このとき、制御部１０１は送信した各パケットのシーケンス番号をＲＡＭ１０３ｂに書き込む。
【００３３】
相手側の会議端末１０の制御部１０１は上記テストデータを受信し、受信した各パケットのシーケンス番号を受信通知メッセージに書き込み、該受信通知メッセージを送信側会議端末に対して返信する。送信側の会議端末１０の制御部１０１は、相手側会議端末から返信されてきた受信通知メッセージを受信し（ステップＳＢ１２０）、受信通知メッセージに書き込まれたシーケンス番号列とＲＡＭ１０３ｂに書き込まれたシーケンス番号列とから上記テストデータの送信におけるパケットロスの発生率（受信されなかったパケット数／送信されたパケット数）を算出し、パケットロスが発生したか否か判定する（ステップＳＢ１３０）。
【００３４】
制御部１０１は、上記所定の送信間隔でテストデータを送信した場合に、パケットロスが発生しなかった場合（ステップＳＢ１３０；“Ｎｏ”）、ステップＳＢ１００以降の処理を再度行う。そのとき、ステップＳＢ１００においては、前回行ったステップＳＢ１００ないしステップＳＢ１３０の処理において設定したパケット送信間隔より所定の割合だけ短い送信間隔を設定する。
【００３５】
制御部１０１は、パケットロスが発生しない間は、パケットの送信間隔を順次短くしながらステップＳＢ１００ないしステップＳＢ１３０を繰り返し行う。ステップＳＢ１３０においてパケットロスが発生した場合（ステップＳＢ１３０；“Ｙｅｓ”）には、その１回前にテストデータを送信した際の送信レート（テストデータのデータ量／送信にかかった時間）を、その時点での利用可能な帯域幅（単位はＢＰＳ；Ｂｙｔｅ／秒）として算出する（ステップＳＢ１４０）。なぜならば、送信間隔が短くなると単位時間当たりの送信データ量すなわち送信レートは高くなる。従って、テストデータの送信においてパケットロスが発生した場合には、その際に利用した送信レートは利用可能な通信帯域幅を初めて上回ったことを意味するからである。
【００３６】
再び図６に戻り、制御部１０１は、Ｗｅｂカメラのパラメータの設定を行う（ステップＳＡ１１０）。すなわち、利用可能帯域幅測定処理の測定値とＲＯＭ１０３ａに格納された送信レート管理テーブル（図３参照）とを照らし合わせ、送信レート管理テーブル中で利用可能な帯域幅の項目が該測定値より小さいものの中で最大の値である項目と対応付けられているフレーム数、およびＪＰＥＧ画像の圧縮率を読み出し、Ｗｅｂカメラ１０７の単位時間当たりの撮影フレーム数およびＪＰＥＧ画像の圧縮率を読み出された値に設定する。上記の処理を終え会議に係るデータ通信が開始されると、Ｗｅｂカメラ１０７は設定された単位時間あたりのフレーム数で画像データを生成し、制御部１０１は生成された画像データを選択されたＪＰＥＧ画像の圧縮率で圧縮する。
【００３７】
制御部１０１は、ステップＳＡ１２０において、パラメータ調整処理を開始してから一定時間が経過したかどうか判定する。ステップＳＡ１２０の判定結果が“Ｎｏ”である場合は、一定時間が経過するまでステップＳＡ１２０の処理が繰り返される。一定時間が経過すると、ステップＳＡ１２０の判定結果は“Ｙｅｓ”となり、ステップＳＡ１３０が行われる。ステップＳＡ１３０においては、制御部１０１は、データ通信が終了したかどうか判定する。ステップＳＡ１３０の判定結果が“Ｎｏ”である場合にはステップＳＡ１００以降の処理が再び行われる。ステップＳＡ１３０の判定結果が“Ｙｅｓ”である場合には、制御部１０１はパラメータ調整処理を終了する。
【００３８】
以上の処理から、制御部１０１は遠隔会議開始時および遠隔会議開始後一定時間置きに利用可能帯域幅測定処理を行い、測定された利用可能な帯域幅に合わせてＷｅｂカメラ１０７のパラメータが再設定されることとなる。そのことにより、時々刻々と変化する利用可能な通信帯域幅に応じたデータの送信を行うことができ、データを効率的に支障なく送信することができる。
【００３９】
以下では、遠隔会議中に会議端末１０Ａの側の参加者が発言し会議端末１０Ｂの側の参加者がその発言を聴く場合に会議端末１０Ａが行う動作を説明する。
図８は、会議中に会議端末１０が実行する処理の流れを示したフローチャートである。まず、会議開始直後にステップＳＣ１００ないし１３０の処理が行われる。まずステップＳＣ１００において、制御部１０１はＷｅｂカメラ１０７に対し所定の信号を出力し、会議室全体を表す画像データ（以下、全体画像データ）を生成させる。図９は、図５に示した会議室においてＷｅｂカメラ１０７の側から会議室を見た図である。例えば、Ｗｅｂカメラ１０７の撮影領域がフレームＡで示された領域となるよう設定されている場合、Ｗｅｂカメラ１０７は、図１０に示すような画像を表す全体画像データを生成する。制御部１０１は生成された全体画像を自端末の表示部１０５に表示させる。
【００４０】
次にステップＳＣ１１０において、制御部１０１は上記全体画像から画像領域を選択する。以下では図１０に示す画像Ａにおいて、左上隅を原点（０、０）とし右下隅を（６３９、４７９）とする座標を用いて説明を行う。なお、該座標は画像データを表示する表示部１０５の画素に対応するものである。
【００４１】
参加者は、画像データの表示された表示部１０５を視認しながら操作部１０４を操作することにより、全体画像において参加者が写っている１または複数の領域（以下、詳細画像領域）を選択する。図１０においては、領域ＢおよびＣで表される領域が選択される。
なお、領域の指定方法には、長方形の一つの角とその向かい合う角の座標を用いる。例えば図中の領域Ｂおよび領域Ｃは、「（５０、２４０）−（３００、４００）」および「（３４０、２４０）−（５９０、４００）」と表される。以上のようにして選択された詳細画像領域の範囲を表すデータはＲＡＭ１０３ｂに書き込まれる。
【００４２】
次に、制御部１０１は、全体画像からステップＳＣ１１０で指定された詳細画像領域を除いた領域（フレーム画像領域；図１１斜線領域）からなる画像（以下、フレーム画像）を表すフレーム画像データを生成する（ステップＳＣ１２０）。そして制御部１０１は生成されたフレーム画像データを会議端末１０Ｂへ送信する（ステップＳＣ１３０）。なお、フレーム画像データを含むＲＴＰパケットのヘッダ部のペイロードタイプには“２”が、画像タイプには“１”が書き込まれる。会議端末１０Ｂは、該フレーム画像データを受信し、ＲＡＭ１０３ｂＢに書き込む。
【００４３】
さて、ステップＳＣ１００ないし１３０が終了すると、会議端末１０は音声データおよび画像データのデータ通信を開始する。音声データに関しては、音声入力部１０６Ａは遠隔会議開始後継続して音声を収音し、生成された音声データは会議端末１０Ｂに送信される。
【００４４】
一方、制御部１０１は、参加者の様子を伝える詳細画像データを以下のように生成する。Ｗｅｂカメラ１０７は会議室全体を撮影領域とする全体画像データ（Ｍｏｔｉｏｎ−ＪＰＥＧ方式の動画）をパラメータ調整処理において設定されたフレームレートで生成する。制御部１０１は、ＲＡＭ１０３ｂを参照することにより１または複数の詳細画像領域の範囲を特定し、上記全体画像データからそれぞれの領域を抽出し、Ｍｏｔｉｏｎ−ＪＰＥＧ方式の動画を生成する（ステップＳＣ１４０）。ステップＳＣ１５０において、制御部１０１Ａは生成された詳細画像データを会議端末１０Ｂに送信する。なお、詳細画像データを含むＲＴＰパケットのヘッダ部のペイロードタイプには“２”が、画像タイプには“２”が書き込まれ、区画情報にはそれぞれの詳細画像の全体画像における座標が書き込まれる。
【００４５】
以下では、会議端末１０Ａから音声データおよび画像データを受信した会議端末１０Ｂが行う動作を説明する。会議端末１０Ｂが音声データを受信すると、音声出力部１０８Ｂは該音声データの表す音声を再生する。
【００４６】
画像データは以下のように処理される。まず、会議端末１０Ｂはフレーム画像データを会議端末１０Ａから受信し、該フレーム画像データはＲＡＭ１０３ｂＢに書き込まれる。会議が開始されると会議端末１０Ａから詳細画像データを継続的に受信する。制御部１０１は、ＲＡＭ１０３ｂに書き込まれたフレーム画像データを読み出し、継続して表示部１０５に表示させると共に、会議端末１０Ａから受信した詳細画像データをフレーム画像と合成し表示部１０５において再生する。その結果、図１１に示すフレーム画像の領域は静止画像が表示され、詳細画像の領域については動画が表示される。すなわち表示部１０５において、全体画像の領域には会議開始時に撮影した机などが静止画として表示され、詳細画像の領域には参加者の動画映像がリアルタイムに表示される。
【００４７】
以上の処理により、会議端末１０Ｂを利用する参加者は、壁や机などの動かない物体が写った領域については会議中も会議開始時と同様であるため、会議開始時に受取ったフレーム画像で十分に様子をつかむことができる。一方、参加者などが写った領域については動画が表示されているため、その状況をリアルタイムに把握することができる。
以上のような画像データの通信を行うことにより、参加者が必要とする部分に関しては詳細な情報をやり取りすることができると共に、会議開催中に通信するデータは詳細画像の領域に限定されていることから、ネットワーク帯域を過大に利用することはない。
（Ｃ：変形例）
以上、本発明の実施形態について説明したが、本発明は以下に述べる種々の形態で実施することができる。
【００４８】
（１）上記実施例において、利用可能帯域幅測定処理、Ｗｅｂカメラ１０７のパラメータ調整処理、画像データ生成処理の各処理は会議端末１０が行う場合について説明したが、各処理を行う機能の付与対象はもちろん会議端末に限定されない。記憶装置に蓄積したデータをクライアント装置へ提供するサーバ装置や、Ｗｅｂカメラで生成したデータをリアルタイムにクライアント装置へ提供するサーバ装置などに適用しても良い。
【００４９】
（２）上記実施例において、本発明に係る会議端末に特徴的な機能をソフトウェアモジュールで実現する場合について説明したが、上記各機能を担っているハードウェアモジュールを組み合わせて本発明に係る会議端末を構成するようにしても良い。
【００５０】
（３）上述した実施形態では、画像データおよび音声データの通信にアプリケーション層の通信プロトコルとしてＲＴＰを用いる場合について説明したが、他の通信プロトコルを用いても良いことは勿論である。要は、所定のヘッダ部とペイロード部とを有するデータブロックのペイロード部に、画像データまたは音声データを所定時間分ずつ書き込んで送信する通信プロトコルであれば、どのような通信プロトコルであっても良い。また、上述した実施形態では、トランスポート層の通信プロトコルとしてＵＤＰを用いる場合について説明したが、ＴＣＰを用いるようにしても良い。同様にネットワーク層の通信プロトコルがＩＰに限定されるものではない。
【００５１】
（４）上述した実施形態では、画像データおよび音声データの送受信を行う場合について説明したが、データの種類はそれらに限られるものではない。会議の主旨によっては画像データのみを送受信しても良いし、資料データのようなものを併せて送っても良い。
【００５２】
（５）上記実施形態では、会議端末１０Ａおよび会議端末１０Ｂが通信網２０に有線接続されている場合について説明したが、通信網２０が例えば無線ＬＡＮ（Local Area Network）などの無線パケット通信網であり、会議端末１０Ａおよび会議端末１０Ｂが、この無線パケット通信網に接続されていても勿論良い。また、上記実施形態では通信網２０がインターネットである場合について説明したが、ＬＡＮであっても良いことは勿論である。要は、所定の通信プロトコルにしたがって行われる通信を仲介する機能を備えた通信網であれば、どのような通信網であっても良い。
【００５３】
（６）上記実施形態では、本発明に係る通信装置に特徴的な機能を制御部１０１に実現させるための制御プログラムをＲＯＭ１０３ａに予め書き込んでおく場合について説明したが、ＣＤ−ＲＯＭやＤＶＤなどのコンピュータ装置読み取り可能な記録媒体に上記制御プログラムを記録して配布するとしても良く、インターネットなどの電気通信回線経由のダウンロードにより上記制御プログラムを配布するようにしても勿論良い。
【００５４】
（７）上記実施形態では、詳細画像データを単位時間あたり所定のフレーム数を有する動画とする場合について説明したが、必要に応じて、または通信網の回線状況に応じて静止画を送信してもよい。この場合、フレーム画像データを構成する静止画に較べて、更新回数（すなわち、所定時間あたりに送信する画面の数）を多くする。
【００５５】
（８）上記実施形態では、フレーム画像データと詳細画像データとで同様の解像度およびＪＰＥＧ画像の圧縮率を用いる場合について説明したが、状況に応じてそれらのパラメータに差を設けても良い。
【００５６】
（９）上記実施形態では、遠隔会議の開始時のみフレーム画像データを送信する場合について説明したが、遠隔会議開始後にも適宜送信してフレーム画像を更新しても良い。
【００５７】
（１０）上記実施形態では、Ｗｅｂカメラ１０７はＭｏｔｉｏｎ−ＪＰＥＧ方式により画像データを生成する場合について説明した。しかし、画像の記録方式はＭｏｔｉｏｎ−ＪＰＥＧ方式に限定されず、ＭＰＥＧ（Moving Picture Experts Group）、ＪＰＥＧ  ２０００など他の方式を用いても良い。また、画像データを圧縮せずに送信しても良い。
【００５８】
（１１）上記実施形態では、詳細画像の領域を参加者が任意に選択する場合について説明したが、利用可能な帯域幅の値に応じて該領域の広さに制限を設けるようにしても良い。具体的には、利用可能帯域幅が狭いほど詳細画像の領域として設定される領域を制限し、より多くの領域をフレーム画像として送信するように設定しても良い。
【００５９】
（１２）上記実施形態では、詳細画像データとして長方形の領域を指定する場合について説明したが、該領域の形状は長方形に限定されない。要は時間と共に変化する領域と変化しない領域を区分することが目的であるから、形状は任意である。
【００６０】
（１３）上記実施形態では、Ｗｅｂカメラ１０７を一つだけ設置し、該Ｗｅｂカメラ１０７がフレーム画像データおよび詳細画像データの両者を生成する場合について説明した。しかし、詳細画像データについては領域ごとに別々のＷｅｂカメラ１０７が生成するようにしても良い。その際、Ｗｅｂカメラ１０７の設定を個別に設定し、撮影対象に合わせてその画像品質を設定することができる。
【００６１】
（１４）上記実施形態では、会議開始時に詳細画像の領域を設定し、該設定をそのまま用いる場合について説明した。しかし、会議開催中に領域の設定を見直すようにしても良い。具体的には、定期的にもしくは会議端末１０の管理者の操作に応じて、その時点のＷｅｂカメラ１０７の映し出す画像を表示部１０５に表示し、自端末を利用する参加者が領域を設定しなおすというようにしても良い。
【００６２】
（１５）上記実施形態では、フレーム画像の範囲は、詳細画像の領域を含まない場合について説明したが、フレーム画像は全領域を含んでいても良い。その場合、詳細画像はフレーム画像において対応する領域に上書きするように合成すればよい。
【００６３】
（１６）上記実施形態では、人物などが含まれる詳細画像の領域を参加者が手動で設定する場合について説明したが、Ｗｅｂカメラ１０７で撮影した全体画像を所定の方法で解析することにより例えば人物が含まれる領域を自動的に選択させても良い。上記方法の一例としては、以下のようにすれば良い。参加者は会議室の所定の位置に座っても、一般に左右前後に体が動く。その間Ｗｅｂカメラ１０７は所定のフレームレートで該参加者を含む会議室全体を表す動画を生成する。制御部１０１は生成された画像データを解析し、フレーム間で画像に差があった領域を参加者が含まれる領域と判定し、該領域を詳細画像の領域とする。なお、参加者は意図的に体を動かすことで、より正確に領域の選択を行わせることもできる。
【００６４】
（１７）上記実施形態では、Ｗｅｂカメラ１０７は１つ設置され、詳細画像データは全体画像データから抽出して生成する場合について説明した。しかし、Ｗｅｂカメラ１０７を複数設置し、各Ｗｅｂカメラ１０７がそれぞれ異なる詳細画像を生成するようにしても良い。具体的には以下のような実施形態が考えられる。Ｗｅｂカメラ１０７を５つ設置し、そのうち１台は会議室全体を撮影領域とする全体画像（静止画像）を生成し、遠隔会議開始時に一度だけ相手側の会議端末１０に送信する。他の４台はそれぞれ図９において参加者２ａ、２ｂ、２ｃ、および２ｄが含まれる領域を撮影領域とする詳細画像（動画）を生成し、上記実施形態における詳細画像データを生成し、会議中継続して相手側会議端末に送信する。相手側の会議端末１０の表示部１０５は、図１２に示すように５つの領域に区画化されており、それぞれの領域に各Ｗｅｂカメラ１０７により生成された画像を表示する。
以上処理により、相手側の会議端末１０を利用する参加者は、静止画により会議室全体の様子を知ることができると共に、動画により各参加者の様子を詳細に知ることができる。
【００６５】
（１８）上記実施形態では、Ｗｅｂカメラ１０７が動画からキャプチャーして静止画であるフレーム画像を生成する場合について説明した。しかし、まず動画データを生成し、そのフレームを「間引く」ことによりフレーム画像を生成するようにしても良い。
【図面の簡単な説明】
【００６６】
【図１】本発明に係る会議端末を含む会議システムの構成を示すブロック図である。
【図２】会議端末１０の構成を示すブロック図である。
【図３】送信レート管理テーブルの一例を示す図である。
【図４】ＲＴＰパケットの構成を示す図である。
【図５】会議室における会議端末および参加者の位置関係を示す図である。
【図６】パラメータ調整処理の流れを示すフローチャートである。
【図７】利用可能帯域幅測定処理の流れを示すフローチャートである。
【図８】画像データの送信処理の流れを示すフローチャートである。
【図９】会議端末１０の側から見た会議室の様子を示す図である。
【図１０】全体画像の一例である。
【図１１】フレーム画像領域の一例を示す図である。
【図１２】変形例（１７）における表示部１０５の表示態様の一例を表す図である。
【符号の説明】
【００６７】
１…会議システム、２ａ、２ｂ、２ｃ、２ｄ…参加者、３…机、１０、１０Ａ、１０Ｂ…会議端末、２０…通信網、１０１…制御部（画像データ生成手段）、１０２…通信ＩＦ部、１０３…記憶部（１０３ａ；ＲＯＭ、１０３ｂ；ＲＡＭ）、１０４…操作部、１０５…表示部、１０６…音声入力部（１０６ａ…マイクロホン、１０６ｂ…Ａ／Ｄコンバータ）、１０７…Ｗｅｂカメラ（画像データ生成手段）、１０８…音声出力部（１０８ａ…スピーカ、１０８ｂ…Ｄ／Ａコンバータ）、１０９…バス、１１０…エコーキャンセラ
【図１】
2009071580.tif 000003
【図２】
2009071580.tif 000004
【図３】
2009071580.tif 000005
【図４】
2009071580.tif 000006
【図５】
2009071580.tif 000007
【図６】
2009071580.tif 000008
【図７】
2009071580.tif 000009
【図８】
2009071580.tif 000010
【図９】
2009071580.tif 000011
【図１０】
2009071580.tif 000012
【図１１】
2009071580.tif 000013
【図１２】
2009071580.tif 000014