(57)【要約】【課題】画像データの送受信を行っても音声が途切れにくい通信装置を提供すること。【解決手段】通信装置は、通信網における利用できる帯域幅を測定し、算出した送信レートにあったデータ量の映像データであるエリアを選定して行う送信について、各通信装置が双方向に通信を行い、順次受信した映像データを直前の映像に上書きするようにして表示することにより、並行して行われる音声データの通信においてパケットロスを少なくして音声の欠落を減らすことができ、遠隔会議を効率よく行うことができる。【選択図】図７
2008141611.tif 000002
【特許請求の範囲】
【請求項１】
通信網に接続して他の通信装置と通信を行う通信装置であって、
撮影範囲内の第１のエリアの映像を第１の映像データとして生成する撮影手段と、
前記第１のエリアの一部分の範囲を第２のエリアとして設定するエリア設定手段と、
前記通信網を介して前記他の通信装置と通信を行うときに所定の確率以上で送信が成功する送信レートを継続的に測定する使用可能帯域幅測定手段と、
前記送信レートに基づいて、第１のエリアまたは第２のエリアを選択する選択手段と、
前記第２のエリアの映像を前記第１の映像データから切り出して第２の映像データを生成する映像データ切り出し手段と、
前記選択手段によって選択されたエリアを示す情報と当該エリアに対応する映像データとを前記他の通信装置へ送信する送信手段と
を具備することを特徴とする通信装置。
【請求項２】
通信網に接続して他の通信装置と通信を行う通信装置であって、
撮影範囲内の第１のエリアの映像を第１の映像データとして生成する撮影手段と、
前記第１のエリアの一部分の範囲を第２のエリアとして複数設定するエリア設定手段と、
前記複数の第２のエリアを組み合わせて１以上の第３のエリアを生成するエリア生成手段と、
音源からの音を収音して音声データを生成する収音手段と、
前記収音手段によって生成された音声データに基づいて、前記音源の方向を特定する音源方向特定手段と、
複数設定された第２のエリアから、前記特定された音源の方向に対応する位置を含む第２のエリアを選定する選定手段と、
前記通信網を介して前記他の通信装置と通信を行うときに所定の確率以上で送信が成功する送信レートを所定の時間ごとに順次測定する使用可能帯域幅測定手段と、
前記送信レートに基づいて、第１のエリアと、前記選定手段によって選定された第２のエリアと、前記選定手段によって選定された第２のエリアを含む第３のエリアとのいずれかから選択する選択手段と、
前記第２のエリアの映像を前記第１の映像データから切り出して第２の映像データを生成し、前記第３のエリアの映像を前記第１の映像データから切り出して第３の映像データを生成する映像データ切り出し手段と、
前記選択手段によって選択されたエリアを示す情報と当該エリアに対応する映像データとを前記他の通信装置へ送信する送信手段と
を具備することを特徴とする通信装置。
【請求項３】
前記収音手段は、複数のマイクロフォンを有し、
前記音源方向特定手段は、前記複数のマイクロフォンが音源からの音を収音することによって生成された各音声データに基づいて、前記音源の方向を特定することを特徴とする請求項２に記載の通信装置。
【請求項４】
前記映像切り出し手段は、前記送信レートに基づいて、データ量を低減するように圧縮した第３の映像データを生成することを特徴とする請求項２に記載の通信装置。
【請求項５】
前記映像切り出し手段は、前記送信レートに基づいて、データ量を低減するように圧縮した第２の映像データを生成することを特徴とする請求項１乃至請求項４のいずれかに記載の通信装置。
【請求項６】
前記他の通信装置からエリアを示す情報と当該エリアに対応する映像データとを受信する受信手段と、
前記受信手段が前記エリアを示す情報と前記映像データを受信したときに、その直前の映像データを再生して得られる映像の前記受信したエリアに対応する範囲に対して、前記受信した映像データを再生して得られる映像が上書きされて表示されるようにして、第４の映像データを生成する映像データ生成手段と
をさらに具備することを特徴とする請求項１乃至請求項５のいずれかに記載の通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像データを送受信する技術に関する。
【背景技術】
【０００２】
近年、ネットワーク経由で映像データや音声データの通信を行うことにより、遠隔地において会議を行うことができる会議システムがある。一般に映像データは、音声データに比べて情報量が多く、また、近年の映像撮影用のカメラの高性能化に伴う画像品質の向上により、映像データの情報量がさらに大きくなっていることから、通信時においてネットワークへの負荷が大きくなりやすい。この状況において、映像と音声を同期させて通信を行おうとすると、映像データの情報量の多さによるネットワークの負荷の増大により、音声が途切れてしまうことがあり、会議を行う際の問題となっていた。そのため、画像データの送信量を減らすために、特許文献１に開示されている技術を利用して、映像に変化があったときのみ映像データを送信することにより、ネットワークの負荷の低減を行うことも考えられている。
【特許文献１】特開平１１−２２５３２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１のように映像の変化の有無についての判断は、会議システムの制御部であるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの負荷が非常に大きいものであり、データ処理に時間がかかってしまう。そのため、この技術を会議システムに応用した場合、映像データの送信が音声データの送信よりも遅れること、また、頻繁に映像の変化が起こる場合には、映像データを多く送信することになり、音声が途切れてしまうこともあった。さらにＣＰＵの高性能化を行う必要があり、非常にコストがかかるものであった。
【０００４】
本発明は、上述の事情に鑑みてなされたものであり、画像データの送受信を行っても音声が途切れにくい送信装置、受信装置および通信装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述の課題を解決するため、本発明は、通信網に接続して他の通信装置と通信を行う通信装置であって、撮影範囲内の第１のエリアの映像を第１の映像データとして生成する撮影手段と、前記第１のエリアの一部分の範囲を第２のエリアとして設定するエリア設定手段と、前記通信網を介して前記他の通信装置と通信を行うときに所定の確率以上で送信が成功する送信レートを継続的に測定する使用可能帯域幅測定手段と、前記送信レートに基づいて、第１のエリアまたは第２のエリアを選択する選択手段と、前記第２のエリアの映像を前記第１の映像データから切り出して第２の映像データを生成する映像データ切り出し手段と、前記選択手段によって選択されたエリアを示す情報と当該エリアに対応する映像データとを前記他の通信装置へ送信する送信手段とを具備することを特徴とする通信装置を提供する。
【０００６】
また本発明は、通信網に接続して他の通信装置と通信を行う通信装置であって、撮影範囲内の第１のエリアの映像を第１の映像データとして生成する撮影手段と、前記第１のエリアの一部分の範囲を第２のエリアとして複数設定するエリア設定手段と、前記複数の第２のエリアを組み合わせて１以上の第３のエリアを生成するエリア生成手段と、音源からの音を収音して音声データを生成する収音手段と、前記収音手段によって生成された音声データに基づいて、前記音源の方向を特定する音源方向特定手段と、複数設定された第２のエリアから、前記特定された音源の方向に対応する位置を含む第２のエリアを選定する選定手段と、前記通信網を介して前記他の通信装置と通信を行うときに所定の確率以上で送信が成功する送信レートを所定の時間ごとに順次測定する使用可能帯域幅測定手段と、前記送信レートに基づいて、第１のエリアと、前記選定手段によって選定された第２のエリアと、前記選定手段によって選定された第２のエリアを含む第３のエリアとのいずれかから選択する選択手段と、前記第２のエリアの映像を前記第１の映像データから切り出して第２の映像データを生成し、前記第３のエリアの映像を前記第１の映像データから切り出して第３の映像データを生成する映像データ切り出し手段と、前記選択手段によって選択されたエリアを示す情報と当該エリアに対応する映像データとを前記他の通信装置へ送信する送信手段とを具備することを特徴とする通信装置を提供する。
【０００７】
また、別の好ましい態様において、前記収音手段は、複数のマイクロフォンを有し、前記音源方向特定手段は、前記複数のマイクロフォンが音源からの音を収音することによって生成された各音声データに基づいて、前記音源の方向を特定してもよい。
【０００８】
また、別の好ましい態様において、前記映像切り出し手段は、前記送信レートに基づいて、データ量を低減するように圧縮した第３の映像データを生成してもよい。
【０００９】
また、別の好ましい態様において、前記映像切り出し手段は、前記送信レートに基づいて、データ量を低減するように圧縮した第２の映像データを生成してもよい。
【００１０】
また、別の好ましい態様において、前記他の通信装置からエリアを示す情報と当該エリアに対応する映像データとを受信する受信手段と、前記受信手段が前記エリアを示す情報と前記映像データを受信したときに、その直前の映像データを再生して得られる映像の前記受信したエリアに対応する範囲に対して、前記受信した映像データを再生して得られる映像が上書きされて表示されるようにして、第４の映像データを生成する映像データ生成手段とをさらに具備してもよい。
【発明の効果】
【００１１】
本発明によれば、画像データの送受信を行っても音声が途切れにくい通信装置を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態について説明する。
【００１３】
＜実施形態＞
図１は、本発明の本実施形態に係る通信装置を含む通信システム１の構成を示すブロック図である。通信システム１は、通信装置１００ａと通信装置１００ｂと通信網１０とを有し、通信装置１００ａおよび通信装置１００ｂは、通信網１０に有線接続または無線接続されている。通信装置１００ａおよび通信装置１００ｂは同じ構成であって、以下、通信装置１００ａおよび通信装置１００ｂを区別する必要が無いときには、両者を通信装置１００という。なお、ここでは２台の通信装置１００が通信網１０に接続されているが、３台以上の通信装置１００が接続されていてもよい。
【００１４】
本実施形態では、通信プロトコルとして以下に述べる各通信プロトコルが用いられている。アプリケーション層の通信プロトコルとして、音声データおよび映像データの転送にはＲＴＰ（Ｒｅａｌ−ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ）が用いられている。ＲＴＰとは、音声データや映像データをｅｎｄ−ｔｏ−ｅｎｄでリアルタイムに送受信する通信サービスを提供するための通信プロトコルであり、その詳細はＲＦＣ１８８９に規定されている。ＲＴＰにおいては、ＲＴＰパケットを生成し送受信することにより通信装置同士でデータの授受が行われる。また、トランスポート層の通信プロトコルとしては、ＵＤＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ）が用いられており、ネットワーク層の通信プロトコルとしてはＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）が用いられている。上記の通信装置１００ａおよび通信装置１００ｂには、それぞれにＩＰアドレスが割り振られており、ネットワーク上で一元的に識別される。なお、ＵＤＰおよびＩＰについては、一般に広く用いられている通信プロトコルであるため説明を省略する。
【００１５】
次に、通信装置１００の構成について説明する。図２は、通信装置１００の構成を示すブロック図である。なお、以下の説明において、通信装置１００の構成が通信装置１００ａまたは通信装置１００ｂのいずれかに属するものであるかを区別する必要があるときには、通信装置１００ａのＣＰＵ１０１をＣＰＵ１０１ａのようにアルファベットを付して記載する。
【００１６】
ＣＰＵ１０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３にロードして実行することにより、通信装置１００の各部について、バス１１０を介して制御する。ＲＡＭ１０３は、さらに音声入力部１０４から出力された音声データ、映像入力部１０５から出力された映像データ、通信網１０を介して受信した音声データ、映像データなどを記憶する。また、ＣＰＵ１０１が記憶された各データの加工などを行う際のワークエリアとして機能する。
【００１７】
音声入力部１０４は、マイクアレイとＡ／Ｄコンバータを有する。Ａ／Ｄコンバータは、マイクアレイから入力されたアナログ信号の音声信号をアナログデジタル変換してデジタル信号の音声データを生成する。マイクアレイは、水平方向に並んだ複数のマイクロフォンを有している。ＣＰＵ１０１は、ある音源からの放音を複数のマイクロフォンで収音することによって、それぞれ生成された音声データを解析し、各マイクロフォンへの音の到達時間のずれを計算して、音源の位置について通信装置１００から見た場合の水平方向の角度として特定することができる。
【００１８】
例えば、図３に示すように、特定の音源Ｓからの放音を４台のマイクロフォン１０４１、１０４２、１０４３、１０４４によって収音した場合、音源Ｓから各マイクロフォン１０４１、１０４２、１０４３、１０４４までの距離の違いから、音の到達時間がずれることになる。例えば、音源Ｓからマイクロフォン１０４１までの距離はマイクロフォン１０４４までの距離よりｄだけ長いので、マイクロフォン１０４１は、音源Ｓから放出された音をマイクロフォン１０４４よりｄ／ｖ（ｖ：音速）だけ遅く収音する。すなわち、ＣＰＵ１０１は、音声入力部１０４から出力された音声データを解析し、この時間のずれを計算することにより、音源Ｓから各マイクロフォン１０４１、１０４２、１０４３、１０４４までの距離の違いをそれぞれ算出できることになり、音源Ｓの位置について水平方向の角度θを特定することができる。ここで、θは、水平方向に並んだ複数のマイクロフォンと垂直な方向Ｍ（本実施形態においては、通信装置１００の正面方向）を０度として規定されている。なお、音源Ｓの方向だけでなく、距離についても算出することは可能であるが、本実施形態においては、方向のみ特定するものとする。また、複数の音源から放音されていても、それぞれの音源の方向を特定することが可能であるが、本実施形態においては、最も音量の大きい方向を音源の方向として特定する。
【００１９】
映像入力部１０５は、ＣＣＤやＣＭＯＳなどのイメージセンサを有し、イメージセンサによって所定の画像サイズ（ピクセル数）および単位時間あたりのフレーム数で撮影し、映像データを生成する。本実施形態においては、映像入力部１０５のイメージセンサと音声入力部１０４のマイクロフォンは、通信装置１００に固定されている。このように固定することにより、イメージセンサの撮影範囲に存在する音源とＣＰＵ１０１が特定する音源の方向との位置関係が保たれることになる。例えば、図４に示すように、水平方向の角度θはイメージセンサの撮影範囲の中心方向Ｍを０度し、図中の右側については正の値、左側は負の値とする。ここで、図４は、イメージセンサの撮影範囲について、水平に並んだ複数のマイクロフォンを含む面によって切ったときの断面図であり、図中の右側は以下に示す表示部１０７に映像を表示したときには、画面の右側に表示される。
【００２０】
操作部１０６は、例えばキーボードやマウスなどであり、通信装置１００の操作者が操作部１０６を操作すると、その操作内容を表すデータがＣＰＵ１０１へ出力される。
【００２１】
表示部１０７は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。
【００２２】
音声出力部１０８は、入力された音声データを放音するものであって、スピーカとＤ／Ａコンバータを有している。Ｄ／Ａコンバータは、入力されたデジタル信号の音声データをデジタルアナログ変換してアナログ信号の音声信号を生成しスピーカへ出力する。スピーカは、入力された音声信号を放音する。
【００２３】
通信ＩＦ（インタフェイス）１０９は、例えば、ＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）であり、通信網１０に接続されている。この通信ＩＦ１０９は、送信すべき音声データ及び映像データなどの各種データについてのＲＴＰパケットを生成し、下位層の通信プロトコルにしたがって順次カプセル化することにより得られるＩＰパケットを通信網１０へ送信する。なお、カプセル化とは、上記ＲＴＰパケットをペイロード部に書き込んだＵＤＰパケットを生成し、さらに、そのＵＤＰパケットをペイロード部に書き込んだＩＰパケットを生成することである。また、通信ＩＦ１０９は、通信網１０からＩＰパケットを受信し、上記カプセル化とは逆の処理を行うことにより、そのＩＰパケットにカプセル化されているＲＴＰパケットを読み出したデータをＣＰＵ１０１に出力する。
【００２４】
ここで、音声データ及び映像データのＲＴＰパケット化について説明する。ＲＴＰパケットは、ＩＰにおけるデータ転送単位であるパケットと同様に、ペイロード部に対してヘッダ部が付与され構成されている。
【００２５】
ヘッダ部には、タイムスタンプ、ペイロードタイプ、シーケンス番号、およびエリア情報の４種類のデータがセットされる。ここで、タイムスタンプとは、時刻（通信の開始を指示がなされてから経過した時間）を示すデータである。ペイロードタイプとは、通信メッセージの種別をその通信メッセージの宛先に識別させるためのデータである。本実施形態で利用されるメッセージ種別には、映像データ送信メッセージ、音声データ送信メッセージ、テストデータ送信メッセージ、受信通知メッセージの４種類がある。そして、これらのメッセージに対して、ペイロードタイプには、それぞれ「１」、「２」、「３」、「４」の４種類の数字が書き込まれる。シーケンス番号とは、各パケットを一意に識別するための識別子であり、例えば１つの音声データが複数のＲＴＰパケットに分割されて送信される際に、各パケットに対して１、２、３、・・・のようにシーケンス番号が付与される。エリア情報とは、映像データ送信メッセージの際に、当該ＲＴＰパケットに含まれる映像データがどのエリアに該当する映像であるかを規定する情報であり、そのエリアを示す座標の情報が書き込まれる。エリアについては、パーソナルエリア、アクティブエリア、オールエリアがあるが、その詳細は後述する。
【００２６】
ペイロード部には、例えば映像データ送信メッセージ、音声データ送信メッセージにおいては、それぞれ所定時間分の映像データ、音声データが書き込まれる。また、テストデータ送信メッセージにおいてはテストデータ、受信通知メッセージにおいては、受取ったパケットのシーケンス番号が書き込まれる。テストデータ送信メッセージ、受信通知メッセージについての説明は後述する。
【００２７】
次に、通信システム１を用いて遠隔会議を行う際に、通信装置１００のＣＰＵ１０１が、ＲＯＭ１０２に記憶されているプログラムを実行することにより実現する動作について説明する。
【００２８】
ここで、本実施形態においては、部屋ａと部屋ｂとの間において遠隔会議が行われ、部屋ａには通信装置１００ａが設置され、５名の参加者２０１、２０２、・・・、２０５が会議に参加しており、部屋ｂには通信装置１００ｂが設置され、３名の参加者３０１、３０２、３０３が会議に参加しているものとする。そして、それぞれの通信装置１００は、映像入力部１０５のイメージセンサによって机２００、３００付近に座っている参加者を撮影するように設置されている。ここで、図５は、通信装置１００ａの映像入力部１０５ａの撮影対象を示している図であり、この撮影範囲の映像データが通信装置１００ｂに送信されることにより、通信装置１００ｂの表示部１０７ｂに表示される映像となる。図６は通信装置１００ｂの映像入力部１０５ｂの撮影対象を示している図であり、この撮影範囲の映像データが通信装置１００ａに送信されることにより、通信装置１００ａの表示部１０７ａに表示される映像となる。
【００２９】
まず、遠隔会議の開始前にパーソナルエリアの設定が行われる。ここで、パーソナルエリアの設定について図５、図６を用いて説明する。部屋ａの参加者は、表示部１０７ａの映像を確認しながら操作部１０６ａを操作して、部屋ｂにいる参加者の位置を指定する。この際、通信装置１００ａは、撮影して生成した映像データを加工せずに通信装置１００ｂに送信してもよいし、単位時間当たりのフレーム数を削減することにより、静止画に近い状態で送信してもよい。この位置の指定は、図６の破線で示したように、表示部１０７ａに表示されている参加者３０１、３０２、３０３を四角で囲むようにして行われる。ＣＰＵ１０１ａは、このそれぞれの四角の範囲をそれぞれのパーソナルエリアとして認識する。この際、ＣＰＵ１０１ａは、パーソナルエリアを四角の左上と右下の点の座標（ピクセル単位）によって認識する。これは、画面の位置をピクセル数で表した際に、画面の左上を（０，０）として、その点から右にｘピクセル、下にｙピクセル移動した点が（ｘ，ｙ）とした場合に、左上の座標（ｘＬ，ｙＬ）と右下の座標（ｘＲ，ｙＲ）として、１つのパーソナルエリアが認識される。以下、画面の右方向をｘ方向とし、その座標をｘ座標、下方向をｙ方向とし、その座標をｙ座標という。
【００３０】
そして、通信装置１００ａのＣＰＵ１０１ａは、通信装置１００ｂに対して認識した３つのパーソナルエリアに関する情報を送信して、通信装置１００ｂの映像入力部１０５ｂの撮影範囲におけるパーソナルエリアの位置をＣＰＵ１０１ｂに認識させる。部屋ｂについても、部屋ａと同様に通信装置１００ｂの操作が行われ、通信装置１００ａの映像入力部１０５ａの撮影範囲におけるパーソナルエリアの位置をＣＰＵ１０１ａに認識させる。以下、参加者２０１に対応するパーソナルエリアはＰＳＡ２０１、参加者２０２に対応するパーソナルエリアはＰＳＡ２０２として表記し、他の参加者に対応するパーソナルエリアも同様にして表記し、ＰＳＡ２０１の左上の座標は（ｘＬ２０１，ｙＬ２０１）とし、右下の座標は（ｘＲ２０１，ｙＬ２０１）という。また、各参加者で区別する必要が無い場合は、単にパーソナルエリアといい、左上の座標は（ｘＬ，ｙＬ）、右下の座標は（ｘＲ，ｙＲ）というものとする。
【００３１】
次に、各通信装置１００のＣＰＵ１０１は、認識したパーソナルエリアを複数組み合わせて、以下に説明するようなアクティブエリアを生成して認識するとともに、撮影範囲全体をオールエリアとして認識する。アクティブエリアは、複数のパーソナルエリアを含み、かつ最小の大きさになる四角の範囲によって生成される。すなわち、アクティブエリアの左上の座標は、複数のパーソナルエリアの左上の座標のうち最小のｘＬ（ｘＬｍｉｎ）と最小のｙＬ（ｙＬｍｉｎ）によって決まり、右下の座標は、同パーソナルエリアの右下の座標のうち最大のｘＲ（ｘＲｍａｘ）とｙＲ（ｙＲｍａｘ）によって決まることにより、アクティブエリアの左上の座標は（ｘＬｍｉｎ，ｙＬｍｉｎ）、右下の座標は（ｘＲｍａｘ，ｙＲｍａｘ）となる。
【００３２】
ここで、画面上の全てのパーソナルエリアを含むアクティブエリアをオールアクティブエリアといい、図５、図６の２点鎖線で表した部分に該当する。図５の場合は、左上の座標（ｘＬｍｉｎ，ｙＬｍｉｎ）は（ｘＬ２０１，ｙＬ２０３）、右下の座標（ｘＲｍａｘ，ｙＲｍａｘ）は（ｘＲ２０５，ｙＲ２０１）となる。なお、アクティブエリアは、近接する２つのパーソナルエリアを始めとして、様々なパーソナルエリアの組み合わせによって生成することができるが、本実施形態においては、アクティブエリアはオールアクティブエリアのみが、ＣＰＵ１０１によって生成されて認識されているものとし、以下では、オールアクティブエリアについてもアクティブエリアという。
【００３３】
オールエリアについては、撮影範囲全体であるため、左上の座標は（０，０）、右下の座標は（ｘｍａｘ，ｙｍａｘ）となる。ここで、ｘｍａｘは撮影範囲全体のｘ方向のピクセル数から１引いた数字、ｙｍａｘは撮影範囲全体のｙ方向のピクセル数から１引いた数字となり、撮影範囲のピクセル数が６４０×４８０である場合には、ｘｍａｘ＝６３９、ｙｍａｘ＝４７９となる。これにより、各通信装置１００の各ＣＰＵ１０１は、各通信装置１００が設置された部屋についてのオールエリア、アクティブエリア、および各パーソナルエリアを座標として認識することになる。なお、パーソナルエリアが複数存在しない場合には、アクティブエリアはパーソナルエリアと同一として扱えばよい。
【００３４】
パーソナルエリアの設定が終了すると、映像データと音声データの通信が開始される。音声データについては、音声データ送信メッセージとして、通信ＩＦ１０９によって、ＩＰパケット化されて送信される。映像データに関しては、映像データ送信メッセージとして、通信ＩＦ１０９によって、ＩＰパケット化されて送信されるが、ネットワークの利用可能帯域幅によって送信方法が異なる。以下、映像データの送信について、通信装置１００ａが通信装置１００ｂに送信を行う場合を例として図７のフローチャートを用いて説明する。なお、通信装置１００ｂから通信装置１００ａに送信を行うときについては、以下の説明と同様に行われるため説明を省略する。
【００３５】
映像データの送信が開始されると、まず、通信装置１００ａのＣＰＵ１０１ａは、通信ＩＦ１０９ａを介して、通信装置１００ｂに対してオールエリアの映像データを送信する（Ｓ１００）。この映像データの送信は、静止画としての認識ができる程度でよいので、１フレーム分だけでもよい。次に、通信装置１００ａは、利用可能帯域幅測定を行う（Ｓ１１０）。
【００３６】
ここで、利用可能帯域幅測定について説明する。利用可能帯域幅測定とは、通信装置１００ａが通信網１０を介して通信装置１００ｂと通信を行う際に、その通信網１０にて利用することのできる最大の通信帯域幅の測定を行うことをいう。まず、ＣＰＵ１０１ａは、パケットを送信する際の送信間隔を決定する。次に、ＣＰＵ１０１ａは、映像データと同等なテストデータを生成し、通信ＩＦ１０９ａは、テストデータがＲＴＰパケットのペイロード部に書き込まれた複数のテストデータ送信メッセージが、それぞれカプセル化されることにより複数のＩＰパケットとして生成され、決定した送信間隔において各ＩＰパケットを通信装置１００ｂに送信する。このとき、ＣＰＵ１０１ａは、送信した各ＲＴＰパケットのシーケンス番号をＲＡＭ１０３ａに記憶させる。
【００３７】
通信装置１００ｂのＣＰＵ１０１ｂは、テストデータ送信メッセージの受信を認識したら、通信ＩＦ１０９ｂにおいて受信した各パケットのシーケンス番号が書き込まれた受信通知メッセージが、ＩＰパケットとして生成され、通信装置１００ａに送信される。通信装置１００ａのＣＰＵ１０１ａは、受信した受信通知メッセージと送信したテストデータ送信メッセージから、テストデータの送信におけるパケットロスの発生率（受信されなかったパケット数／送信したパケット数）を算出する。
【００３８】
そしてパケットロスが所定の発生率未満であった場合は、送信間隔を短くして同様の処理を行うことにより、パケットロスの発生率を再度算出する。逆に所定の発生率以上であった場合には、送信間隔を長くして同様の処理を行うことにより、パケットロスの発生率を再度算出する。ここで、送信間隔が短くなると単位時間当たりの送信データ量すなわち送信レートは大きくなる一方、送信間隔が長くなると送信レートは小さくなる。そして、利用可能な帯域幅に比較して送信レートが小さい場合にはパケットロスの発生率は少なく、送信レートが利用可能な帯域幅に対して大きくなるに従って、パケットロスの発生率が高くなる。そのため、パケットロスが多く発生する場合には、通信帯域幅を大きく超えていることを意味する。これらの処理を行って、パケットロスが所定の発生率未満になる最短の送信間隔を決定することにより、利用可能な帯域幅の送信レートを算出することができる。
【００３９】
以下、図７のフローチャートに戻って説明を続ける。ＣＰＵ１０１ａは、利用可能帯域幅測定を行って、通信網１０において利用可能な送信レートの最大値を算出する（Ｓ１１０）。
【００４０】
次に、送信する映像データとして、どのエリアの映像を送信するかを決定する。まず、ＣＰＵ１０１ａは、オールエリアに対応する映像データが、算出した送信レートにおいて送信できるデータ量であるかを判断する（Ｓ１２０）。送信できるデータ量である場合には、ＲＴＰパケットのヘッダ部にあるエリア情報に、オールエリアに対応する座標を書き込み、また、オールエリアの映像データをペイロード部に書き込んだ映像データ送信メッセージとして、通信ＩＦ１０９ａを介して通信装置１００ｂへ送信する（Ｓ１２１）。そして、この映像データの送信は、一定時間続けられる。
【００４１】
一方、送信できないデータ量である場合には、ＣＰＵ１０１ａは、アクティブエリアに対応する映像データのみを切り出した場合に、算出した送信レートにおいて送信できるデータ量であるかを判断する（Ｓ１３０）。送信できる場合には上記同様、アクティブエリアに対応する座標をＲＴＰパケットのヘッダ部にあるエリア情報に書き込み、ＣＰＵ１０１ａが切り出したアクティブエリアに対応する映像データをペイロード部に書き込んだ映像データ送信メッセージとして、通信ＩＦ１０９ａを介して通信装置１００ｂへ送信する（Ｓ１３１）。そして、この映像データの送信は、一定時間続けられる。
【００４２】
さらに、アクティブエリアに対応する映像データであっても送信できないデータ量である場合には、ＣＰＵ１０１ａは、さらにデータ量の少ないパーソナルエリアに対応する映像データでの送信を試みるが、パーソナルエリアが複数存在するため、まずパーソナルエリアの選定を行う（Ｓ１４０）。これは、部屋ａの参加者のうち、話をしている参加者（以下、話者という）に対応するパーソナルエリアを選定することによって行われる。これは、上述したように、音声入力部１０４ａのマイクアレイが話者の声を収音して、その音声データをＣＰＵ１０１ａが解析して、話者の方向（水平方向の角度θ）を特定し、パーソナルエリアの座標と対応させて、話者に対応するパーソナルエリアを選定する。
【００４３】
ここで、水平方向の角度θとパーソナルエリアの座標との対応は、以下のように行われる。水平方向の角度θは、水平方向のみを示しているため、角度θを水平方向の座標であるｘ座標に変換することができる。この変換について図８を用いて説明する。図８は、ｙ方向から見た撮影範囲を示したものである。αは映像入力部１０５のイメージセンサの受光面であり、焦点Ｆは撮影範囲の端部と受光面αの端部をそれぞれ結んだときの交点を示している。受光面αの左端の点Ｏはｘ座標の原点であり、右端の点のｘ座標はｘｍａｘである。マイクアレイを用いて特定した話者の水平方向の角度θは、本実施形態に置いては、焦点Ｆから受光面αへの垂線ＦＭからの角度とほぼ同じになっている。ここで、焦点Ｆから話者の方向への直線は、受光面α上の点Ｐと交わり、その座標ｘｓはｘｍ＋ｆａ×ｔａｎθとして計算できる。ｘｍは受光面の中心Ｍの座標（ｘｍ＝ｘｍａｘ／２）であり、ｆａは中心Ｍと焦点Ｆの距離である。ＣＰＵ１０１ａは、このようにして得られた座標ｘｓと各パーソナルエリアの座標ｘＬ、ｘＲとを比較し、ｘｓがｘＬとｘＲの間になるパーソナルエリアを選定する。例えば、ｘｓがｘＬ２０４以上ｘＲ２０４以下であれば、ＰＳＡ２０４が選定されることになる。
【００４４】
図７に戻って説明を続ける。ＣＰＵ１０１ａは、上述のようにパーソナルエリアの選定した後、選定されたパーソナルエリアに対応する映像データのみを切り出した場合に、算出した送信レートにおいて送信できるデータ量であるかを判断する（Ｓ１５０）。送信できるデータ量である場合には上記同様、当該パーソナルエリアに対応する座標をＲＴＰパケットのヘッダ部にあるエリア情報に書き込み、ＣＰＵ１０１ａが切り出した当該パーソナルエリアに対応する映像データをペイロード部に書き込んだ映像データ送信メッセージとして、通信ＩＦ１０９ａを介して通信装置１００ｂへ送信する（Ｓ１５１）。そして、この映像データの送信は、一定時間続けられる。
【００４５】
さらに、パーソナルエリアに対応する映像データであっても送信できないデータ量である場合には、ＣＰＵ１０１ａは、算出した送信レートにおいて送信できるデータ量までパーソナルエリアの映像データを圧縮してデータ量を低減し、当該パーソナルエリアに対応する座標をＲＴＰパケットのヘッダ部にあるエリア情報に書き込み、当該パーソナルエリアに対応する圧縮された映像データをペイロード部に書き込んだ映像データ送信メッセージとして、通信ＩＦ１０９ａを介して、通信装置１００ｂへ送信する（Ｓ１６０）。そして、この映像データの送信は、一定時間続けられる。ここで、映像データの圧縮は、フレーム数の削減、ピクセル数の間引き、色数、階調数の低減などを行うことによって行われる。このような映像データを送信して、後述するようにして通信装置１００ｂの表示部１０７ｂに表示させると、見た目にも大きく変化することになり、利用可能な帯域幅が狭くなっていることが、視覚的に参加者が判断することもできる。
【００４６】
これらの処理によって、利用可能帯域幅測定によって得られた適切な送信レートで送信できるデータ量の映像データを送信することができるが、送信する映像データのデータ量が変化したときには、ＲＴＰパケット生成時に、ペイロード部に書き込む映像データの量を変化させて、パケットの送信間隔が同じになるようにしてもよいし、ペイロード部に書き込む映像データの量は同じにして、送信間隔を変化させてもよいし、ペイロード部に書き込む映像データの量を変化させ、さらに送信間隔を変化させてもよい。これらの選択は、ＲＴＰパケット生成時に、ＣＰＵ１０１ａが最適な方法を選択すればよい。
【００４７】
そして、映像データが一定時間送信された後に、ＣＰＵ１０１ａは、通信終了かどうか判断（Ｓ１７０）し、通信終了でない場合は、再び利用可能帯域幅測定（Ｓ１１０）から処理を行う。通信終了である場合は、映像データの送信を停止する。この通信終了かどうかについては、いずれかの部屋の参加者が通信装置１００の操作部１０６を操作して、通信を終了させる指示をだしたかどうかによって判断する。
【００４８】
以上、映像データの送信方法について説明したが、通信装置１００ａから送信された映像データを通信装置１００ｂが受信して、表示部１０７ｂに表示するまでの説明を行う。
【００４９】
まず、通信が開始されると、通信装置１００ｂは、オールエリアの映像データを受信し、ＣＰＵ１０１ｂは、その映像を表示部１０７ｂに表示させる。その後、通信装置１００ｂは、順次映像データを受信する。ここで、ＣＰＵ１０１ｂは、ＲＴＰパケットのヘッダ部にあるエリア情報に書き込まれている左上、右下の座標を読み取ることにより、画面上のどのエリアに該当する映像データであるかを認識する。
【００５０】
そして、ＣＰＵ１０１ｂは、直前の映像データ（最後のフレームの画像に相当）をＲＡＭ１０３ｂに記憶させ、送信されてきたデータの映像データを認識した画面上のエリアに位置するようにして、ＲＡＭ１０３ｂに記憶した直前の映像データに合成して新たな映像データを生成し、この生成した映像データを表示部１０７ｂに出力し、表示部１０７ｂに映像を表示させる。そして、通信装置１００ａからＩＰパケットを受信する度に順次この処理が行われる。
【００５１】
このようにすると、表示部１０７ｂには、その直前まで表示されていた映像を停止した後に、認識した座標に該当する部分のみに映像が上書きするようにして表示される。例えば、オールエリアの映像を表示しているときに、パーソナルエリアのＰＳＡ２０２に該当する映像データを受信した場合には、オールエリアの映像を停止（そのとき再生していたフレームの映像の静止画となる）し、停止したオールエリアの映像に上書きしてＰＳＡ２０２に該当する部分の映像を再生する。すなわち、ＰＳＡ２０２以外の部分については、映像が停止したまま、静止画のようになっている。このようにして、通信装置１００ｂの表示部１０７ｂには、送信されてきたエリア情報に該当する部分の映像が、直前の映像を順次上書きしながら表示される。
【００５２】
以上、通信装置１００ａから通信装置１００ｂへ、映像データを送信した場合について説明したが、これらの処理は、通信装置１００ｂから通信装置１００ａに対しても行われ、通信装置１００ａと通信装置１００ｂとの間において双方向で行われることになる。そして、音声入力部１０４において収音されて生成された音声データについても、映像データと並行して双方向に通信が行われる。
【００５３】
このようにして、通信装置１００は、通信網１０における利用できる帯域幅を測定し、算出した送信レートにあったデータ量の映像データであるエリアを選定して行う送信について、通信装置１００ａと通信装置１００ｂが双方向に通信を行い、順次受信した映像データを直前の映像に上書きするようにして表示することにより、並行して行われる音声データの通信においてパケットロスを少なくして音声の欠落を減らすことができ、遠隔会議を効率よく行うことができる。
【００５４】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【００５５】
＜変形例１＞
実施形態においては、音声入力部１０４が、複数の話者からの放音を収音した場合には、ＣＰＵ１０１ａは、最大の音量の方向を話者の方向として計算したが、それぞれの話者の方向を計算してもよい。この場合は、ＣＰＵ１０１ａは、パーソナルエリアの選定を複数行うことになるが、当該複数のパーソナルエリアの部分をそれぞれ抜き出した映像データを送信すればよい。なお、複数のパーソナルエリアに係る映像データを送信する代わりに、上述したような方法で当該複数のパーソナルエリアからアクティブエリアを生成し、当該アクティブエリアの部分を抜き出した映像データを送信するようにしてもよい。このようにすると、複数の話者がいても対応可能であり、さらにＣＰＵ１０１ａによって算出された送信レートにあわせた映像データの送信を行うことができる。
【００５６】
＜変形例２＞
実施形態においては、参加者が設定したパーソナルエリアについては、ｘ座標の範囲が重複しないように設定されていたが、重複するように設定してもよい。例えば、図９に示すように、ＰＳＡ２０２とＰＳＡ２０３において重複する場合、すなわちｘＲ２０２よりｘＬ２０３が小さくなる場合には、重複部分の中心のｘ座標（ｘＲ２０２＋ｘＬ２０３）／２として、ＣＰＵ１０１ａは、ＰＳＡ２０２とＰＳＡ２０３の境界を認識すればよい。なお、中心部分で分けずに、この重複部分に話者がいると計算された場合は、図中の２点鎖線のように、ＣＰＵ１０１ａは、ＰＳＡ２０２とＰＳＡ２０３からアクティブエリアを生成し、当該アクティブエリアに係る映像データを送信するようにしてもよい。このようにすれば、参加者が多い場合に、パーソナルエリアの設定が困難であっても、実施形態と同様な効果を得ることができる。
【００５７】
＜変形例３＞
実施形態においては、音声入力部１０４にはマイクアレイを用い、これを利用して話者の方向をＣＰＵ１０１が計算していたが、マイクアレイの代わりにそれぞれ参加者の前にマイクロフォンを用意し、これらのマイクロフォンの収音によって生成された音声データの音量からＣＰＵ１０１が話者を特定するようにしてもよい。この場合は、各マイクロフォンとパーソナルエリアの対応を参加者が操作部１０６を操作して、ＣＰＵ１０１に認識させればよい。このようにすると、より正確な話者の位置を特定することができる。
【００５８】
＜変形例４＞
実施形態においては、ＲＴＰパケットのヘッダ部にあるエリア情報には、送信する映像データの座標の情報を書き込まれていたが、座標ではなく、各エリアを番号によって置き換えた数値を書き込まれるようにしてもよい。この場合には、各通信装置１００において、パーソナルエリアの座標の情報を送受信する際に、各パーソナルエリアに対応させてエリア番号を付加して送受信するようにすればよい。このようにすると、ＲＴＰパケットのデータ量を削減することができ、通信網１０の負荷を低減することができる。
【００５９】
＜変形例５＞
実施形態においては、アクティブエリアは、全てのパーソナルエリアからなるオールアクティブエリアのみとしていたが、パーソナルエリアに偏りがある場合には、その偏りに応じた一群のパーソナルエリアからアクティブエリア生成してもよい。例えば、図５に示すような参加者の配置の場合には、左右それぞれを一群のパーソナルエリアとして、ＰＳＡ２０１、ＰＳＡ２０２、ＰＳＡ２０３からアクティブエリアＬを生成し、ＰＳＡ２０４、ＰＳＡ２０５からアクティブエリアＲを生成する。そして、映像データ送信時において、話者の方向に該当するパーソナルエリアがＰＳＡ２０２であると選定された場合には、ＣＰＵ１０１ａは、ＰＳＡ２０２に係る映像データを送信する前に、ＰＳＡ２０２を含むアクティブエリアであるアクティブエリアＬに係る映像データのデータ量でも送信できるかどうか、算出した送信レートから判断し、送信可能であればＰＳＡ２０２に係る映像データを送信する代わりに、アクティブエリアＬに係る映像データを送信するようにすればよい。このようにすると、オールアクティブエリアに係る映像データではデータ量が多く、パーソナルエリアに係る映像データではデータ量が少なすぎる場合に、中間のデータ量をもつエリアに係る映像データを送信することができ、受信側の表示品位を高く保つことができる。
【００６０】
＜変形例６＞
実施形態においては、部屋ａの参加者に係るパーソナルエリアの設定は、部屋ｂの参加者によって行われたが、部屋ａの参加者が自ら設定するようにしてもよい。この場合は、パーソナルエリア設定時において通信装置１００ａの映像入力部１０５ａが撮影した映像データを通信装置１００ａの表示部１０７ａに表示させることによって、部屋ａの参加者は自らの映像を確認しながら設定することができる。ここで、設定を行いやすくするために映像を左右反転して、表示部１０７ａに表示された映像が鏡を見ているような感覚になるようにすれば、参加者は設定を簡易に行うことができる。
【００６１】
＜変形例７＞
実施形態においては、利用可能帯域幅測定を行い、最適なデータ量の映像データであるエリアを選択して送信するようにしていたが、オールエリアに係る映像データについては、最初に送信した後は、送信しないようにしてもよい。また、所定の時間ごとにオールエリアに係る映像データが送信されるようにしてもよいし、所定の時間ごとに映像の類似性をＣＰＵ１０１が判断して、ある所定の量以上の変動があった場合に送信するようにしてもよい。ここで、オールエリアに係る映像データは、１フレーム分（静止画の画像データでもよい）であればよいので、通信網１０の負荷はほとんど増えることはない。ここで、算出された送信レートが非常に低く、オールエリアに係る映像データを送信すると音声データが途切れてしまう場合には、ＣＰＵ１０１は、その後最初にオールエリアに係る映像データを送信できる送信レートになるまで待ってから、当該映像データを送信させる。
【００６２】
＜変形例８＞
実施形態においては、映像入力部１０５のイメージセンサと音声入力部１０４のマイクアレイは通信装置１００に固定されていたが、別々に移動可能にしてもよい。この場合は、イメージセンサの撮影範囲とマイクアレイの方向の対応について、参加者が操作部１０６を操作して、ＣＰＵ１０１に認識させればよい。このようにすると、通信装置１００の設置を様々な態様で行うことができる。
【００６３】
＜変形例９＞
実施形態においては、算出された送信レートによっては、パーソナルエリアに係る映像データを圧縮してデータ量を低減してから送信していたが、算出された送信レートが、パーソナルエリアに係る映像データを送るには充分高く、アクティブエリアに係る映像データを送るには少し低い場合には、アクティブエリアに係る映像データを圧縮して送信するようにしてもよい。このようにすると、映像を参加者が気にならない程度に劣化させることで、アクティブエリアの範囲の映像データを送信することができる。
【００６４】
＜変形例１０＞
実施形態においては、撮影範囲全体をオールエリアとして認識していたが、オールエリアは、他の通信装置に切り出していない映像データを送信する際のエリアを示しているため、必ずしも撮影範囲全体としなくてもよい。
【００６５】
＜変形例１１＞
実施形態においては、利用可能帯域幅測定は一定時間ごとに行われていたが、ランダムに決定された時間ごとに行われてもよいし、算出された送信レートの状況に応じて変更される時間ごとに行なわれてもよい。例えば、送信レートの変動が少ない状態が続いた場合には、利用可能帯域幅測定を行なう間隔を長くするようにＣＰＵ１０１が制御してもよい。このようにすると、安定した送信レートが続いたときに、利用可能帯域幅測定の回数を削減することができる。
【００６６】
＜変形例１２＞
実施形態においては、選択されたエリアに対応する映像データを切り出して他の通信装置１００に送信していたが、選択されたエリアだけでなく、全てのエリアに対応する映像データを事前に生成しておき、選択されたエリアに対応する映像データを他の通信装置１００に送信するようにしてもよい。このようにすると、処理能力が低いＣＰＵ１０１であっても、選択されたエリアが変更された際に、その時点で画像処理を行う必要なくなり、映像データを選択するだけで送信することができる。
【図面の簡単な説明】
【００６７】
【図１】通信システムの構成を示すブロック図である。
【図２】実施形態に係る通信装置の構成を示すブロック図である。
【図３】マイクアレイと音源の距離と方向の計算に関する説明図である。
【図４】イメージセンサの撮影範囲と音源の方向の関係を示す説明図である。
【図５】部屋ｂにおける画面表示を示す説明図である。
【図６】部屋ａにおける画面表示を示す説明図である。
【図７】映像データの送信処理を説明するフローチャートである。
【図８】話者の方向をｘ座標で表す際の計算に関する説明図である。
【図９】変形例２に係るパーソナルエリアとアクティブエリアに関する説明図である。
【符号の説明】
【００６８】
１…通信システム、１０…通信網、１００…通信装置、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…音声入力部、１０４１、・・・１０４４…マイクロフォン、１０５…映像入力部、１０６…操作部、１０７…表示部、１０８…音声出力部、１０９…通信ＩＦ、１１０…バス、２０１、・・・２０５、３０１、３０２、３０３…参加者、２００、３００…机
【図１】
2008141611.tif 000003
【図２】
2008141611.tif 000004
【図３】
2008141611.tif 000005
【図４】
2008141611.tif 000006
【図５】
2008141611.tif 000007
【図６】
2008141611.tif 000008
【図７】
2008141611.tif 000009
【図８】
2008141611.tif 000010
【図９】
2008141611.tif 000011