(57)【要約】【課題】複数の通信相手（端末装置）から送信されてきた画像を同時に表示するテレビ電話システムにおいて、利用者が音声の送信を所望する相手と、音声の受信を所望する相手とを任意に選択可能であり、通話中においても利用者が選択した状態を認識し易いテレビ電話システムを提供する。【解決手段】複数の端末装置の間で画像情報と音声情報とを送受信可能なテレビ電話システムであって、画像入力手段と画像出力手段と音声入力手段と音声出力手段とを備えた端末装置は、他の端末装置から送信されてきた画像情報を受信すると、受信した画像情報を、音声情報の送信及び／または受信の可能または不可能を示す音声設定状態を識別可能な画像表現形式で画像出力手段に表示する。【選択図】        図２
2005167302.tif 000002
【特許請求の範囲】
【請求項１】
複数の端末装置の間で、通信回線を介して画像情報と音声情報とを送受信可能なテレビ電話システムであって、
画像入力手段と画像出力手段と音声入力手段と音声出力手段とを備えた端末装置は、他の端末装置から送信されてきた画像情報を受信すると、受信した画像情報を、音声情報の送信及び／または受信の可能または不可能を示す音声設定状態を識別可能な画像表現形式で画像出力手段に表示する、
ことを特徴とするテレビ電話システム。
【請求項２】
端末装置は、表示している画像の中から、音声情報を送信可能に設定する画像が指示されると、指示された画像を音声情報を送信可能な状態を示す画像表現形式に変更するとともに、当該画像に対応する端末装置に音声情報を送信することを可能とする、
ことを特徴とする請求項１に記載のテレビ電話システム。
【請求項３】
端末装置は、表示している画像の中から、音声情報を受信可能に設定する画像が指示されると、指示された画像を音声情報を受信可能な状態を示す画像表現形式に変更するとともに、当該画像に対応する端末装置から音声情報を受信することを可能とする、
ことを特徴とする請求項１または２に記載のテレビ電話システム。
【請求項４】
前記画像表現形式は、前記音声設定状態に対応させて画像出力手段の表示画面の領域を分けるとともに、前記受信した画像情報を、当該画像情報を送信してきた端末装置の音声設定状態に該当する前記表示画面の領域に表示する形式である、
ことを特徴とする請求項１〜３のいずれかに記載のテレビ電話システム。
【請求項５】
前記画像表現形式は、前記音声設定状態に対応させて画像情報を表示する形状を分けるとともに、前記受信した画像情報を、当該画像情報を送信してきた端末装置の音声設定状態に該当する前記形状にて表示する形式である、
ことを特徴とする請求項１〜４のいずれかに記載のテレビ電話システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信回線を介して複数の端末装置の間で、画像情報と音声情報を送受信可能なテレビ電話システムに関し、特に複数の通信相手（端末装置）から送信されてきた画像を同時に表示するテレビ電話システムに関する。
【背景技術】
【０００２】
近年では、ＡＤＳＬ通信技術、光ファイバを用いた通信技術等、通信速度の飛躍的な向上と、パーソナルコンピュータ等（以下、端末装置と記載する）の性能の向上に伴い、通信回線を介して複数の端末装置の間で、画像や音声を送受信するテレビ電話装置の開発が進められている。
【０００３】
従来は通信速度が低く、よりリアルタイムに画像や音声を出力するためには情報量を低減する必要があった。しかし画像情報を低減することは好ましくないため、音声情報を混合して音声情報を低減するテレビ電話装置が提案されている。
従来のテレビ電話装置の例として、２名以上の通信相手を表示するウィンドウを水平方向に並べ、発言している通信相手に応じて左右に設けられたスピーカの音量バランスを調整し、誰が発言しているかを直感的に判り易くする、テレビ電話装置が提案されている（例えば特許文献１参照）。
【特許文献１】特開平９−１１６８８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の例に示した従来のテレビ電話装置では、複数の通信相手の画像を水平方向に並べ、発言者の位置に応じて左右のスピーカから出力する音量バランスを調整し、誰が発言しているかを直感的に判るようにしているが、水平方向に並べる数に、ある程度の制限が必要である（例えば５〜６人程度まで等と推測される）。必要以上に大勢の画像を水平方向に並べた場合、各画像のサイズが小さくなってしまうことと、左右の音量バランスを調整しても、どの画像の人物に対応する音声であるのか直感的に判り易くするには限界があるためである。更に、従来は通信速度が遅く、通信可能な情報量にも制限があり、通信速度によっても同時に送受信できる通信相手の最大数に限界がある。
【０００５】
近年では、通信速度の飛躍的な向上と端末装置の性能向上により、情報量を低減する必要性は薄れ、音声情報を混合する必要性もほとんどない。例えば１０人程度の相手（端末装置）と画像情報と音声情報の送受信を行うことができる。
ところが、１０人もの相手とテレビ電話システムで通信する際、テレビ電話システム側は混乱なく送受信を行うことが可能であるが、それを利用する利用者が同時に１０人もの相手と通話すると、混乱する可能性がある。画像情報を同時に表示した場合、利用者は各々の相手を区別できるため特に問題ないが、更に音声を出力した場合、利用者はどの相手からの音声か区別することが困難であり、混乱する可能性がある。また、画像の送受信のみが必要であり、音声の送受信を行う必要のない相手がいる場合、音声の送受信を行わないようにしておけば、混乱をより低減することができる。
本発明は、このような点に鑑みて創案されたものであり、複数の通信相手（端末装置）から送信されてきた画像を同時に表示するテレビ電話システムにおいて、利用者が音声の送信を所望する相手と、音声の受信を所望する相手とを任意に選択可能であり、通話中においても利用者が選択した状態を認識し易いテレビ電話システムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するための手段として、本発明の第１発明は、請求項１に記載されたとおりのテレビ電話システムである。
請求項１に記載のテレビ電話システムは、複数の端末装置の間で、通信回線を介して画像情報と音声情報とを送受信可能なテレビ電話システムであって、画像入力手段と画像出力手段と音声入力手段と音声出力手段とを備えた端末装置は、他の端末装置から送信されてきた画像情報を受信すると、受信した画像情報を、音声情報の送信及び／または受信の可能または不可能を示す音声設定状態を識別可能な画像表現形式で画像出力手段に表示する。
【０００７】
また、本発明の第２発明は、請求項２に記載されたとおりのテレビ電話システムである。
請求項２に記載のテレビ電話システムは、請求項１に記載のテレビ電話システムであって、端末装置は、表示している画像の中から、音声情報を送信可能に設定する画像が指示されると、指示された画像を音声情報を送信可能な状態を示す画像表現形式に変更するとともに、当該画像に対応する端末装置に音声情報を送信することを可能とする。
【０００８】
また、本発明の第３発明は、請求項３に記載されたとおりのテレビ電話システムである。
請求項３に記載のテレビ電話システムは、請求項１または２に記載のテレビ電話システムであって、端末装置は、表示している画像の中から、音声情報を受信可能に設定する画像が指示されると、指示された画像を音声情報を受信可能な状態を示す画像表現形式に変更するとともに、当該画像に対応する端末装置から音声情報を受信することを可能とする。
【０００９】
また、本発明の第４発明は、請求項４に記載されたとおりのテレビ電話システムである。
請求項４に記載のテレビ電話システムは、請求項１〜３のいずれかに記載のテレビ電話システムであって、画像表現形式は、音声設定状態に対応させて画像出力手段の表示画面の領域を分けるとともに、受信した画像情報を、当該画像情報を送信してきた端末装置の音声設定状態に該当する表示画面の領域に表示する形式である。
【００１０】
また、本発明の第５発明は、請求項５に記載されたとおりのテレビ電話システムである。
請求項５に記載のテレビ電話システムは、請求項１〜４のいずれかに記載のテレビ電話システムであって、画像表現形式は、音声設定状態に対応させて画像情報を表示する形状を分けるとともに、受信した画像情報を、当該画像情報を送信してきた端末装置の音声設定状態に該当する形状にて表示する形式である。
【発明の効果】
【００１１】
請求項１に記載のテレビ電話システムでは、受信した画像情報に対する音声設定状態（音声情報の送信が可能に設定されている状態、音声情報の受信が可能に設定されている状態、音声情報の送受信が不可能に設定されている状態等）を識別可能な画像表現形式で表示する。
このため、利用者は、自己の音声をどの通信相手に送信しているのか、あるいはどの通信相手から音声を受信しているのか、通話中であっても、より容易に認識することができる。これにより、利用者は複数の通信相手を同時に表示させながら、混乱することなく通話中の相手を認識することができるので便利である。
【００１２】
また、請求項２に記載のテレビ電話システムを用いれば、利用者は、音声情報を送信可能に設定したい通信相手を、任意に且つ容易に設定することができ、便利である。
【００１３】
また、請求項３に記載のテレビ電話システムを用いれば、利用者は、音声情報を受信可能に設定したい通信相手を、任意に且つ容易に設定することができ、便利である。
【００１４】
また、請求項４に記載のテレビ電話システムを用いれば、第１の実施の形態に示すように、利用者は、音声設定状態に応じて分けられた表示画面の領域を視覚的に確認することで、自己の音声をどの通信相手に送信しているのか、あるいはどの通信相手から音声を受信しているのか、通話中であっても、より容易に認識することができる。これにより、利用者は複数の通信相手を同時に表示させながら、混乱することなく通話中の相手を認識することができるので便利である。
【００１５】
また、請求項５に記載のテレビ電話システムを用いれば、第２の実施の形態に示すように、利用者は、音声設定状態に応じて形状を分けられた画像を視覚的に確認することで、自己の音声をどの通信相手に送信しているのか、あるいはどの通信相手から音声を受信しているのか、通話中であっても、より容易に認識することができる。これにより、利用者は複数の通信相手を同時に表示させながら、混乱することなく通話中の相手を認識することができるので便利である。
【発明を実施するための最良の形態】
【００１６】
以下に本発明を実施するための最良の形態を図面を用いて説明する。図１は、本実施の形態のテレビ電話システムにおける端末装置Ｔの概略外観図を示している。
●［端末装置の構成とテレビ電話システムの構成（図１（Ａ）及び（Ｂ））
次に、図１（Ａ）を用いて端末装置Ｔの構成について説明する。端末装置Ｔは、画像入力手段３２（ＣＣＤカメラ等）、画像出力手段４２（モニタ等）、音声入力手段３４（マイク等）、音声出力手段４４（スピーカ等）、制御手段２０とを備えている。また、指示入力手段３６（キーボード、マウス等）も備えている。
制御手段２０は、画像入力手段３２から入力された画像情報、及び音声入力手段３４から入力された音声情報を、通信相手の端末装置に向けて送信する。
【００１７】
また制御手段２０は、自己の端末装置Ｔに向けて送信されてきた画像情報を受信すると、当該画像情報に基づいた画像を画像出力手段４２に出力する。そして、複数の端末装置から受信した複数の画像情報に基づいた画像を、送信してきた端末装置の数に応じて、画像出力手段４２の表示画面上に、（利用者が区別できるように）分けて表示する。
そして制御手段２０は、自己の端末装置Ｔに向けて送信されてきた音声情報を受信すると、当該音声情報に基づいた音声を、音声出力手段４４に出力する。
また、本実施の形態におけるテレビ電話システムは、図１（Ｂ）に示すように、通信回線５０（ＩＰ網等）に複数の端末装置Ｔ0〜端末装置Ｔnが接続されて構成されており、各端末装置Ｔnは通信回線５０を介して画像情報と音声情報を送受信する。
以下、端末装置Ｔ0の利用者が本実施の形態のテレビ電話システムを用いて、９人の相手（９台の端末装置Ｔ1〜端末装置Ｔ9）と通話する例を説明する。
【００１８】
●［第１の実施の形態（図２（Ａ）〜（Ｃ））］
次に図２（Ａ）〜（Ｃ）を用いて、利用者が音声の送信を所望する相手と音声の受信を所望する相手とを任意に選択可能であり、表示されている画像の中から音声の送受信を行っている相手を利用者がより容易に認識できる第１の実施の形態について説明する。
第１の実施の形態では、画像出力手段４２の表示画面４２ａにおいて、音声を送信可能に設定した相手の画像と、音声を受信可能に設定した相手の画像とを、表示画面４２ａの異なる領域に表示させるものである。
例えば、利用者が端末装置Ｔ0を用いてテレビ電話システムを起動し、端末装置Ｔ1〜端末装置Ｔ9を通信相手に設定すると、制御手段２０は、端末装置Ｔ0の画像出力手段４２の表示画面４２ａに、端末装置Ｔ1〜端末装置Ｔ9に対応する画像（１）〜画像（９）を同時に表示する（図２（Ａ）参照）。
【００１９】
次に利用者は、音声情報の送信を所望する相手と音声情報の受信を所望する相手とを選択する。例えば、利用者が指示入力手段３６を用いて所定の操作で画像（１）を選択すると、画像（１）に対応する設定メニューＭ１が表示される（図２（Ｂ）参照）。利用者は設定メニューＭ１を用いて、画像（１）の通信相手（この場合、端末装置Ｔ1）を、「音声情報を送信可能な通信相手」及び／または「音声情報を受信可能な通信相手」に任意に設定することができる。なお、設定した内容を示す設定情報は、対応する通信相手端末装置に送信され、当該設定情報を受信した通信相手端末装置の音声設定状態に反映される。例えば、端末装置Ｔ0にて端末装置Ｔ1を「音声情報を送信可能な通信相手」に設定すると、当該設定を含む設定情報が端末装置Ｔ1に送信され、端末装置Ｔ1は受信した設定情報に基づいて、端末装置Ｔ0を「音声情報を受信可能な通信相手」に設定する。
図２（Ｃ）は、画像（１）〜（４）の通信相手を「音声情報を送信可能な通信相手」に設定して、画像（１）、（３）、（５）、（６）の通信相手を「音声情報を受信可能な通信相手」に設定した状態における表示画面４２ａの例を示している。
【００２０】
制御手段２０は、表示画面４２ａを、音声送信可能エリアＡｔｅ、音声受信可能エリアＡｒｅ、その他エリアＡｄｓの３つの領域に分割し、各領域内に対応する画像を表示させる。このように、制御手段２０は、「音声送信可能」に指示された画像を「音声情報を送信可能な状態を示す表現形式」に変更（音声送信可能エリアＡｔｅに表示位置を変更）して、「音声受信可能」に指示された画像を「音声情報を受信可能な状態を示す表現形式」に変更（音声受信可能エリアＡｒｅに表示位置を変更）する。
なお、図２（Ｃ）に示す例は、画像（１）と画像（３）を音声の送信と受信の双方を可能に設定しており、画像（１）と画像（３）が、音声送信可能エリアＡｔｅと音声受信可能エリアＡｒｅとの双方に表示されている。
図２（Ｃ）に示す画像表現形式の例は、通信相手端末装置との音声情報の音声設定状態の相違（この場合、音声送信可能状態、音声受信可能状態、音声送受信不可能状態）に応じて、同じ画像（画像（１）及び（３））が複数のエリアに存在している。このように、図２（Ｃ）に示す例は、音声設定状態毎に画面を分割して領域を分けるとともに、受信画像をその通信相手端末装置との音声設定状態に応じた領域に表示することによって、利用者が他の画像と区別できるように分けて表示している。
【００２１】
利用者は、図２（Ｃ）に示す表示画面４２ａを見ながら、自分が発言した音声は「音声送信可能エリアＡｔｅ」に表示されている画像（１）〜（４）に対応する端末装置Ｔ1〜Ｔ4に送信されており、他の端末装置には送信されていないことを容易に認識することができる。
また、利用者は、図２（Ｃ）に示す表示画面４２ａを見ながら、いずれかの通信相手からの音声が音声出力手段４４から出力されると「音声受信可能エリアＡｒｅ」に表示されている画像（１）、（３）、（５）、（６）に着目すればよいため、誰が発言しているのかまるで判らないような混乱を低減することができる。
なお、制御手段２０が、音声情報を受信して音声出力手段４４から音声を出力している際、「音声受信可能エリアＡｒｅ（音声情報を受信可能な状態を示す表現形式）」に表示している画像の中から、当該音声情報に対応する画像を抽出して点滅等させる（例えば画像（５）に対応する端末装置Ｔ5から受信している音声を出力している場合は画像（５）の枠部分等を点滅させて、現在音声情報を受信中であることを示す表現形式に変更する）と、発言している相手が更に明確になり、より混乱が低減される。なお、音声情報の受信が所定時間継続してなくなった場合は、音声情報を受信可能な状態を示す表現形式に戻す。
【００２２】
また、受信した音声情報には、当該音声情報の送信元を示す端末装置を識別可能な識別情報が含まれており、制御手段２０は識別情報を判別することで、どの端末装置からの音声情報であるかを認識することができる（画像情報にも同様に識別情報が含まれており、制御手段２０は同様に認識することができる）。
また、音声受信可能に設定した端末装置において、複数の端末装置から同時に音声情報が送信されてきた場合、受信した複数の音声情報を同時に出力すると、利用者は各音声が誰の発言か判らなくなり、混乱する可能性がある。
そこで、利用者の混乱を低減するために、同時に複数の端末装置からの音声情報を受信した場合、受信した音声情報をどのように再生するか（どの音声情報の再生を優先するか）、ということを予め決めておくことが好ましい。
例えば１番先に出力を開始した端末装置からの音声を出力中は他の端末装置からの音声の音量を所定量小さくしたり、１番先に出力を開始した端末装置からの音声を出力中は他の端末装置からの音声の再生を行わず、当該他の端末装置に向けて「端末装置Ｔ0では音声を再生できなかった」ことを示す情報（画像とともに表示するテキスト情報、識別マーク等）を出力する。
２番目以降の音声の再生を行わない場合、端末装置Ｔ0に音声を送信したが送信した音声が再生されなかった端末装置の利用者は、前記「端末装置Ｔ0では音声を再生できなかった」ことを示す情報を確認することで、自己の発言が再生されなかったことを認識し、再送信することができる。
【００２３】
●［第２の実施の形態（図３）］
次に図３を用いて、第２の実施の形態について説明する。第２の実施の形態は、第１の実施の形態に対して、表示画面４２ａにおける「音声情報を送信可能な状態を示す表現形式」と、「音声情報を受信可能な状態を示す表現形式」の表現形式が異なる。第１の実施の形態では、音声設定状態に応じて画像の位置を変更したが、第２の実施の形態では、音声設定状態に応じて画像を表示するウィンドウの形状を変更する。以下、第１の実施の形態との相違点について説明する。なお、利用者が音声の送信を所望する相手と音声の受信を所望する相手とを任意に選択する方法等は同様であるので説明を省略する。
【００２４】
図３は、画像（１）〜（４）の通信相手を「音声情報を送信可能な通信相手」に設定して、画像（１）、（３）、（５）、（６）の通信相手を「音声情報を受信可能な通信相手」に設定した状態における表示画面４２ａの例を示しており、画像（１）〜（９）を「分けて表示」する際、画像を表示するウィンドウの形状を相違させる例である。
制御手段２０は、画像（１）〜（９）の各々の形状を、音声送信可能な形状（音声情報を送信可能な状態を示す表現形式）、音声受信可能な形状（音声情報を受信可能な状態を示す表現形式）、その他の形状の３つの形状に変更する。
なお、図３に示す例は、画像（１）と画像（３）を音声の送信と受信の双方を可能に設定しており、画像（１）と画像（３）が、音声送信可能な形状と音声受信可能な形状の双方の形状に表示されている。
これにより、利用者は、端末装置Ｔ1〜Ｔ9のどの端末装置に対して音声情報を送信しているか、あるいはどの端末装置から音声情報を受信しているか、を容易に認識することができる。また、第１の実施の形態と同様に、現在音声出力手段４４から音声を出力している通信相手に対応する画像を点滅等させる（現在音声情報を受信中であることを示す表現形式に変更する）と、発言している相手が更に明確になり、より混乱が低減される。
【００２５】
以上に説明した本実施の形態では、表示画面４２ａ上における各画像の配置（第１の実施の形態）や、各画像の形状（第２の実施の形態）を変更させて、利用者が音声送信可能な相手と音声受信可能な相手とを容易に認識できるようにした。音声設定状態を識別可能な表現形式で表示する他の例として、動画と静止画を用いて各画像を識別可能としたり、カラー画像と白黒画像を用いて各画像を識別可能としたり、異なる周期で画像の枠部分等を点滅させたり、各画像の近傍に「音声送信可能」及び／または「音声受信可能」を示す文字または図柄等を表示させるようにしたり、種々の識別方法を組み合わせたりすることもできる。このように、音声設定状態を識別可能な表現形式で表示する方法は、種々の方法がある。
【００２６】
なお、上記に説明した本実施の形態は、通信回線５０に端末装置Ｔnのみを接続し、各端末装置で通信を行ったが、通信回線５０にサーバＳ（図示せず）を接続し、各端末装置はサーバＳを介して画像情報と音声情報を送受信するようにしてもよい。
サーバＳを介して通信する場合、各端末装置は入力された画像情報と音声情報をサーバＳに送信し、サーバＳは各端末装置毎に表示すべき画像情報と各端末装置毎に出力すべき音声情報を作成し、作成した画像情報と音声情報を対応する端末装置に送信する。なお、各端末装置から指示される「音声の送信を許可する画像に対応する端末装置」及び「音声の受信を許可する端末装置」を含んだ設定情報も、各端末装置からサーバＳに送信される。サーバＳは、各端末装置から受信した設定情報、画像情報、及び音声情報に基づいて、各端末装置毎に表示すべき画像情報と各端末装置毎に出力すべき音声情報を作成する。
【００２７】
本発明のテレビ電話システムは、本実施の形態で説明した外観、構成、表示方法等に限定されず、本発明の要旨を変更しない範囲で種々の変更、追加、削除が可能である。
本発明のテレビ電話システムでは、全ての端末装置が、画像入力手段３２、画像出力手段４２、音声入力手段３４、音声出力手段４４、制御手段２０の全てを備えていなくてもよい。例えば一部の端末装置は、音声入力手段３４と音声出力手段４４とを備えていなくてもよい。
【図面の簡単な説明】
【００２８】
【図１】本発明のテレビ電話システムにおける端末装置Ｔの外観（構成）、接続等を説明する図である。
【図２】第１の実施の形態を説明する図である。
【図３】第２の実施の形態を説明する図である。
【符号の説明】
【００２９】
Ｔ、Ｔ0〜Ｔn    端末装置
２０            制御手段
３２            画像入力手段
３４            音声入力手段
４２            画像出力手段
４２ａ          表示画面
４４            音声出力手段
５０            通信回線
【図１】
2005167302.tif 000003
【図２】
2005167302.tif 000004
【図３】
2005167302.tif 000005