(57)【要約】【課題】資料の表示，発言者の表示を両立可能な携帯電話を端末とするテレビ会議システムを提供する。【解決手段】各携帯電話１０には第１ＬＣＤ１８と第２ＬＣＤ１９とが設けられている。カメラ部２１で参加者の撮影が行なわれ、第１ＬＣＤ１８には会議参加者の画像が表示され、第２ＬＣＤ１９には発言中の参加者の画像が表示される。印刷物などの資料を提示する場合には、資料提示モードを選択してカメラ部２１で資料の撮影を行なう。資料の画像は会議サーバ１１を経由して他の携帯電話１０に配信されることにより、第１ＬＣＤ１８に表示される。【選択図】        図１
2004248127.tif 000002
【特許請求の範囲】
【請求項１】
通信ネットワークで接続される会議サーバと複数の携帯電話とからなり、
前記携帯電話は、参加者及び資料を撮影するための撮影手段と、参加者の音声を集音するためのマイクと、前記撮影手段で撮影した画像及び前記マイクで集音した音声をサーバに送信し、サーバからの音声及び画像を受信する通信手段と、通信手段で受信した音声を出力するスピーカと、通信手段で受信したテレビ会議の全参加者の画像または他の携帯電話で撮影された資料の画像と通信手段で受信した発言中の参加者の画像とを同時に表示する表示手段とを備え、
前記会議サーバは、各携帯電話からの参加者の画像に基づいて全参加者の画像を作成する画像処理手段と、受信した各音声に基づいて発言中の参加者を特定し、特定した参加者の携帯電話からの音声及び参加者の画像を他の携帯電話に配信するとともに、画像処理手段で作成された全参加者の画像または資料の画像を携帯電話に配信する配信制御手段とを備えたことを特徴とするテレビ会議システム。
【請求項２】
前記表示手段は、テレビ会議の全参加者の画像または他の携帯電話で撮影された資料の画像を表示する第１のディスプレイと、発言中の参加者の画像を表示する第２のディスプレイとを備えていることを特徴とするテレビ会議システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、端末として携帯電話を用いたテレビ会議システムに関するものである。
【０００２】
【従来の技術】
ディスプレイに映し出される参加者の顔を見ながら会議・打ち合わせ等を行うことができるテレビ会議システムが知られている。このテレビ会議システムでは、相手が遠隔地にいるような場合であっても、その相手の表情を見ながらリアルタイムに意見交換が可能であり、その場の雰囲気を共有しながら意見やアイデアを交換できるという利点がある。
【０００３】
このテレビ会議システムでは、１対１接続のもの，多地点接続のものがある。多地点接続の場合では、１台の端末を親機としたり、端末の他にサーバを設ける等して各端末に送られる情報（データ）を制御している。
【０００４】
テレビ会議システムでは、公衆回線や専用線，インターネット等の通信ネットワークを介して音声，顔等を撮影した画像を遠隔地にいる相手に送っている。また、印刷物等の資料は、端末に付属するビデオカメラ等で撮影することにより、その他の端末のディスプレイに表示することができる。また、インターネットを利用し、会議参加者が共有資料を参照しながらパーソナルコンピュータ等の端末でリアルタイムで会議を行うことができるものが特許文献１で知られている。
【０００５】
また、近年では携帯電話が広く普及している。この携帯電話には、カメラ機能を備え、そのカメラ機能で撮影された静止画や動画を電子メールに添付して送信可能なものもある。そして、このようなカメラ機能を備えた携帯電話を端末として利用したテレビ会議システムが知られている。このテレビ会議システムでは、カメラ機能で参加者を撮影し、他の参加者の携帯電話のディスプレイに表示している。ディスプレイは、それまでの携帯電話と同様のものであり、各種の操作案内や情報を表示するために設けられた小型のものである。このシステムは、通常の携帯電話と同様に携行性に優れるという利点がある。
【０００６】
【特許文献１】
特開２００１−２７４９３６号公報
【０００７】
【発明が解決しようとする課題】
ところで、上記の携帯電話を用いたテレビ会議システムでは、参加者を撮影する代わりに印刷物等の会議の資料を他の参加者に提示する場合には、その資料等をカメラ機能で撮影すればよいが、そのようにすると参加者自身が他の参加者に表示されなくなるという問題があった。これは、資料を参照しながら発言中の参加者の表情等を見ることができくなるため、テレビ会議システムの利点の１つある、その場の雰囲気を共有するという点を犠牲にしてしまう。
【０００８】
本発明は、上記問題点を考慮してなされたもので、携帯電話を端末として、資料の表示，発言者の表示を両立可能なテレビ会議システムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、請求項１記載の発明では、通信ネットワークで接続される会議サーバと複数の携帯電話とからなり、
前記携帯電話は、参加者及び資料を撮影するための撮影手段と、参加者の音声を集音するためのマイクと、前記撮影手段で撮影した画像及び前記マイクで集音した音声をサーバに送信し、サーバからの音声及び画像を受信する通信手段と、通信手段で受信した音声を出力するスピーカと、通信手段で受信したテレビ会議の全参加者の画像または他の携帯電話で撮影された資料の画像と通信手段で受信した発言中の参加者の画像とを同時に表示する表示手段とを備え、
前記会議サーバは、各携帯電話からの参加者の画像に基づいて全参加者の画像を作成する画像処理手段と、受信した各音声に基づいて発言中の参加者を特定し、特定した参加者の携帯電話からの音声及び参加者の画像を他の携帯電話に配信するとともに、画像処理手段で作成された全参加者の画像または資料の画像を携帯電話に配信する配信制御手段とを備えたものである。
【００１０】
請求項２に記載の発明では、表示手段を、テレビ会議の全参加者の画像または他の携帯電話で撮影された資料の画像を表示する第１のディスプレイと、発言中の参加者の画像を表示する第２のディスプレイとから構成したものである。
【００１１】
【発明の実施の形態】
本発明を実施したテレビ会議システムの構成を図１に示す。このテレビ会議システムは、複数の携帯電話１０と会議サーバ１１とが通信ネットワーク１２で接続された構成となっている。通信ネットワーク１２は、移動体通信回線網やインターネット等の回線網１２ａと、携帯電話１０と電波で通信を行う基地局１２ｂとからなる。
【００１２】
携帯電話１０には、その前面にダイアルキーを含む操作部１５，受話スピーカ１６，送話マイク１７，表示手段を構成する第１ＬＣＤ１８と第２ＬＣＤ１９が設けられ、側部にカメラ部２１が設けられ、上部には基地局１２ｂとの間で電波信号の送受信を行うアンテナ２２が設けられている。テレビ会議の参加者は、この携帯電話１０を携行するだけでよく、会議に参加する場所及び機材の制約等がほとんどない。
【００１３】
操作部１５は、それを操作することにより電話番号やメールの入力や、電話番号やメールアドレスの登録，各種設定メニューの選択・設定、インターネット接続，カメラ部２１での撮影指示などを行うことができる。また、この操作部１５を操作することにより、通常モードと会議モードとを選択できる。通常モードは、これまでの携帯電話と同様に通話やインターネットサービスを利用する際のモードである。会議モードは、多地点接続のテレビ会議に参加するモードである。
【００１４】
受話スピーカ１６は、通信相手の音声や着信音を出力し、会議モードでは発言中の参加者の音声を出力する。送話マイク１７は、話し手（参加者）の音声を集音する。通常モードでは、受話スピーカ１６の音量は小さく、また送話マイク１６の感度は低く設定されているが、会議モードでは、受話スピーカ１６の音量が大きく、また送話マイク１７の感度が高く設定される。これにより、各ＬＣＤ１８，１９を参照しながら受話スピーカ１６及び送話マイク１７を介して会話ができるようにされている。
【００１５】
会議モード下で送話マイク１７で集音された音声はデジタル変換されて、基地局１２ｂ，通信ネットワーク１２ａを介して会議サーバ１１に送られ、この会議サーバ１１から通信ネットワーク１２ａ，基地局１２ｂを介して送信元以外の携帯電話１０に送られ、その受話スピーカ１６で再生される
【００１６】
通常モード下では第１ＬＣＤ１８に表示が行なわれる。この通常モード下では第１ＬＣＤ１８には、各種設定メニューからなるメニュー画面、着信相手の電話番号やメールアドレス、インターネットサーバからダウンロードした画像などが表示される。
【００１７】
会議モード下では第１ＬＣＤ１８と第２ＬＣＤ１９の両方に表示が行われる。会議モード下において第１ＬＣＤ１８には、全参加者の画像または印刷物などの資料の画像のどちらか一方が表示される。通常は第１ＬＣＤ１８に全参加者の画像が表示されており、他の参加者が資料を提示するための操作を行なうと、全参加者の画像に代えて資料の画像が第１ＬＣＤ１８に表示される。また、第２ＬＣＤ１９には、発言中の参加者の画像が表示される。これにより、発言中の参加者を表示しながら、資料の表示を可能にしている。なお、資料の表示の際に、全参加者と資料の画像との組み合わせでそれぞれの画像を表示するよようにしてもよい。
【００１８】
カメラ部２１は、ＣＣＤイメージセンサなどから構成されており、動画，静止画の撮影が可能になっている。会議モード下においては、通常は動画を撮影するモードになっており、参加者（顔）を撮影する。また、会議モード下で操作部１５を操作して資料提示モードとすると、カメラ部２１で資料などを静止画として撮影することができる。この資料提示モードで撮影を指示することにより、その撮影完了後に参加者を動画で撮影する状態となる。資料提示モードは、操作部１５を操作して解除を指示するか、他の携帯電話１０で資料提示モードが選択されるまで保持される。
【００１９】
参加者を撮影した画像はデジタル変換されてから、通信ネットワーク１２を介して会議サーバ１１に送られ、この会議サーバ１１で必要な処理が施されてから接続中の携帯電話１０に配信される。また、資料提示モードで撮影された画像は、その会議サーバ１１の内部にいったん蓄積されてから、接続中の携帯電話１０に配信される。
【００２０】
図２に携帯電話１０の構成を示す。コントローラ２５は、携帯電話１０の各部の動作を統括的に制御する。信号処理部２６は、アンテナ２２，通信Ｉ／Ｆ（インタフェース）２７を介して受信される基地局１２ｂからの電波信号に各種信号処理を施し、受話スピーカ１６や各ＬＣＤ１８，１９に音声や画像を出力するとともに、送話マイク１７からの音声，カメラ部２１からの画像，コントローラ２５を介して操作部１５から入力される通信要求信号等に対してデジタル変換等をし、通信Ｉ／Ｆ２７，アンテナ２２を介して外部に送信する。
【００２１】
メモリ２８は、会議サーバ１１から送られてきた資料の画像の保存や、会議サーバ１１に送るための画像を一時的に保存しておくためのワークメモリとして使用される。したがって、第１ＬＣＤ１８に資料の画像を表示する際には、その画像がメモリ２８から信号処理部２６によって読み出される。
【００２２】
図３に会議サーバ１１の構成を示す。会議サーバ１１は、携帯電話１０のテレビ会議への参加を制御するとともに、参加している携帯電話１０との間の画像及び音声の配信を行なう。コントローラ３０は、会議サーバ１１の各部を制御する。また、このコントローラ３０によって音声及び画像の配信が制御される。通信Ｉ／Ｆ３１は、通信ネットワーク１２を介して接続された各携帯電話１０からの音声，画像，各種の指示等の各種データを受信し、また各種データを携帯電話１０に送信する。なお、携帯電話１０，会議サーバ１１から送信される音声，画像，指示等の各種データには、そのデータの送信元や種類等を示すヘッダが付加されており、これを調べることによりデータの種類，送信元等が受信側で識別可能になっている。
【００２３】
コントローラ３０は、携帯電話１０からの各種データの内容を調べ、そのデータの配信先や、処理等を決定する。コントローラ３０は、携帯電話１０からの音声及び参加者を撮影した画像は、送信元以外の携帯電話１０に送信する。また、資料の画像は、メモリ３２にいったん保存され、このメモリ３２から読み出されて参加中の各携帯電話にそれぞれ送られる。メモリ３２には、資料の画像が保存される他、テレビ会議に参加中の携帯電話１０のリストなどが記憶される。
【００２４】
画像処理部３３は、参加者を撮影した各携帯電話１０からの画像に画像処理を施することにより、第１ＬＣＤ１８に全参加者をマトリクス状に表示するための画像（以下、全参加者画像という）を生成する。この全参加者画像は、各携帯電話１０に配信される。なお、この例では、全参加者画像は動画であるが静止画であってもよい。
【００２５】
次に上記構成の作用について説明する。携帯電話１０で通常モードを選択している場合には、これまでの携帯電話と同様に通常の通話を行なうことができる。操作部１５を操作して会議モードを選択すると、通信ネットワーク１２を介して携帯電話１０が会議サーバ１１と接続され、両者の間でのデータの送受信が可能となる。
【００２６】
携帯電話１０が会議サーバ１１に接続されると、その携帯電話１０の例えばシリアルナンバーや電話番号などの情報と、予め携帯電話１０に設定されている参加者の情報とが会議サーバ１１に送られ、それらの情報に基づいてコントローラ３０がメモリ３２上に参加者リストを作成する。その他の携帯電話１０についても、会議サーバ１１に接続され、テレビ会議に参加する参加者のリストが更新される。
【００２７】
また、会議モードとなると、携帯電話１０のコントローラ２５は、カメラ部２１を制御して動画の撮影を開始する。これにより、カメラ部２１によって参加者の撮影が連続的に行なわれ、撮影される画像（動画）は信号処理部２６でデジタル変換される。また、送話マイク１７による音声の集音が開始され、集音された音声が信号処理部２６でデジタル変換される。そして、このようにしてデジタル変換された画像と音声とは、順次に通信Ｉ／Ｆ２７，アンテナ２２を介して会議サーバ１１に送られる。
【００２８】
上記のようにして各携帯電話１０から会議サーバ１１に送られてくる画像は、通信Ｉ／Ｆ３１，コントローラ３０を介して画像処理部３３に送られる。そして、この画像処理部３３によって、接続中の全携帯電話１０からの各画像を用いて、各参加者が第１ＬＣＤ１８にマトリクス状に表示されるように画像処理が施される。そして、この画像処理で得られる全参加者画像がコントローラ３０，通信Ｉ／Ｆ３１，通信ネットワーク１２を介して全ての携帯電話１０に配信される。
【００２９】
また、各携帯電話１０からの音声は、コントローラ３０によって解析され、その音声が発言中のものであるか否かが判断される。発言中のものでない音声は破棄され、発言中の音声は送信元以外の各携帯電話１０に配信される。また、このようにして、音声の配信が行なわれるときには、コントローラ３０は、発言中となっている音声の送信元である携帯電話１０からの参加者の画像を他の各携帯電話１０に配信する。このように会議サーバ１１から配信される発言中の参加者の画像及び全参加者画像，音声は、通信ネットワーク１２を介して携帯電話１０に向けて送信され、携帯電話１０にて受信される。
【００３０】
携帯電話１０で受信された音声及び全参加者画像は、信号処理回路２６で信号処理されてから受話スピーカ１６で再生され、また第１ＬＣＤ１８に表示される。さらに、発言中の参加者の画像が第２ＬＣＤ１９に表示される。これにより、各携帯電話１０では、第１ＬＣＤ１８にテレビ会議に参加している全参加者がマトリクス状に動画で表示されるとともに、発言中の他の参加者の発言が再生され、その参加者の画像が第２ＬＣＤ１９に表示されることになる。結果として、発言中の参加者を大きな画像として見ながら、その発言を聞くことができる。
【００３１】
上記のように、発言中の参加者の画像は会議サーバ１１によって各携帯電話１０に自動的に表示されるから、画像を切り換えるための人員は不要であり、参加者の都合だけで会議をもつことができる。
【００３２】
印刷物などの資料を他の参加者に提示したい場合には、参加者は、操作部１５を操作して資料提示モードとしてから、カメラ部２１を提示すべき資料に向けて構図を決め、操作部１５で撮影の指示を行なう。この撮影の指示により、資料が静止画としてカメラ部２１で撮影される。静止画は、信号処理部２６でデジタル変換されてから、会議サーバ１１に向けて資料の画像として送信される。また、資料提示モードで撮影が終わるとカメラ部２１で動画の撮影が行なわれるようになるから、それまでと同様に参加者を撮影する。
【００３３】
会議サーバ１１に受信された資料の画像は、コントローラ３０によってメモリ３２に書き込まれてから、全参加者画像に代えて、その送信元以外の携帯電話１０に向けて送信される。そして、この資料の画像を受信した携帯電話１０では、この資料の画像が第１ＬＣＤ１８に表示される。これにより、資料を携帯電話１０に表示しながらでも、発言中の参加者の画像を第２ＬＣＤ１９で見ることが可能である。したがって、例えば参加者の一人が資料を提示しながら、その資料の説明を行なったとしても、その資料と参加者の表情とを確認することができる。
【００３４】
先に資料提示モードを選択した携帯電話１０を操作して、この資料提示モードを解除すると、その指示が会議サーバ１１に送られて、資料の画像に代えて、再び全参加者画像の送信が開始され、第１ＬＣＤ１８に表示される。また、他の参加者の携帯電話１０で資料提示モードを選択すると、その情報が会議サーバ１１を経由して、それまで資料提示モードとなっている携帯電話１０に送られ、その資料提示モードが解除される。そして、あとから資料提示モードとした携帯電話１０からの資料の画像がその他の携帯電話１０に配信され、第１ＬＣＤ１８に表示される。
【００３５】
なお、携帯電話では、電波の強度が弱くなったり、携帯電話の電源電池の電圧低下等により、接続が切れる場合がある。このような場合には、他の参加者の携帯電話に、不参加になった参加者があることなどをメッセージで表示してもよい。また、このように不参加となった参加者が再度参加したり、新規に参加する者がある場合には、その旨をメッセージで表示してもよい。さらに、一方のＬＣＤで過去の資料の画像や発言履歴等を参照しながら、他方のＬＣＤで全参加者の画像や発言中の参加者の画像等を見ることができるようにしてもよい。
【００３６】
また、資料を画像情報として提供しているが、テキスト情報として提供してもよく、またシステムサーバに資料として画像データやテキストデータなどを予め登録しておき、携帯電話の操作で必要な資料のデータの選択、読出しを指示することで、参加者の携帯電話に資料を表示可能にしてもよい。さらに、会議中には発言中の参加者だけを撮影するようにしてもよい。
【００３７】
上記実施形態では、表示手段を第１ＬＣＤと第２ＬＣＤとから構成したが、例えば表示手段を１個のＬＣＤで構成し、このＬＣＤの表示エリアを第１エリアと第２エリアとに分割し、第１エリアに全参加者の画像または資料の画像を表示し、第２エリアに発言中の参加者の画像を表示するように構成してもよい。
【００３８】
【発明の効果】
以上のように、本発明によれば、通信ネットワークで接続される複数の携帯電話にテレビ会議の全参加者の画像または他の携帯電話で撮影された資料の画像とと、発言中の参加者の画像とを同時に表示する表示手段を設け、資料を表示しながらでも、発言中の参加者の画像を見ることができるようにしたから、会議の雰囲気を常に共有することができるとともに、会議の効率をアップすることができる。
【図面の簡単な説明】
【図１】本発明を実施したテレビ会議システムの構成を示す説明図である。
【図２】携帯電話の構成を示すブロック図である。
【図３】会議サーバの構成を示すブロック図である。
【符号の説明】
１０  携帯電話
１６  受話スピーカ
１７  送話マイク
２１  カメラ部
１１  会議サーバ
３０  コントローラ
３３  画像処理部
【図１】
2004248127.tif 000003
【図２】
2004248127.tif 000004
【図３】
2004248127.tif 000005