(57)【要約】【課題】多地点会議サービス等に参加している各マルチメディア通信端末に対して多地点会議等における通信やサービスの状況の変化を確認する。【解決手段】マルチメディア通信端末から着信があった場合、端末制御・管理部１にて参加の可否を決定し、当該マルチメディア通信端末の接続可否を回線インタフェース部１２を介し端末制御・管理部１の端末状況監視部３へ通信状況の変化として通知する。端末状況監視部３ではこの通知により多地点会議サービスにおける通信状況が変化したことを検出し、案内用映像音声情報処理部４へ通信状況の変化として端末が参加したことを、端末情報記憶部２から参加端末の情報と共に通知する。案内用映像音声情報処理部４では、多地点会議に新たな端末が参加したことを示す案内用のマルチメディア情報を、多重化分離部１１、回線インタフェース１２を介し既に参加しているマルチメディア通信端末へ送信する。【選択図】        図１
2004274128.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディア通信端末と接続しマルチメディア通信サービスを提供する通信サービス装置であって、
通信状況もしくは提供サービスに関わる状況の変化に応じて、マルチメディア通信端末に対し、上記状況の変化を通知する案内用のマルチメディア情報を送信することを特徴とする通信サービス装置。
【請求項２】
マルチメディア通信サービスは、多地点通信会議であり、通信サービス装置は、上記複数のマルチメディア通信端末に対しマルチメディア通信サービスとして上記多地点通信会議を提供する多地点通信制御装置であることを特徴とする請求項１記載の通信サービス装置。
【請求項３】
多地点会議サービスに参加しているマルチメディア通信端末に対して送信する多地点会議内容の符号化映像音声情報と切り替えて、案内用のマルチメディア情報を送信することを特徴とする請求項２記載の通信サービス装置。
【請求項４】
多地点会議サービスに参加しているマルチメディア通信端末に対して送信する多地点会議内容の映像情報もしくは音声情報、もしくは映像と音声両者のマルチメディア情報と、案内用のマルチメディア情報を合成して新たな映像符号化情報もしくは音声符号化情報、もしくは映像と音声両者の符号化情報を生成して送信することを特徴とする請求項２記載の通信サービス装置。
【請求項５】
案内用のマルチメディア情報を予め通信サービス装置内部あるいは外部に蓄積しておき、必要なときに読み出し、使用することを特徴とする請求項２から請求項４のいずれかに記載の通信サービス装置。
【請求項６】
案内用のマルチメディア情報は必要なときに内部で生成することを特徴とする請求項２から請求項４のいずれかに記載の通信サービス装置。
【請求項７】
多地点会議に参加する各マルチメディア通信端末を識別する名称を予め文字情報として内部で生成して蓄積しておき、必要なときにその文字情報を読み出して、映像情報もしくは音声情報、もしくは映像と音声両者の情報として変換し、映像符号化もしくは音声符号化、もしくは映像と音声両者の符号化処理を行うことにより、端末の名称を表す情報が案内用のマルチメディア符号化情報に含まれることを特徴とする請求項２から請求項６のいずれかに記載の通信サービス装置。
【請求項８】
多地点会議中に新たなマルチメディア通信端末が参加したときに、既に参加しているマルチメディア通信端末に対し、新たな端末参加があった旨を通知する案内用のマルチメディア符号化情報を送信することを特徴とする請求項２から請求項７のいずれかに記載の通信サービス装置。
【請求項９】
多地点会議に参加していたマルチメディア通信端末が退席したときに、残っているマルチメディア通信端末に対し、端末退席があった旨を通知する案内用のマルチメディア符号化情報を送信することを特徴とする請求項２から請求項８のいずれかに記載の通信サービス装置。
【請求項１０】
多地点会議中に新たな参加端末を呼び出すときに、既に参加しているマルチメディア通信端末に対し、新たなマルチメディア通信端末を呼び出し中である旨を通知する案内用のマルチメディア符号化情報を送信することを特徴とする請求項２から請求項９のいずれかに記載の通信サービス装置。
【請求項１１】
多地点会議中に新たなマルチメディア通信端末を呼び出したが接続出来なかったときに、既に参加しているマルチメディア通信端末に対し、新たなマルチメディア通信端末が参加出来なかった旨を通知する案内用のマルチメディア符号化情報を送信することを特徴とする請求項２から請求項１０のいずれかに記載の通信サービス装置。
【請求項１２】
多地点会議の終了時に、終了する旨を通知する案内用のマルチメディア符号化情報を送信することを特徴とする請求項２から請求項１１のいずれかに記載の通信サービス装置。
【請求項１３】
何らかの異常状態によって、参加中のあるマルチメディア通信端末との間の通信呼が切断されたときに、参加中の他のマルチメディア通信端末に対し、異常状態により切断されたことを通知する案内用のマルチメディア符号化情報を送信することを特徴とする請求項２から請求項１２のいずれかに記載の通信サービス装置。
【請求項１４】
あるマルチメディア通信端末からの映像が復号できないときに、参加中の他のマルチメディア通信端末に対し、前記あるマルチメディア通信端末からの映像が正常に表示できないことを通知する案内用のマルチメディア符号化情報を送信することを特徴とする請求項２から請求項１３のいずれかに記載の通信サービス装置。
【請求項１５】
前記請求項３から１４の案内用のマルチメディア符号化情報を、特定のマルチメディア通信端末に対してのみ送信することを特徴とする請求項２記載の通信サービス装置。
【請求項１６】
請求項２から１５記載の通信サービス装置と、通信ネットワークを経由して前記通信サービス装置と接続される複数のマルチメディア通信端末から構成される多地点会議システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、複数のマルチメディア通信端末と接続してマルチメディア通信サービスを提供する通信サービス装置に関するものである。
【０００２】
【従来の技術】
近年、画像圧縮技術の発達とＩＳＤＮに代表される高速・高品質なディジタル回線の普及と共に、マルチメディア（オーディオ／ビジュアル）サービス用の勧告がＩＴＵ−Ｔ勧告Ｈ．３２４などで規定されたことにより、これらの勧告に従う様々なマルチメディア通信サービスが提供されている。また、３Ｇ−３２４Ｍ準拠Ｗ−ＣＤＭＡ携帯電話による６４Ｋｂｐｓ高速伝送が実現され、マルチメディア通信サービスに携帯テレビ電話などのマルチメディア通信端末の利用も考慮される。
【０００３】
このようなマルチメディア通信サービスにおいて、マルチメディア通信端末を複数台接続し多地点会議サービスを提供する多地点会議システムが考えられる。多地点会議システムとして、３地点以上の多地点のマルチメディア通信端末を接続して多地点会議を行うことが出来る多地点会議システムが既にＩＳＤＮ等ディジタル回線では考案されている。
該多地点会議システムには、多地点会議サービスに参加する複数のマルチメディア通信端末に対して該多地点通信を制御する多地点通信制御装置（以下、ＭＣＵという）に接続することにより、ＭＣＵを介した多地点接続を形成する手法が採用されている。
【０００４】
ＭＣＵを用いた多地点接続の一例として、４地点で多地点会議を行う場合の接続形態を図８に示す。同図において、マルチメディア通信端末は多地点会議に参加するために公衆網を介して、マルチメディア通信端末８０２〜８０５がＭＣＵ８０１に接続されている。
【０００５】
このようにＭＣＵ８０１を用いて多地点間を接続する従来の多地点会議システムによれば、多地点間の通信中にＭＣＵ８０１が各マルチメディア通信端末８０２〜８０５に映像を配信する手法として、
１）各マルチメディア通信端末８０２〜８０５からの音声レベル等を比較することにより現在の話者端末を識別し、識別された話者端末から送られてくる映像を配信する手法、
２）現在接続中のマルチメディア通信端末８０２〜８０５から送られてくる映像を一定時間ごとに切り替えて順次配信する手法、
３）ＭＣＵ８０１により多地点間接続されているすべてのマルチメディア通信端末からの映像を１つの映像として合成し、その合成映像を配信する手法、または
４）ＭＣＵ８０１を管理する制御装置からの指示により特定のマルチメディア通信端末からの映像を配信する手法、
が提案されている。
【０００６】
また、上記１）、２）および４）の手法の場合には、多地点会議の途中で新たなマルチメディア通信端末が参加や、多地点会議に参加していたマルチメディア通信端末が退席した場合に、多地点会議の状況の変化を多地点会議に既に参加しているマルチメディア端末からその状態を知るための手段が、特開平８−３２１８８４号公報に示されている。
【０００７】
図９は、特開平８−３２１８８４号公報に示された従来のＭＣＵの構成である。
同図において、端末数監視部９０２により、参加しているマルチメディア通信端末の数の変化が検出されると、参加マルチメディア通信端末数の変化要因となったマルチメディア通信端末の端末情報が、端末情報通知部９０３により端末情報記憶部９０１から取り出される。取り出された発アドレスなどの端末情報は、他の端末数の変化に関する情報と共に、選択部９０７の選択に従って、画像合成部９０４により送信画像にオーバレイされ、または音声合成部９０５により送信音声に加算される。
【０００８】
この従来技術では、多地点会議に接続されている端末数を監視する手段と、前記端末数監視手段により前記端末数の変化が検出された場合に、前記端末に関する情報を前記多地点会議に参加しているマルチメディア通信端末に通知するようにしている。
【０００９】
【特許文献１】
特開平８−３２１８８４号公報
【００１０】
【発明が解決しようとする課題】
例えば、マルチメディア通信端末が携帯テレビ電話の場合、ハードウェアリソースの制約等から制御情報の内容を携帯テレビ電話の画面にスーパインポーズを行う手段がない。そのために多地点会議等の通信サービスに関する状況の変化に対して、サービスを受けている携帯テレビ電話に案内用情報を提供することができない。
【００１１】
また、制御情報を受けてテレビ画面の中に文字情報を表示することが出来るマルチメディア通信端末であっても、表示内容を追加した場合に会議参加のマルチメディア通信端末の改造等が伴う。そのため、文字情報等を受けることができる端末であっても、多地点通信制御装置から送出された情報を正確に画面の中に表示できない可能性がある。
【００１２】
また、上述の従来の多地点会議サービスを提供する多地点通信制御装置では、多地点会議サービスに参加しているマルチメディア通信端末の端末数を記憶するための端末数記憶手段を持ち、端末数が変化したことにより前記端末数の変化に関する情報を前記多地点会議サービスに参加しているマルチメディア通信端末に通知するため、前記端末数の変化に関する映像音声情報の通知以外に対応できないという問題点がある。
【００１３】
また、ＭＣＵからのマルチメディア通信端末の呼び出し、呼び出しの失敗、多地点会議サービス終了による参加しているマルチメディア通信端末が切断された場合、又は参加中のマルチメディア通信端末との通信状態の異常により切断された場合等の、多地点会議に関する状況の変化に対する情報を、多地点会議へ参加しているマルチメディア通信端末に通知する手段がないという問題点があった。
【００１４】
本発明は上記のような問題点を解決するためになされたもので、多地点会議サービス等に参加している各マルチメディア通信端末に対して多地点会議等における通信やサービスの状況の変化が確認できるように、各マルチメディア通信端末へ様々な状況の変化が確認できる案内用のマルチメディア情報を送信することが可能な通信サービス装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成するため、本発明では、マルチメディア通信端末と接続しマルチメディア通信サービスを提供する通信サービス装置であって、通信状況もしくは提供サービスに関わる状況の変化に応じて、マルチメディア通信端末に対し、上記状況の変化を通知する案内用のマルチメディア情報を送信する通信サービス装置である。
【００１６】
【発明の実施の形態】
実施の形態１．
図１は、この発明が適用される多地点通信制御装置の実施の形態１を示す構成図である。
図において、１はマルチメディア通信端末の接続、切断などの端末状況の管理及び端末の呼び出し制御を行う端末制御・管理部、２は端末制御・管理部１における多地点会議の端末の情報、例えば発アドレス、着アドレス、ユーザ情報等の情報を記憶する端末情報記憶部、３は多地点会議に参加している各々のマルチメディア通信端末の通信状態や多地点会議の状況変化を監視する端末状況監視部である。４は多地点会議へ参加しているマルチメディア通信端末に対して端末制御・管理部１からの指示により案内用の映像情報もしくは音声情報もしくは文字情報、もしくは映像情報と音声情報と文字情報のうちの任意の組み合わせのマルチメディア情報または一方の情報の選択処理を行うための案内用映像音声情報処理部、５は多地点会議へ参加しているマルチメディア通信端末に対して提供する案内用映像情報を記憶している案内用映像情報記憶部、６は多地点会議へ参加しているマルチメディア通信端末に対して提供する案内用音声情報を記憶している案内用音声情報記憶部である。
【００１７】
また、図１において、７は多地点会議へ参加しているマルチメディア通信端末に対して、多地点会議の映像切り替え処理、映像合成処理、案内用映像情報の合成処理等を行う映像処理部、８は多地点会議へ参加しているマルチメディア通信端末に対して、多地点会議用音声情報として、参加しているマルチメディア通信端末の音声情報の加算処理、及び案内用音声情報の加算処理あるいは切り替え処理を行う音声処理部、９は多地点会議へ参加しているマルチメディア通信端末からの映像符号化情報の復号処理、及び前述映像処理部７により生成された多地点会議のための映像情報の符号化処理を行う映像符号化復号部、１０は多地点会議へ参加しているマルチメディア通信端末からの音声符号化情報の復号処理、及び前述音声処理部８により生成された多地点会議のための音声情報の符号化処理を行う音声符号化復号部である。
【００１８】
また、図１において、１１は多地点会議へ参加しているマルチメディア通信端末からのメディア多重化情報を、映像符号化復号部９及び音声符号化復号部１０へ各メディア情報として分離するメディア分離処理、及び映像符号化復号部９及び音声符号化復号部１０からの各メディア符号化情報を多地点会議に参加しているマルチメディア通信端末へ送信するためのメディア多重化情報を生成するためのメディア多重化処理を行う多重化分離部、１２は複数の回線に接続され複数のマルチメディア通信端末と回線制御を行う回線インタフェース部である。また、１３は、会議時間、会議モード等の会議情報や、参加マルチメディア端末の登録情報等の管理、外部からの端末の呼び出し等の要求に対する制御を行う多地点会議管理部である。この多地点会議管理部１３では、多地点会議として登録されている参加者の呼び出す場合に、端末制御・管理部１に対して指定されたマルチメディア通信端末への発呼要求を行う。
【００１９】
次に動作について説明する。
上記構成において、多地点通信制御装置にマルチメディア通信端末から着信した場合、端末制御・管理部１にて参加の可否を決定し、回線インタフェース部１２へ当該マルチメディア通信端末の接続可否を通知する。回線インタフェース部１２から参加マルチメディア通信端末の接続情報が、端末制御・管理部１の端末状況監視部３に通信状況の変化として通知される。この通知により端末状況監視部３では多地点会議サービスにおける通信状況が変化したことを検出し、案内用映像音声情報処理部４へ通信状況の変化として端末が参加したことを、端末情報記憶部２から参加端末の情報と共に通知する。
【００２０】
案内用映像音声情報処理部４では、多地点会議に新たな端末が参加したことを示す案内用映像情報を案内用映像情報蓄積部５より、案内用音声情報を案内用音声情報蓄積部６より読み出し、案内用映像情報は映像処理部７へ、案内用音声情報は音声処理部８へ転送する。映像処理部７では、転送された案内用映像情報を多地点会議の映像情報と切り替えて映像符号化復号部９へ転送する。そして映像符号化復号部９では、多地点会議のための映像情報として既に参加しているマルチメディア通信端末へ送出するための映像符号化処理を実施する。また、音声処理部８では、転送された案内用音声情報を多地点会議の音声情報として加算処理を行い、音声符号化復号部１０へ転送する。そして音声符号化復号部１０では、多地点会議のための音声情報として既に参加しているマルチメディア通信端末へ送出するための音声符号化処理を実施する。そして、映像符号化情報及び音声符号化情報は、多重化分離部１１にて多重化処理が行われ、回線インタフェース１２を介して、既に参加しているマルチメディア通信端末へ送信される。
【００２１】
以上により、多地点会議に既に参加しているマルチメディア通信端末では、新たなマルチメディア通信端末が参加したことを、多地点通信制御装置から送信された新たに参加したことを示す案内用映像符号化情報を映像復号処理すること、また案内用音声符号化情報を音声復号処理することによって確認することが出来る。
【００２２】
また、多地点会議に参加しているマルチメディア通信端末が切断し、多地点会議より退席した場合は、回線インタフェース部１２からのマルチメディア通信端末の切断情報が、端末制御・管理部１の端末状況監視部３に通信状況の変化として通知される。この通知により端末状況監視部３では多地点会議サービスにおける通信状況が変化したことを検出し、案内用映像音声情報処理部４へ通信状況の変化として端末が退席したことを、端末情報記憶部２から参加端末の情報と共に通知する。
【００２３】
案内用映像音声情報処理部４では、多地点会議から端末が退席したことを示す案内用映像情報を案内用映像情報蓄積部５より、案内用音声情報を案内用音声情報蓄積部６より読み出し、案内用映像情報は映像処理部７へ、案内用音声情報は音声処理部８へ転送する。映像処理部７では、転送された案内用映像情報を多地点会議の映像情報と切り替えて映像符号化復号部９へ転送する。そして映像符号化復号部９では、多地点会議のための映像情報として参加しているマルチメディア通信端末へ送出するための映像符号化処理を実施する。また、音声処理部８では、転送された案内用音声情報を多地点会議の音声情報として加算処理を行い、音声符号化復号部１０へ転送する。そして音声符号化復号部１０では、多地点会議のための音声情報として参加しているマルチメディア通信端末へ送出するための音声符号化処理を実施する。そして、映像符号化情報と音声符号化情報は、多重化分離部１１にて多重化処理が行われ、回線インタフェース１２を介して、参加中のマルチメディア通信端末へ送信される。
【００２４】
以上により、多地点会議に参加中のマルチメディア通信端末では、参加中のマルチメディア通信端末が退席したことを、多地点通信制御装置から送信された参加中の端末が退席したことを示す案内用映像符号化情報を映像復号処理すること、また案内用音声符号化情報を音声復号処理することによって確認することが出来る。
【００２５】
上述した構成において、映像処理部７により多地点会議に参加し、かつ発言を行っているマルチメディア通信端末の映像情報と案内用映像情報の合成処理を行い、映像符号化復号部９へ転送し映像符号化処理を行うことで、案内用映像情報を含む多地点会議の映像情報として、多地点会議に参加しているマルチメディア通信端末に送信することが出来る。
【００２６】
また上述した構成にて、外部装置等により特定のマルチメディア通信端末を多地点通信制御装置から呼び出す場合に、多地点会議管理部１３より端末制御・管理部１に対して、特定のマルチメディア通信端末の呼び出し要求を行う。端末制御・管理部１では多地点会議管理部１３からの要求に従い、回線インタフェース部１２に対して端末の発呼の要求を行うと共に、端末状況監視部３では多地点会議サービスにおける通信状況が変化したことを検出し、案内用映像音声情報処理部４へ通信状況の変化として端末を呼び出していることを、端末情報記憶部２から呼び出している端末の情報と共に通知する。
【００２７】
案内用映像音声情報処理部４では、多地点会議から端末を呼び出していることを示す案内用映像情報を案内用映像情報蓄積部５より、案内用音声情報を案内用音声情報蓄積部６より読み出し、案内用映像情報は映像処理部７へ、案内用音声情報は音声処理部８へ転送する。映像処理部７では、転送された案内用映像情報を多地点会議の映像情報と合成して映像符号化復号部９へ転送する。そして映像符号化復号部９では、多地点会議のための映像情報として既に参加しているマルチメディア通信端末へ送出するための映像符号化処理を実施する。そして、案内用映像情報を含む映像符号化情報は、多重化分離部１１にて音声符号化情報等と多重化処理が行われ、回線インタフェース１２を介して、参加中のマルチメディア通信端末へ送信される。
【００２８】
以上により、多地点会議に既に参加中のマルチメディア通信端末では、特定のマルチメディア通信端末が呼び出されていることを、多地点通信制御装置から送信された特定の端末が呼び出されていることを示す案内用映像符号化情報を映像復号処理することによって確認することが出来る。
【００２９】
また、上述の多地点通信制御装置から呼び出しを行ったが、呼び出し対象のマルチメディア通信端末が圏外や話中等により参加出来なかった場合には、端末状況監視部３では、回線インタフェース部１２からの接続不可である通知を多地点会議サービスにおける通信状況が変化したこととして検出し、案内用映像音声情報処理部４へ通信状況の変化として多地点通信制御装置から呼び出しを行った端末が参加出来なかったことを、端末情報記憶部２から参加出来なかった端末の情報と共に通知する。
【００３０】
案内用映像音声情報処理部４では、多地点会議から端末を呼び出したが参加できなかったことを示す案内用映像情報を案内用映像情報蓄積部５より、案内用音声情報を案内用音声情報蓄積部６より読み出し、案内用映像情報は映像処理部７へ、案内用音声情報は音声処理部８へ転送する。映像処理部７では、転送された案内用映像情報を多地点会議の映像情報と合成して映像符号化復号部９へ転送する。そして映像符号化復号部９では、多地点会議のための映像情報として既に参加しているマルチメディア通信端末へ送出するための映像符号化処理を実施する。また、音声処理部８では、転送された案内用音声情報を多地点会議の音声情報として加算処理を行い、音声符号化復号部１０へ転送する。そして音声符号化復号部１０では、多地点会議のための音声情報として既に参加しているマルチメディア通信端末へ送出するための音声符号化処理を実施する。そして映像符号化情報と音声符号化情報は、多重化分離部１１にて多重化処理が行われ、回線インタフェース１２を介して、参加中のマルチメディア通信端末へ送信される。
【００３１】
以上により、多地点会議に既に参加中のマルチメディア通信端末では、マルチメディア通信端末を呼び出したが参加出来なかったことを多地点通信制御装置から送信された案内用映像符号化情報を映像復号処理すること、また案内用音声符号化情報を音声復号処理することによって確認することが出来る。
【００３２】
図２に、新たなマルチメディア通信端末が着信したことにより多地点会議に参加したときに、映像処理部７により参加の案内用映像情報を切り替えた場合の多地点会議へ参加中のマルチメディア通信端末の受信映像の一例を示す。
【００３３】
図３に、映像処理部７により参加中のマルチメディア通信端末の映像と参加の案内用映像情報を合成した場合の多地点会議へ参加中のマルチメディア通信端末の受信映像の一例を示す。
【００３４】
図４に、特定のマルチメディア通信端末を呼び出したが参加できなかったときに、映像処理部７により参加中のマルチメディア通信端末と参加できなかったことを示す案内用映像情報を合成した場合の多地点会議へ参加中のマルチメディア通信端末の受信映像の一例を示す。
【００３５】
また多地点会議の終了時間が予め定められている場合に、多地点会議終了時に多地点会議管理部１３から会議が終了することを端末制御・管理部１へ通知することにより、端末状況監視部３では、会議サービス状況が変化したことを検出し、案内用映像音声情報処理部４へ通信状況の変化として会議が終了する旨を、端末情報記憶部２から通知することによって、多地点通信制御装置から開催中の会議参加者に対して、会議終了の案内用映像音声符号化情報が送信される。会議参加中のマルチメディア通信端末は、会議終了の案内用映像音声符号化情報を復号することにより、会議が終了することを確認することが出来る。
【００３６】
また上述の多地点通信制御装置において、既に多地点会議に参加しているマルチメディア通信端末が通信状態の異常によって切断され退席した場合、端末制御・管理部１に、回線インタフェース部１２からのマルチメディア通信端末の切断情報が通知されると共に、多重化分離部１１からの退席したマルチメディア通信端末から受信した多重化情報の状態が通知される。端末制御・管理部１の端末状況監視部３では退席したマルチメディア通信端末が通信状態の異常により切断されて退席したことを端末の通信状況の変化として検出し、案内用映像音声情報処理部４へ通信状況の変化として端末が通信異常により退席したことを通知する。
【００３７】
案内用映像音声情報処理部４では、多地点会議から端末が通信状態の異常により退席したことを示す案内用映像情報を案内用映像情報蓄積部５より、案内用音声情報を案内用音声情報蓄積部６より読み出し、案内用映像情報は映像処理部７へ、案内用音声情報は音声処理部８へ転送する。映像処理部７では、転送された案内用映像情報を多地点会議の映像情報と合成して映像符号化復号部９へ転送する。映像符号化復号部９では、多地点会議のための映像情報として映像符号化処理を実施する。また、音声処理部８では、転送された案内用音声情報を多地点会議の音声情報として加算処理を行い、音声符号化復号部１０へ転送する。そして音声符号化復号部１０では、多地点会議のための音声情報として音声符号化を実施する。符号化された映像符号化情報と音声符号化情報は、多重化分離部１１にて多重化処理が行われ、回線インタフェース１２を介して、参加中のマルチメディア通信端末へ送信される。
【００３８】
以上により、多地点会議に既に参加中のマルチメディア通信端末では、マルチメディア通信端末が通信状態の異常により退席したことを多地点通信制御装置から送信された案内用映像符号化情報を映像復号処理すること、また案内用音声符号化情報を音声復号処理することによって確認することが出来る。
【００３９】
また上述の多地点通信制御装置において、既に多地点会議に参加しているマルチメディア通信端末からの映像符号化情報が通信状態の異常等によって正常に表示できない場合、映像符号化復号部９にて受信した映像符号化情報が映像復号処理出来ないことを端末制御・管理部１へ通知する。そして端末状況監視部３では、映像符号化情報が正常に表示できないことを通信状況の変化として検出し、案内用映像音声情報処理部４へ端末の通信状況の変化として会議参加端末に対して映像復号できないことを通知する。
【００４０】
案内用映像音声情報処理部４では、マルチメディア通信端末からの映像符号化情報が映像復号できないことを示す案内用映像情報を案内用映像情報蓄積部５より読み出し、案内用映像情報は映像処理部７へ転送する。映像処理部７では、転送された案内用映像情報を多地点会議の映像情報と合成して映像符号化復号部９へ転送し、多地点会議のための映像情報として映像符号化を実施する。符号化された映像符号化情報は、多重化分離部１１にて音声符号化情報等と多重化処理が行われ、回線インタフェース１２を介して、参加中のマルチメディア通信端末へ送信される。
【００４１】
以上により、多地点会議に参加中のマルチメディア通信端末では、参加中のマルチメディア通信端末の通信状態によりマルチメディア通信端末の映像が多地点会議の映像として提供出来ないことを多地点通信制御装置から送信された案内用映像符号化情報を映像復号処理することによって確認することが出来る。
【００４２】
また、図５に示すように、案内用映像情報蓄積部５及び案内用音声情報蓄積部６が多地点通信制御装置の外部にある構成とした場合に、端末状況監視部３で検出した上述のマルチメディア通信端末の通信状況により、案内用映像音声情報処理部４が対応する案内用映像音声情報を外部の案内用映像情報蓄積部及び案内用音声情報蓄積部から受け取ることにより実現することができる。
【００４３】
また、本実施の形態において、案内用映像音声情報処理部４にて、予め特定のマルチメディア通信端末に対して、案内用映像音声情報を通知することを定められている場合は、案内用映像音声情報処理部４から映像処理部７及び音声処理部８に対して、多地点通信の状況変化に応じた案内用映像音声情報を特定のマルチメディア通信端末への映像情報の切り替えあるいは合成処理、音声情報の加算処理を行うことを要求することで、特定のマルチメディア通信端末のみに案内用映像音声情報を通知することが出来る。
【００４４】
以上のように、多地点会議の参加端末の状況変化を監視し、内部あるいは外部に予め案内用映像情報及び案内用音声情報を蓄積しておき、必要なときに状況変化に応じた案内用映像情報及び案内用音声情報を読み出すことにより、参加しているマルチメディア通信端末に対して、多地点会議の通信状況の変化が確認できる案内用映像音声符号化情報を送信することができる。
【００４５】
実施の形態２．
以上の実施の形態１では、案内用映像情報を多地点通信制御装置の内部あるいは外部に予め蓄積しておき必要なときに蓄積されている案内用映像情報及び案内用音声情報を読み込み既に参加しているマルチメディア通信端末へ提供していたものであるが、次に必要なときに内部で案内用映像情報及び案内用音声情報を生成し、既に参加しているマルチメディア通信端末へ提供する実施形態を示す。
【００４６】
図６は、この発明が適用される多地点通信制御装置の実施の形態２を示す構成図である。なお、図６において、１から１２については、図１に示す実施の形態１の多地点通信制御装置のものと同じである。
また、図において、６０１は図１に示す端末制御・管理部２の処理に加え、後述多地点会議管理部６１３からの端末情報を端末情報記憶部６０２への登録を行う端末制御・管理部である。６０２は図１に示す端末情報記憶部２の情報に加え、端末制御管理部６０２により、予め多地点会議の予約の際に登録された参加する各々のマルチメディア通信端末を識別する名称が文字情報として記憶されている端末情報記憶部である。６０４は図１の案内用映像音声処理部４の処理に加え、多地点会議の通信状況が変化した際に、端末状況監視部３からの端末状況の情報と共に通知される端末情報記憶部６０２からの端末情報として、端末の識別のための名称としての文字情報が通知された際に、後述案内用映像情報生成部６０５及び案内用音声情報生成部６０６に対して、多地点通信状況に対応する案内用映像情報、及び案内用音声情報の生成を要求し、対応する案内用映像情報及び案内用音声情報を映像処理部７及び音声処理部８へ転送する手段をもつ案内用映像音声処理部である。
【００４７】
また、図６において、６０５は端末の識別のための名称としての文字情報を映像情報として生成し、予め蓄積されている案内用映像情報と合成処理を行い、マルチメディア通信端末への案内用映像情報を生成することが可能な案内用映像情報生成部、６０６は端末の識別のための名称としての文字情報を音声情報として生成し、予め蓄積されている案内用音声情報と合成処理を行い、マルチメディア通信端末へ案内用音声情報として生成することが可能な案内用音声情報生成部である。６１３は図１に示す多地点会議管理部１３の処理に加え、多地点会議の予約時に登録された参加するマルチメディア通信端末の識別のための名称を多地点会議の開始時に端末制御・管理部６０１に転送し、案内用映像音声情報に対して端末の名称が提供することができる多地点会議管理部である。
【００４８】
次に動作について説明する。なお、ここでは一例として、多地点通信制御装置に対して参加のためマルチメディア通信端末が参加した場合について説明する。
【００４９】
上記構成において、ＭＣＵに対して参加のためマルチメディア通信端末から着信した場合、端末制御・管理部６０１にて参加の可否を決定する。参加出来るマルチメディア通信端末の場合は、回線インタフェース部１２からのマルチメディア通信端末の接続情報が、端末制御・管理部６０１に通知される。この通知により端末状況監視部３では端末が参加したことを検出し、案内用映像音声情報処理部６０４へ端末が参加したことを、端末情報記憶部６０２から端末の識別のための名称としての文字情報を参加端末の情報と共に通知する。
【００５０】
案内用映像音声情報処理部６０４では、多地点会議に新たな端末が参加したことを示す案内用映像情報に端末の識別のための名称の文字情報を加えた案内用映像情報の生成を案内用映像情報生成部６０５に要求する。案内用映像情報生成部６０５では、端末が参加したことを示す予め蓄積されている案内用映像情報に端末識別のための文字情報を加えた案内用映像情報を生成する。生成された参加したことを示す案内用映像情報は、案内用映像音声処理部６０４から読み出され、映像処理部７へ転送される。
【００５１】
また、案内用音声情報生成部６０６では、端末が参加したことを示す予め蓄積されている案内用音声情報に端末識別のための文字情報を合成し案内用音声情報を生成する。生成された参加したことを示す案内用音声情報は、案内用音声処理部６０４から読み出され、音声処理部８へ転送される。
【００５２】
映像処理部７では、転送された案内用映像情報を多地点会議の映像情報と切り替えて、または既に参加しているマルチメディア通信端末の映像情報と合成して、映像符号化復号部９へ転送し、多地点会議のための映像情報として映像符号化を実施する。また、音声処理部８では、転送された案内用音声情報を多地点会議の音声情報として加算処理を行い、音声符号化復号部１０へ転送し、多地点会議のための音声情報として音声符号化を実施する。
【００５３】
符号化された映像符号化情報と音声符号化情報は、多重化分離部１１にて多重化処理が行われ、回線インタフェース１２を介して、既に参加しているマルチメディア通信端末へ送信される。
【００５４】
以上により、多地点会議に既に参加しているマルチメディア通信端末では、新たなマルチメディア通信端末としてだれが参加したしたかを多地点通信制御装置から送信された案内用映像符号化情報を映像復号処理すること、また案内用音声符号化情報を音声復号処理することによって確認することが出来る。
【００５５】
図７に、本実施形態において映像処理部７により参加中のマルチメディア通信端末の映像と参加の案内用映像情報を合成した場合の多地点会議へ参加中のマルチメディア通信端末の受信映像の一例を示す。
【００５６】
以上のように、多地点会議の参加端末の状況変化を監視し、予め多地点会議に参加するマルチメディア通信端末を識別する名称を文字情報として内部に蓄積し、蓄積されている案内用映像情報及び案内用音声情報と共に、必要なときに状況変化に応じた案内用映像情報及び案内用音声情報を生成することにより、参加しているマルチメディア通信端末に対して、多地点会議において端末の識別のための名称が付加された情報を、通信状況の変化が確認できる案内用映像音声符号化情報として送信することができる。
【００５７】
なお、実施の形態１および実施の形態２では、各マルチメディア通信端末を多地点通信制御装置と接続する通信回線としてＩＳＤＮ回線と接続する場合の他に、ＰＳＴＮ（アナログ電話網）、ＣＳＰＤＮ（回線交換網）及びＬＡＮ（ローカルエリアネットワーク）等の様々な回線に適用可能であることはいうまでもない。
【００５８】
また、上記実施の形態の説明では、案内用のマルチメディア情報として、案内用の映像符号化情報もしくは音声符号化情報、もしくは映像と音声両者の符号化情報の両者のいずれかを選択するように説明したが、本発明では、これに限らず、案内用のマルチメディア情報であれば何でも良く、これらの情報以外にテキスト等の文字データや、ＣＧ等の画像や、これらの任意の組み合わせや、これらと映像符号化情報や音声符号化情報の任意の組合せのマルチメディア情報でも勿論よい。
【００５９】
【発明の効果】
以上説明したように、本発明によれば、多地点会議サービスに参加しているマルチメディア通信端末に対して多地点会議の状況の変化が確認できるように、参加マルチメディア通信端末へ多地点会議の様々な状況の変化が確認できる案内用のマルチメディア情報を送信することができる。
【図面の簡単な説明】
【図１】この発明が適用される多地点通信制御装置の実施の形態１を示す構成図である。
【図２】新たなマルチメディア通信端末が着信したことにより多地点会議に参加したときに、映像処理部７により参加の案内用映像情報を切り替えた場合の多地点会議へ参加中のマルチメディア通信端末の受信映像の一例を示す図である。
【図３】映像処理部７により参加中のマルチメディア通信端末の映像と参加の案内用映像情報を合成した場合の多地点会議へ参加中のマルチメディア通信端末の受信映像の一例を示す図である。
【図４】特定のマルチメディア通信端末を呼び出したが参加できなかったときに、映像処理部７により参加中のマルチメディア通信端末と参加できなかったことを示す案内用映像情報を合成した場合の多地点会議へ参加中のマルチメディア通信端末の受信映像の一例を示す図である。
【図５】案内用映像情報蓄積部５及び案内用音声情報蓄積部６が多地点通信制御装置の外部にある構成とした場合の構成例を示す図である。
【図６】この発明が適用される多地点通信制御装置の実施の形態２を示す構成図である。
【図７】本実施形態において映像処理部７により参加中のマルチメディア通信端末の映像と参加の案内用映像情報を合成した場合の多地点会議へ参加中のマルチメディア通信端末の受信映像の一例を示す図である。
【図８】ＭＣＵを用いた多地点間接続の一例として、４地点で多地点会議を行う場合の接続形態を示す図である。
【図９】特開平８−３２１８８４号に示された従来のＭＣＵの構成である。
【符号の説明】
１  端末制御・管理部、２  端末情報記憶部、３  端末状況監視部、４  案内用映像音声情報処理部、５  案内用映像情報記憶部、６  案内用音声情報記憶部、７  映像処理部、８  音声処理部、９  映像符号化復号部、１０  音声符号化復号部、１１  多重化分離部、１２  回線インタフェース部、１３  多地点会議管理部。
【図１】
2004274128.tif 000003
【図２】
2004274128.tif 000004
【図３】
2004274128.tif 000005
【図４】
2004274128.tif 000006
【図５】
2004274128.tif 000007
【図６】
2004274128.tif 000008
【図７】
2004274128.tif 000009
【図８】
2004274128.tif 000010
【図９】
2004274128.tif 000011