(57)【要約】【課題】会議参加者の顔の映像や映像資料に合成する文字の制限を受けることなくかつ画像なども合成する。【解決手段】端末２００では、ＷＷＷ制御手段２０７が操作入力手段２０４により指示された、合成する文字、画像をビットマップ（ＢＭＰ）イメージデータに変換し、このＢＭＰイメージデータを映像コーデック制御手段２０９に出力する。映像コーデック制御手段はこのＢＭＰイメージデータをＭＰＥＧ−１の１つのスライス分のデータに変換してこれをサーバ装置１００に送信する。サーバ装置はこのデータをその端末の４番目のスライス映像に置換して１〜３番目のスライス映像と合成する。【選択図】　　　　図２３
2004023706.tif 000002
【特許請求の範囲】
【請求項１】
複数の会議端末と会議サーバ装置がネットワークを介して接続され、前記会議サーバ装置が前記複数の会議端末から受信した会議参加者の映像及び音声を合成して前記複数の会議端末に配信する多地点会議システムであって、
前記会議参加者の映像に合成する文字データを画像データに変換する手段と、
前記画像データを前記会議参加者の映像に合成する手段とを、
有する多地点会議システム。
【請求項２】
複数の会議端末と会議サーバ装置がネットワークを介して接続され、前記会議サーバ装置が前記複数の会議端末から受信した会議参加者の映像及び音声を合成して前記複数の会議端末に配信する多地点会議システムであって、
前記会議端末が自己の会議参加者の映像に合成する文字データをビットマップイメージデータに変換し、このビットマップイメージデータをＭＰＥＧ１のスライスデータに変換してこのスライスデータを前記サーバ装置に送信し、
前記サーバ装置が前記スライスデータを前記会議参加者の映像のＭＰＥＧ１のスライスデータに合成して前記複数の会議端末に配信するように構成した多地点会議システム。
【請求項３】
複数の会議端末と会議サーバ装置がネットワークを介して接続され、前記会議サーバ装置が前記複数の会議端末から受信した会議参加者の映像及び音声を合成して前記複数の会議端末に配信する多地点会議システムであって、
前記会議端末が自己の会議参加者の映像に合成する文字データをビットマップイメージデータに変換し、このビットマップイメージデータをＭＰＥＧ１のスライスデータに変換してこのスライスデータを前記会議参加者の映像のＭＰＥＧ１のスライスデータに合成して前記サーバ装置に送信し、
前記サーバ装置が前記会議端末から送信された合成映像を前記複数の会議端末に配信するように構成した多地点会議システム。
【請求項４】
映像資料に合成する文字データを画像データに変換し、前記画像データを前記映像資料に合成することを特徴とする請求項１ないし３のいずれか１つに記載の多地点会議システム。
【請求項５】
ネットワーク上のＷＷＷサーバに登録されているＷＥＢ資料であって前記会議端末が他の会議参加者に見せたいＷＥＢ資料のＵＲＬアドレスを前記会議サーバ装置に通知し、前記会議サーバ装置が前記通知されたＵＲＬアドレスを他の会議端末に通知し、前記他の会議端末が前記通知されたＵＲＬアドレスに基づいて前記ＷＷＷサーバ上のＷＥＢ資料をアクセスして表示した場合に、前記会議端末の会議参加者の映像に対してその会議参加者が前記ＷＥＢ資料を見せたことを示す画像を合成することを特徴とする請求項１ないし３のいずれか１つに記載の多地点会議システム。
【請求項６】
前記会議サーバ装置がネットワーク上のＷＷＷサーバに登録されているＷＥＢ資料のＵＲＬアドレスをＷＥＢ資料データベースに登録し、前記ＷＥＢ資料データベースに登録されているＵＲＬアドレスであって前記会議端末が他の会議参加者に見せたいＷＥＢ資料のＵＲＬアドレスを前記会議サーバ装置に通知し、前記会議サーバ装置が前記通知されたＵＲＬアドレスを他の会議端末に通知し、前記他の会議端末が前記通知されたＵＲＬアドレスに基づいて前記ＷＷＷサーバ上のＷＥＢ資料をアクセスして表示した場合に、前記会議端末の会議参加者の映像に対してその会議参加者が前記ＷＥＢ資料を見せたことを示す画像を合成することを特徴とする請求項１ないし３及び５のいずれか１つに記載の多地点会議システム。
【請求項７】
前記会議サーバ装置がさらに、自己のＷＥＢ資料及びそのＵＲＬアドレスが登録されたＷＥＢ資料データベースと、前記会議端末から前記自己のＷＥＢ資料を他の会議参加者に見せたい要求があった場合にそのＵＲＬアドレスを他の会議端末に通知する手段とを有し、前記他の会議端末が前記通知されたＵＲＬアドレスに基づいて前記ＷＥＢ資料データベース上のＷＥＢ資料をアクセスして表示した場合に、前記会議端末の会議参加者の映像に対してその会議参加者が前記ＷＥＢ資料を見せたことを示す画像を合成することを特徴とする請求項１ないし３及び５、６のいずれか１つに記載の多地点会議システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、遠隔地の多地点間で会議を行うために映像、音声などを伝送する多地点会議システムに関し、特に会議参加者の顔の映像や映像資料に名前などの文字や画像を合成する機能に関する。
【０００２】
【従来の技術】
この種の従来例として、ＴＶ会議システムなどでは、全ての会議参加者の顔を合成して表示する場合、画面上に表示されている他の会議参加者が分からないケースがあるので、文字発生器が発生する文字により名前、所属名などを作成して顔などの映像の下にスーパーインポーズなどで合成する。また、ＰＣ（パーソナルコンピュータ）上のＴＶ会議アプリケーションでは、映像に合成しないでウィンドウのタイトルバーに参加者名などを表示するものも知られている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記の前者の場合には、文字発生器が発生する文字しか使用することができないので、表示できる文字の種類が少なく、また、合成する際の設定を合成機器側で登録する必要が有り、さらに、合成する文字を毎回変更する場合に柔軟性に欠けるという問題点がある。
また、後者の場合には、ＰＣ上には多種多様なフォントデータが記憶されているのが通常であるので文字の制限はほとんどないが、文字以外の画像などを合成することができないという問題点がある。
【０００４】
本発明は上記従来例の問題点に鑑み、会議参加者の顔の映像や映像資料に合成する文字の制限を受けることなくかつ画像なども合成することができる多地点会議システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明は上記目的を達成するために、複数の会議端末と会議サーバ装置がネットワークを介して接続され、前記会議サーバ装置が前記複数の会議端末から受信した会議参加者の映像及び音声を合成して前記複数の会議端末に配信する多地点会議システムであって、
前記会議参加者の映像に合成する文字データを画像データに変換する手段と、
前記画像データを前記会議参加者の映像に合成する手段とを、
有する構成とした。
【０００６】
上記構成により、多種多様なフォントデータを画像データに変換して合成することができるので、会議参加者の顔の映像に合成する文字の制限を受けることなくかつ画像なども合成することができる。
【０００７】
本発明はまた、複数の会議端末と会議サーバ装置がネットワークを介して接続され、前記会議サーバ装置が前記複数の会議端末から受信した会議参加者の映像及び音声を合成して前記複数の会議端末に配信する多地点会議システムであって、
前記会議端末が自己の会議参加者の映像に合成する文字データをビットマップイメージデータに変換し、このビットマップイメージデータをＭＰＥＧ１のスライスデータに変換してこのスライスデータを前記サーバ装置に送信し、
前記サーバ装置が前記スライスデータを前記会議参加者の映像のＭＰＥＧ１のスライスデータに合成して前記複数の会議端末に配信するように構成した。
上記構成により、多種多様なフォントデータをＭＰＥＧ１のスライスデータに変換して合成することができるので、会議参加者の顔の映像に合成する文字の制限を受けることなくかつ画像なども合成することができる。
【０００８】
本発明はまた、複数の会議端末と会議サーバ装置がネットワークを介して接続され、前記会議サーバ装置が前記複数の会議端末から受信した会議参加者の映像及び音声を合成して前記複数の会議端末に配信する多地点会議システムであって、
前記会議端末が自己の会議参加者の映像に合成する文字データをビットマップイメージデータに変換し、このビットマップイメージデータをＭＰＥＧ１のスライスデータに変換してこのスライスデータを前記会議参加者の映像のＭＰＥＧ１のスライスデータに合成して前記サーバ装置に送信し、
前記サーバ装置が前記会議端末から送信された合成映像を前記複数の会議端末に配信するように構成した。
上記構成により、多種多様なフォントデータをＭＰＥＧ１のスライスデータに変換して合成することができるので、会議参加者の顔の映像に合成する文字の制限を受けることなくかつ画像なども合成することができる。
【０００９】
本発明はまた、映像資料に合成する文字データを画像データに変換し、前記画像データを前記映像資料に合成するように構成した。
上記構成により、映像資料に合成する文字の制限を受けることなくかつ画像なども合成することができる。
【００１０】
本発明はまた、ネットワーク上のＷＷＷサーバに登録されているＷＥＢ資料であって前記会議端末が他の会議参加者に見せたいＷＥＢ資料のＵＲＬアドレスを前記会議サーバ装置に通知し、前記会議サーバ装置が前記通知されたＵＲＬアドレスを他の会議端末に通知し、前記他の会議端末が前記通知されたＵＲＬアドレスに基づいて前記ＷＷＷサーバ上のＷＥＢ資料をアクセスして表示した場合に、前記会議端末の会議参加者の映像に対してその会議参加者が前記ＷＥＢ資料を見せたことを示す画像を合成するように構成した。
上記構成により、どの会議参加者がＷＥＢ資料を見せたかを、会議参加者の顔の映像に合成する文字の制限を受けることなくかつ画像でも合成して表示することができる。
【００１１】
本発明はまた、前記会議サーバ装置がネットワーク上のＷＷＷサーバに登録されているＷＥＢ資料のＵＲＬアドレスをＷＥＢ資料データベースに登録し、前記ＷＥＢ資料データベースに登録されているＵＲＬアドレスであって前記会議端末が他の会議参加者に見せたいＷＥＢ資料のＵＲＬアドレスを前記会議サーバ装置に通知し、前記会議サーバ装置が前記通知されたＵＲＬアドレスを他の会議端末に通知し、前記他の会議端末が前記通知されたＵＲＬアドレスに基づいて前記ＷＷＷサーバ上のＷＥＢ資料をアクセスして表示した場合に、前記会議端末の会議参加者の映像に対してその会議参加者が前記ＷＥＢ資料を見せたことを示す画像を合成するように構成した。
上記構成により、どの会議参加者がＷＥＢ資料を見せたかを、会議参加者の顔の映像に合成する文字の制限を受けることなくかつ画像でも合成して表示することができる。
【００１２】
本発明はまた、前記会議サーバ装置がさらに、自己のＷＥＢ資料及びそのＵＲＬアドレスが登録されたＷＥＢ資料データベースと、前記会議端末から前記自己のＷＥＢ資料を他の会議参加者に見せたい要求があった場合にそのＵＲＬアドレスを他の会議端末に通知する手段とを有し、前記他の会議端末が前記通知されたＵＲＬアドレスに基づいて前記ＷＥＢ資料データベース上のＷＥＢ資料をアクセスして表示した場合に、前記会議端末の会議参加者の映像に対してその会議参加者が前記ＷＥＢ資料を見せたことを示す画像を合成するように構成した。
上記構成により、どの会議参加者がＷＥＢ資料を見せたかを、会議参加者の顔の映像に合成する文字の制限を受けることなくかつ画像でも合成して表示することができる。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。図１は本発明に係る多地点会議システムの一実施形態を示す構成図である。
【００１４】
図１に示すシステムでは、一例として多地点会議サーバ装置（単に会議サーバ装置又はサーバ装置ともいう）１００に対して最大８台の多地点会議クライアント端末（以下単に「端末」ともいう）２００がＬＡＮ／ＷＡＮ３００を介して接続される。サーバ装置１００には大容量記憶装置としてハードディスク（ＨＤ）１２０が設けられている。また、ＬＡＮ／ＷＡＮ３００は、世界中のＷＷＷサーバ４００に接続可能であり、さらに、会議サーバ装置１００も同様にＷＷＷサーバである。
【００１５】
図２は図１に示すシステムにおいて、端末２００がＷＷＷサーバ４００上（さらには会議サーバ装置１００上）のＷＥＢ資料にアクセスする動作を示し、端末２００はブラウザを有する。そして、会議サーバ装置１００はＷＷＷサーバ４００上のＷＥＢ資料名とＵＲＬアドレスを対応して登録するためのＷＥＢ資料データベースを有する。このＷＥＢ資料データベースにはさらに、自己のＷＥＢ資料が登録される。ＷＥＢ資料はテキストファイルや、ＪＰＥＧ、ＧＩＦ、ＢＭＰなどの画像を含むファイルである。
【００１６】
図２における手順（１）はＷＷＷサーバ４００上のＷＥＢ資料を「見る」手順を示し、手順（２）は「見せる」手順を示す。
（１）見る側の端末２００ａのクライアントがＷＷＷサーバ４００上のＷＥＢ資料名を選択して「見る」ボタンを操作して端末２００ａが会議サーバ装置１００に対してＷＥＢ資料名を送ると、会議サーバ装置１００はこれに応答してそのＵＲＬアドレスを送る。これにより、端末２００ａはＷＷＷサーバ４００上のＷＥＢ資料にアクセスすることができる。
【００１７】
（２）見せる側の端末２００ａのクライアントがＷＷＷサーバ４００上のＷＥＢ資料のＵＲＬアドレスを選択して他の見せられる側の端末２００ｂのクライアントに「見せたい」ボタンを操作し、端末２００ａが会議サーバ装置１００に対してそのＵＲＬアドレスを送ると、会議サーバ装置１００は見せられる側の端末２００ｂに対してそのＵＲＬアドレスを送る。これにより、見せられる側の端末２００ｂがＷＷＷサーバ４００上のＷＥＢ資料にアクセスすることができるので、端末２００ａのクライアントが他の端末２００ｂのクライアントに、見せたいＷＥＢ資料を見せることができる。
このようにＷＷＷサーバ４００上のＷＥＢ資料を見ている間（アクセス中）は、会議サーバ装置１００の負担はない。
【００１８】
図３を参照してサーバ装置１００について詳しく説明する。このサーバ装置１００はソフトウエア及びハードウエアにより構成される通信制御手段１０１、ユーザ認証手段１０２、予約管理手段１０３、サーバ制御手段１０４、文字合成手段１０５、映像合成手段１０６、音声フォーマット変換手段１０７、音声合成手段１０８、ＷＷＷサーバ手段１１１、蓄積手段１１３、及び負荷監視制御手段１１５と、ＨＤ１２０上に構成されるユーザ管理データベース１０９、予約管理データベース１１０、ＷＥＢ資料データベース１１２、映像データベース１１４及び画面合成定義データベース１１６を有する。
【００１９】
通信制御手段１０１はクライアント端末２００から受信するデータ／制御コマンド１として、映像音声データ、ユーザ認証データ、予約登録情報、端末情報、映像資料データ、ＷＥＢ資料データ、ＵＲＬデータ、拡大映像要求コマンド及びその他制御用データなどを受け取り、クライアント端末２００に対して送信するデータ／制御コマンド２として、映像音声データ、ＨＴＭＬデータ、会議情報データ、ユーザ認証結果通知及びその他制御用データなどを送る。
【００２０】
通信制御手段１０１とユーザ認証手段１０２の間ではユーザ認証データ及びユーザ認証結果通知３がやり取りされ、通信制御手段１０１と予約管理手段１０３との間では予約情報データ４がやり取りされる。通信制御手段１０１とサーバ制御手段１０４との間では制御用データ５がやり取りされ、通信制御手段１０１から文字合成手段１０５には文字情報データ６が送られる。通信制御手段１０１と映像合成手段１０６との間では映像データ及び合成映像データ７がやり取りされ、文字合成手段１０５から映像合成手段１０６には文字映像データ１０が送られる。通信制御手段１０１から音声フォーマット変換手段１０７にはＧＳＭ音声データ８が送られ、音声合成手段１０８から通信制御手段１０１には合成ＧＳＭ音声データ９が送られる。音声フォーマット変換手段１０７と音声合成手段１０８との間ではＰＣＭ合成音声データ及びＧＳＭ合成音声データ１１がやり取りされる。
【００２１】
ユーザ認証手段１０２とユーザ管理データベース１０９との間ではユーザ認証データ１２がやり取りされ、予約管理手段１０３と予約管理データベース１１０との間では予約情報データ１３がやり取りされる。サーバ制御手段１０４とＷＷＷサーバ手段１１１との間ではＨＴＴＰリクエストデータ及びＨＴＴＰレスポンスデータ１４がやり取りされ、サーバ制御手段１０４と音声合成手段１０８との間では音声合成制御データ１５がやり取りされる。サーバ制御手段１０４から映像合成手段１０６に対しては映像合成制御データ１６が送られる。サーバ制御手段１０４と蓄積手段１１３との間では蓄積制御データ及び読み出し制御データ１７がやり取りされ、映像合成手段１０６と蓄積手段１１３との間では蓄積映像データ及び読み出し映像データ１８がやり取りされる。音声合成手段１０８と蓄積手段１１３との間では蓄積音声データ及び読み出し音声データ１９がやり取りされる。
【００２２】
ＷＷＷサーバ手段１１１とＷＥＢ資料データベース１１２との間ではＷＥＢ資料及びＷＥＢ資料データベース２０がやり取りされ、蓄積手段１１３と映像データベース１１４との間では映像・音声データ及び映像資料データ２１がやり取りされる。また、蓄積手段１１３とＷＥＢ資料データベース１１２との間ではＷＥＢ資料及びＷＥＢ資料データベース２０がやり取りされる。映像合成手段１０６と画面合成定義データベース１１６との間では画面合成定義データ２４がやり取りされる。負荷監視制御手段１１５はＬＡＮ／ＷＡＮ３００との間で負荷監視用パケットデータ及び負荷監視用応答パケットデータ２２をやり取りして、レート制御指示データ２３を通信制御手段１０１に送る。
【００２３】
サーバ装置１００の基本機能を説明する。
・プロキシ機能：ＷＷＷサーバ機能。ＬＡＮ／ＷＡＮ３００からの要求が多地点会議のＨＴＴＰ要求か通常のインターネットアクセス要求かを判断し、後者の場合にはインターネット用プロキシへ配信する。
・ユーザ認証機能：あらかじめ登録されているユーザか否かを判断する。
・映像合成・配信機能：各端末２００からの映像を指定されたレイアウトで１枚に合成して全端末２００に配信する。
・音声合成・配信機能：各端末２００からの音声を指定された組み合わせでミキシングして全端末２００に配信する。
・文字合成機能：各端末２００からの映像の下部にスライスデータを合成して１枚のフレームに合成する。
【００２４】
・記録機能：各端末２００からの映像・音声をＨＤ１２０に記録する。
・記録再生機能：ＨＤ１２０に記録された映像・音声データを再生して各端末２００に配信する。ダウンロードであれば、ＭＰＥＧ１形式に変換してダウンロードする。
・レート制御機能：端末２００が接続されているネットワーク帯域幅を調査し、帯域幅に応じた映像ビットレート、音声符号化方式を採用する。
【００２５】
次に詳細な機能を説明する。
＜会議予約＞
・会議登録：開催する会議を予約登録する機能。予約時に登録する内容は、日時／開催会議名／コメント／参加ユーザ認証設定。
・会議削除：既に予約登録した会議予約内容を削除する機能。
・会議登録内容一覧表示：既に登録した会議内容を日付指定された日の内容一覧表として表示する機能。
・会議参加認証：ユーザが会議に参加する際に、その会議に登録されているか否かを判断し、登録されていない場合には会議参加を拒否する機能。
【００２６】
＜ＷＥＢ資料＞
・ＷＥＢ資料登録：ＷＥＢ資料として使用するＵＲＬアドレスに関連付けた名前を「ＷＥＢ資料名」として登録する機能。
・ＷＥＢ資料削除：既に登録したＷＥＢ資料名を削除する機能。
・ＷＥＢ資料一覧表示：サーバ装置１００に登録されているＷＥＢ資料名の一覧を表示する機能。
・ＷＥＢ資料表示：登録されたＷＥＢ資料名を選択してＷＥＢ資料名に関連付けられたＵＲＬアドレスのＷＥＢページ情報を表示する機能。会議中であれば映像表示エリアを縮小して表示する。
・ＷＥＢ資料反映：現在表示しているＷＥＢ資料の内容を他の会議参加者に反映する機能。
【００２７】
＜映像資料＞
・映像資料登録：ＤＶ（デジタルビデオの略：以下同じ）カメラに記録した映像をＭＰＥＧ１に変換してサーバ装置１００上に登録する。
・映像資料削除：既に登録された映像資料を削除する。
・映像資料プレビュー（再生／一時停止／早送り／巻き戻し）：既に登録した映像資料を再生、再生一時停止、早送り、巻き戻す機能。
・映像資料一覧表示：既に登録された映像資料の一覧を表示する機能。
・映像資料見る（再生／一時停止／早送り／巻き戻し）：登録された映像資料を会議中に合成して配信することで一人で参照する機能。
・映像資料見せる：登録された映像資料を会議中に合成して全員に配信する機能。
【００２８】
＜議事録＞
・議事録録画：現在会議中の映像・音声、映像資料、ＷＥＢ資料をサーバ装置１００上に記録する機能。
・議事録ダウンロード：サーバ装置１００上に登録された議事録をＨＴＭＬ形式で、端末２００の記録媒体上にダウンロードする機能。
・議事録閲覧：サーバ装置１００上に登録された議事録をレート制御を受けながら配信する機能。
・議事録一覧表示／削除：サーバ装置１００上に登録された議事録を一覧表示し、また、削除する機能。
・議事録再生（ＷＥＢ資料再生）：ダウンロードした議事録をＷＥＢブラウザで参照する機能。
【００２９】
＜表示＞
・会議参加者名表示：映像表示領域の一部に参加者名を合成する機能。
・会議情報表示：現在開催中の会議情報（会議名／開催日時／主催者名／参加者名）を表示する機能。
・映像拡大／縮小
【００３０】
次に図４を参照して端末２００について詳しく説明する。この端末２００は音声入出力手段２０１、映像入力手段２０２、ＷＷＷ表示手段２０３、操作入力手段２０４、音声フォーマット変換手段２０５、映像フォーマット変換手段２０６、ＷＷＷ制御手段２０７、音声コーデック制御手段２０８、映像コーデック制御手段２０９、端末制御手段２１０、蓄積手段２１１、記録媒体２１２及び通信制御手段２１３を有し、通信制御手段２１３はＬＡＮ／ＷＡＮ３００（図１、図３参照）に接続される。
【００３１】
音声入出力手段２０１から音声フォーマット変換手段２０５にはＰＣＭ音声入力信号３１が送られ、音声コーデック制御手段２０８から音声入出力手段２０１には音声出力信号３２が送られる。映像入力手段２０２から映像フォーマット変換手段２０６にはＤＶ映像信号３３が送られる。ＷＷＷ制御手段２０７からＷＷＷ表示手段２０３にはＨＴＭＬファイル制御情報３４が送られ、ＷＷＷ表示手段２０３からＷＷＷ制御手段２０７にはＣＧＩフォーム情報３５ａが送られる。操作入力手段２０４からＷＷＷ表示手段２０３には操作イベントデータ３５ｂが送られる。
【００３２】
音声フォーマット変換手段２０５から音声コーデック制御手段２０８にはＰＣＭダウンサンプリング音声データ３６が送られ、映像フォーマット変換手段２０６から映像コーデック制御手段２０９にはＤＶ映像データ３７が送られる。映像コーデック制御手段２０９からＷＷＷ制御手段２０７にはＭＰＥＧ１映像データ３８が送られる。ＷＷＷ制御手段２０７から端末制御手段２１０には制御用データ３９が送られ、端末制御手段２１０と蓄積手段２１１との間では制御用データ４０がやり取りされる。蓄積手段２１１と記録媒体２１２との間では映像・音声データ、映像資料及びＷＥＢ資料用データ（ＨＴＭＬ）４１がやり取りされる。
【００３３】
音声コーデック制御手段２０８から通信制御手段２１３にはＧＳＭ音声データ４２が送られ、通信制御手段２１３から音声コーデック制御手段２０８にはＧＳＭ音声データ４３が送られる。映像コーデック制御手段２０９から通信制御手段２１３にはＭＰＥＧ１映像データ４４が送られ、通信制御手段２１３から映像コーデック制御手段２０９にはＭＰＥＧ１映像データ４５が送られる。端末制御手段２１０と通信制御手段２１３との間では制御用データ４６がやり取りされる。
【００３４】
次に端末２００の主な機能について説明する。
・音声データ配信：ＤＶカメラ／マイク入力から音声を取り込み、音声データをサーバ装置に配信する機能。（ＤＶカメラ／マイク入力からの音声入力ＰＣＭデータをダウンサンプリング後にＧＳＭに変換し、ＧＳＭのフレーム単位でパケット化してＨＴＴＰプロトコルで配信する。）
・音声再生：
・映像データ配信：ＤＶカメラ／ＵＳＢカメラから映像を取り込み、映像データをサーバ装置に配信する機能。（ＤＶカメラ／ＵＳＢカメラからＤＶ形式の映像データをＭＰＥＧ１に変換し、ＭＰＥＧ１のフレーム単位でパケット化してＨＴＴＰプロトコルで配信する。）
【００３５】
次に図５〜図１５を参照して端末２００の表示画面を説明する。
＜メニュー画面＞
メニュー画面には図５に示すように、「会議予約画面表示ボタン」、「映像資料登録画面表示ボタン」、「ＷＥＢ資料登録画面表示ボタン」、「会議議事録の閲覧ダウンロード画面表示ボタン」、「現在開催中の会議に参加するボタン」、「現在開催中の会議情報の表示エリア」、「現在会議が開催されているか否かの状況を表示するエリア」、「現在開催中の会議情報の要求ボタン」、「本日開催開始予定の会議情報を表示するエリア」などが表示される。
＜予約画面＞
図５に示すメニュー画面上の「会議予約画面表示ボタン」が操作されると、図６に示すような会議予約画面が表示され、この会議予約画面から会議を予約することができる。
【００３６】
＜会議画面＞
図５に示すメニュー画面上の現在開催中の会議に参加するための「会議開始ボタン」が操作されると、図７に示すような会議画面が表示される。この会議画面には「議事録会議情報表示エリア」、「映像資料表示エリア」、選択した映像資料を「見る」ボタン及び「見せる」ボタン、「登録ＷＥＢ資料一覧表示エリア」、選択したＷＥＢ資料を「見る」ボタン、「議事録録画開始／停止ボタン」、メニュー画面に戻るための「メニューへ」ボタン、「会議映像表示エリア」が設けられている。「会議映像表示エリア」は図８に詳しく示すように、下側の略半分は４×２＝８個のウィンドウに分割され、各分割ウィンドウには８名の会議参加者のそれぞれの映像が表示される。また、上側の略半分は２×１＝２個のウィンドウに分割され、その右側ウィンドウには自分が見たい、又は他の参加者に見せられた映像資料が表示され、左側ウィンドウにはその映像資料の拡大映像が表示される。
【００３７】
＜会議画面（映像資料表示）＞
図７に示す会議画面上の、選択した映像資料を「見る」ボタン及び「見せる」ボタンが操作されると、図９に示すような映像資料表示の会議画面が表示される。この会議画面には、「会議映像表示エリア」に映像資料が表示され、また、図７に示す会議画面の表示の他に更に、「映像資料再生／一時停止／停止／スライダー／映像資料終了」の各ボタンが表示される。
＜会議画面（ＷＥＢ表示）＞
図７に示す会議画面上の、選択したＷＥＢ資料を「見る」ボタンが操作されると、図１０に示すようなＷＥＢ表示の会議画面が表示される。この会議画面には、図７に示す会議画面の表示の他に更に、「ＷＥＢページ表示エリア」、縮小された「会議映像表示エリア」、「ＵＲＬ入力欄」、「ＷＥＢページ操作ボタン」、表示中のＷＥＢページを他の端末に「見せる」ボタン、「ＷＥＢ資料表示を終了する」ボタンが表示される。
【００３８】
＜映像資料登録画面（プレビュー中）＞
プレビュー中の映像資料登録画面には図１１に示すように、サーバ１００上に登録された映像資料一覧、自端末上の映像資料一覧、外部記録機器内の映像資料一覧、選択した映像資料の移動先／削除ボタン、「メニューへ」ボタン、映像資料再生表示エリア、スライダーバー、映像資料再生／一時停止／停止ボタン、映像資料名入力欄などが表示される。
【００３９】
＜ＷＥＢ資料登録画面＞
ＷＥＢ資料登録画面には図１２に示すように、登録するＷＥＢ資料名入力欄、入力したＷＥＢ資料名登録ボタン、既に登録されたＷＥＢ資料名表示一覧、ＷＥＢ資料一覧からの表示／削除ボタン、「メニューへ」ボタン、ＵＲＬアドレス入力欄、ＷＥＢページ表示エリア、ＷＥＢ操作ボタンなどが表示される。
【００４０】
＜会議議事録閲覧画面（ダウンロード）＞
ダウンロードを行うための会議議事録閲覧画面には図１３に示すように、「メニューへ」ボタン、議事録一覧表示エリア、議事録一覧からのダウンロード／閲覧／削除ボタン、ダウンロード先指定エリアなどが表示される。
＜会議議事録閲覧画面＞
会議議事録閲覧画面には図１４に示すように、議事録会議情報表示エリア、映像・ＷＥＢ資料表示モード切換ボタン、スライダーバー、議事録再生／一時停止／停止ボタン、閲覧ダウンロード画面へ進むボタン、議事録映像表示エリアなどが表示される。
【００４１】
＜会議議事録閲覧画面（ＷＥＢ表示）＞
ＷＥＢ表示の会議議事録閲覧画面には図１５に示すように、図１４に示す表示に加えて、ＵＲＬアドレス入力欄、ＷＥＢページ表示エリア（議事録映像表示エリアに代わる）、縮小された議事録映像表示エリア、ＷＥＢページ操作ボタンなどが表示される。
【００４２】
＜議事録＞
次に図１６を参照してサーバ装置１００の議事録記録の開始処理を説明する。まず、端末２００は「議事録記録開始」ボタンが操作されると議事録記録開始コマンドをサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（議事録記録開始コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ１）、サーバ制御手段１０４が受信コマンドを議事録記録開始コマンドと解析すると議事録の記録指示を蓄積手段１１３に発行する（ステップＳ２）。そして、蓄積手段１１３が会議中の映像・音声を議事録としてＨＤ１２０上の映像データベース１１４へ記録を開始する（ステップＳ３）。ここで、議事録として記録する映像・音声は、ＨＤ１２０の容量を節約するために、端末２００から受信した全ての映像・音声ではなく、その内、端末２００に配信した映像・音声のみである。
【００４３】
＜映像資料登録＞
次に図１７を参照してサーバ装置１００の映像資料登録の処理を説明する。まず、端末２００は「映像資料登録」ボタンが操作されると映像資料登録コマンドをサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（映像資料登録コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ２１）、サーバ制御手段１０４が受信コマンドを映像資料登録コマンドと解析すると映像資料の書き込み指示を蓄積手段１１３に発行する（ステップＳ２２）。そして、蓄積手段１１３が映像資料登録コマンドが指示する映像資料をＨＤ１２０上の映像データベース１１４に記録し、また、その管理データをユーザ管理データベース１０９に記録する（ステップＳ２３）。
【００４４】
＜映像資料再生＞
次に図１８を参照してサーバ装置１００の映像資料再生の処理を説明する。まず、端末２００は「見る」ボタンが操作されると映像資料再生コマンドをサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（映像資料再生コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ３１）、サーバ制御手段１０４が受信コマンドを映像資料再生コマンドと解析するとアクセス権判断指示をサーバ制御手段１０４に発行し（ステップＳ３２）、サーバ制御手段１０４がそのユーザのアクセス権を判断する（ステップＳ３３）。
【００４５】
そして、「アクセス権有り」の場合には、蓄積手段１１３が映像資料再生開始コマンドが指示する映像資料を、ユーザ管理データベース１０９を参照しながら映像データベース１１４から再生し（ステップＳ３４→Ｓ３５）、次いで再生した映像・音声をそれぞれ映像合成手段１０６と音声合成手段１０８により合成し（ステップＳ３６）、次いでこれを通信制御手段１０１により端末２００に配信する（ステップＳ３７）。他方、「アクセス権無し」の場合には、サーバ制御手段１０４が「アクセス権無し」の送信コマンドを生成し（ステップＳ３４→Ｓ３８）、次いでこれを通信制御手段１０１により端末２００に配信する（ステップＳ３９）。
【００４６】
＜ＷＥＢ資料登録＞
次に図１９を参照してサーバ装置１００のＷＥＢ資料登録の処理を説明する。まず、端末２００は「ＷＥＢ資料登録」ボタンが操作されるとＷＥＢ資料登録コマンドをサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（ＷＥＢ資料登録コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ７１）、サーバ制御手段１０４が受信コマンドをＷＥＢ資料登録コマンドと解析するとＷＥＢ資料管理テーブルの書き込み指示を蓄積手段１１３に発行する（ステップＳ７２）。そして、蓄積手段１１３がＷＥＢ資料管理テーブルを作成してＨＤ１２０上のＷＥＢ資料データベース１１２に記録する（ステップＳ７３）。
【００４７】
＜ＷＥＢ資料イベント登録＞
次に図２０を参照してサーバ装置１００のＷＥＢ資料イベントの記録処理を説明する。まず、端末２００は「ＷＥＢ資料記録」ボタンが操作されるとＷＥＢ資料記録制御コマンドをサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（ＷＥＢ資料記録制御コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ４１）、サーバ制御手段１０４が受信コマンドをＷＥＢ資料記録制御コマンドと解析すると、表示中の映像資料のＵＲＬの記録指示を蓄積手段１１３に発行する（ステップＳ４２）。そして、蓄積手段１１３が映像資料のＷＥＢ資料イベントとして、会議情報（会議名／開催日時／主催者名／参加者名）と、表示中の映像資料のＵＲＬアドレスと、会議開始からの経過時間をＨＤ１２０上のＷＥＢ資料データベース１１２に記録する（ステップＳ４３）。
【００４８】
＜ＷＥＢ資料見せる＞
次に図２１を参照してサーバ装置１００のＷＥＢ資料イベントの通知処理を説明する。まず、端末２００は「見せる」ボタンが操作されるとＷＥＢ資料ＵＲＬ通知用制御コマンドをサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（ＷＥＢ資料ＵＲＬ通知用制御コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ５１）、サーバ制御手段１０４が受信コマンドをＷＥＢ資料ＵＲＬ通知用制御コマンドと解析すると、ＵＲＬ通知コマンドの生成指示を発行する（ステップＳ５２）。
【００４９】
そして、サーバ制御手段１０４がＵＲＬ通知コマンドを生成してその送信指示を通信制御手段１０１に発行し（ステップＳ５３）、次いで通信制御手段１０１がこのＵＲＬ通知コマンドを他の端末２００に送信する（ステップＳ５４）。これにより、「見せる」ボタンが操作された端末２００で表示中のＷＥＢ資料のＵＲＬアドレスが他の端末２００で表示されるので、他の端末２００がこのＵＲＬアドレスでＷＷＷサーバ４００（さらにはサーバ装置１００）のＷＥＢ資料にアクセスして表示することができる。
【００５０】
＜議事録再生＞
次に図２２を参照してサーバ装置１００の議事録再生処理を説明する。まず、端末２００は「議事録再生」ボタンが操作されると議事録再生コマンドをサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（議事録再生コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ６１）、サーバ制御手段１０４が受信コマンドを議事録再生コマンドと解析すると、議事録とＷＥＢ資料イベントの読み出し指示を蓄積手段１１３に発行する（ステップＳ６２）。
【００５１】
次いで蓄積手段１１３が議事録とＷＥＢ資料イベントをＨＤ１２０から読み出し（ステップＳ６３）、次いでサーバ制御手段１０４がＷＥＢ資料イベントの経過時間（参照時間）か否かを判断する（ステップＳ６４）。そして、経過時間（参照時間）の場合にはサーバ制御手段１０４がＵＲＬ通知コマンドを生成してその配信指示を通信制御手段１０１に発行し　（ステップＳ６５）、次いで通信制御手段１０１がこのＵＲＬ通知コマンドを端末２００に送信し（ステップＳ６６）、次いでステップＳ６７に進む。ステップＳ６４において経過時間（参照時間）でない場合には直接ステップＳ６７に進む。ステップＳ６７では議事録の映像と音声をそれぞれ映像合成手段１０６と音声合成手段１０７により合成してその配信指示を通信制御手段１０１に発行し、次いで通信制御手段１０１がレート制御を行いながら、この合成された映像と音声を端末２００に送信する（ステップＳ６８）。
【００５２】
したがって、会議参加者が会議終了後などに議事録を再生する場合に、会議中に映像資料が表示されてＷＥＢ資料として登録された時点でそのＵＲＬアドレスを通知されるので、そのＵＲＬアドレスで再生指示することによりＷＥＢ資料を再生表示させることができる。なお、ステップＳ６５、Ｓ６６においてＵＲＬ通知コマンドを端末２００に送信する代わりに、そのＷＥＢ資料をＵＲＬアドレスに基づいて自動的に再生表示するようにしてもよい。
【００５３】
次に図２３を参照して図８に示した４×２＝８個の各会議参加者映像ウィンドウに文字などを合成する処理について説明する。ここで、ＭＰＥＧ１の１フレーム分のデータは、図２３（ａ）に示すように縦方向に４つのスライスに分割されて符号化されている。そこで、端末２００では、ＷＷＷ制御手段２０７が操作入力手段２０４により指示された、合成する文字や画像をビットマップ（ＢＭＰ）イメージデータに変換し、このＢＭＰイメージデータを映像コーデック制御手段２０９に出力する。そして、映像コーデック制御手段２０９はこのＢＭＰイメージデータをＭＰＥＧ１の１つのスライス分のデータに変換してこれをサーバ装置１００に送信する。そして、サーバ装置１００はこのデータをその端末の４番目のスライス映像に置換して１〜３番目のスライス映像と合成し、その合成画像を会議参加者映像ウィンドウとして全ての端末２００に配信する。
【００５４】
図２４はサーバ装置１００の処理を示している。まず、端末２００は「画像合成」ボタンが操作されると画像合成コマンドと合成用画像（ＭＰＥＧ１スライスデータ）をサーバ装置１００に送信する。サーバ装置１００では、通信制御手段１０１が端末２００からコマンド（画像合成コマンド）を受信すると、サーバ制御手段１０４に対してコマンド解析を指示し（ステップＳ８１）、サーバ制御手段１０４が受信コマンドを画像合成コマンドと解析すると合成画像の受信指示を通信制御手段１０１に発行する（ステップＳ８２）。そして、通信制御手段１０１が合成画像を受信すると画像合成を文字合成手段１０５に指示し（ステップＳ８３）、次いで文字合成手段１０５が合成画像を処理し（ステップＳ８４）、次いで映像合成手段１０６が合成画像を会議中の映像と合成し（ステップＳ８５）、次いで通信制御手段１０１が合成画像を全端末２００に送信する（ステップＳ８６）。
【００５５】
このような合成方法によれば、端末２００には多種多様なフォントデータが記憶されているのが通常であるので文字の制限はほとんどなく、また、フォントデータを画像データ（ＭＰＥＧ１データ）に変換するので、文字以外の画像などもＭＰＥＧデータに変換することにより合成することができる。また、サーバ装置１００は単に端末２００から合成用画像を受け取って合成するのみであるので、文字や画像の変更なども柔軟に対応することができる。
【００５６】
なお、上記の画像合成をサーバ装置１００側で行う代わりに端末２００側で行って合成画像をサーバ装置１００側に送信し、サーバ装置１００側では画像合成を行わずに配信のみを行うようにしてもよい。さらに、このシステムでは、会議参加者が他の会議参加者に映像資料を「見せる」ことができるが、誰が見せたか（名前）やコメントを図８に示す会議参加者映像ウィンドウや映像資料ウィンドウに合成することができる。
【００５７】
ここで、図１では、８台の端末２００と１台のサーバ装置１００のみしか示されていないが、図２５に示すようにＮ台の端末２００の任意の８台とＭ台のサーバ装置１００の任意の１台を用いて１つの会議を開催することができる。
【００５８】
【発明の効果】
以上説明したように本発明によれば、多種多様なフォントデータを画像データに変換して合成することができるので、会議参加者の顔の映像に、合成する文字の制限を受けることなくかつ画像なども合成することができる、多地点会議システムを提供できるものである。
【図面の簡単な説明】
【図１】本発明に係る多地点会議システムの一実施形態を示す構成図
【図２】図１のシステムにおいてＷＥＢ資料をアクセスする場合の手順を示す説明図
【図３】図１のサーバ装置を詳しく示すブロック図
【図４】図１のクライアント端末を詳しく示すブロック図
【図５】図１の端末のメニュー画面を示す説明図
【図６】図１の端末の会議予約画面を示す説明図
【図７】図１の端末の会議画面を示す説明図
【図８】図７の会議映像表示エリアを詳しく示す説明図
【図９】図１の端末の会議画面（映像資料表示）を示す説明図
【図１０】図１の端末の会議画面（ＷＥＢ表示）を示す説明図
【図１１】図１の端末の映像資料登録画面（プレビュー中）を示す説明図
【図１２】図１の端末のＷＥＢ資料登録画面を示す説明図
【図１３】図１の端末の会議議事録閲覧画面（ダウンロード）を示す説明図
【図１４】図１の端末の会議議事録閲覧画面を示す説明図
【図１５】図１の端末の会議議事録閲覧画面（ＷＥＢ表示）を示す説明図
【図１６】図１のサーバ装置の議事録記録の処理を示すフローチャート
【図１７】図１のサーバ装置の映像資料登録の処理を示すフローチャート
【図１８】図１のサーバ装置の映像資料再生の処理を示すフローチャート
【図１９】図１のサーバ装置のＷＥＢ資料登録の処理を示すフローチャート
【図２０】図１のサーバ装置のＷＥＢ資料イベント記録の処理を示すフローチャート
【図２１】図１のサーバ装置のＷＥＢ資料イベント通知の処理を示すフローチャート
【図２２】図１のサーバ装置の議事録再生の処理を示すフローチャート
【図２３】文字合成処理を示す説明図
【図２４】図１のサーバ装置の合成処理を示すフローチャート
【図２５】図１の多地点会議システムの応用例を示す構成図
【符号の説明】
１００　サーバ装置（多地点会議サーバ装置）（会議サーバ装置）
１１２　ＷＥＢ資料データベース
１１４　映像資料データベース
１２０　ハードディスク（ＨＤ）
２００　クライアント端末（多地点会議クライアント端末）（会議端末又は単に端末）
３００　ＬＡＮ／ＷＡＮ
４００　ＷＷＷサーバ
【図１】
2004023706.tif 000003
【図２】
2004023706.tif 000004
【図３】
2004023706.tif 000005
【図４】
2004023706.tif 000006
【図５】
2004023706.tif 000007
【図６】
2004023706.tif 000008
【図７】
2004023706.tif 000009
【図８】
2004023706.tif 000010
【図９】
2004023706.tif 000011
【図１０】
2004023706.tif 000012
【図１１】
2004023706.tif 000013
【図１２】
2004023706.tif 000014
【図１３】
2004023706.tif 000015
【図１４】
2004023706.tif 000016
【図１５】
2004023706.tif 000017
【図１６】
2004023706.tif 000018
【図１７】
2004023706.tif 000019
【図１８】
2004023706.tif 000020
【図１９】
2004023706.tif 000021
【図２０】
2004023706.tif 000022
【図２１】
2004023706.tif 000023
【図２２】
2004023706.tif 000024
【図２３】
2004023706.tif 000025
【図２４】
2004023706.tif 000026
【図２５】
2004023706.tif 000027