(57)【要約】  通信サーバに処理負荷をかけることなく、各通信端末の表示画面で画像や文字列がスーパーインポーズされる双方向通信システムを提供する。  会議用端末２１，２２，…，２ｎから各端末状態情報が多地点会議装置１へ送信され、また、多地点会議装置１により、会議用端末２１，２２，…，２ｎから受信される各画像符号化データが任意の各会議用端末２１，２２，…，２ｎへ送信されると共に、受信される各端末状態情報に対応するインポーズ画像識別子及びインポーズ位置情報が各画像符号化データ中に挿入されて画像選択部２３を経て会議用端末２１，２２，…，２ｎへ送信され、会議用端末２１，２２，…，２ｎにより、インポーズ画像識別子に対応するインポーズ用画像が選択され、選択されたインポーズ用画像が、インポーズ位置情報に基づいて、各会議用端末２１，２２，…，２ｎで表示される画像中にインポーズされる。
2009004891.tif 000002
【特許請求の範囲】
【請求項１】
複数の通信端末と、前記各通信端末との間で各画像符号化データを送受信する通信サーバとを備え、前記各通信端末は、前記通信サーバから送信される前記画像符号化データに対応する画像を表示するための表示手段を有する双方向通信システムであって、
前記各通信端末は、
前記表示手段に表示される前記画像中にスーパーインポーズするための１つ又は複数のインポーズ用画像を各インポーズ画像識別子と１対１に対応付けて保持すると共に、与えられたインポーズ画像識別子に対応する前記インポーズ用画像を選択するインポーズ用画像保持選択手段と、
該インポーズ用画像保持選択手段で選択された前記インポーズ用画像を、与えられたインポーズ位置情報に基づいて、前記表示手段に表示される前記画像中にスーパーインポーズする画像合成手段と、
前記画像符号化データを前記通信サーバへ送信する送信手段とが設けられ、
前記通信サーバは、
前記各インポーズ画像識別子及び各インポーズ位置情報を保持し、かつ、前記各通信端末から受信される前記各画像符号化データを任意の前記各通信端末へ送信すると共に、前記インポーズ画像識別子及びインポーズ位置情報を任意の前記各通信端末へ送信する構成とされていることを特徴とする双方向通信システム。
【請求項２】
前記通信サーバは、
前記インポーズ画像識別子及びインポーズ位置情報を前記各画像符号化データ中に挿入して前記各通信端末へ送信する構成とされていることを特徴とする請求項１記載の双方向通信システム。
【請求項３】
前記通信サーバは、
前記インポーズ画像識別子及びインポーズ位置情報を前記各画像符号化データとは別に前記各通信端末へ送信する構成とされていることを特徴とする請求項１記載の双方向通信システム。
【請求項４】
前記通信サーバは、
前記各通信端末から前記各画像符号化データを受信する複数の受信部と、
前記各インポーズ画像識別子及び各インポーズ位置情報を前記各画像符号化データ中に挿入するための各タイミングを取得するタイミング取得部と、
該タイミング取得部で取得される前記各タイミングで前記インポーズ画像識別子及びインポーズ位置情報を前記各画像符号化データ中に挿入する複数のインポーズ情報挿入部とを有することを特徴とする請求項２記載の双方向通信システム。
【請求項５】
前記各通信端末は、
前記通信サーバから送信される前記画像符号化データを受信する受信部と、
該受信部で受信される前記画像符号化データを解析して前記インポーズ画像識別子及びインポーズ位置情報を取得するインポーズ情報解析部と、
前記画像符号化データに対応する画像を復号する復号部とを有することを特徴とする請求項４記載の双方向通信システム。
【請求項６】
前記通信サーバは、
前記各通信端末から前記各画像符号化データを受信する複数の受信部と、
前記各インポーズ画像識別子及び各インポーズ位置情報を生成するための各タイミングを取得するタイミング取得部と、
該タイミング取得部で取得される前記各タイミングで前記インポーズ画像識別子及びインポーズ位置情報を生成するインポーズ情報生成部とを有することを特徴とする請求項３記載の双方向通信システム。
【請求項７】
前記各通信端末は、
前記通信サーバから送信される前記画像符号化データ、インポーズ画像識別子及びインポーズ位置情報を受信する受信部と、
該受信部で受信される前記インポーズ画像識別子及びインポーズ位置情報を取得するインポーズ情報取得部と、
前記画像符号化データに対応する画像を復号する復号部とを有することを特徴とする請求項６記載の双方向通信システム。
【請求項８】
当該双方向通信システムの外部の状態を検出して１つ又は複数種類の外部状態情報を生成する外部状態検出装置が設けられ、
前記通信サーバは、
前記各インポーズ画像識別子及び各インポーズ位置情報を前記各外部状態情報と対応付けて保持し、かつ、前記各通信端末から受信される前記各画像符号化データを任意の前記各通信端末へ送信すると共に、前記各通信端末から受信される前記各外部状態情報に対応する前記インポーズ画像識別子及びインポーズ位置情報を任意の前記各通信端末へ送信する構成とされていることを特徴とする請求項１記載の双方向通信システム。
【請求項９】
前記通信サーバは、
所定の動画像符号化方式及び所定の動画圧縮規格に基づいて、前記インポーズ画像識別子及びインポーズ位置情報を前記各画像符号化データ中に挿入する構成とされていることを特徴とする請求項２、４又は５記載の双方向通信システム。
【請求項１０】
前記通信サーバは、
所定のプロトコルに基づいて、前記インポーズ画像識別子及びインポーズ位置情報を前記各通信端末へ送信する構成とされていることを特徴とする請求項３、６又は７記載の双方向通信システム。
【請求項１１】
通信サーバとの間で各画像符号化データを送受信する通信端末であって、
前記通信サーバから送信される前記画像符号化データに対応する画像を表示するための表示手段と、
前記表示手段に表示される前記画像中にスーパーインポーズするための１つ又は複数のインポーズ用画像を各インポーズ画像識別子と１対１に対応付けて保持すると共に、与えられたインポーズ画像識別子に対応する前記インポーズ用画像を選択するインポーズ用画像保持選択手段と、
該インポーズ用画像保持選択手段で選択された前記インポーズ用画像を、与えられたインポーズ位置情報に基づいて、前記表示手段に表示される前記画像中にスーパーインポーズする画像合成手段と、
前記画像符号化データを前記通信サーバへ送信する送信手段とが設けられた通信端末。
【請求項１２】
画像符号化データに対応する画像を表示するための表示手段を有する複数の通信端末との間で各画像符号化データを送受信する通信サーバであって、
前記表示手段に表示される前記画像中にスーパーインポーズするための１つ又は複数のインポーズ用画像と１対１に対応づけられた各インポーズ画像識別子及び各インポーズ位置情報を保持し、かつ、前記各通信端末から受信される前記各画像符号化データを任意の前記各通信端末へ送信すると共に、前記インポーズ画像識別子及びインポーズ位置情報を任意の前記各通信端末へ送信する構成とされていることを特徴とする通信サーバ。
【請求項１３】
前記インポーズ画像識別子及びインポーズ位置情報を前記各画像符号化データ中に挿入して前記各通信端末へ送信する構成とされていることを特徴とする請求項１２記載の通信サーバ。
【請求項１４】
前記インポーズ画像識別子及びインポーズ位置情報を前記各画像符号化データとは別に前記各通信端末へ送信する構成とされていることを特徴とする請求項１２記載の通信サーバ。
【請求項１５】
前記各通信端末から前記各画像符号化データを受信する複数の受信部と、
前記各インポーズ画像識別子及び各インポーズ位置情報を前記各画像符号化データ中に挿入するための各タイミングを取得するタイミング取得部と、
該タイミング取得部で取得される前記各タイミングで前記インポーズ画像識別子及びインポーズ位置情報を前記各画像符号化データ中に挿入する複数のインポーズ情報挿入部とを有することを特徴とする請求項１３記載の通信サーバ。
【請求項１６】
前記各通信端末から前記各画像符号化データを受信する複数の受信部と、
前記各インポーズ画像識別子及び各インポーズ位置情報を生成するための各タイミングを取得するタイミング取得部と、
該タイミング取得部で取得される前記各タイミングで前記インポーズ画像識別子及びインポーズ位置情報を生成するインポーズ情報生成部とを有することを特徴とする請求項１４記載の通信サーバ。
【請求項１７】
通信端末との間で画像符号化データを送受信するための通信方法であって、
前記通信端末へ前記画像符号化データを送信する際に、インポーズ画像識別子及びインポーズ位置情報も送信し、
前記送信されたインポーズ画像識別子に基づいて、インポーズ用画像を選択し、
前記送信されたインポーズ位置情報に基づいて、画像中に前記インポーズ用画像をスーパーインポーズすることを特徴とする通信方法。
【請求項１８】
前記インポーズ画像識別子及びインポーズ位置情報を前記各画像符号化データ中に挿入して前記各通信端末へ送信することを特徴とする請求項１７記載の通信方法。
【請求項１９】
前記インポーズ画像識別子及びインポーズ位置情報を前記各画像符号化データとは別に前記各通信端末へ送信することを特徴とする請求項１８記載の通信方法。
【請求項２０】
コンピュータに請求項１乃至１０のいずれか一に記載の双方向通信システムを制御させるための通信制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、双方向通信システム、該双方向通信システムに用いられる通信方法及び通信制御プログラムに係り、たとえば、多地点に配置された複数の通信端末間で画像符号化データを送受信し、同各通信端末の表示画面に文字列や画像をスーパーインポーズして会議などを行う場合に用いて好適な双方向通信システム、該双方向通信システムに用いられる通信端末、通信サーバ、通信方法及び通信制御プログラムに関する。
【背景技術】
【０００２】
通信ネットワークでは、近年、ＡＤＳＬ（Asymmetric Digital Subscriber Line）や光通信技術などにより、画像符号化データや音声符号化データがパケットを用いて高速伝送されるようになっている。これにより、たとえば、ＶｏＩＰ（Voice over Internet Protocol）やＴＶｏＩＰ（TV over Internet Protocol）に対応した双方向通信システムや双方向通信システムが急速に普及してきている。【０００３】
この種の技術に関連する双方向通信システムは、たとえば、企業などの中枢部に配置された会議用サーバ（通信サーバ）、及び遠隔地にある複数の拠点に配置された会議用端末（通信端末）からなっている。そして、同各会議用端末がインターネットやイントラネットなどの通信回線を介して同会議用サーバに接続され、各会議用端末間で会議用サーバを介して画像符号化データを含むストリーム（画像ストリーム）が送受信される。同会議用サーバでは、各会議用端末から送信された画像符号化データに、同会議用サーバで所有している文字列や画像がインポーズされて同各会議用端末に送信されることがある。たとえば、新たな参加者が会議に参加した際、会議用サーバでは、画像データに入室マークをインポーズしたものが符号化されて各会議用端末へ送信される。この場合、会議用サーバにより、各会議用端末から受信した画像ストリームがデコードされ、上記入室マークに対応した文字列や画像がインポーズされてからエンコードされて各会議用端末へ送信される。【０００４】
上記の双方向通信システムの他、関連する技術としては、たとえば、特許文献１に記載されたものがある。
特許文献１に記載された双方向通信システムでは、端末において、操作入力手段により指示された合成する文字及び画像が、ＷＷＷ（World Wide Web）制御手段によりビットマップ（ＢＭＰ）イメージデータに変換され、同ＢＭＰイメージデータが画像コーデック制御手段に出力される。画像コーデック制御手段では、このＢＭＰイメージデータがＭＰＥＧ−１の１つのスライス分のデータに変換されてサーバ装置に送信される。サーバ装置では、このデータが端末の４番目のスライス画像に置換されて１乃至３番目のスライス画像と合成される。【０００５】
また、特許文献２に記載されたテレビ会議通信端末装置の制御方法では、自端末で入力した文字情報が画像情報に変換され、スーパーインポーズされて表示されるので、文字情報を入力しているユーザ以外のユーザが、その入力された文字情報の内容、たとえば、文字情報通信の内容を確認することができ、通信会議セッションが円滑に行われる。【０００６】
また、特許文献３に記載された双方向通信システムでは、参加地点名が各端末装置のモニタ・ディスプレイ上にスーパーインポーズされて表示されるため、受信中の画像がどこの端末装置のものなのかが参加者に確認される。【０００７】
また、特許文献４に記載されたテレビ会議システムでは、撮像手段の撮像位置（たとえば、撮影方向と倍率）が会議参加者に合わせて登録され、同時に、その人の名前、所属及び役職などの情報が付加情報として登録される。登録された撮像位置に撮像手段が一致または接近すると、その人物像に名前などの付加情報が合成された画像が得られる。これにより、人物の紹介及び確認が不要となる。
【特許文献１】特開２００４−０２３７０６号公報（要約書、図４、図２３）
【特許文献２】特開平０８−３０７８４５号公報（要約書、図２）
【特許文献３】特開平０５−０６３８３０号公報（要約書、図１）
【特許文献４】特開平０８−０５１６１４号公報（要約書、図３）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記双方向通信システムでは、次のような問題点があった。
すなわち、会議用サーバにより、受信した画像ストリームがデコードされ、文字列や画像がインポーズされてエンコードされるので、同会議用サーバにおける処理負荷が大きいという問題点がある。また、会議用サーバは、不特定多数のユーザを対象としているものであり、ユーザ個人に対応したインポーズ用画像を所有しているわけではないので、ユーザの好みに合ったインポーズ画像を提供できないという問題点がある。【０００９】
また、特許文献１に記載された双方向通信システムでは、端末で独自に文字及び画像がＷＷＷ制御手段によりＢＭＰイメージデータに変換されるが、サーバ装置の処理負荷が低減される構成ではないので、上記の問題点が改善されるものではない。【００１０】
特許文献２に記載されたテレビ会議通信端末装置は、自端末で入力した文字情報が画像情報に変換され、スーパーインポーズされて表示されるものであり、上記の問題点を改善するものではない。【００１１】
特許文献３に記載された双方向通信システムは、参加地点名がモニタ・ディスプレイに表示されるものであり、上記の問題点を改善するものではない。【００１２】
特許文献４に記載されたテレビ会議システムは、登録された撮像位置に撮像手段が一致または接近すると、人物像に名前などの付加情報が合成された画像が得られるものであり、上記の問題点は改善されない。【００１３】
この発明は、上述の事情に鑑みてなされたもので、会議用サーバに処理負荷をかけることなく、指定のタイミングで画像や文字列がインポーズされ、また、ユーザの好みにあったインポーズ画像が得られる双方向通信システム、同双方向通信システムに用いられる通信端末、通信サーバ、通信方法及び通信制御プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、この発明は、複数の通信端末と、前記各通信端末との間で各画像符号化データを送受信する通信サーバとを備え、前記各通信端末は、前記通信サーバから送信される前記画像符号化データに対応する画像を表示するための表示手段を有する双方向通信システムに係り、前記各通信端末は、前記表示手段に表示される前記画像中にスーパーインポーズするための１つ又は複数のインポーズ用画像を各インポーズ画像識別子と１対１に対応付けて保持すると共に、与えられたインポーズ画像識別子に対応する前記インポーズ用画像を選択するインポーズ用画像保持選択手段と、該インポーズ用画像保持選択手段で選択された前記インポーズ用画像を、与えられたインポーズ位置情報に基づいて、前記表示手段に表示される前記画像中にスーパーインポーズする画像合成手段と、前記画像符号化データを前記通信サーバへ送信する送信手段とが設けられ、前記通信サーバは、前記各インポーズ画像識別子及び各インポーズ位置情報を保持し、かつ、前記各通信端末から受信される前記各画像符号化データを任意の前記各通信端末へ送信すると共に、前記インポーズ画像識別子及びインポーズ位置情報を任意の前記各通信端末へ送信する構成とされていることを特徴としている。【００１５】
また、上記課題を解決するために、この発明は、通信端末との間で画像符号化データを送受信するための通信方法であって、前記通信端末に前記画像符号化データを送信する際に、インポーズ画像識別子及びインポーズ位置情報も送信し、前記送信されたインポーズ画像識別子に基づいて、インポーズ用画像を選択し、前記送信されたインポーズ位置情報に基づいて、画像中に前記インポーズ用画像をスーパーインポーズすることを特徴としている。
【発明の効果】
【００１６】
本発明によれば、会議用サーバに処理負荷をかけることなく、指定のタイミングで画像や文字列がインポーズされ、また、ユーザの好みにあったインポーズ画像が得られる双方向通信システム、同双方向通信システムに用いられる通信端末、通信サーバ、通信方法及び通信制御プログラムを提供できる。
【発明を実施するための最良の形態】
【００１７】
本発明は、通信サーバが、インポーズ画像識別子及びインポーズ位置情報を各画像符号化データ中に挿入して各通信端末へ送信する構成とされ、また、通信サーバが、インポーズ画像識別子及びインポーズ位置情報を各画像符号化データとは別に各通信端末へ送信する構成とされている双方向通信システム、同双方向通信システムに用いられる通信方法及び通信制御プログラムに関するものである。
例えば、図１に示すように、通信端末の一例としての複数の会議用端末２１〜２ｎと、各会議用端末２１〜２ｎとの間で各画像符号化データを送受信する通信サーバの一例としての多地点会議装置１とを備え、各会議用端末２１〜２ｎは、多地点会議装置１から送信される画像符号化データに対応する画像を表示するための表示手段の一例としての表示部１６を有する双方向通信システムに係り、各会議用端末２１〜２ｎは、表示部１６に表示される画像中にスーパーインポーズするための１つ又は複数のインポーズ用画像を各インポーズ画像識別子と１対１に対応付けて保持すると共に、与えられたインポーズ画像識別子に対応するインポーズ用画像を選択するインポーズ用画像保持選択部２１０と、インポーズ用画像保持選択部２１０で選択されたインポーズ用画像を、与えられたインポーズ位置情報に基づいて、表示部１６に表示される画像中にスーパーインポーズする画像合成部１４と、画像符号化データを多地点会議装置１へ送信する通信部２１１とが設けられ、多地点会議装置１は、各インポーズ画像識別子及び各インポーズ位置情報を保持し、かつ、各会議用端末２１〜２ｎから受信される各画像符号化データを任意の会議用端末２１〜２ｎへ通信部２３０を介して送信すると共に、インポーズ画像識別子及びインポーズ位置情報を任意の会議用端末２１〜２ｎへ通信部２３０を介して送信する構成とする。
この構成によれば、各会議用端末２１〜２ｎの通信部２１１により、画像符号化データが多地点会議装置１へ送信され、多地点会議装置１では、各会議用端末２１〜２ｎから受信される上記各画像符号化データが任意の会議用端末２１〜２ｎへ送信されると共に、インポーズ画像識別子及びインポーズ位置情報が任意の会議用端末２１〜２ｎへ送信される。各会議用端末２１〜２ｎでは、インポーズ用画像保持選択部２１０により、多地点会議装置１から与えられたインポーズ画像識別子に対応するインポーズ用画像が選択され、画像合成部１４により、インポーズ用画像保持選択部２１０で選択されたインポーズ用画像が、多地点会議装置１から与えられたインポーズ位置情報に基づいて、表示部１６に表示される画像中にスーパーインポーズされる。これにより、多地点会議装置では、デコード、インポーズ、エンコードを行う必要がなく、処理負荷を軽減することができると共に、各会議用端末２１〜２ｎの各ユーザの趣向に合った画像をインポーズできる。
以下、本発明の好適な実施の形態について説明する。【００１８】
〔第１の実施形態〕
図２は、本発明を好適に実施した第１の実施形態に係る双方向通信システムの要部の電気的構成を示すブロック図である。
この例の双方向通信システムは、同図に示すように、多地点会議システムであり、多地点会議装置１と、会議用端末２１，２２，…，２ｎと、外部装置３とから構成されている。
多地点会議装置１は、たとえば、企業などの中枢部に配置され、会議用端末２１，２２，…，２ｎとの間で画像符号化データを含む画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎをそれぞれ送受信する。会議用端末２１，２２，…，２ｎは、たとえば、遠隔地にある複数の拠点にそれぞれ配置されると共に、インターネットやイントラネットなどの通信回線を介して多地点会議装置１に接続され、同多地点会議装置１から送信される画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎに対応する画像を表示するための図示しない表示部を有している。また、会議用端末２１，２２，…，２ｎは、携帯電話端末などの移動機でも良い。外部状態検出装置の一例としての外部装置３は、たとえば地震センサや気温センサなどで構成され、この多地点会議システムの外部の状態を検出して、地震が発生した状態や気温などを表す１つ又は複数種類の外部状態情報ｐｓを生成する。また、外部装置３は、たとえば、主催者が会議に参加した状態に対応して外部状態情報ｐｓを生成しても良い。【００１９】
図３は、図２中の会議用端末２１の電気的構成を示すブロック図である。
この会議用端末２１は、同図３に示すように、同会議用端末２１全体を制御するコンピュータとしてのＣＰＵ（中央処理装置）２ａ及び同ＣＰＵ２ａを動作させるための通信制御プログラムが記録されたＲＯＭ（リード・オンリ・メモリ）２ｂを有している。特に、この本実施形態では、会議用端末２１は、受信部１１と、インポーズ情報解析部１２と、復号部の一例としてのデコーダ１３と、画像合成手段の一例としての画像合成部１４と、インポーズ用画像保持選択手段の一例としてのインポーズデータ選択部１５と、表示部１６と、送信手段の一例としての送信部１７とから構成されている。受信部１１は、多地点会議装置１から送信される画像ストリームｖｓ１を受信する。インポーズ情報解析部１２は、受信部１１で受信される画像ストリームｖｓ１に含まれる画像符号化データｖａを出力すると共に、同画像符号化データｖａを解析してインポーズ画像識別子ｃｍ及びインポーズ位置情報ｃｎを取得する。デコーダ１３は、インポーズ情報解析部１２から出力される画像符号化データｖａに対応する画像を復号して画像信号ｖｄを出力する。【００２０】
インポーズデータ選択部１５は、表示部１６に表示される画像中にスーパーインポーズするための複数のインポーズ用画像を各インポーズ画像識別子と１対１に対応付けてデータ集合として保持すると共に、インポーズ情報解析部１２から与えられたインポーズ画像識別子ｃｍに対応するインポーズ用画像ｖｉを選択する。上記データ集合は、たとえば、あらかじめ外部から提供されて保持されているデータ、ユーザが独自に作成したデータ、ユーザがウェブサイトからダウンロードしたデータなどで構成されている。画像合成部１４は、インポーズデータ選択部１５で選択されたインポーズ用画像ｖｉを、インポーズ情報解析部１２から与えられたインポーズ位置情報ｃｎに基づいて、画像信号ｖｄと合成することにより、表示部１６に表示される画像中にスーパーインポーズして画像信号ｖｅを出力する。表示部１６は、画像信号ｖｅに基づいて画像を表示する。送信部１７は、画像ストリームｖｓ１、及び会議用端末２１の使用状態（たとえば、同会議用端末２１が会議室に入室した状態、退室した状態、保留中の状態など）を表す複数種類の端末状態情報ｓｉ１を多地点会議装置１へ送信する。また、会議用端末２２，…，２ｎも、会議用端末２１と同様の構成になっている。
なお、受信部１１及び送信部１７は、図１における通信部２１１、インポーズ情報解析部１２、デコーダ１３及びインポーズデータ選択部１５は、図１におけるインポーズ用画像選択保持部２１０に相当する。【００２１】
図４は、図２中の多地点会議装置１の電気的構成を示すブロック図である。
この多地点会議装置１は、同図４に示すように、同多地点会議装置１全体を制御するコンピュータとしてのＣＰＵ（中央処理装置）１ａ及び同ＣＰＵ１ａを動作させるための通信制御プログラムが記録されたＲＯＭ１ｂを有している。特に、本実施形態では、多地点会議装置１は、受信部２１１，２１２，…，２１ｎと、インポーズ情報挿入部２２１，２２２，…，２２ｎと、画像選択部２３と、インポーズ情報挿入部２４１，２４２，…，２４ｎと、送信部２５１，２５２，…，２５ｎと、タイミング取得部２６とから構成されている。受信部２１１，２１２，…，２１ｎは、会議用端末２１，２２，…，２ｎから画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎを受信する。タイミング取得部２６は、受信部２１１，２１２，…，２１ｎで受信された画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎ及び外部装置３で生成された外部状態情報ｐｓに基づいて、各インポーズ画像識別子及び各インポーズ位置情報を画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎの各画像符号化データ中に挿入するための各タイミングを取得する。【００２２】
インポーズ情報挿入部２２１，２２２，…，２２ｎは、各インポーズ画像識別子及び各インポーズ位置情報を各端末状態情報及び各外部状態情報と対応付けて保持し、タイミング取得部２６で取得される各タイミングで、端末状態情報ｓｉ１，ｓｉ２，…，ｓｉｎ又は外部状態情報ｐｓに対応するインポーズ画像識別子及びインポーズ位置情報を受信部２１１，２１２，…，２１ｎで受信された画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎの各画像符号化データ中に挿入して画像ストリームｖｔ１，ｖｔ２，…，ｖｔｎとして出力する。この場合、たとえば、ＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）勧告）Ｈ．２６４のような動画像符号化方式、及びＭＰＥＧ（Moving Picture Experts Group）−４のような動画圧縮規格に基づいて、上記インポーズ画像識別子及びインポーズ位置情報が上記各画像符号化データ中に挿入される。なお、インポーズ情報挿入部２２１，２２２，…，２２ｎは、タイミング取得部２６で上記各タイミングが取得されない場合、上記インポーズ画像識別子及びインポーズ位置情報は、上記各画像符号化データ中に挿入されない。【００２３】
画像選択部２３は、インポーズ情報挿入部２２１，２２２，…，２２ｎから出力される画像ストリームｖｔ１，ｖｔ２，…，ｖｔｎを入力し、会議用端末２１，２２，…，２ｎにいずれの画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎを送信するかを選択する。この場合の選択方法は、たとえば、会議用端末２１，２２，…，２ｎの各ユーザが任意に行う方法、一定時間毎に切り替える方法など、任意の方法で良い。インポーズ情報挿入部２４１，２４２，…，２４ｎは、各インポーズ画像識別子及び各インポーズ位置情報を各端末状態情報及び各外部状態情報と１対１に対応付けて保持し、タイミング取得部２６で取得される各タイミングで、端末状態情報ｓｉ１，ｓｉ２，…，ｓｉｎ又は外部状態情報ｐｓに対応するインポーズ画像識別子及びインポーズ位置情報を画像選択部２３から出力される画像ストリームｖｍ１，ｖｍ２，…，ｖｍｎの各画像符号化データ中に挿入して画像ストリームｖｕ１，ｖｕ２，…，ｖｕｎとして出力する。なお、インポーズ情報挿入部２４１，２４２，…，２４ｎは、タイミング取得部２６で上記各タイミングが取得されない場合、上記インポーズ画像識別子及びインポーズ位置情報を上記各画像符号化データ中に挿入しない。送信部２５１，２５２，…，２５ｎは、画像ストリームｖｕ１，ｖｕ２，…，ｖｕｎを会議用端末２１，２２，…，２ｎへそれぞれ送信する。この場合、所定の動画送信用プロトコルに基づき、たとえば、ＲＴＰ（Real Time Protocol）などが用いられる。なお、受信部２１１，２１２，…，２１ｎ及び送信部２５１，２５２，…，２５ｎは、図１における通信部２３０に相当する。【００２４】
図５は、図４中の画像選択部２３に代えて設けられる画像処理部３０の電気的構成を示すブロック図である。
この画像処理部３０は、同図５に示すように、デコーダ３１１，３１２，…，３１ｎと、ミキサ３２１，３２２，…，３２ｎと、エンコーダ３３１，３３２，…，３３ｎとから構成されている。デコーダ３１１，３１２，…，３１ｎは、画像ストリームｖｔ１，ｖｔ２，…，ｖｔｎの各画像符号化データをデコードして各復号画像データを出力する。ミキサ３２１，３２２，…，３２ｎは、デコーダ３１１，３１２，…，３１ｎから出力される各復号画像データをミキシングする。エンコーダ３３１，３３２，…，３３ｎは、ミキサ３２１，３２２，…，３２ｎから出力される各画像データを画像符号化データにエンコードして画像ストリームｖｍ１，ｖｍ２，…，ｖｍｎとして出力する。【００２５】
図６及び図７は、動画圧縮規格；ＭＰＥＧ−４に基づいてインポーズ画像識別子及びインポーズ位置情報を各画像符号化データ中に挿入する際のデータ構成の例を示す図である。
これらの図を参照して、この例の双方向通信システム（多地点会議システム）に用いられる通信方法の処理内容について説明する。
この多地点会議システムでは、会議用端末２１，２２，…，２ｎから同会議用端末２１，２２，…，２ｎの使用状態を表す複数種類の端末状態情報が多地点会議装置１へ送信される（送信処理）。また、多地点会議装置１により、各インポーズ画像識別子及び各インポーズ位置情報が各端末状態情報と１対１に対応付けて保持され、かつ、会議用端末２１，２２，…，２ｎから受信される各画像符号化データが任意の各会議用端末２１，２２，…，２ｎへ送信されると共に、同各会議用端末２１，２２，…，２ｎから受信される各端末状態情報に対応するインポーズ画像識別子及びインポーズ位置情報が上記各画像符号化データ中に挿入されて任意の会議用端末２１，２２，…，２ｎへ送信される。【００２６】
会議用端末２１，２２，…，２ｎにより、表示部１６に表示される画像中にスーパーインポーズするための１つ又は複数のインポーズ用画像が各インポーズ画像識別子と１対１に対応付けて保持されると共に、多地点会議装置１から与えられたインポーズ画像識別子に対応するインポーズ用画像が選択され（インポーズ用画像保持選択処理）、同インポーズ用画像保持選択処理で選択されたインポーズ用画像が、同多地点会議装置１から与えられたインポーズ位置情報に基づいて、表示部１６に表示される画像中にスーパーインポーズされる（画像合成処理）。【００２７】
すなわち、会議用端末２１，２２，…，２ｎでは、送信部１７により、画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎ及び端末状態情報ｓｉ１，ｓｉ２，…，ｓｉｎが多地点会議装置１へ送信される。多地点会議装置１では、受信部２１１，２１２，…，２１ｎにより、画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎ及び端末状態情報ｓｉ１，ｓｉ２，…，ｓｉｎが受信される。タイミング取得部２６により、受信部２１１，２１２，…，２１ｎで受信された端末状態情報ｓｉ１，ｓｉ２，…，ｓｉｎ、及び外部装置３で生成された外部状態情報ｐｓに基づいて、各インポーズ画像識別子及び各インポーズ位置情報を画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎの各画像符号化データ中に挿入するための各タイミングが取得される。【００２８】
インポーズ情報挿入部２２１，２２２，…，２２ｎでは、タイミング取得部２６で取得される各タイミングで、端末状態情報ｓｉ１，ｓｉ２，…，ｓｉｎ又は外部状態情報ｐｓに対応するインポーズ画像識別子及びインポーズ位置情報が、受信部２１１，２１２，…，２１ｎで受信された画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎの各画像符号化データ中に挿入されて画像ストリームｖｔ１，ｖｔ２，…，ｖｔｎとして出力される。この場合、挿入されるインポーズ画像識別子は、たとえば、会議用端末２１，２２，…，２ｎのいずれかが保留中である旨などを示す情報に対応している。また、インポーズ情報挿入部２２１，２２２，…，２２ｎでは、インポーズ画像識別子が挿入された時点から何フレーム後のフレームから何フレーム分のインポーズ用画像をインポーズするかを表す情報など、インポーズ開始タイミング情報とインポーズ終了タイミング情報とが挿入されることもある。【００２９】
上記情報やインポーズ画像識別子を画像符号化データに挿入する方法として、たとえば、ＭＰＥＧ−４の“User_data_start_code”の直後に存在する“User_data”や、Ｈ．２６４のＳＥＩ（Supplemental enhancement information）という１つのＮＡＬ（Network Abstraction Layer 、ネットワーク抽象化層）ユニットタイプの中に存在する変数“User_data_unregistered”などが用いられる。ＭＰＥＧ−４の“User_data”は、領域が８ビット（１バイト）であるが、複数用いることにより、上記情報やインポーズ画像識別子を格納することができる。また、Ｈ．２６４の変数“User_data_unregistered”は、１バイト長のデータがペイロードサイズ（payloadsize）存在するため、上記情報やインポーズ画像識別子を格納することができる。【００３０】
画像インポーズしたいフレームより前の領域に上記情報やインポーズ画像識別子を挿入することにより、会議用端末２１，２２，…，２ｎにおいて、指定したフレームに画像をインポーズするための情報を付加することができる。しかし、ＭＰＥＧ−４では、“User_dataは同ＭＰＥＧ−４のシンタックス上、フレーム内に存在しない。そこで、ＭＰＥＧ−４のシンタックスに適応できる形式に合わせて“User_data”を挿入する。たとえば、図６に示すように、ＭＰＥＧ−４の変数“User_data”に上記情報やインポーズ画像識別子を挿入するために、同“User_data”を含むＤＣＩ（Decoder Configuration Information）が、ＶＯＰ（Video Object Plane、ＭＰＥＧ−４で符号化した画像データの１フレーム）の前に挿入されている。“User_data”は、ＤＣＩの中又は直後に存在するが、上記情報やインポーズ画像識別子を挿入する箇所としては、どちらを選択しても良い。当該ＤＣＩを挿入する方法としては、画像符号化データ上のスタートコードを探索し、ＶＯＰのスタートコードの前に上記情報やインポーズ画像識別子を含むＤＣＩを挿入する方法が考えられる。ここで用いられるＤＣＩは、インポーズ情報挿入部２２１に入力される画像符号化データのＤＣＩに、上記情報やインポーズ画像識別子を含む“User_data”を加えたものを用いる。【００３１】
また、図７に示すように、図６中のＤＣＩに代えて、ＧＯＶ（Group of Vop）ヘッダに含まれる“User_data”を用いることもある。ＧＯＶヘッダは、Ｉ−ＶＯＰ（Ｉ；Ｉｎｔｒａ、フレーム内）の前に存在する必要があるため、次のＶＯＰがＩ−ＶＯＰである必要がある。また、ＧＯＶヘッダを付加する際には、前のＧＯＶヘッダに含まれる時間情報、各ＶＯＰの先頭に存在する時間情報、あるいは、装置が所有する時間情報を用いて、当該ＧＯＶヘッダに存在する“time_code”に時刻情報を入れる必要がある。また、ＧＯＶヘッダには、変数“closed_gov”や変数“broken_link”が存在するが、本実施形態では、これらの変数に関わる操作は行われないので、“０”固定で良い。【００３２】
なお、上記のように、ＶＯＰスタートコードの前にＤＣＩあるいはＧＯＶを挿入する方法の他、シンタックスに適合していれば、たとえば、ＧＯＶスタートコードの前にＤＣＩを挿入することや、既に存在するＧＯＶに上記情報やインポーズ画像識別子を含む“User_data”を加えることもできる。また、ここでは、ＭＰＥＧ−４の“User_data”を例にあげて説明したが、Ｈ．２６４や、他の同様の仕組みを有する画像符号化データに対しても、上記の挿入処理が適用できる。また、たとえば、“reserved”（予約領域）のスタートコードを用いて、上記情報やインポーズ画像識別子を埋め込むことなども考えられる。【００３３】
インポーズ情報挿入部２２１，２２２，…，２２ｎから出力された画像ストリームｖｔ１，ｖｔ２，…，ｖｔｎは、画像選択部２３により会議用端末２１，２２，…，２ｎのいずれかが送信先として選択され、画像ストリームｖｍ１，ｖｍ２，…，ｖｍｎが出力される。インポーズ情報挿入部２４１，２４２，…，２４ｎでは、タイミング取得部２６で取得される各タイミングで、端末状態情報ｓｉ１，ｓｉ２，…，ｓｉｎ又は外部状態情報ｐｓに対応するインポーズ画像識別子及びインポーズ位置情報が画像選択部２３から出力される画像ストリームｖｍ１，ｖｍ２，…，ｖｍｎの各画像符号化データ中に挿入され、画像ストリームｖｕ１，ｖｕ２，…，ｖｕｎとして出力される。画像ストリームｖｕ１，ｖｕ２，…，ｖｕｎは、送信部２５１，２５２，…，２５ｎにより、会議用端末２１，２２，…，２ｎへそれぞれ送信される。【００３４】
また、図４中の画像選択部２３に代えて、図５に示す画像処理部３０が用いられることもある。画像処理部３０では、画像ストリームｖｔ１，ｖｔ２，…，ｖｔｎは、デコーダ３１１，３１２，…，３１ｎにより復号画像にデコードされ、ミキサ３２１，３２２，…，３２ｎに入力されてミキシングされる。このミキシングは、任意の方法で行われる。ミキサ３２１，３２２，…，３２ｎから出力される画像データは、エンコーダ３３１，３３２，…，３３ｎにより画像符号化データに変換され、画像ストリームｖｍ１，ｖｍ２，…，ｖｍｎとして出力される。なお、この画像処理部３０では、ミキサ３２１，３２２，…，３２ｎが削除された構成とされ、ミキシングが行われなくても良い。【００３５】
会議用端末２１では、多地点会議装置１から送信される画像ストリームｖｓ１が受信部１１で受信される。インポーズ情報解析部１２では、受信部１１で受信される画像ストリームｖｓ１に含まれる画像符号化データｖａが出力されると共に、同画像符号化データｖａが解析されてインポーズ画像識別子ｃｍ及びインポーズ位置情報ｃｎが取得される。画像符号化データｖａはデコーダ１３で復号され、画像信号ｖｄが出力される。インポーズデータ選択部１５では、保持しているデータ集合から、インポーズ画像識別子ｃｍに対応するインポーズ用画像ｖｉが選択される。画像合成部１４では、インポーズ位置情報ｃｎに基づいて、インポーズ用画像ｖｉが画像信号ｖｄに合成されることにより、表示部１６に表示される画像中にスーパーインポーズされて画像信号ｖｅが出力される。表示部１６では、画像信号ｖｅに基づいて画像が表示される。また、会議用端末２２，…，２ｎでも、会議用端末２１と同様の処理が行われる。【００３６】
以上のように、本実施形態では、会議用端末２１，２２，…，２ｎから各端末状態情報が多地点会議装置１へ送信され、また、多地点会議装置１により、会議用端末２１，２２，…，２ｎから受信される各画像符号化データが任意の各会議用端末２１，２２，…，２ｎへ送信されると共に、同各会議用端末２１，２２，…，２ｎから受信される各端末状態情報に対応するインポーズ画像識別子及びインポーズ位置情報が上記各画像符号化データ中に挿入されて画像選択部２３を経て会議用端末２１，２２，…，２ｎへ送信され、会議用端末２１，２２，…，２ｎにより、多地点会議装置１から与えられたインポーズ画像識別子に対応するインポーズ用画像が選択され、選択されたインポーズ用画像が、同多地点会議装置１から与えられたインポーズ位置情報に基づいて、表示部１６に表示される画像中にスーパーインポーズされる。このため、多地点会議装置１では、デコード、インポーズ、エンコードを行う必要がなく、処理負荷の軽減が見込まれる。【００３７】
また、多地点会議装置１中の画像選択部２３に代えて、画像処理部３０を用いるときにおいても、複数の会議用端末宛に同一の画像を表示したい場合で、かつ異なる画像をインポーズしたい場合において、エンコード回数を減らすことができ、処理負荷の軽減が見込まれる。たとえば、会議用端末２１のから送出される画像を会議用端末２２，…，２ｎに表示する場合で、かつ会議用端末２２，…，２ｎでインポーズしたい画像が異なる場合、従来手法と本実施形態とでは、デコード回数は、会議用端末２１の画像をデコードする１回と等しいが、インポーズ及びエンコードの回数は、従来手法では（ｎ−１）回であるのに対し、本実施形態では１回となる。また、多地点会議装置１内で画像インポーズせず、会議用端末２１，２２，…，２ｎでユーザ各々のインポーズデータを使用することにより、各ユーザの好みに合った画像がインポーズされる。【００３８】
〔第２の実施形態〕
本発明を好適に実施した第２の実施形態に係る多地点会議システムでは、図２中の多地点会議装置１及び会議用端末２１，２２，…，２ｎに代えて、異なる構成の多地点会議装置１Ａ及び会議用端末２１Ａ，２２Ａ，…，２ｎＡが設けられている。
多地点会議装置１Ａは、会議用端末２１Ａ，２２Ａ，…，２ｎＡとの間で画像符号化データを含む画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎをそれぞれ送受信する他、インポーズ画像識別子、インポーズ位置情報及びインポーズ適応区間（すなわち、インポーズの始まるフレームから終了するフレームまでの区間）を上記各画像符号化データとは別に上記会議用端末２１Ａ，２２Ａ，…，２ｎＡへ送信する。会議用端末２１Ａ，２２Ａ，…，２ｎＡは、多地点会議装置１Ａから送信される画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎに対応する画像を表示するための図示しない表示部を有すると共に、インポーズ画像識別子及びインポーズ位置情報を受信する。【００３９】
図８は、本実施形態に係る多地点会議システムに用いられる会議用端末の電気的構成を示すブロック図であり、第１の実施形態を示す図３中の要素と共通の要素には共通の符号が付されている。
この会議用端末２１Ａでは、図３中の受信部１１、インポーズ情報解析部１２及び画像合成部１４に代えて、異なる機能を有する受信部１１Ａ、インポーズ情報取得部１８が設けられている。受信部１１Ａは、多地点会議装置１Ａから送信される画像符号化データを含む画像ストリームｖｓ１、インポーズ画像識別子、インポーズ位置情報及びインポーズ適応区間を受信する。インポーズ情報取得部１８は、受信部１１Ａで受信されるインポーズ画像識別子ｃｍ及びインポーズ位置情報ｃｎを取得する。デコーダ１３は、受信部１１Ａで受信される画像ストリームｖｓ１に含まれる画像符号化データに対応する画像を復号して画像信号ｖｄを出力する。他は、図３と同様の構成である。【００４０】
図９は、本実施形態に係る多地点会議システムに用いられる多地点会議装置の電気的構成を示すブロック図であり、第１の実施形態を示す図４中の要素と共通の要素には共通の符号が付されている。
この例の多地点会議装置１Ａでは、同図９に示すように、図４中のインポーズ情報挿入部２２１，２２２，…，２２ｎ及びインポーズ情報挿入部２４１，２４２，…，２４ｎが削除されると共に、インポーズ情報生成部２７が新たに設けられ、また、タイミング取得部２６に代えて、異なる機能を有するタイミング取得部２６Ａが設けられている。タイミング取得部２６Ａは、受信部２１１，２１２，…，２１ｎで受信された端末状態情報ｓｉ１，ｓｉ２，…，ｓｉｎ、及び外部装置３で生成された外部状態情報ｐｓに基づいて、各インポーズ画像識別子、各インポーズ位置情報及びインポーズ適応区間を生成するための各タイミングを取得する。インポーズ情報生成部２７は、タイミング取得部２６Ａで取得される各タイミングで、各端末状態情報ｓｉ１，ｓｉ２，…，ｓｉｎに対応するインポーズ画像識別子、インポーズ位置情報及びインポーズ適応区間を生成する。他は、図４と同様の構成である。【００４１】
この例の多地点会議システムに用いられる通信方法では、次の点が第１の実施形態と異なっている。
すなわち、多地点会議装置１Ａにより、会議用端末２１Ａ，２２Ａ，…，２ｎＡとの間で画像符号化データを含む画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎがそれぞれ送受信され、また、インポーズ画像識別子、インポーズ位置情報及びインポーズ適応区間が、上記画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎに含まれる画像符号化データとは別に上記会議用端末２１Ａ，２２Ａ，…，２ｎＡへ送信される。この場合、所定のプロトコルに基づき、たとえば、ＲＴＣＰ（ＲＴＰ（Real Time Protocol）  Control Protocol）ＡＰＰ（A Posteriori Probability）パケット、ＲＦＣ２８３３に記載のＤＴＭＦ（Dual Tone Multi Frequency）ＲＴＰパケット、ＸＭＬ（extensible mark up language）データなどが用いられる。【００４２】
この場合、会議用端末２１Ａ，２２Ａ，…，２ｎＡでは、送信部１７により、画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎ及び端末状態情報ｓｉ１，ｓｉ２，…，ｓｉｎが多地点会議装置１Ａへ送信される。多地点会議装置１Ａでは、受信部２１１，２１２，…，２１ｎにより、画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎ及び端末状態情報ｓｉ１，ｓｉ２，…，ｓｉｎが受信される。タイミング取得部２６Ａでは、受信部２１１，２１２，…，２１ｎで受信された端末状態情報ｓｉ１，ｓｉ２，…，ｓｉｎ、及び外部装置３で生成された外部状態情報ｐｓに基づいて、各インポーズ画像識別子、各インポーズ位置情報及
び各インポーズ適応区間を生成するための各タイミングが取得される。インポーズ情報生成部２７では、タイミング取得部２６Ａで取得される各タイミングで、各端末状態情報ｓｉ１，ｓｉ２，…，ｓｉｎに対応するインポーズ画像識別子、インポーズ位置情報及びインポーズ適応区間が生成される。これらのインポーズ画像識別子、インポーズ位置情報及びインポーズ適応区間は、送信部２５１，２５２，…，２５ｎにより、会議用端末２１Ａ，２２Ａ，…，２ｎＡへそれぞれ送信される。【００４３】
会議用端末２１Ａでは、多地点会議装置１Ａから送信される画像ストリームｖｓ１、インポーズ画像識別子、インポーズ位置情報及びインポーズ適応区間が受信部１１Ａで受信される。インポーズ情報取得部１８では、受信部１１Ａで受信されるインポーズ画像識別子ｃｍ、インポーズ位置情報ｃｎ及びインポーズ適応区間ｃｑが取得される。また、デコーダ１３では、受信部１１Ａで受信される画像ストリームｖｓ１に含まれる画像符号化データに対応する画像が復号されて画像信号ｖｄが出力される。画像合成部１４では、インポーズ位置情報ｃｎに基づいて、インポーズ用画像ｖｉがインポーズ適応区間ｃｑにて画像信号ｖｄに合成されることにより、表示部１６に表示される画像中にスーパーインポーズされて画像信号ｖｅが出力される。この後、インポーズデータ選択部１５及び表示部１６により、第１の実施形態と同様の処理が行われる。【００４４】
以上のように、本実施形態では、地点会議装置１Ａでは、第１の実施形態と同様に、デコード、インポーズ、エンコードを行う必要がなく、処理負荷の軽減が見込まれる。
また、多地点会議装置１Ａ中の画像選択部２３に代えて、画像処理部３０を用いるときにおいても、第１の実施形態と同様の利点がある。【００４５】
以上、この発明の好適な実施の一例を図面により詳述してきたが、具体的な構成は上記各実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更などがあっても、この発明に含まれる。
たとえば、図４に示す多地点会議装置１は、インポーズ情報挿入部２２１，２２２，…，２２ｎ又はインポーズ情報挿入部２４１，２４２，…，２４ｎが削除された構成になっていても良い。また、図５に示す画像処理部３０は、ミキサ３２１，３２２，…，３２ｎが存在しない構成とされ、デコーダ３１１，３１２，…，３１ｎから出力される各復号画像データがエンコーダ３３１，３３２，…，３３ｎに入力される構成となっていても良い。
また、多地点会議装置１，１Ａに、画像ストリームｖｓ１，ｖｓ２，…，ｖｓｎに基づいて会議用端末２１，２２，…，２ｎ，２１Ａ，２２Ａ，…，２ｎＡの使用状態を判定する機能が設けられていれば、会議用端末２１，２２，…，２ｎ，２１Ａ，２２Ａ，…，２ｎＡでは、端末状態情報ｓｉ１，ｓｉ２，…，ｓｉｎを送信する機能が不要となる。
【産業上の利用可能性】
【００４６】
この発明は、たとえばテレビ会議システムなど、各通信端末が多地点に分散配置されている多地点会議システム全般に適用でき、特に、同各通信端末の表示画面に画像をインポーズする場合に有効である。【００４７】
この出願は、２００７年７月４日に出願された日本出願特願２００７−１７６６６３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図面の簡単な説明】
【００４８】
【図１】本発明に係る双方向通信システムの構成を示す図である。
【図２】本発明を好適に実施した第１の実施形態に係る双方向通信システムの要部の電気的構成を示すブロック図である。
【図３】図１中の会議用端末２１の電気的構成を示すブロック図である。
【図４】図１中の多地点会議装置１の電気的構成を示すブロック図である。
【図５】図３中の画像選択部２３に代えて設けられる画像処理部３０の電気的構成を示すブロック図である。
【図６】動画圧縮規格；Ｍｐｅｇ−４に基づいてインポーズ画像識別子及びインポーズ位置情報を各画像符号化データ中に挿入する際のデータ構成の例を示す図である。
【図７】動画圧縮規格；Ｍｐｅｇ−４に基づいてインポーズ画像識別子及びインポーズ位置情報を各画像符号化データ中に挿入する際のデータ構成の例を示す図である。
【図８】本発明を好適に実施した第２の実施形態に係る多地点会議システムに用いられる会議用端末の電気的構成を示すブロック図である。
【図９】第２の実施形態に係る多地点会議システムに用いられる多地点会議装置の電気的構成を示すブロック図である。
【符号の説明】
【００４９】
１，１Ａ      多地点会議装置（通信サーバ）
１ａ      ＣＰＵ（中央処理装置）
１ｂ      ＲＯＭ（リード・オンリ・メモリ）
２１，２２，…，２ｎ，２１Ａ，２２Ａ，…，２ｎＡ      会議用端末（通信端末）
２ａ      ＣＰＵ（中央処理装置）
２ｂ      ＲＯＭ（リード・オンリ・メモリ）
３      外部装置（外部状態検出装置）
１１，１１Ａ      受信部
１２      インポーズ情報解析部
１３      デコーダ（復号部）
１４      画像合成部（画像合成手段）
１５      インポーズデータ選択部（インポーズ用画像保持選択手段）
１６      表示部（表示手段）
１７      送信部（送信手段）
１８      インポーズ情報取得部
２１１，２１２，…，２１ｎ      受信部
２２１，２２２，…，２２ｎ      インポーズ情報挿入部
２３      画像選択部（通信サーバの一部）
２４１，２４２，…，２４ｎ      インポーズ情報挿入部
２５１，２５２，…，２５ｎ      送信部
２６，２６Ａ      タイミング取得部
２７      インポーズ情報生成部
３０      画像処理部（通信サーバの一部）
３１１，３１２，…，３１ｎ      デコーダ（画像処理部の一部）
３２１，３２２，…，３２ｎ      ミキサ（画像処理部の一部）
３３１，３３２，…，３３ｎ      エンコーダ（画像処理部の一部）
【図１】
2009004891.tif 000003
【図２】
2009004891.tif 000004
【図３】
2009004891.tif 000005
【図４】
2009004891.tif 000006
【図５】
2009004891.tif 000007
【図６】
2009004891.tif 000008
【図７】
2009004891.tif 000009
【図８】
2009004891.tif 000010
【図９】
2009004891.tif 000011
【国際調査報告】
2009004891.tif 000012
2009004891.tif 000013
2009004891.tif 000014
2009004891.tif 000015