(57)【要約】【課題】説明者が遠隔地の聴講者及び全体の雰囲気を把握しながら説明でき、また聴講者は遠隔地の説明者の詳細な様子を閲覧しながら聴講することにより臨場感を持つことができる、遠隔会議システムを実現する。【解決手段】説明者には全方位を撮像可能な第一の撮像手段９０３が撮像した聴講者の反応及び会議室の様子を表示し、聴講者には特定の領域を撮像可能な第二の撮像手段９０４により撮像された説明者の様子を表示することにより、遠隔地においてもより臨場感のある会議を行うことを可能にする。【選択図】図９
2007221437.tif 000002
【特許請求の範囲】
【請求項１】
全方位の映像を撮像可能な第一の撮像手段と、
パン、チルト及びズームにより任意の方向の詳細な映像を撮像可能な第二の撮像手段と、
遠隔地の第一の撮像手段又は第二の撮像手段により撮像された撮像情報を表示すると共に画像情報及びテキスト情報により構成されるドキュメント情報を表示する表示手段と、
表示手段が表示する撮像情報及びドキュメント情報の内容及びレイアウトを制御すると共に、遠隔地への撮像情報及びドキュメント情報の送信を制御する制御手段と、
表示手段への入力操作を検出する入力手段と、
音声入力手段と音声出力手段から構成される２つ以上の遠隔会議端末装置を用いて撮像情報及びドキュメント情報を共有することにより遠隔地と会議を行う遠隔会議システムにおいて、
上記制御手段は上記入力手段及び音声入力手段の状態により異なる制御を行うことを特徴とする遠隔会議システム。
【請求項２】
上記制御手段は、ユーザによる上記入力手段への入力を検出した際、第二の撮像手段が上記入力手段への入力を検出した付近の映像を撮像するように制御し撮像した撮像情報を遠隔地の遠隔会議端末装置における上記表示手段に表示すると共に、遠隔地の遠隔会議端末装置における第一の撮像手段が撮像した撮像情報を上記表示手段に表示するように制御することを特徴とする請求項１記載の遠隔会議システム。
【請求項３】
上記制御手段は、ユーザの発声による上記音声入力手段への音声入力を検出した際、第二の撮像手段がユーザの発声を検出した付近の映像を撮像するように制御し撮像した撮像情報を遠隔地の遠隔会議端末装置における上記表示手段に表示すると共に、遠隔地の遠隔会議端末装置における第一の撮像手段が撮像した撮像情報を上記表示手段に表示するように制御することを特徴とする請求項１記載の遠隔会議システム。
【請求項４】
上記第一の撮像手段及び第二の撮像手段は中心軸を一致させることにより同一の視点で撮像することを特徴とする請求項１記載の遠隔会議システム。
【請求項５】
上記制御手段は、上記表示手段に撮像情報を表示する際、ユーザの上記入力手段による操作及びドキュメント情報の表示の妨げにならない位置と大きさで撮像情報を表示するように制御することを特徴とする請求項１記載の遠隔会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の遠隔会議端末装置の間で通信回線を介して音声情報及び撮像情報により構成されるメディア情報と、画像情報及びテキスト情報により構成されるドキュメント情報を共有することにより複数の遠隔地間で会議を行う遠隔会議において、遠隔地間の説明者及び聴講者がより臨場感を持つことができる遠隔会議システムに関するものである。
【背景技術】
【０００２】
従来より、遠隔地間での会議やプレゼンテーション、又は教育等において、通信回線を介して遠隔地間で音声情報及び撮像情報により構成されるメディア情報と、画像情報及びテキスト情報により構成されるドキュメント情報を送受信し共有することにより実現する機器として、遠隔会議端末装置が用いられる。
【０００３】
図２のようにこのような遠隔会議端末装置（２−１Ａ〜Ｃ）を分散した複数の会議室（会議室Ａ〜Ｃ）等に設置し、通信回線を介して複数の遠隔会議端末装置を接続することにより遠隔地間のユーザ（２−２Ａ１〜３、２−２Ｂ１〜３、２−２Ｃ３）が会議やプレゼンテーション、又は教育等を実現していた。
【０００４】
このような遠隔会議端末装置には、図３に示す大画面表示装置の画面上にタッチパネル等の入力検出手段を組み合わせ（３０２）、デジタイザやペン等（３０３）によりユーザ（３０１）が表示装置の画面上にテキストやイラスト（３０４）を描画することが可能であり、描画したデータが遠隔地間で共有され遠隔地間でホワイトボード共有を実現する装置も存在する（例えば、特許文献１参照）。
【０００５】
また、上記のように画像情報及びテキスト情報により構成されるドキュメント情報を共有すると共に、ユーザが表示装置の画面上に描画したテキストやイラストを共有し、さらには遠隔地間の映像情報及び音声情報を共有することでより臨場感を高め会議を行う装置も存在する（例えば、非特許文献1参照）。
【０００６】
また、遠隔地間で映像を共有するために撮像装置を使用するが、カメラの周囲３６０度、つまり全方位を撮像するとともに、任意の場所をパン、チルト及びズームにより詳細に撮像することが可能な撮像装置がある。
【０００７】
上記の撮像装置を用いることにより、全方位カメラで周囲の様子を撮像するとともに、注目点をパン、チルト、ズームカメラにより詳細に撮像し閲覧することが可能である。
【０００８】
図４に示すように全方位を撮像する方式としては、円錐ミラー、球面ミラー、双曲面ミラー等（４０１）を利用し撮像手段（４０２）により得られた円形の光学像をソフトウェア処理することで人が見やすい映像であるパノラマ映像や透視画像に変換する方法や、複数のカメラを利用し全方位を撮像しソフトウェア処理することで人が見やすい映像であるパノラマ映像に変換する方法等がある。
【０００９】
また、全方位を撮像する手段（４０１、４０２）とパン、チルト及びズームにより詳細に撮像する手段（４０３、４０４）の中心軸と同一にすることにより、同じ視点で撮像することを実現する撮像装置もある（例えば、特許文献２参照）。
【００１０】
【特許文献１】特開２００３−２８０８１７号公報
【特許文献２】特開２００３−２５９３５０号公報
【非特許文献１】「パイオニア株式会社 サイバーボード」2004年、http://wwwbsc.pioneer.co.jp/catalog/category/fset_cyberboard.html
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献1及び非特許文献１においては全方位カメラによる全方位映像に関する記載はない。また、非特許文献1の撮像装置として全方位カメラを使用したとしても、ユーザの状況に応じて遠隔地の全体を把握するための全方位カメラの映像と、部分的により詳細な状況を把握するためのパン、チルト、ズームカメラの映像を適切に表示することができなかった。
【００１２】
このため、あたかも同一地点で会議を行うかのように遠隔地間においても臨場感がり使いやすい遠隔会議システムを実現することは困難であった。
【００１３】
また、特許文献２においては監視用途のカメラであるため、全方位カメラにより撮像された全方位映像において動きがあった部分を詳細に撮像するために、パン、チルト、ズームカメラの制御を行う。
【００１４】
しかしながら、遠隔会議や遠隔教育において当該撮像装置を使用した場合、パン、チルト、ズームカメラにより詳細に撮像し表示してもらいたい映像は必ずしも動きのある部分ではなく、説明者や発言者を詳細に撮像し表示することが求められる。そのため、遠隔会議システムにおいて使用する撮像装置としては適切ではなかった。
【００１５】
本発明は上述の点に鑑みてなされたものであり、説明者が遠隔地の聴講者及び全体の雰囲気を把握しながら説明でき、また聴講者は遠隔地の説明者の詳細な様子を閲覧しながら聴講することにより臨場感を持つことができる、遠隔会議システムを実現することを目的としている。
【課題を解決するための手段】
【００１６】
本発明の遠隔会議システムは、全方位の映像を撮像可能な第一の撮像手段と、パン、チルト及びズームにより任意の方向の詳細な映像を撮像可能な第二の撮像手段と、遠隔地の第一の撮像手段又は第二の撮像手段により撮像された撮像情報を表示すると共に画像情報及びテキスト情報により構成されるドキュメント情報を表示する表示手段と、表示手段が表示する撮像情報及びドキュメント情報の内容及びレイアウトを制御すると共に、遠隔地への撮像情報及びドキュメント情報の送信を制御する制御手段と、表示手段への入力操作を検出する入力手段と、音声入力手段と音声出力手段から構成される２つ以上の遠隔会議端末装置を用いて撮像情報及びドキュメント情報を共有することにより遠隔地と会議を行う遠隔会議システムにおいて、上記制御手段は上記入力手段及び音声入力手段の状態により異なる制御を行うことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、説明者は遠隔地の聴講者及び全体の雰囲気を把握しながら説明できる。
また、本発明によれば、聴講者は遠隔地の説明者の詳細な様子を閲覧しながら聴講することにより臨場感を持つことができる、遠隔会議システムを実現できる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明による遠隔会議システムにおける制御方法の実施形態について図面を参照しながら説明する。
【００１９】
本実施形態におけるシステムは、複数の遠隔会議端末装置が同時にＬＡＮ及びＷＡＮで構成されるＩＰネットワーク網を介して接続されることにより遠隔会議を実現でき、遠隔会議端末装置の制御手段が撮像情報の表示を会議の状況に応じて適切に制御することにより遠隔会議システムにおける制御方法を実現するものである。
【００２０】
図１は本実施形態に係るネットワークの構成例を示すものである。メディア会議サーバ装置（１−１）や、会議制御サーバ装置（１−２）や、撮像装置（１−４Ａ）〜（１−４Ｂ）が接続され通信機能を備えた遠隔会議端末装置（１−３Ａ）〜（１−３Ｂ）がＬＡＮ及びＷＡＮで構成されるＩＰネットワーク網に接続された、遠隔会議システムの構成を示す図である。
【００２１】
遠隔会議端末装置（１−３Ａ）〜（１−３Ｂ）の構成及び制御方法については後述する。
【００２２】
メディア会議サーバ装置（１−１）は、複数の遠隔会議端末装置（１−３）から受信した音声情報及び撮像情報により構成されるメディア情報をミキシングし、ミキシングしたメディア情報を複数の遠隔会議端末装置（１−３）へ配信するものである。
【００２３】
また遠隔会議端末装置（１−３）から受信した画像情報及びテキスト情報により構成されるドキュメント情報を複数の遠隔会議端末装置（１−３）へ配信する場合もある。
【００２４】
会議制御サーバ装置（１−２）は、遠隔会議端末装置（１−３Ａ）〜（１−３Ｂ）のＩＰアドレス等から構成される端末情報を管理し、遠隔会議端末装置（１−３Ａ）〜（１−３Ｂ）の接続制御を行うものである。
【００２５】
以下ではメディア会議サーバ装置（１−１）及び会議制御サーバ装置（１−２）を使用せずに遠隔会議端末装置（１−３Ａ）と遠隔会議端末装置（１−３Ｂ）が直接接続し、上記メディア情報及び上記ドキュメント情報を送受信することにより遠隔会議を実現する方法について説明する。
【００２６】
図５は本実施携帯における遠隔会議端末装置のハードウェア構成を示すブロック図である。遠隔会議端末装置（１−３）はＣＰＵ（５−１）、ＲＡＭ（５−２）、ＲＯＭ（５−３）、ＨＤＤ（５−４）、ネットワークＩ／Ｆ（５−５）、入力機器Ｉ／Ｆ（５−６）、ディスプレイＩ／Ｆ（５−７）、撮像装置Ｉ／Ｆ（５−８）、音声入出力機器Ｉ／Ｆ（５−９）、キーボード（５−１０）、デジタイザ（５−１１）、ディスプレイ（５−１２）、全方位撮像装置（５−１３）、PTZ撮像装置（５−１４）、音声入力装置（５−１５）、音声出力機器（５−１６）、バス（５−１７）を具備している。
【００２７】
ＣＰＵ（５−１）は遠隔会議端末装置全体の制御に加え、遠隔会議会議システムにおける制御方法を実現するプログラムデータが指示する処理を行う。
【００２８】
ＲＡＭ（５−２）はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であり、ＣＰＵ（５−１）の動作に必要な作業メモリとして使用される。
【００２９】
ＲＯＭ（５−３）はＲＯＭ(Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ)であり、ＣＰＵ（５−１）に必要な命令やデータを格納する。
【００３０】
ＨＤＤ（５−４）はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）であり、遠隔会議システムにおける制御方法を実現するプログラムデータ自体を格納することに加え、遠隔会議システムにおける制御方法を実現するプログラムデータの動作に必要なユーザデータベース情報や端末情報等のデータの格納も行うものとする。
【００３１】
ネットワークＩ／Ｆ（５−５）はネットワーク（５−１８）に接続するための通信制御を処理するが、環境に応じて様々な通信インターフェースが適用される。
【００３２】
アクセス網に直接接続する場合は各種モデムやターミナルアダプタなどで構成され、外部装置のＡＤＳＬモデムやケーブルモデムに接続する場合はイーサーネットインタフェースで構成される。
【００３３】
入力機器Ｉ／Ｆ（５−６）は遠隔会議端末装置が具備するキーボード（５−１０）、マウス、デジタイザ（５−１１）、ペン入力装置等からの入力を処理するものであり、遠隔会議端末装置の操作に用いられるものである。
【００３４】
本実施形態では図５のようにディスプレイ（５−１２）にタッチパネル等のデジタイザ（５−１１）による入力操作を検出する手段を設けることにより、ディスプレイ（５−１２）の画面へ直接操作することを可能にしている。
【００３５】
ディスプレイＩ／Ｆ（５−７）及びディスプレイ（５−１２）は表示部であり、ＣＲＴ、プラズマディスプレイ、リアプロジェクションテレビまたは液晶ディスプレイおよびその制御回路によって構成され、遠隔会議の会議内容はこのディスプレイ上の一部に表示されるものである。
【００３６】
撮像装置Ｉ／Ｆ（５−８）及び全方位撮像装置（５−１３）及びＰＴＺ撮像装置（５−１４）は、遠隔会議端末装置の近辺の状況を含む実画像の撮像に用いられるものであり、遠隔会議端末装置において遠隔会議の映像通信を行う際に用いられるものである。
【００３７】
全方位撮像装置（５−１３）は図４のように円錐ミラー、球面ミラー、双曲面ミラー等（４０１）を利用し得られた円形の光学像をソフトウェア処理することで人が見やすい映像であるパノラマ映像や透視画像に変換する方法や、複数のカメラを利用し全方位を撮像しソフトウェア処理することで人が見やすい映像であるパノラマ映像に変換する方法等により全方位を撮像するものである。
【００３８】
また、ＰＴＺ撮像装置（５−１４）はパン、チルト、及びズーム可能な撮像装置である。音声入出力機器Ｉ／Ｆ（５−９）は遠隔会議端末装置が具備するマイク等の音声入力装置（５−１５）、スピーカー等の音声出力装置（５−１６）からの入出力を処理するものであり、遠隔会議端末装置において遠隔会議の音声通話を行う際に用いられるものである。また音声入出力機器Ｉ／Ｆ（５−９）は音声入力装置（５−１５）から入力された音声が発声された方向を検出する機能も有する。（５−１）から（５−９）の各ブロックはシステムバス（５−１７）に接続されている。
【００３９】
図６は、本実施形態における遠隔会議端末装置の会議室での配置について図示したものであり、図７〜図８を用いて上記全方位撮像装置（５−１３）及びＰＴＺ撮像装置（５−１４）が撮像する撮像情報について説明する。
【００４０】
表示装置（６０１）は図６の全方位撮像装置（５−１３）及びＰＴＺ撮像装置（５−１４）を除く、遠隔会議端末装置の主要な部分を構成する装置であり、図３、図６のようにユーザ（３０１、６０４）がディスプレイ（５−１２）の画面へ直接操作することが可能である。
【００４１】
テーブル（６０２）は表示装置（６０１）の前に設置し、テーブル周囲にはユーザ（６０５Ａ）〜（６０５Ｈ）が着席し会議を行う。
【００４２】
撮像装置（６０３）は上記全方位撮像装置（５−１３）及びＰＴＺ撮像装置（５−１４）から構成され、上記全方位撮像装置（５−１３）は、図７のように設置された周囲の全方位を撮像し、また上記PTZ撮像装置（５−１４）は図８のように設置された周囲の一部を詳細に撮像する。
【００４３】
次に本実施形態における遠隔会議端末装置の機能構成について図９に図示された遠隔会議端末装置の機能構成を示すブロック図を用いて説明する。
【００４４】
ＩＰネットワーク網を介して遠隔会議端末装置（１−３Ａ）と遠隔会議端末装置（１−３Ｂ）が直接接続し、音声情報及び撮像情報により構成されるメディア情報と、画像情報及びテキスト情報により構成されるドキュメント情報を送受信することにより、遠隔地間である会議室Ａと会議室Ｂにおいて遠隔会議を実現するものであり、音声入力手段（９０１）、音声出力手段（９０２）、第一の撮像手段（９０３）、第二の撮像手段（９０４）、表示手段（９０５）、入力手段（９０６）、制御手段（９０７）、受信手段（９０８）、送信手段（９０９）から構成される。
【００４５】
音声入力手段（９０１）は音声入力装置（５−１５）を用いて会議室の音声を取得するものであり、取得した音声は音声コーデックを使用しG.711又はG.729等のフォーマットにエンコードするものである。
【００４６】
エンコードされた音声データは送信手段（９０９）により接続した遠隔地の遠隔会議端末装置に送信される。
【００４７】
また、音声入力手段（９０１）は取得した音声が発声された方向を検出し、検出された発声源の方向に関する情報を制御手段（９０７）に伝達する。
【００４８】
音声出力手段（９０２）は遠隔地の遠隔会議端末装置から送信され、受信手段（９０８）により受信された音声データを音声コーデックによりデコードし音声出力装置（５−１６）を用いて再生するものである。
【００４９】
第一の撮像手段（９０３）は全方位撮像装置（５−１３）を用いて会議参加者及び会議室全体の映像を取得するものであり、取得した撮像情報は映像コーデックを使用しH.264又はH.263等のフォーマットにエンコードするものである。
【００５０】
エンコードされた撮像情報は送信手段（９０９）により接続した遠隔地の遠隔会議端末装置に送信される。
【００５１】
第二の撮像手段（９０４）はＰＴＺ撮像装置（５−１４）を用いてパン、チルト及びズームにより会議室の一部の領域を撮像し全方位撮像装置（５−１３）よりも詳細な映像を取得するものであり、取得した撮像情報は映像コーデックを使用しH.264又はH.263等のフォーマットにエンコードするものである。
【００５２】
エンコードされた撮像情報は送信手段（９０９）により接続した遠隔地の遠隔会議端末装置に送信される。上記の撮像する領域を決定するパン、チルト及びズームの制御は後述の制御手段（９０７）により行われる。
【００５３】
表示手段（９０５）は遠隔地の遠隔会議端末装置から送信され、受信手段（９０８）により受信された撮像情報を映像コーデックによりデコードしディスプレイ（５−１２）を用いて撮像情報を表示すると共に、受信手段（９０８）により受信された画像情報及びテキスト情報により構成されるドキュメント情報を表示するものである。
【００５４】
表示手段（９０５）が表示する上記撮像情報と上記ドキュメント情報の内容及び表示位置の制御は後述の制御手段（９０７）により行われる。
【００５５】
本実施形態においては、接続した各遠隔会議端末装置の表示手段（９０５）に同一の上記ドキュメント情報を表示し、リアルタイムに更新することにより遠隔地間でのコラボレーションの一助となっている。
【００５６】
入力手段（９０６）は遠隔会議端末装置の操作を行うだけではなく、デジタイザ（５−１１）を用いて表示手段（９０５）の画面上にテキストやイラストを描画することが可能である。
【００５７】
描画したテキストやイラストは上記ドキュメント情報として送信手段（９０９）により接続した遠隔地の遠隔会議端末装置に送信される。
【００５８】
受信手段（９０８）は前述のように接続した遠隔地の遠隔会議端末装置に上記撮像情報及び上記ドキュメント情報を送信する。
【００５９】
送信手段（９０９）は前述のように接続した遠隔地の遠隔会議端末装置から送信された上記撮像情報及び上記ドキュメント情報を受信する。
【００６０】
制御手段（９０７）が行う制御について、以下に図１０のフローチャートを用いて説明する。ここでは、図１の会議室Ａに設置した遠隔会議端末装置（１−３Ａ）と、図１の会議室Ｂに設置した遠隔会議端末装置（１−３Ｂ）により遠隔会議を行うものとする。
【００６１】
遠隔会議端末装置（１−３Ａ）と遠隔会議端末装置（１−３Ｂ）がＩＰネットワーク網を介し直接接続することにより、前述のメディア情報及び前述のドキュメント情報を送信手段（９０９）及び受信手段（９０８）により送受信を行い、遠隔会議を開始する（１０−１）。
【００６２】
入力手段（９０６）はデジタイザ（５−１１）による入力を検出した場合（１０−２）、制御手段（９０７）はデジタイザ（５−１１）により入力された付近を撮像するために、第二の撮像手段（９０４）のパン、チルト、及びズームの制御を行う（１０−４）。
【００６３】
制御手段（９０７）により制御された第二の撮像手段（９０４）は図５のようにデジタイザ（５−１１）により入力された付近を撮像し、撮像された撮像情報は送信手段（９０９）により接続された遠隔地の遠隔会議端末装置へ送信される（１０−５）。
【００６４】
また音声入力手段（９０１）はユーザの発言による音声を検出すると共に発声された方向を検出した場合（１０−３）、制御手段（９０７）は発声された付近を撮像するために、発声された方向に第二の撮像手段（９０４）のパン、チルト、及びズームの制御を行う（１０−４）。
【００６５】
制御手段（９０７）により制御された第二の撮像手段（９０４）は発声された付近を撮像し、撮像された撮像情報は送信手段（９０９）により接続された遠隔地の遠隔会議端末装置へ送信される（１０−５）。
【００６６】
入力手段（９０６）がデジタイザ（５−１１）による入力を検出せず、また音声入力手段（９０１）がユーザの発言による音声を検出しなかった場合、第一の撮像手段（９０３）は会議参加者を含む会議室全体を撮像し、撮像された撮像情報は送信手段（９０９）により接続された遠隔地の遠隔会議端末装置へ送信される（１０−５）。
【００６７】
ここで遠隔会議端末装置（１−３Ｂ）を設置した会議室Ｂについて図７を用いて上記全方位撮像装置（５−１３）が撮像する会議参加者を含む会議室全体の撮像情報について説明する。
【００６８】
表示装置（１１０１）は全方位撮像装置（５−１３）及びＰＴＺ撮像装置（５−１４）を除く、遠隔会議端末装置の主要な部分を構成する装置であり、図３に示すようにユーザ（３０１、６０４）がディスプレイ（５−１２）の画面へ直接操作することが可能である。
【００６９】
テーブル（１１０２）は表示装置（１１０１）の前に設置し、テーブル周囲にはユーザ（１１０４Ａ）〜（１１０４Ｈ）が着席し会議を行う。
【００７０】
撮像装置（１１０３）は上記全方位撮像装置（５−１３）及びＰＴＺ撮像装置（５−１４）から構成され、上記全方位撮像装置（５−１３）は図７のように設置された周囲の全方位を撮像する。
【００７１】
再び図１０のフローチャートに戻り、制御手段（９０７）の制御に関する説明を行う。受信手段（９０８）は遠隔地の遠隔会議端末装置から送信された、第一の撮像手段（９０３）により撮像された撮像情報又は第二の撮像手段（９０４）により撮像された撮像情報を受信する（１０−７）。
【００７２】
以下に制御手段（９０７）が行う表示手段（９０５）の制御について、図１の会議室Ａにおいて遠隔会議端末装置（１−３Ａ）の入力手段（９０６）がデジタイザ（５−１１）による入力を検出し、図１の会議室Ｂでは遠隔会議端末装置（１−３Ｂ）の入力手段（９０６）がデジタイザ（５−１１）による入力を検出せず、又は音声入力手段（９０１）がユーザの発言による音声を検出しなかった場合を例にして説明する。
【００７３】
図１３は会議室Ａにおいてユーザ（１３０１）が遠隔会議端末装置（１−３Ａ）の入力手段付表示手段（１３０２）にデジタイザ（１３０３、５−１１）を用いてテキスト（１３０４）を入力していることを図示したものである。
【００７４】
図１３のようにデジタイザ（１３０３、５−１１）による入力を検出した遠隔会議端末装置（１−３Ａ）の制御手段（９０７）は、受信した第一の撮像手段（９０３）により撮像された撮像情報（１３０５）をユーザ（１３０１）によるテキスト（１３０４）の入力を妨げない位置に表示する。
【００７５】
これによりデジタイザ（１３０３、５−１１）を使用し説明を行うユーザ（１３０１）は、遠隔地の会議室Ｂ全体の様子及び聴講者の反応を把握しながら説明を行うことが可能である。
【００７６】
また、図１４のように受信した第一の撮像手段（９０３）により撮像された撮像情報（１４０５）をユーザ（１４０１）によるテキスト（１４０４）の入力を妨げないように半透明に透過させて入力された付近に表示させてもよい。
【００７７】
これによりデジタイザ（１４０３、５−１１）を使用し説明を行うユーザ（１４０１）は、入力における視点を動かさずに遠隔地の会議室Ｂ全体の様子及び聴講者の反応を把握しながら説明を行うことが可能である。
【００７８】
図１５は、会議室Ｂにおいて遠隔会議端末装置（１−３B）の入力手段付表示手段（１５０１）にデジタイザ（５−１１）による入力がされていないことを図示したものである。
【００７９】
入力手段（９０６）がデジタイザ（５−１１）による入力を検出せず、また音声入力手段（９０１）がユーザの発言による音声を検出しなかった場合の遠隔会議端末装置（１−３Ｂ）の制御手段（９０７）は、受信した第二の撮像手段（９０３）により撮像された撮像情報を会議室Ａのユーザ（１３０１）により入力されたテキスト（１５０２）を妨げない位置に表示する（１５０３）。
【００８０】
これにより会議室Ａのユーザ（１３０１）の説明を聴講する会議室Ｂのユーザは、説明者の詳細な様子を把握しながら説明を聴講することが可能である。
【００８１】
以上のような機能を有する複数の遠隔会議端末装置の間で通信回線を介して音声情報及び撮像情報により構成されるメディア情報と、画像情報及びテキスト情報により構成されるドキュメント情報を共有することにより複数の遠隔地間で会議を行う遠隔会議において、全方位を撮像可能な全方位カメラ及び任意の箇所を詳細に撮像可能なパン、チルト、ズームカメラにより撮像された撮像情報の表示を会議の状況に応じて適切に制御することにより、説明者には聴講者の反応及び会議室の様子を把握しながら説明を行うことができるだけではなく、聴講者は説明者の詳細な様子を把握しながら説明を聴講することも可能にする遠隔会議システムにおける制御方法を実現できる。
【００８２】
（その他の実施形態）
上述した実施形態では、遠隔会議について２つの遠隔会議端末装置を用いて説明したが本発明の遠隔会議システムは２つの遠隔会議端末装置に限定するものではなく、より多数の遠隔会議端末装置で遠隔会議を行う場合には上記実施形態で説明したメディア会議サーバ装置、会議制御サーバ装置を使用することも可能である。
【００８３】
また、上記実施形態では、第一の撮像手段又は第二の撮像手段により撮像された撮像情報の送信は二者択一で行われていたが、第一の撮像手段及びは第二の撮像手段により撮像された両方の撮像情報を送信し、表示する撮像情報の選択は受信側の制御手段が決定することも可能である。
【００８４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給し、そのシステム等のコンピュータが記憶媒体からプログラムコードを読み出し実行することによっても達成される。
【００８５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８６】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８７】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００８８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに接続された機能拡張ユニット等に備わるメモリに書込まれた後、そのプログラムコードの指示に基づきＣＰＵ等が実際の処理を行い、前述した実施形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施形態に係る遠隔会議システムにおけるネットワークの構成を示す図である。
【図２】従来の遠隔会議システムにおけるネットワークの構成を示す図である。
【図３】従来の画面に直接入力可能な遠隔会議装置を示す図である。
【図４】従来の全方位撮像可能且つパン、チルト及びズーム可能な撮像装置を示す図である。
【図５】本発明の実施形態における遠隔会議端末装置のハードウェア構成を示すブロック図である。
【図６】本発明の実施形態における会議室及び遠隔会議端末装置の配置を示す構成図である。
【図７】本発明の実施形態における全方位撮像装置が撮像する映像を示す図である。
【図８】本発明の実施形態におけるＰＴＺ撮像装置が撮像する映像を示す図である。
【図９】本発明の実施形態における遠隔会議端末装置の機能構成を示すブロック図である。
【図１０】本発明の実施形態における遠隔会議端末装置の処理を示すフローチャートである。
【図１１】本発明の実施形態における遠隔地の会議室及び遠隔会議端末装置の配置を示す構成図である。
【図１２】本発明の実施形態における遠隔地の全方位撮像装置が撮像する映像を示す図である。
【図１３】本発明の実施形態における表示手段への表示方法を説明するための図である。
【図１４】本発明一の実施形態における表示手段への表示方法を説明するための図である。
【図１５】本発明の実施形態における表示手段への表示方法を説明するための図である。
【符号の説明】
【００９０】
１−１  メディア会議サーバ装置
１−２  会議制御サーバ装置
１−３  遠隔会議端末装置
１−４  撮像装置
１−５  ユーザ
２−１  遠隔会議端末装置
２−２  ユーザ
３０１  ユーザ
３０２  入力手段付表示装置
３０３  デジタイザ
３０４  テキスト及びイラスト
４０１  ミラー
４０２  撮像手段
４０３  雲台
４０４  撮像手段
５−１  ＣＰＵ
５−２  ＲＡＭ
５−３  ＲＯＭ
５−４  ＨＤＤ
５−５  ネットワークＩ／Ｆ
５−６  入力機器Ｉ／Ｆ
５−７  ディスプレイＩ／Ｆ
５−８  撮像装置Ｉ／Ｆ
５−９  音声入出力機器Ｉ／Ｆ
５−１０  キーボード
５−１１  デジタイザ
５−１２  ディスプレイ
５−１３  全方位撮像装置
５−１４  ＰＴＺ撮像装置
５−１５  音声入力装置
５−１６  音声出力装置
６０１  表示装置
６０２  テーブル
６０３  撮像装置
６０４  ユーザ
６０５  ユーザ
９０１  音声入力手段
９０２  音声出力手段
９０３  第一の撮像手段
９０４  第二の撮像手段
９０５  表示手段
９０６  入力手段
９０７  制御手段
９０８  受信手段
９０９  送信手段
１１０１  表示装置
１１０２  テーブル
１１０３  撮像装置
１１０４  ユーザ
１３０１  ユーザ
１３０２  入力手段付表示手段
１３０３  デジタイザ
１３０４  テキスト
１３０５  撮像情報
１４０１  ユーザ
１４０２  入力手段付表示手段
１４０３  デジタイザ
１４０４  テキスト
１４０５  撮像情報
１５０１  入力手段付表示手段
１５０２  テキスト
１５０３  撮像情報
【図１】
2007221437.tif 000003
【図２】
2007221437.tif 000004
【図３】
2007221437.tif 000005
【図４】
2007221437.tif 000006
【図５】
2007221437.tif 000007
【図６】
2007221437.tif 000008
【図７】
2007221437.tif 000009
【図８】
2007221437.tif 000010
【図９】
2007221437.tif 000011
【図１０】
2007221437.tif 000012
【図１１】
2007221437.tif 000013
【図１２】
2007221437.tif 000014
【図１３】
2007221437.tif 000015
【図１４】
2007221437.tif 000016
【図１５】
2007221437.tif 000017