(57)【特許請求の範囲】
【請求項１】
画像表示装置、音響発生装置、撮像装置、および音声入力装置を備えた複数の端末装置が、前記撮像装置から入力された参加者画像および前記音声入力装置から入力された参加者音声を含むメディアデータを通信回線を介して相互に送受信する多地点ビデオ会議システムであって、
前記端末装置がスクロール操作手段を備え、
前記画像表示装置、前記通信回線、および前記スクロール手段に接続されたメディアデータの処理装置が、
（１）前記通信回線から与えられた複数の参加者画像が所定位置に配置された仮想画面を作成し、前記仮想画面の一部を、前記画像表示装置の参加者表示部に表示させると共に、前記通信回線から与えられた前記複数の参加者画像の内の任意の前記参加者画像が前記参加者表示部に表示されるように、前記仮想画面を、前記スクロール操作手段からの相対位置信号に応じてスクロールさせることができる参加者画像生成手段、
（２）前記各参加者画像の、該仮想画面上での位置を記憶する位置記憶手段、
（３）前記参加者画像の中から選択された少なくとも１つの特定参加者画像の、前記参加者表示部を基準とした前記仮想画面上での位置を、
前記位置記憶手段から取得した前記特定参加者画像の前記仮想画面上での配置情報と、
前記参加者表示部に表示されている画像の前記仮想画面上での位置と、
に基づき算出する手段、
を有してなり、
前記画像表示装置は、前記特定参加者画像の前記仮想画面上での位置を、前記端末装置の参加者に視覚的に知らせるためのガイド手段を表示する、
ことを特徴とする多地点ビデオ会議システム。
【請求項２】
第１の端末装置の画像表示装置に表示されたガイド手段が、第１の端末装置における仮想画面上での、第２の前記端末装置の画像表示装置の参加者表示部に表示されている参加者画像の位置を、前記第１の端末装置の参加者に視覚的に知らせることを特徴とする請求項１に記載の多地点ビデオ会議システム。
【請求項３】
前記ガイド手段が前記特定参加者画像の位置を指し示すアローであり、
前記アローの長さが、前記仮想画面における、前記参加者画像の配置位置から前記特定参加者画像の配置位置までの距離であり、
前記アローの方向が、前記仮想画面における、前記参加者画像の配置位置から前記特定参加者画像の配置位置への方向である、
ことを特徴とする請求項１または２に記載の多地点ビデオ会議システム。
【請求項４】
前記特定参加者画像の選択、または該選択後の特定参加者画像の選択の変更を行う特定参加者変更手段を備えてなることを特徴とする請求項１〜３に記載の多地点ビデオ会議システム。
【請求項５】
前記位置記憶手段に記憶されている前記参加者画像の前記仮想画面上での配置情報の指定またはその変更を行う参加者配置変更手段を備えてなることを特徴とする請求項１〜４に記載の多地点ビデオ会議システム。
【請求項６】
前記メディアデータの処理装置は、画像表示装置の参加者画像表示部に表示されている参加者画像を特定するための情報を出力するシステム情報出力部を有すると共に、他の端末装置からの前記情報を入力するシステム情報入力部を有してなることを特徴とする請求項１〜５に記載の多地点ビデオ会議システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、会議環境を改善した多地点ビデオ会議システムに関し、複数の参加者画像の中から、（ａ）端末装置の参加者が注目したい他の参加者、および／または（ｂ）当該他の参加者が端末装置の画像表示装置に表示している更に他の参加者を、視覚的なガイド手段を用いて、自由に選択表示することができる多地点ビデオ会議システムに関する。
【０００２】
【技術背景】
従来、多地点ビデオ会議システム（以下、「ビデオ会議システム」と言う）の端末装置においては、参加者画像を、（１）画面分割法、（２）ウィンドウ表示法の２つの方法により表示している。
（１）の方法では、端末装置の画像表示装置（以下、「モニタ」と言う）の画面（あるいは、該モニタに表示された単一のウィンドウ）を複数の領域に分割し、各領域に参加者画像を表示する。また、（２）の方法では、各参加者画像を、独立のウィンドウ内に表示している。
【０００３】
上記（１），（２）の方法は、ビデオ会議の参加者数（すなわち、ビデオ会議システムに接続される端末装置数）が少ない（例えば、４名以下）ときには問題は生じにくいが、参加者数が多いときには以下のような問題を生じる。
【０００４】
（１）の方法では、各参加者に割り当てられた表示領域が狭くなる。
【０００５】
また、（２）の方法では、各参加者をそれぞれ小さなウィンドウ内に表示すると、参加者の表情等を認識しにくくなる。一方、各参加者をそれぞれ大きいウィンドウ内に表示すると、各ウィンドウ同士がオーバーラップする。
通常、これらのウィンドウは、アイコンをカーソルによりクリックすることによりオープンする。ある参加者画像を表示させたい場合、その参加者についてのウィンドウが開いていないときには、アイコンを探し出してウィンドウをオープンする。あるいは、すでにその参加者のウィンドウが開いているときには、ウィンドウを前面に移動させなければならないことも多い。このように、端末装置の参加者（以下、「ローカル参加者」と言う）は、多数のアイコンやオーバーラップしたウィンドウの中から目標とするアイコンやウィンドウを探すことにおいて、大きな負担を強いられている。
【０００６】
さらに、（１）の方法では、前面のウィンドウに表示されている特定の参加者と、他の参加者とが討論や対話をしているような場合、ローカル参加者が前記他の参加者の画像を表示させたい場合が生じる。しかし、この場合にも、ローカル参加者が上記他の参加者についてのアイコンやウィンドウを、多数のアイコンやウィンドウの中からから探し出すことは容易ではない。
【０００７】
加えて、（１），（２）の方法では、いわゆるアイコンタクトの問題が生じる。すなわち、ローカル参加者の画像は他の参加者の端末装置のモニタに表示される。このため、ローカル参加者の端末装置のモニタに多数の参加者が表示されていると、ローカル参加者の視点は該モニタ上を移動する。このようなことから、他の参加者は、前記ローカル参加者の表情を奇異に感ずる。
【０００８】
【発明の目的】
本発明の１つの目的は、モニタに所望参加者画像が表示されていなくても、ローカル参加者が、前記所望参加者画像を、視覚的なガイド手段を用いて容易に表示することが可能なビデオ会議システムを提供することである。
本発明の他の目的は、ある参加者が他の参加者と討論や対話をしているときに、ローカル参加者が、上記他の参加者の参加者画像を容易に探し出して、モニタに表示することができる上記システムを提供することである。
本発明のさらに他の目的は、いわゆるアイコンタクトによる不都合を低減することができる上記システムを提供することである。
【０００９】
【発明の概要】
本発明は、モニタ、音響発生装置（以下、「スピーカ」と言う）、撮像装置（以下、「ビデオカメラ」と言う）、および音声入力装置（以下、「マイクロフォン」と言う）を備えた複数の端末装置が、有線または無線の通信回線を介して相互に参加者画像および参加者音声を含むメディアデータを送受信するビデオ会議システムに適用されるもので、端末装置はスクロール操作手段を備えている。
【００１０】
ここで、参加者画像とは、ビデオカメラにより撮像される画像（通常は、ビデオ会議参加者の画像であるが、文書等の参加者画像以外の画像であることもある）である。通常、１つの参加者画像には参加者１人が表示されるが、複数が表示される場合もある。
参加者音声とは、例えばマイクロフォンから入力された音声（通常は、ビデオ会議参加者の発言音声）である。
【００１１】
通信回線には、メディアデータおよびシステム情報が流されており、このメディアデータは、上述した参加者画像、参加者音声からなる。
また、システム情報には、これら画像や音声がどの参加者のものなのかを特定する識別コード（この識別コードを「Ｓｉｄ」と言う）が含まれる。また、システム情報には、後述するように、議長，副議長等、特別の役割を持つ参加者が予め決定されている場合にはその役割を特定するための識別コードが、またメディアデータが発言参加者に係るものである場合には、発言していることを示す識別コードが含まれる（前者および後者の識別コードを「ＲＣ」と言う）。
さらに、システム情報には、ある参加者の端末装置の参加者表示部に表示されている参加者（以下、便宜上「対話相手」と言う）をローカル参加者に知らせるようにする場合には、メディアデータにはその対話相手の識別コード（この識別コードを「Ａｉｄ」と言う）も含まれる。なお、通常、Ａｉｄは、上記対話相手のＳｉｄである。
【００１２】
メディアデータを処理するための装置（メディアデータ処理装置）は、端末装置に設けられることもあるし、マルチポイントコントロールユニットなどの端末装置以外の装置に設けられることもある。
このメディアデータの処理装置は、（１）参加者画像生成手段、（２）位置記憶手段、（３）位置算出手段（後述する特定参加者画像の前記仮想画面上での位置を算出する手段）を有している。
【００１３】
（１）の参加者画像生成手段は、複数の参加者画像が所定位置に配置された仮想画面を作成し、この仮想画面の一部をモニタの参加者表示部に表示させる。通常、参加者表示部には、仮想画面上の参加者画像のうちの一参加者画像のみが表示され、仮想画面は上記スクロール操作手段からの相対位置信号に応じてスクロールされる。なお、参加者表示部に表示される仮想画面は、拡大または縮小することもできる。仮想画面を縮小したときは、参加者表示部には複数の参加者が表示される。
【００１４】
（２）の位置記憶手段は、仮想画面上の各参加者画像の、該仮想画面上での配置を記憶している。本発明では、この位置記憶手段に記憶されている参加者画像の前記仮想画面上での配置の指定や変更を、ローカル参加者が行うことができるようにもでき、この場合には、参加者配置変更手段が設けられる。
【００１５】
（３）の位置算出手段は、位置記憶手段に記憶された仮想画面上での特定参加者画像（各参加者画像の中から選択された特定の参加者画像）の配置情報と、前記仮想画面における参加者表示部の画像の現在配置情報とに基づき、その特定参加者の仮想画面上での位置算出を行う。例えば、ビデオ会議の議長や副議長を特定参加者とすることもできるし、発言参加者を特定参加者とすることもできる。
【００１６】
後述するように、ガイド手段は、上記特定参加者の位置をローカル参加者に知らせるアロー等である。
【００１７】
ガイド手段を、上記特定参加者の対話相手の画像の仮想画面上での位置を、ローカル参加者に知らせるために用いることもできる。もちろん、ガイド手段を、特定参加者ではない参加者（画像位置がアロー等により表示されない参加者）の対話相手の画像の仮想画面上での位置を、ローカル参加者に知らせるために用いることもできる。
すなわち、本発明では、第１の端末装置のモニタに表示されたガイド手段が、第１の端末装置における仮想画面上での、第２の前記端末装置のモニタの参加者表示部に表示されている参加者画像の位置を、前記第１の端末装置の参加者に視覚的に知らせるようにもできる。
ローカル参加者は、例えば、議長が他の参加者と会話をしている場合に、当該他の参加者を知ることができない。すなわち、通常、ローカル参加者は、前記他の参加者がモニタに表示されている場合を除いて、前記他の参加者を知ることができない。このため、ローカル参加者は会議の内容を完全に理解することができないという事態も生じる。
しかし、上記のように、ある参加者の対話相手の仮想画面上での位置をガイド手段で示すことで、ローカル参加者は、該対話相手が誰であるのかを容易に知ることができる。
【００１８】
ローカル参加者がどのような役割を有しているか（すなわち、ローカル参加者がどのような識別コードＲＣを持っているか）、ローカル参加者がどの参加者と対話しているか（すなわち、ある参加者がどのような識別コードＡｉｄを持っているか）を、他の参加者に知らせるために、メディアデータの処理装置は、端末装置のモニタの参加者画像表示部に表示されている参加者画像を特定するための情報を出力するシステム情報出力部を有することができる。
また、逆に、ある参加者がどのような識別コードＲＣを持っているか、ある参加者がどのような識別コードＡｉｄを持っているかを、ローカル参加者が知るために、メディアデータの処理装置は、他の端末装置のモニタの参加者画像表示部に表示されている参加者画像を特定するための情報を入力するシステム情報入力部を有することができる。
【００１９】
画像表示装置にはガイド手段が表示される。このガイド手段は、仮想画面上での特定参加者画像の位置を、ローカル参加者に知らせるために設けられるもので、前記特定参加者画像の位置をローカル参加者に視覚的に知らせることができる。
ガイド手段は、典型的にはモニタの位置表示部に表示されたアローとすることができる。この場合には、前記仮想画面における、前記参加者表示部を基準とする前記特定参加者画像の距離を、前記アローの長さで表示し、前記仮想画面における、前記参加者表示部を基準とする特定参加者画像の方向を、前記アローの方向で表示することができる。
【００２０】
以下、本発明のビデオ会議システムの作用の一例を説明する。
前述したように、参加者表示部に表示される画像は仮想画面の一部である。ローカル参加者はスクロール操作手段用いて、任意の参加者画像が参加者表示部に表示されるように仮想画面を移動させることができる。
参加者画像の中から選択された少なくとも１つの特定参加者画像の仮想画面上での位置（参加者表示部を基準とする特定参加者画像の方向、あるいは方向と距離）がガイド手段（例えばアロー）により表示される。
この特定参加者は、ガイド手段により示された他の特定参加者の対話相手であることもあるし、ガイド手段によっては示されない他の参加者の対話相手であることもある。
【００２１】
ローカル参加者が、上記の特定の参加者画像を参加者表示部に表示させたいときには、位置表示部の表示を参照してスクロール操作手段を操作する。この操作手段は相対位置信号を生成し、この信号を参加者画像生成手段に出力する。この相対位置信号に基づき、参加者画像生成手段は仮想画面をスクロールする。また、位置算出手段は、このスクロールに応じて、参加者表示部を基準とする特定参加者画像の仮想画面上での上記位置を算出し、これを位置表示部にリアルタイムで表示させる。
【００２２】
ローカル参加者は、位置表示部の表示を参照することにより、特定参加者画像（例えば、ローカル参加者が注目している参加者やその対話相手）を容易に見つけ出して表示させることができる。また、モニタに表示される参加者画像の数は従来の端末装置と比較して極めて少ない（例えば、１人）ので、いわゆるアイコンタクトの不都合も緩和される。
【００２３】
【実施例】
図１は本発明のビデオ会議システムが適用されるシステムの一例を示す図であり、図２は本発明のビデオ会議システムを具体的に示す説明図である。
図１において、通信回線２００に接続された複数の端末装置（以下、「ローカル端末装置」と言う）１００は、メディアデータ処理装置１（図１では図示せず）を内蔵すると共に、この処理装置１に接続されたモニタ１１１、スピーカ１１２、ビデオカメラ１１３、マイクロフォン１１４、スクロール操作手段（同図ではジョイスティック）１１５、キーボード１１６およびコンピュータ筐体１２０を有している。
【００２４】
図２に示すように、通信回線２００上には、図示しない他の端末装置（ローカル端末装置１００と同一構成であるとは限らない）からの、メディアデータＭＤ（ビデオ信号ＶＳと音声信号ＡＳからなる多重化信号）、およびシステム情報ＳＩ（識別コードＳｉｄ，ＲＣ，Ａｉｄ）が流されている。
前述したように、Ｓｉｄは多重化信号ＭＤがどの参加者のものなのかを特定する識別コードである。また、ＲＣは特別の役割を持つ参加者の当該役割を特定するための識別コードおよび／または現在発言していることを示す識別コードである。さらに、Ａｉｄはある参加者の対話相手を示す識別コード（すなわち、該参加者の識別コードＳｉｄ）である。
【００２５】
メディアデータ処理装置１は、多重化信号入力部１２、多重化信号出力部１３、システム情報入力部１４、システム情報出力部１５、参加者画像生成手段１６、位置算出手段１７ａ〜１７ｄ、位置記憶手段１８、特定参加者変更手段１９、参加者配置変更手段２０、およびディスプレイ・デバイス２１を有してなる。なお、メディアデータ処理装置１の上記構成要素の全てが、図１に示したコンピュータ筐体１２０に内蔵されていてもよいし、その一部の構成要素（例えば、ディスプレイ・デバイス２１）がコンピュータ筐体１２０に内蔵され、他の構成要素が図示しない別の筐体に内蔵されていてもよい。
【００２６】
多重化信号出力部１３は、ビデオカメラ１１３からのローカル参加者画像、およびマイクロフォン１１４からのローカル参加者音声を入力し、これらを多重化しメディアデータＭＤｏｕｔ（ビデオ信号ＶＳ，音声信号ＡＳ）を生成する。多重化信号出力部１３は、このＭＤｏｕｔをメディアデータＭＤとしてローカル参加者の識別コードＳｉｄと共に通信回線２００に出力する。
一方、多重化信号入力部１２は、他の端末装置からのメディアデータＭＤ（ビデオ信号ＶＳ，音声信号ＡＳ）をＭＤｉｎとして、識別コードＳｉｄと共に通信回線２００から入力し、ビデオ信号ＶＳと識別コードＳｉｄとを参加者画像生成手段１６に出力する。なお、音声信号ＡＳは、図示しない音声処理回路に出力され、この音声処理回路はスピーカ１１２に参加者音声を出力させる。
【００２７】
参加者画像生成手段１６は、複数の参加者画像が所定位置に配置された仮想画面３１（図３（ａ）参照）を作成する。この仮想画面３１上には、通常は、ビデオ会議に参加しているすべての参加者についての参加者画像が所定の配列で割り振られる。
【００２８】
図３（ａ）は、端末装置の外観および仮想画面３１がモニタ１１１の参加者表示部３２に表示された様子を示している。同図（ａ）では、モニタ１１１はコンピュータ筐体１２０上に載置されている。また、仮想画面３１にはＡ〜Ｐの参加者画像が配置され、仮想画面３１上の一部（通常、参加者画像の少なくとも１画像であり、同図ではＫ）が、モニタ１１１の参加者表示部３２に表示されている。
なお、図３（ａ）に示したような参加者表示部３２と、後述する参加者位置表示部３３ａ〜３３ｄとは、別々のウィンドウに表示されるようにもできるし、図３（ａ）に示したように１つのウィンドウに表示されるようにもできる。また、このウィンドウをオープンするためのスイッチをアイコン化しておくことができる。なお、参加者表示部３２および／または参加者位置表示部３３ａ〜３３ｄは、拡大・縮小表示できるようにしてもよい。
【００２９】
図２において、参加者画像生成手段１６は、多重化信号入力部１２から入力したビデオ信号ＶＳを識別コードＳｉｄと、位置記憶手段１８に記憶されている後述する配置情報ＰＩとに基づき、図３（ａ）に示した仮想画面３１上の所定位置に各参加者画像を表示する。
なお、後述するように、配置情報ＰＩはローカル参加者により変更されることがある。この場合には、参加者画像生成手段１６は、配置情報ＰＩを位置記憶手段１８から取得して、当該参加者画像の配置変更を行う。
【００３０】
スクロール操作手段１１５は、仮想画面３１を任意の方向にスクロール操作するために、ローカル参加者に提供されるもので、相対位置信号ＲＰＳを生成する。ローカル参加者が、スクロール操作手段１１５を操作すると、参加者画像生成手段１６は、所望の参加者画像が参加者表示部３２に表示されるように、仮想画面３１を表示する画像信号ＶＤを後述するディスプレイ・デバイス２１に出力する。そして、所望の参加者画像が、スクロールされつつモニタ１１１に表示される。ここで、スクロール（通常、縦スクロール、横スクロール（すなわち、パン）、これらの組み合わせ（斜めスクロール）である。
【００３１】
なお、スクロール操作手段１１５として、ジョイスティックの他、フットペダル、またはキーボードのキー（例えば、アローキー）を用いることができる。また、モニタ１１１に表示されたアロー形状をなすソフトキー（通常、マウスにより操作される）を用いることもできる。フットペダルを使用する場合には、手が常に自由となるので、筆記や飲食を行いつつ仮想画面３１をスクロールすることができる。
【００３２】
また、参加者画像生成手段１６は、相対位置信号ＲＰＳ、およびディスプレイ・デバイス２１が出力するウィンドウ情報ＷＩに基づき、参加者表示部３２に現在表示されている仮想画面３１の位置についての情報（現在位置情報）ＣＰを生成し、これを位置算出手段１７ａ〜１７ｄに出力する。ウィンドウ情報ＷＩは、参加者表示部３２の、モニタ１１１の表示画面上での位置、大きさ等に関する情報を含んでいる。
本実施例では、現在位置情報ＣＰは、参加者画像生成手段１６が保有しているが、他の手段が保有する（例えば、位置算出手段１７ａ〜１７ｄそれぞれが保有する）こともできる。
【００３３】
参加者画像生成手段１６は、上記した現在位置情報ＣＰを位置記憶手段１８にも出力し、位置記憶手段１８からローカル参加者の対話相手が誰であるかの情報（すなわち、識別コードＡｉｄ）を取得する。そして、参加者画像生成手段１６はシステム情報出力部１５にこの識別コードＡｉｄを出力し、システム情報出力部１５は、システム情報ＳＩｏｕｔ（識別コードＡｉｄ，ローカル参加者の識別コードＳｉｄ，およびその役割を示す識別コードＲＣ）を、ＳＩとして通信回線２００に出力する。
【００３４】
システム情報入力部１４は、システム情報ＳＩ（識別コードＳｉｄ，ＡｉｄおよびＲＣ）をＳＩｉｎとして通信回線２００から入力し、これらを内蔵する記憶部１４１に関連付けて記憶している。
特定参加者変更手段１９は、システム情報入力部１４から識別コードＲＣ、Ｓｉｄを入力しており、これらを内蔵する記憶部１９１に関連付けて記憶している。
前述したようにＡｉｄは、ある参加者の端末装置のモニタに表示される他の参加者を示す識別コードであり、当該端末装置において仮想画面がスクロールされると、これに応じてコード値が変更される。また、ＲＣは、ある参加者の役割を示す識別コードであり、例えば、ある参加者が発言しているときと発言していないときとではそのコード値は異なる。このため、記憶部１４１，１９１の記憶内容は、通常、頻繁に更新される。
【００３５】
ローカル参加者は、キーボード１１６から特定参加者を誰にするかを設定することができる。特定参加者変更手段１９は、キーボード１１６からの信号に応じて特定参加者を誰にするかの信号をシステム情報入力部１４に出力する。例えば、特定参加者変更手段１９は、議長（または発言参加者、あるいは任意の参加者）を特定参加者とするための信号がキーボード１１６から入力されると、議長（または発言参加者、あるいは任意の参加者）を示す選択用信号ＳＳ（識別コードＳｉｄおよび／またはＲＣ）をシステム情報入力部１４に出力する。
なお、特定参加者の設定を、キーボード１１６を用いずに、モニタ１１１に表示されたソフトキー（図示せず）により設定するようにもできる。
【００３６】
本実施例では、特定参加者が、システムにより決定された議長（参加者画像Ｊ）およびその対話相手（参加者画像Ｄ）、ならびにローカル参加者が選択した参加者（参加者画像Ｍ）およびその対話相手（参加者画像Ｐ）の４人であるものとする。
システム情報入力部１４は、議長（参加者画像Ｊで示される）を示す識別コードＳｉｄおよびその対話相手（参加者画像Ｄで示される）を示す識別コードＡｉｄ（図２ではＳｓｃｃ，Ｓａ＿ｓｃｃとして示す）を、位置算出手段１７ａおよび１７ｂにそれぞれ出力する。
また、システム情報入力部１４は、ローカル参加者が選択した参加者（参加者画像Ｍで示される）を示す識別コードＳｉｄおよびその対話相手（参加者画像Ｐで示される）を示す識別コードＡｉｄ（図２ではＳｌｃｃ，Ｓａ＿ｌｃｃとして示す）を位置算出手段１７ｂ，１７ｃに出力する。
【００３７】
前述したように、位置記憶手段１８は、各参加者画像Ａ〜Ｐの、仮想画面１６上での配置情報ＰＩを記憶している。この配置情報ＰＩは、最も簡単な例では、ある参加者画像が配置された位置を基準に、単に各参加者画像の順序を、単純な序列行列や行列として表すこともできるし座標情報で表すこともできる。識別コードＳｉｄがＳｓｃｃ，Ｓｌｃｃ，Ｓａ＿ｓｃｃ，Ｓａ＿ｌｃｃである参加者（すなわち、特定参加者）の画像の、位置記憶手段１８の配置情報ＰＩは、位置算出手段１７ａ〜１７ｄに出力される。
位置算出手段１７ａ〜１７ｄは、（ｉ）位置記憶手段１８から取得した各特定参加者画像の仮想画面３１上での配置情報ＰＩと、（ｉｉ）参加者画像生成手段１６からの現在位置情報ＣＰとに基づき、上記各参加者画像の仮想画面３１上での参加者表示部３２を基準とする位置の算出を行う。この算出結果は、本実施例では、位置ベクトル情報ＰＶａ〜ＰＶｄである。
【００３８】
位置算出手段１７ａ〜１７ｄは、参加者表示部３２を基準として、予め選択されている上記４つの特定参加者画像（議長および議長の対話相手、ならびにローカル参加者が選択した参加者およびその対話相手のそれぞれ画像）Ｊ，Ｄ，Ｍ，Ｐの位置ベクトル情報ＰＶａ〜ＰＶｄをディスプレイ・デバイス２１に出力する。
【００３９】
ディスプレイ・デバイス２１は、位置算出手段１７ａ〜１７ｄにより算出された位置ベクトル情報ＰＶａ〜ＰＶｄに基づき、図３（ａ）に示したように、各特定参加者画像の位置をガイド手段（すなわち参加者位置表示部３３ａ〜３３ｄ）に表示させる。特定参加者位置表示部３３ａ〜３３ｄにおける位置表示は、通常は図３（ａ）に示したようにアロー３４により表示されるが、数値で表示することも可能である。
【００４０】
図３（ａ）の例では、参加者表示部３２の基準位置（通常、該表示部の中心位置）と、特定参加者画像の位置（通常、該画像の中心位置）との最短距離がアロー３４の長さで表示され、参加者表示部３２を基準とする特定参加者画像Ｊ，Ｄ，Ｍ，Ｐの方向がアロー３４の方向で表示されている。
【００４１】
ローカル参加者は、位置記憶手段１８に記憶されている配置情報ＰＩを変更することができる。すなわち、参加者配置変更手段２０は、キーボード１１６からの信号に応じて、位置記憶手段１８に配置変更用の信号（識別コードＳｉｄと配置情報ＰＩからなる）を出力することができる。ローカル参加者は、自分が注目したい２以上の参加者の参加者画像を近接して配置することもできる。こうすることにより、短いスクロール距離で簡単に上記２以上の参加者を交互に参加者表示部３２に表示させることができる。また、参加者表示部３２を拡大することにより、該表示部３２に同時に上記２以上の参加者を表示させることができる。
なお、配置情報の変更をモニタ１１１に表示されたソフトキーにより設定するようにもできる。
【００４２】
以下、上記ビデオ会議システムの動作を図２および図３（ａ）を参照しつつより具体的に説明する。
図２，図３（ａ）の実施例においては、端末装置１００が起動されると、システム情報入力部１４が、通信回線２００からシステム情報ＳＩ（識別コードＳｉｄ，Ａｉｄ，ＲＣ，場合によりビデオ会議参加者人数等の情報を含む）をＳＩｉｎとして入力する。なお、参加者画像生成手段１６は、位置記憶手段１８からのデフォルト情報に基づき、参加者画像Ａ〜Ｐを仮想画面３１上に配置する。
【００４３】
ここで、ローカル参加者が、必要に応じ、キーボード１１６から特定参加者画像を選択すると、特定参加者変更手段１９からの選択用信号ＳＳ（Ｓｉｄおよび／またはＲＣ）がシステム情報入力部１４に出力される。システム情報入力部１４は、特定参加者の識別コードＳｉｄ（Ｓｓｃｃ，Ｓｌｃｃ）および識別Ａｉｄ（Ｓａ＿ｓｃｃ，Ｓａ＿ｌｃｃ）を位置算出手段１７ａ〜１７ｄに出力する。位置算出手段１７ａ〜１７ｄは、参加者画像生成手段１６からの現在位置情報ＣＰおよび位置記憶手段１８に記憶された配置情報ＰＩを参照して、各特定参加者画像の仮想画面３１上での位置情報をディスプレイ・デバイス２１に出力する。そして、ディスプレイ・デバイス２１は、アロー３４を参加者位置表示部３３ａ〜３３ｄにそれぞれ表示させる。
【００４４】
ローカル参加者が、参加者位置表示部３３ａ〜３３ｄの何れかを参照して、スクロール操作手段１１５を操作すると、操作手段１１５からの相対位置信号ＲＰＳは参加者画像生成手段１６に出力される。
【００４５】
参加者画像生成手段１６は、特定参加者画像が参加者表示部３２に表示されるように仮想画面３１をスクロールする。また、位置算出手段１７ａ〜１７ｄは、現在位置信号ＣＰと配置情報ＰＩとに基づき、参加者位置表示部３３ａ〜３３ｄのアロー３４を変更する。
【００４６】
例えば、ローカル参加者は、参加者位置表示部３３ｂのアロー３４を参照して、スクロール操作手段１１５を操作することにより、議長（参加者画像Ｊ）の対話相手の画像（参加者画像Ｄ）を、参加者表示部３２に表示させることができる。
また、議長と、ある参加者（例えば、参加者画像Ｄとして表示されている参加者）とが頻繁に討議をしているような場合には、図３（ｂ）に示すように、キーボード１１６（図２参照）を用いて、議長の参加者画像Ｊと参加者画像Ｄとを近接位置に配置することもできる。
【００４７】
図３（ａ）の参加者表示部３２に複数の参加者を表示することもできる。このためには、通常、仮想画面３１は縮小表示されるか、または参加者表示部３２が横長および／または縦長にされる。
この場合、図２を参照して説明すると、参加者画像生成手段１６は複数の識別コードＡｉｄをシステム情報出力部１５に出力し、システム情報出力部１５は、システム情報ＳＩｏｕｔにこれら複数の識別コードＡｉｄを含め、ＳＩとして通信回線２００に出力する。
他の端末装置が、このような複数の識別コードＡｉｄを含むシステム情報ＳＩを出力している場合には、システム情報入力部１４は、他の端末装置から、このシステム情報ＳＩをシステム情報ＳＩｉｎとして入力する。この場合には、メディアデータ処理装置１には、複数の対話相手を示す参加者位置表示部およびこれに対応する位置算出手段が、識別コードＡｉｄの個数に応じて予め用意される。
【００４８】
本発明では、発言参加者を特定参加者とすることで、参加者Ｘ１の発言に対して参加者Ｘ２が発言し、この参加者Ｘ２の発言に対して参加者Ｘ３が発言するような場合に、ローカル参加者は、参加者Ｘ１，Ｘ２，Ｘ３を追跡することができる。
この場合には、図３（ａ）の参加者位置表示部３３ｃには発言参加者画像の仮想画面３１上での位置が、同じく参加者位置表示部３３ｄにはその対話相手の仮想画面３１上での位置が表示されるようにしておく。
参加者Ｘ１がその端末装置のモニタの参加者表示部に参加者Ｘ２を表示させ、参加者Ｘ２に話しかけると、参加者位置表示部３３ｃには参加者Ｘ１の画像位置が表示され、参加者位置表示部３３ｄには参加者Ｘ２の画像位置が表示される。次に、参加者Ｘ２がその端末装置のモニタの参加者表示部に参加者Ｘ３を表示させて参加者Ｘ３に話しかけると、参加者位置表示部３３ｃには参加者Ｘ２の画像位置が表示され、参加者位置表示部３３ｄには参加者Ｘ３の画像位置が表示される。したがって、ローカル参加者は、参加者位置表示部３３ｃ，３３ｄを参照することにより、容易に発言参加者Ｘ１，Ｘ２、発言参加者の対話相手Ｘ２，Ｘ３を順次追跡することができる。
【００４９】
なお、特定参加者位置表示部３３ａ〜３３ｄに表示されたアロー３４を適宜位置にドラッグできるようにもできる。図３（ａ）には、参加者画像にドラッグされたアロー３４が点線で示されている。このアロー３４は、実際においても点線（あるいは、参加者画像の視認の障害とならないような形態）で表示することが好ましい。アロー３４を参加者にオーバーラップさせることで、ローカル参加者の視点がモニタ１１１の画面上を移動する頻度は減少する。これにより、アイコンタクトの不都合が低減される。
【００５０】
図３（ａ）においては、参加者画像Ａ〜Ｐが仮想画面３１に平面モードでマトリクス状に配置されている場合を示したが、図４（ａ）に示すように、参加者画像Ａ〜Ｐが表示される面を球面と同相とし、各参加者画像を任意の方向に方向に自在にスクロールできるようにしてもよい。
また、図４（ｂ）に示すように、各参加者画像Ａ〜Ｐを、仮想画面３１に、垂直または水平（同図では水平）の直線モードで配置してもよい。また、この場合にも、図４（ｃ）に示すように、各参加者画像をループ状に配置してもよい。
【００５１】
【発明の効果】
以上述べたように、本発明は以下のような効果を奏することができる。
（１）ローカル参加者は、仮想画面上に配置された各参加者画像を、該仮想画面をスクロールすることにより自由に選択して表示できるので、全ての参加者画像を１つのモニタに表示する必要がなくなった。
【００５２】
（２）ローカル参加者は、他の参加者、および／またはその対話相手を視覚的なガイド手段を用いて容易に見つけ出すことができる。
【００５３】
（３）参加者位置表示部の指示に基づく仮想画面のスクロールは、ジョイスティックの操作、ソフトキーやハードキーの操作により行うことができる。また、参加者位置表示部は、シンプルな指示をローカル参加者に与えることができる。したがって、本発明においては、多数のアイコンがオーバーラップしたウィンドウから、マウス操作により所定の参加者画像を捜さなければならない従来技術と比較して、所望参加者をモニタ上に表示させる際の操作性が極めて高い。
【００５４】
（４）ビデオ会議参加者が多数であったとしても、モニタに表示される参加者画像をスクロールできる。したがって、該モニタに表示される参加者画像を１人あるいは極めて少数とできるので、ローカル参加者の視線が移動する頻度は極めて少ない。したがって、ローカル参加者の画像を通信回線を介して見ている他の参加者は、ローカル参加者の視線の動きが気になるといった、アイコンタクトの不都合は従来と比較して大幅に低減される。
【図面の簡単な説明】
【図１】本発明のビデオ会議システムが適用されるシステムの一例を示す図である。
【図２】本発明のビデオ会議システムの説明図である。
【図３】（ａ）は図２のビデオ会議システムのモニタの表示状態等を示す説明図であり、（ｂ）は議長画像Ｊと参加者画像Ｄとを近接位置に配置した様子を示す図である。
【図４】本発明のビデオ会議システムにおける仮想画面の態様を示す説明であり、（ａ）は仮想画面が球面と同相な表示面に配置された様子を示す図、（ｂ）は仮想画面が直線モードで配置された様子を示す図、（ｃ）は、仮想画面がループ状の線モードで配置された様子を示す図である。
【符号の説明】
１  メディアデータ処理装置
１２  多重化信号入力部
１３  多重化信号出力部
１４  システム情報入力部
１４１，１９１  記憶部
１５  システム情報出力部
１６  参加者画像生成手段
１７ａ〜１７ｄ  位置算出手段
１８  位置記憶手段
１９  特定参加者変更手段
２０  参加者配置変更手段
２１  ディスプレイ・デバイス
３１  仮想画面
３２  参加者表示部
３３ａ〜３３ｄ  参加者位置表示部
３４  アロー
１１１  モニタ
１１２  スピーカ
１１３  ビデオカメラ
１１４  マイクロフォン
１１５  スクロール操作手段
１１６  キーボード
１２０  コンピュータ筐体
１００  端末装置
２００  通信回線
ＭＤ，ＭＤｏｕｔ，ＭＤｉｎ  多重化信号
ＳＩ，ＳＩｏｕｔ，ＳＩｉｎ  システム情報
Ｓｉｄ，Ａｉｄ，ＲＣ  識別コード
ＶＳ  ビデオ信号
ＡＳ  音声信号
ＲＰＳ  相対位置信号
ＳＳ  選択用信号
ＰＩ  配置情報
ＣＰ  現在位置信号
ＰＶａ〜ＰＶｄ  位置ベクトル情報
ＶＤ  画像信号
【図１】
0003625549.tif 000002
【図２】
0003625549.tif 000003
【図３】
0003625549.tif 000004
【図４】
0003625549.tif 000005