【誤訳訂正書】
【提出日】平成19年10月31日(2007.10.31)
【誤訳訂正１】
【訂正対象書類名】特許請求の範囲
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【特許請求の範囲】
【請求項１】
現地と遠隔地の映像及び音声を統合する視聴覚システムであって、
各視聴覚モジュールが、変化する場の画像検出装置、現地の音声検出装置、画像平面Ｉ上の遠隔地の画像及び音声再生装置を含み、通信ネットワークに接続されている、互いに連結された複数の視聴覚モジュールと、
対象となっている場面の画像及び音声を検出する、異なる画像検出装置及び音声検出装置の前を撮影される人が通過したとき、上記撮影する領域の重複を除去するとともに、撮影する領域の連続性を保証するように、異なる視聴覚モジュール間の場に対してフィードバックを含む制御を行い、上記画像平面における画像及び音声の品質の連続性を保証するように、上記複数の視聴覚モジュール間のフィードバックを含む制御を行う制御手段と、
を含むことを特徴とする視聴覚システム。
【請求項２】
上記視聴覚モジュールは、上記フィードバックを含む制御を行う制御手段に接続された、近接した視聴覚モジュールを検出する検出手段を含むことを特徴とする、請求項１に記載の視聴覚システム。
【請求項３】
上記近接した視聴覚モジュールを検出する検出手段は、視聴覚モジュールの存在を検出するセンサーを含むことを特徴とする、請求項２に記載の視聴覚システム。
【請求項４】
上記近接した視聴覚モジュールを検出する検出手段は、音声受信手段、及び、受信した音声の修正を検出する手段から成ることを特徴とする、請求項２に記載の視聴覚システム。
【請求項５】
上記フィードバックを含む制御を行う制御手段は、画像検出装置のフィードバック制御手段を含み、当該画像検出装置が、基準信号に応じて当該画像検出装置をフィードバック制御するために、基準信号を受信することを特徴とする、請求項１〜４のいずれかに記載の視聴覚システム。
【請求項６】
上記フィードバックを含む制御を行う制御手段は、画像再生装置に対してフィードバック制御する手段を含み、当該画像再生装置が、基準信号に応じて当該画像再生装置をフィードバック制御するために、基準信号を受信することを特徴とする、請求項１〜５のいずれかに記載の視聴覚システム。
【請求項７】
上記基準信号が、外部の装置または上記複数の視聴覚モジュールの１つによって供給されることを特徴とする、請求項５及び６に記載の視聴覚システム。
【請求項８】
上記基準信号が外部からのものである場合、当該基準信号は音声検出装置により得られることを特徴とする、請求項６に記載の視聴覚システム。
【請求項９】
上記フィードバックを含む制御を行う制御手段は、音声検出装置および音声再生装置のフィードバック制御手段を含み、当該音声検出装置および音声再生装置は、基準信号に応じて当該音声検出装置および音声再生装置をフィードバック制御するために、基準信号を受信することを特徴とする、請求項１〜８のいずれかに記載の視聴覚システム。
【請求項１０】
上記基準信号が外部からのものである場合、当該基準信号は画像検出装置により得られることを特徴とする、請求項９に記載の視聴覚システム。
【請求項１１】
上記基準信号が、各視聴覚モジュールために、近接する１または複数の上記視聴覚モジュールにより供給されることを特徴とする、請求項９に記載の視聴覚システム。
【請求項１２】
上記フィードバックを含む制御を行う制御手段は、プロセッシングユニットにより実現され、当該プロセッシングユニットは、所要の上記フィードバック制御を実行するようにプログラムされたプログラムメモリを含むことを特徴とする、請求項１〜１１のいずれかに記載の視聴覚システム。
【請求項１３】
上記フィードバックを含む制御を行う制御手段は、各々の視聴覚モジュール毎に、データフローにおけるネットワークの伝達を制御することを特徴とする、請求項１〜１２のいずれかに記載の視聴覚システム。
【請求項１４】
上記フィードバックを含む制御を行う制御手段は、すべての視聴覚モジュールに対して、１つのネットワークチャンネルを用いて行う多重送信を制御することを特徴とする、請求項１〜１３のいずれかに記載の視聴覚システム。
【請求項１５】
再生装置（２）は、少なくとも遠隔地の画像が表示されるスクリーン（Ｅ）と、スクリーン（Ｅ）の画像を画像平面（Ｉ）上に形成するのに適した半透過性の鏡（２１）とを含み、
上記半透過性の鏡（２１）は、上記視聴覚モジュールに接続された画像検出装置の鏡（１１）と、現地の場面との間に、光線が上記半透過性の鏡（２１）を透過し、画像検出装置の鏡（１１）に到達するように設置されていることを特徴とする、請求項１〜１４のいずれか１項に記載の視聴覚システム。
【請求項１６】
上記半透過性の鏡（２１）が平坦あるいは凹形であることを特徴とする、請求項１５に記載の視聴覚システム。
【請求項１７】
上記半透過性の鏡（２１）は凹形であって、
上記半透過性の鏡（２１）は、焦点を有し、かつ、
上記視聴覚システムは、さらに、上記半透過性の鏡（２１）の焦点の近傍に配置されたプロジェクタ（Ｐ）を含むことを特徴とする、請求項１６に記載の視聴覚システム。
【請求項１８】
上記半透過性の鏡（２１）が円筒または円環形状である、または、回転鏡であることを特徴とする、請求項１７に記載の視聴覚システム。
【請求項１９】
画像検出装置または再生装置が一列に並べられていることを特徴とする、請求項１５に記載の視聴覚システム。
【請求項２０】
画像検出装置及び再生装置が一列に並べられていることを特徴とする、請求項１５に記載の視聴覚システム。
【請求項２１】
画像検出装置または再生装置が、凸形の曲線に沿って設置されていることを特徴とする、請求項１５に記載の視聴覚システム。
【請求項２２】
画像検出装置及び再生装置が、凸形の曲線に沿って設置されていることを特徴とする、請求項１５に記載の視聴覚システム。
【請求項２３】
例えばフレネルレンズ（Fresnel lens）のような、カメラの光線の光学距離を短縮するようなレンズを含むことを特徴とする、請求項１５に記載の視聴覚システム。
【誤訳訂正２】
【訂正対象書類名】明細書
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【発明の詳細な説明】
【発明の名称】現地場面と遠隔地場面とを統合するモジュール型視聴覚システム
【発明の詳細な説明】
【０００１】
本発明は、現地場面(local scene)と遠隔地場面(remote scene)を統合する(bring together)ためのモジュール型視聴覚システム(modular audio-visual system)に関するものであり、このシステムは、複数のモジュールを含み、これらモジュールは、現地用の画像検出装置(image sensing device)および音声検出装置(sound sensing device)と、現地場面において遠隔地場面の画像及び音声を復元(restor)するための装置(device)と、を含む。
【０００２】
本発明は、テレプレゼンス（telepresence）を分野とし、このテレプレゼンスは、現地場面と遠隔地場面とを統合することを可能にする。テレプレゼンスは、相互の立会いの感覚、すなわち、交信中である人々の集団間で現実感を作り出す視聴覚品質の産物である。
【０００３】
一人または複数の人が現地場面と遠隔地場面とに分かれている場合、このような人々が離れていながら会合できるようにする。これは、テレビ会議と呼ばれるものである。
【０００４】
テレプレゼンスはテレビ会議を拡張したものである。
【０００５】
テレビ会議と同様に、テレプレゼンスは、文字、グラフィック（graphic）、および図等のデータのみでなく、画像および音声の伝達によって達成される。
【０００６】
現地場面は屋外で起こりうるが、通常、現地場面は建物の中で起こる。なぜなら、現地室(local room)は、現地場面が起こる場所として指定され、また遠隔地室(remote room)は、遠隔地場面が起こる場所として指定されるからである。
【０００７】
画像検出装置に備えられた現地室ＳＬから、再生あるいは復元装置に備えられた遠隔地室ＳＤへの画像伝達は、図1に概略的に示したような経路を通過する。この経路は、カメラ、アナログ−デジタル変換器（analogue-digital converter）ＣＡＮ、コード化システム（coding system）Ｃ、通信ネットワークＲ、解読システム（decoding system）Ｄ、デジタルアナログ交換器（digital-analogue converter）ＣＮＡといった画像検出装置１と、例えば、プラズマ、ＬＣＤ、ＣＲＴ等のスクリーンに接続されたプロジェクタＰといった画像再生装置２とを含んでいる。
【０００８】
同様に、現地室の音声検出システムと、遠隔地室の音声再生システムとが存在しうる。それゆえ、図1に示したように、このシステムは、マイクロフォンＭｉとスピーカーＨｐとを含む。
【０００９】
通信を相互的なものにするために、確実に、画像と音声とが遠隔地室ＳＤで記録され(captured)、かつ、現地室ＳＬで再生されるように、図1に示した音声と画像のシステムが、逆方向にも作られる。
【００１０】
最終的に、それぞれの室は、画像再生装置及び音声声再生装置だけでなく、画像検出装置及び音声検出装置にも設置されている。
【００１１】
このように、現地場面および遠隔地場面とを統合することができる視聴覚システムを用いることにより、室内、公共区域(public area)、または、屋外に設置されたシステム、及び、通信ネットワーク（団体内ネットワーク（ローカルネットワーク）、または、公的なネットワーク）に接続した画像および音声再生装置といった、画像検出装置と音声検出装置とからなるようなモジュールを少なくとも１つ含んだシステムが設計されるであろう(designate)。これは、また相互視聴覚システムとよばれるものである。
【００１２】
相互視聴覚システムとしては、テレビ会議が挙げられる。これらテレビ会議システムはいくつかの異なる形式で行うことが可能である。つまりテレビ会議室、テレビ電話、マルチメディア通信を用いるパーソナルコンピューターＰＣ、相互交流型ベース（base）、などである。
【００１３】
しかしながら、ここでは他の構成も存在する。例えば、ホール内、または、通りにある、キオスク（kiosk）やテレプレゼンスウォールといったものである。これらの構成は、準永久的な形式で、他方のキオスク（kiosk）や遠隔地テレプレゼンスウォール（telepresence wall）に接続している。この場合には、現在のテレビ会議システムに見られるような、サービスを予約しておく必要がない。
【００１４】
テレプレゼンスウォール（例えばパリに設置されたもの）の前を通り過ぎる人が、小声でまたは気軽に、遠隔の人（例えばロンドンにあって、パリのシステムに接続されているような、他のテレプレゼンスウォールの前を通っている人）と、まるで通りや玄関等で会ったように通信できる。これらの離れた人達は例えば並んで歩いているようなものである。
【００１５】
この共存性を確実にするために、次のことが制御されなくてはならない。
アイコンタクト
人の身長（倍率１）
音声と画像の品質
スクリーンの距離
変更可能な画像および音声ウォール（wall）を持つためのモジュール性
本発明を提示する前に、視聴覚システムの使用上の制約と、特に、環境の制約、アイコンタクトの欠落の影響、およびいくつかの装置の連結、に関連するすべての現象について述べる。
【００１６】
一般に、テレプレゼンス視聴覚システムは、受信と再生の両方において、画像および供給されるサービス（service）に依存して、ある場面から特定の距離で使用するように作られる。
【００１７】
しかしながら、近距離で見ることは、テレビ会議やテレプレゼンスへの参加者が快適に参観し、システムを遠隔使用できることを確実にするために、有力な要素である。このことはテレプレゼンスを確実にする。このように近距離で見ることによって、特に、好意的なアイコンタクトにより離れた参加者間の親近感を増すことが可能となる。
【００１８】
しかしながら、フィルムへの場面がカメラに近づくにつれ、カメラの画角(field angle)をより大きくしなければならない。近距離で画像検出角度を増大することにより、図２ａおよび２ｂに示すような問題がある。
【００１９】
図２ａは、下方向から見た、現地室ＳＬに配置された画像検出装置１を概略的に示したものである。画像検出装置１は、現地場面を撮影している。この現地場面は、例えば、αという広い検出範囲を持つカメラから、約１メートルのところにあるテーブルの周りに座っている現地参加者ＰＬにより、表わされている。参加者の見る方向は、小さなダッシュ記号で示されている。この小さなダッシュ記号は参加者の鼻を表している。スクリーンＥでは、遠隔地の参加者ＰＤの画像、ここでは特に遠隔の参加者ｄの画像が形成されている。
【００２０】
現地室ＳＬ内の現地参加者ａが、線ｂ１で表されたカメラの軸の中におらず、遠隔地の参加者に話しかけるとき、彼もしくは彼女は像ｄ’（いわばスクリーンＥ上の遠隔の参加者）を見ることになる。線ａｄ’でａがｄ’と顔を合わせているとはいえ、カメラは線ａ１を受け取り、最終的には参加者ａの横顔を撮影する。
【００２１】
遠隔地室ＳＤに設置されている再生装置にこの横顔の画像が伝達され、ｄに再送信されると、図２ｂに示したようにａがｄを見ていないかのようなａの像ａ’となる。アイコンタクトは再生されない。この効果を視差（アイコンタクトあるいは凝視）効果といい、時にはアイコンタクト効果の欠落とよばれる。
【００２２】
このため、画像平面は、ｄ’画像が位置する平面である。この例ではスクリーンと混同されるが、これは鏡を使って像を反射させるような場合に限らない。
【００２３】
ａｄ’線は現地場面から出て撮影される光線である。この光線は目標平面とよばれる平面に位置し、そしてその平面は画像平面に垂直である。
【００２４】
仮に、図２ｃに示したように、画像検出器が画法幾何学（モンジェ幾何学ともいう）的に円筒形で突出した様式または平らな工業的なデザインであり、カメラがａｄ’と平行なすべての線を捕らえられるようにし、かつ図２ａで示したような検出範囲αに従って、円錐状に突出した様式でないならば、アイコンタクトの欠落は排除される。
【００２５】
視覚的視差またはアイコンタクト効果の欠落は、より散文的には“偽善者(hyprocrite)”効果と呼ばれている。この効果はテレビ会議の枠組みの中で起きていた。しかしながら、この効果は、現地場面の人が立ち上がっている、あるいは他の人を認識せず、むしろ物体を認識する場合を考慮に入れると、一般化することができる。例えば、側面が青あるいは赤である立方体が、傾けて配置されていると、青い側面と赤い側面の両方を見せることになる。しかしながら、線ａ１は青い側面からしか来ない。立方体を傾けて配置した場合には青と赤両方の側面が見えるが、この立方体のａ’像は、立方体の青い側面を示すのみとなる。
【００２６】
さらに、再生中の参加者あるいは被写体の大きさは、カメラの撮っている領域内でそれらが位置する場所と、カメラの検出範囲αによって変化する。仮に複数の参加者あるいは複数の被写体が撮影されたとすると、撮影する範囲は広くなり、遠近効果は画像の端の部分ではゆがめられるため、その分だけ、再生された画像は少し湾曲する。再生画像は、図３ａおよび３ｂに示したような様々な拡大効果を呈する。この効果は広角レンズを用いる写真家にはよく知られている。
【００２７】
図３ａおよび３ｂにはそれぞれ、ａとｂで示される２人の現地の参加者ＰＬが存在する。一方は他方に対して後方に位置しており、存在している画像検出装置により撮影されている。図３ａの場合、角度範囲α１は、図３ｂのα２の角度範囲より小さい。ａの再生画像であるａ’１とａ’２は、ほぼ同一である。しかしながら、ｂに対するｂ’１の（図３a）拡大率は、ｂに対するｂ’２の拡大率より大きい（図３ｂ）。
【００２８】
このような、広い角度範囲を持つ受像器によって引き起こされるような撹乱効果（アイコンタクト効果の欠落、及び、歪んだ遠近感）を低減可能にする解決方法は、図２ａに示す線ａｄ’と線ａ１で形成された角度βを制限することにある。ＥＴＳＴ（European Telecommunications standards Institute）の規格は、この角度βは5度を超えては成らないと明記されている。この角度は、視界軸（viewing axis）の周辺のカメラを撤去、あるいは設置することで撮影される場面を制限することによって、得られる。
【００２９】
この不都合を補正するために、図４ａと図４ｂに示したような、有用な画像検出装置１がいくつか存在する。受像器(image capture)の連続性を確実にするために、これらの装置の光軸は放射状かつ同一面上にある。また、これらの装置は近接している、すなわち複数の装置１が“連結”している。しかしながら、画像検出範囲は共通であるか、あるいは重複している領域ＺＲであり、１つあるいは数個の近接した再生装置（各々が１つの画像検出装置に対応する）で再生された画像は、再現された部分あるいは重複からの不連続性を呈する。画像の重複は、より広くあるいは狭い重複領域を有する別のカメラによって捕らえられた、同じ光景のいくつかの部分を複合的に再現したものである。
【００３０】
図４ａに示したような２つの画像検出装置１の場合、２つの重複ＺＲをもった領域が１つ存在する。図４ｂに示したような３つの画像検出装置１の場合、被写体が画像検出装置に近づいたときには２つの重複ＺＲをもつ領域が１つ存在し、被写体が離れたときには３つの重複が存在する。
【００３１】
画像検出装置の範囲角度が増大すると、この画像重複現象は増大する。
【００３２】
画像処理ソフトウェアはこの問題を処理する目的で開発されている。しかしながら、いまだに十分な結果は得られていない。
【００３３】
本発明の目的は、このようなシステムをあらゆる状況に対して適応可能にすることにある。その目的は特に、使用可能な空間の制約がないような導入(installation)を可能にすることである。
【００３４】
以上のように、本発明は、独立した複数のモジュールからなるモジュラーシステムを提案するものである。これらモジュールは、導入者（installer）が利用できる空間によって規定される数に応じて組み合わされ、形成される。次に、連結、あるいは連結したモジュールとは、これらモジュールが物理にも動作においても、連続した状態を形成していることを表している。本発明によれば、これらのモジュールは次のような問題を呈することなく、操作上独立である。問題とは、現地場面のモジュールの前を使用者が通り過ぎるときに、遠隔地場面で見ている人に対して画像と音声が連続性しない、という現象に起因する問題である。
【００３５】
本発明は、このように、それが設置された周囲の状況に完全に適応し、また、そのモジュール性にもかかわらず、従来技術でみられた問題点を示さないという、モジュラー相互交流型システムを提案するものである。
【００３６】
それゆえ、本発明の目的は、現地場面と遠隔地場面とを１つにまとめた視聴覚システムを得ることにある。主には以下のことを含むことを特徴としている。
【００３７】
複数の連結した視聴覚モジュールであって、各モジュールが、現地場面の画像検出装置及び音声検出装置と、画像平面Ｉにおける遠隔地の画像再生装置及び音声再生装置とを含んでおり、またこれらモジュールは通信ネットワークに接続している、複数の連結した視聴覚モジュールと、
上記各種モジュール間のフィードバック制御および制御手段であって、撮影あるいは記録されている人が、その場の各種の画像および音声検出装置の前を通過する場合に、画像平面上の画像と音声の連続性を確実にするためフィードバック制御および制御手段。
【００３８】
モジュールは、近接したモジュールの現検出器を含んでおり、これらモジュールはフィードバック制御および制御手段に接続している。
【００３９】
近接したモジュールの検出手段は、現検出器から構成されていてもよい。
【００４０】
近接したモジュールの検出手段は、音声受信手段と、この受信の修正を検出する手段からなっていてもよい。
【００４１】
フィードバック制御および制御手段は、画像検出装置のフィードバック制御手段を含み、この画像検出装置は、基準信号に応じて装置をフィードバック制御するような基準信号を受信してもよい。
【００４２】
フィードバック制御および制御手段は、画像再生装置のフィードバック制御手段を含み、この画像検出装置は、基準信号に応じて装置をフィードバック制御するような基準信号を受信することができる。
【００４３】
基準信号は、外部の装置または上記モジュールの１つによって供給されてもよい。
【００４４】
基準信号は、近接したモジュールにより、各モジュールに供給される。
【００４５】
上記基準が外部である場合、この基準は、音声検出装置により得られてもよい。
【００４６】
フィードバック制御および制御手段は、音声検出および音声再生装置のフィードバック制御手段を含み、この音声検出および音声再生装置は、基準信号に応じて装置をフィードバック制御するための基準信号を受信することができる。
【００４７】
フィードバック制御手段は、必要なフィードバック制御手段を実行するようにプログラムされたプログラムメモリを含むプロセッシングユニットによって、実行可能である。
【００４８】
フィードバック制御および制御手段が、各々のモジュールから独立して、データフロー（IPあるいは他のプロトコール）を超え、ネットワーク上の伝達を制御することができる。
【００４９】
本発明の他の特徴と利点は、限定されない例についての説明を読み、添付した図面を見る中で明らかになるであろう。
【００５０】
図１は、現地室と遠隔地室の間の画像と音声の経路全体に存在する要素のつながりを概略的に表している。
【００５１】
図２ａ、図２ｂ、および図２ｃはアイコンタクトの欠落の効果を示した図である。
【００５２】
図３ａおよび図３ｂは画像検出装置の検出範囲による、再生された画像の拡大効果を示した図である。
【００５３】
図４ａおよび図４ｂは、それぞれ２つおよび３つの画像検出装置を用いた場合の重複領域を示した図である。
【００５４】
図５ａおよび図５ｂは、第１および第２の実施形態における本発明の原理を示した図であり、連結した装置を３つのみ示した。
【００５５】
図６ａはモジュールカメラのフィードバック制御の図をより詳細に示した図である。
【００５６】
図６ｂは画像の連続性を確実にするためのフィードバック制御の例を示した図である。
【００５７】
図７はモジュールプロジェクタのフィードバック制御をより詳細に示した図である。
【００５８】
図８は画像および音声検出装置と再生装置のフィードバック制御を表した図である。
【００５９】
図９ａと図９ｂは、連結したモジュールに関連する画像検出装置の２つの実施形態を示した図である。
【００６０】
図１０は画像検出装置とモジュールの再生装置の例を詳細示した図である。
【００６１】
図１１は相互作用視聴覚システムを多角形のキオスクの形態で実施した場合の外観を示した図である。
【００６２】
視聴覚モジュールＭ１は現地場面の画像検出装置と音声検出装置とを含む。また、視聴覚モジュールＭ１は画像平面Ｉ内に、遠隔地場面の画像再生装置と音声再生装置も含む。
【００６３】
実用的には、画像検出装置はカメラＣ１を含み、音声検出装置は１つあるいは複数のマイクロフォンＭｉを含む。
【００６４】
画像再生装置は、画像プロジェクタＰ１、及び、スクリーンＥ、すなわち、映像プロジェクタ、または、例えばプラズマシステムのような他の視覚装置を含む。音声再生装置は１つあるいは複数のスピーカーＨＰを含む。
【００６５】
画像検出装置はその装置が接続されている通信ネットワークを通じて、現地場面を次に伝達することを可能にする。また、現地装置に接続された遠隔地装置を用いて、現地場面を再生することを可能にする。
【００６６】
他の実施例によれば、カメラにより受像される画像は折りたたみ画像であってもよい。この構成は、記録される場面と画像検出装置との間の距離を縮めたいときに選択される。実用的には、並列に配置した複数枚の鏡がカメラの前に設置される。
【００６７】
室がそれを許可した場合、またモジュールの特定の実施例がいかなるものであろうと、複数の独立したモジュールが接続可能であり、これらは画像および音声を確実に連続させると共に、操作上従属している。
【００６８】
本発明は、特に、再生中の画像の重複あるいは音声のずれを予防可能にする。例えば、声の高さの変化や音声響レベルの変化、また音声検出に合わないような領域に対しても、音声のずれは一致する。
【００６９】
さらに本発明は、人がキオスク、スクリーン、または、画像ウォールの前で動いた場合に、画像と音声品質の連続性を確実にする。
【００７０】
最後に、本発明によれば、システムを構成する各種要素に対してフィードバックを含む制御を行う制御装置があってもよい。原理を示した図が図５ａと５ｂである。
【００７１】
一例として、３つのモジュールが連結されている。それぞれのモジュールは、２つの操作ブロックに分かれた１つのブロックで表されている。この２つの操作ブロックは、一つが視覚装置２、もう一つが聴覚装置１に相当する。隣接したモジュールの現検出器Ｄは、現信号をフィードバック制御と制御装置Ｐとに再送信することを可能にする。現検出器Ｄは、当業者にはよく知られた型の検出器、例えば光電池、超音声波検出器、現存の家庭用検出器等を用いて、実行されうる。
【００７２】
システム全体は、各モジュール同士がその周辺と相互交流するかのように作動し、視覚聴覚の特性を修飾する（送信装置およびネットワーク多重送信と同じように）。例えば、各モジュールが他から分離したデータフローを伝達するか、ｎモジュールのｎフローが単一のチャネルで多重送信される。制御装置はモジュールが同じチャンネル（ADSL、VLAN、IP、バーチャルチャンネル、ATM）を使用することを許可する。もちろん、それらのモジュールは、ここには示していない通信ネットワークに接続している。データフローは、例えばIPプロトコールまたは他の本来のATMプロトコールに基づいて、コンピュータディベロッパー（computer developer）の基準を流すことができる。
【００７３】
図５ａに示したように、これらモジュールの1つ、マスターモジュールは、他のモジュールをフィードバック制御する基準として用いられる。図５ａに示したように、フィードバック制御操作ブロックＡは、マスターモジュールまたは外部からの制御に組み込まれたプロセッシングユニットを使用し、実行される。
【００７４】
図５ｂに示したように、同様に、フィードバック制御基準はシステムの外部であってもよい。
【００７５】
また、各モジュールは、例えば、順次基準になってもよい。
【００７６】
説明を簡単にする為に、以下では各々に３つのみのモジュールを含むシステムと、モジュールのうちの一つを基準とするフィードバック制御について説明する。上述したように、基準は外部装置によって供給されうる。この外部装置において、初期値は、連結したモジュールの数にしたがってフィードバック制御される各種パラメータに対して、プログラムされる。
【００７７】
図６に、画像検出に対するフィードバック制御を示す。３つのモジュールの３つのカメラは、重複が起きないように、それらの位置についてフィードバック制御を受ける。また、２つのカメラは、画像解析、特に比色分析信号と輝度信号とについて、色調および白黒レベルを均一にするように、フィードバック制御を受ける。
【００７８】
第１のフィードバック制御手段は、撮影領域のすべての重複を除去するように、一方のカメラの位置を他方のカメラの位置に合わせてフィードバック制御する。この位置合わせのために、例えば、発光ダイオードＤまたはテストパターンを使用してもよい。テストパターンを使用する場合、カメラの個々のフレームに対して基準を与え、次いで、カメラＣ２とＣ３のフレームをＣ１のフレームに合わせて補正できるように、テストパターンは画像ウォールＩ上に設置する。
【００７９】
この実施例では、撮影される画像は、図１０について後述するように、折りたたみ用鏡を介して上記カメラに送られる。
【００８０】
フィードバック制御装置Ｕ１は、位置信号ＰＳ１を受信する。この位置信号ＰＳ１は、ダイオードＤによる出力信号の検出の結果得られたフレームから生じる。フィードバック制御装置Ｕ１は、第１のカメラＣ１の位置指令によって出射された信号を受信し、第２のカメラＣ２及び第３のカメラＣ３の位置指令信号ＰＳ２及びＰＳ３を供給する。
【００８１】
さらに、他のフィードバック制御装置は、第１のカメラの信号に合わせて、第２及び第３のカメラの比色分析信号と輝度信号に対してフィードバック制御を行う。この比色分析信号のパラメータは信号Ｓ１によって得られ、図６ａに示すように、このパラメータによって他の２つのカメラの指令信号Ｓ２及びＳ３の生成が可能になる。
【００８２】
図６ｂは、カメラの領域自動校正によって画像の連続性を保証するためのフィードバック制御の一例を示している。
【００８３】
１つのモジュールが他方のモジュールと重なった場合、画像ウォールは均一、つまり画像の連続性を有していなければならない。なお、この自動校正は、手動によって行ってもよいし、自動によって行ってもよい。これを行うために、基準点、例えばペーパーテストパターン（撮影背景内の図柄や明るい点で構わない）を利用する。その結果、近接するカメラ（ここでは２台だけ示す）の光軸の方向は、画像が連続性を有するように、あるいは遠隔制御ズームかカメラの位置、ｘ、ｙ、ｚが設定可能になるように、フィードバック制御を受ける。
【００８４】
上記例では、撮影背景内に配置されている３つの発光ダイオードＤ１〜Ｄ３が、カメラの基準点として使われる。マイクロコンピュータに取り込まれたフィードバック制御プログラムは、受信した２つの画像を解析し、また２つの画像における上記発光ダイオードの位置を認識する。このプログラムは、カメラの指令パラメータあるいは光線の折りたたみ用鏡に対して、これらを融合するように作用するように、作られている。
【００８５】
この図に示された制御カメラＣＣは、再生画像を解析するのに使われる。このカメラは例えば、並置された画像を解析することで映像プロジェクタを固定するために使われる。また、このカメラは、近接した画像が同一比色を有するかどうかを確かめるためにも使われる。
【００８６】
映像品質を保証するために、例えば、同じ図柄（定比例、あるいは対数比例関係にある灰色の基準）を各カメラの前に置き、映像プロジェクタを制御するグラフィックカードインターフェースを利用して、比色分析と同様に、コントラスト、ガンマ信号、明度等を均一化する。
【００８７】
プロセッシングユニットは、図に示したようにマイクロコンピュータを実現される。撮像、画像処理、および画像再生は、こういった用途のためにプログラムされたマイクロコンピュータによって、必要なフィードバック制御を使って制御される。この処理は、電子制御ユニットを使用すれば当業者が容易に実行できる。例えば、製造会社から配布されるＡＰＩを使ってＰＣグラフィックカードをプログラムすることで、容易に実行可能である。
【００８８】
３つのプロジェクタＰ１、Ｐ２、及び、Ｐ３は、同様に、個々に、あるいは、外部の基準に対して、フィードバック制御を受ける。
【００８９】
図７に示し説明する例では、３つのプロジェクタのうち１つが、基準映像信号Ｖ１（特に比色分析および輝度信号）をフィードバック制御装置Ｕ２に供給している。その結果、この装置は、他方のプロジェクタの映像信号Ｖ２及びＶ３を、既知の基準値に適応させる。コントロールカメラは近接した画像が同一の比色分析であるかを確かめるために使われる。
【００９０】
さらに、フィードバック制御装置Ｕ２は、基準映像プロジェクタから受けた指令シグナルＦ１を使う映像プロジェクタにおける、焦点指令Ｆ２及びＦ３のフィードバック制御を含む。それはまた同様に、この焦点と完全に異なるサイズ及びパラメータ、例えば基本的な変形あるいは輝度、比色分析あるいはガンマシグナル、を含みうる。基準映像プロジェクタは、スクリーンＥの周囲に分配された光センサーＣｐによって伝達された信号ＳＣｐの受信を用いることで、自動的にその焦点を調節する。
【００９１】
同様に、各々のモジュールの照明Ｒは、画像ウォールに沿って上記照明の均一性を確実にする目的で、フィードバック制御によって制御されうる。これを行うため、１つのモジュールの照明装置Ｌ１は、基準点をフィードバック制御システムに供給し、それによってこのシステムは他の照明装置Ｌ２、L３を、例えば、輝度（ルクス、言い換えるとカンデラ毎平方メートル）、色温度（比色分析）、あるいは他の“心理と視覚の”大きさ、を測定する装置の形を成す基準に従って制御する。
【００９２】
図８を参照してもらいたい。
【００９３】
同じように、モジュールそれぞれの、音声検出および再生装置ＡＵ１、ＡＵ２、及び、ＡＵ３は、基準信号に応じたフィードバック制御を受ける。この基準信号は、モジュールの音声検出および再生装置によって与えられる例に応じて、供給される。
【００９４】
映像データは、音声を制御およびフィードバック制御するために、使用可能である。実際、音声パラメータは、画像が修正された場合に、修正されうる。画像は例えば１人の人の到着によって修正を受ける。
【００９５】
例えば、音声の反響の制御、音声ネットワーク管理、音声検出システム制御、音声再生制御システム、あるいは、上記２つの室間の音声情報伝達を確立するために必要な他の要素に対して、フィードバック制御は有効である。
【００９６】
画像と合致する音声の空間的な広がりを持たせるための、モジュールは、複数の音声検出装置とそれに相当する数の音声再生装置を含んでいてもよい。各モジュールのすべてのマイクロフォンＭｉによって得られた信号は、プロセッシングユニットＵ３、Ｕ４、及び、Ｕ５を用いて処理される。これらユニットはそれぞれ、各々のモジュールに対応しており、例えば、マイクロフォンの平回路（loop）の安定性を高めるため、反響が確実に消去されるようにプログラムされている。スピーカーは左右対称に接続され、検出率を減少させる（ラーセン効果（Larsen effect）あるいは反響）。その結果、各々のモジュールにおいてラーセン効果を防ぐ処理をしてもよいし、また、ある基準に基づいて同じプロセッシングユニットＵ３、Ｕ４、Ｕ５を用いてモジュールに対するフィ−ドバック制御を行ってもよい。この基準は、モジュールのうちの１つから供給され、その結果システム全体が、対象となる領域の、“包括的な”あるいは完全な音声検出システムを形成する。
【００９７】
もちろん、画像検出の対象範囲を確かめる、かつ、映像の境界の外側をも対象とする音声検出を行ってもよい。
【００９８】
フィードバック制御装置は、超小型演算装置、マイクロコントローラ、自動演算装置（automatic operator）、計算センターユニット（computer central unit）のようなプロセッシングユニットによって作られることが望ましい。このため、プロセッシングユニットは、必要なフィードバック制御手段を実行するためにプログラムされたプログラムメモリを有する。図５ａおよび図５ｂで示したように、これらの装置はマスターモジュール（master module）あるいは外部のモジュールへと組み込まれる。
【００９９】
モジュールは、音声および画像検出要素への連結情報を受信することで、他のモジュールをフィードバック制御できる。
【０１００】
例えば、各々のモジュールのコネクタＣＴ（１つあるいは２つのモジュールがこのコネクタに接続している）が存在可能である。検出シグナルはマスターモジュールに送信され、マスターモジュールは連携、および各種モジュールへの指令の送信を制御する。あるいはそれは、連携、およびコネクタ信号の受信における各種モジュールへの指令の送信、を確立するため外部の基準装置となることも可能である。このような２つの例を図５ｃおよび５ｄに示した。
【０１０１】
近接した２つのモジュールの存在は、検出され、制御装置Ｐに送信される。制御装置Ｐは、各々のモジュールの視聴覚特性を修正することによって、各種モジュールを制御可能にする。
【０１０２】
連結は、物理学的あるいは電気的な重なりを用いることができる。
【０１０３】
同様に、テレビ画像を用いて音声をフィードバック制御する方法がある。例えば、モジュールのカメラの視野は、このモジュールの装置の音声検出ローブによって制御可能であり、逆もまた同様である。
【０１０４】
音声検出装置は、複数のモジュールの連結を検出することを可能にする。実際、仮に装置の前を人の通過したことに起因する修正だけでなく、音声検出連鎖内の応答フィルターによって検出された修正を、受信した音声が示していれば、連結は検出され、各種モジュールのフィードバック制御手段が作動される。
【０１０５】
次に、モジュールの構成における装置の実施形態を数例あげる。
【０１０６】
図９ａおよび図９ｂは、連結した画像検出装置を実施した、２つの例である。近接した２つの鏡１０ａ、１０ｂ、および１０ｃはそれぞれ光路Ｆａ、Ｆｂ、Ｆｃ上に設置される。視界αａ、αｂ、およびαｃは完全に等しい。
【０１０７】
図９ａの場合、鏡は、多角形あるいは湾曲した部分に従ってキオスクの中に設置される。視界をより開けるため、多角形の辺は長くなり、画像検出装置１ａ、１ｂ、１ｃは互いに遠く離れている。この型の配置では、すべての物は、画像検出装置１ａ、１ｂ、１ｃが位置１００において二重写しされたかのような状態になる。
【０１０８】
上記鏡は平坦であってもよい。
【０１０９】
図９ｂの場合、画像検出システムはテレセントリックである。すなわち、鏡１０ａ、１０ｂ、１０ｃは凹形であり、各々が焦点を有する。そのため、各々が鏡の焦点上に位置するような装置１ａ、１ｂ、１ｃで伝達が起こると、相互並行な線から成る光線Ｆａ、Ｆｂ、Ｆｃは円筒形になる。受像器は１つの画像検出装置に対してもはや円錐状ではなく、円筒状となる。このように、この型のテレセントリックシステムは、“アイコンタクトの欠落”現象と画像の重複を低減する、あるいは排除するという効果を奏する。
【０１１０】
次に、モジュールの画像検出装置および再生装置を示した図１０で描かれている、特別な実施形態の例を詳しく説明する。
【０１１１】
再生モジュールは、現地参加者と対面するスクリーンＥに遠隔地の画像を投影する、映像プロジェクタＰ１を含む。スクリーンＥはプラズマ、ＬＣＤ、ＣＲＴ等の表示装置であってもよい。画像はいかなる形式（16/9、4/3、3/4）の映画規格(cinema standard)、写真等であってもよい。この場合、現地参加者ＰＬは、伝達容量に応じて半反射領域（semi-reflective section）２１を用い、スクリ−ンＥ上で形成された遠隔地の画像を観る。半反射領域は、反射率と伝達率（例えばそれぞれ、30%、70%）において特徴的である。
【０１１２】
画像検出装置に付随の、例えばカメラＣ１は、光線を屈折させる２つの鏡、例えば光線Ｆを屈折させるための２つの鏡１１及び１２と半反射領域２１である。それは同様に、カメラの光線の光学距離を低減するためにレンズＯ、例えばフレネルレンズ（Fresnel lens）を含んでもよい。
【０１１３】
半反射領域は、その反射容量に応じて用いられ、その結果、鏡１０の機能を確立する。参照番号１００は、この場合事実上のカメラと一致するが、光線が屈折していない場合に対応する。
【０１１４】
この独立した画像検出装置は、テレプレゼンス効果（アイコンタクト効果の欠落の削減、画像の非重複、全景効果（panoramic effect））を作り出すことを可能にし、また再生システムに接続している。この再生システムは近接しているので、キオスク効果（kiosk effect）を有し、キオスク効果は近接しているので、可能な限り平面状のスクリーン上に、投影画像が並列される（キオスクは大きく開放されている）。スクリーンは湾曲していてもよい。
【０１１５】
図１１では遠近法を使い、本発明における視聴覚相互作用システムを概略的に示す。本発明は複数のモジュールを含み、モジュールは図１０に示したモジュールと類似し、また多角形のキオスクに設置される。スクリーンが湾曲している場合、その形態は円状の弓形となる。
【０１１６】
このシステムは、複数の半反射領域２１ａ、２１ｂ（隠れている）、２１ｃ（隠れている）および複数の鏡１１ａ（隠れている）、１１ｂおよび１１ｃを含む。
【０１１７】
音声に関しては、一実施形態では、モジュールの前に位置する人の音声を受信するために、半反射領域２１の頂部あるいは下部に、１つまたは複数のマイクロフォンが設置され、また音声を再生するために、半反射領域２１の頂部あるいは下部に、１つあるいは複数のスピーカーが設置されている。
【０１１８】
カメラ、映像プロジェクタ、システムを使う人の目等の光学距離を中断するような、末端の聴覚機器はないものとする。さらに、これら末端の聴覚機器は、正確な音声の受信と再生を可能にするように、できるだけ使用者に近づけて設置することが必要である。
【図面の簡単な説明】
【０１１９】
【図１】現地室と遠隔地室の間の画像と音声の経路全体に存在する要素のつながりを概略的に示した図である。
【図２ａ】アイコンタクトの欠落の効果を示した図である。
【図２ｂ】アイコンタクトの欠落の効果を示した図である。
【図２ｃ】アイコンタクトの欠落の効果を示した図である。
【図３ａ】画像検出装置の検出範囲による、再生された画像の拡大効果を示した図である
【図３ｂ】画像検出装置の検出範囲による、再生された画像の拡大効果を示した図である。
【図４ａ】２つの画像検出装置を用いた場合の重複領域を示した図である。
【図４ｂ】３つの画像検出装置を用いた場合の重複領域を示した図である。
【図５ａ】一実施形態における本発明の原理を示しており、連結した装置を３つのみ示した図である。
【図５ｂ】他の実施形態における本発明の原理を示しており、連結した装置を３つのみ示した図である。
【図６ａ】モジュールカメラのフィードバック制御の図をより詳細に示した図である。
【図６ｂ】画像の連続性を確実にするためのフィードバック制御の例を示した図である。
【図７】モジュールプロジェクタのフィードバック制御をより詳細に示した図である。
【図８】画像および音声検出装置と再生装置のフィードバック制御を表した図である。
【図９ａ】連結したモジュールに関連する画像検出装置の実施形態を示した図である。
【図９ｂ】連結したモジュールに関連する画像検出装置の実施形態を示した図である。
【図１０】画像検出装置とモジュールの再生装置の例を詳細示した図である。
【図１１】相互作用視聴覚システムを多角形のキオスクの形態で実施した場合の外観を示した図である。