(57)【特許請求の範囲】
【請求項１】
情報を表示するための表示デバイスと；
第１および第２の位置から視野内の人物の第１および第２の画像を捕捉するための前記表示デバイスに近接して配置された第１および第２の画像捕捉デバイスと；
制御部とを備え、この制御部が、
ポートレート・アスペクト比およびランドスケープ・アスペクト比から一のアスペクト比を選択し、
該選択したアスペクト比の視野内で前記人物の視野方向におけるシュミレートされた画像捕捉を行う仮想カメラを前記表示デバイス上の所定の位置に形成するよう前記捕捉された第１および第２の画像を処理し、さらに
前記人物のシミュレートされた捕捉画像に、その視差歪みを最小限にするための伸長機能を実施する
ことを特徴とする装置。
【請求項２】
情報を表示するためのディスプレイと；
異なる位置から視野内の人物の画像を少なくとも２つ捕捉するための、前記ディスプレイに近接して配置された少なくとも２つのカメラと；
前記捕捉された少なくとも２つの画像をデータとして処理し、ポートレート・アスペクト比およびランドスケープ・アスペクト比から一のアスペクト比を選択し、その選択されたアスペクト比を有する複合画像を形成するためにそれらの画像を合成し、該複合画像にその視差歪みを最小限にするための伸長機能を実施する、前記カメラと結合されたプロセッサと
を具備することを特徴とする画像捕捉をシミュレートするのに使用するためのコンピュータ・システム。
【請求項３】
ポートレート・アスペクト比およびランドスケープ・アスペクト比から複合画像のためのアスペクト比を選択するステップと；
第１の所定の位置からの被写体の第１の画像を捕捉するステップと；
前記第１の所定の位置とは別の第２の所定の位置からの前記被写体の第２の画像を捕捉するステップと；
前記選択されたアスペクト比を有した複合画像を形成するため前記被写体の前記捕捉された第１および第２の画像を処理し、前記被写体がカメラのレンズ内に直接見えるように描写し、かつ前記複合画像の視差歪みを最小限にするための伸長機能を実施するステップと
を含むことを特徴とするコンピュータ・ベースの画像捕捉システム内で画像捕捉をシミュレートする方法。
【請求項４】
第１の会議参加者を別の位置で見るためのディスプレイと；
前記ディスプレイに近接した異なる位置に配置された２つのカメラであって、該２つのカメラの視野内の第２の会議参加者の画像を捕捉する２つのカメラと；
該２つのカメラからの画像を受信するように結合され、該受信した画像を処理し、第１の会議参加者から見たとき、カメラのレンズをほぼまっすぐに見ているような第２の会議参加者の複合画像を形成するために該処理した画像を合成し、かつ該形成した複合画像の視差歪みを最小限にするための伸長機能を実施するプロセッサと
を具備し、
前記複合画像が、会議ステーションで使用可能なポートレート・アスペクト比およびランドスケープ・アスペクト比から選択された一のアスペクト比を有することを特徴とする会議ステーション。
【請求項５】
ポートレート・アスペクト比およびランドスケープ・アスペクト比から複合画像に対するアスペクト比を選択するステップと；
第１の所定の位置から、第１の会議参加者の第１の画像を捕捉するステップと；
前記第１の所定の位置とは異なる第２の所定の位置から、該第１の会議参加者の第２の画像を捕捉するステップと；
前記選択されたアスペクト比を有する複合画像であって、第２の会議参加者から見たとき前記第１の会議参加者が該第２の会議参加者の目をまっすぐに見ているように見えるよう該第１の会議参加者がカメラのレンズを直接見ている複合画像を形成するために、前記第１および第２の画像を処理し、かつ該形成された複合画像の視差歪みを最小限にするための伸長機能を実施するステップと
を含むことを特徴とするコンピュータ・ベースの画像捕捉システム内で第１の会議参加者と第２の会議参加者の間における対面通信を実施する方法。
【発明の詳細な説明】
【０００１】
本発明は、広義には、写真及び／またはビデオ画像撮影システムの技術分野に関し、狭義には、少なくとも２つの画像撮影装置からの個別の画像を結合して模擬視線方向画像撮影のための仮想カメラを作り出すことができる改善された画像撮影システムに関する。
【０００２】
写真及び／またはビデオ画像撮影における基本的な挑戦的課題は、視線方向画像撮影が達成されるように画像撮影装置と被写体を確実に正しく位置取りするということである。本願で使用する「視線方向画像撮影」という用語は、被写体人物が画像撮影装置のレンズをまっすぐ見ている間に写真及び／またはビデオ画像を取り込むことを意味する。視線方向画像撮影は、結果として得られる写真及び／またはビデオ画像が、模擬対面会話に適するように被写体人物がその画像を見ている者を見ているように表示されるという点で好ましい。もし視線方向画像撮影が行われないと、被写体人物はその画像を見ている者から視線を逸らしているように見える。このことは、当然理解されるように、対面会話に付随する親密さがしだいに失われることになる。
【０００３】
視線方向画像撮影には２つの基本的な操作が必要である。まず第１に、画像撮影装置と被写体とは、被写体が画像撮影装置の視野内に配置されるように位置決めされなければならない。これは、ビューファインダあるいはプレビューウィンドウを用いて、被写体の位置を監視しながら被写体及び／または画像撮影装置の位置を調整することによって行うことが可能である。第２に、被写体は画像撮影の間画像撮影装置のレンズをまっすぐ見ていなければならない。その最終結果として、被写体が、その画像を見ている者との模擬対面会話が可能なようにまっすぐ見ている状態を描写する写真及び／またはビデオ画像が得られる。
【０００４】
他人の写真及び／またはビデオ画像を撮ろうとする場合は、視線方向画像撮影はことさらに困難ではない。オペレータが、ビューファインダ中の被写体人物を見て、画像撮影装置及び／または被写体の位置決めを被写体が確実にレンズの視角内となるように調整し、被写体にレンズの方を見るよう指示してから画像撮影装置を作動させるだけでよい。しかしながら、画像撮影装置のオペレータが自分自身の写真及び／またはビデオ画像を撮したい場合においては、独特の困難な問題がある。例えば、写真の場合について言うと、オペレータは自らが画像撮影装置の視角内で確実に適切な位置におかれるようにすることが困難な場合がある。例えば、オペレータは、 写真用画像撮影装置を腕を伸ばして保持し、逆に自分の方に向けることによって自分自身の写真の画像をとろうとするかもしれない。しかしながら、これは、ビューファインダが写真の画像撮影装置の反対側にあるので、オペレータは自分の画像をあらかじめ見る、すなわちプレビューすることができないという点で問題があり得る。
【０００５】
この問題は、ビデオ・キャムコーダー・コンテキストの場合に関しては、オペレータが自分自身のビデオ画像を取り込んでいる間に自分を見ることができるよう選択的にレンズと同じ向きに位置決め可能としたビューファインダの出現により解決されている。このような改善にも関わらず、オペレータは、本質的に、ビューファインダで自分の画像をプレビューするためには画像撮影装置のレンズから目を逸らさなくてはならないので、視線方向画像撮影はなおかつ実施することが困難である。オペレータは、ビューファインダを覗いている間に画像撮影を行うと、そのオペレータの画像を見ている者から視線を逸らせているように画面に表示されることになる。オペレータが画像撮影を行う前にレンズの方を振り向くならば、結果的に得られる画像が視野の真中からずれるようにうっかりレンズの位置を動かしてしまう危険を侵すことになる。
【０００６】
視線方向画像撮影を行う場合、コンピュータ・ベースの画像撮影システムでも同様の問題に悩まされる。コンピュータ・ベースの画像撮影システムとしては、例えば、テレビ会議システム、ビデオ電話システム、ビデオ・メッセージング・システム、ビデオ葉書システム、マルチメディア・トレーニング・システム及びマルチメディア・オーサリング・システム等がある。このようなシステムには、最低限、オペレータに図形及び／または文字情報を視覚的に伝達するためのディスプレイ、オペレータの写真及び／またはビデオ画像を取り込むためのための画像撮影装置、及びシステム全体の動作を統御するためのコンピュータ処理装置等が設けられる。画像撮影装置は、オペレータが視野を遮られることなくディスプレイを見ることができるようにディスプレイの周囲の所定の位置に配置される。
【０００７】
このようなコンピュータ・ベースの画像撮影システムで視線方向画像撮影を行う際の主な障害は、画像撮影装置とディスプレイとの間の物理的距離あるいは位置ずれに起因する。より詳しく言うと、コンピュータ・ベースの画像撮影システムにおける視線方向画像撮影はディスプレイ上の情報を見ることを犠牲にしてしか行うことができない。このことは、例えば、図１に示すような従来技術のデスクトップ型テレビ会議ステーション２を参照して説明することにより理解ができるであろう。テレビ会議ステーション２は、ビデオディスプレイ４、画像撮影装置６及びパーソナルコンピュータ８からなる。画像撮影装置６は、ローカル側の会議参加者１０が確実にディスプレイ４の情報を視野を妨げられることなく見ることができるようにビデオディスプレイ４の最上部に配置されている。そのために、画像撮影装置６とローカル側の会議参加者１０との間にどうしても垂直方向位置ずれが生じるので、ローカル側の会議参加者１０が符号１２で示す位置でディスプレイ４を見る場合、リモートの会議参加者の視点からは画像撮影装置６から目を逸らしているように見えることになる。リモート側の会議参加者との対面会話を達成するためには、ローカル側の会議参加者１０は符号１４で示すように画像撮影装置６のレンズのをまっすぐ見なければならない。これは、不都合なことには、ディスプレイ４に表示された情報をローカル側会議参加者１０が見るのを制限することになる。
【０００８】
テレビ会議システムとの関連で説明したが、この問題はオペレータが自分自身の画像を取り込みたいと欲する場合、あらゆるコンピュータ・ベースの応用分野で存在し得るということは理解されよう。これらの応用分野としては、例えばビデオ会議、ビデ電話、ビデオメッセージング、ビデオ葉書、マルチメディア・トレーニング及びマルチメディア・オーサリング等があるが、必ずしもこれらに限定されるものではない。
【０００９】
本発明の目的は、上に説明したような１つあるいはそれ以上の問題のもたらす影響を解消するか、あるいは少なくとも低減することにある。
【００１０】
本発明は、その一態様として、表示手段と、画像撮影手段と、前記画像撮影手段から得られた画像を継ぎ目なしに結合するための手段とを具備した装置である。表示手段はオペレータに対して情報を表示するためのものである。画像撮影手段は表示手段に近接して配置され、第１及び第２の偏倚位置からオペレータの第１及び第２の画像を取り込むよう構成されている。画像撮影手段から第１及び第２の画像を継ぎ目なしに結合するための手段は、オペレータの視線方向画像撮影を模擬する、すなわちシミュレートするための仮想カメラを表示手段の所定の位置に形成する。
【００１１】
もう一つの態様として、本発明は、視線方向画像撮影をシミュレートするための装置にある。この装置は、表示手段と、画像撮影手段と、画像撮影手段から得られた画像を結合するための画像相関器手段とを具備している。表示手段はオペレータに対して情報を表示するためためのものである。画像撮影手段は、表示手段に近接して配置され、第１及び第２の偏倚位置から会議参加者（オペレータ）の第１及び第２の画像を取り込むよう構成されている。画像相関器手段は、オペレータの第１及び第２の画像を受け取り、結合することによって、オペレータが画像撮影装置のレンズをほぼまっすぐ見ているように描写された合成画像を形成するように構成されている。
【００１２】
さらにもう一つの態様として、本発明は、コンピュータ・ベースの画像撮影システム内で視線方向画像撮影をシミュレートするための方法にある。本発明のこの方法は、（ａ）第１の所定の位置から被写体の第１の画像を取り込むステップと；（ｂ）第２の所定の位置から前記被写体の第２の画像を取り込むステップと；（ｃ） 前記被写体の前記第１と第２の画像を結合することによって前記被写体が画像撮影装置のレンズをまっすぐ見ているように描写された合成画像を形成するステップと；からなる。
【００１３】
さらにもう一つの態様として、本発明は、互いに離れた場所にある会議参加者間の対面交信を容易にするための装置にある。本発明のこの装置は、互いに通信可能にリンクされた少なくとも２つの会議ステーションからなる。各会議ステーションは、表示手段と、画像撮影手段と、画像撮影手段からの画像を結合するための手段とを有する。表示手段は会議参加者に対して情報を表示するためのものである。画像撮影手段は、少なくとも２つの異なる偏倚位置から会議参加者の画像を取り込むよう構成されている。画像撮影手段によって取り込まれた画像を結合するための手段は、互いにテレビ会議場所にある会議参加者間の対面交信をシミュレートするための仮想カメラを表示手段上の所定の位置に形成する。
【００１４】
さらにもう一つの態様として、本発明は、第１の参加者と第２の参加者との間の対面交信を容易にするための方法にある。本発明のこの方法は、（ａ）互いに偏倚した視点から第１の参加者の２つの画像を取り込むステップと；（ｂ）前記２つの画像を結合することによって前記第１の参加者がほぼまっすぐ画像撮影装置のレンズを見ているように描写された合成画像を形成するステップと；（ｃ）前記第１の参加者の合成画像を第２の参加者に伝達するステップと；からなる。
【００１５】
本発明の他の目的及び長所については、添付図面を参照して行う以下の詳細な説明から明らかとなろう。
【００１６】
以下、本発明を図示実施形態に基づき詳細に説明する。説明を明瞭にするため、ある実施形態の全ての特徴をこの明細書に記載することはしない。このような実施形態の開発に際しては、実施形態毎に異なるシステム関連の制約条件やビジネス関連の制約条件の遵守というように、それぞれの開発者の固有の目標を達成するために多くの実施形態固有の選択や決定をしなければならないということはもちろん理解されよう。さらに、このような開発努力はたとえ複雑で時間がかかるものであるとしても、本願の開示技術のを利用できる当業者にとってはごく普通の仕事であろうということも理解されよう。
【００１７】
図２を参照すると、この図には本発明に基づくコンピュータ・ベースの画像撮影システムで視線方向画像撮影を行う方法（全体として符号１６で示す）を図解したフローチャートが示されている。図示の視線方向画像撮影方法１６は、オペレータが自分自身の写真及び／またはビデオ画像を取り込む（撮影する）ことを欲するようなコンピュータ・ベースの画像撮影システムの用途において特に有用である。このようなコンピュータ・ベースの画像撮影システムには、例えば、テレビ会議システム、ビデオ電話システム、ビデオ・メッセージング・システム、ビデオ葉書システム、マルチメディア・トレーニング・システム、及びマルチメディア・オーサリング・システム等がある。しかし、これらに限定されるものではない。
【００１８】
第１のステップ１８は、コンピュータ・ベースの画像撮影システムのディスプレイの周囲にある第１の所定の位置からオペレータの第１の画像を取り込む動作よりなる。第２のステップ２０は、コンピュータ・ベースの画像撮影システムのディスプレイの周囲にある第２の所定の位置からオペレータの第２の画像を取り込む動作よりなる。本発明の一態様においては、ステップ１８及び２０はコンピュータ・ベースの画像撮影システムのディスプレイの周囲に少なくとも２つの画像撮影装置を設けることにより達成される。ディスプレイの周囲に画像撮影装置を配置することは、オペレータが視野を妨げられることなく常時ディスプレイ上の情報を確実に見るために必要である。ステップ１８と２０の画像撮影は、特定の時点においてオペレータの画像が少なくとも２つの異なる視点から得られるよう同時に行うことが望ましい。
【００１９】
次にステップ２２では、ステップ１８及び２０で取り込まれた画像がコンピュータ・ベースの画像撮影システムのディスプレイ上の所定の位置に仮想カメラを形成するよう互いに結合される。これは、結果として得られる合成画像が、視線方向画像撮影のためにオペレータに向けてディスプレイの表面上に配置されたレンズを有する単一の画像撮影装置から得たものであると見えるように、ステップで１８と２０で得らた個々の画像を互いに結合するということを意味する。このことを、ディスプレイの周囲に置かれた実際の画像撮影装置を使用するのではなく、望ましい視線方向画像撮影が個々の画像をディスプレイ上の一点から取り込まれたように見えるように互いに結合することによりシミュレートされるので、「仮想カメラ」と称する。
【００２０】
ステップ２４は、ステップ２２で得られた合成画像をローカル側のディスプレイあるいはリモート側に設けられたディスプレイ上に表示する動作よりなる。ステップ２２で得られた合成画像をローカル側のディスプレイに表示することは、ビデオメッセージング、ビデオ葉書作成、マルチメディア・トレーニングやマルチメディア・オーサリング時におけるように、オペレータが自分自身の画像をプレビューしたいような状況において役立つことが考えられる。また、ステップ２２で得られた合成画像をリモート側に設けられたディスプレイに表示することは、ビデオ会議やビデオ電話時のように、オペレータが自分の画像をリモート側にいる者に送信したいような状況で役立つことが考えられる。どちらの場合も、オペレータは、その画像を見ている者との模擬対面会話を行うために合成画像からまっすぐ見ているように見えるはずである。一実施形態においては、合成画像は仮想カメラとほぼ同じ位置にあるようにローカル側あるいはリモート側のディスプレイに表示されるようにしてもよい。このようにして合成画像と仮想カメラを向き合っている関係にすると、オペレータが自分の目をディスプレイから動かして画像撮影装置を覗くことなく模擬視線方向画像撮影を行うことが可能になる。
【００２１】
次に、本発明に基づいてコンピュータ・ベースの画像撮影システムで視線方向画像撮影を行うことの長所及び利点について、以下テレビ会議システムとの関連で詳細に説明する。以下の実施形態は、もっぱら例示説明のためのものであり、限定的な意味で記載されるものではないということは容易に理解されよう。本発明の方法１６は、オペレータが自分自身の写真及び／またはビデオ画像を取り込むことを望むような何らかのコンピュータ・ベースの画像撮影システムの用途においてもやはり有用であることが考えられる。これらのコンピュータ・ベースの画像撮影システムとしては、テレビ会議システムの他、ビデオ電話システム、ビデオ・メッセージング・システム、ビデオ葉書システム、マルチメディア・トレーニング・システム、及びマルチメディア・オーサリング・システム等があるが、これらに限定されるものではない。。
【００２２】
図３を参照すると、本発明に基づいて構成された改善されたテレビ会議システム３０のブロック図が示されている。大まかに言うと、図示の実施形態のテレビ会議システム３０は、互いに離れた場所にいる会議参加者３６間におけるオーディオ及びビデオ情報のやりとりを容易にするための通信リンク３４を介して相互接続された複数の別個のテレビ会議ステーション３２よりなる。各テレビ会議ステーション３２は、制御モジュール３８、ビデオモニター４０、及び少なくとも２つのビデオカメラ４２、４４を有する。ビデオカメラ４２、４４は、少なくとも２つの異なる視点からローカル側の会議参加者３６のビデオ画像を得るために、互いにビデオモニター４０の反対側に配置されている。
【００２３】
本発明の一実施形態においては、各テレビ会議ステーション３２の制御モジュール３８は、ローカル側の会議参加者３６がローカル側のビデオモニター４０の画面中に置かれたカメラ（「仮想カメラ」）をまっすぐ見ているように見えるよう描写された単一の合成ビデオ画像が生成されるように、ローカル側のビデオカメラ４２、４４によって取り込まれたビデオ画像を継ぎ目なしに結合する。従って、ローカル側の制御モジュール３８によって生成された合成ビデオ画像がリモート側のテレビ会議ステーション３２のビデオモニター４０に転送されると、リモート側のビデオモニター４０上に表示される画像はまっすぐリモート側の会議参加者３６を見ているように見える。このようにして、会議参加者３６は、両側の会議参加者３６間で事実上対面会話が行われるように外側に向けてまっすぐカメラ見ているような外観を保ちながらそれぞれのローカル側のビデオモニター４０を見ることができる。
【００２４】
制御モジュール３８は、中央処理装置（ＣＰＵ）４６、ビデオ・グラフィックス・カード４８、及び１つ以上のビデオ・キャプチャ機器５０、５２を有する。ＣＰＵ４６は、全体的な動作と、ビデオ・グラフィックス・カード４８、ビデオ・キャプチャ機器５０、５２、ビデオモニター４０及びビデオカメラ４２、４４の間における相互動作を制御・管理する。ビデオ・グラフィックス・カード４８は、ＣＰＵ４６からビデオモニター４０へのビデオ情報の転送を容易にする。ビデオカメラビデオ４２、４４によって得られた画像は、ビデオ・キャプチャ機器５０、５２を介してローカル側のＣＰＵ４６に転送される。一実施形態においては、ＣＰＵ４６内のアプリケーション及び／またはドライバコードは、各ビデオカメラ４２、４４からのビデオ画像をローカル側の会議参加者３６の単一の合成ビデオ画像が形成形成されるよう継ぎ目なしに結合する動作を実行するようにプログラムされている。
【００２５】
個々の画像を互いに継ぎ目なしに結合するためにＣＰＵ４６によって用いられるアルゴリズムは、ウィリアム・Ｋ・プラット（Ｗｉｌｌｉａｍ  Ｋ．Ｐｒａｔｔ）著（１９９１年）の「デジタル画像処理（Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ）」、第２版に記載されているような様々な周知の画像相関技術の中の任意の技術に基づくものであってよく、この刊行物の全ての記載は参照によって本願に援用される。一般的に言って、画像相関は、２つのビデオ画像の画素毎の比較を行って、それらの画像間の空間差を求めることによって、それらの個々の画像間の透視図の差を補正することよりなる。このようにして個々のビデオ画像を継ぎ目なしに結合することによって、ＣＰＵ４６は、事実上各ビデオカメラ４２、４４の視点をローカル側のビデオモニター４０の周辺部からビデオモニター４０のディスプレイ上の所定の位置に向けて移動させる。この内向き移動は、各ビデオカメラ４２、４４の視点がローカル側のビデオモニター４０のディスプレイ上の所定の位置に単一の仮想の視点を形成するよう実質的に一点に収斂するまで続けられる。
【００２６】
この仮想視点、すなわち仮想カメラは、ローカル側の会議参加者がまっすぐ実際のカメラを見ているような印象を与えるので効果的である。リモート側の会議参加者３６が見た場合、ローカル側の会議参加者３６は模擬対面会話のためにビデオモニター４０からまっすぐ外側を見ているかのように見える。ローカル側のビデオモニター４０のディスプレイ中に仮想カメラを形成することによって、ローカル側の会議参加者３６は、リモート側の会議参加者３６とのアイコンタクトを取るためにビデオカメラ４２、４４を見る必要なく自分の側のビデオモニター４０上の情報を連続して見ることができる。
【００２７】
本発明のテレビ会議システム３０は、市販の種々の部品を任意に用いて構成することができる。例えば、中央処理装置（ＣＰＵ）４６は、ペンティアム（登録商標）、ペンティアムプロ（登録商標）のような高速並列動作が可能な処理装置、及びインテル・コーポレーション（Ｉｎｔｅｌ  Ｃｏｒｐｏｒａｔｉｏｎ）によって開発されたＭＭＸ技術に基づくその他のプロセッサを任意の数用いて構成することが可能である。ビデオ・グラフィックス・カード４８も同様に市販の種々のビデオ・グラフィックス・カードを任意の数だけ用いて構成することができるが、一実施形態では、ビデオ・グラフィックス・カード４８は、イネーブル状態になると視差歪みをなくすようビデオモニター４０上の合成ビデオ画像を引き伸ばすることができるデバイス制御インタフェース（ＤＣＩ）である。また、ビデオ・キャプチャ機器５０、５２は、ビデオカメラ４２、４４からのアナログビデオ画像をそれらのアナログビデオ画像を表すディジタルデータに変換することができる既製のビデオ・キャプチャ機器を任意の数用いて構成することが可能である。例えば、ビデオ・キャプチャ機器５０、５２としては、インテル・コーポレーションからの入手可能なＩＳＶＲ３ビデオ・キャプチャ・カードのような市販の種々のビデオカードや、コネクティクス・コーポレーション（Ｃｏｎｎｅｃｔｉｘ  Ｃｏｒｐｏｒａｔｉｏｎ）から入手可能なＱｕｉｃｋＣａｍTM及びＱｕｉｃｋＣｌｉｐTMカメラのようなビデオ撮影能力を有する市販の種々のカメラを任意に用いることができるが、これらに限定されるものではない。
【００２８】
ビデオ・キャプチャ機器５０、５２は、２つの個別型コンポーネントとして示されているが、代わりに２チャンネルを有する単一のビデオ・キャプチャ・カードを用いることもできるということは容易に理解されよう。ビデオモニター４０としては、標準的なＶＧＡコンピュータモニターあるいはＮＴＳＣテレビジョンセットを含め（ただしこれらに限定されるものではない）、種々の既製のモニターを任意の数使用することができる。同様に、ビデオカメラ４２、４４もビデオ及び／または写真出力を発生することができる市販の種々の画像撮影装置を任意に用いて構成することが可能である。通信リンク３４は、地方の電話回線業者に対するＩＳＤＮインタフェースあるいはローカルエリア・ネットワークに対するローカルエリア・ネットワーク（ＬＡＮ）インタフェース・カードのようなインターネット及び電気通信業界標準規格（すなわちＨ．３２０、Ｈ．３２３、Ｈ．３２４）に適合する様々な通信インタフェースを用いることが可能である。このようにして既製の構成部品を用いて改善されたテレビ会議システム３０を構成すると、製造コストを最小限にすることができるという点で効果的である。
【００２９】
本発明のビデオ会議システム３０は、仮想カメラのアスペクト比を選択的に修正する能力を具備することによって、近距離及び長距離の両方のテレビ会議シナリオを扱うことができる。図４に示すように、本発明のビデオカメラ４２、４４は、各視野５４，５６が互いに重なってから会議参加者３６を囲むように、ビデオモニター４０の両側に配置される。２つの視野５４、５６が交わる点は全体として符号５８で示されている。この交点５８とビデオカメラ４２、４４との間にある領域は、会議参加者３６がその領域にいるとＣＰＵ４６は本発明に基づいて合成ビデオ画像を生成することができないので、デッドゾーンと称する。交点５８より後の全ての点は、アクティブゾーンと称する。本発明の一実施形態においては、ＣＰＵ４６は、会議参加者３６がアクティブゾーン内のどこかにいれば、模擬対面会話が可能なように合成ビデオ画像を生成することができる。そのために、ＣＰＵ４６は、アクティブゾーン内の会議参加者３６の位置に応じて任意の大きさのアスペクト比を持つ仮想カメラを生成することができる。
【００３０】
一実施形態においては、交点５８はモニター４０から約６インチ（１５．２ｃｍ）離れている。これによると、本発明のテレビ会議システム３０は比較的大きい人物写真または画像の撮影に適したアスペクト比を持つ仮想カメラを得ることができるので好都合である。このように大きい人物写真または画像の撮影は、結果として得られる仮想カメラの視野を比較的狭く、縦長な形にする。この形の視野は、デスクトップビデオ会議におけるように、ビデオモニター４０に近接して位置する会議参加者の身振りの動きを検出するのに好都合である。また、本発明は、大きな風景画像または写真の撮影に適したアスペクト比を有する仮想カメラとすることも可能である。大きい風景画像の撮影は、結果として得られる仮想カメラの視野を比較的広い横長の形にする。この形の視野は、部屋ベースのビデオ会議におけるように、大きいあるいはよこに広がった一群の会議参加者を見るのに好都合である。当然理解されるように、任意のアスペクト比を設定できることは、人物写真及び風景写真の両方の画像撮影に対応する上において、テレビ会議システム３０の自由度ないしは柔軟性を非常に大きくする。
【００３１】
また、本発明のテレビ会議システム３０は、従来技術のテレビ会議システムの悩みの種である視差歪みに比較的影響されにくい。やはり図４を参照すると、この視差歪みに対する不感性は、ビデオカメラ４２、４４が互いに離間して配置されていることによるものである。ビデオカメラ４２、４４は、ローカル側の会議参加者３６のビデオ画像を２つの異なる視点から取り込むことができるように、ビデオモニター４０の両側に配置されている。上に述べたように、ＣＰＵ４６は、次に、結果として得られる合成ビデオ画像がローカル側の会議参加者３６がリモート側の会議参加者と対面会話するために外側を見ているように描写するため、カメラ４２、４４の各々からのビデオ画像を継ぎ目なしに結合する。この画像加工・操作のために、個々のビデオカメラ４２、４４は、ローカル側会議参加者３６の意味のある合成ビデオ画像を生産するＣＰＵの４６の能力を危険にさらすことなく、比較的視野５４、５６を狭く保つことができる。狭い撮影輪郭を有するビデオカメラは、視差歪みが最小の比較的フラットなビデオ画像を得ることができるということは周知である。
【００３２】
対照的に、図５に示すような従来技術のビデオカメラ１４は他のビデオソースと組み合わされず、従ってローカル側の会議参加者１８の像を囲むためには、もっぱらそれ自身の比較的広い撮影輪郭６０に依拠しなければならない。しかしながら、広い撮影輪郭を持つビデオカメラは、しばしばビデオ画像を回旋状で不自然に見えさせる丸み歪みあるいは「魚眼」視差歪みを有するビデオ画像を作り出すことが知られている。この点に関して、本発明で用いられる狭い視野５４、５６は、視差歪みの程度を最小限にし、従って、その画像撮影システムは、比較的フラットで自然に見える合成ビデオ画像を生成し、表示することが可能である。
【００３３】
図６を参照して、本発明のテレビ会議システム３０は、合成画像６２をよりフラットで、より自然に見えさせる引き伸ばし機能を実行することによって、やはり視差歪みを最小限にする。この合成画像６２の引き伸ばしは、ビデオ・グラフィックス・カード４８及び／またはＣＰＵ４６の制御下で行うことができる。説明の都合上、ここでは、引き伸ばし機能をビデオ・グラフィックス・カード４８との関連で説明する。ビデオ・グラフィックス・カード４８は、イネーブル状態でデバイス制御インタフェース（ＤＣＩ）動作を行う市販のビデオ・グラフィックス・カードを任意の数使用して構成することが可能である。ＤＣＩ動作によって、ビデオ・グラフィックス・カード４８は、比較的小さい画素数の画像を全画面画素数の画像に引き伸ばすことができる。このように、ビデオ・グラフィックス・カード４８は、合成画像を元の状態（点線６４で示す）から拡大された状態（実線６６で示す）に選択的に引き伸ばすことができる。容易に理解されるように、この画像を引き伸ばす機能は、さらに、本発明の複合ビデオ画像６２をよりフラットで、より自然な形に調整することにより、ビデオ通信の品質を最適化する。
【００３４】
本発明のテレビ会議システム３０は、部屋ベースの会議構成でもデスクトップ会議構成でも実施することができる。部屋ベースのテレビ会議システムは、相互に通信可能にリンクされ、互いに離れた場所に設けられた少なくとも２つの会議ステーションよりなり、その各会議ステーションは複数の会議参加者に対応できるよう設計される。本発明の部屋ベースの会議ステーションは、例えば、いくつかの大型専用のテレビモニター、少なくとも２つの画像撮影装置、専用ＣＰＵ、コントロールボックス、及びこれらの構成要素ないしはコンポーネントを収納するための専用キャビネット等で構成することができる。また、デスクトップテレビ会議システムも、相互に通信可能にリンクされ、互いに離れた場所に設けられた少なくとも２つの会議ステーションよりなり、その各会議ステーションは限定された数（１人または２人）の会議参加者に対応できるよう設計される。本発明のデスクトップ会議ステーションは、例えば、普通のコンピュータモニター、少なくとも２つの画像撮影装置、及び種々の会議ステーションへ／からの音声情報及び視覚情報の送受信を調整するためのコンピュータあるいはプロセッサユニット等で構成することができる。
【００３５】
説明の都合上、本発明の改善されたビデオ会議システム３０については、図７〜１４に示す種々のデスクトップテレビ会議ステーションとの関連で説明する。各デスクトップテレビ会議ステーションに共通のコンポーネントとしては、パーソナルコンピュータ７２、ＶＧＡコンピュータモニター７４、ビデオモニター７４の周りに配置された少なくとも一対のビデオカメラ７６、７８等が含まれる。パーソナルコンピュータ７２は、市販の種々のパーソナル・コンピュータを任意に使用することができるが、インテル・コーポレーション製のＰＲＯＳＨＡＲＥ（プロシェア）（登録商標）のようなパーソナルコンピュータ用のテレビ会議ハードウェア及びソフトウェアシステムを具備したものを用いるべきである。ＰＲＯＳＨＡＲＥ（登録商標）システム内のハードウェアには、前に図２を参照して説明した通信リンク３４、ＣＰＵ４６、ビデオ・グラフィックス・カード４８、及びビデオ・キャプチャ機器５０、５２が含まれる。ＰＲＯＳＨＡＲＥ（登録商標）システム内のソフトウェアは、ビデオ会議の対話動作及びビデオ画像を継ぎ目なしに結合してローカル側の会議参加者の合成ビデオ画像を生成するプロセスを調整する。図７、１０及び１３に示すビデオモニター７４は、市販のコンピュータモニターを任意の数を用いて構成することができ、図８及び９、１１、１２及び１４に示すビデオモニター７４は、モニター７４の周辺沿いに種々のビデオカメラ７６、７８、８２、８４装着するよう特別に設計されたコンピュータモニターよりなる。ビデオカメラ７６、７８、８２、８４は、ビデオ出力を発生することができる市販のビデオカメラを任意の数用いて構成することが可能である。
【００３６】
図７〜９を参照する。ビデオカメラ７６、７８は、ビデオモニター７４のディスプレイ画面の周りにほぼ垂直方向に並んで配置されている。ＣＰＵ（図示省略）は、垂直方向に並んだ関係を有するビデオカメラ７６、７８で得られた個々のビデオ画像を継ぎ目なしに結合することによって、ローカル側の会議参加者（図示省略）がまっすぐカメラを見ているように描写された合成ビデオ画像を形成することができる。この合成ビデオ画像の形成によって、各ビデオカメラ７６、７８の視点はビデオモニター７４の上周部及び下周部沿いの位置からビデオカメラ７６、７８間の所定の位置に向けて実質的に内向きに動かされる。この視点の内向き移動は、各ビデオカメラ７６、７８の視点が一つに収斂して、符号８６で示すように、ディスプレイ画面上の所定の位置に仮想カメラが形成されるまで続けられる。
【００３７】
図１０〜１２を参照する。この場合、ビデオカメラ７６、７８はビデオモニター７４のディスプレイ画面の周部に水平に並んで配置されている。ＣＰＵ（図示省略）は、この場合も、水平方向に配置されたビデオカメラ７６、７８で得られた個々のビデオ画像を継ぎ目なしに結合することによって、模擬視線方向画像撮影のためにローカル側の会議参加者（図示省略）がまっすぐカメラを見ているように描写された合成ビデオ画像を形成することができる。この合成ビデオ画像の形成によって、各ビデオカメラ７６、７８の視点はビデオモニター７４の両側測部沿いの位置からビデオカメラ７６、７８間の所定の位置に向けて実質的に内向きに動かされる。この視点の内向き移動は、各ビデオカメラ７６、７８の視点が一つに収斂して、符号８６で示すように、ディスプレイ画面上の所定の位置に仮想カメラが形成されるまで続けられる。
【００３８】
図１３及び１４を参照して、この場合、第１の一対のビデオカメラ７６、７８はビデオモニター７４の両側部に互いにほぼ水平方向に並んで配置され、第２の一対のビデオカメラ８２、８４はビデオモニター７４の上周部と下周部にほぼ垂直方向に並んで配置されている。この実施形態においては、ＣＰＵ（図示省略）は、ビデオカメラ７６、７８、８２、８４で得られた個々のビデオ画像を継ぎ目なしに結合することによって、ローカル側の会議参加者（図示省略）がまっすぐカメラを見ているように描写された合成ビデオ画像を形成することができる。この合成ビデオ画像の形成によって、各ビデオカメラ７６、７８、８２、８４の視点はビデオモニター７４の各側の縁部沿いの位置からビデオカメラ７６、７８、８２、８４間の所定の位置に向けて実質的に内向きに動かされる。この視点の内向き移動は、各ビデオカメラ７６、７８、８２、８４の視点が一つに収斂して、符号８６で示すように、ディスプレイ画面上の所定の位置に仮想カメラが形成されるまで続けられる。
【００３９】
本発明の一実施形態においては、テレビ会議システム３０の上記各実施形態で生成される合成ビデオ画像は、結果として得られる仮想カメラ８６がリモート側の会議参加者３６の表示画像と総じて向き合う関係をもって表示されるように形成されるよう構成することができる。このようにすると、ローカル側の会議参加者３６はまっすぐ仮想カメラ８６に見ているように見えるので、結果して、より良い対面交信が可能な会議参加者３６間の模擬対面会話が達成される。
【００４０】
本発明の改善されたテレビ会議システム３０によれば、従来技術のテレビ会議システムに見られる種々の短所が解消される。テレビ会議システム３０では、擬視線方向画像撮影のための仮想カメラを設けることによって、会議参加者間の対面会話が改善される。テレビ会議システム３０は、このような改善を、互いにリモートのビデオ画像の送信及び／または表示を変更・修正するため光学部品を付加してテレビ会議ステーションを構成し直すことなく達成するものである。また、このビデオ会議システム３０は、各テレビ会議ステーションで用いられるビデオカメラのアスペクト比を変えることができることによって、ローカル側の会議参加者がビデオカメラによってサポートされた望ましいアスペクト比の視野外に出て歪んで不自然に見えるビデオ画像を生じさせることなく、ビデオ会議システム３０をローカル側の会議参加者の位置の変化に適応させることができる。さらに、このテレビ会議システム３０は、ローカル側の会議参加者が比較的モニターに近接しているとき、視差歪みあるいは「魚眼」歪みを低減することによって、会議参加者のより自然な画像を生成して対面会話を改善するという長所もある。
【００４１】
図３〜１４に示す前述のテレビ会議システムの実施形態は、もっぱら例示説明のために記載されたものであり、本発明の範囲との関係で全ての実施形態を網羅したものであるとみなすべきではないということは容易に理解されよう。本発明の仮想カメラ技術は、ビデオ会議、ビデオ葉書、ビデオメッセージング、マルチメディア・トレーニング及びマルチメディア・オーサリングを含め（これらに限定されるものではない）、視線方向画像撮影が望まれる様々なコンピュータ・ベースの画像撮影用途で用いることが可能である。本願で使用する「コンピュータ・ベースの」という用語は、物理的ケーシングや物理的構造にかかわらず、任意の様々なマイクロプロセッサ・ベースのシステムを含むものとして広義に解釈されるべきである。例えば、本発明のコンピュータ・ベースの画像撮影システムは、内蔵処理装置、ディスプレイ、及び少なくとも２つの偏倚位置からオペレータの画像を取り込むための少なくとも２つの画像撮影装置を有するキオスクの形態であってもよい。さらに、本発明の一部として用いられる画像撮影装置を写真及び／またはビデオ画像を得ることができる画像撮影装置を任意の数用いて構成することが可能なことも理解されよう。
【００４２】
本発明は、種々の変更態様及び修正態様が可能であるが、本願においては、本発明を添付図面に示す特定の実施形態により詳細に説明した。しかしながら、本願における特定実施形態の説明は本発明を本願で開示した特定の形態に限定しようとするためのものではなく、むしろ、本発明は、特許請求の範囲に記載するところにより定まる発明の精神及び範囲内においてそれらの修正態様、等価態様及び変更態様を全ての包括するものと見なすべきである。
【図面の簡単な説明】
【図１】  従来技術のテレビ会議ステーションの側面図である。
【図２】  本発明に基づくコンピュータ・ベースの画像撮影システムで視線方向画像撮影を行う方法を図解したフローチャートである。
【図３】  本発明の改善されたテレビ会議システムの基本的な機能的構成要素を図解したブロック図である。
【図４】  本発明に基づく一対の並んだ関係にあるビデオカメラの各々について視野を図解した立面図である。
【図５】  従来技術のテレビ会議システムで使用されるようなビデオカメラの視野を図解した立面図である。
【図６】  本発明に基づき形成された合成ビデオ画像を視差歪みを除去するために第１の状態から第２の状態に引き伸ばすことができる方法を図解した正面図である。
【図７】  本発明の第１の実施形態のテレビ会議ステーションを示す斜視図である。
【図８】  本発明の第２の実施形態のテレビ会議ステーションを示す斜視図である。
【図９】  図８に示すテレビ会議ステーションの側面図である。
【図１０】  本発明の第３の実施形態のテレビ会議ステーションを示す斜視図である。
【図１１】  本発明の第４の実施形態のテレビ会議ステーションを示す斜視図である。
【図１２】  図１１に示すテレビ会議ステーションの上面図である。
【図１３】  本発明の第５の実施形態のテレビ会議ステーションを示す斜視図である。
【図 １４】  本発明の第６の実施形態のテレビ会議ステーションを示す斜視図である。
【図１】
0004057241.tif 000002
【図２】
0004057241.tif 000003
【図３】
0004057241.tif 000004
【図４】
0004057241.tif 000005
【図５】
0004057241.tif 000006
【図６】
0004057241.tif 000007
【図７】
0004057241.tif 000008
【図８】
0004057241.tif 000009
【図９】
0004057241.tif 000010
【図１０】
0004057241.tif 000011
【図１１】
0004057241.tif 000012
【図１２】
0004057241.tif 000013
【図１３】
0004057241.tif 000014
【図１４】
0004057241.tif 000015