(57)【特許請求の範囲】
【請求項１】
カメラアレイにより同期的に捕捉される重複領域を有する１組の画像の前記重複領域から、共通の位置合わせ点を有する四辺形の領域を１組のパッチとして複数組のパッチを識別するステップと、
パッチ毎に同一の変換パラメータが適用された変換式により同一の組の各パッチの各画素を合成画像の共通座標系の同一の対応位置へワープさせるステップを含む、カメラアレイの画像制御方法。
【請求項２】
前記変換式が双一次変換、放射(radial)変換、透視変換、及びアフィン変換のうちの少なくとも１つである、請求項１に記載のカメラアレイの画像制御方法。
【請求項３】
前記合成画像の同一の対応位置へ変換された同一の組のパッチをクロスフェーディングするステップを更に含む、請求項１に記載のカメラアレイの画像制御方法。
【請求項４】
前記ワープさせるステップが、それぞれのパッチの画素を各パッチの座標系から前記共通の座標系へ変換するために、各パッチの変形を行う、請求項１に記載のカメラアレイの画像制御方法。
【請求項５】
前記ワープさせるステップが、各パッチに所定の双一次変換行列を適用することを含み、前記所定の双一次変換行列が、各パッチを前記共通座標系へ変換するのに必要なワープの量を表している、請求項１に記載のカメラアレイの画像制御方法。
【請求項６】
前記クロスフェーディングするステップが、
第１のパッチの各画素のパラメータを、前記第１のパッチの第１の境界における最小値から、前記第１のパッチの反対側の境界における最大値へ変更するステップと、
第２のパッチの各画素の前記パラメータを、前記第１の境界に対応する前記第２のパッチの境界における前記最大値から、前記反対側の境界に対応する前記第２のパッチの境界における前記最小値へ変更するステップと、
前記第１のパッチと前記第２のパッチの各々の対応する画素値をそれぞれ合計するステップと、
合計値を前記共通座標系の対応する位置に置くステップと、を含む、請求項３に記載のカメラアレイの画像制御方法。
【請求項７】
前記パラメータが明度、明暗、及び強度のうちの少なくとも１つである、請求項６に記載のカメラアレイの画像制御方法。
【請求項８】
前記ワープさせるステップを、前記カメラアレイで同期的に捕捉された各組の画像毎に反復するステップを更に含み、各組の画像が前記カメラアレイにより捕捉される場面のビデオストリームにおける１つのフレームを表している、請求項１に記載のカメラアレイの画像制御方法。
【請求項９】
対象となる領域を合成画像から選択するステップと、選択した対象となる領域をユーザに出力するステップと、を更に含む、請求項１に記載のカメラアレイの画像制御方法。
【請求項１０】
前記出力するステップが、ワープされ合成された画像から、前記対象となる領域を表示するステップを含む、請求項９に記載のカメラアレイの画像制御方法。
【請求項１１】
前記選択するステップが、前記カメラアレイにより捕捉される場面において検出された動作位置、前記場面中で検出された音声源位置、及び前記場面において検出された被写体の位置のうち少なくとも１つの位置を含む領域を、前記対象となる領域として選択する請求項９に記載のカメラアレイの画像制御方法。
【請求項１２】
前記選択するステップが、前記合成画像から動作を検出するステップと、前記動作に基づいてバーチャル・カメラの視野を方向付けるステップと、を含む、請求項９に記載のカメラアレイの画像制御方法。
【請求項１３】
前記被写体の範囲を立体的に計算することにより、前記合成画像において被写体の範囲測定を行うステップ、
を更に含み、
前記方向付けるステップが、前記バーチャル・カメラの視野を、検出された動作及び前記被写体の範囲に基づいて方向付けることを含む、
請求項１２に記載のカメラアレイの画像制御方法。
【請求項１４】
１組の方向性のあるマイクロホンからの音声入力を検索するステップと、
前記合成画像内で前記音声入力の方向を決定するステップと、
を更に含み、
前記方向付けるステップが、前記バーチャル・カメラの視野を、前記動作、前記被写体の範囲、及び前記音声入力の方向のうち少なくとも１つに基づいて方向付けることを含む、請求項１２に記載のカメラアレイの画像制御方法。
【請求項１５】
アレイに取り付けられた１組のカメラと、
前記１組のカメラで捕捉された重複領域を有する少なくとも２つの画像の前記重複領域から、共通の位置合わせ点を有する四辺形の領域を１組のパッチとして複数組のパッチを識別し、パッチ毎に同一の変換パラメータが適用された変換式により同一の組の各パッチの各画素を合成画像の共通座標系の同一の対応位置へワープさせて１つの合成画像へ結合するよう構成された画像結合機構と、
合成画像から視野を選択するよう構成された視野選択デバイスと、
選択された視野を表示するよう構成された出力機構と、
を含む、カメラアレイ。
【請求項１６】
前記画像結合機構が、
前記合成画像において、同一の位置を有するパッチをフェード(fading)及び結合するよう構成されたフェードデバイス、を更に含む、
請求項１５に記載のカメラアレイ。
【請求項１７】
更に、前記画像結合機構によって結合された合成画像内からフレームを選択するフレーム選択デバイスを有し、
前記フレーム選択デバイスが、
合成画像において動作を検出するよう構成されたビデオ動作検出装置、
前記合成画像中に生じる音声の位置を決定するよう構成された音声検出装置、
前記合成画像における被写体の範囲を決定するために、前記カメラアレイの別々のカメラからの少なくとも２つの画像を利用するよう構成された立体範囲測定機構、
のうちの少なくとも１つと、
前記立体範囲測定機構からの範囲測定データ、前記音声検出デバイスからの位置データ、及び前記ビデオ動作検出装置により検出された動作、のうちの少なくとも１つに基づいて、前記選択されたフレームに含めるために、被写体の顔、形状、色及び動作の何れをも自動的に検出するよう構成された検出機構と、を含む、
請求項１５に記載のカメラアレイ。
【請求項１８】
前記カメラアレイが、堅い基体に固定されて取り付けられ、
前記画像結合機構が、前記パッチの各々に対し所定の変形を施す、
請求項１５に記載のカメラアレイ。
【請求項１９】
各カメラの視野と前記合成画像の視野に共通する位置合わせ点を発見することにより、前記カメラアレイの各々を整合するよう構成された位置合わせ機構を更に含む、請求項１５に記載のカメラアレイ。
【請求項２０】
前記位置合わせ機構が、
各カメラの視野内の種々の位置に方向付けることのできる位置合わせ点源と、
前記位置合わせ点源を検出し、前記各カメラ視野において検出された位置合わせ点源を、前記合成画像の座標系に対し整合するよう構成された検出機構と、を含む、
請求項１９に記載のカメラアレイ。
【請求項２１】
前記位置合わせ点源が、前記カメラアレイの視野に向けられた光源、及び前記カメラアレイの視野に配置されたグリッドのうちの少なくとも１つである、請求項１９に記載のカメラアレイ。
【請求項２２】
前記位置合わせ機構は、前記カメラアレイの少なくとも２つのカメラの視野に、少なくとも１つの位置合わせ点を配置し、前記カメラアレイの各カメラの視野において各位置合わせ点の位置を識別して、画像が前記位置合わせ点に関して結合されるよう、各カメラに対し、各位置合わせ点に関する情報を維持する、請求項１９に記載のカメラアレイ。
【請求項２３】
前記位置合わせ点を、ビーム光源から出射されて前記カメラアレイの少なくとも２つのカメラの視野に配置された可視又は赤外線レーザスポットとする、請求項２２に記載のカメラアレイ。
【請求項２４】
前記位置合わせ点を、前記アレイの少なくとも２つのカメラの視野に配置されたグリッドとする、請求項２２に記載のカメラアレイ。
【請求項２５】
前記位置合わせ機構は、前記カメラの画素を配置するために、ワープされた座標系を算出し、前記カメラの画素、フェードの量、及びワープされた座標系における対応する位置を識別するテーブルを維持する、請求項２２に記載のカメラアレイ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオシステム及び多重デジタル画像の合成に関する。より詳しくは、本発明は、カメラアレイの個々のカメラにより捕捉された各多重デジタル画像を合成すること、及び画素の重複又は不一致を回避しつつ、画像を結合し、１つの画像を形成するよう、画像の少なくとも一部分をワープする方法に関する。更に、本発明は、多重カメラの位置合わせに関し、又、１つの画像を形成するために、多重カメラからの複数の画像を高速ワーピングし、合計することを可能とする、変形用の式の決定に関する。特に、本発明は、多重カメラアレイで捕捉された場面のデジタル・パンニング及びズーミング、並びに個々に制御されるカメラ又はカメラアレイのパン及びズームの自動制御に関する。
【０００２】
【従来の技術】
一般的に、遠隔にある、或いは近くに配置されるカメラは、カメラ制御のためのデバイスを備えている。これらのデバイスとしてはステッピングモータ、或いはカメラ又は画像捕捉デバイスを場面又は対象となるポイントに向けるよう構成された他の機構が挙げられる。例えば、遠隔会議の用途、監視カメラ、保安カメラ、動作、光又は他の刺激により起動される遠隔制御カメラ、ロボットなどに搭載された遠隔感知カメラ（宇宙開発、深海潜水、及び通常のカメラ操作では危険な或いは接近し難い領域又は場面（原子炉の核の内部、パイプ内部、警察自動車及び法執行ロボットなど）の感知のために用いられるものなど）である。
【０００３】
通常、カメラは現場で人間の操作者が手動で操作するか、或いは操作用の入力（例えばジョイ・スティックやマウスによる）を介して遠隔操作される。遠隔操作によるカメラの場合、操作用入力は通常、ステッピングモータ又は他の制御デバイスに、カメラを被写体、物品及び対象となる領域に向けるためのコマンドを送る、制御プログラムを起動させる。現場で或いは遠隔的にカメラの全般的なズーム機能を起動することもできる。
【０００４】
遠隔会議の用途（会合や講義など）では、通常機械的ティルト・パン、焦点距離及びズーム性能を備えた可変角度カメラが用いられる。このようなデバイスでは、通常人間の操作者がビデオ又は映画撮影カメラの方向付け、ズーム及び焦点合わせを行うことが必要である。場合によっては、会議参加者が、会議室内の選択した領域をズーム・インし或いは焦点合わせをするよう構成された特定のカメラを起動したり、カメラに合図を送ることが必要となる。
【０００５】
多重カメラは非常に多くの用途に利用されてきた。例えば、Braunらの米国特許第５，１８７，５７１号「TELEVISION SYSTEM FOR DISPLAYING MULTIPLE VIEWS OF A REMOTE LOCATION」では、集約的視野を形成するよう配列されたＮＴＳＣカメラアレイが開示され、またHenleyの米国特許第５，６５７，０７３号「SEAMLESS MULTICAMERA PANORAMIC IMAGING WITH DISTORTION CORRECTION AND A SELECTABLE FIELD OF VIEW」では、パノラマ式/全球状の出力画像を生成するためのシステムが開示されている。
【０００６】
多重又は操作可能なカメラの用途としては、通常カメラを発言者に向け、この映像を他の会議参加者に対し表示する、遠隔会議システムが挙げられる。（１つ又は複数の）カメラの方向付けは手動で行ってもよいが、操作方向を決定するための追跡機構を利用することもできる。公知の追跡機構としては、Wangらの「A HYBRID REAL-TIME FACE TRACKING SYSTEM」(ＩＣＡＳＳＰ Proceedings '98）、及びChuの「SUPERDIRECTIVE MICROPHONE ARRAY FOR A SET-TOP VIDEOCONFERENCING SYSTEM」(ＩＣＡＳＳＰ Proceedings '97）に開示されるものが挙げられる。
【０００７】
【発明が解決しようとする課題】
しかしながら、技術上の課題及びコストの問題により、上記のシステムは普及するに至っていない。
【０００８】
多重画像の統合を試みるシステムは、ユーザの需要及び目的を満たすに至っていない。例えば、McCutchenの米国特許第５，７０３，６０４号「IMMERSIVE DODECAHEDRAL VIDEO VIEWING SYSTEM」は、完全な球状の視野を確保するために十二面体状に配列されたビデオカメラのアレイを開示している。画像は半球形又は球形のドーム上の多重プロジェクタを用いて、受信端において合成される。しかしながら、McCutchenの説くアプローチは、多重画像の完全な位置合わせが得られず、明らかな「継目」が発生することから、画像境界において課題を残すであろう。
【０００９】
別の例として、Henleyらの米国特許第５，６５７，０７３号「SEAMLESS MULTI-CAMERA PANORAMIC IMAGING WITH DISTORTION CORRECTION AND SELECTABLE FIELD OF VIEW」は、放射状に配列されたカメラからの画像を組み合わせることを説く。しかしながら、Henleyは放射状配列以外のカメラについては言及しておらず、また画像の合成方法について詳述していない。
【００１０】
【課題を解決するための手段】
本発明人らは、画像及びビデオによる場面捕捉のための、場面内のあらゆる選択領域へのズーム及びパンが可能な固定カメラアレイを含む、カメラアレイの利用を実現した。概説すれば、本発明は、ある場面の複数の部分からなる連続画像の捕捉においてカメラアレイを利用する。各画像は少なくともワープ及びフェード技術を用いて結合され、その場面の継目のない１つの画像となる。次いで、場面の選択領域をズーム・インし、或いはその領域にパンすることで、継目のない画像の一部が捕捉され、これがユーザに呈示される。
【００１１】
一実施形態において、画像は広視野センサを形成する安価なビデオカメラのアレイより結合される。広視野センサは対象となる人物又は領域の位置決定（遠隔会議の目的のためにそれらを撮像するなど）のために用いられる。形状、動作、色、及び/又は音声的手掛りを追跡することにより、カメラにより捕捉されている室内又は場面における、対象となる人物又は他の物品の位置が推定できる。
【００１２】
本発明人らは、製造コストを抑え、又カメラアレイからの個々の画像を結合する際に要する速度及び計算を改良することで計算処理上のコストを抑えることにより、本発明を経済的なものとすることを目指した。主たる実施形態では、カメラアレイはデジタルカメラアレイであり、各カメラの位置は固定されている。各カメラは、画像結合の際に用いる処理装置が各画像の重複部分を認識することができるように位置合わせされており、或いは、各カメラは、各々により捕捉される場面が１つの画像又は場面へ正確に結合されるように捕捉される、場面における同一の点を有する。
【００１３】
捕捉された各画像は、２台もしくはそれ以上のカメラで捕捉された場面の同一の点が、捕捉されている場面に従って適切に位置決めされた１点又は点の集合となるよう結合されるようにワープされる。次いで混合するための技術を各々の画像のエッジに適用し、結合される画像間のあらゆる明るさやコントラストの差異を除去する。
【００１４】
場面が結合されて１つの画像になると、この１つの画像のある部分がパン又はズームのために選択される。次いで出力又は表示により、ユーザ又は他のデバイス（例えば、遠隔位置への伝送のため）に画像が提供される。
【００１５】
更に、本発明人らは、パン、ズーム、又は他の撮像技術を通じて表示される画像の自動選択を行うことで、本発明をより価値あるものとした。例えば、ある実施形態では、場面において活動が起こっている方向を決定する際に、方向性のあるマイクロホンを用いることができ、カメラアレイは場面のその部分へ自動的にパンされる。別の実施形態では、動作検知装置を用いて動作を決定し、カメラアレイのパンニング操作をその方向に向ける。
【００１６】
なお、ここでカメラアレイのパンは通常の意味でのカメラのパンとは異なり、パンされた画像は幾つかのカメラから合成された１つの場面の画像から選択されるものであることに留意されたい。
【００１７】
操作可能なカメラを用いる従来の技術とは異なり、本発明は、適切に構成されれば、被写体は常にカメラアレイの視野内にある。デジタル式に結合されるアレイカメラ画像より、継目のない、高解像度の画像が生成され、又、カメラアレイの視野の領域を電子的に選択することで、高速で操作できる「バーチャル・カメラ」が生み出される。
【００１８】
新しいＣＭＯＳカメラチップは、普及している現行のＣＣＤカメラチップに比べ、より優れており、又、より安価である。形状、動作及び/又は色彩的手掛りを追跡することにより、室内における被写体の位置が決定できる。操作可能なカメラを用いた従来技術の追跡システムとは異なり、被写体は常に視野内にあり、「見失う」ことはあり得ない。カメラアレイは、一般的な操作可能なカメラを制御するためのセンサとして用いることができる。又、隣接するカメラからのビデオ画像は、継目のないパノラマビデオ画像となるべくデジタル的に合成される。これは、「バーチャル・カメラ」を電子的にパン及びズームするために用いることができる。
【００１９】
機械制御されるカメラには、ズームやパンの速度が有限であるなど物理的制限があるが、バーチャル・カメラは物理的動作を伴わずに電子制御されため、このような物理的制限を受けない。バーチャル・カメラの更なる利点は、異なるユーザが同一場面の異なる領域を見ることができるように、複数の画像を抜粋することができる点にある。これは従来のカメラでは不可能であった。
【００２０】
画像はデジタル領域において合成されるため、これらを更なる処理及び検出に利用することができる。このことは、従来技術のアナログ的アプローチでは不可能であった。このシステムでは、動作又は人物の画像を検出することにより適切なカメラ視野が自動的に決定される。従って、このシステムは、実カメラ又はバーチャル・カメラを最も可能性の高い被写体に向けることにより、自動的なカメラオペレータとして機能する。例えば、遠隔会議において、発言人を捕捉するよう、カメラを自動的に方向付けることが可能である。講演に使用する場合、カメラは講演者の位置と、及び新しいスライド又は他の視覚的材料が表示されたときにはそれの両方を自動的に検出することができる。即ち、新しいスライドが表示されると、バーチャル・カメラはスライド全体を視野に入れるよう操作されることができる。又講演者が移動したりジェスチャーを用いたときは、バーチャル・カメラはこれをズーム・インし、より接近したショットを得る。又、遠隔の視聴者がそれぞれのバーチャル・カメラを制御することも可能である。即ち、例えば、映写されているスライド上のある特徴又は画像に興味を覚えた人が、他の人々がスライド全体を見ている一方で、その特徴にズーム・インすることができる。
【００２１】
本発明は、多重センサで捕捉された動作及び音声により決定される、興味のある領域へバーチャル・カメラを方向付ける方法を含む。更に、本発明はパノラマビデオ画像の実時間記録及び再生のための方法、任意のセンサアレイ形状、及び多重カメラの較正方法を含む。又、本発明は上記の各々の処理を実行することができ、又動作分析を利用してパノラマビデオ画像から自動的な画像選択を行うことのできるソフトウェア及び/又はデバイス；音声源の位置を利用する自動的な画像選択；音声と動作分析とを組み合わせて行う自動的な画像選択；表情又は人物の追跡システムにより強化される上記各特徴；パノラマビデオの実時間記録及び再生のためのシステム；平面状及び線形のものを含む、任意のカメラアレイ構成；及び相互に固定された多重カメラの較正方法を含む。
【００２２】
又、本発明人らは上述のカメラアレイを、機械的にパンされ又は方向付けられる（カメラの捕捉レンズ（optics）を、被写体或いはパン又は向けられる領域へ方向付ける）カメラと組み合わせて利用することを実現した。例えば、カメラアレイは機械的に操作されるカメラが方向付けられる方向を決定してもよい。
【００２３】
本発明は、１つのカメラアレイから同時に捕捉された１組の画像を、合成画像の共通座標系へワープさせるステップを含むカメラアレイの画像制御方法において実現されてもよい。
【００２４】
本発明は、アレイに取り付けられた１組のカメラ；前記１組のカメラにより捕捉された少なくとも２つの画像を１つの合成画像へ結合するよう構成された画像結合機構；合成画像から視野を選択するよう構成された視野選択デバイス；及び選択された視野を表示するよう構成された出力機構；を含むデバイス又はカメラアレイとして具体化されてもよい。
【００２５】
次に本発明の具体的な態様を以下に述べる。本発明の第１の態様は、カメラアレイにより同期的に捕捉された重複領域を有する１組の画像の前記重複領域から、共通の位置合わせ点を有する四辺形の領域を１組のパッチとして複数組のパッチを識別するステップと、パッチ毎に同一の変換パラメータが適用された変換式により同一の組の各パッチの各画素を合成画像の共通座標系の同一の対応位置へワープさせるステップを含む、カメラアレイの画像制御方法である。第２の態様は、第１の態様において、前記変換式が双一次変換、放射変換、透視変換、及びアフィン変換のうちの少なくとも１つである。第３の態様は、第１の態様において、前記合成画像の同一の対応位置へ変換された同一の組のパッチをクロスフェーディングするステップを更に含む。第４の態様は、第１の態様において、前記ワープさせるステップが、それぞれのパッチの画素を各パッチの座標系から前記共通の座標系へ変換するために、各パッチの変形を行う。第５の態様は、第１の態様において、前記ワープさせるステップが、各パッチに所定の双一次変換行列を適用することを含み、前記所定の双一次変換行列が、各パッチを前記共通座標系へ変換するのに必要なワープの量を表している。第６の態様は、第３の態様において、前記クロスフェーディングするステップが、第１のパッチの各画素のパラメータを、前記第１のパッチの第１の境界における最小値から、前記第１のパッチの反対側の境界における最大値へ変更するステップと、第２のパッチの各画素の前記パラメータを、前記第１の境界に対応する前記第２のパッチの境界における前記最大値から、前記反対側の境界に対応する前記第２のパッチの境界における前記最小値へ変更するステップと、前記第１のパッチと前記第２のパッチの各々の対応する画素値をそれぞれ合計するステップと、合計値を前記共通座標系の対応する位置に置くステップと、を含む。第７の態様は、第６の態様において、前記パラメータが明度、明暗、及び強度のうちの少なくとも１つである。第８の態様は、第１の態様において、前記ワープさせるステップを、前記カメラアレイで同期的に捕捉された各組の画像毎に反復するステップを更に含み、各組の画像が前記カメラアレイにより捕捉される場面のビデオストリームにおける１つのフレームを表している。第９の態様は、第１の態様において、対象となる領域を合成画像から選択するステップと、選択した対象となる領域をユーザに出力するステップと、を更に含む。第１０の態様は、第９の態様において、前記出力するステップが、ワープされ合成された画像から、前記対象となる領域を表示するステップを含む。第１１の態様は、第９の態様において、前記選択するステップが、、前記カメラアレイにより捕捉される場面において検出された動作位置、前記場面中で検出された音声源位置、及び前記場面において検出された被写体の位置のうち少なくとも１つの位置を含む領域を前記対象となる領域として選択する。第１２の態様は、第９の態様において、前記選択するステップが、前記合成画像から動作を検出するステップと、前記動作に基づいて前記バーチャル・カメラの視野を方向付けるステップと、を含む。第１３の態様は、第１２の態様において、前記被写体の範囲を立体的に計算することにより、前記合成画像において被写体の範囲測定を行うステップ、を更に含み、前記方向付けるステップが、前記バーチャル・カメラの視野を、検出された動作及び前記被写体の範囲に基づいて方向付けることを含む。第１４の態様は、第１２の態様において、１組の方向性のあるマイクロホンからの音声入力を検索するステップと、前記合成画像内で前記音声入力の方向を決定するステップと、を更に含み、前記方向付けるステップが、前記バーチャル・カメラの視野を、前記動作、前記被写体の範囲、及び前記音声入力の方向のうち少なくとも１つに基づいて方向付けることを含む。第１５の態様は、アレイに取り付けられた１組のカメラと、前記１組のカメラで捕捉された重複領域を有する少なくとも２つの画像の前記重複領域から、共通の位置合わせ点を有する四辺形の領域を１組のパッチとして複数組のパッチを識別し、パッチ毎に同一の変換パラメータが適用された変換式により同一の組の各パッチの各画素を合成画像の共通座標系の同一の対応位置へワープさせて１つの合成画像へ結合するよう構成された画像結合機構と、合成画像から視野を選択するよう構成された視野選択デバイスと、選択された視野を表示するよう構成された出力機構と、を含む、カメラアレイである。第１６の態様は、第１５の態様において、前記画像結合機構が、前記合成画像において、同一の位置を有するパッチをフェード及び結合するよう構成されたフェードデバイス、を更に含む。第１７の態様は、第１５の態様において、更に、前記画像結合機構によって結合された合成画像内からフレームを選択するフレーム選択デバイスを有し、前記フレーム選択デバイスが、合成画像において動作を検出するよう構成されたビデオ動作検出装置、前記合成画像中に生じる音声の位置を決定するよう構成された音声検出装置、前記合成画像における被写体の範囲を決定するために、前記カメラアレイの別々のカメラからの少なくとも２つの画像を利用するよう構成された立体範囲測定機構、のうちの少なくとも１つと、前記立体範囲測定機構からの範囲測定データ、前記音声検出デバイスからの位置データ、及び前記ビデオ動作検出装置により検出された動作、のうちの少なくとも１つに基づいて、前記選択されたフレームに含めるために、被写体の顔、形状、色及び動作の何れをも自動的に検出するよう構成された検出機構と、を含む。第１８の態様は、第１５の態様において、前記カメラアレイが、堅い基体に固定されて取り付けられ、前記ワープデバイスが前記パッチの各々に対し所定の変形を施す。第１９の態様は、第１５の態様において、各カメラの視野と前記合成画像の視野に共通する位置合わせ点を発見することにより、前記カメラアレイの各々を整合するよう構成された位置合わせ機構を更に含む。第２０の態様は、第１９の態様において、前記位置合わせ機構が、各カメラの視野内の種々の位置に方向付けることのできる位置合わせ点源と、前記位置合わせ点源を検出し、前記各カメラ視野において検出された位置合わせ点源を、前記合成画像の座標系に対し整合するよう構成された検出機構と、を含む。第２１の態様は、第１９の態様において、前記位置合わせ点源が、前記カメラアレイの視野に向けられた光源、及び前記カメラアレイの視野に配置されたグリッドのうちの少なくとも１つである。第２２の態様は、第１９の態様において、前記位置合わせ機構は、前記カメラアレイの少なくとも２つのカメラの視野に、少なくとも１つの位置合わせ点を配置し、前記カメラアレイの各カメラの視野において各位置合わせ点の位置をして、画像が前記位置合わせ点に関して結合されるよう、各カメラに対し、各位置合わせ点に関する情報を維持する。第２３の態様は、第２２の態様において、前記位置合わせ点を、ビーム光源から出射されて前記カメラアレイの少なくとも２つのカメラの視野に配置された可視又は赤外線レーザスポットとする。第２４の態様は、第２２の態様において、前記位置合わせ点を、前記アレイの少なくとも２つのカメラの視野に配置されたグリッドとする。第２５の態様は、第２２の態様において、前記位置合わせ機構は、前記カメラの画素を配置するために、ワープされた座標系を算出し、前記カメラの画素、フェードの量、及びワープされた座標系における対応する位置を識別するテーブルを維持する。
【００２６】
【発明の実施の形態】
本発明のより完全なる理解及び本発明に付随する多くの利点は、以下の詳細な説明と添付の図面とを参照することにより、容易に得られるであろう。
ここで図面を参照する。類似の参照番号は同一又は相当部品を示すものとする。図１を参照すると、本発明に従ったビデオカメラの円状アレイの一例が図示されている。図１では、多重カメラ１０が、各カメラの視野が隣接するカメラの視野と重複或いは当接するように、堅い基体２０に取り付けられている。得られた画像はデジタルワーピングを用いて位置合わせされ、大きい合成画像となるよう結合される。この結果、全てのカメラの視野にまたがる、継目のない、高解像度のビデオ画像が得られる。カメラが相互に固定された位置に取り付けられているならば、種々のカメラ間の画像の位置合わせも固定的なものとなり、各フレーム毎に同一の合成機能を適用することが可能となる。従って、補間パラメータは一度計算すればよく、実際の画像合成は迅速に能率よく行うことができ、又ビデオレートでも行うことが可能である。
【００２７】
カメラ構成は図１の態様に限られるものではない。例えば、図２（Ａ）は堅い平面状の基体３０に取り付けられたカメラ１２の平面状アレイを示し、又図２（Ｂ）は各々が堅い基体４０に取り付けられたカメラ１４の直線状アレイを示している。カメラは種々の方向に位置合わせすることが可能である。例えば図２（Ａ）では、各カメラはほぼ同じ方向に向けて位置合わせされている（上述のように、視野は重複している）が、図２（Ｂ）ではより多様な位置合わせがなされている（この例でも、ほぼ重複及び当接する領域がある）。
【００２８】
テレビ会議など多くの用途において、フルモーション、超解像度の画像を伝送することは必要でもなく、又可能なことでもない。本発明は、画像内での動作、音声源の位置又は顔の位置などの手段により、通常の解像度の画像を抜粋する方法を提案する。しかしながら、多重カメラと同一場面の複数の画像とが考えられているため、超解像度処理（同一場面の多重画像から、高い解像度、即ちより多くの画素を得る）を適用してもよい。図２に示すように、多重画像が重ね合わされている場合、大きい合成画像から１つのフレームを抜粋することにより、任意のノーマルサイズのサブ画像を選択することができる。
【００２９】
図３は３つのカメラの視野、即ちカメラ１の視野２１０、カメラ２の視野２２０、及びカメラ３の視野２３０を図示する。会議の参加者２００と、参照用参加者フレーム（対象となる領域２４０）とは、カメラ１の視野２１０及びカメラ２の視野２２０の各々による当接状態或いは当接に近い状態の画像である。当接領域は１つのパノラマ画像へ結合され、この中から対象となる領域２４０（参加者２００を含む領域）が選択される。更にカメラ３の視野２３０を上記１つのパノラマ画像へ結合することも可能である。或いは、カメラ３の視野２３０は対象となる領域２４０を含んでいないため、これを削除することもできる。こうして、選択された結合画像２５０（対象となる領域２４０を表す）が得られる。
【００３０】
本発明では、あらゆる所望のサブ画像を選択することが可能であるため、選択領域の変更が「バーチャル・カメラ」の操作に相当する。カメラアレイは、各アレイ要素が小さい領域に「ズーム・イン」されるよう、長焦点距離カメラで構成することもできる。これら多くのズーム・イン画像の結合、及び解像度の低減は、ズーム・アウトに相当する。従って、固定されたカメラのアレイを用いることで、一般的なカメラの全てのパラメータ、即ちパン（パノラマ画像の異なる領域の選択）、ズーム（画像の結合或いは削除、及び解像度の変更）、及びチルト（例えば、特定の写角を与えられたカメラ、即ち上下の角度を付けたカメラからの画像の選択）を、能率よく再現することができる。
【００３１】
機械操作によるカメラでは、有限旋回速度がモータ速度及び慣性により制限を受けるが、これとは異なり、バーチャル・カメラはカメラアレイの視野の何れの位置へも瞬時にパンされることができる。多重バーチャル・カメラを同一のアレイから同時に引き出すことができるため、多数のユーザが種々の領域を同時に見ることができる。この特徴は、例えば各ユーザが「個別バーチャル・カメラ」を制御することのできる、スポーツイベントなどの遠隔観戦(telepresence)の用途で特に有用となろう。
【００３２】
例として、本発明の一実施形態を図４に示す。
【００３３】
カメラアレイ２６０が、例えばスポーツイベント２６２に向けられている。カメラからのビデオストリームをパック、圧縮し、放送ステーション２６４での放送に備え、次いでケーブル、インターネット、空中波（例えば、放送塔２６６）又は他の放送メディア及びモードを通じて放送される。受信側では、受信デバイス（例えば、アンテナ２８０）が放送信号を受信し、ユーザステーション２８２が、１つのパノラマ的視野を形成するよう放送信号中の画像を結合する。ユーザ（図示せず）は、制御デバイス２８４を介して所望の視野を選択し、これにより例えば表示２８６が表示される。
【００３４】
放送帯域幅を節約するため、制御デバイス２８４からの信号は発信源（ここでは、放送ステーション２６４）へ戻るようにすることもできる。これにより、表示２８６の生成に必要な特定のビデオストリームのみを識別できる。別の実施形態では、表示２８６全体を発信源において合成し、表示２８６のみをユーザに対して放送する。特定の構成は、放送帯域幅の使用可能度、及び放送ステーション２６４とユーザステーション２８２の各々の使用可能な処理能力に基づいて選択される。当業者には理解されるように、本明細書中の説明と矛盾することなく、任意の数の結合又は変更を本発明に加えることは可能である。
【００３５】
カメラアレイの配置としては、放射状（円状）（図１及び図５に示すものなど）、直線状、平面状（図２（Ａ）、図２（Ｂ）、図６及び図７に示すものなど）、室内の壁を覆うもの、或いはテーブルやその他の物体に取り付けるものなど、あらゆる配置が可能である。カメラアレイの各カメラの位置及び写角はカメラ間で相互に固定されている。従って、再較正（再位置合わせ）又は個々の画像を１つのパノラマ場面へ変換するための行列式の再計算を行うことなく、カメラアレイ全体を移動させることができる。
【００３６】
カメラは通常は台又は他の基体上に固定されているが、相互に移動可能なカメラを備え、又移動後カメラアレイ中の各カメラの再位置合わせを行う位置合わせ工程を利用するカメラアレイを備えることは本発明と矛盾しない。更に、追加カメラ又は補助カメラをアレイに取り付け又は含有させる機構、及び再度の位置合わせ工程は、アレイに追加された任意のカメラに本明細書中で説明される迅速なワープ及び変換技術を適用することができる。
【００３７】
ここで図５を参照する。カメラの放射状アレイはテレビ会議での使用に適している。放射状アレイは３６０度の視野を有し、会議のテーブルの中心（図５では“Ｂ”で表す）などの固定点にその中心を置いている。埋め込み式又は他の用途（以下に記述する）にも同様のアレイが有用である。図５の“Ｂ”に置かれたアレイはテーブルに着座しているような印象を与える。
【００３８】
他の埋め込み式用途のために、同様のアレイを可動台に取り付けることも可能である。カメラ動作を攪乱することなく瞬時にパンすることができる点は、現行の埋め込み式システムに対する改良点である。例えば、警察ロボット工学などの他の用途では、偵察目的で不良環境に進入する際に、機械化カメラが必要である。デバイスは機動化され、又ビデオカメラ、遠隔パン手段、及びマイクロホンを備え、不良環境へ進入する。脅威が検出されると、カメラはその脅威を調査するためにその方向にパンするが、デバイスはパン及びズームの時間的パラメータにより制限を受ける。これに代えて、本発明に従った、同一のロボットデバイスに取り付けられた放射状アレイは、脅威を評価するために即座にパンすることができ、カメラの多重の重複を有し、以下に詳述するように、マイクロホンや動作検出によりそれ自体で脅威の位置を突き止めることができる。
【００３９】
カメラアレイは、任意の所望の配置で構成することができ、又好都合な位置に配置することができる。二次元カメラアレイは、パンニングと同様、電子的ズーミングをも容易にするよう構成することができる。例えば、アレイの第一の次元は会議室又は場面の全景を網羅し、即ち全景に向けられ、他方、第二の次元は場面中の対象となる特定点に向けられたカメラを有する（図２（Ｂ）に例を示す）。カメラアレイの配置例としては、テーブルの縁、一定角度にて天井、或いは室内の１つ又は複数の壁全体を視野に入れるように配置するものがある。自動切替や電子的パンニングにより、室内のあらゆる事象の適切な画像が確保され、カメラの視野から場面の一部が外れることはない。
【００４０】
図６（Ａ）は、平面状に配置されたカメラ４００を有する他の用途を示す。各カメラ４００は当接する領域４１０の特定の１つに向けられており、ユーザは、複数のカメラの任意の組み合わせにより網羅される、任意の視野を選択することができる。これにより、優れたズーム範囲に加え上下のパンが可能となる。
【００４１】
図６（Ｂ）は、他のカメラの視野と当接し或いは重複した特定領域に向けられたカメラ４２０（それぞれＡ、Ｂ及びＣ）を備える別の構成を示す。この場合、特定のカメラの視野は場面内の特定の対象領域に向けられている（この結果、例えば図７に示す視野Ａ、Ｂ及びＣが得られる）。図６（Ｂ）及び図７の構成は、適切なカメラ操作であるズーム及びパンを行って発言者を追跡し、表示スクリーンにズーム・インし、又視聴者が質問又は反応する場合ズーム・アウトしてこれを捉える、講演や会議室での用途に適している。
【００４２】
従来技術では、課題であるカメラアレイの技術上の制約を十分解決してこなかった。重要な課題を幾つか提示する必要があろう。即ち、継目のない合成画像を形成するために多重ビデオストリームを結合する点、アレイカメラを較正する点、及び合成高解像度ビデオの高速なデータ転送レートを処理する点である。
【００４３】
フレーム合成
隣接フレームの端部の接合は、パノラマ画像又は結合画像を形成するために個別の画像を結合する方法又は方法の組み合わせにより達成される。ある実施形態では、四辺形領域の空間的変形（ワープ）を用いる。これは、多重画像への普遍性を損ねることなく、２つの画像を組み合わせ、１つの大きい画像とする技術である。まず、多数の画像位置合わせ点を決定する。画像位置合わせ点とは、各サブ画像において既知の位置に結像される固定点をいう。この決定は手動或いは自動の何れによっても可能である。何れの場合においても、この工程はアレイを既知の、構造場面に方向付け、対応点を見出すことを含む。例えば、図８（Ａ）は矩形のボックス５００を含む場面に向けられた２つのカメラの視野を図示している。矩形のボックス５００は視野１と視野２（視野１及び視野２はそれぞれ２つのカメラの何れか１つにより捕捉されたおおよその視野に対応する）間の重複領域にある。従って、矩形のボックス５００の各々の点は、画像位置合わせ点（カメラアレイの２つ又はそれ以上のカメラの各々の視野に共通の点）であるということができる。
【００４４】
図８（Ｂ）は、矩形ボックス５００が、図８（Ａ）の視野１及び視野２に対応する２つのカメラの実フレーム（当接するフレーム、即ちフレーム１及びフレーム２）において捕捉されたところを図示している。ボックスはフレーム１では四辺形の領域ＥＦＨＧ５１０であり、フレーム２ではＥ’Ｆ’Ｈ’Ｇ’５２０である。カメラ写角が微妙に異なるため、各々の四辺形領域は角構成が一致しない。従って、本発明は各四辺形領域をワープさせ、共通の座標系とすることにより、当接するフレームを突き合わせる。なお、四辺形領域ＥＦＨＧの辺は図では直線であるが、実際には樽や針山状に変形していてもよく、これらは後述する高速ワープのための式によりほぼ補正され得ることを記しておく。樽や針山状の変形は、（個々の線形変形ではなく）放射状変形により補正され得る。個々の線形変形は、曲線の近似を決定する。
【００４５】
或いは、他の画像の座標系へ適合させるのに、１つの画像のみをワープさせればよいものもある。例えば、四辺形領域ＥＦＨＧのワープは透視変換により行うこともできる。従って、フレーム１内の四辺形ＥＦＨＧは、フレーム２の座標系においてＥ’Ｆ’Ｈ’Ｇ’に変換されることができる。
【００４６】
別の実施形態では、個々の部分が隣接する四辺形領域の双一次ワーピング（変換）を用いる。図９を参照すると、多重画像（サブ画像ともいう）の普遍性を損ねることなく、１つの大きい画像を形成するために多重画像を組み合わせる方法の一例が示されている。まず、多数の画像位置合わせ点を決定する。画像位置合わせ点とは、各サブ画像において既知の位置に結像される固定点をいう。本実施形態では、既知の位置にある固定点は、カメラアレイの軸６１０と同軸で、且つ半径６２０がカメラのほぼ動作範囲（本実施形態では、約１メートル）である円筒６００からなる。ここではＦ絞りの小さい広角カメラを用いており、このため、約１メートル以上離れた全てのものに焦点を合わせた広い視野が得られる。
【００４７】
円筒（例えば、図の６４０）上の正方形のパッチは、１つ又はそれ以上のカメラにより四辺形領域として結像される。結像された四辺形領域は、例えば四辺形領域ＡＢＤＣのパッチ（ソースポリゴンともよぶ）として図１０に図示されている。画像合成段階において、各四辺形領域（ソースポリゴン、パッチ）はワープされて正方形に戻り、各正方形をグリッドとして当接させる（即ち、正方形、ワープされた四辺形領域を共通の座標系に置く）ことにより、最終パノラマ画像６５０（目標画像ともいう）が合成される。
【００４８】
双一次変換は四辺形領域をワープする際に用いられる（双一次ワーピング）。下記式（１）は同次の座標系ｕ，ｖを、ワープされた（正方形の）座標系ｘ，ｙに変換する。
【００４９】
【数１】
0004153146.tif 000002
【００５０】
式（１）は、基準点（座標系ｕ，ｖではＡＢＣＤ、座標系ｘ，ｙではＡ’Ｂ’Ｃ’Ｄ’）により与えられる連立方程式を解くことにより決定される、８つの未知係数を有する変換行列である。各座標系における４つの点は、８つの未知のパラメータを解くための８つのスカラ値を有する。より多くの対応点（対応点とは、四辺形領域（この例では、ＡＢＤＣ）を含む点をいう）がある場合、重複決定された式の集合が得られる。この式は、よりロバストな評価のための最小２乗（一般逆行列）法を用いることにより解くことができる。
【００５１】
上記のプロセスは各パッチ（即ち、１つ又はそれ以上のカメラで捕捉された各パッチ；画像の境界に沿った少なくとも２つのパッチの集合（結合されるべき各画像から１つのパッチ）；結合画像の境界に沿って決定される各パッチ）毎に反復され、式（１）（或いは、選択された領域に同じ機能を実行する等価式）を利用して、ワーピング係数の１つの集合（この例では、８つの係数）が各パッチ毎に算出される。これらは、合成画像における正方形の目標領域の位置と同様、ワーピング係数又は較正集合と呼ばれる。
【００５２】
ワープされた座標系ｘ，ｙにおける画素値を算出するため、上記式はｘ，ｙに関してｕ，ｖを解くことにより逆転される。これにより、「逆マッピング」と呼ばれるプロセスが実行され得る。ワープされた座標系における各画素毎に、ワープされていない座標系中の対応する画素が見出され、その値が再現される。
【００５３】
（例えば、式１の）係数はテーブル中に記憶され、画像を「迅速に」ワープする際に利用される。カメラは固定され、又位置合わせ（或いは較正、これについては後述する）されているので、同一のパッチに対して同一の式が何度も利用される（即ち、新しい対応又は位置合わせ点を見出す必要がなく、或いは係数を再計算する必要がない）。
【００５４】
ワーピングは不連続的なものではなく、連続関数であるため、逆マッピングは通常非整数のワープされていない座標を生じる。このため、画素値は双一次補間を用いて隣接画素値より補間される。このプロセスでは、４つの最も近い整数点の一次結合を利用し、補間値を得る。この用途では不可欠な透視ワーピングは極値ではないため、エイリアシングを低減するために更なる補間又はフィルタリングを行う必要はない。
【００５５】
他の実施形態では、パッチを捕捉画像（ｕ，ｖ座標系）から合成グリッド（ｘ，ｙ座標軸）へワープさせるために、別のタイプの空間変換を行う。合成グリッドにはめ込むために捕捉画像を変換する空間変換は、何れを用いても本発明と矛盾しない。例えば、アフィン変換や透視変換などが可能である。
【００５６】
位置合わせ点の検出について以下に述べる。本実施形態では、位置合わせは各カメラの画像を検査することにより手動で行われる。この作業は、一度行えばその後は自動的に行うことができるので、過大な負担ではない。
【００５７】
図１１は、較正点、及び未加工画像（カメラで撮像され、ワープや他の処理を施していない画像）におけるパッチの一例を示す。画像８１０、８２０、８３０及び８４０は、連続的に位置合わせされたカメラによりある場面で撮像された、当接する画像である。各画像はグリッド８１５、８２５、８３５及び８４５を有し、これらのグリッドは、共通座標系へワープされ、場面の連続画像を形成する、ソースポリゴンを有する。更に、陰影を付した列８５１及び８７６（両のカメラ画像中にある）が混合される。一方、列８７７及び列８５２は削除しても、又混合して用いてもよい。
【００５８】
更に、本発明では、高速ワープのための式にレンズ歪みの補正が含まれる。例えば、図１１で使用するカメラレンズはかなりの量のレンズ膨張を呈している。画像８１０の右側に示された区画８５０の右エッジ（右方向に膨張している）、及び画像８２０の左側に示された区画８５０の右エッジ（左方向に膨張している）に注目されたい。一実施形態において、レンズ異常又はレンズ歪みは高速ワープのための式に（例えば、放射状の変形を用いて）加味されている。別の実施形態では、こういった異常は、パッチ（位置合わせ点）数を増加させ、ワープされた画像を、撮像された実際の場面により近似したものとする（連続した歪みを個々に近似させる）ことにより、補正される。
【００５９】
ソースポリゴンが共通の座標軸へワープされると、これらを結合させるためにクロスフェードを利用することができる。結合画像のための画素は、ワープされた２つのポリゴンを補間することにより決定される。これを線形補間により行うことができる。より適切なマッピングを行い、又合成画像中に「継目」がなるべく現われないようにするため、ポリゴンの数及び大きさは必要に応じて調整できる。「継目」は、例えば個々の線形補間関数を用いるなど、補間関数を変えることで任意の位置に置くことができる。画像結合は、継目が顔を横切らないようバイアスされ得るため、このことは、顔の位置がわかっている場合に特に有用である。
【００６０】
図１２に示すように、ワーピングに加え、パッチの「クロスフェーディング」を行うことにより、かなりよい画像が得られる。このプロセスでは、異なるカメラから２つ又はそれ以上の同一正方形の画像が得られなくてはならない。例えば、図１２のカメラ９００及び９２０は同一の正方形９１０をそれぞれ結像している。各画像は、パッチ（画像の正方形）における画素強度を線形に低減することによりフェードされる。例えば、左のカメラ９００からのパッチは、画素強度を漸減し、パッチの最左端では変化はないが、最右端で画素強度がゼロになるようフェードされる（拡大したパッチ９３０を参照）。逆に、右のカメラのパッチは最左端の画素がゼロになるようフェードされる（拡大したパッチ９４０を参照）。右及び左のパッチの画素強度を加算すると、２つの画像を滑らかに混合したパッチ画像が得られる。これにより、カメラが別々であること、及び画像強度の差異に起因するアーチファクトを低減せしめることができる。
【００６１】
フェード処理を施されるパッチの大きさ又は形状は、カメラ視野の範囲内であれば特に制限はない。従って、２つ又はそれ以上のカメラ視野における被写体又は他の選択領域は、フェード処理のために任意の幾何学的形状又は輪郭で選択されることができる。
【００６２】
或いは、重複領域における個々の対応する画素を、これらの画像のワープ及び整合後、何らかの方法で総括、平均し、次いでエッジにおいて又は重複領域全体にわたってフェードさせ或いはぼかすことができる。本明細書の開示に照らせば、ワープされた当接及び/又は結合画像間の平滑な移行のために、フェード、ぼかし又は平均処理を含む多くの処理手順が実行され得ることは当業者には明白であろう。
【００６３】
図１３及び図１４は、多重画像を高解像度の合成画像へ統合する方法を示す。図１３はカメラ１０００（ＣＨ１）、１０１０（ＣＨ２）、１０２０（ＣＨ３）及び１０３０（ＣＨ４）により撮像された画像を示す。各画像は、最終パノラマ画像へワープされる、１組の四辺形のグリッドを含む。
【００６４】
図１４は、図１３の画像にワーピング、クロスフェーディングを施し、共通座標系へ結合した後の合成画像１１００を示す。図１４は、共通座標系に相当し、基準の用に供されるグリッド１１１０を含む。画像は結合されるだけでなく、歪みの補正も行っていることに注意されたい。例えば、（タイルＡ１乃至Ａ５に沿った）最左端の壁の湾曲したエッジは、合成画像では直線になっている。
【００６５】
又、継目のない画像を形成する上でのクロスフェーディングの効果にも注目されたい。カメラ画像の四辺形領域１００２と１０１２、及び１００４と１０１４は結合され、合成画像のグリッド正方形Ｅ２及びＥ３となる。異なるカメラの同一視野によくある如く、ＣＨ１の四辺形領域１００２及び１００４は、ＣＨ２における対応する領域１０１２及び１０１４よりも暗くなっている。しかしながら、結合されたとき、グリッド正方形Ｅ２及びＥ３の最右端部は明るく（四辺形領域１０１２及び１０１４と同様）、一方、同じグリッド正方形（Ｅ２及びＥ３）の最左端領域は暗くなっている（四辺形領域１００２及び１００４と同様）。よって、継目は存在しない。
【００６６】
図１５は、各ビデオフレームを合成するステップを示すフロー・ダイアグラムである。このフロー・ダイアグラムでは、３つのカメラ（１２００−１、１２００−２、１２００−３）が、合成パノラマ画像の一部として結合される画像をそれぞれ１つ提供する。ステップ１２１０−１、１２１０−２、１２１０−３において、各画像は、パッチ（四辺形領域）を選択することによりそれぞれ処理され、共通座標系に適合する空間へワープされる。ステップ１２２０で、ワープされた四辺形領域（パッチ）はクロスフェードされ、或いはエッジ及び継目を消去する他の技術を施され、タイル状（例えば、共通座標系）に配置される。一連の処理が完了すると、合成パノラマ画像は表示、選択、記憶又は他の処理が可能な状態となる（ステップ１２３０）。全てのデータ伝送及びワープを含む、現行の可能な処理速度で行われる一連の処理手順は、毎秒１０乃至３０フレームのビデオレートで実行されることが可能であることに留意されたい。
【００６７】
バーチャル・カメラの自動制御
機械操作のカメラは、それらの向きを制御する機械システムの限界により制限を受ける。バーチャル・カメラの利点は、物理的カメラ及び/又はレンズを動かすことによる速度上の制限を受けることなく、パン及びズームを事実上瞬時に行うことができる点である。加えて、物理的カメラを動かすことは、特に図５に示すような会議テーブル上のカメラのように、被写体の視野内に直接存在する場合、気を散らす原因ともなり得る。
【００６８】
このシステムでは、パノラマ画像から１つ又はそれ以上の通常の解像度の「バーチャル・カメラ」画像を選択することができる。機械的カメラには、１つの方向にしか照準を合わせることができないという制約がある。カメラアレイは、このような制限を受けない。即ち、パノラマ画像から抜粋することのできる、パン及びズームの異なる画像数は無制限である。我々は合成画像全体からの情報を用いて、動作分析、音声源の位置、及び表情の追跡から、最良のサブ画像を自動的に選択する。計算上の負担を低減するため、パノラマ画像の、バーチャル画像の合成に使用しない部分は、より低速のフレーム速度、低解像度、或いはグレースケールで分析されることができる。
【００６９】
カメラアレイの有用な応用例の一つに、広視野動作センサが挙げられる。この場合、カメラアレイは室内の既知の位置に固定される。室内の領域は、１つ又はそれ以上のカメラの画像平面における固定された位置に相当する。従って、ルックアップテーブルや類似の方法により、ビデオ画像の特定領域における動作検出を用いて、その動作の対応する空間的位置を見出すことができる。この空間的位置は、例えばもう１つのカメラを適切な方向へ向ける上で十分な情報である。多重カメラ又はアレイは、例えば室内の異なるコーナー（隅）に配置するなど、視野を適切な角度に配置することにより、範囲の曖昧さを一掃するために用いることができる。
【００７０】
別の有用なシステムは、一般的な操作可能なカメラ及びカメラアレイ動作センサからなる。特定の位置における動作により、適切なカメラのパン/ズームパラメータが、被写体を捕捉するよう設定される。例えば、図７で、演壇の上で動作が起こると、適切なカメラに、演壇での発言者を捕捉するために所定位置へ移動するよう信号が送られる。操作のこのモードは計算上安価であり、又得られた画像を表示する必要がないため、カメラアレイには比較的安価な白黒カメラを用いることができる。このことは、３つの白黒カメラを１つのＲＧＢビデオ信号上で多重化させることと相俟って、処理工程において多大な節約となる。
【００７１】
視差からの奥行きマップの生成
同時光学を用いる（即ち、全てのカメラが光学的に同位置にある）カメラアレイの形成は実際的でないため、カメラの対は小さな、しかし重要な基準線による離間がなされている。１つのワープ関数は１つの特定の距離においてのみ完全に機能するため、このことは、基準線から異なる位置にある被写体の画像を結合する際に、問題となる。この特定の距離にない被写体は異なる位置にワープされ、これらは画像を組み合わせたとき、二重になったり（「ゴースト」とよぶ）、合成されて省略されたりする。実際には、一般的な距離（遠隔会議の場合、例えば１メートル）に合わせてカメラアレイを較正することができ、又パッチの混合により、その距離にない被写体から不都合なアーチファクトを最小化することができるため、このことはさほど問題ではない。他の解決方法としては、異なる位置にある被写体に対し、多数のワーピング係数の計算を行うものがある。このようにして適切な組が選択され得る。
【００７２】
よりよい解決法として、結像される被写体の範囲を見出す際の、視差（立体を見る上での視差）の利用を挙げる。この方法では、無限遠においてパッチが視差ることなく結合できるよう、カメラアレイを較正する。各パッチ（或いは、大きいパッチの中の小部分）を見ているとき、１つのパッチを他のパッチと合わせるためにどの程度移動させるかを見出すことにより、立体を見る上での視差が生じ得る。このタイプのカメラ較正は、これを本質的に一次元の探索に換えることで立体整合上の問題を大いに簡素化する。各パッチは対応する正方形にワープされるため、それらを整合させるためのシフトを見出せばよい。この方法はレンズ歪みによる複雑さを回避する。一次元（１−Ｄ）の相関は、１つのパッチにおける一行の画素にわたる最も大きい重複を有する差において最大となる。
【００７３】
最大ピークの高さは画像整合の信頼度を示している。滑らかな、又は著しい特徴のない領域の整合を試みることにより、低いピークが得られる。一方、きめ細かい画像はくっきりとしたピークを有する。人間などの被写体をの動作範囲を見出すことが望ましければ、より大まかな視差評価を得るため、上記技術はフレーム毎の画素の差異に適用することができる。
【００７４】
相関ピークの差はそのパッチにおける（カメラからの）被写体の距離に直接起因する。カメラの基準線が小さいため、高解像度が得られず、又しばしばノイズが発生するが、例えば会議テーブルの周りに座っている人間の位置を検出することは可能である。パッチは１０乃至５０個台の画素からなる小さいものである。各パッチ毎の視差評価は１つしかないため、より細かい空間的詳細を得るためにパッチを重ね合わせることが可能である。こうして視差評価のグリッド、及びそれらの関連する信頼度の評価値が得られる。これらはメディアンフィルタなどの空間的フィルタリングにより、及び無視された、或いは隣接点から得た評価値で置き換えられた低信頼度の点を用いて平滑化される。
【００７５】
視差評価は数多くの用途を有する。直接の用途としては、アレイの視野内にある被写体又は人間の位置及び数の推定が挙げられる。これは、テンプレート突き合わせや類似の技術を用いて、平滑化（各パッチ毎の視差評価のグリッドの平滑化）された視差マップにおける適切な空間周波数の局所的ピークを探すことにより、行われる。位置が推定されると、バーチャル・カメラは、被写体を確実に常に視野の中央に置きながら、被写体位置へ「スナップ」することができる。
【００７６】
もう１つの用途は、カメラ間の継目が被写体を横断しないようにすることである。個々のカメラ視野では幾つかのパッチが重複しているため、重大な視差評価のないパッチ、即ち被写体でなく背景画像のみを含むパッチのみを混合することは簡単である。
【００７７】
更に別の用途は、パノラマ画像を前景画像と背景画像とに区分することである。ここでも、カメラアレイが背景に対して固定されていることから、この作業は簡素化される。従って、あらゆる画像動作は被写体により、又被写体のみによる。重要な動作又は視差のないパッチは背景画像である。前景画像である被写体が、背景との区別を明らかにする程度に動作しさえすれば、おおざっぱな背景が得られる。任意の所与の画像と背景画像との間の相違は、前景被写体のみによるものとなろう。例えば、背景が変わらない場合には再伝送する必要がないため、これらの画像を抜粋し、他の用途に利用することができる。被写体画像のみを変えて伝送することで、帯域幅が大幅に節約される（ＭＰＥＧ−４ビデオスタンダードを参照）。
【００７８】
ビデオ分析を用いるカメラ制御
一実施形態において、動作分析はバーチャル・カメラを制御する、即ち、動作している被写体を含むパノラマ画像の部分を選択する機能を有する。動作はパノラマ画像のフレーム毎の画素の差異を計算することにより決定される。これは、ノイズを除去するための、適度な値における閾値であり、得られた動作画像の重心（最初の空間モーメント）を用いてバーチャル画像の中心を更新する。新しいバーチャル画像の位置は、（時間的に）その前の位置と動作の重心との重み付き平均として算出される。重みは、「慣性」、即ちバーチャル・カメラが位置を変える速度を変化させることで調整され得る。前の位置に重みを与えることで、大きい重みにより動作評価からの小刻みな振動は平滑化されるが、全体的なパン速度は低下する。重みが小さければ、バーチャル・カメラは動作位置の変化に迅速に応答するが、小規模の被写体動作により不規則に振動することになる。
【００７９】
追跡は、新しい位置評価が前の位置評価と一定量以上異なっていた場合にのみバーチャル・カメラが変化するよう、ヒステリシス値を加えることにより更に改良され得る。動作の重心は短い、及び長いタイムスパンの両方にわたって平均される。短時間の平均が長時間の平均を事前設定された量を上回って超えた場合、カメラ視野はその位置へ向けられる。これは、くしゃみや、鉛筆の落下などの短時間の動作事象のほか、時計の秒針や蛍光体の点滅など、長時間の動作事象における安定した動作事象からの「誤警報」事象を補償する。これにより小刻みな振動は平滑化されるが、ヒステリシス閾値がこれを超えているならば、一定の被写体の動作によりバーチャル・カメラ位置の一連の跳躍が生じる。
【００８０】
動作検出アルゴリズムのその他の強化としては、空間的及び時間的フィルタリングが挙げられる（例えば、頷きや移動(shifting)の代わりにハンドジェスチャーを強調するなど）。操作上、バーチャル・カメラは最初、ズーム・アウトされ、又はカメラ視野にある全てのものを概ね包含するようニュートラルモードに設定される。図５に示すような放射状アレイを使用する場合、合成画像のアスペクト比は狭くなる。即ち、アスペクト比は高くなるのではなく、広くなる。この場合、ニュートラル視野は、サイズを縮小し、ブラックや他の色を加えて引き伸ばすことにより、「郵便受けの形状」にされ、通常のアスペクト比のフレームとなることが可能である。
【００８１】
或いは、ニュートラル位置は、大きい画像が、通常のアスペクトのフレームをタイル状に並べるために単位区分された、「緩慢な集まり(Brady Bunch)」としての視野であってもよい。フェーストラッカー（顔面追跡装置）からの出力により、会議の全参加者が視野内に収められ、参加者の顔上で画像分割が発生しないことが確実となる。
【００８２】
１つ以上の領域で動作が検出されるならば、幾つかの発見方法を用いることができる。最も簡単なものは、最も大きい動作信号のある領域を選択し、上述の処理を施すものである。別の方法としては、カメラ視野のズームを戻し、全ての動作源を視野に収めるものがある。動作情報が競合していたりゼロである場合、カメラはデフォルトのニュートラル視野に戻ることができる。
【００８３】
別の有用な検出方法としては、同一位置にある、視覚的に興味を起こさせないあまりに長い場面を不採用とするものが挙げられる。バーチャル・カメラの位置を一旦大きく変えると、タイマーが開始される。タイマー値が増加するに従い、動作変化の閾値は低減する。このことは、ショット長さの平均又は統計的分布が、ある所定の又は経験的に決定されたパラメータと適合するような方法で行われる。別のカメラチェンジを行うと、タイマーはリセットされる。最終効果は人間が行っているようなカメラ操作を促進することである。例えば、カメラの焦点を特定の発言者にしばらくの間合わせるとすると、視聴者が賛同を示して頷いているのを捕捉できないことがよくある。これらをも捕捉することにより、ビデオの現実性及びビデオへの興味が高まり、又人間の操作者の作業により近いものとなる。
【００８４】
上記の全ての技術は、視差マップより推定された被写体位置と組み合わせることができる。
【００８５】
バーチャル・カメラの音声制御
音声源の位置及び方向を決定する際にマイクロホンアレイを利用することが知られている。一般的に、これらは複雑で、計算上集約的なビーム形成アルゴリズムを用いる。しかしながら、テーブルに着いた発言者の方向を決定し、又、室内の何れの方向（発言者又は視聴者）から音声が発せられているかを決定するために、より率直なアプローチを用いてもよい。この情報は、恐らく映像上の手掛りと結合されることになる。この情報により、カメラは１人又は複数の発言者を捕捉するよう自動的に操作される（前記セクションで述べた方法を用いる）。
【００８６】
従来のビーム形成では、音声源の方向及び距離を評価する際、位相差に依存していたが、これに対し、本発明の発明人らは、音声信号の振幅を利用すれば適切な評価が得られることを認識した。ここに示すシステムは、図１６に示すような円の周りに位置合わせされた、方向性のあるマイクロホンのアレイを利用する。このようなアレイは会議テーブルや会議室の中央に置かれる。マイクロホンの方向性が十分であるならば、最も平均の大きさの高いマイクロホンが音声源の凡その方向を示すはずである。
【００８７】
音声反射（特に、壁やテーブルからの反射）などの悪影響、及び実マイクロホンの方向性の不完全性（殆どのカーディオイドマイクロホンは自らの軸に対し実質上１８０度反応する）は本発明により最小化される。
【００８８】
一実施形態において、本発明は音声信号を対象となる周波数（発言領域など）へプレフィルタリングし、換気の音やコンピュータファンのノイズなど、ある帯域にあるノイズの排除を助ける。
【００８９】
更に、マイクロホンの方向性を強化するため、横方向の抑制を用いる。一実施形態において、横方向の抑制は、各隣接するマイクロホンから、平均信号の大きさをもつ小数部を控除することによりなされる。図１６に示すように、各マイクロホンの時間的に平均した大きさを｜Ｍ｜で表す。α＜１の小数部α（例えば、Ｍｎからα１３００とα１３０１とを控除する）を隣接する各マイクロホンから控除する。これにより、各マイクロホンからの空間的分解能がより鮮明となる。必要に応じて、付近のマイクロホンへの依存度を、直近のマイクロホンへの依存度よりも高めてもよい。振幅又はエネルギー領域において控除がなされると、位相の取消しや強化に起因する問題はみな回避される。この結果、各マイクロホンの方向性は鮮明となる。
【００９０】
一実施形態において、システムは、換気など一定の音声源から各マイクロホンに投じられる周囲のエネルギーを控除することにより、周囲条件に合わせて標準化される。システムの稼動中は、各マイクロホンは各々の「視野」内の音声エネルギーの実時間評価を生成する。補間を用いれば、マイクロホンの数以上のより高い角度分解能を得ることができる。
【００９１】
よりロバストなシステムでは、各マイクロホンからの音声信号のピーク又は対応する特徴を見出すことにより、音声源の位置を推定する。音声の速度は有限であるゆえ、音声信号は音声源の直近のマイクロホンに最初に到達することになる。ピーク間の時間差を与えられると、最初に到達したピークが直近のマイクロホンに対応することになる。既知の位置のマイクロホンに差の推定を与えると、音声の角度的方向を見出すのに幾何学上の制約を用いることができる。
【００９２】
反射の多い複雑な環境下では、反射の統計は、音声源の角度的位置を特徴付けるためのトレーニングデータから学習される。このことを振幅の手掛りと組み合わせることにより、よりロバストな音声位置の推定が得られる。
【００９３】
特に遠隔会議の用途に用いるシステムは、柔軟性のあるコード上の１つ又はそれ以上のデスクマイクロホンからなる。使用時、マイクロホンは各会議参加者の前にそれぞれ配置される。各マイクロホンは可視或いは不可視赤外線の、制御可能なビーコンを備える。ビーコンはビデオフレーム速度の１/２の速度で点滅するよう設定される。従って、ビーコンが点灯していないフレームに時間的に非常に近い、ビーコンが点灯しているフレームが存在する。これらの（ビーコンが点灯していない）フレームを控除することにより、ビーコンに相当する明るいスポットが残り、他の画像特徴は全て削除される。この方法により、パノラマ画像におけるマイクロホンの位置が決定できる。それぞれのマイクロホンで検出された音声エネルギーは、バーチャル画像をそのマイクロホンに切り換える手掛りを与えることができる。
【００９４】
音声を用いたカメラ制御
種々のマイクロホンから角度的方向及び大きさの信号を与えられると、カメラは、動作に関して上述したものと同様のアルゴリズムを用いて制御され得る。短時間及び長時間の平均は、コンピュータ・ファンのような固定されたノイズ源を考慮に入れることができる。多数の発見方法を用いて、音声源位置を基にした表情及び/又は動作検出の統合が行われる。音声方向は、顔の追跡システムを開始させるための、発言者の位置の初期推定として用いられる。又、顔の追跡と音声源位置とを共に用いてもよい。従って、被写体は、カメラがその方向に向けられる前に、顔として、且つ音声源として認識されなければならない。このことは、発言者を画像として表示することを目的とした自動遠隔会議システムにおいて特に有用である。
【００９５】
立体範囲測定
本発明では多重カメラを利用するため、場面において、撮像されるべき被写体の立体範囲測定を行ってもよい。会議室の壁を最大範囲とするが、よりカメラに近いところにある任意の被写体は、画像のバーチャル視野の焦点を移動させる際に、より被写体として可能性のあるものとして捉えられることになる。立体範囲測定により、被写体が会議室の壁よりも近いところにあると決定され、又それが動いているならば（動作検出は、例えばビデオ分析により行われる）、それは被写体としての可能性がより高い。これに音声検出が更に加われば、被写体はズーム・インされるべき被写体としての可能性が更に高くなる。本発明は、カメラズーミングすべき予想被写体の決定のために全ての分析機能、即ち音声、ビデオ動作検出、及び立体範囲測定の組合せを利用する態様を含む。
【００９６】
データ操作及び圧縮
多重ビデオカメラは、生成されたビデオデータの絶対量全てを処理するための技術を必要とする。しかし、１つの共通ＣＰＵにおいて多重ビデオストリームを実時間で合成することは至極可能なことであり、これは増加する処理速度及び平行化に応じて基準化されなければならない。全てのカメラ視野が実時間で記録されるよう、各カメラを複数のアナログ又はデジタル記録デバイスへストリームとして向けることは可能である。こうすれば、記録されたストリームは後にも同じ方法を用いて合成されることができる。別のアプローチとしては、合成された高解像度ビデオ画像を、それを支持することのできるフォーマットに記憶させるものがある。
【００９７】
任意の大きいフレームサイズは、ＭＰＥＧなど多くの共通ビデオフォーマットによりサポートされる。フル解像度の画像を記録することには、従来の技術に対し、多くの利点がある。即ち、まず、多重視野を高解像度の画像から合成して作ることができ、これにより源となる材料の種々の用途がサポートされ得る。例えば、ビデオテープに録画した講義では、スライド画像を見たいと考える学生もあろうが、聴力障害をもち、読唇に頼る学生は、講師の画像を見ることを望む場合もあろう。フル解像度の画像を記録することにより、より適切な自動制御も可能となる。任意の実時間カメラ制御アルゴリズムでは将来起こり得る事象を見越すことはできないため、１分間に対し数秒間の遅延を以ってより適切な制御を得ることが可能である。従って、異なる音声又は動作源への切換えは、短時間平均が閾値に達するまで待つことなく、瞬時になされ得る。
【００９８】
ＭＰＥＧの如き現行の規準は、矩形であることを想定した任意の解像度のフレームを既にサポートしている。記憶及び計算の両方における、可能性のある事実上の節約のため、画素領域においてではなく、ＭＰＥＧマクロブロックを用いて画像を合成することが可能である。多重ストリームアプローチには、特定の用途に必要なストリームのみを考慮すればよいという利点がある。
【００９９】
例えば、円状アレイ（例えば、図５の“Ｂ”）からバーチャル・カメラを合成して作る場合、予想できる用途で必要となる、１度に考慮されるべきビデオストリームは多くても２つのみである。従って、本発明と関連する高速ワープ技術と組み合わせれば、これらの処理はデスクトップパソコンの処理能力で十分対応できる。
【０１００】
逆の実施形態も考えられている。即ち、通常の解像度のビデオを超解像度のＭＰＥＧストリームから抜粋することは、適切なマクロブロックの選択及び復号のみの問題である。帯域幅に制約があるならば、パノラマビデオ画像は、重大な変更があった領域のみを送ることで効率よく伝送され得る。この技術は、Ｈ．２６１のような低帯域幅のビデオフォーマットでは多用されている。この方法の新しい応用として、動いている顔や、発言者などの重要な音声源に当たる画像領域のみを記憶又は伝送するものがある。
【０１０１】
カメラの自動位置合わせ
異なるカメラから重複する画像を組み合わせるために、各カメラはレンズ及び撮像上の歪みが識別され補正されるよう位置合わせされなければならない。このことは、（行列係数が位置合わせされたカメラ上で実行されることを前提としているため、）行列係数を用いる本発明の態様において特に重要である。一般的に、アレイ上のカメラは相互に固定されており、又位置合わせは製造時に行われることを想定している。
【０１０２】
本発明は相互に固定されたアレイカメラの整合を含む。カメラの整合は、各画像において一致する点の検出を含む。これは、同一場面の２つの視野を見て、各画像中のどの画素が画像平面上の同一の点と一致するかを決定することにより、手動で行われる。カメラはそれぞれ相互に固定されているため、この作業は１度行えばよく、また手動でなく自動的に行ってもよい。手動による位置合わせは、例えばカメラアレイをグリッドのような構造化画像に向け、グリッドの交点を対応する画像上に位置決めすることにより、位置合わせ点の位置を手動で決めることを含む。マシンビジョン技術を用いれば、この作業を自動的に行うことも可能である。
【０１０３】
一実施形態において、位置合わせは「構造光」法（例えば、図１７に示すような、カメラアレイの視野を横切る可視又は赤外線レーザスポット）により行われる。この例では、半導体レーザ１４００（集束された赤外線ビームなど、他のタイプの光源を用いてもよい）が、撮像されるべき場面１４２０上に可視赤色光又は赤外線の明るいスポット１４１０を投射するよう配置されている。各カメラ（この例では、カメラ１４０１及びカメラ１４０２）からの画像は、スポットの位置を検出するために分析される。検出されたスポット位置は、これを視野内においている全てのカメラにとって位置合わせ点としての役割を有する。
【０１０４】
スポット１４１０はあらゆる投影画像よりも明度が高いため、カラー画像のレッドチャネルを閾値とすることにより検出できる（色差によるもの、又は形状と明度の組み合わせを分析することによるものなど、他の検出方法も可能である）。又、多重位置合わせ点の発見のために、スポット１４１０を動かすことが必要である。この移動は、回転鏡又は他の光学装置の利用、多重レーザ（安価なもの）の利用、或いはレーザを上述のような機械操作によるカメラに固定することにより、行われ得る。
【０１０５】
本システムの別のバージョンでは、硬い基体に固定される明るい赤外線又は可視ＬＥＤを利用する。連続的にＬＥＤを照明することにより、位置合わせ点が得られる。基体は、これらの点における視差を最小化するよう、おおよその撮像誤差へ移動されることができる。
【０１０６】
本発明の一実施形態が図１８のブロック図に示されている。図１８はカメラアレイ１５１０、結合デバイス１５３０、視野選択デバイス１５６０、及び出力機構１５７０を含む、ビデオシステム１５００を示す。カメラアレイ１５１０は会議での講演１５２０に向けられている。カメラアレイ１５１０からの画像は結合デバイスに入力され、結合デバイス１５４０で上述の任意のプロセス（ワープ機構１５８０によるワープ、フェーディングデバイス１５９０によるクロスフェーディングなど）を通じて結合される。この実施形態では、結合画像はメモリ１５５０に記憶され、視野選択デバイス１５６０が出力機構１５７０上に表示するために結合画像の一部を選択する。視野選択デバイスは、入力機構１５７５（トラックボール、マウス又はキーボードなど）を介したユーザ入力からの入力に基づいて選択を行ってもよい。或いは、上述の音声入力、立体範囲測定、又はビデオ動作分析に基づいて視野を自動的に選択することもできる。
【０１０７】
当業者には明白であるように、本発明は、一般的な汎用コンピュータ、又は本明細書の開示に則ってプログラムされた専用デジタルコンピュータ又はマイクロプロセッサを用いて実行することができる。
【０１０８】
ソフトウェア技術に精通した者には明らかであるように、適切なソフトウェアの符号化は、本明細書の開示内容に基づき熟練のプログラマにより容易に実行され得る。又、当業者には明白であるように、本発明は用途に合わせた集積回路を作成することにより、或いは一般的な構成を有する回路の適切なネットワークを相互接続することによっても実行されることができる。
【０１０９】
本発明は、本発明の任意のプロセスを実行するようにコンピュータをプログラムする際に用いることのできる指示が記憶された記憶媒体（１つ又は複数）である、コンピュータプログラム製品を含む。記憶媒体は、フロッピーディスク、光学ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ及び磁気光学ディスクを含むあらゆるタイプのディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気又は光学カード、ナノシステム（分子メモリＩＣを含む）、或いは指示及び/又はデータの記憶に適した他のあらゆるタイプの媒体又はデバイスを含むことができるが、これらに限定されない。
【０１１０】
コンピュータ読出し可能な媒体（１つ又は複数）のうちの任意の１つに記憶されているとき、本発明は汎用/専用コンピュータ又はマイクロプロセッサのハードウエアを両方とも制御し、又コンピュータ又はマイクロプロセッサが、本発明の成果を利用して、人間のユーザ又は他の機構と対話することを可能とするソフトウェアを含む。このようなソフトウェアはデバイスドライバ、操作システム、及びユーザアプリケーションを含むことができるが、これらに限定されない。最後に、コンピュータにより読出し可能な媒体は、前述した本発明を実行するためのソフトウェアを更に含む。
【０１１１】
汎用/専用コンピュータ又はマイクロプロセッサのプログラミング（ソフトウェア）には、本発明の開示内容を実行するためのソフトウェアモジュールが含まれる。ソフトウェアモジュールとしては、作業アーチファクトへのアンカーの挿入、種々の用途のアプリケーションプログラミングインタフェースとの通信、通信の開始と通信クライアント、会話や通信クライアントの、作業アーチファクトにおけるアンカーに相当する会話や通信クライアントの相対位置の維持、会話の検索及び記録、通信要求の要求及び処理、接続の管理、アプリケーションの開始、ダウンロードのアーチファクト、及び本発明のプロセスに従った結果としてのディスプレイ、記憶又は通信が挙げられるが、これらに限定されない。
【０１１２】
明らかに、本発明の開示内容に照らせば、数多くの修正及び変更を本発明に加えることが可能である。従って、本発明は、逐一説明していなくても、前記請求の範囲内において実行され得るものであることを理解されたい。
【図面の簡単な説明】
【図１】本発明に従ったビデオカメラの円状アレイの一例である。
【図２】（Ａ）は、本発明に従ったデジタルカメラの平面状アレイの一例である。
（Ｂ）は、本発明に従ったデジタルカメラの直線状アレイの第２の例である。
【図３】本発明に従った多重カメラから結合した画像、及び「バーチャル・カメラ」の視野の選択を図解したものである。
【図４】本発明のプロセスの幾つかの可能な応用例を表す線図である。
【図５】本発明に従った、遠隔会議の用途に利用された円状カメラの例示的な配置及びカメラ角度を示す図である。
【図６】（Ａ）は、平面状のカメラアレイを示す図である。
（Ｂ）は、平面状のカメラアレイ及び場面に対する例示的な視野を示す図である。
【図７】カメラアレイの視野Ａ、Ｂ及びＣを示す、会議及びプレゼンテーション室である。
【図８】（Ａ）は、２つの別々のカメラで撮像される被写体の一例である。
（Ｂ）は、同一被写体を撮像する個々のカメラからのフレームの一例である。
【図９】本発明に従った較正点、及び未加工画像におけるパッチの一例を示す図、及び未加工画像から構成された平坦なパノラマを示す図である。
【図１０】四辺形のパッチＡＢＤＣを正方形Ａ'Ｂ'Ｄ'Ｃ'へワープする際の一例である。
【図１１】パッチを示す４つの正方形からの画像入力の一例である。
【図１２】本発明に従ったクロスフェード技術を表す図である。
【図１３】多重カメラ画像、及び各画像からワープされるべき四辺形領域の図である。
【図１４】本発明に従った、図１３のパッチ（四辺形の領域）から構成された合成パノラマ画像である。
【図１５】ビデオシーケンスにおける、各フレーム毎の画像合成手順を示すフロー・ダイアグラムである。
【図１６】放射状のマイクロホンアレイを示す図である。
【図１７】位置合わせ点を発見する際に光源を利用する、自動カメラ較正システムの図である。
【図１８】結合画像から視野を選択するための選択デバイスを備える、本発明の一実施形態のブロック図である。
【符号の説明】
１０  多重カメラ
１２、１４  カメラ
２０、３０、４０  基体
【図１】
0004153146.tif 000003
【図２】
0004153146.tif 000004
【図３】
0004153146.tif 000005
【図４】
0004153146.tif 000006
【図５】
0004153146.tif 000007
【図６】
0004153146.tif 000008
【図７】
0004153146.tif 000009
【図８】
0004153146.tif 000010
【図９】
0004153146.tif 000011
【図１０】
0004153146.tif 000012
【図１１】
0004153146.tif 000013
【図１２】
0004153146.tif 000014
【図１３】
0004153146.tif 000015
【図１４】
0004153146.tif 000016
【図１５】
0004153146.tif 000017
【図１６】
0004153146.tif 000018
【図１７】
0004153146.tif 000019
【図１８】
0004153146.tif 000020