"異なる視点からの複数の個別の画像を捕捉するための画像捕捉装置のアレイにより供給される個別の入力画像の入力画像データから仮想出力画像のための出力画像データを作る方法であって、シーンの複数の深度レイヤに基づいて前記個別の入力画像の対応する画素値の加算ステップ及び逆フィルタリングステップを有する方法において、仮想カメラ位置が仮想カメラ位置を表わす入力仮想カメラ位置信号により供給され、加算及び逆フィルタリングステップが、前記仮想カメラ位置から見てるように仮想出力画像のための画像データを作るために、前記仮想カメラ位置に依存して実施されることを特徴とする、方法。加算及び逆フィルタリングステップが、前記個別の画像の前記入力画像データから、複数の深度で合成的にフォーカスされる複数の画像のための画像データを構成するステップと、統合されたぼやけた画像に対する画像データを形成するために様々な深度で前記合成的にフォーカスされる複数の画像の画像データを加算するステップと、その後、前記個別の画像の入力画像データから、仮想画像に対する画像データを作るため点広がり逆関数を使用して、前記統合されたぼやけた画像をデコンボルーションするステップとを有する、請求項1に記載の方法。a前記仮想カメラ位置に前記個別の入力画像を位置合わせするために、特定の画像捕捉装置の位置と前記仮想カメラ位置との間の距離に比例して、特定の深度に依存して、前記画像捕捉装置により供給される前記個別の入力画像をシフトさせるステップを複数の深度に対して実施するステップと、b前記複数の深度で合成的にフォーカスされる画像の画像データを形成するために、各深度でシフトされた画像に対する画像データを加算するステップと、c前記統合されたぼやけた画像を形成するために複数の合成的にフォーカスされる画像を加算するステップと、d画素に対する予想されるぼやけカーネルを統合することにより点広がり関数を生成するステップと、e前記入力仮想カメラ位置信号により供給される仮想カメラ位置で前記仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするステップとを有する、請求項2に記載の方法。加算及び逆フィルタリングのステップが、a前記アレイの各画像捕捉装置に対する仮想カメラ位置に関する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、b畳み込まれた画像を形成するためにそれぞれの投影経路と前記個別の画像を畳み込むステップと、c前記統合されたぼやけた画像を形成するために畳み込まれた画像を加算するステップと、d前記投影経路の統合により点広がり関数を生成するステップと、e前記入力された仮想カメラ位置信号により供給される仮想カメラ位置で前記仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするステップとを有する、請求項1に記載の方法。加算及び逆フィルタリングステップが、a前記アレイの各画像捕捉装置に対して仮想カメラ位置に関する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、b前記投影経路の統合により点広がり関数を生成するステップと、c各画像に対して、それぞれの投影経路を点広がり逆関数と畳み込むステップと、d畳み込まれた画像を供給する点広がり逆関数と経路との畳みこみで各画像を畳み込むステップと、e前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するステップとを有する、請求項1に記載の方法。加算及び逆フィルタリングのステップが、a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、bそれぞれの投影経路と前記個別の画像を畳み込むステップと、c各画像捕捉装置の画像を前記投影経路と直交するハイパスフィルタと畳み込むステップと、d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するステップとを有する、請求項1に記載の方法。加算及び逆フィルタリングのステップが、a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、bそれぞれの投影経路を当該投影経路と直交するハイパスフィルタと畳み込むことにより、各画像に対する畳み込みフィルタを生成するステップと、c前記個別の入力画像をbで生成されたそれぞれの畳みこみフィルタと畳み込むステップと、d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するステップとを有する、請求項1に記載の方法。複数の仮想視点が画像捕捉装置のアレイにより捕捉された一組の画像から同時に生成される、請求項1乃至7の何れか一項に記載の方法。画像捕捉装置の前記アレイがディスプレイ画面の周辺のカメラのアレイであり、前記仮想カメラ位置が前記ディスプレイ画面のポイントである、請求項1乃至8の何れか一項に記載の方法。少なくとも一つの仮想カメラ位置が前記ディスプレイ画面上の目の位置を測定することにより決定される、請求項9に記載の方法。前記少なくとも一つの仮想カメラ位置が目検出位置手段により自動的且つ動的に決定される、請求項10に記載の方法。左右の目の仮想カメラ位置のための2つの仮想カメラ位置が、2つの仮想カメラ位置での2つの仮想出力画像を提供するために供給される、請求項1乃至11の何れか一項に記載の方法。プログラムがコンピュータ上で動くとき、請求項1乃至12の何れか一項に記載の方法を実施するためのプログラムコード手段を有する、コンピュータプログラム。プログラムがコンピュータ上で動くとき、請求項1乃至12の何れか一項に記載の方法を実施するためのコンピュータ可読媒体に格納されたプログラムコード手段を有するコンピュータプログラム。異なる視点からの画像を捕捉するための画像捕捉装置のアレイを有し、画像捕捉装置のアレイにより得られる入力画像から出力画像を構成するためのシステムであって、前記システムは、前記アレイの画像捕捉装置から画像データを捕捉するための手段を有し、前記システムは、シーンの複数の深度レイヤに基づいて個別の入力画像の対応する画素値の加算及び逆フィルタリングを実施するための手段を有する前記システムにおいて、前記システムは、仮想カメラ位置を表わす入力仮想カメラ位置信号により、選択される仮想カメラ位置を供給するための手段を有し、前記加算及び逆フィルタリングを実施するための手段が、選択された前記仮想カメラ位置の関数として、前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置での仮想出力画像のための画像データを作るために実施することを特徴とする、システム。前記加算及び逆フィルタリングのための手段は、前記個別の画像の前記入力画像データから、複数の深度で合成的にフォーカスされる複数の画像のための画像データを構成する手段と、統合されたぼやけた画像に対する画像データを形成するために様々な深度で前記合成的にフォーカスされる複数の画像の画像データを加算する手段と、前記個別の画像の入力画像データから、仮想画像に対する画像データを作るため点広がり逆関数を使用して、前記統合されたぼやけた画像をデコンボルーションするための手段とを有する、請求項15に記載のシステム。a複数の深度に対して、前記仮想カメラ位置に前記個別の入力画像を位置合わせするために、特定の深度に依存して、且つ特定の画像捕捉装置の位置と前記仮想カメラ位置との間の距離に比例して、前記画像捕捉装置により供給される前記個別の入力画像をシフトさせるための手段と、b前記複数の深度で合成的にフォーカスされる画像の画像データを形成するために、各深度でシフトされた画像に対する画像データを加算するための手段と、c前記統合されたぼやけた画像を形成するために複数の合成的にフォーカスされる画像を加算するための手段と、d画素に対する予想されるぼやけカーネルを統合することにより点広がり関数を生成するための手段と、e前記入力仮想カメラ位置信号により供給される仮想カメラ位置で前記仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするための手段とを有する、請求項16に記載のシステム。前記加算及び逆フィルタリングを実施するための手段が、a前記アレイの各画像捕捉装置に対する仮想カメラ位置に関する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、b畳み込まれた画像を形成するためにそれぞれの投影経路と前記個別の画像を畳み込むための手段と、c統合されたぼやけた画像を形成するために畳み込まれた画像を加算するための手段と、d前記投影経路の統合により点広がり関数を生成するための手段と、e前記入力仮想カメラ位置信号により供給される仮想カメラ位置で前記仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするための手段とを有する、請求項15に記載のシステム。前記加算及び逆フィルタリングを実施するための手段が、a前記アレイの各画像捕捉装置に対する仮想カメラ位置に関する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、b前記投影経路の統合により点広がり関数を生成するための手段と、c各画像に対して、それぞれの投影経路を点広がり逆関数と畳み込むための手段と、d畳み込まれた画像を供給する点広がり逆関数と経路との畳みこみで各画像を畳み込むための手段と、e前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するための手段とを有する、請求項15に記載のシステム。前記加算及び逆フィルタリングを実施するための手段が、a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、bそれぞれの投影経路と前記個別の画像を畳み込むための手段と、c各画像捕捉装置の画像を前記投影経路と直交するハイパスフィルタと畳み込むための手段と、d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するための手段とを有する、請求項15に記載のシステム。前記加算及び逆フィルタリングを実施するための手段が、a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、bそれぞれの投影経路を当該投影経路と直交するハイパスフィルタと畳み込むことにより、各画像に対する畳み込みフィルタを生成するための手段と、c前記個別の入力画像をbで生成されたそれぞれの畳みこみフィルタと畳み込むための手段と、d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するための手段とを有する、請求項15に記載のシステム。画像捕捉装置の前記アレイがディスプレイ画面の周辺のカメラのアレイであり、前記仮想カメラ位置がディスプレイ画面のポイントである、請求項15乃至21の何れか一項に記載のシステム。前記システムは、各サブシステムがディスプレイ画面の周辺のカメラのアレイを有する2つのインタラクティブな当該サブシステムを有し、前記サブシステムの1つのサブシステムのディスプレイ画面の仮想カメラ位置が、他方のサブシステムの観察者の目の位置を測定することにより前記他方のサブシステムにより決定される、請求項22に記載のシステム。前記システムは、レンズと画像センサと、前記レンズと前記画像センサとの間にあるマイクロレンズアレイとを持つプレンオプティックカメラを有し、前記プレンオプティックカメラは画像捕捉装置の前記アレイを有する、請求項15乃至21の何れか一項に記載のシステム。前記アレイが2つ以上のサブアレに副分割される、請求項15乃至24の何れか一項に記載のシステム。異なる仮想カメラ位置を前記サブアレイ各々に割り当てる、請求項25に記載のシステム。本発明の目的は、増大された可能性を持つ方法及びシステムを提供することにある。このために、本発明による方法は、異なる視点からの複数の個別の画像を捕捉するための画像捕捉装置のアレイにより供給される個別の入力画像の入力画像データから仮想出力画像のための出力画像データを作る方法であって、シーンの複数の深度レイヤに基づいて前記個別の入力画像の対応する画素値の加算ステップ及び逆フィルタリングステップを有する方法において、仮想カメラ位置が仮想カメラ位置を表わす入力された仮想カメラ位置信号により供給され、加算及び逆フィルタリングステップが、前記仮想カメラ位置から見て、前記仮想出力画像のための画像データを作るために、前記仮想カメラ位置に依存して実施されることを特徴とする。既知のシステム及び方法において、仮想カメラ位置は円形のカメラアレイの中心に固定され、作られる画像は円形のアレイの中心からの画像である。本発明者は、仮想カメラ位置に対する信号を使用して、仮想カメラ位置に対する信号に依存した加算及び逆フィルタリングが、特にインタラクティブシステムで、実際の模倣撮像を可能にすることに気付いた。これは、例えば、既存の方法及びシステムでは不可能である本当に視線を合わせたシミュレーションを可能にする。実施例において、加算及び逆フィルタリングするステップは、前記個別の画像の前記入力画像データから、複数の深度で合成的にフォーカスされる複数の画像のための画像データを構成するステップと、統合積分されたぼやけた画像に対する画像データを形成するために様々な深度で前記合成的にフォーカスされる複数の画像の画像データを加算するステップと、その後、前記個別の画像の入力画像データから、仮想画像に対する画像データを作るため点広がり逆関数を使用して、前記統合されたぼやけた画像をデコンボルーションするステップとを有する。点広がり関数は、再フォーカスされた画像のスタックを合成することにより、画像のピクセルに対する予想されるぼやけを表す関数である。一見して、ぼやけて合成された画像を作ることは、逆効果のようである。合成された画像は、合成が加算を意味するので、多くの再フォーカスされた画像を加算することにより形成される。各再フォーカス画像は特定の被写界深度での再フォーカス画像である。斯様な合成された画像のために以下に使用される他の表現は、焦点スタックの合成である。スタックは多くの画像であり、焦点スタックは、各画像が特定の被写界深度にある画像のスタックである。合成は、画像の焦点スタックを加算することを意味する。特定の被写界深度の任意の再フォーカスされた画像は、焦点が合った画像の幾つかの部分、すなわち、特定の被写界深度に位置される部分を持つ。画像の対象物の他の部分は、焦点が合わず、よってぼやけている。斯様な多くの再フォーカスされた画像を合計する場合、結果として生じる合成された画像は非常にぼやける。よって、このステップは、結果的に非常にぼやけた合成された画像になるので、逆効果のように思われる。しかしながら、合成は別として、当該方法は、また、点広がり関数の使用、すなわち点のぼやけた画像を供給する関数の使用を提供し、この点広がり関数を用いて、又は、より正確に言うと、点広がり逆関数を用いて、再フォーカスされた画像の合成されたスタックをデコンボルーションすることを提供する。点広がり関数を知っていると、合成された画像をデコンボルーションして、被写界深度の範囲にわたって焦点が合っている各ピクセルを得ることは可能である。結果は、拡張された被写界深度の画像となる。仮想カメラ位置の入力によって、様々な見晴らしの良いポイントからの視野をフレキシブルに可能にする画像の視界を可能にする。画像の深度モデルを持つことは必要でなく、カットアンドペースト方法のための複雑なアルゴリズムが必要ではない。点広がり関数は、撮られる全ての画像に対して実質的に同じである。これらの利点は、高品質の画像を提供する。実施例において、方法は、a前記仮想カメラ位置に前記個別の入力画像を位置合わせするために、特定の画像捕捉装置の位置と前記仮想カメラ位置との間の距離に比例して、特定の深度に依存して、前記画像捕捉装置により供給される前記個別の入力画像をシフトさせるステップを複数の深度に対して実施するステップと、b前記複数の深度で合成的にフォーカスされる画像の画像データを形成するために、各深度でシフトされた画像に対する画像データを加算するステップと、c統合されたぼやけた画像を形成するために複数の合成的にフォーカスされる画像を加算するステップと、d画素に対する予想されるぼやけカーネルを統合することにより点広がり関数を生成するステップと、e入力仮想カメラ位置信号により供給される仮想カメラ位置で仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするステップとを有する。結果として生じる仮想出力画像は、視点からの大きな被写界深度DoFを持つ画像である。このアプリケーションでは、仮想出力画像が述べられている所では、仮想出力画像に対する画像データが参照されることを注記する。仮想出力画像自体は、例えばディスプレイ画面上又は印刷スクリーン上に画像を作るため、画像データがLCDセル又は印字ヘッドのような画像ピクセル生成部分をアドレスするために使用される画像を作るための装置、例えば表示装置又は印刷装置へ仮想出力画像のための画像データを送信することにより通常作られる。画像を表示するか又は印刷する前に、例えば、エラーを修正するため、画像の一部を背景と置き換えるか、又はデータをデータが提示される装置に適するようにするため、仮想出力画像のための画像データが後処理されることは除外されない。この第1の実施例は、基本的な解決策を提供する。しかしながら、必要な処理電力は比較的大きく、これは、特にリアルタイムアプリケーションでの課題を提起する。第2の実施例において、方法は、a前記アレイの各画像捕捉装置に対して仮想カメラ位置に関する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、b畳み込まれたコンボルーションされた画像を形成するためにそれぞれの投影経路と前記個別の画像を畳み込むステップと、c前記統合されたぼやけた画像を形成するために畳み込まれた画像を加算するステップと、d前記投影経路の統合により点広がり関数を生成するステップと、e入力仮想カメラ位置信号により供給される仮想カメラ位置で前記仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするステップとを有する。この第2の実施例のステップcにおいて供給される統合されたぼやけた画像は、第1の実施例のステップcの統合された画像と対応し、すなわち、十分な焦点スタック自体がなされなかった場合であっても様々な深度で多くの合成的にフォーカスが合った画像を加えることにより作られる画像に対応する。第1の実施例でなされたように、十分な焦点スタックを生成し、その後合成する代わりに、第2の実施例では、アレイの画像捕捉装置からの個別の画像が、これらそれぞれの投影経路で畳み込まれる。ステップcの結果として生じる画像は、十分な焦点スタックを作り、その後十分な焦点スタックを合成することにより生成された画像に対応する画像である。しかしながら、第2の実施例による方法は、第1の実施例と比較して、必要な計算の数を大きく減らす。第2の実施例は、代替的な少ないコンピュータパワー要求で、様々な深度で再フォーカスされた画像のスタックを合成することにより画像を作ることに対応する画像を供給するルートを提供する。次のステップ、逆の点広がり関数を使用するデコンボルーションは、第1及び第2の実施例の一部である。第2の実施例は、少ない計算能力だけを必要とするので、重要であるシステム、装置又は状況のために特定の関連がある。画像間の時間が限定的なので、リアルタイムアプリケーションは、これらの重要な一つを形成する。本当に視線を合わせることはリアルタイムで可能なだけであり、目の動きが十分に速く追従できる、すなわち、仮想カメラ位置が速く変えられる場合、本当に視線を合わせたシミュレーションシステムは、これらの重要な他の一つである。また、第2の実施例は、アレイの中のカメラが故障する状況において及び/又は方法において、どれくらい多くのカメラが関係しているかの選択を持つことを所望する状況において非常に有益である。個別の画像が畳み込まれるという事実は、より速い方法を可能にする。ピクセルの位置のシフトが、特定の画像捕捉装置と仮想カメラ位置の視点との間の距離及び深度の線形関数であるので、第1の実施例と比較した第2の実施例の計算のこの低減が可能であることが注記される。様々な数学的関数の順番が交換できるという洞察と組み合わされたこの洞察により、発明者は、この速い方法に到達した。本発明の方法の他の実施例によると、a前記アレイの各画像捕捉装置に対して仮想カメラ位置に関する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、b前記投影経路の統合により点広がり関数を生成するステップと、c各画像に対して、それぞれの投影経路を点広がり逆関数と畳み込むステップと、d畳み込まれた画像を供給する点広がり逆関数と経路との畳みこみで各画像を畳み込むステップと、e前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するステップとを有することにより特徴付けられる。これは、様々な数値演算が交換できるという洞察からもたらされる第2の実施例のバリエーションである。他の実施例において、加算及び逆フィルタリングのステップは、a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、bそれぞれの投影経路と前記個別の画像を畳み込むステップと、c各画像捕捉装置の画像を前記投影経路と直交するハイパスフィルタと畳み込むステップと、d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するステップとを有する。ハイパスフィルタは、ぼやけを補償する、すなわち、第1の態様の第1及び第2の実施例の点広がり逆関数のアプリケーションに対応する関数を持つ。他の実施例上のバリエーションにおいて、加算及び逆フィルタリングのステップは、a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するステップであって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するステップと、bそれぞれの投影経路を当該投影経路と直交するハイパスフィルタと畳み込むことにより、各画像に対する畳み込みフィルタを生成するステップと、c前記個別の入力画像をbで生成されたそれぞれの畳みこみフィルタと畳み込むステップと、d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するステップとを有する。後者の2つの実施例による方法において、必要な計算パワーが更に低減され、幾らかの正確さを犠牲にして低減される。当該方法は、最初に述べた実施例の方法の派生とみなされる。固定のパラメータを持つフィルタが用いられるが、好ましくは、ハイパスフィルタは、投影経路の関数、特に投影経路の長さの関数であるパラメータを持つ。本発明の方法は、プレンオプティックカメラにより実施できる。拡張された焦点深度は、例えば顕微鏡及びデジタル病変に対して非常に有効である。単一の捕捉は、かなり又は更に全体のサンプル深度範囲を含むことができ、例えば顕微鏡のために正確なフォーカス動作のための必要性を減らす。データレート及びサンプリング時間は、減らされる。本発明の方法は、例えばコンピュータスクリーン周辺に置かれた、個別のカメラのアレイにより実施できる。これは、とりわけ、スクリーン表面内の仮想カメラ位置を可能にする。計算パワーに対する低減要求は、スクリーンの表面内の仮想視点の作成を単純化し、この結果、リアルタイムで実施することが可能になる。特に、各々がディスプレイ画面周辺に画像捕捉装置のアレイを有する2つのインタラクティブシステムが利用されるとき、本発明の方法は既知の方法が提供しない可能性を開く。インタラクティブシステムの1つに、他のシステムのための仮想カメラ位置に対する信号を供給させることにより逆もまた同じである、本当に視線を合わせたシミュレーションシステムが可能である。仮想カメラ位置に対する信号の少なくとも1つをシステムの前に座っている人の目の位置と一致させることは、本当に視線を合わせたシミュレーションを可能にする。本発明は、プログラムがコンピュータ上で動くとき、請求項1乃至12の何れか一項に記載の方法を実施するためのコンピュータ可読媒体に格納されたプログラムコード手段を有するコンピュータプログラムでも具現化される。本発明は、また、異なる視点からの画像を捕捉するための画像捕捉装置のアレイを有し、画像捕捉装置のアレイにより得られる入力画像から出力画像を構成するためのシステムであって、前記システムは、前記アレイの画像捕捉装置から画像データを捕捉するための手段を有し、前記システムは、シーンの複数の深度レイヤに基づいて個別の入力画像の対応する画素値の加算及び逆フィルタリングを実施するための手段を有する前記システムにおいて、前記システムは、仮想カメラ位置を表わす入力仮想カメラ位置信号により選択される仮想カメラ位置を供給するための手段を有し、前記加算及び逆フィルタリングを実施するための手段が、選択された前記仮想カメラ位置の関数として、前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置での仮想出力画像のための画像データを作るために実施することを特徴とする、システムでも具現化される。実施例において、前記加算及び逆フィルタリングのための手段は、前記個別の画像の前記入力画像データから、複数の深度で合成的にフォーカスされる複数の画像のための画像データを構成する手段と、統合されたぼやけた画像に対する画像データを形成するために様々な深度で前記合成的にフォーカスされる複数の画像の画像データを加算する手段と、前記個別の画像の入力画像データから、仮想画像に対する画像データを作るため点広がり逆関数を使用して、前記統合されたぼやけた画像をデコンボルーションするための手段とを有する。実施例において、システムは、a複数の深度に対して、前記仮想カメラ位置に前記個別の入力画像を位置合わせするために、特定の深度に依存して、且つ特定の画像捕捉装置の位置と前記仮想カメラ位置との間の距離に比例して、前記画像捕捉装置により供給される前記個別の入力画像をシフトさせるための手段と、b前記複数の深度で合成的にフォーカスされる画像の画像データを形成するために、各深度でシフトされた画像に対する画像データを加算するための手段と、c前記統合されたぼやけた画像を形成するために複数の合成的にフォーカスされる画像を加算するための手段と、d画素に対する予想されるぼやけカーネルを統合することにより点広がり関数を生成するための手段と、e前記入力された仮想カメラ位置信号により供給される仮想カメラ位置で前記仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするための手段とを有する。実施例において、前記加算及び逆フィルタリングを実施するための手段は、a前記アレイの各画像捕捉装置に対する仮想カメラ位置に関する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、b畳み込まれた画像を形成するためにそれぞれの投影経路と前記個別の画像を畳み込むための手段と、c前記統合されたぼやけた画像を形成するために畳み込まれた画像を加算するための手段と、d前記投影経路の統合により点広がり関数を生成するための手段と、e前記入力された仮想カメラ位置信号により供給される仮想カメラ位置で前記仮想出力画像に対する画像データを作るため、前記点広がり関数の逆関数を用いて、統合されたぼやけた画像をデコンボルーションするための手段とを有する。他の実施例において、前記加算及び逆フィルタリングを実施するための手段は、a前記アレイの各画像捕捉装置に対して仮想カメラ位置に関する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、b前記投影経路の統合により点広がり関数を生成するための手段と、c各画像に対して、それぞれの投影経路を点広がり逆関数と畳み込むための手段と、d畳み込まれた画像を供給する点広がり逆関数と経路との畳みこみで各画像を畳み込むための手段と、e前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するための手段とを有する。実施例において、前記加算及び逆フィルタリングを実施するための手段は、a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、bそれぞれの投影経路と前記個別の画像を畳み込むための手段と、c各画像捕捉装置の画像を前記投影経路と直交するハイパスフィルタと畳み込むための手段と、d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するための手段とを有する。実施例において、前記加算及び逆フィルタリングを実施するための手段は、a前記仮想カメラ位置に関して決定される、前記アレイの各画像捕捉装置に対する画像シフトの投影経路を生成するための手段であって、画像捕捉装置の画像を複数の深度で前記仮想カメラ位置と位置合わせするため、インパルス応答関数の並進の和である当該投影経路を生成するための手段と、bそれぞれの投影経路を当該投影経路と直交するハイパスフィルタと畳み込むことにより、各画像に対する畳み込みフィルタを生成するための手段と、c前記個別の入力画像をbで生成されたそれぞれの畳みこみフィルタと畳み込むための手段と、d前記入力仮想カメラ位置信号により供給される前記仮想カメラ位置で前記仮想出力画像に対する画像データを作るため畳み込まれた画像を加算するための手段とを有する。好ましくは、画像捕捉装置のアレイは、ディスプレイ画面の周辺のカメラのアレイであり、仮想カメラ位置はディスプレイ画面のポイントである。更に好ましくは、システムは、各サブシステムがディスプレイ画面の周辺のカメラのアレイを有する2つのインタラクティブな当該サブシステムを有し、前記サブシステムの1つのサブシステムのディスプレイ画面の仮想カメラ位置が、他方のサブシステムの観察者の目の位置を測定することにより前記他方のサブシステムにより決定される。本当に視線を合わせたシミュレーションは、このとき可能である。実施例においてシステムは、画像捕捉装置のアレイを有するプレンオプティックカメラを有する。実施例において、アレイは2つ以上のサブアレイに副分割されている。これら及び他の本発明の態様は、添付の図面を参照して例示的に詳細に説明されるだろう。これらの図は、一定の比率で描かれていない。一般に、同一の部品は、これらの図の同一参照符号により示される。ライトフィールドの概念の説明:レンズ平面とセンサ平面との間の光線の完全な収集は、しばしばライトフィールドと呼ばれ、これは、スタンフォード大学のマークリーボイにより紹介された用語である。ライトフィールドは、レンズ口径から出発してセンサ平面に達するまでの全ての光線の完全な強度についての記述である。ライトフィールドを規定する最も単純なやり方は、関数Lfs、t、u、vであり、ここで、u及びvはレンズ平面内の座標であり、s及びtは画像平面内の座標である。ライトフィールドについての十分な知識は、様々な深度での画像の十分な再構成を可能にする。図1は、特定のシンボルの規定を例示する。Lは、レンズ平面を表わし、Sはセンサ平面を表わす。座標s,tでの画素値は、そのスポットでの発光に正比例し、これは、全ての可能性がある角度から来る光の蓄積/統合であり、又は下記の式の形式となる。1ここで、統合積分はレンズ平面u,vにわたってとられる。画素値自体は、総ライトフィールドの直接的且つ十分な情報を提供しない。マイクロレンズアレイMを、最初はセンサ平面図2A及び図2Bを参照であった平面Sを配置し、センサPをマイクロレンズアレイの後ろのマイクロレンズアレイの焦点距離に配置することにより、直接Lfs、t、u、vを測定できるいわゆるプレンオプティックカメラを構成できる。このデザインでは、各マイクロレンズは、やって来る光線の強度及び入射角度を捕捉できるメタピクセルとみなされる。マイクロレンズアレイMは、低い空間解像度で光を画像センサPに再フォーカスさせる。このように、方向情報が、空間解像度を代償にして格納される。マイクロレンズアレイMの各マイクロレンズは、画像センサPの小さな部分に属し、これにより画像センサPが画像捕捉装置のアレイを形成し、各画像捕捉装置がマイクロレンズの1つによりなされる低い空間解像度の画像を捕捉する。Subは被写体を表わす。検出器平面での角度と位置との関数として強度を知ると、異なる開口/焦点設定で、画像を合成できる。寄与している光線の角度を制限するu、v平面の一部にわったてだけ統合することにより、例えばレンズの上半分からの光だけが寄与しているように、任意の開口に属している画像を合成できる。同様に、変換をライトフィールドLfs、t、u、vに最初に付与し、次にu、v平面にわたる統合ステップを付与することにより、異なる焦点面での画像を計算でき、言い換えると、異なる焦点面で画像を合成できて、十分な三次元情報を得ることができる。図3は、これを更に詳細に示す。レンズ平面LPu、v及びセンサ平面SPs、tの座標で記述される捕捉されたライトフィールドLfs、t、u、vが与えられると、レンズ平面LPから距離αFの新規な合成焦点面SFPs’、t’内でフォーカスされ、センサ平面SPから距離βFの座標u’、v’を持つ合成開口平面SAを通じて撮られる画像を計算できる。この状況は、図3に示される。以下の式を定めることにより、γ=αβ-1/α及びδ=αβ-1/β2合成された画像は、以下の一般式に従う。3ここで、α≠1はセンサ平面SP以外の合成焦点面SFPを示し、β≠1は最初のレンズ平面とは異なる合成開口平面を示す。統合におけるu,vの範囲の限定は円以外の開口の任意の形状を合成可能にすることに留意されたい。プレンオプティックカメラとカメラのアレイとの対応:単一のカメラ、すなわちプレンオプティックカメラを持つマイクロレンズのアレイと単一のレンズを持つカメラの拡張されたアレイとの間の対応がある。両方とも、画像捕捉装置のアレイを持つシステムであり、プレンオプティックカメラにおいて、画像捕捉装置のアレイは、マイクロレンズの各々を通って光を捕捉する画像センサの小さな部分のアレイにより、画像センサ内で形成される。単一のレンズを持つカメラの拡張アレイにおいて、カメラ自体が画像捕捉装置のアレイである。従って、プレンオプティックカメラのマイクロレンズアレイに対してこの明細書で説明されるように、様々な深度での合成開口技術及び生成再フォーカス画像は、拡張されたカメラアレイにも適用でき、またこの逆も成立する。しかしながら、プレンオプティックカメラとカメラのアレイとの大きな違いは、カメラのアレイがプレンオプティックカメラによりカバーされるより大きい領域にわたって分散できるということである。カメラの拡張されたアレイを有するシステムは、このとき、全体のカメラアレイと同じ大きさの開口を持つ単一のカメラとして機能し、これは、プレンオプティックカメラの開口より通常非常に大きい。大きな開口を持つことは、大きな実効的開口のため非常にシャープな画像が供給できるという点で、大きな利点を持つ。しかしながら、これは、被写界深度が非常に小さいという不利な点を持つ。よって、プレンオプティックカメラに対してより、更に充分な被写界深度を持つシャープな画像を提供することは、困難な作業である。カメラのアレイ:図4は、ポイントPを観察するカメラアレイの上面図を模式的に示す。カメラはピンホールカメラとして扱われ、この簡略化は、分析の実際的な値を制限することはない。各カメラの位置は、指数kk=1、2、3...でカメラセンターCkにより示され、カメラセンターは、カメラのピンホールの位置である。このピンホール又は一般的には光中心は、カメラの画像平面上の世界の透視投影の中心として機能する。各カメラの画像平面は、カメラセンターから焦点距離fに位置され、ピンホールの後ろの代わりの前方の画像平面の配置も、数学的に等価である。各カメラ画像Iks,tは、座標系s,tを持つ。原理的に、各カメラは、任意の位置、焦点距離及び向きを持つことができる。しかしながら、説明を簡単にするため、座標系u,vを持つ単一の平面にカメラが位置されると仮定し続ける。カメラセンターCkの座標は、Ck=uk,vkとして規定される。最初に、カメラが水平ラインに位置されると仮定する。焦点距離は同一であるとみなされ、これらのカメラは画像平面が一致するように前方に向かっている。これらの簡略化は、分析の一般的有効性を制限していない。図5は、観察されたポイントPを持つカメラC1の3次元印象を示し、P1は水平座標s1及び幾つかの任意の垂直座標t1、ここでt1=t2=t3とみなし、最初にカメラ位置が水平方向においてだけ異なる場合を考えるを持つ画像平面I1s,tのその投影を示す。合成再フォーカス:図6は、シフトされた画像の蓄積に基づく合成再フォーカスの概念を例示する。左に、3つの異なるカメラ画像、カメラ1に対するI1s,t、カメラ2に対するI2s,t、カメラ3に対するI3s,tが、それぞれ水平画像座標s1、s2及びs3での対象物の全く同一のポイントPの投影で示される。投影s1とs2との間の距離は、図6のΔsC1、C2により与えられる。投影s1とs3との間の距離は、ΔsC1、C3により与えられる。ポイントs1、s2及びs3は、距離ΔsC1、C2にわたってカメラC2の画像をシフトさせ、距離ΔsC1、C3にわたってカメラC3の画像をシフトさせることにより位置合わせされる。視差のため3つの投影されたポイント間の距離は、観察されたポイントPの距離に直接関係する。画像座標の差と距離との間の関係は、以下の式に従う。Δs=-Δuf/z4例えば、カメラC1とC2とを比較して、Δs=s2-s1及びΔu=u2-u1を規定し、ここで、u1及びu2は図4に示されるようにカメラセンターC1及びC2それぞれの水平座標である。視差シフトと対象物距離との間の線形関係は、スタック内の全ての画像、この例ではカメラ1、2及び3の画像が適切に揃えられる、すなわち、ポイントPの投影が一致するようにシフトされるときだけ、ポイントPが鋭く見えるように、水平方向及び垂直方向両方において有効である。位置合わせされた画像スタックの画素値の蓄積は、結果的に、ポイントPで合成的に再フォーカスされる画像になる。その上、視差シフトと対象物距離との間の線形関係のため、式4により示唆されるように、ポイントPと同じ距離を持つ全てのポイントは、合成的にフォーカスされる画像においてシャープに見える。この例では、カメラC1=u1,v1の位置は、他の全てのカメラに対する基準として暗に考えられていて、Δuk,Δvk=uk-u1,vk-v1。カメラC1に対する結果として、Δu1、Δv1=0、0。また、結果として、同じことが、その画像座標系に対して成り立ち、Δsk,Δtk=sk-s1,tk-t1。またカメラC1に対して、Δs1、Δt1=0、0。基準としてカメラセンターC1の位置を使用して、距離zでフォーカスされ合成された画像、I1、zs,tは、各画像IkをベクトルΔsk,ΔtkTで並進した後に、全てのカメラ画像蓄積から以下の式に従う。5ここで、Nはカメラの数であり、各並進ベクトルは、以下の式に従う。6表記Tはマトリックス又はベクトル転置操作を識別する。全てのフォーカス撮像へのアプリケーションを予想して、シフトされたデルタ関数での畳み込みに関する並進のプロセスを以下の式で表わすことにより、カメラ画像シフトのより形式的な表記をここで導入する。7ここで、表記は畳み込みを示し、8ここで、フィルタカーネルは、畳み込みの後ベクトルΔsk,ΔtkTにわたる出力画像フレームの並進された位置に入力データが現れるようにするシフトされたδ関数である。Ta,bs、t=δs-a,t-b9δ関数は、インパルス反応関数として、以下のように規定される。10式9によるフィルタカーネルのグラフィック描写が、図7に示される。最初は明らかに扱いにくいにもかかわらず、再フォーカス画像I1,zs,tの計算のため式5、6を組み合わせる。11上記式において、カメラC1の位置は、基準としてとられた。カメラC1を基準カメラとして選ぶ代わりに、式11は、合成的な再フォーカス画像Izが、基準位置として任意のカメラ位置を使用して計算できることを示す。この基準カメラ位置は、アレイの本当のカメラの何れかと一致する必要もない。C0=u0,v0として、基準カメラ中心RCCと呼ぶだろう。基準カメラ中心RCCの物理的重要性は、通常既存のカメラの平面内にある位置u0,v0に位置される仮想カメラの中心を記述するということである。このように、C0は、この仮想カメラの光中心として機能し、仮想カメラの画像平面上の透視投影の中心を定める。この仮想観察位置の任意の選択にもかかわらず、仮想カメラは、距離zに位置されるカメラ中心の平面に平行な平面上に合成フォーカスを保持する。発明の方法及びシステムは、限定されないが周辺カメラアレイを使用するとき、特に有効である。スクリーン周辺にあるカメラは、ディスプレイの周辺部の任意の位置に置かれる、新規な非既存のカメラからのカメラ画像を合成するための入力を提供する。これは、図8に示される。図8は、コンピュータディスプレイの周辺部に置かれる周辺カメラアレイの模式的正面図を示す。u,vとして示される座標は、アレイの平面内の各カメラの位置を示す。DPはディスプレイフレームを表わし、ADAは活性ディスプレイ領域を表わす。要約すると、仮想基準カメラ中心RCCがC0=u0,v0に置かれると仮定する場合、活性ディスプレイ領域において、距離zで合成的に再フォーカスされるとき、このカメラからの視界を計算できる。12図9は、一組のアレイカメラ画像Ikを用いて、仮想カメラ位置u0,v0から、合成的にフォーカスされた出力画像I0の計算のブロック図を与える。仮想カメラ位置は、ブロック図の入力であり、信号C0により表される。各画像シフトベクトルΔsk,Δtkは、式6によって規定される。図8は、一組のアレイカメラ画像IKを使用して、仮想カメラ位置u0,v0から、合成的にフォーカスされた出力画像I0の計算のブロック図を供給する。各画像シフトベクトルΔsk,Δtkは、式6によって規定される。仮想カメラ位置は、この方法のための入力である。畳み込みに基づいた画像並進の実行を使用して、式12を以下の式として書くことができる。13ここで、14畳み込みベースの実行を使用して、図10に示されるようなブロック図を構築する。図10は、一組のアレイカメラ画像Ikを使用して、仮想カメラ位置u0,v0から、合成的にフォーカスされた出力画像I0の計算のブロック図を示す。仮想カメラ位置は、ブロック図の入力であり、信号C0により表される。図は、式13及び式14による実行を示す。Δsk,Δtkにわたる各画像シフトは、式9によって規定されるカーネルTΔsk,Δtkでの畳み込みにより実施される。図9及び図10は、カメラのアレイの入力データを使用した再フォーカス画像を提供し、ここで、方法は入力として仮想カメラ位置RCC及び焦点距離zを持つ。結果として生じる画像データI0s,tの他の使用から独立して、図9及び図10に例示される方法自体が、新規な発明の方法及び斯様な方法が用いられる装置を提供することは注記される。カメラアレイの課題は、一般に、合成された画像の極めて小さい被写界深度である。これは、カメラアレイの寸法により決定される合成開口の大きな寸法に起因する。図11は、カメラのアレイによって収集されるライトフィールドデータが鼻左及び耳右に再フォーカスされた画像を示す。再フォーカスされた画像の各々に対して、被写界深度DoFが頭全体に対してあまりに小さいことは明らかである。充分な被写界深度DoFを持つ画像を得るために、従来技術として、カットアンドペースト方法、すなわち合成写真方法を使用できる。しかしながら、充分なDoFを持つ画像を作るために、シーンの深度モデルが必要とされる。深度マップで、出力画像の各ピクセルに対する再フォーカス距離が決定される。斯様な深度マップの推定は、計算的に厳しい作業である。更にまた、小さなエラーによって良く見えるアーチファクトが生じるので、推定された深度マップは十分に正確ではない。図12は、推定された深度マップを持つ全フォーカス画像を作成する試みを示す。深度推定の小さな誤りによってさえ可視のアーチファクトが生じることは明らかである。本発明は、全フォーカス撮像を可能にする他のルートをとる。本発明の方法は、カメラアレイの限られた焦点深度を取扱うが、これは明確な深度推定に基づかないし、焦点スタックデータの反復的な分類にも基づかない。本発明の方法は、別々のカメラ画像が焦点変動の間再結合されるので、別々のカメラ画像の各々の画素値の合成された蓄積の収集的な使用に基づく。カメラ画像当たりの特定の蓄積されたピクセルグループのこの特定の使用は、非常に拡張された被写界深度を持つカメラ画像を合成するための計算的に非常に効率的なやり方を提供する。これは、カメラ―アレイでの全フォーカス画像を作る新規なやり方を可能にする。上述されたように、カメラアレイとプレンオプティックカメラとの間の対応があるので、当該方法はプレンオプティックカメラセットアップに等しく適用できる。単一のカメラに対して後述されるように、焦点変化概念は、被写界深度を拡張可能にする。点光源、レンズ及びセンサからなる概念上のカメラモデルを考える。レンズは、画像平面で点光源からの光をフォーカスする。画像平面の位置は、点光源とレンズとの間の距離に依存する。センサ平面が画像平面と一致する場合、センサはシャープな画像を受信する。さもなければ、画像はセンサ上にぼやけて現れる図13乃至図15を参照。図13は、デフォーカスによる画像のぼやけを示す。レンズLによりフォーカスされる点光源PSに対する画像平面IPは、センサ平面SPと一致しない。図14は、センサとレンズとの間の距離を変化させる、掃引フォーカスを例示する。センサは、画像平面の前の位置から画像平面の後ろの位置まで移動し、よって、フォーカスを掃引する。図15は、レンズLの焦点距離を変化させる、掃引フォーカスを例示し、センサレーンSPは1つの位置にとどまるが、レンズLの焦点距離を変化させることにより、画像平面はセンサ平面の前の位置から後ろの位置へ移動される。従来の撮像では、センサの位置は固定されているので、特定の公称の距離にある対象物だけがセンサ上にシャープに現れる。他の距離にある対象物は、センサ上にデフォーカスで現れ、ここで、非焦点ぼやけの量はセンサと公称の画像平面との間の距離に比例する。いわゆる掃引フォーカスカメラにおいて、センサ平面は露出の間、画像平面の範囲にわたって掃引するか図14、又は、代わりに、画像平面はセンサ平面周辺の位置の範囲にわたって掃引する図15。従来のカメラとは対照的に、シャープなデータ及びぼやけたデータの混合が露出の間に蓄積するので、対象物がセンサ上に鋭く現れることができる単一の距離がない。蓄積されたぼやけは、対象物距離にかかわらず、画像の全ての対象物をぼやけて見せる。しかしながら、蓄積されたぼやけは、シーンの対象物の距離に仮想的に不変であるように見える。結果として、単一の空間不変の逆フィルタは、蓄積されたぼやけた画像からシャープな画像を回復させるのに十分である。回復された画像内の対象物は、カメラまでの距離にかかわらず、全てシャープに見える。掃引フォーカスカメラが画像をどのようにぼかすかについて良く理解するために、カメラから特定の距離での単一の点光源の撮像を考える。このとき、対象物までの距離からのぼやけ効果の依存性が考察される。以下に、掃引フォーカス概念の2つの異なる実行が考察される。第1の実行において、センサが光軸に沿って並進する図13を参照。第2の実行は、センサの軸並進がレンズの焦点距離の等価な変化により置き換えられる好ましくは固定された倍率を持つ可変焦点レンズの使用を有する図15を参照。両方の実行において、センサは、対象物が完全にフォーカスしている画像平面を通じて掃引する。よって、対象物は、1つの時点でだけフォーカスし、残りの捕捉時間の間、多かれ少なかれデフォーカスである。デフォーカスの量は、センサと画像平面との間の距離に正比例する図13。瞬時のぼやけは、ほとんどの場合ディスクであるレンズアパーチャの形状を持つ均一なカーネルとシャープな画像との畳み込みとして描かれる。センサが画像平面を通じて掃引するとき、ぼやけカーネルは空間的にスケーリングされる。カーネルの半径は、最初に、センサ平面と画像平面とが一致する位置で、実質的にゼロに減少し、その後再び増大する。以下において、ぼやけカーネルKの半径Rが時刻tで線形に変化し、出発ぼやけ半径及び終了ぼやけ半径が等しい線形フォーカス掃引が考察される。図16を参照されたい。図16を観察することにより、ぼやけている図が画像平面の方へ向かって指している2つの円錐の形状を持つことがわかる。システムがセンサ上に作る全体的ぼやけは、線形に増大する半径を持つディスクカーネルにわたる時間的統合である。このシステムカーネルの実例は、実効システムぼやけカーネルを示す図17及び対数スケールで実効システムぼやけカーネルを示す図18に与えられている。システムカーネルの形状は、シャープなフォーカス画像に対応するディラックデルタと従来のカメラの平坦なディスクデフォーカスカーネルとの中間であることがわかる。明らかに、この場合、最善の画像は単一の平坦な対象物に正確にカメラの焦点を合わせることにより得られるので、掃引焦点カメラは、従来のカメラ上の既知の距離で単一の平坦な対象物の撮像に対する何れの利点も提供しない。しかしながら、以下において、対象物までの正確な距離が知られていないとき、又は、シーン内にカメラまでの異なる距離にある幾つかの対象物があるとき、画像が対象となる全ての対象物のシャープな画像を提供するため充分な被写界深度を必要とするので利点が明白になることを示すだろう。従来のカメラに対して、デフォーカスの量は、画像平面までの距離で線形に増大する。カメラまでの1つの特定の距離にある対象物は、シャープに撮像されるが、対象物がカメラから更に離れたり近くになるにつれて、ぼやけが増大する。以下に、掃引焦点カメラ設計のぼやけの量が対象物とカメラとの距離の変化にそれほど影響されない、又は、換言すれば、レンズからの距離にかかわらず、任意の対象物に対してぼやけは多かれ少なかれ同じであることを示すだろう。対象物までの距離が公称の距離とは異なるが、依然掃引範囲までカバーされるすなわち、カメラは、掃引の間、正確に中間ではないが、対象物画像平面を横切る場合を考察する。これは、センサが実際の画像平面を横切るときの時間的オフセットに至るだろう。よって、実際の画像平面周辺の二重円錐ぼやけ図の形状は、同じままであるが、出発ぼやけ半径及び終了ぼやけ半径は異なる図19を参照。図20及び図21は、システムカーネルと、システムカーネルの対数を示す図16及び図17と同様である。システムカーネルは点光源により供給されるぼやけた画像であり、よって、関数はまた点広がり関数とも呼ばれ、すなわちポイントが仮想出力画像上にどのように広がるかの関数である。カメラまでの距離にかかわらず、各対象物が、ある特定の時間でシャープにフォーカスされるのが見え、更に、この時間の周りで同じぼやけ効果を経験するだろう。各時間内図18の水平スライスにおけるぼやけカーネルのエネルギーが一定であることに留意されたい。対象物が画像平面に近いとき、フィルタエネルギーは、シャープなフォーカスの瞬間がディラックデルタカーネルに一致するように非常に集中される。時空の統合領域のこの部分は、時間的統合の結果を支配する。従って、対象物は、カメラまでの距離にかかわらず、センサ上で同様にぼやける。システムカーネル間の小さな差は、画像の詳細を変更しないまま、比較的中央下部の空間的周波数だけに影響を及ぼす。掃引焦点カーネルのスペクトルは、非常に類似した振幅プロフィールを持つ。掃引焦点カーネルの最大の利点の1つは、逆のオペレーションが全ての空間的周波数のために存在するように、周波数応答でゼロを持たないということであり、よって、掃引カーネルが良好に規定された簡潔な逆フィルタを可能にする。標準カーネルに対して、これは可能ではない。図22及び図23は、この効果を例示する。図22は、以下に掃引焦点カメラに対するカーネルのスペクトル特性を例示する。2次元のカーネルのフーリエ変換が円形開口に対して等方性であるので、図22は、単一の空間方向に対応する変換の断面だけを示す。ラインは、掃引範囲の振幅とオフセットとの間の様々な比率に対応する。図23は、従来のカメラに対する同じカーネルのスペクトル特性を示す。掃引焦点カーネルのスペクトルが非常に同様の振幅プロフィールを持つ一方、従来のカメラの振幅プロフィールが全く異なることがわかる。従来のカメラにおいて、単一の関数で任意の正確さにカーネルの周波数挙動を特徴づけることは、可能ではない。掃引カメラにおいて、単一の関数を使用することは可能である。これは、効果的なデコンボルーションを可能にする。掃引焦点カメラのぼやけ効果がほとんど実際のカメラと対象物との距離に依存しないので、画像は同じ逆フィルタ、すなわち全く同一の点広がり逆関数を使用して効率的にぼやけを除くことができ、よって、局所的な深度推定の必要性を回避する。結果として、掃引途中でフォーカスされる対象物のぼやけカーネルに対応する同じ逆フィルタで、獲得され統合されたぼやけた画像を処理することにより非常に良好な結果を得ることが可能である。図24は、ゼロピクセルと30ピクセルとの間のぼやけ半径を通って掃引するカメラに対応する掃引焦点カーネルに対する逆フィルタの断面を例示する。図25は、公称の対象物平面ラインAから掃引振幅の0.8ラインBまでの対象物オフセットに対応する逆フィルタが実際に同じであることを示すことにより、これを確認する。これは、掃引焦点アプローチを説明する。発明者は、同じポジティブな効果がカメラアレイを使用して得られることに気が付いた。発明者は、プレンオプティックカメラで、よって、上述されたように、カメラの拡張されたアレイで、数値的に多くの再フォーカス画像を生成することが可能であることに気が付いた。多くの再フォーカス画像は、掃引カメラにより撮られる画像と数学的に同じであるか又は非常に類似している。再フォーカスは、例えば図9及び図10で上述されたように画像捕捉装置のアレイの様々な画像をシフトしたり加えたりすることになる。上述されたように、シフトは、再フォーカスがなされる平面の位置と比例し、特定の画像捕捉装置と視野との間の距離に比例する。よって、多くの再フォーカス画像を供給することは、フォーカス掃引動作と概念的に同じ又は類似している。掃引フォーカスアプローチによりなされるようにちょうど、統合された画像を提供するために焦点スタックを合成できる。斯様に合成された画像は、非常にぼやけている。再フォーカス画像の各々に対して、画像の一部だけが焦点が合っていて、すなわち、フォーカスしている平面に存在する対象物の部分に焦点が合っていて、対象物の残りは焦点がずれている。焦点スタックを統合すること、すなわち、全てのデータを加算することは、実質的に同じシステムカーネルで、すなわち実質的に同じ点広がり関数で、至る所でぼやける画像を提供する。このとき、ちょうど掃引焦点アプローチと同様に、画像をデコンボルーションし、合成オールフォーカス画像を得るために、同じ点広がり逆関数を使用できる。カメラのアレイを使用することにより単一のカメラは定位置を持つので、単一のカメラにより得られることができない本発明で使われる付加的な利点は、仮想カメラ位置を選択できることであり、すなわち、仮想カメラ位置からオールフォーカス画像を構築できることである。これは、定位置を持つ掃引焦点カメラが提供しない利点である。統合された画像は、単一の点広がり関数PSFでデコンボルーションできる。このデコンボルーションは、統合範囲にわたって、すなわち焦点スタックの被写界深度にわたって焦点が合っている画像に結果としてなる。DoFが非常に改良される一方で、深度マップが推定されることを必要としない。点広がり関数は、インパルス応答関数とも呼ばれている。点広がり関数は、インパルス関数のスメアを供給する。対象物の任意の画像は、対象物データとインパルス関数との畳み込みの結果である。焦点スタックを統合することにより作られる画像内の対象物のぼやけた画像は、再フォーカス及び統合の応答関数と対象物との畳み込みの結果である。デコンボルーションする計算が単純な1つの方法は、フーリエ空間で表される、第1及び第2の関数の畳み込みのフーリエ変換が、第1の関数のフーリエ変換と第2の関数のフーリエ変換との積であるという事実を利用することである。よって、デコンボルーションすることは、ぼやけた画像のフーリエ変換を分けることになり、前記画像は、点広がり関数のフーリエ変換により、対象物と点広がり関数との畳み込みにより形成される。このとき、対象物のフーリエ変換を得る。対象物のきれいになった画像は、逆フーリエ変換を結果として生じる関数に適用することにより得られる。フーリエ変換を適用し、関数を分けて、逆フーリエ変換を適用する必要があるので、計算によるぼやけを別にして対象物の鮮明な画像が結果である。例として、ディスプレイ画面の周りの4つのカメラを有するシステムが採用される。通常のカメラにおいて、デフォーカスぼやけは、全体の開口領域からの光線の線形蓄積であるとみなされる。同様のやり方で、カメラアレイの合成的にフォーカスされた画像は、別々の画像の線形蓄積から生じる。全体のアレイは、カメラパターンの形状及びアレイのサイズを持つ開口を持つ単一のカメラとして機能する。周辺カメラアレイの場合、開口は、矩形のアウトラインに沿って分散されたひとまとまりのドットである。合成焦点面にない対象物は、この離散的カーネルでぼやけ、矩形の形状で対象物の離散的コピーの蓄積を作る。この状況は図26及び図27に例示され、図26は、4つのカメラ画像I1、I2、I3及びI4と仮想カメラ位置C0で合成的にフォーカスされた画像I0とを持つアレイの画像の模式的な描写である。座標s,tは、各カメラフレームの対象物の位置三角形を示し、座標u,vはカメラアレイの平面内の各カメラセンターの位置丸を示す。位置u0,v0で示された仮想カメラの画像は、画像をシフトさせることなく、4つの入力画像の蓄積から起こるだろう。画像をシフトさせないことは、無限で仮想カメラ画像を合成的にフォーカスすることになる。三角形は、カメラ1、2、3及び4により撮られる画像の対象物の位置を示す。P’1、P’2等は、全4つの画像の蓄積としての出力画像内の前記対象物の位置を示す。仮想カメラ位置は、これら図のための入力である。図27は、出力画像への個別のカメラ寄与の位置の合成的な再フォーカスの効果を例示する。ポイントPの撮影距離対象物距離の正確な距離は、zpにより示される。上から下まで、合成焦点距離zは、無限z=∞、対象物距離よりずっと大きく、4つの画像が一致する焦点距離である対象物距離z=zpに等しく、また、対象物距離より小さく設定される。普通のデフォーカスぼやけの代わりに、誤ってフォーカスされた対象物は複数の重畳されたコピーとして現れる。カメラアレイからの画像で焦点掃引のプロセスを合成するとき、開口の離散的性質は、重畳されたコピーの画像の統合に結果としてなる。これは、点光源に対する合成焦点距離z>zpから本当の対象物距離z=zpまでにわたる合成焦点掃引から、結果として生じる出力画像を例示する図28に図示される。システムカーネルは、単一のポイントz=zpに収束する4つのラインにより形成される。zp<zからの掃引に対して、単一のポイントから分かれる4つのラインが、結果である。累積的な点広がり関数は、仮想カメラ位置u0、v0、カメラのアレイのカメラ位置u1,v1;u2,v2等及び数、並びに掃引zminからzmaxの関数である。6つのカメラに対して、累積的な点広がり関数は6つの腕を持ち、8つのカメラに対して8つの腕を持つ等である。図29は、仮想カメラ位置がディスプレイ画面の中心に非常に近い、離散的焦点ステップでの12のカメラアレイに対する結果として生じる累積的な点広がり関数を示す。各仮想カメラ位置及びカメラの各アレイに対して、累積的な点広がり関数が確立できる。ちょうど焦点掃引アプローチに対するように、点広がり関数は、対象物の実際の距離にそれほど依存せず、単一の点広がり逆関数が、高い正確さで全てのポイントに対して正確である画像をデコンボルーションするために用いられる。合成焦点掃引の結果を持つ出力画像を計算するプロセスは、様々なやり方で計算できる。第1の実行は、多くの焦点距離を通じてステップすることにあって、図30のブロック図に模式的に示されるように、計算を実施する。仮想カメラ位置は、ブロック図のための入力であって、仮想カメラ位置u0,v0を表わす信号C0により表わされる。ここで、異なってフォーカスされる画像の蓄積は、十分に小さな増加量を使用して、最も近い距離zminと最も遠い距離zmaxとの間の合成焦点距離の値の範囲を通ってステッピングすることにより得られる。図30において、別々の離散的距離値は、指標値z1、z2、...zMにより示される。点線の長方形のブロック図の部分は、合成的にフォーカスされた画像を供給するため図10に示されるようなスキームを表わす。I0z1s,tは焦点距離z1の合成的にフォーカスする画像を表わし、I0z2s,tは焦点距離z2の合成的にフォーカスする画像を表わす等である。は、加算器SUMで実施される、合成的に再フォーカスされる仮想カメラ画像の蓄積を表わす。これは、非常にぼやけた画像である。しかしながら、上述されたように、この非常にぼやけた画像を点広がり関数でデコンボルーションすることにより、合成オールフォーカス画像が得られる。は最終的な合成オールフォーカス画像を表わし、IPSFは累積的な点広がり関数の逆関数である。累積的な点広がり関数を決定するパラメータは、仮想カメラ位置C0=u0,v0及びzminからzmaxまでの合成焦点範囲である。ここでまた、仮想出力画像と呼ばれる、この合成オールフォーカス画像は、通常、データ信号の形式である。このデータ信号は、画像表示装置、又は画像データ処理装置へ送られる。仮想出力画像に、例えばメタデータとして、又はフラグの形式で、データ信号付加的情報が加えられる。斯様な付加的なデータは、好ましくは実施例において、仮想カメラ位置及び/又は注視方向を有する。中心を外れた仮想カメラ位置から撮られる人の画像は、中心仮想カメラ位置からアレイに関して、中心を外れた席にいる人から撮られる画像と、ほぼ区別がつかない。データ信号情報に関連する、又はデータ信号情報内にある仮想カメラ位置C0を供給することにより、識別可能である。他の付加的情報は、アレイ内のカメラの配置である。図30は、M個の合成的に再フォーカスされた画像の範囲の蓄積による合成焦点掃引の多少しらみつぶし的な計算を示す。変換のための様々な実施例があり、多くは結果的に線形オペレーションになる。説明を簡単にするため、累積的なPSFの逆関数での畳み込みを使用する変換が、ここで示される。第1の実行は、多くの焦点距離を通じてステッピングを行って、図30に示されるように、計算を実施する。ここで、異なったフォーカス画像の蓄積は、十分に小さな増加量を使用して、最も近い距離zminと最も遠い距離zmaxとの間の合成焦点距離の値の範囲を通じてステッピングを行うことにより得られる。図30において、別々の離散的距離値は、指標値z1、z2、...zMにより示される。全ての計算された距離に対する合成的にフォーカスされた画像の累算された合計が、により示される。これは、合成焦点掃引の後の累積された画像である。式13の畳み込みに基づいた並進を使用して、合成焦点掃引後の累積された画像は、以下の式から生じる。15Ta,bは、以下に繰り返し示される式9で早めに規定されていて、インパルス応答関数を並進する。Ta,bs、t=δs-aδt-b9並進ベクトルは、以下に繰り返し示される式14で前に規定されている。14畳み込みベースの実行を使用して、以下に示されるブロック図を構成する。充分な合成焦点距離値zを使用するとすると、累積的なPSFは、図28に示されるように、通常、星形状を採用し、星のスポークはアレイ内にあるカメラと同数である。オールフォーカス再構成は、様々なやり方でから得られる。掃引焦点カメラアレイの実効PSFの逆周波数応答との線形フィルタの畳み込みが、図30に示される。図28は、特定の距離の空間の単一のポイントの寄与が直線のラインとして投影される出力画像に、どのように合成焦点掃引が結果としてなるかを示す。各ラインは、単一のアレイのカメラに対応する。各ライン自体は、合成される焦点掃引システムの累積的なPSFへの寄与を形成する。合成焦点掃引に基づいた仮想カメラ画像の計算は、完全に線形である。これは、計算の結果を変えることなく、様々なオペレーションの順番を変えることができることを意味する。16Ta,bは、9で規定されたインパルス応答関数を並進する。各カメラ画像Ikは、ここで、インパルス応答関数を並進する和と畳み込まれ、一連のデルタ関数のラインを基本的に形成する。合成掃引が焦点の連続的変化に近い必要があるので、インパルス応答関数を並進する和は、単一のインパルス応答として処理できる連続した線を形成する。17ここで、開始ポイント及び終了ポイントそれぞれのベクトルΔsk、ΔtkT及びΔsk、ΔtkTは、合成焦点範囲の開始及び終了それぞれの値z及びzにより規定される。18焦点掃引は物理的又は合成的であって連続のプロセスなので、ライン形状の畳み込みに対するより正確な式は、リーマン統合の使用を必要とする。19よって、図30において、開始ポイントがアレイの個別のカメラからのデータであり、多くの合成的にフォーカスされた画像Ioziks,tが作られ、を作るために加算されるブロック図が示されるのに対し、図31に示されるように、ライン形状の畳み込みでアレイのカメラの画像データを畳み込むこともできる。ライン形状の畳み込みを使用することは、実際に、スタックの無限の数の再フォーカス画像を使用することに等しい方法になるので、経路Sを使用する後者の方法が、実際に、上記で明らかにされているように、無限の数の合成的にフォーカスされた画像を使用することに数学的に等しい。数学的に等価であるにもかかわらず、各画像が直接畳み込まれるので、計算速度が増大できる。経路Sがインパルス関数の並進の和である所において、当該方法は再フォーカス画像のスタックを使用することに等しい。経路畳み込みを使用することは、計算の速度を増大させる。図31は、式19で定められるフィルタカーネルを示す。図32は、この速い正確な実行のブロックスキームを示す。図32は、距離z=zからz=zまでの連続範囲で合成的にフォーカスされる合成オールフォーカス画像の効率的な計算を示す。からへ変換する様々な実施例があり、これらの多くは結果的に線形オペレーションになる。説明を簡単にするため、累積的なPSFの逆関数との畳み込みを使用している変換がここで示される。図30に模式的に示される第1の実施例は、以下の通りに説明できる。1カメラのアレイから又はプレンオプティックカメラからライトフィールドデータを繰り返し再フォーカスさせることにより、焦点スタックI0z1s,t、I0z2s,t等を作る。特定の深度にライトフィールドデータを再フォーカスさせる一つの技術は、視点から距離に比例して個別のカメラ画像をシフトさせ、その後シフトされた画像を加算することである。これは、各別個の焦点距離に対して繰り返される。2を形成する焦点スタック深度方向に沿った和を統合する。3例えばユニットパルスδを含む画像にステップ1及びステップ2を実施し、焦点スタックを統合することにより、点広がり関数PSFを生成する。4例えばFFT領域内での直接の分割、又はウィーナー若しくはルーシーリチャードソンデコンボルーションのような他のデコンボルーション方法で、ステップ3からPSFを用いて、ステップ2の統合された画像をデコンボルーションする。この第1の実施例は、非常に有効であるが、大きな計算パワーを必要とする。しかしながら、合成焦点掃引を含む仮想カメラ画像の計算は、完全に線形である。これは、上述されたように、計算の結果を変えることなく、様々なオペレーションの順番を変えることができることを意味する。十分な焦点スタックを生成し、その後統合する代わりに、統合された画像を直接生成することができ、これにより図32に図示されるように、多くの計算を節約する。斯様な実施例において、以下の通りに計算を再び順番付けできる。aアレイの各画像捕捉装置に対する仮想カメラ位置に関する画像シフトの投影経路を生成するステップ式19。b畳み込まれた画像Iconv1s,t,Iconv2s,tを形成するためにそれぞれの投影経路と前記個別の画像を畳み込むステップ。c前記統合されたぼやけた画像を形成するために畳み込まれた画像を加算するステップ。中間の結果は、前述の実施例のステップ1及びステップ2と同一である。上述されたように、これは一致ではないが、2つの実施例は数学的に等価であり、これらは数学的に同じ計算を表わし、計算の結果を変えずに、様々なオペレーションの順番が変えられた。しかしながら、後者の方法は、特に経路が連続関数であるとき、より速くより正確である。d前記投影経路の統合により点広がり関数を生成するステップ式17。e例えばFFT領域内での直接の分割、又はウィーナー若しくはルーシーリチャードソンデコンボルーションのような他のデコンボルーション方法で、点広がり逆関数を用いて、統合された画像をデコンボルーションするステップ。この第2の実施例のステップcにおいて供給される統合された画像は、第1の実施例のステップbの統合された画像に対応し、すなわち、これは、十分な焦点スタック自体がなされなかった場合であっても様々な深度で再フォーカスされた画像のスタックを統合することにより作られる画像に対応する。図33は、12台のカメラに対する投影経路PPを例示し、中心仮想カメラ位置に対して、左側のグラフ、中心でない仮想カメラ位置に対して、右側のグラフを示す。仮想カメラ位置は、円で示される。各経路上に統合は等しく、よって、より短い経路は、より高い振幅を持つ。図33は、また、2つの仮想カメラ位置に対する点広がり関数PSFを例示し、最後に左側の一番下で、中央に置かれた仮想カメラ位置に対する点広がり関数の等角図を例示する。仮想カメラ位置がカメラのアレイに関して定められ、経路は仮想カメラ位置に関して定められることがわかる。十分な焦点スタックを生成し、その後統合する代わりに、アレイの画像捕捉装置からの個別の画像は、それぞれの投影経路で畳み込まれる。結果として生成された画像は、あたかも十分な焦点スタックが作られて、その後統合されたかのような画像である。第2の実施例による方法は、第1の実施例と比較して、必要な計算の数を強力に低減する。図32に例示される第2の実施例は、代替の必要としているより少ないコンピュータパワーのために、図30に図示されるように、様々な深度で再フォーカスされた画像のスタックを統合することにより画像を作ることに対応する画像を供給するルートを供給する。次のステップ、点広がり逆関数IPSFを使用するデコンボルーションは、第1及び第2の実施例両方の部分である。第2の実施例は、より少ない計算パワーしか必要としないので、このことが重要であるシステム、装置又は状況に対して特定の関連がある。画像間の時間は制限されているので、リアルタイムアプリケーションは、これらの一つを形成する。この方法は、また、その速度のおかげで、特に3Dアプリケーションに適している。仮想カメラ位置u0,v0は、当該方法のための入力であり、任意の位置に選ばれる。よって、わずかに異なるカメラ位置から2つの画像を作ることも可能であり、これによって、オール焦点左目及び右目画像を作ることができる。これは、本発明の実施例の何れにとっても真実であるが、少ない処理パワーが必要とされる実施例によりよく適している。異なるカメラ位置からの2つ以上のオールフォーカス画像は、カメラの同じアレイからの同一データから作ることができる。これは、同一データを並列処理することによりできる。アレイが比較的多くの数のカメラを有する実施例において、実施例では、異なる視点からの画像を供給するために、アレイは、2つのサブアレイに分割される。例えば、アレイが16台のカメラを持つ実施例では、そのうちの8台は、右目カメラ位置からオールフォーカス画像を作り、残りの8台は左目カメラ位置からオールフォーカス画像を作るために使用できる。代わりに、カメラが高いフレームレートで画像を記録する実施例において、奇数フレームは一方のタイプの画像を作り、偶数フレームは他方のタイプの画像を作るために用いられる。図30及び図32は、焦点スタックに対応する画像が作られるスキームを提供する。この画像は、その後デコンボルーションされる。使用される点広がり関数は、選択されるカメラ位置及び焦点範囲に依存する。点広がり関数は、各仮想カメラ位置u0,v0及び焦点範囲zminからzmaxまでに対して計算されるか、又は、代わりに、点広がり関数のためのパラメータが仮想カメラ位置及び焦点範囲の関数として与えられるテーブルが使用できる。使用されるカメラがパラメータでもある実施例において、点広がり関数は、使用されるカメラの関数である。用いられるべきカメラの選択は、多くのアプリケーションに対して有用である。サブアレイが画像の一方を生成するために使われ、他のサブアレイが画像の他方を生成するために使われる左右画像のアプリケーション。使用されるカメラの数が、規定されたシャープな画像を作るために選択できる高解像度-低解像のアプリケーション。これは、必要な計算パワー及び利用可能な計算パワーのバランスをとるために有利である。一つ以上のカメラの故障を考慮すること。アレイがx台のカメラを有し、点広がり関数は、全てのカメラが機能していると仮定している場合、これらカメラの1台のカメラのデータの損失は、完全に正しくない点広がり関数に至るだろう。多数のカメラが用いられる所で、これは画像品質の認識可能なロスには多分至らないだろう。しかしながら、カメラの機能を調べて、使用中のカメラに点広がり関数を採用することにより、一つ以上のカメラが故障する場合に、より良好な結果が得られることができる。これらの実施例の何れの実施例においても、システムは、アレイの個別のカメラより高い解像度で、出力画像を生成できる。付加的なシャープさから利益を享受するために、カメラ画像は、好ましくはサンプリング偽信号を呈する。これらのカメラ画像は、ピクセル反復によってアップスケールされる。システムの残りは、他の実施例のものに等しい。X―Yステージに取り付けられるカメラを用いて、再構成方法を検証した。このセットアップで、カメラの最適な数及び配置を評価できる。以下は、現在の実行からの幾つかのサンプル画像である。これは、比較的低い解像度カメラ画像のアレイから高解像度画像を得ることを可能にする。図30及び図32のスキーム又は、他の任意のスキームとの違いは、画像データを入力する前に、カメラ画像がピクセル反復によりアップスケールされるということであり、よって例えば、10241024データを20482048ピクセルのアレイにし、各ピクセルが2倍になる。各個別のカメラに対する解像度増大は、もちろん偽であるが、最終画像の解像度の増大の効果は真である。上記例において、仮想カメラ位置u0、v0が選択される。ライトフィールドの概念は、仮想カメラ位置を選択することとは別に、注視方向を選択可能にする。カメラのアレイからの全体の情報は、特定の注視方向を見ているアレイの各カメラへ仮想カメラが割り当てられるように、再編成でき、すなわち、特定の注視方向を見ているカメラのための画像データを作るための変換がデータに適用される。このとき、これらのカメラデータは、図30及び図32に図示されるように、スキームのための入力である。この結果は、合成的にフォーカスされた画像が、領域を持つ角度の下で構成される、又は、換言すれば、焦点スタックは注視方向を持つということと、結果として生じる画像は、選択された注視方向を見ている仮想カメラ位置からの画像であるということとである。どのように仮想カメラ位置に対する画像を合成するべきかが上述されている。以下では、仮想カメラの位置を決定又は選択するための幾つかの方法、及び本発明の可能性が利用されるシステムが与えられる。顕微鏡:仮想カメラは、最初に視野の中央に配置される。位置は、その後、ユーザ制御で修正できる対象物の周りを見るために。これらのシステムにおいて、システムは、仮想カメラ位置の入力のための手段を有する。3D可能なスクリーンと組み合わせて、2つ以上の視野を生成し、これにより立体視を提供することが好ましい。好ましくは、ユーザは、3D効果を最適化するため視野間の分離の量を調整できる。これらのシステムにおいて、システムは、2つの仮想カメラ位置間の違いを生成するための入力を有する。同じ好ましい実施例すなわち、視点及び立体視をを選択するは、外科医がカメラ画像に基づいて処置するミクロ手術のようなシステムのためにも非常に有効である。同じことが、遠隔で危険物が扱われなければならないシステムに対して当てはまる。システムは、オペレータが視点を選択し、リアルタイムで正確な3Dオールフォーカス画像を得ることができる。テレビ会議テレプレゼンスセットアップにおいて、対話の各参加者は、誰がアドレスしているかを知るために、自然なアイコンタクトを成し遂げることは重要である。例えば、仮想円卓周辺に参加者を配置することができるので、トポロジはスクリーン上へのマッピングのために簡単である図34A及び図34Bを参照。各参加者は、スクリーン上の各参加者の頭好ましくは目に対応する仮想カメラ位置から生成される、他の加入者へ、ビデオストリームを送る。このように、システムAがシステムBへストリームABシステムA上のBのスクリーン位置の仮想カメラを送り、システムCへストリームACディスプレイA上のCのスクリーン位置の仮想カメラを送る。図34Aは、非常に模式的なセットアップを与え、図34Bは、より詳細を示す。システムAからシステムB及びCへそれぞれ送られる画像データに対してu0,v0B、u0,v0Cそれぞれで図34Bに示される仮想カメラ位置は、ディスプレイA上の人B及びCの頭目の位置に基づいて、システムAにより決定される。目の決定された位置は、信号C0B及びC0Cを提供し、ここで、これらの信号はAのスクリーン上で、それぞれBの目及びCの目の位置を示す。Aのシステムは、視点u0,v0B、すなわちBの目から見られる仮想像を作るために入力信号C0Bを使用し、システムBへ仮想出力画像のためのデータを送る。システムAは、すなわちu0,v0Bから見られる仮想像をシステムBへ送る。システムAの前の人が人Bの目のスクリーンを見るとき、人Bは、人Aとの直接のアイコンタクトに気付くだろう。システムAは、すなわちu0,v0Cから見られる仮想像をシステムCへ送る。人Cは直接のアイコンタクトに気付かないだろう。全ての必要なオペレーションがシステムAで実施できるので、本発明のこの実施例において、これは既存の通信会議システムに対して旧版互換性を持つ、すなわち、斯様な実施例において、遠隔参加者B及びCだけが本当のアイコンタクトを経験できるが、B及びCは従来のシステムの前に着席できる。しかしながら、全ての参加者A、B及びCが本発明のような仮想カメラ位置を生成するための手段を使用するとき、アイコンタクトの方向は、一貫したやり方で全ての人により知覚される。仮想カメラ位置は、好ましくは、画面上に現れるので受信者の目の位置と一致する。この位置は、手動で選択できるか、又は最も好ましくは、ビオラ及びジョーンズにより提案されるPViolaandMJonesRapidobjectdetectionusingaboostedcascadeofsimplefeaturesinProcCVPR2001を参照ようなコンピュータビジョンアルゴリズムにより自動的に検出できる。何れかの人間のインタラクションを必要とすることなく、目の自動的な動的検出が追跡でき、よって、目の自動更新される位置及び動きは、ライブのアイコンタクトを本当に与える。顔認識アルゴリズムが、目検出、又は例えば角膜若しくは網膜上の光の反射により目の位置をマークするシステムのために用いられる。全ての参加者が仮想カメラ位置を生成するための手段の前で着席するとき、固有の視点が各参加者に対して生成されるので、誰もが誰が会話中に誰とアドレスしているかを知り、本当のアイコンタクトが可能である。また、参加者の1人がテーブルのヘッドにいる会議を再形成することもできる。この場合、1人の参加者から他の参加者への情報ストリームは、テーブルの参加者の位置に関する情報を有しなければならないか、又は、テーブル配置が設定されるべきである。代わりに、会議の間に、例えば一時的に事項を説明している人をテーブルのヘッドに配置するために、テーブル座席は、変えられる。システムは、参加者又は秘書のような外部の人の1人がテレビ会議の参加者の席を制御する手段を有する。円形又は矩形のテーブルを使用する代わりに、法廷ルーム設定又はレクチャールーム設定のような異なる設定も使用できる。実施例のシステムは、会議中又は会議前に、座席の配置だけでなく設定を選択する手段を有する。3Dスクリーンステレオスクリーンのために、各目の位置に一つの2つの視点が生成される。正確な目の位置がない場合、頭部位置又は、スクリーン/窓の中心が採用でき、仮想カメラ位置を実現するため小さなオフセットが、加算/減算される。標準の眼間距離は、ほぼ7.5cmである。実施例のシステムは、頭部位置を決めるための手段を有する。自動立体的なスクリーンのために、表示視点に対応する複数の視点が生成できる。ここでは同様に、各視点を作るために、位置オフセットが加算/減算される。図30及び図32のブロックスキームにより例示される上記2つの実施例は、点広がり関数PSFを使用することに基づき、ここで、第2の実施例は、少ない計算パワーしか必要とせず、ある意味では、第1の実施例の計算ショートカットを提供する。システムの様々な実施例が説明される。発明者は、同じ通常の概念に基づいて、可能な限りの他の計算を簡略化したものがあると気が付いた。図32を参照すると、逆フィルタ蓄積PSFの逆関数との畳み込み及びカメラ特有のカーネルを画像データとの単一の畳み込みに結合できる。このように、固有のフィルタカーネルが、カメラごとに生成される。合成オールフォーカス画像は、フィルタリングされたアレイカメラ画像の和から起こる。このスキームは、図35に例示される。利点は、単一の畳み込みが必要とされることである。畳み込み及び加算は交換可能であり、よって、畳み込み及び加算のシーケンスは変更できる。このように、IiSiIPSF=SiIPSFIiであり、ここで、Iiが画像であり、データSiは経路にわたる畳み込みであり、IPSFは点広がり逆関数である。合成オールフォーカス画像は、フィルタリングされたアレイカメラの和から、直接生じる。効果的に、図32及び図35のスキームは、数学的に同じである。SiIPSFは、画像データに依存していない。更にワンステップ進むことができる。カメラ特有のコンボリューションカーネルSiIPSFは、一組のカメラ特有の、回転される1D畳み込みにより近似できる。この実行は、個別のコンボリューションカーネルSiIPSFの近似の可分性に基づく。各2Dコンボリューションカーネルは、それぞれのカメラ位置に応じて回転される、一対の直交する1DコンボリューションカーネルSi及びHPiで近似される。フィルタカーネルS1...SNすなわち投影経路は、回転される1Dボックスフィルタとして記述され、すなわちSi=RiSiと記述でき、ここでSiは1Dカーネルを示し、Riは回転マトリックスを示す。ボックスフィルタは、その経路に沿って高周波を減衰させ、従って、この方向のIPSFの効果ハイパス挙動を持つを抑制する。ボックスフィルタSiで畳み込まれたIPSFの残りのハイパス効果は、主にボックスフィルタすなわち投影経路に対して直交であり、回転される1DカーネルRiHPiに単純化でき、ここで、HPiは1Dカーネルを示す。要約すると以下の通りである。SiIPSFは、回転される1対の1DコンボリューションカーネルSi及びHPiで近似される。20ここで、Riはカメラ位置ui、vi、u0、v0から導出される回転マトリックスを示す。回転角度φは以下の式により与えられる。tanφi=vi-v0/ui-u021ボックスフィルタSi投影経路の長さは以下の式により与えられる。22ボックスフィルタSiの大きさは、1/Siである。コンボリューションカーネルHPiは、ハイパスフィルタ挙動を持ち、周波数応答として近似的に|f|周波数の絶対値を生じ、V字型の大きさの応答を引き起こす。カーネルHPiは、以下の方法の1つにより導出できる。IPSFのRadon変換のようなカメラアングルφに沿って、生成されたIPSFを統合する。Radonと同等とみなし、好ましくはフィルタ長Siを持つRam―Lakフィルタを使用する。一定のハイパスフィルタ、例えば[-25―2]を使用する。Ri―1SiIPSFの単一の値分解。Si及びHPiが水平及び垂直軸に位置合わせされるように、回転マトリックスRi―1は、2Dカーネルを回転させるために用いられるので、これによって、分解を単純化する。周波数ベースの方法フーリエ空間でスライスする試行錯誤方法ももちろん可能であり、ここで、厳密な方法の結果は近似の方法と比較され、フィルタのパラメータが精細に調整される。2つの畳み込みは、任意のシーケンスで実施でき、すなわち最初に投影経路との畳み込みと、次に投影経路と直交するフィルタHPiとの畳み込みを実行するか、又は逆もまた同じである。図36は、ハイパスフィルタHPとの畳み込みが、それぞれの経路Sとの畳み込みの後、実施されるブロックスキームを例示する。図36は、フィルタリングされた逆投影に基づいて、最小の焦点距離から最大の焦点距離まで、距離の連続的範囲で合成的にフォーカスされる合成オールフォーカス画像の速い近似計算を例示する。第1の態様と同様に、畳み込みのシーケンスは変更できる。よって、本発明のこの態様は、様々な実施例で実施できる。第1の実施例は、以下により与えられる。aアレイの各画像捕捉装置に対する画像シフトの投影経路を生成すること。b個別のカメラ画像をそれぞれの投影経路と畳み込むこと。cその後、各画像捕捉装置の画像を投影経路と直交するハイパスフィルタと畳み込むこと。これは、図36に例示される実施例である。第2の実施例は、以下により与えられる。aアレイの各画像捕捉装置に対する画像シフトの投影経路を生成すること。b各画像捕捉装置の画像を投影経路と直交するハイパスフィルタと畳み込むこと。cその後、個別のカメラ画像をそれぞれの投影経路と畳み込むこと。これは、畳み込みのシーケンスを切り換えたことになる。第3実施例は、以下により与えられる。aアレイの各画像捕捉装置に対する画像シフトの投影経路を生成すること。当該経路は、アレイに関する仮想カメラ位置に関して決定される。bそれぞれの投影経路を当該経路に直交するハイパスフィルタと畳み込むことにより各画像に対する畳み込みフィルタを生成すること。c個別のカメラ画像をbで生成されたそれぞれのフィルタと畳み込むこと。この実施例は、図35と類似している。本発明のこの態様の利点は、方法が非常に急速であるという事実であり、不利な点は計算が概算であるということである。これは、幾らかの正確さを犠牲にして、更に計算パワーを低減する。固定のパラメータを持つフィルタが使用できるが、好ましくは、ハイパスフィルタは、投影経路、特に投影経路の長さの関数であるパラメータを持つ。畳み込みカーネルが一組の回転される1Dフィルタへ分解されることは、投影経路及びハイパスフィルタが本当に1次元であるように、回転を取り除くことにより、更にシステムを最適化するために意味がある。画像を回転させることは計算的により高価なようであるが、斯様なオペレーションは現代のグラフィックスカードで容易に利用可能であり、ここで、ほとんど計算労力を必要とせずに、コストは単純な座標変換へ減少される一方で、フィルタリングオペレーションのための後続の計算労力は強く低減される。結果として生じるスキームは、図37に例示される。図37において、ブロックRiSi及びRiHPは、純粋な水平及び垂直1Dフィルタであることを注記する。図37は、好ましい実施例を例示する。図38は、本発明による方法の結果を例示する。上半分は、ディスプレイ画面の周辺の24台のカメラにより撮られる24個の画像を模式的に示す。下半分は、オールフォーカス画像が得られることを示し、様々な仮想カメラ位置から撮られる画像が示され、それぞれ中央の仮想カメラ位置、左右の仮想カメラ位置に対する画像である。図39は、ディスプレイ画面周辺の16台のカメラのアレイを持つシステム印象を提供する。大きな窓に描写された受信している参加者は、仮想図視点VPから、ビデオストリームを受信する。注視されるとき、参加者は直接のアイコンタクトに気が付く。本発明の方法は、プレンオプティックカメラにより実施できる。拡張される焦点深度は、例えば顕微鏡及びデジタル病理学に対して非常に有効である。単一の捕捉は、大部分又は全体のサンプル深度範囲を含むことができ、例えば顕微鏡の正確なフォーカシングのニーズを減らす。データレート及びサンプリング時間が低減される。本発明の方法は、例えばコンピュータスクリーン周辺にある個別のカメラのアレイによっても実施できる。これは、とりわけ、スクリーン表面内の仮想カメラ位置を可能にする。計算パワーの低減された要求は、スクリーンの表面内の仮想視点の作成を単純化し、その結果、リアルタイムでの実施を可能にする。好ましい実施例において、スクリーンの周りのカメラの数は、少なくとも4台、好ましくは8台以上である。PSFの正確な決定及び仮想視点の正確な決定のため、4台以上のカメラが有効である。均一に分散された比較的多くの数のカメラが使用される実施例において、方法は、実施例において上述されたようにカメラアレイの2つのサブセットを交互に使用することを有する。2つのサブセットがわずかに異なる仮想視点を持つ場合、リアルタイムオール焦点3D記録が可能である。本発明は、所与の例示的な実施例に制限されない。請求項において、括弧内の何れの参照符号も、請求項を制限するものとして解釈されない。用語有するは、請求項にリストされるもの以外の別の要素又はステップの存在を除外しない。本発明は、上述されたように様々な異なる好ましい実施例の特徴の組合せにより実行されてもよい。カメラは、画像を記録するための任意の装置である。これは、通信のような他の目的にも使用される装置の一部でもよいし、斯様な通信装置に取り付けられる、一体化される、又は協働する装置の一部でもよい。方法のステップを実施するための手段は、ハードウェア、ソフトウェア又はこれらの任意の組み合わせの形でもよい。本発明の様々な実施例によるシステム及び装置において、方法のステップを実施するための手段が供給される。明細書又は請求項の方法のステップの一つ以上のステップを実施するための手段と記載されているところで、当該手段は、ステップの全てを実施するための複合手段、又は、各々が方法のステップの一つ以上を実施するための手段である多くの手段に対する略語でもよい。よって、統合するための手段は、ソフトウェア、ハードウェア又はこれらの組み合わせの何れかとして統合器も使われる。生成するための手段は生成のための生成器と呼ばれ、畳み込むための手段は畳み込み器と呼ばれ、加算するための手段は加算器と呼ばれ、構成するための手段は構成器と呼ばれ、デコンボルーションするための手段はデコンボルバーと呼ばれ、本発明の概念の範囲内で、これらは、ソフトウェア、ハードウェア又は他の任意のウェアの一部でもよい。様々な手段は、説明の容易さのために別々であるとして説明された。これは、本発明が別々のユニットである手段に限定されることを意味するわけではなく、これらの機能は、合成された装置又はソフトウェアの部分に組み込まれることができる。方法及びシステムが利用される所で、何れの手段も、カメラの近く若しくはカメラ内に、又はカメラが接続されるシーンの近くの装置にあることができる。しかしながら、システムが遠隔で制御されるので、画像データは、遠隔でも分析又は処理できる。データを扱うための手段は、何れの態様でも、同じ位置に位置されている必要はない。データ処置の幾つかは、特に図35のような、カメラからのデータが単一の畳み込みで畳み込まれる実施例において、カメラに位置される又はカメラ近くの手段により実施できるのに対し、和すなわち加算のようなより通常のデータ処置はCPUの手段により実施できる。個別のカメラの画像データが処置を受け、例えばそれぞれの経路Sで個別の画像を畳み込む実施例は、本発明の斯様な実施例において、これらの処置が、カメラ付近の、カメラにアタッチされた、又はカメラと一体化された手段によりなされる画像を捕捉した後、直ちに実施できるので、この点で有利である。これは、オペレーションの速度を増大する。本発明は、プログラムがコンピュータで動くとき、本発明による方法を実施するためのプログラムコード手段を有するコンピュータプログラム、本発明による方法を実施するためのコンピュータ可読媒体に格納されるプログラムコード手段を有するコンピュータプログラムにも関する。各画像捕捉装置という記載がある所では、本発明の方法で用いられる及び/又はシステムでアクティブである各装置が意味される。カメラの大きなアレイが例えばディスプレイ画面周辺に存在するとき、アレイはサブアレイに副分割され、一つ以上のサブアレイが本発明を実施するが、必ずしも本発明の同じ実施例でなくてもよい。システムがN個の画像捕捉装置のアレイを有するとき、例えば収集され処理及び/又は送られなければならないデータの量を減らすために、画像捕捉装置の一部M<Nだけが使用されることも可能である。これは、意図された受信装置から受け取られるデータに応じてなされてもよい。例えば、仮想出力画像が限られた解像度だけを持つ例えば携帯機器のような装置に送られるべき場合、高品質画像を生成するためのニーズがなく、受信側で限られた解像度だけが利用可能で、よって、画像を供給する方法で使用される画像捕捉装置の数が制限されてもよいとすると、例えばディスプレイ画面周辺のカメラの半分又は1/4だけ、例えば16台のうち8台だけを使用してもよい。要約すると、本発明は、以下のように説明できる。画像捕捉装置のアレイから仮想出力画像を供給するための方法及びシステムにおいて、画像データI1s,t、I2s,tは、装置C1、C2からとられる。この画像データは、関数、例えば経路Sで画像データI1s,t、I2s,tを畳みこみ、その後、加算SUMの後又は前で、オールフォーカス画像データを作るために、これらを、点広がり逆関数IPSF又はそれと等価若しくは同様のフィルタHPでデコンボルーションすることにより処理される。これは、位置が入力方法及びシステムを形成する当該仮想カメラ位置に関してなされる。特に、2つ以上のインタラクティブ副システムが用いられるとき、当該方法及びシステムは有利である。本発明は、このとき、リアルタイムの現実的なアイコンタクトシミュレーションを可能にする。"