(57)【要約】【課題】カメラシステムは、あるシーンの複数の光学特性を複数の分解能で取得する。【解決手段】このカメラシステムは、エッジによって接続された複数のノードを有するツリーとして配置された複数の光学要素を含む。ノードは、単一の光学中心を共有する光学要素を表し、エッジはノード間の光路を表す。ツリーは以下の構造を有する。すなわち、単一のルートノードが、シーンから生じるプレノプティックフィールドを取得し、単一の子ノードを有するノードがフィルタ、レンズ、絞り、およびシャッターを表し、複数の子ノードを有するノードがビームスプリッタを表し、リーフノードがイメージングセンサを表す。さらに、ルーフノードから各リーフノードまでの光路の長さは等しくすることができる。【選択図】図１
2006276863.tif 000002
【特許請求の範囲】
【請求項１】
あるシーンの複数の光学特性を複数の分解能で取得するカメラシステムであって、
エッジによって接続された複数のノードを有するツリーとして配置される複数の光学要素を備え、
前記ノードは、単一の光学中心を共有する光学要素を表し、
前記エッジは、前記ノード間の光路を表し、
前記ツリーは、
単一のルートノードと、
フィルタ、レンズ、絞り、およびシャッターを表す単一の子ノードを有するノードと、
ビームスプリッタを表す複数の子ノードを有するノードと、
イメージングセンサを表すリーフノードと
をさらに含む、あるシーンの複数の光学特性を複数の分解能で取得するカメラシステム。
【請求項２】
前記ルートノードから各リーフノードまでの各光路の全長が等しい請求項１に記載のカメラシステム。
【請求項３】
前記ルートノードから各リーフノードまでの各光路の全長が異なる請求項１に記載のカメラシステム。
【請求項４】
前記イメージングセンサは、一組の画像を同期して取得し、該一組の画像は、単一の出力画像に合成される請求項１に記載のカメラシステム。
【請求項５】
前記イメージングセンサは、一組のビデオを同期して取得し、該一組のビデオは、単一の出力ビデオに合成される請求項１に記載のカメラシステム。
【請求項６】
前記イメージングセンサは、画像を複数の光学特性の複数の分解能で同時に取得する請求項１に記載のカメラシステム。
【請求項７】
前記複数の分解能は、空間分解能および時間分解能を含む請求項６に記載のカメラシステム。
【請求項８】
前記イメージングセンサは、あるシーンの一組の画像を同期して取得し、該一組の画像は、前記シーンの複数の光学特性を複数の分解能で表す単一の出力画像に合成される、請求項１に記載のカメラシステム。
【請求項９】
あるシーンから生じるプレノプティックフィールドが前記ツリーの前記ルートにおいて前記カメラシステムに入る請求項１に記載のカメラシステム。
【請求項１０】
前記ルートノードから前記リーフノードまでの前記光路に沿った内部ノードの数で表される前記ツリーの深さは、光路ごとに異なる請求項１に記載のカメラシステム。
【請求項１１】
前記複数の分解能は、焦点深度分解能を含む請求項６に記載のカメラシステム。
【請求項１２】
前記複数の分解能は、絞り分解能を含む請求項６に記載のカメラシステム。
【請求項１３】
前記ツリーは、均衡がとれている請求項１に記載のカメラシステム。
【請求項１４】
前記ツリーは、不均衡である請求項１に記載のカメラシステム。
【請求項１５】
前記複数の分解能は、波長分解能を含む請求項１に記載のカメラシステム。
【請求項１６】
前記複数の分解能は、輝度分解能を含む請求項１に記載のカメラシステム。
【請求項１７】
前記複数の分解能は、複素位相分解能を含む請求項１に記載のカメラシステム。
【請求項１８】
前記複数の分解能は、偏光分解能を含む請求項１に記載のカメラシステム。
【請求項１９】
前記複数の分解能は、波長分解能および焦点深度分解能を含む請求項１に記載のカメラシステム。
【請求項２０】
前記出力画像は、高ダイナミックレンジ画像である請求項４に記載のカメラシステム。
【請求項２１】
前記複数のビデオの露出時間およびフレームレートは、互いに独立している請求項５に記載のカメラシステム。
【請求項２２】
前記一組の画像は、並列処理される請求項４に記載のカメラシステム。
【請求項２３】
前記出力ビデオは、高速ビデオとマルチスペクトルビデオを合成する請求項４に記載のカメラシステム。
【請求項２４】
前記イメージングセンサは、一組の画像を可視波長および赤外波長で同期して取得する請求項１に記載のカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはカメラに関し、特に、あるシーンの複数の光学特性を複数の分解能で取得し合成して単一の画像にするカメラシステムに関する。
【背景技術】
【０００２】
コンピュータビジョンの実状において、あるシーンの、幾何学的に同じであるが放射の異なる複数の画像は、高ダイナミックレンジ（ＨＤＲ）イメージング、フォーカスおよびデフォーカス分析、マルチスペクトルイメージング、高速ビデオグラフィ並びに高空間分解能イメージングといった多くの用途に有用である。
【０００３】
ビームスプリッティングは、シーン中のプレノプティックライトフィールドの複数の縮小振幅画像を取得するために一般的に用いられている。ビームスプリッティングを用いれば、異なる画像を同時に取得することができる。
【０００４】
複数の画像を同時に取得することは難しい。第１に、イメージングセンサへの光路が確実に幾何学的に同じとなるようにしなければならない。これは、全ての光学要素が６つ（平行移動に３つ、回転に３つ）の方位自由度を有するため、困難である。したがって、光学要素は、正確に配置しなければならない。第２に、光学要素は、プレノプティック関数を理想から歪めてしまう製造収差を受けやすい。
【０００５】
複数の画像の取得は、様々な用途について行われてきたが、カラーイメージングにおけるように、４つ以上の画像が取得されることはまずない。
【０００６】
ビームスプリッタ
プリズムおよび半透鏡は、ライトフィールドを複数の光路に沿って向けるために用いられる一般的なビームスプリッタである。通常、各波長で各光路に向けられるライトフィールドの強度比は、調節することができる。ビームスプリッタは、シーンとレンズとの間に、またはレンズとイメージングセンサとの間に配置することができる。
【０００７】
イメージングセンサが分離プリズムの側面に当接して配置される場合、センサは、２Ｄ平行移動まで自動的に位置合わせされる。３Ｄ−ＣＣＤカメラの場合、それぞれ異なるスペクトルバンドを表す３つの画像を取得するために、ダイクロイックプリズムがしばしば用いられる。
【０００８】
プリズムは、ＨＤＲイメージングにも用いられている（Ikedaに対して１９９８年９月に発行された米国特許第５，８０１，７７３号「Image data processing apparatus for processing combined image signals in order to extend dynamic range」）。
【０００９】
代替案として、ライトフィールドは、レンズとセンサの間で分離することができる（Shree K. Nayer、Masahiro WatanabeおよびMinori Noguchi著「Real-Time Focus Range Sensor」（IEEE Trans. Pattern Anal. Mach. Intell., vol. 18, n. 12, pp. 1186-1198, 1996））。この代替案は、全てのセンサで単一のレンズを共有することにより、レンズの較正を簡略化してレンズコストを削減する一方で、較正およびフィルタ交換をより難しくしている。
【００１０】
角錐ミラー
別のシステムは、レンズとセンサとの間に角錐ミラーを配置して短い光路を生成することによって複数の画像を取得する（P. Harveyに対して１９９８年に発行された米国特許第５，７３４，５０７号「Optical beam splitter and electronic high speed camera incorporating such a beam splitter」並びにM. AggarwalおよびN. Ahuja著「Split Aperture Imaging for High Dynamic Range」（IJCV, vol. 58, n. 1, pp. 7-17, June 2004））。
【００１１】
しかし、そのシステムは、大きな絞りを必要とし、それにより被写界深度が狭くなり、システムを使用することのできる用途が限定される。実際に、角錐ミラーを用いてピンホールビューを複製することは不可能である。また、光強度を４つのセンサすべてに均一に分散させることは重要であり、ＨＤＲ画像にとって望ましい。さらに、角錐の辺は、放射の減少をもたらす。システムが較正されたとしても、これにより、各画像の有効ダイナミックレンジが低下する。さらに、角錐ミラーをレンズの後方に配置した場合、各センサの有効絞りがくさびになるため、点像分布関数は、ディスク形ではなくくさび形となる。これにより、一部のオブジェクトに焦点が合っていない、または複数の画像が異なる焦点深度で取得される場合に、画像を融合または他の方法で比較することが困難になる。被写界深度外のオブジェクトは、デフォーカスされて見え、オブジェクトは、その本当の位置からずれてしまう。
【００１２】
他の代替案
無限遠にあるシーンの場合、視差はなく、センサの光学中心は、光軸が平行である限り整列する必要がない。この場合、ビューに依存する効果および遮蔽は、問題にならない。実際に、シーンの深度範囲が比較的小さければ、視差誤差は、１０メートルという近さのシーンについて許容可能である。
【００１３】
この場合、ステレオセンサまたは他の密なセンサアレイを用いて、シーンの複数の画像を同一の視点から取得されたかのように得ることができる（Y. Goto、K. Matsuzaki、I. Kweon、およびT. Obatake著「CMU sidewalk navigation system: a blackboard-based outdoor navigation system using sensor fusion with colored-range images」(Proceedings of 1986 fall joint computer conference on Fall joint computer conference, pp. 105-113. IEEE Computer Society Press, 1986)、並びにBennett Wilburn、Neel Joshi、Vaibhav Vaish、Marc LevoyおよびMark Horowitz著「High speed video using a dense camera array」（Proceedings of CVPR04, June 2004））。
【００１４】
ビームスプリッタを用いるカメラシステムと比較して、密なアレイにおける各センサは、十分な光強度を取得する。しかし、ビームスプリッタシステムは、より大きな深度範囲にわたって動作することができ、複数のセンサでフィルタ等の高価な光学部品を共有する可能性を提供することができる。
【００１５】
別の技法は、センサモザイクを用いて、単一の画像中の複数のパラメータをサンプリングする。従来の古典的なベイヤーモザイクは、１画素バンドパスフィルタをセンサ上に並べる。センサは、単一のモノクロセンサにより３つの波長で光を取得することができる。
【００１６】
他の光学特性を高精度で取得するためのフィルタをかけられた光学システムも既知である（S. K. NayarおよびT. Mitsunaga著「High Dynamic Range Imaging: Spatially Varying Pixel Exposures」（CVPR00, pp. I: 472-479, 2000）、並びにS. K. Nayar およびS. G. Narasimhan著「Assorted Pixels: Multi-sampled Imaging with Structural Models」（ECCV02, page IV: 636 ff., 2002））。これらのシステムは、小型で、動作中の較正を一切必要としない。しかし、強度分解能の向上は、空間分解能の低下を犠牲にして行われており、これは、一部の用途にとって望ましくない。また、こうしたシステムで絞り分解能、空間分解能および時間分解能を同時に操作することは困難である。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
したがって、あるシーンの複数の光学特性を複数の分解能で表す画像およびビデオを取得し合成することができるカメラシステムを提供することが望ましい。
【００１８】
ビームスプリッティングは、あるシーンの複数の幾何学的に同じであるが放射の制御された画像を取得するために、一般的に用いられる。しかし、このような画像を多数取得することは難問であることが知られている。
【課題を解決するための手段】
【００１９】
本発明は、フィルタ、ミラー、絞り、シャッター、ビームスプリッタ、およびセンサといった光学要素が物理的にツリーとして配列されるカメラシステムを提供する。光学要素は、シーンの単眼プレノプティックフィールドを多数回、再帰的に分離する。
【００２０】
光学要素を変化させることにより、本発明は、各仮想画素において、波長が異なるだけでなく、フォーカス、絞り、偏光、サブピクセル位置、およびフレーム時間といった他の光学特性も異なる複数のサンプルを取得することができる。
【００２１】
本発明によるカメラシステムは、ＨＤＲイメージング、マルチフォーカスイメージング、高速イメージング、およびハイブリッド高速マルチスペクトルイメージング等のいくつもの用途に用いることができる。
【発明の効果】
【００２２】
本発明は、単眼イメージング用のツリーとして構成されるカメラシステムを提供する。このシステムは、画像またはビデオの複数の光学特性を複数の分解能で同時に取得することができる。
【００２３】
本発明によるカメラシステムにより、ＨＤＲイメージング、高速イメージング、マルチスペクトルイメージング、およびマルチフォーカスイメージングといった応用が、従来技術の解決策と比べて遥かに簡単になり、より良質な出力画像をもたらす。
【発明を実施するための最良の形態】
【００２４】
図１は、本発明によるカメラシステム１００である。このカメラシステムは、あるシーン１０１の複数の光学特性を複数の分解能で取得し合成して単一の出力画像１２０にすることができる。カメラシステム１００は、また、複数のフレームシーケンスを取得し、複数の分解能での複数の特性を合成した単一の出力ビデオを生成することができる。
【００２５】
抽象的に、本発明のカメラシステム１００は、エッジ１０２によって接続されたノードを含む光分離ツリーの形である。ツリーのエッジは、光路を表し、ノードは、光学要素、例えば、フィルタ、レンズ、ミラー、絞り、シャッター、およびイメージングセンサである。
【００２６】
単一の子ノードを有するノード１０３は、光学フィルタ、レンズ、絞り、およびシャッターを表す。複数の子を有するノード１０４は、ビームスプリッタ、およびチルトミラーである。ビームスプリッタがハーフミラーである場合、そのノードの分岐因子は、２となる。
【００２７】
他の分離要素、プリズム、角錐およびチルトミラーは、より高度な分岐因子を生成することができる。リーフノード１０５は、イメージングセンサである。イメージングセンサ１０５は、本発明による方法を実施して、シーン１０１の単一の合成出力画像またはビデオ１２０を表示装置１４０上に生成するように構成されるプロセッサ１１０に結合される。
【００２８】
シーン１０１から生じるプレノプティックフィールド１３０は、ツリーのルートにおいてカメラシステム１００に入る。ルートノードの中心から各センサの中心までの各光路の物理的長さは、同一とすることができる。その場合、ルートからリーフまでの全ての光路は、同一の物理的長さであることが分かっているため、図に示す表現は、距離を保存する必要がなく、ルートからリーフまでの全ての光路が同一の物理的長さを有しない場合、距離は保存される。しかし、長さの等しい光路に沿った内部ノードの数で表されるツリーの深さは、異なる可能性がある。
【００２９】
図２は、本発明による、完全二分木として構成されたカメラシステム２００を上から見た図を示す。この構成は、光路を一切遮蔽することなく光学要素を小さなフォームファクタに詰め込むように設計される。ツリーをプレノプティックフィールドに対して４５°の角度で構築することによって、空間を有効に使う。ここで、ビームスプリッタ１０４は、シーン１０１と、イメージングセンサ１０５のすぐ手前にあるレンズ１０３との間に配置される。したがって、焦点深度、絞り、およびタイム露出を各光路１０２について個別に調整することができる。
【００３０】
角度は、物理的なカメラシステムの構築におけるアーチファクト（人為的な結果）であり、表現する必要はない。したがって、グラフすなわちツリーのトポロジのみが重要であるという抽象概念が残る。
【００３１】
図３の構成３００に示すように、内部ノードが画像のコピーを生成する役割しか果たさず、ビューをフィルタリングしない場合、その表現を、多数の子を持つ単一のノードに縮約することができる。この表現は、また、使用されている分離要素の性質を要約する。この構成は、各レンズ１０３がバンドパスフィルタである場合、マルチスペクトルイメージングに用いることができる。各光路は、入射ライトフィールドの約１／８を受け取り、これを対応するセンサ１０５のすぐ手前でバンドパスフィルタリングする。
【００３２】
一部の用途では、全てのセンサが同一のツリーの深さにあり、ビームスプリッタが入射光を子ノードに均一に分配する、均衡のとれた二分木を構築することが望ましい。
【００３３】
他の用途では、ツリーを不均衡にすることが有用である。図４を参照願いたい。これは、分割比の不均一なビームスプリッタを用いることによって、または、センサのツリーの深さが異なる構造的に不均衡なツリーを構築することによって行うことができる。下記の本発明による高ダイナミックレンジ（ＨＤＲ）カメラの説明を参照願いたい。
【００３４】
本発明の根底にある目的は、プレノプティックフィールドを複数の光学特性および複数の分解能でサンプリングすることである。これは、ツリー中の光学要素の具体的な構成に関係なく当てはまる。サンプリングを行うことのできるパラメータは、多数ある。サブピクセル回転の場合、高い空間分解能を達成する。カラーフィルタを用いる場合、波長サンプリング分解能を高める。他のツリーは、輝度分解能、時間分解能、複素位相分解能、および偏光分解能を高める。
【００３５】
カメラシステム
図２の例示的なカメラシステム２００を、８台のハードウェア同期カメラ２１０と、ハーフミラーを用いる再構成可能なフルバランス型光分離ツリーとにより構築する。Ｂａｓｌｅ  Ａ６０１ｆｃベイヤーフィルタカラーカメラ、および６４０×４８０の解像度のＢａｓｌｅ  Ａ６０１ｆモノクロカメラを用いる。各カメラは、比較的小さなビームスプリッタ１０４を使用することを可能にする狭視野用の５０ｍｍレンズを備える。深さが３の、つまり２３個すなわち８個のセンサを有する分離ツリーの場合、最も大きなビームスプリッタは約１００×１００ｍｍ２であり、最も小さなビームスプリッタは約７５×７５ｍｍ２である。全ての光学要素は、１．２７ｃｍ（１／２インチ）だけ離間して矩形格子状に配置された取付孔２３０を有する６０．９６ｃｍ×９１．４４ｃｍ（２フィート×３フィート）の光学ブレッドボード２２０上に取り付けられる。
【００３６】
カメラ２１０は、ファイアワイヤインタフェース１５０を用いて３ＧＨｚのＰｅｎｔｉｕｍ（登録商標）４プロセッサ１１０に接続される。プロセッサ１１０に接続されたＬＣＤディスプレイ１４０が、個々の画像またはビデオストリームを出力し、ビデオ取得中に高速フィードバックを行う。ハードウェアトリガがカメラのタイミングを同期化する。
【００３７】
較正
カメラシステムの較正の難しさは、光学要素の数とともに増す。光学中心を共有する複数のセンサは、画像が位置合わせされるよう期待されていないため、センサのステレオペアを使用するカメラシステムよりも較正が難しい。本発明のカメラシステムを３段階で較正する。第１に、ビームスプリッタを位置合わせする。第２に、センサを位置合わせする。第３に、平面射影行列（ホモグラフィ）を求めて、あらゆる残りの位置ずれを取得画像のソフトウェア操作により補正する。
【００３８】
光路に対するセンサの回転は、平面射影行列によって、サンプリング精度まで完全に補正することができる。レンズとセンサとの間の光路１０２は、シーン１０１の深度と比べて比較的短い。したがって、光路上のセンサの正確な位置は、重要でない。
【００３９】
光学要素の較正に関する一番の関心事は、光軸に垂直なセンサの平行移動である。この平行移動は、ソフトウェアで補正することができない視差を生じる。ビームスプリッティングにハーフミラーを用いる場合、ミラーは、光軸に対して４５°回転される。
【００４０】
ハーフミラーを較正するために、各レンズにキャップをかぶせる。レーザ光線を、本発明のツリーのルートノードにあるビームスプリッタに向ける。これにより、レンズキャップの中心に単一の点が生じる。分離ツリーをルートノードからリーフノードへと進みながら、各点がレンズキャップの中心に現れるようにビームスプリッタを調節する。
【００４１】
次に、透明なプラスチックの上に前景要素として印刷された前景ターゲット、例えば、５つの的と、ポスターボードの上に印刷された拡大された背景ターゲットとを含むシーンを構築する。前景ターゲットを、そのパターンが第１のセンサのビューにおいて背景ターゲットにぴったりと重なるまで移動させる。次に、全ての他のセンサを、必要に応じてその姿勢を調整しながら、ターゲットパターンがそれらのビューにおいても重なるまで平行移動させる。
【００４２】
最後に、各センサの平面射影行列を求めて、そのビューを第１のセンサのビューに写像する。平面射影行列は、シーン全体にわたる小型ＬＥＤライトの移動をイメージングすることによって手動または自動で選択される対応点から求められる。自動方法は、対応点を視覚的に選択することが難しい場合、例えば、ＨＤＲイメージングのようにセンサが異なる深度に合焦しているか、または異なる量の光を受け取る場合に便利である。
【００４３】
対応点が与えられた状態で最小二乗問題を解くことによってアフィン行列を求める。対応点から任意の変形を求めて、レンズの収差を説明することも可能である。
【００４４】
フィルタの交換、合焦、絞りの調整は、ツリーの分岐構造に実質的に影響を与えない。
【００４５】
応用
本発明によるカメラシステムは、いくつかの異なる応用で使用することができる。
【００４６】
高ダイナミックレンジイメージング
高ダイナミックレンジ（ＨＤＲ）での画像の取得は、コンピュータビジョンおよびコンピュータグラフィックスにおいて、ほとんどの自然なシーンにおける放射輝度の大きな変動を扱うために重要である。露出設定を変更するか、またはフィルタモザイクを使用するいくつかの技法が既知である（Sing Bing Kang、Matthew Uyttendaele、Simon WinderおよびRichard Szeliski著「High dynamic range video」（ACM Trans. Graph., vol. 22, n. 3, pp. 319-325, 2003）、Paul E. DebevecおよびJitendra Malik著「Recovering high dynamic range radiance maps from photographs」（Proceedings of the 24th annual conference on Computer graphics and interactive techniques, pp. 349-378. ACM Press/Addison-Wesley Publishing Co., 1997）、T. Mitsunaga およびS. Nayar著「Radiometric Self Calibration」（IEEE Computer Society Conference on Computer Vision and Pattern Recognition, volume 1, pp. 374-380, 1999）、並びにT. MitsunagaおよびS. Nayar著「High dynamic range imaging: Spatially varying pixel exposures」（IEEE Computer Society Conference on Computer Vision and Pattern Recognition, volume 1, pp. 472-479, 2000））。
【００４７】
本発明による光分離ツリーの使用は、ＨＤＲイメージングに対していくつかの利点を持つ。各画像のモーションブラーの量および点像分布関数は、一定である。ビームスプリッタの不均衡なツリーを使用する場合、捨てられる光は、ごくわずかである。
【００４８】
図４は、４つのセンサ１０５を用いてＨＤＲ画像を取得するように構成された本発明のカメラシステム４００である。各ビームスプリッタ１０４は、光の半分を子ノードのそれぞれに向ける。左側のサブツリーは、常にセンサ１０５で終端する。右側のサブツリーは、回帰性を有する。一番右のセンサの手前に、単一のニュートラルデンシティ５０％フィルタ４１０を挿入する。センサは、内部に１０ビットの精度を有し、出力は、８ビットのみであるため、利得を４分の１だけ最も明るいセンサから最も暗いセンサへシフトする。したがって、理論上のダイナミックレンジは、線形放射輝度を測定するセンサの場合、８１９２：１である。実際には、露出時間および絞りもわずかに変化させて、約２００００：１の比を得る。
【００４９】
ＨＤＲイメージングの場合、強度が従来のトーンマッピングプロセスにより調整およびマージされるため、強度および色の較正は、空間的および時間的な較正ほど重要でない。センサ間の強度差は、重複する不飽和ピクセルを有する画像シーケンスから推測することができる。
【００５０】
マルチフォーカスおよびデフォーカスイメージング
この応用では、画像を複数の被写界深度で取得して、シーンの深度情報を復元するとともに、被写界深度が無限遠または不連続な画像を形成する。
【００５１】
一部の従来技術のカメラシステム（例えば、上記のShree等）は、レンズとセンサとの間でライトフィールドを分離する。対照的に、本発明では、シーンとレンズとの間でライトフィールドを分離する。これにより、レンズの絞りを変更することによって、焦点面の位置および被写界深度を変化させることができる。したがって、本発明では、被写界深度が無限遠である「ピンホール」カメラ、並びに被写界深度の狭いカメラをマッティング用途に用いることができる。本出願と同日に出願され、参照により本明細書中に援用される、McGuire他による「System and Method for Image Matting」と題する関連米国特許出願第１１／０９２，３７６号を参照願いたい。
【００５２】
高速イメージング
カメラシステムによっては、２０００ｆ．ｐ．ｓ．を上回る速度でフレームを取得できるものもある。例えば、ある従来技術の高速カメラシステムは、６４台のカメラの密接したリニアアレイを用いる。上記のWilburn等を参照願いたい。
【００５３】
対照的に、本発明のカメラシステムのセンサは、単一の光学中心を共有する。したがって、本発明のカメラシステムは、ビューに依存する効果を正確に取得し、従来技術のカメラシステムのように異なる視点による遮蔽を受けない。光分離ツリーを用いた本発明の高速カメラシステムには、他の利点もある。複数のフレームが異なるセンサによって取り込まれるため、露出時間およびフレームレートは、リンクしない。つまり、従来のカメラと異なり、露出時間とフレームレートを互いに独立させることができる。
【００５４】
３０ｆ．ｐ．ｓ．で動作する８台のカメラを用いて、有効フレームレートが２４０ｆ．ｐ．ｓ．のビデオを比較的長い露出時間、例えば、１／３０秒で取得することができる。したがって、モーションブラーにより滑らかな動きを観測することができる。
【００５５】
フレームレートおよび露出時間を一定に保つことが望ましい場合でも、センサを放電して測定するには時間がかかるため、単一センサを用いる高速カメラの露出は、漸近的にしか所望のフレームレートに近づかない。さらに、単一センサを用いる高速カメラからのデータレートは、非常に大きく、センサの出力で問題を生じる。
【００５６】
しかし、本発明のマルチセンサカメラシステムは、１つのセンサを放電し、その間に別のセンサにより次の画像を取得することができ、また、センサ毎に別個の比較的低いデータ通信リンクを用いることができる。複数のセンサは、並列処理も可能にする。複数のセンサおよび複数のフィルタを用いることにより、合成高速マルチスペクトルビデオを取得することも可能である。
【００５７】
マルチモーダルカメラシステム
従来技術のカメラシステムは、通常、ＲＧＢカラーカメラのように、特定の光学特性、例えば、波長のサンプリング分解能を高めるように設計される。
【００５８】
対照的に、本発明によるカメラシステムは、複数の光学特性の分解能を同時に操作することができる。本発明による高次元カメラシステムは、フィルタ、レンズ、絞り、シャッター、ビームスプリッタ、チルトミラー、およびセンサといった光学要素をハイブリッドツリーとして配置することによって、異なる光学特性の異なる分解能を同時にトレードすることができる。このようなハイブリッドカメラシステムは、たった１つの光学特性を高分解能で取得するために他の全ての光学特性をアンダーサンプリングする従来のカメラシステムよりも効率的である。
【００５９】
図５は、画像を可視波長および赤外波長で取得する高速カメラシステム５００を示す。このシステムは、チルトミラー４１０と、可視光センサ１０５と、赤外線センサ４０５とを備える。センサは、直線状またはアレイ状に配置することができる。
【００６０】
シーンとセンサとの間に追加の光学要素を含めることによって、この構成について他の光学特性も考慮することができることに留意すべきである。
【図面の簡単な説明】
【００６１】
【図１】本発明による、光学要素が均衡のとれたツリーとして配置された単眼カメラシステムの概略図である。
【図２】本発明による、完全二分木として表されるカメラシステムの平面図である。
【図３】本発明による光学要素の代替的な配置を示す図である。
【図４】本発明による不均衡なツリーにおける光学要素の配置を示す図である。
【図５】本発明によるマルチモーダルカメラシステムの光学要素の配置を示す図である。
【図１】
2006276863.tif 000003
【図２】
2006276863.tif 000004
【図３】
2006276863.tif 000005
【図４】
2006276863.tif 000006
【図５】
2006276863.tif 000007
【外国語明細書】
2006276863.tif 000008
2006276863.tif 000009
2006276863.tif 000010
2006276863.tif 000011
2006276863.tif 000012
2006276863.tif 000013
2006276863.tif 000014
2006276863.tif 000015
2006276863.tif 000016
2006276863.tif 000017
2006276863.tif 000018
2006276863.tif 000019
2006276863.tif 000020
2006276863.tif 000021
2006276863.tif 000022
2006276863.tif 000023
2006276863.tif 000024
2006276863.tif 000025
2006276863.tif 000026
2006276863.tif 000027
2006276863.tif 000028
2006276863.tif 000029
2006276863.tif 000030
2006276863.tif 000031
2006276863.tif 000032
2006276863.tif 000033