(57)【要約】  光学システムおよび方法は、拡張ダイナミック・レンジ画像の取込に関係することができる。例の実施形態では、光学システムは、入射光を受け取るように構成されたレンズ要素と、レンズ要素に光学的に結合されたビーム・スプリッタとを含むことができる。ビーム・スプリッタは、入射光を、少なくとも、第１の光子束を有する第１の部分と第２の光子束を有する第２の部分とに分離するように構成される。第１の光子束は、第２の光子束より少なくとも１桁多い。コントローラは、第１の画像センサに、第１の露出パラメータに従って入射光の第１の部分の第１の画像を取り込ませ、第２の画像センサに、第２の露出パラメータに従って入射光の第２の部分の第２の画像を取り込ませるように構成され得る。【選択図】図１
2019525541.tif 000002
【特許請求の範囲】
【請求項１】
入射光を受け取るように構成された少なくとも１つのレンズ要素と、
前記少なくとも１つのレンズ要素に光学的に結合された少なくとも１つのビーム・スプリッタであって、前記少なくとも１つのビーム・スプリッタは、前記入射光を、少なくとも、第１の光子束を有する第１の部分と第２の光子束を有する第２の部分とに分離するように構成され、前記第１の光子束は、前記第２の光子束より少なくとも１桁多い、少なくとも１つのビーム・スプリッタと、
前記入射光の前記第１の部分を受け取るように構成された第１の画像センサと、
前記入射光の前記第２の部分を受け取るように構成された第２の画像センサと、
少なくとも１つのプロセッサおよびメモリを含むコントローラであって、前記コントローラは、動作を実行するために前記メモリ内に記憶された命令を実行するように構成され、前記動作は、
前記第１の画像センサに、第１の露出パラメータに従って前記入射光の前記第１の部分の第１の画像を取り込ませることと、
前記第２の画像センサに、第２の露出パラメータに従って前記入射光の前記第２の部分の第２の画像を取り込ませることと
を含む、コントローラと
を含む光学システム。
【請求項２】
前記動作は、前記第１の画像および前記第２の画像に基づいて拡張ダイナミック・レンジ画像を判定することをさらに含む、請求項１に記載の光学システム。
【請求項３】
前記少なくとも１つのビーム・スプリッタは、部分的に銀めっきされた鏡または反射防止膜を有するガラスを含む、請求項１に記載の光学システム。
【請求項４】
前記少なくとも１つのビーム・スプリッタは、二色性光学要素または周波数選択面を含む、請求項１に記載の光学システム。
【請求項５】
前記入射光は、時間的に変化する光子束源から放たれた光を含む、請求項１に記載の光学システム。
【請求項６】
ラスタ・ディスプレイまたは点滅するディスプレイは、交通信号または自動車インジケータを含む、請求項１に記載の光学システム。
【請求項７】
少なくとも１つの光学要素をさらに含み、前記少なくとも１つの光学要素は、前記少なくとも１つのビーム・スプリッタと前記第１の画像センサおよび前記第２の画像センサのうちの少なくとも１つとの間の光学経路に沿って配置され、前記少なくとも１つの光学要素は、光減衰器、空間フィルタ、またはレンズのうちの少なくとも１つを含む、請求項１に記載の光学システム。
【請求項８】
前記第１の露出パラメータは、第１の露出時間を含み、前記第２の露出パラメータは、第２の露出時間を含み、前記第１の露出時間は、前記第２の露出時間より少なくとも１桁短い、請求項１に記載の光学システム。
【請求項９】
前記少なくとも１つのビーム・スプリッタは、第１のビーム・スプリッタおよび第２のビーム・スプリッタを含み、前記少なくとも１つのビーム・スプリッタは、前記入射光を第３の光子束を有する第３の部分に分離するようにさらに構成され、前記第２の光子束は、前記第３の光子束より少なくとも１桁多い、請求項１に記載の光学システム。
【請求項１０】
第３の画像センサをさらに含み、前記動作は、
前記第３の画像センサに、第３の露出パラメータに従って前記入射光の前記第３の部分の第３の画像を取り込ませることと、
前記第１の画像、前記第２の画像、および前記第３の画像に基づいて一括拡張ダイナミック・レンジ画像を判定することと
をさらに含む、請求項９に記載の光学システム。
【請求項１１】
前記第１の画像センサ、前記第２の画像センサ、または前記第３の画像センサのうちの少なくとも１つは、他の画像センサに関して異なるスペクトル応答、異なる空間解像度、または異なる読出レートのうちの少なくとも１つを有する、請求項１０に記載の光学システム。
【請求項１２】
少なくとも１つのレンズ要素を介して入射光を受け取ることと、
少なくとも１つのビーム・スプリッタを介して、前記入射光を、少なくとも、第１の光子束を有する第１の部分と第２の光子束を有する第２の部分とに分離することであって、前記第１の光子束は、前記第２の光子束より少なくとも１桁多い、分離することと、
第１の画像センサに、第１の露出パラメータに従って前記入射光の前記第１の部分の第１の画像を取り込ませることと、
第２の画像センサに、第２の露出パラメータに従って前記入射光の前記第２の部分の第２の画像を取り込ませることと
を含む方法。
【請求項１３】
前記第１の画像および前記第２の画像に基づいて拡張ダイナミック・レンジ画像を判定することをさらに含む、請求項１２に記載の方法。
【請求項１４】
前記少なくとも１つのビーム・スプリッタは、部分的に銀めっきされた鏡または反射防止膜を有するガラスを含む、請求項１２に記載の方法。
【請求項１５】
前記少なくとも１つのビーム・スプリッタは、二色性光学要素または周波数選択面を含む、請求項１２に記載の方法。
【請求項１６】
前記入射光は、ラスタ・ディスプレイまたは点滅するディスプレイから放たれた光を含み、前記ラスタ・ディスプレイまたは前記点滅するディスプレイは、交通信号を含む、請求項１２に記載の方法。
【請求項１７】
少なくとも１つの光学要素は、前記少なくとも１つのビーム・スプリッタと前記第１の画像センサおよび前記第２の画像センサのうちの少なくとも１つとの間の光学経路に沿って配置される、請求項１２に記載の方法。
【請求項１８】
前記第１の露出パラメータは、第１の露出時間を含み、前記第２の露出パラメータは、第２の露出時間を含み、前記第１の露出時間は、前記第２の露出時間より少なくとも１桁短い、請求項１２に記載の方法。
【請求項１９】
前記少なくとも１つのビーム・スプリッタは、第１のビーム・スプリッタおよび第２のビーム・スプリッタを含み、前記入射光を分離することは、前記入射光を第３の光子束を有する第３の部分に分離することをさらに含み、前記第２の光子束は、前記第３の光子束より少なくとも１桁多い、請求項１２に記載の方法。
【請求項２０】
前記第３の画像センサに、第３の露出パラメータに従って前記入射光の前記第３の部分の第３の画像を取り込ませることと、
前記第１の画像、前記第２の画像、および前記第３の画像に基づいて一括拡張ダイナミック・レンジ画像を判定することと
をさらに含む、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
［0001］  本願は、参照によってその全体がこれによって組み込まれている、２０１６年８月３日に出願した米国特許出願第１５／２２７１１３号の優先権を主張するものである。
【背景技術】
【０００２】
［0002］  従来の３チップ・カメラは、色をおおむね可視光色範囲（たとえば、赤、緑、青）に分離するために１つまたは複数のビーム・スプリッタを含む場合がある。通常のシーンに関して、これらの色範囲のそれぞれで期待される光子束は、すべての画像センサでの信号対雑音比を等化するために、実質的にバランスをとられる場合がある。
【発明の概要】
【課題を解決するための手段】
【０００３】
［0003］  光学システムおよび方法は、光強度のダイナミック・レンジのうちで通常は画像センサのセクションを露出過度にするはずの部分を取り込むために、複数の画像センサのうちの１つまたは複数に向かう入射光を減衰させることによって、拡張ダイナミック・レンジ画像またはハイダイナミック・レンジ画像を取り込むことができる。したがって、光学システムおよび方法は、ハイダイナミック・レンジ・イメージングに関するものとすることができる。例の実施形態によれば、光学システムは、入射光を少なくとも２つの部分に分離するように構成された１つまたは複数のビーム・スプリッタを含むことができる。光の部分は、光子束において少なくとも１桁（１０倍）異なるものとすることができる。たとえば、光の第１の部分は、光の第２の部分の光子束の１００倍を含むことができる。いくつかの実施形態では、さらなるビーム・スプリッタが、入射光を光のさらなる部分に分離することができる。
【０００４】
［0004］  一態様では、光学システムが提供される。この光学システムは、入射光を受け取るように構成された少なくとも１つのレンズ要素を含む。この光学システムは、少なくとも１つのレンズ要素に光学的に結合された少なくとも１つのビーム・スプリッタをも含む。少なくとも１つのビーム・スプリッタは、入射光を、少なくとも、第１の光子束を有する第１の部分と第２の光子束を有する第２の部分とに分離するように構成される。第１の光子束は、第２の光子束より少なくとも１桁多い。この光学システムは、入射光の第１の部分を受け取るように構成された第１の画像センサと、入射光の第２の部分を受け取るように構成された第２の画像センサとをも含む。この光学システムは、少なくとも１つのプロセッサおよびメモリを有するコントローラをさらに含む。コントローラは、動作を実行するためにメモリ内に記憶された命令を実行するように構成される。動作は、第１の画像センサに、第１の露出パラメータに従って入射光の第１の部分の第１の画像を取り込ませることと、第２の画像センサに、第２の露出パラメータに従って入射光の第２の部分の第２の画像を取り込ませることとを含む。
【０００５】
［0005］  一態様では、方法が提供される。この方法は、少なくとも１つのレンズ要素を介して入射光を受け取ることと、少なくとも１つのビーム・スプリッタを介して、入射光を、少なくとも、第１の光子束を有する第１の部分と第２の光子束を有する第２の部分とに分離することとを含む。第１の光子束は、第２の光子束より少なくとも１桁多い。この方法は、第１の画像センサに、第１の露出パラメータに従って入射光の第１の部分の第１の画像を取り込ませることと、第２の画像センサに、第２の露出パラメータに従って入射光の第２の部分の第２の画像を取り込ませることとをも含む。
【０００６】
［0006］  一態様では、システムが提供される。このシステムは、本明細書で説明される動作を実行するための様々な手段を含む。
【０００７】
［0007］  上記ならびに他の実施形態、態様、利点、および代替案は、適当な場合に添付図面を参照して、以下の詳細な説明を読むことによって、当業者に明白になる。さらに、この発明の概要ならびに本明細書で提供される他の説明および図面が、例としてのみ諸実施形態を示すことを意図され、したがって、多数の変形系他が可能であることを理解されたい。たとえば、請求される実施形態の範囲内に留まりながら、構造的要素およびプロセス・ステップを再配置し、組み合わせ、分散させ、除去し、または他の形で変更することができる。
【図面の簡単な説明】
【０００８】
【図１】［0008］例の実施形態による光学システムを示す概略図である。
【図２Ａ】［0009］例の実施形態による光学システムを示す図である。
【図２Ｂ】［0010］例の実施形態による光学システムを示す図である。
【図２Ｃ】［0011］例の実施形態による光学システムを示す図である。
【図３Ａ】［0012］例の実施形態による、交通信号灯および動作タイミング図を示す図である。
【図３Ｂ】［0013］例の実施形態によるテール・ライトを示す図である。
【図４】［0014］例の実施形態による方法を示す図である。
【発明を実施するための形態】
【０００９】
［0015］  例の方法、デバイス、およびシステムを本明細書で説明する。単語「例」および「例示的」が、本明細書では「例、実例、または例示として働く」を意味するのに使用されることを理解されたい。「例」または「例示的」として本明細書で説明される実施形態または特徴は、必ずしも他の実施形態または特徴より好ましいまたは有利と解釈されるべきではない。本明細書で提示される主題の範囲から逸脱せずに、他の実施形態を利用することができ、他の変更を行うことができる。
【００１０】
［0016］  したがって、本明細書で説明される例の実施形態は、限定的であることを意図されたものではない。本明細書で全般的に説明され、図面に示される本開示の諸態様を、様々な異なる構成で配置し、置換し、組み合わせ、分離し、設計することができ、そのすべてが本明細書で企図されている。
【００１１】
［0017］  さらに、文脈がそうではないことを示唆しない限り、図面のそれぞれに示された特徴を、お互いと組み合わせて使用することができる。したがって、図面は、図示の特徴のすべてが各実施形態に必要とは限らないことを理解して、全般的に１つまたは複数の全体的な実施形態の構成要素態様と見なされなければならない。
Ｉ．概要
【００１２】
［0018］  光学システムの視野が、大幅に変化する光子束を有するシーンの部分を含む場合がある。すなわち、所与のシーンが、非常に明るい特徴と非常に暗い特徴との両方を含む場合がある。それに加えてまたはその代わりに、シーンのいくつかの特徴が、周期的にまたは変化する形で光を放つ場合がある（たとえば、ストロボ発光、減光など）。従来の画像センサの相対的に制限されたダイナミック・レンジに起因して、一部の画像情報が、所与の露出条件に関して「捨てられる」必要がある場合がある。たとえば、所与のシーンの「ハイライト」すなわち非常に明るい部分を最もよく取り込む努力の一環として、光学システムの露出条件が、小開口セッティング、低利得／低感度画像センサ・セッティング、および／または相対的に短い露出時間を含む場合がある。そのようなシナリオでは、シーンの明るい部分を正確に取り込むことができる。しかし、シーンの暗い部分は「黒」として取り込まれる可能性がある。というのは、特定の露出条件に関して、シーンのそのような領域からの光子束が、所与の画像センサのダイナミック・レンジに含まれるには少なすぎる（たとえば、光子束が、画像センサの雑音レベル未満である）可能性があるからである。
【００１３】
［0019］  同様に、所与のシーンの「影」を取り込む努力の一環として、光学システムの露出条件は、大開口セッティング、高利得／高感度画像センサ・セッティング、および／または相対的に長い露出時間を含むことができる。したがって、シーンの暗い部分を正確に取り込むことができる。しかし、シーンの明るい部分は、画像センサのダイナミック・レンジが再現できるものより多数の光子を画像センサがそのような領域から受け取った可能性があるので、飽和に起因して「吹き消される」可能性がある。
【００１４】
［0020］  本明細書で説明する光学システムおよび方法は、ハイダイナミック・レンジ画像取込を提供することができる。すなわち、例の実施形態によれば、光学システムは、入射光を少なくとも２つの部分に分離するように構成された１つまたは複数のビーム・スプリッタを含むことができる。光の異なる部分は、光子束において少なくとも１桁（１０倍）異なるものとすることができる。たとえば、光の第１の部分は、光の第２の部分の光子束の１００倍を含むことができる。いくつかの実施形態では、さらなるビーム・スプリッタが、入射光を光のさらなる部分に分離することができる。
【００１５】
［0021］  入射光のそれぞれの部分を、それぞれの画像センサによって受け取り、取り込むことができる。画像センサのそれぞれを、他の画像センサとは別々に操作することができる。具体的には、各画像センサを、異なる画像取込露出パラメータを介して光のそれぞれの部分を取り込むように構成することができる。たとえば、上で説明したシナリオでは、光の第１の部分を１ｍｓの露出時間を用いて取り込むことができ、光の第２の部分を１００ｍｓの露出時間を用いて取り込むことができる。例の実施形態では、光学システムは、画像センサごとに同一の視野を含むことができる。したがって、視差などの光学システム複雑化を除去することができる。例の実施形態では、両方の画像取込を、同一の時間間隔（露出ウィンドウ（ｅｘｐｏｓｕｒｅ  ｗｉｎｄｏｗ））内に行うことができる。したがって、２つの画像の間の時間的不一致を除去して、２つの画像を１つのハイダイナミック・レンジ画像に組み合わせる作業を単純化することができる。
【００１６】
［0022］  さらに、入射光の１つまたは複数の部分の特性を変更するように構成された、他の光学要素を含めることができる。たとえば、他の光学要素は、光減衰器、空間フィルタ、またはレンズを含むことができる。
【００１７】
［0023］  いくつかの実施形態では、画像センサをカラーモザイク・タイプのセンサとすることができ、あるいは、画像センサのうちの１つまたは複数が、システムの他の画像センサとは異なる特性を有することができる。たとえば、１つまたは複数のセンサをモノクロームとし、他のセンサをカラーとすることができるなどである。さらに、センサのうちの１つまたは複数が、他のセンサとは異なるスペクトル応答、異なる空間解像度、または異なる読出レートを有することができる。すべての画像センサの、同一のパラメータを用いる動作も可能である。
【００１８】
［0024］  交通信号灯および車両インジケータ（たとえば、ブレーキ・ライトまたは方向指示器）の検出という自動車の文脈では、様々な露出パラメータを固定し、かつ／または前もって知ることができる。したがって、例の実施形態を、既知のオプティカル・フラックス（ｏｐｔｉｃａｌ  ｆｌｕｘ）に基づいて設計することができる。すなわち、センサ・デューティ・サイクルを最大化し、光源の照明が光子取込間隔から外れる危険性を最小化するために、フレーム時間（たとえば、既知の交通信号灯ラスタ期間）のほとんどをカバーする露出時間を提供することができる。言い換えると、画像取込経路のうちの１つは、所与のシーン内のストロボ発光する光または点滅する光を最もよく検出するために、固定された露出時間および／または固定された他の露出パラメータを含むことができる。別の画像取込経路は、所与のシーンから他の要素を最もよく検出するために、自由に調整可能な露出時間（たとえば、自動露出取込）を有することができる。
【００１９】
［0025］  例の実施形態では、１つの共通のレンズ（またはレンズ・セット）をシステム内に設けることができる。これは、システムのコストおよびサイズを低減することができる（たとえば、レンズは、カメラ・システムの最も高価でかさばる要素である場合がある）。そのような単一のレンズまたはレンズ・セットは、すべての画像センサが単一のレンズによって単一の視点から取り込まれたシーンの画像を受け取り、記録するので、視差誤差を除去することもできる。画像センサのうちの１つまたは複数（シーンの強く減衰されたビューを記録する）は、長い露出時間を使用できる場合があり、シーンの他の点では「正しい」露出を生じるために短い露出時間を使用する（たとえば、シーンの平均光子束またはサンプリングされた光子束に基づく露出パラメータを使用することによって）取込システムによって見逃される可能性がある、シーン内の長続きしないイベント（たとえば、ラスタスキャン式ＬＥＤまたはパルス変調ＬＥＤの標識およびインジケータからの光の高速パルス）を取り込むことを可能にする。
【００２０】
［0026］  本明細書で説明されるシステムおよび方法は、大幅に異なる光子束レベルを有する領域を伴うシーンおよび／またはシーン内の光源がパルス駆動されもしくは他の形で変化する光子束を提供するシナリオのための拡張ダイナミック・レンジを提供することができる。そのようなシステムおよび方法は、従来のイメージング・システムと比較して、所与のシーンのより忠実な再現を取り込むように、かつ／または時間変化する光源に関するある種の情報をより多く提供するように構成され得る。
ＩＩ．例のシステム
【００２１】
［0027］  図１は、例の実施形態による光学システム１００の概略図を示す。光学システム１００は、１つまたは複数のレンズ要素１１０、１つまたは複数のビーム・スプリッタ１２０、および１つまたは複数の光学要素１３０を含むことができる。光学システム１００は、複数の画像センサ１４０およびコントローラ１５０をも含む。
【００２２】
［0028］  光学システム１００は、スチール・カメラ、ビデオ・カメラ、顕微鏡、望遠鏡、またはシーンから画像情報を取り込むように構成された他のデバイスを含むことができる。光学システム１００は、独立型デバイス（たとえば、手持ちのカメラ）を含むことができる。代替案では、光学システム１００を別のシステム（たとえば、自律車両のセンサ・システム）に組み込む（またはそのようなものとして識別する）ことができる。
【００２３】
［0029］  光学システム１００は、レンズ要素１１０および／または開口によって画定され得る視野を有することができる。光学システム１００は、レンズ要素１１０を介して視野から入射光１０２を受け取ることができる。レンズ要素１１０は、単一のレンズ、レンズ・ダブレット（ｌｅｎｓ  ｄｏｕｂｌｅｔ）、レンズ・トリプレット（ｌｅｎｓ  ｔｒｉｐｌｅｔ）、および／またはより多くのレンズ要素を含むことができる。レンズ要素１１０は、交換可能（たとえば、一眼レフ（ＳＬＲ）タイプ・レンズまたはレンジファインダタイプ・レンズ）とすることができる。すなわち、様々なレンズまたはレンズの組合せを、光学レンズ・マウント（たとえば、キャノンＥＦ−Ｓマウント、ニコンＦマウント）を介して光学システム１００に切替可能に結合することができる。したがって、光学システム１００を、固定された広がりまたは可変の広がりを有する広範囲の視野を提供するように構成することができる。レンズ要素１１０は、手動でまたはリモートコントロールされたアクチュエータを介してのいずれかで、その光学パラメータ（たとえば、焦点距離、視野、開口、焦点セッティング、手ぶれ補正など）を変更できる場合がある。
【００２４】
［0030］  光学システム１００の視野が、多数の異なるタイプのシーンおよび／または被写体を含む場合があることを理解されたい。例の実施形態では、所与のシーンは、シーンの異なる部分からの大幅に変化する光子束を提供する場合がある。
【００２５】
［0031］  入射光の少なくとも一部１０３は、１つまたは複数のビーム・スプリッタ１２０と相互作用することができる。１つまたは複数のビーム・スプリッタ１２０は、２つの三角形ガラス・プリズムによって形成されたビーム分割キューブを含むことができる。しかし、他のタイプのビーム・スプリッタが可能である。たとえば、１つまたは複数のビーム・スプリッタ１２０は、部分的に銀めっきされた鏡または反射防止膜を有するガラスを含むことができる。
【００２６】
［0032］  １つまたは複数のビーム・スプリッタ１２０は、集められた光１０３を、第１の光子束を有する第１の部分１０４と第２の光子束を有する第２の部分１０６とに分離することができる。光の第１の部分１０４および光の第２の部分１０６は、同一の視野を有することができる。しかし、光の第１の部分１０４は、光の第２の部分１０６の光子束より少なくとも１桁多い光子束を有することができる。たとえば、光の第１の部分１０４は、合計で集められた光１０３の光子束の９６％に達する光子束を有することができる。したがって、光の第２の部分１０６は、合計で集められた光１０３の光子束の４％に達する光子束を有することができる。したがって、例の実施形態では、ビーム・スプリッタ１２０は、光の第１の部分１０４および光の第２の部分１０６を提供するために、入射光に対する異なる量の中性濃度光減衰を有効に提供することができる。
【００２７】
［0033］  いくつかの実施形態では、１つまたは複数のビーム・スプリッタ１２０は、二色性光学要素または周波数選択面を含むことができる。そのようなシナリオでは、それに加えてまたはその代わりに、二色性光学要素または周波数選択された面に基づく特定のスペクトル成分を有するものとして光のそれぞれの部分を提供するように、ビーム・スプリッタ１２０を構成することができる。
【００２８】
［0034］  ビーム・スプリッタ１２０と相互作用した後に、それぞれの光の第１の部分１０４および光の第２の部分１０６は、オプションで、さらなる光学要素１３０と相互作用することができる。例の実施形態では、光学要素１３０は、偏光フィルタ、分光フィルタ、空間フィルタ、レンズ、レンズ・セット、または中性濃度フィルタを含むことができる。他のタイプの光学要素１３０が企図されている。
【００２９】
［0035］  複数の画像センサ１４０は、入射光の第１の部分１０４を受け取るように構成された第１の画像センサと、入射光の第２の部分１０６を受け取るように構成された第２の画像センサとを含むことができる。複数の画像センサ１４０は、相補型金属酸化物半導体（ＣＭＯＳ）画像センサ、電荷結合素子（ＣＣＤ）画像センサ、または別のタイプの複数要素光検出器センサ（たとえば、焦点面アレイ）を含むことができるが、これに限定されない。さらに、本明細書の実施形態は、可視光スペクトル内での画像取込シナリオを説明するが、光の他の波長または周波帯を受け取り、取り込むことのできる同様の光学システムが企図されている。たとえば、光学システム１００を、近赤外波長範囲または別のスペクトル範囲内で動作するように構成することができる。
【００３０】
［0036］  コントローラ１５０は、少なくとも１つのプロセッサ１５２およびメモリ１５４を含む。コントローラ１５０は、メモリ内に記憶された命令を実行するように構成される。命令の実行は、第１の画像センサに第１の露出パラメータに従って入射光の第１の部分１０４の第１の画像を取り込ませることなど、様々な動作を実行するために実行され得る。さらに、動作は、第２の画像センサに第２の露出パラメータに従って入射光の第２の部分１０６の第２の画像を取り込ませることを含むことができる。
【００３１】
［0037］  それぞれの露出パラメータは、光学システム１００が第１の画像および第２の画像を取り込むのに使用する様々なセッティングを含むことができる。たとえば、それぞれの露出パラメータは、画像センサ感度セッティング（たとえば、ＩＳＯ）、開口セッティング（たとえば、Ｆ値）、および画像取込時間（たとえば、シャッタ速度）を含むことができる。他のタイプの露出パラメータが可能である。例の実施形態では、第１の露出パラメータは、相対的に短い取込時間（たとえば、１ミリ秒）を含むことができ、第２の露出パラメータは、相対的に長い取込時間（たとえば、１００ミリ秒）を含むことができる。すなわち、いくつかの実施形態では、第１の画像を取り込むのに使用される第１の露出時間を、第２の画像を取り込むのに使用される第２の露出時間より少なくとも１桁短くすることができる。
【００３２】
［0038］  拡張ダイナミック・レンジを、第１の画像および第２の画像に基づいて形成することができる。すなわち、成分画像に関して効果的により広いダイナミック・レンジを有する合成画像を形成するために、第１の画像および第２の画像を組み合わせるか合併することができる。これに関して、画像の組合せまたは合併を、ハイダイナミック・レンジ（ＨＤＲ）画像処理を介して実行することができる。たとえば、第１の画像の露出不足の領域を、第２の画像の対応する領域からの「正しく」露出された情報に置換し、またはこれを用いて増補することができる。それに加えてまたはその代わりに、第２の画像の露出過度の領域を、第１の画像の対応する領域からの「正しく」露出された情報に置換し、またはこれを用いて増補することができる。拡張ダイナミック・レンジ画像を形成するために第１の画像および第２の画像を組み合わせるための他の形が可能である。
【００３３】
［0039］  拡張ダイナミック・レンジ画像は、所与のシーン内の特定の物体または特徴に関するより多くの情報を提供することができる。たとえば、自律車両の文脈で、拡張ダイナミック・レンジ画像は、ラスタ・ディスプレイ（たとえば、陰極線管またはインターレース式ビデオ・モニタ）または点滅するディスプレイ（たとえば、ＬＥＤバナー・マーキーまたはＬＥＤ交通信号）などの、暗い光源または時間変化する光源に関するより完全な情報を提供することができる。他のタイプの時間的に変化する光源が、本明細書で企図されている。
【００３４】
［0040］  いくつかの実施形態では、１つまたは複数のビーム・スプリッタ１２０を、集められた光１０３を３つ以上の部分に分離するように構成することができる。すなわち、例の実施形態では、集められた光１０３を光の第１の部分、第２の部分、および第３の部分に分離するように、２つの光学的に結合されたビーム・スプリッタ１２０を構成することができる。前の例と同様に、光の第１の部分は、光の第２の部分より少なくとも１桁多い光子束を有することができ、光の第２の部分は、光の第３の部分より少なくとも１桁多い光子束を有することができる。光のそれぞれの部分の間の光子束の他の相対レベルが、可能であり、企図されている。
【００３５】
［0041］  そのようなシナリオでは、画像センサ１４０は、第３の画像を取り込むように構成された第３の画像センサを含むことができる。第３の画像は、第３の露出パラメータに従って取り込まれた、入射光の第３の部分を含むことができる。例の実施形態では、第３の露出パラメータは、第２の露出パラメータより長い取込時間を含むことができる。たとえば、第３の画像の取込時間を１秒とすることができる。他の取込時間および他の露出パラメータが可能である。第１の画像、第２の画像、および第３の画像に基づいて、一括拡張ダイナミック・レンジ（ｂｒａｃｋｅｔｅｄ  ｅｘｔｅｎｄｅｄ  ｄｙｎａｍｉｃ  ｒａｎｇｅ）画像を提供することができる。一括拡張ダイナミック・レンジ画像は、露出パラメータの所与のセットを用いて所与のシーンを取り込む１つだけの画像センサを用いて他の形で可能であるはずのものより広いダイナミック・レンジにわたる画像情報を提供することができる。
【００３６】
［0042］  オプションで、様々な画像センサ１４０を、同一（それらが受け取る入射光の部分を除いて）とすることができる。その代わりに、画像センサ１４０は、それぞれ、他の画像センサとは異なる特性を有することができる。たとえば、複数の画像センサ１４０からの所与の画像センサは、他の画像センサとは異なるスペクトル応答、異なる空間解像度、または異なる読出レートを有することができる。他のタイプの特質が、様々な画像センサ１４０の間で可能である。
【００３７】
［0043］  図２Ａから図２Ｃは、本開示で企図されている光学システムのいくつかの非限定的な例を示す。図２Ａは、例の実施形態による光学システム２００を示す。光学システム２００は、図１に関して説明した光学システム１００の対応する要素に類似するかこれと同一である要素を含むことができる。光学システム２００は、レンズ要素２１０を含み、レンズ要素２１０は、レンズ本体２０４および１つまたは複数のレンズ２０６ａ〜２０６ｃを含むことができる。一実施形態では、レンズ要素２１０は、交換可能なレンズ（たとえば、ＳＬＲレンズ）または、光学システム２００の他の要素に取り外し可能に結合され得る別のタイプのレンズを含むことができる。光学システム２００は、ビーム・スプリッタ２３０をも含み、ビーム・スプリッタ２３０は、ビーム・キューブまたは本明細書で説明される別のタイプの光ビーム・スプリッタとすることができる。一実施形態では、ビーム・スプリッタ２３０は、入射光２０２を第１の部分２０９ａおよび第２の部分２０９ｂに分割するように構成されたビーム分割面２３２を含むことができる。例の実施形態では、第１の部分２０９ａは、第２の部分２０９ｂよりはるかに多くの光子束を含むことができる。たとえば、第１の部分２０９ａは、第２の部分２０９ｂの光子束より少なくとも１桁多い光子束を有することができる。言い換えると、第２の部分２０９ｂは、レンズ要素２１０の視野からの、減衰された光を含むことができる。
【００３８】
［0044］光学システム２００は、光の第１の部分２０９ａを受け取るように構成された第１の画像センサ２２０ａと、光の第２の部分２０９ｂを受け取るように構成された第２の画像センサ２２０ｂをと含む。それぞれの画像センサ２２０ａおよび２２０ｂは、それぞれの露出パラメータに従って光のそれぞれの部分を取り込むように構成された、同様のまたは同一の画像センサとすることができる。例の実施形態では、第１の画像を、第１の露出パラメータに従って第１の画像センサ２２０ａによって取り込むことができ、第１の露出パラメータは、感度および／もしくは利得セッティングまたは取込時間（たとえば、露出時間またはシャッタ時間）を含むことができる。たとえば、第１の画像の取込時間は、１ミリ秒とすることができる。
【００３９】
［0045］  同様に、第２の画像を、第２の露出パラメータに従って第２の画像センサ２２０ｂによって取り込むことができる。そのようなシナリオでは、光の第２の部分２０９ｂの光子束が、光の第１の部分２０９ａの光子束より約１桁少ない場合に、第２の画像の取込時間は、１０ミリ秒とすることができる。他の取込時間が可能である。さらに、それぞれの取込時間および他の露出パラメータを、シーンの以前の画像および／または露出計測定からの情報に基づいて決定することができる。
【００４０】
［0046］  図２Ｂは、例の実施形態による光学システム２４０を示す。光学システム２４０は、図示し、図１および図２Ａに関して説明した光学システム１００および２００の対応する要素に類似するかこれと同一である要素を含むことができる。光学システム２４０は、レンズ要素２１０およびビーム・スプリッタ２３０を含む。さらに、光学システム２４０は、ビーム分割面２４４を有するさらなるビーム・スプリッタ２４２を含むことができる。そのようなシナリオでは、さらなるビーム・スプリッタ２４２を、入射光２０９ｂを光の第２の部分２０９ｄおよび光のさらなる第３の部分２０９ｃに分離するように構成することができる。光の第３の部分２０９ｃは、光の第２の部分２０９ｄの光子束より少なくとも１桁少ない光子束を有することができる。さらに、光学システム２４０は、第２の画像センサ２２０ｄおよび第３の画像センサ２２０ｃを含むことができる。第２の画像センサ２２０ｄは、光の第２の部分２０９ｄに基づいて第２の画像を取り込むように構成され得る。第３の画像センサ２２０ｃは、光の第３の部分２０９ｃに基づいて第３の画像を取り込むように構成され得る。第３の画像を、第３の露出パラメータに従って取り込むことができる。たとえば、第３の露出パラメータは、１００ミリ秒の取込時間を含むことができる。しかし、他の取込時間が可能である。
【００４１】
［0047］  図２Ｃは、例の実施形態による光学システム２５０を示す。光学システム２５０は、図示し、図１、図２Ａ、および図２Ｂに関して説明した光学システム１００、２００、および２４０の対応する要素に類似するかこれと同一である要素を含むことができる。さらに、光学システム２５０は、１つまたは複数のさらなる光学要素２５２ａおよび２５２ｂを含むことができる。さらなる光学要素２５２ａおよび２５２ｂを、ビーム・スプリッタ２３０とそれぞれの画像センサ２２０ａおよび２２０ｂとの間に配置することができる。例の実施形態では、光学要素２５２ａおよび２５２ｂは、光減衰器、空間フィルタ、またはレンズを含むことができる。光学要素２５２ａおよび２５２ｂは、たとえば、異なるサイズの画像センサまたは異なる視野への変換（たとえば、コンバージョン・レンズを介する）を提供することができる。いくつかの例の実施形態では、光学要素２５２ａおよび２５２ｂを、光学経路に制御可能に挿入し、除去することができる。したがって、様々な光学要素２５２ａおよび２５２ｂを、たとえばイメージング条件（たとえば、周囲照明、平均光子束またはサンプリングされた光子束など）に基づいて光学経路に適用することができる。
【００４２】
［0048］  図３Ａは、例の実施形態による、交通信号灯３００および動作タイミング図３２０を示す。交通信号灯３００は、ハウジング３０２と、赤色ライト３０４、黄色ライト３０６、および緑色ライト３０８とを含むことができる。他のタイプの交通信号または交通信号系が本明細書で企図されていることを理解されたい。
【００４３】
［0049］  赤色ライト３０４は、個々のＬＥＤバルブまたはＬＥＤバルブのセットに対応することのできる複数の赤色ライト・セグメント３１４ａ〜３１４ｃを含むことができる。同様に、黄色ライト３０６は、複数の黄色ライト・セグメント３１６ａ〜３１６ｃを含むことができ、緑色ライト３０８は、複数の緑色ライト・セグメント３１８ａ〜３１８ｃを含むことができる。簡潔さのために、説明されるマルチセグメント・ライトが、明瞭さのために単純化されていることを理解されたい。従来の交通指示器は、４つ以上のセグメントを有する場合があり、このセグメントが、水平ストリップに配置される必要はない。たとえば、いくつかのライトが、垂直ストリップまたはアレイ内の画素として配置された複数のセグメントを含む場合がある。
【００４４】
［0050］  動作タイミング図３２０は、交通信号灯３０２の順次動作の単純化された例を示す。すなわち、交通信号灯３０２は、第１のタイム・スロット３２２ａ中に「ａ」で終わるライト・セグメント（たとえば、赤色ライト・セグメント３１４ａ、黄色ライト・セグメント３１６ａ、または緑色ライト・セグメント３１８ａ）を点灯することができる。さらに、交通信号灯３０２は、第２のタイム・スロット３２２ｂ中に「ｂ」で終わるライト・セグメント（たとえば、赤色ライト・セグメント３１４ｂ、黄色ライト・セグメント３１６ｂ、または緑色ライト・セグメント３１８ｂ）を点灯することができる。さらに、交通信号灯３０２は、第３のタイム・スロット３２２ｃ中に「ｃ」で終わるライト・セグメント（たとえば、赤色ライト・セグメント３１４ｃ、黄色ライト・セグメント３１６ｃ、または緑色ライト・セグメント３１８ｃ）を点灯することができる。
【００４５】
［0051］  第１、第２、および第３のタイム・スロット３２２ａ〜３２２ｃは、繰り返すことができる時間期間３２４を構成することができる。さらに、赤色、黄色、および緑色のライトは、本明細書で企図されるものより長い時間期間に従ってサイクルすることができる。言い換えると、「赤色」ライト期間中に、赤色ライト・セグメント３１４ａ〜３１４ｃは、動作タイミング図３２０に従って、順次オンおよびオフをサイクルすることができる。すなわち、１つの赤色ライト・セグメント３１４ａ〜３１４ｃだけが、期間３２４にわたる任意の一時に点灯されるはずである。例の実施形態では、例示のために、それぞれのタイム・スロット３２２ａ〜３２２ｃを２ミリ秒とすることができるが、他のタイム・スロット期間が可能である。他のタイプの順次点灯動作モードおよび不連続点灯動作モードが、本明細書で企図されている。
【００４６】
［0052］  例の実施形態では、第１の画像センサ（たとえば、画像センサ２２０ａ）は、総入射光束の約９１％の光子束を有する光の第１の部分を受け取ることができる。そのようなシナリオでは、相対的に短い取込時間３３４（たとえば、１ミリ秒）にわたって第１の画像を取り込むように、第１の画像センサを制御することができる。第１の画像センサは、さらに、読取／リセット期間３３６中に読取機能およびリセット機能を実行することができる。しかし、短い取込時間（たとえば、１ミリ秒）に起因して、第１の画像は、３つのライト・セグメントのうちの２つ（多くとも）に関する情報だけを含むはずである。
【００４７】
［0053］  第２の画像センサ（たとえば、画像センサ２２０ｂ）は、総入射光束の約９％の光子束を有する光の第２の部分を受け取ることができる。したがって、第２の画像センサは、相対的により長い取込時間３４４（たとえば、６ミリ秒）にわたって第２の画像を取り込むように制御され得、この第２の画像は、タイム・スロット３２２ａ〜３２２ｃのそれぞれにどのライト・セグメントが点灯されるのかに関する情報を提供することができる。いくつかの実施形態では、第２の画像センサは、第１の画像センサと比較して相対的により短い読取／リセット期間３４６を有することができる。
【００４８】
［0054］  本明細書で説明する動作タイミング図３２０は、例示のみのためのものであり、広範囲の他の可能なライト点灯シーケンスが可能である。本光学システムおよび方法は、そのような順次ライティング・システムまたは非永続的ライティング・システムを利用する停止灯に関するよりよいイメージング情報を提供することができる。時間的に動的な光源を用いる他の画像取込応用例が企図されている。
【００４９】
［0055］  図３Ｂは、例の実施形態によるテール・ライト３５０を示す。テール・ライト３５０は、自律車両または標準的な車両の一部とすることができる。テール・ライト３５０は、複数のライト・セグメント３５２〜３６４を含むことができる。例の実施形態では、複数のライト・セグメント３５２〜３６４は、グループ化された順次的な形で点灯され得る。すなわち、通常動作中に、テール・ライト３５０は、複数の順次タイム・スロット中に一部分を点灯することができる。一例として、３つのライト・セグメント３５２、３５８、および３６４の第１のグループが、第１のタイム・スロット中に点灯しすることができ、第２のタイム・スロット中の２つのライト・セグメント３５４および３６０の第２のグループがこれに続き、第３のタイム・スロット中の２つのライト・セグメント３５６および３６２の第２のグループがこれに続くことができる。いくつかの実施形態では、シナリオは、オンおよびオフに切り替わるテール・ライト３５０（たとえば、方向指示器など）を含むことができる。他のタイプの発光変形形態（たとえば、時間的および空間的）が可能である。
【００５０】
［0056］  そのようなテール・ライト３５０をイメージングする時に、第１、第２、および第３のタイム・スロットの合計より長い取込時間を有する露出条件を用いて少なくとも１つの画像を取り込むように、光学システム１００、２００、２４０、および２５０などの光学システムを構成することができる。そのようなシナリオでは、合成膨張ダイナミック・レンジ画像は、テール・ライト３５０の可能な点灯に関するより完全な情報を含む。
ＩＩＩ．例の方法
【００５１】
［0057］  図４は、例の実施形態による方法４００を示す。方法４００は、様々なブロックまたはステップを含むことができる。ブロックまたはステップを、個別にまたは組み合わせて実行することができる。ブロックまたはステップを、任意の順序でおよび／または直列にもしくは並列に実行することができる。さらに、ブロックまたはステップを方法４００から省略し、またはこれに追加することができる。
【００５２】
［0058］  方法４００のブロックの一部またはすべては、図示され、図１、図２Ａ、図２Ｂ、および図２Ｃを参照して説明された光学システム１００、２００、２４０、または２５０の要素を含むことができる。さらに、方法４００の一部のブロックは、図示され、図４Ａおよび図４Ｂを参照して説明された、１つまたは複数の画像センサに画像を取り込ませることを含むことができる。方法４００のブロックの一部またはすべてを、コントローラ１５０ならびに／またはプロセッサ１５２およびメモリ１５４によって実行することができる。
【００５３】
［0059］  ブロック４０２は、光学システムの少なくとも１つのレンズ要素を介して入射光を受け取ることを含む。例の実施形態では、この方法は、図示され図１に関して説明されたように、レンズ要素１１０を介して入射光１０２を受け取ることを含むことができる。入射光は、ラスタ・ディスプレイまたは点滅するディスプレイから放たれた光を含むことができる。例の実施形態では、ラスタ・ディスプレイまたは点滅するディスプレイは、交通信号、車両ライト、またはインジケータを含むことができる。
【００５４】
［0060］  ブロック４０４は、少なくとも１つのビーム・スプリッタを介して、入射光を、少なくとも、第１の光子束を有する第１の部分と第２の光子束を有する第２の部分とに分離することであって、第１の光子束は、第２の光子束より少なくとも１桁多い、分離することを含む。少なくとも１つのビーム・スプリッタは、部分的に銀めっきされた鏡または反射防止膜を有するガラスを含むことができる。例の実施形態では、少なくとも１つのビーム・スプリッタは、二色性光学要素または周波数選択面を含むことができる。
【００５５】
［0061］  例の実施形態では、少なくとも１つの光学要素を、少なくとも１つのビーム・スプリッタと第１の画像センサまたは第２の画像センサのうちの少なくとも１つとの間の光学経路に沿って配置することができる。少なくとも１つの光学要素は、レンズ、光減衰器、空間フィルタ、または分光フィルタを含むことができる。
【００５６】
［0062］  ブロック４０６は、第１の画像センサに、第１の露出パラメータに従って入射光の第１の部分の第１の画像を取り込ませることを含む。
【００５７】
［0063］  ブロック４０８は、第２の画像センサに、第２の露出パラメータに従って入射光の第２の部分の第２の画像を取り込ませることを含む。例の実施形態では、第１および第２の画像センサは、複数要素光検出器アレイを含むことができる。
【００５８】
［0064］  例の実施形態では、第１の露出パラメータは、第１の露出時間を含み、第２の露出パラメータは、第２の露出時間を含む。第１の露出時間は、第２の露出時間より少なくとも１桁短い。
【００５９】
［0065］  より広いダイナミック・レンジの画像を提供するために、第１および第２の画像を組み合わせ、かつ／または合併することができる。たとえば、この方法は、オプションで、第１の画像および第２の画像のハイダイナミック・レンジ（ＨＤＲ）画像処理に基づいて拡張ダイナミック・レンジ画像を判定することを含むことができる。
【００６０】
［0066］  例の実施形態では、光学システムは、第１のビーム・スプリッタおよび第２のビーム・スプリッタを含むことができる。第１のビーム・スプリッタおよび第２のビーム・スプリッタは、入射光を第３の光子束を有する第３の部分に分離するようにさらに構成され得る。そのようなシナリオでは、第２の光子束は、第３の光子束より少なくとも１桁多いものとすることができる。
【００６１】
［0067］  そのようなシナリオでは、この方法は、第３の画像センサに、第３の露出パラメータに従って入射光の第３の部分の第３の画像を取り込ませることを含むこともできる。したがって、この方法は、第１の画像、第２の画像、および第３の画像に基づいて一括拡張ダイナミック・レンジ画像を判定することを含むこともできる。
【００６２】
［0068］  図面に示された特定の配置を、限定的と見なしてはならない。他の実施形態が、所与の図面に示された各要素のより多数またはより少数を含むことができることを理解されたい。さらに、図示の要素の一部を、組み合わせるか省略することができる。さらに、例示的な実施形態は、図面に示されていない要素を含むことができる。
【００６３】
［0069］  情報の処理を表すステップまたはブロックは、本明細書で説明される方法または技法の特定の論理機能を実行するように構成され得る回路網に対応することができる。その代わりにまたはそれに加えて、情報の処理を表すステップまたはブロックは、プログラム・コード（関係するデータを含む）のモジュール、セグメント、または一部に対応することができる。プログラム・コードは、本方法または技法の特定の論理機能またはアクションを実施するためにプロセッサによって実行可能な１つまたは複数の命令を含むことができる。プログラム・コードおよび／または関係するデータを、ディスク、ハード・ドライブを含むストレージ・デバイスまたは他の記憶媒体などの任意のタイプのコンピュータ可読媒体に記憶することができる。
【００６４】
［0070］  コンピュータ可読媒体は、レジスタ・メモリ、プロセッサ・キャッシュ、およびランダム・アクセス・メモリ（ＲＡＭ）など、短い時間期間の間にデータを記憶するコンピュータ可読媒体などの非一時的コンピュータ可読媒体を含むこともできる。コンピュータ可読媒体は、より長い期間にわたってプログラム・コードおよび／またはデータを記憶する非一時的コンピュータ可読媒体を含むこともできる。したがって、コンピュータ可読媒体は、たとえば、読取専用メモリ（ＲＯＭ）、光ディスクまたは磁気ディスク、コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）などの二次長期ストレージまたは永続長期ストレージを含むことができる。コンピュータ可読媒体を、任意の他の揮発性または不揮発性のストレージ・システムとすることもできる。コンピュータ可読媒体は、たとえば、コンピュータ可読記憶媒体または有形のストレージ・デバイスと考えることができる。
【００６５】
［0071］  様々な例および実施形態を開示したが、他の例および実施形態が、当業者に明白になろう。様々な開示された例および実施形態は、例示のためのものであって、限定的であることは意図されておらず、真の範囲は、以下の特許請求の範囲によって示される。
【図１】
2019525541.tif 000003
【図２Ａ】
2019525541.tif 000004
【図２Ｂ】
2019525541.tif 000005
【図２Ｃ】
2019525541.tif 000006
【図３Ａ】
2019525541.tif 000007
【図３Ｂ】
2019525541.tif 000008
【図４】
2019525541.tif 000009
【国際調査報告】
2019525541.tif 000010
2019525541.tif 000011