(57)【要約】光学システム内での色情報整合は、画像形成ビームを明強度ビームと暗強度ビームに分割するステップと、複数のセンサを使用して、明強度ビームと暗強度ビームとから光成分の色値を検出するステップと、明強度ビームと暗強度ビームとに関連付けられる残存光成分の色値を判定するステップと、暗強度ビームと関連付けられる色値を変換し、暗強度ビームの色値を明強度ビームの色値に対して較正するステップであって、明強度ビームの色値は、色ずれを含む、ステップとを含むことができる。
2019505153.tif 000002
【特許請求の範囲】
【請求項１】
光学システム内で色情報を整合させるための方法であって、前記方法は、
画像形成ビームを明強度ビームと暗強度ビームに分割するステップと、
複数のセンサを使用して、前記明強度ビームと前記暗強度ビームとから光成分の色値を検出するステップと、
前記明強度ビームと前記暗強度ビームとに関連付けられる残存光成分の色値を判定するステップと、
前記暗強度ビームと関連付けられた前記色値を変換し、前記暗強度ビームの色値を前記明強度ビームの色値に対して較正するステップであって、前記明強度ビームの色値は、色ずれを含む、ステップと
を含む、方法。
【請求項２】
色ずれのために、基準値を使用して、前記変換された色値と、前記明強度ビームと関連付けられた色値とを色補正するステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記明強度ビームは、第１のセンサによって検出され、前記暗強度ビームは、第２のセンサによって検出される、請求項１に記載の方法。
【請求項４】
画像形成ビームを、明強度ビームと、中強度ビームと、暗強度ビームとに分割するステップと、
複数のセンサを使用して、前記明強度ビームと、中強度ビームと、前記暗強度ビームとから光成分の色値を検出するステップと、
前記明強度ビームと、中強度ビームと、前記暗強度ビームとに関連付けられる残存光成分の色値を判定するステップと、
前記暗強度ビームと関連付けられた色値を変換し、前記暗強度ビームの色値を前記中強度ビームの色値に対して較正するステップであって、前記中強度ビームの色値は、色ずれを含む、ステップと、
前記中強度ビームに関連付けられた色値と、前記較正された暗強度ビーム色値とを変換し、色値を前記明強度ビームの色値に対して較正するステップであって、前記明強度ビームは、色ずれを含む、ステップと
をさらに含む、請求項１に記載の方法。
【請求項５】
色ずれのために、基準値を使用して、前記明強度ビームと関連付けられた色値と、明強度ビームに対して較正された色値とを色補正するステップをさらに含む、請求項４に記載の方法。
【請求項６】
前記明強度ビームは、第１のセンサによって検出され、前記中強度ビームは、第２のセンサによって検出され、かつ前記暗強度ビームは、第３のセンサによって検出される、請求項４に記載の方法。
【請求項７】
光学システム内で色情報を整合させる方法であって、前記方法は、
複数のセンサを使用して光情報を検出するステップであって、前記センサのそれぞれは、複数のピクセルを有し、前記センサのそれぞれから検出された光が、異なる光補正空間と関連付けられるように、前記センサのそれぞれは、異なる量の光を受信する、ステップと、
前記センサのそれぞれから検出された光情報が、最終色補正空間と関連付けられるまで、第１の色補正空間から検出される光情報を、標的色補正空間に連続的に変換させるステップと、
前記検出された光情報と、前記最終色補正空間と関連付けられる変換された光情報とを融合させるステップと、
色ずれを補正するために、基準値を使用して、前記融合された光情報を色補正するステップと
を含む、方法。
【請求項８】
前記検出された光情報が、各ピクセルと関連付けられる赤色、青色、または緑色の光成分のための検出される強度値を含むように、前記複数のピクセルのそれぞれは、色フィルタによって被覆される、請求項７に記載の方法。
【請求項９】
前記検出された光情報を連続的に変換するステップは、前記センサのそれぞれから検出された光情報が、前記最明色補正空間と関連付けられるまで、最暗色補正空間から検出された光情報を最明色補正空間に変換するステップを含む、請求項７に記載の方法。
【請求項１０】
前記最終色補正空間は、前記最明色補正空間である、請求項９に記載の方法。
【請求項１１】
前記検出された情報を連続的に変換するステップは、
前記第１の色補正空間と関連付けられるセンサと、前記標的色補正空間と関連付けられるセンサとのピクセル毎に、少なくとも２つの非検出色成分のための補間色値を判定するステップと、
第１の色補正行列と標的色補正行列とをもたらすために、色補正行列を、前記第１の色補正空間と前記標的色補正空間とに関連付けられる、補間された検出された前記色値に適用するステップと、
前記第１の色補正空間からの情報を前記標的色補正空間に変換するために色変換行列を判定するステップであって、前記色変換行列は、前記第１の色補正行列と前記標的色補正行列の逆行列との積である、ステップと
を含む、請求項７に記載の方法。
【請求項１２】
任意の補間色値を除去することによって、前記色変換行列をモザイク処理するステップをさらにを含む、請求項１１に記載の方法。
【請求項１３】
前記センサのピクセルは、異なるセンサのピクセルに整合される、請求項７に記載の方法。
【請求項１４】
前記補間色値を判定するステップは、
前記センサ毎に、非検出色成分のための飽和色値を検出するステップと、
前記飽和色値のための非飽和色値を識別するステップであって、前記非飽和色値は、異なるセンサによって検出され、前記非飽和色値は、前記補間色値を判定するために使用される、ステップと
を含む、請求項７に記載の方法。
【請求項１５】
前記非飽和情報は、前記センサのうちの任意の１つによって検出される、請求項１４に記載の方法。
【請求項１６】
前記非飽和情報は、複数のセンサによって検出される、請求項１３に記載の方法。
【請求項１７】
前記複数のセンサは、３つのセンサを含む、請求項７に記載の方法。
【請求項１８】
画像信号上で色整合プロセスを実施するための画像プロセッサであって、前記画像プロセッサは、
色補正信号を、第１のセンサと第２のセンサとのピクセルによって生成されるピクセル信号に印加するように構成される、色補正行列乗算器であって、前記色補正行列乗算器は、センサ毎に、色補正行列をもたらし、前記色補正行列は、
【数１】
2019505153.tif 000007
であり、
式中、Ａ１．．．Ａ９およびＢ１．．．Ｂ９のための値は、事前判定され、かつＲｌｅ、Ｇｌｅ、およびＢｌｅのための値と、Ｒｍｅ、Ｇｍｅ、およびＢｍｅのための値とは、前記第１のセンサと第２のセンサとに関連付けられる色成分強度を表す補間された検出された値を含む、色補正行列乗算器と、
色変換信号を、前記色補正行列に印加し、前記ピクセル信号を第１の色補正空間から第２の色補正空間に変換するように構成される、色変換行列であって、前記色変換行列は、
【数２】
2019505153.tif 000008
である、色変換行列と
を備える、画像プロセッサ。
【請求項１９】
前記画像プロセッサは、ＨＤＲ光学システムの一部である、請求項１８に記載の画像プロセッサ。
【請求項２０】
前記ＨＤＲ光学システムは、パイプライン型ＨＤＲ光学システムである、請求項１９に記載の画像プロセッサ。
【請求項２１】
前記補間された値は、非飽和ピクセル情報を使用して計算される、請求項１８に記載の画像プロセッサ。
【請求項２２】
画像信号上で色整合を実施するための方法であって、前記方法は、
色補正ルックアップテーブルを使用して、複数のセンサの第１のセンサのピクセルによって生成されるピクセルデータ上で色補正を行うステップと、
色整合ルックアップテーブルを使用して、前記色補正される前記ピクセルデータを、前記複数のセンサの第２のセンサの色空間に転換するプロセスと、
前記転換されたピクセルデータと、前記第２のセンサのピクセルによって生成されるピクセルデータとを融合させるプロセスと
を含む、方法。
【請求項２３】
前記転換されたピクセルデータは、デモザイク処理状態であって、前記転換されたピクセルデータをモザイク状態に変換するステップをさらに含む、請求項２２に記載の方法。
【請求項２４】
前記融合させるステップは、そのモザイク状態にある前記転換されたピクセルデータと、前記第２のセンサのピクセルによって生成されたピクセルデータとを融合させるステップを含み、前記第２のセンサのピクセルによって生成されたピクセルもまた、モザイク状態である、請求項２３に記載の方法。
【請求項２５】
前記融合されたピクセルデータをデモザイク処理状態に変換するステップと、
前記色補正ルックアップテーブルを使用して、前記融合されたピクセルデータ上で色補正を実施するステップと
をさらに含む、請求項２４に記載の方法。
【請求項２６】
前記色整合ルックアップテーブルを使用して、前記色補正された融合されたピクセルデータを前記複数のセンサの第３のセンサの色空間に転換するステップと、
前記転換され、かつ第３のセンサのピクセルによって生成されたピクセルデータと融合されるピクセルデータを、最終融合ピクセル出力に融合させるステップと、
前記色補正ルックアップテーブルを使用して、前記最終融合ピクセル出力上で色補正を実施するステップと
をさらに含む、請求項２５に記載の方法。
【請求項２７】
前記色補正ルックアップテーブルは、前記複数のセンサの各センサの各ピクセルによって生成されるピクセルデータから色ずれを除去するために使用される基準値を含む、請求項２２に記載の方法。
【請求項２８】
前記色整合ルックアップテーブルは、色補正ピクセルデータを前記複数のセンサのうちの任意のセンサの色空間に転換する値を含む、請求項２２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１６年２月１２日に出願された米国出願第６２／２９４，８２０号の利益を主張するものであり、該米国出願の内容は、その全体が参照により本明細書中に援用される。
【０００２】
本開示は、光学システム内での複数のセンサにわたる色整合に関する。
【背景技術】
【０００３】
人間の視覚系は、高ダイナミックレンジを有する視覚特徴を識別および処理することができる。例えば、１，０００，０００：１またはそれを上回るコントラスト比率を有する実世界画像は、人間の視覚野によって正確に処理されることができる。しかしながら、大部分の画像取得デバイスは、低ダイナミックレンジの再現または捕捉のみ可能であって、画像正確度の損失をもたらす。問題は、ビデオ撮像においてさらにより有意となる。
【０００４】
それぞれが異なる露光を受ける複数のセンサからの画像を後処理することによって、高ダイナミックレンジ画像を作成する、多数の実施例が存在する。結果として生じる「混成された」画像は、後処理動作なしで単一センサから可能であるであろうより広いダイナミックレンジを捕捉することが意図される。
【０００５】
典型的な色センサは、センサとともに組み込まれる色フィルタアレイ（ＣＦＡ）を有する。ＣＦＡセンサでは、各ピクセルは、その前面に設置される赤色、緑色、または青色の３つの色フィルタのうちの１つを有する。色センサ実装の分野においてよく理解されているように、ＣＦＡセンサによって生成された未加工画像は、したがって、特徴的なＢａｙｅｒパターンを有する。色センサ実装の分野でよく理解されているプロセスでは、色センサからのそのようなＢａｙｅｒパターン画像は、典型的には、各ピクセルに３つの一意の値、赤色（Ｒ）値、緑色（Ｇ）値、および青色（Ｂ）値、を与えるようデモザイク処理される。デモザイク処理された画像は、次いで、典型的には、実世界の真色（いわゆる、「真値」または「真の」色値）の値に整合させるように色補正（ＣＣ）される。ＣＣプロセスは、色センサ実装の分野でよく理解されている。ＣＣプロセスは、最初に、較正される色正方形カードのＢａｙｅｒ画像の捕捉と、この画像のデモザイク処理と、次いで、色補正行列（ＣＣＭ）の計算を伴う。ＣＣＭは、カメラのメモリに記憶され、次いで、その後の画像内のピクセルのＲＧＢ値によって自動的に乗算され、その後の画像をセンサの色補正空間（ＣＣＳ）から「真値」のＣＣＳに補正する。
【０００６】
典型的なＨＤＲ融合プロセスでは、複数のＣＣ画像は、ＨＤＲ画像を作成するためにともに組み合わせられる。
【０００７】
前述の全てのＨＤＲ融合方法における暗黙の仮定は、全てのセンサのＣＣＭが等しいということである。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ダイナミックレンジに存在しているにもかかわらず、結果として生じる画像は、依然として、それらのロバストな天然色を再現し損ねている。ダイナミックレンジを改善するための伝統的な試みの有意な問題の１つは、伝統的な画像処理の結果、多くの場合、希釈または誇張された色を複製できないということである。したがって、以下の開示によって例示されるような改善された画像処理技術の必要性がある。
【課題を解決するための手段】
【０００９】
光学システムにおいて、複数のセンサからの情報の融合は、画像捕捉のダイナミックレンジを改善する。本発明の方法は、ｎ個のセンサ（ｎは、１を上回る任意の整数である）に関して、第１のセンサからのデータを第２のセンサの色補正空間に連続的に転換し、第１および第２のセンサからの画像データを組み合わせ、次いで、随意に、組み合わせられたデータを第３のセンサの色補正空間に転換し、かつ前述で組み合わせられた画像データを第３のセンサからの画像データと組み合わせる等と続くことによって、真色画像を生成する。最終的に、組み合わせられた色データは、色補正され、撮像される物体のダイナミックレンジを反映した真色画像ファイルを生成する。複数のセンサからの段階的なデータ転換（典型的には、最少量の光を受信するセンサから始まる）は、画像を生成するために使用される光学経路内の異なる場所におけるセンサによって受信される光の量の差異を補正する。複数のセンサからの画像情報は、「均等化」され、結果として生じる全センサからの情報の組み合わせは、撮像されているオリジナルの物体の光レベルおよび色値を正確に伝達する。
【００１０】
本発明は、２つのセンサからの画像を融合する前に、１つのセンサのそのＣＣＳからのデータを別のセンサのＣＣＳに転換することによって（色整合ステップ）、上記のＨＤＲ融合方法を改善する。融合された画像データは、次いで、その第３のセンサの画像データと組み合わせられる前に、第３のセンサのＣＣＳに転換されることができる。プロセスは、所望されるセンサの数に対して反復されてもよい。全てのセンサの画像が組み合わせられた後、最終組み合わせ画像は、デモザイク処理され、次いで、真値に色補正されてもよい。
【００１１】
本発明における色整合ステップの目的は、反射する光と、光学システムの種々のビーム分割器を通して伝送する光との間の光スペクトル内のいかなる差異をも補正することである。そのようなビーム分割器は、「スペクトル上中立」と呼ばれ得るが、多くの場合、伝送される光の量には僅かに波長に左右される差異が存在する。これらの差異は、入力光の単一色のための、種々のセンサによって感知されるＲ、Ｇ、およびＢ色の量（および／もしくは比率）を異なるようにし得る。
【００１２】
本明細書で説明される方法はまた、ビーム分割器（例えば、ガラス立方体または薄膜）に対するセンサの位置によって引き起こされる、異なるセンサ間で検出される色レベルの変動を補正するために有用である。ビーム分割器は、典型的には、部分的反射表面（例えば、薄フィルム被膜）を含む。光ビームは、ビーム分割器から反射またはそれを通して伝送するので、光ビームの特性（例えば、透過率または反射率）は、影響を及ぼされる。光ビームが、複数のビーム分割器を通して進むにつれて、影響は、指数関数的に増加する。複数のセンサ光学システムでは、これらの影響を考慮することなく色情報を組み合わせることは、システムの真色ＨＤＲ画像の捕捉を妨げるであろう。検出された色情報の全てを単一センサの補正された色空間に変換することによって、色データは、真色画像を生成するために容易に組み合わせ可能になる。加えて、説明された方法はまた、例えば、ロット毎の変動または化学的再調合に起因する反射被膜内の変動によって影響を及ぼされない。
【００１３】
加えて、本明細書で説明される方法は、少なくとも部分的に、色整合プロセスが、フレーム情報ではなくピクセル情報に基づいているので、過分な処理時間のない種々のセンサのアレイの相互の色整合を促進する。本発明の色整合プロセスは、完全なフレームのための情報を必要としないため、リアルタイムＨＤＲパイプラインに融合されることができる。言い換えると、本発明の色整合プロセスは、全体のフレーム情報と独立したピクセルレベル情報を処理するＨＤＲ光学システムと互換性がある。加えて、本明細書で説明される方法は、ＨＤＲ画像またはビデオシステムですでに使用されているハードウェアと互換性があり、付加的なハードウェアは不要である。
【００１４】
これらおよび他の側面、特徴、および実装、ならびにそれらの組み合わせは、装置、方法、事業活動方法、機能を実施するための手段またはステップ、構成要素、システム、プログラム製品、およびその他の態様において表現されてもよい。
【００１５】
他の側面、特徴、および利点は、説明および図面、ならびに請求項から明白となるであろう。
【図面の簡単な説明】
【００１６】
請求される主題の特徴および利点は、それと一貫した実施形態の以下の発明を実施するための形態から明白となり、その説明は、付随の図面を参照して検討されるべきである。
【００１７】
【図１】図１は、例示的なＨＤＲ光学システムを図示する概略図である。
【図２】図２は、図１に示されるシステムと使用するための、３つのセンサと、２つの薄膜との例示的配列の概略図である。
【図３】図３は、図１に示されるシステムと使用するための、２つのセンサと、立方体との例示的配列の概略図である。
【図４】図４は、ビーム分割体を通した光の透過率を図示するグラフである。
【図５】図５は、システム内の２つのセンサ間の色検出における変動を図示するグラフである。
【図６】図６は、図１に示されるシステムを通した情報の流れを示すフローチャートである。
【図７】図７は、例示的色整合プロセスのフローチャートである。
【図８】図８は、図１に示されるシステムと使用するためのコンピューティングシステムのブロック図である。
【発明を実施するための形態】
【００１８】
本開示の完全な理解のために、前述の図面と併せて、添付の請求項を含む、以下の発明を実施するための形態を参照されたい。本開示は、例示的実施形態に関連して説明されるが、本開示は、本明細書に記載される具体的形態に限定されることは意図されていない。種々の省略および均等物の代用が、状況が示唆または好都合と見なし得る場合、検討されることを理解されたい。
【００１９】
本発明は、２つまたはそれを上回るセンサを用いて、光学システムで検出される色の逸脱を補正するステップに関し、その逸脱は、少なくとも部分的に、センサ毎の変動によって引き起こされる。センサ（例えば、ＣＣＤセンサ、ＣＭＯＳセンサ、焦点面アレイ、または他の光検出センサ）は、光検出要素（例えば、ピクセル）のアレイを含む。本発明は、複数のセンサにわたって色検出値を整合させるステップと、最終的に、複数のセンサからの飽和データインジケータを早まって（例えば、色補正前に）喪失することなく、色値を色補正するステップとを教示する。
第１のセンサのそのＣＣＳからのデータを別のセンサのＣＣＳに転換することによって、２つのＣＦＡセンサからのセンサデータからＨＤＲ画像を作成するために、本発明を利用する例示的なプロセスは、以下を含む。
【００２０】
１）入射光のわずかな部分を受信する第１のセンサ（ＳＥセンサと呼ばれる）と、入射光のより大きな部分を受信する第２のセンサ（ＭＥセンサと呼ばれる）。例えば、２つのセンサ間の９０：１０ビーム分割器を用いて、ＭＥセンサは、ＳＥセンサの約９倍の量の光を受信し得る。
２）ＳＥセンサの画像を真値に転換するためにＣＣＭを計算するための色カード。
本ＣＣＭは、以下で［Ｃ］と呼ばれる。
３）ＭＥセンサの画像を真値に転換するためにＣＣＭを計算するための色カード。
本ＣＣＭは、以下で［Ｂ］と呼ばれる。ＭＥセンサは、ＳＥセンサより多くの光を受信するため、ＭＥセンサは、より良好に照射されるために、おそらく、ＳＥセンサと使用されるより少ない色カード上の色を要求するであろうことに留意されたい。それ故に、多くの場合、ＣＣＭ計算に２つの段階が存在する。
４）ＳＥ画像データをデモザイク処理するためのアルゴリズム。
５）以下に示される２つの行列［Ｃ］および［Ｂ］−１の積によってＳＥ画像ピクセルデータを乗算するプロセッサであって、表記“［Ｂ］−１”は、行列［Ｂ］の逆行列を表す。
６）次いで、デモザイク処理が逆転される（すなわち、画像をＢａｙｅｒパターン化画像にモザイク処理する）。これは、デモザイク処理されていないＳＥ画像をもたらし、その色は、ＭＥセンサのＣＣＳに転換され、画像は、「（ＭＥ  ＣＣＳにおける）ＳＥ画像」と呼ばれる。
【００２１】
７）新たに形成され、Ｂａｙｅｒパターン化された「（ＭＥ  ＣＣＳにおける）ＳＥ」画像をＭＥ画像（依然として未加工状態であり、Ｂａｙｅｒパターン化された状態にある）と融合するためのプロセッサ。
【００２２】
この融合され、Ｂａｙｅｒパターン化された画像は、ここでデモザイク処理され、次いで、そのピクセルを［Ｂ］行列と単純乗算することによって色補正され得る。
【００２３】
上記の実施例は、２つのセンサのデータを組み合わせる方法を示しているが、ステップ４から７は、任意の数のセンサからの画像組み合わせに対応するために必要な回数だけ反復されてもよい。
【００２４】
第１のセンサのそのＣＣＳからのデータを別のセンサのＣＣＳに転換することによって、２つのＣＦＡセンサからのセンサデータからＨＤＲ画像を作成するために、本発明を利用する別の例示的なプロセスは、色補正ルックアップテーブル（ＬＵＴ）の利用を含む。特に、上記のステップ５は、以下のステップに取って代わられてもよい。
【００２５】
５ａ）ＳＥセンサの色補正ＬＵＴのルックアップを行うことによって、ＳＥ画像ピクセルデータを実世界の真色（いわゆる、「真値」または「真の」色値）に変換するためのプロセッサ。
【００２６】
５ｂ）真色を使用して、さらに、ＭＥセンサの色補正ＬＵＴの逆ルックアップを行い、デモザイク処理されたＳＥ画像を生成するプロセッサであって、その色は、ＭＥセンサのＣＣＳに転換されている。代替として、真色を使用して、プロセッサは、色整合ＬＵＴ（すなわち、反転されるＭＥセンサ色補正ＬＵＴ）内で逆ルックアップを行い、デモザイク処理された画像を生成する。
【００２７】
ＳＥ画像は、次いで、上記ステップ６−７によって融合される。この融合され、Ｂａｙｅｒパターン化された画像は、ここでデモザイク処理され、次いで、ＭＥセンサの色補正ＬＵＴを使用して色補正されてもよい。
【００２８】
有利には、ＬＵＴプロセスは、ＣＣＭアプローチによる要求に応じて処理リソースを低減させる。
【００２９】
図１は、ＨＤＲサブシステム１０４を含む、ＨＤＲ光学システム１００を示す。光１０８がＨＤＲ光学システムの主レンズ１０６に入るとき、光１０８は、センサおよびビーム分割器１０７とによって検出される。ＨＤＲ光学システム１００はまた、センサおよびビーム分割器構成要素１０７、ならびに情報を記憶する（長期的または一時的）ためのメモリ１１２によって検出される、データの収集と分析とのためのプロセッサ１１０とソフトウェア１１４とを含むことができる。
【００３０】
図１および２を参照すると、センサおよびビーム分割器構成要素１０７は、３つのセンサ２０２ａ−ｃを含む薄膜構成２００に配列されることができる。本実施例では、センサ２０２ａ−ｃのそれぞれは、略同一期間にわたって光に暴露される。センサ２０２ｃは、それが最大量の照明を受信するであろう場所に位置付けられるため、時として、大型露光（ＬＥ）センサと称される。センサ２０２ｂは、それがセンサの中で最小量の光を受信するであろう場所に位置付けられるため、時として、小型露光（ＳＥ）センサと称される。センサ２０２ａは、それがセンサの中で最明光と最暗光との間の光を受信するであろうため、時として、中間露光（ＭＥ）センサと称される。
【００３１】
本実施例では、光１０８は、概して、矢印２０４によって示される方向に進む。例えば、光は、第１の薄膜２０８に到達する前に、妨害されることなく第１の距離２１２だけ進む。第１の薄膜２０８への到達に応じて、光の一部は、第１の薄膜２０８を通して伝送し、一部は、第１の薄膜２０８から離れるように反射される。伝送された光は、ＬＥセンサ２０２Ｃに到達する前に、経路２１４にわたって継続する。反射された光は、第２の薄膜２１０に到達する前に、経路２１６にわたって継続する。第２の薄膜２１０への到達に応じて、光の一部は、第２の薄膜２１０を通して伝送し、一部は、第２の薄膜２１０から離れるように反射される。伝送された光は、ＭＥセンサ２０２ａに到達する前に、経路２１８にわたって継続する。反射された光は、ＳＥセンサ２０２ｂに到達する前に、経路２２０に沿って進む。
【００３２】
図１と３とを参照すると、センサおよびビーム分割器構成要素１０７は、立方体構成３００に配列されることができる。薄膜構成２００のように、立方体構成３００では、センサ２０２ｂ−ｃのそれぞれは、略同一量の露光時間を被る。本実施例では、光１０８は、部分反射被膜３０４に到達する前に、プリズム３０２の部分を通って第１の光学経路３０６に沿って進む。部分反射被膜３０４への到達に応じて、光の一部は、部分反射被膜３０４を通って伝送し、光１０８の一部は、部分反射被膜３０４から離れるように反射される。伝送された光は、ＬＥセンサ２０２ｃに到達する前に、光学経路３０８に沿って継続し、反射された光は、ＳＥセンサ２０２ｂに到達する前に、光学経路３１０に沿って継続する。米国特許第８，３２０，０４７号、第８，４４１，７３２号、および第８，６１９，３６８号（その内容は、参照することによって全体として組み込まれる）で開示されたもの等の他のセンサおよびビーム分割器構成もまた、使用されることができる。
【００３３】
図４および５に示されるように、ビーム分割体（例えば、薄膜、立方体、または反射被膜）は、光の検出される特性に影響を及ぼす。例えば、図４は、ビーム分割体内の光の透過率がどのように挙動するかを図示するグラフ４００を示す。光は、摂動なしに物体を通って進むことはなく、摂動のない経路は、破線４０２で示されている。その代わりとして、透過率は、例えば、線４０４によって示されるように被膜内の光波長（または色）の関数として発振する。この発振は、発振内で情報が検出される場所に基づいて、異なるセンサによって検出される色値の間の相違を生成する。加えて、図５に示されるように、第１のセンサは、線５０２によって表される透過率を示す色値を検出し得る。しかしながら、ビーム分割器内の非直接経路に起因して、または光学経路上の複数のビーム分割器によって引き起こされる損失に起因して、第２のセンサは、線５０４によって表される透過率を示す色値を検出し得る。より低いダイナミックレンジで表示される画像またはビデオに関して、線５０２と線５０４との間の差異は、取るに足らないものであり得る。しかしながら、ＨＤＲ画像およびビデオ捕捉において、これらの相違は、顕著な色ずれを伴う画像を生成し得る。種々のセンサ間の色整合は、この問題に取り組むための補助となり得る。
【００３４】
図６を参照すると、ＨＤＲ光学システム１００の情報の流れが示されている。本実施例では、センサ２０２ａ−ｃのそれぞれからの情報（例えば、検出された色強度を指示する、１つまたはそれを上回るピクセルからの値）は、ピクセル信号を同期させる同期モジュール６０２に伝送される。ピクセル信号は、次いで、色整合プロセス７００（図７に示される）を実行する色整合モジュール６０４に送信される。色整合プロセス７００の完了後に、色値は、色補正プロセス７０７を実行する色補正モジュール６０６に伝送される。色補正情報は、次いで、ディスプレイ６０８に伝送される前に、随意に、例えば、トーンマッピングオペレータ（ＴＭＯ）モジュール６０５によって、付加的処理を受けることができる。
【００３５】
図７を参照すると、薄膜構成２００を有するＨＤＲ光学システム１００のための色整合プロセス７００が、示されている。色整合プロセス７００の目的は、１つのセンサから次のセンサへの色情報を保存する態様で、複数のセンサからの画像を、一度に２つの画像を同時に融合する段階で、ともに融合することである。１つの実施例として、図７に、ＳＥセンサからの最暗画像が示されており、ＭＥセンサからの中明画像と融合されている。この融合の結果は、次いで、ＬＥセンサからの最明画像と融合される。
【００３６】
色整合プロセス７００を誘導する基本原理は、最初に、暗画像を次の最明画像の色補正空間に転換し、次いで、２つの「非デモザイク処理の」（すなわち、色フィルタアレイ［ＣＦＡ］  Ｂａｙｅｒパターン化された）画像をともに融合させることである。
【００３７】
３つのセンサアレイ２０２ａ−ｃを有する、薄膜構成２００のための色整合プロセス７００は、３つの一般的な段階、すなわち、ＳＥ色補正空間（ＣＣＳ）段階７０１と、ＭＥ  ＣＣＳ段階７０３と、ＬＥ  ＣＣＳ段階７０５とを含む。色整合プロセスは、最初に、ＳＥセンサ２０２ｂによって生成されたＣＦＡ  Ｂａｙｅｒパターン化された画像の第１のデモザイク処理７０２と、次いで、このＳＥ画像のＣＣＳのＭＥ画像のＣＣＳへの整合（または転換）７０４とを含む、ＳＥ  ＣＣＳ段階７０１で始まる。デモザイク処理プロセス７０２は、画像の各ピクセルに完全色値をもたらす。
【００３８】
デモザイク処理７０２された後に、ＳＥ画像データは、次いで、ＭＥ  ＣＣＳ  ７０３内に融合される。この転換ステップ７０４の目的は、ＳＥアレイ画像の色をＭＥアレイ（ＭＥアレイの色不完全の全てを伴う）の色に整合させることである。
【００３９】
１つの実施例では、この転換７０４を行うために、ピクセル入力信号は、色補正行列を通して変換される。例えば、等式１−３は、ＬＥ、ＭＥ、およびＳＥセンサそれぞれのための色補正行列を示す。ＬＥセンサのための色補正行列は、等式１を使用して計算され、値Ａ１−Ａ９を含む、３×３行列係数は、ピクセル値を強化または弱化させるために選択された係数を表し、かつＲＧＢ行列（ＲＬＥ、ＧＬＥ、およびＢＬＥ）は、ＬＥセンサからのデモザイク処理されたＲＧＢ出力信号を表す。いくつかの場合では、３×３行列係数は、デモザイク処理された出力を期待（すなわち、いわゆる、「真」）値に対して比較することによって導出されることができる。例えば、３×３行列係数は、デモザイク処理されたＲＧＢ出力値と基準色チャート（例えば、Ｍａｃｂｅｔｈチャート）からの基準値との間の最小２乗多項式モデルによって導出されることができる。同様に、ＭＥセンサのための色補正行列は、等式２を使用して計算され、ＲＧＢ行列（ＲＭＥ、ＧＭＥ、およびＢＭＥ）は、ＭＥセンサからのデモザイク処理されたＲＧＢ出力信号を表し、そしてＳＥセンサのための色補正行列は、等式３を使用して計算され、ＲＧＢ行列（ＲＭＥ、ＧＭＥ、およびＢＭＥ）は、ＳＥセンサからのデモザイク処理されたＲＧＢ出力値を表す。
等式１−［Ａ］、すなわち、ＬＥセンサのための色補正行列を使用してＳＥピクセル値を補正する。
【化１】
2019505153.tif 000003
等式２−［Ｂ］、すなわち、ＭＥセンサのための色補正行列を使用してＭＥピクセル値を補正する。
【化２】
2019505153.tif 000004
等式３−［Ｃ］、すなわち、ＳＥセンサのための色補正行列を使用して、ＳＥピクセル値を補正する。
【化３】
2019505153.tif 000005
【００４０】
第１の色補正空間（ＣＣＳ）からの画像を第２のＣＣＳに転換するために、１つまたはそれを上回るセンサからの色補正行列が、使用されることができる。このプロセスは、ＣＣＳ間転換またはＣＣＳ較正と称され得る。第１のＣＣＳも第２のＣＣＳも、捕捉された画像の真色を正確に反映せず、第１および第２のＣＣＳは両方とも、色ずれを有し、これらの色ずれは、概して、相互に異なる。各センサがその色を「真値」に補正するための一意のＣＭ乗法を要求するという事実は、本事実を裏付けている。本発明は、第１のセンサからの画像を撮影し、（１）色ずれを除去し、次いで、（２）第２のセンサからの色ずれを導入するための方法を提供する。
ＳＥセンサのＣＣＳからの画像をＭＥセンサのＣＣＳに転換するための２段階プロセス７０４は、以下の等式４に図示される。
等式４-ＳＥ  ＣＣＳからのＳＥピクセル値をＭＥ  ＣＣＳに転換する。
【化４】
2019505153.tif 000006
【００４１】
等式４では、ＳＥセンサのピクセル値（Ｒ、Ｇ、Ｂ）は、ＳＥセンサの補正行列［Ｃ］によって乗算され、次いで、ＭＥセンサの補正行列［Ｂ］の逆行列によって乗算される。結果は、ＭＥセンサのＣＣＳ内にあるピクセル値（Ｒ、Ｇ、Ｂ）のセットである。
【００４２】
別の実施例では、この転換７０４を行うために、ピクセル入力信号は、色補正ルックアップテーブルを使用して変換される。例えば、等式１−３の色補正行列は、ＬＥ、ＭＥ、およびＳＥセンサそれぞれのためのルックアップテーブルを作成するために使用されることができる。例えば、ＬＥセンサの色補正ＬＵＴは、等式１のＣＣＭによって、全ての可能な入力ＲＧＢ  ＬＥ信号を乗算することによって、生成されることができる。故に、ＬＥセンサのためのＬＵＴは、全ての可能な入力ＲＧＢ  ＬＥ値を対応する真の色値にマッピングする。同様に、ＭＥセンサのための色補正ＬＵＴは、等式２のＣＣＭによって、全ての可能な入力ＲＧＢ  ＭＥ信号を乗算することによって生成される。加えて、ＳＥセンサのための色補正ＬＵＴは、等式３のＣＣＭによって、全ての可能な入力ＲＧＢ  ＳＥ信号を乗算することによって生成される。ＬＵＴのそれぞれは、メモリ（例えば、図８のメモリ８２０）または大容量記憶装置（例えば、図８の記憶デバイス８３０）内に記憶されることができる。いくつかの実施形態では、ＬＵＴのそれぞれは、単一の色補正ＬＵＴ内に組み合わせられることができる。
【００４３】
ＳＥセンサのＣＣＳからの画像をＭＥセンサのＣＣＳに転換するためのプロセス７０４は、以下の通りである。ＳＥセンサのピクセル値（Ｒ、Ｇ、Ｂ）は、ＳＥセンサのルックアップテーブルを使用してルックアップを実施するために使用される。ＳＥセンサのルックアップテーブルは、対応する真の（Ｒ、Ｇ、Ｂ）色値を出力する。ＳＥセンサの真の（Ｒ、Ｇ、Ｂ）色値は、次いで、ＭＥセンサのＣＣＳ内の色を得るために使用される。これは、ＭＥセンサのルックアップテーブルを使用してルックアップを実施するために、真の（Ｒ、Ｇ、Ｂ）色値を使用することによって成し遂げられる。１つの側面では、ＭＥセンサのルックアップテーブルは、例えば、ＭＥセンサの色補正ＬＵＴの反転を実施することによって、ＭＥセンサのための色補正ＬＵＴから生成される逆ＬＵＴであり得る。代替として、逆ルックアップは、ＭＥセンサの色補正ＬＵＴ上で実施されることができる。このプロセスは、ＭＥセンサのＣＣＳ内にあるピクセル値（Ｒ、Ｇ、Ｂ）のセットをもたらす。
【００４４】
本発明の方法は、２つのセンサからの画像が、正確に組み合わせられる、または融合され得るように、第２のセンサのＣＣＳを第１のセンサのＣＣＳに整合させることを可能にする。２つからの画像をＨＤＲ画像へ組み合わせることに先行して、第２のＣＣＳのずれの全てを第１のＣＣＳに適用するための方法は、以前には知られていなかった。複数のＣＦＡセンサからのデータを組み合わせるための典型的な方法は、画像の組み合わせに先行する、各センサのデータを、較正された色カードから測定された「真の」値へ色補正することに依拠する。これは、ＨＤＲシステムにおいて問題を含むものであって、より明るいセンサの画像は、飽和された有意な部分を有するであろうことが公知であり、実際には、飽和された部分は、組み合わせのとき、より暗いセンサの画像から得られているはずである。飽和されたピクセルを有する画像の色補正は、色が誤識別される原因となるであろう。したがって、ＨＤＲシステムでは、個々に「真」値に色補正された画像の組み合わせは、誤識別されている色をほぼ常にもたらすであろう。
【００４５】
本発明において提供される解決策は、より暗いセンサから生じるデータの上でのみ、［（ａ）デモザイク処理、（ｂ）色整合、および（ｃ）モザイク処理］のステップを実施することによって、この色の誤識別の問題を回避し、それによって、全てのデータが、より暗いセンサのデータとより明るいセンサのデータを融合するステップに先行して、非デモザイク処理状態に正確に戻されることを確実にする。
【００４６】
さらに、２つのセンサからの画像の融合に先行して、本発明は、２つのセンサの色補正空間を整合させる。この変換は、２つの画像（第１および第２のＣＣＳセンサからの）が、ピクセル毎に、非デモザイク処理フォーマットで正確に融合され得ることを確実にする。最初は、１つのセンサのＣＣＳを第２のセンサのＣＣＳに整合させるために変更することは、特に、第２のセンサのＣＣＳが「真」のＣＣＳとは異なることが既知であるとき、反直感的に見え得る。しかしながら、これは、画像の融合に先行して、両方のセンサからの色データがともに整合されることを確実にする際、重要なステップである。
【００４７】
ＳＥ情報をＳＥ  ＣＣＳ  ７０１からＭＥ  ＣＣＳ  ７０３に変換した後に、変換された値は、モザイク処理７０６（すなわち、デモザイク処理は、逆転される）される。変換されたＳＥＣＦＡ  Ｂａｙｅｒパターン化されたピクセル値は、ここで、ＭＥセンサによって検出されたＣＦＡ  Ｂａｙｅｒパターン化されたピクセル値に比較可能であり、ＭＥとＳＥとの非デモザイク処理センサデータのシームレスな融合７０８を支持する。
【００４８】
ＭＥ  ＣＣＳ  ７０３内の融合された非デモザイク処理画像は、ここで、デモザイク処理７１０を受けることができる。このデモザイク処理プロセスは、デモザイク処理プロセスを受けているＣＦＡピクセル値が、ここで、ＭＥ  ＣＣＳと関連付けられることを除いては、上記で説明されるデモザイク処理７０２と類似している。
【００４９】
依然として図７を参照すると、ＭＥ  ＣＣＳと関連付けられる色値を変換する７１２ために、ＭＥ色補正行列は、上記等式２内に示されるように、デモザイク処理された色値を使用して判定されることができる。色補正されたＭＥ情報は、等式４に示されるように、ＬＥ色補正行列の逆行列によってＭＥ色補正行列を乗算することによって、ＭＥ  ＣＣＳ  ７０３からＬＥ  ＣＣＳ  ７０５に変換される。
【００５０】
代替として、ＭＥ  ＣＣＳと関連付けられる色値を変換７１２するために、色値は、ＭＥセンサの色補正ＬＵＴ内でルックアップを実施することによって、ＭＥ  ＣＣＳからの真色に転換される。ＭＥセンサのＬＵＴによって生成された真の（Ｒ、Ｇ、Ｂ）色値は、次いで、ＬＥセンサのＣＣＳ内の色を得るために使用される。これは、ＬＥセンサの色補正ルックアップテーブルを使用してルックアップを実施するために、ＭＥセンサのＬＵＴによって生成される真の（Ｒ、Ｇ、Ｂ）色値を使用することによって成し遂げられる。１つの側面では、ＬＥセンサのルックアップテーブルは、ＬＥセンサの色補正ＬＵＴから生成される逆ＬＵＴであり得る。代替として、逆ルックアップは、ＬＥセンサの色補正ＬＵＴ上で実施されることができる。このプロセスは、ＬＥセンサのＣＣＳ内にあるピクセル値（Ｒ、Ｇ、Ｂ）のセットをもたらす。
【００５１】
ＭＥ情報がＭＥ  ＣＣＳ  ７０３からＬＥ  ＣＣＳ  ７０５に変換された後に、変換された値は、モザイク処理７１４される（すなわち、デモザイク処理は、逆転される）。これは、変換されたＭＥ  ＣＦＡ  Ｂａｙｅｒパターン化されたピクセル値が、ＬＥセンサによって検出されたＣＦＡ  Ｂａｙｅｒパターン化されたピクセル値と融合７１６するのを可能にする。色整合プロセス７００でのこの時点において、ＳＥおよびＭＥセンサによって検出される変換された色情報は、ＬＥセンサによって検出された色情報と整合するために、ここで、較正される。この新たに融合された色値データセットは、ここで、ＬＥ色補正空間７０５内の色値を表す。
【００５２】
依然として図７を参照すると、色整合プロセス７００が完了した後に、種々のセンサによって検出された色値は、ここで相互に比較可能である。しかしながら、上記で議論されるように、これらの色値は、依然として、色ずれを含み、具体的には、これらの色値は、ＬＥ  ＣＣＳ内に存在し、したがって、［Ａ］と呼ばれるＬＥセンサＣＭを使用する補正を要求する。代替として、補正は、ＬＥセンサのＬＵＴを使用することによって実施されることができる。これらの色ずれは、捕捉された物体の色とは整合しない画像を生成するであろう。これらのずれを色補正（真値への補正とも称される）するために、色補正プロセス７０７が、使用されることができる。色補正プロセス７０７では、ＬＥ色補正空間（変換され、かつ検出された）と関連付けられる色値は、デモザイク処理７１８を受け、これは、概して、色整合プロセス７００のデモザイク処理７０２と７１０とに類似する。任意の色値ずれを補正するため、ＬＥ色補正行列（等式１によって定義されるような）は、等式４で示されるように、捕捉されたオリジナルの画像の色値を正確に反映するために、ＬＥ色値を補正するために、ＬＥピクセル値（［ＬＥ］）によって乗算されることができる。代替としてとして、補正は、ＬＥセンサのＬＵＴを使用することによって実施されることができる。これは、複数のセンサによって導入されたずれを除外するだけでなく、「真値」の色情報に整合する色情報を伴う画像をもたらす。最終画像が、次いで、生成および／もしくは表示されることができ、最終画像は、捕捉された物体を表す色レベルを含む。
【００５３】
ＳＥ情報のＭＥ  ＣＣＳ  ７０４への転換、モザイク処理７０６、融合７０８、およびデモザイク処理７１０のステップを含む、ＭＥ  ＣＣＳプロセス７０３は、任意の数の複数のセンサに適応するために、随意に除去または付加的に実施されてもよい。例えば、立方体構成３００内に２つのセンサを備えるシステムに関して、立方体構成３００のＳＥセンサアレイ２０２ｂとＬＥセンサアレイ２０２ｃとに対応して、色整合プロセス７００がＳＥ  ＣＳ  ７０１とＬＥ  ＣＣＳ  ７０５とのステップを含むように、ＭＥ  ＣＣＳプロセス７０３は、色整合プロセス７００から省略されてもよい。
【００５４】
図８は、例示的コンピューターシステム８００のブロック図である。例えば、図１を参照すると、ＨＤＲサブシステム１０４は、システム８００を含むことができる。システム８００は、プロセッサ８１０と、メモリ８２０と、記憶デバイス８３０と、入力／出力デバイス９４０とを含む。構成要素８１０、９２０、９３０、および９４０のそれぞれは、例えば、システムバス８５０を使用して、相互に接続されることができる。プロセッサ８１０は、システム８００内で実行するための命令を処理することができる。いくつかの実装では、プロセッサ８１０は、シングルスレッドプロセッサである。いくつかの実装では、プロセッサ８１０は、マルチスレッドプロセッサである。いくつかの実装では、プロセッサ８１０は、量子コンピュータである。いくつかの実装では、プロセッサ８１０は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）である。いくつかの実装では、プロセッサ８１０は、特定用途向け集積回路（ＡＳＩＣ）である。プロセッサ８１０は、メモリ８２０内または記憶デバイス８３０上に記憶される命令を処理することができる。プロセッサ８１０は、本明細書で説明される色整合または色補正動作等の動作を実行してもよい。
【００５５】
メモリ８２０は、システム８００内の情報を記憶する。いくつかの実装では、メモリ８２０は、コンピュータ可読媒体である。いくつかの実装では、メモリ８２０は、揮発性メモリユニットである。いくつかの実装では、メモリ８２０は、不揮発性メモリユニットである。
【００５６】
記憶デバイス８３０は、システム８００のための大容量記憶を提供することができる。いくつかの実装では、記憶デバイス８３０は、コンピュータ可読媒体である。いくつかの実装では、記憶デバイス８３０は、例えば、ハードディスクデバイス、光ディスクデバイス、固体ドライブ、フラッシュドライブ、磁気テープ、またはいくつかの他の大容量記憶デバイスを含むことができる。いくつかの実装では、記憶デバイス８３０は、クラウド記憶デバイス、例えば、ネットワーク上に分散され、ネットワークを使用してアクセスされる、複数の物理的記憶デバイスを含む、論理記憶デバイスであってもよい。入力／出力デバイス９４０は、システム８００のための入力／出力動作を提供する。いくつかの実装では、入力／出力デバイス９４０は、１つまたはそれを上回るネットワークインタフェースデバイス、例えば、イーサネット（登録商標）カード、シリアル通信デバイス、例えば、ＲＳ−２３２ポート、および／もしくは無線インターフェースデバイス、例えば、８０２．９カード、３Ｇ無線モデム、４Ｇ無線モデム、または伝書鳩インターフェースを含むことができる。いくつかの実装では、入力／出力デバイスは、入力データの受信と、他の入力／出力デバイスへの出力データの送信とを行うように構成される、ドライバデバイス、例えば、キーボード、プリンタ、および表示デバイス８６０を含むことができる。いくつかの実装では、モバイルコンピューティングデバイス、モバイル通信デバイス、および他のデバイスが、使用されることができる。
【００５７】
ある実装が、上記で説明されているが、他の実装も、可能である。例えば、色整合プロセスは、概して、ＳＥ  ＣＣＳからＭＥ  ＣＣＳへ、そしてＬＥ  ＣＣＳへの進行として説明されているが、他の順序も、可能である。例えば、進行過程は、逆転されることができ、進行過程は、直接ＳＥ  ＣＣＳからＬＥ  ＣＣＳに進んでもよい、または２つもしくはそれを上回る補正空間を通して任意の順序で進んでもよい。
【００５８】
色整合プロセスは、概して、３つのセンサ（例えば、図７に示されるように）の使用として説明されているが、色整合プロセスはまた、２つのセンサのみ伴い、または３つを上回るセンサを伴い使用されてもよい。これらの場合、３つのセンサの実施形態の一般的な方法論は、所望されるセンサからのピクセルが、少なくとも部分的に物理的に整合された状態である限り、所望されるセンサ構成に適応するために拡張または縮小されることができる。
【００５９】
用語「システム」は、実施例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサもしくはコンピュータを含む、データ処理のためのあらゆる装置、デバイス、および機械を包含し得る。処理システムは、ハードウェアに加え、当該コンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウエア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの１つもしくはそれを上回るものの組み合わせを構成するコードを含むことができる。
【００６０】
コンピュータプログラム（プログラム、ソフトウェア、ファームウエア、ソフトウェアアプリケーション、スクリプト、実行可能論理、またはコードとしても公知）は、コンパイル形式またはインタプリタ形式言語、もしくは宣言型または手続き型言語を含む、任意の形式のプログラム言語で書かれることができ、これは、スタンドアロンプログラムとして、またはモジュール、構成要素、サブルーチン、またはコンピューティング環境内での使用もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは特定用途向けの集積回路（ＡＳＩＣ）内に組み込まれたコンパイルファームウエア内の実装のための使用に好適である、他のユニットとしてを含む、任意の形式で展開されることができる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応しない。プログラムは、当該プログラム専用の単一のファイル内、または複数の連携ファイル（例えば、１つまたはそれを上回るモジュール、サブプログラム、またはコード部分を記憶する、ファイル）内に、他のプログラムまたはデータ（例えば、マークアップ言語文書内に記憶される、１つまたはそれを上回るスクリプト）を保持する、ファイルの一部内に記憶されることができる。コンピュータプログラムは、１つのコンピュータ、または１カ所に位置された、または数カ所にわたって分散され、通信ネットワークによって相互接続された複数のコンピュータ上で実行されるために展開されることができる。
【００６１】
コンピュータプログラム命令およびデータの記憶に好適なコンピュータ可読媒体は、実施例として、半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス、磁気ディスク、例えば、内部ハードディスク、リムーバブルディスク、または磁気テープ、光磁気ディスク、ＣＤ−ＲＯＭおよびＤＶＤ−ＲＯＭディスク、または電子命令を記憶するために好適な任意の他のタイプの非一過性記憶媒体を含み、それぞれ、コンピュータシステムバスに結合される、不揮発性または揮発性のメモリ、媒体、およびメモリデバイスのあらゆる形態のものを含む。プロセッサおよびメモリは、特殊目的論理回路によって補完される、またはそれに組み込まれることができる。システムの構成要素は、デジタルデータ通信の任意の形態または媒体、例えば、通信ネットワークによって、相互接続されることができる。通信ネットワークの実施例は、ＬＡＮとＷＡＮとを含む。
参照による引用
【００６２】
特許、特許出願、特許刊行物、雑誌、書籍、論文、ウェブコンテンツ等の他の文書の参照および引用が、本開示全体を通して行なわれる。そのような文書は全て、あらゆる目的のために、参照することによって、全体として本明細書に組み込まれる。
均等物
【００６３】
本明細書に図示および説明されるものに加え、本発明およびその多くのさらなる実施形態の種々の修正が、本明細書に引用される科学および特許文献の参考文献を含む、本書の全内容から、当業者に明白となるであろう。本明細書における主題は、その種々の実施形態およびその均等物における本発明の実践に適合され得る、重要な情報、例示、および指針を含有する。
【図１】
2019505153.tif 000009
【図２】
2019505153.tif 000010
【図３】
2019505153.tif 000011
【図４】
2019505153.tif 000012
【図５】
2019505153.tif 000013
【図６】
2019505153.tif 000014
【図７】
2019505153.tif 000015
【図８】
2019505153.tif 000016
【国際調査報告】
2019505153.tif 000017