(57)【要約】  記載の例では、信号処理チェーン（１００）が、第１の露光時間画素データを含む第１のフレームと第２の露光時間画素データを含む第２のフレームとを含む複数のフレームを含むＷＤＲセンサからロー画像信号を受信することを含み、ワイドダイナミックレンジ（ＷＤＲ）マルチフレーム処理を実装する。第１の画素データ用の第１の統計及び第２の画素データ用の第２の統計を含むカメラ制御のための統計（１２１）が生成される。第１及び第２の画素データは、ローの一層高いビット幅の単一フレーム画像を生成するため、第１及び第２の統計を用いるＷＤＲマージブロック（１４０）でＷＤＲマージアルゴリズムを用いてマージされる。単一フレーム画像は少なくとも欠陥画素補正アルゴリズムを用いて事後処理ブロック（１５０）で事後処理される。出力トーンマッピングされた画像を提供するための事後処理後、トーンマッピングの少なくとも一部が単一フレーム画像に対し実施される。
2019510395.tif 000002
【特許請求の範囲】
【請求項１】
ワイドダイナミックレンジ（ＷＤＲ）マルチフレーム処理の方法であって、前記方法が、
各々が複数の画素を含む複数のフレームを含むＷＤＲセンサからロー画像信号を受信することであって、前記複数のフレームが、第１の露光時間画素データ（第１の画素データ）を有する第１のフレームと、第２の露光時間画素データ（第２の画素データ）を有する少なくとも第２のフレームとを含み、前記第１及び前記第２の画素データが強度値を有する、前記ロー画像信号を受信すること、
前記第１の画素データのための第１の統計と前記第２の画素データのための第２の統計とを含む、カメラ制御のための統計を生成すること、
ローの一層高いビット幅の単一フレーム画像を生成するため、前記第１の統計及び前記第２の統計を用いるＷＤＲマージアルゴリズムを用いて前記第１の画素データ及び前記第２の画素データをマージすること、
少なくとも欠陥画素補正アルゴリズムを用いて前記ローの一層高いビット幅の単一フレーム画像を事後処理すること、及び
出力トーンマッピングされた画像を提供するため、前記事後処理の後、前記ローの一層高いビット幅の単一フレーム画像へのトーンマッピングの少なくとも一部を実施すること、
を含む、方法。
【請求項２】
請求項１に記載の方法であって、前記第１の統計及び前記第２の統計が、前記第１のフレームにおける前記第１の画素データ及び前記第２のフレームにおける前記第２の画素データにわたって時分割多重化（ＴＤＭ）を用いて生成される、方法。
【請求項３】
請求項１に記載の方法であって、更に、前記事後処理の前に、前記ローの一層高いビット幅の単一フレーム画像における画素ビット幅から画素ビット幅を低減するため、一層高い画素強度でのステップサイズに比して一層低い画素強度で一層細かいステップサイズを有する非線形（ＮＬ）ＬＵＴを用いて初期グローバルトーンマッピングを実施することを含む、方法。
【請求項４】
請求項１に記載の方法であって、前記事後処理することが更に、適応欠陥画素補正（ＤＰＣ）、レンズシェーディング補正（ＬＳＣ）、及び時間多重化Ｈ３Ａを含む、方法。
【請求項５】
請求項１に記載の方法であって、前記複数のフレームが更に、第３の露光時間画素データ（第３の画素データ）を有する第３のフレームを含み、カメラ制御のため前記統計を前記生成することが更に、前記第３の画素データのため第３の統計を生成することを含み、前記マージすることが、前記第１の画素データ、前記第２の画素データ、及び前記第３の画素データをマージする、方法。
【請求項６】
請求項１に記載の方法であって、前記マージすることが、ビット幅を少なくとも２５％増大させる、方法。
【請求項７】
請求項１に記載の方法であって、更に、ホワイトバランス（ＷＢ）を演算するために前記統計を用いることを含み、前記ＷＢが、前記マージを実施するＷＤＲマージブロックにフィードバックされる、方法。
【請求項８】
請求項３に記載の方法であって、前記ＮＬ  ＬＵＴが、前記強度の異なるレベルをカバーする異なるトーンマッピング曲線を有する複数のＮＬ  ＬＵＴを含み、前記方法が更に、前記複数のＮＬ  ＬＵＴのそれぞれの間でスイッチングすることを含み、ソフトウェアが、前記複数のＮＬ  ＬＵＴのうちの別のＮＬ  ＬＵＴが用いられている間に前記ＮＬ  ＬＵＴの一つのＮＬ  ＬＵＴの内容を更新する、方法。
【請求項９】
ワイドダイナミックレンジ（ＷＤＲ）マルチフレーム処理のための信号処理チェーンであって、
統計生成ブロック、
ＷＤＲマージアルゴリズムを有するＷＤＲマージブロックであって、いずれも、前記統計生成ブロックが、各々複数の画素を含む複数のフレームを含むＷＤＲセンサからロー画像信号を受信するために結合され、前記複数のフレームが、第１の露光時間画素データ（第１の画素データ）を有する第１のフレームと、第２の露光時間画素データ（第２の画素データ）を有する少なくとも第２のフレームとを含み、前記第１及び前記第２の画素データが強度値を有する、前記ＷＤＲマージブロックであって、
前記統計生成ブロックが、前記第１の画素データのための第１の統計と、前記第２の画素データのための第２の統計とを含む、カメラ制御のための統計を生成するためであり、
前記ＷＤＲマージブロックが、ローの一層高いビット幅の単一フレーム画像を生成するため、前記第１の統計及び前記第２の統計を用いる前記ＷＤＲマージアルゴリズムを用いて前記第１の画素データ及び前記第２の画素データをマージするためである、前記ＷＤＲマージブロック、
少なくとも欠陥画素補正アルゴリズムを用いて前記ローの一層高いビット幅の単一フレーム画像を事後処理するための事後処理ブロック、及び
出力トーンマッピングされた画像を提供するため前記信号処理チェーンによって実施されるトーンマッピングの少なくとも一部を実施するためのトーンマッピングブロック、
を含む、信号処理チェーン。
【請求項１０】
請求項９に記載の信号処理チェーンであって、前記第１の統計及び前記第２の統計が、前記第１のフレームにおける前記第１の画素データ及び前記第２のフレームにおける前記第２の画素データにわたって時分割多重化（ＴＤＭ）を用いて前記統計生成ブロックによって生成される、信号処理チェーン。
【請求項１１】
請求項９に記載の信号処理チェーンであって、更に、前記ローの一層高いビット幅の単一フレーム画像における画素ビット幅から画素ビット幅を低減するため、一層高い画素強度でのステップサイズに比して一層低い画素強度で一層細かいステップサイズを有する非線形（ＮＬ）ＬＵＴを含む、信号処理チェーン。
【請求項１２】
請求項９に記載の信号処理チェーンであって、前記事後処理することが更に、適応欠陥画素補正（ＤＰＣ）、レンズシェーディング補正（ＬＳＣ）、及び時間多重化Ｈ３Ａを含む、信号処理チェーン。
【請求項１３】
請求項９に記載の信号処理チェーンであって、前記複数のフレームが更に、第３の露光時間画素データ（第３の画素データ）を有する第３のフレームを含み、カメラ制御のために前記統計を前記生成することが更に、前記第３の画素データのため第３の統計を生成することを含み、前記マージすることが、前記第１の画素データ、前記第２の画素データ、及び前記第３の画素データをマージする、信号処理チェーン。
【請求項１４】
請求項９に記載の信号処理チェーンであって、前記マージすることが、ビット幅を少なくとも２５％増大させる、信号処理チェーン。
【請求項１５】
請求項９に記載の信号処理チェーンであって、更に、前記ＷＤＲマージブロックにフィードバックされるホワイトバランス（ＷＢ）を演算するため、前記統計を用いる処理ブロックを含む、信号処理チェーン。
【請求項１６】
請求項１１に記載の信号処理チェーンであって、前記ＮＬ  ＬＵＴが、前記強度の異なるレベルを有する複数のＮＬ  ＬＵＴを含み、前記信号処理チェーンが更に、前記複数のＮＬ  ＬＵＴのそれぞれの間でスイッチングすることを含み、ソフトウェアが、前記複数のＮＬ  ＬＵＴのうちの別のＮＬ  ＬＵＴが用いられている間に、前記ＮＬ  ＬＵＴの一つのＮＬ  ＬＵＴの内容を更新する、信号処理チェーン。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、ワイドダイナミックレンジ（ＷＤＲ）画像処理に関連する。
【背景技術】
【０００２】
カメラ及び画像センサは、監視、動き制御、及びその他の応用例のために幅広く用いられている。ＷＤＲセンサは、自然のシーンのフルダイナミックレンジを保つために、オートモーティブ及び監視応用例のためにますます一般的になってきている。例えば、オートモーティブ用途には、後退する間に運転手をアシストするためのリアビューカメラ、並びに、障害物を回避するため、及び、制動、操縦、及び加速を制御するためにシステムを制御するための入力を提供するカメラ、が含まれる。
【０００３】
次世代の光検出器にはＷＤＲ出力を提供するものがあり、そのため、これらはＷＤＲ画像センサであると考えられる。ＷＤＲ画像センサなどからの、写真に撮られた画像が、そのシーンの照度の著しい差に起因して、明るい領域を有する画素の一部と、暗い領域を有する幾つかの他の画素とを含む場合、たとえ露光時間及びアパーチャが適切に調整されても、明るい領域及び暗い領域両方における特徴を明確に示すシーンの画像を得ることはできない。高ダイナミックレンジ（ＨＤＲ）イメージングは、全フレームセットの輝度レンジを包含するために用いられている各フレームからの幾つかの画素を有する同じピクチャ（シーン）の、異なる露光時間、アパーチャ、シャッター速度及び／又は感度を有する複数のフレーム（又は露光）からの画素を組み合わせるイメージング手法であり、そのため、概して、得られたピクチャは、人間の目と同じダイナミックレンジをカバーする。ＷＤＲイメージングは、ＨＤＲイメージングを指すために監視カメラ業界において用いられる用語であり、本明細書において用いられるようにＷＤＲイメージングはＨＤＲイメージングも指す。
【０００４】
従来のＷＤＲイメージングにおいて、ロー（raw）画素データの画像処理（画像事前処理）が第１の処理工程であり、その後、ＷＤＲマージ（又はフュージョン）アルゴリズム、及びその後、トーンマッピングが続く。ＷＤＲセンサからの入力ロー画素データは、Ｂａｙｅｒ、ＲＣＣＣ、ＲＧＢＣの形式、又はより一般的には任意の２×２カラーフォーマットであり得る。画像事前処理は、欠陥画素補正（ＤＰＣ）、レンズシェーディング補正（ＬＳＣ）、ノイズフィルタリング（ＮＦ）、ＷＤＲ処理、ホワイトバランス（ＷＢ）、及び統計収集を含む、複数のアルゴリズムを適用することを含む。統計収集には、長い露光時間フレーム、短い露光時間フレーム、及び最短露光時間フレームのための統計など、用いられる全てのフレームのための統計が含まれる。ロー画素データは、ＷＤＲセンサ（例えば、カラーカメラ）から直接、又は、メモリ（例えば、ダブルデータレート同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ  ＤＤＲ）から到来し得る。
【０００５】
画像事前処理の後に、画素データのＷＤＲフュージョンが続く。ＷＤＲフュージョンの後に、トーンマッピングが続き、これは、トーンマッピングされた画像を提供するために局地化されたコントラストを保持したまま、フルカラー画像の、ダイナミックレンジ（即ち、より少ないビット）又はコントラスト比を低減するためのものである。トーンマッピングの後には概して、フルカラー画像を再構築するデジタル画像プロセスであるモザイク解除（又はデモサイキング（de-mosaicing））アルゴリズムが続く。
【発明の概要】
【０００６】
記載される例において、ＷＤＲマルチフレーム処理の方法が、各々が複数の画素を含む複数のフレームを含むＷＤＲセンサから（例えば、シーンの）ロー画像信号を受信することを含む。複数のフレームは、第１の露光時間画素データ（第１の画素データ）を有する第１のフレームと、第２の露光時間画素データ（第２の画素データ）を有する少なくとも第２のフレームとを含む。第１及び第２の画素データは、各々、強度値を有する。カメラ制御のために、第１の画素データのための統計及び第２の画素データのための第２の統計を含む統計が生成される。第１の画素データ及び第２の画素データは、ＷＤ
Ｒマージアルゴリズムを用いてマージされ、ＷＤＲマージアルゴリズムは、ローの一層高いビット幅の単一フレーム画像を生成するために第１の統計及び第２の統計を用いる。単一フレーム画像の事後処理が、少なくとも欠陥画素補正アルゴリズム（例えば、欠陥画素補正、ノイズフィルタリング、レンズシェーディング補正）を用いて実施される。出力トーンマッピングされた画像を提供するための事後処理の後、トーンマッピングの少なくとも一部が単一フレーム画像に実施される。
【図面の簡単な説明】
【０００７】
【図１】例示の一実施例に従った、ＷＤＲマージ後の処理アルゴリズムを実行する早期のＷＤＲマージを実装するＷＤＲ画像処理のための簡略化した信号処理チェーンのブロック図表現である。
【０００８】
【図２】例示の一実施例に従った、早期のＷＤＲマージを実装するＷＤＲセンサデータを処理するための例示のＷＤＲ画像処理システムのブロック図表現である。
【０００９】
【図３】一層高い強度でのステップサイズ（ＮＬ  ＬＵＴにおける近接配置されるデータに対応する）に比して一層低い強度で示されるＮＬ  ＬＵＴにおける一層細かいステップサイズ（近接配置されるデータに対応する）を有する、出力強度対入力強度をプロットするトーンマッピング曲線を示す。
【００１０】
【図４Ａ】ＷＤＲ及びトーンマッピングされた画素データをサポートするため、強度適応閾値を用いる適応ＤＰＣアルゴリズムの仕組みを一例により記載する。
【図４Ｂ】ＷＤＲ及びトーンマッピングされた画素データをサポートするため、強度適応閾値を用いる適応ＤＰＣアルゴリズムの仕組みを一例により記載する。
【発明を実施するための形態】
【００１１】
図面は必ずしも一定の縮尺で描いてはいない。図面において、同様の参照番号は、同様の又は同等の要素を指す。幾つかの例示の動作又は事象は、異なる順で、及び／又は、他の動作又は事象と同時に生じ得る。また、幾つかの例示の動作又は事象は、任意選択であり得る。
【００１２】
また、本明細書において用いられる「に結合される」又は「と結合する」という用語（及びそれらに類するもの）は、更なる限定がない場合、間接的又は直接的な電気的接続のいずれかを述べている。そのため、第１のデバイスが第２のデバイスに「結合する」場合、その接続は、その経路に寄生成分のみ存在する直接的電気的接続を介し得、又は他のデバイス又は接続を含む介在要素を介する間接的電気的接続を介し得る。間接的結合では、介在要素は、概して、信号の情報を変更しないが、その電流レベル、電圧レベル、及び／又はパワーレベルを調整し得る。
【００１３】
従来のワイドドラマチックレンジ（ＷＤＲ）イメージング処理（例えば、欠陥画素補正（ＤＰＣ）、レンズシェーディング補正（ＬＳＣ）、ノイズフィルタリング（ＮＦ）、ＷＤＲ処理、及び統計収集）は、それがＷＤＲマージアルゴリズム前に生じるため、ローの事前処理を含み、その結果、全てが異なる露光時間（例えば、長い、短い、最短）を有する３つのフレームなど、処理されているフレームの数に比例する事前処理負荷となる。これに対し、マルチ露光ＷＤＲセンサでは、本明細書に記載されるＷＤＲ画像処理が、ＷＤＲマージアルゴリズムを適用した後の統計収集（例えば、ＤＰＣ、ＬＳＣ、ＮＮＦ、ＷＤＲ処理）以外の画像処理アルゴリズムを実施し、そのため、それが、ポストマージデータ処理アルゴリズムを実装する。これらのポストマージ処理アルゴリズムは、従来の事前処理アルゴリズムと同様であるが、早期のマージ信号処理チェーンにより実装される信号処理の順の変更を各々サポートする、適応ＤＰＣ及び時間多重化（ｍｕｘｅｄ）Ｈ３Ａなどの拡張を備える。全てのフレームのための統計は、一例において、種々のフレームにわたって時分割多重化（ＴＤＭ）を用いる事後処理アルゴリズムの前に収集される。
【００１４】
図１は、ＷＤＲマージ後のＤＰＣ及びＬＳＣなどの処理アルゴリズムを実行することによるＷＤＲ画像処理のための既知の信号チェーンに比して早期のＷＤＲマージを実装する、ＷＤＲロー画像処理のための簡略化した信号処理チェーン１００のブロック図表現である。信号処理チェーン１００は、２Ｄ  ＷＤＲ画像センサ（例えば、Ｂａｙｅｒパターンなどのロー画像信号を含むＷＤＲカメラ）から受信されるなどの、ロー画像画素データのオンザフライ（ＯＴＦ）処理をサポートする。信号処理チェーン１００は、ロー画像画素データを、統計生成ブロック１２０に、及びＷＤＲマージアルゴリズム１４５を実装するＷＤＲマージブロック１４０に提供するように示されている。統計生成ブロック１２０は、図２においてＨ３Ａ  １７４として記され、一方、図２におけるＭＵＸ１７１、シフトブロック１７２、及びＬＵＴ逆トーンマップブロック１７３は、時間多重化を可能にし、異なるデータフォーマットを統計生成ブロック１２０に提供する。
【００１５】
ロー画像画素データは、長い、短い、及び最短の露光時間フレームとして図２に示される、第１の露光時間と少なくとも第２の露光時間とを含む、複数の異なる露光時間を有する複数のフレームにある。本明細書において用いられる各フレームとは、特定の利得及び特定の露光時間で捕捉される画像を指す。統計生成ブロック１２０は、任意選択で、Ｈ３Ａブロック（図２におけるＨ３Ａブロック１７４参照）の複数のインスタンスのチップ（例えば、シリコン）コストオーバーヘッドを低減する時分割多重化（ＴＤＭ）を用いて、第１のフレーム及び少なくとも第２のフレームにわたるカメラ制御（例えば、自動露光、自動ホワイトバランス（ＷＢ）、及びオートフォーカス）のための統計を生成するためである。
【００１６】
Ｈ３Ａは、自動ＷＢ補正、自動露光、及びオートフォーカスに対して各１つの、３セットの統計を生成するためのハードウェア統計エンジンである。信号処理チェーン１００においてＷＤＲマージブロック１４０により提供されるマージオペレーションは、統計（例えば、ＤＰＣ、ＬＳＣ、ＷＢ利得）を用いて画素データをロー事前処理する既知の信号チェーンに比して著しく早期に成され、その後、ＷＤＲマージオペレーションを実施する。Ｈ３Ａブロック１７４は、トーンマップ及びＭＵＸ１７１を用いる事後処理の後、露光の又は付加的にデータに対する統計を収集し得、図２は、この経路（ＭＵＸ１７１における一番下のライン）を示す。このＬＵＴ逆トーンマップブロック１７３は、トーンマップの影響を反転させ、そのため、より品質のよい結果を提供し得る線形ドメインで統計を生成するために用いることができる。
【００１７】
ＷＤＲマージブロック１４０は、ローの一層高い画素ビット幅の（例えば、３フレームマージが、画素ビット幅を１２ビットから２０ビットまで増大させ得る）単一フレーム画像を生成するためにマージブロック１４０に任意選択でフィードバックされ得るＷＤＲ利得を演算するためになど、各フレームに対して統計１２１を用いるプロセッサにより実装されるＷＤＲマージアルゴリズム１４５を用いてマージを実施する。マージアルゴリズム１４５は、著しい面積節約を提供する一方で、それでも画像品質における向上を提供する、図示される非線形（ＮＬ）ＬＵＴ１４２を最適に用い得る。ＮＬ  ＬＵＴ１４２は、一層低いコストで従来のＬＵＴよりも良好な精度を提供し、ＷＢ利得の利用に起因するアーティファクトを取り除くことを含みマージアルゴリズム１４５を向上させ得る。ＮＬ  ＬＵＴ１４２により提供されるこのＬＵＴ改善は、画像の一層低い強度レンジにおいて更に一層細かいステップを用いることによって達成される。一層低い強度レンジは、より一層有用な情報を含み、曲線はこの領域において急勾配になり、より細かい／一層低いステップサイズが有用である。コストを低減するため、画像の上側強度レンジにおいてステップサイズが増大される（又は一層高く保たれる）。異なるレンジにおけるステップサイズの差は、本明細書においてＮＬ  ＬＵＴ１４２と称するＬＵＴとなる。
【００１８】
マージブロック１４０におけるＮＬ  ＬＵＴ１４２は、本明細書においてグローバルトーンマッピングと称する、トーンマッピングの初期部分を提供することにより、トーンマッピングの改善を助ける。信号処理チェーン１００におけるトーンマッピングは概して２つのフェーズに分けられる。グローバルトーンマッピングがＮＬ  ＬＵＴ１４２により実装され、これは、図２に示すように２０ビットから１６ビットまでなど、画素ビット幅を低減する。その後、これ以降に記載されるダウンストリームロジックにおいてトーンマッピングブロック１６０により提供される、ローカルトーンマッピングが続く。ＮＬ  ＬＵＴ１４２は、それがグラフにおける誤差を低減するので、第１のグローバルトーンマッピング結果において助けとなる。
【００１９】
通常、トーンマップは、入力‐出力グラフをプログラムすることによって実施されるが、グラフには固定数のエントリのみしかない。例えば、２０ビット画素画像は、フルにポピュレートされたグラフ（入力‐出力）を有するために２２０＝１百万エントリを必要とし得る。しかし、これは、半導体（例えば、シリコン）コストにおいて非常に高く、そのため、例示の実施例は、ステップサイズ（例えば、全ての２０４８ロケーションに対して１エントリ）を有する入力‐出力グラフを実装し、その後、間のロケーションのため線形補間を実施する。従来の標準のＬＵＴは、２０４８のステップサイズを有するが、これは、画像品質に関連する問題を生じさせることが認識されている。これは、入力‐出力グラフが、画像の一層低いセクション（低強度部分）においてはるかに速く変化するためであり、また、画像の一層低いセクションは、はるかにより一層意味があり及び重要な内容を有するためである。記載されるＮＬ  ＬＵＴ１４２の手法において、画像の一層低い強度セクションにおいてより小さいステップサイズ（例えば、３２のステップサイズ）が用いられ、画像の一層高い強度セクションにおいて一層高いステップサイズ（例えば、２０４８）が用いられる。この配置は、より小さい（例えば、３２）ステップサイズであるが、ＬＵＴのサイズの小さな一部（fraction）で、及びそのため実装のコストの小さな一部（fraction）で、フルＬＵＴを置くこととほぼ同じ利点を提供する。
【００２０】
事後処理ブロック１５０は、画像フィルタリングアルゴリズムのセット（例えば、ＤＰＣ、ノイズフィルタリング、及びＬＳＣ）を用いてＷＤＲマージブロック１４０により出力された、単一フレーム組み合わせ画像におけるローの高ビット幅画素データのポストマージ処理を実施する。上述したように、ポストマージ処理は、信号チェーン１００により実装される早期のＷＤＲマージを各々サポートする、適応ＤＰＣ及び時間多重化されたＨ３Ａを用いるためなど、既知の事前処理アルゴリズムを改変する。時間多重化されたＨ３Ａは、フレームにわたって時間多重化することによって動作する。適応ＤＰＣは、適応閾値アルゴリズムを用いて、トーンマッピングされた画素を扱う。トーンマッピングブロック１６０は、低減されたビットカウントを有するトーンマッピングされた画像を提供するため、付加的なトーンマッピングを提供することによって、処理された単一フレーム画像を事後処理ブロック１５０から受け取る。この付加的なトーンマッピングは、トーンマッピングが２つのオペレーションに分けられる、本明細書において上記したようなトーンマッピングの第２の部分であり得る。このトーンマッピング分割は、通常、ビット幅を１６ビットから１２ビットまで低減する一方で、それでも影及び明るい部分における詳細を保ち得る。
【００２１】
信号チェーン１００は低レイテンシー信号チェーンである。これは、それが完全なＯＴＦ処理を提供し、そのため、画素データの到来フレームが、外部又はローカルメモリへの如何なる中間経路なしに信号処理チェーン１００に直接結合され得るためである。また、提供される設計は、異なる露光時間を有する最大３つのフレームを、これら３フレームをフレームがマージされ得る前に事前処理ブロックを介して順次（一つずつ）通過させる必要がある既知の処理とは対照的に、同時に処理するように構成される。また、低レイテンシー及び低遅延は、陰が付けられ、次のフレームのためプログラムするために現在のフレームが継続中である間にいつでも更新され得る、レジスタ（又は他のメモリ）の構成セットを有することによって可能にされる。これは、現在のフレームを完了させ、パラメータを変え、その後次のフレームを処理する必要があり、それにより再プログラムするための時間遅延が生じる、既知の設計とは対照的である。
【００２２】
図２は、ＷＤＲマージブロック１４０’により提供されるＷＤＲマージの後、ＤＰＣ、ＬＳＣ、及びＷＢ（これらは事後処理ブロック１５０’にある）として示される処理アルゴリズムを実行するＷＤＲセンサデータを処理するための、例示のＷＤＲ画像処理システム１００’のブロック図表現である。フィードバックを提供するためＤＤＲ１７５からＷＤＲマージブロック１４０’への接続が存在する。例示の実装において、このフィードバックは、処理ブロック１７７により実装されるソフトウェアアルゴリズムに関与し、処理ブロック１７７は、ＷＤＲマージブロック１４０’において必要とされるＷＢ利得を計算するためにＤＤＲ１７５からのＨ３Ａデータを用いる。また、動作するための時間多重化のため、これが適用される前に、複数のフレーム遅延が通常生じる。例えば、フレームＮのＤＤＲ１７５からのデータは、フレームＮ＋３にのみ適用され得る。
【００２３】
ＷＢは、ＷＤＲマージブロック１４０’に含む複数のインスタンスにおいて扱われ得る。ＷＤＲマージブロック１４０’がイネーブルされるとき、このブロック内のロジックは、各露光におけるＷＢに対して補正し得る。ＷＤＲマージブロック１４０’が概してディセーブルされる場合に伸張された（decompanded）センサを用いるとき、事後処理ブロック１５０におけるＷＢ２ブロック１５３が主として用いられる。
【００２４】
ＷＤＲ画像処理システム１００’は、プロセッサ１８０（例えば、中央処理（ＣＰＵ））を含んで示されており、プロセッサ１８０は、マイクロプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、又は、複数のアルゴリズム１８５ａをストアする関連するメモリ１８５を有するマイクロコントローラユニット（ＭＣＵ））を含む。プロセッサ１８０により実装される複数のアルゴリズム１８５ａは、図２に示すＷＤＲマージブロック１４０’にあるマージアルゴリズムと称されるブロック１４５として示されるＷＤＲマージアルゴリズム、並びに、事後処理ブロック１５０’におけるＤＰＣ１５１、ＬＳＣ１５２、及びデジタル利得／ＷＢ１５３として示されるような画像フィルタリング処理アルゴリズムを含む、その他のアルゴリズムを含む。
【００２５】
異なる露光時間を有する３つの異なるフレームからの画素データが、最短の露光時間を有するフレーム（最低輝度／強度に対応する）、短い露光時間を有するフレーム（中間輝度強度に対応する）、及び長い露光時間を有するフレーム（最高輝度強度に対応する）としてＷＤＲセンサから受信されて示され、これらは全て、伸張ブロック１３０に入力されて示される。ロー画素データは、ＷＤＲセンサから直接、又は、メモリ（例えば、ＤＤＲ）におけるロー画素データから、到来し得る。伸張ブロック１３０は、単に、センサ上のデータをマージしそれを圧縮する圧縮（companding）ＷＤＲセンサから受信した画素データを処理するためであり、ここで、ＰＷＬは、伸張手法の一種であるＰＷＬ（Piece Wise Linear）を表す。ＤＣ又はＤＣ−ｓｕｂとして通常知られるものが、各画素の強度値から一定値を減じる。
【００２６】
伸張ブロック１３０は、ＰＷＬブロック１３１ａ〜ｃ、ＤＣブロック１３２ａ〜ｃ、及びルックアップテーブル（ＬＵＴ）１３３ａ〜ｃを含む、長い、短い、及び最短の露光時間フレームの各々に対する処理チャネルを含む。ＰＷＬブロック１３１ａ〜ｃ及びＤＣブロック１３２ａ〜ｃは、受け取った１６ビットデータを２４ビットに変換するように示されている。ＬＵＴ１３３ａ〜ｃは、２４ビットを１６ビットに変換し、これらはＷＤＲマージブロック１４０’に提供される。このダブルビット変換は、センサが、データを処理には実現不能とする圧縮機能を用いるときに用いられる。
【００２７】
図２に示す伸張ブロック１３０により提供される伸張機能は、（上述のように）圧縮されたセンサのみのために用いられ、別個の露光（マルチ露光センサ）を提供するセンサを用いる場合には、用いられないか又はバイパスされる。圧縮されたセンサと共に用いる場合、圧縮されたセンサはデータの一つの露光のみを提供するので、ＷＤＲマージブロック１４０’は用いられない。別個の露光センサの場合、伸張ブロック１３０はそれでも、別個の露光センサ用途においても用いられるその他のＤＣ機能（ＤＣ１３２ａ〜１３２ｃ）を提供する。この場合、ＤＣのみを提供するため、如何なる影響も有さないようにＰＷＬ（１３１ａ〜１３ｌｃ）及びＬＵＴ１３３ａ〜１３３ｃをバイパスとしてプログラムする。また、幾つかの特殊なセンサデバイスは、それらが別個の露光を送るときでもデータを圧縮し、そのため、ＰＷＬ（１３１ａ〜１３１ｃ）又はＬＵＴ１３３ａ〜１３３ｃは伸張ブロック１３０において有用なままとなり得る。
【００２８】
図示されるＮＬ  ＬＵＴ１４２を用いるＷＤＲマージブロック１４０’を実装されるマージアルゴリズム１４５は、著しい面積の節約を提供する一方で、それでも画像品質における向上を提供する。ＷＤＲマージブロック１４０’は、如何なる画素の出力も画素の現在のラインの上又は下のラインにおける他の画素に依存しないように、画素データの入来ラインを処理することによって、ラインレベルにおいて単一パスＷＤＲマージを提供する。従来の、他の解決策における現在のラインの上又は下の画素ラインへの依存は、信号チェーン実装において遅延及び増大されたレイテンシーを生じさせると認識されている。ＷＤＲマージブロック１４０は、マージブロック１４１ａ及び１４１ｂを含み、ここで、マージブロック１４１ａは、短い及び長い露光時間フレームから画素データを受け取り、また、マージブロック１４１ｂに入力される２０ビットマージされた画素データ出力を出力するように示されており、マージブロック１４１ｂは、最短露光時間フレームからも画素データを受け取る。ＮＬ  ＬＵＴ１４２は、一層高い強度でのステップサイズに比して、一層低い強度で一層細かいステップサイズを有する。ＷＤＲマージブロック１４０’は、ＷＢを説明する（accounts for）、フレームを異なる露光時間でマージするための、比較的洗練された重み計算を用いる高品質ＷＤＲ画像処理を実装する。
【００２９】
ＷＢアルゴリズムは、初期利得及び処理工程が実施された後、最終マージされた画素値を生成することにより重みを生成するための２つの別個の経路を組み込む。重み生成ロジックは、ＷＢに対して補正されていない画素データに依存する。その理由は、マージ曲線が変化する判定閾値近くに画素値があるとき、ＷＢ補正がアーティファクトを生じさせ得るためである。ＷＢ利得を最終的な画素出力につながる経路上にのみ保つことにより、色補正されたデータを得るが、画素値がマージ閾値に近いときアーティファクトが表れない利点が得られる。
【００３０】
図３は、出力強度対入力強度をプロットするトーンマッピング曲線を示し、これは、一層高い強度でのステップサイズ（ＮＬ  ＬＵＴ１４２における近接配置されるデータに対応する）に比して、一層低い強度で示される一層細かいステップサイズ（ＬＵＴ１４２における近接配置されるデータに対応する）を有する。例えば、一層高い強度でのステップサイズは２０４８であり得、一方、一層低い強度ではステップサイズは３２であり得る。
【００３１】
事後処理ブロック１５０’は、ＤＰＣ１５１、ＬＳＣ１５２、及びデジタル利得／ＷＢ１５３として示される、画像フィルタリング処理アルゴリズムのセットを用いてポストマージ処理を実施する。これ以降に記載するように、ＤＰＣ１５１は適応ＤＰＣであり得る。ローカルメモリ１５４は、サブサンプリングされた利得テーブルを提供し、これは、レンズシェーディング補正のためＬＳＣ１５２により用いられる。これらのテーブルは、ブートアップの間に一度初期化される。ローカルメモリ１５４にこれらのテーブルをストアするほかに、それらは、ＤＤＲ１７５などの別のメモリにストアされ得る。ＬＳＣ１５２からの出力、及び伸張ブロック１３０からの出力も、ＭＵＸ１７１、シフトブロック１７２、逆トーンマップＬＵＴ１７３、Ｈ３Ａブロック１７４、及び、ＤＤＲ１７５として示されるＨ３Ａブロック１７４からの出力をストアするためのメモリ、の直列の組み合わせに結合されて示されている。ＤＤＲ１７５にストアされたＨ３Ａの結果は、ＷＤＲマージブロックにおいて用いられるＷＢ利得を演算するため、ホストプロセッサにより用いられる。この結果はまた、概して、センサなどの露光を制御するために用いられる。
【００３２】
事後処理ブロック１５０’からの出力は、トーンマッピングブロック１６０の入力に結合されて示され、トーンマッピングブロック１６０は、上述のように、マルチ露光センサのためのＮＬ  ＬＵＴ１４２により、又は圧縮されたセンサと共に用いるためのＬＵＴ１３３ａ〜１３３ｃにおいて、提供されるグローバルトーンマッピングの後、第２のトーンマッピングオペレーションとしてローカルトーンマッピングを提供し得る。グローバルトーンマッピングは、同じ強度を有する各画素に同じ曲線（利得）を適用する。ローカルトーンマッピングプロセス１６０は、近傍の画素の強度にも応じて利得を適合的に改変する。トーンマッピングブロック１６０は、フルカラー画像のダイナミックレンジ（又はコントラスト比）を低減する一方で、トーンマッピングされた画像を提供するための局地化されたコントラストを保持する。
【００３３】
ＮＬ  ＬＵＴ１４２により、又は伸張ブロック１３０におけるＬＵＴ１３３ａ〜１３３ｃにより提供されるトーンマッピングは、変化する照度レベルに対する照度レベルに基づいてトーンマッピング曲線の高速スイッチングを実装し得る。これは、ソフトウェアが、別のＬＵＴが用いられている間に一つのＬＵＴの内容を更新し得るように、それぞれのＬＵＴメモリに対してピンポン手法を用いることによって達成され得る。
【００３４】
図４Ａ及び図４Ｂは、ＷＤＲ及びトーンマッピングされた画素データをサポートすることを助けるために、強度適応閾値を用いる適応（ＯＴＦ）ＤＰＣアルゴリズムの仕組みを一例により説明する。（３×３画素ウィンドウにおける）ローカル強度は、画素ｄｌ〜ｄ８から、２番目に大きい画素値（ｄｍａｘ２として示される）及び２番目に小さい画素値（ｄｍｉｎ２として示される）の平均を用いることによって、近似されて効率的に得られる。独立したレジスタが、０、５１２、１ｋ、２ｋ、４ｋ、８ｋ、１６ｋ、及び３２ｋに対応する画素強度に対して値をストアし得るので、別のＬＵＴ（図２には示していない）は、概して実装される小さなＬＵＴである。その後、中間閾値強度値を生成するために線形補間が用いられ得る。
【００３５】
検出閾値及び置換プロセスに関し、ローカル強度が演算された後、閾値は、（小さなＬＵＴにストアされるような）８つの異なる閾値から選択することにより、又は、特定された強度ストップ間に強度がある場合にテーブルからの２つの値の線形補間により生成される。その後、中央画素が、ｄｍａｘ／ｄｍｉｎ画素値に対して比較され、中央画素及びｄｍａｘ／ｄｍｉｎ画素の強度の差が閾値より大きい場合、画素が、欠陥であると考えられ、近隣の一つにより又は近隣の平均により置換される。置換手法は、ソフトウェアプログラム可能である。中央画素が明るい欠陥であるか又は暗い欠陥であるかに起因して欠陥が生じ得、その場合、その値は、本来あるべき値よりもはるかに低いので、ｄｍａｘ／ｄｍｉｎの比較が提供される。
【００３６】
例示の実施例は、種々の異なるＷＤＲイメージング関連応用例に有用である。例示の応用例は、これらに限らないが、オートモーティブ、ＡＤＡＳ、産業、高性能コンピューティング、ロボット工学、及びドローンを含む。
【００３７】
例
図１及び図２に示すＮＬ  ＬＵＴ１４２などの記載されるＮＬ  ＬＵＴに関して、２０ビット画素画像において５１２エントリを有する従来のＬＵＴは、２ｋのステップサイズを生じさせ、これにより、画像の視覚的に感受性のある一層低い強度レンジにおいてカラーシフト及びアーティファクトがつくられる。許容可能な従来のステップサイズは、２ｋに対して３２である。３２の例示の一定ステップサイズを単に維持することは、メモリサイズ及びＬＵＴの面積における６４倍の増大を生じさせる。これに対し、ＮＬ  ＬＵＴ１４２は、一層低い強度臨界レンジにおいて一層高い精度（ステップサイズ=３２）を維持し、一層高い（より感受性がない）強度レンジにおいて２ｋの標準ステップサイズを用いることができる。これにより、従来の設計において必要とされる面積の６４倍の増大に比して、２０％のみの面積の増大などで、所望の画像品質目標を達成することが可能となる。
【００３８】
記載されるマージアルゴリズムに関して、ＷＢ利得は、通常、線形ドメインの独立した露光に対してＷＤＲマージブロック１４０’により適用される。ＷＢ利得用途は、従来の重み生成においてアーティファクトを生じさせ得る。記載されるマージアルゴリズムは、画素処理のため別個のデータ経路、及びカラーチャネルにわたる重みの変動に起因するアーティファクトを避ける重み計算ロジックを備えて設計される。記載されるマルチフレームマージに関して、マージアルゴリズム１４５は、各々ビット幅を１６未満に変えるためのサポートを備えて、最大１６ビットの２フレームのマージをサポートするように拡張させられ得る。ＷＤＲマージブロック１４０の複数のインスタンスが、最大３フレームマージＯＴＦ、マルチパスモードで３フレームより大きいものをサポートし、及び、非対称のＷＤＲセンサ（例えば、１２ビット及び１６ビット露光のセンサ）をサポートするために用いられ得る。
【００３９】
本発明の特許請求の範囲内で、説明した例示の実施例に改変が成され得、他の実施例が可能である。
【図１】
2019510395.tif 000003
【図２】
2019510395.tif 000004
【図３】
2019510395.tif 000005
【図４Ａ】
2019510395.tif 000006
【図４Ｂ】
2019510395.tif 000007
【国際調査報告】
2019510395.tif 000008