(57)【要約】      （修正有）【課題】イメージパイプラインの設定の調整を判定する方法を提供する。【解決手段】方法は、コントローラにより、イメージパイプライン１内でのイメージデータ処理のための１つ又はそれ以上の設定を判定することと、１つ又はそれ以上の設定をタグに関連付けることと、１つ又はそれ以上の設定をイメージパイプライン１に送信する。このタグは、１つ又はそれ以上の設定に関連付けられて送信される。さらに、イメージパイプライン１からコントローラに、１つ又はそれ以上の設定を用いて処理されたイメージデータに関するフィードバックを送信する。このタグは、このフィードバックに関連付けられて送信される。また、タグに関連付けられた、受信したフィードバック及び１つ又はそれ以上の設定に基づいて、イメージパイプラインの設定の調整を判定する。【選択図】図３
2020115632.tif 000002
【特許請求の範囲】
【請求項１】
イメージパイプラインの設定の調整を判定する方法であって、
コントローラ（２）により、前記イメージパイプライン（１）内でのイメージデータ処理のための１つ又はそれ以上の設定を判定することと、
前記１つ又はそれ以上の設定をタグに関連付けることと、
前記１つ又はそれ以上の設定を前記イメージパイプライン（１）に送信し、前記タグは、前記１つ又はそれ以上の設定に関連付けられて送信されることと、
前記イメージパイプライン（１）から前記コントローラ（２）に、前記１つ又はそれ以上の設定を用いて処理されたイメージデータに関するフィードバックを送信し、前記タグは、前記フィードバックに関連付けられて送信されることと、
前記タグに関連付けられた、前記受信したフィードバック及び前記１つ又はそれ以上の設定に基づいて、前記イメージパイプラインの設定の調整を判定することと、
を含む方法。
【請求項２】
前記１つ又はそれ以上の設定は、設定のグループを含み、
前記方法は、前記設定のそれぞれが、同じイメージデータの処理に有効となるように、前記設定のグループを適用するタイミングを判定することをさらに含み、
前記設定のグループは、前記判定されたタイミングにしたがって、前記イメージパイプライン（１）に送信され、前記タグは、前記設定のグループの内の少なくとも１つの設定に関連付けられて送信される、
請求項１に記載の方法。
【請求項３】
前記同じイメージデータは、同じイメージフレーム又はイメージフレーム部に対応する、請求項２に記載の方法。
【請求項４】
前記タグは、前記設定のグループの内の各設定に関連付けられて、前記イメージパイプライン（１）の様々なイメージ処理コンポーネント（１０１、１０２、１１２、１１３）に送信される、請求項２又は３に記載の方法。
【請求項５】
前記タグは、前記１つ又はそれ以上の設定の第１の設定に関連付けられて、前記イメージパイプライン内の前記イメージ処理コンポーネントに送信され、前記タグは、イメージデータを介して以降の前記イメージ処理コンポーネントに送信される、請求項２から４のいずれか一項に記載の方法。
【請求項６】
前記タグは、前記１つ又はそれ以上の設定を特定する固有のデータを含む、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記フィードバックは、ブロックレベルデータ又はヒストグラムデータなどのイメージ統計を含む、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記フィードバックは、処理されたイメージデータ（４１４）を含む、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記１つ又はそれ以上の設定は、露出（１０１）、ゲイン（１０２）、予備処理（１１１）、ホワイトバランス（１１２）、フィルタリング（１１３）、事後処理、及びエンコーディングのグループから選択された、前記イメージパイプラインのイメージパイプラインコンポーネントに送信される、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記１つ又はそれ以上の設定は、第１の繰り返しと、第２の繰り返しと、のそれぞれのイメージデータの処理に適用されるための、第１の設定のグループと、第２の設定のグループと、を含み、
前記方法は、前記フィードバック及び前記タグに関連付けて、前記処理されたイメージデータの繰り返しの情報を送信することをさらに含む、
請求項１から９のいずれか一項に記載の方法。
【請求項１１】
前記イメージパイプライン（１）は、前記様々な繰り返しにおける様々な露出時間に取得した前記イメージデータに基づいて、ハイダイナミックレンジイメージを生成するよう構成されている、請求項１０に記載の方法。
【請求項１２】
イメージパイプラインの設定の調整を判定するシステムであって、
イメージデータを処理するよう構成されているイメージパイプライン（１）と、
コントローラ（２）であって、
前記イメージパイプライン（１）内でのイメージデータ処理のための１つ又はそれ以上の設定を判定し、
前記１つ又はそれ以上の設定をタグに関連付け、
前記１つ又はそれ以上の設定を前記イメージパイプライン（１）に送信し、前記タグを、前記１つ又はそれ以上の設定に関連付けて送信するよう構成されているコントローラ（２）と、を含み、
前記イメージ処理パイプライン（１）は、
前記１つ又はそれ以上の設定を用いて処理されたイメージデータに関するフィードバックを前記コントローラ（２）に送信し、前記タグを、前記フィードバックに関連付けて送信するようさらに構成されており、
前記コントローラ（２）は、
前記タグに関連付けられた、前記受信したフィードバック及び前記１つ又はそれ以上の設定に基づいて、前記イメージパイプラインの設定の調整を判定するようさらに構成されている、
システム。
【請求項１３】
前記１つ又はそれ以上の設定は、設定のグループを含み、
前記コントローラ（２）は、
前記設定のそれぞれが、同じイメージデータの処理に有効となるよう、前記設定のグループを適用するタイミングを判定し、
前記設定のグループを前記イメージパイプライン（１）に、前記判定されたタイミングにしたがって送信することにより、前記１つ又はそれ以上の設定を前記イメージパイプライン（１）に送信し、
前記タグを、前記設定のグループの内の少なくとも１つの設定に関連付けて送信するようさらに構成されている、
請求項１２に記載のシステム。
【請求項１４】
前記イメージデータを取得するよう構成されているイメージセンサをさらに含む、請求項１２又は１３に記載のシステム。
【請求項１５】
前記イメージパイプライン（１）は、露出（１０１）、ゲイン（１０２）、予備処理（１１１）、ホワイトバランス（１１２）、フィルタリング（１１３）、事後処理、及びエンコーディングのグループから選択されたイメージデータ処理を行うよう構成されている、請求項１２から１４のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージパイプラインの設定を調整すること、特に、イメージパイプラインの設定の調整を効率的かつ高い信頼性をもって判定する方法の分野に関する。
【背景技術】
【０００２】
ビデオを撮像する技術には、デジタルイメージデータを取得して処理し、デジタルビデオストリームを生成し、そしてそれを、例えば、ユーザに対して分析すること、又は、表示すること、が含まれる。取得することと、処理することと、は、任意のカメラシステムの主要部である、イメージパイプラインと呼ばれるものにより行われる。今日の多くのカメラシステムについて、イメージパイプラインは、そのイメージパイプライン内のイメージデータのハンドリングに使用される設定を調整する、自動化された処理により制御される。
【０００３】
イメージパイプラインは、パイプライン内の特定の役割をそれぞれが扱う、様々なコンポーネント又はブロックを含むものとみなされてよい。このように制御され得る役割の非限定例として、ゲイン、露出（シャッタ）、ホワイトバランス（ＷＢ）、及びエンコーディングが挙げられる。イメージパイプラインのこれらのコンポーネントの多くから、これらのコンポーネントにより処理される又は処理されたイメージデータに関する情報が、ある種のコントローラに送信され得る。この情報は、例えば、一般的若しくは特定の色情報、又は、様々な形態のピクセル値分布であり得る。この情報に基づいて、コントローラは、撮像すること又は処理することを改善するために、コンポーネントの設定の調整が必要であることを判定できる。例えば、特定の閾値未満の値のピクセルの数が限度を超えることにより、処理されたイメージフレームが暗すぎることを示す情報をコントローラが受信した場合、コントローラは、露出時間コンポーネントの露出時間設定を増やすよう決定してよい。同じタイプの、次に受信したイメージ情報に基づいて、コントローラは、さらなる調整を判定してよい。イメージパイプラインの設定の調整を判定する、フィードバックに基づく処理がしたがって、形成される。
【０００４】
しかし、この処理は、満足いくような結果が得られるように実施するには問題があり得る。一つの見方では、設定がイメージパイプラインに適用されるまでにどれほどの時間がかかるかは、現在の処理負荷に依存するために、それを予測することは難しい。したがって、多くの場合に、設定が有効となっていることを確かめるために、不必要に長い時間を待つ必要がある。一方、長時間十分に待たないということは、設定を用いて処理されていないイメージデータについて、設定調整が、そのイメージデータに関する情報に基づいて判定されることとなる。これは、色、露出、ゲインなどの画像の特徴における望ましくない変動をもたらすこととなる。したがって、待機時間と変動のリスクとの間の、動的に設定されたバランスを考慮する必要がある。しかしこれは、満足いくような結果を経時的に達成することが難しい。
【０００５】
この問題をさらに複雑にしていることは、種々の設定調整が、コントローラにより同時に判定され得ることである。この設定は、イメージパイプライン内の様々なコンポーネントに関連し得る。この処理は、ＵＳ８６０５１６９Ｂ２にて説明されているように、同期問題をもたらし、また、上記のバランスを達成することをさらに難しくもする。すべての設定が有効となるためには、さらに長い待機時間を考慮する必要がある。これは、フィードバック処理が遅れることとなる。
【０００６】
したがって、この分野での改善が必要である。
【発明の概要】
【０００７】
本発明の目的は、より高い時間効率、又は、より高い信頼性、好ましくはそれら双方を達成し得る、イメージパイプラインの設定の調整を判定する方法を提供することである。
【０００８】
第１の態様によると、イメージパイプラインの設定の調整を判定する方法により、これら及び他の目的が、完全に、又は、少なくとも部分的に、達成される。この方法は、
コントローラにより、イメージパイプライン内でのイメージデータ処理のための１つ又はそれ以上の設定を判定することと、
１つ又はそれ以上の設定をタグに関連付けることと、
１つ又はそれ以上の設定をイメージパイプラインに送信し、このタグは、１つ又はそれ以上の設定に関連付けられて送信されることと、
イメージパイプラインからコントローラに、１つ又はそれ以上の設定を用いて処理されたイメージデータに関するフィードバックを送信し、このタグは、フィードバックに関連付けられて送信されることと、
このタグに関連付けられた、受信したフィードバック及び１つ又はそれ以上の設定に基づいて、イメージパイプラインの設定の調整を判定することと、
を含む。
【０００９】
本発明のコンセプトは、設定に関連付けられたタグを使用することを発明者達が実現したことに基づく。これは、イメージパイプライン内にてその設定が有効になっていると、その設定を用いて処理されたイメージデータのフィードバックをタグに関連付ける。コントローラはしたがって、フィードバックがどの設定に関連しているかを知ることができ、一定の時間後にその設定が有効となっているであろうという予想に依存する必要がない。本発明のコンセプトにより、判定された設定に対して、時間の予想、タイムカウントのハンドリング、又は一定の時間の待機は不要となる。さらに、この調整方法は、受信したフィードバックがどの設定に関連しているかを、コントローラが確実に知るという点において、非常に信頼性が高い。
【００１０】
後にさらに詳細に開示するように、コントローラは、様々な機能を実施するユニットを含んでよい。例えば、コントロールユニットは、設定調整を判定することに提供されてよい。ドライバユニットは、判定された設定をイメージパイプラインに送信することに提供されてよい。
【００１１】
調整されたイメージパイプラインの設定は、１つ又はそれ以上の設定に含まれてよい。したがって、そのような実施形態では、この方法は、１つ又はそれ以上の設定の調整を判定することを含んでよい。代替的に、イメージパイプラインの設定は、そのイメージパイプライン内の、１つ又はそれ以上の設定とは別のコンポーネントが有効となるための設定であってよい。例えば、１つ又はそれ以上の設定は、ゲイン設定を含んでよい。そのゲイン設定を用いて処理されたイメージフレーム又はイメージフレーム部における光レベルに関するフィードバックに基づいて、露出設定は、ゲイン設定に代わって、例えば、将来のイメージフレームにおける光レベルを上げるよう調整されてよい。別の非限定例として、ホワイトバランスコンポーネントからのフィードバックにより提供されたフィードバックに基づく露出時間設定の調整が挙げられる。さらに別の非限定例では、処理された画像の（色）強度情報のインジケーションを提供するフィードバックが、ノイズフィルタリング、色補正、ゲイン、又はコントラスト強調を扱う他のコンポーネントの調整を判定することに使用される。
【００１２】
１つ又はそれ以上の設定は、イメージパイプラインに、つまり、その１つ又はそれ以上のコンポーネントに、データバンドルとして、そして任意に、タグを含み得る追加的データと共に、送信されてよい。代替的に、タグは、個別に送信され得る。関連付けはその場合、論理結合を介して行われ得る。
【００１３】
ここで使用されるように、「イメージパイプライン」とは、イメージデータを撮像すること／取得すること又は処理することに影響を与える、デジタル結像用の撮像デバイス又は処理デバイスのいずれの部位を意味する。イメージパイプラインは、取得すること又は処理することの様々な部位をそれぞれが扱う、様々なコンポーネントに分割され得る。いくつかのコンポーネントは、カメラシステムのイメージセンサ部に配置されてよい。いくつかのコンポーネントは、カメラシステムの処理部に配置されてよい。エンコーダは、イメージパイプラインの一部でもある追加的コンポーネントとみなすことができる。イメージパイプラインから出力されるものは、通常の場合では、シーンを撮像したビデオを表す、エンコードされたイメージフレーム又はイメージフレーム部を含むビデオストリームの形態でのイメージデータストリームである。ここに開示し、例示するように、この方法は、単一のイメージパイプライン又は複数のイメージパイプラインを有するシステムにて実施されてよい。単一のイメージパイプラインの場合では、パイプラインからの出力は通常、全体フレームである。複数のイメージパイプラインの場合では、パイプラインのそれぞれは、複数のイメージパイプラインによるイメージ処理後に、全体イメージフレームを共に形成する、様々なイメージデータ部を処理してよい。この方法が適用されているイメージパイプラインが、イメージフレームの一部又は全体を処理する場合、この方法は、いずれの影響も受けない。したがって、「フレーム」という用語は、本出願内にて使用されるように、全体イメージフレーム及び全体イメージフレームの一部の双方を網羅するものと解釈されるべきである。
【００１４】
ここで使用されるように、「タグ」とは、コントローラに対する、１つ又はそれ以上の設定を特定する、いくつかのタイプの識別を意味する。例えば、コントローラは、種々のデータバンドルを送信してよい。種々のデータバンドルのそれぞれは、１つ又はそれ以上の設定を含む。種々のデータバンドルのそれぞれは、タグに関連付けられている。タグは、互いに関して識別可能である。タグは、ラベル「Ａ」や「Ｂ」などのセマンティックであってよく、「００１」や「００２」などの数値であってよい。タグは、カメラシステムに含まれるタイマから受信したタイムスタンプを含むか、又はこれを成してよい。タグはまた、若しくはその代わりに、タグが関連付けられている、１つ又はそれ以上の設定の値から形成されてよい。例えば、タグは、露出設定に含まれる露出時間の値を、部分的又は完全に含んでよい。さらに、タグは、経時的に、一意に識別可能であってはならないが、調整処理において同時にアクティブとなる１つ又はそれ以上の設定の他のエンティティに関連して少なくとも識別可能でなければならない。イメージパイプラインのコンポーネントにおいて、第１の設定が第２の設定により上書きされると、第１の設定は、無効であると言うことができる。
【００１５】
この方法は、繰り返し行われてよい。換言すると、イメージパイプラインの設定の調整を判定するステップは、この方法の次のサイクルにおいて１つ又はそれ以上の設定を判定する初期ステップの一部であってよい。したがって、イメージパイプラインの設定の調整は、イメージパイプラインからコントローラに定期的に送信されるフィードバックに基づいて様々な設定を調整してよい、繰り返しの処理である。
【００１６】
イメージデータに関するフィードバックを送信することは、イメージパイプラインの既知の特徴であることに留意されたい。本明細書の説明から明白となるであろうように、種々の（すべて既知の）タイプのイメージデータフィードバックがあり、本発明においてこれらを使用できる。
【００１７】
１つの実施形態では、１つ又はそれ以上の設定は、設定のグループを含む。これは、複数の設定がコントローラにより形成され、イメージパイプラインに送信されることを意味する。設定のグループは、設定のエンティティとみなされてよい。設定のグループは、この方法の、１つ又はそれ以上前のサイクルにて受信したイメージデータフィードバックに基づいて判定されてよい。好ましくは、設定のグループは、（この）同じイメージデータのハンドリング（取得すること、及び／又は、処理すること）に有効となるべきである。設定のグループは、データを正常に処理する、イメージパイプライン内の様々なコンポーネントに対する設定を含んでよいため、設定のグループの、イメージパイプライン内でのアプリケーションは連係されなければならない。さらに、様々な設定は、有効とするイメージデータの様々な量を必要としてよい。換言すると、１つの設定タイプは、１つ又は２つのイメージフレームにわたって有効となってよい。別の設定タイプは、有効とする３つのイメージフレームを必要としてよい。これらの目的のために、この方法は、設定のそれぞれが、（この）同じイメージデータの処理に有効となり、設定のグループが、判定されたタイミングにしたがってイメージパイプラインに送信されるよう、設定のグループを適用するタイミングを判定することをさらに含んでよい。さらに、タグは、設定のグループの内の少なくとも１つの設定に関連付けられて送信される。
【００１８】
換言すると、設定のグループの同期したアプリケーションが行われる。
【００１９】
（その）同じイメージデータとは、同じデータパッケージであるということを意味する。データパッケージのサイズは、イメージパイプラインのデータフロー構造がどのように形成されているかなど、多くの要因に依存し得る。１つの実施形態では、同じイメージデータは、同じイメージフレーム又はイメージフレーム部に対応する。これは、撮像デバイスにより所与の瞬間に（つまり、同時に）取得されたイメージデータである。
【００２０】
ここに暗示するように、タグは、設定のグループ内の１つの設定又は設定のサブグループに関連付けて送信されてよい。
【００２１】
したがって、１つの実施形態では、タグは、設定のグループ内の設定のそれぞれと共に、イメージパイプラインの様々なイメージ処理コンポーネントに送信される。このようにして、設定を受信する各コンポーネントは、受信した設定を使用して処理されたイメージデータのフィードバックを、さらなるアクションを必要とするなく、タグに関連付けることができる。
【００２２】
代替的に、タグは、１つ又はそれ以上の設定の第１の設定に関連付けて、イメージパイプライン内のイメージ処理コンポーネントに送信されてよい。そのような実施形態では、タグは、以降のイメージ処理コンポーネントに、イメージパイプライン内のコンポーネント間に移されるイメージデータを介して送信されてよい。タグは、それ自体内のイメージデータ内に（つまり、ピクセル値を介して）、又は、例えばメタデータとして、含まれてよい。１つの実施形態では、タグは、イメージパイプライン内にて、グループ内の他の設定に関連するコンポーネントよりも先に配置されたコンポーネントに関連する設定と共に送信される。したがって、タグはその場合、すべての他の（以降の）コンポーネントに、イメージデータと共に送信される。
【００２３】
さらに別の実施形態では、タグは、設定のそれぞれに関連付けられて送信され、これに加えて、イメージデータを介して、イメージパイプライン内の他のコンポーネントにも同様に送信される。タグはしたがって、他のコンポーネントからのフィードバックに関連付けて送信され得る。
【００２４】
タグがイメージデータを介して送信される実施形態のさらなる利点は、コンポーネントが、タグを含むイメージデータを受信すると、先行するコンポーネントに対する、同じ設定のグループが有効となっていることを知り得ることである。これは、現在のコンポーネントの設定を実施する設定タイミングのトリガ又は確認となり得る。
【００２５】
１つの実施形態では、タグは、１つ又はそれ以上の設定を特定する固有のデータを含む。固有の、とは、他のタグに対して経時的に再発しない識別を提供するタグを意味する。固有のタグの一例として、独自のシーケンスを作成する、商業的に利用可能ないずれのアルゴリズムにより形成される文字及び数字の組み合わせが挙げられる。
【００２６】
フィードバックは、ブロックレベルデータ又はヒストグラムデータなどのイメージ統計を含んでよい。代替的に、フィードバックは、処理された、又は、部分的に処理された、イメージフレームの形態でのイメージデータを含んでよい。様々なタイプのフィードバックを、各例を参照して、本詳細説明に詳細に開示する。
【００２７】
イメージパイプラインコンポーネントの非限定例として、ゲイン、露出（シャッタ）、（例えば、センサの故障により生じたピクセルの欠けなどの影響を取り除く）予備処理、ホワイトバランス（ＷＢ）、事後処理（例えば、ノイズフィルタリング、コントラスト強調、鮮明化）、及びエンコーディング、が挙げられる。イメージパイプラインの他のコンポーネントは、デモザイキング、色補正、及びトーンマッピングを扱ってよい。
【００２８】
１つの実施形態では、１つ又はそれ以上の設定は、第１の設定のグループと、第２の設定のグループと、に分割された複数の設定を含む。第１の設定のグループは、イメージデータの第１の繰り返しの処理に適用されるよう選択される。第２の設定のグループは、イメージデータの第２の繰り返しの処理に適用されるよう選択される。第１の設定のグループ及び第２の設定のグループは、同じタイプの設定を含んでよい。例えば、第１の設定のグループは、イメージデータの第１の繰り返しの処理に適用される第１のゲイン設定及び第１のフィルタ設定を含んでよい。第２の設定のグループは、イメージデータの第２の繰り返しの処理に適用される第２のゲイン設定及び第２のフィルタ設定を含んでよい。
【００２９】
この方法は、この実施形態において、フィードバック及びタグに関連付けて、処理されたイメージデータの繰り返しの情報を送信することをさらに含んでよい。したがって、コントローラは、フィードバックを、タグ及びそのフィードバックが基づいている繰り返しと共に受信する。タグ及び繰り返しの情報の組み合わせにより、コントローラは、フィードバックのイメージデータの処理の際にアクティブとなっている設定を知ることとなる。
【００３０】
代替的に、複数の設定が、設定のグループのそれぞれに対するものである、複数のタグに関連付けられてよい。その場合、コンポーネントから送信されるフィードバックは、タグに関連付けられる。コントローラは、そのタグから、そのタグが関連しているのはどの繰り返しかを知り得る。このタグ付けの方法を実施するシンプルな方法は、様々なタグの特徴を様々な繰り返しに割り当てることである。例えば、第１の繰り返しに対する設定のグループは、奇数の形態でのタグに関連付けられてよい。第２の繰り返しに対する設定のグループは、偶数の形態でのタグに関連付けられてよい。
【００３１】
繰り返しの情報との組み合わせでの、タグに関連付けられた、受信したフィードバック及び１つ又はそれ以上の設定に基づいて、コントローラは、同じ繰り返しに適用される、イメージパイプラインの設定の調整を判定してよい。したがって、その繰り返しの、処理されたイメージデータに確実に基づいているフィードバックに基づく、１つの繰り返しであり、他の繰り返しではないものに対する設定の調整が、本発明のこの実施形態により可能となる。
【００３２】
この実施形態は、別の実施形態として上記に開示するような、設定のグループの同期したアプリケーションと組み合わされてよいことに留意されたい。換言すると、１つ又はそれ以上の設定は、１つ又はそれ以上の設定のグループを含んでよい。これらの設定のグループのそれぞれにおいてこの設定を適用するタイミングは、グループ内の設定が、同じイメージデータに対して有効となるよう判定されてよい。
【００３３】
繰り返しという用語は、本出願のコンテキスト内にて、パイプライン内の少なくとも１つのコンポーネントに対する様々な設定を用いて繰り返し行われるイメージパイプライン処理サイクルを意味する。一例として、様々な繰り返しを処理することは、交互に行われてよい。
【００３４】
様々な繰り返しに適合されるイメージパイプラインの非限定例として、ハイダイナミックレンジ（ｈｉｇｈ  ｄｙｎａｍｉｃ  ｒａｎｇｅ又はＨＤＲ）イメージを生成するよう構成されているものが挙げられる。そのような画像は、イメージデータを様々な露出時間に取得する、既知の技術に基づいている。露出時間が異なるイメージデータは、様々な繰り返しにて処理される。
【００３５】
代替的な実施形態では、１つ又はそれ以上の設定は、同じタイプであるが、異なる繰り返しに対する複数の設定を含む。例えば、複数の設定は、第１の繰り返しに対する第１のフィルタ設定と、第２の繰り返しに対する第２のフィルタ設定と、を含んでよい。複数の設定は、上記の実施形態の説明にしたがって、イメージパイプラインのフィルタコンポーネントに、タグ及び繰り返しの情報に関連付けられて送信されてよい。上記に開示するタグ及びインジケーション情報と同じ原理と、それらを使用することの利点と、を、この実施形態に同様に適用する。
【００３６】
さらなる態様によると、プロセッサにより実行されると、プロセッサに、第１の態様に係る方法を実施させるコンピュータコード命令を含むコンピュータ可読記憶媒体が提供される。この記憶媒体は、非一時的記憶媒体であってよい。
【００３７】
さらなる態様によると、イメージパイプラインの設定の調整を判定するシステムにより、上記及び他の目的が、完全に、又は、少なくとも部分的に、達成される。このシステムは、
イメージデータを処理するよう構成されているイメージパイプラインと、
コントローラであって、
イメージパイプライン内でのイメージデータ処理のための１つ又はそれ以上の設定を判定し、
１つ又はそれ以上の設定をタグに関連付け、
１つ又はそれ以上の設定をイメージパイプラインに送信し、このタグを、１つ又はそれ以上の設定に関連付けて送信するよう構成されているコントローラと、
を含む。
【００３８】
イメージ処理パイプラインは、１つ又はそれ以上の設定を用いて処理されたイメージデータに関するフィードバックをコントローラに送信し、タグを、そのフィードバックに関連付けて送信するようさらに構成されている。コントローラは、タグに関連付けられた、受信したフィードバック及び１つ又はそれ以上の設定に基づいて、イメージパイプラインの設定の調整を判定するようさらに構成されている。
【００３９】
このさらなる態様のシステムは一般的に、第１の態様の方法と同じ方法にて、付随する利点と共に、具現化され得る。
【００４０】
１つの実施形態では、１つ又はそれ以上の設定は、設定のグループを含む。コントローラはその場合、
設定のそれぞれが、同じイメージデータの処理に有効となるよう、設定のグループを適用するタイミングを判定し、
設定のグループをイメージパイプラインに、判定されたタイミングにしたがって送信することにより、１つ又はそれ以上の設定をイメージパイプラインに送信し、
タグを、設定のグループの内の少なくとも１つの設定に関連付けて送信するようさらに構成されてよい。
【００４１】
設定のグループの同期したアプリケーションが、したがって達成される。
【００４２】
システムは、イメージデータを取得するよう構成されているイメージセンサをさらに含んでよい。イメージセンサは、可視光結像及び熱結像を含む、多くのタイプの結像のために構成されてよい。代替的に、システムは、イメージデータを取得するよう構成されているレーダー（ｒａｄｉｏ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｒａｎｇｉｎｇ又はｒａｄａｒ）ユニットなどの測距センサをさらに含んでよい。
【００４３】
イメージパイプラインは、ゲイン、露出、予備処理、ホワイトバランス、フィルタリング、事後処理、及びエンコーディングのグループから選択されたイメージデータ処理を行うよう構成されてよい。
【００４４】
本発明の適用性のさらなる範囲が、以下の詳細説明より明らかとなるであろう。しかし、本発明の好適な実施形態を示す一方で、詳細説明及び具体例は、説明のみの目的に提供されていることが理解されるべきである。なぜなら、本発明の範囲内での種々の変更及び改修が、本詳細説明から当業者に明らかとなるからである。
【００４５】
したがって、本発明は、記載するデバイスの特定の構成部品、又は、記載する方法の特定のステップに限定されず、そのようなデバイス及び方法は異なる場合があることが理解されよう。ここに使用する用語は、特定の実施形態を説明することのみを目的としており、限定を意図していないこともまた理解されよう。なお、本明細書及び添付の特許請求の範囲に使用されるように、不定冠詞「ａ」及び「ａｎ」、冠詞「ｔｈｅ」、及び「ｓａｉｄ」は、他の例が文脈により明確に決定づけられない限り、要素が１つ又はそれ以上あることを意味するよう意図していることに注意されたい。したがって、例えば、「あるオブジェクト（ａｎ  ｏｂｊｅｃｔ）」又は「そのオブジェクト（ｔｈｅ  ｏｂｊｅｃｔ）」が引用される場合、これは、いくつかのオブジェクトなどを含んでよい。さらに、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という語は、他の要素又はステップを排除しない。
【００４６】
本発明を、例示のために、そして、添付の概略図面を参照して、以下にさらに詳細に説明する。
【図面の簡単な説明】
【００４７】
【図１】図１は、実施形態に係るイメージパイプラインの概略図である。
【図２】図２は、単一の設定を調整する、本発明の実施形態を示す。
【図３】図３は、単一の設定を調整する、本発明の実施形態を示す。
【図４】図４は、単一の設定を調整する、本発明の実施形態を示す。
【図５】図５は、設定のグループを調整する、本発明の別の実施形態を示す。
【図６】図６は、設定のグループを調整する、本発明の別の実施形態を示す。
【図７】図７は、設定のグループを調整する、本発明の別の実施形態を示す。
【図８】図８は、設定のグループを調整する、本発明の別の実施形態を示す。
【図９】図９は、設定のグループを調整する、本発明の別の実施形態を示す。
【図１０】図１０は、ハイダイナミックレンジイメージを生成するイメージパイプラインの、さらに別の実施形態を示す。
【図１１】図１１は、本発明の実施形態のそれぞれを実装した、複数のイメージパイプラインを含む伴うシステムを示す。
【発明を実施するための形態】
【００４８】
図１は、イメージパイプライン１の概略図を提供する。イメージパイプライン１は、熱カメラシステム又は可視光カメラシステムなどの、カメラシステムの一部であってよい。カメラシステムは、モニタリングカメラシステムであってよい。当業者が認識するように、イメージパイプラインは様々な形態をとってよく、ここに例示するものに限定されない。したがって、本発明は、様々なカメラアプリケーションにおける、様々な形態のイメージパイプラインに適用されてよい。
【００４９】
イメージパイプライン１は、イメージフレーム３０１からイメージフレーム３０４の形態でのイメージデータを含むイメージデータストリーム３をハンドリングするために構築されている。イメージフレームの間にはそれぞれ、中間データ３００がバッファとして提供される。中間データ３００はまた、メタデータ又は補助イメージデータなどの周辺データも含んでよい。このハンドリングは、センサ部１０にて行われるイメージデータの取得と、処理部１１にて行われる後続のイメージデータ処理と、に関係する。処理部１１は、チップとして実装されてよい。センサ部１０及び処理部１１は、構造的に分離して実装されてよい。これは、センサ部１０が、第１のデバイス（図示せず）上にてその作動を行い、イメージデータを、第２のデバイス（図示せず）に、処理部１１による処理のために送信してよいことを意味する。
【００５０】
イメージパイプライン１は、イメージデータのハンドリングのためのコンポーネントを含む。これらのコンポーネントを、露出時間コンポーネント１０１、ゲインコンポーネント１０２、予備処理コンポーネント１１１、ホワイトバランス（ＷＢ）コンポーネント１１２、及びフィルタコンポーネント１１３として図１に例示する。これらの名称は、それらそれぞれのメカニズム、すなわち、露出時間の制御（１０１）、ゲインを適用すること（１０２）、ホワイトバランスを調整すること（１１２）、及びフィルタを適用すること（１１３）を示す。各コンポーネントでのメカニズムは、各コンポーネントに保存される設定又は一式の設定により制御される。コンポーネントの１つ又はそれ以上の設定の保存場所は時に、レジスタとも呼ばれる。
【００５１】
イメージパイプライン１では、イメージデータを、シーンのプロパティ（例えば、利用可能な光量、モーション、色）、データ送信の限度（若しくは、所望する減少）、又は、ユーザが生成した、イメージデータの特徴における変更の要求などの様々なパラメータに適合させるために、これらの設定を調整できることが望ましい。この目的のため、コントローラ２は、コントロールユニット２２と、ドライバ２４と、を含んで提供される。コントロールユニット２２と、ドライバ２４と、は、ここでは、説明の目的に別個のデバイスとして示している。しかしこれらは共に、単一のデバイスにて実装されてよいことに留意されたい。コントローラ２は、コントロールユニット２２及びドライバ２４、より具体的には、それらの機能、を実施するよう構成されている回路を含んでよい。
【００５２】
ハードウェアの実装では、コントロールユニット２２及びドライバ２４のそれぞれは、それらの部位の機能を提供する専門の、具体的に設計された回路に相当してよい。この回路は、１つ又はそれ以上の特定用途向け集積回路、若しくは、１つ又はそれ以上のフィールドプログラマブルゲートアレイなどの、１つ又はそれ以上の集積回路の形態であってよい。
【００５３】
ソフトウェアの実装では、回路はその代わりに、不揮発性メモリなどの、（非一時的）コンピュータ可読媒体上に保存されたコンピュータコード命令と関連して、コントローラ２に、ここに開示するいずれの方法（の一部）を実施させるマイクロプロセッサなどの、プロセッサの形態であってよい。不揮発性メモリの例として、読み取り専用メモリ、フラッシュメモリ、強誘電性ランダムアクセスメモリ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ又はＲＡＭ）、磁気コンピュータストレージデバイス、光学ディスク、などが挙げられる。ソフトウェアの場合では、コントロールユニット２２及びドライバ２４のそれぞれはしたがって、プロセッサにより実行されると、コントローラ２に、コンポーネントの機能を実施させる、コンピュータ可読媒体上に保存されたコンピュータコード命令の部位に相当してよい。
【００５４】
図１に示すように、データ交換のための双方向性のストリームが、イメージパイプライン１とコントローラ２との間に提供される。イメージパイプライン１からは、フィードバックがコントロールユニット２２に送信される。ドライバ２４からは、様々なコンポーネントに対して更新された設定がイメージパイプライン１に送信される。フィードバックは、イメージパイプライン１内での様々なステージにて（様々なコンポーネントにて）処理されたイメージデータの集約した代表を提供するデータとみなすことができるイメージ統計を含んでよい。そのようなフィードバックは通常、イメージパイプライン１の処理部１１により提供される。しかし、いくつかのケースでは、イメージパイプライン１のセンサ部１０もまた、フィードバックをコントローラ２に提供してよい。フィードバックに基づいて、コントロールユニット２２は、イメージパイプライン１への送信のためにドライバ２４に送信される１つ又はそれ以上の設定の調整を決定する。
【００５５】
さらに詳述すると、図２から図４は、本発明の第１の実施形態を示す。これらの図は、イメージデータストリーム３が通過する際の、様々な（連続的な）瞬間におけるイメージパイプライン１を示す。本発明の原理を強調するため、１つだけのコンポーネント、すなわちゲインコンポーネント１０２が示されている。他のコンポーネントは、これらの図から省略されている。この実施形態は、ゲインコンポーネント１０２に限定されず、イメージパイプライン１内の他のコンポーネントに対しても同様に機能するよう構成されてよい。さらに、図の矢印は、データが送信されてよい方向を示す。これは、データが現在送信されていることを必ずしも意味しない。
【００５６】
図２から説明すると、イメージフレーム３０１及びイメージフレーム３０２がゲインコンポーネント１０２を通過しており、イメージフレーム３０３が処理中である。現在のゲイン設定２０１はＧ１である。これは、ゲインコンポーネント１０２が、例えば、イメージパイプライン内のイメージデータのピクセル値に適用されるゲインの量を示す設定Ｇ１を用いてイメージデータストリーム３を処理することを意味する。イメージパイプライン１は、フィードバック（ＦＤＢＫ）２０２をコントロールユニット２２に送信する。フィードバック２０２はここでは、ゲインコンポーネント１０２から来るものとして示されている。しかし、フィードバックは一般的に、イメージパイプライン１内のどのコンポーネント（単一又は複数）からも来てよいことが理解される。具体的には、設定は、その設定が関連する、イメージパイプライン１内のコンポーネントから、又は、イメージパイプライン１内のいずれの後続のコンポーネントからのフィードバックに基づいて調整されてよい。この場合、フィードバックはしたがって、イメージパイプライン１内のゲインコンポーネント１０２に後続のいずれのコンポーネントから来てよい。フィードバック２０２は、例えば、ピクセルブロックの平均値／分散値／中央値又はヒストグラムデータの形態でのブロック統計などのイメージ統計を含んでよい。ブロック統計の非限定例としては、イメージデータの各１６ｘ１６のピクセルブロックの色価を取得することが挙げられる。これは、イメージデータの減少した／集約した代表とみなすことができる。ヒストグラムデータの非限定例としては、例えば、光強度レベル毎のピクセル数についての情報が挙げられる。様々な目的に適した様々なタイプの既知のイメージ統計、及び、ブロック統計やヒストグラムデータとは異なる他のタイプのイメージ統計もまた存在し、当業者に直ちに利用可能である。
【００５７】
コントロールユニット２２は、先に受信したフィードバックに基づいて、Ｇ１からＧ２へのゲイン設定の調整を判定している。調整の目的は、ゲイン設定により処理されるイメージデータのノイズ又は光レベルなどの、画像の特徴を変更することであってよい。別の目的は、イメージパイプラインから出力されたイメージデータの、結果として生じるデータストリームのビットレートを適合させるために、多かれ少なかれゲインが必要であることであってよい。調整は、ユーザ入力に基づいて、又は、エンコーダなどの、イメージシステムの他の部位により、判定されてよい。これらの目的は一般的に、本発明のコンセプトに適用可能である。調整は一般的に、既知のイメージパイプライン処理であることにもまた留意されたい。しかし、本発明のコンセプトに係るタグの追加により、既知の方法や、イメージパイプラインの設定をどのように調整するかの方法が改善され、より速い調整処理を可能にすることといった、さらなる恩恵が加えられる。
【００５８】
調整は、設定により影響を受ける画像の特徴の目標に基づいて行われてよい。コントロールユニット２２は、受信したフィードバック２０２を、画像の特徴の目標と比較し、それに基づいて設定を調整してよい。例えば、処理されたイメージフレームのイメージデータが、目標値より暗いことを、受信したフィードバック２０２が示す場合、コントロールユニット２２は、ゲインをＧ１からＧ２に増やし、将来のイメージフレームにおける光レベルを上げてよい。そのようにして、コントロールユニット２２は設定を調整し、画像の特徴を、それらの目標値に到達させてよい。設定自体に対する目標値が設定されてよい。この場合、コントロールユニット２２は、設定を調整する際に、その設定が目標値に到達するようにする。設定に対する、画像の特徴の目標及び／又は目標値は、イメージデータの特定の特徴を達成するために、ユーザ入力に基づいて、又は、エンコーダなどの、イメージシステムの他の部位により、設定されてよい。
【００５９】
（Ｇ２である）調整されたゲイン設定２０３は、イメージパイプライン１内での実施のために、コントロールユニット２２からドライバ２４に送信される。調整されたゲイン設定２０３は、（この調整されたゲイン設定２０３の場合に「２」である）ＩＤ番号の形態にてタグに関連付けられる。関連付けは、タグが、調整されたゲイン設定２０３と共に、つまり、同じデータパッケージにて送信されることにより実施されてよい。図３に進むと、ドライバ２４は、調整されたゲイン設定２０３をゲインコンポーネント１０２に送信している。ゲインコンポーネント１０２はそれを実施し、イメージフレーム３０４の処理に使用する。調整されたゲイン設定２０３に関連付けて、ゲインコンポーネント１０２にＩＤが送信される。さらに、イメージデータの処理にアクティブとなっている、調整されたゲイン設定２０３により、第２のフィードバック２０５が、ゲインコンポーネント１０２からコントロールユニット２２に送信される。このフィードバック２０５は、先に処理されたイメージフレーム３０２及び３０３ではなく、イメージフレーム３０４に基づいている。第２のフィードバック２０５に関連付けて、コントロールユニット２２にＩＤが送信される。第２のフィードバック２０５を、関連付けられたＩＤと共に受信すると、コントロールユニット２２は、ＩＤと設定Ｇ２との間の関連付けから、第２のフィードバック２０５が、設定Ｇ２を用いて処理されたイメージデータに基づいていることを知ることとなる。様々なタグ（この場合はＩＤ）と設定との間の関連付けは、コントロールユニット２２のメモリ、又は、コントロールユニット２２から遠隔の、アクセス可能なメモリに保存されてよい。
【００６０】
入手したこの情報、つまり、第２のフィードバック２０５と、第２のフィードバック２０５が基づいているイメージデータの処理にどのゲイン設定が使用されたかの知見を用いて、コントロールユニット２２は、適用される、ゲイン設定の次の調整、すなわち、ゲイン設定２０７が示す、Ｇ２からＧ３への調整のための、事実に基づいた判定をここで行ってよい。このゲイン設定２０７を、実施のためにドライバ２４に送信する前に、ゲイン設定２０７は、この場合はＩＤ番号「３」であるタグに関連付けられる。この瞬間にアクティブとなっているすべての設定に少なくとも関連して、固有のタグ（この場合はＩＤ番号）が選択される。この例では、ＩＤ番号「２」を含むゲイン設定Ｇ２のみがアクティブとなっているため、「２」ではないいずれの他のＩＤ番号にて事足りる。しかし、実際に実施する際には、（様々なコンポーネントに対する）数百もの非常に多くの様々な設定がアクティブとなってよい。好ましくは、そして、（それらのタグと共に）適用されている設定に関する履歴情報を維持する際にもまた、タグはまた、無効であるものの、先に実施された設定に関して、一意に選択されるべきである。
【００６１】
図４に進むと、Ｇ３を含み、ＩＤ番号「３」に関連付けられたさらなるゲイン設定２０７が、ドライバ２４に送信される。コントロールユニット２２は、第３のフィードバック２０６を、ゲインコンポーネント１０２から受信する。この瞬間に、コントロールユニット２２は、このタグなくしては、第３のフィードバック２０６が、設定Ｇ２又はＧ３を用いて処理されたイメージデータに基づいているかがわからない。しかし、第３のフィードバック２０６、すなわち、ＩＤ番号「２」に関連付けられたタグにより、第３のフィードバック２０６が、ゲイン設定Ｇ２を用いて処理されたイメージデータに依然として関連していることを、コントロールユニット２２は知ることとなる。このようにして、この方法は、時間効率の良い調整方法を提供する。この方法では、コントロールユニット２２は、設定が有効となるまでにどれほどの時間がかかるかという、そのこと自体が複雑な予想をすることも、アクティブとなっているすべての様々な設定のための様々なタイマを扱うことも、必要がない。さらに、コントロールユニット２２は、フィードバックを、ＩＤ番号「３」を有するタグと共に受信することにより、以前の設定Ｇ２が、ゲインコンポーネント１０２にて上書きされていることを知ってよい。したがって、コントロールユニット２２は、設定のメモリ内にて、設定を無効に設定してよい。無効設定のタグは、処理パワー及びメモリを節約するために再使用されてよい。
【００６２】
先に進むと、図５から図９は、本発明の第２の実施形態を示す。ここでは、第１の実施形態の例を参照して説明した本発明のコンセプトが、より複雑なシナリオに適用される。しかし、本発明のコンセプトの主な原理、すなわち、イメージパイプラインにおいて実施される設定（単一又は複数）をタグ付けし、これに対応して、その設定を用いて処理されたイメージデータに対して判定されたフィードバックをタグ付けすることを依然として適用する。
【００６３】
図５から開始すると、イメージパイプライン１が、露出時間コンポーネント１０１、ゲインコンポーネント１０２、ホワイトバランスコンポーネント１１２、及びフィルタコンポーネント１１３などのコンポーネントと共に例示される。これらのコンポーネントを通して、イメージフレーム３０２からイメージフレーム３０５を含むイメージデータストリーム３が流れる。図５が示す各瞬間に、様々なコンポーネントは、露出時間設定４０１のＥ１、ゲイン設定４０２のＧ１、ホワイトバランス設定４０３のＷ１、及びフィルタバランス設定４０４のＦ１を使用して、イメージデータストリーム３を扱う。このコンテキストでは、設定のそれぞれが、必ずしも数値に相当しないことが強調されてよい。フィルタの場合では、フィルタコンポーネント１１３に適用する特定のフィルタのプロパティ、又は、特定のフィルタのタイプが、フィルタ設定に含まれてよい。
【００６４】
設定４０１から設定４０４のすべてが、ＩＤ番号「１」の形態でのタグに関連付けられている。これらの関連付けは、第１の実施形態に開示するように行われる。その結果、イメージパイプライン１により提供されたフィードバック４０５は、フィルタコンポーネント３０１からのここに示す場合では、ＩＤ番号「１」に関連付けられている。これにより、コントロールユニット２２は、フィードバック４０５が、そのＩＤ番号に関連付けられた設定を用いて処理されたイメージデータに関連することを知ることとなる。
【００６５】
露出時間設定、ゲイン設定、ホワイトバランス設定、及びフィルタ設定を含む設定のグループ４０６は、コントロールユニット２２により判定されており、ドライバ２４に送信される。図６に進むと、ドライバ２４は、設定のグループ４０６を受信している。ドライバ２４は、イメージパイプライン１内の様々なコンポーネントにおいて実施される、設定のグループが来ると、追加的機能を有することとなる。すなわち、それらの設定が、同じイメージデータ、好ましくは同じイメージフレームの処理に有効となるよう、それら設定のグループの実施を同期させる。このようにして、結果として生じるイメージストリームは、１つずつではなく、一度にそろって、対応する特徴に関して変化する。これは、分析の目的と、ユーザから見てより好ましいイメージストリームをも提供することと、の双方に有益となり得る。同期を達成するために、ドライバ２４は、設定のグループ４０６を適用するタイミングを判定する。このタイミングを決定する方法は、コンポーネントがどのように並んでいるか、及び、コンポーネントのそれぞれが設定を適用するまでにどれほどの時間がかかるかなどのパラメータを知ることで容易となる。このタイミングはまた、イメージパイプライン内での現在の待ち時間などの動的パラメータに基づいて決定されてもよい。
【００６６】
図６では、露出時間設定４０７が適用されている。これは、ドライバ２４が、設定Ｅ２を露出時間コンポーネント１０１に送信したことを意味する。図７に進むと、ゲイン設定４０８が対応する様式にて実施されており、イメージフレーム３０５の処理に有効となっている。この図にも示すように、フィードバック４０９が、ゲインコンポーネント１０２からコントロールユニット２２に、関連付けられたＩＤ番号「２」のタグと共に送信されている。コントロールユニット２２は、さらなる設定が満たされる第２の設定のグループ４１０の形成を始めている。
【００６７】
次に、図８では、ホワイトバランス設定４１１が、ホワイトバランスコンポーネント１１２にて実施されている。さらに、第３のフィードバック４１２が、フィルタコンポーネント１１３からコントロールユニット２２に送信され、第４のフィードバック４１３が、露出時間コンポーネント１０１から送信されている。第３のフィードバック４１２は、ＩＤ番号「１」に関連付けられており、第４のフィードバックは、ＩＤ番号「２」に関連付けられている。したがって、コントロールユニット２２は、これら２つのフィードバックを、異なる設定を用いて処理されたイメージデータに基づいているものとして分離してよい。コントロールユニット２２はまた、どの設定が使用されているかを知ることとなる。これは、分析に利用され得る。本発明のコンセプトのタグなくしては、この分離は可能となってはおらず、コントロールユニット２２は、フィードバック４１２及び４１３の双方が何に基づいているかを知らないため、それらを破棄する必要が潜在的にあろう。コントロールユニット２２にはしたがって、より大量の、より信頼性の高いフィードバック情報が提供される。加えて、図８に示すように、コントロールユニット２２は、イメージパイプラインから、完全に又は部分的に処理されたイメージデータの形態での、第５のフィードバック４１４を受信する。したがって、これは、イメージデータの集約した形態ではなく、例えばイメージフレームに対応し得る。第５のフィードバック４１４は、ＩＤ番号「０」の形態でのタグに関連付けられている。これは、そのタグに関連付けられた設定を使用して処理されていることを示す。いくつかの実施形態では、イメージデータの形態でのフィードバックを定期的に受信し、特定の分析を行うことは、コントロールユニット２２にとって有益である。
【００６８】
図８においても理解できるように、コントロールユニット２２は、第２の設定のグループ４１０を引き続き構築する。
【００６９】
いくつかのイメージフレームに進むと、図９は、設定のグループ４０６内のすべての設定が、イメージパイプライン１内にて実施されている瞬間を示す。この瞬間に、コントロールユニット２２は、第２の設定のグループ４１０の判定を完了しており、それを、実施のためにドライバ２４に送信する。
【００７０】
本発明のコンセプトは、さらにより複雑なシナリオにも拡張されてよい。図１０は、イメージパイプライン１が、第１の繰り返し０及び第２の繰り返し１にて扱われる、２つの異なる露出時間のイメージデータを処理するよう構成されているシナリオを示す。繰り返しという用語は、パイプライン内の少なくとも１つのコンポーネントに対する様々な設定を用いて繰り返し行われるパイプライン処理サイクルを意味する。図１０の例では、２つの繰り返しが、露出時間コンポーネント１０１及びゲインコンポーネント１０２に対する様々な設定を用いて行われている。例示するイメージパイプラインは、それらのペアにて、様々な露出時間に（イメージ処理の様々な繰り返しにて）取得された、イメージデータフレームのペアに基づいて、（ワイドダイナミックレンジ（ｗｉｄｅ  ｄｙｎａｍｉｃ  ｒａｎｇｅ又はＷＤＲ）イメージとしてもまた知られる）ハイダイナミックレンジ（ＨＤＲ）イメージを生成するよう構成されている。これは、ＨＤＲイメージを生成する既知の技術であり、様々な露出時間に取得した、大量のイメージデータフレームを有するベースを含むよう拡張され得る。イメージデータフレームは、イメージパイプライン１により連続してペアにて扱われる。これは、繰り返しが交互に行われることを意味する。その結果、イメージデータストリーム３内の、例えばイメージフレーム３０１−０及び３０１−１などの連続的なイメージフレームが、共通のＨＤＲイメージを形成する、画像のペアを形成する。連続的なイメージフレームは、様々な露出時間に取得される。露出時間は、露出時間コンポーネント１０１により扱われる。
【００７１】
イメージデータが繰り返し処理されるこのタイプのアプリケーションについて、繰り返し０に対する、露出時間及びゲイン設定のための第１の設定のグループ（Ｅ２０＋Ｇ２０）と、繰り返し１に対する、露出時間及びゲイン設定のための第２の設定のグループ（Ｅ２１＋Ｇ２１）と、に分割された複数の設定１００３が、コントロールユニット２２により形成される。設定のグループを、共通の設定のグループ１００３を形成する設定のサブグループとしてハンドリングすることにより、同じペアの画像の処理の間に、コンポーネントに対する設定が有効となることが回避され得る。この利点は、コンポーネントが、次の設定パッケージを適用する前に、現在の設定の処理を完了する機能に基づいている。換言すると、イメージパイプライン１内のコンポーネントは、次のグループが、繰り返しサイクルの途中に受信されたとしても、その次の設定のグループを適用する前に、例えば、繰り返し０及び１の双方などの、繰り返しの完全なサイクルの処理を、現在の設定のグループを用いて、完了する。したがって、このコンポーネントは、例えば上記の繰り返し０及び１の間に、設定を変更しない。
【００７２】
複数の設定１００３は、ＩＤ番号「２」の形態でのタグに関連付けられている。この理由は、先に開示の実施形態に関連して説明されている。さらに、設定を用いて処理されたイメージデータに関するフィードバックを、イメージパイプライン１から、例えば、ゲインコンポーネント１０２から提供する場合、イメージデータの繰り返しの情報もまた、関連付けて送信される。例示すると、図１０でのゲインコンポーネント１０２は、フィードバックが、１にてタグ付けされた設定を用いて処理された繰り返し０のイメージデータ（例えば、イメージフレーム３０１−０又はイメージフレーム３０２−０）に関連することを示す、ＩＤ番号「１」及び繰り返し番号「０」を含むフィードバックを、コントロールユニット２２に送信してよい。コントロールユニット２２は、フィードバックを、タグ及び繰り返しの情報と共に受信し、これにより、その処理にてアクティブとなっている設定がどれかを知ることとなる。この情報に基づいて、コントロールユニット２２は、同じ繰り返しに対する設定（同じ又は他のタイプの設定）の調整を判定し、他のフィードバックに基づいて判定されてよい他の繰り返しの設定と共に、これを含んでよい。上記に示す例では、コントロールユニット２２は、調整された複数の設定１００３を用意している。コントロールユニットは、ＩＤ番号「１」及び繰り返し番号「０」がタグ付けされたフィードバックに基づいて、繰り返し「０」に対して、露出及びゲイン設定を調整している。コントロールユニットはさらに、ＩＤ「１」及び繰り返し番号「１」がタグ付けされたフィードバックに基づいて、繰り返し「１」に対して、露出及びゲイン設定を調整している。換言すると、コントロールユニット２２は、この複雑なシナリオでもまた、フィードバックの元となる、信頼性の高い情報が提供され、したがって、すべての繰り返しに有効となる一般的な調整を行うことなく、特定の繰り返しの設定に対する詳細な調整を行うことができる。
【００７３】
１つの実施形態によると、設定の調整を判定する方法は、複数のイメージパイプラインを含むシステムにおいて実施される。図１１は、第１のイメージパイプライン１ａ及び第２のイメージパイプライン１ｂを含むそのようなシステムの一例を示す。第１のイメージパイプライン１ａは、イメージフレーム部２ａからイメージフレーム部５ａを含む第１のイメージデータストリーム３ａを処理する。第２のイメージパイプラインは、イメージフレーム部２ｂからイメージフレーム部５ｂを含む第２のイメージデータストリーム３ｂを処理する。
【００７４】
単一のイメージパイプラインを有する各実施形態と同様に、コントロールユニット１１２２及びドライバ１１２４は、１つ又はそれ以上の設定を判定し、それらをイメージパイプライン１ａ及び１ｂに送信するよう構成されている。このシステムは、イメージ処理パイプライン１ａ及び１ｂの双方（又は、さらに多くのパイプラインがある場合では、それらすべて）を、同じ設定を用いて更新するよう構成されている。これを図１１に見ることができる。ここでは、例えば、第１のイメージパイプライン１ａの露出時間コンポーネントは、第２のイメージパイプライン１ｂの露出時間コンポーネントと同じ設定Ｅ１を、ＩＤ＝１の同じタグと共に有する。同じ設定の目的は、分離されたイメージ処理による、結果として生じる画像における相違を回避することである。この相違は、処理されたイメージデータが組み合わされ、又は、つなぎ合わせられ、結果として生じる単一の画像を形成する際に問題となる。
【００７５】
フィードバックは、コントロールユニット１１２２に、イメージ処理パイプライン１ａ及び１ｂの双方から提供される。上記に示す例では、第１のイメージパイプライン１ａのフィルタコンポーネント及び第２のイメージパイプライン１ｂのフィルタコンポーネントは、フィードバックＦＤＢＫを、ＩＤ＝１のタグと共に、コントロールユニット１１２２に提供する。
【００７６】
タグ又はフィードバックは、そのフィードバックが、どのイメージパイプラインに関連するかのインジケーション（図示せず）をさらに含んでよい。代替的に、同じ設定は、様々なパイプラインの間にて、受信したフィードバックを分離するために、様々なイメージパイプライン１ａ及び１ｂに対する様々なタグに関連付けられてよい。
【００７７】
イメージパイプライン１ａ及び１ｂは、単一のセンサにより取得された、イメージデータの様々な部分を処理するよう構成されてよい。代替的に、イメージパイプライン１ａ及び１ｂは、単一の画像を生成するよう構成されている様々なイメージセンサからのイメージデータを処理するよう構成されてよい。様々なイメージセンサからのイメージデータはしたがって、例えば、つなぎ合わせることで単一の画像を形成することにより、組み合わされてよい。つなぎ合わせることは、様々なイメージパイプライン１ａ及び１ｂによる処理の後に行われてよい。
【００７８】
イメージパイプラインのそれぞれは、イメージ処理を行うイメージ処理チップに関連付けられてよい。
【００７９】
上記の例は、２つを超える様々な露出が、ＨＤＲイメージを形成するために使用される場合にまで拡張されることが理解される。その場合、複数の設定は、２つを超える繰り返しにて交互に使用される、２つを超える設定のグループを含んでよい。
【００８０】
本発明のコンセプトもまた同様に機能する、別のより複雑なシナリオとしては、様々なイメージセンサからの画像を処理する、マルチチャネルイメージパイプラインを有する場合が挙げられる。マルチチャネルイメージパイプラインの一例では、イメージデータ処理の様々な繰り返しの上記の例と同様に、様々なイメージチャネルを形成する、様々なセンサからのイメージデータが、交互に処理される。
【００８１】
ＨＤＲイメージを形成する場合として、本発明の方法の、相当する実施形態が、ここに適用されてよい。すなわち、１つ又はそれ以上の設定は、様々なイメージデータチャネルのイメージデータの処理に適用されるために、様々なグループに分割された複数の設定を含んでよい。例えば、第１のグループは、第１のイメージデータチャネルを処理する場合に適用されてよく、第２のグループは、第２のイメージデータチャネルを処理する場合に適用されてよい。フィードバックをイメージパイプライン１から提供する際には、イメージデータを処理したチャネルの情報は、その処理されたイメージデータのフィードバックに、複数の設定のタグと共に関連付けられてよい。
【００８２】
ここに提供する様々な例から明白となるであろうように、当業者であれば、上記の実施形態を多くの方法にて変更でき、上記の実施形態に示すような、本発明の利点を依然として使用できることが理解されるであろう。例えば、フィードバックは、イメージパイプラインの様々なコンポーネントに送信される様々な設定又は設定のグループに対応する種々のタグを含んでよい。換言すると、フィードバックは、同じフレームを処理する際に、イメージパイプラインの様々な部分に並列にアクティブとなっている、様々な設定のグループの種々のタグを含んでよい。さらに、例示するように、本発明のコンセプトは、並列イメージパイプラインに適用されるよう構成されてよい。ここでは、種々のパイプラインに対して複数の設定を判定する共通のコントローラを用いて、イメージデータが並列に処理される。フィードバックは、そのような場合、タグと、これに加えて、そのフィードバックがどのイメージパイプラインに関連するかのインジケーションと、に関連付けられてよい。
【００８３】
本発明は従って、ここに示す実施形態に限定されるべきではなく、特許請求の範囲によってのみ定義されるべきである。更に、当業者が理解するように、ここに示す実施形態は組み合わせることも可能である。
【図１】
2020115632.tif 000003
【図２】
2020115632.tif 000004
【図３】
2020115632.tif 000005
【図４】
2020115632.tif 000006
【図５】
2020115632.tif 000007
【図６】
2020115632.tif 000008
【図７】
2020115632.tif 000009
【図８】
2020115632.tif 000010
【図９】
2020115632.tif 000011
【図１０】
2020115632.tif 000012
【図１１】
2020115632.tif 000013
【外国語明細書】
2020115632000001.pdf
2020115632000002.pdf
2020115632000003.pdf
2020115632000004.pdf