(57)【要約】撮像デバイスで処理を実行する方法及び装置は、撮像デバイスが画像を受信することを含む。この画像をフィルタリングして、第１に可視光成分及び第２に赤外線成分を生成する。赤外線成分を除染して、除染された赤外線成分を生成し、可視光成分に対して補間を実行して、補間された可視光成分を生成し、これらの両方を、さらに処理するために画像信号プロセッサ（ＩＳＰ）に提供する。【選択図】図４
2021502733.tif 000002
【特許請求の範囲】
【請求項１】
撮像デバイスで処理を実行する方法であって、
赤外線成分及び可視光成分を含む画像を前記撮像デバイスで受信することと、
第１プロセッサが、前記画像の前記赤外線成分及び前記可視光成分の除染を実行して、除染された赤外光成分及び可視光成分を生成することと、
前記第１プロセッサが、前記除染された可視光成分に対して補間を実行して、補間された可視光成分を生成することと、
前記第１プロセッサが、前記除染された赤外線成分と、前記除染され補間された可視光成分とを、さらに処理するために画像信号プロセッサ（ＩＳＰ）に提供することと、を含む、
方法。
【請求項２】
前記除染は、汚染行列を計算し、受信した画像内の可視光エネルギーを決定することによって、前記受信した画像から前記可視光エネルギーを除去して、前記除染された赤外線成分を生成する、
請求項１の方法。
【請求項３】
前記第１プロセッサが、前記除染された赤外線成分の調整を実行することをさらに含む、
請求項２の方法。
【請求項４】
前記除染された赤外線成分のエネルギー値が閾値よりも大きい場合に、前記赤外線成分の前記除染を低減する、
請求項３の方法。
【請求項５】
前記除染は、前記除去されたエネルギーの一部を前記赤外線成分に加えることによって低減する、
請求項４の方法。
【請求項６】
前記閾値は、レンダリングされる所望の視覚効果に基づいて設定される、
請求項５の方法。
【請求項７】
前記除染は、受信した画像から赤外線エネルギーを除去して、前記除染された可視光成分を生成する、
請求項１の方法。
【請求項８】
前記除染された可視光成分は、赤、青及び緑の光成分を含む、
請求項７の方法。
【請求項９】
前記第１プロセッサが、前記除染された可視光成分の調整を実行することをさらに含む、
請求項８の方法。
【請求項１０】
前記除染された可視光成分のエネルギー値が閾値未満の場合に、前記可視光成分の前記除染を低減する、
請求項９の方法。
【請求項１１】
前記除染は、前記除去されたエネルギーの一部を前記可視光成分に加えることによって低減する、
請求項１０の方法。
【請求項１２】
前記閾値は、レンダリングされる所望の視覚効果に基づいて設定される、
請求項１１の方法。
【請求項１３】
前記可視光成分のエネルギー値が飽和している場合には、前記可視光成分の前記除染が実行されない、
請求項９の方法。
【請求項１４】
前記補間を実行することは、除去された赤外線成分を可視光成分に置換することを含む、
請求項１の方法。
【請求項１５】
前記可視光成分は、赤（Ｒ）、青（Ｂ）又は緑（Ｇ）の光成分のベイヤーパターンを含む、
請求項１４の方法。
【請求項１６】
前記除去された赤外線（ＩＲ）成分は、受信したＲＧＢＩＲパターン内の前記ＩＲ成分によって占められた前記ベイヤーパターンの成分に応じて、赤（Ｒ）、青（Ｂ）又は緑（Ｇ）の光成分の何れかに置換される、
請求項１５の方法。
【請求項１７】
前記第１プロセッサが、前記受信した画像の較正を実行して、前記受信した画像の汚染係数を決定することをさらに含む、
請求項１の方法。
【請求項１８】
前記第１プロセッサが、狭帯域スペクトル光でバックライトを当てたディフューザである均一なテストチャートを生成することと、
前記テストチャート上の使用される一連の生画像を、前記撮像デバイスを用いてキャプチャすることと、
Ｒ、Ｇ、Ｂ及びＩＲチャネル毎に前記汚染係数を計算して、画素位置毎に行列を形成することと、をさらに含む、
請求項１７の方法。
【請求項１９】
カメラモジュールと、
前記カメラモジュールに動作可能に接続された第１プロセッサと、
前記第１プロセッサに動作可能に接続された画像信号プロセッサ（ＩＳＰ）と、
を備え、
前記カメラモジュールは、赤外線成分及び可視光成分を含む画像を受信し、前記受信した画像を前記第１プロセッサに転送し、
前記第１プロセッサは、前記画像の前記赤外線成分及び前記可視光成分の除染を実行して、除染された赤外光成分及び可視光成分を生成し、前記除染された可視光成分に対して補間を実行して、補間された可視光成分を生成し、前記除染された赤外線成分と、前記除染され補間された可視光成分とを、さらに処理するために前記ＩＳＰに転送する、
撮像デバイス。
【請求項２０】
前記除染は、汚染行列を計算し、受信した画像内の可視光エネルギーを決定することによって、前記受信した画像から前記可視光エネルギーを除去して、前記除染された赤外線成分を生成する、
請求項１９の撮像デバイス。
【請求項２１】
前記第１プロセッサは、前記除染された赤外線成分の調整を実行する、
請求項２０の撮像デバイス。
【請求項２２】
前記除染された赤外線成分のエネルギー値が閾値よりも大きい場合に、前記赤外線成分の前記除染を低減する、
請求項２１の撮像デバイス。
【請求項２３】
前記除染は、前記除去されたエネルギーの一部を前記赤外線成分に加えることによって低減する、
請求項２２の撮像デバイス。
【請求項２４】
前記閾値は、レンダリングされる所望の視覚効果に基づいて設定される、
請求項２３の撮像デバイス。
【請求項２５】
前記除染は、受信した画像から赤外線エネルギーを除去して、前記汚染された可視光成分を生成する、
請求項１９の撮像デバイス。
【請求項２６】
前記除染された可視光成分は、赤、青及び緑の光成分を含む、
請求項２５の撮像デバイス。
【請求項２７】
前記第１プロセッサは、前記除染された可視光成分の調整を実行する、
請求項２６の撮像デバイス。
【請求項２８】
前記除染された可視光成分のエネルギー値が閾値未満の場合に、前記可視光成分の前記除染を低減する、
請求項２７の撮像デバイス。
【請求項２９】
前記除染は、前記除去されたエネルギーの一部を前記可視光成分に加えることによって低減する、
請求項２８の撮像デバイス。
【請求項３０】
前記閾値は、レンダリングされる所望の視覚効果に基づいて設定される、
請求項２９の撮像デバイス。
【請求項３１】
前記可視光成分のエネルギー値が飽和している場合に、前記可視光成分の前記除染が実行されない、
請求項２７の撮像デバイス。
【請求項３２】
前記補間を実行することは、除去された赤外線成分を可視光成分に置換することを含む、
請求項１９の撮像デバイス。
【請求項３３】
前記可視光成分は、赤（Ｒ）、青（Ｂ）及び緑（Ｇ）の光成分を含むベイヤーパターンを有する、
請求項３２の撮像デバイス。
【請求項３４】
前記除去された赤外線（ＩＲ）成分は、受信したＲＧＢＩＲパターン内の前記ＩＲ成分によって占められた前記ベイヤーパターンの成分に応じて、赤（Ｒ）、青（Ｂ）又は緑（Ｇ）の光成分の何れかに置換される、
請求項３３の撮像デバイス。
【請求項３５】
前記第１プロセッサは、前記受信した画像の較正を実行して、前記受信した画像の汚染係数を決定する、
請求項１９の撮像デバイス。
【請求項３６】
前記第１プロセッサは、狭帯域スペクトル光でバックライトを当てたディフューザである均一なテストチャートを生成し、前記テストチャート上の使用される一連の生画像をキャプチャし、Ｒ、Ｇ、Ｂ及びＩＲチャネル毎に前記汚染係数を計算して、画素位置毎に行列を形成する、
請求項３５の撮像デバイス。
【請求項３７】
コンピューティングデバイスによって実行されると、
赤外線成分及び可視光成分を含む画像を受信することと、
第１プロセッサが、前記画像の前記赤外線成分及び前記可視光成分の除染を実行して、除染された赤外光成分及び可視光成分を生成することと、
前記第１プロセッサが、前記除染された可視光成分に対して補間を実行して、補間された可視光成分を生成することと、
前記第１プロセッサが、前記除染された赤外光成分と、前記除染され補間された可視光成分とを、さらに処理するために画像信号プロセッサ（ＩＳＰ）に提供することと、
を含む動作を前記コンピューティングデバイスに実行させる命令を記憶する、
コンピュータ可読記憶媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
（関連出願の相互参照）
本願は、２０１７年１１月８日に出願された中国特許出願第２０１７１１０９０９６２．０号、及び、２０１７年１１月１７日に出願された米国特許出願第１５／８１６，５３７号に関する優先権を主張するものであり、これらの全ての内容は、本明細書に完全に記載されているかのように、引用することによって本明細書に援用される。
【０００２】
赤外線（ＩＲ）画像をカメラでキャプチャするために、ＩＲフィルタ及びセンサが、可視光画像をキャプチャする可視光（赤／緑／青「ＲＧＢ」）フィルタ及びセンサと共に実装されることが多い。デュアルバンドＲＧＢＩＲフィルタの使用により、単一のカメラを利用して、可視光画像及びＩＲ画像の両方をキャプチャすることができる。単一のカメラを使用することによって、２台のカメラを利用する場合に必要な幾何学較正（geometry calibration）を行う必要がなくなるだけでなく、サイズ及びコストを節約することができる。
【０００３】
しかしながら、ＲＧＢ画素もＩＲ帯域においてスペクトル応答を有するので、デュアルバンドフィルタのＩＲ帯域を通過するＩＲエネルギーが、可視光画像に存在する色を汚染する可能性がある。また、可視光エネルギーは、同様にＩＲ画像を汚染する可能性がある。
【０００４】
したがって、デュアルバンドＲＧＢＩＲフィルタを含むカメラでは、ＲＧＢＩＲセンサ上の画素アレイのパターンが、従来のＲＧＢ「ベイヤー」パターンを生成する従来のＲＧＢセンサのものと異なるので、高品質のＲＧＢ画像を取得するための従来の技術は、独自の画像信号プロセッサ（ＩＳＰ）を使用する。ＲＧＢＩＲセンサを使用して、従来のベイヤーパターンの一部の画素をＩＲ画素に置換する。従来のＩＳＰは、ＲＧＢＩＲセンサから受信した結果画像に対して従来の処理を実行することができない。
【０００５】
添付の図面と併せて例として示される以下の説明から、より詳細な理解を得ることができる。
【図面の簡単な説明】
【０００６】
【図１】１つ以上の開示された実施形態を実施可能な例示的なシステムのブロック図である。
【図２Ａ】本開示の１つ以上の特徴を実施可能な図１に示す例示的なデバイスのブロック図である。
【図２Ｂ】本開示の１つ以上の特徴を実施可能な例示的なシステムのブロック図である。
【図３】さらなる詳細を示す図２Ａの例示的なデバイス及び図２Ｂの例示的なシステムのブロック図である。
【図４】カメラ内で処理を実行する例示的な方法のフロー図である。
【図５Ａ】ＩＲ汚染を含む例示的なＲＧＢＩＲパターンを示す図である。
【図５Ｂ】ＩＲ汚染を除去した例示的な補間ベイヤーパターンを示す図である。
【発明を実施するための形態】
【０００７】
以下により詳細に説明するが、可視光（赤／緑／青「ＲＧＢ」）成分及び赤外線（ＩＲ）成分を含む画像を受信して処理する方法及び装置について簡単に説明する。この方法は、従来の画像信号プロセッサ（ＩＳＰ）が、ＲＧＢＩＲ信号に対して実行される除染（decontamination）機能と、この信号に対して実行される補間（例えば、赤、緑、青の光補間）と、によるＲＧＢＩＲ信号の従来の処理を実行することを可能にする。信号の汚染（contamination）は、多くの要因に起因する場合がある。
【０００８】
例えば、受信信号の一部の汚染は、フィルタによって除去される色の望ましくない光のいくつかの量が通過する不完全なカラーフィルタのために起こるスペクトルクロストークに起因する場合がある。光学的空間クロストーク汚染は、金属及び絶縁層のために画像画素の表面からある程度離れて位置するカラーフィルタに起因する。直交以外の角度で入射する光は、フィルタを通過し、下にある画素ではなく隣接して生成された画素によって部分的に吸収され得る。レンズのＦ値によっては、隣接する画素によって吸収される光のこの部分が大幅に変化する場合があり、Ｆ値を小さくするのに十分な大きさである場合がある。カラーフィルタの上部に配置されたマイクロレンズは、マイクロレンズの適切な形状及びこれらの適切な位置が選択された場合に、クロストークのこの成分を著しく低減することができる。電気的クロストーク汚染は、隣接する電荷蓄積部位に移動する可能性を有する光生成キャリアから生じる。電気的クロストークは、モノクロ画像センサ及びカラー画像センサの両方で発生する。隣接する画素及び対応するクロストークによって蓄積されるキャリアの量は、画素構造、収集領域及び画素内の感度分布に依存する。したがって、赤外線は、受信したＲＧＢＩＲ画像の可視光成分を汚染する可能性があり、可視光は、受信したＲＧＢＩＲ画像の赤外線成分を汚染する可能性がある。
【０００９】
撮像デバイスで処理を実行する方法を開示する。この方法は、撮像デバイスによって、赤外線成分及び可視光成分を含む画像を受信することを含む。除染を行い、除染された赤外線成分と、除染された可視光成分と、を生成する。除染された可視光成分に対して補間処理を実行して、補間された可視光成分を生成し、さらなる処理のために、除染された赤外線成分と、除染され補間された可視光成分と、を画像信号プロセッサ（ＩＳＰ）に提供する。撮像デバイスを開示する。この撮像デバイスは、カメラモジュールと、カメラモジュールに動作可能に接続されたプロセッサと、プロセッサに動作可能に接続された画像信号プロセッサ（ＩＳＰ）と、を含む。カメラモジュールは、赤外線成分及び可視光成分を含む画像を受信し、受信した画像をプロセッサに転送する。プロセッサは、除染を行い、除染された赤外線成分と、除染された可視光成分と、を生成する。プロセッサは、除染された可視光成分に対して補間処理を実行して、補間された可視光成分を生成し、さらなる処理のために、除染された赤外線成分と、除染され補間された可視光成分と、をＩＳＰに転送する。コンピューティングデバイスによって実行された場合にコンピューティングデバイスに動作を実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体を開示する。この動作は、赤外線成分及び可視光成分を含む画像を受信することを含む。除染を行い、除染された赤外線成分と、除染された可視光成分と、を生成する。除染された可視光成分に対して補間処理を実行して、補間された可視光成分を生成し、さらなる処理のために、除染された赤外線成分と、除染され補間された可視光成分と、を画像信号プロセッサ（ＩＳＰ）に提供する。図１は、１つ以上の開示された実施形態を実施可能な例示的なシステム１００のブロック図である。例示的なシステム１００は、画像をキャプチャするためのレンズ１２３を少なくとも含む撮像デバイス（例えば、カメラ）１１０を備える。例として、図１に示す画像は、人物である。レンズ１２３によってキャプチャされる画像は、可視（ＲＧＢ）光及びＩＲ光の両方を含む。他の種類の光をレンズ１２３によってキャプチャすることができるが、例示するために、可視光及びＩＲについて本明細書で説明することに留意されたい。
【００１０】
図２Ａは、本開示の１つ以上の特徴を実施可能な図１に示す例示的な１つのデバイス１１０のブロック図である。図２に関するシーム検出（seam finding）の実施についてのさらなる詳細を、以下により詳細に説明する。デバイス１１０を撮像デバイス（例えば、カメラ）として説明しているが、デバイス１１０は、例えば、コンピュータ、ゲームデバイス、ハンドヘルドデバイス、セットトップボックス、テレビ、携帯電話又はタブレットコンピュータを含むことができることに留意されたい。本明細書における例示のために、例示的なデバイス１１０を撮像デバイス（例えば、カメラ）１１０として説明する。
【００１１】
したがって、デバイス１１０は、プロセッサ１０２と、メモリ１０４と、ストレージ１０６と、１つ以上の入力デバイス１０８と、カメラモジュール１１１と、１つ以上の出力デバイス１１９と、を含む。また、デバイス１１０は、入力ドライバ１１２及び出力ドライバ１１４をオプションで含むことができる。デバイス１１０は、図２Ａに示されていない追加のコンポーネントを含んでもよいことを理解されたい。
【００１２】
カメラモジュール１１１は、上述したレンズ１２３と、フィルタ１２４と、センサ１２５と、を含む。フィルタ１２４及びセンサ１２５は、以下により詳細に説明する、ＲＧＢ及びＩＲ光帯域のフィルタリングとＲＧＢＩＲパターンの生成とを実行するＲＧＢＩＲフィルタ／センサのペアである。
【００１３】
様々な代替例では、プロセッサ１０２は、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、同じダイ上に配置されたＣＰＵ及びＧＰＵ、又は、１つ以上のプロセッサコアを含み、各プロセッサコアは、ＣＰＵ又はＧＰＵであってもよい。様々な代替例では、メモリ１０４は、プロセッサ１０２と同じダイ上に配置されるか、プロセッサ１０２とは別に配置される。メモリ１０４は、揮発性又は不揮発性のメモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ又はキャッシュ等）を含む。以下により詳細に説明するＲＧＢＩＲ／ベイヤー画像信号処理を実行するために、従来の画像信号プロセッサ（ＩＳＰ）をプロセッサ１０２に含めることができる。或いは、ＩＳＰを、ＡＰＤ１１６内に、又は、別の処理ユニット（図示省略）として含むことができる。すなわち、従来のＩＳＰの位置を具体的に示していないが、プロセッサ１０２又はＡＰＤ１１６とは別に存在してもよいし、プロセッサ１０２又はＡＰＤ１１６内に統合されてもよい。ストレージ１０６は、固定又はリムーバブルストレージ（例えば、ハードディスクドライブ、ソリッドステートドライブ、光ディスク又はフラッシュドライブ等）を含む。入力デバイス１０８は、キーボード、キーパッド、タッチスクリーン、タッチパッド、検出器、マイクロフォン、加速度計、ジャイロスコープ、バイオメトリックスキャナ、又は、ネットワーク接続（例えば、無線ＩＥＥＥ８０２信号の送信及び／若しくは受信のための無線ローカルエリアネットワークカード）を含むが、これらに限定されない。出力デバイス１１９は、ディスプレイ、スピーカ、プリンタ、触覚フィードバックデバイス、１つ以上のライト、アンテナ、又は、ネットワーク接続（例えば、無線ＩＥＥＥ８０２信号の送信及び／若しくは受信のための無線ローカルエリアネットワークカード）を含むが、これらに限定されない。
【００１４】
入力ドライバ１１２は、プロセッサ１０２、入力デバイス１０８及びレンズ１１１と通信し、プロセッサ１０２が入力デバイス１０８及びレンズ１１１からの入力を受信することを可能にする。出力ドライバ１１４は、プロセッサ１０２及び出力デバイス１１０と通信し、プロセッサ１０２が出力を出力デバイス１１９に送信することを可能にする。入力ドライバ１１２及び出力ドライバ１１４がオプションのコンポーネントであることと、入力ドライバ１１２及び出力ドライバ１１４が存在しない場合にはデバイス１１０が同様に動作することと、に留意されたい。出力ドライバ１１４は、ディスプレイデバイス１１８に接続されたアクセラレーテッド処理デバイス（ＡＰＤ）１１６を含む。ＡＰＤは、計算コマンド及びグラフィックスレンダリングコマンドをプロセッサ１０２から受信し、これらの計算コマンド及びグラフィックスレンダリングコマンドを処理し、表示のために画素出力をディスプレイデバイス１１８に提供するように構成されている。以下により詳細に説明するように、ＡＰＤ１１６は、単一命令複数データ（ＳＩＭＤ）パラダイムに従って計算を実行するように構成された１つ以上の並列処理ユニットを含む。したがって、本明細書では、様々な機能が、ＡＰＤ１１６によって又はＡＰＤ１１６と連動して実行されるものとして説明しているが、様々な代替例では、ＡＰＤ１１６によって実行されるものとして説明する機能は、ホストプロセッサ（例えば、プロセッサ１０２）によって駆動されず、グラフィック出力をディスプレイデバイス１１８に提供するように構成された同様の機能を有する他のコンピューティングデバイスによって、追加的又は代替的に実行される。例えば、ＳＩＭＤパラダイムに従って処理タスクを実行する任意の処理システムが、本明細書で説明する機能を実行するように構成されてもよいことが考えられる。或いは、ＳＩＭＤパラダイムに従って処理タスクを実行しないコンピューティングシステムが、本明細書で説明する機能を実行することが考えられる。また、本明細書で説明する画像信号処理をＡＰＤ１１６で行うことができる。
【００１５】
図２Ｂは、本開示の１つ以上の特徴を実施可能な例示的なシステム２１０のブロック図である。システム２１０は、カメラモジュール１１１を除いて、デバイス１１０と実質的に同様のコンポーネントを含む。システム２１０は、例えば、コンピュータ、ゲームデバイス、ハンドヘルドデバイス、セットトップボックス、テレビ、携帯電話又はタブレットコンピュータを含むことができる。システム２１０は、図１に示すデバイス１１０と通信することができ、制御プログラムをデバイス１１０に提供し、デバイス１１０からデータを受信することができる。
【００１６】
図３は、デバイス１１０及びシステム２１０のブロック図であり、ＡＰＤ１１６での処理タスクの実行に関連するさらなる詳細を示している。例えば、以下に説明する較正、除染及び補間動作は、本明細書で説明する並列ＳＩＭＤパラダイムを適切に利用して実行され得る。プロセッサ１０２は、プロセッサ１０２によって実行される１つ以上の制御論理モジュールをシステムメモリ１０４内に保持する。制御論理モジュールは、オペレーティングシステム１２０と、カーネルモードドライバ１２２と、アプリケーション１２６と、を含む。これらの制御論理モジュールは、プロセッサ１０２及びＡＰＤ１１６の動作の様々な特徴を制御する。例えば、オペレーティングシステム１２０は、ハードウェアと直接通信し、ハードウェアへのインタフェースを、プロセッサ１０２で実行される他のソフトウェアに提供する。カーネルモードドライバ１２２は、ＡＰＤ１１６の様々な機能にアクセスするために、例えば、アプリケーションプログラミングインタフェース（ＡＰＩ）を、プロセッサ１０２で実行されるソフトウェア（例えば、アプリケーション１２６）に提供することによって、ＡＰＤ１１６の動作を制御する。また、カーネルモードドライバ１２２は、ＡＰＤ１１６の処理コンポーネント（以下により詳細に説明するＳＩＭＤユニット１３８等）によって実行されるプログラムをコンパイルするジャストインタイムコンパイラを含む。
【００１７】
ＡＰＤ１１６は、並列処理に適したグラフィックス操作及び非グラフィックス操作等の選択された機能に関するコマンド及びプログラムを実行する。ＡＰＤ１１６は、例えば、画素操作、幾何学計算等のグラフィックスパイプライン操作を実行し、プロセッサ１０２から受信したコマンドに基づいて画像をディスプレイデバイス１１８にレンダリングするために使用することができる。また、ＡＰＤ１１６は、プロセッサ１０２から受信したコマンドに基づいて、ビデオ、物理シミュレーション、計算流体力学又は他のタスクに関連する操作等のように、グラフィックス操作に直接関係しない計算処理操作を実行する。
【００１８】
ＡＰＤ１１６は、ＳＩＭＤパラダイムに従って、プロセッサ１０２の要求に応じて並列に動作を実行するように構成された１つ以上のＳＩＭＤユニット１３８を含む計算ユニット１３２を含む。ＳＩＭＤパラダイムは、複数の処理要素が単一のプログラム制御フローユニット及びプログラムカウンタを共有し、これにより、同じプログラムを実行するが、異なるデータで当該プログラムを実行することができるものである。一例では、各ＳＩＭＤユニット１３８は、１６のレーンを含み、各レーンは、ＳＩＭＤユニット１３８内の他のレーンと同じ命令を同時に実行するが、異なるデータで当該命令を実行することができる。全てのレーンが所定の命令を実行する必要がない場合、予測によってレーンをオフにすることができる。予測を使用して、分岐する制御フローを有するプログラムを実行するために使用することもできる。具体的には、制御フローが個々のレーンによって実行される計算に基づく条件分岐又は他の命令を有するプログラムの場合、現在実行されていない制御フローパスに対応するレーンの予測、及び、異なる制御フローパスの連続実行によって、任意の制御フローが可能になる。
【００１９】
計算ユニット１３２での実行の基本単位は、ワークアイテムである。各ワークアイテムは、特定のレーンで並列に実行されるプログラムの単一のインスタンス化を表す。ワークアイテムを、単一のＳＩＭＤユニット１３８上で「ウェーブフロント」として同時に実行することができる。１つ以上のウェーブフロントが、同じプログラムを実行するように指定されたワークアイテムの集合を含む「ワークグループ」に含まれる。ワークグループを構成するウェーブフロントの各々を実行することによって、ワークグループを実行することができる。代替的に、ウェーブフロントは、単一のＳＩＭＤユニット１３８上で連続的に、又は、異なるＳＩＭＤユニット１３８上で部分的若しくは完全に並列に実行される。ウェーブフロントは、単一のＳＩＭＤユニット１３８で同時に実行可能なワークアイテムの最大の集合と考えることができる。したがって、プロセッサ１０２から受信したコマンドが、特定のプログラムが単一のＳＩＭＤユニット１３８で同時に実行できない程度に並列化されることを示す場合、当該プログラムは、２つ以上のＳＩＭＤユニット１３８で並列化されるか、同じＳＩＭＤユニット１３８で直列化される（又は、必要に応じて並列化及び直列化される）ウェーブフロントに分割される。スケジューラ１３６は、異なる計算ユニット１３２及びＳＩＭＤユニット１３８上の様々なウェーブフロントのスケジューリングに関する動作を実行するように構成されている。
【００２０】
計算ユニット１３２によって提供される並列性は、ピクセル値計算、頂点変換及び他のグラフィックス操作等のグラフィックス関連操作に適している。したがって、ある場合には、プロセッサ１０２からグラフィックス処理コマンドを受信するグラフィックスパイプライン１３４は、並列に実行するために計算タスクを計算ユニット１３２に提供する。
【００２１】
また、計算ユニット１３２は、グラフィックスに関係しない計算タスク、又は、グラフィックスパイプライン１３４の「通常の」操作の一部として実行されない計算タスク（例えば、グラフィックスパイプライン１３４の操作に関して実行される処理を補足するために実行されるカスタム操作）を実行するために使用される。プロセッサ１０２上で実行されるアプリケーション１２６又は他のソフトウェアは、このような計算タスクを定義するプログラムを、実行のためにＡＰＤ１１６に送信する。例えば、本明細書で説明する方法（例えば、後述する除染及び補間）は、命令を、実行のためにＡＰＤ１１６の計算ユニット１３２に送信することによって実行することができる。
【００２２】
図４は、カメラ内で処理を実行する例示的な方法４００のフロー図である。ステップ４１０において、ＲＧＢ成分及びＩＲ成分を含む撮像画像（例えば、カメラ１１０によってキャプチャされる）に対してブラックレベル補正（ＢＬＣ）を行う。ＢＬＣは、入力ＲＧＢＩＲ画像内のブラックレベルを除去するための従来のプロセスである。ステップ４１０においてＢＬＣが実行されると、受信したＲＧＢＩＲ画像に対して欠陥画素補正（ＤＰＣ）が実行される（ステップ４２０）。ＤＰＣ操作は、画素を周囲の画素と比較する従来の操作であり、画素と周囲の画素との間の差異が所定の閾値を超えるか、別の所定の閾値を下回る場合に、（例えば、周囲の画素の平均値から導かれる画素を用いて）画素を置換する。これらの従来の操作（例えば、ステップ４１０，４２０）を、上述したプロセッサ１０２又はＡＰＤ１１６によって実行することができる。
【００２３】
次に、除染が行われ（ステップ４３０）、可視光成分からＩＲ光エネルギーが除去され、赤外線成分からＲＧＢ光エネルギーが除去される。除染操作は、プロセッサ１０２又はＡＰＤ１１６によって実行することができる。例えば、ＲＧＢＩＲ画像は、メモリ（例えば、メモリ１０４）に転送される。その後、画像がプロセッサ（例えば、プロセッサ１０２又はＡＰＤ１１６）にフィードバックされ、出力用の静止画像又はビデオの生成のために除染される。除染画像は、別の可視光成分及び赤外線成分を含む。除染を、以下によってモデル化することができる。観測された信号レベルに対してベクトルＩ＝［Ｒ，Ｇ，Ｂ，ＩＲ］Ｔを取得し、理想的な非汚染値に対してベクトルＩ’
【数１】
2021502733.tif 000003
を取得する。式中、Ｔは、行列の転置であり、Ｒ、Ｇ、Ｂ及びＩＲは、ＲＧＢＩＲセンサからの観測値であり、サーカムフレックス付きのＲ、サーカムフレックス付きのＧ、サーカムフレックス付きのＢ及びサーカムフレックス付きのＩＲは、理想的な非汚染値である。観測値と理想的な非汚染値との関係は、例えば、較正操作（後述する）を使用して事前に特徴付けることができ、観測値と理想的な非汚染値との関係を説明する行列Ａを生成するのに使用することができる。したがって、汚染モデルを、以下の式に従って記述することができる。
【数２】
2021502733.tif 000004
【００２４】
上述したように、汚染除去の前に較正プロセスを実行して、非汚染値に基づいて、受信した信号内にどの程度の汚染が存在するかを定義する汚染係数（例えば、汚染行列Ａ）を決定することができる。この較正は、狭帯域スペクトル光（赤、緑、青又はＮＩＲ）でバックライトを当てたディフューザ（diffusor）である１つの均一なテストチャートを生成し、このテストチャート上でＲＧＢＩＲカメラ（例えば、画像デバイス１１０）を用いて一連の生画像をキャプチャすることによって行うことができる。生成された生データを使用して、チャネル（例えば、Ｒ／Ｇ／Ｂ／ＩＲ）毎の汚染係数を計算し、画素位置毎に行列Ａを形成することができる。
【００２５】
したがって、行列Ａは、観測され汚染された信号レベルに達するために理想的な非汚染値に適用される汚染を表す汚染行列である。次に、除染行列が汚染逆行列として計算される。すなわち、
【数３】
2021502733.tif 000005
式中、Ａ−１は、汚染逆行列Ａ（すなわち、除染行列）である。
【００２６】
除染行列を決定すると、行列内の成分の値を利用して、不要な汚染（例えば、ＲＧＢ又ははＩＲエネルギー）を画像から除去し、除染された可視光成分及び除染された赤外線成分を生成することができる。しかしながら、除染ステップは、除染画像から一部のエネルギーを除去し、ある程度のレベルの歪み成分を生成する可能性があるので、エネルギー損失を考慮して、得られた成分に対して調整を行うことができる。したがって、ステップ４３０において除染されると、ステップ４４０でＩＲ調整を行い、ステップ４５０でＲＧＢ調整を行う。ＩＲ調整（ステップ４４０）は、赤外線成分に対して実行される。ここでも、調整操作（例えば、ステップ４４０，４５０）を、プロセッサ１０２又はＡＰＤ１１６によって実行することができる。すなわち、例えば、８ビットの画素は、０〜２５５の間の値を有する。ハイライト領域、すなわち飽和領域では、値が、通常、上限２５５に近づくので、このような領域における除染によるエネルギー除去は、ハイライト輪郭（すなわち、不連続）パターンをもたらす。この影響に対抗するために、観測されたＩＲ画像は、所定の閾値と比較され、値が所定の閾値よりも大きい場合、除染の強度は、不連続性が生じないように、上限２５５に向かって徐々に低下する。すなわち、より少ない除染が行われてもよいし、全く行われなくてもよい。レンダリングされる視覚効果に応じて、閾値を、必要に応じて（例えば、プログラマによって）増加又は減少させることができる。
【００２７】
ステップ４５０において、除染されたＲＧＢ成分を（例えば、プロセッサ１０２又はＡＰＤ１１６によって）調整する。すなわち、ＲＧＢＩＲ画像からＩＲエネルギーを除去すると、画像内に暗い領域が残る。大きい割合の除去されるＩＲエネルギーを画像が含む場合、暗い領域が生じるＲＧＢ成分に非常に顕著な差異をもたらすことがある。したがって、出力された除染ＲＧＢ画像を所定の閾値と比較し、その値が所定の閾値未満である場合、除染されていないＲＧＢ画像の一部が出力ＲＧＢ成分に戻され、当該部分の除染強度が低下する。この閾値は、レンダリングされる視覚効果に従って増減することもできる。一方、ＲＧＢ画像内のハイライト領域又は飽和領域では、観測されたＲＧＢ値が飽和していると、ＩＲ汚染による追加エネルギーを除去して正しい色を得るための除染値の推定が困難になる可能性があることから、除染機能が全く実行されない。つまり、このような領域を除染すると、偽色が発生する可能性がある。
【００２８】
除染及び調整ステップが実行されると（ステップ４３０，４５０）、プロセッサ１０２又はＡＰＤ１１６によって、調整されたＲＧＢ成分に対して補間が実行され（ステップ４６０）、従来のＩＳＰによる従来の処理のために成分が準備される。補間中、除去された画像のＩＲ成分が、可視光成分（例えば、Ｒ、Ｇ、Ｂ成分）に置換される。図５Ａは、例示的なＲＧＢＩＲパターン５００を示している。パターン５００に示すように、４つの２×２ＲＧＢＩＲパターンがあり、各グループは、Ｂ、Ｇ、ＩＲ、Ｒ成分のグループを含む。１つのグループを左上四半部（quadrant）に示し、１つのグループを右上四半部に示し、１つのグループを左下四半部に示し、１つのグループを右下四半部に示している。ステップ４６０の補間中に、除染中に除去された各ＩＲ成分がＧ成分に置換される。したがって、図５Ｂは、ＩＲ汚染を除去した例示的な補間ベイヤーパターン５００Ｂを示している。次に、除染され調整されたＩＲ画像と、除染され調整され補間されたＲＧＢ画像と、の両方が、さらなる従来の処理のために従来のＩＳＰに提供される。
【００２９】
したがって、図５Ｂに示すように、ＩＲ成分が除去された各四半部内にＧ成分が存在する。しかしながら、例示的な２×２のベイヤーパターンは、４つの可能なレイアウト、「ＲＧＧＢ」、「ＢＧＧＲ」、「ＧＲＢＧ」又は「ＧＢＲＧ」を含み得ることに留意されたい。図５Ｂに示す例示的なＢＧＧＲレイアウトは、図５Ａのレイアウトから補間するレイアウトの一例である。
【００３０】
提供される方法は、汎用コンピュータ、プロセッ又はプロセッサコアで実施することができる。適切なプロセッサは、一例として、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、グラフィックスプロセッサ、ＤＳＰコアに関連する１つ以上のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、他のタイプの集積回路（ＩＣ）、及び／又は、ステートマシンを含む。このようなプロセッサは、処理されるハードウェア記述言語（ＨＤＬ）命令及びネットリストを含む他の中間データ（このような命令はコンピュータ可読媒体に記憶可能である）の結果を用いて製造プロセスを構成することによって製造されてもよい。このような処理の結果は、実施形態の態様を実施するプロセッサを製造するために半導体製造プロセスにおいて使用されるマスクワークであってもよい。例えば、上記の方法は、通常のＲＧＢ及びＩＲ画像を計算するために、システムオンチップ（ＳｏＣ）のハードウェア実装において、又は、ＧＰＵのプログラミングにおいて実施することができる。
【００３１】
本明細書で提供される方法又はフローチャートは、汎用コンピュータ若しくはプロセッサによる実行のために非一時的なコンピュータ可読記憶媒体に組み込まれたコンピュータプログラム、ソフトウェア、ファームウェアにおいて実装されてもよい。非一時的なコンピュータ可読記憶媒体の例には、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスク及びリムーバブルディスク等の磁気媒体、光磁気媒体、光学媒体（ＣＤ−ＲＯＭディスク等）、デジタル多用途ディスク（ＤＶＤ）等が含まれる。
【図１】
2021502733.tif 000006
【図２Ａ】
2021502733.tif 000007
【図２Ｂ】
2021502733.tif 000008
【図３】
2021502733.tif 000009
【図４】
2021502733.tif 000010
【図５Ａ】
2021502733.tif 000011
【図５Ｂ】
2021502733.tif 000012
【国際調査報告】
2021502733.tif 000013
2021502733.tif 000014