(57)【特許請求の範囲】
【請求項１】
画素と呼ばれる感光素子の配列からなるセンサと、前記センサを覆い、対応する画素とそれぞれ関連付けられた基本フィルタの配列と、処理手段とを備える、画像取得装置であって、
前記基本フィルタの配列が、原色を１つだけ透過させる原色フィルタと、パンクロフィルタと呼ばれる可視スペクトル全体を透過させるフィルタと、近赤外線を透過させる赤外線フィルタとを備え、前記パンクロフィルタが前記基本フィルタの少なくとも５０％を占め、
前記処理手段は、
少なくとも１つのセンサ区画が低照度条件下にあるか高照度条件下にあるかを判定するために、一組のパンクロ画素に対する平均輝度を計算し、
前記センサ区画が低照度条件下にある場合、前記パンクロ画素を使用して前記センサ区画のモノクロ画像を形成し、
前記センサ区画が高照度条件下にある場合、原色画素を使用して前記センサ区画のカラー画像を形成し、赤外線画素から取得される赤外線画像を前記センサ区画から減算するように、
設計されることを特徴とする、画像取得装置。
【請求項２】
前記センサ区画の前記モノクロ画像が、前記センサ区画の一部分を形成するパンクロ画素の補間によって取得されることを特徴とする、請求項１に記載の画像取得装置。
【請求項３】
前記センサ区画の前記カラー画像が、前記センサ区画の原色画像同士の結合によって取得され、１つの原色画像は、前記センサ区画の原色画素の補間によって取得されることを特徴とする、請求項１に記載の画像取得装置。
【請求項４】
前記センサ区画の前記赤外線画像が、前記センサ区画の赤外線画素の補間によって取得されることを特徴とする、請求項１に記載の画像取得装置。
【請求項５】
前記パンクロフィルタが、前記基本フィルタの少なくとも７５％を占めることを特徴とする、請求項１から４のいずれか一項に記載の画像取得装置。
【請求項６】
前記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
0006492055.tif 000016
ここで、Ｒ，Ｇ，Ｂはそれぞれレッド、グリーンおよびブルーの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、前記パターンが、Ｒ，Ｇ，Ｂ，ＩＲからなる１組の順列の範囲内で定義されることを特徴とする、請求項５に記載の画像取得装置。
【請求項７】
前記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
0006492055.tif 000017
ここで、Ｙｅ，Ｍａ，Ｃｙはそれぞれイエロー、マゼンタおよびシアンの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、前記パターンが、Ｙｅ，Ｍａ，Ｃｙ，ＩＲからなる１組の順列の範囲内で定義されることを特徴とする、請求項５に記載の画像取得装置。
【請求項８】
前記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
0006492055.tif 000018
ここで、Ｒ，Ｇ，Ｂはそれぞれレッド、グリーンおよびブルーの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、前記パターンが、Ｒ，Ｇ，Ｂ，ＩＲからなる１組の順列の範囲内で定義されることを特徴とする、請求項１から４のいずれか一項に記載の画像取得装置。
【請求項９】
前記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
0006492055.tif 000019
ここで、Ｙｅ，Ｍａ，Ｃｙはそれぞれイエロー、マゼンタおよびシアンの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、前記パターンが、Ｙｅ，Ｍａ，Ｃｙ，ＩＲからなる１組の順列の範囲内で定義されることを特徴とする、請求項１から４のいずれか一項に記載の画像取得装置。
【請求項１０】
前記処理手段が、前記センサ区画内にある全てのパンクロ画素に対する平均輝度が第１の閾値より低い場合、前記センサ区画が低照度を有すると判定し、前記センサ区画内にある全てのパンクロ画素に対する平均輝度が第２の閾値より高い場合、前記センサ区画が高照度を有すると判定し、前記第２の閾値が前記第１の閾値より大きいことを特徴とする、請求項１から９のいずれか一項に記載の画像取得装置。
【請求項１１】
前記センサ区画内にある全てのパンクロ画素に対する平均輝度が前記第１の閾値と前記第２の閾値の間にある場合、前記処理手段が、前記センサ区画の前記モノクロ画像と前記カラー画像の結合を行うことを特徴とする、請求項１０に記載の画像取得装置。
【請求項１２】
前記センサ区画がセンサ全体であり、前記処理手段が、前記センサが低照度条件下にあるか高照度条件下にあるかを判定することを特徴とする、請求項１から１１のいずれか一項に記載の画像取得装置。
【請求項１３】
前記センサ区画の前記モノクロ画像が、均一領域にセグメント化され、前記処理手段が、前記センサの各均一領域に対して別々に動作することを特徴とする、請求項１から１１のいずれか一項に記載の画像取得装置。
【請求項１４】
一つのセンサ区画が低照度条件下にある場合、そのセンサ区画の一部分を形成する赤外線画素の強度が所定のＩＲ閾値より高いかどうかを判定するためにテストが実行され、前記赤外線画素の強度が前記所定のＩＲ閾値より高い場合、疑似カラーで表された赤外線画素が、そのセンサ区画の前記モノクロ画像と重ねられることを特徴とする、請求項１から１３のいずれか一項に記載の画像取得装置。
【請求項１５】
一つのセンサ区画が低照度条件下にある場合、このセンサ区画内で、赤外線スペクトルが均一な強度を有する下位区画が識別され、こうして識別された下位区画ごとに、その下位区画における赤外線の平均強度が所定のＩＲ閾値より高いかどうかが判定され、前記赤外線の平均強度が前記所定のＩＲ閾値より高い場合、前記下位区画が、その下位区画内の赤外線画素に基づいた疑似カラー画像によって表され、次に前記下位区画の前記疑似カラー画像が、その疑似カラー画像が一部分を形成する前記センサ区画の前記モノクロ画像と重ねられて表示されることを特徴とする、請求項１から１３のいずれか一項に記載の画像取得装置。
【請求項１６】
前記下位区画の前記疑似カラー画像が、その下位区画の一部分を形成する前記赤外線画素の補間によって取得されることを特徴とする、請求項１５に記載の画像取得装置。
【請求項１７】
前記赤外線フィルタが、７００ｎｍ〜１１００ｎｍの帯域を透過させることを特徴とする、請求項１から１６のいずれか一項に記載の画像取得装置。
【請求項１８】
前記赤外線フィルタが、７００ｎｍ〜１７００ｎｍの帯域を透過させることを特徴とする、請求項１から１６のいずれか一項に記載の画像取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像取得装置の分野に関し、特に、カラー配列フィルタを使用する装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラやビデオカメラなどの大部分の画像取得装置は、画素とも呼ばれる基本感光センサの配列からなるセンサ（ＣＣＤまたはＣＭＯＳ）を使用する。カラー情報が、画素の配列上に配された基本カラーフィルタ配列（ＣＦＡ）を介して取得される。その配置は、各画素がカラーフィルタ配列のうちの１つの基本フィルタで覆われようになっている。基本フィルタは可視スペクトルの一部分のみを通過させる。
【０００３】
カラーフィルタ配列に関して、また、別々の画素で受けた信号から画像を再構成する技術に関して、膨大な研究が行われた。
【０００４】
現在使用されている最も普及したカラーフィルタ配列が特許文献１に開示され、図１に示されている。
【０００５】
ベイヤー配列と呼ばれるこの配列は、４つの基本フィルタからなる以下のパターンの周期的反復によって得られる。すなわち、
0006492055.tif 000002
ここで、Ｇはグリーンのみを通過させるフィルタ、Ｒはレッドのみを通過させるフィルタ、Ｂはブルーのみを通過させるフィルタである。基本Ｇ，Ｒ，Ｂフィルタの下に位置する画素は、それぞれグリーンフィルタ、レッドフィルタ、ブルーフィルタと呼ばれる。ベイヤー配列は、グリーン画素５０％、レッド画素２５％、ブルー画素２５％から構成されることがわかる。
【０００６】
センサ内の個別の画素が受け取る強度からカラー画像を再構成することからなる操作は、デモザイキングと呼ばれる。このデモザイキング操作は、例えば非特許文献１などの文献で精力的に研究されている。
【０００７】
低照度条件下におけるセンサの感度を向上させるために、他のカラーフィルタ配列が開示されている。こういった配列の大部分は、白画素と呼ばれる追加の画素を使用する。白画素は透明画素、ニュートラル画素、またはパンクロ画素とも呼ばれる。この白画素は、色信号に加えて輝度信号を取得するために使用されうる。このような配列の例が、特許文献２に示されている。
【０００８】
低照度条件下で良好な感度を得るためにしばしば使用されるフィルタ配列が、以下の基礎パターンで生成されるいわゆるコダック（Ｋｏｄａｋ、登録商標）配列である。
0006492055.tif 000003
ここで、要素Ｒ，Ｇ，Ｂは上記と同じ意味を有し、Ｗは白画素、つまり色のフィルタリングが無いことを表す。このフィルタ配列が図２に示されている。
【０００９】
低照度条件下でのセンサの感度をさらに向上させるための第１の単純な解決策は、近赤外線におけるセンサ応答を利用することである。しかしながら、大部分の画像取得装置は、ＣＣＤまたはＣＭＯＳセンサからの出力雑音を低減するために、入力のところに赤外線カットオフ・フィルタを備える。第１に、現在しばしば使用されている基本センサはシリコンでできており、その結果近赤外線を感知しやすく、第２に、個別の画素の前面に配置された基本カラーフィルタでは、スペクトルの赤外線部分を効率的に遮断できない。
【００１０】
特許文献３は、カラー画素に加えての赤外線画素の使用を開示している。昼間視にカラー画素が使用され、夜間視に赤外線画素が使用される。したがって、この場合、センサは赤外線入力フィルタで保護できない。その結果、センサが昼間視で動作しているときに、雑音が大きくなる。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】米国特許第３９７１０６５号
【特許文献２】国際公開出願第２００７／０８９４１６号
【特許文献３】日本国特開２０１０−０６２６０４号
【非特許文献】
【００１２】
【非特許文献１】ディー．アリソン（D. Alleyson）他、「周波数選択デモザイキング：レビューと見通し（Frequency selection demosaicking: a review and a look-ahead）」、 IS&T／SPIE VCIP会報、カルフォルニア州サンノゼ、２００８年１月
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明の目的は、良好な信号対雑音比で昼間視と夜間視で機能できる画像取得システムを開示することである。
【課題を解決するための手段】
【００１４】
本発明は、画素と呼ばれる感光素子の配列からなるセンサと、上記センサを覆う、対応する画素とそれぞれ関連付けられた基本フィルタの配列と、処理手段とを備える、画像取得装置によって定義される。上記装置は、
上記基本フィルタ配列が、原色を１つだけ透過させる原色フィルタと、パンクロフィルタと呼ばれる可視スペクトル全体を透過させるフィルタと、近赤外線を透過させる赤外線フィルタとを備え、上記パンクロフィルタが上記基本フィルタの少なくとも５０％を占め、
処理手段は、
少なくとも１つのセンサ区画が低照度条件下にあるか高照度条件下にあるかを判定するために、パンクロ画素一式に対する平均輝度を計算し、
上記センサ区画が低照度条件下にある場合、上記パンクロ画素を使用して上記区画のモノクロ画像を形成し、
上記センサ区画が高照度条件下にある場合、原色画素を使用して上記センサ区画のカラー画像を形成し、赤外線画素から取得される赤外線画像を上記センサ区画から減算するように、設計されることを特徴とする。
【００１５】
有利には、上記センサ区画の上記モノクロ画像が、上記センサ区画の一部分を形成するパンクロ画素の補間によって取得される。
【００１６】
同様に、上記センサ区画の上記カラー画像が、上記センサ区画の原色画像同士の結合によって取得され、１つの原色画像は、上記センサ区画の原色画素の補間によって取得される。
【００１７】
最後に、上記センサ区画の上記赤外線画像が、上記センサ区画の赤外線画素の補間によって取得されうる。
【００１８】
有利には、パンクロフィルタが、上記基本フィルタの少なくとも７５％を占める。
【００１９】
有利な一実施形態によると、上記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
0006492055.tif 000004
ここで、Ｒ，Ｇ，Ｂはそれぞれレッド、グリーンおよびブルーの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、上記パターンが、Ｒ，Ｇ，Ｂ，ＩＲからなる１組の順列の範囲内で定義される。
【００２０】
第２の有利な実施形態によると、上記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
0006492055.tif 000005
ここで、Ｙｅ，Ｍａ，Ｃｙはそれぞれイエロー、マゼンタおよびシアンの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、上記パターンが、Ｙｅ，Ｍａ，Ｃｙ，ＩＲからなる１組の順列の範囲内で定義される。
【００２１】
第３の有利な実施形態によると、上記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
0006492055.tif 000006
ここで、Ｒ，Ｇ，Ｂはそれぞれレッド、グリーンおよびブルーの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、上記パターンが、Ｒ，Ｇ，Ｂ，ＩＲからなる１組の順列の範囲内で定義される。
【００２２】
第４の有利な実施形態によると、上記基本フィルタの配列が、以下のパターンの２次元の周期的反復によって生成され、
0006492055.tif 000007
ここで、Ｙｅ，Ｍａ，Ｃｙはそれぞれイエロー、マゼンタおよびシアンの透過フィルタを表し、ＩＲは赤外線フィルタ、Ｗはパンクロフィルタであり、上記パターンが、Ｙｅ，Ｍａ，Ｃｙ，ＩＲからなる１組の順列の範囲内で定義される。
【００２３】
好ましくは、上記処理手段が、上記センサ区画内にある全てのパンクロ画素に対する平均輝度が第１の閾値より低い場合、上記センサ区画が低照度を有すると判定し、上記センサ区画内にある全てのパンクロ画素に対する平均輝度が第２の閾値より高い場合、上記センサ区画が高照度を有すると判定し、上記第２の閾値が上記第１の閾値より大きい。
【００２４】
上記センサ区画内にある全てのパンクロ画素に対する平均輝度が上記第１の閾値と上記第２の閾値の間にある場合、上記処理手段が、上記センサ区画の上記モノクロ画像と上記カラー画像の結合を行いうる。
【００２５】
上記センサ区画がセンサ全体であるとき、上記処理手段が、上記センサが低照度条件下にあるか高照度条件下にあるかを判定する。
【００２６】
あるいは、上記センサ区画の上記モノクロ画像が、均一領域にセグメント化され、上記処理手段が、上記センサの各均一な区画に対して別々に動作する。
【００２７】
本発明の他の特徴および利点は、本発明の好ましい実施形態の説明を添付の図を参照して読むと明らかになるであろう。
【図面の簡単な説明】
【００２８】
【図１】現況技術で周知の第１のカラーフィルタ配列の模式図である。
【図２】現況技術で周知の第２のカラーフィルタ配列の模式図である。
【図３】図３Ａは、本発明の第１の例示的実施形態による画像取得装置のためのフィルタ配列例の模式図である。図３Ｂは、本発明の第２の例示的実施形態による画像取得装置のためのフィルタ配列例の模式図である。
【図４】図４Ａは、本発明の第３の例示的実施形態による画像取得装置のためのフィルタ配列例の模式図である。図４Ｂは、本発明の第４の例示的実施形態による画像取得装置のためのフィルタ配列例の模式図である。
【図５】本発明の第１の実施形態による画像取得装置のための画素処理の模式図である。
【図６】本発明の第２の実施形態による画像取得装置のための画素処理の模式図である。
【発明を実施するための形態】
【００２９】
画素とも呼ばれる基本感光センサの配列からなるセンサ（ＣＣＤまたはＣＭＯＳ）とそのセンサを覆う基本フィルタ配列とを備える画像取得装置について、以下で再度検討する。上記基本フィルタはそれぞれ１つの画素と関連付けられる。より正確には、基本フィルタはそれぞれ、関連付けられた画素に対する入射光をフィルタリングする。
【００３０】
配列内の基本フィルタは、３つの異なるタイプすなわちカラーフィルタ、透明（またはパンクロ）フィルタおよび赤外線フィルタからなる透過フィルタである。
【００３１】
カラー基本フィルタは原色一式を通過させ、それによって、可視スペクトル内における全てのカラーの加算または減算合成が可能になる。したがってカラーフィルタは、加算合成の場合、冒頭で定義したＲ，Ｇ，Ｂフィルタであってもよく、あるいは減算合成の場合、Ｙｅ，Ｍａ，Ｃｙフィルタであってもよい。Ｙｅはイエローを通過させ、Ｍａはマゼンタを通過させ、Ｃｙはシアンを通過させる。他の原色ベースも本発明の範囲から逸脱することなしに当業者により予想されうる。
【００３２】
パンクロ基本フィルタは可視スペクトル全体を通過させる。実際には、パンクロ基本フィルタは、配列された単なるステンシルまたは透明フィルタ（可視光において透明）によって形成され得る。この場合、このようなパンクロ基本フィルタの下に位置する画素は、フィルタリングされていない光を受ける。
【００３３】
赤外線基本フィルタは例えば［７００ｎｍ−１７００ｎｍ］帯域、より詳細には［７００ｎｍ−１１００ｎｍ］帯域など、近赤外線のスペクトル帯域のみを通過させる。
【００３４】
基本フィルタは、有利には、周期的に繰り返すパターンの形で、センサの平面内で２つの異なる方向（通常は直交）に沿って配列される。
【００３５】
基本フィルタは、ポリマー材料から形成され得る、あるいはそれ自体周知の形の干渉フィルタであり得る。
【００３６】
好ましくは、配列におけるパンクロ基本フィルタの割合は、５０％以上であり、他の基本フィルタ（カラーフィルタおよび赤外線フィルタ）は、等しい割合で分散配置される。有利には、パンクロ基本フィルタの割合は７５％に等しく、他の基本フィルタのそれぞれの割合は６．２５％である。
【００３７】
図３Ａに、本発明の第１の例示的実施形態による画像取得システムのための基本フィルタの配列が示されている。
【００３８】
基本フィルタごとに１つのセンサ画素が存在する。
【００３９】
この場合、カラー基本フィルタはＲ，Ｇ，Ｂフィルタである。赤外線基本フィルタはＩＲと表され、パンクロフィルタはＷと表される。
【００４０】
なお、基本配列は、以下の４×４基礎パターンの２次元の周期的反復によって生成される。
0006492055.tif 000008
【００４１】
この配列の変形形態が、パターン（７）におけるＲ，Ｇ，Ｂ，ＩＲフィルタの順列によって得られうる。
【００４２】
図３Ｂに、本発明の第２の例示的実施形態による画像取得システムのための基本フィルタの配列が示されている。
【００４３】
この場合、カラー基本フィルタはＹｅ，Ｍａ，Ｃｙフィルタであり、基礎パターンは以下のとおりである。
0006492055.tif 000009
【００４４】
第１の例と同様に、この配列の変形形態は、パターン（８）におけるＹｅ，Ｍａ，Ｃｙ，ＩＲフィルタの順列によって得られうる。
【００４５】
なお、図３Ａおよび３Ｂの例では、この配列におけるパンクロフィルタの割合は７５％、カラーフィルタおよび赤外線フィルタのそれぞれの割合は６．２５％である。
【００４６】
図４Ａに、本発明の第３の例示的実施形態による画像取得システムのための基本フィルタ配列が示されている。
【００４７】
この配列に使用される基本フィルタはＲ，Ｇ，Ｂ，ＩＲフィルタであり、この場合の基礎パターンは以下のとおりである。
0006492055.tif 000010
【００４８】
第１の例と同様に、この配列の変形形態は、パターン（９）におけるＲ，Ｇ，Ｂ，ＩＲフィルタの順列によって得られうる。
【００４９】
図４Ｂに、本発明の第４の例示的実施形態による画像取得システムのための基本フィルタ配列が示されている。
【００５０】
この配列を構成する基本フィルタはＹｅ，Ｍａ，Ｃｙ，ＩＲフィルタであり、基礎パターンは以下のとおりである。
0006492055.tif 000011
【００５１】
第２の例と同様に、この配列の変形形態は、パターン（１０）におけるＹｅ，Ｍａ，Ｃｙ，ＩＲフィルタの順列によって得られうる。
【００５２】
なお、図４Ａおよび４Ｂの例では、この配列におけるパンクロフィルタの割合は５０％のみであり、カラーフィルタおよび赤外線フィルタのそれぞれの割合は１２．５％である。
【００５３】
図５に、本発明の第１の実施形態による画像取得システムにおける画素の処理が模式的に示されている。
【００５４】
以下では、画素に対する操作は、その画素が受ける信号に対する操作であると解釈される。
【００５５】
第１のステップ５１０で、上記装置で取得された画像の平均輝度
0006492055.tif 000012
が、パンクロ画素の平均を計算することによって推定される。
【００５６】
ステップ５２０で、こうして得られた平均が、所定の閾値Ｉｔｈと比較される。平均が上記の閾値を超えている場合、取得装置は昼（または高照度）モードで動作し、そうでなければ夜（低照度）モードで動作する。
【００５７】
取得装置が昼モードで動作している場合、ステップ５３０で、１つの画像を取得するために、Ｒ，Ｇ，ＢまたはＹｅ，Ｍａ，Ｃｙの各原色ごとにカラー画素が補間される。より正確には、上述のように、所与のカラーの画素の割合が比較的小さいので、欠落した画素の値が、配列内に存在する近傍の画素の補間によって取得される。例えば、図３Ａを参照すると、ブルー画素３１０は、欠落しており（その画素がレッド基本フィルタの下に位置しているため）、したがって、４つの隣接するブルー画素３１１、３１２、３１３、３１４の間で補間することによって取得される。
【００５８】
原色画像は、任意選択で、画像鮮鋭化のために処理されうる。例えば、パンクロ画素を補間することによって、モノクロ画像が取得されうる。このモノクロ画像が、おそらくはハイパス・フィルタリング後に、各原色画像と結合されうる。配列におけるパンクロ画素の割合は、カラー画素の割合よりも高く、したがって原色画像の解像度が向上する。
【００５９】
ステップ５４０で、近赤外線の画像が、カラー画素に対して上述した原理と同じ原理を使用して配列内の赤外線画素の間で補間することによって、取得される。
【００６０】
ステップ５５０で、カラー画像を取得するために原色画像が加算され（加算合成の場合）、そこから赤外線画像が画素毎に減算される。より一般的には、カラー画像を取得するために原色画像が結合される。赤外線画像の減算は、信号対雑音比を大幅に向上しうる。必要なら、彩度上の問題が生じるのを防止するために、原色画像を加算する（または、より一般的には原色画像を結合する）前に、その各原色画像から、重み係数（同等または同一の係数）によって重み付けされた赤外線画像が、雑音の無い原色画像を取得するために減算される。その結果取得された画像は表示、またはその後の処理のためにメモリに保存されうる。
【００６１】
ステップ５６０は、夜モード（または低照度下）での操作に対応する。
【００６２】
このモードでは、モノクロ画像がパンクロ画素の補間によって取得される。配列内にはパンクロ画素の大部分が存在するので、高い解像度が得られる。この画像は表示、またはその後の処理のためにメモリに保存されうる。
【００６３】
全ての場合において、ステップ５７０で処理が終了する。
【００６４】
上述の画素の処理は、画像取得装置が昼モードで動作しているか夜モードで動作しているかどうかで非常に異なり、一方のモードからもう一方のモードへの切り替えは、平均輝度と所定の閾値との比較によって行われることが理解できよう。
【００６５】
この実施形態の第１の変形形態によると、一方のモードからもう一方のモードへの切り替えは、切り替え雑音（チャタリング）を回避するために、ヒステリシスを用いて行われる。これを実現するために、第１の輝度閾値が、昼モードから夜モードへの移行のために設定され、第２の輝度閾値が、夜モードから昼モードへの移行のために設定され、第１の閾値は、第２の閾値より小さくなるように選択される。
【００６６】
第１の実施形態の第２の変形形態によると、一方のモードから他方のモードへの切り替えは、移行段階を徐々に通過しながら行われる。したがって、画像取得装置は、平均輝度が第１の閾値より小さい場合、夜モードで動作し、第２の閾値より大きい場合、昼モードで動作し、第２の閾値は、第１の閾値より大きくなるように選択される。平均輝度が第１の閾値と第２の閾値の間にある場合、画像取得装置は、昼モードで処理することによって取得された画像と夜モードで処理することによって取得された画像の線形結合を実行し、重み係数はそれぞれ、平均輝度と第１の閾値との差、第２の閾値との差によって与えられる。
【００６７】
図６に、本発明の第２の実施形態による画像取得装置における画素の処理が模式的に示されている。
【００６８】
第１の実施形態と異なり、昼モード（高照度）と夜モード（低照度）との切り替えは、取得された画像の均一領域に対して作動し、各均一領域が個別に処理される。
【００６９】
ステップ６０３で、モノクロ画像が、パンクロ画素を補間することによって取得される。より正確には、配列内の欠落したパンクロ画素（例えばカラー画素や赤外線画素）ごとに、近傍のパンクロ画素から強度が計算される。
【００７０】
ステップ６０５で、こうして得られたモノクロ画像が、均一領域にセグメント化される。これは、現況技術で知られているスイッチング技術を使用して行われうる。この技術は例えば、エス．トゥリパーティー（S．Tripathi）他、「画像セグメント化:レビュー（Image Segmentation : a review）」コンピュータサイエンスおよびマネジメント研究の国際ジャーナル（International Journal of Computer Science and Management Research）、第１巻、第４号、２０１２年１１月、ｐ．８３８−８４３による記事に記載されているものなどがある。こうして得られた結果は、Ｐ個の均一領域になる。
【００７１】
ステップ６１０で、領域Ｚｐ、ｐ＝１，…，Ｐごとに、
0006492055.tif 000013
と表される平均輝度が計算される。
【００７２】
ステップ６２０で、こうして得られた平均輝度が、所定の閾値値と比較される。平均
0006492055.tif 000014
がその閾値値を超えている場合、領域Ｚｐは高照度であるとみなされる。逆に、平均
0006492055.tif 000015
がその閾値値より小さい場合、領域Ｚｐは低照度とみなされる。
【００７３】
なお、所与の区画に対する低照度と高照度の区別は、パンクロ画素から得られる平均輝度によって決まる。つまり、平均輝度はスペクトル全体に対して得られる。
【００７４】
ステップ６３０で、高照度の領域が処理される。高照度領域ごとに、その領域の画像を取得するために、この区画に属するカラー画素がＲ，Ｇ，ＢまたはＹｅ，Ｍａ，Ｃｙの各原色ごとに補間される。
【００７５】
ステップ６４０で、各高照度領域の近赤外線における画像が、その領域に属する赤外線画素を補間することによって取得される。
【００７６】
ステップ６５０で、高照度領域ごとに原色画像が結合され（加算合成の場合、単純加算）、画素毎に赤外線画像が減算される。こうして得られた結果が、高照度領域ごとのカラー画像を形成するカラー画素になる。
【００７７】
ステップ６６０で、ステップ６０３で取得されたモノクロ画像における高照度領域のパンクロ画素が、ステップ６５０で取得されたカラー画素に置き換えられる。あるいは、パンクロ画素（つまりモノクロ画像における画素）とステップ６５０で取得されたカラー画素の線形結合が、高照度領域に属する画素ごとに行われる。したがって、低照度領域では、モノクロ画像（ステップ６０３で取得される）がカラー画像（６５０で取得される）と重ねられる。
【００７８】
第１の実施形態と同様に、第１の変形形態では、２つの異なる閾値、領域が低照度レベルから高照度レベルに変化する場合に判定するための第１の閾値と、領域が高照度レベルから低照度レベルに変化する場合に判定するための第２の閾値が使用されうる。第１の閾値は第２の閾値より小さい。
【００７９】
第２の変形形態では、やはり、２つの閾値の間に移行段階を使用することが可能なはずである。つまり、第１の閾値より下の領域は、パンクロ画素の補間によるモノクロモードで表され、第２の閾値より上の領域はカラーで表され、２つの閾値の間の領域は、モノクロ画像とカラー画像の線形結合で表されうる。
【００８０】
したがって、非常に良好な信号対雑音比を有しながら、照度条件に関係なく機能できる、画像取得装置が存在することが理解できよう。
【００８１】
第２の実施形態の別の変形形態（図示せず）によると、ステップ６２０で、一区画が低照度を有すると判定された場合、その区画の一部分を形成する赤外線画素の強度が、所定のＩＲ閾値より大きいかどうか判定される。強度がそのＩＲ閾値より大きい赤外線画素は、疑似カラーで表され、この疑似カラーはその区画のモノクロ画像と重ねられる。したがって、低照度区画の下位区画が赤外線域で高い強度を有する場合、その下位区画がその低照度区画のモノクロ画像の中で容易に識別されうる。あるいはやはり、モノクロ表示と疑似カラー表示との切り替え基準が、低照度区画の均一下位区画別に作成されうる。この場合、まず、低照度区画が、ステップ６０３およびステップ６０５に関して述べたのと同じ原理を使用して補間された後に、赤外線画素に基づいてセグメント化される。上記で定義した均一下位区画ごとに、この下位区画における赤外線画素の平均強度が計算され、上述のＩＲ閾値と比較される。この平均がＩＲ閾値より大きい場合、その下位区画は疑似カラーで表され、この疑似カラーはその区画のモノクロ画像に重ねられる。疑似カラーの下位区画の画像は、その下位区画における赤外線画素の補間によって取得される。したがって、この場合、照度は低いが下位区画の赤外線強度が高い区画の画像は、基本カラー画素（ＲＧＢ）または（シアン、マゼンタ、イエロー）を除いた、パンクロ画素（モノクロ部分）と赤外線画素（疑似カラー部分）の結合によって取得されると理解されよう。
【図１】
0006492055.tif 000020
【図２】
0006492055.tif 000021
【図３Ａ】
0006492055.tif 000022
【図３Ｂ】
0006492055.tif 000023
【図４Ａ】
0006492055.tif 000024
【図４Ｂ】
0006492055.tif 000025
【図５】
0006492055.tif 000026
【図６】
0006492055.tif 000027