(57)【要約】  本開示は、不可視光成分を遮断するフィルタを挿抜する機構を有さずに、撮像画像の不可視光成分を制御することができるようにする撮像装置、撮像方法、およびプログラムに関する。輝度合成部は、不可視光成分と可視光成分を含む撮像画像の画素信号の可視光成分の輝度信号と、画素信号を合成する。クロマゲインアンプは、可視光成分の色差信号を減衰させる。本開示は、例えば、可視光と赤外光を透過させる光学フィルタ、および、RGBW配列の画素を有し、撮像画像のベイヤ化処理を行う撮像装置等に適用することができる。
2016136501.tif 000002
【特許請求の範囲】
【請求項１】
不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号を合成する輝度合成部と、
前記可視光成分の色差信号を減衰させる減衰部と
を備える撮像装置。
【請求項２】
前記輝度合成部により前記画像信号が合成された前記輝度信号に対する前記画像信号の割合である混合割合を決定する割合決定部
をさらに備え、
前記輝度合成部は、前記割合決定部により決定された前記混合割合に基づいて、前記輝度信号と前記画像信号を合成する
ように構成された
請求項１に記載の撮像装置。
【請求項３】
前記割合決定部は、前記画像信号と前記可視光成分に基づいて、前記混合割合を決定する
ように構成された
請求項２に記載の撮像装置。
【請求項４】
前記割合決定部は、前記画像信号と前記可視光成分に基づいて前記混合割合の目標値を決定し、前記混合割合の目標値と過去の混合割合の差分を所定値で除算した分だけ、前記過去の混合割合から増加させた値を、前記混合割合に決定する
ように構成された
請求項３に記載の撮像装置。
【請求項５】
前記割合決定部は、前記可視光成分に対する前記画像信号の割合に基づいて、前記混合割合を決定する
ように構成された
請求項３に記載の撮像装置。
【請求項６】
前記割合決定部は、全ての色の前記可視光成分に対する前記画像信号の割合の積算値に基づいて、前記混合割合を決定する
ように構成された
請求項５に記載の撮像装置。
【請求項７】
前記色差信号の減衰割合を決定する割合決定部
をさらに備え、
前記減衰部は、前記割合決定部により決定された前記減衰割合に基づいて、前記色差信号を減衰させる
ように構成された
請求項１に記載の撮像装置。
【請求項８】
前記割合決定部は、前記画像信号と前記可視光成分に基づいて、前記減衰割合を決定する
ように構成された
請求項７に記載の撮像装置。
【請求項９】
前記割合決定部は、前記画像信号と前記可視光成分に基づいて前記減衰割合の目標値を決定し、前記減衰割合の目標値と過去の減衰割合の差分を所定値で除算した分だけ、前記過去の減衰割合から増加させた値を、前記減衰割合に決定する
ように構成された
請求項８に記載の撮像装置。
【請求項１０】
前記割合決定部は、前記可視光成分に対する前記画像信号の割合に基づいて、前記混合割合を決定する
ように構成された
請求項８に記載の撮像装置。
【請求項１１】
前記割合決定部は、全ての色の前記可視光成分に対する前記画像信号の割合の積算値に基づいて、前記混合割合を決定する
ように構成された
請求項１０に記載の撮像装置。
【請求項１２】
撮像装置が、
不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号を合成する輝度合成ステップと、
前記可視光成分の色差信号を減衰させる減衰ステップと
を含む撮像方法。
【請求項１３】
コンピュータを、
不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号を合成する輝度合成部と、
前記可視光成分の色差信号を減衰させる減衰部と
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、撮像方法、およびプログラムに関し、特に、不可視光成分を遮断するフィルタを挿抜する機構を有さずに、撮像画像の不可視光成分を制御することができるようにした撮像装置、撮像方法、およびプログラムに関する。
【背景技術】
【０００２】
イメージセンサは、可視光だけでなく、赤外光に対しても感度を有する。従って、イメージセンサを有するカメラを用いて赤外光が多い光源下で撮影が行われる場合、赤外光の影響により色再現が損なわれる。よって、赤外光を遮断するIR(infrared)カットフィルタ（IRCF）をカメラに設けることで、良好な色再現を実現することが考案されている。【０００３】
しかしながら、監視カメラ等では、夜間の感度を向上させ、視認性を確保することが重要である。従って、IRカットフィルタを挿抜する機構を有し、夜間等にIRカットフィルタを抜くカメラが存在する(例えば、特許文献１参照)。【０００４】
IRカットフィルタを挿抜する機構を有するカメラでは、IRカットフィルタの有無で赤外光成分の透過量が大きく変化する。従って、特に赤外光の投光時、IRカットフィルタが抜かれた瞬間に白とびが発生し、撮像画像の視認性が低下する。【０００５】
また、イメージセンサの露出情報に基づいてIRカットフィルタの挿抜制御を行う場合、IRカットフィルタを抜くときの照度と挿入するときの照度を異なる照度にし、挿抜のハンチングを防止する必要がある。その結果、照度が十分に高くなった場合であっても、IRカットフィルタが挿入されず、白黒画像が撮像画像として出力されたままになることがある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第5100615号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
以上のように、IRカットフィルタなどの不可視光成分を遮断するフィルタを挿抜する機構を有するカメラでは、挿抜時の撮像画像の画質が劣化する。【０００８】
本開示は、このような状況に鑑みてなされたものであり、不可視光成分を遮断するフィルタを挿抜する機構を有さずに、撮像画像の不可視光成分を制御することができるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の一側面の撮像装置は、不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号を合成する輝度合成部と、前記可視光成分の色差信号を減衰させる減衰部とを備える撮像装置である。【００１０】
本開示の一側面の撮像方法およびプログラムは、本開示の一側面の撮像装置に対応する。【００１１】
本開示の一側面においては、不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号が合成され、前記可視光成分の色差信号が減衰させられる。
【発明の効果】
【００１２】
本開示の一側面によれば、撮像することができる。また、本開示の一側面によれば、不可視光成分を遮断するフィルタを挿抜する機構を有さずに、撮像画像の不可視光成分を制御することができる。【００１３】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示を適用した撮像装置を含む撮像システムの第１実施の形態の構成例を示すブロック図である。
【図２】図１の光学フィルタの各波長の光の透過率の例を示す図である。
【図３】ベイヤ化処理の前後の画像の画素配列を説明する図である。
【図４】図１のベイヤ化処理部の構成例を示すブロック図である。
【図５】指標とノイズ量の関係の例を示す図である。
【図６】指標と目標値Ｍｉｘｔａｒｇｅｔの関係の例を示す図である。
【図７】指標と目標値Ａｔｔｔａｒｇｅｔの関係の例を示す図である。
【図８】指標と混合割合の関係の例を示す図である。
【図９】図１の撮像装置のベイヤ化処理を説明するフローチャートである。
【図１０】撮像装置のICチップの第１の構成例を示す図である。
【図１１】撮像装置のICチップの第２の構成例を示す図である。
【図１２】撮像装置のICチップの第３の構成例を示す図である。
【図１３】撮像装置のICチップの第４の構成例を示す図である。
【図１４】RGBW画素配列以外の非ベイヤ配列の例を示す図である。
【図１５】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：撮像システム（図１乃至図１３）
２．非ベイヤ配列の他の例（図１４）
３．第２実施の形態：コンピュータ（図１５）
【００１６】
＜第１実施の形態＞
（撮像装置の第１実施の形態の構成例）
図１は、本開示を適用した撮像装置を含む撮像システムの第１実施の形態の構成例を示すブロック図である。
【００１７】
図１の撮像システム１０は、撮像装置１１とＩＲ投光装置１２により構成される。撮像システム１０では、被写体によって反射された赤外光と可視光に対応する画像が撮像される。
【００１８】
具体的には、撮像装置１１は、レンズ２１、光学フィルタ２２、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５により構成される。
【００１９】
撮像装置１１のレンズ２１には、被写体からの光が入射される。レンズ２１は、入射された光を、光学フィルタ２２を介してイメージセンサ２３に集光させる。光学フィルタ２２は、入射された光のうちの赤外光と可視光を透過させる。なお、光学フィルタ２２は設けられなくてもよい。
【００２０】
イメージセンサ２３は、CMOS（Complementary Metal-Oxide Semiconductor）イメージセンサまたはCCD(Charge Coupled Device)イメージセンサであり、RGBW画素配列の画素を有する。イメージセンサ２３は、画素ごとに、入射された赤外光と、可視光のうちの、その画素に対応する色（赤色（R）、緑色（G）、青色（B）、白色（W））の光とを受光し、受光量に応じた電気信号を画素信号として生成することにより、フレーム単位で撮像を行う。従って、撮像の結果得られる各画素の画素信号には、不可視光成分としての赤外光成分と可視光成分とが含まれる。イメージセンサ２３は、撮像の結果得られる各画素の画素信号を、撮像画像としてベイヤ化処理部２４に供給する。
【００２１】
ベイヤ化処理部２４は、イメージセンサ２３から供給される非ベイヤ配列の撮像画像に対してベイヤ化処理（リモザイク処理）を行い、ベイヤ配列(RGB画素配列)のRGB画像を生成する。ベイヤ化処理部２４は、生成されたベイヤ配列のRGB画像を信号処理部２５に供給する。
【００２２】
信号処理部２５は、ベイヤ化処理部２４から供給されるRGB画像を用いて、緑色の画素の画素信号に基づく露光制御処理、ホワイトバランス制御処理、YCbCr変換処理などの信号処理を現像処理として行う。信号処理部２５は、露光制御処理の結果得られる露光量を表すシャッタゲインをイメージセンサ２３に供給し、撮像画像の露光量を制御する。また、信号処理部２５は、RGB画像に対してホワイトバランス制御処理およびYCbCr変換処理を行った結果得られるYCbCr画像を出力する。
【００２３】
ＩＲ投光装置１２は、例えば、可視光が少ない夜間に、被写体に向けて赤外光を出射する。
【００２４】
（光学フィルタの各波長の光の透過率の例）
図２は、図１の光学フィルタ２２の各波長の光の透過率の例を示す図である。
【００２５】
図２のグラフにおいて、横軸は、光学フィルタ２２を通過する光の波長（nm）を表し、縦軸は、その光の透過率（％）を表す。
【００２６】
図２に示すように、光学フィルタ２２では、波長が約390nm〜660nmである可視光の透過率と、波長が約820nm〜910nmである赤外光の透過率が０％より大きい。従って、光学フィルタ２２では、波長が約390nm〜660nmである可視光と波長が約820nm〜910nmである赤外光が通過する。
【００２７】
（ベイヤ化処理の前後の画像の画素配列の説明）
図３は、図１のベイヤ化処理部２４によるベイヤ化処理の前後の画像の画素配列を説明する図である。
【００２８】
図３のＡに示すように、ベイヤ化処理前の画像、即ちイメージセンサ２３から出力される撮像画像の画素配列は、RGBW画素配列である。また、各画素の画素信号には赤外光（IR）成分が含まれる。
【００２９】
ベイヤ化処理部２４は、このようなベイヤ化処理前の画像に対して、ベイヤ化処理を行うことにより、図３のＢに示すRGB画素配列の画像を、ベイヤ化処理後の画像として生成する。
【００３０】
（ベイヤ化処理部の構成例）
図４は、図１のベイヤ化処理部２４の構成例を示すブロック図である。
【００３１】
ベイヤ化処理部２４は、同時化部４０、分離部４１、ホワイトバランス部４２、レベル補正部４３、ＹＣ変換部４４、輝度合成部４５、クロマゲインアンプ４６、RGB変換部４７、逆ホワイトバランス部４８、ベイヤ化部４９、および割合決定部５０から構成される。ベイヤ化処理部２４は、図１のイメージセンサ２３から供給される撮像画像から赤外光成分を除去し、ベイヤ化処理を行う。
【００３２】
具体的には、ベイヤ化処理部２４の同時化部４０は、イメージセンサ２３の画素の色ごとに、イメージセンサ２３から供給される撮像画像に対して補完処理を行う。同時化部４０は、その結果生成される赤外光成分を含む全画素の各色の同時刻の画素信号Ｗ+ＩＲ，Ｒ+ＩＲ，Ｇ+ＩＲ、およびＢ+ＩＲを分離部４１と割合決定部５０に供給する。また、同時化部４０は、画素信号Ｗ＋ＩＲをレベル補正部４３と輝度合成部４５に供給する。
【００３３】
分離部４１は、同時化部４０から供給される画素信号Ｗ+ＩＲ，Ｒ+ＩＲ，Ｇ+ＩＲ、およびＢ+ＩＲに基づいて、以下の式（１）により、画素信号Ｗ+ＩＲ，Ｒ+ＩＲ，Ｇ+ＩＲ、およびＢ+ＩＲのそれぞれに含まれる赤外光成分と可視光成分を分離する。
【００３４】
【数１】
2016136501.tif 000003
【００３５】
なお、ＩＲは、画素信号Ｗ+ＩＲ，Ｒ+ＩＲ，Ｇ+ＩＲ、およびＢ+ＩＲのそれぞれに含まれる赤外光成分である。また、Ｒ，Ｇ，Ｂは、画素信号Ｒ+ＩＲ，Ｇ+ＩＲ、およびＢ+ＩＲの可視光成分である。
【００３６】
分離部４１は、分離の結果得られる可視光成分Ｒ，Ｇ、およびＢをホワイトバランス部４２に供給し、赤外光成分ＩＲを割合決定部５０に供給する。
【００３７】
ホワイトバランス部４２は、分離部４１から供給される可視光成分Ｒ，Ｇ、およびＢのそれぞれに対して、ホワイトバランスゲインを乗算する。これにより、可視光成分Ｒ，Ｇ、およびＢの比率（ホワイトバランス）が補正される。ホワイトバランス部４２は、補正後の可視光成分Ｒ，Ｇ、およびＢをレベル補正部４３に供給する。
【００３８】
レベル補正部４３は、ホワイトバランス部４２から供給される可視光成分Ｇと、同時化部４０から供給される画素信号Ｗ＋ＩＲとに基づいて、以下の式（２）により、補正ゲインＣＥを算出する。
【００３９】
【数２】
2016136501.tif 000004
【００４０】
なお、Ａｖｅ（Ｗ＋ＩＲ）は、１フレーム分の画素信号Ｗ＋ＩＲの平均値であり、ＡｖｅＧは、１フレーム分の可視光成分Ｇの平均値である。式（２）によれば、可視光成分Ｇを画素信号Ｗ＋ＩＲにするための補正ゲインＣＥが算出される。
【００４１】
レベル補正部４３は、以上のようにして算出された補正ゲインＣＥと、ホワイトバランス部４２からの可視光成分Ｒ，Ｇ、およびＢのそれぞれとを乗算することにより、可視光成分Ｒ，Ｇ、およびＢを補正する。これにより、補正後の可視光成分Ｇは、画素信号Ｗ＋ＩＲと同一になる。その結果、図１の信号処理部２５は、ベイヤ化処理部２４から供給されるRGB画像の緑色の画素の画素信号に基づいて、画素信号Ｗ＋ＩＲが飽和しないように露光制御を行うことができる。レベル補正部４３は、補正後の可視光成分Ｒ，Ｇ、およびＢをＹＣ変換部４４に供給する。
【００４２】
ＹＣ変換部４４は、以下の式（３）により、レベル補正部４３から供給される可視光成分Ｒ，Ｇ、およびＢを、輝度信号Ｙと色差信号ＣｂおよびＣｒとに変換する。ＹＣ変換部４４は、輝度信号Ｙを輝度合成部４５に供給し、色差信号ＣｂおよびＣｒをクロマゲインアンプ４６に供給する。
【００４３】
【数３】
2016136501.tif 000005
【００４４】
輝度合成部４５は、割合決定部５０から、画素信号Ｗ＋ＩＲを合成した後の輝度信号Ｙ´に対する画素信号Ｗ＋ＩＲの割合である混合割合Ｍｉｘ（０≦Ｍｉｘ≦１）を取得する。輝度合成部４５は、混合割合Ｍｉｘに基づいて、以下の式（４）により、ＹＣ変換部４４から供給される輝度信号Ｙと同時化部４０から供給される画素信号Ｗ＋ＩＲを合成する。輝度合成部４５は、合成後の輝度信号Ｙ´をRGB変換部４７に供給する。
【００４５】
【数４】
2016136501.tif 000006
【００４６】
クロマゲインアンプ４６（減衰部）は、割合決定部５０から供給される減衰割合Ａｔｔ（０≦Ａｔｔ≦１）に基づいて、ＹＣ変換部４４から供給される色差信号ＣｂおよびＣｒのそれぞれを減衰させる。即ち、クロマゲインアンプ４６は、色差信号ＣｂおよびＣｒのそれぞれに減衰割合Ａｔｔを乗算する。クロマゲインアンプ４６は、減衰された色差信号ＣｂおよびＣｒをRGB変換部４７に供給する。
【００４７】
RGB変換部４７は、以下の式（５）により、輝度合成部４５から供給される輝度信号Ｙ´並びにクロマゲインアンプ４６から供給される色差信号ＣｂおよびＣｒを、赤色、緑色、青色の画素信号Ｒ´，Ｇ´，Ｂ´に変換し、逆ホワイトバランス部４８に供給する。
【００４８】
【数５】
2016136501.tif 000007
【００４９】
逆ホワイトバランス部４８は、RGB変換部４７から供給される画素信号Ｒ´，Ｇ´，Ｂ´に対して、ホワイトバランス部４２において乗算されたホワイトバランスゲインの逆数を乗算する。これにより、イメージセンサ２３から出力されたベイヤ化処理前の撮像画像の１画面内の赤色、緑色、青色の画素信号の信号レベルの平均値の比と、ベイヤ化処理部２４から出力されるベイヤ化処理後のRGB画像の１画面内の赤色、緑色、青色の画素信号の信号レベルの平均値の比が同一になるように、画素信号Ｒ´，Ｇ´，Ｂ´のホワイトバランスが制御される。逆ホワイトバランス部４８は、ホワイトバランスが制御された画素信号Ｒ´，Ｇ´，Ｂ´をベイヤ化部４９に供給する。
【００５０】
ベイヤ化部４９は、画素ごとに、逆ホワイトバランス部４８から供給される画素信号Ｒ´，Ｇ´、およびＢ´から、ベイヤ配列においてその画素に割り当てられた色の画素信号を抽出する。ベイヤ化部４９は、抽出された各画素の画素信号を、ベイヤ配列のRGB画像として、図１の信号処理部２５に供給する。
【００５１】
割合決定部５０は、以下の式（６）により、各フレームの画素ごとに、全ての色の可視光成分Ｗ，Ｒ，Ｇ、およびＢに対する画素信号Ｗ+ＩＲ，Ｒ+ＩＲ，Ｇ+ＩＲ、およびＢ+ＩＲの割合の積算値ｆ（ＩＲ）を算出する。
【００５２】
【数６】
2016136501.tif 000008
【００５３】
そして、割合決定部５０は、フレーム内の全ての画素の積算値ｆ（ＩＲ）の平均値、イメージセンサ２３のアナログゲインとデジタルゲインの和ＡＧＣ、および補正ゲインＣＥを加算し、赤外光成分ＩＲの量をノイズ量として表す指標Ｎとする。なお、指標Ｎの計算方法は、上述した方法に限定されない。
【００５４】
割合決定部５０は、指標Ｎに基づいて、指標Ｎが多くなるほど大きくなるように、混合割合Ｍｉｘの目標値Ｍｉｘｔａｒｇｅｔを決定する。また、割合決定部５０は、指標Ｎに基づいて、ノイズ量が多くなるほど大きくなるように、減衰割合Ａｔｔの目標値Ａｔｔｔａｒｇｅｔを決定する。
【００５５】
割合決定部５０は、以下の式（７）により、目標値Ｍｉｘｔａｒｇｅｔと現在のフレームより１つ前のフレームの混合割合Ｍｉｘｂｅｆｏｒｅの差分を所定値1/Fで除算した分だけ、混合割合Ｍｉｘｂｅｆｏｒｅから増加させた値を、現在のフレームの混合割合Ｍｉｘに決定する。そして、割合決定部５０は、混合割合Ｍｉｘを輝度合成部４５に供給する。
【００５６】
【数７】
2016136501.tif 000009
【００５７】
なお、Ｆは、ユーザ等により設定される帰還率であり、０より大きく１以下の値である。
【００５８】
また、割合決定部５０は、以下の式（８）により、目標値Ａｔｔｔａｒｇｅｔと現在のフレームより１つ前のフレームの減衰割合Ａｔｔｂｅｆｏｒｅの差分を所定値1/Fで除算した分だけ、減衰割合Ａｔｔｂｅｆｏｒｅから増加させた値を、現在のフレームの減衰割合Ａｔｔに決定する。そして、割合決定部５０は、減衰割合Ａｔｔをクロマゲインアンプ４６に供給する。
【００５９】
【数８】
2016136501.tif 000010
【００６０】
なお、式（７）と式（８）の帰還率Ｆは同一であっても、異なる値であってもよい。また、目標値Ｍｉｘｔａｒｇｅｔと目標値Ａｔｔｔａｒｇｅｔの決定に用いられる情報は、画質を表す指標であれば、指標Ｎに限定されない。
【００６１】
（指標Ｎとノイズ量の関係）
図５は、指標Ｎとノイズ量の関係の例を示す図である。
【００６２】
図５に示すように、指標Ｎは、ノイズ量が多いほど大きくなる。
【００６３】
（指標Ｎと目標値Ｍｉｘｔａｒｇｅｔの関係）
図６は、指標Ｎと目標値Ｍｉｘｔａｒｇｅｔの関係の例を示す図である。
【００６４】
なお、図６のグラフにおいて、横軸は指標Ｎを表し、縦軸は目標値Ｍｉｘｔａｒｇｅｔを表す。
【００６５】
図６に示すように、目標値Ｍｉｘｔａｒｇｅｔは、指標Ｎが大きいほど、即ちノイズ量が多いほど増加する。具体的には、図６の例では、指標Ｎが所定値Ａより小さい場合、目標値Ｍｉｘｔａｒｇｅｔは、所定値ＭｉｘＡになる。指標Ｎが所定値Ａ以上Ｂ以下である場合、目標値Ｍｉｘｔａｒｇｅｔは、所定値ＭｉｘＡから所定値ＭｉｘＢまで指標Ｎに比例して増加する。
【００６６】
また、指標Ｎが所定値Ｂ以上Ｃ以下である場合、目標値Ｍｉｘｔａｒｇｅｔは、所定値ＭｉｘＢから所定値ＭｉｘＣまで指標Ｎに比例して増加し、指標Ｎが所定値Ｃ以上Ｄ以下である場合、目標値Ｍｉｘｔａｒｇｅｔは、所定値ＭｉｘＣから所定値ＭｉｘＤまで指標Ｎに比例して増加する。さらに、指標Ｎが所定値Ｄより大きい場合、目標値Ｍｉｘｔａｒｇｅｔは、所定値ＭｉｘＤになる。
【００６７】
（指標Ｎと目標値Ａｔｔｔａｒｇｅｔの関係）
図７は、指標Ｎと目標値Ａｔｔｔａｒｇｅｔの関係の例を示す図である。
【００６８】
なお、図７のグラフにおいて、横軸は指標Ｎを表し、縦軸は目標値Ａｔｔｔａｒｇｅｔを表す。
【００６９】
図７に示すように、目標値Ａｔｔｔａｒｇｅｔは、指標Ｎが大きいほど、即ちノイズ量が多いほど増加する。具体的には、図７の例では、指標Ｎが所定値Ａより小さい場合、目標値Ａｔｔｔａｒｇｅｔは、所定値ＡｔｔＡになる。指標Ｎが所定値Ａ以上Ｂ以下である場合、目標値Ａｔｔｔａｒｇｅｔは、所定値ＡｔｔＡから所定値ＡｔｔＢまで指標Ｎに比例して増加する。
【００７０】
また、指標Ｎが所定値Ｂ以上Ｃ以下である場合、目標値Ａｔｔｔａｒｇｅｔは、所定値ＡｔｔＢから所定値ＡｔｔＣまで指標Ｎに比例して増加し、指標Ｎが所定値Ｃ以上Ｄ以下である場合、目標値Ａｔｔｔａｒｇｅｔは、所定値ＡｔｔＣから所定値ＡｔｔＤまで指標Ｎに比例して増加する。さらに、指標Ｎが所定値Ｄより大きい場合、目標値Ａｔｔｔａｒｇｅｔは、所定値ＡｔｔＤになる。
【００７１】
（指標Ｎと混合割合Ｍｉｘの関係）
図８は、指標Ｎと混合割合Ｍｉｘの関係の例を示す図である。
【００７２】
なお、図８のグラフにおいて、横軸は指標Ｎを表し、縦軸は混合割合を表す。また、図８における指標Ｎと目標値Ｍｉｘｔａｒｇｅｔの関係は、所定値ＭｉｘＣが、所定値ＭｉｘＣより大きく所定値ＭｉｘＤより小さいＭｉｘＣ´である点を除いて、図６の関係と同一である。
【００７３】
さらに、図８の例では、現在より１つ前のフレームの混合割合Ｍｉｘｂｅｆｏｒｅが、所定値ＭｉｘＢであり、現在のフレームの指標Ｎが所定値Ｄであり、帰還率が1/4である。この場合、目標値Ｍｉｘｔａｒｇｅｔは、所定値ＭｉｘＤになるが、現在の混合割合Ｍｉｘは、所定値ＭｉｘＢと所定値ＭｉｘＤの差分を４で除算した値ΔＭｉｘだけ所定値ＭｉｘＢから増加させた値になる。
【００７４】
即ち、混合割合Ｍｉｘは、所定値ＭｉｘＢから所定値ＭｉｘＤに急激に変化せず、４フレームかけて所定値ＭｉｘＢから所定値ＭｉｘＤにゆっくり移動するように変化する。
【００７５】
（撮像装置の処理の説明）
図９は、図１の撮像装置１１のベイヤ化処理部２４のベイヤ化処理を説明するフローチャートである。このベイヤ化処理は、例えば、フレーム単位で行われる。
【００７６】
図９のステップＳ１０において、ベイヤ化処理部２４の同時化部４０（図４）は、イメージセンサ２３の画素の色ごとに、イメージセンサ２３から供給される撮像画像に対して補完処理を行う。同時化部４０は、その結果生成される画素信号Ｗ+ＩＲ，Ｒ+ＩＲ，Ｇ+ＩＲ、およびＢ+ＩＲを分離部４１と割合決定部５０に供給する。また、同時化部４０は、画素信号Ｗ＋ＩＲをレベル補正部４３と輝度合成部４５に供給する。
【００７７】
ステップＳ１１において、分離部４１は、同時化部４０から供給される画素信号Ｗ+ＩＲ，Ｒ+ＩＲ，Ｇ+ＩＲ、およびＢ+ＩＲに基づいて、上述した式（１）により、画素信号Ｗ+ＩＲ，Ｒ+ＩＲ，Ｇ+ＩＲ、およびＢ+ＩＲのそれぞれに含まれる赤外光成分と可視光成分を分離する。分離部４１は、分離の結果得られる可視光成分Ｒ，Ｇ、およびＢをホワイトバランス部４２に供給し、赤外光成分ＩＲを割合決定部５０に供給する。
【００７８】
ステップＳ１２において、ホワイトバランス部４２は、分離部４１から供給される可視光成分Ｒ，Ｇ、およびＢのそれぞれに対して、ホワイトバランスゲインを乗算し、レベル補正部４３に供給する。
【００７９】
ステップＳ１３において、レベル補正部４３は、ホワイトバランス部４２から供給される可視光成分Ｇと、同時化部４０から供給される画素信号Ｗ＋ＩＲとに基づいて、上述した式（２）により、補正ゲインＣＥを算出する。
【００８０】
ステップＳ１４において、レベル補正部４３は、補正ゲインＣＥと、ホワイトバランス部４２からの可視光成分Ｒ，Ｇ、およびＢのそれぞれとを乗算することにより、可視光成分Ｒ，Ｇ、およびＢを補正する。レベル補正部４３は、補正後の可視光成分Ｒ，Ｇ、およびＢをＹＣ変換部４４に供給する。
【００８１】
ステップＳ１５において、ＹＣ変換部４４は、上述した式（３）により、レベル補正部４３から供給される可視光成分Ｒ，Ｇ、およびＢを、輝度信号Ｙと色差信号ＣｂおよびＣｒとに変換する。ＹＣ変換部４４は、輝度信号Ｙを輝度合成部４５に供給し、色差信号ＣｂおよびＣｒをクロマゲインアンプ４６に供給する。
【００８２】
ステップＳ１６において、割合決定部５０は、現在の混合割合Ｍｉｘと減衰割合Ａｔｔを、現在のフレームより１つ前のフレームの混合割合Ｍｉｘｂｅｆｏｒｅと減衰割合Ａｔｔｂｅｆｏｒｅに設定する。
【００８３】
ステップＳ１７において、割合決定部５０は、指標Ｎと目標値Ｍｉｘｔａｒｇｅｔの関係を表す混合割合グラフ（図６）と、指標Ｎと目標値Ａｔｔｔａｒｇｅｔの関係を表す減衰割合グラフ（図７）を設定する。
【００８４】
ステップＳ１８において、割合決定部５０は、上述した式（６）により、処理対象のフレームの画素ごとに、積算値ｆ（ＩＲ）を算出する。
【００８５】
ステップＳ１９において、割合決定部５０は、フレーム内の全ての画素の積算値ｆ（ＩＲ）の平均値、イメージセンサ２３のアナログゲインとデジタルゲインの和ＡＧＣ、および補正ゲインＣＥを加算し、指標Ｎとする。
【００８６】
ステップＳ２０において、割合決定部５０は、指標割合グラフと減衰割合グラフを参照して、指標Ｎに基づいて、混合割合Ｍｉｘの目標値Ｍｉｘｔａｒｇｅｔと減衰割合Ａｔｔの目標値Ａｔｔｔａｒｇｅｔを決定する。
【００８７】
ステップＳ２１において、割合決定部５０は、上述した式（７）により、混合割合Ｍｉｘの目標値Ｍｉｘｔａｒｇｅｔと処理対象のフレームより１つ前のフレームの混合割合Ｍｉｘｂｅｆｏｒｅとに基づいて、処理対象のフレームの混合割合Ｍｉｘを決定する。そして、割合決定部５０は、混合割合Ｍｉｘを輝度合成部４５に供給する。
【００８８】
ステップＳ２２において、割合決定部５０は、上述した式（８）により、減衰割合の目標値Ａｔｔｔａｒｇｅｔと処理対象のフレームより１つ前のフレームの減衰割合Ａｔｔｂｅｆｏｒｅとに基づいて、処理対象のフレームの減衰割合Ａｔｔを決定する。そして、割合決定部５０は、減衰割合Ａｔｔをクロマゲインアンプ４６に供給する。
【００８９】
ステップＳ２３において、輝度合成部４５は、割合決定部５０から供給される混合割合Ｍｉｘに基づいて、上述した式（４）により、ＹＣ変換部４４から供給される輝度信号Ｙと同時化部４０から供給される画素信号Ｗ＋ＩＲを合成する。
【００９０】
ステップＳ２４において、クロマゲインアンプ４６は、割合決定部５０から供給される減衰割合Ａｔｔに基づいて、ＹＣ変換部４４から供給される色差信号ＣｂおよびＣｒのそれぞれを減衰させる。クロマゲインアンプ４６は、減衰された色差信号ＣｂおよびＣｒをRGB変換部４７に供給する。
【００９１】
ステップＳ２５において、RGB変換部４７は、上述した式（５）により、輝度合成部４５から供給される輝度信号Ｙ´並びにクロマゲインアンプ４６から供給される色差信号ＣｂおよびＣｒを、赤色、緑色、青色の画素信号Ｒ´，Ｇ´，Ｂ´に変換する。RGB変換部４７は、画素信号Ｒ´，Ｇ´，Ｂ´を逆ホワイトバランス部４８に供給する。
【００９２】
ステップＳ２６において、逆ホワイトバランス部４８は、RGB変換部４７から供給される画素信号Ｒ´，Ｇ´，Ｂ´に対して、ホワイトバランス部４２において乗算されたホワイトバランスゲインの逆数を乗算し、ベイヤ化部４９に供給する。
【００９３】
ステップＳ２７において、ベイヤ化部４９は、画素ごとに、逆ホワイトバランス部４８から供給される画素信号Ｒ´，Ｇ´、およびＢ´から、ベイヤ配列においてその画素に割り当てられた色の画素信号を抽出し、ベイヤ配列のRGB画像を生成する。そして、ベイヤ化部４９は、ベイヤ配列のRGB画像を、図１の信号処理部２５に供給する。
【００９４】
以上のように、撮像装置１１は、輝度信号Ｙと画素信号Ｗ＋ＩＲを合成し、色差信号ＣｂおよびＣｒを減衰させる。従って、撮像装置１１は、ＩＲカットフィルタを挿抜する機構を有さずに、RGB画像の不可視光成分を制御することができる。その結果、ＩＲカットフィルタを挿抜する機構を有する撮像装置でＩＲカットフィルタを抜いた際に発生する白とびが発生せず、RGB画像の視認性を向上させることができる。
【００９５】
また、撮像装置１１は、積算値ｆ（ＩＲ）に基づく指標Ｎを基に、混合割合Ｍｉｘと減衰割合Ａｔｔを決定する。従って、赤外光成分ＩＲの量に応じて、ベイヤ化処理後のRGB画像に含まれる不可視光成分の割合を変更することができる。即ち、赤外光成分ＩＲの量に応じて、ベイヤ化処理後のRGB画像を、不可視光成分を含まないRGB画像と不可視光成分を含むRGB画像の一方から他方に段階的に変化させることができる。
【００９６】
さらに、指標Ｎは、画質を表す指標である。従って、撮像装置１１は、指標Ｎに基づいて混合割合Ｍｉｘと減衰割合Ａｔｔを決定することにより、被写体や照度によらず、ベイヤ化処理後のRGB画像の画質を一定にすることができる。その結果、ＩＲカットフィルタを挿抜する機構を有する撮像装置のように、照度が十分に高くなった場合であっても白黒画像がRGB画像として出力されることを防止することができる。
【００９７】
また、赤外光成分ＩＲは、イメージセンサ２３により撮像された撮像画像から分離されたものである。従って、撮像システム１０内のＩＲ投光装置１２により照射される赤外光の量だけでなく、撮像システム１０外のＩＲ投光装置により照射される赤外光の量によっても、ベイヤ化処理後のRGB画像に含まれる不可視光成分の割合を変更することができる。
【００９８】
さらに、撮像装置１１は、目標値Ｍｉｘｔａｒｇｅｔをそのまま混合割合Ｍｉｘに決定するのではなく、帰還率Ｆの逆数である1/Fフレームで目標値Ｍｉｘｔａｒｇｅｔに達成するように混合割合Ｍｉｘを決定する。従って、指標Ｎが急激に変化した場合であっても、混合割合Ｍｉｘはゆっくりと変化する。よって、指標Ｎが急激に変化した場合に、ベイヤ化処理後のRGB画像に含まれる不可視光成分の割合が急激に変化することを防止することができる。
【００９９】
同様に、撮像装置１１は、1/Fフレームで目標値Ａｔｔｔａｒｇｅｔに達成するように減衰割合Ａｔｔを決定するので、指標Ｎが急激に変化した場合に、ベイヤ化処理後のRGB画像に含まれる不可視光成分の割合が急激に変化することを防止することができる。
【０１００】
（撮像装置のICチップの構成例）
図１０乃至図１３は、撮像装置１１がIC（Integrated Circuit）チップに形成される場合のICチップの構成例を示す図である。
【０１０１】
撮像装置１１がICチップに形成される場合、例えば、図１０に示すように、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５は、それぞれ異なるICチップ７１，７２，７３に形成されるようにすることができる。
【０１０２】
また、図１１に示すように、イメージセンサ２３とベイヤ化処理部２４が同一のICチップ８１に形成され、信号処理部２５が、ICチップ８１とは異なるICチップ８２に形成されるようにすることもできる。
【０１０３】
さらに、図１２に示すように、イメージセンサ２３が１つのICチップ９１に形成され、ベイヤ化処理部２４と信号処理部２５が、ICチップ９１とは異なるICチップ９２に形成されるようにすることもできる。また、図１３に示すように、イメージセンサ２３、ベイヤ化処理部２４、および信号処理部２５の全てが同一のICチップ１０１に形成されるようにすることもできる。
【０１０４】
なお、レンズ２１と光学フィルタ２２は、イメージセンサ２３が形成されるICチップ７１（８１，９１，１０１）のイメージセンサ２３上に形成される。
【０１０５】
＜非ベイヤ配列の他の例＞
本技術は、赤外光成分を含むRGBW画素配列の撮像画像以外の非ベイヤ配列の撮像画像に対してベイヤ化処理を行う画像処理装置にも適用することができる。
【０１０６】
図１４は、RGBW画素配列以外の非ベイヤ配列の例を示す図である。
【０１０７】
図１４のＡの画素配列は、RGB+IR画素配列であり、各画素が、赤色（Ｒ）の光、緑色（Ｇ）の光、青色（Ｂ）の光、および赤外光（ＩＲ）のいずれかに対応する画像を撮像する。図１４のＢの画素配列は、補色W画素配列であり、各画素が、白色（Ｗ）、黄色（Ｙｅ）、シアン（Ｃｙ）、および緑色（Ｇ）の光のいずれかと赤外光（ＩＲ）に対応する画像を撮像する。
【０１０８】
＜第２実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１０９】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１１０】
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１１１】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、撮像部２０６、入力部２０７、出力部２０８、記憶部２０９、通信部２１０、及びドライブ２１１が接続されている。
【０１１２】
撮像部２０６は、レンズ２１、光学フィルタ２２、イメージセンサ２３などにより構成され、撮像を行う。入力部２０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０８は、ディスプレイ、スピーカなどよりなる。記憶部２０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部２１０は、ネットワークインタフェースなどよりなる。ドライブ２１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１２を駆動する。
【０１１３】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０９に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１１４】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１１５】
コンピュータ２００では、プログラムは、リムーバブルメディア２１２をドライブ２１１に装着することにより、入出力インタフェース２０５を介して、記憶部２０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２１０で受信し、記憶部２０９にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０９に、あらかじめインストールしておくことができる。
【０１１６】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１７】
本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１１８】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１１９】
さらに、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２０】
なお、本開示は、以下のような構成もとることができる。
【０１２１】
（１）
不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号を合成する輝度合成部と、
前記可視光成分の色差信号を減衰させる減衰部と
を備える撮像装置。
（２）
前記輝度合成部により前記画像信号が合成された前記輝度信号に対する前記画像信号の割合である混合割合を決定する割合決定部
をさらに備え、
前記輝度合成部は、前記割合決定部により決定された前記混合割合に基づいて、前記輝度信号と前記画像信号を合成する
ように構成された
前記（１）に記載の撮像装置。
（３）
前記割合決定部は、前記画像信号と前記可視光成分に基づいて、前記混合割合を決定する
ように構成された
前記（２）に記載の撮像装置。
（４）
前記割合決定部は、前記画像信号と前記可視光成分に基づいて前記混合割合の目標値を決定し、前記混合割合の目標値と過去の混合割合の差分を所定値で除算した分だけ、前記過去の混合割合から増加させた値を、前記混合割合に決定する
ように構成された
前記（３）に記載の撮像装置。
（５）
前記割合決定部は、前記可視光成分に対する前記画像信号の割合に基づいて、前記混合割合を決定する
ように構成された
前記（３）または（４）に記載の撮像装置。
（６）
前記割合決定部は、全ての色の前記可視光成分に対する前記画像信号の割合の積算値に基づいて、前記混合割合を決定する
ように構成された
前記（５）に記載の撮像装置。
（７）
前記色差信号の減衰割合を決定する割合決定部
をさらに備え、
前記減衰部は、前記割合決定部により決定された前記減衰割合に基づいて、前記色差信号を減衰させる
ように構成された
前記（１）に記載の撮像装置。
（８）
前記割合決定部は、前記画像信号と前記可視光成分に基づいて、前記減衰割合を決定する
ように構成された
前記（７）に記載の撮像装置。
（９）
前記割合決定部は、前記画像信号と前記可視光成分に基づいて前記減衰割合の目標値を決定し、前記減衰割合の目標値と過去の減衰割合の差分を所定値で除算した分だけ、前記過去の減衰割合から増加させた値を、前記減衰割合に決定する
ように構成された
前記（８）に記載の撮像装置。
（１０）
前記割合決定部は、前記可視光成分に対する前記画像信号の割合に基づいて、前記混合割合を決定する
ように構成された
前記（８）または（９）に記載の撮像装置。
（１１）
前記割合決定部は、全ての色の前記可視光成分に対する前記画像信号の割合の積算値に基づいて、前記混合割合を決定する
ように構成された
前記（１０）に記載の撮像装置。
（１２）
撮像装置が、
不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号を合成する輝度合成ステップと、
前記可視光成分の色差信号を減衰させる減衰ステップと
を含む撮像方法。
（１３）
コンピュータを、
不可視光成分と可視光成分を含む画像信号の前記可視光成分の輝度信号と、前記画像信号を合成する輝度合成部と、
前記可視光成分の色差信号を減衰させる減衰部と
として機能させるためのプログラム。
【符号の説明】
【０１２２】
１１  撮像装置,  ４５  輝度合成部,  ４６  クロマゲインアンプ,  ５０  割合決定部
【図１】
2016136501.tif 000011
【図２】
2016136501.tif 000012
【図３】
2016136501.tif 000013
【図４】
2016136501.tif 000014
【図５】
2016136501.tif 000015
【図６】
2016136501.tif 000016
【図７】
2016136501.tif 000017
【図８】
2016136501.tif 000018
【図９】
2016136501.tif 000019
【図１０】
2016136501.tif 000020
【図１１】
2016136501.tif 000021
【図１２】
2016136501.tif 000022
【図１３】
2016136501.tif 000023
【図１４】
2016136501.tif 000024
【図１５】
2016136501.tif 000025
【国際調査報告】
2016136501.tif 000026
2016136501.tif 000027
2016136501.tif 000028
2016136501.tif 000029