(57)【要約】【課題】画像を処理する装置において、メモリの容量の増大を抑制する。【解決手段】高輝度画素データ選択部は、輝度の異なる２つの入力画像データのうち輝度の高い方に含まれる複数の画素データの中から特定座標の画素データを高輝度画素データとして選択する。低輝度画素データ選択部は、２つの入力画像データのうち輝度の低い方に含まれる複数の画素データの中から特定座標以外の座標の画素データを低輝度画素データとして選択する。制御部は、選択された高輝度画素データおよび低輝度画素データのそれぞれをフレームメモリに保持させる。合成部は、保持された高輝度画素データおよび低輝度画素データを合成する。【選択図】図５
2016015667.tif 000002
【特許請求の範囲】
【請求項１】
フレームメモリと、
輝度の異なる２つの入力画像データのうち輝度の高い方に含まれる複数の画素データの中から特定座標の前記画素データを高輝度画素データとして選択する高輝度画素データ選択部と、
前記２つの入力画像データのうち輝度の低い方に含まれる複数の画素データの中から前記特定座標以外の座標の前記画素データを低輝度画素データとして選択する低輝度画素データ選択部と、
前記選択された高輝度画素データおよび低輝度画素データのそれぞれを前記フレームメモリに保持させる制御部と、
前記保持された高輝度画素データおよび低輝度画素データを合成する合成部と
を具備する画像処理装置。
【請求項２】
前記保持された高輝度画素データおよび低輝度画素データを含む画像データを前記フレームメモリから過去画像データとして読み出して前記２つの入力画像データのそれぞれと前記過去画像データとを混合して新たな２つの入力画像データとして供給する混合部をさらに具備し、
前記高輝度画素データ選択部は、前記新たな入力画像データのうち輝度の高い方に含まれる前記複数の画素データの中から前記高輝度画素データを選択し、
前記低輝度画素データ選択部は、前記新たな入力画像データのうち輝度の低い方に含まれる前記複数の画素データの中から前記低輝度画素データを選択する
請求項１記載の画像処理装置。
【請求項３】
前記フレームメモリには、２つのデータ領域が設けられ、
前記制御部は、前記２つのデータ領域の一方において連続する複数のアドレスのそれぞれに前記高輝度画素データを保持させ、前記２つのデータ領域の他方において連続する複数のアドレスのそれぞれに前記低輝度画素データを保持させる
請求項１記載の画像処理装置。
【請求項４】
前記制御部は、前記高輝度画素データが選択された場合には前記保持された低輝度画素データを読み出して前記フレームメモリにおいて連続する複数のアドレスに前記読み出した低輝度画素データと前記選択された高輝度画素データとを保持させ、前記低輝度画素データが選択された場合には前記保持された高輝度画素データを読み出して前記連続する複数のアドレスに前記読み出した高輝度画素データと前記選択された低輝度画素データとを保持させる
請求項１記載の画像処理装置。
【請求項５】
前記複数の画素データのそれぞれは、赤、緑、青および白のいずれかの可視光成分を含み、
高輝度画素データ選択部は、前記白の可視光成分を含む前記画素データを前記高輝度画素データとして選択し、
低輝度画素データ選択部は、前記赤の可視光成分を含む前記画素データと前記緑の可視光成分を含む前記画素データと前記青の可視光成分を含む前記画素データとを前記低輝度画素データとして選択する
請求項１記載の画像処理装置。
【請求項６】
前記特定座標以外の座標の画素データから不可視光成分を除去して前記低輝度画素データ選択部に供給する不可視光成分除去部をさらに具備し、
前記２つの入力画像データのうち輝度の高い方は、不可視光が照射されたときに撮像された画像データであり、
前記２つの入力画像データのうち輝度の低い方は、前記不可視光が照射されていないときに撮像された画像データである
請求項１記載の画像処理装置。
【請求項７】
前記複数の画素データのそれぞれは、赤の可視光成分と緑の可視光成分と青の可視光成分と不可視光成分とのいずれかを含み、
前記不可視光成分除去部は、不可視光成分を含む前記画素データを前記不可視光成分を除去した緑の可視光成分を含む前記画素データに置き換え、前記不可視光成分を除去した赤の可視光成分を含む前記画素データと前記不可視光成分を除去した青の可視光成分を含む前記画素データと前記不可視光成分を除去する前の緑の可視光成分を含む前記画素データとともに供給し、
前記高輝度画素データ選択部は、前記不可視光成分を除去する前の緑の可視光成分を含む画素データを前記高輝度画素データとして選択し、
前記低輝度画素データ選択部は、前記赤の可視光成分を含む前記画素データと前記置き換えられた緑の可視光成分を含む前記画素データと前記青の可視光成分を含む前記画素データとを前記低輝度画素データとして選択する
請求項６記載の画像処理装置。
【請求項８】
前記複数の画素データのそれぞれは、赤の可視光成分と緑の可視光成分と青の可視光成分と前記可視光成分とのいずれかを含み、
前記不可視光成分除去部は、白の可視光成分を含む画素データを生成して前記不可視光成分を含む前記画素データを前記白の可視光成分を含む前記画素データに置き換え、
前記高輝度画素データ選択部は、前記置き換えられた画素データを前記高輝度画素データとして選択し、
前記低輝度画素データ選択部は、前記赤の可視光成分を含む前記画素データと前記緑の可視光成分を含む前記画素データと前記青の可視光成分を含む前記画素データとを前記低輝度画素データとして選択する
請求項６記載の画像処理装置。
【請求項９】
輝度の異なる２つの入力画像データのそれぞれを撮像する撮像部と、
フレームメモリと、
前記２つの入力画像データのうち輝度の高い方に含まれる複数の画素データの中から特定座標の前記画素データを高輝度画素データとして選択する高輝度画素データ選択部と、
前記２つの入力画像データのうち輝度の低い方に含まれる複数の画素データの中から前記特定座標以外の座標の前記画素データを低輝度画素データとして選択する低輝度画素データ選択部と、
前記選択された高輝度画素データおよび低輝度画素データのそれぞれを前記フレームメモリに保持させる制御部と、
前記保持された高輝度画素データおよび低輝度画素データを合成する合成部と
を具備する撮像装置。
【請求項１０】
高輝度画素データ選択部が、輝度の異なる２つの入力画像データのうち輝度の高い方に含まれる複数の画素データの中から特定座標の前記画素データを高輝度画素データとして選択する高輝度画素データ選択手順と、
低輝度画素データ選択部が、前記２つの入力画像データのうち輝度の低い方に含まれる複数の画素データの中から前記特定座標以外の座標の前記画素データを低輝度画素データとして選択する低輝度画素データ選択手順と、
制御部が、前記選択された高輝度画素データおよび低輝度画素データのそれぞれをフレームメモリに保持させる制御手順と、
合成部が、前記保持された高輝度画素データおよび低輝度画素データを合成する合成手順と
を具備する画像処理方法。
【請求項１１】
高輝度画素データ選択部が、輝度の異なる２つの入力画像データのうち輝度の高い方に含まれる複数の画素データの中から特定座標の前記画素データを高輝度画素データとして選択する高輝度画素データ選択手順と、
低輝度画素データ選択部が、前記２つの入力画像データのうち輝度の低い方に含まれる複数の画素データの中から前記特定座標以外の座標の前記画素データを低輝度画素データとして選択する低輝度画素データ選択手順と、
制御部が、前記選択された高輝度画素データおよび低輝度画素データのそれぞれをフレームメモリに保持させる制御手順と、
合成部が、前記保持された高輝度画素データおよび低輝度画素データを合成する合成手順と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、撮像装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムに関する。詳しくは、メモリに画像データを保持させて処理する画像処理装置、撮像装置、画像処理方法および当該方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
従来より、監視カメラなどの撮像装置においては、周囲の明るさを測光して、暗い場合には赤外光により輝度を向上させた画像を撮像し、明るい場合には赤外光の成分を除去した画像を撮像する機能が搭載されることが多い。このような機能は、一般にＤａｙ＆Ｎｉｇｈｔ機能と呼ばれる。
【０００３】
例えば、周囲が暗い場合に赤外光を間欠的に照射して、赤外光の照射時にモノクロ画像を撮像し、赤外光の非照射時にカラー画像を撮像する撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置は、モノクロ画像およびカラー画像の両方をフレームメモリに保持しておき、それらの画像を合成する。これにより、撮像装置は、夜間においても、良好な画質の画像を生成することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２３３９８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の従来技術では、モノクロ画像およびカラー画像の両方をフレームメモリに保持しておく必要があるため、カラー画像のみを保持すればよい通常の撮像装置と比較してフレームメモリの容量が増大する問題がある。フレームメモリの容量が増大すると、コストが上昇するおそれがある。また、フレームメモリの容量の増大により、そのフレームメモリにアクセスする回路とフレームメモリとの間のトラフィックが増大して消費電力が大きくなるおそれがある。
【０００６】
本技術はこのような状況に鑑みて生み出されたものであり、画像を処理する装置において、メモリの容量の増大を抑制することを目的とする。
【課題を解決するための手段】
【０００７】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、フレームメモリと、輝度の異なる２つの入力画像データのうち輝度の高い方に含まれる複数の画素データの中から特定座標の上記画素データを高輝度画素データとして選択する高輝度画素データ選択部と、上記２つの入力画像データのうち輝度の低い方に含まれる複数の画素データの中から上記特定座標以外の座標の上記画素データを低輝度画素データとして選択する低輝度画素データ選択部と、上記選択された高輝度画素データおよび低輝度画素データのそれぞれを上記フレームメモリに保持させる制御部と、上記保持された高輝度画素データおよび低輝度画素データを合成する合成部とを具備する画像処理装置、および、当該装置における画像処理方法、ならびに、当該方法をコンピュータに実行させるためのプログラムである。これにより、輝度の高い入力画像データにおいて特定座標の画素データが選択されてフレームメモリに保持され、輝度の低い入力画像データにおいて特定座標以外の座標の画素データが選択されてフレームメモリに保持されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記保持された高輝度画素データおよび低輝度画素データを含む画像データを上記フレームメモリから過去画像データとして読み出して上記２つの入力画像データのそれぞれと上記過去画像データとを混合して新たな２つの入力画像データとして供給する混合部をさらに具備し、上記高輝度画素データ選択部は、上記新たな入力画像データのうち輝度の高い方に含まれる上記複数の画素データの中から上記高輝度画素データを選択し、上記低輝度画素データ選択部は、上記新たな入力画像データのうち輝度の低い方に含まれる前記複数の画素データの中から前記低輝度画素データを選択してもよい。これにより、２つの入力画像データのそれぞれと過去画像データとが混合されるという作用をもたらす。
【０００９】
また、この第１の側面において、前記フレームメモリには、２つのデータ領域が設けられ、前記制御部は、前記２つのデータ領域の一方において連続する複数のアドレスのそれぞれに前記高輝度画素データを保持させ、前記２つのデータ領域の他方において連続する複数のアドレスのそれぞれに前記低輝度画素データを保持させてもよい。これにより、２つのデータ領域の一方に高輝度画素データが保持され、他方に低輝度画素データが保持されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記制御部は、上記高輝度画素データが選択された場合には上記保持された低輝度画素データを読み出して上記フレームメモリにおいて連続する複数のアドレスに上記読み出した低輝度画素データと上記選択された高輝度画素データとを保持させ、上記低輝度画素データが選択された場合には上記保持された高輝度画素データを読み出して上記連続する複数のアドレスに上記読み出した高輝度画素データと上記選択された低輝度画素データとを保持させてもよい。これにより、連続する複数のアドレスに高輝度画素データおよび低輝度画素データが保持されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記複数の画素データのそれぞれは、赤、緑、青および白のいずれかの可視光成分を含み、高輝度画素データ選択部は、上記白の可視光成分を含む上記画素データを上記高輝度画素データとして選択し、低輝度画素データ選択部は、上記赤の可視光成分を含む上記画素データと上記緑の可視光成分を含む上記画素データと上記青の可視光成分を含む上記画素データとを上記低輝度画素データとして選択してもよい。これにより、白の可視光成分を含む画素データが高輝度画素データとして選択され、それ以外の画素データが低輝度画素データとして選択されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記特定座標以外の座標の画素データから不可視光成分を除去して上記低輝度画素データ選択部に供給する不可視光成分除去部をさらに具備し、上記２つの入力画像データのうち輝度の高い方は、不可視光が照射されたときに撮像された画像データであり、上記２つの入力画像データのうち輝度の低い方は、上記不可視光が照射されていないときに撮像された画像データであってもよい。これにより、２つの入力画像データのうち輝度の低い方において特定座標以外の座標の画素データから不可視光成分が除去されるという作用をもたらす。
【００１３】
また、この第１の側面において、前記複数の画素データのそれぞれは、赤の可視光成分と緑の可視光成分と青の可視光成分と不可視光成分とのいずれかを含み、前記不可視光成分除去部は、不可視光成分を含む前記画素データを前記不可視光成分を除去した緑の可視光成分を含む前記画素データに置き換え、前記不可視光成分を除去した赤の可視光成分を含む前記画素データと前記不可視光成分を除去した青の可視光成分を含む前記画素データと前記不可視光成分を除去する前の緑の可視光成分を含む前記画素データとともに供給し、前記高輝度画素データ選択部は、前記不可視光成分を除去する前の緑の可視光成分を含む画素データを前記高輝度画素データとして選択し、前記低輝度画素データ選択部は、前記赤の可視光成分を含む前記画素データと前記置き換えられた緑の可視光成分を含む前記画素データと前記青の可視光成分を含む前記画素データとを前記低輝度画素データとして選択してもよい。これにより、不可視光成分が除去される前の緑の可視光成分を含む画素データが高輝度画素データとして選択され、それ以外の画素データが低輝度画素データとして選択されるという作用をもたらす。
【００１４】
また、この第１の側面において、前記複数の画素データのそれぞれは、赤の可視光成分と緑の可視光成分と青の可視光成分と前記可視光成分とのいずれかを含み、前記不可視光成分除去部は、白の可視光成分を含む画素データを生成して前記不可視光成分を含む前記画素データを前記白の可視光成分を含む前記画素データに置き換え、前記高輝度画素データ選択部は、前記置き換えられた画素データを前記高輝度画素データとして選択し、前記低輝度画素データ選択部は、前記赤の可視光成分を含む前記画素データと前記緑の可視光成分を含む前記画素データと前記青の可視光成分を含む前記画素データとを前記低輝度画素データとして選択してもよい。これにより、不可視光成分が白の可視光成分に置き換えられ、置き換えられた画素データが高輝度画素データとして選択され、それ以外の画素データが低輝度画素データとして選択されるという作用をもたらす。
【００１５】
また、本技術の第２の側面は、輝度の異なる２つの入力画像データのそれぞれを撮像する撮像部と、フレームメモリと、上記２つの入力画像データのうち輝度の高い方に含まれる複数の画素データの中から特定座標の上記画素データを高輝度画素データとして選択する高輝度画素データ選択部と、上記２つの入力画像データのうち輝度の低い方に含まれる複数の画素データの中から上記特定座標以外の座標の上記画素データを、低輝度画素データとして選択する低輝度画素データ選択部と、上記選択された高輝度画素データおよび低輝度画素データのそれぞれを上記フレームメモリに保持させる制御部と、上記保持された高輝度画素データおよび低輝度画素データを合成する合成部とを具備する撮像装置である。これにより、輝度の高い入力画像データにおいて特定座標の画素データが選択されてフレームメモリに保持され、輝度の低い入力画像データにおいて特定座標以外の座標の画素データが選択されてフレームメモリに保持されるという作用をもたらす。
【発明の効果】
【００１６】
本技術によれば、画像を処理する装置において、メモリの容量の増大を抑制することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】第１の実施の形態における光学フィルタの透過特性の一例を示すグラフである。
【図３】第１の実施の形態における画像処理部の一構成例を示すブロック図である。
【図４】第１の実施の形態における赤外線分離部の一構成例を示すブロック図である。
【図５】第１の実施の形態におけるメモリ制御部の一構成例を示すブロック図である。
【図６】第１の実施の形態におけるデイモードの動作を示すタイミングチャートの一例である。
【図７】第１の実施の形態におけるナイトモードの動作を示すタイミングチャートの一例である。
【図８】第１の実施の形態における画素ごとの感度特性の一例を示すグラフである。
【図９】第１の実施の形態における赤外線分離後の感度特性の一例を示すグラフである。
【図１０】第１の実施の形態における合成部の一構成例を示すブロック図である。
【図１１】第１の実施の形態における高周波補間フィルタの一例を示す図である。
【図１２】第１の実施の形態における赤外線分離前後の画像データとフレームメモリに保持される画素データとの一例を示す図である。
【図１３】第１の実施の形態における補間後のデータの一例を示す図である。
【図１４】第１の実施の形態における合成前後のデータの一例を示す図である。
【図１５】第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図１６】第１の実施の形態におけるナイトモード撮像処理の一例を示すフローチャートである。
【図１７】第１の実施の形態におけるデイモード撮像処理の一例を示すフローチャートである。
【図１８】第１の実施の形態の第１の変形例における画像データの一例を示す図である。
【図１９】第１の実施の形態の第１の変形例における赤外線分離部の一構成例を示すブロック図である。
【図２０】第１の実施の形態の第２の変形例における画像データの一例を示す図である。
【図２１】第１の実施の形態の第２の変形例における赤外線分離部の一構成例を示すブロック図である。
【図２２】第１の実施の形態の第３の変形例における高周波補間フィルタの一例を示す図である。
【図２３】第２の実施の形態における画像処理部の一構成例を示すブロック図である。
【図２４】第２の実施の形態における混合部の一構成例を示すブロック図である。
【図２５】第３の実施の形態における画像処理部の一構成例を示すブロック図である。
【図２６】第３の実施の形態におけるメモリ制御部の一構成例を示すブロック図である。
【図２７】第３の実施の形態におけるフレームメモリに保持される画素データの一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（高輝度画素データおよび低輝度画素データを保持する例）
２．第２の実施の形態（混合処理後に高輝度画素データおよび低輝度画素データを保持する例）
３．第３の実施の形態（高輝度画素データおよび低輝度画素データをメモリ内の異なる領域に保持する例）
【００１９】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は画像データを撮像する装置であり、撮像レンズ１１０、光学フィルタ１２０、撮像素子１３０、画像処理部２００、記録部１４０、赤外光投光器１５０、撮像制御部１６０および測光部１７０を備える。
【００２０】
撮像レンズ１１０は、被写体からの光を集光して光学フィルタ１２０を介して撮像素子１３０に導くレンズである。光学フィルタ１２０は、撮像レンズ１１０からの光のうち可視光および赤外光を透過するものである。
【００２１】
撮像素子１３０は、光学フィルタ１２０を介して受光した光を電気信号に変換して、画像データを生成するものである。この撮像素子１３０には、例えば、Ｒ（Red）画素、Ｇ(Green)画素、Ｂ(Blue)画素およびＷ（White）画素のそれぞれが二次元格子状に設けられる。撮像素子１３０は、これらの画素のそれぞれで光電変換したアナログの電気信号をＡＤ（Analog to Digital）変換して画素毎にデジタル信号を画素データとして生成する。そして、撮像素子１３０は、これらの画素データを含む画像データを画像処理部２００に信号線１３９を介して出力する。この画像データは、フレームとも呼ばれる。撮像素子１３０としては、例えば、ＣＣＤ（Charge Coupled Device）センサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーが用いられる。なお、撮像素子１３０は、特許請求の範囲に記載の撮像部の一例である。
【００２２】
赤外光投光器１５０は、撮像制御部１６０の制御に従って、赤外光を被写体に照射するものである。
【００２３】
測光部１７０は、撮像装置１００の周囲の明るさを測光するものである。この測光部１７０は、測光量を信号線１７９を介して撮像制御部１６０に供給する。
【００２４】
撮像制御部１６０は、撮像装置１００全体を制御するものである。この撮像制御部１６０は、ユーザの操作などに従って撮像素子１３０を撮像制御信号により制御して画像データを複数回に亘って生成させる。この撮像制御信号は、信号線１６８を介して撮像素子１３０に供給される。また、撮像制御部１６０は、測光部１７０により測定された測光量を取得する。測光量が所定の閾値Ｔｈ１以上である場合に撮像制御部１６０は、デイモードに移行する。このデイモードにおいて撮像制御部１６０は、赤外光投光器１５０を照射制御信号により消灯させる。この照射制御信号は信号線１６９を介して赤外光投光器１５０に供給される。
【００２５】
一方、測光量が閾値Ｔｈ１未満である場合に撮像制御部１６０は、ナイトモードに移行する。このナイトモードにおいて撮像制御部１６０は、画像データが撮像されるタイミングに同期して、赤外光投光器１５０を点滅させる。撮像制御部１６０は、例えば、奇数フレームの撮像時において赤外光投光器１５０を点灯させ、偶数フレームの撮像時において消灯させる。
【００２６】
また、ナイトモードにおいて撮像制御部１６０は、ピクセル切替信号を生成して画像処理部２００に信号線１６７を介して供給する。このピクセル切替信号は、赤外光が照射されているか否かによりフレームメモリに保持させる画素データを切り替えさせる信号である。ピクセル切替信号には、例えば、赤外光が照射されているときにハイレベルが設定され、照射されていないときにローレベルが設定される。
【００２７】
一方、デイモードにおいて画像処理部２００は、撮像素子１３０からの画像データに対し、ホワイトバランス処理等の画像処理を必要に応じて実行して記録部１４０に供給する。
【００２８】
また、撮像制御部１６０は、測光量に基づいてナイトモードであるかデイモードであるかを示すモード切替信号を生成し、信号線１６７を介して画像処理部２００に供給する。このモード切替信号には、例えば、デイモードにおいてローレベルが設定され、ナイトモードにおいてハイレベルが設定される。
【００２９】
画像処理部２００は、画像データに対して所定の画像処理を行うものである。ナイトモードにおいて画像処理部２００は、赤外光の照射時および非照射時のそれぞれのタイミングで生成された画素データをピクセル切替信号に従って保持し、それらの画素データを合成して出力画像データを生成する。さらに、画像処理部２００は、ホワイトバランス処理や、ガンマ補正処置を含む各種の画像処理を必要に応じて行う。画像処理部２００は、画像処理後の出力画像データを記録部１４０に信号線２０９を介して供給する。記録部１４０は、画像処理部２００からの画像データを記録するものである。
【００３０】
なお、撮像装置１００は、表示部をさらに備え、その表示部に画像データを表示してもよい。また、撮像装置１００は、インターフェースをさらに備え、そのインターフェースを介して、画像データを外部の装置に出力してもよい。
【００３１】
また、撮像レンズ１１０、光学フィルタ１２０、撮像素子１３０、画像処理部２００、記録部１４０、赤外光投光器１５０、撮像制御部１６０および測光部１７０を同一の装置内に設ける構成としているが、これらを別々の装置に設ける構成としてもよい。例えば、撮像素子１３０などを撮像装置１００に設け、画像処理部２００を情報処理装置等に設ける構成としてもよい。なお、撮像装置１００は、特許請求の範囲に記載の画像処理装置の一例である。
【００３２】
図２は、第１の実施の形態における光学フィルタ１２０の透過特性の一例を示すグラフである。同図において縦軸は、光学フィルタ１２０の分光透過率を示し、横軸は、光の波長を示す。同図に例示するように、光学フィルタ１２０は、例えば、３８０乃至６５０ナノメートル（ｎｍ）の波長域の可視光と、それより波長の長い赤外光とを透過する。
【００３３】
［画像処理部の構成例］
図３は、第１の実施の形態における画像処理部２００の一構成例を示すブロック図である。この画像処理部２００は、赤外線分離部２１０、メモリ制御部２３０、フレームメモリ２５０、切替部２６０および合成部２７０を備える。
【００３４】
赤外線分離部２１０は、画像データにおいて赤外光成分を分離するものである。この赤外線分離部２１０は、撮像素子１３０から画像データを入力画像データとして受け取る。ここで、前述のＲ画素、Ｇ画素、Ｂ画素およびＷ画素のそれぞれは、可視光とともに赤外光を受光して、それらの光から画素信号を生成する。このため、入力画像データにおいて、これらの画素の画素データは、可視光から光電変換された信号である可視光成分と、赤外光から光電変換された信号である赤外光成分とを含む。したがって、赤外光成分を分離する前のＲ画素、Ｇ画素、Ｂ画素およびＷ画素の画素データを以下、「Ｒ＋ＩＲ」、「Ｇ＋ＩＲ」、「Ｂ＋ＩＲ」および「Ｗ＋ＩＲ」と称する。添え字の「＋ＩＲ」は、画素データに赤外光成分が含まれていることを示す。
【００３５】
赤外線分離部２１０は、入力画像データが入力されるたびに、その入力画像データにおいて画素データＲ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲのそれぞれから赤外光成分ＩＲを分離して除去する。赤外線分離部２１０は、除去後の画素データＲ、Ｇ、Ｂと、画素データＷ＋ＩＲとをメモリ制御部２３０および切替部２６０に供給する。
【００３６】
なお、赤外線分離部２１０は、赤外光成分ＩＲを分離して除去しているが、赤外光以外の不可視光（紫外光など）の成分を分離して除去してもよいし、赤外光に加えて、赤外光以外の不可視光の成分も分離してもよい。この場合には、分離対象の不可視光を透過するフィルタが光学フィルタ１２０として設けられる。また、赤外線分離部２１０は、特許請求の範囲に記載の不可視光成分除去部の一例である。
【００３７】
メモリ制御部２３０は、ピクセル切替信号に従って、赤外線分離部２１０からの画素データをフレームメモリ２５０に保持させるものである。このメモリ制御部２３０は、赤外光の照射時に、赤外線分離部２１０からの画素データのうち特定座標の画素データ（例えば、Ｗ＋ＩＲ）を選択してフレームメモリ２５０に保持させる。また、赤外光の照射時にメモリ制御部２３０は、フレームメモリ２５０において特定座標以外の座標の画素データ（例えば、Ｒ、ＧおよびＢ）の書戻しを行う。なお、赤外光の照射時に保持された画素データＷ＋ＩＲは、特許請求の範囲に記載の高輝度画素データの一例である。
【００３８】
一方、赤外光の非照射時にメモリ制御部２３０は、赤外線分離部２１０からの画素データのうち特定座標以外の座標の画素データ（例えば、Ｒ、ＧおよびＢ）の画素データを選択してフレームメモリ２５０に保持させる。また、赤外光の非照射時にメモリ制御部２３０は、フレームメモリ２５０において特定座標の画素データ（例えば、Ｗ＋ＩＲ）の書戻しを行う。なお、赤外光の非照射時に保持された画素データＲ、ＧおよびＢは、特許請求の範囲に記載の低輝度画素データの一例である。
【００３９】
フレームメモリ２５０は、画素データＲ、Ｇ、ＢおよびＷ＋ＩＲを保持するものである。また、これらの画素データは、切替部２６０に供給される。
【００４０】
切替部２６０は、モード切替信号に従って、合成する対象の画素データを切り替えるものである。この切替部２６０は、例えば、モード制御信号がローレベル（すなわち、デイモード）である場合に赤外線分離部２１０からの画素データを合成部２７０に供給する。一方、モード制御信号がハイレベル（すなわち、ナイトモード）である場合に切替部２６０は、フレームメモリ２５０からの画素データを合成部２７０に供給する。
【００４１】
合成部２７０は、画素データを合成するものである。ナイトモードにおいて、この合成部２７０は、赤外光の非照射時の画素データＲ、ＧおよびＢがフレームメモリ２５０に保持されるたびに、それらの画素データと赤外光照射時に保持された画素データＷ＋ＩＲとを合成する。合成部２７０は、合成により生成した画像データを出力画像データとして記録部１４０に供給する。なお、ナイトモードにおいて合成部２７０は、赤外光の非照射時の画素データが保持されるたびに合成を行っているが、照射時の画素データが保持されるたびに合成を行ってもよい。また、合成部２７０は、赤外線照射時、非照射時の両方で合成を行っても良い。
【００４２】
また、デイモードにおいて、合成部２７０は、赤外線分離部２１０から画素データＲ、Ｇ、ＢおよびＷ＋ＩＲが供給されるたびに、それらの画素データから出力画像データを生成する。
【００４３】
なお、画像処理部２００は、赤外光成分を除去しているが、赤外光成分を除去しない構成としてもよい。ただし、赤外光成分を除去しない構成では、可視光の色再現性が低下するため、赤外光成分を除去することが望ましい。
【００４４】
また、撮像装置１００は、画像処理部２００において赤外光成分を除去しているが、赤外光を通過しない赤外光カットフィルタにより光学的に赤外光を遮断してもよい。この場合に撮像装置１００は、赤外光カットフィルタと、そのフィルタを被写体および撮像素子１３０の間において抜き差しする挿抜部とをさらに備える。この挿抜部は、赤外光の非照射時に赤外線カットフィルタを挿入し、赤外光の照射時に赤外光カットフィルタを抜き出す。これらの赤外光カットフィルタおよび挿抜部を設ける構成においては、画像処理部２００に赤外線分離部２１０を設ける必要がなくなる。ただし、挿抜部などの部品点数が増加するため、赤外線分離部２１０を設けて赤外光成分を除去することが望ましい。
【００４５】
［赤外線分離部の構成例］
図４は、第１の実施の形態における赤外線分離部２１０の一構成例を示すブロック図である。この赤外線分離部２１０は、乗算器２１１、２１５、２１６および２１７と、加算器２１２、２１３および２１４と、減算部２１８、２１９および２２０とを備える。
【００４６】
乗算器２１１は、画素データＲ＋ＩＲに係数０．５を乗算して加算器２１２に供給するものである。乗算器２１５は、画素データＧ＋ＩＲに係数０．５を乗算して加算器２１２に供給するものである。乗算器２１６は、画素データＢ＋ＩＲに係数０．５を乗算して加算器２１３に供給するものである。乗算器２１７は、画素データＷ＋ＩＲに係数−０．５を乗算して加算器２１４に供給するものである。
【００４７】
加算器２１２は、乗算器２１１および乗算器２１５のそれぞれの乗算結果を加算して加算器２１３に供給するものである。加算器２１３は、加算器２１２の加算結果と乗算器２１６の乗算結果とを加算して加算器２１４に供給するものである。加算器２１４は、加算器２１３の加算結果と乗算器２１７の乗算結果を加算して赤外光成分ＩＲとして減算器２１８、２１９および２２０に供給するものである。
【００４８】
これらの乗算器２１１、２１５、２１６および２１７と、加算器２１２、２１３および２１４とにより、次の式に示す演算が行われる。
ＩＲ＝０．５×Ｒ＋ＩＲ＋０．５×Ｇ＋ＩＲ＋０．５×Ｂ＋ＩＲ−０．５×Ｗ＋ＩＲ…式１
【００４９】
また、減算器２１８は、画素データＲ＋ＩＲから、赤外光成分ＩＲを減算して画素データＲとして出力するものである。減算器２１９は、画素データＧ＋ＩＲから、赤外光成分ＩＲを減算して画素データＧとして出力するものである。減算器２２０は、画素データＢ＋ＩＲから、赤外光成分ＩＲを減算して画素データＢとして出力するものである。
【００５０】
これらの減算器２１８、２１９および２２０により、次の式に示す演算が行われる。
Ｒ＝Ｒ＋ＩＲ−ＩＲ                                                ・・・式２
Ｇ＝Ｇ＋ＩＲ−ＩＲ                                                ・・・式３
Ｂ＝Ｂ＋ＩＲ−ＩＲ                                                ・・・式４
【００５１】
［メモリ制御部の構成例］
図５は、第１の実施の形態におけるメモリ制御部２３０の一構成例を示すブロック図である。このメモリ制御部２３０は、セレクタ２３１および２３２とライト制御部２３３とを備える。なお、同図において、フレームメモリ２５０から画素データを読み出すリード制御部については省略されている。
【００５２】
セレクタ２３１は、ピクセル切替信号に従って、画素データを選択するものである。このセレクタ２３１は、ピクセル切替信号がハイレベルである場合（すなわち、赤外光の照射時）に赤外線分離部２１０からの画素データのうち、画素データＷ＋ＩＲを選択して高輝度画素データとしてライト制御部２３３に供給する。一方、ピクセル切替信号がローレベルである場合（すなわち、赤外光の非照射時）にセレクタ２３１は、フレームメモリ２５０から読み出された画素データのうち、画素データＲ、ＧおよびＢを選択してライト制御部２３３に供給する。なお、セレクタ２３１は、特許請求の範囲に記載の高輝度画素データ選択部の一例である。
【００５３】
セレクタ２３２は、ピクセル切替信号に従って、画素データを選択するものである。このセレクタ２３２は、ピクセル切替信号がローレベルである場合（すなわち、赤外光の非照射時）に赤外線分離部２１０からの画素データのうち、画素データＲ、ＧおよびＢを選択して低輝度画素データとしてライト制御部２３３に供給する。一方、ピクセル切替信号がハイレベルである場合（すなわち、赤外光の照射時）にセレクタ２３２は、フレームメモリ２５０から読み出された画素データのうち画素データＷ＋ＩＲを選択してライト制御部２３３に供給する。なお、セレクタ２３２は、特許請求の範囲に記載の低輝度画素データ選択部の一例である。
【００５４】
ライト制御部２３３は、セレクタ２３１および２３２により選択された画素データをフレームメモリ２５０に保持させる制御を行うものである。ここで、フレームメモリ２５０とメモリ制御部２３０との間のデータ転送においては、アドレスの指定などの手順の一部を省略して高速な転送を実現するバースト転送が行われる。バースト転送においては、例えば、複数の連続するアドレスのうち先頭のアドレスやバースト長が指定され、先頭以外のアドレスの指定が省略される。なお、ライト制御部２３３は、特許請求の範囲に記載の制御部の一例である。
【００５５】
図６は、第１の実施の形態におけるデイモードの動作を示すタイミングチャートの一例である。時刻Ｔ０においてユーザにより撮像を開始させる操作が行われたものとする。この場合、時刻Ｔ０以降において撮像制御部１６０は、撮像制御信号として垂直同期信号Ｖｓｙｎｃを生成して撮像素子１３０に画像データを複数回撮像させる。この垂直同期信号Ｖｓｙｎｃは、画像データの撮像タイミングを示す信号である。例えば、１秒間に６０枚の画像データを撮像させる場合には、６０ヘルツ（Ｈｚ）の垂直同期信号Ｖｓｙｎｃが生成される。
【００５６】
また、時刻Ｔ０以降において測光量が閾値Ｔｈ１以上であるものとする。この場合、撮像制御部１６０は、時刻Ｔ０においてモード制御信号をローレベルにしてデイモードに移行する。また、デイモードにおいて撮像制御部１６０は、照射制御信号をローレベルにして赤外光投光器１５０を消灯させる。また、デイモードにおいて撮像制御部１６０は、ピクセル制御信号をローレベルに制御する。これらの制御により、デイモードにおいては、垂直同期信号Ｖｓｙｎｃに同期して複数の画像データが生成され、それらの画像データから生成された画素データＲ、Ｇ、Ｂ、Ｗ＋ＩＲがフレームメモリ２５０に保持される。
【００５７】
図７は、第１の実施の形態におけるナイトモードの動作を示すタイミングチャートの一例である。時刻Ｔ０の後の時刻Ｔ５において測光量が閾値Ｔｈ１未満になったものとする。この場合、撮像制御部１６０は、時刻Ｔ５においてモード制御信号をハイレベルにしてナイトモードに移行する。
【００５８】
ナイトモードにおいて撮像制御部１６０は、照射制御信号により間欠的に赤外光投光器１５０を点灯させる。撮像制御部１６０は、奇数フレームの撮像時において、赤外光投光器１５０を一定期間に亘って点灯させる。例えば、ナイトモードにおいて最初に画像データが撮像される時刻Ｔ５から一定期間に亘って撮像制御部１６０は照射制御信号をハイレベルにして赤外光投光器１５０を点灯させる。次に画像データが撮像される時刻Ｔ６において、照射制御信号はローレベルに維持される。赤外光投光器１５０の点灯時には赤外光が照射されるために比較的輝度の高い画像データが撮像され、消灯時には、比較的輝度の低い画像データが撮像される。なお、撮像制御部１５０は、奇数フレームでなく、偶数フレームの撮像時に赤外光投光器１５０を点灯させてもよい。
【００５９】
また、ナイトモードにおいて撮像制御部１６０は、ピクセル切替信号によりフレームメモリ２５０に保持させる画素データを切り替えさせる。例えば、赤外光の照射時に、撮像制御部１６０は、ピクセル切替信号をハイレベルにして、画素データＷ＋ＩＲを保持させる。一方、赤外光の非照射時に、撮像制御部１６０は、ピクセル切替信号をローレベルにして、画素データＲ、ＧおよびＢを保持させる。これらの画素データＲ、ＧおよびＢと画素データＷ＋ＩＲとが合成され、出力画像データが生成される。例えば、１秒間に６０枚の入力画像データが撮像される場合、それらの画像データから、１秒間に３０枚の出力画像データが生成される。
【００６０】
このように、撮像制御部１６０は、赤外光の照射時に画素データＲ、Ｇ、ＢおよびＷ＋ＩＲのうち、Ｗ＋ＩＲをフレームメモリ２５０に保持させ、赤外光の非照射時に画素データＲ、ＧおよびＢをフレームメモリ２５０に保持させる。このため、フレームメモリ２５０の容量は、画像データ１枚分で済む。したがって、撮像装置１００は、フレームメモリ２５０の容量の増大を抑制することができる。
【００６１】
なお、ナイトモードにおいて撮像制御部１６０は、２フレームごとに赤外光投光器１５０を点灯させているが、間欠的に点灯させるのであれば、この構成に限定されない。例えば、撮像制御部１６０は、Ｌ（Ｌは、２以上の整数）フレームに亘って赤外光投光器１５０を消灯させ、１フレーム以下の一定期間に亘って点灯させる制御を繰り返してもよい。この場合には、消灯中のＬフレームにおいて画素データＲ、ＧおよびＢはフレームメモリ２５０においてＬ回更新される。また、点灯中に生成された画素データＷ＋ＩＲがフレームメモリ２５０に保持され、その画素データは消灯中のＬフレームに亘って更新されない。
【００６２】
また、撮像制御部１６０は、ランダムなタイミングで赤外光投光器１５０を点灯させてもよい。例えば、撮像制御部１６０は、ナイトモードにおいて整数の乱数Ｒｎを生成し、Ｒｎフレームに亘って赤外光投光器１５０を消灯させ、Ｒｎフレーム経過後に１フレーム以下の一定期間に亘って点灯させ、点灯後に新たに乱数を生成してＲｎを更新する。
【００６３】
図８は、第１の実施の形態における画素ごとの感度特性の一例を示すグラフである。同図の横軸は、光の波長を示し、縦軸は、その波長の光に対する画素の感度を示す。また、実線は、Ｗ画素の感度特性を示し、細かい点線は、Ｒ画素の感度特性を示す。また、一点鎖線は、Ｇ画素の感度特性を示し、粗い点線は、Ｂ画素の感度特性を示す。
【００６４】
感度特性のグラフにおいてＷ画素の感度は、白の可視光に対してピークを示す。また、Ｒ画素、Ｇ画素およびＢ画素のそれぞれの感度は、赤、緑および青のそれぞれの可視光に対してピークを示す。Ｒ、Ｇ、ＢおよびＷ画素の赤外光に対する感度は同程度である。
【００６５】
ここで、赤、緑および青を加法混色すると白となる。このため、Ｒ画素、Ｇ画素およびＢ画素の感度の合計は、Ｗ画素の感度に近い値となる。
【００６６】
このため、画素データＲ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲのそれぞれを同一の係数「０．５」で重み付け加算した値と画素データＷ＋ＩＲを係数「０．５」で重み付けした値との差を求める演算により、赤外光成分ＩＲが求められる。
【００６７】
図９は、第１の実施の形態における赤外線分離後の感度特性の一例を示すグラフである。同図の横軸は、光の波長を示し、縦軸は、その光に対する画素の感度を示す。実際には、感度でなく、赤外光成分が除去された画素データが生成されるが、同図では、この画素データを感度に置き換えて表している。細かい点線は画素データＲの感度特性を示し、一点鎖線は画素データＧの感度特性を示し、粗い点線は画素データＢの感度特性を示す。これら画素データの赤外光領域の値は、「０」に近い値である。このことは、演算により赤外光の成分が除去されたことを示している。
【００６８】
図１０は、第１の実施の形態における合成部２７０の一構成例を示すブロック図である。この合成部２７０は、ＹＣ変換部２７１、高周波補間部２７２および輝度信号合成部２７３を備える。なお、合成部２７０は、ホワイトバランス処理、ガンマ補正処理、および、リニアマトリクス処理などを必要に応じて行うが、これらの処理を行う構成は、同図において省略されている。
【００６９】
ＹＣ変換部２７１は、画素データＲ、ＧおよびＢを輝度信号ＹＬと色差信号ＣｒおよびＣｂとに変換するものである。このＹＣ変換部２７１は、ローパスフィルタなどによりＲ画素以外の画素において画素データＲを補間し、Ｇ画素以外の画素において画素データＧを補間し、Ｂ画素以外の画素において画素データＢを補間する。そして、ＹＣ変換部２７１は、それらの画素データから輝度信号ＹＬと色差信号ＣｒおよびＣｂを生成する。これらの信号は、例えば、ＩＴＵ−Ｒ(International Telecommunication Union Radiocommunication Sector)．ＢＴ．６０１の規格に基づいて次の式により生成される。生成された輝度信号ＹＬは、輝度信号合成部２７３に供給される。
ＹＬ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１４４×Ｂ            ・・・式５
Ｃｂ＝−０．１６８７３６×Ｒ−０．３３１２６４×Ｇ＋０．５×Ｂ  ・・・式６
Ｃｒ＝０．５×Ｒ−０．４１８６８８×Ｇ−０．０８１３１２×Ｂ    ・・・式７
【００７０】
高周波補間部２７２は、所定の高周波補間フィルタによりＷ画素以外の画素において画素データＷ＋ＩＲを補間するものである。高周波補間部２７２は、それらの画素データを輝度信号合成部２７３に供給する。
【００７１】
輝度信号合成部２７３は、輝度信号ＹＬと画素データＷ＋ＩＲとから輝度信号Ｙを合成するものである。この輝度信号合成部２７３は、例えば、次の式を使用して、輝度信号Ｙを合成する。合成された輝度信号Ｙと色差信号ＣｒおよびＣｂとからなる画像データは、出力画像データとして記録部１４０へ出力される。
Ｙ＝（Ｐ×ＹＬ＋（１−Ｐ）×(Ｗ＋ＩＲ)Ｌ）＋（Ｗ＋ＩＲ−(Ｗ＋ＩＲ)Ｌ）・・・式８
上式において、(Ｗ＋ＩＲ)Ｌは、Ｗ＋ＩＲのLPF出力であり、Ｗ＋ＩＲ−(Ｗ＋ＩＲ)ＬによってＷ＋ＩＲの高周波領域が抽出される。Ｐは、「０」乃至「１」の係数である。
【００７２】
このように、低周波領域において輝度の再現性に優れたＹＬと高周波領域においてＳ／Ｎ（Signal to Noise）比が良好なＷ＋ＩＲとを輝度信号合成部２７３が合成することにより、良好なＳ／Ｎ比の輝度信号Ｙが生成される。可視光成分が小さい場合には、Ｗ＋ＩＲの割合を増やすことでＳ／Ｎ比が確保される。また、この輝度信号Ｙと色差信号ＣｒおよびＣｂとを出力することにより、色再現性が高く、輝度の高い画像データが表示される。
【００７３】
図１１は、第１の実施の形態における高周波補間フィルタの一例を示す図である。高周波補間部２７２は、Ｗ画素においてＷ＋ＩＲをそのまま出力し、それ以外の画素においてＷ＋ＩＲを周囲の画素から補間する。補間対象の画素において高周波補間部２７２は、同図に示すように、上下左右の画素のＷ＋ＩＲに係数１／４を乗算した結果の加算値を補間する同時化処理を行う。
【００７４】
図１２は、第１の実施の形態における赤外線分離前後の画像データとフレームメモリに保持される画素データとの一例を示す図である。同図におけるａは、赤外線分離前の画像データ５０１の一例を示す図である。この画像データ５０１は、画素データＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＷ＋ＩＲを含む。同図におけるｂは、赤外線分離後の画像データ５０２の一例を示す図である。この画像データ５０２は、赤外光成分が除去された画素データＲ、Ｇ、およびＢと、除去されていない画素データＷ＋ＩＲとを含む。
【００７５】
図１２におけるｃは、赤外光の照射時にフレームメモリ２５０に保持される画素データの一例を示す図である。赤外光の照射時には、画像データ５０２内の画素データＷ＋ＩＲが保持され、それ以外の画素データは書き戻される。同図におけるｄは、赤外光の非照射時にフレームメモリ２５０に保持される画素データの一例を示す図である。赤外光の照射時には、画像データ５０２内の画素データＲ、ＧおよびＢが保持され、それ以外の画素データは書き戻される。このように、更新する画素データ以外の画素データを書き戻すことにより、メモリ制御部２３０は、バースト転送により画素データを高速に書き込むことができる。
【００７６】
図１３は、第１の実施の形態における補間後のデータの一例を示す図である。同図におけるａは、画素データＲを補間したデータ５０３の一例を示す図である。同図におけるｂは、画素データＧを補間したデータ５０４の一例を示す図である。同図におけるｃは、画素データＢを補間したデータ５０５の一例を示す図である。同図におけるｄは、画素データＷ＋ＩＲを補間したデータ５０６の一例を示す図である。
【００７７】
図１４は、第１の実施の形態における合成前後のデータの一例を示す図である。同図におけるａは、データ５０３、５０４および５０５から生成された輝度信号ＹＬからなるデータ５０７の一例を示す図である。同図におけるｂは、データ５０３、５０４および５０５から生成された色差信号Ｃｒからなるデータ５０８の一例を示す図である。同図におけるｃは、データ５０３、５０４および５０５から生成された色差信号Ｃｂからなるデータ５０９の一例を示す図である。同図におけるｄは、データ５０６内の画素データＷ＋ＩＲとデータ５０７内の輝度信号ＹＬとを合成した輝度信号Ｙからなるデータ５１０の一例を示す図である。
【００７８】
［撮像装置の動作例］
図１５は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、画像を撮像するための所定の操作が行われたときに開始する。
【００７９】
撮像装置１００は、測光量と閾値Ｔｈ１とを比較して低照度であるか否かを判断する（ステップＳ９０１）。撮像装置１００は、低照度である場合に（ステップＳ９０１：Ｙｅｓ）ナイトモード撮像処理（ステップＳ９１０）を実行し、低照度でない場合に（ステップＳ９０１：Ｎｏ）、デイモード撮像処理（ステップＳ９２０）を実行する。
【００８０】
ステップＳ９１０およびＳ９２０の後、撮像装置１００は、撮像を停止させるための操作が行われたか否かを判断する（ステップＳ９０２）。撮像停止のための操作が行われた場合に（ステップＳ９０２：Ｙｅｓ）、撮像装置は、撮像のための動作を終了し、そうでない場合に（ステップＳ９０２：Ｎｏ）、ステップＳ９０１に戻る。
【００８１】
図１６は、第１の実施の形態におけるナイトモード撮像処理の一例を示すフローチャートである。撮像装置１００は、赤外光投光器１５０を点灯し（ステップＳ９１１）、画像データを撮像する（ステップＳ９１２）。撮像装置１００は、撮像した画像データにおいて赤外光成分を分離し（ステップＳ９１３）、画素データＷ＋ＩＲをフレームメモリ２５０に保持する（ステップＳ９１４）。
【００８２】
そして、撮像装置１００は、赤外光投光器１５０を消灯し（ステップＳ９１５）、画像データを撮像する（ステップＳ９１６）。撮像装置１００は、撮像した画像データにおいて赤外光成分を分離し（ステップＳ９１７）、画素データＲ、ＧおよびＢをフレームメモリ２５０に保持する（ステップＳ９１８）。撮像装置１００は、画素データＲ、ＧおよびＢと画素データＷ＋ＩＲとを合成して画像データを生成し（ステップＳ９１９）、ナイトモード撮像処理を終了する。
【００８３】
図１７は、第１の実施の形態におけるデイモード撮像処理の一例を示すフローチャートである。撮像装置１００は、赤外光投光器１５０を消灯し（ステップＳ９２１）、画像データを撮像する（ステップＳ９２２）。撮像装置１００は、撮像した画像データにおいて赤外光成分を分離し（ステップＳ９２３）、画像データを生成する（ステップＳ９２４）。ステップＳ９２４の後、撮像装置１００は、デイモード撮像処理を終了する。
【００８４】
このように本技術の第１の実施の形態によれば、撮像装置１００は、赤外光の照射時に画素データＲ、Ｇ、ＢおよびＷ＋ＩＲのうちＷ＋ＩＲをメモリに保持させ、非照射時に残りのＲ、Ｇ、Ｂをメモリに保持させるため、メモリの容量の増大を抑制することができる。これにより、コストの上昇や、消費電力の増大を抑制することができる。
【００８５】
［第１の変形例］
第１の実施の形態では、撮像装置１００は、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素が配列された撮像素子１３０により撮像していたが、この配列以外の撮像素子により撮像することもできる。例えば、撮像装置１００は、Ｒ画素、Ｇ画素、Ｂ画素およびＩＲ画素が配列された撮像素子１３０により画像を撮像してもよい。ここで、ＩＲ画素は、可視光を遮断して赤外光を透過させるフィルタと、光電変換素子とが設けられた画素である。このＩＲ画素は、赤外光のみを光電変換して、赤外光成分のみを含む画素データＩＲを生成する。第１の変形例の撮像装置１００は、Ｒ画素、Ｇ画素、Ｂ画素およびＩＲ画素が配列された撮像素子１３０により画像を撮像する点において第１の実施の形態と異なる。
【００８６】
図１８は、第１の実施の形態の第１の変形例における画像データの一例を示す図である。同図におけるａは、赤外線分離前の画像データ５１５の一例を示す図である。この画像データ５１５は、画素データＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＩＲを含む。同図におけるｂは、赤外線分離後の画像データの一例を示す図である。第１の変形例では、画素データＲ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲから赤外光成分が除去され、画素データＩＲは赤外光成分が除去された画素データＧに置き換えられる。また、Ｇ＋ＩＲ画素は赤外光照射時にそのままフレームメモリ２５０上に保存される。
【００８７】
図１９は、第１の実施の形態の第１の変形例における赤外線分離部２１０の一構成例を示すブロック図である。第１の変形例の赤外線分離部２１０は、減算器２２１、２２２および２２３を備える。
【００８８】
減算器２２１は、画素データＲ＋ＩＲから画素データＩＲを減算して画素データＲとして出力するものである。減算器２２２は、画素データＧ＋ＩＲから画素データＩＲを減算して画素データＧとして出力するものである。減算器２２３は、画素データＢ＋ＩＲから画素データＩＲを減算して画素データＢとして出力するものである。また、第１の変形例の赤外線分離部２１０は、画素データＩＲを画素データＧに置き換えて出力する。
【００８９】
このように、第１の変形例によれば、撮像装置１００は、赤外光成分のみを含む画像データＩＲを生成するため、赤外光成分を算出する演算を行わずに、画素データＲ＋ＩＲ等から赤外光成分を除去することができる。
【００９０】
［第２の変形例］
第１の実施の形態では、撮像装置１００は、Ｒ画素、Ｇ画素、Ｂ画素およびＷ画素が配列された撮像素子１３０により撮像していたが、Ｒ画素、Ｇ画素、Ｂ画素およびＩＲ画素が配列された撮像素子１３０により画像を撮像してもよい。また、撮像装置１００は、白の可視光成分を含む画像データを生成して、その画素データにより画素データＩＲを置き換えてもよい。この白の可視光成分を用いて、撮像装置１００は、輝度の高い画像データを生成することができる。第２の変形例の撮像装置は、白の可視光成分を含む画像データを生成して、その画素データにより画素データＩＲを置き換える点において第１の実施の形態と異なる。
【００９１】
図２０は、第１の実施の形態の第２の変形例における画像データの一例を示す図である。同図におけるａは、赤外線分離前の画像データ５１５の一例を示す図である。この画像データ５１５は、画素データＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＩＲを含む。同図におけるｂは、赤外線分離後の画像データの一例を示す図である。第１の変形例では、画素データＲ＋ＩＲ、Ｇ＋ＩＲおよびＢ＋ＩＲから赤外光成分が除去され、画素データＩＲは画素データＷ＋４ＩＲに置き換えられる。
【００９２】
図２１は、第１の実施の形態の第１の変形例における赤外線分離部２１０の一構成例を示すブロック図である。第１の変形例の赤外線分離部２１０は、加算器２２４、２２５および２２６をさらに備える点において第２の変形例と異なる。
【００９３】
加算器２２４は、画素データＲ＋ＩＲおよびＧ＋ＩＲを加算して加算器２２５に供給するものである。加算器２２５は、加算器２２４の加算結果に画素データＢ＋ＩＲを加算して加算器２２６に供給するものである。加算器２２６は、加算器２２５の加算結果に画素データＩＲを加算して画素データＷ＋４ＩＲとして画素データＩＲの代わりに出力するものである。この画素データＷ＋４ＩＲは、画素データＲ＋ＩＲ、Ｇ＋ＩＲ、Ｂ＋ＩＲおよびＩＲを全て加算したものであるため、それらの画素データよりも輝度値が高くなっている。
【００９４】
これらの加算器２２４、２２５および２２６により、次の式に示す演算が行われる。
Ｗ＋４ＩＲ＝Ｒ＋ＩＲ＋Ｇ＋ＩＲ＋Ｂ＋ＩＲ＋ＩＲ                        ・・・式９
【００９５】
このように、第２の変形例によれば、撮像装置１００は、輝度値を高くした画素データＷ＋４ＩＲを生成するため、その画素データＷ＋４ＩＲから高輝度の出力画像データを生成することができる。
【００９６】
［第３の変形例］
第１の実施の形態では、画素データＷ＋ＩＲを補間する際に補間対象の画素の上下左右の画素データから補間を行っていたが、エッジを検出し、そのエッジの方向に沿った隣接画素の画素データから補間を行ってもよい。第３の変形例の撮像装置１００は、エッジの方向に沿った隣接画素の画素データから補間を行う点において第１の実施の形態と異なる。
【００９７】
図２２は、第１の実施の形態の第３の変形例における高周波補間フィルタの一例を示す図である。同図におけるａは、垂直方向のエッジが検出された際に用いられる高周波補間フィルタの一例を示す図である。垂直方向のエッジが検出された際には、上下の画素の画素データＷ＋ＩＲのそれぞれに１／２を乗じた値の加算値が補間される。同図におけるｂは、水平方向のエッジが検出された際に用いられる高周波補間フィルタの一例を示す図である。水平方向のエッジが検出された際には、左右の画素の画素データＷ＋ＩＲのそれぞれに１／２を乗じた値の加算値が補間される。水平方向および垂直方向のいずれのエッジも検出されなかった場合には、第１の実施の形態と同様の高周波補間フィルタが用いられる。
【００９８】
このように、第３の変形例によれば、撮像装置１００は、エッジの方向に沿った隣接画素の画素データから補間を行うため、補間の精度を向上させることができる。
【００９９】
＜２．第２の実施の形態＞
第１の実施の形態では、撮像装置１００は、赤外線分離後の画像データ内の画素データをそのままフレームメモリ２５０に保持していたが、ノイズを低減する処理をさらに行ってから保持してもよい。例えば、撮像装置１００は、時間軸上において連続する２つの画像データを混合する３次元ノイズリダクションを行ってもよい。第２の実施の形態の撮像装置１００は、３次元ノイズリダクションをさらに行う点において第１の実施の形態と異なる。
【０１００】
図２３は、第２の実施の形態における画像処理部２００の一構成例を示すブロック図である。第２の実施の形態の画像処理部２００は、混合部２８０をさらに備える点において第１の実施の形態と異なる。
【０１０１】
混合部２８０は、フレームメモリ２５０に保持された過去の画像データと、赤外線分離部２１０からの現在の画像データとを混合するものである。混合部２８０は、混合した画像データをメモリ制御部２３０に供給する。
【０１０２】
図２４は、第２の実施の形態における混合部の一構成例を示すブロック図である。この混合部２８０は、乗算器２８１、２８３、２８４、２８６、２８７、２８９、２９０および２９２と、加算器２８２、２８５、２８８および２９１とを備える。
【０１０３】
乗算器２８１は、赤外線分離部２１０からの現在の画素データＲに所定の係数Ｋを乗算して加算器２８２に供給するものである。Ｋには、例えば、「０」乃至「１」未満の実数が設定される。Ｋの値は、小さいほど、ノイズ低減の効果が大きい。乗算器２８３は、フレームメモリ２５０からの過去の画素データＲに係数（１−Ｋ）を乗算して加算器２８２に供給するものである。加算器２８２は、乗算器２８１および２８３のそれぞれの乗算結果を加算して新たな画素データＲとしてメモリ制御部２３０に供給するものである。
【０１０４】
乗算器２８４は、赤外線分離部２１０からの現在の画素データＧに係数Ｋを乗算して加算器２８５に供給するものである。乗算器２８６は、フレームメモリ２５０からの過去の画素データＧに係数（１−Ｋ）を乗算して加算器２８５に供給するものである。加算器２８５は、乗算器２８４および２８６のそれぞれの乗算結果を加算して新たな画素データＧとしてメモリ制御部２３０に供給するものである。
【０１０５】
乗算器２８７は、赤外線分離部２１０からの現在の画素データＢに係数Ｋを乗算して加算器２８８に供給するものである。乗算器２８９は、フレームメモリ２５０からの過去の画素データＢに係数（１−Ｋ）を乗算して加算器２８８に供給するものである。加算器２８８は、乗算器２８７および２８９のそれぞれの乗算結果を加算して新たな画素データＢとしてメモリ制御部２３０に供給するものである。
【０１０６】
乗算器２９０は、赤外線分離部２１０からの現在の画素データＷ＋ＩＲに係数Ｋを乗算して加算器２９１に供給するものである。乗算器２９２は、フレームメモリ２５０からの過去の画素データＷ＋ＩＲに係数（１−Ｋ）を乗算して加算器２９１に供給するものである。加算器２９１は、乗算器２９０および２９２のそれぞれの乗算結果を加算して新たな画素データＷ＋ＩＲとしてメモリ制御部２３０に供給するものである。
【０１０７】
このように、第２の実施の形態によれば、撮像装置１００は、現在の画像データとフレームメモリ２５０内の過去の画像データとを混合することにより、動画におけるノイズを低減することができる。
【０１０８】
＜３．第３の実施の形態＞
第１の実施の形態では、撮像装置１００は、赤外光の照射時に画素データＲ、ＧおよびＢを書き戻し、非照射時に画素データＷ＋ＩＲを書き戻していたが、これらの書戻しを行わない構成とすることもできる。例えば、撮像装置１００は、画素データＲ、ＧおよびＢと画素データＷ＋ＩＲとをフレームメモリ２５０内の別々の領域に保持させてもよい。第３の実施の形態の撮像装置１００は、画素データＲ、ＧおよびＢと画素データＷ＋ＩＲとをフレームメモリ２５０内の別々の領域に保持させる点において第１の実施の形態と異なる。
【０１０９】
図２５は、第３の実施の形態における画像処理部２００の一構成例を示すブロック図である。第３の実施の形態の画像処理部２００は、メモリ制御部２３０の代わりにメモリ制御部２４０を備え、配列復元部２５５をさらに備える点において第１の実施の形態と異なる。また、第３の実施の形態のフレームメモリ２５０は、バンク２５１および２５２を備える。
【０１１０】
メモリ制御部２４０は、赤外線の照射時に、バンク２５１内の連続するアドレスに画素データＷ＋ＩＲを保持させ、非照射時にバンク２５２内の連続するアドレスに画素データＲ、ＧおよびＢを保持させる。メモリ制御部２４０は、第１の実施の形態と異なり、画素データの書戻しを行わない。
【０１１１】
配列復元部２５５は、フレームメモリ２５０に保持された画素データを読み出し、元の配列に復元するものである。
【０１１２】
図２６は、第３の実施の形態におけるメモリ制御部２４０の一構成例を示すブロック図である。このメモリ制御部２４０は、セレクタ２４１および２４２と、ライト制御部２４３とを備える。
【０１１３】
セレクタ２４１は、ピクセル切替信号に従って、画素データを選択するものである。このセレクタ２４１は、ピクセル切替信号がハイレベルである場合（すなわち、赤外光の照射時）に赤外線分離部２１０からの画素データのうち、画素データＷ＋ＩＲを選択して高輝度画素データとしてライト制御部２４３に供給する。
【０１１４】
セレクタ２４２は、ピクセル切替信号に従って、画素データを選択するものである。このセレクタ２４２は、ピクセル切替信号がローレベルである場合（すなわち、赤外光の非照射時）に赤外線分離部２１０からの画素データのうち、画素データＲ、ＧおよびＢを選択して低輝度画素データとしてライト制御部２４３に供給する。
【０１１５】
ライト制御部２４３は、セレクタ２３１および２３２により選択された画素データをフレームメモリ２５０に保持させる制御を行うものである。ライト制御部２４３は、画素データＷ＋ＩＲをバンク２５１にバースト転送して保持させ、画素データＲ、ＧおよびＢをバンク２５２にバースト転送して保持させる。
【０１１６】
図２７は、第３の実施の形態におけるフレームメモリ２５０に保持される画素データの一例を示す図である。同図におけるａは、バンク２５１に保持されるデータの一例を示す図である。このバンク２５１においては、連続する複数のアドレスのそれぞれに、画素データＷ＋ＩＲが保持される。同図におけるｂは、バンク２５２に保持されるデータの一例を示す図である。このバンク２５２においては、連続する複数のアドレスのそれぞれに、画素データＲ、ＧおよびＢのいずれかが保持される。
【０１１７】
入力画像データにおいて画素データＷ＋ＩＲは、互いに離隔して配列されているため、第１の実施の形態では、撮像装置１００は、この画素データをバースト転送して保持させる際に画素データＲ、ＧおよびＢをフレームメモリ２５０に書き戻す必要があった。同様に、画素データＲ、ＧおよびＢを保持させる際にも撮像装置１００は、画素データＷ＋ＩＲをフレームメモリ２５０に書き戻す必要があった。
【０１１８】
しかし、図２７に例示するように、第３の実施の形態では、画素データＷ＋ＩＲと、画素データＲ、ＧおよびＢとを別々のデータ領域（例えば、バンク２５１および２５２）に保持させる。このため、撮像装置１００は、書戻しを行わなくてもバースト転送により画素データを高速に書き込むことができる。また、第３の実施の形態では撮像装置１００が書戻しを行わないため、第１の実施の形態と比較して、フレームメモリ２５０へのアクセス頻度が半分となる。
【０１１９】
そして、配列復元部２５５は、別々の領域に保持された画素データＲ、Ｇ、ＢおよびＷ＋ＩＲを読み出して入力画像データにおける元の配列に復元する。例えば、入力画像データにおいて、奇数ラインの奇数番目に画素データＷ＋ＩＲが配列され、奇数ラインの偶数番目に画素データＧが配列されていたものとする。また、入力画像データの偶数ラインの奇数番目に画素データＢまたはＧが配列され、偶数ラインの偶数番目に画素データＷ＋ＩＲが保持されていたものとする。
【０１２０】
この場合に、例えば、メモリ制御部２４０は、「ｎ」（ｎは、整数）ラインの画素データを、バンク２５１および２５２のロウアドレス「ｎ」に保持させる。そして、配列復元部２５５は、バンク２５１の奇数のロウアドレスから読み出した画素データＷ＋ＩＲを奇数ラインの奇数番目に配列し、バンク２５２の奇数のロウアドレスから読み出した画素データＧを奇数ラインの偶数番目に配列する。また、配列復元部２５５は、バンク２５１の偶数のロウアドレスから読み出した画素データＲまたはＧを偶数ラインの奇数番目に配列し、バンク２５２の偶数のロウアドレスから読み出した画素データＷ＋ＩＲを偶数ラインの偶数番目に配列する。
【０１２１】
このように、第３の実施の形態によれば、撮像装置１００は、画素データＷ＋ＩＲと、画素データＲ、ＧおよびＢとをメモリ内の別々の領域に保持させるため、そのメモリへの書戻しを行わなくても画素データを高速に転送して保持させることができる。
【０１２２】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１２３】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１２４】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１２５】
なお、本技術は以下のような構成もとることができる。
（１）フレームメモリと、
輝度の異なる２つの入力画像データのうち輝度の高い方に含まれる複数の画素データの中から特定座標の前記画素データを高輝度画素データとして選択する高輝度画素データ選択部と、
前記２つの入力画像データのうち輝度の低い方に含まれる複数の画素データの中から前記特定座標以外の座標の前記画素データを低輝度画素データとして選択する低輝度画素データ選択部と、
前記選択された高輝度画素データおよび低輝度画素データのそれぞれを前記フレームメモリに保持させる制御部と、
前記保持された高輝度画素データおよび低輝度画素データを合成する合成部と
を具備する画像処理装置。
（２）前記保持された高輝度画素データおよび低輝度画素データを含む画像データを前記フレームメモリから過去画像データとして読み出して前記２つの入力画像データのそれぞれと前記過去画像データとを混合して新たな２つの入力画像データとして供給する混合部をさらに具備し、
前記高輝度画素データ選択部は、前記新たな入力画像データのうち輝度の高い方に含まれる前記複数の画素データの中から前記高輝度画素データを選択し、
前記低輝度画素データ選択部は、前記新たな入力画像データのうち輝度の低い方に含まれる前記複数の画素データの中から前記低輝度画素データを選択する
前記（１）記載の画像処理装置。
（３）前記フレームメモリには、２つのデータ領域が設けられ、
前記制御部は、前記２つのデータ領域の一方において連続する複数のアドレスのそれぞれに前記高輝度画素データを保持させ、前記２つのデータ領域の他方において連続する複数のアドレスのそれぞれに前記低輝度画素データを保持させる
前記（１）または（２）記載の画像処理装置。
（４）前記制御部は、前記高輝度画素データが選択された場合には前記保持された低輝度画素データを読み出して前記フレームメモリにおいて連続する複数のアドレスに前記読み出した低輝度画素データと前記選択された高輝度画素データとを保持させ、前記低輝度画素データが選択された場合には前記保持された高輝度画素データを読み出して前記連続する複数のアドレスに前記読み出した高輝度画素データと前記選択された低輝度画素データとを保持させる
前記（１）または（２）記載の画像処理装置。
（５）前記複数の画素データのそれぞれは、赤、緑、青および白のいずれかの可視光成分を含み、
高輝度画素データ選択部は、前記白の可視光成分を含む前記画素データを前記高輝度画素データとして選択し、
低輝度画素データ選択部は、前記赤の可視光成分を含む前記画素データと前記緑の可視光成分を含む前記画素データと前記青の可視光成分を含む前記画素データとを前記低輝度画素データとして選択する
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）前記特定座標以外の座標の画素データから不可視光成分を除去して前記低輝度画素データ選択部に供給する不可視光成分除去部をさらに具備し、
前記２つの入力画像データのうち輝度の高い方は、不可視光が照射されたときに撮像された画像データであり、
前記２つの入力画像データのうち輝度の低い方は、前記不可視光が照射されていないときに撮像された画像データである
請求項１記載の画像処理装置。
（７）前記複数の画素データのそれぞれは、赤の可視光成分と緑の可視光成分と青の可視光成分と不可視光成分とのいずれかを含み、
前記不可視光成分除去部は、不可視光成分を含む前記画素データを前記不可視光成分を除去した緑の可視光成分を含む前記画素データに置き換え、前記不可視光成分を除去した赤の可視光成分を含む前記画素データと前記不可視光成分を除去した青の可視光成分を含む前記画素データと前記不可視光成分を除去する前の緑の可視光成分を含む前記画素データとともに供給し、
前記高輝度画素データ選択部は、前記不可視光成分を除去する前の緑の可視光成分を含む画素データを前記高輝度画素データとして選択し、
前記低輝度画素データ選択部は、前記赤の可視光成分を含む前記画素データと前記置き換えられた緑の可視光成分を含む前記画素データと前記青の可視光成分を含む前記画素データとを前記低輝度画素データとして選択する
前記（６）記載の画像処理装置。
（８）前記複数の画素データのそれぞれは、赤の可視光成分と緑の可視光成分と青の可視光成分と前記可視光成分とのいずれかを含み、
前記不可視光成分除去部は、白の可視光成分を含む画素データを生成して前記不可視光成分を含む前記画素データを前記白の可視光成分を含む前記画素データに置き換え、
前記高輝度画素データ選択部は、前記置き換えられた画素データを前記高輝度画素データとして選択し、
前記低輝度画素データ選択部は、前記赤の可視光成分を含む前記画素データと前記緑の可視光成分を含む前記画素データと前記青の可視光成分を含む前記画素データとを前記低輝度画素データとして選択する
前記（６）記載の画像処理装置。
（９）輝度の異なる２つの入力画像データのそれぞれを撮像する撮像部と、
フレームメモリと、
前記２つの入力画像データのうち輝度の高い方に含まれる複数の画素データの中から特定座標の前記画素データを高輝度画素データとして選択する高輝度画素データ選択部と、
前記２つの入力画像データのうち輝度の低い方に含まれる複数の画素データの中から前記特定座標以外の座標の前記画素データを低輝度画素データとして選択する低輝度画素データ選択部と、
前記選択された高輝度画素データおよび低輝度画素データのそれぞれを前記フレームメモリに保持させる制御部と、
前記保持された高輝度画素データおよび低輝度画素データを合成する合成部と
を具備する撮像装置。
（１０）高輝度画素データ選択部が、輝度の異なる２つの入力画像データのうち輝度の高い方に含まれる複数の画素データの中から特定座標の前記画素データを高輝度画素データとして選択する高輝度画素データ選択手順と、
低輝度画素データ選択部が、前記２つの入力画像データのうち輝度の低い方に含まれる複数の画素データの中から前記特定座標以外の座標の前記画素データを低輝度画素データとして選択する低輝度画素データ選択手順と、
制御部が、前記選択された高輝度画素データおよび低輝度画素データのそれぞれをフレームメモリに保持させる制御手順と、
合成部が、前記保持された高輝度画素データおよび低輝度画素データを合成する合成手順と
を具備する画像処理方法。
（１１）高輝度画素データ選択部が、輝度の異なる２つの入力画像データのうち輝度の高い方に含まれる複数の画素データの中から特定座標の前記画素データを高輝度画素データとして選択する高輝度画素データ選択手順と、
低輝度画素データ選択部が、前記２つの入力画像データのうち輝度の低い方に含まれる複数の画素データの中から前記特定座標以外の座標の前記画素データを低輝度画素データとして選択する低輝度画素データ選択手順と、
制御部が、前記選択された高輝度画素データおよび低輝度画素データのそれぞれをフレームメモリに保持させる制御手順と、
合成部が、前記保持された高輝度画素データおよび低輝度画素データを合成する合成手順と
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１２６】
１００  撮像装置
１１０  撮像レンズ
１２０  光学フィルタ
１３０  撮像素子
１４０  記録部
１５０  赤外光投光器
１６０  撮像制御部
１７０  測光部
２００  画像処理部
２１０  赤外線分離部
２１１、２１５、２１６、２１７、２８１、２８３、２８４、２８６、２８７、２８９、２９０、２９２  乗算器
２１２、２１３、２１４、２２４、２２５、２２６、２８２、２８５、２８８、２９１  加算器
２１８、２１９、２２０、２２１、２２２、２２３  減算器
２３０、２４０  メモリ制御部
２３１、２３２、２４１、２４２  セレクタ
２３３、２４３  ライト制御部
２５０  フレームメモリ
２５１、２５２  バンク
２５５  配列復元部
２６０  切替部
２７０  合成部
２７１  ＹＣ変換部
２７２  高周波補間部
２７３  輝度信号合成部
２８０  混合部
【図１】
2016015667.tif 000003
【図２】
2016015667.tif 000004
【図３】
2016015667.tif 000005
【図４】
2016015667.tif 000006
【図５】
2016015667.tif 000007
【図６】
2016015667.tif 000008
【図７】
2016015667.tif 000009
【図８】
2016015667.tif 000010
【図９】
2016015667.tif 000011
【図１０】
2016015667.tif 000012
【図１１】
2016015667.tif 000013
【図１２】
2016015667.tif 000014
【図１３】
2016015667.tif 000015
【図１４】
2016015667.tif 000016
【図１５】
2016015667.tif 000017
【図１６】
2016015667.tif 000018
【図１７】
2016015667.tif 000019
【図１８】
2016015667.tif 000020
【図１９】
2016015667.tif 000021
【図２０】
2016015667.tif 000022
【図２１】
2016015667.tif 000023
【図２２】
2016015667.tif 000024
【図２３】
2016015667.tif 000025
【図２４】
2016015667.tif 000026
【図２５】
2016015667.tif 000027
【図２６】
2016015667.tif 000028
【図２７】
2016015667.tif 000029