(57)【要約】      （修正有）【課題】マルチスペクトル画像から生成した画像における偽色の発生を抑制する画像処理装置、画像処理方法、及び撮像装置を提供する。【解決手段】撮像装置の信号処理部１４Ａは、第１の色数を有するモザイク画像に、第１の色数より少なく、３色以上の第２の色数を有するマルチスペクトル画像を生成するデモザイク処理であって、モザイク画像の各画素における局所平均値を色毎に算出し、局所平均値を用いて前記各画素の画素値を補間する処理を含むデモザイク処理を適用する。【選択図】図５
2019080245.tif 000002
【特許請求の範囲】
【請求項１】
第１の色数を有するモザイク画像にデモザイク処理を適用して、前記第１の色数より少なく、３色以上の第２の色数を有するマルチスペクトル画像を生成するデモザイク処理部を備える画像処理装置。
【請求項２】
前記デモザイク処理部が前記モザイク画像に適用する前記デモザイク処理は、前記モザイク画像の各画素における局所平均値を色毎に算出し、前記局所平均値を用いて前記各画素の画素値を補間する処理を含む、請求項１に記載の画像処理装置。
【請求項３】
前記局所平均値は、前記第２の色数に対応するように、前記第１の色数に含まれる色のうち複数の色が平均化された色毎に算出される、請求項２に記載の画像処理装置。
【請求項４】
前記複数の色の間の分光感度の相関は、前記第１の色数に含まれる他の色間の分光感度の相関に比べて高い、請求項３に記載の画像処理装置。
【請求項５】
前記デモザイク処理部は、前記モザイク画像に基づいて生成される輝度信号に基づいて、前記マルチスペクトル画像を生成する、請求項３に記載の画像処理装置。
【請求項６】
前記デモザイク処理部は、前記輝度信号に基づいて、前記局所平均値を色毎に算出する、請求項５に記載の画像処理装置。
【請求項７】
前記デモザイク処理部は、前記輝度信号を用いたエッジ検出により得られるエッジ情報に基づいて、前記局所平均値を算出する、請求項６に記載の画像処理装置。
【請求項８】
前記デモザイク処理部は、第１の色数を有するモザイク画像にデモザイク処理を適用して前記第１の色数を有するマルチスペクトル画像をさらに生成する、請求項１に記載の画像処理装置。
【請求項９】
前記画像処理装置は、前記第１の色数を有するマルチスペクトル画像と前記第２の色数を有するマルチスペクトル画像との各々にリニアマトリクス処理を適用して、前記第２の色数よりも少ない第３の色数を有する第１の画像と前記第３の色数を有する第２の画像とを生成するリニアマトリクス処理部をさらに備える、請求項８に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、前記第１の画像と前記第２の画像との合成処理を行う合成処理部をさらに備える、請求項９に記載の画像処理装置。
【請求項１１】
前記合成処理部が行う前記合成処理は、前記第１の画像と前記第２の画像をブレンド係数に応じてブレンドするブレンド処理を含む、請求項１０に記載の画像処理装置。
【請求項１２】
前記合成処理部は、前記第１の画像の彩度と前記第２の画像の彩度とに基づいて、前記ブレンド係数を決定する、請求項１１に記載の画像処理装置。
【請求項１３】
前記合成処理部は、前記モザイク画像に基づいて生成される輝度信号に基づいて、前記合成処理を行う、請求項１１に記載の画像処理装置。
【請求項１４】
前記合成処理部は、前記輝度信号を用いたエッジ検出により得られるエッジ情報に基づいて、前記ブレンド係数を決定する、請求項１３に記載の画像処理装置。
【請求項１５】
前記輝度信号は、前記モザイク画像に所定のフィルタを適用することにより生成される、請求項５に記載の画像処理装置。
【請求項１６】
前記所定のフィルタは、２×２画素のボックスフィルタである、請求項１５に記載の画像処理装置。
【請求項１７】
プロセッサが、第１の色数を有するモザイク画像にデモザイク処理を適用して、第１の色数より少なく、３色以上の第２の色数を有するマルチスペクトル画像を生成することを含む、画像処理方法。
【請求項１８】
分光特性が異なる複数種類のフィルタのうちいずれかのフィルタが各画素位置に割り当てられたカラーフィルタを有し、前記フィルタの種類数と同数である第１の色数を有するモザイク画像を取得する撮像部と、
前記モザイク画像にデモザイク処理を適用して、前記第１の色数より少なく、３色以上の第２の色数を有するマルチスペクトル画像を生成するデモザイク処理部と、
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、及び撮像装置に関する。
【背景技術】
【０００２】
分光特性が異なる複数種類のフィルタのうちいずれかを、単板式の撮像素子の各画素に対応するように配置したカラーフィルタが用いられる場合、当該撮像素子は１画素辺り１色しか得ることができない。そのため、当該撮像素子により取得される画像は色に関してモザイク状のモザイク画像となる。そこで、このような撮像素子を用いた単板式カラー撮像装置では、デモザイク処理と呼ばれる、周囲の画素から得られる色情報を利用した補間処理を行うことにより、このようなモザイク画像から全画素で全ての色が揃った画像を生成することが行われている。
【０００３】
このような単板式カラー撮像装置では、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の３色を有するカラーフィルタが用いられることが多いが、一方で、例えば下記特許文献１に記載されるように、３色より多い色数を有するカラーフィルタも存在する。また、このような３色より多い所定の色数を有するカラーフィルタを用いて、当該所定の色数を有するモザイク画像を取得し、当該モザイク画像にデモザイク処理を適用して、全画素に当該所定の色数の全色を揃えた画像を生成することも行われている。このような全画素に複数色の全色を揃えた画像は、マルチスペクトル画像と呼ばれる。また、マルチスペクトル画像にリニアマトリクス処理を適用して、３色のＲＧＢ画像を生成することも行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２５１３９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、撮像素子が備えるカラーフィルタが有する色数が多くなる程、１色辺りの画素数が減るため、デモザイク処理で得られたマルチスペクトル画像の各色において、エイリアシング（高周波成分の低周波数領域への折り返し）が発生しやすくなる。画像においてエイリアシングは、本来存在しない色を発生させることに繋がり、エイリアシングによって発生するこのような本来存在しない色は偽色と呼ばれる。また、結果として、マルチスペクトル画像から生成されたＲＧＢ画像においても偽色が発生してしまう恐れがあった。
【０００６】
そこで、本開示では、偽色の発生を抑制することが可能な、画像処理装置、画像処理方法、及び撮像装置を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、第１の色数を有するモザイク画像にデモザイク処理を適用して、前記第１の色数より少なく、３色以上の第２の色数を有するマルチスペクトル画像を生成するデモザイク処理部を備える画像処理装置が提供される。
【０００８】
また、本開示によれば、プロセッサが、第１の色数を有するモザイク画像にデモザイク処理を適用して、第１の色数より少なく、３色以上の第２の色数を有するマルチスペクトル画像を生成することを含む、画像処理方法が提供される。
【０００９】
また、本開示によれば、分光特性が異なる複数種類のフィルタのうちいずれかのフィルタが各画素位置に割り当てられたカラーフィルタを有し、前記フィルタの種類数と同数である第１の色数を有するモザイク画像を取得する撮像部と、前記モザイク画像にデモザイク処理を適用して、前記第１の色数より少なく、３色以上の第２の色数を有するマルチスペクトル画像を生成するデモザイク処理部と、を備える撮像装置が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、偽色の発生を抑制することが可能である。
【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】カラーフィルタ配列の例を示す説明図である。
【図２】３色より多い色数Ｍを有するモザイク画像から、ＲＧＢ画像を生成する一連の処理例を示す説明図である。
【図３】エイリアシングについて説明するための説明図である。
【図４】本開示の一実施形態に係る撮像装置１０（画像処理装置の一例）の構成例を示すブロック図である。
【図５】図４の信号処理部１４の第１の例である信号処理部１４Ａの構成を示すブロック図である。
【図６】第１のデモザイク処理部１４２の構成例を示すブロック図である。
【図７】カラーフィルタ配列ＣＦＡ８１において２×２画素が混合された信号の分光特性の例を示すグラフである。
【図８】ノイズ除去を行う前と後の輝度信号の例を模式的に示した図である。
【図９】第２のデモザイク処理部１４３の構成を示すブロック図である。
【図１０】図１のカラーフィルタ配列ＣＦＡ８１において同系色平均化処理を適用した例を模式的に示す説明図である。
【図１１】色数による等色関数の再現性の違いいを示すグラフである。
【図１２】合成処理部１４８の詳細な構成を示すブロック図である。
【図１３】信号処理部１４Ａの動作の一例を示すフローチャート図である。
【図１４】ステップＳ１１の第１のデモザイク処理の詳細を示すフローチャート図である。
【図１５】ステップＳ１５の第２のデモザイク処理の詳細を示すフローチャート図である。
【図１６】ステップＳ１９の合成処理の詳細を示すフローチャート図である。
【図１７】図４の信号処理部１４の第２の例である信号処理部１４Ｂの構成を示すブロック図である。
【図１８】第１のデモザイク処理部１４４の構成を示すブロック図である。
【図１９】第２のデモザイク処理部１４５の構成を示すブロック図である。
【図２０】合成処理部１４９の詳細な構成を示すブロック図である。
【図２１】信号処理部１４Ｂの動作の一例を示すフローチャート図である。
【図２２】ステップＳ２９の合成処理の詳細を示すフローチャート図である。
【図２３】撮像素子１２のカラーフィルタ配列の例を示す説明図である。
【図２４】撮像素子１２のカラーフィルタ配列の例を示す説明図である。
【図２５】図４の撮像素子１２の回路の構成例を示すブロック図である。
【図２６】図４の撮像素子１２の第１の構成例である撮像素子１２Ａの断面を模式的に示している。
【図２７】ホールアレイ構造のプラズモンフィルタ１２１Ａの構成例を示している。
【図２８】ホールアレイ構造のプラズモンフィルタの他の構成例を示す図である。
【図２９】ホールアレイ構造のプラズモンフィルタのさらなる他の構成例を示す図である。
【図３０】２層構造のプラズモンフィルタの構成例を示す図である。
【図３１】ドットアレイ構造のプラズモンフィルタの構成例を示す図である。
【図３２】ドットアレイ構造のプラズモンフィルタの構成例を示す図である。
【図３３】ＧＭＲを用いたプラズモンフィルタの構成例を示す図である。
【図３４】撮像素子１２の第２の構成例である撮像素子１２Ｂの断面を模式的に示している。
【図３５】撮像素子１２の第３の構成例である撮像素子１２Ｃの断面を模式的に示している。
【図３６】内視鏡手術システムの概略的な構成の一例を示す図である。
【図３７】カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【図３８】車両制御システムの概略的な構成の一例を示すブロック図である。
【図３９】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【図４０】ハードウェア構成例を示す説明図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
＜＜１．背景＞＞
＜＜２．撮像装置の構成例＞＞
＜＜３．信号処理部＞＞
＜３−１．信号処理部の第１の例＞
＜３−２．信号処理部の第２の例＞
＜３−３．変形例＞
＜＜４．撮像素子＞＞
＜４−１．撮像素子のカラーフィルタ配列の例＞
＜４−２．撮像素子の回路の構成例＞
＜４−３．撮像素子の第１の構成例＞
＜４−４．撮像素子の第２の構成例＞
＜４−５．撮像素子の第３の構成例＞
＜＜５．応用例＞＞
＜５−１．内視鏡手術システムへの応用例＞
＜５−２．移動体への応用例＞
＜５−３．その他の応用例＞
＜＜６．ハードウェア構成例＞＞
＜＜７．むすび＞＞
【００１５】
＜＜１．背景＞＞
まず、本開示の実施の形態について詳細に説明する前に、本開示の実施の形態の背景について説明する。まず、単板式カラー撮像装置で用いられるカラーフィルタの配列について、図１を参照して説明を行う。図１は、カラーフィルタ配列の例を示す説明図である。
【００１６】
図１に示すカラーフィルタ配列ＣＦＡ３１は、単板式カラー撮像装置で広く用いられている、いわゆるBayer配列であり、Ｇ（緑色）のフィルタが市松状に配置され、Ｒ（赤色）とＢ（青色）のフィルタの倍の密度で存在する。Ｇ（緑色）のフィルタが市松状に配置されていることを利用してデモザイク処理を行うことで、水平、垂直方向の解像度を上げられることが知られている。
【００１７】
一方で、３色より多い色数を有するカラーフィルタを用いることで、色再現や波長分解能の向上が可能であることが知られている。後述する本開示の一実施形態による撮像装置は、３色より多い色数を有するカラーフィルタを有する。図１に示すカラーフィルタ配列ＣＦＡ８１は、本開示の一実施形態に係るカラーフィルタ配列の一例である。図１に示すようにカラーフィルタ配列ＣＦＡ８１では、色Ｃ１〜Ｃ８のうちいずれかのフィルタが各画素位置に割り当てられている。カラーフィルタ配列ＣＦＡ８１のように３色より多い色数を有するカラーフィルタ配列を用いた撮像素子は、マルチスペクトルイメージセンサと呼ばれる。
【００１８】
また、マルチスペクトルイメージセンサにより取得される３色より多い色数を有するモザイク画像から、３色のＲＧＢ画像を生成することも可能である。図２は、３色より多い色数Ｍ（ただしＭは整数）を有するモザイク画像から、ＲＧＢ画像を生成する一連の処理例を示す説明図である。
【００１９】
図２を参照すると、まず３色より多い色数Ｍを有するモザイク画像にデモザイク処理が適用され（Ｓ９１０）、色数Ｍを有するマルチスペクトル画像が生成される。さらに色数Ｍで表される色空間からＲＧＢ色空間（例えばｓＲＧＢ色空間）へ変換するためのリニアマトリクス処理が、当該マルチスペクトル画像に適用されると（Ｓ９２０）、ＲＧＢ画像が生成される。
【００２０】
このようにして３色より多い色数を有するモザイク画像からＲＧＢ画像を生成することで、図１に示すカラーフィルタ配列ＣＦＡ３１を用いて得られた３色のモザイク画像からＲＧＢ画像を生成するよりも、色再現が向上することが期待される。このように、色再現をより向上させるためにはカラーフィルタが有する色数を増やすことが望ましいが、その一方で、色数が多くなる程、１色辺りの画素数が減り、各色のサンプリング間隔が大きくなってしまう。一般に、信号に含まれる周波数成分に対してサンプリング間隔が不十分である場合、高周波成分が低周波領域へ折り返すエイリアシングと呼ばれる現象が発生することが知られている。
【００２１】
図３は、エイリアシングについて説明するための説明図である。図３には、元信号ＳＧ１と、元信号ＳＧ１を所定のサンプリング間隔でサンプリングして得られたサンプリング点ＳＰ１〜ＳＰ１２から再構成された復元信号ＳＧ２とが示されている。ここで、サンプリング間隔の逆数であるサンプリング周波数ｆｓが、元信号ＳＧ１に含まれる最大周波数の２倍以上であれば、元信号ＳＧ１と復元信号ＳＧ２が一致することが知られている。しかし、ナイキスト周波数と呼ばれるサンプリング周波数ｆｓの半分の周波数ｆｓ／２よりも高い周波数ｆが元信号ＳＧ１に含まれる場合、元信号ＳＧ１には存在しない偽の周波数ｆｓ−ｆがエイリアシングとして復元信号ＳＧ２に発生してしまう。その結果、図３に示すように、元信号ＳＧ１と復元信号ＳＧ２とが一致しない。
【００２２】
画像においてエイリアシングは、本来存在しない色を発生させることに繋がり、エイリアシングによって発生するこのような本来存在しない色は偽色と呼ばれる。カラーフィルタが有する色数が多い程、各色の空間的なサンプリング間隔は大きくなり、その結果、高周波成分を有する領域で偽色が発生し易くなる。また、マルチスペクトル画像において偽色が発生した場合、当該マルチスペクトル画像から生成されたＲＧＢ画像においても偽色が発生してしまう。
【００２３】
上述したように、サンプリング周波数が元信号に含まれる最大周波数の２倍以上であればエイリアシングは発生しないため、十分に小さなサンプリング間隔で各色のサンプリングを行うことで偽色の発生を抑制することが可能である。一方、単板式のマルチスペクトルイメージセンサでは、色数とサンプリング間隔はトレードオフの関係にあり、サンプリング間隔を小さくするためには色数を減らすこととなり、色再現の低下につながる。
【００２４】
そこで、本件開示者は、上述事情を一着眼点にして本開示の一実施形態を創作するに至った。以下に説明する本開示の一実施形態による撮像装置では、色数Ｍを有するモザイク画像にデモザイク処理を適用して、色数Ｍを有するマルチスペクトル画像だけでなく、色数Ｍより小さく、３色以上の色数Ｎを有するマルチスペクトル画像をも生成する。図２に示したデモザイク処理（Ｓ９１０）は、色数Ｍを有するモザイク画像から色数Ｍを有するマルチスペクトル画像を生成する処理であるため、係る点において、本実施形態に係るデモザイク処理は図２に示したデモザイク処理（Ｓ９１０）と異なる。さらに、本実施形態による撮像装置は、色数Ｍを有するマルチスペクトル画像と、色数Ｎを有するマルチスペクトル画像のそれぞれにリニアマトリクス処理を適用してＲＧＢ画像を生成する。つまり、図２に示した例と比較すると、図２に示した例では色数を減らす方法がリニアマトリクス処理（Ｓ９２０）のみであったが、本実施形態によれば、デモザイク処理とリニアマトリクス処理が協調して色数を減らすことが可能である。そして、本実施形態による撮像装置は、彩度や画像に含まれる高周波成分を示すエッジ情報等に基づいて、色数Ｍを有するマルチスペクトル画像から生成されるＲＧＢ画像と、色数Ｎを有するマルチスペクトル画像から生成されるＲＧＢ画像とを合成する。係る構成により、色再現を向上させつつ、偽色の発生を抑制することが可能である。以下では、上記の効果を奏する本開示の一実施形態について詳細に説明する。
【００２５】
＜＜２．撮像装置の構成例＞＞
図４は、本開示の一実施形態に係る撮像装置１０（画像処理装置の一例）の構成例を示すブロック図である。図１の撮像装置１０は、例えば、静止画像及び動画像（以下、まとめて単に画像と呼ぶ場合がある）のいずれも撮像することが可能なデジタルカメラである。また、撮像装置１０は、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、または、Ｙ（黄）、Ｍ（マゼンダ）、Ｃ（シアン）の３つの波長帯域（３バンド）より多い４以上の波長帯域（４バンド以上）の光（マルチスペクトル）を検出可能なマルチスペクトルカメラである。
【００２６】
図４に示すように、撮像装置１０は、光学系１１、撮像素子１２（撮像部の一例）、メモリ１３、信号処理部１４、出力部１５、及び、制御部１６を備える。
【００２７】
光学系１１は、例えば、図示せぬズームレンズ、フォーカスレンズ、絞り等を備え、外部からの光を、撮像素子１２に入射させる。また、光学系１１には、必要に応じて偏光フィルタ等の各種のフィルタが設けられる。
【００２８】
撮像素子１２は、例えば、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサからなる撮像部である。撮像素子１２は、単板式のマルチスペクトルイメージセンサであり、撮像素子１２のカラーフィルタ配列は、例えば図１に示すカラーフィルタ配列ＣＦＡ８１であってもよい。撮像素子１２は、光学系１１からの入射光を受光し、光電変換を行って、入射光に対応するモザイク画像を取得し、メモリ１３へ出力する。
【００２９】
なお、以下では、撮像素子１２の有するカラーフィルタの色数、すなわち撮像素子１２が取得するモザイク画像の色数を第１の色数Ｍ、あるいは単に第１の色数と呼ぶ場合がある。また、撮像素子１２の詳細な構成例については、図２３〜図３５を参照して後により詳細に説明する。
【００３０】
メモリ１３は、撮像素子１２が出力するモザイク画像を一時的に記憶する。
【００３１】
信号処理部１４は、撮像素子１２によって取得され、メモリ１３に記憶されたモザイク画像に信号処理を適用して生成された画像を出力部１５に供給する。
【００３２】
出力部１５は、信号処理部１４により生成された画像を出力する。例えば、出力部１５は、液晶等で構成されるディスプレイ（不図示）を有し、信号処理部１４から出力された画像に対応するスペクトルを、いわゆるスルー画として表示する。例えば、出力部１５は、半導体メモリ、磁気ディスク、光ディスク等の記録媒体を駆動するドライバ（不図示）を備え、信号処理部１４からの画像データを記録媒体に記録する。例えば、出力部１５は、図示せぬ外部の装置との通信を行う通信インタフェースとして機能し、信号処理部１４からの画像を、外部の装置に無線又は有線で送信する。
【００３３】
制御部１６は、ユーザの操作等に従い、撮像装置１０の各部を制御する。
【００３４】
＜＜３．信号処理部＞＞
以上、本開示の一実施形態に係る撮像装置１０の構成例について説明した。続いて、撮像装置１０が備える本実施形態に係る信号処理部１４について、図５〜図２２を参照して説明を行う。
【００３５】
＜３−１．信号処理部の第１の例＞
（構成例）
図５は、図４の信号処理部１４の第１の例である信号処理部１４Ａの構成を示すブロック図である。図５に示すように、信号処理部１４Ａは、第１のデモザイク処理部１４２、第２のデモザイク処理部１４３、第１のリニアマトリクス処理部１４６、第２のリニアマトリクス処理部１４７、及び合成処理部１４８を有する。
【００３６】
第１のデモザイク処理部１４２、及び第２のデモザイク処理部１４３は、撮像素子１２によって取得され、メモリ１３に記憶された第１の色数を有するモザイク画像にデモザイク処理を適用してマルチスペクトル画像を生成する。以下、第１のデモザイク処理部１４２、及び第２のデモザイク処理部１４３の機能構成について順次説明する。なお、第１のデモザイク処理部１４２、及び第２のデモザイク処理部１４３をまとめて単に信号処理部１４Ａが有するデモザイク処理部と称する場合がある。
【００３７】
第１のデモザイク処理部１４２は、メモリ１３から提供される第１の色数Ｍを有するモザイク画像にデモザイク処理を適用して、当該第１の色数Ｍを有するマルチスペクトル画像を生成する。
【００３８】
図６は、第１のデモザイク処理部１４２の構成例を示すブロック図である。図６に示すように、第１のデモザイク処理部１４２は、輝度生成部７１、エッジ検出部７２、輝度局所平均値算出部７３、局所平均値算出部７５、及び色比補間部７８を有する。なお、輝度生成部７１、エッジ検出部７２、輝度局所平均値算出部７３、局所平均値算出部７５、及び色比補間部７８による処理を総称して第１のデモザイク処理部１４２による第１のデモザイク処理と呼ぶ。
【００３９】
輝度生成部７１は、メモリ１３から提供されるモザイク画像に基づいて輝度信号を生成する。輝度生成部７１は、例えばモザイク画像に所定のフィルタを適用することにより輝度信号を生成してもよい。
【００４０】
輝度生成部７１がモザイク画像に適用する所定のフィルタは、例えば２×２画素のボックスフィルタであってもよい。２×２画素のボックスフィルタの周波数特性は、ナイキスト周波数でＮＵＬＬ点が生じるローパスフィルタである。そのため、被写体がグレーであるような、どの色でも類似した信号が得られる条件下において、２×２画素のボックスフィルタを適用することで生成される輝度信号にはナイキスト周波数付近まで高周波成分が含まれていることが期待される。つまり、２×２画素のボックスフィルタを採用することにより、輝度信号がボケにくいという効果が得られる。
【００４１】
例えば、図１のカラーフィルタ配列ＣＦＡ８１において、いずれの２×２画素を選択しても、当該２×２画素の範囲に含まれる色が、赤系の色が１色、青系の色が１色、緑系の色が２色である場合について以下で検討する。係るカラーフィルタ配列ＣＦＡ８１に基づいて得られたモザイク画像に２×２画素のボックスフィルタを適用することで、いずれの２×２画素においても、赤系、青系、緑系の色が混合された輝度信号が得られる。
【００４２】
図７は、カラーフィルタ配列ＣＦＡ８１において２×２画素が混合された信号の分光特性の例を示すグラフである。画素位置毎に混合される色が異なるため、混合語の分光にも複数のパターンが生じる。カラーフィルタ配列ＣＦＡ８１において、２×２画素を選択するパターンは８パターン存在し、各パターンが図７に示すグラフの分光特性曲線Ｌ１〜Ｌ８に対応する。図７に示すように、分光特性曲線Ｌ１〜Ｌ８は概して類似した特性が得られていることがわかる。そのため、このようなカラーフィルタ配列ＣＦＡ８１に基づいて得られたモザイク画像に２×２画素のボックスフィルタを適用することで、容易に輝度信号を生成することが可能となる。
【００４３】
ただし、上述したように混合後の分光には複数のパターンが存在するため、輝度信号にチェッカーパターン状のノイズが生じる場合がある。そこで、輝度生成部７１は、所定のフィルタを適用して生成された輝度信号に対して、ノイズ除去処理を適用してもよい。輝度生成部７１が適用するノイズ除去処理は、例えばエッジ保存平滑化処理であってもよい。
【００４４】
図８は、ノイズ除去を行う前と後の輝度信号の例を模式的に示した図である。図８に示すように、エッジ保存平滑化処理により、エッジにボケが発生することなく、チェッカーパターン状のノイズを除去することが可能である。
【００４５】
なお、上記では、輝度生成部７１が２×２画素のボックスフィルタをモザイク画像に適用する例を説明したが、輝度生成部７１が適用するフィルタは２×２画素のボックスフィルタに限定されず、他のフィルタであってもよい。
【００４６】
図６に戻って説明を続ける。エッジ検出部７２は、輝度生成部７１により生成された輝度信号を用いてエッジ検出を行う。エッジ検出部７２は、エッジ検出により得られる、エッジの有無を示す情報、及びエッジの強度を示す情報を含むエッジ情報を輝度局所平均値算出部、及び局所平均値算出部７５へ供給する。なお、エッジが強い程、空間周波数が高いことを意味するため、エッジ情報は、画像に含まれる高周波成分を示している。
【００４７】
輝度局所平均値算出部７３は、各画素を中心とした局所領域に含まれている輝度信号の平均値（以下、輝度局所平均値と呼ぶ場合がある）を算出する。また、局所領域のサイズは例えば予め定められていてもよい。また、輝度局所平均値算出部７３は、各画素の輝度信号を単純に平均してもよいし、各画素に重みを設定して、重み付け平均を行ってもよい。
【００４８】
また、輝度局所平均値算出部７３は、エッジ検出部７２から供給されるエッジ情報に基づいて輝度局所平均値を算出してもよい。エッジが検出された領域は、すなわち高周波成分の多い領域であるため、上述したエイリアシングが発生し易く、後述する色比補間部７９による色比補間が正しく行われない恐れがある。そこで、輝度局所平均値算出部７３は、例えば、エッジの存在する画素を除いて輝度局所平均値を算出してもよい。
【００４９】
また、エッジの強度は、高周波成分の強度を示すため、輝度局所平均値算出部７３は、エッジの強度に基づいて、エッジが強い程、重みが小さくなるように各画素の重みを設定し、重み付け平均を行うことで輝度局所平均値を算出してもよい。
【００５０】
係る構成により、エイリアシングの発生、及び偽色の発生を低減させることが可能である。
【００５１】
局所平均値算出部７５は、各画素を中心とした局所領域に含まれている画素値の平均値（以下、局所平均値と呼ぶ場合がある）を色毎に算出する。局所平均値算出部７５は、各画素の画素値を単純に平均してもよいし、各画素に重みを設定して、重み付け平均を行ってもよい。
【００５２】
また、局所平均値算出部７５は、輝度局所平均値算出部７３と同様に、エッジ検出部７２から供給されるエッジ情報に基づいて局所平均値を算出してもよい。局所平均値算出部７５は、例えば、エッジの存在する画素を除いて局所平均値を算出してもよい。あるいは、局所平均値算出部７５は、エッジの強度に基づいて、エッジが強い程重みが小さくなるように各画素の重みを設定し、重み付け平均を行うことで局所平均値を算出してもよい。
【００５３】
係る構成により、エイリアシングの発生、及び偽色の発生を低減させることが可能である。
【００５４】
色比補間部７８は、輝度生成部７１により生成された輝度信号、輝度局所平均値算出部７３により算出された輝度局所平均値、及び局所平均値算出部７５により算出された局所平均値を用いて、各画素の画素値を補間（推定）する。
【００５５】
なお、色比補間部７８は、モザイク画像において得られていない、つまり不明な色の画素値のみを補間してもよいし、モザイク画像において得られている色の画素値を含めて補間してもよい。いずれにせよ、上記のように画素値を補間することで、色比補間部７８は、画素ごとに第１の色数Ｍに対応した各色の画素値を有する、つまり第１の色数Ｍを有するマルチスペクトル画像を生成することができる。生成された第１の色数Ｍを有するマルチスペクトルは、第１のリニアマトリクス処理部１４６へ供給される。
【００５６】
以下、画素位置ｘにおける不明な色Ｃの画素値Ｃ（ｘ）を補間（推定）する場合について説明する。画素位置ｘにおける色Ｃの局所平均値をｍＣ（ｘ）、画素位置ｘにおける輝度信号をＹ（ｘ）、輝度局所平均値をｍＹ（ｘ）とすると、画素位置ｘにおける不明な色Ｃの画素値Ｃ（ｘ）は、次の式（１）のように補間することが可能である。
【００５７】
【数１】
2019080245.tif 000003
【００５８】
なお、上記の式（１）は、局所領域において、輝度信号と色信号が強い正の相関を持つことを利用した補間式であり、局所領域における２つの信号の平均値の比率が２つの信号の比率とほぼ等しくなることを利用している。このように局所領域における２つの信号の平均値の比率が２つの信号の比率とほぼ等しくなることを利用した補間を色比補間と呼ぶ。上記では輝度信号を利用しているが、正の相関が強く期待できる、分光的に近い（色間の分光感度の相関が高い）他の色信号を用いることでも同様に補間することが可能である。
【００５９】
以上、第１のデモザイク処理部１４２、及び第１のデモザイク処理部１４２によるデモザイク処理について説明した。続いて、図９を参照して、第２のデモザイク処理部１４３について説明する。第２のデモザイク処理部１４３は、メモリ１３から提供される第１の色数Ｍを有するモザイク画像にデモザイク処理を適用して、当該第１の色数Ｍより少なく、３色以上の第２の色数Ｎ（ただしＮは整数）を有するマルチスペクトル画像を生成する。
【００６０】
図９は、第２のデモザイク処理部１４３の構成を示すブロック図である。図９に示すように、第２のデモザイク処理部１４３は、輝度生成部７１、エッジ検出部７２、輝度局所平均値算出部７３、局所平均値算出部７５、同系色平均化部７７、及び色比補間部７９を有する。なお、輝度生成部７１、エッジ検出部７２、輝度局所平均値算出部７３、局所平均値算出部７５、同系色平均化部７７、及び色比補間部７９による処理を総称して第２のデモザイク処理部１４３によるデモザイク処理と呼ぶ。また、図９に示した構成のうち、図６に示した構成と実質的に同一の機能構成を有する構成には同一の符号を付してあるため、その説明は適宜省略し、以下では、主に同系色平均化部７７と色比補間部７９について説明する。
【００６１】
同系色平均化部７７は、複数の分光的に近い色（同系色）を同一色とみなして、局所平均値算出部７５により算出された局所平均値を同系色ごとに平均化する同系色平均化処理により、色数を第１の色数Ｍから第２の色数Ｎへ減らした局所平均値を算出する。つまり、同系色平均化部７７の同系色平均化処理により、第２のデモザイク処理部１４３において、局所平均値は、第２の色数Ｎに対応するように、第１の色数に含まれる色のうち複数の色が平均化された色毎に算出される。
【００６２】
また、分光的に近い色とは、例えば色間の分光感度の相関が高い色であってもよい。つまり、同系色平均化部７７の同系色平均化処理により平均化される複数の色の間の分光感度の相関は、第１の色数Ｍに含まれる他の色間の分光感度の相関に比べて高いことが望ましい。
【００６３】
ただし、アプリケーションによって必要とされる色の波長域や分解能が異なるため、平均化される同系色の組み合わせは、アプリケーションに応じて決定されてもよい。あるいは、平均化される同系色の組み合わせは、カラーフィルタ配列に応じて予め決定されていてもよいし、ユーザの入力に応じて決定されてもよいし、カラーフィルタ配列に含まれる色の分光感度に応じて自動的に決定されてもよい。
【００６４】
なお、同系色平均化部７７の同系色平均化処理は、第１の色数Ｍのカラーフィルタ配列を擬似的に第２の色数Ｎのカラーフィルタ配列と見なすことを意味する。図１０は、図１のカラーフィルタ配列ＣＦＡ８１において同系色平均化処理を適用した例を模式的に示す説明図である。例えば、図１０において、色Ｃ１と色Ｃ２、色Ｃ３と色Ｃ４、色Ｃ５と色Ｃ６、及び色Ｃ７と色Ｃ８がそれぞれ他の色よりも分光的に近い色であったとする。上述したように、色Ｃ１と色Ｃ２の分光感度の相関、色Ｃ３と色Ｃ４の分光感度の相関、色Ｃ５と色Ｃ６の分光感度の相関、色Ｃ７と色Ｃ８の分光感度の相関が、それぞれ他の色間の分光感度の相関に比べて高いことが望ましい。
【００６５】
Ｃ１とＣ２を平均化した色を色Ｃ１＋２、Ｃ３とＣ４を平均化した色を色Ｃ３＋４、Ｃ５とＣ６を平均化した色を色Ｃ５＋６、Ｃ７とＣ８を平均化した色を色Ｃ７＋８とすると、図１０に示すように、カラーフィルタ配列ＣＦＡ８１において同系色平均化処理を適用することで、カラーフィルタ配列ＣＦＡ８９に対して、局所平均値を算出した結果の近似値が得られる。カラーフィルタ配列ＣＦＡ８１とカラーフィルタ配列ＣＦＡ８９を比べると、カラーフィルタ配列ＣＦＡ８９の方が１色あたりの画素数が向上していることがわかる。１色あたりの画素数が向上することは、各色のサンプリング間隔が小さくなることを意味し、上述したように、偽色を抑制することが可能となる。
【００６６】
一方、色再現の性能という観点では、擬似的に色数を減らすと色再現性能が低下する恐れがある。図１１は、色数による等色関数の再現性の違いを示すグラフである。図１１に示すグラフＦ１１、グラフＦ１２、グラフＦ１３は、それぞれｓＲＧＢ色空間での等色関数、１６色で等色関数を再現した例、擬似４色で等色関数を再現した例を示すグラフである。等色関数は人の目の感度を表したものであり、この分光形状に近い程、色再現の良いイメージセンサであると言える。図１１に示すように、１６色で等色関数を再現したグラフＦ１２の方が、擬似４色で等色関数を再現したグラフＦ１３よりもｓＲＧＢ色空間での等色関数であるグラフＦ１１に近いため、１６色の方が擬似４色よりも等色関数の再現性が高く、色再現がよいことがわかる。
【００６７】
したがって、色数を減らすことなくＲＧＢ画像を生成する場合と、擬似的に色数を減らしてＲＧＢ画像を生成した場合の画質を比較すると、以下の表１のようになる。
【００６８】
【表１】
2019080245.tif 000004
【００６９】
上記表１に示したように、被写体に高周波成分が含まれている場合、エイリアシングの発生に伴い偽色が発生する。そこで、被写体に高周波成分が含まれている場合には擬似的に色数を減らすことが望ましい。一方、被写体に高周波成分が含まれていない場合には、色数を減らさない方が色再現の観点から望ましい。表１に示した特性は、擬似的に減らされた色数（第２の色数Ｎ）が元の色数（第１の色数Ｍ）と比べてより少なくなる程、より顕著になる。したがって、被写体に含まれる高周波成分を考慮して、擬似的に色数を減らした場合の色再現の劣化が、色数を減らさない場合に発生する偽色による色再現の劣化に対して有利になるように第２の色数Ｎを予め設定することが望ましい。例えば、色チャートと解像度チャートを併用し、色再現と偽色の劣化傾向を確認しながら、段階的に色数を減らし、適切な第２の色数Ｎを設定してもよい。
【００７０】
図９に戻って説明を続ける。色比補間部７９は、図６を参照して説明した色比補間部７８と同様に、輝度信号、輝度局所平均値、及び局所平均値を用いて、各画素の画素値を補間する。ただし、色比補間部７９は、同系色平均化部７７により、同系色ごとに平均化された局所平均値を用いて、各画素の画素値を補間する点で色比補間部７８と異なる。また、色比補間部７９により補間される画素値は、同系色平均化部７７の同系色平均化処理において、同系色ごとに平均化された色の画素値である。
【００７１】
したがって、色比補間部７９は、画素ごとに第２の色数Ｎに対応した各色の画素値を有する、つまり第２の色数Ｎを有するマルチスペクトル画像を生成することができる。生成された第２の色数Ｎを有するマルチスペクトルは、第２のリニアマトリクス処理部１４７へ供給される。
【００７２】
なお、色比補間部７９は、色比補間部７８と同様に、上述した式（１）を用いて、各画素において、不明な色（同系色ごとに平均化された色）を補間してもよい。
【００７３】
以上、信号処理部１４Ａが有するデモザイク処理部の構成について説明した。図５に戻って信号処理部１４Ａの説明を続ける。
【００７４】
第１のリニアマトリクス処理部１４６と、第２のリニアマトリクス処理部１４７は、マルチスペクトル画像にリニアマトリクス処理を適用して、ＲＧＢ画像を生成する。なお、本明細書において、第１のリニアマトリクス処理部１４６、及び第２のリニアマトリクス処理部１４７をまとめて単に本実施形態に係るリニアマトリクス処理部と呼ぶ場合がある。また、第１のリニアマトリクス処理部１４６が適用するリニアマトリクス処理を第１のリニアマトリクス処理、第２のリニアマトリクス処理部１４７が適用するリニアマトリクス処理を第２のリニアマトリクス処理と呼ぶ場合がある。
【００７５】
リニアマトリクス処理は、ある色空間から別の色空間へ変換するための行列演算である。本実施形態に係るリニアマトリクス処理部によるリニアマトリクス処理は、３色以上の色数で表される色空間（多色色空間と呼ぶ場合がある）から、ＲＧＢ色空間（例えばｓＲＧＢ色空間）へ変換する処理である。
【００７６】
第１のリニアマトリクス処理部１４６は、第１のデモザイク処理部１４２から供給される第１の色数Ｍを有するマルチスペクトル画像に、リニアマトリクス処理を適用して、Ｒ、Ｇ、Ｂの３つの色数（第３の色数）を有するＲＧＢ画像を生成する。また、第２のリニアマトリクス処理部１４７は、第２のデモザイク処理部１４３から供給される第２の色数Ｎを有するマルチスペクトル画像に、リニアマトリクス処理を適用して、Ｒ、Ｇ、Ｂの３つの色数（第３の色数）を有するＲＧＢ画像を生成する。なお、第１のリニアマトリクス処理部１４６と、第２のリニアマトリクス処理部１４７のそれぞれにより生成されるＲＧＢ画像を区別するため、以下では、第１のリニアマトリクス処理部１４６により生成されるＲＧＢ画像を第１のＲＧＢ画像（第１の画像）、第２のリニアマトリクス処理部１４７により生成されるＲＧＢ画像を第２のＲＧＢ画像（第２の画像）と呼ぶ場合がある。
【００７７】
本実施形態に係るリニアマトリクス処理部が適用するリニアマトリクス処理により得られるＲ，Ｇ，Ｂの画素値は、例えば次の式（２）により表される。なお、次の式（２）において、ｎはマルチスペクトル画像の有する色数を示し、ａｉｊ（ｉ＝１，２，３、ｊ＝１，２，・・・，ｎ）は、それぞれリニアマトリクスの係数を示し、Ｃｋはそれぞれｋ（ｋ＝１，２，・・・，ｎ）番目の色の画素値を示す。
【００７８】
【数２】
2019080245.tif 000005
【００７９】
なお、リニアマトリクスの係数ａｉｊは、予め求められていてもよい。例えば、リニアマトリクスの係数ａｉｊは、色チャートをそれぞれの色空間で表現したものを用いて最小二乗法で求めることができる。あるいは、多色色空間の各色の分光を用いて、ｓＲＧＢ色空間で表される等色関数を近似できるように、リニアマトリクスの係数を求めてもよい。
【００８０】
合成処理部１４８は、第１のリニアマトリクス処理部１４６により生成された第１のＲＧＢ画像と、第２のリニアマトリクス処理部１４７により生成された第２のＲＧＢ画像との合成処理を行う。以下、図１２を参照して、合成処理部１４８の詳細な構成について説明する。
【００８１】
図１２は、合成処理部１４８の詳細な構成を示すブロック図である。図１２に示すように、合成処理部１４８は、第１の彩度算出部８１、第２の彩度算出部８３、ブレンド係数算出部８５、及びブレンド処理部８７を有する。なお、第１の彩度算出部８１、第２の彩度算出部８３、ブレンド係数算出部８５、及びブレンド処理部８７による処理を総称して合成処理部１４８による合成処理と呼ぶ。
【００８２】
第１の彩度算出部８１、及び第２の彩度算出部８３はＲＧＢ画像から彩度を算出する。第１の彩度算出部８１は第１のＲＧＢ画像の彩度（以下、第１の彩度と呼ぶ場合がある）を算出し、第２の彩度算出部８３は第２のＲＧＢ画像の彩度（以下、第２の彩度と呼ぶ場合がある）を算出する。例えば、第１の彩度算出部８１、及び第２の彩度算出部８３は、画素毎に彩度を算出してもよい。
【００８３】
ブレンド係数算出部８５は、第１の彩度算出部８１により算出された第１の彩度、及び第２の彩度算出部８３により算出された第２の彩度に基づいて、後述するブレンド処理部８７によるブレンド処理で用いられるブレンド係数を算出（決定）する。例えば、ブレンド係数算出部８５は、画素毎にブレンド係数を算出してもよい。
【００８４】
偽色が発生した場合、発生した偽色は彩度が高い傾向がある。したがって、第１のＲＧＢ画像の彩度と第２のＲＧＢ画像の彩度が近い画素においては、偽色が発生している可能性が低い。一方、第１のＲＧＢ画像の彩度（第１の彩度）が、第２のＲＧＢ画像の彩度（第２の彩度）より高い場合には、偽色が発生している可能性が高い。そこで、ブレンド係数算出部８５は、例えば第１の彩度から第２の彩度を減算した値が所定の閾値より大きい場合に、第２のＲＧＢ画像が優先され、所定の閾値以下の場合には第１のＲＧＢ画像が優先されるようにブレンド係数を算出してもよい。あるいは、ブレンド係数算出部８５は、第１の彩度から第２の彩度を減算した値がより大きい程、より第２のＲＧＢ画像が優先されるようにブレンド係数を算出してもよい。
【００８５】
係る構成により、第１のＲＧＢ画像において偽色が発生している可能性の高い画素に関しては、偽色の発生が抑制された第２のＲＧＢ画像が優先してブレンド処理に用いられる。また、第１のＲＧＢ画像において偽色が発生している可能性の低い画素に関しては、色再現の良い第１のＲＧＢ画像が優先してブレンド処理に用いられる。
【００８６】
ブレンド処理部８７は、第１のＲＧＢ画像と、第２のＲＧＢ画像を、ブレンド係数算出部８５により算出されたブレンド係数に応じてブレンドするブレンド処理を行う。ブレンド処理部８７が行うブレンド処理は、例えば画素毎に算出されたブレンド係数をα値としてアルファブレンドを行う処理であってもよい。ブレンド処理部８７のブレンド処理により得られたＲＧＢ画像は、出力部１５へ供給される。
【００８７】
（動作例）
以上、信号処理部１４Ａの構成例について説明した。続いて、信号処理部１４Ａの動作例について、図１３〜図１６を参照して説明する。図１３は、信号処理部１４Ａの動作の一例を示すフローチャート図である。
【００８８】
まず、第１のデモザイク処理部１４２が第１の色数Ｍを有するモザイク画像に、第１のデモザイク処理を適用して、第１の色数Ｍを有するマルチスペクトル画像を生成する（Ｓ１１）。なお、ステップＳ１１の第１のデモザイク処理の詳細については、後に図１４を参照して説明する。
【００８９】
続いて、第１のリニアマトリクス処理部１４６が、ステップＳ１１で生成された第１の色数Ｍを有するマルチスペクトル画像に第１のリニアマトリクス処理を適用して、Ｒ，Ｇ，Ｂの３色を有する第１のＲＧＢ画像を生成する（Ｓ１３）。
【００９０】
また、第２のデモザイク処理部１４３が第１の色数Ｍを有するモザイク画像に、第２のデモザイク処理を適用して、第２の色数Ｎを有するマルチスペクトル画像を生成する（Ｓ１５）。なお、ステップＳ１５の第２のデモザイク処理の詳細については、後に図１５を参照して説明する。
【００９１】
続いて、第２のリニアマトリクス処理部１４７が、ステップＳ１５で生成された第２の色数Ｎを有するマルチスペクトル画像に第２のリニアマトリクス処理を適用して、Ｒ，Ｇ，Ｂの３色を有する第２のＲＧＢ画像を生成する（Ｓ１７）。
【００９２】
続いて、合成処理部１４８が、ステップＳ１３で生成された第１のＲＧＢ画像とステップＳ１７で生成された第２のＲＧＢ画像との合成処理を行い、出力部１５へ供給するＲＧＢ画像を生成する（Ｓ１９）。ステップＳ１９の合成処理の詳細については、後に図１６を参照して説明する。
【００９３】
以上、信号処理部１４Ａの動作例について説明した。なお、上述したステップＳ１１〜Ｓ１３の処理と、ステップＳ１５〜Ｓ１７の処理とが実行される順番は任意であり、また、並列に実行されてもよい。
【００９４】
続いて、図１３に示したステップＳ１１の第１のデモザイク処理の詳細について図１４を参照して説明する。図１４は、ステップＳ１１の第１のデモザイク処理の詳細を示すフローチャート図である。
【００９５】
まず、第１のデモザイク処理部１４２の輝度生成部７１が、第１の色数Ｍを有するモザイク画像から輝度信号を生成する（Ｓ１１１）。続いて、第１のデモザイク処理部１４２のエッジ検出部７２が、ステップＳ１１１で生成された輝度信号を用いたエッジ検出を行い、エッジ情報を得る（Ｓ１１２）。
【００９６】
続いて、第１のデモザイク処理部１４２の輝度局所平均値算出部７３がステップＳ１１１で生成された輝度信号と、ステップＳ１１２で得られたエッジ情報とに基づいて、輝度局所平均値を算出する（Ｓ１１３）。また、第１のデモザイク処理部１４２の局所平均値算出部７５が第１の色数Ｍを有するモザイク画像と、ステップＳ１１２で得られたエッジ情報とに基づいて、局所平均値を算出する（Ｓ１１５）。
【００９７】
続いて、第１のデモザイク処理部１４２の色比補間部７８が、ステップＳ１１１で生成された輝度信号、ステップＳ１１３で算出された輝度局所平均値、及びステップＳ１１５で算出された局所平均値に基づいて、各画素の画素値を色毎に補間し、第１の色数Ｍを有するマルチスペクトル画像を生成する（Ｓ１１９）。
【００９８】
以上、ステップＳ１１の第１のデモザイク処理の詳細について説明した。なお、上述したステップＳ１１３の処理と、ステップＳ１１５の処理とが実行される順番は任意であり、また、並列に実行されてもよい。
【００９９】
続いて、図１３に示したステップＳ１５の第２のデモザイク処理の詳細について図１５を参照して説明する。図１５は、ステップＳ１５の第２のデモザイク処理の詳細を示すフローチャート図である。
【０１００】
まず、第２のデモザイク処理部１４３の輝度生成部７１が、第１の色数Ｍを有するモザイク画像から輝度信号を生成する（Ｓ１５１）。続いて、第２のデモザイク処理部１４３のエッジ検出部７２が、ステップＳ１５１で生成された輝度信号を用いたエッジ検出を行い、エッジ情報を得る（Ｓ１５２）。
【０１０１】
続いて、第２のデモザイク処理部１４３の輝度局所平均値算出部７３がステップＳ１５１で生成された輝度信号と、ステップＳ１５２で得られたエッジ情報とに基づいて、輝度局所平均値を算出する（Ｓ１５３）。また、第２のデモザイク処理部１４３の局所平均値算出部７５が第１の色数Ｍを有するモザイク画像と、ステップＳ１５２で得られたエッジ情報とに基づいて、局所平均値を算出する（Ｓ１５５）。
【０１０２】
続いて、第２のデモザイク処理部１４３の同系色平均化部７７が、ステップＳ１５５で算出された局所平均値を、同系色毎に平均化し、同系色毎に平均化された色毎に局所平均値を算出する（Ｓ１５７）。
【０１０３】
続いて、第２のデモザイク処理部１４３の色比補間部７９が、ステップＳ１５１で生成された輝度信号、ステップＳ１５３で算出された輝度局所平均値、及びステップＳ１５７で算出された局所平均値に基づいて、各画素の画素値を同系色毎に平均化された色毎に補間し、第２の色数Ｎを有するマルチスペクトル画像を生成する（Ｓ１５９）。
【０１０４】
以上、ステップＳ１５の第２のデモザイク処理の詳細について説明した。なお、上述したステップＳ１５３の処理と、ステップＳ１５５〜Ｓ１５７の処理とが実行される順番は任意であり、また、並列に実行されてもよい。
【０１０５】
続いて、図１３に示したステップＳ１９の合成処理の詳細について図１６を参照して説明する。図１６は、ステップＳ１９の合成処理の詳細を示すフローチャート図である。
【０１０６】
まず、合成処理部１４８の第１の彩度算出部８１が、図１３のステップＳ１３で生成された第１のＲＧＢ画像の彩度（第１の彩度）を算出する（Ｓ１９１）。また、合成処理部１４８の第２の彩度算出部８３が、図１３のステップＳ１７で生成された第２のＲＧＢ画像の彩度（第２の彩度）を算出する（Ｓ１９３）。
【０１０７】
続いて、合成処理部１４８のブレンド係数算出部８５が、ステップＳ１９１で算出された第１の彩度、及びステップＳ１９３で算出された第２の彩度に基づいてブレンド係数を算出する（Ｓ１９７）。
【０１０８】
さらに、ブレンド処理部８７が、ステップＳ１９７で算出されたブレンド係数に応じて第１のＲＧＢ画像と、第２のＲＧＢ画像とをブレンドするブレンド処理を行う（Ｓ１９９）。
【０１０９】
以上、ステップＳ１９の合成処理の詳細について説明した。なお、上述したステップＳ１９１の処理と、ステップＳ１９３の処理とが実行される順番は任意であり、また、並列に実行されてもよい。
【０１１０】
（効果）
以上、本実施形態に係る信号処理部１４の第１の例である信号処理部１４Ａの構成、及び動作について説明した。上述したように、信号処理部１４Ａによれば、擬似的に色数を減らすことで、偽色の発生を抑制することが可能である。また、色数を減らさずに生成した第１のＲＧＢ画像と、擬似的に色数を減らして生成した第２のＲＧＢ画像を、彩度に基づいて合成することにより、色再現の向上と偽色の発生を抑制とを両立することが可能である。
【０１１１】
＜３−２．信号処理部の第２の例＞
続いて、図４の信号処理部１４の第２の例である信号処理部１４Ｂについて説明する。上述した信号処理部１４Ａでは、第１のＲＧＢ画像と、第２のＲＧＢ画像を、彩度に基づいて合成していた。一方、以下に説明する信号処理部１４の第２の構成例である信号処理部１４Ｂでは、彩度に加え、輝度信号にさらに基づいて第１のＲＧＢ画像と、第２のＲＧＢ画像とを合成することで、より高精度に色再現の向上と偽色の発生を抑制とを両立する。
【０１１２】
（構成例）
図１７は、図４の信号処理部１４の第２の例である信号処理部１４Ｂの構成を示すブロック図である。図１７に示すように、信号処理部１４Ｂは、輝度生成部１４１、第１のデモザイク処理部１４４、第２のデモザイク処理部１４５、第１のリニアマトリクス処理部１４６、第２のリニアマトリクス処理部１４７、及び合成処理部１４９を有する。なお、図１７に示した構成のうち、図５に示した構成と実質的に同一の機能構成を有する構成には同一の符号を付してあるため、その説明は適宜省略する。
【０１１３】
輝度生成部１４１は、図６を参照して説明した輝度生成部７１と同様にして、メモリ１３から提供されるモザイク画像に基づいて輝度信号を生成する。輝度生成部１４１は、生成した輝度信号を第１のデモザイク処理部１４４、及び第２のデモザイク処理部１４５に供給する。
【０１１４】
第１のデモザイク処理部１４４、及び第２のデモザイク処理部１４５は、撮像素子１２によって取得され、メモリ１３に記憶された第１の色数を有するモザイク画像にデモザイク処理を適用してマルチスペクトル画像を生成する。なお、第１のデモザイク処理部１４４、及び第２のデモザイク処理部１４５をまとめて単に信号処理部１４Ｂが有するデモザイク処理部と称する場合がある。
【０１１５】
第１のデモザイク処理部１４４は、メモリ１３から提供される第１の色数Ｍを有するモザイク画像にデモザイク処理を適用して、当該第１の色数Ｍを有するマルチスペクトル画像を生成する。図１８は、第１のデモザイク処理部１４４の構成を示すブロック図である。
【０１１６】
また、第２のデモザイク処理部１４３は、メモリ１３から提供される第１の色数Ｍを有するモザイク画像にデモザイク処理を適用して、当該第１の色数Ｍより少なく、３色以上の第２の色数Ｎを有するマルチスペクトル画像を生成する。図１９は、第２のデモザイク処理部１４５の構成を示すブロック図である。
【０１１７】
また、図１８、及び図１９に示した構成のうち、図６に、及び図９示した構成と実質的に同一の機能構成を有する構成には同一の符号を付してあるため、その説明は適宜省略する。図１８、及び図１９を参照すると、信号処理部１４Ｂが有するデモザイク処理部は、輝度生成部７１を有していない点で、図６、及び図９に示した信号処理部１４Ａが有するデモザイク処理部と異なる。つまり、信号処理部１４Ｂは、信号処理部１４Ａと比較して、輝度信号の生成に係る処理を共通化することが可能であり、処理負荷が軽減される。
【０１１８】
図１７に戻って信号処理部１４Ｂの説明を続ける。合成処理部１４９は、図６、図１２を参照して説明した合成処理部１４８と同様に第１のリニアマトリクス処理部１４６により生成された第１のＲＧＢ画像と、第２のリニアマトリクス処理部１４７により生成された第２のＲＧＢ画像との合成処理を行う。ただし、合成処理部１４９は、輝度生成部１４１により生成された輝度信号に基づいて合成処理を行う点で、合成処理部１４８と異なる。以下、図２０を参照して合成処理部１４９の詳細な構成について説明する。
【０１１９】
図２０は、合成処理部１４９の詳細な構成を示すブロック図である。図２０に示すように、合成処理部１４９は、第１の彩度算出部８１、第２の彩度算出部８３、エッジ検出部８４、ブレンド係数算出部８６、及びブレンド処理部８７を有する。なお、第１の彩度算出部８１、第２の彩度算出部８３、エッジ検出部８４、ブレンド係数算出部８６、及びブレンド処理部８７による処理を総称して合成処理部１４９による合成処理と呼ぶ。また、図２０に示した構成のうち、図１２に示した構成と実質的に同一の機能構成を有する構成には同一の符号を付してあるため、その説明は適宜省略する。
【０１２０】
エッジ検出部８４は、輝度生成部１４１により生成された輝度信号を用いてエッジ検出を行い、エッジ情報を得る。上述したように、エッジ情報は、エッジの有無を示す情報、及びエッジの強度を示す情報を含んでもよい。エッジ検出部８４は、エッジ情報をブレンド係数算出部８６へ供給する。
【０１２１】
ブレンド係数算出部８６は、図１２のブレンド係数算出部８５と同様に、ブレンド処理部８７によるブレンド処理で用いられるブレンド係数を算出（決定）する。ただし、ブレンド係数算出部８６は、第１の彩度算出部８１により算出された第１の彩度、及び第２の彩度算出部８３により算出された第２の彩度に加え、エッジ検出部８４から供給されるエッジ情報に基づいて、ブレンド係数を算出（決定）してもよい。
【０１２２】
上述したように、エッジ情報は画像に存在する高周波成分を示しており、エッジが存在する領域は高周波成分が多く含まれ、エッジの強度が強い程、より高周波成分が多く含まれる。表１を参照すると、高周波成分が含まれている領域では、擬似的に色数を減らして生成した第２のＲＧＢ画像が有利であり、高周波成分が含まれない領域では、色数を減らさずに生成した第１のＲＧＢ画像が有利である。そこで、ブレンド係数算出部８６は、例えばエッジが存在する場合に、第２のＲＧＢ画像が優先され、エッジが存在しない場合に、第１のＲＧＢ画像が優先されるようにブレンド係数を算出してもよい。あるいは、ブレンド係数算出部８６は、エッジの強度に応じて、エッジがより強い程、より第２のＲＧＢ画像が優先されるようにブレンド係数を算出してもよい。
【０１２３】
係る構成により、高周波成分が含まれる画素に関しては、偽色の発生が抑制された第２のＲＧＢ画像が優先してブレンド処理に用いられる。また、高周波成分が含まれていない画素に関しては、色再現の良い第１のＲＧＢ画像が優先してブレンド処理に用いられる。
【０１２４】
なお、ブレンド係数算出部８６によるブレンド係数の算出方法は、彩度に基づくブレンド係数の算出方法とエッジ情報に基づくブレンド係数の算出方法とを適宜組み合わせた算出方法であってもよい。例えば、ブレンド係数算出部８６は、彩度に基づくブレンド係数の算出方法で得られた値と、エッジ情報に基づくブレンド係数の算出方法で得られた値を統計的に処理（例えば平均化）することで、ブレンド係数を算出してもよい。あるいは、ブレンド係数算出部８６は、第１の彩度から第２の彩度を減算した値が所定の閾値以下であり、かつ、エッジが存在しない場合に第１のＲＧＢ画像が優先され、それ以外の場合には第２のＲＧＢ画像が優先されるようにブレンド係数を算出してもよい。
【０１２５】
（動作例）
以上、信号処理部１４Ｂの構成例について説明した。続いて、信号処理部１４Ｂの動作例について、図２１、図２２を参照して説明する。図２１は、信号処理部１４Ｂの動作の一例を示すフローチャート図である。
【０１２６】
まず、輝度生成部１４１が第１の色数Ｍを有するモザイク画像から輝度信号を生成する輝度信号を生成する（Ｓ２０）。
【０１２７】
続いて、第１のデモザイク処理部１４２が第１の色数Ｍを有するモザイク画像に、第１のデモザイク処理を適用して、第１の色数Ｍを有するマルチスペクトル画像を生成する（Ｓ２１）。なお、ステップＳ２１の第１のデモザイク処理は、図１４を参照して説明したステップＳ１１の第１のデモザイク処理からステップＳ１１１の輝度生成処理を省いた処理であるため、詳細な説明は省略する。
【０１２８】
続いて、第１のリニアマトリクス処理部１４６が、ステップＳ２１で生成された第１の色数Ｍを有するマルチスペクトル画像に第１のリニアマトリクス処理を適用して、Ｒ，Ｇ，Ｂの３色を有する第１のＲＧＢ画像を生成する（Ｓ２３）。
【０１２９】
また、第２のデモザイク処理部１４５が第１の色数Ｍを有するモザイク画像に、第２のデモザイク処理を適用して、第２の色数Ｎを有するマルチスペクトル画像を生成する（Ｓ２５）。なお、ステップＳ２５の第２のデモザイク処理は、図１５を参照して説明したステップＳ１５の第２のデモザイク処理からステップＳ１５１の輝度生成処理を省いた処理であるため、詳細な説明は省略する。
【０１３０】
続いて、第２のリニアマトリクス処理部１４７が、ステップＳ２５で生成された第２の色数Ｎを有するマルチスペクトル画像に第２のリニアマトリクス処理を適用して、Ｒ，Ｇ，Ｂの３色を有する第２のＲＧＢ画像を生成する（Ｓ２７）。
【０１３１】
続いて、合成処理部１４９が、ステップＳ２３で生成された第１のＲＧＢ画像とステップＳ２７で生成された第２のＲＧＢ画像との合成処理を行い、出力部１５へ供給するＲＧＢ画像を生成する（Ｓ２９）。ステップＳ２９の合成処理の詳細については、後に図２２を参照して説明する。
【０１３２】
以上、信号処理部１４Ｂの動作例について説明した。なお、上述したステップＳ２１〜Ｓ２３の処理と、ステップＳ２５〜Ｓ２７の処理とが実行される順番は任意であり、また、並列に実行されてもよい。
【０１３３】
続いて、図２１に示したステップＳ２９の合成処理の詳細について図２２を参照して説明する。図２２は、ステップＳ２９の合成処理の詳細を示すフローチャート図である。
【０１３４】
まず、合成処理部１４９の第１の彩度算出部８１が、図２１のステップＳ２３で生成された第１のＲＧＢ画像の彩度（第１の彩度）を算出する（Ｓ２９１）。また、合成処理部１４９の第２の彩度算出部８３が、図２１のステップＳ２７で生成された第２のＲＧＢ画像の彩度（第２の彩度）を算出する（Ｓ２９３）。
【０１３５】
続いて、合成処理部１４９のエッジ検出部８４が、図２１のステップＳ２０で生成された輝度信号を用いてエッジ検出を行い、エッジ情報を得る（Ｓ２９５）。
【０１３６】
続いて、合成処理部１４９のブレンド係数算出部８６が、ステップＳ２９１で算出された第１の彩度、ステップＳ２９３で算出された第２の彩度、ステップＳ２９５で算出されたエッジ情報に基づいてブレンド係数を算出する（Ｓ２９７）。
【０１３７】
さらに、ブレンド処理部８７が、ステップＳ２９７で算出されたブレンド係数に応じて第１のＲＧＢ画像と、第２のＲＧＢ画像とをブレンドするブレンド処理を行う（Ｓ２９９）。
【０１３８】
以上、ステップＳ２９の合成処理の詳細について説明した。なお、上述したステップＳ２９１の処理と、ステップＳ２９３の処理と、ステップＳ２９５の処理とが実行される順番は任意であり、また、並列に実行されてもよい。
【０１３９】
（効果）
以上、本実施形態に係る信号処理部１４の第２の例である信号処理部１４Ｂの構成、及び動作について説明した。上述したように、信号処理部１４Ｂによれば、輝度信号の生成に係る処理を共通化することで、処理量を抑制することが可能である。また、第１のＲＧＢ画像と、第２のＲＧＢ画像を、彩度だけでなく、さらにエッジ情報にも基づいて合成することにより、より高精度に色再現の向上と偽色の発生を抑制とを両立することが可能である。
【０１４０】
＜３−３．変形例＞
以上、本実施形態に係る信号処理部１４の例として、信号処理部１４Ａ、及び信号処理部１４Ｂについて説明したが、本実施形態は係る例に限定されない。以下では、本実施形態に係る信号処理部１４の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、上述した構成に代えて適用されてもよいし、上述した構成に対して追加的に適用されてもよい。
【０１４１】
（変形例１）
上記では、モザイク画像に所定のフィルタを適用することにより輝度信号を生成する例を説明したが、本実施形態は係る例に限定されない。例えば、色比補間を用いて輝度を生成することも可能である。
【０１４２】
色比補間部７８についての説明で上述したように、色信号が強い正の相関を持つ場合、局所領域における２つの信号の平均値の比率が２つの信号の比率とほぼ等しくなる。色Ｃ１の画素位置ｘにおける画素値Ｃ１（ｘ）が得られている場合、色Ｃ１と分光感度の相関が高い色Ｃ２の画素位置ｘにおける画素値Ｃ２（ｘ）は、次の式（３）のように補間することが可能である。なお、式（３）において、画素位置ｘにおける色Ｃ１の局所平均値をｍＣ１（ｘ）、画素位置ｘにおける色Ｃ２の局所平均値をｍＣ２（ｘ）とする。
【０１４３】
【数３】
2019080245.tif 000006
【０１４４】
式（３）のように、同系色（分光感度の相関が高い色）の組み合わせを用いて、各画素位置で不明な色の画素値を特定し、得られた画素値をそれぞれ平均化することを繰り返していくことにより、各画素位置で全ての色の画素値を平均化した輝度信号が生成される。
【０１４５】
係る構成によれば、より高精度な輝度信号が生成され得る。
【０１４６】
（変形例２）
また上記では、第２のデモザイク処理部において、色毎の局所平均値が算出された後に、同系色の平均化が行われる例を説明したが、同系色の平均化と局所平均算出が同時に行われてもよい。
【０１４７】
例えば、局所平均値を算出する際に、同系色を区別せずに足し合わせて平均化することにより、同系色ごとに平均化された局所平均値が算出される。
【０１４８】
（変形例３）
また、上記では、第２の色数Ｎが予め設定される例を説明したが、本実施形態は係る例に限定されない。例えば、第２の色数Ｎは、画像に応じて自動的に決定されてもよい。
【０１４９】
表１に示したように、被写体に高周波成分が含まれている場合には擬似的に色数を減らすことが望ましく、被写体に高周波成分が含まれていない場合には、色数を減らさない方が色再現の観点から望ましい。そのため、エッジ検出により得られるエッジ情報等に基づいて、画像に含まれる高周波成分が多い場合には、第２の色数Ｎが少なく、画像に含まれる高周波成分が少ない場合には、第２の色数Ｎが多くなるように第２の色数Ｎが決定されてもよい。係る場合、第２のリニアマトリクス処理部１４７が用いるリニアマトリクスの係数も自動的に決定されてもよく、例えば複数用意されたリニアマトリクスの中から、色数に応じたリニアマトリクスが選択されてもよい。
【０１５０】
係る構成によれば、画像に含まれる高周波成分に応じて、擬似的に減らす色数が決定され、より高精度に色再現の向上と偽色の発生を抑制とを両立することが可能である。
【０１５１】
（変形例４）
上記では、色比補間によるデモザイク処理が行われる例を説明したが、デモザイク処理は色比補間に代えて、または加えて、色差補間等の他の補間処理を含んでもよい。また、信号処理部１４は上記以外の信号処理を行ってもよい。例えば、信号処理部１４は、ノイズの除去、ホワイトバランスの調整等の処理を行ってもよい。
【０１５２】
＜＜４．撮像素子＞＞
以上、本開示の一実施形態に係る信号処理部１４について説明した。続いて、本開示の一実施形態に係る撮像素子１２について、図２３〜図３５を参照して説明を行う。
【０１５３】
＜４−１．撮像素子のカラーフィルタ配列の例＞
上記では、図１に示したカラーフィルタ配列ＣＦＡ８１に本技術が適用される例を説明したが、本技術は、特定のカラーフィルタ配列に限定されず、多様なカラーフィルタ配列に適用することが可能である。一例として、Bayer配列を基に色数を３よりも大きくしたカラーフィルタ配列の例について説明する。
【０１５４】
図２３、図２４は、撮像素子１２のカラーフィルタ配列の例を示す説明図である。図２３に示すカラーフィルタ配列ＣＦＡ４１〜ＣＦＡ４３は、カラーフィルタの有する色数が４色である場合のカラーフィルタ配列の例である。図２３に示すように、カラーフィルタ配列ＣＦＡ４１〜ＣＦＡ４３では、４種類の異なる色Ｃ１〜Ｃ４のフィルタのうちいずれかのフィルタが各画素位置に割り当てられる。
【０１５５】
また、図２３に示すカラーフィルタ配列ＣＦＡ５１〜ＣＦＡ５３は、カラーフィルタの有する色数が５色である場合のカラーフィルタ配列の例である。図２３に示すように、カラーフィルタ配列ＣＦＡ５１〜ＣＦＡ５３では、５種類の異なる色Ｃ１〜Ｃ５のフィルタのうちいずれかのフィルタが各画素位置に割り当てられる。
【０１５６】
また、図２４に示すカラーフィルタ配列ＣＦＡ６１は、カラーフィルタの有する色数が６色である場合のカラーフィルタ配列の例である。図２４に示すように、カラーフィルタ配列ＣＦＡ６１では、６種類の異なる色Ｃ１〜Ｃ６のフィルタのうちいずれかのフィルタが各画素位置に割り当てられる。
【０１５７】
また、図２４に示すカラーフィルタ配列ＣＦＡ１０１、ＣＦＡ１０２は、カラーフィルタの有する色数が１０色である場合のカラーフィルタ配列の例である。図２４に示すように、カラーフィルタ配列ＣＦＡ１０１、ＣＦＡ１０２では、１０種類の異なる色Ｃ１〜Ｃ１０のフィルタのうちいずれかのフィルタが各画素位置に割り当てられる。
【０１５８】
また、図２４に示すカラーフィルタ配列ＣＦＡ１２１、ＣＦＡ１２２は、カラーフィルタの有する色数が１２色である場合のカラーフィルタ配列の例である。図２４に示すように、カラーフィルタ配列ＣＦＡ１２１、ＣＦＡ１２２では、１２種類の異なる色Ｃ１〜Ｃ１２のフィルタのうちいずれかのフィルタが各画素位置に割り当てられる。
【０１５９】
また、図２４に示すカラーフィルタ配列ＣＦＡ１６１は、カラーフィルタの有する色数が１６色である場合のカラーフィルタ配列の例である。図２４に示すように、カラーフィルタ配列ＣＦＡ６１では、１６種類の異なる色Ｃ１〜Ｃ１６のフィルタのうちいずれかのフィルタが各画素位置に割り当てられる。
【０１６０】
なお、上述したように、本技術は、図２３、図２４に示した例に限定されず、さらなる他のカラーフィルタ配列に適用することも可能である。
【０１６１】
＜４−２．撮像素子の回路の構成例＞
続いて、撮像素子１２の回路の構成例について図２５を参照して説明する。図２５は、図４の撮像素子１２の回路の構成例を示すブロック図である。
【０１６２】
撮像素子１２は、画素アレイ３１、行走査回路３２、ＰＬＬ（Phase Locked Loop）３３、ＤＡＣ（Digital Analog
Converter）３４、カラムＡＤＣ（Analog Digital Converter）回路３５、列走査回路３６、及び、センスアンプ３７を備える。
【０１６３】
画素アレイ３１には、複数の画素５１が２次元に配列されている
【０１６４】
画素５１は、行走査回路３２に接続される水平信号線Ｈと、カラムＡＤＣ回路３５に接続される垂直信号線Ｖとが交差する点にそれぞれ配置されており、光電変換を行うフォトダイオード６１と、蓄積された信号を読み出すための数種類のトランジスタを備える。すなわち、画素５１は、図２５の右側に拡大して示されているように、フォトダイオード６１、転送トランジスタ６２、フローティングディフュージョン６３、増幅トランジスタ６４、選択トランジスタ６５、及び、リセットトランジスタ６６を備える。
【０１６５】
フォトダイオード６１に蓄積された電荷は、転送トランジスタ６２を介してフローティングディフュージョン６３に転送される。フローティングディフュージョン６３は、増幅トランジスタ６４のゲートに接続されている。画素５１が信号の読み出しの対象となると、行走査回路３２から水平信号線Ｈを介して選択トランジスタ６５がオンにされ、選択された画素５１の信号は、増幅トランジスタ６４をソースフォロワ（Source Follower）駆動することで、フォトダイオード６１に蓄積された電荷の蓄積電荷量に対応する画素信号として、垂直信号線Ｖに読み出される。また、画素信号はリセットトランジスタ６６をオンすることでリセットされる。
【０１６６】
行走査回路３２は、画素アレイ３１の画素５１の駆動（例えば、転送、選択、リセット等）を行うための駆動信号を、行毎に順次、出力する。
【０１６７】
ＰＬＬ３３は、外部から供給されるクロック信号に基づいて、撮像素子１２の各部の駆動に必要な所定の周波数のクロック信号を生成して出力する。
【０１６８】
ＤＡＣ３４は、所定の電圧値から一定の傾きで電圧が降下した後に所定の電圧値に戻る形状（略鋸形状）のランプ信号を生成して出力する。
【０１６９】
カラムＡＤＣ回路３５は、比較器９１及びカウンタ９２を、画素アレイ３１の画素５１の列に対応する個数だけ有しており、画素５１から出力される画素信号から、ＣＤＳ（Correlated Double Sampling：相関２重サンプリング）動作により信号レベルを抽出して、画素データを出力する。すなわち、比較器９１が、ＤＡＣ３４から供給されるランプ信号と、画素５１から出力される画素信号（輝度値）とを比較し、その結果得られる比較結果信号をカウンタ９２に供給する。そして、カウンタ９２が、比較器９１から出力される比較結果信号に応じて、所定の周波数のカウンタクロック信号をカウントすることで、画素信号がＡ／Ｄ変換される。
【０１７０】
列走査回路３６は、カラムＡＤＣ回路３５のカウンタ９２に、順次、所定のタイミングで、画素データを出力させる信号を供給する。
【０１７１】
センスアンプ３７は、カラムＡＤＣ回路３５から供給される画素データを増幅し、撮像素子１２の外部に出力する。
【０１７２】
＜４−３．撮像素子の第１の構成例＞
図２６は、図４の撮像素子１２の第１の構成例である撮像素子１２Ａの断面を模式的に示している。図２６には、撮像素子１２の画素５１−１〜画素５１−４の４画素分の断面が示されている。なお、以下、画素５１−１〜画素５１−４を個々に区別する必要がない場合、単に画素５１と称する。
【０１７３】
各画素５１においては、上から順に、オンチップマイクロレンズ１０１、層間膜１０２、狭帯域フィルタ層１０３、層間膜１０４、光電変換素子層１０５、及び、信号配線層１０６が積層されている。すなわち、撮像素子１２は、光電変換素子層１０５が信号配線層１０６より光の入射側に配置された裏面照射型のＣＭＯＳイメージセンサからなる。
【０１７４】
オンチップマイクロレンズ１０１は、各画素５１の光電変換素子層１０５に光を集光するための光学素子である。
【０１７５】
層間膜１０２及び層間膜１０４は、ＳｉＯ２等の誘電体からなる。後述するように、層間膜１０２及び層間膜１０４の誘電率は、できる限り低い方が望ましい。
【０１７６】
狭帯域フィルタ層１０３には、所定の狭い波長帯域（狭帯域）の狭帯域光を透過する光学フィルタである狭帯域フィルタＮＢが各画素５１に設けられている。例えば、アルミニウム等の金属製の薄膜を用いた金属薄膜フィルタの一種であり、表面プラズモンを利用したプラズモンフィルタが、狭帯域フィルタＮＢに用いられてもよい。また、狭帯域フィルタＮＢの透過帯域は、画素５１毎に設定される。狭帯域フィルタＮＢの透過帯域の種類数（バンド数、すなわち色数）は任意であり、例えば、上述したように３より大きくてもよい。
【０１７７】
ここで、狭帯域とは、例えば、従来のＲ（赤）、Ｇ（緑）、Ｂ（青）、又は、Ｙ（黄）、Ｍ（マゼンダ）、Ｃ（シアン）のカラーフィルタの透過帯域より狭い波長帯域のことである。また、以下、狭帯域フィルタＮＢを透過した狭帯域光を受光する画素を、マルチスペクトル画素またはＭＳ画素と称する。
【０１７８】
光電変換素子層１０５は、例えば、図２５のフォトダイオード６１等を備え、狭帯域フィルタ層１０３（狭帯域フィルタＮＢ）を透過した光（狭帯域光）を受光し、受光した光を電荷に変換する。また、光電変換素子層１０５は、各画素５１間が素子分離層により電気的に分離されて構成されている。
【０１７９】
信号配線層１０６には、光電変換素子層１０５に蓄積された電荷を読み取るための配線等が設けられる。
【０１８０】
（プラズモンフィルタについて）
次に、図２７〜図３１を参照して、狭帯域フィルタＮＢに用いることが可能なプラズモンフィルタについて説明する。
【０１８１】
図２７は、ホールアレイ構造のプラズモンフィルタ１２１Ａの構成例を示している。
【０１８２】
プラズモンフィルタ１２１Ａは、金属製の薄膜（以下、導体薄膜と称する）１３１Ａにホール１３２Ａがハニカム状に配置されたプラズモン共鳴体により構成されている。
【０１８３】
各ホール１３２Ａは、導体薄膜１３１Ａを貫通しており、導波管として作用する。一般的に導波管には、辺の長さや直径などの形状により決まる遮断周波数及び遮断波長が存在し、それ以下の周波数（それ以上の波長）の光は伝搬しないという性質がある。ホール１３２Ａの遮断波長は、主に開口径Ｄ１に依存し、開口径Ｄ１が小さいほど遮断波長も短くなる。なお、開口径Ｄ１は透過させたい光の波長よりも小さい値に設定される。
【０１８４】
一方、光の波長以下の短い周期でホール１３２Ａが周期的に形成されている導体薄膜１３１Ａに光が入射すると、ホール１３２Ａの遮断波長より長い波長の光を透過する現象が発生する。この現象をプラズモンの異常透過現象という。この現象は、導体薄膜１３１Ａとその上層の層間膜１０２との境界において表面プラズモンが励起されることによって発生する。
【０１８５】
なお、プラズモンフィルタ１２１Ａの透過率は、主にホール１３２Ａの開口径Ｄ１により決まる。開口径Ｄ１が大きくなるほど透過率が高くなる一方、混色が発生しやすくなる。一般的に、開口率がホールピッチＰ１の５０％〜６０％になるように開口径Ｄ１を設定することが望ましい。
【０１８６】
また、上述したように、プラズモンフィルタ１２１Ａの各ホール１３２Ａは、導波管として作用する。従って、プラズモンフィルタ１２１Ａのホールアレイのパターンによっては、分光特性において、表面プラズモン共鳴により透過される波長成分（プラズモンモードにおける波長成分）だけでなく、ホール１３２Ａ（導波管）を透過する波長成分（導波管モードにおける波長成分）が大きくなる場合がある。
【０１８７】
上述したように、遮断波長は、主にホール１３２Ａの開口径Ｄ１に依存し、開口径Ｄ１が小さいほど遮断波長も短くなる。そして、遮断波長とプラズモンモードにおけるピーク波長との間の差をより大きくするほど、プラズモンフィルタ１２１Ａの波長分解能特性が向上する。
【０１８８】
また、導体薄膜１３１Ａのプラズマ周波数が高くなるほど、導体薄膜１３１Ａの表面プラズマ周波数が高くなる。また、層間膜１０２の誘電率が小さくなるほど、表面プラズマ周波数が高くなる。そして、表面プラズマ周波数が高くなるほど、プラズモンの共鳴周波数をより高く設定することができ、プラズモンフィルタ１２１Ａの透過帯域（プラズモンの共鳴波長）をより短い波長帯域に設定することが可能になる。
【０１８９】
従って、プラズマ周波数がより小さい金属を導体薄膜１３１Ａに用いた方が、プラズモンフィルタ１２１Ａの透過帯域をより短い波長帯域に設定することが可能になる。例えば、アルミニウム、銀、金等が導体薄膜１３１Ａに用いられる金属として好適である。ただし、透過帯域を赤外光などの長い波長帯域に設定する場合には、銅等を導体薄膜１３１Ａに用いることも可能である。
【０１９０】
また、誘電率がより小さい誘電体を層間膜１０２に用いた方が、プラズモンフィルタ１２１Ａの透過帯域をより短い波長帯域に設定することが可能になる。例えば、ＳｉＯ２、Ｌｏｗ−Ｋ等が層間膜１０２に用いられる誘電体として好適である。
【０１９１】
（プラズモンフィルタのその他の例）
次に、図２８〜図３３を参照して、プラズモンフィルタのその他の例について説明する。図２８は、ホールアレイ構造のプラズモンフィルタの他の構成例を示す図である。
【０１９２】
図２８のプラズモンフィルタ１２１Ｂは、導体薄膜１３１Ｂにホール１３２Ｂが直行行列状に配置されたプラズモン共鳴体により構成されている。プラズモンフィルタ１２１Ｂにおいては、例えば、隣接するホール１３２Ｂ間のピッチＰ２により透過帯域が変化する。
【０１９３】
また、プラズモン共鳴体において、全てのホールが導体薄膜を貫通する必要はなく、一部のホールを導体薄膜を貫通しない非貫通穴により構成しても、プラズモン共鳴体はフィルタとして機能する。図２９は、ホールアレイ構造のプラズモンフィルタのさらなる他の構成例を示す図である。
【０１９４】
例えば、図２９には、導体薄膜１３１Ｃに貫通穴からなるホール１３２Ｃ、及び、非貫通穴からなるホール１３２Ｃ’がハニカム状に配置されたプラズモン共鳴体により構成されたプラズモンフィルタ１２１Ｃの平面図および断面図（平面図におけるＡ−Ａ’での断面図）が示されている。すなわち、プラズモンフィルタ１２１Ｃには、貫通穴からなるホール１３２Ｃと非貫通穴からなるホール１３２Ｃ’とが周期的に配置されている。
【０１９５】
また、上記では単層のプラズモン共鳴体により構成されるプラズモンフィルタの例を説明したが、例えば、２層のプラズモン共鳴体により構成することもできる。図３０は、２層構造のプラズモンフィルタの構成例を示す図である。
【０１９６】
例えば、図３０に示されているプラズモンフィルタ１２１Ｄは、２層のプラズモンフィルタ１２１Ｄ−１及びプラズモンフィルタ１２１Ｄ−２により構成されている。プラズモンフィルタ１２１Ｄ−１及びプラズモンフィルタ１２１Ｄ−２は、図２７のプラズモンフィルタ１２１Ａを構成するプラズモン共鳴体と同様に、ホールがハニカム状に配置された構造となっている。
【０１９７】
また、プラズモンフィルタ１２１Ｄ−１とプラズモンフィルタ１２１Ｄ−２との間隔Ｄ２は、透過帯域のピーク波長の１／４程度とすることが好適である。また、設計自由度を考慮すると、間隔Ｄ２は、透過帯域のピーク波長の１／２以下がより好適である。
【０１９８】
なお、プラズモンフィルタ１２１Ｄのように、プラズモンフィルタ１２１Ｄ−１及びプラズモンフィルタ１２１Ｄ−２において同一のパターンでホールが配置されるようにする他、例えば、２層のプラズモン共鳴体構造において互いに相似するパターンでホールが配置されていてもよい。また、２層のプラズモン共鳴体構造において、ホールアレイ構造とドットアレイ構造（後述）とが反転するようなパターンでホールとドットとが配置されていてもよい。さらに、プラズモンフィルタ１２１Ｄは２層構造となっているが、３層以上の多層化も可能である。
【０１９９】
また、上記では、ホールアレイ構造のプラズモン共鳴体によるプラズモンフィルタの構成例を示したが、プラズモンフィルタとして、ドットアレイ構造のプラズモン共鳴体を採用してもよい。
【０２００】
続いて、図３１、図３２を参照して、ドットアレイ構造のプラズモンフィルタについて説明する。図３１、図３２は、ドットアレイ構造のプラズモンフィルタの構成例を示す図である。
【０２０１】
図３１のプラズモンフィルタ１２１Ａ’は、図２７のプラズモンフィルタ１２１Ａのプラズモン共鳴体に対してネガポジ反転した構造、すなわち、ドット１３３Ａが誘電体層１３４Ａにハニカム状に配置されたプラズモン共鳴体により構成されている。各ドット１３３Ａ間には、誘電体層１３４Ａが充填されている。
【０２０２】
プラズモンフィルタ１２１Ａ’は、所定の波長帯域の光を吸収するため、補色系のフィルタとして用いられる。プラズモンフィルタ１２１Ａ’が吸収する光の波長帯域（以下、吸収帯域と称する）は、隣接するドット１３３Ａ間のピッチ（以下、ドットピッチと称する）Ｐ３等により変化する。また、ドットピッチＰ３に合わせて、ドット１３３Ａの径Ｄ３が調整される。
【０２０３】
図３２のプラズモンフィルタ１２１Ｂ’は、図２８のプラズモンフィルタ１２１Ｂのプラズモン共鳴体に対してネガポジ反転した構造、すなわち、ドット１３３Ｂが誘電体層１３４Ｂに直行行列状に配置されたプラズモン共鳴体構造により構成されている。各ドット１３３Ｂ間には、誘電体層１３４Ｂが充填されている。
【０２０４】
プラズモンフィルタ１２１Ｂ’の吸収帯域は、隣接するドット１３３Ｂ間のドットピッチＰ４等により変化する。また、ドットピッチＰ４に合わせて、ドット１３３Ｂの径Ｄ３が調整される。
【０２０５】
なお、ホールアレイ構造及びドットアレイ構造のいずれのプラズモンフィルタにおいても、ホール又はドットの平面方向のピッチを調整するだけで、透過帯域又は吸収帯域を調整することができる。従って、例えば、リソグラフィ工程においてホール又はドットのピッチを調整するだけで、画素毎に透過帯域又は吸収帯域を個別に設定することが可能であり、より少ない工程でフィルタの多色化が可能になる。
【０２０６】
また、プラズモンフィルタの厚さは、有機材料系のカラーフィルタとほぼ同様の約１００〜５００ｎｍ程度であり、プロセスの親和性が良い。
【０２０７】
また、狭帯域フィルタＮＢには、ＧＭＲ（Guided Mode Resonant）を用いたプラズモンフィルタを用いることも可能である。図３３は、ＧＭＲを用いたプラズモンフィルタの構成例を示す図である。
【０２０８】
プラズモンフィルタ１５１においては、上から順に、導体層１６１、ＳｉＯ２膜１６２、ＳｉＮ膜１６３、ＳｉＯ２基板１６４が積層されている。導体層１６１は、例えば、図２６の狭帯域フィルタ層１０３に含まれ、ＳｉＯ２膜１６２、ＳｉＮ膜１６３、及び、ＳｉＯ２基板１６４は、例えば、図２６の層間膜１０４に含まれる。
【０２０９】
導体層１６１には、例えばアルミニウムからなる矩形の導体薄膜１６１Ａが、所定のピッチＰ５で、導体薄膜１６１Ａの長辺側が隣接するように並べられている。そして、ピッチＰ５等によりプラズモンフィルタ１５１の透過帯域が変化する。
【０２１０】
このＧＭＲを用いたプラズモンフィルタ１５１も、上述したホールアレイ構造及びドットアレイ構造のプラズモンフィルタと同様に、有機材料系のカラーフィルタと親和性が良い。
【０２１１】
＜４−４．撮像素子の第２の構成例＞
次に、図３４を参照して、図２７の撮像素子１２の第２の構成例について説明する。
【０２１２】
図３４は、撮像素子１２の第２の構成例である撮像素子１２Ｂの断面を模式的に示している。なお、図中、図２６の撮像素子１２Ａと対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０２１３】
撮像素子１２Ｂは、撮像素子１２Ａと比較して、オンチップマイクロレンズ１０１と層間膜１０２の間に、カラーフィルタ層１０７が積層されている点が異なる。
【０２１４】
撮像素子１２Ｂの狭帯域フィルタ層１０３においては、全ての画素５１ではなく、一部の画素５１にのみ狭帯域フィルタＮＢが設けられている。狭帯域フィルタＮＢの透過帯域の種類（バンド数）は任意であり、例えば、１以上に設定される。
【０２１５】
カラーフィルタ層１０７には、カラーフィルタが各画素５１に設けられる。例えば、狭帯域フィルタＮＢが設けられていない画素５１においては、一般的な赤色フィルタＲ、緑色フィルタＧ、及び、青色フィルタＢ（不図示）のいずれかが設けられている。これにより、例えば、赤色フィルタＲが設けられたＲ画素、緑色フィルタＧが設けられたＧ画素、青色フィルタが設けられたＢ画素、及び、狭帯域フィルタＮＢが設けられたＭＳ画素が、画素アレイ３１に配列される。
【０２１６】
また、狭帯域フィルタＮＢが設けられている画素５１においては、カラーフィルタ層１０７に透過フィルタＰが設けられる。透過フィルタＰは、後述するように、同じ画素５１の狭帯域フィルタＮＢの透過帯域を含む波長帯域の光を透過する光学フィルタ（ローパスフィルタ、ハイパスフィルタ、又は、バンドパスフィルタ）により構成される。
【０２１７】
なお、カラーフィルタ層１０７に設けられるカラーフィルタは、有機材料系及び無機材料系のいずれであってもよい。
【０２１８】
有機材料系のカラーフィルタには、例えば、合成樹脂若しくは天然蛋白を用いた染色着色系、及び、顔料色素若しくは染料色素を用いた色素含有系がある。
【０２１９】
無機材料系のカラーフィルタには、例えば、ＴｉＯ２、ＺｎＳ、ＳｉＮ、ＭｇＦ２、ＳｉＯ２、Ｌｏｗ−ｋ等の材料が用いられる。また、無機材料系のカラーフィルタの形成には、例えば、蒸着、スパッタリング、ＣＶＤ（Chemical Vapor Deposition）成膜等の手法が用いられる。
【０２２０】
また、層間膜１０２は、層間膜１０２と狭帯域フィルタ層１０３との界面における表面プラズモンに、カラーフィルタ層１０７の影響が及ぶことが防止可能な膜厚に設定される。
【０２２１】
また、カラーフィルタ層１０７に設けられた透過フィルタＰにより、フレアの発生が抑制される。
【０２２２】
例えば、上述したように図２５の撮像素子１２Ａの狭帯域フィルタ層１０３の狭帯域フィルタＮＢがプラズモンフィルタからなる場合、プラズモンフィルタには金属製の導体薄膜が形成されている。この導体薄膜は反射率が高いため、透過帯域以外の波長の光を反射しやすい。そして、撮像素子１２Ａを備える撮像装置１０において、導体薄膜で反射された光の一部が、撮像装置１０が備える光学部材（例えば光学系１１に含まれるフィルタやレンズ等）で反射され、撮像素子１２Ａに再入射し得る。これらの再入射光によりフレアが発生する。特にホールアレイ構造を用いたプラズモンフィルタは、開口率が低いため、フレアが発生しやすい。
【０２２３】
この反射光を防止するために、例えば、導体薄膜とは異なる金属や誘電率の高い材料からなる反射防止膜を使用することが考えられる。しかし、プラズモンフィルタは、表面プラズモン共鳴を利用しており、そのような反射防止膜が導体薄膜の表面に触れてしまうと、プラズモンフィルタの特性が劣化してしまったり、所望の特性が得づらくなったりする可能性がある。
【０２２４】
一方、上述したように、撮像素子１２Ｂにおいては、狭帯域フィルタＮＢより上方（光の入射側）に透過フィルタＰが設けられている。従って、撮像素子１２Ｂを備える撮像装置１０において、撮像素子１２Ｂに入射した光は、透過フィルタＰにより所定の波長帯域が遮断されてから狭帯域フィルタＮＢに入射するため、狭帯域フィルタＮＢへの入射光の光量が抑制される。その結果、狭帯域フィルタＮＢ（プラズモンフィルタ）の導体薄膜による反射光の光量も低減するため、フレアが低減される
【０２２５】
なお、赤色フィルタＲ、緑色フィルタＧ、又は、青色フィルタＢの透過帯域が、下層の狭帯域フィルタＮＢの透過帯域を含む場合、それらのフィルタを透過フィルタＰに用いてもよい。
【０２２６】
また、図３４の例では、一部の画素５１にのみ狭帯域フィルタＮＢを設ける例を示したが、全ての画素５１に狭帯域フィルタＮＢを設けることも可能である。この場合、画素５１毎に、その画素５１の狭帯域フィルタＮＢの透過帯域を含む透過帯域を有する透過フィルタＰをカラーフィルタ層１０７に設けるようにすればよい。
【０２２７】
さらに、カラーフィルタ層１０７のカラーフィルタの色の組合せは上述した例に限定されるものではなく、任意に変更することが可能である。
【０２２８】
また、上述したフレア対策の必要がない場合には、例えば、狭帯域フィルタＮＢの上層に透過フィルタＰを設けないようにしたり、全ての波長の光を透過するダミーのフィルタを設けたりしてもよい。
【０２２９】
次に、図３５を参照して、図４の撮像素子１２の第３の実施形態について説明する。
【０２３０】
＜４−５．撮像素子の第３の構成例＞
図３５は、撮像素子１２の第３の構成例である撮像素子１２Ｃの断面を模式的に示している。なお、図中、図２６の撮像素子１２Ａと対応する部分には、同一の符号を付してあり、その説明は適宜省略する。
【０２３１】
撮像素子１２Ｃは、撮像素子１２Ａと比較して、狭帯域フィルタ層１０３の代わりに、フィルタ層１０８が設けられている点が異なる。また、撮像素子１２Ｃは、図３４の撮像素子１２Ｂと比較して、狭帯域フィルタＮＢとカラーフィルタ（例えば、赤色フィルタＲ、緑色フィルタＧ、青色フィルタＢ）が同じフィルタ層１０８に設けられている点が異なる。
【０２３２】
これにより、撮像素子１２Ｃの画素アレイ３１にＲ画素、Ｇ画素、Ｂ画素、及び、ＭＳ画素を配置する場合に、カラーフィルタ層１０７を省略することができる。
【０２３３】
なお、有機材料系のカラーフィルタを用いる場合、熱によるカラーフィルタの損傷等を防止するために、例えば、狭帯域フィルタＮＢが先に形成され、シンター処理等の高温の最終熱処理が行われた後、カラーフィルタが形成される。一方、無機材料系のカラーフィルタを用いる場合、基本的に上記の形成順の制約は必要ない。
【０２３４】
また、図３４の撮像素子１２Ｂのようにフレア対策を施す場合、撮像素子１２Ｂと同様に、オンチップマイクロレンズ１０１と層間膜１０２の間に、カラーフィルタ層を積層するようにしてもよい。この場合、フィルタ層１０８に狭帯域フィルタＮＢが設けられている画素５１においては、カラーフィルタ層に上述した透過フィルタＰが設けられる。一方、フィルタ層１０８にカラーフィルタが設けられている画素５１においては、カラーフィルタ層にフィルタが設けられなかったり、又は、全ての波長の光を透過するダミーのフィルタ、若しくは、フィルタ層１０８と同じ色のカラーフィルタが設けられたりする。
【０２３５】
以上、本実施形態に係る撮像部の一例である撮像素子１２の構成例について説明したが、本技術は係る例に限定されない。例えば、撮像素子１２は、３色より多い色数を有するモザイク画像を取得可能であればよく、プラズモンフィルタ以外の金属薄膜を用いた金属薄膜フィルタを備える撮像素子であってもよい。
【０２３６】
＜＜５．応用例＞＞
次に、本開示に係る技術（本技術）の応用例について説明する。本技術は様々な製品へ応用することができる。
【０２３７】
＜５−１．内視鏡手術システムへの応用例＞
例えば、本技術は、内視鏡手術システムに適用されてもよい。
【０２３８】
図３６は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【０２３９】
図３６では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
【０２４０】
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【０２４１】
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【０２４２】
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ: Camera Control Unit）１１２０１に送信される。
【０２４３】
ＣＣＵ１１２０１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics
Processing Unit）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
【０２４４】
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
【０２４５】
光源装置１１２０３は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
【０２４６】
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
【０２４７】
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【０２４８】
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【０２４９】
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【０２５０】
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【０２５１】
図３７は、図３６に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
【０２５２】
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
【０２５３】
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
【０２５４】
撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（dimensional）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
【０２５５】
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
【０２５６】
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
【０２５７】
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
【０２５８】
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【０２５９】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡１１１００に搭載されていることになる。
【０２６０】
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
【０２６１】
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
【０２６２】
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
【０２６３】
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
【０２６４】
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
【０２６５】
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
【０２６６】
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【０２６７】
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
【０２６８】
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、内視鏡１１１００の撮像部１１４０２、及び画像処理部１１４１２等に適用され得る。具体的には、図４に示した撮像素子１２は撮像部１１４０２に適用することができ、図４に示した信号処理部１４は画像処理部１１４１２に適用することが出来る。本開示に係る技術を撮像部１１４０２、及び画像処理部１１４１２に適用することにより、より色再現を向上させつつ偽色の発生を抑制した術部画像を得ることができるため、術者が術部を確実に確認することが可能になる。
【０２６９】
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
【０２７０】
＜５−２．移動体への応用例＞
また、例えば、本技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０２７１】
図３８は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０２７２】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図３８に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
【０２７３】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０２７４】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０２７５】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０２７６】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０２７７】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０２７８】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
【０２７９】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０２８０】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０２８１】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３８の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０２８２】
図３９は、撮像部１２０３１の設置位置の例を示す図である。
【０２８３】
図３９では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
【０２８４】
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０２８５】
なお、図３９には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０２８６】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０２８７】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０２８８】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０２８９】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０２９０】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、以上説明した構成のうち、車外情報検出ユニット１２０３０、及び撮像部１２０３１、及びに適用され得る。具体的には、例えば、図４の撮像素子１２を撮像部１２０３１に適用し、信号処理部１４を車外情報検出ユニット１２０３０に適用することができる。本開示に係る技術を車外情報検出ユニット１２０３０、及び撮像部１２０３１に適用することにより、より色再現を向上させつつ偽色の発生を抑制した車外の画像を得ることができるため、自動運転の安全性の向上等を実現することができる。
【０２９１】
＜５−３．その他の応用例＞
さらに、本技術は以下のような、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに応用することができる。
【０２９２】
・デジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供され装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【０２９３】
図４の撮像装置１０の各画素５１の狭帯域フィルタＮＢの透過帯域を調整することにより、撮像装置１０の各画素５１が検出する光の波長帯域（以下、検出帯域と称する）を調整することができる。そして、各画素５１の検出帯域を適切に設定することにより、撮像装置１０を様々な用途に用いることができる。
【０２９４】
例えば、撮像装置１０は、食品のうまみや鮮度を検出する用途、果物の糖度や水分を検出する用途、ＰＥＴ（Poly Ethylene Terephthalate）を検出してプラスチックの分別を行う用途に用いられ得る。また、例えば、本技術は、切り花の鮮度管理に適用することができる。さらに、例えば、本技術は、食品に混入している異物検査に適用することができる。さらに、例えば、本技術は、植生の指標であるＮＤＶＩ（Normalized Difference Vegetation Index）の検出に適用することができる。また、例えば、本技術は、人の肌のヘモグロビン由来の波長５８０ｎｍ付近の分光形状、及び、人肌に含まれるメラニン色素由来の波長９６０ｎｍ付近の分光形状のどちらか一方、又は、両者に基づいて、人の検出に適用することができる。さらに、例えば、本技術は、生体検知（生体認証）、ユーザインタフェース、サイン等の偽造防止及び監視等に適用することができる。
【０２９５】
なお、上記ではマルチスペクトル画像とＲＧＢ画像の両方が生成される例を説明したが、上述した本技術の応用例において、撮像装置１０は必ずしもＲＧＢ画像を生成しなくてもよく、マルチスペクトル画像を用いて上記の応用例を実現してもよい。
【０２９６】
また、マルチスペクトル画像とＲＧＢ画像をそれぞれ別のディスプレイ（出力部）に表示させてもよい。なお、マルチスペクトル画像を表示させる場合には、例えばマルチスペクトル画像が有する色ごとに別々の画像として表示させてもよいし、マルチスペクトル画像が有する色から取り出された３色をＲ，Ｇ，Ｂにそれぞれ割り当てたＲＧＢ画像として表示させてもよい。
【０２９７】
また、マルチスペクトル画像を用いて特徴的な領域の検出を行い、係る検出の結果に応じてＲＧＢ画像の表示を拡大、あるいはハイライト表示する等の画像処理を行ってもよい。係る検出は、例えば上述した人肌の検出等であってもよい。
【０２９８】
＜＜６．ハードウェア構成例＞＞
以上、本開示の一実施形態を説明した。なお、本技術は、非積層型の固体撮像装置に適用することも積層型の固体撮像装置に適用することも可能である。
【０２９９】
本技術が非積層型の固体撮像装置に適用される場合、例えば画素がアレイ状に配置された画素領域に加え、画素の駆動その他の各種の制御を行う制御回路、信号処理するためのロジック回路が１枚のダイに搭載され得る。そして、ロジック回路が上述した信号処理部１４の機能を有し、制御回路が制御部１６の機能を有してもよい。
【０３００】
また、本技術が積層型の固体撮像装置に適用される場合、積層型の固体撮像装置は、センサダイとロジックダイとの２枚のダイが積層され、電気的に接続されて、１つの半導体チップとして構成され得る。例えば、センサダイに画素領域と制御部１６の機能を有する制御回路が搭載され、ロジックダイに信号処理部１４の機能を有するロジック回路が搭載されてもよい。あるいは、例えば、センサダイに画素領域が搭載され、ロジックダイに信号処理部１４の機能を有するロジック回路と制御部１６の機能を有する制御回路とが搭載されてもよい。
【０３０１】
また、上記では本技術が固体撮像装置（画像処理装置の一例）に適用される例を説明したが、本技術は係る例に限定されない。例えば、上述した撮像素子を有する撮像装置により取得されたモザイク画像が、他の画像処理装置に送信され、係る画像処理装置が有する信号処理部において、上述したデモザイク処理、リニアマトリクス処理、合成処理が行われもよい。例えば、ドローン等の移動体に搭載される撮像装置が上述した撮像素子を有する場合、移動体には電源に制限があったり、出力部（ディスプレイ）が移動体以外の場所に存在するような状況が考えられる。そのため移動体に搭載された撮像装置で取得されたモザイク画像が画像処理装置に送信され、モザイク画像を受信した当該画像処理装置が上述したデモザイク処理、リニアマトリクス処理、合成処理等を行ってもよい。なお、当該画像処理装置は、ユーザの手元に存在する装置であってもよいし、クラウドのようなユーザの手元には存在しない装置であってもよい。
【０３０２】
また、１つの装置によって上述したデモザイク処理、リニアマトリクス処理、合成処理の全てが行われる必要はない。例えば、上述した一連の処理のうち、少なくとも一部の処理が適用されて生成された画像が他の装置に送信されて、当該他の装置において、残りの処理が行われてもよい。
【０３０３】
また、上述した信号処理部１４が行うデモザイク処理、リニアマトリクス処理、合成処理等の処理は、ハードウェアにより実現することも、ソフトウェアとハードウェアとの協働により実現することも可能である。図４０は、上述した処理をソフトウェアとハードウェアとの協働により実現する場合の、本開示の一実施形態に係る画像処理装置の一例である情報処理装置９００のハードウェア構成例を示すブロック図である。上述したデモザイク処理、リニアマトリクス処理、合成処理等の情報処理は、ソフトウェアと、以下に説明する情報処理装置９００が備えるハードウェアとの協働により実現され得る。
【０３０４】
図４０に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【０３０５】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、信号処理部１４を形成し得る。
【０３０６】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０３０７】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０３０８】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０３０９】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。
【０３１０】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０３１１】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
【０３１２】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
【０３１３】
センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。
【０３１４】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【０３１５】
以上、本開示の実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０３１６】
なお、上述のような本開示の実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０３１７】
＜＜７．むすび＞＞
以上説明したように、本開示の実施形態によれば、色再現を向上させつつ、偽色の発生を抑制することが可能である。
【０３１８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０３１９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０３２０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１の色数を有するモザイク画像にデモザイク処理を適用して、前記第１の色数より少なく、３色以上の第２の色数を有するマルチスペクトル画像を生成するデモザイク処理部を備える画像処理装置。
（２）
前記デモザイク処理部が前記モザイク画像に適用する前記デモザイク処理は、前記モザイク画像の各画素における局所平均値を色毎に算出し、前記局所平均値を用いて前記各画素の画素値を補間する処理を含む、前記（１）に記載の画像処理装置。
（３）
前記局所平均値は、前記第２の色数に対応するように、前記第１の色数に含まれる色のうち複数の色が平均化された色毎に算出される、前記（２）に記載の画像処理装置。
（４）
前記複数の色の間の分光感度の相関は、前記第１の色数に含まれる他の色間の分光感度の相関に比べて高い、前記（３）に記載の画像処理装置。
（５）
前記デモザイク処理部は、前記モザイク画像に基づいて生成される輝度信号に基づいて、前記マルチスペクトル画像を生成する、前記（３）または（４）に記載の画像処理装置。
（６）
前記デモザイク処理部は、前記輝度信号に基づいて、前記局所平均値を色毎に算出する、前記（５）に記載の画像処理装置。
（７）
前記デモザイク処理部は、前記輝度信号を用いたエッジ検出により得られるエッジ情報に基づいて、前記局所平均値を算出する、前記（６）に記載の画像処理装置。
（８）
前記デモザイク処理部は、第１の色数を有するモザイク画像にデモザイク処理を適用して前記第１の色数を有するマルチスペクトル画像をさらに生成する、前記（１）〜（７）のいずれか一項に記載の画像処理装置。
（９）
前記画像処理装置は、前記第１の色数を有するマルチスペクトル画像と前記第２の色数を有するマルチスペクトル画像との各々にリニアマトリクス処理を適用して、前記第２の色数よりも少ない第３の色数を有する第１の画像と前記第３の色数を有する第２の画像とを生成するリニアマトリクス処理部をさらに備える、前記（８）に記載の画像処理装置。
（１０）
前記画像処理装置は、前記第１の画像と前記第２の画像との合成処理を行う合成処理部をさらに備える、前記（９）に記載の画像処理装置。
（１１）
前記合成処理部が行う前記合成処理は、前記第１の画像と前記第２の画像をブレンド係数に応じてブレンドするブレンド処理を含む、前記（１０）に記載の画像処理装置。
（１２）
前記合成処理部は、前記第１の画像の彩度と前記第２の画像の彩度とに基づいて、前記ブレンド係数を決定する、前記（１１）に記載の画像処理装置。
（１３）
前記合成処理部は、前記モザイク画像に基づいて生成される輝度信号に基づいて、前記合成処理を行う、前記（１１）または（１２）に記載の画像処理装置。
（１４）
前記合成処理部は、前記輝度信号を用いたエッジ検出により得られるエッジ情報に基づいて、前記ブレンド係数を決定する、前記（１３）に記載の画像処理装置。
（１５）
前記輝度信号は、前記モザイク画像に所定のフィルタを適用することにより生成される、前記（５）〜７、１３、１４のいずれか一項に記載の画像処理装置。
（１６）
前記所定のフィルタは、２×２画素のボックスフィルタである、前記（１５）に記載の画像処理装置。
（１７）
プロセッサが、第１の色数を有するモザイク画像にデモザイク処理を適用して、第１の色数より少なく、３色以上の第２の色数を有するマルチスペクトル画像を生成することを含む、画像処理方法。
（１８）
分光特性が異なる複数種類のフィルタのうちいずれかのフィルタが各画素位置に割り当てられたカラーフィルタを有し、前記フィルタの種類数と同数である第１の色数を有するモザイク画像を取得する撮像部と、
前記モザイク画像にデモザイク処理を適用して、前記第１の色数より少なく、３色以上の第２の色数を有するマルチスペクトル画像を生成するデモザイク処理部と、
を備える撮像装置。
【符号の説明】
【０３２１】
１０  撮像装置
１１  光学系
１２  撮像素子
１３  メモリ
１４  信号処理部
１５  出力部
１６  制御部
５１  画素
７１，１４１  輝度生成部
１０３  狭帯域フィルタ層
１０７  カラーフィルタ層
１２１，１５１  プラズモンフィルタ
１４２，１４４  第１のデモザイク処理部
１４３，１４５  第２のデモザイク処理部
１４６  第１のリニアマトリクス処理部
１４７  第２のリニアマトリクス処理部
１４８，１４９  合成処理部
【図１】
2019080245.tif 000007
【図２】
2019080245.tif 000008
【図３】
2019080245.tif 000009
【図４】
2019080245.tif 000010
【図５】
2019080245.tif 000011
【図６】
2019080245.tif 000012
【図７】
2019080245.tif 000013
【図８】
2019080245.tif 000014
【図９】
2019080245.tif 000015
【図１０】
2019080245.tif 000016
【図１１】
2019080245.tif 000017
【図１２】
2019080245.tif 000018
【図１３】
2019080245.tif 000019
【図１４】
2019080245.tif 000020
【図１５】
2019080245.tif 000021
【図１６】
2019080245.tif 000022
【図１７】
2019080245.tif 000023
【図１８】
2019080245.tif 000024
【図１９】
2019080245.tif 000025
【図２０】
2019080245.tif 000026
【図２１】
2019080245.tif 000027
【図２２】
2019080245.tif 000028
【図２３】
2019080245.tif 000029
【図２４】
2019080245.tif 000030
【図２５】
2019080245.tif 000031
【図２６】
2019080245.tif 000032
【図２７】
2019080245.tif 000033
【図２８】
2019080245.tif 000034
【図２９】
2019080245.tif 000035
【図３０】
2019080245.tif 000036
【図３１】
2019080245.tif 000037
【図３２】
2019080245.tif 000038
【図３３】
2019080245.tif 000039
【図３４】
2019080245.tif 000040
【図３５】
2019080245.tif 000041
【図３６】
2019080245.tif 000042
【図３７】
2019080245.tif 000043
【図３８】
2019080245.tif 000044
【図３９】
2019080245.tif 000045
【図４０】
2019080245.tif 000046