(57)【要約】      （修正有）【課題】カラーフィルタアレイ方式分光撮像装置で取得された、複数の分光画像が混合した画像から、正確な分光情報を取得することができる画像処理装置、画像処理方法及びプログラムを提供する。【解決手段】カラーフィルタアレイ方式分光撮像装置により取得される２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するための画像処理装置１００は、Ｍ個のモザイク画像をそれぞれ独立に補間した補間画像を生成する補間処理部と、Ｍ個の補間画像から混色のないＭ個の分光画像を生成する色補正処理部と、を有する。【選択図】図１
2020120204.tif 000002
【特許請求の範囲】
【請求項１】
カラーフィルタアレイ方式分光撮像装置により取得される２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するための画像処理装置であって、
前記Ｍ個のモザイク画像をそれぞれ独立に補間した補間画像を生成する補間処理部と、
前記Ｍ個の補間画像から混色のないＭ個の分光画像を生成する色補正処理部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記色補正処理部は、Ｍ×Ｍの色補正行列を用いて、Ｍ個の補間画像から混色のないＭ個の分光画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記色補正行列は、前記モザイク画像を取得した際のカラーフィルタアレイ方式分光撮像装置の分光感度特性と、前記混色のないＭ個の分光画像を取得するために必要な理想的なカラーフィルタアレイ方式分光撮像装置の分光感度特性とにもとづき生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補間処理部は、バイリニア補間法、バイキュービック補間法のいずれかの手法を用いて補間処理を行うことを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
【請求項５】
前記混色のない分光画像間の相関情報を用いて、混色のない分光画像の空間解像度を高解像度化する解像度処理部を有することを特徴とする請求項１乃至請求項４の何れか一項に記載の画像処理装置。
【請求項６】
前記混色のない分光画像のホワイトバランスを調整するホワイトバランス処理部を有することを特徴とする請求項１乃至請求項５の何れか一項に記載の画像処理装置。
【請求項７】
前記混色のない分光画像のエッジ領域を分光情報評価対象領域から除外するエッジ処理部を有することを特徴とする請求項１乃至請求項６の何れか一項に記載の画像処理装置。
【請求項８】
前記Ｍ個のモザイク画像の低輝度領域と高輝度領域を分光情報評価対象領域から除外する輝度閾値処理部を有することを特徴とする請求項１乃至請求項７の何れか一項に記載の画像処理装置。
【請求項９】
４つのモザイク画像を有し、前記モザイク画像は、
少なくとも可視光の赤色の分光画像と近赤外光の分光画像が混合したモザイク画像と、
少なくとも可視光の緑色の分光画像と近赤外光の分光画像が混合したモザイク画像と、
少なくとも可視光の青色の分光画像と近赤外光の分光画像が混合したモザイク画像と、
を含み、
前記混色のない分光画像は、可視光の赤色の分光画像、可視光の緑色の分光画像、可視光の青色の分光画像、近赤外光の分光画像、であることを特徴とする請求項１乃至請求項８の何れか一項に記載の画像処理装置。
【請求項１０】
前記解像度処理部は、前記混色のない分光画像のうち、可視光の赤色の分光画像、可視光の緑色の分光画像、可視光の青色の分光画像間の相関情報を用いて、上記画像の少なくとも１つの画像の空間解像度を高解像度化する処理を行うことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
カラーフィルタアレイ方式分光撮像装置により取得される２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するための画像処理方法であって、
前記Ｍ個のモザイク画像をそれぞれ独立に補間した補間画像を生成する補間処理ステップと、
前記Ｍ個の補間画像から混色のないＭ個の分光画像を生成する色補正処理ステップと、
を有することを特徴とする画像処理方法。
【請求項１２】
前記色補正処理ステップは、Ｍ×Ｍの色補正行列を用いて、Ｍ個の補間画像から混色のないＭ個の分光画像を生成することを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記色補正行列は、前記モザイク画像を取得した際のカラーフィルタアレイ方式分光撮像装置の分光感度特性と、前記混色のないＭ個の分光画像を取得するために必要な理想的なカラーフィルタアレイ方式分光撮像装置の分光感度特性とにもとづき生成することを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
前記補間処理ステップは、バイリニア補間法、バイキュービック補間法のいずれかの手法を用いて補間処理を行うことを特徴とする請求項１１乃至請求項１３の何れか一項に記載の画像処理方法。
【請求項１５】
前記混色のない分光画像の画像間の相関情報を用いて、混色のない分光画像の空間解像度を高解像度化する解像度処理ステップを有することを特徴とする請求項１１乃至請求項１４の何れか一項に記載の画像処理方法。
【請求項１６】
前記混色のない分光画像のホワイトバランスを調整するホワイトバランス処理ステップを有することを特徴とする請求項１１乃至請求項１５の何れか一項に記載の画像処理方法。
【請求項１７】
前記混色のない分光画像のエッジ領域を分光情報評価対象領域から除外するエッジ処理ステップを有することを特徴とする請求項１１乃至請求項１６の何れか一項に記載の画像処理方法。
【請求項１８】
前記Ｍ個のモザイク画像の低輝度領域と高輝度領域を分光情報評価対象領域から除外する輝度閾値処理ステップを有することを特徴とする請求項１１乃至請求項１７の何れか一項に記載の画像処理方法。
【請求項１９】
４つのモザイク画像を有し、前記モザイク画像は、
少なくとも可視光の赤色の分光画像と近赤外光の分光画像が混合したモザイク画像と、
少なくとも可視光の緑色の分光画像と近赤外光の分光画像が混合したモザイク画像と、
少なくとも可視光の青色の分光画像と近赤外光の分光画像が混合したモザイク画像と、
を含み、
前記混色のない分光画像は、可視光の赤色の分光画像、可視光の緑色の分光画像、可視光の青色の分光画像、近赤外光の分光画像、であることを特徴とする請求項１１乃至請求項１８の何れか一項に記載の画像処理方法。
【請求項２０】
前記解像度処理ステップは、前記混色のない分光画像のうち、可視光の赤色の分光画像、可視光の緑色の分光画像、可視光の青色の分光画像間の相関情報を用いて、上記分光画像の少なくとも１つの画像の空間解像度を高解像度化する処理を行うことを特徴とする請求項１９に記載の画像処理方法。
【請求項２１】
カラーフィルタアレイ方式分光撮像装置により取得される２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するためのプログラムであって、
前記Ｍ個のモザイク画像をそれぞれ独立に補間した補間画像を生成する補間処理ステップと、
前記Ｍ個の補間画像から混色のないＭ個の分光画像を生成する色補正処理ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。特に、カラーフィルタアレイを有する単板式撮像素子を用いた分光撮像装置による分光画像の画像処理を行う画像処理装置、画像処理方法、並びに、プログラムに関する。
【背景技術】
【０００２】
分光情報は物質情報を取得するための手段として有効である。この分光情報を取得するための手段として、カラーフィルタアレイを有する単板式撮像素子を用いた分光撮像装置（Color Filter Array方式、略してＣＦＡ方式分光撮像装置）が知られている。
【０００３】
このＣＦＡ方式分光撮像装置は、小型で、低価格であるため、幅広い分野で利用されている。最も一般的な構成として、可視光の赤色、緑色、青色波長帯域に対して光透過特性を有するカラーフィルタをベイヤー配列させた構成が知られている。
【０００４】
その他の構成として、より多くの分光情報を取得するためにカラーフィルタ数を増加した構成や、可視波長帯域では得られない物質情報を取得するために近赤外波長帯域の分光情報を取得する構成が知られている。
【０００５】
単板式撮像素子としてシリコンイメージセンサを用いた場合、シリコンイメージセンサは、およそ波長３５０ｎｍから１１００ｎｍの範囲の光に対して感度を有する。従って、上記波長範囲内で任意の波長帯域に対して光透過特性を有するカラーフィルタを用いることで、所望の波長帯域の分光情報を取得することが可能である。
【０００６】
図３（ａ）は、シリコンイメージセンサと各種カラーフィルタを組み合わせて作製したイメージセンサの分光感度特性の一例である。図中、一点鎖線は赤色カラーフィルタ、破線は緑色カラーフィルタ、点線は青色カラーフィルタ、実線は近赤外用カラーフィルタを用いた場合のイメージセンサの分光感度特性を表している。
【０００７】
図３（ａ）に示すように、一般的なカラーフィルタは所望の波長帯域以外の波長帯域においても光透過特性を有する。例えば、赤色、緑色、青色用のカラーフィルタは可視波長帯域だけでなく、近赤外波長帯域においても光透過特性を有する。また、近赤外用カラーフィルタは、近赤外波長帯域だけでなく、可視波長帯域においてもわずかながら光透過特性を有している。
【０００８】
このような分光感度特性を有するイメージセンサにより取得される画像は、実質的に複数の分光画像が混合した画像と等価である。例えば、図３（ａ）の赤色カラーフィルタにより取得した画像は、赤色の分光画像と近赤外光の分光画像が混合した画像と見なすことができる。
【０００９】
従って、図３（ａ）に示すような特性のイメージセンサを用いた場合、混色のない分光画像を取得するには、複数の分光画像が混合した画像から混色のない分光画像に分離する処理（色補正処理）が必要となる。
【００１０】
また、ＣＦＡ方式分光撮像装置により取得された画像は、図２に示すようにカラーフィルタ毎に空間的にサンプリングされた画像（モザイク画像）となる。従って、欠落した空間情報を補間するための処理（デモザイキング）も必要となる。
【００１１】
非特許文献１に、ベイヤー配列のカラーフィルタの緑色用カラーフィルタの１つを、近赤外用カラーフィルタに置き換えたＣＦＡ方式分光撮像装置が開示されている。また、上記分光撮像装置により取得したモザイク画像の画像処理方法が開示されている。
【００１２】
図７に非特許文献１の画像処理装置の構成図を示す。以下、図７を用いて、従来手法のデモザイキング、並びに、色補正処理について説明する。
【００１３】
図７中、Ｒｍ、Ｇｍ、Ｂｍ、ＮＩＲｍはそれぞれ、赤色用、緑色用、青色用、近赤外用のカラーフィルタを用いて取得したモザイク画像である。なお、各カラーフィルタを用いたイメージセンサの分光感度特性は、図３（ａ）に示す特性と同様な特性を有するものとする。
【００１４】
従来手法では、ベイヤー配列デモザイキング手法を利用するために、まず、緑色用カラーフィルタの対角に配置されたカラーフィルタにより取得されるモザイク画像ＮＩＲｍの補間処理を行い、補間画像ＮＩＲｉｐを生成する。次に、補間画像ＮＩＲｉｐを用いて、後述の色差補間により、Ｇｍの対角成分のみを補間したモザイク画像Ｇｍ２を生成する。その後、通常のベイヤー配列のデモザイキングと同様の手法を用いて、Ｇｍ２、Ｒｍ、Ｂｍから、補間画像Ｇｉｐ、Ｒｉｐ、Ｂｉｐを生成する。最後に、補間画像Ｇｉｐ、Ｒｉｐ、ＢｉｐからＮＩＲｉｐ成分を差し引くことにより、所望の分光画像Ｇｃｃ、Ｒｃｃ、Ｂｃｃ、ＮＩＲｉｐを得ている。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】M. Martinello, A. Wajs, S. Quan, H. Lee, C. Lim, T. Woo, W. Lee, S. S. Kim, and D. Lee, “Dual aperture photography: Image and depth from a mobile camera,” Proc. of IEEE Int. Conf. on Computational Photography(ICCP), 2015.
【発明の概要】
【発明が解決しようとする課題】
【００１６】
非特許文献１のデモザイキングで用いられている色差補間は、異なる分光画像間の相関性を用いた補間手法であり、補間に用いる２つの分光画像間の相関性が高いことを前提としている。しかしながら、可視波長帯域の分光画像と近赤外波長帯域の分光画像の相関性は必ずしも高いとは限らない。従って、非特許文献１のように緑色の分光画像Ｇｍと近赤外光の分光画像ＮＩＲｉｐを用いて色差補間を行うと、補間画像Ｇｍ２に分光情報の誤差が生じ、分光画像を正しく取得することが困難であった。
【００１７】
加えて、上記色差補間に用いる２つの画像Ｇｍ、ＮＩＲｉｐは、複数の分光画像が混合した画像であるため、２つの分光画像間の相関情報にもとづく正確な補間を行うことが困難であった。そのため、補間画像Ｇｍ２に分光情報の誤差が生じ、分光画像を正しく取得することが困難であった。
【００１８】
また、非特許文献１の色補正処理手法では、近赤外用カラーフィルタにより取得されるモザイク画像ＮＩＲｍに混合した可視波長帯域の分光画像の分離を行っていないため、正確な分光情報を有する分光画像を取得することが困難であった。
【００１９】
そこで、本発明は、ＣＦＡ方式分光撮像装置で取得された画像から、正確な分光情報を取得するための画像処理装置、画像処理方法、並びにプログラムを提供することを目的としている。
【課題を解決するための手段】
【００２０】
上記の目的を達成するために、本発明の一側面としての画像処理装置は、
カラーフィルタアレイ方式分光撮像装置により取得される２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するための画像処理装置であって、前記Ｍ個のモザイク画像をそれぞれ独立に補間した補間画像を生成する補間処理部と、前記Ｍ個の補間画像から混色のないＭ個の分光画像を生成する色補正処理部と、を有する。
【００２１】
本発明の他の側面としての画像処理方法は、カラーフィルタアレイ方式分光撮像装置により取得される２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するための画像処理方法であって、前記Ｍ個のモザイク画像をそれぞれ独立に補間した補間画像を生成する補間処理ステップと、前記Ｍ個の補間画像から混色のないＭ個の分光画像を生成する色補正処理ステップと、を有する。
【００２２】
本発明の他の側面としてのプログラムは、カラーフィルタアレイ方式分光撮像装置により取得される２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するためのプログラムであって、前記Ｍ個のモザイク画像をそれぞれ独立に補間した補間画像を生成する補間処理ステップと、前記Ｍ個の補間画像から混色のないＭ個の分光画像を生成する色補正処理ステップと、を実行させる。
【００２３】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００２４】
本発明画像処理装置、画像処理方法、並びにプログラムによれば、カラーフィルタアレイ方式分光撮像装置で取得された、複数の分光画像が混合した画像から、正確な分光情報を取得することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施例１の画像処理装置の構成図である。
【図２】本発明が対象とするモザイク画像の説明図である。
【図３】本発明が対象とするセンサの分光感度特性を示した図である。
【図４】本発明の実施例１の補間処理方法の説明図である。
【図５】本発明の実施例１の解像度処理部の構成図である。
【図６】本発明の実施例２の画像処理方法のフローチャートである。
【図７】従来例の画像処理装置の構成図である。
【発明を実施するための形態】
【００２６】
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
【００２７】
本発明は、２つ以上の分光画像が混合したＭ個のモザイク画像から、混色のないＭ個の分光画像を生成するための画像処理装置、画像処理方法、並びにプログラムに関する。
【００２８】
そこで、まず、本発明が対象とするモザイク画像について説明する。
【００２９】
（本発明が対象とするモザイク画像について）
図２は本発明が対象とするモザイク画像の説明図である。図２は、図３（ｃ）に示す分光感度特性Ｓｍ１、Ｓｍ２、Ｓｍ３、Ｓｍ４を有するセンサＳ１、Ｓ２、Ｓ３、Ｓ４が複数配置された単板式撮像素子により取得されるモザイク画像を示している。
【００３０】
図２中、センサＳ１、Ｓ２、Ｓ３、Ｓ４はそれぞれ、縦線、右上がり斜線、横線、右下がり斜線パターンで表している。
【００３１】
図２左側のＲＡＷは単板式撮像素子からのＲａｗ出力画像を示している。図２右側のＲｍ、Ｇｍ、Ｂｍ、ＮＩＲｍは、それぞれセンサＳ１、Ｓ２、Ｓ３、Ｓ４毎に分類したモザイク画像である。
【００３２】
図３（ｃ）はセンサＳ１、Ｓ２、Ｓ３、Ｓ４の分光感度特性Ｓｍ１、Ｓｍ２、Ｓｍ３、Ｓｍ４を示している。図３（ｃ）の横軸は波長、縦軸は相対分光感度である。
【００３３】
図２のセンサは、シリコンセンサと、カラーフィルタと、後述のバンドパスフィルタと、を組み合わせた構成となっている。
【００３４】
図３（ａ）はシリコンセンサとカラーフィルタを掛け合わせた分光感度特性を示しており、横軸は波長、縦軸は相対分光感度である。図中、一点鎖線は赤色カラーフィルタシリコンセンサの組み合せの分光感度特性を、破線は緑色カラーフィルタシリコンセンサの組み合せの分光感度特性を、点線は青色カラーフィルタとシリコンセンサの組み合せの分光感度特性を表している。実線は近赤外用カラーフィルタの分光感度特性を表しており、近赤外用カラーフィルタは青色カラーフィルタと赤色カラーフィルタとシリコンセンサを組み合わせた構成となっている。
【００３５】
図３（ｂ）は光学薄膜により構成されるバンドストップフィルタの特性を示している。図３（ｂ）の横軸は波長、縦軸は透過率を示している。このバンドストップフィルタは、波長３５０ｎｍから１１００ｎｍの範囲内において、波長４００ｎｍ以下の光と波長６５０ｎｍから８５０ｎｍの光を遮断し、上記波長以外の光を透過する特性を有している。
【００３６】
図３（ｃ）に示すように、本発明のＣＦＡ方式分光撮像装置で取得された画像は、複数の波長帯域に感度を有している。例えば、センサＳ１により取得される画像は、可視光の赤色波長帯域と近赤外光の波長帯域に分光感度特性を有している。
【００３７】
図３（ｄ）は、混色のない分光画像を取得するために必要な、ＣＦＡ方式分光撮像装置の理想的な分光感度特性を示した図である。図３（ｄ）中、一点鎖線で示すＳｃ１は赤色の分光画像の理想分光感度特性、破線で示すＳｃ２は緑色の分光画像の理想分光感度特性、点線で示すＳｃ３は青色の分光画像の理想分光感度特性、実線で示すＳｃ４は近赤外光の分光画像の理想分光感度特性を示している。
【００３８】
混色のない分光画像の理想分光感度特性を図３（ｄ）のように定義すると、図３（ｃ）の分光感度特性を有するイメージセンサにより取得された画像は、複数の分光画像が混合した画像と見なすことができる。例えば、分光感度特性Ｓｍ１のイメージセンサより取得された画像は、分光感度特性Ｓｃ１とＳｃ４のイメージセンサによりそれぞれ取得された分光画像が混合した画像と見なすことができる。
【００３９】
本発明は、図３（ｃ）に示す分光感度特性を有するＣＦＡ方式分光撮像装置で取得された、複数の分光画像が混合したモザイク画像から、デモザイキングと色補正処理が施された正確な色情報を有する分光画像を取得することを目的としている。
【００４０】
なお、図３（ｄ）に示す理想的な分光感度特性を実現することを目的としたセンサの構成が、下記参考文献１に開示されている。参考文献１では、センサＳ１をシリコンセンサ、赤色カラーフィルタ、ＮＩＲカットフィルタにより構成し、センサＳ２をシリコンセンサ、緑色カラーフィルタ、ＮＩＲカットフィルタにより構成している。また、センサＳ３をシリコンセンサ、青色カラーフィルタ、ＮＩＲカットフィルタにより構成し、センサＳ４をシリコンセンサ、狭帯域ＮＩＲバンドパスフィルタにより構成している。
【００４１】
しかしながら、参考文献１に示すセンサにおいても、わずかながら所望の波長帯域以外の波長帯域に感度特性を有している。従って、本発明は参考文献１のセンサにより取得されたモザイク画像においても適用し、その効果を得ることができる。
【００４２】
［参考文献１］ＩＭＥＣ社製マルチスペクトラルイメージセンサ
http://www.imec-int.com/en/articles/imec-introduces-new-snapshot-multispectral-image-sensor-that-combines-color-and-near-infrared-imaging
次に、本発明の画像処理装置について説明する。
【実施例１】
【００４３】
（本発明の画像処理装置）
図１は本発明の画像処理装置１００の構成図である。
【００４４】
本発明の画像処理装置１００は補間処理部１１、色補正処理部１２を有している。さらに、オプションとして、解像度処理部１３、ホワイトバランス処理部１４、エッジ処理部１５、輝度閾値処理部１６を有している。
【００４５】
以下、各処理部の機能について、画像処理の順に説明を行う。
【００４６】
まず、センサで取得されたモザイク画像Ｒｍ、Ｇｍ、Ｂｍ、ＮＩＲｍが、補間処理部１１に入力される。補間処理部１１では、各モザイク画像を独立に補間し、補間画像Ｒｉｐ、Ｇｉｐ、Ｂｉｐ、ＮＩＲｉｐを出力する。ここで、モザイク画像を独立に補間とは、モザイク画像間の情報を用いた補間を行わないことを意味している。従って、補間処理部１１では、例えば、色差補間法を用いた補間処理は行わない。
【００４７】
図４は補間処理部１１における補間方法を説明する図である。図４において、Ｉ１１、Ｉ１３、Ｉ３１、Ｉ３３はセンサの輝度値、Ｉ１２、Ｉ２１、Ｉ２２、Ｉ２３、Ｉ３２は補間された画素の輝度値を示す。本発明では、例えば、バイリニア補間法を用いて補間を行う。バイリニア補間法を用いた場合、補間画素の輝度値Ｉ１２、Ｉ２１、Ｉ２２、Ｉ２３、Ｉ３２は下記式で求めることができる。
【００４８】
【数１】
2020120204.tif 000003
【００４９】
【数２】
2020120204.tif 000004
【００５０】
【数３】
2020120204.tif 000005
【００５１】
【数４】
2020120204.tif 000006
【００５２】
【数５】
2020120204.tif 000007
【００５３】
なお、各モザイク画像間の情報を用いなければバイリニア補間法に限らず、例えば、バイキュービック補間法を用いてもよい。
【００５４】
本発明では、色補正処理前に、モザイク画像間の情報を用いた補間処理を行わないことを特徴としており、これによりデモザイキング時に分光情報の誤差が生じることを防いでいる。
【００５５】
次に、補間画像Ｒｉｐ、Ｇｉｐ、Ｂｉｐ、ＮＩＲｉｐは色補正処理部１２に入力される。色補正処理部１２では、上記４個の補間画像から、分光感度特性Ｓｃ１、Ｓｃ２、Ｓｃ３、Ｓｃ４のイメージセンサで取得された分光画像とほぼ等価な色補正画像Ｒｃｃ、Ｇｃｃ、Ｂｃｃ、ＮＩＲｃｃを生成する。
【００５６】
色補正処理部１２では、Ｍ×Ｍの色補正行列Ｃを保持しており、この色補正行列Ｃを用いて、Ｍ個の補間画像からＭ個の色補正画像を生成する。具体的には、下記式を用いて色補正画像を生成する。
【００５７】
【数６】
2020120204.tif 000008
【００５８】
【数７】
2020120204.tif 000009
【００５９】
【数８】
2020120204.tif 000010
【００６０】
【数９】
2020120204.tif 000011
【００６１】
ここでｉ、ｊは補間画素の横と縦の画素番号を表している。Ｒｉｐ（ｉ，ｊ）、Ｇｉｐ（ｉ，ｊ）、Ｂｉｐ（ｉ，ｊ）、ＮＩＲｉｐ（ｉ，ｊ）は画素ｉ，ｊにおける各補間画像の輝度値を表す。また、Ｒｃｃ（ｉ，ｊ）、Ｇｃｃ（ｉ，ｊ）、Ｂｃｃ（ｉ，ｊ）、ＮＩＲｃｃ（ｉ，ｊ）は画素ｉ、ｊの位置における各色補正画像の輝度値を表す。
【００６２】
なお、色補正行列は、前記センサの分光感度特性Ｓｍｋ（ｋ＝１、２、３、４）と、前記理想分光感度特性Ｓｃｋ（ｋ＝１、２、３、４）とにもとづき、生成する。具体的にはまず、下記関係式を見たす変換行列Ｋを算出する。
【００６３】
【数１０】
2020120204.tif 000012
【００６４】
【数１１】
2020120204.tif 000013
【００６５】
【数１２】
2020120204.tif 000014
【００６６】
【数１３】
2020120204.tif 000015
【００６７】
ここで、Ｉｓ１、Ｉｓ２、Ｉｓ３、Ｉｓ４は分光感度特性Ｓｍｋ（ｋ＝１、２、３、４）のセンサに波長依存性のない光強度の入射光が入射した場合の輝度値である。また、Ｉｉ１、Ｉｉ２、Ｉｉ３、Ｉｉ４は分光感度特性Ｓｃｋ（ｋ＝１、２、３、４）のセンサに波長依存性のない光強度の入射光が入射した場合の輝度値である。
【００６８】
上記変換行列を用いて、色補正行列Ｃは下記式により求めることができる。
【００６９】
【数１４】
2020120204.tif 000016
【００７０】
図３（ｃ）の分光感度特性を有するセンサと、図３（ｄ）の理想分光感度特性を有するセンサの組における変換行列Ｋの値を表１に示す。
【００７１】
【表１】
2020120204.tif 000017
【００７２】
本発明では、式（２ａ）で示されるように、色補正処理時に全ての補間画像に対して、分光画像の分離処理を行うことを特徴としているため、正確に分光情報を取得することが可能である。
【００７３】
色補正処理部１２より出力された色補正画像は、解像度処理部１３に入力される。解像度処理部１３では色補正画像の空間解像度を高解像度化する処理を行う。具体的には、色差補間法を用いて高解像度化処理を行う。実施例１の場合、赤色画像、緑色画像、青色画像、近赤外画像のうち、色差補間法が有効な可視光画像のみを用いて、高解像度化処理を行う。
【００７４】
図５は解像度処理部１３の構成を示す図である。
【００７５】
解像度処理部１３は内部に、モザイク処理部１３１と、色差補間処理部１３２を有する。モザイク処理部１３１は色補正画像Ｒｃｃ、Ｂｃｃをモザイク画像Ｒｍ、Ｂｍと同様のパターンにモザイク処理し、再モザイク画像Ｒｍ２、Ｂｍ２を出力する。
【００７６】
次に、色補正画像Ｇｃｃと再モザイク画像Ｒｍ２、Ｂｍ２が色差補間処理部１３２に入力される。色差補間処理部１３２では、色補正画像Ｇｃｃと再モザイク画像Ｒｍ２を用いて高解像度画像Ｒｈｄを出力する。同様に、色補正画像Ｇｃｃと再モザイク画像Ｂｍ２を用いて高解像度画像Ｂｈｄを出力する。色補正画像Ｇｃｃ、ＮＩＲｃｃについては特に処理を行わず、それぞれそのまま高解像度画像Ｇｈｄ、ＮＩＲｈｄとして出力する。なお、実施例１では、緑色画像を用いて赤色画像、青色画像の高解像度化処理を行ったが、赤色画像を用いて緑色画像、青色画像の高解像度化処理を行ってもよく、好ましくは、最も解像度の高い画像を基準にして色差補間を行うとよい。
【００７７】
本発明では、色補正処理後に色差補間処理を行うことを特徴としており、これにより、色情報を正確に取得しつつ、空間解像度の高い分光画像を取得することが可能である。
【００７８】
次に、高解像度画像Ｒｈｄ、Ｇｈｄ、Ｂｈｄ、ＮＩＲｈｄはホワイトバランス処理部１４に入力され、センサの分光感度特性Ｓｃｋや分光画像撮影時の照明光分光特性に応じた重み付け処理が行われる。
【００７９】
本発明では色補正処理後にホワイトバランス処理部１４を有することを特徴としており、これにより正確に分光情報を取得することが可能である。
【００８０】
ホワイトバランス処理部１４の出力画像は、エッジ処理部１５に入力される。エッジ処理部１５では入力された画像のエッジ領域を抽出し、抽出されたエッジ領域を分光情報評価対象領域から除外する処理を行う。エッジ領域の抽出は、例えば、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｌａｐｌａｃｉａｎフィルタ等の微分フィルタを入力画像に畳み込み演算すればよい。ただし、微分フィルタは上記に限ったものではない。また、分光情報評価対象領域から除外する処理は、例えば、エッジ領域の輝度値を０や最大値に置き換える処理を指す。
【００８１】
ＣＦＡ方式で取得されたデモザイキング画像では、特に、エッジ領域の分光情報の誤差が大きい。そのため、本発明では、デモザイキング画像のエッジ領域を分光情報評価領域から除外した分光画像を出力することを特徴としており、これにより、出力された分光画像を用いて、正確な解析、診断を行うことができる。
【００８２】
最後に、エッジ処理部１５の出力画像は、輝度閾値処理部１６に入力される。輝度閾値処理部１６では、モザイク画像ＲＡＷの低輝度領域と高輝度領域を分光情報評価対象領域から除外する処理を行う。具体的には、低輝度領域の閾値ＩＬと高輝度領域の閾値ＩＨを設定し、モザイク画像ＲＡＷの各画素の輝度値Ｉ（ｉ，ｊ）に対し、Ｉ（ｉ，ｊ）＜ＩＬ、もしくは、Ｉ（ｉ，ｊ）＞ＩＨを満たす画素位置ｉ，ｊを除外領域画素位置とする。分光情報評価対象領域から除外する処理は、例えば、各分光画像の除外領域画素位置における輝度値を０や最大値に置き換える処理を指す。
【００８３】
撮像画像の低輝度部は信号対雑音比が小さいため、ノイズにより分光情報を正確に評価することが困難である。また、撮像画像の高輝度部はセンサに入射する光強度に対して出力値が飽和しているため、分光情報を正確に評価することができない。そのため、本発明では、モザイク画像の低輝度領域と高輝度領域を分光情報評価対象領域から除外した分光画像を出力することを特徴としており、これにより、出力された分光画像を用いて、正確な解析、診断を行うことができる。
【００８４】
次に、本発明の画像処理方法について説明する。
【実施例２】
【００８５】
（本発明の画像処理方法）
図６は本発明の画像処理方法２００のフローチャートである。
【００８６】
画像処理方法２００は、補間処理ステップＳ００１、色補正処理ステップＳ００２を有し、オプションとして、解像度処理ステップＳ００３、ホワイトバランス処理ステップＳ００４、エッジ処理ステップＳ００５、輝度閾値処理ステップＳ００６を有する。
【００８７】
補間処理ステップＳ００１では、ＣＦＡ方式分光撮像装置で取得されたＭ個のモザイク画像を各々独立に補間したＭ個の補間画像を生成する。Ｍ個の補間画像を生成する際にはバイキュービック補間を行う。
【００８８】
色補正処理ステップＳ００２では、補間処理ステップＳ００１で生成されたＭ個の補間画像からＭ個の色補正画像を生成する。Ｍ個の色補正画像の生成は、色補正行列Ｃを用いて、式（２ａ）により行う。色補正行列Ｃの値は、センサの分光感度特性Ｓｍｋ（ｋ＝１、２、・・、Ｍ）と、理想分光感度特性Ｓｃｋ（ｋ＝１、２、・・、Ｍ）とにもとづき、式（３）、（４）を用いて予め計算された値として保持している。
【００８９】
解像度処理ステップＳ００３では、Ｍ個の色補正画像間の色差情報にもとづいた高解像度化処理を行い、高解像度画像を出力する。
【００９０】
ホワイトバランス処理ステップＳ００４では、解像度処理ステップＳ００３で出力された画像のホワイトバランス処理を行う。具体的には、ホワイトバランス処理ステップＳ００４では、予めセンサの分光感度特性Ｓｃｋにより決定された重み付け値と、分光画像撮影時の照明光分光特性より決定された重み付け値にもとづき、各分光画像の重み付けを行う。
【００９１】
エッジ処理ステップＳ００５では、ホワイトバランス処理ステップＳ００４で出力された画像のエッジ領域を抽出し、抽出されたエッジ領域を分光情報評価対象領域から除外する処理を行う。エッジ領域の抽出には、まず、微分フィルタの畳み込み演算により微分画像を生成する処理を行い、次に、微分画像の輝度値が閾値以上の領域をエッジ領域とする閾値処理を行う。分光情報評価対象領域から除外する処理としては、エッジ領域として抽出された画素位置における各分光画像の輝度値を最大値に置き換える処理を行う。
【００９２】
輝度閾値ステップＳ００６では、モザイク画像ＲＡＷの低輝度領域と高輝度領域を分光情報評価対象領域から除外する処理を行う。具体的には、まず、予め設定された低輝度領域の閾値ＩＬと高輝度領域の閾値ＩＨを用いて、モザイク画像ＲＡＷの各画素の輝度値Ｉ（ｉ，ｊ）に対し、Ｉ（ｉ，ｊ）＜ＩＬ、もしくは、Ｉ（ｉ，ｊ）＞ＩＨを満たす画素位置ｉ，ｊを除外領域画素位置として算出する処理を行う。次に、各分光画像の除外領域画素位置における輝度値を最大値に置き換える処理を行う。
【００９３】
（他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９４】
各実施例によれば、カラーフィルタアレイ方式分光撮像装置で取得された画像から、正確な分光情報を取得することが可能な画像処理装置、画像処理方法、および、プログラムを提供することができる。
【００９５】
以上、本発明の実施形態について説明したが、本発明の内容を逸脱しない範囲であれば、上記に限ったものではない。
【符号の説明】
【００９６】
ＲＡＷ  ＲＡＷ画像、Ｓ１，Ｓ２，Ｓ３，Ｓ４  センサ、
Ｒｍ，Ｇｍ，Ｂｍ，ＮＩＲｍ  モザイク画像、
Ｒｉｐ，Ｇｉｐ，Ｂｉｐ，ＮＩＲｉｐ  補間画像、
Ｒｃｃ，Ｇｃｃ，Ｂｃｃ，ＮＩＲｃｃ  色補正画像、
Ｒｈｄ，Ｇｈｄ，Ｂｈｄ，ＮＩＲｈｄ  高解像度画像
【図１】
2020120204.tif 000018
【図２】
2020120204.tif 000019
【図３】
2020120204.tif 000020
【図４】
2020120204.tif 000021
【図５】
2020120204.tif 000022
【図６】
2020120204.tif 000023
【図７】
2020120204.tif 000024