(57)【特許請求の範囲】
【請求項１】
被写体を撮影する際に撮影波長領域を複数チャンネルに分割し、この分割されたチャンネルに対応してスペクトル画像を撮影するマルチバンドカメラを用いて得られるマルチバンド画像を画像処理する方法であって、
前記スペクトル画像またはスペクトル画像から得られる分光反射率スペクトル画像に、前記マルチバンドカメラの撮影感度の低いチャンネルのスペクトル画像または分光反射率スペクトル画像ほど、ノイズ抑制の強度を強くするノイズ抑制画像処理を施すことを特徴とするマルチバンド画像の画像処理方法。
【請求項２】
前記撮影波長領域の複数分割は、液晶チューナブルフィルタによって行われる請求項１に記載のマルチバンド画像の画像処理方法。
【請求項３】
前記ノイズ抑制画像処理が、ノイズの微小振幅成分を取り除くノイズ抑制画像処理である請求項１または２に記載のマルチバンド画像の画像処理方法。
【請求項４】
前記ノイズ抑制画像処理が、メディアンフィルタ処理である請求項３に記載のマルチバンド画像の画像処理方法。
【請求項５】
前記チャンネルの撮影感度のうち最大撮影感度を基準として、チャンネルの撮影感度の感度比率が０．１以下のチャンネルのスペクトル画像または分光反射率スペクトル画像にメディアンフィルタ処理を施す請求項４に記載のマルチバンド画像の画像処理方法。
【請求項６】
前記ノイズ抑制画像処理が、選択的局所平均化によるノイズ抑制画像処理である請求項１または２に記載のマルチバンド画像の画像処理方法。
【請求項７】
被写体を撮影する際に、撮影波長領域を複数チャンネルに分割し、この分割されたチャンネルに対応してスペクトル画像を撮影するマルチバンドカメラと、
このマルチバンドカメラによって撮影されたスペクトル画像またはこのスペクトル画像から得られる分光反射率スペクトル画像に、請求項１〜６のいずれかに記載のマルチバンド画像の画像処理方法を適用したノイズ抑制画像処理を施す画像処理装置とを備えたことを特徴とするマルチバンド画像の画像処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影波長領域を複数チャンネルに分割し、チャンネル毎に同一被写体のスペクトル画像を撮影するマルチバンドカメラにおいて、スペクトル画像またはスペクトル画像から得られる分光反射率スペクトル画像に含まれるノイズを抑制し、さらに除去するノイズ抑制画像処理の技術分野に属する。
【０００２】
【従来の技術】
今日、デジタル画像処理の進歩によって、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色を用いたカラー画像の他に、撮影波長領域を複数チャンネル、たとえば４チャンネル以上に分割し、チャンネル毎に同一被写体を撮影した複数のスペクトル画像からなるマルチバンド画像が種々の世界で利用されている。
【０００３】
このマルチバンド画像は、撮影波長領域を複数チャンネルに分割する分光フィルタとこの分割されたチャンネル毎にスペクトル画像を撮影するカメラとからなるマルチバンドカメラによって撮影される。
すなわち、マルチバンドカメラは、一定の分光強度分布を持つ照明光で被写体を照らして得られる反射光を、チャンネル毎に異なる一定の分光透過率分布を有する分光フィルタに通過させ、一定の分光透過率分布を有するカメラの光学系レンズを介して、撮像素子の受光面に結像させることでスペクトル画像を得る。そのため、マルチバンドカメラで撮影した時の撮影感度、すなわち、被写体からの反射光の光量に対する画像濃度値の感度は、分光フィルタのフィルタ特性、すなわち分光透過率分布と撮影時の照明光の分光強度分布との積によって規定される。更に精密には、撮像素子の分光感度分布を積に含め、より精密にはカメラの光学系レンズの分光透過率分布の積を更に含めて規定される。
【０００４】
その結果、分光フィルタの分光透過率分布および照明光の分光強度分布等によって規定されるマルチバンドカメラの撮影感度は、波長によって変化し、各チャンネルに対応するスペクトル画像は受光した光量に応じてオーバー露光傾向やアンダー露光傾向に成り易い。このような場合、撮影感度によってスペクトル画像がオーバー露光傾向やアンダー露光傾向とならないように、撮影時の露光積分時間を変化して光量を調整し、また撮影感度が各チャンネルの波長間で揃うように、ＮＤフィルタを挿入して光強度を調整するのが一般的である。
しかし、マルチバンド画像は常に十分な光量を確保できる環境で撮影できないため、一般に、撮影感度の低い波長領域に合わせて撮影感度は調整されない。
すなわち、マルチバンドカメラの撮影感度は、波長に対して一定に揃えられておらず、波長に応じて変化し、チャンネルによって異るのが一般的である。
【０００５】
【発明が解決しようとする課題】
ところで、このようなマルチバンドカメラで撮影されるマルチバンド画像は、上述したように撮影感度に応じて光量調整されないため、撮影感度の高いチャンネルのスペクトル画像は、ノイズの影響が小さく画質の劣化が少ない一方、撮影感度の低いチャンネルのスペクトル画像は、ノイズの影響が大きく画質の劣化が大きい。
例えば、白黒銀塩写真としてマルチバンド画像を得た場合、撮影感度の低いチャンネルのスペクトル画像は、粒状度が悪化する。また、ＣＣＤ（charge-coupled device)カメラでマルチバンド画像を得た場合、撮影感度が低いチャンネルのスペクトル画像は白抜けのノイズや筋むらが目立ち易い。その結果、マルチバンド画像をカラー画像として表示した場合、撮影感度の低いチャンネルのスペクトル画像の影響を受けてカラー画像が劣化してしまう。
【０００６】
そこで、本発明は、上記問題点を解決すべく、撮影波長領域を複数チャンネルに分割し、この分割されたチャンネルに対応した同一被写体のスペクトル画像を撮影するマルチバンドカメラにおいて、マルチバンドカメラの撮影感度の影響により発生するノイズを効果的に抑制し、さらにノイズを除去し画質を向上させるマルチバンド画像のノイズ抑制画像処理方法およびノイズ抑制画像処理システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するために、本発明に係るマルチバンド画像の画像処理方法は、被写体を撮影する際に撮影波長領域を複数チャンネルに分割し、この分割されたチャンネルに対応してスペクトル画像を撮影するマルチバンドカメラを用いて得られるマルチバンド画像を画像処理する方法であって、前記スペクトル画像またはこのスペクトル画像から得られる分光反射率スペクトル画像に、前記マルチバンドカメラの撮影感度の低いチャンネルのスペクトル画像または分光反射率スペクトル画像ほど、ノイズ抑制の強度を強くするノイズ抑制画像処理を施すことを特徴とする。
【０００８】
ここで、前記撮影波長領域の複数分割は、液晶チューナブルフィルタによって行われるのが好ましい。
【０００９】
また、前記ノイズ抑制画像抑制が、ノイズの微小振幅成分を取り除くノイズ抑制画像処理であるのが好ましく、その際、前記ノイズ抑制画像抑制が、メディアンフィルタ処理であるのが好ましく、この場合、前記チャンネルの撮影感度のうち最大撮影感度を基準として、チャンネルの撮影感度の感度比率が０．１以下のチャンネルのスペクトル画像または分光反射率スペクトル画像にメディアンフィルタ処理を施すのが好ましい。
さらにまた、前記ノイズ抑制画像処理が、選択的局所平均化によるノイズ抑制画像処理であるのが好ましい。
【００１０】
また、本発明に係るマルチバンド画像の画像処理システムは、被写体を撮影する際に、撮影波長領域を複数チャンネルに分割し、この分割されたチャンネルに対応してスペクトル画像を撮影するマルチバンドカメラと、
このマルチバンドカメラによって撮影された前記スペクトル画像またはこのスペクトル画像から得られる分光反射率スペクトル画像に、段落〔０００７〕〜〔０００９〕に記載のマルチバンド画像の画像処理方法のいずれかを適用したノイズ抑制画像処理を施す画像処理装置とを備えたことを特徴とするものである。
【００１１】
【発明の実施の形態】
以下、本発明のマルチバンド画像の画像処理方法、すなわちマルチバンド画像のノイズ抑制画像処理方法を実施する、本発明のマルチバンド画像のノイズ抑制画像処理システムについて、添付の図面に示される好適実施例を基に詳細に説明する。
なお、本実施例では、後述するように、マルチバンドカメラで撮影されたスペクトル画像から得られる分光反射率スペクトル画像に対してノイズ抑制画像処理を施しているが、スペクトル画像自体にノイズ抑制画像処理を施してもよい。
また、本発明でいうマルチバンド画像のチャンネル数は、少なくとも４チャンネル以上であるが、８チャンネル以上であることが好ましい。
【００１２】
図１に、本発明のマルチバンド画像の画像処理システムの一実施例であるノイズ抑制画像処理システム（以降、本システムという）１０の構成を示す。本システム１０は、被写体Ｏを撮影する際に撮影波長領域を複数チャンネルに分割し、この分割されたチャンネルに対応したスペクトル画像を撮影するマルチバンドカメラ１２と、このマルチバンドカメラ１２で撮影された複数のスペクトル画像の画像信号から、分光反射率スペクトル画像を推定して取得し、この分光反射率スペクトル画像に、本発明の画像処理方法であるノイズ抑制画像処理方法により画像処理を施して、ノイズ抑制済み分光反射率スペクトル画像を得る画像処理装置１４とを有して構成される。これにより、マルチバンドカメラ１２に起因するノイズを抑制、さらには除去したマルチバンド画像を得ることができる。
【００１３】
マルチバンドカメラ１２は、撮影波長領域を複数チャンネルに分割する液晶チューナブルフィルタ１６と、この液晶チューナブルフィルタ１６によって複数に分割されたチャンネル毎に同一の被写体Ｏの複数のスペクトル画像を撮影するＣＣＤカメラ１８とを備える。
【００１４】
液晶チューナブルフィルタ１６は、被写体Ｏからの反射光を複数のチャンネル毎に設定された波長領域で透過することができるように、画像処理装置１４を形成するコンピュータから制御信号を受け取って所望のバンドパスフィルタとして機能する波長可変フィルタである。
すなわち、オペレータの設定したチャンネル数および各チャンネルに対応した波長領域に対応して、例えば、図２に示すようなピーク値を持つバンドパスフィルタを得ることができる。図２は、４１０〜７１０ｎｍの撮影波長領域を１６のチャンネルで分割した例を示しているが、これによると、各チャンネルの分光透過率分布は、チャンネルの波長領域の中心波長でピーク値を持つものの、例えば、中心波長が７１０ｎｍの長波長側では分光透過率が０．６に近く、そこから波長が短くなるにつれて分光透過率分布のピーク値が低下し、中心波長が４１０ｎｍの短波長側では分光透過率が０．０６となって、中心波長が７１０ｎｍの分光透過率分布のピーク値の約１０分の１に減少するといった分光透過率分布の波長依存性を備えている。
【００１５】
そのため、上記分光透過率分布、照明光の分光強度分布および光学系レンズの分光透過率分布によって規定されるマルチバンドカメラ１２の撮影感度は、波長によって変化する。特に、液晶チューナブルフィルタ１６の分光透過率分布の上記波長依存性は、マルチバンドカメラ１２の撮影感度を規定する上で支配的となり、マルチバンドカメラ１２の撮影感度は液晶チューナブルフィルタ１６の分光透過率分布の波長依存性と同様の特徴を備える。
その結果、上述したように、撮影感度の高いチャンネルのスペクトル画像は、ノイズの影響が小さく画質の劣化が少ない一方、撮影感度の低いチャンネルのスペクトル画像は、ノイズの影響が大きく画質の劣化が大きくなるといった問題が生ずる。
本システム１０は、このノイズの影響が大きく画質の劣化が大きくなるといった問題を解決するために、後述する画像処理装置１４で処理を行っているのである。
なお、本実施例では、液晶チューナブルフィルタ１６を備えるが、これに制限されず、１素子で電気的に分光透過率を瞬時に変化させる波長可変フィルタであればいずれでもよく、たとえば音響光学フィルタが挙げられる。
【００１６】
このような液晶チューナブルフィルタ１６を用いて撮影波長領域を複数チャンネル、例えば１６チャンネルに分割し、同一の被写体Ｏを撮影して複数のスペクトル画像からなるマルチバンド画像をＣＣＤカメラ１８によって撮影する。
すなわち、ＣＣＤカメラ１８は、所望の分光透過率分布に制御された液晶チューナブルフィルタ１４を透過した透過光を、光学系のレンズを介してエリア状に配列したＣＣＤ素子の受光面で結像させ、波長領域の異なる各チャンネルごとに撮影被写体を撮影したスペクトル画像信号を得る撮影手段である。すなわち、チャンネル数が１６チャンネルであれば、１６枚のスペクトル画像の画像信号が得られる。
ＣＣＤカメラ１８の画素数や画素サイズは制限されず、公知のサイズ、例えば１０２４×１０２４ピクセルであり、公知の画素サイズ、例えば１２×１２μｍである。
得られたスペクトル画像の画像信号は、画像処理装置１４に送られる。
【００１７】
本実施例では、マルチバンドカメラの撮影手段として、ＣＣＤカメラ１８を用いたが、これに制限されず、例えば、従来の光学系の銀塩写真撮影用カメラでもよい。この場合、白黒銀塩写真としてスペクトル画像を得ればよい。
【００１８】
画像処理装置１４は、マルチバンドカメラ１２から送られたスペクトル画像の画像信号を得、この信号から被写体Ｏの分光反射率スペクトル画像を推定し取得するとともに、マルチバンドカメラ１２の撮影感度に起因したノイズを抑制し、さらには除去する画像処理装置である。この画像処理装置１４は、データ処理部２０と、マクベス１次元ＬＵＴ部２２と、分光反射率推定部２４と、ノイズ抑制処理部２６と、データ記憶部２８とを有して構成される。本実施例における画像処理装置１４を構成する上記各構成部は、ソフトウェアの機能として、コンピュータで実行されるものであるが、ソフトウェアに限られず、構成部の一部または全部の機能が、ハードウェアで実施されるものであってもよい。
【００１９】
データ処理部２０は、ＣＣＤカメラ１８で受光して得られた画像信号をＡ／Ｄ変換してディジタル画像データを得、ＤＣオフセットの補正を行って、次いで暗時補正をかけ、この後、画像データをＬＯＧ変換し、シェーディング補正を行い、マルチバンド画像を構成するスペクトル画像の画像データ値（以降、この画像データ値をＱＬ値という）を得、スペクトル画像を得る部分である。得られたスペクトル画像は、図示されないスペクトル画像記憶部に記憶される。また、スペクトル画像のＱＬ値は、分光反射率推定部２４に送られる。
【００２０】
一方、マクベス１次元ＬＵＴ部２２は、被写体Ｏの撮影時に、マルチバンドカメラ１２を用いて、被写体撮影時のチャンネル数および波長領域と同じ条件でマクベスチャートを撮影し、得られたマクベスチャートの画像のうち分光反射率が既知の６つのグレーパッチのＱＬ値と、データ記憶部２８に記憶されているグレーパッチの既知の分光反射率の値とを対応させたルックアップテーブル（以降、ルックアップテーブルをＬＵＴという）を備える部分であり、分光反射率推定部２４でスペクトル画像のＱＬ値から分光反射率を算出する際に、このマクベス１次元ＬＵＴ部２２で作成されたマクベスグレー１次元ＬＵＴが参照されるように構成される。なお、本発明において用いられるチャートはマクベスチャートに限られず、分光反射率が既知であるチャートであればいずれであってもよい。
【００２１】
分光反射率推定部２４は、データ処理部１８で得られた被写体を撮影した原画像の画像データのＱＬ値から、マクベスグレー１次元ＬＵＴを参照して分光反射率の値に変換し、分光反射率の値を推定し、分光反射率スペクトル画像を取得する部分である。
マクベスグレー１次元ＬＵＴに参照するＱＬ値のデータが存在しない場合は、内挿補間あるいは外挿補外等によって分光反射率の値を求めるが、内挿補間や外挿補外の方法は特に限定されず、公知の方法、たとえば直線補間やラグランジェ補間等の公知の方法が可能である。得られた分光反射率のデータは、ノイズ抑制処理部２６に送られる。
【００２２】
ノイズ抑制処理部２６は、スペクトル画像に含まれるノイズを抑制し、さらに除去する処理部であり、チャンネルの撮影感度に応じて、スペクトル画像から得られた分光反射率スペクトル画像にノイズ抑制処理を施す。
ノイズ抑制は、各チャンネルの撮影感度のうち最大撮影感度を基準として、チャンネルの撮影感度の感度比率が０．１以下のチャンネルの分光反射率スペクトル画像に対してメディアンフィルタ処理を施す。
ここで、撮影感度の感度比率は、液晶チューナブルフィルタの分光透過率分布と撮影時の照明光の分光強度分布とカメラの光学系レンズの分光透過率分布の積によって定まる分光感度分布の積分値の比率によって定義される。
【００２３】
図２に示される液晶チューナブルフィルタ１６の分光透過率分布の場合、中心波長が７１０ｎｍの長波長の分光透過率分布のピーク値に対して、中心波長が４１０ｎｍの短波長の分光透過率分布のピーク値の比率が約０．１であり、マルチバンドカメラ１２の中心波長が４１０ｎｍの短波長の撮影感度の感度比率が、中心波長が７１０ｎｍの長波長のチャンネルの撮影感度に対して、０．１以下となる。その結果、撮影感度の低い中心波長が４１０ｎｍのチャンネルのスペクトル画像は、ノイズの影響を受けて画質の劣化が大きくなる。そのため、中心波長が４１０ｎｍであるチャンネルのスペクトル画像にメディアンフィルタ処理が施される。
【００２４】
ここで、メディアンフィルタ処理とは、処理を施す注目画素を中心とした縦方向３画素と横方向３画素の計９画素の９個の分光反射率の値の中からメディアン値を選択して、このメディアン値を注目画素の分光反射率の値とする処理である。なお、本実施例のメディアンフィルタ処理は、縦、横方向の画素が３×３の画素領域で行うが、これに限られず、４×４の画素領域、５×５の画素領域等や３×４の画素領域、３×５の画素領域等、また４×３の画素領域、５×３の画素領域等で行うメディアンフィルタ処理であってもよい。
なお、本実施例は、ノイズ抑制処理方法としてメディアンフィルタ処理を行っているが、本発明におけるノイズ抑制画像処理はこれに限定されず、以下に示すようなノイズの抑制、さらには除去を行う公知のノイズ抑制（除去）処理方法であってもよい。
例えば、ノイズの微小振幅成分を取り除くノイズ抑制処理方法や選択的局所平均化によるノイズ抑制処理方法が挙げられる。
【００２５】
ノイズ微小振幅成分を取り除くノイズ抑制処理方法とは、被写体Ｏを撮影した分光反射率スペクトル画像のエッジ領域や線領域などの分光反射率が大きく変化する大振幅の領域の分光反射率のデータを保持し、それ以外のノイズ領域の分光反射率のデータのゆらぎを抑制、除去する処理方法である。この処理方法として、ソフトウェア上でヒステリシス特性を作り、これによってノイズ領域の分光反射率のデータのゆらぎを吸収するヒステリシススムージング法（R .W.Ehrich , "A symmetric hysterisis smoothing algorithm that preserves principal features," CGIP , vol.8, pp.121-126 ,August 1978)や、ノイズ領域の分光反射率のデータのゆらぎの振幅値に依存した座標系において低域フィルタリングを行い低振幅成分だけを抑制、除去するＥフィルタ法（P.P.Varoutas, L.R. Nardizzi, and E.R. Stokely, "Two-dimensional e-filtering applied to image processing," IEEE Trans., vol. SMC-6, pp. 410-419, June 1976)が挙げられる。また、これ以外の公知のノイズ抑制（除去）処理方法であってもよい。なお、上記メディアンフィルタ処理は、このノイズ抑制（除去）処理方法に含まれる。
【００２６】
一方、選択的局所平均化によるノイズ抑制処理方法とは、被写体Ｏを撮影した分光反射率スペクトル画像のエッジ領域や線領域を検出し、これ以外の領域について平均化を行う手法である。この処理方法としては、５×５の画素領域の近傍内の９種類のマスクの中から最も一様なマスクを選び、その中での平均値で注目画素の分光反射率の値を更新する、ボケ修正能力のあるエッジを保ったスムージング法（M. Nagao and T. Matsuyama, "Edge preserving smoothing," ibid., vol. 9, pp. 394-407, April 1979) や、エッジ領域や線領域の存在を考慮して、３×３画素領域のマスクの重み係数を各画素に対してアダプティブに決定する反復による雑音除去法（A.Lev, S.W. Zucker, and A. Rosenfeld, "Iterative enhancement of noisy images," IEEE Trans., vol. SMC-7, June 1977)や、３×３画素領域のマスク内で注目画素に似ている画素を選びだしその一様重み平均を求める局所的画素選択によるスムージング法（浅野, 横矢, 大久保, 田中, ”領域解析に適したフィルターの提案とその比較”, 信学技報, PRL 77-13 ,1977)が挙げられる。
【００２７】
さらに、本発明の画像処理方法であるノイズ抑制画像処理方法は、各チャンネルに対応した分光反射率スペクトル画像のノイズ成分が各チャンネル間で無相関であることを利用してノイズ領域のノイズ成分のみを選択的に抑制し、除去する方法、例えば本出願人により出願された特願平１１−１３９２４７号の「画像処理方法および画像処理装置」で示される画像処理方法や、特願平１１−１７８２２３号の「画像処理方法および画像処理装置およびマルチバンドカラー写真システム」で示される画像処理方法であってもよい。
【００２８】
また、モルフォロジーを利用したノイズ抑制画像処理方法であってもよい。たとえば、本出願人により出願された特願平１０−０２８４００号の「粒状抑制シャープネス強調画像処理方法と装置」で示される粒状抑制シャープネス強調画像処理方法や、特願平１０−０５４８１９号の「粒状性抑制画像処理方法と装置」で示される粒状性抑制画像処理方法や、特願平１０−０９７４０３号の「粒状抑制シャープネス強調画像処理と装置」で示される粒状抑制シャープネス強調画像処理の方法や、特願平１０−１０６０５９号の「粒状抑制画像処理法と装置」で示される粒状抑制画像処理法や、特願平１０−１０６０６０号の「粒状抑制シャープネス強調画像処理方法と装置」で示される粒状抑制シャープネス強調画像処理方法や、特願平１０−３２４７５１号の「粒状抑制画像処理方法と装置」で示される粒状抑制画像処理方法が挙げられる。
【００２９】
これら上述したノイズ抑制画像処理方法は、図２に示されるような液晶チューナブルフィルタ１６の分光透過率分布の特性を示す場合、ノイズ抑制の強度を撮影感度に応じて変化させ、撮影感度の低いチャンネルの分光反射率スペクトル画像ほど、ノイズ抑制の強度を強くするように構成してもよい。
なお、本発明では、スペクトル画像から分光反射率のスペクトル画像を推定し取得しているが、必ずしもノイズ抑制画像処理を行う前に分光反射率スペクトル分布を推定する必要はなく、データ処理部２０で得られたスペクトル画像にノイズ抑制画像処理を施してもよい。
【００３０】
得られたノイズ抑制済み分光反射率スペクトル画像は、データ記憶部２８に記憶されるとともに、画像処理装置１４から出力される。
なお、本実施例の画像処理装置１４において、上記構成部以外に、マルチバンド画像のチャンネル数を増やすために内挿補間して分光反射率のスペクトル分布のデータを内挿補間する補間処理部や、液晶チューナブルフィルタ１６の分光透過率分布の波形が各チャンネル間で重なり合うことによって生じる分光反射率分布の鈍りを除去し、正確な分光透過率の値を得て分光反射率スペクトル画像を得るデコンボリューション処理部を備えてもよい。その際、液晶チューナブルフィルタ１６の分光透過率分布が液晶の温度によって波長がシフトする温度依存性を考慮したフィルタ温度補正部を備えてもよい。
このように画像処理装置１４は構成される。
【００３１】
次に、本発明のマルチバンド画像の画像処理方法について、上記本システム１０を一実施例として説明する。
図３は、本システム１０のマルチバンドカメラ１２で撮影された複数のスペクトル画像から分光反射率スペクトル画像を求め、ノイズ抑制画像処理を行い、ノイズ抑制済み分光反射率スペクトル画像を得る処理の流れを説明している。
【００３２】
まず、液晶チューナブルフィルタ１６が所望の分光透過率分布を備えるバンドパスフィルタとなるように、画像処理装置１４を形成するコンピュータから制御信号を受け取り、所望の分光透過率分布を得る。一方、照明光Ｌが被写体Ｏから反射されてできた反射光を所望の分光透過率分布を持つ液晶チューナブルフィルタ１６に透過させ、これをＣＣＤカメラ１８で受光して撮影を行い、画像信号を得る。この画像信号は、画像処理装置１４のデータ処理部２０に送られ上述したデータ処理が施され、デジタル化されたスペクトル画像の画像データ値（ＱＬ値）を得る。得られたＱＬ値は、図示されないスペクトル画像記憶部に記憶される。
【００３３】
次に、画像処理装置１４を形成するコンピュータから制御信号を受け、液晶チューナブルフィルタ１６の分光透過率分布が、次のチャンネルの分光透過率分布に調整される。そして、上述した前のチャンネルと同様に、被写体Ｏからの反射光を上記分光透過率分布を持つ液晶チューナブルフィルタ１６に透過させ、ＣＣＤカメラ１８で撮影し、画像信号を得る。その後、データ処理部２０に送られスペクトル画像のＱＬ値を得る。
このようにして、設定された複数のチャンネル毎に液晶チューナブルフィルタ１６の分光透過率分布を変化させ、ＣＣＤカメラ１８で撮影して、設定されたチャンネルに対応したスペクトル画像を得る。
【００３４】
また、被写体Ｏの撮影の際に、同時にマクベスチャートを撮影して、マクベスチャートのマルチバンド画像を得る。このマクベスチャートのマルチバンド画像についても被写体Ｏのマルチバンド画像と同様に、データ処理部２０でデータ処理されてＱＬ値を得る。一方、マクベスチャートの６つのグレーパッチは、分光反射率の値が既知であり、予めデータ記憶部２８にマクベス分光反射率データとして記憶されており、この分光反射率データを呼び出して、マクベスチャートの６つのグレーパッチの分光反射率の値と上記得られたＱＬ値との対応付けを各チャンネル毎に行い、マクベス１次元ＬＵＴ部２２にマクベスグレー１次元ＬＵＴを作成する。
なお、本実施例では、マクベスチャートの撮影は被写体Ｏの撮影と同時であるが、これに制限されず、被写体Ｏの撮影の前後に、チャンネル数や波長間隔が被写体Ｏの撮影と同一の条件によってマルチバンドカメラ１２で撮影してもよい。
【００３５】
次に、被写体Ｏを撮影したスペクトル画像のＱＬ値から、チャンネル毎にマクベスグレー１次元ＬＵＴを参照して、分光反射率の値を得、分光反射率の推定を行い、各チャンネル毎の分光反射率スペクトル画像を得る。マクベスグレー１次元ＬＵＴを参照の際、参照するＱＬ値がマクベスグレー１次元ＬＵＴにない場合、適宜内挿補間や外挿補外等されて分光反射率の値に変換される。
このようにして得られた光反射率スペクトル画像に対して、ノイズ抑制画像処理が施される。
【００３６】
ノイズ抑制画像処理は、メディアンフィルタによるメディアンフィルタ処理であり、各チャンネルの撮影感度のうち最大撮影感度を基準として、チャンネルの撮影感度の感度比率が０．１以下のチャンネルの分光反射率スペクトル画像に対してメディアンフィルタ処理を施す。
つまり、マルチバンドカメラ１２の各チャンネルの撮影感度に応じて、複数のチャンネルからなる分光透過率スペクトル画像には、メディアンフィルタ処理の施される画像とメディアンフィルタ処理の施されない画像とが存在することになる。
得られた処理画像は、ノイズ抑制済み分光反射率スペクトル画像としてデータ記憶部２８に保存され、また画像処理装置１４の処理画像として出力される。
【００３７】
上述したように、本発明における画像処理方法はメディアンフィルタ処理方法に限定されず、公知のノイズ抑制（除去）処理方法、例えば、ノイズの微小振幅成分を取り除くノイズ抑制処理方法や選択的局所平均化によるノイズ抑制処理方法であってもよく、さらに、上述したように、各チャンネルに対応した分光反射率スペクトル画像のノイズ成分が各チャンネル間で無相関であることを利用してノイズ領域のノイズ成分のみを選択的に抑制、除去する方法や、モルフォロジーを利用したノイズ抑制処理方法であってもよい。この場合、ノイズ抑制の強度を撮影感度に応じて変化させ、撮影感度の低いチャンネルの分光反射率スペクトル画像ほど、ノイズ抑制の強度を強くするように構成してもよい。
また、本発明のマルチバンド画像の画像処理方法であるノイズ抑制画像処理方法において、マルチバンドカメラ１２で撮影されたスペクトル画像から得られる分光反射率スペクトル画像に対してノイズ抑制画像処理を施しているが、スペクトル画像自体にノイズ抑制画像処理を施してもよい。また、スペクトル画像自体にノイズ抑制画像処理を施した後、分光反射率スペクトル画像を得てもよい。
【００３８】
このようなマルチバンド画像の画像処理方法および画像処理システムにおいて、以下のようなマルチバンドカメラによる撮影と画像処理を行った。
ＣＣＤカメラ１８として、ＤＡＬＳＡ社製 CA-D4-1024A（ピクセル数１０２４×１０２４、ピクセルサイズ１２×１２ミクロン、ＰＣＩインターフェース付き、モノクロ）を用い、液晶チューナブルフィルタ１６として、ＣＲＩ社製Varispec Tunable Filter （液晶チューナブルフィルタ）を用いた。この液晶チューナブルフィルタは、４００〜７２０ｎｍのフィルタ波長範囲内で、分光透過率分布の中心波長を任意に選択でき、その分布の波長の半値幅の平均値が３０ｎｍであり、分光透過率は波長によって変化し６〜６０％であった。
分光反射率スペクトル推定装置として、ＰＲＯＳＩＤＥ社製ブック型ＰＣ（パーソナルコンピュータ）を用い、Windows ９５上で分光反射率のスペクトル分布を推定するためのソフトウェアをＣ++言語で作成した。なお、ＰＲＯＳＩＤＥ社製ブック型ＰＣは、ＣＰＵが１６６MHz であり、ＲＡＭは１２８Mbyte であった。
【００３９】
撮影の光源としてメタルハライドランプを用い、撮影被写体の照度を１２０００lux とした。撮影に使用した撮影レンズはNikomart（ｆ＝５０mm，Ｆ１．４）を用いた。
また、撮影波長範囲４１０ｎｍ〜７１０ｎｍを１６分割して１６チャンネルとし、各波長間隔を２０ｎｍとした。撮影は、人物顔とマクベスチャートとを同時に撮影した。また液晶チューナブルフィルタの分光透過率分布を各分割したチャンネルに応じて変化させて撮影し、マルチバンド画像を構成する原画像を１６枚得た。撮影時の絞り値はＦ２．８であった。撮影時間は１ショット２５ｍ秒であり、マルチバンド画像の撮影全体に３秒を要した。
【００４０】
まず、各チャンネルに対応するスペクトル画像中のマクベスチャート画像のうち分光反射率が既知の６つのグレーパッチから、このグレーパッチの画像データ値（ＱＬ値）を各チャンネル毎に得、このグレーパッチ画像のＱＬ値とこのグレーパッチの既知の分光反射率の値との対応付けを行い、各チャンネル毎にマクベスグレー１次元ＬＵＴを作成した。その後、スペクトル画像のＱＬ値から、先に作成したマクベスグレー１次元ＬＵＴを用いて分光反射率スぺクトル画像を得た。
【００４１】
その後、処理ａとして、Ｄ５０光源での等色関数により、ＣＩＥＬ* ａ* ｂ* 色空間のＬ* 、ａ* およびｂ* の値を求め、ピクトログラフィにカラー画像を出力した。
一方、処理ｂとして、１６チャンネルの撮影感度のうち最大撮影感度を基準として、チャンネルの撮影感度の感度比率が０．１以下のチャンネルの分光反射率スペクトル画像に対して、３×３画素の画素領域でのメディアンフィルタ処理を施し、その後、ＣＩＥＬ* ａ* ｂ* 色空間のＬ* 、ａ* およびｂ* の値を求め、ピクトログラフィにカラー画像を出力した。
【００４２】
その結果、処理ａで得られたカラー画像には、白ぽつ状のノイズが目立ち画質が劣化していたのに対し、処理ｂでは、明らかにノイズが少なく画質が向上した。
このように、本発明のマルチバンド画像の画像処理方法および画像処理システムを用いることで、マルチバンドカメラの撮影感度に起因したノイズの抑制、さらにはノイズの除去が可能であり、画質が向上することは明白である。
【００４３】
以上、本発明のマルチバンド画像の画像処理方法および画像処理システムについて詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００４４】
【発明の効果】
以上、詳細に説明したように、本発明によれば、撮影波長領域を複数に分割し、チャンネル毎に同一被写体を撮影してマルチバンド画像を得るマルチバンドカメラにおいて、マルチバンドカメラの撮影感度の影響により発生するノイズを効果的に抑制し、また除去し、画質を向上させることができる。
【図面の簡単な説明】
【図１】  本発明のマルチバンド画像の画像処理システムの一例の概略を示すブロック図である。
【図２】  図１で示される液晶チューナブルフィルタの分光透過率分布の一例を示す説明図である。
【図３】  本発明のマルチバンド画像の画像処理方法を説明する説明図である。
【符号の説明】
１０  マルチバンド画像のノイズ抑制画像処理システム
１２  マルチバンドカメラ
１４  画像処理装置
１６  液晶チューナブルフィルタ
１８  ＣＣＤカメラ
２０  データ処理部
２２  マクベス１次元ＬＵＴ部
２４  分光反射率推定部
２６  ノイズ抑制処理部
２８  データ記憶部
【図１】
0004043662.tif 000002
【図２】
0004043662.tif 000003
【図３】
0004043662.tif 000004