(57)【要約】【課題】蛍光体が発する赤外光は微弱であり、それに得られる赤外光像を可視光像に重ねて表示すると、赤外光像が不鮮明になる。【解決手段】加算器２０により、固体撮像素子のＲＧＢ画素の信号〈Ｒ〉，〈Ｇ〉，〈Ｂ〉から、赤外光に選択的に感度を有するＩＲ画素の信号〈IR〉を減算して、〈Ｒ〉，〈Ｇ〉，〈Ｂ〉のうち入射光のＲ，Ｇ，Ｂ成分に応じた信号Ｒ０，Ｇ０，Ｂ０を分離・抽出する。乗算器２２により〈IR〉にゲインκＲ，κＧ，κＢそれぞれを乗じて、ＩＲ成分を増幅させ、それぞれを加算器２４で、Ｒ０，Ｇ０，Ｂ０に合成する。κＲ，κＧ，κＢは、合成されるＩＲ成分によって可視光像上に表現される赤外光像が、白色や、可視光像とは識別可能な色相で強調表示されるように設定される。【選択図】図３
2008123194.tif 000002
【特許請求の範囲】
【請求項１】
赤外光に選択的に感度を有する赤外受光画素とそれぞれ互いに異なる特定色の可視光及び前記赤外光に感度を有する複数種類の色受光画素とが二次元配列された固体撮像素子と、
前記赤外受光画素に対応する赤外画素信号及び前記各色受光画素それぞれに対応する複数種類の色画素信号からなる、前記固体撮像素子が出力する原画像信号に基づいて、可視光像上に強調された赤外光像が合成表示された赤外合成画像を表す処理画像信号を生成する画像信号処理回路と、を備え、
前記画像信号処理回路は、
前記赤外画素信号及び前記各色画素信号に基づき、赤外光成分に対応した赤外成分画像信号と前記各特定色の可視光成分に対応した複数種類の色成分画像信号とを生成する成分画像信号生成手段と、
前記各色成分画像信号と前記赤外光像の強調内容に応じたゲインを乗じた前記赤外成分画像信号とを合成し、前記各特定色毎の変換色成分画像信号を生成する赤外合成手段と、
前記複数の変換色成分画像信号に基づいて、前記処理画像信号を生成する処理画像信号生成手段と、
を有することを特徴とする撮像装置。
【請求項２】
赤外光に選択的に感度を有する赤外受光画素とそれぞれ互いに異なる特定色の可視光及び前記赤外光に感度を有する複数種類の色受光画素とが二次元配列された固体撮像素子と、
前記赤外受光画素に対応する赤外画素信号及び前記各色受光画素それぞれに対応する複数種類の色画素信号からなる、前記固体撮像素子が出力する原画像信号に基づいて、可視光像上に赤外光像が合成表示された赤外合成画像を表す処理画像信号を生成する画像信号処理回路と、を備え、
前記画像信号処理回路は、
前記赤外画素信号及び前記各色画素信号に基づき、赤外光成分に対応した赤外成分画像信号と前記各特定色の可視光成分に対応した複数種類の色成分画像信号とを生成する成分画像信号生成手段と、
前記複数の色成分画像信号に基づいて、前記可視光像に応じた前記中間画像信号を生成する中間画像生成手段と、
前記赤外成分画像信号の信号レベルに応じて、前記中間画像信号が表す各画素の輝度又は色相を変化させることにより、前記処理画像信号を生成する処理画像信号生成手段と、
を有することを特徴とする撮像装置。
【請求項３】
赤外光に選択的に感度を有する赤外受光画素とそれぞれ互いに異なる特定色の可視光及び前記赤外光に感度を有する複数種類の色受光画素とが二次元配列された撮像素子が出力する、前記赤外受光画素に対応する赤外画素信号及び前記各色受光画素それぞれに対応する複数種類の色画素信号からなる原画像信号に基づいて、可視光像上に強調された赤外光像が合成表示された赤外合成画像を表す処理画像信号を生成する画像信号処理装置であって、
前記赤外画素信号及び前記各色画素信号に基づき、赤外光成分に対応した赤外成分画像信号と前記各特定色の可視光成分に対応した複数種類の色成分画像信号とを生成する成分画像信号生成手段と、
前記各色成分画像信号と前記赤外光像の強調内容に応じたゲインを乗じた前記赤外成分画像信号とを合成し、前記各特定色毎の変換色成分画像信号を生成する赤外合成手段と、
前記複数の変換色成分画像信号に基づいて、前記処理画像信号を生成する処理画像信号生成手段と、
を有することを特徴とする画像信号処理装置。
【請求項４】
請求項３に記載の画像信号処理装置において、
前記赤外成分画像信号に応じて前記赤外合成画像の輝度を変化させることにより前記赤外光像を強調すること、を特徴とする画像信号処理装置。
【請求項５】
請求項３に記載の画像信号処理装置において、
前記赤外成分画像信号の信号レベルに応じて、前記赤外合成画像上の各画素の色相を変化させることにより前記赤外光像を強調すること、を特徴とする画像信号処理装置。
【請求項６】
請求項５に記載の画像信号処理装置において、
前記赤外成分画像信号の信号レベルが所定の閾値以上である場合に前記色相を所定の強調色相に設定すること、を特徴とする画像信号処理装置。
【請求項７】
請求項６に記載の画像信号処理装置において、
前記閾値以上の前記赤外成分画像信号の信号レベルに連動させて、前記強調色相の彩度を増加させること、を特徴とする画像信号処理装置。
【請求項８】
請求項３から請求項７のいずれか１つに記載の画像信号処理装置において、
前記赤外合成手段への前記各色成分画像信号の入力を止める可視光像抑制手段と、
前記可視光像抑制手段を動作させるか否かを制御し、前記赤外合成画像を表す前記処理画像信号の生成と前記赤外光像単独で構成される画像を表す前記処理画像信号の生成との切り替えを可能とする合成制御手段と、
を有することを特徴とする画像信号処理装置。
【請求項９】
赤外光に選択的に感度を有する赤外受光画素とそれぞれ互いに異なる特定色の可視光及び前記赤外光に感度を有する複数種類の色受光画素とが二次元配列された撮像素子が出力する、前記赤外受光画素に対応する赤外画素信号及び前記各色受光画素それぞれに対応する複数種類の色画素信号からなる原画像信号に基づいて、可視光像上に赤外光像が合成表示された赤外合成画像を表す処理画像信号を生成する画像信号処理装置であって、
前記赤外画素信号及び前記各色画素信号に基づき、赤外光成分に対応した赤外成分画像信号と前記各特定色の可視光成分に対応した複数種類の色成分画像信号とを生成する成分画像信号生成手段と、
前記複数の色成分画像信号に基づいて、前記可視光像に応じた前記中間画像信号を生成する中間画像生成手段と、
前記赤外成分画像信号の信号レベルに応じて、前記中間画像信号が表す各画素の輝度又は色相を変化させることにより、前記処理画像信号を生成する処理画像信号生成手段と、
を有することを特徴とする画像信号処理装置。
【請求項１０】
請求項９に記載の画像信号処理装置において、
前記処理画像信号生成手段は、前記赤外成分画像信号の信号レベルが所定の閾値未満である画素について、前記中間画像信号が表す前記色相を無彩色に変更すること、を特徴とする画像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可視光像と赤外光像とが合成された赤外合成画像を撮影する撮像装置、及び当該赤外合成画像を表す画像信号を生成する画像信号処理装置に関する。
【背景技術】
【０００２】
蛍光体は、対象物における可視光像では明確でない構造や特定の物質の存在を検知する技術に利用されている。例えば、下記特許文献１に示す顕微鏡装置は、インドシアニングリーン（以下、ＩＣＧ）という蛍光体を結合させた抗体をプローブとし、癌組織に集積し易い性質を有する当該プローブから発せられる蛍光を観察することにより、生物組織切片における微小癌の存在を検出するものである。
【０００３】
ＩＣＧは、約８００ｎｍの近赤外光を吸収し、約８４０ｎｍの近赤外光の蛍光を発する色素であり、造影剤として人体に投与することもでき、それにより観察される赤外光像が病気の診断・治療に利用されている。例えば、ＩＣＧを血管注射することで、血管の像を観察することができる。また、血中のタンパク質と結合して肝臓に選択的に取り込まれる性質を利用して、肝機能の検査に用いられている。
【０００４】
手術等においては、医師はその対象部位を視覚的に把握できる必要がある。その際、可視光像として得られる通常画像に加えて、対象部位の表面又はその下に存在する血管の位置を把握可能な画像が得られると好都合である場合がある。この観点から、可視光像に、蛍光造影剤により得られる赤外光像を合成表示した画像（赤外合成画像）が望まれる。
【０００５】
赤外合成画像の生成には、可視光像と赤外光像とを撮影可能な撮像装置が必要となる。ここで、ＣＣＤイメージセンサ等の固体撮像素子は、可視光だけでなく近赤外光にも感度を有している。そのため、固体撮像素子を用いて赤外合成画像を撮影することが考えられる。
【０００６】
なお、固体撮像素子が赤外光に対して有する感度は、可視光像を撮影するという通常の目的に対しては画質劣化の原因となる。例えば、カラーフィルタを搭載しカラー画像を撮影する固体撮像素子では、ＲＧＢ等の色成分光を検知する各受光画素それぞれが赤外光にも感度を有するため、赤外光成分を含む入射光に対して正しい色表現ができないという問題を生じる。この問題を解決するため、下記特許文献２に示されるように、受光画素の配列中に赤外光に選択的に感度を有するものを混在させる固体撮像素子の構造が提案されている。この固体撮像素子の赤外光に感度を有する受光画素（赤外受光画素）は、可視光に感度を有する受光画素（可視受光画素）における赤外光の影響を除去する目的で設けられている。つまり、赤外受光画素から得られる信号は、可視受光画素の信号に含まれる赤外光成分を推定し除去するための参照信号として利用される。
【特許文献１】特開平１０−３２５７９８号公報
【特許文献２】特開２００６−２３７７３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
蛍光体が発する赤外光は一般に強度が小さい。そのため、上述のような蛍光造影剤を投与して手術対象部位を撮影する用途において、可視受光画素からなる従来の一般的な固体撮像素子を用いて得られる赤外合成画像は、赤外光像が不鮮明となるという問題を有している。
【０００８】
本発明は上記問題点を解決するためになされたものであり、明瞭な赤外光像が可視光像上に合成表示された赤外合成画像を得ることを可能とする撮像装置及び画像信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る撮像装置は、赤外光に選択的に感度を有する赤外受光画素とそれぞれ互いに異なる特定色の可視光及び前記赤外光に感度を有する複数種類の色受光画素とが二次元配列された固体撮像素子と、前記赤外受光画素に対応する赤外画素信号及び前記各色受光画素それぞれに対応する複数種類の色画素信号からなる、前記固体撮像素子が出力する原画像信号に基づいて、可視光像上に強調された赤外光像が合成表示された赤外合成画像を表す処理画像信号を生成する画像信号処理回路と、を備え、前記画像信号処理回路が、前記赤外画素信号及び前記各色画素信号に基づき、赤外光成分に対応した赤外成分画像信号と前記各特定色の可視光成分に対応した複数種類の色成分画像信号とを生成する成分画像信号生成手段と、前記各色成分画像信号と前記赤外光像の強調内容に応じたゲインを乗じた前記赤外成分画像信号とを合成し、前記各特定色毎の変換色成分画像信号を生成する赤外合成手段と、前記複数の変換色成分画像信号に基づいて、前記処理画像信号を生成する処理画像信号生成手段と、を有するものである。
【００１０】
他の本発明に係る撮像装置は、赤外光に選択的に感度を有する赤外受光画素とそれぞれ互いに異なる特定色の可視光及び前記赤外光に感度を有する複数種類の色受光画素とが二次元配列された固体撮像素子と、前記赤外受光画素に対応する赤外画素信号及び前記各色受光画素それぞれに対応する複数種類の色画素信号からなる、前記固体撮像素子が出力する原画像信号に基づいて、可視光像上に赤外光像が合成表示された赤外合成画像を表す処理画像信号を生成する画像信号処理回路と、を備え、前記画像信号処理回路が、前記赤外画素信号及び前記各色画素信号に基づき、赤外光成分に対応した赤外成分画像信号と前記各特定色の可視光成分に対応した複数種類の色成分画像信号とを生成する成分画像信号生成手段と、前記複数の色成分画像信号に基づいて、前記可視光像に応じた前記中間画像信号を生成する中間画像生成手段と、前記赤外成分画像信号の信号レベルに応じて、前記中間画像信号が表す各画素の輝度又は色相を変化させることにより、前記処理画像信号を生成する処理画像信号生成手段と、を有するものである。
【００１１】
本発明に係る画像信号処理装置は、赤外光に選択的に感度を有する赤外受光画素とそれぞれ互いに異なる特定色の可視光及び前記赤外光に感度を有する複数種類の色受光画素とが二次元配列された撮像素子が出力する、前記赤外受光画素に対応する赤外画素信号及び前記各色受光画素それぞれに対応する複数種類の色画素信号からなる原画像信号に基づいて、可視光像上に強調された赤外光像が合成表示された赤外合成画像を表す処理画像信号を生成するものであって、前記赤外画素信号及び前記各色画素信号に基づき、赤外光成分に対応した赤外成分画像信号と前記各特定色の可視光成分に対応した複数種類の色成分画像信号とを生成する成分画像信号生成手段と、前記各色成分画像信号と前記赤外光像の強調内容に応じたゲインを乗じた前記赤外成分画像信号とを合成し、前記各特定色毎の変換色成分画像信号を生成する赤外合成手段と、前記複数の変換色成分画像信号に基づいて、前記処理画像信号を生成する処理画像信号生成手段と、を有する。
【００１２】
この画像信号処理装置は、前記赤外成分画像信号に応じて前記赤外合成画像の輝度を変化させることにより前記赤外光像を強調するように構成することができる。
【００１３】
また上記画像信号処理装置は、前記赤外成分画像信号の信号レベルに応じて、前記赤外合成画像上の各画素の色相を変化させることにより前記赤外光像を強調するように構成することができる。この構成において、前記赤外成分画像信号の信号レベルが所定の閾値以上である場合に前記色相を所定の強調色相に設定することができる。さらに、前記閾値以上の前記赤外成分画像信号の信号レベルに連動させて、前記強調色相の彩度を増加させるように構成することができる。
【００１４】
上記画像信号処理装置は、さらに、前記赤外合成手段への前記各色成分画像信号の入力を止める可視光像抑制手段と、前記可視光像抑制手段を動作させるか否かを制御し、前記赤外合成画像を表す前記処理画像信号の生成と前記赤外光像単独で構成される画像を表す前記処理画像信号の生成との切り替えを可能とする合成制御手段と、を有する構成とすることができる。
【００１５】
他の本発明に係る画像信号処理装置は、赤外光に選択的に感度を有する赤外受光画素とそれぞれ互いに異なる特定色の可視光及び前記赤外光に感度を有する複数種類の色受光画素とが二次元配列された撮像素子が出力する、前記赤外受光画素に対応する赤外画素信号及び前記各色受光画素それぞれに対応する複数種類の色画素信号からなる原画像信号に基づいて、可視光像上に赤外光像が合成表示された赤外合成画像を表す処理画像信号を生成するものであって、前記赤外画素信号及び前記各色画素信号に基づき、赤外光成分に対応した赤外成分画像信号と前記各特定色の可視光成分に対応した複数種類の色成分画像信号とを生成する成分画像信号生成手段と、前記複数の色成分画像信号に基づいて、前記可視光像に応じた前記中間画像信号を生成する中間画像生成手段と、前記赤外成分画像信号の信号レベルに応じて、前記中間画像信号が表す各画素の輝度又は色相を変化させることにより、前記処理画像信号を生成する処理画像信号生成手段と、を有する。
【００１６】
この画像信号処理装置において、前記処理画像信号生成手段を、前記赤外成分画像信号の信号レベルが所定の閾値未満である画素について、前記中間画像信号が表す前記色相を無彩色に変更する構成とすることができる。
【発明の効果】
【００１７】
本発明によれば、赤外受光画素が出力する赤外画素信号に基づいて、赤外光成分に対応した画像信号が可視光成分に対応した画像信号とは独立して得られ、これにより赤外光像を可視光像に対して相対的に強調して表示することができ、明瞭な赤外光像が可視光像上に合成表示された赤外合成画像を得ることができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００１９】
本実施形態である撮像装置は、例えば、患者の手術等に用いられ、ＩＣＧを蛍光造影剤として投与して得られる赤外光を検知して、手術部位等の可視光像上に赤外光像が合成表示された赤外合成画像を提供する。図１は、本撮像装置の概略の構成を示すブロック図である。この撮像装置は、ＣＣＤイメージセンサ２、アナログ信号処理回路４、Ａ／Ｄ変換回路６及びデジタル信号処理回路８を備えている。
【００２０】
図１に示すＣＣＤイメージセンサ２はフレーム転送型であり、半導体基板上に形成される撮像部２ｉ、蓄積部２ｓ、水平転送部２ｈ、及び出力部２ｄを含んで構成される。
【００２１】
撮像部２ｉを構成する垂直シフトレジスタの各ビットは、それぞれ画素を構成する受光部（受光画素）として機能する。
【００２２】
各受光画素はカラーフィルタを配置され、そのカラーフィルタの透過特性に応じて、受光画素が感度を有する光成分が定まる。撮像部２ｉにおいては、２×２画素の配列が受光画素の配列の単位を構成する。例えば、受光画素１０，１２，１４，１６がこの単位を構成する。
【００２３】
カラーフィルタは例えば、着色した有機材料で形成され、それぞれ対応する色の可視光を透過するが、その材質上、赤外光も透過する。例えば、図２は、Ｒ（赤），Ｇ（緑），Ｂ（青）各フィルタの透過率の波長特性を示すグラフであり、同図はフォトダイオードの分光感度特性も併せて示している。各色のカラーフィルタの透過率は、可視光領域ではそれぞれの着色に応じて固有の分光特性を示すが、赤外光領域ではほぼ共通の分光特性を示す。
【００２４】
一方、フォトダイオードは、波長が３８０〜７８０ｎｍ程度の可視光領域全般に加え、さらに長波長の近赤外領域まで感度を有する。そのため、ＩＲ成分が受光画素に入射すると、当該ＩＲ成分はカラーフィルタを透過して、フォトダイオードにて信号電荷を発生する。
【００２５】
受光画素１０はＧフィルタを配置されたＧ受光画素であり、可視光だけでなくＩＲ成分も含む入射光に対して、当該受光画素はＧ成分及びＩＲ成分に応じた信号電荷を発生する。また、同様に、受光画素１２はＲフィルタを配置され、Ｒ成分及びＩＲ成分に応じた信号電荷を発生するＲ受光画素であり、受光画素１４はＢフィルタを配置され、Ｂ成分及びＩＲ成分に応じた信号電荷を発生するＢ受光画素である。
【００２６】
受光画素１６は、ＩＲ成分を選択的に透過するＩＲフィルタ（赤外光透過フィルタ）を配置され、入射光中のＩＲ成分に応じた信号電荷を発生するＩＲ受光画素である。このＩＲフィルタは、ＲフィルタとＢフィルタとを積層して構成することができる。なぜならば、可視光のうちＢフィルタを透過するＢ成分はＲフィルタを透過せず、一方、Ｒフィルタを透過するＲ成分はＢフィルタを透過しないため、両フィルタを通すことで、基本的に可視光成分が除去され、もっぱら透過光には両フィルタを透過するＩＲ成分が残るからである。
【００２７】
撮像部２ｉには、当該２×２画素の構成が垂直方向、水平方向それぞれに繰り返して配列される。
【００２８】
ＣＣＤイメージセンサ２は、図示されていない駆動回路から供給されるクロックパルス等により駆動され、撮像部２ｉの各受光画素で発生した信号電荷は、蓄積部２ｓ、水平転送部２ｈを介して出力部２ｄへ転送される。出力部２ｄは、水平転送部２ｈから出力される信号電荷を電圧信号に変換し、画像信号として出力する。
【００２９】
アナログ信号処理回路４は、出力部２ｄが出力するアナログ信号の画像信号に対して、増幅やサンプルホールド等の処理を施す。Ａ／Ｄ変換回路６はアナログ信号処理回路４から出力される画像信号を、所定の量子化ビット数のデジタルデータに変換することにより、画像データを生成し、これを出力する。例えば、Ａ／Ｄ変換回路６は８ビットのデジタル値へのＡ／Ｄ変換を行い、これにより画像データは０から２５５までの範囲内の値で表される。
【００３０】
デジタル信号処理回路８はＡ／Ｄ変換回路６から画像データを取り込み、各種の処理を行う。例えば、デジタル信号処理回路８はＲ，Ｇ，Ｂ，ＩＲ各受光画素にてサンプリングされたＲ，Ｇ，Ｂ，ＩＲ各データに対するフィルタ処理を行う。このフィルタ処理として、互いに異なるサンプリング点にて得られたＲ，Ｇ，Ｂ，ＩＲ各データに対する補間処理が行われ、この補間処理により、画像を構成する各サンプリング点それぞれにて、Ｒ，Ｇ，Ｂ，ＩＲデータが定義される。また、フィルタ処理では、画素欠陥やランダムノイズを除去する処理も行われる。さらに、デジタル信号処理回路８は、それらデータを用いて、赤外合成画像を表す画像信号を生成する処理を行い、各サンプリング点における輝度データ（輝度信号）Ｙ及び色差データ（色差信号）Ｃr，Ｃbを生成する。
【００３１】
図３は、デジタル信号処理回路８のうちＹ，Ｃr，Ｃbの生成に関わる画像信号処理回路の概略の回路構成図である。当該画像信号処理回路は、Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、ＩＲ受光画素の出力信号に上述のフィルタ処理を施して得られた信号〈Ｒ〉，〈Ｇ〉，〈Ｂ〉，〈IR〉からＹ，Ｃr，Ｃbを生成する処理を行う。以下、図３を参照しつつ、Ｙ，Ｃr，Ｃbを生成する色信号処理方法について説明する。
【００３２】
〈Ｒ〉，〈Ｇ〉，〈Ｂ〉のうち入射光のＲ，Ｇ，Ｂ成分に応じた信号成分をＲ０，Ｇ０，Ｂ０、赤外光に応じた信号成分をＩr，Ｉg，Ｉbとすると、次式が成り立つ。
【００３３】
〈Ｒ〉＝Ｒ０＋Ｉr
〈Ｇ〉＝Ｇ０＋Ｉg      ………（１）
〈Ｂ〉＝Ｂ０＋Ｉb
【００３４】
Ｒ，Ｇ，Ｂ，ＩＲ各受光画素に配置されるカラーフィルタは赤外光領域にて基本的に同様の分光特性を有し、Ｉr，Ｉg，Ｉb，〈IR〉は同程度となる。説明を簡単にするために、
Ｉr＝Ｉg＝Ｉb＝〈IR〉  ………（２）
とすると、（１）式から、
Ｒ０＝〈Ｒ〉−〈IR〉
Ｇ０＝〈Ｇ〉−〈IR〉    ………（３）
Ｂ０＝〈Ｂ〉−〈IR〉
となる。この関係を利用することによって、赤外成分画像信号〈IR〉を用いて、〈Ｒ〉，〈Ｇ〉，〈Ｂ〉それぞれから、本来の色成分画像信号であるＲ０，Ｇ０，Ｂ０を算出することができる。図３の画像信号処理回路では、加算器２０が（３）式右辺の減算処理を行い、Ｒ０，Ｇ０，Ｂ０を出力する。すなわち、〈Ｒ〉，〈Ｇ〉，〈Ｂ〉，〈IR〉に基づいて、入射光のＲＧＢ各成分及び赤外光成分それぞれに対応する信号成分Ｒ０，Ｇ０，Ｂ０，〈IR〉を分離し生成する成分画像信号生成処理が行われる。
【００３５】
本画像信号処理回路は、ＲＧＢ各色毎に設けられた乗算器２２と加算器２４とを備える。この構成により、赤外成分画像信号〈IR〉にゲインを乗じ、上記成分画像信号生成処理で得られた各色成分画像信号Ｒ０，Ｇ０，Ｂ０に加算合成する赤外合成処理を行うことができる。具体的には、この赤外合成処理では、次式で示す処理が行われ、変換色成分画像信号ＲＮ，ＧＮ，ＢＮが生成される。
【００３６】
ＲＮ＝Ｒ０＋κＲ〈IR〉
ＧＮ＝Ｇ０＋κＧ〈IR〉      ………（４）
ＢＮ＝Ｂ０＋κＢ〈IR〉
【００３７】
ここで、κＲ，κＧ，κＢはＲＧＢそれぞれに対応して設けられる乗算器２２に設定されるゲインである。これらゲインκＲ，κＧ，κＢは、可視光像上に合成される赤外光像の強調の仕方に応じて定められる。κＲ，κＧ，κＢは所定の強調内容に対応して、固定値とすることができるが、本実施形態では、制御回路２６が予め設定されたアルゴリズム、又はユーザの指定に対応してκＲ，κＧ，κＢを変更できる。
【００３８】
例えば、各画素での〈IR〉に応じて、赤外合成画像の輝度を変化させることにより、可視光像上に赤外光像を表すことができる。この表示形態においては、κＲ，κＧ，κＢは、白色光におけるＲ，Ｇ，Ｂ成分比α：β：γと同じ比を有するように設定される。すなわち、
κＲ：κＧ：κＢ＝α：β：γ  ………（５）
であり、パラメータθを用いて、
κＲ＝θα
κＧ＝θβ      ………（６）
κＢ＝θγ
と表される。θは、可視光像上にて赤外光像をどれだけ強調して表示するかに応じて任意に設定することができる。例えば、θは、ユーザが合成画像上にて可視光像と赤外光像との双方を把握しやすいように定められる。例えば、制御回路２６は、画面全体での〈IR〉の平均レベルを求め、当該平均レベルに基づいて、画像全体での（４）式右辺の第１項と第２項との好適な所定のバランスが実現されるようにθを求め、κＲ，κＧ，κＢを決定することができる。
【００３９】
各加算器２４から出力されたＲＮ，ＧＮ，ＢＮは、マトリクス演算回路２８に入力され、Ｙ，Ｃr，Ｃbに変換される。ここで、（５）式を満たすようにκＲ，κＧ，κＢを設定することにより、ＲＧＢ各成分に加算されたIR成分はＲＧＢの合成において白色光となる。よって、赤外合成画像には、各画素における〈IR〉の値が大きくなるのに応じて輝度値Ｙが増加する赤外光像が表示される。そして当該赤外光像は、θを大きく設定するのに応じて強調して表示される。
【００４０】
また、ゲインκＲ，κＧ，κＢの比を操作することにより、赤外合成画像上における赤外光像に任意の色を付けることができる。例えば、制御回路２６は、赤外光像が白色以外の色相となるようにκＲ，κＧ，κＢの比を設定すると共に、各画素での〈IR〉に応じて赤外光像の輝度が変化するようにすることができる。このとき設定する色相を、可視光像とは識別しやすいものとすることで、赤外光像が強調される。例えば、手術部位の可視光のカラー画像は、基本的に赤系統の色相を有し、これに対応して、赤外光像に設定される強調色相を青系統や緑系統に設定することができる。この色相の変化は、〈IR〉が所定の閾値以上となる画素だけにおいて行うように構成することができる。さらに、〈IR〉が所定の閾値を超えて増加する場合に、〈IR〉に連動させて強調色相の彩度を増加させるように構成してもよい。
【００４１】
本画像信号処理回路は、加算器２４へのＲ０，Ｇ０，Ｂ０の入力を止めることが可能に構成されている。そのための手段として、例えば、図３に示す構成ではスイッチ３０がＲＧＢそれぞれの信号経路に設けられている。制御回路２６は、ユーザの指示に応じて、スイッチ３０のオン／オフを制御し、これにより、可視光像と赤外光像とが合成された赤外合成画像と、赤外光像単独で構成される画像とを切り替えて表示することを可能とする。
【００４２】
赤外光像を可視光像上に表現する方法は、ここまで述べてきた、色成分画像信号Ｒ０，Ｇ０，Ｂ０と赤外成分画像信号〈IR〉にゲインを乗じた信号とを加算合成する方法には限られない。例えば、色成分画像信号Ｒ０，Ｇ０，Ｂ０に基づいて可視光画像に応じた画像信号を中間画像信号として生成し、この中間画像信号の各画素の輝度又は色相を、赤外成分画像信号〈IR〉の信号レベルに応じて変調するという方法によっても、赤外光像を可視光像上に分かりやすく表示することが可能である。
【００４３】
そのような画像信号処理は例えば、マトリクス演算回路２８にＲ０，Ｇ０，Ｂ０を入力し、それらに基づいて輝度信号Ｙ、色差信号Ｃr，Ｃbを生成する過程に組み込むことができる。色相を操作する一つの例は、制御回路２６が各画素の〈IR〉のレベルに応じてマトリクス演算回路２８における変換係数を各画素毎に操作して、色差信号Ｃr，Ｃbの比を、本来の可視光像におけるものとは異なる値に設定するというものである。また、同様の処理は、一旦、Ｃr，Ｃbを通常通り生成し、その後にそれぞれに比例係数を乗じてそれらの比率を変えることによっても実現される。
【００４４】
これらの可視光像の色相を変化させる処理も、赤外光像を加算合成する場合と同様に、〈IR〉が所定の閾値以上の画素についてだけ行うようにしたり、〈IR〉の増加と共に彩度を増加させたりすることができ、これにより、可視光像上に表示される赤外光像の明瞭化を図ることができる。また、本来の可視光像の色相から区別できる範囲で、〈IR〉の増加に連動して色相自体を変化させる構成とすることもできる。
【００４５】
また、同様の原理で、可視光像が本来有する色相を、〈IR〉が所定の閾値未満である画素において無彩色に変更し、一方、〈IR〉が所定の閾値以上である画素においては本来の色相で表示する画像とすることでも、可視光像上に赤外光像を分かりやすく表現することができる。
【００４６】
また、色相に代えて、輝度を変調してもよく、例えば、可視光像が本来有する輝度を、〈IR〉が所定の閾値未満である画素においては一定割合減少させ、一方、〈IR〉が所定の閾値以上である画素においては本来の輝度で表示する画像とすることでも、可視光像上に赤外光像を分かりやすく表現することができる。
【００４７】
一般に、蛍光造影剤で得られる赤外光の強度は低い。それゆえ、本撮像装置では、上述のような方法で、可視光像上に赤外光像を強調して表示可能とする。一方、赤外光の強度が微弱である状態では、赤外成分画像信号〈IR〉はランダムノイズの影響を受けやすい。そこで、デジタル信号処理回路８にて行う上述のフィルタ処理を、赤外成分画像信号〈IR〉に対して強度を高め、ランダムノイズを除去してその影響を軽減することで、赤外光像の明瞭度を高めることができる。フィルタ処理としては、同一フレームにおける空間的な処理の他、フレーム間で赤外成分画像信号〈IR〉の相関をとることによってノイズを抑圧するといった時間的な処理とすることができる。また、赤外成分画像信号〈IR〉を複数フレームにて加算することで、上述のゲインを乗じるという方法の代わりに〈IR〉レベルの増加を図ることができ、また、Ｓ／Ｎが向上して、上述の処理における〈IR〉の閾値の設定が容易となる。
【００４８】
なお、本実施形態の撮像装置では固体撮像素子としてフレーム転送型のＣＣＤイメージセンサ２を用いているが、本発明は他の方式の固体撮像素子から得られる画像信号に対しても同様に適用することができる。例えば、固体撮像素子としてインターライン転送型などの他の転送方式のＣＣＤイメージセンサや、またＣＭＯＳイメージセンサを用いて、上述の実施形態と同様の撮像装置を構成することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施形態に係る撮像装置の概略の構成を示すブロック図である。
【図２】ＲＧＢ各フィルタの透過率の波長特性、及びフォトダイオードの分光感度特性を示すグラフである。
【図３】デジタル信号処理回路のうち輝度信号Ｙ及び色差信号Ｃr，Ｃbの生成に関わる画像信号処理回路の概略の回路構成図である。
【符号の説明】
【００５０】
２  ＣＣＤイメージセンサ、４  アナログ信号処理回路、６  Ａ／Ｄ変換回路、８  デジタル信号処理回路、１０，１２，１４，１６  受光画素、２０，２４  加算器、２２  乗算器、２６  制御回路、２８  マトリクス演算回路、３０  スイッチ。
【図１】
2008123194.tif 000003
【図２】
2008123194.tif 000004
【図３】
2008123194.tif 000005