(57)【要約】【課題】サンプルの疑似カラー画像を生成する。【解決手段】本実施形態による撮像装置は、波長が異なる複数の赤外光をサンプルに照射することによって波長に対応した複数の検出結果を取得する光検出部と、複数の検出結果から得られる前記サンプルの観察対象におけるスペクトルに基づいて複数の検出結果のそれぞれに異なる色の色調を割り当てて、サンプルの疑似カラー画像を生成する制御部と、を備え、制御部は、スペクトルに基づいて複数の検出結果に赤の色調を割り当てて、赤の色調を基準にして赤以外の色調を複数の検出結果に割り当てる。【選択図】図２Ａ
2019128295.tif 000002
【特許請求の範囲】
【請求項１】
波長が異なる複数の赤外光をサンプルに照射することによって前記波長に対応した複数の検出結果を取得する光検出部と、
前記複数の検出結果から得られる前記サンプルの観察対象におけるスペクトルに基づいて前記複数の検出結果のそれぞれに異なる色の色調を割り当てて、前記サンプルの疑似カラー画像を生成する制御部と、を備え、
前記制御部は、前記スペクトルに基づいて前記複数の検出結果に赤の色調を割り当てて、前記赤の色調を基準にして赤以外の色調を前記複数の検出結果に割り当てる、撮像装置。
【請求項２】
請求項１において、
前記制御部は、前記スペクトルにおいて前記赤の色調が割り当てられる輝度値に対応する第１波長を基準にして、前記第１波長より短い波長の第２波長に対応する輝度値を用いて前記赤以外の色調のうち青の色調又は緑の色調に割り当てる、撮像装置。
【請求項３】
請求項１または２において、
前記制御部は、前記スペクトルにおいて前記赤の色調が割り当てられる輝度値に対応する第１波長を基準にして、前記第１波長より長い波長の第２波長に対応する輝度値を用いて前記赤以外の色調のうち青の色調又は緑の色調に割り当てる、撮像装置。
【請求項４】
請求項１から３の何れか１項において、
前記観察対象は、胃、腎臓、腸間膜、肝臓、または膵臓を含む、撮像装置。
【請求項５】
請求項１から４の何れか１項において、
前記赤の色調を割り当てる前記検出結果を取得する際に照射される赤外光の波長は、前記観察対象の種類によって異なる波長範囲から選択される、撮像装置。
【請求項６】
請求項５において、
前記赤の色調を割り当てる前記検出結果を取得する際に照射される赤外光の波長は、(i)前記観察対象が胃の場合、１０３０ｎｍから１１３０ｎｍ、９００ｎｍから１１６０ｎｍ、(ii)前記観察対象が膵臓の場合、１０３０ｎｍから１１３０ｎｍ、あるいは８９０ｎｍから１１７０ｎｍ、(iii)前記観察対象が肝臓の場合、１０２０ｎｍから１１３０ｎｍ、あるいは８９０ｎｍから１１７０ｎｍ、(iv)前記観察対象が腸間膜の場合、１０４０ｎｍから１１３０ｎｍ、あるいは８９０ｎｍから１１６０ｎｍ、(v)前記観察対象が腎臓の場合、１０３０ｎｍから１１４０ｎｍ、あるいは８９０ｎｍから１１７０ｎｍ、の中から選択される、撮像装置。
【請求項７】
請求項１から６の何れか１項において、
前記制御部は、前記赤の色調を割り当てる検出結果の輝度値が前記赤以外の色調を割り当てる検出結果の輝度値よりも高くなるように、前記複数の検出結果に色の色調を割り当てることにより、前記疑似カラー画像を生成する、撮像装置。
【請求項８】
請求項１から７の何れか１項において、
前記制御部は、前記複数の検出結果に基づいて、前記サンプルの強調画像を生成し、当該強調画像を前記疑似カラー画像に重畳して前記サンプルの合成画像を生成する、撮像装置。
【請求項９】
請求項１から８の何れか１項において、
前記制御部は、前記疑似カラー画像を表示装置に表示させるための制御信号を生成し、出力する、撮像装置。
【請求項１０】
請求項１から９の何れか１項において、
前記制御部は、前記サンプルに赤外光を照射して前記複数の測定結果を取得する波長の組み合わせであって、前記サンプルの種類によって異なる波長の組み合わせを記憶部から読み出し、光源から当該波長の組み合わせに含まれる複数波長の赤外光をそれぞれ出射させ、入力される前記サンプルの種類に応答して、前記記憶部から、前記サンプルの種類に対応する前記波長の組み合わせを読み出す、撮像装置。
【請求項１１】
請求項１０において、
前記光検出部は、少なくとも、可視光領域の光よりも赤外光領域の光に対して高い検出感度を有する撮像デバイスを含む、撮像装置。
【請求項１２】
請求項１から１１の何れか１項において、
前記色調は、ＲＧＢ空間の色で構成され、
前記制御部は、前記波長に対応した前記複数の検出結果のそれぞれにおいて、対応する位置における画素の輝度値に応じて、前記ＲＧＢ空間の色の混合割合を決定し、各画素の色を決定し、前記疑似カラー画像を生成する、撮像装置。
【請求項１３】
請求項１から１２の何れか１項において、
前記赤外光の波長値のうち、前記赤の色調を割り当てる検出結果を取得するための波長が１０３０ｎｍから１１４０ｎｍの中から選択され、前記赤以外の色調を割り当てる検出結果を取得するための波長が９３０ｎｍから１０５０ｎｍの中から選択され、
前記赤の色調を割り当てる検出結果を取得するための波長は、前記赤以外の色調を割り当てる検出結果を取得するための波長よりも長い、撮像装置。
【請求項１４】
請求項１から１３の何れか１項において、
前記赤外光の波長値のうち、前記赤の色調を割り当てる検出結果を取得するための波長が８９０ｎｍから１１７０ｎｍの中から選択され、前記赤以外の色調を割り当てる検出結果を取得するための波長が１１４０ｎｍから１４００ｎｍの中から選択され、
前記赤の色調を割り当てる検出結果を取得するための波長は、前記赤以外の色調を割り当てる検出結果を取得するための波長よりも短い、撮像装置。
【請求項１５】
請求項１から１４の何れか１項において、
前記光検出部は、撮像対象のスペクトル値を取得するハイパースペクトルカメラを含み、所定の波長帯域を有する赤外光を前記サンプルに照射して得られる検出結果を、前記ハイパースペクトルカメラによって取得し、
前記制御部は、前記所定の波長帯域における検出結果の少なくとも一部を用いて前記サンプルの強調画像を生成し、前記所定の波長帯域における前記検出結果のうち、前記色調を割り当てる波長に対応する検出結果を用いて前記疑似カラー画像を生成する、撮像装置。
【請求項１６】
請求項１から１５の何れか１項の撮像装置と、
少なくとも前記疑似カラー画像を表示する表示装置と、
を備える、撮像システム。
【請求項１７】
光検出部が、波長が異なる複数の赤外光をサンプルに照射することによって前記波長に対応した複数の検出結果を取得することと、
制御部が、前記複数の検出結果から得られる前記サンプルの観察対象におけるスペクトルに基づいて前記複数の検出結果の赤の色調を割り当てて、前記赤の色調を基準にして赤以外の色調を前記複数の検出結果に割り当てることにより、前記サンプルの疑似カラー画像を生成することと、
を含む、撮像方法。
【請求項１８】
請求項１７において、
前記制御部は、前記スペクトルにおいて前記赤の色調が割り当てられる輝度値に対応する第１波長を基準にして、前記第１波長より短い波長の第２波長に対応する輝度値を用いて前記赤以外の色調のうち青の色調又は緑の色調に割り当てる、撮像方法。
【請求項１９】
請求項１７または１８において、
前記制御部は、前記スペクトルにおいて前記赤の色調が割り当てられる輝度値に対応する第１波長を基準にして、前記第１波長より長い波長の第２波長に対応する輝度値を用いて前記赤以外の色調のうち青の色調又は緑の色調に割り当てる、撮像方法。
【請求項２０】
請求項１７から１９の何れか１項において、
前記観察対象は、胃、腎臓、腸間膜、肝臓、または膵臓を含む、撮像方法。
【請求項２１】
請求項１７から２０の何れか１項において、
前記赤の色調を割り当てる前記検出結果を取得する際に照射される赤外光の波長は、前記観察対象の種類によって異なる波長範囲から選択される、撮像方法。
【請求項２２】
請求項２１において、
前記赤の色調を割り当てる前記検出結果を取得する際に照射される赤外光の波長は、(i)前記観察対象が胃の場合、１０３０ｎｍから１１３０ｎｍ、８９０ｎｍから１１７０ｎｍ、(ii)前記観察対象が膵臓の場合、１０３０ｎｍから１１３０ｎｍ、あるいは８９００ｎｍから１１７０ｎｍ、(iii)前記観察対象が肝臓の場合、１０２０ｎｍから１１３０ｎｍ、あるいは８９０ｎｍから１１７０ｎｍ、(iv)前記観察対象が腸間膜の場合、１０４０ｎｍから１１３０ｎｍ、あるいは８９０ｎｍから１１６０ｎｍ、(v)前記観察対象が腎臓の場合、１０３０ｎｍから１１４０ｎｍ、あるいは８９０ｎｍから１１７０ｎｍ、の中から選択される、撮像方法。
【請求項２３】
請求項１７から２２の何れか１項において、
前記制御部は、前記赤の色調を割り当てる検出結果の輝度値が前記赤以外の色調を割り当てる検出結果の輝度値よりも高くなるように、前記複数の検出結果に色の色調を割り当てることにより、前記疑似カラー画像を生成する、撮像方法。
【請求項２４】
請求項１７から２３の何れか１項において、
前記制御部は、前記複数の検出結果に基づいて、前記サンプルの強調画像を生成し、当該強調画像を前記疑似カラー画像に重畳して前記サンプルの合成画像を生成する、撮像方法。
【請求項２５】
請求項１７から２４の何れか１項において、
前記制御部は、前記疑似カラー画像を表示装置に表示させるための制御信号を生成し、出力する、撮像方法。
【請求項２６】
請求項１７から２５の何れか１項において、
前記制御部は、前記サンプルに赤外光を照射して前記複数の測定結果を取得する波長の組み合わせであって、前記サンプルの種類によって異なる波長の組み合わせを記憶部から読み出し、光源から当該波長の組み合わせに含まれる複数波長の赤外光をそれぞれ出射させ、入力される前記サンプルの種類に応答して、前記記憶部から、前記サンプルの種類に対応する前記波長の組み合わせを読み出す、撮像方法。
【請求項２７】
請求項２６において、
前記光検出部は、少なくとも、可視光領域の光よりも赤外光領域の光に対して高い検出感度を有する撮像デバイスを含む、撮像方法。
【請求項２８】
請求項１７から２７の何れか１項において、
前記色調は、ＲＧＢ空間の色で構成され、
前記制御部は、前記波長に対応した前記複数の検出結果のそれぞれにおいて、対応する位置における画素の輝度値に応じて、前記ＲＧＢ空間の色の混合割合を決定し、各画素の色を決定し、前記疑似カラー画像を生成する、撮像方法。
【請求項２９】
請求項１７から２８の何れか１項において、
前記赤外光の波長値のうち、前記赤の色調を割り当てる検出結果を取得するための波長が１０３０ｎｍから１１４０ｎｍの中から選択され、前記赤以外の色調を割り当てる検出結果を取得するための波長が９３０ｎｍから１０５０ｎｍの中から選択され、
前記赤の色調を割り当てる検出結果を取得するための波長は、前記赤以外の色調を割り当てる検出結果を取得するための波長よりも長い、撮像方法。
【請求項３０】
請求項１７から２８の何れか１項において、
前記赤外光の波長値のうち、前記赤の色調を割り当てる検出結果を取得するための波長が８９０ｎｍから１１７０ｎｍの中から選択され、前記赤以外の色調を割り当てる検出結果を取得するための波長が１１４０ｎｍから１４００ｎｍの中から選択され、
前記赤の色調を割り当てる検出結果を取得するための波長は、前記赤以外の色調を割り当てる検出結果を取得するための波長よりも短い、撮像方法。
【請求項３１】
請求項１７から３０の何れか１項において、
前記光検出部は、撮像対象のスペクトル値を取得するハイパースペクトルカメラを含み、所定の波長帯域を有する赤外光を前記サンプルに照射して得られる検出結果を、前記ハイパースペクトルカメラによって取得し、
前記制御部は、前記所定の波長帯域における検出結果の少なくとも一部を用いて前記サンプルの強調画像を生成し、前記所定の波長帯域における前記検出結果のうち、前記色調を割り当てる波長に対応する検出結果を用いて前記疑似カラー画像を生成する、撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、撮像システム、及び撮像方法に関する。
【背景技術】
【０００２】
医療などの分野において、生物の組織を撮像し、その画像を各種診断や検査、観察等に活用する技術が提案されている（例えば、特許文献１参照）。また、現状において、赤外光波長域と可視光波長域の両方に良好な感度を有する撮像素子の開発は難しい。このため、赤外光画像と可視光画像とを同時に表示装置の画面上に重畳表示させる場合には、赤外光カメラと可視光カメラの２つのカメラを用いる必要がある。
【０００３】
しかしながら、赤外光カメラと可視光カメラとで別々の撮影光学系を用いると赤外光画像と可視光画像とを重畳表示させた場合の画像の位置合わせが困難となってしまう。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１０２３６０号公報
【発明の概要】
【０００５】
本実施形態によれば、波長が異なる複数の赤外光をサンプルに照射することによって波長に対応した複数の検出結果を取得する光検出部と、複数の検出結果から得られる前記サンプルの観察対象におけるスペクトルに基づいて複数の検出結果のそれぞれに異なる色の色調を割り当てて、サンプルの疑似カラー画像を生成する制御部と、を備え、制御部は、スペクトルに基づいて複数の検出結果に赤の色調を割り当てて、赤の色調を基準にして赤以外の色調を複数の検出結果に割り当てる、撮像装置が提供される。
【０００６】
本実施形態によれば、光検出部が、波長が異なる複数の赤外光をサンプルに照射することによって波長に対応した複数の検出結果を取得することと、制御部が、複数の検出結果から得られるサンプルの観察対象におけるスペクトルに基づいて複数の検出結果の赤の色調を割り当てて、赤の色調を基準にして赤以外の色調を複数の検出結果に割り当てることにより、サンプルの疑似カラー画像を生成することと、を含む、撮像方法が提供される。
【０００７】
また、本実施態様によれば、上記態様の撮像装置と、サンプルの疑似カラー画像を表示する表示装置と、を備える、撮像システムが提供される。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る撮像システム１の外観構成例を説明するための図である。
【図２Ａ】撮像システム１の機能ブロック構成例を示す図である。
【図２Ｂ】本実施形態によるＲＧＢ割当用テーブル１０２１の構成例を示す図である。
【図３Ａ】モニタ１_５１にサンプルの可視光画像が表示されている画面例とモニタ２_５２にサンプルの疑似カラー画像にサンプルの強調画像が重畳された合成画像が表示されている画面例（２モニタ構成の例）とを示す図である。
【図３Ｂ】本実施形態における表示装置（モニタ）５０に可視光画像と強調画像が重畳された背景画像とが表示されている画面例（１モニタ２画面構成）とを示す図である。
【図４】本実施形態の撮像システム（手術支援システム）１における疑似カラー画像および合成画像の生成・表示処理（サンプルの疑似カラー画像を生成し、当該疑似カラー画像にサンプルの強調画像を重畳して得られる合成画像を表示する処理）の内容を説明するためのフローチャートである。
【図５】本実施形態による疑似カラー画像生成処理の概要を説明するための図（写真）である。
【図６】本実施形態による、脂肪組織（実線）と胃外壁（破線）の波長とスペクトル値（輝度値）の関係を示すグラフであって、疑似カラー画像を生成する際に用いる赤外光の波長選択について説明するための図である。
【図７】本実施形態において、不適切な疑似カラー画像の例（例：Ｒ値は１６００ｎｍを照射して得られる画像データに、Ｇ値は１４５０ｎｍを照射して得られる画像データに、Ｂ値は１５００ｎｍを照射して得られる画像データに、それぞれ割り当てられている）を示す写真である。
【図８】本実施形態による波長選択の例（ＴＹＰＥ１）を説明するための図である。ＴＹＰＥ１では、胃外壁のスペクトルから波長範囲を決定している。
【図９】本実施形態による波長範囲選択例（ＴＹＰＥ１−ａ）を示す図である。
【図１０】本実施形態による波長範囲選択例（ＴＹＰＥ１−ｂ）を示す図である。
【図１１】本実施形態による波長範囲選択例（ＴＹＰＥ１−ｃ）を示す図である。
【図１２】本実施形態による波長範囲選択例（ＴＹＰＥ１−ｄ）を示す図である。
【図１３】本実施形態による波長範囲選択例（ＴＹＰＥ１−ｅ）を示す図である。
【図１４】本実施形態による波長範囲選択例（ＴＹＰＥ１−ｆ）を示す図である。
【図１５】本実施形態による波長選択の例（ＴＹＰＥ２）を説明するための図である。
【図１６】本実施形態による波長範囲選択例（ＴＹＰＥ２−ａ）を示す図である。
【図１７】本実施形態による波長範囲選択例（ＴＹＰＥ２−ｂ）を示す図である。
【図１８】本実施形態による波長範囲選択例（ＴＹＰＥ２−ｃ）を示す図である。
【図１９】本実施形態による波長範囲選択例（ＴＹＰＥ２−ｄ）を示す図である。
【図２０】本実施形態による波長範囲選択例（ＴＹＰＥ２−ｅ）を示す図である。
【図２１】本実施形態による波長範囲選択例（ＴＹＰＥ２−ｆ）を示す図である。
【図２２】本実施形態による手法に基づいて生成された疑似カラー画像の実施例１を示す写真である。
【図２３】本実施形態による手法に基づいて生成された疑似カラー画像の実施例２を示す写真である。
【図２４】本実施形態による手法に基づいて生成された疑似カラー画像の実施例３を示す写真である。
【図２５】本実施形態による手法に基づいて生成された疑似カラー画像の実施例４を示す写真である。
【図２６】本実施形態による手法に基づいて生成された疑似カラー画像の実施例５を示す写真である。
【図２７】本実施形態による手法に基づいて生成された疑似カラー画像の実施例６を示す写真である。
【図２８】本実施形態による手法に基づいて生成された疑似カラー画像の実施例７を示す写真である。
【図２９】本実施形態による手法に基づいて生成された疑似カラー画像の実施例８を示す写真である。
【図３０】本実施形態による臓器表面（一例として、豚の胃内壁）上の凹凸形状を検出し、当該凹凸形状を強調する凹凸強調画像を生成する処理、および生成した凹凸強調画像を疑似カラー画像あるいは単波長画像に重畳する処理の概要を示す写真である。
【図３１】本実施形態の撮像システム１で用いられるＧＵＩ（Graphical User Interface）の構成例を示す図である。
【図３２】本実施形態による、サンプル（一例として肝臓）の表面の漏液（一例として胆汁）の強調画像と、サンプルの疑似カラー画像と、それらの重畳画像と、を示す写真である。
【図３３】本実施形態による、サンプル（一例として腸間膜＋リンパ節）におけるリンパ節の強調画像と、サンプルの疑似カラー画像と、それらの重畳画像と、を示す写真である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して本実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。
【００１０】
本実施形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
【００１１】
更に、本実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。
【００１２】
＜疑似カラー画像を生成する意義について＞
近年、患者の特定部位（手術箇所）の手術を実施する際に、赤外光波長域で高い感度を有する赤外光カメラで取得した、手術箇所の画像データを用いて、例えば患部箇所が強調された強調画像を生成し、それを手術箇所の画像に重ね合せて表示することが行われている。このような手術箇所の画像は、医師等の確認しやすさを考慮すると、カラー画像であることが望ましい。そのため、撮像システム（手術支援システムとも言う）においては、一例として、赤外光カメラの他、カラー画像を生成する可視光カメラが備え付けられ、カラー画像である可視光画像と上記強調画像とを重ね合せて表示するようにする。
しかしながら、撮像システムにおける可視光カメラの配置位置と赤外光カメラの配置位置とは異なり、両カメラの光軸は一致していないため、可視光画像と強調画像とを重ね合せたときには位置ずれが生じてしまう可能性がある。このため、両カメラの光軸がずれないようにするために例えば同一の光学系（同軸光学系）を用いる方法も考えられるが、この場合、可視光波長域から赤外光波長域までの長い波長域に亘って色収差を補正しなければならない。この色収差補正に伴って光学系が複雑な構成（例えば、レンズ枚数が増加するとともに、赤外光カメラと可視光カメラのそれぞれに光を入射させるためのハーフミラー等の光学素子が必要となる）となるため、結果として撮像システム自体が大型化してしまうという課題がある。
【００１３】
そこで、本実施形態では、撮像システムに可視光カメラを備え付けてもよいが、例えば、赤外光カメラで取得した画像データ（例、特定の赤外波長帯の赤外光を生体組織に粗照射して得られる輝度値（又は光強度）を含む）を用いて生体組織の疑似カラー画像を画像処理によって生成（合成）し（例：輝度値にＲＧＢ（ＲＧＢＡ）、ＣＭＹ（ＣＭＹＫ）、ＨＳＶ、ＨＬＳなどの色空間のデータ（色調）を割り当てて疑似カラー画像を生成する）、表示画面上に当該疑似カラー画像を表示する。撮像システムにおいて、例えば、赤外光カメラで取得した画像データを用いて生成した強調画像とカラー画像とを重ね合せる場合には、当該疑似カラー画像と強調画像とを重ね合せるようにする。これにより、強調画像と疑似カラー画像とは同一の赤外光カメラによって取得した画像データに基づいて生成されるため、光軸を合わせる必要がなく、システム構成を簡素化（小型化）することができ、システムのコストも低減することが可能となる。なお、以下の説明では、色の色調としてＲＧＢカラー空間におけるＲＧＢ値を赤外光カメラで取得した画像データに適用して（割り当てて）疑似カラー画像を生成することを例としているが、後述のＲＧＢ割当用テーブル１０２１（色調変換テーブル）を別のカラー空間用のテーブル（色調変換テーブル）に置き換えれば別のカラー空間の色調を用いた疑似カラー画像を生成することが可能である。
【００１４】
＜撮像システム１の構成＞
図１は、本実施形態に係る撮像システム１の外観構成例を説明するための図である。撮像システム１は、例えば、病理診断支援、臨床診断支援、観察支援、手術支援などの医療支援に利用される。図１に示すように、本実施形態では、撮像システム１の例として手術支援システム（手術用撮像システム、医療支援用撮像システム）について説明する。
【００１５】
撮像システム１は、例えば、撮像システム１の全体を制御する制御装置（制御部）１０と、生体８０（以下、生体８０における撮像部位を「サンプル」と言うこともある）に照射する赤外光を発する赤外光源２１および２２を含む赤外光源部２０（参照番号２０は図１には示されていない）と、生体８０からの放射光を撮像する撮像部（光検出部）３０と、オペレータ（例えば、医師等）が各種データや制御装置１０への指示コマンドなどを入力する際に用いる入力装置４０と、モニタ１_５１（第１ディスプレイ）およびモニタ２_５２（第２ディスプレイ）を含み、例えば撮像部３０によって撮像された画像や文字などを表示する表示装置（表示部）５０と、制御装置１０と通信可能に接続された手術用無影灯６０と、を備えている。なお、撮像システム１は、少なくとも撮像部３０を備える撮像装置とも言える。また、図１において、表示装置５０として２モニタ構成を採っているが、１モニタで２画面構成としてもよい。さらに、赤外光源部２０の各赤外光源２１から２２からの赤外光は、例えば拡散板を介してサンプルに光量が均一に照射されるように構成しても良い。例えば、各光源の光が射出する面に拡散板を取り付けたり、赤外光源部２０と生体８０との間の光路に拡散板を配置したりすることができる。これにより、サンプルに万遍なく光が照射されるようになり、撮像部３０による撮像範囲（例えば、手術野に対応にする範囲）に照明ムラや影などができてしまうことを防止することできる。
【００１６】
生体８０は、例えば、手術台９０に横たわる患者である。例えば、生体（患者）８０の手術部位の画像が撮像部３０によって撮像される。当該手術部位（撮像される部位：撮像部位）を患部、サンプルやターゲットと言うことも可能である。また、患部、サンプルやターゲットは、各々における観察対象（例、部位、脂肪組織、胃外壁などの臓器（例、胃、肝臓、腸間膜、肝臓、または膵臓を含む）など）を含む。
【００１７】
図２Ａは、撮像システム１の機能ブロック構成例を示す図である。撮像システム１は、上述と同様、制御装置１０と、赤外光源部２０と、撮像部３０と、入力装置４０と、表示装置（表示部）５０と、手術用無影灯６０と、撮像部３０を例えば水平方向にスライド移動させるステージ７０（図１には示さず）と、を備える。制御装置１０は、例えば、コンピュータで構成され、プロセッサなどで構成される制御部１０１と、各種プログラム、パラメータ、撮像結果、および撮像部３０に含まれる赤外光カメラが取得したサンプルの画像データ（例えば、輝度値）に基づいて各画素に色データを割り当てるＲＧＢ割当用テーブル１０２１などを格納する記憶部１０２と、を備えている。
制御部１０１は、記憶部１０２から各種プログラムやパラメータなどを読み込み、図示しない内部メモリに読み込んだ各種プログラムを展開し、入力装置４０から入力される指示や各種プログラムによって特定される情報処理シーケンスに従って各種プログラムの処理を実行する。制御部１０１は、例えば、赤外光源部２０の赤外光の照射を制御する光照射制御部１０１１と、撮像部３０から取得した画像データからサンプルの強調画像を生成する強調画像生成部１０１２と、撮像部３０から取得した画像データに基づいてサンプルの疑似カラー画像を生成し、入力装置４０から入力される指示に従ってサンプルの疑似カラー画像にサンプルの強調画像を重畳して合成画像を生成する画像生成部１０１３と、入力装置４０によって入力される指示に従って疑似カラー画像あるいは合成画像に対して所定の補正処理を施す画像補正部１０１４と、を備える。記憶部１０２は、例えば、少なくとも、光照射制御部１０１１、強調画像生成部１０１２、画像生成部１０１３、及び画像補正部１０１４に対応するプログラムと、赤外光カメラ３２によって取得された画像データ（例えば、輝度値）にＲＧＢを割り当てて画像をカラー化する際に用いるＲＧＢ割当用テーブル１０２１と、を格納する。なお、例えば、ステージ装置７０は、撮像部３０をサンプルに対して相対移動させることが可能である。
【００１８】
図２Ｂは、本実施形態によるＲＧＢ割当用テーブル１０２１の構成例を示す図である。ＲＧＢ割当用テーブル１０２１は、例えば、第１波長の赤外光をサンプルに照射して得られる反射光（散乱光含む）を赤外光カメラで検出した画像データ（スペクトルデータ（輝度値））にＲ値（以下、赤の色調あるいは赤系統の色情報と言うこともできる）を割り当てるＲ割当用テーブル１０２１１と、第２波長の赤外光をサンプルに照射して得られる反射光（散乱光含む）を赤外光カメラで検出した画像データ（スペクトルデータ（輝度値））にＧ値（以下、緑の色調あるいは緑系統の色情報と言うこともできる）を割り当てるＧ割当用テーブル１０２１２と、第３波長の赤外光をサンプルに照射して得られる反射光（散乱光含む）を赤外光カメラで検出した画像データ（スペクトルデータ（輝度値））にＢ値（以下、青の色調あるいは青系統の色情報と言うこともできる）を割り当てるＢ割当用テーブル１０２１３と、を備えている。後に詳細に説明するが、生体であるサンプルの色は全体として赤味を帯びていることが多いので、Ｒ値が割り当てられる画像データはＧ値やＢ値が割り当てられる画像データよりも輝度値が高いことが望ましい。このため、例えば、第１波長は、第２波長および第３波長よりも、得られる輝度値が大きくなるような波長域を有することが望ましい。
【００１９】
図２Ａに戻って、撮像システム１の構成について説明を続ける。赤外光源部２０は、例えば、９００ｎｍから２５００ｎｍ（又は８００ｎｍから３０００ｎｍ、又は９００ｎｍから１６５０ｎｍ、又は１０００ｎｍから１７００ｎｍなど）の波長帯域の少なくとも一部の赤外光を射出（放射）する赤外光源２１および２２を含む。図１では、赤外光源部２０が２つの光源で構成される例が示されているが、３つ以上の光源が含まれていてもよい。赤外光源部２０は、例えば赤外光源２１および２２から射出（放射）された広帯域の波長帯を有する光を光学系で分光し、分光した各光を光路に配置された光学フィルタでフィルタリングして所望の波長の光を生成するように構成することもできる。なお、後述の撮像部３０が撮像デバイスとしてハイパースペクトルカメラを含む場合には、当該ハイパースペクトルカメラ内でサンプルからの放射（反射）光を分光（波長分解）してスペクトルデータ（各波長に対応する輝度値）を検出するので、上記光学系で分光しなくてもよい。また、ハイパースペクトルカメラを用いる場合、カメラあるいはサンプル（被写体）のいずれかをステージなどで相対移動させる必要がある。このため、図１の撮像システム１は、例えば、カメラあるいはサンプルを相対移動させるステージなどの移動手段（ステージ装置７０）を備えていてもよい。
【００２０】
例えば、赤外光源部２０の赤外光源２１と赤外光源２２とを、それぞれ異なる波長の赤外光を射出（放射）してサンプル（生体８０）に照射するように構成し、各光源を切り替えて使用するようにしてもよい。赤外光源部２０に含まれる赤外光源２１と赤外光源２２とがそれぞれ射出（放射）する光の波長は、オペレータによって設定されるようにしてもよい。なお、第２の実施形態では、波長設定のＧＵＩ（Graphical User Interface）例について説明している（図３１参照）。
【００２１】
撮像部３０は、例えば、サンプルの可視光画像を撮像する第１撮像デバイス（可視光領域の光に対して高い検出感度を有する撮像デバイス、可視光カメラ）３１と、サンプルの赤外光画像を撮像する第２撮像デバイス（赤外光領域の光に対して高い検出感度を有する撮像デバイス、赤外光カメラ）３２と、を含む。ただし、本実施形態の撮像システム１を実現する上で第１撮像デバイス（可視光カメラ）３１は必須ではなく、可視光画像を表示装置５０に表示したい場合に設ければよい。第２撮像デバイス３２は、例えば、赤外光源（赤外光源２１や赤外光源２２）から射出（放射）された９００ｎｍから２５００ｎｍの波長帯域の少なくとも一部の帯域の赤外光のサンプルからの放射（反射）光を分光（波長分解）して各波長に対応するスペクトルデータ（輝度値）を検出するハイパースペクトルカメラとすることができる。また、別の形態として、第２撮像デバイス３２は、複数波長の赤外光をサンプルに照射してサンプルから放射される光の輝度（輝度値）を検出することにより画像を取得する通常の赤外光カメラ（波長分解せずに撮像する赤外光カメラ）であってもよい。この場合、照射される複数波長の赤外光は、例えば、９００ｎｍから２５００ｎｍの波長から複数種類の光（赤外光）が選択される。第１撮像デバイス３１として、例えば、シリコン（Ｓｉ）カメラを用いることができる。第２撮像デバイス３２として、例えば、センサにＩｎＧａＡｓ（インジウムカリウムヒ素）を用いたＩｎＧａＡｓカメラ（ハイパースペクトルカメラ）を用いることができる。第１撮像デバイス３１の光軸と第２撮像デバイス３２の光軸とは、図２に示されるように、同じでなくてもよい。
【００２２】
入力装置４０は、例えば、キーボード、マウス、マイク、タッチパネルなどによって構成され、オペレータ（医師など）が制御装置１０に所定の処理を実行させる際に指示やパラメータなどを入力する際に使用するデバイスである。また、例えば、単にＵＳＢなどの半導体メモリを制御装置１０に設けられた入力ポート（図示せず）に挿入することにより、制御装置１０の制御部１０１が自動的に半導体メモリからデータや指示（予め決められたルールで記述された指示）を読み込み、各種プログラムを実行するようにしても良い。
【００２３】
表示装置５０は、制御部１０１が生成した画像（例えば、サンプルの可視光画像、サンプルの疑似カラー画像、サンプルの強調画像）や、制御部１０１が画像（例えば、疑似カラー画像）を補正して得られた補正画像（補正疑似カラー画像）を制御装置１０から受信し、生成画像（サンプルの可視光画像やサンプルの疑似カラー画像）や疑似カラー画像にサンプルの強調画像を重畳した画像あるいは補正疑似カラー画像に強調画像を重畳した画像を表示画面に表示する。表示装置５０は、例えば、モニタ１_５１およびモニタ２_５２を備えている。モニタ１_５１は、例えば、可視光画像を表示する。モニタ２_５２は、例えば、可視光画像および／または赤外光画像に強調画像を重畳した画像、あるいは可視光画像および／または赤外光画像に補正強調画像を重畳した画像を表示画面に表示する。
【００２４】
図３Ａは、モニタ１_５１にサンプルの可視光画像が表示されている画面例とモニタ２_５２にサンプルの疑似カラー画像にサンプルの強調画像が重畳された合成画像が表示されている画面例（２モニタ構成の例）とを示す図である。ここでは、強調画像を疑似カラー画像に重畳して生成された合成画像をモニタ２_５２に表示するようにしているが、強調画像を重畳していない疑似カラー画像をモニタ２_５２に表示するようにしてもよい。また、撮像システム１において、第１撮像デバイス３１の光軸と第２撮像デバイスの光軸とは一致していなくてもよいため、モニタ１_５１に表示された可視光画像と、モニタ２_５２に表示された疑似カラー画像あるいは疑似カラー画像に強調画像が重畳された合成画像とは、多少の位置ずれを含んでいる。なお、強調画像の表示色は、例えばオペレータによって適宜指定・変更することができるようになっている。
【００２５】
手術用無影灯６０は、複数のＬＥＤ光源によって構成される可視光源である。手術用無影灯６０は、例えば、最大１６００００ルクスと非常に明るい。手術用無影灯６０を点灯している間は、可視光画像を第１撮像デバイス３１によって取得することができる。一方、手術用無影灯６０は赤外光の波長域の光を放出することがないように構成されるため、手術用無影灯６０の点灯期間および消灯期間の何れの期間でも赤外光画像を第２撮像デバイス３２によって取得することができる。
なお、図３Ａでは２つのモニタの１つに可視光画像を、もう１つのモニタに疑似カラー画像あるいは疑似カラー画像にサンプルの強調画像が重畳された合成画像を表示する形態が示されているが、図３Ｂに示すように、１つの表示装置（モニタ）５０に可視光画像と合成画像とを２画面構成（例えば、両画像を同一の大きさに表示したり、１つの画像の少なくとも一部分をもう１つの画像に重畳させて表示したり、１つの画像をもう１つの画像よりも大きく表示したりしてもよい）で表示するようにしてもよい。この場合、制御部１０１は、表示装置（モニタ）５０における複数の画面領域ＤＡ（例、第１の画面領域ＤＡ１、第２の画面領域ＤＡ２）の表示位置を制御する。また、例えば、手術用無影灯６０の点灯及び消灯が制御装置１０によって制御されるようにしても良い。
【００２６】
以上のように、本実施形態の撮像システム（手術支援システム）１によれば、例えば、１つの撮像デバイス（赤外光カメラ）で検出した手術野における生体部位（例えば、患者の手術対象箇所：サンプル）の画像データに基づいて、生体部位の画像（疑似カラー画像）と、当該生体部位の強調画像とを生成し、それらを重畳して表示するので、画像の位置合わせが不要となる。また、可視光カメラの光軸と赤外光カメラの光軸とを一致させるための光学系を設ける必要がなく、サンプルの撮像光学系がシンプルになる。よって、撮像システム１を小型化することができ、そのコストを抑えることができるようになる。以下、本実施形態による撮像システム（手術支援システム）１の動作や構成の更なる詳細について説明する。
【００２７】
＜疑似カラー画像および合成画像の生成・表示処理の内容＞
図４は、本実施形態の撮像システム（手術支援システム）１における疑似カラー画像および合成画像の生成・表示処理（サンプルの疑似カラー画像を生成し、当該疑似カラー画像にサンプルの強調画像を重畳して得られる合成画像を表示する処理）の内容を説明するためのフローチャートである。以下、各ステップについて説明する。なお、各ステップでは、各処理部（光照射制御部１０１１、強調画像生成部１０１２、画像生成部１０１３）が各ステップの処理を実行するように説明するが、各処理部は制御部１０１に含まれる機能であるため、制御部１０１を動作主体としてもよい。
【００２８】
（i）ステップ４０１
光照射制御部１０１１は、入力装置４０を用いたオペレータ（医師等）の指示入力（入力信号）に応答し、赤外光源部２０を制御して、上述の第１波長（ＲＧＢのＲ値を割り当てる輝度値を検出するための赤外光の波長）、第２波長（ＲＧＢのＧ値を割り当てる輝度値を検出するための赤外光の波長）、および第３波長（ＲＧＢのＢ値を割り当てる輝度値を検出するための赤外光の波長）の赤外光をサンプルに照射する。詳細は後述するが、例えば、第１波長を１０７０ｎｍ、第２波長を１０００ｎｍ、第３波長を９７０ｎｍとすることができる。なお、ここでは、赤外光源部２０が第１から第３波長の赤外光（つまり、３種類の単波長の赤外光）をそれぞれサンプルに照射する場合を例としているが、特定波長帯域の赤外光（例えば、９００ｎｍから２５００ｎｍの少なくとも一部の波長帯域の赤外光）をサンプルに照射するようにしてもよい。この場合、第２撮像デバイス３２として、上述のハイパースペクトルカメラを採用することができる。また、第２撮像デバイス３２として、画像の１画素において複数のスペクトルデータを１回の撮影で取得できる受光センサを用いることもできる。
【００２９】
（ii）ステップ４０２
画像生成部１０１３は、第２撮像デバイス３２を制御し、第１波長から第３波長の赤外光のそれぞれをサンプルに照射して得られる、サンプルからの反射光（散乱光を含む）を検出し、それぞれの波長に対応するスペクトルデータ（画像データ：輝度値）を取得する。画像生成部１０１３は、例えば、取得した画像データを、各波長と関連付けて記憶部１０２に格納する。格納された画像データは、後続のステップを実行する際に、記憶部１０２から読み出され、疑似カラー画像や強調画像を生成するのに用いられる。
なお、第２撮像デバイス３２としてハイパースペクトルカメラを用いる場合には、例えば、第２撮像デバイス３２は、赤外光をサンプルに照射することにより得られるサンプルからの放射（反射）光を各波長に分光しながら、各波長に対応するスペクトルデータ（輝度値）を検出することになる。なお、カメラで取得する輝度値データは、事前に取得しておいた補正用の参照物体（例、標準反射板、サンプルの形状に合わせた物体など）での輝度値によって補正され、この補正後の輝度値データが解析に利用されることもある。よって、補正後の輝度値データを解析に用いる輝度値（補正された輝度値）データとすることも可能である。また、第２撮像デバイス３２として、画像の１画素において複数のスペクトルデータを１回の撮影で取得できる受光センサ（マルチスペクトルセンサ）を用いる場合、例えば、第２撮像デバイス３２は、所定の波長帯域（例、９００ｎｍ以上２５００ｎｍ以下の波長帯域）から選ばれるＮ個の波長帯の光をサンプルに対して照射して得られるスペクトルデータを検出する。例えば、第２撮像デバイス３２は、サンプルの表面位置（画素に相当）及び波長方向からなる三次元の赤外光反射のスペクトルデータを取得できる。第２撮像デバイス３２として、ハイパースペクトルカメラや上記マルチスペクトルセンサを用いる場合、取得されたスペクトルデータの一部を用いて疑似カラー画像を生成するようにしてもよい。例えば、特定の３つの波長（第１波長から第３波長）に対応するスペクトルデータ（各画素の輝度値）にＲＧＢの各値を割り当てることにより、疑似カラー画像を生成することができる。
【００３０】
（iii）ステップ４０３
画像生成部１０１３は、例えば、第１波長から第３波長を照射して得られた、サンプルの各画素の輝度値に基づいて、Ｒ値、Ｇ値、およびＢ値の割合を決定し、決定したＲ値、Ｇ値、およびＢ値を混合して、各画素の色を決定する。本実施形態では、同一画素について、複数種類の輝度値（例えば、３種類：第１波長の赤外光をサンプルに照射することによって得られる輝度値、第２波長の赤外光をサンプルに照射することによって得られる輝度値、第３波長の赤外光をサンプルに照射することによって得られる輝度値）が得られるが、これらの輝度値の比は画素によって異なってくる。本実施形態では、例えば、同一画素における各波長に対応する輝度値の差異をＲＧＢの構成比の差異として捉え、同一画素における輝度値の比に応じて、Ｒ値、Ｇ値、およびＢ値を各画素に割り当てるようにしている。
【００３１】
（iv）ステップ４０４
画像生成部１０１３は、ステップ４０３で各画素に割り当てられたＲ値、Ｇ値、およびＢ値を混合して各画素の色を決定し、サンプルの疑似カラー画像を生成する。
【００３２】
（v）ステップ４０５
強調画像生成部１０１２は、各波長に対応する画像データを記憶部１０２から読み出し、サンプルの強調画像を生成する。強調画像は、例えば、各波長に対応する赤外光画像同士の差分画像を生成することにより生成することができる。生成された赤外光画像がＮ個（Ｎ種類の波長を照射して赤外光画像を取得）であれば、（Ｎ×（Ｎ−１））個の差分画像が生成されることになる。その他、各赤外光画像にエッジフィルタを掛けたり、予めサンプルに含まれる観察対象である生体部位（臓器）の教師データを記憶部１０２に保持しておき、各赤外光画像と教師データとの差分を算出したりすることによって強調画像を生成してもよい。
【００３３】
（vi）ステップ４０６
画像生成部１０１３は、ステップ４０４で生成したサンプルの疑似カラー画像に、ステップ４０５で生成したサンプルの強調画像を重畳して合成画像を生成する。疑似カラー画像と強調画像とは、同一の赤外光カメラ（第２撮像デバイス３２）によって取得された画像データ（スペクトルデータ）を基に生成されているため、位置ずれを生じさせることなく重畳することが可能である。例えば、ステップ４０５においてサンプルの複数の強調画像が生成されている場合には、オペレータ（医師など）によって指定された波長に対応する強調画像を疑似カラー画像に重畳する対象としてもよいし、全ての強調画像を疑似カラー画像に重畳する対象としてもよい。生成された合成画像は、例えば、記憶部１０２に保持される。
【００３４】
（vii）ステップ４０７
制御部１０１は、表示装置５０にステップ４０６で生成された合成画像を転送し、その表示画面上に合成画像を表示するように指示する。例えば、複数の合成画像がある場合には、制御部１０１は、切り替え表示を指示するようにしてもよい。表示装置５０は、制御部１０１から合成画像を受信して、例えば、当該合成画像をモニタ２_５２に表示する。また、表示装置５０は、制御部１０１から同一サンプルの疑似カラー画像も受信して、例えば、それをモニタ１_５１に表示するようにしてもよい。なお、制御部１０１は、可視光カメラ（第１撮像デバイス３１）によって撮像されたサンプルの可視光画像（赤外光カメラとは撮像軸が異なる画像）を表示装置５０に転送し、これも疑似カラー画像などと併せて表示画面上に表示するように指示してもよい。
【００３５】
以上のように、撮像システム１は、特定の複数波長の赤外光を照射して得られる複数の赤外光画像に対して、各画素における特定の複数波長に対応する輝度値に応じて、ＲＧＢ空間の色情報を割り当ててサンプルの疑似カラー画像を生成する。そして、同一の撮像デバイス（第２撮像デバイス３２）を用いて取得されるスペクトルデータを用いてサンプルの疑似カラー画像とサンプルの強調画像とを生成するため、位置ずれを生じさせることなく、サンプルの画像（疑似カラー画像）と強調画像を重畳することができるようになる。また、本実施形態の手法によれば、可視光画像と遜色のない、リアリティのある疑似カラー画像を提供することができる。本実施形態では、同一の撮像デバイスを用いて取得される画像データに基づいて疑似カラー画像および強調画像を生成するので、撮像光学系をシンプルに構成することができ、安価に撮像システム１を提供することができるようにもなる。
【００３６】
＜疑似カラー画像生成処理の概要（例）＞
図５は、本実施形態による疑似カラー画像生成処理の概要を説明するための図（写真）である。図５の例では、第１波長として１０７０ｎｍ、第２波長として１０００ｎｍ、および第３波長として９７０ｎｍを用いて疑似カラー画像が生成される。
【００３７】
まず、１０７０ｎｍの赤外光、１０００ｎｍの赤外光、および９７０ｎｍの赤外光を順次サンプルに照射し、各波長に対応するスペクトルデータ（画像データ）が取得される。
【００３８】
次に、各画素の３つの波長に対応する各輝度値の比に基づいて、ＲＧＢの割り当てる値の割合が決定される。例えば、各色（赤、緑、青）において、暗い色から明るい色まで色が分布している。輝度値が小さい場合には暗い色を割り当て、輝度値が大きくなれば明るい色を割り当てるようにする。また、例えば、ある画素において、１０７０ｎｍの波長に対応する輝度値が１００、１０００ｎｍの波長に対応する輝度値が５０、９７０ｎｍの波長に対応する輝度値が３０であった場合、１００：５０：３０の割合でＲＧＢ値が当該画素に割り当てられる。
【００３９】
各画素に割り当てられたＲＧＢ値を混合して各画素の色を決定し、サンプルの疑似カラー画像が生成される。図５には以上のようにして生成された疑似カラー画像（強調画像は重畳されていない状態）が示されているが、可視光画像の特徴を再現よく表している。従って、本実施形態によれば、術中に当該疑似カラー画像を表示装置５０に表示してもオペレータ（医師など）は充分に参考可能な画像を提供できることが分かる。
【００４０】
＜疑似カラー画像の生成に用いる赤外光の波長選択について＞
図６は、本実施形態による、脂肪組織（実線）と胃外壁（破線）の波長とスペクトル値（輝度値：最大値＝６５５３５、最小値＝０（１６ｂｉｔ））の関係を示すグラフであって、疑似カラー画像を生成する際に用いる赤外光の波長選択について説明するための図である。
【００４１】
擬似カラー画像を生成する場合、生成した疑似カラー画像が暗くならないように、ある程度輝度値（反射率）が大きい波長域を利用する必要がある。例えば、図６からは、比較的短い波長域では、脂肪組織および胃外壁が一定値以上の輝度値が得られることが分かる。一方、長い波長域では、図７に示されるように、疑似カラー画像（例：Ｒ値は１６００ｎｍを照射して得られる画像データに、Ｇ値は１４５０ｎｍを照射して得られる画像データに、Ｂ値は１５００ｎｍを照射して得られる画像データに、それぞれ割り当てられている）は黒っぽい画像となり、可視光画像（肉眼像）からかけ離れてしまっている。このように、長波長域の波長を用いると、疑似カラー画像が黒潰れしてしまう。このため、どの波長域を用いるのが望ましいか考察しなければならない。この点、例えば、図５に示されるように、１３７０ｎｍから１４００ｎｍよりも短い波長域であれば、脂肪組織および胃外壁が一定値以上の輝度値が得られる。一方、１４００ｎｍより長い波長域では、特に胃外壁は水の吸収の影響により輝度値が著しく減少してしまう。図６のグラフを参照すると、例えば、波長が１４５０ｎｍ付近の領域は水の吸収域であるため、その領域を疑似カラー画像生成のための波長とすることは避けるべきである。波長が１３７０ｎｍ付近よりも短い波長域に行くにつれて輝度値が上がっている。また、脂肪組織のスペクトル（実線グラフ）を見ると、波長が１２００ｎｍ付近で輝度値が極小（極小の輝度値が１７５００程度）となっており、この極小点から水平線（図６の二点鎖線）（基準線）を長波長方向に引くと再度脂肪組織のスペクトル（実線グラフ）と交差するが、この交差ポイントが波長１３７０ｎｍとなっている。よって、１３７０ｎｍよりも短い波長帯域（網掛部）を用いれば、脂肪組織に関しては極小の輝度値１７５００以上は保証されることとなるが、２から３％程度の誤差を考慮すれば、１４００ｎｍ以下の波長域を採用することが好ましいことが分かる。
【００４２】
＜波長範囲選択例：ＴＹＰＥ１＞
図８は、本実施形態による波長選択の例（ＴＹＰＥ１）を説明するための図である。ＴＹＰＥ１では、波長選択にあたって短波長側（１１３０ｎｍより短い波長域）の波長を利用するという考えに基づいている。特に、胃の外壁の短波長側のスペクトルから波長範囲を決定している。他の臓器への適用は、後述のように、基本形であるＴＹＰＥ１の考えに基づいて考察される。スペクトルを取得する対象が異なっているため、ＴＹＰＥ１（基本形）と他（ＴＹＰＥ１−ａから１−ｆ）の波長範囲例とでは、波長範囲に多少の差が生じている。
【００４３】
例えば、生体（サンプル、観察対象）は通常赤味を帯びた色をしている（図７の可視光画像（肉眼像）を参照）ため、肉眼像での赤味を赤外像で再現するためには、反射率（輝度値）が大きい領域（吸収が小さい領域）を赤の色調（この場合、Ｒ）に割り当て、緑の色調（この場合、Ｇ）および青の色調（この場合、Ｂ）をＲよりも反射率（輝度値）が小さい領域に割り当てることが望ましい。これを前提として、胃外壁の短波長側のスペクトル（破線グラフ）における極小点（９７０ｎｍ付近）と極大点（１０７０ｎｍ付近）のほぼ中間に水平線８０１（基準線）を引くと、脂肪組織および胃外壁の両方において、輝度値が高い領域は、例えば１０３１±１０ｎｍから１１２０±１０ｎｍの領域であることが分かる。よって、この領域をＲ値に割り当て、その領域よりも輝度値が低い領域である９５５±１０ｎｍから１０３０±１０ｎｍの領域にＧ値およびＢ値を割り当てると良いことが分かる。ＴＹＰＥ１では、例えば、Ｒ値が割り当てられる波長域は、Ｇ値およびＢ値が割り当てられる波長域よりも長波長側にある。以下、上記ＴＹＰＥ１と同様の考えに基づく様々な波長範囲選択について例挙する。
【００４４】
（i）ＴＹＰＥ１−ａ
図９は、本実施形態による波長範囲選択例（ＴＹＰＥ１−ａ）を示す図である。ＴＹＰＥ１−ａは、例えば、豚の胃の各部位（脂肪組織と胃外壁）の平均スペクトルから波長範囲を決定する例に関する。
【００４５】
ＴＹＰＥ１−ａでは、脂肪組織のスペクトル（実線グラフ）と胃外壁のスペクトル（破線グラフ）との平均スペクトルが演算され、当該平均スペクトルにおいて、輝度値が常に他の領域よりも高くなる領域を決定し、その波長域にＲを割り当てることとする。例えば、図９に示されるように、水平線９０１（基準線）を平均スペクトルにおける極小点（９８０ｎｍ付近）と極大点（１０７０ｎｍ付近）のほぼ中間に引き、一方の輝度値が他方の輝度値よりも常に高くなるような２つの波長域を決定する。すると、例えば、９５３±１０ｎｍから１０３５±１０ｎｍの波長域および１０３６±１０ｎｍから１１２３±１０ｎｍの波長域をＲＧＢの割り当て波長域として見出すことができる。
【００４６】
よって、ＴＹＰＥ１−ａによれば、Ｒ値を割り当てる波長域の輝度値の方がＧ値およびＢ値を割り当てる波長域の輝度値よりも高いことが望ましいことを考慮して、例えば、Ｒ値を１０３６±１０ｎｍから１１２３±１０ｎｍに、Ｇ値およびＢ値を９５３±１０ｎｍから１０３５±１０ｎｍに割り当てることが好ましい。
【００４７】
（ii）ＴＹＰＥ１−ｂ
図１０は、本実施形態による波長範囲選択例（ＴＹＰＥ１−ｂ）を示す図である。ＴＹＰＥ１−ｂは、例えば、豚の膵臓のスペクトルから波長範囲を決定する例に関する。
【００４８】
ＴＹＰＥ１−ｂでは、膵臓のスペクトルにおいて、輝度値が常に他の領域よりも高くなる領域を決定し、その波長域にＲを割り当てることとする。この場合、Ｒ値が割り当てられる波長域がＧ値およびＢ値が割り当てられる波長域よりも長波長側にあるという条件は維持される。例えば、図１０に示されるように、水平線１００１（基準線）を膵臓のスペクトルにおける極小点（９８０ｎｍ付近）と極大点（１０７０ｎｍ付近）のほぼ中間に引き、一方の輝度値が他方の輝度値よりも常に高くなるような２つの波長域を決定する。すると、例えば、９４０±１０ｎｍから１０３０±１０ｎｍの波長域および１０３１±１０ｎｍから１１２４±１０ｎｍの波長域を色調（この場合、ＲＧＢ）の割り当て波長域として見出すことができる。
【００４９】
よって、ＴＹＰＥ１−ｂによれば、Ｒ値を割り当てる波長域の輝度値の方がＧ値およびＢ値を割り当てる波長域の輝度値よりも高いことが望ましいことを考慮して、例えば、Ｒ値を１０３１ｎｍから１１２４ｎｍに、Ｒ値を基準にしてＧ値およびＢ値を波長域の異なる９４０ｎｍから１０３０ｎｍに割り当てることが好ましい。
【００５０】
（iii）ＴＹＰＥ１−ｃ
図１１は、本実施形態による波長範囲選択例（ＴＹＰＥ１−ｃ）を示す図である。ＴＹＰＥ１−ｃは、例えば、豚の肝臓の各部位（肝表面や血管など）のスペクトルから波長範囲を決定する例に関する。ただし、便宜上、図１１には平均スペクトルのみ示され、肝臓の各部位のスペクトルとタンパク質のスペクトルは示されていない。
【００５１】
ＴＹＰＥ１−ｃでは、肝臓の各部位の平均スペクトル（実線グラフ）が演算され、当該平均スペクトルの短波長側において、輝度値が常に他の領域よりも高くなる領域を決定し、その波長域に赤の色調（この場合、Ｒ）を割り当てることとする。この場合、Ｒ値が割り当てられる波長域がＧ値およびＢ値が割り当てられる波長域よりも長波長側にあるという条件は維持される。例えば、図１１に示されるように、水平線１１０１（基準線）を平均スペクトルにおける極小点（９７０ｎｍ付近）と極大点（１０７０ｎｍ付近）のほぼ中間に引き、一方の輝度値が他方の輝度値よりも常に高くなるような２つの波長域を決定する。すると、例えば、９３９±１０ｎｍから１０２７±１０ｎｍの波長域および１０２８±１０ｎｍから１１２９±１０ｎｍの波長域をＲＧＢの割り当て波長域として見出すことができる。
【００５２】
よって、ＴＹＰＥ１−ｃによれば、Ｒ値を割り当てる波長域の輝度値の方がＧ値およびＢ値を割り当てる波長域の輝度値よりも高いことが望ましいことを考慮して、例えば、Ｒ値を１０２８±１０ｎｍから１１２９±１０ｎｍに、Ｇ値およびＢ値を９３９±１０ｎｍから１０２７ｎｍに割り当てることが好ましい。
【００５３】
（iv）ＴＹＰＥ１−ｄ
図１２は、本実施形態による波長範囲選択例（ＴＹＰＥ１−ｄ）を示す図である。ＴＹＰＥ１−ｄは、例えば、豚の腸間膜の各部位（脂肪組織とリンパ節など）のスペクトルから波長範囲を決定する例に関する。ただし、便宜上、図１２には平均スペクトルのみ示され、脂肪組織のスペクトルとリンパ節のスペクトルは示されていない。
【００５４】
ＴＹＰＥ１−ｄでは、脂肪組織のスペクトルとリンパ節のスペクトルとから平均スペクトル（実線グラフ）が演算され、当該平均スペクトルにおいて、輝度値が常に他の領域よりも高くなる領域を決定し、その波長域に赤の色調（この場合、Ｒ）を割り当てることとする。この場合、Ｒ値が割り当てられる波長域がＧ値およびＢ値が割り当てられる波長域よりも長波長側にあるという条件は維持される。例えば、図１２に示されるように、水平線１２０１（基準線）を平均スペクトルにおける極小点（９８０ｎｍ付近）と極大点（１０８０ｎｍ付近）のほぼ中間に引き、一方の輝度値が他方の輝度値よりも常に高くなるような２つの波長域を決定する。すると、例えば、９５３±１０ｎｍから１０４８±１０ｎｍの波長域および１０４９±１０ｎｍから１１２３±１０ｎｍの波長域をＲＧＢの割り当て波長域として見出すことができる。
【００５５】
よって、ＴＹＰＥ１−ｄによれば、Ｒ値を割り当てる波長域の輝度値の方がＧ値およびＢ値を割り当てる波長域の輝度値よりも高いことが望ましいことを考慮して、例えば、Ｒ値を１０４９ｎｍから１１２３ｎｍに、Ｇ値およびＢ値を９５３ｎｍから１０４８ｎｍに割り当てることが好ましい。
【００５６】
（v）ＴＹＰＥ１−ｅ
図１３は、本実施形態による波長範囲選択例（ＴＹＰＥ１−ｅ）を示す図である。ＴＹＰＥ１−ｅは、例えば、豚の腎臓の各部位（腎表面、腎皮質、腎髄質、腎杯、腎盂など）の平均スペクトルから波長範囲を決定する例に関する。ただし、便宜上、図１２には平均スペクトルのみ示され、腎臓の各部位のスペクトルは示されていない。
【００５７】
ＴＹＰＥ１−ｅでは、腎臓の各部位の平均スペクトル（実線グラフ）が演算され、当該平均スペクトルにおいて、輝度値が常に他の領域よりも高くなる領域を決定し、その波長域に赤の色調（この場合、Ｒ）を割り当てることとする。この場合、Ｒ値が割り当てられる波長域がＧ値およびＢ値が割り当てられる波長域よりも長波長側にあるという条件は維持される。例えば、図１３に示されるように、水平線１３０１（基準線）を平均スペクトルにおける極小点（９８０ｎｍ付近）と極大点（１０７０ｎｍ付近）のほぼ中間に引き、一方の輝度値が他方の輝度値よりも常に高くなるような２つの波長域を決定する。すると、例えば、９３４±１０ｎｍから１０３５±１０ｎｍの波長域および１０３６±１０ｎｍから１１３０±１０ｎｍの波長域をＲＧＢの割り当て波長域として見出すことができる。
【００５８】
よって、ＴＹＰＥ１−ｅによれば、Ｒ値を割り当てる波長域の輝度値の方がＧ値およびＢ値を割り当てる波長域の輝度値よりも高いことが望ましいことを考慮して、例えば、Ｒ値を１０３６±１０ｎｍから１１３０±１０ｎｍに、Ｇ値およびＢ値を９３４±１０ｎｍから１０３５±１０ｎｍに割り当てることが好ましい。
【００５９】
（vi）ＴＹＰＥ１−ｆ
図１４は、本実施形態による波長範囲選択例（ＴＹＰＥ１−ｆ）を示す図である。ＴＹＰＥ１−ｆは、例えば、水のスペクトルと油（植物油）のスペクトルとの平均スペクトル（点線グラフ）から波長範囲を決定する例に関する。
【００６０】
ＴＹＰＥ１−ｆでは、水のスペクトル（実線グラフ）と油のスペクトル（破線グラフ）とから平均スペクトル（点線グラフ）が演算され、当該平均スペクトルにおいて、輝度値が常に他の領域よりも高くなる領域を決定し、その波長域に赤の色調（この場合、Ｒ）を割り当てることとする。この場合、Ｒ値が割り当てられる波長域がＧ値およびＢ値が割り当てられる波長域よりも長波長側にあるという条件は維持される。例えば、図１４に示されるように、水平線１４０１（基準線）を平均スペクトルにおける極小点（９７０ｎｍ付近）と極大点（１０７０ｎｍ付近）のほぼ中間に引き、一方の輝度値が他方の輝度値よりも常に高くなるような２つの波長域を決定する。すると、例えば、９５１±１０ｎｍから１０４０±１０ｎｍの波長域および１０４１±１０ｎｍから１１２２±１０ｎｍの波長域をＲＧＢの割り当て波長域として見出すことができる。
【００６１】
よって、ＴＹＰＥ１−ｆによれば、Ｒ値を割り当てる波長域の輝度値の方がＧ値およびＢ値を割り当てる波長域の輝度値よりも高いことが望ましいことを考慮して、例えば、Ｒ値を１０４１±１０ｎｍから１１２２±１０ｎｍに、Ｇ値およびＢ値を９５１±１０ｎｍから１０４０±１０ｎｍに割り当てることが好ましい。
【００６２】
＜波長範囲選択例：ＴＹＰＥ２＞
図１５は、本実施形態による波長選択の例（ＴＹＰＥ２）を説明するための図である。ＴＹＰＥ２では、波長選択にあたって長波長側（１１３０ｎｍより長い波長域）の波長も利用するという考えに基づいている。特に、胃の脂肪組織のスペクトルから波長範囲を決定している。他の臓器への適用は、後述のように、基本形であるＴＹＰＥ２の考えに基づいて考察される。ただし、スペクトルを取得する観察対象が異なっているため、ＴＹＰＥ２（基本形）と他（ＴＹＰＥ２−ａから２−ｆ）の波長範囲例とでは、波長範囲に多少の差が生じている。
【００６３】
例えば、ＴＹＰＥ１の場合と同様に、可視光画像（肉眼像）での赤味を赤外像で再現するためには、サンプルの観察対象において反射率（輝度値）が大きい領域（吸収が小さい領域）を赤の色調（この場合、Ｒ）に割り当て、この赤の色調を基準にして緑の色調（この場合、Ｇ）および青の色調（この場合、Ｂ）をＲよりも反射率（輝度値）が小さい領域に割り当てることが望ましい。また、用いることができる波長は、上述の１３７０ｎｍから１４００ｎｍが上限となる。これを前提として、脂肪組織のスペクトル（実線グラフ）に水平線１５０１（極大点の接線、基準線）および１５０２（極小点の接線、基準線）を引くと、脂肪組織および胃外壁の両方において、輝度値が高い領域は９００±１０ｎｍから１１６０±１０ｎｍの領域であることが分かる。よって、この領域をＲ値に割り当て、その領域よりも輝度値が低い領域である１１６１±１０ｎｍから１３７０±１０ｎｍの領域にＧ値およびＢ値を割り当てると良いことが分かる。ＴＹＰＥ２では、例えば、Ｒ値が割り当てられる波長域は、Ｇ値およびＢ値が割り当てられる波長域よりも短波長側にある。以下、上記ＴＹＰＥ２と同様の考えに基づく様々な波長範囲選択について例挙する。
【００６４】
（i）ＴＹＰＥ２−ａ
図１６は、本実施形態による波長範囲選択例（ＴＹＰＥ２−ａ）を示す図である。ＴＹＰＥ２−ａは、例えば、豚の胃の各部位（脂肪組織と胃外壁）の平均スペクトルから波長範囲を決定する例に関する。
【００６５】
ＴＹＰＥ２−ａでは、脂肪組織のスペクトル（実線グラフ）と胃外壁のスペクトル（破線グラフ）との平均スペクトルが演算され、当該平均スペクトルにおいて、輝度値が常に他の領域よりも高くなる領域を決定し、その波長域にＲを割り当てることとする。この場合、Ｒ値が割り当てられる波長域がＧ値およびＢ値が割り当てられる波長域よりも短波長側にあるという条件は維持される。例えば、図９に示されるように、水平線１６０１（極大点の接線、基準線）および１６０２（極小点の接線、基準線）を平均スペクトルに引き、上限の波長を１３７０±１０ｎｍから１４００±１０ｎｍとして、一方の輝度値が他方の輝度値よりも常に高くなるような２つの波長域を決定する。すると、例えば、９００±１０ｎｍから１１６０±１０ｎｍの波長域および１０６１±１０ｎｍから１３６０±１０ｎｍの波長域をＲＧＢの割り当て波長域として見出すことができる。
【００６６】
よって、ＴＹＰＥ２−ａによれば、Ｒ値を割り当てる波長域の輝度値の方がＧ値およびＢ値を割り当てる波長域の輝度値よりも高いことが望ましいことを考慮して、例えば、Ｒ値を９００±１０ｎｍから１１６０±１０ｎｍに、Ｇ値およびＢ値を１１６１±１０ｎｍから１３６０５±１０ｎｍに割り当てることが好ましい。
【００６７】
（ii）ＴＹＰＥ２−ｂ
図１７は、本実施形態による波長範囲選択例（ＴＹＰＥ２−ｂ）を示す図である。ＴＹＰＥ２−ｂは、例えば、豚の膵臓のスペクトルから波長範囲を決定する例に関する。
【００６８】
ＴＹＰＥ２−ｂでは、膵臓のスペクトルにおいて、輝度値が常に他の領域よりも高くなる領域を決定し、その波長域にＲを割り当てることとする。この場合、Ｒ値が割り当てられる波長域がＧ値およびＢ値が割り当てられる波長域よりも短波長側にあるという条件は維持される。例えば、図１７に示されるように、水平線１７０１（極大点の接線、基準線）および１７０２（極小点の接線、基準線）を膵臓のスペクトルに引き、上限の波長を１３７０ｎｍから１４００ｎｍとして、一方の輝度値が他方の輝度値よりも常に高くなるような２つの波長域を決定する。すると、例えば、９００±１０ｎｍから１１６７±１０ｎｍの波長域および１１６８±１０ｎｍから１３００±１０ｎｍの波長域をＲＧＢの割り当て波長域として見出すことができる。
【００６９】
よって、ＴＹＰＥ２−ｂによれば、Ｒ値を割り当てる波長域の輝度値の方がＧ値およびＢ値を割り当てる波長域の輝度値よりも高いことが望ましいことを考慮して、例えば、Ｒ値を９００±１０ｎｍから１１６７±１０ｎｍに、Ｇ値およびＢ値を１１６８±１０ｎｍから１３００ｎｍに割り当てることが好ましい。
【００７０】
（iii）ＴＹＰＥ２−ｃ
図１８は、本実施形態による波長範囲選択例（ＴＹＰＥ２−ｃ）を示す図である。ＴＹＰＥ２−ｃは、例えば、豚の肝臓の各部位（肝表面や血管など）のスペクトルから波長範囲を決定する例に関する。ただし、便宜上、図１８には平均スペクトルのみ示され、肝臓の各部位のスペクトルは示されていない。
【００７１】
ＴＹＰＥ２−ｃでは、平均スペクトルにおいて、輝度値が常に他の領域よりも高くなる領域を決定し、その波長域にＲを割り当てることとする。この場合、Ｒ値が割り当てられる波長域がＧ値およびＢ値が割り当てられる波長域よりも短波長側にあるという条件は維持される。例えば、図１８に示されるように、水平線１８０１（極大点の接線、基準線）および１８０２（極小点の接線、基準線）を平均スペクトルに引き、上限の波長を例えば１３７０±１０ｎｍから１４００ｎｍ±１０として、一方の輝度値が他方の輝度値よりも常に高くなるような２つの波長域を決定する。すると、例えば、９００±１０ｎｍから１１６６±１０ｎｍの波長域および１１６７±１０ｎｍから１３０５±１０ｎｍの波長域をＲＧＢの割り当て波長域として見出すことができる。
【００７２】
よって、ＴＹＰＥ２−ｃによれば、Ｒ値を割り当てる波長域の輝度値の方がＧ値およびＢ値を割り当てる波長域の輝度値よりも高いことが望ましいことを考慮して、例えば、Ｒ値を９００±１０ｎｍから１１６６±１０ｎｍに、Ｇ値およびＢ値を１１６７±１０ｎｍから１３０５±１０ｎｍに割り当てることが好ましい。
【００７３】
（iv）ＴＹＰＥ２−ｄ
図１９は、本実施形態による波長範囲選択例（ＴＹＰＥ２−ｄ）を示す図である。ＴＹＰＥ２−ｄは、例えば、豚の腸間膜の各部位（脂肪組織とリンパ節）のスペクトルから波長範囲を決定する例に関する。ただし、便宜上、図１９には平均スペクトルのみ示され、脂肪組織のスペクトルとリンパ節のスペクトルは示されていない。
【００７４】
ＴＹＰＥ２−ｄでは、平均スペクトルにおいて、輝度値が常に他の領域よりも高くなる領域を決定し、その波長域にＲを割り当てることとする。この場合、Ｒ値が割り当てられる波長域がＧ値およびＢ値が割り当てられる波長域よりも短波長側にあるという条件は維持される。例えば、図１９に示されるように、水平線１９０１（極大点の接線、基準線）および１９０２（極小点の接線、基準線）を平均スペクトルに引き、上限の波長を例えば１３７０±１０ｎｍから１４００±１０ｎｍとして、一方の輝度値が他方の輝度値よりも常に高くなるような２つの波長域を決定する。すると、例えば、９００±１０ｎｍから１１５５±１０ｎｍの波長域および１１５６±１０ｎｍから１３７５±１０ｎｍの波長域をＲＧＢの割り当て波長域として見出すことができる。
【００７５】
よって、ＴＹＰＥ２−ｄによれば、Ｒ値を割り当てる波長域の輝度値の方がＧ値およびＢ値を割り当てる波長域の輝度値よりも高いことが望ましいことを考慮して、例えば、Ｒ値を９００±１０ｎｍから１１５５±１０ｎｍに、Ｇ値およびＢ値を１１５６±１０ｎｍから１３７５±１０ｎｍに割り当てることが好ましい。
【００７６】
（v）ＴＹＰＥ２−ｅ
図２０は、本実施形態による波長範囲選択例（ＴＹＰＥ２−ｅ）を示す図である。ＴＹＰＥ２−ｅは、例えば、豚の腎臓の各部位（腎表面、腎皮質、腎髄質、腎杯、腎盂）の平均スペクトルから波長範囲を決定する例に関する。ただし、便宜上、図１２には平均スペクトルのみ示され、腎臓の各部位のスペクトルは示されていない。
【００７７】
ＴＹＰＥ２−ｅでは、腎臓の各部位の平均スペクトルにおいて、輝度値が常に他の領域よりも高くなる領域を決定し、その波長域にＲを割り当てることとする。この場合、Ｒ値が割り当てられる波長域がＧ値およびＢ値が割り当てられる波長域よりも短波長側にあるという条件は維持される。例えば、図２０に示されるように、水平線２００１（極大点の接線、基準線）および２００２（極小点の接線、基準線）を平均スペクトルに引き、上限の波長を例えば１３７０±１０ｎｍから１４００±１０ｎｍとして、一方の輝度値が他方の輝度値よりも常に高くなるような２つの波長域を決定する。すると、９００±１０ｎｍから１１６１±１０ｎｍの波長域および１１６２±１０ｎｍから１３３±１０８ｎｍの波長域をＲＧＢの割り当て波長域として見出すことができる。
【００７８】
よって、ＴＹＰＥ２−ｄによれば、Ｒ値を割り当てる波長域の輝度値の方がＧ値およびＢ値を割り当てる波長域の輝度値よりも高いことが望ましいことを考慮して、例えば、Ｒ値を９００±１０ｎｍから１１６１±１０ｎｍに、Ｇ値およびＢ値を１１６２±１０ｎｍから１３３８±１０ｎｍに割り当てることが好ましい。
【００７９】
（vi）ＴＹＰＥ２−ｆ
図２１は、本実施形態による波長範囲選択例（ＴＹＰＥ２−ｆ）を示す図である。ＴＹＰＥ２−ｆは、例えば、水のスペクトルと油（植物油）のスペクトルとの平均スペクトル（点線グラフ）から波長範囲を決定する例に関する。
【００８０】
ＴＹＰＥ２−ｆでは、水のスペクトル（実線グラフ）と油のスペクトル（破線グラフ）とから平均スペクトル（点線グラフ）が演算され、当該平均スペクトルにおいて、輝度値が常に他の領域よりも高くなる領域を決定し、その波長域にＲを割り当てることとする。この場合、Ｒ値が割り当てられる波長域がＧ値およびＢ値が割り当てられる波長域よりも短波長側にあるという条件は維持される。例えば、図２１に示されるように、水平線２１０１（極大点の接線、基準線）および２１０２（極小点の接線、基準線）を平均スペクトルに引き、上限の波長を例えば１３７０±１０ｎｍから１４００±１０ｎｍとして、一方の輝度値が他方の輝度値よりも常に高くなるような２つの波長域を決定する。すると、例えば、９００±１０ｎｍから１１４７±１０ｎｍの波長域および１１４８±１０ｎｍから１３９３±１０ｎｍの波長域をＲＧＢの割り当て波長域として見出すことができる。
【００８１】
よって、ＴＹＰＥ１−ｆによれば、Ｒ値を割り当てる波長域の輝度値の方がＧ値およびＢ値を割り当てる波長域の輝度値よりも高いことが望ましいことを考慮して、例えば、Ｒ値を９００±１０ｎｍから１１４７±１０ｎｍに、Ｇ値およびＢ値を１１４８±１０ｎｍから１３９３±１０ｎｍに割り当てることが好ましい。
【００８２】
＜疑似カラー画像の実施例＞
上述のＴＹＰＥ１およびＴＹＰＥ２のそれぞれの波長範囲に入る各波長を用いて生成した疑似カラー画像の実施例をいくつか示す。以下では、実施例１（図２２）から実施例８（図２９）まで示され、何れも本実施形態による手法に基づいて生成された疑似カラー画像の実施例を示している。なお、図２２から図２９の上段は、比較のための可視光画像（肉眼像）を示している。また、実施例１から実施例８では、例えば、豚の胃＆膵臓、腎臓、腸間膜＆リンパ節、および肝臓のそれぞれについて、実際に生成した疑似カラー画像が示されている。
【００８３】
（i）実施例１：ＴＹＰＥ１の波長範囲に入る波長の組み合わせの例１
図２２は、本実施形態による手法に基づいて生成された疑似カラー画像の実施例１を示す写真である。
実施例１では、Ｒ値を割り当てる画像データを取得するのに用いた波長は１０７０ｎｍ、Ｇ値を割り当てる画像データを取得するのに用いた波長は１０００ｎｍ、Ｂ値を割り当てる画像データを取得するのに用いた波長は９７０ｎｍとなっている。
実施例１（図２２）の各疑似カラー画像を見ても分かる通り、全体として非常に再現性が良い（見た目の印象が肉眼像に近い）ことが分かる。
【００８４】
（ii）実施例２：ＴＹＰＥ１の波長範囲に入る波長の組み合わせの例２
図２３は、本実施形態による手法に基づいて生成された疑似カラー画像の実施例３を示す写真である。
実施例２では、Ｒ値を割り当てる画像データを取得するのに用いた波長は１０３０ｎｍ、Ｇ値を割り当てる画像データを取得するのに用いた波長は９８０ｎｍ、Ｂ値を割り当てる画像データを取得するのに用いた波長は１０００ｎｍとなっている。
実施例２（図２３）の各疑似カラー画像を見ると、胃＆膵臓については実施例１よりも暗い画像となっており、腸間膜＆リンパ節に関しては実際よりも多少暗い画像となっているが、他の臓器に関しては、非常に再現性が良い（見た目の印象が肉眼像に近い）ことが分かる。
【００８５】
（iii）実施例３：ＴＹＰＥ１の波長範囲に入る波長の組み合わせの例３
図２４は、本実施形態による手法に基づいて生成された疑似カラー画像の実施例３を示す写真である。
実施例３では、Ｒ値を割り当てる画像データを取得するのに用いた波長は１１２０ｎｍ、Ｇ値を割り当てる画像データを取得するのに用いた波長は９８０ｎｍ、Ｂ値を割り当てる画像データを取得するのに用いた波長は９８０ｎｍとなっている。
実施例３（図２４）の各疑似カラー画像を見ると、実施例２と同様に、胃＆膵臓については実施例１よりも暗い画像となっているが、他の臓器に関しては非常に再現性が良い（見た目の印象が肉眼像に近い）ことが分かる。
【００８６】
（iv）実施例４：ＴＹＰＥ２の波長範囲に入る波長の組み合わせの例１
図２５は、本実施形態による手法に基づいて生成された疑似カラー画像の実施例４を示す写真である。
実施例４では、Ｒ値を割り当てる画像データを取得するのに用いた波長は９７０ｎｍ、Ｇ値を割り当てる画像データを取得するのに用いた波長は１１６０ｎｍ、Ｂ値を割り当てる画像データを取得するのに用いた波長は１３００ｎｍとなっている。
実施例４（図２５）の各疑似カラー画像を見ると、胃＆膵臓については実施例１よりも赤味が強い画像となっているが、他の臓器に関しては非常に再現性が良い（見た目の印象が肉眼像に近い）ことが分かる。
【００８７】
（v）実施例５：ＴＹＰＥ２の波長範囲に入る波長の組み合わせの例２
図２６は、本実施形態による手法に基づいて生成された疑似カラー画像の実施例５を示す写真である。
実施例５では、Ｒ値を割り当てる画像データを取得するのに用いた波長は１０７０ｎｍ、Ｇ値を割り当てる画像データを取得するのに用いた波長は１２５０ｎｍ、Ｂ値を割り当てる画像データを取得するのに用いた波長は１３００ｎｍとなっている。
実施例５（図２６）の各疑似カラー画像を見ると、全体的に赤味が強めの画像となっているが、各臓器の再現性に特に問題はない。特に、肝臓に関しては非常に再現性が良い（見た目の印象が肉眼像に近い）ことが分かる。
【００８８】
（vi）実施例６：ＴＹＰＥ２の波長範囲に入る波長の組み合わせの例３
図２７は、本実施形態による手法に基づいて生成された疑似カラー画像の実施例６を示す写真である。
実施例６では、Ｒ値を割り当てる画像データを取得するのに用いた波長は１０７０ｎｍ、Ｇ値を割り当てる画像データを取得するのに用いた波長は１３００ｎｍ、Ｂ値を割り当てる画像データを取得するのに用いた波長は１２００ｎｍとなっている。
実施例６（図２７）の各疑似カラー画像を見ると、全体的に赤味が強く、脂肪組織は黄味が他の実施例よりも強い画像となっている。
【００８９】
（vii）実施例７：ＴＹＰＥ２の波長範囲に入る波長の組み合わせの例４
図２８は、本実施形態による手法に基づいて生成された疑似カラー画像の実施例７を示す写真である。
実施例７では、Ｒ値を割り当てる画像データを取得するのに用いた波長は１０７０ｎｍ、Ｇ値を割り当てる画像データを取得するのに用いた波長は１１６０ｎｍ、Ｂ値を割り当てる画像データを取得するのに用いた波長は１３００ｎｍとなっている。
実施例７（図２８）の各疑似カラー画像を見ると、全体的に赤味が強めの画像となっているが、各臓器の再現性は非常に良い（見た目の印象が肉眼像に近い）。特に、肝臓に関しては可視光画像の色味に非常に近い画像が得られている。
【００９０】
（viii）実施例８：ＴＹＰＥ２の波長範囲に入る波長の組み合わせの例５
図２９は、本実施形態による手法に基づいて生成された疑似カラー画像の実施例８を示す写真である。
実施例８では、Ｒ値を割り当てる画像データを取得するのに用いた波長は１１６０ｎｍ、Ｇ値を割り当てる画像データを取得するのに用いた波長は１３３０ｎｍ、Ｂ値を割り当てる画像データを取得するのに用いた波長は１３７０ｎｍとなっている。
実施例８（図２９）の各疑似カラー画像を見ると、全体的に茶味が強めの画像となっている。
【００９１】
（ix）実施例のまとめ
以上の実施例を比較検討する。ただし、以下に述べることは、特定の者（例えば、発明者）の主観に基づく評価であり、嗜好性や感性などは人によって異なるため、固定的な評価ではなく、単なる一例としての評価であることに留意すべきである。
【００９２】
実施例１（ＴＹＰＥ１の例１）は、肝臓の疑似カラー画像を見たときに他の実施例（実施例５（ＴＹＰＥ２の例２）および実施例７（ＴＹＰＥ２の例４）は除く）よりも明るく、可視光画像（肉眼像）に最も近いと言えるため、全体としては実施例１が最良の結果であると考えられる。肝臓についてのみ疑似カラー画像を各実施例間で比較すると、実施例５（ＴＹＰＥ２の例２）や実施例７（ＴＹＰＥ２の例４）が最も良好な結果である。また、腸間膜＆リンパ節に関しては、どの実施例も帯びており、良好な結果が得られている。腸間膜は脂肪組織が多いため、白くなりやすいからである。さらに、ＴＹＰＥ２の中で比較すれば、胃に関しては、一般的には実施例５（ＴＹＰＥ２の例２）や実施例７（ＴＹＰＥ２の例４）が良いと判断できる。ただし、脂肪組織が黄色く強調したいという場合には、実施例６（ＴＹＰＥ２の例３）が良好な結果と言うこともできる。
【００９３】
以上のように、全ての臓器について疑似カラー画像を生成するにも完全に適合した波長の組み合わせはなく、手術野に含まれる臓器の種類、あるいは手術の対象となる臓器の種類に応じて、波長の組み合わせを変えることにより、肉眼像に近く違和感のない疑似カラー画像を生成することができるようになる。また、オペレータ（医師など）の好みに応じて波長の組み合わせを変更することによって、疑似カラー画像の色味を適宜調整することも可能である。
【００９４】
＜凹凸形状の検出処理：疑似カラー画像の適用例１＞
従来、例えば、内視鏡などの検査において、食道や胃の粘膜に生じた病変部（腫瘍）を可視化するために、インジゴカルミンを散布する方法が用いられていた。これは、色素であるインジゴカルミンが内壁の窪みに入り込むことで凹凸が強調され病変部を判別し易くするものである。
【００９５】
しかし、インジゴカルミンを用いると嘔吐等の副作用が生じたり、粘膜が着色したりする問題があった。
そこで、本実施形態は、さらに、インジゴカルミン等の着色料を用いることなく、病変部の凹凸を強調する凹凸強調画像を生成し、当該凹凸強調画像を上述の疑似カラー画像や単波長画像に重畳することについて開示する。以下、凹凸形状検出処理および疑似カラー画像等への重畳処理の概要について説明する。
【００９６】
図３０は、本実施形態による臓器表面（一例）上の凹凸形状を検出し、当該凹凸形状を強調する凹凸強調画像を生成する処理、および生成した凹凸強調画像を疑似カラー画像あるいは単波長画像に重畳する処理の概要を示す写真である。
本実施形態では、凹凸形状を検出する際には、例えば、サンプルから反射されてきた光のうち０次光（正反射光）を検出する。通常、正反射光はなるべく抑制して散乱光のみを用いて画像を生成するようにするが、正反射光は凹凸がある箇所で発生することが多いことから本実施形態ではむしろこの性質を積極的に利用している。言い換えれば、サンプルにおいて正反射を発生させている箇所は凹凸があり、そこに病変部が存在している可能性があると言える。
【００９７】
サンプル表面の凹凸形状を検出するとき、まず、例えば撮像システム１を用いて、任意の波長の赤外光をサンプル表面に照射する。なお、正反射光は波長依存性がないため、偏光板に対する入射角度が同じであれば、赤外光の波長に依存せず結果は同じである。そして、偏光角が同一の偏光板対（ＰあるいはＳ、どちらでもよいが反射率の大きいＳ偏光板の方が良い）を用いて、サンプルからの反射光を全て透過させる。このときの画像（全光透過画像データ）が図３０（ａ）に示される画像である。一方、クロスニコル構成の偏光板（偏光角の反転が９０度の偏光板対：ＰあるいはＳ、どちらでもよいが反射率の大きいＳ偏光板の方が良い）を用いて、サンプルからの反射光のうち正反射光を除去し、多重散乱光（偏光角は変化している）を透過させる。このときの画像が図３０（ｂ）で示される画像（多重反射光透過画像データ）である。そして、全光透過画像データから多重反射光透過データを差し引くことにより、正反射光画像データ（図３０（ｃ）参照）が生成される。なお、ここでは差分を用いて正反射光画像データを算出したが、全光透過画像データを多重反射光透過画像データで除算することにより正反射光画像データを取得してもよい。図３０では、正反射光画像データ（凹凸形状）は緑で表現されているが、オペレータ（医師など）は、入力装置４０を用いて、色を指定することにより、凹凸形状の色を適宜変更することができるようにしてもよい。
次に、例えば、撮像システム１では、上述の手法で生成した、サンプルの疑似カラー画像に正反射光画像データ（凹凸強調画像データ）が重畳され、合成疑似カラー画像が生成される（図３０（ｄ）参照）。また、例えば、撮像システム１では、任意の単波長の赤外光をサンプルに照射して得られる、サンプルの単波長画像に正反射光画像データ（凹凸強調画像データ）が重畳され、合成疑似カラー画像が生成される（図３０（ｅ）参照）。
【００９８】
以上のように、サンプルの正反射光画像（凹凸画像）を同一サンプル疑似カラー画像に重畳することにより、サンプル表面上の凹凸を強調して表示することができるようになる。例えば、内視鏡検査中に消化管の内表面の生じた病変部の凹凸を疑似カラー画像上で強調して表示したり、肝臓の手術中に肝臓の線維化（肝硬変）した部分の凹凸を疑似カラー画像上で強調して表示したりすることができるようになる。本実施形態では、赤外光カメラで取得した画像データのみを用いて、サンプルの疑似カラー画像および強調画像（凹凸強調画像）を生成するので、別途可視光カメラを用意する必要が無く、取得画像の位置ずれ補正も必要なくなるため、システムのコストを低減することができる。
【００９９】
＜ＧＵＩの構成例＞
図３１は、本実施形態の撮像システム１で用いられるＧＵＩ（Graphical User Interface）の構成例を示す図である。
【０１００】
ＧＵＩ３１００は、例えば、各光源について個別に波長設定を行うことを選択する個別波長設定部３１０１と、照射する赤外光の波長帯域（ただし、この場合、スペクトルデータは、例えば、５ｎｍの波長間隔で取得される）の設定を選択する連続波長設定部３１０２と、サンプルに照射してスペクトルデータを取得し、ＲＧＢの各値を割り当てる、赤外光の波長を設定するＲＧＢ割当波長設定部３１０３と、サンプルの表面上の凹凸形状を検出する処理の実行の有無を設定する凹凸形状検出設定部３１０４と、ｋ個（ｋ＝１からｎ）の光源から射出させる赤外光の波長を設定する個別波長設定領域３１０５から３１０９と、照射する赤外光の波長帯域を設定する波長帯域設定領域３１１０と、Ｒ値を割り当てる波長を設定するＲ値割当波長設定領域３１１１と、Ｇ値を割り当てる波長を設定するＧ値割当波長設定領域３１１２と、Ｂ値を割り当てる波長を設定するＢ値割当波長設定領域３１１３と、凹凸形状検出処理を実行する場合に凹凸強調画像を重畳する画像の対象を選択する重畳画像選択部３１１４（本実施形態では、例えば、重畳対象として疑似カラー画像あるいは単波長画像を選択することができる）と、設定結果を保存する保存ボタン３１１５と、波長設定ＧＵＩを閉じるための終了ボタン３１１６と、を備えている。これらのＧＵＩ構成要素に加えて、「明るさ／コントラスト」や「ガンマ値」などを調整可能とするパラメータ調整部をＧＵＩとして表示装置に表示してもよい。
【０１０１】
個別波長設定部３１０１と連続波長設定部３１０２とは択一的に用いられ、例えば、ラジオボタンによってどちらか一方の設定部を選択可能に構成されている。例えば、オペレータ（医師など）は、入力装置４０を操作して、個別波長設定部３１０１が選択した後、赤外光源部２０に含まれるｋ個の赤外光源２１から２２の各波長を入力することができる。あるいは、例えば、オペレータ（医師など）が入力装置４０を操作して、個別波長設定部３１０１を選択すると、制御部１０１が自動的に各赤外光源の波長を自動的に入力してもよい。また、例えば、オペレータ（医師など）は、入力装置４０を操作して連続波長設定部３１０２を選択した後、赤外光源部２０から射出される光のうち強調画像生成部１０１２において強調画像生成に使用する赤外光の波長帯域の値を入力することができる。あるいは、例えば、オペレータ（医師など）が入力装置４０を操作して、連続波長設定部３１０２を選択すると、制御部１０１が自動的に赤外光の波長帯域の値を自動的に入力してもよい。
【０１０２】
例えば、オペレータ（医師など）が入力装置４０を用いて、個別波長設定部３１０１あるいは連続波長設定部３１０２のどちらを選択した場合、ＲＧＢ割当波長設定部３１０３の各領域３１１１から３１１３に各波長を入力することができるようになる。例えば、個別波長設定部３１０１が選択された場合、オペレータ（医師など）は、光源１からｎまでの何れかの光源の波長が各割当波長設定領域３１１１から３１１３に入力することになる。一方、例えば、連続波長設定部３１０２が選択された場合、オペレータは、設定された波長帯域３１１０の値の範囲内で、各波長を各割当波長設定領域３１１１から３１１３に入力することになる。また、例えば、ＲＧＢ割当波長設定部３１０３のＲＧＢの各値割当波長設定領域３１１１から３１１３には、記憶部１０２に格納された波長の組み合わせ（例えば、ＴＹＰＥ１およびＴＹＰＥ２の何れかの波長の組み合わせが予め指定されている）が自動的に入力されるようにしてもよい。
【０１０３】
凹凸形状検出設定部３１０４は、オペレータ（医師など）によって任意に選択することができる。例えば、凹凸形状検出処理の実行を希望する場合には、オペレータ（医師など）は、凹凸形状検出設定部３１０４のラジオボタンに選択済（チェックを入力）にする。すると、重畳画像選択部３１１４が有効となり、例えば、疑似カラー画像への重畳あるいは単波長画像への重畳のいずれかが選択可能になる。
【０１０４】
制御部１０１は、例えば、光照射制御部１０１１（プログラム）に基づいて、ＧＵＩ３１００で設定された各光源の波長の値を読み込み、赤外光源部２０の駆動部（図示せず）に印加する電圧と各光源が射出（放射）する光の波長とを駆動部に伝達する。当該駆動部は、制御部１０１の制御の下、赤外光源２１及び２２に電圧を印加し、光を射出（放射）させる。また、制御部１０１は、例えば、赤外光源２２が各波長の光を射出（放射）するタイミングと光の射出（放射）時間を赤外光源部２０の駆動部（図示せず）に送信し、赤外光源２２から複数の波長の光が周期的に射出（放射）されるように赤外光源部２０を制御する。
【０１０５】
制御部１０１は、Ｒ値割当波長で設定された波長の赤外光をサンプルに照射して得られる反射光（散乱光を含む）、Ｇ値割当波長で設定された波長の赤外光をサンプルに照射して得られる反射光（散乱光を含む）、およびＢ値割当波長で設定された波長の赤外光をサンプルに照射して得られる反射光（散乱光を含む）を取得するように、第２撮像デバイス３２（例えば、赤外光カメラあるいはハイパースペクトルカメラ）を制御する。そして、上述したように、画像生成部１０１３は、例えば、取得した各波長に対応するスペクトルデータにＲＧＢを割り当てて疑似カラー画像を生成し、記憶部１０２に格納する。また、画像生成部１０１３は、例えば、取得した各波長に対応するスペクトルデータのそれぞれを単波長画像として記憶部１０２に格納する。
【０１０６】
なお、本実施形態では、撮像システム１は、複数の単波長の赤外光を照射する光源を複数個設け、切り替えてサンプルに照射するが、例えば、特定の波長帯域の赤外光を射出する光源から当該帯域幅の赤外光を射出させ、フィルタによって所望の波長の赤外光を選択的に抽出してサンプルに照射するようにしてもよい。あるいは、撮影光学系の光路中に特定の波長帯域の赤外光を通過させるフィルター（バンドパスフィルタ―等）を配置してもよい。また、上記のＧＵＩ３１００は、個別波長設定部３１０１と連続波長設定部３１０２とを同時に表示させてもよいし、個別波長設定部３１０１と連続波長設定部３１０２とを初期設定に基づき別々に表示させるようにしてもよい。
【０１０７】
＜強調画像と疑似カラー画像との重畳画像の生成：疑似カラー画像の適用例２＞
例えば、手術中や処置等の医療行為中などにおいて、生体表面（組織表面や臓器表面あるいは断面）に体液が流出又は付着した場合等に、生体表面における体液の分布や流出原（又は付着源）を判別したいという等の要請がある。ところが、例えば、可視光（肉眼など）では判別し難い体液が流出・付着しているときなどには、その体液の分布や流出源などを判別することが難しい場合がある。そこで、本実施形態は、疑似カラー画像の適用例として、例えば、サンプル表面に存在する体液の強調画像を生成し、それを臓器の疑似カラー画像に重畳することにより、体液の分布や流出源などを容易に判別できるようにする技術についても開示する。以下、疑似カラー画像の適用例としての、強調画像と疑似カラー画像との重畳画像の生成処理の概要について説明する。
【０１０８】
（i）図３２は、本実施形態による、サンプル（一例として観察対象の肝臓）の表面の漏液（一例として胆汁）の強調画像と、サンプルの疑似カラー画像と、それらの重畳画像と、を示す写真である。まず、サンプル（肝臓）表面に存在する漏液（胆汁）の強調画像を生成する場合、例えば撮像システム１を用いて、任意の波長の赤外光をサンプル表面に照射する。本実施形態では、撮像システム１は、例えば、胆汁を肝臓表面に滴下する前と胆汁を肝臓表面に滴下した後のそれぞれにおいて、波長が１０７０ｎｍの赤外光と、波長が１４５０ｎｍの赤外光とを別々のタイミングでサンプル表面に照射し、それぞれの波長の赤外光に対応する赤外光画像を取得する。そして、撮像システム１は、胆汁を滴下した後の肝臓表面の各波長に対応する赤外光画像の各画素について、１０７０ｎｍの赤外光画像の画素値を１４５０ｎｍの赤外光画像の画素値で除算することにより、Post＠1070nm/1450nmの値を算出する。また、撮像システム１は、胆汁を滴下する前の肝臓表面の各波長に対応する赤外光画像の各画素について、１０７０ｎｍの赤外光画像の画素値を１４５０ｎｍの赤外光画像の画素値で除算することにより、Pre＠1070nm/1450nmの値を算出する。そして、撮像システム１は、各画素について、Post＠1070nm/1450nm-Pre＠1070nm/1450nmを演算し、それぞれの値を強調画像の各画素の値とする。このようにして得られる強調画像が、図３２（ａ）に示されている。一方、上述の手法（図４参照）を用いて生成された生成されたサンプル（肝臓）の疑似カラー画像が図３２（ｂ）に示されている。当該疑似カラー画像は、例えば、１０７０ｎｍの赤外光を照射して得られる赤外光画像には赤の色調（この場合、Ｒ）を割り当て、該赤の色調を基準にして１１６０ｎｍの赤外光を照射して得られる赤外光画像には緑の色調（この場合、Ｇ）を割り当て、１３００ｎｍの赤外光を照射して得られる赤外光画像には青の色調（この場合、Ｂ）を割り当てることによって生成された画像である。そして、撮像システム１は、漏液強調画像（図３２（ａ））を疑似カラー画像（図３２（ｂ））に重畳し、重畳画像（図３２（ｃ）参照）を生成する。なお、ここでは、Post＠1070nm/1450nm-Pre＠1070nm/1450nmを演算して漏液の強調画像を生成しているが、後述のように（図３３参照）、１０７０ｎｍの赤外光画像の画素値を１４５０ｎｍの赤外光画像の画素値で除算することにより強調画像を生成するようにしてもよい。
【０１０９】
（ii）図３３は、本実施形態による、サンプル（一例として観察対象の腸間膜＋リンパ節）におけるリンパ節の強調画像と、サンプルの疑似カラー画像と、それらの重畳画像と、を示す写真である。まず、サンプル（腸間膜）に含まれるリンパ節（水分を多く含む）の強調画像を生成する場合、例えば撮像システム１を用いて、任意の波長の赤外光をサンプル表面に照射する。本実施形態では、撮像システム１は、例えば、サンプルに対して、波長が１０７０ｎｍの赤外光と、波長が１４５０ｎｍの赤外光とを別々のタイミングで照射し、それぞれの波長の赤外光に対応する赤外光画像を取得する。そして、撮像システム１は、各波長に対応する赤外光画像の各画素について、１０７０ｎｍの赤外光画像の画素値を１４５０ｎｍの赤外光画像の画素値で除算することにより、強調画像を生成する。このようにして得られる強調画像が、図３３（ａ）に示されている。一方、上述の手法（図４参照）を用いて生成された生成されたサンプル（腸間膜＋リンパ節）の疑似カラー画像が図３３（ｂ）に示されている。当該疑似カラー画像は、例えば、１０７０ｎｍの赤外光を照射して得られる赤外光画像にはＲを割り当て、１１６０ｎｍの赤外光を照射して得られる赤外光画像にはＧを割り当て、１３００ｎｍの赤外光を照射して得られる赤外光画像にはＢを割り当てることによって生成された画像である。そして、撮像システム１は、強調画像（図３３（ａ））を疑似カラー画像（図３３（ｂ））に重畳し、重畳画像（図３３（ｃ）参照）を生成する。
【０１１０】
（iii）以上のように、強調画像を重畳する対象のサンプル画像を可視光画像ではなく、疑似カラー画像を用いて重畳画像を生成している。疑似カラー画像と強調画像とは、同一の赤外光カメラを用いて生成しているため、強調画像の重畳対象を可視光画像とする場合とは異なり、画像取得の際の撮像軸（光軸）を同一とすることができるため、取得画像の位置ずれを補正する必要がない。また、赤外光カメラとは別途可視光カメラを用意する必要もなくなる。これにより、システムのコストを低減することができる。
【０１１１】
＜その他の実施形態＞
（i）赤外光カメラでサンプルを撮像すると、取得した画像データに基づいてサンプルにおける特徴的な画像（例えば、病変部を特定する強調画像など）を生成することができる。しかし、このような特徴的な画像はスペクトルデータ（輝度値）で構成されるため、可視光画像のようなカラー画像ではない。一方、例えば、カラー画像をモニタに表示したい場合、従来は、赤外光カメラとは別に可視光カメラを設け、赤外光カメラで取得したデータから生成した特徴的な画像を可視光カメラで取得した可視光カラー画像に重畳して表示していた。しかし、この場合、可視光カラー画像と特徴的な画像とを重畳するときに位置合わせが必要であったり、位置合わせを不要とするために可視光カメラと赤外光カメラとの撮像軸（光軸）を一致させる光学系を設けなければならなかったりと、撮像システムにさらなる工夫が必要となってくる。このような工夫は撮像システムの製造コストアップにつながってしまう。
【０１１２】
そこで、本実施形態では、赤外光カメラで取得した画像データを用いて、サンプルの特徴的な画像とサンプルの疑似カラー画像とを生成して両者を重畳し、合成画像を生成することにより、赤外光カメラとは別に可視光カメラを設けることの不都合を解消している。
【０１１３】
上述の各実施形態では、１つの撮像システム（手術支援システム）１において、赤外光照射処理から重畳画像表示処理まで全ての処理が実行されているが、例えば、撮像システム１の機能の少なくとも一部を別の装置（撮像装置）で実行するように構成しても良い。例えば、それぞれ異なる波長値を有する複数の赤外光をサンプルに照射し、波長値に対応して複数の測定結果を取得する光検出部と、複数の測定結果のそれぞれに異なる色情報を割り当てて、サンプルの疑似カラー画像を生成する制御部と、を撮像装置として構成することができる。このような構成を採ることにより、サンプル（例えば、生体において手術野として露出されている部位）におけるカラー画像をスペクトルデータから疑似的に生成することができ、それにサンプルの特徴的な画像（例えば、スペクトルデータから生成された強調画像）を重畳して表示装置の画面上に表示することができるようになる。このため、安価に撮像装置を構成することができると共に、オペレータ（例えば、医師など）は、疑似カラー画像により、まるで可視光カラー画像を確認するかのように、手術を実施することができるようになる。
【０１１４】
本実施形態では、光検出部（撮像部）が、複数種類の波長の赤外光（互いに波長が異なる、複数種類の単波長の赤外光あるいは所定の波長帯域を有する赤外光）をサンプルに照射して得られる複数の測定結果（複数の検出結果）を取得し（例えば、前者の場合、光検出部は単波長赤外光カメラで構成され、後者の場合、光検出部はハイパースペクトルカメラで構成される）、制御部が、複数の測定結果（例、画素ごとの輝度値）から、疑似カラー画像を生成するようにしてもよい。例えば、ハイパースペクトルカメラを用いる場合には、複数の測定結果に基づき、上記波長帯域における複数の波長値（例えば、３つの波長値）に対応するスペクトルデータを用いて疑似カラー画像が生成される。そして、複数の特徴的な画像（サンプルの強調画像）を生成する場合、制御部は、疑似カラー画像上に当該複数の強調画像を切り替えながら重畳して表示したり、当該複数の強調画像の平均を取った画像を疑似カラー画像上に重畳して表示したりするようにしてもよい。このようにすることにより、サンプルの疑似カラー画像を生成し、その疑似カラー画像に強調画像が重畳された合成画像を、画像の位置合わせなしに生成することができるので、画像の合成処理が容易であるとともに、撮像装置における光学系の構成も簡素化することが可能となる。よって、撮像装置の製造コストを廉価にすることが可能となる。
【０１１５】
本実施形態では、疑似カラー画像を生成する場合、制御部は、互いに波長が異なる複数の赤外光（例、３以上の赤外光、第１波長から第３波長の赤外光）をサンプルに照射して得られた複数の測定結果に、異なる色情報（例えば、ＲＧＢの色空間における各色情報）をそれぞれ割り当てる。この際、制御部は、サンプルの観察対象（例、サンプルの特定部位（観察対象）、又はその部位に対応する画素）における複数の測定結果（例、３つ以上の輝度値）のうち、相対的に一番高い輝度値（光強度）を有する第１測定結果（例、反射率が大きい領域（例、画素）、第１波長の赤外光による輝度値）に赤系統の色情報（例えば、Ｒ値）を割り当て、当該第１測定結果以外の測定結果（例、第２測定結果、第３測定結果）に、赤系統以外の色情報（例えば、Ｇ値やＢ値）を割り当てて、それらの割り当てた結果（例、画像、輝度値データ）を位置（観察対象）毎（例、画素ごと）に合成することにより、サンプルの疑似カラー画像を生成する。Ｒ値を一番高い輝度を示す測定結果に割り当てることにより、自然な色味を出すことができ、サンプルの可視光画像（肉眼像）に非常に近い疑似カラー画像を生成することができるようになる。なお、上記のような色調の割り当てにおいて、制御部は、割り当てられるＲ値（又はＧ値やＢ値）を赤の色調の範囲内において調整できる。
【０１１６】
サンプルに照射される赤外光の波長の組み合わせは、例えば、記憶部に予め格納され、該当する組み合わせが適宜記憶部から読み出されて使用される。制御部は、当該波長の組み合わせに基づいて、光源から対応する波長の赤外光（例えば、単波長の赤外光を検出する撮像デバイス（赤外光カメラ）を用いる場合）、あるいは対応する波長を含む波長帯域を有する赤外光（例えば、ハイパースペクトルカメラを用いる場合）が出射されるように光源を制御する。なお、波長の組み合わせは、例えば、サンプルの種類（疑似カラー画像を生成する対象の臓器の種類）によって異なっている。
疑似カラー画像を生成する際に、色情報として、ＲＧＢ空間の色情報を用いる場合、制御部は、波長値に対応した複数の測定結果のそれぞれにおいて、対応する位置における画素の輝度値に応じて、ＲＧＢの混合割合を決定し、各画素の色を決定する。このようにすることにより、疑似カラー画像における各画素の色を肉眼像における各画素の色に近づけることができるようになる。
【０１１７】
本実施形態において、上述のＴＹＰＥ１からは、Ｒ値を割り当てる測定結果を取得するための波長値が１０３１ｎｍから１１３０ｎｍの中から選択され、Ｇ値およびＢ値を割り当てる測定結果を取得するための波長値が９４０ｎｍから１０４８ｎｍの中から選択されると好ましいことが分かる。ただし、Ｒ値を割り当てる測定結果を取得するための波長は、Ｇ値およびＢ値を割り当てる測定結果を取得するための波長よりも長いことが条件となる。一方、ＴＹＰＥ２からは、Ｒ値を割り当てる測定結果を取得するための波長値が９００ｎｍから１１６７ｎｍの中から選択され、Ｇ値およびＢ値を割り当てる測定結果を取得するための波長値が１１４８ｎｍから１３９３ｎｍの中から選択されると好ましいことが分かる。ただし、Ｒ値を割り当てる測定結果を取得するための波長は、Ｇ値およびＢ値を割り当てる測定結果を取得するための波長よりも短いことが条件となる。
【０１１８】
本実施形態では、赤外光をサンプルに照射し、サンプルからの放射してきた光（反射光＋散乱光）のうち撮像部で検出する赤外光の波長の組み合わせが記憶部から読み出されるようにしているが、この形態に限定されるわけではない。例えば、患者の身体（手術箇所）を切開してみて、その特性に合う波長の組み合わせを選択するようにしてもよい。例えば、ハイパースペクトルカメラなどで脂肪組織や脂肪組織以外の部位を撮像し、それら特性を取得する。そして、制御部が上述のＴＹＰＥ１あるいはＴＹＰＥ２で説明した波長決定の演算を実行するようにしてもよい。また、患者の身体を切開してみて、例えば、当該患者の脂肪組織の色をオペレータ（医師など）が目視でチェックし、見た目の印象が肉眼像に近い色を疑似化カラーで表現できる組み合わせを予め用意された組み合わせの中から選択して用いることができるようにしてもよい。
【０１１９】
（iii）本実施形態の機能は、ソフトウェアのプログラムコードによっても実現することが可能である。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本実施形態を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
【０１２０】
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現されるようにしてもよい。
【０１２１】
さらに、実施形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
【０１２２】
ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【０１２３】
本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。
【符号の説明】
【０１２４】
１  撮像システム
１０  制御装置
２０  赤外光源部
２１  赤外光源
２２  赤外光源
３０  撮像部
３１  第１撮像デバイス
３２  第２撮像デバイス
４０  入力装置
５０  表示装置
５１  モニタ１
５２  モニタ２
６０  手術用無影灯
８０  生体
１０１  制御部
１０１１  光照射制御部
１０１２  強調画像生成部
１０１３  画像生成部
１０１４  画像補正部
１０２  記憶部
１０２１  ＲＧＢ割当用テーブル
【図１】
2019128295.tif 000003
【図２Ａ】
2019128295.tif 000004
【図２Ｂ】
2019128295.tif 000005
【図３Ａ】
2019128295.tif 000006
【図３Ｂ】
2019128295.tif 000007
【図４】
2019128295.tif 000008
【図５】
2019128295.tif 000009
【図６】
2019128295.tif 000010
【図７】
2019128295.tif 000011
【図８】
2019128295.tif 000012
【図９】
2019128295.tif 000013
【図１０】
2019128295.tif 000014
【図１１】
2019128295.tif 000015
【図１２】
2019128295.tif 000016
【図１３】
2019128295.tif 000017
【図１４】
2019128295.tif 000018
【図１５】
2019128295.tif 000019
【図１６】
2019128295.tif 000020
【図１７】
2019128295.tif 000021
【図１８】
2019128295.tif 000022
【図１９】
2019128295.tif 000023
【図２０】
2019128295.tif 000024
【図２１】
2019128295.tif 000025
【図２２】
2019128295.tif 000026
【図２３】
2019128295.tif 000027
【図２４】
2019128295.tif 000028
【図２５】
2019128295.tif 000029
【図２６】
2019128295.tif 000030
【図２７】
2019128295.tif 000031
【図２８】
2019128295.tif 000032
【図２９】
2019128295.tif 000033
【図３０】
2019128295.tif 000034
【図３１】
2019128295.tif 000035
【図３２】
2019128295.tif 000036
【図３３】
2019128295.tif 000037