(57)【要約】【課題】長波長域に受光感度を有するイメージセンサで撮像した場合に、画像の解像度を高める。【解決手段】本開示に係る手術用撮像システムは、可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサと、可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサと、前記第１のイメージセンサで撮像された第１の画像と前記第２のイメージセンサで撮像された第２の画像を表示するための処理を行う信号処理装置と、を備える。【選択図】図１
2019003751.tif 000002
【特許請求の範囲】
【請求項１】
可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサと、
可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサと、
前記第１のイメージセンサで撮像された第１の画像と前記第２のイメージセンサで撮像された第２の画像を表示するための処理を行う信号処理装置と、
を備える、手術用撮像システム。
【請求項２】
前記第１のイメージセンサの解像度は、前記第２のイメージセンサの解像度よりも高い、請求項１に記載の手術用撮像システム。
【請求項３】
前記第１のイメージセンサは、画素毎に配置された所定の色のカラーフィルタを有し、
前記第２のイメージセンサは、前記第１のイメージセンサの前記カラーフィルタの画素位置に対応する画素位置に、前記カラーフィルタと同色のカラーフィルタを有する、請求項１に記載の手術用撮像システム。
【請求項４】
前記所定の色は緑色である、請求項３に記載の手術用撮像システム。
【請求項５】
前記第１のイメージセンサはＳｉからなるイメージセンサであり、３８４０×２１６０ピクセル以上の解像度を有する、請求項１に記載の手術用撮像システム。
【請求項６】
前記第２のイメージセンサはＩｎＧａＡｓからなるイメージセンサである、請求項１に記載の手術用撮像システム。
【請求項７】
前記信号処理装置は、前記第１のイメージセンサの前記カラーフィルタを透過して得られる画素値と、前記第２のイメージセンサの前記カラーフィルタを透過して得られる画素値とに基づいて、前記第１の画像と前記第２の画像を適合する画像適合部を有する、請求項３に記載の手術用撮像システム。
【請求項８】
前記信号処理装置は、前記第２のイメージセンサの前記カラーフィルタが設けられた画素位置において、当該カラーフィルタが配置されていない状態での画素値を算出する穴埋め処理部を有する、請求項３に記載の手術用撮像システム。
【請求項９】
前記信号処理装置は、前記第１の画像と前記第２の画像を合成する合成処理部を有する、請求項１に記載の手術用撮像システム。
【請求項１０】
前記信号処理装置は、前記第１の画像に基づいて前記第２の画像を高画質化する高画質化処理部を有する、請求項１に記載の手術用撮像システム。
【請求項１１】
前記信号処理装置は、前記第２の画像から特定の領域を抽出する画像抽出部を有する、請求項１に記載の手術用撮像システム。
【請求項１２】
前記第２のイメージセンサは、所定の波長域の光を透過するフィルタを有し、
前記画像抽出部は、前記フィルタを透過して得られる画素値に基づいて前記特定の領域を抽出する、請求項１１に記載の手術用撮像システム。
【請求項１３】
前記所定の波長域は、１３００ｎｍ以上１４００ｎｍ以下の波長域である、請求項１２に記載の手術用撮像システム。
【請求項１４】
前記信号処理装置は、前記特定の領域に所定の色を付与する画像処理部を有する、請求項１１に記載の手術用撮像システム。
【請求項１５】
前記所定の色は緑色又は青色である、請求項１４に記載の手術用撮像システム。
【請求項１６】
前記第１のイメージセンサ及び前記第２のイメージセンサは、人体内部の脂肪又は血管を撮像する、請求項１に記載の手術用撮像システム。
【請求項１７】
可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサで撮像された第１の画像と、可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサで撮像された第２の画像と、を合成して表示するための処理を行う、手術用画像の信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、手術用撮像システム及び手術用画像の信号処理装置に関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１には、第１の撮像手段としてＳｉ系のＣＣＤ、ＣＭＯＳカメラ等を用い、第２の撮像手段としてＩｎＧａＡｓカメラ、ゲルマニウムカメラ、ビジコンカメラ等を用い、第２の撮像手段は可視光の波長には感度を有さない構成が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１６２９７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、インジウムガリウム砒素（ＩｎＧａＡｓ）を用いたイメージセンサは、一般的にシリコン系のイメージセンサよりも解像度が低い。このため、上記特許文献に記載された技術では、例えば手術の術部を観察しようとした場合、ＩｎＧａＡｓカメラの解像度が低いため、可視光画像のような解像度の高い画像を得ることは困難である。【０００５】
そこで、長波長域に受光感度を有するイメージセンサで撮像した場合に、画像の解像度を高めることが望まれていた。
【課題を解決するための手段】
【０００６】
本開示によれば、可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサと、可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサと、前記第１のイメージセンサで撮像された第１の画像と前記第２のイメージセンサで撮像された第２の画像を表示するための処理を行う信号処理装置と、を備える、手術用撮像システムが提供される。【０００７】
また、本開示によれば、可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサで撮像された第１の画像と、可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサで撮像された第２の画像と、を合成して表示するための処理を行う、手術用画像の信号処理装置が提供される。
【発明の効果】
【０００８】
本開示によれば、長波長域に受光感度を有するイメージセンサで撮像した場合に、画像の解像度を高めることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【０００９】
【図１】本開示の一実施形態に係るシステムの構成を示すブロック図である。
【図２】ＳｉイメージセンサとＩｎＧａＡｓイメージセンサの分光感度特性を示す特性図である。
【図３】ＳｉイメージセンサとＩｎＧａＡｓイメージセンサのセンサ画素数の例を示す模式図である。
【図４Ａ】画素毎にＲＧＢ（赤色（Ｒｅｄ）、緑色（Ｇｒｅｅｎ）、青色（Ｂｌｕｅ））の３色のカラーフィルタのいずれかと組み合わせるベイヤ（Ｂａｙｅｒ）方式を示す模式図である。
【図４Ｂ】ＩｎＧａＡｓイメージセンサにおいて、画素毎に特定波長域を透過する複数のカラーフィルタを適用した例を示す模式図である。
【図４Ｃ】ＩｎＧａＡｓイメージセンサにおいて、画素毎に特定波長域を透過する複数のカラーフィルタを適用した例を示す模式図である。
【図４Ｄ】ＩｎＧａＡｓイメージセンサに赤色のフィルタを適用した例を示している。
【図５】ダイクロイックミラーと組み合わせて、Ｒ、Ｇ、Ｂのそれぞれ専用のＳｉイメージセンサを用いる３板システムを採用した例を示す模式図である。
【図６】生体組織の透過率を示す特性図である。
【図７】ＩｎＧａＡｓイメージセンサに１４００〜１５００ｎｍの波長域を透過するフィルタを組み合わせて撮像して得られた画像と、Ｓｉイメージセンサによる撮像で得られる可視光画像を示す模式図である。
【図８】血管を含む臓器の上を脂肪部が覆っている被写体を撮像した場合に、脂肪部を透過させて血管を認識可能とする例を示す模式図である。
【図９】本実施形態に係るシステムで行われる処理を示すフローチャートである。
【図１０】合成処理部とその周辺の構成を示す模式図である。
【図１１Ａ】撮像装置の光学システムを示す模式図である。
【図１１Ｂ】撮像装置の光学システムを示す模式図である。
【図１１Ｃ】撮像装置の光学システムを示す模式図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１１】
なお、説明は以下の順序で行うものとする。
１．本開示の概要
２．システムの構成例
３．２つのイメージセンサから得られる画像の位置合わせと合成
４．有用情報画像の抽出
５．本実施形態に係る手術用撮像システムで行われる処理
６．光学システムの構成例
【００１２】
１．本開示の概要
人体内部を撮像するために、撮像装置が広く用いられている。しかし、通常の可視光画像のみでは人体内部の臓器などの状態を正確には判断し難いのが実情である。このため、人体内部、例えば深い位置にある血管や脂肪域を視認し易くすることを目的として、近赤外波長域に感度のあるＩｎＧａＡｓイメージセンサを手術用撮像システムに搭載することを想定する。しかしながら、現状、ＩｎＧａＡｓイメージセンサは、従来の可視光画像の撮像で用いられるＳｉイメージセンサと比較して、画素サイズが大きくなり、解像度も低いという課題がある。
【００１３】
そこで、本開示では、ＩｎＧａＡｓイメージセンサの低い解像度を補うために、ＩｎＧａＡｓイメージセンサとＳｉイメージセンサの２つの撮像素子を利用した手術用撮像システムを発案した。本開示に係るＩｎＧａＡｓイメージセンサは、可視光域から近赤外波長域まで連続的な波長域に感度を持つイメージセンサであり、可視域の信号も取得することが可能である。つまり、本開示では、Ｓｉイメージセンサの波長域の最大値λ１ｍａｘと、ＩｎＧａＡｓイメージセンサの波長域の最小値はλ２ｍｉｎが「λ１ｍａｘ＞λ２ｍｉｎ」という関係を満たす。
【００１４】
特に手術用の撮像システムでは、撮像により得られる画像に高い解像度が要求される。本開示によれば、可視光域から近赤外波長域に感度のあるＩｎＧａＡｓイメージセンサを用いた場合に、Ｓｉイメージセンサを組み合わせることで、ＩｎＧａＡｓイメージセンサによる比較的低い解像度を高解像度のＳｉイメージセンサで補うことができる。従って、近赤外波長域の受光感度により上述のような深い位置にある血管や脂肪域を視認し易くするとともに、Ｓｉイメージセンサによる高解像度の画像を得ることができる。また、Ｓｉイメージセンサが撮像する可視光画像の画像情報と、ＩｎＧａＡｓイメージセンサが撮像する可視光画像の画像情報の相関を利用し、ＳｉイメージセンサとＩｎＧａＡｓイメージセンサの双方の画像間の位置合わせが可能となる。更に、Ｓｉイメージセンサが撮像する可視光画像の画像情報と、ＩｎＧａＡｓイメージセンサが撮像する可視光画像及び赤外光画像とを合成することで、双方のセンサから得られる情報を効率良く視認することも可能となる。
【００１５】
２．システムの構成例
図１は、本開示の一実施形態に係る手術用撮像システム１０００の構成を示すブロック図である。この手術用撮像システム１０００は、例えば、人体における血管、脂肪域、蛍光反応(蛍光物質、自家蛍光)などを観察対象としており、例えば内視鏡システム、ビデオ顕微鏡システム等に適用が可能である。図１に示すように、手術用撮像システム１０００は、撮像装置１００、信号処理装置２００、伝送装置３００、表示装置４００を有して構成されている。
【００１６】
撮像装置１００は、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の２つの撮像素子を有している。Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０は、同じ被写体を撮像する。このため、同期信号生成部１３０が生成した同期信号によりＳｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の同期がとられる。同期信号生成部１３０は撮像装置１００に設けられていて良い。撮像の際には、Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０による同時撮像、あるいは時分割によるフレームシーケンシャル撮像を行う。なお、通常はリアルタイムに撮像しながら信号処理と表示を行うが、録画しておいた画像データを再生する際に信号処理と表示を行っても良い。
【００１７】
図２は、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の分光感度特性を示す特性図である。図２に示すように、ＩｎＧａＡｓイメージセンサ１２０は、可視光域から長波長域を含む広帯域な受光感度を有する。より具体的には、ＩｎＧａＡｓイメージセンサ１２０は、３５０ｎｍ〜１５００ｎｍ程度の連続的な波長域に対して感度を有する。一方、Ｓｉイメージセンサ１１０は、可視光域に受光感度を有する。これにより、Ｓｉイメージセンサ１１０により高解像度の可視光画像が取得され、ＩｎＧａＡｓイメージセンサ１２０により可視光画像と赤外光画像が取得される。なお、以下では、可視光画像と赤外光画像を可視光／赤外光画像と称する。また、赤外光画像をＩＲ画像とも称する。
【００１８】
撮像の際に用いる光源として、可視域から近赤外波長域まで広帯域に照射可能な光源を採用することができる。また、近赤外波長域を蛍光観察として用いる場合には、蛍光を励起するための狭波長光源と、可視域の光源の組み合せても良い。
【００１９】
図３は、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０のセンサ画素数の例を示す模式図である。一例としてＳｉイメージセンサ１１０は、３８４０×２１６０ピクセル（ｐｉｘ）の画素を有し、各画素はベイヤ（ｂａｙｅｒ）配列により配列されている。一方、ＩｎＧａＡｓイメージセンサ１２０は、５１２×２５６ピクセル（ｐｉｘ）の画素を有する。ＩｎＧａＡｓイメージセンサ１２０の画素のうち、２０×１０ピクセル（ｐｉｘ）は、Ｓｉイメージセンサ１１０が取得した可視光画素と位置合わせするため、位置合わせ用の可視光画素として構成されている。位置合わせ用の可視光画素については、後述する。なお、Ｓｉイメージセンサ１１０は、４０９６×２１６０ピクセル（ｐｉｘ）の画素を有するものや、４０９６×２１６０ピクセル（ｐｉｘ）以上の高解像度のもの（例えば７６８０×４３２０ピクセル（ｐｉｘ））であっても良い。
【００２０】
図１に示すように、信号処理装置２００は、白色光画像処理部２０２、分離処理部２０４、変形パラメータ生成処理部２０６、ＩＲ画像処理部２１０、合成処理部２２０を有して構成されている。白色光画像処理部２０２は、現像処理部２０２ａと高画質化処理部２０２ｂを有している。また、ＩＲ画像処理部２１０は、穴埋め処理部２１２、高画質化処理部２１４、有用情報画像抽出部（画像抽出部）２１６、有用情報画像処理部２１７、画像変形・拡大処理部（画像適合部）２１８を有している。
【００２１】
３．２つのイメージセンサから得られる画像の位置合わせと合成
１つのＳｉイメージセンサ１１０でカラー画像を撮像する場合には、図４Ａに示すように、画素毎にＲＧＢ（赤色（Ｒｅｄ）、緑色（Ｇｒｅｅｎ）、青色（Ｂｌｕｅ））の３色のカラーフィルタのいずれかと組み合わせるベイヤ（Ｂａｙｅｒ）方式が一般的である。図４Ｂ及び図４Ｃは、ＩｎＧａＡｓイメージセンサ１２０においても、画素毎に特定波長域を透過する複数のカラーフィルタを適用した例を示しており、Ｓｉイメージセンサ１１０で使われる緑（Ｇｒｅｅｎ）用のカラーフィルタをＩｎＧａＡｓイメージセンサ１２０にも適用した例を示している。
【００２２】
ＩｎＧａＡｓイメージセンサ１２０に緑色用のカラーフィルタを適用する際には、Ｓｉイメージセンサ１１０で使われる緑色用のカラーフィルタを、Ｓｉイメージセンサ１１０の緑色用のカラーフィルタと同じ画素位置に適用する。これにより、ＩｎＧａＡｓイメージセンサ１２０により、緑色用のカラーフィルタを透過した光を撮像できる。そして、Ｓｉイメージセンサ１１０の緑色用カラーフィルタを透過した画像と、ＩｎＧａＡｓイメージセンサ１２０の緑色用カラーフィルタを透過した画像を観察すると、同一物体を同じ波長域で観察していることとなる。従って、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の２つのイメージセンサで撮影された画像間の相関を利用することができ、相関に基づいて２つの画像の位置合わせを行うことができる。これは、上述のようにＩｎＧａＡｓイメージセンサ１２０が可視光の波長域にも感度があることで実現可能となる。なお、緑色用のカラーフィルタを配置した画素の画素値に基づいて位置合わせをすることで、他の色のカラーフィルタを用いた場合よりも解像度が高くなるため、位置合わせを精度良く行うことができる。
【００２３】
図４Ｂは、ＩｎＧａＡｓイメージセンサ１２０に対して、緑色用のカラーフィルタを比較的多くの画素に配置した例を示している。この場合、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の位置合わせを重視することになり、位置合わせの精度を高めることができる。また、図４Ｃは、ＩｎＧａＡｓイメージセンサ１２０に対して緑色用のカラーフィルタを少なくし、ＩｎＧａＡｓイメージセンサ１２０の本来の画素を多くした例を示している。この場合、ＩｎＧａＡｓイメージセンサ１２０による特殊光の画質を重視した撮像を行うことができる。
【００２４】
なお、ＩｎＧａＡｓイメージセンサ１２０に適用するカラーフィルタは、赤色、または青色であってもよい。この場合も、Ｓｉイメージセンサ１１０における同色のカラーフィルタと同じ画素位置に赤色、または青色のカラーフィルタを適用する。図４Ｄでは、ＩｎＧａＡｓイメージセンサ１２０に赤色のフィルタを適用した例を示している。
【００２５】
また、Ｓｉイメージセンサ１１０は近赤外領域でも感度があるため、近赤外用の透過フィルタをＳｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の双方の同じ画素位置に適用しても良い。これにより、近赤外用の透過フィルタを透過した画素から得られる画素値に基づいて、Ｓｉイメージセンサ１１０とＩｎＧａＡｓイメージセンサ１２０の双方の画像の位置合わせが可能である。
【００２６】
なお、本実施形態において、Ｓｉイメージセンサ１１０については、１つのイメージセンサでＲＧＢの各色を撮像する１板のＢａｙｅｒシステムを想定しているが、この構成に限定されるものではない。例えば、図５に示すように、ダイクロイックミラー１１２と組み合わせて、Ｒ、Ｇ、Ｂのそれぞれ専用のＳｉイメージセンサ１１４，１１６，１１８を用いる３板システムを採用してもよい。
【００２７】
４．有用情報画像の抽出
次に、ＩｎＧａＡｓイメージセンサ１２０で撮像した画像から、生体に関する有用情報画像を抽出する手法について説明する。図６は、生体組織の透過率を示す特性図である。なお、図６に示すような特性は、例えば特開２００７−７５３６６号公報に記載されている。
【００２８】
図６では、上段に波長に応じた水の透過率の特性を示し、下段に波長に応じた人間の生体組織の透過率の特性を示している。上段と下段の特性において、横軸の波長は対応している。図６に示すように、１４００ｎｍ〜１５００ｎｍの波長域では、脂肪の透過率が他の生体組織や水の透過率と比較して特異的に高いことが判る。つまり、ＩｎＧａＡｓイメージセンサ１２０の画素において、この波長域を選択的に透過するフィルタと組み合わせることで、脂肪とそれ以外の組織を見分けることが可能となる。なお、図２に示したように、Ｓｉイメージセンサ１１０で１４００〜１５００ｎｍの波長域を撮像することはできない。
【００２９】
ＩｎＧａＡｓイメージセンサ１２０に１４００ｎｍ〜１５００ｎｍの波長域を透過するフィルタを組み合わせ、近赤外域をカバーする広帯域光を照射して撮像すると、フィルタを通過して取得される信号値は１４００ｎｍ〜１５００ｎｍ付近の波長域の信号となる。
【００３０】
この時、図６に示すように、脂肪以外の組織は、透過率が低くなる。換言すれば、脂肪以外の組織は吸光率が高い。このため、脂肪以外の組織は、光を多く吸収して暗い信号値となり、脂肪の組織は吸光率が低いので明るい信号値となる。
【００３１】
図７は、ＩｎＧａＡｓイメージセンサ１２０に１４００〜１５００ｎｍの波長域を透過するフィルタを組み合わせて撮像して得られた画像５１０と、Ｓｉイメージセンサ１１０による撮像で得られる可視光画像５００を示す模式図である。図７に示す例では、可視光画像５００に示すように、特定の臓器５３０を撮像した様子を示している。臓器５３０には、脂肪の組織が含まれるが、Ｓｉイメージセンサ１１０による撮像で得られる可視光画像５００からは、脂肪の組織を判別することはできない。特に、臓器５３０の内部に脂肪の組織が存在する場合、脂肪の組織を判別したり認識したりすることは困難である。
【００３２】
一方、上述した手法により、ＩｎＧａＡｓイメージセンサ１２０の画像５１０からは有用情報を抽出することができ、脂肪の組織は吸光率が低いため明るい信号値となる。従って、ＩｎＧａＡｓセンサ１２０から得られる近赤外画像中の脂肪部５４０は、図７の画像５１０中の白く明るい領域となる。従って、画像５１０から画素値が所定値以上の明るい画素を抽出することで、脂肪部５４０を抽出することができる。従って、脂肪部５４０の領域を有用情報画像として抽出する生体領域抽出機能が実現できる。逆に画像５１０中で画素値の低い領域、すなわち暗い領域を、水分量の多い領域とみなしてもよい。
【００３３】
図７では、Ｓｉイメージセンサ１１０の可視光画像５００と、ＩｎＧａＡｓイメージセンサ１２０の画像５１０から抽出した有用情報画像を合成して得られる重畳画像５２０を示している。重畳画像５２０からは、Ｓｉイメージセンサ１１０の可視光画像５００から臓器５３０の輪郭や外観などを認識することができ、ＩｎＧａＡｓイメージセンサ１２０の画像５１０から抽出した有用情報画像からは、画像５００からは判別できない脂肪部５４０の領域及び状態を判別できる。従って、脂肪部５４０が臓器５３０のどの範囲にどのような状態で生じているかを確実に判別することが可能となる。従って、臓器５３０の手術を行う場合には、脂肪部５４０の位置や状態を考慮して手術を行うことも可能となる。
【００３４】
また、ＩｎＧａＡｓイメージセンサ１２０において、１４００ｎｍ〜１５００ｎｍの波長域を透過するフィルタを用いた場合、この波長域では脂肪の透過率は高く、脂肪部５４０の光は透過するが、それ以外の組織の光は透過しない。このため、脂肪部５４０と他の組織が重なっている場合に、脂肪部５４０を透過させた様子を観察可能である。
【００３５】
図８は、血管５４２を含む臓器５３０の上を脂肪部５４０が覆っている被写体５５０を撮像した場合に、脂肪部５４０を透過させて血管５４２を認識可能とする例を示す模式図である。被写体５５０をＳｉイメージセンサ１１０で撮像して得られる画像５００では、臓器５３０、脂肪部５４０、血管５４２が写っているが、脂肪部５４０が血管５４２の上に形成されているため、脂肪部５４０の下の血管５４２の様子を判別することはできない。
【００３６】
一方、ＩｎＧａＡｓイメージセンサ１２０に１４００〜１５００ｎｍの波長域を透過するフィルタを組み合わせて撮像して得られた画像５１０では、脂肪部５４０における光の透過率が高く、血管５４２の光の透過率は低いため、脂肪部５４０を光が透過することにより、血管５４２が透けて見えることになる。
【００３７】
従って、Ｓｉイメージセンサ１１０の可視光画像５００と、ＩｎＧａＡｓイメージセンサ１２０の画像５１０を合成して得られる重畳画像５２０では、脂肪部５４０を透過した血管５４２の様子を詳細に観察可能となる。また、重畳画像５２０では、可視光画像５００が含まれていることから、色再現も自然となり、視認性、認識性を高めることが可能である。なお、図８の重畳画像５２０においても、ＩｎＧａＡｓイメージセンサ１２０の画像５１０から脂肪部５４０及び血管５４２を抽出して得られる有用情報画像を可視光画像５００に重畳することが望ましい。
【００３８】
図８では、比較のため、脂肪部５４０が無い被写体５６０を示している。被写体５６０は、脂肪部５４０が無い点を除くと、被写体５５０と同一である。重畳画像５２０では、脂肪部５４０を透けて血管５４２を視認できるため、脂肪部５４０を透過させつつ通常の色再現を保持する画像を取得することが可能である。従って、被写体５５０と重畳画像５２０を対比すると明らかなように、脂肪部５４０が存在していない被写体５６０を可視光画像として撮像した場合と同様の重畳画像５２０を得ることが可能である。
【００３９】
例えば、手術の現場において、脂肪部５４０によって視認できない血管５４２が存在すると、血管５４２を誤って切除してしまうことも想定される。このような場合、本実施形態に係る重畳画像５２０を用いることにより、脂肪部５４０を透過して血管５４２を観察することができるため、手術中に血管５４２が誤って切除されてしまう事態を確実に抑止できる。
【００４０】
重畳画像５２０を生成する際には、ＩＲ画像をモノクロ化し、任意の色に単色化し、可視光画像とアルファブレンディングして重畳画像５２０を生成しても良い。単色化においては、人間の体内ではほとんど存在しない緑色、または青色を選択することが好適である。
【００４１】
また、上述の例では、Ｓｉイメージセンサ１１０の可視光画像５００と、ＩｎＧａＡｓイメージセンサ１２０の画像５１０を合成する例を挙げたが、１つのディスプレイ内に２つの画像を、サイドバイサイド（ＳｉｄｅＢｙＳｉｄｅ）やピクチャインピクチャ（ＰｉｃｔｕｒｅＩｎＰｉｃｔｕｒｅ）などの方式で同時に表示しても良い。また、２つのディスプレイにそれぞれの画像を表示するなどしても良い。また、２Ｄ表示だけでなく、ステレオ３Ｄ表示を行ってもよい。更に、ヘッドマウントディスプレイのような人体装着式の表示デバイスを表示装置４００として表示してもよい。
【００４２】
５．本実施形態に係る手術用撮像システムで行われる処理
次に、図９のフローチャートに基づいて、図１のブロック図を参照しながら、本実施形態に係る手術用撮像システム１０００で行われる処理について説明する。図９の処理は、主として信号処理装置２００で行われるものである。先ず、ステップＳ１０では、Ｓｉイメージセンサ１１０が撮像した可視光画像が取得される。可視光画像は、白色光画像処理部２０２において、現像処理部２０２ａにより現像処理が行われ、高画質化処理部２０２ｂにより高画質化処理が行われる。
【００４３】
次のステップＳ１２では、ＩｎＧａＡｓイメージセンサ１２０が撮像した可視光／赤外光画像が取得される。次のステップＳ１４では、分離処理部２０４により、可視光／赤外光画像がＩＲ画像と位置合わせ用の可視光画像に分離される。ここで、ＩＲ画像は、図４Ｂに示した緑色用のカラーフィルタが配置された画素以外の画素からなる画像である。また、位置合わせ用の可視光画像は、図４Ｂに示した緑色用のカラーフィルタが配置された画素からなる画像である。なお、ＩＲ画像は、Ｓｉイメージセンサ１１０が撮像した可視光画像よりも低解像度であり、位置合わせ用の可視光画像はＩＲ画像よりも更に低解像度である。
【００４４】
次のステップＳ１６では、変形パラメータ生成処理部２０６が、Ｓｉイメージセンサ１２０が撮像した可視光画像と、分離処理部２０４により分離された位置合わせ用の可視光画像を対比する。そして、変形パラメータ生成処理部２０６は、Ｓｉイメージセンサ１２０が撮像した可視光画像に合わせてＩｎＧａＡｓイメージセンサ１２０が取得した可視光／赤外光画像を変形または拡大するための変形パラメータを生成する。
【００４５】
Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０は解像度が異なることや、それぞれのレンズ特性によって画角などが異なることが想定されるため、可視光画像と可視光／赤外画像の重畳表示を行う前に、信号処理として画サイズの変更を適切に行う。例えば、Ｓｉイメージセンサ１１０が４Ｋ解像度（３８４０×１０８０）で、ＩｎＧａＡｓイメージセンサ１２０がそれよりも解像度の低いＨＤ解像度（１９２０×１０８０）である場合、ＩｎＧａＡｓイメージセンサ１２０で撮像された可視光／赤外画像を、アスペクト比は変えずに４Ｋ解像度相当に解像度変換（Ｕｐ  Ｃｏｎｖｅｒｓｉｏｎ）する。変形パラメータ生成処理部２０６は、このような画サイズの変更を行うための変形パラメータを生成する。
【００４６】
また、可視光画像と可視光／赤外光画像の重畳表示を行う前に、信号処理として画像の位置合わせや歪み補正を行ってもよい。例えば、時分割によるフレームシーケンシャルの撮像を行う場合、被写体やカメラが動くと、２つの画像間で位置ズレが発生する可能性がある。また、Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０で同時に撮像を行う場合、双方のセンサ及び光学系の位置に応じた位置ズレが生じる。あるいは波長毎の軸上色収差やレンズ特性の違いによって、Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０における像の大きさの違いや歪みが発生する可能性がある。変形パラメータ生成処理部２０６は、このような画像の位置合わせ、歪み補正を行うために変形パラメータを生成する。時分割によるフレームシーケンシャルの撮像で被写体やカメラが動いた場合は、Ｓｉイメージセンサ１１０の可視光画像とＩｎＧａＡｓイメージセンサ１２０の位置合わせ用の可視光画像を対比し、ブロックマッチングを行うことで、位置合わせを行うことができる。また、双方のセンサ及び光学系の位置に応じた位置ズレ、波長毎の軸上色収差やレンズ特性の相違は、撮像装置１００、及び双方のセンサの仕様から予め求めることができる。
【００４７】
なお、位置合わせを行った後、可視光画像と可視光／赤外光画像の同位置にある画像データを用いた視差推定によりデプスマップ（Ｄｅｐｔｈ  ｍａｐ）を作成することも可能である。
【００４８】
次のステップＳ１８では、穴埋め処理部２１２が、分離処理部２０４により分離されたＩＲ画像について、位置合わせ用の可視光画像の画素値を穴埋めする処理を行う。具体的には、図４Ｂに示した緑色用のカラーフィルタが配置された画素の画素値を、周囲の画素の画素値で補間する処理を行う。
【００４９】
次のステップＳ２０では、高画質化処理部２１４が、穴埋め処理部２１２によって穴埋め処理が行われたＩＲ画像を高画質化する処理を行う。高画質化処理部２１４は、Ｓｉイメージセンサ１１０で撮像された可視光画像の画像情報を元に、ＩｎＧａＡｓイメージセンサ１２０で撮像されたＩＲ画像を信号処理で高画質化する。例えば、高画質化処理部２１４は、Ｓｉイメージセンサ１１０で撮像された可視画像をガイドにして、可視光画像とＩＲ画像のＰＳＦボケ量（ＰＳＦ）を推定する。そして、可視光画像のボケ量に合うようにＩＲ画像のボケを除去することでＩＲ画像のコントラストを向上させ、高画質化を行う。
【００５０】
次のステップＳ２２では、有用情報画像抽出部２１６が、高画質化処理のなされたＩＲ画像から、生体に関する有用情報画像を抽出する。有用情報画像は、例えば、図７及び図８に示したようなＩＲ画像中の脂肪部５４０の領域を示す画像情報である。可視光画像とＩＲ画像を単に合成した場合、脂肪部５４０が強調して表示されない場合があるため、脂肪部５４０の領域を有用情報画像として抽出し、他の領域を取り除く処理を行う。これにより、可視光画像との合成後に脂肪部５４０の領域を強調して表示することができる。
【００５１】
次のステップＳ２４では、有用情報画像処理部２１７が、有用情報画像について画像化処理を行う。ここでは、例えば、有用情報画像に相当する脂肪部５４０の領域を、人体内部に存在しない色（緑色、青色など）に着色する。これにより、可視光画像との合成後に脂肪部５４０の領域を強調して表示することができる。
【００５２】
次のステップＳ２６では、画像変形・拡大処理部２１８が、有用情報画像に変形パラメータを適用して、有用情報画像の変形、拡大処理を行う。これにより、Ｓｉイメージセンサ１１０で撮像された可視光画像と有用情報画像の位置、サイズが適合される。また、変形パラメータを適用することで、Ｓｉイメージセンサ１１０で撮像された可視光画像と有用情報画像において、波長毎の軸上色収差やレンズ特性の歪みが同じレベルに補正される。次のステップＳ２８では、合成処理部２２０が、白色光画像処理部２０２で処理がされた可視光画像と、ＩＲ画像処理部２１０で処理がされた有用情報画像とを合成する。合成により生成された合成画像（重畳画像）の情報は、信号処理装置２００から伝送装置３００へと送られ、更に表示装置４００へ送られる。
【００５３】
図１０は、合成処理部２２０とその周辺の構成を示す模式図である。図１０に示すように、合成処理部２２０の後段にセレクタ２２２が設けられていても良い。セレクタ２２２には、合成処理部２２０によって合成された合成画像に加え、合成前の画像、すなわち、白色光画像処理部２０２から出力された可視光画像と、ＩＲ画像処理部２１０から出力された有用情報画像が入力される。
【００５４】
セレクタ２２２からは、合成処理部２２０によって合成された合成画像、白色光画像処理部２０２で処理がされた可視光画像、及びＩＲ画像処理部２１０で処理がされた有用情報画像、のいずれかが選択されて伝送装置３００に出力される。従って、伝送装置３００から表示装置４００へ合成画像、可視光画像、及び有用情報画像のいずれかが送られることで、これらの画像を表示装置４００に表示することができる。なお、セレクタ２２２による画像の切り換えは、ユーザによる操作情報がセレクタに入力されることで行われる。合成画像を表示した場合は、Ｓｉイメージセンサ１１０から得られる情報とＩｎＧａＡｓイメージセンサ１２０から得られる情報を一度に視認することができるため、最も効率良く情報を取得可能である。
【００５５】
次のステップＳ３０では、表示装置４００が伝送装置３００から送られた画像情報を表示する。次のステップＳ３２では、処理を終了するか否かを判定する。処理を終了しない場合は、ステップＳ１０へ戻り、以降の処理を行う。
【００５６】
６．光学システムの構成例
図１１Ａ〜図１１Ｃは、撮像装置１００の光学システムを示す模式図である。光学システムとしては、図１１Ａに示すように、１つの開口からレンズ１２２を通して光を導入し、撮像装置１００の内部にスプリッタ１２４を配置してＳｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０に導光する「１眼２板システム」を採用することができる。この場合、波長によって光学軸上の色収差が異なるため、その影響を軽減するために、レンズ１２２とＳｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０の位置を適切に設計することが望ましい。
【００５７】
また、図１１Ｂに示すように、２つの開口からレンズ１２６，１２８を通して光を導入し、Ｓｉイメージセンサ１１０及びＩｎＧａＡｓイメージセンサ１２０のそれぞれに導光する「２眼２板システム」を採用しても良い。この場合には、重畳画像の生成時に２つの開口部の位置の違いによる視差を適切に補正する。
【００５８】
また、図１１Ｃは、図５と同様にダイクロイックミラー１１２を備え、Ｒ、Ｇ、Ｂのそれぞれ専用のＳｉイメージセンサ１１４，１１６，１１８を用いる３板システムを採用した例を示している。この場合、１つの開口からレンズ１３０を通して光を導入し、レンズ１３０を透過した光がスプリッタ１３２へ入射し、スプリッタ１３２で分光された光がダイクロイックミラー１１２とＩｎＧａＡｓイメージセンサ１２０のそれぞれに照射される。
【００５９】
以上説明したように本実施形態によれば、通常の可視光画像だけでは判断し難い血管や脂肪域の視認性を向上させることができる。また、ＩｎＧａＡｓイメージセンサ１２０で撮像された画像の解像度感を向上させることが可能となる。更に、ＩｎＧａＡｓイメージセンサ１２０とＳｉイメージセンサ１１０で撮像された画像を重畳表示させることで、同時観察が可能となる。
【００６０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００６２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）  可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサと、
可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサと、
前記第１のイメージセンサで撮像された第１の画像と前記第２のイメージセンサで撮像された第２の画像を表示するための処理を行う信号処理装置と、
を備える、手術用撮像システム。
（２）  前記第１のイメージセンサの解像度は、前記第２のイメージセンサの解像度よりも高い、前記（１）に記載の手術用撮像システム。
（３）  前記第１のイメージセンサは、画素毎に配置された所定の色のカラーフィルタを有し、
前記第２のイメージセンサは、前記第１のイメージセンサの前記カラーフィルタの画素位置に対応する画素位置に、前記カラーフィルタと同色のカラーフィルタを有する、前記（１）又は（２）に記載の手術用撮像システム。
（４）  前記所定の色は緑色である、前記（３）に記載の手術用撮像システム。
（５）  前記第１のイメージセンサはＳｉからなるイメージセンサであり、３８４０×２１６０ピクセル以上の解像度を有する、前記（１）〜（４）のいずれかに記載の手術用撮像システム。
（６）  前記第２のイメージセンサはＩｎＧａＡｓからなるイメージセンサである、前記（１）〜（５）のいずれかに記載の手術用撮像システム。
（７）  前記信号処理装置は、前記第１のイメージセンサの前記カラーフィルタを透過して得られる画素値と、前記第２のイメージセンサの前記カラーフィルタを透過して得られる画素値とに基づいて、前記第１の画像と前記第２の画像を適合する画像適合部を有する、前記（３）に記載の手術用撮像システム。
（８）  前記信号処理装置は、前記第２のイメージセンサの前記カラーフィルタが設けられた画素位置において、当該カラーフィルタが配置されていない状態での画素値を算出する穴埋め処理部を有する、前記（３）に記載の手術用撮像システム。
（９）  前記信号処理装置は、前記第１の画像と前記第２の画像を合成する合成処理部を有する、前記（１）〜（８）のいずれかに記載の手術用撮像システム。
（１０）  前記信号処理装置は、前記第１の画像に基づいて前記第２の画像を高画質化する高画質化処理部を有する、前記（１）〜（９）のいずれかに記載の手術用撮像システム。
（１１）  前記信号処理装置は、前記第２の画像から特定の領域を抽出する画像抽出部を有する、前記（１）〜（１０）のいずれかに記載の手術用撮像システム。
（１２）  前記第２のイメージセンサは、所定の波長域の光を透過するフィルタを有し、
前記画像抽出部は、前記フィルタを透過して得られる画素値に基づいて前記特定の領域を抽出する、前記（１１）に記載の手術用撮像システム。
（１３）  前記所定の波長域は、１３００ｎｍ以上１４００ｎｍ以下の波長域である、前記（１２）に記載の手術用撮像システム。
（１４）  前記信号処理装置は、前記特定の領域に所定の色を付与する画像処理部を有する、前記（１１）に記載の手術用撮像システム。
（１５）  前記所定の色は緑色又は青色である、前記（１４）に記載の手術用撮像システム。
（１６）  前記第１のイメージセンサ及び前記第２のイメージセンサは、人体内部の脂肪又は血管を撮像する、前記（１）〜（１５）のいずれかに記載の手術用撮像システム。
（１７）  可視光の波長域に受光感度を有し、術部を撮像する第１のイメージセンサで撮像された第１の画像と、可視光及び近赤外光の波長域に受光感度を有し、前記術部を撮像する第２のイメージセンサで撮像された第２の画像と、を合成して表示するための処理を行う、手術用画像の信号処理装置。
【符号の説明】
【００６３】
１００    撮像装置
１１０    Ｓｉイメージセンサ
１２０    ＩｎＧａＡｓイメージセンサ
２００    信号処理装置
２１２    穴埋め処理部
２１４    高画質化処理部
２１６    有用情報画像抽出部
２１７    有用情報画像処理部
２１８    画像変形・拡大処理部
２２０    合成処理部
１０００  手術用撮像システム
【図１】
2019003751.tif 000003
【図２】
2019003751.tif 000004
【図３】
2019003751.tif 000005
【図４Ａ】
2019003751.tif 000006
【図４Ｂ】
2019003751.tif 000007
【図４Ｃ】
2019003751.tif 000008
【図４Ｄ】
2019003751.tif 000009
【図５】
2019003751.tif 000010
【図６】
2019003751.tif 000011
【図７】
2019003751.tif 000012
【図８】
2019003751.tif 000013
【図９】
2019003751.tif 000014
【図１０】
2019003751.tif 000015
【図１１Ａ】
2019003751.tif 000016
【図１１Ｂ】
2019003751.tif 000017
【図１１Ｃ】
2019003751.tif 000018
【国際調査報告】
2019003751.tif 000019
2019003751.tif 000020
2019003751.tif 000021
2019003751.tif 000022