(57)【特許請求の範囲】
【請求項１】
被検体に存在する観察対象の３次元画像を記憶する記憶部と、
前記被検体の表層における前記観察対象が撮像された２次元の表層画像の撮像位置および撮像方向が入力され、前記記憶部に記憶されている前記３次元画像の前記撮像位置と対応する位置を前記撮像方向に投影して２次元の投影画像を生成する投影画像生成部と、
前記表層画像および前記投影画像生成部によって生成された投影画像が入力され、前記表層画像と前記投影画像との対応する画素の輝度値を乗算して乗算画像を生成する乗算処理部とを備える画像処理装置。
【請求項２】
前記乗算処理部が、前記表層画像の輝度値に係数を加算した和または乗算した積を乗算に用いる請求項１に記載の画像処理装置。
【請求項３】
前記乗算処理部が、前記乗算画像の各画素を、該各画素の輝度値に応じた明度または彩度で表示する請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記被検体の白色光画像が入力され、該白色光画像に前記乗算処理部によって生成された乗算画像を重畳して重畳画像を生成する重畳処理部を備える請求項１から請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記乗算処理部が、前記表層画像および前記投影画像として複数の観察対象が表示された画像を用い、
前記重畳処理部が、前記複数の観察対象を異なる表示態様で前記白色光画像に重畳する請求項４に記載の画像処理装置。
【請求項６】
前記表層画像が、蛍光画像である請求項１から請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記表層画像が、狭帯域光画像である請求項１から請求項５のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関するものである。
【背景技術】
【０００２】
従来、内視鏡によって取得したリンパ管およびリンパ節の２次元画像に、ＣＴ（コンピューター断層撮影）装置によって取得したリンパ管、リンパ節および血管の３次元画像を２次元化した画像を重畳して表示する観察システムが知られている（例えば、特許文献１参照。）。ＣＴ画像は、体内組織の大まかな３次元構造を観察するのに適している。内視鏡画像は、体内組織の表面の詳細な構造を観察するのに適している。すなわち、特許文献１のシステムによれば、深層におけるリンパ管、リンパ節および血管の構造も大まかに把握しつつ、表層のリンパ管およびリンパ節を詳細に観察することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２４４７４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のシステムの場合、３次元画像を２次元化したときに３次元画像に含まれていた深さ方向の位置情報が失われ、２次元画像には異なる深さ位置に存在するリンパ管およびリンパ節が同一面内に一様に表示される。したがって、観察者は、重畳された画像において、組織の表層に存在するリンパ管およびリンパ節と組織の深層に存在するリンパ管およびリンパ節とを識別することができないという問題がある。
【０００５】
また、内視鏡下で組織の表層を処置する場合、観察者にとっては組織の表層のリンパ管およびリンパ節の情報が重要であるが、これらと同様に表示される深層のリンパ管およびリンパ節の像は観察者にとって煩わしく、観察者に不必要に煩雑な画像が提供されるという問題がある。
【０００６】
本発明は、上述した事情に鑑みてなされたものであって、３次元構造を有する観察対象の深層における構造も把握可能でありながら表層の観察対象を容易に識別可能な２次元画像を観察者に対して提示することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、被検体に存在する観察対象の３次元画像を記憶する記憶部と、前記被検体の表層における前記観察対象が撮像された２次元の表層画像の撮像位置および撮像方向が入力され、前記記憶部に記憶されている前記３次元画像の前記撮像位置と対応する位置を前記撮像方向に投影して２次元の投影画像を生成する投影画像生成部と、前記表層画像および前記投影画像生成部によって生成された投影画像が入力され、前記表層画像と前記投影画像との対応する画素の輝度値を乗算して乗算画像を生成する乗算処理部とを備える画像処理装置を提供する。
【０００８】
本発明によれば、被写体に存在する観察対象の表層画像が撮像されて該表層画像とその被写体における撮像位置および撮像方向とが乗算処理部または投影画像生成部にそれぞれ入力されると、投影画像生成部は記憶部に記憶されている３次元画像から表層画像と対応する視野の投影画像を生成し、乗算処理部は投影画像と表層画像とから乗算画像を生成する。
【０００９】
この場合に、生成された乗算画像において、表層画像と投影画像との両方に共通する明部と暗部との輝度値の差は拡大する。すなわち、表層画像および投影画像として観察対象が共に明部または暗部として表示された画像を用いることにより、表層画像と投影画像に共通して表示されている被写体の表層の観察対象は、投影画像のみに表示されている被写体の深層の観察対象に対して強調して表示される。これにより、観察者は、表層の観察対象を乗算画像において容易に認識することができ、また、観察対象の深層の構造も２次元の乗算画像から把握することができる。
【００１０】
上記発明においては、前記乗算処理部が、前記表層画像の輝度値に係数を加算した和または乗算した積を乗算に用いることとしてもよい。
このようにすることで、乗算画像において、表層に存在する観察対象をより強く強調表示することができる。
【００１１】
また、上記発明においては、前記乗算処理部が、前記乗算画像の各画素を、該各画素の輝度値に応じた明度または彩度で表示することとしてもよい。
このようにすることで、観察者は乗算画像の各画素の明度または彩度に基づいて、観察対象の深さ方向の位置をより容易に認識することができる。
【００１２】
また、上記発明においては、前記被検体の白色光画像が入力され、該白色光画像に前記乗算処理部によって生成された乗算画像を重畳して重畳画像を生成する重畳処理部を備えることとしてもよい。
このようにすることで、観察者は重畳画像において観察対象を被検体の表面形状と対応付けて観察することができる。
【００１３】
また、上記発明においては、前記乗算処理部が、前記表層画像および前記投影画像として複数の観察対象が表示された画像を用い、前記重畳処理部が、前記複数の観察対象を異なる表示態様で前記白色光画像に重畳することとしてもよい。
このようにすることで、例えば、観察者にとっての重要度などに応じて複数の観察対象の表示態様を異ならせることにより、観察者は重畳画像から複数の観察対象を同時に観察することができる。
【００１４】
また、上記発明においては、前記表層画像が、蛍光画像であることとしてもよい。
このようにすることで、表層画像として、観察対象が明部として表示された２次元画像を用いることができる。
また、上記発明においては、前記表層画像が、狭帯域光画像であることとしてもよい。
このようにすることで、表層画像として、観察対象が明部として表示され、表層から若干深い位置まで撮像された画像を用いることができる。
【発明の効果】
【００１５】
本発明によれば、３次元構造を有する観察対象の深層における構造も把握可能でありながら表層の観察対象を容易に識別可能な２次元画像を観察者に対して提示することができるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る画像処理装置を備える内視鏡システムの全体構成図である。
【図２】図１の画像処理部の機能を示すブロック図である。
【図３】図２の画像処理部による画像処理方法を説明する図であり、（ａ）投影画像、（ｂ）蛍光画像、（ｃ）乗算画像、（ｄ）白色光画像および（ｅ）重畳画像をそれぞれ示している。
【発明を実施するための形態】
【００１７】
以下に、本発明の一実施形態に係る画像処理装置１００について図面を参照して説明する。
本実施形態に係る画像処理装置１００は、図１に示されるように、画像処理部（以下、画像処理部１００ともいう。）として内視鏡システム１に備えられている。
【００１８】
内視鏡システム１は、先端に対物光学系２１を有する細長い挿入部２と、該挿入部２を介して被検体Ｘに白色光および励起光を時分割で照射する照明ユニット（照明部）３と、挿入部２の先端に設けられた位置センサ４と、挿入部２の基端側に配置され画像を生成および処理するコントロールユニット５とを備えている。本実施形態において画像処理部１００は、コントロールユニット５に備えられている。
【００１９】
挿入部２は、被検体Ｘである生体内の組織表層からの光を集光して撮像素子５１（後述）に導光する対物光学系２１と、該対物光学系２１と撮像素子５１との間の光路の途中位置に配置された第１のフィルタターレット２２とを備えている。第１のフィルタターレット２２は、白色光を選択的に透過させる白色フィルタと蛍光を選択的に透過させる蛍光フィルタとを備え、回転させられることにより撮像素子５１に導光される光を白色光と蛍光との間で切り替える。
【００２０】
照明ユニット３は、光源３１と、該光源３１から放射された光から白色光および励起光のうち一方を抽出する第２のフィルタターレット３２と、第２のフィルタターレット３２により抽出された光を集光するカップリングレンズ３３と、挿入部２の長手方向のほぼ全長にわたって配置されたライトガイドファイバ３４と、挿入部２の先端に設けられた照明光学系３５とを備えている。
【００２１】
第２のフィルタターレット３２は、白色光（波長帯域４００〜７４０ｎｍ）を選択的に透過させる白色フィルタと、蛍光色素の励起波長を有する励起光を選択的に透過させる励起フィルタとを備え、回転させられることにより、ライトガイドファイバ３４に導光する光を白色光と励起光との間で切り替える。第２のフィルタターレット３２により抽出されカップリングレンズ３３によって集光された光は、ライトガイドファイバ３４によって挿入部２内を導光された後、照明光学系３５によって拡散されて被検体Ｘに照射される。
【００２２】
本実施形態においては、励起波長が６８０〜７８０ｎｍ、発光波長が８３０ｎｍのインドシアニングリーン（ＩＣＧ）が、被検体のリンパ液に混合することにより、リンパ管およびリンパ節（以下、両者をまとめてリンパ管という。）を観察対象として蛍光画像Ｇ２を観察することとする。すなわち、励起フィルタは波長６８０〜７８０ｎｍの光を励起光として透過させ、蛍光フィルタは波長８３０ｎｍ近傍の光を蛍光として透過させる。
【００２３】
位置センサ４は、例えば、３軸ジャイロセンサと３軸加速度センサとを備えている。位置センサ４は、基準位置および基準方向からの３軸方向の位置および角度の変化量を検出し、検出した各方向の変化量を積算する。これにより、位置センサ４は、基準位置および基準方向に対する挿入部２先端の現在位置および現在方向、すなわち、撮像素子（後述）５１によって撮像されている画像の撮像位置および撮像方向を算出する。位置センサ４の基準位置および基準方向は、操作者による操作によって任意の位置および方向に設定可能となっている。位置センサ４は、算出した現在位置および現在方向を、画像処理部１００内の投影画像生成回路１０４（後述）に出力する。
【００２４】
コントロールユニット５は、白色光および蛍光を撮像して画像データを生成する撮像素子５１と、白色光画像の生成と蛍光画像の生成とを切り替えるタイミング制御５２と、画像処理部１００によって生成された画像をモニタ６に出力する表示制御部５３とを備えている。
【００２５】
タイミング制御部５２は、白色光モードと蛍光モードとを有している。白色光モードにおいてタイミング制御部５２は、白色光フィルタを光路上に配置するように第１および第２のフィルタターレット２２，３２を回転させ、撮像素子５１から画像処理部１００内の白色光画像生成回路１０１（後述）に画像データを出力させる。蛍光モードにおいてタイミング制御部５２は、励起フィルタおよび蛍光フィルタを光路上に配置するように第１および第２のフィルタターレット２２，３２を回転させ、撮像素子５１から蛍光画像生成回路１０２（後述）に画像データを出力させる。タイミング制御部５２は、これら２つのモードを十分に短い時間間隔で交互に切り替える。これにより、画像処理部１００は白色光画像Ｇ１と蛍光画像Ｇ２とを十分に短い時間間隔で交互に生成することとなる。
【００２６】
表示制御部５３は、１秒間に所定の数の重畳画像Ｇ５（後述）が一定の時間間隔でモニタ６に表示されるように、重畳画像Ｇ５を所定のタイミングでモニタ６に出力する。
【００２７】
画像処理部１００は、図２に示されるように、白色光画像Ｇ１を生成する白色光画像生成回路１０１と、蛍光画像Ｇ２を生成する蛍光画像生成回路１０２と、３次元観察装置によって撮像された被検体の３次元画像を記憶する３次元画像記憶回路（記憶部）１０３と、３次元画像記憶回路１０３に記憶されている３次元画像から２次元の投影画像Ｇ３を生成する投影画像生成回路１０４と、投影画像Ｇ３と蛍光画像Ｇ２との輝度値を乗算して乗算画像Ｇ４を生成する乗算処理回路（乗算処理部）１０５と、乗算画像Ｇ４を白色光画像Ｇ１に重畳して重畳画像Ｇ５を生成する重畳処理回路（重畳処理部）１０６とを備えている。図３は、画像処理部１００が行う画像処理方法を説明する概念図である。
【００２８】
白色光画像生成回路１０１は、撮像素子５１から入力された白色光の画像データから白色光画像Ｇ１を生成し、生成した白色光画像Ｇ１を重畳処理回路１０６に出力する。
蛍光画像生成回路１０２は、撮像素子５１から入力された蛍光の画像データから蛍光画像（表層画像）Ｇ２を生成し、生成した蛍光画像Ｇ２を乗算処理回路１０５に出力する。蛍光画像Ｇ２内において、観察対象である組織表層のリンパ管Ａ１は蛍光領域として、すなわち、明部として表示されている。
【００２９】
３次元画像記憶回路１０３は、ＣＴ装置などの３次元観察装置によって取得された、生体内部のリンパ管の３次元画像を記憶している。該３次元画像は、例えば、リンパ液に造影剤を投与して撮像されたものであり、リンパ管が明部として表示されている。
【００３０】
投影画像生成回路１０４は、位置センサ４から入力される挿入部２先端の現在位置および現在方向に基づいて、３次元画像記憶回路１０３に記憶されている３次元画像から、現在撮像素子５１によって撮像されている蛍光画像Ｇ２と対応付けられた投影画像Ｇ３を生成する。
【００３１】
具体的には、例えば、操作者が、挿入部２の先端を体表面に形成された孔から体内へ挿入する際に、挿入部２先端を孔の入口に該孔内に向けて配置した状態でこれらの位置および方向を基準位置および基準方向として設定する。また、操作者が、３次元画像記憶回路１０３に記憶されている３次元画像において、孔の位置と対応する位置および孔の入口における挿入部２の挿入方向を設定する。これにより、投影画像生成回路１０４は、位置センサ４から入力された現在位置および現在方向から、現在撮像素子５１によって撮像されている蛍光画像Ｇ２の撮像位置および撮像方向を、３次元画像における位置および方向に対応付けることができる。
【００３２】
そして、投影画像生成回路１０４は、３次元画像から、撮像素子５１の撮像範囲に相当する面積を有し、挿入部２の現在方向に対応する方向に所定の寸法を有する３次元空間を抽出し、抽出した３次元画像を挿入部２の現在方向にすなわち視野の奥行き方向に投影した２次元の投影画像Ｇ３を生成する。これにより、投影画像生成回路１０４は、蛍光画像Ｇ２と位置が対応付けられた投影画像Ｇ３を生成することができる。生成された投影画像Ｇ３は、組織表層のリンパ管Ａ１に対応する画素と組織深層のリンパ管Ａ２に対応する画素とが同等の輝度値を有している。
【００３３】
乗算処理回路１０５は、蛍光画像Ｇ２と投影画像Ｇ３との互いに対応する画素の輝度値を乗算し、乗算によって得られた積に応じた明度または彩度を有する所定の色相で各画素を表示することにより乗算画像Ｇ３を生成する。これにより、蛍光画像Ｇ２と投影画像Ｇ３の両方にリンパ管Ａ１，Ａ２が表示されていた領域、すなわち、組織表層のリンパ管Ａ１に対応する領域は、乗算画像Ｇ４において濃いまたは鮮やかな色で表示される。一方、蛍光画像Ｇ２または投影画像Ｇ３の一方のみにリンパ管Ａ１，Ａ２が表示されていた領域、すなわち、組織深層のリンパ管Ａ２に対応する領域は、乗算画像Ｇ４において薄いまたは淡い色で表示される。
【００３４】
ここで、乗算処理回路１０５は、乗算画像Ｇ４において表層のリンパ管Ａ１に対応する領域が深層のリンパ管Ａ２に対応する領域よりもさらに強調して表示されるようにするための処理を適宜行ってもよい。例えば、蛍光画像Ｇ２の各画素の輝度値に所定の係数を乗算または加算し、その積または和を乗算処理に用いるなど、蛍光画像Ｇ２の輝度値に重みをつける処理を行ってもよい。または、蛍光画像Ｇ２内の明部と暗部との明暗の差が十分に大きくなるように、蛍光画像Ｇ２のトーンカーブを調整するなどの前処理を行ってもよい。
さらに、乗算処理回路１０５は、蛍光画像Ｇ２と投影画像Ｇ３の輝度値の乗算によって得られた積が大きくなり過ぎて乗算画像Ｇ４において明度または彩度が飽和しないように、積を適切な範囲内に補正する処理を行ってもよい。
【００３５】
重畳処理回路１０６は、白色光画像生成回路１０１から入力された白色光画像Ｇ１に、乗算処理回路１０５によって生成された乗算画像Ｇ４を重畳することにより重畳画像Ｇ５を生成する。すなわち、重畳画像Ｇ５は、白色光画像Ｇ１内の組織Ｂ形状にリンパ管Ａ１，Ａ２が対応付けられた画像である。重畳処理回路１０６は、生成した重畳画像Ｇ５を表示制御部５３に出力する。
【００３６】
次に、このように構成された画像処理装置１００を備えた内視鏡システム１の作用について説明する。
本実施形態に係る内視鏡システム１を用いて被検体Ｘである生体内の組織を観察するには、操作者は、光源３１を点灯させることにより挿入部２の先端から白色光と励起光とを交互に射出させながら挿入部２を体内に挿入する。
【００３７】
そして、内視鏡システム１によって撮像されている視野において組織表層にリンパ管Ａ１が存在しているときは、モニタ６に表示される重畳画像Ｇ５において、リンパ管Ａ１が濃いまたは鮮やかな所定の色相で表示される。また、視野の比較的深い位置にリンパ管Ａ２が存在しているときは、リンパ管Ａ２が薄いまたは淡い所定の色相で表示される。観察者は、重畳画像Ｇ５内に表示されるリンパ管Ａ１，Ａ２のうち、色が薄いまたは淡い部分から深層におけるリンパ管Ａ２の３次元構造を把握しつつ、色が濃いまたは鮮やかな部分を表層のリンパ管Ａ１として識別し必要に応じて処置する。
【００３８】
このように、本実施形態によれば、観察者に提示される重畳画像Ｇ５において、観察者にとって重要度のより高い組織表層のリンパ管Ａ１の像が、重要度のより低い組織深層のリンパ管Ａ２に比べて強調して表示される。これにより、観察者は、重畳画像Ｇ５から表層のリンパ管Ａ１の位置を容易にかつ正確に識別しつつ深層におけるリンパ管Ａ２の３次元構造の概要も把握することができるとともに、重畳画像Ｇ５が観察者にとって不必要に煩雑になることを防ぐことができる。
【００３９】
なお、本実施形態においては、観察対象としてリンパ管Ａ１，Ａ２を観察することとしたが、これに代えて、複数の観察対象を観察することとしてもよい。例えば、もう１つの観察対象として病変部を観察する場合には、リンパ管Ａ１，Ａ２を標識する蛍光色素とは異なる蛍光色素で病変部を標識し、３次元画像記憶回路１０３には病変部の３次元画像も記憶しておく。この場合、乗算処理回路１０５は、リンパ管Ａ１，Ａ２の蛍光画像Ｇ２から得られた乗算画像Ｇ３と、病変部の蛍光画像から得られた乗算画像とを異なる表示態様、例えば、異なる色相で表示する。このようにすることで、同時に２つの観察対象について、表層と深層とを識別しながら観察することができる。
【００４０】
なお、複数の観察対象の蛍光画像および乗算画像を生成するには、励起波長及び発光波長のうち少なくとも一方が互いに異なる蛍光色素、または、発光波長の強度が十分に異なる蛍光色素を組み合わせて使用する。
前者の場合には、照明ユニット３が励起光を時分割で照射する、または、撮像素子５１によって検出された光を波長によって分岐することにより、蛍光画像生成回路１０２が複数の観察対象の蛍光画像を別々に生成し、乗算処理回路１０５は各蛍光画像を乗算処理に用いればよい。
【００４１】
後者の場合には、蛍光画像生成回路１０２は、複数の観察対象の蛍光像を同一の蛍光画像として生成する。乗算処理回路１０５は、例えば、蛍光画像の輝度値のヒストグラムを生成し、ヒストグラムに出現する２つのピークに輝度値が属する各画素群を異なる表示態様で表示すればよい。
また、病変部については、投影画像との乗算処理を行わずに、蛍光画像をそのまま白色光画像に重畳してもよい。
【００４２】
また、観察者による操作によって、重畳画像Ｇ５における複数の観察対象の表示・非表示を切り替え可能としてもよい。例えば、操作者が図示しない入力装置によって複数の観察モードのうち１つを選択して入力し、重畳処理回路１０６は入力された観察モードに対応付けられた乗算画像を選択して重畳画像を生成する。このようにすることで、重畳画像Ｇ５における観察対象の表示・非表示を観察者が必要に応じて切り替えることができる。
【００４３】
また、本実施形態においては、表層画像として、リンパ管の蛍光画像を用いることとしたが、これに代えて、血管の狭帯域光画像を用いることとしてもよい。この場合には、照明ユニット３は励起光に代えて青色の狭帯域光および緑色の狭帯域光を被検体Ｘに照射し、３次元画像記憶回路１０３は血管の３次元画像を記憶する。狭帯域光画像は、組織表層の毛細血管と比較的深い位置の太い血管とが高いコントラストで表示された画像であり、観察対象として血管を観察することができる。
【００４４】
また、本実施形態においては、乗算画像Ｇ４を白色光画像Ｇ１に重畳して観察者に提示することとしたが、これに代えて、乗算画像Ｇ４と白色光画像Ｇ１とを別々に並べて観察者に提示することとしてもよい。
【００４５】
また、本実施形態においては、画像処理装置１００が、内視鏡システム１と別体で設けられていてもよい。この場合、体内における挿入部２先端の現在位置および現在方向は、位置センサ４に代えてＸ線観察装置などによって体外から検出され、検出された現在位置および現在方向のデータはＸ線観察装置などから無線または有線によって画像処理装置１００に送信される。
【００４６】
また、本実施形態における乗算画像Ｇ４の表示態様は一例であり、適宜変更することができる。例えば、乗算処理回路１０５において輝度値の乗算により得られた積が所定値より大きい画素群を輪郭線で囲んだり、これらの画素群を重畳画像Ｇ５上において点滅表示させたりしてもよい。
【００４７】
また、本実施形態においては、表層画像Ｇ２および投影画像Ｇ３として、リンパ管Ａ１，Ａ２がともに明部として表示されている画像を用いることとしたが、これに代えて、赤外光画像のようなリンパ管が暗部として表示されている表層画像を用いてもよい、この場合には、輝度値を反転させた表層画像を投影画像との乗算処理を行えばよい。
【符号の説明】
【００４８】
１  内視鏡システム
２  挿入部
２１  対物光学系
２２  第１のフィルタターレット
３  照明ユニット
３１  光源
３２  第２のフィルタターレット
３３  カップリングレンズ
３４  ライトガイドファイバ
３５  照明光学系
４  位置センサ
５  コントロールユニット
５１  撮像素子
５２  タイミング制御部
５３  表示制御部
６  モニタ
１００  画像処理装置、画像処理部
１０１  白色光画像生成回路
１０２  蛍光画像生成回路
１０３  ３次元画像記憶回路（記憶部）
１０４  投影画像生成回路（投影画像生成部）
１０５  乗算処理回路（乗算処理部）
１０６  重畳処理回路（重畳処理部）
Ａ１  表層のリンパ管
Ａ２  深層のリンパ管
Ｇ１  白色光画像
Ｇ２  蛍光画像（表層画像）
Ｇ３  投影画像
Ｇ４  乗算画像
Ｇ５  重畳画像
Ｘ  被検体
【図１】
0005809850.tif 000002
【図２】
0005809850.tif 000003
【図３】
0005809850.tif 000004