(57)【要約】  手術支援システム１００Ａは、光源１１と、撮像部１２と、制御部２と、投影部１３とを備える。光源１１は、患部１０５に、励起光を含む所定の波長帯の光を照射する。撮像部１２は、患部１０５の蛍光発光による蛍光像を撮像する。制御部２は、撮像部１２が撮像した蛍光像に基づいて、投影用の画像データを生成する。投影部１３は、投影用の画像データに基づく投影画像を、可視光で患部１０５上に投影する。手術支援システム１００Ａは、撮像部１２に入射する光の撮像光軸Ｚ２と、投影部１３から出射した光の投影光軸Ｚ３’とを一致させた。
2015072047.tif 000002
【特許請求の範囲】
【請求項１】
被写体に、励起光を含む所定の波長帯の光を照射する励起光源と、
被写体の蛍光発光による蛍光像を撮像する撮像部と、
前記撮像部が撮像した蛍光像に基づいて、投影用の画像データを生成する制御部と、
前記投影用の画像データに基づく投影画像を、可視光で前記被写体上に投影する投影部と
を備え、
前記撮像部に入射する光の光軸と、前記投影部から出射した光の光軸とを一致させた
投影システム。
【請求項２】
前記被写体が発する蛍光の波長帯の光と、可視光とを分離して導光するダイクロイックミラーをさらに備え、
前記ダイクロイックミラーは、前記撮像部に入射する光の光軸と、前記投影部から出射した光の光軸とを、前記被写体上で一致させるように配置される
請求項１に記載の投影システム。
【請求項３】
前記撮像部に入射する光において、前記励起光のピーク波長を含む所定の波長帯成分を遮断する第１のフィルタと、
前記励起光源が照射する光において、前記蛍光のピーク波長を含む所定の波長帯成分を遮断する第２のフィルタと
をさらに備える
請求項１または２に記載の投影システム。
【請求項４】
可視光を含む所定の波長帯の光を前記被写体に照射する外部光源に取り付けられ、前記蛍光のピーク波長を含む所定の波長帯成分を遮断する第３のフィルタを備えた
請求項１〜３のいずれか１つに記載の投影システム。
【請求項５】
前記制御部は、
前記撮像部により撮像された蛍光像と前記投影画像との差分に応じて、前記蛍光発光した領域の画像と前記投影画像とが一致するように、前記投影用の画像データを補正する
請求項１〜４のいずれか１つに記載の投影システム。
【請求項６】
所定の形状を有する物体の画像データである形状情報を複数格納する記憶部をさらに備え、
前記制御部は、
前記記憶部に格納された複数の形状情報の中から、前記撮像部により撮像された蛍光像との類似度に基づいて形状情報を選択して、
前記選択した形状情報が示す形状を有する画像が、前記蛍光発光した領域に投影されるように、前記投影用の画像データを生成する
請求項１〜４のいずれか１つに記載の投影システム。
【請求項７】
前記被写体は、患者の患部、及び医療機器を含む
請求項１〜６のいずれか１つに記載の投影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像した被写体の画像を、その被写体の表面に投影する投影システムに関する。
【背景技術】
【０００２】
特許文献１は、外科手術を受ける生体の患部を示す画像データを蛍光像撮像装置から出力させ、画像投影装置により上記画像データによる画像を再生し、実際の患部上に表示させる外科手術支援システムを開示する。生体の患部には、所定の波長の光を照射することで蛍光を発する物質が、あらかじめ投与されている。つまり、このシステムは、蛍光発光した患部を撮像して得られる画像を実際の患部に投影することで、病変部の確認の支援をしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２４０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このようなシステムは、投影する被写体の画像を、実際の被写体上に精度よく投影することが重要である。【０００５】
本開示は、被写体の画像を撮像して被写体上に投影する投影システムにおいて、実際の被写体と、投影される画像との位置ずれを低減できる投影システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示にかかる投影システムは、励起光源と、撮像部と、制御部と、投影部とを備える。励起光源は、被写体に、励起光を含む所定の波長帯の光を照射する。撮像部は、被写体の蛍光発光による蛍光像を撮像する。制御部は、撮像部が撮像した蛍光像に基づいて、投影用の画像データを生成する。投影部は、投影用の画像データに基づく投影画像を、可視光で被写体上に投影する。投影システムは、撮像部に入射する光の光軸と、投影部から出射した光の光軸とを一致させた。
【発明の効果】
【０００７】
本開示における投影システムによれば、撮像部に入射する光の光路と投影部から出射した光の光路とが被写体上で一致するので、実際の被写体と、投影される画像との位置ずれを低減することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１にかかる手術支援システムの構成を示す概略図
【図２Ａ】メモリに格納されるカテーテルの画像データの例を示す図
【図２Ｂ】メモリに格納される鉗子の画像データの例を示す図
【図２Ｃ】メモリに格納されるメルシーの画像データの例を示す図
【図３】鉗子のバリエーションの画像データの例を示す図
【図４】実施の形態１にかかる手術支援システムにおける投影画像の生成処理を説明するためのフローチャート
【図５】実施の形態１にかかる手術支援システムにおける術野の状態を示す説明図
【図６】実施の形態１の変形例における投影画像の生成処理を説明するためのフローチャート
【図７】実施の形態１の変形例にかかる手術支援システムにおける術野の状態を示す説明図
【図８】実施の形態２にかかる手術支援システムの構成を示す概略図
【図９】実施の形態２の変形例にかかる手術支援システムの構成を示す概略図
【図１０】実施の形態３にかかる手術支援システムの構成を示す概略図
【図１１】実施の形態３にかかる手術支援システムの各種の光において遮光する波長帯を説明するための図
【図１２】実施の形態４にかかる手術支援システムの構成を示す概略図
【図１３】実施の形態４にかかる手術支援システムの各種の光において遮光する波長帯を説明するための図
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１０】
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１１】
以下の実施形態では、投影システムの一例として、医療現場で用いられる手術支援システムを例として用いて説明する。
【００１２】
（実施の形態１）
１−１．構成
１−１−１．手術支援システムの概要
図１は、実施の形態１にかかる手術支援システムの構成を示す概略図である。手術支援システムは、投影システムの一例である。
【００１３】
本実施の形態の手術支援システムは、術野における患部の蛍光像を撮像し、撮像した画像から患部の蛍光発光した領域を検出し、検出した領域に対応する被写体の領域に可視光で投影画像を投影する。これにより、本手術支援システムのユーザ（医師等）は、患者の患部の位置などを目視で確認することができる。
【００１４】
手術が行われる場合、チューブやカテーテルなどの医療機器が患者の体内に挿入される。通常、患者の体内に挿入された医療機器は、外部から目視で確認することができない。本実施の形態の手術支援システムは、医療機器が挿入された領域の表面に、その医療機器の形状を表す画像を投影する。これにより、医師等は、患者の体内に挿入された医療機器の位置などを確認することができる。
【００１５】
ここで、術野に投影した投影画像の領域と、術野における蛍光発光した患部や医療機器などの被写体の領域とがずれると、患部などの位置が誤認されるという問題がある。そこで、本実施の形態の手術支援システムは、撮像部に入射する光の光軸と、投影部から出射した光の光軸とを平行に設定する。これにより、蛍光発光した領域と、投影画像の領域とのずれが低減される。そのため、医師等は患者の患部などの領域を正しく確認することができる。
【００１６】
１−１−２．手術支援システムの構成
以下、手術支援システム１００の構成を詳細に説明する。
【００１７】
手術支援システム１００は、撮像投影装置１と、制御部２と、メモリ４とから構成されている。撮像投影装置１は、光源１１と、撮像部１２と、投影部１３とを備える。
【００１８】
図１に示すように、手術を受ける患者１０の術野１０１には、患部１０５や医療機器２０が含まれる。撮像投影装置１の撮像部１２は、術野１０１を撮像する。制御部２は、手術支援システム１００の各部を制御する。制御部２は、撮像投影装置１が撮像した画像を示す画像データ（撮像データ）に基づいて、患部１０５や医療機器の形状を示す投影画像の投影用の画像データを生成する。投影部１３は、投影用の画像データに基づいて投影画像を生成して、術野１０１に投影する。
【００１９】
メモリ４は、形状情報を格納する。制御部２は、メモリ４から形状情報を読み出して所定の処理を行う。形状情報は、医療機器の形状を示す画像データである。形状情報の詳細は後述する。メモリ４は、記憶部の一例である。メモリ４としては、例えば不揮発性メモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）が用いられる。
【００２０】
手術を受ける患者１０には、所定の波長の光（励起光）によって励起されると蛍光を発する光感受性物質が、あらかじめ血液やリンパ液等に投与される。光感受性物質は、血液やリンパ液の流れが滞っている患部１０５に光感受性物質が蓄積される。光感受性物質は、例えば近赤外光を照射されると励起して蛍光を発する物質であり、例えばインドシアニングリーンである。光感受性物質が蓄積された患部１０５は、光源１１から励起光を照射されることで蛍光発光する。
【００２１】
手術に使用される医療機器２０は、励起されると蛍光を発する光感受性物質が、表面に塗布され、または練り込まれている。
【００２２】
光源１１は、光感受性物質の励起波長領域内の波長を有する励起光を照射する。例えば、光源１１は、近赤外の波長帯の光を照射する。光源１１は、励起光源の一例である。光源１１は、撮像部１２及び投影部１３の周囲を取り囲むように配置されている。
【００２３】
撮像部１２は、例えば高感度のＣＣＤカメラ等で構成される。撮像部１２は、レンズ等で構成される撮像光学系を内部に含んでいる。撮像部１２は、患部１０５や医療機器２０の光感受性物質の蛍光発光による蛍光像を撮像して、撮像データを生成する。撮像データは、蛍光発光した領域の蛍光像を示す画像データであり、制御部２に入力される。また、撮像部１２は、蛍光像とともに術野１０１の可視光像を撮像してもよい。撮像部１２は、例えば可視光、蛍光、および励起光の内で一つまたは複数の種類の光を検出できるカメラを複数組み合わせたカメラ群から構成されることで、上記の全ての種類の光を検出できる。本実施の形態では、撮像部１２は、蛍光像を示す撮像データを生成する。撮像部１２は、蛍光像と可視光像を含む撮像結果の画像全体のデータを制御部２に出力してもよく、その場合、制御部２が撮像結果の画像全体から蛍光像を抽出するようにしてもよい。
【００２４】
制御部２は、撮像投影装置１の動作を制御する機能を有する。また、制御部２は、撮像部１２から撮像データを取得して、撮像データに基づいて患部１０５や医療機器の形状を示す投影用の画像データを生成する。
【００２５】
制御部２は、医療機器の形状を示す投影画像を投影する場合、メモリ４から形状情報（詳細は後述）を読み出して、投影用の画像データを生成する。また、制御部２は、患部１０５の形状を示す投影画像を投影する場合、撮像データにおける患部１０５の蛍光像を示す投影用の画像データを生成する。制御部２は、撮像データにおける蛍光像の形状や波長帯に基づいて、患部１０５と医療機器２０とを判別する（詳細は後述）。
【００２６】
制御部２は、生成した投影用の画像データを投影部１３に出力する。制御部２は、例えばＣＰＵやＭＰＵで構成され、所定のプログラムを実行することによってその機能を実現する。なお、制御部２の機能は、専用に設計された電子回路により実現されてもよい。
【００２７】
投影部１３は、制御部２からの画像データに基づいて投影画像を生成し、医療機器２０が挿入された患部などの表面上に、投影画像を投影する。投影部１３は、例えばプロジェクタ等からなる。投影部１３は、レンズ等で構成される投影光学系を内部に含んでいる。
【００２８】
本実施の形態において、撮像部１２に入射する光の光軸を、「撮像光軸」という。撮像光軸Ｚ２は、撮像部１２の撮像光学系によって規定される。また、投影部１３から出射した光の光軸を、「投影光軸」という。投影光軸Ｚ３は、投影部１３の投影光学系によって規定される。図１に示すように、撮像部１２と投影部１３とは、患部１０５の上方向において、撮像光軸Ｚ２と、投影光軸Ｚ３とが平行になるように、隣接して並列に配置される。これにより、撮像部１２が撮像する術野１０１内の領域と、投影部１３が投影画像を投影する領域との位置ずれを低減できる。光源１１は、撮像光軸Ｚ２と投影光軸Ｚ３を、ともに取り囲むように配置される。
【００２９】
メモリ４は、制御部２が形状情報を読み出して後述の処理を行えるように、制御部２に接続されている。形状情報は、医療機器の形状を示す画像データである。なお、形状情報は、医療機器の形状に限らず、所定の形状を有する物体の画像データであってもよい。
【００３０】
図２Ａ〜２Ｃは、メモリ４が格納する複数種類の手術器具のそれぞれの形状情報の例を示す。図２Ａは、カテーテルの画像データ５１を示し、図２Ｂは、鉗子の画像データ５２を示し、図２Ｃは、メルシーリトリーバ（以下、メルシーという。）の画像データ５３を示す。各画像データ５１〜５３は、それぞれの手術器具の形状情報の一例である。
【００３１】
カテーテルは、患者１０の体内に挿入される管状の手術器具である。カテーテルの画像データ５１の特徴の１つは、長手方向５１ｂに沿って先端部５１ａまで一定の幅で延在することである。
【００３２】
鉗子は、患部や縫合糸を把持したり、牽引したりするために用いられる手術器具である。鉗子の画像データ５２の特徴の１つは、先端に設けられた二股形状の把持部５２ａである。図３は、図２Ｂの鉗子のバリエーションの画像データの例を示す。鉗子の画像データ５２Ａ〜５２Ｃにおいて、把持部５２ａはそれぞれ異なる角度で開いている。メモリ４は、鉗子の画像データ５２Ａ〜５２Ｃなどのバリエーションの画像データも形状情報として格納する。
【００３３】
メルシーは、血栓を取り除くために血管等に挿入される手術器具であり、血栓を絡め取るためのループワイヤとフィラメントを有する。メルシーの画像データ５３の特徴の１つは、先端に設けられたらせん形状のループワイヤ５３ａである。メルシーの画像データ５３は、糸状のフィラメント５３ｂを有する。
【００３４】
なお、手術支援システム１００において、例えば患部１０５の形状を示す投影画像のみを投影する場合など、医療機器の形状を示す投影画像を投影しない場合、手術支援システム１００は、メモリ４を備えなくてもよい。
【００３５】
１−２．動作
以上のように構成された手術支援システム１００の動作を、以下説明する。
【００３６】
図４は、手術支援システム１００における投影画像の生成処理を説明するためのフローチャートである。図５（ａ）は、手術支援システム１００における術野の状態を示す説明図である。図５（ｂ）は、図５（ａ）の術野に対して投影画像の生成処理を行った状態を示す説明図である。
【００３７】
まず制御部２は、光源１１を駆動して、患部１０５を含む術野１０１に励起光を照射する（ステップＳ１１０）。光源１１からの励起光が、患者１０の患部１０５や医療機器２０の光感受性物質を励起することにより、図５（ａ）に示すように、患部１０５や医療機器２０は蛍光発光する。
【００３８】
次に、制御部２は、撮像投影装置１により、撮像部１２から術野１０１を撮像する（ステップＳ１２０）。このとき、撮像部１２は、患部１０５や医療機器２０の光感受性物質による蛍光像を示す撮像データを生成する。撮像データは、制御部２に出力される。
【００３９】
制御部２は、撮像データに基づいて、投影用の画像データを生成する（ステップＳ１３０）。制御部２は、撮像データにおける蛍光像に基づいて、蛍光像の形状を示す投影画像を可視光で表示するための投影用の画像データを生成する。制御部２は、投影用の画像データを投影部１３に出力する。
【００４０】
このとき、まず、制御部２は、投影画像を投影する対象が患部１０５であるか医療機器２０であるかを、撮像データにおける蛍光像の形状に基づいて判別する。なお、制御部２は、例えば撮像データにおける蛍光像の波長帯に基づいて、患部１０５と医療機器２０とを判別してもよい。この場合、予め患部１０５と医療機器２０とに異なる波長帯で蛍光発光する光感受性物質を含ませておく。
【００４１】
患部１０５が投影画像を投影する対象である場合、制御部２は、撮像データにおける蛍光像自体の形状を示す投影用の画像データを生成する。
【００４２】
医療機器２０が投影の対象である場合、制御部２は、メモリ４に格納された複数の形状情報の中から、蛍光像との類似度に基づいて形状情報を選択して、その形状情報が示す形状を表す投影用の画像データを生成する。例えば、制御部２は、図２Ａ〜２Ｃに示す手術器具の画像データ５１〜５３のうち、撮像データの蛍光像と最も類似した画像データを選択して、その画像を投影部１３に投影させる。
【００４３】
投影部１３は、術野１０１において、患部１０５表面の蛍光発光している領域に、投影用の画像データに基づく投影画像を投影する（ステップＳ１４０）。投影画像によって、医師等は、図５（ｂ）に示すように、術野１０１において患部１０５や医療機器２０の位置や形状を明瞭に視認することができる。
【００４４】
以上の処理は、所定サイクル（例えば１／６０秒）で繰り返し実行される。これにより、例えば１／６０秒に１度撮像された画像が投影されることとなり、ユーザはリアルタイムの映像として患部１０５の位置や形状を視認できる。
【００４５】
上述の処理において用いられる各種の光の光路について、図１を用いて説明する。
【００４６】
図１において、撮像部１２と投影部１３は、患部１０５の上方において隣接して並列に配置されている。光源１１は、撮像部１２の撮像光軸Ｚ１と投影部１３の投影光軸Ｌ３とをともに取り囲むように配置され、励起光Ｌ１を照射する。
【００４７】
光源１１から照射される励起光Ｌ１によって患部１０５に蓄積された光感受性物質から発する蛍光は、撮像光軸Ｚ２に沿った光路（以下、「撮像光路」という。）Ｌ２を通って、撮像部１２に入射する。また、投影装置３から投影画像は、投影光軸Ｚ３に沿った光路（以下、「投影光路」という。）Ｌ３を通って患部１０５に投影される。このとき、撮像光軸Ｚ２と投影光軸Ｚ３が平行となるように構成されているので、撮像光路Ｌ２と投影光路Ｌ３は平行である。
【００４８】
撮像部１２と投影部１３の少なくとも一方が患部１０５（被写体）に対して傾いて配置されている場合、患部１０５と投影画像との間にずれが発生することは避けがたい。これに対して、図１に示すように撮像部１２の撮像光軸Ｚ２と投影部１３の投影光軸Ｚ３とが平行になるように、撮像部１２と投影部１３とが配置されているため、撮像光路Ｌ２と投影光路Ｌ３とが平行になり、患部１０５と投影画像とのずれが低減される。
【００４９】
１−３．効果等
以上のように、本実施の形態において、手術支援システム１００は、光源１１と、撮像部１２と、制御部２と、投影部１３とを備える。光源１１は、励起光に反応して蛍光を発する患部１０５に、励起光を含む所定の波長帯の光を照射する。撮像部１２は、患部１０５の蛍光発光による蛍光像を撮像する。制御部２は、撮像部１２が撮像した蛍光像に基づいて、投影用の画像データを生成する。投影部１３は、投影用の画像データに基づく投影画像を、可視光で患部１０５上に投影する。撮像光軸Ｚ２と、投影光軸Ｚ３とが、平行に設定される。
【００５０】
上述の構成により、撮像光軸Ｚ２に沿った撮像光路Ｌ２と投影光軸Ｚ３に沿った投影光路Ｌ３とが平行となり、患部１０５の蛍光発光した領域と、投影画像が投影される領域とのずれを低減することができる。
【００５１】
１−３−１．変形例
図６は、投影画像の生成処理の変形例を示す。本手術支援システム１００では投影画像の生成処理において、投影部１３から投影された投影画像を検出して、投影用の画像データを補正することで、新たな投影画像の位置ずれを補正してもよい。
【００５２】
図６に示すフローチャートにおいて、投影部１３から投影画像が投影された後（ステップＳ１４０）、制御部２は、画像データ補正処理を行う（ステップＳ１６０）。画像データ補正処理は、術野１０１に実際に投影された投影画像と蛍光像とを検出して、投影画像と蛍光像の差分に応じて投影用の画像データを補正する処理である。
【００５３】
補正された投影用の画像データは、再度、投影部１３に出力される。投影部１３は、補正された投影用の画像データに基づく投影画像を、術野１０１の患部１０５に投影する（ステップＳ１４０）。制御部２は、終了のための操作が行われるまで（ステップＳ１５０）、投影用の画像データの補正を繰り返し実行する（ステップＳ１６０）。
【００５４】
図７を用いて、患部が時間経過とともに移動した場合における画像データ補正処理を説明する。
【００５５】
図７（ａ）は、投影部１３からの投影画像３４の位置と患部１０５の位置とが一致して、投影画像３４が投影された状態を示す。図７（ｂ）は、図７（ａ）に示す術野１０１の状態から、患部１０３が移動した状態を示す。患部１０３が移動することで、図７（ｂ）に示すように移動後の患部１０３’の蛍光発光領域と、投影部１３からの投影画像３４の投影領域との間に、ずれが発生する。これに対して、手術支援システム１００の制御部２は、以下のように上述の画像データ補正処理を行う。
【００５６】
まず、制御部２は、患部１０３の領域であって、かつ投影画像３４が表示されていない領域１０３ａを検出して、その領域１０３ａに投影画像の表示を行うように、投影用の画像データを補正する。
【００５７】
また、制御部２は、蛍光発光していない領域であって、かつ投影画像３４がずれて表示されている領域３４ａを検出して、その領域３４ａにおいて投影画像３４を表示させないように、投影用の画像データを補正する。
【００５８】
以上のように、術野１０１に実際に投影された投影画像と蛍光像とを検出して、投影画像と蛍光像の差分に応じて投影用の画像データを補正することで、図７（ｃ）に示すように、移動後の患部１０３’と投影画像３４’とを一致させることができ、投影部１３による表示のずれを解消することができる。このように、画像データ補正処理によって、患部の表面形状や動きによってずれが生じても、適正な位置に患部の画像を投影することができる。
【００５９】
（実施の形態２）
以下、図８，９を用いて、実施の形態２における手術支援システムを説明する。実施の形態１に係る手術支援システム１００においては、撮像部１２に入射する光の撮像光路Ｌ２と投影部１３から出射した光の投影光路Ｌ３とが平行であるが、一致してはいない（図１参照）。そのため、撮像した患部（被写体）と同一の蛍光像の形状を有する投影画像を投影しても、患部と投影画像との間に若干のずれが生じる。そこで、本実施の形態の手術支援システム１００Ａにおいては、撮像部１２に入射する光の光軸と投影部１３から出射した光の光軸とを一致させることで、各部の配置位置による患部と投影画像とのずれをより低減できる。
【００６０】
以下、実施の形態１に係る手術支援システム１００と同様の構成、動作の説明は適宜、省略して、手術支援システム１００Ａを説明する。
【００６１】
２−１．構成
図８は、実施の形態２にかかる手術支援システムの構成を示す概略図である。手術支援システム１００Ａは、撮像投影装置１Ａと、制御部２とを備える。撮像投影装置１Ａは、実施の形態１と同様に光源１１と、撮像部１２と、投影部１３とを備え、さらにダイクロイックミラー部１４を備える。
【００６２】
ダイクロイックミラー部１４は、撮像部１２で撮像する蛍光像の蛍光波長帯と同一の波長帯の光を透過し、可視光を反射するダイクロイックミラーで構成される。例えば、ダイクロイックミラー部１４は、近赤外光を透過し、可視光を反射するダイクロイックミラーで構成される。ダイクロイックミラー部１４は、可視光の光路を反射によって９０°曲げる。
【００６３】
撮像部１２と投影部１３とは、撮像光軸Ｚ２と投影光軸Ｚ３’とが一致するように、ダイクロイックミラー部１４を介して互いに直交した向きで配置される。投影光軸Ｚ３’は、投影部１３の投影光学系とダイクロイックミラー部１４によって規定される、投影部１３から出射した光の光軸である。投影部１３からの可視光がダイクロイックミラー部１４において反射されることで、撮像光軸Ｚ２と投影光軸Ｚ３’とが一致する。これにより、患部１０５等の被写体上で、撮像部１２が撮像する領域と、投影部１３が投影画像を投影する領域との位置ずれを解消できる。
【００６４】
実施の形態１では、光源１１と撮像部１２とを隣接して配置した。本実施の形態の撮像投影装置１Ａでは、光源１１と撮像部１２との間にダイクロイックミラー部１４を配置する。これに合わせて、撮像部１２の（図示しない）撮像光学系は、ダイクロイックミラー部１４と干渉しないように、撮像部１２の内部に収める構成としている。また、投影部１３も、ダイクロイックミラー部１４との干渉を避けるために、（図示しない）投影光学系を投影部１３の内部に収める構成としている。
【００６５】
２−２．動作
以上のように構成された手術支援システム１００Ａの動作を、以下説明する。
【００６６】
本実施の形態の手術支援システム１００Ａは、実施の形態１と同様の投影画像の生成処理を行う（図４参照）。以下、本実施の形態の投影画像の生成処理において用いられる各種の光の光路について、説明する。
【００６７】
図８に示すように、撮像部１２の撮像光軸Ｚ２と投影部１３の投影光軸Ｚ３’を取り囲むように配置された光源１１から照射された励起光Ｌ１は、患部１０５に蓄積する光感受性物質を励起し、励起された光感受性物質は蛍光を発する。
【００６８】
患部１０５に蓄積された光感受性物質からの蛍光は、ダイクロイックミラー部１４内部を直進し、撮像光軸Ｚ２に沿った撮像光路Ｌ２を通って撮像部１２に入射する。
【００６９】
一方、投影画像を投影するために投影部１３から出射した光は、撮像光軸Ｚ２と直交する投影光路Ｌ３ａを進んでダイクロイックミラー部１４に入射し、ダイクロイックミラー部１４における反射によって進行方向を９０°変えられ、投影光路Ｌ３ｂに沿ってダイクロイックミラー部１４を出射する。投影光路Ｌ３ｂは、投影光軸Ｚ３’に沿った光路である。その後、投影画像を投影するための光は、投影光路Ｌ３ｂを進んで患部１０５に投影される。
【００７０】
なお、図８は、説明の便宜のために撮像光路Ｌ２と投影光路Ｌ３ｂとが重ならないように図示されているが、これらの光路は一致している。
【００７１】
このように、本実施の形態の撮像投影装置１Ａにおいては、撮像光路Ｌ２と投影光路Ｌ３ｂとが一致している。このため、撮像部１２において撮像した患部１０５と同一の蛍光像の形状を有する投影画像と、投影画像が投影される実際の患部１０５との間に位置ずれが生じない。
【００７２】
なお、図８に示す撮像投影装置１Ａにおいて、撮像部１２と投影部１３の配置位置を入れ替えてもよい。この場合、ダイクロイックミラー部１４において、蛍光発光の波長帯の光を反射するとともに、可視光を透過するダイクロイックミラーを用いる。そして、撮像部１２に入射する光をダイクロイックミラー部１４において反射させることで、撮像光軸と投影光軸とを一致させる。これにより、上述と同様の効果が得られる。
【００７３】
また、ダイクロイックミラー部１４を構成するダイクロイックミラーを、光感受性物質が発する蛍光の波長帯の光のみを透過するダイクロイックミラーにしてもよい。あるいは、撮像部１２とダイクロイックミラー部１４との間に、光感受性物質が発する蛍光の波長帯の光のみを透過するフィルタを配置してもよい。このようにすることで、撮像部１２には光感受性物質が発する蛍光のみが結像する。そのため、撮像部１２で撮像された画像の制御部２による画像処理が容易になる。
【００７４】
２−３．効果等
以上のように、本実施の形態において、手術支援システム１００Ａは、光源１１と、撮像部１２と、制御部２と、投影部１３とを備える。光源１１は、患部１０５に、励起光を含む所定の波長帯の光を照射する。撮像部１２は、患部１０５の蛍光発光による蛍光像を撮像する。制御部２は、撮像部１２が撮像した蛍光像に基づいて、投影用の画像データを生成する。投影部１３は、投影用の画像データに基づく投影画像を、可視光で患部１０５上に投影する。手術支援システム１００Ａは、撮像部１２に入射する光の撮像光軸Ｚ２と、投影部１３から出射した光の投影光軸Ｚ３’とを一致させた。
【００７５】
上述の構成により、撮像光軸Ｚ２に沿った撮像光路Ｌ２と投影光軸Ｚ３’に沿った投影光路Ｌ３とが患部１０５上で一致するので、患部１０５の蛍光発光した領域と、投影画像が投影される領域との位置ずれを低減することができる。
【００７６】
２−３−１．変形例
実施の形態２では、光源を撮像部に隣接して配置して、撮像投影装置を構成した。しかしながら、光源は撮像部と隣接して配置する必要はない。以下、図９を用いて、実施の形態２の変形例を説明する。
【００７７】
図９は、実施の形態２の変形例にかかる手術支援システムの構成を示す概略図である。手術支援システム１００Ｂにおいては、患部１０５を挟んで撮像投影装置１Ｂの反対側に、光源１１’を配置している。
【００７８】
光源１１’は、撮像光軸Ｚ２と第２の投影光軸Ｚ３’を取り囲んでいない位置に配置されている。そのため、光源１１’として、点光源や面光源など、患部１０５に励起光Ｌ１を照射するのに適した光源を選択することができる。
【００７９】
なお、手術支援システム１００Ｂにおいては、撮像部１２が励起光Ｌ１によって患部１０５（被写体）に蓄積した光感受性物質が発生する蛍光を撮像する構成に代えて、患部１０５に光感受性物質を導入することなく、光源１１’から照射された患部１０５を透過した光を撮像する構成としてもよい。この場合、光源１１’から、赤外線、可視光線、紫外線の他にＸ線、γ線などの光（電磁波）を照射してもよい。光源１１’から照射する電磁波は、電波を除く周波数範囲の電磁波であってもよい。
【００８０】
（実施の形態３）
以下、図１０，１１を用いて、実施の形態３を説明する。実施の形態２では、撮像光軸と投影光軸とが一致するように撮像投影装置を構成した。本実施の形態では、さらに、撮像部に入射する光の波長帯を制限する。
【００８１】
以下、実施の形態１，２と同様の構成、動作の説明は適宜、省略して、手術支援システム１００Ｃを説明する。
【００８２】
３−１．手術支援システムの概要
撮像部によって患部等の被写体の蛍光像を検出する際、被写体の蛍光発光以外の光において、被写体の蛍光発光と同じ波長帯の成分は、検出ノイズとなる。特に、光源から照射する励起光は、被写体を蛍光発光させるために必要だが、検出ノイズになることもある。そこで、本実施の形態では、撮像部に入射する光と光源から照射する光において、検出ノイズになり得る波長帯成分をフィルタによって遮光する。
【００８３】
３−２．手術支援システムの構成
図１０は、実施の形態３にかかる手術支援システムの構成を示す概略図である。手術支援システム１００Ｃは、撮像投影装置１Ｃと、制御部２とを備える。撮像投影装置１Ｃは、実施の形態２の撮像投影装置１Ａと同様に光源１１と、撮像部１２と、投影部１３とを備え、さらに、遮断フィルタ（第２のフィルタ）ｆ１と、透過フィルタ（第１のフィルタ）ｆ２とを備える。
【００８４】
遮断フィルタｆ１は、光源１１上に貼り付けられたフィルムフィルタである。遮断フィルタｆ１は、光源１１から照射される光において、患部１０５等の被写体に含まれる光感受性物質の蛍光発光のピーク波長帯以上を遮光するショートパスフィルタ（長波長カットフィルタ）で構成される。遮断フィルタｆ１は、光源１１から照射される光において、患部１０５等の蛍光発光のピーク波長よりも小さい励起光のピーク波長成分を透過する。
【００８５】
透過フィルタｆ２は、撮像部１２に内蔵されたフィルムフィルタである。透過フィルタｆ２は、撮像部１２に入射する光において、患部１０５等の蛍光発光のピーク波長を含む所定の波長帯成分を透過するバンドパスフィルタで構成される。透過フィルタｆ２が透過させる波長帯成分は、可視光の波長帯を含まず、また励起光のピーク波長よりも大きい。
【００８６】
図１１は、本実施の形態にかかる手術支援システムの各種の光において遮光する波長帯成分を示す図である。図１１において、本実施の形態において被写体に含まれる光感受性物質であるインドシアニングリーンの蛍光と励起光が有する波長帯を示す。インドシアニングリーンの蛍光は、略８１０ｎｍ〜８９０ｎｍの波長帯を有し、ピーク波長は略８５０ｎｍである。一方、インドシアニングリーンの励起光は、略７３０ｎｍ〜８６０ｎｍの波長帯を有し、ピーク波長は略７８０ｎｍである。そのため、インドシアニングリーンの蛍光と励起光は、一部の波長帯において重畳する。この重畳した波長帯における励起光が患部１０５に照射されると、患部１０５の蛍光発光と患部１０５表面における励起光の反射光との判別がつかなくなり、検出ノイズを生じる。
【００８７】
これに対して、手術支援システム１００Ｃにおいては、遮断フィルタｆ１と透過フィルタｆ２によって、それぞれ光源１１から照射する光（励起光）と撮像部１２に入射する光（検出光）との間で、上記の重畳した波長帯を分離するように遮光する。具体的には、遮断フィルタｆ１によって、光源１１から照射する光（励起光）において波長８００ｎｍ未満の波長帯成分を透過させ、波長８００ｎｍ以上の波長帯成分を遮光する。さらに、透過フィルタｆ２によって、撮像部１２に入射する光において波長８２０ｎｍ〜８８０ｎｍの波長帯成分を透過させ、波長８２０ｎｍより小さい、あるいは波長８８０ｎｍより大きい波長帯成分を遮光する。
【００８８】
これにより、撮像部１２が蛍光発光の波長帯と重なる波長帯の励起光の成分を受光することを抑制して、検出ノイズを低減できる。また、透過フィルタｆ２において蛍光のピーク波長の成分は透過させることにより、蛍光像の検出効率を維持できる。遮断フィルタｆ１において励起光のピーク波長の成分は透過させることにより、患部１０５を蛍光発光させる効率を維持できる。
【００８９】
３−３．効果等
以上のように、本実施の形態において、手術支援システム１００Ｃは、光源１１と、撮像部１２と、制御部２と、投影部１３とを備える。光源１１は、患部１０５に、励起光を含む所定の波長帯の光を照射する。撮像部１２は、患部１０５の蛍光発光による蛍光像を撮像する。制御部２は、撮像部１２が撮像した蛍光像に基づいて、投影用の画像データを生成する。投影部１３は、投影用の画像データに基づく投影画像を、可視光で患部１０５上に投影する。手術支援システム１００Ｃは、撮像部１２に入射する光の撮像光軸Ｚ２と、投影部１３から出射した光の投影光軸Ｚ３’とを一致させた。
【００９０】
手術支援システム１００Ｃは、透過フィルタ（第１のフィルタ）ｆ２と、遮断フィルタ（第２のフィルタ）ｆ１とをさらに備える。透過フィルタｆ２は、撮像部１２に入射する光において、励起光のピーク波長を含む所定の波長帯の成分を遮断する。蛍光遮断フィルタｆ１は、光源１１が照射する光において、蛍光のピーク波長を含む所定の波長帯の成分を遮断する。
【００９１】
上述の構成により、撮像部１２が蛍光発光の波長帯と重なる波長帯の励起光の成分を受光することを抑制して、撮像部１２によって患部等の被写体の蛍光像を検出する際の検出ノイズを低減できる。
【００９２】
また、撮像部１２の特性によって蛍光発光以外の波長帯の光をも検出し得る場合であっても、透過フィルタｆ２で蛍光のピーク波長を含む所定の波長帯成分のみ透過させることにより、そのような機器特性による検出ノイズを抑制できる。また、光源１１の特性によって、励起光以外の波長帯の光をも照射される場合であっても、遮断フィルタｆ１で励起光のピーク波長を含む所定の波長帯成分のみ透過させることにより、そのような機器特性による検出ノイズを抑制できる。
【００９３】
（実施の形態４）
以下、図１２，１３を用いて、実施の形態４を説明する。実施の形態３では、撮像部に入射する光と光源から照射する光において、検出ノイズとなる波長帯成分を遮光したが、本実施の形態では、さらに外光において検出ノイズとなる波長帯成分を遮光する。
【００９４】
以下、実施の形態１〜３と同様の構成、動作の説明は適宜、省略して、手術支援システム２００を説明する。
【００９５】
４−１．手術支援システムの概要
手術を行う際には、励起光を照射する光源の他にも、術野を可視光で照らす外部光源（蛍光灯や無影灯など）が使用される。図１１に示すように、外部光源からの外光には、一般的に可視光領域以外の波長帯成分が含まれ、これによって検出ノイズが生じる。そこで、本実施の形態では、外光において検出ノイズになる波長帯成分を遮光する。
【００９６】
４−２．手術支援システムの構成
図１２は、実施の形態４にかかる手術支援システムの構成を示す概略図である。
【００９７】
本実施の形態の手術支援システム２００は、実施の形態３と同様に、撮像投影装置１Ｃと、制御部２とを備え、遮断フィルタ（第３のフィルタ）ｆ７，ｆ８をさらに備える。また、手術支援システム２００の周囲には、無影灯７と、蛍光灯８とが配置されている。
【００９８】
無影灯７は、反射板などによって照射する光を乱反射することで、影を生じにくくなるように構成された照明器具である。無影灯７は、可視光を含む所定の波長帯の光を照射して、術野１０１を照らす。無影灯７は、白熱電球、ハロゲン電球、ＬＥＤ照明などで構成される。無影灯７には、フィルムフィルタで構成される遮断フィルタｆ７が貼り付けられている。遮断フィルタｆ７は、患部１０５の蛍光発光のピーク波長帯以上を遮光するショートパスフィルタである。
【００９９】
蛍光灯８は、白色光を生成する蛍光ランプであり、術野１０１を含む手術室全体を照らす。蛍光灯８には、フィルムフィルタで構成される蛍光遮断フィルタｆ８が貼り付けられている。蛍光遮断フィルタｆ８は、患部１０５の蛍光発光のピーク波長帯以上を遮光するショートパスフィルタである。なお、蛍光灯８に代えて、白熱球やＬＥＤ照明を用いてもよい。
【０１００】
図１３は、実施の形態４にかかる手術支援システムの各種の光において遮光する波長帯を説明するための図である。図１３において、被写体に含まれる光感受性物質であるインドシアニングリーンの蛍光と励起光とともに、無影灯７や蛍光灯８などの外部光源からの光が有する波長帯を示す。外部光源からの光には、光源の特性によって可視光領域だけでなく近赤外領域の波長帯成分も含まれるため、インドシアニングリーンの蛍光と、一部の波長帯において重畳する。例えば、白色光を生成する蛍光ランプのスペクトルには、近赤外領域の波長帯成分も含まれる。
【０１０１】
これに対して、手術支援システム２００においては、遮断フィルタｆ７，ｆ８によって、外光から患部１０５の蛍光発光と同じ波長帯成分を遮光する。具体的には、遮断フィルタｆ７，ｆ８によって、無影灯７や蛍光灯８からの光のうち、波長８００ｎｍ未満の波長帯成分を透過させ、波長８００ｎｍ以上の波長帯成分を遮光する。
【０１０２】
これにより、無影灯７や蛍光灯８から、撮像部１２が蛍光発光の波長帯と重なる波長帯の外光の成分を受光することを抑制して、検出ノイズを低減できる。また、蛍光遮断フィルタｆ７，ｆ８によって、外光において波長８００ｎｍ未満の波長帯成分を透過させることで、可視光とともに励起光のピーク波長の外光の成分を透過させ、患部１０５を蛍光発光させる効率を向上できる。
【０１０３】
４−３．効果等
以上のように、本実施の形態において、手術支援システム２００は、手術支援システム１００Ｃと比較して、可視光を含む所定の波長帯の光を患部１０５に照射する無影灯７及び蛍光灯８に取り付けられ、蛍光のピーク波長を含む所定の波長帯成分を遮断する遮断フィルタ（第３のフィルタ）ｆ７，ｆ８を備えた。
【０１０４】
上述の構成により、撮像部１２が蛍光発光と重なる波長帯の外光の成分を受光することを抑制して、検出ノイズを低減できる。
【０１０５】
（その他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜３を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０１０６】
そこで、以下、他の実施の形態を例示する。
【０１０７】
実施の形態１〜４では、手術などの医療用途を例に挙げて説明したが、本発明はこれには限らない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合、本発明を適用することができる。
【０１０８】
具体的には、実施の形態１の医療機器に代えて、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、撮像部１２による撮像の対象である撮像対象物とする。それとともに、上記対象物の形状に関する形状情報を、メモリ４に格納することにより、実施の形態１，３と同様に、本発明を適用することができる。
【０１０９】
実施の形態１においては、メモリ４に格納した手術器具の画像データ５１〜５３を例示した。しかし、メモリ４は、手術器具を含む医療機器の画像データを格納してもよい。
【０１１０】
また、メモリ４に格納する形状情報は、例えば、撮像部１２によって予め撮像した画像データであってもよい。これにより、より実際に使用する器具を示す画像データを投影することができる。
【０１１１】
実施の形態１において、形状情報は、医療機器の形状を示す画像データであったが、形状情報は、医療機器に限らず、所定の形状を有する物体の画像データであってもよい。ここで、所定の形状を有する物体の画像データは、医療機器などの物体自体の画像データに限らない。形状情報は、当該物体を模式的に表す画像データであってもよく、例えば、当該物体を描いた図や、矢印などのマークであってもよい。
【０１１２】
実施の形態１において、１つの医療機器について投影画像を生成し、投影した。しかし、制御部２は、蛍光像を同時に複数の形状情報と比較してもよい。これにより、複数種類の手術器具が同時に患者１０の体内に挿入されている場合、それぞれの医療機器を識別することができる。
【０１１３】
実施の形態１において、制御部２は、撮像データの蛍光像を、類似すると判定した画像データの画像に置き換えて、投影用の画像データを生成した。しかし、制御部２は、判定した画像データを参照して、撮像データにおける不鮮明な蛍光像の形状を補正することで、投影用の画像データを生成してもよい。
【０１１４】
実施の形態１〜３において、撮像部１２は、可視光、蛍光、および励起光の全ての種類の光を検出できるように構成されたが、少なくとも蛍光が検出できるように構成されればよい。例えば、撮像部１２は、可視光と蛍光のみを検出できるカメラを組み合わせて構成されてもよいし、蛍光のみを検出できるカメラによって構成されてもよい。
【０１１５】
実施の形態１〜３においては、光感受性物質としてインドシアニングリーンを例示したが、他の光感受性物質を用いてもよい。例えば、ポルフィリン、ルシフェリン、アカルミネ（登録商標）などを用いてもよい。この場合、光源１１は各光感受性物質のそれぞれの励起波長帯の励起光を照射し、撮像部１２はそれぞれの光感受性物質の蛍光発光の波長帯の検出光において蛍光像を検出する。
【０１１６】
例えば、ポルフィリンを含む被写体に対して、光源１１から波長４００ｎｍ付近の青色光を照射し、撮像部１２によって波長６００ｎｍ付近の赤色光の蛍光像を検出する。このとき、例えば投影画像を波長５００ｎｍ付近の緑色光で投影してもよい。これにより、蛍光発光領域と投影領域とを識別しやすい。また、このとき、実施の形態３の透過フィルタｆ２によって赤色光のみを透過させ、蛍光遮断フィルタｆ１によって青色光のみを透過させてもよい。
【０１１７】
実施の形態２〜４において、ダイクロイックミラー部１４のダイクロイックミラーによって撮像光軸Ｚ２と投影光軸Ｚ３’とを一致させたが、ダイクロイックミラーでなくてもよい。例えば、ハーフミラーや偏光板を用いて撮像光軸Ｚ２と投影光軸Ｚ３’とを一致させてもよい。
【０１１８】
実施の形態３，４において、透過フィルタｆ２は、撮像部１２に内蔵されたフィルムフィルタであったが、撮像部１２の受光部表面に貼り付けられたフィルムフィルタであってもよい。
【０１１９】
実施の形態３，４において、遮断フィルタｆ１，ｆ７，ｆ８や透過フィルタｆ２は、フィルムフィルタで構成されたが、フィルムフィルタでなくてもよい。例えば、光学ガラスなどで構成された光学フィルタであってもよい。
【０１２０】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１２１】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１２２】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１２３】
本開示における投影システムは、医療用途や、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う際に適用可能である。
【符号の説明】
【０１２４】
１  撮像投影装置
１１  光源
１２  撮像部
２  制御部
１３  投影部
４  メモリ
１０  患者
２０  医療機器
１００，１００Ａ，１００Ｂ，１００Ｃ，２００  手術支援システム
【図１】
2015072047.tif 000003
【図２Ａ】
2015072047.tif 000004
【図２Ｂ】
2015072047.tif 000005
【図２Ｃ】
2015072047.tif 000006
【図３】
2015072047.tif 000007
【図４】
2015072047.tif 000008
【図５】
2015072047.tif 000009
【図６】
2015072047.tif 000010
【図７】
2015072047.tif 000011
【図８】
2015072047.tif 000012
【図９】
2015072047.tif 000013
【図１０】
2015072047.tif 000014
【図１１】
2015072047.tif 000015
【図１２】
2015072047.tif 000016
【図１３】
2015072047.tif 000017
【手続補正書】
【提出日】平成28年5月9日(2016.5.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体に、励起光を含む所定の波長帯の光を照射する励起光源と、
被写体の蛍光発光による蛍光像を撮像する撮像部と、
前記撮像部が撮像した蛍光像に基づいて、投影用の画像データを生成する制御部と、
前記投影用の画像データに基づく投影画像を、可視光で前記被写体上に投影する投影部と、
前記被写体が発する蛍光の波長帯の光を透過させ、前記投影部が投影する可視光を反射させるダイクロイックミラーとを備え、
前記ダイクロイックミラーは、前記撮像部に入射する光の光軸と、前記投影部から出射した光の光軸とを、前記被写体上で一致させるように配置される
投影システム。
【請求項２】
前記励起光源は、前記一致した各光軸を共に取り囲むように配置される
請求項１に記載の投影システム。
【請求項３】
前記撮像部に入射する光において、前記励起光のピーク波長を含む所定の波長帯成分を遮断する第１のフィルタと、
前記励起光源が照射する光において、前記蛍光のピーク波長を含む所定の波長帯成分を遮断する第２のフィルタと
をさらに備える
請求項１または２に記載の投影システム。
【請求項４】
可視光を含む所定の波長帯の光を前記被写体に照射する外部光源に取り付けられ、前記蛍光のピーク波長を含む所定の波長帯成分を遮断する第３のフィルタを備えた
請求項１〜３のいずれか１つに記載の投影システム。
【請求項５】
前記撮像部が、撮像光学系を前記撮像部の内部に収めるように構成されると共に、前記投影部が、投影光学系を前記投影部の内部に収めるように構成される
請求項１〜４のいずれか１つに記載の投影システム。
【請求項６】
前記制御部は、
前記撮像部により撮像された蛍光像と前記投影画像との差分に応じて、前記蛍光発光した領域の画像と前記投影画像とが一致するように、前記投影用の画像データを補正する
請求項１〜５のいずれか１つに記載の投影システム。
【請求項７】
所定の形状を有する物体の画像データである形状情報を複数格納する記憶部をさらに備え、
前記制御部は、
前記記憶部に格納された複数の形状情報の中から、前記撮像部により撮像された蛍光像との類似度に基づいて形状情報を選択して、
前記選択した形状情報が示す形状を有する画像が、前記蛍光発光した領域に投影されるように、前記投影用の画像データを生成する
請求項１〜６のいずれか１つに記載の投影システム。
【請求項８】
前記被写体は、患者の患部、及び医療機器を含む
請求項１〜７のいずれか１つに記載の投影システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像した被写体の画像を、その被写体の表面に投影する投影システムに関する。
【背景技術】
【０００２】
特許文献１は、外科手術を受ける生体の患部を示す画像データを蛍光像撮像装置から出力させ、画像投影装置により上記画像データによる画像を再生し、実際の患部上に表示させる外科手術支援システムを開示する。生体の患部には、所定の波長の光を照射することで蛍光を発する物質が、あらかじめ投与されている。つまり、このシステムは、蛍光発光した患部を撮像して得られる画像を実際の患部に投影することで、病変部の確認の支援をしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２４０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このようなシステムは、投影する被写体の画像を、実際の被写体上に精度よく投影することが重要である。
【０００５】
本開示は、被写体の画像を撮像して被写体上に投影する投影システムにおいて、実際の被写体と、投影される画像との位置ずれを低減できる投影システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本開示にかかる投影システムは、励起光源と、撮像部と、制御部と、投影部とを備える。励起光源は、被写体に、励起光を含む所定の波長帯の光を照射する。撮像部は、被写体の蛍光発光による蛍光像を撮像する。制御部は、撮像部が撮像した蛍光像に基づいて、投影用の画像データを生成する。投影部は、投影用の画像データに基づく投影画像を、可視光で被写体上に投影する。投影システムは、撮像部に入射する光の光軸と、投影部から出射した光の光軸とを一致させた。
【発明の効果】
【０００７】
本開示における投影システムによれば、撮像部に入射する光の光路と投影部から出射した光の光路とが被写体上で一致するので、実際の被写体と、投影される画像との位置ずれを低減することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１にかかる手術支援システムの構成を示す概略図
【図２Ａ】メモリに格納されるカテーテルの画像データの例を示す図
【図２Ｂ】メモリに格納される鉗子の画像データの例を示す図
【図２Ｃ】メモリに格納されるメルシーの画像データの例を示す図
【図３】鉗子のバリエーションの画像データの例を示す図
【図４】実施の形態１にかかる手術支援システムにおける投影画像の生成処理を説明するためのフローチャート
【図５】実施の形態１にかかる手術支援システムにおける術野の状態を示す説明図
【図６】実施の形態１の変形例における投影画像の生成処理を説明するためのフローチャート
【図７】実施の形態１の変形例にかかる手術支援システムにおける術野の状態を示す説明図
【図８】実施の形態２にかかる手術支援システムの構成を示す概略図
【図９】実施の形態２の変形例にかかる手術支援システムの構成を示す概略図
【図１０】実施の形態３にかかる手術支援システムの構成を示す概略図
【図１１】実施の形態３にかかる手術支援システムの各種の光において遮光する波長帯を説明するための図
【図１２】実施の形態４にかかる手術支援システムの構成を示す概略図
【図１３】実施の形態４にかかる手術支援システムの各種の光において遮光する波長帯を説明するための図
【発明を実施するための形態】
【０００９】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１０】
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１１】
以下の実施形態では、投影システムの一例として、医療現場で用いられる手術支援システムを例として用いて説明する。
【００１２】
（実施の形態１）
１−１．構成
１−１−１．手術支援システムの概要
図１は、実施の形態１にかかる手術支援システムの構成を示す概略図である。手術支援システムは、投影システムの一例である。
【００１３】
本実施の形態の手術支援システムは、術野における患部の蛍光像を撮像し、撮像した画像から患部の蛍光発光した領域を検出し、検出した領域に対応する被写体の領域に可視光で投影画像を投影する。これにより、本手術支援システムのユーザ（医師等）は、患者の患部の位置などを目視で確認することができる。
【００１４】
手術が行われる場合、チューブやカテーテルなどの医療機器が患者の体内に挿入される。通常、患者の体内に挿入された医療機器は、外部から目視で確認することができない。本実施の形態の手術支援システムは、医療機器が挿入された領域の表面に、その医療機器の形状を表す画像を投影する。これにより、医師等は、患者の体内に挿入された医療機器の位置などを確認することができる。
【００１５】
ここで、術野に投影した投影画像の領域と、術野における蛍光発光した患部や医療機器などの被写体の領域とがずれると、患部などの位置が誤認されるという問題がある。そこで、本実施の形態の手術支援システムは、撮像部に入射する光の光軸と、投影部から出射した光の光軸とを平行に設定する。これにより、蛍光発光した領域と、投影画像の領域とのずれが低減される。そのため、医師等は患者の患部などの領域を正しく確認することができる。
【００１６】
１−１−２．手術支援システムの構成
以下、手術支援システム１００の構成を詳細に説明する。
【００１７】
手術支援システム１００は、撮像投影装置１と、制御部２と、メモリ４とから構成されている。撮像投影装置１は、光源１１と、撮像部１２と、投影部１３とを備える。
【００１８】
図１に示すように、手術を受ける患者１０の術野１０１には、患部１０５や医療機器２０が含まれる。撮像投影装置１の撮像部１２は、術野１０１を撮像する。制御部２は、手術支援システム１００の各部を制御する。制御部２は、撮像投影装置１が撮像した画像を示す画像データ（撮像データ）に基づいて、患部１０５や医療機器の形状を示す投影画像の投影用の画像データを生成する。投影部１３は、投影用の画像データに基づいて投影画像を生成して、術野１０１に投影する。
【００１９】
メモリ４は、形状情報を格納する。制御部２は、メモリ４から形状情報を読み出して所定の処理を行う。形状情報は、医療機器の形状を示す画像データである。形状情報の詳細は後述する。メモリ４は、記憶部の一例である。メモリ４としては、例えば不揮発性メモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）が用いられる。
【００２０】
手術を受ける患者１０には、所定の波長の光（励起光）によって励起されると蛍光を発する光感受性物質が、あらかじめ血液やリンパ液等に投与される。光感受性物質は、血液やリンパ液の流れが滞っている患部１０５に光感受性物質が蓄積される。光感受性物質は、例えば近赤外光を照射されると励起して蛍光を発する物質であり、例えばインドシアニングリーンである。光感受性物質が蓄積された患部１０５は、光源１１から励起光を照射されることで蛍光発光する。
【００２１】
手術に使用される医療機器２０は、励起されると蛍光を発する光感受性物質が、表面に塗布され、または練り込まれている。
【００２２】
光源１１は、光感受性物質の励起波長領域内の波長を有する励起光を照射する。例えば、光源１１は、近赤外の波長帯の光を照射する。光源１１は、励起光源の一例である。光源１１は、撮像部１２及び投影部１３の周囲を取り囲むように配置されている。
【００２３】
撮像部１２は、例えば高感度のＣＣＤカメラ等で構成される。撮像部１２は、レンズ等で構成される撮像光学系を内部に含んでいる。撮像部１２は、患部１０５や医療機器２０の光感受性物質の蛍光発光による蛍光像を撮像して、撮像データを生成する。撮像データは、蛍光発光した領域の蛍光像を示す画像データであり、制御部２に入力される。また、撮像部１２は、蛍光像とともに術野１０１の可視光像を撮像してもよい。撮像部１２は、例えば可視光、蛍光、および励起光の内で一つまたは複数の種類の光を検出できるカメラを複数組み合わせたカメラ群から構成されることで、上記の全ての種類の光を検出できる。本実施の形態では、撮像部１２は、蛍光像を示す撮像データを生成する。撮像部１２は、蛍光像と可視光像を含む撮像結果の画像全体のデータを制御部２に出力してもよく、その場合、制御部２が撮像結果の画像全体から蛍光像を抽出するようにしてもよい。
【００２４】
制御部２は、撮像投影装置１の動作を制御する機能を有する。また、制御部２は、撮像部１２から撮像データを取得して、撮像データに基づいて患部１０５や医療機器の形状を示す投影用の画像データを生成する。
【００２５】
制御部２は、医療機器の形状を示す投影画像を投影する場合、メモリ４から形状情報（詳細は後述）を読み出して、投影用の画像データを生成する。また、制御部２は、患部１０５の形状を示す投影画像を投影する場合、撮像データにおける患部１０５の蛍光像を示す投影用の画像データを生成する。制御部２は、撮像データにおける蛍光像の形状や波長帯に基づいて、患部１０５と医療機器２０とを判別する（詳細は後述）。
【００２６】
制御部２は、生成した投影用の画像データを投影部１３に出力する。制御部２は、例えばＣＰＵやＭＰＵで構成され、所定のプログラムを実行することによってその機能を実現する。なお、制御部２の機能は、専用に設計された電子回路により実現されてもよい。
【００２７】
投影部１３は、制御部２からの画像データに基づいて投影画像を生成し、医療機器２０が挿入された患部などの表面上に、投影画像を投影する。投影部１３は、例えばプロジェクタ等からなる。投影部１３は、レンズ等で構成される投影光学系を内部に含んでいる。
【００２８】
本実施の形態において、撮像部１２に入射する光の光軸を、「撮像光軸」という。撮像光軸Ｚ２は、撮像部１２の撮像光学系によって規定される。また、投影部１３から出射した光の光軸を、「投影光軸」という。投影光軸Ｚ３は、投影部１３の投影光学系によって規定される。図１に示すように、撮像部１２と投影部１３とは、患部１０５の上方向において、撮像光軸Ｚ２と、投影光軸Ｚ３とが平行になるように、隣接して並列に配置される。これにより、撮像部１２が撮像する術野１０１内の領域と、投影部１３が投影画像を投影する領域との位置ずれを低減できる。光源１１は、撮像光軸Ｚ２と投影光軸Ｚ３を、ともに取り囲むように配置される。
【００２９】
メモリ４は、制御部２が形状情報を読み出して後述の処理を行えるように、制御部２に接続されている。形状情報は、医療機器の形状を示す画像データである。なお、形状情報は、医療機器の形状に限らず、所定の形状を有する物体の画像データであってもよい。
【００３０】
図２Ａ〜２Ｃは、メモリ４が格納する複数種類の手術器具のそれぞれの形状情報の例を示す。図２Ａは、カテーテルの画像データ５１を示し、図２Ｂは、鉗子の画像データ５２を示し、図２Ｃは、メルシーリトリーバ（以下、メルシーという。）の画像データ５３を示す。各画像データ５１〜５３は、それぞれの手術器具の形状情報の一例である。
【００３１】
カテーテルは、患者１０の体内に挿入される管状の手術器具である。カテーテルの画像データ５１の特徴の１つは、長手方向５１ｂに沿って先端部５１ａまで一定の幅で延在することである。
【００３２】
鉗子は、患部や縫合糸を把持したり、牽引したりするために用いられる手術器具である。鉗子の画像データ５２の特徴の１つは、先端に設けられた二股形状の把持部５２ａである。図３は、図２Ｂの鉗子のバリエーションの画像データの例を示す。鉗子の画像データ５２Ａ〜５２Ｃにおいて、把持部５２ａはそれぞれ異なる角度で開いている。メモリ４は、鉗子の画像データ５２Ａ〜５２Ｃなどのバリエーションの画像データも形状情報として格納する。
【００３３】
メルシーは、血栓を取り除くために血管等に挿入される手術器具であり、血栓を絡め取るためのループワイヤとフィラメントを有する。メルシーの画像データ５３の特徴の１つは、先端に設けられたらせん形状のループワイヤ５３ａである。メルシーの画像データ５３は、糸状のフィラメント５３ｂを有する。
【００３４】
なお、手術支援システム１００において、例えば患部１０５の形状を示す投影画像のみを投影する場合など、医療機器の形状を示す投影画像を投影しない場合、手術支援システム１００は、メモリ４を備えなくてもよい。
【００３５】
１−２．動作
以上のように構成された手術支援システム１００の動作を、以下説明する。
【００３６】
図４は、手術支援システム１００における投影画像の生成処理を説明するためのフローチャートである。図５（ａ）は、手術支援システム１００における術野の状態を示す説明図である。図５（ｂ）は、図５（ａ）の術野に対して投影画像の生成処理を行った状態を示す説明図である。
【００３７】
まず制御部２は、光源１１を駆動して、患部１０５を含む術野１０１に励起光を照射する（ステップＳ１１０）。光源１１からの励起光が、患者１０の患部１０５や医療機器２０の光感受性物質を励起することにより、図５（ａ）に示すように、患部１０５や医療機器２０は蛍光発光する。
【００３８】
次に、制御部２は、撮像投影装置１により、撮像部１２から術野１０１を撮像する（ステップＳ１２０）。このとき、撮像部１２は、患部１０５や医療機器２０の光感受性物質による蛍光像を示す撮像データを生成する。撮像データは、制御部２に出力される。
【００３９】
制御部２は、撮像データに基づいて、投影用の画像データを生成する（ステップＳ１３０）。制御部２は、撮像データにおける蛍光像に基づいて、蛍光像の形状を示す投影画像を可視光で表示するための投影用の画像データを生成する。制御部２は、投影用の画像データを投影部１３に出力する。
【００４０】
このとき、まず、制御部２は、投影画像を投影する対象が患部１０５であるか医療機器２０であるかを、撮像データにおける蛍光像の形状に基づいて判別する。なお、制御部２は、例えば撮像データにおける蛍光像の波長帯に基づいて、患部１０５と医療機器２０とを判別してもよい。この場合、予め患部１０５と医療機器２０とに異なる波長帯で蛍光発光する光感受性物質を含ませておく。
【００４１】
患部１０５が投影画像を投影する対象である場合、制御部２は、撮像データにおける蛍光像自体の形状を示す投影用の画像データを生成する。
【００４２】
医療機器２０が投影の対象である場合、制御部２は、メモリ４に格納された複数の形状情報の中から、蛍光像との類似度に基づいて形状情報を選択して、その形状情報が示す形状を表す投影用の画像データを生成する。例えば、制御部２は、図２Ａ〜２Ｃに示す手術器具の画像データ５１〜５３のうち、撮像データの蛍光像と最も類似した画像データを選択して、その画像を投影部１３に投影させる。
【００４３】
投影部１３は、術野１０１において、患部１０５表面の蛍光発光している領域に、投影用の画像データに基づく投影画像を投影する（ステップＳ１４０）。投影画像によって、医師等は、図５（ｂ）に示すように、術野１０１において患部１０５や医療機器２０の位置や形状を明瞭に視認することができる。
【００４４】
以上の処理は、所定サイクル（例えば１／６０秒）で繰り返し実行される。これにより、例えば１／６０秒に１度撮像された画像が投影されることとなり、ユーザはリアルタイムの映像として患部１０５の位置や形状を視認できる。
【００４５】
上述の処理において用いられる各種の光の光路について、図１を用いて説明する。
【００４６】
図１において、撮像部１２と投影部１３は、患部１０５の上方において隣接して並列に配置されている。光源１１は、撮像部１２の撮像光軸Ｚ２と投影部１３の投影光軸Ｚ３とをともに取り囲むように配置され、励起光Ｌ１を照射する。
【００４７】
光源１１から照射される励起光Ｌ１によって患部１０５に蓄積された光感受性物質から発する蛍光は、撮像光軸Ｚ２に沿った光路（以下、「撮像光路」という。）Ｌ２を通って、撮像部１２に入射する。また、投影部１３から投影画像は、投影光軸Ｚ３に沿った光路（以下、「投影光路」という。）Ｌ３を通って患部１０５に投影される。このとき、撮像光軸Ｚ２と投影光軸Ｚ３が平行となるように構成されているので、撮像光路Ｌ２と投影光路Ｌ３は平行である。
【００４８】
撮像部１２と投影部１３の少なくとも一方が患部１０５（被写体）に対して傾いて配置されている場合、患部１０５と投影画像との間にずれが発生することは避けがたい。これに対して、図１に示すように撮像部１２の撮像光軸Ｚ２と投影部１３の投影光軸Ｚ３とが平行になるように、撮像部１２と投影部１３とが配置されているため、撮像光路Ｌ２と投影光路Ｌ３とが平行になり、患部１０５と投影画像とのずれが低減される。
【００４９】
１−３．効果等
以上のように、本実施の形態において、手術支援システム１００は、光源１１と、撮像部１２と、制御部２と、投影部１３とを備える。光源１１は、励起光に反応して蛍光を発する患部１０５に、励起光を含む所定の波長帯の光を照射する。撮像部１２は、患部１０５の蛍光発光による蛍光像を撮像する。制御部２は、撮像部１２が撮像した蛍光像に基づいて、投影用の画像データを生成する。投影部１３は、投影用の画像データに基づく投影画像を、可視光で患部１０５上に投影する。撮像光軸Ｚ２と、投影光軸Ｚ３とが、平行に設定される。
【００５０】
上述の構成により、撮像光軸Ｚ２に沿った撮像光路Ｌ２と投影光軸Ｚ３に沿った投影光路Ｌ３とが平行となり、患部１０５の蛍光発光した領域と、投影画像が投影される領域とのずれを低減することができる。
【００５１】
１−３−１．変形例
図６は、投影画像の生成処理の変形例を示す。本手術支援システム１００では投影画像の生成処理において、投影部１３から投影された投影画像を検出して、投影用の画像データを補正することで、新たな投影画像の位置ずれを補正してもよい。
【００５２】
図６に示すフローチャートにおいて、投影部１３から投影画像が投影された後（ステップＳ１４０）、制御部２は、画像データ補正処理を行う（ステップＳ１６０）。画像データ補正処理は、術野１０１に実際に投影された投影画像と蛍光像とを検出して、投影画像と蛍光像の差分に応じて投影用の画像データを補正する処理である。
【００５３】
補正された投影用の画像データは、再度、投影部１３に出力される。投影部１３は、補正された投影用の画像データに基づく投影画像を、術野１０１の患部１０５に投影する（ステップＳ１４０）。制御部２は、終了のための操作が行われるまで（ステップＳ１５０）、投影用の画像データの補正を繰り返し実行する（ステップＳ１６０）。
【００５４】
図７を用いて、患部が時間経過とともに移動した場合における画像データ補正処理を説明する。
【００５５】
図７（ａ）は、投影部１３からの投影画像３４の位置と患部１０３の位置とが一致して、投影画像３４が投影された状態を示す。図７（ｂ）は、図７（ａ）に示す術野１０１の状態から、患部１０３が移動した状態を示す。患部１０３が移動することで、図７（ｂ）に示すように移動後の患部１０３’の蛍光発光領域と、投影部１３からの投影画像３４の投影領域との間に、ずれが発生する。これに対して、手術支援システム１００の制御部２は、以下のように上述の画像データ補正処理を行う。
【００５６】
まず、制御部２は、患部１０３の領域であって、かつ投影画像３４が表示されていない領域１０３ａを検出して、その領域１０３ａに投影画像の表示を行うように、投影用の画像データを補正する。
【００５７】
また、制御部２は、蛍光発光していない領域であって、かつ投影画像３４がずれて表示されている領域３４ａを検出して、その領域３４ａにおいて投影画像３４を表示させないように、投影用の画像データを補正する。
【００５８】
以上のように、術野１０１に実際に投影された投影画像と蛍光像とを検出して、投影画像と蛍光像の差分に応じて投影用の画像データを補正することで、図７（ｃ）に示すように、移動後の患部１０３’と投影画像３４’とを一致させることができ、投影部１３による表示のずれを解消することができる。このように、画像データ補正処理によって、患部の表面形状や動きによってずれが生じても、適正な位置に患部の画像を投影することができる。
【００５９】
（実施の形態２）
以下、図８，９を用いて、実施の形態２における手術支援システムを説明する。実施の形態１に係る手術支援システム１００においては、撮像部１２に入射する光の撮像光路Ｌ２と投影部１３から出射した光の投影光路Ｌ３とが平行であるが、一致してはいない（図１参照）。そのため、撮像した患部（被写体）と同一の蛍光像の形状を有する投影画像を投影しても、患部と投影画像との間に若干のずれが生じる。そこで、本実施の形態の手術支援システム１００Ａにおいては、撮像部１２に入射する光の光軸と投影部１３から出射した光の光軸とを一致させることで、各部の配置位置による患部と投影画像とのずれをより低減できる。
【００６０】
以下、実施の形態１に係る手術支援システム１００と同様の構成、動作の説明は適宜、省略して、手術支援システム１００Ａを説明する。
【００６１】
２−１．構成
図８は、実施の形態２にかかる手術支援システムの構成を示す概略図である。手術支援システム１００Ａは、撮像投影装置１Ａと、制御部２とを備える。撮像投影装置１Ａは、実施の形態１と同様に光源１１と、撮像部１２と、投影部１３とを備え、さらにダイクロイックミラー部１４を備える。
【００６２】
ダイクロイックミラー部１４は、撮像部１２で撮像する蛍光像の蛍光波長帯と同一の波長帯の光を透過し、可視光を反射するダイクロイックミラーで構成される。例えば、ダイクロイックミラー部１４は、近赤外光を透過し、可視光を反射するダイクロイックミラーで構成される。ダイクロイックミラー部１４は、可視光の光路を反射によって９０°曲げる。
【００６３】
撮像部１２と投影部１３とは、撮像光軸Ｚ２と投影光軸Ｚ３’とが一致するように、ダイクロイックミラー部１４を介して互いに直交した向きで配置される。投影光軸Ｚ３’は、投影部１３の投影光学系とダイクロイックミラー部１４によって規定される、投影部１３から出射した光の光軸である。投影部１３からの可視光がダイクロイックミラー部１４において反射されることで、撮像光軸Ｚ２と投影光軸Ｚ３’とが一致する。これにより、患部１０５等の被写体上で、撮像部１２が撮像する領域と、投影部１３が投影画像を投影する領域との位置ずれを解消できる。
【００６４】
実施の形態１では、光源１１と撮像部１２とを隣接して配置した。本実施の形態の撮像投影装置１Ａでは、光源１１と撮像部１２との間にダイクロイックミラー部１４を配置する。これに合わせて、撮像部１２の（図示しない）撮像光学系は、ダイクロイックミラー部１４と干渉しないように、撮像部１２の内部に収める構成としている。また、投影部１３も、ダイクロイックミラー部１４との干渉を避けるために、（図示しない）投影光学系を投影部１３の内部に収める構成としている。
【００６５】
２−２．動作
以上のように構成された手術支援システム１００Ａの動作を、以下説明する。
【００６６】
本実施の形態の手術支援システム１００Ａは、実施の形態１と同様の投影画像の生成処理を行う（図４参照）。以下、本実施の形態の投影画像の生成処理において用いられる各種の光の光路について、説明する。
【００６７】
図８に示すように、撮像部１２の撮像光軸Ｚ２と投影部１３の投影光軸Ｚ３’を取り囲むように配置された光源１１から照射された励起光Ｌ１は、患部１０５に蓄積する光感受性物質を励起し、励起された光感受性物質は蛍光を発する。
【００６８】
患部１０５に蓄積された光感受性物質からの蛍光は、ダイクロイックミラー部１４内部を直進し、撮像光軸Ｚ２に沿った撮像光路Ｌ２を通って撮像部１２に入射する。
【００６９】
一方、投影画像を投影するために投影部１３から出射した光は、撮像光軸Ｚ２と直交する投影光路Ｌ３ａを進んでダイクロイックミラー部１４に入射し、ダイクロイックミラー部１４における反射によって進行方向を９０°変えられ、投影光路Ｌ３ｂに沿ってダイクロイックミラー部１４を出射する。投影光路Ｌ３ｂは、投影光軸Ｚ３’に沿った光路である。その後、投影画像を投影するための光は、投影光路Ｌ３ｂを進んで患部１０５に投影される。
【００７０】
なお、図８は、説明の便宜のために撮像光路Ｌ２と投影光路Ｌ３ｂとが重ならないように図示されているが、これらの光路は一致している。
【００７１】
このように、本実施の形態の撮像投影装置１Ａにおいては、撮像光路Ｌ２と投影光路Ｌ３ｂとが一致している。このため、撮像部１２において撮像した患部１０５と同一の蛍光像の形状を有する投影画像と、投影画像が投影される実際の患部１０５との間に位置ずれが生じない。
【００７２】
なお、図８に示す撮像投影装置１Ａにおいて、撮像部１２と投影部１３の配置位置を入れ替えてもよい。この場合、ダイクロイックミラー部１４において、蛍光発光の波長帯の光を反射するとともに、可視光を透過するダイクロイックミラーを用いる。そして、撮像部１２に入射する光をダイクロイックミラー部１４において反射させることで、撮像光軸と投影光軸とを一致させる。これにより、上述と同様の効果が得られる。
【００７３】
また、ダイクロイックミラー部１４を構成するダイクロイックミラーを、光感受性物質が発する蛍光の波長帯の光のみを透過するダイクロイックミラーにしてもよい。あるいは、撮像部１２とダイクロイックミラー部１４との間に、光感受性物質が発する蛍光の波長帯の光のみを透過するフィルタを配置してもよい。このようにすることで、撮像部１２には光感受性物質が発する蛍光のみが結像する。そのため、撮像部１２で撮像された画像の制御部２による画像処理が容易になる。
【００７４】
２−３．効果等
以上のように、本実施の形態において、手術支援システム１００Ａは、光源１１と、撮像部１２と、制御部２と、投影部１３とを備える。光源１１は、患部１０５に、励起光を含む所定の波長帯の光を照射する。撮像部１２は、患部１０５の蛍光発光による蛍光像を撮像する。制御部２は、撮像部１２が撮像した蛍光像に基づいて、投影用の画像データを生成する。投影部１３は、投影用の画像データに基づく投影画像を、可視光で患部１０５上に投影する。手術支援システム１００Ａは、撮像部１２に入射する光の撮像光軸Ｚ２と、投影部１３から出射した光の投影光軸Ｚ３’とを一致させた。
【００７５】
上述の構成により、撮像光軸Ｚ２に沿った撮像光路Ｌ２と投影光軸Ｚ３’に沿った投影光路Ｌ３とが患部１０５上で一致するので、患部１０５の蛍光発光した領域と、投影画像が投影される領域との位置ずれを低減することができる。
【００７６】
２−３−１．変形例
実施の形態２では、光源を撮像部に隣接して配置して、撮像投影装置を構成した。しかしながら、光源は撮像部と隣接して配置する必要はない。以下、図９を用いて、実施の形態２の変形例を説明する。
【００７７】
図９は、実施の形態２の変形例にかかる手術支援システムの構成を示す概略図である。手術支援システム１００Ｂにおいては、患部１０５を挟んで撮像投影装置１Ｂの反対側に、光源１１’を配置している。
【００７８】
光源１１’は、撮像光軸Ｚ２と第２の投影光軸Ｚ３’を取り囲んでいない位置に配置されている。そのため、光源１１’として、点光源や面光源など、患部１０５に励起光Ｌ１を照射するのに適した光源を選択することができる。
【００７９】
なお、手術支援システム１００Ｂにおいては、撮像部１２が励起光Ｌ１によって患部１０５（被写体）に蓄積した光感受性物質が発生する蛍光を撮像する構成に代えて、患部１０５に光感受性物質を導入することなく、光源１１’から照射された患部１０５を透過した光を撮像する構成としてもよい。この場合、光源１１’から、赤外線、可視光線、紫外線の他にＸ線、γ線などの光（電磁波）を照射してもよい。光源１１’から照射する電磁波は、電波を除く周波数範囲の電磁波であってもよい。
【００８０】
（実施の形態３）
以下、図１０，１１を用いて、実施の形態３を説明する。実施の形態２では、撮像光軸と投影光軸とが一致するように撮像投影装置を構成した。本実施の形態では、さらに、撮像部に入射する光の波長帯を制限する。
【００８１】
以下、実施の形態１，２と同様の構成、動作の説明は適宜、省略して、手術支援システム１００Ｃを説明する。
【００８２】
３−１．手術支援システムの概要
撮像部によって患部等の被写体の蛍光像を検出する際、被写体の蛍光発光以外の光において、被写体の蛍光発光と同じ波長帯の成分は、検出ノイズとなる。特に、光源から照射する励起光は、被写体を蛍光発光させるために必要だが、検出ノイズになることもある。そこで、本実施の形態では、撮像部に入射する光と光源から照射する光において、検出ノイズになり得る波長帯成分をフィルタによって遮光する。
【００８３】
３−２．手術支援システムの構成
図１０は、実施の形態３にかかる手術支援システムの構成を示す概略図である。手術支援システム１００Ｃは、撮像投影装置１Ｃと、制御部２とを備える。撮像投影装置１Ｃは、実施の形態２の撮像投影装置１Ａと同様に光源１１と、撮像部１２と、投影部１３とを備え、さらに、遮断フィルタ（第２のフィルタ）ｆ１と、透過フィルタ（第１のフィルタ）ｆ２とを備える。
【００８４】
遮断フィルタｆ１は、光源１１上に貼り付けられたフィルムフィルタである。遮断フィルタｆ１は、光源１１から照射される光において、患部１０５等の被写体に含まれる光感受性物質の蛍光発光のピーク波長帯以上を遮光するショートパスフィルタ（長波長カットフィルタ）で構成される。遮断フィルタｆ１は、光源１１から照射される光において、患部１０５等の蛍光発光のピーク波長よりも小さい励起光のピーク波長成分を透過する。
【００８５】
透過フィルタｆ２は、撮像部１２に内蔵されたフィルムフィルタである。透過フィルタｆ２は、撮像部１２に入射する光において、患部１０５等の蛍光発光のピーク波長を含む所定の波長帯成分を透過するバンドパスフィルタで構成される。透過フィルタｆ２が透過させる波長帯成分は、可視光の波長帯を含まず、また励起光のピーク波長よりも大きい。
【００８６】
図１１は、本実施の形態にかかる手術支援システムの各種の光において遮光する波長帯成分を示す図である。図１１において、本実施の形態において被写体に含まれる光感受性物質であるインドシアニングリーンの蛍光と励起光が有する波長帯を示す。インドシアニングリーンの蛍光は、略８１０ｎｍ〜８９０ｎｍの波長帯を有し、ピーク波長は略８５０ｎｍである。一方、インドシアニングリーンの励起光は、略７３０ｎｍ〜８６０ｎｍの波長帯を有し、ピーク波長は略７８０ｎｍである。そのため、インドシアニングリーンの蛍光と励起光は、一部の波長帯において重畳する。この重畳した波長帯における励起光が患部１０５に照射されると、患部１０５の蛍光発光と患部１０５表面における励起光の反射光との判別がつかなくなり、検出ノイズを生じる。
【００８７】
これに対して、手術支援システム１００Ｃにおいては、遮断フィルタｆ１と透過フィルタｆ２によって、それぞれ光源１１から照射する光（励起光）と撮像部１２に入射する光（検出光）との間で、上記の重畳した波長帯を分離するように遮光する。具体的には、遮断フィルタｆ１によって、光源１１から照射する光（励起光）において波長８００ｎｍ未満の波長帯成分を透過させ、波長８００ｎｍ以上の波長帯成分を遮光する。さらに、透過フィルタｆ２によって、撮像部１２に入射する光において波長８２０ｎｍ〜８８０ｎｍの波長帯成分を透過させ、波長８２０ｎｍより小さい、あるいは波長８８０ｎｍより大きい波長帯成分を遮光する。
【００８８】
これにより、撮像部１２が蛍光発光の波長帯と重なる波長帯の励起光の成分を受光することを抑制して、検出ノイズを低減できる。また、透過フィルタｆ２において蛍光のピーク波長の成分は透過させることにより、蛍光像の検出効率を維持できる。遮断フィルタｆ１において励起光のピーク波長の成分は透過させることにより、患部１０５を蛍光発光させる効率を維持できる。
【００８９】
３−３．効果等
以上のように、本実施の形態において、手術支援システム１００Ｃは、光源１１と、撮像部１２と、制御部２と、投影部１３とを備える。光源１１は、患部１０５に、励起光を含む所定の波長帯の光を照射する。撮像部１２は、患部１０５の蛍光発光による蛍光像を撮像する。制御部２は、撮像部１２が撮像した蛍光像に基づいて、投影用の画像データを生成する。投影部１３は、投影用の画像データに基づく投影画像を、可視光で患部１０５上に投影する。手術支援システム１００Ｃは、撮像部１２に入射する光の撮像光軸Ｚ２と、投影部１３から出射した光の投影光軸Ｚ３’とを一致させた。
【００９０】
手術支援システム１００Ｃは、透過フィルタ（第１のフィルタ）ｆ２と、遮断フィルタ（第２のフィルタ）ｆ１とをさらに備える。透過フィルタｆ２は、撮像部１２に入射する光において、励起光のピーク波長を含む所定の波長帯の成分を遮断する。蛍光遮断フィルタｆ１は、光源１１が照射する光において、蛍光のピーク波長を含む所定の波長帯の成分を遮断する。
【００９１】
上述の構成により、撮像部１２が蛍光発光の波長帯と重なる波長帯の励起光の成分を受光することを抑制して、撮像部１２によって患部等の被写体の蛍光像を検出する際の検出ノイズを低減できる。
【００９２】
また、撮像部１２の特性によって蛍光発光以外の波長帯の光をも検出し得る場合であっても、透過フィルタｆ２で蛍光のピーク波長を含む所定の波長帯成分のみ透過させることにより、そのような機器特性による検出ノイズを抑制できる。また、光源１１の特性によって、励起光以外の波長帯の光をも照射される場合であっても、遮断フィルタｆ１で励起光のピーク波長を含む所定の波長帯成分のみ透過させることにより、そのような機器特性による検出ノイズを抑制できる。
【００９３】
（実施の形態４）
以下、図１２，１３を用いて、実施の形態４を説明する。実施の形態３では、撮像部に入射する光と光源から照射する光において、検出ノイズとなる波長帯成分を遮光したが、本実施の形態では、さらに外光において検出ノイズとなる波長帯成分を遮光する。
【００９４】
以下、実施の形態１〜３と同様の構成、動作の説明は適宜、省略して、手術支援システム２００を説明する。
【００９５】
４−１．手術支援システムの概要
手術を行う際には、励起光を照射する光源の他にも、術野を可視光で照らす外部光源（蛍光灯や無影灯など）が使用される。図１１に示すように、外部光源からの外光には、一般的に可視光領域以外の波長帯成分が含まれ、これによって検出ノイズが生じる。そこで、本実施の形態では、外光において検出ノイズになる波長帯成分を遮光する。
【００９６】
４−２．手術支援システムの構成
図１２は、実施の形態４にかかる手術支援システムの構成を示す概略図である。
【００９７】
本実施の形態の手術支援システム２００は、実施の形態３と同様に、撮像投影装置１Ｃと、制御部２とを備え、遮断フィルタ（第３のフィルタ）ｆ７，ｆ８をさらに備える。また、手術支援システム２００の周囲には、無影灯７と、蛍光灯８とが配置されている。
【００９８】
無影灯７は、反射板などによって照射する光を乱反射することで、影を生じにくくなるように構成された照明器具である。無影灯７は、可視光を含む所定の波長帯の光を照射して、術野１０１を照らす。無影灯７は、白熱電球、ハロゲン電球、ＬＥＤ照明などで構成される。無影灯７には、フィルムフィルタで構成される遮断フィルタｆ７が貼り付けられている。遮断フィルタｆ７は、患部１０５の蛍光発光のピーク波長帯以上を遮光するショートパスフィルタである。
【００９９】
蛍光灯８は、白色光を生成する蛍光ランプであり、術野１０１を含む手術室全体を照らす。蛍光灯８には、フィルムフィルタで構成される蛍光遮断フィルタｆ８が貼り付けられている。蛍光遮断フィルタｆ８は、患部１０５の蛍光発光のピーク波長帯以上を遮光するショートパスフィルタである。なお、蛍光灯８に代えて、白熱球やＬＥＤ照明を用いてもよい。
【０１００】
図１３は、実施の形態４にかかる手術支援システムの各種の光において遮光する波長帯を説明するための図である。図１３において、被写体に含まれる光感受性物質であるインドシアニングリーンの蛍光と励起光とともに、無影灯７や蛍光灯８などの外部光源からの光が有する波長帯を示す。外部光源からの光には、光源の特性によって可視光領域だけでなく近赤外領域の波長帯成分も含まれるため、インドシアニングリーンの蛍光と、一部の波長帯において重畳する。例えば、白色光を生成する蛍光ランプのスペクトルには、近赤外領域の波長帯成分も含まれる。
【０１０１】
これに対して、手術支援システム２００においては、遮断フィルタｆ７，ｆ８によって、外光から患部１０５の蛍光発光と同じ波長帯成分を遮光する。具体的には、遮断フィルタｆ７，ｆ８によって、無影灯７や蛍光灯８からの光のうち、波長８００ｎｍ未満の波長帯成分を透過させ、波長８００ｎｍ以上の波長帯成分を遮光する。
【０１０２】
これにより、無影灯７や蛍光灯８から、撮像部１２が蛍光発光の波長帯と重なる波長帯の外光の成分を受光することを抑制して、検出ノイズを低減できる。また、蛍光遮断フィルタｆ７，ｆ８によって、外光において波長８００ｎｍ未満の波長帯成分を透過させることで、可視光とともに励起光のピーク波長の外光の成分を透過させ、患部１０５を蛍光発光させる効率を向上できる。
【０１０３】
４−３．効果等
以上のように、本実施の形態において、手術支援システム２００は、手術支援システム１００Ｃと比較して、可視光を含む所定の波長帯の光を患部１０５に照射する無影灯７及び蛍光灯８に取り付けられ、蛍光のピーク波長を含む所定の波長帯成分を遮断する遮断フィルタ（第３のフィルタ）ｆ７，ｆ８を備えた。
【０１０４】
上述の構成により、撮像部１２が蛍光発光と重なる波長帯の外光の成分を受光することを抑制して、検出ノイズを低減できる。
【０１０５】
（その他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜４を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜４で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０１０６】
そこで、以下、他の実施の形態を例示する。
【０１０７】
実施の形態１〜４では、手術などの医療用途を例に挙げて説明したが、本発明はこれには限らない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合、本発明を適用することができる。
【０１０８】
具体的には、実施の形態１の医療機器に代えて、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、撮像部１２による撮像の対象である撮像対象物とする。それとともに、上記対象物の形状に関する形状情報を、メモリ４に格納することにより、実施の形態１等と同様に、本発明を適用することができる。
【０１０９】
実施の形態１においては、メモリ４に格納した手術器具の画像データ５１〜５３を例示した。しかし、メモリ４は、手術器具を含む医療機器の画像データを格納してもよい。
【０１１０】
また、メモリ４に格納する形状情報は、例えば、撮像部１２によって予め撮像した画像データであってもよい。これにより、より実際に使用する器具を示す画像データを投影することができる。
【０１１１】
実施の形態１において、形状情報は、医療機器の形状を示す画像データであったが、形状情報は、医療機器に限らず、所定の形状を有する物体の画像データであってもよい。ここで、所定の形状を有する物体の画像データは、医療機器などの物体自体の画像データに限らない。形状情報は、当該物体を模式的に表す画像データであってもよく、例えば、当該物体を描いた図や、矢印などのマークであってもよい。
【０１１２】
実施の形態１において、１つの医療機器について投影画像を生成し、投影した。しかし、制御部２は、蛍光像を同時に複数の形状情報と比較してもよい。これにより、複数種類の手術器具が同時に患者１０の体内に挿入されている場合、それぞれの医療機器を識別することができる。
【０１１３】
実施の形態１において、制御部２は、撮像データの蛍光像を、類似すると判定した画像データの画像に置き換えて、投影用の画像データを生成した。しかし、制御部２は、判定した画像データを参照して、撮像データにおける不鮮明な蛍光像の形状を補正することで、投影用の画像データを生成してもよい。
【０１１４】
実施の形態１〜４において、撮像部１２は、可視光、蛍光、および励起光の全ての種類の光を検出できるように構成されたが、少なくとも蛍光が検出できるように構成されればよい。例えば、撮像部１２は、可視光と蛍光のみを検出できるカメラを組み合わせて構成されてもよいし、蛍光のみを検出できるカメラによって構成されてもよい。
【０１１５】
実施の形態１〜４においては、光感受性物質としてインドシアニングリーンを例示したが、他の光感受性物質を用いてもよい。例えば、ポルフィリン、ルシフェリン、アカルミネ（登録商標）などを用いてもよい。この場合、光源１１は各光感受性物質のそれぞれの励起波長帯の励起光を照射し、撮像部１２はそれぞれの光感受性物質の蛍光発光の波長帯の検出光において蛍光像を検出する。
【０１１６】
例えば、ポルフィリンを含む被写体に対して、光源１１から波長４００ｎｍ付近の青色光を照射し、撮像部１２によって波長６００ｎｍ付近の赤色光の蛍光像を検出する。このとき、例えば投影画像を波長５００ｎｍ付近の緑色光で投影してもよい。これにより、蛍光発光領域と投影領域とを識別しやすい。また、このとき、実施の形態３の透過フィルタｆ２によって赤色光のみを透過させ、蛍光遮断フィルタｆ１によって青色光のみを透過させてもよい。
【０１１７】
実施の形態２〜４において、ダイクロイックミラー部１４のダイクロイックミラーによって撮像光軸Ｚ２と投影光軸Ｚ３’とを一致させたが、ダイクロイックミラーでなくてもよい。例えば、ハーフミラーや偏光板を用いて撮像光軸Ｚ２と投影光軸Ｚ３’とを一致させてもよい。
【０１１８】
実施の形態３，４において、透過フィルタｆ２は、撮像部１２に内蔵されたフィルムフィルタであったが、撮像部１２の受光部表面に貼り付けられたフィルムフィルタであってもよい。
【０１１９】
実施の形態３，４において、遮断フィルタｆ１，ｆ７，ｆ８や透過フィルタｆ２は、フィルムフィルタで構成されたが、フィルムフィルタでなくてもよい。例えば、光学ガラスなどで構成された光学フィルタであってもよい。
【０１２０】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１２１】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１２２】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１２３】
本開示における投影システムは、医療用途や、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う際に適用可能である。
【符号の説明】
【０１２４】
１  撮像投影装置
１１  光源
１２  撮像部
２  制御部
１３  投影部
４  メモリ
１０  患者
２０  医療機器
１００，１００Ａ，１００Ｂ，１００Ｃ，２００  手術支援システム
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2015072047.tif 000018
【図２Ａ】
2015072047.tif 000019
【図２Ｂ】
2015072047.tif 000020
【図２Ｃ】
2015072047.tif 000021
【図３】
2015072047.tif 000022
【図４】
2015072047.tif 000023
【図５】
2015072047.tif 000024
【図６】
2015072047.tif 000025
【図７】
2015072047.tif 000026
【図８】
2015072047.tif 000027
【図９】
2015072047.tif 000028
【図１０】
2015072047.tif 000029
【図１１】
2015072047.tif 000030
【図１２】
2015072047.tif 000031
【図１３】
2015072047.tif 000032
【国際調査報告】
2015072047.tif 000033
2015072047.tif 000034
2015072047.tif 000035
2015072047.tif 000036