(57)【要約】【課題】被写体の撮像画像に基づく投影画像が精度良く投影される範囲を広くする。【解決手段】投影装置（２０）は、撮像部（２１０）と、投影部（２２０）と、制御部（２５０）と、光学部（２０１）とを備える。撮像部は、被写体を撮像して撮像画像を生成する。投影部は、撮像画像に基づく投影画像を示す投影光を被写体上に照射する。制御部は、撮像画像に基づいて投影画像を制御する。光学部は、被写体から撮像部に入射する入射光（３１０）の光軸（Ｊ１）と、投影部から被写体上に照射される投影光（３２０）の光軸とが一致するように導光する。入射光に基づき撮像部が撮像する画角（θｃ）と、投影部が投影光を照射する画角（θｐ）とが一致し、撮像部と光学部間の入射光の光路長（Ｌｃ）と、投影部と光学部間の投影光の光路長（Ｌｐ）とが一致している。【選択図】図８Ｂ
2017158042.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して撮像画像を生成する撮像部と、
前記撮像画像に基づく投影画像を示す投影光を前記被写体上に照射する投影部と、
前記撮像画像に基づいて前記投影画像を制御する制御部と、
前記被写体から前記撮像部に入射する入射光の光軸と、前記投影部から前記被写体上に照射される投影光の光軸とが一致するように導光する光学部とを備え、
前記入射光に基づき前記撮像部が撮像する画角と、前記投影部が前記投影光を照射する画角とが一致し、
前記撮像部と光学部間の入射光の光路長と、前記投影部と光学部間の投影光の光路長とが一致している
投影装置。
【請求項２】
前記撮像部、投影部及び光学部のそれぞれの位置並びに向きのうちの少なくとも１つを調整可能に構成される第１の調整部をさらに備える
請求項１に記載の投影装置。
【請求項３】
前記撮像部と光学部間の入射光の光路長および前記投影部と光学部間の投影光の光路長のうちの少なくとも一方を調整可能に構成される第２の調整部をさらに備える
請求項２に記載の投影装置。
【請求項４】
前記第１の調整部は、前記第２の調整部によって調整される光路長を維持しながら前記撮像部、投影部及び光学部のそれぞれの位置並びに向きのうちの少なくとも１つを調整可能に構成される
請求項３に記載の投影装置。
【請求項５】
前記第１の調整部は、前記投影部が前記投影光を出射する方向と直交する方向において前記投影部を移動可能に構成される
請求項２〜４のいずれか１項に記載の投影装置。
【請求項６】
前記光学部は、入射する光の内の所定の成分の進行方向を変更して出射し、
前記第１の調整部は、前記光学部に入射する光の光軸と前記光学部から出射する光の光軸の交点に位置する回転軸において、前記光学部を回転可能に構成される
請求項２〜５のいずれか１項に記載の投影装置。
【請求項７】
前記制御部は、前記撮像画像に基づいて、前記被写体上の投影画像を調整するように、前記第１の調整部を駆動する
請求項２〜６のいずれか１項に記載の投影装置。
【請求項８】
前記制御部は、前記撮像画像に基づく画像処理において前記投影画像を調整する
請求項１〜７のいずれか１項に記載の投影装置。
【請求項９】
前記撮像部は、前記撮像部の画角を設定する撮像光学系を備え、
前記投影部は、前記投影部の画角を設定する投影光学系を備え、
前記制御部は、前記撮像部の画角と前記投影部の画角とが一致するように、撮像光学系及び投影光学系を制御する
請求項１〜８のいずれか１項に記載の投影装置。
【請求項１０】
前記光学部は、ダイクロイックミラー又はプリズムで構成される
請求項１〜９のいずれか１項に記載の投影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、被写体に投影画像を投影する投影装置に関する。
【背景技術】
【０００２】
特許文献１は、医療分野において用いられる光学撮像システムを開示している。特許文献１の光学撮像システムは、術野を撮像する電子撮像装置と、手術中の術野の撮像結果の可視光像を投影するプロジェクタと、電子撮像装置及びプロジェクタの光軸を同一の光軸に揃える光学素子とを備える。特許文献１では、撮像データに対して拡大、縮小、回転及び並進などの変換を行う変換行列を用いて、同一光軸上の撮像画像と投影画像との対応関係を手術前に予め調整することにより、手術時に投影画像を正確に投影するためのキャリブレーションを行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２００８／０００４５３３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示の目的は、被写体の撮像画像に基づく投影画像が精度良く投影される範囲を広くすることができる投影装置を提供することである。
【課題を解決するための手段】
【０００５】
本開示における投影装置は、撮像部と、投影部と、制御部と、光学部とを備える。撮像部は、被写体を撮像して撮像画像を生成する。投影部は、撮像画像に基づく投影画像を示す投影光を被写体上に照射する。制御部は、撮像画像に基づいて投影画像を制御する。光学部は、被写体から撮像部に入射する入射光の光軸と、投影部から被写体上に照射される投影光の光軸とが一致するように導光する。投影装置では、入射光に基づき撮像部が撮像する画角と、投影部が投影光を照射する画角とが一致し、撮像部と光学部間の入射光の光路長と、投影部と光学部間の投影光の光路長とが一致している。
【発明の効果】
【０００６】
本開示における投影装置によれば、被写体の撮像画像に基づく投影画像が精度良く投影される範囲を広くすることができる。
【図面の簡単な説明】
【０００７】
【図１】実施の形態１にかかる手術支援システムの構成を示す概略図
【図２】手術支援システムにおける撮像照射装置の構成を示すブロック図
【図３Ａ】実施の形態１にかかる撮像照射装置の平面図
【図３Ｂ】実施の形態１にかかる撮像照射装置の側面図
【図４】撮像照射装置におけるダイクロイックミラーの調整機構の拡大図
【図５】手術支援システムにおける投影動作を説明するためのフローチャート
【図６Ａ】手術支援システムにおける投影動作前の術野の状態を説明するための図
【図６Ｂ】手術支援システムにおける投影動作時の術野の状態を説明するための図
【図７】実施の形態１にかかる手術支援システムの位置合わせを説明するための図
【図８Ａ】手術支援システムにおける画角と位置ずれの関係を説明するための図
【図８Ｂ】手術支援システムにおける画角に応じた位置合わせを説明するための図
【図９Ａ】実施の形態１にかかる位置合わせ方法における治具の平面図
【図９Ｂ】位置合わせ方法における治具の撮像画像を説明するための図
【図１０Ａ】位置合わせ方法において投影された投影画像の第１の表示例
【図１０Ｂ】位置合わせ方法において投影された投影画像の第２の表示例
【図１１Ａ】実施の形態１の変形例１にかかる撮像照射装置の平面図
【図１１Ｂ】実施の形態１の変形例１にかかる撮像照射装置の側面図
【図１２Ａ】実施の形態１の変形例２にかかる撮像照射装置の側面図
【図１２Ｂ】実施の形態１の変形例３にかかる撮像照射装置の側面図
【図１３】実施の形態２にかかる位置合わせ処理を説明するためのフローチャート
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
（実施の形態１）
１．構成
１−１．手術支援システムの概要
実施の形態１にかかる投影装置を備えた手術支援システムの概要を、図１を用いて説明する。図１は、実施の形態１にかかる手術支援システム１００の構成を示す概略図である。
【００１１】
手術支援システム１００は、カメラ２１０、プロジェクタ２２０及び励起光源２３０を備える。手術支援システム１００は、手術室等において医師等が患者に対して行う手術を、投影画像を用いて視覚的にサポートするシステムである。手術支援システム１００を使用する場合に、手術を受ける患者１２０には、予め光感受性物質が投与される。
【００１２】
光感受性物質は、励起光に反応して蛍光を発する物質である。光感受性物質としては、例えばＩＣＧ（インドシアニングリーン）、５−ＡＬＡ（アミノレブリン酸）及びポリフェリンなどが用いられる。本実施形態では、光感受性物質の一例として、ＩＣＧを用いた場合を説明する。ＩＣＧは、波長７８０ｎｍ近傍の赤外領域の励起光が照射されることにより、波長８２０〜８６０ｎｍの赤外領域の蛍光を発する。
【００１３】
光感受性物質は、患者１２０に投与されると、血液又はリンパ液の流れが滞っている患部１３０に蓄積する。このため、励起光の照射に応じて蛍光発光する領域を検出することにより、患部１３０の領域を特定することが可能となる。
【００１４】
ここで、患部１３０が発する蛍光は微弱であったり、蛍光の波長帯が非可視領域又は非可視領域近傍であったりするため、医師等は、術野１３５を目視しても、患部１３０の領域を特定することが困難である。そこで、手術支援システム１００では、励起光源２３０から術野１３５に励起光３００を照射し、カメラ２１０を用いて蛍光３１０を発する患部１３０の領域を特定する。さらに、特定した患部１３０が人間に視認可能となるように、プロジェクタ２２０から患部１３０に可視光の投影光３２０を照射する。これにより、特定した患部１３０の領域を可視化する投影画像が投影され、手術を行う医師等による患部１３０の領域の特定をサポートすることができる。
【００１５】
１−２．手術支援システムの構成
以下、手術支援システム１００の構成について、図１を用いて説明する。手術支援システム１００は、病院の手術室内に配置されて使用される。手術支援システム１００は、撮像照射装置２００と、メモリ２４０と、投影制御装置２５０とを備える。
【００１６】
また、図示していないが、手術支援システム１００は、撮像照射装置２００の配置を変更するための機構、例えば、撮像照射装置２００と機械的に接続された駆動アーム、及び手術支援システム１００の一式を載置する台座のキャスターなどを備える。上記の機構により、撮像照射装置２００は、患者１２０が対置される手術台１１０の鉛直上方または鉛直からある角度を持った上方に配置される。また、手術台１１０は、高さ及び向きを変更可能な駆動機構を備えてもよい。
【００１７】
撮像照射装置２００は、カメラ２１０、プロジェクタ２２０、及び励起光源２３０が一体的に組み付けられた装置である。撮像照射装置２００は、図１に示すように、ダイクロイックミラー２０１と、スペーサ２０２とをさらに備える。撮像照射装置２００の構成の詳細については後述する。
【００１８】
メモリ２４０は、投影制御装置２５０が種々の演算を実行する際に、適宜アクセスを行う記憶媒体である。メモリ２４０は、例えばＲＯＭ及びＲＡＭで構成される。
【００１９】
投影制御装置２５０は、手術支援システム１００を構成する各部を統括制御する。投影制御装置２５０は、カメラ２１０、プロジェクタ２２０、励起光源２３０、及びメモリ２４０に電気的に接続され、各部をそれぞれ制御するための制御信号を出力する。投影制御装置２５０は、例えばＣＰＵで構成され、所定のプログラムを実行することによってその機能を実現する。なお、投影制御装置２５０の機能は、専用に設計された電子回路や再構成可能な電子回路（ＦＰＧＡ、又はＡＳＩＣ等）により実現されてもよい。
【００２０】
投影制御装置２５０は、例えば、カメラ２１０による撮像画像に対して種々の画像処理を行って、投影画像を示す映像信号を生成する。投影制御装置２５０は、本開示における制御部の一例である、撮像照射装置２００、メモリ２４０及び投影制御装置２５０は、本実施形態にかかる投影装置２０を構成する。
【００２１】
また、本実施形態において、手術支援システム１００は、表示制御装置１５０と、ディスプレイ１６０と、マウス１７０とを備える。表示制御装置１５０は、例えばＰＣ（パーソナルコンピュータ）で構成され、投影制御装置２５０に接続されている。
【００２２】
表示制御装置１５０の操作者１４０は、例えば手術中に、カメラ２１０の撮像画像をディスプレイ１６０において確認することができる。また、操作者１４０は、投影画像の種々の設定（例えば蛍光の強度分布に対するしきい値）を変更することができる。
【００２３】
１−３．撮像照射装置の構成
次に、撮像照射装置２００の構成の詳細について、図２を用いて説明する。図２は、手術支援システムにおける撮像照射装置２００の構成を示すブロック図である。
【００２４】
励起光源２３０は、光感受性物質を蛍光発光させるための励起光３００を照射する光源装置である。本実施形態では、光感受性物質としてＩＣＧを用いることから、励起光源２３０は、ＩＣＧの励起波長を含む波長帯（例えば７８０ｎｍ±３０ｎｍ）を有する励起光３００を照射する。励起光源２３０は、投影制御装置２５０からの制御信号に従って、励起光３００の照射のＯＮ／ＯＦＦを切り替える。なお、励起光源２３０は、撮像照射装置２００（或いは投影装置２０）とは別体で構成されてもよい。
【００２５】
カメラ２１０は、患者１２０の術野１３５などの被写体を撮像して撮像画像を生成する。カメラ２１０は、生成した撮像画像を投影制御装置２５０に伝送する。本実施形態では、カメラ２１０として、可視光領域とともにＩＣＧの蛍光８２０ｎｍ〜８６０ｎｍの波長帯の光に基づき撮像可能な赤外カメラを用いる。カメラ２１０は、本実施形態における撮像部の一例である。カメラ２１０は、図２に示すように、撮像素子２１１と、望遠レンズ２１２と、光学フィルタ２１３とを備える。
【００２６】
撮像素子２１１は、例えばＣＣＤイメージセンサ又はＣＭＯＳイメージセンサなどで構成される。撮像素子２１１は、望遠レンズ２１２から入射する光が結像する撮像面を有する。
【００２７】
望遠レンズ２１２は、カメラ２１０の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。望遠レンズ２１２は、カメラ２１０における撮像光学系の一例である。望遠レンズ２１２に代えて、標準レンズ、中望遠レンズ又は超望遠レンズが用いられてもよい。
【００２８】
光学フィルタ２１３は、バンドパスフィルタ、及びバンドパスフィルタの切替え機構を備えて構成される。図２に示すように、光学フィルタ２１３は、望遠レンズ２１２の入射面に配置される。バンドパスフィルタは、入射する光のうちで、ＩＣＧなどの光感受性物質から蛍光が生じ得る波長帯成分（例えば８５０ｎｍ±１２．５ｎｍ）を透過し、他の波長帯成分を遮断する。切替え機構は、光学フィルタ２１３のオン／オフに応じて、望遠レンズ２１２への入射光に対するバンドパスフィルタの挿入／抜去を切り替える。
【００２９】
プロジェクタ２２０は、例えばＤＬＰ方式、３ＬＣＤ方式又はＬＣＯＳ方式などのプロジェクタである。プロジェクタ２２０は、投影制御装置２５０から入力される映像信号に基づく投影画像を可視光で投影するように、投影光３１５を出射する。プロジェクタ２２０は、本実施形態における投影部の一例である。プロジェクタ２２０は、図２に示すように、投影光源２２１と、画像形成部２２２と、投影光学系２２３とを備える。
【００３０】
投影光源２２１は、例えばＬＤ（半導体レーザ）、ＬＥＤ又はハロゲンランプなどで構成される。投影光源２２１は、可視光を画像形成部２２２に照射する。投影光源２２１は、プロジェクタ２２０の投影方式に応じて適宜、単色の光源素子のみを有してもよいし、ＲＧＢ等の複数色の光源素子、或いは白色の光源素子を有してもよい。
【００３１】
画像形成部２２２は、ＤＭＤ又はＬＣＤなどの空間光変調素子を備える。画像形成部２２２は、空間光変調素子における画像形成面に、投影制御装置２５０からの映像信号に基づく画像を形成する。投影光源２２１からの光が、画像形成部２２２に形成された画像に応じて空間的に変調されることにより、投影光３１５が生成される。
【００３２】
投影光学系２２３は、プロジェクタ２２０の画角を設定するズームレンズ、及びフォーカスを調整するフォーカスレンズを含む。また、投影光学系２２３には、各種のレンズ位置をシフトするレンズシフト機構が組み込まれていてもよい。
【００３３】
なお、プロジェクタ２２０は、例えば台形補正およびレンズシフト機能などのプロジェクタ２２０特有の機能を実現する投影制御回路を有してもよい。また、上記の各機能は、投影制御装置２５０において実現されてもよい。
【００３４】
また、プロジェクタ２２０は、レーザ走査式であってもよく、走査方向に駆動可能なＭＥＭＳミラー或いはガルバノミラーを備えて構成されてもよい。
【００３５】
ダイクロイックミラー２０１は、入射する光のうちの特定の波長帯成分を透過する一方、その他の波長帯成分を反射する光学特性を有する光学素子である。本実施形態において、ダイクロイックミラー２０１は（ＩＣＧの蛍光を含む）６５０ｎｍを上回る波長帯成分の光を透過し、（可視光を含む）６５０ｎｍを下回る波長帯成分の光を反射する。ダイクロイックミラー２０１は、本実施形態における光学部の一例である。光学部の光学特性は、使用する光感受性物質の蛍光特性に応じて適宜、設定可能である。
【００３６】
図２に示すように、ダイクロイックミラー２０１は、カメラ２１０と、プロジェクタ２２０とのそれぞれに対向して配置される。ダイクロイックミラー２０１は、上記の光学特性により、カメラ２１０の撮像面に向かう蛍光３１０を透過する一方、プロジェクタ２２０から照射された投影光３１５を反射する。反射した投影光３２０は、術野１３５上に照射される。
【００３７】
本実施形態では、ダイクロイックミラー２０１は、術野１３５からの蛍光３１０などのカメラ２１０に入射する入射光の光軸と、術野１３５上に投影画像を投影する投影光３２０の光軸とが、光軸Ｊ１において一致するように導光する。これにより、カメラ２１０の撮像画像に基づく投影画像の位置ずれを低減することができる。
【００３８】
なお、本開示における光軸の一致には、適宜、許容誤差が設定されてもよい。例えば、角度が±５度の範囲内、或いは光軸の間隔が１ｃｍの範囲内の許容誤差において、各光軸が一致してもよい。
【００３９】
１−４．調整機構について
本実施形態において、撮像照射装置２００は、投影画像の位置合わせを行うための各種調整機構を備えている。以下、図３Ａ，３Ｂ及び図４を用いて、撮像照射装置２００における調整機構について説明する。
【００４０】
図３Ａ，３Ｂは、本実施形態にかかる撮像照射装置２００の平面図及び側面図である。図４は、撮像照射装置２００におけるダイクロイックミラー２０１の回転位置の調整機構の拡大図である。図３Ａ〜４において、Ｊ２は、プロジェクタ２２０からの投影光の、ダイクロイックミラー２０１による反射前の光軸を示す。また、以下では、光軸Ｊ２に平行な方向を「Ｘ方向」、光軸Ｊ１に平行な方向を「Ｚ方向」、光軸Ｊ１，Ｊ２に直交する方向を「Ｙ方向」とする。
【００４１】
本実施形態において、プロジェクタ２２０は、図３Ａに示すように、Ｙ方向にシフト可能に構成されている。プロジェクタ２２０をシフトさせる調整機構は、プロジェクタ２２０の筐体において、基板２０３に対する組み付け部分に設けられた長孔２２０ａ及び固定ねじ２２０ｂによって構成される。長孔２２０ａの長手方向はＹ軸方向に向いている。
【００４２】
長孔２２０ａに沿ってプロジェクタ２２０をシフトさせることにより、プロジェクタ２２０からダイクロイックミラー２０１までの投影光の光路長を維持しながら、ダイクロイックミラー２０１で反射された投影光の投影位置をＹ方向にずらすことができる。本機構は、本開示における第１の調整部の一例である。
【００４３】
なお、図３Ａでは、プロジェクタ２２０の筐体が、光軸Ｊ２に対して所定の傾き（７度程度）を有する。特にこれに限らず、プロジェクタ２２０の筐体は、光軸Ｊ２に対して平行であってもよい。
【００４４】
また、本実施形態において、カメラ２１０とダイクロイックミラー２０１は、図３Ｂに示すように、Ｚ方向においてスペーサ２０２を介して対向している。スペーサ２０２は、２つの鏡筒２０２ａ，２０２ｂと、固定ねじ２０２ｃとを備える。
【００４５】
鏡筒２０２ｂは、ダイクロイックミラー２０１に固定されている。鏡筒２０２ａは、鏡筒２０２ｂに対して、Ｚ方向において直動可能に係合している。鏡筒２０２ａが直動することにより、カメラ２１０とダイクロイックミラー２０１との間隔が伸縮する。固定ねじ２０２ｃは、鏡筒２０２ｂに対する鏡筒２０２ａの位置を固定する。スペーサ２０２により、カメラ２１０に入射する光の光路長を適宜、調整することができる。スペーサ２０２は、本実施形態における第２の調整部の一例である。
【００４６】
また、本実施形態において、ダイクロイックミラー２０１は、図３Ｂに示すように、Ｙ軸方向と平行な回転軸２０１ａの周りに回転可能に構成されている。回転軸２０１ａは、光軸Ｊ１，Ｊ２の交点に位置している。回転軸２０１ａでダイクロイックミラー２０１を回転させることにより、プロジェクタ２２０からダイクロイックミラー２０１までの投影光の光路長を維持しながら、ダイクロイックミラー２０１で反射された投影光の投影位置をＸ方向にずらすことができる。
【００４７】
ダイクロイックミラー２０１の回転位置の調整機構は、図４に示すように、回転軸２０１ａ、押しネジ２０１ｂ、ミラー固定部２０１ｃ、及びロックねじ２０１ｄ、２０１ｅで構成される。ミラー固定部２０１ｃは、ダイクロイックミラー２０１の両側に設けられる。ロックねじ２０１ｄ、２０１ｅは、回転軸２０１ａの両側に位置し、ねじを締めることでミラー固定部２０１ｃを固定し、ダイクロイックミラー２０１の回転を規制する。押しネジ２０１ｂは、２つのロックねじ２０１ｄ、２０１ｅの内の一方のロックねじ２０１ｄの側から、ミラー固定部２０１ｃを介してダイクロイックミラー２０１を押しつけている。
【００４８】
ダイクロイックミラー２０１の回転角度の調整は、ロックねじ２０１ｄ、２０１ｅを緩めた状態において、押しネジ２０１ｂによる押し込み量を変化させることによって行われる。これにより、ダイクロイックミラー２０１の回転角度を精密に調整することが可能となる。
【００４９】
また、カメラ２１０の配置をＸＹ平面上で回転させるために、鏡筒２０２ａが、鏡筒２０２ｂに対して回転可能に構成されてもよい。この場合、カメラ２１０の光軸Ｊ１と鏡筒２０２ａの回転軸とを一致させておく。鏡筒２０２ａの回転位置は、固定ねじ２０２ｃによって固定されてもよい。上記のダイクロイックミラー２０１の回転位置の調整機構、及びカメラ２１０をＸＹ平面上で回転させる機構は、それぞれ本実施形態における第１の調整部の一例である。
【００５０】
２．動作
以下、本実施形態にかかる手術支援システム１００の動作について説明する。
【００５１】
２−１．手術支援システムの基本的な投影動作
手術支援システム１００の基本的な投影動作について、図５，６Ａ，６Ｂを用いて説明する。図５は、手術支援システム１００における基本的な投影動作を説明するためのフローチャートである。図６Ａは、投影動作を行う前の手術支援システム１００における術野１３５の状態を示す。図６Ｂは、図６Ａの術野１３５に対して投影動作を行った状態を示す。
【００５２】
図５のフローチャートは、投影制御装置２５０によって実行される。本フローチャートによる処理は、カメラ２１０において光学フィルタ２１３がオンの状態で行われる。
【００５３】
図５のフローチャートにおいて、まず、投影制御装置２５０は、励起光源２３０を駆動して、図６Ａに示すように、励起光３００を術野１３５に照射する（Ｓ１）。励起光３００の照射により、術野１３５における患部１３０が蛍光発光し、患部１３０からの蛍光３１０が撮像照射装置２００に入射する。
【００５４】
撮像照射装置２００において、蛍光３１０は図２に示すように、ダイクロイックミラー２０１を透過し、カメラ２１０の光学フィルタ２１３を透過する。これにより、カメラ２１０は、撮像素子２１１において蛍光３１０を受光する。
【００５５】
次に、投影制御装置２５０は、例えばカメラ２１０を制御して術野１３５を撮像させ、カメラ２１０から撮像画像を取得する（Ｓ２）。撮像画像には、患部１３０が発した蛍光３１０に基づく蛍光像が含まれる。
【００５６】
次に、投影制御装置２５０は、取得した撮像画像に基づく投影画像を生成するための画像処理を行う（Ｓ３）。投影制御装置２５０は、撮像画像中の蛍光像に対応する画像を生成し、映像信号としてプロジェクタ２２０に出力する。
【００５７】
ステップＳ３の画像処理において、投影制御装置２５０は、例えば、撮像画像における受光強度の分布に対して所定のしきい値に基づき二値化を行い、撮像画像中の蛍光像の領域を抽出する。次いで、投影制御装置２５０は、メモリ２４０に格納された各種パラメータを参照し、抽出した領域を含む画像に対してシフト、回転、及び拡大／縮小などの座標変換、並びに画像の歪み等の補正などを行う。これにより、撮像画像中の蛍光像に応じた特定の領域を表す画像が生成される。
【００５８】
次に、投影制御装置２５０は、生成した映像信号に基づく投影画像を投影するように、プロジェクタ２２０を制御する（Ｓ４）。投影制御装置２５０の制御により、プロジェクタ２２０において、投影制御装置２５０からの映像信号に応じた画像が、画像形成部２２２の画像形成面上に形成される。プロジェクタ２２０は、可視光で画像形成面上の画像を表す投影光３１５を生成するように投影光源２２１を駆動し、投影光学系２２３を介してダイクロイックミラー２０１に投影光３１５を出射する（図２参照）。
【００５９】
ダイクロイックミラー２０１は、図２に示すように、可視光である投影光３１５を反射し、光軸Ｊ１に沿って投影光３２０を出射する。これにより、図６Ｂに示すように、撮像照射装置２００は術野１３５に投影光３２０を照射し、投影画像Ｇ３２０が、術野１３５における患部１３０に投影される。投影画像Ｇ３２０は、例えば単色で一階調の画像である。
【００６０】
以上の処理は、所定の周期（例えば１／６０〜１／３０秒）で繰り返し実行される。
【００６１】
以上の処理により、投影制御装置２５０が、カメラ２１０の撮像画像に基づき蛍光発光する患部１３０の領域を特定し、プロジェクタ２２０から可視光の投影画像Ｇ３２０が患部１３０に投影される。これにより、手術支援システム１００において、目視では視認することが困難な患部１３０を可視化することができる。手術支援システム１００により、医師等は患部１３０のリアルタイムの状態を視認することができる。
【００６２】
以上の説明では、投影画像Ｇ３２０が単色で一階調の画像の例を説明した。投影制御装置２５０は、例えば複数のしきい値を用いて撮像画像中の蛍光像の領域を多段階で判定することにより、多階調の投影画像を生成してもよい。また、投影制御装置２５０は、撮像画像における受光強度の分布を連続的に再現するように、投影画像を生成してもよい。また、投影画像は、単色に限らず、複数色あるいはフルカラーで生成されてもよい。
【００６３】
２−２．位置合わせ動作
２−２−１．概要
手術支援システム１００は、上述のとおり、カメラ２１０の撮像画像に基づきプロジェクタ２２０から投影画像Ｇ３２０を投影することにより、手術中に目視では視認し難い患部１３０を可視化する（図６Ａ，６Ｂ参照）。本システム１００では、使用時（手術中）に投影画像Ｇ３２０によって誤りなく患部１３０を可視化するために、予め、カメラ２１０の撮像画像とプロジェクタ２２０の投影画像との位置合わせが行われる。
【００６４】
図７は、本実施形態に係る手術支援システム１００の位置合わせを説明するための図である。図７では、作業者４４０が、手術支援システム１００における位置合わせを行う様子を例示している。位置合わせは、例えば製造時、メンテナンス時および使用前のキャリブレーションなどで行われる。
【００６５】
図７では、投影制御装置２５０に、ＰＣ等の情報処理装置４５０が接続されている。また、情報処理装置４５０には、ディスプレイ４６０及びマウス４７０等が接続されている。図７の例において、作業者４４０は、情報処理装置４５０を介して手術支援システム１００における種々のパラメータを変更することによって位置合わせを行っている。
【００６６】
また、図７の例では、治具５００が、作業者４４０は、手術中に被写体（患者１２０）が位置すると想定される基準高さの基準位置Ｐ０に設置され、治具５００を基準として位置合わせが行われている。また、光軸Ｊ１と平行なＺ方向を、手術支援システム１００における高さ方向としている。
【００６７】
手術支援システム１００では、高さ方向（Ｚ方向）における可動域を広く確保しながら投影動作を行うことが求められる。例えば、図１に示すように、患者１２０の体には厚みがあるので、手術中の投影画像Ｇ３２０（図２Ｂ）は、高さ方向の所定範囲（例えば４０ｃｍ）に渡って、精度良く投影される必要がある。また、手術中に、患者１２０の体の向きを変えたり、施術者が交代したりする等の事情により、手術台１１０及び撮像照射装置２００の高さを変更することもある。そこで、本実施形態では、投影画像が精度良く投影される高さ方向の範囲を広くすることができる投影装置２０を提供する。
【００６８】
２−２−２．画角と位置ずれについて
本実施形態では、図７に示すように、カメラ２１０とプロジェクタ２２０とが、ダイクロイックミラー２０１を介して、同じ光軸Ｊ１上で撮像又は投影を行うように、位置合わせが行われる。
【００６９】
本発明者の鋭意検討の結果、カメラ２１０の光軸とプロジェクタ２２０の光軸とを同一光軸Ｊ１に一致させながら位置合わせを行ったとしても、それぞれの画角に応じて位置ずれが生じてしまうということが明らかになった、以下、図８Ａを用いて、画角と位置ずれの関係について説明する。
【００７０】
図８Ａは、手術支援システム１００における画角と位置ずれの関係を説明するための図である。位置合わせにおける基準位置Ｐ０の基準高さＺ０は、適宜、手術支援システム１００の使用時状態を考慮して、所定の高さに設定される。基準位置Ｐ０において位置合わせを行うことにより、カメラ２１０によって撮像される領域全体とプロジェクタ２２０から投影可能な領域全体とが合致する。これにより、高さＺ０近傍の被写体には、撮像画像に基づき投影画像を精度良く投影可能になる。
【００７１】
ここで、上記のような位置合わせにおいて、図８Ａに示すように、カメラ２１０の画角θｃ’とプロジェクタ２２０の画角θｐ’とが一致しない場合が想定される。この場合、被写体の高さが基準高さＺ０からずれていると、高さのずれΔＺに応じて、撮像画像との投影画像との間に位置ずれΔＤが生じてしまう。また、この場合、撮像画像に基づき精度良く投影画像を投影可能な範囲が基準位置Ｚ０近傍に限定され、手術支援システム１００の可動域が狭くなってしまう。
【００７２】
以上の知見に基づき、本発明者は鋭意検討を重ね、本実施形態にかかる位置合わせ方法およびこれを実現する投影装置２０を発案するに到った。以下、図８Ｂを用いて、本実施形態にかかる投影装置２０による位置合わせについて説明する。
【００７３】
本実施形態では、図８Ｂに示すように、基準位置Ｚ０における同一の光軸Ｊ１上の位置合わせにおいて、カメラ２１０の画角θｃとプロジェクタ２２０の画角θｐとを一致させる。また、同一の画角θｃ＝θｐによる位置合わせを実現するために、本実施形態に係る撮像照射装置２００（投影装置２０）では、スペーサ２０２を用いて、ダイクロイックミラー２０１とプロジェクタ２２０の間の光路長Ｌｐと、カメラ２１０とダイクロイックミラー２０１の間の光路長Ｌｃとを一致させておく。
【００７４】
光路長Ｌｐは、例えば、ダイクロイックミラー２０１の反射面と光軸Ｊ１との交点Ｐ１から、プロジェクタ２２０における投影光学系２２３の主点Ｐｐまでの光路長である。光路長Ｌｃは、例えば、カメラ２１０における望遠レンズ２１２（撮像光学系）の主点Ｐｃからダイクロイックミラー２０１上の交点Ｐ１までの光路長である。光路長Ｌｃ，Ｌｐは、カメラ２１０及びプロジェクタ２２０の光学特性、撮像素子２１１のサイズ、画像形成部２２２の空間光変調素子のサイズ、基準位置Ｐ０の高さ並びに撮像（投影）対象の領域のサイズ等に基づき、適宜、設定されてもよい。
【００７５】
図８Ｂに示すように、同軸Ｊ１上で同画角θｐ＝θｃにおいて位置合わせすることにより、基準高さＺ０からずれた高さＺ１，Ｚ２においても、カメラ２１０に撮像される領域全体とプロジェクタ２２０から投影可能な領域全体とが合致する。これにより、撮像画像に応じた投影画像を精度良く投影可能な範囲が基準高さＺ０近傍から広がり、手術支援システム１００の可動域を広げることができる。
【００７６】
なお、本開示において、同光路長Ｌｐ＝Ｌｃ（又は同画角θｐ＝θｃ）は、両者が必ずしも厳密に一致することを意図しておらず、実用上差し支えない範囲内であれば厳密に一致していなくてもよい。例えば、光路長Ｌｐ，Ｌｃ同士（又は画角θｐ，θｃ同士）が９０％の範囲で一致していれば、光路長（又は画角）が一致していることとしてもよい。
【００７７】
また、本実施形態では、同軸Ｊ１，同画角θｐ＝θｃで且つ同光路長Ｌｐ＝Ｌｃの状態において撮像画像と投影画像の位置合わせが為されるように、撮像照射装置２００に種々の調整機構が設けられている。以下、本実施形態における調整機構を用いた位置合わせ方法について説明する。
【００７８】
２−２−３．位置合わせ方法について
本実施形態にかかる位置合わせ方法では、撮像照射装置２００に設けた種々の調整機構を用いて粗調整を行い、さらに、投影制御装置２５０における画像処理に寄り微調整を行う。以下、本実施形態にかかる位置合わせ方法について、図７，９Ａ〜１０Ｂを用いて説明する。
【００７９】
図７に示すように、まず、作業者４４０は、光軸Ｊ１が治具５００の中心に位置するように、治具５００を基準位置Ｐ０に設置する。また、基準位置Ｐ０の高さは、基準高さＺ０である。
【００８０】
図９Ａは、本実施形態に係る位置合わせ方法における治具５００の平面図である。図９Ａに示すように、治具５００は、アスペクト比ＤＹ／ＤＸを有する枠型の部材である。治具５００の寸法ＤＸ，ＤＹは、基準高さＺ０及び撮像照射装置２００のＸ方向及びＹ方向の画角に応じて設計されている。また、本実施形態では、カメラ２１０及びプロジェクタ２２０のアスペクト比が同一になるように設定されている。
【００８１】
次に、作業者４４０は、基準位置Ｐ０の治具５００に対してカメラ２１０の位置合わせを行う。カメラ２１０の位置合わせは、ディスプレイ４６０に表示される治具５００の撮像画像に基づき行われる。図９Ｂは、カメラ２１０による治具５００の撮像画像Ｉｍ１を説明するための図である。
【００８２】
図９Ｂでは、撮像画像Ｉｍ１に治具５００の内枠が映った状態を示している。作業者４４０は、例えば図９Ｂに示すような撮像画像Ｉｍ１が得られるように、望遠レンズ２１２のズーム値を調整する。ここで、撮像画像Ｉｍ１中の治具５００の回転位置がずれている場合には、適宜、カメラ２１０又は治具５００の回転位置を変更する。
【００８３】
作業者４４０は、図９Ｂに示すような撮像画像Ｉｍ１が得られた状態で、カメラ２１０のフォーカスを合わせる。
【００８４】
次に、作業者４４０は、各種調整機構を用いることにより、プロジェクタ２２０の位置合わせを行う。プロジェクタ２２０の位置合わせは、撮像画像Ｉｍ１に基づき投影される投影画像を用いて行われる。図１０Ａ，Ｂは、基準位置Ｐ０に投影された投影画像Ｇ５００の表示例である。
【００８５】
図１０Ａ，Ｂに例示した投影画像Ｇ５００は、図９の撮像画像Ｉｍ１に対して投影制御装置２５０による画像処理が行われることにより、プロジェクタ２２０から基準位置Ｐ０に投影される。また、ディスプレイ４６０には、撮像画像Ｉｍ１において撮像される撮像領域Ｒｍ１の状態が映し出される。
【００８６】
作業者４４０は、例えばディスプレイ４６０に映し出された画像に基づき、投影画像Ｇ３２０のサイズが撮像画像Ｉｍ１のサイズと同等の大きさになるように、投影光学系２２３のズーム値を調整する。これにより、カメラ２１０の画角とプロジェクタ２２０の画角とを略一致させることができる。なお、作業者４４０は、基準位置Ｐ０に実際に投影されている投影画像Ｇ３２０を見ながら、ズーム値の調整を行ってもよい。
【００８７】
図１０Ａの例では、治具５００（或いは撮像領域Ｒｍ１）と投影画像Ｇ５００との向きがずれている。このような場合、作業者４４０は、例えばカメラ２１０及び治具５００を回転させることにより、治具５００と投影画像Ｇ５００との向きを揃える。すると、図１０Ｂに示すように、治具５００に対して投影画像Ｇ５００の投影位置がずれた状態になる。
【００８８】
作業者４４０は、治具５００と投影画像Ｇ５００との向きが揃った状態で、Ｘ，Ｙ方向それぞれにおいて投影画像Ｇ３２０の投影位置を調整する。具体的に、作業者４４０は、回転軸２０１ａ（図３Ｂ参照）の周りにダイクロイックミラー２０１を回転させることにより、投影画像Ｇ５００をＸ方向に移動させる。また、作業者４４０は、長孔２２０ａ（図３Ａ参照）に沿ってプロジェクタ２２０をシフトさせることにより、投影画像Ｇ５００をＹ方向に移動させる。
【００８９】
また、作業者４４０は、ＰＣ４５０を介して投影制御装置２５０に、投影画像Ｇ３２０の台形補正を適宜、実行させる。作業者４４０は、投影画像Ｇ５００の投影位置が所定の誤差の範囲内（例えば５ｍｍ）で治具５００と一致したと判断した場合に、プロジェクタ２２０による投影画像Ｇ５００を合わせる。所定の誤差は、各種調整機構による調整では、投影画像Ｇ３２０が撮像領域Ｒｍ１に一致しきれないと想定される誤差である。
【００９０】
本実施形態にかかる位置合わせ方法では、上記のように各種調整機構を用いて、所定の範囲内にまで投影画像Ｇ３２０を撮像領域Ｒｍ１に一致させた上で、僅かに残る誤差に対して画像処理における微調整を行う。具体的に、作業者４４０は、ディスプレイ４６０の表示において投影画像Ｇ５００が撮像領域Ｒｍ１に正確に一致するように、撮像画像Ｉｍ１に基づく投影画像Ｇ５００の補正量を決定する。補正量は、例えば、ＸＹ位置のシフト量、回転量、サイズ比率、歪み補正値などである。作業者４４０は、ＰＣ４５０を介して投影制御装置２５０に、決定した各種補正量をメモリ２４０に格納させる。また、調整済みのズーム値なども、メモリ２４０に格納される。
【００９１】
以上の方法により、スペーサ２０２で設定した光路長Ｌｃにおいて同軸Ｊ１で且つ同画角θｃ＝θｐの位置合わせが行われ、投影画像が精度良く投影される高さ方向の範囲を広くすることができる。
【００９２】
３．効果等
以上の手術支援システム１００における投影装置２０は、カメラ２１０と、プロジェクタ２２０と、投影制御装置２５０と、ダイクロイックミラー２０１とを備える。カメラ２１０は、被写体である術野１３５の患部１３０を撮像して撮像画像を生成する。プロジェクタ２２０は、撮像画像に基づく投影画像を示す投影光３２０を被写体上に照射する。投影制御装置２５０は、撮像画像に基づいて投影画像を制御する。ダイクロイックミラー２０１は、術野１３５からカメラ２１０に入射する入射光（患部１３０が発した蛍光３１０）の光軸Ｊ１と、プロジェクタ２２０から術野１３５上に照射される投影光３２０の光軸Ｊ１とが一致するように導光する。投影装置２０では、入射光に基づきカメラ２１０が撮像する画角θｃと、プロジェクタ２２０が投影光を照射する画角θｐとが一致し、カメラ２１０とダイクロイックミラー２０１間の入射光の光路長Ｌｃと、プロジェクタ２２０とダイクロイックミラー２０１間の投影光３１５の光路長Ｌｐとが一致している。
【００９３】
以上の投影装置２０によると、同一の光軸Ｊ１上でカメラ２１０の画角θｃとプロジェクタ２２０の画角θｐが一致した状態において、光路長Ｌｃと光路長Ｌｐとが一致している。このため、光軸Ｊ１方向の広い範囲に渡って位置ずれが低減され、被写体の撮像画像に基づく投影画像が精度良く投影される範囲を広くすることができる。
【００９４】
また、本実施形態における投影装置２０は、カメラ２１０、プロジェクタ２２０及びダイクロイックミラー２０１のそれぞれの位置並びに向きのうちの少なくとも１つを調整可能に構成される各種調整機構２０１ａ〜２０１ｃ，２２０ａ，２２０ｂ（第１の調整部）をさらに備える。これにより、同軸Ｊ１，同画角θｃ＝θｐ及び同光路長Ｌｃ＝Ｌｐの状態で投影画像の位置合わせを行い易くすることができる。
【００９５】
また、本実施形態における投影装置２０は、カメラ２１０とダイクロイックミラー２０１間の入射光３１０の光路長Ｌｃを調整可能に構成されるスペーサ２０２をさらに備える。スペーサ２０２により、各光路長Ｌｃ，Ｌｐを一致させて投影画像の位置合わせを行うことができる。
【００９６】
なお、スペーサ２０２は、光路長Ｌｃを調整可能に構成されなくてもよく、所定の寸法（Ｚ方向の長さ）で設けられてもよい。所定の寸法は、各光学系２１２，２２２の光学特性等に基づき、同画角θｃ＝θｐの状態において同光路長Ｌｃ＝Ｌｐとなる寸法である。これにより、同画角θｃ＝θｐの状態において光路長Ｌｃ，Ｌｐが一致するように、ダイクロイックミラー２０１とカメラ２１０及びプロジェクタ２２０との間の光路が設定される。
【００９７】
また、本実施形態では、スペーサ２０２（第２の調整部）はカメラ２１０とダイクロイックミラー２０１間の距離を変更することにより光路長Ｌｃを調整したが、距離の変更に限らず、例えばスペーサ内に光学系を設けることで、光路長Ｌｃを調整してもよい。また、本開示における第２の調整部は、光路長Ｌｃを調整するスペーサに代えて、又はこれに加えて、プロジェクタ２２０とダイクロイックミラー２０１間の投影光３２０の光路長Ｌｐを調整可能な機構を備えてもよい。光路長Ｌｃを調整するスペーサ２０２によると、プロジェクタ２２０がカメラ２１０よりも大型の場合、投影光３２０の光路長Ｌｐを調整可能な機構を設ける場合よりも撮像照射装置２００を小型化可能になる。
【００９８】
また、本実施形態において、第１の調整部２０１ａ〜２０１ｃ，２２０ａは、スペーサ２０２によって設定される光路長Ｌｃを維持しながらカメラ２１０、プロジェクタ２２０及びダイクロイックミラー２０１のそれぞれの位置並びに向きのうちの少なくとも１つを調整可能に構成される。これにより、同光路長Ｌｃ＝Ｌｐの状態で、投影画像の位置合わせを行い易くすることができる。
【００９９】
また、本実施形態において、第１の調整部２０１ａ〜２０１ｃ，２２０ａは、プロジェクタ２２０が投影光３１５を出射するＸ方向と直交するＹ方向においてプロジェクタ２２０を移動可能に構成される。これにより、ダイクロイックミラー２０１までの光路長Ｌｐを維持しながらプロジェクタ２２０のずれを調整することができる。
【０１００】
また、本実施形態において、ダイクロイックミラー２０１は、入射する光の内の可視光成分の進行方向を変更して出射する。第１の調整部２０１ａ〜２０１ｃは、ダイクロイックミラー２０１に入射する投影光３１５の光軸Ｊ１とダイクロイックミラー２０１から出射する投影光３２０の光軸Ｊ２の交点Ｐ１に位置する回転軸２０１ａにおいて、ダイクロイックミラー２０１を回転可能に構成される。これにより、光路長Ｌｐを維持しながら投影光３２０の出射方向を調整することができる。また、ダイクロイックミラー２０１の回転させる小型の機構だけで投影光３２０の出射方向を調整できる。
【０１０１】
また、本実施形態において、投影制御装置２５０は、撮像画像Ｉｍ１に基づく画像処理において投影画像Ｇ５００を調整する。これにより、各種調整機構による粗調整では一致しきれない投影画像の誤差を補正することができる。
【０１０２】
また、本実施形態において、カメラ２１０は、カメラ２１０の画角θｃを設定する望遠レンズ２１２を備える。プロジェクタ２２０は、プロジェクタ２２０の画角θｐを設定する投影光学系２２３を備える。投影制御装置２５０は、画角θｃと画角θｐとが一致するように、望遠レンズ２１２及び投影光学系２２３を制御する。投影制御装置２５０は、種々のズーム値において同画角θｃ＝θｐとなるように制御することができる。
【０１０３】
（変形例）
上記の実施の形態１では、撮像照射装置２００においてプロジェクタ２２０をシフトさせる機構により投影画像のＹ方向の位置を調整したが、Ｙ方向の位置を調整する機構はこれに限らない。図１１Ａ，１１Ｂを用いて、Ｙ方向の位置を調整する機構の変形例について説明する。
【０１０４】
図１１Ａ，１１Ｂは、実施の形態１の変形例１にかかる撮像照射装置２００Ａの平面図及び側面図である。撮像照射装置２００Ａは、図１１Ａに示すように、ＸＹ平面上で、光軸Ｊ１を回転軸としてプロジェクタ２２０を回転可能に構成されている。ＸＹ平面上でプロジェクタ２２０を回転する機構は、例えば、図１１Ｂに示すように、プロジェクタ２２０と基板２０３との間に設けられたスライダ２０５で構成される。
【０１０５】
スライダ２０５は、基板２０３に対してプロジェクタ２２０を光軸Ｊ１の周りに回転可能に係合する部材である。当該機構によりプロジェクタ２２０を回転させることで、ダイクロイックミラー２０１までの投影光の光路長を維持しながら、投影画像のＹ方向の投影位置を調整することができる。
【０１０６】
また、上記の実施の形態１では、撮像照射装置２００においてダイクロイックミラー２０１を光学部として用いたが、光学部はこれに限らず、入射光のうちの特定の成分の進行方向を変更する他の光学素子であってもよい。図１２Ａ，１２Ｂを用いて、光学部及びその調整機構の変形例について説明する。
【０１０７】
図１２Ａは、実施の形態１の変形例２にかかる撮像照射装置２００Ｂの側面図である。撮像照射装置２００Ｂは、ダイクロイックミラー２０１に代わる光学部として、可視光を屈折するプリズム２０４を備える。
【０１０８】
本変形例では、プリズム２０４が固定されている一方、プロジェクタ２２０は、Ｚ方向に直動可能に構成されている。プロジェクタ２２０を直動させるための機構は、例えば、図１２Ａに示すように、プロジェクタ２２０と基板２０３との間でＺ方向に伸縮可能な支持部２０５Ａで構成される。支持部２０５Ａでプロジェクタ２２０を直動させることにより、投影光がプリズム２０４から出射する位置がずれ、投影画像のＸ方向の投影位置を調整することができる。
【０１０９】
図１２Ｂは、実施の形態１の変形例３にかかる撮像照射装置２００Ｃの平面図及び側面図である。変形例２では、プロジェクタ２２０をＺ方向にシフトさせたが、本例では、ＸＺ平面上で、光軸Ｊ１，Ｊ２の交点を回転軸としてプロジェクタ２２０を回転させる。ＸＺ平面上でプロジェクタ２２０を回転する機構は、例えば図１２Ｂに示すように、傾きを設定可能な支持部２０５Ｂで構成される。支持部２０５Ｂでプロジェクタ２２０を傾けることにより、プリズム２０４までの投影光の光路長を維持しながら、投影画像のＸ方向の投影位置を調整することができる。
【０１１０】
なお、変形例２，３において、投影画像のＹ方向の投影位置の調整するための機構は、適宜、設けられてもよく、例えばプロジェクタ２２０がＹ方向にシフト可能に構成されてもよいし、ＸＹ平面上で回転可能に構成されてもよい。
【０１１１】
また、変形例２，３では、プリズム２０４を固定したが、プリズム２０４を動かすための機構を設けてもよい。例えば、投影画像のＸ方向の投影位置を調整するために、プリズム２０４が、ＸＺ平面上で回転可能に構成されてもよいし、Ｚ方向又はＸ方向にシフト可能に構成されてもよい。
【０１１２】
上述した各変形例１〜３の調整機構は、それぞれ本開示における第１の調整部の一例である。実施形態１の各種調整機構２０１ａ〜２０１ｃ，２０２，２２０ａ，２２０ｂ及び各変形例１〜３の調整機構には、それぞれ自動的に調整可能な駆動部が組み込まれていてもよい。駆動部は、例えば直動ユニット及びアクチュエータなどで構成される。
【０１１３】
（実施の形態２）
実施の形態１では、作業者が手術支援システム１００における位置合わせを行う例を説明したが、手術支援システム１００における位置合わせは、各種制御装置によって自動的に行われてもよい。実施の形態２では、投影制御装置２５０が位置合わせを行う例について説明する。
【０１１４】
以下、実施の形態１に係る手術支援システム１００と同様の構成、動作の説明は適宜、省略して、本実施形態に係る手術支援システム１００を説明する。
【０１１５】
本実施形態では、一例として、実施形態１で説明した各種調整機構２０１ａ〜２０１ｃ，２０２，２２０ａ，２２０ｂ（図３Ａ，３Ｂ，４参照）に駆動部が組み込まれており、投影制御装置２５０が調整機構を駆動可能であることとする。
【０１１６】
図１３は、本実施形態にかかる位置合わせ処理を説明するためのフローチャートである。位置合わせ処理は、投影制御装置２５０がカメラ２１０の撮像画像に基づき各種調整機構を駆動して投影画像の位置合わせを行う処理である。本実施形態において、図１３に示す処理は、投影制御装置２５０によって実行され、治具５００が基準位置Ｐ０に設置された状態において開始される（図７，９Ａ参照）。
【０１１７】
まず、投影制御装置２５０は、カメラ２１０に基準位置Ｐ０の治具５００を撮像させ、撮像画像に基づきカメラ２１０の画角を設定する（Ｓ１１）。例えば、投影制御装置２５０は、治具５００の内枠が撮像画像Ｉｍ１に映るように（図９Ｂ参照）、カメラ２１０のズーム値を調整する。
【０１１８】
次に、投影制御装置２５０は、撮像画像Ｉｍ１に基づき投影画像Ｇ５００を投影し、投影画像Ｇ５００の撮像結果に基づきプロジェクタ２２０の画角を設定する（Ｓ１２）。例えば、投影制御装置２５０は、投影画像Ｇ５００の撮像結果に基づき投影画像Ｇ５００のサイズを計算し、計算結果に応じてプロジェクタ２２０のズーム値を調整する。また、投影制御装置２５０は、調整済みのカメラ２１０のズーム値に基づき、プロジェクタ２２０のズーム値を設定してもよい。
【０１１９】
次に、投影制御装置２５０は、画角を設定した投影画像Ｇ５００の撮像結果に基づき、所定の誤差の範囲内で投影画像Ｇ５００が撮像領域Ｒｍ１に一致するように（図１０Ａ，Ｂ参照）、各種の調整機構を駆動する（Ｓ１３）。例えば、投影制御装置２５０は、投影画像Ｇ５００をＸ方向に移動させるためにダイクロイックミラー２０１を回転させたり、Ｙ方向に移動させるためにプロジェクタ２２０をシフトさせたりする。
【０１２０】
次に、投影制御装置２５０は、上記のように各種調整機構の駆動による粗調整で僅かに残る誤差に対して画像処理における微調整を行う（Ｓ１４）。具体的に、投影制御装置２５０は、投影画像Ｇ５００が撮像領域Ｒｍ１に正確に一致するように、撮像画像Ｉｍ１に基づく投影画像Ｇ５００の補正量を算出する。
【０１２１】
次に、投影制御装置２５０は、例えばカメラ２１０及びプロジェクタ２２０のズーム値、並びに算出した補正量などの調整済みの各種パラメータをメモリ２４０に格納し（Ｓ１５）、本処理を終了する。
【０１２２】
以上の処理により、投影制御装置２５０がカメラ２１０の撮像結果に基づき自動的に位置合わせを行うことができる。
【０１２３】
以上のように、本実施形態にかかる手術支援システム１００において、投影制御装置２５０は、撮像画像Ｉｍ１に基づいて、被写体上の投影画像Ｇ５００を調整するように、第１の調整部を駆動する。これにより、手術支援システム１００における位置合わせを自動で行うことができる。
【０１２４】
以上の説明では、投影画像Ｇ５００を移動させるために第１の調整部が駆動された。第１の調整部に限らず、例えばカメラ２１０及びプロジェクタ２２０のズーム又はフォーカスの変更に応じて、適宜、光路長を調整するようにスペーサ２０２（第２の調整部）が駆動されてもよい。
【０１２５】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１，２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１，２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【０１２６】
そこで、以下、他の実施の形態を例示する。
【０１２７】
上記の実施形態１，２では、光感受性物質から生じる蛍光を透過するダイクロイックミラー２０１又はプリズム２０４を用いて説明したが、これに限らず、本開示における光学部として、蛍光を反射又は屈折するダイクロイックミラー又はプリズムを用いてもよい。この場合、適宜、撮像部及び投影部の配置を入れ替えてもよい。また、本開示における光学部として、所定の偏光成分の光の進行方向を変更する偏光板などを用いてもよい。この場合、光の偏光成分に応じて、撮像部又は投影部に選択的に入射させることができる。
【０１２８】
実施の形態１，２では、手術などの医療用途を例に挙げて説明したが、本発明はこれには限らない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合、本発明を適用することができる。
【０１２９】
具体的には、実施の形態１の医療機器に代えて、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、カメラ２１０による撮像の対象である被写体としてもよい。発光ではなく、発熱箇所を熱センサで検出して、その部分だけ或いは、境界だけを走査するようにしてもよい。
【０１３０】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１３１】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１３２】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１３３】
本開示における投影システムは、医療用途、工事現場、採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認しづらいような対象物に対して作業を行う際に適用可能である。
【符号の説明】
【０１３４】
１００    手術支援システム
２００    撮像照射装置
２０１    ダイクロイックミラー
２０２    スペーサ
２０４    プリズム
２１０    カメラ
２１２    望遠レンズ
２２０    プロジェクタ
２２３    投影光学系
２５０    投影制御装置
２０    投影装置
【図１】
2017158042.tif 000003
【図２】
2017158042.tif 000004
【図３Ａ】
2017158042.tif 000005
【図３Ｂ】
2017158042.tif 000006
【図４】
2017158042.tif 000007
【図５】
2017158042.tif 000008
【図６Ａ】
2017158042.tif 000009
【図６Ｂ】
2017158042.tif 000010
【図７】
2017158042.tif 000011
【図８Ａ】
2017158042.tif 000012
【図８Ｂ】
2017158042.tif 000013
【図９Ａ】
2017158042.tif 000014
【図９Ｂ】
2017158042.tif 000015
【図１０Ａ】
2017158042.tif 000016
【図１０Ｂ】
2017158042.tif 000017
【図１１Ａ】
2017158042.tif 000018
【図１１Ｂ】
2017158042.tif 000019
【図１２Ａ】
2017158042.tif 000020
【図１２Ｂ】
2017158042.tif 000021
【図１３】
2017158042.tif 000022
【手続補正書】
【提出日】平成28年12月7日(2016.12.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を撮像して撮像画像を生成する撮像部と、
前記撮像画像に基づく投影画像を示す投影光を前記被写体上に照射する投影部と、
前記撮像画像に基づいて前記投影画像を制御する制御部と、
前記被写体から前記撮像部に入射する入射光の光軸と、前記投影部から前記被写体上に照射される投影光の光軸とが一致するように導光する光学部とを備え、
前記入射光に基づき前記撮像部が撮像する画角と、前記投影部が前記投影光を照射する画角とが一致し、
前記撮像部と光学部間の入射光の光路長と、前記投影部と光学部間の投影光の光路長とが一致しており、
前記撮像部、投影部及び光学部のそれぞれの位置並びに向きのうちの少なくとも１つを調整可能に構成される第１の調整部をさらに備え、
前記光学部は、入射する光の内の所定の成分の進行方向を変更して出射し、
前記第１の調整部は、前記光学部に入射する光の光軸と前記光学部から出射する光の光軸の交点に位置する回転軸において、前記光学部を回転可能に構成される
投影装置。
【請求項２】
前記撮像部と光学部間の入射光の光路長および前記投影部と光学部間の投影光の光路長のうちの少なくとも一方を調整可能に構成される第２の調整部をさらに備える
請求項１に記載の投影装置。
【請求項３】
前記第１の調整部は、前記第２の調整部によって調整される光路長を維持しながら前記撮像部、投影部及び光学部のそれぞれの位置並びに向きのうちの少なくとも１つを調整可能に構成される
請求項２に記載の投影装置。
【請求項４】
前記第１の調整部は、前記投影部が前記投影光を出射する方向と直交する方向において前記投影部を移動可能に構成される
請求項１〜３のいずれか１項に記載の投影装置。
【請求項５】
前記制御部は、前記撮像画像に基づいて、前記被写体上の投影画像を調整するように、前記第１の調整部を駆動する
請求項１〜４のいずれか１項に記載の投影装置。
【請求項６】
前記制御部は、前記撮像画像に基づく画像処理において前記投影画像を調整する
請求項１〜５のいずれか１項に記載の投影装置。
【請求項７】
前記撮像部は、前記撮像部の画角を設定する撮像光学系を備え、
前記投影部は、前記投影部の画角を設定する投影光学系を備え、
前記制御部は、前記撮像部の画角と前記投影部の画角とが一致するように、撮像光学系及び投影光学系を制御する
請求項１〜６のいずれか１項に記載の投影装置。
【請求項８】
前記光学部は、ダイクロイックミラー又はプリズムで構成される
請求項１〜７のいずれか１項に記載の投影装置。