(57)【特許請求の範囲】
【請求項１】
エンコーダを備える少なくとも１つの関節部を有し、カメラを支持するアームの姿勢に関する姿勢情報を前記エンコーダの出力に基づいて検出するアーム姿勢情報検出部と、
前記カメラから出力される情報を検出するカメラ情報検出部と、
前記姿勢情報及び前記カメラから出力される情報に基づいて患者の手術対象部位の位置を算出する位置算出部と、
前記アームの制御を行うアーム制御部と、
を備え、
前記アームが、患者を支持する支持台に固定され、
前記位置算出部は、前記アームの姿勢の変化によっても位置が変化しない所定の基準位置に対する相対位置を算出し、
前記アーム制御部は、前記アームの姿勢を制御することにより、前記カメラによって撮像される画像に含まれる前記手術対象部位を、あらかじめ用意された基準画像に対して位置合わせする、
医療用撮像装置。
【請求項２】
前記位置算出部は、前記カメラによって撮像される画像に所定の検出対象が存在するか否かを判定し、前記検出対象が存在する場合に、前記検出対象の位置を算出する、請求項１に記載の医療用撮像装置。
【請求項３】
前記位置算出部は、前記カメラによって撮像される前記画像に所定の検出対象が存在しない場合に、前記画像の撮像範囲を拡大させる、請求項２に記載の医療用撮像装置。
【請求項４】
前記位置合わせをした場合であっても前記手術対象部位と前記基準画像とが位置ずれしている場合に、
前記アーム制御部は、前記手術対象部位の仮想中心位置をピボット点として前記カメラの位置を調整することにより、前記手術対象部位と前記基準画像との位置合わせを再度行う、請求項１に記載の医療用撮像装置。
【請求項５】
前記カメラから出力される情報が、前記カメラの焦点距離の情報、及び前記カメラにより取得される画像信号のうちのいずれか１つを含む、請求項１〜４のいずれか一つに記載の医療用撮像装置。
【請求項６】
前記カメラにより取得される画像信号から生成される３Ｄ画像情報を出力する出力部を備える、請求項１〜５のいずれか一つに記載の医療用撮像装置。
【請求項７】
エンコーダを備える少なくとも１つの関節部を有し、カメラを支持するアームの姿勢に関する姿勢情報を前記エンコーダの出力に基づいて検出するアーム姿勢情報検出部と、
前記カメラから出力される情報を検出するカメラ情報検出部と、
前記姿勢情報及び前記カメラから出力される情報に基づいて患者の手術対象部位の位置を算出する位置算出部と、
前記カメラにより取得される画像信号から生成される３Ｄ画像情報を出力する出力部と、
前記画像信号から生成される画像情報に含まれる患者の手術対象部位をあらかじめ用意された基準画像に重ね合わせて表示させながら、手術のナビゲーションを行うナビゲーション制御部と、
前記アームの制御を行うアーム制御部と、
を備え、
前記アームが、患者を支持する支持台に固定され、
前記位置算出部は、前記アームの姿勢の変化によっても位置が変化しない所定の基準位置に対する相対位置を算出し、
前記アーム制御部は、前記アームの姿勢を制御することにより、前記カメラによって撮像される画像に含まれる前記手術対象部位を、あらかじめ用意された基準画像に対して位置合わせする、
手術ナビゲーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医療用撮像装置及び手術ナビゲーションシステムに関する。
【背景技術】
【０００２】
従来、正確な手術を補助するための手術ナビゲーションシステムが知られている。手術ナビゲーションシステムは、例えば、脳神経外科、耳鼻咽喉科、又は整形外科などの領域で利用され、撮像した術野画像に、事前に準備されたＭＲＩ画像又は３Ｄモデル等を重畳表示し、事前の計画に沿って手術が進められるように補助する。かかる手術ナビゲーションシステムは、例えば、顕微鏡、患者、又は術具の位置を検出するための位置検出装置を備えている。すなわち、顕微鏡又は術具は、いずれも、顕微鏡又は術具自身と患者との相対的３次元位置の関係を取得する手段を持たないために、互いの位置関係を知るための手段が必要とされる。
【０００３】
かかる位置検出装置としては、例えば、光学マーカ及び光学センサを用いた装置が知られている。特許文献１には、ＣＣＤカメラ等の光検出器で構成される位置センサと、術具としての硬性鏡に設けられ、ＬＥＤ等の光源で構成される発光部と、位置演算部と、により構成され、硬性鏡の位置及び姿勢を検出する手段が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１０２２４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された光学式の位置検出装置では、硬性鏡に設けられた発光部と光学センサとの間に物理的な遮蔽が存在すると、もはや位置検出が不可能になる場合がある。例えば、手術現場には、多くの手術器具や手術スタッフが存在するため、発光部と光学センサとの間の物理的な遮蔽を防ぐには、光学センサを上方の高い位置に設置しなければならない等の不都合が生じ得る。
【０００６】
光学式の位置検出装置以外にも、磁場発生装置及び磁気センサを用いた磁場式の位置検出装置があるが、磁場式の位置検出装置では、位置検出のための磁場発生装置以外の機器又は術具に導電性の機器等が使用される場合、検出結果に誤差を生じたり、位置検出が不可能になったりするおそれがある。また、磁場式の位置検出装置においても、光学式の位置検出装置と同様に、磁場発生装置と磁気センサとの間に物理的な遮蔽が存在すると、もはや位置検出が不可能になり得る。
【０００７】
そこで、本開示では、光学センサや磁気センサ等の追加的なセンサを用いることなく、患者を撮影する撮像装置により取得される情報に基づいて所定の位置を算出可能な、新規かつ改良された医療用撮像装置及び手術ナビゲーションシステムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、少なくとも１つの関節部を有し、カメラを支持するアームの姿勢に関する姿勢情報を検出するアーム姿勢情報検出部と、カメラから出力される情報を検出するカメラ情報検出部と、姿勢情報及びカメラから出力される情報に基づいて所定の位置を算出する位置算出部と、を備える、医療用撮像装置が提供される。
【０００９】
さらに、本開示によれば、少なくとも１つの関節部を有し、カメラを支持するアームの姿勢に関する姿勢情報を検出するアーム姿勢情報検出部と、カメラから出力される情報を検出するカメラ情報検出部と、姿勢情報及びカメラから出力される情報に基づいて所定の位置を算出する位置算出部と、カメラにより取得される画像信号から生成される３Ｄ画像情報を出力する出力部と、画像信号から生成される３Ｄ画像情報に含まれる患者の手術対象部位をあらかじめ用意された基準画像に重ね合わせて表示させながら、手術のナビゲーションを行うナビゲーション制御部と、を備える、手術ナビゲーションシステムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、光学センサや磁気センサ等の追加的なセンサを用いることなく、患者を撮像する撮像装置により得られる情報に基づいて所定の位置の算出が可能な医療用撮像装置及び手術ナビゲーションシステムを実現することができる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が施されてもよい。
【図面の簡単な説明】
【００１１】
【図１】撮像装置を備えた手術ナビゲーションシステムの概略構成を説明するための説明図である。
【図２】撮像装置の構成例を示す説明図である。
【図３】撮像装置を備えた手術ナビゲーションシステムのシステム構成例を示すブロック図である。
【図４】撮像装置の位置計算部の機能構成を示すブロック図である。
【図５】撮像装置を備えた手術ナビゲーションシステムの使用例を示す説明図である。
【図６】本開示の第１の実施の形態に係る手術ナビゲーションシステムを適用可能な手術の様子を示す説明図である。
【図７】同実施形態に係る手術ナビゲーションシステムの術野の把握処理を示すフローチャートである。
【図８】同実施形態に係る手術ナビゲーションシステムの術野の把握処理を示すフローチャートである。
【図９】同実施形態に係る手術ナビゲーションシステムのレジストレーション処理を示すフローチャートである。
【図１０】同実施形態に係る手術ナビゲーションシステムの自動レジストレーション処理を示すフローチャートである。
【図１１】同実施形態に係る手術ナビゲーションシステムの術具の先端位置の検出処理を示すフローチャートである。
【図１２】同実施形態に係る手術ナビゲーションシステムの術具の先端位置の検出処理を示すフローチャートである。
【図１３】本開示の第２の実施の形態に係る撮像装置の構成例を示す説明図である。
【図１４】同実施形態に係る手術ナビゲーションシステムを適用可能な手術の様子を示す説明図である。
【図１５】同実施形態に係る手術ナビゲーションシステムのレジストレーション処理を示すフローチャートである。
【図１６】同実施形態に係る手術ナビゲーションシステムの術具の先端位置の検出処理を示すフローチャートである。
【図１７】同実施形態に係る撮像装置によるステレオカメラの位置ズレの診断処理を示すフローチャートである。
【図１８】同実施形態に係る撮像装置による再キャリブレーション処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．手術ナビゲーションシステムの基本構成
１−１．手術ナビゲーションシステムの構成例
１−２．手術ナビゲーションシステムのシステム構成例
１−３．手術ナビゲーションシステムの使用例
２．第１の実施の形態（ベッドマウントアームを用いる例）
２−１．手術ナビゲーションシステムの概要
２−２．制御処理
２−３．まとめ
３．第２の実施の形態（アーム可動台車を用いる例）
３−１．手術ナビゲーションシステムの概要
３−２．制御処理
３−３．まとめ
【００１４】
なお、以下の説明において、「ユーザ」とは、術者及び助手等、撮像装置又は手術ナビゲーションシステムを使用する任意の医療スタッフのことを意味する。
【００１５】
＜＜１．手術ナビゲーションシステムの基本構成＞＞
まず、本開示に係る技術を適用可能な撮像装置、又は当該撮像装置を備えた手術ナビゲーションシステムの構成のうち、後で説明する各実施の形態に共通する基本構成について説明する。
【００１６】
＜１−１．手術ナビゲーションシステムの構成例＞
図１は、手術ナビゲーションシステムの概略構成を説明するための説明図である。図２は、撮像装置１０の構成例を示す説明図である。手術ナビゲーションシステムは、観察対象（患者１の術部）を撮像する撮像装置１０と、撮像装置１０により撮像された術野画像を用いて手術のナビゲーションを行うナビゲーション装置５０を備える。係る手術ナビゲーションシステムは、事前の計画に沿って手術が進められるように術者を補助するためのシステムである。ナビゲーション装置５０の表示装置５４には、撮像装置１０により撮像された術野画像に対して、事前に準備された、切開位置や患部の位置、処置手順等の情報を含む術前画像や術部の３Ｄモデルが重畳されて表示され得る。
【００１７】
（１−１−１．撮像装置）
撮像装置１０は、患者１の術部を撮像するための顕微鏡部１４と、顕微鏡部１４を支持するアーム部３０とを有する。顕微鏡部１４は、本開示の技術におけるカメラに相当し、略円筒形状の筒状部３１１１の内部に設けられる撮像部（図示せず）と、筒状部３１１１の外周の一部領域に設けられる操作部（以下、「カメラ操作インタフェース」とも言う。）１２と、から構成される。顕微鏡部１４は、撮像部によって電子的に撮像画像を取得する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。
【００１８】
筒状部３１１１の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部３１１１の内部の撮像部に入射する。なお、筒状部３１１１の内部には例えばＬＥＤ（Light  Emitting  Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
【００１９】
撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサ又はＣＣＤ（Charge  Coupled  Device）イメージセンサ等、各種の公知の撮像素子であってよい。
【００２０】
撮像素子によって生成された画像信号は、ＲＡＷデータとして図示しない制御装置１００に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
【００２１】
なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Auto  Exposure）機能やＡＦ（Auto  Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
【００２２】
また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための一対の撮像素子を有するように構成されてもよい。この場合、顕微鏡部１４は、ステレオカメラとして構成される。３Ｄ表示が行われることにより、術者は術部の奥行きをより正確に把握することが可能になる。本開示に係る各実施の形態の撮像装置１０は、顕微鏡部１４としてステレオカメラを備える。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。
【００２３】
カメラ操作インタフェース１２は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、カメラ操作インタフェース１２を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、カメラ操作インタフェース１２を介して、アーム部３０の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。
【００２４】
なお、ユーザが顕微鏡部１４を移動させようとする場合には、当該ユーザは筒状部３１１１を握るように把持した状態で顕微鏡部１４を移動させてもよい。この場合、カメラ操作インタフェース１２は、ユーザが筒状部３１１１を移動させている間でも操作可能なように、ユーザが筒状部３１１１を握った状態で指によって容易に操作しやすい位置に設けられてもよい。あるいは、ユーザは、入力装置（以下、「アーム操作インタフェース」とも言う。）を操作することによってアーム部３０の姿勢を制御し、顕微鏡部１４を移動させてもよい。
【００２５】
アーム部３０は、複数のリンク（第１リンク３１２３ａ〜第６リンク３１２３ｆ）が、複数の関節部（第１関節部３１２１ａ〜第６関節部３１２１ｆ）によって互いに回動可能に連結されることによって構成される。
【００２６】
第１関節部３１２１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部１４の筒状部３１１１の上端を、当該筒状部３１１１の中心軸と平行な回転軸（第１軸Ｏ１）まわりに回動可能に支持する。ここで、第１関節部３１２１ａは、第１軸Ｏ１が顕微鏡部１４の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ１まわりに顕微鏡部１４を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
【００２７】
第１リンク３１２３ａは、先端で第１関節部３１２１ａを固定的に支持する。具体的には、第１リンク３１２３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部３１２１ａの外周の上端部に当接するように、第１関節部３１２１ａに接続される。第１リンク３１２３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部３１２１ｂが接続される。
【００２８】
第２関節部３１２１ｂは、略円柱形状を有し、その先端で、第１リンク３１２３ａの基端を、第１軸Ｏ１と直交する回転軸（第２軸Ｏ２）まわりに回動可能に支持する。第２関節部３１２１ｂの基端には、第２リンク３１２３ｂの先端が固定的に接続される。
【００２９】
第２リンク３１２３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部３１２１ｂの基端に固定的に接続される。第２リンク３１２３ｂの略Ｌ字形状の基端側の他辺には、第３関節部３１２１ｃが接続される。
【００３０】
第３関節部３１２１ｃは、略円柱形状を有し、その先端で、第２リンク３１２３ｂの基端を、第１軸Ｏ１及び第２軸Ｏ２と互いに直交する回転軸（第３軸Ｏ３）まわりに回動可能に支持する。第３関節部３１２１ｃの基端には、第３リンク３１２３ｃの先端が固定的に接続される。第２軸Ｏ２及び第３軸Ｏ３まわりに顕微鏡部１４を含む先端側の構成を回動させることにより、水平面内での顕微鏡部１４の位置を変更するように、当該顕微鏡部１４を移動させることができる。つまり、第２軸Ｏ２及び第３軸Ｏ３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
【００３１】
第３リンク３１２３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部３１２１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク３１２３ｃの基端側は角柱形状を有し、その端部に第４関節部３１２１ｄが接続される。
【００３２】
第４関節部３１２１ｄは、略円柱形状を有し、その先端で、第３リンク３１２３ｃの基端を、第３軸Ｏ３と直交する回転軸（第４軸Ｏ４）まわりに回動可能に支持する。第４関節部３１２１ｄの基端には、第４リンク３１２３ｄの先端が固定的に接続される。
【００３３】
第４リンク３１２３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ４と直交するように延伸しつつ、その先端の端部が第４関節部３１２１ｄの略円柱形状の側面に当接するように、第４関節部３１２１ｄに固定的に接続される。第４リンク３１２３ｄの基端には、第５関節部３１２１ｅが接続される。
【００３４】
第５関節部３１２１ｅは、略円柱形状を有し、その先端側で、第４リンク３１２３ｄの基端を、第４軸Ｏ４と平行な回転軸（第５軸Ｏ５）まわりに回動可能に支持する。第５関節部３１２１ｅの基端には、第５リンク３１２３ｅの先端が固定的に接続される。第４軸Ｏ４及び第５軸Ｏ５は、顕微鏡部１４を上下方向に移動させ得る回転軸である。第４軸Ｏ４及び第５軸Ｏ５まわりに顕微鏡部１４を含む先端側の構成を回動させることにより、顕微鏡部１４の高さ、すなわち顕微鏡部１４と観察対象との距離を調整することができる。
【００３５】
第５リンク３１２３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク３１２３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部３１２１ｅの基端が固定的に接続される。第５リンク３１２３ｅの第２の部材の基端（下端）には、第６関節部３１２１ｆが接続される。
【００３６】
第６関節部３１２１ｆは、略円柱形状を有し、その先端側で、第５リンク３１２３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ６）まわりに回動可能に支持する。第６関節部３１２１ｆの基端には、第６リンク３１２３ｆの先端が固定的に接続される。
【００３７】
第６リンク３１２３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベッド４０の上面に固定的に接続される。
【００３８】
第１関節部３１２１ａ〜第６関節部３１２１ｆの回転可能範囲は、顕微鏡部１４が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部３０においては、顕微鏡部１４の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部１４の動きに関して６自由度が実現されるようにアーム部３０を構成することにより、アーム部３０の可動範囲内において顕微鏡部１４の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。
【００３９】
なお、図示するアーム部３０の構成はあくまで一例であり、アーム部３０を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部１４を自由に動かすためには、アーム部３０は６自由度を有するように構成されることが好ましいが、アーム部３０はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部３０においては、顕微鏡部１４の位置及び姿勢が固定された状態で、アーム部３０の姿勢を変更することが可能となる。従って、例えばナビゲーション装置５０の表示装置５４を見る術者の視界にアーム部３０が干渉しないように当該アーム部３０の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。
【００４０】
ここで、第１関節部３１２１ａ〜第６関節部３１２１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部３１２１ａ〜第６関節部３１２１ｆに設けられる各アクチュエータの駆動が、制御装置１００によって適宜制御されることにより、アーム部３０の姿勢、すなわち顕微鏡部１４の位置及び姿勢が制御され得る。各関節部に備えられたエンコーダにより検出される値は、アーム部３０の姿勢に関する姿勢情報として用いられ得る。
【００４１】
また、第１関節部３１２１ａ〜第６関節部３１２１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置１００によって制御され得る。例えば、顕微鏡部１４の位置及び姿勢を固定したい場合には、制御装置１００は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部３０の姿勢、すなわち顕微鏡部１４の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部１４の位置及び姿勢を移動したい場合には、制御装置１００は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。
【００４２】
このようなブレーキの動作は、上述したカメラ操作インタフェース１２を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部１４の位置及び姿勢を移動したい場合には、カメラ操作インタフェース１２を操作し、各関節部のブレーキを解除させる。これにより、アーム部３０の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、ユーザは、顕微鏡部１４の位置及び姿勢を固定したい場合には、カメラ操作インタフェース１２を操作し、各関節部のブレーキを作動させる。これにより、アーム部３０の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。
【００４３】
制御装置１００は、所定の制御方式に従って第１関節部３１２１ａ〜第６関節部３１２１ｆのアクチュエータを動作させることにより、アーム部３０の駆動を制御する。また、例えば、制御装置１００は、第１関節部３１２１ａ〜第６関節部３１２１ｆのブレーキの動作を制御することにより、アーム部３０の動作モードを変更する。
【００４４】
また、制御装置１００は、撮像装置１０の顕微鏡部１４の撮像部によって取得された画像信号を、ナビゲーション装置５０に出力する。このとき、制御装置１００は、患者１の術部の位置や、術具の位置の情報を併せてナビゲーション装置５０に出力する。
【００４５】
（１−１−２．ナビゲーション装置）
ナビゲーション装置５０は、ユーザによってナビゲーション装置５０の操作入力が行われるナビ操作インタフェース５２と、表示装置５４と、記憶装置５６と、ナビ制御装置６０とを備える。ナビ制御装置６０は、撮像装置１０から取得した画像信号に各種の信号処理を施すことにより、表示用の３Ｄ画像情報を生成するとともに、当該３Ｄ画像情報を表示装置５４に表示させる。当該信号処理では、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise  reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。
【００４６】
ナビゲーション装置５０は、手術室内に設けられ、ナビ制御装置６０の制御指令により、当該ナビ制御装置６０によって生成された３Ｄ画像情報に対応する画像を表示装置５４に表示する。ナビ制御装置６０は、本開示の技術におけるナビゲーション制御部に相当する。表示装置５４には、顕微鏡部１４によって撮影された術部の画像が表示され得る。なお、ナビゲーション装置５０は、術部の画像に代えて、又は術部の画像とともに、例えば患者１の身体情報や手術の術式についての情報等、手術に関する各種の情報を、表示装置５４に表示させてもよい。この場合、表示装置５４の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５４は複数設けられてもよく、複数の表示装置５４のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５４としては、液晶ディスプレイ装置又はＥＬ（Electro  Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
【００４７】
例えば、記憶装置５６には、３次元空間の所定の基準位置との相対関係があらかじめ求められた患者１の術部の術前画像や３Ｄモデルが記憶される。例えば、手術に先立って、患者１における術部を含む部分のＭＲＩ映像等を元に術前画像が作成されたり、術部の３Ｄモデルが作成されたりする。そして、術前画像又は３Ｄモデルに対して、あるいは、術前画像又は３Ｄモデルから得られる患者１の術部の輪郭線の画像等に対して、切開位置や患部の位置、切除位置等の手術を補助するための情報が重畳されて記憶装置５６に記憶され得る。ナビ制御装置６０は、顕微鏡部１４により撮像された３Ｄ画像情報に対して、少なくとも１つの術前画像又は３Ｄモデルを重畳させて３Ｄ画像情報を生成し、表示装置５４に表示させる。なお、記憶装置５６は、ナビゲーション装置５０内に備えられてもよいし、ネットワークを介して接続されたサーバ等に備えられてもよい。
【００４８】
＜１−２．手術ナビゲーションシステムのシステム構成例＞
図３は、手術ナビゲーションシステムのシステム構成例を示すブロック図である。また、図４は、制御装置１００のうちの位置計算部１１０の機能構成を示すブロック図である。撮像装置１０は、カメラ操作インタフェース１２と、顕微鏡部１４と、エンコーダ１６と、モータ１８と、アーム操作インタフェース２０と、制御装置１００とを備える。このうち、エンコーダ１６及びモータ１８は、アーム部３０の関節部に備えられたアクチュエータに搭載される。また、ナビゲーション装置５０は、ナビ操作インタフェース５２と、表示装置５４と、記憶装置５６と、ナビ制御装置６０とを備える。
【００４９】
制御装置１００は、ＣＰＵ（Central  Processing  Unit）、ＧＰＵ（Graphics  Processing  Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置１００のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置１００は、撮像装置１０と別個の装置として設けられているが、制御装置１００は、撮像装置１０の内部に設置され、撮像装置１０と一体的に構成されてもよい。あるいは、制御装置１００は、複数の装置によって構成されてもよい。例えば、顕微鏡部１４や、アーム部３０の第１関節部３１２１ａ〜第６関節部３１２１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置１００と同様の機能が実現されてもよい。
【００５０】
また、ナビ制御装置６０も同様に、ＣＰＵ又はＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。ナビ制御装置６０のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、ナビ制御装置６０は、ナビゲーション装置５０と別個の装置として設けられているが、ナビ制御装置６０は、ナビゲーション装置５０の内部に設置され、ナビゲーション装置５０と一体的に構成されてもよい。あるいは、ナビ制御装置６０は、複数の装置によって構成されてもよい。
【００５１】
制御装置１００と顕微鏡部１４との通信、及び制御装置１００と第１関節部３１２１ａ〜第６関節部３１２１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。また、ナビ制御装置６０とナビ操作インタフェース５２との通信、ナビ制御装置６０表示装置５４との通信、及びナビ制御装置６０と記憶装置５６との通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
【００５２】
撮像装置１０の制御装置１００は、位置計算部１１０とアーム姿勢制御部１２０とを備える。位置計算部１１０は、顕微鏡部１４から取得される情報と、エンコーダ１６から取得される情報とに基づいて、所定の位置を算出する。位置計算部１１０は、算出結果をナビ制御装置６０に送信する。位置計算部１１０による算出結果は、アーム姿勢制御部１２０によって読み込み可能になっていてもよい。また、位置計算部１１０は、顕微鏡部１４で取得された画像信号に基づく画像情報を、ナビ制御装置６０に出力する。この場合、位置計算部１１０は、顕微鏡部１４により取得される画像信号から生成される画像情報を出力する出力部にも相当する。
【００５３】
図４に示すように、位置計算部１１０は、アーム姿勢情報検出部１１２と、カメラ情報検出部１１４と、位置算出部１１６とを備える。アーム姿勢情報検出部１１２は、エンコーダ１６によって検出された各関節部の回転角度についての情報に基づいて、アーム部３０の現在の姿勢、並びに顕微鏡部１４の現在の位置及び姿勢を把握する。また、カメラ情報検出部１１４は、顕微鏡部１４によって撮像される画像に関する画像情報を取得する。取得される画像情報には、顕微鏡部１４の焦点距離や拡大倍率の情報も含まれ得る。顕微鏡部１４の焦点距離は、例えば、アーム部３０における顕微鏡部１４を支持する第２関節部３１２１ｂの回転軸から患者１の術部までの距離に置き換えられて出力されてもよい。位置計算部１１０によって実行される処理については、後の各実施の形態において詳細に説明する。
【００５４】
図３に戻り、アーム姿勢制御部１２０は、ナビ制御装置６０からの制御指令に基づいて、アーム部３０の各関節部に備えられたモータ１８を駆動し、アーム部３０を所定の姿勢に制御する。これにより、例えば、顕微鏡部１４によって所望の角度から患者１の術部を撮像することができる。アーム姿勢制御部１２０は、位置計算部１１０の算出結果に基づいて、各モータ１８の制御を行ってもよい。
【００５５】
具体的に、アーム姿勢制御部１２０は、位置計算部１１０によって検出されたアーム部３０の姿勢情報を用いて、ユーザからの操作入力、あるいは、ナビ制御装置６０からの制御指令に応じた顕微鏡部１４の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出する。アーム姿勢制御部１２０は、算出した制御値に応じて各関節部のモータ１８を駆動させる。なお、この際、アーム姿勢制御部１２０によるアーム部３０の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
【００５６】
例えば、術者が、図示しないアーム操作インタフェース２０を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム姿勢制御部１２０によってアーム部３０の駆動が適宜制御され、顕微鏡部１４の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部１４を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該アーム操作インタフェース２０としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部３０は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部３０は、手術室から離れた場所に設置されるアーム操作インタフェース２０を介してユーザによって遠隔操作され得る。
【００５７】
また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部３０が移動するように第１関節部３１２１ａ〜第６関節部３１２１ｆのモータ１８が駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部１４を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部１４を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部１４を移動させることが可能となり、ユーザの利便性を向上させることができる。
【００５８】
また、アーム部３０は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部１４の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部１４を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部１４が、その焦点距離を調整不可能に構成される場合には、顕微鏡部１４とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部１４とピボット点との距離を、顕微鏡部１４の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部１４は、ピボット点を中心とする焦点距離に対応する半径を有する半球面（図１及び図２に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。
【００５９】
一方、顕微鏡部１４が、その焦点距離を調整可能に構成される場合には、顕微鏡部１４とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置１００は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部１４とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部１４の焦点距離を自動で調整してもよい。あるいは、顕微鏡部１４にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部１４とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われてもよい。
【００６０】
＜１−３．手術ナビゲーションシステムの使用例＞
図５は、図１に示す手術ナビゲーションシステムの使用例を示す図である。図５では、術者３４０１が、手術ナビゲーションシステムを用いて、患者１を支持する支持台としてのベッド４０上の患者１に対して手術を行っている様子を概略的に示している。なお、図５では、理解を簡単にするために、手術ナビゲーションシステムを簡略化して図示している。
【００６１】
図５に示すように、手術時には、撮像装置１０によって撮影される術野画像が、表示装置５４に拡大表示される。表示装置５４は、術者３４０１から見えやすい位置に設置されており、術者３４０１は、表示装置５４に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。用いられる術具は、例えば、先端部に鉗子や把持具等を備えた術具、又は、電気メスや超音波メス等の種々の術具であってもよい。
【００６２】
手術中には、撮像装置１０により撮像される術野画像が、術前画像又は３Ｄモデルに重畳されて表示装置５４に表示される。術者３４０１は、表示装置５４に映し出された映像によって術部の様子を観察しつつ、表示装置５４に表示されるナビゲーション表示にしたがって、患部の切除等の各種の処置を行う。このとき、表示装置５４には、例えば、切開位置や切除位置、術具の先端位置又は姿勢等の情報が表示されてもよい。
【００６３】
以上、本開示に係る技術が適用され得る手術ナビゲーションシステムの概要について説明した。以下、本開示に係る技術の具体的な実施の形態の幾つかを説明する。なお、以下に説明する各実施の形態においては、顕微鏡部１４として、３Ｄ表示を可能とするステレオカメラ１４Ａを用いた例について説明する。
【００６４】
＜＜２．第１の実施の形態＞＞
＜２−１．手術ナビゲーションシステムの概要＞
本開示の第１の実施の形態に係る手術ナビゲーションシステムでは、撮像装置１０のアーム部３０が、ベッド４０に固定される（図１を参照。）。すなわち、アーム部３０における、ベッド４０に固定された固定部３２と患者１との位置関係は、一定に維持され得る。そのため、本実施形態に係る撮像装置１０は、アーム部３０の固定部３２、又は、固定部３２との相対位置関係が変わらない任意の空間位置を原点（基準位置）Ｐ０とする３次元座標系で、所定の位置を算出するよう構成される。なお、本実施形態に係る手術ナビゲーションシステムは、３次元座標の原点Ｐ０の位置を設定するためのリファレンスマーカや、術具の位置又は姿勢を特定するための術具マーカが用いられないシステムの例である。
【００６５】
図６は、本実施形態に係る手術ナビゲーションシステムが適用され得る手術の様子を示す説明図である。図示した例は、脳外科手術の様子を示しており、患者１は、ベッド４０上に俯せの状態で支持され、頭部は、固定具４２により固定されている。上述のとおり、３次元座標の原点Ｐ０の位置を設定するためのリファレンスマーカや、術具の位置又は姿勢を示すための術具マーカは用いられない。
【００６６】
＜２−２．制御処理＞
以下、図３及び図４を参照しながら、本実施形態に係る手術ナビゲーションシステムにおいて実行される制御処理について説明する。制御処理としては、術野の把握処理、レジストレーション処理、術具先端位置の検出処理について説明する。
【００６７】
（２−２−１．術野の把握処理）
まず、ステレオカメラ１４Ａによって撮像される術野を把握する処理の例について説明する。術野の把握処理とは、ステレオカメラ１４Ａによる撮像画像において、焦点が合わせられている位置をナビゲーション装置５０と共有するための処理であり得る。手術時においては、自動で、あるいは、ユーザの操作により、患者１の術部に焦点が合わせられるため、焦点が合わせられている位置とは、術部の位置とも言い得る。焦点が合わせられている位置は、ステレオカメラ１４Ａの焦点距離、拡大倍率、及び画角等に基づいて把握され得る。
【００６８】
図７は、術野を把握する処理において、撮像装置１０の制御装置１００により実行されるフローチャートである。ステップＳ１０２において、患者１の頭部に焦点が合わせられた状態で、アーム姿勢情報検出部１１２は、アーム部３０の各関節部に備えられたエンコーダ１６により検出された各関節部の回転角度についての情報に基づいて、アーム部３０の姿勢情報を検出する。
【００６９】
次いで、ステップＳ１０４において、カメラ情報検出部１１４は、ステレオカメラ１４Ａから出力される情報を取得する。ステレオカメラ１４Ａから出力される情報は、ステレオカメラ１４Ａの焦点距離や拡大倍率、画角等（以下、「カメラパラメータ」とも言う。）の情報を含んでもよい。例えば、ステレオカメラ１４Ａの焦点距離は、アーム部３０におけるステレオカメラ１４Ａ側の最終回転軸から患者１の頭部までの光軸方向の距離の情報に置き換えられて出力されてもよい。なお、ステレオカメラ１４Ａの焦点距離や拡大倍率、画角等は、カメラ操作インタフェース１２の操作入力によって変更され、それらの設定値は、ステレオカメラ１４Ａのレンズ部分に備えられたポテンショメータ等によって検出され得る。
【００７０】
次いで、ステップＳ１０６において、位置算出部１１６は、アーム部３０の姿勢情報と、ステレオカメラ１４Ａの焦点距離の情報とに基づいて、アーム部３０の姿勢の変化によっても位置が変化しない所定の基準位置に対する、患者１の頭部の相対位置を算出する。例えば、位置算出部１１６は、ベッド４０に固定されるアーム部３０の固定部３２の任意の位置を原点Ｐ０とした座標系（ｘｙｚ３次元座標系）で、患者１の頭部の相対的３次元座標を算出してもよい。原点Ｐ０は、アーム部３０の固定部３２との相対的位置関係が変化しない任意の位置であってもよい。
【００７１】
次いで、ステップＳ１０８において、位置算出部１１６は、算出した患者１の頭部の相対的３次元座標をナビ制御装置６０に送信する。位置算出部１１６は、少なくとも、アーム部３０の姿勢、又は、ステレオカメラ１４Ａの焦点距離、拡大倍率、画角等のうちのいずれか１つが変更された場合に、ステップＳ１０２〜ステップＳ１０８を行う。あるいは、あらかじめ設定された所定の時間間隔で、ステップＳ１０２〜ステップＳ１０８を繰り返し行ってもよい。
【００７２】
図８は、術野を把握する処理において、ナビゲーション装置５０のナビ制御装置６０により実行されるフローチャートである。ステップＳ１１２において、ナビ制御装置６０は、撮像装置１０の制御装置１００から、患者１の頭部の相対位置を取得する。次いで、ステップＳ１１４において、ナビ制御装置６０は、あらかじめ原点Ｐ０との相対位置関係を求めておいた患者１の頭部の３Ｄモデル及び術前画像のうちの少なくとも１つを記憶装置５６から呼び出し、位置計算部１１０から送信される患者１の頭部の相対位置を重畳して、表示用の３Ｄ画像情報を生成する。次いで、ステップＳ１１６において、ナビ制御装置６０は、生成した３Ｄ画像情報を表示装置５４に出力し、表示装置５４に画像を表示させる。
【００７３】
ナビ制御装置６０は、制御装置１００から送信される患者１の頭部の相対位置が変更されたとき、あるいは、あらかじめ設定された所定の時間間隔で、ステップＳ１１２〜ステップＳ１１６を繰り返し行ってもよい。表示される撮像画像における重畳のさせ方は、ナビ操作インタフェース５２を操作することによって変更できるようになっていてもよい。
【００７４】
術野を調整するために、ユーザは、ナビ操作インタフェース５２を操作し、ナビ制御装置６０を介して、アーム部３０の制御指令をアーム姿勢制御部１２０に送信してもよい。あるいは、ナビ制御装置６０自身が、所定の演算処理に基づいて、アーム部３０の制御指令をアーム姿勢制御部１２０に送信することができるようになっていてもよい。アーム姿勢制御部１２０は、アーム部３０の制御指令を、各関節部の動作に分解し、各関節部のモータ１８に対して回転角度や移動量の指示値として出力する。なお、アーム部３０の操作は、ナビ制御装置６０を経由することなく、ユーザによるアーム操作インタフェース２０の操作によって直接行われてもよい。
【００７５】
（２−２−２．レジストレーション処理）
次に、撮像画像中の患者１の頭部と、術前画像、あるいは、３Ｄモデル又は術前画像等に存在する基準点との間のレジストレーション（位置合わせ）処理の例について説明する。レジストレーション処理では、ステレオカメラ１４Ａにより取得された撮像画像中の患者１の頭部と、手術前に撮影されたＭＲＩ映像等を元に作成された術前画像又は３Ｄモデル、及び、基準点とが位置合わせされる。
【００７６】
図９は、レジストレーション処理のフローチャートを示す。まず、ステップＳ１２２において、制御装置１００の位置計算部１１０のカメラ情報検出部１１４は、ステレオカメラ１４Ａから出力される３Ｄ画像情報を取得する。ここでは、ステレオカメラ１４Ａによって患者１の頭部が撮影される。次いで、ステップＳ１２４において、位置算出部１１６は、ステレオカメラ１４Ａにより取得された３Ｄ画像情報に基づき生成される撮像画像、及び、カメラパラメータに基づいて、ステレオマッチング方法により、各画素の奥行値を推定する。奥行値の推定は、公知の技術を利用して行うことができる。
【００７７】
次いで、ステップＳ１２６において、位置算出部１１６は、得られた奥行値周辺の形状変化（起伏）を計算し、起伏の大きな特徴点を、適宜の数、抽出する。特徴点の数は、例えば３点以上であってよい。次いで、ステップＳ１２８において、位置算出部１１６は、抽出された特徴点の相対的３次元座標を算出する。このとき、アーム姿勢情報検出部１１２により検出される、各関節部のエンコーダ１６の検出値、及び、ステレオカメラ１４Ａのカメラパラメータが利用され、アーム部３０の固定部３２等を基準位置とする相対的３次元座標が得られる。
【００７８】
次いで、ステップＳ１３０において、位置算出部１１６は、ステレオカメラ１４Ａにより撮像された３Ｄ画像情報と、特徴点の相対的３次元座標の情報とをナビ制御装置６０へ送信する。これにより、ナビ制御装置６０では、特徴点の位置と、術前画像又は３Ｄモデル中の対応する基準点の位置との比較及びマッチングが行われ、比較結果が表示装置５４に表示され得る。ユーザは、表示された比較結果を見ながら、撮像画像中の患者１の頭部と術前画像又は３Ｄモデルとが位置合わせされるように、アーム部３０の姿勢を調整する。
【００７９】
本実施形態に係る手術ナビゲーションシステムでは、ステレオカメラ１４Ａが搭載されたアーム部３０がベッド４０に固定され、患者１の頭部との位置関係が一定に維持され得るため、１回のレジストレーション処理を行うことによって、術中に再度レジストレーションを行わなくてもよい。また、本実施形態に係る手術ナビゲーションシステムは、患者１の頭部との位置関係が不変のアーム部３０の固定部３２を基準位置とする相対位置を求めるため、３次元空間における患者１の頭部の絶対位置を求める必要がなく、リファレンスマーカを必要としない。
【００８０】
なお、アーム部３０の姿勢の調整は、ユーザの操作によらずに、アーム姿勢制御部１２０による自動補正制御によって行われてもよい。図１０は、アーム姿勢制御部１２０によって行われる自動レジストレーション処理のフローチャートである。制御装置１００の位置計算部１１０は、図９に示すフローチャートにしたがって、ステップＳ１２２〜ステップＳ１３０を行う。ステップＳ１３２において、制御装置１００のアーム姿勢制御部１２０は、ナビ制御装置６０から、特徴点の位置と術前画像又は３Ｄモデル中の対応する基準点の位置との比較結果を取得する。
【００８１】
次いで、ステップＳ１３４において、アーム姿勢制御部１２０は、特徴点の位置と術前画像又は３Ｄモデル中の基準点の位置との誤差を評価する。例えば、アーム姿勢制御部１２０は、特徴点の相対的３次元座標位置と、術前画像又は３Ｄモデル中の基準点の相対的３次元座標位置との距離が、あらかじめ設定された閾値未満に収まっているか否かを判定してもよい。誤差を評価した結果、特徴点の位置と術前画像又は３Ｄモデル中の対応する基準点の位置との間に大きなズレが有る場合（Ｓ１３４：Ｎｏ）、アーム姿勢制御部１２０は、ステップＳ１３６に進み、ステレオカメラ１４Ａの位置を移動させる際のピボット点を決定する。例えば、アーム姿勢制御部１２０は、ステレオ復元した患者１の頭部の仮想中心位置を算出し、当該仮想中心位置をピボット点としてもよい。
【００８２】
次いで、ステップＳ１３８において、アーム姿勢制御部１２０は、特徴点の位置と基準点の位置とのズレ量及びズレの方向に基づいて、アーム部３０の各関節部のモータ１８を制御し、ピボット点を中心にステレオカメラ１４Ａをピボット動作させた後、ステレオカメラ１４Ａにより撮影する。その後は、ステップＳ１２４に戻って、上記説明した各ステップＳ１２４〜ステップＳ１３４の処理を繰り返し行う。そして、ステップＳ１３４において、誤差を評価した結果、特徴点の位置と術前画像又は３Ｄモデル中の対応する基準点の位置との間に大きなズレが無い場合（Ｓ１３４：Ｙｅｓ）、アーム姿勢制御部１２０はレジストレーション処理を終了する。
【００８３】
アーム姿勢制御部１２０による自動レジストレーション処理が可能であれば、ユーザによる調整によらずに、ステレオカメラ１４Ａの位置を適切な位置に移動させて、撮像画像中の患者１の頭部と、術前画像又は３Ｄモデルとを容易に位置合わせすることができる。また、自動レジストレーション処理を行う場合であっても、本実施形態に係る手術ナビゲーションシステムでは、１回のレジストレーション処理が行われた後は、術中に再度レジストレーションが行われることはない。
【００８４】
（２−２−３．術具位置の検出処理）
次に、術具の先端位置を検出する処理の例について説明する。手術時において、例えば、図６に示したように、脳の表面に、位置検出専用術具であるプローブ４８を当て、当該プローブ４８の位置と術前画像上、又は、術部の３Ｄモデル上の基準点との位置関係を知りたい場合がある。具体的には、カメラとして、顕微鏡やビデオ顕微鏡を使用していない場合や、顕微鏡等を使用している場合であってもよりピンポイントに正確な位置を知りたい場合、さらには、術具の先端が脳実質の内部に埋まっている場合に、術具の先端位置を正確に知りたい場面が生じ得る。
【００８５】
図１１は、プローブ４８の先端位置の検出処理において、撮像装置１０の制御装置１００により実行されるフローチャートである。係るフローチャートは、基本的に、図９及び図１０に示したレジストレーション処理の後に実行されてもよい。すなわち、患者１の頭部とステレオカメラ１４Ａとの相対位置が決定された状態で、プローブ４８の先端位置の検出処理が実行されてもよい。
【００８６】
まず、ステップＳ１４２において、制御装置１００の位置計算部１１０のカメラ情報検出部１１４は、ステレオカメラ１４Ａから出力される３Ｄ画像情報を取得する。ここでは、ステレオカメラ１４Ａによって患者１の頭部が撮影される。次いで、ステップＳ１４４において、位置算出部１１６は、ステレオカメラ１４Ａにより取得された３Ｄ画像情報に基づき生成される撮像画像を画像処理することによって、プローブ４８の検出を試みる。例えば、位置算出部１１６は、あらかじめ記憶されたプローブ４８の把持部分の形状、あるいは、プローブ４８の把持部分及び先端部分の連結部の形状等とのマッチング処理により、撮像画像中のプローブ４８の検出を試みる。
【００８７】
次いで、ステップＳ１４６において、位置算出部１１６は、撮像画像中にプローブ４８が検出されたか否かを判別する。撮像画像中にプローブ４８が検出されない場合（Ｓ１４６：Ｎｏ）、ステップＳ１４２に戻って、プローブ４８が検出されるまで、ステップＳ１４２〜ステップＳ１４６を繰り返す。一方、ステップＳ１４６において、撮像画像中にプローブ４８が検出された場合（Ｓ１４６：Ｙｅｓ）、位置算出部１１６は、ステップＳ１４８において、プローブ４８の先端位置を算出する。例えば、位置算出部１１６は、あらかじめ記憶されたプローブ４８の形状及び長さの情報に基づいて、プローブ４８の先端位置を検出してもよい。
【００８８】
さらに、ステップＳ１５０において、位置算出部１１６は、プローブ４８の先端の相対的３次元座標と、３次元座標空間でのプローブ４８の姿勢とを算出する。プローブ４８の姿勢は、例えば画像処理によって算出されてもよい。次いで、ステップＳ１５２において、位置算出部１１６は、算出されたプローブ４８の先端の相対位置とプローブ４８の姿勢情報とをナビ制御装置６０に送信する。その後は、ステップＳ１４２に戻って、ステップＳ１４２〜ステップＳ１５２を繰り返す。
【００８９】
図１２は、プローブ４８の位置を検出する処理においてナビゲーション装置５０のナビ制御装置６０により実行されるフローチャートである。ステップＳ１６２において、ナビ制御装置６０は、撮像装置１０の制御装置１００から、プローブ４８の先端の相対位置情報及びプローブ４８の姿勢情報を取得する。次いで、ステップＳ１６４において、ナビ制御装置６０は、レジストレーションが完了している患者１の頭部の画像情報上にプローブ４８を描画し、表示装置５４にプローブ４８の画像をリアルタイムに表示させる。これにより、術者は、表示装置５４に表示されるナビゲーション表示を見ながら、プローブ４８の先端を所望の位置に移動させることができる。
【００９０】
＜２−３．まとめ＞
以上、本実施形態に係る撮像装置１０及び手術ナビゲーションシステムによれば、ステレオカメラ１４Ａが搭載されたアーム部３０の姿勢情報と、ステレオカメラ１４Ａから出力される情報とに基づいて、所定の位置を算出することができる。したがって、撮像装置１０とは別に、光学センサや磁気センサ等のセンサの追加が不要になる。これにより、センサのセッティングが不要になり、かつ、光学的な遮蔽や磁気的な遮蔽、ノイズ等の外乱による誤検出や検出不能状態をなくすことができる。また、手術ナビゲーションシステムにおける機材の点数を削減することができ、コストの低減に資することもできる。
【００９１】
また、本実施形態に係る撮像装置１０によれば、アーム部３０の姿勢情報と、ステレオカメラ１４Ａの焦点距離等のカメラパラメータとに基づいて、ステレオカメラ１４Ａにより撮像される術部の相対的３次元座標を算出することができる。したがって、追加的なセンサを用いることなく、術部の相対的位置を検出して、ナビゲーション制御に利用することができる。
【００９２】
また、本実施形態に係る撮像装置１０によれば、アーム部３０の姿勢情報と、ステレオカメラ１４Ａから出力される３Ｄ画像情報及びカメラパラメータとに基づいて、術部の特徴点の相対的３次元座標を算出することができる。したがって、追加的なセンサを用いることなく、ナビゲーション装置５０において、術部のレジストレーションを容易に行うことができる。さらに、撮像画像と術前画像とのマッチング結果を、アーム部３０の姿勢制御にフィードバックした場合には、術部の自動レジストレーションが可能になり、レジストレーション作業が簡略化される。
【００９３】
また、本実施形態に係る撮像装置１０によれば、アーム部３０の姿勢情報と、ステレオカメラ１４Ａから出力される３Ｄ画像情報及びカメラパラメータとに基づいて、術具、あるいは、術具の先端の位置及び姿勢を算出することができる。したがって、追加的なセンサを用いることなく、ナビゲーション装置５０において、術具、あるいは、術具の先端の位置及び姿勢を正確に検出することができ、術具を表示装置５４に正確にリアルタイムに重畳表示させることができる。これにより、術具の先端が体内に進入している場合であっても、術者は、術部の先端を所望の位置に移動させることができる。
【００９４】
＜＜３．第２の実施の形態＞＞
＜３−１．手術ナビゲーションシステムの概要＞
本開示の第２の実施の形態に係る手術ナビゲーションシステムでは、撮像装置１０Ａのアーム部３０が、可動台車に設置される。すなわち、ベッド４０に対してアーム部３０が固定されておらず、アーム部３０のいずれの位置も患者１に対して変化し得るために、３次元座標の原点を設定する処理が必要になる。このため、本実施形態に係る手術ナビゲーションシステムでは、リファレンスマーカ１３４を用いて３次元座標の原点（基準位置）Ｐ０を設定する。
【００９５】
図１３は、本実施形態に係る手術ナビゲーションシステムで用いられる撮像装置１０Ａの構成例を示す説明図である。係る撮像装置１０Ａは、アーム部３０が可動台車３１３０に設置されている点以外は、図２に示した撮像装置１０と同様に構成され得る。係る撮像装置１０Ａは、ユーザによってベッド４０の脇の任意の位置に配置され得る。
【００９６】
図１４は、本実施形態に係る手術ナビゲーションシステムが適用され得る手術の様子を示す説明図である。図示した例は、脳外科手術の様子を示しており、患者１は、ベッド４０上に俯せの状態で支持され、頭部は、固定具４２により固定されている。固定具４２には、連結用の治具を介して、リファレンスマーカ１３４が接続されている。すなわち、リファレンスマーカ１３４と患者１との位置関係は、一定に維持され得る。そのため、本実施形態に係る撮像装置１０Ａは、リファレンスマーカ１３４の３次元位置に基づき特定される所定の位置を原点Ｐ０とする３次元座標系で、所定の位置を検出するよう構成される。また、本実施形態に係る手術ナビゲーションシステムでは、術具１４８が術具マーカ１３０を備え、当該術具マーカ１３０を利用して、術具１４８の位置及び姿勢が検出される。
【００９７】
リファレンスマーカ１３４及び術具マーカ１３０は、位置又は姿勢を検出するための標識とされる４つのマーカ部を備えた光学式マーカであってもよい。例えば、光源から出射される赤外線領域の波長の光を拡散反射するマーカ部とし、赤外線領域の波長に感度を有するステレオカメラ１４Ａにより取得される３Ｄ画像情報に基づいて、マーカの位置及び姿勢を検出するように構成してもよい。あるいは、赤色等の特徴的な色を有するマーカ部とし、ステレオカメラ１４Ａにより取得される３Ｄ画像情報に基づいて、マーカの位置及び姿勢を検出するように構成してもよい。マーカの位置及び姿勢によって、撮像画像中の４つのマーカ部の位置関係が変わるため、位置算出部１１６は、４つのマーカ部の位置関係を検出することにより、マーカの位置及び姿勢を特定することができる。
【００９８】
＜３−２．位置検出処理＞
以下、図３及び図４を参照しながら、本実施形態に係る手術ナビゲーションシステムにおいて実行される制御処理について説明する。
【００９９】
（３−２−１．術野の把握処理）
まず、本実施形態に係る撮像装置１０Ａの制御装置１００により実行される術野の把握処理について説明する。術野の把握処理は、基本的には図７に示したフローチャートに沿って実行される。ただし、本実施形態に係る撮像装置１０Ａでは、リファレンスマーカ１３４に基づき特定される所定の位置が３次元座標系の原点Ｐ０とされる。したがって、図７のステップＳ１０６において、位置算出部１１６は、アーム部３０の姿勢情報と、ステレオカメラ１４Ａの焦点距離の情報とに基づいて、リファレンスマーカ１３４に基づき特定される所定の位置を原点Ｐ０とする、患者１の頭部の相対的３次元座標を算出する。原点Ｐ０は、例えば、アーム部３０の姿勢情報と、ステレオカメラ１４Ａから出力されるカメラパラメータとに基づいて算出されるリファレンスマーカ１３４の３次元座標の位置としてあらかじめ設定され得る。
【０１００】
原点Ｐ０とされるリファレンスマーカ１３４の位置は、リファレンスマーカ１３４の４つのマーカ部のうちのいずれかの位置であってもよいし、マーカ部とは別の、リファレンスマーカ１３４に対する相対位置が不変の任意の位置であってもよい。また、当該任意の原点Ｐ０に対する３次元座標は、リファレンスマーカ１３４の姿勢により定義され得る。すなわち、位置算出部１１６は、特定されるリファレンスマーカ１３４の姿勢に基づいて、ｘｙｚの３軸を特定することができる。これにより、位置算出部１１６は、原点Ｐ０に対する、患者１の頭部の相対的３次元座標を求めることができる。
【０１０１】
本実施形態に係る手術ナビゲーションシステムでは、３次元位置が、リファレンスマーカ１３４により特定される原点Ｐ０に対する相対的３次元座標として算出される点以外は、第１の実施の形態に係る手術ナビゲーションシステムによる術野の把握処理の場合と同様に、術野の把握処理を実行することができる。
【０１０２】
（３−２−２．レジストレーション処理）
次に、撮像画像中の患者１の頭部と、術前画像、あるいは、３Ｄモデル又は術前画像等に存在する基準点との間のレジストレーション処理の例について説明する。図１５は、レジストレーション処理のフローチャートを示す。
【０１０３】
本実施形態に係る撮像装置１０Ａの制御装置１００においても、まず、図９に示したフローチャートと同様の手順に沿ってステップＳ１２２〜ステップＳ１３０を行う。これにより、ナビ制御装置６０では、特徴点の位置と、術前画像又は３Ｄモデル中の対応する基準点の位置との比較及びマッチングが行われ、比較結果が表示装置５４に表示される。ユーザは、表示された比較結果を見ながら、撮像画像中の患者１の頭部と術前画像又は３Ｄモデルとが位置合わせされるように、アーム部３０の姿勢を調整する。
【０１０４】
患者１の頭部と術前画像又は３Ｄモデルとの位置合わせが完了すると、ステップＳ１７２において、カメラ情報検出部１１４は、ステレオカメラ１４Ａから出力される３Ｄ画像情報を取得する。ここでは、ステレオカメラ１４Ａによって、リファレンスマーカ１３４が撮影される。アーム部３０が設置された可動台車３１３０が移動しない限り、ステレオカメラ１４Ａの位置が移動してもよい。次いで、ステップＳ１７４において、位置算出部１１６は、アーム部３０の姿勢情報と、ステレオカメラ１４Ａから出力されるカメラパラメータとに基づいて、リファレンスマーカ１３４の３次元座標を算出し、当該リファレンスマーカ１３４により特定される所定の位置を原点Ｐ０に設定する。
【０１０５】
次いで、ステップＳ１７６において、位置算出部１１６は、リファレンスマーカ１３４により特定される原点Ｐ０に対する、患者１の頭部の相対的３次元座標を算出し、保存する。当該患者１の頭部の相対的３次元座標の情報は、ナビゲーション装置５０にも送信され、保存されてもよい。
【０１０６】
本実施形態に係る手術ナビゲーションシステムでは、ステレオカメラ１４Ａが可動台車３１３０に設置され、移動可能になっているため、可動台車３１３０の位置が変わった場合には、再度レジストレーション処理が実行される。換言すれば、患者１の頭部とリファレンスマーカ１３４との相対位置関係が変わらず、かつ、可動台車３１３０の位置が変わらない限り、１回のレジストレーション処理を行うことによって、術中に再度レジストレーションを行わなくてもよい。なお、本実施形態に係る手術ナビゲーションシステムにおいても、図１０に示すフローチャートにしたがって自動レジストレーション処理が行われてもよい。
【０１０７】
（３−２−３．術具位置の検出処理）
次に、術具の先端位置を検出する処理の例について説明する。図１６は、位置検出専用術具（プローブ）１４８の先端位置の検出処理において撮像装置１０Ａの制御装置１００により実行されるフローチャートである。係るフローチャートは、基本的に、図１５に示したレジストレーション処理の後に実行されてもよい。すなわち、３次元座標の原点Ｐ０、及び、患者１の頭部とステレオカメラ１４Ａとの相対位置が決定された状態で、プローブ１４８の先端位置の検出処理が実行されてもよい。
【０１０８】
まず、ステップＳ１８２において、制御装置１００の位置計算部１１０のカメラ情報検出部１１４は、ステレオカメラ１４Ａから出力される３Ｄ画像情報を取得する。ここでは、ステレオカメラ１４Ａによって患者１の頭部が撮影される。次いで、ステップＳ１８４において、ステレオカメラ１４Ａにより取得された３Ｄ画像情報に基づき生成される撮像画像中から術具マーカ１３０の検出を試みる。次いで、ステップＳ１８６において、位置算出部１１６は、撮像画像中に術具マーカ１３０が検出されたか否かを判別する。撮像画像中に術具マーカ１３０が検出されない場合（Ｓ１８６：Ｎｏ）、ステップＳ１８２に戻って、術具マーカ１３０が検出されるまで、ステップＳ１８２〜ステップＳ１８６を繰り返す。
【０１０９】
一方、ステップＳ１８６において、撮像画像中に術具マーカ１３０が検出された場合（Ｓ１８６：Ｙｅｓ）、位置算出部１１６は、ステップＳ１８８において、プローブ１４８の先端位置を検出する。例えば、位置算出部１１６は、あらかじめ記憶されたプローブ１４８の形状及び長さの情報に基づいて、プローブ１４８の先端位置を検出してもよい。さらに、ステップＳ１９０において、位置算出部１１６は、リファレンスマーカ１３４により特定される原点Ｐ０に対する、プローブ１４８の先端の相対的３次元座標と、３次元空間におけるプローブ１４８の姿勢とを算出する。次いで、ステップＳ１９２において、位置算出部１１６は、算出されたプローブ１４８の先端の相対位置とプローブ１４８の姿勢情報とをナビ制御装置６０に送信する。その後は、ステップＳ１８２に戻って、ステップＳ１８２〜ステップＳ１９２を繰り返す。
【０１１０】
ナビ制御装置６０は、図１２に示したフローチャートにしたがって、撮像装置１０の制御装置１００から、プローブ１４８の先端の相対位置及びプローブ１４８の姿勢情報を取得し、患者１の頭部の画像情報上にプローブ１４８を描画し、プローブ１４８の画像を表示装置５４にリアルタイムに表示させる。これにより、プローブ１４８の先端が体内に進入している場合であっても、術者は、表示装置５４に表示されるナビゲーション表示を見ながら、術部の先端を所望の位置に移動させることができる。
【０１１１】
（３−２−４．位置ズレ診断処理）
次に、アーム部３０の位置ズレの診断処理について説明する。本実施形態に係る手術ナビゲーションシステムでは、リファレンスマーカ１３４が用いられるために、可動台車３１３０の移動等によるアーム部３０の位置ズレを診断することができる。図１７は、アーム部３０の位置ズレの診断処理を示すフローチャートである。係るフローチャートは、術中や作業中に、リファレンスマーカ１３４が画面に映り込んだ場合に、当該リファレンスマーカ１３４の画像情報を利用してアーム部３０の位置ズレの診断を行うものであり、基本的に、図１５に示したレジストレーション処理の後に実行される。すなわち、リファレンスマーカ１３４に基づき特定される３次元座標の原点Ｐ０、及び、患者１の頭部とステレオカメラ１４Ａとの相対位置が決定された状態で、位置ズレの診断処理が実行され得る。
【０１１２】
まず、ステップＳ２０２において、制御装置１００の位置計算部１１０のカメラ情報検出部１１４は、ステレオカメラ１４Ａから出力される３Ｄ画像情報を取得する。次いで、ステップＳ２０４において、位置算出部１１６は、ステレオカメラ１４Ａにより取得された３Ｄ画像情報に基づき生成される撮像画像中にリファレンスマーカ１３４が存在するか否かを判別する。撮像画像中にリファレンスマーカ１３４が存在しない場合（Ｓ２０４：Ｎｏ）、アーム部３０の位置ズレの診断をできないことから、ステップＳ２０２に戻る。
【０１１３】
撮像画像中にリファレンスマーカ１３４が存在する場合（Ｓ２０４：Ｙｅｓ）、位置算出部１１６は、ステップＳ２０６において、原点Ｐ０に対するリファレンスマーカ１３４の３次元座標を算出する。すなわち、ステップＳ２０６では、原点Ｐ０に対するリファレンスマーカ１３４の相対位置が算出される。次いで、ステップＳ２０８において、位置算出部１１６は、ステップＳ２０６で算出されたリファレンスマーカ１３４の相対位置と、現在の原点Ｐ０を設定した時点でのリファレンスマーカ１３４の相対位置との差を算出する。例えば、各相対位置に対応する３次元座標の各軸方向成分の差が求められる。なお、アーム部３０の位置ズレを生じていなければ、上記の相対位置の差はゼロになる。
【０１１４】
次いで、ステップＳ２１０において、位置算出部１１６は、自動補正モードがオンになっているか否かを判別する。自動補正モードがオフになっている場合（Ｓ２１０：Ｎｏ）、ステップＳ２１２において、位置算出部１１６は、ステップＳ２０８で求められたリファレンスマーカ１３４の相対位置のズレ量をナビ制御装置６０に送信し、表示装置５４に表示させる。これにより、ユーザは、アーム部３０の位置ズレの有無を知ることができ、当該ズレ量が大きいと感じた場合には、自動補正モードをオンにしつつ、ユーザ自身がアーム部３０を移動させることにより、アーム部３０の位置ズレを明示的に補正することができる。
【０１１５】
一方、自動補正モードがオンになっている場合（Ｓ２１０：Ｙｅｓ）、ステップＳ２１４において、位置算出部１１６は、アーム部３０の姿勢情報の置き換えを行う。アーム部３０の姿勢情報の置き換えは、例えば、今回算出されたリファレンスマーカ１３４の相対位置に対応するアーム部３０の姿勢情報を補正することにより行われてもよい。これにより、アーム部３０の姿勢情報の置き換えが行われた後、位置算出部１１６は、置き換え後のアーム部３０の姿勢情報との差分で、アーム部３０の姿勢情報を算出し、位置検出等の様々な計算に利用する。
【０１１６】
以上のように位置ズレ診断処理を実行することにより、リファレンスマーカ１３４を撮像画像中に捉えることによって、いつでもアーム部３０の姿勢情報の正確性を評価することができる。また、例えば、アーム部３０が設置された可動台車３１３０が移動した場合には、捉えられたリファレンスマーカ１３４の位置情報を利用して、アーム部３０の姿勢のズレを検出し、アーム部３０の姿勢情報を置き換えることにより、常に正確な位置情報を算出することが可能になる。
【０１１７】
なお、図１７に示したフローチャートの例では、リファレンスマーカ１３４の相対位置を比較することによりアーム部３０の位置ズレを測っているが、リファレンスマーカ１３４を捉えている状態でのアーム部３０の姿勢情報を用いて、アーム部３０の位置ズレを測ってもよい。
【０１１８】
また、制御装置１００が、適宜のタイミングで、リファレンスマーカ１３４を撮像画像中に捉えるように動作し、位置ズレの診断及びアーム部３０の姿勢情報の自動補正を実行するようにしてもよい。図１８は、再キャリブレーション処理のフローチャートを示す。まず、ステップＳ２２２において、位置算出部１１６は再キャリブレーションを実行するために、アーム姿勢制御部１２０に指令を送り、ステレオカメラ１４Ａの撮像画像中にリファレンスマーカ１３４が入るよう、アーム部３０の姿勢を変化させる。このとき、ユーザの操作によってアーム部３０の姿勢制御が行われてもよいし、現在記憶されている患者１の頭部の位置とリファレンスマーカ１３４の位置との関係に基づいて、制御装置１００自身でステレオカメラ１４Ａの撮像画像中にリファレンスマーカ１３４が検出されるように、アーム部３０の自動姿勢制御が行われてもよい。
【０１１９】
次いで、ステップＳ２２４において、位置算出部１１６は、ステレオカメラ１４Ａによって取得される撮像画像中にリファレンスマーカ１３４が存在するか否かを判別する。撮像画像中にリファレンスマーカ１３４が存在する場合（Ｓ２２４：Ｙｅｓ）、位置算出部１１６は、図１７のフローチャート中のステップＳ２０６、ステップＳ２０８、及びステップＳ２１４の手順に沿って、アーム部３０の姿勢情報の置き換えを行い、以降、このときのアーム部３０の姿勢情報との差分で、アーム部３０の姿勢を算出する。
【０１２０】
一方、ステップＳ２２４において、撮像画像中にリファレンスマーカ１３４が存在しない場合（Ｓ２２４：Ｎｏ）、ステップＳ２２６に進み、位置算出部１１６は、ステレオカメラ１４Ａの画角が最大となっているか否かを判別する。画角がすでに最大になっている場合（Ｓ２２６：Ｙｅｓ）、ステレオカメラ１４Ａでリファレンスマーカ１３４を捉えることができず、キャリブレーションを自動実行させることができないため、処理を終了させる。一方、画角が最大になっていない場合（Ｓ２２６：Ｎｏ）、位置算出部１１６は、ステップＳ２２８において、ステレオカメラ１４Ａの画角を拡大させて撮像範囲を拡大させた後、ステップＳ２２４に戻り、ステップＳ２２４以降の各ステップを繰り返す。
【０１２１】
これにより、アーム部３０がベッド４０に固定されていない場合において、アーム部３０が設置された可動台車３１３０が移動したときに、リファレンスマーカ１３４を撮像画像内に捉えることができれば、自動的に再キャリブレーションを完了させることができる。なお、キャリブレーションを行う場合、ステレオカメラ１４Ａの画角を拡大させる代わりに、あるいは、画角の拡大と併せて、アーム部３０の姿勢を変化させてステレオカメラ１４Ａの位置を後退させてもよい。
【０１２２】
＜３−３．まとめ＞
以上、本実施形態に係る撮像装置１０Ａ及び手術ナビゲーションシステムによれば、ステレオカメラ１４Ａが搭載されたアーム部３０の姿勢情報と、ステレオカメラ１４Ａから出力される情報とに基づいて、所定の位置を算出することができる。したがって、第１の実施の形態に係る撮像装置１０Ａと同様の効果を得ることができる。また、本実施形態に係る撮像装置１０Ａにおいても、アーム部３０の姿勢情報、及び、ステレオカメラ１４Ａから取得される情報に基づいて、術部の相対的３次元座標、術部の特徴点の相対的３次元座標、術具又は術具の先端位置の相対的３次元座標を検出することができる。したがって、術野の把握処理、レジストレーション処理、及び、術具の先端位置の検出処理等の制御を簡略的に、かつ、正確に行うことができる。
【０１２３】
また、本実施形態に係る撮像装置１０Ａ及び手術ナビゲーションシステムは、リファレンスマーカ１３４及び術具マーカ１３０を用いて位置検出処理を行うように構成されているため、レジストレーション処理の完了後に、可動台車３１３０の移動等によるアーム部３０の位置ズレの診断処理や、自動キャリブレーション処理を実行することができる。したがって、アーム部３０の位置ズレが生じた場合であっても、様々な位置検出処理の信頼性を維持することができる。
【０１２４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２５】
例えば、上記の各実施形態においては、アーム部３０に、カメラとしての顕微鏡部１４を備えるが、本開示の技術は係る例に限定されない。例えば、アーム部３０に、接眼部付顕微鏡と、当該接眼部付顕微鏡を介して得られる拡大画像を記録するカメラとが備えられてもよい。
【０１２６】
また、上記の各実施形態においては、顕微鏡部１４としてのステレオカメラを用いて、所定の対象部位までの奥行値の情報を取得しているが、本開示の技術は係る例に限定されない。例えば、単眼カメラと併せて距離センサを用いることによっても、当該奥行値の情報を取得することができる。
【０１２７】
また、上記第１の実施の形態では、撮像画像中の術具の検出が画像処理により行われ、第２の実施の形態では、撮像画像中の術具の検出が術具マーカの検出により行われていたが、各実施形態における術具の検出方法は、逆であってもよい。すなわち、第１の実施の形態と第２の実施の形態とは、３次元座標の原点Ｐ０の設定の仕方が異なるが、術具の検出方法は、上記の例に限られない。
【０１２８】
また、上記実施形態では、撮像装置の制御装置１００が、位置計算部１１０及びアーム姿勢制御部１２０を備えるが、本開示の技術は係る例に限定されない。本開示に係る制御装置１００は、アーム部３０の姿勢情報と、ステレオカメラ１４Ａから出力される情報とに基づいて、所定の位置情報を算出可能になっていればよく、アーム姿勢制御部１２０を備えていなくてもよい。この場合、アーム姿勢制御部１２０の機能を持つ他の制御装置により、アーム部３０の姿勢制御が行われてもよい。
【０１２９】
また、上記各実施形態で説明したシステム構成及びフローチャートは一例であって、本開示の技術は係る例に限定されない。撮像装置の制御装置１００により実行されるフローチャート中の各ステップの一部が、ナビ制御装置側で実行されてもよい。例えば、図１０に示す自動レジストレーション処理において、アーム部３０のステップＳ１３２〜ステップＳ１３６をナビ制御装置６０が行い、計算結果を制御装置１００に送信してもよい。
【０１３０】
なお、撮像装置及び手術ナビゲーションシステムの各機能を実現するためのコンピュータプログラムは、いずれかの制御装置等に実装され得る。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１３１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１３２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）少なくとも１つの関節部を有し、カメラを支持するアームの姿勢に関する姿勢情報を検出するアーム姿勢情報検出部と、前記カメラから出力される情報を検出するカメラ情報検出部と、前記姿勢情報及び前記カメラから出力される情報に基づいて所定の位置を算出する位置算出部と、を備える、医療用撮像装置。
（２）前記アームが、患者を支持する支持台に固定され、前記位置算出部は、前記アームの姿勢の変化によっても位置が変化しない所定の基準位置に対する相対位置を算出する、前記（１）に記載の医療用撮像装置。
（３）前記アームが、可動台車に設置され、前記位置算出部は、前記可動台車が所定の位置に配置された状態で、患者を支持する支持台に固定されたリファレンスマーカに基づき特定される所定の位置を基準位置として設定し、前記基準位置に対する相対位置を算出する、前記（１）に記載の医療用撮像装置。
（４）前記アームの制御を行うアーム制御部を備え、前記アーム制御部は、現在の基準位置を設定したときの前記リファレンスマーカの相対位置と、算出される前記リファレンスマーカの相対位置とが異なる場合に、前記算出された前記リファレンスマーカの相対位置を基準に前記アームの姿勢情報を補正する、前記（３）に記載の医療用撮像装置。
（５）前記位置算出部は、前記カメラによって撮像される画像に所定の検出対象が存在するか否かを判定し、前記検出対象が存在する場合に、前記検出対象の位置を算出する、前記（１）〜（４）のいずれか１項に記載の医療用撮像装置。
（６）前記位置算出部は、前記カメラによって撮像される前記画像に所定の検出対象が存在しない場合に、前記画像の撮像範囲を拡大させる、前記（５）に記載の医療用撮像装置。
（７）前記アームの制御を行うアーム制御部を備え、前記アーム制御部は、前記アームの姿勢を制御することにより、前記カメラによって撮像される画像に含まれる患者の手術対象部位を、あらかじめ用意された基準画像に対して位置合わせする、前記（１）〜（６）のいずれか１項に記載の医療用撮像装置。
（８）前記位置合わせをした場合であっても前記手術対象部位と前記基準画像とが位置ずれしている場合に、前記アーム制御部は、前記手術対象部位の仮想中心位置をピボット点として前記カメラの位置を調整することにより、前記手術対象部位と前記基準画像との位置合わせを再度行う、前記（７）に記載の医療用撮像装置。
（９）前記所定の位置は、前記カメラの焦点距離、患者の手術対象部位の位置、術具の位置、術具の先端位置、及びリファレンスマーカの位置のうちの少なくとも１つの位置を示す情報である、前記（１）〜（８）のいずれか１項に記載の医療用撮像装置。
（１０）前記アーム姿勢情報検出部は、前記関節部に備えられたエンコーダの出力に基づいて前記姿勢情報を検出する、前記（１）〜（９）のいずれか１項に記載の医療用撮像装置。
（１１）前記カメラから出力される情報が、前記カメラの焦点距離の情報、及び前記カメラにより取得される画像信号のうちのいずれか１つを含む、前記（１）〜（１０）のいずれか１項に記載の医療用撮像装置。
（１２）前記カメラにより取得される画像信号から生成される３Ｄ画像情報を出力する出力部を備える、前記（１）〜（１１）のいずれか１項に記載の医療用撮像装置。
（１３）少なくとも１つの関節部を有し、カメラを支持するアームの姿勢に関する姿勢情報を検出するアーム姿勢情報検出部と、前記カメラから出力される情報を検出するカメラ情報検出部と、前記姿勢情報及び前記カメラから出力される情報に基づいて所定の位置を算出する位置算出部と、前記カメラにより取得される画像信号から生成される３Ｄ画像情報を出力する出力部と、前記画像信号から生成される３Ｄ画像情報に含まれる患者の手術対象部位をあらかじめ用意された基準画像に重ね合わせて表示させながら、手術のナビゲーションを行うナビゲーション制御部と、を備える、手術ナビゲーションシステム
【符号の説明】
【０１３３】
１０，１０Ａ    撮像装置
１４    顕微鏡部
１４Ａ    ステレオカメラ
３０    アーム部
４８    プローブ（術具）
５０    ナビゲーション装置
５４    表示装置
６０    ナビ制御装置
１００    制御装置
１１０    位置計算部
１１２    アーム姿勢情報検出部
１１４    カメラ情報検出部
１１６    位置算出部
１２０    アーム姿勢制御部
１３０    術具マーカ
１３４    リファレンスマーカ
【図１】
0006657933.tif 000002
【図２】
0006657933.tif 000003
【図３】
0006657933.tif 000004
【図４】
0006657933.tif 000005
【図５】
0006657933.tif 000006
【図６】
0006657933.tif 000007
【図７】
0006657933.tif 000008
【図８】
0006657933.tif 000009
【図９】
0006657933.tif 000010
【図１０】
0006657933.tif 000011
【図１１】
0006657933.tif 000012
【図１２】
0006657933.tif 000013
【図１３】
0006657933.tif 000014
【図１４】
0006657933.tif 000015
【図１５】
0006657933.tif 000016
【図１６】
0006657933.tif 000017
【図１７】
0006657933.tif 000018
【図１８】
0006657933.tif 000019