(57)【要約】全自動でプロジェクタのレジストレーションを行うことができる手術支援システムを提供する。手術支援システムは、カメラ１と、プロジェクタ２と、レジストレーショントラッカー３と、画像処理装置４とを備える。医療画像は予め取得されている。レジストレーショントラッカー３が体表の所定位置に設置される。カメラ１は、レジストレーショントラッカー３を撮影する。画像処理装置４は、カメラ１によるレジストレーショントラッカー３の撮影画像mmと、予め医療画像を取得するときと同時に取得されたレジストレーショントラッカー情報Ctと、基づいて、レジストレーションを行い、プロジェクタが被投影対象に投影するためのターゲット情報pgを取得する。プロジェクタ２は、ターゲット情報pgに基づいて、ターゲット画像を被投影対象に投影する。
2015162665.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、プロジェクタと、被投影対象の表面に設置されるレジストレーショントラッカーと、画像処理装置と、を備え、
前記画像処理装置は、
前記カメラによるレジストレーショントラッカーの撮影画像と、予め医療画像を取得するときと同時に取得されたレジストレーショントラッカー情報と、基づいて、レジストレーションを行い、
前記プロジェクタが被投影対象に投影するためのターゲット情報を取得する
ことを特徴とする手術支援システム。
【請求項２】
カメラと、プロジェクタと、被投影対象の表面に設置されるレジストレーショントラッカーと、画像処理装置と、を備え、
前記画像処理装置は、
前記カメラから見た３次元座標系を設定するカメラ座標系設定機能部と、
前記プロジェクタから見た３次元座標系を設定するプロジェクタ座標系設定機能部と、
前記カメラとプロジェクタとの位置関係と、前記カメラ座標系のレジストレーショントラッカー情報と、に基づいて、前記プロジェクタ座標系のレジストレーショントラッカー情報を取得するレジストレーショントラッカー情報変換機能部と、
予め取得された医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報とを入力する医療画像入力機能部と、
前記医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報との位置関係と、前記プロジェクタ座標系のレジストレーショントラッカー情報と、に基づいて、プロジェクタ座標系のターゲット情報を取得するターゲット撮影画像取得機能部と、
プロジェクタ座標系のターゲット情報を３次元座標から２次元座標に変換する次元変換機能部と、
を有する
ことを特徴とする手術支援システム。
【請求項３】
前記カメラは、前記レジストレーショントラッカーを撮影し、
前記画像処理装置は、
前記カメラによるレジストレーショントラッカーの撮影画像に基づいて、前記カメラ座標系のレジストレーショントラッカー情報を取得するレジストレーショントラッカー撮影機能部
を有する
ことを特徴とする請求項１または２記載の手術支援システム。
【請求項４】
前記レジストレーショントラッカーにはレジストレーションマーカが設けられ、
前記カメラは、前記レジストレーションマーカを撮影し、
前記画像処理装置は、
レジストレーションマーカの撮影画像に基づいて、前記カメラ座標系のレジストレーションマーカ情報を取得し、前記レジストレーショントラッカーとレジストレーションマーカとの位置関係と、前記カメラ座標系のレジストレーションマーカ情報と、に基づいて、前記カメラ座標系のレジストレーショントラッカー情報を取得するレジストレーションマーカ撮影機能部
を有する
ことを特徴とする請求項１または２記載の手術支援システム。
【請求項５】
前記プロジェクタは、前記ターゲット情報に基づいて、被投影対象内部にあるターゲットに関する画像であるターゲット画像を被投影対象に投影する
ことを特徴とする請求項１または２記載の手術支援システム。
【請求項６】
前記医療画像座標系のレジストレーショントラッカー情報は、該レジストレーショントラッカーが被投影対象の表面の所定位置に設置された状態で取得される
ことを特徴とする請求項１または２記載の手術支援システム。
【請求項７】
前記カメラとプロジェクタとを含むユニットを移動するユニット移動機構
を更に備える
ことを特徴とする請求項１〜６いずれかに記載の手術支援システム。
【請求項８】
前記レジストレーショントラッカーは多面体である
ことを特徴とする請求項１〜７いずれかに記載の手術支援システム。
【請求項９】
前記画像処理装置は、
前記カメラの移動を検出すると、繰り返し制御指令を出力する移動検出機能部
を有する
ことを特徴とする請求項１〜８いずれかに記載の手術支援システム。
【請求項１０】
カメラと、プロジェクタと、被投影対象の表面に設置されるレジストレーショントラッカーと、画像処理装置と、を備え、
前記画像処理装置は、
前記カメラから見た３次元座標系を設定するカメラ座標系設定機能部と、
前記プロジェクタから見た３次元座標系を設定するプロジェクタ座標系設定機能部と、
前記カメラとプロジェクタとの位置関係と、前記カメラ座標系のレジストレーショントラッカー情報と、に基づいて、前記プロジェクタ座標系のレジストレーショントラッカー情報を取得するレジストレーショントラッカー情報変換機能部と、
予め取得された事前画像座標系のレジストレーショントラッカー情報と事前画像座標系のターゲット情報とを入力する事前画像入力機能部と、
前記事前画像座標系のレジストレーショントラッカー情報と事前画像座標系のターゲット情報との位置関係と、前記プロジェクタ座標系のレジストレーショントラッカー情報と、に基づいて、プロジェクタ座標系のターゲット情報を取得するターゲット撮影画像取得機能部と、
プロジェクタ座標系のターゲット情報を３次元座標から２次元座標に変換する次元変換機能部と、
を有する
ことを特徴とするプロジェクタシステム。
【請求項１１】
医療画像作成装置が、ターゲットに係る医療画像作成と同時にレジストレーショントラッカー情報を作成し、
カメラと、プロジェクタと、被投影対象の表面に設置されたレジストレーショントラッカーと、画像処理装置と、を備える手術支援システムのうち、該カメラと該プロジェクタとを含むユニットが、被投影対象に対応するように設置され、
前記カメラが、被投影対象の表面に設置されたレジストレーショントラッカーを撮影し、
前記画像処理装置が、
前記カメラによるレジストレーショントラッカーの撮影画像と、予め医療画像を取得するときと同時に取得されたレジストレーショントラッカー情報と、基づいて、レジストレーションを行い、
被投影対象内部にあるターゲットに関する画像情報であるターゲット情報を取得し、
前記プロジェクタが、前記ターゲット情報に基づいて、ターゲット画像を被投影対象に投影する
ことを特徴とする医療画像投影方法。
【請求項１２】
医療画像作成装置が、医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報とを予め作成し、
カメラと、プロジェクタと、被投影対象の表面に設置されたレジストレーショントラッカーと、画像処理装置と、を備える手術支援システムのうち、該カメラと該プロジェクタとを含むユニットが、被投影対象に対応するように設置され、
前記カメラが、被投影対象の表面に設置されたレジストレーショントラッカーを撮影し、
前記画像処理装置が、
前記カメラによるレジストレーショントラッカーの撮影画像に基づいて、前記カメラ座標系のレジストレーショントラッカー情報を取得し、
前記カメラとプロジェクタとの位置関係と、前記カメラ座標系のレジストレーショントラッカー情報と、に基づいて、前記プロジェクタ座標系のレジストレーショントラッカー情報を取得し、
前記医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報との位置関係と、前記プロジェクタ座標系のレジストレーショントラッカー情報と、に基づいて、プロジェクタ座標系のターゲット情報を取得し、
プロジェクタ座標系のターゲット情報を３次元座標から２次元座標に変換し、
前記プロジェクタが、前記２次元ターゲット情報に基づいて、ターゲット画像を被投影対象に投影する
ことを特徴とする医療画像投影方法。
【請求項１３】
前記カメラと該プロジェクタとを含むユニットが移動され、
前記ユニット移動の度に、
前記カメラによる撮影と、前記画像処理装置による画像処理と、前記プロジェクタによる投影と、が繰り返される
ことを特徴とする請求項１１または１２記載の医療画像投影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクタシステムを活用した手術支援技術である。
【背景技術】
【０００２】
近年、プロジェクトマッピングに係る技術が注目されている。東京駅駅舎や大阪城などの壁面に、非現実的な映像を投影することにより、幻想的な空間を演出できる。また、ビル壁面に芸術的な映像を投影することにより、都市景観に変化を付けることができる。プロジェクトマッピングを利用したイベントは、観客の目を楽しませ、大きな集客力を見込める。これにより、大きな経済効果を期待できる。【０００３】
また、非現実的な映像を投影し、観客の目を楽しませることができる為、娯楽の分野にも適用されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−０１０３６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で、医療の分野でもプロジェクタを用いた手術支援技術の研究が行われている。CTやMRIで撮影した医療画像を体表や臓器に投影する。投影により直感的な内部構造の把握を容易にし，手術ミスの低減が見込める。【０００６】
このとき、投影画像と被投影対象の位置合わせ（レジストレーション）が重要となる。レジストレーションのやり方は様々の方法が検討され、確立した技術がない。【０００７】
例えば、予め医療画像と一緒に体表の画像も取得し、体表画像を体表に投影し、位置合わせを行い、位置の一致を確認した後、ターゲット画像（医療画像に基づく投影対象画像）を投影する。【０００８】
ところで、上述のプロジェクトマッピング技術の実務では、専門知識を持った映像技術者が特殊な機械を用いている。一方で、手術者は、映像技術に関する専門知識が乏しい場合も多い。レジストレーションに不具合があると、適切な手術支援ができないだけでなく、逆に、手術現場が混乱するおそれもある。【０００９】
手術に少しの失敗も許されない。手術者は想像以上の緊張を強いられる。したがって、少しの追加負担も手術者に課すことは好ましくない。【００１０】
本発明は上記課題を解決するものであり、全自動でプロジェクタのレジストレーションを行う手術支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決する本発明の手術支援システムは、カメラと、プロジェクタと、被投影対象の表面に設置されるレジストレーショントラッカーと、画像処理装置と、を備え、前記画像処理装置は、前記カメラによるレジストレーショントラッカーの撮影画像と、予め医療画像を取得するときと同時に取得されたレジストレーショントラッカー情報と、基づいて、レジストレーションを行い、前記プロジェクタが被投影対象に投影するためのターゲット情報を取得する。【００１２】
上記課題を解決する本発明の手術支援システムは、カメラと、プロジェクタと、被投影対象の表面に設置されるレジストレーショントラッカーと、画像処理装置と、を備え、前記画像処理装置は、前記カメラから見た３次元座標系を設定するカメラ座標系設定機能部と、前記プロジェクタから見た３次元座標系を設定するプロジェクタ座標系設定機能部と、前記カメラとプロジェクタとの位置関係と、前記カメラ座標系のレジストレーショントラッカー情報と、に基づいて、前記プロジェクタ座標系のレジストレーショントラッカー情報を取得するレジストレーショントラッカー情報変換機能部と、予め取得された医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報とを入力する医療画像入力機能部と、前記医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報との位置関係と、前記プロジェクタ座標系のレジストレーショントラッカー情報と、に基づいて、プロジェクタ座標系のターゲット情報を取得するターゲット撮影画像取得機能部と、プロジェクタ座標系のターゲット情報を３次元座標から２次元座標に変換する次元変換機能部と、を有する。【００１３】
上記構成により全自動でプロジェクタのレジストレーションを行うことができる。【００１４】
上記発明において、好ましくは、前記カメラは、前記レジストレーショントラッカーを撮影し、前記画像処理装置は、前記カメラによるレジストレーショントラッカーの撮影画像に基づいて、前記カメラ座標系のレジストレーショントラッカー情報を取得するレジストレーショントラッカー撮影機能部を有する。【００１５】
上記発明において、好ましくは、前記レジストレーショントラッカーにはレジストレーションマーカが設けられ、前記カメラは、前記レジストレーションマーカを撮影し、前記画像処理装置は、レジストレーションマーカの撮影画像に基づいて、前記カメラ座標系のレジストレーションマーカ情報を取得し、前記レジストレーショントラッカーとレジストレーションマーカとの位置関係と、前記カメラ座標系のレジストレーションマーカ情報と、に基づいて、前記カメラ座標系のレジストレーショントラッカー情報を取得するレジストレーションマーカ撮影機能部を有する。【００１６】
上記発明において、好ましくは、前記プロジェクタは、前記ターゲット情報に基づいて、被投影対象内部にあるターゲットに関する画像であるターゲット画像を被投影対象に投影する。【００１７】
上記発明において、好ましくは、前記医療画像座標系のレジストレーショントラッカー情報は、該レジストレーショントラッカーが被投影対象の表面の所定位置に設置された状態で取得される。【００１８】
上記本発明の手術支援システムは、前記カメラとプロジェクタとを含むユニットを移動するユニット移動機構を更に備える。【００１９】
上記発明において、前記レジストレーショントラッカーは多面体である。【００２０】
上記発明において、前記画像処理装置は、前記カメラの移動を検出すると、繰り返し制御指令を出力する移動検出機能部を有する。【００２１】
これにより、多方向からターゲット画像を投影できる。これにより、手術者が投影の障害となることを避けることができる。さらに、疑似３次元画像が得られる。【００２２】
上記課題を解決する本発明のプロジェクタシステムは、カメラと、プロジェクタと、被投影対象の表面に設置されるレジストレーショントラッカーと、画像処理装置と、を備え、前記画像処理装置は、前記カメラから見た３次元座標系を設定するカメラ座標系設定機能部と、前記プロジェクタから見た３次元座標系を設定するプロジェクタ座標系設定機能部と、前記カメラとプロジェクタとの位置関係と、前記カメラ座標系のレジストレーショントラッカー情報と、に基づいて、前記プロジェクタ座標系のレジストレーショントラッカー情報を取得するレジストレーショントラッカー情報変換機能部と、予め取得された事前画像座標系のレジストレーショントラッカー情報と事前画像座標系のターゲット情報とを入力する事前画像入力機能部と、前記事前画像座標系のレジストレーショントラッカー情報と事前画像座標系のターゲット情報との位置関係と、前記プロジェクタ座標系のレジストレーショントラッカー情報と、に基づいて、プロジェクタ座標系のターゲット情報を取得するターゲット撮影画像取得機能部と、プロジェクタ座標系のターゲット情報を３次元座標から２次元座標に変換する次元変換機能部と、を有する。【００２３】
本発明のプロジェクタシステムは、手術支援以外の用途にも適用可能である。【００２４】
上記課題を解決する本発明の医療画像投影方法は、医療画像作成装置が、ターゲットに係る医療画像作成と同時にレジストレーショントラッカー情報を作成し、カメラと、プロジェクタと、被投影対象の表面に設置されたレジストレーショントラッカーと、画像処理装置と、を備える手術支援システムのうち、該カメラと該プロジェクタとを含むユニットが、被投影対象に対応するように設置され、前記カメラが、被投影対象の表面に設置されたレジストレーショントラッカーを撮影し、前記画像処理装置が、前記カメラによるレジストレーショントラッカーの撮影画像と、予め医療画像を取得するときと同時に取得されたレジストレーショントラッカー情報と、基づいて、レジストレーションを行い、被投影対象内部にあるターゲットに関する画像情報であるターゲット情報を取得し、前記プロジェクタが、前記ターゲット情報に基づいて、ターゲット画像を被投影対象に投影する。【００２５】
上記課題を解決する本発明の医療画像投影方法は、医療画像作成装置が、医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報とを予め作成し、カメラと、プロジェクタと、被投影対象の表面に設置されたレジストレーショントラッカーと、画像処理装置と、を備える手術支援システムのうち、該カメラと該プロジェクタとを含むユニットが、被投影対象に対応するように設置され、前記カメラが、被投影対象の表面に設置されたレジストレーショントラッカーを撮影し、前記画像処理装置が、前記カメラによるレジストレーショントラッカーの撮影画像に基づいて、前記カメラ座標系のレジストレーショントラッカー情報を取得し、前記カメラとプロジェクタとの位置関係と、前記カメラ座標系のレジストレーショントラッカー情報と、に基づいて、前記プロジェクタ座標系のレジストレーショントラッカー情報を取得し、前記医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報との位置関係と、前記プロジェクタ座標系のレジストレーショントラッカー情報と、に基づいて、プロジェクタ座標系のターゲット情報を取得し、プロジェクタ座標系のターゲット情報を３次元座標から２次元座標に変換し、前記プロジェクタが、前記２次元ターゲット情報に基づいて、ターゲット画像を被投影対象に投影する。【００２６】
上記発明において、前記カメラと該プロジェクタとを含むユニットが移動され、前記ユニット移動の度に、前記カメラによる撮影と、前記画像処理装置による画像処理と、前記プロジェクタによる投影と、が繰り返される。
【発明の効果】
【００２７】
本発明の手術支援システムは、全自動でプロジェクタのレジストレーションを行うことができる。その結果、手術者の負担が大幅に軽減される。
【図面の簡単な説明】
【００２８】
【図１】システムの機能ブロック図（第１実施形態）
【図２】レジストレーショントラッカー
【図３】レジストレーショントラッカー（変形例）
【図４】本システムの動作概念図
【図５】システムの処理フロー図
【図６】医療画像作成時の動作説明図
【図７】ターゲット画像投影時の動作説明図
【図８】システムの機能ブロック図（第２実施形態）
【図９】システムの処理フロー図
【図１０】疑似３次元画像原理説明図
【図１１】疑似３次元画像動作説明図
【図１２】システムの機能ブロック図（第２実施形態）（変形例）
【図１３】レジストレーショントラッカー（変形例）
【図１４】ターゲット画像投影時の動作説明図（第３実施形態）
【発明を実施するための形態】
【００２９】
＜第１実施形態＞
〜構成〜
図１は、システムの機能ブロック図である。本実施形態の手術支援システムに係る構成について説明する。手術支援システムは、カメラ１と、プロジェクタ２と、レジストレーショントラッカー３と、画像処理装置４とを備える。
【００３０】
カメラ１とプロジェクタ２はユニット５になっている。したがって、カメラ１とプロジェクタ２の位置関係は既知であり、画像処理装置４に記憶されている。
【００３１】
カメラ１とプロジェクタ２の光学的特性（レンズ特性）は既知である。
【００３２】
カメラ１は、レジストレーショントラッカー３を撮影する。プロジェクタ２はターゲット画像を被投影対象に投影する。ターゲット画像は、被投影対象内部にあるターゲットに関する画像であり、別途取得される医療画像に基づき取得される。
【００３３】
図２は、レジストレーショントラッカーの一例である。レジストレーショントラッカー３は多面体であることが好ましい（第２実施形態参照）。図示では六面体である。
【００３４】
医療画像作成時、レジストレーショントラッカー３は、体表の任意位置に設置される（図６参照）。ただし、ターゲット画像投影時も、同じ位置に設置される（図７参照）。
【００３５】
なお、CT画像としてレジストレーショントラッカー３を撮影する場合には、レジストレーショントラッカー３は生体皮膚組織より固めの素材（例えば木材）であることが好ましい。
【００３６】
レジストレーショントラッカー３の３次元形状情報は既知であり、画像処理装置４に記憶されている。
【００３７】
レジストレーショントラッカー３の表面には反射型のレジストレーションマーカ６が設けられている。レジストレーションマーカ６は、カメラ１に対向するように少なくとも一面に設けられるが、図示のように複数面に設けられと尚よい（第２実施形態参照）。
【００３８】
レジストレーショントラッカー３におけるレジストレーションマーカ６の位置関係は既知であり、画像処理装置４に記憶されている。
【００３９】
図３は、レジストレーショントラッカーの変形例である。図２のレジストレーショントラッカー３が六面体であるのに対し、変形例はプレート形状である。すなわち多面体でなくとも良い。また、図２では、レジストレーショントラッカー３の表面にレジストレーションマーカ６が設けられているのに対し、変形例では、レジストレーショントラッカー３の四隅がレジストレーションマーカ６として機能する。
【００４０】
すなわち、レジストレーショントラッカーは、３次元形状情報が取得でき、かつ、カメラにより識別できれば、これらに限定されない。
【００４１】
図１に戻り、画像処理装置４の各機能部４１〜４７について説明する。
【００４２】
カメラ座標系設定機能部４１は、カメラ１の光学的特性に基づき、カメラ１から見た３次元座標系を設定する。
【００４３】
プロジェクタ座標系設定機能部４２は、プロジェクタ２の光学的特性に基づき、プロジェクタ２から見た３次元座標系を設定する。
【００４４】
レジストレーションマーカ撮影機能部４３は、レジストレーションマーカ６の撮影画像情報mm（２次元）に基づいて、カメラ座標系のレジストレーションマーカ情報Mm（例えばマーカの四隅の４点の３次元座標）を取得する。さらに、レジストレーショントラッカー３とレジストレーションマーカ６との位置関係と、カメラ座標系のレジストレーションマーカ情報Mmと、に基づいて、カメラ座標系のレジストレーショントラッカー情報Mt（例えば対向する一面の四隅の４点の３次元座標）を取得する。
【００４５】
なお、説明の便宜のため、レジストレーショントラッカーの一面のみを用いたが、複数面にレジストレーションマーカがある場合（図２参照）は、カメラ１は、複数面のレジストレーションマーカをそれぞれ識別する。これにより、レジストレーションの精度が向上する。
【００４６】
レジストレーショントラッカー情報変換機能部４４は、カメラ１とプロジェクタ２との位置関係と、カメラ座標系のレジストレーショントラッカー情報Mtと、に基づいて、プロジェクタ座標系のレジストレーショントラッカー情報Ptを取得する。
【００４７】
医療画像入力機能部４５は、予め取得された医療画像座標系のレジストレーショントラッカー情報CTtと医療画像座標系のターゲット情報CTgとを入力する。
【００４８】
ターゲット撮影画像取得機能部４６は、医療画像座標系のレジストレーショントラッカー情報CTtと医療画像座標系のターゲット情報CTgとの位置関係と、プロジェクタ座標系のレジストレーショントラッカー情報Ptと、に基づいて、プロジェクタ座標系のターゲット情報Pgを取得する。
【００４９】
次元変換機能部４７は、プロジェクタ座標系のターゲット情報を３次元座標Pgから２次元座標pgに変換する。
【００５０】
〜動作〜
図４は本システムの動作概念図であり、図５は、システムの処理フロー図である。本実施形態の手術支援システムに係る動作について説明する。
【００５１】
予め、医療画像作成装置（図６参照）により、医療画像座標系のレジストレーショントラッカー情報CTtと医療画像座標系のターゲット情報CTgとを作成する（ステップS1）。医療画像には、CT画像やMRI画像等がある。２次元画像を何層にも重ねることで、３次元情報が得られる。
【００５２】
図６は、医療画像作成時の動作説明図である。図示はCTスキャン装置である。CTスキャン時に、レジストレーショントラッカー３を体表の任意位置に設置する。ただし、ターゲット画像投影時のレジストレーショントラッカー３の設置位置（図７参照）と、同じ位置とする必要がある。したがって、ターゲット画像投影の障害とならないように考慮する。
【００５３】
通常、手術の前日に医療画像を作成する。医療画像作成後、レジストレーショントラッカー３の設置位置を体表にマークした後、レジストレーショントラッカー３を取り外す。
【００５４】
医療画像座標系のレジストレーショントラッカー情報CTtと医療画像座標系のターゲット情報CTgを画像処理装置４に入力する。
【００５５】
次いで、手術時の動作について説明する。図７は、ターゲット画像投影時の動作説明図である。
【００５６】
患者の体表には、レジストレーショントラッカー３の設置位置がマークされている。レジストレーショントラッカー３を所定の位置に設置する。
【００５７】
カメラ１とプロジェクタ２とを含むユニット５を被投影対象（患者体表の所定範囲）に対応するように設置する（ステップS2）。より具体的には、カメラ１がレジストレーショントラッカー３を撮影可能なように、プロジェクタ２がターゲット画像を被投影対象に投影可能なようにする。
【００５８】
カメラ１は、被投影対象の表面に設置されたレジストレーショントラッカー３を撮影する（ステップS3）。
【００５９】
画像処理装置４は、カメラによるレジストレーショントラッカーの撮影画像と、医療画像を取得するときと同時に取得されたレジストレーショントラッカー情報と、基づいて、レジストレーションを行い、被投影対象内部（体表下）にあるターゲットに関する画像情報であるターゲット情報を取得する（ステップS4）。以下、画像処理の詳細について説明する。
【００６０】
まず、カメラ１によるレジストレーショントラッカー３の撮影画像に基づいて、カメラ座標系のレジストレーショントラッカー情報Mtを取得する（ステップS41）。
【００６１】
カメラ１はレジストレーショントマーカ６を識別する。実際のレジストレーショントマーカ６は寸法既知の正方形を形成する（図２参照）のに対し、２次元である撮影画像におけるレジストレーショントマーカ６は押し潰された四角形mmを形成する。この変形程度に基づいて、カメラ座標系のレジストレーションマーカ情報Mm（３次元座標）を取得する。
【００６２】
また、レジストレーショントラッカー３とレジストレーションマーカ６との位置関係は既知であり、これにより、カメラ座標系のレジストレーショントラッカー情報Mtを取得できる。
【００６３】
さらに、カメラ１とプロジェクタ２との位置関係は既知であり、プロジェクタ座標系のレジストレーショントラッカー情報Ptを取得する（ステップS42）。
【００６４】
これにより、レジストレーションが完了する。確認のために、テスト画像をレジストレーショントラッカー３に投影しても良い。
【００６５】
医療画像座標系のレジストレーショントラッカー情報CTtと医療画像座標系のターゲット情報CTgとの位置関係は既知であり、プロジェクタ座標系のターゲット情報Pgを取得する（ステップS43）。
【００６６】
プロジェクタ２の投影画像は２次元である。したがって、プロジェクタ座標系のターゲット情報を３次元座標Pgから２次元座標pgに変換する（ステップS44）。
【００６７】
プロジェクタ２は、２次元ターゲット情報pgに基づいて、ターゲット画像を被投影対象に投影する（ステップS5）。
【００６８】
手術者は、ターゲット画像により直感的に内部構造を容易に把握できる。これにより、手術が開始される。
【００６９】
〜効果〜
以上のように、本システムでは、全自動でプロジェクタのレジストレーションを行うことができる。レジストレーションの不具合で、手術現場が混乱するおそれはない。その結果、システム導入に対する手術者の負担が大幅に軽減され、手術者は手術に集中できる。
【００７０】
さらに、ターゲット画像の支援により、手術者は直感的に内部構造を容易に把握できる。その結果、手術に対する手術者の負担は大幅に軽減され、手術ミスの低減が期待できる。
【００７１】
＜第２実施形態＞
〜構成・動作〜
図８は、第２実施形態のシステムの機能ブロック図である。本実施形態の手術支援システムに係る構成について説明する。手術支援システムが、カメラ１と、プロジェクタ２と、レジストレーショントラッカー３と、画像処理装置４とを備える点は、第１実施形態と共通する。第２実施形態は更に、ユニット５を移動するユニット移動機構７を備える。
【００７２】
たとえば、図７において、ユニット移動機構７はユニット５を移動するレールと駆動装置である。レールは、手術台上部に環状に設けられている。理解のため、一部レール断面を表示する。ユニット５がレール上を一周することにより、プロジェクタ２は全方向から投影できる。
【００７３】
画像処理装置４は、さらに、移動検出機能部４８を有する。移動検出機能部４８は、ユニット移動機構７から移動情報を入力し、カメラ１の移動を検出すると、繰り返し制御指令を出力する。
【００７４】
図９は、第２実施形態のシステムの処理フロー図である。本実施形態の手術支援システムに係る動作について説明する。ステップS1〜S5までの動作は、第１実施形態と共通する。第２実施形態は更に、ステップS6に係る処理を行う。
【００７５】
ユニット移動機構７がユニット５を移動すると、プロジェクタ２の位置が変わり、再度レジストレーションをする必要がある。画像処理装置４は、ユニット移動機構７が出力する移動情報を入力し、繰り返し制御指令を出力する（ステップS6）。
【００７６】
再度、カメラ１は、被投影対象の表面に設置されたレジストレーショントラッカーを撮影し（ステップS3）、画像処理装置４は、レジストレーションを行い、投影のためのターゲット情報を取得し（ステップS4）、プロジェクタ２は、ターゲット画像を被投影対象に投影する（ステップS5）一連の動作が繰り返される。
【００７７】
レジストレーショントラッカー３は多面体であり、複数面にレジストレーションマーカがある（図２参照）。ユニット５が大きく移動した場合、カメラ１は別面のレジストレーションマーカを認識し、画像処理装置４は再度レジストレーションをおこなう。
【００７８】
〜効果〜
手術中、手術者の位置が変わることもあり、手術者が障害となって、ターゲット画像を被投影対象に投影できないおそれもある。
【００７９】
本実施形態では、手術者位置の変動に伴い、ユニット５を移動する。リアルタイムにレジストレーションを行うため、再度、別の方向からターゲット画像を投影できる。これにより、手術者が投影の障害となることを避けることができる。
【００８０】
さらに、本実施形態では、疑似３次元画像が得られる。以下詳述する。
【００８１】
図１０は、疑似３次元画像の原理説明図である。同一視線上に２つの対象物があり、視線を左右に動かす場合、近くの対象物は大きく動くように見え、遠くの対象物は小さく動くように見える。この現象は、視覚の運動視差と呼ばれる。これにより、奥行きが認識可能となる。
【００８２】
図１１は、疑似３次元画像を得る動作の説明図である。ユニット５が移動することにより、プロジェクタ２からの投影方向が変化する。これにより、視覚の運動視差と同様な現象が生じる。すなわち、体表から深部にある対象は動きが小さく、体表近傍にある対象は大きく動く。図示の例では、背骨の動きに比べて胸骨の動きが大きい。これにより、直感的に奥行きを認識できる。
【００８３】
プロジェクタ２からの投影画像は２次元情報であるが、ユニット５の移動により、疑似３次元画像が得られる。
【００８４】
〜変形例〜
図１２は、変形例に係る機能ブロック図である。図８において、移動検出機能部４８は、ユニット移動機構７から移動情報を入力するのに対し、図１２では、移動検出機能部４８は、レジストレーションマーカ撮影機能部４３から移動情報を入力する。
【００８５】
すなわち、ユニット５が移動するとカメラ１の視野も移動し、カメラ１は既知のレジストレーションマーカを認識できなくなる。画像処理装置４は、カメラ１による撮影画像の変化に基づいて、繰り返し制御指令を出力する（ステップS6）。
【００８６】
図７および図８では、ユニット移動機構７によりユニットを移動したが、カメラおよびプロジェクタを小型化することにより、ユニット５をポータブルとすることができる。たとえば、手術補助者がユニット５を持って移動することで、第２実施形態と同様の効果が得られる。
【００８７】
図１３はレジストレーショントラッカーの変形例である。第２実施形態においては、レジストレーショントラッカー３は多面体であることが好ましい旨について説明した。図２では六面体であるのに対し、図１３では十二面体である。これによりレジストレーションの精度が向上する。
【００８８】
＜第３実施形態＞
本発明は手術支援システムであるが、医療や手術に限定されず、プロジェクタにより内部構造を投影することを目的とする場合に、適用可能である。
【００８９】
図１４は、プロジェクタシステムの非破壊検査への適用例である。システム構成やシステムの処理フローは、手術支援システムと同様である。
【００９０】
たとえば、地震後、目視確認ではコンクリート構造物に被害がない場合でも、内部の鉄筋が損傷している場合がある。これに対し、コンクリート表面から、鉄筋の超音波探査を行い、鉄筋が健全であることを確かめる。以下、適用例の動作について説明する。
【００９１】
まず、コンクリート構造物および配筋の３次元ＣＡＤ情報を、設計図面に基づいて事前に作成しておく。さらに、レジストレーショントラッカー３の設置位置を予め決めておき、３次元ＣＡＤ情報に追加する（ステップS1）。これにより、３次元ＣＡＤ座標系のレジストレーショントラッカー情報CDtと３次元ＣＡＤ座標系のターゲット情報CDgとの位置関係は既知となる。
【００９２】
コンクリート構造物表面の所定位置にレジストレーショントラッカー３を設置する。また、カメラ１とプロジェクタ２とを含むユニット５を被投影対象（コンクリート構造物の調査範囲）に対応するように設置する（ステップS2）。より具体的には、カメラ１がレジストレーショントラッカー３を撮影可能なように、プロジェクタ２がターゲット画像を被投影対象に投影可能なようにする。カメラ１がレジストレーショントラッカー３を適切に撮影しているか、モニタにより確認しても良い。
【００９３】
以上の準備が終わり次第、配筋画像をコンクリート構造物に投影する。カメラ１は、被投影対象の表面に設置されたレジストレーショントラッカー３を撮影し（ステップS3）、画像処理装置４は、レジストレーションを行い、投影用のターゲット情報を取得し（ステップS4）、プロジェクタ２は、ターゲット画像（配筋画像）を被投影対象に投影する（ステップS5）。
【００９４】
さらに、ユニット５の移動により、疑似３次元画像を得ても良い（ステップS6）。
【００９５】
投影画像を参照しながら、対象鉄筋位置を推定し、超音波探査をおこなう。配筋を可視化することで、調査対象を特定でき、探査精度が向上する。
【００９６】
調査現場では、全自動でプロジェクタのレジストレーションを行うことができるので、投影作業に手間取ることなく、調査員は調査に集中できる。
【符号の説明】
【００９７】
１  カメラ
２  プロジェクタ
３  レジストレーショントラッカー
４  画像処理装置
５  ユニット
６  レジストレーションマーカ
７  ユニット移動機構
４１  カメラ座標系設定機能部  
４２  プロジェクタ座標系設定機能部
４３  レジストレーションマーカ撮影機能部
４４  レジストレーショントラッカー情報変換機能部
４５  医療画像入力機能部
４６  ターゲット撮影画像取得機能部
４７  次元変換機能部
４８  移動検出機能部
【図１】
2015162665.tif 000003
【図２】
2015162665.tif 000004
【図３】
2015162665.tif 000005
【図４】
2015162665.tif 000006
【図５】
2015162665.tif 000007
【図６】
2015162665.tif 000008
【図７】
2015162665.tif 000009
【図８】
2015162665.tif 000010
【図９】
2015162665.tif 000011
【図１０】
2015162665.tif 000012
【図１１】
2015162665.tif 000013
【図１２】
2015162665.tif 000014
【図１３】
2015162665.tif 000015
【図１４】
2015162665.tif 000016
【手続補正書】
【提出日】平成27年4月6日(2015.4.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラとプロジェクタとを含む可搬式ユニットと、被投影対象の表面に設置されるレジストレーショントラッカーと、画像処理装置と、を備え、
前記カメラとプロジェクタとの位置関係は既知であり、
前記レジストレーショントラッカーは、３次元医療画像取得と同時に取得可能な立体形状を有し、
該立体形状は、複数の平面を含み、
該平面には、該カメラで撮影可能な複数のマーカ点が設けられ、
該マーカ点間の位置関係は既知であり、
該レジストレーショントラッカーにおける該マーカ点の位置関係は既知であり、
前記画像処理装置は、
前記カメラによるレジストレーショントラッカーの撮影画像から取得された第１レジストレーショントラッカー情報と、
予め３次元医療画像を取得するときと同時に取得された第２レジストレーショントラッカー情報と、
に基づいて、レジストレーションを行い、
前記プロジェクタが被投影対象に投影するためのターゲット情報を取得する
ことを特徴とする手術支援システム。
【請求項２】
カメラと、プロジェクタと、被投影対象の表面に設置されるレジストレーショントラッカーと、画像処理装置と、を備え、
前記画像処理装置は、
前記カメラから見た３次元座標系を設定するカメラ座標系設定機能部と、
前記プロジェクタから見た３次元座標系を設定するプロジェクタ座標系設定機能部と、
前記カメラとプロジェクタとの位置関係と、前記カメラ座標系のレジストレーショントラッカー情報と、に基づいて、前記プロジェクタ座標系のレジストレーショントラッカー情報を取得するレジストレーショントラッカー情報変換機能部と、
予め取得された医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報とを入力する医療画像入力機能部と、
前記医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報との位置関係と、前記プロジェクタ座標系のレジストレーショントラッカー情報と、に基づいて、プロジェクタ座標系のターゲット情報を取得するターゲット撮影画像取得機能部と、
プロジェクタ座標系のターゲット情報を３次元座標から２次元座標に変換する次元変換機能部と、
を有する
ことを特徴とする手術支援システム。
【請求項３】
前記カメラは、前記レジストレーショントラッカーを撮影し、
前記画像処理装置は、
前記カメラによるレジストレーショントラッカーの撮影画像に基づいて、前記カメラ座標系のレジストレーショントラッカー情報を取得するレジストレーショントラッカー撮影機能部
を有する
ことを特徴とする請求項１または２記載の手術支援システム。
【請求項４】
前記レジストレーショントラッカーにはレジストレーションマーカが設けられ、
前記カメラは、前記レジストレーションマーカを撮影し、
前記画像処理装置は、
レジストレーションマーカの撮影画像に基づいて、前記カメラ座標系のレジストレーションマーカ情報を取得し、前記レジストレーショントラッカーとレジストレーションマーカとの位置関係と、前記カメラ座標系のレジストレーンョンマーカ情報と、に基づいて、前記カメラ座標系のレジストレーショントラッカー情報を取得するレジストレーションマーカ撮影機能部
を有する
ことを特徴とする請求項１または２記載の手術支援システム。
【請求項５】
前記プロジェクタは、前記ターゲット情報に基づいて、被投影対象内部にあるターゲットに関する画像であるターゲット画像を被投影対象に投影する
ことを特徴とする請求項１または２記載の手術支援システム。
【請求項６】
前記医療画像座標系のレジストレーショントラッカー情報は、該レジストレーショントラッカーが被投影対象の表面の所定位置に設置された状態で取得される
ことを特徴とする請求項１または２記載の手術支援システム。
【請求項７】
前記カメラとプロジェクタとを含むユニットを移動するユニット移動機構
を更に備える
ことを特徴とする請求項１〜６いずれかに記載の手術支援システム。
【請求項８】
前記レジストレーショントラッカーは多面体である
ことを特徴とする請求項１〜７いずれかに記載の手術支援システム。
【請求項９】
前記画像処理装置は、
前記カメラの移動を検出すると、繰り返し制御指令を出力する移動検出機能部
を有する
ことを特徴とする請求項１〜８いずれかに記載の手術支援システム。
【請求項１０】
カメラと、プロジェクタと、被投影対象の表面に設置されるレジストレーショントラッカーと、画像処理装置と、を備え、
前記画像処理装置は、
前記カメラから見た３次元座標系を設定するカメラ座標系設定機能部と、
前記プロジェクタから見た３次元座標系を設定するプロジェクタ座標系設定機能部と、
前記カメラとプロジェクタとの位置関係と、前記カメラ座標系のレジストレーショントラッカー情報と、に基づいて、前記プロジェクタ座標系のレジストレーショントラッカー情報を取得するレジストレーショントラッカー情報変換機能部と、
予め取得された事前画像座標系のレジストレーショントラッカー情報と事前画像座標系のターゲット情報とを入力する事前画像入力機能部と、
前記事前画像座標系のレジストレーショントラッカー情報と事前画像座標系のターゲット情報との位置関係と、前記プロジェクタ座標系のレジストレーショントラッカー情報と、に基づいて、プロジェクタ座標系のターゲット情報を取得するターゲット撮影画像取得機能部と、
プロジェクタ座標系のターゲット情報を３次元座標から２次元座標に変換する次元変換機能部と、
を有する
ことを特徴とするプロジェクタシステム。
【請求項１１】
３次元医療画像取得と同時に取得可能な立体形状を有するレジストレーショントラッカーを用い、
該立体形状は、複数の平面を含み、
該平面には、該カメラで撮影可能な複数のマーカ点が設けられ、
該マーカ点間の位置関係は既知であり、
該レジストレーショントラッカーにおける該マーカ点の位置関係は既知であり、
医療画像作成装置が、ターゲットに係る３次元医療画像作成と同時に第２レジストレーショントラッカー情報を作成し、
カメラとプロジェクタとを含む可搬式ユニットと、被投影対象の表面に設置されたレジストレーショントラッカーと、画像処理装置と、を備える手術支援システムを用い、
前記カメラとプロジェクタとの位置関係は既知であり、
前記可搬式ユニットが、被投影対象に対応するように設置され、
前記カメラが、被投影対象の表面に設置されたレジストレーショントラッカーを撮影し、
前記画像処理装置が、
前記カメラによるレジストレーショントラッカーの撮影画像から取得された第１レジストレーショントラッカー情報と、
予め３次元医療画像を取得するときと同時に取得された第２レジストレーショントラッカー情報と、
に基づいて、レジストレーションを行い、
被投影対象内部にあるターゲットに関する画像情報であるターゲット情報を取得し、
前記プロジェクタが、前記ターゲット情報に基づいて、ターゲット画像を被投影対象に投影する
ことを特徴とする医療画像投影方法。
【請求項１２】
医療画像作成装置が、医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報とを予め作成し、
カメラと、プロジェクタと、被投影対象の表面に設置されたレジストレーショントラッカーと、画像処理装置と、を備える手術支援システムのうち、該カメラと該プロジェクタとを含むユニットが、被投影対象に対応するように設置され、
前記カメラが、被投影対象の表面に設置されたレジストレーショントラッカーを撮影し、
前記画像処理装置が、
前記カメラによるレジストレーショントラッカーの撮影画像に基づいて、前記カメラ座標系のレジストレーショントラッカー情報を取得し、
前記カメラとプロジェクタとの位置関係と、前記カメラ座標系のレジストレーショントラッカー情報と、に基づいて、前記プロジェクタ座標系のレジストレーショントラッカー情報を取得し、
前記医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報との位置関係と、前記プロジェクタ座標系のレジストレーショントラッカー情報と、に基づいて、プロジェクタ座標系のターゲット情報を取得し、
プロジェクタ座標系のターゲット情報を３次元座標から２次元座標に変換し、
前記プロジェクタが、前記２次元ターゲット情報に基づいて、ターゲット画像を被投影対象に投影する
ことを特徴とする医療画像投影方法。
【請求項１３】
前記カメラと該プロジェクタとを含むユニットが移動され、
前記ユニット移動の度に、
前記カメラによる撮影と、前記画像処理装置による画像処理と、前記プロジェクタによる投影と、が繰り返される
ことを特徴とする請求項１１または１２記載の医療画像投影方法。
【手続補正書】
【提出日】平成27年6月29日(2015.6.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラとプロジェクタとを含み投影中も移動可能なユニットと、被投影対象の表面に設置されるレジストレーショントラッカーと、画像処理装置と、を備え、
前記カメラとプロジェクタとの位置関係は既知であり、
前記レジストレーショントラッカーは、３次元医療画像取得と同時に取得可能な立体形状を有し、
該立体形状は、複数の平面を含み、
該複数の平面のうち２以上の平面には、該カメラで撮影可能な複数のマーカ点が設けられ、
該マーカ点間の位置関係は既知であり、
該レジストレーショントラッカーにおける該マーカ点の位置関係は既知であり、
前記画像処理装置は、
前記カメラによるレジストレーショントラッカーの撮影画像から取得された第１レジストレーショントラッカー情報と、
予め３次元医療画像を取得するときと同時に取得された第２レジストレーショントラッカー情報と、
に基づいて、レジストレーションを行い、
前記プロジェクタが被投影対象に投影するためのターゲット情報を取得し、
プロジェクタ座標系のターゲット情報を３次元座標から２次元座標に変換する
ことを特徴とする手術支援システム。
【請求項２】
カメラと、プロジェクタと、被投影対象の表面に設置されるレジストレーショントラッカーと、画像処理装置と、を備え、
前記画像処理装置は、
前記カメラから見た３次元座標系を設定するカメラ座標系設定機能部と、
前記プロジェクタから見た３次元座標系を設定するプロジェクタ座標系設定機能部と、
前記カメラとプロジェクタとの位置関係と、前記カメラ座標系のレジストレーショントラッカー情報と、に基づいて、前記プロジェクタ座標系のレジストレーショントラッカー情報を取得するレジストレーショントラッカー情報変換機能部と、
予め取得された医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報とを入力する医療画像入力機能部と、
前記医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報との位置関係と、前記プロジェクタ座標系のレジストレーショントラッカー情報と、に基づいて、プロジェクタ座標系のターゲット情報を取得するターゲット撮影画像取得機能部と、
プロジェクタ座標系のターゲット情報を３次元座標から２次元座標に変換する次元変換機能部と、
を有する
ことを特徴とする手術支援システム。
【請求項３】
前記カメラは、前記レジストレーショントラッカーを撮影し、
前記画像処理装置は、
前記カメラによるレジストレーショントラッカーの撮影画像に基づいて、前記カメラ座標系のレジストレーショントラッカー情報を取得するレジストレーショントラッカー撮影機能部
を有する
ことを特徴とする請求項１または２記載の手術支援システム。
【請求項４】
前記レジストレーショントラッカーにはレジストレーションマーカが設けられ、
前記カメラは、前記レジストレーションマーカを撮影し、
前記画像処理装置は、
レジストレーションマーカの撮影画像に基づいて、前記カメラ座標系のレジストレーションマーカ情報を取得し、前記レジストレーショントラッカーとレジストレーションマーカとの位置関係と、前記カメラ座標系のレジストレーションマーカ情報と、に基づいて、前記カメラ座標系のレジストレーショントラッカー情報を取得するレジストレーションマーカ撮影機能部
を有する
ことを特徴とする請求項１または２記載の手術支援システム。
【請求項５】
前記プロジェクタは、前記ターゲット情報に基づいて、被投影対象内部にあるターゲットに関する画像であるターゲット画像を被投影対象に投影する
ことを特徴とする請求項１または２記載の手術支援システム。
【請求項６】
前記医療画像座標系のレジストレーショントラッカー情報は、該レジストレーショントラッカーが被投影対象の表面の所定位置に設置された状態で取得される
ことを特徴とする請求項１または２記載の手術支援システム。
【請求項７】
前記カメラとプロジェクタとを含むユニットを移動するユニット移動機構
を更に備える
ことを特徴とする請求項１〜６いずれかに記載の手術支援システム。
【請求項８】
前記レジストレーショントラッカーは多面体である
ことを特徴とする請求項１〜７いずれかに記載の手術支援システム。
【請求項９】
前記画像処理装置は、
前記カメラの移動を検出すると、繰り返し制御指令を出力する移動検出機能部
を有する
ことを特徴とする請求項１〜８いずれかに記載の手術支援システム。
【請求項１０】
カメラと、プロジェクタと、被投影対象の表面に設置されるレジストレーショントラッカーと、画像処理装置と、を備え、
前記画像処理装置は、
前記カメラから見た３次元座標系を設定するカメラ座標系設定機能部と、
前記プロジェクタから見た３次元座標系を設定するプロジェクタ座標系設定機能部と、
前記カメラとプロジェクタとの位置関係と、前記カメラ座標系のレジストレーショントラッカー情報と、に基づいて、前記プロジェクタ座標系のレジストレーショントラッカー情報を取得するレジストレーショントラッカー情報変換機能部と、
予め取得された事前画像座標系のレジストレーショントラッカー情報と事前画像座標系のターゲット情報とを入力する事前画像入力機能部と、
前記事前画像座標系のレジストレーショントラッカー情報と事前画像座標系のターゲット情報との位置関係と、前記プロジェクタ座標系のレジストレーショントラッカー情報と、に基づいて、プロジェクタ座標系のターゲット情報を取得するターゲット撮影画像取得機能部と、
プロジェクタ座標系のターゲット情報を３次元座標から２次元座標に変換する次元変換機能部と、
を有する
ことを特徴とするプロジェクタシステム。
【請求項１１】
３次元医療画像取得と同時に取得可能な立体形状を有するレジストレーショントラッカーを用い、
該立体形状は、複数の平面を含み、
該複数の平面のうち２以上の平面には、該カメラで撮影可能な複数のマーカ点が設けられ、
該マーカ点間の位置関係は既知であり、
該レジストレーショントラッカーにおける該マーカ点の位置関係は既知であり、
医療画像作成装置が、ターゲットに係る３次元医療画像作成と同時に第２レジストレーショントラッカー情報を作成し、
カメラとプロジェクタとを含み投影中も移動可能なユニットと、被投影対象の表面に設置されたレジストレーショントラッカーと、画像処理装置と、を備える手術支援システムを用い、
前記カメラとプロジェクタとの位置関係は既知であり、
前記ユニットが、被投影対象に対応するように設置され、
前記カメラが、被投影対象の表面に設置されたレジストレーショントラッカーを撮影し、
前記画像処理装置が、
前記カメラによるレジストレーショントラッカーの撮影画像から取得された第１レジストレーショントラッカー情報と、
予め３次元医療画像を取得するときと同時に取得された第２レジストレーショントラッカー情報と、
に基づいて、レジストレーションを行い、
被投影対象内部にあるターゲットに関する画像情報であるターゲット情報を取得し、
プロジェクタ座標系のターゲット情報を３次元座標から２次元座標に変換し、
前記プロジェクタが、前記２次元座標のターゲット情報に基づいて、ターゲット画像を被投影対象に投影する
ことを特徴とする医療画像投影方法。
【請求項１２】
医療画像作成装置が、医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報とを予め作成し、
カメラと、プロジェクタと、被投影対象の表面に設置されたレジストレーショントラッカーと、画像処理装置と、を備える手術支援システムのうち、該カメラと該プロジェクタとを含むユニットが、被投影対象に対応するように設置され、
前記カメラが、被投影対象の表面に設置されたレジストレーショントラッカーを撮影し、
前記画像処理装置が、
前記カメラによるレジストレーショントラッカーの撮影画像に基づいて、前記カメラ座標系のレジストレーショントラッカー情報を取得し、
前記カメラとプロジェクタとの位置関係と、前記カメラ座標系のレジストレーショントラッカー情報と、に基づいて、前記プロジェクタ座標系のレジストレーショントラッカー情報を取得し、
前記医療画像座標系のレジストレーショントラッカー情報と医療画像座標系のターゲット情報との位置関係と、前記プロジェクタ座標系のレジストレーショントラッカー情報と、に基づいて、プロジェクタ座標系のターゲット情報を取得し、
プロジェクタ座標系のターゲット情報を３次元座標から２次元座標に変換し、
前記プロジェクタが、前記２次元ターゲット情報に基づいて、ターゲット画像を被投影対象に投影する
ことを特徴とする医療画像投影方法。
【請求項１３】
前記カメラと該プロジェクタとを含むユニットが移動され、
前記ユニット移動の度に、
前記カメラによる撮影と、前記画像処理装置による画像処理と、前記プロジェクタによる投影と、が繰り返される
ことを特徴とする請求項１１または１２記載の医療画像投影方法。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2015162665.tif 000017
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図１０】
2015162665.tif 000018
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2015162665.tif 000019
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2015162665.tif 000020
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2015162665.tif 000021
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
2015162665.tif 000022
【国際調査報告】
2015162665.tif 000023
2015162665.tif 000024
2015162665.tif 000025
2015162665.tif 000026