(57)【特許請求の範囲】
【請求項１】
任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識するスクリーン認識部と、
前記スクリーン認識部によって認識された前記スクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像を前記スクリーン上に投影する投影部と、
前記スクリーン認識部によって認識された、前記スクリーンの３次元空間上の姿勢変更又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、前記３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像処理部とを備え、
前記３次元画像処理部が、前記スクリーンの３次元空間上の姿勢変更に基づいて、前記３次元画像処理のパラメータを変更することによって、前記３次元画像に対して回転処理を施す３次元画像投影装置。
【請求項２】
前記３次元画像処理部が、前記スクリーンの３次元空間上の姿勢変更に基づいて前記３次元画像処理のパラメータを変更することによって、前記３次元画像の投影像の姿勢を変更する請求項１記載の３次元画像投影装置。
【請求項３】
前記回転処理が、前記スクリーンの投影面に対応する前記３次元画像の座標系の面内において延びる直線を回転軸とした回転処理である請求項１又は２記載の３次元画像投影装置。
【請求項４】
前記スクリーンが移動した場合、前記スクリーン認識部が、前記移動後のスクリーンの位置を認識し、
前記投影部が、前記移動後のスクリーンに対して前記投影像を投影する請求項１から３いずれか１項記載の３次元画像投影装置。
【請求項５】
前記スクリーン認識部が、前記スクリーンに設けられたマーカを検出することによって、前記スクリーンの位置および３次元空間上の姿勢を認識する請求項１から４いずれか１項記載の３次元画像投影装置。
【請求項６】
前記スクリーン認識部が、前記スクリーン自体を検出することによって、前記スクリーンの位置および３次元空間上の姿勢を認識する請求項１から４いずれか１項記載の３次元画像投影装置。
【請求項７】
任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識するスクリーン認識部と、
前記スクリーン認識部によって認識された前記スクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像を前記スクリーン上に投影する投影部と、
前記スクリーン認識部によって認識された、前記スクリーンの３次元空間上の姿勢変更又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、前記３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像処理部とを備え、
前記投影部が、前記スクリーン上に操作マーカの投影像を投影し、
前記スクリーン認識部が、前記操作マーカの投影像の変化を認識し、
前記３次元画像処理部が、前記スクリーン認識部によって前記操作マーカの投影像の変化が認識された場合に、前記３次元画像処理のパラメータを変更する３次元画像投影装置。
【請求項８】
任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識するスクリーン認識部と、
前記スクリーン認識部によって認識された前記スクリーンの位置に基づいて、ボリュームレンダリングによって被検体を撮影した３次元画像を投影した投影像を前記スクリーン上に投影する投影部と、
前記スクリーン認識部によって認識された、前記スクリーンの３次元空間上の姿勢変更又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、前記３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像処理部とを備え、
前記スクリーン認識部が、さらに、前記スクリーンに投影された３次元画像の投影像の変化を認識し、
前記３次元画像処理部が、前記スクリーン認識部によって前記３次元画像の投影像の所定の領域の変化が認識された場合に、前記３次元画像処理のボリュームレンダリングを行う際の透過度のパラメータを変更することによって、前記３次元画像の前記領域に関連する領域の透過度を変更する３次元画像投影装置。
【請求項９】
前記領域は肝臓領域であり、
前記関連する領域は、肝臓領域又は血管領域である請求項８記載の３次元画像投影装置。
【請求項１０】
前記投影部が、該投影部の投影範囲を示す指標を投影する請求項１から９いずれか１項記載の３次元画像投影装置。
【請求項１１】
前記スクリーンを撮影する撮影部を有し、
前記スクリーン認識部が、前記撮影部によって撮影された画像に基づいて、前記スクリーンの位置および３次元空間上の姿勢を認識するものである請求項１から１０いずれか１項記載の３次元画像投影装置。
【請求項１２】
前記投影部と前記撮影部の配置関係が予め固定されている請求項１１記載の３次元画像投影装置。
【請求項１３】
前記投影部と前記撮影部が、前記投影部と前記撮影部の光軸が一致し、かつ前記投影部と前記撮影部の画角が一致する配置関係である請求項１２記載の３次元画像投影装置。
【請求項１４】
前記撮影部および前記投影部の位置又は姿勢が変更可能に構成されている請求項１２又は１３記載の３次元画像投影装置。
【請求項１５】
前記投影部が、１つの投影範囲内に設置された複数の前記スクリーンに前記投影像をそれぞれ投影する請求項１から１４いずれか１項記載の３次元画像投影装置。
【請求項１６】
前記投影部が、前記複数のスクリーンに対してそれぞれ異なる前記投影像を投影する請求項１５記載の３次元画像投影装置。
【請求項１７】
前記投影部が、前記３次元画像の投影像として、手術用シミュレーション画像の投影像又は治療情報を含む画像の投影像を前記スクリーン上に投影する請求項１から１６いずれか１項記載の３次元画像投影装置。
【請求項１８】
前記投影部が、前記スクリーン上にバイタル情報を投影する請求項１から１７いずれか１項記載の３次元画像投影装置。
【請求項１９】
３次元画像投影装置が、
スクリーン認識部により、任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識し、
投影部制御部により、前記認識したスクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像を前記スクリーン上に投影し、
３次元画像処理部により、前記認識したスクリーンの３次元空間上の姿勢変更又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、前記３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像投影方法であって、
前記３次元画像処理部が、前記スクリーンの３次元空間上の姿勢変更に基づいて、前記３次元画像処理のパラメータを変更することによって、前記３次元画像に対して回転処理を施す３次元画像投影装置の作動方法。
【請求項２０】
コンピュータを、
任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識するスクリーン認識部と、
投影部を制御することによって、前記スクリーン認識部によって認識された前記スクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像を前記スクリーン上に投影させる投影部制御部と、
前記スクリーン認識部によって認識された前記スクリーンの３次元空間上の姿勢変更又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、前記３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像処理部として機能させる３次元画像投影制御プログラムであって、
前記３次元画像処理部が、前記スクリーンの３次元空間上の姿勢変更に基づいて、前記３次元画像処理のパラメータを変更することによって、前記３次元画像に対して回転処理を施す３次元画像投影制御プログラム。
【請求項２１】
３次元画像投影装置が、
スクリーン認識部により、任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識し、
投影部により、前記スクリーン認識部によって認識された前記スクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像を前記スクリーン上に投影し、
３次元画像処理部により、前記スクリーン認識部によって認識された、前記スクリーンの３次元空間上の姿勢変更又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、前記３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像投影方法であって、
前記投影部が、前記スクリーン上に操作マーカの投影像を投影し、
前記スクリーン認識部が、前記操作マーカの投影像の変化を認識し、
前記３次元画像処理部が、前記スクリーン認識部によって前記操作マーカの投影像の変化が認識された場合に、前記３次元画像処理のパラメータを変更する３次元画像投影装置の作動方法。
【請求項２２】
コンピュータを、
任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識するスクリーン認識部と、
前記スクリーン認識部によって認識された前記スクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像を前記スクリーン上に投影する投影部と、
前記スクリーン認識部によって認識された、前記スクリーンの３次元空間上の姿勢変更又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、前記３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像処理部として機能させる３次元画像投影制御プログラムであって、
前記投影部が、前記スクリーン上に操作マーカの投影像を投影し、
前記スクリーン認識部が、前記操作マーカの投影像の変化を認識し、
前記３次元画像処理部が、前記スクリーン認識部によって前記操作マーカの投影像の変化が認識された場合に、前記３次元画像処理のパラメータを変更する３次元画像投影制御プログラム。
【請求項２３】
３次元画像投影装置が、
スクリーン認識部により、任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識し、
投影部により、前記スクリーン認識部によって認識された前記スクリーンの位置に基づいて、ボリュームレンダリングによって被検体を撮影した３次元画像を投影した投影像を前記スクリーン上に投影し、
３次元画像処理部により、前記スクリーン認識部によって認識された、前記スクリーンの３次元空間上の姿勢変更又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、前記３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像投影方法であって、
前記スクリーン認識部が、さらに、前記スクリーンに投影された３次元画像の投影像の変化を認識し、
前記３次元画像処理部が、前記スクリーン認識部によって前記３次元画像の投影像の所定の領域の変化が認識された場合に、前記３次元画像処理のボリュームレンダリングを行う際の透過度のパラメータを変更することによって、前記３次元画像の前記領域に関連する領域の透過度を変更する３次元画像投影装置の作動方法。
【請求項２４】
コンピュータを、
任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識するスクリーン認識部と、
前記スクリーン認識部によって認識された前記スクリーンの位置に基づいて、ボリュームレンダリングによって被検体を撮影した３次元画像を投影した投影像を前記スクリーン上に投影する投影部と、
前記スクリーン認識部によって認識された、前記スクリーンの３次元空間上の姿勢変更又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、前記３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像処理部として機能させる３次元画像投影制御プログラムであって、
前記スクリーン認識部が、さらに、前記スクリーンに投影された３次元画像の投影像の変化を認識し、
前記３次元画像処理部が、前記スクリーン認識部によって前記３次元画像の投影像の所定の領域の変化が認識された場合に、前記３次元画像処理のボリュームレンダリングを行う際の透過度のパラメータを変更することによって、前記３次元画像の前記領域に関連する領域の透過度を変更する３次元画像投影制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予め撮影された被検体の３次元画像の投影像をスクリーン上に投影する３次元画像投影装置および方法並びに３次元画像投影制御プログラムに関するものである。
【背景技術】
【０００２】
近年、手術対象となる患者を撮影した３次元画像から構成した臓器モデルを術前の手術計画の際に盛んに用いられるようになってきた。さらに、術前計画の際に作成した患者の臓器モデルを術中にも参照したいという要望があり、手術室のモニタにその患者の臓器モデルを表示する方法などが用いられることがある。しかしながら、この場合、術者は、その患者の患部とモニタの間で視線を移すという作業が余計に必要になってしまう。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−１１７４４６号公報
【特許文献２】特開２００８−２４２０８７号公報
【特許文献３】特開２００７−２６４３３４号公報
【特許文献４】特開２００７−２６４３３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
そこで、術前に手術対象となる患者の３次元画像から作成した臓器モデルをプロジェクタにより患者の臓器に直接重ね合わせて参照する方法が提案されてきている。【０００５】
しかしながら、複雑な形状で様々な色を含む術野の上に、臓器モデルの投影像を直接投影する場合、投影像を正しく把握することが困難な場合もある。【０００６】
そこで、たとえば特許文献１に記載のように、ベッドの上に寝ている患者の上にスクリーンを設置し、そのスクリーン上に投影像を投影する方法が考えられる。【０００７】
しかしながら、上述したようにスクリーンに投影像を投影するようにした場合、たとえばスクリーンに表示された３次元画像の投影像の姿勢を変更して観察したい場合、３次元画像に対して姿勢変更のための３次元画像処理を施すために、３次元画像処理を行う装置においてパラメータの変更指示などを入力する必要がある。このようなパラメータの変更指示を装置に対して手動で設定入力することは、執刀医だけでなく、その他の補助者などであっても衛生上の問題がある。すなわち、執刀医または補助者が、３次元画像処理を行う装置に触れることで汚染される可能性がある。【０００８】
また、手術中という限られた時間の中で、３次元画像処理を行う装置に対してパラメータの設定変更入力を行うことは、操作が煩雑であり、時間も要する問題がある。【０００９】
なお、特許文献２〜特許文献３には、スクリーン上の画像を投影するプロジェクタに関する内容が開示されているが、上述したように、３次元画像の投影像をスクリーン上に投影する場合における３次元画像処理のパラメータの変更については何も提案されていない。【００１０】
本発明は、上記事情に鑑み、スクリーン上に３次元画像の投影像を投影する場合において、衛生上問題なく、かつ簡易に３次元画像処理のパラメータを変更することができる３次元画像投影装置および方法並びに３次元画像投影制御プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
本発明の３次元画像投影装置は、任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識するスクリーン認識部と、スクリーン認識部によって認識されたスクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像をスクリーン上に投影する投影部と、スクリーン認識部によって認識された、スクリーンの３次元空間上の姿勢変化又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像処理部とを備える。【００１２】
また、上記本発明の３次元画像投影装置において、３次元画像処理部は、スクリーンの３次元空間上の姿勢に基づいて３次元画像処理のパラメータを変更することによって、３次元画像の投影像の姿勢を変更することができる。【００１３】
また、上記本発明の３次元画像投影装置において、３次元画像処理部は、スクリーンの３次元空間上の姿勢に基づいて、３次元画像処理のパラメータを変更することによって、３次元画像に対して回転処理を施すことができる。【００１４】
また、上記本発明の３次元画像投影装置において、回転処理は、スクリーンの投影面に対応する３次元画像の座標系の面内において延びる直線を回転軸とした回転処理とすることができる。【００１５】
また、上記本発明の３次元画像投影装置においては、スクリーンが移動した場合、スクリーン認識部が、移動後のスクリーンの位置を認識し、投影部は、移動後のスクリーンに対して投影像を投影することができる。【００１６】
また、上記本発明の３次元画像投影装置において、スクリーン認識部は、スクリーンに設けられたマーカを検出することによって、スクリーンの位置および３次元空間上の姿勢を認識することができる。【００１７】
また、上記本発明の３次元画像投影装置において、スクリーン認識部は、スクリーン自体を検出することによって、スクリーンの位置および３次元空間上の姿勢を認識することができる。【００１８】
また、上記本発明の３次元画像投影装置において、スクリーン認識部は、スクリーンに投影された３次元画像の投影像の変化を認識し、３次元画像処理部は、スクリーン認識部によって３次元画像の投影像の変化が認識された場合に、３次元画像処理のパラメータを変更することができる。【００１９】
また、上記本発明の３次元画像投影装置において、投影部は、スクリーン上に操作マーカの投影像を投影し、スクリーン認識部は、操作マーカの投影像の変化を認識し、３次元画像処理部は、スクリーン認識部によって操作マーカの投影像の変化が認識された場合に、３次元画像処理のパラメータを変更することができる。【００２０】
また、上記本発明の３次元画像投影装置において、３次元画像処理部は、３次元画像処理のパラメータを変更することによって、３次元画像の透過度を変更することができる。【００２１】
また、上記本発明の３次元画像投影装置において、投影部は、投影部の投影範囲を示す指標を投影することができる。【００２２】
また、上記本発明の３次元画像投影装置においては、スクリーンを撮影する撮影部を有し、スクリーン認識部は、撮影部によって撮影された画像に基づいて、スクリーンの位置および３次元空間上の姿勢を認識することができる。【００２３】
また、上記本発明の３次元画像投影装置においては、投影部と撮影部の配置関係が予め固定されていることが好ましい。【００２４】
また、上記本発明の３次元画像投影装置において、投影部と撮影部は、投影部と撮影部の光軸が一致し、かつ投影部と撮影部の画角が一致する配置関係であることが好ましい。【００２５】
また、上記本発明の３次元画像投影装置においては、撮影部および投影部の位置または姿勢を変更可能に構成することができる。【００２６】
また、上記本発明の３次元画像投影装置において、投影部は、１つの投影範囲内に設置された複数のスクリーンに投影像をそれぞれ投影することができる。【００２７】
また、上記本発明の３次元画像投影装置において、投影部は、複数のスクリーンに対してそれぞれ異なる投影像を投影することができる。【００２８】
また、上記本発明の３次元画像投影装置において、投影部は、３次元画像の投影像として、手術用シミュレーション画像の投影像または治療情報を含む画像の投影像をスクリーン上に投影することができる。【００２９】
また、上記本発明の３次元画像投影装置において、投影部は、スクリーン上にバイタル情報を投影することができる。【００３０】
本発明の３次元画像投影方法は、任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識し、その認識したスクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像をスクリーン上に投影し、その認識したスクリーンの３次元空間上の姿勢変化又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、３次元画像に対して施される３次元画像処理のパラメータを変更する。【００３１】
本発明の３次元画像投影制御プログラムは、コンピュータを、任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識するスクリーン認識部と、投影部を制御することによって、スクリーン認識部によって認識されたスクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像をスクリーン上に投影させる投影部制御部と、スクリーン認識部によって認識されたスクリーンの３次元空間上の姿勢変化又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、３次元画像に対して施される３次元画像処理のパラメータを変更する３次元画像処理部として機能させる。
【発明の効果】
【００３２】
本発明の３次元画像投影装置および方法並びに３次元画像投影制御プログラムによれば、任意に設置されたスクリーンの位置および３次元空間上の姿勢を認識し、その認識したスクリーンの位置に基づいて、被検体を撮影した３次元画像の投影像をスクリーン上に投影し、その認識したスクリーンの３次元空間上の姿勢変化又は前記スクリーン上に投影された３次元画像の投影像の変化に基づいて、３次元画像に対して施される３次元画像処理のパラメータを変更するようにしたので、ユーザが３次元画像処理を行う装置に直接触れる必要がなく、衛生上問題なく、かつ簡易に３次元画像処理のパラメータを変更することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の３次元画像投影装置の一実施形態を用いた医用画像投影システムの使用状況を説明するための図
【図２】スクリーン上に投影される投影像の一例を示す図
【図３】医用画像投影システムの概略構成を示すブロック図
【図４】スクリーンの構成およびスクリーンの姿勢変更について説明するための図
【図５】スクリーンに設けられたマーカに基づく、スクリーンの位置変更の認識について説明するための図
【図６】スクリーンに設けられたマーカに基づく、スクリーンの姿勢変更の認識について説明するための図
【図７】３次元画像の回転処理を説明するための図
【図８】プロジェクタ装置の概略構成を示す図
【図９】本発明の３次元画像投影装置の一実施形態を用いた医用画像投影システムの作用を説明するためのフローチャート
【図１０】投影部の投影範囲を示す指標を投影する例を説明するための図
【図１１】３次元画像の投影像の変化を認識して３次元画像処理のパラメータを変更する例を説明するための図
【図１２】操作マーカの投影像の変化を認識して３次元画像処理のパラメータを変更する例を説明するための図
【図１３】１つの投影範囲内に設置された複数のスクリーンに対してそれぞれ投影像を投影する例を説明するための図
【発明を実施するための形態】
【００３４】
以下、図面を参照して本発明の３次元画像投影装置の一実施形態を用いた医用画像投影システムについて説明する。図１は、本実施形態の医用画像投影システムの使用状況を説明するための図である。
【００３５】
本実施形態の医用画像投影システムは、図１に示すように、術野近傍などに任意に配置されたスクリーンＳ上に、手術対象となる患者の臓器の３次元画像を、プロジェクタ装置３によって投影するものである。本実施形態の医用画像投影システムは、たとえば手術前において、カンファレンスの代表者である執刀医Ｄが、参加者Ａ１〜Ａ４に対して手術に関する各種説明を行う状況などにおいて使用される。図２は、スクリーンＳ上に表示される臓器の３次元画像の一例を示す図である。図２に示すように、たとえば患者の肝臓の手術が行われる場合には、スクリーンＳ上に、その患者の予め撮影された肝臓Ｌの３次元画像６が表示される。なお、スクリーンＳに設けられたマーカＭ１〜Ｍ４については、後で詳述する。
【００３６】
図３は、本実施形態の医用画像投影システムの概略構成を示すブロック図である。本実施形態の医用画像投影システムは、具体的には、図３に示すように、３次元画像投影制御装置１と、医用画像保管サーバ２と、プロジェクタ装置３と、入力装置４とを備えている。
【００３７】
３次元画像投影制御装置１は、コンピュータに本実施形態の３次元画像投影制御プログラムをインストールしたものである。 
【００３８】
３次元画像投影制御装置１は、中央処理装置（ＣＰＵ（central processing unit））
、半導体メモリ、およびハードディスクやＳＳＤ(Solid State Drive)等のストレージデバイスを備えている。ストレージデバイスには、本実施形態の３次元画像投影制御プログラムがインストールされており、この３次元画像投影制御プログラムが中央処理装置によって実行されることによって、図３に示す３次元画像取得部１０、３次元画像処理部１１、スクリーン認識部１２および制御部１３（本発明の投影部制御部に相当する）が動作する。
【００３９】
３次元画像投影制御プログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、３次元画像投影制御プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。
【００４０】
３次元画像取得部１０は、予め撮影された患者（被検体）の３次元画像６を取得するものである。３次元画像６は、たとえばＣＴ（Computed Tomography）装置やＭＲＩ（Magnetic Resonance Imaging）装置などによって撮影して得られたボリュームデータに対して、たとえばボリュームレンダリングまたはサーフェスレンダリングを施すことによって生成されたものである。本実施形態では、患者の肝臓の３次元画像６を取得する場合について説明するが、これに限らず、肺、心臓および頭部などその他の臓器でもよい。
【００４１】
３次元画像６は、医用画像保管サーバ２に患者の識別情報とともに予め保管されており、３次元画像取得部１０は、入力装置４などを用いてユーザによって入力された患者の識別情報に基づいて、その識別情報を有する３次元画像６を医用画像保管サーバ２から読み出して一時記憶するものである。
【００４２】
３次元画像処理部１１は、３次元画像取得部１０によって取得された３次元画像６に対して３次元画像処理を施すものである。本実施形態の３次元画像処理部１１は、３次元画像処理のパラメータを変更することによって３次元画像処理を施すものである。具体的には、３次元画像処理部１１は、３次元画像６の視線方向のパラメータを変更することによって回転処理を施して３次元画像６の姿勢を変更する。また、３次元画像処理部１１は、ボリュームレンダリングまたはサーフェスレンダリングを行う際の透過度のパラメータを変更したり、３次元画像６の一部にハイライト処理を施したりするものである。なお、３次元画像処理としては、これらの処理に限らず、その他の公知な処理を施すようにしてもよい。
【００４３】
そして、３次元画像処理部１１は、最初は、初期設定のパラメータを用いて３次元画像処理を施し、その後、スクリーンＳの３次元空間上の姿勢が変更された場合には、その変更に応じて、３次元画像処理のパラメータを変更するものである。なお、スクリーンＳの３次元空間上の姿勢の変更とは、最初のスクリーンＳの３次元画像６の投影面を初期基準面とした場合に、少なくともその初期基準面に対するスクリーンＳの投影面の傾きの変更を含むものとする。
【００４４】
スクリーン認識部１２は、任意に設置されたスクリーンＳの位置および３次元空間上の姿勢を認識するものである。スクリーン認識部１２は、プロジェクタ装置３における後述する撮影部３１によって撮影されたスクリーンＳの画像に基づいて、スクリーンＳの位置および３次元空間上の姿勢を認識するものである。
【００４５】
スクリーンＳは、図４に示すように矩形状に形成された平板であり、その４隅には、マーカＭ１〜Ｍ４が設けられている。マーカＭ１〜Ｍ４は、図４に示すように矩形状でもよいし、十字状などその他の形状でもよい。
【００４６】
そして、スクリーン認識部１２は、スクリーンＳに設けられた４つのマーカＭ１〜Ｍ４の配置関係に基づいて、スクリーンＳの位置および３次元空間上の姿勢を認識する。スクリーンＳの位置としては、図４に示すＸ−Ｙ平面内における位置とＺ方向についての位置とがある。なお、本実施形態においては、Ｘ−Ｙ平面は水平面とし、Ｚ方向は鉛直方向とする。また、本実施形態においては、スクリーンＳは、たとえばベッド上に寝ている患者の腹部の上などに設置され、最初は略水平に設置されるものとする。ただし、スクリーンＳの初期の位置および姿勢は、これに限るものではなく、スクリーン認識部１２は、スクリーンＳの初期の位置および姿勢からの変更を認識するものである。
【００４７】
具体的には、スクリーン認識部１２は、スクリーンＳの４つのマーカＭ１〜Ｍ４が、その位置関係を維持しながらＸ−Ｙ平面内を移動した場合には、スクリーンＳが、Ｘ−Ｙ平面内を平行に移動したと認識する。また、スクリーン認識部１２は、図５に示すように、スクリーンＳの４つのマーカＭ１〜Ｍ４が、４つのマーカＭ１〜Ｍ４によって規定される矩形を維持しながら、その矩形の大きさが小さくなったり、もしくは大きくなったりした場合には、スクリーンＳは、Ｚ方向に移動したと認識する。
【００４８】
また、図６に示すように、スクリーンＳの４つのマーカＭ１〜Ｍ４のうち、一端（図６の場合、左端）に並ぶ２つのマーカＭ１とマーカＭ３がその位置関係を維持しながら、他端（図６の場合、右端）に並ぶ２つのマーカＭ２とマーカＭ４との間の距離が、マーカＭ１とマーカＭ３との間の距離よりも短くなった場合には、スクリーンＳは回転したと認識する。具体的には、図４に示すスクリーンＳの中心Ｃを通り、Ｘ方向に延びる直線Ｘ１を回転軸として矢印ＲＸ１方向に回転した認識する。スクリーン認識部１２は、同様にして、４つのマーカＭ１〜Ｍ４の位置関係に基づいて、スクリーンＳの中心Ｃを通り、Ｙ方向に延びる直線Ｙ１を回転軸とした矢印ＲＹ１方向への回転を認識する。また、スクリーン認識部１２は、４つのマーカＭ１〜Ｍ４の位置関係に基づいて、スクリーンＳの中心Ｃを通り、Ｚ方向に延びる直線Ｚ１を回転軸とした矢印ＲＺ１方向への回転を認識する。
【００４９】
なお、本実施形態においては、スクリーンＳに設けられた４つのマーカＭ１〜Ｍ４を用いて、スクリーンＳの位置および３次元空間上の姿勢を認識するようにしたが、必ずしもマーカを設けなくてもよく、たとえばスクリーンＳ自体に基づいて、その位置および３次元空間上の姿勢を認識するようにしてもよい。具体的には、スクリーンＳのエッジを検出し、そのエッジの位置および長さなどに基づいて、スクリーンＳの位置および３次元空間上の姿勢を認識するようにしてもよい。
【００５０】
また、本実施形態においては、スクリーンＳを撮影した画像に基づいて、スクリーンＳの位置および３次元空間上の姿勢を検出するようにしたが、これに限らず、その他の公知な技術を用いて、スクリーンＳの位置および３次元空間上の姿勢を検出するようにしてもよい。具体的には、たとえばスクリーンＳに加速度センサを設け、その加速度センサの検出信号に基づいて、スクリーンＳの位置および３次元空間上の姿勢を認識するようにしてもよい。
【００５１】
そして、上述したように、本実施形態の３次元画像処理部１１は、スクリーンＳの３次元空間上の姿勢が変更された場合には、その変更に応じて、３次元画像処理のパラメータを変更するものである。具体的には、たとえばスクリーンＳが、図４に示す矢印ＲＹ１方向に回転した場合には、その回転に応じて、現在スクリーンＳに投影されている肝臓Ｌの３次元画像６を回転させる。具体的には、図７に示す肝臓Ｌの３次元画像６を、矢印ＲＹ２方向について、スクリーンＳと同じ回転方向および回転角度だけ回転させる。なお、図４に示すスクリーンＳの座標系と図７に示す肝臓Ｌの３次元画像６の座標系とは一致しているものとする。そして、スクリーンＳの中心Ｃと肝臓Ｌの３次元画像６の重心Ｇとが対応しており、図４に示す直線Ｘ１、Ｙ１およびＺ１が、それぞれ図７に示す直線Ｘ２、Ｙ２およびＺ３に対応しているものとする。
【００５２】
また、３次元画像処理部１１は、たとえばスクリーンＳが、図４に示す矢印ＲＸ１方向に回転した場合には、現在スクリーンＳに投影されている肝臓Ｌの３次元画像６を、図７に示す矢印ＲＸ２方向について、スクリーンＳと同じ回転角度だけ回転させる。
【００５３】
このようにスクリーンＳの投影面の傾きに応じて、肝臓Ｌの３次元画像６を回転させることによって、投影面に投影されている３次元画像を、医師などが見たい方向の３次元画像に調整することができる。これにより、複雑に絡み合った血管の下の腫瘍を見やすくすることができる。また、投影像に奥行感が出て見やすくすることができる。
【００５４】
また、スクリーンＳの投影面が水平面に対して傾けられた場合には、その傾き方向に応じて、いわゆる台形処理を３次元画像６に対して施すようにしてもよい。
【００５５】
また、３次元画像処理部１１は、たとえばスクリーンＳが、図４に示す矢印ＲＺ１方向に回転した場合には、現在スクリーンＳに投影されている肝臓Ｌの３次元画像６を、図７に示す矢印ＲＺ２方向について、スクリーンＳと同じ回転角度だけ回転させる。
【００５６】
次に、図３に戻り、制御部１３は、３次元画像投影システム全体の動作を制御するものである。特に、本実施形態の制御部１３は、プロジェクタ装置３の動作を制御するものである。プロジェクタ装置３は、投影部３０および撮影部３１を備えている。
【００５７】
投影部３０は、３次元画像取得部１０によって取得された３次元画像６に基づいて、３次元画像６の投影像をスクリーンＳに投影するものである。投影部３０は、光源、３次元画像６を表示する表示パネル、および投影レンズなどを備えたものである。なお、投影部３０としては、既に公知なものを用いることができる。
【００５８】
投影部３０は、３次元画像６の投影範囲を制御可能に構成されている。そして、スクリーン認識部１２によって認識されたスクリーンＳのＸ−Ｙ平面内の位置情報は制御部１３に出力され、制御部１３は、スクリーンＳのＸ−Ｙ平面内の位置情報に基づいて、投影部３０を制御する。そして、投影部３０は、制御部１３による制御によって３次元画像６の投影範囲を制御し、スクリーンＳ内に３次元画像６の投影像を投影する。
【００５９】
そして、スクリーンＳがＸ−Ｙ平面内において移動した場合には、その移動後のスクリーンＳのＸ−Ｙ平面内での位置がスクリーン認識部１２によって認識され、制御部１３は、その移動後のスクリーンＳのＸ−Ｙ平面内の位置情報に基づいて、投影部３０を制御する。すなわち、投影部３０は、３次元画像６の投影範囲を制御し、移動後のスクリーンＳ内に３次元画像６の投影像を投影する。このように投影部３０は、スクリーンＳの移動に追随させて３次元画像６の投影範囲を設定する。これにより、たとえば医師などのユーザがスクリーンＳを移動させた場合でも、常にスクリーンＳ内に３次元画像６の投影像を投影させることができる。
【００６０】
撮影部３１は、いわゆるビデオカメラであって、ＣＣＤ(Charge Coupled Device)等の撮像素子、レンズおよび撮像素子によって撮像された画像に画質を向上させるための処理を行う画像処理部などを備えている。撮影部３１は、スクリーンＳが設置された手術室内の映像を撮影するものであり、撮影部３１によって撮影された映像は、３次元画像投影制御装置１のスクリーン認識部１２に出力される。スクリーン認識部１２は、入力された映像の各フレームの画像に基づいて、スクリーンＳの位置および３次元空間上の姿勢を認識する。
【００６１】
図８は、プロジェクタ装置３の概略構成を示す図であり、プロジェクタ装置３内における投影部３０と撮影部３１との配置関係を示す図である。図３に示すように、プロジェクタ装置３は、筐体３ａ内に、投影部３０と撮影部３１とビームスプリッタ３２とを配置したものである。ビームスプリッタ３２は、投影部３０から出射された投影像を透過し、スクリーンＳを含む手術室の像を撮影部３１に向けて反射するものである。
【００６２】
投影部３０と撮影部３１とは、ビームスプリッタ３２に対して直交する方向に配置されている。そして、投影部３０と撮影部３１とは、投影部３０の光学系の光軸と撮影部３１の光学系の光軸とが一致し、かつ投影部３０の画角と撮影部３１の画角とが一致する配置関係で、筐体３ａ内に予め固定されている。これにより投影部３０の投影範囲と撮影部３１の撮影範囲をほぼ同じにすることができる。
【００６３】
なお、本実施形態においては、上述したように投影部３０と撮影部３１との配置関係が予め固定されたプロジェクタ装置３を用いるようにしたが、必ずしもこれに限らず、投影部３０と撮影部３１とが別々の装置として構成されていてもよい。
【００６４】
また、本実施形態においては、上述したように投影部３０の投影範囲と撮影部３１の撮影範囲とがほぼ同じになるように構成したが、これに限らず、投影部３０の投影範囲よりも撮影部３１の撮影範囲が広くなるようにしてもよい。このように設定することによって、現在の投影範囲を認識することができる。なお、逆に、撮影部３１の撮影範囲の方が投影部３０の投影範囲よりも狭い場合には、撮影部３１の撮影範囲が、投影部３０の投影範囲とほぼ同じになるか、投影範囲よりも大きくなるようにキャリブレーションを行うことが望ましい。
【００６５】
また、プロジェクタ装置３は、手術室内の天井または壁などに設置されるものであるが、プロジェクタ装置３の位置および姿勢を変更可能に構成するようにしてもよい。プロジェクタ装置３の位置を変更する構成としては、たとえばプロジェクタ装置３を移動させるレール機構などを設けるようにすればよい。また、プロジェクタ装置３の姿勢を変更可能とは、プロジェクタ装置３の投影部３０および撮影部３１の光軸方向を変更可能な構成であることを意味する。プロジェクタ装置３の姿勢を変更可能な構成としては、プロジェクタ装置３の筐体３ａを回動可能に支持する構成など公知な構成を用いることができる。
【００６６】
医用画像保管サーバ２は、各種データを保存して管理するコンピュータであり、大容量記憶装置およびデータベース管理用プログラムを備えている。医用画像保管サーバ２は、予め撮影された３次元画像６などをネットワーク経由でＣＴ装置などの撮影装置から取得し、大容量記憶装置に保存して管理する。
【００６７】
入力装置４は、ユーザによる種々の設定入力を受け付けるものであり、キーボードやマウスなどの入力デバイスを備えたものである。入力装置４は、たとえば患者の識別情報の設定入力などを受け付けるものである。
【００６８】
次に、本実施形態の医用画像投影システムの作用について、図９に示すフローチャートを参照しながら説明する。
【００６９】
まず、ユーザによる患者の識別情報などの設定入力に応じて、患者の臓器の３次元画像６が３次元画像取得部１０によって取得される（Ｓ１０）。本実施形態においては、上述したように肝臓Ｌの３次元画像６が取得される。
【００７０】
そして、３次元画像取得部１０によって取得された肝臓Ｌの３次元画像６は、３次元画像処理部１１において初期設定の３次元画像処理が施された後、制御部１３に出力される。なお、初期設定の３次元画像処理としては、特に何も処理を施さないようにしてもよい。
【００７１】
一方、撮影部３１によって手術室内が撮影され、その映像がスクリーン認識部１２に入力される。スクリーン認識部１２は、入力された映像に基づいて、スクリーンＳの位置を認識する（Ｓ１２）。スクリーン認識部１２によって認識されたスクリーンＳの位置情報は、制御部１３に出力される。
【００７２】
そして、制御部１３は、入力されたスクリーンＳの位置情報と肝臓Ｌの３次元画像とに基づいて、プロジェクタ装置３の投影部３０に制御信号を出力する。投影部３０は、制御部１３の制御によって、手術室内に配置されたスクリーンＳの位置に肝臓Ｌの３次元画像の投影像を投影する（Ｓ１４）。
【００７３】
そして、肝臓Ｌの３次元画像の投影像の投影が開始された後、引き続き撮影部３１によって撮影された映像がスクリーン認識部１２に入力され、スクリーンＳの３次元空間上の姿勢が認識される（Ｓ１６）。
【００７４】
そして、たとえば医師などのユーザがスクリーンＳの投影面を水平面に対して傾けることによって、スクリーンＳの３次元空間上の姿勢が変更された場合には（Ｓ１８，ＹＥＳ）、３次元画像処理部１１は、３次元画像処理のパラメータを変更することによって、スクリーンＳの姿勢に応じた３次元画像処理を肝臓Ｌの３次元画像６に施す（Ｓ２０）。具体的には、本実施形態においては、スクリーンＳの投影面の傾きに応じた回転処理が肝臓Ｌの３次元画像６に施される。
【００７５】
そして、回転処理の施された肝臓Ｌの３次元画像６が、３次元画像処理部１１から制御部１３に出力される。そして、制御部１３の制御によって、投影部３０は、スクリーンＳに投影される３次元画像６の投影像を、回転処理後の３次元画像６の投影像に変更する（Ｓ２２）。なお、Ｓ１８において、スクリーンＳの３次元空間上の姿勢の変更が認識されない間は（Ｓ１８，ＮＯ）、継続して同じ肝臓Ｌの３次元画像６の投影像がスクリーンＳに投影される。
【００７６】
そして、ユーザによって投影部３０による投影終了の指示が入力装置４から入力されたか否かが確認され、投影終了の指示が入力されていない場合には、Ｓ１２に戻り、再びスクリーンＳの位置が認識され、スクリーンＳの位置に肝臓Ｌの３次元画像６の投影像が投影される。スクリーンＳの位置が移動した場合には、その移動後のスクリーンＳの位置に投影像が投影される（Ｓ１４）。そして、再びＳ１６〜Ｓ２４までの処理が繰り返して行われ、スクリーンＳの姿勢に応じた肝臓Ｌの３次元画像６の投影像が、スクリーンＳ上に投影される。
【００７７】
そして、ユーザによって投影部３０による投影終了の指示が入力装置４から入力された場合には（Ｓ２４，ＹＥＳ）、プロジェクタ装置３によるスクリーンＳへの投影像の投影が終了する。
【００７８】
上記実施形態の医用画像投影システムによれば、任意に設置されたスクリーンＳの位置および３次元空間上の姿勢を認識し、その認識したスクリーンＳの位置に基づいて、被検体を撮影した３次元画像６の投影像をスクリーンＳ上に投影し、その認識したスクリーンＳの３次元空間上の姿勢に基づいて、３次元画像６に対して施される３次元画像処理のパラメータを変更するようにしたので、ユーザが３次元画像処理を行う装置に直接触れる必要がなく、衛生上問題なく、かつ簡易に３次元画像処理のパラメータを変更することができる。
【００７９】
なお、上記実施形態においては、スクリーンＳの投影面の傾きに応じて、３次元画像６に対して回転処理を施すようにしたが、たとえばスクリーンＳが、初期の状態から裏返された場合には、肝臓Ｌの３次元画像に対して１８０°の回転処理を施し、肝臓Ｌの裏側が観察できるような投影像を投影するようにしてもよい。スクリーンＳが裏返されたことを認識する方法としては、たとえばスクリーンＳの表側と裏側とに異なるマーカを設けるようにすればよい。
【００８０】
また、上記実施形態において、スクリーン認識部１２が、移動後のスクリーンＳの位置が認識できない場合には、制御部１３が、投影部３０によるスクリーンＳ上への投影像の投影を停止するようにしてもよい。スクリーン認識部１２が、スクリーンＳの位置を認識できない場合とは、撮影部３１によって撮影された画像内にスクリーンＳの画像が含まれなくなった場合である。このようにスクリーンＳ上への投影像の投影を停止することによって、ユーザは、スクリーンＳが、認識不可能な場所に移動したことを把握することができる。
【００８１】
また、上記実施形態においては、投影部３０が、図１０に示すように、その投影範囲Ｒを示す指標を投影するようにしてもよい。投影範囲Ｒを示す指標としては、たとえば投影範囲Ｒを示す枠状の投影像としてもよいし、投影範囲Ｒの４隅のみを示す投影像としてもよい。このように投影範囲Ｒを示す指標を投影することによって、ユーザがスクリーンＳの位置を調整し易くすることができる。
【００８２】
また、上記実施形態においては、スクリーンＳの３次元空間上の姿勢を認識して３次元画像処理のパラメータを変更するようにしたが、さらに、スクリーン認識部１２が、スクリーンＳに投影された３次元画像６の投影像の変化を認識し、３次元画像処理部１１が、スクリーン認識部１２によって３次元画像の投影像の変化が認識された場合に、３次元画像処理のパラメータを変更するようにしてもよい。具体的には、図１１に示すように、たとえばユーザの手Ｈが肝臓Ｌの３次元画像６に触れた場合、肝臓Ｌの３次元画像６の投影像は一部が欠けることになる。この投影像の一部が欠けたことをスクリーン認識部１２が認識し、その情報を３次元画像処理部１１に出力する。そして、３次元画像処理部１１は、上記情報に基づいて、３次元画像処理のパラメータを変更する。たとえば、３次元画像処理部１１は、３次元画像処理のパラメータを変更することによって、肝臓Ｌの３次元画像６に含まれる血管領域Ｂおよび病変を含む支配領域Ａなどを強調表示する。すなわち、ユーザが、スクリーンＳ上に投影された肝臓Ｌの３次元画像６の投影像に手Ｈで触れることによって、血管領域Ｂおよび病変を含む支配領域Ａが強調表示される。なお、血管領域Ｂおよび病変を含む支配領域Ａの情報は、予め取得されているものとする。
【００８３】
また、さらにユーザの手Ｈが、肝臓Ｌの３次元画像６の投影像に触れ続けた場合には、すなわち投影像の一部の欠けの認識が、予め設定された時間以上継続した場合には、血管領域Ｂおよび支配領域Ａ以外の肝臓領域の透過度を変更するようにしてもよい。すなわち、上記肝臓領域の透過度を上げることによって、さらに血管領域Ｂおよび支配領域Ａを観察し易くするようにしてもよい。または、血管領域Ｂおよび支配領域Ａの強調表示後に、ユーザの手Ｈが、肝臓Ｌの３次元画像６の投影像に触れ続けた場合には、血管領域Ｂおよび支配領域Ａ以外の肝臓領域を非表示としてもよい。
【００８４】
なお、上記説明では、投影像の一部の欠けを認識することによって、肝臓Ｌの３次元画像に対して強調処理を施したり、透過度を変更したりするようにしたが、これらの３次元画像処理に限らず、その他の３次元画像処理を施すようにしてもよい。投影像の一部の欠けを認識した場合に３次元画像に対して施される３次元画像処理の種類については、予め設定されているものとする。また、たとえば投影像の一部の欠けを認識した場合に３次元画像に施される３次元画像処理を複数種類設定しておき、その複数種類の３次元画像処理の中からユーザが選択するようにしてもよい。この場合には、その選択画面をスクリーンＳ上に投影し、ユーザが、その選択画面に手で触れたことをスクリーン認識部１２によって認識することによって、所望の３次元画像処理を選択するようにすればよい。
【００８５】
また、上記説明では、ユーザが肝臓Ｌの３次元画像の投影像に触れたことを認識することによって、３次元画像処理のパラメータを変更するようにしたが、これに限らず、たとえば図１２に示すように、スクリーンＳ上に操作マーカＭｋ１〜Ｍｋ３の投影像を投影し、スクリーン認識部１２は、操作マーカＭｋ１〜Ｍｋ３の投影像の変化を認識することによって、３次元画像処理部１１が、３次元画像処理のパラメータを変更するようにしてもよい。具体的には、たとえばユーザが、操作マーカＭｋ１〜Ｍｋ３の投影像のいずれかを手で隠し、これによりスクリーン認識部１２が、操作マーカＭｋ１〜Ｍｋ３の投影像のいずれかが消えたことを認識することによって、３次元画像処理のパラメータを変更するようにしてもよい。たとえば操作マーカＭｋ１の投影像がユーザによって隠された場合には、上述したような血管領域Ｂおよび支配領域Ａの強調処理を施したり、操作マーカＭｋ２の投影像がユーザによって隠された場合には、透過度を変更したりするようにしてもよい。なお、操作マーカとその操作マーカの投影像がユーザによって隠された場合に施される３次元画像処理との関係については、予め設定されているものとする。
【００８６】
また、上記説明では、肝臓Ｌの３次元画像６の投影像の一部をユーザが隠したり、操作マーカＭｋ１〜Ｍｋ３の投影像をユーザが隠したりして、強調処理および透過度の変更を行うようにしたが、これに限らず、スクリーンＳの３次元空間上の姿勢に応じて、強調処理および透過度の変更などを行うようにしてもよい。すなわち、ユーザによってスクリーンＳの投影面が傾けられた場合に、強調処理または透過度の変更などを行うようにしてもよい。この場合、上述したスクリーンＳの３次元空間上の姿勢に応じた肝臓Ｌの３次元画像６の回転処理と重複することになるが、どのような処理を施すかについては、ユーザが予め選択して設定するようにすればよい。また、その選択画面をスクリーンＳ上に投影し、ユーザが、その選択画面に手で触れたことをスクリーン認識部１２によって認識することによって、所望の３次元画像処理を選択するようにしてもよい。
【００８７】
また、上記実施形態においては、１つのスクリーンＳに対して３次元画像６の投影像を投影する場合について説明したが、これに限らず、図１３に示すように、投影部３０が、１つの投影範囲Ｒ内に設置された複数のスクリーンＳ１〜Ｓ４に対して３次元画像６の投影像をそれぞれ投影するようにしてもよい。この場合、各スクリーンＳ１〜Ｓ４に対してそれぞれ投影される投影像は、同じものでもよいし、異なるものでもよい。すなわち、たとえば各スクリーンＳ１〜Ｓ４に対して、上述したような肝臓Ｌの３次元画像６の投影像をそれぞれ投影するようにしてもよいし、執刀医が観察しているスクリーンＳ１のみに肝臓Ｌの３次元画像６の投影像を投影し、執刀医以外の参加者が観察しているスクリーンＳ２〜Ｓ４には、肝臓Ｌの３次元画像６の投影像とは、異なる投影像を投影するようにしてもよい。具体的には、たとえば参加者が観察しているスクリーンＳ２〜Ｓ４には、患者のバイタル情報およびその他の患者情報などを投影するようにしてもよい。
【００８８】
また、上記実施形態においては、スクリーンＳに肝臓Ｌの３次元画像６の投影像を投影するようにしたが、手術前に予めシミュレーションされた手術用シミュレーション画像の投影像をスクリーンＳに投影するようにしてもよい。手術用シミュレーション画像としては、たとえば切除手術などの手術の過程を、３次元画像を用いて予めシミュレーションした一連の画像を用いることができる。また、治療情報を含む画像の投影像をスクリーンＳ上に投影するようにしてもよい。治療情報を含む画像としては、放射線治療を手術前に施す場合において、放射線をどの部位にどの程度照射したかを示す線量分布図を含む３次元画像６などがある。
【００８９】
また、上記実施形態においては、３次元画像６の投影像をスクリーンＳ上に投影するようにしたが、このようなスクリーンＳ上への投影像の投影と、実際の患者の臓器上への投影像とを切り換え可能に構成するようにしてもよい。具体的には、たとえば、上述したような肝臓Ｌの３次元画像６の投影像を投影する場合、実際の患者の肝臓に重ね合わせて観察したい場合には、実際の患者の肝臓上に投影像を投影し、実際の患者の肝臓のみを観察したい場合には、スクリーンＳ上に投影像を投影するようにしてもよい。なお、スクリーンＳへの投影と実際の臓器への投影との切り換えについては、たとえばユーザが入力装置４を用いて行うようにすればよい。また、実際の臓器へ投影する場合、撮影部３１によって撮影された画像に基づいて、臓器の範囲を認識してその範囲に投影像を投影するようにすればよい。撮影された画像に基づく臓器の範囲の認識については、たとえば臓器のエッジ検出などを行えばよいが、その他の公知な手法を用いることができる。
【符号の説明】
【００９０】
１    ３次元画像投影制御装置
２    医用画像保管サーバ
３    プロジェクタ装置
３ａ  筐体
４    入力装置
６    ３次元画像
１０  ３次元画像取得部
１１  ３次元画像処理部
１２  スクリーン認識部
１３  制御部
３０  投影部
３１  撮影部
３２  ビームスプリッタ
Ｃ    スクリーンの中心
Ｄ    執刀医
Ｇ    ３次元画像の重心
Ｈ    手
Ｌ    肝臓
Ｍ１-Ｍ４   マーカ
Ｍｋ１-Ｍｋ３      操作マーカ
Ｒ    投影範囲
Ｓ    スクリーン
Ｓ１-Ｓ４   スクリーン
Ｘ１、Ｘ２，Ｙ１，Ｙ２    直線（回転軸）
ＲＸ１，ＲＸ２，ＲＹ１，ＲＹ２，ＲＺ１，ＲＺ２     回転方向
【図１】
0006628892.tif 000002
【図２】
0006628892.tif 000003
【図３】
0006628892.tif 000004
【図４】
0006628892.tif 000005
【図５】
0006628892.tif 000006
【図６】
0006628892.tif 000007
【図７】
0006628892.tif 000008
【図８】
0006628892.tif 000009
【図９】
0006628892.tif 000010
【図１０】
0006628892.tif 000011
【図１１】
0006628892.tif 000012
【図１２】
0006628892.tif 000013
【図１３】
0006628892.tif 000014