(57)【要約】【課題】患者の口腔内にインプラントを埋入する歯科インプラント手術を、術前シミュレーションイメージを用いて効果的に支援することができるとともに、術者に生じる不安感を抑制することができる手術ナビゲーションシステムを提供する。【解決手段】手術ナビゲーションシステムは、術者の網膜に映像を投影する網膜投影型ヘッドマウントディスプレイ装置と、拡張現実感技術とを応用し、術前シミュレーションイメージを網膜投影型ヘッドマウントディスプレイ装置により術者の網膜に投影して、術者の実視野における患者の術部に重ね合わせることで、術部と術前シミュレーションイメージを同時に見ながら安心して手術を行うことが可能となる。【選択図】図１
2010259497.tif 000002
【特許請求の範囲】
【請求項１】
術者の顔に取り付けられ、術者の網膜に対して映像を投影する網膜投影型ヘッドマウントディスプレイ装置（以下「ＲＰＨＭＤ装置」とする）と、
患者の口腔内に固定される第１マーカおよびＲＰＨＭＤ装置に固定される第２マーカの３次元位置姿勢を測定する３次元位置計測装置と、
第１マーカとの間の相対的な３次元位置姿勢が関連付けられたインプラントの３次元シミュレーションイメージ情報と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置に関係付けられた３次元座標系であるＲＰＨＭＤ装置座標系から術者の網膜における２次元座標系である術者視野座標系への変換を行うための座標系変換情報と、を保持する情報保持装置と、
３次元位置計測装置により計測された、第１マーカおよび第２マーカの位置姿勢と、情報保持装置に保持されている３次元位置姿勢および座標系変換情報とを用いて、インプラントの３次元シミュレーションイメージ情報の座標系を術者視野座標系に変換して、変換されたシミュレーションイメージ情報をＲＰＨＭＤ装置により術者の網膜に投影させて、術者の実視野にて取得される患者の口腔内の術部の実像にシミュレーションイメージを重ね合わせる演算処理装置とを備えることを特徴とする、網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステム。
【請求項２】
３次元位置計測装置により取得されたキャリブレーション用マーカの３次元位置座標および第２マーカの３次元位置座標に基づいて、キャリブレーション用マーカのＲＰＨＭＤ装置座標系における３次元座標値を取得する第１手順と、
ＲＰＨＭＤ装置により術者の網膜に投影されたカーソルが術者により操作されて、術者の実視野におけるキャリブレーション用マーカの位置に重なるように配置されたカーソルの２次元位置座標を、術者視野座標系におけるキャリブレーション用マーカの２次元位置座標値として取得する第２手順と、
第１手順および第２手順を少なくとも６回実施することにより取得された、キャリブレーション用マーカについてのＲＰＨＭＤ装置座標系の３次元座標値と術者視野座標系の２次元座標値との少なくとも６組の位置座標に基づいて、座標系変換情報を算出する第３手順と、を演算処理装置に実行させるキャリブレーション用プログラムをさらに備える、請求項１に記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステム。
【請求項３】
少なくとも１つのキャリブレーション用マーカと、患者の口腔内に固定される第１マーカとが兼用されて、キャリブレーション用プログラムにおける第１手順または第２手順の実行と、術者の実視野にて取得される患者の口腔内の術部へのシミュレーションイメージの重ね合わせとが、演算処理装置により同時に実施される、請求項２に記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステム。
【請求項４】
キャリブレーション用プログラムにおける第３手順において、第１手順および第２手順を少なくとも１５回実施して、少なくとも１５組の位置座標を取得し、最小二乗法を用いて、少なくとも１５組の位置座標から少なくとも１０組の位置座標を選定し、少なくとも１０組の位置座標に基づいて座標系変換情報を算出する手順をさらに含む、請求項２または３に記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステム。
【請求項５】
３次元位置計測装置は、術者が把持する術用工具に固定された第３マーカの３次元位置姿勢を計測可能であって、
演算処理装置は、３次元位置計測装置により計測された、第３マーカの３次元位置姿勢および第２マーカの３次元位置姿勢と、情報保持装置に保持されているインプラントの３次元シミュレーションイメージ情報とに基づいて、インプラントの３次元シミュレーションイメージ情報におけるインプラントの埋入位置と、術用工具の位置姿勢との間の位置ズレを補正するための位置ズレ補正情報を算出し、座標系変換情報を用いて、算出された位置ズレ補正情報を、ＲＰＨＭＤ装置によりシミュレーションイメージ情報とともに術者の網膜に投影する、請求項１から４のいずれか１つに記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステム。
【請求項６】
患者の口腔内に固定された第１マーカと、術者の網膜に対して映像を投影する術者の顔に取り付けられた網膜投影型ヘッドマウントディスプレイ（以下「ＲＰＨＭＤ装置」とする）に対して固定された第２マーカとの３次元位置姿勢をそれぞれ測定し、
第１マーカおよび第２マーカの３次元位置姿勢と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置に関係付けられた３次元座標系であるＲＰＨＭＤ装置座標系から術者の網膜における２次元座標系である術者視野座標系への変換を行うための座標系変換情報とを用いて、インプラントの３次元シミュレーションイメージ情報の３次元座標系を術者視野座標系に変換し、
変換されたシミュレーションイメージ情報をＲＰＨＭＤ装置により術者の網膜に投影して、術者の実視野にて取得される患者の口腔内の術部の実像にシミュレーションイメージを重ね合わせることを特徴とする、網膜投影型ヘッドマウントディスプレイ装置を用いたシミュレーションイメージの重ね合わせ方法。
【請求項７】
３次元位置計測装置により取得されたキャリブレーション用マーカの３次元位置座標および第２マーカの３次元位置座標に基づいて、キャリブレーション用マーカのＲＰＨＭＤ装置座標系における３次元座標値を取得する第１工程と、
ＲＰＨＭＤ装置により術者の網膜に投影されたカーソルが術者により操作されて、術者の実視野におけるキャリブレーション用マーカの位置に重なるように配置されたカーソルの２次元位置座標を、術者視野座標系におけるキャリブレーション用マーカの２次元座標値として取得する第２工程と、
第１工程および第２工程を少なくとも６回実施することにより取得された、キャリブレーション用マーカについてのＲＰＨＭＤ装置座標系の３次元座標値と術者視野座標系の２次元座標値との少なくとも６組の位置座標に基づいて、座標系変換情報を算出する第３工程とを実施した後、
第３工程にて算出された座標系変換情報を用いて、インプラントの３次元シミュレーションイメージ情報の３次元座標系を術者視野座標系に変換する、請求項６に記載の網膜投影型ヘッドマウントディスプレイ装置を用いたシミュレーションイメージの重ね合わせ方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、患者の口腔内にインプラントを埋入する歯科インプラント手術を、術前シミュレーションイメージを用いて支援する、手術ナビゲーションシステムに関する。
【背景技術】
【０００２】
近年、歯科医療においてデンタルインプラントは欠損歯の補綴治療においてきわめて有効な方法の一つとして確立されている。それとともに、歯科医療においては、骨量・骨質の不十分な症例や、審美的な要求の高い難症例が増加している。そのような症例に対して正確かつ安全な手術を実現するため、これまでに様々な術前シミュレーションシステムおよび手術支援システムが開発されている（例えば、特許文献１、２および非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００７−５１８５４０号公報
【特許文献２】特開２００８−１２６０６３号公報
【非特許文献】
【０００４】
【非特許文献１】Nardy Casap, et.al., “Navigation Surgery for Dental Implants: Assesment of Accuracy of the Image Guided Implantology System”, Journal of Oral Maxillofacial Surgery, Vol.62, suppl.2, pp.116−119, 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の歯科インプラント手術ナビゲーションシステムでは、手術台の横に配置されたモニタに、シミュレーションイメージを表示させることで、歯科インプラント手術における手術ナビゲーションを行うというものである。したがって、このような従来の手術ナビゲーションシステムでは、術者（医師）は、患者の口腔内の術部とモニタとを交互に見ながら、口腔内という狭い環境の中で器具の操作を行わなければならず、術者の不安が生じるという課題がある。
【０００６】
従って、本発明の目的は、上記課題を解決することにあって、患者の口腔内にインプラントを埋入する歯科インプラント手術を、術前シミュレーションイメージを用いて効果的に支援することができるとともに、術者に生じる不安感を抑制することができる網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムおよびシミュレーションイメージの重ね合わせ方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は以下のように構成する。
【０００８】
本発明の第１態様によれば、術者の顔に取り付けられ、術者の網膜に対して映像を投影する網膜投影型ヘッドマウントディスプレイ装置（以下「ＲＰＨＭＤ装置」とする）と、
患者の口腔内に固定される第１マーカおよびＲＰＨＭＤ装置に固定される第２マーカの３次元位置姿勢を測定する３次元位置計測装置と、
第１マーカとの間の相対的な３次元位置姿勢が関連付けられたインプラントの３次元シミュレーションイメージ情報と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置に関係付けられた３次元座標系であるＲＰＨＭＤ装置座標系から術者の網膜における２次元座標系である術者視野座標系への変換を行うための座標系変換情報と、を保持する情報保持装置と、
３次元位置計測装置により計測された、第１マーカおよび第２マーカの位置姿勢と、情報保持装置に保持されている３次元位置姿勢および座標系変換情報とを用いて、インプラントの３次元シミュレーションイメージ情報の座標系を術者視野座標系に変換して、変換されたシミュレーションイメージ情報をＲＰＨＭＤ装置により術者の網膜に投影させて、術者の実視野にて取得される患者の口腔内の術部の実像にシミュレーションイメージを重ね合わせる演算処理装置とを備えることを特徴とする、網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムを提供する。
【０００９】
本発明の第２態様によれば、３次元位置計測装置により取得されたキャリブレーション用マーカの３次元位置座標および第２マーカの３次元位置座標に基づいて、キャリブレーション用マーカのＲＰＨＭＤ装置座標系における３次元座標値を取得する第１手順と、
ＲＰＨＭＤ装置により術者の網膜に投影されたカーソルが術者により操作されて、術者の実視野におけるキャリブレーション用マーカの位置に重なるように配置されたカーソルの２次元位置座標を、術者視野座標系におけるキャリブレーション用マーカの２次元位置座標値として取得する第２手順と、
第１手順および第２手順を少なくとも６回実施することにより取得された、キャリブレーション用マーカについてのＲＰＨＭＤ装置座標系の３次元座標値と術者視野座標系の２次元座標値との少なくとも６組の位置座標に基づいて、座標系変換情報を算出する第３手順と、を演算処理装置に実行させるキャリブレーション用プログラムをさらに備える、第１態様に記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムを提供する。
【００１０】
本発明の第３態様によれば、少なくとも１つのキャリブレーション用マーカと、患者の口腔内に固定される第１マーカとが兼用されて、キャリブレーション用プログラムにおける第１手順または第２手順の実行と、術者の実視野にて取得される患者の口腔内の術部へのシミュレーションイメージの重ね合わせとが、演算処理装置により同時に実施される、第２態様に記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムを提供する。
【００１１】
本発明の第４態様によれば、キャリブレーション用プログラムにおける第３手順において、第１手順および第２手順を少なくとも１５回実施して、少なくとも１５組の位置座標を取得し、最小二乗法を用いて、少なくとも１５組の位置座標から少なくとも１０組の位置座標を選定し、少なくとも１０組の位置座標に基づいて座標系変換情報を算出する手順をさらに含む、第２態様または第３態様に記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムを提供する。
【００１２】
本発明の第５態様によれば、３次元位置計測装置は、術者が把持する術用工具に固定された第３マーカの３次元位置姿勢を計測可能であって、
演算処理装置は、３次元位置計測装置により計測された、第３マーカの３次元位置姿勢および第２マーカの３次元位置姿勢と、情報保持装置に保持されているインプラントの３次元シミュレーションイメージ情報とに基づいて、インプラントの３次元シミュレーションイメージ情報におけるインプラントの埋入位置と、術用工具の位置姿勢との間の位置ズレを補正するための位置ズレ補正情報を算出し、座標系変換情報を用いて、算出された位置ズレ補正情報を、ＲＰＨＭＤ装置によりシミュレーションイメージ情報とともに術者の網膜に投影する、第１態様から第４態様のいずれか１つに記載の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムを提供する。
【００１３】
本発明の第６態様によれば、患者の口腔内に固定された第１マーカと、術者の網膜に対して映像を投影する術者の顔に取り付けられた網膜投影型ヘッドマウントディスプレイ（以下「ＲＰＨＭＤ装置」とする）に対して固定された第２マーカとの３次元位置姿勢をそれぞれ測定し、
第１マーカおよび第２マーカの３次元位置姿勢と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置に関係付けられた３次元座標系であるＲＰＨＭＤ装置座標系から術者の網膜における２次元座標系である術者視野座標系への変換を行うための座標系変換情報とを用いて、インプラントの３次元シミュレーションイメージ情報の３次元座標系を術者視野座標系に変換し、
変換されたシミュレーションイメージ情報をＲＰＨＭＤ装置により術者の網膜に投影して、術者の実視野にて取得される患者の口腔内の術部の実像にシミュレーションイメージを重ね合わせることを特徴とする、網膜投影型ヘッドマウントディスプレイ装置を用いたシミュレーションイメージの重ね合わせ方法を提供する。
【００１４】
本発明の第７態様によれば、３次元位置計測装置により取得されたキャリブレーション用マーカの３次元位置座標および第２マーカの３次元位置座標に基づいて、キャリブレーション用マーカのＲＰＨＭＤ装置座標系における３次元座標値を取得する第１工程と、
ＲＰＨＭＤ装置により術者の網膜に投影されたカーソルが術者により操作されて、術者の実視野におけるキャリブレーション用マーカの位置に重なるように配置されたカーソルの２次元位置座標を、術者視野座標系におけるキャリブレーション用マーカの２次元座標値として取得する第２工程と、
第１工程および第２工程を少なくとも６回実施することにより取得された、キャリブレーション用マーカについてのＲＰＨＭＤ装置座標系の３次元座標値と術者視野座標系の２次元座標値との少なくとも６組の位置座標に基づいて、座標系変換情報を算出する第３工程とを実施した後、
第３工程にて算出された座標系変換情報を用いて、インプラントの３次元シミュレーションイメージ情報の３次元座標系を術者視野座標系に変換する、第６態様に記載の網膜投影型ヘッドマウントディスプレイ装置を用いたシミュレーションイメージの重ね合わせ方法を提供する。
【発明の効果】
【００１５】
本発明の網膜投影型ヘッドマウントディスプレイ装置を用いた手術ナビゲーションシステムによれば、従来のように別置きのモニタを用いるのではないため、術者が歯科インプラント手術中に、シミュレーションイメージを視認するために、患者の口腔外へ視線を移動する必要がなく、術中における術者への不安感を取り除くことができる。
【００１６】
具体的には、患者の口腔内に固定された第１マーカと、術者の顔に取り付けられた網膜投影型ヘッドマウントディスプレイ装置に対して固定された第２マーカとの３次元位置姿勢を、３次元位置計測装置によりそれぞれ計測し、計測された第１マーカおよび第２マーカの３次元位置姿勢と、インプラントと第１マーカとの間の３次元位置姿勢と、第２マーカの位置に関係付けられた３次元座標系である網膜投影型ヘッドマウントディスプレイ装置座標系から術者の網膜における２次元座標系である術者視野座標系への変換を行うための座標系変換情報とを用いて、インプラントの３次元シミュレーションイメージ情報の３次元座標系を術者視野座標系に変換することができる。これにより、変換されたシミュレーションイメージ情報を網膜投影型ヘッドマウントディスプレイ装置により術者の網膜に投影して、術者の実視野にて取得される患者の口腔内の術部の実像に、シミュレーションイメージを重ね合わせることができる。
【００１７】
すなわち、網膜投影型ヘッドマウントディスプレイを装備した術者は、患者の口腔内の術部に視線を合わせた状態にて、術部の実像に重ね合わされたインプラントのシミュレーションイメージを確認することができ、そのイメージによりインプラントの埋入位置などの情報を直感的に確認することができる。したがって、患者の口腔内から視線を外すことなく、術前シミュレーションイメージを確認することができ、視線を外すことに対する不安感が抑制された手術ナビゲーションシステムを提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一の実施形態にかかる手術ナビゲーションシステムのシステム構成図
【図２】患者の口腔内に第１マーカが固定された状態の模試図（ＣＴ撮影状態）
【図３】インプラントシミュレーションイメージの模式図
【図４】患者の口腔内の実像に、インプラントシミュレーションイメージを重ね合わせた状態の模式図
【図５】キャリブレーション処理の主要な手順を示すフローチャート
【発明を実施するための形態】
【００１９】
以下に、本発明にかかる実施の形態を図面に基づいて詳細に説明する。
【００２０】
本発明の一の実施形態にかかる網膜投影型ヘッドマウントディスプレイを用いた手術ナビゲーションシステム１０のシステム構成図を図１に示す。
【００２１】
本実施形態の手術ナビゲーションシステム１０は、術者の網膜に映像を投影する網膜投影型ヘッドマウントディスプレイ（以降「ＲＰＨＭＤ(Retinal Projection Head Mounted Display)」とする。）装置と、拡張現実感（Augmented Reality）技術とを応用し、術前シミュレーションイメージをＲＰＨＭＤ装置により術者の網膜に投影して患者の術部に重ね合わせることで、術部と術前シミュレーションイメージを同時に見ながら安心して手術が行える手術ナビゲーションシステムである。
【００２２】
具体的には、図１に示すように、手術ナビゲーションシステム１０は、術者の顔に取り付けられ、術者の網膜に対して映像を投影するＲＰＨＭＤ装置１２と、所定の仕様に形成されたマーカの３次元位置座標およびその位置座標における姿勢を測定する３次元位置計測装置１４と、術前に作成された歯科インプラント手術のシミュレーションイメージを、患者の口腔内の術部に重ね合わさる（すなわち、オーバーレイされる）ように、座標系の変換処理を行ってＲＰＨＭＤ装置１２に出力する演算処理装置の一例であるコンピュータ装置１６とを備えている。
【００２３】
ＲＰＨＭＤ装置としては、例えば、術者の実視野にて術部等の実像を直接的に見る光学透過型と、ビデオカメラを通して取得された実像の映像を見る（すなわち、実像を間接的に見る）ビデオシースルー型とが存在し、さらに、両目型および片目型とが存在する。いずれの型式のＲＰＨＭＤ装置も本実施形態のＲＰＨＭＤ装置１２として採用することは可能であるが、術者が受けるＲＰＨＭＤ装置１２の装着感を考慮すれば、片目型の光学透過型を採用することが望ましい。
【００２４】
また、ＲＰＨＭＤ装置１２は、例えば、眼鏡１３のフレーム部分に固定されており、この眼鏡１３を術者が装着することで、ＲＰＨＭＤ装置１２が術者の顔に取り付けられる。ＲＰＨＭＤ装置１２は、眼に入射されても安全な明るさの光（例えば、レーザ光）を、眼に入射させながら網膜を走査することで、網膜に映像を投影する。そのため、ＲＰＨＭＤ装置１２は、例えば、投影される映像の入力部と、レーザ光源と、レーザ光の走査部とを備えており、これらの構成部が、眼鏡１３のフレーム部分に固定されている。なお、ＲＰＨＭＤ装置１２が固定された眼鏡１３は、術者への装着位置のズレが容易に生じないように、固定用バンドなどの装着補助部材が用いられることが望ましい。
【００２５】
３次元位置計測装置１４は、３次元空間におけるマーカ（３次元位置座標検出用の識別表示）の位置座標（すなわち３次元位置座標（並進：Ｘ，Ｙ，Ｚ））およびその位置座標における姿勢（すなわち、マーカの向きや傾斜状態などの姿勢（回転：ロール、ピッチ、ヨー））を測定する機能を有する計測装置である。特に、光学式３次元位置計測装置では、マーカの検出手段としてステレオタイプのカメラが用いられているため、マーカ自体も例えば白黒に印刷された紙製のマーカを用いることが可能であり、装置コストが安価となる。例えば、このような光学式３次元位置計測装置１４としては、Micron Tracker 2 Sx60 (Claron Technology Inc., USA)を用いることができる。このMicron Tracker 2は、動的追跡精度が７０μｍであり、歯科インプラントの要求精度１００μｍを満たしている。なお、本発明において、「位置姿勢」には、位置座標（並進）およびその位置座標における姿勢（回転）が含まれるものとする。すなわち、３次元位置計測装置によりマーカの「位置姿勢」が計測される場合には、マーカの３次元位置座標とともにその位置座標におけるマーカの姿勢も計測されることになる。
【００２６】
また、３次元位置計測装置１４の仕様に応じて、様々な仕様のマーカが用いられる。例えば、上述のMicron Tracker 2 では、図２に示すように、互いに平行に配置された２本の線分の組を互いに直交させることで少なくとも３箇所の直交交点が形成された第１マーカ２１が用いられる。この第１マーカ２１の中央部分に配置される四角形２２は短辺と長辺とを有する長方形２２となっており、長方形の各交点を画像処理により認識し易くするために、隣接する四角形が白・黒に塗りつぶされている。また、この長方形２２における図示下辺の中点が第１マーカ２１の原点Ｐｏとして、３次元位置計測装置１４により認識される。なお、後述するその他のマーカも同じ仕様にて形成されており、例えば、紙に印刷されたものを、アクリル製プレートに貼り付けることにより形成されている。
【００２７】
３次元位置計測装置１４にて計測されたマーカの位置姿勢は、コンピュータ装置１６に入力されるようになっている。コンピュータ装置１６は、術前シミュレーションイメージ情報等を記憶する情報保持装置（例えば、ハードディスクドライブなど）１８を備えており、３次元位置計測装置１４にて計測された複数のマーカの位置座標およびその位置座標における姿勢などの情報を用いて、術前シミュレーションイメージ情報の座標系を３次元座標系であるＲＰＨＭＤ装置座標系から、術者の網膜における２次元座標系である術者視野座標系への変換を行う機能を有している。さらに、コンピュータ装置１６は、このような座標系の変換が行われた術前シミュレーションイメージ情報をＲＰＨＭＤ装置１２に出力して、ＲＰＨＭＤ装置１２により、術前シミュレーションイメージが術者の網膜に表示されることになる。
【００２８】
このような構成を有する本実施形態の手術ナビゲーションシステム１０を用いて、歯科インプラント手術のナビゲーションを行う方法について、具体的に説明する。
【００２９】
（術前処理）
まず、図２に示すように、歯科インプラント手術を受ける患者の口腔内（例えば、下顎構造３１）に、第１マーカ２１が固定部材２０を介して固定された診断用ステントを装着した状態で、ＣＴ（Computed Tomographic）を撮影し、撮影された断層データの３次元再構成を行う。このような３次元再構成を行う装置としては、例えば、VGStudio MAX 1.2 (Volume Graphics GmbH, Germany)を用いることができる。なお、図２では、患者自身の下顎構造３１を概略的に示している。
【００３０】
次に、この３次元再構成が行われた患者の口腔内のＣＴデータを用いて、インプラントの３次元シミュレーションイメージ（以降、「インプラントＳＩ」とする。）の作成を行う。３次元シミュレータとしては、例えば、FreeFormModeling (SensAble Technologies Inc., USA)が用いられ、ＣＴデータを用いて、インプラント体の埋入位置姿勢をシミュレーションし、インプラントＳＩを作成する。このインプラントＳＩの模式図を図３に示す。図３に示すインプラントＳＩでは、患者４の下顎構造のイメージ４１において、インプラントの複数の埋入位置４２がイメージ情報として表されている。さらに、このインプラントＳＩには、術中において術者により操作される術用工具の操作位置、すなわちインプラントの埋入位置の情報が含まれている。なお、さらに術用工具の位置姿勢のナビゲーション情報（例えば、イメージ）が含まれるような場合であっても良い。また、このインプラントＳＩを作成する際には、第１マーカ２１の位置姿勢、例えば、原点Ｐｏおよび原点Ｐｏにおける第１マーカ２１の姿勢を基準としたインプラントＳＩへの変換行列１（数１）を記録しておく。なお、この変換行列は、第１マーカ２１の３次元位置姿勢に対するインプラントＳＩの３次元位置姿勢との相対的な関係を示す情報（３次元位置関係情報）である。また、図３のインプラントＳＩにおける四角形状部材４３は、第１マーカ２１の長方形２２に対応する形状および位置姿勢にて配置されている。なお、図３に示すＸ方向、Ｙ方向、およびＺ方向は、互いに直交する方向である。
【数１】
2010259497.tif 000003
【００３１】
次に、ＲＰＨＭＤ装置座標系から術者視野座標系への変換行列２（数２）を求める。ここで、ＲＰＨＭＤ装置座標系とは、ＲＰＨＭＤ装置１２において表現される３次元座標系であり、後述するＲＰＨＭＤ装置１２に固定された第２マーカの位置に関係付けられた３次元座標系である。術者視野座標系とは、術者２の網膜における２次元座標系（すなわち、術者２の視野における２次元座標系）である。この変換行列２（数２）は、キャリブレーション用マーカを用いて、ＲＰＨＭＤ装置座標系で表現される３次元座標値と、それに対応する術者視野の２次元座標系との複数の組み合わせにより算出される（キャリブレーション処理）。このキャリブレーション処理の詳細手順については、後述する。
【数２】
2010259497.tif 000004
【００３２】
（術中処理）
上述した術前処理により作成されたインプラントＳＩの情報、並びに第１マーカ２１の位置姿勢を基準としたインプラントＳＩへの変換行列１（数１）およびＲＰＨＭＤ装置座標系から術者視野座標系への変換行列２（数２）を、情報保持装置１８に記憶させる。
【００３３】
次に、図１に示すように、患者４の口腔内の下顎構造３１に第１マーカ２１を固定する。それとともに、ＲＰＨＭＤ装置１２に第２マーカ２２を固定し、さらに、術者２が使用する術用工具、例えばインプラントドリル６に第３マーカ２３を固定する。
【００３４】
このような状態において、患者４に対する歯科インプラント手術を開始する。術中においては、３次元位置計測装置１４により、第１マーカ２１、第２マーカ２２、および第３マーカ２３の３次元位置姿勢をリアルタイムにて計測し、計測された情報は、リアルタイムにてコンピュータ装置１６に入力される。具体的には、３次元位置計測装置１４を基準とした第１マーカ２１の位置姿勢を変換行列３（数３）として取得し、３次元位置計測装置１４を基準とした第２マーカ２２の位置姿勢を変換行列４（数４）として取得し、３次元位置計測装置１４を基準とした第３マーカ２３の位置姿勢を変換行列５（数５）として取得する。
【数３】
2010259497.tif 000005
【数４】
2010259497.tif 000006
【数５】
2010259497.tif 000007
【００３５】
このようなリアルタイムの計測が行われることにより、コンピュータ装置１６には、患者４の口腔内に固定された第１マーカ２１と、術者２に装備されたＲＰＨＭＤ装置１２に固定された第２マーカ２２と、術者２が操作するインプラントドリル６に固定された第３マーカ２３との間の相対的な位置関係、すなわち相対的な３次元位置姿勢の関係を認識するための情報が随時入力されることになる。
【００３６】
コンピュータ装置１６では、これらの情報の入力を受けて、リアルタイムに、インプラントＳＩから術者視野までの変換行列６（数６）を、数７に示す式（１）に従って算出し、術者視野へインプラントＳＩを投影する。
【数６】
2010259497.tif 000008
【数７】
2010259497.tif 000009
【００３７】
具体的には、コンピュータ装置１６は、情報保持装置１８に記憶されている第１マーカ２１の位置姿勢を基準としたインプラントＳＩへの変換行列１（数１）およびＲＰＨＭＤ装置座標系から術者視野座標系への変換行列２（数２）を読み出すとともに、３次元位置計測装置１４を基準とした第１マーカ２１の位置姿勢の変換行列３（数３）、および第２マーカ２２の位置姿勢の変換行列４（数４）を用いて、式（１）に基づいて、インプラントＳＩから術者視野までの変換行列６（数６）を算出する。ここで、式（１）においては、数８および数９の関係式が成り立つ。
【数８】
2010259497.tif 000010
【数９】
2010259497.tif 000011
【００３８】
また、コンピュータ装置１６では、ＲＰＨＭＤ装置座標系から術者視野座標系への変換行列２（数２）、３次元位置計測装置１４を基準とした第２マーカ２２の位置姿勢の変換行列４（数４）、および第３マーカ２３の位置姿勢の変換行列５（数５）を用いて、リアルタイムに、インプラントドリル６から術者視野までの変換行列７（数１０）を、数１１に示す式（２）に従って算出する。ここで、式（２）においては、数１２の関係式が成り立つ。
【数１０】
2010259497.tif 000012
【数１１】
2010259497.tif 000013
【数１２】
2010259497.tif 000014
【００３９】
さらに、コンピュータ装置１６では、情報保持装置１８からインプラントＳＩの情報を読み出すとともに、式（１）により算出されたインプラントＳＩから術者視野までの変換行列６（数６）を用いて、インプラントＳＩの座標系をＲＰＨＭＤ装置座標系から術者視野座標系に変換し、変換されたインプラントＳＩをＲＰＨＭＤ装置１２により術者２の網膜に投影させる。術者２の実視野においては、患者４の口腔内の術部（歯科インプラント手術を施す部分、例えばインプラント埋入位置およびその周辺部分）の実像が取得されており、この口腔内の術部の実像に対して、インプラントＳＩが重ね合わせられる。すなわち、３次元空間における術者２の位置および姿勢と、患者４の口腔内の位置および姿勢に応じて、投影されるインプラントＳＩの大きさや姿勢がコンピュータ装置１６により決定され、さらにインプラントＳＩを３次元座標系から２次元座標系に変換して、変換されたインプラントＳＩがＲＰＨＭＤ装置１２により網膜に投影される。したがって、３次元空間における術者２の位置および姿勢と、患者４の口腔内の位置および姿勢との関係により、その大きさや姿勢が変わることとなる患者の術部の実像に、重ね合わさるようにインプラントＳＩが変換されて、網膜に投影されることになる。
【００４０】
このように患者の口腔内の術部の実像（下顎構造３１）と、インプラントＳＩの重ね合わせが行われた状態を図４の模式図に示す。図４に示すように、実像の術部には、インプラントＳＩによって表されるインプラントの埋入位置４２が表示されている。したがって、術者は、術中に、患者４の口腔内から視線を外すことなく、インプラントＳＩによりインプラントの埋入位置４２を確認することができる。
【００４１】
また、コンピュータ装置１６では、変換行列４（数４：第２マーカ２２の位置姿勢）および変換行列５（数５：第３マーカ２３の位置姿勢）と、インプラントＳＩに含まれる術用工具の操作位置（インプラントの埋入位置）とを比較して、両者の位置姿勢のズレを補正するための位置ズレ補正情報（あるいは位置姿勢ズレ補正情報）を算出する。このような位置ズレ補正情報としては、例えば、位置姿勢のズレ量（距離および方向）の数値情報や、位置ズレを補正するために操作する方向および距離を視覚的に表示するナビゲーション情報などがある。このように算出された位置ズレ補正情報は、式（２）により算出されたインプラントドリル６から術者視野までの変換行列７を用いて、その座標系をＲＰＨＭＤ装置座標系から術者視野座標系に変換し、変換された位置ズレ補正情報をＲＰＨＭＤ装置１２により術者２の網膜に投影させる。これにより、術者２は、インプラントＳＩに対するインプラントドリル６の位置姿勢のズレを術中にリアルタイムで確認することができ、術用工具の操作位置および姿勢についての効果的なナビゲーションを行うことができる。
【００４２】
したがって、本実施形態の手術ナビゲーションシステム１０によれば、ＲＰＨＭＤ装置１０を装着した術者は、患者の口腔内の術部に視点を合わせた状態にて、術部の実像に重ね合わされたインプラントＳＩを確認することができ、そのイメージによりインプラントの埋入位置などの情報を直感的に確認することができる。よって、患者の口腔内から視線を外すことなく、術前シミュレーションイメージを確認することができ、視線を外すことに対する不安感が抑制された手術ナビゲーションシステムを提供することができる。
【００４３】
（キャリブレーション処理）
次に、上述したキャリブレーション処理の手順について説明する。このキャリブレーション処理は、原則として術前に行われる。または術中においては、術者２が装備しているＲＰＨＭＤ装置１２の装備位置の位置ズレが生じた場合に行われる。
【００４４】
キャリブレーション処理では、ＲＰＨＭＤ装置座標系から術者視野座標系への変換行列２（数２）を求める。複数のキャリブレーション用マーカ（例えば、図１に示す第４マーカ２４）を用いて、ＲＰＨＭＤ装置座標系で表現される３次元座標値ｐ（ｘ，ｙ，ｚ）と、それに対応する術者視野の２次元座標値Ｐ（ＸＣ，ＹＣ）との組を取得する。
【００４５】
ＲＰＨＭＤ装置座標系の点ｐから術者視野座標系上の対応点Ｐへの変換関係は、数１３によって与えられる。
【数１３】
2010259497.tif 000015
【００４６】
数１３の式中におけるこれら１２個のパラメータは、ＲＰＨＭＤ装置１２と術者視野との相対位置、方向関係およびカメラの焦点距離で定まる量であり、このＣ行列を「カメラパラメータ」と呼ぶ。
【００４７】
ＲＰＨＭＤ装置座標系上のいくつかの点ｐｉ（ｘｉ，ｙｉ，ｚｉ）と、術者視野座標系上での対応点Ｐｉ（ＸＣｉ，ＹＣｉ）との各々の位置座標を読み取り、数１３の関係からカメラパラメータが求まる。１つの点ｐ１について、その座標と対応点の座標ｘ１，ｙ１，ｚ１，ＸＣ１，ＹＣ１が定まれば、数１３から次の数１４が成立する。
【数１４】
2010259497.tif 000016
【００４８】
このように、１個の点について２つの方程式が成立するため、Ｃ１１・・・Ｃ３４の１２個のパラメータが決定されるためには、同一平面上にはない少なくとも６個の基準点が必要となる。ただし、パラメータの決定精度の向上を図るためには、６個以上の基準点を利用して、最小２乗法を用いることが好ましい。本実施形態では、パラメータの決定精度向上の観点から、１０個の基準点を取得するものとする。ここで、ＲＰＨＭＤ装置座標系上の点ｐｉの絶対的な座標値を与える必要はなく、相対座標値、すなわち各点間の距離および方向が分かっているだけであっても良い。
【００４９】
６個以上のｎ個の基準点がある場合には、数１５、数１６、および数１７に示す行列の関係が成立する。Ｃ３４とＨＣの２つのパラメータで拡大・縮小のスケールを決定しているため、片方をある定数に固定しても支障はなく、例えばＣ３４＝１とする。
【数１５】
2010259497.tif 000017
【数１６】
2010259497.tif 000018
【数１７】
2010259497.tif 000019
【００５０】
ｎ個の基準点が存在している場合には、Ａは｛２ｎ行×１１列｝、Ｃは｛１１行×１列｝、Ｒは｛２ｎ行×１列｝の行列となる。計測誤差が存在するため、ｎが６以上では数学的には不能問題となり、Ｃの各値は求められない。
【００５１】
そこで、各解と現実解との差の２乗、すなわち誤差の２乗和Ｅ２を最小にする１つの現実解を、方程式全体を最小誤差で満足する解として採用する。カメラパラメータ決定の場合、未知数Ｃ１１・・・Ｃ３３の１１個、方程式の数２ｎ個（基準点の数＝ｎ個）であり、一般には不能問題となるＡＣ＝Ｒの関係式を最小２乗解の意味で解けば、その解＜Ｃ＞は数１８を満たす。
【数１８】
2010259497.tif 000020
【００５２】
本実施形態の手術ナビゲーションシステム１０を利用するのは工学研究者や技術者ではなく、システムに関して特別な知識を持たない医師らである。そのため、誰が行っても簡単に画像合成を実験室ではなく、手術室で再現できることが望ましい。本実施形態のシステムでは、統計的手法における最小２乗法を採用しており、この最小２乗法は、データにモデルを当てはめた際の誤差の２乗和を最小とするようにモデルのパラメータを決定する手法であり、キャリブレーションにおいて有用である。
【００５３】
しかしながら、このような最小２乗法を、そのまま本実施形態のシステムのキャリブレーション処理に適用しただけでは不都合な場合があり、例えば、データに例外値が含まれている場合には、最小２乗法で推定した投影行列は、信頼できないものとなるおそれがある。このような場合には、データ内の主要な部分にのみモデルをあてはめ、残りの部分を例外値として自動的に排除できれば、その領域の主要な動きのパラメータを精度良く推定できる。このような問題に対処するために統計的手法の中でロバスト統計量として代表的なＬＭｅｄＳ推定を、本キャリブレーション処理では導入している。以下に、その手法とアルゴリズムを示す。
【００５４】
まず、最小２乗基準は数１９で定義され、ＬＭｅｄＳ基準は、数２０で定義される。
【数１９】
2010259497.tif 000021
【数２０】
2010259497.tif 000022
【００５５】
ここで、ｍｅｄは、中央値を取ることを表す。最小２乗基準は、ひとつの大きな例外値によって大きな影響を受けるが、ＬＭｅｄＳは全データのうち５０％が例外値でも結果が大きくずれることがないという性質を持っているため、今回のような状況に適していると言える。
【００５６】
（処理１）
ＲＰＨＭＤ装置１２により術者２の網膜に投影されたマウスポインタ（カーソル）を術者により操作し、術者２の実視野における第４マーカ２４の特定の位置（例えば、原点位置）にマウスポインタを合わせてマウスをクリックするという動作を、第４マーカ２４の３次元空間における位置を変化させながらｎ回繰り返す。それとともに、第４マーカ２４の３次元空間における３次元座標値を、３次元位置計測装置１４により計測する。この作業により、第４マーカ２４の３次元空間における３次元座標値と、それに対応するＲＰＨＭＤ装置１２の投影画像上での２次元座標値との組がｎ組得られる。このｎ組の対応点からランダムにＦ点選択し、最小２乗法を用いたキャリブレーション処理により、投影行列の解候補を算出する。
【００５７】
（処理２）
次に、数２１で定義される解候補の誤差値を計算する。
【数２１】
2010259497.tif 000023
【００５８】
ここで、
【数２２】
2010259497.tif 000024
はｉ番目の第４マーカ２４の３次元空間位置での投影映像上での２次元座標値であり、
【数２３】
2010259497.tif 000025
はｉ番目の第４マーカ２４の位置を解候補で画像平面上へ再投影した時の座標値であり、ｍｅｄ（ｆ（ｉ））は全てのｉにおけるｆ（ｉ）の中央値を示す。
【００５９】
（処理３）
処理１と処理２とをｑ回繰り返して、数２１で計算されるｅｒｒ２が最小となるＦ個の対応点を用いて計算されるカメラパラメータを選択する。
【００６０】
このアルゴリズムで必要な繰り返し数は、ｑ回のランダムサンプリングで少なくとも１個のサンプルには例外値が含まれていない確率を考えることにより決定できる。全データ中の例外値の割合をεとすると、この確率は数２４にて表される。
【数２４】
2010259497.tif 000026
【００６１】
例えば、ε＝０．３、Ｆ＝３の時、この確率が０．９９になるためのランダムサンプリングの回数はｑ＝１１である。つまり、この場合には、ｑ＝１１回以上のサンプリングが必要であることを意味している。本実施形態のキャリブレーション処理では、パラメータＦは１０として、その他のパラメータは経験的ｎ＝１５、ε＝０．３、Ｐ＝０．９９としている。
【００６２】
このようなキャリブレーション処理は、例えば、コンピュータ装置１６にインストールされたキャリブレーション用プログラムにより実施される。ここで、このキャリブレーション用プログラムにおける主要な手順を図５のフローチャートに示す。
【００６３】
図５のフローチャートに示すように、まず、ステップＳ１において、ＲＰＨＭＤ装置１２に固定された第２マーカ２２の３次元座標値および第４マーカ２４の３次元座標値を、３次元位置測定装置１４により同時に測定する。測定されたデータは、コンピュータ装置１６に入力される。
【００６４】
この３次元座標値の測定ととともに、術者２の実視野における第４マーカ２４の位置に重なるように、ＲＰＨＭＤ装置１２により投影されたマウスポインタを操作して、重なった位置にてクリックし、マウスポインタの２次元座標値を、術者視野座標系における第４マーカ２４の２次元座標値として取得する（ステップ２）。取得されたデータはコンピュータ装置１６に入力される。なお、ステップ１とステップ２とは、実質的に同時に行う必要がある。
【００６５】
コンピュータ装置１６では、これら２つのデータを互いに関連付けて、第２マーカ２２を基準とした第４マーカ２４の３次元空間における３次元座標値とそれに対応するＲＰＨＭＤ装置１２の投影画像上での２次元座標値との組を形成する（ステップＳ３）。
【００６６】
次に、ステップＳ４において、このデータの組数がｎ組以上であるかどうかが判断されて、ｎ組未満である場合には、第４マーカ２４の位置を移動させて、ステップＳ１〜Ｓ３までの処理が行われる。
【００６７】
その後、ステップＳ４において、データの組数がｎ組以上であると判断された場合には、ステップＳ５において、ｎ組の中からランダムにＦ点選択し、上述した最小２乗法を用いたキャリブレーション処理（処理１〜３）により、投影行列の解候補を算出して、ＲＰＨＭＤ装置座標系から術者視野座標系への変換行列２（数２）が求められる。
【００６８】
次に、キャリブレーション処理において使用される第４マーカ２４の配置領域（空間）について説明する。第４マーカ２４は、３次元空間におけるその位置が変化されながら、それぞれの位置において、３次元位置計測装置１４により３次元座標値が取得されることになる。また、この際、第２マーカ２４の３次元座標値も同時に取得される。それとともに術者２の視野において第４マーカ２４が視認され、かつＲＰＨＭＤ装置１２により表示されるマウスポインタの操作範囲（表示領域）内に位置されている必要がある。そのため、３次元位置計測装置１４により第２マーカ２２および第４マーカ２４を同時に計測可能な範囲をＡとし、ＲＰＨＭＤ装置１２における映像投影範囲（マウスポインタの操作範囲）をＢとすると、キャリブレーション処理において使用される第４マーカ２４の配置領域（空間）は数２５にて示す領域となり、この範囲内であればキャリブレーション処理が可能となる。
【数２５】
2010259497.tif 000027
【００６９】
なお、キャリブレーション処理に使用する対応点群は、上述の説明では、第４マーカ２４の位置（術者に対する相対位置）を変化させて、マウスのクリック動作により手動でサンプリングする場合について説明した。このような場合に代えて、例えば、形状が既知で１５点サンプリング可能な物体（マーカ）を、第２マーカ２２と剛体的に固定した状態でサンプリングするような場合であっても良い。このような場合、１５点のサンプリング点と第２マーカ２２との相対位置関係が常に一定であるため、サンプリング精度をより向上できる。なお、このような物体は、サンプリング処理が終了次第、第２マーカ２２から取り外せば良い。
【００７０】
また、このようなキャリブレーション処理に使用する対応点群は、術者２による術中の主要な視野範囲に位置されることが望ましい。すなわち、術者２の視線は、主に患者４の口腔内に位置されることになる。そのため、患者４の口腔内および口腔外におけるその近傍の空間に対応点群を設定することで、この術者視野におけるキャリブレーション精度をより向上させることが可能となる。例えば、患者４の口腔内に固定される第１マーカ２１の周囲に複数のマーカ（キャリブレーション用マーカ）を固定してキャリブレーション処理を行うことも可能である。この場合、第１マーカ２１をキャリブレーション用マーカの１つとして使用することもできる。
【００７１】
このようにキャリブレーション用マーカを配置するような場合にあっては、例えば、術中において、ＲＰＨＭＤ装置１２によりインプラントＳＩを術者２の網膜に投影しながら、同時にキャリブレーション処理（具体的には、キャリブレーション処理におけるステップＳ１〜Ｓ４のデータの組の取得手順）を行うことも可能となる。したがって、術中において、ＲＰＨＭＤ装置１２の装備位置の位置ズレなどが生じるような場合であっても、迅速にキャリブレーション処理を実施することが可能となる。
【００７２】
また、術者２へのＲＰＨＭＤ装置１２の装備位置の位置ズレを検出するセンサ等の検出手段を設けても良い。検出手段により許容値以上の位置ズレが検出された場合には、術者に対してキャリブレーション処理を促す警告を出力することで、術者２は安心して手術に集中することが可能となる。
【００７３】
また、上述の説明では、ＲＰＨＭＤ装置１２が、眼鏡１３のフレーム部分を介して、術者２に装備される場合について説明したが、ＲＰＨＭＤ装置１２の位置ズレ抑制の観点からは、術者２の顔のその他の部位に装備させても良い。例えば、術者２の上顎の歯列にサージカルステントと同じようにＲＰＨＭＤ装置１２を固定すれば、位置ズレが生じる可能性をかなり低減することができる。
【００７４】
なお、上記様々な実施形態のうちの任意の実施形態を適宜組み合わせることにより、それぞれの有する効果を奏するようにすることができる。
【符号の説明】
【００７５】
２  術者
４  患者
６  インプラントドリル
１０  網膜投影型ヘッドマウントディスプレイを用いた手術ナビゲーションシステム
１２  網膜投影型ヘッドマウントディスプレイ装置（ＲＰＨＭＤ装置）
１３  眼鏡
１４  ３次元位置計測装置
１６  コンピュータ装置
１８  情報保持装置
２１  第１マーカ
２２  第２マーカ
２３  第３マーカ
２４  第４マーカ
【図５】
2010259497.tif 000028
【図１】
2010259497.tif 000029
【図２】
2010259497.tif 000030
【図３】
2010259497.tif 000031
【図４】
2010259497.tif 000032