(57)【要約】【課題】本発明は介入手術を実行するためのライブ３Ｄホログラフィックガイダンス及びナビゲーションを提供する。【解決手段】介入手術はライブ３Ｄホログラフィックガイダンス及びナビゲーションを利用して低侵襲的に実行することができる。有利的に、３Ｄホログラフィックガイダンス及びナビゲーションは標準的な２Ｄフラットパネル・スクリーン上での医学的画像の従来表示の制限を克服した。追跡された介入器具／装置をナビゲーションすることを可能にするために、ライブ３Ｄホログラフィックガイダンスは相補的なイメージングモード（例えば、超音波及びコンピュータ断層撮影）から導出された３Ｄホログラフィック可視化を利用して患者の体の一部の完全なホログラフィックビューを提供することができる。【選択図】図１
2021522918.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
プロセッサと頭部追跡機構とを有する物理的なヘッドマウント装置によってナビゲーションシステムの３Ｄデカルト座標で示されるライブ追跡データを受信し、前記ライブ追跡データは、超音波システムに接続される追跡された物理的超音波トランスデューサ／プローブと、追跡された物理的介入装置／器具と、物理的患者の特定解剖位置での物理的な基準位置センサーとの位置及び方向を含むステップと、
前記物理的なヘッドマウント装置によって、前記超音波システムに接続される前記物理的超音波トランスデューサ／プローブから取得したライブ画像ストリームを受信するステップと、
前記ヘッドマウント装置によって前記ライブ追跡データをヘッドセット座標系に変換するステップと、
前記ヘッドマウント装置によって、前記ライブ画像ストリームの前記ヘッドセット座標系におけるライブホログラフィック投影を表示し、前記超音波画像ストリームが前記追跡された物理的超音波プローブ／トランスデューサから前記プローブ／トランスデューサの追跡位置及び追跡方向に沿って拡張され、前記ライブホログラフィック投影が前記頭部追跡機構を利用して評価した操作者のビューに一致するように物理的解剖学的構造にスケーリングされるステップと、
前記ヘッドマウント装置によって、前記物理的患者の術前３Ｄコンピュータ断層撮影（ＣＴ）画像データから導出されたデジタル解剖学的対象を検索し、前記ＣＴ画像データがＣＴ座標系の３Ｄ座標で示されるステップと、
前記ヘッドマウント装置によって、前記デジタル解剖学的対象を前記３Ｄ  ＣＴ座標系から前記ヘッドセット座標系に変換するステップと、
前記ヘッドマウント装置によって、３Ｄベクトルによって前記ヘッドセット座標系における前記解剖学的対象を平行移動して、前記物理的患者の解剖学的変化を補正するようにし、前記３Ｄベクトルが前記ライブ画像ストリームの前記ライブホログラフィック投影上の３Ｄポイント位置及び前記ヘッドセット座標系に記憶される術前ＣＴ画像データ内の対応点に基づいて計算したものであるステップと、
前記ヘッドマウント装置によって、ホログラフィック可視化を表示し、前記ホログラフィック可視化は前記ライブ超音波画像ストリームの位置合わせ後のホログラフィック投影及びＣＴから導出されたホログラフィック解剖学的対象に一致する前記追跡された物理的介入装置／器具のホログラフィック表示を含み、前記頭部追跡機構により決定される視点から３つの前記ホログラフィック投影を利用して前記追跡された物理的超音波プローブをナビゲーションして前記物理的介入装置／器具を治療目標にガイダンスするステップと、を含む方法。
【請求項２】
前記ライブ追跡データは電磁センサーコイルの電磁追跡又は反射マーカーの光学追跡に基づくものである請求項１に記載の方法。
【請求項３】
前記電磁センサーコイル及び／又は前記反射マーカーは前記追跡された物理的超音波トランスデューサ／プローブ、前記追跡された物理的介入装置／器具、及び前記物理的な基準位置センサーの内部及び／又は上方に位置する請求項２に記載の方法。
【請求項４】
前記解剖学的変化は呼吸運動又は患者の総運動を含む請求項１に記載の方法。
【請求項５】
前記表示は、更に、前記３Ｄ解剖ホログラフィック投影内のガイダンス制御図形を利用して前記介入装置を表示するホログラフィック表示を含み、前記ガイダンス制御図形は前記患者の物理的解剖学的構造の一部を含む少なくとも一部の手術部位に関連する参照図形を含み、
前記ガイダンス制御図形及び前記参照図形は前記介入装置が前記患者の物理的解剖学的構造の前記部分を通って治療点に到達するようにナビゲーションすることを補助するように構成されている請求項１に記載の方法。
【請求項６】
前記物理的介入装置は経皮的非血管医療手術、血管内経皮的医療手術、又は開腹手術に使用される請求項１に記載の方法。
【請求項７】
前記ホログラフィック可視化は、前記患者の物理的解剖学的構造、前記超音波トランスデューサ／プローブ及び前記物理的介入装置に一致するように前記患者に立体的に投影される請求項１に記載の方法。
【請求項８】
前記方法は、更に、操作者の入力を受信した場合、前記ヘッドマウント装置によって前記患者の物理的解剖学的構造及び／又は前記物理的超音波トランスデューサ／プローブ及び／又は前記物理的介入装置に一致しない可視化を投影するとともに、前記ホログラフィック投影の共位置合わせを維持することを含む請求項７に記載の方法。
【請求項９】
前記方法は、更に、操作者の入力を受信した場合、前記ヘッドマウント装置によって前記ヘッドマウント装置からの追跡データに基づいて前記可視化を連続して再整列し、仮想表示を再配向するようにし、その表示を常に前記操作者に面するようにすることを含む請求項７に記載の方法。
【請求項１０】
前記方法は、更に、前記可視化が前記物理的解剖学的構造に対して平行移動、回転及び／又はスケーリングされる場合、ホログラフィック光線、前記ライブ超音波画像ストリームの前記位置合わせ後のホログラフィック投影、及びＣＴから導出された前記ホログラフィック解剖学的対象の共位置合わせを維持することを含む請求項７に記載の方法。
【請求項１１】
前記ホログラフィック光線と前記ライブ超音波画像ストリームの前記位置合わせ後のホログラフィック投影との交点が球状交点として表示される請求項１０に記載の方法。
【請求項１２】
前記方法は、更に、前記超音波プローブ及び前記介入器具をナビゲーションするとき、ホログラフィックシーンの回転を制限又は防止して、前記操作者の手と目の協調を維持するようにすることを含む請求項７に記載の方法。
【請求項１３】
ＣＴから導出された前記ホログラフィック解剖学的対象を投影して、前記ホログラフィック超音波平面を遮らない場合に可視化を実現するようにする請求項１に記載の方法。
【請求項１４】
前記ライブ超音波画像ストリームの前記位置合わせ後のホログラフィック投影は、局所回転、平行移動及びスケーリングを利用して予め較正され、前記患者の物理的解剖学的構造に一致して前記追跡された物理的介入装置から拡張するようにする請求項１に記載の方法。
【請求項１５】
記ライブ超音波画像ストリームの前記位置合わせ後のホログラフィック投影が前記局所回転、平行移動及びスケーリングを利用して自動的に再較正され、前記操作者が前記物理的超音波システムにおける前記スケール／深さの設定を調節するとき、前記位置合わせ後のホログラフィック投影が前記患者の物理的解剖学的構造との一致性を維持するようにする請求項１４に記載の方法。
【請求項１６】
操作者の入力に基づいて３Ｄポイントを識別して前記ライブ超音波画像ストリームの前記位置合わせ後のホログラフィック投影上に位置特定し、前記３Ｄポイントがイメージングされた腫瘍又は血管断面の中心である請求項１に記載の方法。
【請求項１７】
システムであって、
計算装置及びヘッドマウント装置を備え、
前記計算装置は物理的患者の術前３Ｄコンピュータ断層撮影（ＣＴ）画像データから導出されたデジタル解剖学的対象を記憶するためのメモリを有し、前記ＣＴ画像データがＣＴ座標系の３Ｄ座標で示され、
前記ヘッドマウント装置はプロセッサ及び頭部追跡機構を有し、
前記ヘッドマウント装置は、
ナビゲーションシステムの３Ｄデカルト座標で示されるライブ追跡データを受信し、前記ライブ追跡データが超音波システムに接続される追跡された物理的超音波トランスデューサ／プローブと、追跡された物理的介入装置／器具と、物理的患者の特定解剖位置での物理的な基準位置センサーとの位置及び方向を含むことと、
前記超音波システムに接続される前記物理的超音波トランスデューサ／プローブから取得したライブ画像ストリームを受信することと、
前記ライブ追跡データをヘッドセット座標系に変換することと、
前記ライブ画像ストリームの前記ヘッドセット座標系におけるライブホログラフィック投影を表示し、前記超音波画像ストリームが前記追跡された物理的超音波プローブ／トランスデューサから前記プローブ／トランスデューサの追跡位置及び方向に沿って拡張され、前記ライブホログラフィック投影が頭部追跡機構を利用して評価した操作者のビューに一致するようにスケーリングされることと、
前記デジタル解剖学的対象を検索することと、
前記デジタル解剖学的対象を前記ＣＴ座標系の３Ｄ座標から前記ヘッドセット座標系に変換することと、
３Ｄベクトルによって前記ヘッドセット座標系における前記解剖学的対象を平行移動して、前記物理的患者の解剖学的変化を補正するようにし、前記３Ｄベクトルが前記ライブ画像ストリームの前記ライブホログラフィック投影上の３Ｄポイント位置及び前記ヘッドセット座標系に記憶される術前ＣＴ画像データ内の対応点に基づいて計算したものであることと、
ホログラフィック可視化を表示し、前記ホログラフィック可視化は前記ライブ超音波画像ストリームの位置合わせ後のホログラフィック投影及びＣＴから導出されたホログラフィック解剖学的対象に一致する、前記追跡された物理的介入装置／器具のホログラフィック表示を含み、前記頭部追跡機構により決定される視点から３つの前記ホログラフィック投影を利用して前記追跡された物理的超音波プローブ位置特定して前記物理的介入装置／器具を治療目標にガイダンスすることとに用いられるシステム。
【請求項１８】
前記ライブ追跡データは電磁センサーコイルの電磁追跡及び／又は反射マーカーの光学追跡に基づくものであり、
前記電磁センサーコイル及び／又は前記反射マーカーが前記追跡された物理的超音波トランスデューサ／プローブ、前記追跡された物理的介入装置／器具及び前記物理的な基準位置センサーの内部及び／又は上方に位置する請求項１７に記載のシステム。
【請求項１９】
前記ホログラフィック可視化は、前記患者の物理的解剖学的構造、前記超音波トランスデューサ／プローブ及び前記物理的介入装置に一致するように前記患者に立体的に投影される請求項１７に記載のシステム。
【請求項２０】
操作者の入力を受信した場合、前記ヘッドマウント装置によって前記患者の物理的解剖学的構造及び／又は前記物理的超音波トランスデューサ／プローブ及び／又は前記物理的介入装置に一致しない可視化を投影するとともに、前記ホログラフィック投影の共位置合わせを維持することを更に含む請求項１９に記載のシステム。
【請求項２１】
操作者の入力を受信した場合、、前記ヘッドマウント装置によって前記ヘッドマウント装置からの追跡データに基づいて、常に前記操作者に面するように前記可視化を連続して再整列することを更に含む請求項１９に記載のシステム。
【請求項２２】
前記可視化が前記物理的解剖学的構造に対して平行移動、回転及び／又はスケーリングされる場合、ホログラフィック光線、前記ライブ超音波画像ストリームの前記位置合わせ後のホログラフィック投影、及びＣＴから導出された前記ホログラフィック解剖学的対象の共位置合わせを維持することを更に含む請求項１９に記載のシステム。
【請求項２３】
前記ホログラフィック光線と前記ライブ超音波画像ストリームの前記位置合わせ後のホログラフィック投影との交点が球状交点として表示される請求項２２に記載のシステム。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本願は、２０１８年５月７日に提出した、発明の名称「ＲＥＡＬ−ＴＩＭＥ（ＬＩＶＥ）３Ｄ  ＨＯＬＯＧＲＡＰＨＩＣ  ＧＵＩＤＡＮＣＥ  ＡＮＤ  ＮＡＶＩＧＡＴＩＯＮ  ＦＯＲ  ＰＥＲＦＯＲＭＩＮＧ  ＩＮＴＥＲＶＥＮＴＩＯＮＡＬ  ＰＲＯＣＥＤＵＲＥＳ」、出願番号第６２／６６７，６８７号の米国仮出願の優先権を主張する。本願は、更に、２０１９年５月７日に提出した、発明の名称「ＬＩＶＥ  ３Ｄ  ＨＯＬＯＧＲＡＰＨＩＣ  ＧＵＩＤＡＮＣＥ  ＡＮＤ  ＮＡＶＩＧＡＴＩＯＮ  ＦＯＲ  ＰＥＲＦＯＲＭＩＮＧ  ＩＮＴＥＲＶＥＮＴＩＯＮＡＬ  ＰＲＯＣＥＤＵＲＥＳ」、出願番号第１６／４０５，８７５号の米国特許出願の優先権を主張する。これらの出願の全内容は、すべての目的のために参照により本明細書に援用される。
【技術分野】
【０００２】
本開示は全体的に介入手術に関し、より具体的に、介入手術を実行するためのライブ三次元（３Ｄ）ホログラフィックガイダンス及びナビゲーションを提供するシステム及び方法に関する。
【背景技術】
【０００３】
画像ガイダンスは一般的に介入手術期間に医療手術に使用される介入器具／装置が患者の解剖学的構造を通って目標位置に到達する追跡を指す。患者の解剖学的構造は術前及び／又は術中画像で示され、且つ追跡された介入器具／装置が術前及び／又は術後画像に位置合わせされる。広範囲の診断及び治療手術に対して、超音波検査によって介入器具／装置を追跡することができる。ところが、超音波検査によって介入器具／装置を追跡することは画像ガイダンスを複雑にする。まず、超音波検査は患者の体内の介入器具／装置を追跡しかできず、介入器具／装置が患者の体に入る前に介入器具／装置を追跡することができない。患者の体に入ると、超音波プローブと、介入装置／器具と、目標位置と超音波プローブのイメージング面との間の関係が不明確になり、介入器具／装置と目標位置との位置合わせが複雑になる可能性がある。また、伝統的に、目標位置及び介入器具／装置の画像がテーブルサイドの平面２Ｄモニターに表示されており、これは介入器具の操作性を更に複雑化した。例えば、２Ｄディスプレイによって医療専門家が器具／装置の位置及び目標位置に対する器具／装置の軌跡を、器具の経路を補正するために必要な物理的軌跡に平行移動するように調整することができ、医療手術において、このような２Ｄから３Ｄまでの知能的な平行移動が相当に困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は介入手術を実行するためのライブ三次元（３Ｄ）ホログラフィックガイダンス及びナビゲーションを提供するシステム及び方法に関する。
【課題を解決するための手段】
【０００５】
一態様では、本開示は介入手術を実行するためのライブ３Ｄホログラフィックガイダンスを提供する方法を含んでもよい。該方法はプロセッサと頭部追跡機構とを有するヘッドマウント装置により実行されてもよく、該ヘッドマウント装置はナビゲーションシステムの３Ｄデカルト座標で示されるライブ追跡データを受信することができる。ライブ追跡データは、超音波システムに接続される追跡された物理的超音波トランスデューサ／プローブと、追跡された物理的介入装置／器具と、物理的患者上の特定解剖位置での物理的な基準位置センサーとの位置及び方向を含んでもよい。物理的なヘッドマウント装置は、超音波システムに接続される物理的超音波トランスデューサ／プローブから取得したライブ画像ストリームを受信することができ、ライブ追跡データをヘッドセット座標系に変換し、且つライブ画像ストリームのヘッドセット座標系におけるライブホログラフィック投影を表示する。超音波画像ストリームは追跡された物理的超音波プローブ／トランスデューサからプローブ／トランスデューサの追跡位置及び追跡方向に沿って拡張される。ライブホログラフィック投影は頭部追跡機構を利用して評価した操作者のビューに一致するように物理的解剖学的構造にスケーリングされる。次に、物理的なヘッドマウント装置は物理的患者の術前３Ｄコンピュータ断層撮影（ＣＴ）画像データから導出されたデジタル解剖学的対象を検索することができ、デジタル解剖学的対象を３Ｄ  ＣＴ座標系からヘッドセット座標系に変換し、ライブ画像ストリームのライブホログラフィック投影上の３Ｄポイント位置及びヘッドセット座標系に記憶される術前ＣＴ画像データ内の対応点に基づいて計算した３Ｄベクトルによってヘッドセット座標系における解剖学的対象を平行移動して、物理的患者の解剖学的変化を補正するようにし、ホログラフィック可視化を表示し、ホログラフィック可視化はライブ超音波画像ストリームの位置合わせ後のホログラフィック投影及びＣＴから導出されたホログラフィック解剖学的対象に一致する追跡された物理的介入装置／器具のホログラフィック表示を含む。頭部追跡機構により決定される視点から３つのホログラフィック投影を利用して追跡された物理的超音波プローブをナビゲーションして物理的介入装置／器具を治療目標にガイダンスする。
【０００６】
他の態様では、本開示は介入手術を実行するためのライブ３Ｄホログラフィックガイダンスを提供するシステムを含んでもよい。該システムは計算装置を備え、該計算装置はメモリを有し、該メモリは物理的患者の術前３Ｄコンピュータ断層撮影（ＣＴ）画像データから導出されたデジタル解剖学的対象を記憶する。ＣＴ画像データがＣＴ座標系の３Ｄ座標で示される。システムは更にヘッドマウント装置を備え、該ヘッドマウント装置は、プロセッサ及び頭部追跡機構を有し、ナビゲーションシステムの３Ｄデカルト座標で示されるライブ追跡データを受信し、ライブ追跡データが超音波システムに接続される追跡された物理的超音波トランスデューサ／プローブと、追跡された物理的介入装置／器具と、物理的患者上の特定解剖位置での物理的な基準位置センサーとの位置及び方向を含み、超音波システムに接続される物理的超音波トランスデューサ／プローブから取得したライブ画像ストリームを受信し、ライブ追跡データをヘッドセット座標系に変換し、ライブ画像ストリームのヘッドセット座標系におけるライブホログラフィック投影を表示し、超音波画像ストリームが追跡された物理的超音波プローブ／トランスデューサからプローブ／トランスデューサの追跡位置及び追跡方向に沿って拡張され、ライブホログラフィック投影が頭部追跡機構を利用して評価した操作者のビューに一致するようにスケーリングされ、デジタル解剖学的対象を検索し、デジタル解剖学的対象をＣＴ座標系の３Ｄ座標からヘッドセット座標系に変換し、ライブ画像ストリームのライブホログラフィック投影上の３Ｄポイント位置及びヘッドセット座標系に記憶される術前ＣＴ画像データ内の対応点に基づいて計算した３Ｄベクトルによってヘッドセット座標系における解剖学的対象を平行移動して、物理的患者の解剖学的変化を補正するようにし、ホログラフィック可視化を表示し、ホログラフィック可視化がライブ超音波画像ストリームの位置合わせ後のホログラフィック投影及びＣＴから導出されたホログラフィック解剖学的対象に一致する追跡された物理的介入装置／器具のホログラフィック表示を含み、頭部追跡機構により決定される視点から、３つのホログラフィック投影を利用して追跡された物理的超音波プローブを位置特定して物理的介入装置／器具を治療目標にガイダンスする。
【図面の簡単な説明】
【０００７】
図面を参照しながら以下の説明を読むことにより、本開示の上記特徴及び他の特徴は当業者にとって明らかになる。
【０００８】
【図１】図１は本開示の一態様に係る介入手術を実行するためのライブ三次元（３Ｄ）ホログラフィックガイダンス及びナビゲーションを提供するシステムの例を示すブロック図である。
【図２】図２は図１におけるヘッドマウント装置の例を示すブロック図である。
【図３】図３は本開示の他の態様に係る介入手術を実行するためのライブ３Ｄホログラフィックガイダンス及びナビゲーションを提供する例示的な方法の一部を示すフローチャートである。
【図４】図４は本開示の他の態様に係る介入手術を実行するためのライブ３Ｄホログラフィックガイダンス及びナビゲーションを提供する例示的な方法の別の部分を示すフローチャートである。
【図５】図５はライブ３Ｄホログラフィックガイダンスに使用される部材の画像である。
【図６】図６はライブ３Ｄホログラフィックガイダンスの例示的な使用を示す画像である。
【図７】図７は例示的なヘッドマウント装置の画像である。
【発明を実施するための形態】
【０００９】
Ｉ．定義
特に定義しない限り、本明細書に使用されるすべての専門用語は当業者が一般的に理解するものと同じ意味を有する。
【００１０】
本開示のコンテクストにおいて、上下の文脈において他の意味を明確に示していない限り、単数形式の「１つ」及び「該」は複数形式も含むように意図されている。
【００１１】
本明細書に使用される用語「含む」は述べられた特徴、ステップ、操作、素子及び／又は部材の存在を特定することができるが、１つ又は複数の他の特徴、ステップ、操作、素子、部材及び／又はグループの存在又は追加を排除しない。
【００１２】
本明細書に使用される用語「及び／又は」は関連する列挙したアイテムのうちの１つ又は複数の任意又は全部の組み合わせを含んでもよい。
【００１３】
また、用語「第１」、「第２」等は本明細書において様々な素子を説明することに用いられてもよいが、これらの素子はこれらの用語により制限されるべきではない。これらの用語は一方の素子と他方の素子とを区別することに用いられる。これにより、本開示の教示を逸脱せずに、以下に検討する「第１」素子は「第２」素子と称されてもよい。特に指摘しない限り、操作（又は、動作／ステップ）の順序は特許請求の範囲又は図面における順序に限らない。
【００１４】
本明細書に使用される用語「介入手術」は患者の体に入った診断又は治療に使用される医療手術を指す。介入手術は経皮的非血管手術（例えば、神経ブロック、生検、腫瘍アブレーション等）、経皮的血管手術（例えば、ステントグラフト術、仮想組織学、フラクショナルフローリザーブ等）又は開腹手術（例えば、僧帽弁置換、三尖弁置換、低侵襲手術等）であってもよい。
【００１５】
本明細書に使用される用語「介入器具／装置」及び「介入装置／器具」は介入手術を容易にするために患者の体内に使用されるいかなるツールを指す。
【００１６】
本明細書に使用される用語「追跡データ」はナビゲーションシステムによって追跡座標系で測定される、１つ又は複数の対象に対する観察に関連する情報を指し、且つ動きを受けてもしなくてもよい。対象には超音波システムに接続される追跡された物理的超音波トランスデューサ／プローブ、追跡された物理的介入装置／器具、物理的な基準位置センサー等を含んでもよい。
【００１７】
本明細書に使用される用語「追跡座標系」は１つ又は複数の数字を使用して特定追跡システムに特有の点又は他の幾何学的要素の位置を決定する３Ｄデカルト座標系を指す。例えば、追跡座標系は標準３Ｄデカルト座標系を回転、スケーリング等をしてなるものであってもよい。
【００１８】
本明細書に使用される用語「ヘッドマウント装置」又は「ヘッドセット」は頭部に着用するように構成される表示装置を指し、１つ又は複数の目の前に１つ又は複数の表示光学デバイス（レンズを含む）を有する。ヘッドマウント装置の例はマイクロソフトＨｏｌｏＬｅｎｓである。
【００１９】
本明細書に使用される用語「ヘッドセット座標系」又は「世界座標系」は１つ又は複数の数字を使用して特定ヘッドマウント装置システムに特有の点又は他の幾何学的要素の位置を決定する３Ｄデカルト座標系を指す。例えば、ヘッドセット座標系は標準３Ｄデカルト座標系を回転、スケーリング等をしてなるものであってもよい。
【００２０】
本明細書に使用される用語「イメージングストリーム」は患者の体の一部のリアルタイムな超音波検査画像を指す。
【００２１】
本明細書に使用される用語「解剖学的対象」は患者の体の一部の術前ＣＴ画像の離散部分を指す。いくつかの場合、解剖学的対象は場合によっては元の術前ＣＴ画像から取得されている。
【００２２】
本明細書に使用される用語「ＣＴ座標系」は１つ又は複数の数字を使用して特定ＣＴイメージングシステムに特有の点又は他の幾何学的要素の位置を決定する３Ｄデカルト座標系を指す。例えば、イメージング座標系は標準３Ｄデカルト座標系を回転、スケーリング等をしてなるものであってもよい。
【００２３】
本明細書に使用される用語「ホログラム」、「ホログラフィック投影」又は「ホログラフィック表示」はヘッドセットのレンズに投影されるコンピュータ生成画像を指す。一般的に、ホログラムは（拡張現実（ＡＲ）で）合成的に生成でき、物理的現実とは関係ない。
【００２４】
本明細書に使用される用語「物理的」は真実のものを指す。物理的なものはホログラフィックではない（又は、コンピュータで生成されたものではない）。
【００２５】
本明細書に使用される用語「二次元」又は「２Ｄ」は２つの物理的次元で示されるものを指す。
【００２６】
本明細書に使用される用語「三次元」又は「３Ｄ」は３つの物理的次元で示されるものを指す。「４Ｄ」である要素（例えば、３Ｄ＋時間次元）は、三次元又は３Ｄの定義に含まれる。
【００２７】
本明細書に使用される用語「リアルタイム」及び「ライブ」は過程又はイベントが発生した実際の時間を指す。つまり、リアルタイムイベントはライブで行われる（結果がフィードバックとして直ちに利用できるように、ミリ秒以内）。例えば、リアルタイムイベントはイベントが発生してから１００ミリ秒内に表示できる。
【００２８】
本明細書に使用される用語「深さ」は画像の患者の体内での深さの指標（例えば、センチメートルを単位とする）を指してもよい。深さはスケールに関連してもよい。
【００２９】
本明細書に使用される用語「被験者」及び「患者」は交換可能に使用されてもよく、且ついかなる脊椎動物を指す。
【００３０】
ＩＩ．概要
本開示は全体的に介入器具／装置が患者の体を通ってガイダンス又はナビゲーションされる介入手術に関する。従来、超音波検査（本明細書において、「超音波」、「超音波走査」、「エコー」及び類似の用語とも呼ばれる）によって介入器具／装置を追跡して画像ガイダンスを複雑化することとなり、これは、少なくとも、超音波検査が患者の体内の介入器具／装置しか追跡できず、介入器具／装置が患者の体に入る前に介入器具／装置を追跡できず、患者の体に入ると、超音波プローブと、介入装置／器具と、目標位置と超音波プローブのイメージング面との間の関係が不明確になり、介入器具／装置と目標位置との位置合わせが複雑になる可能性がある、且つ、従来、目標位置及び介入器具／装置の画像がテーブルサイドの平面２Ｄモニターに表示されており、このため、介入器具の操作性を更に複雑化した（例えば、医療専門家は器具／装置の位置及び目標位置に対する器具／装置の軌跡を、器具の経路を補正するために必要な物理的軌跡に平行移動するように調整するように要求される）。本開示は超音波検査によって患者の体を通る介入器具／装置を追跡することによる従来の複雑性を低減した。実際に、本開示は超音波ガイダンスの介入手術を実行するためのライブ三次元（３Ｄ）ホログラフィックガイダンス及びナビゲーションを提供するシステム及び方法を説明する。
【００３１】
３Ｄホログラフィック可視化はライブ超音波画像ストリームのホログラフィック投影及び術前画像から導出されたホログラフィック解剖学的対象と一致して表示される追跡された介入器具／装置のホログラフィック表示（すべてのデータが共有ホログラフィック座標系に変換される）を含んでもよい。特に、患者の解剖学的変化（例えば、呼吸）に適応するよう、ライブ超音波画像ストリーム（「ライブ画像ストリーム」とも呼ばれる）のライブホログラフィック投影上の３Ｄポイント位置及びヘッドセット座標系に記憶される術前ＣＴ画像データ内の対応点に基づいて計算した３Ｄベクトルによって解剖学的対象を平行移動する。
【００３２】
ＩＩＩ．システム
本開示の一態様はシステム１０（図１）を含んでもよく、該システム１０は患者（「物理的」患者とも呼ばれる）に対して介入手術を実行するためのライブ三次元（３Ｄ）ホログラフィックガイダンス及びナビゲーションを提供する。介入手術はイメージングモード（例えば、超音波検査、コンピュータ断層撮影等）を使用してガイダンスを提供するいかなる手術であってもよい。特に、介入器具の３Ｄホログラフィックガイダンス及びナビゲーションは２つのイメージングモードの融合（ライブ超音波画像及び術前コンピュータ断層撮影イメージングの融合）を含むことができる。例えば、超音波検査は患者の体に入った診断又は治療に関わるいかなる介入手術をガイダンスすることに用いられてもよく、該介入手術は経皮的非血管手術（例えば、神経ブロック、生検、腫瘍アブレーション等）、経皮的血管手術（例えば、ステントグラフト術、仮想組織学、フラクショナルフローリザーブ等）及び開腹手術（例えば、僧帽弁置換、三尖弁置換、低侵襲手術等）を含む。超音波検査によって介入装置をガイダンスするいかなる手術にライブ３Ｄホログラフィックガイダンス及びナビゲーションを提供することができる。
【００３３】
システム１０は拡張現実３Ｄホログラフィック表示を使用してライブ３Ｄホログラフィックガイダンス及びナビゲーションを提供することができ、従来の２Ｄガイダンスを代替したり、他の方式で従来の２Ｄガイダンスを強化したりすることができる。システム１０はヘッドマウント装置１を備えてもよく、該ヘッドマウント装置１は計算装置１３及び１４から受信された患者特定及び介入手術特定のデータに基づいて拡張現実３Ｄホログラフィック表示を生成するように構成されてもよい。注意されるべきのように、計算装置１３及び１４は独立した装置（いずれもヘッドマウント装置１に位置するもの、一方がヘッドマウント装置１に位置するが他方がヘッドマウント装置１を離れるもの、いずれもヘッドマウント装置１を離れるもの等）であってもよいが、同一装置の一部であってもよい。例として、ヘッドマウント装置は光学シースルーデバイスであってもよい。
【００３４】
計算装置１３は超音波システム１２（ライブ画像ストリームデータ）及びナビゲーションシステム１１（追跡データ）からデータを受信することができる。計算装置１３は有線接続及び／又は無線接続により超音波システム１２及びナビゲーションシステム１１に結合されてもよい。計算装置１３は更に有線接続及び／又は無線接続によりヘッドマウント装置１に結合されてもよい。計算装置１３とナビゲーションシステム１１、超音波システム１２及びヘッドマウント装置との接続は互いに独立していることができることを理解されたい。
【００３５】
超音波システム１２は介入手術期間に超音波トランスデューサ／プローブ（「物理的」超音波トランスデューサ／プローブとも呼ばれる）へ超音波信号を送信して超音波トランスデューサ／プローブＴ／Ｐからライブ画像ストリームを受信して、計算装置１３にライブ画像ストリームを提供することができる。例えば、超音波トランスデューサ／プローブＴ／ＰはＢ型プローブ、線形プローブ、血管内超音波プローブ又はいかなる他のタイプの超音波トランスデューサ又はプローブであってもよい。ライブ画像ストリームは２Ｄであってもよい。計算装置１３はライブ画像ストリームのライブデータを伝送するように構成される有線接続及び／又は無線接続により超音波システム１２に結合されてもよい。例えば、ライブデータストリームはＨＤＭＩ接続によって超音波システム１２と計算装置１３との間に伝送され得る。
【００３６】
ナビゲーションシステム１１は追跡装置Ｔ／ＰＳ、ＩＤＳ及びＬＳ（「物理的」追跡装置とも称ばれる）に関連するライブ追跡データを含む信号を受信して、ライブ追跡データを計算装置１３に送信することができる。１つ又は複数の追跡装置Ｔ／ＰＳは超音波トランスデューサ／プローブＴ／Ｐ上及び／又は内に位置してもよい。１つ又は複数の追跡装置ＩＤＳは介入手術期間に使用される介入装置ＩＤ上及び／又は内に位置してもよい。１つ又は複数の追跡装置ＬＳは患者の体の上及び／又は近傍の固定点に位置してもよい。例えば、１つ又は複数の追跡装置ＬＳは患者の体の基準位置に位置してもよい。他の例として、１つ又は複数の追跡装置ＬＳは患者の体の外部の位置に位置してもよい。別の例として、１つ又は複数の追跡装置ＬＳは患者の体の基準位置及び患者の体の外部の位置に位置してもよい。追跡データは複数の追跡装置Ｔ／ＰＳ、ＩＤＳ及びＬＳのそれぞれからの位置情報及び方向情報（いずれも三次元である）を含んでもよい。ナビゲーションシステム１１は追跡のための信号を生成する（例えば、部材からの信号に基づいて追跡データを生成することができる）ための部材を備えてもよい。例えば、部材は電磁場を生成することができる電磁（ＥＭ）フィールドジェネレーターと、追跡データを生成することで応答するセンサー（例えば、コイルセンサー）である追跡装置Ｔ／ＰＳ、ＩＤＳ及びＬＳとを含んでもよい。他の例として、部材は光発生器と、追跡データを提供するように光学的に追跡する反射マーカーであり得る追跡装置Ｔ／ＰＳ、ＩＤＳ及びＬＳとを含んでもよい。計算装置１３は追跡データのライブデータを伝送するように構成される有線接続及び／又は無線接続によりナビゲーションシステム１１に結合されてもよい。例えば、追跡データは直列接続によりナビゲーションシステム１１と計算装置１３との間に伝送されてもよい。注意されるべきのように、本明細書に記載のナビゲーションシステム１１は基準マーカーを用いる追跡を利用してもよい。理解されるべきのように、本開示の趣旨を逸脱しない限り、他のナビゲーション及び追跡メカニズムを用いてもよい。
【００３７】
計算装置１４は患者の解剖学的構造に関連する術前データ（例えば、例えば画像分離により術前コンピュータ断層撮影ＰＣＴ画像及び／又は術前コンピュータ断層撮影画像ＰＣＴから導出された解剖学的対象ＡＯ）をヘッドマウント装置１に提供することができる。例えば、解剖学的対象ＡＯは患者の体の一部のＣＴに基づくホログラムであってもよい。計算装置１４は有線接続及び／又は無線接続によりヘッドマウント装置に接続されてもよい。いくつかの場合、計算装置１４（又は、他の計算装置）は治療計画に関連する情報をヘッドマウント装置１に提供することができ、該治療計画が介入手術に関連する。治療計画に応じて、ヘッドマウント装置１は手術部位への投影、動的位置合わせ、計画及び追跡したＨＬＲ、並びに介入手術の発生のためのホログラフィック領域を提供することができる。
【００３８】
ヘッドマウント装置１の表示は図２に示される。ヘッドマウント装置１は非一時的メモリ２及び処理ユニット３（１つ又は複数のハードウェアプロセッサを有してもよい）を備えてもよく、ホログラフィック表示の生成及び表示を補助するよう、処理ユニット３は非一時的メモリ２にアクセスしてその中に記憶される命令を実行することができる。例えば、非一時的メモリ２は変換７、平行移動補正８（又は、調整）及びホログラフィック投影９等の命令を記憶することができ、これらの命令が処理ユニット３により実行されてもよい。ヘッドマウント装置１は更に計算装置１３及び１４と双方向通信を行う入力／出力（Ｉ／Ｏ）４を備えてもよい。また、ヘッドマウント装置１は３Ｄホログラムの表示を促進することができるプロジェクターを備えてもよい。さらに、ヘッドマウント装置１は、更に、ヘッドマウント装置１を着用しているある人の頭の運動に基づいて様々な動作の実行を補助することができる頭部追跡機構６を備えてもよい。ヘッドマウント装置１は更に他の部材、例えばカメラ及び／又は他の可視化及び／又は記録素子を備えてもよい。
【００３９】
以下、ヘッドマウント装置１の操作の例を説明する。Ｉ／Ｏ４（無線送信機及び／又は受信機であってもよい）を介して、ヘッドマウント装置１は計算装置１３からのライブ追跡データ及びライブ画像ストリーム、並びに計算装置１４からの術前データ（例えば、術前コンピュータ断層撮影ＰＣＴ画像及び／又は術前コンピュータ断層撮影ＰＣＴ及び／又は治療計画から導出された解剖学的対象ＡＯ）を受信することができる。ライブ追跡データは追跡座標系の座標の形式を用いる。少なくとも一部の術前データは一般的にＣＴ座標系の座標の形式を用いる。
【００４０】
非一時的メモリ２に記憶されて処理ユニット３により実行される変換７の命令は受信されたすべてのデータを共有座標系（ヘッドセット座標系）に変換することができる。例えば、ライブ追跡データは追跡座標系の座標からヘッドセット座標系の共有座標に変換されてもよく、術前データはＣＴ座標系の座標からヘッドセット座標系の共有座標に変換されてもよい。
【００４１】
非一時的メモリ２に記憶されて処理ユニット３により実行されるホログラフィック投影９の命令は拡張現実３Ｄホログラフィック表示を生成することに用いられてもよい。拡張現実３Ｄホログラフィック表示はライブホログラフィック画像ストリームのヘッドセット座標系におけるライブホログラフィック投影を含んでもよい。患者の物理的解剖学的構造との一致性を維持するよう、ライブ画像ストリームは局所回転、平行移動及びスケーリングを利用して予め較正され、自動的に再較正されてもよい。例えば、ライブ画像ストリームのライブホログラフィック投影は追跡された物理的超音波プローブ／トランスデューサからプローブ／トランスデューサの追跡位置及び追跡方向に沿って拡張されてもよく、且つライブホログラフィック投影は頭部追跡機構を利用して評価した操作者のビューに一致する物理的解剖学的構造にスケーリングされてもよい。拡張現実３Ｄホログラフィック表示は更にライブホログラフィック投影に位置合わせされる解剖学的対象のホログラフィック投影を含んでもよい。ホログラフィック超音波平面を遮らない場合に可視化を行うことを可能にするように、解剖学的対象を投影することができる。拡張現実３Ｄホログラフィック表示はライブ超音波画像ストリームの位置合わせ後のホログラフィック投影に一致する追跡された物理的介入装置／器具のホログラフィック表示を含んでもよく、それはまた、解剖学的対象の位置合わせ後のホログラフィック投影に一致してもよい。
【００４２】
患者の解剖学的構造の少なくとも一部に対応する手術部位に関連する参照図形（治療計画に基づくものであってもよい）及び他のガイダンス制御図形を利用して追跡された物理的介入装置のホログラフィック表示を表示することができる。参照図形及びガイダンス制御図形はガイダンス（例えば、視覚的ガイダンス（図示、タイプ、注釈等）及び／又は聴覚的ガイダンス）を提供することができ、ホログラフィックガイダンスを使用して（３Ｄ解剖ホログラフィック投影及び介入装置の３Ｄホログラフィック表示を使用して）物理的介入装置が患者の解剖学的構造を通ることを追跡する。例えば、参照図形に関連する線（又は、図形）とガイダンス制御図形に関連する線（又は、図形）とが交差する場合、物理的介入装置は物理的介入装置が血管系内に置かれるように促進する軌跡に位置合わせされてもよい。これは目標位置又は方向からの距離及び／又は角度偏差を報告するホログラフィック注釈に伴い得る。参照図形及びガイダンス制御図形はイベントにより駆動されるガイダンスを提供することができる。例えば、ステントが患者の血管系内に位置する場合、参照図形及びガイダンス制御図形はステントが移動するにつれて聴覚及び／又は視覚的ガイダンスを提供することができる。ステントが移動するにつれて患者の血管ツリーを通って、ビープ音によってステントが目標位置に接近することを示してもよい。同様に、図形はステントの位置及び方向のライブ注釈を提供し、及び／又は目標位置との交差を示すことができる。つまり、イベント駆動型ガイダンスは１つ又は複数のイベントにより駆動される信号を使用して、それらがいつ正しい軌道に位置するかをユーザーに通知することができる。
【００４３】
プロジェクター５サブシステムは拡張現実３Ｄホログラフィック表示を表示することができる。例えば、３Ｄホログラフィック表示は患者の物理的解剖学的構造に一致するように、可視化として患者に立体的に投影されてもよい。可視化は頭部追跡機構６からの入力及び／又は聴覚入力によりスケーリング及び／又は移動され得る。また、視点は頭部追跡機構６（加速度計、ジャイロスコープ及び／又は磁力計によりヘッドマウントディスプレイ１内の頭部を追跡することができる）からの入力によって決定されてもよい。操作者の入力を受信した場合、ヘッドマウント装置により投影され、可視化は患者の物理的解剖学的構造及び／又は物理的超音波トランスデューサ／プローブ及び／又は物理的介入装置に一致しないように表示され得るとともに、ホログラフィック投影の共位置合わせを維持する。他の操作者の入力を受信した場合、可視化は頭部追跡機構６からの追跡データに基づいて連続して再整列し、仮想表示を再配向するようにし、その表示を常に操作者に面するようにすることができる。他の操作者の入力を受信した場合、可視化は物理的解剖学的構造に対して平行移動、回転及び／又はスケーリングされてもよく、且つ素子は共位置合わせされてもよい。超音波トランスデューサ／プローブ（Ｔ／Ｐ）及び介入装置（ＩＤ）をナビゲーションする際に操作者の手と目の協調を維持するよう、ホログラフィックシーンの回転を制限又は防止することができる。入力に基づき、追跡された物理的超音波プローブ（Ｔ／Ｐ）は物理的介入装置／器具（ＩＤ）が治療目標に到達するように追跡及びガイダンスすることに用いられてもよい（術前計画情報により決定される）。
【００４４】
物理的患者の解剖学的変化（例えば、呼吸運動、患者の総運動等）に対して補正を行うよう、非一時的メモリ２に記憶されて処理ユニット３により実行される平行移動補正８の命令は術前データに使用されてもよい。ＣＴと超音波との位置合わせを改善するために、平行移動補正８の命令は３Ｄ平行移動及び調節の実行を補助する。例として、平行移動８の命令は術前ＣＴ画像とライブ超音波画像との位置合わせを強化することに用いられてもよい。ヘッドセット座標系における術前解剖学的対象（ＡＯ）は３Ｄベクトルにより平行移動されてもよく、該３Ｄベクトルはヘッドセット座標系におけるライブ画像ストリームのライブホログラフィック投影上の３Ｄポイント位置及びヘッドセット座標系における術前ＣＴ画像データ内の対応点に基づいて計算したものである。ポイント位置は操作者の入力のライブ超音波画像におけるホログラフィック投影に基づいて識別・位置特定されてもよい。例えば、該ポイントはイメージングされた腫瘍又は血管断面の中心であってもよい。
【００４５】
ＩＶ．方法
本開示の他の態様は超音波ガイダンスの介入手術を実行するためのライブ３Ｄホログラフィックガイダンス及びナビゲーションを提供する方法を含んでもよい。該方法は一部の方法３０及び４０として図３及び図４に分けられる。方法３０及び４０はハードウェアにより実行され、例えば上記図１及び図２におけるヘッドマウント装置１により実行されてもよい。
【００４６】
方法３０及び４０は例示的なフローチャートを有するフローチャートとして例示される。簡単のために、方法３０及び４０は順に実行されるように説明されるが、理解・把握されるべきのように、いくつかのステップが異なる順序で行われ、及び／又は本明細書に説明される他のステップと同時に行われてもよいため、本開示は例示的な順序により制限されない。且つ、すべての例示的な態様は方法３０及び４０を実施するために必要とされるわけではない。また、方法３０及び４０を実施する１つ又は複数の素子、例えば図１及び図２におけるヘッドマウント装置１は、ホログラフィック画像ガイダンスを促進することができる頭部追跡機構、非一時的メモリ及び１つ又は複数のプロセッサを備えてもよい。
【００４７】
図３には、超音波ガイダンスの介入手術を実行するためのライブ３Ｄホログラフィックガイダンス及びナビゲーションを提供する方法の一部である方法３０を示す。ステップ３２では、（ヘッドマウント装置１によって）ナビゲーションシステムの３Ｄデカルト座標で示されるライブデータ（例えば、ナビゲーションシステム１１がヘッドマウント装置１に提供した超音波トランスデューサプローブＴ／ＰＳ上のセンサー、介入装置ＩＤＳ上／内のセンサー、及び基準位置ＬＳでのセンサーからのライブ追跡データ）を受信することができる。注意されるべきのように、本明細書に記載のナビゲーションシステム１１は基準マーカーを用いる追跡を利用してもよい。理解されるべきのように、本開示の趣旨を逸脱しない限り、他のナビゲーション及び追跡メカニズムを用いてもよい。ステップ３４では、（ヘッドマウント装置１によって）ライブ追跡データをヘッドセット座標系に変換することができる。ステップ３６では、（ヘッドマウント装置１によって）（超音波トランスデューサ／プローブＴ／Ｐから取得した）ライブ画像ストリームを受信することができる。ステップ３８では、（ヘッドマウント装置１によって）ライブ画像ストリームのヘッドセット座標系におけるライブホログラフィック投影（ライブ追跡データの少なくとも一部により決定される）を介入装置のヘッドセット座標系における他のライブホログラフィック表示とともに表示することができる。
【００４８】
超音波ガイダンスの介入手術を実行するためのライブ３Ｄホログラフィックガイダンス及びナビゲーションを提供する方法は、図４における方法４０に継続する。ステップ４２では、（ヘッドマウント装置１によって）患者の術前コンピュータ断層撮影（例えば、ＰＣＴ）画像データ（例えば、画像分離により）から導出されたデジタル解剖学的対象（例えば、ＡＯ）を受信することができる。ステップ４４では、（ヘッドマウント装置１によって）デジタル解剖学的対象をヘッドセット座標系に変換することができる。ステップ４６では、患者の解剖学的変化を補正するよう、（ヘッドマウント装置１によって）３Ｄベクトルによってヘッドセット座標系におけるデジタル解剖学的対象を平行移動することができる。３Ｄベクトルはユーザーがホログラフィック超音波から選択したホログラフィック解剖学的対象に関連する３Ｄポイントに基づくものであってもよい。ステップ４８では、（ヘッドマウント装置１によって）３Ｄホログラフィック可視化を表示してホログラフィックガイダンスに使用することができる。３Ｄホログラフィック可視化はライブ超音波ストリームの３Ｄホログラフィック投影及びデジタル解剖学的対象の３Ｄホログラフィック投影に位置合わせされる介入装置／器具の３Ｄ表示を含んでもよい。可視化は患者の物理的解剖学的構造に一致するように、可視化として患者に立体的に投影されてもよい。可視化は頭部追跡機構６からの入力及び／又は聴覚入力によりスケーリング及び／又は移動されてもよい。介入装置が患者の解剖学的構造を通るようにガイダンスするために、可視化は更にガイダンス制御図形及び／又は参照図形を含んでもよい。
【００４９】
Ｖ．例示的な設置
図５〜図７には図１におけるシステム１０の台式実験の使用を示す。図５には外科手術に使用される腹部を有する人体模型本体を示す。４つの位置センサー（ＬＳ）は患者の体の基準位置に配置される。更に超音波プローブ及び外科器具を提供し、それらがいずれも追跡センサー（Ｔ／ＰＳ及びＩＤＳ）を有する。図６にはホログラフィック表示と組み合わせられる図５における素子の使用を示す。図７にはマイクロソフトＨｏｌｏＬｅｎｓを示し、該マイクロソフトＨｏｌｏＬｅｎｓはヘッドマウント装置１として使用され、図６におけるホログラフィック表示を提供することに用いられる。以下、例に使用できる技術を検討する。
【００５０】
ＶＩ．例示的な技術
ホログラフィック超音波平面上のユーザーの指定した３Ｄポイント位置
操作者はホログラフィック超音波平面上にポイントを位置特定することができる。カーソル位置は平面上の位置を「注視」することで調節されてもよい。操作者が同じ位置を一定期間注視すれば、該位置にペレットを置いてもよい。例えば、該位置はホログラフィック超音波平面（ＨＵＰ）に投影された腫瘍の中心であってもよい。
【００５１】
ＨＵＰ上のポイント位置Ｐｈｕｐは以下の組織標的バリデーションテストに使用されてもよい。３Ｄポイントも介入器具ＨＬＲ、物理先端から前記器具の軌跡に沿って外向きに延在する線分とＨＵＰとの交点に位置すると仮定すれば、この２つのポイントの距離を計算してホログラフィックテキストで報告することができる。
【００５２】
共通ソース点でのライブ超音波に対するＣＴ位置合わせ補正
ポイント位置Ｐｈｕｐは２つのホログラフィックイメージングタイプ、例えば超音波（リアルタイム平面）及びＣＴ（術前３Ｄ容積）を空間的に位置合わせすることに用いられてもよい。腫瘍の中心ＰＴＣＴは術前処理段階に位置特定されてもよい。ＣＴ及びＨＵＰが手術を始める際にいずれもＨｏｌｏＬｅｎｓ（図７を参照）座標に変換されるため、ＣＴから導出されたホログラム（分離された腫瘍を含んでもよいだけでなく、更に器官及び血管を含んでもよい）はＰＴＣＴ−Ｐｈｕｐとして計算したベクトルＰｈｕｐによって平行移動されてもよい。ＣＴ画像の平行移動距離を記録することができる。ＣＴデータセットが１つ以上の腫瘍を含む場合、各腫瘍は関連する中心点を有し、そうすると、腫瘍特定の方式で位置合わせ補正を実行してもよい。より一般的に、超音波及びＣＴホログラムから識別された共通ソース点及び特徴は剛性アフィン変換によりＣＴとＵＳ画像ホログラムとの位置合わせを改善することに用いられてもよく、ひいては弾性（非剛性）変換を用いてもよい。
【００５３】
融合された（ＣＴ／ＵＳ／ＨＬＲ）ホログラフィックデカルト容積のスケールアップ
拡張及び複合現実（ＡＲ／ＭＲ）に対して、患者特定のホログラム及び装置のホログラムは一般的に互いに（ホログラフィック座標の形式で）位置合わせされ、次に患者に立体的に投影される（患者に位置合わせされる）が、従来の画像ガイダンスシステムは物理的解剖及び装置画像と表示される解剖及び装置画像との対応関係を確立したが、患者ではなく２Ｄモニターに表示される。ホログラムを物理空間（患者の座標）に一致するために、それらを同じ（すなわち、同一）尺度にしなければならない。装置及び解剖（ＨＵＰを含む）ホログラムを患者に投影することは、１）装置を目標組織にナビゲーションするための最適な目と手の協調、２）独立した２Ｄモニターから画像を観察する必要がない、３）拡張現実と物理的現実との一致性の利点を有する。いくつかのアプリケーションに対して、特に光学シースルーデバイス（ＯＳＤ）に対してホログラフィックコンテンツの改良された３Ｄ可視化を提供することができる。ＯＳＤに対して、ホログラムを可視化するための品質はその背景により決定され、且ついくつかの場合に患者への投影が最適でない場合がある。
【００５４】
患者に投影されたホログラムは（例えば、患者の前／上方の空間に）平行移動されて一箇所に（２倍に）スケーリングされてもよく、該箇所は改良された背景を有し、又は、１）装置とマルチモードホログラムとの位置合わせ、２）装置を目標にナビゲーションする目と手の協調を維持すると同時に、より快適になる。ホログラムがスケーリング・平行移動される場合、目と手の協調が維持されるが、ホログラムが患者に投影される時のように関連しない。ホログラムは物理的解剖学的構造に対して回転され得るが、目と手の協調を更に関連付けないようにする。例えば、ホログラフィック超音波平面は操作者の観察方向に従って回転され、つまり常に操作者に向かってもよい。これは目と手の協調を破壊するが、操作者は２Ｄディスプレイが固定位置に位置する場合に前記ディスプレイを繰り返し見ることに邪魔する。
【００５５】
操作者は任意選択でスケールアップ／平行移動／回転したビューと患者の投影とを繰り返し切り換えることができる。これはヘッドマウントディスプレイ（例えば、ホログラフィックダッシュボード）上の音声命令又は他の入力を利用して実施してもよい。
【００５６】
アンスケールホログラフィック超音波平面の深さの調節
超音波装置の深さ調節ノブは画像のスケールを制御・変更する。深さを（例えば、８ｃｍまで）増加すると、超音波画像がスケーリングされ２Ｄモニターに表示されて、画像の垂直長さ（例えば、１０２４ピクセル）を８ｃｍに対応する。従って、本明細書に使用されるキャプチャされたフレーム画像も８ｃｍの深さに対応する。このような場合、深さを調節することによりＨＵＰをスケーリングしなければならない。
【００５７】
これはヘッドマウントディスプレイ上の音声命令に基づいて行ってもよい。操作者は他の用語（例えば、「８」又は「１０」）の深さを指定して深さの設定を指定してもよい。ホログラフィックが患者に投影される場合、ＨＵＰのスケール及び物理フィールドを維持する（同一スケール要素を仮定する）。
【００５８】
ホログラフィック画像平面の物理的トランスデューサへの較正
超音波トランスデューサに対してホログラフィック超音波平面ＨＵＰを位置特定するために、製造中に調節可能な６自由度変換を提供することができ、ＨＵＰを物理的トランスデューサから正確に拡張させる。６つのスライドバーの入力は変換を交互に決定することに用いられてもよい。スライドバーからの変換は超音波アレイの中心先端を位置特定することに用いられる。３軸回転及び３軸平行移動の調節を行うようにホログラフィックラインでＨＵＰを描く。各トランスデューサタイプ及びメーカーのために追跡されたトランスデューサの６自由度変換を記憶することができる。超音波画像が超音波プローブに対応するものに変換される。
【００５９】
ホログラフィックＣＴ及び超音波可視化のため方法
ＨＵＰと３Ｄ  ＣＴとを組み合わせる場合、ＣＴホログラム（分離に基づく）結果はＨＵＰ上のエコー病変（ＶＩＤＥＯ：ＳＣＡＬＥ  ＵＰ  ＡＤＪ  ＣＴ）を潜在的にファジーにする恐れがある。これは、透明材料をＣＴに基づくホログラム（例えば、腫瘍、器官及び血管）に使用することで防止できる。他の方法としては、表面をワイヤフレームシェーダーに投影し、ＣＴホログラムに一致するようにエコー病変を観察することを可能にする。別の方法としては、ＨＵＰ上のエコー特徴を観察するよう、ＣＴに基づくホログラムを開いたり、閉じたりする。
【００６０】
以上の説明によれば、当業者が改良、変更や修正を理解するであろう。このような改良、変更や修正は当業者の技術の範囲内であり、且つ添付の特許請求の範囲によって保護されるものであることが意図されている。本明細書に援用されるすべての特許、特許出願及び公報の全内容は、いずれも参照により本明細書に援用される。
【図１】
2021522918.tif 000003
【図２】
2021522918.tif 000004
【図３】
2021522918.tif 000005
【図４】
2021522918.tif 000006
【図５】
2021522918.tif 000007
【図６】
2021522918.tif 000008
【図７】
2021522918.tif 000009
【手続補正書】
【提出日】令和3年1月7日(2021.1.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
システムであって、
計算装置及びヘッドマウント装置を備え、
前記計算装置は物理的患者の術前３Ｄコンピュータ断層撮影（ＣＴ）画像データから導出されたデジタル解剖学的対象を記憶するためのメモリを有し、前記ＣＴ画像データがＣＴ座標系の３Ｄ座標で示され、
前記ヘッドマウント装置はプロセッサ、ヘッドマウントディスプレイ及び頭部追跡機構を有し、
前記ヘッドマウント装置は、
手術からのナビゲーションシステムの３Ｄデカルト座標で示されるライブ追跡データを受信し、前記ライブ追跡データが超音波システムに接続される追跡された物理的超音波トランスデューサ／プローブと、追跡された物理的介入装置／器具と、物理的患者の特定解剖位置での物理的な基準位置センサーとの位置及び方向を含むことと、
前記超音波システムに接続される前記物理的超音波トランスデューサ／プローブから取得したライブ超音波画像ストリームを受信することと、
前記ライブ超音波画像ストリームをヘッドセット座標系に変換することと、
前記ライブ追跡データをヘッドセット座標系に変換することと、
前記ヘッドマウントディスプレイに前記ライブ超音波画像ストリームの前記ヘッドセット座標系におけるライブホログラフィック投影を表示し、前記超音波画像ストリームの前記ライブホログラフィック投影が前記トランスデューサ／プローブの追跡位置及び方向に基づくものであり、前記ライブホログラフィック投影が頭部追跡機構を利用して評価した操作者のビューに一致するようにスケーリングされることと、
前記デジタル解剖学的対象を検索することと、
前記デジタル解剖学的対象を前記ＣＴ座標系の３Ｄ座標から前記ヘッドセット座標系に変換することと、
３Ｄベクトルによって前記ヘッドセット座標系における前記解剖学的対象を平行移動して、前記手術期間の前記物理的患者のライブ解剖学的運動を補正するようにし、前記３Ｄベクトルが前記ライブ画像ストリームの前記ライブホログラフィック投影上の３Ｄポイント位置及び前記ヘッドセット座標系に記憶される術前ＣＴ画像データ内の対応点に基づいて計算したものであることと、
前記ヘッドマウントディスプレイにホログラフィック可視化を表示し、前記ホログラフィック可視化は前記ライブ超音波画像ストリームの位置合わせ後のホログラフィック投影及びＣＴから導出されたホログラフィック解剖学的対象に一致する、前記追跡された物理的介入装置／器具のホログラフィック表示を含み、前記ホログラフィック可視化を利用して前記追跡された物理的超音波トランスデューサ／プローブを位置特定して前記物理的介入装置／器具を治療目標にガイダンスすることとに用いられるシステム。
【請求項２】
前記ライブ追跡データは電磁センサーコイルの電磁追跡及び／又は反射マーカーの光学追跡に基づくものであり、
前記電磁センサーコイル及び／又は前記反射マーカーが前記追跡された物理的超音波トランスデューサ／プローブ、前記追跡された物理的介入装置／器具及び前記物理的な基準位置センサーの内部及び／又は上方に位置する請求項１に記載のシステム。
【請求項３】
前記ホログラフィック可視化は、前記患者の物理的解剖学的構造、前記超音波トランスデューサ／プローブ及び前記物理的介入装置／器具に一致するように前記患者に立体的に投影される請求項１に記載のシステム。
【請求項４】
操作者の入力を受信した場合、前記ヘッドマウント装置によって前記患者の物理的解剖学的構造及び／又は前記物理的超音波トランスデューサ／プローブ及び／又は前記物理的介入装置／器具に一致しない可視化を投影するとともに、前記ホログラフィック投影の共位置合わせを維持することを更に含む請求項３に記載のシステム。
【請求項５】
操作者の入力を受信した場合、、前記ヘッドマウント装置によって前記ヘッドマウント装置からの追跡データに基づいて、常に前記操作者に面するように前記可視化を連続して再整列することを更に含む請求項３に記載のシステム。
【請求項６】
前記可視化が前記物理的解剖学的構造に対して平行移動、回転及び／又はスケーリングされる場合、ホログラフィック光線、前記ライブ超音波画像ストリームの前記位置合わせ後のホログラフィック投影、及びＣＴから導出された前記ホログラフィック解剖学的対象の共位置合わせを維持することを更に含む請求項３に記載のシステム。
【請求項７】
前記ホログラフィック光線と前記ライブ超音波画像ストリームの前記位置合わせ後のホログラフィック投影との交点が球状交点として表示される請求項６に記載のシステム。
【国際調査報告】
2021522918.tif 000010
2021522918.tif 000011
2021522918.tif 000012