(57)【要約】  手術前及び手術中の３Ｄ患者画像を手術中に観察するための方法及び装置が開示される。
2019502414.tif 000002
【特許請求の範囲】
【請求項１】
外科医による３次元（３Ｄ）患者画像の手術中観察のための方法であって、
患者の３Ｄ表面画像又はシミュレーションされた３Ｄ仮想モデルを処理して、外科手術中に使用される外科手術の参照又は計画を生成するステップと、
前記外科医による手術中観察のために、前記画像若しくは前記モデルを前記患者に投影し、且つ／又は前記画像若しくはモデルを表示するステップと
を含む、外科医による３次元患者画像の手術中観察のための方法。
【請求項２】
前記３Ｄ表面画像は前記患者の手術前の画像であるか、又は前記シミュレーションされた３Ｄ仮想モデルは前記患者の手術前のモデルである、請求項１に記載の方法。
【請求項３】
３Ｄ患者画像が外科手術中に取得されるか、又は前記シミュレーションされた３Ｄ仮想モデルが、外科手術中に取得される画像を使用する、請求項１又は２に記載の方法。
【請求項４】
手術中の表面画像が、手術結果及びさらなる外科手術の修正の必要性を評価するためにベースラインの画像又はベースラインの外科手術計画と比較される、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記３Ｄ患者画像は、３Ｄ写真技術、レーザ表面走査、立体視、又は立体写真測量によって取得される、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記画像を処理するステップは、患者の体表解剖学的構造の解析を含む、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記体表解剖学的構造の解析は、表面の目印及び／若しくは平面の測定、目印及び／若しくは平面間の距離の測定、容積測定、並びに／又は対称解析を含む、請求項６に記載の方法。
【請求項８】
前記画像を処理するステップは、単一画像の１つ若しくは複数の領域の比較、又は１つ若しくは複数の固有画像の比較を含む、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記画像又はモデルは、前記患者に投影される、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記画像又はモデルは、符号化され得るか、前記患者に投影され得るか、又は前記患者にマーキングされ得る、外科手術用のマップ又はガイドを含む、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
前記画像又はモデルは、携帯式又は固定式であり得る投影システムを使用して投影される、請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
前記画像又は前記モデルは、手術室内の画面又は３Ｄビューアに表示される、請求項１〜８のいずれか一項に記載の方法。
【請求項１３】
前記３Ｄビューアは、壁取付け型の画面又は移動可能なタワー型画面若しくはウェアラブルギアである、請求項１２に記載の方法。
【請求項１４】
前記画像又は前記モデルの向きは、前記患者又は対象となる別の全体像に対する前記外科医の視点に対応するように調整される、請求項１２又は１３に記載の方法。
【請求項１５】
前記患者又は対象となる全体像に対する前記外科医の視点は、前記外科医に直接的又は間接的に取り付けられた１つ又は複数の赤外線放射装置を使用して決定される、請求項１４に記載の方法。
【請求項１６】
固定赤外線カメラが、赤外線源を位置座標に変換するために使用される、請求項１５に記載の方法。
【請求項１７】
外科手術が前記患者に実行される、請求項１〜１６のいずれか一項に記載の方法。
【請求項１８】
外科手術が、前記患者の顔、頭部、頸部、口腔、又は胸部に実行される、請求項１７に記載の方法。
【請求項１９】
外科医による３次元（３Ｄ）患者画像の手術中観察のためのシステムであって、
患者の３Ｄ表面画像又はシミュレーションされた３Ｄ仮想モデルを処理して、外科手術中に使用される外科手術の参照又は計画を生成するためのディジタルプロセッサと、
前記外科医による手術中観察のために、前記画像若しくは前記モデルを前記患者に投影し、且つ／又は前記画像若しくはモデルを表示するための投影ユニットと
を含む、外科医による３次元患者画像の手術中観察のためのシステム。
【請求項２０】
１つ又は複数の赤外線放射装置及び赤外線カメラをさらに含む、請求項１９に記載のシステム。
【請求項２１】
前記患者の３Ｄ画像を取得するための機器をさらに含む、請求項１９又は２０に記載のシステム。
【請求項２２】
前記３Ｄ画像を取得するための機器は、３Ｄカメラである、請求項２１に記載のシステム。
【請求項２３】
前記投影ユニットは、前記画像又はモデルを表示するヘッドマウント型の装置を含む、請求項１９〜２２のいずれか一項に記載のシステム。
【請求項２４】
前記画像又はモデルの表示は、前記外科医が前記患者又は対象となる別の全体像を見る向きに対応するように方向付けされる、請求項１９〜２３のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１５年９月２８日に出願の米国仮特許出願第６２／２３３，５４３号明細書の利益を主張し、その内容は参照により全体として本明細書に組み込まれる。
【０００２】
本発明は、美容整形外科及び再建外科手術において、患者の３次元（３Ｄ）表面画像処理を使用することに関わるプロセス及び装置に関する。これは、任意の利用可能な任意の方法（たとえば、とりわけレーザ表面、立体視、表面走査など）によって３Ｄ画像を画像取得することと、この画像を処理して、外科手術のマップ若しくはモデルの形式で関連データを提供することと、外科手術中にガイドし、且つ／又は画像、マップ、若しくはモデルを表示して、外科医の視点若しくは対象となる別の観点をシミュレーションするために画像、マップ、及び／又はモデルを患者に投影することとによって実現される。画像、マップ、及び／又はモデルは、手術を観察するために固定若しくは移動画面又はウェアラブルデバイス（すなわちヘッドマウント型）に表示され得る。
【背景技術】
【０００３】
本出願全体を通して、様々な刊行物が括弧内において参照される。これらの参考文献の全ての引用先は本明細書の最後に見出され得る。本発明が関係する技術分野をより詳細に説明するために、これらの刊行物の開示が参照により全体として本明細書に組み込まれる。
【０００４】
３Ｄ画像処理は、様々な美容整形外科及び再建外科手順の計画、支援、及び評価において価値のある資産である。ＣＡＴスキャンによって得られる骨部の３Ｄ再構築から、３Ｄプリンティング向けの身体部位又はプロテーゼの設計の再構築まで、３Ｄ画像処理の用途及び潜在的な用途の幅は広く且つ広範である。この技術の使用は、さらに良好な計画を可能にし、シミュレーション中、期待される結果を患者に提供し、外科手術をより安全に、より精密に、且つ効率的にすることを目的としてその手術を実行するのに役立つ。
【０００５】
外科的マーキングは、形成外科手術の手順を計画する際に重要な役割を果たす［１〜４］。手術前に、外科医は、多くの場合、計画された切開部をマーキングし、且つ／又は軟部組織の欠陥若しくは過多など、対象となる領域を強調表示することになる［６〜９］。しかしながら、手術室でのガイドとしてのマーキングの重要性にもかかわらず、これらの外科手術のマーキングは、多くの場合に精密ではなく、最良の推定に基づいている［５］。自己脂肪移植（ＡＦＧ）は、外科手術マーキングにかなり依存するこのような手順の１つである。現在、計画は、身体検査及び標準的な２次元写真を使用する手術前評価と、その後に続く従来の患者マーキングとに限定されている［１０〜１２］。たとえば、自己脂肪移植を必要とする患者を評価するとき、外科医は、多くの場合、そのマーキングについて、量が不足している場所及び不足を正すためにどの程度の量が必要になるかの推定に基づいている。
【０００６】
顔及び身体の写真は、手術中の意思決定に寄与する美容整形外科手術の重要な部分である。その結果、今日では、ほとんどの外科医は、外科的判断を導くための参照として手術室（ＯＲ）内の壁（又は画面上の表示）に手術前の２次元（２Ｄ）写真を掲げる。何十年もの間、これが外科医の間で慣習であったが、顔の輪郭について外科的な決定を行う必要があるとき、ごく少数の２Ｄ「スナップショット」を使用することに対して著しい制限がある。
【発明の概要】
【課題を解決するための手段】
【０００７】
本発明は、手術前及び手術中の患者画像の改善された手術中観察を実現する、美容整形外科手術及び再建外科手術において３Ｄ表面画像処理を使用するシステム及び方法を提供する。この技法は、たとえば脂肪移植などのより正確な手法をもたらすだけでなく、多くの他の形成外科手術手順の計画又は実行に適用できる一般化可能な技法を提供する。
【０００８】
外科医による３次元（３Ｄ）患者画像の手術中観察のための方法であって、
患者の３Ｄ表面画像又はシミュレーションされた３Ｄ仮想モデルを処理して、外科手術中に使用される外科手術の参照又は計画を生成するステップと、
外科医による手術中観察のために、この画像若しくはモデルを患者に投影し、且つ／又はこの画像若しくはモデルを表示するステップと
を含む方法が提供される。
【０００９】
さらに、外科医による３次元（３Ｄ）患者画像の手術中観察のためのシステムであって、
患者の３Ｄ表面画像又はシミュレーションされた３Ｄ仮想モデルを処理して、外科手術中に使用される外科手術の参照又は計画を生成するためのディジタルプロセッサと、
外科医による手術中観察のために、この画像若しくはモデルを患者に投影し、且つ／又はこの画像若しくはモデルを表示するための投影ユニットと
を含むシステムが提供される。
【図面の簡単な説明】
【００１０】
【図１】外科医による３次元（３Ｄ）患者画像の手術中観察のためのシステムの一実施形態の例である。
【発明を実施するための形態】
【００１１】
本発明は、外科医による３次元（３Ｄ）患者画像の手術中観察のための方法であって、
患者の３Ｄ表面画像又はシミュレーションされた３Ｄ仮想モデルを処理して、外科手術中に使用される外科手術の参照又は計画を生成するステップと、
外科医による手術中観察のために、この画像若しくはモデルを患者に投影し、且つ／又はこの画像若しくはモデルを表示するステップと
を含む方法を提供する。
【００１２】
３Ｄ表面画像は、患者の手術前の画像及び／又は外科手術中に取得された画像であり得る。同様に、シミュレーションされた３Ｄ仮想モデルは、患者の手術前のモデルであり得、且つ／又はこのシミュレーションされた３Ｄ仮想モデルは、任意選択的に手術前の画像とともに、外科手術手順中の様々なステージで取得される画像を使用することができる。
【００１３】
手術中の表面画像は、手術結果及びさらなる外科手術の修正の必要性を評価するために、ベースラインの画像又はベースラインの外科手術計画と比較され得る。
【００１４】
３Ｄ患者画像は、たとえば、とりわけ３Ｄ写真技術、レーザ表面走査、立体視、又は立体写真測定によって取得され得る。
【００１５】
画像を処理するステップは、たとえば、表面の目印及び／若しくは平面の測定、目印及び／若しくは平面間の距離の測定、容積測定、並びに／又は対称解析など、患者の体表解剖学的構造の解析を含むことができる。画像を処理するステップは、単一画像の１つ若しくは複数の領域の比較、又は１つ若しくは複数の固有画像の比較を含むことができる。
【００１６】
画像又はモデルが患者に投影され得る。この画像又はモデルは、符号化され得るか、患者に投影され得るか、又は患者にマーキングされ得る、外科手術用のマップ又はガイドを含むことができる。この画像又はモデルは、携帯式又は固定式であり得る投影システムを使用して投影され得る。
【００１７】
この画像又はモデルは、たとえば、手術室内の画面又は３Ｄビューアに表示され得る。３Ｄビューアは、たとえば、壁取付け型の画面又は移動可能なタワー型画面若しくはヘッドマウントディスプレイなどのウェアラブルギアであり得る。
【００１８】
画像又はモデルの向きは、患者又は対象となる別の全体像に対する外科医の視点に対応するように調整され得ることが好ましい。好ましくは、この画像又はモデルの向きは、外科手術中に外科医が動き回るとき、患者又は対象となる全体像を外科医が見る向きに対応するように調整する。患者又は対象となる全体像に対する外科医の視点は、たとえば、この外科医に直接的又は間接的に取り付けられた１つ又は複数の赤外線放射装置を使用して決定され得る。固定赤外線カメラが、赤外線源を位置座標に変換するために使用され得る。
【００１９】
本発明は、たとえば、患者の顔、頭部、頸部、口腔、又は胸部など、患者の様々な部位で外科手術が実行されるときに使用することができる。外科医は、たとえば、形成外科医、再建外科医、頭頸部外科医、口腔外科医、耳鼻咽喉科医、又は皮膚科医とすることができる。
【００２０】
また、本発明は、外科医による３次元（３Ｄ）患者画像の手術中観察のためのシステムであって、
患者の３Ｄ表面画像又はシミュレーションされた３Ｄ仮想モデルを処理して、外科手術中に使用される外科手術の参照又は計画を生成するためのディジタルプロセッサと、
外科医による手術中観察のために、この画像若しくはモデルを患者に投影し、且つ／又はこの画像若しくはモデルを表示するための投影ユニットと
を含むシステムを実現する。
【００２１】
また、このシステムは、たとえば、１つ若しくは複数の赤外線放射装置、赤外線カメラ、及び／又はたとえば３Ｄカメラなど、患者の３Ｄ画像を取得する機器を含むことができる。投影ユニットは、画像又はモデルを表示するヘッドマウント型の装置を含むことができる。好ましくは、この画像又はモデルの表示は、患者又は対象となる別の全体像を外科医が見る向きに対応するように方向付けされ得る。
【００２２】
一実施形態では、本発明は、外科医が自身の視点に一致するように配向された画面上で患者の３次元（３Ｄ）画像又はモデルを見るための手術中ツールを提供する。すなわち、外科医がベッドの頭部側に立っている場合、画面上での３Ｄ画像又はモデルは、外科医がテーブル上の患者を見るのと同じ向きに対応することになる。この３Ｄ画像又はモデルは、手術中に外科医が動き回る位置に従って切り替わり、したがって画面上のビューは外科医の視点と一致し続ける。
【００２３】
３Ｄ画像又はモデルを外科医の視野に向けるために、外科医はヘッドマウント型の追跡装置を装着することができる。手術の開始時、目印及び参照面が患者の３Ｄ画像又はモデルに対して確立される。外科医が手術室（ＯＲ）内で患者の周りを動き回ると、３Ｄ画像又はモデルが回転して、外科医のビューを忠実に映し出す。手術中に関連するあらゆるビューについて、シームレスな参照によって外科的な意思決定がガイドされるように、外科医は画面に目を向け、対応する３Ｄ画像又はモデルを見ることができる。
【００２４】
［３Ｄ表示装置］
３Ｄ表示装置の構成要素により、３Ｄ画像の観察、操作、及び解析が可能になるとともに、外科手術の手順においてアシスタント向けに外科医の視点を提供することが可能になる。これは、たとえば、ＩＲカメラと、外科医のたとえば保護用アイウェア又はヘッドマウント上に配置される２つ以上のＩＲ放射源と、動きを解析して対応する画像をレンダリングするためのコンピュータと、対応する画像を表示するための１つ又は複数のモニタとを含む赤外線（ＩＲ）追跡技術を使用することによって、実現することができる。任意選択的な装置には、とりわけ、コマンド用の音声センサ、スイッチとしての足踏みペダル、及び外科医に向いているカメラを取り囲むＩＲ光源が含まれる。
【００２５】
対象となる患者の領域の仮想３Ｄモデルは、必要に応じて手順前又は手順中に取り込んで処理することができ、これらの画像は、ＩＲカメラに接続されたコンピュータシステムに取り入れることができる。この結合は、有線接続又は無線接続で実施することができる。マーキングなどの修正及び他の修正からの所望の結果をシステムに取り入れることもできる。
【００２６】
たとえば、ヘッドマウント又は外科医の保護用アイウェアからのＩＲ光源は、ＩＲカメラによって取り込むことができる。これらの座標を用いて、ソフトウェアはモニタに表示することのできる３Ｄモデル上に外科医の視界を再現することができる。少なくとも２つの様式、すなわち、患者とＩＲカメラとに対する外科医の位置に応じて３Ｄモデル又は画像を、回転、傾斜、移動することになる、無限量のビューを提示する連続ビューと、位置の範囲内で座標を解析して、モニタに表示される所定の視点をレンダリングする事前設定ビューとを提供することができる。任意選択的な構成要素として、カメラを囲むＩＲ放射装置が存在してもよく、これは、デフォルトでオフ位置にあるものとすることができ、アクティブになると、外科医の位置からの光源がオンになる。カメラを囲む放射装置は、反射面から跳ね返る光波を供給することができる。一例として、白い手袋に覆われた指は、反射面として機能することができる。さらに、金属製の外科用器械、又は反射面を有するポインタなどの反射物体を使用することができる。これらの座標を使用して、コンピュータのマウスカーソルのように、モニタ上の選択肢をポイント、マーキング、操作、選択、受容、又はキャンセルすることができる。
【００２７】
患者への３Ｄ投影。投影成分は、外科手術のロードマップとしての役割を果たす、３Ｄ仮想モデル又は画像に基づく２次元投影とすることができる。これらは、たとえば、目印、切開線、（たとえばＺ形成術用の）トレーシング、対象となる領域、定規、分度器としてのヘルパー、張力線のマップ、及び／又は他のガイド間での患者へのボリューム投影によって規定して、外科手術の手順を支援、ガイド、及び評価するためのテンプレート又はマップとして使用することができる。
【００２８】
患者に投影することのできる関連ガイドを示す、事前に作成された外科手術のマップ又はモデルを有することにより、このシステムは機能することができる。プロセスのこの構成要素は、少なくともビデオプロジェクタ、オーバハングしている光源及び／又はスタンドのための取付け用ブラケット、並びにアドレス指定される領域の少なくとも１つのマップからなるが、それだけに限定されない。取付け用ブラケットの形状及び形態は異なる場合があるが、プロジェクタを回転させることができる。投影を患者に向けて、この患者に画像、マップ、又はモデルを正確に重ね合わせることができるようにする。
【００２９】
物理的に又は音声で作動させて、様々な投影、手順の様々な段階での様々なマップ、及び／又は他の機能内の目印間でトグル切替えを可能にする制御装置を追加することができる。
【００３０】
本発明は、以下の実験詳細からより良好に理解されるであろう。しかしながら、考察した詳細は、この後に続く特許請求の範囲においてより詳細に説明される本発明の単なる例示に過ぎないことは、当業者には容易に理解されるであろう。
［実施例］
【００３１】
［３Ｄの組織分布的な外科手術マップの作成］
顔面非対称が理由で自己脂肪移植（ＡＦＧ）を受けている患者は、ハンドヘルドカメラ（ＶＥＣＴＲＡ（登録商標）Ｈ１、Ｃａｎｆｉｅｌｄ  Ｓｃｉｅｎｔｉｆｉｃ，Ｉｎｃ（著作権）２０１３）を使用して撮影された手術前の３Ｄ写真を有していた。３Ｄモデルを２つの別個の半面に２等分する正中矢状面を作成することによって、顔面非対称を解析した。参照の半面が欠陥側に反映されて、新規の半合成体を作成し、これが参照３Ｄモデルの役割を果たした。次いで、Ｃａｎｆｉｅｌｄ  ＶＥＣＴＲＡ（登録商標）解析モジュール（ＶＡＭ）ソフトウェアを使用して、患者画像に参照モデルを重ね合わせた。次に、カラーマップが生成され、これが２つの表面間の差を概略的に示した。その結果得られたカラーマップは、正常な半面と異常な半面との間の相対距離に応じて色付けされた、量が不足している境界が明瞭な領域であった。投影におけるこの差が滑らかな色の変化度によって表される。
【００３２】
ディジタル３Ｄの組織分布的な外科手術マップを作成するために、３Ｄカラーマップ上に輪郭曲線を生成した。地理的景観の地形マッピングと同様に、離散投影値での輪郭曲線は３Ｄ表面を表す。輪郭曲線を生成するために、カラーマップの最小感度を調整してトレースした。閾値が組織分布的な変化を超えるまで、１ｍｍ、３ｍｍ、５ｍｍ、及び７ｍｍにおいて、トレースした。個々のトレースの合成体が最終的な組織分布マップを生成した。このマップは、重要な顔の造りにおける目印で強化されて、患者に投影されたときの適切なスケール及び位置合せを確実なものにした。
【００３３】
［患者画像の投影］
次いで、手術前患者のマーキング用のテンプレートとしてディジタル３Ｄ組織分布マップを使用して、相対的な位置及び量が不足している度合いを外科医に提示した。マップは、ｐｄｆファイルとして保存され、モバイルプラットフォーム（ｉＰｈｏｎｅ  ５ｓ）にアップロードされ、ハンドヘルド型スマートフォン対応のＬＥＤポケットプロジェクタ（ａｘａａ  Ｔｅｃｈｎｏｌｏｇｉｅｓ、米国）を使用して投影された。このｉＰｈｏｎｅプロジェクタ構造体は、安定なハンズフリー投影のために、頭上の手術室ライトに固定されていた。プロジェクタライトのプラットフォームは、投影されたマップ上の重要な目印が患者の上に位置合せされるように配置された。次いで、このオーバーレイをガイドとして使用することにより、特定の投影値に割り当てられた色付きマーキングペンを使用してマップをトレースした。
【００３４】
これに続いて、患者は、標準的な技法を使用して、自己脂肪の回収及び移植を受けた。脂肪は、最も不足している領域の中央部分から始まって、組織分布マップで示されるように不足している領域及び度合いに応じて注入された。また、さらにガイドするために、このマップを手術中の患者に投影した。
【００３５】
［考察］
このレポートは、外科手術のマーキングをガイドするのに使用される軟部組織のコンピュータ外科手術計画を説明するものである。外科医の評価だけに依存するのではなく、３Ｄ表面走査技術を適用して、物体の対称解析を実行した。投影された画像を使用して、仮想計画を変換してＯＲに届けた。
【００３６】
骨格ベースの顔面再構成のための仮想外科手術計画（ＶＳＰ）の使用について、記載されている［１３、１５］。しかしながら、これらの場合、コンピュータシミュレーションが、画像、印刷された治具、切断ガイド、及び予め曲げられた板の形態で、ＯＲに転送されていた。
【００３７】
このレポートでは、２ｍｍの投影間隔が任意に選択されたが、この間隔は欠陥のサイズ及び再構築のタイプによって決定することができる。すなわち、比較的小さい欠陥では、より正確なインターベンションのために比較的狭い間隔が必要となり、比較的大きい欠陥では、比較的広い間隔が必要となる。さらに、投影の所望の変化に影響を及ぼすのに必要な脂肪の正確な量は、可変である。投影のこの変化は、皮膚の質、組織弾性、脂肪吸収を含め、複数の要因に依存する。
【００３８】
この例はＡＦＧに焦点を当てているが、形成外科手術の他の領域が、同様の軟部組織外科手術ロードマップを使用することによって恩恵を受けることもできる。組織分布マッピングの考え方は、皮膚表面上の２Ｄマーキングを介して３Ｄ輪郭を表す理想的な方法である。投影により、無菌性を損なうことなく手術中に容易に再現することのできる、ディジタル外科手術計画を転送するための迅速且つ信頼性の高い方法を提供する。充填剤の注入、乳房外科手術、又は脂肪吸引など、身体の輪郭をターゲットにする手順は、ターゲット領域を識別するための手術前の外科手術マーキングに大きく依存する。コンピュータ上で開発された事前作成済みのロードマップを皮膚表面に投影し、トレースして、外科手術マーキング及び切開部の配置に対する一層正確で効果的な手法を提供することが考えられる。
【００３９】
これは、３Ｄ画像として患者に投影される手術前マーキングの使用を説明する最初のレポートである。これにより、関連する解剖学的構造を精密に記述し、身体検査で評価されない領域を解明することのできる軟部組織の外科手術計画が外科医に提供される。コンピュータ解析及び外科手術シミュレーションによって生成されるマーキングを参照することにより、外科医は、複雑な３Ｄ輪郭を単純化して変換したものである組織分布マップを有する。これにより、標準的な写真では理解できないことの多い患者固有の量のニーズに合わせて調整される、分かりやすいガイドが提供される。
［参考文献］
【表１】
2019502414.tif 000003
【表２】
2019502414.tif 000004
【図１】
2019502414.tif 000005
【国際調査報告】
2019502414.tif 000006
2019502414.tif 000007