(57)【要約】  本発明は、２Ｄ／２．５Ｄ腹腔鏡画像データまたは２Ｄ／２．５Ｄ内視鏡画像データを３Ｄボリュメトリック画像データに位置合わせするための方法とシステムに関する。ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像が、術中画像に関する、対応する相対的な方位測定値と共に受信される。３Ｄ医療画像ボリュームのシミュレートされた投影画像を複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、ターゲット器官の３Ｄ医療画像ボリュームが、複数の２Ｄ／２．５Ｄ術中画像に位置合わせされ、また、位置合わせには、術中画像に関する相対的な方位測定値によって制約が課される。【特許請求の範囲】
【請求項１】
ターゲット器官の３Ｄ医療画像ボリュームを、前記ターゲット器官の２Ｄ／２．５Ｄ術中画像に位置合わせするための方法において、
前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信すること、
前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、前記３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課すこと、を含んでいる、
方法。
【請求項２】
前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課すことは、
前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化し、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータに、前記術中画像に関する前記相対的な方位測定値によって制約を課すこと、を含んでいる、
請求項１記載の方法。
【請求項３】
前記相対的な方位測定値を、前記複数の術中画像を取得するために使用される術中画像取得装置に取り付けられている方位センサから受信し、
前記相対的な方位測定値は、前記複数の術中画像の各術中画像に対応する、前記術中画像取得装置の相対的な方位を表し、
前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータは、前記シミュレートされた投影画像の各投影画像に関する、仮想カメラの位置パラメータおよび方位パラメータを含んでおり、
前記シミュレートされた投影画像に関する、前記仮想カメラの相対的な方位が、前記複数の術中画像の前記相対的な方位にマッチするように、前記シミュレートされた投影画像に関する、前記仮想カメラの方位パラメータに制約を課す、
請求項２記載の方法。
【請求項４】
前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像は、２Ｄ画像データおよび対応する２．５Ｄ深度データを含んでおり、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の各投影画像は、２Ｄ画像データおよび対応する２．５Ｄ深度データを含んでいる２Ｄ／２．５Ｄ投影画像であり、前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化し、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータに、前記術中画像に関する前記相対的な方位測定値によって制約を課すことは、
前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像における前記２Ｄ画像データと、前記シミュレートされた投影画像のうちの前記対応する投影画像との間の類似性計量に基づいて、かつ前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像における前記２．５Ｄ深度データと、前記シミュレートされた投影画像のうちの前記対応する投影画像との間の幾何学適合計量に基づいて、外観を含むコスト関数が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータを最適化すること、を含んでいる、
請求項２記載の方法。
【請求項５】
前記複数の２Ｄ／２．５Ｄ術中画像を取得するために使用される既知の手術計画からの先験的な情報に基づいて、前記位置合わせにさらに制約を課す、
請求項１記載の方法。
【請求項６】
前記先験的な情報は、手術台に対して相対的な患者の姿勢を含んでいる、請求項５記載の方法。
【請求項７】
前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信することは、
腹腔鏡または内視鏡のいずれかである術中画像取得装置から、前記複数の２Ｄ／２．５Ｄ術中画像を受信すること、および
ジャイロスコープまたは加速度計のいずれかである、前記術中画像取得装置に取り付けられている方位センサから、前記術中画像に関する、前記対応する相対的な方位測定値を受信すること、を含んでいる、
請求項１記載の方法。
【請求項８】
さらに
前記複数の２Ｄ／２．５Ｄ術中画像の受信に先行して、
前記ターゲット器官のバイオメカニカルモデルを使用して、手術計画に基づいて、前記ターゲット器官の変形をシミュレートすること、
前記ターゲット器官の前記シミュレートされた変形を使用して、前記手術計画に関してシミュレートされた術中画像を生成すること、
前記ターゲット器官の前記３Ｄ医療画像ボリュームを、前記シミュレートされた術中画像に位置合わせすること、および
前記ターゲット器官の前記３Ｄ医療画像ボリュームの、前記シミュレートされた術中画像への前記位置合わせに基づいて、手術計画に関して予測された位置合わせ品質測定値を計算すること、を含んでいる、
請求項１記載の方法。
【請求項９】
さらに
前記複数の２Ｄ／２．５Ｄ術中画像の受信に先行して、
前記予測された位置合わせ品質測定値に基づいて、前記手術計画に関して予測された位置合わせ品質が十分でないと判定されたことに応答して、前記手術計画のパラメータを洗練すること、を含んでいる、
請求項８記載の方法。
【請求項１０】
前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信することは、
前記手術計画を使用して取得された前記ターゲット器官の前記複数の２Ｄ／２．５Ｄ術中画像を受信し、前記手術計画の１つまたは複数のパラメータに基づいて、前記位置合わせにさらに制約を課すこと、を含んでいる、
請求項８記載の方法。
【請求項１１】
前記手術計画の前記１つまたは複数のパラメータは、手術台に対して相対的な患者の姿勢、腹腔鏡の挿入口の位置、または前記複数の２Ｄ／２．５Ｄ術中画像を取得するために使用される術中画像取得装置の角度の範囲、のうちの少なくとも１つを含んでいる、
請求項１０記載の方法。
【請求項１２】
ターゲット器官の３Ｄ医療画像ボリュームを、前記ターゲット器官の２Ｄ／２．５Ｄ術中画像に位置合わせするための装置において、
前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信する手段、
前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、前記３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課す手段、を含んでいる、
装置。
【請求項１３】
前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、前記３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせする手段は、
前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化し、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータに、前記術中画像に関する前記相対的な方位測定値によって制約を課す手段、を含んでいる、
請求項１２記載の装置。
【請求項１４】
前記相対的な方位測定値を、前記複数の術中画像を取得するために使用される術中画像取得装置に取り付けられている方位センサから受信し、
前記相対的な方位測定値は、前記複数の術中画像の各術中画像に対応する、前記術中画像取得装置の相対的な方位を表し、
前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータは、前記シミュレートされた投影画像の各投影画像に関する、仮想カメラの位置パラメータおよび方位パラメータを含んでおり、
前記シミュレートされた投影画像に関する、前記仮想カメラの相対的な方位が、前記複数の術中画像の前記相対的な方位にマッチするように、前記シミュレートされた投影画像に関する、前記仮想カメラの方位パラメータに制約を課す、
請求項１３記載の装置。
【請求項１５】
前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像は、２Ｄ画像データおよび対応する２．５Ｄ深度データを含んでおり、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の各投影画像は、２Ｄ画像データおよび対応する２．５Ｄ深度データを含んでいる２Ｄ／２．５Ｄ投影画像であり、前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化する手段は、
前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像における前記２Ｄ画像データと、前記シミュレートされた投影画像のうちの前記対応する投影画像との間の類似性計量に基づいて、かつ前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像における前記２．５Ｄ深度データと、前記シミュレートされた投影画像のうちの前記対応する投影画像との間の幾何学適合計量に基づいて、外観を含むコスト関数が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータを最適化する手段、を含んでいる、
請求項１３記載の装置。
【請求項１６】
前記複数の２Ｄ／２．５Ｄ術中画像を取得するために使用される既知の手術計画からの先験的な情報に基づいて、前記位置合わせにさらに制約を課す、
請求項１２記載の装置。
【請求項１７】
さらに
前記ターゲット器官のバイオメカニカルモデルを使用して、手術計画に基づいて、前記ターゲット器官の変形をシミュレートする手段、
前記ターゲット器官の前記シミュレートされた変形を使用して、前記手術計画に関してシミュレートされた術中画像を生成する手段、
前記ターゲット器官の前記３Ｄ医療画像ボリュームを、前記シミュレートされた術中画像に位置合わせする手段、および
前記ターゲット器官の前記３Ｄ医療画像ボリュームの、前記シミュレートされた術中画像への前記位置合わせに基づいて、手術計画に関して予測された位置合わせ品質測定値を計算する手段、を含んでいる、
請求項１２記載の装置。
【請求項１８】
前記ターゲット器官の前記複数の２Ｄ／２．５Ｄ術中画像は、前記手術計画を使用して取得され、前記手術計画の１つまたは複数のパラメータに基づいて、前記位置合わせにさらに制約が課される、
請求項１７記載の装置。
【請求項１９】
前記手術計画の前記１つまたは複数のパラメータは、手術台に対して相対的な患者の姿勢、腹腔鏡の挿入口の位置、または前記複数の２Ｄ／２．５Ｄ術中画像を取得するために使用される術中画像取得装置の角度の範囲、のうちの少なくとも１つを含んでいる、
請求項１８記載の装置。
【請求項２０】
ターゲット器官の３Ｄ医療画像ボリュームを、前記ターゲット器官の２Ｄ／２．５Ｄ術中画像に位置合わせするためのコンピュータプログラム命令が記憶されている、非一時的なコンピュータ可読媒体において、
前記コンピュータプログラム命令は、プロセッサにおいて実行されると、該プロセッサに以下の動作を実施させる、すなわち
前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信すること、
前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、前記３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課すこと、を実施させる、
非一時的なコンピュータ可読媒体。
【請求項２１】
前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課すことは、
前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化し、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータに、前記術中画像に関する前記相対的な方位測定値によって制約を課すこと、を含んでいる、
請求項２０記載の非一時的なコンピュータ可読媒体。
【請求項２２】
前記相対的な方位測定値を、前記複数の術中画像を取得するために使用される術中画像取得装置に取り付けられている方位センサから受信し、
前記相対的な方位測定値は、前記複数の術中画像の各術中画像に対応する、前記術中画像取得装置の相対的な方位を表し、
前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータは、前記シミュレートされた投影画像の各投影画像に関する、仮想カメラの位置パラメータおよび方位パラメータを含んでおり、
前記シミュレートされた投影画像に関する、前記仮想カメラの相対的な方位が、前記複数の術中画像の前記相対的な方位にマッチするように、前記シミュレートされた投影画像に関する、前記仮想カメラの方位パラメータに制約を課す、
請求項２１記載の非一時的なコンピュータ可読媒体。
【請求項２３】
前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像は、２Ｄ画像データおよび対応する２．５Ｄ深度データを含んでおり、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の各投影画像は、２Ｄ画像データおよび対応する２．５Ｄ深度データを含んでいる２Ｄ／２．５Ｄ投影画像であり、前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化し、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータに、前記術中画像に関する前記相対的な方位測定値によって制約を課すことは、
前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像における前記２Ｄ画像データと、前記シミュレートされた投影画像のうちの前記対応する投影画像との間の類似性計量に基づいて、かつ前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像における前記２．５Ｄ深度データと、前記シミュレートされた投影画像のうちの前記対応する投影画像との間の幾何学適合計量に基づいて、外観を含むコスト関数が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータを最適化すること、を含んでいる、
請求項２１記載の非一時的なコンピュータ可読媒体。
【請求項２４】
前記複数の２Ｄ／２．５Ｄ術中画像を取得するために使用される既知の手術計画からの先験的な情報に基づいて、前記位置合わせにさらに制約を課す、
請求項２０記載の非一時的なコンピュータ可読媒体。
【請求項２５】
前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信することは、
腹腔鏡または内視鏡のいずれかである術中画像取得装置から、前記複数の２Ｄ／２．５Ｄ術中画像を受信すること、および
ジャイロスコープまたは加速度計のいずれかである、前記術中画像取得装置に取り付けられている方位センサから、前記術中画像に関する、前記対応する相対的な方位測定値を受信すること、を含んでいる、
請求項２０記載の非一時的なコンピュータ可読媒体。
【請求項２６】
前記動作は、さらに
前記複数の２Ｄ／２．５Ｄ術中画像の受信に先行して、
前記ターゲット器官のバイオメカニカルモデルを使用して、手術計画に基づいて、前記ターゲット器官の変形をシミュレートすること、
前記ターゲット器官の前記シミュレートされた変形を使用して、前記手術計画に関してシミュレートされた術中画像を生成すること、
前記ターゲット器官の前記３Ｄ医療画像ボリュームを、前記シミュレートされた術中画像に位置合わせすること、および
前記ターゲット器官の前記３Ｄ医療画像ボリュームの、前記シミュレートされた術中画像への前記位置合わせに基づいて、手術計画に関して予測された位置合わせ品質測定値を計算すること、を含んでいる、
請求項２０記載の非一時的なコンピュータ可読媒体。
【請求項２７】
前記動作は、さらに
前記複数の２Ｄ／２．５Ｄ術中画像の受信に先行して、
前記予測された位置合わせ品質測定値に基づいて、前記手術計画に関して予測された位置合わせ品質が十分でないと判定されたことに応答して、前記手術計画のパラメータを洗練すること、を含んでいる、
請求項２６記載の非一時的なコンピュータ可読媒体。
【請求項２８】
前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信することは、
前記手術計画を使用して取得された前記ターゲット器官の前記複数の２Ｄ／２．５Ｄ術中画像を受信し、前記手術計画の１つまたは複数のパラメータに基づいて、前記位置合わせにさらに制約を課すこと、を含んでいる、
請求項２６記載の非一時的なコンピュータ可読媒体。
【請求項２９】
前記手術計画の前記１つまたは複数のパラメータは、手術台に対して相対的な患者の姿勢、腹腔鏡の挿入口の位置、または前記複数の２Ｄ／２．５Ｄ術中画像を取得するために使用される術中画像取得装置の角度の範囲、のうちの少なくとも１つを含んでいる、
請求項２８記載の非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
発明の背景
本発明は、腹腔鏡画像データまたは内視鏡画像データの、３Ｄボリュメトリック（ｖｏｌｕｍｅｔｒｉｃ）画像データへの位置合わせに関し、特に、術前３Ｄボリュメトリック画像データからの情報を術中腹腔鏡画像データまたは術中内視鏡画像データに重畳させるための、術中２Ｄ／２．５Ｄ腹腔鏡画像データまたは術中２Ｄ／２．５Ｄ内視鏡データの、術前３Ｄボリュメトリック画像データへの位置合わせに関する。
【０００２】
最小侵襲手術の間に、手術をガイドするために、一連の腹腔鏡画像または内視鏡画像が取得される。複数の２Ｄ画像を取得して、それらを貼り合わせる（スティッチングする）ことにより、関心の対象となる、観察される器官の３Ｄ術中モデルに再構成することができる。この再構成された術中モデルを、続いて術前ボリュメトリック画像データまたは術中ボリュメトリック画像データ、例えば磁気共鳴（ＭＲ）、コンピュータ断層撮影（ＣＴ）、またはポジトロン断層撮影（ＰＥＴ）と融合させることによって、手術を行う臨床医に付加的なガイダンスを提供することができる。しかしながら、位置合わせは、パラメータ空間が巨大であること、また位置合わせ問題に対する制約が欠如していることに起因して難しい課題である。この位置合わせを実施するための１つのストラテジは、患者に対するカメラの絶対的な姿勢を確立するために、光学式または電磁式の外部トラッキングシステムに術中カメラを取り付けることである。そのようなトラッカベースのアプローチは、術中画像ストリーム（ビデオ）とボリュメトリック画像データとの間の最初の位置合わせの確立には有用であるが、しかしながら、臨床上のワークフローに、付加的なハードウェアコンポーネントの負担を強いることになる。
【０００３】
発明の概要
本発明は、術中画像、例えば腹腔鏡画像または内視鏡画像を、術前ボリュメトリック画像データに位置合わせするための方法とシステムを提供する。本発明の実施の形態は、仮想カメラの視点および方向に従い３Ｄボリュームから仮想投影画像をシミュレートすることによって、３Ｄボリュームを２Ｄ／２．５Ｄ術中画像に位置合わせし、続いて、術中カメラに取り付けられている方位センサ、例えばジャイロスコープまたは加速度計からの術中画像に関連付けられた相対的な方位測定値を使用して位置合わせに制約を課しながら、シミュレートされた投影画像を実際の術中画像にマッチさせるための位置合わせパラメータを計算する。さらに本発明の実施の形態は、手術計画の先験的な情報に基づいて、位置合わせに制約を課す。
【０００４】
本発明の１つの実施の形態においては、ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、その術中画像に関する、対応する相対的な方位測定値と、が受信される。３Ｄ医療画像ボリュームのシミュレートされた投影画像を複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、ターゲット器官の３Ｄ医療画像ボリュームが、複数の２Ｄ／２．５Ｄ術中画像に位置合わせされ、その際、位置合わせには、術中画像に関する相対的な方位測定値によって制約が課される。
【０００５】
本発明の上記の利点および他の利点は、以下の詳細な説明および添付の図面を参照することによって、当業者には明らかになるであろう。
【図面の簡単な説明】
【０００６】
【図１】本発明の１つの実施の形態による、ターゲットとなる解剖学的対象の３Ｄ術前医療画像ボリュームを、ターゲットとなる解剖学的対象の２Ｄ／２．５Ｄ術中画像に位置合わせするための方法を示す。
【図２】術前３Ｄ医療画像ボリュームからシミュレートされた投影画像の術中画像へのマッチングの一例を示す。
【図３】本発明の１つの実施の形態による、手術計画を行い、ターゲットとなる解剖学的対象の術中画像に、ターゲットとなる解剖学的対象の３Ｄ術前医療画像ボリュームを位置合わせするための方法を示す。
【図４】手術計画から得られた先験的な知識から決定された例示的な制約を示す。
【図５】本発明を実施することができるコンピュータのハイレベルブロック図を示す。
【０００７】
詳細な説明
本発明は、術中画像、例えば腹腔鏡画像または内視鏡画像を、３Ｄボリュメトリック医療画像に位置合わせするための方法とシステムに関する。本明細書において本発明の複数の実施形態を説明し、位置合わせ方法を視覚的に理解できるようにする。ディジタル画像は、１つまたは複数の対象（または形状）のディジタル表現から構成されることが多い。対象のディジタル表現を、本明細書においてはしばしば、対象の識別および操作の観点から説明する。そのような操作は、コンピュータシステムのメモリまたは別の回路／ハードウェアにおいて達成される仮想的な操作である。したがって、本発明の実施形態を、コンピュータシステムに記憶されているデータを使用して、このコンピュータシステムにおいて実施できると解することができる。
【０００８】
３Ｄ医療画像データと術中画像（例えば、内視鏡ビデオまたは腹腔鏡ビデオのフレーム）とのフュージョンを、先ず、初回剛体レジストレーションを実施し、続いてより洗練された非剛体レジストレーションを実施することによって行うことができる。本発明の実施の形態は、観察される術中画像データを３Ｄ術前医療画像ボリュームのシミュレートされた投影に最良に位置合わせする位置合わせパラメータに関する最適化に制約を課すために、術中カメラに取り付けられている加速度計またはジャイロスコープからのスパース性の相対的な方位データならびに手術計画情報を使用して、３Ｄボリュメトリック医療画像データと術中画像データとの間の剛体レジストレーションを提供する。さらに本発明の実施の形態は、手術計画において組織の移動を予測するために手術計画情報をバイオメカニカルモデルにおいて使用することができる有利な手術計画ワークフローを提供し、そのような有利な手術計画ワークフローは、予測された位置合わせ品質と、位置合わせを改善するために手術計画に対してどのような変更を成すことができるかのガイダンスに関してユーザにフィードバックを提供するために使用される。
【０００９】
本発明の実施の形態では、３Ｄ術前医療画像ボリュームと、各画像に関連付けられた対応する２．５Ｄ深度情報を有している２Ｄ術中画像、例えば腹腔鏡画像または内視鏡画像と、の相互位置合わせが実施される。用語「腹腔鏡画像」および「内視鏡画像」は、本明細書において、区別なく使用されており、また用語「術中画像」は、手術の間または手術的な介入の間に取得される、腹腔鏡画像および内視鏡画像を含めた、あらゆる医療画像データを表していると解することができる。
【００１０】
図１には、本発明の１つの実施の形態による、ターゲットとなる解剖学的対象の２Ｄ／２．５Ｄ術中画像に、ターゲットとなる解剖学的対象の３Ｄ術前医療画像ボリュームを位置合わせするための方法が示されている。図１の方法は、術中画像データの各フレームのセマンティックセグメンテーションを実施して、ターゲットとなる解剖学的対象の３Ｄモデルを生成するために、患者の解剖学的構造を表す術中画像データを変換する。１つの実施の形態においては、例えば肝臓から腫瘍または病変を切除するための肝臓切除術のような肝臓の手術のガイダンスに関して、肝臓がセグメンテーションされている術前３Ｄ医療画像ボリュームを肝臓の術中画像シーケンスのフレームに位置合わせするために、図１の方法を使用することができる。
【００１１】
図１を参照すると、ステップ１０２において、術前３Ｄ医療画像ボリュームが受信される。術前３Ｄ医療画像ボリュームは、手術に先行して取得されている。３Ｄ医療画像ボリュームは、任意のイメージングモダリティ、例えばコンピュータ断層撮影（ＣＴ）、磁気共鳴（ＭＲ）、またはポジトロン断層撮影（ＰＥＴ）を使用して取得することができる。術前３Ｄ医療画像ボリュームを、画像取得装置、例えばＣＴスキャナまたはＭＲスキャナから直接的に受信することができるか、または事前に記憶されている３Ｄ医療画像ボリュームを、コンピュータシステムのメモリまたはストレージからロードすることによって受信することができる。１つの考えられる実現形態では、術前計画フェーズにおいて、術前３Ｄ医療画像ボリュームを、画像取得装置を使用して取得して、コンピュータシステムのメモリまたはストレージに記憶することができる。その後は、術前３Ｄ医療画像を手術中にメモリまたはストレージシステムからロードすることができる。
【００１２】
術前３Ｄ医療画像ボリュームは、ターゲットとなる解剖学的対象、例えばターゲット器官を含んでいる。１つの有利な実現形態においては、ターゲット器官は、肝臓であってよい。術前ボリュメトリック画像データを、ターゲットとなる解剖学的対象の、腹腔鏡画像および内視鏡画像のような術中画像よりも詳細なビューのために提供することができる。ターゲットとなる解剖学的対象および他の解剖学的対象を、術前３Ｄ医療画像ボリュームにセグメンテーションすることができる。表面ターゲット（例えば、肝臓）、重要な組織（例えば、門脈、肝臓系、胆管系）、および他のターゲット（例えば、原発腫瘍および転移性腫瘍）を、任意のセグメンテーションアルゴリズムを使用して、術前イメージングデータからセグメンテーションすることができる。例えば、セグメンテーションアルゴリズムは、機械学習ベースのセグメンテーションアルゴリズムであってよい。１つの実施の形態においては、例えば、米国特許第７，９１６，９１９号、発明の名称「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｓｅｇｍｅｎｔｉｎｇ  Ｃｈａｍｂｅｒｓ  ｏｆ  ａ  Ｈｅａｒｔ  ｉｎ  ａ  Ｔｈｒｅｅ  Ｄｉｍｅｎｓｉｏｎａｌ  Ｉｍａｇｅ」に記載の方法を使用して、マージナル空間学習（ＭＳＬ：Ｍａｒｇｉｎａｌ  Ｓｐａｃｅ  Ｌｅａｒｎｉｎｇ）ベースのフレームワークを用いることができ、この文献の開示内容全体は参照により本願に組み込まれる。別の実施の形態においては、半自動的なセグメンテーション技術、例えばグラフカットセグメンテーションまたはランダムウォーカセグメンテーションを使用することができる。
【００１３】
ステップ１０４において、術中画像シーケンスが、対応する相対的な方位測定値と共に受信される。そのような術中画像シーケンスをビデオと称することもでき、そこでは各術中画像がビデオの１フレームである。例えば、術中画像シーケンスは、腹腔鏡を介して取得された腹腔鏡画像シーケンス、または内視鏡を介して取得された内視鏡画像シーケンスであってよい。１つの有利な実施の形態によれば、術中画像シーケンスの各フレームは、２Ｄ／２．５Ｄ画像である。すなわち、術中画像シーケンスの各フレームは、典型的な２Ｄ画像外観情報を複数あるピクセルの各々に提供する２Ｄ画像チャネルと、２Ｄ画像チャネルにおいて複数あるピクセルの各々に対応する深度情報を提供する２．５Ｄ深度チャネルと、を含んでいる。例えば、術中画像シーケンスの各フレームは、ＲＧＢ−Ｄ（赤、緑、青＋深度）画像データを含むことができ、このＲＧＢ−Ｄ画像データは、各ピクセルがＲＧＢ値を有しているＲＧＢ画像と、各ピクセルの値が、画像取得装置（例えば腹腔鏡または内視鏡）のカメラ中心からの、考察されるピクセルの深度または距離に対応している深度画像（深度マップ）と、を含んでいる。術中画像を取得するために使用される術中画像取得装置（例えば、腹腔鏡または内視鏡）には、各時間フレームに関してＲＧＢ画像を取得するためのカメラまたはビデオカメラ、ならびに各時間フレームに関して深度情報を取得するための飛行時間センサまたは構造化光センサを装備させることができる。術中画像取得装置には、各フレームに関して相対的な方位測定値を提供する方位センサ、例えば加速度計またはジャイロスコープを装備させることもできる。術中画像シーケンスのフレームを、画像取得装置から直接的に受信することができる。例えば、１つの有利な実施の形態においては、術中画像シーケンスのフレームを、画像取得装置によってそれらのフレームが取得されたときに、リアルタイムで受信することができる。択一的に、術中画像シーケンスのフレームを、コンピュータシステムのメモリまたはストレージに記憶されている、先行して取得された術中画像をロードすることによって受信することもできる。
【００１４】
本発明の１つの実施の形態によれば、術中画像シーケンスを、画像取得装置（例えば、腹腔鏡または内視鏡）を使用して、ターゲット器官の完全なスキャンを実施するユーザ（例えば、医師、臨床医など）によって取得することができる。この場合、ユーザは画像取得装置を移動させ、その間に、画像取得装置は継続的に画像（フレーム）を取得し、その結果、術中画像シーケンスのフレームは、ターゲット器官の表面全体をカバーする。これを手術の開始時に実施し、目下の変形時のターゲット器官の完全な臨床像を取得することができる。３Ｄスティッチングプロシージャを実施して、術中画像をスティッチングしてまとめ、ターゲット器官、例えば肝臓の術中３Ｄモデルを形成することができる。
【００１５】
ステップ１０６において、位置合わせに制約を課すために、術中画像の相対的な方位測定値を使用して、術前３Ｄ医療画像ボリュームが、２Ｄ／２．５Ｄ術中画像に位置合わせされる。本発明の１つの実施の形態によれば、この位置合わせは、仮想カメラ（例えば、仮想内視鏡／仮想腹腔鏡）の位置および方位を規定するパラメータ空間を使用して、術前３Ｄボリュームからカメラ投影をシミュレートすることによって実施される。術前３Ｄボリュームから投影画像をシミュレートすることは、フォトリアリスティックレンダリングを含むことができる。位置パラメータおよび方位パラメータは、観察される２Ｄ／２．５Ｄ術中画像と類似性計量を介して直接的に比較される、３Ｄ医療画像ボリュームからシミュレートされた２Ｄ／２．５Ｄ投影画像の外観ならびに幾何学も決定する。
【００１６】
最適化フレームワークは、シミュレートされた投影画像と受信した術中画像との間の類似性を最大にする（または差異を最小にする）、仮想カメラに関する姿勢パラメータを選択するために使用される。すなわち、最適化問題は、各２Ｄ／２．５Ｄ術中画像と、全ての術中画像にわたる、術前３Ｄボリュームからシミュレートされた対応する２Ｄ／２．５Ｄ投影画像と、の間の総類似性を最大にする（または総差異を最小にする）位置パラメータおよび方位パラメータを計算する。本発明の１つの実施の形態によれば、類似性計量は、術中画像におけるターゲット器官および対応するシミュレートされた投影画像に関して計算される。この最適化問題を、任意の類似性計量または差異計量を使用して実施することができ、また任意の最適化アルゴリズムを使用して解決することができる。例えば、類似性計量は、相互相関、相互情報量、正規化相互情報量などであってよく、また類似性計量を、ターゲット器官の幾何学をベースとする、観察される２．５Ｄ深度データにシミュレートされた２．５Ｄ深度データを適合させるための幾何学適合項（ｇｅｏｍｅｔｒｙ  ｆｉｔｔｉｎｇ  ｔｅｒｍ）と組み合わせることができる。上記において述べたように、術中画像取得装置（例えば、内視鏡／腹腔鏡）に取り付けられている方位センサは、相互に関して、術中画像の相対的な方位を提供する。それらの相対的な方位は、最適化問題に制約を課すために使用される。特に、術中画像の相対的な方位は、対応するシミュレートされた投影画像に関して計算された方位パラメータのセットに制約を課す。付加的に、スケーリングが計量２．５Ｄセンシングに起因して既知であるので、その結果、単位球面における姿勢の洗練に関して最適化が達成される。さらに、術中画像の取得において使用される既知の手術計画からの他の先験的な情報、例えば手術台の位置、手術台の上の患者の位置、およびカメラの実現可能な方位の範囲に基づいて、最適化に制約を課すことができる。
【００１７】
図２には、術前３Ｄ医療画像ボリュームからシミュレートされた投影画像の術中画像へのマッチングの一例が示されている。図２に示されているように、画像２０２は、肝臓がセグメンテーションされた術前３Ｄ医療画像ボリュームから生成された、肝臓のシミュレートされた複数の２Ｄ投影を示し、また画像２０４は、腹腔鏡画像における肝臓の観察される２Ｄ投影を示す。位置合わせプロシージャは、ターゲット器官のシミュレートされた投影を、ターゲット器官の観察される各投影に最善にマッチさせるための位置パラメータおよび方位パラメータを発見する。
【００１８】
再び図１を参照すると、ステップ１０８において、術前３Ｄ医療画像ボリュームが、手術中に術中画像に重畳される。位置合わせの結果は、所定の術中画像に術前３Ｄ医療画像ボリュームの投影をマッピングするために、術前３Ｄ医療画像ボリュームに適用することができる変換マトリクスである。これによって、術前３Ｄ医療画像ボリュームからの表面下情報の、術中画像取得装置（例えば、内視鏡または腹腔鏡）からの視覚情報への拡張現実の重畳が実現される。１つの有利な実施の形態においては、位置合わせが一度実施されると、術中画像シーケンス（ビデオ）の新たなフレームが受信され、また術前３Ｄ医療画像ボリュームからのターゲット器官の投影が、位置合わせに基づいて、各新たなフレームに重畳される。術前３Ｄ医療画像ボリュームからの重畳された情報を含んでいる各フレームは、手術をガイドするために、表示装置に表示される。重畳を、術中画像が取得されたときに、リアルタイムで実施することができ、また重畳された画像を、ビデオストリームとして表示装置に表示することができる。本明細書において説明する位置合わせは、剛体レジストレーションであるので、１つの考えられる実現形態においては、ターゲット器官のバイオメカニカルモデルを使用して、フレーム毎にターゲット器官の非剛体変形を計算することができる。バイオメカニカルモデルを使用する非剛体変形の計算は、２０１５年４月２９日に出願された、国際特許出願ＰＣＴ／ＵＳ２０１５／２８１２０、発明の名称「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｇｕｉｄａｎｃｅ  ｏｆ  Ｌａｐａｒｏｓｃｏｐｉｃ  Ｓｕｒｇｉｃａｌ  Ｐｒｏｃｅｄｕｒｅｓ  ｔｈｒｏｕｇｈ  Ａｎａｔｏｍｉｃａｌ  Ｍｏｄｅｌ  Ａｕｇｍｅｎｔａｔｉｏｎ」により詳細に記載されており、その開示内容全体は参照により本願に組み込まれる。
【００１９】
図３には、本発明の１つの実施の形態による、手術計画を行い、ターゲットとなる解剖学的対象の術中画像に、ターゲットとなる解剖学的対象の３Ｄ術前医療画像ボリュームを位置合わせするための方法が示されている。図３の方法は、手術計画モジュールを使用し、この手術計画モジュールを、手術室内のワークステーションのようなコンピュータにおいて実現することができる。ステップ３０２において、手術計画が受信される。手術計画モジュールを使用して、ユーザは、予想される術中カメラビューに対応する、ターゲット器官の領域を指定することができる。例えば、マウスまたはタッチスクリーンのようなユーザ入力装置を介して、見る角度を調整し、また関心の対象となる構造的な特徴を選択するために、ユーザに提供されるツールを用いて、ターゲット器官の３Ｄサーフェスレンダリングを、コンピュータディスプレイに表示することができる。ターゲット器官の３Ｄサーフェスレンダリングを、術前３Ｄ医療画像ボリュームにおけるターゲット器官のセグメンテーションから自動的に生成することができる。付加的に、患者の表面における腹腔鏡の挿入口の予想される位置も識別することができる。他の関連する術中姿勢パラメータ、例えば手術台の上の患者の位置も収集して、手術計画に記録することができる。
【００２０】
ステップ３０４において、ターゲット器官の変形が、セグメンテーションされた器官のバイオメカニカルモデルを使用してシミュレートされる。特に、ターゲット器官の３Ｄメッシュを、術前３Ｄ医療画像ボリュームにおけるセグメンテーションされたターゲット器官から生成することができ、また手術計画において定義された条件下での、ターゲット器官の組織の予期される動きをシミュレートするために、バイオメカニカルモデルを使用して３Ｄメッシュを変形させることができる。バイオメカニカルモデルは、器官の組織の機械的な特性および手術計画の条件に起因してターゲット器官に加えられる力に基づいて、３Ｄメッシュの種々の位置における変位を計算する。例えば、そのような力は、手術中の腹部へのガス注入に起因する力であると考えられる。１つの考えられる実現形態においては、バイオメカニカルモデルは、ターゲット器官を、均一で線形な弾性の固体としてモデリングし、その動きは動弾性の式によって調整される。バイオメカニカルモデルを、２０１５年４月２９日に出願された、国際特許出願ＰＣＴ／ＵＳ２０１５／２８１２０、発明の名称「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｇｕｉｄａｎｃｅ  ｏｆ  Ｌａｐａｒｏｓｃｏｐｉｃ  Ｓｕｒｇｉｃａｌ  Ｐｒｏｃｅｄｕｒｅｓ  ｔｈｒｏｕｇｈ  Ａｎａｔｏｍｉｃａｌ  Ｍｏｄｅｌ  Ａｕｇｍｅｎｔａｔｉｏｎ」、または国際公開ＷＯ２０１４／１２７３２１Ａ２、発明の名称「Ｂｉｏｍｅｃｈａｎｉｃａｌｌｙ  Ｄｒｉｖｅｎ  Ｒｅｇｉｓｔｒａｔｉｏｎ  ｏｆ  Ｐｒｅ−Ｏｐｅｒａｔｉｖｅ  Ｉｍａｇｅ  ｔｏ  Ｉｎｔｒａ−Ｏｐｅｒａｔｉｖｅ  ３Ｄ  Ｉｍａｇｅｓ  ｆｏｒ  Ｌａｐａｒｏｓｃｏｐｉｃ  Ｓｕｒｇｅｒｙ」に記載されているように実施することができ、これらの文献の開示内容全体は参照により本願に組み込まれる。
【００２１】
ステップ３０６において、手術計画に関してシミュレートされた術中画像が、シミュレートされ、また変形されたターゲット器官を使用して生成される。シミュレートされた術中画像は、手術計画の条件、例えば診断するための器官の指定された部位、術中カメラの実現可能な方位の範囲、および腹腔鏡挿入口の位置に基づいて、シミュレートされ、また変形されたターゲット器官の複数の仮想投影画像を抽出することによって生成される。ステップ３０８において、術前３Ｄ医療画像ボリュームの、シミュレートされた術中画像への剛体レジストレーションが実施される。特に、最新の手術計画によって取得された術中画像を使用する位置合わせの結果を予測するために、上述の図１の方法を実施して、術前３Ｄ医療画像を、シミュレートされた術中画像に位置合わせすることができる。
【００２２】
ステップ３１０において、予測された位置合わせ品質測定値が計算される。１つの考えられる実現形態においては、予測された位置合わせに関する表面エラーが計算される。特に、術前３Ｄボリュームのシミュレートされた投影画像と、シミュレートされ、また変形されたターゲット器官から抽出された、シミュレートされた術中画像との間の総表面エラーを計算することができる。さらに、最新の手術計画に関する術中カメラ視野内の器官構造特徴の大きさおよび品質を測定する他の計量も計算することができる。ステップ３１２において、予測された位置合わせ品質が十分であるか否かが判定される。予測された位置合わせ品質が十分でないと判定された場合には、方法はステップ３１４に進む。予測された位置合わせ品質が十分であると判定された場合には、方法はステップ３１６に進む。１つの考えられる実現形態においては、予測された位置合わせ品質は十分であるか否かを、例えば予測された位置合わせ品質測定値（例えば、表面エラー）を閾値と比較することによって、自動的に判定することができる。別の考えられる実現形態においては、手術計画モジュールが結果をユーザに提示することができ、またユーザは、予測された位置合わせ品質が十分であるか否かを決定することができる。例えば、１つまたは複数の予測された位置合わせ品質測定値、ならびにバイオメカニカルシミュレーションの結果生じた、変形されたターゲット器官を、表示装置に表示することができる。計画プロセスのガイドの助けとなるように、バイオメカニカルシミュレーションの結果および対応する位置合わせをユーザに提示することに加えて、手術計画モジュールは、位置合わせ結果を改善するために、手術計画のパラメータに関する示唆、例えば挿入口の位置および患者の向きも提供することができる。
【００２３】
予測された位置合わせ品質が十分でないと判定された場合には、ステップ３１４において、出術計画が洗練される。例えば、位置合わせ結果を改善するために、挿入口の位置および患者の向きのようなパラメータの自動的な調整によって、手術計画を洗練することができるか、または手術計画モジュールへのユーザ入力を介して手術計画のパラメータをユーザが手動で変更することによって、手術計画を洗練することができる。手術計画モジュールによってユーザに提供された、提案された変更を組み込むために、ユーザが手術計画のパラメータを手動で変更することも可能である。続いて、方法はステップ３０４に戻り、ステップ３０４から３１２が繰り返されて、器官の変形がシミュレートされ、また洗練された手術計画に関する位置合わせ品質が予測される。
【００２４】
手術計画に関する予測された位置合わせ品質が十分であると判定された場合には、ステップ３１６において、手術計画を使用して、制約付き剛体レジストレーションが実施される。上述の図１の位置合わせ法は、手術計画から得られた先験的な知識に基づいてさらに制約される。特に、手術計画が最終的に承認されると、術中画像が、手術計画を使用して取得され、図１の方法は、術前３Ｄ医療画像ボリュームを取得された術中画像に位置合わせするために使用され、また手術計画のパラメータ、例えば手術台の上の患者の姿勢および腹腔鏡画像のための挿入口の位置が、さらなる制約を位置合わせに課す。
【００２５】
図４には、手術計画から得られた先験的な知識から求められた例示的な制約が示されている。図４に示されているように、手術台４０２の位置および手術台４０２に対して相対的な患者４０４の姿勢が手術計画から既知である。ターゲット器官４０６のシミュレートされた変形およびシミュレートされた投影画像４０８（シミュレートされた術中画像）は、器官４０６および患者４０４に関してシミュレートされた投影画像４０８の角度および深度の範囲に関連付けられた制約付き角度および深度制約４１０を提供することができる。
【００２６】
３Ｄボリュメトリック画像データを、術中画像に位置合わせするための上述の方法、およびそのような位置合わせを改善するための手術計画を行うための上述の方法を、公知のコンピュータプロセッサ、メモリユニット、ストレージ装置、コンピュータソフトウェアおよび他のコンポーネントを使用するコンピュータにおいて実施することができる。そのようなコンピュータのハイレベルブロック図が図５に示されている。コンピュータ５０２は、このコンピュータ５０２の全体の動作を規定するコンピュータプログラム命令を実行することによって、そのような全体の動作を制御するプロセッサ５０４を含んでいる。コンピュータプログラム命令を、ストレージ装置５１２（例えば、磁気ディスク）に記憶することができ、またこのコンピュータプログラム命令の実行が要求されるとメモリ５１０にロードすることができる。したがって、図１および図３の方法のステップを、メモリ５１０および／またはストレージ５１２に記憶されているコンピュータプログラム命令によって規定することができ、またそれらのコンピュータプログラム命令を実行するプロセッサ５０４によって制御することができる。画像取得装置５２０、例えば腹腔鏡、内視鏡、ＣＴスキャナ、ＭＲスキャナ、ＰＥＴスキャナなどを、コンピュータ５０２に接続して、入力画像データをコンピュータ５０２に入力することができる。また、画像取得装置５２０とコンピュータ５０２とがネットワークを介して無線により通信することも可能である。コンピュータ５０２は、ネットワークを介して他の装置と通信するための、１つまたは複数のネットワークインタフェース５０６も含んでいる。コンピュータ５０２はまた、このコンピュータ５０２とのユーザインタラクションを実現する他の入力／出力装置５０８（例えば、ディスプレイ、キーボード、マウス、スピーカ、ボタンなど）も含んでいる。そのような入力／出力装置５０８を、画像取得装置５２０から受信したボリュームに注釈を付けるためのアノテーションツールのような、一連のコンピュータプログラムと共に使用することができる。当業者であれば、実際のコンピュータの実現形態が他のコンポーネントも含み得ること、また図５が、説明を目的としたそのようなコンピュータのコンポーネントの一部をハイレベルで表現したものであることが分かるであろう。
【００２７】
上記の詳細な説明は、あらゆる観点において説明的かつ例示的なものであって、制限的なものではないと解することができる。また本明細書に記載されている本発明の範囲は、詳細な説明から決定されるべきではなく、むしろ特許法によって認められている完全な幅に従い解釈されるように、特許請求の範囲から決定されるべきである。本明細書において説明および記述した実施の形態は、本発明の原理を説明するためだけのものであって、当業者であれば、本発明の範囲および精神から逸脱することなく種々の変更を加えることができると解することができる。また当業者であれば、本発明の範囲および精神から逸脱することなく他の特徴のさまざまな組み合わせを実現することができるであろう。
【図１】
2018514340.tif 000002
【図２】
2018514340.tif 000003
【図３】
2018514340.tif 000004
【図４】
2018514340.tif 000005
【図５】
2018514340.tif 000006
【手続補正書】
【提出日】平成30年1月9日(2018.1.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ターゲット器官の３Ｄ医療画像ボリュームを、前記ターゲット器官の２Ｄ／２．５Ｄ術中画像に位置合わせするための方法において、
前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信すること、
前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、前記３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課すこと、を含んでいる、
方法。
【請求項２】
前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課すことは、
前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化し、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータに、前記術中画像に関する前記相対的な方位測定値によって制約を課すこと、を含んでいる、
請求項１記載の方法。
【請求項３】
前記相対的な方位測定値を、前記複数の術中画像を取得するために使用される術中画像取得装置に取り付けられている方位センサから受信し、
前記相対的な方位測定値は、前記複数の術中画像の各術中画像に対応する、前記術中画像取得装置の相対的な方位を表し、
前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータは、前記シミュレートされた投影画像の各投影画像に関する、仮想カメラの位置パラメータおよび方位パラメータを含んでおり、
前記シミュレートされた投影画像に関する、前記仮想カメラの相対的な方位が、前記複数の術中画像の前記相対的な方位にマッチするように、前記シミュレートされた投影画像に関する、前記仮想カメラの方位パラメータに制約を課す、
請求項２記載の方法。
【請求項４】
前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像は、２Ｄ画像データおよび対応する２．５Ｄ深度データを含んでおり、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の各投影画像は、２Ｄ画像データおよび対応する２．５Ｄ深度データを含んでいる２Ｄ／２．５Ｄ投影画像であり、前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化し、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータに、前記術中画像に関する前記相対的な方位測定値によって制約を課すことは、
前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像における前記２Ｄ画像データと、前記シミュレートされた投影画像のうちの前記対応する投影画像との間の類似性計量に基づいて、かつ前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像における前記２．５Ｄ深度データと、前記シミュレートされた投影画像のうちの前記対応する投影画像との間の幾何学適合計量に基づいて、外観を含むコスト関数が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータを最適化すること、を含んでいる、
請求項２記載の方法。
【請求項５】
前記複数の２Ｄ／２．５Ｄ術中画像を取得するために使用される既知の手術計画からの先験的な情報に基づいて、前記位置合わせにさらに制約を課す、
請求項１記載の方法。
【請求項６】
前記先験的な情報は、手術台に対して相対的な患者の姿勢を含んでいる、請求項５記載の方法。
【請求項７】
前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信することは、
腹腔鏡または内視鏡のいずれかである術中画像取得装置から、前記複数の２Ｄ／２．５Ｄ術中画像を受信すること、および
ジャイロスコープまたは加速度計のいずれかである、前記術中画像取得装置に取り付けられている方位センサから、前記術中画像に関する、前記対応する相対的な方位測定値を受信すること、を含んでいる、
請求項１記載の方法。
【請求項８】
さらに
前記複数の２Ｄ／２．５Ｄ術中画像の受信に先行して、
前記ターゲット器官のバイオメカニカルモデルを使用して、手術計画に基づいて、前記ターゲット器官の変形をシミュレートすること、
前記ターゲット器官の前記シミュレートされた変形を使用して、前記手術計画に関してシミュレートされた術中画像を生成すること、
前記ターゲット器官の前記３Ｄ医療画像ボリュームを、前記シミュレートされた術中画像に位置合わせすること、および
前記ターゲット器官の前記３Ｄ医療画像ボリュームの、前記シミュレートされた術中画像への前記位置合わせに基づいて、手術計画に関して予測された位置合わせ品質測定値を計算すること、を含んでいる、
請求項１記載の方法。
【請求項９】
さらに
前記複数の２Ｄ／２．５Ｄ術中画像の受信に先行して、
前記予測された位置合わせ品質測定値に基づいて、前記手術計画に関して予測された位置合わせ品質が十分でないと判定されたことに応答して、前記手術計画のパラメータを洗練すること、を含んでいる、
請求項８記載の方法。
【請求項１０】
前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信することは、
前記手術計画を使用して取得された前記ターゲット器官の前記複数の２Ｄ／２．５Ｄ術中画像を受信し、前記手術計画の１つまたは複数のパラメータに基づいて、前記位置合わせにさらに制約を課すこと、を含んでおり、
前記手術計画の前記１つまたは複数のパラメータは、手術台に対して相対的な患者の姿勢、腹腔鏡の挿入口の位置、または前記複数の２Ｄ／２．５Ｄ術中画像を取得するために使用される術中画像取得装置の角度の範囲、のうちの少なくとも１つを含んでいる、
請求項８記載の方法。
【請求項１１】
ターゲット器官の３Ｄ医療画像ボリュームを、前記ターゲット器官の２Ｄ／２．５Ｄ術中画像に位置合わせするための装置において、
前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信する手段、
前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、前記３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課す手段、を含んでいる、
装置。
【請求項１２】
前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、前記３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせする手段は、
前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化し、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータに、前記術中画像に関する前記相対的な方位測定値によって制約を課す手段、を含んでいる、
請求項１１記載の装置。
【請求項１３】
前記相対的な方位測定値を、前記複数の術中画像を取得するために使用される術中画像取得装置に取り付けられている方位センサから受信し、
前記相対的な方位測定値は、前記複数の術中画像の各術中画像に対応する、前記術中画像取得装置の相対的な方位を表し、
前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータは、前記シミュレートされた投影画像の各投影画像に関する、仮想カメラの位置パラメータおよび方位パラメータを含んでおり、
前記シミュレートされた投影画像に関する、前記仮想カメラの相対的な方位が、前記複数の術中画像の前記相対的な方位にマッチするように、前記シミュレートされた投影画像に関する、前記仮想カメラの方位パラメータに制約を課す、
請求項１２記載の装置。
【請求項１４】
さらに
前記ターゲット器官のバイオメカニカルモデルを使用して、手術計画に基づいて、前記ターゲット器官の変形をシミュレートする手段、
前記ターゲット器官の前記シミュレートされた変形を使用して、前記手術計画に関してシミュレートされた術中画像を生成する手段、
前記ターゲット器官の前記３Ｄ医療画像ボリュームを、前記シミュレートされた術中画像に位置合わせする手段、および
前記ターゲット器官の前記３Ｄ医療画像ボリュームの、前記シミュレートされた術中画像への前記位置合わせに基づいて、手術計画に関して予測された位置合わせ品質測定値を計算する手段、を含んでいる、
請求項１１記載の装置。
【請求項１５】
ターゲット器官の３Ｄ医療画像ボリュームを、前記ターゲット器官の２Ｄ／２．５Ｄ術中画像に位置合わせするためのコンピュータプログラム命令が記憶されている、非一時的なコンピュータ可読媒体において、
前記コンピュータプログラム命令は、プロセッサにおいて実行されると、該プロセッサに以下の動作を実施させる、すなわち
前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信すること、
前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、前記３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課すこと、を実施させる、
非一時的なコンピュータ可読媒体。
【請求項１６】
前記ターゲット器官の３Ｄ医療画像ボリュームのシミュレートされた投影画像を前記複数の２Ｄ／２．５Ｄ術中画像にマッチさせる姿勢パラメータを計算することによって、３Ｄ医療画像ボリュームを、前記複数の２Ｄ／２．５Ｄ術中画像に位置合わせし、該位置合わせに、前記術中画像に関する前記相対的な方位測定値によって制約を課すことは、
前記複数の２Ｄ／２．５Ｄ術中画像の各２Ｄ／２．５Ｄ術中画像と、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像のうちの対応する投影画像との間の類似性計量が最大となるように、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の姿勢パラメータを最適化し、前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータに、前記術中画像に関する前記相対的な方位測定値によって制約を課すこと、を含んでいる、
請求項１５記載の非一時的なコンピュータ可読媒体。
【請求項１７】
前記相対的な方位測定値を、前記複数の術中画像を取得するために使用される術中画像取得装置に取り付けられている方位センサから受信し、
前記相対的な方位測定値は、前記複数の術中画像の各術中画像に対応する、前記術中画像取得装置の相対的な方位を表し、
前記３Ｄ医療画像ボリュームの前記シミュレートされた投影画像の前記姿勢パラメータは、前記シミュレートされた投影画像の各投影画像に関する、仮想カメラの位置パラメータおよび方位パラメータを含んでおり、
前記シミュレートされた投影画像に関する、前記仮想カメラの相対的な方位が、前記複数の術中画像の前記相対的な方位にマッチするように、前記シミュレートされた投影画像に関する、前記仮想カメラの方位パラメータに制約を課す、
請求項１６記載の非一時的なコンピュータ可読媒体。
【請求項１８】
前記ターゲット器官の複数の２Ｄ／２．５Ｄ術中画像と、該術中画像に関する、対応する相対的な方位測定値と、を受信することは、
腹腔鏡または内視鏡のいずれかである術中画像取得装置から、前記複数の２Ｄ／２．５Ｄ術中画像を受信すること、および
ジャイロスコープまたは加速度計のいずれかである、前記術中画像取得装置に取り付けられている方位センサから、前記術中画像に関する、前記対応する相対的な方位測定値を受信すること、を含んでいる、
請求項１５記載の非一時的なコンピュータ可読媒体。
【請求項１９】
前記動作は、さらに
前記複数の２Ｄ／２．５Ｄ術中画像の受信に先行して、
前記ターゲット器官のバイオメカニカルモデルを使用して、手術計画に基づいて、前記ターゲット器官の変形をシミュレートすること、
前記ターゲット器官の前記シミュレートされた変形を使用して、前記手術計画に関してシミュレートされた術中画像を生成すること、
前記ターゲット器官の前記３Ｄ医療画像ボリュームを、前記シミュレートされた術中画像に位置合わせすること、および
前記ターゲット器官の前記３Ｄ医療画像ボリュームの、前記シミュレートされた術中画像への前記位置合わせに基づいて、手術計画に関して予測された位置合わせ品質測定値を計算すること、を含んでいる、
請求項１５記載の非一時的なコンピュータ可読媒体。
【国際調査報告】
2018514340.tif 000007
2018514340.tif 000008
2018514340.tif 000009
2018514340.tif 000010
2018514340.tif 000011