(57)【要約】      （修正有）【課題】骨の３次元（３Ｄ）骨格画像を作成して整形外科手術を補助するためのシステムを提供する。【解決手段】骨の３次元（３Ｄ）骨格画像を作成するためのシステム２は、複数の骨ランドマークを具える骨の３Ｄ骨格モデルと共に使用される。システムは、骨をスキャンして骨輪郭画像を生成する３Ｄスキャン装置３と、画像処理装置４とを備える。画像処理装置は、３Ｄ骨格モデルを処理して各骨ランドマークにそれぞれ応じる複数の空間位置を取得し、且つ骨輪郭画像を処理して各骨ランドマークにそれぞれ対応する複数の特徴を識別してそれらの特徴にそれぞれ応じる複数の空間位置を取得する。画像処理装置は、３Ｄ骨格モデル及び骨輪郭画像のための画像登録を実行し、３Ｄ骨格モデル及び骨輪郭画像を比例して重ね合わせることによって３Ｄ骨格画像を作成する。【選択図】図１
2019130290.tif 000002
【特許請求の範囲】
【請求項１】
骨（７０１）の３次元（３Ｄ）骨格画像（４３０）を作成して整形外科手術を補助するためのシステム（２）であって、
該システムは、前記骨（７０１）の３Ｄ骨格モデル（８００）と共に使用され、
前記３Ｄ骨格モデルは、Ｘ線コンピュータ断層撮影を使用し前記骨（７０１）をスキャンすることで構築されたものであり、
該３Ｄ骨格モデルは、複数の骨ランドマーク（８０１）を具えており、
該システムは、
前記骨（７０１）をスキャンして骨輪郭画像（３０）を生成する３Ｄスキャン装置（３）と、
前記骨輪郭画像（３０）を受け取るために前記３Ｄスキャン装置（３）と接続される画像処理装置（４）と、
を備え、
前記画像処理装置（４）は、
前記３Ｄ骨格モデル（８００）を処理して各前記骨ランドマークにそれぞれ応じる複数の空間位置を取得し、且つ前記骨輪郭画像（３０）を処理して各前記骨ランドマークにそれぞれ対応する複数の特徴を識別してそれらの特徴にそれぞれ応じる複数の空間位置を取得する位置決めユニット（４２）と、
各前記骨ランドマークの前記空間位置をそれぞれ各前記特徴の前記空間位置と共に整列することにより、前記３Ｄ骨格モデル（８００）及び前記骨輪郭画像（３０）のための画像登録を実行し、該３Ｄ骨格モデル（８００）及び該骨輪郭画像（３０）を比例して重ね合わせることによって前記３Ｄ骨格画像（４３０）を作成する画像整列ユニット（４３）と、
該３Ｄ骨格画像（４３０）を表示する表示ユニット（４１）と、
を具えている、システム。
【請求項２】
前記表示ユニット（４１）は更に、前記骨輪郭画像（３０）を表示し、
前記画像処理装置（４）は、ユーザが操作して、前記表示ユニット（４１）に表示される前記骨輪郭画像（３０）における各前記特徴を標記できる標記ユニット（４７）を更に具えている、請求項１に記載のシステム。
【請求項３】
前記骨（７０１）には、各前記骨ランドマークにそれぞれ対応する複数の位置決め部材（７０３）が配置されており、
前記位置決めユニット（４２）は、各前記位置決め部材（７０３）それぞれの位置に基づいた各前記特徴の前記空間位置を取得するよう構成されている、請求項１に記載のシステム。
【請求項４】
前記位置決めユニット（４２）は、各前記骨ランドマークそれぞれの形状により前記骨輪郭画像（３０）を分析することで、各前記特徴を識別する、請求項１に記載のシステム。
【請求項５】
前記３Ｄ骨格モデル（８００）は、下層構造の画像（８０２）を含んでおり、
前記骨（７０１）は、整形外科手術によって生成される陥没エリア（７０２）を有しており、
前記画像処理装置（４）は、
前記骨輪郭画像（３０）を処理して前記３Ｄ骨格画像（４３０）における前記陥没エリア（７０２）の輪郭に対応する施術面を指示するよう構成される輪郭分析ユニット（４４）と、
前記施術面に応じて前記下層構造の画像の方向を定めるよう構成されると共に、前記下層構造の画像の前記方向に関する方向データを生成するよう構成される方向分析ユニット（４５）と、
前記方向データに基づいて前記下層構造の画像と前記施術面との間の距離に関する距離データを定めるよう構成される距離分析ユニット（４６）と、
を具えている、請求項１に記載のシステム。
【請求項６】
前記輪郭分析ユニット（４４）は、前記施術面を複数の監視セクタに分割するよう構成されており、
前記距離分析ユニット（４６）は、各前記監視セクタから、前記下層構造の画像（８０２）と前記施術面との間の複数の最短距離をそれぞれ取得するように構成される最短距離分析モジュール（４６１）を具えており、
前記距離データには、各前記最短距離が含まれている、請求項５に記載のシステム。
【請求項７】
前記構造距離分析ユニット（４６）は、各前記最短距離を所定の警報距離と比較すると共に、各前記監視セクタにおいて、それらに対応する前記最短距離が前記所定の警報距離より短い場合に、前記監視セクタに可視的合図を表示する距離警報モジュール（４６４）を更に具えている、請求項６に記載のシステム。
【請求項８】
前記可視的合図は、異なる色及び異なる輝度の強さのいずれか一方を使用して、前記監視セクタと前記下層構造の画像（８０２）との間の前記最短距離の異なる数値を指示する、請求項７に記載のシステム。
【請求項９】
前記輪郭分析ユニット（４４）は、前記施術面を複数の監視セクタに分割するよう構成されており、
前記距離分析ユニット（４６）は、
各前記監視セクタから、前記下層構造（８０２）の画像と前記施術面との間の複数の垂直距離をそれぞれ取得するように構成される垂直距離分析モジュール（４６２）と、
各前記監視セクタから、前記下層構造（８０２）の画像と前記施術面との間の複数の水平距離をそれぞれ取得するように構成される水平距離分析モジュール（４６２）と、
を具えており、
前記距離データには、各前記垂直距離と各前記水平距離とが含まれている、請求項５に記載のシステム。
【請求項１０】
前記構造距離分析ユニット（４６）は、各前記垂直距離及び各前記水平距離を所定の警報距離と比較すると共に、各前記監視セクタにおいて、それらに対応する前記垂直距離及び前記水平距離のいずれか一方が前記所定の警報距離より短い場合に、前記監視セクタに可視的合図を表示する距離警報モジュール（４６４）を更に具えている、請求項９に記載のシステム。
【請求項１１】
前記可視的合図は、異なる色及び異なる輝度の強さのいずれか一方を使用して、前記垂直距離及び前記水平距離の前記いずれか一方の異なる数値を示す、請求項１０に記載のシステム。
【請求項１２】
前記システムは、前記陥没エリア（７０２）上に配置されるタグ付け部材（５）を更に備え、
前記３Ｄスキャン装置（３）は、前記骨に沿って前記タグ付け部材（５）をスキャンし、前記骨輪郭画像（３０）を生成して前記タグ付け部材（５）の画像を含ませるよう構成されており、
前記位置決めユニット（４２）は、前記骨輪郭画像（３０）中の前記タグ付け部材（５）の前記画像を識別することで、前記画像処理装置（４）に生成された前記３Ｄ骨格画像（４３０）に、前記タグ付け部材（５）の前記画像が含まれるよう構成されており、
前記位置決めユニット（４２）は、前記タグ付け部材（５）の前記画像の位置を取得するよう構成されており、
前記距離分析ユニット（４６）は、前記タグ付け部材（５）の前記画像の前記位置に基づいて、前記下層構造の画像（８０２）と前記タグ付け部材（５）の前記画像との間の距離を定めると共に、前記３Ｄ骨格画像（４３０）における前記下層構造の画像（８０２）と前記タグ付け部材（５）の前記画像との間の該距離を指示する、請求項５に記載のシステム。
【請求項１３】
前記画像処理装置（４）は、前記３Ｄスキャン装置（３）を制御し、前記骨（７０１）を周期的にスキャンして前記骨輪郭画像（３０）を生成すると共に、該画像処理装置（４）を制御して前記骨輪郭画像（３０）に基づいて前記３Ｄ骨格画像（４３０）を周期的に作成するタイマー（４９）を更に具えている、請求項５に記載のシステム。
【請求項１４】
骨（７０１）の３次元（３Ｄ）骨格画像（４３０）を作成して整形外科手術を補助するための方法であって、
該方法は、前記骨（７０１）の３Ｄ骨格モデル（８００）と共に使用されるシステムにより実行され、
前記３Ｄ骨格モデル（８００）は、Ｘ線コンピュータ断層撮影を使用し前記骨（７０１）に基づいて構築されたものであり、
該システムは、３次元（３Ｄ）スキャン装置（３）と画像処理装置（４）とを備えており、
該３Ｄ骨格モデルは、複数の骨ランドマークを具えており、
該方法には、
前記画像処理装置（４）により、前記３Ｄ骨格モデル（８００）を処理して各前記骨ランドマークにそれぞれ応じる複数の空間位置を取得することと、
前記３Ｄスキャン装置（３）により、前記骨（７０１）をスキャンして骨輪郭画像（３０）を生成することと、
前記画像処理装置（４）により、前記骨輪郭画像（３０）を処理して各前記骨ランドマークにそれぞれ対応する複数の特徴を識別してそれらの特徴にそれぞれ応じる複数の空間位置を取得することと、
前記画像処理装置（４）により、各前記骨ランドマークの前記空間位置をそれぞれ各前記特徴の前記空間位置と共に整列することによって、前記３Ｄ骨格モデル（８００）及び前記骨輪郭画像（３０）のための画像登録を実行して、該３Ｄ骨格モデル（８００）及び該骨輪郭画像（３０）を比例して重ね合わせることによって前記３Ｄ骨格画像（４３０）を生成することと、
が含まれている、方法。
【請求項１５】
前記方法には、前記画像処理装置（４）の表示ユニット（４１）により、前記骨輪郭画像（３０）を表示することが更に含まれ、
前記骨輪郭画像（３０）の処理には、１つの前記特徴を指示する前記表示ユニット（４１）上のスポットにおけるユーザ入力標記信号に応じて、前記表示ユニット（４１）上の該スポットに対応する空間位置を取得して該１つの前記特徴の前記空間位置とすることが含まれている、請求項１４に記載の方法。
【請求項１６】
前記骨輪郭画像（３０）の処理には、各前記骨ランドマークそれぞれの形状により前記骨輪郭画像（３０）を分析することで、各前記特徴を識別することが含まれる、請求項１４に記載の方法。
【請求項１７】
前記骨（７０１）には、各前記骨ランドマークにそれぞれ対応する複数の位置決め部材（７０３）が配置されており、
前記骨輪郭画像（３０）の処理には、各前記位置決め部材（７０３）それぞれの位置に基づいた各前記特徴の前記空間位置を取得することが含まれる、請求項１４に記載の方法。
【請求項１８】
前記３Ｄ骨格モデル（８００）は、下層構造の画像（８０２）を含んでおり、
前記骨（７０１）は、整形外科手術によって生成される陥没エリア（７０２）を有しており、
前記骨輪郭画像（３０）の処理には、
前記３Ｄ骨格画像（４３０）における前記陥没エリア（７０２）の輪郭に対応する施術面を指示することと、
前記施術面に応じて前記下層構造の画像（８０２）の方向を定めると共に、前記下層構造の画像（８０２）の前記方向に関する方向データを生成することと、
前記方向データに基づいて前記下層構造の画像（８０２）と前記施術面との間の距離に関する距離データを定めることと、
が含まれている、請求項１４に記載の方法。
【請求項１９】
前記骨輪郭画像（３０）の処理には、前記施術面を複数の監視セクタに分割することが更に含まれており、
前記方法には、各前記監視セクタから、前記下層構造の画像（８０２）と前記施術面との間の複数の最短距離をそれぞれ取得し、該距離データに各前記最短距離が含まれることが更に含まれている、請求項１８に記載の方法。
【請求項２０】
前記骨輪郭画像（３０）の処理には、前記施術面を複数の監視セクタに分割することが更に含まれており、
前記方法には、
各前記監視セクタから、前記下層構造の画像（８０２）と前記施術面との間の複数の垂直距離をそれぞれ取得し、且つ各前記監視セクタから、前記下層構造（８０２）の画像と前記施術面との間の複数の水平距離をそれぞれ取得し、該距離データに各前記垂直距離と各前記水平距離とが含まれることと、
各前記垂直距離及び各前記水平距離を所定の警報距離と比較すると共に、各前記監視セクタにおいて、それらに対応する前記垂直距離及び前記水平距離のいずれか一方が前記所定の警報距離より短い場合に、前記監視セクタに可視的合図を表示することと、
が含まれている請求項１８に記載の方法。
【請求項２１】
前記可視的合図は、異なる色及び異なる輝度の強さのいずれか一方を使用して、前記監視セクタと前記下層構造の画像（８０２）との間の最短距離の異なる数値を指示する、請求項２０に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連する出願の相互参照）
本出願は、２０１７年１２月６日に出願された台湾特許出願第１０６１４２７４４号の優先権を主張するものである。
【０００２】
本開示は、骨の３次元骨格画像を作成して整形外科手術を補助するためのシステム及び方法に関する。
【背景技術】
【０００３】
側頭骨は、頭蓋骨を構成する多くの骨の中にあって、そして多くの耳の構造部（即ち、外耳、中耳、内耳、前庭系、顔面神経（ＣＮ  ＶＩＩ）、血管など）を収納するものである。
【０００４】
各側頭骨における整形外科手術は、電動ドリルを利用して各側頭骨のうちの1つを掘削することに関わる。しかし、電動ドリルにより各耳の各上記構造部が何らかの損傷を受けると、深刻な、時には致命的な合併症を起こす恐れがあるため、それらの耳の各上記構造部に対しては、格別の注意を払わなければならない。
【０００５】
従来では、側頭骨の手術には、断層撮影（ＣＴ）を使用することで患者の頭蓋骨の３次元画像モデルが作成される。米国特許出願公開第２０１４００３９２６１号には、ＣＴを実行するシステムの一例が開示されている。医者は、ＣＴの後に３次元画像モデルの分析を行って、側頭骨において症状が現れた部分を定め、そして該側頭骨の前記部分とそれらの耳の各前記構造部との間の空間的関係を定める（例えば、相対位置、距離など）。その後、医者は、側頭骨の手術を行って、該側頭骨の前記部分を掘削することができる。その空間的関係と他の手掛かり、例えば掘削した前記側頭骨の部分の外観や、掘削により露出した前記側頭骨の前記部分の形状などを知ることで、医者は、例えば掘削するべき深さ、方向、そしてそのドリルを別の工具に取り替えるべきかとうかなどの状況を見極めることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明の１つの目的は、骨の３次元（３Ｄ）骨格画像を作成して整形外科手術を補助するためのシステムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明によれば、該システムは、骨の３Ｄ骨格モデルと共に使用される。前記３Ｄ骨格モデルは、Ｘ線コンピュータ断層撮影を使用し前記骨をスキャンすることで構築されるものである。該３Ｄ骨格モデルは、複数の骨ランドマークを具える。
該システムは、
前記骨をスキャンして骨輪郭画像を生成する３Ｄスキャン装置と、
前記骨輪郭画像を受け取るために前記３Ｄスキャン装置と接続される画像処理装置と、
を備え、
前記画像処理装置は、
前記３Ｄ骨格モデルを処理して各前記骨ランドマークにそれぞれ応じる複数の空間位置を取得し、且つ前記骨輪郭画像を処理して各前記骨ランドマークにそれぞれ対応する複数の特徴を識別してそれらの特徴にそれぞれ応じる複数の空間位置を取得する位置決めユニットと、
各前記骨ランドマークの前記空間位置をそれぞれ各前記特徴の前記空間位置と共に整列することにより、前記３Ｄ骨格モデル及び前記骨輪郭画像のための画像登録を実行し、該３Ｄ骨格モデル及び該骨輪郭画像を比例して重ね合わせることによって前記３Ｄ骨格画像を作成する画像整列ユニットと、
該３Ｄ骨格画像を表示する表示ユニットと、
を具えている。
【０００８】
本開示の他１つの目的は、骨の３次元骨格画像を作成して整形外科手術を補助するための方法を提供することにある。
【０００９】
本開示の１つの実施形態によれば、該方法は、骨の３Ｄ骨格モデルと共に使用されるシステムにより実行されるものである。前記３Ｄ骨格モデルは、Ｘ線コンピュータ断層撮影を使用し前記骨に基づいて構築されるものである。該システムは、３次元スキャン装置と画像処理装置とを備えている。該３Ｄ骨格モデルは、複数の骨ランドマークを具えている。
該方法には、
前記画像処理装置により、前記３Ｄ骨格モデルを処理して各前記骨ランドマークにそれぞれ応じる複数の空間位置を取得することと、
前記３Ｄスキャン装置により、前記骨をスキャンして骨輪郭画像を生成することと、
前記画像処理装置により、前記骨輪郭画像を処理して各前記骨ランドマークにそれぞれ対応する複数の特徴を識別してそれらの特徴にそれぞれ応じる複数の空間位置を取得することと、
前記画像処理装置により、各前記骨ランドマークの前記空間位置をそれぞれ各前記特徴の前記空間位置と共に整列することによって、前記３Ｄ骨格モデル及び前記骨輪郭画像のための画像登録を実行して、該３Ｄ骨格モデル及び該骨輪郭画像を比例して重ね合わせることによって前記３Ｄ骨格画像を生成することと、
が含まれている。
【００１０】
本発明の他の特徴および利点は、添付の図面を参照する以下の実施形態の詳細な説明において明白になるであろう。
【図面の簡単な説明】
【００１１】
【図１】本開示の１つの実施形態に係る、骨の３次元骨格画像を作成するためのシステムを示す概略図である。
【図２】本開示の１つの実施形態に係る、前記システムの部品を示すブロック図である。
【図３】比例して重ね合わせることで３Ｄ骨格画像を作成する骨の３次元（３Ｄ）骨格画像と骨輪郭画像とを示す。
【図４】比例して重ね合わせることで３Ｄ骨格画像を作成する骨の３次元（３Ｄ）骨格画像と骨輪郭画像とを示し、且つその骨に整形外科手術による陥没エリアがあることを示す。
【図５】下層構造の画像を含んだ３Ｄ骨格画像の一例の一部断面図である。
【図６】骨の３Ｄ骨格画像を作成して整形外科手術を補助するための方法を示すフローチャートである。
【図７】本開示の１つの実施形態に係る前記システムの部品を示すブロック図である。
【図８】本開示の１つの実施形態に係る前記システムの部品を示すブロック図である。
【発明を実施するための形態】
【００１２】
本発明をより詳細に説明する前に、適切と考えられる場合において、符号又は符号の末端部は、同様の特性を有し得る対応の又は類似の要素を示すために各図面間で繰り返し用いられることに留意されたい。
【００１３】
図１は、本開示の１つの実施形態に係る、骨の３次元骨格画像を作成するためのシステム２を示す概略図である。
【００１４】
本実施形態において、システム２は、手術台６００に設置され、そして３次元（３Ｄ）スキャン装置３と画像処理装置４とを備えている。
【００１５】
更に図３を参照すると、本実施形態において、システム２は、骨７０１の３次元骨格画像４３０を作成して、例えば側頭骨手術のような整形外科手術を補助するために構成されている。
【００１６】
システム２は、Ｘ線コンピュータ断層撮影（ＣＴ）を使用し骨７０１をスキャンすることで構築できる、骨７０１の３Ｄ骨格モデル８００と共に使用されている。本実施形態において、３Ｄ骨格モデル８００は、患者の頭蓋骨に基づいて構成されており、また、前記の骨７０１は側頭骨である。なお、３Ｄ骨格モデル８００の構築は、当技術分野における周知の方法により達成してもよいので、ここでは簡潔のため、３Ｄ骨格モデル８００の構築に関する詳細を省略する。
【００１７】
３Ｄ骨格モデル８００は、複数の骨ランドマーク８０１と、下層構造の画像８０２を具えている。
【００１８】
各骨ランドマーク８０１は、骨７０１の各特徴に関連しており、そして視覚的に識別可能に露出している。
【００１９】
前記下層構造の画像８０２は、骨７０１の一部分に対応し、そしてその骨７０１の前記一部分により覆われている構造部（例えば、顔面神経、髄膜、血管など）を示す。
【００２０】
骨７０１には、各骨ランドマーク８０１にそれぞれ対応する複数の位置決め部材７０３が設置されてもよい。各位置決め部材７０３は、シールや、ブロックなどを使用することで実施されてもよい。
【００２１】
図４と図５を参照すると、本実施形態において、骨７０１は、整形外科手術を行うため部分的に露出し、そしてその整形外科手術中に陥没エリア７０２が形成される。骨７０１の陥没エリア７０２には、その陥没エリア７０２に覆われている各構造部上の情報を多く必要とする、該陥没エリア７０２上の各スポットを識別するために、複数のタグ付け部材５が配置されてもよい。各タグ付け部材５は、シールや、ブロックなどを使用することで実施されてもよい。
【００２２】
３Ｄスキャン装置３は、適切な人物（例えば、執刀医、助手など）により操作されて、骨７０１をスキャンしてその骨７０１の骨輪郭画像３０を生成することができる。３Ｄスキャン装置３は、位置決め部材７０３とタグ付け部材５とを検知できることに留意されたい。よって、各位置決め部材７０３が骨７０１に配置され、且つ／あるいは各タグ付け部材５が陥没エリア７０２に設置される際、骨輪郭画像３０には、各位置決め部材７０３の画像及び／あるいはタグ付け部材５の画像が含まれている。
【００２３】
なお、骨輪郭画像３０を生成する３Ｄスキャン装置３の操作は、当技術領域における周知の方法により達成できるので、ここでは簡潔のためにその詳細を省略する。
【００２４】
図２は、本開示の１つの実施形態に係るシステム２の部品を示すブロック図である。
【００２５】
画像処理装置４は、演算装置（例えば、パソコン、ラップトップ、タブレット、モバイル装置など）を使用して実施されてもよく、そして処理機ユニット４０と、表示ユニット４１と、位置決めユニット４２と、画像整列ユニット４３と、輪郭分析ユニット４４と、方向分析ユニット４５と、距離分析ユニット４６と、通信ユニット４７とを具えている。
【００２６】
処理機ユニット４０には、シングルコアプロセッサ、マルチコアプロセッサ、デュアルコアモバイルプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタルシングルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、無線周波数集積回路（ＲＦＩＣ）、及び／または同類の後述の段落の作業を行うためのものが含まれてもよいが、その限りではない。
【００２７】
なお、本実施形態において、画像処理装置４の各部材（即ち、位置決めユニット４２と画像整列ユニット４３と輪郭分析ユニット４４と方向分析ユニット４５と距離分析ユニット４６）は、ハードウェア回路もしくは該画像処理装置４内に記憶保存されたソフトウェアを使用して、処理機ユニット４０により執行されるよう実施されてもよい。
【００２８】
通信ユニット４７は、有線接続ソケットと、短距離無線通信モジュールと、モバイル通信モジュールとを具えており、そこで、前記短距離無線通信モジュールは、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉを使用して短距離無線通信ネットワークをサポートするものであり、前記モバイル通信モジュールは、ロングタームエボリューション（ＬＴＥ）、無線モバイルの遠隔通信技術の第３世代（３Ｇ）や第４世代（４Ｇ）、及び／またはその同類を使用して遠隔通信をサポートするものである。通信ユニット４７は、骨輪郭画像３０を受け取るために３Ｄスキャン装置３と接続し、そして３Ｄ骨格モデル８００を取得するために例えばＣＴ装置と接続することが可能である。
【００２９】
位置決めユニット４２は、処理機ユニット４０に制御されて３Ｄ骨格モデル８００を処理して、各骨ランドマーク８０１にそれぞれ応じる複数の空間位置を取得する。本実施形態において、各前記空間位置は、座標の組の形で表現してもよい。
【００３０】
位置決めユニット４２は、処理機ユニット４０に制御されて、更に骨輪郭画像３０を処理して、各骨ランドマーク８０１にそれぞれ対応する複数の特徴４２１を識別して、それらの特徴４２１にそれぞれ応じる複数の空間位置を取得する（図４を参照）。
【００３１】
一例として、骨７０１に各骨ランドマーク８０１にそれぞれ対応する複数の位置決め部材７０３が配置されている際、位置決めユニット４２は、各位置決め部材７０３それぞれの位置に基づいた各前記特徴の前記空間位置を取得するよう構成される。
【００３２】
別例において、位置決めユニット４２は、各骨ランドマーク８０１それぞれの形状による骨輪郭画像３０を分析することで、各特徴４２１を識別する。
【００３３】
骨輪郭画像３０に各タグ付け部材５の前記画像が含まれている際、位置決めユニット４２は更に、各タグ付け部材５にそれぞれ対応する複数のタグ付け点５０１を識別して、各タグ付け点５０１にそれぞれ応じる複数の空間位置を取得する。
【００３４】
画像整列ユニット４３は、処理機ユニット４０に制御されて３Ｄ骨格モデル８００及び骨輪郭画像３０のための画像登録を実行する。具体的に言うと、画像整列ユニット４３は、各骨ランドマーク８０１の前記空間位置をそれぞれ各特徴４２１の前記空間位置と共に整列することにより、その画像登録を行って、３Ｄ骨格モデル８００及び骨輪郭画像３０を比例して重ね合わせることによって３Ｄ骨格画像４３０を作成する（図４を参照）。
【００３５】
３Ｄ骨格画像４３０は、前記人物が見るために表示ユニット４１に表示され、そして多様な方法（例えば、移動、回転、ズームインとズームアウトなど）で操作可能である。
【００３６】
図４と図５に示されるよう、３Ｄ骨格画像４３０は、骨７０１の現在の外観と、骨輪郭画像３０と重ね合う下層構造８０２の画像とを示す。更に、３Ｄ骨格画像４３０は、特徴４２１とタグ付け点５０１を示してもよい。
【００３７】
輪郭分析ユニット４４は、骨輪郭画像３０を処理して、３Ｄ骨格画像４３０における陥没エリア７０２の輪郭に対応する施術面４４０を指示するよう構成されている。
【００３８】
本実施形態において、３Ｄスキャン装置３は、整形外科手術の進行中に骨７０１を数回スキャンするよう操作されて、各種形状の骨７０１を示す多数の骨輪郭画像３０を生成してもよい。輪郭分析ユニット４４は、骨輪郭画像３０を処理して、施術面４４０のより精確な指示を取得するよう構成されている。そして施術面４４０は、３Ｄ骨格画像４３０において動態的に指示される。
【００３９】
一部の実施形態において、輪郭分析ユニット４４は、施術面４４０を複数の監視セクタ（図示せず）に分割するよう構成されてもよい。
【００４０】
方向分析ユニット４５は、３Ｄ骨格画像４３０において指示される施術面４４０に応じて、下層構造の画像８０２の方向を定めるよう構成されている。更に、方向分析ユニット４５は、下層構造の画像８０２の前記方向に関する方向データを生成するよう構成されている。
【００４１】
具体的に言うと、前記方向データは、仮定の３Ｄ座標システムにおける所定の参考点を参考した下層構造の画像８０２における異なるスポットにそれぞれ対応する多数の座標の組と、施術面４４０における異なるスポットにそれぞれ対応する複数の座標の組と、という形であってもよい。方向分析ユニット４５は、前記方向データを使用し、施術面４４０に応じて、下層構造の画像８０２の前記方向を定めるよう構成されている。
【００４２】
距離分析ユニット４６は、方向分析ユニット４５によって生成された前記方向データ（即ち、前記座標の各組）に基づいて、下層構造の画像８０２と施術面４００との間の少なくとも１つの距離に関する距離データを定めるよう構成されている。
【００４３】
本実施形態において、距離分析ユニット４６は、最短距離分析モジュール４６１と、垂直距離分析モジュール４６２と、水平距離分析モジュール４６３と、距離警報モジュール４６４とを具えている。
【００４４】
最短距離分析モジュール４６１は、各前記監視セクタから、下層構造の画像８０２と施術面４００との間の複数の最短距離をそれぞれ取得するように構成されており、そして前記距離データには、各前記最短距離が含まれている。例えば、輪郭分析ユニット４４によって施術面４４０を分割することにより取得した各前記監視セクタごとに、最短距離分析モジュール４６１は、１つの最短距離を計算して前記距離データに含ませる。
【００４５】
各タグ付け部材５が陥没エリア７０２上に配置された場合では、最短距離分析モジュール４６１は更に、各タグ付け部材５と下層構造の画像８０２との間の１つの最短距離を計算する。
【００４６】
垂直距離分析モジュール４６２は、各前記監視セクタから、下層構造の画像８０２と施術面４４０との間の複数の垂直距離をそれぞれ取得するように構成されている。例えば、各前記監視セクタごとに、垂直距離分析モジュール４６２は、１つの最短垂直距離を計算して前記距離データに含ませる。
【００４７】
各タグ付け部材５が陥没エリア７０２上に配置された場合では、垂直距離分析モジュール４６２は更に、各タグ付け部材５と下層構造の画像８０２との間の１つの最短距離を計算する。
【００４８】
水平距離分析モジュール４６３は、各前記監視セクタから、下層構造の画像８０２と施術面４４０との間の複数の水平距離をそれぞれ取得するように構成されている。例えば、各前記監視セクタごとに、水平距離分析モジュール４６３は、１つの最短水平距離を計算して前記距離データに含ませる。
【００４９】
各タグ付け部材５が陥没エリア７０２上に配置された場合では、水平距離分析モジュール４６３は更に、各タグ付け部材５と下層構造の画像８０２との間の１つの最短水平距離を計算する。
【００５０】
なお、各前記距離の計算に関する垂直距離分析モジュール４６２及び水平距離分析モジュール４６３の操作は、最短距離分析モジュール４６１の操作に類似してもよい。
【００５１】
本開示の１つの実施形態によれば、距離分析ユニット４６は、前記距離データを処理機ユニット４０に出力するよう構成されてもよく、処理機ユニット４０はそれから表示ユニット４１を制御して少なくとも一部の前記距離データを表示させる。例えば、表示ユニット４１に表示された前記距離データには、各タグ付け部材５ごとに、下層構造の画像８０２に応じて、算出された最短距離と、算出された最短垂直距離と、算出された最短水平距離と、が含まれてもよい。このように、各タグ付け部材５と下層構造の画像８０２との間の空間的関係を前記人物に直接に通知することができる。
【００５２】
距離警報モジュール４６４は、各前記最短距離を、前記人物により予め設定され得る警報距離と比較するよう構成されている。
【００５３】
更に、距離警報モジュール４６４は、前記人物が操作して最短距離警報モードを有効／無効にすることができる。前記最短距離警報モードが有効になると、距離警報モジュール４６４は、各前記監視セクタに対して、対応する前記最短距離が前記所定の警報距離より短い場合に、可視的合図を表示するよう構成される。
【００５４】
一例において、前記可視的合図は、異なる色及び／または異なる輝度の強さを使用して、前記監視セクタと下層構造の画像８０２との間の前記最短距離の異なる数値を指示する。
【００５５】
同様に、距離警報モジュール４６４は、前記人物が操作して垂直距離警報モード及び水平距離警報モードを有効／無効にすることができる。
【００５６】
前記垂直距離警報モードまたは前記水平距離警報モードが有効になると、距離警報モジュール４６４は、各前記監視セクタに対して、対応する前記垂直距離／前記水平距離が前記所定の警報距離より短い場合に、可視的合図を表示するよう構成される。一部の例としては、異なる所定の警報距離を、垂直距離警報モード及び水平距離警報モードに使ってもよい。一例として、前記可視的合図は、異なる色及び／または異なる輝度の強さを使用して、前記監視セクタと下層構造の画像８０２との間の前記垂直距離／前記水平距離の異なる数値を示す。
【００５７】
また、前記垂直距離警報モード及び前記水平距離警報モードにはそれぞれ、異なる色及び／または異なる輝度の強さが応用されてもよい。
【００５８】
図６は、本開示の１つの実施形態に係る、骨７０１の３次元骨格画像４３０を作成して整形外科手術を補助するための方法を示すフローチャートである。
【００５９】
応用上、この方法は、図１と図２に示される前記システムを使用して整形外科手術の進行中に実行されてもよい。
【００６０】
ステップ９０１において、画像処理装置４は、３Ｄ骨格モデル８００を処理して、各骨ランドマーク８０１にそれぞれ応じる複数の空間位置を取得する。本実施形態において、各骨ランドマーク８０１は、他の身体構造部に相対する目視基準になりうる、骨７０１の一部分として定義されている。側頭骨において、各骨ランドマーク８０１は、外耳道（ＥＡＭ）の縁部と、その側頭骨の乳突部と、その側頭骨の鞘状突起などに対応する部分を含んでもよい。
【００６１】
ステップ９０２において、３Ｄスキャン装置３は、骨７０１をスキャンして骨輪郭画像３０を生成する。なお、整形外科手術の進行中、前記人物は、ステップ９０２を行う前に、骨７０１上に位置決め部材７０３を配置して各骨ランドマーク８０１にそれぞれ対応させてもよい。骨輪郭画像３０は、生成後に表示ユニット４１に表示してもよい。
【００６２】
ステップ９０３において、画像処理装置４は、骨輪郭画像３０を処理して、各骨ランドマーク８０１にそれぞれ対応する複数の特徴４２１を識別して、それらの特徴４２１にそれぞれ応じる複数の空間位置を取得する。
【００６３】
一例において、画像処理装置４は、各位置決め部材７０３それぞれの位置に基づいて各特徴４２１の空間位置を取得するよう構成されている。別例において、骨輪郭画像３０の処理には、各骨ランドマーク８０１それぞれの形状による骨輪郭画像３０を分析することで、各特徴４２１を識別することが含まれている。別例において、画像処理装置４は、骨輪郭画像３０を表示し、そして１つの特徴４２１を指示する表示ユニット４１のスポットにおけるユーザ入力の標記信号に応答し、表示ユニット４１の該スポットに対応する骨輪郭画像３０における空間位置を取得して、該１つの特徴４２１の前記空間位置とする。
【００６４】
ステップ９０４において、画像処理装置４は、各骨ランドマーク８００の空間位置をそれぞれ各特徴４２１の空間位置と共に整列することによって、３Ｄ骨格モデル８００及び骨輪郭画像３０のための画像登録を実行して、該３Ｄ骨格モデル８００及び該骨輪郭画像３０を比例して重ね合わせることにより、３Ｄ骨格画像４３０を作成する。図４に示されるよう、３Ｄ骨格モデル８００に含まれている下層構造の画像８０２は、骨輪郭画像３０に表示されてもよい。
【００６５】
なお、異なる場合において、下層構造の画像８０２は、異なる方法で表示されてもよい。例えば、図３において、下層構造の画像８０２の輪郭は破線で表示されており、図４においては、下層構造の画像８０２は透明で表示されてもよい（実際の下層構造の画像の詳細は、本実施形態に記述する必要がないために省略される）。
【００６６】
本実施形態において、整形外科手術の進行中、各前記ステップは数回（例えば、周期的に）行われてもよい。
【００６７】
ステップ９０５において、画像処理装置４は、骨輪郭画像３０を処理して、整形外科手術によって生成された、骨７０１の陥没エリア７０２の輪郭に対応する３Ｄ骨格画像４３０において、施術面４４０を指示する。本実施形態において、施術面４４０は、複数の骨輪郭画像３０を処理することで定められたものである。
【００６８】
更に、画像処理装置４は、施術面４４０に応じて下層構造の画像８０２の方向を定めると共に、該下層構造の画像８０２の前記方向に関する方向データを生成する。
【００６９】
ステップ９０６において、画像処理装置４は、施術面４４０を複数の監視セクタに分割し、そして各前記監視セクタから、下層構造の画像８０２と施術面４４０との間の複数の最短距離をそれぞれ取得して、該距離データに含ませる。更に、画像処理装置４は、各前記最短距離を所定の警報距離と比較し、そして各前記監視セクタにおいて、それらに対応する前記最短距離が前記所定の警報距離より短い場合に、前記監視セクタに可視的合図を表示する。
【００７０】
一部の実施形態において、画像処理装置４は、各前記監視セクタから、下層構造の画像８０２と前記施術面との間の複数の垂直距離をそれぞれ取得し、または各前記監視セクタから、下層構造８０２の画像と施術面４４０との間の複数の水平距離をそれぞれ取得し、そして該距離データには各前記垂直距離と各前記水平距離とが含まれる。
【００７１】
更に、画像処理装置４は、各前記垂直距離及び各前記水平距離を所定の警報距離と比較すると共に、各前記監視セクタにおいて、それらに対応する前記垂直距離及び前記水平距離のいずれか一方が前記所定の警報距離より短い場合に、前記監視セクタに可視的合図を表示する。
【００７２】
なお、整形外科手術の進行中、施術面４４０におけるいずれかのスポットと下層構造８０２との間の距離を前記人物が知りたい時には、その人物が、１つのタグ付け部材５を前記スポットに配置し、そしてシステム２を操作して上記の方法を繰り返すと共に、前記対応するタグ付け点５０１が含まれた新しい３Ｄ骨格画像を作成するようにしてもよい。
【００７３】
図７は、本開示の１つの実施形態に係る、骨７０１（図３を参照）の３次元（３Ｄ）骨格画像４３０（図４を参照）を作成するためのシステム２を示すブロック図である。
【００７４】
本実施形態と図２の実施形態との相違点は、画像処理装置４には、ユーザが操作して、表示ユニット４１に表示される骨輪郭画像３０（図４を参照）における各特徴４２１を標記できる標記ユニット４８を更に具えていることにある。
【００７５】
一例において、標記ユニット４８は、表示ユニット４１と一体化してタッチスクリーンの形態とし、そして前記人物は、指、スタイラスペン、または他の物体を使って、そのタッチスクリーンの一部分に触れて、各特徴４２１を標記してもよい。他の例において、標記ユニット４８は、画像処理装置４に接続、もしくは内蔵されるキーボート／マウスのセットを使用することで実施されてもよい。
【００７６】
図８は、本開示の１つの実施形態に係る、骨７０１の３次元（３Ｄ）骨格画像４３０を作成するためのシステム２を示すブロック図である。
【００７７】
本実施形態と図２の実施形態との相違点は、画像処理装置４が、３Ｄスキャン装置３を制御し、骨７０１を周期的にスキャンして複数の骨輪郭画像３０を生成すると共に、該画像処置装置４を制御して骨輪郭画像３０に基づいた３次元骨格画像４３０を周期的に作成する、タイマー４９を更に具えていることにある。例として、繰り返しカウントダウンタイムは、前記人物により、例えば５分、１０分、３０分などに設定されてもよい。そのカウントダウンタイムが切れたと判定された後、３Ｄスキャン装置３は制御されて骨７０１をスキャンし、画像処理装置４は新たに生成された骨輪郭画像３０に基づいて３Ｄ骨格画像４３０を作成し、そしてタイマー４９は再びカウントダウンタイムの周期を始める。
【００７８】
一部の例において、前記カウントダウンタイムの周期が切れそうになった際（例えば、残り１０秒、３０秒、または１分など）、タイマー４９は、前記人物が見える、もしくは聞こえる警報を発生させてもよい（例えばブザー音）。それに応じて、その人物は、該整形外科手術を一時中止して陥没エリア７０２を整理してもよい。
【００７９】
このように、前記人物において、骨７０１の陥没エリア７０２の空間位置及び下層構造の画像８０２に関する情報が周期的に更新され、そして更なるスキャン作業を行うために人が３Ｄスキャン装置３を持つ必要もない。
【００８０】
総括すると、本開示の各前記実施形態は、患者の骨７０１の３次元（３Ｄ）骨格画像を作成して整形外科手術を補助するためのシステム２及び方法を提供する。特に、そのシステム２及びその方法は、３Ｄ骨格モデル８００及び骨輪郭画像３０を比例して重ね合わせることによって、３Ｄ骨格画像４３０を作成することが可能である。
【００８１】
整形外科手術においては、骨７０１が継続的に穿孔され、または削り取られて、整形外科手術中に形状が変わる陥没エリア７０２が形成されるので、システム２を操作する人物は、患者の他の構造部を基準にした、骨７０１の陥没エリア７０２において選択されたスポットの空間位置情報を取得してもよい。陥没エリア７０２における前記選択されたスポットと下層構造の画像との距離が、所定の警報距離より小さくなった際には、可視的合図が生成されて前記人物に警告を発してもよい。
【００８２】
言い換えると、本開示に記述されている前記システム２及び前記方法は、３Ｄ骨格画像４３０における空間位置情報を提供するので、整形外科手術の施行中に前記人物をナビゲートすることに有用であり、そしてその人物に整形外科手術の施行中に適切な行動を取らせることができ、前記骨１に覆われている各構造部を不意に損傷してしまう危険性を軽減する。
【００８３】
上記においては、本発明の全体的な理解を促すべく、多くの具体的な詳細が示された。しかしながら、当業者であれば、一またはそれ以上の他の実施形態が具体的な詳細を示さなくとも実施され得ることが明らかである。また、本明細書における「一つの実施形態」「一実施形態」を示す説明において、序数などの表示を伴う説明は全て、特定の態様、構造、特徴を有する本発明の具体的な実施に含まれ得るものであることと理解されたい。更に、本説明において、時には複数の変化例が一つの実施形態、図面、またはこれらの説明に組み込まれているが、これは本説明を合理化させるためのもので、また、本発明の多面性が理解されることを目的としたものである。
【００８４】
以上、本発明の好ましい実施形態及び変化例を説明したが、本発明はこれらに限定されるものではなく、最も広い解釈の精神および範囲内に含まれる様々な構成として、全ての修飾および均等な構成を包含するものとする。
【符号の説明】
【００８５】
２  システム
３  ３次元（３Ｄ）スキャン装置
４  画像処理装置
３０  骨輪郭画像
４１  表示ユニット
４２  位置決めユニット
４３  画像整列ユニット
４３０  ３Ｄ骨格画像
７０１  骨
８００  ３Ｄ骨格モデル
８０１  骨ランドマーク
【図１】
2019130290.tif 000003
【図２】
2019130290.tif 000004
【図３】
2019130290.tif 000005
【図４】
2019130290.tif 000006
【図５】
2019130290.tif 000007
【図６】
2019130290.tif 000008
【図７】
2019130290.tif 000009
【図８】
2019130290.tif 000010
【外国語明細書】
2019130290000001.pdf