(57)【要約】  ３次元データを整合する方法及び装置が開示される。３次元データ整合方法は、ターゲットの３次元モデルの表面を表す第１の３次元データを２次元変換して第１の２次元データを生成し、ターゲットの３次元表面の少なくとも一部を表す第２の３次元データを２次元変換して第２の２次元データを生成し、第１の２次元データに第２の２次元データをマッチングして第１の２次元データ上の第１のマッチング領域、及び第２の２次元データ上の第２のマッチング領域をそれぞれ決定し、第１のマッチング領域に対応する第１の３次元データの複数のポイント、及び第２のマッチング領域に対応する第２の３次元データの複数のポイントを初期位置として設定し、初期位置を用いて第１の３次元データ及び第２の３次元データを整合する。
2019533218.tif 000002
【特許請求の範囲】
【請求項１】
ターゲットの３次元モデルの表面を表す第１の３次元データを２次元変換して第１の２次元データを生成する段階と、
前記ターゲットの３次元表面の少なくとも一部を表す第２の３次元データを２次元変換して第２の２次元データを生成する段階と、
前記第１の２次元データに前記第２の２次元データをマッチングして前記第１の２次元データ上の第１のマッチング領域、及び前記第２の２次元データ上の第２のマッチング領域をそれぞれ決定する段階と、
前記第１のマッチング領域に対応する前記第１の３次元データの複数のポイント、及び前記第２のマッチング領域に対応する前記第２の３次元データの複数のポイントを初期位置として設定する段階と、
前記初期位置を用いて前記第１の３次元データ及び前記第２の３次元データを整合する段階とを含む３次元データ整合方法。
【請求項２】
前記第１のマッチング領域及び第２のマッチング領域をそれぞれ決定する段階は、前記第１の２次元データ及び前記第２の２次元データをそれぞれ偏微分して第１の２次元曲率データ及び第２の２次元曲率データを生成する段階と、
前記第１の２次元曲率データ及び前記第２の２次元曲率データをマッチングして前記第１の２次元曲率データ上の第１のマッチング領域、及び前記第２の２次元曲率データ上の第２のマッチング領域をそれぞれ決定する段階とを含む、請求項１に記載の３次元データ整合方法。
【請求項３】
前記第１の２次元曲率データ及び第２の２次元曲率データを生成する段階は、前記第１の２次元データ上の各ポイントの値、及び隣り合う複数のポイントの値に基づいて前記第１の２次元曲率データを生成する段階と、前記第２の２次元データ上の各ポイントの値、及び隣り合う複数のポイントの値に基づいて前記第２の２次元曲率データを生成する段階とを含む、請求項２に記載の３次元データ整合方法。
【請求項４】
前記第１の２次元曲率データ及び第２の２次元曲率データを生成する段階は、前記第１の２次元曲率データとして、前記第１の２次元データの平均曲率を示す平均曲率データまたは前記第１の２次元データのガウシアン曲率を示すガウシアン曲率データを生成する段階と、前記第２の２次元曲率データとして、前記第２の２次元データの平均曲率を示す平均曲率データまたは前記第２の２次元データのガウシアン曲率を示すガウシアン曲率データを生成する段階とを含む、請求項２に記載の３次元データ整合方法。
【請求項５】
前記第１の３次元データを２次元変換して第１の２次元データを生成する段階は、前記第１の３次元データの中心座標を決定する段階と、前記中心座標から前記第１の３次元データの各ポイントまでの距離の平均値を算出する段階と、前記算出された平均値を基準距離にして前記第１の３次元データを前記第１の２次元データに球形アンラッピング（spherical unwrapping）する段階（ここで、前記第１の２次元データの各ポイントの値は、前記第１の２次元データの各ポイントに対応する前記第１の３次元データのポイントから前記中心座標までの距離を表す）とを含む請求項１に記載の３次元データ整合方法。
【請求項６】
前記第２の３次元データを２次元変換して第２の２次元データを生成する段階は、前記第２の３次元データが前記基準距離を半径として有する球の表面上に位置するように前記第２の３次元データを移動させる段階と、前記基準距離に基づいて前記第２の３次元データを前記第２の２次元データに球形アンラッピングする段階（ここで、前記第２の２次元データの各ポイントの値は、前記第２の２次元データの各ポイントに対応する前記第２の３次元データのポイントから前記球の中心座標までの距離を表す）とを含む請求項５に記載の３次元データ整合方法。
【請求項７】
前記第１のマッチング領域及び第２のマッチング領域をそれぞれ決定する段階は、前記第１の２次元データにおいて前記第２の２次元データの所定の領域と最大の類似度を有する領域を決定する段階と、前記第１の２次元データで決定された領域内で前記第１のマッチング領域を決定する段階と、前記第２の２次元データの所定の領域内で前記第２のマッチング領域を決定する段階とを含む、請求項１に記載の３次元データ整合方法。
【請求項８】
前記初期位置を設定する段階は、前記第１の３次元データで前記第１のマッチング領域に対応する複数のポイント、及び前記第２の３次元データで前記第２のマッチング領域に対応する複数のポイントを前記初期位置として設定する段階を含む、請求項１に記載の３次元データ整合方法。
【請求項９】
前記ターゲットの３次元モデルを示すＣＴデータまたはＭＲＩデータを受信する段階と、前記ＣＴデータまたは前記ＭＲＩデータから前記ＣＴデータの表面データまたは前記ＭＲＩデータの表面データを前記第１の３次元データとして抽出する段階とをさらに含む、請求項１に記載の３次元データ整合方法。
【請求項１０】
ターゲットの３次元モデルの表面を表す第１の３次元データを２次元変換して第１の２次元データを生成する第１変換部と、前記ターゲットの３次元表面の少なくとも一部を示す第２の３次元データを２次元変換して第２の２次元データを生成する第２変換部と、前記第１の２次元データに前記第２の２次元データをマッチングして前記第１の２次元データ上の第１のマッチング領域、及び前記第２の２次元データ上の第２のマッチング領域をそれぞれ決定し、前記第１のマッチング領域に対応する前記第１の３次元データの複数のポイント、及び前記第２のマッチング領域に対応する前記第２の３次元データの複数のポイントを初期位置として設定する初期位置設定部と、前記初期位置を用いて前記第１の３次元データ及び前記第２の３次元データを整合するデータ整合部とを含む３次元データ整合装置。
【請求項１１】
前記第１の２次元データ及び前記第２の２次元データをそれぞれ偏微分して第１の２次元曲率データ及び第２の２次元曲率データを生成する曲率変換部をさらに含み、前記初期位置設定部は、前記第１の２次元曲率データ及び前記第２の２次元曲率データをマッチングして前記第１の２次元曲率データ上の第１のマッチング領域、及び前記第２の２次元曲率データ上の第２のマッチング領域をそれぞれ決定する、請求項１０に記載の３次元データ整合装置。
【請求項１２】
前記曲率変換部は、前記第１の２次元データ上の各ポイントの値、及び隣り合う複数のポイントの値に基づいて前記第１の２次元曲率データを生成し、前記第２の２次元データ上の各ポイントの値、及び隣り合う複数のポイントの値に基づいて前記第２の２次元曲率データを生成する、請求項１１に記載の３次元データ整合装置。
【請求項１３】
前記曲率変換部は、前記第１の２次元曲率データとして、前記第１の２次元データの平均曲率を示す平均曲率データまたは前記第１の２次元データのガウシアン曲率を示すガウシアン曲率データを生成し、前記第２の２次元曲率データとして、前記第２の２次元データの平均曲率を示す平均曲率データまたは前記第２の２次元データのガウシアン曲率を示すガウシアン曲率データを生成する、請求項１１に記載の３次元データ整合装置。
【請求項１４】
前記第１変換部は、前記第１の３次元データの中心座標を決定し、前記中心座標から前記第１の３次元データの各ポイントまでの距離の平均値を算出し、前記算出された平均値を基準距離にして前記第１の３次元データを前記第１の２次元データに球形アンラッピングし、前記第１の２次元データの各ポイントの値は、前記第１の２次元データの各ポイントに対応する前記第１の３次元データのポイントから前記中心座標までの距離を表す、請求項１０に記載の３次元データ整合装置。
【請求項１５】
前記第２変換部は、前記第２の３次元データが前記基準距離を半径として有する球の表面上に位置するように前記第２の３次元データを移動させ、前記基準距離に基づいて前記第２の３次元データを前記第２の２次元データに球形アンラッピングし、前記第２の２次元データの各ポイントの値は、前記第２の２次元データの各ポイントに対応する前記第２の３次元データのポイントから前記球の中心座標までの距離を表す、請求項１４に記載の３次元データ整合装置。
【請求項１６】
前記初期位置設定部は、前記第１の２次元データにおいて前記第２の２次元データの所定の領域と最大の類似度を有する領域を決定し、前記第１の２次元データで決定された領域内で前記第１のマッチング領域を決定し、前記第２の２次元データの所定の領域内で前記第２のマッチング領域を決定する、請求項１０に記載の３次元データ整合装置。
【請求項１７】
前記初期位置設定部は、前記第１の３次元データで前記第１のマッチング領域に対応する複数のポイント、及び前記第２の３次元データで前記第２のマッチング領域に対応する複数のポイントを前記初期位置として設定する、請求項１０に記載の３次元データ整合装置。
【請求項１８】
前記ターゲットの３次元モデルを表すＣＴデータまたはＭＲＩデータを受信する通信部と、前記ＣＴデータまたは前記ＭＲＩデータから前記ＣＴデータの表面データまたは前記ＭＲＩデータの表面データを前記第１の３次元データとして抽出する表面抽出部とをさらに含む、請求項１０に記載の３次元データ整合装置。
【請求項１９】
請求項１ないし請求項９のうちいずれか１項に記載の方法の各段階を行う命令語を含むプログラムを格納するコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元データ整合装置及び方法に関するものである。
【背景技術】
【０００２】
医療分野で検診と治療を目的に、患者の患部のような対象に対してそれぞれ異なる装置によって複数の３次元データが取得され得る。これらの３次元データそれぞれは当該データを生成した装置による固有座標系を有し得る。例えば、ＭＲＩ装置を用いて患者の患部をモデリングして生成されたＭＲＩデータと、３次元測定装置を用いて該当患部を撮影して生成された３次元測定データは相異する座標系を有する。
【０００３】
相異する座標系を有する複数の３次元データが検査または治療の目的で共に用いられる場合には、これらの３次元データを適切な方法で結合することができる。例えば、医師が患者を手術するとき、患者の患部とその患部を囲んだ外部の構造及び形状を正確に把握するために、その患部を予めモデリングして生成されたＭＲＩデータと、その患部の外部を撮影して生成された３次元測定データが共に用いられ得る。相異する座標系を有するデータを結合して用いるためには、これらのデータに関わる座標系を１つの座標系に変換ないし整列する必要がある。例えば、ＭＲＩデータの座標系を３次元測定データの座標系に変換したり、３次元測定データの座標系をＭＲＩデータの座標系に変換したり、ＭＲＩデータ及び３次元測定データの座標系を第３の座標系に変換することができる。
【０００４】
一方、相異する座標系を有するデータ間の整合のために様々な整合アルゴリズムが用いられる。整合アルゴリズムの一例によれば、データ間の類似度が高まる方向でデータ間の相対的な位置が変化し、最大の類似度を有するデータ間の相対的な位置が決定され得る。このような整合アルゴリズムは、整合のためにデータで初期位置を指定することができる。この場合、整合するデータで初期位置が間違って指定される場合、整合されたデータ間の類似度は初期位置の周辺でローカル的に最大になるだけであり、データの全領域で最大にならないこともある。換言すれば、整合するデータで初期位置が間違って指定される場合、データ間に不正確な整合が行われ得る。また、このように整合するデータで初期位置が間違って指定される場合、最適の整合を行うまで 多くの時間が必要であるという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、３次元データから変換された２次元データに基づいて当該３次元データ上に整合のための初期位置を設定することにより、データ整合の正確性と効率性を向上することができる、３次元データ整合方法及び装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の一側面は、３次元データを整合する方法を提供する。例示的な実施例による方法は、ターゲットの３次元モデルの表面を表す第１の３次元データを２次元変換して第１の２次元データを生成する段階と、ターゲットの３次元表面の少なくとも一部を表す第２の３次元データを２次元変換して第２の２次元データを生成する段階と、第１の２次元データに第２の２次元データをマッチングして第１の２次元データ上の第１のマッチング領域、及び第２の２次元データ上の第２のマッチング領域をそれぞれ決定する段階と、第１のマッチング領域に対応する第１の３次元データの複数のポイント、及び第２のマッチング領域に対応する第２の３次元データの複数のポイントを初期位置として設定する段階と、初期位置を用いて第１の３次元データ及び第２の３次元データを整合する段階とを含む。
【０００７】
また、例示的な実施例によれば、前記第１のマッチング領域及び第２のマッチング領域をそれぞれ決定する段階は、第１の２次元データ及び第２の２次元データをそれぞれ偏微分して第１の２次元曲率データ及び第２の２次元曲率データを生成する段階と、第１の２次元曲率データ及び第２の２次元曲率データをマッチングして第１の２次元曲率データ上の第１のマッチング領域、及び第２の２次元曲率データ上の第２のマッチング領域をそれぞれ決定する段階とを含む。
【発明の効果】
【０００８】
本発明の少なくとも一実施例によれば、３次元データの整合のための初期位置を指定するために、整合の対象である３次元データ間の直接マッチングを実行する代わりに、３次元データから変換された２次元データ間のマッチングを実行する。このようにマッチングされた領域のデータを再び３次元変換して整合のための初期位置を設定する。その結果、適切な初期位置の設定が可能となり、３次元データ間の整合の正確性と効率性が向上する効果を得ることができる。
【０００９】
また、本発明の少なくとも一実施例によれば、３次元データから変換された２次元データをマッチングすることにおいて、当該２次元データをそれぞれ偏微分して生成された曲率データ間のマッチングを実行する。その結果、初期位置がさらに正確に設定されることにより、３次元データ間の整合の正確性と効率性がさらに向上する効果を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例による表面整合システムを概略的に示す図である。
【図２】本発明の一実施例による３次元データ整合装置の詳細な構成を示すブロック図である。
【図３】本発明の一実施例によりモデル表面データから２次元変換されたモデル表面２次元データを示す図である。
【図４】本発明の一実施例により測定表面データから２次元変換された測定表面２次元データを示す図である。
【図５】本発明の一実施例により測定表面データから２次元変換された測定表面２次元データを示す図である。
【図６】本発明の一実施例によりモデル表面２次元データにマッチングされた測定表面２次元データを示す図である。
【図７】本発明の一実施例によりモデル表面２次元データにマッチングされた測定表面２次元データを示す図である。
【図８】本発明の一実施例によりモデル表面２次元曲率データを偏微分して生成した測定表面２次元曲率データを示す図である。
【図９】本発明の一実施例によりモデル表面２次元曲率データを偏微分して生成した測定表面２次元曲率データを示す図である。
【図１０】本発明の一実施例によりモデル表面２次元曲率データを偏微分して生成した測定表面２次元曲率データを示す図である。
【図１１】本発明の一実施例により初期位置が設定されたモデル表面データ及び測定表面データを示す図である。
【図１２】本発明の一実施例により初期位置が設定されたモデル表面データ及び測定表面データを示す図である。
【図１３】本発明の実施例により３次元データを整合する方法を示すフローチャートである。
【発明を実施するための形態】
【００１１】
本発明の実施例は本発明を説明するための目的で例示されたものである。本発明の実施例は様々な形態で実施され得、本発明が下記に提示された実施例やこれらの実施例に関する具体的な説明に限定されると解釈してはならない。
【００１２】
本明細書で使われる用語「部」はソフトウェア、ＦＰＧＡ（field-programmable gate array）、ＡＳＩＣ（application specific integrated circuit）のようなハードウェア構成要素を意味する。しかし、「部」はハードウェア及びソフトウェアに限定されるものではない。「部」はアドレッシングできる保存媒体にあるように構成され得、１つまたはそれ以上のプロセッサを再生させるように構成され得る。よって、一例として「部」はソフトウェア構成要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセッサ、関数、属性、プロシージャー、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素と「部」内で提供される機能はさらに小さい数の構成要素及び「部」に結合されたり、追加的な構成要素と「部」にさらに分離され得る。
【００１３】
本明細書で使われる全ての技術的な用語及び科学的な用語は、異なって定義されていない限り、本発明が属する技術分野で通常の知識を有する者に一般的に理解される意味を有する。本明細書で使われる全ての用語は本発明をさらに明確に説明するための目的で選択されたものであり、本発明の範囲を制限するために選択されたものではない。
【００１４】
本願の明細書で記述された単数形の表現は、別途に言及しない限り複数形の表現も共に含めることができ、これは請求項に記載された単数形の表現にも同様に適用される。
【００１５】
本発明の様々な実施例で使われる「第１」、「第２」などの表現は複数の構成要素を相互に区分するために使われるだけであり、当該構成要素の順序または重要度を限定するものではない。
【００１６】
本明細書で使われる「含む」及び「有する」のような表現は、当該表現が含まれる文句または文章で特に異なって言及されない限り、他の実施例を含む可能性を内包する開放型用語（open-ended terms）として理解されるべきである。
【００１７】
本明細書で「〜に基づいて」という表現は、当該表現が含まれる文句で記述される決定または判断の行為または動作に影響を与える１つ以上の因子を記述するのに使われ、この表現は決定または判断の行為または動作に影響を与える追加的な因子を排除するわけではない。
【００１８】
本明細書で、ある構成要素が他の構成要素に「連結されて」いたり「接続されて」いると言及されたときは、上記ある構成要素が上記他の構成要素に直接的に連結されていたりまたは接続されている可能性もあるものの、上記ある構成要素と上記他の構成要素の間に新しい他の構成要素が存在し得ると理解すべきである。
【００１９】
以下、添付の図面を参照して、本発明の実施例を詳細に説明する。図面上の同一の構成要素については同一の参照符号を使い、同一の構成要素について重複する説明は省略する。
【００２０】
図１は、本発明の一実施例による表面整合システム１００を概略的に示す図である。図１に示すように、表面整合システム１００は、３次元データ整合装置１２０、３次元スキャナ１４０及びオプティカルトラッカー１６０を含む。
【００２１】
本実施例で３次元データ整合装置１２０は、患者２０の患部のようなターゲットをモデリングして生成したモデルデータを格納及び表示することができる。ここで、「モデルデータ」とは、ターゲットの３次元形状または構造をモデリングする、ＣＴ装置やＭＲＩ装置のようなモデリング装置（図示せず）によって生成された、ターゲットの３次元データを意味することができる。モデルデータはモデリング装置に関する固有座標系（例えば、ｘ１ ｙ１ ｚ１座標系）を有することができる。図１に示す例で、モデルデータは、ＣＴ装置やＭＲＩ装置のようなモデリング装置が、患者２０の身体の少なくとも一部をターゲットにしてモデリングして生成したＣＴ／ＭＲＩデータ１０であり得る。この場合、ＣＴ／ＭＲＩデータ１０はＣＴ／ＭＲＩ装置に関する固有座標系を有する。
【００２２】
３次元スキャナ１４０は、ターゲットの表面を写真測量法（photogrammetry）、構造化パターン光測定法（structured light 3D scanning）、変調光測定法（Modulated light ３D scanning）、ステレオ撮影法（stereo photography）、ライダー（LIDAR）、超音波ＴＯＦ（Ultrasonic Time-of-Flight）またはレーザーＴＯＦなどのような様々な技法を用いて３次元で測定して測定表面データを生成することができる。図１に示すように、３次元スキャナ１４０は患者２０の身体表面の少なくとも一部をターゲットにして測定して測定表面データを生成することができる。３次元スキャナ１４０が測定したターゲットは、先にモデルデータとしてモデリングされたターゲットの外部表面またはその一部であり得る。例えば、モデルデータが患者２０の頭の３次元形状をモデリングしたデータである場合、測定表面データは患者２０の頭の表面にある目、鼻、口、耳などの外部形状を測定したデータであり得る。測定表面データは３次元スキャナ１４０に関する固有座標系（例えば、ｘ２ ｙ２ ｚ２座標系）を有することができる。測定表面データの座標系は、モデルデータの座標系（例えば、ｘ１ ｙ１ ｚ１座標系）とも相異し、オプティカルトラッカー１６０の座標系（例えば、ｘ０ ｙ０ ｚ０座標系）とも相異し得る。
【００２３】
本発明の一実施例による表面整合システム１００は、モデルデータの座標系（例えば、ｘ１ ｙ１ ｚ１座標系）と測定表面データの座標系（例えば、ｘ２ ｙ２ ｚ２座標系）をオプティカルトラッカー１６０の座標系（例えば、ｘ０ ｙ０ ｚ０座標系）に変換ないし整列することができる。３次元データ整合装置１２０は座標系が相異するモデルデータと測定表面データの整合を実行することができる。モデルデータと測定表面データの整合を実行するために、３次元データ整合装置１２０はモデルデータから表面データ（以下、「モデル表面データ」という）を抽出し、モデル表面データと測定表面データの間の整合を実行することができる。ここで、モデル表面データの座標系は、モデルデータの座標系（例えば、ｘ１ ｙ１ ｚ１座標系）と同一であり得る。また、オプティカルトラッカー１６０は、３次元スキャナ１４０に装着されたマーカー１４２を媒介に、測定表面データの座標系（例えば、ｘ２ ｙ２ ｚ２座標系）をオプティカルトラッカー１６０の座標系（例えば、ｘ０ ｙ０ ｚ０座標系）に変換することができる。その結果、３次元データ整合装置１２０によって測定表面データと整合されたモデルデータ及びモデル表面データの座標系（例えば、ｘ１ ｙ１ ｚ１座標系）もオプティカルトラッカー１６０の座標系（例えば、ｘ０ ｙ０ ｚ０座標系）に変換される。
【００２４】
３次元データ整合装置１２０は様々な整合アルゴリズムを用いてモデル表面データと測定表面データの間の整合を実行することができる。例えば、３次元データ整合装置１２０は、ＩＣＰ（Iterative Closest Point）アルゴリズムを用いて整合を実行することができる。３次元データ整合装置１２０は整合のために３次元データで初期位置を設定し、設定された初期位置に基づいて整合アルゴリズムを実行することができる。例えば、３次元データ整合装置１２０は、初期位置としてモデル表面データと測定表面データ上の所定の領域または所定のポイントに基づいてモデル表面データと測定表面データの間の類似度を計算し、類似度が高まる方向にモデル表面データの測定表面データに対する相対的な位置を変化させることができる。例えば、３次元データ整合装置１２０は、モデル表面データと測定表面データで最短距離にあるポイント等を対応点セットと定義し、対応点セット間の距離の和で類似度を計算することができる。
【００２５】
３次元データ整合装置１２０は、整合に用いられる初期位置を設定するために、モデル表面データを２次元的に変換したモデル表面２次元データと測定表面データを２次元的に変換した測定表面２次元データを用いることができる。３次元データ整合装置１２０は、モデル表面データ（または測定表面データ）の各ポイントの３次元座標を、モデル表面２次元データ（または測定表面２次元データ）の各ポイントの２次元座標及び当該ポイントの値（例えば、明るさ値）でマッピングすることができる。一実施例によれば、３次元データ整合装置１２０は、球形アンラッピング（spherical unwrapping）を通じて２次元データ変換を行うことができる。球形アンラッピングによれば、２次元データの各ポイントの２次元座標は、３次元球座標系で対応するポイントの２つの角度成分から決定され得る。また、２次元データの各ポイントの値は、３次元球座標系で対応するポイントから原点までの距離によって決定され得る。他の実施例によれば、３次元データ整合装置１２０は、円筒形アンラッピング（cylindrical unwrapping）変換、等長方形アンラッピング（equirectangular unwrapping）のような様々な形態の２次元データ変換アルゴリズムを用いることができる。
【００２６】
一実施例によれば、３次元データ整合装置１２０は、モデル表面２次元データ及び測定表面２次元データのそれぞれの曲率を算出してモデル表面２次元曲率データ及び測定表面２次元曲率データを生成することができる。一実施例によれば、３次元データ整合装置１２０は、モデル表面２次元データ（または測定表面２次元データ）で対応するポイントの値と隣り合う複数のポイントの値との差からモデル表面２次元曲率データ（または測定表面２次元曲率データ）の各ポイントの値を決定することができる。一実施例によれば、３次元データ整合装置１２０は、２次元データの値を偏微分して２次元曲率データを生成することができる。
【００２７】
３次元データ整合装置１２０は、モデル表面２次元データと測定表面２次元データをマッチングし、マッチング領域を決定することができる。また、３次元データ整合装置１２０は、３次元データであるモデル表面データと測定表面データにおいて、モデル表面２次元データのマッチング領域に対応するモデル表面データの表面領域を整合（registration）のための初期位置として設定することができ、測定表面２次元データのマッチング領域に対応する測定表面データの表面領域を整合のための初期位置として設定することができる。一実施例によれば、３次元データ整合装置１２０は、マッチング領域を決定するために、モデル表面２次元データと測定表面２次元データをマッチングする代わりに、モデル表面２次元曲率データと測定表面２次元曲率データをマッチングすることもできる。モデル表面データ及び測定表面データの初期位置の設定に関しては、図２〜図８を参照してさらに詳細に説明する。
【００２８】
一方、オプティカルトラッカー１６０は、３次元スキャナ１４０に装着されたマーカー１４２を撮影してマーカーイメージを生成することができる。オプティカルトラッカー１６０は、マーカーイメージに示されたマーカー１４４の大きさ及び位置を分析して３次元スキャナ１４０の位置と姿勢を判断することができ、これにより、３次元スキャナ１４０に関する座標系とオプティカルトラッカー１６０に関する座標系の間の変換関係を確立することができる。
【００２９】
先に３次元スキャナ１４０に関する座標系上の測定表面データがモデルデータのための座標系上のモデル表面データと整合されたので、オプティカルトラッカー１６０は、モデルデータの座標系と３次元スキャナ１４０に関する座標系の間の変換関係を確立することができる。オプティカルトラッカー１６０は、３次元スキャナ１４０に関する座標系とオプティカルトラッカー１６０に関する座標系の間の変換関係及びモデルデータの座標系と３次元スキャナ１４０に関する座標系の間の変換関係を用いて、モデルデータの座標系とオプティカルトラッカー１６０に関する座標系の間の変換関係を取得することができ、モデルデータをオプティカルトラッカー１６０に関する座標系内で取り扱うことができる。
【００３０】
図１には、モデルデータ及び測定表面データのターゲットとして患者２０が示されているが、本発明はこれに限定されるものではない。本発明によるターゲットは、例えば、３次元形状の任意の物、人または動物であり得る。
【００３１】
図２は、本発明の一実施例による３次元データ整合装置２００の詳細な構成を示すブロック図である。複数の実施形態によれば、図２の３次元データ整合装置２００は、図１の３次元データ整合装置１２０の全ての技術的な特徴を含むことができる。図２に示すように、３次元データ整合装置２００は、通信部２１０、処理部２２０及びデータベース２４０を含む。
【００３２】
通信部２１０は、外部装置、例えば、モデルデータを生成するモデリング装置（図示せず）、図１の３次元スキャナ１４０及びオプティカルトラッカー１６０と通信することができる。通信部２１０において、これらの外部装置と通信するための下位構成要素は１つのハードウェア装置で統合して構成され得る。
【００３３】
処理部２２０は、３次元データ整合に関わる情報を処理することができる。処理部２２０は、表面処理部２２２、第１変換部２２４、第２変換部２２６、初期位置設定部２２８、曲率変換部２３０及びデータ整合部２３２を含む。また、データベース２４０は、３次元データ整合に関わるデータを格納することができる。データベース２４０は、モデルデータＤＢ２４２、測定表面データＤＢ２４４、モデル表面データＤＢ２４６、モデル表面２次元データＤＢ２４８、測定表面２次元データＤＢ２５０、モデル表面２次元曲率データＤＢ２５２及び測定表面２次元曲率データＤＢ２５４を含むことができる。図２には、データベース２４０を構成する下位構成要素がそれぞれ独立的な構成として示されているが、本発明はこれに限定されない。例えば、データベース２４０の下位構成要素の少なくとも一部は統合して構成され得る。
【００３４】
モデルデータＤＢ２４２には、ターゲットの３次元モデルを示すモデルデータが格納される。一実施例によれば、モデルデータはＣＴ／ＭＲＩ装置を用いて患者２０の頭の形状をモデリングして生成されたＣＴ／ＭＲＩデータ１０であり得る。この場合、モデルデータは、ＣＴ／ＭＲＩ装置から通信部２１０を通じて受信されてモデルデータＤＢ２４２に格納され得る。
【００３５】
測定表面データＤＢ２４４には、ターゲットの３次元表面の少なくとも一部を示す測定表面データが保存され得る。一実施例によれば、測定表面データは、図１の３次元スキャナ１４０を用いて患者２０の目、耳、鼻などの外部形状を測定したデータであり得る。この場合、測定表面データは３次元スキャナ１４０から通信部２１０を通じて測定表面データＤＢ２４４に格納され得る。
【００３６】
表面処理部２２２は、モデルデータＤＢ２４２に格納されたモデルデータからモデル表面データを抽出することができる。モデル表面データは、ターゲットの３次元モデルの表面を示すデータであって、モデルデータと同一の座標系（例えば、ｘ１ ｙ１ ｚ１座標系）を有し得る。例えば、モデルデータが患者２０の頭の３次元形状を示すＣＴ／ＭＲＩデータ１０である場合、モデル表面データは、患者２０の頭の３次元表面を示すデータである。表面処理部２２２は、モデル表面データをモデル表面データＤＢ２４６に格納することができる。
【００３７】
第１変換部２２４は、モデル表面データＤＢ２４６に格納されたモデル表面データを２次元変換することができる。第１変換部２２４は、アンラッピングを通じてモデル表面データを２次元変換することができる。ここで、アンラッピングとは、例えば、論文「Unwrapping highly-detailed 3D meshes of rotationally symmetric man-made objects（Rieck、Bastian、Hubert Mara、and Susanne Kromker；(2013)：259-264）」に定義された２次元データ変換アルゴリズムであり得る。アンラッピングとして、球形アンラッピング（spherical unwrapping）、円筒形アンラッピング（cylindrical unwrapping）、等長方形アンラッピング（equirectangular unwrapping）等が用いられ得る。第１変換部２２４は、モデル表面データが示す３次元形状に基づいてアンラッピングの種類を選択することができる。一例として、モデル表面データが頭のように球形である場合、第１変換部２２４は、球形アンラッピングを選択することができる。他の例として、モデル表面データが腕、足のように円筒形である場合、第１変換部２２４は円筒形アンラッピングを選択することができる。
【００３８】
球形アンラッピングが選択された場合、第１変換部２２４は、モデル表面データの中心座標を決定することができる。一実施例によれば、第１変換部２２４は、モデル表面データの全てのポイントの平均値を中心座標として決定することができる。また、第１変換部２２４は、モデル表面データの中心座標が座標系（例えば、ｘ１ ｙ１ ｚ１座標系）の原点になるように、モデル表面データを平行移動することができる。また、第１変換部２２４は、中心座標からモデル表面データの各ポイントまでの距離の平均値を基準距離として算出することができる。その後、第１変換部２２４は、算出した基準距離に基づいて、下の数式１を用いてｘ軸、ｙ軸及びｚ軸からなる３次元座標系（例えば、ｘ１ ｙ１ ｚ１座標系）をφ軸及びθ軸からなる２次元座標系（例えばφ１ θ１座標系）に変換することができる。その結果、第１変換部２２４は、モデル表面データから２次元変換されたモデル表面２次元データを得ることができる。
【００３９】
【数１】
2019533218.tif 000003
【００４０】
【数２】
2019533218.tif 000004
【００４１】
数式１は、ｙ軸を基準にモデル表面データを球形アンラッピングする場合を仮定したものである。ここで、rｉは、中心座標（例えば、３次元座標系の原点）からモデル表面データの各ポイントまでの距離を意味する。一実施例によれば、モデル表面２次元データの各ポイントの値（例えば、明るさ値）は、当該ポイントに対応するモデル表面データのポイントから中心座標までの距離を示すことができる。例えば、モデル表面データの所定のポイントから中心座標までの距離が長いほど（すなわち、中心座標から遠いほど）、対応するモデル表面２次元データのポイントの明るさ値が大きくなり得る。第１変換部２２４は、モデル表面データから変換されたモデル表面２次元データをモデル表面２次元データＤＢ２４８に格納することができる。モデル表面２次元データへの変換については図３を参照して後述する。
【００４２】
第２変換部２２６は、測定表面データＤＢ２４４に格納された測定表面データを２次元変換することができる。第２変換部２２６は、アンラッピングを通じて測定表面データを２次元変換することができる。アンラッピングとして、球形アンラッピング、円筒形アンラッピング、等長方形アンラッピング等が用いられ得る。第２変換部２２６は、第１変換部２２４によって選択されたアンラッピングと同じ種類の変換を選択することができる。例えば、第１変換部２２４によってモデル表面データが球形アンラッピングされた場合、第２変換部２２６も測定表面データを球形アンラッピングすることができる。
【００４３】
ターゲットの表面を示すモデル表面データが頭のように球形の形状であってもターゲットの表面の一部をスキャンして取得した測定表面データは、目または耳のように、球形の形状でない場合もある。第２変換部２２６は、このように球形でない測定表面データを球形アンラッピングするために、例えば、論文「Unwrapping highly-detailed 3D meshes of rotationally symmetric man-made objects（Rieck、Bastian、Hubert Mara、and Susanne Kromker；(2013)：259-264）」で使われたアンラッピングアルゴリズムが使用され得る。例えば、第２変換部２２６は、第１変換部２２４によってモデル表面データの２次元変換に使われた基準距離（例えば、中心座標からモデル表面データの各ポイントまでの距離の平均値）を半径として有する仮想の球を生成することができる。第２変換部２２６は、測定表面データが仮想の球の表面上に位置するように測定表面データを平行移動または回転移動することができる。その後、第２変換部２２６は、基準距離に基づいて、上記数式１を用いてｘ軸、ｙ軸及びｚ軸からなる３次元座標系（例えば、ｘ２ ｙ２ ｚ２座標系）をφ軸及びθ軸からなる２次元座標系（例えば、φ２ θ２座標系）に変換することができる。その結果、第２変換部２２６は、測定表面データから２次元変換された測定表面２次元データを得ることができる。
【００４４】
一実施例によれば、測定表面２次元データの各ポイントの値（例えば、明るさ値）は、該当ポイントに対応する測定表面データのポイントから仮想の球の中心座標までの距離を示すことができる。例えば、測定表面データの所定のポイントから仮想の球の中心座標までの距離が長いほど（すなわち、中心座標から遠いほど）、対応する測定表面２次元データのポイントの明るさ値が大きくなり得る。第２変換部２２６は、測定表面データから変換された測定表面２次元データを測定表面２次元データＤＢ２５０に格納することができる。測定表面２次元データへの変換については、図４及び図５を参照して後述する。
【００４５】
初期位置設定部２２８は、モデル表面２次元データＤＢ２４８に格納されたモデル表面２次元データと測定表面２次元データＤＢ２５０に格納された測定表面２次元データをマッチングすることができる。一実施例によれば、初期位置設定部２２８は、ＮＣＣ（Normalized Cross Correlation）アルゴリズムを用いてモデル表面２次元データ及び測定表面２次元データをマッチングする。初期位置設定部２２８は、モデル表面２次元データにおいて測定表面２次元データの所定の領域と最大の類似度を有する領域を決定することにより、モデル表面２次元データ及び測定表面２次元データをマッチングすることができ、そのようにマッチングされたモデル表面２次元データ及び測定表面２次元データの領域によりマッチング領域を決定することができる。例えば、初期位置設定部２２８は、モデル表面２次元データで測定表面２次元データの所定の領域の位置を所定の距離だけ継続して変化させながらモデル表面２次元データと測定表面２次元データの類似度を計算する。また、初期位置設定部２２８は、最大の類似度を有するモデル表面２次元データ及び測定表面２次元データの領域によりマッチング領域をそれぞれ決定する。
【００４６】
実施例により、初期位置設定部２２８は、モデル表面２次元データで決定されたマッチング領域を複数のポイントにより表現することができる。例えば、決定されたマッチング領域が長方形である場合、初期位置設定部２２８は、当該マッチング領域の向き合う２つの頂点であって、または当該領域の４つの頂点であって、そのような長方形領域を表すことができる。また、初期位置設定部２２８は、測定表面２次元データのマッチング領域を複数のポイントにより表現することができる。初期位置設定部２２８によって特定された複数のポイントそれぞれはφθ座標系（例えば、φ１ θ１座標系とφ２ θ２座標系）を有し得る。また、モデル表面２次元データ及び測定表面２次元データ間のマッチングについては、図６及び図７を参照して後述する。
【００４７】
初期位置設定部２２８は、モデル表面２次元データで決定されたマッチング領域に対応するモデル表面データの領域、及び測定表面２次元データで決定されたマッチング領域に対応する測定表面データの領域をそれぞれ初期位置として設定することができる。例えば、初期位置設定部２２８は、モデル表面２次元データのマッチング領域の座標に対応する複数の座標をモデル表面データ内で決定して、決定された複数の座標によって定義される領域を初期位置として設定することができる。また、初期位置設定部２２８は、測定表面２次元データのマッチング領域の座標に対応する複数の座標を測定表面データ内で決定し、決定された複数の座標によって定義される領域を初期位置として設定することができる。
【００４８】
初期位置設定部２２８は、モデル表面データの初期位置を設定するために、第１変換部２２４によって２次元変換時に用いられたアンラッピングの逆変換を用いることができる。例えば、第１変換部２２４が球形アンラッピングを通じてモデル表面データを２次元変換した場合、初期位置設定部２２８は、球形アンラッピングの逆変換を通じてモデル表面データの初期位置を設定することができる。この場合、初期位置設定部２２８は、第１変換部２２４が球形アンラッピング時に用いていた基準距離に基づいて３次元変換を行うことができる。モデル表面データに対する初期位置は、ｘｙｚ座標系（例えば、ｘ１ ｙ１ ｚ１座標系）を有する。
【００４９】
初期位置設定部２２８は、測定表面データの初期位置を設定するために、第２変換部２２６によって２次元変換時に用いられたアンラッピングの逆変換を用いることができる。例えば、第２変換部２２６が球形アンラッピングを通じて測定表面データを２次元変換した場合、初期位置設定部２２８は、球形アンラッピングの逆変換を通じて測定表面データの初期位置を設定することができる。この場合、初期位置設定部２２８は、第２変換部２２６が球形アンラッピング時に用いていた基準距離に基づいて３次元変換を行うことができる。測定表面データに対する初期位置は、ｘｙｚ座標系（例えば、ｘ２ ｙ２ ｚ２座標系）を有する。モデル表面データ及び測定表面データに対する初期位置の設定については、図１１及び図１２を参照して後述する。
【００５０】
複数の実施例によれば、モデル表面２次元データ及び測定表面２次元データをそれぞれ偏微分したデータに基づいてモデル表面データ及び測定表面データの初期位置を設定することができる。このために、曲率変換部２３０は、モデル表面２次元データ及び測定表面２次元データをそれぞれ偏微分してモデル表面２次元曲率データ及び測定表面２次元曲率データを生成することができる。この場合、初期位置設定部２２８は、モデル表面２次元曲率データ及び測定表面２次元曲率データをマッチングして、マッチング領域を決定することができる。
【００５１】
曲率変換部２３０は、モデル表面２次元データの該当ポイントの値、及び隣り合う複数のポイントの値に基づいて、モデル表面２次元曲率データを生成することができる。一実施例によれば、モデル表面２次元曲率データの各ポイントの値（例えば、明るさ値）は、モデル表面２次元データの該当ポイントの値、及び隣り合う複数のポイント（例えば、４個、８個、１４個など）の平均値の差を表すことができる。モデル表面２次元曲率データは、モデル表面２次元データの平均曲率を示す平均曲率データまたはモデル表面２次元データのガウシアン曲率を示すガウシアン曲率データであり得る。
【００５２】
曲率変換部２３０は、測定表面２次元曲率データの該当ポイントの値、及び隣り合う複数のポイントの値に基づいて測定表面２次元曲率データを生成することができる。一実施例によれば、測定表面２次元曲率データの各ポイントの値（例えば、明るさ値）は、測定表面２次元データの該当ポイントの値、及び隣り合う複数のポイント（例えば、４個、８個、１４個など）の平均値の差を表すことができる。測定表面２次元曲率データは、測定表面２次元データの平均曲率を示す平均曲率データまたは測定表面２次元データのガウシアン曲率を示すガウシアン曲率データであり得る。
【００５３】
一実施例によれば、曲率変換部２３０は、モデル表面２次元データに対する平均曲率データ及びガウシアン曲率データをそれぞれ生成し、測定表面２次元データに対する平均曲率データ及びガウシアン曲率データをそれぞれ生成することができる。この場合、初期位置設定部２２８は、モデル表面２次元データに対する平均曲率データと測定表面２次元データに対する平均曲率データをマッチングしてモデル表面２次元データで測定表面２次元データがマッチングされた第１領域を識別することができる。また、初期位置設定部２２８は、モデル表面２次元データに対するガウシアン曲率データと測定表面２次元データに対するガウシアン曲率データをマッチングしてモデル表面２次元データで測定表面２次元データがマッチングされた第２領域を識別することができる。その後、初期位置設定部２２８は、第１領域及び第２領域の中間値をマッチング領域と判断して初期位置を設定することができる。
【００５４】
一実施例によれば、曲率変換部２３０は、マスク演算を用いて偏微分を行う。例えば、３×３大きさのマスクを用いる場合、曲率変換部２３０は、所定のポイントの値、及び隣り合う８個のポイントの値の差を算出することにより、該当ポイントの曲率を算出する。例えば、曲率変換部２３０は、曲率が大きいほど該当ポイントの明るさ値を小さく示すことができる。曲率変換部２３０によって生成されたモデル表面２次元曲率データ及び測定表面２次元曲率データはそれぞれモデル表面２次元曲率データＤＢ２５２及び測定表面２次元曲率データＤＢ２５４に保存され得る。モデル表面２次元曲率データ及び測定表面２次元曲率データへの変換については、図８〜図１０を参照して後述する。
【００５５】
少なくとも一実施例によれば、曲率変換部２３０によって生成されたモデル表面２次元曲率データ及び測定表面２次元曲率データは、モデル表面２次元データ及び測定表面２次元データよりもデータの値の変化をさらに明確に表すことができる。これにより、モデル表面２次元曲率データ及び測定表面２次元曲率データをマッチングして整合のための初期位置を設定する場合、データ間の整合の正確性と効率性が向上するという効果を得ることができる。
【００５６】
データ整合部２３２は、初期位置設定部２２８によって設定された初期位置に基づいてモデル表面データ及び測定表面データの間を整合することができる。一実施例によれば、データ整合部２３２は、ＩＣＰ（Iterative Closest Point）アルゴリズムを用いてデータ間の整合を行うことができる。整合されたモデル表面データ及び測定表面データは、互いに同一の座標系を有する。例えば、測定表面データは、モデル表面データの座標系（例えば、ｘ１ ｙ１ ｚ１座標系）に整列される。
【００５７】
図３は、本発明の一実施例によりモデル表面データ３００から２次元変換されたモデル表面２次元データ３１０を示す図である。モデル表面データ３００からモデル表面２次元データ３１０への変換プロセスは、図２の第１変換部２２４によって実行され得る。
【００５８】
図３に示されるように、モデル表面データ３００は、人の頭の表面を示す。一実施例によれば、モデル表面データ３００は、人の頭をモデリングして生成されたモデルデータ（例えば、ＣＴ／ＭＲＩデータ１０）から表面データを抽出して生成されたデータであり得る。モデル表面データ３００の各ポイントＰｉは、ｘ軸、ｙ軸及びｚ軸座標値（ｘｉ、ｙｉ、ｚｉ）を有する。
【００５９】
第１変換部２２４は、モデル表面データ３００の全てのポイントの平均値を算出して中心座標（Ｃ ０）を決定する。第１変換部２２４は、中心座標（Ｃ ０）が座標系の原点（０、０、０）になるようにモデル表面データ３００を平行移動する。第１変換部２２４は、図２で説明した数式１を用いてｘｙｚ座標系（例えば、ｘ１ ｙ１ ｚ１座標系）をφθ座標系（例えば、φ１ θ１座標系）に変換して、３次元データであるモデル表面データ３００から２次元データであるモデル表面２次元データ３１０を生成する。モデル表面２次元データ３１０の幅座標はφであり、高さ座標はθである。図３に示されるように、モデル表面データ３００の所定のポイントＰｉ（ｘｉ、ｙｉ、ｚｉ）は、モデル表面２次元データ３１０の所定のポイントＰｉ（φｉ、θｉ）に対応する。
【００６０】
モデル表面データ３００において、ｒｉは中心座標から所定のポイントＰｉまでの距離を表す。モデル表面２次元データ３１０では、モデル表面データ３００の所定のポイントＰｉにおけるｒｉが該当ポイントＰｉの明るさ値として示される。例えば、モデル表面データ３００において、中心座標から距離が比較的に遠い鼻、顎、耳、額及び後頭部付近のポイントが２次元変換されれば、明るさ値が大きいデータを有する。また、モデル表面データ３００において、中心座標から距離が比較的に近い目、頬付近のポイントが２次元変換されれば、明るさ値が小さいデータを有する。
【００６１】
図４は、本発明の一実施例により測定表面データ４００から２次元変換された測定表面２次元データ４１０を示す図である。また、図５は、本発明の一実施例により測定表面データ５００から２次元変換された測定表面２次元データ５１０を示す図である。測定表面データ４００、５００から測定表面２次元データ４１０、５１０への変換プロセスは、図２の第２変換部２２６によって実行され得る。
【００６２】
図４に示されるように、測定表面データ４００は人の目と鼻の表面を示し、測定表面データ５００は人の耳の表面を示す。一実施例によれば、測定表面データ４００、５００は、図１の３次元スキャナ１４０がスキャンして生成されたデータであり得る。測定表面データ４００、５００の各ポイントは、ｘ軸、ｙ軸及びｚ軸座標値を有する。
【００６３】
第２変換部２２６は、測定表面データ４００、５００をそれぞれ球形アンラッピングして測定表面２次元データ４１０、５１０を生成する。図３のモデル表面データ３００と図４の測定表面データ４００、５００の間の３次元整合を行う場合、第２変換部２２６は、第１変換部２２４によって用いられたモデル表面データ３００に対する２次元変換と同じ種類の変換（例えば、球形アンラッピング）を用いることができる。
【００６４】
第２変換部２２６は、モデル表面データ３００の２次元変換に使用された基準距離を半径として有する仮想の球を生成する。第２変換部２２６は、測定表面データ４００、５００がそれぞれ仮想の球の表面上に位置するように、測定表面データ４００、５００をそれぞれ平行または回転移動させる。その後、第２変換部２２６は、基準距離（例えば、仮想の球の半径）に基づいて、図２で説明した数式１を用いてｘｙｚ座標系（例えば、ｘ２ ｙ２ ｚ２座標系）をφθ座標系（例えば、φ１ θ１座標系）に変換する。その結果、３次元データである測定表面データ４００、５００から２次元データである測定表面２次元データ４１０、５１０が生成される。測定表面２次元データ４１０、５１０の幅座標はφであり、高さ座標はθである。
【００６５】
図６は、本発明の一実施例によりモデル表面２次元データ６００にマッチングされた測定表面２次元データ６１０を示す図である。また、図７は、本発明の一実施例によりモデル表面２次元データ７００にマッチングされた測定表面２次元データ７１０を示す図である。モデル表面２次元データ６００、７００は、図３のモデル表面２次元データ３１０であり得る。また、測定表面２次元データ６１０は、図４の測定表面２次元データ４１０の少なくとも一部であり得、測定表面２次元データ７１０は、図５の測定表面２次元データ５１０の少なくとも一部であり得る。図６及び図７におけるマッチング プロセスは、図２の初期位置設定部２２８によって実行され得る。
【００６６】
図６を参照すれば、初期位置設定部２２８は、モデル表面２次元データ６００で測定表面２次元データ６１０の位置を所定の距離だけ平行移動したり所定の角度だけ回転しながらモデル表面２次元データ６００に対して測定表面２次元データ６１０の類似度を計算する。初期位置設定部２２８は、最大の類似度を有するモデル表面２次元データ６００の位置を決定することにより、モデル表面２次元データ６００と測定表面２次元データ６１０をマッチングすることができる。また、初期位置設定部２２８は、モデル表面２次元データ６００と測定表面２次元データ６１０の間のマッチング領域を定義するための４つの頂点に対応するポイント６２０、６３０、６４０、６５０を決定することができる。これと同様に、初期位置設定部２２８は、図７に示されるように、モデル表面２次元データ７００と測定表面２次元データ７１０をマッチングし、マッチング領域を定義するための４つの頂点に対応するポイント７２０、７３０、７４０、７５０を決定することができる。
【００６７】
このように、本発明の少なくとも一つの実施例によれば、３次元データの整合に使用される初期位置を指定するために、整合対象である３次元データ間の直接マッチングを実行する代わりに、３次元データから変換された２次元データ間のマッチングを実行することができる。実施例によっては、本発明は３次元データから変換された２次元データを加工してそれぞれ生成される新しい２次元データ間でマッチングを実行することができる。
【００６８】
また、マッチング領域を再び３次元変換して３次元データ上で整合のための初期位置を設定する。その結果、適切な初期位置の設定が可能となり、３次元データ間の整合の正確性と効率性が向上する効果を得ることができる。
【００６９】
図８は、本発明の一実施例により図３のモデル表面２次元データ３１０を偏微分して生成したモデル表面２次元曲率データ８００を示す。また、図９は、図４の測定表面２次元データ４１０を偏微分して生成した測定表面２次元曲率データ９００を示す。また、図１０は、図５の測定表面２次元データ５１０を偏微分して生成した測定表面２次元曲率データ１０００を示す。図８〜図１０における曲率変換プロセスは、図２の曲率変換部２３０によって実行され得る。
【００７０】
図８を参照すれば、モデル表面２次元曲率データ８００において、互いに隣り合うデータとの差が大きいポイント（例えば、大きい耳、目、鼻及び口の輪郭線付近のポイント）は大きい曲率値を有する。これに対して、互いに隣り合うデータとの差が小さいポイント（例えば、頬または額付近のポイント）は小さい曲率値を有する。図９及び図１０を参照すれば、測定表面２次元曲率データ９００、１０００においても互いに隣り合うポイントとの差が大きいほど大きい曲率値を有する。
【００７１】
図８に示されるモデル表面２次元曲率データ８００は、図３のモデル表面２次元データ３１０に比べてデータの値の変化がさらに明確に示される。また、図９及び図１０に示す測定表面２次元曲率データ９００、１０００は、 図４及び図５の測定表面２次元データ４１０、５１０に比べてデータの値の変化がさらに明確に示される。このように、本発明の少なくとも一つの実施例によれば、３次元データから変換された２次元データをマッチングするにおいて、当該２次元データをそれぞれ偏微分した曲率データ間のマッチングを実行する。その結果、初期位置がさらに正確に設定されることにより、３次元データ間の整合の正確性と効率性がさらに向上する効果を得ることができる。
【００７２】
図１１は、本発明の一実施例により初期位置が設定されたモデル表面データ１１００及び測定表面データ１１５０を示す図である。また、図１２は、本発明の一実施例により初期位置が設定されたモデル表面データ１２００及び測定表面データ１２５０を示す図である。図１１及び図１２における初期位置設定プロセスは、図２の初期位置設定部２２８によって実行され得る。
【００７３】
図１１を参照すれば、初期位置設定部２２８は、図６でマッチング領域を表すことができるように決定されたポイント６２０、６３０、６４０、６５０に対応するモデル表面データ１１００のポイント１１１０、１１２０、１１３０、１１４０及びポイント６２０、６３０、６４０、６５０に対応する測定表面データ１１５０のポイント１１６０、１１７０、１１８０、１１９０をそれぞれ初期位置として決定する。ポイント１１１０、１１２０、１１３０、１１４０及びポイント１１６０、１１７０、１１８０、１１９０は、それぞれ２次元座標系（例えば、φ１ θ１座標系及びφ２ θ２座標系）を有するポイント６２０、６３０、６４０、６５０が球形アンラッピングの逆変換を通じて３次元座標系（例えば、ｘ１ ｙ１ ｚ１座標系及びｘ２ ｙ２ ｚ２座標系）を有するように変換されたものである。
【００７４】
ポイント１１１０、１１２０、１１３０、１１４０及びポイント１１６０、１１７０、１１８０、１１９０は、それぞれモデル表面データ１１００及び測定表面データ１１５０間の整合のための初期位置として用いられる。換言すれば、ポイント１１１０、１１２０、１１３０、１１４０及びポイント１１６０、１１７０、１１８０、１１９０に基づいて、モデル表面データ１１００及び測定表面データ１１５０は３次元整合される。例えば、ポイント１１１０、１１２０、１１３０、１１４０及びポイント１１６０、１１７０、１１８０、１１９０に基づいて、ＩＣＰ整合アルゴリズムが行われた結果、モデル表面データ１１００の座標系（例えば、ｘ１ ｙ１ ｚ１座標系）が測定表面データ１１５０の座標系（例えば、ｘ２ ｙ２ ｚ２座標系）を有するように整合される。
【００７５】
図１２を参照すれば、初期位置設定部２２８は、図７でマッチング領域を表すことができるように決定されたポイント７２０、７３０、７４０、７５０に対応するモデル表面データ１２００のポイント１２１０、１２２０、１２３０、１２４０、及びポイント７２０、７３０、７４０、７５０に対応する測定表面データ１２５０のポイント１２６０、１２７０、１２８０、１２９０をそれぞれ決定する。ポイント１２１０、１２２０、１２３０、１２４０及びポイント１２６０、１２７０、１２８０、１２９０は、それぞれ２次元座標系（例えば、φ１ θ１座標系及びφ２ θ２座標系）を有するポイント７２０、７３０、７４０、７５０が球形アンラッピングの逆変換を通じて３次元座標系（例えば、ｘ１ ｙ１ ｚ１座標系及びｘ２ ｙ２ ｚ２座標系）を有するように変換されたものである。
【００７６】
ポイント１２１０、１２２０、１２３０、１２４０及びポイント１２６０、１２７０、１２８０、１２９０は、それぞれモデル表面データ１２００及び測定表面データ１２５０間の整合のための初期位置として用いられる。換言すれば、ポイント１２１０、１２２０、１２３０、１２４０及びポイント１２６０、１２７０、１２８０、１２９０に基づいて、モデル表面データ１２００及び測定表面データ１２５０は３次元整合される。例えば、ポイント１２１０、１２２０、１２３０、１２４０及びポイント１２６０、１２７０、１２８０、１２９０に基づいて、ＩＣＰ整合アルゴリズムが行われた結果、モデル表面データ１２００の座標系（例えば、ｘ１ ｙ１ ｚ１座標系）が測定表面データ１２５０の座標系（例えば、ｘ２ ｙ２ ｚ２座標系）を有するように整合される。
【００７７】
本発明によれば、初期位置が正確に設定されることにより、３次元データ間の整合の正確性と効率性が向上する効果を得ることができる。
【００７８】
図１３は、本発明の実施例により３次元データを整合する方法を示すフローチャートである。図１３に示す段階の少なくとも一部は、図１及び図２に示す構成によって行われ得る。
【００７９】
先ずは、段階Ｓ１３００では、モデル表面データを２次元変換してモデル表面２次元データを生成する。例えば、図２の第１変換部２２４は、３次元座標系を有するモデル表面データの各ポイントを平均して中心座標を決定した後、当該中心座標にモデル表面データを平行移動することができる。第１変換部２２４は、中心座標からモデル表面データの各ポイントまでの距離の平均値を基準距離にしてモデル表面データを２次元座標系を有するモデル表面２次元データに球形アンラッピングすることができる。モデル表面２次元データの各ポイントの値（例えば、明るさ値）は、該当ポイントに対応するモデル表面データのポイントから中心座標までの距離を表すことができる。
【００８０】
次に、段階Ｓ１３１０では、測定表面データを２次元変換して測定表面２次元データを生成する。例えば、第２変換部２２６は、段階Ｓ１３００で算出した基準距離を半径として有する仮想の球を生成することができる。第２変換部２２６は、仮想の球の表面に測定表面データが位置するように測定表面データを移動させることができる。その後、第２変換部２２６は、測定表面データを測定表面２次元データに球形アンラッピングすることができる。測定表面２次元データの各ポイントの値（例えば、明るさ値）は該当ポイントに対応する測定表面データのポイントから仮想の球の中心座標までの距離を表すことができる。
【００８１】
次に、段階Ｓ１３２０では、モデル表面２次元データ及び測定表面２次元データの曲率をそれぞれ計算する。例えば、曲率変換部２３０は、段階Ｓ１３００で生成されたモデル表面２次元データ及び段階Ｓ１３１０で生成された測定表面２次元データを、それぞれ偏微分してモデル表面２次元曲率データ及び測定表面２次元曲率データを生成することができる。モデル表面２次元曲率データの各ポイントの値（例えば、明るさ値）は、モデル表面２次元データの該当ポイントの値、及び隣り合う複数のポイントの平均値の差を表すことができる。また、測定表面２次元曲率データの各ポイントの値（例えば、明るさ値）は、表面測定２次元データの該当ポイントの値、及び隣り合う複数のポイントの平均値の差を表すことができる。
【００８２】
次に、段階Ｓ１３３０では、モデル表面２次元曲率データ及び測定表面２次元曲率データをマッチングしてマッチング領域を決定する。例えば、初期位置設定部２２８は、段階Ｓ１３２０で生成されたモデル表面２次元曲率データ及び測定表面２次元曲率データに基づいて、モデル表面２次元曲率データで測定表面２次元曲率データの所定の領域と最大の類似度を有する領域を決定することができる。初期位置設定部２２８は、モデル表面２次元曲率データで決定された領域内でマッチング領域を決定することができる。また、初期位置設定部２２８は、マッチングに使用された測定表面２次元曲率データの所定の領域内でマッチング領域を決定することができる。
【００８３】
次に、段階Ｓ１３４０では、モデル表面データ及び測定表面データに対する初期位置をそれぞれ設定する。例えば、初期位置設定部２２８は、球形アンラッピングの逆変換を通じて段階Ｓ１３３０で決定されたモデル表面２次元曲率データのマッチング領域に対応するモデル表面データのポイント、及び段階Ｓ１３３０で決定された測定表面２次元曲率データのマッチング領域に対応する測定表面データのポイントにより初期位置を設定することができる。
【００８４】
次に、段階Ｓ１３５０では、モデル表面データ及び測定表面データを整合する。例えば、データ整合部２３２は、段階Ｓ１３４０で設定されたモデル表面データの初期位置及び測定表面データの初期位置を用いてモデル表面データ及び測定表面データを整合することができる。
【００８５】
また、図１３に示す段階において、一部の段階が省略されたり、２つ以上の段階が同時に行われたり、段階間の実行の順が変更され得る。一実施例によれば、段階Ｓ１３２０が省略されて段階Ｓ１３３０でモデル表面２次元データ及び測定表面２次元データをマッチングしてモデル表面２次元データ及び測定表面２次元データ上のマッチング領域をそれぞれ決定することができる。他の実施例によれば、段階Ｓ１３３０の前に、ターゲットの３次元モデルを示すＣＴデータまたはＭＲＩデータを受信する段階、及び当該ＣＴデータまたはＭＲＩデータからＣＴデータの表面データまたはＭＲＩデータの表面データをモデル表面データとして抽出する段階がさらに含まれ得る。
【００８６】
３次元データを整合する方法は特定の実施例を通じて説明されたが、上記方法はさらにコンピュータ読み取り可能な記録媒体にコンピュータ読み取り可能なコードとして実現することが可能である。コンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが格納される全ての種類の記録装置を含む。コンピュータ読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあり、さらにキャリアウェーブ（例えば、インターネットによる転送）の形で実現されることも含む。また、コンピュータ読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散され、分散方式でコンピュータ読み取り可能なコードが格納されて実行され得る。また、上記実施例を実現するための機能的な（functional）プログラム、コード及びコードセグメントは、本発明が属する技術分野におけるプログラマーによって容易に推論され得る。
【００８７】
本発明は、好適な実施例を通じて説明されて例示されたが、当業者であれば添付の請求の範囲の事項及び範疇を逸脱せずに様々な変形及び変更がなされ得ることが分かるであろう。
【図１】
2019533218.tif 000005
【図２】
2019533218.tif 000006
【図３】
2019533218.tif 000007
【図４】
2019533218.tif 000008
【図５】
2019533218.tif 000009
【図６】
2019533218.tif 000010
【図７】
2019533218.tif 000011
【図８】
2019533218.tif 000012
【図９】
2019533218.tif 000013
【図１０】
2019533218.tif 000014
【図１１】
2019533218.tif 000015
【図１２】
2019533218.tif 000016
【図１３】
2019533218.tif 000017
【国際調査報告】
2019533218.tif 000018
2019533218.tif 000019
2019533218.tif 000020
2019533218.tif 000021