(57)【要約】患者の再構成されたＸ線画像ボリュームを得て、かつ画像ボリュームから患者の顔の軟組織面を抽出し、かつ抽出された面の高密度な点群を形成する、３−Ｄ顔モデルを形成するための方法。顔の反射画像は、カメラを用いて取得され、各反射画像は患者に対して異なる対応カメラ角を有する。キャリブレーションデータは、１つ以上の反射画像のために算出される。反射画像に対応するまばらな点群は、マルチビュージオメトリを用いて反射画像を処理することで形成される。まばらな点群は高密度な点群に登録され、及び反射画像テクスチャと高密度な点群の間の変化を算出する。算出された変化は、テクスチャマッピングされたボリューム画像を形成するよう複数の反射画像から高密度な点群へテクスチャデータをマッピングするために適用される。
2017531228.tif 000002
【特許請求の範囲】
【請求項１】
３−Ｄ顔モデルを形成する方法であって、前記方法は、
少なくとも一部がコンピューター上で実行され、かつ患者の頭部の少なくとも一部の再構成されたＸ線画像ボリュームを得るステップと、
前記再構成されたＸ線画像ボリュームから前記患者の顔の軟組織面を抽出し、前記抽出された軟組織面に対応する高密度な点群を形成するステップと、
カメラを用いて、それぞれが前記患者に対して異なる対応カメラ角を有する複数の顔の反射画像を得て、１つ以上の反射画像のために前記カメラのキャリブレーションデータを算出するステップと、
マルチビュージオメトリ及び前記算出されたキャリブレーションデータを用いて前記反射画像を処理することで前記反射画像に対応するまばらな点群を形成するステップと、
前記まばらな点群を前記高密度な点群に記録するステップと、
反射画像テクスチャデータと前記高密度な点群の間の変化を算出し、テクスチャマッピングされたボリューム画像を形成するよう前記複数の反射画像から前記高密度な点群へテクスチャデータをマッピングするために前記算出された変化を適用するステップと、
前記テクスチャマッピングされたボリューム画像を表示するステップと、
を含む方法。
【請求項２】
前記Ｘ線画像ボリュームが、コンピューター断層コーンビーム撮影装置からのものであり、かつ前記反射画像がデジタルカメラを用いて取得される、請求項１に記載の方法。
【請求項３】
前記カメラの前記キャリブレーションデータが、３次元空間的座標を２次元的カメラピクセル座標と相互に関連付ける撮影特性を含む、請求項１に記載の方法。
【請求項４】
前記テクスチャマッピングされたボリューム画像を送信するまたは格納するステップと、
前記マッピングされたテクスチャデータの透明度を修正するステップと、
をさらに含み、
前記まばらな点群を形成するステップが動作アルゴリズムから構造を適用するステップをさらに含む、
請求項１に記載の方法。
【請求項５】
前記まばらな点群を自動的に登録するステップが、前記高密度な点群に自動的に登録される、請求項１に記載の方法。
【請求項６】
３−Ｄ顔モデルを形成する方法であって、前記方法は、
少なくとも一部がコンピューター上で実行され、かつ患者の再構成されたＸ線ボリューム画像から前記患者の顔の第１点群を形成するステップと、
Ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ論理シーケンスを用いて前記患者の複数の反射画像から前記患者の顔の第２点群を形成するステップと、
前記第１点群を前記第２点群に登録するステップと、
点群登録に従って前記複数の反射画像のうち１つ以上から画像テクスチャコンテンツをマッピングし、画像テクスチャコンテンツの前記マッピングを表示するステップと、
を含む方法。
【請求項７】
前記第２点群の形成が、カメラキャリブレーションデータを得ることをさらに含む、請求項６に記載の方法。
【請求項８】
テクスチャマッピングされたボリューム画像を送信するまたは格納するステップをさらに含み、
前記Ｘ線ボリューム画像がコンピューター断層コーンビーム撮影装置からのものである、請求項６に記載の前記方法。
【請求項９】
患者の３−Ｄ顔モデルを生成するための装置であり、前記装置は、
コンピューター断層撮影装置と、
放射源及び前記患者への撮影検出器を回転するよう付勢可能な移送装置と、
前記移送装置と信号通信し、かつ、（ｉ）前記放射源及び検出器を前記患者の周囲で回転すること及び複数のＸ線画像を取得すること、（ｉｉ）前記取得した複数のＸ線画像に従ってボリューム画像及び高密度な点群を形成すること、（ｉｉｉ）前記患者の周囲で動くカメラから得られる複数の反射画像を受けること、（ｉｖ）前記複数の反射画像に従って前記高密度な点群に登録されるまばらな点群を生成すること、（ｖ）テクスチャマッピングされたボリューム画像を形成するためにテクスチャコンテンツを前記複数の反射画像からの前記高密度な点群にマッピングすることのために、格納された指示に応答する制御論理プロセッサと、
前記制御論理プロセッサと信号通信し、かつ１つ以上の前記テクスチャマッピングされたボリューム画像を表示するディスプレイと、
を含む装置。
【請求項１０】
前記コンピューター断層撮影装置が、コーンビームコンピューター断層撮影装置であり、かつ前記カメラが前記移送装置に連結される、請求項９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元（３−Ｄ）画像処理に関し、より詳細には、３−Ｄの顔モデルを形成するためにテクスチャ情報を人の顔の３−Ｄ形状へ取り入れる方法に関する。
【０００２】
歯科矯正治療及び顎矯正手術は、構造的非対称、審美的欠点、及び患者の顔とあごの形状に関するアライメント及び他の機能的問題を含む顎顔面状態を正そうとするものである。歯列矯正及び関連分野に熟練している専門家にとって特に価値のある物となり得る１つのツールは、写実的なモデリングである。顔モデルが患者の頭の正確なボリューム描画として表示され、構造に加えて患者の顔の全表面外観またはテクスチャを示すと仮定すると、専門家は効果的でかつ満足のいく結果の両方を提供する治療法をより効果的に視覚化し、かつ計画できる。
【背景技術】
【０００３】
歯、顎、及び関連歯列に関する矯正治療のために人の顔の最適な視覚化を提供するボリューム画像の生成は、２つの異なるタイプの撮影を用いる。頭及び顎の構造の形状及び寸法を示すボリューム画像は、コーンビームコンピューター断層撮影（ＣＢＣＴ）、または磁気共鳴撮影（ＭＲＩ）または磁気共鳴断層撮影（ＭＲＴ）を含む他のボリューム画像撮影方法といったようなコンピューター断層撮影（ＣＴ）を用いて得られる。しかしながらボリューム画像は、色または知覚テクスチャコンテンツがなく、そのことにより、例えば患者または他の専門家以外の者へシミュレーションされた結果を示すために大きな価値がある物とはならない。人間の顔における外側のテクスチャ面を具現化する、価値のある視覚可を提供するために、反射または「白色光」画像を得るようカメラが用いられる。カメラ画像からの色及びテクスチャ情報はその後、歯列矯正専門家が利用できる正確な描画を提供するためのボリューム画像情報と関連付けられる。
【０００４】
ＣＢＣＴまたは他のスキャン画像ソースからのボリューム画像データと関連付けできる少なくともいくつかのレベルの色及びテクスチャ情報を提供する方法を含む、この問題に対処する解決策が提案されてきた。これら従来の解決策は、いわゆる範囲スキャン方法を含む。
【０００５】
反射画像からのテクスチャ情報をレーザースキャンからの表面輪郭データに組み合わせるという、コイビスト氏らによる「歯科用撮影装置」と題する、米国特許出願公開第２０１２／０３００８９５号を参照する。
【０００６】
Ｘ線データと組み合わせるための輪郭及び色テクスチャ情報を得るようスキャン用マスキングエッジを用いることを記述する、リンデンベルク氏らによる「表面画像化のための画像化ユニットを有する歯科用Ｘ線装置及び患者のＸ線画像の生成方法」と題する、米国特許出願公開第２０１３／０１６３７１８号を参照する。
【０００７】
コイビスト氏らの’０８９５、リンデンベルク氏らの’３７１８特許出願は、ＣＢＣＴまたは３−Ｄ範囲スキャン装置から得られた３−Ｄ表面データを持つ他のスキャンされた画像ソースからのボリューム画像データを結合できるシステムを記述する。範囲スキャン装置は、ある程度の量の輪郭データ並びに色テクスチャ情報を提供できる。しかしながら、これらの参照先に記述される解決策は、比較的複雑であり、かつ費用がかかり得る。このタイプの方法における追加的ハードウェアまたは他の専門機器の必要性は、さらに費用がかかり複雑で、かつ専門家にとって価値のあるものとは言いがたい。
【０００８】
ドルフィン・イメージング・ソフトウェア（カリフォルニア州チャッツワース）の歯科用撮影システムは、ＣＢＣＴ、ＣＴまたはＭＲＩスキャンからの顔表面３−Ｄ画像上にテクスチャマップを形成するための２−Ｄフェイシャルラップといったような機能を提供する。
【０００９】
２００３年１１月ニュージーランドのイメージアンドビジョンコンピューティング紙３９０〜３９５ページの岩切氏、依岡氏及び金子氏による「３Ｄ顔モデルへの写真の高速テクスチャマッピング」と題する論文を参照する。
【００１０】
ドルフィンソフトウェア及び岩切氏らの方法は両方とも、２−Ｄ画像コンテンツを３−Ｄ  ＣＢＣＴボリューム画像データへマッピングする。そういったシステムが特定の応用において一定の成功を収めてきたかもしれない一方で、改善の余地もまだある。例えば、ドルフィンソフトウェアのユーザーは、マウス、タッチスクリーン、または他のポインティングデバイスで操作して、ディスプレイスクリーン上に表示される３−Ｄコンテンツに対して２−Ｄコンテンツを正確に整列し、かつ再配置しなければならない。さらに、画像テクスチャの情報を３−Ｄボリュームデータへ提供する２−Ｄデータの不正確な登録は、組み合わせたデータの外観の質を落とす。
【００１１】
よって、テクスチャ特徴の正確な表現を提供するボリューム画像を正確に生成する装置及び方法が必要である。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】米国特許出願公開第２０１２／０３００８９５号明細書
【特許文献２】米国特許出願公開第２０１３／０１６３７１８号明細書
【非特許文献】
【００１３】
【非特許文献１】「３Ｄ顔モデルへの写真の高速テクスチャマッピング」、岩切、依岡、金子、２００３年１１月、イメージアンドビジョンコンピューティング紙３９０〜３９５ページ
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本開示の目的は、歯科矯正患者に特化したボリューム画像の技術を進めていくことである。
【００１５】
本開示の他の目的は、患者の頭部の３−Ｄモデルを提供するための、複雑で特殊なハードウェアを必要としないシステムを提供することである。本明細書に記述される方法は、有利には、既存のＣＢＣＴハードウェアを用いて、ボリューム３−Ｄデータへの顔のテクスチャ情報の正確なマッピングを提供して実行できる。
【００１６】
これらの目的は実例となる実施例のためにのみ提供され、そういった目的は本発明の１つ以上の実施形態の実施例であってもよい。開示の発明が想到され、当業者に明らかとなることにより、他の望ましい目的及び利点が本質的に達成される。本発明は添付の特許請求の範囲により定義される。
【課題を解決するための手段】
【００１７】
本発明の１つの態様に従って、３−Ｄ顔モデルを形成する方法が提供され、方法は少なくとも一部がコンピューター上で実行され、かつ患者の頭部の少なくとも一部の再構成されたＸ線画像ボリュームを得ること、再構成されたＸ線画像ボリュームから患者の顔の軟組織面を抽出すること及び抽出された軟組織面に対応する高密度な点群を形成すること、カメラを用いて、それぞれが患者に対して異なる対応カメラ角を有する複数の顔の反射画像を得ること及び１つ以上の反射画像のためにカメラのキャリブレーションデータを算出すること、マルチビュージオメトリ及び算出されたキャリブレーションデータを用いて反射画像を処理することで反射画像に対応するまばらな点群を形成すること、まばらな点群を高密度な点群に記録すること及び反射画像テクスチャデータと高密度な点群の間の変化を算出すること、テクスチャマッピングされたボリューム画像を形成するよう複数の反射画像から高密度な点群へテクスチャデータをマッピングするために算出された変化を適用すること、及びテクスチャマッピングされたボリューム画像を表示すること、を含む。
【００１８】
本発明における前述の他の目的、特徴及び利点は、添付の図面に説明されるように本発明の実施形態の以下のより詳細な説明から明らかとなる。図面の構成要素は、互いに対して一定の比率で縮小されている必要はない。
【図面の簡単な説明】
【００１９】
【図１】２−Ｄから３−Ｄ画像登録を用いて患者の顔のボリューム画像を提供するためのテクスチャマッピングの一連の手順を示す論理フロー図である。
【図２】ボリューム画像の一部を示す概略図である。
【図３Ａ】患者の顔の深度マップを生成するために用いることができる３−Ｄボリュームデータからの特徴点を示す。
【図３Ｂ】患者の顔の深度マップを生成するために用いることができる３−Ｄボリュームデータからの特徴点を示す。
【図４Ａ】２−Ｄ反射画像データからの特徴点の算出を示す。
【図４Ｂ】２−Ｄ反射画像データからの特徴点の算出を示す。
【図５】２−Ｄから３−Ｄ画像登録を用いる方法に従って２−Ｄから３−Ｄ画像登録の原理を示す概略図である。
【図６】２−Ｄから３−Ｄ画像登録を用いる方法に従ってテクスチャマッピングされたボリューム画像の形成を示す概略図である。
【図７】本発明の実施形態に従って、テクスチャマッピング手順のステップを示す論理フロー図である。
【図８】まばらな３−Ｄモデルに用いられる反射画像データの生成を示す概略図である。
【図９】多くの反射画像に従ってまばらな３−Ｄモデルの生成を示す概略図である。
【図１０】反射及びＸ線写真ソースから３−Ｄデータのマッチングを示す概略図である。
【図１１】本開示の実施形態に従ってボリューム及び反射画像から３−Ｄ顔モデルを得るための撮影装置を示す概略図である。
【発明を実施するための形態】
【００２０】
以下は、本出願の例示的実施形態の詳細な説明であり、図面を参照して、同一参照番号はいくつかの図それぞれにおいて構造の同一構成要素を示す。
【００２１】
以下の図面及び文における同じ構成要素は、同じ参照番号を示し、構成要素及び既に記述された構成要素の配列または相互作用に関する類似の記述は省略される。用いられている「第１」、「第２」等の用語は、あらゆる序数の、または優先関係を必然的に示している訳ではないが、１つの要素を他からより明確に区別するために単に用いられる。
【００２２】
本開示の内容において、「ボリューム画像」という用語は、「３次元画像」または「３−Ｄ画像」の用語と同意語である。３−Ｄボリューム画像は、コーンビームコンピューター断層撮影（ＣＢＣＴ）並びにファンビームＣＴ画像、並びに磁気共鳴撮影（ＭＲＩ）といった他のボリューム撮影モダリティからの画像であり得る。
【００２３】
本明細書に記述される画像処理ステップのために、２−Ｄ撮影及び画像ディスプレイに関して従来用いられる写真画像データ構成要素用の「ピクセル」、及び３−Ｄ撮影に関してしばしば用いられるボリューム画像データ構成要素用の「ボクセル」という用語は、交互に用いられてもよい。３−Ｄボリューム画像自体は、２−Ｄセンサーアレイ上のピクセルとして得られる画像データから合成され、いくつかの画角からの２−Ｄ画像として表示される。よって、２−Ｄ画像処理及び画像分析技術は、３−Ｄボリューム画像データへ適用できる。以下に続く記述において、ピクセルで操作するものとして記述される技術は、表示のために２−Ｄピクセルデータの形状で格納され、かつ表される３−Ｄボクセルデータで操作するものとして代替的に記述されてもよい。同じように、ボクセルデータを操作する技術は、ピクセルでの操作として同様に記述できる。
【００２４】
本開示の内容において、「投影」という名詞は、例えばＣＢＣＴボリューム画像を再構成するのに撮影され、かつ用いられる２−ＤＸ線画像を指す、「投影画像」の意味に用いられてもよい。
【００２５】
本明細書に用いられる、「集合」という用語は、非空集合を指し、構成要素の収集または集合の要素の概念として初等数学において広く理解される。「部分集合」という用語は、特に明記されていなければ、本明細書において非空真部分集合を指すよう用いられ、１つ以上の要素を有する、より大きい集合の部分集合である。集合Ｓに関して、部分集合は完全集合Ｓを含んでも良い。しかしながら集合Ｓの「真部分集合」は、厳密には集合Ｓに含まれており、集合Ｓの少なくとも１つの要素を除外する。
【００２６】
本明細書に用いられるとき、「付勢可能」という用語は、電力を受け、かつ任意的には許可信号を受けるといった時に指示された機能を実行する装置または構成要素の集合に関する。
【００２７】
「反射画像」という用語は、光の反射、一般には可視光を用いるカメラによって撮影される画像または対応画像データを指す。画像テクスチャは、色、影、表面特徴、明暗度、または例えば顔の肌といった表面に関連する他の可視画像特徴の分布上の画像コンテンツからの情報を含む。
【００２８】
コーンビームコンピューター断層撮影（ＣＢＣＴ）またはコーンビームＣＴ技術は、診断品質３−Ｄボリューム画像を提供するための１つのタイプのツールとして将来性があると思われる。コーンビームＸ線スキャナは、診断、治療計画、コンピューター支援手術等の目的のために医療及び歯科患者の３−Ｄ画像を作り出すために用いられる。コーンビームＣＴシステムは、高フレームレートのフラットパネルデジタルＸ線撮影（ＤＲ）検出器及びＸ線、典型的には撮像される対象の周りを回転するガントリーまたは他の輸送手段に取り付けられる両方を用いることでボリュームデータの集合を撮影する。ＣＴシステムは、対象物周囲の軌道に沿って様々な点からＸ線の発散コーンビームを対象物を通じて検出器へと向かわせる。ＣＢＣＴシステムは、例えば、回転の増加毎角度で１つの２−Ｄ投影画像で、といったようにソース検出器軌道を通じて投影画像を撮影する。投影はその後、様々な技術を用いて３−Ｄボリューム画像へと再構成される。２−Ｄ投影から３−Ｄボリューム画像を再構成する最も一般的な方法は、フィルター逆投影法（ＦＢＰ）及びフェルトカムプ・デイビス・クレス（ＦＤＫ）技法である。
【００２９】
本開示の実施形態は、対象物の２−Ｄ画像から３−Ｄ構造情報を得るマルチビュー撮影技術を用い、対象物を異なる角度で撮影する。マルチビュー撮影の処理は、「Ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ」（ＳＦＭ）撮影技術、画像処理技術における当業者によく知られている範囲撮影方法を採用できる。マルチビュー撮影及びいくつかの適切なＳｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ技術は、例えばパク氏らによる「撮影された２Ｄ映像からの３Ｄ画像の生成」と題する、米国特許出願公開第２０１２／０２４２７９４号に記述され、参照によりその全体を本明細書に包含する。
【００３０】
図１の論理フロー図は、２−Ｄから３−Ｄ画像登録を用いて患者の顔のボリューム画像を提供するためのテクスチャマッピングの従来の一連の手順を示す。２つのタイプの画像が最初に得られる。ボリューム画像撮影及び再構成ステップＳ１００は、複数の２−Ｄ  Ｘ線投影画像を取得し、かつ記述されるように３−Ｄボリューム再構成を実行する。表面抽出ステップＳ１１０は、再構成されたボリューム画像の外側部分に広がる軟組織の表面の形状、位置、及び寸法データを抽出する。図２に示されるように、ボリューム画像２０は、外側軟組織面２２及び頭蓋骨及び他の高密度な特徴を含む硬組織構造２４へと分割され得、この分割は撮影技術における当業者によく知られている技術を用いて適用できる。特徴点抽出ステップＳ１２０はその後、抽出された軟組織から患者の特徴点を識別する。図３Ａ及び３Ｂに示されるように、ボリューム画像からの特徴点３６は、目３０、鼻３２、及び他の突出エッジ及び顔の特徴を含み得る。特徴の検出及び関連する空間的情報は、顔の軟組織面２２の深度マップ３４を提供するのに役立ち得る。
【００３１】
図１のシーケンスを続けて、患者の複数の反射画像は、反射画像撮影ステップＳ１３０で撮影される。各反射画像は、患者に対する対応するカメラ角を有し、各画像は異なるカメラ角で取得される。キャリブレーションステップＳ１４０は、標準カメラモデルがより正確な位置及びフォーカスデータの判断を利用できるように、カメラモデルの固有パラメータを算出する。本開示に記述される手順の文脈において、キャリブレーションは単に色または他の測光調整よりもむしろカメラリセクショニングに関する。リセクショニング処理は、ピンホールカメラのモデルに従ってカメラの撮影特性を推定し、かつカメラマトリックスに値を提供する。このマトリックスは、実在の３−Ｄ空間座標をカメラの２−Ｄピクセル座標と相互に関連付けるために用いられる。カメラリセクショニング技術は、コンピューター視覚化技術における当業者によく知られている技術である。
【００３２】
図１シーケンスにおける反射画像及びキャリブレーションデータはその後、反射画像から患者の特徴点を識別する特徴点抽出ステップＳ１２２に入力される。
【００３３】
図４Ａ及び４Ｂは、反射画像からの特徴点７２抽出を示す。ピクセルの列に対する特徴点検出のための水平に投影された和３８が示され、垂直に投影された和がこの目的のために代替的に提供され得る。よく知られているソーベルフィルタといったような様々なエッジオペレーターが、自動エッジ検出を助けるよう用いられ得る。
【００３４】
識別特徴点３６及び７２は、図１シーケンスの後続の登録ステップＳ１５０において２−Ｄと３−Ｄデータ間で必要な登録を提供するのに役立つ。登録ステップＳ１５０はその後、２−Ｄ反射画像コンテンツから検出された特徴点７２を３−Ｄ範囲画像データから検出された特徴点３６へとマッピングする。
【００３５】
図５は、この登録処理を概略的な形で示す。ポリゴンモデル４０は、軟組織面２２の３−Ｄボリュームデータから生成される。図５の配置を用いて、撮影装置４８は、患者５４の反射（白光）画像５０を得るためにカメラ５２を用いる。仮想システム５８は、ステップＳ１５０及びテクスチャマッピングステップＳ１６０において登録パラメータ算出を適用するためにコンピューター６２を用いる。コンピューター６２ロジックによって以前生成された３−Ｄボリューム画像から生成されたポリゴンモデル４０にテクスチャコンテンツをマッピングする。
【００３６】
図５は、患者の顔の拡大部分をポリゴン６４と共に示す。カメラ５２で撮影された反射画像５０は、図３Ａ〜４Ｂに関連して前述のように特徴点３６を用いてポリゴンモデル４０から生成されてきた投影画像４２へとマッピングされる。投影画像４２は、投影面４４へと投影されることでポリゴンモデル４０から算出され、破線で示される仮想カメラ４６の画像面としてモデル化される。図５に示される反射及び仮想撮影システムのアライメントのために、目、口、輪郭、及び他の顔構造といった特徴点３６及び７２が利用され得る。
【００３７】
図１シーケンスの最後では、テクスチャマッピングステップＳ１６０は軟組織面２２からテクスチャマッピングされたボリューム画像６０及び、図５及び６に示されるように反射画像５０を生成する。テクスチャマッピングステップＳ１６０は、軟組織面２２及び反射画像５０のために表面抽出及びカメラキャリブレーションデータを用い、かつ登録ステップＳ１５０の結果を用いて軟組織面２２と反射画像５０を組み合わせるためにこのデータを用いる。生成された出力、テクスチャマッピングされたボリューム画像６０はその後、適切な角度から閲覧され、かつ治療計画を助けるために用いられる。
【００３８】
図７の論理フロー図は、本開示の例示的な実施形態に従って、マルチビュージオメトリの技術を用いてテクスチャマッピングされたボリューム画像６０を生成するためのシーケンスを示す。最初のステップのいくつかは、図１〜６に関連して記述されるものと機能的に類似している。ボリューム画像撮影及び再構成ステップＳ１００は、複数の２−Ｄ  Ｘ線投影画像を取得し、かつ記述されるように３−Ｄボリューム再構成を実行する。表面抽出ステップＳ１１０は、再構成されたボリューム画像の外側部分に広がる軟組織の表面の形状、位置、及び寸法データを抽出する。ステップＳ１１０は、軟組織面２２及びその下にある、頭蓋骨及び他の高密度な特徴を含む硬組織構造２４（図２）を生成する。患者の複数の反射画像は、反射画像撮影ステップＳ１３２で撮影される。図８に示されるように、取得された各反射画像は、患者に対する対応するカメラ角を持ち、各画像は異なるカメラ角で取得される。図８では、カメラ角は１、２、３、４、…ｎ、…ｎ−３等の位置に対応する。図７のキャリブレーションステップＳ１４０は、標準カメラモデルがより正確な位置及びフォーカスデータの判断を利用できるように、カメラモデルの固有パラメータを算出する。キャリブレーションは、色または他の測光調整よりもむしろカメラリセクショニングに関することができる。リセクショニング処理は、ピンホールカメラのモデルに従ってカメラの撮影特性を推定し、かつカメラマトリックスに値を提供する。このマトリックスは主に幾何学的であり、実在の３−Ｄ空間座標をカメラの２−Ｄピクセル座標と相互に関連付けるために用いられる。
【００３９】
図７のシーケンスを続けて、方法は、患者の３−Ｄ軟組織面に対応する空間における点を生成するために例示的高密度な点群生成ステップＳ１７０を実行する。これは、高密度な点群の形状で３−Ｄモデルを生成し、「３−Ｄモデル」及び「点群」という用語は、本開示の文脈において同意語で用いられる。高密度な点群は、ユークリッド点群を形成するためにボリューム撮影技術における当業者によく知られている技術を用いて形成され、表面上のボクセルに対応する点を識別する方法に概して関連する。よって高密度な点群は、ＣＢＣＴデータといった再構成されたボリュームデータを用いて生成される。再構成されたＣＢＣＴボリュームからの表面点は、この処理のために高密度な点群を形成するために用いられる。高密度な点群情報は、頭部表面のための高密度ポリゴンモデルの基準としての機能がある。
【００４０】
反射画像はその後、患者の顔表面のための第２点群を提供する。例示的まばらな点群生成ステップＳ１８０では、反射画像撮影ステップＳ１３２で得られた反射画像は、同じ表面で高密度点群と比較した時に比較的少ない表面点で定義される、まばらな点群と呼ばれる他の点群を生成するために用いられる。本開示の文脈において、顔といった所定の表面について、まばらな点群は、ボリューム画像から得られた高密度な点群が持つものよりもより少ない点空間位置を持つ。必要ではないが、一般的に高密度な点群はまばらな点群よりも非常に多くの点を有する。両方の点群は、患者の顔表面に関連する全てのボリューム及び形状によって空間的に定義され、かつ抑制される。高密度な点群の実際の点群密度は、少なくとも部分的に、３−Ｄボリューム画像の全ての解像度に依存する。よって、例えば、ボリューム画像の等方性解像度が０．５ｍｍの時、高密度な点群の対応する解像度は高密度な点群の点が０．５ｍｍ間隔よりも近くならないように抑制される。一般的な実践において、Ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎまたは関連するマルチビュージオメトリ技術を用いて一連の２−Ｄ画像から同じ対象物のため生成される点群は、ボリューム撮影を用いて生成された点群と比較するとまばらである。
【００４１】
まばらな点群を生成するために、システムはステップＳ１３２で取得した反射画像５０にマルチビュージオメトリ方法を適用する。ステップＳ１８０処理は図９に示され、まばらな点群データを得るために反射画像５０を用いる。まばらな３−Ｄモデル７０は、反射画像５０から生成される。まばらな３−Ｄモデル７０は、任意にメモリ内に格納され得る。まばらな点群形成は、例えばＳｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ（ＳＦＭ）方法を採用できる。
【００４２】
Ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ（ＳＦＭ）は、画像処理技術、特にコンピュータービジョン及び視覚に関する当業者に既知の範囲撮影技術である。ＳＦＭは、ローカル動作信号と結合する可能性のある２次元的画像シーケンスから３次元的構造を推定する処理に関する。生物学的視覚の理論において、ＳＦＭは、観視者が動いている対象物または背景の投影された２−Ｄ（網膜的）動作領域から深度及び３−Ｄ構造を把握し、かつ再構成できることによる現象に関連してきた。本発明の実施形態に従って、まばらな点群７０は、ステップＳ１３２（図７）で得られた多くの反射画像５０から、及びカメラキャリブレーションデータから回収できる。まばらな点群生成ステップＳ１８０は、まばらな３−Ｄモデル７０生成のための処理を表す。
【００４３】
Ｓｔｒｕｃｔｕｒｅ−ｆｒｏｍ−ｍｏｔｉｏｎ（ＳＦＭ）画像処理技術への参照は、ハイリン・ジン氏による「動作からの安定したビデオベースの構造のためのオプトキーフレーム再構成」と題する、米国特許出願公開第２０１３／０２６５３８７  Ａ１号を含む。
【００４４】
２−Ｄから３−Ｄへの画像アライメントへの参照は、ウォルバーグ氏らによる「背景の３Ｄモデルへ背景の２−Ｄ画像を自動的に整列するためのシステム及び関連方法」と題する、米国特許出願公開第２００８／０３１０７５７号を含む。
【００４５】
図７に示されるように、登録ステップＳ１９０は、まばらな点群と高密度点群との間の３−Ｄから３−Ｄ範囲登録を提供する。図１０は、まばらな３−Ｄモデル７０を、その対応する高密度な３−Ｄモデル６８へと整合する登録ステップＳ１９０の整合機能Ｓ２００を示す。整合機能Ｓ２００は、高密度とまばらな点群の間の角度差を登録し、かつ調整するために特徴７２及び３６とポリゴン近似間の視野角算出、重力または質量の中心アライメント、及び粗密アライメント整合の連続操作といった技術を用いる。高密度ならびにまばらな点群６８及び７０に空間的に対応するための登録操作は、回転、拡大縮小、平行移動、及び３−Ｄ画像空間に用いる撮影技術における当業者によく知られている類似の空間的操作を含む。一度登録が完了すると、テクスチャマッピングステップＳ１６０は、頭部及び顔表面を表す点群構造を用い、テクスチャマッピングされたボリューム画像６０を生成するために点群登録データを用いて形成された多角形モデルを用いてもよい。
【００４６】
本開示の１つの実施形態に従って、テクスチャマッピングステップＳ１６０は、以下のように進むことができる。（ｉ）ボリューム画像から得られた高密度な３−Ｄモデル６８の高密度な３−Ｄ点群と反射画像５０から生成されたまばらな３−Ｄモデル７０のまばらな３−Ｄ点群との間に空間的一致を得るために、整合機能Ｓ２００（図１０）を算出する。拡大縮小、回転、及び平行移動を用いる変形算出はその後、まばらな３−Ｄモデル７０から高密度な３−Ｄモデル６８へ十分な数の点を登録するかまたは相互に関連付けるために用いられ得る。（ｉｉ）異なる位置（図８）から得られた反射画像５０とまばらな３−Ｄモデル７０（図９）間の一致を算出する。反射画像５０の点は、まばらな３−Ｄモデル７０へマッピングされる。（ｉｉｉ）ステップ（ｉ）及び（ｉｉ）の算出結果に基づいて、異なる位置（図８）から得られた反射画像（群）５０とボリューム画像から得られた高密度な３−Ｄモデル６８の高密度な３−Ｄ点群間の一致を算出する。１つ以上のポリゴンは、頂点としてボリューム画像データ内で識別された点を用いて形成でき、肌表面の多角形モデルを生成する。拡大縮小、回転、及び平行移動を用いる変形算出はその後、反射画像５０上の点及びポリゴン状面セグメントを高密度な３−Ｄモデル６８へ相互に関連付けるために用いられ得る。（ｉｖ）ステップ（ｉｉｉ）の一致結果は、テクスチャマッピングステップＳ１６０が反射画像５０コンテンツを、表面点のマッピングに従ってポリゴン毎にボリューム画像コンテンツにマッピングさせるのに必要な情報を提供する。
【００４７】
点群からのポリゴンモデルの生成は撮影技術における当業者に既知である。１つのタイプのポリゴンモデル生成は、例えば、メドウ氏らによる「３次元画像データモデルを生成するための方法及び装置」と題する、米国特許第８２０７９６４号に記述される。より一般的には、ポリゴンは、点群内の最も隣接する点を頂点として繋ぎ、組み合わせることで患者の顔の肌表面を定義する３つ以上の側の附随するポリゴンを形成することで生成される。ポリゴンモデル生成は、ハン氏らによる「合成されたトレーニング画像を用いる顔認識のためのシステム及び方法」と題する、米国特許第６９７５７５０号に記述されるような頂点の相互連結を提供する。反射画像からポリゴンモデルへのテクスチャ情報のマッピングは、テクスチャマッピングされたボリューム画像を形成する。
【００４８】
テクスチャマッピングされたボリューム画像を表示において、透明度の任意的な計測は、顎、歯、及び他の歯群要素といった内部構造の可視性を向上させるためのテクスチャ構成要素に提供され得る。
【００４９】
本発明の実施形態は、例えば、歯科矯正手術に用いられる３−Ｄ視覚的治療目的（ＶＴＯ）ソフトウェアへと統合できる。
【００５０】
図１１の概略図は、本開示の１つの実施形態に従ってボリューム及び反射画像から３−Ｄ顔モデルを得るための撮影装置１００を示す。患者１４は、放射源１２２及び一連のＸ線画像を取得する回転可能な移送機１２６に取り付けられた検出器１２４を有するＣＢＣＴ撮影装置１２０内へ入る。撮影装置１００はさらにカメラ１３０を有し、カメラ１３０はＣＢＣＴ撮影装置１２０内に統合されてもよいかまたは分かれて取り付けられるかまたはハンドヘルド式であってもよい。カメラ１３０は、ＳＦＭまたは他のマルチビュー撮影論理によって用いるための、患者１４の反射または白光画像を取得する。制御論理プロセッサ１１０は、マルチビュー撮影を実行し、かつ少なくとも点群生成、登録を実行し、かつテクスチャマッピングされたボリューム画像を生成し、かつディスプレイ１４０上に表示するためのマッピングステップに沿って本明細書に記述される特徴を整合するために、プロセッサ１１２を形成するソフトウェアに従ってＣＢＣＴ及び反射画像コンテンツの両方を取得し、かつ処理するために撮影装置１２０と信号通信する。
【００５１】
１つの実施形態と一致して、本発明は、電子メモリからアクセスされる画像データ上で実行する格納指示と共にコンピュータープログラムを利用する。画像処理技術の当業者によって理解されるように、本発明の実施形態のコンピュータープログラムは、パーソナルコンピューターまたはワークステーションといった適切な、汎用コンピューターシステムにより利用できる。しかしながら、他のタイプのコンピューターシステムの多くは、ネットワーク化されたプロセッサを含む、本発明のコンピュータープログラムを実行するのに用いることができる。本発明の方法を実行するためのコンピュータープログラムは、コンピューター読み取り可能な記憶媒体に格納されてもよい。この媒体は、例えば、ハードドライブまたはリムーバブル装置または磁気テープといったような磁気ディスクや、光学ディスク、光学テープ、または機械読み取り可能なバーコードといったような光学記憶メディアや、ランダムアクセスメモリ（ＲＡＭ）、またはリードオンリーメモリ（ＲＯＭ）といったようなソリッドステート電子記憶装置、またはコンピュータープログラムを格納するのに採用されるあらゆる他の物理的装置または媒体を含んでもよい。本発明の方法を実行するためのコンピュータープログラムは同様に、インターネットまたは他の通信媒体により画像プロセッサに接続されるコンピューター読み取り可能な記憶媒体に格納されてもよい。そういったコンピュータープログラム製品と同等の物と同様にハードウェアに組み込まれていてもよいことが、当業者に容易に認識されるであろう。
【００５２】
本開示の文脈において「コンピューターアクセス可能なメモリ」と同意語である、「メモリ」という用語は、画像データを格納しかつ操作するために用いられ、かつコンピューターシステムにアクセス可能な、あらゆるタイプの非持続性、またはより永続的なデータ格納ワークスペースを指すことができる。
メモリは、例えば、磁気または光学記憶媒体といった長期間格納媒体を用いた不揮発性であってもよい。あるいは、メモリは、マイクロプロセッサまたは他の制御論理プロセッサ装置によって一時バッファまたはワークスペースとして用いられるランダムアクセスメモリ（ＲＡＭ）といった電子回路を用いたより揮発性の特質であり得る。画像表示にはメモリ格納が必要である。ディスプレイデータは、例えばディスプレイ装置に直接関連する一時格納バッファに一般的に格納され、かつ表示されたデータを提供するために必要に応じて定期的にリフレッシュされる。本開示に用いられる用語として、この一時格納バッファはまた、メモリと見なされてもよい。メモリはまた、計算及び他の処理の中間及び最終結果を実行し、かつ格納するためのデータワークスペースとして用いられる。コンピューターアクセス可能なメモリは、揮発性、非揮発性、または揮発性と非揮発性タイプのハイブリッド組み合わせであり得る。
【００５３】
本発明のコンピュータープログラム製品は、よく知られた様々な画像操作アルゴリズム及びプロセスを使用してもよいことが理解されよう。本発明のコンピュータープログラム製品の実施形態が、実施態様に有用である本明細書には特に示されていないかまたは記述されていないアルゴリズム及びプロセスを盛り込んでもよいことがさらに理解されよう。そういったアルゴリズム及びプロセスは、画像処理技術の通常技能内にある従来のユーティリティを含んでもよい。そういったアルゴリズム及びシステムの追加的態様、及び画像を作り出すかあるいは処理する、または本発明のコンピュータープログラム製品で協同するためのハードウェア及び／またはソフトウェアは、本明細書に特に示されるかまたは記述されておらず、そういった当該技術において既知のアルゴリズム、システム、ハードウェア、構成要素及び要素から選択されてもよい。
【００５４】
１つの例示的実施形態では、３−Ｄ顔モデルを形成する方法は、コンピューター上で少なくとも部分的に実行でき、かつ患者の頭部の少なくとも一部の再構成されたコンピューター断層画像ボリュームを得ること、再構成されたコンピューター断層画像ボリュームからの患者の顔の軟組織面を抽出すること及び抽出された軟組織面に対応する高密度な点群を形成すること、それぞれが患者に対して異なる対応カメラ角を有する、顔の複数の反射画像を取得すること、各反射画像のためにカメラのキャリブレーションデータを算出すること、マルチビュージオメトリに従って反射画像に対応するまばらな点群を形成すること、まばらな点群を高密度な点群に自動的に登録すること、反射画像からのテクスチャデータを高密度な点群にマッピングすること、及びテクスチャマッピングされたボリューム画像を表示すること、を含むことができる。
【００５５】
本発明が１つ以上の実施態様に関連して説明されてきた一方で、変更及び／または修正が添付の特許請求の趣旨及び範囲を逸脱しない例示的実施例に適用できる。さらに、本発明の特定の特徴がいくつかの実施態様の１つに関連して開示されてきた一方で、そういった特徴は、与えられた、または特定の機能のために所望され、かつ有利であり得るように他の実施態様における１つ以上の他の特徴と組み合わせることができる。「少なくとも１つの」という用語は、１つ以上の記載されたアイテムが選択され得ることを意味するよう用いられる。「約」という用語は、変更が例示的実施形態へ適合しない処理または構造にならない限り、記載された値がいくらか変更され得ることを示す。最後に、「例示的」は、説明が、それが理想であると暗示するよりもむしろ例示的として用いられることを示す。本発明の他の実施形態は、本明細書に開示される本発明の明細書及び実践の結果から、当業者に明らかとなるであろう。現在開示される実施形態は、従って全ての事項が例示的であり、制限しようとするものではないと考えられる。本発明の範囲は、添付の特許請求の範囲により示され、その均等物の意味及び範囲内にある全ての変更はここに包含されるものとみなされる。
【図１】
2017531228.tif 000003
【図２】
2017531228.tif 000004
【図３Ａ】
2017531228.tif 000005
【図３Ｂ】
2017531228.tif 000006
【図４Ａ】
2017531228.tif 000007
【図４Ｂ】
2017531228.tif 000008
【図５】
2017531228.tif 000009
【図６】
2017531228.tif 000010
【図７】
2017531228.tif 000011
【図８】
2017531228.tif 000012
【図９】
2017531228.tif 000013
【図１０】
2017531228.tif 000014
【図１１】
2017531228.tif 000015
【手続補正書】
【提出日】平成29年6月29日(2017.6.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
３−Ｄ顔モデルを形成する方法であって、前記方法は、
少なくとも一部がコンピューター上で実行され、かつ患者の頭部の少なくとも一部の再構成されたＸ線画像ボリュームを得るステップと、
前記再構成されたＸ線画像ボリュームから前記患者の顔の軟組織面を抽出し、前記抽出された軟組織面に対応する高密度な点群を形成するステップと、
カメラを用いて、それぞれが前記患者に対して異なる対応カメラ角を有する複数の顔の反射画像を得て、１つ以上の反射画像のために前記カメラのキャリブレーションデータを算出するステップと、
マルチビュージオメトリ及び前記算出されたキャリブレーションデータを用いて前記反射画像を処理することで前記反射画像に対応するまばらな点群を形成するステップと、
前記まばらな点群を前記高密度な点群に記録するステップと、
反射画像テクスチャデータと前記高密度な点群の間の変化を算出し、テクスチャマッピングされたボリューム画像を形成するよう前記複数の反射画像から前記高密度な点群へテクスチャデータをマッピングするために前記算出された変化を適用するステップと、
前記テクスチャマッピングされたボリューム画像を表示するステップと、
を含む方法。
【請求項２】
前記Ｘ線画像ボリュームが、コンピューター断層コーンビーム撮影装置からのものであり、かつ前記反射画像がデジタルカメラを用いて取得され、
前記カメラの前記キャリブレーションデータが、３次元空間的座標を２次元的カメラピクセル座標と相互に関連付ける撮影特性を含み、
前記まばらな点群を形成するステップが動作アルゴリズムから構造を適用するステップをさらに含み、
前記まばらな点群を自動的に登録するステップにおいて、前記高密度な点群に自動的に登録される、
ことを特徴とする請求項１に記載の方法。
【請求項３】
患者の３−Ｄ顔モデルを生成するための装置であり、前記装置は、
コンピューター断層撮影装置と、
放射源及び前記患者への撮影検出器を回転するよう付勢可能な移送装置と、
前記移送装置と信号通信し、かつ、（ｉ）前記放射源及び検出器を前記患者の周囲で回転すること及び複数のＸ線画像を取得すること、（ｉｉ）前記取得した複数のＸ線画像に従ってボリューム画像及び高密度な点群を形成すること、（ｉｉｉ）前記患者の周囲で動くカメラから得られる複数の反射画像を受けること、（ｉｖ）前記複数の反射画像に従って前記高密度な点群に登録されるまばらな点群を生成すること、（ｖ）テクスチャマッピングされたボリューム画像を形成するためにテクスチャコンテンツを前記複数の反射画像からの前記高密度な点群にマッピングすることのために、格納された指示に応答する制御論理プロセッサと、
前記制御論理プロセッサと信号通信し、かつ１つ以上の前記テクスチャマッピングされたボリューム画像を表示するディスプレイと、
を含む装置。
【国際調査報告】
2017531228.tif 000016
2017531228.tif 000017