(57)【要約】  本発明は、3D画像データのうちの1つまたは複数を受信するコンピュータを備える、歯の3D画像データの自動分類のためのコンピュータ実施方法に関し、3D画像データセットは、ボクセルの画像ボリュームを定義し、ボクセルは、画像ボリューム内の3D歯構造を表し、画像ボリュームは、3D座標系に関連付けられており、コンピュータは、3D画像データセットの各々を前処理し、コンピュータは、前処理された3D画像データセットの各々を、訓練された深層ニューラルネットワークの入力に提供し、訓練された深層ニューラルネットワークは、歯列の複数の候補歯ラベルに基づいて、3D画像データセット内のボクセルの各々を分類し、3D画像データセットを分類することは、3D画像データセットのボクセルの少なくとも一部について、候補歯ラベルアクティベーション値を生成することを含み、候補歯ラベルに関連付けられたアクティベーション値は、ラベル付けされたデータポイントが候補歯ラベルによって示される歯タイプを表す可能性を定義する。
2020535897.tif 000002
【特許請求の範囲】
【請求項１】
歯顎顔面構造を表す3Dデータを処理するためのコンピュータ実施方法であって、
コンピュータが3Dデータ、好ましくは3DコーンビームCT、CBCT、データを受信するステップであって、前記3Dデータが前記歯顎顔面構造のボクセル表現を含み、前記歯顎顔面構造が歯列を備え、ボクセルが少なくとも放射強度値に関連付けられており、前記ボクセル表現の前記ボクセルが画像ボリュームを定義する、ステップと、
前記コンピュータが前記ボクセル表現を第1の3D深層ニューラルネットワークの入力に提供するステップであって、前記3D深層ニューラルネットワークが前記ボクセル表現のボクセルを1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類するように訓練されており、前記第1の深層ニューラルネットワークが、第1の畳み込み経路を定義する複数の第1の3D畳み込み層と、前記第1の畳み込み経路と平行な第2の畳み込み経路を定義する複数の第2の3D畳み込み層とを備え、前記第1の畳み込み経路が前記ボクセル表現のボクセルの第1のブロックをその入力において受信するように構成され、前記第2の畳み込み経路が前記ボクセル表現のボクセルの第2のブロックをその入力において受信するように構成され、前記ボクセルの第1および第2のブロックが前記画像ボリューム内の同じまたは実質的に同じ中心点を有し、前記ボクセルの第2のブロックが前記ボクセルの第1のブロックの実世界の寸法におけるボリュームよりも大きい実世界の寸法におけるボリュームを表し、前記第2の畳み込み経路が前記ボクセルの第1のブロックのボクセルに関するコンテキスト情報を決定し、前記第1および第2の畳み込み経路の出力が、前記ボクセルの第1のブロックのボクセルを1つまたは複数の歯クラスに分類するための少なくとも1つの完全接続層に接続されている、ステップと、
前記コンピュータが、前記第1の3D深層ニューラルネットワークの出力から前記歯顎顔面構造の前記ボクセル表現の分類されたボクセルを受信するステップと
を含む、方法。
【請求項２】
前記ボクセルの第2のブロックの前記ボリュームは、前記ボクセルの第1のブロックの前記ボリュームよりも大きく、前記ボクセルの第2のブロックが、前記ボクセルの第1のブロックのダウンサンプリングされたバージョンを表し、好ましくは、前記ダウンサンプリング係数が、20と2との間、好ましくは、10と3との間で選択される、請求項1に記載の方法。
【請求項３】
前記コンピュータが前記分類されたボクセルに基づいて前記歯顎顔面構造の単一の歯の1つまたは複数のボクセル表現を決定するステップと、
前記コンピュータが単一の歯の前記1つまたは複数のボクセル表現の各々を第2の3D深層ニューラルネットワークの入力に提供するステップであって、前記第2の3D深層ニューラルネットワークが単一の歯のボクセル表現を歯列の複数の歯クラスのうちの1つに分類するように訓練されており、各歯クラスが候補歯クラスラベルに関連付けられており、前記第2の訓練された3Dニューラルネットワークが前記候補歯クラスラベルの各々についてアクティベーション値を生成し、候補歯クラスラベルに関連付けられたアクティベーション値が、単一の歯のボクセル表現が前記候補歯クラスラベルによって示される歯クラスを表す可能性を定義する、ステップと
をさらに含む、請求項1または2に記載の方法。
【請求項４】
候補歯列状態を定義するステップであって、各候補状態が、前記アクティベーション値に基づいて候補歯クラスラベルを単一の歯の複数のボクセル表現の各々に割り当てることによって形成される、ステップと、1つまたは複数の条件に基づいて前記候補歯列状態を評価するステップであって、前記1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯クラスラベルが単一の歯の異なるボクセル表現に割り当てられることを要求する、ステップとを含む、前記歯列の分類法を決定するステップをさらに含む、請求項1から3のいずれか一項に記載の方法。
【請求項５】
前記コンピュータが前記歯顎顔面構造の3D位置特徴情報を決定するために前処理アルゴリズムを使用するステップであって、前記3D位置特徴情報が、前記ボクセル表現情報内のボクセルごとに、前記画像ボリューム内の歯科基準オブジェクト、例えば、顎、歯列弓、および/または1つもしくは複数の歯の位置に対する前記ボクセルの位置に関する情報を定義する、ステップと、
前記コンピュータが前記3Dデータを前記第1の深層ニューラルネットワークの前記入力に提供する前に前記3D位置特徴情報を前記3Dデータに追加するステップであって、前記追加された3D位置特徴情報が追加のデータチャネルを前記3Dデータに提供する、ステップと
をさらに含む、請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記コンピュータが第3の訓練されたニューラルネットワークに基づいて前記第1の3D深層ニューラルネットワークによって分類された前記ボクセルを後処理するステップであって、前記第3の深層ニューラルネットワークが、その入力において前記第1の深層ニューラルネットワークによって分類されたボクセルを受信し、前記第1の深層ニューラルネットワークによって誤って分類されたボクセルを修正するように訓練されており、好ましくは、前記第3のニューラルネットワークが、入力として前記第1の深層ニューラルネットワークの訓練中に分類されたボクセルに基づいて、および、ターゲットとして訓練セットの前記3D画像データの前記歯顎顔面構造の一部の前記1つまたは複数の3Dデータセットに基づいて訓練されている、ステップをさらに含む、請求項1から5のいずれか一項に記載の方法。
【請求項７】
歯顎顔面構造の3D画像データを処理するために深層ニューラルネットワークシステムを訓練するためのコンピュータ実施方法であって、
コンピュータが訓練データを受信するステップであって、前記訓練データが3D入力データ、好ましくは3DコーンビームCT(CBCT)画像データを含み、前記3D入力データがそれぞれ1つまたは複数の歯顎顔面構造の1つまたは複数のボクセル表現を定義し、ボクセルが放射強度値に関連付けられており、ボクセル表現の前記ボクセルが画像ボリュームを定義し、前記訓練データが、前記訓練データの前記3D入力データによって表される前記歯顎顔面構造の一部の3Dデータセットをさらに含む、ステップと、
前記コンピュータが前記歯顎顔面構造の3D位置特徴情報を決定するために前処理アルゴリズムを使用するステップであって、前記3D位置特徴情報が、前記ボクセル表現内のボクセルごとに、前記画像ボリューム内の歯科基準オブジェクト、例えば、顎、歯列弓、および/または1つもしくは複数の歯の位置に対する前記ボクセルの位置に関する情報を定義する、ステップと、
ボクセルを1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類するように前記第1の深層ニューラルネットワークを訓練するために前記訓練データと前記1つまたは複数の3D位置特徴とを使用するステップと
を含む、方法。
【請求項８】
前記第1の深層ニューラルネットワークによって分類されたボクセルを後処理するように第2のニューラルネットワークを訓練するために、前記第1の深層ニューラルネットワークによる前記訓練中に分類されたボクセルと、訓練セットの前記3D画像データの前記歯顎顔面構造の一部の前記1つまたは複数の3Dデータセットとを使用するステップをさらに含み、前記第3のニューラルネットワークによる前記後処理が、前記第1の深層ニューラルネットワークによって誤って分類されたボクセルを修正することを含む、請求項7に記載の方法。
【請求項９】
前記第1の深層ニューラルネットワークへの訓練入力として使用されている少なくとも前記3D画像データからボクセルのサブセットを選択するために、少なくとも前記第1の深層ニューラルネットワークを訓練するためのターゲットとして使用される単一の歯のボクセル表現である前記3Dデータセットを使用するステップであって、前記サブセットが第3の深層ニューラルネットワークの訓練のための入力として使用されている、ステップと、
前記第3の深層ニューラルネットワークを訓練するための前記ターゲット歯クラスラベルとして、少なくとも前記第1の深層ニューラルネットワークを訓練するためのターゲットとして機能する前記3Dデータセットに関連付けられた前記歯クラスラベルを使用するステップと
を含む、請求項8に記載の方法。
【請求項１０】
歯の3D画像データを自動的に分類するように適合されたコンピュータシステム、好ましくはサーバシステムであって、
コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、前記プログラムコードが分類アルゴリズムと深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、前記コンピュータ可読プログラムコードと、前記コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、前記第1のコンピュータ可読プログラムコードを実行することに応答して、前記プロセッサが、実行可能な動作を実行するように構成され、前記動作が、
3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを受信する動作であって、前記3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、前記ボクセルが前記画像ボリューム内の前記歯顎顔面構造の3D表現を定義し、前記歯顎顔面構造が歯列を含む、動作と、
訓練された深層ニューラルネットワークがその入力において前記3D画像データを受信し、前記画像ボリューム内の前記ボクセルの少なくとも一部を1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類する動作と
を含む、コンピュータシステム。
【請求項１１】
歯の3D画像データを自動的に類型化するように適合されたコンピュータシステム、好ましくはサーバシステムであって、
コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、前記プログラムコードが分類法アルゴリズムと訓練された深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、前記コンピュータ可読プログラムコードと、前記コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、前記第1のコンピュータ可読プログラムコードを実行することに応答して、前記プロセッサが、実行可能な動作を実行するように構成され、前記動作が、
3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを受信する動作であって、前記3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、前記ボクセルが前記画像ボリューム内の前記歯顎顔面構造の3D表現を定義し、前記歯顎顔面構造が歯列を含む、動作と、
訓練された深層ニューラルネットワークがその入力において前記3D画像データを受信し、前記画像ボリューム内の前記ボクセルの少なくとも一部を少なくとも1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類する動作と、
前記歯列の分類法を決定する動作とを含み、前記決定する動作が、候補歯列状態を定義することであって、各候補状態がアクティベーション値に基づいて前記複数の3D画像データセットの各々に候補ラベルを割り当てることによって形成されている、定義することと、1つまたは複数の条件に基づいて前記候補状態を評価することであって、前記1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯ラベルが異なる3D画像データセットに割り当てられることを要求する、評価することとを含む、コンピュータシステム。
【請求項１２】
歯の3D画像データを自動的に類型化するように適合されたコンピュータシステム、好ましくはサーバシステムであって、
コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、前記プログラムコードが分類法アルゴリズムと訓練された深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、前記コンピュータ可読プログラムコードと、前記コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、前記第1のコンピュータ可読プログラムコードを実行することに応答して、前記プロセッサが、実行可能な動作を実行するように構成され、前記動作が、
3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを受信する動作であって、前記3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、前記ボクセルが前記画像ボリューム内の前記歯顎顔面構造の3D表現を定義し、前記歯顎顔面構造が歯列を含む、動作と、
第1の訓練された深層ニューラルネットワークがその入力において前記3D画像データを受信し、前記画像ボリューム内の前記ボクセルの少なくとも一部を少なくとも1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類する動作と、
第2の訓練された深層ニューラルネットワークが前記第1の訓練された深層ニューラルネットワークの結果を受信し、前記受信されたボクセル表現の個々の歯ごとのサブセットを歯クラスに関する個々のラベルに分類する動作と、
前記歯列の分類法を決定する動作と
を含み、
前記決定する動作が、候補歯列状態を定義することであって、各候補状態がアクティベーション値に基づいて前記複数の3D画像データセットの各々に候補ラベルを割り当てることによって形成されている、定義することと、1つまたは複数の条件に基づいて前記候補状態を評価することであって、前記1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯クラスラベルが異なる3D画像データセットに割り当てられることを要求する、評価することとを含む、コンピュータシステム。
【請求項１３】
サーバシステムと通信するように適合されたクライアント装置、好ましくはモバイルクライアント装置であって、前記サーバシステムが請求項10から12に従って歯の3D画像データを自動的に類型化するように適合されており、前記クライアント装置が、
コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体と、前記コンピュータ可読記憶媒体に結合され、表示装置に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、前記プロセッサが、実行可能な動作を実行するように構成され、前記動作が、
3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを送信する動作であって、前記3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、前記ボクセルが前記画像ボリューム内の前記歯顎顔面構造の3D表現を定義し、前記歯顎顔面構造が歯列を含む、動作と、
歯の前記3D画像データをセグメント化、分類、および類型化するように前記サーバシステムに要求する動作と、
複数の3D画像データセットを受信する動作であって、各3D画像データセットがボクセルの画像ボリュームを定義し、前記ボクセルが前記画像ボリューム内の3D歯モデルを定義し、前記複数の3D画像データセットが前記歯列を形成する、動作と、
前記1つまたは複数の3D画像データセットに関連付けられた1つまたは複数の歯クラスラベルを受信する動作と、
ディスプレイ上で前記1つまたは複数の3D画像データセットと前記1つまたは複数の関連する歯クラスラベルとをレンダリングする動作とを含む、クライアント装置。
【請求項１４】
コンピュータのメモリ内で実行されると、請求項1から9のいずれか一項に記載の方法ステップを実行するように構成されたソフトウェアコード部分を備えるコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深層学習法を使用する3D歯データの自動位置特定、分類、および分類法に関し、詳細には、排他的にではないが、深層学習法を使用する3D歯データの自動位置特定、分類、および分類法、そのような深層学習ニューラルネットワークを訓練するための方法、ならびにそのような方法を使用するためのコンピュータプログラム製品に関する。
【背景技術】
【０００２】
歯のタイプおよび歯の配置の信頼できる識別は、(限定はしないが)歯科治療および歯科報告、歯科矯正、下顎矯正術、法医学、ならびに生体測定を含む広範囲の用途において非常に重要な役割を果たす。したがって、公知の歯科表記方式に従って歯を分類および番号付けするプロセスを自動化または少なくとも部分的に自動化するために、様々なコンピュータ支援技法が開発されてきた。加えて、歯を確実に分類および類型化するために必要な時間のいかなる短縮も、そのような利用分野において有益である。
【０００３】
本開示の目的のため、「歯(tooth)」は、歯冠と歯根とを含む歯全体を指し、「歯(teeth)」は、2つ以上の歯からなる任意の歯のセットを指すが、単一の人に由来する歯のセットは、「歯列」に由来するものと呼ばれる。歯列は、必ずしも個人の歯の総セットを含むとは限らない。さらに、「分類」は、観察またはサンプルがカテゴリーのセットのどれに属するかを識別することを指す。歯分類法の場合、分類は単一の歯がどのカテゴリ(またはラベル)に属するかを識別するプロセスを指す。「分類法」は、単一の歯列からのすべての個々の歯に関する歯クラスを導出するプロセスを指し、3D歯データは、任意の歯(のセット)の任意のデジタル表現、例えば、充填ボリュームの3Dボクセル表現、ボリューム内の密度、3D表面メッシュなどを指す。さらに、歯列を表す3D歯データは、歯の完全なセット、または完全なセットの一部のいずれかを含んでもよい。特に明記しない限り、本出願において、「セグメンテーション」という用語は、セマンティックセグメンテーションを指し、これは、入力空間の各ボクセルが特定のオブジェクトクラスでラベル付けされるように、すべてのボクセルに関する密な予測を指す。領域境界を見つけることに関する境界ボックスセグメンテーションとは対象的に、セマンティックセグメンテーションは、入力データ空間内に意味論的に解釈可能な3Dマスクをもたらす。
【０００４】
例えば、米国特許出願公開第2017/0169562号は、口腔内光学3Dスキャンに基づく自動歯タイプ認識のためのシステムについて説明している。そのような口腔内光学スキャナは、歯の露出した部分、すなわち、歯の歯冠の3Dスキャンを生成することができる。各歯冠の形状は、3Dスキャンから導出され、面と頂点とを含む3Dメッシュの形式において表される。これらの3Dメッシュは、その後、各歯に関する集約特徴を決定するために使用される。そのようにして得られた集約特徴および関連する歯タイプは、次いで、サポートベクトルマシンまたは決定木などの従来の機械学習方法を利用して分類子を訓練するための訓練データとして使用される。
【０００５】
このシステムは、入力データとして高解像度口腔内3Dスキャンを処理することができるが、コーンビームコンピュータ断層撮影(CBCT: Cone Beam Computed tomography)を使用して生成される容積測定歯顎顔面画像を処理することができない。CBCTは、X線放射が低放射線量の発散型コーンに成形されるX線コンピュータ断層撮影を使用する医療撮像技法である。CBCT撮像は、歯科分野において最も使用されている3D撮像技法であり、顎骨(の一部)と、歯冠と歯根とを含む完全なまたは部分的な歯構造と、下歯槽神経(の一部)とを含む場合がある歯顎顔面構造の3D画像データを生成する。しかしながら、スキャン内の異なる領域が、スキャンされている器官内のそれらの相対的な位置に応じて異なるグレースケール値で表示されるので、CBCT画像データの画像分析は、CBCTスキャンにおいてハウンスフィールド単位(HU: Hounsfield Unit)で測定された無線密度が一貫していないので、重大な問題を引き起こす。CBCTと医療グレードのCTスキャナの両方で同じ解剖学的領域から測定されたHUは、同一ではなく、したがって、部位固有の、X線撮影で識別された骨密度の決定について信頼できない。
【０００６】
さらに、歯顎顔面構造をスキャンするためのCBCTシステムは、再構築された密度値を表すグレーレベルをスケーリングするための標準化されたシステムを用いない。これらの値は、そのように任意であり、例えば、骨質の評価を可能にしない。そのような標準化がない場合、グレーレベルを解釈することが困難になるか、または、異なるマシンから得られた値を比較することが不可能になる。さらに、歯根および顎骨構造は、コンピュータが、例えば、歯に属するボクセルと顎に属するボクセルとを区別するのが困難であるように、同様の密度を有する。加えて、CBCTシステムは、いわゆるビーム硬化に非常に敏感であり、周囲の明るい縞とともに、2つの高減衰オブジェクト(金属または骨など)間に暗い縞を生成する。上記の問題は、歯顎顔面構造の完全自動セグメンテーションおよびセグメント化された歯構造の分類、より一般的には、3D CBCT画像データから導出された3D歯データの自動分類法を特に難しくする。
【０００７】
この問題は、例えば、Mikiらによる論文、「Classification of teeth in cone-beam CT using deep convolutional neural network」、Computers in Biology and Medicine 80(2017)、24〜29頁において論じられ、例示されている。この論文において、歯の2D CBCT境界ボックスセグメンテーションを7つの異なる歯タイプに分類するために訓練された2D深層畳み込みニューラルネットワークシステムについて説明されている。この論文において説明されているように、CBCT画像データの分析に関連する問題のため、アキシャル2Dスライスからの歯を囲む関心領域(境界ボックス)の手動選択と、金属人工物を含むROIの削除とを含む、訓練データとテストデータの両方の手動前処理が必要であった。
【０００８】
彼らの論文において、Mikiらは、2D CNN層の代わりに3D CNN層を使用して精度が改善され得ることを示唆した。同じニューラルネットワークアーキテクチャの原理を利用し、しかしながら、これらを3Dバリアントに変形すると、データの粒度、特に、適用可能な直交方向における最大解像度(例えば、2Dピクセルまたは3Dボクセルであるデータポイントごとに表されるmm)に関する妥協につながる。計算要件、特に、処理に必要なメモリ帯域幅を考慮すると、そのような3D境界ボックスボクセルは、2Dアキシャルスライスの2D境界ボックスについて可能であるよりもかなり低い解像度を有することになる。したがって、歯を含む3Dボリューム全体で利用可能な情報を有することの利点は、妥当な計算負荷に基づいてボクセルを処理するために必要な画像のダウンサンプリングによる情報の除去によって、実際には軽視される。特に、例えば、個々の歯の間、または骨と歯の間の移行などの、3D CBCTデータの面倒な領域において、これは、歯ごとの十分に正確な分類結果に悪影響を及ぼす。
【０００９】
以前に論じたMikiらによる論文が、手動の境界ボックスセグメンテーションに基づく自動分類を考慮する場合、自動境界ボックスセグメンテーション(したがって、歯の位置特定、および完全自動分類の可能性)は、同じ著者のMikiらによって後に公開された論文、「Tooth labelling in cone-beam CT using deep convolutional neural network for forensic identification」、Progress in Biomedical Optics and Imaging 10134(2017)、101343E-1〜10134E-6頁において扱われている。この論文において、再び、CBCTスキャンのアキシャルスライスの2D領域において、畳み込みニューラルネットワークは、歯の領域に属するピクセルごとの可能性を示すヒートマップを作成するために訓練されて利用される。このヒートマップは、フィルタリングされ、歯を含む2D境界ボックスが、非最大抑制方法によって選択される。彼らの最初に論じた論文において参照されているように、畳み込みニューラルネットワークを訓練するために正および負の例の境界ボックスが用いられ、訓練されたネットワークが評価された。再び、この方法を3Dデータ画像において機能するように適合させようとする場合、上記と同じ考慮事項が考慮される必要がある。同じニューラルネットワークアーキテクチャの原理の、3Dヒートマップを生成するための3D CNNへの変換は、大幅に長い処理時間をもたらすことになる。加えて、この場合でも、帯域幅制限に対処するためのダウンサンプリングの必要性は、セグメンテーションおよび分類のパフォーマンスに悪影響を及ぼす。
【００１０】
したがって、Mikiらによって説明された2Dケースを3Dケースに外挿しようとすることは、ほとんどすべての場合、元の入力データセットの解像度から可能であるよりも低い精度を有する境界ボックス(ボクセル)につながり、それによって、ピクセルが歯の領域の一部であることの信頼性を正確に予測することを大幅に低下させる(例えば、顎骨を含むスライスの一部であるが、偶然に歯「のように見える」ピクセルが、歯の高い信頼度に誤って起因する場合がある)。低解像度は、分類結果の精度に特に影響を及ぼすことになる。ネットワークは、隣接する歯構造、組織構造、骨構造などを考慮する情報をほとんどまたはまったく受信しない。そのような情報は、Mikiらによって調査されたように歯の7つのクラスを決定するために非常に価値があるだけでなく、成人の健康な歯列内に存在する場合がある32個の個々の歯のタイプすべてを考慮してより高い分類精度の可能性ももたらす。
【００１１】
加えて、歯の一部がスキャンデバイスの視野を超えている象限のCBCTスキャンの場合にしばしば生じるように、歯が受信された3D画像において部分的にのみ存在する場合、ネットワークが完全な歯を含む画像においてトレーニングされたという事実は、歯の領域の識別と歯の分類の両方にやはり有害である。
【００１２】
上記の問題は、特に、3D歯データの自動分類法が容積測定3D CBCTデータに基づく場合、特定の計算制約内で3D歯データの完全に自動化された位置特定、分類、および分類法が可能なシステムの実現を非常に困難にする。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】米国特許出願公開第2017/0169562号
【非特許文献】
【００１４】
【非特許文献１】Mikiら、「Classification of teeth in cone-beam CT using deep convolutional neural network」、Computers in Biology and Medicine 80(2017)、24〜29頁
【非特許文献２】Mikiら、「Tooth labelling in cone-beam CT using deep convolutional neural network for forensic identification」、Progress in Biomedical Optics and Imaging 10134(2017)、101343E-1〜10134E-6頁
【発明の概要】
【発明が解決しようとする課題】
【００１５】
したがって、当該技術分野において、3D歯データ、特に、不均一な容積測定3D CBCT画像データから導出された3D歯データのセットを正確に位置特定し、個々の歯タイプに分類し、類型化するように適合されたコンピュータシステムが必要である。特に、当該技術分野において、3D歯データを、正確かつタイムリーに位置特定し、3Dにおける歯を表すデータのセットを成人の32本の可能な歯に対応するオブジェクトにリンクするデータ構造への歯タイプに分類し、類型化するように適合されたコンピュータシステムが必要である。
【課題を解決するための手段】
【００１６】
当業者によって理解されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具現化され得る。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、または、ソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態を取ることができ、これらはすべて、本明細書では、「回路」、「モジュール」、または「システム」と概して呼ばれる場合がある。本開示において説明される機能は、コンピュータのマイクロプロセッサによって実行されるアルゴリズムとして実装されてもよい。さらに、本発明の態様は、コンピュータ可読プログラムコードが具現化された、例えば、記憶された、1つまたは複数のコンピュータ可読媒体において具現化されたコンピュータプログラム製品の形態を取ってもよい。
【００１７】
1つまたは複数のコンピュータ可読媒体の任意の組合せが利用されてもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体は、例えば、限定はしないが、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または前述の任意の適切な組合せであってもよい。コンピュータ可読記憶媒体のより具体的な例(非網羅的リスト)は、以下、すなわち、1つまたは複数のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラム可能読み出し専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ(CD-ROM)、光記憶デバイス、磁気記憶デバイス、または前述の任意の適切な組合せを含む。本文書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを含むかまたは記憶することができる任意の有形媒体であってもよい。
【００１８】
コンピュータ可読信号媒体は、例えば、ベースバンド内または搬送波の一部としてコンピュータ可読プログラムコードがその中に具現化された伝播データ信号を含んでもよい。そのような伝播信号は、限定はしないが、電磁気、光学、またはそれらの任意の適切な組合せを含む、様々な形態のいずれかを取ってもよい。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによって、またはそれらに関連して使用するためのプログラムを通信、伝播、または転送することができる任意のコンピュータ可読媒体であってもよい。
【００１９】
コンピュータ可読媒体上に具現化されたプログラムコードは、限定はしないが、ワイヤレス、有線、光ファイバ、ケーブル、RFなど、または前述の任意の適切な組合せを含む任意の適切な媒体を使用して送信されてもよい。本発明の態様に関する動作を実行するためのコンピュータプログラムコードは、Java(登録商標)、Scala、C++、Pythonなどの関数型またはオブジェクト指向プログラミング言語と、「C」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語とを含む、1つまたは複数のプログラミング言語の任意の組合せにおいて書かれてもよい。プログラムコードは、ユーザのコンピュータ上で完全に、ユーザのコンピュータ上で部分的に、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で部分的にかつリモートコンピュータ上で部分的に、または、リモートコンピュータ、サーバ、もしくは仮想化サーバ上で完全に実行されてもよい。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、または、通信は、(例えば、インターネットサービスプロバイダを使用してインターネットを介して)外部コンピュータに対してなされてもよい。
【００２０】
本発明の態様について、本発明の実施形態による方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して以下に説明する。フローチャート図および/またはブロック図の各ブロック、ならびに、フローチャート図および/またはブロック図中のブロックの組合せがコンピュータプログラム命令によって実装され得ることが理解されよう。これらのコンピュータプログラム命令は、
コンピュータのプロセッサ、他のプログラム可能なデータ処理装置、または他のデバイスを介して実行される命令がフローチャートおよび/またはブロック図のブロックにおいて指定された機能/動作を実装するための手段を作成するように、マシンを生成するために、プロセッサ、特に、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のマイクロプロセッサもしくは中央処理装置(CPU)、またはグラフィックス処理ユニット(GPU)に提供されてもよい。
【００２１】
これらのコンピュータプログラム命令はまた、コンピュータ可読媒体内に記憶された命令がフローチャートおよび/またはブロック図のブロックにおいて指定された機能/動作を実装する命令を含む製品を生成するように、特定の方法で機能するように、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスに指示することができるコンピュータ可読媒体内に記憶されてもよい。
【００２２】
コンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能な装置上で実行される命令がフローチャートおよび/またはブロック図のブロックにおいて指定された機能/動作を実装するためのプロセスを提供するように、コンピュータ実装プロセスを生成するために、コンピュータ、他のプログラム可能な装置、または他のデバイスにおいて一連の動作ステップを実行させるために、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイス上にロードされてもよい。
【００２３】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能、および動作を例示する。これに関して、フローチャートまたはブロック図中の各ブロックは、指定された論理機能を実装するための1つまたは複数の実行可能命令を含むモジュール、セグメント、またはコードの一部を表す場合がある。いくつかの代替実装形態において、ブロック内に記載された機能が図中に記載された順序とは異なる順序で発生する場合があることにも留意されたい。例えば、連続して示されている2つのブロックは、実際には、実質的に同時に実行される場合があり、または、ときには、関連する機能に応じて逆の順序で実行される場合がある。ブロック図および/またはフローチャート図の各ブロック、ならびにブロック図および/またはフローチャート図中のブロックの組合せは、指定された機能もしくは動作を実行する専用ハードウェアベースのシステム、または、専用ハードウェアとコンピュータ命令との組合せによって実装され得る。
【００２４】
第1の態様において、本発明は、歯顎顔面構造を表す3Dデータを処理するためのコンピュータ実施方法に関する場合がある。方法は、コンピュータが3Dデータ、好ましくは3DコーンビームCT、CBCT、データを受信するステップであって、3Dデータが歯顎顔面構造のボクセル表現を含み、歯顎顔面構造が歯列を備え、ボクセルが少なくとも放射強度値に関連付けられており、ボクセル表現のボクセルが画像ボリュームを定義する、ステップと、コンピュータがボクセル表現を第1の3D深層ニューラルネットワークの入力に提供するステップであって、3D深層ニューラルネットワークがボクセル表現のボクセルを1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類するように訓練されており、第1の深層ニューラルネットワークが、第1の畳み込み経路を定義する複数の第1の3D畳み込み層と、第1の畳み込み経路と平行な第2の畳み込み経路を定義する複数の第2の3D畳み込み層とを備え、第1の畳み込み経路がボクセル表現のボクセルの第1のブロックをその入力において受信するように構成され、第2の畳み込み経路がボクセル表現のボクセルの第2のブロックをその入力において受信するように構成され、ボクセルの第1および第2のブロックが画像ボリューム内の同じまたは実質的に同じ中心点を有し、ボクセルの第2のブロックがボクセルの第1のブロックの実世界の寸法におけるボリュームよりも大きい実世界の寸法におけるボリュームを表し、第2の畳み込み経路がボクセルの第1のブロックのボクセルに関するコンテキスト情報を決定し、第1および第2の畳み込み経路の出力が、ボクセルの第1のブロックのボクセルを1つまたは複数の歯クラスに分類するための少なくとも1つの完全接続層に接続されている、ステップと、コンピュータが、第1の3D深層ニューラルネットワークの出力から歯顎顔面構造のボクセル表現の分類されたボクセルを受信するステップとを含んでもよい。
【００２５】
そのような3Dニューラルネットワークアーキテクチャを用いることによって、個々の歯分類が、最新のハードウェア制限を考慮して、適切なスケールにおいて、問題に関連するできるだけ多くの情報に基づいて訓練され、その情報を使用して推論され得る。(受信された3Dデータのネイティブ解像度においてセマンティックセグメンテーションをもたらす)歯構造のローカリゼーションと、(成人の健康な歯列内に一意に存在する可能性があるものとして各歯を一意に分類する)そのような構造の分類の両方を考慮すると、極めて高性能であるだけでなく、多数の出力ボクセルを並行して処理するその能力により、必要な持続時間を考慮しても高性能である。サンプルが3D深層ニューラルネットワークに提供される性質のために、分類は、スキャンにおいて部分的にのみ存在する歯に対しても実行され得る。
【００２６】
一実施形態において、ボクセルの第2のブロックのボリュームは、ボクセルの第1のブロックのボリュームよりも大きくてもよく、ボクセルの第2のブロックは、ボクセルの第1のブロックのダウンサンプリングされたバージョンを表し、好ましくは、ダウンサンプリング係数は、20と2との間、好ましくは、10と3との間で選択される。
【００２７】
一実施形態において、方法は、コンピュータが分類されたボクセルに基づいて歯顎顔面構造の単一の歯の1つまたは複数のボクセル表現を決定するステップと、コンピュータが単一の歯の1つまたは複数のボクセル表現の各々を第2の3D深層ニューラルネットワークの入力に提供するステップであって、第2の3D深層ニューラルネットワークが単一の歯のボクセル表現を歯列の複数の歯クラスのうちの1つに分類するように訓練されており、各歯クラスが候補歯クラスラベルに関連付けられており、第2の訓練された3Dニューラルネットワークが候補歯クラスラベルの各々についてアクティベーション値を生成し、候補歯クラスラベルに関連付けられたアクティベーション値が、単一の歯のボクセル表現が候補歯クラスラベルによって示される歯クラスを表す可能性を定義する、ステップとをさらに含む。
【００２８】
一実施形態において、方法は、候補歯列状態を定義するステップであって、各候補状態が、アクティベーション値に基づいて候補歯クラスラベルを単一の歯の複数のボクセル表現の各々に割り当てることによって形成される、ステップと、1つまたは複数の条件に基づいて候補歯列状態を評価するステップであって、1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯クラスラベルが単一の歯の異なるボクセル表現に割り当てられることを要求する、ステップとを含む、歯列の分類法を決定するステップをさらに含んでもよい。
【００２９】
一実施形態において、方法は、コンピュータが歯顎顔面構造の3D位置特徴情報を決定するために前処理アルゴリズムを使用するステップであって、3D位置特徴情報が、ボクセル表現内のボクセルごとに、画像ボリューム内の歯科基準オブジェクト、例えば、顎、歯列弓、および/または1つもしくは複数の歯の位置に対するボクセルの位置に関する情報を定義する、ステップと、コンピュータが3Dデータを第1の深層ニューラルネットワークの入力に提供する前に3D位置特徴情報を3Dデータに追加するステップであって、追加された3D位置特徴情報が追加のデータチャネルを3Dデータに提供する、ステップとをさらに含んでもよい。
【００３０】
一実施形態において、方法は、コンピュータが第3の訓練されたニューラルネットワークに基づいて第1の3D深層ニューラルネットワークによって分類されたボクセルを後処理するステップであって、第3の深層ニューラルネットワークが、その入力において第1の深層ニューラルネットワークによって分類されたボクセルを受信し、第1の深層ニューラルネットワークによって誤って分類されたボクセルを修正するように訓練されており、好ましくは、第3のニューラルネットワークが、入力として第1の深層ニューラルネットワークの訓練中に分類されたボクセルに基づいて、および、ターゲットとして訓練セットの3D画像データの歯顎顔面構造の一部の1つまたは複数の3Dデータセットに基づいて訓練されている、ステップをさらに含んでもよい。
【００３１】
さらなる態様において、本発明は、歯顎顔面構造の3D画像データを処理するために深層ニューラルネットワークシステムを訓練するための方法に関する。方法は、コンピュータが訓練データを受信するステップであって、訓練データが3D入力データ、好ましくは3DコーンビームCT(CBCT)画像データを含み、3D入力データがそれぞれ1つまたは複数の歯顎顔面構造の1つまたは複数のボクセル表現を定義し、ボクセルが放射強度値に関連付けられており、ボクセル表現のボクセルが画像ボリュームを定義し、訓練データが訓練データの3D入力データによって表される歯顎顔面構造の一部の3Dデータセットをさらに含む、ステップと、コンピュータが歯顎顔面構造の3D位置特徴情報を決定するために前処理アルゴリズムを使用するステップであって、3D位置特徴情報が、ボクセル表現内のボクセルごとに、画像ボリューム内の歯科基準オブジェクト、例えば、顎、歯列弓、および/または1つもしくは複数の歯の位置に対するボクセルの位置に関する情報を定義する、ステップと、ボクセルを1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類するように第1の深層ニューラルネットワークを訓練するために訓練データと1つまたは複数の3D位置特徴とを使用するステップとを含んでもよい。
【００３２】
一実施形態において、方法は、第1の深層ニューラルネットワークによって分類されたボクセルを後処理するように第2のニューラルネットワークを訓練するために、第1の深層ニューラルネットワークによる訓練中に分類されたボクセルと、訓練セットの3D画像データの歯顎顔面構造の一部の1つまたは複数の3Dデータセットとを使用するステップをさらに含んでもよく、第3のニューラルネットワークによる後処理は、第1の深層ニューラルネットワークによって誤って分類されたボクセルを修正することを含む。
【００３３】
一実施形態において、方法は、第1の深層ニューラルネットワークへの訓練入力として使用されている少なくとも3D画像データからボクセルのサブセットを選択するために、少なくとも第1の深層ニューラルネットワークを訓練するためのターゲットとして使用される単一の歯のボクセル表現である3Dデータセットを使用するステップであって、サブセットが第3の深層ニューラルネットワークの訓練のための入力として使用されている、ステップと、第3の深層ニューラルネットワークを訓練するためのターゲット歯クラスラベルとして、少なくとも第1の深層ニューラルネットワークを訓練するためのターゲットとして機能する3Dデータに関連付けられた歯クラスラベルを使用するステップとを含んでもよい。
【００３４】
一態様において、方法は、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、プログラムコードが分類アルゴリズムと深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、コンピュータ可読プログラムコードと、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサが、3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを受信する動作であって、3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、ボクセルが画像ボリューム内の歯顎顔面構造の3D表現を定義し、歯顎顔面構造が歯列を含む、動作と、訓練された深層ニューラルネットワークがその入力において3D画像データを受信する動作と、画像ボリューム内のボクセルの少なくとも一部を1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類する動作とを含む実行可能な動作を実行するように構成される、歯の3D画像データを自動的に分類するように適合されたコンピュータシステム、好ましくはサーバシステムに関してもよい。
【００３５】
一態様において、本発明は、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、プログラムコードが分類法アルゴリズムと訓練された深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、コンピュータ可読プログラムコードと、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサが、3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを受信する動作であって、3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、ボクセルが画像ボリューム内の歯顎顔面構造の3D表現を定義し、歯顎顔面構造が歯列を含む、動作と、訓練された深層ニューラルネットワークがその入力において3D画像データを受信し、画像ボリューム内のボクセルの少なくとも一部を少なくとも1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類する動作と、歯列の分類法を決定する動作であって、候補歯列状態を定義することであり、各候補状態がアクティベーション値に基づいて複数の3D画像データセットの各々に候補ラベルを割り当てることによって形成されている、定義すること、および1つまたは複数の条件に基づいて候補状態を評価することであり、1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯ラベルが異なる3D画像データセットに割り当てられることを要求する、評価することを含む、決定する動作と、を含む実行可能な動作を実行するように構成される、歯の3D画像データを自動的に類型化するように適合されたコンピュータ、好ましくはサーバシステムに関してもよい。
【００３６】
一態様において、本発明は、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、プログラムコードが分類法アルゴリズムと訓練された深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、コンピュータ可読プログラムコードと、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサが、3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを受信する動作であって、3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、ボクセルが画像ボリューム内の歯顎顔面構造の3D表現を定義し、歯顎顔面構造が歯列を含む、動作と、第1の訓練された深層ニューラルネットワークがその入力において3D画像データを受信する動作と、画像ボリューム内のボクセルの少なくとも一部を少なくとも1つまたは複数の歯クラス、好ましくは歯列の少なくとも32個の歯クラスに分類する動作と、第2の訓練された深層ニューラルネットワークが第1の訓練された深層ニューラルネットワークの結果を受信し、受信されたボクセル表現の個々の歯ごとのサブセットを歯クラスに関する個々のラベルに分類する動作と、歯列の分類法を決定する動作であって、候補歯列状態を定義することであり、各候補状態がアクティベーション値に基づいて複数の3D画像データセットの各々に候補ラベルを割り当てることによって形成されている、定義すること、および1つまたは複数の条件に基づいて候補状態を評価することであり、1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯クラスラベルが異なる3D画像データセットに割り当てられることを要求する、評価することを含む、決定する動作と、を含む実行可能な動作を実行するように構成される、歯の3D画像データを自動的に類型化するように適合されたコンピュータシステム、好ましくはサーバシステムに関してもよい。
【００３７】
一態様において、本発明は、サーバシステムと通信するように適合されたクライアント装置、好ましくはモバイルクライアント装置に関し、サーバシステムが請求項10から12に従って歯の3D画像データを自動的に類型化するように適合されており、クライアント装置が、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体と、コンピュータ可読記憶媒体に結合され、表示装置に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサが、3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを送信する動作であって、3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、ボクセルが画像ボリューム内の歯顎顔面構造の3D表現を定義し、歯顎顔面構造が歯列を含む、動作と、歯の3D画像データをセグメント化、分類、および類型化するようにサーバシステムに要求する動作と、複数の3D画像データセットを受信する動作であって、各3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義し、複数の3D画像データセットが歯列を形成する、動作と、1つまたは複数の3D画像データセットに関連付けられた1つまたは複数の歯クラスラベルを受信する動作と、ディスプレイ上で1つまたは複数の3D画像データセットと1つまたは複数の関連する歯クラスラベルとをレンダリングする動作とを含む実行可能な動作を実行するように構成される。
【００３８】
一態様において、本発明は、コンピュータが3D画像データセットのうちの1つまたは複数を受信するステップであって、3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義し、画像ボリュームが3D座標系に関連付けられている、ステップと、コンピュータが3D画像データセットの各々を前処理するステップであって、前処理が歯の形態、好ましくは、歯の3D形状および/または3D形状のスライスに基づいて画像ボリューム内の3D歯モデルの各々を位置決めおよび配向することを含む、ステップと、コンピュータが訓練された深層ニューラルネットワークの入力に前処理された3D画像データセットの各々を提供し、訓練された深層ニューラルネットワークが歯列の複数の候補歯ラベルに基づいて前処理された3D画像データセットの各々を分類するステップとを含み、3D画像データセットを分類するステップが、候補歯ラベルごとに、3D画像データセットが候補歯ラベルによって示される歯タイプを表す可能性を定義する候補歯ラベルに関連付けられたアクティベーション値を生成するステップを含む、歯の3D画像データの自動分類のためのコンピュータ実施方法に関する。
【００３９】
一実施形態において、前処理するステップは、3D歯モデルの長手方向軸位置を決定し、画像ボリューム内に3D歯モデルを配置するために、長軸位置、好ましくは軸部分上の点を使用するステップと、オプションで、3D歯モデルまたはそのスライスの重心および/または大容量部分を決定し、画像ボリューム内の3D歯モデルを配向するために、そのスライスの重心および/または大容量部分を使用するステップとをさらに含む。
【００４０】
したがって、本発明は、複数の候補歯ラベルからの少なくとも1つの歯ラベルを3D画像データセットに割り当てることによって、個々の3D歯モデルを表す少なくとも1つの3D画像データセットを分類する3D深層ニューラルネットワークを含むコンピュータを含んでもよい。3D画像データセットの入力に供給される前に、3D画像データセットは、3D歯モデルに画像ボリューム内の標準化された配向を提供するためにコンピュータによって前処理される。このようにして、3D歯モデルの画像ボリューム内のランダムな配向が均一の正規化された配向に設定され、例えば、画像ボリュームの中央に配向され、3D歯モデルの長手方向軸がz軸に平行であり、3D歯モデルの歯冠が負のz方向を指し、3D歯モデルの重心を通る半径方向軸が正のx方向を指す。歯の形態に基づく前処理は、3D深層ニューラルネットワークが3D歯モデルの回転変動に敏感であるという問題を持ち出す。
【００４１】
一実施形態において、コンピュータは、歯列の一部である複数の3D画像データセットを受信してもよい。その場合、方法は、候補歯列状態を定義するステップであって、各候補歯列状態が、アクティベーション値に基づいて候補歯ラベルを複数の3D画像データセットの各々に割り当てることによって形成されている、ステップと、1つまたは複数の条件に基づいて候補歯列状態を評価するステップであって、1つまたは複数の候補のうちの少なくとも1つが、異なる候補歯ラベルが異なる3D画像データセットに割り当てられることを要求し、好ましくは、候補歯列状態が評価される順序が候補歯列状態に関連付けられたアクティベーション値の高さに基づく、ステップとを含む、歯列の分類法を決定するステップをさらに含んでもよい。
【００４２】
さらなる態様において、本発明は、コンピュータが複数の3D画像データセットを受信するステップであって、3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義し、画像ボリュームが3D座標系に関連付けられており、複数の3D画像データセットが歯列の一部である、ステップと、コンピュータが、3D画像データセットの各々を訓練された深層ニューラルネットワークの入力に提供するステップと、訓練された深層ニューラルネットワークが歯列の複数の候補歯ラベルに基づいて3D画像データセットの各々を分類するステップとを含み、3D画像データセットを分類するステップが、候補歯ラベルごとにアクティベーション値を生成するステップであって、アクティベーション値が、3D画像データセットが候補歯ラベルによって示される歯タイプを表す可能性を定義する、ステップと、コンピュータが歯列の分類法を決定するステップであって、候補歯列状態を定義するステップであって、各候補状態が、アクティベーション値に基づいて複数の3D画像データセットの各々に候補歯ラベルを割り当てることによって形成されているステップと、1つまたは複数の条件に基づいて候補歯列状態を評価するステップであって、1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯ラベルが異なる3D画像データセットに割り当てられることを要求する、ステップとを含むステップとを含む、歯の3D画像データの自動分類法のためのコンピュータ実施方法に関してもよい。
【００４３】
したがって、本発明は、訓練された3D深層ニューラルネットワークと後処理方法とを使用して、歯列を形成する3D画像データセットの完全自動化された分類法を提供する非常に正確な方法をさらに提供してもよい。後処理中、歯列を形成する複数の3D画像データセットの分類結果、すなわち、各3D画像セットに関する候補歯ラベルおよび関連するアクティベーション値は、歯列の正確な分類法を提供するために、1つまたは複数の条件に基づいて評価されてもよい。
【００４４】
一実施形態において、歯列の分類法を決定するステップは、候補歯列状態を定義するステップであって、各候補歯列状態がアクティベーション値に基づいて複数の3D画像データセットの各々に候補歯ラベルを割り当てることによって形成されている、ステップと、1つまたは複数の条件に基づいて候補歯列状態を評価するステップであって、1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯ラベルが異なる3D画像データセットに割り当てられることを要求する、ステップとをさらに含んでもよい。
【００４５】
さらなる態様において、本発明は、コンピュータが3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを受信するステップであって、3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、ボクセルが画像ボリューム内の歯顎顔面構造の3D表現を定義し、歯顎顔面構造が歯列を含む、ステップと、第1の訓練された深層ニューラルネットワークがその入力において3D画像データを受信し、画像ボリューム内のボクセルの少なくとも一部を顎ボクセル、歯ボクセル、および/または神経ボクセルのうちの少なくとも1つに分類するステップと、分類された歯ボクセルを複数の3D画像データセットにセグメント化するステップであって、各3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義する、ステップと、コンピュータが3D画像データセットの各々を第2の訓練された深層ニューラルネットワークの入力に提供するステップと、第2の訓練された深層ニューラルネットワークが歯列の複数の候補歯ラベルに基づいて3D画像データセットの各々を分類するステップとを含み、3D画像データセットを分類するステップが、候補歯ラベルごとにアクティベーション値を生成するステップであって、アクティベーション値が、3D画像データセットが候補歯ラベルによって示される歯タイプを表す可能性を定義する候補ラベルに関連付けられる、ステップを含む、歯の3D画像データの自動セグメンテーションおよび分類のためのコンピュータ実施方法に関する。
【００４６】
本発明は、歯顎顔面構造が歯列を含む3D画像データ、例えば、(CB)CT3D画像データセットの完全に自動化されたセグメンテーションおよび分類の方法であって、各3D画像データセットが3D歯モデルを形成する3D画像データセットが第1の訓練された深層ニューラルネットワークを使用して生成され、3D画像データセットが歯ラベルを3D画像データセットの各々に割り当てることによって分類される、方法も提供してもよい。
【００４７】
一実施形態において、セグメント化するステップは、前処理アルゴリズムが歯顎顔面構造の1つまたは複数の3D位置特徴を決定するためにボクセルを使用するステップであって、1つまたは複数の3D位置特徴が第1の深層ニューラルネットワークへの入力用に構成されており、3D位置特徴が画像ボリューム内のボクセルの位置情報を定義する、ステップと、第1の深層ニューラルネットワークが、その入力において3D画像データと1つまたは複数の決定された位置特徴とを受信し、画像ボリューム内のボクセルの少なくとも一部を顎ボクセル、歯ボクセル、および/または神経ボクセルのうちの少なくとも1つに分類するために1つまたは複数の位置特徴を使用するステップとを含んでもよい。
【００４８】
一実施形態において、位置情報は、画像ボリューム内のボクセルと画像ボリューム内の第1の歯科基準面との間の距離、好ましくは垂直距離、画像ボリューム内のボクセルと画像ボリューム内の第1の歯科基準オブジェクトとの間の距離、および/または、画像ボリュームの第2の基準面における累積強度値の位置を定義してもよく、第2の基準面内の点における累積強度値は、基準面内の点を通る法線上またはその近傍におけるボクセルの累積強度値を含む。
【００４９】
一実施形態において、方法は、候補歯列状態を定義するステップであって、各候補状態がアクティベーション値に基づいて複数の3D画像データセットの各々に候補歯ラベルを割り当てることによって形成されている、ステップと、1つまたは複数の条件に基づいて候補歯列状態を評価するステップであって、1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯ラベルが異なる3D画像データセットに割り当てられることを要求する、ステップとを含む、歯列の分類法を決定するステップを含んでもよい。
【００５０】
さらなる態様において、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、プログラムコードが前処理アルゴリズムと訓練された深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、コンピュータ可読プログラムコードと、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサが、3D画像データセットのうちの1つまたは複数を受信する動作であって、3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義し、画像ボリュームが3D座標系に関連付けられている、動作と、3D画像データセットの各々を前処理する動作であって、前処理する動作が、歯の形態、好ましくは、歯の3D形状および/または3D形状のスライスに基づいて画像ボリューム内の3D歯モデルの各々を位置決めおよび配向することを含む、動作と、前処理された3D画像データセットの各々を訓練された深層ニューラルネットワークの入力に提供し、訓練された深層ニューラルネットワークが歯列の複数の候補歯ラベルに基づいて前処理された3D画像データセットの各々を分類する、動作とを含む実行可能な動作を実行するように構成され、3D画像データセットを分類する動作が、候補歯ラベルごとにアクティベーション値を生成することであって、アクティベーション値が、3D画像データセットが候補歯ラベルによって示される歯タイプを表す可能性を定義する候補歯ラベルに関連付けられる、生成することを含む、歯の3D画像データを自動的に分類するように適合されたコンピュータシステム、好ましくはサーバシステムに関してもよい。
【００５１】
さらなる態様において、本発明は、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、プログラムコードが分類法アルゴリズムと訓練された深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、コンピュータ可読プログラムコードと、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサが、複数の3D画像データセットを受信する動作であって、3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義し、画像ボリュームが3D座標系に関連付けられており、複数の3D画像データセットが歯列を形成する、動作と、3D画像データセットの各々を訓練された深層ニューラルネットワークの入力に提供し、訓練された深層ニューラルネットワークが歯列の複数の候補歯ラベルに基づいて3D画像データセットの各々を分類する動作とを含む実行可能な動作を実行するように構成され、3D画像データセットを分類する動作が、候補歯ラベルごとにアクティベーション値を生成することであって、アクティベーション値が、3D画像データセットが候補歯ラベルによって示される歯タイプを表す可能性を定義する候補歯ラベルに関連付けられる、生成することと、歯列の分類法を決定することであって、候補歯列状態を定義することであり、各候補状態がアクティベーション値に基づいて複数の3D画像データセットの各々に候補ラベルを割り当てることによって形成されている、定義すること、および1つまたは複数の条件に基づいて候補状態を評価することであり、1つまたは複数の条件のうちの少なくとも1つが、異なる候補歯ラベルが異なる3D画像データセットに関連付けられることを要求する、評価することを含む、歯列の分類法を決定することとを含む、歯の3D画像データを自動的に類型化するように適合されたコンピュータシステム、好ましくはサーバシステムに関してもよい。
【００５２】
一態様において、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体であって、プログラムコードがセグメンテーションアルゴリズムと第1および第2の深層ニューラルネットワークとを含む、コンピュータ可読記憶媒体と、コンピュータ可読プログラムコードと、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサが、3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを受信する動作であって、3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、ボクセルが画像ボリューム内の歯顎顔面構造の3D表現を定義し、歯顎顔面構造が歯列を含む、動作と、第1の訓練された深層ニューラルネットワークがその入力において3D画像データを受信し、画像ボリューム内のボクセルの少なくとも一部を顎ボクセル、歯ボクセル、および/または神経ボクセルのうちの少なくとも1つに分類する動作と、分類された歯ボクセルを複数の3D画像データセットにセグメント化する動作であって、各3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義する、動作と、3D画像データセットの各々を第2の訓練された深層ニューラルネットワークの入力に提供し、第2の訓練された深層ニューラルネットワークが歯列の複数の候補歯ラベルに基づいて前処理された3D画像データセットの各々を分類する、動作とを含む実行可能な動作を実行するように構成され、3D画像データセットを分類する動作が、候補歯ラベルごとにアクティベーション値を生成することであって、アクティベーション値が、3D画像データセットが候補歯タイプラベルによって示される歯タイプを表す可能性を定義する候補ラベルに関連付けられる、生成することを含む、歯の3D画像データを自動的にセグメント化および分類するように適合されたコンピュータシステム、好ましくはサーバシステムに関してもよい。
【００５３】
さらなる態様において、本発明は、サーバシステムと通信するように適合されたクライアント装置、好ましくはモバイルクライアント装置に関してもよく、サーバシステムは、上記で説明したように歯の3D画像データを自動的に類型化するように適合されており、クライアント装置は、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体と、コンピュータ可読記憶媒体に結合され、表示装置に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサは、第1の3D画像データセットのうちの1つまたは複数をサーバシステムに送信する動作であって、3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義し、画像ボリュームが3D座標系に関連付けられている、動作と、歯の3D画像データを類型化するようにサーバシステムに要求する動作と、サーバシステムから第2の3D画像データセットのうちの1つまたは複数を受信する動作であって、第2の3D画像データセットのうちの1つまたは複数が1つまたは複数の第1の3D画像データセットに基づいてサーバシステムによって生成されており、生成する動作が、3D画像データセットの各々を処理することを含み、処理することが、歯の形態、好ましくは歯の3D形状および/または3D形状のスライスに基づいて画像ボリューム内の3D歯モデルを位置決めおよび配向することを含む、動作と、それぞれ1つまたは複数の第2の3D画像データセットに関連付けられた1つまたは複数の歯ラベルを受信する動作と、ディスプレイ上に1つまたは複数の第2の3D画像データセットと1つまたは複数の関連する歯ラベルとをレンダリングする動作とを含む実行可能な動作を実行するように構成される。
【００５４】
一態様において、本発明は、サーバシステムと通信するように適合されたクライアント装置、好ましくはモバイルクライアント装置に関してもよく、サーバシステムは、請求項13に従って歯の3D画像データを自動的にセグメント化および分類するように適合されており、クライアント装置は、コンピュータ可読プログラムコードが具現化されたコンピュータ可読記憶媒体と、コンピュータ可読記憶媒体に結合され、表示装置に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、第1のコンピュータ可読プログラムコードを実行することに応答して、プロセッサは、3D画像データ、好ましくは3DコーンビームCT(CBCT)画像データを送信する動作であって、3D画像データがボクセルの画像ボリュームを定義し、ボクセルが放射強度値または密度値に関連付けられており、ボクセルが画像ボリューム内の歯顎顔面構造の3D表現を定義し、歯顎顔面構造が歯列を含む、動作と、サーバシステムに3D画像データをセグメント化および分類するように要求する動作と、複数の3D画像データセットを受信する動作であって、各3D画像データセットがボクセルの画像ボリュームを定義し、ボクセルが画像ボリューム内の3D歯モデルを定義し、複数の3D画像データセットが歯列を形成する、動作と、1つまたは複数の3D画像データセットに関連付けられた1つまたは複数の歯ラベルを受信する動作と、ディスプレイ上に1つまたは複数の3D画像データセットと1つまたは複数の関連する歯ラベルとをレンダリングする動作とを含む実行可能な動作を実行するように構成される。
【００５５】
本発明は、コンピュータのメモリ内で実行されると、上記で説明した方法のいずれかを実行するように構成されたソフトウェアコード部分を備えるコンピュータプログラム製品にも関してもよい。
【００５６】
本発明について、本発明による実施形態を概略的に示す添付図面を参照してさらに例示する。本発明は、これらの特定の実施形態に決して限定されないことが理解されよう。
【図面の簡単な説明】
【００５７】
【図１】本発明の一実施形態による、歯列からの歯を自動的に類型化するように構成されたコンピュータシステムの高レベルの概略図である。
【図２】本発明の一実施形態による、個々の歯を分類するための深層ニューラルネットワークを訓練するフロー図である。
【図３】本発明の一実施形態による、歯列からの歯のセットを類型化するためのコンピュータシステムを示す図である。
【図４Ａ】本発明の様々な実施形態による個々の歯データの正規化を示す図である。
【図４Ｂ】本発明の様々な実施形態による個々の歯データの正規化を示す図である。
【図５】歯列3Dデータを分類するための深層ニューラルネットワークアーキテクチャの一例を示す図である。
【図６】本発明の一実施形態による後処理のフロー図である。
【図７】本発明の一実施形態による、3D歯顎顔面構造の分類およびセグメンテーションのためのコンピュータシステムを概略的に示す図である。
【図８】本発明の一実施形態による、歯顎顔面3D画像データを分類するための深層ニューラルネットワークを訓練するフロー図である。
【図９Ａ】3D CT画像データの例を示す図である。
【図９Ｂ】3D光学スキャンデータの例を示す図である。
【図１０Ａ】歯顎顔面3D画像データを分類するための深層ニューラルネットワークアーキテクチャの例を示す図である。
【図１０Ｂ】歯顎顔面3D画像データを分類するための深層ニューラルネットワークアーキテクチャの例を示す図である。
【図１１】本発明の一実施形態による、3D画像データスタック内の歯顎顔面特徴を決定する方法のフロー図である。
【図１２】3D画像スタックからの合計されたボクセル値と、歯顎顔面弓を表すボクセルにフィッティングされた曲線とを含む視覚化を提供する図である。
【図１３Ａ】本発明の様々な実施形態による歯顎顔面特徴の例を示す図である。
【図１３Ｂ】本発明の様々な実施形態による歯顎顔面特徴の例を示す図である。
【図１３Ｃ】本発明の様々な実施形態による歯顎顔面特徴の例を示す図である。
【図１３Ｄ】本発明の様々な実施形態による歯顎顔面特徴の例を示す図である。
【図１４Ａ】本発明の一実施形態による、訓練された深層学習ニューラルネットワークの出力の例を示す図である。
【図１４Ｂ】本発明の一実施形態による、訓練された深層学習ニューラルネットワークの出力の例を示す図である。
【図１４Ｃ】本発明の一実施形態による、訓練された深層学習ニューラルネットワークの出力の例を示す図である。
【図１４Ｄ】本発明の一実施形態による、訓練された深層学習ニューラルネットワークの出力の例を示す図である。
【図１５】本発明の一実施形態による、3D歯顎顔面構造の後処理分類されたボクセルのフロー図である。
【図１６】本発明の一実施形態による、3D歯顎顔面構造の後処理分類されたボクセルに関する深層ニューラルネットワークアーキテクチャを示す図である。
【図１７Ａ】本発明の一実施形態による、分類されたボクセルの再構築プロセスを示す図である。
【図１７Ｂ】本発明の一実施形態による、分類されたボクセルの再構築プロセスを示す図である。
【図１８】本発明の様々な実施形態による3Dデータを処理するための分散型コンピュータシステムの概略図である。
【図１９】個々の歯を分類する深層ニューラルネットワークによって歯の3Dデータセットに適用されたラベル、および後処理から結果として生じる歯列に適用されたラベルの例を示す図である。
【図２０Ａ】本発明の一実施形態によるコンピュータシステムによって生成されたラベル付けされた3D歯モデルを含むレンダリングされた歯列を示す図である。
【図２０Ｂ】本発明の一実施形態によるコンピュータシステムによって生成されたラベル付けされた3D歯モデルを含むレンダリングされた歯列を示す図である。
【図２１】本開示において説明する方法およびソフトウェア製品を実行するために使用され得る例示的なデータコンピューティングシステムを示すブロック図である。
【発明を実施するための形態】
【００５８】
本開示において、歯を表す3D画像データを分類するための深層ニューラルネットワークを使用するコンピュータシステムおよびコンピュータ実施方法の実施形態について説明する。3D画像データは、歯列を含む歯顎顔面構造を形成するボクセルを備えてもよい。例えば、3D画像データは、((CB)CTスキャナによって生成されるような)3D(CB)CT画像データを含んでもよい。代替的には、3D画像データは、(例えば、光学3Dスキャナによって生成されるような)歯の表面メッシュを含んでもよい。本発明によるコンピュータシステムは、ボクセルの画像ボリュームを定義する3D画像データセットを分類するように訓練された少なくとも1つの深層ニューラルネットワークを備えてもよく、ボクセルは、画像ボリューム内の3D歯構造を表し、画像ボリュームは、3D座標系に関連付けられる。コンピュータシステムは、歯構造の3D表現を含んでもよい1つまたは複数の訓練セットに基づいて1つまたは複数の深層ニューラルネットワークを反復的に訓練(最適化)する訓練プロセスを実行するように構成されてもよい。個々の歯の3D表現のフォーマットは、3D深層ニューラルネットワークへの入力のために最適化されてもよい。最適化は、3D画像データを前処理することを含んでもよく、前処理は、3D位置特徴を決定することを含んでもよい。3D位置特徴は、正確な分類に有益であり得るように元の受信された3D画像データに関する情報を集約し、そのような特徴を個別のチャネルとして3D画像データに追加することによって決定されてもよい。
【００５９】
訓練されると、第1の深層ニューラルネットワークは、歯列の3D画像データを受信し、3D画像データのボクセルを分類してもよい。ニューラルネットワークの出力は、ボクセルデータの様々なコレクションを含んでもよく、各コレクションは、3D画像データの別個の部分(例えば、個々の歯、個々の神経、顎骨の部分)を表してもよい。個々の歯の分類されたボクセルは、各分類されたボリュームの正確な3D表現を再構築するために後処理されてもよい。
【００６０】
個々の歯ごとの分類されたボクセルまたは再構築されたボリュームは、該当する場合、特定の3D境界ボックス内の配向、寸法、および位置を正規化するために追加で後処理されてもよい。個々の歯の形状を、オプションで、(該当する場合、同じ方法で正規化された)元の受信された3D画像データのその関連するサブセットとともに含むこの再構築された(正規化された)ボクセルセットは、候補歯ラベルのセットに関連付けられたアクティベーション値を決定するために訓練された第2の3D深層ニューラルネットワークの入力に提示されてもよい。第2の3D深層ニューラルネットワークは、その入力において1つの個々の歯(の一部)を表す3D画像データを受信し、その出力において各候補歯ラベルに関するアクティベーションの単一のセットを生成してもよい。
【００６１】
このようにして、個々の歯オブジェクトごとに分類結果の2つのセットが識別されてもよく、分類結果の第1のセットは、ボクセルを第1の3D深層ニューラルネットワークによって生成された様々なボクセルクラス(例えば、個々の歯クラス、または32個可能な歯タイプ)に分類し、分類結果の第2のセットは、個々の歯のボクセル表現を第2の3D深層ニューラルネットワークによって生成された様々な歯クラス(例えば、再び32個可能な歯タイプ、または切歯、犬歯、臼歯などの様々な分類)に分類する。歯列(の一部)を形成する複数の歯オブジェクトは、両方とも個々の歯の3Dデータを分類するように適合された第1のニューラルネットワークおよびオプションで第2のニューラルネットワークから結果として得られる予測を利用して、可能な限り最も正確な分類法を決定するために最終的に後処理されてもよい。
【００６２】
歯列を形成する3D画像データセットを自動的に分類するための少なくとも1つの訓練されたニューラルネットワークを含むコンピュータシステム、ネットワークの訓練、ニューラルネットワークに供給される前の3D画像データの前処理、ならびに第1のニューラルネットワークによって決定される結果の後処理について、以下でより詳細に説明する。
【００６３】
図1は、本発明の一実施形態による、3D画像データ内の歯を自動的に類型化するように構成されたコンピュータシステムの高レベルの概略図を示す。コンピュータシステム100は、歯列に関連する3D画像データである入力データ102を歯の3D表現に前処理するためのプロセッサを備えてもよい。プロセッサは、(歯を含み、空間情報を含んでもよい)実世界の歯顎顔面構造の3D画像データから歯の3D表現104を導出してもよく、3D画像データは、全歯形状のCBCTスキャナまたは光学スキャンなどの公知の技法を使用して生成されてもよい。歯の3D表現は、歯の分類のために訓練された3D深層ニューラルネットワークプロセッサ106のための入力データとして最も有益である3Dデータフォーマットを有してもよい。3Dデータフォーマットは、分類された歯のセット110(コンピュータシステム100の出力)の精度が最適化されるように選択されてもよい。入力データの3D表現への変換は、入力データを前処理すると呼ばれる場合がある。コンピュータシステムはまた、3Dニューラルネットワークプロセッサの出力を後処理するためのプロセッサ108を含んでもよい。ポストプロセッサは、第1の深層ニューラルネットワークによって誤って分類されたボクセルを修正するアルゴリズムを含んでもよい。ポストプロセッサは、単一の歯を表す3D画像データセットの追加の分類のためのアルゴリズムを追加で含んでもよい。ポストプロセッサは、深層ニューラルネットワークの出力の上で歯列を考慮する知識を利用するルールベースシステムを追加で利用してもよい。コンピュータシステムおよびそのプロセッサについて、図を参照して以下でより詳細に説明する。
【００６４】
図2は、本発明の一実施形態による、個々の歯を分類するための深層ニューラルネットワークを訓練するフロー図を示す。個々の歯の3D表現を分類するように3D深層ニューラルネットワークを訓練するために、様々なデータソースが使用されてもよい。
【００６５】
この図に示すように、3D画像データ214の様々なソース206、212が、3D深層ニューラルネットワークを訓練するために選択されてもよい。これらのデータソースは、前処理216を必要としてもよい。3Dデータの1つのソースは、CT 3D画像データ206、特に、歯顎顔面構造が歯列を含むことを表す(CB)CT 3D画像データを含んでもよい。しばしば、3D画像データは、顎骨の一部と歯とを含む歯顎顔面構造のボクセル表現を表す。その場合、システムは、3D CT画像データ内の個々の歯を自動的にセグメント化するためのコンピュータシステム208をさらに備えてもよい。そのようなシステムは、関心ボリューム(VOI)210を生成してもよく、各VOIは、完全な(CB)CTスキャンを形成するボクセルから選択されたボクセルのボリュームを含んでもよい。ボクセルの選択されたボリュームは、歯冠と歯根とを含む歯を表すボクセルを含んでもよい。自動セグメント化のためのコンピュータシステムは、歯顎顔面構造を表す3D画像データ内の歯をセグメント化するように訓練された3D深層ニューラルネットワークプロセッサを含んでもよい。歯顎顔面構造のボクセル表現を自動的にセグメント化するためのコンピュータシステムの詳細について、図7〜図17を参照して以下でより詳細に説明する。
【００６６】
個々の歯の3D画像データのさらなるソースは、光学スキャナによって生成された完全な歯、すなわち歯冠と歯根の両方の3D画像データ212であってもよい。そのようなスキャナは、3D表面メッシュ214の形態において歯の3D表現を生成してもよい。オプションで、システム208は、セグメント化された歯に基づいて表面メッシュを生成するように構成されてもよい。
【００６７】
個々の歯をそれらの正しくラベル付けされたクラスに分類するように訓練される深層ニューラルネットワークは、個々の歯を表す3Dデータセットが3D深層ニューラルネットワーク用に最適化された3Dデータフォーマットに変換されることを要求してもよい。そのような最適化された3Dデータセットは、3D深層ニューラルネットワークがサンプル間のクラス内変動、特に3D歯モデルの配向における変動に敏感であるので、分類精度を向上させる。そのために、異なる3D画像データを個々の歯の均一な3Dボクセル表現218に変換するために、前処理ステップ216が使用されてもよい。
【００６８】
個々の歯のボクセル表現218ごとに、所望のラベルを正しく識別するように3D深層ニューラルネットワーク222を訓練するために、正しいラベル220、すなわち、歯のボクセル表現の歯番号(正しいクラスまたはインデックス番号)を表すラベルが必要とされる。このようにして、3D深層ニューラルネットワークは、歯のボクセル表現を自動的に分類するように訓練される。歯列の対称的な性質により、訓練に提供されるべきサンプル数を増やすために、サンプルがミラーリングされてもよい。同様に、サンプルは、3D空間において実行可能な限界まで任意に回転または引き伸ばされたわずかに変更されたバージョンを追加することによって増加されてもよい。
【００６９】
図3は、本発明の一実施形態による、3D歯モデルの自動分類法のためのコンピュータシステムを示す。コンピュータシステムは、2つの異なるモジュール、3D深層ニューラルネットワーク314を訓練するプロセスを実行するための第1の訓練モジュール328と、新しい入力データに基づいて分類プロセスを実行するための第2の分類モジュールとを含んでもよい。図3に示すように、訓練モジュールは、訓練を目的とするデータソースの1つまたは複数のリポジトリまたはデータベース306、310を備えてもよい。そのようなリポジトリは、入力データ、例えば、歯列を含む3D画像データを受信するように構成された入力304を介して供給されてもよく、入力データは、それぞれの所望のラベルとともに様々なフォーマットにおいて記憶されてもよい。少なくとも第1のリポジトリまたはデータベース306は、歯列の(CB)CT3D画像と関連するラベルとを記憶するために使用されてもよい。このデータベースは、訓練のために使用され得る個々の歯のボクセルを含むボクセルのボリュームを表す関心ボリューム308をセグメント化および抽出するためにコンピュータシステム307によって使用されてもよい。一実施形態において、コンピュータシステム307は、個々の歯クラスごとに関心ボリュームをセグメント化するように構成されてもよく、すなわち、関心ボリュームとターゲットラベルの両方をもたらす。同様に、他のフォーマットの3Dデータ、例えば、光学スキャンによって生成された3D表面メッシュと、ネットワークの訓練中に用いられてもよい個々の歯のラベルとを記憶するために第2のリポジトリまたはデータベース310が使用されてもよい。
【００７０】
3D訓練データは、深層ニューラルネットワーク314用に最適化された3Dボクセル表現に前処理312されてもよい。3D深層ニューラルネットワークプロセッサ314が個々の歯のサンプルにおける訓練のみを必要とする場合があるので、訓練プロセスは、この段階で終了する場合がある。一実施形態において、3D表面メッシュなどの3D歯データは、(CB)CTスキャンに由来するセグメント化された3D画像データに基づいて決定されてもよい。
【００７１】
新しい歯列316を分類するための分類モジュール330を使用するとき、物理的な歯列を深層ニューラルネットワーク314用に最適化された3D表現に変換するときに、再び複数のデータフォーマットが用いられてもよい。システムは、歯列318の(CB)CT3D画像データを利用し、個々の歯のボクセルを含む関心ボリューム320をセグメント化および抽出するように構成されたコンピュータシステム319を利用してもよい。代替的には、光学スキャンから結果として生じる歯ごとの表面メッシュ322などの別の表現が使用されてもよい。他の3D表現を抽出し、次いで関心ボリュームを抽出するために(CB)CTデータが使用されてもよいことに再び留意されたい。
【００７２】
深層ニューラルネットワーク314に必要なフォーマットへの前処理312が実行されてもよい。深層ニューラルネットワークの出力は、歯列の歯に適用されるラベルのセット全体での分類法の正確さを保証するために歯列を考慮する知識を利用するように設計された後処理ステップ324に送られてもよい。一実施形態において、深層ニューラルネットワークの追加の訓練後に将来の精度を高める目的で、正しいラベルが訓練データにフィードバックされてもよい。エンドユーザへの結果の提示は、自動的に分類および類型化された3D歯データの3Dおよび/または3D表現をレンダリングするように適合されたレンダリングエンジンによって促進される。レンダリングされた分類および類型化された3D歯データの例について、図20Aおよび図20Bを参照して説明する。
【００７３】
図4Aおよび図4Bは、本発明の様々な実施形態による、個々の歯データの正規化を示す概略図を示す。具体的には、図4Aは、歯列または他のソースから導出され得る単一の歯の表面を表す3Dメッシュを処理するフロー図を示す。前処理ステップの目標は、3D深層ニューラルネットワークプロセッサによる解釈のために最適化されたデータの3Dボクセル表現を作成することである。図4Aに示すように、プロセスは、(歯列または別のソースからセグメント化された)3D表面メッシュ402を3Dボクセル表現404に補間するステップを含んでもよい。そのようなステップにおいて、3D表面メッシュは、所定の初期ボクセル値、例えば、歯の表面が存在しない「ゼロ」または「背景」値と、メッシュによって定義された3D表面と一致するかまたはほぼ一致するそれらのボクセルの「1」または「歯存在」値とを有するボクセルの3Dボリュームとして表されてもよい。そのようにして形成された3Dボクセル表現は、したがって、ボリューム、例えば、ボクセルのボリューム、例えば、矩形ボックスを含み、歯の3D表面は、第2のボクセル値を有するボリューム内のボクセルによって表され、残りのボクセルは、第1のボクセル値を有する。一実施形態において、方法はまた、3Dボクセル表現が3D空間内の立体オブジェクトを表すように、表面メッシュによって囲まれたボクセルを第2のボクセル値に設定するステップを含んでもよい。
【００７４】
一実施形態において、(例えば、歯列の(CB)CTスキャンからの個々の歯をセグメント化することによって決定され得る)ボクセル表現も、プロセスステップ404に基づいてさらに処理されてもよい。
【００７５】
ボクセルの(矩形)ボリュームは、歯の3Dボクセル表現が配向および寸法に関連付けられ得るように、座標系、例えば、3Dデカルト座標系に関連付けられてもよい。しかしながら、歯モデルの配向および/または寸法は、標準化されなくてもよい。3D深層ニューラルネットワークは、歯の配向に敏感であり、3D画像ボリューム内にランダムな配向と標準化されていない寸法とを有する歯モデルを分類することが困難である場合がある。
【００７６】
この問題に対処するために、前処理中、別個の歯モデル(3Dボクセル表現)の配向および寸法は、正規化されてもよい。これが意味することは、3Dボクセルデータサンプル(ステップ404および/または406において生成された歯を表す3Dボクセルデータサンプル)の各々が、サンプルの寸法および配向が均一になるように変換されてもよいということである(ステップ410)。プリプロセッサは、歯列ソースからの空間情報を使用して、そのような正規化された向きおよび/または寸法を達成してもよい。
【００７７】
空間情報は、歯列ソース内の各サンプルの寸法および配向を調査することによって、プリプロセッサによって決定されてもよい(ステップ408)。例えば、歯列の歯サンプルが3D画像ボリュームを定義する単一の3D(CB)CTデータスタックに由来する場合、各歯サンプルの寸法および配向は、システムによって決定され得る。代替的には、空間情報は、個々の3Dボクセル表現とともに提供されてもよい。
【００７８】
プリプロセッサは、元の3D(CB)CTデータスタックから導出された配向および寸法を調査してもよく、これらの値が深層学習ネットワークのための所望の入力フォーマットと一致しない場合、変換が適用されてもよい。そのような変換は、3D空間内のサンプルの配向を再配向するための3D回転(ステップ410)および/または3D空間内のサンプルの寸法を再スケーリングするための3Dスケーリング(ステップ412)を含んでもよい。
【００７９】
図4Bは、本発明の一実施形態による、歯データの配向および/または寸法を正規化する方法を示す。歯列の歯の元の3D画像データが寸法および/もしくは配向のサンプル内の一貫性を持たない場合、ならびに/または、寸法および/もしくは配向が未知である場合、歯列を形成するすべてのサンプルに関する正規化された3Dボクセル表現を達成するために、様々な方法が使用されてもよい。
【００８０】
この正規化プロセスは、例えば、長手方向軸が決定され得る歯構造に基づいて、かつ歯の非対称形状により、歯の形態に依存する、1つまたは複数の変換を使用してもよい。さらに、歯構造の重心の位置が決定されてもよく、これは、歯の非対称形状のため、長手方向軸から距離をおいて配置される場合がある。そのような情報に基づいて、歯の上側、下側、裏側、および表側が均一に定義され得る3D画像空間内の歯の正規化された配向が決定されてもよい。例えば、長手方向軸のそのような決定は、主成分分析によって、または以下で説明する他の手段によって実行されてもよい。
【００８１】
図4Bに示すように、3D画像空間における3D歯サンプルの配向および寸法は、所定の座標系に基づいてもよい。x、y、およびz軸が示されていように選択されてもよいが、他の選択も可能である。3D歯サンプル422の完全に任意の配向を仮定すると、2つの軸(この例ではxおよびy)に沿った回転は、互いの間に最も大きい距離を有するサンプル内の2つの点424および426を決定することによって設定されてもよい。これらの2つの点の間の線は、歯構造の長手方向軸(の一部)を定義してもよい。サンプルは、長手方向軸部分の上の所定の点、例えば、2つの点424および426の間の中間点が画像空間の中心と一致し得るように変換されてもよい。さらに、サンプルは、長手方向軸部分がz軸と平行になるように中心点に沿って回転されてもよく、結果として(428に示すように)サンプルの再配向をもたらす。したがって、この変換は、歯の形状に基づいて長手方向軸を定義し、3D画像ボリュームにおいて(例えば、ボリュームの中心において)歯を配置するために長手方向軸上の点(例えば、中央)を使用し、3D画像ボリュームの座標系の軸、例えばz軸に長手方向軸を位置合わせする。
【００８２】
さらに、歯科構造の重心431が決定されてもよい。さらに、サンプルボリュームの大部分および/または重心が平面の上にあるかまたは下にあるかを判定するために、歯構造の長手方向軸に垂直であり、長手方向軸の中心に位置する平面430、この場合、x-y平面が使用されてもよい。ボリュームの大部分がx-y平面430の選択された側にあることを確実にするために、回転が使用されてもよく、この例の場合、サンプルは、より大きいボリュームが負のz方向に向かって下向きになるように回転され、結果として432に示すような変換をもたらす。したがって、この変換は、歯構造の上側および下側を決定し、それに応じて歯構造を軸に位置合わせさせるために、歯構造の長手方向軸に垂直な平面の下および上の歯のボリューム、ならびに/またはそのような平面に対して配置された重心の位置を使用する。任意の配向において受信された任意の同一サンプルについて、434によって示されるようにz軸に沿った回転であるこれらの変換ステップの後に、異なる可能性がある配向のうちの1つの態様のみが存在する。
【００８３】
この回転を設定するための様々な方法が存在する。一実施形態において、中心点およびz軸に沿って回転する平面が使用されてもよい。システムは、この平面の片側におけるボリュームが最大化される平面の回転を見つけてもよい。決定された回転は、次いで、最大ボリュームが選択された軸に沿って選択された方向において配向されるようにサンプルを回転させるために使用されてもよい。例えば、446に示すように、正のx方向に向かうボリュームの量が最大化され、436について見つけられた平面を、所定の平面、例えば、448に示すz-y平面に平行に効果的に設定する。
【００８４】
さらなる実施形態において、ボリュームの代わりに、回転を設定するために重心が使用されてもよい。例えば、システムは、重心と長手方向軸上の点とを通る半径方向軸部分を構築してもよい。その後、半径方向軸部分が所定の方向、例えば、正のx方向において配向されるように、長手方向軸に沿った回転がシステムによって選択される。
【００８５】
さらに別の実施形態において、3D歯構造は、歯構造の長手方向軸の所定の点においてスライスされてもよい。例えば、438において、歯構造は、歯構造の底側から所定の距離にある長手方向軸上の点においてスライスされてもよい。このようにして、データの2Dスライスが決定されてもよい。この2Dスライスにおいて、互いから最大の距離を有する2つの点が決定されてもよい。これらの点の間の線は、歯構造の横軸と呼ばれる場合がある。サンプルは、次いで、横軸440が所定の軸(例えば、y軸)に平行になるように回転されてもよい。これは、(線440がy軸に平行である2つの可能性があるので)長手方向軸に沿って2つの可能な回転434を残す場合がある。
【００８６】
これらの2つの回転の間の選択は、スライスおよび横軸によって定義される2つの領域に基づいて決定されてもよい。その後、より大きい領域が所定の方向に向かって、例えば、442に示すように、負のx軸444の側に向かって配向されるように、構造は、長手方向軸に沿って回転されてもよい。サンプル間の配向を統一する様々な方法を考慮すると、これらの様々な方法について個々の歯の分類のための別個の3Dニューラルネットワークを訓練することは、訓練精度にとって有益である場合がある。
【００８７】
最後に、3D深層学習ネットワークは、各サンプルが各寸法において同じボクセル量および解像度を有することを期待している。この目的のために、前処理は、各潜在的サンプルがフィットするボリュームを決定し、各サンプルをこの空間の中心に配置するステップ412を含んでもよい。データソースのフォーマットに応じて、図4におけるステップのうちの1つまたは複数が省略されてもよいと思われる。一例として、(CB)CT3Dデータスタックからの関心ボリューム(VOI)を扱う場合、ステップ402〜406は、省略されてもよい。
【００８８】
図5は、本出願で説明する3D画像データの自動分類法のための方法およびシステムにおいて使用するための個々の歯の分類のための3D深層ニューラルネットワークアーキテクチャの例を示す。ネットワークは、3D畳み込み層(3D CNN)を使用して実装されてもよい。畳み込みは、当該分野において知られているアクティベーション関数を使用してもよい。複数の3D畳み込み層504〜508が使用されてもよく、層の数およびそれらの定義するパラメータにおけるわずかな変動、例えば、異なるアクティベーション関数、カーネル量、サブサンプリングおよびサイズの使用、ならびにドロップアウト層などの追加の機能層、およびバッチ正規化が、深層ニューラルネットワークの設計の本質を失うことなく実装形態において使用されてもよい。
【００８９】
深層ニューラルネットワーク内のデータの内部表現の次元数を減らすために、3D最大プーリング層510が用いられてもよい。ネットワークのこの時点で、内部表現は、3D空間内の表現を潜在的なラベル、特に歯タイプラベルのアクティベーションに変換するための中間体であることを目的とした密結合層512に渡されてもよい。最終または出力層514は、符号化されたラベルの所望の数と同じ次元数を有してもよく、潜在的なラベルごとのアクティベーション値518(予測に類似する)を決定するために使用されてもよい。
【００９０】
ネットワークは、前処理された3D画像データ502(例えば、図4を参照して説明した個々の歯3Dボクセル表現)に基づいて訓練されてもよい。一実施形態において、3D画像データは、複数の画像チャネル、例えば、追加情報を含む第4の次元を備えてもよい。単一チャネル3D画像データは、ボクセルのx、y、およびz位置ごとに1つのデータポイント(例えば、図4Aのプロセスを参照して説明したように、(CB)CTスキャンの場合は密度値、またはバイナリボクセル表現の場合はバイナリ値(「0」/「1」))を含んでもよい。対照的に、マルチチャネル3D画像データは、ボクセルごとに2つ以上の異なるデータポイント(例えば、通常は赤色のための1つ、緑色のための1つ、および青色のための1つの3つの情報チャネルを備えるカラー画像に相当する)を含んでもよい。したがって、一実施形態において、3D深層ニューラルネットワークは、マルチチャネル3D画像データを処理するように訓練されてもよい。
【００９１】
一実施形態において、そのようなマルチチャネル3D画像データは、例えば、個々の歯の元の3D(CB)CT画像データを含む第1のチャネルと、図4Aを参照して説明した方法からもたらされ得るものと同じ歯の処理バージョンを含む第2のチャネルとを含んでもよい。これらのセットの両方を提供することは、(3D、バイナリ表現された)正確なセグメント化された形状と、分類問題に関連する場合がある元の画像からの情報(密度値)の両方を考慮して情報をもたらす可能性がある。両方を提供することは、正確な分類の可能性を高める。
【００９２】
(単一の歯の3D表現である)サンプルごとに、所望の出力と実際の出力514との間の損失を決定するために、正しいラベル516の一致する表現が使用されてもよい。この損失は、深層ニューラルネットワークの層内のパラメータを調整する手段として訓練中に使用されてもよい。訓練の努力の効率を促進するために、オプティマイザ機能が訓練中に使用されてもよい。ネットワークは、内部パラメータが結果の望ましい正確さをもたらすまで、任意の数の反復に対して訓練されてもよい。適切に訓練されると、ラベル付けされていないサンプルが入力として提示されてもよく、深層ニューラルネットワークは、潜在的なラベルごとの予測を導出するために使用されてもよい。
【００９３】
したがって、深層ニューラルネットワークは、歯の3Dデータサンプルを複数の歯タイプ、例えば、成人の歯列の場合、32個歯タイプの1つに分類するように訓練されるとき、ニューラルネットワークの出力は、アクティベーション値および関連する潜在的な歯タイプラベルである。最も高いアクティベーション値を有する潜在的な歯タイプラベルは、歯の3Dデータサンプルがラベルによって示されるタイプの歯を表す可能性が最も高いことをシステムに示してもよい。最も低いかまたは比較的低いアクティベーション値を有する潜在的な歯タイプラベルは、歯の3Dデータセットがそのようなラベルによって示されるタイプの歯を表す可能性が最も低いことをシステムに示してもよい。
【００９４】
図6は、本発明の一実施形態による後処理のフロー図を示す。単一の歯列に関する個々の歯オブジェクト起源のセット602を考慮するときに利用可能な情報を利用するために、この後処理は、歯ごとのラベルの最も実現可能な割り当てを決定するために利用されてもよい。歯を表す各3Dデータセット606は、可能な候補ラベルごとに最も可能性が高い予測値608を取得するために、深層ニューラルネットワークによって処理されてもよい。例えば、複数の方法による歯オブジェクトの分類に続いて、歯オブジェクト(または個々の歯3Dデータセット)ごとに複数の予測が存在する場合がある。加えて、いくつかの実施形態において、全歯列の3D画像データ(例えば、図3を参照して説明したようにセグメンテーションシステムの入力に提供される歯顎顔面構造の3D(CB)CT画像データ)の3D座標系において表された重心(COG)607は、歯を表す各3Dデータセットに起因している場合がある。
【００９５】
候補歯列状態(または要するに候補状態)が生成されてもよく、歯の各3Dデータセットが候補歯ラベルに割り当てられる。初期候補状態は、候補歯ラベルを、この候補歯ラベルに関する最も高いアクティベーション値を有する歯の3Dデータセットに割り当てることによって作成されてもよい(610)。この文脈における候補(歯列)状態は、歯列を形成する(例えば、3D画像データセットによって表される)各歯オブジェクトに対する歯ラベルの単一の割り当てを指す場合がある。この初期状態は、解決された最終的な歯列状態を満たすために必要な条件を満たさない場合があるので、所望の最終状態ではない場合がある。状態のサイズ、例えば、歯列内に存在する歯の数は、歯列間で変化する場合がある。
【００９６】
候補状態が評価され得る順序を決定するために使用され得る優先度値が各候補状態に割り当てられてもよい。優先度値は、解決された最適なソリューションを最適化するために、所望の目標を利用することによって設定されてもよい。一実施形態において、候補状態の優先度値は、候補状態の候補ラベルに割り当てられたアクティベーション値、例えば、(歯オブジェクトごとに複数である場合がある)アクティベーション値の合計に基づいて決定されてもよい。代替的には、および/または加えて、一実施形態において、優先度値は、一意に割りた候補ラベルの数および/または重複ラベル割り当ての数に基づいて決定されてもよい。
【００９７】
候補歯列状態のプール612および優先度値は、コンピュータシステムのメモリ内に記憶されてもよい(各候補状態は、候補歯ラベルと関連する優先度値とを含んでもよい)。
【００９８】
候補歯列状態614は、割り当てられた優先度値順に選択され、反復プロセスにおいて評価されてもよく、コンピュータは、(ステップ616に示すように)所定の条件が満たされたかどうかをチェックしてもよい。条件は、歯列の知識に基づいてもよい。例えば、一実施形態において、条件は、歯の候補ラベルが単一の候補歯列状態において1回だけ(一意に)発生し得ることであってもよい。さらに、いくつかの実施形態において、各3D歯データセットに関するCOGの位置に関連する情報が、1つまたは複数の条件を定義するために使用されてもよい。例えば、成人の歯のFDIナンバリングシステムを使用する場合、インデックス1xおよび2x(x=1,...,8)を有する歯ラベルは、上顎の一部であってもよく、歯ラベル3xおよび4x(x=1,...,8)は、下顎の一部であってもよい。ここで、インデックス1x、2x、3x、4x(x=1,...,8)は、4つの象限と、その中の歯番号xとを定義する。これらの歯ラベルは、歯の各3D表現に関連付けられたCOGに基づいてチェックされてもよい。さらなる実施形態において、複数の歯ラベルは、それらの顎内の様々な歯タイプの歯の規則正しい配置と見なされてもよく、各COGに関する歯列内のラベルの適切な割り当てを考慮した追加の条件をもたらす。
【００９９】
別の例として、一実施形態において、深層ニューラルネットワーク(のうちの1つ)から収集されるラベルアクティベーションは、「切歯」、「犬歯」、「臼歯」の形態における歯タイプクラスに限定されてもよい。そのような分類を容易にすることができ、実行可能な条件(例えば、象限ごとに2つの切歯)をチェックすることができる状態で、説明した方法は、満たされるべき任意の条件を効率的に評価することができる場合がある。
【０１００】
候補状態の評価(の順序)は、ニューラルネットワークによって割り当てられた優先度値に基づいてもよい。具体的には、解決された候補状態は、優先度値に基づいて最適化される。例えば、1つまたは複数の深層ニューラルネットワークの割り当てられたアクティベーション値から優先度値を導出する場合、システムによって提示される最終解620(すなわち、出力)は、最大化された割り当てられたアクティベーション値を有しながら(すなわち、アクティベーション値の合計が最大である)、条件を満たす(第1の)候補歯列状態になる。
【０１０１】
候補歯列状態の評価中に、1つまたは複数の条件が満たされない場合、新しい候補状態が生成されてもよい(618)。可能な状態の巨大な空間を考慮すると、すべての可能な候補状態を生成して考慮することは、実行可能ではない。したがって、新しい候補状態は、条件と一致しない(616)候補歯ラベルに基づいて生成されてもよい。例えば、一実施形態において、候補歯列状態の3D歯表現のサブセットが2つ以上の同じ歯ラベルを含む(したがって、歯列状態が一意に割り当てられた歯ラベルのセットを含むべきであるという条件と矛盾する)場合、この特定の例外を解決しようとする新しい候補状態が生成されてもよい。同様に、一実施形態において、候補歯列状態の3D歯表現が矛盾するCOGを含む場合、この特定の例外を解決しようとする新しい候補状態が生成されてもよい。これらの新しい候補状態は、それらの予測される優先度値を最大化しながら、元の矛盾する状態に基づいて段階的に生成されてもよい。例えば、次の候補状態を決定するために、例外を有するラベルごとに、例外を有する状態における特定のラベルに対して割り当てられた(元の)歯表現は、次の最も高い予測される優先順位をもたらす表現と交換されてもよい。
【０１０２】
上記で説明したように、いくつかの実施形態において、3D画像データは、顎骨の個々の部分、個々の歯、および個々の神経に関連するボクセルを含む歯顎顔面構造を表してもよい。それらの実施形態において、個々の歯を分類するように訓練された3D深層学習ネットワークに供給され得る個々の歯の3Dボクセル表現を決定するために、歯顎顔面構造の別々の部分へのセグメンテーションが必要である。歯の分類法の目的のため、成人の健康な歯列内に存在する可能性がある32本の固有の歯ごとにボクセル表現が生成されてもよい。したがって、本発明は、歯顎顔面構造内の歯列の個々の歯を分類し、セグメント化し、オプションで3Dモデリングするために3D深層ニューラルネットワークを使用するコンピュータシステムおよびコンピュータ実施方法を含み、歯顎顔面構造は、CT画像データスタック、具体的には、コーンビームCT(CBCT)画像データスタックを形成する一連のシーケンスによって定義された3D画像データによって表される。3D画像データは、歯顎顔面構造の3D画像空間を形成するボクセルを含んでもよい。本発明によるそのようなコンピュータシステムは、歯顎顔面構造の3D画像データスタックを様々なクラスのボクセルに分類するように訓練された少なくとも1つの深層ニューラルネットワークを備えてもよく、各クラスは、構造の別個の部分(例えば、個々の歯、個々の顎部分、個々の神経)に関連付けられてもよい。コンピュータシステムは、歯顎顔面構造の正確な3Dモデルを含んでもよい1つまたは複数の訓練セットに基づいて1つまたは複数の深層ニューラルネットワークを反復的に訓練する(最適化する)訓練プロセスを実行するように構成されてもよい。これらの3Dモデルは、光学的にスキャンされた歯顎顔面構造を含んでもよい。
【０１０３】
訓練されると、深層ニューラルネットワークは、歯顎顔面構造の3D画像データスタックを受信し、3D画像データスタックのボクセルを分類してもよい。データが訓練された深層ニューラルネットワークに提示される前に、データは、ニューラルネットワークがボクセルを効率的かつ正確に分類することができるように前処理されてもよい。ニューラルネットワークの出力は、ボクセルデータの様々なコレクションを含んでもよく、各コレクションは、3D画像データの別個の部分、例えば、歯または顎骨を表してもよい。分類されたボクセルは、歯顎顔面構造の正確な3Dモデルを再構築するために後処理されてもよい。
【０１０４】
歯顎顔面構造のボクセルを自動的に分類するための訓練されたニューラルネットワークを備えるコンピュータシステム、ネットワークの訓練、ニューラルネットワークに供給される前の3D画像データの前処理、ならびに、ニューラルネットワークによって分類されたボクセルの後処理について、以下でより詳細に説明する。
【０１０５】
図7は、本発明の一実施形態による、3D歯顎顔面構造の分類およびセグメンテーションのためのコンピュータシステムを概略的に示す。具体的には、コンピュータシステム702は、歯顎顔面構造の3D画像データスタック704を受信するように構成されてもよい。構造は、個々の顎の構造と、個々の歯の構造と、個々の神経の構造とを含んでもよい。3D画像データは、ボクセル、すなわち、放射強度または密度値を表すボクセル値、例えば、グレースケール値またはカラー値に関連付けられた3D空間要素を含んでもよい。好ましくは、3D画像データスタックは、所定のフォーマット、例えば、DICOMフォーマットまたはその派生物によるCBCT画像データを含んでもよい。
【０１０６】
コンピュータシステムは、出力714として分類されたボクセルの3Dセットを生成するように訓練された3D深層学習ニューラルネットワーク712の入力に供給される前に3D画像データを前処理するためのプリプロセッサ706を備えてもよい。以下でより詳細に説明するように、3D深層学習ニューラルネットワークは、訓練されたニューラルネットワークが3D画像データスタック内のボクセルを様々なクラスのボクセル(例えば、個々の歯、顎骨、および/または神経組織に関連するボクセル)に正確に分類することができるように、所定の訓練方式に従って訓練されてもよい。好ましくは、個々の歯に関連するクラスは、成人の健康な歯列内に存在する場合があるすべての歯からなり、32個個々の歯クラスである。3D深層学習ニューラルネットワークは、複数の接続された3D畳み込みニューラルネットワーク(3D CNN)層を備えてもよい。
【０１０７】
コンピュータシステムは、3D深層学習ニューラルネットワークによって分類されたボクセルを使用して歯顎顔面構造の様々な部分(例えば、個々の歯、顎、および神経)の3Dモデルを正確に再構築するためのプロセッサ716をさらに備えてもよい。以下でより詳細に説明するように、分類されたボクセルの一部、例えば、歯構造または顎構造に属するものとして分類されたボクセルは、さらなる3D深層学習ニューラルネットワーク720に入力され、3D深層学習ニューラルネットワーク720は、歯顎顔面構造に関する3Dボリューム、例えば、顎の形状に関する3Dボリューム724および歯の形状に関する3Dボリューム726を、そのような構造に属すると分類されたボクセルに基づいて再構築するように訓練される。分類されたボクセルの他の部分、例えば、神経に属するものとして3D深層ニューラルネットワークによって分類されたボクセルは、補間機能718を使用することによって後処理され、3D神経データ722として記憶されてもよい。分類されたボクセルから神経を表すボリュームを決定するタスクは、深層ニューラルネットワークの能力(利用可能な処理パワー)を現在超えている可能性がある性質のものである。さらに、提示された分類されたボクセルは、ニューラルネットワークがこの問題を解決するのに適した情報を含まない場合がある。したがって、分類された神経ボクセルを正確かつ効率的に後処理するために、分類されたボクセルの補間が使用される。歯顎顔面構造の様々な部分の3Dデータを後処理した後、神経、顎、および歯のデータ722〜726は、組み合わされ、コンピュータシステムの入力に供給された3D画像データ内の歯顎顔面構造を正確に表す別々の3Dデータセットまたはモデル728においてフォーマットされてもよい。
【０１０８】
CBCTスキャンにおいて、スキャン内の異なる領域は、スキャンされている臓器におけるそれらの相対的な位置に応じて異なるグレースケール値で現れるので、(Hounsfield Unit(HU)において測定された)無線密度は、不正確である。CBCTスキャナと医療グレードのCTスキャナの両方で同じ解剖学的領域から測定されたHUは、同一ではなく、したがって、部位固有の、X線撮影で識別された骨密度の決定について信頼できない。
【０１０９】
さらに、歯科用CBCTシステムは、再構築された密度値を表すグレーレベルをスケーリングするための標準化されたシステムを用いない。これらの値は、これらの値は、そのように任意であり、骨質の評価を可能にしない。そのような標準化がない場合、グレーレベルを解釈することが困難になるか、または、異なるマシンから得られた値を比較することが不可能になる。
【０１１０】
歯および顎骨構造は、コンピュータが、歯に属するボクセルと顎に属するボクセルとを区別するのが困難であるように、同様の密度を有する。加えて、CBCTシステムは、周囲の明るい縞とともに、2つの高減衰オブジェクト(金属または骨など)間に暗い縞を生成する、いわゆるビーム硬化に非常に敏感である。
【０１１１】
3D深層学習ニューラルネットワークを上記の問題に対して堅牢にするために、3Dニューラルネットワークは、3D画像データによって表される歯顎顔面構造の一部の3Dモデルを利用するためにモジュール738を使用して訓練されてもよい。3D訓練データ730は、関連するターゲット出力が既知である(例えば、歯顎顔面構造の3D CT画像データおよび歯顎顔面構造の関連する3Dセグメント化表現)、704において提示されたCBCT画像に正しく位置合わせされ得る。従来の3D訓練データは、入力データを手動でセグメント化することによって取得される場合があり、これは、かなりの量の作業を表す場合がある。加えて、手動のセグメンテーションは、使用される入力データの低い再現性および一貫性を結果としてもたらす。
【０１１２】
この問題に対処するために、一実施形態において、光学的に生成された訓練データ730、すなわち、歯顎顔面構造(の一部)の正確な3Dモデルが、手動でセグメント化された訓練データの代わりに、または少なくともそれに加えて使用されてもよい。訓練データを生成するために使用される歯顎顔面構造は、3D光学スキャナを使用してスキャンされてもよい。そのような光学3Dスキャナは、当該分野において知られており、高品質な3Dの顎および歯の表面データを生成するために使用され得る。3D表面データは、ボクセル分類器734によって満たされ(どの特定のボクセルがメッシュによって取り囲まれるボリュームの一部であるかを決定する)、使用され得る3D表面メッシュ732を含んでもよい。このようにして、ボクセル分類器は、訓練のための高品質な分類されたボクセル736を生成することができる。加えて、前述のように、手動で分類された訓練ボクセルが、同様にネットワークを訓練するために訓練モジュールによって使用されてもよい。訓練モジュールは、分類された訓練ボクセルをターゲットとして使用し、関連するCT訓練データを入力として使用してもよい。
【０１１３】
加えて、訓練プロセス中、CT訓練データは、3D位置特徴を決定するように構成され得る特徴抽出器708によって前処理されてもよい。歯顎顔面特徴は、画像化された歯顎顔面特徴の1つまたは複数の部分に関連付けられた少なくとも空間情報を符号化してもよい。例えば、一実施形態において、手動で設計された3D位置特徴は、ボクセルを含む3Dボリューム内の顎骨(の一部)を表す3D曲線、具体的には歯列弓を含んでもよい。1つまたは複数の重みパラメータが3D曲線に沿った点に割り当てられてもよい、重み値の値は、ボクセルからボクセルへの3D空間における変換を符号化するために使用されてもよい。例えば、画像スタックが受け入れられる元の空間の符号化されたバージョンを組み込むのではなく、符号化された空間は、入力において検出された歯顎顔面構造に固有である。特徴抽出器は、放射強度値または密度値を表すボクセル値を調査し、特定のボクセルを通る1つまたは複数の曲線(例えば、多項式)をフィッティングすることによって、顎および/または歯の1つまたは複数の曲線(例えば、歯列弓)を近似する1つまたは複数の曲線を決定してもよい。3D CT画像データスタックの歯列弓曲線(の一部)の導関数が、位置特徴マッピング710として記憶されてもよい。
【０１１４】
別の実施形態において、そのような3D位置特徴は、例えば、受信された3Dデータセット全体から関連情報を導出するように訓練された3D深層ニューラルネットワークなどの(訓練された)機械学習方法によって決定されてもよい。
【０１１５】
図8は、本発明の一実施形態による、歯顎顔面3D画像データを分類するための深層ニューラルネットワークを訓練するフロー図を示す。訓練データは、歯顎顔面構造の3D CTスキャンのボクセルを自動的に分類することができるように3D深層学習ニューラルネットワークを訓練するために使用される。この図に示すように、歯顎顔面複合体802の表現がコンピュータシステムに提供されてもよい。訓練データは、歯顎顔面構造のCT画像データスタック804と、関連する3Dモデル、例えば、同じ歯顎顔面構造の光学スキャンからの3Dデータ806とを含んでもよい。そのような3D CT画像データおよび3D光学スキャンデータの例が図9Aおよび図3Bに示されている。図9Aは、歯顎顔面構造の3D CTスキャンの異なる平面、例えば、アキシャル面902、前額面またはコロナル面904、およびサジタル面906に関連付けられたDICOMスライスを示す。図9Bは、歯顎顔面構造の3D光学スキャンデータを示す。コンピュータは、光学スキャンデータに基づいて歯顎顔面構造の3D表面メッシュ808を形成してもよい。さらに、3D表面メッシュを3D CT画像データに位置合わせするように構成された位置合わせ機能810が用いられてもよい。位置合わせ後、コンピュータの入力に提供される3D構造の表現は、同じ空間座標系を使用する。位置合わせされたCT画像データおよび3D表面メッシュに基づいて、3D位置特徴812および光学的にスキャンされた3Dモデルの分類されたボクセルデータ814が決定されてもよい。位置特徴および分類されたボクセルデータは、次いで、画像スタック804とともに深層ニューラルネットワーク816の入力に提供されてもよい。
【０１１６】
したがって、訓練段階中、3D深層学習ニューラルネットワークは、3D CT訓練データと、3D CT訓練データから抽出された位置特徴とを入力データとして受信し、3D CT訓練データに関連付けられた分類された訓練ボクセルは、ターゲットデータとして使用される。所定の入力に対する所望の出力を表す、深層ニューラルネットワークの出力のターゲットデータ(すなわち、分類されたボクセルデータ)への偏差を表す損失関数を最小化することによって、深層ニューラルネットワークのネットワークパラメータの最適値を学習するために、最適化方法が使用されてもよい。損失関数の最小化が特定の値に収束する場合、訓練プロセスは、アプリケーションに適していると見なされ得る。
【０１１７】
3D光学スキャンデータから(少なくとも部分的に)導出され得る訓練ボクセルと組み合わせて3D位置特徴を使用する図8に示す訓練プロセスは、3D深層学習ニューラルネットワークのための高品質の訓練セットを提供する。訓練プロセス後、訓練されたネットワークは、3D CT画像データスタックからのボクセルを正確に分類することができる。
【０１１８】
図10Aおよび図10Bは、歯顎顔面構造の3Dボクセルデータを分類およびセグメント化するように構成された方法およびシステムにおいて使用するための深層ニューラルネットワークアーキテクチャの高レベルの概略図を示す。図10Aに示すように、ネットワークは、3D畳み込みニューラルネットワーク(3D CNN)を使用して実装されてもよい。畳み込み層は、シグモイド関数、tanh関数、relu関数、ソフトマックス関数などの、層内のニューロンに関連付けられたアクティベーション関数を用いてもよい。複数の3D畳み込み層が使用されてもよく、層の数およびそれらの定義するパラメータにおけるわずかな変動、例えば、異なるアクティベーション関数、カーネル量およびサイズ、ならびに、ドロップアウト層などの追加の機能層が、深層ニューラルネットワークの設計の本質を失うことなく実装形態において使用されてもよい。
【０１１９】
図10Aに示すように、ネットワークは、複数の畳み込み経路、例えば、3D畳み込み層の第1のセット1006に関連付けられた第1の畳み込み経路および3D畳み込み層の第2のセット1008に関連付けられた第2の畳み込み経路とを含んでもよい。3D画像データ1002は、第1の畳み込み経路と第2の畳み込み経路の両方の入力に供給されてもよい。図4を参照して説明したように、一実施形態において、3D画像データは、複数のチャネル、例えば、3D位置特徴データなどの追加情報を含むさらなる第4の次元を含んでもよい。
【０１２０】
さらに、いくつかの実施形態において、ネットワークは、3D畳み込み層の第3のセット1007に関連付けられた少なくともさらなる(第3の)畳み込み経路を含んでもよい。第3の畳み込み経路は、別個の入力として第3の経路に供給されるボクセルに関連付けられた受信された3D位置特徴から導出された3D特徴を符号化するように訓練されてもよい。この第3の畳み込み経路は、例えば、そのような3D位置特徴情報が受信された3D画像データの追加の画像チャネルとして提供されない場合に使用されてもよい。
【０１２１】
異なる経路の機能について、図10Bにおいてより詳細に示す。この図に示すように、3D画像データを表すボクセルがニューラルネットワークの入力に供給される。これらのボクセルは、画像ボリューム10011と呼ばれる場合がある所定のボリュームに関連付けられる。第1の経路10031の後続の3D畳み込み層の各々は、3D画像データのボクセルの第1のブロック10011に対して3D畳み込み演算を実行してもよい。処理中、1つの3D畳み込み層の出力は、後続の3D畳み込み層の入力である。このようにして、各3D畳み込み層は、入力に供給される3D画像データの一部を表す3D特徴マップを生成してもよい。したがって、そのような特徴マップを生成するように構成された3D畳み込み層は、3D CNN特徴層と呼ばれる場合がある。
【０１２２】
図10Bに示すように、第2の経路10032の畳み込み層は、3D画像データのボクセルの第2のブロック10012を処理するように構成されてもよい。ボクセルの各第2のブロックは、ボクセルの第1のブロックに関連付けられ、ボクセルの第1および第2のブロックは、画像ボリュームにおいて同じ中心に置かれた原点を有する。第2のブロックのボリュームは、第1のブロックのボリュームよりも大きい。さらに、ボクセルの第2のブロックは、ボクセルの関連する第1のブロックのダウンサンプリングされたバージョンを表す。ダウンサンプリングは、よく知られた補間アルゴリズムを使用することに基づいてもよい。ダウンサンプリング係数は、任意の適切な値であってもよい。一実施形態において、ダウンサンプリング係数は、20と2との間、好ましくは10と3の間で選択されてもよい。
【０１２３】
したがって、3D深層ニューラルネットワークは、少なくとも2つの畳み込み経路を備えてもよい。第1の畳み込み経路10031は、第1のボクセル解像度、例えば、ターゲットのボクセル解像度(すなわち、分類されるべき3D画像データのボクセルの解像度)の入力データ(例えば、画像ボリューム内の所定の位置におけるボクセルの第1のブロック)を処理するように構成された3D CNN特徴層(例えば、5〜20層)の第1のセットを定義してもよい。同様に、第2の畳み込み経路は、第2のボクセル解像度における入力データ(例えば、ボクセルの第2のブロック10012の各ブロックがボクセルの第1のブロック10011からのその関連するブロックと同じ中心点を有する、ボクセルの第2のブロック)を処理するように構成された3D CNN特徴層(例えば、5〜20層)の第2のセットを定義してもよい。ここで、第2の解像度は、第1の解像度よりも低い。したがって、ボクセルの第2のブロックは、実世界の寸法において第1のブロックよりも大きいボリュームを表す。このようにして、第1の3D CNN特徴層は、3D特徴マップを生成するためにボクセルの第1のブロックを処理し、第2の3D CNN特徴層は、第1の3D CNN特徴層によって処理されたボクセルの関連する第1のブロックの(直接)近傍に関する情報を含む3D特徴マップを生成するためにボクセルの第2のブロックを処理する。
【０１２４】
したがって、第2の経路は、ニューラルネットワークがコンテキスト情報、すなわち、ニューラルネットワークの入力に提示される3D画像データのボクセルのコンテキスト(例えば、その周囲)に関する情報を決定することを可能にする。複数の(並列)畳み込み経路を使用することによって、3D画像データ(入力データ)と3D画像データのボクセルに関するコンテキスト情報の両方が並列に処理され得る。コンテキスト情報は、典型的には、区別が困難な密に詰め込まれた歯の構造を含む、歯顎顔面構造を分類するために重要である。特に、個々の歯を分類するコンテキストにおいて、(少なくとも、歯列内の位置、他の歯、組織、空気、骨などの隣接構造を考慮する情報を含む)コンテキスト情報と同様に、少なくとも、入力のネイティブ解像度における両方の情報が利用可能であること(少なくとも、個々の歯の形状を考慮する詳細な情報を含む)が重要である。
【０１２５】
一実施形態において、3D位置特徴を処理するために第3の畳み込み経路が使用されてもよい。代替実施形態において、3D位置特徴を処理するための第3の畳み込み経路を使用する代わりに、3D位置特徴を含む3D位置情報は、深層ニューラルネットワークの入力に提供される3D画像データに関連付けられてもよい。具体的には、各ボクセルが強度値および位置情報に関連付けられている3Dデータスタックが形成されてもよい。したがって、位置情報は、例えば、受信された3D画像情報に追加チャネルとして3D位置特徴を情報を追加することによって、適用可能な受信されたボクセルごとにペアにされてもよい。したがって、この実施形態において、深層ニューラルネットワークの入力における3D歯顎顔面構造のボクセル表現のボクセルは、例えば、無線強度値を表すボクセル値に関連付けられるだけでなく、3D位置情報にも関連付けられてもよい。したがって、この実施形態において、第1および第2の畳み込み経路両方の畳み込み層の訓練中、3D画像特徴と3D位置特徴の両方から導出された情報がこれらの畳み込み層において符号化されてもよい。3D CNN特徴層のセットの出力は、次いで、マージされ、完全接続3D CNN層のセット1010の入力に供給されてもよく、完全接続3D CNN層のセット1010は、ニューラルネットワークの入力において提供され、3D CNN特徴層によって処理されたボクセル1012の意図された分類を導出するように訓練される。
【０１２６】
完全接続層は、出力ボクセルのブロック内の導出されるべき出力ボクセルごとの接続を考慮してそれらが完全に接続されるように構成されてもよい。これは、それらが当該技術分野において知られているように完全畳み込み方式において提供されてもよいことを意味し、すなわち、完全接続層に関連付けられたパラメータのセットは、各出力ボクセルについて同じである。これは、ボクセルのブロック内の各出力ボクセルが並列に訓練と推定の両方をされることにつながり得る。完全接続層のそのような構成は、(ブロック全体に関して完全に密に接続された層と比較して)ネットワークに必要なパラメータの量を減らし、同時に、訓練時間と推論時間の両方を低減する(ボクセルのセットまたはブロックは、ちょうど単一の出力ボクセルの代わりに1つの経路において処理される)。
【０１２７】
3D CNN特徴層のセットは、それらの特定の入力から決定され得る最適に有用な情報を導出して渡すように(それらの学習可能なパラメータを介して)訓練されてもよく、完全接続層は、3つの以前の経路からの情報が最適な分類されたボクセル1012を提供するように組み合わされるべき方法を決定することになるパラメータを符号化する。その後、分類されたボクセルが画像空間1014において提示されてもよい。したがって、ニューラルネットワークの出力は、入力におけるボクセルの画像空間に対応する画像空間内の分類されたボクセルである。
【０１２８】
ここで、完全接続層の出力(最後の層)は、ボクセルごとに複数のアクティベーションを提供してもよい。そのようなボクセルアクティベーションは、ボクセルが複数のクラス、例えば、歯科構造クラス、例えば、個々の歯、顎部分、および/または神経構造のうちの1つに属する確率を定義する確率測度(予測)を表してもよい。各ボクセルについて、分類されたボクセルを取得するために、異なる歯科構造に関連付けられたボクセルアクティベーションがしきい値処理されてもよい。
【０１２９】
図11〜図13は、3D歯顎顔面構造を表す3D画像データスタック内の3D位置特徴を決定する方法と、そのような位置特徴の例とを示す。具体的には、手動で設計された特徴の場合、図7を参照して説明したように、ネットワークがオーバーフィッティングのリスクなしにボクセルを正確に分類することができるように、3D画像データスタックと関連する3D位置特徴の両方が深層ニューラルネットワークへの入力として提供される。一実施形態において、この情報は、追加の画像チャネルにおいて3D画像データに追加されてもよい。代替実施形態において、この情報は、そのような3D深層ニューラルネットワークの別個の入力に提示されてもよい。実世界の寸法に基づく変換は、入力画像の解像度に関係なく、同等の入力を保証する。手動で設計された位置特徴が、画像ボリューム内の基準面または基準オブジェクトに対する画像ボリューム内のボクセルの位置に関する情報を3D深層ニューラルネットワークに提供してもよい。例えば、一実施形態において、基準面は、上顎に関連付けられたボクセルと下顎に関連付けられたボクセルとを分離する画像ボリューム内のアキシャル面であってもよい。別の実施形態において、基準オブジェクトは、歯顎顔面構造の3D画像データ内の歯の歯列弓の少なくとも一部を近似する曲線、例えば、3D曲線を含んでもよい。このようにして、位置特徴は、第1の深層ニューラルネットワークに、画像ボリューム内の異なる位置におけるボクセル関連の顎、歯、および/または神経組織ごとの可能性を示す抽象化を符号化する手段を提供する。これらの位置特徴は、深層ニューラルネットワークが3D画像データスタックのボクセルを効率的かつ正確に分類するのを助ける可能性があり、オーバーフィッティングのリスクを低減するように設計される。
【０１３０】
分類プロセスにおいて有用である画像ボリューム内の基準面および/または基準オブジェクトを決定するために、特徴分析機能は、所定の強度値の、または所定の強度値よりも上もしくは下のボクセルを決定してもよい。例えば、明るい強度値に関連付けられたボクセルが、歯および/または顎組織に関連してもよい。このようにして、画像ボリューム内の歯および/または顎の位置ならびに配向(例えば、回転角)に関する情報がコンピュータによって決定されてもよい。特徴分析機能が、回転角が所定の量よりも大きい(例えば、15度よりも大きい)と判定した場合、機能は、正確な結果にとってより有益であるので、回転角をゼロに修正してもよい。
【０１３１】
図11は、3D画像データ1104、例えば、3D CT画像データスタック内の手動で設計された3D位置特徴を決定する方法のフロー図1102の例を示す。このプロセスは、歯顎顔面構造の1つまたは複数の3D位置特徴を決定することを含んでもよく、1つまたは複数の3D位置特徴は、(上記で図10Bを参照して論じたように)深層ニューラルネットワークの特定の経路への入力のために構成される。手動で設計された3D位置特徴は、画像ボリューム内の基準面または基準オブジェクトに対する画像ボリューム内のボクセルの位置情報、例えば、画像ボリューム内のボクセルと、上顎を下顎から分離する画像ボリューム内の基準面との間の距離、例えば、垂直距離を定義する。それはまた、画像ボリューム内のボクセルと画像ボリューム内の歯科基準オブジェクト、例えば、歯列弓との間の距離を定義してもよい。それは、画像ボリュームの第2の基準面における累積強度値の位置をさらに定義してもよく、第2の基準面内の点における累積強度値は、基準面内の点を通る法線上またはその近傍におけるボクセルの累積強度値を含む。3D位置特徴の例について以下で説明する。
【０１３２】
歯顎顔面構造の3D画像データ内の歯列弓の位置情報を提供する基準オブジェクトを決定するため。異なる(累積)強度値の点群内の所定の点をフィッティングする曲線、例えば、多項式に従う曲線を決定するために、フィッティングアルゴリズムが使用されてもよい。
【０１３３】
一実施形態において、画像ボリュームのアキシャル面(xy平面)内の強度値の点群が決定されてもよい。アキシャル面内の点を通る法線上に位置するボクセルのボクセル値を合計することによって、そのようなアキシャル面内の点の累積強度値が決定されてもよい。このようにして得られたアキシャル面内の強度値は、歯の歯列弓を近似する曲線を見つけるために使用されてもよい。
【０１３４】
手動で設計された3D位置特徴の決定において使用するための基準オブジェクトの例、この場合にはそのような歯列弓を近似する曲線が図12において提供される。この例において、アキシャル(xy)面における点群は、高い強度値の領域(明るい白い領域)が歯または顎構造の領域を示す可能性があることを示す。歯列弓曲線を決定するために、コンピュータは、歯ボクセルまたは顎ボクセルとして識別され得る明るいボクセル(例えば、所定のしきい値を超える強度値を有するボクセル)に関連付けられた画像ボリュームのアキシャル面内の領域を決定してもよい。高強度のこれらの領域は、歯顎顔面弓を近似する明るい領域の三日月形の配置を決定するために使用されてもよい。このようにして、それぞれ上顎および下顎の歯顎顔面弓の平均を近似する歯列弓曲線が決定されてもよい。別の実施形態において、上顎および下顎に関連付けられた別々の歯列弓曲線が決定されてもよい。
【０１３５】
異なる特徴が曲線に基づいて定義されてもよい(または、図13A〜図13Dは、本発明の様々な実施形態による3D画像データの位置特徴の例を示す)。
【０１３６】
図13Aは、(左)3D画像データスタックのサジタル面のスライスの画像と、(右)同じスライスのいわゆる高さ特徴の関連する視覚化とを示す。そのような高さ特徴は、基準面1302に対する3D CT画像データスタックの画像ボリューム内の各ボクセルのz位置(高さ1304)を符号化してもよい。基準面(例えば、アキシャルまたはxy平面)は、上顎と下顎の両方およびそれらの構成要素の歯までの距離がほぼ等しいxy平面(の最良の近似)であるように決定される。
【０１３７】
3D画像データスタックのxy空間における空間情報を符号化するために、他の3D位置特徴が定義されてもよい。一実施形態において、そのような位置特徴は、そのような位置特徴は、歯列弓(の一部)を近似する曲線に基づいてもよい。そのような位置特徴が、(右左)3D画像データスタックからのスライスと(右)同じスライスに関するいわゆる移動特徴の視覚化とを示す図13Bにおいて示されている。この移動特徴は、歯列弓を近似する曲線1306に基づき、曲線に沿って測定された相対距離1308を定義する。ここで、ゼロ距離が、2次多項式の導関数が(ほぼ)ゼロである曲線上の点1310として定義されてもよい。移動距離は、この点(例えば、導関数がゼロである点)からx軸上をいずれかの方向に移動すると増加する。
【０１３８】
歯列弓曲線に基づくさらなる3D位置特徴が、画像ボリューム内の各ボクセルの歯列弓曲線1306までの最短(垂直)距離を定義してもよい。したがって、この位置特徴は、「距離特徴」と呼ばれる場合がある。そのような特徴の例が、(左)3D画像データスタックからのスライスと(右)同じスライスに関する距離特徴の視覚化とを示す図13Cにおいて提供されている。この特徴について、ゼロ距離は、ボクセルが歯列弓曲線1308上に位置することを意味する。
【０１３９】
さらなる3D位置特徴が、個々の歯の位置情報を定義してもよい。そのような特徴(歯科特徴と呼ばれる場合もある)の一例が、(左)3D画像データスタックからのスライスと(右)同じスライスの歯科特徴の視覚化とを示す図13Dにおいて提供されている。歯科特徴は、ボクセル空間内の特定の位置における特定の歯のボクセルを見つける可能性を決定するために使用されるべき情報を提供してもよい。この特徴は、1302などの決定された基準面に従って、任意の平面(例えば、xy平面または任意の他の平面)に対する法線上のボクセルの個別の合計を符号化してもよい。したがって、この情報は、平面法線にわたって合計された元の空間からのすべての情報の「ビュー」をニューラルネットワークに提供する。このビューは、この特徴を除外した場合に処理されるよりも大きく、(xy平面について13121、2に示すように)空間の選択された方向におけるすべての情報に基づいて、硬い構造が存在するかどうかを識別する手段を提供してもよい。
【０１４０】
したがって、図11〜図13は、3D位置特徴が、ボクセルを分類するように訓練された深層ニューラルネットワークの入力に提供されるボクセル表現のボクセルに関する情報を定義することを示す。情報は、ボクセル表現から利用可能なすべての(または本質的な部分)情報から集約されてもよく、集約中、歯科基準オブジェクトに対するボクセルの位置が考慮されてもよい。さらに、情報は、第1のボクセル表現内のボクセルの位置ごとに処理され得るように集約される。
【０１４１】
図14A〜図14Dは、本発明の一実施形態による訓練された深層学習ニューラルネットワークの出力の例を示す。具体的には、図14A〜図14Dは、図8を参照して説明した訓練方法を使用して訓練された深層学習ニューラルネットワークを使用して分類されたボクセルの3D画像を示す。図14Aは、深層学習ニューラルネットワークが、個々の歯、個々の顎、および神経組織として分類したボクセルの3Dコンピュータレンダー(レンダリング)を示す。ボクセルは、ニューラルネットワークによって、図14Bの個々の歯構造、図14Cの個々の顎、または図14Dの神経構造に属するボクセルにおいて分類される。深層ニューラルネットワークから結果として得られる構造の個々のボクセル表現が、図中でそのようにマークされている。例えば、図14Bは、出力され、ここではそれらのFDI歯ラベルインデックスでラベル付けされた個々の歯構造を示す(象限4のインデックスラベル4xは、図の明確さのために省略されている)。図14B〜図14Dによって示されるように、分類プロセスは、正確であるが、見逃された、または誤って分類された相当な数のボクセルがまだ存在する。例えば、FDI歯インデックスラベル37として分類されたボクセルは、実世界の歯構造を正確に表していない構造拡張1402を含む。同様に、FDI歯インデックスラベル38として分類されたボクセルは、表面欠陥1404をもたらす。受信された3D画像データセット内に部分的にしか存在しないにもかかわらず、ネットワークがこの歯に関するボクセルの大多数を分類していることに留意されたい。図14Dに示すように、このそのような問題は、実世界の神経において存在する部分1406を欠いている分類された神経ボクセルでさらに顕著になる可能性がある。
【０１４２】
(第1の深層学習ニューラルネットワークの出力を形成する)分類されたボクセルにおける外れ値の問題に対処するために、ボクセルは、後処理されてもよい。図15は、本発明の一実施形態による、3D歯顎顔面構造の分類されたボクセルを後処理するフロー図を示す。具体的には、図15は、本出願の図7〜図14を参照して説明したように、深層学習ニューラルネットワークを使用して分類された歯顎顔面構造のボクセルデータを後処理するフロー図を示す。
【０１４３】
図15に示すように、プロセスは、3D歯顎顔面構造の分類されたボクセルデータ1502を、個々の顎ボクセル1504、個々の歯ボクセル1506、および神経データ1508として分類されたボクセルであるボクセルに分割するステップを含んでもよい。以下でより詳細に説明するように、顎ボクセルおよび歯ボクセルは、さらなる第2の深層学習ニューラルネットワーク1510を使用して後処理されてもよい。画像データに基づいて最良の可能なボクセル分類を生成する(入力として少なくとも歯顎顔面構造の3D CT画像データスタックを使用する)第1の深層学習ニューラルネットワークとは対照的に、第2の「後処理」深層学習ニューラルネットワークは、出力が所望の3D構造により厳密に一致するように、第1の深層学習ニューラルネットワークの出力の一部をボクセルに変換する。
【０１４４】
後処理深層学習ニューラルネットワークは、分類された歯と顎(部分)の両方の表現を符号化する。後処理深層学習ニューラルネットワークの訓練中、ニューラルネットワークのパラメータは、第1の深層学習ニューラルネットワークの出力がこれらの歯顎顔面構造の最も実現可能な3D表現に変換されるように訓練される。このようにして、分類されたボクセルにおける欠陥が再構築され得る(1512)。加えて、3D構造の表面は、最良の実現可能な3D表現が生成され得るように平滑化されてもよい(1514)。一実施形態において、後処理ニューラルネットワークのための情報源であることから3D CT画像データスタックを除外することは、この後処理ステップを画像スタック内の望ましくない変動に対して堅牢にする。
【０１４５】
(CB)CT画像の性質により、第1の深層学習ニューラルネットワークの出力は、患者の動き、ビーム硬化などによる平均化などの(前に記載した)潜在的なアーティファクトの影響を受ける。ノイズの別のソースは、様々なCTスキャナによってキャプチャされた画像データにおける変動である。この変動は、画像スタック内のノイズの変動する量、同じ(実世界の)密度を表す変動するボクセル強度値、および潜在的な他のものなどの、様々な要因が導入される結果をもたらす。上記のアーティファクトおよびノイズソースが第1の深層学習ニューラルネットワークの出力に与える影響は、後処理深層学習ニューラルネットワークによって除去、または少なくとも大幅に低減され得、セグメント化された顎ボクセルとセグメント化された歯ボクセルとをもたらす。
【０１４６】
分類された神経データ1508は、顎および歯データとは別々に後処理されてもよい。CT画像データスタック内の細長いフィラメント構造を表す神経データの性質は、このデータを、深層学習ニューラルネットワークによる後処理にあまり適していないようにする。代わりに、分類された神経データは、セグメント化された神経データを生成するために補間アルゴリズムを使用して後処理される(1516)。その目的のため、神経ボクセルとして分類され、高い確率(例えば、95%以上の確率)に関連付けられているボクセルは、神経構造の3Dモデルを構築するためにフィッティングアルゴリズムによって使用される。その後、3Dの顎、歯、および神経のデータセット1518は、歯顎顔面構造のそれぞれの3Dモデルに処理されてもよい。
【０１４７】
図16は、本発明の一実施形態による、3D歯顎顔面構造の分類されたボクセルを後処理するために構成された深層学習ニューラルネットワークのアーキテクチャの例を示す。後処理深層学習ニューラルネットワークは、ターゲットの解像度において入力データ(この場合、分類されたボクセルデータの一部)を処理するように構成された3D CNN特徴層の第1のセット1604によって形成された第1の経路を含む、第1の深層学習ニューラルネットワークと同様のアーキテクチャを有してもよい。深層学習ニューラルネットワークは、第1の3D CNN特徴層によってターゲットよりも低い解像度において処理される入力データのコンテキストを処理するように構成された3D CNN特徴層の第2のセット1606をさらに含む。第1および第2の3D CNN特徴層の出力は、次いで、分類されたボクセルデータを3D歯顎顔面構造の3Dモデルを厳密に表すように再構築するために、完全接続3D CNN層のセット1608の入力に供給される。完全接続3D CNN層の出力は、再構築されたボクセルデータを提供する。
【０１４８】
後処理ニューラルネットワークは、同じ所望の出力を表す第1の深層学習ニューラルネットワークと同じターゲットを使用して訓練されてもよい。訓練中、ネットワークは、規則化されるべき例外的な場合を表すために入力にノイズを提供することによって、可能な限り広く適用可能にされる。後処理深層学習ニューラルネットワークの性質に固有で、それを処理することは、受信されたボクセルデータからの実行不可能な態様の除去も結果としてもたらす。ここでの要因は、所望の歯顎顔面構造の平滑化および充填と、実行不可能なボクセルデータの完全な除去とを含む。
【０１４９】
図17Aおよび図17Bは、本発明の一実施形態による、分類されたボクセルのボリューム再構築および補間をもたらす処理を示す。具体的には、図17Aは、歯構造および神経構造の分類されたボクセルの写真を示し、ボクセルは、第1の深層学習ニューラルネットワークの出力である。図に示すように、入力データ内のノイズおよび他のアーティファクトが、ボクセル分類において不規則性とアーティファクトとをもたらし、したがって、歯構造を表すボクセルのセットにおいてギャップを含む3D表面構造をもたらす。これらの不規則性およびアーティファクトは、図14Bおよび図14Dに関しても示されるように、歯の下歯槽神経構造および歯根構造において特に明らかである。
【０１５０】
図17Bは、図15および図16を参照して説明したプロセスによる後処理の結果を示す。この図に示すように、後処理深層学習ニューラルネットワークは、入力データ(分類されたボクセル)において存在していたアーティファクトを正常に除去する。後処理ステップは、個々の歯構造の正確な3Dモデルを提供するここでは平滑な構造を示す歯の歯根構造1702などの、不規則性およびアーティファクトによって実質的に影響を受けていた部分を正常に再構築する。神経構造1704の3Dモデルを構築するために、高確率の神経ボクセル(例えば、95%以上の可能性)がフィッティングアルゴリズムによって使用されてもよい。また、図14Bに関して示されるように、FDI歯インデックスラベル37および38に関する欠陥が同様に1706で修正されていることにも留意されたい。
【０１５１】
図18は、本発明の一実施形態による分散型コンピュータシステムの概略図を示す。分散型コンピュータシステムは、本出願において説明するように、訓練された3D深層学習プロセッサに基づいて3Dデータを処理し、処理された3Dデータをレンダリングするように構成されてもよい。図18に示すように、3Dデータ歯顎顔面構造を個々の3D歯モデルにセグメント化し、歯タイプにおいて歯モデルを分類するための訓練された3D深層学習プロセッサは、ネットワーク内の1つまたは複数のサーバ1802と、複数の端末18101〜3、好ましくはモバイル端末、例えば、デスクトップコンピュータ、ラップトップ、電子タブレットなどとを備える分散型システムの一部であってもよい。(訓練された)3D深層学習プロセッサは、サーバアプリケーション1804、1806として実装されてもよい。さらに、端末上で実行されるクライアントアプリケーション(クライアントデバイス)18121〜3は、ユーザがシステムと対話することを可能にするユーザインターフェースと、クライアントデバイスが1つまたは複数のネットワーク1808、例えば、インターネットを介してサーバアプリケーションと通信することを可能にするネットワークインターフェースとを含んでもよい。クライアントデバイスは、入力データ、例えば、歯列または歯列を形成する個々の3D歯モデルを含む歯顎顔面構造を表す3D(CB)CTデータを受信するように構成されてもよい。クライアントデバイスは、本明細書で説明する方法およびシステムに基づいてデータを処理(前処理、セグメント化、分類、および/または処理)してもよいサーバアプリケーションにデータを送信してもよい。処理されたデータ、例えば、類型化された(ラベル付けされた)歯の3D画像データは、クライアントデバイスに返送されてもよく、クライアントデバイスに関連付けられたレンダリングエンジン18141〜3は、例えば、歯科カルテなどの形態において3D歯モデルとラベリング情報とをレンダリングするために、個々のラベル付けされた3D歯モデルの処理された3D画像データセットを使用してもよい。他の実施形態において、一部またはデータ処理は、クライアント側において実行されてもよい。例えば、本開示において説明する前処理および/または後処理は、クライアントデバイスによって実行されてもよい。
さらなる実施形態において、分散型コンピュータシステムの代わりに、本出願において説明する前処理、後処理、および分類処理を実行するために、中央コンピュータシステムが使用されてもよい。
【０１５２】
したがって、図18によって示すように、本発明は、3D歯モデルの分類法のための完全に自動化されたパイプラインを提供する。ユーザは、歯列または歯列を含む歯顎顔面構造を表すボクセルを含む3D画像データ、例えば、(CB)CT3Dデータをシステムの入力に提供してもよく、それに応答して、システムは、個別にラベル付けされた3D歯オブジェクトを生成し、これらの3D歯オブジェクトは、様々なグラフィカルフォーマット、例えば、3Dレンダリングとして、または表示された画像スライスにおけるマークアップとしてユーザに提示され得る。入力データは、3D深層ニューラルネットワークプロセッサがいかなる人間の介入もなしに(CB)CT3D画像データを正確に処理することができるように、3D深層ニューラルネットワークへの入力用に自動的に最適化される。さらに、本発明は、3D深層ニューラルネットワークプロセッサによって生成された出力、すなわち、歯列の個別にラベル付けされた歯の3Dレンダリングを可能にする。そのような視覚情報は、歯科治療および歯科報告、歯科矯正、下顎矯正術、法医学、生体測定などにおける最先端の歯科用途に不可欠である。
【０１５３】
図19は、個々の歯を分類する深層ニューラルネットワークによって歯の3D画像データセットに適用されたラベルと、後処理から結果として得られた歯列に適用されたラベルとを含む、図7を参照して説明したシステムから結果として得られた処理済みの歯のセットの例を示す。具体的には、図19は、歯ごとに、ダッシュ記号の前(例えば、1902)に、図5を参照して説明した訓練方法を使用して訓練された深層学習ニューラルネットワークを使用する分類から結果として生じるような個々の歯に関する3Dデータセットに関する最高のアクティベーション値を有するラベルを示す。加えて、図19は、歯ごとに、ダッシュ記号の後(例えば、1904)に、図6を参照して説明した後処理の後の解決された候補状態における個々の歯に割り当てられたラベルを示す。個々の歯の深層学習ネットワークから結果として生じた最も高いアクティベーションを有するラベルのみを考慮した場合、赤色(例えば、1906)で示されている分類ラベルは、誤って分類される。これらは、例えば、不十分に訓練された深層学習ネットワーク、または入力データ内の例外のために誤って分類される場合がある。この例において、1904などのラベルは、一意のラベルが割り当てられている個々の歯を表すすべての3Dデータセットの条件を満たしながら、最も高い割り当てられたアクティベーションを最適化した、後処理を利用した歯列の分類法の結果を示す。
【０１５４】
図20Aおよび図20Bは、本発明の一実施形態による、コンピュータシステムによって生成されたラベル付けされた3D歯モデルを含むレンダリングされた歯列を示す。これらのレンダリングされた歯列は、例えば、図18Aおよび図18Bを参照して説明したように分散型コンピュータシステムによって生成されてもよい。図20Aは、個別にラベル付けされた3D歯モデル2002を含む第1のレンダリングされた歯列20001を示し、個々の3D歯モデルは、(図7〜図17を参照して説明したように)コンピュータシステムの入力に供給されたCBCT3Dデータスタックに基づいて生成されてもよい。図18を参照して説明したように、コンピュータシステムは、例えば、3D表面メッシュの形態において、個別に識別された3D歯モデルを生成するように構成された3D深層学習プロセッサを含んでもよく、3D歯モデルは、(例えば、図3を参照して説明したように)3D歯モデルを分類(ラベル付け)するための分類法プロセスを実行するように構成されたプロセッサの入力に供給されてもよい。
【０１５５】
このコンピュータシステムの訓練された3D深層ニューラルネットワークプロセッサは、例えば、成人の32本の可能な歯を含む電子歯科カルテ2006において使用され得る適用可能な歯タイプに歯列の3D歯データを分類してもよい。図に示すように、そのような歯科カルテは、上顎歯列弓20081に従って空間的に配置された歯の上部セットと、下顎歯列弓20082に従って空間的に配置された歯の下部セットとを含んでもよい。分類法プロセスの後、ボクセル表現から導出された3D歯モデルの各々は、歯タイプでラベル付けされ、歯科マップ内の位置に関連付けられてもよい。例えば、自動分類法プロセスは、(タイプ21の歯20101として歯科カルテにおいて識別される)左上中切歯として第1の3D歯オブジェクト20041を識別し、(タイプ23の歯20102として歯科カルテにおいて識別される)犬歯として第2の3D歯オブジェクト20042を識別してもよい。
【０１５６】
3Dデータセットのすべての個々の3D歯モデルを類型化すると、コンピュータは、いくつかの歯が欠けている(例えば、上顎左第3臼歯および上顎右第3臼歯ならびに下顎左第3臼歯)と判定してもよい。加えて、歯顎顔面構造を表す3D入力データのスライス、例えば、アキシャル面のスライス2012およびサジタル面のスライス2016がレンダリングされてもよい。プロセスは、3D入力データのボクセルを歯顎顔面構造の様々な部分(例えば、個々の顎部分、個々の歯、または個々の神経)に分類することを含むので、コンピュータは、3Dデータスタック内のどのボクセルが個々の歯に属するかを認識する。このようにして、コンピュータは、スライス内のピクセルが容易に選択され、強調表示され(例えば、強調表示されたピクセル20141、2および2018)および/または非表示にされ得るように、1つまたは複数の3D歯オブジェクト20041、2をこれらのピクセルに直接関連付けることができる。図20Bは、図20Aと同様のラベル付けされた3D歯オブジェクト2022を含むレンダリングされた歯列20002を示す。個々の3D歯モデル20241、2は、位置および歯タイプに関する視覚的情報と、分類された3D歯モデルの、および歯タイプ20301、2に関するラベル付けされたモデルを表示/非表示にする能力とを提供する歯科カルテ2026および/またはスライス2032、2036を使用してラベル付けされてもよい。例えば、図20Bに示すように、システムは、歯タイプ22の20302の選択を可能にし、歯列の3Dレンダーにおける関連する3D歯モデルを非表示にしてもよい。
【０１５７】
図21は、本開示において説明する例示的なデータ処理システムを示すブロック図である。データ処理システム2100は、システムバス2106を介してメモリ要素2104に結合された少なくとも1つのプロセッサ2102を含んでもよい。そのため、データ処理システムは、メモリ要素2104内にプログラムコードを記憶してもよい。さらに、プロセッサ2102は、システムバス2106を介してメモリ要素2104からアクセスされるプログラムコードを実行してもよい。一態様において、データ処理システムは、プログラムコードを記憶および/または実行するのに適したコンピュータとして実装されてもよい。しかしながら、データ処理システム2100は、本明細書で説明する機能を実行することができるプロセッサとメモリとを含む任意のシステムの形態において実装されてもよいことが理解されるべきである。
【０１５８】
メモリ要素2104は、例えば、ローカルメモリ2108および1つまたは複数の大容量記憶デバイス2110などの1つまたは複数の物理メモリデバイスを含んでもよい。ローカルメモリは、プログラムコードの実際の実行中に一般的に使用されるランダムアクセスメモリまたは他の非永続的なメモリデバイスを指す場合がある。大容量記憶デバイスは、ハードドライブまたは他の永続的なデータ記憶デバイスとして実装されてもよい。処理システム2100は、実行中にプログラムコードが大容量記憶デバイス2110から取り出されなければならない回数を減らすために、少なくともいくつかのプログラムコードの一時的な記憶を提供する1つまたは複数のキャッシュメモリ(図示せず)も含んでもよい。
【０１５９】
入力デバイス2112および出力デバイス2114として示されている入力/出力(I/O)デバイスは、オプションで、データ処理システムに結合されてもよい。入力デバイスの例は、限定はしないが、例えば、キーボード、マウスなどのポインティングデバイスなどを含んでもよい。出力デバイスの例は、限定はしないが、例えば、モニタまたはディスプレイ、スピーカなどを含んでもよい。入力デバイスおよび/または出力デバイスは、直接または介在するI/Oコントローラを介してデータ処理システムに結合されてもよい。データ処理システムが介在するプライベートネットワークまたはパブリックネットワークを介して他のシステム、コンピュータシステム、リモートネットワークデバイス、および/またはリモート記憶デバイスに結合されることを可能にするために、ネットワークアダプタ2116もデータ処理システムに結合されてもよい。ネットワークアダプタは、前記システム、デバイス、および/またはネットワークによって前記データに送信されるデータを受信するためのデータ受信機と、前記システム、デバイス、および/またはネットワークにデータを送信するためのデータ送信機とを備えてもよい。モデム、ケーブルモデム、およびイーサネットカードは、データ処理システム2100とともに使用され得る様々なタイプのネットワークアダプタの例である。
【０１６０】
図21に描かれているように、メモリ要素2104は、アプリケーション2118を記憶してもよい。データ処理システム2100は、アプリケーションの実行を容易にすることができるオペレーティングシステム(図示せず)をさらに実行してもよいことが理解されるべきである。実行可能なプログラムコードの形態において実装されているアプリケーションは、データ処理システム2100によって、例えば、プロセッサ2102によって実行され得る。アプリケーションを実行することに応答して、データ処理システムは、本明細書でさらに詳細に説明される1つまたは複数の動作を実行するように構成されてもよい。
【０１６１】
一態様において、例えば、データ処理システム2100は、クライアントデータ処理システムを表してもよい。その場合、アプリケーション2118は、実行されると、「クライアント」を参照して本明細書で説明した様々な機能を実行するようにデータ処理システム2100を構成するクライアントアプリケーションを表してもよい。クライアントの例は、限定はしないが、パーソナルコンピュータ、ポータブルコンピュータ、携帯電話などを含むことができる。
【０１６２】
別の態様において、データ処理システムは、サーバを表してもよい。例えば、データ処理システムは、(HTTP)サーバを表してもよく、その場合、アプリケーション2118は、実行されると、(HTTP)サーバ動作を実行するようにデータ処理システムを構成してもよい。別の態様において、データ処理システムは、本明細書において言及されるモジュール、ユニット、または機能を表してもよい。
【０１６３】
本明細書で使用される用語は、特定の実施形態を説明することのみを目的とし、本発明の限定であることを意図するものではない。本明細書で使用される単数形「a」、「an」、および「the」は、文脈がそうでないことを明確に示さない限り、複数形も同様に含むことを意図している。「備える」および/または「備えている」という用語は、本明細書で使用される場合、述べられた特徴、整数、ステップ、動作、要素、および/または構成要素の存在を指定するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および/またはそれらのグループの存在または追加を排除しないことがさらに理解されよう。
【０１６４】
以下の特許請求の範囲におけるすべてのミーンズプラスファンクションまたはステッププラスファンクション(means or step plus function)要素の対応する構造、材料、行為、および均等物は、具体的に特許請求される他の特許請求された要素と組み合わせて機能を実行するための任意の構造、材料、または行為を含むことが意図される。本発明の説明は、例示および説明の目的で提示されたが、網羅的であること、または開示された形態に限定されることを意図するものではない。本発明の範囲および要旨から逸脱することなく、多くの修正および変形が当業者には明らかであろう。実施形態は、本発明の原理および実際の用途を最もよく説明し、当業者が、企図される特定の使用に適した様々な修正を伴う様々な実施形態について本発明を理解することを可能にするために選択され、説明された。
【符号の説明】
【０１６５】
100  コンピュータシステム
102  入力データ
104  歯の3D表現
106  3D深層ニューラルネットワークプロセッサ
108  プロセッサ
110  分類された歯のセット
206  ソース、CT 3D画像データ
208  コンピュータシステム、システム
210  関心ボリューム(VOI)
212  ソース、3D画像データ
214  3D画像データ、3D表面メッシュ
216  前処理、前処理ステップ
218  3Dボクセル表現、ボクセル表現
220  ラベル
222  3D深層ニューラルネットワーク
304  入力
306  リポジトリまたはデータベース、第1のリポジトリまたはデータベース
307  コンピュータシステム
308  関心ボリューム
310  リポジトリまたはデータベース、第2のリポジトリまたはデータベース
312  前処理
314  3D深層ニューラルネットワーク、深層ニューラルネットワーク、3D深層ニューラルネットワークプロセッサ
316  歯
318  歯列
319  コンピュータシステム
320  関心ボリューム
322  表面メッシュ
324  後処理ステップ
328  第1の訓練モジュール
330  分類モジュール
402  3D表面メッシュ
404  3Dボクセル表現
422  3D歯サンプル
424  点
426  点
428  3D歯サンプル
430  平面、x-y平面
431  重心
432  3D歯サンプル
434  回転
436  平面
438  3D歯サンプル
440  横軸、線
442  3D歯サンプル
444  負のx軸
446  3D歯サンプル
448  z-y平面
502  前処理された3D画像データ
504  3D畳み込み層
506  3D畳み込み層
508  3D畳み込み層
510  3D最大プーリング層
512  密結合層
514  最終または出力層、出力
516  ラベル
518  アクティベーション値
602  単一の歯列に関する個々の歯オブジェクト起源のセット
606  3Dデータセット
607  重心(COG)
608  予測値
612  候補歯列状態のプール
614  候補歯列状態
620  最終解
702  コンピュータシステム
704  3D画像データスタック
706  プリプロセッサ
708  特徴抽出器
710  位置特徴マッピング
712  3D深層学習ニューラルネットワーク
714  出力
716  プロセッサ
718  補間機能
720  3D深層学習ニューラルネットワーク
722  3D神経データ
724  顎の形状に関する3Dボリューム
726  歯の形状に関する3Dボリューム
728  3Dデータセットまたはモデル
730  3D訓練データ、訓練データ
732  3D表面メッシュ
734  ボクセル分類器
736  訓練のための高品質な分類されたボクセル
738  モジュール
802  歯顎顔面複合体
804  歯顎顔面構造のCT画像データスタック、画像スタック
806  光学スキャンからの3Dデータ
808  歯顎顔面構造の3D表面メッシュ
810  位置合わせ機能
812  3D位置特徴
814  分類されたボクセルデータ
816  深層ニューラルネットワーク
902  アキシャル面
904  前額面またはコロナル面
906  サジタル面
10011  画像ボリューム、ボクセルの第1のブロック
10012  ボクセルの第2のブロック
10031  第1の経路、第1の畳み込み経路
10032  第2の経路
1002  3D画像データ
1006  3D畳み込み層の第1のセット
1007  3D畳み込み層の第3のセット
1008  3D畳み込み層の第2のセット
1010  完全接続3D CNN層のセット
1012  3D CNN特徴層によって処理されたボクセル、分類されたボクセル
1014  画像空間
1102  フロー図
1104  3D画像データ
1302  基準面
1304  高さ
1306  歯列弓、歯列弓曲線
1308  相対距離、歯列弓曲線
1310  点
1402  構造拡張
1404  表面欠陥
1406  実世界の神経において存在する部分
1502  3D歯顎顔面構造の分類されたボクセルデータ
1504  顎ボクセル
1506  歯ボクセル
1508  神経データ
1510  第2の深層学習ニューラルネットワーク
1518  3Dの顎、歯、および神経のデータセット
1604  3D CNN特徴層の第1のセット
1606  3D CNN特徴層の第2のセット
1608  完全接続3D CNN層のセット
1702  歯根構造
1704  神経構造
1802  サーバ
1804  サーバアプリケーション
1806  サーバアプリケーション
1808  ネットワーク
18101〜3  端末
18121〜3  クライアントアプリケーション(クライアントデバイス)
18141〜3  レンダリングエンジン
1902  ダッシュ記号の前
1904  ダッシュ記号の後
1906  赤色
20001  第1のレンダリングされた歯列
20002  レンダリングされた歯列
2002  3D歯モデル
20041  第1の3D歯オブジェクト
20042  第2の3D歯オブジェクト
2006  電子歯科カルテ
20081  上顎歯列弓
20082  下顎歯列弓
20101  タイプ21の歯
20102  タイプ23の歯
2012  アキシャル面のスライス
20141、2  強調表示されたピクセル
2016  サジタル面のスライス
2018  強調表示されたピクセル
2022  3D歯オブジェクト
20241、2  3D歯モデル
2026  歯科カルテ
20301、2  歯タイプ
2032  スライス
2036  スライス
2100  データ処理システム、処理システム
2102  プロセッサ
2104  メモリ要素
2106  システムバス
2108  ローカルメモリ
2110  大容量記憶デバイス
2112  入力デバイス
2114  出力デバイス
2116  ネットワークアダプタ
2118  アプリケーション
【図１】
2020535897.tif 000003
【図２】
2020535897.tif 000004
【図３】
2020535897.tif 000005
【図４Ａ】
2020535897.tif 000006
【図４Ｂ】
2020535897.tif 000007
【図５】
2020535897.tif 000008
【図６】
2020535897.tif 000009
【図７】
2020535897.tif 000010
【図８】
2020535897.tif 000011
【図９Ａ】
2020535897.tif 000012
【図９Ｂ】
2020535897.tif 000013
【図１０Ａ】
2020535897.tif 000014
【図１０Ｂ】
2020535897.tif 000015
【図１１】
2020535897.tif 000016
【図１２】
2020535897.tif 000017
【図１３Ａ】
2020535897.tif 000018
【図１３Ｂ】
2020535897.tif 000019
【図１３Ｃ】
2020535897.tif 000020
【図１３Ｄ】
2020535897.tif 000021
【図１４Ａ】
2020535897.tif 000022
【図１４Ｂ】
2020535897.tif 000023
【図１４Ｃ】
2020535897.tif 000024
【図１４Ｄ】
2020535897.tif 000025
【図１５】
2020535897.tif 000026
【図１６】
2020535897.tif 000027
【図１７Ａ】
2020535897.tif 000028
【図１７Ｂ】
2020535897.tif 000029
【図１８】
2020535897.tif 000030
【図１９】
2020535897.tif 000031
【図２０Ａ】
2020535897.tif 000032
【図２０Ｂ】
2020535897.tif 000033
【図２１】
2020535897.tif 000034
【国際調査報告】
2020535897.tif 000035
2020535897.tif 000036
2020535897.tif 000037
2020535897.tif 000038
2020535897.tif 000039
2020535897.tif 000040
2020535897.tif 000041
2020535897.tif 000042