(57)【要約】ある実施形態において、患者の歯の上の矯正ブラケットを設置すべき位置を示すために、患者の口の没入型写真モデル上にマッピングされたビューポートに対してレンダリングされた画像上で医療専門家によって選択された場所を示す入力が、受信される。光線が、ビューポートの焦点から入力に基づいて決定された方向において延長される。３次元空間における光線の交点が、決定される。交点は、患者の歯の上の矯正ブラケットを設置すべき位置を示す。
2020527395.tif 000002
【特許請求の範囲】
【請求項１】
矯正ブラケットを位置付ける方法であって、前記方法は、
（ａ）医療専門家によって画像上で選択された場所を示す入力を受信することであって、前記場所は、患者の歯の上の矯正ブラケットを設置すべき位置を示し、前記画像は、患者の口の没入型写真モデル上にマッピングされたビューポートに対してレンダリングされている、ことと、
（ｂ）光線を前記ビューポートの焦点から前記入力に基づいて決定された方向で延長することと、
（ｃ）３次元空間における前記光線の交点を決定することと
を含み、
前記交点は、前記没入型写真モデルに対する前記矯正ブラケットを設置すべき前記位置を示し、それによって、前記決定するステップは、前記患者の歯の上の前記位置における前記矯正ブラケットの設置を可能にする、方法。
【請求項２】
前記患者の歯の上の前記矯正ブラケットの設置のために選択された前記場所を前記医療専門家に図示するために、マークを前記没入型写真モデル上に重ね合わせることをさらに含む、請求項１に記載の方法。
【請求項３】
前記マークは、前記矯正ブラケットの３次元モデルである、請求項２に記載の方法。
【請求項４】
１つ以上の画像において前記患者の歯の上に置かれているように見えるように前記矯正ブラケットの前記３次元モデルを位置付けることをさらに含み、前記１つ以上の画像は、前記没入型写真モデルの１つ以上のビューポートに対してレンダリングされている、請求項３に記載の方法。
【請求項５】
前記矯正ブラケットの前記３次元モデルを位置付けることは、シミュレートされたスペーサを前記没入型写真モデル上に重ね合わせることを含み、前記シミュレートされたスペーサは、前記矯正ブラケットの前記モデルと前記患者の歯との間に位置付けられている、請求項４に記載の方法。
【請求項６】
複数の異なるタイプの矯正ブラケットから前記矯正ブラケットを選択することをさらに含み、各タイプの矯正ブラケットは、異なる歯解剖学的構造のために設計されているか、または、異なる所望の矯正目標を達成するために設計されている、請求項３に記載の方法。
【請求項７】
歯科測定に基づいて、前記患者の歯の寸法に適合するように前記マークをスケーリングすることをさらに含む、請求項２に記載の方法。
【請求項８】
前記歯科測定は、
（ｉ）測定ツールからの測定読み取り値を含む画像を分析すること、
（ｉｉ）近傍の画像センサによって捕捉された画像の重複部分のサイズを分析すること、および、
（ｉｉｉ）前記交点と別のビューポートの別の焦点から延長された別の光線から決定される別の交点との間の３次元距離を計算することであって、前記他の光線は、別の入力に基づいて向けられている、こと
のうちの１つ以上によって決定される、請求項７に記載の方法。
【請求項９】
医療専門家が前記矯正ブラケットを設置しているとき、前記（ｃ）において決定された位置において患者の歯の画像上にマーキングを重ね合わせることにより、前記患者の歯の上に前記矯正ブラケットを設置することにおいて前記医療専門家を誘導することをさらに含む、請求項１に記載の方法。
【請求項１０】
医療専門家が前記矯正ブラケットを設置しているとき、口腔内カメラから前記画像を含むビデオを捕捉することをさらに含む、請求項９に記載の方法。
【請求項１１】
医療専門家が前記矯正ブラケットを設置しているとき、
前記医療専門家によって選定されたパースペクティブに対応する前記患者の口の没入型写真モデル上にマッピングされたビューポートを選択することと、
前記マーキングを重ね合わせた前記患者の歯の前記画像を前記ビューポートに対してレンダリングすることと
をさらに含む、請求項９に記載の方法。
【請求項１２】
医療専門家が前記矯正ブラケットを前記患者の歯の上に設置すると、前記患者の歯の評価画像を捕捉することと、
前記評価画像において、前記矯正ブラケットが位置している場所を決定することと、
前記矯正ブラケットの決定された場所を（ｃ）において示される前記患者の歯の上の前記矯正ブラケットを設置すべき前記位置と比較することと、
前記矯正ブラケットの決定された場所が（ｃ）において示される前記位置に対応していないと決定されるとき、前記医療専門家にアラートすることと
をさらに含む、請求項１に記載の方法。
【請求項１３】
別の画像上で前記医療専門家によって選択された別の場所を示す別の入力を受信することであって、前記別の場所は、前記患者の歯の上の前記矯正ブラケットを設置すべき位置を示し、前記他の画像は、前記患者の口の前記没入型写真モデル上にマッピングされた別のビューポートに対してレンダリングされている、ことと、
別の光線を前記他のビューポートの焦点から前記他の入力に基づいて決定された方向で延長することと
をさらに含み、
決定すること（ｃ）は、（ｂ）において延長された前記光線と前記他の光線との間の３次元空間における交点を決定することを含む、請求項１に記載の方法。
【請求項１４】
前記患者の歯の３次元モデルを前記没入型写真モデル上に重ね合わせることをさらに含み、前記決定すること（ｃ）は、前記光線と前記患者の歯の前記３次元モデルとの間の交点を決定することを含む、請求項１に記載の方法。
【請求項１５】
前記患者の口の内部の画像データを捕捉するためのデバイスによって捕捉されるデータから前記没入型写真モデルを生成することをさらに含み、
前記デバイスは、
複数のパススルー面を含む球体、または少なくとも部分的に前記患者の歯列弓を封入するように適合された歯科トレイであって、前記トレイは、複数のパススルー面を含む、球体または歯科トレイと、
複数の画像センサと
を備え、
前記複数の画像センサの各々は、前記複数のパススルー面におけるあるパススルー面を通して伝送される光を捕捉し、前記患者の口の写真画像を記録するために位置付けられている、請求項１に記載の方法。
【請求項１６】
矯正ブラケットを位置付けるためのシステムであって、前記システムは、
プロセッサと、
画像上で医療専門家によって選択された場所を示す入力を受信するように構成された画像ビューワモジュールであって、前記場所は、患者の歯の上の矯正ブラケットを設置すべき位置を示し、前記画像は、没入型写真モデル上にマッピングされたビューポートに対してレンダリングされている、画像ビューワモジュールと、
前記プロセッサ上で実装されたブラケット位置決めモジュールと
を備え、
前記ブラケット位置決めモジュールは、
（ｉ）光線を前記ビューポートの焦点から前記入力に基づいて決定された方向で延長することと、
（ｉｉ）３次元空間における前記光線の交点を決定することと
を行うように構成され、
前記交点は、前記患者の歯の上の前記矯正ブラケットを設置すべき位置を示す、システム。
【請求項１７】
前記画像ビューワモジュールは、マークを前記没入型ビュー写真モデル上に重ね合わせ、前記患者の歯の上の前記矯正ブラケットの設置のために選択された前記場所を前記医療専門家に図示するように構成されている、請求項１６に記載のシステム。
【請求項１８】
ブラケットレンダラモジュールをさらに備え、前記マークは、前記矯正ブラケットの３次元モデルであり、前記ブラケットレンダラモジュールは、前記矯正ブラケットの前記３次元モデルと重ね合わせられた前記没入型ビュー写真モデルの前記ビューポートに対して画像をレンダリングするように構成されている、請求項１７に記載のシステム。
【請求項１９】
前記ブラケット位置決めモジュールは、前記矯正ブラケットの前記３次元モデルと前記患者の歯の知覚された位置との間のスペーサのために前記矯正ブラケットの前記３次元モデルを位置付けるように構成されている、請求項１８に記載のシステム。
【請求項２０】
前記ブラケットレンダラモジュールは、表示のために前記スペーサをレンダリングするように構成されている、請求項１９に記載のシステム。
【請求項２１】
複数の異なるタイプの矯正ブラケットから前記矯正ブラケットを選択するように構成されたブラケット選択モジュールをさらに備え、各タイプの矯正ブラケットは、異なる歯解剖学的構造のために設計されているか、または、異なる所望の矯正目標を達成するために設計されている、請求項１９に記載のシステム。
【請求項２２】
前記ブラケット位置決めモジュールは、歯科測定に基づいて、前記患者の歯の寸法に適合するように前記マークをスケーリングするように構成されている、請求項１７に記載のシステム。
【請求項２３】
前記歯科測定は、
（ｉ）測定ツールからの測定読み取り値を含む画像を分析すること、
（ｉｉ）近傍の画像センサによって捕捉された画像の重複部分のサイズを分析すること、および、
（ｉｉｉ）前記交点と別のビューポートの別の焦点から延長された別の光線から決定される別の交点との間の３次元距離を計算することであって、前記他の光線は、別の入力に基づいて向けられている、こと
のうちの１つ以上によって決定されている、請求項２２に記載のシステム。
【請求項２４】
設置誘導モジュールをさらに備え、前記設置誘導モジュールは、前記医療専門家が前記矯正ブラケットを設置しているとき、前記ブラケット位置決めモジュールによって決定された前記位置を示すマーキングを前記患者の歯の画像上に重ね合わせることにより、前記患者の歯の上に前記矯正ブラケットを設置することにおいて前記医療専門家を誘導するように構成されている、請求項１７に記載のシステム。
【請求項２５】
前記患者の歯のビデオを捕捉するように構成されたビデオ捕捉モジュールをさらに備え、前記ビデオは、前記マーキングを重ね合わせるために使用される前記画像を含む、請求項２４に記載のシステム。
【請求項２６】
前記設置誘導モジュールは、前記医療専門家が前記矯正ブラケットを設置しているとき、前記医療専門家によって選定されたパースペクティブに対応する前記患者の口の前記没入型写真モデル上にマッピングされたビューポートを選択し、前記マーキングを重ね合わせた前記患者の歯の前記画像を前記ビューポートに対してレンダリングする、請求項２４に記載のシステム。
【請求項２７】
前記医療専門家が前記患者の歯の上に前記矯正ブラケットを設置すると、前記患者の歯の評価画像を捕捉するように構成された捕捉モジュールと、
評価モジュールと
をさらに備え、
前記評価モジュールは、
（ｉ）前記評価画像において、前記矯正ブラケットが位置している場所を決定することと、
（ｉｉ）前記矯正ブラケットの決定された場所を前記ブラケット位置決めモジュールによって決定された前記患者の歯の上の前記矯正ブラケットを設置すべき位置と比較することと、
（ｉｉｉ）前記矯正ブラケットの決定された場所が前記ブラケット位置決めモジュールによって決定された前記位置に対応していないと決定されるとき、前記医療専門家にアラートするためのメッセージを送信することと
を行うように構成されている、請求項１６に記載のシステム。
【請求項２８】
交換モジュールをさらに備え、前記交換モジュールは、前記矯正ブラケットが取り外され、前記患者の歯が移動した後、前記ビューポートをレンダリングするためのパースペクティブを選択するためのシフトを決定し、前記マーキングの位置が前記患者の歯の位置に対応するように前記歯の移動を補償することと、前記矯正ブラケットが前記患者の歯に対して同様の場所において交換されるように前記矯正ブラケットを設置することとを行うように構成されている、請求項１７に記載のシステム。
【請求項２９】
サーバであって、前記サーバは、
（ｉ）患者の口の内部の複数の写真、
（ｉｉ）前記複数の写真のそれぞれの写真に関する関連付けられた位置情報、および、
（ｉｉｉ）前記それぞれの写真に関する前記それぞれの写真が取得されたときに画像センサの視野に投影された光の方向を示す照明情報
を受信するように構成されている、サーバと、
歯科印象発生器と
を備え、
前記歯科印象発生器は、前記それぞれの写真に関して、前記それぞれの写真において、前記画像センサの視野内に現れる物体に関する影が位置する場所を決定することと、前記それぞれの写真に関する前記照明情報および前記影が位置すると決定される場所に基づいて、前記患者の口の内部の前記３次元モデルを決定することとを行うように構成され、
ブラケット位置決めモジュールが、前記光線と前記患者の口の内部の前記３次元モデルとの前記交点を決定するように構成されている、請求項１６に記載のシステム。
【請求項３０】
矯正ブラケットの設置を誘導するためのシステムであって、前記システムは、
プロセッサと、
前記矯正ブラケットを設置する手技中、患者の歯の写真画像を受信するように構成された捕捉モジュールと、
前記プロセッサ上で実行する設置モジュールと
を備え、前記設置モジュールは、
（ｉ）前記写真画像において、前記矯正ブラケットのための所望の場所を決定することであって、前記所望の場所は、医療専門家が没入型ビュー写真画像上で選択した３次元空間における場所である、ことと、
（ｉｉ）前記写真画像において前記決定された場所にマーキングをオーバレイすることと、
（ｉｉｉ）前記オーバレイされた写真画像を表示のために伝送し、前記矯正ブラケットの設置を誘導することと
を行うように構成されている、システム。
【請求項３１】
（ｄ）前記矯正ブラケットを前記示された位置において前記患者の歯の上に設置することをさらに含む、請求項１に記載の方法。
【請求項３２】
矯正ブラケットを位置付けるためのシステムであって、前記システムは、
（ａ）医療専門家によって画像上で選択された場所を示す入力を受信する手段であって、前記場所は、患者の歯の上の矯正ブラケットを設置すべき位置を示し、前記画像は、患者の口の没入型写真モデル上にマッピングされたビューポートに対してレンダリングされる、手段と、
（ｂ）光線を前記ビューポートの焦点から前記入力に基づいて決定された方向で延長する手段と、
（ｃ）３次元空間における前記光線の交点を決定する手段と
を備え、
前記交点は、前記没入型写真モデルに対して前記矯正ブラケットを設置すべき位置を示し、それによって、前記決定するステップは、前記患者の歯の上の前記位置における前記矯正ブラケットの設置を可能にする、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本分野は、概して、矯正ブラケットの設置に関する。
【背景技術】
【０００２】
（歯科デジタル３Ｄ走査）
歯科医学（歯列矯正学を含む）では、患者の口の３次元（３Ｄ）モデルを生成することを要求する複数の手技が存在する。現在、これらのモデルの多くは、物理的印象材料を使用して作成され、それらは、次いで、物理的石膏モデルを生成するために使用される。最近では、３Ｄモデル化のデジタル表現の作成に関する技術および製品が、出現しており、そのモデルは、一般的に、「デジタル印象」と呼ばれる。
【０００３】
デジタル印象は、患者の口内の表面、主に、３次元空間内の歯の合成表現である。そのようなモデルの標的は、概して、処理するコンピュータプログラムによる使用のためのものである。例えば、デジタル印象は、コンピュータが、患者の口内の欠落した歯の寸法を設計し、その後、補綴物を作成するためにこれを３Ｄ印刷するために使用され得る。または、例えば、医師が、歯の間の距離を測定するために、合成３Ｄモデルを使用することができ、達成される測定正確度は、モデルの正確度に匹敵し、それは、時として、患者の口で直接行われる測定の正確度を上回る。歯列矯正学の分野では、そのようなモデルは、診断プロセスを支援し、さらに、端部歯列弓形態を計算するために、保持具等の矯正具を設計および製作するために、および、ブラケット設置に関する決定を行うために使用されることができる。
【０００４】
３Ｄモデルは、患者の口のレンダリングを提示するためにも使用されることができる。写実的品質を達成するために、同じ歯の実際の画像が、テクスチャを抽出し、それを合成レンダリングに適用するために使用されることができる。
（没入型写真術）
【０００５】
３６０写真術または仮想現実（ＶＲ）とも称される没入型写真術は、主に、ＧｏｏｇｌｅのＹｏｕＴｕｂｅ（登録商標）への３６０ビデオの導入、またはＳｏｎｙのそのＰｌａｙＳｔａｔｉｏｎビデオゲームコンソールのためのＶＲゲーム等、エンターテイメント産業における種々の分野にますます適用されている。しかし、他の分野、例えば、ＥＳＰＮ  ３６０スポーツジャーナリズム、およびそのＳｕｒｒｏｕｎｄ  ３６０システムを公開することによって没入型コンテンツの作成を促進するＦａｃｅｂｏｏｋによる現代的な取り組みにも、ますます適用されている。
【０００６】
観察者は、没入型写真のある区分のみを観察していることもある。区分は、観察者によって選択される視点またはパースペクティブ（ｐｅｒｓｐｅｃｔｉｖｅ）に依存する。観察者は、人が自身の眼を使用し、自身の正面にあるものを見て、後方にあるものを観察するために振り向き得るように、異なる区分を観察するために別の視点を選択し得る。人は、そのような様式で周囲の世界を視認することに慣れているので、没入型写真術は、没入型写真が一連の２次元画像を縫い合わせることの結果であるという事実にもかかわらず、現実の外観を向上させ、それだけで３Ｄシーンの感覚を提供する。
【０００７】
没入型写真を捕捉するための１つの技法は、マルチカメラデバイスを使用することである。カメラは、それらが互いに対してある角度にあり、ある点の周囲のエリアに及ぶように位置付けられる。種々のカメラが、同期的に画像を捕捉し、その後、画像は、連続写真が達成されるように縫い合わせられる。没入型写真のパースペクティブを視認するために、ソフトウェアが、その点の周囲の回転角度の選択を可能にする。ソフトウェアは、選択された角度から見える写真の適切な区分を提示する。
【０００８】
没入型ビデオでは、パースペクティブは、ビデオが捕捉されている間のカメラの運動に対応する、運動中であり得る点の周囲で選択される。
（ステレオ写真術およびステレオ没入型写真術）
【０００９】
ステレオ写真は、実質的に同じ視覚コンテンツを有する２つの画像から成り、人の眼が前方のシーンを視認するように、実質的に同じ方向に向かって捕捉される。ステレオ写真を観察するために、視覚情報は、その後、それぞれの眼に分かれ、一方の画像は、人の右眼によって観察されるように意図され、他方の画像は、左眼によって観察されるように意図される。人間の脳は、画像を組み合わせ、深度を含む３次元シーンを提供する。
【００１０】
ステレオ写真およびビデオは、種々の分野において、例えば、エンターテイメント、いわゆる３Ｄムービーにおいて使用され、それは、視聴者がステレオビデオを視聴することを可能にしながら、提供された眼鏡が、視覚コンテンツを左眼および右眼によって視認されるように適切に分割する。いくつかのテレビジョンベンダは、３Ｄ−ＴＶを生産しており、いくつかは、例えば、視差バリア等の技法を使用することによって、眼鏡を要求することなく眼の各々に異なる画像を示す画面を生産することが可能である。
【００１１】
続けて、時として、３Ｄ  ３６０写真または３Ｄ  ３６０ビデオと称されるステレオ没入型写真術は、観察者が、観察されているシーンのパースペクティブを選択することを可能にする一方、各パースペクティブは、ステレオ写真にレンダリングされる。ステレオ没入型写真カメラは、概して、カメラの対を含み、したがって、没入型写真の対を生産する。対は、その後、視覚情報の両方の組を含む没入型ビューを生産するように縫い合わせられ、各組は、観察者の眼の各々のために意図される。
（矯正処置中のブラケット位置付け）
【００１２】
矯正処置の１つの目標は、歯列弓に沿った歯のアラインメントである。これは、魅力的かつ審美的な笑顔をもたらすことができ、良好に整列させられ、調整された歯は、患者の全体的な歯の健康を改良することができる。これを達成することは、歯の全ての側面を整列させることを伴う：歯の外面または唇面、内面または舌面、および、咬合面または切端面として公知の噛合面。見えないが、歯の根元も、整列させられる。
【００１３】
この矯正アラインメントは、歯を骨を通して移動させる生体適合性の力を加えるために、矯正ブラケットおよびアーチワイヤの組み合わせを使用して遂行されることができる。
【００１４】
医師は、矯正ブラケットを患者の歯列不正の歯に接合し、ブラケットに加えられる力が歯に伝達されるように、歯−ブラケットユニットを作成するであろう。その後、アーチワイヤまたは弾性材、もしくは他のそのような矯正補助具が、長い期間にわたって比較的に弱い矯正力をブラケットに加えるために使用される。ブラケットに挿入され、取り付けられる第１のアーチワイヤは、それらが歯列不正の歯に取り付けられたブラケットを通した経路を辿り得るように、極端に可撓性であり得る。
【００１５】
アーチワイヤは、形状記憶のコンポーネントを有することができる。すなわち、ワイヤの初期の平滑な湾曲形状から、歯列不正の歯ブラケットユニットに取り付けられると、ワイヤは、変形させられる。アーチワイヤは、その元々の平滑な湾曲形状に戻る傾向があるので、それは、歯ブラケットユニットを整列させるようにより近づくように移動させる。歯アラインメントが改良されるにつれて、より強く、より低い可撓性のアーチワイヤが、歯をそれらの最終アラインメントにより近づくように、徐々に利用される。
【００１６】
アーチワイヤは、種々の方向、すなわち、上下、内外、先端、トルク、および回転において歯に力を及ぼし得る。このプロセスを通して正確度を達成することは、技術的に困難であり得る。
【００１７】
このプロセスは、歯が標的歯列弓形状に沿って整列させられた状態になり、不正咬合が処置されるまで継続する。歯列弓形状は、それらの咬合面から視認されるとき、歯の頬側および顔面によって形成される弓形である。
【００１８】
アーチワイヤは、処置が達成することを目標とする歯列弓の形状を有するので、理論的には、ブラケットは、処置の開始時に一度接着され、アーチワイヤのみが交換されながら、処置全体を通して定位置に留まることができる。
【００１９】
ブラケットを取り付けるために、歯列矯正医は、処置の開始時、歯がまだ整列させられていないときにブラケットを各歯の上の正しい場所に接着し、したがって、処置の終了時、歯が整列させられた状態になると、完全なアーチワイヤが、それ以上力を及ぼさず、受動的に定位置に位置し、全ての歯は、歯列弓において整列させられている。
【００２０】
繰り返し可能かつ予測可能な成功を伴って矯正ブラケットを正確に接合することは、経験豊富な矯正歯科医のためにも困難なタスクである。矯正歯科医は、歯の上にブラケットを手動で設置するための設置ツールを把持するが、それは、達成される結果に本質的に不正確さを導入するプロセスである。例えば、矯正歯科医が、歯の縁から数ミリメートルにブラケットを位置付けるように試み得、手動位置付けプロセスにおける本質的な公差に起因して、達成される結果が、０．５ミリメートル外れる。したがって、時として、ブラケットは、オペレータ誤差または歯解剖学的構造の変動に起因して、正しい歯アラインメントを遂行するために、処置中に除去され、再位置付けされる必要性がある。
【００２１】
初期ブラケット設置の成功率を改良する試みにおいて、近年では、専門家サービスが、導入され、矯正歯科医に、患者にカスタマイズされた設置補助器具を提供している。１つのそのような補助器具は、ブラケットに取り付けられる「治具」の使用である。治具は、特定の患者の特定の歯のために設計され、それは、矯正歯科医が、ブラケットを正確な場所に接着することを可能にする。
【００２２】
そのような個人化治具を生産する１つの方法は、専門家が、特定の患者の歯の端部歯列弓形態をシミュレートすることを可能にするコンピュータ支援プロセスを使用することによる。シミュレートされた端部歯列弓形態上に設置されるアーチワイヤをシミュレートすることは、医師または歯科技工士が、患者のシミュレートされた歯の各々の上のブラケットの正しい設置の場所を精密に特定することを補助する。シミュレートされたアーチワイヤは、シミュレートされた歯が整列させられたとき、全てのシミュレートされたブラケットにおいて、力を及ぼすことなく受動的に位置する。ブラケットは、少なくとも理論的に、処置全体を通して歯の上の同じ位置に留まることが予期されるので、同じ正確なブラケット場所が、初期ブラケット位置として使用される。治具は、このブラケット位置を歯列不正の歯に移すために使用される。
【００２３】
いくつかの技法では、医師は、石膏モデルまたは口腔内デジタル印象（３Ｄ走査）のいずれかである患者の歯の３Ｄモデルを取得し、それを処置の設計のための専門家サービス、すなわち、患者の歯の上にブラケットを正確に設置するために使用されるであろう治具の製作を含む「設定」として公知のプロセスに送信する。頻繁に、３Ｄモデルまたは走査は、不完全である。そのような場合、追加の情報、例えば、患者の口の写真が、それらの不足を評価し、直すために使用される。
【００２４】
そのような自動化プロセスは、おそらく、１０分の１ミリメートルまたはそれを下回りさえする誤差の高度に正確な治具をもたらし得、したがって、治具が歯の上に正しく位置付けられ、ブラケットが治具に対して正確に取り付けられる場合、高い設置正確度が、達成され得る。それにもかかわらず、手動手技である歯の上に治具自体を位置付けることも、誤差を受けやすく、高い確実度で正確度を確実にすることが困難である。この問題を軽減するために、専門家サービスによって配列されたブラケットは、グループ分けして位置不良の歯に最初に接合され、個々のブラケット−治具ユニットよりも正確な治具設置をもたらすことができる。治具グループ分けに含まれる歯が多いほど、より広い接触面積が存在し、治具を精密に設置し、不適切なブラケット設置の可能性を低減させることに役立つ。
【００２５】
残念ながら、ブラケットを歯に取り付ける接合は、いくつもの理由から失敗し得、それらのうちの１つは、硬い食べ物または物体を噛むことからの過剰な力である。これは、患者の処置に悪影響を及ぼし、延長された処置時間、低減させられた処置効率、不良な歯アラインメント、または上記のうちのいずれかの組み合わせを引き起こし得る。カスタマイズされたブラケットを歯の上のその元々の位置において精密に交換することは、困難であり得る。多くの場合、元々の治具は、２つ以上の歯に適合されている場合、隣接する歯が、現在、元々の処置前の不正咬合と比較して異なる関係を有するので、もはや有用ではないであろう。医師は、失敗したブラケットを交換するために、または、単一ユニットの設置治具を使用するために、正しい位置を推定しなければならない。これは、治具に安定性を提供するための接触点がより少ないので、単一の歯の上に設置される単一ユニット治具の本質的な不安定性に起因して、予測可能とは言えない接合場所をもたらす。この理由から、治具は、初期設置中に有用であるが、長い処置中に取り外されるブラケットの交換のために殆ど有用ではない。
【００２６】
在庫または「既製」ブラケットは、医師の臨床的選好に応じて、歯に平均的位置を与えるように設計される。在庫ブラケットは、特定の患者にカスタマイズされておらず、実質的にあまり高価ではない。治具は、そのようなブラケットのために作成され得るが、カスタマイズされた治具の費用は、標準ワークフローによって提供されるより低い費用を無効にし得る。
【００２７】
そのようなブラケットの設置は、歯科解剖学的構造および咬合の深い理解、ならびに矯正処置の技術および科学の理解を要求する。医師が直面する類似する課題は、付随の治具が利用可能であるときでさえ、歯科補助具が初期ブラケット設置の任務を負わされるときである。治具を使用しながら正確な設置を達成するために、治具自体が、歯に正しく取り付けられなければならない。しかし、いくつかの歯、例えば、切歯の表面は、プラスチック製治具を所定の位置に係止するために必要な十分に特色ある解剖学的構造を有しておらず、治具を誤配置し、大きい誤差をブラケット設置に導入することを可能にし、治具を歯の咬合縁に取り付けることにおける小さい誤差は、歯に対して治具が有する角度の誤差になり、ブラケットの設置において、０．５ミリメートルまたはそれを上回りさえする大きさの大きい誤差をもたらし得る。他の問題が、歯科印象が生成される時間と、矯正具の接合が起こる以降の患者訪問の時間との間の数週間の期間中に、患者の歯、特に、より若い患者の臼歯の位置のシフトに起因して生じ得る。これは、治具が歯の現在の表面を反映しないので、治具が不正確になることを引き起こす。したがって、歯列矯正は、結果として生じる設置を評価する必要性があり得、多くの場合、不正確に設置されたブラケットを外し、再位置付けする必要があり、それによって、処置時間を延長し、実践効率を低減させるであろう。
【００２８】
矯正ブラケットが不正確な位置において歯の上に接合されている場合、矯正処置結果は、損なわれ得る。この状況では、医師は、所望の歯位置を達成するために、ブラケットを除去し、同じブラケットまたは新しいブラケットをより理想的な位置において交換するように選択し得る。多くの医師は、それを「再位置付け」と称する。苛立つ領域は、医師がブラケットを再位置付けし、次いで、新しく再位置付けされたブラケットが理想的ではない位置に留まっていることを認識するときである。
【００２９】
長い処置全体を通して矯正ブラケットをより正確かつ効率的に位置付ける方法およびシステムが、必要とされる。
【発明の概要】
【課題を解決するための手段】
【００３０】
ある実施形態では、患者の口の没入型写真モデルのパースペクティブを示す画像上で医療専門家によって選択された場所を示す入力が、受信され、選択された場所は、患者の歯の上の矯正ブラケットを設置すべき位置を示す。没入型写真モデルは、パースペクティブを選定するとき、中心点のみならず、中心点の周囲の角度も選択し、深度の感覚を提供することを可能にする。光線が、所望のパースペクティブを表すビューポートの焦点から、入力に基づいて決定された方向で延長される。３次元空間における２つ以上の光線の交点が、決定される。交点は、患者の歯の上の矯正ブラケットを設置すべき位置を示す。
【００３１】
システム、デバイス、およびコンピュータプログラム製品実施形態も、開示される。
【００３２】
本発明のさらなる実施形態、特徴、および利点、ならびに種々の実施形態の構造および動作が、付随の図面を参照して、下で詳細に説明される。
【図面の簡単な説明】
【００３３】
本明細書に組み込まれ、本明細書の一部を形成する付随の図面は、本開示を図示し、説明とともに、さらに、本開示の原理を解説し、当業者が、本開示を作製および使用することを可能にする役割を果たす。
【００３４】
【図１】図１Ａ−Ｂは、矯正ブラケットに関する所望の位置を決定するために、没入型ビュー写真画像に関するビューポート上での選択を使用することを図示する。
【００３５】
【図２】図２Ａ−Ｂは、没入型写真画像、およびそれをビューポートに対してレンダリングすることを図示する略図である。
【００３６】
【図３】図３は、口腔内没入型写真カメラを図示する略図である。
【００３７】
【図４】図４Ａ−Ｂは、口腔内場所における没入型写真の捕捉を図示する略図である。
【００３８】
【図５】図５は、口腔内没入型写真カメラのシステム図である。
【００３９】
【図６−１】図６Ａは、歯科トレイ撮像デバイスを図示する略図である。
【００４０】
【図６−２】図６Ｂ−Ｃは、歯科トレイ撮像デバイスの没入型写真画像、およびそれをビューポートに対してレンダリングすることを図示する略図である。
【００４１】
【図７】図７は、歯科トレイ撮像デバイスのシステム図である。
【００４２】
【図８】図８は、没入型ビューおよび歯科印象を生成し、生成された没入型ビューを使用して矯正ブラケットを設置すべき場所を決定し、矯正ブラケットの設置を誘導するために決定された場所を使用するためのシステムを図示する。
【００４３】
【図９】図９は、没入型ビューを使用して矯正ブラケットを設置する場所を決定するために、医師によって使用される端末を図示する。
【００４４】
【図１０】図１０は、没入型ビューを使用して矯正ブラケットを設置する場所を決定する方法を図示するフローチャートである。
【００４５】
【図１１Ａ】図１１Ａ−Ｂは、矯正ブラケットの設置を誘導するための室内システムを図示する。
【図１１Ｂ】図１１Ａ−Ｂは、矯正ブラケットの設置を誘導するための室内システムを図示する。
【００４６】
【図１２】図１２は、画像データから没入型ビューおよびデジタル印象を生成するためのシステムを図示する。
【００４７】
【図１３】図１３Ａ−Ｂは、口腔内環境の３次元モデルを決定するために影からの形状を使用することを図示する。
【発明を実施するための形態】
【００４８】
ある要素が最初に現れる図面は、典型的には、最左数字または対応する参照番号内の数字によって示される。図面では、同様の参照番号は、同じまたは機能的に類似する要素を示し得る。
【００４９】
本明細書は、矯正ブラケットの適切な設置を決定およびマーキングするための装置、システム、および方法を開示する。特に、矯正歯科医は、患者の口の没入型写真モデル上にマッピングされたビューポートに対してレンダリングされた画像上でシミュレートされたブラケットに関する設置を選択する。その後、別の医師が、決定された場所において、患者の口内に実際のブラケットを正しく設置するためのガイダンスとして、シミュレートされたブラケットと重ね合わせられた没入型ビューを観察し得る。
【００５０】
以下の詳細な説明は、４つの節に分割される。第１に、説明は、図１Ａ−Ｂおよび２Ａ−Ｂに関して、矯正ブラケットの設置が没入型写真を使用して決定され得る方法を解説する。第２に、没入型写真および歯科測定値を捕捉するために使用され得るデバイスが、図３−７に関して説明される。第３に、矯正ブラケットの設置を誘導するシステムおよび方法が、図８−１０および１１Ａ−Ｂに関して説明される。第４に、かつ最後に、画像データから没入型写真モデルおよびデジタル歯科印象を生成するシステムおよび方法が、図１２および１３Ａ−Ｂに関して説明される。
（Ｉ．矯正ブラケットの設置の決定）
【００５１】
図１Ａ−Ｂは、矯正ブラケットに関する所望の位置を決定するために、没入型ビュー写真画像に関するビューポート上での選択を使用することを図示する。図１Ａは、患者の口１０２の視覚知覚および没入型写真画像のビューポート１０４を図示する略図１００を図示する。患者の口１０２の視覚知覚は、観察者が、没入型写真を観察しながら、患者の歯を含む患者の口を知覚する方法である。没入型写真の参照は、モノバージョンおよびステレオバージョンの両方を含み得る。
【００５２】
ビューポート１０４内に図示される没入型写真画像の一部は、焦点１１２を有し得、それは、患者の口１０２の視覚知覚によって表される患者の歯に対する、没入型写真画像が取得された位置であり得る。代替として、焦点１１２を包囲するエリアから取得されたいくつかの画像が、それらが焦点１１２における単一の没入型カメラから取得されたかのように現れるように再構築され得る。ビューポート１０４は、現在表示されている没入型写真のパースペクティブを表し得る。専門矯正歯科医等のユーザは、ナビゲーション制御を入力し、ビューポート１０４を移動させ、没入型写真画像の異なるパースペクティブを表示し得る。
【００５３】
専門矯正歯科医および技術者は、複数の没入型写真画像間をナビゲートすることもあり、複数の没入型写真画像は、例えば、患者の歯が、異なる焦点を伴う多くの可能な角度から提示されることを可能にし得る。示されるように、図１Ｂは、あるいは別の没入型写真画像の別のビューポート１５１を図示する略図１５０を有する。ビューポート１５１内に図示される没入型写真画像は、焦点１５２によって表される異なる場所において取得された。
【００５４】
したがって、異なるビューポート間を切り替えることによって、専門矯正歯科医は、傾斜および寸法等の歯科表面形状の理解を得ることができる。ビューが、患者の口内で捕捉された実際の画像であり、合成コンピュータ生成モデルではないので、体験は、患者自身を見ている専門家のそれと密接に合致する。３Ｄ歯科走査装置を用いて生成されたそれ等の歯科表面のコンピュータ化３Ｄモデルは、人間の脳が３Ｄシーンを表面上は生成するので、この可視化目的を達成するために全く利用される必要はない。ステレオ没入型ビューは、当然ながら、この知覚を向上させるであろう。ある意味では、この方法を使用して患者の口１０２の視覚知覚を観察することは、医師が所望する限り近接してビューポートをズームインし得、患者自身に対して実施される場合に不快感を引き起こし得るアクションであるので、歯科オフィスを訪問する実際の患者を見ることに優る利点を有する。
【００５５】
歯科没入型写真モデルまたは没入型ビューは、それぞれの視覚情報とともに、ビューポート空間として説明されることができる。ある実施形態では、それは、没入型写真と写真の各々が取得された３Ｄ空間内の場所との集合体であり得る。別の実施形態では、それは、より連続的なビューポート空間を生産するために、写真が取得された３Ｄ空間内の場所間の補間を含み得る。ビューポートは、概して、複数の画像から視覚情報をレンダリングするであろう。そのようなモデルのための入力を記録するビデオは、患者の口内の没入型カメラの経路を含む仮想的に連続的なビューポート空間をもたらし得る。ユーザがあるビューポートを選択するとき、ユーザは、ユーザが観察することを所望する３Ｄ空間内の場所と所望の視認角度を示すその場所の周囲の角度とを含む没入型ビューのパースペクティブを選択する。
【００５６】
図１Ａに再び目を向けると、専門矯正歯科医は、アーチワイヤに取り付けられ、張力が加えられると、歯が整列させられるであろうことを確実にするために、矯正ブラケットを位置付ける適切な場所としてビューポート１０４上の場所１０６を選択し得る。専門矯正歯科医が写真画像内の場所１０６を選択すると、写真画像における選択された場所と対応する患者の歯の上の知覚された場所が、決定されなければならない。患者の歯の上の知覚された場所を決定するために、光線１０８が、焦点１１２からビューポート１０４上の選択された場所１０６を通して延長される。焦点１１２とビューポート１０４との間の距離は、没入型写真画像に対するビューポートのズームを表し得る。
【００５７】
一実施形態では、交点１１０が、光線１０８と、没入型ビューの別のビューポートにおける専門家の選択に基づいて延長された別の光線との交点として決定され得る。例えば、ビューポート１０４上の場所１０６を選択した後、交点１１０は、光線１０８に沿ったある場所として決定され得る。そして、専門家は、図１Ｂの略図１５０に図示されるように、別のビューポートを通して画像を観察するためにナビゲートし得る。他の画像は、ビューポート１５１にレンダリングされる。ある実施形態では、光線１０８の視覚表現が、他の画像上にオーバレイされ、専門家は、光線１０８の表現に沿った場所を選択し得る。専門家は、ビューポート１５１内の場所１５６を選択する。選択された場所１５６に基づいて、光線１５８は、焦点１５２からビューポート１５１上の選択された場所１５６を通して延長される。交点１１０は、光線１０８と１５８との間の交点として決定され得る。３Ｄ空間内の交点１１０の場所は、没入型写真モデルによって定義される場所を基準にして、例えば、焦点１１２および１５２の場所が定義される同じ基準によって計算される。このように、交点１１０は、患者の歯の表面を表すデジタル歯科印象データの必要性を全く伴わずに決定され得る。
【００５８】
専門家は、患者上で使用されるべきブラケットをブラケットライブラリから選択し得る。ブラケットは、寸法および目的において異なる。例えば、いくつかのブラケットは、矯正「システム」の一部として市販され、それによって、異なる歯は、歯科医が単純な湾曲アーチワイヤを使用し、所望の臨床結果を取得することを可能にするために、異なって成形されたブラケットを割り当てられる。これらのブラケットは、異なる歯の解剖学的構造および形状を考慮するために設計されるか、または異なる所望の矯正目標を達成するために設計され、製造業者によって決定されるようなある標準化位置に設置されることを意図されている。これらの「システム」の各々は、特有の特性を有し、したがって、専門家は、医師によって選択されたシステムを選定する。
【００５９】
ライブラリからのブラケットの３Ｄモデルが、次いで、没入型写真モデルのビューポート空間上に重ね合わせられる。ブラケットの位置を重ね合わせるために、コンピュータプログラムが、焦点１１２のパースペクティブから３Ｄブラケットモデルの画像をレンダリングすることができる。１つのオプションは、コンピュータプログラムが、交点１１０に３Ｄ空間内のブラケット初期位置を設定するためである。次いで、プログラムは、レンダリングされたブラケットをビューポート１０４を通して提示される画像上にオーバレイすることができる。要求される場合、専門家は、ここで、ブラケットが歯の上に適切に位置しているように見えるまで（すなわち、種々のビューポートから、シミュレートされたブラケットと重ね合わせられた患者の口１０２の視覚知覚のパースペクティブを含むレンダリングされた画像が、ブラケットが歯に正しく取り付けられているかのように見えるまで）シミュレートされたブラケットの位置およびサイズを操作することができる。これは錯覚にすぎないが、歯の３Ｄ情報は、必ずしも利用可能ではないので、それは、人間の脳によってレンダリングされた画像に与えられる現実的解釈に起因して、実質的に現実的な感覚を提供する。したがって、それは、患者の口内に実際に設置されるときのブラケットの所望の位置を別の医療提供者に伝えるための有用なツールになるであろう。
【００６０】
ブラケットは、現在、種々の角度から視認され得る。図１Ｂに目を向けると、ブラケットは、焦点１５２のパースペクティブからレンダリングされ得る。レンダリングされたブラケットは、現在、ビューポート１５４に対してレンダリングされた画像上に位置１５６において見え得る。
【００６１】
歯へのブラケットの接着または接合は、歯とブラケットとの間にある程度のスペーサを追加する。このスペーサは、時として、ブラケットによって及ぼされるより多くのトルクを追加するために使用される。このスペーサも、改良された正確度のためにレンダリングにおいてシミュレートされ得る。
【００６２】
いくつかのシナリオでは、ブラケットの完全３Ｄシミュレーションは、必要ではなく、専門家がマーク（例えば、短冊形）をビューポート空間上に重ね合わせることで十分であり、マークは、歯の上にレンダリングされ、所望のブラケット設置を指定するであろう。
【００６３】
概して、専門家は、ブラケットの寸法を選定し、可視化された歯の知覚される寸法に適合するように、それをスケーリングする必要性があり得る。しかし、歯の３Ｄ走査を使用する場合、または代替として、レンダリングされている２Ｄ画像のうちの少なくとも１つが着目歯の測定値を含む場合、シミュレートされるブラケットは、寸法に適合するように自動的にスケーリングされることができる。そのような歯科測定は、例えば、歯周プローブまたはキャリパ等の測定ツールを使用する医療提供者によって行われ得る。医療提供者は、それらの歯科測定値をコンピュータプログラムシステムに入力し得る。加えて、医療提供者は、画像が捕捉されている間に測定を実施するために歯周プローブまたはキャリパを使用し得、その後、コンピュータプログラムが、画像を分析することによって測定読み取り値を抽出し得る。測定を追加するための別の方法は、画像重複および物体スケールの特性を使用することによる。下で、実施形態がいくつかの画像センサを含むこと、および隣り合うまたは近傍の画像センサが重複する部分を有する画像を捕捉し得ることが分かるであろう。幾何学的考慮事項に起因して、カメラが捕捉されている物体に近接するほど、重複する区分は、より小さくなる。この特性を使用して、コンピュータプログラムは、物体の寸法、おそらく、カメラからのその距離を推定し得る。物体の寸法を推定するための別の技法は、２つ以上の角度から捕捉された物体の画像を使用することによる。図１Ａ−１Ｂに関して説明されるような光線１０８および１５８の交点が、コンピュータプログラムが歯の場所に対応する空間内の点を決定することを可能にしたように、２つの交点、光線の対の各々、物体の対向する縁に向かって延長される光線の２つの対は、物体の対向する縁上の２つの点を決定し、点の間の距離として物体の寸法を計算することを可能にし得る。点（それに向かって光線が延長される）は、オペレータによって、またはコンピュータプログラムによって選択され得る。いくつかの実施形態では、測定値を抽出する能力は、下で議論されるように、患者の口の少なくとも一部の歯科印象を生成するために使用され得る。
【００６４】
没入型ビュー上でのブラケット設置の選択を使用して、実施形態は、実際のブラケット設置中に矯正歯科医を誘導する。加えて、実施形態は、実際にブラケットを設置するであろう同じ医療提供者によって、または別の誰か、例えば、専門矯正歯科医によってのいずれかで、設置決定がバックオフィスプロセスにおいて起こることを可能にする。設置決定をバックオフィスプロセスに置き、ブラケット据え付けプロセス中にガイダンスを提供することによって、ブラケットを据え付ける医師は、医師がこの技術分野における専門家ではない場合であっても、患者が処置のために到着するときに所望の場所に厳密にブラケットを設置することにおいてより効果的であり得る。
【００６５】
シミュレートされた３Ｄブラケットがビューポート空間上に重ね合わせられ得るように、物体の追加の合成３Ｄモデルも、重ね合わせられ得る。可能なことのうちの１つは、患者の口の３Ｄ歯科印象を重ね合わせることである。重ね合わせられると、ユーザは、結果が没入型ビューによって生成され、図１Ａ−１Ｂに示されるような患者の口１０２の視覚知覚の場所およびスケールに合致するように、ビューポート空間内の合成印象の場所およびスケールを調節し得る。印象の場所およびスケールを調節するための１つの方法は、印象のレンダリング上の３つ以上の点を選択し、没入型ビューのビューポートを通して合致する点も選択することによる（後者の点の各々は、図１Ａ−１Ｂに関連して説明されるように選択される）。合致する点を選択した後、コンピュータプログラムが、ビューポート空間内の印象３Ｄメッシュの場所およびスケールを調節し得る。印象を表すメッシュは、ここでは、それが視認のためにレンダリングされていない場合であっても、空間内に定義され得る。図１Ａ−１Ｂに戻ると、それは、印象が視覚知覚１０２が存在する場所に位置することを示唆するであろう。そのような手技を実施することの利点は、ここでは、焦点１１２から選択された場所１０６を通して延長される光線１０８が、印象メッシュと交点１１０において交差し得ることである。したがって、交点１１０は、単一の選択で決定され得る。
【００６６】
図２Ａ−Ｂは、没入型写真画像を図示し、それをビューポートに対してレンダリングする略図である。下でより詳細に議論されるように、没入型写真画像は、異なるパースペクティブから複数の写真を同時に捕捉するように、異なる方向に向けられた複数の画像センサから生成され得る。
【００６７】
代替として、没入型写真画像は、異なる方向から写真を捕捉するように回転される単一の画像センサによって生成され得る。例えば、口腔内環境内の没入型カメラの運動は、没入型写真を記録しながら多数のそのような写真をレンダリングする。
【００６８】
それぞれの写真に関する関連付けられた位置情報と、おそらく、写真間の関係する特徴とに基づいて、画像センサから捕捉された写真画像が、球体にマッピングされる。写真の各々は、球体の中心に対する捕捉された角度に従ってマッピングされ、角度は、図２Ａに示されるように、捕捉場所を表す。
【００６９】
図２Ａは、画像２３２、２３４、２３６、および２３８からのピクセルがそれにマッピングされた球体２４２を伴う略図２４０を示す。略図２４０は、球体の表面に沿った画像のアラインメントを示す。球体は、球形に沿って位置付けられる組み込まれたカメラ有するデバイスからの画像を整列させるための適切な形状である。それぞれの重複エリアを有する全ての組み込まれたカメラの組み合わせられた視野が球体に及ぶ場合、画像は、完全な球体に及ぶように整列させられることができる。そうでなければ、球体の一部のエリアは、視覚情報を有していないこともある。いくつかの実施形態では、ハンドルがそのような組み込まれたカメラを伴う球形に取り付けられる場合、ハンドルの周囲のエリアは、カメラを含まないこともある。おそらく、そのエリアは、記録に関してあまり着目されない。
【００７０】
球体２４２は、１つの没入型写真を表す。複数のそのような球体（図示せず）は、例えば、ビデオの記録を通して作成され得、患者の口の内側の種々の場所における中心点を有する。そのような球体の集合体は、ビューポート空間をマッピングする。後で、没入型写真を観察しながら、医療提供者は、ビューポート空間からあるビューポート（したがって、口内のある位置およびその位置の周囲のある角度）を選定し、図１Ａおよび１Ｂに説明されるように医療提供者が視認することに関心があるパースペクティブを定義し得る。
【００７１】
球体２４２を使用して、画像が、図２Ｂに図示されるように、深度の感覚を提供する方法でユーザにレンダリングされることができる。
【００７２】
図２Ｂは、そのような没入型写真からビューポートをレンダリングするための幾何学形状を図示する略図２６０を示す。所望のパースペクティブ（すなわち、空間内の焦点およびその点の周囲の視認角度）の選択は、時として、仮想カメラの位置の選択と称され、カメラは、おそらく、提示のためにシーンのパースペクティブを捕捉する。略図２６０では、没入型写真は、図１Ａに図示されるようなビューポート１０４および焦点１１２に対応する仮想カメラに従ってレンダリングされる。ビューポート１０４は、空間内の点、すなわち、ここでは、球体の中心における焦点１１２と、その点から発生する視野とによって規定され得る。医療提供者は、仮想カメラに関する角度を選定し、それに応じて、ビューポート１０４が、決定される。球体のピクセルは、ビューポート１０４にマッピングされ、表示のための画像を生産する。医療提供者は、次いで、中心点の周囲でカメラを「回転させる」ように選定し、同じ中心点の周囲の口の種々の角度を表示するために、ビューポートもまた回転させ得る。仮想カメラがパースペクティブを変更すると、異なる球体が、選択されるか、または球体の異なる部分が、ビューポート１０４にマッピングされ、没入型写真モデルからの異なる主題のレンダリングをもたらす。
【００７３】
描写される実施形態では、ビューポート１０４は、球体内に位置する。ビューポートを所与として、コンピュータプログラムが、例えば、球体の中心点から、ビューポートを通して、球体の表面まで光線を追跡することによって、整列させられた画像の球体から対応する画像を提示のためにレンダリングすることができる。当然ながら、このマッピングは、観察者の要求へのより速い応答を可能にするために、可視化とは別個に処理され得る。ビューポートを操作する観察者に関して、半径方向に外向きにビューポートをシフトさせることは、提示される画像上にズームインすることと同等である。
【００７４】
このように、矯正歯科医専門家は、患者の口の写真画像内でナビゲートすることができる。
（ＩＩ．没入型写真画像および３Ｄ歯科印象を捕捉するためのデバイス）
【００７５】
没入型写真およびデジタル歯科印象を捕捉するために使用され得るデバイスが、図３−７に関して説明される。
【００７６】
図３は、口腔内没入型写真カメラ３００を図示する略図である。口腔内没入型写真カメラ３００は、カメラヘッド３１０と、医療提供者が歯科器具を把持することを可能にするハンドル３２０とを含む。描写される実施形態では、球体３０２の形状を有するカメラヘッド３１０は、口腔内環境からカメラヘッド３１０の内側の電子機器を物理的に分離する保護シェルを含む。球体３０２は、統合カメラ（図示せず）が口腔内環境の画像を捕捉することを可能にするパススルー面、例えば、３１４Ａおよび３１４Ｂを含む。パススルー面のうちのいくつかは、没入型写真カメラ照明デバイス（図示せず）によって放出される光が口腔内環境を照らすことを可能にし得る。パススルー面は、単純に、開口部であり得る。それは、例えば、光が所望の方向にそれを通過することが可能であるように構成されたマジックミラーでもあり得る。
【００７７】
１つの組み込まれたカメラによって捕捉される画像は、隣り合うまたは近傍のカメラのうちの１つ以上のものによって捕捉される画像と重複する。これは、カメラの幾何学的配列に影響を及ぼす。例えば、カメラは、９０度の視野を有し得る。口腔内環境内のカメラと物体との間に存在する短い距離では、７０度の視野を上回って捕捉される視覚情報は、通常、いわゆる樽形歪の形態の回復不能の歪に悩まされ得る。そのような歪は、画像が隣接する画像に整列させられることを妨げ得る。したがって、アラインメントのために１０度の重複を可能にするために、カメラは、任意の２つの隣接するカメラの視野の中心間の角度が６０度以下であるような方法で配列されるべきである。
【００７８】
図４Ａ−Ｂは、口腔内場所における没入型写真の捕捉を図示する略図である。図４Ａは、口腔内環境４０２内の口腔内没入型写真カメラ３００を図示する略図４００を示す。口腔内没入型写真カメラ３００が、口腔内環境４０２の周囲を移動している間、それは、没入型ビデオを捕捉している。画像センサが、画像およびビデオを捕捉する一方、アクセラレータおよびジャイロスコープが、カメラの位置および回転を捕捉する。
【００７９】
図４Ｂは、患者の口の内側の没入型写真カメラ３００によって捕捉される画像を示す、略図４５０を図示する。特に、略図４５０は、口腔内環境４０２を示し、カメラが異なる角度であるが、同じ場所から画像を取得する様子を描写する。没入型写真カメラ３００上の異なる画像センサから捕捉された画像は、患者の口の内部の写真画像４５２および４５４として示される。画像４５２および４５４の各々は、カメラ３００に取り付けられた画像センサから捕捉される。画像４５２および４５４は、没入型写真カメラが実質的に別の場所に移動する前、ほぼ同時に捕捉される。
【００８０】
図５は、口腔内没入型写真カメラ３００の可能な構成を図示するシステム図５００である。上で議論されるように、カメラ３００は、２つのコンポーネント、すなわち、カメラヘッド３１０と、ハンドル３２０とを有し、カメラヘッド３１０は、球体３０２と、画像センサ５０３と、光源５０７と、向き測定デバイス５１２と、コネクタ５０５とを含む。ある実施形態では、カメラヘッド３１０は、患者の口の中に挿入され、加圧滅菌可能である部分であり得る一方、ハンドル３２０は、加圧滅菌可能ではないこともある。
【００８１】
複数の信号ラインまたはバス５１７が存在し得、したがって、異なるコンポーネントが、異なる信号ラインまたはバス５１７によってリンクされ得、概略図に描写される信号ラインまたはバス５１７は、複数のそのようなものを表し得ることが当業者に理解され得る。
【００８２】
球体３０２は、複数のパススルー３０４を含む。パススルー３０４は、光または視覚情報の通過を可能にし、光または視覚情報が画像センサ５０３に到達する（したがって、それぞれの画像が捕捉され得る）ことを可能にするか、または、光源５０７からの光による物体の照明を可能にする。いくつかの実施形態では、パススルー３０４は、球体３０２内の開口部である。いくつかの実施形態では、パススルー３０４は、球体３０２内の透明、半透明、または部分的透明エリアである。いくつかの実施形態では、パススルー３０４は、光学レンズを含む。いくつかの実施形態では、パススルー３０４は、おそらく、ある閾値を上回る強度の光が存在するとき、透明または部分的に透明になる球体３０２のエリアの区分である。いくつかの実施形態では、パススルー３０４は、電流または電圧が存在するとき、透明または部分的に透明になる球体３０２のエリアの区分である。いくつかの実施形態では、パススルー３０４は、カメラヘッド３１０が口腔内環境において動作しているとき、または滅菌中等、カメラヘッド３１０のコンポーネントの他のもの、例えば、画像センサ５０３に環境からの物理的分離を提供する。
【００８３】
上で説明されるように、パススルー３０４は、画像センサ５０３または光源５０７に／から光を伝送し得る。画像センサ５０３は、静止またはビデオデジタル画像を捕捉する。いくつかの実施形態では、画像センサ５０３は、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ）センサ等、ピクセルアレイを含む画像センサまたは複数の画像センサである。画像センサの例は、ＯＮ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ（Ｐｈｏｅｎｉｘ，Ａｒｉｚｏｎａ）から入手可能なＭＴ９Ｖ０２３である。いくつかの実施形態では、画像センサ５０３は、画像感知能力を伴うシステムオンチップ（ＳＯＣ）の一部である。ＳＯＣは、メモリおよび／または画像信号プロセッサ（ＩＳＰ）もしくは他のコンポーネントを含み得る。そのようなＳＯＣに関する例は、ＯｍｎｉＶｉｓｉｏｎ  Ｔｅｃｈｎｏｌｏｇｉｅｓ  Ｉｎｃ．（Ｓａｎｔａ  Ｃｌａｒａ，Ｃａｌｉｆｏｒｎｉａ）から入手可能なＯＶ５６４０である。いくつかの実施形態では、画像センサ５０３は、１つ以上の光学レンズを含む。
【００８４】
光源５０７は、カメラ３００に近接する物体を照らす。いくつかの実施形態では、光源５０７は、画像センサ５０３によって捕捉される画像を改良するために、人の口のエリアを照らす。いくつかの実施形態では、複数の光源５０７が、含まれる。いくつかの実施形態では、光源５０７は、光を放出する。いくつかの実施形態では、光源５０７は、カメラ３００内の別の場所に放出される光を伝送する。いくつかの実施形態では、光源５０７によって放出または伝送される光の強度は、制御されることができる。いくつかの実施形態では、複数の光源５０７による照明の強度は、並行して制御される。いくつかの実施形態では、複数の光源５０７の各光源５０７の強度は、独立して制御される。いくつかの実施形態では、複数の光源５０７は全て、同一または類似する光波長（または色）を放出するか、もしくは伝送する。いくつかの実施形態では、異なる波長（または色）が、複数の光源５０７によって放出または伝送され得る。いくつかの実施形態では、光源５０７は、発光ダイオード（ＬＥＤ）である。いくつかの実施形態では、光源５０７は、光ファイバケーブル等の光パイプである。他のデバイスも、本発明の精神から逸脱することなく、口のエリアを照らすための光源５０７として使用され得ることを理解されたい。いくつかの実施形態では、光源５０７は、単色光（レーザ）である。いくつかの実施形態では、光源５０７は、レーザによって放出される光を伝送する。いくつかの実施形態では、光源５０７は、球体３０２の内面に近接して位置する。いくつかの実施形態では、光源５０７は、球体３０２の異なる場所および／またはカメラヘッド３１０内の別の場所に位置し得る。いくつかの実施形態では、光源５０７によって放出および／または伝送される光は、パススルー３０４を通過する。いくつかの実施形態では、光源５０７は、パススルー３０４によって環境（例えば、口腔内環境または滅菌環境）から物理的に分離される。いくつかの実施形態では、光源５０７またはパススルー３０４は、球体３０２の表面にわたって均一に分散される。
【００８５】
向き測定デバイス５１２は、球体３０２の向き（ｘ、ｙ、ｚ位置およびヨー、ピッチ、ロール方向を含む）を測定する、または球体３０２の向きを計算することを可能にするデータを生成する。いくつかの実施形態では、向き測定デバイス５１２は、加速度計である。加速度計の例は、ＮＸＰ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒｓ  Ｎ．Ｖ．（Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ）から入手可能なＭＭＡ８４５３Ｑである。いくつかの実施形態では、向き測定デバイス５１２は、ジャイロスコープである。ジャイロスコープの例は、ＮＸＰ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒｓ  Ｎ．Ｖ．から同様に入手可能なＦＸＡＳ２１００２Ｃである。
【００８６】
ハンドル３２０に目を向けると、ハンドル３２０は、ユーザインターフェース５２４と、プロセッサ５２３と、ベースステーションコネクタ５５８と、コネクタ５２２と、通信サブシステム５２９と、電力サブシステム５２１と、メモリ５３０とを含む。
【００８７】
ベースステーションコネクタ５５８は、カメラヘッド３１０に取り付けられることも、取り付けられないこともあるハンドル３２０がベースステーションとドッキングすることを可能にする。ドッキングは、ハンドル３２０を所定の向きに保持する物理的接続を通して起こり得る。加えて、ドッキングは、ＵＳＢまたは近距離無線通信接続もしくは同等物を通して起こり得る。ベースステーションとドッキングすると、ハンドル３２０は、ベースステーションコネクタ５５８を通して受電し得、それは、電力サブシステム５２１を充電するために使用され得る。加えて、ハンドル３２０は、ベースステーションコネクタ５５８を通して制御およびシグナリング情報を受信し得る。例えば、ベースステーションコネクタ５５８は、ハンドル３２０とベースステーションとの間の無線通信接続を構成するために必要とされる情報を受信し得る。ベースステーションコネクタ５５８は、下で議論されるように、無線構成情報（サービスセット識別子およびパスワード）を通信サブシステム５２９に提供し得る。ベースステーションにドッキングされると、ベースステーションコネクタ５５８は、較正するために向き測定デバイス５１２またはメモリ５３０内のソフトウェアに信号伝達し得る。加えて、ハンドル３２０がベースステーションにドッキングされると、ベースステーションは、メモリ５３０内に下で議論されるように記憶される収集されたデータの一部または全てを受信し得る。
【００８８】
電力サブシステム５２１は、カメラ３００のための電力を貯蔵し、電力をカメラ３００の他のコンポーネントに提供する。電力サブシステム５２１は、ＡＡＡＡバッテリ等のバッテリまたはコンデンサを含み得る。
【００８９】
ユーザインターフェース５２４は、オーディオ入力５２５と、オーディオ出力５２６と、入力／出力制御装置５２７とを含む。オーディオ入力５２５は、聴覚情報を捕捉する。いくつかの実施形態では、オーディオ入力５２５は、マイクロホンを含む。いくつかの実施形態では、オーディオ入力５２５は、例えば、医療提供者が患者の医療記録のために観察を口述することを可能にするために、人間の声を捕捉する。ハンドル３２０は、音声を放出するオーディオ出力５２６を含む。いくつかの実施形態では、オーディオ出力５２６は、１つ以上のスピーカを含む。いくつかの実施形態では、オーディオ出力５２６は、ヘッドホンジャックおよび／またはヘッドホンを含む。
【００９０】
入力／出力制御装置５２７は、ユーザが、カメラ３００におけるプロセスに関連するフィードバックを制御および／または受信するために、例えば、オーディオ記録もしくは画像捕捉を開始するために、または照明の強度を設定するために、ボタン、ライト、ノブ、容量センサ、触覚フィードバックのためのアクチュエータ等を含むことができる。
【００９１】
通信サブシステム５２９は、例えば、ベースステーション、またはパーソナルコンピュータ、スマートフォン、タブレット、もしくは類似物等の汎用コンピュータデバイス、または別の口腔内没入型写真カメラもしくは遠隔スピーカ等の専用コンピュータデバイス等を含む１つ以上の遠隔コンピュータデバイスにハンドル３２０が接続することを可能にする。いくつかの実施形態では、通信サブシステム５２９は、限定ではないが、ＷｉＦｉおよび／またはＢｌｕｅｔｏｏｔｈ（登録商標）を含む無線ネットワークに接続するように適合される。いくつかの実施形態では、通信サブシステム５２９は、限定ではないが、イーサネット（登録商標）、ＵＳＢ、またはｔｈｕｎｄｅｒｂｏｌｔを含む有線ネットワークに取り付けられるように適合される。
【００９２】
メモリ５３０は、ランダムアクセスメモリ（ＲＡＭ）を含み、読み取り専用メモリ（ＲＯＭ）および／またはフラッシュメモリ等の不揮発性メモリも含み得る。メモリ５３０は、独立したメモリコンポーネントであり得るか、または、プロセッサ５２３および／または画像センサ５０３等の別のコンポーネント内に組み込まれ得るか、または、２つの組み合わせであり得るか、または、複数のメモリコンポーネントを含み得る。メモリ５３０は、フラッシュメモリカード等の取り外し可能メモリモジュールを含み得る。メモリ５３０は、ソフトウェアモジュールを含むように適合される（モジュールは、命令の組である）。特に、メモリ５３０は、ストリーマモジュール５５３と、識別モジュール５５４と、電力モニタモジュール５５５と、ＨＴＴＰサーバモジュール５５６と、照明コントローラモジュール５５０と、画像制御モジュール５５１と、ファイルシステムモジュール５６７と、向き計算器モジュール５６８とを含む。
【００９３】
プロセッサ５２３は、メモリ５３０に記憶された命令を起動するように適合される。プロセッサ５２３は、マイクロコントローラユニット（ＭＣＵ）、デジタル信号プロセッサ（ＤＳＰ）、および／または画像／ビデオ処理ユニット、もしくは命令を起動する同様のコンポーネントであり得る。ＭＣＵの例は、Ｔｅｘａｓ  Ｉｎｓｔｒｕｍｅｎｔｓ  Ｉｎｃ．（Ｄａｌｌａｓ，Ｔｅｘａｓ）から入手可能なＭＳＰ４３２Ｐ４０１ｘである。ＤＰＳの例は、Ｔｅｘａｓ  Ｉｎｓｔｒｕｍｅｎｔｓ  Ｉｎｃ．（Ｄａｌｌａｓ，Ｔｅｘａｓ）から入手可能なＣ５０００である。画像／ビデオプロセッサの例は、Ｔｅｘａｓ  Ｉｎｓｔｒｕｍｅｎｔｓ  Ｉｎｃ．（Ｄａｌｌａｓ，Ｔｅｘａｓ）から入手可能なＯＭＡＰ３５２５である。１つ以上のプロセッサ５２３が、存在し得る。プロセッサ５２３は、独立したコンポーネントであり得るか、それは、画像センサ５０３等の別のコンポーネント内に組み込まれ得るか、または、それらの任意の組み合わせである。
【００９４】
いくつかの構成では、ヘッド３１０およびハンドル３２０は、分離可能なコンポーネントである。それらの場合、カメラヘッド３１０のコネクタ５０５は、ハンドル３２０のコネクタ５２２に（物理的および／または電子的に）接続し、バス５１７のそれぞれの区分をつなぐ。画像センサ５０３および光源５０７は、ハンドル３２０からコネクタ５０５を通して電力を受け取る。加えて、制御およびシグナリングが、画像センサ５０３および光源５０７に、およびそれらから、コネクタ５０５を通して渡される。例えば、画像センサ５０３は、バス５１７を介して捕捉された画像をコネクタ５０５に伝送し得、それは、画像をハンドル３２０に伝送する。同様に、コネクタ５０５は、画像センサ５０３をアクティブにするとき、およびアクティブにするかどうかを示す制御情報を受信し、伝達し得る。光源５０７に関して、コネクタ５０５は、どの光源５０７をアクティブにするか、および、それらをアクティブにするとき、およびその方法に関するコマンドを受信し得る。コネクタ５０５は、ハンドル３２０内のコネクタ５２２に接続するように適合される。いくつかの実施形態では、コネクタ５０５およびコネクタ５２２は、ハンドル３２０とカメラヘッド３１０との間の光の伝送を可能にする光コネクタを含み得る。
【００９５】
照明コントローラモジュール５５０は、光源５０７の動作を制御する。いくつかの実施形態では、照明コントローラモジュール５５０は、光源５０７の照明の強度を設定する。いくつかの実施形態では、照明コントローラモジュール５５０は、照明を増加または低減させるためのユーザ要求を受信する。いくつかの実施形態では、照明コントローラモジュール５５０は、ユーザ要求を受信し、光源５０７のいくつかまたは全てをオンもしくはオフにする。いくつかの実施形態では、照明コントローラモジュール５５０は、光源５０７のうちの１つ以上のものの照明を増加および／または減少させるための要求を他のソフトウェアモジュールから受信する。いくつかの実施形態では、ユーザ入力および要求は、照明の強度を決定するために使用される。
【００９６】
向き計算器モジュール５６８は、向き測定デバイス５１２からのデータを読み取る。向き計算器モジュール５６８は、例えば、ジャイロスコープおよび加速度計からのデータを積分し、場所（例えば、ｘ、ｙ、ｚ座標において）および方向（例えば、ヨー、ピッチ、およびロール）を決定し得る。向き計算器モジュール５６８は、カメラ３００の場所および方向を決定するために積分を使用するので、ジャイロスコープおよび加速度計からの誤差が、経時的に蓄積され得る。しかしながら、上で説明されるように、ベースステーションコネクタ５５８は、ハンドル３２０を既知の角度において位置付けるようにベースステーションとドッキングし得る。ベースステーションコネクタ５５８が、ベースステーションとドッキングされると、ベースステーションコネクタ５５８は、較正するために向き計算器モジュール５６８に信号伝達し得る。較正するために、向き計算器モジュール５６８は、ｘ、ｙ、ｚならびにヨー、ピッチ、およびロール値を値ゼロ等の固定値に設定し得るか、または、向き計算器モジュール５６８は、それがもはやドッキングされていないとき、その場所へのオフセットとして使用されるように、メモリ５３０に記憶するために、もしくはこれらの値をベースステーションに伝送するために、読み出し得る。したがって、ハンドル３２０が動かされるとき、向き計算器モジュール５６８が決定する座標および方向値は、ベースステーションにおいて設定された座標および方向値に関連し得る。
【００９７】
画像制御モジュール５５１は、画像およびビデオの捕捉を制御し、出力画像品質に影響を及ぼし得る。いくつかの実施形態では、画像制御モジュール５５１は、例えば、照明コントローラモジュール５５０への要求によって、照明の強度を制御し、例えば、より良好な画像捕捉品質のために照明条件を改良する。いくつかの実施形態では、画像制御モジュール５５１は、時間連続的画像の組を処理し、例えば、限定ではないが、組から１つの画像を選択することによって、または各部分が組内の画像からのものである画像の部分を組み合わせることによって、改良された視覚品質を有する単一の出力画像を作成する。いくつかの実施形態では、画像が捕捉されたときの画像センサ５０３の加速度を示す値が、例えば、限定ではないが、最も小さい加速度を伴う画像を選択するために、または異なる加速度の２つ以上の画像の部分間を補間するために、出力画像の品質を改良するために使用される。いくつかの実施形態では、画像制御モジュール５５１は、レンズのアパーチャおよび／または焦点を制御する。いくつかの実施形態では、画像制御モジュール５５１は、各々が異なる照明を伴う一続きの画像の捕捉をトリガする。いくつかの実施形態では、画像制御モジュール５５１は、各々が照らすように設定された光源５０７のうちの１つ以上のもののおそらく異なる群を伴う一続きの画像の捕捉をトリガする一方、光源５０７のうちの他の１つ以上のものは、照らすように設定されない。いくつかの実施形態では、画像制御モジュール５５１は、複数の画像センサからの複数の画像を単一の没入型ビューに組み立て得る。
【００９８】
識別モジュール５５４は、遠隔コンピュータデバイスに対してカメラ３００を識別する。いくつかの実施形態では、識別モジュール５５４は、識別がネットワークセッションにわたって起こる認証ハンドシェイクプロトコルを実装する。いくつかの実施形態では、識別モジュール５５４は、データが遠隔コンピュータデバイスに転送されることに先立って、識別をデータに結合する。識別は、ハンドル３２０に関するグローバル一意ＩＤを含み得る。それは、タイムスタンピングもされ、デジタル的に署名され得る。
【００９９】
電力モニタモジュール５５５は、電力サブシステムによって利用可能なエネルギーの量およびカメラ３００の電力使用を監視する。いくつかの実施形態では、電力モニタモジュール５５５は、向き測定デバイス５１２によって生成される運動指示、例えば、限定ではないが、加速度指示を受信する。いくつかの実施形態では、電力モニタモジュール５５５は、カメラ３００がある閾値よりも長い時間間隔にわたって使用されていないとき、カメラ３００をスタンバイモードに設定する。カメラ３００が低減させられた量の電力を消費するスタンバイモードを設定するために、電力モニタモジュール５５５は、カメラ３００のコンポーネントのうちのいくつかへの電力供給を低減させるか、または完全にシャットダウンする、および／またはカメラ３００のソフトウェアプロセスのうちのいくつかを改変する、または完全に一時休止させる等であり得る。いくつかの実施形態では、電力モニタモジュール５５５は、カメラ３００の使用の指示が存在するとき、例えば、カメラ３００のコンポーネントのうちのいくつかへの電力を再開すること、またはカメラ３００のプロセスのうちのいくつかの実行を再開することによって、スタンバイモードを終了する。いくつかの実施形態では、電力モニタモジュール５５５は、他のパラメータまたは指示に基づいてスタンバイモードを開始または終了するが、しかしながら、本発明は、そのように限定されない。いくつかの実施形態では、電力モニタ５５５は、使用されていない指示がある閾値よりも長い時間間隔にわたって存在するとき、または他のパラメータもしくは指示に基づいて、シャットダウンを実施し、カメラ３００のコンポーネントの（スタンバイモードと比較したときに）より多くのもの、またはさらには全てへの電力を遮断する。
【０１００】
ストリーマモジュール５５３は、通信システム５２９を通して別のコンピュータデバイスへのデータを準備および／またはストリーミングする。データは、画像センサ５０３から収集されたビデオ、向き計算器モジュール５６８から収集されたカメラ３００の向きおよび場所を含む場所情報、オーディオ入力５２５から収集されたオーディオ入力、入力／出力制御装置５２７から収集された任意のデータ、電力モニタから収集された残り電力または電力消費率等の電力関連データ、および光源５０７が照明コントローラモジュール５５０から照らされる程度の仕様を含むことができる。ストリーマモジュール５５３は、これらの種々のソースから収集されたデータを互いに関連付け得る。異なるソースから収集されたデータを関連付けるために、ストリーマモジュール５５３は、タイムスタンプを添付し得る。例えば、ビデオ画像センサ５０３における各フレームは、収集されるタイムスタンプを含み得る。同様に、向き、オーディオ、電力、および入力制御情報は、その情報が収集されたときを示すタイムスタンプを有し得、照明情報は、光源５０７が規定される様式で照らされたときを示すタイムスタンプを有し得る。ストリーマモジュール５５３は、収集されたデータの一部または全てをメモリ５３０に記憶し得る。これは、例えば、利用可能なデータ伝送帯域幅の限定がその収集の直後のデータのストリーミングを妨げ得る実施形態において有用であり得る。記憶されたデータは、次いで、後で伝送され得る。例えば、いくつかの実施形態では、画像センサから収集されたビデオは、メモリ５３０に記憶される一方、他の収集されたデータ、例えば、場所情報は、遠隔コンピュータデバイスにストリーミングされる。データ収集が完了すると、記憶されたデータは、有線接続を通して、またはフラッシュカードを標的コンピュータデバイスに物理的に移動させることによって伝送され得る。
【０１０１】
いくつかの実施形態では、ストリーマモジュール５５３は、通信サブシステム５２９を介して遠隔コンピュータデバイス上で実行するアプリケーションにストリーミングするためのフォーマット、または、それをメモリ５３０に記憶するためのフォーマットにおいて画像、ビデオ、オーディオ、および他のデータをフォーマットする。いくつかの実施形態では、ストリーマモジュール５５３は、インターネットブラウザにストリーミングするために好適なフォーマット、例えば、限定ではないが、ＨＴＴＰストリーミング、ＨＴＭＬ、ＨＴＭＬ５、ＲＴＳＰ、ＷｅｂＲＴＣにおいて画像、ビデオ、オーディオ、および他のデータをフォーマットする。いくつかの実施形態では、ストリーマモジュール５５３は、限定ではないが、ＪＰＧ、ＪＰＧ  ２０００、ＭＰＥＧ−４、Ｈ．２６４、Ｈ．２６５、ＡＡＣ、ＰＣＭ、Ｇ．７１１、Ｇ．７２６等の圧縮フォーマットおよび／またはフォーマットコンテナを用いて画像、ビデオ、オーディオ、および他のデータをフォーマットする。いくつかの実施形態では、専用フォーマットが、使用されるが、しかしながら、本発明は、そのように限定されない。
【０１０２】
ストリーマモジュール５５３に加えて、ハンドル３２０は、ＨＴＴＰサーバ５５６を使用してデータを伝送し得る。いくつかの実施形態では、ＨＴＴＰサーバ５５６は、遠隔コンピュータデバイスに由来するＨＴＴＰ要求に応答する。
【０１０３】
ファイルシステムモジュール５６７は、データが少なくともメモリ５３０の一部の中に記憶される方法を制御する。いくつかの実施形態では、ファイルシステムモジュール５６７は、ＦＡＴ、ＮＴＦＳ、ｅｘｔ等の標準フォーマットにおいてデータを記憶する。
【０１０４】
前述から分かるように、図５のカメラ３００は、球体の形状におけるヘッド３１０を含む。そのような球体は、観察者が、ヘッド３１０がハンドル３２０に取り付くエリアの可能な例外を伴うが、中心の周囲の任意の角度でビューを回転することを可能にするビューポート空間を生産することを可能にし得る。代替として、カメラヘッドの他の形状が、異なるビューポート空間を生産する口腔内環境内の没入型写真のより効率的な捕捉を提供し得る。図６Ａは、歯科トレイ撮像カメラ６００を図示する略図である。カメラ３００のように、カメラ６００は、ハンドル、すなわち、標識化されたハンドル６２０を含む。しかしながら、球体の代わりに、カメラ６００のヘッド６１０は、歯科印象トレイの形状を有する。形状は、おそらく完全に、患者の歯列弓を封入し得る。トレイは、２つの部分を有し、一方は、上歯列弓を封入し、他方は、下歯列弓を封入し得る。トレイは、取り外し可能であり得、患者の歯列弓のサイズに応じて利用可能ないくつかのサイズのうちの１つであり得る。トレイは、患者が封入体を噛むことを可能にするように構成され得る。いくつかの実施形態では、ヘッド６１０の形状は、トレイの半分であり、おそらく、歯列弓の半分を覆い得る。
【０１０５】
歯列弓を覆って位置付けられると、医療提供者は、トレイを使用し、歯列弓全体の画像を捕捉し得る。歯科トレイは、光源および画像センサのための開口部６０４Ａ−Ｂ（または他のタイプのパススルー）を有する。光源は、患者の歯列弓を照らし、画像センサは、患者の歯列弓の写真画像を捕捉する。開口部は、歯科トレイの内部エリア（封入された歯と接触し得るエリア）において、外部エリア（頬または舌と接触し得るエリア）においても位置し得、それによって、ビューポート空間は、封入されている歯列弓の画像を含み、少なくとも部分的に口腔内環境の他のエリアも含む。
【０１０６】
代替として、おそらく、要求される画像センサの量を削減し、したがって、費用を削減する目的のために、カメラヘッドは、印象トレイの断面の形状であり、したがって、「Ｕ」または蹄鉄形状を有し得る。例えば、「Ｕ」形ヘッドは、１つの歯を覆うように位置付けられ、組み込まれた画像センサが、多くの角度から同時に１つの歯の画像を捕捉することを可能にし得る。画像センサおよび光源のための開口部は、歯表面、例えば、頬側面、咬合面、および舌面の写真画像を捕捉するために「Ｕ」または蹄鉄形状の内側にあり得、画像センサおよび光源のための開口部は、周辺口腔内環境を捕捉するために「Ｕ」または蹄鉄形の外側にあり得る。当然ながら、２つ以上の歯を覆うより大きい「Ｕ」形ヘッドが、使用され得る。
【０１０７】
没入型ビューのパースペクティブの提示のためのビューポート空間は、図６Ｂに図示されるように、カメラヘッドの形状に対応し得る。図６Ｂは、トレイ形状カメラヘッド６１０を用いて捕捉される画像６０５のアラインメントを図示する。図２Ａに関して上で議論されるように、それは、画像２３２、２３４、２３６、および２３８からのピクセルを含む。
【０１０８】
アラインメント６０５は、３Ｄ歯列弓形状に湾曲したトラフまたは管の半分に類似する形状であり得る。アラインメント６０５は、内面６０２と、外面６０４とを含む。内面６０２は、トラフの内面であり、外面６０４は、トラフの外面である。ヘッド６１０が下歯列弓を封入すると、患者の下歯に面する画像センサから捕捉された写真画像は、内面６０２にマッピングされ得、患者の上歯、および、おそらく頬に面する画像センサから捕捉された写真画像は、外面６０４にマッピングされ得る。
【０１０９】
図６Ｃは、そのような没入型写真のビューポートをレンダリングするための幾何学形状を図示するアラインメント６５０を示す。アラインメント６５０では、没入型写真は、ビューポート６６０および焦点６６１を有する仮想カメラに従ってレンダリングされる。図２Ｂと異なり、焦点は、アラインメント６５０によって封入されず、したがって、焦点の周囲のいくつかの角度は、ビューポート空間内に含まれないので、焦点６６１の周囲の全ての角度が、画像をレンダリングするわけではないこともある。観察者は、代わりに、アラインメント６５０の表面に沿って焦点を移動させ得る。頻繁に、医療提供者は、このエリアを観察することに関心があるので、ビューポート選択のこの限定された制御は、適切であり得る。
【０１１０】
図２Ｂに関して上で説明されるように、仮想カメラを移動させ、したがって、異なるビューポートを選択する観察者の能力は、レンダリングされた画像上で奥行きおよび深度の感覚を授ける。
【０１１１】
図７は、図６Ａに図示される歯科トレイ撮像デバイス６００のシステム図７００である。口腔内没入型写真カメラ６００は、そのカメラヘッド６１０が異なる形状を有し得ることを除いて、カメラ３００と類似する。特に、カメラヘッド６１０は、図６Ａに関して上で説明されるように、歯科トレイ６０２を含む。再び、カメラヘッド６１０は、例えば、図５に関して説明されるハンドル３２０と類似するハンドル６２０に取り外し可能に接続され得る。
【０１１２】
このように、異なるビューポート空間を有する没入型写真の捕捉を可能にする種々のデバイスが、開示される。
（ＩＩＩ．矯正ブラケットの設置を誘導するためのシステムおよび方法）
【０１１３】
システムおよび捕捉された没入型写真が、図８−１０および１１Ａ−Ｂに図示されるように、矯正ブラケットの設置を誘導するために使用され得る。
【０１１４】
図８は、歯科測定値を含む没入型写真モデルを生成し、生成された没入型ビューおよび歯科測定値を使用して矯正ブラケットを設置する場所を決定し、矯正ブラケットの設置を誘導するために決定された場所を使用するためのシステム８００のアーキテクチャ図を図示する。
【０１１５】
システム８００は、例えば、患者が処置される部屋を含む歯科オフィス内に位置し得る種々のコンポーネントを含む。システム８００は、没入型カメラデバイス６００と、口腔内カメラ８５２と、タブレット８０６とを含み、それらの各々は、互いに、またはベースステーション８０４とＷｉ−Ｆｉ等で無線通信し得る。ベースステーション８０４は、没入型カメラデバイス６００のための、および、おそらく口腔内カメラ８５２のためのクレードル８１２および８１４を含む。口腔内カメラ８５２は、例えば、米国特許第９，６２９，５３２号（参照することによってその全体として本明細書に組み込まれる）に説明されるような歯科ミラーに統合され得る。
【０１１６】
ベースステーション８０４は、複数のカメラデバイス６００および８５２が同じ部屋内で使用されることを可能にする。例えば、助手が患者上で１つのミラーを使用し得る一方、歯科医が同じ患者上で別のものを使用する。ベースステーション８０４は、複数のクレードル８１２および８１４を含み、複数のデバイスがドッキングすることを可能にする。
【０１１７】
医療提供者がもはやデバイス６００および８５２を使用しなくなると、医療提供者は、それらをクレードル８１２および８１４上に設置し得る。デバイス６００および８５２が、クレードル８１２または８１４とドッキングされると、ベースステーション８０４は、それらを充電し得る。上でも説明されるように、クレードル８１２または８１４とドッキングされると、デバイス６００または８５２は、それらのジャイロスコープおよび加速度計を較正すること、またはそれらの内部メモリに記憶されたデータを転送することを行い得る。
【０１１８】
ベースステーション８０４は、デバイス６００および８５２との通信も提供する。特に、カメラデバイス６００および８５２は、画像、場所、または他のデータをベースステーション８０４に伝送し、ベースステーション８０４は、タブレット８０６上での表示のために情報を伝送する。ベースステーション８０４は、Ｗｉ−Ｆｉルータとしての機能を果たし、ネットワークルーティングおよびアドレス情報をカメラデバイス６００および８５２に提供し得る。画像またはビデオの全ての組がメモリに記憶されているが、例えば、没入型カメラデバイス６００は、その場所、および、おそらく捕捉されている画像またはビデオの部分的表現を無線で伝送し得る。これは、伝送帯域幅をオーバーフローすることなく、タブレット８０６が、患者の口の口腔内エリアのどれが現在すでに捕捉されており、どれが捕捉されていないかの指示を表示することを可能にし得る。
【０１１９】
ベースステーション８０４は、インターネット等の１つ以上のネットワーク８５４を介して医療記録サーバ８５６に接続される。ベースステーション８０４は、歯科オフィス内の無線または有線ＬＡＮのいずれかを通してインターネットに接続され得る。サーバ８５６は、１つ以上の遠隔コンピュータにおいて実行するように適合されるコンピュータ化プロセスである。サーバ８５６は、例えば、クラウドサーバであり得る。サーバ８５６は、アーカイブ医療記録データベース８５８にさらに接続される。医療記録データベース８５８は、没入型写真および歯科印象を生成するために使用されるカメラ６００および８５２から収集された画像情報を含む医療記録情報を記憶する。
【０１２０】
矯正端末８６０は、専門家が没入型写真および歯科測定値に基づいて矯正ブラケットの設置を決定するために使用し得る端末である。矯正端末８６０は、図９により詳細に図示される。
【０１２１】
図９は、患者の歯の没入型ビューおよび歯科測定値を使用して矯正ブラケットを設置する場所を決定するために、専門医によって使用される矯正端末８６０を含むシステム９００を図示する。専門医は、例えば、別の医師のためのサービスとして設置場所を決定し得る、または患者のセッションを準備する矯正歯科医であり得る。矯正端末８６０は、インターネット等の１つ以上のネットワーク８５４を経由して医療記録サーバ８５６と通信する。ある実施形態では、矯正端末８６０は、医療記録サーバ８５６でホストされるウェブベースのアプリケーションである。矯正端末８６０は、画像ビューワモジュール９０２と、ブラケット位置決めモジュール９０４と、レンダラモジュール９０６と、ブラケット選択モジュール９０８とを含む。
【０１２２】
ブラケットを位置付ける前、ブラケット選択モジュール９０８は、ブラケットライブラリ９１０に記憶される複数の異なるタイプの矯正ブラケットから使用されるべき矯正ブラケットを選択し得る。ブラケット選択モジュール９０８は、ネットワーク８５４を介して医療記録サーバ８５６に接続することによってブラケットライブラリ９１０に接続し得る。各タイプの矯正ブラケットは、異なる歯解剖学的構造のために設計されるか、または、異なる所望の矯正目標を達成するために設計される。ブラケット選択モジュール９０８は、医師からの入力に基づいて、矯正ブラケットを選択し得る。代替として、ブラケット選択モジュール９０８は、画像データを分析し（またはサーバ８５６からそのような分析を要求し）、歯番号（例えば、第１の小臼歯）、および、おそらく患者の歯のサイズおよび形状を決定し、これらの値を使用して、ブラケットを選択し得る。
【０１２３】
画像ビューワモジュール９０２は、没入型ビューのビューポートに対してレンダリングされた画像上で医療専門家によって選択された場所を示す入力を受信するように構成される。例示的動作では、画像ビューワモジュール９０２は、医療記録サーバ８５６から患者に関する没入型ビューをダウンロードし得る。次いで、画像ビューワモジュール９０２は、表示のためにビューポートに没入型ビューのパースペクティブをレンダリングし得る。ビューポート上で、医療専門家は、患者の歯の上の矯正ブラケットを設置すべき位置を選択する。代替では、画像ビューワモジュール９０２は、所望のビューポートを決定し、医療記録サーバ８５６からビューポートのレンダリングを要求する。ビューポートレンダリングに対応する受信された画像が、次いで、表示される。
【０１２４】
１つ以上のビューポート内の１つ以上の選択された位置に基づいて、ブラケット位置決めモジュール９０４は、没入型写真モデル上の対応する位置を決定する。ある実施形態では、ブラケット位置決めモジュール９０４は、光線をビューポートの焦点から入力に基づいて決定された方向に延長し得る。次いで、ブラケット位置決めモジュール９０４は、焦点と知覚された患者の歯との間の推定された距離における光線に沿った場所を決定し得る。代替として、ブラケット位置決めモジュール９０４は、医療提供者がビューポート上で行った選択に基づいて、２つ以上のビューポートの２つ以上の焦点から延長される種々の光線間の交点を決定し得る。交点は、患者の歯の知覚された位置上に矯正ブラケットの３Ｄモデルを設置するための没入型写真モデルの他の要素の位置に対する３次元空間内の位置を示す。これは、例えば、図１Ａ−Ｂに図示される。ブラケット位置決めモジュール９０４は、歯科測定値に基づいて、シミュレートされたブラケットが知覚された患者の歯の寸法に適合するためのスケーリングも決定し得る。ブラケット位置決めモジュール９０４は、矯正ブラケットの３Ｄモデルをさらに位置決めし、矯正ブラケットのモデルと患者の歯の知覚された位置との間のスペーサを可能にし得る。
【０１２５】
ブラケットが選択された位置に設置される場合に見えるであろう様子をプレビューするために、画像ビューワモジュール９０２は、矯正ブラケットの３Ｄモデルを没入型ビュー写真モデル上に重ね合わせ得る。ビューポートを通した組み合わせられたモデルのレンダリングされた画像は、患者の歯の上の矯正ブラケットの設置のために選択する場所を医療専門家に示す。画像ビューワモジュール９０２は、レンダラモジュール９０６から組み合わせられた画像を受信し得る。
【０１２６】
レンダラモジュール９０６は、没入型ビュー写真モデルと組み合わせられた矯正ブラケットの３Ｄモデルのパースペクティブをレンダリングし、患者の口のビューおよび重ね合わせられた矯正ブラケットの画像を生成するように構成される。レンダラモジュール９０６は、適切な基準系において、ブラケット位置決めモジュール９０４によって決定された位置に置かれているように矯正ブラケットの３Ｄモデルをレンダリングし得、それによって、レンダリングされた画像は、没入型ビューの所望のパースペクティブから患者の歯に取り付くように位置付けられた矯正ブラケットを示す。医師は、次いで、適切な場合、シミュレートされたブラケットの位置またはスケーリングを調節するために、制御を入力し得る。レンダラモジュール９０６は、矯正ブラケットのモデルと患者の歯の画像との間のスペーサもレンダリングし得る。
【０１２７】
このように、システム９００は、医師が、没入型ビューおよび歯科測定値を使用して矯正ブラケットの設置を決定することを可能にする。システム９００の動作が、図１０にさらに図示される。
【０１２８】
図１０は、没入型ビューおよび歯科測定値を使用して矯正ブラケットを設置する場所を決定する方法１０００を図示する、フローチャートである。
【０１２９】
方法１０００は、ステップ１０５２において開始され、医療提供者１０１０が、没入型ビューおよび歯科測定値を生成するための画像および位置データを収集する。そのデータは、図３および６Ａに関して先に説明されるデバイスを使用して収集され得る。そのデータは、最終的に、医療記録サーバ８５６に伝送される。
【０１３０】
ステップ１０５４において、医療記録サーバ８５６は、収集された画像データおよび関連付けられる位置データを使用し、患者の口の口腔内環境の少なくとも１つの没入型ビューを生成し、おそらく測定値も生成する。医療記録サーバ８５６は、没入型ビュー、または代替として、没入型ビューのパースペクティブのレンダリング、および、おそらく歯科測定値を矯正端末８６０に提供する。
【０１３１】
ステップ１０５６において、矯正端末８６０は、没入型写真モデルのレンダリングされたビューポート上で医療専門家によって選択された場所を示す入力を受信する。入力は、図９に議論されるように、患者の歯の上の矯正ブラケットを設置すべき位置を示す。
【０１３２】
ステップ１０５８において、矯正端末８６０は、医療専門家によって選択された１つ以上の写真上の場所に基づいて、患者の歯の上の初期ブラケット位置を決定する。
【０１３３】
ステップ１０６０において、矯正端末８６０は、矯正ブラケットの合成３Ｄモデルを没入型写真モデル上に重ね合わせる。成果は、医療専門家に患者の歯の上の矯正ブラケットの設置を図示する。
【０１３４】
重ね合わせられたモデルに基づいて、医療専門家は、ステップ１０６２において、ブラケット設置が正しいかどうかを示す。ブラケット設置が正しくない場合、医療専門家は、それが正しくなるまで調節を行うことができる。ブラケット設置が正しい場合、矯正端末８６０は、矯正ブラケットを設置する没入型ビュー写真モデル内の位置を医療記録サーバ８５６に伝送する。医療記録サーバ８５６は、ステップ１０６４において、ブラケットに関する設置情報を記憶する。
【０１３５】
最後に、ステップ１０６６において、医療提供者１０１０は、記憶されたブラケット位置情報を使用し、ブラケットの設置を誘導することができる。例えば、医療提供者１０１０は、図１１Ａに図示されるように、ブラケットが患者の歯の上で設置されるべき場所を示すモニタを視認し得る。
【０１３６】
図１１Ａは、矯正ブラケットの設置を誘導するためのシステムを含む歯科オフィスの部屋１１００を図示する。部屋１１００は、患者１１０８の歯の上にブラケットを設置するためにブラケット設置ツール１１０２を利用する医療提供者１０１０を示す。
【０１３７】
ベースステーション８０４は、どのタイプのブラケットが使用されるかに関して医療提供者１０１０に指図するために、タブレット８０６にメッセージを送信し得る。ブラケット設置ツール１１０２は、医療提供者１０１０が、矯正ブラケットを把持し、それを患者１１０８の歯の上に位置付け、それが所望の場所に設定されると、ブラケットを解放することを可能にし得る。
【０１３８】
加えて、医療提供者１０１０は、患者の口のビデオを捕捉するために、口腔内カメラ８５２を使用している。タブレット８０６は、口腔内カメラ８５２から捕捉されたビデオを示す。特に、ビデオは、医療提供者１０１０が現在患者１１０８の歯の上に位置付けている矯正ブラケット１１２０を示す。ブラケットを設置する患者の歯の上の場所として以前に選択された位置を示すマーキングが、ビデオ上に重ね合わせられる。マーキング１１２２は、患者１１０８の歯の上に矯正ブラケットを設置することにおいて医療提供者１０１０を誘導する。ビデオは、カメラ８５２からタブレット８０６にベースステーション８０４を通してストリーミングされ得、ベースステーション８０４は、ビデオがタブレット８０６にストリーミングされる前にマーキング１１２２を重ね合わせ得る。このように、歯科医または助手は、患者の歯の上の正しい場所にブラケットを設置するための補助として、カメラ８５２において捕捉された画像のレンダリングからもたらされるレンダリングされた画像および重ね合わせられたマーキング１１２２を観察し得る。したがって、医療提供者は、ブラケット１１２０を正しく設置する目標に向けた改良された視覚ガイダンスを有する。ブラケットの寸法と比較したときに長い距離から患者の口の内側のブラケットを単に見る代わりに、医療提供者は、ビデオの拡大を示すより大きいディスプレイを一瞥することができ、ビデオの拡大は、標的設置と比較したとき、現在のブラケット設置が近接する程度をより正確に評価することを可能にする。ある実施形態では、マーキング１１２２は、ブラケットの合成３Ｄモデルのレンダリングである。
【０１３９】
ある実施形態では、医療提供者が患者の歯の上に矯正ブラケットを設置すると、カメラ８５２は、患者の歯の評価画像を捕捉し得る。ベースステーション８０４は、評価画像において、矯正ブラケットが位置している場所を決定し得る。ベースステーション８０４は、矯正ブラケットの決定された場所をマーキング１１２２によって示されるような所望の位置と比較し得る。矯正ブラケットの決定された場所が示される位置に対応していないと決定されると、ベースステーション８０４は、医療専門家にアラートするためのメッセージを送信し得、ブラケットが移動すべき方向および量さえも誘導し得る。
【０１４０】
代替として、タブレット８０６は、２つのビデオを表示し、一方は、カメラ８５２によって捕捉されているビデオであり、他方は、ブラケットの合成３Ｄモデルと重ね合わせられた没入型写真モデルの対応するビューポートのレンダリングである。カメラ８５２の運動は、対応する画像が連続的に表示されるように、ビューポートの選択を制御し得る。医療提供者１０１０は、両方の画像上のブラケットの設置が合致していると満足するまで、表示されているビデオを連続的に比較しながら歯の上にブラケットを設置し得る。
【０１４１】
このように、実施形態は、単一の歯接合治具の不正確な位置付けなしに、各歯のための設置情報を別個に提供する。
【０１４２】
ブラケットが落下する場合、または除去される必要性がある場合、医療提供者１０１０は、ブラケットを交換するためにシステムを使用し得る。歯が口内ですでにシフトした場合であっても、その形状は、そのままである。シミュレートされたブラケットは、依然として、専門家によって選択されたブラケット位置を示し、交換のための基準として使用されることができる。
【０１４３】
さらに、別の歯科没入型モデルの取得が、容易であり、歯科医は、再位置付けの直前に１つを取得し、したがって、基準として最新モデルを使用し得る。したがって、没入型写真は、歯科オフィスへの患者の訪問中に取得されることができる。これらは、続けて、進行の評価のために専門家に送信されることができ、再位置付けまたは交換が必要である場合、専門家は、初期設置と同じプロセスに従うことができるが、ここでは、整列させられた画像は、歯に取り付けられる本物のブラケットも含む。
【０１４４】
図１１Ｂは、図１１Ａの室内システム１１００の構成要素をより詳細に図示する略図１１５０である。
【０１４５】
上で説明されるように、口腔内カメラ８５２は、ビデオをベースステーション８０４にストリーミングする。ベースステーション８０４は、捕捉モジュール１１５２と、設置誘導モジュール１１５４と、評価モジュール１１５６と、交換モジュール１１５８とを含む。
【０１４６】
医療提供者が矯正ブラケットを設置しているとき、捕捉モジュール１１５２は、口腔内カメラ８５２から受信されるビデオを受信し、場合によってはバッファリングすることによって、患者の歯のビデオを捕捉する。捕捉モジュール１１５２は、評価モジュール１１５６のために患者の歯の評価画像も捕捉し得る。
【０１４７】
設置誘導モジュール１１５４は、ブラケットのための所望の位置を示すマーキングをビデオ上に重ね合わせる。所望の位置は、例えば、医療記録サーバ（図示せず）から読み出され得る。マーキングを重ね合わせることによって、設置誘導モジュール１１５４は、患者の歯の上に矯正ブラケットを設置することにおいて医療提供者を誘導する。設置誘導モジュール１１５４は、医療提供者を誘導するために、口腔内カメラから捕捉されたビデオ上にマーキングを重ね合わせ得る。別の実施形態では、設置誘導モジュール１１５４は、口腔内カメラから収集されたビデオと並べて表示するための別のビデオを生成し得る。他のビデオを生成するために、設置誘導モジュール１１５４は、口腔内カメラの向きに対応するようにビューポートを選択し得る。マーキングは、ビューポートのパースペクティブからの没入型写真モデルのレンダリング上に重ね合わせられ得る。これは、医療提供者のためのより正確な誘導をもたらし得る。例えば、このアプローチは、口腔内カメラの位置を決定することにおける誤差により耐性があり得る。
【０１４８】
評価モジュール１１５６は、ブラケットが正しく設置されているかどうかを決定する。ブラケットが正しく設置されているかどうかを決定するために、評価モジュール１１５６は、評価画像において、矯正ブラケットが位置している場所を決定する。次いで、評価モジュール１１５６は、矯正ブラケットの決定された場所を医療記録サーバから読み出された患者の歯の上の矯正ブラケットを設置する所望の位置と比較する。矯正ブラケットの決定された場所が所望の位置に対応していないと決定されると、評価モジュール１１５６は、医療専門家にアラートするために、おそらくブラケットが所望の場所に到着するために要求される方向およびシフトも示すメッセージを送信する。
【０１４９】
患者の歯が移動した後に矯正ブラケットが取り外された場合、交換モジュール１１５８は、歯のシフトを補償するためにシステムを設定することにおいて医療提供者を支援する。ブラケットが交換されるべきとき、医療記録サーバに記憶された没入型ビューが最新ではなく、したがって、処置されている歯の位置または回転の変化を反映していないことがあり得る。交換モジュール１１５８は、医療提供者が仮想カメラに対するシフトを決定することを可能にし、それによって、没入型ビューに適用されるような処置されている特定の歯のパースペクティブの選択は、口腔内カメラ８５２からのビューに対応するであろう。この設定の後、他の歯のパースペクティブが対応しないであろうことが、あり得る。設置誘導モジュール１１５４は、マーキングを重ね合わせることができ、評価モジュール１１５６は、ブラケットが患者の歯の上の同様の場所で交換されることを確実にするために、アラートメッセージを送信することができる。
【０１５０】
タブレット８０６は、ベースステーション８０４と無線通信するユーザインターフェースアプリケーション１１６０を実行する。ユーザインターフェースアプリケーション１１６０は、画像センサから収集され、ベースステーション８０６によって処理された画像を患者に表示することが可能である。
【０１５１】
実施形態では、モジュールのうちのいくつかは、少なくとも部分的にクラウドコンピュータ等の遠隔コンピュータにおいて動作し得る。
【０１５２】
このように、実施形態は、没入型ビューおよびデジタル歯科印象を使用して、矯正ブラケットの設置を誘導する。
（ＩＶ．没入型ビューおよび歯科印象を生成するためのシステムおよび方法）
【０１５３】
画像データから没入型ビューおよびデジタル歯科印象を生成するシステムおよび方法が、図１２および１３Ａ−Ｂに関して説明される。歯科印象または没入型ビューを生成することは、かなりの算出能力を要求し得る。例えば、多数の２Ｄ画像を１つの没入型ビューに適切に縫い合わせ、歯科測定値を決定し、口腔内表面を決定し、印象を生産することは、かなりのメモリまたは処理能力を要求し得る。これに対処するために、実施形態は、没入型写真モデルおよび印象生成をデータ取得から分離する。特に、データは、歯科オフィス内でカメラデバイスおよびベースステーションを使用して取得され得、ベースステーションは、図１２に図示されるように、処理のために遠隔サーバにデータを伝送し得る。
【０１５４】
図１２は、画像データから没入型写真モデルおよび歯科印象を生成するためのシステム１２００を図示する。図１２は、没入型写真モデルおよび歯科印象を生成するためにサーバを伴うシステム１２００を図示する。図８のシステムのように、システム１２００は、口腔内没入型写真カメラ３００と、１つ以上のネットワーク８５４によって医療記録サーバ８５６に接続されるベースステーション８０４とを含む。
【０１５５】
医療記録サーバ８５６は、矯正モジュール１２１２と、点群発生器モジュール１２１４と、歯科印象発生器モジュール１２１６と、没入型写真モデル発生器モジュール１２１８とを含む。医療記録サーバ８５６は、患者没入型写真データベース１２２０および患者モデルデータベース１２２２にも結合される。
【０１５６】
医療記録サーバ８５６は、（ｉ）患者の口の内部の複数の写真、（ｉｉ）それぞれの写真に関する関連付けられる位置情報、および、（ｉｉｉ）それぞれの写真が照らされた方法を説明する情報を受信する。複数の写真は、口腔内没入型写真カメラ３００に取り付けられた１つ以上の画像センサから収集され、複数の写真の各々は、少なくとも部分的に複数の写真のうちの別の１つと重複する。収集されると、それらは、患者没入型写真データベース１２２０にそれらのそれぞれの位置情報とともに記憶される。
【０１５７】
矯正モジュール１２１２は、ブラケット設置データベース１２２１にブラケット設置データを記憶し、それを維持する。ブラケット設置データは、各歯の上に矯正ブラケットを設置するために専門家によって選択された場所であり得る。
【０１５８】
点群発生器モジュール１２１４は、位置情報から点群を生成し、それを以前の歯科セッション中に生成された点群に整列させ、異なる歯科セッションにおいて捕捉された画像のアラインメントを可能にする。点群発生器モジュール１２１４は、画像が捕捉されるときに画像センサの位置を分析し、歯科オフィスの部屋内の有意義な場所、例えば、患者の口が処置中に見出され得るエリアに対応する位置を識別し、画像内の特徴を検出し、画像間の共通特徴を識別し、カメラの既知の向き情報を使用して３次元空間内のそれらの特徴の位置を三角測量することによって点群を生成し得る。
【０１５９】
没入型写真モデル発生器モジュール１２１８は、２つ以上の写真間で合致する重複する部分における特徴を決定する。それぞれの写真および合致する特徴に関する関連付けられた位置情報に基づいて、没入型写真モデル発生器モジュール１２１８は、複数の写真を適切な形状にマッピングする（例えば、図２Ａ−２Ｂに関して説明されるような球体に、または図６Ｂ−６Ｃに関して議論されるようなトラフに類似する形状に、もしくは使用されている没入型カメラの設計のために適切であるような異なる形状にマッピングする）。次いで、没入型写真モデル発生器モジュール１２１８は、マッピングが患者の口内の位置とビューポート空間との間に作成されるように、患者の口の内部の複数の写真を捕捉された画像を表す没入型写真モデルに縫い合わせる。ステレオ没入型写真を生産するために、没入型写真モデル発生器モジュール１２１８は、両方の視覚情報がステレオ画像に組み合わせられ得るように、２つの没入型ビューを水平変位において縫い合わせる。水平軸は、例えば、仮想カメラの基部に平行であり得る基準３Ｄ空間の水平面に平行であるように選択される。実施形態では、没入型写真モデル発生器モジュール１２１８は、互いにある角度にある２つの組み込まれたカメラによって捕捉される２つの画像のパースペクティブを変換し、それによって、変換後、画像は、互いに平行なそれらの視野の中心を有する２つのカメラによって捕捉されたように見える。
【０１６０】
生成されると、没入型写真モデル発生器モジュール１２１８は、没入型モデルを患者モデルデータベース１２２２に記憶する。患者モデルデータベース１２２２は、患者の口の履歴没入型画像を含む履歴患者モデル情報を記憶する。患者モデルデータベース１２２２は、没入型画像の部分を互いに関係付け、および、患者の口の同様のエリアの他の画像と関係付け得る。他の画像は、例えば、Ｘ線画像であり得る。生成および記憶されると、没入型ビューのビューポートに対してレンダリングされた画像が、表示のために読み出され得る。
【０１６１】
医療記録サーバ８５６は、没入型ビューを生成することができるだけではなく、医療記録サーバ８５６は、歯科印象を生成することもできる。歯科印象を生成するために、医療記録サーバ８５６は、特徴合わせおよび三角測量を使用して、口内の物体の表面上の点を決定する歯科印象発生器１２１６を使用する。歯科印象発生器１２１６は、下で議論される影からの形状技法を含む画像分析技法を使用し得る。表面点から、歯科印象発生器１２１６は、患者の口の歯科印象を生成する。歯科印象は、表面点に適合する３Ｄメッシュであり得る。
【０１６２】
一実施形態では、立体照明が、歯科印象情報を生成するために使用され得る。カメラ３００は、画像を捕捉する間、光パターンを投影し、その後、画像内の物体上に現れるような光の形状が、物体の３Ｄ形状を測定するために分析される。例えば、カメラ３００は、縞状パターンにおいて光を投影し得る。光の縞は、それらが照らす物体の曲率に従う傾向がある。縞がカメラによって捕捉される画像内の口腔内物体上に現れる方法を分析することによって、物体の表面に関する情報が、決定され得る。
【０１６３】
図１３Ａ−Ｂは、口腔内環境の３Ｄモデルを決定するために、患者の口自体の中の物体によって投影される影から形状を決定することを図示する。
【０１６４】
特に、図１３Ａ−Ｂは、口腔内カメラからの様々な照明が患者の歯の３Ｄ形状に関する情報を提供し得る方法を図示する略図である。図１３Ａは、カメラ３００を伴う略図１３００を示す。カメラ３００は、１つ以上の画像センサ５０３と、複数の光源５０４Ａ−Ｂとを有する。光源５０４Ａ−Ｂは、カメラ３００内の異なる開口部から光を放出する。カメラ３００は、患者の歯１３１０、特に、歯１３０９の画像を捕捉するように位置付けられる。
【０１６５】
略図１３００では、光源５０４Ａが照らされる一方、光源５０４Ｂは、照らされない。変動する照明により、歯１３０９は、影１３０８を投じる。画像センサ５０３は、歯１３０９および影１３０８の両方を含む画像を捕捉する。画像から、歯１３０９の３Ｄ形状についての情報が、決定されることができる。特に、画像の輝度が、影１３０８が位置する場所を決定するために分析されることができる。影１３０８を占める画像の場所は、光源５０４Ａのパースペクティブから歯１３１０の３Ｄ形状によって不明瞭にされる一方、画像の残りは、そうではない。
【０１６６】
図１３Ｂは、図１３Ａの略図１３００とは異なるように照らされるカメラ３００を図示する略図１３５０を示す。略図１３００および１３５０では、カメラ３００は、歯１３１０に対して実質的に同じ位置および向きを有する。略図１３００では、光源５０４Ａは、照らされる一方、光源５０４Ｂは、照らされない。しかし、略図１３５０では、その反対が、当てはまり、光源５０４Ｂは、照らされる一方、光源５０４Ａは、照らされない。異なる照明は、歯１３０４の上に異なる影１３５２を投じる。再び、影１３５２から、形状情報が、決定される。影１３５２を占める画像の場所は、光源５０４Ｂのパースペクティブから歯１３１０の３Ｄ形状によって不明瞭にされる一方、画像の残りは、そうではない。
【０１６７】
種々の光源間の照明は、迅速に変動し得、人間の眼で検出するには迅速すぎる。照明が変動するにつれて、形状情報が、患者の口、特に、歯１３１０の表面を表す表面点のメッシュを生成するために集約され得る。加えて、または代替として、光源は、赤外光等の可視スペクトル外の光を放出し得る。検出される影は、この不可視光スペクトルにおける影であり得る。
（Ｖ．結論）
【０１６８】
本明細書に開示されるデータベースおよびライブラリは、永続メモリを含む任意の記憶タイプの構造化メモリであり得る。例では、データベースは、リレーショナルデータベースまたはファイルシステムとして実装され得る。
【０１６９】
例えば、図５、７、８、９、１１Ｂ、および１２におけるプロセッサ、モジュール、端末、およびアプリケーションの各々は、コンピューティングデバイス上に実装されるハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいて実装され得る。コンピューティングデバイスは、限定ではないが、命令を実行および記憶するために、永続非一過性メモリを含む、プロセッサおよびメモリを有するデバイスを含むことができる。メモリは、データおよびプログラム命令を有形に具現化し得る。ソフトウェアは、１つ以上のアプリケーションと、オペレーティングシステムとを含み得る。ハードウェアは、限定ではないが、プロセッサ、メモリ、およびグラフィカルユーザインターフェースディスプレイを含むことができる。コンピューティングデバイスは、複数のプロセッサと、複数の共有される、または別個のメモリコンポーネントとも有し得る。例えば、コンピューティングデバイスは、クラスタ化もしくは分散コンピューティング環境またはサーバファームの一部もしくは全部であり得る。コンポーネントのうちのいずれかが、没入型カメラのヘッドまたはハンドル上に位置し得る。
【０１７０】
「（ａ）」、「（ｂ）」、「（ｉ）」、「（ｉｉ）」等の識別子が、時として、異なる要素またはステップのために使用される。これらの識別子は、明確化のために使用され、必ずしも、要素またはことに関する順序を指定するわけではない。
【０１７１】
本発明は、規定される機能およびその関係の実装を例証する機能的な基礎的要素を用いて上で説明されている。これらの機能的な基礎的要素の境界は、説明の便宜上、本明細書において恣意的に定義されている。代替境界が、規定される機能およびその関係が適切に実施される限り、定義されることができる。
【０１７２】
具体的実施形態の前述の説明は、本発明の一般的性質を完全に明らかにするので、当業者は、当技術分野内の知識を適用することによって、過度の実験を伴わず、本発明の一般的概念から逸脱することなく、種々の用途のためにそのような具体的実施形態を容易に修正および／または適合することができる。したがって、そのような適合および修正は、本明細書に提示される教示および指針に基づいて、開示される実施形態の均等物の意味ならびに範囲内にあることを意図している。本明細書における語句または専門用語は、限定ではなく、説明を目的とし、したがって、本明細書の専門用語または語句は、当業者によって教示および指針に照らして解釈されるべきであることを理解されたい。
【０１７３】
本発明の範疇および範囲は、上で説明される例示的実施形態のうちのいずれかによって限定されるべきではなく、以下の請求項およびそれらの均等物のみに従って定義されるべきである。
【図１Ａ】
2020527395.tif 000003
【図１Ｂ】
2020527395.tif 000004
【図２Ａ】
2020527395.tif 000005
【図２Ｂ】
2020527395.tif 000006
【図３】
2020527395.tif 000007
【図４Ａ】
2020527395.tif 000008
【図４Ｂ】
2020527395.tif 000009
【図５】
2020527395.tif 000010
【図６Ａ】
2020527395.tif 000011
【図６Ｂ】
2020527395.tif 000012
【図６Ｃ】
2020527395.tif 000013
【図７】
2020527395.tif 000014
【図８】
2020527395.tif 000015
【図９】
2020527395.tif 000016
【図１０】
2020527395.tif 000017
【図１１Ａ】
2020527395.tif 000018
【図１１Ｂ】
2020527395.tif 000019
【図１２】
2020527395.tif 000020
【図１３Ａ】
2020527395.tif 000021
【図１３Ｂ】
2020527395.tif 000022
【国際調査報告】
2020527395.tif 000023