(57)【要約】単色センサアレイを有する歯のカラーテクスチャ撮像の方法は、歯のビューからの画像データによる表面輪郭画像を表す３−Ｄメッシュを取得する。それぞれのビューに対して、画像データを記憶することにより、少なくとも３つの単色シェーディング画像のセットを生成する。単色シェーディング画像のそれぞれのセットは、２−Ｄカラーシェーディング画像を生成するために組み合わされ、ビューのうち１つに対応する。メッシュ内のそれぞれの多角形面は、ビューのサブセットのうち１つに割り当てられる。同じビューに割り当てられた多角形表面は、テクスチャフラグメントにグループ化される。それぞれのテクスチャフラグメント内の３−Ｄメッシュ表面に対する画像座標は、テクスチャフラグメントに関連するビュー上の頂点の投影から決定される。３−Ｄメッシュは、それぞれのテクスチャフラグメントに対応する２−Ｄカラーシェーディング画像におけるテクスチャ値でレンダリングされ、カラーテクスチャ表面輪郭画像を生成する。
2018514237.tif 000002
【特許請求の範囲】
【請求項１】
単色センサアレイを有する口腔内カメラの１つ以上の歯の３−Ｄ輪郭画像のカラーテクスチャマッピング方法であって、
前記１つ以上の歯の複数のビューから記録された画像データによる前記１つ以上の歯の３−Ｄ表面輪郭画像を表す３−Ｄメッシュを取得することであって、前記複数のビューのそれぞれに対し、画像データを記録することは、前記１つ以上の歯上の少なくとも３つの異なるスペクトル帯の光を投影し、前記単色センサアレイ上に前記対応する画像データを記録することによって、少なくとも３つの単色シェーディング画像の複数のセットを生成することを含む、前記取得することと、
複数の２−Ｄカラーシェーディング画像のそれぞれを生成するために前記少なくとも３つの単色シェーディング画像のセットのそれぞれを組み合わせることであって、前記複数の２−Ｄカラーシェーディング画像のそれぞれは前記複数のビューのうち１つに対応する、前記組み合わせることと、
前記１つ以上の歯の前記３−Ｄ表面の輪郭画像を表す前記３−Ｄメッシュにおけるそれぞれの多角形の表面を前記複数のビューのサブセットのうち１つに割り当てることと、
前記同じビューに割り当てられた３−Ｄメッシュ多角形表面をテクスチャフラグメントにグループ化することと、
前記テクスチャフラグメントに関連する前記ビュー上の前記頂点の投影からのそれぞれのテクスチャフラグメントにおける前記３−Ｄメッシュ多角形表面の頂点に対する画像座標を決定することと、
前記決定された画像座標によりそれぞれのテクスチャフラグメントに対応する前記２−Ｄカラーシェーディング画像におけるテクスチャ値で前記３−Ｄメッシュをレンダリングして、前記１つ以上の歯のカラーテクスチャ３−Ｄ表面の輪郭画像を生成することと、を含む、前記方法。
【請求項２】
前記１つ以上の歯の前記３−Ｄ表面の輪郭画像を形成するそれぞれの３−Ｄメッシュ多角形表面を前記複数のビューのサブセットのうちの前記１つに割り当てることは、
前記１つ以上の歯の前記３−Ｄ表面輪郭画像を形成する３−Ｄメッシュ多角形表面を識別することと、
それぞれの３−Ｄメッシュ多角形表面を最も近い配向アラインメントを有するビューと照合することと、を含む、請求項１に記載の方法。
【請求項３】
前記１つ以上の歯の前記生成されたカラーテクスチャ３−Ｄ表面輪郭画像を記憶する、送信する、または表示することをさらに含む、請求項１に記載の方法。
【請求項４】
それぞれのテクスチャフラグメントに対応する前記２−Ｄカラーシェーディング画像におけるすべての領域に対してグローバルテクスチャマップを生成することと、
（ｉ）前記１つ以上の歯の前記３−Ｄ表面輪郭画像を表す前記３−Ｄメッシュ、
（ｉｉ）それぞれのテクスチャフラグメントの前記３−Ｄメッシュ多角形表面の頂点に関連付けられた前記画像座標、及び
（ｉｉｉ）前記グローバルテクスチャマップのいずれかを記憶する、送信する、または表示することと、をさらに含む、請求項１に記載の方法。
【請求項５】
前記グローバルテクスチャマップは、前記テクスチャフラグメントに関連付けられた前記２−Ｄテクスチャシェーディング画像の一部の縮小表示であり、前記１つ以上の歯の前記カラーテクスチャの３−Ｄ表面輪郭画像をレンダリングするために使用される、請求項４に記載の方法。
【請求項６】
テクスチャ値により隣接するテクスチャフラグメント表面間の境界を平滑化することをさらに含む、請求項１に記載の方法。
【請求項７】
前記少なくとも３つの単色シェーディング画像のそれぞれのセットを組み合わせることは、
前記少なくとも３つの単色シェーディング画像の前記それぞれのセットのうち個々を互いにレジスタすることと、
前記少なくとも３つの単色シェーディング画像の前記レジスタされたセットからのデータを組み合わせて、前記１つ以上の歯の単一のビューを有する１つのカラーシェーディング画像を生成することと、を含む、請求項１に記載の方法。
【請求項８】
前記少なくとも３つの単色シェーディング画像を互いに前記レジスタすることは、２−Ｄ特徴の抽出、及び前記少なくとも３つの単色シェーディング画像間の変換を含む、請求項７に記載の方法。
【請求項９】
前記１つ以上の歯の前記３−Ｄ表面輪郭画像を表す前記３−Ｄメッシュを取得することは、
前記１つ以上の歯上に構造化パターンの投影から記録された画像データにより前記３−Ｄメッシュを生成することを含む、請求項１に記載の方法。
【請求項１０】
前記表面輪郭画像を生成することは、複数の構造化パターンのそれぞれに対し、前記１つ以上の歯上に前記構造化パターンを投影することと、前記構造化パターンから単色センサアレイ上に画像データを記録することと、を含み、前記口腔内カメラが移動または静止しているときに前記構造化パターンの前記投影が実行され、前記複数の構造化パターンは多数の光の線を有するシフトされたバージョンのパターンを含み、前記構造化パターンを投影することは、デジタルマイクロミラーアレイに通電すること、または液晶デバイスに通電することと、を含む、請求項９に記載の方法。
【請求項１１】
少なくとも３つの単色シェーディング画像を生成することは、
前記１つ以上の歯上に第１のスペクトル帯の光を投影し、前記単色センサアレイに第１のカラー成分画像データを記録することと、
前記１つ以上の歯上に第２のスペクトル帯の光を投影し、前記単色センサアレイに第２のカラー成分画像データを記録することと、
前記１つ以上の歯上に第３のスペクトル帯の光を投影し、前記単色センサアレイに第３のカラー成分画像データを記録することと、を含み、
前記口腔内カメラが移動または静止しているときに、前記投影光の投影及びカラー成分画像データの記録が実施される、請求項１に記載の方法。
【請求項１２】
前記少なくとも３つの単色シェーディング画像のそれぞれのセットを前記組み合わせることは、カラー較正データを有するそれぞれの画像画素に対して前記記録された第１、第２及び第３のカラー成分画像データを組み合わせて、前記画素に対するカラー値のセットを生成することを含み、前記カラー較正データは、所定のカラーの線形較正行列である、請求項１１に記載の方法。
【請求項１３】
第１の電力レベルで構造化パターンを投影することと、前記第１の電力レベルとは異なる第２の電力レベルで少なくとも１つのスペクトル帯の光を投影することと、をさらに含む、請求項１２に記載の方法。
【請求項１４】
前記構造化パターンを投影することが前記１つ以上の歯上に前記第１のスペクトル帯の偏光を投影することを含むか、または前記１つ以上の歯上に前記第１のスペクトル帯の光を投影して第１のカラー成分画像データを記録することが非偏光を投影することを含む、請求項１２に記載の方法。
【請求項１５】
レンダリングは、前記１つ以上の歯の前記生成されたカラーテクスチャ３−Ｄ表面輪郭画像の少なくとも一部を表示することを含む、請求項１に記載の方法。
【請求項１６】
それぞれのテクスチャフラグメントに対応する前記２−Ｄカラーシェーディング画像におけるカラー値を混合することをさらに含む、請求項１に記載の方法。
【請求項１７】
境界条件としてそれぞれのテクスチャフラグメントのすべてのエッジに沿う色差を計算することと、それぞれのテクスチャフラグメント内のすべての画素に対し補間された色差を計算することと、元のカラーシェーディング画像の混合されたバージョンとしてそれぞれのテクスチャフラグメント内の画素に前記補間された色差を適用すること、とをさらに含む、請求項１６に記載の方法。
【請求項１８】
歯の３−Ｄ表面輪郭のカラー画像をレンダリングする方法であって、少なくとも部分的にはコンピュータシステムで実行され、
歯の複数のビューから記録された画像データによる複数の多面として前記歯の３−Ｄ表面輪郭画像を表す３−Ｄメッシュを取得することと、
前記３−Ｄメッシュを使用する前記表面輪郭画像をレンダリングするための輪郭画像のビューポーズを識別することと、
複数の２−Ｄカラーシェーディング画像を有するセットを取得することであって、それぞれの２−Ｄカラーシェーディング画像は対応する２−Ｄビューポーズを有し、第１のスペクトル帯の照度を有する第１の単色画像と、第２のスペクトル帯の照度を有する第２の単色画像と、第３のスペクトル帯の照度を有する第３の単色画像とを組み合わせることによって形成され、
前記第１、第２、及び第３のスペクトル帯が実質的に重複しない場合には、前記セットにおけるそれぞれの２−Ｄカラーシェーディング画像に対する前記第１、第２、及び第３の単色画像は同じ対応する２−Ｄビューポーズで取得され、単色センサアレイで取得される、前記取得することと、
前記輪郭画像ビューポーズでの３−Ｄメッシュの多角形面のそれぞれを２−Ｄカラーシェーディング画像の前記セットのうち１つに関連付ける関係によって前記３−Ｄ表面輪郭のカラー画像をレンダリングすることと、を含む、前記方法。
【請求項１９】
前記３−Ｄ表面輪郭画像をレンダリングすることは、前記３−Ｄメッシュのそれぞれの多角形面に対して、前記２−Ｄカラーシェーディング画像の一部を、前記３−Ｄメッシュにおける前記多角形面を定義する特徴点を前記関連する２−Ｄカラーシェーディング画像の対応する画素にマッピングすることによって定義される前記対応する多角形面にマッピングすることをさらに含む、請求項１８に記載の方法。
【請求項２０】
前記３−Ｄメッシュの第１及び第２の隣接する多角形面は、２−Ｄカラーシェーディング画像の前記セットの２つの異なる部材にそれぞれ関連する、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して表面形状撮像の分野に関し、より具体的には、口腔内の用途における３−Ｄカラー画像の表面撮像及び表示に関する。
【背景技術】
【０００２】
表面輪郭情報は、歯の状態の評価に特に有用であることができ、歯科の修復のような様々な種類の歯科処置に有用である。医療、産業、及びその他の用途において、種々の種類の物体から表面輪郭情報を取得するためにいくつかの技術が開発されてきた。光学式３次元（３−Ｄ）測定方法は、表面上に向けられた光を用いて、形状及び深度情報を様々な手法で提供する。輪郭撮像に使用される撮像方法の種類のうち、一連の光のパターンを生成し、焦点または三角測量を用いて、照射された領域上の表面形状の変化を検出するものがある。
【０００３】
縞投影撮像は、パターン化または構造化光及び三角測量を用い、種々の種類の構造について表面輪郭情報を取得する。縞投影撮像では、線のパターンが、物体の表面に向かって所与の角度から投影される。次に、表面から投影されたパターンは、輪郭線の外観に基づいた表面情報を分析するために、三角測量を利用して別の角度から輪郭画像として見られる。投影されたパターンが新規の位置で追加的な測定を取得するために段階的に空間でシフトする移相は、表面の輪郭マッピングを完了するためかつ輪郭画像の全体の解像度を上げるために用いられる、縞投影撮像の一部として典型的に適用される。
【０００４】
カラーセンサアレイは、単色センサアレイよりも費用がかかり、かつより複雑である。加えて、ＲＧＢデータを直接生成するセンサアレイは、本質的により効率が低く、また口腔内撮像において一般的である状態等の低光レベルの状態に対する感度が低い。
【０００５】
費用にかかわらず、診断及び審美的な両方の目的には、３−Ｄ表面輪郭画像をカラーで提供することに価値があることが理解できる。この撮像の問題に対する既知の取組みは、ボリューム画像の領域に色を関連付ける方法を提供する。しかしながら、これらの取組みはカラーテクスチャを忠実に再現するカラーボリューム画像を提供するのに必要とされるものに及ばない。一般的に、表面のテクスチャは詳細な表面の構造に関し、撮像のコンテキストにおいては、光が表面からどのように反射するかをより正確に示す。カラーテクスチャもまた、画像におけるカラーの空間的な配置及び強さを含む。カラーテクスチャの属性は、反射または透過される光の指向性分布に基づくことができ、つや、光沢対曇り、マット、透明さ、不透明さ、明瞭さのような属性によって通常説明されるか、または粗度もしくは平滑度、陰影、及びその他の属性のような微細表面構造に関連する。カラーテクスチャの表示は、エッジの精細度の改善に関連し、例えば、口腔内の特徴、またより全体的な解剖学的特徴をより明確に視覚化することを可能にする。
【０００６】
３−Ｄ画像のカラー情報の測定を行うための提案される解決策のうち、例えば、Ｆｒａｎｅｔｚｋｉの下記特許文献１・欧州公開特許第０８３７６５９号（名称「Ｐｒｏｃｅｓｓ  ａｎｄ  Ｄｅｖｉｃｅ  ｆｏｒ  Ｃｏｍｐｕｔｅｒ−Ａｓｓｉｓｔｅｄ  Ｒｅｓｔｏｒａｔｉｏｎ  ｏｆ  Ｔｅｅｔｈ」）に記載される、カラー検出器を用いて従来の手法でカラーデータを取得して、次に、表示されるときに３−Ｄのボリューム画像に２−Ｄの赤（Ｒ）、緑（Ｇ）及び青（Ｂ）またはＲＧＢのカラー画像を重ねるということが記載されている。しかしながら、この種類のシミュレートされたカラーの解決策は、正しい３−Ｄのカラー画像データを提供しない。これは、３−Ｄの表面画像に重ねられるとき、正確にスケーリングされてボリューム画像データにレジスタされることができる条件で、下記特許文献２・欧州公開特許第０８３７６５９号に記載されているように、同時に表示され二重に重ねられるカラーコンテンツは単一の視野角のみで正確となる。任意のその他の３−Ｄ表面のビューは二重に重ね合わされたカラー画像コンテンツを有しないことになる。
【０００７】
したがって、単色センサアレイを用いた単一の画像キャプチャ装置を使用する色を示す歯の３−Ｄ画像データ及びカラーテクスチャコンテンツを提供する画像処理方法が必要であると理解できる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】欧州公開特許第０８３７６５９号
【特許文献２】欧州公開特許第０８３７６５９号
【発明の概要】
【０００９】
本願の目的は、歯及び関連する口腔内構造の表面輪郭検出技術を発展させることである。
【００１０】
本願の方法及び／または装置の実施形態は、患者から得られたボリューム画像に関連するカラーテクスチャの表示を改善する必要性に対応することができる。
【００１１】
本願の別の態様は、関連技術において少なくとも前述の及び他の欠点に全体的にまたは部分的に対処することである。
【００１２】
本願の別の態様は、少なくとも本明細書に記載された利点を全体的にまたは部分的に提供することである。
【００１３】
これらの態様は、例示的な例としてのみ与えられるものであり、かかる目的は、本発明の１つ以上の方法及び／または装置の実施形態の例であり得る。開示された発明によって本質的に達成されたその他の所望の目的及び利点は、当業者に想到され得るか明白であり得る。本発明は、添付の特許請求の範囲によって定義される。
【００１４】
本発明の一態様によると、単色センサアレイを有する口腔内カメラの１つ以上の歯の３−Ｄ輪郭画像にカラーテクスチャマッピングを形成する方法が提供され、本方法は、１つ以上の歯の複数のビューから記録された画像データによる１つ以上の歯の３−Ｄ表面輪郭画像を表す３−Ｄメッシュを取得することを含み、複数のビューのそれぞれに対して、画像データを記録することは、１つ以上の歯上の少なくとも３つの異なるスペクトル帯の光を投影することによって、少なくとも３つの単色シェーディング画像の複数のセットを生成することと、単色センサアレイ上の対応する画像データを記録することと、複数の２−Ｄカラーシェーディング画像を生成するために少なくとも３つの単色シェーディング画像のセットのそれぞれを組み合わせることであって、複数の２−Ｄカラーシェーディング画像のそれぞれは複数のビューのうち１つに対応する、組み合わせることと、１つ以上の歯の３−Ｄ表面の輪郭画像を表す３−Ｄメッシュにおけるそれぞれの多角形の表面を複数のビューのうち１つのサブセットに割り当てることと、同じビューに割り当てられた３−Ｄメッシュ多角形表面をテクスチャフラグメントにグループ化することと、テクスチャフラグメントに関連するビュー上の頂点の投影からのそれぞれのテクスチャフラグメントにおける３−Ｄメッシュ多角形表面の頂点に対する画像座標を決定することと、決定された画像座標によりそれぞれのテクスチャフラグメントに対応する２−Ｄカラーシェーディング画像におけるテクスチャ値を有する３−Ｄメッシュをレンダリングして１つ以上の歯のカラーテクスチャの３−Ｄ表面の輪郭画像を生成することと、を含む。
【００１５】
本発明の上述の及び他の目的、特徴、及び利点は、添付の図面において図示されるように、以下の本発明の実施形態のより具体的な説明から明白となるであろう。
【００１６】
図面の要素は、互いに対して必ずしも縮尺通りではない。ある程度の強調は、基本的な構造関係または動作原理を強調するために必要であり得る。例えば、電力を供給するため、パッケージのため、システム光学装置を搭載して保護するために使用される支持部品のような、記載されている実施形態の実装形態に必要ないくつかの従来の部品は、説明を簡略化するために図には示されていない。
【図面の簡単な説明】
【００１７】
【図１】患者の歯からカラーの３−Ｄ情報を取得するための撮像装置を示す概略図である。
【図２】歯の表面上に構造化パターンの投影を示す概略図である。
【図３】単色センサアレイを使用して歯のカラーの表面輪郭画像を取得する口腔内撮像用のカメラの構成要素を示す概略図である。
【図４Ａ】どのようにパターン化された光が表面輪郭情報を取得するために使用されるかを示す概略図である。
【図４Ｂ】互いに離間された光の多数の線を有する１つの構造化光パターンの平面図である。
【図５】歯上の構造化光パターンの投影を示す平面図である。
【図６Ａ】異なるスペクトル帯の光を使用する単色画像センサアレイ上で得られる歯の画像を示す。
【図６Ｂ】異なるスペクトル帯の光を使用する単色画像センサアレイ上で得られる歯の画像を示す。
【図６Ｃ】異なるスペクトル帯の光を使用する単色画像センサアレイ上で得られる歯の画像を示す。
【図７Ａ】テクスチャマッピングなしでレンダリングされるメッシュを示す図である。
【図７Ｂ】テクスチャマッピングでレンダリングされるメッシュを示す図である。
【図８Ａ】合成カラーシェーディング画像を形成するための処理を示す論理フローチャートである。
【図８Ｂ】メッシュ情報を生成して使用するための処理を示す論理フローチャートである。
【図８Ｃ】本願の例示的実施形態による、生成される平坦面を有するメッシュの一部を示す透視図である。
【図８Ｄ】グローバルテクスチャマップを生成するための処理を示す論理フローチャートである。
【図９】面の割り当てのビューを示す図である。
【図１０Ａ】頂点の投影を示す図である。
【図１０Ｂ】２−Ｄの処理後の頂点の投影を示す図である。
【図１１】テクスチャフラグメントによって表されるメッシュを示す図である。
【図１２Ａ】カラー混合なしのテクスチャ化されたメッシュを示す図である。
【図１２Ｂ】カラーの混合後の最終的にテクスチャ化されたメッシュを示す図である。
【図１３】グローバルテクスチャマップの二元状態図を示す図である。
【発明を実施するための形態】
【００１８】
本出願は、Ｙｉｎｇｑｉａｎ  Ｗｕらの名義の２０１５年３月９日に仮出願された、米国仮出願第６２／１３０，１１０号（名称「ＡＮ  ＡＰＰＡＲＡＴＵＳ  ＡＮＤ  ＭＥＴＨＯＤ  ＯＦ  ＴＥＸＴＵＲＥ  ＭＡＰＰＩＮＧ  ＦＯＲ  ＤＥＮＴＡＬ  ３Ｄ  ＳＣＡＮＮＥＲ」、その全体が本明細書に参照により組み込まれる）の利益を主張する。
【００１９】
以下は、本発明の例示の実施形態の詳細な説明であり、図面について参照がなされ、同一の参照番号はいくつかの図のそれぞれにおける構造の同一の要素を特定する。
【００２０】
本開示の分野では、「スペクトル帯」または「波長帯」という用語は、照度及び撮像のために定義された波長の連続範囲を示し、「カラー」という用語と交換可能に使用される。例えば、「赤色スペクトル帯」という用語は、一般的に約６２０ｎｍ〜約７００ｎｍに連続して延びる赤色波長範囲内の可視光を示すために使用される。撮像の分野においては、帯間に視覚的に確認可能なクロストークがない場合には、２つのスペクトル帯の光は実質的に重複しないと考えられる。
【００２１】
本開示の分野では、「カラー成分画像」という用語は、単一のカラー平面におけるデータと同義であり、単一のスペクトル帯の光でキャプチャされた画像を用いて取得される画像データを指す。したがって、例えば、従来のフルカラーのＲＧＢ画像は、赤、緑、及び青の成分で形成され、それぞれの個別の画像はカラー成分画像と呼ばれる。
【００２２】
「集合」という用語は、本明細書で使用される場合は、成分の集合の概念として非空集合を意味するか、または集合の数は初等数学で広く理解されている。「部分集合」という用語は、特に明示しない限り、本明細書においては非空真部分集合を指し、すなわち、１つ以上の数を有するより大きな集合の部分集合を指すために使用される。集合Ｓには、部分集合は、完全集合Ｓを含み得る。しかしながら、集合Ｓの「真部分集合」は集合Ｓに完全に含まれ、集合Ｓの少なくとも１つの数を除外する。
【００２３】
「順序集合」は、集合論で用いられる従来の意味を有し、その要素が、例えば、昇順の順序の自然数の集合のような不明瞭ではない順序を有する集合に関連する。
【００２４】
図１の概略図は、歯のボリューム及びカラー撮像の組み合わせのための撮像装置７０を示す。ボリューム撮像では、カメラ４０は、本願の例示的実施形態による輪郭画像４８を取得するために、歯２２の表面２０上に構造化撮像パターン４６を投影する。制御論理プロセッサ８０またはその他の種類のコンピュータは、照射アレイ１０の動作を制御し、単色撮像センサアレイ３０から取得したデジタル画像データを取得する。ボリューム撮像中には、照射アレイ１０は歯の領域５４上にパターン化された光を投影し、これは、典型的には、光の多数の線（例えば、線間に所定の間隔を有する）を有する構造化パターンを含む。表面２０からの画像データは、撮像センサアレイ３０によって検出されるパターン化された光から取得する。制御論理プロセッサ８０は、受信された画像データを処理して、マッピングをメモリ７２内に記憶する。メモリ７２からの再構築された３−Ｄ表面画像は次に、任意選択で画面７４上に表示される。メモリ７２はまた表示バッファを含み得る。
【００２５】
図２の概略図は、Ｂと名付けた挿入図において、照射アレイ１０から表面２０の領域５４上に向けられる典型的な縞パターン４６の一部を示す。投影される構造化パターンは、それぞれのシフトした位置で同一の電力レベルであり得る。代替として、異なる電力レベルは構造化パターンを投影するために使用されることが可能である。
【００２６】
カラーの輪郭撮像のためのいくつかの例示的な実施形態によると、構造化光パターンの投影及び撮像に使用されるカラー成分画像を取得するために、カメラ４０は静止モードで使用され、同一の固定された位置に保持される。その他の例示的な実施形態では、カラー輪郭撮像については、カメラ４０は、カラー成分画像を取得しながら移動することができ、かつ／または構造化光パターンの投影及び撮像に使用されるときに移動することができる。
【００２７】
照射アレイ１０は、通常、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の異なる色の成分の波長の光を一度に１つずつ投影し、それぞれの波長帯に単色センサアレイ３０上に別の画像をキャプチャする。しかしながら、その他の色の成分の組み合わせを使用することができる。キャプチャされた画像も、制御論理プロセッサ８０（図１）によって処理されて記憶される。
【００２８】
図３の概略図は、本願の例示的な実施形態による３−Ｄ表面輪郭及びカラーデータを取得するためのカメラ４０の内部構成要素を示す。縞パターン生成器１２は、構造化照射または縞パターン照射の種類として照射アレイ１０から構造化光を形成して、任意の偏光子１４及び投影レンズ１６を介して歯２２に向けた入射光線としてそのように形成された構造化光を投影するために通電することが可能である。歯２２から反射され散乱された光は、撮像光学装置（例えば、撮像レンズ１７及び任意の検光子２８）を介してセンサアレイ３０に提供されることができる。センサアレイ３０は、撮像レンズ１７の画像平面で検出経路８８に沿って配置される。カメラ４０のプロセッサ３４は、画像コンテンツ及びその他のフィードバック情報をセンサアレイ３０から受信し、このデータ及びその他のデータに応答して、次により詳細に記載されるように、パターン生成器１２の動作に影響するよう動作可能である。
【００２９】
縞投影撮像用のプロセッサ３４の機能の１つは、縞の位置を段階的にシフトさせ、センサアレイ３０に次に歯の表面の三次元の情報を計算するために使用される画像を撮るようにトリガする。移相縞投影法では、物体の三次元情報の計算に十分な情報を提供するために、少なくとも３つの画像が通常必要とされる。３つの縞画像のみが取得される場合には、これらの３つの投影された画像のそれぞれに対する縞の相対的位置は、通常、縞周期の３分の１またはその他の割合だけシフトされる。プロセッサ３４は、プログラムされた命令を実行し、図１に関して前述したように撮像システム機能を提供する制御論理プロセッサ８０と通信するコンピュータ、マイクロプロセッサ、またはその他の専用論理処理装置であり得る。
【００３０】
図３の口腔内カメラ４０は、任意選択で、歯２２の表面輪郭撮像用に偏光を使用する。偏光子１４は、直線偏光のように縞パターン生成器１２から縞パターンの照射を提供する。一実施形態では、検光子２８の透過軸は偏光子１４の透過軸に対して平行である。この配置により、縞パターンと同じ偏光を有する光のみがセンサアレイ３０に提供される。別の実施形態では、検光子２８は、センサアレイ３０への反射光の経路では、作動装置１８によって、偏光子１４の偏光透過軸に一致して歯の表面部分からの反射光を取得する方向、または偏光子１４の偏光透過軸と直交する方向のいずれにも回転することができ、反射が低減したコンテンツのために、歯の内側部分から散乱された光をより多く取得する。ある種の例示的な実施形態では、偏光及び非偏光の組み合わせを使用することができる。
【００３１】
また図３に示されているのは、３つのグレースケール画像をキャプチャするためのカラー光を提供するための赤色光源３２ｒ、緑色光源３２ｇ、及び青色光源３２ｂであり、フルカラー画像の構築に必要な単色シェーディング画像とも呼ばれる。これらの光源のそれぞれは、発光ダイオード（ＬＥＤ）または多数の発光素子のような単一の発光素子を含むことができる。示されている実施形態では、縞生成器からの構造化パターン光及びＲＧＢ光の照射経路は同じである。また、センサアレイ３０に向かう光の検出経路は、構造化パターン及びＲＧＢ画像の両方のコンテンツについても同様である。カメラ４０は、焦点または焦点面Ｆを有している。
【００３２】
図４Ａの概略図は、単一の線の光Ｌの例とともに、パターン生成器１２からパターン化された光が、表面輪郭情報を取得するためにどのように用いられるかを示す。照射アレイ１０が表面２０上に光のパターンを向けると、マッピングが得られ、対応する線Ｌ’の画像が撮像センサアレイ３０上に形成される。撮像センサアレイ３０上の投影されたパターンのそれぞれの画素３８は、表面２０による変調に従って、照射アレイ１０上の対応する画素１３にマッピングする。画素位置のシフトは、図４Ａに表されるように、表面２０の輪郭に関する有用な情報を生じる。図４Ａに示される基本パターンは、様々な照射光源及びシーケンスを用いて、かつ１つ以上の異なる種類のセンサアレイ３０を用いて、いくつかの手法で実装されることができるということが理解されよう。
【００３３】
図４Ｂの平面図は、互いに離間された光８４の多数の線を有する１つの構造化光パターン５６を示す。本願の例示的実施形態によると、パターン５６は、投影された連続の一連の画像において、線８４が右にあるいは左に段階的にシフトされる、連続したまたは一連の投影画像の歯の表面に向けられる。
【００３４】
照射アレイ１０（図３）は、Ｔｅｘａｓ  Ｉｎｓｔｒｕｍｅｎｔｓ，Ｄａｌｌａｓ，ＴＸのデジタルライトプロセッサまたはＤＬＰデバイスを使用して提供される、液晶アレイまたはデジタルマイクロミラーアレイのような、光変調及び光のパターン化に用いられるいくつかの種類のアレイのいずれかを利用することができる。この種類の空間光変調器は、照射経路で用いられてマッピングシーケンスのために必要に応じて光パターンを変更する。
【００３５】
図５の平面図は、歯の表面２０上に投影されたパターン４６を有する典型的な輪郭画像４８を示す。図５に示すように、輪郭線は表面の様々な部分で不明瞭であり得る。この問題を補償し、パターン検出の曖昧さや不正確さを低減するのを支援するために、縞パターン生成器１２（図３）は典型的に、図４Ｂに関して記載されるように異なる位置にシフトさせた明暗線を有するパターン化された画像のシーケンスを提供するか、または、代替として異なる線幅または光線間の距離を有するパターン化された画像のシーケンスを提供する。様々なシーケンス及びパターンを使用することが可能である。本開示の範囲内の構造化光パターンの順序付けされたセットを提供するためのいくつかの変形が想定される点に留意すべきである。例示的な実施形態によると、投影される順序集合における構造化パターン画像の数は２０の画像を超えるが、２０を超えるか、または２０未満の画像を使用するシーケンスもまた使用され得る。
【００３６】
較正は画像コンテンツに提供され、取得された画像データを調節してそれぞれの画像画素に対し正確な色を生成する。図６Ａ、図６Ｂ、及び図６Ｃは、光源３２ｒ、３２ｇ、及び３２ｂ（図３）からそれぞれ赤色、緑色、及び青色光を使用して単色センサアレイ３０上で得られる歯の成分のグレースケールまたは単色画像９０ｒ、９０ｇ、及び９０ｂを示す。カラー画像のグレースケール表示は、赤、緑、及び青の照射のための較正された画像データコンテンツを組み合わせることによって形成されることができる。例えば、線形較正行列またはその他の較正機構等を使用するカラー較正データは、単色センサがカラーデータを取得するために使用され、異なる波長に対しセンサアレイの固有の応答特性を補償するのを支援する場合に特に価値があり得る。
【００３７】
歯の３−Ｄモデルをキャプチャするための３−Ｄ再構成装置及び方法がいくつかあり、その一部は実際に歯の表面から３−Ｄの幾何学的情報を収集する。例えばカラー画像のような歯の表面の写真をキャプチャするための開示された装置もいくつかあり、これは、所与の照射光源に対する歯の表面のスペクトル特性を実際に反映する。本明細書で記載された本願の方法及び／または装置の実施形態は、３−Ｄの幾何学的情報とカラー画像コンテンツとを組み合わせる上で、ユーザエクスペリエンスを改善する、かつならびに／または表面の詳細及び／もしくはカラーテクスチャの向上を提供するのに役立てることができる。
【００３８】
本明細書の装置及び／または方法の実施形態は、シェーディング画像をキャプチャする、かつ／または歯の３−Ｄモデリングのテクスチャマッピングを実行することができる。例示的な装置の実施形態は、単色センサ及び１つ以上の照射光源のみを使用して単色シェーディング画像から組み合わされたカラーのシェーディング画像を構成することができる。特徴点照合は、選択された画像／すべてのシェーディング画像をレジスタして、テクスチャマッピングの方法を用いて、表示された３−Ｄの歯のモデルを観察者にとって鮮明であり、かつ診断及び治療工程を補助する際に有用なものとすることができる。
【００３９】
現在では、従来の３−Ｄのスキャナのいくつかは、３−Ｄの歯のモデルのそれぞれの頂点にカラー値を割り当てるカラーマッピングの方式を使用している。しかし、この種の頂点／カラーの割り当ては、妥協した不十分なものであり得、期待はずれの近似のカラーを提供することが多く、それにより、より複雑な表面の詳細な情報及びカラーテクスチャを観察することが困難になる。既存の３−Ｄの歯科用スキャナの結果の例は、図７Ａに示されている。図７Ａとは対照的に、例示的な方法による歯のテクスチャマッピングの結果の例及び／または本願の装置の実施形態は図７Ｂに示されている。図７Ａ及び図７Ｂに示されるように、カラーで提示された場合特に目立つが、本願の例示的なテクスチャマッピングの方法及び／または装置は、頂点のマッピング技術よりも正確かつ／または現実的な歯の構造の表面の外観を表示する。
【００４０】
処理シーケンスの概要
例示的な装置及び／または方法の実施形態によると、歯及び周囲の構造のいくつかのビューをキャプチャすることができる。これらは、取得された縞画像の対応するセットとともに、各ビューの構造化光パターンの群を含むことができ、連続して歯の表面上に投影される。投影されたパターンとキャプチャされた縞画像との間の一致に基づいて、輪郭撮像の当業者には周知の技術を使用して三角測量を実行して、歯の３−Ｄのポイントクラウドを生成する。各ビューには、ＬＥＤまたは特定の波長もしくはカラースペクトル帯を有するその他の光源は、順序付けられたシーケンスの光路を介して歯を照射するために使用される。加えて、単色成分のシェーディング画像のセットは連続で単色センサによってキャプチャされる。２−Ｄの特徴点は単色画像から抽出される。シェーディング画像間の変換が計算され、これによって、例えば、抽出された特徴点を使用して、単色成分のシェーディング画像が互いにレジスタされる。一実施形態では、事前に特定されたカラーの線形較正行列を使用して、各画素のカラー値は、シェーディング画像から取得され、組み合わされてレジスタされた画素値から回復する。このように、各ビューに対し、カラーシェーディング画像も生成される。
【００４１】
メッシュの生成、照合、マージ、及び３−Ｄメッシュノイズの抑制後、すべてのビューにおいて生成された３−Ｄのポイントクラウドは、対象の歯に対する最終の３−Ｄメッシュ表面を生成するために組み合わされることができる。この最終の３−Ｄメッシュは、各面が平面となり、かつ三角形の構造を有するように、いくつかの面を定義し、各面がその最も近い３−Ｄの頂点によって定義されるが、より一般的には、各面は平面であり、３つ以上の側面から形成される多角形の形状を有する。表面のポイントクラウドは、三角形のメッシュ、及び、任意選択によりその他の多角形の形状を有するメッシュを定義するために使用されることができる。三角形のメッシュは、最も幾何学的に基本的なメッシュであり、一般に、多角形の形状を最も簡単に計算することを可能にする。多数の組み合わされた面は歯の表面及び関連する構造全体に延在し、そのため平面部毎に表面輪郭を定義する。この処理の一部として、メッシュ内の各面の鮮明度が測定され、すべてのビューの中で最も好適に面を観察させる特定のビューと照合される。メッシュのすべての面によって照合されるビューの完全なセットは、キービューフレームとしての役割をする。「キー」という用語は、カラー撮像業界の当業者に使用されるとき、カラーマッピングに使用されるリソースである、ある種の「カラーキー」として特定の画像ビューの使用に関連する。以下により詳細に記載されるように、キービューは、特定の態様で撮影された記憶画像であり、テクスチャマッピングに使用される。
【００４２】
メッシュの後処理技術を使用して、３−Ｄメッシュからの面は「テクスチャフラグメント」と呼ばれるグループに分けられ、この場合、特定のテクスチャフラグメントにおける面は、すべて同一のフラグメント内のその他の面に幾何学的に接続し、同じキービューに割り当てられる。本開示の例示的な実施形態によると、後処理方法は、各テクスチャフラグメント間の境界の平滑性を向上させるために使用されることができる。この処理は、１つずつ、フラグメント毎に実行されることができる。各フラグメントの処理においては、フラグメントを定義する頂点はそのビュー（例えば、そのキービュー）上に標準的な投影手順を使用して投影され、３−Ｄポイントを２−Ｄの平面にマッピングするよく知られた技術を採用する。この投影は、カメラ較正の一部として抽出されたカメラの固有パラメータも使用することもできる。
【００４３】
頂点の投影された画像座標は、そのテクスチャ座標として使用される。一例示的実施形態では、テクスチャフラグメント間のすべての境界もキービュー内のビューに投影される。各キービューからの対応するカラーデータを使用して、カラー混合方法は投影された境界上にて実行され、マッピングによる色のずれを低減し、かつ／またはビュー間の任意の色のずれを修正することができる。
【００４４】
このマッピング及びブレンドの工程から、各ビューに対して投影されたテクスチャフラグメントに対応するカラーシェーディング画像の領域が抽出され、「グローバルテクスチャマップ」と称される単一のテクスチャ画像へと圧縮される。一例示的実施形態では、圧縮の手法は、圧縮されたテクスチャ画像をよりコンパクトにかつ／またはより効率的にするために使用されることができる。すべての頂点のテクスチャ座標は、グローバルテクスチャマップの原点と整列するように調整されることもできる。
【００４５】
ある例示的な実施形態では、３−Ｄ座標及び２−Ｄテクスチャ座標を有するすべての頂点ならびにグローバルテクスチャマップは、ボリューム画像表現における当業者によく知られている技術を使用して、表示するために３−Ｄレンダリングエンジンに出力されることができる。結果は、メモリ内に記憶されるかプロセッサ間で送信されることもできる。
【００４６】
特定の例示的な装置及び／または方法の実施形態において使用されるシーケンスは、以下の例示的なステップにおいてより詳細に記載される。
【００４７】
パート１．カラーシェーディング画像の形成
本手順のこの最初の部分は、成分の単色画像（例えば、カメラ４０（図１）を使用する）を取得し、それらを組み合わせて歯の特定のビュー用に合成カラーシェーディング画像を生成する。
【００４８】
図８Ａは、合成カラーシェーディング画像｛Ｉｓ１，Ｉｓ２，…Ｉｓｋ｝を形成するための例示的な処理を示す論理フローチャートである。この処理は、輪郭画像及びカラー画像コンテンツの両方を取得する反射率撮像から歯のＫビューのそれぞれに対して実行されることができる。合成カラーシェーディング画像のセットを生成するステップＳ１００の処理は、ビューＶの集合： 
Ｖ＝｛Ｖ１，Ｖ２，…，Ｖｋ｝
で開始することができ、各ビューは異なるビューポーズであり、特定のビューに対するポーズはそのビューの態様に関連し、「ビューポーズ」または「ビュー態様」という用語は、カメラの焦点で原点を有する座標系に対する対象の回転、偏揺れ、及びピッチの相対量のような配向アラインメント及び位置特性に関連し、ビューの距離及びカメラの角度のような特性を含む。１つの例示的な方法は、成分のカラーシェーディング画像に対応するＫの集合：
｛Ｉｓ１，Ｉｓ２，…Ｉｓｋ｝
を生成するシーケンスを実行する。
パート１のサブステップは以下のように各ビューに対して実行される。
１）画像取得のステップＳ１１０において、成分の各単色画像Ｉｒ、Ｉｇ、Ｉｂを取得し、異なる（例えば、赤、緑、及び青）カラー照射をそれぞれ使用してキャプチャする。
２）特徴点抽出ステップＳ１２０において、補足された成分の単色画像から特徴点を抽出する。特徴点抽出ステップＳ１２０は、例えば、ＨａｒｒｉｓとＳｔｅｐｈｅｎｓコーナー検出または画像特徴検出技術における当業者に既知のその他の検出技術を使用し得る。特徴点を、成分の単色画像Ｉｒ、Ｉｇ、Ｉｂのそれぞれから抽出して、特徴点の３つの対応する集合：
Ｆｒ＝｛Ｐｒ１，Ｐｒ２，…ＰｒＮ｝、
Ｆｇ＝｛Ｐｇ１，Ｐｇ２，…，ＰｇＭ｝、及び
Ｆｂ＝｛Ｐｂ１，Ｐｂ２，…，ＰｂＬ｝
を生成することができる。
３）照合ステップＳ１３０においては、選択された検索及び照合の技術は特徴点の３つの集合を照合するために使用されることが可能である。１つの方法は、例えば、抽出された各特徴点の周囲の成分の単色画像Ｉｒ、Ｉｇ、Ｉｂにおける局所領域の正規化相互相関を用いて、最初に特徴点Ｆｒの集合と集合Ｆｇとを照合し、次に集合ＦｒとＦｂとを照合する。本発明の一実施形態によると、ＲＡＮＳＡＣ（よく知られているランダムサンプルコンセンサスアルゴリズム（ｒａｎｄｏｍ  ｓａｍｐｌｅ  ｃｏｎｓｅｎｓｕｓ  ａｌｇｏｒｉｔｈｍ））は、ステップＳ１３０に導入された照合の異常値の影響を減少させるために採用することができる。
４）変換生成ステップＳ１４０においては、ホモグラフィの推定またはその他の好適なツールを使用して、Ｉｒ−Ｉｇマッピングに対するＨｒｇ、及びＩｒ−Ｉｂマッピングに対するＨｒｂの少なくとも２つのロバスト線形変換を計算する。
５）ステップＳ１４０の計算された変換Ｈｒｇ及びＨｒｂを使用して、画像ワーピングステップＳ１５０にて、単色画像Ｉｇ及びＩｂ上で画像ワーピングを実行する。画像ワーピングステップＳ１５０では、成分画像を整列させることでき、例えば、Ｉｇ及びＩｂの両方をＩｒに整列させる。
６）組み合わせステップＳ１６０におけるＩｒと整列されたＩｇ及びＩｂとを組み合わせて、合成カラーシェーディング画像を形成する。
【００４９】
決定ステップＳ１７０は、各ビューは合成カラーシェーディング画像のセット生成ステップＳ１００の手順を使用して処理されてきたか否かを決定することができる。処理は各ビューで繰り返す。
【００５０】
少なくとも３つの単色シェーディング画像のセットを組み合わせて、合成２−Ｄカラーシェーディング画像を生成し、各２−Ｄカラーシェーディング画像は、カラー及び追加の外観属性、ならびに関連するビューポーズを含むカラーテクスチャの情報または画像構造情報を有する。
【００５１】
パート２．メッシュの生成及び処理
メッシュ処理の手順を使用して、最終の出力メッシュＭｏを取得するために、メッシュを生成し、照合し、マージし、ノイズ抑制を提供することができる。図８Ｂは、メッシュ生成ステップＳ２００におけるメッシュ情報を生成して使用するための例示的な処理を示す論理フローチャートである。
【００５２】
画像取得のステップＳ２１０において、輪郭撮像のための構造化光画像を取得する。次にポイントクラウド生成ステップＳ２２０は、構造化光画像から３−Ｄのポイントクラウドを生成する。メッシュ生成ステップＳ２３０で、メッシュ情報は、最終の出力メッシュＭｏを生成するために組み合わされる。図８Ｃは、個々の平面Ｆｃを有するメッシュＭを示す。各面Ｆｃは、示されている例においては三角形である。図８Ｃはまた、メッシュＭに対するポーズを示している。
【００５３】
メッシュにおける各三角形の（平面の）面Ｆｃは、３つの頂点Ｖｔを使用して定義される。メッシュＭｏは、Ｊ平面ＦｃとＩ頂点Ｖｔの合計：
Ｆｃ＝｛Ｆｃ１，Ｆｃ２，…ＦｃＪ｝
Ｖｔ＝｛Ｖｔ１，Ｖｔ２，…ＶｔＩ｝
を有する。
【００５４】
Ｖ＝｛Ｖ１，Ｖ２，…，Ｖｋ｝における各ビューに対し、変換行列生成ステップＳ２４０において、本処理もＭｏに対するその変換行列Ｍ： 
Ｍ＝｛Ｍ１，Ｍ２，…，Ｍｋ｝
を生成する。
【００５５】
この集合からの対応する変換行列を使用して、面Ｆｃ及び頂点Ｖｔのそれぞれは、各ビューＶの座標系に変換されることができる。
【００５６】
図８Ｄは、例示的なグローバルテクスチャマップの生成ステップＳ３００における、キービューフレーム（パート３）、面のビューの割り当て（パート４）、グローバルテクスチャマップの生成、輪郭の平滑化（パート５）、及びテクスチャフラグメントの設定（パート６）を形成するための例示的な手順を用いた、後続の処理を示す論理フローチャートである。
【００５７】
パート３．例示的なキービューフレームの設定
処理におけるこの時点では、図８Ｄの論理フローチャートにおいて可視ビュー形成ステップＳ３１０及びキーフレーム設定ステップＳ３２０として示されている以下の例示的なシーケンスを使用して、キービューフレームを識別されることができる。
１）最終の出力メッシュＭｏにおける各面Ｆｃｉに対し、どのビューＶで、面Ｆｃｉが可視であるかを決定する。可視ビュー形成ステップＳ３１０において、Ｆｃｉの可視ビューセットＶＳ＿ｉ： 
ＶＳ＿ｉ＝｛Ｖｎ，Ｖｍ，…，Ｖｌ｝
を形成する。
この決定では以下のような鮮明度の基準を使用することができる。
ａ）面Ｆｃｉの基準は所定の閾値Ｔｈ＿ｎよりもＶＳ＿ｉの視野方向に接近している必要がある。
ｂ）面Ｆｃｉは、可視ビューセットＶＳ＿ｉの視界（ＦＯＶ）内でなければならない。
ｃ）Ｆｃｉは所定の閾値Ｔｈ＿ｆよりも可視ビューセットＶＳ＿ｉの焦点面に接近していなくてはならない。
しかしながら、代替の鮮明度の基準が適用されることができる。
２）Ｆｃに対して可視ビューセットＶＳ＿ｉを使用して、過度に重複するビューを識別して削除する。例えば、２つのビューが過度数の同一面を含有する場合、ビューのうち１つは不必要であり、削除することができる。例示的なキーフレームの設定のステップＳ３２０においては、残りのビューＶは集合： 
Ｖｋ＝｛Ｖｋ１，Ｖｋ２，…Ｖｋｐ｝
としてキービューフレームを形成するために使用されることができ、この集合は、互いにわずかに重複するビューＶ  Ｖｋｎを含有することができる。
３）一部のビューＶが特定の面を過剰に含有する場合には、これらのビューはキービューフレームＶｋに加えられることが好ましい。
４）確実に不必要なビューＶが好適にＶｋに存在しないようにするために、Ｖｋの集合を除去する。例えば、Ｖｋにおける各ビューＶｋｎを確認する。特定のＶｋｎがなく、すべての面が依然としてＶｋの残りのビューに対して可視である場合には、Ｖｋｎを除去する。
【００５８】
パート４．面の例示的なビューの割り当て
パート４は図８Ｄの手順の例示的なビュー割り当てのステップＳ３３０の一部を記載する。図９は、この部から取得される面の所望の／選択されたビューの割り当ての例を示す。
１）最終の出力メッシュＭｏにおける各面Ｆｃｉに対し、どのビューＶで面Ｆｃｉが以下の基準を使用して可視であるかを決定する。これらのビューはＦｃｉの可視ビューの集合Ｖｓ：
ＶＳ＿ｉ＝｛Ｖｎ，Ｖｍ，…，Ｖｌ｝
を形成する。鮮明度を決定する例示的な基準及びパラメータは以下を含むことができる。
ｄ）通常のスコア：Ｆｃｉの基準は所定の閾値Ｔｈ＿ｎ１よりもＶＳ＿ｉの視野方向に接近している必要がある。
ｅ）ＦＯＶ：ＦｃｉはＶＳ＿ｉのＦＯＶ内であることが必要である。
ｆ）焦点スコア：Ｆｃｉは、所定の閾値Ｔｈ＿ｆ２よりもＶＳ＿ｉの焦点面に接近していなくてはならない。
代替の鮮明度の基準が使用され得ることは理解され得る。
２）割り当てスコアとして、すべてのＶＳ＿ｉに対する基準のスコアと焦点スコアとを組み合わせる。
３）Ｆｃｉの割り当てられたビューとして、最良の割り当てスコア（例えば、最適ビュー）を有する１つのビューを選択する。
【００５９】
例えば、ビューの割り当ての結果は図９の例に示されているように表示される。ここで、同じ色のメッシュ（または陰影、グレースケール、テクスチャ、斑点またはパターン等）は同じビューに割り当てられた面を表す。
【００６０】
パート５．最終の出力メッシュＭｏの面のビューの割り当てに対する例示的な輪郭の改良
ステップのこの次のシーケンスは、面のビューの割り当てに対する例示的な輪郭の平滑化ステップＳ３４０（図８Ｄ）において輪郭及び境界の平滑化を実行する。
１）キービューフレームにおける各ビューＶｊに対し、二値画像Ｉｓｂｊを取得するためにＶｊの撮像面Ｉｓｊ上にＶｋに割り当てられた面のすべての頂点を投影し、この場合、図１０Ａに示されているように、２−Ｄの投影された頂点は、ＴＲＵＥ（明るい）としてマークされ、背景画素はＦＡＬＳＥ（黒）としてマークされる。次に、数学的形態学演算が画像Ｉｓｂｊ上で実行され、図１０Ｂに示されているように、二値画像Ｉｍｓｂｊを取得する。次に、パート３で行われたように、各頂点で、Ｖｊに対する鮮明度が確認される。Ｖｊに可視であるすべての頂点は、画像Ｉｍｓｂｊ上に投影される。Ｖｊに可視である任意の頂点Ｖｔｏには、画像Ｉｍｓｂｊにおいて投影される２−Ｄの点がＴＲＵＥであり、頂点ＶｔｏはビューＶｊに割り当てられる。
特定の実施形態において、対応する２−Ｄの座標系への３−Ｄの頂点の投影は、事前に推定された固有のパラメータ及び／またはパート２で確立された外因性パラメータに基づく。
２）各面Ｆｃｉでは、処理によって、その３つの近くまたは隣接する面、すなわち、Ｆｃｉと共通するエッジを共有する各面のビューの割り当てを確認することができる。３つの近くの面がすべてＦｃｉと同じビューに割り当てられる場合には、方策は取られない。そうでない場合には、３つの近くのもののほとんどでビューの割り当てＶｋが識別され、面ＦｃｉはキービューフレームにおけるビューＶｋに割り当てられる。
【００６１】
パート６．例示的なテクスチャフラグメントの設定
図８Ｄにおける例示的なテクスチャフラグメントの設定のステップＳ３５０の一部として、本手順の次の部分は、面のセットを同一のキービューにグループ化するテクスチャフラグメントを設定する。
１）図１０Ａに示されているように、それぞれのビューＶｊでは、Ｖｊに割り当てられたすべての頂点を、Ｖｊに関連する撮像平面上に投影して、二値画像Ｉｓｂｊを取得する。
２）図１０Ｂに示されているように、Ｉｓｂｊ上で二値画像膨張及び二値画像収縮のような処理を使用して接続された成分を取得する。膨張及び収縮の性能に影響する、構造要素のサイズ、閾値、及びその他のパラメータを含む膨張及び収縮のためのパラメータは、パート４で使用されるものとは異なり得る。次に、画像連結成分のラベリングを使用して画像Ｉｓｂｊにおけるすべての成分を抽出する。
例えば、同一の成分に投影される面及び頂点は同一のテクスチャフラグメントとして配置される。このように、テクスチャフラグメントを確立させることができ、完全なメッシュＭｏは、テクスチャフラグメントの集合Ｆｇ＝｛Ｆｇ１，Ｆｇ２，…，Ｆｇｗ｝に対応する。図１１は、テクスチャフラグメントによって表されるメッシュ要素を示し、各カラーまたはグレースケールの陰影は特定のテクスチャフラグメントを示す。
一実施形態では、それぞれのテクスチャフラグメントは、キービューフレームの同一のビューに割り当てられ、カラーシェーディング画像において同じ領域を共有する面Ｆｃｉ及び頂点Ｖｔを含有する。ビューに投影するそれぞれの頂点Ｖｔのテクスチャ座標及び投影の境界ボックスもテクスチャフラグメントに含有される。
【００６２】
パート７．例示的な頂点のテクスチャ座標の生成
集合ＦｇのそれぞれのテクスチャフラグメントＦｇｉでは、その面及び頂点はその割り当てられたビューに投影され、投影された画像座標を記録する（例えば、これはパート５と同様に行われる）。
【００６３】
パート８．テクスチャフラグメントのための例示的なカラーの混合
一実施形態では、処理により、以下の例示的な手法を用いてすべてのテクスチャフラグメントの境界面を抽出する。
１）すべてのテクスチャフラグメントにおけるそれぞれの面Ｆｃｉでは、面Ｆｃｉと共通のエッジを共有するその３つの近くの面のビューの割り当てを確認する。
近くの面がすべてＦｃｉと同じビューに割り当てられる場合には、何もしない。そうでない場合には、面Ｆｃｉを境界面としてラベリングまたはマークする。
２）異なるテクスチャフラグメントに割り当てられた２つの面をつなぐ境界面においてエッジを識別する。これはエッジのグループ： 
Ｅｇ＝｛Ｅｇ１，Ｅｇ２，…，ＥｇＮ｝
を定義する。
それぞれのエッジは２つの終了頂点を含有する。
３）エッジの２つの側面における２つのビューの頂点座標ＵＶ： 
Ｅｇｋ＝｛Ｅｇｉｄｋ，Ｖｋ１，ＵＶ１ｋ１，ＵＶ２ｋ１，Ｖｋ２，ＵＶ１ｋ２，ＵＶ２ｋ２｝
を識別する。ここで、
Ｅｇｉｄｋは集合Ｅｇにおけるエッジのインデックスであり、
Ｖｋ１及びＶｋ２はキービューフレーム内のＥｇｋによってつながれた２つのビューのインデックスであり、
ＵＶ１ｋ１及びＵＶ２ｋ１は、Ｅｇｋの２つの終了頂点のテクスチャ座標である。
４）それぞれのエッジ及びそれぞれのフラグメントに対して（現在のフラグメントとして）、例示的なカラー混合を以下のように実行する。
４ａ）カラーシェーディング画像Ｉｓｋ１において座標ＵＶ１ｋ１及びＵＶ２ｋ１の位置でカラー値Ｃ１ｋ１及びＣ２ｋ１、ならびにカラーシェーディング画像Ｉｓｋ２においてＵＶ１ｋ２及びＵＶ２ｋ２でカラー値Ｃ１Ｋ２及びＣ２ｋ２を取得する。現在のフラグメントはＩｓｋ１に割り当てられていると仮定する。
４ｂ）Ｃ１ｋ１及びＣ１ｋ２ならびにＣ２ｋ１及びＣ２ｋ２のそれぞれの加重平均を用いて、ＵＶ１ｋ１及びＵＶ２ｋ１での標的のカラー値を設定する。同時に、現在のカラー値と標的のカラー値との相違も計算する。
４ｃ）テクスチャ座標ＵＶ１ｋ１及びＵＶ２ｋ１をつなぐ線２ｄ上のすべての画素に対して、双線形補間を使用する色差、及び４ｂ）にて計算された座標ＵＶ１ｋ１及びＵＶ２ｋ１の色差を計算する。現在のフラグメントのすべての投影されたエッジの線上の画素は、エッジ輪郭と呼ばれる、画像上の現在のフラグメントの囲まれた輪郭を定義する。画素値は以下のサブステップの境界条件として使用される。
４ｄ）前述の境界条件に基づいて、補間はエッジ輪郭によって境界付けられたすべての画素に対する画素値を計算するように実行され得る。補間された画素値は、エッジ輪郭内で境界付けられた各画素に対する平滑化された色差である。
４ｅ）現在のフラグメント内のそれぞれの画素に対し、補間された色差を、カラーシェーディング画像Ｉｓｋ１の画素の元のカラー値に適用し、カラー混合バージョンＩｓｋ＿ａｄｊ＿１を現在のフラグメントに対する最終のシェーディング画像として生成する。
カラー混合の前及び後の結果は、図１２Ａ及び図１２Ｂの例において示されている。
【００６４】
パート９．キービューの混合されたカラーシェーディング画像におけるテクスチャフラグメント領域の例示的な抽出及び圧縮
ここに示される手順により、図８Ｄの工程における例示的なグローバルテクスチャマップの設定のステップＳ３６０を完了することができる。
【００６５】
特定の実施形態には、デュアルリストという手法が、すべてのテクスチャフラグメントを圧縮するために使用され得る。
１）ブランク画像をグローバルテクスチャマップＩｔｍとして幅Ｗｔｍ及び高さＨｔｍで初期化する。
２）パート６で記録したように、それらの境界ボックスの相対的サイズによってすべてのテクスチャフラグメントを分類する。
３）それぞれのテクスチャフラグメントに対し、以下を実行する。
Ｉｔｍの列及び行の座標を含む現在の位置で、幅及び高さを含む空間が現在のテクスチャフラグメントの境界ボックスで利用可能な場合、グローバルテクスチャマップＩｔｍ内の現在の位置に、境界ボックスによって特定されたテクスチャフラグメントの混合されたカラーシェーディング画像内の領域をコピーする。次のリストにコピーされた領域の右側の列及び行の座標を記録する。さもなければ、空間が利用可能でない場合、重複を防止するために現在のリストを使用して現在の走査位置で新しい行の位置を見つける。
現在の走査位置で、現在のフラグメントの境界ボックスに十分な幅がない場合には、グローバルテクスチャマップＩｔｍの次の走査位置に移動する。次のリストと現在のリストとを切り替える。現在の利用可能な位置を決定する。グローバルテクスチャマップに位置を合わせるためにすべての頂点のテクスチャ座標を調節する。
パート９の例示的な結果は、図１３に示されたようなマッピングを提供する。この例は、すべてのテクスチャフラグメントのパッチを示すグローバルテクスチャマップＩｔｍの二値画像を示す。
【００６６】
グローバルテクスチャマップの使用
一旦グローバルテクスチャマップが生成されると、グローバルテクスチャマップは、画像生成の速度を上げ、歯の所与のビュー及び関連する構造のテクスチャコンテンツを提供することを支援するために使用されることができる。グローバルテクスチャマップは、ステップＳ３７０（図８Ｄ）における歯の画像の表示のための所望のビューにより特定される。次に、テクスチャコンテンツを有するビューにそれぞれの可視面を追加するために、グローバルテクスチャマップはその面の外観に対する適切なキービューのクイックリファレンスを提供する。
【００６７】
グローバルテクスチャマップは、テクスチャフラグメントに関連付けられたような２−Ｄのテクスチャシェーディング画像の一部を示す拡大縮小サイズ表示であると考えられることができる。テクスチャマップは、歯のカラーテクスチャの３−Ｄ表面輪郭画像をレンダリングするために使用される。
【００６８】
処理においては、グローバルテクスチャマップは、所与のビューにおける可視面に対してある種類の２次元のルックアップテーブルを効果的に提供することができる。このように、視野角または遠近を変更した場合に相当な再計算を行う必要なく、その他の関連技術のテクスチャマッピングの方式と同様に、画像コンテンツへのクイックリファレンスを提供することにより、特定のビューの再作成を実行させて迅速に進行させることができる。このように、特定の例示的な実施形態においては、画像の回転または移動は、広範囲にわたるコンピューティングリソースを必要とせずに、リアルタイムで実行されると考えられ得る。
【００６９】
本願の選択された例示的な実施形態と同様に、コンピュータは、電子メモリからアクセスされた画像データで実行する命令が記憶されたプログラムを実行する。画像処理技術の当業者によって理解されることができるように、本願の例示的な実施形態のコンピュータプログラムは、マイクロプロセッサまたはその他の専用プロセッサもしくはプログラム可能な論理装置と同様に、パソコンやワークステーション等の適切な汎用コンピュータシステムによって利用されることができる。しかしながら、多くの他の種類のコンピュータシステムが、ネットワークプロセッサを含む本願のコンピュータプログラムを実行するために用いられることができる。本願の方法を実施するためのコンピュータプログラムは、コンピュータ可読記憶媒体内に記憶されてもよい。この媒体は、例えば、磁気ディスク（ハードドライブ等）、または磁気テープもしくはその他の携帯型の種類の磁気ディスクのような磁気記憶媒体、光ディスク、光テープ、または機械読み取り可能バーコードのような光学的記憶媒体、ランダムアクセスメモリ（ＲＡＭ）または読み出し専用メモリ（ＲＯＭ）のような固体電子記憶デバイス、またはコンピュータプログラムを記憶するために採用される任意のその他の物理デバイスもしくは媒体を備え得る。本願の例示的な方法の実施形態を実行するためのコンピュータプログラムはまた、インターネットや他の通信媒体の手段により画像プロセッサに接続されたコンピュータ可読の記憶媒体上に記憶され得る。当業者は、かかるコンピュータプログラム製品の同等物もまたハードウェアの中に構成され得ることを容易に認識するであろう。
【００７０】
本願のコンピュータプログラム製品は、周知の多様な画像操作アルゴリズム及び処理を利用してもよいことが理解されよう。本願における例示のコンピュータプログラム製品の実施形態は、実装様態に有益であるが、本願において特に示されず説明されていないアルゴリズム及び処理を具体化してもよいことがさらに理解されよう。このようなアルゴリズム及び処理は、画像処理技術の分野において通常の技術範囲にある従来の効用を含んでもよい。かかるアルゴリズム及びシステム、ならびに画像を製作さもなければ処理するための、または本願のコンピュータプログラム製品と協働するためのハードウェア及び／またはソフトウェアの追加的な態様は、本願において具体的に示されず、または説明されず、当技術分野で周知のかかるアルゴリズム、システム、ハードウェア、構成要素及び要素から選択され得る。
【００７１】
本開示の分野では、画像を「記録する」行為は、後続の処理にこの画像データを使用するために、いくつかの種類のメモリ回路に画像データを記憶することを意味する。記録された画像データ自体は、より恒久的に記録されるか、またはさらに処理されるためにもはや必要でなくなると破棄されることが可能である。
【００７２】
本開示の分野で「コンピュータアクセス可能メモリ」と同等である、「メモリ」という用語は、画像データを記憶してそこで動作のために用いられ、コンピュータシステムにアクセス可能である、任意の種類の一時的またはさらに永続的なデータ記憶装置作業空間を指すことができることに留意されたい。メモリは、例えば、磁気または光学式記憶等の長期記憶媒体を用いて不揮発性であることができる。あるいは、メモリは、マイクロプロセッサまたは他の制御論理プロセッサデバイスによって一時的なバッファまたは作業空間として用いられるランダムアクセスメモリ（ＲＡＭ）等の電子回路を用いて、より揮発性のある性質であることができる。例えば表示データは、表示デバイスに直接関連付けられる一時的記憶バッファに典型的に記憶され、表示されたデータを提供するために必要に応じて定期的に再読み込みされる。この一時的な記憶バッファもまた、この用語が本開示において使用される際、メモリと考えられることができる。メモリはまた、計算及び他の処理の中間及び最終結果を実行するまたは記憶するためのデータ作業空間として用いられることもできる。コンピュータアクセス可能メモリは、揮発性、不揮発性、または揮発性と不揮発性の種類のハイブリッドな組み合わせであることができる。様々な種類のコンピュータアクセス可能メモリは、データの記憶、処理、転送、及び表示のためのシステムならびにその他の機能のためのシステム全体の異なる構成要素に提供される。
【００７３】
本明細書では、特許文献において一般に見られるが、用語「ａ」または「ａｎ」は、１つもしくは１つより多くを含むために、任意のその他の例または「ａｔ  ｌｅａｓｔ  ｏｎｅ（少なくとも１つ）」もしくは「ｏｎｅ  ｏｒ  ｍｏｒｅ（１つ以上）」の使用とは無関係に使用される。本明細書では、用語「ｏｒ（または）」は、非排他的なものを指すように使用され、それにより、特に明記しない限り、「ＡまたはＢ」は、「ＢではなくＡ」、「ＡではなくＢ」、及び「Ａ及びＢ」を含む。本明細書では、「ｉｎｃｌｕｄｉｎｇ（を含む）」及び「ｉｎ  ｗｈｉｃｈ（ここで）」という用語は、それぞれ「ｃｏｍｐｒｉｓｉｎｇ（を含む）」と「ｗｈｅｒｅｉｎ（ここで）」という用語の平易な英語の均等物として使用される。また、以下の特許請求の範囲においては、「ｉｎｃｌｕｄｉｎｇ（を含む）」及び「ｃｏｍｐｒｉｓｉｎｇ（を含む）」という用語はオープンエンドであり、すなわち、請求項においてこのような用語の後に列挙したものに加えて要素を含むシステム、デバイス、物品、もしくは工程は、依然としてその請求項の範囲内にあるとみなされる。
【００７４】
また、以下の特許請求の範囲においては、「第１」、「第２」、及び「第３」等の用語は、単にラベルとして使用されるに過ぎず、その対象に数的要件を課すことを意図するものではない。
【００７５】
本願による方法及び／または装置の実施形態は、単色センサを有する口腔内３−Ｄスキャナにおけるフルカラーのテクスチャマッピングを提供可能である。
【００７６】
例示的な実施形態が３−Ｄメッシュの三角形の面を使用して記載されたが、その他の多角形の形状は平坦な面に使用することができる。例示的な実施形態は３−Ｄメッシュを形成するために三角測量の方法に基づいて３−Ｄ  ＩＯスキャナシステムのために記載されたが、本願はそのように限定されることを意図しておらず、例えば、３−Ｄメッシュは任意の従来の３−Ｄ走査方法から生成され得る（例えば、共焦点撮像方法またはマルチビューもしくは立体撮像方法）。本願による例示的な実施形態は、本明細書に記載された（個別にまたは組み合わせて）様々な特徴を含むことができる。
【００７７】
一実施形態では、単色センサアレイを有する口腔内カメラの１つ以上の歯の３−Ｄ輪郭画像にカラーテクスチャマッピングを形成する方法は、記録された画像データによる１つ以上の歯の３−Ｄ表面輪郭画像を表す３−Ｄメッシュを取得することと、１つ以上の歯上に少なくとも３つの異なるスペクトル帯の光を投影し、単色センサアレイ上に少なくとも３つの対応するカラー成分画像を記録することによって少なくとも３つの単色シェーディング画像の複数のセットを生成することと、対応する複数の２−Ｄカラーテクスチャのシェーディング画像を生成するために少なくとも３つの単色シェーディング画像の選択されたセットを組み合わせることであって、複数のカラーテクスチャのシェーディング画像のそれぞれは１つ以上の歯にビューを有する、組み合わせることと、１つ以上の歯の３−Ｄ表面の輪郭画像を表す３−Ｄメッシュにおける３−Ｄメッシュの多角形の表面のそれぞれを２−Ｄカラーテクスチャのシェーディング画像のサブセットの１つに割り当てることと、同じ２−Ｄカラーテクスチャシェーディング画像に割り当てられた３−Ｄメッシュの多角形の表面を３−Ｄメッシュフラグメント表面にグループ化することと、割り当てられた２−Ｄカラーテクスチャシェーディング画像におけるそれぞれの３−Ｄメッシュフラグメント表面に対する代表座標を決定することと、割り当てられた２−Ｄカラーテクスチャシェーディング画像における決定された座標により、３−Ｄメッシュフラグメント表面からカラーテクスチャ値で３−Ｄメッシュ多角形表面をレンダリングして１つ以上の歯のカラーテクスチャ３−Ｄ表面輪郭画像を生成することと、を含むことが可能である。一実施形態では、１つ以上の歯の３−Ｄ表面輪郭画像を形成するそれぞれの３−Ｄメッシュ多角形表面を１つの２−Ｄカラーテクスチャシェーディング画像に割り当てることで、１つ以上の歯３−Ｄ表面輪郭画像を形成する３−Ｄメッシュ多角形（例えば、三角形）表面を識別することと、２−Ｄカラーテクスチャシェーディング画像の第１のサブセットを配向アラインメントによって単一の３−Ｄメッシュ多角形表面の１つと照合することと、３−Ｄメッシュ多角形表面のうちの残りを照合された３−Ｄメッシュ多角形表面のうちの１つにグループ化することによって、３−Ｄメッシュフラグメント表面を決定することを含むことができる。一実施形態では、３−Ｄメッシュフラグメント表面のそれぞれに対し代表座標を決定することで、割り当てられた２−Ｄカラーテクスチャシェーディング画像への３−Ｄメッシュフラグメント表面の座標の投影を含むことができる。
【００７８】
本発明は１つ以上の実装様態に関して説明してきたが、代替及び／または修正が、添付の特許請求の範囲の趣旨及び範囲から逸脱することなく、示された例についてなされ得る。さらに、本発明の具体的な特徴はいくつかの実装様態のうちの１つについて開示され得るが、このような特徴は、それが所望され、任意の所与のまたは具体的な機能に関して利点があり得るため、他の実装様態のうちの１つ以上の他の特徴と組み合わされ得る。「少なくとも１つ」という用語は、列挙された項目のうちの１つ以上が選択され得ることを意味するために用いられている。「およそ（ａｂｏｕｔ）」という用語は、変更により示された実施形態に対して処理または構造における不適合が生じない限り、列挙された値がいくらか変更され得ることを示している。最後に、「例示的な（ｅｘｅｍｐｌａｒｙ）」は、説明が理想的であることを暗示するよりはむしろ一例として用いられていることを示す。
【００７９】
本発明の他の実施形態は、本願に開示された本発明の詳細及び実践を考慮することにより、当業者に明白になるであろう。本明細書及び例は例示のみを目的とするものであり、本発明の真の範囲及び趣旨は以下の特許請求の範囲により示され、それらの均等物の意味及び範囲内の変更は、そこに含まれることを意図している。
【図１】
2018514237.tif 000003
【図２】
2018514237.tif 000004
【図３】
2018514237.tif 000005
【図４Ａ】
2018514237.tif 000006
【図４Ｂ】
2018514237.tif 000007
【図５】
2018514237.tif 000008
【図６Ａ】
2018514237.tif 000009
【図６Ｂ】
2018514237.tif 000010
【図６Ｃ】
2018514237.tif 000011
【図７Ａ】
2018514237.tif 000012
【図７Ｂ】
2018514237.tif 000013
【図８Ａ】
2018514237.tif 000014
【図８Ｂ】
2018514237.tif 000015
【図８Ｃ】
2018514237.tif 000016
【図８Ｄ】
2018514237.tif 000017
【図９】
2018514237.tif 000018
【図１０Ａ】
2018514237.tif 000019
【図１０Ｂ】
2018514237.tif 000020
【図１１】
2018514237.tif 000021
【図１２Ａ】
2018514237.tif 000022
【図１２Ｂ】
2018514237.tif 000023
【図１３】
2018514237.tif 000024
【国際調査報告】
2018514237.tif 000025
2018514237.tif 000026
2018514237.tif 000027
2018514237.tif 000028