(57)【要約】      （修正有）【課題】画像の鮮明さや品質低下の障害および欠点を克服すると同時にカラーの三次元情報を提供する。【解決手段】少なくとも１つのモノクロセンサーと１つの光源を用いて物体）の三次元表面形状をキャプチャーする方法および装置で、ａ．モノクロセンサーを使用して、第１ポーズを含む物体の第１の多次元情報を得る工程；ｂ．物体を第１色の光源により照らす工程：ｃ．モノクロセンサーを使用して照らされた物体のモノクロ画像を取得する工程；ｄ．モノクロセンサーを使用して、第２ポーズを含む物体の第２の多次元情報を生成する工程；ｅ．工程ａ．およびｄ．の第１および第２ポーズを組み合わせて中間ポーズを作成する工程；ｆ．工程ｃのモノクロ画像と工程ｅの中間ポーズとを組み合わせて、物体の少なくとも一部分のカラーモデルを作成する工程；を含むことを特徴とする。【選択図】図１
2018159703.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのセンサー（５１）および少なくとも１つの光源（５２）を用いて物体（５５）の三次元表面形状をキャプチャーする方法であって、センサー（５１）はモノクロセンサー（５１）であり、
ａ．モノクロセンサー（５１）を使用して、第１ポーズを含む物体（５５）の第１の多次元情報を得る工程；
ｂ．物体（５５）を第１色の光源（５２）により照らす工程：
ｃ．モノクロセンサー（５１）を使用して、照らされた物体（５５）のモノクロ画像を取得する工程；
ｄ．モノクロセンサー（５１）を使用して、第２ポーズを含む物体（５５）の第２の多次元情報を生成する工程；
ｅ．工程ａ．およびｄ．の第１および第２ポーズを組み合わせて中間ポーズを作成する工程；
ｆ．工程ｃのモノクロ画像と工程ｅの中間ポーズとを組み合わせて、物体（５５）の少なくとも一部分のカラーモデルを作成する工程；
を含んでなることを特徴とする、方法。
【請求項２】
ｇ．工程ａないしｆを繰り返し、これにより物体（５５）が工程ｂの間に少なくとも第２色で光源（５２）により照らされる工程を含んでなることを特徴とする、請求項１に記載の方法。
【請求項３】
第１および／または第２色が３色の組、好ましくは「赤−緑−青」（ＲＧＢ）または「シアン−イエロー−マゼンタ」（ＣＹＭ）の一部であることを特徴とする、請求項２に記載の方法。
【請求項４】
三次元表面形状が、切断符号付き距離関数（ＴＳＤＦ）内に表記されることを特徴とする、請求項１ないし３の１項に記載の方法。
【請求項５】
ＴＳＤＦが第１のボクセルグリッド内に表記され、第１のボクセルグリッドに対応する第２のボクセルグリッドが提供され、そして色情報が第２のボクセルグリッドに表記されることを特徴とする、請求項４に記載の方法。
【請求項６】
物体（５５）の特定の領域に関して利用できる三次元情報の量が計量され、そして該量が所定値を越えた場合に前記領域について工程ａ．ないしｆ．が実行されることを特徴とする、請求項１ないし５の１項に記載の方法。
【請求項７】
照らされた物体（５５）のモノクロ画像を使用して、物体（５５）の表面の追加の三次元情報を作成することを特徴とする、請求項１ないし６の１項に記載の方法。
【請求項８】
少なくとも１つのセンサー（５１）と、少なくとも１つの光源（５２）と、コンピューター計算装置とを用いて物体（５５）の三次元表面形状をキャプチャーする装置であって、センサー（５１）はモノクロ光学センサー（５１）であり、そして光源（５２）は多色光源（５２）であることを特徴とする、装置。
【請求項９】
光源（５２）がＲＧＢまたはＣＹＭ光源であることを特徴とする、請求項８に記載の装置。
【請求項１０】
前記装置がフィルターを含んでなり、そして少なくとも１つの光源（５２）により作成される波長の光のみがフィルターを通ることができることを特徴とする、請求項８または
９の１項に記載の装置。
【請求項１１】
前記装置がフィルターを含んでなり、そして少なくとも１つの光源（５２）により生成され、口腔内構造により反映される、波長の光のみがフィルターを通ることができることを特徴とする、請求項８または９の１項に記載の装置。
【請求項１２】
前記フィルターがセンサー（５１）上のコーティングであることを特徴とする、請求項１０または１１の１項に記載の装置。
【請求項１３】
前記装置はミラー（５３）を含んでなり、そして少なくとも１つの光源（５２）により生成される波長の光のみが反射されることを特徴とする、請求項８ないし１２の１項に記載の装置。
【請求項１４】
前記装置はミラー（５３）を含んでなり、そして少なくとも１つの光源（５２）により生成され、そして口腔内構造により反射される波長の光のみがミラー（５３）により反射されることを特徴とする、請求項８または１２の１項の記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも１つのセンサーおよび少なくとも１つの光源を用いて物体の三次元表面形状をキャプチャーするための方法および装置に関する。
【背景技術】
【０００２】
最新技術では、光学手段を用いて口腔内構造をキャプチャーすることが知られており、それゆえに患者の歯並びの不快な物理的印象採得と、該印象の保存との必要性がなくなる。スピードおよび精密さは永続的に強化されるものの、本技術の他の側面は未だに開発の余地がある。
【０００３】
これらの側面の１つは口腔内構造のカラースキャンを作成することである。そのようなスキャンを提供するための１工程は、多色センサーを採用することであった。しかし多色センサーは画像の鮮明さを欠き、したがって歯科用製品を構築するために使用できる正確な三次元情報を提供するために要求される品質を下げる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって本発明の目的は、前述の障害および欠点を克服すると同時にカラーの三次元情報を提供することである。
【課題を解決するための手段】
【０００５】
この課題は請求項１に記載の方法と、請求項８に記載の装置とにより解決される。
【０００６】
モノクロセンサーは、より詳細な画像を達成するが色の情報が無いという欠点がある。対照的に、カラーセンサーは画質が低いが、色の情報を有する。本発明は両システムの利点を結びつける。さらに１つのカラー画像を生成するために、幾つかの、好ましくは３つのモノクロ画像が有利である。しかしモノクロ画像の数および特定の色は、当業者に望まれる色の深度および／または多様さに従い選択される場合がある。
【０００７】
好適な態様では、本方法は以下の工程を含んでなる。
【０００８】
第１工程では、物体の第１組の多次元情報が得られる。該情報を作成するために選択される方法は、当業者により選択されることができ、そして立体撮影、パターン歪み（ｐａｔｔｅｒｎ  ｄｉｓｔｏｒｔｉｏｎ）、縞状投影（ｐｒｏｊｅｃｔｉｏｎ  ｏｆ  ｓｔｒｉｐｅｓ）等を含むが、これらに限られない場合がある。多次元情報を作成するために選択される方法からは独立して、スキャンされる物体（第１ポーズ、工程ａ．）に対するセンサーの相対位置を知ることが必要である。
【０００９】
多次元情報および第１ポーズが取得された後、物体は第１色（工程ｂ．）で照らされる。好ましくは、第１色は３色の組、例えば「赤−緑−青」（ＲＧＢ）または「シアン−イエロー−マゼンタ」（ＣＹＭ）の一部である。
【００１０】
次の工程では、照らされた物体の画像が取得される。この画像は物体を照らした１つの色に関する色情報を提供する。例えば歯肉と歯の間の差のような単純な色情報が必要なだけならば、１色の情報で十分となり得る。この目的に関して、青および緑の範囲の色（４５０ｎｍから６００ｎｍ）が好ましい。
【００１１】
カラー画像が取得された後、物体の第２ポーズを含む第２の多次元情報が撮られる。
【００１２】
しかし現実には、これが全く正しいとは限らず、本発明の目的に関しては第１および第２ポーズ間の正に中間の位置でカラー画像が取得されたと想定されることで十分に正確となる。したがって人工的ポーズが、第１および第２ポーズのデータから派生される。これは例えば両ポーズ間の単純な内挿を介して行うことができる。次いで人工的ポーズおよびカラー画像が組み合わされて、第１および第２ポーズでセンサー（１もしくは複数）によりキャプチャーされた物体のセグメントの少なくとも部分的に色付けされた３Ｄ情報が作成される。
【００１３】
物体の別々のモノクロ画像を使用する場合の問題は、これらが通常、わずかに異なる角度／位置から取得される点である。これは所謂ハリス−シャッタ−効果（Ｈａｒｒｉｓ−ｓｈｕｔｔｅｒ  ｅｆｆｅｃｔ）を生じる場合がある。これは不正確な色情報をもたらすだけでなく、モデルの全体的な正確さも損なう可能性もある。本発明によれば、この問題は色情報を２組の三次元情報に「埋め込む」ことにより解決することができる。この方法の色情報は、三次元モデルに対し正しいコンテキストで設定される。しかし異なる色は部分的に重なるだけなので、縁の回りに歪んだ領域が生じる恐れがある。そのような領域にもかかわらず、本発明の方法はハリス−シャッタ−効果が本質的に回避できるので好ましい。
【００１４】
もちろん仮想（ｖｉｒｔｕａｌ）物体の表面の一部分だけをこの方法で色付きとすることができるので、色付きセグメントのみが作成される。しかし処理を十分に繰り返せば、仮想モデル全体を色付けすることができる。
【００１５】
本発明の好適な開発により多色情報が望まれる場合、これらの工程は他の色（好ましくは第１のカラー画像と同じ３色組から）で繰り返すことができ、次いで多色三次元情報に組み合わせることができる。
【００１６】
本発明の好適な態様では、限定するわけではないが、三次元表面形状が切断符号付き距離関数（ｔｒｕｎｃａｔｅｄ  ｓｉｇｎｅｄ  ｄｉｓｔａｎｃｅ  ｆｕｎｃｔｉｏｎ：ＴＳＤＦ）内で表記される（ｎｏｔｅｄ）。ＴＳＤＦは米国特許出願公開第２０１５／００２４３３６号明細書に詳細に記載されているように、より高い精度およびより速い処理を導くことができるので他の記法（ｎｏｔａｔｉｏｎ）より有利である。
【００１７】
しかしほとんどのＴＳＤＦは、限られた量の情報のみを持つことができるように作成される。ＴＳＤＦは三次元グリッド内に表記され、ボクセルグリッドは、グリッド（ボクセル）内の各点が通常、一定の量、例えば３２ビットのデータを含んでいる。ゆえにスキャンされた物体の実際の三次元構造に関する情報の次に色のようなさらなる情報に関する十分な「スペース」が存在しない可能性がある。
【００１８】
この問題を解決するために、第２のボクセルグリッド、「カラーボクセルグリッド（ｃｏｌｏｒ  ｖｏｘｅｌｇｒｉｄ）」を提供することができ、ここですべてのボクセル−座標はＴＳＤＦを含むボクセルグリッドのボクセル座標に対応する。形状／位置情報の代わりに、色情報をこれらのボクセルに保存することができる。したがってＴＳＤＦ内のボクセルに対する色情報が必要ならば、同じ座標で対応する色のボクセルグリッドから読むことができる。
【００１９】
またこの態様は、さらなる利点を有する。最新技術から知られているＴＳＤＦは、有利に開発された幾つかの特性および適用可能な操作を有する。別のレベルの追加情報を加えることは、これまでに知られている処理の速度を下げ、したがってユーザの快適さを損な
う可能性がある。他の情報、例えば形状、更新回数、重量／精度等から色に関する情報を分離すると、従来技術で知られている迅速かつ容易な操作を維持するシステムにすることが可能である。
【００２０】
両ボクセルグリッドを組み合わせるために、「インバースレイキャスター（ｉｎｖｅｒｓｅ  ｒａｙｃａｓｔｅｒ）」が採用される。通常、レイキャスターは物体の保存された仮想モデルを視覚化するために、形状構造ならびに色情報を含む表面情報を得る。採用された「インバースレイキャスター」は物体のモノクロ画像を使用し、そしてそれを人工的な中間ポーズを使用して三次元モデルに投影する。次いで三次元モデルに当たる色と座標を持つ光線について、得られた情報を使用してカラーボクセルグリッドを作成する。一般的なレイキャスターを使用することについて、さらなる説明は米国特許出願公開第２０１５／００２４３３６号明細書に見いだすことができる。
【００２１】
もちろん十分な計算能力があれば、データが唯一のボックスグリッドに記録される態様も使用することができる。
【００２２】
本発明の好適な態様によれば、物体の特定の領域に関して利用可能な三次元情報の量をカウントし、そしてその量が所定値を越えた場合、工程ａ．からｆ．が前記領域について実行される。照らされた物体のモノクロ画像は通常、深度情報、したがって表面形状の情報を作成するためには有用ではないので、工程ａ．からｆ．を行うことは仮想な三次元モデルを得る処理を顕著に遅くする恐れがある。第１の照らされたモノクロ画像を取得する前に、物体の特定の領域に関する十分な情報量を先に集めることがこの欠点を克服するために役立つ。もちろんこの態様を実現する必要性は、三次元および色情報の所望の質およびデータを処理する計算装置の性能にそれぞれ依存する。
【００２３】
物体の特定の領域は、例えばＴＳＤＦの特定部分内の物体の全ての部分であり得る。例えばボクセルグリッドは８3ボクセルのブロックに分割することができる。
【００２４】
本発明のより進化した態様では、照らされた物体のモノクロ画像が物体表面の追加の三次元情報を作成するために使用される。この目的には、所謂「陰影による形状（ｓｈａｐｅ  ｂｙ  ｓｈａｄｉｎｇ）」の方法を使用することができる。この方法について、画像のより明るい、およびより暗い領域を分析し、そして深度情報が得られる。これはセンサーの視線方向に対して本質的に垂直（ｎｏｒｍａｌ）である表面は、センサーの視線方向に対して本質的に垂直ではない表面より多くの光を反射する効果に基づく。モノクロ画像のより暗い部分は、センサーからはより強く曲がっている（ｂｅｎｔ  ａｗａｙ）と認められる。照明のこれらの変化は、表面構造の情報を引き出すために使用することができる。
【００２５】
本発明のさらに好適で、しかも有利な態様は、従属項の目的である。
【００２６】
以下では、本発明の好適な態様の説明を記載する。記載する態様は単に本発明を単に例示することを意味するものであり、これは示された例に限定されず、広い範囲の態様で実施することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明による方法の例示態様を示す。
【図２】色および三次元情報を組み合わせる例を示す。
【図３】「インバースレイキャスター」を図示する。
【図４】物体の三次元モデルに合わせた３つのモノクロ画像から、色情報を概念図で示す。
【図５】本発明による装置の例示態様を図解で示す。
【発明を実施するための形態】
【００２８】
図１の工程１では、最初の三次元情報の組が得られ、そして保存される。該情報は、スキャンされる物体５５（図５参照）（ポーズ）に対してスキャナーの光学センサー５１（図５参照）の位置および方向を含む。
【００２９】
工程２では、物体５５が第１色で照らされる。例えば物体５５は赤色で照らされることができ、しかし他の色も可能であり、そして熟練者の判断で選択される場合がある。
【００３０】
工程３では、選択した色で照らされた物体５５のモノクロ画像が撮られる。可視情報の次に、物体５５を照らすために使用した色も、さらなる使用のために保存される。
【００３１】
工程４では、第２ポーズを含むさらなる三次元情報が得られる。この三次元情報、モノクロ写真およびさらなる三次元情報が直ちに連続して得られている。
【００３２】
工程５では、２つの引き続く工程（図２で示すように）で、第１および第２ポーズの人工的中間ポーズを作成し、そしてそれをモノクロ画像と組み合わせ、これにより仮想モデルの第１カラーサブセット（ｃｏｌｏｒｅｄ  ｓｕｂｓｅｔ）を作成する。
【００３３】
工程６から１０は基本的に工程１から５を繰り返すが、多色情報を所望する場合には別の色を用いる。工程４がすでにポーズを含む三次元情報を提供するので、これを工程６の代わりに使用でき、任意とする。しかし追加の三次元情報を工程４と６の間で得て、例えば物体５５のより高密度および／またはより精密な仮想モデルを提供することも可能である。
【００３４】
したがって工程１１から１５は、ここでも工程１から５を繰り返すが、別の色を用いる。この方法はより少ない色で行うこともできるが、最も自然な色付けは赤、緑および青またはマゼンタ、イエローおよびシアンのいずれかを採用することにより得ることができる。
【００３５】
例えば処理を早くすること、モノクロ画像を作製するためにより少ない色を使用することを望む場合、所謂ＣＬＵＴ（カラールックアップテーブル）を採用することができる。ＣＬＵＴは口腔内構造間の特定の物質は通常、投影される可能性のある色が類似組成で類似の色を有するという事実を使用する。例えば歯肉組織には、しかるべく照らされた時に測定できる極めて少ない範囲の量の緑または青が存在する。したがってこれらの色の１つで照らされただけでも同定することができる。この情報に基づき、「歯肉」と「残り」（通常は歯）との間の識別ができる。現実の色の正確な知識が無くても、典型的な色付けはこのテーブルから選択でき、そして十分に自然であると認識できる画像の色付けを行うことができる。
【００３６】
２または３つの異なる色を使用してモノクロ画像を照らす場合、工程５，１０および１５からのこの２または３色のサブセットは、次に工程１６で組み合わせることができる。
【００３７】
図２は工程５のプロセスをさらに詳細に示す。最初に、工程２１で、工程１および工程４のポーズの間の中間ポーズが作成される。次いで工程２２で、仮想物体（これはこれまでに得られているように）は、仮想カメラにより中間ポーズの視点から「観察」される。仮想カメラの採用について、さらなる説明および使用は、欧州特許出願第２８８６０４３号明細書に見い出すことができる。仮想カメラの視線に沿って、モノクロ画像を仮想透視図（ｖｉｒｔｕａｌ  ｔｒａｎｓｐａｒｅｎｃｙ）のように配置し（図３も参照されたい）、そして仮想物体上に投影する。このようにレイキャスターがするように色および表面情報を得る代わりに、これは色情報を仮想物体に割り当て、そして「インバースレイキャスター」とみなすことができる。
【００３８】
図４は、仮想モデル４４に割り当てられた３つの異なる「カラーパッチ（ｃｏｌｏｒ−ｐａｔｃｈｅｓ）」４１，４２，４３を図示する。全ての３つの「カラーパッチ」が重複する中央部分４５で最後の色付けが達成される。
【００３９】
図５はハンドピース５４内に配置されたセンサー５１、光源５２およびミラー５３を有する装置の大変簡略化した図を示す。光（または照明、矢印として象徴的に表す）は、光源５２により発光され、そしてミラー５３に当たる。好適な態様によれば、ミラー５３は光源５２が発光した光を反射するだけである。これは環境光により生じる可能性がある誤差および歪みを最少にするために役立つ。次いでミラー５３は物体５５に光を反射する。物体５５はその光をミラー５３に反射する。
【００４０】
口腔内構造の性質のため、物体５５に当たる光が僅かに変化する可能性がある。例えば紫外線は歯に当たると歯に入り、そして反射し返される前に僅かに「緑がかった」色にシフトすることが知られている。
【００４１】
したがって本発明の進歩した態様では、ミラー５３も、あるいはミラー５３だけが排他的に物体５５が反射する光源５２により発光された光を反射する。ミラー５３が、物体５５が反射する光源５２により発光された光を排他的に反射する場合には、光源５２により発光された光は直接物体５５に当てることが有利である。
【００４２】
ミラー５３から反射された後、光はセンサー５１に入る。環境光の誤差および／または歪みをさらに回避するために、センサー５１は、光源５２により生成される光、および／または、光源５２により照らされた後物体５５により反射された光のいずれかのみが通過できるフィルターを含む場合もある。
【００４３】
部分的にのみ反射性のミラー５３およびセンサーフィルターの組み合わせももちろん想定でき、そして熟練者により有利に選択される場合がある。
【図１】
2018159703.tif 000003
【図２】
2018159703.tif 000004
【図３】
2018159703.tif 000005
【図４】
2018159703.tif 000006
【図５】
2018159703.tif 000007
【外国語明細書】
2018159703000001.pdf