(57)【要約】      （修正有）【課題】口腔内測定データを生成して表示するシステム及び方法を提供する。【解決手段】口腔内走査デバイスの測定視野がオブジェクト・シーンの第１の領域に向けられ、当該第１の領域に係る画像データが取得され、口腔内走査デバイスは、オブジェクト・シーンの一つ又は複数の表面に近接する経路に沿って、第１の領域から上記オブジェクト・シーンの第２の領域まで移動される。口腔内走査デバイスは、経路に沿って上記オブジェクト・シーンに対応する画像データを取得し、一組の３Ｄデータが表示装置に表示される。３Ｄデータは、オブジェクト・シーンの第１の領域からオブジェクト・シーンの第２の領域までの範囲で取得された画像データから生成される。表示装置のウィンドウには、測定視野内の上記オブジェクト・シーンについて取得された画像データの現在のビデオ映像が一組の３Ｄデータの集積データの画像表現における、対応する部分に重畳表示される。【選択図】図３
2012055695.tif 000002
【特許請求の範囲】
【請求項１】
口腔内測定データを表示する方法であって、
口腔内走査デバイスの測定視野をオブジェクトのシーンの第１の領域に向けて、当該第１の領域に係る画像データを取得する行程と、
前記口腔内走査デバイスを前記第１の領域から、前記オブジェクトのシーンの一つ又は複数の表面に近接する経路に沿って前記オブジェクトのシーンの第２の領域まで移動させるステップと、
前記口腔内走査デバイスにより、前記経路に沿って前記オブジェクトのシーンに対応する画像データを取得する行程と、
前記第１の領域から前記第２の領域までの間で取得した画像データから生成された一組の３次元（３Ｄ）データを表示装置に表示するステップと、
前記表示装置のウィンドウ内に、前記測定視野内における前記オブジェクトのシーンの現在のビデオ映像を表示する行程であって、前記現在のビデオ映像は、前記一組の３Ｄデータの集積データについての画像表現における、対応する部分に重畳されて表示される行程と、
を有する方法。
【請求項２】
前記現在のビデオ映像は、少なくとも準リアルタイムの２次元（２Ｄ）ビデオ映像である、請求項１に記載の方法。
【請求項３】
さらに、
前記現在のビデオ映像を実質的に不透明なビデオ映像として表示して、前記表示装置の前記ウィンドウにより区画された重畳領域における前記画像表現の表示を妨げるように、前記表示装置の前記ウィンドウを構成するステップ、
を有する、請求項１に記載の方法。
【請求項４】
さらに、
前記ウィンドウにより区画された前記重畳領域内の前記現在のビデオ映像の不透明度を、前記ウィンドウ内に前記３Ｄが表示されるように減少させる行程と、
前記ウィンドウにより区画された前記重畳領域内において、前記現在のビデオ映像と前記画像表現とを同時に観察する行程と、
を有する、請求項３に記載の方法。
【請求項５】
さらに、
画像データの取得を一時的に中断する行程と、
前記口腔内走査デバイスを前記第１の領域に近接する第３の領域へ移動させる行程と、
前記ウィンドウにより区画された重畳領域内において、前記不透明度が調整されたビデオ映像と、前記一組の３Ｄデータの不透明度が調整された部分とが、実質的に整合するまで、前記口腔内走査デバイスを移動させる行程と、
画像データの取得を再開する行程と、
前記画像表現に、前記取得が再開された画像データから生成された新しい一組の３Ｄデータを加える行程と、
を有する、請求項４に記載の方法。
【請求項６】
前記オブジェクトは歯列弓である、請求項１に記載の方法。
【請求項７】
さらに、
前記一組の３Ｄデータから、少なくとも一つのワイヤフレーム表現を生成する行程と、
前記少なくとも一つのワイヤフレーム表現を、前記画像表現として表示する行程と、
を有する、請求項１に記載の方法。
【請求項８】
さらに、
前記オブジェクトの表面を表わす前記一組の３Ｄデータから少なくとも一つの３Ｄ表面マップを生成する行程と、
前記少なくとも一つの３Ｄ表面マップを、前記画像表現として表示する行程と、
を有する、請求項１に記載の方法。
【請求項９】
さらに、
前記オブジェクトの表面を表わす前記一組の３Ｄデータから少なくとも一つのポイントクラウドを生成する行程と、
前記少なくとも一つのポイントクラウドを、前記画像表現として表示する行程と、
を有する、請求項１に記載の方法。
【請求項１０】
歯列弓についての口腔内測定データを表示する方法であって、
口腔内測定デバイスを、歯列弓の第１の領域に近接する第１のスキャン開始点に配置する行程と、
前記口腔内測定デバイスの測定視野を歯列弓の前記第１の領域に向ける行程と、
前記口腔内測定デバイスを、前記第１の領域から、歯列弓の表面に近接する経路に沿って歯列弓の第２の領域に近接する第１のスキャン終了点まで移動させて、前記第１の開始点から前記第１の終了点までの画像データを取得する行程と、
取得した画像データから生成した一組の３Ｄデータを表示装置に表示する行程と、
前記取得した画像データのビデオ映像を、一組の３Ｄデータの集積データについての画像表現における、対応する部分の上に重畳する行程と、
現在の前記ビデオ映像の不透明度を調整することにより、ウィンドウ内に前記３Ｄデータを表示する行程と、
を有する方法。
【請求項１１】
さらに、
前記ウィンドウにより区画された重畳領域内において、前記現在のビデオ映像と前記一組の３Ｄデータの表示部分とが、実質的に整合するまで、前記口腔内測定デバイスを、前記歯列弓の前記第１の領域に近接する第２の開始点まで移動させる行程と、
画像データの取得を再開する行程と、
前記取得された画像データの３Ｄデータに、前記取得が再開された画像データから生成した新たな３Ｄデータセットを加える行程であって、前記新たな３Ｄデータセットは、前記一組の３Ｄデータの一部とオーバラップしている行程と、
を有する、請求項１０に記載の方法。
【請求項１２】
さらに、
前記一組の３Ｄデータから、少なくとも一つのワイヤフレーム表現を生成する行程と、
前記少なくとも一つのワイヤフレーム表現を、前記画像表現として表示する行程と、
を有する、請求項１０に記載の方法。
【請求項１３】
さらに、
前記歯列弓の表面を表わす前記一組の３Ｄデータから少なくとも一つの３Ｄ表面マップを生成する行程と、
前記少なくとも一つの３Ｄ表面マップを、前記画像表現として表示する行程と、
を有する、請求項１０に記載の方法。
【請求項１４】
さらに、
前記歯列弓の表面を表わす前記一組の３Ｄデータから少なくとも一つのポイントクラウドを生成する行程と、
前記少なくとも一つのポイントクラウドを、前記画像表現として表示する行程と、
を有する、請求項１０に記載の方法。
【請求項１５】
画像重畳システムであって、
口腔内スキャンにより取得された画像データから３次元（３Ｄ）データを生成する３Ｄプロセッサと、
前記画像データを受信して現在のビデオ映像を出力するビデオインタフェースと、
前記３Ｄデータの集積データの画像表現を生成し、表示ウィンドウに前記画像表現の対応する部分を重畳するオーバレイエンジンと、
を有するシステム。
【請求項１６】
さらに、
前記表示ウィンドウ内に前記現在のビデオ映像に関連して前記一組の３Ｄデータの一部が表示されるように、前記現在のビデオ映像の不透明度を調整するオパシティアジャスタ、を有する、請求項１５に記載のシステム。
【請求項１７】
前記オーバレイエンジンは、前記一組の３Ｄデータから、３Ｄ表面マップ、ワイヤフレーム表現、又はポイントクラウドの少なくとも一つを生成するプロセッサを含む、請求項１５に記載のシステム。
【請求項１８】
歯科矯正分析システムであって、
口腔内のオブジェクトのシーンに係る画像データを取得する走査デバイスと、
取得した画像データから少なくとも一つの現在のビデオ映像と３Ｄデータとを生成し、前記現在のビデオ映像を前記３Ｄデータの集積データの画像表現に重畳するため処理する画像オーバレイプロセッサと、
前記ビデオ映像を、前記３Ｄデータの前記画像表現における対応する部分上に表示するためのウィンドウを含む表示装置と、
を有するシステム。
【請求項１９】
前記走査デバイスは口腔用ウォンドスキャナである、
請求項１８に記載のシステム。
【請求項２０】
前記画像オーバレイプロセッサは、前記現在のビデオ映像に関連して前記表示装置のウィンドウ内に前記一組の３Ｄデータの一部が表示されるように、前記表示装置のウィンドウ内の前記現在のビデオ映像の不透明度を調整する、
請求項１８に記載のシステム。
【請求項２１】
前記画像オーバレイプロセッサは、前記一組の３Ｄデータから３Ｄ表面マップ、ワイヤフレーム表現、又はポイントクラウドの、少なくとも一つを生成する、請求項１８に記載のシステム。
【請求項２２】
口腔内測定データを表示するコンピュータ・プログラム製品であって、
コンピュータ読み取り可能なプログラムコードを含むコンピュータ読み取り可能な記憶媒体を有し、
当該コンピュータ読み取り可能なプログラムコードは、
口腔内走査デバイスの測定視野をオブジェクトのシーンの第１の領域に向けて、当該第１の領域に係る画像データを取得するように構成された、コンピュータ読み取りが可能なプログラムコードと、
前記オブジェクトのシーンの第１の領域と第２の領域の間の経路に沿って前記オブジェクトのシーンに対応する画像データを取得するように構成された、コンピュータ読み取りが可能なプログラムコードと、
前記オブジェクトのシーンの第１の領域から前記オブジェクトのシーンの第２の領域までの範囲で取得された画像データから生成された一組の３次元（３Ｄ）データの画像表現を生成するように構成された、コンピュータ読み取りが可能なプログラムコードと、
前記測定視野内の前記オブジェクトのシーンの現在のビデオ映像を、前記一組の３Ｄデータの集積データの前記画像表現における、対応する部分に重畳して表示するように構成された、コンピュータ読み取り可能なプログラムコードと、
を有するコンピュータ・プログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にオブジェクト表面の３次元（３Ｄ）画像の取得（imaging）に関し、特に、口腔内の走査（scanning operation）により得られた一組の３Ｄデータの画像表現を生成して表示すると共に、表示した画像表現に口腔内の２次元（２Ｄ）ビデオ映像を重畳する装置及び方法に関する。
【背景技術】
【０００２】
本出願は、2010年9月10日に米国でなされた仮特許出願第61/381,731号（名称：３次元口腔内スキャナのためのデータ処理およびディスプレイの方法）についての出願日の利益を主張し、その内容の全体をここに引用するものである。
【０００３】
歯科用又は医療用の３Ｄカメラ又はスキャナは、画像システムの一部となってオブジェクト・シーン（object scene）についての一つ又は複数のオブジェクト表面の、一連の２Ｄ輝度画像を取得することができる。一部のシステムでは、このような画像取得は、オブジェクト表面に構造的なパターンを持つ光を照射することにより行われる。このような光のパターンは、一組のコヒーレント光ビームをオブジェクト表面に照射することにより得ることができ、その結果得られる縞パターンを変化させながら２Ｄ画像を連続して撮影する。あるいは、照射する光パターンを、輝度マスク（intensity mask）を用いて一連の平行ラインとして生成し、このパターンの位置を移動させながら２Ｄ画像を連続して撮影する場合もある。さらに他の３Ｄ画像システムとして、共焦点イメージング技術（confocal imaging technique）やその他の同種の技術を用いるものもある。
【０００４】
一般的な画像システムは、ウォンド（wand、棒状のエレメント）型その他の手で扱うタイプ（handheld）の走査デバイス（scanning device）を備え、ユーザは手操作によりその走査デバイスをオブジェクト・シーンに向ける。オブジェクト・シーンを測定する間、ウォンドスキャナ（ウォンド型の走査デバイス）の位置を動かすことでオブジェクト・シーンについての一連の３Ｄデータが得られる。一部のアプリケーションでは、ウォンドスキャナをいくつかのオブジェクト表面に近接させて、複数のオブジェクト表面を測定する。しかしながら、ウォンドスキャナをオブジェクト・シーンの一部に近接させると、そのオブジェクト・シーンの他の部分は、ウォンドスキャナの視界から離れてぼやけてしまう。例えば、歯科用途においては、特定の静止画像を撮影する際に、歯や歯肉、その他の歯科構成物（dental features）が存在することにより、他の歯について画像が不鮮明なものとなってしまう場合がある。このため、歯科医は、歯列弓を何度もスキャンしてその３Ｄデータを取得することとなる。数回にわたるスキャンから得られた全ての３Ｄデータの重なり部分（overlapped region）は処理ユニットに記憶され、その測定において観測された全ての表面についての完全な３Ｄデータ表現が得られる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、口腔内測定データを生成して表示するシステム及び方法を提供する。
【課題を解決するための手段】
【０００６】
一つの態様は、コンピュータにより実現される、口腔内測定データを表示する方法である。口腔内走査デバイスの測定視界がオブジェクト・シーン（object scene）の第１の領域に向けられ、当該第１の領域の画像が取得される。口腔内走査デバイスは、第１の領域から当該オブジェクト・シーンの第２の領域に向かって、当該オブジェクト・シーンの一つ又は複数の表面に近接する経路に沿って移動される。口腔内走査デバイスは、その経路に沿って、当該オブジェクト・シーンに応じた画像データを取得する。一組の３Ｄデータが、表示装置に表示される。そのオブジェクト・シーンの第１の領域から第２の領域までの範囲で取得された画像データに基づいて、３Ｄデータが生成される。表示装置のウィンドウに、測定視界内においてそのオブジェクト・シーンから得られた画像データの、現在のビデオ映像が表示される。この現在のビデオ映像は、上記一組の３Ｄデータの集積データの画像表現における、所望の位置に重畳される。
【０００７】
他の態様は、歯列弓に関する口腔内測定データを表示する方法である。口腔内測定デバイスが、歯列弓の第１の領域に近接する第１のスキャン開始点に配置される。口腔内測定デバイスの測定視界が、歯列弓の第１の領域に向けられる。口腔内測定デバイスは、第１の領域から、当該歯列弓の表面に近接する経路に沿って、歯列弓の第２の領域に近接する第１のスキャン終了点まで移動され、第１のスキャン開始点から第１のスキャン終了点までの画像データを取得する。取得した画像データから生成された一組の３Ｄデータが、表示装置に表示される。取得した画像データのビデオ映像が、上記一組の３Ｄデータの集積データの画像表現における、所望の位置に重畳される。上記３Ｄデータは、現在のビデオ映像の不透明度（opacity level）を調整することにより、ウィンドウ内に表示される。
【０００８】
他の態様は、３Ｄプロセッサと、ビデオインタフェースと、オーバレイエンジン（overlay engine）とを有する画像重畳システムである。３Ｄプロセッサは、口腔内スキャン操作により得られた画像データから３次元（３Ｄ）データを生成する。ビデオインタフェースは、受信した画像データに基づいて、現在のビデオ映像を出力する。オーバレイエンジンは、３Ｄデータの集積データについての画像表現を生成し、その画像表現の所望の領域を表示装置のウィンドウに重畳する。
【０００９】
他の態様は、走査デバイスと、画像オーバレイプロセッサ（image overlay processor）と、表示装置とを有する歯科矯正分析システムである。走査デバイスは、口腔内のオブジェクト・シーンに関する画像データを取得する。画像オーバレイプロセッサは、取得した画像データから少なくとも一つの現在のビデオ映像及び３Ｄデータを生成し、現在のビデオ映像を、上記３Ｄデータの集積データの画像表現に重畳できるように処理する。表示装置は、３Ｄデータの画像表現の所望の位置に上記ビデオ映像を表示するためのウィンドウを有する。
【００１０】
他の態様は、口腔内測定データを表示するためのコンピュータ・プログラム製品である。このコンピュータプログラム媒体は、コンピュータ読み取り可能なプログラムコードが記憶されたコンピュータ読み取り可能な記憶媒体で構成される。上記コンピュータ読み取り可能なプログラムコードは、口腔内走査デバイスの測定視界をオブジェクト・シーンの第１の領域に向け、当該第１の領域についての画像データを取得するように構成された、コンピュータが読み取り可能なプログラムコードを有する。また、上記コンピュータ読み取り可能なプログラムコードは、当該オブジェクト・シーンの第１の領域と第２の領域との間の経路に沿って、当該オブジェクト・シーンの対応する画像データを取得するように構成された、コンピュータが読み取り可能なプログラムコードを有する。さらに、上記コンピュータ読み取り可能なプログラムコードは、当該オブジェクト・シーンの第１の領域から第２の領域までの範囲で取得された画像データから一組の３次元（３Ｄ）データを生成して、生成した３Ｄデータの画像表現を出力するように構成された、コンピュータが読み取り可能なプログラムコードを有する。さらに、上記コンピュータ読み取り可能なプログラムコードは、測定視野内のオブジェクト・シーンについての現在のビデオ映像を、上記一組の３Ｄデータの集積データの画像表現についての、所望の部分に重畳して表示するように構成された、コンピュータが読み取り可能なプログラムコードを有する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の一実施形態に係る、口腔内をスキャンニングして歯列構造の画像データを取得すると共に、取得した画像データに基づいて画像表示を行うための、環境を示す模式図である。
【図２】図２は、本発明の一実施形態に係る、図１に示す走査デバイス及び画像重畳システムの、ブロック図である。
【図３】図３は、本発明の一実施形態に係る、スキャンニング操作の際に取得された歯列構造の画像データを表示する方法についての、フロー図である。
【図４Ａ】図４Ａは、本発明の一実施形態に係る、歯列弓についての測定スキャンにおける、上顎歯列弓に沿う測定視野、及び、当該測定スキャンの測定結果の表示の例を示す図である。
【図４Ｂ】図４Ｂは、本発明の一実施形態に係る、歯列弓についての測定スキャンにおける、上顎歯列弓に沿う測定視野、及び、当該測定スキャンの測定結果の表示の例を示す図である。
【図４Ｃ】図４Ｃは、本発明の一実施形態に係る、歯列弓についての測定スキャンにおける、上顎歯列弓に沿う測定スキャンの測定結果の表示の例を示す図である。
【図５】図５は、本発明の一実施形態に係る、歯列弓に関する口腔内測定データの表示方法についての、フロー図である。
【図６】図６は、本発明の一実施形態に係る、歯列弓の３次元（３Ｄ）表面データを得る方法についての、フロー図である。
【図７】図７は、本発明の一実施形態に係る、ウィンドウ内に表示された一組の口腔内測定データを示す図である。
【発明を実施するための形態】
【００１２】
上述した本発明についての効果及びその他の効果は、添付図面と共に以下の記載を参照することによりより良く理解することができる。添付図面においては、同様の符号は同様の構成要素および特徴要素を示すものとする。また、添付図面は、必ずしも同一の縮尺では記載されておらず、また、必ずしも本発明の原理説明の代わりとなる強調表示を行ってはいない。
【００１３】
添付図面に示す実施形態の例を参照しつつ、本発明をより詳細に説明する。本発明を様々な実施形態や実施例に関連付けて説明するが、これは、本発明がそのような実施形態に限定されるものであることを示すものではない。そうではなく、本発明は、当業者が理解する範囲において、種々の代替的形態、変形、及び等価な形態を包含するものである。この分野における通常の知識を有する者が本発明についての本願の記載から理解するであろう他の実行形態、変形形態、及び実施形態、並びに、他の分野における使用形態は、本願における記載の開示の範囲に含まれる。
【００１４】
本発明の方法は、記載した実施形態のほか、記載した実施形態を動作可能な態様で組み合わせたものを含む。要約すると、本発明概念に係るシステム及び方法は、３Ｄデータの画像表現を表示すると共に、その画像表現の一部にビデオ映像を重畳して表示する。このビデオ映像は、臨床医の測定視界に応じたリアルタイム又は準リアルタイム（near-real time）の２Ｄビデオ映像（2D video stream）とすることができる。３Ｄデータとビデオ映像は、オブジェクト・シーン、例えば口腔内の歯列弓についての測定スキャンの際に得られた一組の２Ｄ画像データから生成される。上記３Ｄデータについての画像表現は、そのオブジェクト・シーンについての３Ｄ測定スキャンの際に生成される。測定スキャンを行うごとに、３Ｄデータが取得され集積されて表示されるので、画像表現は成長していく。ビデオ映像は、表示画面の一部であるウィンドウに表示され、３Ｄデータの画像表現の一部に重畳される。
【００１５】
上述したように、歯科医などの臨床医は、通常、一組の歯について対象範囲を変えながら複数回のスキャンを行うことにより、その測定作業で観測した全表面の、完全かつ「最終の」３Ｄデータセット表現を得る。これを行うため、臨床医は、全３Ｄデータから生成される最終の３Ｄデータセットができるだけ正確に歯列弓を表現するものとなるように、患者の口の中でウォンドスキャナを巧に操り、好ましい順番で３Ｄデータを取得していく。特に、第１の３Ｄデータセットが生成された後、これに続いて生成された第２の３Ｄデータは第１の３Ｄデータセットに付加される。個々のスキャンセグメント（scan segment）を用いて、最終の３Ｄデータセットを構成する３Ｄデータのサブセットが取得される。この３Ｄデータのサブセットには、ポイントクラウド（point cloud、点群）、ワイヤフレーム（wireframe）、又はその他の３Ｄ表面の表現を含むことができる。例えば、データの取得処理は、患者の上顎歯列弓の、左後部の臼歯に測定視野を向けてデータを取得することから開始する。次に、ウォンドスキャナを歯列弓に沿って右後部の臼歯まで移動させる。臨床医は、次に、測定視野に第１の３Ｄデータセットの一部が含まれるようにウォンドスキャナの位置を操作して、第１の３Ｄデータセットの一部とオーバラップする新たな３Ｄデータセットを取得する。望ましくは、本３Ｄ測定システムは、測定視野の現在位置についての新しい３Ｄデータが、第１の３Ｄデータセットの表面表示に「ロックオン」したときに、臨床医に対し表示又は音声による肯定的な通知を行うものとする。次に、新たに取得された３Ｄデータは、登録され、すなわち第１の３Ｄデータに付加され、その歯列弓についての次のスキャンセグメントについての開始基準となる。次に、ウォンドスキャナをその主軸周りに回転し、歯列弓表面の新たな部分が測定視野に入るように移動して、３Ｄデータを取得する。続いて、臨床医は、ウォンドスキャナを操って、測定視野を歯列弓表面の新たなセグメントに沿って移動させる。
【００１６】
臨床医は、３Ｄデータの画像表示が理解困難なとき、例えば、陰影、色、その他の視覚的特徴部分が表示されていない場合には、第１の３Ｄデータセットの表面画像表示に対して測定視野をロックするのが困難になることがある。すなわち、連続して取得される次のスキャンセグメントの３Ｄデータを、共通の座標参照系の中で既存の３Ｄデータに対し適切に「登録」できない場合が生じ得る。当該次の３Ｄデータを既存の３Ｄデータに付加できない場合には、例えば、次のスキャン操作を開始する際に、当該次の３Ｄデータの取得を中断させることとなる。
【００１７】
本発明によれば、臨床医は、現在のビデオ映像が、当該ビデオ映像と同じ表示ウィンドウ内に表示されている３Ｄデータ部分と実質的に整合するように、ウォンドスキャナの位置を調整することができる。画面に表示された３Ｄデータが重畳表示部分において相似すると判断されれば、３Ｄ測定データの取得が再開され、これに続き、決定された３Ｄデータがその前に取得された３Ｄデータに付加される。すなわち、現在の測定視野についてのライブビデオ映像を表示することにより、その前に取得され表示された３Ｄデータの解釈が容易となる。したがって、口腔内測定作業をより効率的に実行することができ、その結果、患者の不快感を減少させ、かつ、データ取得時間を短縮することができる。
【００１８】
図１は、口腔内をスキャンニングして歯列構造の画像データを取得すると共に、取得した画像データに基づいて画像表示を行うための、本発明の一実施形態に係る環境１０を示す模式図である。環境１０は、走査デバイス１２と、画像重畳システム１４と、表示装置１６とを有している。走査デバイス１２と、画像重畳システム１４と、表示装置１６とは、それぞれ、プロセッサ、メモリ、及びＩ／Ｏインタフェースを有するものとすることができる。メモリには、データ保存に関し当業者により知られている方法及び技術に従って設けられたリムーバブルの記憶媒体、及び又は、リムーバブルでない（non-removable）記憶媒体を含むことができる。オペレーティングシステム、グラフィックス、アプリケーションなどのプログラムコードや、プロセッサによって実行されるその他のプログラムコードは、メモリに保存される。２Ｄ画像及び又は３Ｄ画像についてのデータは、同様に、メモリ内に保存される。
【００１９】
走査デバイス１２は、オブジェクト・シーンをスキャンすることにより一つ又は複数のオブジェクト表面を測定するように構成されている。この測定のため、走査デバイス１２は、表示すべき２Ｄ画像及び又は３Ｄ画像の生成に用いる２Ｄ画像データを取得する。走査デバイス１２は、ウォンドスキャナなどの口腔内スキャナとすることができる。走査デバイス１２が患者１８の口腔内２０に挿入されると、歯科衛生士やその他の臨床医は、歯列弓その他の口腔内構造についての３Ｄスキャンを行うことができる。
【００２０】
取得された画像データは、画像重畳システム１４へ出力され、画像重畳システム１４により一組の３Ｄデータに変換される。画像重畳システム１４は、３Ｄデータを処理して、一つ又は複数のワイヤフレーム表現、ポイントクラウド、又はその他の３Ｄオブジェクト表面表現を生成する。
【００２１】
画像重畳システム１４は、３Ｄデータの画像表現の一部に、現在の走査デバイス１２の位置において測定視野内に捉えられた、現在のオブジェクト・シーンの一部を示すリアルタイム又は準リアルタイムの２Ｄビデオ映像を重畳する。このビデオ映像は、表示装置１６のウィンドウに表示される。このビデオ映像は、スキャンニングがアクティブ（動作中）であるときはいつでも、走査デバイス１２の測定視野内における口腔の輝度画像又はカラー画像を示すことができ、一方、３Ｄ表示には、スキャンニング動作により集積された表面データが表示される。動作の間、表示装置１６に表示されたポイントクラウド、すなわちオブジェクト表面表現は、その画面の中で成長していくのが観測され、その一方で、臨床医はライブビデオ映像により現在測定されている口腔部分を見ることができる。
【００２２】
表示装置１６は、取得した画像データから生成された３Ｄデータの画像表現を表示するため、好ましくは、グラフィカル・ユーザ・インタフェース（graphical user interface）を提供するためのプロセッサとメモリを有するものとする。表示装置１６は、画像重畳システム１４から与えられる２Ｄ画像及び又は３Ｄ画像を受信するための、当該画像重畳システム１４と接続されたタッチスクリーン又はモニタを含むことができる。表示装置１６は、オブジェクト・シーンの３Ｄ表現に重畳された、そのオブジェクト・シーンの２Ｄビデオ映像を表示するウィンドウを有する。
【００２３】
図２は、本発明の一実施形態に係る、図１に示す走査デバイス１２及び画像重畳システム１４のブロック図である。走査デバイス１２は、プロジェクタ２２とイメージャ２４とを有している。プロジェクタ２２は、一組の歯や歯肉等を含む患者の口腔内の歯列弓に、光放射パターン２６（例えば光）を照射するための照射源、例えば、光源あるいはレーザ光源を有している。一実施形態では、プロジェクタ１８は、光放射、例えば一つのコヒーレント光源から生成された２つの発散光ビームを発生して干渉縞パターンを生成するフリンジプロジェクタ（fringe projector）である。歯列弓の表面は、縞パターンで照らされる。関連する方法が米国特許第５，８７０，１９１号公報に記載されており、本願はこれを参照することによりその内容の全体を包含するものである。この公報には、アコーディオン・フリンジ干渉分光法（AFI、Accordion Fringe Interferometry）と称される技術を用いて、干渉縞照射に基づく高精度３Ｄ測定を行うことが示されている。
【００２４】
イメージャ２４は、ＣＣＤ（charge-coupled device）カメラ、若しくは、一つ又は複数のイメージセンサ（image sensor）、光検出器アレイ、又は、照明された歯列弓の表面からの反射等による一つ又は複数のビーム２８を受信する周辺電気回路（不図示）を含む、その他の画像取得デバイス（imaging device）を含むことができる。この分野の通常の知識を有する者が熟知しているように、電気信号は、イメージャ２４、例えば光検出器アレイやＣＣＤリーダ（不図示）により、受信光強度に応じて発生する。イメージャ２４は、歯列弓２０の２次元画像の処理に使用する信号を取得し、歯列弓２０の表面で反射した照射パターンの画像を生成する。
【００２５】
イメージャ２４により取得された画像は、オブジェクト２０の表面についての３Ｄ情報を含んでいる。この情報を含む画像、より具体的には２Ｄ画像データは、３Ｄプロセッサ３２へ出力される。３Ｄプロセッサは、受信した画像データから３Ｄデータを生成する。
【００２６】
画像重畳システム１４は、３Ｄプロセッサ３２と、ビデオインタフェース３４と、メモリ３６と、オーバレイエンジン３８と、オパシティアジャスタ４０を含むことができる。これらの要素は全て、画像重畳システム１４上で完全に動作する。あるいは、これらの要素の一部は、画像重畳システム１４又は他のコンピュータ・プラットフォーム上で動作するものとし、他の要素は、走査デバイス１２、表示装置１６、又はリモート・コンピュータ上で動作するものとしてもよい。例えば、３Ｄプロセッサ３２は、図２に示すように、画像重畳システム１４の一部とすることができる。あるいは、３Ｄプロセッサ３２は、走査デバイス１２の一部とすることができる。他の例では、オーバレイエンジン３８は、図２に示すように画像重畳システム１４の一部とするか、又は、表示装置１６の一部とすることもできる。
【００２７】
３Ｄプロセッサ３２は、イメージャ２４から一つ又は複数の２Ｄ画像の信号を受信することができる。例えば、これらの信号は、イメージャ２４を構成する各光検出器が受信した光の強度に関する情報を含んでいる。信号を受信すると、３Ｄプロセッサ３２は、走査デバイス１２のイメージャ２４（例えば光検出器アレイ）から、歯列弓２０の表面までの距離を算出する。この距離は、生成された一連の２Ｄ画像について、ピクセル毎に、そのピクセルの輝度値に基づいて算出される。これにより、３Ｄプロセッサ３２は、一組の３Ｄ座標を生成することができる。生成した３Ｄ座標は、オブジェクト表面を表現するポイントクラウドや表面マップ（surface map）として表示される。３Ｄプロセッサ３２は、測定動作において生成された３Ｄデータを保存するため、メモリ３６と通信する。臨床医などのオペレータは、ユーザインタフェース（不図示）により、オペレータコマンドを入力して、取得した３Ｄ情報を準リアルタイムで観察することができる。例えば、オペレータは、歯列弓２０表面の異なる領域が測定されて、次々と３Ｄ測定データが取得されるにつれて、ポイントクラウドによる画像表現が成長していくのを観察することができる。
【００２８】
ビデオインタフェース３４は、同様に、走査デバイス１２からの２Ｄ画像データを受信する。この２Ｄ画像データは、３Ｄプロセッサ３２が例えばイメージャ２４から受信するものと同じデータである。オプションとして、ビデオインタフェース３４は、異なる情報源、例えば、走査デバイス１２に代わりにビデオカメラから、２Ｄ画像データを受信することができる。ビデオインタフェース３４は、受信した２Ｄ画像データを処理し、リアルタイムの、すなわち「ライブ」の当該表面のビデオ映像を出力する。このビデオ映像は、オーバレイエンジン３８用に寸法が調整される。特に、ビデオインタフェース３４により受信された画像データは、走査デバイス１２の測定視野内に入った歯列弓の一部に対応する。
【００２９】
上述したように、メモリ３６は３Ｄデータ及び又は２Ｄデータを記憶することができる。メモリ３６には、３Ｄプロセッサ３２の動作を有効にして、ポイントクラウドの点を処理させたり、スキャンされたオブジェクト（すなわち歯列弓）を表わす単一メッシュ表面形状（a single mesh surface configuration）を生成させるマシン実行可能命令（machine executable instruction）を記憶することもできる。メモリ３６は、揮発性メモリ（例えばＲＡＭのようなもの）及び又は不揮発性メモリ（例えばROMやフラッシュメモリのようなもの）とすることができる。このメモリは、この分野の通常の知識を有する者がデータ保存に関して熟知している方法や技術に従って設けられたリムーバブル記録媒体及び又はリムーバブルでない記録媒体とすることができる。このメモリには、イメージジェネレータ３４、３Ｄプロセッサ３２、又は画像重畳システム１４の他のプロセッサにより実行されるオペレーティングシステムなどのプログラムコードを記憶させておくことができる。
【００３０】
オーバレイエンジン３８は、３Ｄデータを画像表現として表示装置１６に表示するためのディスプレイプロセッサ（display processor）やグラフィカルユーザインタフェース（graphical user interface）の一部とすることができる。オーバレイエンジン３８は、ビデオインタフェース３４から２Ｄビデオフィード（2D video feed）を受信する第１の入力と、３Ｄプロセッサから３Ｄデータを受信する第２の入力とを有する。オーバレイエンジン３８は、３Ｄデータの画像表現（例えば一つ又は複数のポイントクラウドなどで表わされるオブジェクト表面表現）の少なくとも一部分に、イメージャ２４の視界内に入った歯列に対応するリアルタイム又は準リアルタイムの２Ｄフィードのビデオ映像を重畳する。
【００３１】
動作時に、３Ｄデータとビデオ映像とが、オーバレイエンジン３８から表示装置１６に出力される。また、３Ｄデータとビデオ映像とは、３Ｄデータがポイントクラウド（すなわちオブジェクト表面表現）として表示装置上に表示されるように、かつ、ビデオ映像が表示装置のウィンドウ内に表示されるように、オーバレイエンジン３８により処理される。望ましい実施形態として、ビデオ映像は、表示装置１６の画面の中央に配されたウィンドウに表示されるものとする。ビデオ映像が表示されたウィンドウは、表示装置１６の矩形画面よりも十分小さい矩形又は正方形の形状とすることができる。表示装置１６は、受信した画像をグレースケール、カラー、又はその他のユーザ定義フォーマットで表示させるためのユーザインタフェース（不図示）を備えており、このユーザインタフェースにより、ユーザは、コマンドやビューイメージ（view image）や、あるいは、スキャンニング動作及び又は表示動作についての、既知のファンクションを入力することができる。
【００３２】
３Ｄデータの一部も、ウィンドウ内の表示を構成するのに使用することができる。オパシティアジャスタ４０は、ウィンドウ内に表示される３Ｄデータ及び又はビデオ映像の不透明度（opacity level）を変更することができる。例えば、ビデオ映像を実質的に不透明なものとして表示し、ウィンドウ内に表示される３Ｄデータの画像表現部分を透明なものとして表示して、そのウィンドウで区画された重畳領域内における３Ｄデータの画像表現の表示を妨げるものとすることができる。オパシティアジャスタ４０は、ビデオ映像の不透明度を減少させ、及び又は、そのウィンドウで区画された重畳領域における３Ｄデータの画像表現の透明度を減少させることができる。これにより、重畳領域内におけるビデオ映像と３Ｄデータの画像表現とが、ウィンドウ内において同時に見られるようになる。この特徴的な機能は、臨床医が、３Ｄポイントクラウド又は表面マップ（surface map）を既に取得済みの３Ｄポイントクラウド又は表面マップに「縫い込む」（stitch）すなわち付加しようとするときに、有用である。特に、臨床医は、ビデオ映像及び３Ｄデータの透明度を変化させることにより、その前に生成され表示されている３Ｄデータの一部とライブビデオ映像とが実質的に整合するように、走査デバイスを操ることができる。これら２つの表示が重畳領域において実質的に相似する表示となれば、３Ｄ測定スキャン画像の取得を再開し、次に、決定した３Ｄデータセット、例えばポイントクラウドや表面マップを、既存の３Ｄデータセットに縫い込むことができる。
【００３３】
図３は、スキャンニング操作の際に取得された歯列構造の画像データを表示する方法１００のフロー図である。方法１００の記載においては、図１及び２の記載も参照している。方法１００は、メモリ内に保存された命令により指示され、走査デバイス１２、画像重畳システム１４、及び又は表示装置１６のプロセッサにより実行される。方法１００は、ここでは、歯列弓に関して実行されるものとして記載されている。他の実施形態として、方法１００は、事実上、任意のオブジェクトに関して実行することができる。
【００３４】
歯科医などの臨床医は、走査デバイス１２から発生する構造的な光パターンが歯列の第１の領域、例えば、歯列弓の片端にある咬合面の裏部分を照らすように、走査デバイス１２を歯列弓の開始点に配置して（ステップ１０５）、方法１００を開始する。２Ｄ画像及び又は３Ｄ画像の画像データは、第１の領域の、歯列弓表面に光パターンが照射されている部分について取得することができる。走査デバイスは、歯列弓の全体に比べて小さな測定視界（FOV、field of view）（例えば13 mm×10 mm）を持つ２Ｄイメージャ２４とすることができる。イメージャ２４は、上記表面の２Ｄ画像を取得して表示装置１６にこれを表示するカメラとすることができる。このカメラは、ビデオカメラとすることができ、２Ｄ画像をリアルタイム又は準リアルタイムのビデオストリームとして出力するものとすることができる。
【００３５】
臨床医は、走査デバイス１２を、歯列弓の表面に近接する経路に沿って、歯列弓の第２の領域まで移動させる（ステップ１１０）。ここで、走査デバイス１２から生成される構造的な光パターンは、上記経路に沿って歯列弓表面、例えば咬合面の残りの部分を照明するものとする。したがって、第１の領域から第２の領域までの咬合面の残り部分について、画像データを取得することができる（ステップ１１５）。取得した画像データから、一組の３Ｄデータを生成する（ステップ１２０）。３Ｄデータの画像表現は、ワイアフレーム、オブジェクトマップ（object map）等として表示することができる（ステップ１２５）。
【００３６】
２Ｄビデオを３Ｄデータの画像表現の上に重畳する（ステップ１３０）。２Ｄビデオは、取得された画像データあるいは他の２Ｄ画像データ、例えばＣＣＤカメラから取得された２Ｄ画像から得ることができる。ビデオ映像は、画像データを受信するためオブジェクト・シーンの一部分に向けられた、現在の測定視野に対応している。
【００３７】
図４Ａないし４Ｃは、本発明の一実施形態に係る、図３に示す方法に従う歯列弓についての測定スキャンにおける、上顎歯列弓に沿う種々の位置における測定視野、及び、当該測定スキャンの測定結果の表示を示す図である。測定スキャンは、図１及び図２示す走査デバイス１２のような、片手で持てる程度の大きさの（ハンドヘルドの、handheld）イメージキャプチャリングデバイス（image-capturing device）を用いて行うことができる。測定スキャンの間に、歯列弓２０についての一組の２Ｄ画像を取得することができる。図４Ａでは、測定スキャンは、例えば臼歯４６から始まる患者の上顎歯列弓２０の、右後ろ領域に向けられた測定視野４２Ａの範囲から画像データを取得することにより、開始することができる。画像データは、ＡＦＩ測定法に関連する画像取得技術や、測定対象である表面への構造的な光パターンの照射に基づくその他の画像取得技術に従って、取得することができる。
【００３８】
測定対象である表面の、実質的にリアルタイムの２Ｄビデオ映像を、表示することができる。例えば、走査デバイス１２の測定視野内にある臼歯４６の画像５２を、表示ウィンドウ５０内に表示することができる。また、視野４２Ａ内の歯列弓２０の領域で取得された画像データから、３Ｄデータが生成される。３Ｄデータは、スキャンニングデバイス１２のイメージャ２４や、他の画像供給源、例えば他のＣＣＤカメラにより取得された画像データから生成することができる。図４Ｂに示すように、３Ｄデータを、３Ｄポイントクラウド５４として表示することができる。あるいは、図４Ｃに示すように、３Ｄデータを、オブジェクト表面を表わす３Ｄ表面マップ（surface map）として表示することもできる。
【００３９】
図５は、一実施形態に係る、歯列弓に関する口腔内測定データを表示する方法２００のフロー図である。方法２００の記載にあたっては、図１ないし４も参照している。方法２００は、メモリ内に保存された命令により指示され、走査デバイス１２、画像重畳システム１４、及び又は表示装置１６のプロセッサにより実行される。方法２００は、ここでは歯列弓に関して実行されるものとして記載されているが、他の実施形態として、事実上任意のオブジェクトに関して実行することができる。
【００４０】
方法２００は、上述した例と同様に、臨床医が走査デバイス１２を歯列弓の開始点に配置して、２Ｄ画像データ及び又は３Ｄ画像データを生成することにより開始する。
【００４１】
測定スキャンから生成される３Ｄデータを、表示装置１６に表示する（ステップ２０５）。３Ｄデータは、３Ｄポイントクラウド、３Ｄオブジェクト表面表現、又は関連する画像表現として表示することができる。表示装置１６には、測定視野内のオブジェクト・シーンについて取得された画像データの、２Ｄビデオ映像を表示するウィンドウを設けることができる。このウィンドウに表示されたビデオ映像は、３Ｄデータの画像表現の一部に重畳される（ステップ２１０）。
【００４２】
その前に取得された３Ｄポイントの一部は、ライブ２Ｄビデオ映像が配置された表示ウィンドウの内部に存在することができる。表示装置の表示画面のうち２Ｄビデオ映像と共有する領域内における３Ｄ表示の透明度を、完全透明、例えば透明度１００％に設定し、２Ｄビデオ映像の透明度を、低透明度又は不透明、例えば透明度０％に設定することができる。その結果、２Ｄビデオ画像だけが、重畳表示される小領域において可視となる。
【００４３】
表示ウィンドウ内の第１の３Ｄデータ及びビデオ映像の少なくとも一つの不透明度を調整する（ステップ２１５）。これにより、臨床医は、例えば新たな３Ｄデータを現在の３Ｄデータセットに加える際に、表示ウィンドウ内で３Ｄ画像と現在のビデオ映像とを観察することができる（ステップ２２０）。
【００４４】
図６は、一実施形態に係る、歯列弓の３次元（３Ｄ）表面データを取得する方法３００のフロー図である。
【００４５】
方法３００は、臨床医が口腔内測定デバイス１２を歯列弓２０の第１の領域、例えば、図４Ａに示す臼歯４６を含む領域に近接する第１の開始点に配置することにより開始する。画像データは、口腔内測定デバイス１２の測定視野４２Ａを第１の領域に向けて、当該第１の領域のスキャンを実行することにより、歯列弓２０の第１の領域から取得される。
【００４６】
臨床医は、測定デバイス１２を歯列弓２０表面に近接する経路に沿って歯列弓２０の第１の終了点まで、例えば図４Ｂに示す領域４８まで移動させることにより、第１のスキャンを実行する（ステップ３１０）。画像データは、歯列弓２０の第１の開始点から第１の終了点まで第１のスキャンを行う間に、歯列弓２０の表面から取得される。
【００４７】
第１の３Ｄデータセットは、取得された画像データから生成され、表示装置１６に表示される（ステップ３１５）。３Ｄデータは、図４Ｂに示すようにポイントクラウドとして、又は、図４Ｃに示すように３Ｄオブジェクト表面表現（3D object surface representation）５６として表示することができる。
【００４８】
現在の視野のビデオ映像が、３Ｄデータの画像表現上に重畳される（ステップ３２０）。
【００４９】
ビデオ映像の不透明度は、その下にある３Ｄデータがユーザに対しより明りょうに表示されるように調整（例えば減少）される（ステップ３２５）。
【００５０】
測定デバイス１２の視野を、第２の開始位置へ移動させる（ステップ３３０）。例えば、臨床医は、咬合面のスキャンなどの第１のスキャンを一時的に停止又は中断して、咬合面スキャンの開始点近くの領域まで測定デバイス１２を戻し、別のスキャンを実行することができる。
【００５１】
測定デバイス１２の視野を、表示ウィンドウの重畳領域内における３Ｄデータの画像表現に合わせる（ステップ３３５）。この作業は、ウィンドウ内において不透明度を調整したビデオ映像と可視状態となっている重畳領域内の３Ｄデータセットとが、実質的に一致するものとなるまで測定デバイス１２を動かすことで行うことができる。
【００５２】
後続の３Ｄデータ、例えば、新しい歯列弓のワイヤフレーム表現を、３Ｄデータに付加する（ステップ３４０）。登録後に新たな３Ｄデータが取得されると、ビデオ映像が完全な不透明状態に自動的に変更される。これにより、３Ｄデータは表示ウィンドウから隠され、現在の測定視野に対応するライブビデオ映像がウィンドウ内に目立つように表示されることとなる。
【００５３】
図７は、一実施例に係る、表示装置１６のウィンドウ５０内に表示された一組の口腔内測定データ６４、６６を示す図である。この測定データでは、表示装置１６のウィンドウ５０の中に、３Ｄデータ６６の画像表現に対し不透明度を減少させたビデオ画像が含まれている。この３Ｄデータ６６は、ウィンドウ５０の外に表示されている、一組の３Ｄデータの画像表現６２の一部である。
【００５４】
この明細書に記載された種々の機能ユニットは、特に、これらが独立に実施し得るものであることを強調するために、モジュール又はシステムとして符号付けされているものと理解すべきである。例えば、モジュールは、カスタムＶＬＳＩやゲートアレイとして、あるいは、論理チップ、トランジスタ、その他の個別部品（discrete component）などの既成の半導体素子（off-the-shelf semiconductor）で構成されたハードウェア回路として実現することができる。モジュールは、また、ＦＰＧＡ（field programmable gate array）、ＰＬＡ（programmable array logic）、ＰＬＤ（programmable logic device）などの、プログラム可能なハードウェアデバイス（programmable hardware device）により実現することもできる。
【００５５】
また、モジュールは、様々なタイプのプロセッサによって実行されるソフトウェアにより実現することもできる。実行可能コード（executable code）により定義されるモジュールは、例えば、一つ又は複数の物理的又は論理的なコンピュータ命令のブロックで構成され、これらのブロックは、例えば、オブジェクト、プロシージャ、又はファンクションにより構成される。とはいえ、定義されたモジュールの実行ファイルは物理的に同じ場所に配置する必要はなく、種類の異なる命令を異なる場所に保存しておき、論理的に結合させることによりそのモジュールを構成して所定の目的を達成させるように構成することができる。
【００５６】
実際に、モジュールの実行可能コードは、一つ又は複数の命令であることもあるし、複数の異なるコードセグメント、異なるプログラム、又は複数のメモリデバイスに亘って分布して存在することもある。同様に、実行に伴って収集されるデータ（オペレーショナルデータ、operational data）は、ここではモジュール内で定義されるものとして説明されているが、これらのデータは任意の適切な形態で実現することができ、かつ、任意の適切なタイプのデータ構造の中で構成することができる。オペレーショナルデータは、単一のデータセットとして収集されたり、異なる複数の記憶デバイスなどの複数の異なる場所に分散して保存されたり、あるいは、少なくとも部分的には、システム又はネットワーク内における単なる電気信号として存在することもある。モジュールは、受動的なものでもよいし、能動的なものでもよく、例えば、所望のファンクションを実行することのできるエージェントであってもよい。
【００５７】
記憶デバイスは、コンピュータ読み取り可能な記憶媒体、例えば、電気的、磁気的、光学的、電磁気的な、あるいは赤外線利用の、又は半導体による、システム、装置、デバイス、あるいはこれらの組み合わせとすることができるが、これらに限られるものではない。コンピュータ読み取り可能な記憶媒体についてのより具体的な例（例示リスト）として、以下を含むものとする：一つ又は複数のワイヤで構成される電気接続、携帯可能なコンピュータディスク、ハードディスク、ＲＡＭ（random access memory）、ＲＯＭ（read-only memory）、ＥＰＲＯＭ（erasable programmable read-only memory）、フラッシュメモリ、光ファイバ、携帯可能なＣＤ−ＲＯＭ（compact disc read-only memory）、光記憶デバイス、磁気記憶デバイス、又は、上記の適切な組み合わせ。
【００５８】
本発明について、特定の実施形態を参照して説明したが、当業者は、本発明の趣旨及び範囲を逸脱することなく、形式及び詳細部分の変更が可能であることを理解すべきである。
【図１】
2012055695.tif 000003
【図２】
2012055695.tif 000004
【図３】
2012055695.tif 000005
【図４Ａ】
2012055695.tif 000006
【図４Ｂ】
2012055695.tif 000007
【図４Ｃ】
2012055695.tif 000008
【図５】
2012055695.tif 000009
【図６】
2012055695.tif 000010
【図７】
2012055695.tif 000011