(57)【要約】      （修正有）【課題】イメージセンサとプロセッサとを含む3次元走査装置において、反照しやすい物体を正確に走査することができる装置を提供する。【解決手段】イメージセンサは、第1検知領域及び第2検知領域を有する。前記第1検知領域は、物体の第1組の画像を取得するように構成され、前記第2検知領域は、前記物体の第2組の画像を取得するように構成される。前記プロセッサは、前記第1組の画像に基づいて第1組のモデルを構築するとともに前記第2組の画像に基づいて第2組のモデルを構築するように構成される。前記プロセッサは、さらに前記第1組のモデルと前記第2組のモデルとの類似度を対比するように構成される。【選択図】図１
2019135483.tif 000002
【特許請求の範囲】
【請求項１】
物体の第1組の画像を取得するように構成される第1検知領域、及び前記物体の第2組の画像を取得するように構成される第2検知領域を有するイメージセンサと、
前記第1組の画像に基づいて第1組のモデルを構築するとともに前記第2組の画像に基づいて第2組のモデルを構築するように構成され、さらに前記第1組のモデルと前記第2組のモデルとの類似度を対比するように構成されるプロセッサとを備える3次元走査装置。
【請求項２】
前記プロセッサは、さらに前記第1組のモデル及び前記第2組のモデルに対応する深度画像のピーク信号対雑音比（PSNR）を計算するように構成される請求項1に記載の3次元走査装置。
【請求項３】
前記プロセッサは、さらに前記ピーク信号対雑音比が所定値よりも大きいか否かを判定するように構成される請求項2に記載の3次元走査装置。
【請求項４】
光ビームを前記物体に出射するように構成される光源モジュールをさらに含む請求項1に記載の3次元走査装置。
【請求項５】
前記第1検知領域と前記第2検知領域との面積比は1：1である請求項1に記載の3次元走査装置。
【請求項６】
前記プロセッサは、さらに前記第1組の画像の画像情報及び前記第2組の画像の画像情報を抽出するように構成される請求項1に記載の3次元走査装置。
【請求項７】
前記第1組の画像の画像情報又は前記第2組の画像の画像情報は、前記物体の幾何構造、色、表面アルベド、表面粗さ、表面曲率、表面法線ベクトル及び相対的位置のうち少なくとも1つ又はこれらの組合わせを含む請求項6に記載の3次元走査装置。
【請求項８】
（a）物体の第1組の画像を取得するステップと、
（b）前記物体の第2組の画像を取得するステップと、
（c）前記第1組の画像に基づいて第1組のモデルを構築するステップと、
（d）前記第2組の画像に基づいて第2組のモデルを構築するステップと、
（e）前記第1組のモデルと前記第2組のモデルとの類似度を対比するステップとを含む3次元モデリングの方法。
【請求項９】
前記第1組の画像及び前記第2組の画像は、それぞれイメージセンサの第1検知領域及び第2検知領域から取得される請求項8に記載の方法。
【請求項１０】
光ビームを出射して前記物体を照明するステップをさらに含む請求項9に記載の方法。
【請求項１１】
前記第1検知領域と前記第2検知領域との面積比は1：1である請求項9に記載の方法。
【請求項１２】
前記ステップ（e）は、前記第1組のモデル及び前記第2組のモデルに対応する深度画像のピーク信号対雑音比を計算するステップをさらに含む請求項8に記載の方法。
【請求項１３】
前記ピーク信号対雑音比が所定値よりも大きいか否かを判定することをさらに含む請求項12に記載の方法。
【請求項１４】
前記第1組の画像の画像情報及び前記第2組の画像の画像情報を抽出することをさらに含む請求項11に記載の方法。
【請求項１５】
前記第1組の画像の画像情報又は前記第2組の画像の画像情報は、前記物体の幾何構造、色、表面アルベド、表面粗さ、表面曲率、表面法線ベクトル及び相対的位置のうちの少なくとも1つ又はこれらの組合わせを含む請求項14に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、3次元画像を処理するための装置及び方法に関し、特に3次元モデリングに用いる装置及び方法に関する。
【背景技術】
【０００２】
3次元走査装置又は立体走査装置は、主として被走査物体を走査して前記物体の表面空間座標及び情報（例えば、物体又は環境の幾何構造、色、表面アルベドなどの性質）を取得するためのものであり、取得したデータは、通常、3次元モデリングを行って前記被走査物体の3次元モデルを構築するために用いられる。構築した3次元モデルは、例えば医学情報、工業設計、ロボットによる案内、地形測量、生体情報、刑事鑑定、立体プリントなどの分野に用いることができる。
【０００３】
一部の応用分野（例えば、歯型の再構築）においては、被走査物体が反照しやすい（例えば、歯に唾液が付着している）ので、被走査物体で反射する光線により3次元走査装置のセンサにおける一部の領域が明るくなりすぎ、センサにおける明るすぎる領域のデータの判別異常を招き、ひいては再構築モデルの正確度に影響を与えてしまう。したがって、反照しやすい物体を正確に走査することができる3次元走査装置が極めて必要とされている。
【発明の概要】
【０００４】
本発明の一の実施例は、イメージセンサとプロセッサとを含む3次元走査装置に関する。前記イメージセンサは、第1検知領域及び第2検知領域を有する。前記第1検知領域は、物体の第1組の画像を取得するように構成され、前記第2検知領域は、前記物体の第2組の画像を取得するように構成される。前記プロセッサは、前記第1組の画像に基づいて第1組のモデルを構築するとともに前記第2組の画像に基づいて第2組のモデルを構築するように構成される。前記プロセッサは、さらに前記第1組のモデルと前記第2組のモデルとの類似度を対比するように構成される。
【０００５】
本発明の別の実施例は、（a）物体の第1組の画像を取得するステップと、（b）前記物体の第2組の画像を取得するステップと、（c）前記第1組の画像に基づいて第1組のモデルを構築するステップと、（d）前記第2組の画像に基づいて第2組のモデルを構築するステップと、（e）前記第1組のモデルと前記第2組のモデルとの類似度を対比するステップとを含む3次元モデリングの方法に関する。
【図面の簡単な説明】
【０００６】
【図１】本発明の一部の実施例に係る3次元走査装置の模式ブロック図である。
【図２Ａ−２Ｂ】本発明の一部の実施例に係る3次元モデリングの方法である。
【図３Ａ−３Ｃ】本発明の一部の実施例に係るイメージセンサの模式図である。
【図４】本発明の一部の実施例に係る3次元モデリングの方法のフローチャートである。
【発明を実施するための形態】
【０００７】
図1は、本発明の一部の実施例に係る3次元走査装置100の模式ブロック図である。本発明の一部の実施例によれば、前記3次元走査装置100は、立体物体に対して3次元走査及び/又は3次元モデリングを行って前記立体物体に関するデジタル立体モデルを構築することができる。本発明の一部の実施例によれば、前記3次元走査装置100は、さらに3次元プリント装置（未図示）に結合されて前記3次元プリント装置により構築された3次元モデルをプリントすることができる。図1に示すように、前記3次元走査装置100は、画像取込装置110と、コントローラ120と、プロセッサ130とを備える。
【０００８】
前記画像取込装置110（又はイメージセンサ）は、被走査物体の3次元画像情報又は特徴点を取り込むように構成される。本発明の一部の実施例によれば、取り込まれる3次元画像情報又は特徴点は、被走査物体の幾何構造、色、表面アルベド、表面粗さ、表面曲率、表面法線ベクトル、相対的位置などを含んでもよいが、これらに限定されない。前記画像取込装置110は、1つ又は複数のレンズ又は光源モジュールを有してもよい。前記画像取込装置110のレンズは、単焦点レンズ、可変焦点レンズ又はこれらの組合わせであってもよい。前記画像取込装置110の光源モジュールは、均一のビームを出射して光源不足の環境下で照明補償を行うように配置されてもよい。本発明の一部の実施例によれば、前記光源モジュールは、発光ダイオード光源又は他の任意の適宜な光源であってもよい。
【０００９】
前記コントローラ120は、前記画像取込装置110に接続されており、前記画像取込装置110が被走査物体の3次元画像情報又は特徴点を取り込むように制御するように構成される。一部の実施例において、前記コントローラ120は、所定の条件で前記画像取込装置110が画像取込を行うように制御するように構成される1つ又は複数のタイプのセンサを有してもよい。例えば、前記コントローラ120は、前記3次元走査装置100の移動を検知した場合に、前記画像取込装置110が画像取込を行うように制御するように構成される加速度センサを有してもよい。例えば、前記コントローラ120は、前記3次元走査装置100が所定の距離を移動した時に、前記画像取込装置110が画像取込を行うように制御するように構成される位置センサを有してもよい。例えば、前記コントローラ120は、所定のタイミングで前記画像取込装置110が画像取込を行うように制御するように構成されるタイマを有してもよい。一部の実施例において、前記コントローラ120は、前記画像取込装置110又は前記プロセッサ130に統合されてもよい。一部の実施例において、前記コントローラ120を省略し、前記プロセッサ130を前記前記コントローラ120の代わりとしてもよい。
【００１０】
前記プロセッサ130は、前記画像取込装置110に接続されており、前記画像取込装置110で取り込まれた被走査物体の3次元画像情報又は特徴点を受信して処理するように構成される。本発明の一部の実施例によれば、前記画像取込装置110で取り込まれた3次元画像情報又は特徴点は、有線伝送又は無線伝送（例えば、ブルートゥース（登録商標）、Wi-Fi、近距離無線通信(NFC)など）によって前記プロセッサ130に転送されてもよい。前記プロセッサ130は、前記画像取込装置110で取り込まれた被走査物体の1組又は複数組の3次元画像情報又は特徴点を格納するためのメモリユニット（例えば、ランダムアクセスメモリ(RAM)、フラッシュメモリ(Flash)など）を有してもよい。一部の実施例において、前記メモリユニットは、前記プロセッサ130対して独立した部材であってもよい。前記プロセッサ130は、所定の数の被走査物体の3次元画像情報又は特徴点を受信してから、これらの3次元画像情報又は特徴点に対して重畳を行って前記被走査物体の3次元モデルを構築するように構成される。
【００１１】
図2A及び2Bは、本発明の一部の実施例に係る3次元モデリングの方法である。本発明の一部の実施例によれば、図2A及び2Bの3次元モデリングの方法は、図1の3次元走査装置100により実行されてもよい。本発明の他の実施例によれば、図2A及び2Bの3次元モデリングの方法は、他の3次元走査装置により実行されてもよい。
【００１２】
図2Aには、被走査物体200及び3次元走査装置の一部の部材（イメージセンサ211及び光源モジュール212を含む）が開示されている。本発明の一部の実施例によれば、前記イメージセンサ211及び光源モジュール212は、図1に示すような画像取込装置110に含まれてもよい。本発明の他の実施例によれば、前記光源モジュール212は、図1に示すような画像取込装置110に対して独立してもよい。
【００１３】
前記光源モジュール212は、ビームL21を出射して前記被走査物体200を照明するように構成される。本発明の一部の実施例によれば、前記光源モジュール212は、発光ダイオード光源又は他の任意の適宜な光源であってもよい。
【００１４】
本発明の一部の実施例によれば、前記被走査物体200は、反照しやすい表面を有する。例えば、前記被走査物体200は、歯であってもよく、その上には唾液が付着しているので、光線の反射を招きやすい。例えば、前記被走査物体200は、金属であってもよく、その表面は、光線の反射を招きやすい。このように、反照しやすい表面で反射した後に、センサ211にデータの取込の誤差が発生し、ひいては、3次元モデリングの再構築の歪みと捩れを引き起こす。
【００１５】
前記イメージセンサ21は、検知領域を2つの領域211A（第1領域）及び211B（第2領域）に区画するように構成される。本発明の一部の実施例によれば、図2Aに定義される2つの領域211A及び211Bのほか、図3A、3B及び3Cのように、2つの領域「311Aと311B」、「311A'と311B'」及び「311A"と311B"」を定義してもよい。
【００１６】
一の具体的な実施例において、第1検知領域211Aと第2検知領域211Bとの面積比は1：1である。
【００１７】
本発明の一部の実施例によれば、前記イメージセンサ211のこれらの領域211A及び211Bは、前記3次元走査装置のプロセッサ130により定義されてもよい。なお、異なる設計要求に応じて、プロセッサ130は、前記イメージセンサ211の2つの領域を任意に定義するように構成されてもよい。なお、各領域は、単一の連続的な領域しか含まないことに限定されるものではなく、図2Aを例にとると、第1領域211Aは、第1領域の第1サブ領域211A1及び第1領域の第2サブ領域211A2をさらに含む。相対的に、第2領域211Bも、第2領域の第1サブ領域及び第2領域の第2サブ領域を含む。
【００１８】
検知領域が2組の領域の211A及び211Bに区画されると、前記イメージセンサ211は、前記被走査物体200の第1領域211Aの第1組の画像（又は第1組の画像情報(又は特徴点)）及び被走査物体200の第2領域211Bの第1組の画像を取得するように構成される。図2Aを例にとると、時点t1において、第1領域211Aの第1組の画像は、第1領域の第1サブ領域211A1及び第1領域の第2サブ領域211A2の画像を含み、第2領域211Bの第1組の画像は、第2領域の第1サブ領域211B1及び第2領域の第2サブ領域211B2の画像を含む。
【００１９】
本発明の一部の実施例によれば、各領域の第1組の画像情報は、幾何構造、色、表面アルベド、表面粗さ、表面曲率、表面法線ベクトル、相対的位置などを含む。
【００２０】
前記3次元走査装置100は、図面の右方に移動して、続いて前記イメージセンサ211により前記被走査物体200の第1領域211Aの第2組の画像（又は第2組の画像情報(又は特徴点)）及び被走査物体200の第2領域211Bの第2組の画像を取得する。図2Bを例にとると、同様に、時点t2において、第1領域211Aの第2組の画像は、第1領域の第1サブ領域211A1及び第1領域の第2サブ領域211A2の画像を含み、第2領域211Bの第2組の画像は、第2領域の第1サブ領域211B1及び第2領域の第2サブ領域211B2の画像を含む。
【００２１】
本発明の一部の実施例によれば、同様に、各領域の第2組の画像情報は、幾何構造、色、表面アルベド、表面粗さ、表面曲率、表面法線ベクトル、相対的位置などを含む。
【００２２】
次いで、前記3次元走査装置100は、前記イメージセンサ211の第1領域211Aにより、時点t1及びt2において、それぞれ取得された第1組の画像及び第2組の画像を重畳させる。同様に、前記3次元走査装置100は、前記イメージセンサ211の第2領域211Bにより、時点t1及びt2において、それぞれ取得された第1組の画像及び第2組の画像を重畳させる。
【００２３】
本発明の一部の実施例によれば、3次元走査装置100は、第1組の画像及び第2組の画像を重畳させるとき、第1領域211Aで取得された第1組の画像及び第2組の画像の全て又は一部の画像の共同画像情報又は特徴点が重畳に十分であるか否かを判定するように構成される。同様に、3次元走査装置100は、第2領域211Bで取得された第1組の画像及び第2組の画像の全て又は一部の画像の共同画像情報又は特徴点が重畳に十分であるか否かを判定するように構成される。
【００２４】
次いで、3次元走査装置100は、画像の取込が終了したか否かを判断するように構成される。画像の取込が終了していないと判定した場合に、続いて次の組の画像を取り込み、再び重畳を行う。例えば、画像の取込が終了していないと判定した場合に、3次元走査装置100は、第3組の画像を取り込み、第3組の画像を第2組の画像と重畳させる。
【００２５】
一の具体的な実施例において、3次元走査装置100は、ユーザがボタンをクリックしたことを検知すると、画像の取込が終了したと判断する。一の具体的な実施例において、3次元走査装置100の移動していない時間が所定の時間を超え、又は、画像を取り込んでいない時間が所定の時間を超える（例えば、10秒を超えた、又は30秒を超えた）と、画像の取込が終了したと判断する。
【００２６】
3次元走査装置100は、画像の取込が終了したと判定すると、前記全ての重畳画像から、異なる領域に応じる前記被走査物体200の第1組のモデル及び第2組のモデルをそれぞれ取得するように構成される。例えば、第1領域211Aは、第1組のモデルに対応し、第2領域211Bは、第2組のモデルに対応する。
【００２７】
本発明の一部の実施例によれば、前記3次元走査装置は、第1組のモデルと第2組のモデルとの類似度を対比するように構成される。例えば、前記3次元走査装置は、前記第1組のモデル及び前記第2組のモデルに対応する深度画像のピーク信号対雑音比（Peak Signal-to-Noise Ratio、PSNR）を計算することで、前記第1組のモデルと前記第2組のモデルとの類似度を判定することができる。本発明の一部の実施例によれば、前記第1組のモデル及び前記第2組のモデルに対応する深度画像のPSNRは、方程式（1）及び方程式（2）で取得することができる（但し、I及びPは、それぞれ前記第1組のモデル及び前記第2組のモデルのm×n深度画像を表し、MAXIは、深度画像の最大値を表す(例えば、各サンプリング点が8ビットで表される場合、MAXIは255である)）。
【００２８】
2019135483.tif 000003
【００２９】
前記3次元走査装置で計算した前記第1組のモデル及び前記第2組のモデルに対応する深度画像のPSNRが所定値（例えば30dB）よりも大きい場合に、前記3次元走査装置は、今回の3次元モデリングの信頼度が高くて正確であると判断する。前記3次元走査装置で計算した前記第1組のモデル及び前記第2組のモデルの対応する深度画像のPSNRが前記所定値よりも小さい場合に、前記3次元走査装置は、今回の3次元モデリングの信頼度が低いと判断し、改めて走査する必要がある。
【００３０】
図4は、本発明の一部の実施例に係る3次元モデリングのフローチャートである。本発明の一部の実施例によれば、図4は、図2A及び2Bに開示される3次元モデリングの方法のフローチャートである。第1領域211Aで行うステップと第2領域211Bで行うステップとは、同期して行う同じものであるので、以下、第1領域211Aに対して行うステップのみを示す。
【００３１】
ステップS410（ステップS420）では、被走査物体の第1領域の第1組の画像を取得する。本発明の一部の実施例によれば、図2Aのイメージセンサ211の第1領域211Aのように、前記被走査物体200の第1組の画像を取得してもよい。第1領域211Aの第1組の画像は、第1領域の第1サブ領域211A1及び第1領域の第2サブ領域211A2の画像を含んでもよい。
【００３２】
ステップS411（ステップS421）では、被走査物体の第1領域の第2組の画像を取得する。本発明の一部の実施例によれば、図2Aのイメージセンサ211の第1領域211Aのように、前記被走査物体200の第2組の画像を取得してもよい。第1領域211Aの第2組の画像は、第1領域の第1サブ領域211A1及び第1領域の第2サブ領域211A2の画像を含んでもよい。
【００３３】
ステップS412（ステップS422）では、3次元走査装置は、前記イメージセンサ211の第1領域211Aで取得された第1組の画像と第2組の画像を重畳させるように構成される。
【００３４】
ステップS413（ステップS423）では、3次元走査装置100は、画像の取込が終了したか否かを判断するように構成される。
【００３５】
画像の取込が終了していないと判定した場合に、ステップS415（ステップS425）に移行し、3次元走査装置100は、第3組の画像を取り込むように構成される。次いで、ステップS412（ステップS422）に戻り、第3組の画像を第2組の画像と重畳させる。
【００３６】
画像の取込が終了したと判定した場合に、ステップS414（ステップS424）に移行し、3次元走査装置100は、前記全ての重畳画像から前記被走査物体200の第1組のモデルを取得するように構成される。同様に、3次元走査装置100は、第2領域211Bに対応する全ての取り込まれた画像を重畳させて前記被走査物体200の第2組のモデルを取得するように構成される。
【００３７】
ステップS430では、第1組のモデル及び第2組のモデルの作成が完成した後（即ち、ステップS414及びS424が完成した後）、第1組のモデルと第2組のモデルとの類似度を対比する。例えば、前記3次元走査装置は、前記第1組のモデル及び前記第2組のモデルに対応する深度画像のPSNRを計算することで前記第1組のモデルと前記第2組のモデルとの類似度を判定することができる。前記3次元走査装置で計算した前記第1組のモデル及び前記第2組のモデルに対応する深度画像のPSNRが所定値（例えば30dB）よりも大きい場合に、前記3次元走査装置は、今回の3次元モデリングの信頼度が高くて正確であると判断する。前記3次元走査装置で計算した前記第1組のモデル及び前記第2組のモデルに対応する深度画像のPSNRが前記所定値よりも小さい場合に、前記3次元走査装置は、今回の3次元モデリングの信頼度が低いと判断し、改めてステップS410〜S414及びステップS420〜S424を行う。
【００３８】
本発明の図1〜図4の実施例は、反照しやすい物体の3次元再構築（又は3次元モデリング）に用いることができる。例えば、唾液が付着しやすい歯型の再構築、金属表面を有する物体の3次元再構築、又は他の任意の反照しやすい物体の3次元再構築に用いることができる。従来の3次元走査装置は、被走査物体で反射する光線によるデータの取込の誤差を検知することができないので、再構築したモデルをプリントしなければ、前記3次元走査装置で再構築したモデルと被走査物体との間に誤差や歪みがあることを発見できず、このように、3次元モデリングの時間及びコストが浪費されてしまう。本発明の図1〜図4の実施例によれば、3次元走査装置のプロセッサにより、画像取込装置又はイメージセンサの検知領域を、被走査物体の反照を受け取る領域と、被走査物体の反照を受け取らない領域とに区画し、2つの検知領域で再構築したモデルに対して類似度の対比を行う。このように、再構築したモデルをプリントする必要がなく、前記3次元走査装置で再構築したモデルが正確であるか否かを判断することができるので、3次元モデリングの時間及びコストを大幅に減少することができる。
【００３９】
本発明の技術内容及び特徴は、上述したとおりであるが、本発明の属する技術の分野における通常の知識を有する者は、本発明の指導及び開示から逸脱することなく、依然として様々な変形及び修正が可能である。したがって、本発明の範囲は、既に開示されている実施例に限定されるものではなく、本発明から逸脱しない他の変形及び修正を含み、それは後述する特許請求の範囲に含まれる。
【符号の説明】
【００４０】
100 : 3次元走査装置
110 : 画像取込装置
120 : コントローラ
130 : プロセッサ
200 : 被走査物体
211 : イメージセンサ
212 : 光源モジュール
211A : 領域
211A1 : 第1サブ領域
211A2 : 第2サブ領域
211B : 領域
211B1 : 第1サブ領域
211B2 : 第2サブ領域
311A : 領域
311A' : 領域
311A" : 領域
311B : 領域
311B' : 領域
311B" : 領域
【図１】
2019135483.tif 000004
【図２Ａ】
2019135483.tif 000005
【図２Ｂ】
2019135483.tif 000006
【図３Ａ】
2019135483.tif 000007
【図３Ｂ】
2019135483.tif 000008
【図３Ｃ】
2019135483.tif 000009
【図４】
2019135483.tif 000010