(57)【要約】【課題】１回の照明と撮像により全光源の位置の推定を行えるようにする。【解決手段】被計測物に対して光を照射する複数の光源と、前記被計測物が載置される所定の領域を撮像する複数の撮像手段と、前記複数の光源と前記複数の撮像手段を球状に対称的に配置するフレームと、前記複数の光源の全てを点灯し、前記複数の撮像手段の全てで撮像を行い、前記撮像手段の画像から、該画像に含まれる前記光源の２次元座標を前記撮像手段毎に検出する光源検出手段と、予め設定された前記光源の大まかな３次元座標に基づき、検出した前記光源の２次元座標を前記光源毎に分類する分類手段と、分類された前記複数の光源の２次元座標から前記複数の光源の３次元座標を算出する３次元座標算出手段とを備える。【選択図】図６
2017009413.tif 000002
【特許請求の範囲】
【請求項１】
被計測物に対して光を照射する複数の光源と、
前記被計測物が載置される所定の領域を撮像する複数の撮像手段と、
前記複数の光源と前記複数の撮像手段を球状に対称的に配置するフレームと、
前記複数の光源の全てを点灯し、前記複数の撮像手段の全てで撮像を行い、前記撮像手段の画像から、該画像に含まれる前記光源の２次元座標を前記撮像手段毎に検出する光源検出手段と、
予め設定された前記光源の大まかな３次元座標に基づき、検出した前記光源の２次元座標を前記光源毎に分類する分類手段と、
分類された前記複数の光源の２次元座標から前記複数の光源の３次元座標を算出する３次元座標算出手段と
を備えたことを特徴とする３次元形状計測装置。
【請求項２】
請求項１に記載の３次元形状計測装置において、
前記分類手段は、前記光源の大まかな３次元座標および誤差に基づいて予報円を生成し、該予報円に前記光源の２次元座標が含まれるか否かにより分類を行う
ことを特徴とする３次元形状計測装置。
【請求項３】
請求項２に記載の３次元形状計測装置において、
前記分類手段は、前記予報円に複数の前記光源の２次元座標が含まれる場合に、予め前記光源毎に設定された色に基づいて分類を行う
ことを特徴とする３次元形状計測装置。
【請求項４】
被計測物に対して光を照射する複数の光源と、前記被計測物が載置される所定の領域を撮像する複数の撮像手段と、前記複数の光源と前記複数の撮像手段を球状に対称的に配置するフレームとを備えた３次元形状計測装置の制御部が実行する方法であって、
前記複数の光源の全てを点灯し、前記複数の撮像手段の全てで撮像を行い、前記撮像手段の画像から、該画像に含まれる前記光源の２次元座標を前記撮像手段毎に検出する光源検出工程と、
予め設定された前記光源の大まかな３次元座標に基づき、検出した前記光源の２次元座標を前記光源毎に分類する分類工程と、
分類された前記複数の光源の２次元座標から前記複数の光源の３次元座標を算出する３次元座標算出工程と
を備えたことを特徴とする３次元形状計測方法。
【請求項５】
被計測物に対して光を照射する複数の光源と、前記被計測物が載置される所定の領域を撮像する複数の撮像手段と、前記複数の光源と前記複数の撮像手段を球状に対称的に配置するフレームとを備えた３次元形状計測装置の制御部を構成するコンピュータを、
前記複数の光源の全てを点灯し、前記複数の撮像手段の全てで撮像を行い、前記撮像手段の画像から、該画像に含まれる前記光源の２次元座標を前記撮像手段毎に検出する光源検出手段、
予め設定された前記光源の大まかな３次元座標に基づき、検出した前記光源の２次元座標を前記光源毎に分類する分類手段、
分類された前記複数の光源の２次元座標から前記複数の光源の３次元座標を算出する３次元座標算出手段
として機能させる３次元形状計測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元形状計測装置、３次元形状計測方法および３次元形状計測プログラムに関する。
【背景技術】
【０００２】
文化財のデジタルアーカイブ等の種々の分野で、物体の３次元形状や表面の反射率等を正確に計測することが求められている。
【０００３】
計測は、複数の光源（照明手段）と複数のカメラ（撮像手段）の組み合わせを変えながら物体の撮像を行い、得られた複数の画像から演算処理を行うことにより行われるものであるが、特に反射率を正確に計測するためには、光源の位置（３次元座標）を正確に知ることが必要である。
【０００４】
また、この種の３次元形状を計測するための装置は、物体を全方向から観測できるようにするとともに、外光を遮断する必要から、分割された筐体を開閉する暗室タイプとすることが多い。
【０００５】
一方、任意のカメラ配置で撮像した画像から、画像に写ったマーカの３次元座標を高速に推定する技術が知られている（例えば、特許文献１等を参照。）。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した暗室タイプの装置においては、筐体を開けて物体（被計測物）を内部に置き、筐体を閉じて計測を行うため、装置の機構上の精度により、光源の位置が以前の推定を行った時の位置からずれてしまう。そのため、計測を行うたびに光源位置の推定を行う必要があるが、従来、複数の光源の位置推定を１回の照明と撮像で行うことはできず、推定のための処理が計測の作業に影響を与えていた。
【０００７】
本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、１回の照明と撮像により全光源の位置の推定を行えるようにすることにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、本発明にあっては、被計測物に対して光を照射する複数の光源と、前記被計測物が載置される所定の領域を撮像する複数の撮像手段と、前記複数の光源と前記複数の撮像手段を球状に対称的に配置するフレームと、前記複数の光源の全てを点灯し、前記複数の撮像手段の全てで撮像を行い、前記撮像手段の画像から、該画像に含まれる前記光源の２次元座標を前記撮像手段毎に検出する光源検出手段と、予め設定された前記光源の大まかな３次元座標に基づき、検出した前記光源の２次元座標を前記光源毎に分類する分類手段と、分類された前記複数の光源の２次元座標から前記複数の光源の３次元座標を算出する３次元座標算出手段とを備える。
【発明の効果】
【０００９】
本発明にあっては、１回の照明と撮像により全光源の位置の推定を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】３次元形状計測装置の筐体の構成例を示す図である。
【図２】基板の構成例を示す図である。
【図３】基板の情報処理のためのハードウェア構成例を示す図である。
【図４】情報処理装置のハードウェア構成例を示す図である。
【図５】基板および情報処理装置のソフトウェア構成例を示す図である。
【図６】実施形態の処理例を示すフローチャートである。
【図７】パラメータテーブルの例を示す図である。
【図８】３次元形状計測装置の一断面における光源およびカメラの配置の例を示す図である。
【図９】光源テーブルの例を示す図である。
【図１０】複数の光源がカメラ画像に含まれる場合の例を示す図である。
【図１１】光源の分類の手法例を示す図である。
【図１２】予報円の中心の２次元座標およびサイズ（半径）の算出例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の好適な実施形態につき説明する。
【００１２】
＜構成＞
図１は３次元形状計測装置１の筐体の構成例を示す図である。図１において、３次元形状計測装置１の筐体は、基板（基板ユニット）１１を固定するために用いるジオデシックドーム（Geodesic Dome）形状の半球状の基板フレーム１２と、基板フレーム１２に外接し、外光を防ぐための半球状の遮光ドーム１３と、基板フレーム１２の底部から突きだして設けられた被計測物載置部１４とを備えている。半球状の遮光ドーム１３は、筐体フレーム１５により支持されて床面上に設置できるようになっている。基板フレーム１２および遮光ドーム１３については、上側の半球状の上側筐体１６についても同様に構成されており、筐体フレーム１５の上端の一辺を支点にして開閉でき、閉じた際に外光を完全に防ぐようになっている。また、筐体内部の光源からの光が遮光ドーム１３の内側に照射された際にも、遮光ドーム１３からは反射が起こらない構造（例えば、表面をつや消しで黒く加工する等）となっている。なお、遮光ドーム１３の形状は球でなくてもよく、必要に応じて形を変えることができる。被計測物載置部１４は、下方の基板からの３次元情報の取得を妨げないよう、被計測物に応じて最小の大きさとなるように変更することができる。また、被計測物に応じて被計測物載置部１４の高さを変更できるようにしてもよい。
【００１３】
図２は基板１１の構成例を示す図である。図２において、基板１１は、被計測物に光を照射して照明を行う照明素子（光源）１１１と、被計測物の撮像を行う撮像素子（カメラ）１１２と、基板フレーム１２と接続（ネジ止め等）するための基板固定部１１３とを備えている。なお、図示の例では基板１１に照明素子１１１を１個、撮像素子１１２を６個としたものとしたが、照明素子１１１と撮像素子１１２の数と配置はこれに限られない。また、照明素子１１１による照明と撮像素子１１２による撮像は、素子毎に個別に制御を行うことができる。撮像素子１１２は、画像情報を得るだけではなく、例えば、ＴｏＦ（Time-of-Flight）カメラ等を用いて、画像情報のほかに撮像素子１１２から被計測物までの距離情報を得てもよい。
【００１４】
図３は基板１１の情報処理のためのハードウェア構成例を示す図である。図３において、基板１１は、前述した照明素子１１１および撮像素子１１２の他に、Ｉ／Ｆ（Interface）１１４と、ＣＰＵ（Central Processing Unit）１１５と、ＲＯＭ（Read Only Memory）１１６と、ＲＡＭ（Random Access Memory）１１７と、Ｉ／Ｆ（Interface）１１８とを備えている。Ｉ／Ｆ１１４は、１または複数の照明素子１１１による照明を制御するとともに、１または複数の撮像素子１１２による撮像を制御する。ＣＰＵ１１５は、各基板１１における主たる制御を行う。ＲＯＭ１１６は、固定的なプログラムやデータを保持する。ＲＡＭ１１７は、取得した画像情報を含む動的なデータを保持する。Ｉ／Ｆ１１８は、ＰＣ（Personal Computer）等の情報処理装置２とデータ通信を行う。なお、情報処理装置２は３次元形状計測装置１の一部として筐体内に設けてもよいし、情報処理装置２の機能を各基板１１に分散してもよい。
【００１５】
図４は情報処理装置２のハードウェア構成例を示す図である。図４において、情報処理装置２は、システムバス２０１に接続されたＣＰＵ（Central Processing Unit）２０２、ＲＯＭ（Read Only Memory）２０３、ＲＡＭ（Random Access Memory）２０４、ＮＶＲＡＭ（Non-Volatile Random Access Memory）２０５を備えている。また、情報処理装置２は、Ｉ／Ｆ（Interface）２０６と、Ｉ／Ｆ２０６に接続された、Ｉ／Ｏ（Input/Output Device）２０７、ＨＤＤ（Hard Disk Drive）／フラッシュメモリ２０８、ＮＩＣ（Network Interface Card）２０９と、Ｉ／Ｏ２０７に接続されたモニタ２１０、キーボード２１１、マウス２１２等を備えている。Ｉ／Ｏ２０７にはＣＤ／ＤＶＤ（Compact Disk/Digital Versatile Disk）ドライブ等を接続することもできる。
【００１６】
図５は基板１１および情報処理装置２のソフトウェア構成例を示す図である。図５において、基板１１は、撮像・照明制御部１１０１と情報転送部１１０２とを備えている。これらはＣＰＵ１１５（図３）における所定のプログラムの実行により実現される。情報処理装置２は、演算制御部２１と情報転送部２２とを備えている。これらはＣＰＵ２０２（図４）における所定のプログラムの実行により実現される。
【００１７】
情報処理装置２の演算制御部２１は、各基板１１において動作させる光源およびカメラを決定して基板１１側に指示を行い、指定した光源による照明で指定したカメラで撮像を行って撮像された画像を取得するとともに、取得した画像に基づいて各種の情報処理を行う機能を有している。情報転送部２２は、情報処理装置２と基板１１の間で情報の転送を行う機能を有している。
【００１８】
基板１１の撮像・照明制御部１１０１は、情報処理装置２からの指示に基づき、指定された光源によって照明を行って指定されたカメラで撮像を行い、画像を要求元の情報処理装置２に応答する機能を有している。情報転送部１１０２は、基板１１と情報処理装置２の間で情報の転送を行う機能を有している。
【００１９】
＜動作＞
図６は上記の実施形態の処理例を示すフローチャートであり、光源の３次元座標の複数同時推定の処理例である。図６において、情報処理装置２の演算制御部２１は、ユーザから、カメラパラメータと、光源の大まかな３次元座標と、色とを受け付け、パラメータテーブルに設定する（ステップＳ１）。パラメータテーブルは、カメラ用のカメラパラメータテーブルと、光源用の光源パラメータテーブルとに分かれている。図７はパラメータテーブルの例を示す図であり、カメラパラメータテーブルは、「カメラ」「内部パラメータ」「外部パラメータ」等の項目を含んでいる。「カメラ」は、カメラを識別する情報である。「内部パラメータ」は、焦点距離、画像の中心といったパラメータである。「外部パラメータ」は、カメラの位置と姿勢を表すパラメータである。「内部パラメータ」と「外部パラメータ」を用いることで、３次元座標からカメラ平面上の座標へ変換することができる。光源パラメータテーブルは、「光源」「事前座標」「色」等の項目を含んでいる。「光源」は、光源を識別する情報である。「事前座標」は、各光源についての大まかな３次元座標である。「色」は、各光源の色値（ＲＧＢ値等）である。なお、Ｎはカメラの個数、Ｍは光源の個数である。他のパラメータの詳細については後述する。
【００２０】
図６に戻り、情報処理装置２の演算制御部２１は、全光源を点灯し、全カメラで同時に撮像を行う（ステップＳ２）。図８は３次元形状計測装置１の一断面における光源およびカメラの配置の例を示す図である。光源とカメラは球状のフレームに内側に向けて対称的に配置されているため、どの光源も必ず２つ以上のカメラに写るようにすることができ、どの光源についても必ず３次元座標を推定できるということを担保することができる。
【００２１】
図６に戻り、情報処理装置２の演算制御部２１は、カメラ画像毎に複数の光源の２次元座標と色を、一般的な手法を利用して検出し、カメラＩＤとともに光源テーブルに保存する（ステップＳ３）。一般的な手法とは、例えば、カメラ画像においてある閾値以上の値を持つピクセルを光源の２次元座標とする等である。光源が点光源とみなせず、広がって検出される場合は、その重心をとる等の対応を行う。色の検出は、例えば、ＲＧＢ空間における位置（距離）を計算し、３次元形状計測装置１に取り付けられている光源の色に最も近い色を算出する。なお、光源の色ではなく、光源の輪郭等に付した特徴的な模様等を使ってもよい。
【００２２】
図９は光源テーブルの例を示す図であり、「カメラＩＤ」「光源２次元座標」「色」「光源ＩＤ」「直線」等の項目を含んでいる。「カメラＩＤ」は、カメラを識別する情報である。「光源２次元座標」は、検出された光源の画像上の２次元座標である。「色」は、検出された光源の色値である。「光源ＩＤ」は、後述する分類の処理により分類された光源を識別する情報であり、同じ光源には同じ光源ＩＤが付される。なお、「光源ＩＤ」は、光源の２次元座標と色が記録される時点ではブランクである。「直線」は、後述する直線算出の処理により算出される、カメラと検出された光源を結ぶ直線（直線を表す式等）である。なお、「直線」は、光源の２次元座標と色が記録される時点ではブランクである。また、光源テーブルの行数Ｌは、カメラに写った光源の数を合計したものである。例えば、１つのカメラに平均して２個の光源が写る場合、行数Ｌはカメラの個数Ｎを２倍したものとなる。
【００２３】
図６に戻り、情報処理装置２の演算制御部２１は、光源テーブルの光源２次元座標を、光源の色とパラメータテーブルを用いて分類し、その結果の光源ＩＤを光源テーブルに追記する（ステップＳ４）。光源は固有の分類番号（光源ＩＤ）が付けられ、検出した光源がどの光源なのかを判断することができる。
【００２４】
ここで、光源の分類の必要性について説明する。図１０は複数の光源がカメラ画像に含まれる場合の例を示す図であり、透視投影モデルを用いて、光源が複数ある場合のカメラでの写り方を表している。透視投影モデルでは対象物とカメラの光学中心を結ぶ直線と投影面とが交わる点に対象物が写る。図１０では、２つの光源＃１、＃２は、それぞれカメラ＃１、＃２の投影面に２つずつ写り込み、カメラパラメータを用いて各光源までのワールド座標系での直線を合計４つ求めることができる。もし、光源が１つであれば直線はカメラ＃１とカメラ＃２で１つずつの合計２つなので、この２つの直線が交わる座標を光源の座標とすればよい。しかし、図１０に示すように、光源が２つある場合、直線が合計で４つできてしまい、直線が交わる可能性のある座標は４箇所存在し、更にそのどれが光源＃１と光源＃２のどちらに対応するのか判別することができない。そこで、光源＃１と光源＃２を分類し、光源＃１の座標を求める時はどの直線を使う、といったように、それぞれ別々に座標を求める必要がある。
【００２５】
以下に、光源の分類の手順の例を説明する。先ず、光源の大まかな３次元座標（光源パラメータテーブルに光源毎に設定されている事前座標）とカメラパラメータ（カメラパラメータテーブルに設定済）から、カメラの光学中心と事前座標を結ぶカメラ画像上の２次元座標を算出する。図１１はカメラ＃１について示しており、点Ｏが、カメラ＃１の光学中心と事前座標を結ぶカメラ画像（投影面）上の２次元座標である。
【００２６】
次いで、３次元形状計測装置１の筐体の精度や、事前座標やカメラパラメータの誤差、さらに撮像の際の光源の広がり等を考慮して予報円を作成する。図１１では、点Ｏを中心にした所定サイズの予報円を示している。なお、予報円の中心およびサイズ（半径）の算出例については後述する。
【００２７】
次いで、予報円の内側で検出された光源を、事前座標が指している光源であると判定して分類する。すなわち、光源をユニークに識別する光源ＩＤを付与する。図１１では、点Ｐ１に検出された光源は、予報円の内側にあるため、その予報円に対応する事前座標の光源であると判定する。点Ｐ２に検出された光源は、予報円の外側にあるため、その予報円に対応する事前座標の光源ではないと判定する。
【００２８】
次いで、予報円内に複数の光源が検出されている場合は、更に色を用いて分類する。
【００２９】
同様に他の光源についても予報円を作成し、検出された全ての投影面上の光源について分類を行う。
【００３０】
次に、予報円の中心およびサイズ（半径）の算出例について説明する。図１２は予報円の中心の２次元座標およびサイズ（半径）の算出例を示す図である。予報円の中心の２次元座標を(u, v)、事前座標（大まかな光源の３次元座標）を(Xw, Yw, Zw)、カメラの内部パラメータを(f, δu, δv, cu, cv)、カメラの外部パラメータを(r11, r12, ・・・r33, t1, t2, t3)とする。なお、事前座標は、３次元形状計測装置１のフレームを作成する際のＣＡＤモデルのデータや、別途一般的な距離測定装置を用いて測定したデータを用いることができる。一般的な透視投影モデルを用いることで、予報円の中心の２次元座標(u, v)は式（１）（２）により求められる。
【００３１】
予報円のサイズは、事前座標についてのフレームの製造公差や光源の設置の公差を考慮して設定する。または、経験的にこの程度だろうという値を設定する。光源の設置密度が余り高くないときは、予報円は最初のうちは大きくとっておき、問題なく複数光源の３次元座標が求められたらその座標を再度設定しなおして、予報円はその際に小さくすることも有効である。また、カメラパラメータの誤差も理想的には製造や設置時の公差から設定するが、現実的には経験からある程度大きな値を設定することになることが考えられる。更に、光源の広がりは、理想的な点光源を用いることができるのであれば０とすればよいが、現実は光源の点像は点広がり関数に則って広がるため、その広がりを考慮して予報円を広げる必要がある。
【００３２】
予報円の中心の２次元座標の誤差を(σu, σv)、事前座標とカメラの内部・外部パラメータをまとめたものをpi(i=1,2,・・・)、各パラメータの誤差をσpiとする。各係数はそれぞれ独立であると考えられるので、式（１）、（２）と誤差伝播の法則から、予報円の中心の２次元座標の誤差(σu, σv)は式（３）（４）により求められる。
【００３３】
そして、予報円の半径をrf、光源の点広がり値をdPSFとすると、予報円の半径rfは式（５）により求められる。なお、誤差は各方向で異なるため、誤差に基づく予報円は正確には真円にはならないが、実用上は真円としても問題ないと考えられるため、真円としている。
【００３４】
図６に戻り、情報処理装置２の演算制御部２１は、光源テーブルの光源２次元座標に対して、カメラパラメータを用いて直線を算出し、光源テーブルに追記する（ステップＳ５）。例えば、カメラパラメータを用いてカメラの光学中心と光源の２次元座標を結ぶワールド座標系の直線をカメラ画像毎に算出する。
【００３５】
次いで、情報処理装置２の演算制御部２１は、光源テーブルにおける等しい光源ＩＤの直線の組から、光源の正確な３次元座標を光源ＩＤ毎に算出する（ステップＳ６）。例えば、カメラ画像毎の複数の直線との距離が最も短くなる座標を光源の３次元座標とする。なお、算出した光源の３次元座標は、別のテーブルに保存してもよいし、光源パラメータテーブルに追記するようにしてもよい。
【００３６】
なお、上述した例では、事前座標（光源の大まかな３次元座標）を全て設定したものとして説明したが、それらの全てを入力できない場合、光源の３次元座標を複数同時ではなく個別に１つずつ推定して行けばよい。最初以降は以前に求めた光源の３次元座標を事前座標として設定して利用することで、複数同時に光源の３次元座標を推定することができる。
【００３７】
＜総括＞
以上説明したように、本実施形態によれば、１回の照明と撮像により全光源の位置の推定を行うことができる。
【００３８】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【００３９】
＜実施形態の用語と請求項の用語の対応＞
照明素子１１１は「光源」の一例である。カメラおよび撮像素子１１２は「撮像手段」の一例である。基板フレーム１２は「フレーム」の一例である。撮像・照明制御部１１０１および演算制御部２１は「光源検出手段」の一例である。撮像・照明制御部１１０１および演算制御部２１は「分類手段」の一例である。撮像・照明制御部１１０１および演算制御部２１は「３次元座標算出手段」の一例である。
【符号の説明】
【００４０】
１            ３次元形状計測装置
１１          基板
１１１        照明素子
１１２        撮像素子
１１３        基板固定部
１１４        Ｉ／Ｆ
１１５        ＣＰＵ
１１６        ＲＯＭ
１１７        ＲＡＭ
１１８        Ｉ／Ｆ
１１０１      撮像・照明制御部
１１０２      情報転送部
１２          基板フレーム
１３          遮光ドーム
１４          被計測物載置部
１５          筐体フレーム
１６          上側筐体
２            情報処理装置
２１          演算制御部
２２          情報転送部
【先行技術文献】
【特許文献】
【００４１】
【特許文献１】特開２０１３−０８３５０５号公報
【図２】
2017009413.tif 000003
【図３】
2017009413.tif 000004
【図４】
2017009413.tif 000005
【図５】
2017009413.tif 000006
【図６】
2017009413.tif 000007
【図７】
2017009413.tif 000008
【図９】
2017009413.tif 000009
【図１２】
2017009413.tif 000010
【図１】
2017009413.tif 000011
【図８】
2017009413.tif 000012
【図１０】
2017009413.tif 000013
【図１１】
2017009413.tif 000014