(57)【要約】【課題】３次元センサを複数用いることにより、３次元形状を計測する際のオクルージョンを減少させる。【解決手段】３次元計測装置１００は、計測対象の表面に存在する点の相対的な３次元位置を取得する第１の３次元センサ２０と、第１の３次元センサ２０とは異なる方向から点の相対的な３次元位置を取得する第２の３次元センサ３０と、第２の３次元センサ３０が取得した点の相対的な３次元位置を、第１の３次元センサを基準とする相対的な３次元位置に合わせる位置合わせ部と、位置合わせ部が３次元位置を合わせた前記点と、第１の３次元センサ２０が取得した前記点と、を合成する合成部と、を備える。【選択図】図１
2020106283.tif 000002
【特許請求の範囲】
【請求項１】
計測対象の表面に存在する点の相対的な３次元位置を取得する第１の３次元センサと、
前記第１の３次元センサとは異なる方向から前記点の相対的な３次元位置を取得する第２の３次元センサと、
前記第２の３次元センサが取得した前記点の相対的な３次元位置を、前記第１の３次元センサを基準とする相対的な３次元位置に合わせる位置合わせ部と、
前記位置合わせ部が３次元位置を合わせた前記点と、前記第１の３次元センサが取得した前記点と、を合成する合成部と、
を備える、
３次元計測装置。
【請求項２】
マーカー部を有する計測用ガーゼを用いて、前記第２の３次元センサを基準とする相対的な３次元位置を、前記第１の３次元センサを基準とする相対的な３次元位置に変換するパラメータを算出する校正部をさらに備え、
前記位置合わせ部は、前記校正部が算出したパラメータを用いて前記第２の３次元センサが取得した前記点の相対的な３次元位置を、前記第１の３次元センサを基準とする相対的な３次元位置に合わせる、
請求項１に記載の３次元計測装置。
【請求項３】
前記第１及び第２の３次元センサとは異なる方向から前記計測対象の表面に存在する点の相対的な３次元位置を取得する１つ以上の３次元センサをさらに備え、
前記位置合わせ部は、前記１つ以上の３次元センサが取得した前記点の相対的な３次元位置を、前記第１の３次元センサを基準とする相対的な３次元位置に合わせ、
前記合成部は、前記位置合わせ部が３次元位置を合わせた前記点の全てと、前記第１の３次元センサが取得した前記点と、を合成する、
請求項１又は２に記載の３次元計測装置。
【請求項４】
第１の３次元センサと第２の３次元センサとを備える３次元計測装置の校正方法であって、
前記第１の３次元センサでマーカー部を有する計測用ガーゼを撮影して、前記計測用ガーゼに存在する点の、前記第１の３次元センサを基準とする相対的な３次元位置を取得する第１の取得ステップと、
前記第１の取得ステップでの撮影方向とは異なる方向から第２の３次元センサで前記計測用ガーゼを撮影して、前記計測用ガーゼに存在する点の、前記第２の３次元センサを基準とする相対的な３次元位置を取得する第２の取得ステップと、
前記第２の取得ステップで取得した前記第２の３次元センサを基準とする相対的な３次元位置を、前記第１の取得ステップで取得した前記第１の３次元センサを基準とする相対的な３次元位置に変換するパラメータを算出する、校正ステップと、
を有する３次元計測装置の校正方法。
【請求項５】
第１の３次元センサで計測対象の表面に存在する点の相対的な３次元位置を取得する第１の３次元位置取得ステップと、
前記第１の３次元位置取得ステップとは異なる方向から第２の３次元センサで前記計測対象の表面に存在する点の相対的な３次元位置を取得する第２の３次元位置取得ステップと、
前記第２の３次元位置取得ステップで取得した前記点の相対的な３次元位置を、前記第１の３次元センサを基準とする相対的な３次元位置に合わせる位置合わせステップと、
前記位置合わせステップで３次元位置を合わせた前記第２の３次元位置取得ステップで取得した前記点と、前記第１の３次元位置取得ステップで取得した前記点と、を合成する合成ステップと、
を有する３次元計測方法。
【請求項６】
コンピュータに、
第１の３次元センサで計測対象の表面に存在する点の相対的な３次元位置を取得する第１の３次元位置取得ステップ、
前記第１の３次元位置取得ステップとは異なる方向から第２の３次元センサで前記計測対象の表面に存在する点の相対的な３次元位置を取得する第２の３次元位置取得ステップ、
前記第２の３次元位置取得ステップで取得した前記点の相対的な３次元位置を、前記第１の３次元センサを基準とする相対的な３次元位置に合わせる位置合わせステップ、及び、
前記位置合わせステップで３次元位置を合わせた前記第２の３次元位置取得ステップで取得した前記点と、前記第１の３次元位置取得ステップで取得した前記点と、を合成する合成ステップ、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元計測装置、３次元計測装置の校正方法、３次元計測方法及びプログラムに関する。
【背景技術】
【０００２】
カメラを２台用いてステレオカメラを構成し、３次元形状を取得する装置が知られている。例えば、特許文献１には、カメラを２台用いて取得した画像をステレオ処理して計測点群を求め、該計測点群と３次元モデルの点群とをＩＣＰ（Ｉｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔ）アルゴリズムを用いてマッチングさせ、カメラで取得した計測対象と３次元モデルとの位置合わせを行うステレオ画像計測方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４６９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラで撮影対象を撮影する場合、手前に存在する突起物等がその背後を隠してしまう状況（オクルージョン（Ｏｃｃｌｕｓｉｏｎ））が生じる。単に２次元画像を取得するだけの場合には、複数台のカメラで複数の方向から撮影対象を撮影することにより、このオクルージョンを減少させることができる。しかし、撮影対象の３次元形状を計測する場合、例えば、特許文献１に記載されているステレオ画像計測方法では、２台のカメラで２つの方向から撮影対象の画像を取得するが、取得した画像をステレオ処理する関係上、オクルージョンの解消はできない。なぜなら、ステレオ処理により求められる点群は、取得した２つの画像の両方に存在する点から構成されるので、２つの画像のどちらか一方にオクルージョンが生じたら、ステレオ処理を行うことができないからである。
【０００５】
本発明は、上記実情に鑑みてなされたものであり、３次元センサを複数用いることにより、３次元形状を計測する際のオクルージョンを減少させることができる３次元計測装置、３次元計測装置の校正方法、３次元計測方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の第１の観点に係る３次元計測装置は、
計測対象の表面に存在する点の相対的な３次元位置を取得する第１の３次元センサと、
前記第１の３次元センサとは異なる方向から前記点の相対的な３次元位置を取得する第２の３次元センサと、
前記第２の３次元センサが取得した前記点の相対的な３次元位置を、前記第１の３次元センサを基準とする相対的な３次元位置に合わせる位置合わせ部と、
前記位置合わせ部が３次元位置を合わせた前記点と、前記第１の３次元センサが取得した前記点と、を合成する合成部と、
を備える。
【０００７】
マーカー部を有する計測用ガーゼを用いて、前記第２の３次元センサを基準とする相対的な３次元位置を、前記第１の３次元センサを基準とする相対的な３次元位置に変換するパラメータを算出する校正部をさらに備え、
前記位置合わせ部は、前記校正部が算出したパラメータを用いて前記第２の３次元センサが取得した前記点の相対的な３次元位置を、前記第１の３次元センサを基準とする相対的な３次元位置に合わせる、
ようにしてもよい。
【０００８】
前記第１及び第２の３次元センサとは異なる方向から前記計測対象の表面に存在する点の相対的な３次元位置を取得する１つ以上の３次元センサをさらに備え、
前記位置合わせ部は、前記１つ以上の３次元センサが取得した前記点の相対的な３次元位置を、前記第１の３次元センサを基準とする相対的な３次元位置に合わせ、
前記合成部は、前記位置合わせ部が３次元位置を合わせた前記点の全てと、前記第１の３次元センサが取得した前記点と、を合成する、
ようにしてもよい。
【０００９】
また、本発明の第２の観点に係る３次元計測装置の校正方法は、
第１の３次元センサと第２の３次元センサとを備える３次元計測装置の校正方法であって、
前記第１の３次元センサでマーカー部を有する計測用ガーゼを撮影して、前記計測用ガーゼに存在する点の、前記第１の３次元センサを基準とする相対的な３次元位置を取得する第１の取得ステップと、
前記第１の取得ステップでの撮影方向とは異なる方向から第２の３次元センサで前記計測用ガーゼを撮影して、前記計測用ガーゼに存在する点の、前記第２の３次元センサを基準とする相対的な３次元位置を取得する第２の取得ステップと、
前記第２の取得ステップで取得した前記第２の３次元センサを基準とする相対的な３次元位置を、前記第１の取得ステップで取得した前記第１の３次元センサを基準とする相対的な３次元位置に変換するパラメータを算出する、校正ステップと、
を有する。
【００１０】
また、本発明の第３の観点に係る３次元計測方法は、
第１の３次元センサで計測対象の表面に存在する点の相対的な３次元位置を取得する第１の３次元位置取得ステップと、
前記第１の３次元位置取得ステップとは異なる方向から第２の３次元センサで前記計測対象の表面に存在する点の相対的な３次元位置を取得する第２の３次元位置取得ステップと、
前記第２の３次元位置取得ステップで取得した前記点の相対的な３次元位置を、前記第１の３次元センサを基準とする相対的な３次元位置に合わせる位置合わせステップと、
前記位置合わせステップで３次元位置を合わせた前記第２の３次元位置取得ステップで取得した前記点と、前記第１の３次元位置取得ステップで取得した前記点と、を合成する合成ステップと、
を有する。
【００１１】
また、本発明の第４の観点に係るプログラムは、
コンピュータに、
第１の３次元センサで計測対象の表面に存在する点の相対的な３次元位置を取得する第１の３次元位置取得ステップ、
前記第１の３次元位置取得ステップとは異なる方向から第２の３次元センサで前記計測対象の表面に存在する点の相対的な３次元位置を取得する第２の３次元位置取得ステップ、
前記第２の３次元位置取得ステップで取得した前記点の相対的な３次元位置を、前記第１の３次元センサを基準とする相対的な３次元位置に合わせる位置合わせステップ、及び、
前記位置合わせステップで３次元位置を合わせた前記第２の３次元位置取得ステップで取得した前記点と、前記第１の３次元位置取得ステップで取得した前記点と、を合成する合成ステップ、
を実行させる。
【発明の効果】
【００１２】
本発明によれば、３次元センサを複数用いることにより、３次元形状を計測する際のオクルージョンを減少させることができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態１に係る３次元計測システムの構成を示す図である。
【図２】実施の形態１に係る３次元計測装置の制御部の機能構成を示すブロック図である。
【図３】実施の形態１に係る３次元計測装置の校正処理のフローチャートである。
【図４】実施の形態１に係る３次元計測装置の合成処理のフローチャートである。
【図５】実施の形態２に係る３次元計測システムの構成を示す図である。
【図６】実施の形態２に係る３次元計測装置の校正処理のフローチャートである。
【図７】実施の形態２に係る３次元計測装置の合成処理のフローチャートである。
【発明を実施するための形態】
【００１４】
（実施の形態１）
本発明の実施の形態１について図面を参照して詳細に説明する。
【００１５】
本実施の形態に係る３次元計測システム１０００は、図１に示すように、計測用ガーゼ６０と３次元計測装置１００とを備える。計測用ガーゼ６０は、特許第６０５０５３５号に記載の計測用ガーゼのように、マーカー部を備える布状のもので、後述する校正処理の際に用いられる。３次元計測装置１００は、図１に示すように、制御部１０と、第１の３次元センサ２０と、第２の３次元センサ３０と、を備え、計測対象の３次元形状を計測する装置である。そして、第１の３次元センサ２０及び第２の３次元センサ３０と制御部１０とは、ケーブル４０で接続されている。また、第１の３次元センサ２０及び第２の３次元センサ３０は、位置調整板５０に取り付けられており、ユーザは、この２つの３次元センサ２０，３０の間隔及びそれぞれの向きを、変更したり固定したりすることが可能である。
【００１６】
制御部１０は、図２に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１、記憶部１２、入出力部１３を備える。
【００１７】
ＣＰＵ１１は、記憶部１２に格納されたプログラムを実行することにより、後述する各種処理及び演算を実行する。
【００１８】
記憶部１２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等から構成され、ＣＰＵ１１が実行するプログラム、３次元センサ２０，３０が取得した計測対象の３次元位置データ、その他必要なデータ等を記憶する。
【００１９】
入出力部１３は、制御部１０と、第１の３次元センサ２０及び第２の３次元センサ３０と、の間の信号の入出力を行う。制御部１０は、入出力部１３を介して、第１の３次元センサ２０及び第２の３次元センサ３０と接続されており、制御部１０は、入出力部１３を介して、各３次元センサ２０，３０に撮影指示を出したり、各３次元センサ２０，３０が取得した計測対象の３次元位置データを取得したりすることができる。
【００２０】
第１の３次元センサ２０は、計測対象の３次元位置（第１の３次元センサ２０の位置及び向きを基準とした相対位置）を取得するセンサである。第１の３次元センサ２０は、例えば図１に示すように、２つの撮像部（撮像部２１及び撮像部２２）を備えたステレオカメラであるが、これに限定されず、計測対象の３次元位置を取得できるセンサであれば、任意のセンサを利用できる。
【００２１】
第１の３次元センサ２０であるステレオカメラが備える２つの撮像部２１，２２は、常に同期が取れた撮像（同じタイミングでの撮像）を行うことができる。またこのステレオカメラは、２つの撮像部２１，２２のレンズ歪み補正、軸合わせ、露出等をステレオカメラ内部のハードウェア及びソフトウェアで行う機構を備えており、２つの撮像部２１，２２で撮影された２つの画像に基づいて、ステレオ処理を行うことにより、撮影対象までの距離計算を内部で実行することができる。そのため、このステレオカメラは、撮影した画像の各点の２次元座標（ｘ，ｙ）及びその点の色（ｃ）だけでなく、その点（ｘ，ｙ）までの距離（ｚ）を含めた、各点の３次元位置（ｘ，ｙ，ｚ）及び色（ｃ）の集まり（点群データ）を取得することができる。この各点の３次元位置（ｘ，ｙ，ｚ）は、撮影したステレオカメラの位置及び向きを基準とした相対的な３次元位置となる。
【００２２】
第２の３次元センサ３０は、第１の３次元センサ２０と同様に、２つの撮像部（撮像部３１及び撮像部３２）を備えたステレオカメラである。ただし、図１に示すように、第２の３次元センサ３０の設置位置は第１の３次元センサ２０の設置位置と異なる。このため、第１の３次元センサ２０及び第２の３次元センサ３０で、それぞれ同じ計測対象を撮影しても、撮影位置及び撮影方向が異なるため、得られる３次元位置（ｘ，ｙ，ｚ）は異なることになる。これは、それぞれの３次元センサ２０，３０が取得する３次元位置は、撮影した３次元センサ２０，３０の位置及び向きを基準とした相対的な３次元位置になるからである。
【００２３】
ケーブル４０は、制御部１０と、３次元センサ２０，３０と、の間での信号を伝送する。例えば、ケーブル４０は、３次元センサ２０，３０が取得した３次元位置を、入出力部１３を介して制御部１０に伝送する。なお、３次元センサ２０，３０及び入出力部１３が無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等、ワイヤレス通信に対応している場合には、ケーブル４０は不要である。
【００２４】
位置調整板５０は、第１の３次元センサ２０及び第２の３次元センサ３０を、その間隔及び向きを調整可能に固定する。
【００２５】
制御部１０は、ＣＰＵ１１が記憶部１２に記憶しているプログラムを実行することにより、後述する校正部、位置合わせ部、合成部として機能する。
【００２６】
校正部は、第２の３次元センサ３０を基準とする相対的な３次元位置を、第１の３次元センサ２０を基準とする相対的な３次元位置に変換するパラメータである位置合わせ行列を算出する。位置合わせ行列の算出方法については後述する。位置合わせ行列を用いることで、制御部１０は位置合わせ部として機能できるようになる。また、後述するが、位置合わせ行列の算出の際は、マーカー部を有する計測用ガーゼ６０を撮影することにより、計算量を抑えることができる。
【００２７】
位置合わせ部は、位置合わせ行列を用いて、第２の３次元センサ３０が取得した３次元位置（第２の３次元センサ３０の位置を基準とする相対的な３次元位置）を、第１の３次元センサを基準とする相対的な３次元位置に合わせる。
【００２８】
合成部は、位置合わせ部で３次元位置を合わせた前記第２の３次元センサ３０が取得した点と、第１の３次元センサ２０が取得した点と、を合成して、オクルージョンを減少させた３次元計測データを取得する。
【００２９】
制御部１０が校正部として機能するための、校正処理について、図３を参照して説明する。この処理は、第１の３次元センサ２０と第２の３次元センサ３０との位置関係が変化する度に行う必要がある。通常、ユーザは、第１の３次元センサ２０と第２の３次元センサ３０との位置関係を変化させたら、校正処理を行うために、校正用の計測対象に計測用ガーゼ６０をかぶせ、第１の３次元センサ２０及び第２の３次元センサ３０で計測用ガーゼ６０を撮影できるように計測用ガーゼ６０の位置並びに、３次元計測装置１００の位置及び向きを調整し、３次元計測装置１００に、校正処理の実行を指示する。校正処理は、ユーザから校正処理の実行指示を受けると実行が開始される。なお、校正用の計測対象は、本来の計測対象でなくてもよい。さらに言えば、特に校正用の計測対象を用意せずに、単に計測用ガーゼ６０そのものを台等の上に広げた状態にして、それを各３次元センサ２０，３０で撮影する形にしてもよい。
【００３０】
まず、制御部１０は、各３次元センサ２０，３０に撮影指示を出し、計測用ガーゼ６０を含む撮影対象を撮影する（ステップＳ１０１）。そして、制御部１０は、各３次元センサ２０，３０から、撮影対象の点群データ（撮影対象の各点の３次元位置及び色（ｘ，ｙ，ｚ，ｃ）の集まり）を取得する（ステップＳ１０２）。なお、通常、計測用ガーゼ６０を撮影すると、計測用ガーゼ６０の周辺が撮影対象に含まれるので、ここで取得した点群データには、計測用ガーゼ６０以外のもの（計測用ガーゼ６０の周辺の画像に含まれる点群）も含まれる。
【００３１】
次に、制御部１０は、各３次元センサ２０，３０から取得した点群データのうち、計測用ガーゼ６０の点群データを抽出するために、特定色を抽出する（ステップＳ１０３）。例えば、計測用ガーゼ６０が白っぽい色であるなら、特定色として白っぽい部分を抽出するために、点群データの色を白黒に変換して、明度で基準値以上になる部分を抽出する。もし、計測用ガーゼ６０が色の付いたカラーガーゼである場合は、当該色及び当該色に近い色でフィルタをかけて、特定色の点群を抽出する。ステップＳ１０３に含まれる処理ステップのうち、第１の３次元センサ２０で撮影した計測用ガーゼ６０の点群データを取得するステップを第１の取得ステップと呼び、第２の３次元センサ３０で撮影した計測用ガーゼ６０の点群データを取得するステップを第２の取得ステップと呼ぶ。
【００３２】
次に、制御部１０は、第２の３次元センサ３０から取得して特定色部分を抽出した点群データから、第１の３次元センサ２０から取得して特定色部分を抽出した点群データへの変換を行う行列（位置合わせ行列）を、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔ）処理を用いて算出する（ステップＳ１０４）。このＩＣＰ処理においては、各点群の色データは用いず、３次元位置（ｘ，ｙ，ｚ）データのみを用いる。ただし、ステップＳ１０３にて、点群データは特定色のものに限定されているので、ＩＣＰ処理の計算量を抑えることができる。ここで算出される位置合わせ行列は、第２の３次元センサ３０を基準とする相対的な３次元位置を、第１の３次元センサ２０を基準とする相対的な３次元位置に変換（校正）するパラメータであると言うことができ、ステップＳ１０４は校正ステップとも呼ばれる。
【００３３】
この位置合わせ行列は、第２の３次元センサ３０から見た点群を、第１の３次元センサ２０から見える位置に移動（回転、平行移動、スケール変換）する行列である。通常、３次元の回転は３×３の回転行列の乗算、３次元の平行移動は１×３のベクトルの加算、スケール変換はスカラー値の乗算で行うことができるが、同次座標形式の４×４の行列を使えば、これらを１つの行列で表すことができる。ここでは、この位置合わせ行列は同次座標形式の４×４の行列で表すこととする。具体的には、まず、移動の対象となる３次元座標（ｘ，ｙ，ｚ）を（ｘ，ｙ，ｚ，１）の４次元ベクトルで表す。そして、３×３の回転行列の下に１×３の平行移動ベクトルを並べ、最右列に（０  ０  ０  １）Ｔ（右肩のＴは転置を表す）を並べた４次元行列を考えれば、この４次元行列の左から３次元座標を表す４次元ベクトルを乗算することにより、回転と平行移動とを同時に行うことができる。本実施の形態１における位置合わせ行列は、このような４次元行列である。
【００３４】
そして、制御部１０は、上記行列が算出されたら、その行列を位置合わせ行列として記憶部に記憶し（ステップＳ１０５）、校正処理を終了する。
【００３５】
その後は、記憶部１２に記憶した位置合わせ行列により、第２の３次元センサ３０が取得する計測対象の３次元位置を、第１の３次元センサ２０が取得する３次元位置に合わせることができるようになる。これを行う合成処理について、図４を参照して説明する。この処理は、３次元センサ２０，３０で計測対象の３次元位置が取得される度に実行される。
【００３６】
まず、制御部１０は、各３次元センサ２０，３０から、各３次元センサ２０，３０が取得した点群データ（各点の３次元座標及び色（ｘ，ｙ，ｚ，ｃ）のデータの集まり）を取得する（ステップＳ２０１）。ステップＳ２０１に含まれる処理ステップのうち、第１の３次元センサ２０で撮影した計測対象の点群データを取得するステップを第１の３次元位置取得ステップと呼び、第２の３次元センサ３０で撮影した計測対象の点群データを取得するステップを第２の３次元位置取得ステップと呼ぶ。
【００３７】
次に、制御部１０は、ステップＳ２０１で取得した点群データのうち、第２の３次元センサ３０から取得した点群データの３次元位置に位置合わせ行列を乗算することにより、当該３次元位置を、第１の３次元センサ２０を基準とする相対的な３次元位置に合わせる（ステップＳ２０２）。ステップＳ２０２は、位置合わせステップとも呼ばれる。なお、位置合わせ行列を乗算して得られた３次元位置の各座標値（ｘ，ｙ，ｚ）が整数にならない場合は、そのまま（整数ではない状態のまま）扱ってもよいし、整数に直して扱ってもよい。整数に直す場合は、単純に四捨五入して整数値にしてもよいが、その整数ではない座標における色情報を、整数値の座標における色情報に、色情報（ｃ）の分布状況に基づいて補間して修正するのが望ましい。
【００３８】
例えば、第２の３次元センサ３０から取得した点群データ（ｘ，ｙ，ｚ，ｃ）の１つが（１，２，３，１０）、もう１つが（２，２，３，２０）で表されていたとする。これは、３次元位置が（１，２，３）の点の色情報が１０で、３次元位置が（２，２，３）の点の色情報が２０であることを意味する。そして、（１，２，３）に位置合わせ行列を乗算したら（１．５，３，４）になり、（２，２，３）に位置合わせ行列を乗算したら（２．５，３，４）になったとする。この場合、位置合わせ後に座標値を整数値に直す場合は、（２，３，４）の位置の色情報を１０と２０とを１：１に内分した１５にするのが望ましい。
【００３９】
そして、制御部１０は、第２の３次元センサ３０から取得して第１の３次元センサ２０を基準とする相対的な３次元位置に合わせた点群データと、第１の３次元センサ２０から取得した点群データとで、和（ＯＲ）を取って、計測対象の３次元計測情報とし（ステップＳ２０３）、合成処理を終了する。ステップＳ２０３は合成ステップとも呼ばれる。
【００４０】
上述した合成処理を行うことにより、２つの３次元センサのうちのいずれか片方でオクルージョンが生じる場合でも、もう片方の３次元センサで取得した点群の情報との和を取ることにより合成されるので、オクルージョンを減少させることができる。なお、上述の処理では、合成方法として、全ての点群データについて和を取る方法を用いたが、合成方法はこのような方法に限定されない。
【００４１】
（実施の形態２）
上述の実施の形態１では、３次元計測装置１００は、２つの３次元センサを備えていたが、３次元センサの数は２つに限られるわけではなく、３つ以上でもよい。３次元計測装置が３次元センサを３つ備える実施の形態２について説明する。
【００４２】
実施の形態２に係る３次元計測システム１００１の構成は、図５に示すように、３次元計測装置１０１が、第１の３次元センサ２０及び第２の３次元センサ３０に加えて、第３の３次元センサ７０を備える。この点以外は、実施の形態２に係る３次元計測システム１００１は、実施の形態１に係る３次元計測システム１０００と同じである。
【００４３】
第３の３次元センサ７０は、第１の３次元センサ２０と同様に、２つの撮像部（撮像部７１及び撮像部７２）を備えたステレオカメラである。ただし、図５に示すように、第３の３次元センサ７０の設置位置は第１の３次元センサ２０の設置位置とも第２の３次元センサ３０の設置位置とも異なる。このため、第１の３次元センサ２０、第２の３次元センサ３０及び第３の３次元センサ７０で、それぞれ同じ計測対象を撮影しても、得られる３次元位置（ｘ，ｙ，ｚ）は異なることになる。これは、それぞれの３次元センサ２０，３０，７０において、撮影した３次元センサの位置を基準とした相対的な３次元位置が取得されるからである。
【００４４】
実施の形態２に係る３次元計測装置１０１は、実施の形態１に係る３次元計測装置１００と、３次元センサの数が異なるので、制御部１０が行う校正処理及び合成処理も少し異なる。これらについて説明する。
【００４５】
まず、３次元計測装置１０１の制御部１０が行う校正処理について、図６を参照して説明する。この処理は、第１の３次元センサ２０、第２の３次元センサ３０及び第３の３次元センサ７０の相互の位置関係が変化する度に行う必要がある。通常、ユーザは、第１の３次元センサ２０、第２の３次元センサ３０及び第３の３次元センサ７０の相互の位置関係を変化させたら、校正処理を行うために、校正用の計測対象に計測用ガーゼ６０をかぶせ、第１の３次元センサ２０、第２の３次元センサ３０及び第３の３次元センサ７０で計測用ガーゼ６０を撮影できるように計測用ガーゼ６０の位置並びに、３次元計測装置１０１の位置及び向きを調整し、３次元計測装置１０１に、校正処理の実行を指示する。校正処理は、ユーザから校正処理の実行指示を受けると実行が開始される。なお、実施の形態１と同様に、校正用の計測対象は、本来の計測対象でなくてもよく、校正用の計測対象を用意せずに、単に計測用ガーゼ６０そのものを台等の上に広げた状態にして、それを各３次元センサ２０，３０，７０で撮影する形にしてもよい。
【００４６】
まず、制御部１０は、各３次元センサ２０，３０，７０に撮影指示を出し、計測用ガーゼ６０を含む撮影対象を撮影する（ステップＳ１１１）。そして、制御部１０は、各３次元センサ２０，３０，７０から、撮影対象の点群データ（撮影対象の各点の３次元位置及び色（ｘ，ｙ，ｚ，ｃ）の集まり）を取得する（ステップＳ１１２）。これらの処理は、実施の形態１に係る校正処理（図３）のステップＳ１０１及びステップＳ１０２と同様である。
【００４７】
次に、制御部１０は、各３次元センサ２０，３０，７０から取得した点群データのうち、計測用ガーゼ６０の点群データを抽出するために、特定色を抽出する（ステップＳ１１３）。この処理も、実施の形態１に係る校正処理（図３）のステップＳ１０３と同様である。
【００４８】
次に、制御部１０は、第２の３次元センサ３０から取得して特定色部分を抽出した点群データから、第１の３次元センサ２０から取得して特定色部分を抽出した点群データへの変換を行う行列（位置合わせ行列）を、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔ）処理を用いて算出する（ステップＳ１１４）。この処理も、実施の形態１に係る校正処理（図３）のステップＳ１０４と同様である。
【００４９】
そして、制御部１０は、上記行列が算出されたら、その行列を第２から第１への位置合わせ行列として記憶部に記憶する（ステップＳ１１５）。
【００５０】
次に、制御部１０は、第２から第１への位置合わせ行列により、第２の３次元センサ３０から取得して特定色部分を抽出した点群データを第１の３次元センサ２０が取得する３次元位置に位置合わせして、第１の３次元センサ２０が取得して特定色部分を抽出した点群データとの和を取る（ステップＳ１１６）。この処理により、第１の３次元センサ２０でオクルージョンが生じていた部分に第２の３次元センサ３０で取得した点群データが補完され、オクルージョンの少ない点群データが得られる。
【００５１】
次に、制御部１０は、第３の３次元センサ７０から取得して特定色部分を抽出した点群データから、ステップＳ１１６で和を取って補完した点群データへの変換を行う行列（位置合わせ行列）を、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ  Ｃｌｏｓｅｓｔ  Ｐｏｉｎｔ）処理を用いて算出する（ステップＳ１１７）。
【００５２】
そして、制御部１０は、上記行列が算出されたら、その行列を第３から第１への位置合わせ行列として記憶部に記憶し（ステップＳ１１８）、校正処理を終了する。
【００５３】
その後は、記憶部に記憶した位置合わせ行列により、第２の３次元センサ３０及び第３の３次元センサ７０が取得する計測対象の３次元位置を、第１の３次元センサ２０が取得する３次元位置に合わせることができるようになる。これを行う合成処理について、図７を参照して説明する。この処理は、３次元センサ２０，３０，７０で計測対象の３次元位置が取得される度に実行される。
【００５４】
まず、制御部１０は、各３次元センサ２０，３０，７０から、各３次元センサ２０，３０，７０が取得した点群データ（各点の３次元座標及び色（ｘ，ｙ，ｚ，ｃ）のデータの集まり）を取得する（ステップＳ２１１）。
【００５５】
次に、制御部１０は、ステップＳ２１１で取得した点群データのうち、第２の３次元センサ３０から取得した点群データの３次元位置に第２から第１への位置合わせ行列を乗算することにより、当該３次元位置を、第１の３次元センサ２０を基準とする相対的な３次元位置に合わせる（ステップＳ２１２）。
【００５６】
次に、制御部１０は、ステップＳ２１１で取得した点群データのうち、第３の３次元センサ７０から取得した点群データの３次元位置に第３から第１への位置合わせ行列を乗算することにより、当該３次元位置を、第１の３次元センサ２０を基準とする相対的な３次元位置に合わせる（ステップＳ２１３）。
【００５７】
そして、制御部１０は、第２の３次元センサ３０から取得して第１の３次元センサ２０を基準とする相対的な３次元位置に合わせた点群データと、第３の３次元センサ７０から取得して第１の３次元センサ２０を基準とする相対的な３次元位置に合わせた点群データと、第１の３次元センサ２０から取得した点群データとで、和を取って、計測対象の３次元計測情報とし（ステップＳ２１４）、合成処理を終了する。
【００５８】
上述した合成処理を行うことにより、３つの３次元センサのうちの１つ又は２つでオクルージョンが生じる場合でも、残りの１つの３次元センサで取得した点群の情報との和を取ることにより合成されるので、オクルージョンを減少させることができる。なお、実施の形態１と同様、上述の処理では、合成方法として、全ての点群データについて和を取る方法を用いたが、合成方法はこのような方法に限定されない。
【００５９】
以上、実施の形態１及び実施の形態２について説明したが、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変更を行うことが可能である。
【００６０】
例えば、上述の実施の形態１では３次元センサを２つ備える３次元計測装置１００を、実施の形態２では３次元センサを３つ備える３次元計測装置１０１を、それぞれ用いたが、３次元センサの数はこれらに限定されるわけではなく、４つ以上でもよい。ただし、校正処理において、ＩＣＰ処理で位置合わせ行列を算出できるためには、追加した３次元センサで撮影された画像に含まれる点群と、他の３次元センサで撮影した画像に含まれる点群とで、共通の点を規定割合（例えば点群に含まれる全ての点の数の５０％の数）以上含む必要がある。つまり、校正用の計測対象（計測用ガーゼ）の撮影領域の規定割合以上の領域を３次元計測装置が備える全ての３次元センサのうち少なくとも２つの３次元センサで共通に撮影できるように、３次元センサを配置する必要がある。
【００６１】
また、上述の実施の形態では、校正処理において、回転行列及び平行移動ベクトルからなる位置合わせ行列を算出し、合成処理において、点群の３次元位置に位置合わせ行列を乗算することによって位置合わせを行っていた。しかし、位置合わせの方法はこれに限定されない。例えば、位置合わせ行列の代わりに、３次元座標に回転操作を施すクォータニオン（四元数）を用いてもよい。
【００６２】
この場合、例えば実施の形態１の校正処理（図３）においては、ステップＳ１０４で、位置合わせ行列を算出する代わりに、第２の３次元センサ３０から取得して特定色部分を抽出した点群データから、第１の３次元センサから取得して特定色部分を抽出した点群データへの変換を行うクォータニオン（位置合わせクォータニオン）を、ＩＣＰ処理を用いて算出する。そして、実施の形態１の合成処理（図４）においては、ステップＳ２０２で、第２の３次元センサ３０から取得した点群データの３次元位置に位置合わせクォータニオンを乗算することにより、当該３次元位置を、第１の３次元センサ２０を基準とする相対的な３次元位置に合わせる。
【００６３】
また、上述の実施の形態では、校正処理において、特定色（例えば白っぽい計測用ガーゼ６０を用いる場合には白っぽい部分）を抽出し、特定色の領域についてＩＣＰを行うことによって、計算量の削減を図った。しかし、これに限られない。例えば、計測用ガーゼ６０のマーカー部（着色した糸、Ｘ線造影糸等）の色を特定色として、マーカー部の部分だけを抽出して、ＩＣＰ処理を行ってもよい。このようにすると、ＩＣＰ処理の計算量をさらに削減することができる。
【００６４】
また、上述の実施の形態では、各３次元センサの位置関係が変化する度に、校正処理を行う必要があるが、各３次元センサの位置関係が変化しないように固定した場合には、固定後に一度だけ校正処理を行えば、その後の校正処理は不要である。この場合、例えば工場出荷時に校正処理を行い、得られた位置合わせ行列を記憶部１２に記憶させておけば、その後は校正処理を行わなくても、合成処理を行うことができる。
【００６５】
なお、３次元計測装置１００，１０１の制御部１０の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等のコンピュータによっても実施することができる。具体的には、上記実施の形態では、３次元計測装置１００，１０１の制御部１０が行う校正処理及び合成処理のプログラムが、記憶部１２のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｄｉｓｃ）、メモリカード、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリ等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の機能を実現することができるコンピュータを構成してもよい。
【００６６】
以上、本発明の好ましい実施の形態について説明したが、本発明は係る特定の実施の形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。
【符号の説明】
【００６７】
１０…制御部
１１…ＣＰＵ
１２…記憶部
１３…入出力部
２０，３０，７０…３次元センサ
２１，２２，３１，３２，７１，７２…撮像部
４０…ケーブル
５０…位置調整板
６０…計測用ガーゼ
【図１】
2020106283.tif 000003
【図２】
2020106283.tif 000004
【図３】
2020106283.tif 000005
【図４】
2020106283.tif 000006
【図５】
2020106283.tif 000007
【図６】
2020106283.tif 000008
【図７】
2020106283.tif 000009