(57)【要約】【課題】追跡箇所の３次元位置を高速に精度よく求める。【解決手段】ＣＰＵ４０１は、処理部が、移動体に設けられた再帰反射部材を、移動体が停止した状態でステレオカメラ２００にステレオ撮像させて第１ステレオ画像を取得する。ＣＰＵ４０１は、この第１ステレオ画像から再帰反射部材の３次元位置を求める。ＣＰＵ４０１は、移動体上の追跡箇所をユーザが指定するのを受け付ける。ＣＰＵ４０１は、指定された追跡箇所の３次元位置と、再帰反射部材の３次元位置との相対位置関係を求める。ＣＰＵ４０１は、移動体の移動中などの別のタイミングで、再帰反射部材をステレオ撮像させて第２ステレオ画像を取得する。ＣＰＵ４０１は、第２ステレオ画像から再帰反射部材の３次元位置を求める。ＣＰＵ４０１は、この再帰反射部材の３次元位置、及び相対位置関係に基づき、別のタイミングにおける追跡箇所の３次元位置を求める。【選択図】図４
2019211322.tif 000002
【特許請求の範囲】
【請求項１】
処理部が、移動体に設けられ、光を反射する複数の反射部を、撮像部に第１タイミングでステレオ撮像させて第１ステレオ画像を取得する第１撮像工程と、
前記処理部が、前記第１ステレオ画像から前記複数の反射部の３次元位置を求める第１処理工程と、
前記処理部が、前記移動体上の追跡箇所をユーザが指定するのを受け付ける指定工程と、
前記処理部が、前記指定工程で指定された前記追跡箇所の３次元位置と、前記第１処理工程で求めた前記複数の反射部の３次元位置との相対位置関係を求める工程と、
前記処理部が、前記複数の反射部を、前記撮像部に前記第１タイミングとは異なる第２タイミングでステレオ撮像させて第２ステレオ画像を取得する第２撮像工程と、
前記処理部が、前記第２ステレオ画像から前記複数の反射部の３次元位置を求める第２処理工程と、
前記処理部が、前記第２処理工程で求めた前記複数の反射部の３次元位置、及び前記相対位置関係に基づき、前記第２タイミングにおける前記追跡箇所の３次元位置を求める工程と、を備えることを特徴とする３次元計測方法。
【請求項２】
前記撮像部には発光部が設けられており、
前記処理部が、前記第１タイミング及び前記第２タイミングで前記撮像部に前記複数の反射部をステレオ撮像させるときに前記発光部を発光させることを特徴とする請求項１に記載の３次元計測方法。
【請求項３】
前記複数の反射部の各々が、再帰反射部材であることを特徴とする請求項１又は２に記載の３次元計測方法。
【請求項４】
前記複数の反射部の各々が、前記移動体が有する平坦面に設けられていることを特徴とする請求項１乃至３のいずれか１項に記載の３次元計測方法。
【請求項５】
前記処理部が、前記第１ステレオ画像及び前記第２ステレオ画像に写る前記複数の反射部の輝度が所定値を上回り、かつ前記複数の反射部以外の輝度が前記所定値を下回るように、前記第１撮像工程及び前記第２撮像工程において前記撮像部に前記複数の反射部を撮像させることを特徴とする請求項１乃至４のいずれか１項に記載の３次元計測方法。
【請求項６】
前記第１撮像工程では、前記処理部が、前記移動体を停止位置に停止させて前記撮像部に前記複数の反射部を撮像させることを特徴とする請求項１乃至５のいずれか１項に記載の３次元計測方法。
【請求項７】
前記処理部が、前記停止位置に停止させた前記移動体を前記撮像部にステレオ撮像させて第３ステレオ画像を取得する第３撮像工程を更に備え、
前記指定工程では、前記処理部が、前記追跡箇所として、前記第３ステレオ画像においてユーザが指定した点を受け付け、前記第３ステレオ画像上の点の位置から、前記追跡箇所の３次元位置を求めることを特徴とする請求項６に記載の３次元計測方法。
【請求項８】
前記処理部が、前記第２ステレオ画像と連続して、前記移動体を前記撮像部にステレオ撮像させて第４ステレオ画像を取得する第４撮像工程を更に備えることを特徴とする請求項７に記載の３次元計測方法。
【請求項９】
前記処理部が、前記第３ステレオ画像及び前記第４ステレオ画像に写る前記移動体の輝度が所定値を上回るように、前記第３撮像工程及び前記第４撮像工程において前記撮像部に前記移動体を撮像させることを特徴とする請求項８に記載の３次元計測方法。
【請求項１０】
前記処理部が、前記第２タイミングにおける前記追跡箇所の３次元位置と、前記移動体とは異なる箇所の３次元位置との距離を求める工程を、更に備えることを特徴とする請求項９に記載の３次元計測方法。
【請求項１１】
前記距離が所定値を超える場合に警報部が警報を発する工程を、更に備えることを特徴とする請求項１０に記載の３次元計測方法。
【請求項１２】
ステレオ撮像が可能な撮像部と、
処理部と、を備え、
前記処理部は、
移動体に設けられ、光を反射する複数の反射部を、前記撮像部に第１タイミングでステレオ撮像させて第１ステレオ画像を取得し、
前記第１ステレオ画像から前記複数の反射部の３次元位置を求め、
前記移動体上に指定された追跡箇所の３次元位置と、前記第１ステレオ画像から求めた前記複数の反射部の３次元位置との相対位置関係を求め、
前記複数の反射部を、前記撮像部に前記第１タイミングとは異なる第２タイミングでステレオ撮像させて第２ステレオ画像を取得し、
前記第２ステレオ画像から前記複数の反射部の３次元位置を求め、
前記第２ステレオ画像から求めた前記複数の反射部の３次元位置、及び前記相対位置関係に基づき、前記第２タイミングにおける前記追跡箇所の３次元位置を求める、
ことを特徴とする３次元計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元計測方法及び３次元計測装置に関する。
【背景技術】
【０００２】
生産装置には、レコーダー機能を備えた監視カメラが多用されている。生産装置にトラブルが発生したとき、作業者は、トラブルが発生した箇所が撮像されている監視カメラの撮像画像を見直し、何が発生したのかを確認し、それに対処することができる。これにより、生産装置の信頼性が向上する。
【０００３】
生産装置で発生するトラブルは多種多様であり、作業者が画像を見ても、そのトラブル内容や原因を判断することは難しい場合もある。例えば、生産装置で発生するトラブルが部材間の位置ずれの場合、ユーザがその位置ずれ量を監視画像から判断するのは容易ではない。また、カメラを用いて監視する場合、前に撮像した画像との変化で、注目点が動いたかどうかを確認することもあり、ユーザが監視画像から判断するのは容易ではない。
【０００４】
そこで、監視カメラとしてステレオカメラを用い、画像処理装置により撮像画像から追跡箇所として特徴点を抽出し、特徴点の動きを追跡することが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１５０８４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特徴点の抽出には、パターンマッチングによる処理を行わなければならず、この処理に時間を要していた。このため、特徴点の動きが速い場合には、処理が追いつかないことがあった。また、特徴点の動きが速いと、撮像画像において特徴点の画像がぶれることがあり、特徴点の抽出の精度が低下する問題もあった。
【０００７】
そこで、本発明は、追跡箇所の３次元位置を高速に精度よく求めることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の３次元計測方法は、処理部が、移動体に設けられ、光を反射する複数の反射部を、撮像部に第１タイミングでステレオ撮像させて第１ステレオ画像を取得する第１撮像工程と、前記処理部が、前記第１ステレオ画像から前記複数の反射部の３次元位置を求める第１処理工程と、前記処理部が、前記移動体上の追跡箇所をユーザが指定するのを受け付ける指定工程と、前記処理部が、前記指定工程で指定された前記追跡箇所の３次元位置と、前記第１処理工程で求めた前記複数の反射部の３次元位置との相対位置関係を求める工程と、前記処理部が、前記複数の反射部を、前記撮像部に前記第１タイミングとは異なる第２タイミングでステレオ撮像させて第２ステレオ画像を取得する第２撮像工程と、前記処理部が、前記第２ステレオ画像から前記複数の反射部の３次元位置を求める第２処理工程と、前記処理部が、前記第２処理工程で求めた前記複数の反射部の３次元位置、及び前記相対位置関係に基づき、前記第２タイミングにおける前記追跡箇所の３次元位置を求める工程と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、追跡箇所の３次元位置を高速に精度よく求めることができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る生産装置を示す説明図である。
【図２】実施形態に係る３次元計測装置のステレオカメラを示す説明図である。
【図３】（ａ）は、実施形態の第１撮像モードを説明するための図である。（ｂ）は、実施形態の第２撮像モードを説明するための図である。
【図４】実施形態に係る３次元計測装置のシステム構成を示すブロック図である。
【図５】（ａ）及び（ｂ）は、実施形態に係る３次元計測装置による３次元計測方法を示すフローチャートである。
【図６】（ａ）は、第１撮像モードのステレオ画像の模式図である。（ｂ）は、第２撮像モードのステレオ画像の模式図である。
【図７】ＧＵＩ画面を示す説明図である。
【図８】撮像動作を説明するための模式図である。
【図９】撮像画像座標系からカメラ座標系への変換方法を説明するための図である。
【図１０】再帰反射部材と追跡箇所との関連付けを説明するための図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態を、図面を参照しながら詳細に説明する。図１は、実施形態に係る生産装置１００を示す説明図である。生産装置１００は、監視カメラとして機能する３次元計測装置１０１と、３次元計測装置１０１を支持する自在アーム１０２と、ＰＣ（Personal  Computer）１０３と、を備える。また、生産装置１００は、ベース１１０に固定される固定体であるガイド１０４と、ガイド１０４及びベース１１０に対して移動可能な移動体１０５と、を備えている。移動体１０５は、平坦面１０５１を有する。本実施形態では、移動体１０５が計測対象（追跡対象、即ち監視対象）である。３次元計測装置１０１は、移動体１０５を連続して撮像（監視）して、監視画像を保存する。更に、３次元計測装置１０１は、移動体１０５上の所定箇所（追跡箇所、即ち監視箇所）Ｑと、ガイド１０４上の所定箇所（基準箇所）Ｐとの間の距離を、リアルタイムに計測して、計測結果をＰＣ１０３の表示パネル１０３Ａに表示させる。
【００１２】
以下、ＰＣ１０３がタブレットＰＣである場合について説明する。タブレットＰＣは、表示パネル１０３Ａとして、表示部と入力部とが１つのデバイスで構成されたタッチパネルを備えている。ただし、ＰＣ、および、表示部と入力部の構成は、これに限定するものではない。表示部と入力部とが別々のデバイスで構成されていてもよい。即ち、入力部であるポインティングデバイスは、タッチパネルに限定するものではなく、例えばマウス等を用いてもよい。
【００１３】
３次元計測装置１０１は、後述する撮像部であるステレオカメラを有し、被写体をステレオ撮像することができる。移動体１０５には、光を反射する反射部として再帰反射部材１０６が複数設けられている。再帰反射部材１０６は、マイクロプリズム又はガラスビース等の部材を基材の表面に配置した構成であり、入射光を入射方向と反対方向に反射する指向性を有している。
【００１４】
再帰反射部材１０６は、例えば外形が円形のシールであり、ユーザが任意の箇所に貼り付けることが可能である。再帰反射部材１０６の大きさは、画像処理が可能な程度の大きさ、例えば直径１ｍｍ程度であればよい。本実施形態では、３つ以上の反射部、具体的には３つの再帰反射部材１０６を、移動体１０５に互いに間隔をあけて貼り付けている。これら再帰反射部材１０６は、移動体１０５の同一の平坦面１０５１に配置されるのが好ましい。また、これら再帰反射部材１０６は、全てが平坦面１０５１に沿う１つの直線に並ばないような位置に配置されるのが好ましい。
【００１５】
３次元計測装置１０１は、自在アーム１０２の先端に固定されて自在アーム１０２に支持されている。自在アーム１０２の基端は、ベース１１０に固定されている。これにより、自在アーム１０２は、３次元計測装置１０１を３次元空間において任意の位置姿勢に保持することができる。
【００１６】
本実施形態では、自在アーム１０２は、３次元計測装置１０１のステレオカメラの画角にガイド１０４、移動体１０５及び再帰反射部材１０６が入る位置姿勢に３次元計測装置１０１を保持する。３次元計測装置１０１は、無線機を有し、ワイヤレスで画像データや計測結果等の各種のデータをタブレットＰＣ１０３に送信することが可能となっている。タブレットＰＣ１０３は、３次元計測装置１０１からデータを示す信号を受信して、撮像画像を含むＧＵＩ画像や計測結果等を表示することができる。これにより、ユーザは、撮像画像や計測結果等を確認することができる。タブレットＰＣ１０３は、ユーザが入力したデータを３次元計測装置１０１に送信することが可能となっている。
【００１７】
また、ユーザは、３次元計測装置１０１のステレオカメラをライブビューモードにして、タブレットＰＣ１０３に映るライブ映像を見ることもできる。ユーザは、タブレットＰＣ１０３に映るライブ映像を見ながら、ステレオカメラの各画像において、ガイド１０４、移動体１０５及び再帰反射部材１０６のピントが合うように、自在アーム１０２の姿勢、即ち３次元計測装置１０１の位置姿勢を調整すればよい。
【００１８】
図２は、３次元計測装置１０１のステレオカメラ２００を示す説明図である。監視カメラであるステレオカメラ２００は、一対のカメラ２０１，２０２を有する。各カメラ２０１，２０２は、イメージセンサを有する。各カメラ２０１，２０２には、各レンズ２０７，２０８がマウントされる各レンズマウント２０３，２０４が取り付けられている。各カメラ２０１，２０２は、各レンズマウント２０３，２０４を介して、３次元計測装置１０１の筐体１０１Ａの所定位置に固定されている。レンズ２０７の光軸をＬ１、レンズ２０８の光軸をＬ２とする。撮像面ＰＬには、図１の再帰反射部材１０６が位置する。
【００１９】
３次元計測装置１０１は、各カメラ２０１，２０２に設けられ、発光して光軸Ｌ１，Ｌ２の方向に光を出射する発光部の一例である照明基板２０５，２０６を有する。照明基板２０５，２０６の光の出射方向が、光軸Ｌ１，Ｌ２と平行であるため、撮像面ＰＬに位置する図１の再帰反射部材１０６の再帰反射光を、各カメラ２０１，２０２で受光することができる。
【００２０】
照明基板２０５，２０６は、カメラ２０１，２０２の撮像期間に同期して発光し、再帰反射部材１０６のみの撮像を行うために使用する。照明基板２０５，２０６を発光させて再帰反射部材１０６のみを撮像するカメラ２０１，２０２の撮像モードを、第１撮像モードと呼び、対象物全体を撮像するカメラ２０１，２０２の撮像モードを、第２撮像モードと呼ぶ。
【００２１】
各カメラ２０１，２０２に設けられた各レンズ２０７，２０８の絞りは、固定されている。各カメラ２０１，２０２に設けられた各レンズ２０７，２０８の絞り値は、第１撮像モードにおいて撮像する際のシャッター速度とし、かつ照明基板２０５，２０６を発光させない場合、周囲の環境光では撮像画像が暗となるように設定されている。この状態で、各カメラ２０１，２０２の撮像と各照明基板２０５，２０６の発光とを同期させることで、再帰反射部材１０６のみが写った、ぶれの小さい撮像画像を取得することができる。
【００２２】
図３（ａ）は、実施形態の第１撮像モードにおけるカメラ２０１，２０２の撮像と照明基板２０５，２０６の発光とのタイミングを説明するための図である。図３（ｂ）は、実施形態の第２撮像モードにおけるカメラ２０１，２０２の撮像のタイミングを説明するための図である。カメラ２０１，２０２のイメージセンサは、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサのいずれのイメージセンサを用いてもよいが、本実施形態では、ＣＭＯＳイメージセンサである場合について説明する。図３（ａ）及び図３（ｂ）には、ローリングシャッター型のＣＭＯＳイメージセンサを用いた場合のイメージセンサの動作を図示している。ローリングシャッター型のイメージセンサは、露光開始のタイミングがイメージセンサの画素の行単位で変化するのが特徴である。図３（ａ）及び図３（ｂ）において、縦軸は、イメージセンサの縦方向（行方向）の位置を示し、数字１は１行目、数字２は２行目、数字Ｎは最終行を示している。図３（ａ）及び図３（ｂ）において、横軸は時間であり、期間３０１は、行の露光期間を示しており、これがカメラ２０１，２０２のシャッター速度となる。期間３０２は、露光した行の各画素データを、カメラ２０１，２０２の外部にインターフェースを介して転送する期間を示す。図３（ａ）及び図３（ｂ）に示すように、ローリングシャッターのイメージセンサにおいて、１行目から最終行のＮ行目までの露光期間には、同時に露光状態になる期間がある。
【００２３】
図３（ａ）に示す第１撮像モードでは、全ての行が同時に露光状態になる期間に合わせた期間３０３において、照明発光信号を照明基板２０５，２０６に与えて照明基板２０５，２０６を発光させる。これが同期発光である。照明基板２０５，２０６が期間３０３で同期発光すると、図１の再帰反射部材１０６が、周囲の環境光に比べて強い再帰反射光を反射する。その結果、期間３０３だけ、イメージセンサの画素の各行において、強い反射光を受け取ることができる状態となり、ローリングシャッターのイメージセンサで、動いている物体を撮像しても、ぶれの小さい画像を取得することが可能になる。
【００２４】
図３（ｂ）に示す第２撮像モードでは、露光期間３０１を第１撮像モードよりも長くする、即ちシャッター速度を遅くしている。なお、レンズに設けてあるレンズの絞りを開放して入射光を増やしてもよいし、センサのゲインを上げて高感度化してもよい。これにより、環境光を利用して反射部以外の背景画像を浮き上がらせて撮像することができる。このようにすることで、移動体１０５を撮像することができる。
【００２５】
なお、周囲の環境光の明るさが十分ではない場合は、各カメラ２０１，２０２に設けられたレンズの光軸Ｌ１，Ｌ２の方向とは別の方向から光を照射して、周囲の環境光の明るさを補ってもよい。この場合の照明装置は、第２撮像モードと同期して発光させてもよい。
【００２６】
図４は、実施形態に係る３次元計測装置１０１のシステム構成を示すブロック図である。３次元計測装置１０１は、画像処理を行うスマートステレオカメラであり、処理部の一例であるＣＰＵ４０１と、プログラム等を格納するメモリ４０２とを含んでいる。ＣＰＵ４０１は、バスライン４１３に接続されている。ステレオカメラ２００の各カメラ２０１，２０２は、各ＵＳＢインターフェース４０４，４０５を介してバスライン４１３に接続されている。これによりＣＰＵ４０１は、各カメラ２０１，２０２の撮像動作（例えば撮像タイミング）を制御することができる。
【００２７】
各照明基板２０５，２０６は、各ＧＰＩＯ（ジェネラルパーパスＩＯ）インターフェース４１８，４１９を介してバスライン４１３に接続されている。これによって、ＣＰＵ４０１は、カメラ２０１，２０２の撮像と同期して、照明基板２０５，２０６を発光させることができる。
【００２８】
３次元計測装置１０１には、撮像した画像を記録して保存するためのマイクロＳＤメモリカード等の内部ストレージ４０９が不図示のスロットに装着される。スロットに装着された内部ストレージ４０９は、ＳＤＩ（ＳＤメモリインターフェース）４０８を介して、バスライン４１３に接続されている。
【００２９】
３次元計測装置１０１は、外部との通信を行うためのネットワークインタフェース４１１と、これに接続された無線機４１２とを有する。ＣＰＵ４０１は、無線機４１２を制御して、無線機４１２から外部機器であるタブレットＰＣ１０３にＧＵＩ（グラフィックユーザインターフェース）画像等を伝送することができる。また、ＣＰＵ４０１は、ネットワークインタフェース４１１及び無線機４１２を介して、第１撮像モードと第２撮像モードの画像間の関連付けを行うことができる。
【００３０】
３次元計測装置１０１は、内部バッテリ４１７と外部からの給電で動作できる２電源型であり、電源制御回路４１６を有する。電源制御回路４１６には、ＰＯＥ（パワーオーバーイーサネット（登録商標））回路４１５が接続されており、外部給電時は、ＰＯＥ回路４１５を通じて電源制御回路４１６に電力が供給され、３次元計測装置１０１の各部に電力が供給される。また、ＰＯＥ回路４１５及び電源制御回路４１６は、内部バッテリ４１７の充電にも使用される。ＰＯＥ回路４１５は、電源の他、外部との接続機器とイーサネット（登録商標）を通して通信することができる。無線機４１２が使用できない場合は、この回路４１５を通じて外部機器と通信してＧＵＩ画像を伝送し、第１撮像モードと第２撮像モードの画像間の関連付けを行うこともできる。
【００３１】
メモリ４０２は、ＣＰＵ４０１に実行させるプログラム等が格納されているメモリであり、高速なメモリであるのが好ましい。メモリ４０２は、大別すると、ＣＰＵ４０１に実行させるプログラムが格納されているプログラム領域４０３と、画像等を一時的に保存するワークメモリ領域４１４とで構成される。ＣＰＵ４０１は、プログラム領域４０３に格納されたプログラムに従って動作することで、各種の演算及び各種の制御を行う。
【００３２】
具体的に説明すると、プログラム領域４０３には、画像処理プログラム４０３１、ＧＵＩプログラム４０３２、外部Ｉ／Ｆ制御プログラム４０３３、３次元計測プログラム４０３４が格納されている。また、プログラム領域４０３には、内部Ｉ／Ｆ制御プログラム４０３５、システム診断プログラム４０３６、カメラ制御プログラム４０３７、保存データ生成プログラム４０３８が格納されている。
【００３３】
画像処理プログラム４０３１は、ＣＰＵ４０１に画像処理を行わせるプログラムである。ＧＵＩプログラム４０３２は、ＣＰＵ４０１にＧＵＩ画像を作成させる処理や、第１撮像モードで撮像した画像と第２撮像モードで撮像した画像から、再帰反射部材１０６の３次元位置と追跡箇所Ｑの３次元位置との相対位置関係を計算させるプログラムである。外部Ｉ／Ｆ制御プログラム４０３３は、ＣＰＵ４０１に外部機器との接続のための制御を行わせるプログラムである。３次元計測プログラム４０３４は、ＣＰＵ４０１に校正データを用いて３次元計測を行わせるプログラムである。内部Ｉ／Ｆ制御プログラム４０３５は、ＣＰＵ４０１にカメラや照明、内部ストレージとの通信を行わせるプログラムである。システム診断プログラム４０３６は、ＣＰＵ４０１に３次元計測装置に異常がないかを診断させるプログラムである。カメラ制御プログラム４０３７は、ＣＰＵ４０１にカメラ２０１，２０２を制御させるためのプログラムである。保存データ生成プログラム４０３８は、ＣＰＵ４０１に撮像画像を内部ストレージ４０９に記録させるプログラムである。なお、プログラムの形態は、これに限定するものではない。
【００３４】
以下、本実施形態の３次元計測装置１０１による３次元計測方法の工程について具体的に説明する。図５（ａ）及び図５（ｂ）は、実施形態に係る３次元計測装置１０１による３次元計測方法を示すフローチャートである。
【００３５】
図５（ａ）に示すフローチャートは、図１に示す移動体１０５を移動させる前、即ち移動体１０５を所定の停止位置に停止させている状態で行う、後の計測を行う前の準備工程を示している。図５（ｂ）に示すフローチャートは、図１に示す移動体１０５を移動させているときに移動体１０５の位置を計測する工程を示している。
【００３６】
ＣＰＵ４０１は、前述したように、第１撮像モードと第２撮像モードとを有する。本実施形態では、第１撮像モードでは、撮像により得られるステレオ画像に写る複数の再帰反射部材１０６の輝度が所定値を上回り、かつ再帰反射部材１０６以外の輝度が所定値を下回るように、例えばシャッター速度が第１シャッター速度に設定される。また、本実施形態では、第２撮像モードでは、撮像により得られるステレオ画像に写る移動体１０５の輝度が所定値を上回るように、例えばシャッター速度が第１シャッター速度よりも遅い第２シャッター速度に設定される。
【００３７】
まず、図５（ａ）に示すフローについて説明する。図５（ａ）に示すフローは、移動体１０５を、所定の停止位置に停止（静止）させた状態で行う。
【００３８】
ＣＰＵ４０１は、第１撮像モードにおいて、複数の再帰反射部材１０６をステレオカメラ２００に第１タイミングでステレオ撮像させて、一対の撮像画像からなるステレオ画像（第１ステレオ画像）を取得する（Ｓ１０１：第１撮像工程）。
【００３９】
図６（ａ）は、ステップＳ１０１で得られるステレオ画像５２０の模式図である。第１撮像モードで撮像することで得られるステレオ画像５２０は、一対の撮像画像５２１，５２２からなる。図２の一対のカメラ２０１，２０２が、図３（ａ）の例のように一対の照明基板２０５，２０６と同期して撮像を行う。これにより、図６（ａ）に示すように、再帰反射部材１０６の画像が明（白）、それ以外（背景画像）が暗（黒）となって写る一対の撮像画像５２１，５２２が得られる。
【００４０】
次に、ＣＰＵ４０１は、一対の撮像画像５２１，５２２からなるステレオ画像５２０を画像処理して、３つの再帰反射部材１０６の３次元位置を求める（Ｓ１０２：第１処理工程）。
【００４１】
画像処理について具体的に説明すると、ＣＰＵ４０１は、撮像画像５２１，５２２を二値化処理して、ラベリングを行い、その重心位置を計算する。即ち、本実施形態では、ＣＰＵ４０１は、撮像画像からパターンマッチングにより移動体上の特徴点を抽出するような、演算負荷の高い処理は行わなくてよい。ＣＰＵ４０１は、３つの白点領域である３つの画素群それぞれの重心位置を計算するだけで、各撮像画像５２１，５２２に写った再帰反射部材の画像の２次元位置を、高速に求めることができる。なお、撮像画像５２１，５２２において、ノイズ画像となる白点を、大きさや形状に基づいて除去してもよい。
【００４２】
ＣＰＵ４０１は、撮像画像５２１に写っている再帰反射部材の２次元位置、及び撮像画像５２２に写っている再帰反射部材の２次元位置に基づき、再帰反射部材１０６の３次元位置を求める。再帰反射部材１０６の３次元位置の座標値は、３次元空間内に固定された座標系で求まればよく、ベース１１０などを基準とする座標系であってもよいが、本実施形態では、カメラ２００を基準としたカメラ座標系で求められる。
【００４３】
ＣＰＵ４０１は、更に、３つの再帰反射部材１０６の３次元位置の情報（座標値）から、これら３点を通過する仮想平面の平面方程式を求める。この平面方程式は、一意に求めることができる。そのため、図１に示す平坦面１０５１とステレオカメラ２００とが正対していなくても、平坦面１０５１の追跡箇所Ｑの位置を正確に求めることができる。なお、内部ストレージ４０９には、予め校正データが保存されており、ＣＰＵ４０１は、校正データを用いて高精度に平面方程式を算出することができる。
【００４４】
ＣＰＵ４０１は、第２撮像モードにおいて、ステップＳ１０１と同じ停止位置に停止させた移動体１０５をステレオカメラ２００にステレオ撮像させて一対の撮像画像からなるステレオ画像（第３ステレオ画像）を取得する（Ｓ１０３：第３撮像工程）。
【００４５】
図６（ｂ）は、ステップＳ１０３で得られるステレオ画像５２５の模式図である。第２撮像モードで撮像することで得られるステレオ画像５２５は、一対の撮像画像５２６，５２７からなる。図２の一対のカメラ２０１，２０２が、図３（ｂ）の例のように撮像を行うことで、図６（ｂ）に示すように、再帰反射部材１０６のみならず、移動体１０５やガイド１０４など背景画像も含む撮像画像５２６，５２７が得られる。移動体１０５が同じ停止位置に停止しているため、図６（ａ）の各撮像画像５２１，５２２に写る再帰反射部材の画像上の位置と、図６（ｂ）の各撮像画像５２６，５２７に写る再帰反射部材の画像上の位置とは同じである。ステップＳ１０３で撮像した画像は、次のステップＳ１０４でタブレットＰＣ１０３を用いてユーザが追跡箇所Ｑを指定するのに用いる参照用の画像である。
【００４６】
ＣＰＵ４０１は、ステップＳ１０３により得られた撮像画像をＧＵＩ画像に組み込み、図４の無線機４１２等を通じて、図１のタブレットＰＣ１０３に送信する。タブレットＰＣ１０３は、受信したＧＵＩ画像をタッチパネル１０３Ａに表示する。本実施形態では、図６（ｂ）の一対の撮像画像５２６，５２７のうち一方の画像が、ＧＵＩ画像としてタッチパネル１０３Ａに表示される。図１の移動体１０５は、ガイド１０４に対して移動する追跡対象である。したがって、ユーザは、タブレットＰＣ１０３のタッチパネル１０３Ａに表示されたＧＵＩ画面を操作して、移動体１０５上の追跡箇所Ｑを指定する。タブレットＰＣ１０３は、ユーザに指定された追跡箇所Ｑに関するデータを３次元計測装置１０１に送信する。これにより、ＣＰＵ４０１は、ユーザがタブレットＰＣ１０３を用いて追跡箇所Ｑを指定するのを受け付ける（Ｓ１０４：指定工程）。
【００４７】
図７は、タブレットＰＣ１０３のタッチパネル１０３Ａに表示されるＧＵＩ画面を示す説明図である。タッチパネル１０３Ａには、ＧＵＩ全体を示すウインドウ６１０が表示される。ウインドウ６１０には、撮像画像を表示する指定ウインドウ６１１が含まれる。指定ウインドウ６１１には、カメラ２０１の撮像画像及びカメラ２０２の撮像画像のうち、いずれか一方の撮像画像が表示される。
【００４８】
ユーザは、指定ウインドウ６１１に表示された画像上の点６０５をタッチすることで、距離測定の基準となる基準箇所Ｐを指定することができる。また、ユーザは、指定ウインドウ６１１に表示された画像上の点６０４をタッチすることで、基準箇所Ｐに対する距離を測定する箇所であって追跡対象の追跡箇所Ｑを指定することができる。以下、基準箇所Ｐ及び追跡箇所Ｑを総称して測定箇所ともいう。
【００４９】
指定ウインドウ６１１に表示される撮像画像には、３つの再帰反射部材１０６に対応する画像６０１〜６０３と、ガイド１０４に対応する画像６２５と、移動体１０５に対応する画像６２６が含まれている。ウインドウ６１０には、測定箇所の測定値等を表示するウインドウ６１２〜６１６も含まれる。
【００５０】
タブレットＰＣ１０３は、ユーザがウインドウ６１２をタッチすると、２点の測定箇所の指定モードに入る。タブレットＰＣ１０３は、この指定モードに入ると、最初に基準箇所Ｐの指定待ち受けとなる。ユーザが指定ウインドウ６１１に表示された任意の点６０５をタッチすることで、基準箇所Ｐの指定がなされる。タブレットＰＣ１０３は、基準箇所Ｐの指定がなされると、追跡箇所Ｑの指定待ち受けとなる。ユーザが指定ウインドウ６１１に表示された任意の点６０４をタッチすることで、追跡箇所Ｑの指定がなされる。
【００５１】
本実施形態では、追跡箇所Ｑ及び基準箇所Ｐは、後の処理が簡単となるように、再帰反射部材１０６が設けられた移動体１０５の平坦面１０５１を含む仮想平面内で指定されるものとする。
【００５２】
ウインドウ６１２には、基準箇所Ｐと追跡箇所Ｑとの２点間の距離が実寸法値で表示される。なお、本実施形態では、ウインドウ６１２と同じ機能を持たせたウインドウ６１３〜６１６が用意されており、上述と同様の２点の測定箇所の指定及び距離の表示が可能となっている。２点の測定箇所の指定の解除は、ウインドウ６１２を２回タッチすればよく、再設定は、再度ウインドウ６１２をタッチして同じ手順を行えばよい。
【００５３】
ウインドウ６１０には、ウインドウ６１７〜６２１が含まれている。各ウインドウ６１７〜６２１は、各ウインドウ６１２〜６１６の設定を行うためのプロパティウインドウである。各ウインドウ６１７〜６２１は、各ウインドウ６１２〜６１６で２点を指定する方法の設定や、例えば赤色を表示して警報を発するウインドウ（警報部）として機能する。図４のＣＰＵ４０１が、ＰＯＥ回路４１５や無線機４１２を通じて警報信号をタブレットＰＣ１０３に送信することで、タブレットＰＣ１０３が、ウインドウに赤色を表示するなどして警報を発する。
【００５４】
ウインドウ６１７〜６２１では、測定箇所の設定方法の変更もできる。以上の説明では、１点目を基準箇所、２点目を追跡箇所として指定するような設定であったが、逆の順番の設定にしたり、他のウインドウで指定した測定箇所の情報を、当該ウインドウの測定箇所とするような設定にしたりすることもできる。
【００５５】
また、以上の説明では、測定箇所を、１回タッチすることで１点の指定を行うようにしていたが、１点の測定箇所を指定するのに、４点のタッチを行い、その交点を測定箇所とする設定も可能である。この指定方法を用いれば、測定箇所の指定が、サブピクセル単位で可能になる。その結果、より細かい精度での測定が可能になる。
【００５６】
この他、指定ウインドウ６１１において、ウインドウ６１２〜６１６と測定箇所との対応を、色等で表示させることもできる。例えば、ウインドウ６１２と対応付けられた点６０４，６０５を、赤色とすることもできる。その際、ウインドウ６１２の背景を薄い赤色とし、基準箇所としてタッチされた点６０５は濃い赤、追跡箇所としてタッチされた点６０４は薄い赤色と表示してもよい。これらは、撮像画像毎に変更してもよく、測定箇所のマークが見やすくなる。
【００５７】
また、ウインドウ６１０には、ウインドウ６１１の表示倍率を変更する変更ウインドウ６２２〜６２４も含まれる。変更ウインドウ６２２〜６２４をユーザがタッチすることで、表示倍率が可能である。変更ウインドウ６２２は拡大ボタンであり、ユーザがタッチする度に現在表示の中心位置を中心に表示が拡大される。変更ウインドウ６２４は、縮小ボタンであり、ユーザがタッチする度に現在表示の中心位置を中心に表示が縮小される。変更ウインドウ６２３は、初期設定倍率に戻すための倍率リセットボタンである。なお、指定ウインドウ６１１内に撮像画像が入りきらなくなると、スクロールバー６２７，６２８が表示されて、必要な撮像画像位置の表示を調整できる。指定ウインドウ６１１の撮像画像の拡大縮小は、前述の測定箇所の指定にも有効であり、細かい位置の指定と測定が可能になる。
【００５８】
以上のＧＵＩにより、ユーザは、測定箇所を簡単に指定することが可能となる。追跡箇所Ｑは、ユーザが任意に指定可能となっている。即ち、再帰反射部材の位置と追跡箇所の位置とを一致させなくてもよい。なお、ＧＵＩによらずにユーザが直接、基準箇所Ｐと追跡箇所Ｑの座標値を入力するように構成してもよい。
【００５９】
本実施形態では、ＣＰＵ４０１は、タブレットＰＣ１０３にて指定された基準箇所Ｐの３次元位置と、追跡箇所Ｑの３次元位置とを求める。即ち、タブレットＰＣ１０３にて指定されるのは、ステレオ画像のうち、一方の撮像画像における２次元の点（位置）であり、この点のデータが、ＣＰＵ４０１に送信される。ＣＰＵ４０１は、この２次元の点のデータを受信したとき、３次元の位置に変換する必要がある。本実施形態では、ＣＰＵ４０１は、指定された第３ステレオ画像上の点、本実施形態では一対の撮像画像のうちの一方の撮像画像においてユーザにより指定された点６０４，６０５の位置から、基準箇所Ｐ及び追跡箇所Ｑの３次元位置を求める。
【００６０】
次に、ＣＰＵ４０１は、指定された追跡箇所Ｑの３次元位置と、ステップＳ１０２で求めた再帰反射部材１０６の３次元位置との相対位置関係を求める（Ｓ１０５）。この相対位置関係を求めることを、関連付けともいう。この関連付けは、本実施形態では、再帰反射部材１０６の位置を追跡箇所Ｑの位置に平面方程式で規定された仮想平面に沿ってスライドする並進行列となる。この並進行列は、再帰反射部材１０６からみた追跡箇所Ｑの相対的な値であり、ステレオカメラ２００に対して移動体１０５の位置姿勢が変化しても、変化しない固定値である。本実施形態では、追跡箇所Ｑを、移動体１０５の平坦面１０５１の任意の点に拘束することで、簡単に平面方程式を用いて関連付けすることができる。この相対位置関係のデータは、メモリ、例えば内部ストレージ４０９に保存される。
【００６１】
以上のステップＳ１０１〜Ｓ１０５により、追跡箇所Ｑ及び基準箇所Ｐが指定され、追跡箇所Ｑと再帰反射部材１０６との関連付けがなされる。なお、ステップＳ１０１の処理の後にステップＳ１０３の処理を行う場合について説明したが、処理の順番はこれに限定するものではなく、ステップＳ１０３の処理をステップＳ１０１の処理の前に行ってもよい。また、ステップＳ１０２の処理は、ステップＳ１０１の処理の後であればよく、ステップＳ１０３の処理の後に行ってもよい。また、ステップＳ１０４の処理も、ステップＳ１０３の処理の後に行えばよく、ステップＳ１０３の処理とステップＳ１０４の処理との間に別の処理を行ってもよい。
【００６２】
本実施形態では、ステレオカメラ２００により連続して撮像を行うことで、３次元の監視を行う。移動体１０５がガイド１０４に対して動くため、追跡箇所Ｑが基準箇所Ｐに対して動くことになる。以下、図５（ｂ）に示すフローに沿う３次元計測装置１０１の監視動作について説明する。
【００６３】
本実施形態では、ＣＰＵ４０１は、監視動作として、第１撮像モードによりステレオカメラ２００にステレオ撮像を行わせる（Ｓ２０１：第２撮像工程）。ステップＳ２０１では、ＣＰＵ４０１は、複数の再帰反射部材１０６を、ステレオカメラ２００にステップＳ１０１のタイミング（第１タイミング）とは異なるタイミング（第２タイミング）でステレオ撮像させてステレオ画像（第２ステレオ画像）を取得する。このステップＳ２０１により得られるステレオ画像は、図６（ａ）のステレオ画像５２０と同様の画像である。ステップＳ２０１により得られる撮像画像は、メモリ、例えば内部ストレージ４０９に保存（記録）される。つまり、ステップＳ２０１では、ＣＰＵ４０１は、移動体１０５の移動中などのステップＳ１０１とは別のタイミングで、第１撮像モードにより再帰反射部材１０６をステレオカメラ２００に撮像させる。
【００６４】
ところで、第１撮像モードにより撮像された画像には、再帰反射部材からの反射光しか写っていない。生産装置１００にトラブルを生じたときに、この画像のみで人がトラブルを分析するには、著しく情報が欠落している。
【００６５】
そこで、ＣＰＵ４０１は、ステップＳ２０１の撮像により得られた第２ステレオ画像と連続して、第２撮像モードにより、移動体１０５をステレオカメラ２００にステレオ撮像させてステレオ画像（第４ステレオ画像）を取得する（Ｓ２０２：第４撮像工程）。ステップＳ２０２により得られるステレオ画像は、図６（ｂ）のステレオ画像５２５と同様の画像である。これら画像は、メモリ、例えば内部ストレージ４０９に保存（記録）される。これにより、ユーザはトラブルが発生する前後の画像を確認することができ、トラブルの発生原因等を究明することが容易となる。
【００６６】
図８は、撮像動作を説明するための模式図である。図８中の矢印５００は時間軸の方向を示しており、矢印５００の方向に進むほど、時間が経過したことになる。第１撮像モードの撮像により得られたステレオ画像５２０と、第２撮像モードにより得られたステレオ画像５２５は、上述したように、移動体１０５が同じ停止位置に停止（静止）した状態でステレオカメラ２００による撮像により得られた画像である。ステレオ画像５２０の撮像タイミング（第１タイミング）をＴＡ、ステレオ画像５２５の撮像タイミングをＴＢとする。ステレオ画像５２０及びステレオ画像５２５から、上述したように、再帰反射部材１０６の位置と追跡箇所Ｑの位置との関連付けが行われる。
【００６７】
ステレオ画像５３０（５４０）は、ステレオ画像５２０，５２５の撮像タイミングＴＡ，ＴＢよりも時間が経過したタイミング（第２タイミング）ＴＣで、第１撮像モードで撮像することにより得られる第２ステレオ画像である。ステレオ画像５３５（５４５）は、ステレオ画像５２０，５２５の撮像タイミングＴＡ，ＴＢよりも時間が経過したタイミング（第４タイミング）ＴＤで、第２撮像モードで撮像することにより得られる第４ステレオ画像である。
【００６８】
本実施形態では、移動体１０５の移動中、即ち生産装置１００の稼働中、第１撮像モードと第２撮像モードとを交互に切り替えてステレオ撮像を行う。これにより、ＣＰＵ４０１は、時系列で、ステレオ画像５３０、ステレオ画像５３５、ステレオ画像５４０、ステレオ画像５４５・・・の順に取得することになる。
【００６９】
第１撮像モードの撮像により得られるステレオ画像５３０，５４０は、この撮像タイミングで撮像したときの移動体１０５の追跡箇所の３次元位置を求めるのに用いられる。したがって、図３（ａ）に示すような速いシャッター速度で再帰反射部材１０６が撮像される。一方、第２撮像モードの撮像により得られるステレオ画像５３５，５４５は、ユーザが確認のためのものであり、高精度である必要はなく、画像に対象としている物が写っていれば、それがぶれていてもよい。また、移動体が写る画像が不必要であれば、ステップＳ２０２における第２撮像モードによる撮像処理は省略してもよい。
【００７０】
内部ストレージ４０９には、図８に示すような、複数のフィールド５１０，５１１，５１２からなるフォーマットで撮像画像が記録される。フィールド５１０，５１１，５１２により、１つの撮像画像に対応した１レコードを形成する。
【００７１】
フィールド５１０は、各レコードのＩＤとなる撮像時刻を記録するフィールドである。フィールド５１０には、不図示の計時手段から得られる時刻情報を基にして各撮像画像の撮像時刻が記録される。計時手段の時刻は、必ずしも標準時刻である必要はないが、バッテリ等でバックアップして標準時刻に合わせておいた方が、後々の解析の際に非常に便利である。本実施形態では、不図示のＮＴＰサーバーと接続してこの時刻を定期的にＮＴＰサーバー内の時計に合わせる処置が施されている。フィールド５１１は、フィールド５１２に記録される撮像画像に付属するプロパティ情報を格納するフィールドである。プロパティ情報としては、再帰反射部材の位置と追跡箇所の位置との関連付けの座標情報の他、撮像画像が、第１撮像モードの画像なのか、第２撮像モードの画像なのかを区別するような情報も含まれる。また、記録される撮像画像の記録形式、例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧ、ＪＰＥＧ等の記録形式の他、記録画像の縦横のピクセルサイズ、カラーや白黒の色調情報、画像の諧調度のような情報を記録してもよい。更に、後述する本カメラの光学系の歪等を補正する内部パラメータや、カメラ撮像位置とカメラ座標系の関連を定める外部パラメータ等の校正情報、その他、照明発光長さやシャッター速度等が記録される。フィールド５１２は、撮像画像を格納するフィールドである。
【００７２】
なお、図８に示す記録フォーマットは一例であり、各フィールドの長さ（バイト数）は、必ずしも一定の大きさをとる必要はない。例えば、各撮像画像と無関係で一定の値をとるような情報は、最初のみ記録しておいてもよく、プロパティのサイズは０〜数十バイト程度の範囲で可変して使われる。フィールド５１２には、前述したプロパティに応じた形式で撮像画像が記録される。第２撮像モードの撮像画像で必要なのは、再帰反射部材の座標情報のみで背景情報は必要がないため、２値化された情報を記録しておくと、内部ストレージ４０９に記録する情報を大幅に少なくできる。なお、撮像画像は、カメラ２０１の撮像画像とカメラ２０２の撮像画像とセットで、ステレオ画像として記録される。
【００７３】
本実施形態では、ＣＰＵ４０１は、ステップＳ２０１において第１撮像モードの撮像によって得られたステレオ画像５３０を画像処理して、３つの再帰反射部材１０６の３次元位置を求める（Ｓ２０３：第２処理工程）。
【００７４】
このステップＳ２０３の処理は、上述したステップＳ１０２の処理と同様である。したがって、本実施形態では、ＣＰＵ４０１は、撮像画像からパターンマッチングにより移動体上の特徴点を抽出するような、演算負荷の高い処理は行わなくてよい。ＣＰＵ４０１は、３つの白点領域である３つの画素群それぞれの重心位置を計算するだけで、ステレオ画像５３０における一対の撮像画像に写った再帰反射部材の２次元位置を、高速に求めることができる。そして、ＣＰＵ４０１は、一対の撮像画像に写っている再帰反射部材の２次元位置に基づき、３つの再帰反射部材１０６の３次元位置を求める。このように、移動体１０５と共に位置が変化する再帰反射部材１０６の３次元位置を、高速に求めることが可能となる。
【００７５】
再帰反射部材１０６により照明基板２０５，２０６から出射された光がカメラ２０１，２０２に再帰反射する。第１撮像モードで高速なシャッター速度でカメラ２０１，２０２に照明と同期して撮像させることで、移動体１０５が移動していても、ぶれの小さい撮像画像を取得できる。そのため、再帰反射部材１０６の３次元の位置を計測するために、移動体１０５を停止させる必要はない。
【００７６】
次に、ＣＰＵ４０１は、ステップＳ２０３で求めた３つの再帰反射部材１０６の３次元位置、及びステップＳ１０５で求めた相対位置関係に基づき、ステップＳ２０１で撮像したタイミングにおける追跡箇所Ｑの３次元位置を求める（Ｓ２０４）。本実施形態では、相対位置関係として求めた並進行列を用いて、追跡箇所Ｑの３次元位置を求めることができる。したがって、追跡箇所の３次元位置を求めるのに、演算負荷の高いパターンマッチングの処理を行う必要がない。これにより、高速に追跡箇所Ｑの３次元位置を求めることができる。また、第２撮像モードで撮像した画像を用いて追跡箇所の位置を求めるのではなく、第１撮像モードで撮像した、ぶれの小さい画像を用いて追跡箇所Ｑの位置を求めるので、高精度に追跡箇所Ｑの位置を求めることができる。
【００７７】
次に、ＣＰＵ４０１は、求めた基準箇所Ｐの３次元位置情報と追跡箇所Ｑの３次元位置情報とを用いて、基準箇所Ｐと追跡箇所Ｑとの距離を求める（Ｓ２０５）。ＣＰＵ４０１は、求めた距離が、所定値以下であるかどうか、即ち所定値を超えるかどうかを判断する（Ｓ２０６）。ＣＰＵ４０１は、距離が所定値以下の場合（Ｓ２０６：ＹＥＳ）は、次の撮像に備える。ＣＰＵ４０１は、距離が所定値を超える場合（Ｓ２０６：ＮＯ）、警報を発するために、警報信号を、タブレットＰＣ１０３に無線機４１２を通じて送信する。所定値は、ユーザが任意に設定できる値である。タブレットＰＣ１０３は警報部として機能し、図７に示すウインドウ６１２を赤色に表示を変えて、ユーザに警報を発する（Ｓ２０７）。このように、本実施形態では、リアルタイムに距離を監視することができる。
【００７８】
なお、ステップＳ２０１の処理の後にステップＳ２０２の処理を行う場合について説明したが、処理の順番はこれに限定するものではなく、ステップＳ２０２の処理をステップＳ２０１の処理の前に行ってもよい。つまり、第１撮像モードによる撮像と第２撮像モードによる撮像とが時系列で連続していればよく、撮像の順番は問わない。また、ステップＳ２０３の処理は、ステップＳ２０１の処理の後であればよく、ステップＳ２０２の処理の前に行ってもよい。
【００７９】
ここで、２次元の撮像画像座標系から、３次元のカメラ座標系に変換する方法について詳細に説明する。図９は、撮像画像座標系からカメラ座標系への変換方法を説明するための図である。
【００８０】
まず、２点間の距離を求める方法について説明する。ステレオカメラ２００により撮像可能な位置に被測定体７０２が配置されているものとする。この被測定体７０２上の測定箇所Ｐ（Ｐ点）と測定箇所Ｑ（Ｑ点）との距離を算出する場合について説明する。ステレオカメラ２００の各カメラから被測定体７０２を撮像すると、各カメラから画像７０３，７０４が得られる。画像７０３には、Ｐ点に対応するＰ１点、Ｑ点に対応するＱ１点が写っている。画像７０４には、Ｐ点に対応するＰ２点、Ｑ点に対応するＱ２点が写っている。Ｐ１点、Ｐ２点、Ｑ１点、及びＱ２点の座標値は、２次元の値である。これらの値を、カメラ座標系Ｃの座標値に変換することで、カメラ座標系Ｃにおける３次元のＰ点及びＱ点の座標値が算出され、この２点間の３次元の距離を計算することができる。
【００８１】
第１撮像モードで撮像することにより背景を消しているため、再帰反射部材の撮像画像上の位置、即ちＰ１点、Ｐ２点、Ｑ１点、及びＱ２点の座標値を算出するのは容易である。また、対応付ける位置は、再帰反射部材のみでよく、対応付ける数も少ないため、各２点間のエピポーラ拘束や、撮像画像上の距離等から容易に対応付けすることができる。
【００８２】
撮像画像座標系からカメラ座標系への変換を行うためには、予め既知の手法により校正がなされる必要がある。これらの校正方法には種々の手法が知られており、例えば、一定寸法値を有するチェスボードを種々の角度から撮像し、ステレオカメラに対して、内部パラメータと外部パラメータを算出する方法が知られている。これらは、ＯＰＥＮＣＶ等のオープンソースソフトから、容易に取得することができる。内部パラメータは、カメラ固有のレンズ歪やシェーディングや焦点距離ｆを補正する係数行列であり、外部パラメータは、ステレオカメラの離間距離である基線長ｂを含むカメラ間の関係値を補正する係数行列のことを言う。ＯＰＥＮＣＶ等のオープンソースソフトを使用すれば、前述した校正情報である内部パラメータと外部パラメータを用いて、種々の画像処理を行うことができる。
【００８３】
具体的な算出方法をより詳細に説明する。なお、ここでは、説明の便宜上、撮像画像７０３，７０４に写ったＰ１点及びＰ２点のＹ座標を一定にする画像補正である平行化処理がなされている仮定する。この平行化処理も、先述のＯＰＥＮＣＶ等を用いることで容易に実現できる。
【００８４】
Ｐ１点の画像７０３上の位置座標値を（ｘｌ，ｙｌ）とし、Ｐ２点の画像７０４上の位置座標値を（ｘｒ，ｙｒ）とすると、Ｐ点のカメラ座標系Ｃの座標値（Ｘｐ，Ｙｐ，Ｚｐ）は、以下の式により、定義される。
【００８５】
Ｘｐ＝ｂ（ｘｌ＋ｘｒ）／２ｄ
Ｙｐ＝ｂｙ／ｄ、平行化処理をしたため（ｙ＝ｙｒ＝ｙｌ）
Ｚｐ＝ｂｆ／ｄ
ここで、ｄ＝（ｘｌ−ｘｒ）であり、視差を示す。また、ｂは基線長、ｆは焦点距離である。ｆは、上述した内部パラメータ及び外部パラメータから得られる。
【００８６】
この結果、Ｐ（Ｘｐ，Ｙｐ，Ｚｐ）を算出することができ、同様な計算を当てはめることで、Ｑ（Ｘｑ，Ｙｑ，Ｚｑ）も算出することができる。すなわち、カメラ座標系ＣのＰ点及びＱ点の３次元位置が算出できれば、２点間の距離寸法値Ｌは、式（１）により、算出することができる。
【数１】
2019211322.tif 000003
【００８７】
次に、本実施形態における再帰反射部材１０６と追跡箇所Ｑとの関連付けの一例について、図１０を用いて説明する。図１０は、再帰反射部材と追跡箇所との関連付けを説明するための図である。
【００８８】
図１０において、ステレオカメラ２００のカメラ２０１の撮像により得られた撮像画像を８０１、ステレオカメラ２００のカメラ２０２の撮像により得られた撮像画像を８０２とする。撮像画像８０１，８０２は、２次元の画像である。
【００８９】
図１０において、撮像画像８０１と撮像画像８０２に写った再帰反射部材により特定された３次元カメラ座標系における３つの再帰反射部材を、Ｍ１点、Ｍ２点、Ｍ３点とする。これらＭ１点、Ｍ２点、Ｍ３点は、カメラ座標系Ｃにおける３次元平面８０３上に位置している点である。
【００９０】
撮像画像８０１に写っている３つの再帰反射部材を、Ｍ１１点、Ｍ１２点、Ｍ１３点とし、撮像画像８０２に写っている３つの再帰反射部材を、Ｍ２１点、Ｍ２２点、Ｍ２３点とする。Ｍ１１点、Ｍ１２点、Ｍ１３点、Ｍ２１点、Ｍ２２点、Ｍ２３点の２次元座標値から、２次元座標系を３次元座標系に変換する上述の式を用い、Ｍ１点、Ｍ２点、Ｍ３点の３次元座標値が求まる。
【００９１】
次に、撮像画像８０１と３次元平面８０３との関係について説明する。撮像画像８０１は２次元空間上の２次元平面である。したがって、２次元平面に垂直な方向をＺ軸方向とすれば、Ｚ軸方向の値を所定値に固定することで、３次元空間上の一平面と考えることができる。Ｍ１点、Ｍ２点、Ｍ３点は、変換行列Ｒによって、Ｍ１１点、Ｍ１２点、Ｍ１３点に投影することができる。よって、変換行列Ｒの逆行列Ｒ−１を用いることで、撮像画像８０１の任意の１点を、３次元平面８０３の任意の１点に変換することができる。
【００９２】
撮像画像８０１において点Ｐ１は基準箇所、点Ｑ１は追跡箇所である。撮像画像８０１において、Ｍ１１点、Ｍ１２点、Ｍ１３点の位置とＱ１点の位置とを、Ｍ１１点からの縦横のオフセット値ΔＸ１，ΔＹ１で定義する。これにより関連付けがなされる。なお、この縦横のオフセット値ΔＸ１，ΔＹ１は、Ｍ１１点、Ｍ１２点、Ｍ１３点の重心位置からのオフセット値でも、Ｍ１２点又はＭ１３点の何れかからの位置からのオフセット値でもよい。
【００９３】
Ｐ１点、Ｑ１点の距離を３次元の寸法値に変換するには、カメラ座標系Ｃに変換して、Ｐ点及びＱ点を求める必要がある。そこで、本実施形態では、Ｐ点及びＱ点を、再帰反射部材の位置から算出する。すなわち、まず、第１撮像モードで撮像した２枚の撮像画像から、Ｍ１１点、Ｍ１２点、Ｍ１３点、及びＭ２１点、Ｍ２２点、Ｍ２３点に対応するカメラ座標系のＭ１点、Ｍ２点、Ｍ３点を算出する。３次元空間上の位置姿勢は、Ｍ１点、Ｍ２点、Ｍ３点の３点を定義することで一義的に決まる。そこで、この３点を含む３次元平面８０３の平面方程式を特定する。
【００９４】
後はＰ点、Ｑ点の位置が、カメラ座標系Ｃにおける平面方程式の３次元平面８０３内の点であると想定することで、ＧＵＩで指定したＰ１点の座標値と、前述したオフセット値ΔＸ１，ΔＹ１を利用して計算することで、Ｑ１点の座標値を決定することができる。そして、逆行列Ｒ−１を用いて、Ｐ１点及びＱ１点からＰ点及びＱ点のカメラ座標系Ｃにおける座標値が決まれば、２点間の距離は、式（１）で求めることができる。
【００９５】
再帰反射部材の位置と関連付けていないＰ点の座標は、当初のカメラ座標位置から動かないものと定義すればよく、最初の測定時に決めた平面方程式上の１点を決めるだけでよい。関連付けられている測定点Ｑ１は、毎回、測定の度に、平面方程式上のどの位置になるかと算出することで更新される。
【００９６】
以上の説明では、Ｑ１点とＭ１１点での関連付けで行ったが、Ｑ点の関連付けは、Ｑ１点で指定した後、変換したＱ点と３次元空間上のＭ１点との関連付けで行ってもよく、この方が、安定的な座標値を得られるので、精度は高くなる。
【００９７】
なお、計測対象となる移動体１０５は、動いていることが考えられる。そのため、Ｑ点の位置を特定するのに、直前のＭ１点、Ｍ２点、Ｍ３点の値を使って、逐次、Ｑ点の位置を求めると、第２撮像モードにおける画像と、第１撮像モードにおける画像との撮像時間にずれが生じる。このずれにより、Ｍ１点、Ｍ２点、Ｍ３点がずれて、第２撮像モードにおけるＰ，Ｑ点の正確な位置を算出されないこともある。このような場合は、第２撮像モードで撮像した画像に対して、その前後の第１撮像モードで計測した再帰反射部材の位置の平均をとり、その時間ズレによる位置ずれを補償してもよい。
【００９８】
複数の計測箇所を定義する場合、例えば、Ｑ２点，Ｑ３点のような計測点を設ける場合も、前述した再帰反射部材との位置関係の関連付けを、別途行って定義すればよい。また、本実施形態では、再帰反射部材は３つに限定して、すべての測定点が単一平面上に位置する場合を示したが、これに限定する必要はない。再帰反射部材の数を増やし、２つ以上の異なる平面の各々に３つ以上の再帰反射部材を配置して、各平面上にある任意の追跡箇所を、再帰反射部材にＧＵＩ等で関連付けし、それぞれの平面上の任意の位置の測定箇所間の距離を計測するようにしてもよい。
【００９９】
本発明は、以上説明した実施形態に限定されるものではなく、本発明の技術的思想内で多くの変形が可能である。また、実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されない。また、実施形態で取り上げた数値は、参考数値であって、本発明を限定するものではない。
【符号の説明】
【０１００】
１０１…３次元計測装置、１０５…移動体、１０５１…平坦面、１０６…再帰反射部材、２００…ステレオカメラ（撮像部）、４０１…ＣＰＵ（処理部）、５２０…ステレオ画像（第１ステレオ画像）、５２５…ステレオ画像（第３ステレオ画像）、５３０…ステレオ画像（第２ステレオ画像）、５３５…ステレオ画像（第４ステレオ画像）、５４０…ステレオ画像（第２ステレオ画像）、５４５…ステレオ画像（第４ステレオ画像）、Ｐ…基準箇所、Ｑ…追跡箇所
【図１】
2019211322.tif 000004
【図２】
2019211322.tif 000005
【図３】
2019211322.tif 000006
【図４】
2019211322.tif 000007
【図５】
2019211322.tif 000008
【図６】
2019211322.tif 000009
【図７】
2019211322.tif 000010
【図８】
2019211322.tif 000011
【図９】
2019211322.tif 000012
【図１０】
2019211322.tif 000013