(57)【特許請求の範囲】
【請求項１】
周期模様が記されたマーカを撮像する撮像部と、
前記撮像部によって撮像されたマーカ画像に基づいて前記マーカの変位を計測する変位計測部と、
を有する変位計測装置であって、
前記変位計測部は、
前記マーカ画像に含まれる周期模様の形成方向を基準方向とした際に、前記基準方向に対して基準の傾きだけ傾いた方向に形成され、かつ予め周期が定められる基準の周期模様を含んだ内部マーカ画像を作成する内部マーカ作成部と、
第１の時点で前記撮像部によって撮像された第１のマーカ画像と、第２の時点で前記撮像部によって撮像された第２のマーカ画像とに対して、前記内部マーカ作成部で作成された同一の前記内部マーカ画像を重ね合わせることで第１のモアレ画像と第２のモアレ画像とをそれぞれ作成するモアレ画像作成部と、
前記基準方向に対して前記第１のモアレ画像に含まれる第１のモアレ縞が成す第１の傾きと、前記基準方向に対して前記第２のモアレ画像に含まれる第２のモアレ縞が成す第２の傾きとをそれぞれ算出するモアレ縞傾き算出部と、
前記第１の傾きに基づく方向で前記第１のモアレ縞の周期を算出し、前記第２の傾きに基づく方向で前記第２のモアレ縞の周期を算出するモアレ縞周期算出部と、
前記第１のモアレ縞の周期と、前記第２のモアレ縞の周期との周期差に基づいて、前記第１の時点と前記第２の時点との間で前記撮像部の光軸方向に生じた前記マーカの変位量を算出する奥行方向変位量算出部と、
を有し、
前記モアレ縞傾き算出部は、前記第１のモアレ画像および前記第２のモアレ画像のそれぞれに対して、各画素の輝度を２値化することで２値化画像を作成し、前記２値化画像に含まれるひし形模様の頂点を抽出し、抽出した頂点を結ぶ近似的な直線をハフ変換を用いて検出することで前記第１の傾きと前記第２の傾きとを算出し、
前記モアレ縞周期算出部は、前記第１の傾きに基づく方向で前記第１のモアレ縞を三角関数で近似することで前記第１のモアレ縞の周期を算出し、前記第２の傾きに基づく方向で前記第２のモアレ縞を三角関数で近似することで前記第２のモアレ縞の周期を算出する、
変位計測装置。
【請求項２】
請求項１記載の変位計測装置において、
前記奥行方向変位量算出部は、
前記第１のモアレ縞の周期と、前記基準の周期模様の周期と、前記基準の傾きとを用いて前記第１のマーカ画像に含まれる周期模様の周期である第１のマーカ画像周期を算出し、前記第１のマーカ画像周期と、前記マーカに記された周期模様の周期と、前記撮像部における既知の光学仕様とに基づいて前記撮像部と前記マーカとの間の第１の撮影距離を算出し、
前記第２のモアレ縞の周期と、前記基準の周期模様の周期と、前記基準の傾きとを用いて前記第２のマーカ画像に含まれる周期模様の周期である第２のマーカ画像周期を算出し、前記第２のマーカ画像周期と、前記マーカに記された周期模様の周期と、前記撮像部における既知の光学仕様とに基づいて前記撮像部と前記マーカとの間の第２の撮影距離を算出する、
変位計測装置。
【請求項３】
請求項１記載の変位計測装置において、さらに、
前記第１のモアレ縞の位相と、前記第２のモアレ縞の位相とをそれぞれ算出するモアレ縞位相算出部と、
前記第１のモアレ縞の位相と、前記第２のモアレ縞の位相との位相差に基づいて、前記第１の時点と前記第２の時点との間で前記マーカの面方向に生じた変位量を算出する面方向変位量算出部と、
を有する、
変位計測装置。
【請求項４】
周期模様が記されたマーカを撮像する撮像部と、
前記撮像部によって撮像されたマーカ画像に基づいて前記マーカの変位を計測する変位計測部と、
を用いて前記マーカの変位を計測する変位計測方法であって、
前記変位計測部が、前記マーカ画像に含まれる周期模様の形成方向を基準方向とした際に、前記基準方向に対して基準の傾きだけ傾いた方向に形成され、かつ予め周期が定められる基準の周期模様を含んだ内部マーカ画像を作成する第１の工程と、
第１の時点で前記撮像部によって前記マーカを撮像することで第１のマーカ画像を取得する第２の工程と、
前記変位計測部が、前記第１のマーカ画像に対して前記第１の工程で作成した前記内部マーカ画像を重ね合わせることで第１のモアレ画像を作成する第３の工程と、
第２の時点で前記撮像部によって前記マーカを撮像することで第２のマーカ画像を取得する第４の工程と、
前記変位計測部が、前記第２のマーカ画像に対して前記第１の工程で作成した前記内部マーカ画像を重ね合わせることで第２のモアレ画像を作成する第５の工程と、
前記変位計測部が、前記基準方向に対して前記第１のモアレ画像に含まれる第１のモアレ縞が成す第１の傾きと、前記基準方向に対して前記第２のモアレ画像に含まれる第２のモアレ縞が成す第２の傾きとをそれぞれ算出する第６の工程と、
前記変位計測部が、前記第１の傾きに基づく方向で前記第１のモアレ縞の周期を算出し、前記第２の傾きに基づく方向で前記第２のモアレ縞の周期を算出する第７の工程と、
前記変位計測部が、前記第１のモアレ縞の周期と、前記第２のモアレ縞の周期との周期差に基づいて、前記第１の時点と前記第２の時点との間で前記撮像部の光軸方向に生じた前記マーカの変位量を算出する第８の工程と、
を有し、
前記変位計測部は、前記第６の工程において、前記第１のモアレ画像および前記第２のモアレ画像のそれぞれに対して、各画素の輝度を２値化することで２値化画像を作成し、前記２値化画像に含まれるひし形模様の頂点を抽出し、抽出した頂点を結ぶ近似的な直線をハフ変換を用いて検出することで前記第１の傾きと前記第２の傾きとを算出し、
前記変位計測部は、前記第７の工程において、前記第１の傾きに基づく方向で前記第１のモアレ縞を三角関数で近似することで前記第１のモアレ縞の周期を算出し、前記第２の傾きに基づく方向で前記第２のモアレ縞を三角関数で近似することで前記第２のモアレ縞の周期を算出する、
変位計測方法。
【請求項５】
請求項４記載の変位計測方法において、さらに、
前記変位計測部が、前記第１のモアレ縞の位相と、前記第２のモアレ縞の位相とをそれぞれ算出する第９の工程と、
前記変位計測部が、前記第１のモアレ縞の位相と、前記第２のモアレ縞の位相との位相差に基づいて、前記第１の時点と前記第２の時点との間で前記マーカの面方向に生じた変位量を算出する第１０の工程と、
を有する、
変位計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、変位計測装置および変位計測方法に関し、例えば、モアレ法を利用して変位を計測する技術に関する。
【背景技術】
【０００２】
特許文献１には、サンプリングモアレ法を用いて対象表面における計測点の変位を計測する際に、対象面の傾き又は計測方向による誤差を低減可能にする変位取得装置が示される。当該変位取得装置は、予め、カメラと対象表面との相対位置をカメラの光軸と平行なｚ方向に変化させた状態と、ｚ方向に直交するｘ方向に変化させた状態とでそれぞれ計測を行うことで、誤差を補正するための補正係数を求めておくものである。
【０００３】
特許文献２には、単一カメラから得た画像に基づき、物体の面外変位（ｚ（奥行き）方向への変位）を測定する方法が示される。当該方法では、物体に装着された周期模様をカメラで撮像した際に、物体とカメラとの距離に応じて画像上の周期模様のピッチが変化する性質を利用し、この性質にレンズの倍率の原理を組み合わせることで面外変位を算出する。この際に、画像上の周期模様のピッチは、サンプリングモアレ法により求めたモアレ縞の位相に基づいて算出される。
【０００４】
非特許文献１には、基準格子と試料格子とが所定の勾配で交わることで作成される斜交モアレにおいて、基準格子のピッチと、試料格子のピッチおよび勾配と、モアレ縞のピッチとの関係を表す理論式（式（３１））が示される。また、当該斜交モアレにおいて、基準格子のピッチと、試料格子のピッチおよび勾配と、モアレ縞の勾配との関係を表す理論式（式（３２））が示される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１９−１１９８４号公報
【特許文献２】国際公開第２０１７／０２９９０５号
【非特許文献】
【０００６】
【非特許文献１】篠原、“モアレ縞の幾何学”、繊維機械学会誌、Ｖｏｌ．３７、Ｎｏ．６、１９８４年、ｐ．２５３−２６２
【発明の概要】
【発明が解決しようとする課題】
【０００７】
物体の変位を計測する方式として、互いに周期の異なる周期模様を重ねることで発生するモアレ縞を利用する方式が知られている。当該方式は、具体的には、周期模様を記したマーカを物体に装着し、当該マーカをカメラで撮像すると共に、そのマーカ画像に対して、サンプリングモアレ法等に基づくコンピュータ解析を行うものである。このようなモアレ縞を利用した変位計測方式は、通常、物体の面内変位を計測する際に用いられる。一方、物体の奥行き方向の変位を計測する場合には、レーザ光や光波等を利用した距離計が多く用いられている。
【０００８】
しかし、この場合、物体の面内変位を計測する際と、奥行き方向の変位を計測する際とで個別のハードウェアを用いた個別の解析処理が必要となる。その結果、変位計測に要するハード面または時間面でのコストが増大する恐れがある。一方、カメラで撮像されたマーカ画像を用いて奥行き方向の変位を計測する方式として、特許文献２に示されるような方式が知られている。ただし、当該方式では、サンプリングモアレ法に基づく複雑な画像解析が必要とされるため、処理負荷が増大や、記憶容量の増大を招く恐れがある。
【０００９】
本発明は、このようなことに鑑みてなされたものであり、その目的の一つは、小さい処理負荷または記憶容量でマーカ（ひいては物体）の奥行き方向の変位を計測可能な変位計測装置および変位計測方法を提供することにある。
【課題を解決するための手段】
【００１０】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
【００１１】
本発明の代表的な実施の形態による変位計測装置は、周期模様が記されたマーカを撮像する撮像部と、撮像部によって撮像されたマーカ画像に基づいてマーカの変位を計測する変位計測部と、を有する。変位計測部は、内部マーカ作成部と、モアレ画像作成部と、モアレ縞傾き算出部と、を有する。内部マーカ作成部は、マーカ画像に含まれる周期模様の形成方向を基準方向とした際に、基準方向に対して基準の傾きだけ傾いた方向に形成され、かつ予め周期が定められる基準の周期模様を含んだ内部マーカ画像を作成する。モアレ画像作成部は、第１の時点で撮像部によって撮像された第１のマーカ画像と、第２の時点で撮像部によって撮像された第２のマーカ画像とに対して、内部マーカ作成部で作成された同一の内部マーカ画像を重ね合わせることで第１のモアレ画像と第２のモアレ画像とをそれぞれ作成する。モアレ縞傾き算出部は、基準方向に対して第１のモアレ画像に含まれる第１のモアレ縞が成す第１の傾きと、基準方向に対して第２のモアレ画像に含まれる第２のモアレ縞が成す第２の傾きとをそれぞれ算出する。そして、変位計測部は、第１の傾きと、第２の傾きとを用いて所定の演算処理を行うことで、第１の時点と第２の時点との間で撮像部の光軸方向に生じたマーカの変位量を算出する。
【発明の効果】
【００１２】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。本発明の代表的な実施の形態によれば、小さい処理負荷または記憶容量でマーカ（ひいては物体）の奥行き方向の変位が計測可能になる。
【図面の簡単な説明】
【００１３】
【図１】（ａ）は、本発明の一実施の形態による変位計測システムの構成例を示す概略図であり、（ｂ）および（ｃ）は、（ａ）におけるマーカのそれぞれ異なる構成例を示す概略図である。
【図２】図１における変位計測装置の概略構成例を示すブロック図である。
【図３】図２における変位計測部の主要部の詳細な構成例を示すブロック図である。
【図４】図３における内部マーカ作成部の処理内容の一例を説明する模式図である。
【図５】図３におけるモアレ画像作成部の処理内容の一例を説明する模式図である。
【図６】図３における検出部の詳細な構成例を示すブロック図である。
【図７】図６におけるモアレ縞傾き算出部の詳細な処理内容の一例を説明する模式図である。
【図８】図６におけるモアレ縞周期算出部の詳細な処理内容の一例を説明する模式図である。
【図９】図２の撮像部が備える光学仕様の一部の例を示す図である。
【図１０】本発明の実施の形態１による変位計測方法における処理内容の一例を示すフロー図である。
【図１１】図３および図６の変位計測部の動作検証結果の一例を示す図である。
【図１２】本発明の実施の形態２による変位計測装置において、図３における検出部の詳細な構成例を示すブロック図である。
【図１３】本発明の実施の形態３による変位計測装置において、図３における検出部の詳細な構成例を示すブロック図である。
【図１４】本発明の実施の形態３による変位計測方法における処理内容の一例を示すフロー図である。
【発明を実施するための形態】
【００１４】
以下、本発明の各実施の形態について、図面を参照しつつ説明する。なお、開示はあくまでも一例にすぎず、当業者において、発明の主旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は説明をより明確にするため、実際の態様に比べ、各部の幅、厚さ、形状等について模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。
【００１５】
また、本明細書と各図において、既出の図に関して前述したものと同様の要素には、同一の符号を付して、詳細な説明を適宜省略することがある。
【００１６】
（実施の形態１）
《変位計測システムの概略》
図１（ａ）は、本発明の実施の形態１による変位計測システムの構成例を示す概略図であり、図１（ｂ）および図１（ｃ）は、図１（ａ）におけるマーカのそれぞれ異なる構成例を示す概略図である。図１（ａ）に示す変位計測システムは、物体３に装着されたマーカ１と、カメラ等の撮像部を含む変位計測装置２とを有する。
【００１７】
物体３は、例えば、立坑工事等の建設現場において地盤上に設置された建造物や、または、地盤そのもの等である。変位計測装置２は、このような物体３に装着されたマーカ１を撮像し、撮像されたマーカ画像に基づいてマーカ１の変位（ひいては、地盤の変位）を計測する。これにより、地盤の変位状況を監視することができ、例えば、土砂崩れ等の事故発生の兆候を早期に検知できる。その結果、事故を未然に防止でき、作業者の安全を確保することが可能になる。
【００１８】
明細書では、図１（ａ）に示されるように、カメラ（変位計測装置２）の光軸方向をＺ軸とし、Ｚ軸に直交する面の面方向において、一方向（水平方向）をＸ軸とし、当該一方向に直交する方向（垂直方向）をＹ軸とする。カメラ（変位計測装置２）は、マーカ１の面がＸＹ面となるように設置される。マーカ１の面（ＸＹ面）には、図１（ｂ）または図１（ｃ）に示されるように、周期模様が記されている。
【００１９】
図１（ｂ）に示すマーカ１ａには、Ｙ軸方向へ延伸し、Ｘ軸方向に沿ってピッチＷで等間隔に並んだストライプ模様が記される。ただし、このようにＸ軸方向に並んだストライプ模様の代わりに、Ｙ軸方向に並んだストライプ模様を用いてもよい。あるいは、Ｘ軸方向に並んだストライプ模様が記されたマーカと、Ｙ軸方向に並んだストライプ模様が記されたマーカとを一組のマーカとして用いてもよい。これらは、変位の計測方向によって使い分けられる。
【００２０】
図１（ｃ）に示すマーカ１ｂには、アレイ状にピッチＷで等間隔に設置される黒レベルのラインの交点箇所のみを黒レベルに定めたようなチェッカ模様が記される。この場合、例えば、画像処理を用いて、Ｙ軸方向に沿った平均化処理を行うことで、Ｘ軸方向に並んだストライプ模様（すなわち、図１（ｂ）のような模様）を生成でき、Ｘ軸方向に沿った平均化処理を行うことで、Ｙ軸方向に並んだストライプ模様を生成できる。その結果、画像処理上では、マーカ１ｂをＸ軸方向に並んだストライプ模様が記されたマーカとみなすことも、Ｙ軸方向に並んだストライプ模様が記されたマーカとみなすことも可能である。
【００２１】
このようなマーカ１を用いた変位計測方式は、一般的に、マーカ１のＸ軸方向やＹ軸方向の変位を計測する際に用いられる。ただし、マーカ１の変位（ひいては、地盤の変位）は、Ｘ軸方向やＹ軸方向に限らず、Ｚ軸方向に生じる場合がある。そこで、以下に示す実施の形態１の方式を用いることが有益となる。
【００２２】
《変位計測装置の概略》
図２は、図１における変位計測装置の概略構成例を示すブロック図である。図２に示す変位計測装置２は、マーカ１を撮像する撮像部１０と、撮像部１０によって撮像されたマーカ画像に基づいてマーカ１（ひいては物体３）の変位を計測する変位計測部２０とを備える。撮像部１０は、代表的には、デジタルカメラ等である。変位計測部２０は、例えば、ＰＣ（Personal Computer）等の情報処理装置や、または、専用の画像処理装置等である。ただし、撮像部１０および変位計測部２０は、例えば、カメラ付きの情報処理装置等の形態で同一の装置内に実装されてもよい。
【００２３】
撮像部１０は、レンズ１１と、イメージセンサ１２と、演算部１３と、データ格納部１４と、通信インタフェース１５とを備える。この内、演算部１３、データ格納部１４および通信インタフェース１５は、互いにバスで接続される。演算部１３、データ格納部１４および通信インタフェース１５は、例えば、１個のマイクロコントローラに実装されてもよい。
【００２４】
レンズ１１は、マーカ１からの光をイメージセンサ１２に集光する。イメージセンサ１２は、代表的には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサや、ＣＣＤ（Charge Coupled Device）イメージセンサ等であり、アレイ状に配置された複数の画素を含む。イメージセンサ１２の各画素は、レンズ１１で集光された光の光量に応じた電気信号を生成する。イメージセンサ１２は、各画素で生成された電気信号を演算部１３へ送信する。
【００２５】
データ格納部１４は、例えばフラッシュメモリ等の不揮発性メモリであり、マイクロコントローラ内の内蔵メモリや、または、メモリカード等の外付けメモリ等に該当する。演算部１３は、イメージセンサ１２からの電気信号を受けてマーカ画像を生成し、生成したマーカ画像をデータ格納部１４に格納する。この際に、演算部１３は、マーカ画像を、撮像時刻の情報を付加した上でデータ格納部１４に格納してもよい。
【００２６】
演算部１３は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、またはＤＳＰ（Digital Signal Processor）等のプロセッサ１３ａと、ＲＡＭ（Random Access Memory）１３ｂとを備える。プロセッサ１３ａは、例えば、データ格納部１４からＲＡＭ１３ｂへ展開された所定のプログラムを実行することで、イメージセンサ１２からの電気信号に応じたマーカ画像を作成する。
【００２７】
通信インタフェース１５は、変位計測部２０（その中の通信インタフェース２１）との間でデータの送受信を行う。その一つとして、通信インタフェース１５は、データ格納部１４に格納されたマーカ画像を変位計測部２０へ送信する。通信インタフェース１５と通信インタフェース２１との間は、有線または無線で接続される。この際には、例えば、インターネット等の外部ネットワークを介して接続される形態を用いてもよい。
【００２８】
外部ネットワークを用いる場合には、例えば、無線通信用の通信インタフェース１５を備えた撮像部１０を建設現場に固定的に設置し、変位計測部２０を建設会社の社内サーバ装置等に実装するような形態が有益となる。この場合、撮像部１０は、撮像したマーカ画像を、逐次、外部ネットワークを介して社内サーバ装置に送信し、社内サーバ装置は、当該マーカ画像に基づいて変位計測を行う。
【００２９】
変位計測部２０は、演算部２２と、データ格納部２３と、通信インタフェース２１とを備える。演算部２２、データ格納部２３および通信インタフェース２１は、互いにバスで接続される。例えば、変位計測部２０を専用の画像処理装置等で構成する場合、演算部２２、データ格納部２３および通信インタフェース２１は、１個のマイクロコントローラに実装されてもよい。データ格納部２３は、例えばフラッシュメモリやハードディスクドライブ等の不揮発性メモリである。通信インタフェース２１は、例えば、通信インタフェース１５からのマーカ画像を受信し、それをデータ格納部２３に格納する。
【００３０】
演算部２２は、ＣＰＵ、ＧＰＵ、またはＤＳＰ等のプロセッサ２２ａと、ＲＡＭ２２ｂとを備える。演算部２２は、例えば、データ格納部２３に格納されたマーカ画像に対して所定の画像処理を実行することで物体３の変位を計測する。この際に、プロセッサ２２ａは、例えば、データ格納部２３からＲＡＭ２２ｂへ展開された変位計測プログラムを実行することで変位計測を行う。なお、演算部２２は、プロセッサ２２ａに限らず、一部または全てがＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェアで構成されてもよい。すなわち、演算部２２は、ソフトウェア方式、ハードウェア方式、あるいはその組み合わせによって適宜構成されればよい。これは、撮像部１０内に演算部１３に関しても同様である。
【００３１】
《変位計測部の詳細》
図３は、図２における変位計測部の主要部の詳細な構成例を示すブロック図である。図４は、図３における内部マーカ作成部の処理内容の一例を説明する模式図である。図５は、図３におけるモアレ画像作成部の処理内容の一例を説明する模式図である。図３の変位計測部２０において、プロセッサ２２ａは、変位計測プログラムを実行することで実装される内部マーカ作成部３１、モアレ画像作成部３２および検出部３３を備える。また、ここでは、マーカ１として、図１（ｂ）に示したようなストライプ模様が記されたマーカ１ａを用いる場合を例とする。
【００３２】
内部マーカ作成部３１は、図４に示されるように、基準方向（Ｘ軸方向、Ｙ軸方向）に対して基準の傾きγだけ傾いた方向（Ｘ’軸方向、Ｙ’軸方向）に形成され、かつ予め周期ｐが定められる基準の周期模様３０を含んだ内部マーカ画像３５を作成する。ここで、基準方向（Ｘ軸方向、Ｙ軸方向）とは、撮像部１０によって撮像されるマーカ画像に含まれる周期模様の形成方向であり、図１（ｂ）におけるマーカ１ａに記された周期模様の形成方向でもある。基準の傾きγは、非０［°］の値であればよく、プラス方向の値であっても、マイナス方向の値であってもよい。内部マーカ作成部３１は、作成した内部マーカ画像３５をデータ格納部２３に格納する。
【００３３】
具体的には、内部マーカ作成部３１は、例えば、内部マーカ画像３５をコンピュータグラフィックス（ＣＧ）画像によって作成可能である。すなわち、図１（ａ）に示したような変位計測システムを構築直後の段階（変位が生じていない段階）で、図２の撮像部１０によって撮像されるマーカ画像は、予めシミュレーション等を行うことで算出できる。内部マーカ作成部３１は、この算出されたマーカ画像に基づいて基準方向（Ｘ軸方向、Ｙ軸方向）を定めた上で内部マーカ画像３５を作成すればよい。
【００３４】
また、内部マーカ作成部３１は、変位計測システムを構築直後の段階（変位が生じていない段階）で、図２の撮像部１０に実際に撮像を行わせ、そのマーカ画像に対して基準の傾きγの回転処理を行うことで内部マーカ画像３５を作成してもよい。この際に、当該内部マーカ画像３５に含まれる周期模様の周期ｐは、変位が生じていないことを前提とすると、予めシミュレーション等を行うことで算出できる。
【００３５】
図３のデータ格納部２３には、時点［１］で撮像部１０によって撮像された計測用マーカ画像３６ａと、時点［２］で撮像部１０によって撮像された計測用マーカ画像３６ｂとが格納されている。モアレ画像作成部３２は、計測用マーカ画像３６ａと計測用マーカ画像３６ｂのそれぞれ（計測用マーカ画像３６と総称する）に対して、図５に示されるように、内部マーカ作成部３１で作成した同一の内部マーカ画像３５を重ね合わせることでモアレ画像３７（すなわち、モアレ画像［１］とモアレ画像［２］）を作成する。
【００３６】
図５に示されるように、モアレ画像３７には、周期（波長）λで変化するモアレ縞が含まれる。モアレ縞の延伸方向は、基準方向（ここでは、Ｘ軸方向）に対して傾きθを成す。明細書では、モアレ縞の延伸方向をＸ＊軸方向と呼び、モアレ縞の周期方向をＹ＊軸方向と呼ぶ。
【００３７】
図３の検出部３３は、モアレ画像［１］とモアレ画像［２］とを用いて、時点［１］と時点［２］との間で生じたマーカ１（ひいては物体３）の変位量を検出する。その一つとして、検出部３３は、例えば、モアレ画像［１］に含まれるモアレ縞の周期λと、モアレ画像［２］に含まれるモアレ縞の周期λとの周期差に基づいて、時点［１］と時点［２］との間で撮像部１０の光軸方向（奥行き方向）に生じたマーカ１の変位量を算出する。
【００３８】
《検出部の詳細》
図６は、図３における検出部の詳細な構成例を示すブロック図である。図７は、図６におけるモアレ縞傾き算出部の詳細な処理内容の一例を説明する模式図である。図８は、図６におけるモアレ縞周期算出部の詳細な処理内容の一例を説明する模式図である。図６に示す検出部３３は、モアレ縞傾き算出部４０と、モアレ縞周期算出部４１と、奥行方向変位量算出部４２とを備える。
【００３９】
モアレ縞傾き算出部４０は、基準方向（例えば、Ｘ軸方向）に対してモアレ画像［１］に含まれるモアレ縞［１］が成す傾きθ１と、基準方向（Ｘ軸方向）に対してモアレ画像［２］に含まれるモアレ縞［２］が成す傾きθ２とをそれぞれ算出する。具体的には、図７に示されるように、モアレ縞傾き算出部４０は、まず、各モアレ画像３７に対して、各画素の輝度を“０”または“１”で２値化することで２値化画像５０を作成する（ステップＳ１０）。続いて、モアレ縞傾き算出部４０は、２値化画像５０に含まれる各ひし形模様５１の頂点５２を抽出する（ステップＳ１１）。
【００４０】
次いで、モアレ縞傾き算出部４０は、抽出した各頂点５２を結ぶ近似的な直線５３を検出する（ステップＳ１２）。この際に、モアレ縞傾き算出部４０は、例えば、ハフ変換を用いて直線５３（すなわちモアレ縞）を検出することができる。その後、モアレ縞傾き算出部４０は、予め定まっている基準方向（Ｘ軸方向）に対して直線５３（モアレ縞の延伸方向）が成す傾きθを算出する（ステップＳ１３）。なお、詳細には、ステップＳ１２によって、２値化画像５０内には、複数の直線５３が検出され得る。この複数の直線５３は、互いに傾きθが微小に異なり得る。この場合、モアレ縞傾き算出部４０は、例えば、互いに異なる傾きθの平均値によって最終的な傾きθを算出する。
【００４１】
図６のモアレ縞周期算出部４１は、モアレ縞傾き算出部４０からの傾きθ１，θ２を受け、傾きθ１に基づく方向（Ｙ＊軸方向）でモアレ縞［１］の周期λ１を算出し、傾きθ２に基づく方向（Ｙ＊軸方向）でモアレ縞［２］の周期λ２を算出する。具体的には、図８に示されるように、モアレ縞周期算出部４１は、各モアレ画像３７における基準方向（Ｘ軸方向、Ｙ軸方向）での各画素の輝度Ｉ（ｘ，ｙ）を、基準方向に対して傾きθを成す方向（Ｘ＊軸方向、Ｙ＊軸方向）での各画素の輝度Ｉ＊（ｘ＊，ｙ＊）に変換する。これにより、モアレ縞の輝度分布は、Ｙ＊軸座標（モアレ縞の周期方向）に沿って変化する三角関数で表すことができる。
【００４２】
そこで、モアレ縞周期算出部４１は、Ｙ＊軸方向に並んだ各画素の輝度Ｉ＊を、式（１）に示される三角関数（この例ではｃｏｓ関数）で近似する。この近似には、例えば、最小二乗法等が用いられる。また、三角関数は、ｓｉｎ関数であってもよい。そして、モアレ縞周期算出部４１は、式（１）の近似式に基づいて、モアレ縞の周期λ［ピクセル］を算出する。なお、式（１）において、“ｙ＊”は、Ｙ＊軸方向に並んだ画素のＹ＊軸座標値であり、傾きθを介してＸ軸方向に並んだ画素のＸ軸座標値“ｘ”と、Ｙ軸方向に並んだ画素のＹ軸座標値“ｙ”とに対応付けられる。また、“Ａ”は振幅であり、“α”は初期位相であり、“Ｂ”は背景輝度である。
【００４３】
【数１】
0006932355.tif 000002
【００４４】
図６の奥行方向変位量算出部４２は、モアレ縞［１］の周期λ１と、モアレ縞［２］の周期λ２との周期差に基づいて、時点［１］と時点［２］との間で撮像部１０の光軸方向（奥行き方向）に生じたマーカ１の変位量を算出する。具体的には、奥行方向変位量算出部４２は、まず、モアレ縞の周期λと、図４に示した基準の周期模様３０の周期ｐと、図５に示される基準の傾きβとを用いて、式（２）に基づいて、図５の計測用マーカ画像３６に含まれる周期模様の周期であるマーカ画像周期ｗを算出する。
【００４５】
【数２】
0006932355.tif 000003
【００４６】
式（２）は、前述した非特許文献１に示される理論式（式（３１））である。また、式（２）で用いられる基準の傾きβは、図５に示されるように、Ｘ軸方向に対してＹ’軸方向（周期模様のストライプラインの延伸方向）が成す傾きである。奥行方向変位量算出部４２は、モアレ縞［１］の周期λ１とモアレ縞［２］の周期λ２とに対して、それぞれ、式（２）を用いた演算を行うことでマーカ画像周期ｗ１とマーカ画像周期ｗ２とを算出する。
【００４７】
続いて、奥行方向変位量算出部４２は、式（２）で算出されたマーカ画像周期ｗ［ピクセル］と、図１（ｂ）のマーカ１ａに記された周期模様の周期Ｗ［ｍｍ］と、撮像部１０（カメラ）における既知の光学仕様とに基づいて、撮像部１０とマーカ１ａとの間の撮影距離Ｄを算出する。図９は、図２の撮像部が備える光学仕様の一部の例を示す図である。図９に示されるように、マーカ面における周期Ｗ［ｍｍ］は、レンズ１１を介してセンサ面におけるマーカ画像周期ｗ［ピクセル］に対応する。レンズ１１とセンサ面との距離は、ほぼ焦点距離ｆに等しい。このような関係を用いて、奥行方向変位量算出部４２は、レンズ１１とマーカ面との間の未知の撮影距離Ｄ［ｍｍ］を算出する。
【００４８】
その算出方法の一例として、奥行方向変位量算出部４２は、まず、式（３）に基づいて撮像面解像度ＤＲ［ｍｍ／ピクセル］を算出する。さらに、奥行方向変位量算出部４２は、算出された撮像面解像度ＤＲ［ｍｍ／ピクセル］と、撮像部１０の光学仕様に基づく既知の画素数ＰＮ［ピクセル］とを用いて、式（４）に基づいて撮像範囲ＩＲ［ｍｍ］を算出する。
ＤＲ＝Ｗ／ｗ    …（３）
ＩＲ＝ＤＲ×ＰＮ    …（４）
【００４９】
一方、撮像部１０の光学仕様に基づき、焦点距離ｆとセンササイズＳＳとを用いて式（５）の画角φ［°］が予め判明している。奥行方向変位量算出部４２は、この画角φ［°］と、式（４）の撮像範囲ＩＲ［ｍｍ］とを用いて、式（６）に基づいて撮影距離Ｄ［ｍｍ］を算出する。そして、奥行方向変位量算出部４２は、ある時点［１］でのモアレ画像［１］に基づいて算出された撮影距離（Ｄ［１］）と、別の時点［２］でのモアレ画像［２］に基づいて算出された撮影距離（Ｄ［２］）との差分を算出することで、時点［１］と時点［２］との間でＺ軸方向（奥行き方向）に生じたマーカ１ａの変位量を検出する。
φ＝２×ｔａｎ−１｛ＳＳ／（２×ｆ）｝    …（５）
Ｄ＝ＩＲ／｛２×ｔａｎ（φ／２）｝    …（６）
【００５０】
《変位計測方法》
図１０は、本発明の実施の形態１による変位計測方法における処理内容の一例を示すフロー図である。まず、図３の内部マーカ作成部３１は、図４に示したような内部マーカ画像３５を作成する（ステップＳ１０１）。続いて、図３の変位計測部２０は、撮像部１０を用いてマーカ１を撮像することで計測用マーカ画像［１］を取得する（ステップＳ１０２）。次いで、図３のモアレ画像作成部３２は、図５に示したように、計測用マーカ画像［１］に内部マーカ画像３５を重ね合わせることでモアレ画像［１］を作成する（ステップＳ１０３）。
【００５１】
そして、図３（図６）の検出部３３は、モアレ画像［１］を対象に、図７および図８で述べた各種処理を介してモアレ縞の周期［１］を検出する（ステップＳ１０４）。ここでは、例えば、図１（ａ）の変位計測システムを構築直後の段階（変位が生じていない初期時点）でステップＳ１０２〜Ｓ１０４の処理が行われるものとする。この場合、ステップＳ１０４で検出されたモアレ縞の周期［１］は、変位が生じていない場合の基準用の周期となる。
【００５２】
その後、変位計測時点となるまで待機状態となる（ステップＳ１０５）。変位計測時点は、例えば、ユーザによって任意に定められるか、または、変位計測装置２が内部のタイマ等に基づき定期的（例えば、１日に１回等）に定めるものであってもよい。ステップＳ１０５で変位計測時点に達すると、変位計測部２０は、ステップＳ１０６〜Ｓ１０８において、ステップＳ１０２〜Ｓ１０４の場合と同様の処理を行う。
【００５３】
すなわち、変位計測部２０は、撮像部１０を用いてマーカ１を撮像することで計測用マーカ画像［ｎ］を取得する（ステップＳ１０６）。モアレ画像作成部３２は、計測用マーカ画像［ｎ］にステップＳ１０１で作成された内部マーカ画像３５を重ね合わせることでモアレ画像［ｎ］を作成する（ステップＳ１０７）。検出部３３は、モアレ画像［ｎ］を対象に、モアレ縞の周期［ｎ］を検出する（ステップＳ１０８）。
【００５４】
その後、検出部３３は、ステップＳ１０９において、ステップＳ１０４で検出した周期［１］と、ステップＳ１０８で検出した周期［ｎ］との周期差に基づいて、式（２）〜式（６）で述べたような処理を行うことで、マーカ１（ひいては物体３）に生じた初期時点からの奥行き方向（Ｚ軸方向）の変位量を検出する（ステップＳ１０９）。その後、変位計測が不要となるまで、ステップＳ１０５〜ステップＳ１０９の処理が繰り返し実行される（ステップＳ１１０）。その結果、この例では、変位計測時点毎に、初期時点からのマーカ１（ひいては物体３）の奥行き方向の変位量が検出される。
【００５５】
《動作検証結果》
図１１は、図３および図６の変位計測部の動作検証結果の一例を示す図である。この例では、マーカ画像周期ｗが０．０２倍単位で短くなる計測用マーカ画像３６（実際のマーカ画像）が、図３の変位計測部２０に順次入力されている。そして、その都度、図３および図６で述べた各種処理を経て、式（２）で算出されたマーカ画像周期ｗの算出値が示される。マーカ画像周期ｗが短くなるということは、図１（ａ）において、マーカ１と変位計測装置２との奥行き方向（Ｚ軸方向）の距離が長くなることを意味する。
【００５６】
図１１に示されるように、式（２）に基づき算出されたマーカ画像周期ｗの算出値として、理想値に近い値が得られた。このように、理想値に近い算出値（ｗ）が得られると、式（３）〜式（６）で述べたような既知の光学仕様に基づいて、結果的に、奥行き方向（Ｚ軸方向）の変位量を高精度で算出できることになる。
【００５７】
《各種変形例》
ここでは、図１（ｂ）に示したような、Ｘ軸方向に並んだストライプ模様が記されたマーカ１ａを用いる場合を例に説明を行った。ただし、その代わりに、Ｙ軸方向に並んだストライプ模様が記されたマーカを用いてもよく、図１（ｃ）に示したようなチェッカ模様が記されたマーカ１ｂを用いてもよい。マーカ１ｂを用いる場合、変位計測部２０は、チェッカ模様を含んだマーカ画像を、画像処理によってＸ軸方向に並んだストライプ模様またはＹ軸方向に並んだストライプ模様に変換すればよい。
【００５８】
《実施の形態１の主要な効果》
以上、実施の形態１の変位計測装置および変位計測方法を用いることで、代表的には、小さい処理負荷または記憶容量でマーカ１（ひいては物体３）の奥行き方向の変位を計測可能になる。すなわち、サンプリングモアレ法等のような複雑な処理を用いることなく、マーカ１（ひいては物体３）の全体としての奥行き方向の変位量を検出できるようになる。その結果、例えば、立坑工事等の建設現場において、地盤の変位状況を監視することができ、作業者の安全を確保することが可能になる。また、レーザ光や光波等を利用した距離計を用いることなく奥行き方向の変位を計測できるため、コストを低減することも可能である。
【００５９】
さらに、奥行き方向の変位を高精度に計測することが可能になる。すなわち、例えば、図８において、モアレ縞の周期を、Ｘ軸方向またはＹ軸方向で算出する方式が考えられる。この場合、Ｘ軸方向またはＹ軸方向と、モアレ縞の周期方向とは異なるため、算出された周期に誤差が生じ得る。実施の形態１の方式を用いると、モアレ縞の周期方向を検出した上で、当該周期方向でモアレ縞の周期を算出できるため、高精度な周期が得られ、結果として、奥行き方向の変位を高精度に計測することが可能になる。
【００６０】
（実施の形態２）
《検出部の詳細》
図１２は、本発明の実施の形態２による変位計測装置において、図３における検出部の詳細な構成例を示すブロック図である。図１２に示す検出部３３は、図６の構成例と比較して、モアレ縞周期算出部４１が設けられず、また、奥行方向変位量算出部４２ａの処理内容が異なっている。奥行方向変位量算出部４２ａは、図６の構成例と異なり、モアレ縞傾き算出部４０からのモアレ縞［１］の傾きθ１と、モアレ縞［２］の傾きθ２と受けて、各モアレ縞の周期を算出することなく、奥行き方向に生じたマーカ１の変位量を算出する。
【００６１】
具体的には、奥行方向変位量算出部４２ａは、モアレ縞の傾きθと、図４に示した基準の周期模様３０の周期ｐと、図５に示した基準の傾きβとを用いて、式（７）に基づき、図５の計測用マーカ画像３６に含まれる周期模様の周期であるマーカ画像周期ｗを算出する。式（７）は、前述した非特許文献１に示される理論式（式（３２））である。奥行方向変位量算出部４２ａは、モアレ縞［１］の傾きθ１とモアレ縞［２］の傾きθ２とに対して、それぞれ、式（７）を用いた演算を行うことでマーカ画像周期ｗ１とマーカ画像周期ｗ２とを算出する。
【００６２】
【数３】
0006932355.tif 000004
【００６３】
そして、奥行方向変位量算出部４２ａは、このマーカ画像周期ｗ１とマーカ画像周期ｗ２と周期差に基づいて、時点［１］と時点［２］との間で撮像部１０の光軸方向（奥行き方向）に生じたマーカ１の変位量を算出する。具体的には、奥行方向変位量算出部４２ａは、実施の形態１の式（３）〜式（６）で述べたように、マーカ画像周期ｗと、マーカ１に記された周期模様の周期Ｗと、撮像部１０における既知の光学仕様とに基づいて撮影距離Ｄを算出する。そして、奥行方向変位量算出部４２ａは、マーカ画像周期ｗ１とマーカ画像周期ｗ２との周期差に伴う撮影距離Ｄの変化量を算出する。
【００６４】
《実施の形態２の主要な効果および実施の形態１との比較》
以上、実施の形態２の変位計測装置を用いることで、実施の形態１で述べた効果と同様の効果が得られる。さらに、実施の形態１の方式と比較して、モアレ縞の周期を算出する処理が不要となり、処理負荷または記憶容量をより小さくすることが可能になる。一方、奥行き方向の変位量の計測精度の観点では、実施の形態１の方式の方が望ましい。
【００６５】
具体的には、実施の形態２の方式では、傾きθの算出精度が、奥行き方向の変位量の計測精度に直接的な影響を及ぼす。傾きθは、図７で述べたように、２値化画像５０に対して頂点５２を抽出することで算出される。この際に、頂点５２の位置は、量子化誤差等の各種ノイズ成分によって適宜ばらつき得るため、傾きθの算出精度が低下する恐れがある。一方、実施の形態１の方式では、傾きθの算出精度が不十分であったとしても、式（１）に基づく三角関数での近似を行うことで周期λをある程度高精度に算出することができ、この周期λに基づいて奥行き方向の変位量を計測することが可能になる。
【００６６】
（実施の形態３）
《検出部の詳細》
図１３は、本発明の実施の形態３による変位計測装置において、図３における検出部の詳細な構成例を示すブロック図である。図１３に示す検出部３３は、奥行方向変位検出部６０と、面方向変位検出部６１とを備える。奥行方向変位検出部６０は、図６と同様の構成を備える。面方向変位検出部６１は、モアレ縞位相算出部６５と、面方向変位量算出部６６とを備える。モアレ縞位相算出部６５は、モアレ画像［１］に含まれるモアレ縞［１］の位相α１と、モアレ画像［２］に含まれるモアレ縞［２］の位相α２とをそれぞれ算出する。
【００６７】
具体的には、図１（ｂ）のマーカ１ａを用いる場合、モアレ縞位相算出部６５は、例えば、図８の各モアレ画像３７（モアレ画像［１］およびモアレ画像［２］）において、Ｘ軸方向に並んだ各画素の輝度ＩＸを、式（８）に示される三角関数（この例ではｃｏｓ関数）で近似する。この近似には、例えば、最小二乗法等が用いられる。また、三角関数は、ｓｉｎ関数であってもよい。
ＩＸ＝ＡＸ×ｃｏｓ｛（ｘ／λＸ）×２π＋αＸ｝＋ＢＸ    …（８）
【００６８】
式（８）において、“ＡＸ”は振幅であり、“ｘ”はＸ軸方向に並んだ画素のＸ軸座標値であり、“λＸ”はモアレ縞の周期（波長）［ピクセル］であり、“αＸ”は初期位相であり、“ＢＸ”は背景輝度である。モアレ縞位相算出部６５は、モアレ画像［１］に対して式（８）の近似を行い、その結果得られた“αＸ”をモアレ縞［１］の位相α１として算出する。同様に、モアレ縞位相算出部６５は、モアレ画像［２］に対して式（８）の近似を行い、その結果得られた“αＸ”をモアレ縞［２］の位相α２として算出する。
【００６９】
面方向変位量算出部６６は、モアレ縞位相算出部６５からのモアレ縞［１］の位相α１と、モアレ縞［２］の位相α２との位相差Δαに基づいて、時点［１］と時点［２］との間でマーカ１の面方向（ここではＸ軸方向）に生じた変位量を算出する。具体的には、面方向変位量算出部６６は、位相差Δα［ｒａｄ］と、図１（ｂ）に示したマーカ１ａにおける既知のピッチ（周期）Ｗ［ｍｍ］を用いて、式（９）によって変位量ΔＵ（ここでは、Ｘ軸方向の変位量ΔＸ）を算出する。
ΔＵ＝（Δα／２π）×Ｗ    …（９）
【００７０】
《変位計測方法》
図１４は、本発明の実施の形態３による変位計測方法における処理内容の一例を示すフロー図である。図１４に示すフローでは、図１０に示したフローと比較して、ステップＳ２０１〜Ｓ２０３の処理が追加されている。ステップＳ２０１は、ステップＳ１０４とステップＳ１０５との間に挿入される。ステップＳ２０１において、モアレ縞位相算出部６５は、モアレ画像［１］を対象に、モアレ縞［１］の位相［１］を検出する。
【００７１】
ステップＳ２０２，Ｓ２０３は、ステップＳ１０９とステップＳ１１０との間に順次挿入される。ステップＳ２０２において、モアレ縞位相算出部６５は、モアレ画像［ｎ］を対象に、モアレ縞［ｎ］の位相［ｎ］を検出する。ステップＳ２０３において、面方向変位量算出部６６は、ステップＳ２０１で検出されたモアレ縞［１］の位相［１］と、ステップＳ２０２で検出されたモアレ縞［ｎ］の位相［ｎ］との位相差を検出し、式（９）に基づいて、マーカ１の面方向（ここではＸ軸方向）に生じた変位量を検出する。
【００７２】
《実施の形態３の主要な効果》
以上、実施の形態３の変位計測装置および変位計測方法を用いることで、実施の形態１で述べたような各種効果に加えて、単一の撮像部１０を用いて取得したマーカ画像に基づいて、マーカ１（ひいては物体３）の面方向（Ｘ軸方向またはＹ軸方向）の変位と、奥行き方向（Ｚ軸方向）の変位の両方を計測可能になる。その結果、低コストで効率的な変位計測を行えるようになる。
【００７３】
すなわち、図１（ｂ）のマーカ１ａの代わりに、Ｙ軸方向に並んだストライプ模様が記されたマーカを用いることで、Ｙ軸方向とＺ軸方向の変位計測が可能になる。また、図１（ｂ）のマーカ１ａの代わりに、図１（ｃ）のマーカ１ｂを用いることで、Ｘ軸方向およびＹ軸方向と、Ｚ軸方向の変位計測が可能になる。なお、Ｙ軸方向の変位計測を行う際には、式（８）と同様にして、Ｙ軸方向に並んだ各画素の輝度（ＩＹ）を三角関数で近似すればよい。
【００７４】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
【符号の説明】
【００７５】
１，１ａ，１ｂ…マーカ、２…変位計測装置、３…物体、１０…撮像部、２０…変位計測部、３０…基準の周期模様、３１…内部マーカ作成部、３２…モアレ画像作成部、３５…内部マーカ画像、３６，３６ａ，３６ｂ…計測用マーカ画像、３７…モアレ画像、４０…モアレ縞傾き算出部、４１…モアレ縞周期算出部、４２，４２ａ…奥行方向変位量算出部、６５…モアレ縞位相算出部、６６…面方向変位量算出部、ｐ，Ｗ，λ…周期、ｗ…マーカ画像周期、β，γ，θ…傾き
【要約】
【課題】小さい処理負荷または記憶容量でマーカ（ひいては物体）の奥行き方向の変位を計測可能な変位計測装置および変位計測方法を提供する。
【解決手段】内部マーカ作成部は、基準方向に対して基準の傾きβだけ傾いた方向に形成され、かつ予め周期ｐが定められる基準の周期模様を含んだ内部マーカ画像３５を作成する。モアレ画像作成部は、第１の時点および第２の時点で撮像部によって撮像された各計測用マーカ画像３６に対して、同一の内部マーカ画像３５を重ね合わせることで２個のモアレ画像３７をそれぞれ作成する。モアレ縞傾き算出部は、基準方向に対して各モアレ画像３７に含まれるモアレ縞が成す傾きθをそれぞれ算出する。変位計測装置は、この傾きθを用いて所定の演算処理を行うことで、第１の時点と第２の時点との間で撮像部の光軸方向に生じたマーカの変位量を算出する。
【選択図】図５【図１】
0006932355.tif 000005
【図２】
0006932355.tif 000006
【図３】
0006932355.tif 000007
【図４】
0006932355.tif 000008
【図５】
0006932355.tif 000009
【図６】
0006932355.tif 000010
【図７】
0006932355.tif 000011
【図８】
0006932355.tif 000012
【図９】
0006932355.tif 000013
【図１０】
0006932355.tif 000014
【図１１】
0006932355.tif 000015
【図１２】
0006932355.tif 000016
【図１３】
0006932355.tif 000017
【図１４】
0006932355.tif 000018