(57)【特許請求の範囲】
【請求項１】
変形する対象物の複数時刻におけるステレオ画像に基づいて、前記対象物に複数設定される注目部分に関し前記時刻間での三次元変位ベクトルを求める変位計測方法であって、
前記時刻ごとに、前記ステレオ画像に基づいて、前記対象物の正射画像と、前記正射画像上での位置及び高さで表される前記対象物の三次元形状情報とからなる三次元モデルデータを生成する三次元モデルデータ生成処理と、
前記正射画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記正射画像上での二次元像を追跡する追跡処理と、
前記三次元形状情報を用い、前記正射画像上での前記二次元像の位置に高さを対応付け、前記注目部分の三次元座標を求める三次元座標演算処理と、
前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算処理と、
を含むことを特徴とする変位計測方法。
【請求項２】
請求項１に記載の変位計測方法において、
前記三次元モデルデータ生成処理は、前記正射画像に対応する水平面に予め定められた間隔で離散化された格子を設定し、当該各格子に高さを対応付けた三次元メッシュデータを前記三次元形状情報として生成すること、を特徴とする変位計測方法。
【請求項３】
変形する対象物の複数時刻におけるステレオ画像に基づいて、前記対象物に複数設定される注目部分に関し前記時刻間での三次元変位ベクトルを求める変位計測装置であって、
前記時刻ごとに、前記ステレオ画像に基づいて、前記対象物の正射画像と、前記正射画像上での位置及び高さで表される前記対象物の三次元形状情報とからなる三次元モデルデータを生成する三次元モデルデータ生成手段と、
前記正射画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記正射画像上での二次元像を追跡する追跡手段と、
前記三次元形状情報を用い、前記正射画像上での前記二次元像の位置に高さを対応付け、前記注目部分の三次元座標を求める三次元座標演算手段と、
前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算手段と、
を有することを特徴とする変位計測装置。
【請求項４】
コンピュータを、変形する対象物の複数時刻におけるステレオ画像に基づいて、前記対象物に複数設定される注目部分に関し前記時刻間での三次元変位ベクトルを求める変位計測手段として機能させるための変位計測プログラムであって、コンピュータに、
前記時刻ごとに、前記ステレオ画像に基づいて、前記対象物の正射画像と、前記正射画像上での位置及び高さで表される前記対象物の三次元形状情報とからなる三次元モデルデータを生成する三次元モデルデータ生成機能と、
前記正射画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記正射画像上での二次元像を追跡する追跡機能と、
前記三次元形状情報を用い、前記正射画像上での前記二次元像の位置に高さを対応付け、前記注目部分の三次元座標を求める三次元座標演算機能と、
前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算機能と、
を実現させることを特徴とする変位計測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はステレオ画像を用いて対象物における変位を計測する変位計測方法、変位計測装置及び変位計測プログラムに関する。
【背景技術】
【０００２】
変位計測技術は、例えば、地滑りの解析・対策、土工事や土構造物の構築・管理等において重要である。例えば、地滑りに関して変位計測は、地滑り崩壊の発生から終了に至る一連の運動形態及び機構の把握に利用される。これにより、地滑り現象に対する一層の理解が得られれば、滑り面形状の推定や、より高度な数値計算手法の開発、効果的な防止策の検討が可能となる。
【０００３】
変位計測技術にはいろいろな方式が提案されており、地滑り現象に関しては、例えば、測量を行いたい対象物上に予め反射板を設置し、光の照射及び反射光の観測により距離を計測するものなどが知られている。また、写真測量技術を用いるものも知られている。写真測量技術を用いる方式は反射板等の設置が不要であるので、広い範囲や近寄りにくい場所の地滑り観測に好適である。従来、写真測量技術を利用して地滑り解析を行う場合、地滑り前後の空中写真や地上写真、及び地形データを用いて、地滑りによる地形変化を把握している。
【０００４】
また、当該地形変化の解析の従来の基本的な手法では、人間が目視により画像から変位追跡点を探し出し、画像間の変位特徴点の対応付けをマニュアル操作で行って、変位ベクトルを求める。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−２５１０５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年のデジタルカメラ技術、写真計測及び画像解析技術の発達は、遠距離からの撮影に基づく高速移動体の詳細な観測及び精密解析の実現に資する。しかし、そのような技術を効果的に取り込んで、連続撮影画像を用いた地滑り等の変位解析を効率的に行う技術はまだ実現されていない。地滑りのように変位特徴点が多数となり得る解析について、多数の時刻に亘る連続撮影画像を人間の作業への依存が比較的大きい従来手法で処理することは現実的ではなく、従来手法では正確かつ効率的な変位追跡や変位ベクトルの取得は容易ではない。
【０００７】
本発明は上記問題点を解決するためになされたものであり、対象物を連続撮影した画像に基づいて対象物の注目部分の三次元的な変位を効率的に検出し良好な精度で計測する変位計測方法、変位計測装置及び変位計測プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る変位計測方法は、複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求めるものであって、前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡処理と、前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算処理と、前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算処理と、を含むものである。
【０００９】
本発明において、前記追跡処理は、前記追跡用画像として前記対象物の正射画像を用い、正射画像面内で前記注目部分の前記二次元像を追跡し、前記三次元座標演算処理は、前記正射画像、及び前記正射画像面上での位置及び高さで表される前記対象物の三次元形状情報を生成する処理と、前記三次元形状情報を用いて前記注目部分の前記三次元座標を求める処理と、を含む構成とすることができる。
【００１０】
また、本発明において、前記追跡処理は、前記追跡用画像として前記ステレオ画像の一方画像を用い、当該一方画像上での前記注目部分の前記二次元像の位置に対応する追跡点を求め、前記三次元座標演算処理は、前記各時刻にて、前記追跡点に対応する前記ステレオ画像の他方画像上の対応点を抽出し、前記追跡点及び前記対応点について前記ステレオ計測を行い前記注目部分の前記三次元座標を求める構成とすることができる。
【００１１】
本発明に係る変位計測装置は、複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求めるものであって、前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡手段と、前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算手段と、前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算手段と、を有するものである。
【００１２】
本発明に係る変位計測プログラムは、コンピュータを、複数時刻における対象物のステレオ画像に基づいて、前記対象物の注目部分に関し前記時刻間での三次元変位ベクトルを求める変位計測手段として機能させるためのプログラムであって、コンピュータに、前記ステレオ画像の少なくとも一方に基づく追跡用画像について、前記時刻相互間でのパターンマッチングを行い、或る時刻にて設定された前記注目部分に関し、当該注目部分の前記追跡用画像上での二次元像を追跡する追跡機能と、前記ステレオ画像に対するステレオ計測により、前記追跡用画像上での前記二次元像の位置に基づいて前記注目部分の三次元座標を求める三次元座標演算機能と、前記各時刻での前記注目部分の前記三次元座標に基づいて前記三次元変位ベクトルを求める変位ベクトル演算機能と、を実現させるものである。
【発明の効果】
【００１３】
本発明によれば、対象物を連続撮影した画像に基づいて対象物の注目部分の三次元的な変位が効率的に検出され良好な精度で計測される。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る変位計測システムの概略のブロック図である。
【図２】第１の実施形態における処理部の概略の処理フロー図である。
【図３】画像追跡の処理を説明する模式図である。
【図４】図３の処理から得られる二次元変位ベクトルを示す模式図である。
【図５】三次元メッシュデータの模式図である。
【図６】三次元メッシュデータを用いた二次元変位から三次元変位への変換処理を説明する模式図である。
【図７】第２の実施形態における処理部の概略の処理フロー図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態（以下実施形態という）である変位計測システム１０について、図面に基づいて説明する。図１は、変位計測システム１０の概略のブロック図である。この図１に示す構成は以下説明する第１及び第２の実施形態に共通である。変位計測システム１０は、複数台のカメラ１２及び変位計測装置１４を含んで構成される。
【００１６】
複数台のカメラ１２は、少なくとも２台からなり、変位計測の対象物のステレオ画像を撮影可能に配置される。本実施形態では、例として地滑りを計測対象事象とし、カメラ１２は、地滑りの監視地点である斜面や崖などを臨み、かつ監視領域全体を撮影可能で、また安全である地点に配置される。例えば、複数のカメラ１２は基本的に横方向に距離を有して配置され、監視地点を互いに異なる視点から撮影し、一対の静止画像からなるステレオ画像を取得する。各カメラ１２は互いに同期して連続撮影を行い、撮影された画像は変位計測装置１４に入力される。なお、連続撮影のフレームレートは、地滑りの速度や、カメラ１２から監視地点までの距離などを考慮して、連続するフレーム間での追跡処理が可能な程度に高速とされる。なお、カメラとしてビデオカメラを用いることも可能である。また、カメラ１２は画像をデジタルデータで出力するものが変位計測装置１４での処理に適しているが、アナログ信号で出力するものであってもよく、この場合、変位計測装置１４にてＡ／Ｄ変換を行う。
【００１７】
変位計測装置１４は、処理部２０、表示部２２、記憶部２４及び操作部２６を備える。処理部２０は、追跡処理部３０、三次元座標演算処理部３２及び変位ベクトル演算処理部３４を有する。例えば、変位計測装置１４は、コンピュータを用いて構成することができ、そのＣＰＵが処理部２０を構成し、追跡処理部３０、三次元座標演算処理部３２及び変位ベクトル演算処理部３４は当該ＣＰＵにより実行されるプログラムによって実現できる。
【００１８】
また、記憶部２４は、コンピュータに内蔵されるハードディスクなどで構成される。例えば、記憶部２４は、カメラ１２から入力されるステレオ画像のデータを少なくとも、ステレオ計測処理や追跡処理に必要とされる間、保持する。また、ステレオ計測処理で必要となるカメラ１２による撮影に関する標定要素を予め格納する。ここで標定要素は外部標定要素（投影中心位置・姿勢）及び内部標定要素（主点位置・焦点距離・画像解像度等）があり、これらを用いて監視領域が存在する実空間の座標と画像座標との間の変換を行う諸関数が与えられる。
【００１９】
表示部２２は液晶モニタ等の画像表示装置であり、操作部２６はキーボードやマウスなどで構成される。
【００２０】
追跡処理部３０は、カメラ１２が撮影したステレオ画像の少なくとも一方に基づく追跡用画像について、例えば、連続する撮影時刻間にてパターンマッチング処理を行い、或る時刻にて対象物に設定された注目部分に関し、当該注目部分の追跡用画像上での二次元像を追跡する。ここで、注目部分の設定は、例えば、追跡用画像上にて行うことができ、当該画像上に複数の注目部分を設定してもよい。設定は、作業者が表示部２２に表示された追跡用画像を見ながら操作部２６を操作して行う。また、予め、注目部分の画像上の特徴を記憶部２４に格納し、追跡の開始時等にて処理部２０が当該特徴に合致する部分を抽出して注目部分に設定するように構成してもよい。例えば、樹木、岩、地上工作物等が注目部分とされる。
【００２１】
三次元座標演算処理部３２は、ステレオ画像に対するステレオ計測処理により、追跡用画像上での注目部分の二次元像の位置に基づいて当該追跡用画像に対応する撮影時刻での注目部分の三次元座標を求める。
【００２２】
変位ベクトル演算処理部３４は、各時刻での注目部分の三次元座標に基づいて三次元変位ベクトルを求める。
【００２３】
以上、第１及び第２の実施形態に共通する構成をまとめて説明した。第１及び第２の実施形態に係る変位計測システム１０は、処理部２０における処理に違いがある。以下、各実施形態について当該処理を説明する。
【００２４】
［第１の実施形態の処理］
図２は、第１の実施形態における処理部２０の概略の処理フロー図である。処理部２０は、カメラ１２が撮影したステレオ画像に基づいて、三次元モデルデータを生成する（Ｓ４０）。処理部２０の三次元座標演算処理部３２が当該生成処理を担う。
【００２５】
三次元モデルデータは、三次元メッシュデータ（三次元形状情報）と正射画像（オルソ画像）とからなる。三次元メッシュデータは、ステレオ画像からステレオマッチング処理により求められる対象物表面の三次元座標であり、例えば、ｘｙｚ直交座標系を用いて表される。水平面をなすｘｙ平面に、例えば一定の間隔で離散化されたｘ座標、ｙ座標で表される格子を設定し、各格子に高さを表すｚ座標値を対応付ける。
【００２６】
正射画像は、水平面に射影した対象物の画像である。三次元座標演算処理部３２は、カメラ１２が撮影する各時刻のステレオ画像について処理を行い、各時刻の三次元モデルデータを生成する。
【００２７】
追跡処理部３０は、正射画像を追跡用画像として用いて、正射画像面内で注目部分の二次元像を追跡して（Ｓ４２）、二次元変位ベクトルを求める（Ｓ４４）。図３は、この正射画像追跡の処理Ｓ４２を説明する模式図である。図３（ａ）は、先行する時刻ｔ０の正射画像６０ａにおける注目部分の二次元像６２ａ，６４ａを表している。当該二次元像を含む部分画像６６ａ，６８ａを相関テンプレートとして、後続の時刻ｔ０＋Δｔの正射画像６０ｂに対するパターンマッチング処理を行う。その結果、図３（ｂ）に示すように、時刻ｔ０＋Δｔの正射画像６０ｂにおける注目部分の二次元像６２ｂ，６４ｂが探索される。例えば、パターンマッチング処理では、相関テンプレートの輝度分布パターンが後続の正射画像６０ｂのどの部分に類似しているかを判断する。
【００２８】
パターンマッチング処理により、二次元像６２ａに対応する注目部分は後続時刻の正射画像６０ｂにおける二次元像６２ｂに対応し、同様に、二次元像６４ａに対応する注目部分は二次元像６４ｂに対応すると判断される。すなわち、注目部分ごとに二時刻ｔ０，ｔ０＋Δｔでの二次元像の対応が求められる。これにより、二次元変位ベクトルの始点となる時刻ｔ０での二次元像の座標と、終点となる時刻ｔ０＋Δｔでの二次元像の座標とが求められる（Ｓ４４）。図４は、時刻ｔ０での二次元像６２ａ，６４ａの位置を始点とし、時刻ｔ０＋Δｔでの二次元像６２ｂ，６４ｂの位置を終点とする二次元変位ベクトル７０，７２を示す模式図である。
【００２９】
処理部２０は、正射画像上にて得られた二次元の変位を三次元メッシュデータを用いて、三次元の変位に変換し（Ｓ４６）、三次元変位ベクトルを求める（Ｓ４８）。図５は上述した三次元メッシュデータの模式図であり、水平面であるｘｙ平面への投影図８０と、ｚｘ平面への投影図８２とを示している。二次元変位を求めた正射画像はｘｙ平面への投影図８０と対応しており、二時刻ｔ０，ｔ０＋Δｔ間での二次元変位ベクトルを投影図８０に射影する。図６は、三次元メッシュデータを用いた変換処理Ｓ４６を説明する模式図である。図６は、三次元メッシュデータの投影図８０上に配置した二次元変位ベクトル９０と、当該二次元変位ベクトル９０から得られる三次元変位ベクトル９２とを示している。三次元座標演算処理部３２は、投影図８０上での二次元変位ベクトルの始点ＰＳ、終点ＰＥに、三次元メッシュデータによりそれぞれの位置でのｚ座標値を付与し、ＰＳ，ＰＥをそれぞれ三次元空間での点ＱＳ，ＱＥに対応付ける。これにより、三次元変位ベクトルの始点ＱＳ及び終点ＱＥの座標が求められる（Ｓ４８）。
【００３０】
変位ベクトル演算処理部３４は、ＱＳ及びＱＥの座標に基づいて三次元変位ベクトルを求める。
【００３１】
［第２の実施形態の処理］
図７は、第２の実施形態における処理部２０の概略の処理フロー図である。追跡処理部３０は、カメラ１２が撮影したステレオ画像の一方を追跡用画像として用いて、時刻ごとに得られる当該画像の時系列にて注目部分の二次元像を追跡して（Ｓ１００）、二次元変位ベクトルを求める（Ｓ１０２）。この処理の具体的な内容は、第１の実施形態に関して説明した処理Ｓ４２，Ｓ４４と同様であり、ここでは第１の実施形態の図３、図４及びその説明を援用する。二次元変位ベクトル７０，７２を求める処理Ｓ１００，Ｓ１０２により、追跡用画像であるステレオ画像の一方画像上にて注目部分の二次元像の位置（追跡点）の時系列が求まる。
【００３２】
三次元座標演算処理部３２は、各時刻にて、追跡点に対応するステレオ画像の他方画像上の対応点を抽出し、追跡点及び対応点についてステレオ計測処理を行い、各時刻での注目部分の三次元座標を求める（Ｓ１０４）。
【００３３】
変位ベクトル演算処理部３４は、三次元変位ベクトルを求める二時刻のうち先行時刻の注目部分の三次元座標ＱＳを始点、後続時刻の三次元座標ＱＥを終点として、三次元変位ベクトルを求める（Ｓ１０６）。
【００３４】
第１及び第２の実施形態に係る変位計測システム１０は、地滑りを例とした三次元変位ベクトルの取得を目的としたものであったが、本発明は、地滑り以外の分野にも適用することができ、例えば、より広範な土砂災害、物体の破壊・変形実験などの物体・流体の挙動把握などへの適用が可能である。
【００３５】
また、変位計測装置１４は、カメラ１２がリアルタイムで撮影した画像をオンラインで処理する場合だけでなく、予め撮影された画像を入力され処理するオフライン処理に用いることもできる。
【符号の説明】
【００３６】
１０  変位計測システム、１２  カメラ、１４  変位計測装置、２０  処理部、２２  表示部、２４  記憶部、２６  操作部、３０  追跡処理部、３２  三次元座標演算処理部、３４  変位ベクトル演算処理部。
【図１】
0005463584.tif 000002
【図２】
0005463584.tif 000003
【図３】
0005463584.tif 000004
【図４】
0005463584.tif 000005
【図５】
0005463584.tif 000006
【図６】
0005463584.tif 000007
【図７】
0005463584.tif 000008