(57)【特許請求の範囲】
【請求項１】
所定の相対的位置に設置され、両者に共通する範囲を含む撮影範囲をあおり角をもって撮影する赤外線カメラ及び通常のカメラからなる撮影部と、
前記赤外線カメラの画像と通常のカメラの画像とを処理する処理部とからなり、  前記処理部は、前記共通撮影範囲内の相対的位置が既知の複数の基準点を撮影した前記赤外線カメラの第１の画像と前記通常のカメラの第１の画像のうち、前記通常のカメラで撮影された第１の画像中の前記基準点の位置に基づいて、前記あおり撮影によって発生する画像の歪みを持った前記通常のカメラの第１の画像を正射投影画像に補正変換するための第１の補正変換パラメータを求める第１の変換パラメータ決定部と、前記あおり撮影によって発生する画像の歪みを持った前記赤外線カメラで撮影された第１の画像を、前記通常のカメラでの撮影に基づく画像に基づいて、正射投影画像に補正変換するための第２の補正変換パラメータを求める第２の変換パラメータ決定部とからなるキャリブレーション部と、前記赤外線カメラと前記通常のカメラとの前記共通撮影範囲に相対的位置が既知の複数の点を含むように撮影された前記赤外線カメラの第２の画像と前記通常のカメラの第２の画像のうち、前記通常のカメラで撮影された第２の画像中の前記相対位置既知点の位置に基づいて、前記あおり撮影によって発生する画像の歪みを持った前記通常のカメラの第２の画像を正射投影画像に補正変換するための第３の補正変換パラメータを求める第３の変換パラメータ決定部と、前記第２の補正変換パラメータと前記第３の補正変換パラメータとの差に基づいて前記赤外線カメラの第２の画像を正射投影画像に補正変換するための第４の補正変換パラメータを求める第４の変換パラメータ決定部とで構成された画像補正部とからなることを特徴とする画像処理による異常点位置検出システム。
【請求項２】
請求項１において、
前記キャリブレーション部が前記第２の補正変換パラメータを求めるに際して用いる通常のカメラでの撮影に基づく画像は、前記あおり撮影によって発生する画像の歪みを持った画像であることを特徴とする画像処理による異常点位置検出システム。
【請求項３】
請求項１において、
前記キャリブレーション部が前記第２の補正変換パラメータを求めるに際して用いる通常のカメラでの撮影に基づく画像は、前記第１の補正変換パラメータによって変換された正射投影画像であることを特徴とする画像処理による異常点位置検出システム。
【請求項４】
請求項１〜請求項３において、
前記画像補正部は、前記赤外線カメラの第２の画像を前記第４の補正変換パラメータによって補正変換し、及び／又は前記通常のカメラの第２の画像を前記第３の補正変換パラメータによって補正変換し、正射影投影画像とする画像変換部をさらに備えることを特徴とする画像処理による異常点位置検出システム。
【請求項５】
請求項１〜請求項４において、
前記第３の補正変換パラメータを用いて変換された通常のカメラの第２の画像の正射投影画像に対して、前記第４の補正変換パラメータを用いて変換された赤外線カメラの第２の画像の正射投影画像を前記通常のカメラの第２の画像の正射投影画像の該当する部分と置換した画像を作成する画像合成部を更に設けたことを特徴とする画像処理による異常点位置検出システム。
【請求項６】
請求項１〜請求項５において、
前記相対的位置が既知の複数の基準点は、路面上に又は路面に隣接して設けられた構築物であることを特徴とする画像処理による異常点位置検出システム。
【請求項７】
所定の相対的位置に設置され、両者に共通する範囲を含む撮影範囲をあおり角をもって撮影する赤外線カメラ及び通常のカメラからなる撮影部によって、前記共通撮影範囲内の相対的位置が既知の複数の基準点を前記赤外線カメラの第１の画像と前記通常のカメラの第１の画像として撮影するステップと、
前記通常のカメラで撮影された第１の画像中の前記基準点の位置に基づいて、前記あおり撮影によって発生する画像の歪みを持った前記通常のカメラで撮影された第１の画像を正射投影画像に補正変換するための第１の補正変換パラメータを求める第１の変換パラメータ決定ステップと、
前記あおり撮影によって発生する画像の歪みを持った前記赤外線カメラで撮影された第１の画像を、前記通常のカメラでの撮影に基づく画像に基づいて、正射投影画像に補正変換するための第２の補正変換パラメータを求める第２の変換パラメータ決定ステップと、
前記撮影部の前記赤外線カメラと前記通常のカメラとの前記共通撮影範囲に相対的位置が既知の複数の点を含むように前記赤外線カメラの第２の画像と前記通常のカメラの第２の画像を撮影するステップと、
前記通常のカメラで撮影された第２の画像中の前記相対位置既知点の位置に基づいて、前記あおり撮影によって発生する画像の歪みを持った前記通常のカメラの第２の画像を正射投影画像に補正変換するための第３の補正変換パラメータを求める第３の変換パラメータ決定ステップと、
前記第２の補正変換パラメータと前記第３の補正変換パラメータとの差に基づいて前記赤外線カメラの第２の画像を正射投影画像に補正変換するための第４の補正変換パラメータを求める第４の変換パラメータ決定ステップと
からなることを特徴とする画像処理による異常点位置検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、赤外線による画像を処理して異常点位置を検出する画像処理による異常点位置検出システムに関し、特に可視画像を併用することによって、赤外線カメラによる画像を用いて検出した異常点の位置を容易に特定するための画像処理による異常点位置検出システム及びその方法に関する。
【０００２】
【従来の技術】
従来、路面の異常、例えば地下に埋設された水道管からの漏水、舗装の亀裂あるいは剥離等を診断する手段として、路面上の所定の位置に赤外線カメラ（ＩＲカメラ）で撮影可能な基準物を配置し、該基準物を画面内に含むようにＩＲカメラで路面の画像を撮影し、該画像によって検出した路面の温度分布から把握される路面の異常点位置を前記基準物の位置に基づいて特定する診断する方法が知られている。
【０００３】
また、撮影範囲を重複させて撮影したディジタル画像を用いて、前記重複部分に含まれる点の画像データに基づいて画像を繋ぎ合わせてパノラマ写真を作成するソフトウェアが知られている。
【０００４】
【発明が解決しようとする課題】
前記従来のＩＲカメラを用いた異常点位置検出システムにおいては、ＩＲカメラの検出素子の画素数が数万画素であるためＩＲカメラによる画像の分解能が低く、前記基準点の画像上の位置や被検査物上における温度分布の状態が不明確であるため、異常箇所や異常状態の詳細な特定・分析が困難であった。
【０００５】
ＩＲカメラによる画像の分解能の低さを補う目的で、ＩＲカメラでの撮影と同一箇所を通常のカメラでも撮影することもあるが、夫々のカメラは独立したものであり撮影倍率や撮影範囲、あおり撮影による画像の歪みの状態が異なるため、参考とするに留まり、被検査物の状態を詳細に分析することはできなかった。
また、診断する被検査物全体の状況を把握するために画像をパノラマ化しようとしても、パノラマ化の基準となる形状の外形線や相対的位置が既知の点の位置が前記と同様に明確でないため前記処理が困難であった。
【０００６】
そこで、本発明の目的は、ＩＲカメラによる画像の分解能の低さを通常のカメラの画像を用いて補い、被検査物の異常の状態や、その位置を詳細に分析することができる画像処理による異常点位置検出システムを提供することにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するための本発明の第１は、所定の相対的位置に設置され、両者に共通する範囲を含む撮影範囲をあおり角をもって撮影する赤外線カメラ及び通常のカメラからなる撮影部と、前記赤外線カメラの画像と通常のカメラの画像とを処理する処理部とからなり、前記処理部は、前記共通撮影範囲内の相対的位置が既知の複数の基準点を撮影した前記赤外線カメラの第１の画像と前記通常のカメラの第１の画像のうち、前記通常のカメラで撮影された第１の画像中の前記基準点の位置に基づいて、前記あおり撮影によって発生する画像の歪みを持った前記通常のカメラの第１の画像を正射投影画像に補正変換するための第１の補正変換パラメータを求める第１の変換パラメータ決定部と、前記あおり撮影によって発生する画像の歪みを持った前記赤外線カメラで撮影された第１の画像を、前記通常のカメラでの撮影に基づく画像に基づいて、正射投影画像に補正変換するための第２の補正変換パラメータを求める第２の変換パラメータ決定部とからなるキャリブレーション部と、前記赤外線カメラと前記通常のカメラとの前記共通撮影範囲に相対的位置が既知の複数の点を含むように撮影された前記赤外線カメラの第２の画像と前記通常のカメラの第２の画像のうち、前記通常のカメラで撮影された第２の画像中の前記相対位置既知点の位置に基づいて、前記あおり撮影によって発生する画像の歪みを持った前記通常のカメラの第２の画像を正射投影画像に補正変換するための第３の補正変換パラメータを求める第３の変換パラメータ決定部と、前記第２の補正変換パラメータと前記第３の補正変換パラメータとの差に基づいて前記赤外線カメラの第２の画像を正射投影画像に補正変換するための第４の補正変換パラメータを求める第４の変換パラメータ決定部とで構成される画像補正部とからなる画像処理による異常点位置検出システムである。
【０００８】
前記第２の補正変換パラメータを求めるに際して用いる通常のカメラで撮影した画像は、前記あおり撮影によって発生する画像の歪みを持った画像、あるいは前記第１の補正変換パラメータによって変換された正射投影画像とすることができる。
また、前記画像補正部は、前記赤外線カメラの第２の画像を前記第４の補正変換パラメータによって補正変換し、及び／又は前記通常のカメラの第２の画像を前記第３の補正変換パラメータによって補正変換し、正射影投影画像とする画像変換部をさらに備えることが好ましい。
【０００９】
異常を診断するＩＲカメラの画像が、正射影投影画像に変換されるので対象物上における異常点の位置が容易に特定される。更には、通常のカメラの画像も正射影投影画像に変換し両画像を対比すれば、対象物上における異常点の位置がさらに容易に特定される。更に、既知点間の寸法の正射投影画像上の値と実際の寸法との比を求めることによって、前記異常点の実座標値、異常箇所の大きさ（長さ、面積など）を知ることもできる。
【００１０】
上記発明のいずれかにおいて、前記第３の補正変換パラメータを用いて変換された通常のカメラの第２の画像の正射投影画像に対して、前記第４の補正変換パラメータを用いて変換された赤外線カメラの第２の画像の正射投影画像を前記通常のカメラの第２の画像の正射投影画像の該当する部分と置換した画像を作成する画像合成部を更に設けることができる。これによって、より容易に異常点位置が特定される。
【００１１】
上記システムによって路面の異常を診断する場合には、センターライン、縁石などの路面上又は路面の近傍に設けられた構築物を基準点として用いると、特別な基準点を設置することが不要となるので好ましい。
【００１２】
【発明の実施の形態】
本発明の実施の形態例として、道路の路面の異常点の位置を検出する画像処理を用いた異常点位置検出システムを説明する。しかしながら、かかる実施の形態例が本発明の技術的範囲を限定するものではない。
本実施の形態例の画像処理を用いた異常点位置検出システムは、観察対象道路の路面を撮影してその画像を取得する撮影部と、前記路面の異常点の位置を求めるために前記取得した画像を処理する処理部とで構成される。
【００１３】
図１は、前記撮影部による路面の撮影状況の概要を示す図である。路面１０を移動する移動手段２０にＩＲカメラ３０とディジタルカメラ４０とが設けられている。ＩＲカメラ３０とディジタルカメラ４０とは夫々の撮影範囲の中心がほぼ一致するように各カメラの位置及び光軸方向が設定されている。ディジタルカメラ４０の光軸は路面が水平であるとき水平に対して未知の角度α１下方を向いている。ＩＲカメラ３０の光軸は路面が水平であるとき水平に対して未知の角度α２下方を向いている。通常、α１とα２とは一致しない。
【００１４】
ＩＲカメラ３０による画像及びディジタルカメラ４０による画像は夫々ディジタル化された画像情報として記録される。但し、いずれのカメラによる画像情報も、フィルムに撮影された画像をフィルムスキャナ等でディジタル化したものでも良い。
本システムでは、まず所定の基準状態において前記撮影部で位置又は寸法既知の基準点を撮影し、前記撮影部の各カメラの画像を夫々正射投影画像に変換する第１及び第２の補正変換パラメータを求めるキャリブレーションを行う。
【００１５】
そして、次に異常点位置検出を行う。異常点位置検出では、ＩＲカメラ３０の画像では必ずしも特定できないが、ディジタルカメラ４０の画像では特定できる位置又は寸法既知の基準点のある路面を任意の状態で撮影し、該ディジタルカメラ４０の画像を正射投影画像に変換する第３及の補正変換パラメータを求め、前記第２の補正変換パラメータに前記第１の補正変換パラメータと前記第３の補正変換パラメータとの差に基づく補正を加えた第４の補正変換パラメータを求める。
【００１６】
そして更に、前記任意の状態で撮影した画像を前記第３及び／又は第４の補正変換パラメータで補正変換して所望の画像を得る。
前記第１、第２、第３及び第４の補正変換パラメータを求める第１〜第４の変換パラメータ決定部、及び前記各カメラで撮影した画像を前記各補正変換パラメータで補正変換して所望の画像を得る画像変換部とはパソコンなどで構成された処理部で行われる。第１〜第４の変換パラメータ決定部及び画像変換部については後に詳述する。
【００１７】
まず最初に、前記キャリブレーションを説明する。
路面１０上の所定の相対的位置に配置した、ＩＲカメラ３０の画像によっても位置を明確に特定できる複数の基準物をＩＲカメラ３０及びディジタルカメラ４０で撮影する。前記基準物としては、ＩＲカメラ３０の画素上で複数の画素上にわたる大きさに結像される、例えば円板や十字形状板を用いることができる。ＩＲカメラ３０の画像を画像処理して円形や十字形状の中心位置を求めることによって、分解能の低いＩＲカメラ３０の画像であっても高い精度で基準物の位置を決定することができる。
【００１８】
なお、ＩＲカメラ３０の温度分解能は高いので、通常路面上に配置された前記基準物を検知することができるが、要すれば事前に熱する、あるいは冷やすことによって容易に検知できるようにしておく。
また、前記基準物は路面上又は路面近傍に設置されている寸法或いは相対的位置が既知の既存の構築物、例えば道路幅員の中心を示す道路錨などであっても良い。
【００１９】
以下の説明は、前記基準物をほぼ水平な路面上で所定の寸法の矩形の各頂点に配置した場合を説明する。図２は、ディジタルカメラ４０で前記基準物を撮影した画像の状態を説明する説明図である。ディジタルカメラ４０による路面の撮影はあおり角＝α１をもってなされる。その結果、撮影された画像は前記あおり角によって歪んだ画像となる。
【００２０】
即ち、図２において、４１はディジタルカメラ４０で撮影された画像４２の大きさ（範囲）を示している。該画像４２に撮影された実際の路面の範囲の平面形状は一点鎖線４３で示された範囲である。そして該画像４２中には前記矩形の各頂点に配置された基準物の画像４４ａ、４４ｂ、４４ｃ、４４ｄが含まれている。  実際には矩形の頂点である基準物の画像４４ａ〜４４ｄはあおり撮影による画像歪みのために破線で示した台形４５の頂点の位置となっている。ＩＲカメラ３０で撮影された画像も、前記あおり角にのためにディジタルカメラ４０で撮影された前記画像と同様に歪んだ画像となる。
【００２１】
図３は、パソコンで構成された処理部１００の構成を示す図である。処理部１００は補正変換パラメータ決定部１１０及び画像変換部１２０を備えている。補正変換パラメータ決定部１１０は第１の補正変換パラメータ決定部１１０Ａ、第２の補正変換パラメータ決定部１１０Ｂ、第３の補正変換パラメータ決定部１１０Ｃ、第４の補正変換パラメータ決定部１１０Ｄからなる。
【００２２】
第１の補正変換パラメータ決定部１１０Ａと第２の補正変換パラメータ決定部１１０Ｂとはキャリブレーション部を構成する。第３の補正変換パラメータ決定部１１０Ｃと第４の補正変換パラメータ決定部１１０Ｄと画像変換部１２０とは画像補正部を構成する。
処理部１００は、補正変換パラメータ決定部１１０で求めた補正変換パラメータなどを記憶するメモリ１３０を備えている。
【００２３】
ここで、ディジタルカメラ４０による画像４２の画像情報を第１の補正変換パラメータ決定部１１０Ａに読み込み、ソフトウェアによって前記あおり撮影歪みを補正するための第１の補正変換パラメータを求める。
前記あおり撮影歪みの補正の原理を図４によって説明する。図４は前記矩形の頂点に配置された基準物を撮影した画像であり、前記基準物は前記あおり撮影歪によって台形の頂点４４ａ〜４４ｄに位置した画像となっている。同図において、図２と同じものには同一の符号を付して説明を簡略にする。
【００２４】
前記のように、基準物の点を結んだ実際の形状は寸法既知（例えばＡ＊Ｂcm）の矩形である。そこで、台形４４の各頂点４４ａ〜４４ｄに対応する点４４ａ１〜４４ｄ１が、点４４ａ、４４ｂを通る辺４４ａｂの垂直線上で、４４ａｂ：４４ｂｃ１＝Ａ：Ｂとなるように変換する第１の補正変換パラメータを求める。ここでは、補正変換後の４４ａ１、４４ｂ１が夫々４４ａ、４４ｂに一致するようにした。前記の如く変換された点を結んだ矩形４４ａ１−４４ｂ１−４４ｃ１−４４ｄ１は、基準物の点を結んだ矩形と相似な形状であり、基準点を結んだ形状の縮小された正射投影図形である。
【００２５】
なお、前記第１の補正変換パラメータは、４４ａｂ：４４ｂｃ１＝Ａ：Ｂ＊Ｍとなるように決定しても良い。但し、Ｍは一方向、ここではセンターラインの長手方向のみに適用される縮尺を示す任意の定数である。
即ち、第１の補正変換パラメータは、ディジタルカメラ４０の画像のあおり撮影歪みを補正して正射投影画像に変換する補正変換パラメータである。
【００２６】
次に、ＩＲカメラ３０による画像を処理部１００の第２の補正変換パラメータ決定部１１０Ｂに読み込み、ＩＲカメラ３０による画像の基準点の位置がディジタルカメラ４０による画像の基準点の位置と一致するようにＩＲカメラによる画像を変換する第２の補正変換パラメータを決定する。
この際、ディジタルカメラ４０による画像として、前記補正変換前の画像又は前記補正変換後の画像を用いることができる。前記補正変換後の画像は画像変換部１２０によって前記ディジタルカメラの画像を第１の補正変換パラメータで補正変換して求める。前記補正変換前の画像を用いて求めた第２の補正変換パラメータは、ＩＲカメラ３０の画像をディジタルカメラ４０による画像と同じ画像歪みをもつ画像に変換する補正変換パラメータである。この画像を更に前記第１の補正変換パラメータを用いて変換すればディジタルカメラ４０の画像と同一の縮尺の正射投影画像が得られる。
【００２７】
前記補正変換後の画像を用いて求めた第２の補正変換パラメータは、ＩＲカメラ３０の画像をディジタルカメラ４０の画像と同一の縮尺の正射投影画像に変換する補正変換パラメータである。
もし、ＩＲカメラ３０とディジタルカメラ４０とが光軸周りに相対的に回転した状態に設置されており、その結果、ＩＲカメラ３０による画像がディジタルカメラ４０による画像に対して回転したものとなっていても前記のように第２の補正変換パラメータを決定することによって回転関係は解消される。
【００２８】
そして、前記第１の補正変換パラメータ及び第２の補正変換パラメータはパソコンのメモリに記憶される。
なお、ＩＲカメラ３０とディジタルカメラ４０とが近接して設置されており、両者の画像歪みの差が小さい場合には、ディジタルカメラの画像に基づいて求めた前記第１の補正変換パラメータをそのまま第２の補正変換パラメータとしても良い。ＩＲカメラ３０の光軸とディジタルカメラ４０の光軸とが平行になるように設置されている場合も同様である。
【００２９】
次に、異常点位置検出を説明する。異常点位置検出では、異常の有無、状態を検出すべき対象を前記移動手段２０に設けられたＩＲカメラ３０及びディジタルカメラ４０で撮影する。この場合、ＩＲカメラ３０で特定できる位置又は寸法既知の基準物は必ずしも必要なく、ディジタルカメラ４０で特定できる位置又は寸法既知の基準物があれば良い。ディジタルカメラ４０は可視画像であり、画素数１００万画素を超える高精細な画像の得られるものが市販されており、ＩＲカメラ３０ではとらえることことができないがディジタルカメラ４０ではとらえることができる前記基準物を容易に選択することができる。
【００３０】
以下、例として路面のセンターラインを前記基準物として含む路面の異常点位置を検出する場合について説明する。なお、ＩＲカメラ３０とディジタルカメラ４０とは連動させて同時に撮影することが望ましく、特に移動手段２０を連続的に移動させつつ撮影する場合にはそのようにすることが望ましい。移動手段２０全体の姿勢が場所による路面状態の違いによってＩＲカメラ３０による撮影時とディジタルカメラ４０での撮影時で異なることの影響を除くためである。
【００３１】
図５（ａ）はディジタルカメラ４０によるセンターラインを含む路面の撮影画像である。センターラインの画像５０は前記あおり撮影による画像歪みのために台形となっている。ところで、センターラインは例えば線幅＊長さ＝１０ｃｍ＊２０００ｃｍの矩形と既知である。そこで、前記キャリブレーションで行ったと同様にして台形に歪んだセンターラインの画像５０を実際のセンターラインの形状と相似な矩形の画像に変換する第３の補正変換パラメータを補正変換パラメータ決定部１１０Ｃで求める。
【００３２】
この第３の補正変換パラメータは、前記第１の補正変換パラメータと一般に一致しない。キャリブレーションのための撮影を行った状態とは、路面の起伏などのために例えばあおり角や撮影距離、基準物の対するカメラの光軸周りの姿勢などが異なり、基準物への撮影方向も異なるからである。図５（ｂ）の５１は図５（ａ）とは異なる撮影方向から撮影したセンターラインの画像であり、台形が歪んだ形状となっている。前記第３の補正変換パラメータには、前記撮影方向が異なるための画像歪みの違いも補正するものである。
【００３３】
そして、第３の補正変換パラメータ決定部１１０Ｃは、前記第１の補正変換パラメータと前記第３の補正変換パラメータとの差異を求め、第４の補正変換パラメータ決定部１１０Ｄと画像変換部１２０とに出力する。そして、第４の補正変換パラメータ決定部１１０Ｄは、前記第２の変換パラメータに前記第３の補正変換パラメータ決定部１１０Ｃからの前記差異に基づく修正を加え第４の補正変換パラメータを求め、画像変換部１２０に出力する。このようにして求めた第４の補正変換パラメータは、ＩＲカメラ３０による異常点位置検出のための画像を正射投影画像に変換する変換パラメータである。
【００３４】
そして、画像変換部１２０は、ディジタルカメラ４０で撮影した路面の画像を前記第３の補正変換パラメータによって変換して、異常点位置を検出すべき路面のディジタルカメラ４０の画像の正射投影画像を求める。同様に、ＩＲカメラ３０で撮影した路面の画像を前記第４の補正変換パラメータによって変換して、異常点位置を検出すべき路面のＩＲカメラ３０の画像の正射投影画像を求める。このようにして求めた二つの正射投影画像は、対応する点同士を互い重ね合わせることができる画像である。
【００３５】
なお、異常点位置検出用画像の撮影時の状態がキャリブレーション時の状態とほぼ同じであれば、第３、第４の補正変換パラメータを求めることなく、ＩＲカメラの診断撮影画像に第２の補正変換パラメータを適用しても良い。
ＩＲカメラ３０で撮影された画像とディジタルカメラ４０で撮影された画像とを対応させることは、前記ＩＲカメラ３０での画像の解像度の低さに加えて、前記あおり角の差（α１−α２）に基づく画像歪みの差、各カメラの撮影レンズの焦点距離の差に基づく撮影倍率の差、各カメラの撮像素子の大きさの差に基づく画像の大きさの差があるので困難である。
【００３６】
しかしながら、正射投影画像に変換された前記二つの画像は、前記した如く対応する点同士を互い重ね合わせることができる画像であるから、両者の画像を対比させることによって、ＩＲカメラ３０による画像によって発見した路面の異常箇所を、容易に路面上に特定することができる。
さらに、ＩＲカメラ３０による画像を補正変換した画像をディジタルカメラ４０による画像を補正変換した画像の該当する位置にはめ込み合成することができる。さらに又、撮影範囲の一部が重複した複数の画像からパノラマ画像を作成することもできる。かかる処理は前記パソコンを画像合成部として用いることによって実現される。このようにすれば異常点を検出すべき対象の全体像の把握、図面との対比を容易に行うことができ上記特定作業がより容易となる。
【００３７】
なお、これまでに説明した補正変換パラメータを用いた補正変換は、いずれも一種の座標変換であり、そのアルゴリズムは知られたものである。
次に、処理部１００で行うキャリブレーション、補正変換パラメータ決定、画像変換の処理の手順を、キャリブレーションの手順を示す図６、及び異常点位置検出の手順を示す図７のフロチャートによって説明する。図６において、キャリブレーションの処理が開始されると、前記キャリブレーション用基準点を含むディジタルカメラ４０の画像が第１の補正変換パラメータ決定部１１０Ａに読み込まれ、表示される（ステップ１１）。そこで、表示された画面上での基準点の位置の指示と実際の寸法の入力を行う（ステップ１２）。すると、第１の補正変換パラメータ決定部１１０Ａは指示された基準点間の寸法を入力された寸法に該当させる第１の補正変換パラメータを算出する（ステップ１３）。
【００３８】
そして次に、前記キャリブレーション用基準点を含むＩＲカメラ３０の画像が第２の変換パラメータ決定部１１０Ｂに読み込まれ、表示される（ステップ１４）。そこで、表示された画面上での基準点の位置を指示する（ステップ１５）。更に、基準とするディジタルカメラの画像の種類、即ちあおり撮影による画像歪みのある画像か、正射投影画像に変換後の画像かを指示する（ステップ１６）。
【００３９】
すると、第２の補正変換パラメータ決定部１１０Ｂはステップ１５で指示された基準点の位置がステップ１６で指示された画像中の基準点の位置に該当するように第２の補正変換パラメータを算出して（ステップ１７）、第１及び第２の補正変換パラメータをメモリに記憶して（ステップ１８）、キャリブレーション処理を終了する。
【００４０】
図７において、異常点位置検出処理が開始されると、異常点位置を検出すべき対象物を撮影したディジタルカメラ４０の画像が第３の補正変換パラメータ決定部１１０Ｃに読み込まれ、表示される（ステップ２１）。そこで、表示された画面上での基準点の位置の指示と実際の寸法の入力を行う（ステップ２２）。すると、第３の補正変換パラメータ決定部１１０Ｃは指示された基準点間の寸法が入力された寸法に該当させる第３の補正変換パラメータを算出する（ステップ２３）。そして、メモリから読み出した第１の補正変換パラメータとステップ２３で求めた第３の補正変換パラメータとの差異を求める（ステップ２４）。
【００４１】
次いで、第４の補正変換パラメータ決定部１１０Ｄはメモリから第２の補正変換パラメータを読み出し、ステップ２４で求めた補正変換パラメータの差異に基づいて第２の補正変換パラメータを補正し、第４の補正変換パラメータを求める（ステップ２５）。
そして、画像変換部１２０は、前記異常点位置検出対象物を撮影したディジタルカメラの画像及び／又はＩＲカメラの画像を第３及び／又は第４の補正変換パラメータで補正変換して正射投影画像を求め、表示し（ステップ２６）、さらに、要すればステップ２６で求めたディジタルカメラの画像及び／又はＩＲカメラの画像に基づく正射投影画像を用いて、はめ込み合成やパノラマ合成処理を行い（ステップ２７）、異常点位置検出処理を終了する。
【００４２】
本発明の適用分野は、奥行き方向に広がる対象物、例えば路面状態の観察・分析に限定されるものではなく、カメラに対向する平面状対象物、例えば橋脚やビルの壁面及び窓枠、プラント等の構築物などの平面部分に適用することができる。
【００４３】
【発明の効果】
本発明のよれば、ＩＲカメラによる画像の分解能の低さを通常のカメラの画像を用いて十分に補い、路面等の異常を詳細に分析可能な画像を得ることができる。その結果、路面等の異常状態を詳細に把握すること、異常箇所を特定すること等路面等の状態の分析を容易に行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態例の画像撮影部による路面の撮影状況の概要を示す図。
【図２】図１のディジタルカメラで撮影された画像の状態を説明する説明図。
【図３】本発明の実施の形態例の処理部の構成を示す概略構成図。
【図４】あおり撮影歪みの補正方法の原理を説明する説明図。
【図５】異常点位置検出用画像の一例としての、センターラインを含む路面の画像。
【図６】キャリブレーション処理の手順を示したフローチャート。
【図７】異常点位置検出処理の手順を示したフローチャート。
【符号の説明】
３０………………………ＩＲカメラ
４０………………………ディジタルカメラ
４４ａ〜４４ｄ…………キャリブレーションにおける基準点の画像
４４ａ１〜４４ｄ１……補正変換された正射投影画像における基準点の位置
５０、５１………………センターラインの画像
１００……………………処理部
１１０……………………補正変換パラメータ決定部
１２０……………………画像変換部
１３０……………………メモリ
【図１】
0003994217.tif 000002
【図２】
0003994217.tif 000003
【図３】
0003994217.tif 000004
【図４】
0003994217.tif 000005
【図５】
0003994217.tif 000006
【図６】
0003994217.tif 000007
【図７】
0003994217.tif 000008