(57)【要約】      （修正有）【課題】処理対象領域である部分領域の指定をより簡便な操作で可能とする画像処理装置を提供する。【解決手段】画像処理装置は、物体の構造が所定の座標系に従って描画された第１の画像に対して、第１の部分領域を指定し、物体を撮影することで得られた画像を含む第２の画像に対して、第１の部分領域に対応する第２の部分領域を指定する対応点スライド部３０９と、第１の部分領域の座標と第２の部分領域の座標とに基づいて、第２の部分領域の画像を所定の座標系に従った画像に変換するオルソ補正部３０７を有する。対応点スライド部３０９は、順次、第１の画像において互いに異なる第１の部分領域を指定する。ｋ回目に指定した第１の部分領域に基づいて、（ｋ＋１）回目の第１の部分領域を指定する。【選択図】図３
2020113247.tif 000002
【特許請求の範囲】
【請求項１】
物体の構造が所定の座標系に従って描画された第１の画像に対して、第１の部分領域を指定する第１の指定手段と、
前記物体を撮影することで得られた画像を含む第２の画像に対して、前記第１の部分領域に対応する第２の部分領域を指定する第２の指定手段と、
前記第１の画像における前記第１の部分領域の座標と前記第２の画像における前記第２の部分領域の座標とに基づいて、前記第２の部分領域の画像を前記所定の座標系に従った画像に変換する変換手段と、
を有し、
前記第１の指定手段は、順次、前記第１の画像において互いに異なる第１の部分領域を指定するよう構成されており、
前記第１の指定手段は、ｋ回目に指定した第１の部分領域に基づいて、（ｋ＋１）回目の第１の部分領域を指定する
ことを特徴とする画像処理装置。
【請求項２】
前記第１の画像における前記第１の部分領域の座標と前記第２の画像における前記第２の部分領域の座標とに基づいて座標変換行列を導出する導出手段を更に有し、
前記変換手段は、前記導出手段により導出された座標変換行列に基づいて、前記第２の部分領域の画像を前記所定の座標系に従った画像に変換する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の指定手段は、ｋ回目に指定した第１の部分領域を並進移動して得られかつｋ回目に指定した第１の部分領域に隣接する領域を、（ｋ＋１）回目の第１の部分領域として指定する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２の指定手段は、ｋ回目に指定した第２の部分領域に基づいて、（ｋ＋１）回目の第２の部分領域を指定する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第２の指定手段は、ｋ回目に指定した第２の部分領域を略並進移動して得られかつｋ回目に指定した第２の部分領域に隣接する領域を、（ｋ＋１）回目の第２の部分領域として指定する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
表示デバイスに、前記変換された第２の部分領域の画像を前記第１の部分領域に重ねて表示させる表示制御手段を更に有する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記表示制御手段は、前記表示デバイスに、前記第１の画像と前記第２の画像とを並べて表示させる
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第２の画像における前記物体の特徴線を検出する検出手段を更に有し、
前記第２の指定手段は、ｋ回目に指定した第２の部分領域の座標に基づいて、（ｋ＋１）回目の第２の部分領域を仮指定し、該仮指定された第２の部分領域を前記検出手段により検出された特徴線に基づいて修正する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項９】
前記第２の指定手段により前記修正が行われた場合に、視覚的、聴覚的または触覚的なフィードバックをユーザに提供する提供手段を更に有する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記第２の指定手段は、ｋ回目に前記導出手段が導出した座標変換行列の逆行列と（ｋ＋１）回目の前記第１の部分領域の座標とに基づいて導出された座標に基づいて、（ｋ＋１）回目の第２の部分領域を指定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項１１】
前記第１の部分領域と前記第２の部分領域の少なくとも一方に対するユーザからの修正を受け付ける受付手段を更に有する
ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記第１の画像は、前記物体の設計図面であり、
前記第２の画像は、前記物体を撮影して得られる撮影画像である
ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記物体は、構造物であり、
前記第２の画像は、前記構造物の壁面を撮影して得られる撮影画像であり、
前記変換手段によって変換された画像は、前記構造物の壁面に生じた変状検知処理に利用される
ことを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記第２の画像は、前記構造物の壁面の異なる領域をそれぞれ撮影して得られた複数の画像を合成した画像である
ことを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
前記第１の部分領域および前記第２の部分領域は、それぞれ同数の複数の基準点により指定される
ことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
【請求項１６】
前記変換手段は、前記複数の基準点の座標に基づいて、前記第２の画像の画像座標系を前記所定の座標系に射影変換するホモグラフィ行列を算出し、該算出したホモグラフィ行列を用いて前記第２の部分領域の画像を前記所定の座標系に従った画像に変換する
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記第１の指定手段は、ｋ回目の第１の部分領域に関して算出されたホモグラフィ行列の逆行列を利用して、（ｋ＋１）回目の第１の部分領域を指定する
ことを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
所定の座標系に従った画像を生成する画像処理装置の制御方法であって、
物体の構造が前記所定の座標系に従って描画された第１の画像に対して、第１の部分領域を指定する第１の指定工程と、
前記物体を撮影することで得られた画像を含む第２の画像に対して、前記第１の部分領域に対応する第２の部分領域を指定する第２の指定工程と、
前記第１の画像における前記第１の部分領域の座標と前記第２の画像における前記第２の部分領域の座標とに基づいて、前記第２の部分領域の画像を前記所定の座標系に従った画像に変換する変換工程と、
を含み、
前記第１の指定工程では、順次、前記第１の画像において互いに異なる第１の部分領域を指定し、
前記第１の指定工程では、ｋ回目に指定した第１の部分領域に基づいて、（ｋ＋１）回目の第１の部分領域を指定する
ことを特徴とする画像処理装置の制御方法。
【請求項１９】
コンピュータを、請求項１乃至１７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項２０】
構造物の壁面に生じた変状を検知する情報処理システムであって、
前記構造物が所定の座標系に従って描画された第１の画像に対して、第１の部分領域を指定する第１の指定手段と、
前記構造物の壁面を撮影して得られる撮影画像を含む第２の画像に対して、前記第１の部分領域に対応する第２の部分領域を指定する第２の指定手段と、
前記第１の画像における前記第１の部分領域の座標と前記第２の画像における前記第２の部分領域の座標とに基づいて、前記第２の部分領域の画像を前記所定の座標系に従った画像に変換する変換手段と、
前記変換手段によって変換された画像から、前記構造物の壁面に生じた変状を検知する検知手段と、
を有し、
前記第１の指定手段は、順次、前記第１の画像において互いに異なる第１の部分領域を指定するよう構成されており、
前記第１の指定手段は、ｋ回目に指定した第１の部分領域に基づいて、（ｋ＋１）回目の第１の部分領域を指定する
ことを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オルソ補正を行う画像処理技術に関するものである。
【背景技術】
【０００２】
従来、インフラ構造物の点検においては、目視によって構造物のひび割れなどの変状を確認し、それを正面図に書き込むことで帳票を作成していた。一方で、近年は、撮影画像に基づいた帳票の作成が行われるようになってきている。その場合、まず、正対する位置から構造物の壁面を撮影し、撮影画像を正面図に位置合わせする。そして、正面図に位置合わせした撮影画像上に直接変状を書き込むことで帳票を作成する。ただし、地形的な要因等により、構造物を正対する位置から撮影できない場合がある。
【０００３】
特許文献１では、地図と撮影画像を対応付け、撮影画像を地上に正対する位置から撮影した場合の見えに変換する技術が開示されている。変換により得られる画像はオルソ画像と呼ばれ、オルソ画像を得るための変換処理はオルソ補正処理と呼ばれる。特許文献１における地図を構造物の正面図と読み替えてオルソ補正処理を利用することにより、インフラ構造物の点検に利用可能な画像を得ることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４１１２０７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、アーチダム壁面のように構造物表面が曲面である場合、上述のオルソ補正処理により得られるオルソ画像は歪みを含んでしまうことになる。その場合、撮影画像全体に対してオルソ補正処理を適用する替わりに、撮影画像内の部分領域ごとにオルソ補正処理を適用することで、歪みの少ない画像を得ることができる。ただし、部分領域ごとに正面図と撮影画像の対応付け操作を繰り返し行う必要があり、手間がかかる処理となっている。
【０００６】
本発明は、このような問題に鑑みてなされたものであり、処理対象領域である部分領域の指定をより簡便な操作で可能とする技術を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上述の問題点を解決するため、本発明に係る画像処理装置は以下の構成を備える。すなわち、画像処理装置は、
物体の構造が所定の座標系に従って描画された第１の画像に対して、第１の部分領域を指定する第１の指定手段と、
前記物体を撮影することで得られた画像を含む第２の画像に対して、前記第１の部分領域に対応する第２の部分領域を指定する第２の指定手段と、
前記第１の画像における前記第１の部分領域の座標と前記第２の画像における前記第２の部分領域の座標とに基づいて、前記第２の部分領域の画像を前記所定の座標系に従った画像に変換する変換手段と、
を有し、
前記第１の指定手段は、順次、前記第１の画像において互いに異なる第１の部分領域を指定するよう構成されており、
前記第１の指定手段は、ｋ回目に指定した第１の部分領域に基づいて、（ｋ＋１）回目の第１の部分領域を指定する。
【発明の効果】
【０００８】
本発明によれば、処理対象領域である部分領域の指定をより簡便な操作で可能とする技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１実施形態に係る画像処理装置のハードウェア構成を示す図である。
【図２】表示デバイスに表示される画面を例示的に示す図である。
【図３】第１実施形態に係る画像処理装置の機能構成を示す図である。
【図４】対応点のスライド操作を説明する図である。
【図５】基準点テーブルおよび対応点テーブルを例示的に示す図である。
【図６】第１実施形態におけるオルソ補正処理のフローチャートである。
【図７】対応点指定処理（Ｓ６０２）の詳細フローチャートである。
【図８】対応点指定処理（Ｓ６０２）の他の詳細フローチャートである。
【図９】補助線の生成を説明する図である。
【図１０】第２実施形態に係る画像処理装置の機能構成を示す図である。
【図１１】第２実施形態におけるオルソ補正処理のフローチャートである。
【図１２】第３実施形態に係る画像処理装置の機能構成を示す図である。
【図１３】第３実施形態におけるオルソ補正処理のフローチャートである。
【図１４】表示デバイスに表示される画面を例示的に示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１１】
（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、物体である構造物の図面および当該構造物の撮影画像を入力し、当該撮影画像に基づくオルソ画像を生成する画像処理装置を例に挙げて以下に説明する。なお、構造物を正対する位置から撮影できない場合に、撮像装置の光軸を構造物に対して傾けた状態で行われる撮影手法は、あおり撮影と呼ばれることがある。また、被写体をあおり撮影した画像を、被写体に正対する位置から撮影した場合の見えに変換する処理をあおり補正と呼ぶことがある。以下、本明細書においてオルソ画像の生成（オルソ補正）という表現は、特定の変換手法に寄らず、撮像装置の光軸を被写体に対して傾けた状態で撮影された画像を変換し、被写体に正対した位置からの見えを再現する処理全般を含む。
【００１２】
＜装置構成＞
図１は、第１実施形態に係る画像処理装置のハードウェア構成を示す図である。
【００１３】
中央演算装置（ＣＰＵ）１０１は、コンピュータシステムの制御をつかさどる。ＣＰＵ１０１が、制御プログラムに基づいて、情報の演算や加工、各ハードウェアの制御を実行することにより後述する各機能構成、処理を実現する。ランダムアクセスメモリ（ＲＡＭ）１０２は、ＣＰＵ１０１の主メモリとして、実行プログラムのロードやプログラム実行に必要なワークメモリとして機能する。リードオンリーメモリー（ＲＯＭ）１０３は、ＣＰＵ１０１の動作処理手順を規定する制御プログラムを記録している。ＲＯＭ１０３には、コンピュータシステムの機器制御を行うシステムプログラムである基本ソフト（ＯＳ）を記録したプログラムＲＯＭとシステムを稼動するために必要な情報などが記録されたデータＲＯＭがある。ＲＯＭ１０３の代わりに後述のＨＤＤ１０７を用いる場合もある。
【００１４】
ネットワークインターフェース（ＮＥＴＩＦ）１０４は、ネットワークを介して送受信されるデータの入出力制御を行う。表示デバイス１０５は、例えば、ＣＲＴディスプレイや、液晶ディスプレイ等である。入力デバイス１０６は、ユーザからの操作指示を受け付けるための、例えば、タッチパネル、キーボード、マウスなどである。ハードディスクドライブ（ＨＤＤ）１０７は、記憶装置である。ＨＤＤ１０７は、アプリケーションプログラムなどのデータ保存用に用いられる。入出力バス１０８は、上述した各ユニット間を接続するためのバス（アドレスバス、データバス、及び制御バス）である。
【００１５】
図２は、表示デバイスに表示される画面を例示的に示す図である。当該画面は、ユーザに情報を提供しかつユーザからの入力を受け付けるグラフィカルユーザーインターフェース（ＧＵＩ）であり、画像処理装置による表示制御により表示デバイスに表示される。
【００１６】
画面には、図面読み込みボタン２０１、画像読み込みボタン２０２、図面表示領域２０３、撮影画像表示領域２０４、オルソ補正指示ボタン２０７、アプリケーション終了ボタン２０８が配置される。
【００１７】
図面読み込みボタン２０１は、図面の読み込みを指示するためのボタンである。ここで、図面とは、例えば、所定の座標系に従って描画された構造物の設計図面（正面図など）である。ＣＡＤソフトで用いられるような構造物の寸法情報を含むベクタ画像データでもよい。ベクタ画像データとは、線や円、多角形などの図形がベクトル情報により画像を表現する形式の画像データである。なお、図面としてラスタ画像データを使用してもよい。ラスタ画像データとは、色や濃度を表すピクセルの配列により画像を表現する形式の画像データである。そして、読み込まれた図面は、図面表示領域２０３に画像２０５として表示される。
【００１８】
画像読み込みボタン２０２は、撮影画像の読み込みを指示するためのボタンである。ここで、撮影画像とは、例えば、上述の図面に対応する構造物を撮影して得られる画像である。一般的には、撮影画像は、ラスタ画像データである。そして、読み込まれた撮影画像は、撮影画像表示領域２０４に画像２０６として表示される。
【００１９】
画像２０５において、正方形（□）で示した基準点２０９〜２１２は、図面上に配置された基準点である。画像２０６において、正方形で示した基準点２１３〜２１６は、撮影画像上に配置された基準点である。基準点２０９〜２１２及び基準点２１３〜２１６において、正方形内の数字が同一である基準点のペアは、構造物の同一位置を表す。このような基準点のペアを以下では対応点ペアと呼ぶ。すなわち、図２においては、基準点２０９と基準点２１３、基準点２１０と基準点２１４、基準点２１１と基準点２１５、基準点２１２と基準点２１６、の４つの対応点ペアが図示されている。なお、ここでは、正方形内の数字により構造物上の同一位置を表す図面上または撮影画像上の基準点を表現しているが、色や記号を割り当てることで対応点ペアを表してもよい。あるいは、ユーザにとって自明である場合等は、ペアの対応関係はＧＵＩ上では明示せずともよい。
【００２０】
図３は、第１実施形態に係る画像処理装置の機能構成を示す図である。図面入力部３０１は、図面の入力を受け付ける。図面表示部３０２は、図面入力部３０１によって入力された図面を図面表示領域２０３に表示する。撮影画像入力部３０３は、撮影画像の入力を受け付ける。撮影画像表示部３０４は、撮影画像入力部３０３によって入力された画像を撮影画像表示領域２０４に表示する。
【００２１】
基準点入力部３０５は、図面表示領域２０３上に表示された図面および撮影画像表示領域２０４上に表示された撮影画像について、入力デバイス１０６を介して基準点の座標入力を受け付ける。基準点管理部３０６は、基準点入力部３０５によって入力された基準点を保持する。
【００２２】
なお、図面上で基準点を入力する場合、入力された基準点が、図面に含まれる特徴点（線分の交点などの位置決めが容易な部分）を中心とした所定の範囲に収まっている場合、入力された基準点の座標を当該特徴点の座標で置き換えてもよい。また、図面上に表示されたマウスカーソルのようなポインタが、特徴点を中心とした所定の範囲に侵入した際に、当該特徴点にポインタを移動させてもよい。また、特徴点として、線分の交点だけでなく、図面に含まれる任意の図形の輪郭や任意の図形同士の輪郭の交点なども利用可能である。基準点やポインタの座標が補正された際に、ユーザに対して視覚的、聴覚的または触覚的フィードバックを与えることで、座標が補正されたことを明示してもよい。視覚的フィードバックには、座標が補正された際に、基準点やポインタの色を変える、基準点やポインタを点滅させる、基準点やポインタの大きさを変える等の方法が考えられる。聴覚的フィードバックには、座標が補正された際に、音を鳴らす等の方法が考えられる。触覚的フィードバックには、座標が補正された際に、入力デバイス１０６を振動させる等の方法が考えられる。
【００２３】
オルソ補正部３０７は、撮影画像に対してオルソ補正処理を実行する。オルソ補正処理における補正パラメータの入力として、基準点入力部３０５で指定された、図面上および撮影画像上の基準点を受け取る。オルソ画像出力部３０８は、オルソ補正部３０７によるオルソ補正処理の結果である画像を出力する。出力された画像はＨＤＤ１０７に格納される。表示デバイス１０５上に表示されるようにしてもよい。
【００２４】
対応点スライド部３０９は、複数の対応点ペアにより囲まれた部分領域に対するユーザ操作を受け付け、注目する部分領域（すなわち複数の対応点ペア）を更新する。具体的にはユーザ操作に基づいて複数の対応点ペアの移動方向および量を決定し、複数の対応点ペアそれぞれを構成する基準点の情報を更新する。ユーザ操作とは、例えば、図面の画像２０５上に配置された基準点群を、キーボードの方向キー操作またはマウスのドラッグ操作により略並進移動する操作である。
【００２５】
図４は、対応点のスライド操作を説明する図である。図４においては、目地に囲まれた矩形領域が連続的に６個並んで存在している状況を例示的に示している。図４（ａ）は、対応点のスライド操作前のイメージ図であり、４つの対応点ペアが図示されている。一方、図４（ｂ）は、対応点のスライド操作後のイメージ図であり、更新された４つの対応点ペアが図示されている。基準点４０１〜４０４はスライド操作後の図面における部分領域を規定する基準点群であり、基準点４０５〜４０８はスライド操作後の撮影画像における部分領域を規定する基準点群である。すなわち、対応点のスライド操作によって、図４（ａ）の４つの対応点ペアが、図４（ｂ）の４つの対応点ペアの位置に更新されたことを示している。つまり、本実施形態では、順次４つ以上の基準点が形成する部分領域に対してオルソ補正が実行される。このような処理において、ユーザがｋ回目の処理において指定した４つ以上の基準点が形成する部分領域に基づいて、（ｋ＋１）回目の処理に用いられる部分領域が指定される。ここでｋは１以上の整数である。
【００２６】
図５は、基準点テーブルおよび対応点テーブルを例示的に示す図である。図５（ａ）は図面における基準点の座標を格納する図面基準点テーブルであり、図５（ｂ）は、撮影画像における基準点の座標を格納する撮影画像基準点テーブルである。ここでは、図面及び撮影画像それぞれ４点の基準点を格納する例を示している。すなわち、図面及び撮影画像それぞれにおいて注目する部分領域が四角形である例を示している。また、図５（ｃ）は、対応点ペア（図面における基準点と撮影画像における基準点とのペア）を格納する対応点テーブルである。
【００２７】
例えば、スライド操作前の図面基準点テーブルは、ＩＤが「１」〜「４」の４点の基準点として、図４（ａ）に示す基準点２０９〜２１２の４点の座標を格納する。また、スライド操作前の撮影画像基準点テーブルは、ＩＤが「１」〜「４」の４点の基準点として、図４（ａ）に示す基準点２１３〜２１６の４点の座標を格納する。そして、スライド操作前の対応点テーブルは、ＩＤが「１」〜「４」の４点の対応点ペアとして、図４（ａ）において正方形内の数字が同じ基準点のペアを格納している。
【００２８】
なお、図５においては、注目する部分領域の対応点ペアに対して４個のＩＤ（「１」〜「４」）を割り当て、注目する部分領域を変更する際には当該４個のＩＤにおける基準点の座標を更新する構成としている。ただし、注目する部分領域を変更する際には、逐次異なるＩＤを追加してテーブルに格納するよう構成してもよい。例えば、１つ目の部分領域に対しては「１」〜「４」のＩＤを割り当て、２つ目の部分領域に対しては「５」〜「６」のＩＤを割り当てるといったように構成してもよい。
【００２９】
＜装置の動作＞
図６は、第１実施形態におけるオルソ補正処理のフローチャートである。当該処理は、例えば、ＣＰＵ１０１が、ＨＤＤ１０７に格納されたアプリケーションを実行することにより開始される。
【００３０】
Ｓ６０１では、図面入力部３０１および撮影画像入力部３０３は、それぞれ、図面および撮影画像の入力を受け付ける。そして、図形表示部３０２及び撮影画像表示部３０４は、それぞれ、図面および撮影画像を表示する。
【００３１】
Ｓ６０２では、基準点入力部３０５は、Ｓ６０１において入力された図面および撮影画像について複数の対応点ペアの入力を受け付ける。Ｓ６０２の詳細については、図７および図８を参照して後述する。Ｓ６０３では、対応点スライド部３０９は、複数の対応点ペアのスライド操作が入力されたかを判定する。ここで、スライド操作とは、注目する部分領域を変更する旨の操作を意図している。入力された場合、Ｓ６０４に進む。入力されていない場合、Ｓ６０５に進む。Ｓ６０４では、対応点スライド部３０９は、複数の対応点ペアをスライドさせる。すなわち、図面における基準点群と撮影画像における基準点群をそれぞれスライドさせる。
【００３２】
ここでは、複数の対応点ペアをスライドさせる向きは、入力デバイス１０６から取得する。例えば、入力デバイスとしてキーボードを使用する場合、入力された矢印キーの方向を、複数の対応点ペアをスライドさせる方向とする。また、複数の対応点ペアをスライドさせる移動量は、次のように算出する。まず、図面における基準点群（基準点２０９〜２１１）と撮影画像における基準点群（基準点２１３〜２１６）のそれぞれについてバウンディングボックス（外接矩形）を算出する。そして、スライドの向きが縦方向ならば当該バウンディングボックスの「高さ」をスライドさせる移動量とし、スライドの向きが横方向ならば当該バウンディングボックスの「幅」をスライドさせる移動量とする。すなわち、現在（ｋ回目において）注目している部分領域に隣接する領域を次回（（ｋ＋１）回目において）注目する部分領域としている。
【００３３】
Ｓ６０５では、基準点入力部３０５は、Ｓ６０２で入力されたまたはＳ６０４でスライドされた複数の対応点ペアに含まれる基準点について修正指示を受付たか否かを判定する。これは、スライド後の対応点ペアに含まれる図面における基準点と撮影画像における基準点とにズレがある（構造物における同一位置を指していない）場合、ユーザが手作業でズレを修正した場合に対応する。例えば、基準点の修正指示は、図面上または撮影画像上に表示された基準点をドラッグすることで受付られる。Ｓ６０５によって、ユーザはＳ６０４でスライドさせた複数の対応点ペアに含まれる基準点を個別に微修正することができる。複数の対応点ペアに含まれる基準点の修正が指示された場合、Ｓ６０６へ進む。そうでない場合、Ｓ６０７へ進む。Ｓ６０６では、基準点管理部３０６は、複数の対応点ペアに含まれる１以上の基準点が修正された場合に、対応点テーブルを更新する。
【００３４】
Ｓ６０７では、オルソ補正部３０７は、オルソ補正指示が入力されたかを判定する。オルソ補正指示が入力された場合、Ｓ６０８へ進む。入力されていない場合、Ｓ６１１へ進む。Ｓ６０８では、オルソ補正部３０７は、Ｓ６０１で入力された撮影画像からオルソ画像を得るための座標変換行列を算出する。ここでは、座標変換行列としてホモグラフィ行列を用いることを想定する。ホモグラフィ行列は、ある平面の画像座標系を別の平面の画像座標系に写像（射影変換）するホモグラフィ変換に用いる行列である。ホモグラフィ行列の算出には、ＤＬＴ（Direct Linear Transformation）法などの公知のアルゴリズムを用いればよい。なお、ＤＬＴ法では、ホモグラフィ行列の算出に４つ以上の対応点ペアが必要となる。
【００３５】
Ｓ６０９では、オルソ補正部３０７は、Ｓ６０８において求めたホモグラフィ行列を用いて、Ｓ６０１で入力された撮影画像の変換処理を実行する。Ｓ６１０では、オルソ画像出力部３０８は、Ｓ６０９において変換された撮影画像を出力する。Ｓ６１１では、ＣＰＵ１０１は、アプリケーションの終了指示が入力されているかを判定する。アプリケーションの終了指示は、アプリケーション終了ボタン２０８を押下することで入力される。終了指示が入力されている場合、処理を終了する。入力されていない場合、Ｓ６０３へ戻る。以上の処理により生成されたオルソ画像は、例えば構造物の表面に生じたひび割れなどの変状を検知する処理に利用される。このように本実施形態では、ユーザによるｋ回目の処理における指定操作に基づいて、（ｋ＋１）回目に用いる基準点群および部分領域を指定し、かつ、指定結果に対してユーザからの修正を受付可能としている。これにより、ユーザは広域を撮影した画像に対して細かく分割してオルソ補正を繰り返す場合でも、具体的な基準点の座標を指定する操作を少なくとも１回を行った後は、簡単なスライド操作の指示と必要がある場合に修正を行えばよい。そのため、ユーザの操作負荷が軽減される。
【００３６】
図７は、対応点指定処理（Ｓ６０２）の詳細フローチャートである。図７では、図面上で４点以上の基準点を指定した後、撮影画像上で対応する同数の基準点を指定することで、４個の対応点ペアを入力する方法を説明する。
【００３７】
Ｓ７０１では、基準点入力部３０５は、図面上で基準点が指定されたかを判定する。基準点が指定された場合、Ｓ７０２へ進む。指定されていない場合、Ｓ７０３へ進む。Ｓ７０２では、基準点入力部３０５は、指定された基準点を図面基準点テーブル（図５（ａ））に追加する。Ｓ７０３では、基準点入力部３０５は、図面基準点テーブルに格納された基準点が４点以上存在するかを判定する。存在する場合、Ｓ７０４に進む。存在しない場合、Ｓ７０１に進む。
【００３８】
Ｓ７０４では、基準点入力部３０５は、撮影画像上で基準点が指定されたかを判定する。基準点が指定された場合、Ｓ７０５へ進む。指定されていない場合、Ｓ７０６へ進む。Ｓ７０５では、基準点入力部３０５は、指定された基準点を撮影画像基準点テーブル（図５（ｂ））に追加する。Ｓ７０６では、基準点入力部３０５は、撮影画像基準点テーブルに格納された基準点が、図面基準点テーブルに格納された基準点と同数であるかを判定する。同数である場合、Ｓ７０７に進む。異なる場合、Ｓ７０４に進む。
【００３９】
Ｓ７０７では、基準点入力部３０５は、図面基準点テーブルおよび撮影画像基準点テーブルに格納された基準点から対応点ペアを生成する。具体的には、まず、両テーブルから同じＩＤを持つ基準点を取得する。そして、取得した基準点のペアを対応点ペアとして、対応点テーブル（図５（ｃ））に追加する。なお、図７では、図面の基準点の指定を先行して行ったが、撮影画像の基準点の指定を先行して行ってもよい。
【００４０】
図８は、対応点指定処理（Ｓ６０２）の他の詳細フローチャートである。図８では、図面上で基準点を指定した後、撮影画像上で対応する基準点の指定を行う、という操作を４回以上繰り返すことで４個の対応点ペアを入力する方法を説明する。
【００４１】
Ｓ８０１では、基準点入力部３０５は、図面上で基準点が指定されたかを判定する。基準点が指定された場合、Ｓ８０２へ進む。指定されていない場合、Ｓ８０６へ進む。Ｓ８０２では、基準点入力部３０５は、Ｓ８０１で指定された基準点を図面基準点テーブル（図５（ａ））に追加する。Ｓ８０３では、基準点入力部３０５は、撮影画像上で基準点が指定されたかを判定する。基準点が指定された場合、Ｓ８０４へ進む。指定されていない場合、Ｓ８０３へ進む。
【００４２】
Ｓ８０４では、基準点入力部３０５は、Ｓ８０３で指定された基準点を撮影画像基準点テーブル（図５（ｂ））に追加する。
【００４３】
Ｓ８０５では、基準点入力部３０５は、図面基準点テーブルおよび撮影画像基準点テーブルに格納された基準点から対応点ペアを生成する。具体的には、まず、両テーブルの最後尾の基準点を取得する。次に、取得した基準点のペアを対応点ペアとして、対応点テーブル（図５（ｃ））に追加する。なお、図７のＳ７０７及び図８のＳ８０５で対応点ペアを対応付けは、各基準点が指定された順序（ＩＤ）を根拠としたが、これに限らない。例えば、順序を問わず図面上と撮影画像上で同数の基準点が指定された段階で、各基準点群における相対位置が近い基準点同士をペアとするような処理を行ってもよい。
【００４４】
以上説明したとおり第１実施形態によれば、図６を参照して説明した動作により、部分領域を規定する複数（例えば４個）の対応点ペアを、Ｓ６０３〜Ｓ６１１のループで順次指定し、当該部分領域のオルソ画像を生成する。これにより、撮影画像の所望の領域に対応するオルソ画像を得ることが可能となる。特に、第１実施形態によれば、新たな部分領域に対応する複数の対応点ペアをスライド操作により簡単に設定することが出来、ユーザの労力を軽減することが可能となる。特に、図４に示されるように、目地に囲まれた矩形領域が連続的に複数個並んで存在している場合に、新たな部分領域の設定に係るユーザの労力を大幅に軽減することが可能となる。
【００４５】
ここで、Ｓ６１０における、変換後の画像の出力処理についてさらに説明する。本実施形態では、Ｓ６１０において、変換された撮影画像のデータはＲＡＭ１０２等の記憶領域に保持されるとともに、表示デバイスに表示されることによってユーザに提示される。
【００４６】
図１４は、図２に示したグラフィカルユーザーインターフェースの一態様を示す。図２で既に説明した要素には図２と同じ番号を付し、詳細な説明は省略する。
【００４７】
図１４（ａ）において、撮影画像表示領域２０４には、画像１４０１が表示されている。画像１４０１は、点検対象であるコンクリート壁面を撮影した画像の一部であり、目地に囲まれた矩形領域が連続的に並んでいる様子が撮像されている。ただし、本実施形態では、コンクリート壁面の点検に画像を利用するため、オルソ補正等の画像処理を実行した後の画像が一定以上の高解像度を維持していることが求められる。コンクリート壁面の広範囲を高解像度で撮影するために、コンクリート壁面を複数回に分割して、分割領域のそれぞれを高解像度で撮影し、スティッチ処理によって合成画像を生成する方法が利用されることがある。すなわち、画像１４０１は、コンクリート壁面を電子雲台と撮像装置を用いて分割撮影して得た撮像画像を、スティッチ合成することによって得られた画像であってもよい。
【００４８】
図面表示領域２０３には、画像１４０１に対応する図面データが画像１４０２として表示されている。図１４（ａ）は、補正指示前のイメージ図であり、１回目の操作として、４つの対応点ペアである基準点２０９〜２１６が指定されている（Ｓ６０２）。ユーザにより、オルソ補正が指示されると（Ｓ６０７でＹｅｓ）、画像の変換が実行される（Ｓ６０８、Ｓ６０９）。そして、変換後の画像が出力される（Ｓ６１０）。
【００４９】
図１４（ｂ）は、変換された画像が新たに表示されたグラフィカルユーザーインターフェースの一例を示す。ただし図１４（ｂ）では、対応点ペアのスライド操作はまだ指示されていない。図面表示領域２０３のうち、指示点２０９〜２１２で囲まれた矩形領域には、撮影画像表示領域２０４で指示点２１３〜２１６によって定義された部分の画像がオルソ変換された結果が重畳表示されている。このように、変換された画像を表示することで、ユーザは変換の結果を確認することができる。ユーザは、結果を確認した上で、次の処理のために対応点のスライド操作を指示する。
【００５０】
図１４（ｃ）は、対応点のスライド操作後を示す図であり、更新された４つの対応点ペアが図示されている。基準点１４０４〜１４０７はスライド操作後の図面における部分領域を規定する基準点群であり、基準点１４０８〜１４１１はスライド操作後の撮影画像における部分領域を規定する基準点群である。
【００５１】
また、本実施形態では、変換された画像を、検知器による変状検知処理の対象画像として入力として利用すれば、構造物の広い範囲に渡って構造物に生じている変状（例えばひび割れ）の位置や幅を自動推定することができる。検知器としては、機械学習された学習済みモデルを用いる。学習済みモデルは、構造物を撮影した画像を入力データ、人によって変状（例えばひび割れ）であることが確認された画素を出力データとし、これらの複数個の組を学習データとして機械学習することによって知識を獲得することで生成される。この際、検知結果を観察者が修正したデータを教師データとして再学習してもよい。学習済みモデルは、例えばニューラルネットワークモデルで構成可能である。
【００５２】
本実施形態では、ニューラルネットワークによりひび割れを検知する。ニューラルネットワークの入力は、２５画素×２５画素×ＲＧＢである。出力は１つであり、２５画素×２５画素の中央の画素のひび割れの尤度を表す値（０以上１以下の値）である。ニューラルネットワークは公知の技術であるため詳細な説明は省略する。なお、変状検知処理は、上述したオルソ補正処理と同じ画像処理装置、または当該画像処理装置とともに変状検知のための情報処理システムを構成する他の情報処理装置によって実行され得る。
【００５３】
なお、第１実施形態において、対応点ペアによって指定された部分画像ごとに座標変換され出力された画像は、図面表示領域２０３上での配置と、各画像から抽出される特徴点とに基づいて合成することも可能である。
【００５４】
（第２実施形態）
第２実施形態では、撮影画像に写り込んだ目地等の特徴線から補助線を生成し、新たな部分領域に対応する複数の対応点ペアの設定に当該補助線を利用する形態について説明する。
【００５５】
図９は、補助線の生成を説明する図である。図９（ａ）は、補助線の生成が行われる前の撮影画像を例示的に示す図である。撮影画像に対応する画像２０６には、目地（構造物の部材間の隙間や継ぎ目の部分）の特徴線９０１が写り込んでいる。図９（ｂ）は、生成された補助線が重畳された撮影画像を表す図である。補助線９０２は、特徴線９０１に基づいて生成された補助線である。
【００５６】
＜装置構成＞
図１０は、第２実施形態に係る画像処理装置の機能構成を示す図である。補助線生成部１００１は、画像認識等により、撮影画像に写り込んだ目地等の特徴線から補助線を生成する。なお、ユーザから手動で補助線の入力を受け付ける構成でもよい。上述したように、生成された補助線はスライド操作後の対応点ペアに含まれる基準点の補正に用いられる。
【００５７】
＜装置の動作＞
図１１は、第２実施形態におけるオルソ補正処理のフローチャートである。Ｓ６０１〜Ｓ６１１の各ステップは、図６と同様であるため説明を割愛する。
【００５８】
Ｓ１１０１では、補助線生成部１００１は、撮影画像に写り込んだ目地等の特徴線を抽出し、補助線を生成する。目地等の特徴線の抽出には、エッジ検出に利用されるＣａｎｎｙ法や直線等の特徴抽出に利用されるハフ変換を用いることが出来る。Ｓ１１０２では、基準点入力部３０５は、スライド操作によって仮指定された新たな複数の対応点ペアに含まれる基準点を、補助線や補助線の交点に基づいて修正する。例えば、対応点ペアに含まれる基準点が、補助線の交点を中心とした所定の範囲に収まっている場合、その基準点の座標を当該交点の座標で置き換える。また、対応点ペアに含まれる基準点が、補助線から所定の範囲に収まっている場合、その基準点から補助線に下ろした垂線の当該補助線との交点によって基準点の座標を修正してもよい。
【００５９】
以上説明したように、第２実施形態によれば、ユーザによるｋ回目の処理における指定操作に基づいて、（ｋ＋１）回目に用いる基準点を設定する際に、撮影画像に写りこんだ目地等の特徴線に基づいて補助線を生成し利用する。これにより、対応点ペアに含まれる図面における基準点と撮影画像における基準点のズレの修正におけるユーザの手間を軽減することが可能となる。
【００６０】
（第３実施形態）
第３実施形態では、新たな部分領域における複数の対応点ペアを、先行して処理した部分領域に対するオルソ補正処理で用いられた変換行列を用いて算出する形態について説明する。
【００６１】
＜装置構成＞
図１２は、第３実施形態に係る画像処理装置の機能構成を示す図である。撮影画像基準点算出部１２０１は、新たな部分領域に対応する図面における基準点群に基づいて、新たな部分領域に対応する撮影画像における基準点群を算出する。具体的には、先行して処理した部分領域に対するオルソ補正処理で用いられた変換行列を用いて、図面における基準点群から撮影画像における基準点群を算出する。
【００６２】
＜装置の動作＞
図１３は、第３実施形態におけるオルソ補正処理のフローチャートである。Ｓ６０１〜Ｓ６１１の各ステップは、図６と同様であるため説明を割愛する。
【００６３】
Ｓ１３０１では、対応点スライド部３０９は、図面における複数の基準点群のみスライドさせる。スライドさせる向きおよび量については第１実施形態（Ｓ６０４）と同様でよい。Ｓ１３０２では、対応点スライド部３０９は、Ｓ１３０１で算出された図面における基準点群を、図面に含まれる線分の交点に基づいて補正する。なお、基準点の補正は、線分の交点だけではなく、図面に含まれる任意の図形の輪郭や任意の図形同士の輪郭の交点に対して行われ得る。
【００６４】
Ｓ１３０３では、撮影画像基準点算出部１２０１は、Ｓ１３０１およびＳ１３０２で求めた図面における基準点群に対して、前回の部分領域（前回のＳ６０３〜Ｓ６１１のループ）に対してＳ６０８で算出された変換行列を適用する。これにより、撮影画像における基準点群が得られる。例えば、前回（ｋ回目のループ）の部分領域に対してＳ６０８で算出された変換行列がＨ(k)であったとする。また、今回（（ｋ＋１）回目のループ）における部分領域の図面における基準点群がｐｄｎ(k+1)であったとする。その場合、今回（（ｋ＋１）回目のループ）新たに設定する撮影画像における基準点群ｐｉｎ(k+1)は、以下の数式（１）により求めることが出来る。なお、ｎはＩＤであり、ここではｎ＝１，２，３，４である。また、Ｈ(k)−１は、Ｈ(k)の逆行列である。
ｐｉｎ(k+1)＝Ｈ(k)−１ｐｄｎ(k+1)  ・・・（１）
【００６５】
なお、数式（１）で求められた撮影画像における基準点群について、第２実施形態で説明した補助線を用いて更に補正を行ってもよい。
【００６６】
以上説明したように、第３実施形態によれば、新たな部分領域における複数の対応点ペアを、先行して処理した部分領域に対するオルソ補正処理で用いられた変換行列を用いて算出する。これにより、新たな部分領域に対応する撮影画像における基準点群の座標をより正確に導出することが出来、ズレの修正におけるユーザの手間を軽減することが可能となる。
【００６７】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６８】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００６９】
３０１  図面入力部；  ３０２  図面表示部；  ３０３  撮影画像入力部；  ３０４  撮影画像表示部；  ３０５  基準点入力部；  ３０６  基準点管理部；  ３０７  オルソ補正部；  ３０８  オルソ画像出力部；  ３０９  対応点スライド部
【図１】
2020113247.tif 000003
【図２】
2020113247.tif 000004
【図３】
2020113247.tif 000005
【図４】
2020113247.tif 000006
【図５】
2020113247.tif 000007
【図６】
2020113247.tif 000008
【図７】
2020113247.tif 000009
【図８】
2020113247.tif 000010
【図９】
2020113247.tif 000011
【図１０】
2020113247.tif 000012
【図１１】
2020113247.tif 000013
【図１２】
2020113247.tif 000014
【図１３】
2020113247.tif 000015
【図１４】
2020113247.tif 000016