(57)【要約】      （修正有）【課題】対象物が部分毎に撮影された複数の画像に画像特徴の乏しい画像が含まれる場合にも、複数の画像から対象物の画像を得ることができる画像合成プログラム、方法及び装置を提供する。【解決手段】位置関係特定試行部１６が、対象物が部分毎に撮影された複数の画像に含まれる、撮影順序が連続する２つの画像の各々の画像特徴に基づき、前記２つの画像に写る対象物の部分の位置関係を特定する。また、カメラワーク推定部１８は、特定した前記位置関係からカメラワークを推定する。また、位置関係決定部は、推定したカメラワークに基づき、位置関係が特定できなかった画像の位置を決定する。そして、画像合成部２６が複数の画像を合成する。【選択図】図１
2018169967.tif 000002
【特許請求の範囲】
【請求項１】
対象物が部分毎に撮影された複数の画像のうち、処理画像及び当該処理画像と撮影順序が連続する比較画像の各々の画像特徴に基づき、前記比較画像に写る前記対象物の部分に対する前記処理画像に写る前記対象物の部分の位置関係を特定し、
特定した前記処理画像の前記位置関係からカメラワークを推定し、
推定した前記カメラワークに基づき、前記位置関係が特定できなかった画像に写る前記対象物の部分の位置を決定して前記複数の画像を合成する
処理をコンピュータに実行させる画像合成プログラム。
【請求項２】
前記比較画像に対する前記位置関係が特定できなかった前記処理画像について、前記処理画像に写る前記対象物の部分に対し、画像に写る前記対象物の部分が、カメラワークの主撮影方向と交差する副撮影方向に隣接する位置関係にある可能性がある前記画像を前記複数の画像から選択し、前記選択した画像に対する前記処理画像の前記位置関係の特定を試行する請求項１記載の画像合成プログラム。
【請求項３】
記憶部に予め記憶されたカメラワークの複数のパターンのうち、特定できた前記位置関係と整合しないパターンを候補から除外することで、前記カメラワークを推定する請求項１又は請求項２記載の画像合成プログラム。
【請求項４】
対象物が部分毎に撮影された複数の画像のうち、処理画像及び当該処理画像と撮影順序が連続する比較画像の各々の画像特徴に基づき、前記比較画像に写る前記対象物の部分に対する前記処理画像に写る前記対象物の部分の位置関係を特定し、
特定した前記処理画像の前記位置関係からカメラワークを推定し、
推定した前記カメラワークに基づき、前記位置関係が特定できなかった画像に写る前記対象物の部分の位置を決定して前記複数の画像を合成する
処理をコンピュータが実行する画像合成方法。
【請求項５】
対象物が部分毎に撮影された複数の画像のうち、処理画像及び当該処理画像と撮影順序が連続する比較画像の各々の画像特徴に基づき、前記比較画像に写る前記対象物の部分に対する前記処理画像に写る前記対象物の部分の位置関係を特定する特定部と、
特定した前記処理画像の前記位置関係からカメラワークを推定する推定部と、
推定した前記カメラワークに基づき、前記位置関係が特定できなかった画像に写る前記対象物の部分の位置を決定して前記複数の画像を合成する決定部と、
を含む画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像合成プログラム、画像合成方法及び画像合成装置に関する。
【背景技術】
【０００２】
動画像又は時系列に並んだ複数の静止画像から、時系列に連続する複数のフレーム画像を取得し、複数のフレーム画像のうち少なくとも２つ以上のフレーム画像を繋ぎ合わせて１つの静止画像を生成する第１の技術が提案されている。
【０００３】
また、撮影結果のフィールド間又はフレーム間の動きから検出される撮像結果の動きの軌跡から、ユーザが意図したカメラワークの軌跡を推定し、フィールド間又はフレーム間の動きを補正することで手振れ補正を行う第２の技術も提案されている。
【０００４】
また、ビデオカメラなどで撮影された映像の内容を撮影時のカメラワークによって分類する第３の技術も提案されている。第３の技術では、動画像から映像パターンの概略的な移動方向を検出し、検出した概略的な移動方向から、カメラワークをスチル、パン、ズームの３種類の何れかに分類している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２１０４２８号公報
【特許文献２】特開２００８−００５１０９号公報
【特許文献３】特開平１０−２４３３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
トンネルや橋梁などの構造物に対しては、例えばトンネルの壁面や橋梁の床板にひび割れ等の損傷が生じていないかを点検する作業が定期的に行われる。当該作業では、通常、損傷の有無を目視で点検しているが、目視点検よりも離れた位置から対象物を撮影し、撮影で得られた画像を参照して点検を行えるようにすることで、作業の省力化を実現することが期待されている。
【０００７】
但し、損傷の有無を確認できる程度の分解能で対象物を撮影することを前提にすると、損傷の大きさに比して対象物の大きさが非常に大きいので、必然的に、対象物を部分毎に複数の画像に分けて撮影することになる。一例として、ひび割れの幅0.1[mm]に対し、対象物の大きさは数〜数十[m]にも達する。そして、画像上で発見した損傷が対象物全体でどこに位置するかを把握するためには、対象物の部分毎に撮影した複数の画像を、対象物全体を被写体とする１つの画像に合成することが求められる。
【０００８】
複数の画像の合成に関し、第１の技術は、画像のパターンマッチングや特徴点追跡によって並進ベクトルを求めて画像の相対位置を算出している。しかし、対象物を部分毎に撮影した複数の画像には、画像中に背景領域が存在せず、対象物の一部分が全面を占めている画像が含まれており、このような画像は、パターンマッチングや特徴点追跡で利用される画像特徴が乏しい。第１の技術では、画像特徴が乏しい画像に対しては、パターンマッチングや特徴点追跡の精度が著しく低下するので、他の画像との相対位置を算出できないか、相対位置の算出精度が大幅に低下する。
【０００９】
また、第２の技術は、特徴点追跡により画像各部での動きベクトルを検出し、背景に属する動きベクトルのグループを検出し、検出したグループに属する動きベクトルを平均化することで、手振れ及びカメラワークによるカメラ動きベクトルを算出している。しかしながら、画像特徴が乏しい画像では動きベクトルの検出精度が著しく低下し、背景領域が存在しない画像では背景に属する動きベクトルのグループも検出できないので、第２の技術は有効に機能しない。
【００１０】
また、第３の技術は、画像の空間微分値と時間微分値との積の符号に基づいて、輝度パターンの概略的な移動方向を求めている。しかし、画像特徴が乏しい画像では画像の空間微分値に明瞭なピークが出現せず、時間微分値についても、画像特徴が乏しい画像に対応する時間ではピークが途切れることになる。従って、画像特徴が乏しい画像に対しては第３の技術も有効に機能しない。
【００１１】
一つの側面では、本発明は、対象物が部分毎に撮影された複数の画像に画像特徴の乏しい画像が含まれる場合にも、複数の画像から対象物の画像を得ることが目的である。
【課題を解決するための手段】
【００１２】
一つの実施態様では、対象物が部分毎に撮影された複数の画像のうち、処理画像及び当該処理画像と撮影順序が連続する比較画像の各々の画像特徴に基づき、比較画像に写る対象物の部分に対する処理画像に写る対象物の部分の位置関係を特定する。また、特定した前記処理画像の前記位置関係からカメラワークを推定する。そして、推定した前記カメラワークに基づき、前記位置関係が特定できなかった画像に写る対象物の部分の位置を決定して複数の画像を合成する。
【発明の効果】
【００１３】
一つの側面として、対象物が部分毎に撮影された複数の画像に画像特徴の乏しい画像が含まれる場合にも、複数の画像から対象物の画像を得られる、という効果を有する。
【図面の簡単な説明】
【００１４】
【図１】画像合成装置の機能ブロック図である。
【図２】作業者による対象物の撮影の一例を示すイメージ図である。
【図３】対象物を部分毎に撮影した場合の複数の画像及び各画像の撮影範囲の一例を示すイメージ図である。
【図４】カメラワークのパターンの一例を示すイメージ図である。
【図５】カメラワークパターン情報の一例を示す図表である。
【図６】画像合成装置として機能するコンピュータの概略ブロック図である。
【図７】画像合成処理の一例を示すフローチャートである。
【図８】対象物を部分毎に撮影した場合の各画像の撮影範囲及び各画像の撮影順序を時系列に示すイメージ図である。
【図９】画像相対位置推定処理の一例を示すフローチャートである。
【図１０】画像相対位置推定処理２の一例を示すフローチャートである。
【図１１】画像のマッチングにおける探索範囲の一例を示すイメージ図である。
【図１２】画像のマッチングにおける相対座標及び概略方向の算出の一例を示すイメージ図である。
【図１３】撮影順序＝２の画像を撮影順序＝１の画像とマッチングする処理を説明するイメージ図である。
【図１４】撮影順序＝３の画像を撮影順序＝２の画像とマッチングする処理を説明するイメージ図である。
【図１５】撮影順序＝４の画像を撮影順序＝３の画像とマッチングする処理を説明するイメージ図である。
【図１６】撮影順序＝５の画像を撮影順序＝４の画像とマッチングする処理を説明するイメージ図である。
【図１７】撮影順序＝５の画像を撮影順序＝１の画像とマッチングする処理を説明するイメージ図である。
【図１８】撮影順序＝６の画像を撮影順序＝５の画像とマッチングする処理を説明するイメージ図である。
【図１９】合成画像生成処理の一例を示すフローチャートである。
【図２０】他の画像との位置関係が特定された画像のみを配置して全体画像を作成する処理を説明するイメージ図である。
【図２１】撮影順序＝６の画像の位置を決定する処理を説明するイメージ図である。
【図２２】最終的に得られる合成画像の一例を示すイメージ図である。
【図２３】第１出力画像の一例を示すイメージ図である。
【図２４】第２出力画像の一例を示すイメージ図である。
【図２５】対象物を部分毎に撮影した場合の複数の画像及び各画像の撮影範囲の一例を示すイメージ図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１に示す画像合成装置１０は、画像取得部１２、ひび検出部１４、位置関係特定試行部１６、カメラワーク推定部１８、カメラワークパターン情報２２を記憶する記憶部２０、位置関係決定部２４、画像合成部２６及び画像出力部２８を含んでいる。
【００１６】
本実施形態では、図２に示すように、トンネルの壁面や橋梁の床板等の点検対象物３０(以下、単に「対象物３０」という)に対し、作業者３２が、撮影装置３４を操作して対象物３０の部分毎に複数の画像を撮影する。なお、図２では対象物３０に生じているひびに符号「３０Ａ」を付して示している。作業者３２は、図３に破線で示すように、隣り合う撮影範囲の一部が重複するように、対象物３０の各回の撮影操作を行う。対象物３０の各回の撮影で図３に破線で示す撮影範囲が撮影された場合、図３に示す画像Ｉ1〜Ｉ12が得られる。
【００１７】
また、図３に示す画像Ｉ1〜Ｉ12は、作業者３２が、撮影装置３４による撮影範囲を図４に示すパターン１に沿って移動させるカメラワークを行いながら、対象物３０を複数回撮影することで得られる。但し、作業者３２が対象物３０を撮影する際のカメラワークはパターン１に限られず、カメラワークのパターンとしては、例えば図４に示すパターン１〜２０等の何れかが実施され得る。なお、カメラワークのパターンは図４に示すパターン１〜２０に限定されるものではない。
【００１８】
記憶部２０に記憶されているカメラワークパターン情報２２は、一例として図５に示すように、カメラワークの個々のパターンを、時系列に切り替わる撮影範囲の移動方向の組み合わせ(図５では第１方向(Ｄ1)〜第４方向(Ｄ4))で表している。また、カメラワークパターン情報２２は、カメラワークの個々のパターンを表す情報に、互いに異なるパターン番号が各々付与されている。
【００１９】
画像合成装置１０の画像取得部１２は、撮影された対象物３０の部分毎の複数の画像(例えば図３に示す画像Ｉ1〜Ｉ12)を撮影装置３４から取得する。ひび検出部１４は、画像取得部１２によって取得された複数の画像に対し、ひび割れ等の損傷に相当する画像特徴(以下、単に「ひび」という)の有無を探索する。そして、ひび検出部１４は、前記探索によりひびを検出した場合に、検出したひびの幅、長さ、形状等の性状を検出し、ひびの性状を表す情報を、ひびを検出した画像を特定する情報と共に出力する。
【００２０】
位置関係特定試行部１６は、画像取得部１２によって取得された複数の画像から、撮影順序が連続する２つの画像を順に取り出し、取り出した２つの画像の各々の画像特徴に基づき、前記２つの画像に写る対象物３０の部分の位置関係の特定を試行する。カメラワーク推定部１８は、位置関係特定試行部１６によって位置関係が特定された複数の画像の位置関係と、記憶部２０に記憶されているカメラワークパターン情報２２と、に基づいて、作業者３２が対象物３０を撮影した際のカメラワークを推定する。位置関係決定部２４は、カメラワーク推定部１８によって推定されたカメラワークに基づいて、位置関係特定試行部１６によって他の画像との位置関係が特定されなかった画像の位置を決定する。
【００２１】
画像合成部２６は、位置関係特定試行部１６によって特定された複数の画像の位置関係及び位置関係決定部２４によって決定された画像の位置に基づいて、画像取得部１２によって取得された複数の画像を、対象物３０全体を被写体とする１つの画像に合成する。また、画像合成部２６は、ひび検出部１４から出力されたひびの情報を、合成した画像(第１出力画像)、及び、ひびが検出された合成前の画像(第２出力画像)に各々重畳する。
【００２２】
画像出力部２８は、画像合成部２６によって生成された第１出力画像及び第２出力画像を出力する。画像出力部２８が出力した第１出力画像及び第２出力画像は、例えば作業者３２等によって目視確認され、対象物３０の点検に供せられる。
【００２３】
なお、図１において、位置関係特定試行部１６は本発明における特定部の一例であり、カメラワーク推定部１８は本発明における推定部の一例であり、位置関係決定部２４及び画像合成部２６は本発明における決定部の一例である。
【００２４】
また、本実施形態において、画像合成装置１０は、例えば図６に示すコンピュータ５０で実現される。コンピュータ５０は、ＣＰＵ５２、メモリ５４、不揮発性の記憶部５６、入力部５８、表示部６０、記録媒体６４に対するデータの読み出しおよび書き込みを行う読出書込装置(Ｒ／Ｗ)６２、及び、通信Ｉ／Ｆ部６６を含む。ＣＰＵ５２、メモリ５４、記憶部５６、入力部５８、表示部６０、Ｒ／Ｗ６２及び通信Ｉ／Ｆ部６６は、バス６８を介して互いに接続されている。画像合成装置１０は、通信Ｉ／Ｆ部６６に接続されたネットワークを経由して撮影装置３４と通信可能とされている。
【００２５】
記憶部５６はＨＤＤ(Hard Disk Drive)、ＳＳＤ(Solid State Drive)、フラッシュメモリ等によって実現される。記憶部５６には、コンピュータ５０を画像合成装置１０として機能させるための画像合成プログラム７０が記憶されている。ＣＰＵ５２は、画像合成プログラム７０を記憶部５６から読み出してメモリ５４に展開し、画像合成プログラム７０に含まれる各プロセスを順次実行する。
【００２６】
画像合成プログラム７０は、画像取得プロセス７２、ひび検出プロセス７４、位置関係特定試行プロセス７６、カメラワーク推定プロセス７８、位置関係決定プロセス８０、画像合成プロセス８２及び画像出力プロセス８４を含む。ＣＰＵ５２は、画像取得プロセス７２を実行することで、図１に示す画像取得部１２として動作する。また、ＣＰＵ５２は、ひび検出プロセス７４を実行することで、図１に示すひび検出部１４として動作する。また、ＣＰＵ５２は、位置関係特定試行プロセス７６を実行することで、図１に示す位置関係特定試行部１６として動作する。また、ＣＰＵ５２は、カメラワーク推定プロセス７８を実行することで、図１に示すカメラワーク推定部１８として動作する。また、ＣＰＵ５２は、位置関係決定プロセス８０を実行することで、図１に示す位置関係決定部２４として動作する。また、ＣＰＵ５２は、画像合成プロセス８２を実行することで、図１に示す画像合成部２６として動作する。また、ＣＰＵ５２は、画像出力プロセス８４を実行することで、図１に示す画像出力部２８として動作する。
【００２７】
これにより、画像合成プログラム７０を実行したコンピュータ５０が画像合成装置１０として機能することになる。画像合成プログラム７０は開示の技術に係る画像合成プログラムの一例である。また、記憶部５６にはカメラワークパターン情報記憶領域８６が設けられており、カメラワークパターン情報記憶領域８６にはカメラワークパターン情報２２が記憶されている。これにより、記憶部５６は図１に示す記憶部２０として機能する。
【００２８】
なお、画像合成装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
【００２９】
次に本実施形態の作用として、図７を参照し、作業者３２が、撮影装置３４を操作して対象物３０の部分毎に対象物３０を複数の画像を撮影する作業を完了した後に、画像合成装置１０によって実行される画像合成処理を説明する。
【００３０】
画像合成処理のステップ１００において、画像取得部１２は、対象物３０を部分毎に撮影した複数の画像(例えば図３に示す画像Ｉ1〜Ｉ12)を撮影装置３４から取得する。ステップ１０２において、画像取得部１２は、ステップ１００で取得した複数の画像の撮影時刻を認識し、複数の画像を撮影時刻の昇順にソートし、個々の画像に撮影時刻の昇順の画像番号を各々付与する。画像の撮影時刻は、例えば画像がJPEG(Joint Photographic Experts Group)形式であればEXIF(Exchangeable Image File Format)情報に設定されている。ステップ１０２のソートにより、図８に一例を示すように、対象物３０を部分毎に撮影した画像Ｉ1〜Ｉ12は撮影時刻順に並べられる。
【００３１】
ステップ１０４において、ひび検出部１４は、画像取得部１２によって取得された複数の画像に各々に対してひびの有無を探索する。そして、ひび検出部１４は、前記探索によりひびを検出した場合に、検出したひびの幅、長さ、形状等の性状を検出し、ひびの性状を表す情報を、ひびを検出した画像を特定する情報と共にメモリ５４等に記憶させる。
【００３２】
次のステップ１０６において、位置関係特定試行部１６及びカメラワーク推定部１８は、画像相対位置推定処理を行う。以下、図９を参照し、画像相対位置推定処理の詳細を説明する。
【００３３】
画像相対位置推定処理のステップ１２０において、位置関係特定試行部１６は、処理画像(処理対象の画像)を指し示す画像番号cnに２を設定し、比較画像(処理画像とマッチングを行う画像)を指し示す画像番号rnに１を設定する。また位置関係特定試行部１６は、撮影位置の概略の移動方向(以下「概略方向」という)の順番を識別するための変数ｉ、及び、カメラワークの主撮影方向に沿った各行を識別するための変数ｊに各々１を設定し、ｊ番目の行内の画像数Ｌ(ｊ)に０を各々設定する。
【００３４】
なお、本実施形態において、カメラワークの主撮影方向は、図５に示すカメラワークパターン情報２２における第１方向(Ｄ1)に相当し、カメラワークパターン情報２２における第２方向(Ｄ2)はカメラワークの副撮影方向と称する。
【００３５】
次のステップ１２２において、位置関係特定試行部１６は、画像番号cnの処理画像(以下「処理画像cn」という)と、画像番号rnの比較画像(以下「比較画像rn」という)と、のマッチングを行う。このマッチングは、例えば比較画像rnに対する処理画像cnの相対位置Ｐ1〜Ｐ4(図１１参照)を全て包含する探索範囲９０内で、処理画像cnを１画素刻みでＸ方向及びＹ方向に移動させながら、各相対位置で比較画像rnと処理画像cnとの相関評価値を各々演算する。
【００３６】
なお、相対位置Ｐ1は処理画像cnの右下隅が比較画像rnの左上隅と所定幅(一例としては１画素幅)だけ重複する位置であり、相対位置Ｐ2は処理画像cnの左下隅が比較画像rnの右上隅と所定幅だけ重複する位置である。また、相対位置Ｐ3は処理画像cnの右上隅が比較画像rnの左下隅と所定幅だけ重複する位置であり、相対位置Ｐ4は処理画像cnの左上隅が比較画像rnの右下隅と所定幅だけ重複する位置である。また、相関評価値としては、画像間の相関を評価する公知の様々なパラメータの何れかを用いることができる
【００３７】
また、位置関係特定試行部１６は、探索範囲９０内の各相対位置毎に演算した相関評価値から最大値を抽出し、抽出した最大値が所定の閾値以上か否かを判定する。相関評価値の最大値が閾値未満の場合、処理画像cnは比較画像rnと連続していないと判断できる一方、相関評価値の最大値が閾値以上の場合は、相関評価値が最大値を示した相対位置で処理画像cnが比較画像rnと繋がる(連続する)と判断できる。
【００３８】
このため、位置関係特定試行部１６は、相関評価値の最大値が閾値以上の場合、図１２に示すように、相関評価値が最大値を示した相対位置から、比較画像rnを原点とする処理画像cnの相対座標(Ｘcn,Ｙcn)を求める。また、位置関係特定試行部１６は、原点から相対座標(Ｘcn,Ｙcn)へ向かうベクトル９２の角度を求め、比較画像rnに対する処理画像cnの概略方向を、ベクトル９２の角度に基づいて右、上、左、下の何れかに分類する。なお、一例として、ベクトル９２の角度が315°〜45°の範囲内であれば概略方向を右、45°〜135°の範囲内であれば概略方向を上、135°〜225°の範囲内であれば概略方向を左、225°〜315°の範囲内であれば概略方向を上に分類することができる。
【００３９】
ステップ１２２における処理画像cnと比較画像rnとのマッチングが完了すると、次のステップ１２４において、位置関係特定試行部１６は、処理画像cnは比較画像rnと連続しているか否かを判定する。処理画像cn及び比較画像rnが、例えば図８に示す画像Ｉ1,Ｉ2のように、対象物３０の縁が各々含まれる画像であれば、対象物３０の縁に相当する画像特徴から相関評価値の最大値が閾値以上になる。
【００４０】
しかし、例えば比較画像rnの撮影範囲が図８に示す画像Ｉ1の撮影範囲の左側に位置していた場合、比較画像rnには対象物３０の縁に相当する画像特徴が存在しないので、処理画像cnと比較画像rnとの相関評価値の最大値は閾値未満になる。この場合はステップ１２４の判定が否定されてステップ１２６へ移行する。ステップ１２６において、位置関係特定試行部１６は、他の画像との位置関係が不明な画像の情報を登録するための位置不明テーブルに、処理画像の画像番号cnを登録する。
【００４１】
次のステップ１２８において、位置関係特定試行部１６は、画像番号cnが、画像取得部１２によって取得された画像の総数に達したか否か判定する。ステップ１２８の判定が否定された場合はステップ１３０へ移行し、ステップ１３０において、位置関係特定試行部１６は、画像番号rn,cnを各々１だけインクリメントし、ステップ１２２に戻る。これにより、ステップ１２４、１２８の判定が各々否定されている間はステップ１２２〜１３０が繰り返され、処理画像cn及び比較画像rnを撮影順序の昇順に切り替えながら、相関評価値の最大値が閾値以上になる処理画像cn及び比較画像rnの組が探索される。
【００４２】
なお、ステップ１２８の判定が肯定されるのは、画像取得部１２によって取得された複数の画像の中に、相関評価値の最大値が閾値以上になる処理画像cn及び比較画像rnの組が存在しなかった場合である。この場合は、対象物３０の撮影に失敗した等が考えられるので、エラーを報知する処理等を行って画像相対位置推定処理を終了する。
【００４３】
一方、処理画像cn及び比較画像rnが、例えば図８に示す画像Ｉ1,Ｉ2のように、対象物３０の縁が各々含まれる画像であれば、対象物３０の縁に相当する画像特徴から相関評価値の最大値が閾値以上になる。これにより、ステップ１２４の判定が肯定されてステップ１３２へ移行する。
【００４４】
ステップ１３２において、位置関係特定試行部１６は、ステップ１２２で分類した比較画像rnに対する処理画像cnの概略方向を概略方向Ｄiに設定する。一例として、図８に示す画像Ｉ1が比較画像rnで、画像Ｉ2が処理画像cnである場合、図１３に示すように、画像Ｉ1に対する画像Ｉ2の概略方向は「右」と分類され、概略方向Ｄ1には「右」が設定される。位置関係特定試行部１６は、設定した概略方向Ｄiを、画像Ｉ1を原点とする画像Ｉ2の相対座標(Ｘ2,Ｙ2)と共にメモリ５４等に記憶させる。また、位置関係特定試行部１６は、処理画像cnの相対座標の原点に相当する比較画像の画像番号rnを基準画像REFcnに設定し、画像数Ｌ(ｊ)を１だけインクリメントし、基準画像REFcn及び画像数Ｌ(ｊ)もメモリ５４等に記憶させる。図１３に示す例では、画像Ｉ1,Ｉ2が位置関係が特定された画像(基準画像REFcn及び相対座標(Ｘcn,Ｙcn)がメモリ５４等に記憶された画像)になり、インクリメント後の画像数Ｌ(1)＝1になる。
【００４５】
次のステップ１３４において、カメラワーク推定部１８は、カメラワークパターン情報２２に規定されているカメラワークの個々のパターンから、第１方向が概略方向Ｄiに一致する全てのパターンを抽出する。例えば、図１３に示す例では、概略方向Ｄ1が「右」であるので、第１方向が「右」のパターン、すなわちパターン番号１,２,５,６,７,１０が抽出される。そして、カメラワーク推定部１８は、抽出した全てのパターンのパターン番号をパターンテーブルに設定する。
【００４６】
ステップ１３６において、位置関係特定試行部１６は、画像番号rn,cnを各々１だけインクリメントする。また、ステップ１３８において、位置関係特定試行部１６は、前述のステップ１２２と同様に、処理画像cnと比較画像rnとのマッチングを行う。そして、ステップ１４０において、位置関係特定試行部１６は、前述のステップ１２４と同様に、処理画像cnは比較画像rnと連続しているか否かを判定する。
【００４７】
処理画像cn及び比較画像rnが、例えば図８に示す画像Ｉ2,Ｉ3のように、対象物３０の縁が各々含まれる画像であれば、対象物３０の縁に相当する画像特徴から相関評価値の最大値が閾値以上になる。この場合、ステップ１４０の判定が肯定されてステップ１４２へ移行する。ステップ１４２において、位置関係特定試行部１６は、比較画像rnに対する処理画像cnの概略方向が概略方向Ｄiに一致しているか否か判定する。
【００４８】
一例として、図８に示す画像Ｉ2が比較画像rnで、画像Ｉ3が処理画像cnである場合、図１４に示すように、画像Ｉ2に対する画像Ｉ3の概略方向は「右」と分類され、概略方向Ｄ1に一致している。このような場合、ステップ１４２の判定が肯定されてステップ１４４へ移行する。ステップ１４４において、位置関係特定試行部１６は、画像Ｉ2を原点とする画像Ｉ3の相対座標(Ｘ3,Ｙ3)をメモリ５４等に記憶させる。また、位置関係特定試行部１６は、画像Ｉ3の相対座標の原点に相当する画像Ｉ2の画像番号=2を基準画像REF3に設定し、画像数Ｌ(1)を１だけインクリメントし、基準画像REF3及び画像数Ｌ(1)もメモリ５４等に記憶させる。図１４に示す例では、他の画像との位置関係が特定された画像(基準画像REFcn及び相対座標(Ｘcn,Ｙcn)がメモリ５４等に記憶された画像)として画像Ｉ3が追加され、インクリメント後の画像数Ｌ(1)＝2になる。
【００４９】
ステップ１４４の処理を行うとステップ１５４へ移行する。ステップ１５４において、位置関係特定試行部１６は、画像番号cnが、画像取得部１２によって取得された画像の総数に達したか否か判定する。ステップ１５４の判定が否定された場合はステップ１３６に戻る。これにより、ステップ１４０,１４２の判定が各々肯定され、かつステップ１５４の判定が否定されている間は、画像番号rn,cnを各々１ずつインクリメントしながら、ステップ１４４が繰り返される。
【００５０】
例えば、画像番号rn,cnのインクリメントに伴い、図８に示す画像Ｉ3が比較画像rnになり、画像Ｉ4が処理画像cnになった場合、図１５に示すように、画像Ｉ3に対する画像Ｉ4の概略方向は「右」と分類される。この例では、他の画像との位置関係が特定された画像として画像Ｉ4が追加され、インクリメント後の画像数Ｌ(1)＝3になる。
【００５１】
ところで、作業者３２が対象物３０を撮影する際に、例えば図４に示すパターン２に相当するカメラワークを行った場合、図８に示す画像Ｉ1〜Ｉ4が順に撮影された後、図８に示す画像Ｉ8が撮影される。これにより、画像Ｉ4が比較画像rn、画像Ｉ8が処理画像cnになる場面が生ずる。この場合、図示は省略するが、比較画像rnに対する処理画像cnの概略方向は「下」と分類され、概略方向Ｄ1の「右」と一致しないので、ステップ１４２の判定が否定されてステップ１４６へ移行する。
【００５２】
ステップ１４６において、位置関係特定試行部１６は、変数ｉ,ｊを各々１ずつインクリメントし、画像数Ｌ(ｊ)に１を設定し、比較画像rnに対する処理画像cnの概略方向を概略方向Ｄiに設定する。そして、位置関係特定試行部１６は、設定した概略方向Ｄi、比較画像rnを原点とする処理画像cnの相対座標(Ｘcn,Ｙcn)、比較画像の画像番号rnを設定した基準画像REFcn、及び、画像数Ｌ(ｊ)をメモリ５４等に記憶させる。例えば、画像Ｉ4が比較画像rnになり、画像Ｉ8が処理画像cnになった場合は、概略方向Ｄ2が「下」に設定され、画像数Ｌ(2)＝1になる。
【００５３】
次のステップ１５０において、カメラワーク推定部１８は、パターンテーブル内に登録されているパターン番号の数が１か否か判定する。ステップ１５０の判定が否定された場合はステップ１５２へ移行する。
【００５４】
ステップ１５２において、カメラワーク推定部１８は、パターンテーブルにパターン番号が登録されている個々のパターンについて、カメラワークパターン情報２２に規定されている第１方向〜第ｉ方向が、概略方向Ｄ1〜Ｄiと全て一致しているか否か判定する。そして、カメラワーク推定部１８は、第１方向〜第ｉ方向の中に、概略方向Ｄ1〜Ｄiと不一致が含まれるパターンについては、パターンテーブルからパターン番号を全て削除する。
【００５５】
例えば、概略方向Ｄ1が「右」で、概略方向Ｄ2が「下」の場合、概略方向Ｄ1の「右」が判明した時点で、第１方向が「右」のパターン１,２,５,６,７,１０がパターンテーブルに登録される。その後、概略方向Ｄ2の「下」が判明した場合、パターン６,７,１０は第２方向が「下」ではなく、概略方向Ｄ2と不一致であるので、パターンテーブルから削除される。
【００５６】
上記のステップ１５２の処理を行うと、ステップ１５４へ移行する。また、ステップ１５０の判定が肯定された場合は、ステップ１５２をスキップしてステップ１５４へ移行する。なお、ステップ１５２は、パターンテーブル内に登録されているパターン番号の数が１まで減少すると、ステップ１５０の判定が肯定されることで実行されない。このように、パターンテーブル内に登録されているパターン番号の数が１になると、カメラワーク推定部１８によるカメラワークのパターンの推定が完了したことになる。
【００５７】
一方、作業者３２が対象物３０を撮影する際に、例えば図４に示すパターン１に相当するカメラワークを行った場合、図８に示す画像Ｉ1〜Ｉ4が順に撮影された後、画像Ｉ5が撮影されることで、画像Ｉ4が比較画像rn、画像Ｉ5が処理画像cnになる場面が生ずる。この場合、例として図１６に示すように、比較画像rnと処理画像cnとの相関評価値の最大値が閾値未満になることで、ステップ１４０の判定が否定されてステップ１４８へ移行する。ステップ１４８において、位置関係特定試行部１６は、画像相対位置推定処理２を行う。以下、図１０を参照して画像相対位置推定処理２を説明する。
【００５８】
画像相対位置推定処理２のステップ１６０において、位置関係特定試行部１６は、画像cn-1が位置不明テーブルに登録されているか否かを判定する。例えば、図８に示すI5が処理画像となった場合、画像cn-1はI4となる。I4は、図１５のようにI3に対する相対位置が決まっているため位置不明テーブルには登録されていない。そのため、ステップ１６０の判定は否定され、ステップ１６２に移行する。一方、処理画像がI7の場合、画像cn-1はI6となる。I6は、図１８のように、I5に対する相対位置が定まっていないため位置不明テーブルに登録されている。そのため、ステップ１６０の判定は肯定され、ステップ１７８に移行する。
【００５９】
ステップ１６２において、位置関係特定試行部１６は、処理中のカメラワークの概略方向に含まれる画像数Ｌ(ｊ)が１であるか判定する。Ｌ(ｊ)が１で無い場合は、図４のパターン１、３、６、８、１１、１３、１６、１８のように、主撮影方向が一定なカメラワークの副撮影方向への切り替わり部分として、ステップ１６４に移行する。Ｌ(ｊ)が１の場合は、図４のパターン２，４、５、７、９、１０、１２、１４、１５、１７、１９、２０のように、主撮影方向が変わるカメラワークの方向変更部分として、ステップ１７０に移行する。
【００６０】
ステップ１６４において、位置関係特定試行部１６は、主撮影方向が一定なカメラワークの副撮影方向への切り替わり部分での相対位置を求めるために、前述のステップ１２２と同様のマッチングを、処理画像cnと比較画像cn-Ｌ(ｊ)-1について行う。例えば、処理画像が図８に示すI5の場合、cn=5、j=1、Ｌ(1)=3、となり、比較画像はI1となるため、I5とI1のマッチングを行う。
【００６１】
ステップ１６６において、位置関係特定試行部１６は、前述のステップ１２４と同様に、処理画像cnと比較画像cn-Ｌ(ｊ)-1が連続しているか否かを判定する。ステップ１６６の判定が肯定された場合はステップ１６８に移行する。
【００６２】
ステップ１６８において、位置関係特定試行部１６は、ｉとｊを１増加し、画像数Ｌ(ｊ)を１に設定する。さらに、概略方向Ｄｉを、処理画像cnと比較画像cn-Ｌ(ｊ)-1に対する概略方向に「斜」を付加する。例えば、図８に示す画像I5が処理画像で、画像I1が比較画像である場合、図１７に示すように、画像I1に対する画像I5の概略方向は「下」と分類され、概略方向Ｄ２には、「斜」を付加した「斜下」が設定される。位置関係特定試行部１６は、設定した概略方向Ｄiを、比較画像を原点とする処理画像の相対座標(Ｘcn,Ｙcn)と共にメモリ５４等に記憶させる。また、位置関係特定試行部１６は、処理画像cnの相対座標の原点に相当する比較画像の画像番号cn-Ｌ(ｊ)-1を基準画像REFcnに設定し、基準画像REFcn及び画像数Ｌ(ｊ)もメモリ５４等に記憶させる。
【００６３】
ステップ１７０において、カメラワーク推定部１８は、前述のステップ１５０と同様に、パターンテーブル内に登録されているパターン番号の数が１か否か判定する。ステップ１７０の判定が否定された場合はステップ１７２へ移行する。
【００６４】
ステップ１７２において、カメラワーク推定部１８は、前述のステップ１５２と同様に、パターンテーブルに登録されている個々のパターンについて、カメラワークパターン情報２２に規定されている第１方向〜第ｉ方向が、概略方向Ｄ1〜Ｄiと全て一致しているか否か判定する。そして、カメラワーク推定部１８は、第１方向〜第ｉ方向の中に、概略方向Ｄ1〜Ｄiと不一致が含まれるパターンについては、パターンテーブルからパターン番号を全て削除する。さらに、パターンテーブルに登録されているパターンが一つでない場合は、図５に示す各パターンに付与した優先の識別子が無のパターン番号を、パターンテーブルから削除する。例えば、図２５に示すように画像I1’から画像I12’が図５のカメラワークのパターン２で撮影されたとする。この場合、画像I1’から画像I5’までの処理が終わり、画像I6’が処理画像となった場合、ステップ１７２が実行される前には、パターンテーブルに、パターン２とパターン５が登録されている。ステップ１７２では、図５に示すパターン２の優先の識別子は有、パターン５の優先の識別子は無なので、カメラワーク推定部１８は、パターン５をパターンテーブルから削除する。
【００６５】
ステップ１７４において、位置関係特定試行部１６は、ｉとｊを１増加し、画像数Ｌ(ｊ)を１に設定する。さらに、パターンテーブルに残ったカメラワークのパターンの第ｉ番目の方向を図５のテーブルから読み出し、概略方向Ｄｉに設定する。
【００６６】
ステップ１７６において、位置関係特定試行部１６は、前述のステップ１２６と同様に、他の画像との位置関係が不明な画像の情報を登録するための位置不明テーブルに、処理画像の画像番号cnを登録する。
【００６７】
ステップ１７８において、位置関係特定試行部１６は、パターンテーブルに登録されているパターンの主撮影方向が一定であるか否かを判定するため、登録されたパターンが１，３、６、８、１１、１３、１６、１８のいずれかと一致するか判定する。ステップ１７８の判定が肯定されれば、ステップ１８０に移行する。ステップ１７８の判定が否定されれば、ステップ１８２に移行する。
【００６８】
ステップ１８０において、位置関係特定試行部１６は、前述のステップ１２２と同様のマッチングを、処理画像cnと比較画像cn-Ｌ(ｊ) -Ｌ(ｊ-1)-1について行う。例えば、処理画像が図８に示すI8の場合、cn=8、j=3、Ｌ(3)=2、Ｌ(2)=1となり、比較画像はI4となるため、I8とI4のマッチングを行う。
【００６９】
ステップ１８２において、位置関係特定試行部１６は、前述のステップ１２２と同様のマッチングを、処理画像cnと比較画像cn-Ｌ(ｊ) -Ｌ(ｊ-1) -Ｌ(ｊ-2)-1について行う。例えば、処理画像が図２５に示すI8’の場合、cn=8、j=3、Ｌ(3)=2、Ｌ(2)=1、Ｌ(1)=3となり、比較画像はI1’となるため、I8’とI1’のマッチングを行う。
【００７０】
ステップ１８４において、位置関係特定試行部１６は、前述のステップ１２４と同様に、処理画像と比較画像が連続しているか否かを判定する。ステップ１８４の判定が肯定された場合はステップ１８６に移行する。ステップ１８４の判定が否定された場合はステップ１８８に移行する。
【００７１】
ステップ１８６において、位置関係特定試行部１６は、画像数Ｌ(ｊ)を１増加する。さらに、比較画像を原点とする処理画像の相対座標(Ｘcn,Ｙcn)をメモリ５４等に記憶させる。また、処理画像の相対座標の原点に相当する比較画像の画像番号を基準画像REFcnに設定し、基準画像REFcn及び画像数Ｌ(ｊ)もメモリ５４等に記憶させる。ステップ１８８において、位置関係特定試行部１６は、画像数Ｌ(ｊ)を１増加し、メモリ５４等に記憶させる。ステップ１９０において、位置関係特定試行部１６は、前述のステップ１２６と同様に、他の画像との位置関係が不明な画像の情報を登録するための位置不明テーブルに、処理画像の画像番号cnを登録する。
【００７２】
上述した画像相対位置推定処理２を終了すると、画像相対位置推定処理(図９)のステップ１５０へ移行する。従って、画像相対位置推定処理(図９)では、画像番号＝２以降の画像に対し、ステップ１４４又はステップ１４６又は上述した画像相対位置推定処理２が選択的に実行される。これにより、撮影された複数の画像は、他の画像との位置関係を特定できた画像、すなわち基準画像REFcn及び相対座標(Ｘcn,Ｙcn)がメモリ５４等に記憶された画像と、他の画像との位置関係を特定できず位置不明テーブルに登録された画像と、に弁別される。
【００７３】
画像相対位置推定処理を終了すると、画像合成処理(図７)のステップ１０８へ移行し、ステップ１０８において、位置関係決定部２４及び画像合成部２６は、合成画像生成処理を行う。この合成画像生成処理の詳細について、図１９を参照して説明する。
【００７４】
合成画像生成処理のステップ２００において、画像合成部２６は、処理画像の画像番号cnに１を設定する。次のステップ２０２において、画像合成部２６は、処理画像の画像番号cnが位置不明テーブルに登録されているか否か判定する。ステップ２０２の判定が肯定された場合はステップ２０４へ移行する。
【００７５】
ステップ２０４において、画像合成部２６は、画像番号cnを１だけインクリメントし、ステップ２０２に戻る。これにより、ステップ２０２の判定が否定される迄、ステップ２０２,２０４が繰り返される。従って、画像番号＝１の画像が位置不明テーブルに登録されていた場合は、位置不明テーブルに登録されていない画像が出現する迄、画像番号cnが１ずつ増加される。
【００７６】
位置不明テーブルに登録されていない画像が出現すると、ステップ２０２の判定が否定されてステップ２０６へ移行する。合成画像生成処理が行われる時点では、パターンテーブル内に登録されているパターン番号の数が１になっており、カメラワーク推定部１８によるカメラワークのパターンの推定は完了している。このため、ステップ２０６において、画像合成部２６は、メモリ５４に予め確保した合成画像記憶領域のうち、推定されたカメラワークのパターンの開始点に対応する記憶位置に、処理画像のデータを展開して配置する。例えば、推定されたカメラワークのパターンがパターン１であれば、パターン１の開始点である左上隅に対応する位置に処理画像のデータが展開・配置される。
【００７７】
次のステップ２０８において、画像合成部２６は、画像番号cnを１だけインクリメントし、ステップ２１０において、画像合成部２６は、処理画像の画像番号cnが位置不明テーブルに登録されているか否か判定する。ステップ２１０の判定が肯定された場合はステップ２０８に戻り、ステップ２１０の判定が肯定される迄、ステップ２０８,２１０を繰り返す。これにより、位置不明テーブルに登録されていない画像が出現する迄、画像番号cnが１ずつ増加される。
【００７８】
位置不明テーブルに登録されていない画像が出現すると、ステップ２１０の判定が否定されてステップ２１２へ移行する。ステップ２１２において、画像合成部２６は、メモリ５４に記憶されている処理画像cnに対応する基準画像REFcn及び相対座標(Ｘcn,Ｙcn)を参照する。また、画像合成部２６は、合成画像記憶領域に既に展開・配置されている基準画像REFcnを原点として、相対座標(Ｘcn,Ｙcn)に対応する位置のＸＹ座標を、基準画像REFcnの合成画像記憶領域内でのＸＹ座標に基づいて演算する。そして、画像合成部２６は、合成画像記憶領域内のうち演算したＸＹ座標に対応する位置に、処理画像cnのデータを展開して配置する。
【００７９】
次のステップ２１４において、画像合成部２６は、画像番号cnが、画像取得部１２によって取得された画像の総数に達したか否か判定する。ステップ２１４の判定が否定された場合はステップ２０８に戻り、ステップ２１４の判定が肯定される迄、ステップ２０８〜ステップ２１４を繰り返す。これにより、例として図２０に示すように、画像Ｉ1〜Ｉ12のうち、画像特徴が乏しく位置不明テーブルに画像番号が登録された画像Ｉ6,Ｉ7を除いた各画像が、基準画像REFcn及び相対座標(Ｘcn,Ｙcn)に基づき、合成画像記憶領域に各々展開・配置される。
【００８０】
画像番号cnが画像の総数に達すると、ステップ２１４の判定が肯定されてステップ２１６へ移行する。ステップ２１６において、位置関係決定部２４は、位置不明テーブルは空になったか否か判定する。ステップ２１６の判定が否定された場合はステップ２１８へ移行し、ステップ２１８において、位置関係決定部２４は、位置不明テーブルに登録されている画像番号の中から最小の画像番号cnを選択し、選択した画像番号cnを位置不明テーブルから取り出す。
【００８１】
次のステップ２２０において、位置関係決定部２４は、パターンテーブルに登録されている唯一のパターン番号のカメラワークパターン情報２２及び画像数Ｌ(ｊ)の配列に基づいて、処理画像cnに隣接する上下左右の４方向の画像の画像番号を認識する。画像数Ｌ(ｊ)の配列の各要素は、作業者３２が行ったカメラワークにおいて、撮影範囲の移動の概略方向が変化する迄に撮影された個々の画像群の画像数−１の値が設定されている。また、個々の画像群の画像が撮影された際の撮影範囲の移動の概略方向はカメラワークパターン情報２２に規定されている。従って、これらの情報から、例えばカメラワークのパターンがパターン１であれば、図２０に示す画像Ｉ6に隣接する上下左右の４方向の画像が画像Ｉ2,Ｉ5,Ｉ7,Ｉ10であると認識できる。
【００８２】
ステップ２２２において、位置関係決定部２４は、ステップ２２０で画像番号を認識した、処理画像cnに隣接する上下左右の４方向の画像の中から、合成画像記憶領域に配置済みの画像を抽出する。例えば、図２０に示す画像Ｉ6については、画像Ｉ6に隣接する上下左右の４方向の画像Ｉ2,Ｉ5,Ｉ7,Ｉ10の中から、合成画像記憶領域に配置済みの画像として画像Ｉ2,Ｉ5,Ｉ10が抽出される。
【００８３】
次のステップ２２４において、位置関係決定部２４は、ステップ２２２で抽出した配置済みの画像に対する処理画像cnの概略方向及び配置済みの合成画像記憶領域内での画像の位置に基づき、処理画像cnの合成画像記憶領域内での位置(ＸＹ座標)を決定する。処理画像の位置の決定は、例えば以下の処理で実現できる。
【００８４】
すなわち、まずステップ２２２で抽出した、処理画像cnに隣接しかつ合成画像記憶領域内に配置済みの画像を、処理画像cnに対してＸ方向に隣接する(概略方向が「左」又は「右」)画像と、Ｙ方向に隣接する(概略方向が「上」又は「下」)画像と、に分類する。次に、処理画像cnに対してＸ方向に隣接する画像の合成画像記憶領域内でのＹ座標値から、処理画像cnの合成画像記憶領域内でのＹ座標値を決定する。例えば、処理画像cnに対してＸ方向に隣接する配置済みの画像の数が１個であれば、当該画像のＹ座標値を処理画像cnの合成画像記憶領域内でのＹ座標値に設定してもよい。また、例えば、処理画像cnに対してＸ方向に隣接する配置済みの画像の数が２個であれば、当該２個の画像のＹ座標値の平均値を処理画像cnの合成画像記憶領域内でのＹ座標値に設定してもよい。
【００８５】
また、処理画像cnに対してＹ方向に隣接する画像の合成画像記憶領域内でのＸ座標値から、処理画像cnの合成画像記憶領域内でのＸ座標値を決定する。例えば、処理画像cnに対してＹ方向に隣接する配置済みの画像の数が１個であれば、当該画像のＸ座標値を処理画像cnの合成画像記憶領域内でのＸ座標値に設定してもよい。また、例えば、処理画像cnに対してＹ方向に隣接する配置済みの画像の数が２個であれば、当該２個の画像のＸ座標値の平均値を処理画像cnの合成画像記憶領域内でのＸ座標値に設定してもよい。
【００８６】
なお、図２１には、図２０に示す画像Ｉ6の位置を、画像Ｉ2,Ｉ5の座標値から決定する例を示す。このように、処理画像cnに対してＸ方向に隣接する画像及びＹ方向に隣接する画像が各々１個以上あれば、処理画像cnの位置は決定できるので、Ｘ,Ｙの方向毎に各々１個の画像から処理画像cnの位置を決定してもよい。
【００８７】
次のステップ２２６において、画像合成部２６は、ステップ２２４で決定した処理画像cnの合成画像記憶領域内での位置に、処理画像cnのデータを展開して配置する。ステップ２２６を行うとステップ２１６に戻り、ステップ２１６の判定が肯定される迄、ステップ２１６〜ステップ２２６を繰り返す。これにより、位置不明テーブルに画像番号が登録されている画像が、画像番号の昇順に合成画像記憶領域内に展開・配置される。そして、位置不明テーブルが空になり、ステップ２１６の判定が肯定される時点では、一例として図２２に示すように、画像取得部１２によって取得された全ての画像が合成された合成画像が生成される。合成画像は、対象物３０全体を被写体とする１つの画像である。
【００８８】
ステップ２１６の判定が肯定されると合成画像生成処理を終了し、画像合成処理(図７)のステップ１１０へ移行する。ステップ１１０において、画像合成部２６は、ひび検出部１４によって検出されたひびに関する情報をメモリ５４等から読み出す。そして、画像合成部２６は、取得したひびに関する情報に基づき、合成画像生成処理(図１９)で生成した合成画像から、当該合成画像上でひびを強調表示した第１出力画像を生成する。画像合成部２６によって生成される第１出力画像の一例を図２３に示す。
【００８９】
次のステップ１１２において、画像合成部２６は、読み出したひびに関する情報に基づき、画像取得部１２によって取得された複数の画像の中から、ひび検出部１４によってひびが検出された画像を選択する。そして、画像合成部２６は、ひびに関する情報に基づき、選択した画像(ひびが検出された画像)から、当該画像上でひびを強調表示すると共に、ひびの詳細情報を付加した第２出力画像を生成する。画像合成部２６によって生成される第２出力画像の一例を図２３に示す。
【００９０】
ステップ１１４において、画像出力部２８は、画像合成部２６によって生成された第１出力画像及び第２出力画像を、例えば表示部６０に表示する等によって出力し、画像合成処理を終了する。
【００９１】
作業者は、画像出力部２８によって出力された第１出力画像を参照することで、対象物３０全体におけるひびの数や概略位置等を容易に把握することができる。また、作業者は、画像出力部２８によって出力された第２出力画像を参照することで、対象物３０に生じている個々のひびの性状等を容易に把握することができる。
【００９２】
このように、本実施形態では、位置関係特定試行部１６が、対象物３０が部分毎に撮影された複数の画像の各々を処理画像として以下の処理を行う。すなわち、位置関係特定試行部１６は、処理画像及び当該処理画像と撮影順序が連続する比較画像の各々の画像特徴に基づき、比較画像に写る対象物３０の部分に対する処理画像に写る対象物３０の部分の位置関係の特定を試行する。また、カメラワーク推定部１８は、位置関係特定試行部１６によって前記位置関係が特定できた画像の前記位置関係からカメラワークを推定する。また、位置関係決定部２４は、カメラワーク推定部１８によって推定されたカメラワークに基づき、位置関係特定試行部１６によって前記位置関係が特定できなかった画像に写る対象物３０の部分の位置を決定する。そして、画像合成部２６は複数の画像を合成する。これにより、対象物が部分毎に撮影された複数の画像に画像特徴の乏しい画像が含まれる場合にも、複数の画像から対象物の画像を得ることができる。
【００９３】
また、本実施形態では、位置関係特定試行部１６が、比較画像に対する前記位置関係が特定できなかった処理画像について、以下の処理を行う。すなわち、位置関係特定試行部１６は、処理画像に写る対象物３０の部分に対し、画像に写る対象物３０の部分が、カメラワークの主撮影方向と交差する副撮影方向に隣接する位置関係にある可能性がある前記画像を複数の画像から選択する。そして、位置関係特定試行部１６は、選択した画像に対する処理画像の前記位置関係の特定を試行する。これにより、撮影順序が連続する処理画像と比較画像の一方の画像特徴が乏しい、或いは、２つの画像の対象物上での撮影範囲が離れている等の場合にも、画像特徴に基づいて位置関係が特定される画像の数を増やすことができ、画像合成の精度が向上する。
【００９４】
また、本実施形態では、カメラワーク推定部１８が、記憶部２０に予め記憶されたカメラワークの複数のパターンのうち、位置関係特定試行部１６が特定できた前記位置関係と整合しないパターンを候補から除外することで、カメラワークを推定する。これにより、位置関係特定試行部１６が特定できた位置関係からパターンを表す情報を生成する場合と比較して、カメラワークを推定する処理を簡単にすることができる。
【００９５】
なお、上記では画像取得部１２によって取得された複数の画像から、撮影順序が連続する２つの画像を撮影順序の昇順に選択する態様を説明したが、これに限定されるものではなく、撮影順序が連続する２つの画像を撮影順序の降順に選択してもよい。
【００９６】
また、上記では位置関係特定試行部１６による画像の位置関係の特定と並行して、カメラワーク推定部１８がカメラワークの推定を行う態様を説明したが、これに限定されるものではない。例えば、位置関係特定試行部１６による画像の位置関係の特定が完了した後で、位置関係特定試行部１６が位置関係を特定できた全ての画像の位置関係に基づいて、カメラワーク推定部１８がカメラワークの推定を行うようにしてもよい。
【００９７】
また、上記では概略方向を上下左右の４方向とし、この４方向でカメラワークのパターンを表す態様を説明したが、これに限定されるものではない。例えば、図４に示すパターン１の第２方向は、図５によれば「下」であるが、正確には「次行先頭(左斜め下)」であり、パターン６の第２方向は、図５によれば「上」であるが、正確には「前行先頭(左斜め上)」である。このように、概略方向をより細分化するようにしてもよい。この場合、例えばパターン１とパターン２とは第２方向が相違することになり、より早い段階でカメラワークの推定を完了させることができる。
【００９８】
また、上記では本発明に係る画像合成プログラムの一例である画像合成プログラム７０が記憶部５６に予め記憶（インストール）されている態様を説明した。しかし、これに限定されるものではなく、本発明に係る画像合成プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、メモリカード等の記録媒体に記録されている形態で提供することも可能である。
【００９９】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【０１００】
以上の実施形態に関し、更に以下の付記を開示する。
【０１０１】
（付記１）
対象物が部分毎に撮影された複数の画像のうち、処理画像及び当該処理画像と撮影順序が連続する比較画像の各々の画像特徴に基づき、前記比較画像に写る前記対象物の部分に対する前記処理画像に写る前記対象物の部分の位置関係を特定し、
特定した前記処理画像の前記位置関係からカメラワークを推定し、
推定した前記カメラワークに基づき、前記位置関係が特定できなかった画像に写る前記対象物の部分の位置を決定して前記複数の画像を合成する
処理をコンピュータに実行させる画像合成プログラム。
【０１０２】
（付記２）
前記比較画像に対する前記位置関係が特定できなかった前記処理画像について、前記処理画像に写る前記対象物の部分に対し、画像に写る前記対象物の部分が、カメラワークの主撮影方向と交差する副撮影方向に隣接する位置関係にある可能性がある前記画像を前記複数の画像から選択し、前記選択した画像に対する前記処理画像の前記位置関係の特定を試行する付記１記載の画像合成プログラム。
【０１０３】
（付記３）
記憶部に予め記憶されたカメラワークの複数のパターンのうち、特定できた前記位置関係と整合しないパターンを候補から除外することで、前記カメラワークを推定する付記１又は付記２記載の画像合成プログラム。
【０１０４】
（付記４）
対象物が部分毎に撮影された複数の画像のうち、処理画像及び当該処理画像と撮影順序が連続する比較画像の各々の画像特徴に基づき、前記比較画像に写る前記対象物の部分に対する前記処理画像に写る前記対象物の部分の位置関係を特定し、
特定した前記処理画像の前記位置関係からカメラワークを推定し、
推定した前記カメラワークに基づき、前記位置関係が特定できなかった画像に写る前記対象物の部分の位置を決定して前記複数の画像を合成する
処理をコンピュータが実行する画像合成方法。
【０１０５】
（付記５）
前記比較画像に対する前記位置関係が特定できなかった前記処理画像について、前記処理画像に写る前記対象物の部分に対し、画像に写る前記対象物の部分が、カメラワークの主撮影方向と交差する副撮影方向に隣接する位置関係にある可能性がある前記画像を前記複数の画像から選択し、前記選択した画像に対する前記処理画像の前記位置関係の特定を試行する付記４記載の画像合成方法。
【０１０６】
（付記６）
記憶部に予め記憶されたカメラワークの複数のパターンのうち、特定できた前記位置関係と整合しないパターンを候補から除外することで、前記カメラワークを推定する付記４又は付記５記載の画像合成方法。
【０１０７】
（付記７）
対象物が部分毎に撮影された複数の画像のうち、処理画像及び当該処理画像と撮影順序が連続する比較画像の各々の画像特徴に基づき、前記比較画像に写る前記対象物の部分に対する前記処理画像に写る前記対象物の部分の位置関係を特定する特定部と、
特定した前記処理画像の前記位置関係からカメラワークを推定する推定部と、
推定した前記カメラワークに基づき、前記位置関係が特定できなかった画像に写る前記対象物の部分の位置を決定して前記複数の画像を合成する決定部と、
を含む画像合成装置。
【０１０８】
（付記８）
前記特定部は、前記比較画像に対する前記位置関係が特定できなかった前記処理画像について、前記処理画像に写る前記対象物の部分に対し、画像に写る前記対象物の部分が、カメラワークの主撮影方向と交差する副撮影方向に隣接する位置関係にある可能性がある前記画像を前記複数の画像から選択し、前記選択した画像に対する前記処理画像の前記位置関係の特定を試行する付記７記載の画像合成装置。
【０１０９】
（付記９）
前記推定部は、記憶部に予め記憶されたカメラワークの複数のパターンのうち、特定できた前記位置関係と整合しないパターンを候補から除外することで、前記カメラワークを推定する付記７又は付記８記載の画像合成装置。
【符号の説明】
【０１１０】
１０  画像合成装置
１６  位置関係特定試行部
１８  カメラワーク推定部
２０  記憶部
２４  位置関係決定部
２６  画像合成部
３０  対象物
３２  作業者
３４  撮影装置
５０  コンピュータ
５２  ＣＰＵ
５４  メモリ
５６  記憶部
７０  画像合成プログラム
【図１】
2018169967.tif 000003
【図２】
2018169967.tif 000004
【図３】
2018169967.tif 000005
【図４】
2018169967.tif 000006
【図５】
2018169967.tif 000007
【図６】
2018169967.tif 000008
【図７】
2018169967.tif 000009
【図８】
2018169967.tif 000010
【図９】
2018169967.tif 000011
【図１０】
2018169967.tif 000012
【図１１】
2018169967.tif 000013
【図１２】
2018169967.tif 000014
【図１３】
2018169967.tif 000015
【図１４】
2018169967.tif 000016
【図１５】
2018169967.tif 000017
【図１６】
2018169967.tif 000018
【図１７】
2018169967.tif 000019
【図１８】
2018169967.tif 000020
【図１９】
2018169967.tif 000021
【図２０】
2018169967.tif 000022
【図２１】
2018169967.tif 000023
【図２２】
2018169967.tif 000024
【図２３】
2018169967.tif 000025
【図２４】
2018169967.tif 000026
【図２５】
2018169967.tif 000027