(57)【要約】  目標物と障害物とを第１の方向及び第２の方向から撮影した第１の画像及び第２の画像を取得する画像取得部２２と、表示部２４の表示画面に表示された第１の画像及び第２の画像に対し、目標物が写り障害物が写っていない目標物領域を示す領域指定を受け付けて目標物領域を特定する領域特定部３４と、第１の画像と第２の画像との対応点を示す対応点情報を取得する対応点情報取得部３６と、対応点情報に基づいて、幾何変換情報を取得する幾何変換情報取得部３８と、幾何変換情報に基づいて、第２の画像の目標物領域を幾何変換する幾何変換部４０と、第１の画像の目標物領域と幾何変換された第２の画像の目標物領域とを合成して合成画像を生成する画像合成部４２と、を備える。
2018168405.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置により目標物と前記目標物よりも前記撮影装置に近い障害物とを第１の方向及び第２の方向から撮影した第１の画像及び第２の画像を取得する画像取得部と、
前記第１の画像及び前記第２の画像を表示画面に表示させる表示制御部と、
前記表示画面に表示された前記第１の画像及び前記第２の画像に対し、前記目標物が写り前記障害物が写っていない目標物領域を示す領域指定を受け付けて前記目標物領域を特定する領域特定部と、
前記第１の画像と前記第２の画像との対応点を示す対応点情報を取得する対応点情報取得部と、
前記対応点情報に基づいて、前記第１の画像に対し前記第２の画像の前記目標物領域を幾何変換する場合に用いられる幾何変換情報を取得する幾何変換情報取得部と、
前記幾何変換情報に基づいて、前記第２の画像の前記目標物領域を幾何変換する幾何変換部と、
前記第１の画像の前記目標物領域と前記幾何変換された前記第２の画像の前記目標物領域とを合成して合成画像を生成する画像合成部と、
を備える画像合成装置。
【請求項２】
前記領域特定部は、前記第２の画像における前記目標物領域の周囲の領域であって前記障害物が写っている領域を除く領域である周囲領域を特定し、
前記幾何変換部は、前記第２の画像の前記周囲領域を幾何変換し、
前記画像合成部は、前記幾何変換された前記第２の画像の前記周囲領域を含む前記合成画像を生成する、
請求項１に記載の画像合成装置。
【請求項３】
前記領域特定部は、前記目標物領域と同一面にある前記周囲領域を特定する、
請求項２に記載の画像合成装置。
【請求項４】
前記目標物領域が幾何変換された前記合成画像を表示させるか、前記目標物領域及び前記周囲領域が幾何変換された前記合成画像を表示させるかを示す表示切替指示を受け付ける表示切替指示受付部を備え、
前記表示制御部は、前記表示切替指示に応じて前記合成画像を前記表示画面に表示させる、
請求項２または３に記載の画像合成装置。
【請求項５】
前記領域特定部は、前記目標物領域の一部を示す領域指定に基づいて前記第１の画像及び前記第２の画像における前記目標物領域のエッジをトレースして前記目標物領域を特定する、
請求項１から４のうちいずれか一項に記載の画像合成装置。
【請求項６】
前記対応点情報取得部は、前記表示画面に表示された前記第１の画像及び前記第２の画像に対し、前記目標物領域における前記第１の画像と前記第２の画像との対応点の指定を受け付けることにより、前記対応点情報を取得する、
請求項１から５のうちいずれか一項に記載の画像合成装置。
【請求項７】
前記対応点情報取得部は、前記第１の画像と前記第２の画像とで特徴点を対比することにより、前記対応点情報を取得する、
請求項１から６のうちいずれか一項に記載の画像合成装置。
【請求項８】
前記対応点情報取得部は、前記目標物領域、及び前記目標物領域の周囲の領域であって前記障害物が写っている領域を除く領域である周囲領域のうち、少なくともいずれか一方の領域における前記第１の画像と前記第２の画像との対応点を示す対応点情報を取得する、
請求項１から７のうちいずれか一項に記載の画像合成装置。
【請求項９】
撮影装置により目標物と前記目標物よりも前記撮影装置に近い障害物とを第１の方向及び第２の方向から撮影した第１の画像及び第２の画像を取得するステップと、
前記第１の画像及び前記第２の画像を表示画面に表示させるステップと、
前記表示画面に表示された前記第１の画像及び前記第２の画像に対し、前記目標物が写り前記障害物が写っていない目標物領域を示す領域指定を受け付けて前記目標物領域を特定するステップと、
前記第１の画像と前記第２の画像との対応点を示す対応点情報を取得するステップと、
前記対応点情報に基づいて、前記第１の画像に対し前記第２の画像の前記目標物領域を幾何変換する場合に用いられる幾何変換情報を取得するステップと、
前記幾何変換情報に基づいて、前記第２の画像の前記目標物領域を幾何変換するステップと、
前記第１の画像の前記目標物領域と前記幾何変換された前記第２の画像の前記目標物領域とを合成して合成画像を生成するステップと、
を含む画像合成方法。
【請求項１０】
請求項９に記載の画像合成方法をコンピュータに実行させる画像合成プログラム。
【請求項１１】
請求項１０に記載の画像合成プログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、障害物像を含む複数の画像から障害物像がキャンセルされた合成画像を確実に生成可能な画像合成装置、画像合成方法及びプログラムに関する。
【背景技術】
【０００２】
従来、複数の画像から一枚の画像を生成する技術が知られている。【０００３】
特許文献１には、広範囲且つ高精細の画像であって連結処理に伴う誤差の累積が無い画像を得ることが困難であるという課題を解決するため、広角画像に対し望遠画像を合成する技術が記載されている。具体的には、同じ撮影位置から撮影した広角画像と望遠画像とを取得し、広角画像と望遠画像との対応点（合成基準点）をマニュアル操作により４組以上指定させ、その指定された４組以上の対応点に基づいて射影変換式を算出し、その算出された射影変換式を用いて望遠画像を射影変換し、その射影変換された望遠画像を広角画像中に合成する。【０００４】
特許文献２には、特許文献１と同様の課題を解決するため、複数の分割画像を画像歪み補正後に連結する技術が記載されている。具体的には、座標値が既知である点をマニュアル操作により４点以上指定させ、その指定された４点以上の点の座標値に基づいて各画像の画像歪みを補正し、その画像歪みが補正された複数の画像を連結する。【０００５】
また撮影条件に規則性がある場合に、画像中の障害物が写っている領域を自動的に補完する技術が知られている。【０００６】
特許文献３には、固定設置されたカメラと手術中の術部との間に介在する医師によって発生した遮蔽領域を補完する技術が記載されている。具体的には、予めカメラ画像間の射影変換行列（射影パラメータ）を算出しておき、医師の着用物（手術用キャップ、手術用手袋等）の色、形等の特性に基づいて医師の頭及び手の領域を遮蔽領域として検出し、予め算出しておいた射影変換行列を用いて遮蔽領域の補完を行う。【０００７】
特許文献４には、障害物を撮影可能な位置に第１のカメラを設置し、かつ障害物の背後を撮影する位置に第２のカメラを設置し、第１のカメラによって撮影された障害物像を含む映像に第２のカメラによって撮影された障害物の背後の映像を合成する技術が記載されている。具体的には、第１のカメラの映像には写っているが第２のカメラの映像には写っていない物体を障害物として検出し、第１のカメラの映像と第２のカメラの映像との対応点を四点抽出して射影変換行列（変換パラメータ）を算出し、その算出された射影変換行列を用いて第２のカメラの映像を変換し第１のカメラの映像に対し半透明に重ね合わせる。【０００８】
特許文献５には、任意視点画像を生成する際に、複数の画像間で対応点が無い領域を遮蔽領域として検出し、かつ検出された画像間の対応点の組を用いて射影変換行列（射影変換係数）を求め、その射影変換行列を用いて遮蔽領域の補完を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７−１６４２５８号公報
【特許文献２】特開２００４−２１５７８号公報
【特許文献３】特開２０１７−５２８８号公報
【特許文献４】特開２００９−５５３３２号公報
【特許文献５】特開２０１６−２１３５７８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
障害物像を含む複数の画像から障害物像がキャンセルされた合成画像を生成することが、現実には困難な場合がある。【００１１】
特許文献１、２は、連結処理に伴う誤差の累積が無い画像を得るための技術を開示しているが、障害物像がキャンセルされた合成画像を生成することが現実には困難であるという課題を解決するための手段について、開示も示唆もない。特許文献１、２には、マニュアル操作により対応点又は画像歪み補正のための点を指定させることが記載されているが、障害物像をキャンセルするためのマニュアル操作ではない。【００１２】
特許文献３に記載された技術では、撮影条件（カメラの内部及び外部パラメータ）に規則性がある固定設置のカメラで撮影することが前提であって、予めカメラ画像間の射影変換行列（射影パラメータ）を算出しておく構成であるため、撮影条件が大きく変動する場合には障害物像のキャンセルが困難になると考えられる。また障害物（遮蔽物）である医師の着用物に着目し、その着用物の色、形等の特性に基づいて障害物領域（遮蔽領域）を検出するが、障害物の色、形等の特性が不明又は不定である撮影条件では、障害物領域を検出することが困難になる。【００１３】
特許文献４に記載された技術では、障害物の背後を撮影する位置にカメラを配置できない撮影条件では、そもそも障害物の背後の映像を取得することができない。【００１４】
特許文献５に記載された技術では、検出可能な対応点の数が少ない撮影条件では、遮蔽領域を検出できなくなる。【００１５】
特許文献１〜５に記載のように、複数の画像から一枚の画像を生成すること、射影変換を用いること、対応点あるいは画像歪み補正用の点をマニュアル操作により指定させること、及び撮影条件の規則性を利用して障害物領域を補完することは、それぞれ公知である。しかしながら、障害物像がキャンセルされた合成画像を撮影条件が大きく変動する場合であっても生成可能な構成について、開示又は示唆した文献を見出せない。仮に特許文献１〜５の記載事項を組み合わせたとしても撮影条件に規則性がある場合に障害物像がキャンセルされた合成画像を生成できるにすぎないと考えられる。【００１６】
本発明は、障害物像を含む複数の画像から障害物像がキャンセルされた合成画像を確実に生成可能な画像合成装置、画像合成方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
上述した目的を達成するため、本発明の一の態様に係る画像合成装置は、撮影装置により目標物と目標物よりも撮影装置に近い障害物とを第１の方向及び第２の方向から撮影した第１の画像及び第２の画像を取得する画像取得部と、第１の画像及び第２の画像を表示画面に表示させる表示制御部と、表示画面に表示された第１の画像及び第２の画像に対し、目標物が写り障害物が写っていない目標物領域を示す領域指定を受け付けて目標物領域を特定する領域特定部と、第１の画像と第２の画像との対応点を示す対応点情報を取得する対応点情報取得部と、対応点情報に基づいて、第１の画像に対し第２の画像の目標物領域を幾何変換する場合に用いられる幾何変換情報を取得する幾何変換情報取得部と、幾何変換情報に基づいて、第２の画像の目標物領域を幾何変換する幾何変換部と、第１の画像の目標物領域と幾何変換された第２の画像の目標物領域とを合成して合成画像を生成する画像合成部と、を備える。【００１８】
本発明の一の態様によれば、表示画面に表示された第１の画像及び第２の画像に対し、目標物が写り障害物が写っていない目標物領域を示す領域指定が受け付けられて目標物領域が特定され、かつ第１の画像と第２の画像との対応点を示す対応点情報が取得され、その対応点情報に基づいて、第１の画像に対し第２の画像の目標物領域を幾何変換する場合に用いられる幾何変換情報が取得され、その幾何変換情報に基づいて、第２の画像の目標物領域が幾何変換され、第１の画像の目標物領域と幾何変換された第２の画像の目標物領域とが合成されて合成画像を生成するので、障害物像を含む複数の画像から障害物像がキャンセルされた合成画像を、例えば撮影条件が大きく変動する場合であっても、確実に生成可能になる。【００１９】
本発明の他の態様に係る画像合成装置では、領域特定部は、第２の画像における目標物領域の周囲の領域であって障害物が写っている領域を除く領域である周囲領域を特定し幾何変換部は、第２の画像の周囲領域を幾何変換し、画像合成部は、幾何変換された第２の画像の周囲領域を含む合成画像を生成する。本態様によれば、目標物領域だけでなく周囲領域も幾何変換された合成画像を得ることができる。【００２０】
本発明の更に他の態様に係る画像合成装置では、領域特定部は、目標物領域と同一面にある周囲領域を特定する。【００２１】
本発明の更に他の態様に係る画像合成装置では、目標物領域が幾何変換された合成画像を表示させるか、目標物領域及び周囲領域が幾何変換された合成画像を表示させるかを示す表示切替指示を受け付ける表示切替指示受付部を備え、表示制御部は、表示切替指示に応じて合成画像を表示画面に表示させる。本態様によれば、目標物領域のみ幾何変換された合成画像と目標物領域及び周囲領域が幾何変換された合成画像とを切替えて表示させることができる。【００２２】
本発明の更に他の態様に係る画像合成装置では、領域特定部は、目標物領域の一部を示す領域指定に基づいて第１の画像及び第２の画像における目標物領域のエッジをトレースして目標物領域を特定する。本態様によれば、目標物領域の全部を指定しなくても目標物領域の一部を指定するだけで目標物領域が特定されるので、障害物像の確実なキャンセルと領域指定の煩雑さの低減とを両立させることが可能になる。【００２３】
本発明の更に他の態様に係る画像合成装置では、対応点情報取得部は、表示画面に表示された第１の画像及び第２の画像に対し、目標物領域における第１の画像と第２の画像との対応点の指定を受け付けることにより、対応点情報を取得する。本態様によれば、画像分析により対応点情報を取得することが困難な場合でも、対応点の指定を受け付けることにより取得した対応点情報に基づいて幾何変換情報を確実に取得することが可能になる。【００２４】
本発明の更に他の態様に係る画像合成装置では、対応点情報取得部は、第１の画像と第２の画像とで特徴点を対比することにより、対応点情報を取得する。本態様によれば、画像分析（特徴点の対比）により対応点情報を取得できる場合に対応点指定を省略することが可能になる。【００２５】
本発明の更に他の態様に係る画像合成装置では、対応点情報取得部は、目標物領域、及び目標物領域の周囲の領域であって障害物が写っている領域を除く領域である周囲領域のうち、少なくともいずれか一方の領域における第１の画像と第２の画像との対応点を示す対応点情報を取得する。本態様によれば、障害物領域を除外して対応点情報を取得することにより、幾何変換情報の精度を高くすることが可能になる。また、目標物領域において対応点情報を取得することが難しい場合でも、周囲領域から対応点情報を取得することにより、幾何変換情報を確実に取得することが可能になる。【００２６】
本発明の更に他の態様に係る画像合成方法は、撮影装置により目標物と目標物よりも撮影装置に近い障害物とを第１の方向及び第２の方向から撮影した第１の画像及び第２の画像を取得するステップと、第１の画像及び第２の画像を表示画面に表示させるステップと、表示画面に表示された第１の画像及び第２の画像に対し、目標物が写り障害物が写っていない目標物領域を示す領域指定を受け付けて目標物領域を特定するステップと、第１の画像と第２の画像との対応点を示す対応点情報を取得するステップと、対応点情報に基づいて、第１の画像に対し第２の画像の目標物領域を幾何変換する場合に用いられる幾何変換情報を取得するステップと、幾何変換情報に基づいて、第２の画像の目標物領域を幾何変換するステップと、第１の画像の目標物領域と幾何変換された第２の画像の目標物領域とを合成して合成画像を生成するステップと、を含む。【００２７】
本発明の更に他の態様に係る画像合成プログラムは、上記の画像合成方法をコンピュータに実行させる。
【発明の効果】
【００２８】
本発明によれば、障害物像を含む複数の画像から障害物像がキャンセルされた合成画像を確実に生成可能になる。
【図面の簡単な説明】
【００２９】
【図１】図１は、本発明に係る第１の実施形態の画像合成装置の構成例を示すブロック図である。
【図２】図２は、目標物及び障害物を複数の撮影方向から撮影する様子を示す図である。
【図３】図３は、目標物及び障害物を複数の撮影方向から撮影して得られた複数の画像の例を示す図である。
【図４】図４は、障害物を十分に避けられず目標物及び障害物を撮影した画像の例を示す図である。
【図５】図５は、第１の実施形態における画像処理例の流れを示すフローチャートである。
【図６】図６は、目標物領域の周囲にある周囲領域の特定の説明に用いる説明図である。
【図７】図７は、第２の実施形態における画像処理例の流れを示すフローチャートである。
【図８】図８は、目標物領域特定の第１の態様の説明に用いる説明図である。
【図９】図９は、目標物領域特定の第２の態様の説明に用いる説明図である。
【図１０】図１０は、目標物領域特定の第３の態様の説明に用いる説明図である。
【図１１】図１１は、対応点情報取得の説明に用いる説明図である。
【発明を実施するための形態】
【００３０】
以下、添付図面を用いて、本発明に係る画像合成装置、画像合成方法及びプログラムの実施形態について説明する。
【００３１】
＜第１の実施形態＞
本発明に係る第１の実施形態の画像合成装置について説明する。
【００３２】
図１は、本発明に係る画像合成装置の構成例を示すブロック図である。本例の画像合成装置１０は、撮影装置１２により目標物を撮影して得られた複数の画像（以下「撮影画像」ともいう）を取得する画像取得部２２と、画像表示可能な表示画面を有する表示部２４と、ユーザの操作を受け付ける操作部２６と、プログラム及びプログラムの実行に必要な情報を記憶する記憶部２８と、プログラムに従って各種の処理を実行する処理部３０と、を備える。
【００３３】
画像取得部２２は、例えば通信デバイスによって構成される。例えばデジタルカメラ、スマートフォン等の撮影装置１２と、有線通信又は無線通信により直接的に通信する通信デバイスに限定されない。例えばデータベース等の記憶デバイスと、ネットワークを介して通信する通信デバイスでもよい。画像取得部２２は、メモリカード等の記録媒体とのインタフェースデバイスによって構成してもよい。表示部２４は、液晶表示デバイス等の表示デバイスによって構成される。操作部２６は、ユーザの操作を受け付ける操作デバイスによって構成される。記憶部２８は、一時的記憶デバイスと、非一時的記憶デバイスによって構成される。プログラムは非一時的記憶デバイスに記憶される。処理部３０は、例えば、コンピュータの一形態であるＣＰＵ（central processing unit）によって構成される。
【００３４】
処理部３０は、画像取得部２２によって取得された複数の画像を表示部２４の表示画面に表示させる表示制御部３２と、表示部２４の表示画面に表示された各画像の目標物領域を特定する領域特定部３４と、表示部２４の表示画面に表示された複数の画像間の対応点を示す対応点情報を取得する対応点情報取得部３６と、対応点情報取得部３６によって取得された対応点情報に基づいて幾何変換情報を取得する幾何変換情報取得部３８と、幾何変換情報取得部３８によって取得された幾何変換情報に基づいて、画像取得部２２によって取得された複数の画像の目標物領域を幾何変換する幾何変換部４０と、複数の画像を合成して合成画像を生成する画像合成部４２と、を備える。
【００３５】
画像取得部２２は、例えば図２に示すように、撮影装置１２により目標物ＴＧ及び障害物ＢＲ１，ＢＲ２を第１の撮影方向ＤＲ１（以下単に「第１の方向」という）から撮影して得られた第１の画像と、撮影装置１２により目標物ＴＧ及び障害物ＢＲ１，ＢＲ２を第１の方向ＤＲ１とは異なる第２の撮影方向ＤＲ２（以下単に「第２の方向」という）から撮影した第２の画像とを取得する。本例の障害物ＢＲ１，ＢＲ２は、目標物ＴＧよりも撮影装置１２に近い。
【００３６】
表示制御部３２は、例えば図３に示すように、表示部２４の表示画面に、画像取得部２２によって取得された第１の画像ＩＭＧ１及び第２の画像ＩＭＧ２を表示させる。
【００３７】
領域特定部３４は、表示部２４の表示画面に表示された第１の画像ＩＭＧ１及び第２の画像ＩＭＧ２に対し、目標物が写り障害物が写っていない目標物領域（ＴＡ１１、ＴＡ１２、ＴＡ１３、ＴＡ１４、ＴＡ２１、ＴＡ２２、ＴＡ２３、ＴＡ２４）を示す領域指定を受け付けることにより、第１の画像ＩＭＧ１の目標物領域（ＴＡ１１〜ＴＡ１４）及び第２の画像ＩＭＧ２の目標物領域（ＴＡ２１〜ＴＡ２４）を特定する。
【００３８】
対応点情報取得部３６は、表示部２４の表示画面に表示された第１の画像ＩＭＧ１と第２の画像ＩＭＧ２とで対応する特徴点である対応点を示す対応点情報を、取得する。
【００３９】
幾何変換情報取得部３８は、第１の画像ＩＭＧ１に対し第２の画像ＩＭＧ２を幾何変換する場合に用いられる幾何変換情報として、例えば射影変換行列を、取得する。尚、幾何変換情報は、射影変換行列には限定されない。第１の画像ＩＭＧ１に対し第２の画像ＩＭＧ２の目標物領域を幾何学的に変換する場合に用いられる情報であればよい。
【００４０】
幾何変換部４０は、第２の画像ＩＭＧ２の目標物領域（ＴＡ２１〜ＴＡ２４）を幾何変換する。例えば射影変換を実行する。
【００４１】
画像合成部４２は、第１の画像ＩＭＧ１の目標物領域（ＴＡ１１〜ＴＡ１４）と、幾何変換された第２の画像ＩＭＧ２の目標物領域（ＴＡ２１〜ＴＡ２４）とを合成して、合成画像を生成する。
【００４２】
＜撮影条件＞
図４において、画像ＩＭＧ１１、ＩＭＧ１２、ＩＭＧ１３、ＩＭＧ１４、ＩＭＧ１５は、撮影装置１２により共通の目標物である橋梁の床版を撮影して得られた複数の撮影画像である。床版の手前（つまり目標物と撮影装置１２との間）にパイプ等の障害物が存在する場合、その障害物を避けて床版を撮影すると、あおり角度（撮影装置１２の撮影光軸と床版の面とがなす角度である）の変動、回転角度（撮影装置１２の撮影光軸回りの角度である）の変動、及び撮影距離（撮影装置１２と床版との距離である）の変動が大きくなる。このような撮影条件（あおり角度、回転角度及び撮影距離）の変動が大きくなると、一般に撮影画像間の特徴点の対応関係を自動的に決定できない場合が生じる。更に、障害物を十分に避けて撮影することができなくなると、図中の符号ＩＭＧ１１〜ＩＭＧ１５の画像から分かるように、パイプ等の障害物像によって目標物像が欠けてしまう。よって、目標物と撮影装置１２との間に障害物があるために、撮影条件が大きく変動する場合でも、障害物像がキャンセルされた合成画像を生成できることが求められる。
【００４３】
また目標物及び障害物の特性が多様であっても、障害物像をキャンセルできることが求められる。例えば、目標物の顕著性が低い場合も、目標物の顕著性が高い場合と同様に障害物像がキャンセルされた合成画像が要求される。また、障害物の特性（形状、色、模様等）が不定又は不明である場合も、障害物の特性が一定かつ既知である場合と同様に障害物像がキャンセルされた合成画像が要求される。
【００４４】
＜第１の実施形態における画像処理例＞
本発明に係る画像合成方法を適用した第１の実施形態における画像処理例について、図５のフローチャートを用いて説明する。本例の画像処理は、記憶部２８に記憶されたプログラムに従って、処理部３０の制御により実行される。
【００４５】
まず、画像取得部２２によって、撮影装置１２により目標物と障害物とを第１の方向から撮影して得られた第１の画像ＩＭＧ１と、撮影装置１２により目標物と障害物とを第１の方向とは異なる第２の方向から撮影した第２の画像ＩＭＧ２とを、取得する（ステップＳ２）。
【００４６】
次に、表示制御部３２によって、第１の画像ＩＭＧ１及び第２の画像ＩＭＧ２を表示部２４の表示画面に表示させる（ステップＳ４）。
【００４７】
次に、操作部２６によって、表示部２４の表示画面に表示された第１の画像ＩＭＧ１及び第２の画像ＩＭＧ２に対し、目標物が写り障害物が写っていない目標物領域を示す領域指定を受け付けることにより目標物領域を特定する（ステップＳ６）。
【００４８】
次に、対応点情報取得部３６によって、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２との対応点を示す対応点情報を取得する（ステップＳ８）。
【００４９】
次に、幾何変換情報取得部３８によって、対応点情報に基づいて、第１の画像ＩＭＧ１に対し第２の画像ＩＭＧ２を幾何変換する場合に用いられる射影変換行列（幾何変換情報）を取得する（ステップＳ１０）。
【００５０】
次に、幾何変換部４０によって、取得された射影変換行列（幾何変換情報）に基づいて、第２の画像ＩＭＧの目標物領域を射影変換（幾何変換）する（ステップＳ１２）。
【００５１】
次に、画像合成部４２によって、第１の画像の目標物領域と幾何変換された第２の画像の目標物領域とを合成して合成画像を生成する（ステップＳ１４）。
【００５２】
次に、表示制御部３２によって、合成画像を表示部２４の表示画面に表示させる（ステップＳ１６）。
【００５３】
＜第２の実施形態＞
本発明に係る第２の実施形態の画像合成装置について説明する。尚、第１の実施形態の画像合成装置と同じ構成要素について、既に説明した内容を以下では省略する。
【００５４】
領域特定部３４は、撮影装置１２により目標物を撮影して得られた画像（撮影画像）のうち、目標物領域の周囲の領域であって、障害物が写っている障害物領域を除く領域である、周囲領域を特定する。例えば、図６に示す第２の画像ＩＭＧ２のうち、目標物領域（ＴＡ２１、ＴＡ２２、ＴＡ２３、ＴＡ２４）の周囲にある周囲領域（ＳＡ２１、ＳＡ２２、ＳＡ２３）を特定する。本例の領域特定部３４は、目標物領域（ＴＡ２１、ＴＡ２２、ＴＡ２３、ＴＡ２４）と同一面にある周囲領域（ＳＡ２１、ＳＡ２２、ＳＡ２３）を特定する。
【００５５】
幾何変換部４０は、領域特定部３４によって特定された周囲領域を幾何変換（本例では射影変換）する。つまり、本実施形態の幾何変換部４０は、領域指定を受け付けて特定した目標物領域を広げて、幾何変換対象領域とする。本例の周囲領域ＳＡ２１、ＳＡ２２、ＳＡ２３は目標物領域ＴＡ２１、ＴＡ２２、ＴＡ２３、ＴＡ２４と同一面上にあるので、目標物領域ＴＡ２１、ＴＡ２２、ＴＡ２３、ＴＡ２４の幾何変換に用いる幾何変換情報により、周囲領域ＳＡ２１、ＳＡ２２、ＳＡ２３の幾何変換を行えばよい。
【００５６】
画像合成部４２は、幾何変換された周囲領域を含む合成画像を生成する。
【００５７】
操作部２６（「表示切替指示受付部」の一形態である）は、目標物領域が幾何変換された合成画像を表示部２４の表示画面に表示させるか、目標物領域及び周囲領域が幾何変換された合成画像を表示部２４の表示画面に表示させるかを示す表示切替指示を受け付ける。つまり、操作部２６は、目標物領域から広げた領域である周囲領域の表示のオンとオフとを切替える指示を受け付ける。
【００５８】
表示制御部３２は、操作部２６により受け付けられた表示切替指示に応じて、合成画像を表示画面に表示させる。
【００５９】
＜第２の実施形態における画像処理例＞
本発明に係る画像合成方法を適用した第２の実施形態における画像処理例について、図７のフローチャートを用いて説明する。本例の画像処理は、記憶部２８に記憶されたプログラムに従って、処理部３０の制御により実行される。尚、図５に示した第１実施形態における画像処理例と同じステップに同じ符号を付してあり、既に説明した内容を以下では省略する。
【００６０】
ステップＳ２〜Ｓ６は、第１の実施形態の画像処理例と同様である。
【００６１】
次に、領域特定部３４によって、表示部２４の表示画面に表示された第２の画像ＩＭＧ２のうち、目標物領域の周囲の領域であって、障害物が写っている障害物領域を除く領域である、周囲領域を特定する（ステップＳ２２）。例えば、目標物領域と同一面にある領域（撮影装置１２までの距離がほぼ同じである領域）を周囲領域として特定する。撮影画像中の色、模様又は形状、あるいはこれらの組み合わせによって特定してもよい。ユーザから操作部２６により周囲領域の指定を受け付けてもよい。
【００６２】
続くステップＳ８〜Ｓ１２は、第１の実施形態の画像処理例と同様である。
【００６３】
次に、幾何変換部４０によって、ステップＳ１０で算出された射影変換行列（幾何変換情報）に基づいて、ステップＳ２２で特定された第２の画像ＩＭＧの周囲領域を射影変換（幾何変換）する（ステップＳ２４）。
【００６４】
次に、ステップＳ２６において、周囲領域を表示部２４の表示画面に表示させるか否かを判定する。つまり、操作部２６（表示切替指示受付部）によって目標物領域及び周囲領域が幾何変換された合成画像を表示させる指示を受け付けたか否かを、処理部３０によって判定する。
【００６５】
目標物領域及び周囲領域が幾何変換された合成画像を表示させる指示を受け付けた場合（ステップＳ２６でＹＥＳの場合）、画像合成部４２によって、目標物領域及び周囲領域を画像合成する（ステップＳ２８）。ステップＳ２６でＮＯの場合には、画像合成部４２によって、目標物領域を画像合成する（ステップＳ１４）。
【００６６】
次に、表示制御部３２によって、合成画像を表示部２４の表示画面に表示させる（ステップＳ１６）。
【００６７】
＜目標物領域特定の各種態様＞
領域特定部３４による目標物領域特定の各種態様について、説明する。
【００６８】
図２に示したように障害物ＢＲ１、ＢＲ２が存在し、且つ目標物ＴＧ（本例では橋梁の床版の下面）と障害物ＢＲ１、ＢＲ２（例えばパイプ）との間に撮影装置１２を位置させて撮影を行うことができなかった場合、撮影画像（例えば図３に示した第１の画像ＩＭＧ１及び第２の画像ＩＭＧ２）には障害物像が現れてしまう。このような場合の目標物領域特定の態様には、第１に、マニュアル操作による領域指定を受け付ける態様があり、第２に、マニュアル操作による領域指定の受け付けと画像分析との組合わせにより、目標物領域を特定する態様がある。
【００６９】
例えば、図８に示すように、第１の画像ＩＭＧ１の目標物領域ＴＡ１１、ＴＡ１２、ＴＡ１３、及びＴＡ１４のエッジＥＧ１１、ＥＧ１２、ＥＧ１３及びＥＧ１４からなる多角形を示すマニュアル操作と、第２の画像ＩＭＧ２の目標物領域ＴＡ２１、ＴＡ２２、ＴＡ２３、ＴＡ２４のエッジＥＧ２１、ＥＧ２２、ＥＧ２３及びＥＧ２４からなる多角形を示すマニュアル操作とを、操作部２６により受け付ける。このように領域特定部３４は、目標物領域のエッジを示すマニュアル操作を受け付けることにより、目標物領域を特定することができる。
【００７０】
例えば、図９に示すように、第１の画像ＩＭＧ１の目標物領域（ＴＡ１１〜ＴＡ１４）の多角形の頂点（Ｖ１１１〜Ｖ１１４、Ｖ１２１〜Ｖ１２４、Ｖ１３１〜Ｖ１３４、及びＶ１４１〜Ｖ１４４）を示すマニュアル操作と、第２の画像ＩＭＧ２の目標物領域（ＴＡ２１〜ＴＡ２４）の多角形の頂点Ｖ２１１〜Ｖ２１４、Ｖ２２１〜Ｖ２２４、Ｖ２３１〜Ｖ２３４、及びＶ２４１〜Ｖ２４４を示すマニュアル操作とを、操作部２６により受け付けてもよい。このように領域特定部３４は、目標物領域の頂点を示すマニュアル操作を受け付けることにより、目標物領域を特定することができる。
【００７１】
図１０は、目標物領域（ＴＡ１１〜ＴＡ１４及びＴＡ２１〜ＴＡ２４）の多角形の複数の頂点のうち一部（Ｖ１１１、Ｖ１１３、Ｖ１２１、Ｖ１２３、Ｖ１３１、Ｖ１３３、Ｖ１４１、Ｖ１４３、Ｖ２１１、Ｖ２１３、Ｖ２２１、Ｖ２２３、Ｖ２３１、Ｖ２３３、Ｖ２４１、及びＶ２４３）のみを示すマニュアル操作を受け付け、その頂点の指定に基づいてエッジＥＧ１１〜ＥＧ１４及びエッジＥＧ２１〜ＥＧ２４を画像分析により検出した場合を示す。つまり、領域特定部３４は、目標物領域（ＴＡ１１〜ＴＡ１４及びＴＡ２１〜ＴＡ２４）の一部（例えば各目標物領域を示す複数の頂点のうち一部の頂点）を示す領域指定に基づいて第１の画像における目標物領域（ＴＡ１１〜ＴＡ１４）のエッジ及び第２の画像ＩＭＧ２における目標物領域（ＴＡ２１〜ＴＡ２４）のエッジをトレースして、各目標物領域を特定する。このように領域特定部３４は、マニュアル操作による領域指定の受け付けと画像分析との組合わせにより、目標物領域を特定してよい。
【００７２】
尚、以上の説明では、直接的に目標物領域を示す領域指定を受け付けて目標物領域を特定する場合を説明したが、本発明は、障害物領域を示す領域指定を受け付けることにより間接的に目標物領域を示す領域指定を受け付けて目標物領域を特定する場合であってもよい。つまり、目標物領域（あるいは目標物領域と周囲領域との和）と非障害物領域とが同一である又は対応関係がある場合には、障害物領域を示す領域指定を受け付けることは、目標物領域（あるいは目標物領域と周囲領域との和）を受け付けることと同一視できる。
【００７３】
＜対応点情報取得の各種態様＞
対応点情報取得部３６による対応点情報取得の各種態様について、説明する。
【００７４】
第１に、表示部２４の表示画面に第１の画像ＩＭＧ１及び第２の画像ＩＭＧ２を表示させ、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２との対応点の指定を受け付けて、対応点情報を取得する態様がある。例えば、図３に示した複数の撮影画像（第１の画像ＩＭＧ１、第２の画像ＩＭＧ２）が、撮影装置１２の撮影により得られたものとする。例えば、対応点情報取得部３６は、表示部２４の表示画面に表示された第１の画像ＩＭＧ１及び第２の画像ＩＭＧ２に対し、目標物領域（ＴＡ１１〜ＴＡ１４、ＴＡ２１〜ＴＡ２４）における第１の画像ＩＭＧ１と第２の画像ＩＭＧ２との対応点の指定を操作部２６により受け付けることにより、対応点情報を取得する。図１１は、第１の画像ＩＭＧ１の特徴点ＦＰ１１と第２の画像ＩＭＧ２の特徴点ＦＰ２１との組合わせ（対応点）を示す直線ＣＬ１と、第１の画像ＩＭＧ１の特徴点ＦＰ１２と第２の画像ＩＭＧ２の特徴点ＦＰ２２との組合わせ（対応点）を示す直線ＣＬ２とを、操作部２６により受け付けた状態を示している。このようにマニュアル操作のみにより対応点の指定を受け付ける場合、四組以上の対応点の指定（本例では四本の直線の指定）を受け付ければよい。
【００７５】
第２に、第１の画像ＩＭＧ１及び第２の画像を画像分析することにより、対応点情報を取得する態様がある。例えば、対応点情報取得部３６は、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２とで目標物領域（ＴＡ１１〜ＴＡ１４、ＴＡ２１〜ＴＡ２４）における特徴点を対比することにより、対応点情報を取得する。
【００７６】
第３に、マニュアル操作による対応点の指定を受け付ける態様（第１の態様）と画像分析を行う態様（第２の態様）との組合わせにより、対応点情報を取得する態様がある。例えば、対応点情報取得部３６は、図３に示したように表示部２４の表示画面に表示された第１の画像ＩＭＧ１及び第２の画像ＩＭＧ２に対し、一組の対応点の指定を操作部２６により受け付ける。対応点情報取得部３６は、他の組の対応点を画像分析により検出する。図１１に示したように、二組の対応点の指定を操作部２６により受け付け、他の組の対応点を画像分析により検出してもよい。対応点情報取得部３６は、他の組の対応点を画像分析により検出する際に、操作部２６により受け付けた対応点に基づいて、他の組の対応点の検出条件を限定することにより、対応点検出の精度を高めることが可能である。例えば、各撮影画像における指定された組の対応点の位置に基づいて、他の組の対応点の検索範囲を限定することができる。
【００７７】
対応点情報取得部３６による対応点情報取得は、目標物領域における対応点を示す対応点情報を取得する場合に、限定されない。図６に示したように、目標物領域（ＴＡ２１〜ＴＡ２４）の周囲の領域であって障害物領域を除く領域である周囲領域（ＳＡ２１〜ＳＡ２３）における対応点情報を取得する場合でもよい。
【００７８】
本明細書の以上の説明において、第１の画像ＩＭＧ１に対し第２の画像ＩＭＧ２を合成する場合を例に説明したが、本発明における「第２の画像」は一枚の画像には限定されない。本発明は、一枚の「第１の画像」に対して、２枚以上の「第２の画像」を合成する場合であってもよい。ここで、複数枚の「第２の画像」は、互いに撮影条件（例えば、撮影方向、撮影位置、あおり角度、回転角度、撮影距離）が異なっていてもよい。
【００７９】
また前述の図１に示した、処理部３０は、次に示すような各種のプロセッサ（processor）を含んで構成することができる。各種のプロセッサには、ソフトウエア（プログラム）により各種の処理を実行する汎用的なプロセッサであるＣＰＵ（central processing unit）、ＦＰＧＡ（field programmable gate array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（programmable logic device：ＰＬＤ）、ＡＳＩＣ（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。前述の実施形態において、画像合成装置１０の機能は、これら各種のプロセッサのうちの１つで実現されてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで実現する例としては、システムオンチップ（system on chip：ＳｏＣ）などに代表されるように、複数の機能を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウエア的な構造として、上述した各種のプロセッサを１つ以上用いて実現される。さらに、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【００８０】
また上述の実施形態の画像合成装置１０は、例示に過ぎず、他の構成に対しても本発明を適用することが可能である。各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組合せによって適宜実現可能である。例えば、上述の画像合成装置１０の各部における処理をコンピュータに実行させる画像合成プログラム、そのような画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）に対しても、本発明を適用することが可能である。
【００８１】
以上、本発明を実施するための形態に関して説明してきたが、本発明は上述した実施形態及び変形例に限定されず、本発明の主旨を逸脱しない範囲で種々の変形が可能である。
【符号の説明】
【００８２】
１０  画像合成装置
１２  撮影装置
２２  画像取得部
２４  表示部
２６  操作部（表示切替指示受付部）
２８  記憶部
３０  処理部
３２  表示制御部
３４  領域特定部
３６  対応点情報取得部
３８  幾何変換情報取得部
４０  幾何変換部
４２  画像合成部
ＢＲ１、ＢＲ２  障害物
ＣＬ１、ＣＬ２  対応点を示す直線
ＤＲ１  第１の方向
ＤＲ２  第２の方向
ＥＧ１１〜ＥＧ１４、ＥＧ２１〜ＥＧ２４  エッジ
ＦＰ１１、ＦＰ１２、ＦＰ２１、ＦＰ２２  特徴点
ＩＭＧ１  第１の画像
ＩＭＧ２  第２の画像
ＩＭＧ１１〜ＩＭＧ１５  画像
ＳＡ２１〜ＳＡ２３  周囲領域
ＴＡ１１〜ＴＡ１４、ＴＡ２１〜ＴＡ２４  目標物領域
ＴＧ  目標物
Ｖ１１１〜Ｖ１１４、Ｖ１２１〜Ｖ１２４、Ｖ１３１〜Ｖ１３４、Ｖ１４１〜Ｖ１４４、Ｖ２１１〜Ｖ２１４、Ｖ２２１〜Ｖ２２４、Ｖ２３１〜Ｖ２３４、Ｖ２４１〜Ｖ２４４  頂点
【図１】
2018168405.tif 000003
【図２】
2018168405.tif 000004
【図３】
2018168405.tif 000005
【図４】
2018168405.tif 000006
【図５】
2018168405.tif 000007
【図６】
2018168405.tif 000008
【図７】
2018168405.tif 000009
【図８】
2018168405.tif 000010
【図９】
2018168405.tif 000011
【図１０】
2018168405.tif 000012
【図１１】
2018168405.tif 000013
【手続補正書】
【提出日】令和1年10月8日(2019.10.8)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
次に、幾何変換部４０によって、取得された射影変換行列（幾何変換情報）に基づいて、第２の画像ＩＭＧ２の目標物領域を射影変換（幾何変換）する（ステップＳ１２）。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
次に、幾何変換部４０によって、ステップＳ１０で算出された射影変換行列（幾何変換情報）に基づいて、ステップＳ２２で特定された第２の画像ＩＭＧ２の周囲領域を射影変換（幾何変換）する（ステップＳ２４）。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
図１０は、目標物領域（ＴＡ１１〜ＴＡ１４及びＴＡ２１〜ＴＡ２４）の多角形の複数の頂点のうち一部（Ｖ１１１、Ｖ１１３、Ｖ１２１、Ｖ１２３、Ｖ１３１、Ｖ１３３、Ｖ１４１、Ｖ１４３、Ｖ２１１、Ｖ２１３、Ｖ２２１、Ｖ２２３、Ｖ２３１、Ｖ２３３、Ｖ２４１、及びＶ２４３）のみを示すマニュアル操作を受け付け、その頂点の指定に基づいてエッジＥＧ１１〜ＥＧ１４及びエッジＥＧ２１〜ＥＧ２４を画像分析により検出した場合を示す。つまり、領域特定部３４は、目標物領域（ＴＡ１１〜ＴＡ１４及びＴＡ２１〜ＴＡ２４）の一部（例えば各目標物領域を示す複数の頂点のうち一部の頂点）を示す領域指定に基づいて第１の画像ＩＭＧ１における目標物領域（ＴＡ１１〜ＴＡ１４）のエッジ及び第２の画像ＩＭＧ２における目標物領域（ＴＡ２１〜ＴＡ２４）のエッジをトレースして、各目標物領域を特定する。このように領域特定部３４は、マニュアル操作による領域指定の受け付けと画像分析との組合わせにより、目標物領域を特定してよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
第２に、第１の画像ＩＭＧ１及び第２の画像ＩＭＧ２を画像分析することにより、対応点情報を取得する態様がある。例えば、対応点情報取得部３６は、第１の画像ＩＭＧ１と第２の画像ＩＭＧ２とで目標物領域（ＴＡ１１〜ＴＡ１４、ＴＡ２１〜ＴＡ２４）における特徴点を対比することにより、対応点情報を取得する。
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2018168405.tif 000014
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2018168405.tif 000015
【国際調査報告】
2018168405.tif 000016
2018168405.tif 000017
2018168405.tif 000018
2018168405.tif 000019