(57)【要約】  撮影制御装置は、広角画像取得部４０１と、撮影情報取得部４０５と、糊代情報取得部４０７と、領域情報取得部４０９と、撮影情報、糊代情報、および撮影対象領域情報に基づいて、合成画像を構成する分割画像のそれぞれの撮影領域であって、糊代が確保された広角画像におけるそれぞれの撮影領域を算出する撮影領域算出部４１３と、移動体を移動させ、算出した各撮影領域をカメラにより近接撮影させ、撮影した近接画像を分割画像として取得する制御部４１１と、を備え、制御部４１１は、取得した広角画像の各撮影領域に対応する画像とカメラにより近接撮影される画像とを対比し、カメラに各撮影領域を近接撮影させる移動体の位置を制御する。
2018168406.tif 000002
【特許請求の範囲】
【請求項１】
カメラを備える移動体の撮影を制御する撮影制御装置であって、
撮影対象の全体像が広角撮影された広角画像を取得する広角画像取得部と、
前記撮影対象の全体像の一部が、前記移動体の前記カメラで近接撮影されることにより取得される複数の分割画像の撮影枚数または撮影画角に関する撮影情報を取得する撮影情報取得部と、
前記複数の分割画像を合成して前記撮影対象の合成画像を生成する場合の糊代に関する糊代情報を取得する糊代情報取得部と、
前記撮影対象の全体像の領域に関する撮影対象領域情報を取得する領域情報取得部と、
前記撮影情報、前記糊代情報、および前記撮影対象領域情報に基づいて、前記合成画像を構成する前記分割画像のそれぞれの撮影領域であって、前記糊代が確保された前記広角画像におけるそれぞれの前記撮影領域を算出する撮影領域算出部と、
前記移動体を移動させ、算出した各前記撮影領域を前記カメラにより近接撮影させ、撮影した近接画像を前記分割画像として取得する制御部と、を備え、
前記制御部は、取得した前記広角画像の各前記撮影領域に対応する画像と前記カメラにより近接撮影される画像とを対比し、前記カメラに各前記撮影領域を近接撮影させる前記移動体の位置を制御する撮影制御装置。
【請求項２】
前記撮影領域算出部は、前記合成画像が最小撮影枚数の前記分割画像により構成される前記撮影領域を算出する請求項１に記載の撮影制御装置。
【請求項３】
前記糊代情報取得部は、前記糊代情報として隣り合う前記分割画像の重なり度合を示す糊代率を取得する請求項１または２に記載の撮影制御装置。
【請求項４】
前記分割画像の解像度を取得する解像度取得部を備え、
前記糊代情報取得部は、前記解像度に応じて前記糊代情報を調整する請求項１から３のいずれか１項に記載の撮影制御装置。
【請求項５】
前記合成する場合の前記複数の分割画像の特徴点を検出する特徴点検出部を備え、
前記糊代情報取得部は、前記特徴点の数に応じて前記糊代情報を調整する請求項１から４のいずれか１項に記載の撮影制御装置。
【請求項６】
前記制御部は、前記近接画像と前記撮影領域に対応する画像との対応点を検出することにより、前記移動体に近接撮影した前記近接画像を前記分割画像として取得させる請求項１から５のいずれか１項に記載の撮影制御装置。
【請求項７】
前記制御部は、前記広角画像の各前記撮影領域に対応する画像と前記カメラにより近接撮影される画像との対応点を検出することにより、前記移動体の位置を推定する請求項１から６のいずれか１項に記載の撮影制御装置。
【請求項８】
前記分割画像を記憶する記憶部を備え、
前記制御部は、前記分割画像を前記記憶部に記憶させる請求項１から７のいずれか１項に記載の撮影制御装置。
【請求項９】
前記領域情報取得部は、前記撮影対象領域情報として前記撮影対象の図面情報を取得する請求項１から８のいずれか１項に記載の撮影制御装置。
【請求項１０】
請求項１から９のいずれか１項に記載の撮影制御装置と前記移動体とで構成される撮影システム。
【請求項１１】
カメラを備える移動体の撮影を制御する撮影制御方法であって、
撮影対象の全体像が広角撮影された広角画像を取得する広角画像取得ステップと、
前記撮影対象の全体像の一部が、前記移動体の前記カメラで近接撮影されることにより取得される複数の分割画像の撮影枚数または撮影画角に関する撮影情報を取得する撮影情報取得ステップと、
前記複数の分割画像を合成して前記撮影対象の合成画像を生成する場合の糊代に関する糊代情報を取得する糊代情報取得ステップと、
前記撮影対象の全体像の領域に関する撮影対象領域情報を取得する領域情報取得ステップと、
前記撮影情報、前記糊代情報、および前記撮影対象領域情報に基づいて、前記合成画像を構成する前記分割画像のそれぞれの撮影領域であって、前記糊代が確保された前記広角画像におけるそれぞれの前記撮影領域を算出する撮影領域算出ステップと、
前記移動体を移動させ、算出した各前記撮影領域を前記カメラにより近接撮影させ、撮影した近接画像を前記分割画像として取得する制御ステップと、を含み、
前記制御ステップは、取得した前記広角画像の各前記撮影領域に対応する画像と前記カメラにより近接撮影される画像とを対比し、前記カメラに各前記撮影領域を近接撮影させる前記移動体の位置を制御する撮影制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影制御装置、撮影システム、および撮影制御方法に関し、特に撮影対象を複数に分割して撮影して分割画像を取得する場合の撮影制御装置、撮影システム、および撮影制御方法に関する。
【背景技術】
【０００２】
従来より、カメラを備えた移動体の移動および撮影を制御することにより、ユーザが所望する撮影画像を移動体に撮影させる技術が提案されている。【０００３】
例えば特許文献１には、撮影装置が搭載された飛行体へ撮影指示を送信する撮影指示装置が記載されている。特許文献１に記載された撮影指示装置は、ユーザに複数の撮影パターンを提示して選択させ、また地図を表示して地図上で指定された位置を撮影位置として受け付けて、撮影装置が搭載された飛行体への撮影指示を容易な操作で迅速に行うことを目的とした技術である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１８９８８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、撮影画像が損傷（例えば、ひび割れ）の検出検査に使用される場合には、撮影画像の画質が良質であることが要求される。すなわち、高精細な撮影画像を検査に使用することにより、高い品質の検査を実現している。例えば、コンクリート表面の損傷の検出検査を行う場合には、撮影画像によりひび割れ等の損傷箇所を検出する必要があり、撮影画像の画質が良好でないと正確な検出を行えない場合がある。【０００６】
コンクリート表面の損傷を精度良く検出できる撮影画像を取得する手法の一つとして、撮影対象（検査対象）に対して近接して撮影し撮影画像を取得する方法がある。カメラを備えた移動体に撮影画像を取得させる場合には、移動体を撮影対象に近づけて撮影し、撮影画像を良質なものとする。なお、撮影対象をズーム撮影し撮影画像を取得する方法でも近接撮影と同等の良質の撮影画像を得ることができる。【０００７】
一方で、近接撮影で撮影画像を取得した場合には、撮影対象が１枚の撮影画像に収まらないことがある。例えば、コンクリート表面の損傷検出検査を行う場合に、近接撮影を行うことにより床版の損傷を精度良く検出することができる撮影画像を取得することができるが、検査単位である格間の全体像は１枚の画像に収まらない。このような場合には、近接撮影した複数枚の撮影画像を取得し、複数の撮影画像を合成することにより、検査対象の全体像が収まった合成画像が生成される。【０００８】
分割画像（撮影対象を分割撮影して得られた画像）を合成して合成画像を取得する場合には、各撮影画像が重なる領域である糊代が必要である。したがって、分割画像を取得する場合には、糊代を考慮した撮影を行うことが必要となる。すなわち、分割画像を取得する場合に糊代を考慮して分割画像の撮影領域を決定しないと、撮影漏れにより合成画像を上手く生成できないことがある。【０００９】
引用文献１には、合成画像を構成する分割画像を取得する場合に、糊代を考慮した合成画像の取得については言及されていない。【００１０】
本発明はこのような事情に鑑みてなされたもので、その目的は、糊代が確保された分割画像を効率良く正確に取得させることができる撮影制御装置、撮影システム、および撮影制御方法を提供することである。
【課題を解決するための手段】
【００１１】
上記目的を達成するための本発明の一の態様である撮影制御装置は、カメラを備える移動体の撮影を制御する撮影制御装置であって、撮影対象の全体像が広角撮影された広角画像を取得する広角画像取得部と、撮影対象の全体像の一部が、移動体のカメラで近接撮影されることにより取得される複数の分割画像の撮影枚数または撮影画角に関する撮影情報を取得する撮影情報取得部と、複数の分割画像を合成して撮影対象の合成画像を生成する場合の糊代に関する糊代情報を取得する糊代情報取得部と、撮影対象の全体像の領域に関する撮影対象領域情報を取得する領域情報取得部と、撮影情報、糊代情報、および撮影対象領域情報に基づいて、合成画像を構成する分割画像のそれぞれの撮影領域であって、糊代が確保された広角画像におけるそれぞれの撮影領域を算出する撮影領域算出部と、移動体を移動させ、算出した各撮影領域をカメラにより近接撮影させ、撮影した近接画像を分割画像として取得する制御部と、を備え、制御部は、取得した広角画像の各撮影領域に対応する画像とカメラにより近接撮影される画像とを対比し、カメラに各撮影領域を近接撮影させる移動体の位置を制御する。【００１２】
本態様によれば、取得された撮影情報、糊代情報、および撮影対象領域情報に基づいて、広角画像における、糊代が確保された分割画像の撮影領域が算出され、算出された撮影領域に基づいて移動体に分割画像を撮影させる。これにより本態様は、糊代が確保された分割画像を、移動体に効率良く正確に撮影させることができる。【００１３】
好ましくは、撮影領域算出部は、合成画像が最小撮影枚数の分割画像により構成される撮影領域を算出する。【００１４】
本態様によれば、撮影領域算出部により、合成画像が最小撮影枚数の分割画像により構成される撮影領域が算出されるので、移動体に効率的な分割画像の取得を行わせることができる。【００１５】
好ましくは、糊代情報取得部は、糊代情報として隣り合う分割画像の重なり度合を示す糊代率を取得する。【００１６】
本態様によれば、糊代情報取得部により、糊代情報として隣り合う分割画像の重なり度合を示す糊代率が取得されるので、糊代が適切に確保された分割画像を移動体に取得させることができる。【００１７】
好ましくは、撮影制御装置は、分割画像の解像度を取得する解像度取得部を備え、糊代情報取得部は、解像度に応じて糊代情報を調整する。【００１８】
本態様によれば、解像度取得部により分割画像の解像度が取得され、糊代情報取得部により解像度に応じて糊代情報が調整される。これにより本態様は、分割画像の解像度に応じた糊代を有する分割画像を取得することができ、分割画像の効率的な取得を移動体に行わせることができる。【００１９】
好ましくは、撮影制御装置は、合成する場合の複数の分割画像の特徴点を検出する特徴点検出部を備え、糊代情報取得部は、特徴点の数に応じて糊代情報を調整する。【００２０】
本態様によれば、特徴点検出部により、合成する場合の複数の分割画像の特徴点が検出され、糊代情報取得部により、特徴点の数に応じて糊代情報が調整される。これにより本態様は、分割画像の特徴点に応じた糊代を有する分割画像を取得することができ、分割画像の効率的な取得を移動体に行わせることができる。【００２１】
好ましくは、制御部は、近接画像と撮影領域に対応する画像との対応点を検出することにより、移動体に近接撮影した近接画像を分割画像として取得させる。【００２２】
本態様によれば、制御部により、近接画像と撮影領域に対応する画像との対応点が検出され、移動体に近接撮影した近接画像を分割画像として取得させる。これにより本態様は、制御部は移動体を撮影領域が撮影可能な位置に正確に移動させることができ、移動体に正確な分割画像を取得させることができる。【００２３】
好ましくは、制御部は、広角画像の各撮影領域に対応する画像とカメラにより近接撮影される画像との対応点を検出することにより、移動体の位置を推定する。【００２４】
本態様によれば、制御部により、広角画像の各撮影領域に対応する画像とカメラにより近接撮影される画像との対応点が検出され、移動体の位置が推定される。これにより本態様は、移動体の位置を正確に推定することができ、移動体に効率良く分割画像の取得をさせることができる。【００２５】
好ましくは、撮影制御装置は、分割画像を記憶する記憶部を備え、制御部は、分割画像を記憶部に記憶させる。【００２６】
本態様によれば、分割画像を記憶する記憶部を備え、制御部により、分割画像を記憶部に記憶させる。これにより本態様は、分割画像を記憶させることができ、分割画像が必要な場合に備えることができる。【００２７】
好ましくは、領域情報取得部は、撮影対象領域情報として撮影対象の図面情報を取得する。【００２８】
本態様によれば、領域情報取得部により、撮影対象領域情報として撮影対象の図面情報が取得されるので、撮影対象に対して既存の図面がある場合には、その図面を有効に使用することができる。【００２９】
本発明の他の態様である撮影システムは、上述の撮影制御装置と移動体とで構成される。【００３０】
本発明の他の態様である撮影制御方法は、カメラを備える移動体の撮影を制御する撮影制御方法であって、撮影対象の全体像が広角撮影された広角画像を取得する広角画像取得ステップと、撮影対象の全体像の一部が、移動体のカメラで近接撮影されることにより取得される複数の分割画像の撮影枚数または撮影画角に関する撮影情報を取得する撮影情報取得ステップと、複数の分割画像を合成して撮影対象の合成画像を生成する場合の糊代に関する糊代情報を取得する糊代情報取得ステップと、撮影対象の全体像の領域に関する撮影対象領域情報を取得する領域情報取得ステップと、撮影情報、糊代情報、および撮影対象領域情報に基づいて、合成画像を構成する分割画像のそれぞれの撮影領域であって、糊代が確保された広角画像におけるそれぞれの撮影領域を算出する撮影領域算出ステップと、移動体を移動させ、算出した各撮影領域をカメラにより近接撮影させ、撮影した近接画像を分割画像として取得する制御ステップと、を含み、制御ステップは、取得した広角画像の各撮影領域に対応する画像とカメラにより近接撮影される画像とを対比し、カメラに各撮影領域を近接撮影させる移動体の位置を制御する。
【発明の効果】
【００３１】
本発明によれば、取得された撮影情報、糊代情報、および撮影対象領域情報に基づいて、広角画像における、糊代が確保された分割画像の撮影領域が算出され、算出された撮影領域に基づいて移動体に分割画像を撮影させるので、糊代が確保された分割画像を、移動体に効率良く正確に撮影させることができる。
【図面の簡単な説明】
【００３２】
【図１】橋梁の構造を示す斜視図である。
【図２】撮影システムを示す概念図である。
【図３】移動体の撮影位置を概念的に示した図である。
【図４】コンピュータの外観構成を示す斜視図である。
【図５】コンピュータの外観構成を示す斜視図である。
【図６】コンピュータのシステム構成を示すブロック図である。
【図７】撮影制御装置の機能構成例を説明する図である。
【図８】糊代に関して説明する図である。
【図９】撮影システムの動作を示す動作フロー図である。
【図１０】広角画像を示す図である。
【図１１】撮影対象領域情報の概念を示す図である。
【図１２】撮影領域を示す図である。
【図１３】分割画像の取得に関して説明する図である。
【図１４】分割画像を示す図である。
【図１５】合成画像を示す図である。
【図１６】撮影制御装置の機能構成例を示す図である。
【図１７】撮影制御装置の機能構成例を示す図である。
【発明を実施するための形態】
【００３３】
以下、添付図面にしたがって本発明に係る撮影制御装置、撮影システム、および撮影制御方法の好ましい実施の形態について説明する。
【００３４】
本発明の撮影対象に関して説明する。本発明の撮影対象としては、特に限定されるものではないが、例えば構造物または建造物の損傷の検出検査を撮影画像を使用して行う場合に、撮影される対象があげられる。すなわち、撮影対象は撮影画像を使用して行われる検査の検査対象となる。以下の説明では、具体例として橋梁１（図１）の検査を行う場合に、格間単位で検査が行われることにより、格間（格間の床版６）単位の合成画像を取得する場合について説明する。
【００３５】
図１は、撮影対象（検査対象）である構造物の一つである橋梁の構造を示す斜視図であり、橋梁を下から見た斜視図である。
【００３６】
図１に示す橋梁１は、主桁２と、横桁３と、対傾構４と、横構５とを有し、これらがボルト、リベットまたは溶接により連結されて構成されている。また、主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。
【００３７】
主桁２は、橋台または橋脚の間に渡され、床版６上の車輌等の荷重を支える部材である。横桁３は、荷重を複数の主桁２で支持するため、主桁２を連結する部材である。対傾構４および横構５は、それぞれ風および地震の横荷重に抵抗するため、主桁２を相互に連結する部材である。
【００３８】
橋梁１の検査を行う場合には、例えば格間ごとに撮影画像を取得して、ひび割れ等の損傷箇所があるか否かを検査する。ここで格間とは、床版６が対向する２つの主桁２および対向する２つの横桁３または対傾構４により区切られた空間のことである。
【００３９】
図２は、本発明の撮影システムを示す概念図である。
【００４０】
撮影システム５００は、移動体１００とコンピュータ３００とで構成されている。
【００４１】
移動体１００は、カメラ１０１を備えおり、コンピュータ３００の制御により移動およびカメラ１０１による撮影を行う。移動体１００は、コンピュータ３００の制御により移動および撮影を行えるものであれば特に限定されるものではない。例えば移動体１００は、走行型ロボット、小型のヘリコプター、マルチコプター、ドローンまたはUAV（Unmanned Aerial Vehicles、無人航空機）と呼ばれる装置があげられる。
【００４２】
コンピュータ３００および移動体１００は相互に通信可能であり、コンピュータ３００は、移動体１００の移動の制御およびカメラ１０１での撮影制御を遠隔で行うことができる。
【００４３】
図３は、移動体１００の撮影位置を概念的に示した図である。なお、図３は図２においてＸ軸方向から床版６を見た概念的な図である。またカメラ１０１は、図２で示したように移動体１００に備えられ、移動体１００の移動によって移動させられる。なお、図３では移動体１００は省略されている。また床版６上には車輌１０が走行し、床版６の下方からの撮影画像を取得して床版６の損傷の検出検査が行われる。
【００４４】
移動体１００は、コンピュータ３００の制御により各撮影位置に移動させられ、そして広角撮影および近接撮影を行って各画像を取得する。床版６の格間単位で検査が行われる場合には、広角撮影を行うことにより格間の全体像が収まった画像を取得し、近接撮影を行うことにより格間の一部分が写った画像が取得される。
【００４５】
図３に示した位置Ａは、カメラ１０１により撮影対象の全体像が広角撮影された広角画像を取得する位置である。移動体１００は、コンピュータ３００の移動指令にしたがって、床版６から離れた位置Ａにおいて広角画像を取得する。位置Ａが有する床版６からの被写体距離は、１枚の撮影画像に一つの格間が収まる程度の距離である。
【００４６】
図３に示した位置Ｂは、カメラ１０１により、撮影対象の全体像の一部が、移動体１００のカメラ１０１で近接撮影されることにより取得される近接画像を取得する位置である。移動体１００は、コンピュータ３００の移動指令にしたがって、床版６に近づいて位置Ｂまで移動して近接画像を取得する。移動体１００は、取得した近接画像を分割画像とし、格間の全体像が収まった分割画像から構成される合成画像を生成できるように、複数の近接画像を取得する。この近接画像（分割画像）の取得を、撮影領域を算出したコンピュータ３００から出力される移動指令および撮影指令に基づいて行うことにより、効率的で正確な近接画像の取得を行うことができる。なお、ここで分割画像とは、合成画像を構成する画像であり、近接画像のうち合成に使用されるものをいう。また近接画像は、移動体１００により近接撮影された画像であり、近接画像の一部または全部が分割画像となる。
【００４７】
次に、本発明の撮影制御装置を備えるコンピュータ３００に関して説明する。
【００４８】
図４および図５はコンピュータ３００の外観構成を示す斜視図であり、図４は正面斜視図、図５は背面斜視図である。
【００４９】
コンピュータ３００は、図４および図５に示すように、タブレット型のコンピュータで構成される。コンピュータ３００は、矩形の輪郭を有する平板状の筐体３０１を備え、その筐体３０１に表示部３２６（図６）と入力部３２８（図６）とを兼ねたタッチパネルディスプレイ３０２、操作ボタン３０３、スピーカー３０４、内蔵カメラ３０５、外部接続端子３０６等を備えて構成される。
【００５０】
図６は、コンピュータ３００のシステム構成を示すブロック図である。
【００５１】
図６に示すように、コンピュータ３００は、コンピュータ３００の全体の動作を制御するＣＰＵ（Central Processing Unit）３１０を備え、このＣＰＵ３１０にシステムバス３１２を介して、メインメモリ３１４、不揮発性メモリ３１６、モバイル通信部３１８、無線ＬＡＮ通信部３２０、近距離無線通信部３２２、有線通信部３２４、表示部３２６、入力部３２８、キー入力部３３０、音声処理部３３２、画像処理部３３４等が接続されて構成される。
【００５２】
ＣＰＵ３１０は、不揮発性メモリ３１６に記憶された動作プログラム（ＯＳ（Operating System）、および、そのＯＳ上で動作するアプリケーションプログラム）、および、定型データ等を読み出し、メインメモリ３１４に展開して、当動作プログラムを実行することにより、このコンピュータ全体の動作を制御する制御部として機能する。
【００５３】
メインメモリ３１４は、たとえば、ＲＡＭ（Random Access Memory）で構成され、ＣＰＵ３１０のワークメモリとして機能する。
【００５４】
不揮発性メモリ３１６は、たとえば、フラッシュＥＥＰＲＯＭ（ＥＥＰＲＯＭ：Electrically Erasable Programmable Read Only Memory）で構成され、上述した動作プログラムや各種定型データを記憶する。また、不揮発性メモリ３１６は、コンピュータ３００の記憶部として機能し、各種データを記憶する。
【００５５】
モバイル通信部３１８は、ＩＭＴ−２０００規格（International Mobile Telecommunication-2000）に準拠した第３世代移動通信システム、および、ＩＭＴ−Ａｄｖａｎｃｅ規格（International Mobile Telecommunications-Advanced）に準拠した第４世代移動通信システムに基づき、アンテナ３１８Ａを介して、最寄りの図示しない基地局との間でデータの送受を実行する。
【００５６】
無線ＬＡＮ通信部３２０は、アンテナ３２０Ａを介して、無線ＬＡＮアクセスポイントや無線ＬＡＮ通信が可能な外部機器との間で所定の無線ＬＡＮ通信規格（たとえば、例えばＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ規格）に従った無線ＬＡＮ通信を行う。
【００５７】
近距離無線通信部３２２は、アンテナ３２２Ａを介して、たとえばクラス２（半径約１０ｍ内）の範囲内にある他のＢｌｕｅｔｏｏｔｈ（登録商標）規格の機器とデータの送受を実行する。
【００５８】
有線通信部３２４は、外部接続端子３０６を介してケーブルで接続された外部機器との間で所定の通信規格に従った通信を行う。たとえば、ＵＳＢ通信を行う。
【００５９】
表示部３２６は、タッチパネルディスプレイ３０２のディスプレイ部分を構成するカラーＬＣＤ（liquid crystal display）パネルと、その駆動回路と、で構成され、各種画像を表示する。
【００６０】
入力部３２８は、タッチパネルディスプレイ３０２のタッチパネル部分を構成する。入力部３２８は、透明電極を用いてカラーＬＣＤパネルと一体的に構成される。
【００６１】
キー入力部３３０は、コンピュータ３００の筐体３０１に備えられた複数の操作ボタン３０３と、その駆動回路と、で構成される。
【００６２】
音声処理部３３２は、システムバス３１２を介して与えられるデジタル音声データをアナログ化してスピーカー３０４から出力する。
【００６３】
画像処理部３３４は、撮影レンズおよびイメージセンサーを備えた内蔵カメラ３０５から出力されるアナログの画像信号をデジタル化し、所要の信号処理を施して出力する。
【００６４】
次に、コンピュータ３００に備えられる撮影制御装置に関して説明する。
【００６５】
図７はコンピュータ３００に備えられる撮影制御装置の機能構成例を説明する図である。
【００６６】
撮影制御装置の各機能は、例えばコンピュータ３００のＣＰＵ３１０で実現される。撮影制御装置の機能は、主に画像取得部４１７、パラメータ取得部４１９、およびコントローラ部４２１、および記憶部４１５から構成されている。
【００６７】
画像取得部４１７は、広角画像取得部４０１および近接画像取得部４０３で構成されている。また画像取得部４１７は、例えばコンピュータ３００のモバイル通信部３１８、無線ＬＡＮ通信部３２０、または近距離無線通信部３２２で実現される。
【００６８】
広角画像取得部４０１は、被写体距離の長い、撮影対象の全体像が広角撮影された広角画像を取得する。具体例として広角画像取得部４０１は、一つの格間の全体像がカメラ１０１の画角内に収まった画像を広角画像として取得する。
【００６９】
近接画像取得部４０３は、被写体距離の短い、撮影対象の全体像の一部が近接撮影された近接画像を取得する。具体例として近接画像取得部４０３は、一つの格間の一部分の床版６を近接撮影した画像を近接画像として取得する。
【００７０】
なお、画像取得部４１７は、静止画および動画の取得を行うことができ、動画に関してはライブビュー画像も含まれる。
【００７１】
次にパラメータ取得部４１９に関して説明する。
【００７２】
パラメータ取得部４１９は、撮影情報取得部４０５、糊代情報取得部４０７、および領域情報取得部４０９から構成されている。パラメータ取得部４１９は、例えばコンピュータ３００のＣＰＵ３１０で実現される。
【００７３】
撮影情報取得部４０５は、分割画像の撮影に関する情報を取得する。すなわち、撮影情報取得部４０５は、撮影対象の全体像の一部が、移動体１００のカメラ１０１で近接撮影されることにより取得される複数の分割画像の撮影枚数または撮影画角に関する撮影情報を取得する。例えば撮影情報取得部４０５は、一つの格間（撮影対象）を何分割して撮影するかの情報、またはカメラ１０１が近接撮影する場合の画角の大きさの情報を取得する。
【００７４】
糊代情報取得部４０７は、複数の分割画像を合成して撮影対象の合成画像を生成する場合の糊代に関する糊代情報を取得する。例えば糊代情報取得部４０７は、糊代情報として隣り合う分割画像の重なり度合を示す糊代率を取得する。すなわち、糊代情報取得部４０７は、分割画像の全体の面積に対して、隣接する画像と重なる領域の面積の割合を糊代率として取得してもよい。
【００７５】
ここで糊代に関して説明する。図８は、分割画像を合成して合成画像を生成する場合の糊代に関して説明する図である。
【００７６】
図８に示した場合では、分割画像４０２Ａと分割画像４０２Ｂと合成して合成画像４０４を生成する場合が示されている。なお、分割画像が３枚以上ある場合には、図８に示す合成が繰り返して行われる。ここで合成は、カメラのパン方向またはチルト方向に画像を合成する場合、およびカメラのパン方向およびチルト方向に画像を合成する場合も含む。
【００７７】
分割画像４０２Ａと分割画像４０２Ｂとを合成する場合には、分割画像４０２Ａと分割画像４０２Ｂとは一定の重なる領域において合成が行われる。この重なる領域を糊代としており、糊代の大きさは様々な条件により変わる。例えば、糊代は一定の画質を有する合成画像を生成するために、分割画像の画質および分割画像間の対応点の数によって変わるものである。また、分割画像を取得する場合には糊代の分を見積もって分割画像を取得させることが必要であり、糊代を見積もって分割画像を取得しないと撮影漏れの原因となる。
【００７８】
分割画像４０２Ａは糊代Ｃ１を有しており、分割画像４０２Ｂは糊代Ｃ２を有している。この糊代Ｃ１およびＣ２が糊代Ｃ３部分で重なるように合成が行われて合成画像４０４が合成される。
【００７９】
領域情報取得部４０９は、撮影対象の全体像の領域に関する撮影対象領域情報を取得する。すなわち領域情報取得部４０９は、広角画像における撮影対象の領域を示す情報を撮影対象領域情報として取得する。具体的には領域情報取得部４０９は、撮影対象が格間の床版６である場合には、広角画像における格間の領域を示す情報を取得する。領域情報取得部４０９が取得する撮影対象領域情報の具体例としては、撮影対象の図面情報（ＣＡＤ情報）があげられる。
【００８０】
次に、コントローラ部４２１に関して説明する。コントローラ部４２１は、制御部４１１、撮影領域算出部４１３から構成されている。コントローラ部４２１は、例えばコンピュータ３００のＣＰＵ３１０で実現される。
【００８１】
撮影領域算出部４１３は、撮影情報、糊代情報、および撮影対象領域情報に基づいて、全体像の画像を構成する分割画像のそれぞれの撮影領域であって、糊代が確保された広角画像におけるそれぞれの撮影領域を算出する。すなわち撮影領域算出部４１３は、取得すべき分割画像に対応する撮影領域を算出し、移動体１００は撮影領域に基づいて分割画像を取得する。例えば撮影領域算出部４１３は、全体像の画像が最小枚数の分割画像により構成される撮影領域を算出する。
【００８２】
制御部４１１は、移動体１００を移動させ、算出した各撮影領域をカメラ１０１により近接撮影させ、撮影した近接画像を分割画像として取得する。例えば制御部４１１は、近接画像と撮影領域に対応する画像との対応点を検出することにより、移動体１００に近接撮影した近接画像を分割画像として取得させる。すなわち制御部４１１は、近接画像の特徴点を抽出し、広角画像の撮影領域に対応する画像の特徴点を抽出し、各画像の特徴点を比較し対応点検出を行う。対応点の比較は、公知の手法が使用される。例えば、対応点の比較の手法として、画像間の拡大縮小、回転および照明変化等に強いロバストな局所特徴量として、SIFT (Scale-invariant feature transform)特徴量、SURF(Speed-Upped Robust Feature)特徴量、およびAKAZE (Accelerated KAZE)特徴量が知られている。
【００８３】
また制御部４１１は、取得した広角画像の各撮影領域に対応する画像とカメラ１０１により近接撮影される画像とを対比し、カメラ１０１に各撮影領域を近接撮影させる移動体１００の位置を制御する。具体的に制御部４１１は、広角画像の各撮影領域に対応する画像とカメラ１０１により近接撮影される画像との対応点を検出することにより、移動体１００の位置を推定する。対応点の比較は公知の手法が使用され、例えば対応点の比較の手法として上述した手法が使用される。
【００８４】
記憶部４１５は、画像を記憶し、具体的には広角画像および近接画像を記憶する。また、記憶部４１５は、近接画像のうちで分割画像も記憶し、分割画像を合成して生成された合成画像も記憶する。制御部４１１は記憶部４１５に各画像を記憶させる。なお、記憶部は、例えばコンピュータ３００のメインメモリ３１４で実現される。
【００８５】
次にコンピュータ３００に備えられる撮影制御装置と移動体１００とから構成される撮影システム５００の動作を説明する。
【００８６】
図９は、撮影システム５００の動作を示す動作フロー図であり、撮影制御方法の工程を示す。
【００８７】
先ず撮影制御装置は、移動体１００に対して移動指令および撮影指令を出力する（ステップＳ１０）。撮影制御装置から出力された移動指令および撮影指令を受信した移動体１００は、移動指令に基づいて移動をし、そして撮影対象である格間の床版６を撮影する（ステップＳ３０）。例えば移動体１００は、図１０に示すように格間４３１の全体像が写っている広角画像４３２を取得する。
【００８８】
次に移動体１００は、広角画像を撮影制御装置に送信し（ステップＳ３１）、撮影制御装置は広角画像を取得する（ステップＳ１１：広角画像取得ステップ）。
【００８９】
撮影制御装置は、入力部３２８を介してユーザから入力される撮影情報を撮影情報取得部４０５により取得し（ステップＳ１２：撮影情報取得ステップ）、入力部３２８を介してユーザから入力される糊代情報を糊代情報取得部４０７により取得し（ステップＳ１３：糊代情報取得ステップ）、入力部３２８を介してユーザから入力される領域情報を領域情報取得部４０９により取得する（ステップＳ１４：領域情報取得ステップ）。
【００９０】
図１１は、撮影対象領域情報の概念を示す図である。図１１に示された撮影対象領域情報は、図１０に示した広角画像における格間４３１を撮影対象領域４３３として、示している。
【００９１】
次に、撮影制御装置の撮影領域算出部４１３は、取得した各情報に基づいて撮影領域を算出する（ステップＳ１５：撮影領域算出ステップ）。
【００９２】
図１２は、撮影領域算出部４１３で算出された撮影領域を示す図である。図１２は、撮影領域算出部４１３により算出された撮影領域４３５が広角画像４３２に重畳されて示されており、格間４３１を５×２の１０個の撮影領域４３５で分割撮影するように示されている。また図１２に示すように、算出された各撮影領域は、取得した糊代情報に基づいて、各分割画像が重なる領域（糊代）を有する。
【００９３】
移動体１００は、撮影対象を近接撮影し（ステップＳ３２）、撮影制御装置に逐次近接撮影した画像を送信しながら移動する（ステップＳ３３）。そして撮影制御装置は、移動体１００から送られてきた近接画像を取得し（ステップＳ１６）、例えば撮影制御装置の表示部３２６に表示させる。
【００９４】
その後撮影制御装置の制御部４１１は、広角画像と近接画像とを対比して（ステップＳ１７）、移動体１００を移動させて撮影を行わせる。具体的には制御部４１１は、移動体１００が取得する近接画像の特徴点と広角画像の撮影領域の特徴点とを対比して対応点を探索し、移動体１００が撮影領域に対応する近接画像を取得できる撮影位置にいると判断した場合には、移動体１００に対して撮影指令を出力する（ステップＳ１８）。指令を受信した移動体１００は、撮影対象の近接画像を取得する（ステップＳ３４）。
【００９５】
図１３は、撮影領域４３５−１に対応する分割画像の取得に関して説明する図である。図１３のＡ部分には、移動体１００が取得した近接画像４３７が示されており、図１３のＢ部分には、広角画像に撮影領域４３５−１が示されている。制御部４１１は、近接画像４３７を取得し、近接画像４３７と広角画像の撮影領域４３５−１との対応点検出を行い、対応点を検出し移動体１００が撮影領域４３５−１に対応する分割画像を取得することができる場合に、撮影指令を移動体１００に出力する。
【００９６】
撮影制御装置および移動体１００は、算出された撮影領域の全てに対応する近接画像を取得するまでステップＳ３２、ステップＳ３３、ステップＳ３４、ステップＳ３５、ステップＳ１６、ステップＳ１７、ステップＳ１８、およびステップＳ１９を繰りかえす。またステップＳ１６、ステップＳ１７、ステップＳ１８、およびステップＳ１９は制御ステップに対応する。
【００９７】
図１４は、移動体１００が取得した、合成画像を合成するための分割画像４３９を示す図である。図１４に示す場合では、５×２の撮影領域に応じた分割画像が取得されており、各分割画像は糊代情報に応じた糊代を有している。撮影制御装置の制御部４１１は、取得した分割画像を記憶部４１５に記憶させる（ステップＳ２０）。
【００９８】
その後、分割画像を合成して合成画像を生成する（ステップＳ２１）。分割画像の合成は、例えばコンピュータ３００のＣＰＵ３１０により行われる。
【００９９】
図１５は、分割画像４３９を合成して生成される合成画像４４１を示す図である。合成画像４４１は、近接画像（分割画像４３９）で構成されているので、床版６の損傷の検出を画像処理で行うに十分な画質を有している。
【０１００】
上記実施形態において、（例えば、画像処理部、輪郭強調部、色補正部、特徴抽出部）といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【０１０１】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【０１０２】
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【０１０３】
上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
【０１０４】
［変形例１］
次に変形例１に関して説明する。
【０１０５】
図１６は、変形例１の撮影制御装置の機能構成例を示す図である。なお、図７で既に説明を行った箇所は同じ符号を付し説明は省略する。
【０１０６】
本例の撮影制御装置は、解像度取得部４２３をコントローラ部４２１に備える。
【０１０７】
解像度取得部４２３は分割画像の解像度を取得し、糊代情報取得部４０７は、解像度に応じて糊代情報を調整する。具体的には、糊代情報取得部４０７は、解像度取得部４２３が取得した分割画像の解像度が閾値以上の場合には、糊代の領域を小さくするように糊代情報を調整する。また糊代情報取得部４０７は、分割画像の解像度が閾値未満の場合には、糊代の領域を大きくするように糊代情報を調整してもよい。なお、閾値はユーザが適宜決定することができ、カメラ１０１の性能や実施される検査の品質によって決定されてもよい。また、解像度として例えばｄｐｉ（dots per inch）により計算される。
【０１０８】
糊代情報取得部４０７において糊代情報が調整された場合には、撮影領域算出部４１３は調整された糊代情報に基づいて撮影領域を再算出する。
【０１０９】
［変形例２］
次に変形例２に関して説明する。
【０１１０】
図１７は、変形例２の撮影制御装置の機能構成例を示す図である。なお、図７で既に説明を行った箇所は同じ符号を付し説明は省略する。
【０１１１】
本例の撮影制御装置は、特徴点検出部４２５をコントローラ部４２１に備える。
【０１１２】
特徴点検出部４２５は、合成する場合の複数の分割画像の特徴点を検出し、糊代情報取得部４０７は、特徴点の数に応じて糊代情報を調整する。具体的には、糊代情報取得部４０７は、特徴点検出部４２５が分割画像の特徴点の数を閾値以上検出できた場合には、糊代の領域を小さくするように糊代情報を調整する。また、糊代情報取得部４０７は、検出できた分割画像の特徴点の数が閾値以下の場合には、糊代の領域を大きくするように糊代情報を調整してもよい。なお、閾値はユーザが適宜決定することができ、カメラ１０１の性能や実施される検査の品質によって決定されてもよい。
【０１１３】
糊代情報取得部４０７において糊代情報が調整された場合には、撮影領域算出部４１３は調整された糊代情報に基づいて撮影領域を再算出する。
【０１１４】
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１１５】
１          橋梁
２          主桁
３          横桁
４          対傾構
５          横構
６          床版
１０        車輌
１００      移動体
１０１      カメラ
３００      コンピュータ
３０１      筐体
３０２      タッチパネルディスプレイ
３０３      操作ボタン
３０４      スピーカー
３０５      内蔵カメラ
３０６      外部接続端子
３１０      ＣＰＵ
３１２      システムバス
３１４      メインメモリ
３１６      不揮発性メモリ
３１８      モバイル通信部
３１８Ａ    アンテナ
３２０      無線ＬＡＮ通信部
３２０Ａ    アンテナ
３２２      近距離無線通信部
３２２Ａ    アンテナ
３２４      有線通信部
３２６      表示部
３２８      入力部
３３０      キー入力部
３３２      音声処理部
３３４      画像処理部
４０１      広角画像取得部
４０３      近接画像取得部
４０５      撮影情報取得部
４０７      糊代情報取得部
４０９      領域情報取得部
４１１      制御部
４１３      撮影領域算出部
４１５      記憶部
４１７      画像取得部
４１９      パラメータ取得部
４２１      コントローラ部
４２３      解像度取得部
４２５      特徴点検出部
５００      撮影システム
Ｓ１０−Ｓ２１  撮影制御工程
Ｓ３０−Ｓ３５  移動体の制御工程
【図１】
2018168406.tif 000003
【図２】
2018168406.tif 000004
【図３】
2018168406.tif 000005
【図４】
2018168406.tif 000006
【図５】
2018168406.tif 000007
【図６】
2018168406.tif 000008
【図７】
2018168406.tif 000009
【図８】
2018168406.tif 000010
【図９】
2018168406.tif 000011
【図１０】
2018168406.tif 000012
【図１１】
2018168406.tif 000013
【図１２】
2018168406.tif 000014
【図１３】
2018168406.tif 000015
【図１４】
2018168406.tif 000016
【図１５】
2018168406.tif 000017
【図１６】
2018168406.tif 000018
【図１７】
2018168406.tif 000019
【手続補正書】
【提出日】令和1年10月4日(2019.10.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラを備える移動体の撮影を制御する撮影制御装置であって、
撮影対象の全体像が広角撮影された広角画像を取得する広角画像取得部と、
前記撮影対象の全体像の一部が、前記移動体の前記カメラで撮影されることにより取得される複数の分割画像の撮影枚数または撮影画角に関する撮影情報を取得する撮影情報取得部と、
前記複数の分割画像を合成して前記撮影対象の合成画像を生成する場合の糊代に関する糊代情報を取得する糊代情報取得部と、
前記撮影対象の全体像の領域に関する撮影対象領域情報を取得する領域情報取得部と、
前記撮影情報、前記糊代情報、および前記撮影対象領域情報に基づいて、前記合成画像を構成する前記分割画像のそれぞれの撮影領域であって、前記糊代が確保された前記広角画像におけるそれぞれの前記撮影領域を算出する撮影領域算出部と、
前記移動体を移動させ、算出した各前記撮影領域を前記カメラにより撮影させ、撮影した画像を前記分割画像として取得する制御部と、を備え、
前記制御部は、取得した前記広角画像の各前記撮影領域に対応する画像と前記カメラにより撮影される画像とを対比し、前記カメラに各前記撮影領域を撮影させる前記移動体の位置を制御する撮影制御装置。
【請求項２】
前記撮影領域算出部は、前記合成画像が最小撮影枚数の前記分割画像により構成される前記撮影領域を算出する請求項１に記載の撮影制御装置。
【請求項３】
前記糊代情報取得部は、前記糊代情報として隣り合う前記分割画像の重なり度合を示す糊代率を取得する請求項１または２に記載の撮影制御装置。
【請求項４】
前記分割画像の解像度を取得する解像度取得部を備え、
前記糊代情報取得部は、前記解像度に応じて前記糊代情報を調整する請求項１から３のいずれか１項に記載の撮影制御装置。
【請求項５】
前記合成する場合の前記複数の分割画像の特徴点を検出する特徴点検出部を備え、
前記糊代情報取得部は、前記特徴点の数に応じて前記糊代情報を調整する請求項１から４のいずれか１項に記載の撮影制御装置。
【請求項６】
前記制御部は、前記画像と前記撮影領域に対応する画像との対応点を検出することにより、前記移動体に撮影した前記画像を前記分割画像として取得させる請求項１から５のいずれか１項に記載の撮影制御装置。
【請求項７】
前記制御部は、前記広角画像の各前記撮影領域に対応する画像と前記カメラにより撮影される画像との対応点を検出することにより、前記移動体の位置を推定する請求項１から６のいずれか１項に記載の撮影制御装置。
【請求項８】
前記分割画像を記憶する記憶部を備え、
前記制御部は、前記分割画像を前記記憶部に記憶させる請求項１から７のいずれか１項に記載の撮影制御装置。
【請求項９】
前記領域情報取得部は、前記撮影対象領域情報として前記撮影対象の図面情報を取得する請求項１から８のいずれか１項に記載の撮影制御装置。
【請求項１０】
請求項１から９のいずれか１項に記載の撮影制御装置と前記移動体とで構成される撮影システム。
【請求項１１】
カメラを備える移動体の撮影を制御する撮影制御方法であって、
撮影対象の全体像が広角撮影された広角画像を取得する広角画像取得ステップと、
前記撮影対象の全体像の一部が、前記移動体の前記カメラで撮影されることにより取得される複数の分割画像の撮影枚数または撮影画角に関する撮影情報を取得する撮影情報取得ステップと、
前記複数の分割画像を合成して前記撮影対象の合成画像を生成する場合の糊代に関する糊代情報を取得する糊代情報取得ステップと、
前記撮影対象の全体像の領域に関する撮影対象領域情報を取得する領域情報取得ステップと、
前記撮影情報、前記糊代情報、および前記撮影対象領域情報に基づいて、前記合成画像を構成する前記分割画像のそれぞれの撮影領域であって、前記糊代が確保された前記広角画像におけるそれぞれの前記撮影領域を算出する撮影領域算出ステップと、
前記移動体を移動させ、算出した各前記撮影領域を前記カメラにより撮影させ、撮影した画像を前記分割画像として取得する制御ステップと、を含み、
前記制御ステップは、取得した前記広角画像の各前記撮影領域に対応する画像と前記カメラにより撮影される画像とを対比し、前記カメラに各前記撮影領域を撮影させる前記移動体の位置を制御する撮影制御方法。
【国際調査報告】
2018168406.tif 000020
2018168406.tif 000021
2018168406.tif 000022
2018168406.tif 000023