(57)【要約】【課題】外部の計測装置を用いずに、複数の撮像装置のずれ角を検出しそれぞれの画像のずれを校正する。【解決手段】複数の撮像装置Ｃｉが搭載された移動体Ｍを回転させ、第１の角速度計測装置１により移動体Ｍの角速度を計測し、第２の角速度計測装置２により撮像装置Ｃｉの角速度を計測し、角速度比較部３ｉにより移動体Ｍの角速度と撮像装置Ｃｉの角速度とを比較して各撮像装置Ｃｉのずれ角を算出し、算出したずれ角を画像の校正角として校正角記憶部４ｉに記憶し、撮像部Ｇｉで取得した画像を校正角記憶部４に記憶された校正角で回転させて、画像変換部５ｉで複数の撮像装置Ｃｉそれぞれで取得した画像のずれを校正する。【選択図】図２
2013055462.tif 000002
【特許請求の範囲】
【請求項１】
移動体に複数の撮像装置を搭載し、前記移動体の周囲を前記複数の撮像装置で分担して撮像し、各撮像装置で得られた画像を合成することで前記移動体の周囲画像を得る撮像システムに用いられ、
前記移動体の角速度を計測する第１の計測手段と、
前記複数の撮像装置それぞれの角速度を計測する第２の計測手段と、
前記第１の計測手段で得られる前記移動体の角速度と前記第２の計測手段で得られる前記複数の撮像装置それぞれの角速度を比較して、それぞれのずれ角を算出する算出手段と、
前記算出手段で算出された前記複数の撮像装置それぞれのずれ角に基づいて前記複数の撮像装置で得られる画像を回転させて画像のずれを校正する校正手段と
を具備することを特徴とする画像校正システム。
【請求項２】
前記第１の計測手段は、角速度センサであることを特徴とする請求項１記載の画像校正システム。
【請求項３】
前記第１の計測手段として、角度のみを計測する角度センサを設置し、前記算出手段で角度の変化率を算出して、算出された数値を移動体の角速度とすることを特徴とする請求項１記載の画像校正システム。
【請求項４】
前記第１の計測手段として、移動体に設置された慣性航法装置の慣性センサを使用して移動体の角速度を計測することを特徴とする請求項１記載の画像校正システム。
【請求項５】
前記第２の計測手段は、角速度センサであることを特徴とする請求項１記載の画像校正システム。
【請求項６】
前記校正手段は、前記移動体の移動中にリアルタイムで前記画像のずれを校正することを特徴とする請求項１記載の画像校正システム。
【請求項７】
前記第２の計測手段のいずれかを前記第１の計測手段として共用することを特徴とする請求項１記載の画像校正システム。
【請求項８】
複数の撮像装置が搭載された移動体を回転し、
前記移動体の角速度を計測し、
前記複数の撮像装置それぞれの角速度を計測し、
前記移動体の角速度と前記複数の撮像装置それぞれの角速度とを比較して前記複数の撮像装置のずれ角を算出し、
前記前記複数の撮像装置それぞれのずれ角に基づいて前記複数の撮像装置で得られる画像を回転させて画像のずれを校正することを特徴とする画像校正方法。
【請求項９】
前記移動体の移動中にリアルタイムで前記移動体の角速度、複数の撮像装置それぞれの角速度を計測し、互いに比較してずれ角を算出し、その算出結果に基づいて画像のずれを校正することを特徴とする請求項８記載の画像校正方法。
【請求項１０】
移動体に複数の撮像装置を搭載し、前記移動体の周囲を前記複数の撮像装置で分担して撮像し、各撮像装置で得られた画像を合成することで前記移動体の周囲画像を得る撮像システムにおいて、
前記移動体の角速度を計測する第１の計測手段と、
前記複数の撮像装置それぞれの角速度を計測する第２の計測手段と、
前記第１の計測手段で得られる前記移動体の角速度と前記第２の計測手段で得られる前記複数の撮像装置それぞれの角速度とを比較して、それぞれのずれ角を算出する算出手段と、
前記算出手段で算出された前記複数の撮像装置それぞれのずれ角に基づいて前記複数の撮像装置で得られる画像を回転させて画像のずれを校正する校正手段と
を具備することを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、移動体搭載の複数の撮像装置で得られる画像のずれを校正する画像校正システム、画像校正方法及び撮像システムに関する。
【背景技術】
【０００２】
一般に、移動体の周囲の広い範囲を監視するために、複数の撮像装置の画像を合成し表示する方法が広く知られている。例えば、９０°以上の視野を持つ撮像装置４台を用いて、周囲一周分を合成する装置がある。これら複数の撮像装置の画像を合成する方法として、隣り合う撮像装置の重複する視野内に含まれる特徴のある像を使用する方法、各撮像装置を決められた軸に対して精度よく取り付ける方法、取り付けた後の角度を計測し補正する方法がある。
【０００３】
しかしながら、上記に挙げた方法のうち、撮像装置を決められた軸に対して精度よく取り付ける方法と取り付けた後の角度を計測し補正する方法では、外部計測装置によって、撮像装置の取り付け角度を高精度に計測する必要がある。しかしながら、これらの外部計測装置は一般的に高価であり、外部計測装置を操作するには一定の技術レベルが必要である。さらに、撮像装置が取り付けられている物体の寸法が大きくなれば、外部計測装置の設置のために広い敷地が必要となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−２３２８６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以上のように、従来の複数の撮像装置の画像を合成する方法、特に撮像装置を決められた軸に対し精度よく取り付ける方法と取り付けた後の角度を計測し補正する方法では、外部計測装置によって、撮像装置の取り付け角度を計測する必要がある。これらの外部計測装置は、一般的に高価である。また、外部計測装置を操作するには一定の技術レベルが必要である。さらに、撮像装置が取り付けられている物体の寸法が大きくなれば、外部計測装置の設置のために広い敷地が必要となる。
【０００６】
そこで、本実施形態は、上記の事情を鑑みてなされたもので、外部の計測装置を用いずに、複数の撮像装置のずれ角を検出しそれぞれの画像のずれを校正することのできる画像校正システム、画像校正方法及び撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本実施形態に係る画像校正システムは、移動体に複数の撮像装置を搭載し、前記移動体の周囲を前記複数の撮像装置で分担して撮像し、各撮像装置で得られた画像を合成することで前記移動体の周囲画像を得る撮像システムに用いられ、前記移動体の角速度を計測する第１の計測手段と、前記複数の撮像装置それぞれの角速度を計測する第２の計測手段と、前記第１の計測手段で得られる前記移動体の角速度と前記第２の計測手段で得られる前記複数の撮像装置それぞれの角速度を比較して、それぞれのずれ角を算出する算出手段と、前記算出手段で算出された前記複数の撮像装置それぞれのずれ角に基づいて前記複数の撮像装置で得られる画像を回転させて画像のずれを校正する校正手段を具備し、前記第１の計測手段は、角速度センサであり、前記第１の計測手段として、角度のみを計測する角度センサを設置し、前記算出手段で角度の変化率を算出して、算出された数値を移動体の角速度とし、前記第１の計測手段として、移動体に設置された慣性航法装置の慣性センサを使用して移動体の角速度を計測し、前記第２の計測手段は、角速度センサであり、前記校正手段は、前記移動体の移動中にリアルタイムで前記画像のずれを校正し、前記第２の計測手段のいずれかを前記第１の計測手段として共用する態様とする。
【０００８】
また、本実施形態に係る画像校正方法は、複数の撮像装置が搭載された移動体を回転し、第１の計測手段により前記移動体の角速度を計測し、第２の計測手段により前記複数の撮像装置それぞれの角速度を計測し、算出手段により前記移動体の角速度と前記複数の撮像装置それぞれの角速度を比較して、ずれ角を算出し、前記算出手段で算出された前記複数の撮像装置それぞれのずれ角に基づいて前記複数の撮像装置で得られる画像を回転させて画像のずれを校正し、前記校正手段は、前記移動体の移動中にリアルタイムで前記画像のずれを校正し、前記第２の計測手段のいずれかを前記第１の計測手段として共用する態様とする。
【０００９】
また、本実施形態に係る撮像システムは、移動体に複数の撮像装置を搭載し、前記移動体の周囲を前記複数の撮像装置で分担して撮像し、各撮像装置で得られた画像を合成することで前記移動体の周囲画像を得る撮像システムにおいて、前記移動体の角速度を計測する第１の計測手段と、前記複数の撮像装置それぞれの角速度を計測する第２の計測手段と、前記第１の計測手段で得られる前記移動体の角速度と前記第２の計測手段で得られる前記複数の撮像装置それぞれの角速度を比較して、それぞれのずれ角を算出する算出手段と、前記算出手段で算出された前記複数の撮像装置それぞれのずれ角に基づいて前記複数の撮像装置で得られる画像を回転させて画像のずれを校正する校正手段を具備する態様とする。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る画像校正システムが適用される撮像システムの構成を示す概念図である。
【図２】図１に示す撮像システムの撮像装置の構成を示すブロック図である。
【図３】図１に示す撮像システムの画像校正処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、実施の形態について、図面を参照して説明する。
【００１２】
図１は本実施形態に係る画像校正システムが適用される撮像システムの構成を示す概念図であり、図２は図１に示す撮像システムの撮像装置Ｃの構成を示すブロック図である。
【００１３】
図１に示す撮像システムは、移動体Ｍに複数（図では４個）の撮像装置Ｃｉ（ｉは１〜４）を搭載し、移動体Ｍの周囲を４個の撮像装置Ｃｉで分担して撮像し、各撮像装置Ｃｉの撮像部Ｇｉで得られた画像を画像合成部Ｉにより合成することで移動体Ｍの周囲全体の画像を得る。
【００１４】
この撮像システムに対して、本実施形態の画像校正システムでは、図１に示すような移動体Ｍの角速度が計測できる第１の角速度計測装置１を取り付ける。この第１の角速度計測装置１には角速度センサが用いられる。
【００１５】
また、上記撮像装置Ｃｉには、図２に示すように、角速度を計測するための第２の角速度計測装置２ｉ、第１の角速度計測装置１により計測された移動体Ｍの角速度と第２の角速度計測装置２ｉにより計測された自身の角速度を比較して、移動体Ｍの変形によるずれ角を算出する角速度比較部３ｉ、角速度比較部３ｉにより算出されたずれ角を画像の校正角として記憶する校正角記憶部４ｉ、撮像部Ｇｉで取得した画像を校正角記憶部４ｉに記憶された校正角で回転して、取得した画像を校正する画像変換部５ｉを備える。第２の角速度計測装置２ｉには角速度センサが用いられる。
【００１６】
次に、本実施形態の処理の流れについて、図面を参照して説明する。
【００１７】
図３は、本実施形態に係る画像校正システムの処理の流れを示すフローチャートである。まず、撮像装置Ｃｉが搭載された移動体Ｍを回転させ（ステップＳ１）、移動体Ｍに取り付けた第１の角速度計測装置１により移動体Ｍの直交三軸方向の角速度を計測する（ステップＳ２）。同様に、撮像装置Ｃｉに取り付けた第２の角速度計測装置２ｉにより撮像装置Ｃｉそれぞれの直交三軸方向の角速度を計測する（ステップＳ３）。続いて、移動体Ｍの直交三軸方向の角速度と撮像装置Ｃｉの直交三軸方向の角速度とを角速度比較部３ｉで比較して、それぞれのずれ角を算出する（ステップＳ４）。
【００１８】
例えば、移動体Ｍに取り付けられている第１の角速度計測装置１で得られた角速度をω、撮像装置Ｃｉに取り付けられている第２の角速度計測装置２ｉで得られた角速度をω’、移動体Ｍの直交三軸と撮像装置Ｃｉの直交三軸のずれ角をΔθとすると、移動体Ｍの角速度ωと撮像装置Ｃｉの角速度ω’の関係式は、
【数１】
2013055462.tif 000003
【００１９】
となり、ずれ角Δθは、
【数２】
2013055462.tif 000004
【００２０】
で算出される。これを直交三軸で算出し、算出したずれ角を画像の校正角として校正角記憶部４ｉに記憶する（ステップＳ５）。
【００２１】
その後、画像変換部５ｉで撮像装置Ｃｉの撮像部Ｇｉで取得した画像を校正角記憶部４ｉに記憶された校正角で回転させて（ステップＳ６）、取得した画像を校正する（ステップＳ７）。
【００２２】
以上のように、上記実施形態では、従来のように外部に計測装置を設置して、撮像装置Ｃｉの取り付け角度を計測する必要がなく、複数の撮像装置Ｃｉを搭載している移動体Ｍのみで、各撮像装置Ｃｉのずれ角を検出し画像を校正することが可能となる。
【００２３】
なお、上記実施形態では、第１の角速度計測装置１に角速度センサを用いたが、角度センサを用いてもよい。この場合、撮像装置Ｃｉの角速度比較部３ｉにて、角度センサにより計測された角度から角度変化率を算出して、算出された数値を移動体Ｍの角速度とし、撮像装置Ｃｉの角速度と比較する。また、移動体Ｍに慣性航法装置の慣性センサがすでに取り付けられている場合には、その慣性センサで得られる角速度を利用してもよい。
【００２４】
なお、校正角記憶部４ｉは、移動体Ｍの移動中にリアルタイムで画像のずれを校正することが可能である。これは、移動体Ｍが移動中に生じる移動体Ｍ自身のひずみによって移動体Ｍの角速度と撮像装置Ｃｉの角速度に違いが生じる。この角速度の違いからずれ角を算出できるためである。
【００２５】
また、上記実施形態では、第１の角速度計測装置１により計測した移動体Ｍの角速度と第２の角速度計測装置２ｉにより計測した撮像装置Ｃｉの角速度とを比較してずれ角を算出するようにしたが、ほかにも第２の角速度計測装置２ｉのいずれかを第１の角速度計測装置１として共用し、角速度を比較することにより、上記実施形態と同様にずれ角を算出することができる。これにより、移動体Ｍ本体に第１の角速度計測装置１を取り付けなくてもずれ角を算出することができ、算出されたずれ角を画像の校正角として校正角記憶部４ｉに記憶し、校正角記憶部４ｉに記憶された校正角で回転して、撮像部Ｇｉで取得された画像を校正することが可能となる。
【００２６】
上記実施形態の撮像システムは、移動体Ｍの周囲警戒・監視等に利用されるものであり、移動体Ｍに複数の撮像装置Ｃｉを設置する可能性のある航空機、船舶、車両等へ実施することができ、移動体Ｍの寸法が大きいほど、実施の効果が大きい。特に、航空機と船舶は移動体Ｍの寸法が大きいので、実施の効果が大きい。
【００２７】
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００２８】
１…第１の角速度計測装置、２ｉ…第２の角速度計測装置、３ｉ…角速度比較部、４ｉ…校正角記憶部、５ｉ…画像変換部、Ｇｉ…撮像部、Ｍ…移動体、Ｃｉ…撮像装置、Ｉ…画像合成部。
【図１】
2013055462.tif 000005
【図２】
2013055462.tif 000006
【図３】
2013055462.tif 000007