(57)【要約】      （修正有）【課題】移動体に搭載された複数のカメラ間における撮像時間のずれを検出することができる画像処理装置および画像処理方法を提供する。【解決手段】画像処理装置においては、位置推定部と、位置差算出部と、撮像時間ずれ検出部とを備える。位置推定部は、移動体に搭載され移動体の周囲を撮像する複数のカメラ４０の自己位置をそれぞれ推定する。位置差算出部は、移動体が加速または減速して移動する前の第１の時点で推定されたカメラの第１の自己位置と、移動体が加速または減速して移動している第２の時点で推定されたカメラの第２の自己位置との差分を位置差として算出する。撮像時間ずれ検出部は、位置差算出部によって算出された位置差に基づいて、複数のカメラ間における画像の撮像時間のずれを示す撮像時間ずれを検出する。【選択図】図１Ｂ
2020098562.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載され前記移動体の周囲を撮像する複数のカメラの自己位置をそれぞれ推定する位置推定部と、
前記移動体が加速または減速して移動する前の第１の時点で推定されたカメラの第１の自己位置と、前記移動体が加速または減速して移動している第２の時点で推定されたカメラの第２の自己位置との差分を位置差として算出する位置差算出部と、
前記位置差算出部によって算出された前記位置差に基づいて、複数のカメラ間における画像の撮像時間のずれを示す撮像時間ずれを検出する撮像時間ずれ検出部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記撮像時間ずれ検出部によって検出された前記撮像時間ずれに前記移動体の現在速度を乗算することで、カメラの自己位置の補正量を算出し、前記位置推定部によって推定された前記自己位置を算出された前記補正量に基づいて補正する補正部
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正部によって補正されたカメラの自己位置に基づいて、複数のカメラによって撮像された画像情報を統合して前記移動体の周囲のマップ情報を生成する生成部
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正部によって補正された複数のカメラの自己位置に基づいて、前記移動体の位置を示す移動体位置情報を生成する生成部
を備えることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記撮像時間ずれ検出部は、
前記位置差算出部によって算出された前記位置差を、前記移動体が加速または減速して移動しているときの速度で除算することで、複数のカメラにおける画像の前記撮像時間をそれぞれ算出し、算出された複数のカメラの前記撮像時間に基づいて、複数のカメラ間における前記撮像時間ずれを検出すること
を特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記位置差算出部は、
前記移動体が停止しているときに推定されたカメラの自己位置と、前記移動体が発進して移動しているときに推定されたカメラの自己位置との差分を前記位置差として算出すること
を特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
【請求項７】
前記位置差算出部は、
前記第２の時点から所定のフレーム時間が経過した第３の時点で推定されたカメラの第３の自己位置に基づき、前記第２の自己位置を算出すること
を特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項８】
前記位置差算出部は、
前記第２の時点から前記第３の時点までの前記移動体の移動量を算出し、前記第３の自己位置から前記移動体の移動量を減算することで、前記第２の自己位置を算出すること
を特徴とする請求項７に記載の画像処理装置。
【請求項９】
移動体に搭載され前記移動体の周囲を撮像する複数のカメラの自己位置をそれぞれ推定する位置推定部と、
前記移動体の移動速度が変化する前後に推定されたカメラの自己位置の差分を位置差として算出する位置差算出部と、
前記位置差算出部によって算出された前記位置差に基づいて、複数のカメラ間における画像の撮像時間のずれを示す撮像時間ずれを検出する撮像時間ずれ検出部と
を備えることを特徴とする画像処理装置。
【請求項１０】
移動体に搭載された複数のカメラによって撮像された複数の画像における重複領域に存在する特徴点の位置を推定する特徴点位置推定部と、
前記重複領域を有する画像を撮像した複数のカメラのうちの一方のカメラによって撮像された画像において推定された特徴点の位置と、他方のカメラによって撮像された画像において推定された特徴点の位置との差分を特徴点位置差として算出する特徴点位置差算出部と、
前記特徴点位置差算出部によって算出された前記特徴点位置差に基づいて、複数のカメラ間における画像の撮像時間のずれを示す撮像時間ずれを検出する撮像時間ずれ検出部と
を備えることを特徴とする画像処理装置。
【請求項１１】
前記撮像時間ずれ検出部によって検出された前記撮像時間ずれに前記移動体の現在速度を乗算することで、カメラの自己位置の補正量を算出し、算出された前記補正量に基づいてカメラの自己位置を補正する補正部
を備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記補正部によって補正されたカメラの自己位置に基づいて、複数のカメラによって撮像された画像情報を統合して前記移動体の周囲のマップ情報を生成する生成部
を備えることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記補正部によって補正された複数のカメラの自己位置に基づいて、前記移動体の位置を示す移動体位置情報を生成する生成部
を備えることを特徴とする請求項１１または１２に記載の画像処理装置。
【請求項１４】
移動体に搭載され前記移動体の周囲を撮像する複数のカメラの自己位置をそれぞれ推定する位置推定工程と、
前記移動体が加速または減速して移動する前の第１の時点で推定されたカメラの第１の自己位置と、前記移動体が加速または減速して移動している第２の時点で推定されたカメラの第２の自己位置との差分を位置差として算出する位置差算出工程と、
前記位置差算出工程によって算出された前記位置差に基づいて、複数のカメラ間における画像の撮像時間のずれを示す撮像時間ずれを検出する撮像時間ずれ検出工程と
を含むことを特徴とする画像処理方法。
【請求項１５】
移動体に搭載され前記移動体の周囲を撮像する複数のカメラの自己位置をそれぞれ推定する位置推定工程と、
前記移動体の移動速度が変化する前後に推定されたカメラの自己位置の差分を位置差として算出する位置差算出工程と、
前記位置差算出工程によって算出された前記位置差に基づいて、複数のカメラ間における画像の撮像時間のずれを示す撮像時間ずれを検出する撮像時間ずれ検出工程と
を含むことを特徴とする画像処理方法。
【請求項１６】
移動体に搭載された複数のカメラによって撮像された複数の画像における重複領域に存在する特徴点の位置を推定する特徴点位置推定工程と、
前記重複領域を有する画像を撮像した複数のカメラのうちの一方のカメラによって撮像された画像において推定された特徴点の位置と、他方のカメラによって撮像された画像において推定された特徴点の位置との差分を特徴点位置差として算出する特徴点位置差算出工程と、
前記特徴点位置差算出工程によって算出された前記特徴点位置差に基づいて、複数のカメラ間における画像の撮像時間のずれを示す撮像時間ずれを検出する撮像時間ずれ検出工程と
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、車両などの移動体にカメラが搭載され、カメラから得られる移動体の周辺の画像に基づいて、例えばカメラの自己位置の推定などを行う画像処理装置が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２０７９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来技術に係る画像処理装置にあっては、例えば、移動体に複数のカメラが搭載される場合、各カメラによって撮像された画像情報を統合して移動体の周囲のマップ情報を生成することがある。
【０００５】
しかしながら、複数のカメラ間にあっては、撮像する時間（撮像タイミング）が互いに異なるため、画像処理装置において生成されるマップ情報の精度の低下を招くおそれがある。すなわち、複数のカメラ間には撮像時間のずれがあることから、例えば、移動体が移動している場合、複数のカメラのうち最初のカメラで撮像したときの移動体の位置と、次のカメラで撮像したときの移動体の位置が変わり、結果として各カメラから得られる画像情報に位置ずれが生じてしまう。このような位置ずれが生じたまま画像情報を統合してマップ情報を生成すると、マップ情報の精度の低下を招くおそれがある。
【０００６】
そのため、複数のカメラ間における撮像時間のずれを検出することができれば、例えば、撮像時間のずれに基づいて画像情報の位置ずれを補正するなどしてマップ情報の精度を向上させることが可能となる。従って、移動体に搭載された複数のカメラ間における撮像時間のずれを検出することが望まれていた。
【０００７】
本発明は、上記に鑑みてなされたものであって、移動体に搭載された複数のカメラ間における撮像時間のずれを検出することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決し、目的を達成するために、本発明は、画像処理装置において、位置推定部と、位置差算出部と、撮像時間ずれ検出部とを備える。位置推定部は、移動体に搭載され前記移動体の周囲を撮像する複数のカメラの自己位置をそれぞれ推定する。位置差算出部は、前記移動体が加速または減速して移動する前の第１の時点で推定されたカメラの第１の自己位置と、前記移動体が加速または減速して移動している第２の時点で推定されたカメラの第２の自己位置との差分を位置差として算出する。撮像時間ずれ検出部は、前記位置差算出部によって算出された前記位置差に基づいて、複数のカメラ間における画像の撮像時間のずれを示す撮像時間ずれを検出する。
【発明の効果】
【０００９】
本発明によれば、移動体に搭載された複数のカメラ間における撮像時間のずれを検出することができる。
【図面の簡単な説明】
【００１０】
【図１Ａ】図１Ａは、第１の実施形態に係る画像処理装置を含む画像処理システムを示す図である。
【図１Ｂ】図１Ｂは、画像処理方法の概要を示す図である。
【図２】図２は、第１の実施形態に係る画像処理装置を含む画像処理システムの構成例を示すブロック図である。
【図３】図３は、画像処理装置が実行する処理手順を示すフローチャートである。
【図４】図４は、第２の実施形態に係る画像処理装置を含む画像処理システムの構成例を示すブロック図である。
【図５】図５は、第２の実施形態に係る画像処理装置を説明するための図である。
【図６】図６は、第２の実施形態に係る画像処理装置が実行する処理手順を示すフローチャートである。
【図７】図７は、第３の実施形態に係る画像処理方法を説明するための図である。
【図８】図８は、第３の実施形態に係る画像処理装置が実行する処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本願の開示する画像処理装置および画像処理方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
【００１２】
（第１の実施形態）
＜１．画像処理装置および画像処理方法の概要＞
以下では先ず、第１の実施形態に係る画像処理装置および画像処理方法の概要について図１Ａおよび図１Ｂを参照して説明する。図１Ａは、第１の実施形態に係る画像処理装置を含む画像処理システムを示す図であり、図１Ｂは、画像処理方法の概要を示す図である。
【００１３】
図１Ａに示すように、第１の実施形態に係る画像処理システム１は、画像処理装置１０と、複数のカメラ４０とを備える。かかる画像処理装置１０および複数のカメラ４０は、車両Ｃに搭載される。
【００１４】
なお、車両Ｃは移動体の一例である。また、上記では、画像処理装置１０および複数のカメラ４０が、車両Ｃ（ここでは自動車）に搭載されるようにしたが、これに限定されるものではなく、例えば、自動二輪車や移動型ロボット、移動型掃除機など移動可能な移動体であれば、その他の種類の移動体に搭載されてもよい。
【００１５】
複数のカメラ４０は、例えば４台あるが、これに限られず、２台や３台、あるいは５台以上あってもよい。また、複数のカメラ４０は、第１カメラ４１と、第２カメラ４２と、第３カメラ４３と、第４カメラ４４とを含む。
【００１６】
第１カメラ４１は、車両Ｃの前方に配置される。また、第２カメラ４２は車両Ｃの右方に、第３カメラ４３は車両Ｃの後方に、第４カメラ４４は車両Ｃの左方に配置される。なお、図１Ａに示す第１〜第４カメラ４１〜４４の車両Ｃにおける配置は、あくまでも例示であって限定されるものではない。また、以下では、第１〜第４カメラ４１〜４４を特に区別せずに説明する場合には「カメラ４０」と記載する。
【００１７】
カメラ４０は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備え、かかる撮像素子を用いて車両Ｃの周囲を撮像する。具体的には、第１カメラ４１は、車両Ｃの前方を、第２カメラ４２は車両Ｃの右方を、第３カメラ４３は車両Ｃの後方を、第４カメラ４４は車両Ｃの左方をそれぞれ撮像する。
【００１８】
また、カメラ４０は、例えば魚眼レンズなどの広角レンズを備え、よって比較的広範な画角を有する。従って、カメラ４０を利用することにより、車両Ｃの全周囲を撮影することができる。なお、図１Ａでは、第１カメラ４１によって撮像される範囲を「第１撮像範囲１０１」として示している。同様に、第２カメラ４２によって撮像される範囲を「第２撮像範囲１０２」、第３カメラ４３によって撮像される範囲を「第３撮像範囲１０３」、第４カメラ４４によって撮像される範囲を「第４撮像範囲１０４」として示している。
【００１９】
複数のカメラ４０はそれぞれ、撮像した画像情報を画像処理装置１０へ出力する。画像処理装置１０では、複数のカメラ４０によって撮像された画像情報を統合して車両Ｃの周囲のマップ情報を生成することがある。なお、かかるマップ情報は、例えば車両Ｃの周囲に存在する目標物や障害物に関する情報などが含まれる地図情報であるが、これに限定されるものではない。また、上記したマップ情報は、自車（車両Ｃ）と周囲に存在する目標物や障害物との位置関係を示す情報であるともいえる。
【００２０】
画像処理装置１０では、複数のカメラ４０によって撮像された画像情報から得られる複数のカメラ４０の自己位置に基づいて、車両Ｃの位置を示す車両位置情報を生成することがあるが、これについては後述する。なお、車両位置情報は、移動体位置情報の一例である。また、車両位置情報は、上記したマップ情報に含まれてもよい。
【００２１】
ところで、上記した複数のカメラ４０間にあっては、撮像する時間が互いに異なるため、従来技術にあっては、生成されるマップ情報の精度の低下を招くおそれがあった。これについて図１Ｂを参照して説明する。
【００２２】
図１Ｂにおいては、上段に車両Ｃの移動量を示し、中段にカメラ４０において画像を撮像する時間（撮像時間。撮像タイミング）を示し、下段にカメラ４０の位置差（後述）を示している。また、図１Ｂに示す時刻Ｔ０〜Ｔ４は、画像処理装置１０において演算を実行する演算タイミングである。なお、ここでの撮像時間とは、ある基準タイミング（例えば、画像処理装置１０の演算タイミングＴ１）からカメラ４０が画像を撮像するタイミングまでの時間である。
【００２３】
なお、図１Ｂでは、停止していた車両Ｃが、時刻Ｔ１後に発進、すなわち移動を開始した場合を例示している。また、図１Ｂの例では、第１カメラ４１、第２カメラ４２、第３カメラ４３、第４カメラ４４の順で撮像が行われることを示しているが、かかる撮像順はあくまで例示であって限定されるものではない。
【００２４】
図１Ｂに示すように、第１〜第４カメラ４１〜４４間にあっては、撮像時間にずれがあることから、例えば、車両Ｃが移動している場合、最初のカメラ４０（ここでは第１カメラ４１）で撮像したときの車両Ｃの位置と、次のカメラ４０（ここでは第２カメラ４２）で撮像したときの車両Ｃの位置が変わる。そのため、各カメラ４０から得られる画像情報に位置ずれが生じてしまい、このような位置ずれが生じたまま画像情報を統合してマップ情報を生成すると、マップ情報の精度の低下を招くおそれがあった。
【００２５】
そこで、本実施形態に係る画像処理装置１０にあっては、複数のカメラ４０間における撮像時間のずれを検出することができる構成とした。また、本実施形態にあっては、検出された撮像時間のずれに基づいて画像情報の位置ずれを補正して、マップ情報の精度を向上させるようにした。
【００２６】
具体的に説明すると、画像処理装置１０は、時刻Ｔ１において、第１〜第４カメラ４１〜４４から画像情報をそれぞれ取得し、取得された画像情報に基づいて、第１〜第４カメラ４１〜４４の自己位置を推定する（ステップＳ１）。例えば、画像処理装置１０は、時刻Ｔ０〜Ｔ１の間に第１〜第４カメラ４１〜４４で撮像された画像情報を取得している。そして、画像処理装置１０は、例えば、取得された画像情報にＳＬＡＭ（Simultaneous  Localization  And  Mapping）技術を適用することで、第１〜第４カメラ４１〜４４の自己位置を推定することができる。
【００２７】
なお、車両Ｃは、時刻Ｔ１後に移動を開始することから、ステップＳ１では、画像処理装置１０は、車両Ｃが加速して移動する前に第１〜第４カメラ４１〜４４の自己位置を推定していることとなる。また、時刻Ｔ１は第１の時点の一例であり、時刻Ｔ１で推定される第１〜第４カメラ４１〜４４の自己位置は、第１の自己位置の一例である。
【００２８】
ここで、図１Ｂの下段に示すカメラ４０の位置差について説明すると、かかる位置差は、前回処理で推定されたカメラ４０の自己位置と、今回処理で推定された対応するカメラ４０の自己位置との差分である。具体的に第１カメラ４１を例にとると、第１カメラ４１の位置差は、前回処理で推定された第１カメラ４１の自己位置と、今回処理で推定された第１カメラ４１の自己位置との差分である。従って、第１カメラ４１は車両Ｃに搭載されており、図１Ｂの時刻Ｔ１では、かかる車両Ｃが停止していることから、前回処理の時刻Ｔ０で推定された第１カメラ４１の自己位置と、今回処理の時刻Ｔ１で推定された第１カメラ４１の自己位置との差分である位置差はゼロである。なお、第２〜第４カメラ４２〜４４の位置差も、第１カメラ４１と同様に、ゼロであることから、図１Ｂの時刻Ｔ１では、第１〜第４カメラ４１〜４４の位置差が重なって示されている。
【００２９】
なお、画像処理装置１０では、かかる第１〜第４カメラ４１〜４４の位置差を監視し、ゼロではなくなったとき、あるいは、第１〜第４カメラ４１〜４４の間で位置差が異なる値になったとき、撮像時間のずれを検出する処理などを実行するが、これについては、後述する。
【００３０】
次いで、画像処理装置１０は、時刻Ｔ２において、第１〜第４カメラ４１〜４４から画像情報をそれぞれ取得し、取得された画像情報に基づいて、第１〜第４カメラ４１〜４４の自己位置を推定する（ステップＳ２）。例えば、画像処理装置１０は、時刻Ｔ１〜Ｔ２の間に第１〜第４カメラ４１〜４４で撮像された画像情報を取得して、第１〜第４カメラ４１〜４４の自己位置を推定する。
【００３１】
ここで、車両Ｃは、時刻Ｔ１後に移動を開始することから、ステップＳ２における画像処理装置１０は、車両Ｃが加速して移動しているときに第１〜第４カメラ４１〜４４の自己位置を推定していることとなる。なお、車両Ｃが移動している時刻Ｔ２は第２の時点の一例であり、時刻Ｔ２で推定される第１〜第４カメラ４１〜４４の自己位置は、第２の自己位置の一例である。
【００３２】
次いで、画像処理装置１０は、第１〜第４カメラ４１〜４４の位置差を算出する（ステップＳ３）。上記したように、画像処理装置１０は、前回処理（ここでは時刻Ｔ１での処理）で推定された第１〜第４カメラ４１〜４４の自己位置と、今回処理（ここでは時刻Ｔ２での処理）で推定された対応する第１〜第４カメラ４１〜４４の自己位置との差分を、第１〜第４カメラ４１〜４４の位置差として算出する。
【００３３】
言い換えると、画像処理装置１０は、車両Ｃが加速して移動する前に推定された第１〜第４カメラ４１〜４４と、車両Ｃが加速して移動しているときに推定された第１〜第４カメラ４１〜４４の自己位置との差分を位置差として算出する。
【００３４】
具体的には、画像処理装置１０は、時刻Ｔ１の処理で推定された第１カメラ４１の自己位置と、時刻Ｔ２の処理で推定された第１カメラ４１の自己位置との差分ａ１を、第１カメラ４１の位置差として算出する。また、画像処理装置１０は、時刻Ｔ１の処理で推定された第２カメラ４２の自己位置と、時刻Ｔ２の処理で推定された第２カメラ４２の自己位置との差分ａ２を、第２カメラ４２の位置差として算出する。
【００３５】
また、画像処理装置１０は、時刻Ｔ１の処理で推定された第３カメラ４３の自己位置と、時刻Ｔ２の処理で推定された第３カメラ４３の自己位置との差分ａ３を、第３カメラ４３の位置差として算出する。また、画像処理装置１０は、時刻Ｔ１の処理で推定された第４カメラ４４の自己位置と、時刻Ｔ２の処理で推定された第４カメラ４４の自己位置との差分ａ４を、第４カメラ４４の位置差として算出する。
【００３６】
ここで、画像処理装置１０では、算出された第１〜第４カメラ４１〜４４の位置差がゼロではなくなったため、撮像時間のずれを検出する処理などを実行する。具体的には、画像処理装置１０は、算出された第１〜第４カメラ４１〜４４の位置差に基づいて、第１〜第４カメラ４１〜４４における画像の撮像時間をそれぞれ算出する（ステップＳ４）。
【００３７】
より具体的には、画像処理装置１０は、算出された第１〜第４カメラ４１〜４４の位置差をそれぞれ、車両Ｃが移動しているときの速度で除算することで、第１〜第４カメラ４１〜４４における画像の撮像時間をそれぞれ算出する。
【００３８】
例えば、画像処理装置１０は、第１カメラ４１の位置差を車両Ｃの速度で除算することで、第１カメラ４１における画像の撮像時間ｔ１を算出する。また、画像処理装置１０は、第２カメラ４２の位置差を車両Ｃの速度で除算することで、第２カメラ４２における画像の撮像時間ｔ２を算出する。
【００３９】
また、画像処理装置１０は、第３カメラ４３の位置差を車両Ｃの速度で除算することで、第３カメラ４３における画像の撮像時間ｔ３を算出する。また、画像処理装置１０は、第４カメラ４４の位置差を車両Ｃの速度で除算することで、第４カメラ４４における画像の撮像時間ｔ４を算出する。
【００４０】
なお、上記した撮像時間の算出に用いられる車両Ｃの速度は、後述するように次回の演算処理（ここでは時刻Ｔ３）で推定される速度であってもよいし、図示しない車速センサから得られる速度であってもよい。
【００４１】
次いで、画像処理装置１０は、複数のカメラ４０間、すなわち、第１〜第４カメラ４１〜４４間における画像の撮像時間のずれを示す撮像時間ずれを検出する（ステップＳ５）。
【００４２】
以下では、第４カメラ４４の画像の撮像時間ｔ４を基準にして撮像時間ずれを検出する場合を例にとって説明する。例えば、画像処理装置１０は、第４カメラ４４の撮像時間ｔ４から第１カメラ４１の撮像時間ｔ１を減算して得た時間差ｔ１ａを、第１カメラ４１の第４カメラ４４に対する撮像時間ずれｔ１ａとして検出する。
【００４３】
また、画像処理装置１０は、第４カメラ４４の撮像時間ｔ４から第２カメラ４２の撮像時間ｔ２を減算して得た時間差ｔ２ａを、第２カメラ４２の第４カメラ４４に対する撮像時間ずれｔ２ａとして検出する。また、画像処理装置１０は、第４カメラ４４の撮像時間ｔ４から第３カメラ４３の撮像時間ｔ３を減算して得た時間差ｔ３ａを、第３カメラ４３の第４カメラ４４に対する撮像時間ずれｔ３ａとして検出する。
【００４４】
なお、上記では、第４カメラ４４の撮像時間ｔ４を基準にして撮像時間ずれを検出するようにしたが、これに限定されるものではなく、例えば、第１〜第３カメラ４１〜４３のいずれかの撮像時間ｔ１〜ｔ３を基準にしてもよく、また、例えば時刻Ｔ２など任意の所定時間を基準にしてもよい。
【００４５】
本実施形態にあっては、車両Ｃが加速して移動する前に推定されたカメラ４０の自己位置と、車両Ｃが加速して移動しているときに推定されたカメラ４０の自己位置との差分を位置差として算出するようにした。言い換えると、本実施形態にあっては、複数のカメラ４０の間で位置差が異なるようなタイミング、具体的には、車両Ｃが加速して移動する前後であって、撮像時間のずれが表れるタイミングで、カメラ４０の位置差を算出するようにした。
【００４６】
これにより、本実施形態においては、算出された位置差は、複数のカメラ４０の間で異なることとなり、かかる位置差を用いることで、複数のカメラ４０間における撮像時間ずれを検出することができる。
【００４７】
上記のようにして、複数のカメラ４０間における撮像時間ずれが検出されると、画像処理装置１０は、検出された撮像時間ずれを用いて画像情報の位置ずれを補正する補正処理等を行う。
【００４８】
図１Ｂに示す例では、時刻Ｔ４において、補正処理等が行われる場合を例にとって説明する。画像処理装置１０は、時刻Ｔ４において、第１〜第４カメラ４１〜４４から画像情報をそれぞれ取得し、取得された画像情報に基づいて、第１〜第４カメラ４１〜４４の自己位置を推定する（ステップＳ６）。例えば、画像処理装置１０は、時刻Ｔ３〜Ｔ４の間に第１〜第４カメラ４１〜４４で撮像された画像情報を取得している。なお、かかる画像情報には、複数のカメラ４０間における撮像時間ずれに起因した位置ずれが含まれている。
【００４９】
次いで、画像処理装置１０は、ステップＳ５で検出された撮像時間ずれに車両Ｃの現在速度を乗算することで、各カメラ４０の自己位置の補正量を算出する（ステップＳ７）。
【００５０】
例えば、画像処理装置１０は、第１カメラ４１の第４カメラ４４に対する撮像時間ずれｔ１ａに、車両Ｃの現在速度を乗算することで、第１カメラ４１の自己位置の補正量を算出する。また、画像処理装置１０は、第２カメラ４２の第４カメラ４４に対する撮像時間ずれｔ２ａに、車両Ｃの現在速度を乗算することで、第２カメラ４２の自己位置の補正量を算出する。
【００５１】
また、画像処理装置１０は、第３カメラ４３の第４カメラ４４に対する撮像時間ずれｔ３ａに、車両Ｃの現在速度を乗算することで、第２カメラ４２の自己位置の補正量を算出する。なお、図１Ｂに示す例では、第４カメラ４４が、撮像時間ずれを算出する際の基準であるため、第４カメラ４４の自己位置の補正量はゼロである。
【００５２】
なお、上記した補正量の算出に用いられる車両Ｃの現在速度は、例えば、時刻Ｔ４の演算処理で推定される現在速度であってもよいし、図示しない車速センサから得られる現在速度であってもよい。演算処理で現在速度を推定する場合、画像処理装置１０は先ず、カメラ４０の位置差を算出する。カメラ４０の位置差は、前回処理と今回処理とで推定されたカメラ４０の自己位置の差分であるため、画像処理装置１０は、算出された位置差を、前回処理から今回処理までの時間（ここでは時刻Ｔ３〜時刻Ｔ４のフレーム時間）で除算することで、車両Ｃの現在速度を推定することができる。
【００５３】
そして、画像処理装置１０は、ステップＳ６で推定された第１〜第４カメラ４１〜４４の自己位置を、ステップＳ７で算出された補正量に基づいて補正する（ステップＳ８）。例えば、画像処理装置１０は、推定された第１カメラ４１の自己位置に、第１カメラ４１の自己位置の補正量を加算することで、推定された第１カメラ４１の自己位置を補正する。これにより、第１カメラ４１の自己位置は、第４カメラ４４の自己位置と同期した位置になるため、第１カメラ４１と第４カメラ４４との間における撮像時間ずれｔ１ａに起因した位置ずれの影響を低減させることができる。
【００５４】
また、画像処理装置１０は、推定された第２カメラ４２の自己位置に、第２カメラ４２の自己位置の補正量を加算することで、推定された第２カメラ４２の自己位置を補正する。これにより、第２カメラ４２の自己位置は、第４カメラ４４の自己位置と同期した位置になるため、第２カメラ４２と第４カメラ４４との間における撮像時間ずれｔ２ａに起因した位置ずれの影響を低減させることができる。
【００５５】
また、画像処理装置１０は、推定された第３カメラ４３の自己位置に、第３カメラ４３の自己位置の補正量を加算することで、推定された第３カメラ４３の自己位置を補正する。これにより、第３カメラ４３の自己位置は、第４カメラ４４の自己位置と同期した位置になるため、第３カメラ４３と第４カメラ４４との間における撮像時間ずれｔ３ａに起因した位置ずれの影響を低減させることができる。
【００５６】
そして、画像処理装置１０は、補正されたカメラ４０の自己位置に基づいて、複数のカメラ４０によって撮像された画像情報を統合して車両Ｃの周囲のマップ情報を生成する（ステップＳ９）。
【００５７】
このように、本実施形態にあっては、上記した補正量による補正によって、複数のカメラ４０間における撮像時間ずれに起因した位置ずれの影響が低減したカメラ４０の自己位置を用いることで、生成されるマップ情報の精度を向上させることができる。
【００５８】
また、例えば、商業施設などの比較的大型の駐車場や、一般家庭などの小型の駐車場などに、車両Ｃを自動運転で駐車させる自動駐車装置等は、車両Ｃの周囲のマップ情報を用いて車両Ｃを制御する場合がある。かかる場合に、本実施形態に係る画像処理装置１０によって生成された精度の高いマップ情報を用いることで、自動駐車装置等は、車両Ｃを精度良く制御でき、結果として車両Ｃを適切に自動駐車させることが可能になる。
【００５９】
また、上記では、自動運転制御を用いた駐車場での車両Ｃの駐車制御（いわゆる自動バレーパーキングを含む自動駐車制御）において、マップ情報が用いられるようにしたが、これに代えてまたは加えて、車両Ｃの位置を示す車両位置情報が用いられてもよい。かかる場合にも、車両Ｃを適切に自動駐車させることが可能になる。
【００６０】
具体的に説明すると、車両Ｃに対するカメラ４０の配置位置は予め設定されていることから、画像処理装置１０は、補正されたカメラ４０の自己位置に基づいて、車両Ｃの位置を示す車両位置情報を生成することができる。このように、本実施形態にあっては、上記した補正量による補正によって、複数のカメラ４０間における撮像時間ずれに起因した位置ずれの影響が低減したカメラ４０の自己位置を用いることで、生成される車両位置情報の精度を向上させることができる。そして、本実施形態では、生成された精度の高い車両位置情報を用いることで、自動駐車装置等は、車両Ｃを精度良く制御でき、結果として車両Ｃを適切に自動駐車させることが可能になる。
【００６１】
＜２．画像処理装置を含む画像処理システムの構成＞
次に、本実施形態に係る画像処理装置１０を含む画像処理システム１の構成について、図２を用いて説明する。図２は、第１の実施形態に係る画像処理装置１０を含む画像処理システム１の構成例を示すブロック図である。なお、図２等のブロック図では、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。
【００６２】
換言すれば、図２等のブロック図に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。
【００６３】
図２に示すように、画像処理システム１は、上記した画像処理装置１０と、第１〜第４カメラ４１〜４４とを備える。第１〜第４カメラ４１〜４４はそれぞれ、撮像した画像情報を画像処理装置１０へ出力する。
【００６４】
画像処理装置１０は、制御部２０と、記憶部３０とを備える。記憶部３０は、不揮発性メモリやハードディスクドライブといった記憶デバイスで構成される記憶部である。記憶部３０は、第１画像３１、第２画像３２、第３画像３３、第４画像３４、各種プログラムや設定データなどを記憶する。
【００６５】
第１画像３１は、第１カメラ４１によって撮像された画像情報である。また、第２画像３２は第２カメラ４２によって、第３画像３３は第３カメラ４３によって、第４画像３４は第４カメラ４４によってそれぞれ撮像された画像情報である。なお、第１〜第４画像３１〜３４に含まれる画像情報は、１つであっても複数であってもよい。
【００６６】
制御部２０は、取得部２１と、位置推定部２２と、位置差算出部２３と、撮像時間ずれ検出部２４と、補正部２５と、生成部２６とを備え、ＣＰＵ（Central  Processing  Unit）などを有するマイクロコンピュータである。
【００６７】
取得部２１は、第１〜第４カメラ４１〜４４から出力される画像情報を取得する。そして、取得部２１は、第１カメラ４１から出力される画像情報を第１画像３１として記憶部３０に記憶させる。また、取得部２１は、第２カメラ４２から出力される画像情報を第２画像３２として記憶部３０に記憶させる。また、取得部２１は、第３カメラ４３から出力される画像情報を第３画像３３として記憶部３０に記憶させ、第４カメラ４４から出力される画像情報を第４画像３４として記憶部３０に記憶させる。
【００６８】
位置推定部２２は、第１〜第４カメラ４１〜４４の自己位置をそれぞれ推定する。例えば、位置推定部２２は、記憶部３０にアクセスして第１画像３１を読み出し、第１画像３１にＳＬＡＭ技術を適用して第１カメラ４１の自己位置を推定する。同様に、位置推定部２２は、第２〜第４画像３２〜３４を順次読み出し、第２〜第４画像３２〜３４に基づいて、第２〜第４カメラ４２〜４４の自己位置を推定する。なお、上記した第１〜第４カメラ４１〜４４の自己位置は、例えば座標値であるが、これに限定されるものではない。
【００６９】
位置差算出部２３は、第１〜第４カメラ４１〜４４の位置差を算出する。例えば、位置差算出部２３は、前回処理で推定された第１〜第４カメラ４１〜４４の自己位置と、今回処理で推定された対応する第１〜第４カメラ４１〜４４の自己位置との差分を位置差として算出する。
【００７０】
ここで、例えば、前回処理および今回処理の両方で、車両Ｃが停止しているような場合、第１〜第４カメラ４１〜４４の自己位置は変化しないことから、位置差算出部２３によって算出される第１〜第４カメラ４１〜４４の位置差はゼロになる（図１Ｂの時刻Ｔ１参照）。
【００７１】
また、例えば、前回処理および今回処理の両方で、車両Ｃの速度が同じまたは略同じである場合、すなわち車両Ｃが等速で移動しているような場合、位置差算出部２３によって算出される第１〜第４カメラ４１〜４４の間で位置差は同じ値、または略同じ値になる（図１Ｂの時刻Ｔ３，Ｔ４参照）。
【００７２】
他方、前回処理と今回処理とで車両Ｃの速度が異なる場合、例えば、車両Ｃが停止状態から発進して移動を開始した場合、位置差算出部２３によって算出される第１〜第４カメラ４１〜４４の間で位置差は異なる値になる、別言すれば、ゼロではなくなる（図１Ｂの時刻Ｔ２参照）。
【００７３】
そして、位置差算出部２３は、第１〜第４カメラ４１〜４４の間で位置差が異なる値になったことが検知された場合、あるいは、ゼロではなくなったことが検知された場合、算出された位置差を示す情報を撮像時間ずれ検出部２４へ出力し、撮像時間ずれを検出する処理などが行われる。
【００７４】
このように、位置差算出部２３は、車両Ｃが停止しているときに推定された第１〜第４カメラ４１〜４４の自己位置と、車両Ｃが発進して移動しているときに推定された第１〜第４カメラ４１〜４４の自己位置との差分を位置差として算出することができる。
【００７５】
これにより、本実施形態にあっては、算出された第１〜第４カメラ４１〜４４の間で位置差が異なる値になったこと、あるいは、ゼロではなくなったことを容易に検知することができ、よって検知後の撮像時間ずれ検出処理などを確実に実行させることができる。
【００７６】
なお、算出される第１〜第４カメラ４１〜４４の間で位置差が異なる値となるのは、上記した車両Ｃの発進時に限られない。すなわち、例えば、車両Ｃが加速しながら移動しているときや、減速しながら移動しているとき、減速して停止するとき、定速状態から加速や減速するときなども、第１〜第４カメラ４１〜４４の間で位置差が異なる値となる場合がある。かかる場合にも、位置差算出部２３は、算出された位置差を示す情報を撮像時間ずれ検出部２４へ出力し、撮像時間ずれを検出する処理などが行われるようにしてもよい。
【００７７】
このように、位置差算出部２３は、車両Ｃが加速または減速して移動する前に推定されたカメラの自己位置と、車両Ｃが加速または減速して移動しているときに推定されたカメラの自己位置との差分を位置差として算出することができる。
【００７８】
これにより、本実施形態にあっては、算出された第１〜第４カメラ４１〜４４の間で位置差が異なる値になったこと、あるいは、ゼロではなくなったことを、広範な車両Ｃの運転状況に応じて適切に検知することが可能となり、よって検知後の撮像時間ずれ検出処理などを確実に実行させることができる。
【００７９】
なお、上記した第１〜第４カメラ４１〜４４の位置差は、例えば、各カメラ４０の移動する距離と移動する方向（向き）などを含むベクトル量とされるが、これに限られず、例えばスカラー量などであってもよい。
【００８０】
撮像時間ずれ検出部２４は、位置差算出部２３によって算出された第１〜第４カメラ４１〜４４の位置差に基づいて、第１〜第４カメラ４１〜４４間における画像の撮像時間のずれを示す撮像時間ずれを検出する。
【００８１】
具体的には、例えば、撮像時間ずれ検出部２４は、位置差算出部２３によって算出された第１〜第４カメラ４１〜４４の位置差を、車両Ｃが移動しているときの速度で除算することで、第１〜第４カメラ４１〜４４における画像の撮像時間をそれぞれ算出する。
【００８２】
ここで、上記したように、撮像時間の算出に用いられる車両Ｃの速度は、次回の演算処理（例えば図１Ｂの時刻Ｔ３）で推定される速度であってもよい。具体的には、次回の演算処理で車両Ｃの速度を推定する場合、先ず、位置差算出部２３がカメラ４０の位置差を算出する。カメラ４０の位置差は、前回処理と今回処理とで推定されたカメラ４０の自己位置の差分であるため、撮像時間ずれ検出部２４は、算出された位置差を、前回処理から今回処理までの時間（例えば図１Ｂの時刻Ｔ２〜時刻Ｔ３のフレーム時間）で除算することで、車両Ｃの速度を推定することができる。
【００８３】
なお、上記では、車両Ｃの発進時は、車両Ｃの速度変化が比較的少なく等速で移動すると想定して、次回の演算処理で推定される速度を用いたが、これに限定されるものではない。すなわち、車両Ｃの発進時は、車両Ｃが等加速度で移動すると想定して、次回の演算処理で推定される加速度から、撮像時間の算出に用いられる車両Ｃの速度を推定するように構成してもよい。
【００８４】
そして、撮像時間ずれ検出部２４は、算出された第１〜第４カメラ４１〜４４の撮像時間に基づいて、第１〜第４カメラ４１〜４４間における撮像時間ずれを検出する。例えば、撮像時間ずれ検出部２４は、基準となる所定時間から、第１〜第４カメラ４１〜４４の撮像時間をそれぞれ減算して得た時間差を、第１〜第４カメラ４１〜４４間における撮像時間ずれとして検出する。
【００８５】
補正部２５は、撮像時間ずれ検出部２４によって検出された撮像時間ずれに車両Ｃの現在速度を乗算することで、第１〜第４カメラ４１〜４４の自己位置の補正量を算出する。そして、補正部２５は、位置推定部２２によって推定された自己位置を算出された補正量に基づいて補正する（例えば図１Ｂの時刻Ｔ４参照）。
【００８６】
これにより、第１〜第４カメラ４１〜４４の自己位置は、互いに同期した位置になるため、第１〜第４カメラ４１〜４４間における撮像時間ずれに起因した位置ずれの影響を低減させることができる。
【００８７】
生成部２６は、補正部２５によって補正された第１〜第４カメラ４１〜４４の自己位置に基づいて、第１〜第４カメラ４１〜４４によって撮像された画像情報を統合してマップ情報を生成する。このように、第１〜第４カメラ４１〜４４間における撮像時間ずれを考慮して、第１〜第４カメラ４１〜４４の自己位置を同期させるようにしたことから、画像情報を統合して生成されるマップ情報の精度を向上させることができる。
【００８８】
また、生成部２６は、補正部２５によって補正された複数のカメラ４０の自己位置に基づいて、車両Ｃの位置を示す車両位置情報を生成する。例えば、車両Ｃに対するカメラ４０の配置位置を示す配置位置情報が記憶部３０に予め記憶され、生成部２６は、配置位置情報と、補正された複数のカメラ４０（第１〜第４カメラ４１〜４４）の自己位置とに基づいて、車両位置情報を生成する。このように、本実施形態にあっては、上記した補正量による補正によって、複数のカメラ４０間における撮像時間ずれに起因した位置ずれの影響が低減したカメラ４０の自己位置を用いることで、生成される車両位置情報の精度を向上させることができる。
【００８９】
なお、例えば自動バレーパーキングを含む自動駐車制御において、精度の高いマップ情報や車両位置情報が用いられることで、車両Ｃを適切に自動駐車させることが可能になることは既に述べた通りである。
【００９０】
＜３．第１の実施形態に係る画像処理装置の制御処理＞
次に、画像処理装置１０における具体的な処理手順について図３を用いて説明する。図３は、画像処理装置１０が実行する処理手順を示すフローチャートである。
【００９１】
図３に示すように、画像処理装置１０の制御部２０は、各カメラ４０の画像情報に基づいて、カメラ４０の自己位置をそれぞれ推定する（ステップＳ１０）。次いで、制御部２０は、前回処理で推定された複数のカメラ４０の自己位置と、今回処理で推定された対応する複数のカメラ４０の自己位置との位置差を算出する（ステップＳ１１）。
【００９２】
次いで、制御部２０は、算出された複数のカメラ４０の間で位置差が異なる値になったか否か、あるいは、ゼロではなくなったか否かを判定する（ステップＳ１２）。制御部２０は、複数のカメラ４０の間で位置差が異なる値になっていない、あるいは、ゼロのままであると判定された場合（ステップＳ１２，Ｎｏ）、ステップＳ１０の処理に戻る。
【００９３】
他方、制御部２０は、複数のカメラ４０の間で位置差が異なる値になった、あるいは、ゼロではなくなったと判定された場合（ステップＳ１２，Ｙｅｓ）、位置差に基づいて複数のカメラ４０間における撮像時間ずれを検出する（ステップＳ１３）。
【００９４】
次いで、制御部２０は、撮像時間ずれに車両Ｃの現在速度を乗算することで、カメラ４０の自己位置の補正量を算出する（ステップＳ１４）。続いて、制御部２０は、推定された複数のカメラ４０の自己位置を算出された補正量に基づいて補正する（ステップＳ１５）。
【００９５】
そして、制御部２０は、補正されたカメラ４０の自己位置に基づいて、複数のカメラ４０によって撮像された画像情報を統合してマップ情報を生成する（ステップＳ１６）。なお、ステップＳ１６において、制御部２０は、マップ情報を生成したが、これに限られず、例えば、補正された複数のカメラ４０の自己位置に基づいて車両位置情報を生成してもよい。
【００９６】
上述してきたように、第１の実施形態に係る画像処理装置１０は、位置推定部２２と、位置差算出部２３と、撮像時間ずれ検出部２４とを備える。位置差算出部２３は、車両Ｃ（移動体の一例）に搭載され車両Ｃの周囲を撮像する複数のカメラ４０の自己位置をそれぞれ推定する。位置差算出部２３は、車両Ｃが加速または減速して移動する前の第１の時点で推定されたカメラの第１の自己位置と、車両Ｃが加速または減速して移動している第２の時点で推定されたカメラ４０の第２の自己位置との差分を位置差として算出する。撮像時間ずれ検出部２４は、位置差算出部２３によって算出された位置差に基づいて、複数のカメラ４０間における画像の撮像時間のずれを示す撮像時間ずれを検出する。これにより、車両Ｃに搭載された複数のカメラ４０間における撮像時間のずれを検出することができる。
【００９７】
なお、上記では、車両Ｃが加速または減速して移動する前に推定されたカメラ４０の自己位置と、車両Ｃが加速または減速して移動しているときに推定されたカメラ４０の自己位置との差分を位置差として算出し、かかる位置差に基づいて撮像時間ずれを検出するようにした。言い換えると、本実施形態に係る画像処理装置１０は、車両Ｃの移動速度が変化する前後に推定されたカメラ４０の自己位置の差分を位置差として算出し、かかる位置差に基づいて撮像時間ずれを検出している。ここで、移動速度の変化には、速さや方向（移動ベクトル）の変化が含まれてもよい。
【００９８】
つまり、本実施形態にあっては、例えば、同一のカメラ４０の撮影画像間（１フレーム間でも、所定フレーム間でもよい）の移動ベクトルが、各カメラで異なる状況、すなわち等速移動ではない状況で、かつその移動状態（例えば移動の速さや方向）を把握できればよい。従って、例えば、画像処理装置１０は、撮影画像間における画像の移動（移動状態）を検出し、画像の移動により上記した位置差を算出し、そして位置差に基づいて撮像時間ずれを検出することができる。これにより、車両Ｃに搭載された複数のカメラ４０間における撮像時間のずれを検出することができることは、既に述べた通りである。
【００９９】
＜４．変形例＞
上記した第１の実施形態において、画像処理装置１０は、車両Ｃの発進の前後などにおいて、複数のカメラ４０の間で位置差が異なる値になったり、ゼロではなくなったりすることで、撮像時間のずれを検出するようにしたが、複数のカメラ４０の間で位置差が異なる値になるなどの状態は、車両Ｃの発進の前後などに限定されるものではない。
【０１００】
すなわち、例えば、車両Ｃの操舵角や、車両Ｃのピッチ方向、ロール方向の移動によっても、複数のカメラ４０の間で位置差が異なる値になったりすることから、操舵角等を考慮して、位置差を算出して撮像時間のずれを検出するようにしてもよい。
【０１０１】
変形例に係る画像処理装置１０を含む画像処理システム１にあっては、図２に想像線で示すように、操舵角センサ６０やジャイロセンサ６１を備えるようにした。操舵角センサ６０は、車両Ｃの操舵角を示す信号を画像処理装置１０へ出力する。また、ジャイロセンサ６１は、例えば車両Ｃのピッチ方向、ロール方向の角度を示す信号を画像処理装置１０へ出力する。
【０１０２】
画像処理装置１０にあっては、取得部２１が、操舵角センサ６０やジャイロセンサ６１から出力される信号を取得し、位置差算出部２３へ出力する。位置差算出部２３は、操舵角センサ６０の出力に基づいて得られる操舵角に応じて、複数のカメラ４０の位置差を算出してもよい。また、位置差算出部２３は、ジャイロセンサ６１の出力に基づいて得られるピッチ方向やロール方向の角度に応じて、複数のカメラ４０の位置差を算出してもよい。
【０１０３】
これにより、変形例にあっては、例えば車両Ｃがカーブ路を走行して操舵されるときや、車両Ｃの加減速などによって車両Ｃが傾くようなときであっても、複数のカメラ４０の位置差を精度良く算出することができる。
【０１０４】
なお、上記した変形例では、画像処理システム１が操舵角センサ６０およびジャイロセンサ６１を備えるようにしたが、これに限られず、操舵角センサ６０およびジャイロセンサ６１のいずれかを備える構成であってもよい。
【０１０５】
（第２の実施形態）
＜５．第２の実施形態に係る画像処理装置の構成＞
次いで、第２の実施形態に係る画像処理装置１０の構成について図４以降を参照しつつ説明する。図４は、第２の実施形態に係る画像処理装置１０を含む画像処理システム１の構成例を示すブロック図である。また、図５は、第２の実施形態に係る画像処理装置１０を説明するための図である。なお、以下においては、第１の実施形態と共通の構成については、同一の符号を付して説明を省略する。
【０１０６】
図４および図５に示すように、第２の実施形態にあっては、複数のカメラ４０によって撮像される画像の重複領域に存在する特徴点の位置を、カメラ４０ごとに比較することで、撮像時間ずれを検出するようにした。
【０１０７】
具体的に説明すると、第２の実施形態に係る画像処理装置１０の制御部２０は、取得部２１と、位置推定部２２と、重複領域選択部２２ａと、ペアリング部２２ｂと、特徴点位置推定部２２ｃと、特徴点位置差算出部２２ｄと、撮像時間ずれ検出部２４と、補正部２５と、生成部２６とを備える。
【０１０８】
重複領域選択部２２ａは、複数のカメラ４０、すなわち第１〜第４カメラ４１〜４４によって撮像された複数の画像における重複領域を選択する。ここで、重複領域について図５を参照して説明する。
【０１０９】
図５に示すように、第１〜第４カメラ４１〜４４は、比較的広範な画角を有することから、撮像された複数の画像は、隣接するカメラ４０と部分的に重複する。例えば、第１カメラ４１の第１撮像範囲１０１と、第２カメラ４２の第２撮像範囲１０２とは、部分的に重複して重複領域２０１を形成する。
【０１１０】
また、第２カメラ４２の第２撮像範囲１０２と、第３カメラ４３の第３撮像範囲１０３とは、部分的に重複して重複領域２０２を形成する。また、第３カメラ４３の第３撮像範囲１０３と、第４カメラ４４の第４撮像範囲１０４とは、部分的に重複して重複領域２０３を形成する。また、第４カメラ４４の第４撮像範囲１０４と、第１カメラ４１の第１撮像範囲１０１とは、部分的に重複して重複領域２０４を形成する。
【０１１１】
重複領域選択部２２ａは、各カメラ４０によって撮像された画像情報を画像処理し、画像処理結果に基づき、複数の重複領域２０１〜２０４から、物標（例えば他車両やポール等）などの特徴点を有する重複領域２０１〜２０４を選択する。なお、図５に示す例では、第１カメラ４１の第１撮像範囲１０１における重複領域２０１に特徴点Ｄ１が検出され、第２カメラ４２の第２撮像範囲１０２における重複領域２０１に特徴点Ｄ２が検出されたものとする。
【０１１２】
ペアリング部２２ｂは、隣接するカメラ４０の重複領域に存在する特徴点に対し、同じ特徴点と推定される特徴点同士をペアリングする（組み合わせる）。例えば、ペアリング部２２ｂは、特徴点の特徴量の類似度（類似性）が比較的高い特徴点同士や、位置点分布から最小誤差となるような特徴点同士をペアリングする。なお、図５の例では、特徴点Ｄ１と特徴点Ｄ２とがペアリングされたものとする。
【０１１３】
特徴点位置推定部２２ｃは、カメラ４０によって撮像された画像情報に基づき、ペアリングされた特徴点の位置をそれぞれ推定する。図５の例では、第１カメラ４１によって撮像された画像情報に基づいて特徴点Ｄ１の位置を推定し、第２カメラ４２によって撮像された画像情報に基づいて特徴点Ｄ２の位置を推定する。
【０１１４】
特徴点位置差算出部２２ｄは、特徴点位置推定部２２ｃによって推定された、ペアリングされた特徴点の位置の差分を特徴点位置差（ペア距離差）として算出する。例えば、図５に示す例では、特徴点位置差算出部２２ｄは、重複領域２０１を有する画像を撮像した第１カメラ４１（一方のカメラの一例）によって撮像された画像において推定された特徴点Ｄ１の位置と、第２カメラ４２（他方のカメラの一例）によって撮像された画像において推定された特徴点Ｄ２の位置との差分を特徴点位置差として算出する。
【０１１５】
かかる特徴点位置差は、車両Ｃの速度に比例する。従って、撮像時間ずれ検出部２４は、特徴点位置差を、車両Ｃの現在速度で除算することで、撮像時間ずれを検出する。なお、車両Ｃの速度がゼロの場合、特徴点位置差自体がない、あるいはほとんどないことから、撮像時間ずれ検出部２４は、撮像時間ずれの検出する処理を行わないようにしてもよい。
【０１１６】
このように、第２の実施形態にあっては、算出された特徴点位置差を用いることで、複数のカメラ４０間における撮像時間ずれを検出することができる。
【０１１７】
上記のようにして、複数のカメラ４０間における撮像時間ずれが検出されると、補正部２５は、第１の実施形態と同様に、位置推定部２２によって推定された自己位置を補正する。例えば、補正部２５は、撮像時間ずれ検出部２４によって検出された撮像時間ずれに車両Ｃの現在速度を乗算することで、複数のカメラ４０の自己位置の補正量を算出する。そして、補正部２５は、位置推定部２２によって推定された自己位置を算出された補正量に基づいて補正する。
【０１１８】
これにより、複数のカメラ４０の自己位置は、互いに同期した位置になるため、複数のカメラ４０間における撮像時間ずれに起因した位置ずれの影響を低減させることができる。
【０１１９】
生成部２６は、補正部２５によって補正された複数のカメラ４０自己位置に基づいて、複数のカメラ４０によって撮像された画像情報を統合してマップ情報を生成する。このように、複数のカメラ４０間における撮像時間ずれを考慮して、複数のカメラ４０の自己位置を同期させるようにしたことから、画像情報を統合して生成されるマップ情報の精度を向上させることができる。
【０１２０】
また、生成部２６は、補正部２５によって補正された複数のカメラ４０の自己位置に基づいて、車両Ｃの位置を示す車両位置情報を生成する。このように、第２の実施形態にあっては、第１の実施形態と同様に、上記した補正量による補正によって、複数のカメラ４０間における撮像時間ずれに起因した位置ずれの影響が低減したカメラ４０の自己位置を用いることで、生成される車両位置情報の精度を向上させることができる。
【０１２１】
＜６．第２の実施形態に係る画像処理装置の制御処理＞
次に、第２の実施形態に係る画像処理装置１０における具体的な処理手順について図６を用いて説明する。図６は、第２の実施形態に係る画像処理装置１０が実行する処理手順を示すフローチャートである。
【０１２２】
図６に示すように、画像処理装置１０の制御部２０は、ステップＳ１０の処理後、重複領域２０１〜２０４における特徴点の特徴点位置を推定する（ステップＳ１１ａ）。次いで、制御部２０は、推定された特徴点の位置の特徴点位置差を算出する（ステップＳ１１ｂ）。
【０１２３】
次いで、制御部２０は、車両Ｃの速度がゼロであるか否かを判定する（ステップＳ１２ａ）。制御部２０は、車両Ｃの速度がゼロであると判定された場合（ステップＳ１２ａ，Ｙｅｓ）、ステップＳ１０の処理に戻る。
【０１２４】
他方、制御部２０は、車両Ｃの速度がゼロではないと判定された場合（ステップＳ１２ａ，Ｎｏ）、特徴点位置差に基づいて複数のカメラ４０間における撮像時間ずれを検出する（ステップＳ１３ａ）。なお、ステップＳ１４以降の処理は、第１の実施形態と同様であるため、説明を省略する。
【０１２５】
上述してきたように、第２の実施形態に係る画像処理装置１０は、特徴点位置推定部２２ｃと、特徴点位置差算出部２２ｄと、撮像時間ずれ検出部２４とを備える。特徴点位置推定部２２ｃは、車両Ｃ（移動体の一例）に搭載された複数のカメラ４０によって撮像された複数の画像における重複領域に存在する特徴点の位置を推定する。特徴点位置差算出部２２ｄは、重複領域を有する画像を撮像した複数のカメラ４０のうちの一方のカメラ４０によって撮像された画像において推定された特徴点の位置と、他方のカメラ４０によって撮像された画像において推定された特徴点の位置との差分を特徴点位置差として算出する。撮像時間ずれ検出部２４は、特徴点位置差算出部２２ｄによって算出された特徴点位置差に基づいて、複数のカメラ４０間における画像の撮像時間のずれを示す撮像時間ずれを検出する。これにより、車両Ｃに搭載された複数のカメラ４０間における撮像時間のずれを検出することができる。
【０１２６】
（第３の実施形態）
＜７．第３の実施形態に係る画像処理装置＞
次いで、第３の実施形態に係る画像処理装置１０について説明する。第３の実施形態に係る画像処理装置１０を含む画像処理システム１の構成例は、第１の実施形態に係る画像処理装置１０を含む画像処理システム１の構成例（図２参照）と同様である。
【０１２７】
以下、第３の実施形態に係る画像処理装置１０について、図２および図７以降を参照しつつ説明する。図７は、第３の実施形態に係る画像処理方法を説明するための図である。
【０１２８】
図２および図７に示すように、第３の実施形態に係る位置差算出部２３は、車両Ｃが移動している時刻Ｔ２におけるカメラ４０の位置差を算出する。時刻Ｔ２におけるカメラ４０の位置差は、上記したように、時刻Ｔ１でのカメラ４０の自己位置と、時刻Ｔ２でのカメラ４０の自己位置との差分である。
【０１２９】
ここで、第３の実施形態に係る位置差算出部２３にあっては、カメラ４０の分解能などカメラ特性を考慮し、時刻Ｔ２でのカメラ４０の自己位置を、時刻Ｔ２から所定のフレーム時間が経過した時刻Ｔ３ａで推定されたカメラ４０の自己位置に基づいて算出するようにした。
【０１３０】
これにより、第３の実施形態にあっては、時刻Ｔ２におけるカメラ４０の位置差を精度良く算出することができ、結果として複数のカメラ４０間における撮像時間のずれも精度良く検出することができる。なお、上記した時刻Ｔ３ａは第３の時点の一例であり、時刻Ｔ３ａで推定されるカメラ４０の自己位置は、第３の自己位置の一例である。
【０１３１】
以下、時刻Ｔ２におけるカメラ４０の位置差の算出に焦点をおいて詳しく説明する。図７に示すように、画像処理装置１０の位置推定部２２（図２参照）は、時刻Ｔ１において、第１〜第４カメラ４１〜４４から画像情報をそれぞれ取得し、取得された画像情報に基づいて、第１〜第４カメラ４１〜４４の自己位置を推定する（ステップＳ１００）。
【０１３２】
続いて、位置推定部２２は、例えば、車両Ｃが移動している時刻Ｔ３ａにおいても、第１〜第４カメラ４１〜４４から画像情報をそれぞれ取得し、取得された画像情報に基づいて、第１〜第４カメラ４１〜４４の自己位置を推定する（ステップＳ１０１）。なお、図７の例では、図示の簡略化のため、時刻Ｔ３ａで自己位置を推定するように示しているが、画像処理装置１０は、時刻Ｔ２などの処理タイミングごとに自己位置を推定し、推定された自己位置に基づいて第１〜第４カメラ４１〜４４の位置差を算出しているものとする。
【０１３３】
次に、画像処理装置１０の位置差算出部２３（図２参照）は、時刻Ｔ３ａでの第１〜第４カメラ４１〜４４の位置差を算出する（ステップＳ１０２）。なお、図７において、時刻Ｔ３ａでのカメラ４０の位置差は、車両Ｃが停止している時刻Ｔ１で推定されたカメラ４０の自己位置と、今回処理（ここでは時刻Ｔ３ａ）で推定されたカメラ４０の自己位置との差分を示している。
【０１３４】
具体的には、位置差算出部２３は、時刻Ｔ１の処理で推定された第１カメラ４１の自己位置と、時刻Ｔ３ａの処理で推定された第１カメラ４１の自己位置との差分ｂ１を、第１カメラ４１の位置差として算出する。また、位置差算出部２３は、時刻Ｔ１の処理で推定された第２カメラ４２の自己位置と、時刻Ｔ３ａの処理で推定された第２カメラ４２の自己位置との差分ｂ２を、第２カメラ４２の位置差として算出する。
【０１３５】
また、位置差算出部２３は、時刻Ｔ１の処理で推定された第３カメラ４３の自己位置と、時刻Ｔ３ａの処理で推定された第３カメラ４３の自己位置との差分ｂ３を、第３カメラ４３の位置差として算出する。また、位置差算出部２３は、時刻Ｔ１の処理で推定された第４カメラ４４の自己位置と、時刻Ｔ３ａの処理で推定された第４カメラ４４の自己位置との差分ｂ４を、第４カメラ４４の位置差として算出する。
【０１３６】
続いて、位置差算出部２３は、算出された各カメラ４０の位置差が、所定距離以上になったか否かを判定する（ステップＳ１０３）。例えば、位置差算出部２３は、各カメラ４０の位置差のうち全部の位置差が所定距離以上になったか否かを判定してもよいし、各カメラ４０の位置差のうち一部の位置差が所定距離以上になったか否かを判定してもよい。
【０１３７】
かかる所定距離は、カメラ特性に基づいて算出される。例えば、所定距離は、カメラ４０の分解能に基づいて算出される。具体的には、所定距離は、カメラ４０の分解能より大きい値、より具体的には、分解能の数倍から数十倍（例えば１０倍）程度の値に設定される。
【０１３８】
所定距離が上記のように設定されることから、ステップＳ１０３は、時刻Ｔ３ａの処理タイミングが、所定の分解能（カメラ特性）を有するカメラ４０を用いたときに、カメラ４０の位置差の算出や、カメラ４０の自己位置の推定を精度良く行うことのできる処理タイミングか否かを判定する処理ともいえる。
【０１３９】
また、カメラ４０の自己位置の推定を精度良く行うことのできる処理タイミングとなり得る時点（ここでは時刻Ｔ３ａ）は、車両Ｃが移動を開始したときの最初の処理タイミングである時刻Ｔ２（第２の時点）から所定のフレーム時間が経過した時点となる。なお、所定のフレーム時間は、カメラ４０の複数のフレームに対応するフレーム時間であるが、これに限られず、１つのフレームに対応するフレーム時間であってもよい。
【０１４０】
位置差算出部２３は、カメラ４０の位置差が所定距離以上になったと判定された場合、時刻Ｔ３ａで推定されたカメラ４０の自己位置に基づき、時刻Ｔ２での各カメラ４０の自己位置を算出する（ステップＳ１０４）。すなわち、位置差算出部２３は、カメラ４０の位置差が所定距離以上で、カメラ４０の自己位置の推定を精度良く行うことのできる処理タイミング（ここでは時刻Ｔ３ａ）のときに、時刻Ｔ３ａで推定されたカメラ４０の自己位置を用い、時刻Ｔ２に遡って、時刻Ｔ２での各カメラ４０の自己位置を算出する。
【０１４１】
具体的には、位置差算出部２３は先ず、時刻Ｔ２から時刻Ｔ３ａまでの車両Ｃの移動量を算出する。例えば、位置差算出部２３は、時刻Ｔ２から時刻Ｔ３ａまでのカメラ４０のフレーム時間（言い換えると、カメラ４０の複数のフレーム分の時間）に、車両Ｃの速度を乗算することで、時刻Ｔ２から時刻Ｔ３ａまでの車両Ｃの移動量を算出する。
【０１４２】
なお、上記した車両Ｃの移動量の算出に用いられる車両Ｃの速度は、例えば、時刻Ｔ２から時刻Ｔ３ａまでの各処理タイミングで推定される車速（例えば平均車速）であってもよいし、図示しない車速センサから得られる車速（例えば平均車速）であってもよい。
【０１４３】
そして、位置差算出部２３は、時刻Ｔ３ａで推定されたカメラ４０の自己位置から、車両Ｃの移動量を減算することで、時刻Ｔ２でのカメラ４０の自己位置を算出する。
【０１４４】
このように、第３の実施形態に係る位置差算出部２３は、時刻Ｔ２から時刻Ｔ３ａまでの車両Ｃの移動量を算出し、時刻Ｔ３ａで推定されたカメラ４０の自己位置から、車両Ｃの移動量を減算することで、時刻Ｔ２でのカメラ４０の自己位置を算出するようにした。これにより、第３の実施形態にあっては、時刻Ｔ２でのカメラ４０の自己位置を精度良く算出することができる。
【０１４５】
次に、位置差算出部２３は、算出した時刻Ｔ２でのカメラ４０の自己位置に基づいて、時刻Ｔ２での各カメラ４０の位置差を算出する（ステップＳ１０５）。
【０１４６】
具体的には、位置差算出部２３は、時刻Ｔ１で推定された第１カメラ４１の自己位置と、時刻Ｔ３ａで推定された第１カメラ４１の自己位置に基づいて算出される時刻Ｔ２での第１カメラ４１の自己位置との差ａ１を、時刻Ｔ２での第１カメラ４１の位置差として算出する。
【０１４７】
また、位置差算出部２３は、時刻Ｔ１で推定された第２カメラ４２の自己位置と、時刻Ｔ３ａで推定された第２カメラ４２の自己位置に基づいて算出される時刻Ｔ２での第２カメラ４２の自己位置との差ａ２を、時刻Ｔ２での第２カメラ４２の位置差として算出する。
【０１４８】
また、位置差算出部２３は、時刻Ｔ１で推定された第３カメラ４３の自己位置と、時刻Ｔ３ａで推定された第３カメラ４３の自己位置に基づいて算出される時刻Ｔ２での第３カメラ４３の自己位置との差ａ３を、時刻Ｔ２での第３カメラ４３の位置差として算出する。
【０１４９】
また、位置差算出部２３は、時刻Ｔ１で推定された第４カメラ４４の自己位置と、時刻Ｔ３ａで推定された第４カメラ４４の自己位置に基づいて算出される時刻Ｔ２での第４カメラ４４の自己位置との差ａ４を、時刻Ｔ２での第４カメラ４４の位置差として算出する。
【０１５０】
このように、第３の実施形態に係る位置差算出部２３は、時刻Ｔ２から所定のフレーム時間が経過した時刻Ｔ３ａで推定されたカメラ４０の自己位置に基づき、時刻Ｔ２でのカメラ４０の自己位置を算出するようにした。そして、第３の実施形態に係る位置差算出部２３は、算出した時刻Ｔ２でのカメラ４０の自己位置に基づいて、時刻Ｔ２でのカメラ４０の位置差を算出するようにした。
【０１５１】
これにより、第３の実施形態にあっては、例えば、カメラ４０の分解能などカメラ特性を考慮して、カメラ４０の自己位置の推定を精度良く行うことのできる処理タイミング（ここでは時刻Ｔ３ａ）で推定されたカメラ４０の自己位置を用いて、時刻Ｔ２でのカメラ４０の自己位置を算出することができ、よって時刻Ｔ２におけるカメラ４０の位置差を精度良く算出することができる。
【０１５２】
なお、図７において図示は省略するが、第３の実施形態においては、第１の実施形態と同様に、算出された位置差に基づいて複数のカメラ４０間における撮像時間ずれを検出する処理、撮像時間ずれに基づいて補正量を算出して自己位置を補正する処理、および、補正した自己位置に基づいてマップ情報や車両位置情報を生成する処理などが実行される。
【０１５３】
なお、上記では、位置差算出部２３は、時刻Ｔ３ａでカメラ４０の自己位置を推定し、推定した時刻Ｔ３ａでのカメラ４０の自己位置に基づいて時刻Ｔ２でのカメラ４０の自己位置を算出し、算出した時刻Ｔ２でのカメラ４０の自己位置に基づいて時刻Ｔ２でのカメラ４０の位置差を算出するようにしたが、これに限定されるものではない。
【０１５４】
すなわち、例えば、位置差算出部２３は、時刻Ｔ３ａで推定されたカメラ４０の自己位置に基づいて時刻Ｔ３ａでのカメラ４０の位置差を算出する。そして、位置差算出部２３は、時刻Ｔ３ａでのカメラ４０の位置差から、時刻Ｔ２から時刻Ｔ３ａまでの車両Ｃの移動量を減算することで、時刻Ｔ２でのカメラ４０の位置差を算出してもよい。
【０１５５】
＜８．第３の実施形態に係る画像処理装置の制御処理＞
次に、第３の実施形態に係る画像処理装置１０における具体的な処理手順について図８を用いて説明する。図８は、第３の実施形態に係る画像処理装置１０が実行する処理手順を示すフローチャートである。
【０１５６】
図８に示すように、画像処理装置１０の制御部２０は、ステップＳ１１の処理後、カメラ４０の位置差が所定距離以上になったか否かを判定する（ステップＳ１２ｂ）。
【０１５７】
なお、図示していないが、制御部２０は、ステップＳ１１でカメラ４０の位置差を算出した後、図３のステップＳ１２と同様に、発進時等で位置差が異なる値になったことを検出すると、その直前（停車中）のカメラ４０の自己位置を基準値として記憶させている。ステップＳ１２ｂは、この基準値と今回処理で推定したカメラ４０の自己位置との差を位置差として用いる。
【０１５８】
制御部２０は、カメラ４０の位置差が所定距離以上になっていないと判定された場合（ステップＳ１２ｂ，Ｎｏ）、言い換えると、カメラ４０の位置差が所定距離未満と判定された場合、ステップＳ１０の処理へ戻る。
【０１５９】
他方、制御部２０は、カメラ４０の位置差が所定距離以上になったと判定された場合（ステップＳ１２ｂ，Ｙｅｓ）、カメラ４０の位置差が所定距離以上になった時刻Ｔ３ａ（図７参照）で推定されたカメラ４０の自己位置に基づき、時刻Ｔ２（図７参照）でのカメラ４０の自己位置を算出する（ステップＳ１２ｃ）。
【０１６０】
次いで、制御部２０は、時刻Ｔ２でのカメラ４０の自己位置に基づいて時刻Ｔ２でのカメラ４０の位置差を算出する（ステップＳ１２ｄ）。例えば、制御部２０は、時刻Ｔ１（図７参照）で推定されたカメラ４０の自己位置と、時刻Ｔ３ａで推定されたカメラ４０の自己位置に基づいて算出される時刻Ｔ２でのカメラ４０の自己位置との差を、時刻Ｔ２でのカメラ４０の位置差として算出する。なお、ステップＳ１３以降の処理は、第１の実施形態と同様であるため、説明を省略する。
【０１６１】
なお、上記した各実施形態においては、例えば、撮像時間のずれを補正したマップ情報を生成する際、位置ずれに応じて、マップ情報の生成に利用する画像情報に対して移動や変形、拡縮などの画像処理を適宜に施してもよい。これにより、例えば、生成されたマップ情報をユーザが視認する際、自然なイメージを与えることが可能となる。
【０１６２】
なお、上記した第３の実施形態では、所定距離に設定される値について、具体的な例を示したが、これに限定されるものではなく、任意の値が設定されてもよい。
【０１６３】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【０１６４】
１    画像処理システム
１０    画像処理装置
２２    位置推定部
２２ｃ  特徴点位置推定部
２２ｄ  特徴点位置差算出部
２３    位置差算出部
２４    撮像時間ずれ検出部
４０    カメラ
【図１Ａ】
2020098562.tif 000003
【図１Ｂ】
2020098562.tif 000004
【図２】
2020098562.tif 000005
【図３】
2020098562.tif 000006
【図４】
2020098562.tif 000007
【図５】
2020098562.tif 000008
【図６】
2020098562.tif 000009
【図７】
2020098562.tif 000010
【図８】
2020098562.tif 000011
【手続補正書】
【提出日】令和2年3月5日(2020.3.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動体に搭載され前記移動体の周囲を撮像する複数のカメラの自己位置をそれぞれ推定する位置推定部と、
前記移動体が加速または減速して移動する前の第１の時点で推定された前記各カメラの第１の自己位置と、前記移動体が加速または減速して移動している第２の時点で推定された前記各カメラの第２の自己位置との差分を前記各カメラの位置差として算出する位置差算出部と、
前記位置差算出部によって算出された前記各カメラの位置差に基づいて、ある時点を基準とし、当該基準に対する前記各カメラの撮像時間のずれを示す撮像時間ずれを検出する撮像時間ずれ検出部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記撮像時間ずれ検出部によって検出された前記各カメラの撮像時間ずれに前記移動体の現在速度を乗算することで、前記各カメラの自己位置の補正量を算出し、前記位置推定部によって推定された前記各カメラの自己位置を算出された前記補正量に基づいて補正する補正部
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正部によって補正された前記各カメラの自己位置に基づいて、前記複数のカメラによって撮像された画像情報を統合して前記移動体の周囲のマップ情報を生成する生成部
を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正部によって補正された前記複数のカメラの自己位置に基づいて、前記移動体の位置を示す移動体位置情報を生成する生成部
を備えることを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記撮像時間ずれ検出部は、
前記位置差算出部によって算出された前記各カメラの位置差を、前記移動体が加速または減速して移動しているときの速度で除算することで、前記各カメラの前記撮像時間をそれぞれ算出し、算出された前記各カメラの前記撮像時間に基づいて、前記各カメラの前記撮像時間ずれを検出すること
を特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
【請求項６】
前記位置差算出部は、
前記移動体が停止しているときに推定された前記各カメラの自己位置と、前記移動体が発進して移動しているときに推定された前記各カメラの自己位置との差分を前記位置差として算出すること
を特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
【請求項７】
前記位置差算出部は、
前記第２の時点から所定のフレーム時間が経過した第３の時点で推定された前記各カメラの第３の自己位置に基づき、前記第２の自己位置を算出すること
を特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
【請求項８】
前記位置差算出部は、
前記第２の時点から前記第３の時点までの前記移動体の移動量を算出し、前記第３の自己位置から前記移動体の移動量を減算することで、前記第２の自己位置を算出すること
を特徴とする請求項７に記載の画像処理装置。
【請求項９】
移動体に搭載され前記移動体の周囲を撮像する複数のカメラの自己位置をそれぞれ推定する位置推定部と、
前記移動体の移動速度が変化する前後に推定された前記各カメラの自己位置の差分を前記各カメラの位置差として算出する位置差算出部と、
前記位置差算出部によって算出された前記各カメラの位置差に基づいて、ある時点を基準とし、当該基準に対する前記各カメラの撮像時間のずれを示す撮像時間ずれを検出する撮像時間ずれ検出部と
を備えることを特徴とする画像処理装置。
【請求項１０】
移動体に搭載された複数のカメラによって撮像された複数の画像における重複領域に存在する特徴点の位置を推定する特徴点位置推定部と、
前記重複領域を有する画像を撮像した前記複数のカメラにおける２つのカメラのうちの一方のカメラによって撮像された画像において推定された特徴点の位置と、他方のカメラによって撮像された画像において推定された特徴点の位置との差分を特徴点位置差として算出する特徴点位置差算出部と、
前記特徴点位置差算出部によって算出された前記特徴点位置差に基づいて、前記２つのカメラ間における画像の撮像時間のずれを示す撮像時間ずれを検出する撮像時間ずれ検出部と
を備えることを特徴とする画像処理装置。
【請求項１１】
前記撮像時間ずれ検出部によって検出された前記撮像時間ずれに前記移動体の現在速度を乗算することで、前記各カメラの自己位置の補正量を算出し、算出された前記補正量に基づいて前記各カメラの自己位置を補正する補正部
を備えることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記補正部によって補正された前記各カメラの自己位置に基づいて、前記複数のカメラによって撮像された画像情報を統合して前記移動体の周囲のマップ情報を生成する生成部
を備えることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記補正部によって補正された前記複数のカメラの自己位置に基づいて、前記移動体の位置を示す移動体位置情報を生成する生成部
を備えることを特徴とする請求項１１または１２に記載の画像処理装置。
【請求項１４】
移動体に搭載され前記移動体の周囲を撮像する複数のカメラの自己位置をそれぞれ推定する位置推定工程と、
前記移動体が加速または減速して移動する前の第１の時点で推定された前記各カメラの第１の自己位置と、前記移動体が加速または減速して移動している第２の時点で推定された前記各カメラの第２の自己位置との差分を前記各カメラの位置差として算出する位置差算出工程と、
前記位置差算出工程によって算出された前記各カメラの位置差に基づいて、ある時点を基準とし、当該基準に対する前記各カメラの撮像時間のずれを示す撮像時間ずれを検出する撮像時間ずれ検出工程と
を含むことを特徴とする画像処理方法。
【請求項１５】
移動体に搭載され前記移動体の周囲を撮像する複数のカメラの自己位置をそれぞれ推定する位置推定工程と、
前記移動体の移動速度が変化する前後に推定された前記各カメラの自己位置の差分を前記各カメラの位置差として算出する位置差算出工程と、
前記位置差算出工程によって算出された前記各カメラの位置差に基づいて、ある時点を基準とし、当該基準に対する前記各カメラの撮像時間のずれを示す撮像時間ずれを検出する撮像時間ずれ検出工程と
を含むことを特徴とする画像処理方法。
【請求項１６】
移動体に搭載された複数のカメラによって撮像された複数の画像における重複領域に存在する特徴点の位置を推定する特徴点位置推定工程と、
前記重複領域を有する画像を撮像した前記複数のカメラにおける２つのカメラのうちの一方のカメラによって撮像された画像において推定された特徴点の位置と、他方のカメラによって撮像された画像において推定された特徴点の位置との差分を特徴点位置差として算出する特徴点位置差算出工程と、
前記特徴点位置差算出工程によって算出された前記特徴点位置差に基づいて、前記２つのカメラ間における画像の撮像時間のずれを示す撮像時間ずれを検出する撮像時間ずれ検出工程と
を含むことを特徴とする画像処理方法。