(57)【特許請求の範囲】
【請求項１】
移動体に搭載され、第１の視点、および前記移動体の移動にしたがって第１の視点と異なる第２の視点で画像を撮影するカメラと、
第１の視点から第２の視点までの前記移動体の移動量を計測する移動データ計測部と、
前記カメラにより撮影された画像に応じて、前記移動データ計測部により計測された移動量を更新する演算装置とを備え、
前記演算装置は、
第１の視点で前記カメラにより撮影された画像である第１視点画像と、前記移動データ計測部により計測された移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された第２視点予測画像と第２の視点で前記カメラにより撮影された画像である第２視点画像との一致度を示す第１の評価値を計算する評価値計算部と、
前記評価値計算部により計算された第１の評価値にもとづいて、前記移動データ計測部により計測された移動量のうち、前記移動体が直進する際に移動する方向に対して、前記移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元実空間内における移動量を更新する移動量更新部とを備え、
前記移動量更新部は、
水平方向成分移動量を所定の変動量で変動させ、変動させた水平方向成分移動量と第１視点画像とにもとづいて、水平方向成分移動量を前記変動量で変動させたときの予測画像である水平方向微小変動予測画像を生成し、この水平方向微小変動予測画像と第２視点画像との差分画像を生成して水平方向微小変動予測画像と第２視点画像との一致度を示す第２の評価値を計算し、変動量と第２の評価値とにもとづいて水平方向成分移動量を計算する
ことを特徴とする移動量計算システム。
【請求項２】
移動体に搭載され、第１の視点、および前記移動体の移動にしたがって第１の視点と異なる第２の視点で画像を撮影するカメラと、
第１の視点から第２の視点までの前記移動体の移動量を計測する移動データ計測部と、
前記カメラにより撮影された画像に応じて、障害物が存在するか否かを判定する演算装置とを備え、
前記演算装置は、
第１の視点で前記カメラにより撮影された画像である第１視点画像と、前記移動データ計測部により計測された移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された第２視点予測画像と第２の視点で前記カメラにより撮影された画像である第２視点画像との一致度を示す第１の評価値を計算する評価値計算部と、
前記評価値計算部により計算された第１の評価値にもとづいて、前記移動データ計測部により計測された移動量のうち、前記移動体が直進する際に移動する方向に対して、前記移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元実空間内における移動量を更新する移動量更新部と、
前記予測画像生成部により生成された第２視点予測画像と、前記カメラにより第２の視点で撮影された第２視点画像とにもとづいて、障害物が存在するか否かを判定する障害物検知部とを備え、
前記移動量更新部は、
水平方向成分移動量を所定の変動量で変動させ、変動させた水平方向成分移動量と第１視点画像とにもとづいて、水平方向成分移動量を前記変動量で変動させたときの予測画像である水平方向微小変動予測画像を生成し、この水平方向微小変動予測画像と第２視点画像との差分画像を生成して水平方向微小変動予測画像と第２視点画像との一致度を示す第２の評価値を計算し、変動量と第２の評価値とにもとづいて水平方向成分移動量を計算する
ことを特徴とする障害物検知システム。
【請求項３】
移動体に搭載され、第１の視点、および前記移動体の移動にしたがって第１の視点と異なる第２の視点で画像を撮影するカメラと、
第１の視点から第２の視点までの前記移動体の移動量を計測する移動データ計測部と、
前記カメラにより撮影された画像に応じて、障害物が存在するか否かを判定する演算装置とを備え、
前記演算装置は、
第１の視点で前記カメラにより撮影された画像である第１視点画像と、前記移動データ計測部により計測された移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された第２視点予測画像と第２の視点で前記カメラにより撮影された画像である第２視点画像との一致度を示す第１の評価値を計算する評価値計算部と、
前記評価値計算部により計算された第１の評価値にもとづいて、前記移動データ計測部により計測された移動量のうち、前記移動体が直進する際に移動する方向に対して、前記移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元実空間内における移動量を更新する移動量更新部と、
前記予測画像生成部により生成された第２視点予測画像と、前記カメラにより第２の視点で撮影された第２視点画像とにもとづいて、障害物が存在するか否かを判定する障害物検知部とを備え、
前記移動量更新部は、
水平方向成分移動量を所定の変動量で変動させ、変動させた水平方向成分移動量と第１視点画像とにもとづいて、水平方向成分移動量を前記変動量で変動させたときの予測画像である水平方向微小変動予測画像を生成し、この水平方向微小変動予測画像と第２視点画像との差分画像を生成して水平方向微小変動予測画像と第２視点画像との一致度を示す第２の評価値を計算し、変動させる前の水平方向成分移動量に、第１の評価値と第２の評価値との差にもとづく値を加えることにより、水平方向成分移動量を計算する
ことを特徴とする障害物検知システム。
【請求項４】
移動体に搭載され、第１の視点、および前記移動体の移動にしたがって第１の視点と異なる第２の視点で画像を撮影するカメラと、
第１の視点から第２の視点までの前記移動体の移動量を計測する移動データ計測部と、
前記カメラにより撮影された画像に応じて、障害物が存在するか否かを判定する演算装置とを備え、
前記演算装置は、
第１の視点で前記カメラにより撮影された画像である第１視点画像と、前記移動データ計測部により計測された移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成する予測画像生成部と、
前記予測画像生成部により生成された第２視点予測画像と第２の視点で前記カメラにより撮影された画像である第２視点画像との一致度を示す第１の評価値を計算する評価値計算部と、
前記評価値計算部により計算された第１の評価値にもとづいて、前記移動データ計測部により計測された移動量のうち、前記移動体が直進する際に移動する方向に対して、前記移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元実空間内における移動量を更新する移動量更新部と、
前記予測画像生成部により生成された第２視点予測画像と、前記カメラにより第２の視点で撮影された第２視点画像とにもとづいて、障害物が存在するか否かを判定する障害物検知部とを備え、
前記予測画像生成部は、
前記移動データ計測部により計測された移動量に代えて、前記移動量更新部により更新された移動量にもとづいて、第２視点予測画像を生成し、  
前記予測画像生成部、前記評価値計算部、および前記移動量更新部は、
更新された移動量にもとづいて、それぞれの処理を繰り返し行い、
前記障害物検知部は、
今回の第１の評価値が前回の値以上になるまで繰り返し処理が行われた場合には、前回の処理で生成された第２視点予測画像にもとづいて判定し、所定の回数まで繰り返し処理が行われた場合には、最後の処理で生成された第２視点予測画像にもとづいて判定する
ことを特徴とする障害物検知システム。
【請求項５】
移動体に搭載されたカメラにより第１の視点で画像を撮像し、前記移動体の移動後に前記カメラにより第１の視点と異なる第２の視点で画像を撮影するステップと、
第１の視点から第２の視点までの前記移動体の移動量を計測するステップと、
第１の視点で撮影された画像である第１視点画像と、計測された移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成するステップと、
第２視点予測画像と第２の視点で撮影された画像である第２視点画像との一致度を示す第１の評価値を計算するステップと、
第１の評価値にもとづいて、計測された移動量のうち、前記移動体が直進する際に移動する方向に対して、前記移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元実空間内における移動量を更新するステップとを備え、
前記移動量を更新するステップは、
水平方向成分移動量を所定の変動量で変動させるステップと、
変動させた水平方向成分移動量と第１視点画像とにもとづいて、水平方向成分移動量を前記変動量で変動させたときの予測画像である水平方向微小変動予測画像を生成するステップと、
水平方向微小変動予測画像と第２視点画像との差分画像を生成し、水平方向微小変動予測画像と第２視点画像との一致度を示す第２の評価値を計算するステップと、
変動量と第２の評価値とにもとづいて水平方向成分移動量を計算するステップと
を備えることを特徴とする移動量計算方法。
【請求項６】
移動体に搭載されたカメラにより第１の視点で画像を撮像し、前記移動体の移動後に前記カメラにより第１の視点と異なる第２の視点で画像を撮影するステップと、
第１の視点から第２の視点までの前記移動体の移動量を計測するステップと、
第１の視点で撮影された画像である第１視点画像と、計測された移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成するステップと、
第２視点予測画像と第２の視点で撮影された画像である第２視点画像との一致度を示す第１の評価値を計算するステップと、
第１の評価値にもとづいて、計測された移動量のうち、前記移動体が直進する際に移動する方向に対して、前記移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元実空間内における移動量を更新するステップと、
第２視点予測画像と第２視点画像とにもとづいて、障害物が存在するか否かを判定するステップとを備え、
前記移動量を更新するステップは、
水平方向成分移動量を所定の変動量で変動させるステップと、
変動させた水平方向成分移動量と第１視点画像とにもとづいて、水平方向成分移動量を前記変動量で変動させたときの予測画像である水平方向微小変動予測画像を生成するステップと、
水平方向微小変動予測画像と第２視点画像との差分画像を生成して水平方向微小変動予測画像と第２視点画像との一致度を示す第２の評価値を計算するステップと、
変動量と第２の評価値とにもとづいて水平方向成分移動量を計算するステップと
を備えることを特徴とする障害物検知方法。
【請求項７】
移動体に搭載されたカメラにより第１の視点で画像を撮像し、前記移動体の移動後に前記カメラにより第１の視点と異なる第２の視点で画像を撮影するステップと、
第１の視点から第２の視点までの前記移動体の移動量を計測するステップと、
第１の視点で撮影された画像である第１視点画像と、計測された移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成するステップと、
第２視点予測画像と第２の視点で撮影された画像である第２視点画像との一致度を示す第１の評価値を計算するステップと、
第１の評価値にもとづいて、計測された移動量のうち、前記移動体が直進する際に移動する方向に対して、前記移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元実空間内における移動量を更新するステップと、
第２視点予測画像と第２視点画像とにもとづいて、障害物が存在するか否かを判定するステップとを備え、
前記移動量を更新するステップは、
水平方向成分移動量を所定の変動量で変動させるステップと、
変動させた水平方向成分移動量と第１視点画像とにもとづいて、水平方向成分移動量を前記変動量で変動させたときの予測画像である水平方向微小変動予測画像を生成するステップと、
水平方向微小変動予測画像と第２視点画像との差分画像を生成して水平方向微小変動予測画像と第２視点画像との一致度を示す第２の評価値を計算するステップと、
変動させる前の水平方向成分移動量に、第１の評価値と第２の評価値との差にもとづく値を加えることにより、水平方向成分移動量を計算する水平方向成分移動量を計算するステップと
を備えることを特徴とする障害物検知方法。
【請求項８】
移動体に搭載されたカメラにより第１の視点で画像を撮像し、前記移動体の移動後に前記カメラにより第１の視点と異なる第２の視点で画像を撮影するステップと、
第１の視点から第２の視点までの前記移動体の移動量を計測するステップと、
第１の視点で撮影された画像である第１視点画像と、計測された移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成するステップと、
第２視点予測画像と第２の視点で撮影された画像である第２視点画像との一致度を示す第１の評価値を計算するステップと、
第１の評価値にもとづいて、計測された移動量のうち、前記移動体が直進する際に移動する方向に対して、前記移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元実空間内における移動量を更新するステップと、
第２視点予測画像と第２視点画像とにもとづいて、障害物が存在するか否かを判定するステップと、
第１視点画像と、更新された移動量とにもとづいて、第２視点予測画像を再度生成するステップと、
更新された移動量にもとづく第２視点予測画像と第２視点画像との一致度を示す第１の評価値を再度計算するステップと、
更新された移動量にもとづく第１の評価値にもとづいて、移動量を再度更新するステップと、
移動量の更新、第２視点予測画像の生成、および第１の評価値の計算を含む一連の処理が繰り返し行われたときに、今回の第１の評価値が前回の値以上になったかどうかを判定するステップとを備え、
前記障害物の存否を判定するステップは、
今回の第１の評価値が前回の値以上になったと判定された場合に、前回の処理で生成された第２視点予測画像にもとづいて判定するステップ
を備えることを特徴とする障害物検知方法。
【請求項９】
移動体に搭載されたカメラにより第１の視点で画像を撮像し、前記移動体の移動後に前記カメラにより第１の視点と異なる第２の視点で画像を撮影するステップと、
第１の視点から第２の視点までの前記移動体の移動量を計測するステップと、
第１の視点で撮影された画像である第１視点画像と、計測された移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成するステップと、
第２視点予測画像と第２の視点で撮影された画像である第２視点画像との一致度を示す第１の評価値を計算するステップと、
第１の評価値にもとづいて、計測された移動量のうち、前記移動体が直進する際に移動する方向に対して、前記移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元実空間内における移動量を更新するステップと、
第２視点予測画像と第２視点画像とにもとづいて、障害物が存在するか否かを判定するステップと、
第１視点画像と、更新された移動量とにもとづいて、第２視点予測画像を再度生成するステップと、
更新された移動量にもとづく第２視点予測画像と第２視点画像との一致度を示す第１の評価値を再度計算するステップと、
更新された移動量にもとづく第１の評価値にもとづいて、移動量を再度更新するステップと、
移動量が所定の回数更新されたかどうかを判定するステップとを備え、
前記障害物の存否を判定するステップは、
移動量が所定の回数更新されたと判定された場合に、最後の処理で生成された第２視点予測画像にもとづいて判定するステップ
を備えることを特徴とする障害物検知方法。
【請求項１０】
移動体に搭載されたカメラにより第１の視点で撮影された画像である第１視点画像と、第１の視点から第２の視点までの前記移動体の移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成するステップと、
第２視点予測画像と前記カメラにより第２の視点で撮影された画像である第２視点画像との一致度を示す第１の評価値を計算するステップと、
第１の評価値にもとづいて、前記移動体の移動量のうち、前記移動体が直進する際に移動する方向に対して、前記移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元実空間内における移動量を更新するステップとを実行させ、
前記移動量を更新するステップにおいて、
水平方向成分移動量を所定の変動量で変動させるステップと、
変動させた水平方向成分移動量と第１視点画像とにもとづいて、水平方向成分移動量を前記変動量で変動させたときの予測画像である水平方向微小変動予測画像を生成するステップと、
水平方向微小変動予測画像と第２視点画像との差分画像を生成し、水平方向微小変動予測画像と第２視点画像との一致度を示す第２の評価値を計算するステップと、
変動量と第２の評価値とにもとづいて水平方向成分移動量を計算するステップと
をコンピュータに実行させるためのプログラム。
【請求項１１】
移動体に搭載されたカメラにより第１の視点で撮影された画像である第１視点画像と、第１の視点から第２の視点までの前記移動体の移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成するステップと、
第２視点予測画像と前記カメラにより第２の視点で撮影された画像である第２視点画像との一致度を示す第１の評価値を計算するステップと、
第１の評価値にもとづいて、前記移動体の移動量のうち、前記移動体が直進する際に移動する方向に対して、前記移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元実空間内における移動量を更新するステップと、
第２視点予測画像と第２視点画像とにもとづいて、障害物が存在するか否かを判定するステップとを実行させ、
前記移動量を更新するステップにおいて、
水平方向成分移動量を所定の変動量で変動させるステップと、
変動させた水平方向成分移動量と第１視点画像とにもとづいて、水平方向成分移動量を前記変動量で変動させたときの予測画像である水平方向微小変動予測画像を生成するステップと、
水平方向微小変動予測画像と第２視点画像との差分画像を生成して水平方向微小変動予測画像と第２視点画像との一致度を示す第２の評価値を計算するステップと、
変動量と第２の評価値とにもとづいて水平方向成分移動量を計算するステップと
をコンピュータに実行させるためのプログラム。
【請求項１２】
移動体に搭載されたカメラにより第１の視点で撮影された画像である第１視点画像と、第１の視点から第２の視点までの前記移動体の移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成するステップと、
第２視点予測画像と前記カメラにより第２の視点で撮影された画像である第２視点画像との一致度を示す第１の評価値を計算するステップと、
第１の評価値にもとづいて、前記移動体の移動量のうち、前記移動体が直進する際に移動する方向に対して、前記移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元実空間内における移動量を更新するステップと、
第２視点予測画像と第２視点画像とにもとづいて、障害物が存在するか否かを判定するステップとを実行させ、
前記移動を更新するステップにおいて、
水平方向成分移動量を所定の変動量で変動させるステップと、
変動させた水平方向成分移動量と第１視点画像とにもとづいて、水平方向成分移動量を前記変動量で変動させたときの予測画像である水平方向微小変動予測画像を生成するステップと、
水平方向微小変動予測画像と第２視点画像との差分画像を生成して水平方向微小変動予測画像と第２視点画像との一致度を示す第２の評価値を計算するステップと、
変動させる前の水平方向成分移動量に、第１の評価値と第２の評価値との差にもとづく値を加えることにより、水平方向成分移動量を計算するステップと
をコンピュータに実行させるためのプログラム。
【請求項１３】
移動体に搭載されたカメラにより第１の視点で撮影された画像である第１視点画像と、第１の視点から第２の視点までの前記移動体の移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成するステップと、
第２視点予測画像と前記カメラにより第２の視点で撮影された画像である第２視点画像との一致度を示す第１の評価値を計算するステップと、
第１の評価値にもとづいて、前記移動体の移動量のうち、前記移動体が直進する際に移動する方向に対して、前記移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元実空間内における移動量を更新するステップと、
第２視点予測画像と第２視点画像とにもとづいて、障害物が存在するか否かを判定するステップと、
第１視点画像と、更新された移動量とにもとづいて、第２視点予測画像を再度生成するステップと、
更新された移動量にもとづく第２視点予測画像と第２視点画像との一致度を示す第１の評価値を再度計算するステップと、
更新された移動量にもとづく第１の評価値にもとづいて、移動量を再度更新するステップと、
移動量の更新、第２視点予測画像の生成、および第１の評価値の計算を含む一連の処理が繰り返し行われたときに、今回の第１の評価値が前回の値以上になったかどうかを判定するステップとを実行させ、
前記障害物の存否を判定するステップにおいて、
今回の第１の評価値が前回の値以上になったと判定された場合に、前回の処理で生成された第２視点予測画像にもとづいて判定するステップ
をコンピュータに実行させるためのプログラム。
【請求項１４】
移動体に搭載されたカメラにより第１の視点で撮影された画像である第１視点画像と、第１の視点から第２の視点までの前記移動体の移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成するステップと、
第２視点予測画像と前記カメラにより第２の視点で撮影された画像である第２視点画像との一致度を示す第１の評価値を計算するステップと、
第１の評価値にもとづいて、前記移動体の移動量のうち、前記移動体が直進する際に移動する方向に対して、前記移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元実空間内における移動量を更新するステップと、
第２視点予測画像と第２視点画像とにもとづいて、障害物が存在するか否かを判定するステップと、
第１視点画像と、更新された移動量とにもとづいて、第２視点予測画像を再度生成するステップと、
更新された移動量にもとづく第２視点予測画像と第２視点画像との一致度を示す第１の評価値を再度計算するステップと、
更新された移動量にもとづく第１の評価値にもとづいて、移動量を再度更新するステップと、
移動量が所定の回数更新されたかどうかを判定するステップとを実行させ、
前記障害物の存否を判定するステップにおいて、
移動量が所定の回数更新されたと判定された場合に、最後の処理で生成された第２視点予測画像にもとづいて判定するステップを
コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、２００６年６月６日に出願された日本出願特願２００６−１５６９９４号を基礎とする優先権を主張し、その日本出願の開示は参照によりすべてここに取り込まれる。【０００２】
本発明は、移動体の移動前後に得られた画像とセンサなどにより計測された誤差を含んだ移動量とにもとづいて、精度のよい移動量（以下、移動データと呼ぶこともある。）を計算する移動量計算システムに関する。
また、本発明は、移動体の移動量を計算し、その移動量を用いて差分画像を作成することで、平面上の障害物を検出する障害物検知システムに関する。
【背景技術】
【０００３】
本発明に関連する障害物検出システムの一例が、文献１（特開２００１−１８７５５３）に記載されている。図２５は、本発明に関連する障害物検出システムの一構成例を示すブロック図である。図２５に示すように、文献１に記載されている障害物検出システムは、車両１０と、ディスプレイ（図示せず）と、カメラ２０と、画像処理装置３０と、舵角センサ４０と、車輪速センサ６０と、パルスカウンタ５０とを含む。【０００４】
図２５に示す障害物検出システムは次のように動作する。すなわち、車両１０の移動中にカメラ２０が車両周辺を時系列的に撮像すると共に、舵角センサ４０、車輪速センサ６０、およびパルスカウンタ５０が車両移動データを計測する。そして、第１視点で撮影された画像に含まれる撮影対象がすべて平面上に存在するという条件を満足する第２視点への射影変換を行った画像と、実際に第２視点で撮影された画像との差分画像を生成し、生成した差分画像を障害物検出に用いる。【０００５】
図２５に示す障害物検出システムは、蛇角センサ４０、車輪速センサ６０、およびパルスカウンタ５０から車両移動データを取得している。文献２（ギデオン・ピー・ステイン（Ｇｉｄｅｏｎ  Ｐ・Ｓｔａｉｎ）、オファー・マノ（Ｏｆｅｒ  Ｍａｎｏ）、アムノン・シャシュア（Ａｍｎｏｎ  Ｓｈａｓｈｕａ）著，「プロシーディング・オブ・ジ・アイ・イー・イー・イー・インテリジェント・ビークルズ・シンポジウム２０００（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｖｅｈｉｃｌｅｓ  Ｓｙｍｐｏｓｉｕｍ  ２０００）」，（米国），２０００年１０月３日，ｐ．３６２−３６８）には、車両移動データを取得する他の方法が記載されている。文献２に記載されている車両移動データ取得方法について説明する。【０００６】
車両に搭載されたカメラが時系列的に撮像し、かつ、スピードメータ、またはそれまでの視点ですでに計算された車両進行方向移動量、車両進行方向と直交する水平軸周りの回転量、および鉛直軸周りの回転量を含む初期車両移動データを取得する。【０００７】
そして、第１視点で撮影された画像に含まれる撮影対象がすべて平面上に存在するという条件を満足する第２視点への射影変換を、初期車両移動データにもとづいて行う。さらに、これにより得られた画像と、実際に第２視点で撮像された画像との差分にもとづいて、真の移動データの確率密度分布を計算し、最大確率となるような自車両の進行方向移動量、進行方向と直交する水平軸周りの回転量、および鉛直軸周りの回転量を含む移動データを計算する。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
文献１に記載されているシステムは、舵角センサ４０、車輪速センサ６０、パルスカウンタ５０が移動体の移動量を計測し、第１視点で撮影された画像に含まれる撮影対象がすべて平面上に存在するという仮定の下に、第２視点に変換された画像と実際に第２視点で撮影された画像との差分画像を、障害物検出に用いている。【０００９】
しかし、差分画像中には、各センサから得られる計測値が含む移動量誤差、およびその他の要因の誤差（平面の歪み、カメラパラメータ誤差、キャリブレーション誤差、カメラの振動、撮像時の標本化誤差、ＣＣＤ素子のばらつきなど）が含まれる。【００１０】
そのため、文献１に記載されているシステムが生成した差分画像には、前述した要因に起因するノイズ（誤差）が含まれ、差分画像にもとづいて障害物が存在するか否かを正しく判定することは難しい。【００１１】
また、文献２に記載されている方法は、自車両の移動による進行方向移動量、進行方向と直交する水平軸周りの回転量、および鉛直軸周りの回転量のみを推定している。そのため、例えば、進行方向と直交する水平方向の移動データの誤差を低減することができない。また、文献２に記載されている方法では、移動データが推定された後も依然として残る移動データ誤差やその他の要因の誤差が存在するために、高精度に障害物を検知することが難しい。【００１２】
そこで、本発明は、移動前後の画像と誤差を含んだ移動データとを用いて、精度の良い移動データを計算する移動量計算システムを提供することを目的とする。
また、本発明は、その精度の良い移動データを用いて差分画像を生成し、生成した差分画像を利用して、高精度に障害物を検知する障害物検知システムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明による移動量計算システムは、移動体に搭載され、第１の視点、および移動体の移動にしたがって第１の視点と異なる第２の視点で画像を撮影するカメラと、第１の視点から第２の視点までの移動体の移動量を計測する移動データ計測部と、カメラにより撮影された画像に応じて、移動データ計測部により計測された移動量を更新する演算装置とを備え、演算装置は、第１の視点でカメラにより撮影された画像である第１視点画像と、移動データ計測部により計測された移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成する予測画像生成部と、予測画像生成部により生成された第２視点予測画像と第２の視点でカメラにより撮影された画像である第２視点画像との一致度を示す第１の評価値を計算する評価値計算部と、評価値計算部により計算された第１の評価値にもとづいて、移動データ計測部により計測された移動量のうち、移動体が直進する際に移動する方向に対して、移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元空間内における移動量を更新する移動量更新部とを備え、移動量更新部は、水平方向成分移動量を所定の変動量で変動させ、変動させた水平方向成分移動量と第１視点画像とにもとづいて、水平方向成分移動量を変動量で変動させたときの予測画像である水平方向微小変動予測画像を生成し、この水平方向微小変動予測画像と第２視点画像との差分画像を生成して水平方向微小変動予測画像と第２視点画像との一致度を示す第２の評価値を計算し、変動量と第２の評価値とにもとづいて水平方向成分移動量を計算することを特徴とする。
【００１４】
本発明による障害物検知システムは、移動体に搭載され、第１の視点、および移動体の移動にしたがって第１の視点と異なる第２の視点で画像を撮影するカメラと、第１の視点から第２の視点までの移動体の移動量を計測する移動データ計測部と、カメラにより撮影された画像に応じて、障害物が存在するか否かを判定する演算装置とを備え、演算装置は、第１の視点でカメラにより撮影された画像である第１視点画像と、移動データ計測部により計測された移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成する予測画像生成部と、予測画像生成部により生成された第２視点予測画像と第２の視点でカメラにより撮影された画像である第２視点画像との一致度を示す第１の評価値を計算する評価値計算部と、評価値計算部により計算された第１の評価値にもとづいて、移動データ計測部により計測された移動量のうち、移動体が直進する際に移動する方向に対して、移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元空間内における移動量を更新する移動量更新部と、予測画像生成部により生成された第２視点予測画像と、カメラにより第２の視点で撮影された第２視点画像とにもとづいて、障害物が存在するか否かを判定する障害物検知部とを備え、移動量更新部は、水平方向成分移動量を所定の変動量で変動させ、変動させた水平方向成分移動量と第１視点画像とにもとづいて、水平方向成分移動量を変動量で変動させたときの予測画像である水平方向微小変動予測画像を生成し、この水平方向微小変動予測画像と第２視点画像との差分画像を生成して水平方向微小変動予測画像と第２視点画像との一致度を示す第２の評価値を計算し、変動量と第２の評価値とにもとづいて水平方向成分移動量を計算することを特徴とする。
【００１５】
本発明による移動量計算方法は、移動体に搭載されたカメラにより第１の視点で画像を撮像し、移動体の移動後にカメラにより第１の視点と異なる第２の視点で画像を撮影するステップと、第１の視点から第２の視点までの移動体の移動量を計測するステップと、第１の視点で撮影された画像である第１視点画像と、計測された移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成するステップと、第２視点予測画像と第２の視点で撮影された画像である第２視点画像との一致度を示す第１の評価値を計算するステップと、第１の評価値にもとづいて、計測された移動量のうち、移動体が直進する際に移動する方向に対して、移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元空間内における移動量を更新するステップとを備え、移動量を更新するステップは、水平方向成分移動量を所定の変動量で変動させるステップと、変動させた水平方向成分移動量と第１視点画像とにもとづいて、水平方向成分移動量を変動量で変動させたときの予測画像である水平方向微小変動予測画像を生成するステップと、水平方向微小変動予測画像と第２視点画像との差分画像を生成し、水平方向微小変動予測画像と第２視点画像との一致度を示す第２の評価値を計算するステップと、変動量と第２の評価値とにもとづいて水平方向成分移動量を計算するステップとを備えることを特徴とする。
【００１６】
本発明による障害物検知方法は、移動体に搭載されたカメラにより第１の視点で画像を撮像し、移動体の移動後にカメラにより第１の視点と異なる第２の視点で画像を撮影するステップと、第１の視点から第２の視点までの移動体の移動量を計測するステップと、第１の視点で撮影された画像である第１視点画像と、計測された移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成するステップと、第２視点予測画像と第２の視点で撮影された画像である第２視点画像との一致度を示す第１の評価値を計算するステップと、第１の評価値にもとづいて、計測された移動量のうち、移動体が直進する際に移動する方向に対して、移動体が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む、３次元空間内における移動量を更新するステップと、第２視点予測画像と第２視点画像とにもとづいて、障害物が存在するか否かを判定するステップとを備え、移動量を更新するステップは、水平方向成分移動量を所定の変動量で変動させるステップと、変動させた水平方向成分移動量と第１視点画像とにもとづいて、水平方向成分移動量を変動量で変動させたときの予測画像である水平方向微小変動予測画像を生成するステップと、水平方向微小変動予測画像と第２視点画像との差分画像を生成し、水平方向微小変動予測画像と第２視点画像との一致度を示す第２の評価値を計算するステップと、変動量と第２の評価値とにもとづいて水平方向成分移動量を計算するステップとを備えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、移動前に撮影された画像にもとづいて移動後の予測画像を生成し、生成した予測画像と移動後に撮影された画像との一致度を示す評価値にもとづいて移動量を求めるので、移動体の移動データを精度良く求めることができる。【００１８】
また、本発明によれば、精度良く求めた移動データにもとづいて差分画像を生成し、生成した差分画像にもとづいて障害物が存在するか否かを判定するので、障害物を精度良く検出することができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、障害物検知システムの実施例の構成例を示すブロック図である。
【図２】図２は、演算装置の一構成例を示すブロック図である。
【図３】図３は、予測画像生成格納部の一構成例を示すブロック図である。
【図４】図４は、移動量更新格納部の一構成例を示すブロック図である。
【図５】図５は、差分画像生成格納部の一構成例を示すブロック図である。
【図６】図６は、障害物検知部の一構成例を示すブロック図である。
【図７】図７は、本発明の実施例の全体の動作を示すフローチャートである。
【図８】図８は、初期移動データと第１視点画像とにもとづいて、第２視点予測画像を生成する動作を説明するフローチャートである。
【図９】図９は、差分画像の生成と評価値の計算とを説明するフローチャートである。
【図１０】図１０は、更新移動データを計算する動作を説明するフローチャートである。
【図１１】図１１は、水平方向微小量に対する評価値の変化量を計算する動作を説明するフローチャートである。
【図１２】図１２は、奥行方向微小量に対する評価値の変化量を計算する動作を説明するフローチャートである。
【図１３】図１３は、更新移動データと第１視点画像とにもとづいて、第２視点予測画像を生成する動作を説明するフローチャートである。
【図１４】図１４は、第１視点画像の一例を示す図である。
【図１５】図１５は、第２視点画像の一例を示す図である。
【図１６】図１６は、変換領域の一例を示す説明図である。
【図１７】図１７は、変換領域をカメラ座標で示す説明図である。
【図１８】図１８は、カメラ座標からワールド座標への変換を模式的に示す説明図である。
【図１９】図１９は、具体例において生成された第２視点予測画像である。
【図２０】図２０は、具体例において更新回数０回目で差分画像生成部が生成した差分画像である。
【図２１】図２１は、具体例において更新回数１回目で差分画像生成部が生成した差分画像である。
【図２２】図２２は、具体例において更新回数１０回目で差分画像生成部が生成した差分画像である。
【図２３】図２３は、３回フィルタ処理が実施された後の差分画像である。
【図２４】図２４は、２値化された差分画像である。
【図２５】図２５は、本発明に関連する障害物検出システムの一構成例を示すブロック図である。
【発明を実施するための最良の形態】
【００２０】
本発明の実施例について、図面を参照して説明する。図１は、本発明による障害物検知システムの実施例の構成例を示すブロック図である。図１に示す障害物検知システムは、カメラ２００、移動量計測部（移動データ計測部）３００、および演算装置４００を含む。カメラ２００、移動量計測部３００、および演算装置４００は、移動体１００に設置されている。【００２１】
カメラ２００は、画像を時系列的に撮影可能な単眼カメラであって、第１視点、および第１視点から移動した地点の視点である第２視点から画像を撮影する。【００２２】
移動量計測部３００は、移動体１００に設置されている車輪の回転速度を検出する車輪速センサ、移動体１００の直進方向に対する車輪の角度である舵角を検出する舵角センサ、各センサが出力したパルスの数をカウントするパルスカウンタなどを用いて、第１視点から第２視点に至るまでに生じた移動量を計測する。以下、第１視点から第２視点に至るまでに生じた移動量を示すデータを移動データという。【００２３】
ここで、移動データとは、少なくとも水平方向成分移動量、奥行方向成分移動量、および鉛直軸回りの回転量を含むデータである。水平方向成分移動量とは、移動量計測部３００が計測した移動体１００の移動量のうち、移動体１００が直進する際に移動する方向に対して、移動体１００が移動する平面上で垂直な方向に移動した量である。また、奥行方向成分移動量とは、移動量計測部３００が計測した移動体１００の移動量のうち、移動体１００が直進する際に移動する方向に移動した量である。また、鉛直軸回りの回転量は、移動体１００が移動する平面に鉛直な方向の軸である鉛直軸周りに回転した量である。【００２４】
演算装置４００は、第１視点でカメラ２００が撮影した画像、第２視点でカメラ２００が撮影した画像、および移動量計測部３００が計測した移動データである初期移動データが入力された場合に、カメラ２００の撮影方向（本明細書では、移動体１００の進行方向）の平面上に存在する障害物の有無を判定する。【００２５】
図２は、演算装置４００の一構成例を示すブロック図である。図２に示す演算装置４００は、予測画像生成格納部４１０と、移動量更新格納部４２０と、差分画像生成格納部（評価値計算部）４３０と、障害物検知部４４０とを含む。【００２６】
図３は、予測画像生成格納部４１０の一構成例を示すブロック図である。図３に示す予測画像生成格納部４１０は、第１視点画像格納部４１１と、第２視点予測画像生成部４１２と、第２視点予測画像格納部４１３とを含む。【００２７】
第１視点画像格納部４１１は、第１視点でカメラ２００が撮影した画像である第１視点画像を格納するメモリを備え、カメラ２００から入力された第１視点画像を格納する。【００２８】
第２視点予測画像生成部４１２は、カメラ２００が撮影した対象がすべてあらかじめ定められた平面上に存在するという仮定の下に、カメラ２００が撮影した画像における座標（カメラ座標）からカメラ２００の位置を鉛直軸に沿って平面に投影した点を原点とする実世界における座標（ワールド座標）を計算する機能を有する。【００２９】
また、第２視点予測画像生成部４１２は、初期移動データまたは更新移動データを用いて、第２視点におけるワールド座標から第１視点におけるワールド座標を計算する機能を有する。また、第２視点予測画像生成部４１２は、カメラ２００で撮影された対象がすべてあらかじめ定められた平面上に存在するという仮定の下で、ワールド座標からカメラ座標を計算する機能を有する。【００３０】
第２視点予測画像生成部４１２は、前述した機能を利用して、第１視点画像格納部４１１のメモリに格納された第１視点画像と、移動量格納部４２１のメモリに格納された初期移動データまたは移動量更新部４２２が出力した更新移動データとを用いて、あらかじめ定められた領域における第２視点予測画像を生成する。なお、移動量更新部４２２および更新移動データについては後述する。
【００３１】
第２視点予測画像格納部４１３は、第２視点予測画像を格納するメモリを備え、第２視点予測画像生成部４１２が生成した第２視点予測画像を格納する。【００３２】
図４は、移動量更新格納部４２０の一構成例を示すブロック図である。図４に示す移動量更新格納部４２０は、移動量格納部４２１と、移動量更新部４２２とを含む。【００３３】
移動量格納部４２１は、初期移動データまたは更新移動データを格納するメモリを備える。また、移動量格納部４２１は、移動量更新部４２２が移動データを更新した場合に、更新された移動データ（更新移動データ）を格納する。【００３４】
移動量更新部４２２は、第１視点画像格納部４１１のメモリに格納された第１視点画像と、第２視点画像格納部４３１のメモリに格納された第２視点画像と、第２差分画像格納部４３４のメモリに格納された差分画像とにもとづいて、更新移動データを計算し、計算した更新移動データを第２視点予測画像生成部４１２に出力する。さらに、あらかじめ定められた条件を満足する揚合には、初期移動データまたは更新移動データを更新する。【００３５】
図５は、差分画像生成格納部４３０の一構成例を示すブロック図である。図５に示す差分画像生成格納部４３０は、第２視点画像格納部４３１と、差分画像生成部４３２と、第１差分画像格納部４３３と、第２差分画像格納部４３４と、画像処理部４３５とを含む。【００３６】
第２視点画像格納部４３１は、第２視点でカメラ２００が撮影した画像である第２視点画像を格納するメモリを備える。【００３７】
差分画像生成部４３２は、第２視点予測画像格納部４１３のメモリに格納された第２視点予測画像と第２視点画像格納部４３１のメモリに格納された第２視点画像との差分画像を生成して評価値（第１の評価値）を計算する。この評価値は、第２視点画像と第２視点予測画像との一致度を示すような値であることが望ましい。例えば、差分画像におけるあらかじめ定められた範囲内のすべての画素値の総和や、その総和をあらかじめ定められた範囲内に存在する画素数で割った値である。
【００３８】
第１差分画像格納部４３３は、差分画像と評価値とを格納するメモリを備え、差分画像生成部４３２が生成した差分画像と評価値とを格納する。【００３９】
第２差分画像格納部４３４は、差分画像と評価値とを格納するメモリを備え、第１差分画像格納部４３３のメモリに格納されている差分画像と評価値とを格納する。また、第２差分画像格納部４３４は、画像処理部４３５が画像処理を行った場合に、その画像処理結果を格納する。【００４０】
画像処理部４３５は、第２差分画像格納部４３４のメモリに格納されている差分画像の画像処理を行う。画像処理部４３５が行う画像処理とは、さまざまな誤差に起因して生じる理論上は生じない差分画像中の領域を消去することが目的の処理であり、例えば、最小値フィルタ、モルフォロジ演算、画像縮小などの処理を、あらかじめ定められた回数だけ行う処理である。【００４１】
図６は、障害物検知部４４０の一構成例を示すブロック図である。図６に示す障害物検知部４４０は、２値画像生成部４４１と、ラベリング画像生成部４４２と、障害物存在判定部４４３とを含む。【００４２】
２値画像生成部４４１は、第２差分画像格納部４３４のメモリに格納された差分画像を、あらかじめ定められた方法によって２値化する。ここであらかじめ定められた方法とは、例えは、あらかじめ定められた閾値で２値化する方法や、画素値の分布から判別分析などにより適切な２値化閾値を決めて２値化する方法である。【００４３】
ラベリング画像生成部４４２は、２値画像生成部４４１が生成した２値画像に対してラベリングを行う。ラベリングについては後述する。【００４４】
障害物存在判定部４４３は、ラベリング画像生成部４４２が行ったラベリング結果にもとづいて、障害物が存在するか否かを判定（障害物存在判定）する。なお、障害物存在判定では、例えば、ラベリング画像生成部４４２が計算したラベリング処理済み差分画像内の連結領域の外接矩形幅、外接矩形高さ、または同一ラベルに属する画素数などが、あらかじめ定められた条件を満たす場合に、障害物が存在すると判定される。【００４５】
一般的には、外接矩形幅、外接矩形高さ、または同一ラベルに属する画素数などが大きいほど連結領域はノイズではないと考えられる。しかし、外接矩形幅、外接矩形高さ、または同一ラベルに属する画素数などを障害物存在判定の条件に採用するためには、障害物が差分画像上である程度の大きさの連結領域を得るのに十分な大きさであることや、移動体の大きな動きが必要になるため、適切な条件を設定することが必要である。【００４６】
なお、演算装置４００は、コンピュータに、第１の視点で移動体１００に搭載されたカメラ２００に撮影された画像である第１視点画像と、第１の視点から第２の視点までの移動体の移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成するステップと、第２視点予測画像と第２の視点でカメラ２００に撮影された画像である第２視点画像との一致度を示す評価値を計算するステップと、評価値にもとづいて、移動体１００の移動量のうち、移動体１００が直進する際に移動する方向に対して、移動体１００が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む移動量を更新するステップとを実行させるための移動量計算プログラムを搭載している。【００４７】
また、演算装置４００は、コンピュータに、第１の視点で移動体１００に搭載されたカメラ２００に撮影された画像である第１視点画像と、第１の視点から第２の視点までの移動体の移動量とにもとづいて、第２の視点における予測画像である第２視点予測画像を生成するステップと、第２視点予測画像と第２の視点でカメラ２００に撮影された画像である第２視点画像との一致度を示す評価値を計算するステップと、評価値にもとづいて、移動体１００の移動量のうち、移動体１００が直進する際に移動する方向に対して、移動体１００が移動する平面上で垂直な方向の成分である水平方向成分移動量を含む移動量を更新するステップと、第２視点予測画像と第２視点画像とにもとづいて、障害物が存在するか否かを判定するステップとを実行させるための障害物検知プログラムを搭載している。【００４８】
これらの移動量計算プログラムおよび障害物検知プログラムは、光ディスクや磁気ディスクなどの、コンピュータにより読み取り可能な記憶媒体に格納された状態で提供することができる。コンピュータのＣＰＵなどからなる演算部が上記プログラムにしたがって動作することにより、演算装置４００に図２〜図６に示した各機能部が実現される。【００４９】
次に、本発明の実施例の動作について図面を参照して説明する。図７は、本発明の実施例の全体の動作を示すフローチャートである。【００５０】
第１視点画像格納部４１１は、カメラ２００が第１視点で撮影した第１視点画像をメモリに格納する。第２視点画像格納部４３１は、カメラ２００が第２視点で撮影した第２視点画像をメモリに格納する。移動量格納部４２１は、移動量計測部３００が計測した初期移動データをメモリに格納する（図７に示すステップＳ１０００）。【００５１】
第２視点予測画像生成部４１２は、移動量格納部４２１のメモリに格納されている初期移動データと、第１視点画像格納部４１１のメモリに格納されている第１視点画像とにもとづいて、第２視点予測画像を生成する（図７に示すステップＳ１１００）。【００５２】
初期移動データと第１視点画像とにもとづいて、第２視点予測画像を生成する動作について図面を参照して説明する。図８は、初期移動データと第１視点画像とにもとづいて、第２視点予測画像を生成する動作（ステップＳ１１００の動作）を説明するフローチャートである。【００５３】
第２視点予測画像生成部４１２は、第２視点予測画像で画素値が求められるすべての画素に対して以下の動作を行う。すなわち、第２視点予測画像生成部４１２は、第２視点予測画像を構成する画素のカメラ座標値に対応する第２視点のワールド座標値を計算する（図８に示すステップＳ１１１０）。【００５４】
第２視点予測画像生成部４１２は、計算した第２視点のワールド座標値と移動量格納部４２１のメモリに格納されている初期移動データとにもとづいて、その画素の第１視点のワールド座標値を計算する（図８に示すステップＳ１１２０）。【００５５】
第２視点予測画像生成部４１２は、計算した第１視点のワールド座標値にもとづいて、その画素の第１視点におけるカメラ座標値を計算する（図８に示すステップＳ１１３０）。さらに、第２視点予測画像生成部４１２は、第１視点画像格納部４１１のメモリに格納されている第１視点画像にもとづいて、第２視点予測画像におけるその画素の画素値を計算する（図８に示すステップＳｌｌ４０）。【００５６】
ステップＳ１１３０で求めた第１視点におけるカメラ座標値であって、ステップＳ１１４０で求めた画素値の第１視点のカメラ座標値は、通常は整数にならない。そのため、ステップＳ１１３０で求めた第１視点におけるカメラ座標値は、共１次内挿法、双直線補間法などにより補間された値（整数）とする。【００５７】
第２視点予測画像で画素値を求めるすべての画素の画素値が計算されていれば（図８に示すステップＳ１１５０のＹ）、図７に示すステップＳ１２００に進み、そうでなければ（図８に示すステップＳ１１５０のＮ）、ステップＳ１１１０に戻り、他の画素の画素値を計算する。【００５８】
したがって、第２視点予測画像生成部４１２は、初期移動データと第１視点画像とにもとづいて、第２視点予測画像を構成するすべての画素の画素値を計算して、第２視点予測画像を生成する。【００５９】
第２視点予測画像格納部４１３は、第２視点予測画像生成部４１２が生成した第２視点予測画像を、第２視点予測画像格納部４１３のメモリに格納する（図７に示すステップＳ１２００）。【００６０】
差分画像生成部４３２は、第２視点画像と第２視点予測画像との差分画像を生成する。また、差分画像生成部４３２は、第１差分画像格納部４３３のメモリに、生成した差分画像とその差分画像から計算した評価値（第１の評価値）とを格納する（図７に示すステップＳ１３００）。【００６１】
図９は、差分画像の生成と評価値の計算とを説明するフローチャート（ステップＳ１３００の動作を説明するフローチャート）である。差分画像生成部４３２は、差分画像を生成するために、評価値を求めるすべての画素について、第２視点画像におけるその画素の画素値と、第２視点予測画像におけるその画素の画素値との差の絶対値を計算する。そして、計算した絶対値を画素値とする画素で構成される画像（差分画像）を生成する（図９に示すステップＳ１３１０）。【００６２】
差分画像生成部４３２は、差分画像にもとづいて評価値を求める（図９に示すステップＳ１３２０）。評価値は、例えば、差分画像における所定の領域の画素の画素値の和を、その領域の画素数で割ったものである。差分画像生成部４３２は、第１差分画像格納手般４３３のメモリに、生成した差分画像と評価値とを格納する（図９に示すステップＳ１３３０）。【００６３】
したがって、第１差分画像格納部４３３のメモリには、差分画像と評価値とが格納される。【００６４】
次に、第２差分画像格納部４３４のメモリに、第１差分画像格納部４３３のメモリに格納されている差分画像と評価値とを格納する（図７に示すステップＳ１４００）。【００６５】
移動量更新部４２２は、移動量格納部４２１のメモリに格納されている初期移動データと、第１視点画像格納部４１１のメモリに格納されている第１視点画像と、第２視点画像格納部４３１のメモリに格納されている第２視点画像と、第２差分画像格納部４３４のメモリに格納されている評価値とにもとづいて、更新移動データを計算する（図７に示すステップＳ１５００）。【００６６】
図１０は、更新移動データを計算する動作（ステップＳ１５００の動作）を説明するフローチャートである。移動量更新部４２２は、水平方向微小量に対する評価値の変化量を計算する（図１０に示すステップＳ１５１０）。次に、移動量更新部４２２は、進行方向微小量に対する評価値の変化量を計算する（図１０に示すステップＳ１５２０）。そして、移動量更新部４２２は、更新移動データを計算する（図１０に示すステップＳ１５３０）。【００６７】
図１１は、水平方向微小量に対する評価値の変化量を計算する動作（ステップＳ１５１０の動作）を説明するフローチャートである。移動量更新部４２２は、移動量格納部４２１のメモリから移動データ（初期移動データまたは更新移動データ。本例では初期移動データ。）を取得する（図１１に示すステップＳ１５１１）。【００６８】
次に、移動量更新部４２２は、移動データの水平方向成分にあらかじめ定められた正の微小量を加えて、水平方向微小変動移動データとする（図１１に示すステップＳ１５１２）。移動データの水平方向成分に加えるあらかじめ定められた正の微小量は、例えば１である。【００６９】
移動量更新部４２２は、第１視点画像格納部４１１のメモリに格納されている第１視点画像と、水平方向微小変動移動データとにもとづいて、移動データの水平方向成分に微小量を加えて移動データを変動させたときの予測画面である水平方向微小変動予測画像を生成する（図１１に示すステップＳ１５１３）。この水平方向微小変動予測画像は、ステップＳ１１００における初期移動データを水平方向微小変動移動データに置き換えて、ステップＳ１１００と同様の方法で計算して生成される。【００７０】
移動量更新部４２２は、第２視点画像格納部４３１のメモリに格納されている第２視点画像と、ステップＳ１５１３で生成した水平方向微小変動予測画像との差分画像を生成し、評価値（第２の評価値）を計算する（図１１に示すステップＳ１５１４）。差分画像の生成および評価値の計算には、ステップＳ１３００における第２視点予測画像を水平方向微小変動予測画像に置き換えて、ステップＳ１３００と同様の方法を用いる。【００７１】
また、移動量更新部４２２は、ステップＳ１５１４で計算した評価値から、第２差分画像格納部４３４のメモリに格納されている評価値を引いた値を、水平方向勾配量として計算する（図１１に示すステップＳ１５１５）。【００７２】
図１２は、移動量更新部４２２が、進行方向微小量に対する評価値の変化量を計算する動作（ステップＳ１５２０の動作）を説明するフローチャートである。【００７３】
移動量更新部４２２は、移動量格納部４２１のメモリから移動データ（初期移動データまたは更新移動データ。本例では初期移動データ。）を取得する（図１２に示すステップＳ１５２１）。次に、移動量更新部４２２は、移動データの奥行方向（移動体１００の進行方向）成分にあらかじめ定められた正の微小量を加えて、奥行方向微小変動移動データとする（図１２に示すステップＳ１５２２）。移動データの奥行方向成分に加えるあらかじめ定められた正の微小量は、例えば、１である。【００７４】
移動量更新部４２２は、第１視点画像格納部４１１のメモリに格納されている第１視点画像と、奥行方向微小変動移動データとにもとづいて、奥行方向微小変動予測画像を生成する（図１２に示すステップＳ１５２３）。この奥行方向微小変動予測画像は、ステップＳ１１００における初期移動データを奥行方向微小変動移動データに置き換えて、ステップＳ１１００と同様の方法で計算して生成される。【００７５】
移動量更新部４２２は、第２視点画像格納部４３１のメモリに格納されている第２視点画像と、ステップＳ１５２３で計算された奥行方向微小変動予測画像との差分画像を生成し、評価値を計算する（図１２に示すステップＳ１５２４）。この差分画像の生成および評価値の計算には、ステップＳ１３００における第２視点予測画像を水平方向微小変動予測画像に置き換えて、ステップＳ１３００と同様の方法を用いる。【００７６】
次に、移動量更新部４２２は、ステップＳ１５２４で計算した評価値から、第２差分画像格納部４３４のメモリに格納されている評価値を引いた値を、奥行方向勾配量として計算する（図１２に示すステップＳ１５２５）。【００７７】
移動量更新部４２２が更新移動データを計算する動作について説明する。移動量更新部４２２は、移動量格納部４２１のメモリに格納されている移動データの水平成分に対して、水平方向勾配量にあらかじめ定められた定数Ａを乗じた値を加えて、更新移動データの水平成分とする。なお、あらかじめ定められた定数Ａは、例えば、１０である。【００７８】
移動量更新部４２２は、移動量格納部４２１のメモリに格納されている移動データの奥行成分に、奥行方向勾配量にあらかじめ定められた定数Ａを乗じた値を加えて、更新移動データの奥行成分とする。【００７９】
したがって、更新移動データの水平成分の値および奥行成分の値は、移動量更新部４２２によって、移動データにもとづいて算出される（図１０に示すステップＳ１５３０）。なお、更新移動データのその他の成分の値は、対応する移動データの各成分の値である。【００８０】
次に、第２視点予測画像生成部４１２は、更新移動データと、第１視点画像格納部４１１のメモリに格納されている第１視点画像とにもとづいて第２視点予測画像を生成する（図７に示すステップＳ１６００）。【００８１】
更新移動データと第１視点画像とにもとづいて、第２視点予測画像を生成する動作について説明する。図１３は、更新移動データと第１視点画像とにもとづいて、第２視点予測画像を生成する動作（ステップＳ１６００の動作）を説明するフローチャートである。【００８２】
第２視点予測画像生成部４１２は、第２視点予測画像で画素値を求めるすべての画素に対して以下の動作を行う。すなわち、第２視点予測画像生成部４１２は、第２視点予測画像を構成する画素のカメラ座標値に対応する第２視点のワールド座標値を計算する（図１３に示すステップＳ１６１０）。【００８３】
第２視点予測画像生成部４１２は、第２視点におけるワールド座標値と更新移動データとにもとづいて、第１視点におけるワールド座標値を計算する（図１３に示すステップＳ１６２０）。次に、第２視点予測画像生成部４１２は、計算した第１視点におけるワールド座標値にもとづいて、第１視点におけるカメラ座標値を計算する（図１３に示すステップＳ１６３０）。さらに、第２視点予測画像生成部４１２は、第１視点画像格納部４１１のメモリに格納されている第１視点画像にもとづいて、第２視点予測画像におけるその画素の画素値を計算する（図１３に示すステップＳ１６４０）。【００８４】
ステップＳ１６３０で求めた第１視点におけるカメラ座標値であって、ステップＳ１６４０で求めた画素値の第１視点のカメラ座標値は、通常は整数にならない。そのため、ステップＳ１６３０で求めた第１視点におけるカメラ座標値は、共１次内挿法、双直線補間法などにより補間された値（整数）とする。【００８５】
第２視点予測画像で画素値を求めるすべての画素の画素値が計算されていれば（図１３に示すステップＳ１６５０のＹ）、図７に示すステップＳ１７００に進み、そうでなければ（図１３に示すステップＳ１６５０のＮ）、ステップＳ１６１０に戻り、他の画素の画素値を計算する。【００８６】
したがって、第２視点予測画像生成部４１２は、更新移動データと第１視点画像とにもとづいて、第２視点予測画像を構成するすべての画素の画素値を計算して、第２視点予測画像を生成する。【００８７】
第２視点予測画像格納部４１３は、第２視点予測画像生成部４１２が生成した第２視点予測画像を格納する（図７に示すステップＳ１７００）。【００８８】
差分画像生成部４３２は、第２視点画像と第２視点予測画像との差分画像を生成し、生成した差分画像にもとづいて評価値を計算する。また、差分画像生成部４３２は、第１差分画像格納部４３３のメモリに、生成した差分画像とその差分画像から計算した評価値とを格納する（図７に示すステップＳ１８００）。ステップＳ１８００における差分画像生成部４３２の動作は、ステップＳ１３００における差分画像生成部４３２の動作と同様なため、説明を省略する。【００８９】
移動量格納部４２１は、第１差分画像格納部４３３のメモリに格納された評価値と、第２差分画像格納部４３４のメモリに格納された評価値とを比較して、第１差分画像格納部４３３のメモリに格納された評価値が第２差分画像格納部４３４のメモリに格納された評価値よりも小さければステップＳ２０００に進み（ステップＳ１９００のＹ）、そうでない場合はステップＳ２３００に進む（ステップＳ１９００のＮ）。【００９０】
本例では、移動量格納部４２１は、初期移動データと第１視点画像とにもとづいて生成された第２視点予測画像の評価値（第２差分画像格納部４３４のメモリに格納された評価値）と、更新移動データと第１視点画像とにもとづいて生成された第２視点予測画像の評価値（第１差分画像格納部４３３のメモリに格納された評価値）とを比較する。【００９１】
ステップＳ２０００では、移動量格納部４２１が、ステップＳ１６００で予測画像を作成するために用いた更新移動データを、移動量格納部４２１のメモリに格納する。【００９２】
そして、第２差分画像格納部４３４は、第１差分画像格納部４３３のメモリに格納されている差分画像と評価値とを、第２差分画像格納部４３４のメモリに格納する（図７に示すステップＳ２１００）。【００９３】
次に、移動量更新部４２２が、移動量更新を継続するかどうかを判定する。具体的には、例えば、あらかじめ定められた更新回数以上移動データが更新された場合にはステップＳ２３００へ進み（図７に示すステップＳ２２００のＹ）、そうでない場合にはステップＳ１５００へ進む（図７に示すステップＳ２２００のＮ）。【００９４】
ステップＳ２３００では、画像処理部４３５が、第２差分画像格納部４３４のメモリに格納されている差分画像に画像処理を施す（図７に示すステップＳ２３００）。差分画像に施す画像処理とは、例えば、最小値フィルタを用いた画像処理である。【００９５】
そして、画像処理部４３５が計算して処理した画像処理済み差分画像を、２値画像生成部４４１が、あらかじめ定められた方式で２値化する（図７に示すステップＳ２４００）。【００９６】
ラベリング画像生成部４４２は、ステップＳ２４００で２値化された差分画像にラベリングするラベリング処理を行う（図７に示すステップＳ２５００）。ここでラベリング処理とは、４連結領域、または８連結領域を求め、各連結領域毎にラベリングする（ラベルを付する）処理である。【００９７】
なお、４連結領域とは、ある画素の上方向、下方向、左方向、および右方向の４つの方向に隣接する他の画素を互いに連結して構成される領域であって、同じ画素値の画素を連結して構成される領域である。また、８連結領域とは、ある画素の上方向、下方向、左方向、右方向、右上方向、右下方向、左上方向、および左下方向の８つの方向に隣接する他の画素を互いに連結して構成される領域であって、同じ画素値の画素を連結した領域である。【００９８】
最後に、障害物存在判定部４４３が障害物存在判定を行う（図７に示すステップＳ２６００）。具体的には、例えば、ラベリングされた領域が所定の広さ以上であれば、障害物が存在すると判定する。【００９９】
本実施例によれば、移動データ誤差に起因するノイズを低減するために、第１視点で撮影された画像データを第２視点の画像データに変換するために利用する移動データを、第２視点で撮影された画像データと、移動量計測部３００から得られた移動データを初期値とする移動データによって第１視点から第２視点へ変換された画像データとにもとづいて計算される評価値を、最適化手法の１つである勾配法を用いて小さくするように更新している。そのため、移動量誤差に起因するノイズが少ない差分画像を得ることができる。【０１００】
また、本実施例によれば、その差分画像を用いることに加え、それでも消去できないノイズ（移動データ誤差に起因するノイズを低減するための処理を行ってもまだ残存する移動データ誤差に起因するノイズ、およびその他の要因に起因するノイズ）を低減するために差分画像に対する画像処理（例えば、最小値フィルタを用いた画像処理。）を行っている。さらに、それでも消去できないノイズの影響を受けにくくするために、画像処理済み差分画像を２値化してラベリング処理を行ったラベリング結果にもとづく２値化領域の大きさなどによる判定を行うように構成されている。したがって、障害物か否かの判定精度を向上させることができる。【０１０１】
なお、本実施例の障害物検知システムは、関連技術に加えて、以下の処理を行っている。【０１０２】
１．（移動量更新の追加）移動量誤差に起因する差分画像中のノイズを低減するために、第１視点で撮影された画像を第２視点へ変換するために利用するための移動量を、第２視点で撮影された画像と、移動量計測部３００から得られた移動量を初期値として第１視点から第２視点へ変換した画像とから計算される評価値（例えば、ある有効範囲内での輝度差の総和を有効範囲内の画素数で割った値）を小さくするように勾配法などの最適化手法を用いて更新し、そして、その更新された移動量を用いて第１視点から第２視点に変換した予測画像から、差分画像を生成することにより障害物検出に好都合な移動量および差分画像を計算および生成している。【０１０３】
２．（画像処理）それでも消去できない差分画像中のノイズ（前述した１の処理を行ってもまだ残存する移動量誤差に起因するノイズ、およびその他の要因に起因するノイズ）を低減するために差分画像に対する画像処理を行っている。【０１０４】
３．（２値化画像生成、ラベリング画像生成、障害物存在判定）さらに、それでも消去できないノイズを、画像処理済み差分画像の２値化およびラベリング結果を入力として、２値化領域の大きさなどによる判定を行っている。【０１０５】
以上に述べた処理を行うことによって、本発明の目的を達成している。【０１０６】
なお、本実施例の障害物検知システムの構成要素から障害物検知部４４０を除いたものが移動量計算システムとなる。【０１０７】
次に、具体的な具体例を用いて本発明の実施例を説明する。【０１０８】
具体例として、図７に示すステップＳ１０００で、図１４に示す画像データが第１視点画像として第１視点画像格納部４１１のメモリに格納され、図１５に示す画像データが第２視点画像として第２視点画像格納部４３１のメモリに格納されているとする。【０１０９】
図１４に示す第１視点画像は、中央に直方体の障害物１が設置され、障害物１の左側に直方体の障害物２が設置され、障害物１の右側に直方体の障害物３が設置されてカメラ２００に撮影された画像である。また、障害物１の後方に直方体の障害物４が設置されている。そして、図１４に示す画像の下端から、障害物１の下を通り、障害物１と障害物４との間の位置まで直線５が描かれている。【０１１０】
また、図１５に例示した画像は、図１４に例示した画像の撮影対象をより近距離から撮影した画像である。【０１１１】
また、図７に示すステップＳ１０００で、水平方向成分移動量０ｍｍ、奥行方向成分移動量２００ｍｍ、および水平方向成分移動量０ｍｍかつ奥行方向成分移動量０ｍｍの点を通る鉛直軸回りの回転量０ラジアンが、移動量計測部３００から得られた初期移動データとして移動量格納部４２１のメモリに格納されているとする。【０１１２】
以下、移動データを（ｘ，ｙ，θ）で表す。なお、ｘは水平方向成分移動量を示し、単位はｍｍである。また、ｙは奥行方向成分移動量を示し、単位はｍｍである。また、θはｘ−ｙ平面の原点を通る鉛直軸回りの回転量を示し、単位はラジアンである。【０１１３】
また、ｘ，ｙは左手系の座標を構成するとし、θは反時計回りを正の方向とする。例えば、水平方向成分移動量ｘ＝０ｍｍ、奥行方向成分移動量ｙ＝２００ｍｍ、および鉛直軸回りの回転量θ＝０ラジアンを（０，２００，０）と表す。つまり、初期移動データは、（０，２００，０）である。【０１１４】
なお、本具体例では、画像中の画素値として輝度値を用いる。また、この具体例では、カメラ画像からワールド座標へ変換する領域、およびワールド座標からカメラ座標へ変換する領域を、ワールド座標上で高さ０ｍｍの点で、水平方向、奥行方向が図１６に例示する領域とあらかじめ定めておく。この領域を変換領域という。【０１１５】
図１６に示す例では、変換領域は、ワールド座標において、原点から奥行方向に３００ｍｍの位置を通過する水平方向の直線と、原点から奥行方向に２５００ｍｍの位置を通過する水平方向の直線と、原点から水平方向右側に１０００ｍｍの位置を通過する奥行方向の直線と、原点から水平方向左側に１０００ｍｍの位置を通過する奥行方向の直線とで囲まれた領域を含む。【０１１６】
また、図１６に示す例では、変換領域は、ワールド座標において、原点から奥行方向に２００ｍｍの位置を通過する水平方向の直線と、原点から奥行方向に３００ｍｍの位置を通過する水平方向の直線と、原点から水平方向右側に９００ｍｍの位置を通過する奥行方向の直線と、原点から水平方向左側に９００ｍｍの位置を通過する奥行方向の直線とで囲まれた領域を含む。【０１１７】
また、図１６に示す例では、変換領域は、ワールド座標において、原点から奥行方向に１００ｍｍの位置を通過する水平方向の直線と、原点から奥行方向に２００ｍｍの位置を通過する水平方向の直線と、原点から水平方向右側に８００ｍｍの位置を通過する奥行方向の直線と、原点から水平方向左側に８００ｍｍの位置を通過する奥行方向の直線とで囲まれた領域を含む。【０１１８】
変換領域には、１００ｍｍ間隔で格子点が設定されている。図１６に示す例では、格子点の一部が黒丸で示されている。【０１１９】
図１７は、図１６に示す変換領域をカメラ座標で示す説明図である。図１７に示す例では、変換領域が１００ｍｍ間隔で格子状に分割され、各格子の角に、ワールド座標の格子点に相当する格子点が白い点で示されている。【０１２０】
なお、これら格子点のカメラ座標値はあらかじめ求めておく。また、第１視点ワールド座標における変換領域であって、第２視点ワールド座標における変換領域である共通領域に対応する第２視点カメラ画像における領域を、第２視点有効領域という。つまり、撮像対象が、第１ワールド座標（および第２ワールド座標）において平面上の点である限り、第１視点におけるカメラ画像にも第２視点におけるカメラ画像にも撮影されているはずである。【０１２１】
また、カメラ座標からワールド座標の変換は、格子点に関するカメラ座標とワールド座標との対応を利用して求められる。図１８は、カメラ座標からワールド座標への変換を模式的に示す説明図である。例えば、格子点におけるワールド座標とカメラ座標との対応付けを、ワールド座標系の格子点（３００，８００），（４００，８００），（３００，９００），および（４００，９００）に対して、カメラ座標（４２１，２４８），（４５１，２４８），（４１５，２６８），および（４４３，２６６）とする。【０１２２】
このとき、カメラ座標（４２２，２５０）は、（４２２，２５０）＝（４２１，２４８）＋ａ（（４５１，２４８）−（４２１，２４８））＋ｂ（（４１５，２６８）−（４２１，２４８））、ａ＝０．０５３８０・・・、ｂ＝０．１００５４・・・、と表される。【０１２３】
そこで、そのカメラ座標に対応するワールド座標を、（３００，８００）＋ａ（（４００，８００）−（３００，８００））＋ｂ（（３００，９００）−（３００，８００））＝（３０５．３８０２・・・，８１０．０５４０・・・）と計算する。【０１２４】
また、ワールド座標からカメラ座標への変換は、格子点に関するワールド座標とカメラ座標との対応、および格子点に関するカメラ座標とワールド座標との対応を利用して求められる。すなわち、図１６に例示した変換領域における１００ｍｍ間隔の格子点のワールド座標とカメラ座標との対応付けから双直線補間法により求められた各画素のカメラ座標系とワールド座標系との対応付けを双直線補間法により求めておき、それらを利用して双直線補間法を用いてワールド座標からカメラ座標への変換を求めるものとする。【０１２５】
例えば、カメラ座標（４０９，２８７），（４１０，２８７），（４０９，２８８），および（４１０，２８８）に対応するワールド座標は、それぞれ（３０１．８３７８・・・，１００７．９６３７・・・），（３０５．８１９０・・・，１００８．５４９２８），（３０３．６７０２・・・，１０１５．９０４３・・・），および（３０７・６４５５・・・，１０１６．４６４０・・・）である。【０１２６】
したがって、ワールド座標（３０５．３８０２・・・，１０１０．０５４０・・・）の点のカメラ座標は（４１０．０００１・・・，２８８．０００１・・・）と計算される。【０１２７】
カメラ座標（４１０．０００１・・・，２８８．０００１・・・）における点の輝度値を定めるためには共１次内挿法を使い、小数点以下を四捨五入する。例えば、カメラ座標（４１０，２８８），（４１１，２８８），（４１０，２８９），および（４１１，２８９）の各点の輝度値が、それぞれ１２７，１２９，１２８，および１２７であったとき、カメラ座標（４１０．０００１・・・，２８８．０００１・・・）の輝度値は、１２７と計算される。【０１２８】
次に、本具体例の動作について説明する。第２視点予測画像を生成するため、演算装置４００の各部は、第２視点有効領域に属するすべての画素について、図８に示すステップＳ１１１０からステップＳ１１４０までの処理を実行する。
【０１２９】
例えば、第２視点予測画像の座標（４２２，２５０）における画素値は、次のように計算して求められる。まず、第２視点予測画像生成部４１２が、図８に示すステップＳ１１１０の処理を実行すると、第２視点カメラ座標（４２２，２５０）の点に対応する第２視点ワールド座標は、前述したように（３０５，３８０２・・・，８１０．０５４０・・・）になる。【０１３０】
次に、第２視点予測画像生成部４１２は、図８に示すステップＳ１１２０の処理を実行する。ここで、第１視点ワールド座標を（ｘｗ１，ｙｗ１）とし、第２視点ワールド座標を（ｘｗ２，ｙｗ２）とし、移動データを（ｘ，ｙ，θ）とすると、ｘｗ１＝ｘ＋ｃｏｓ（θ）・ｘｗ２−ｓｉｎ（θ）・ｙｗ２になり、ｙｗ１＝ｙ＋ｓｉｎ（θ）・ｘｗ２＋ｃｏｓ（θ）・ｙｗ２になる。【０１３１】
前述したように、第２視点ワールド座標は（３０５．３８０２・・・，８１０．０５４０・・・）であり、初期移動データは（０，２００，０）であったから、第１視点ワールド座標は（３０５．３８０２・・・，１０１０．０５４０・・・）になる。【０１３２】
次に、第２視点予測画像生成部４１２が、図８に示すステップＳ１１３０の処理を実行すると、第１視点ワールド座標（３０５，３８０２・・・，１０１０．０５４０・・・）の点に対応する第１視点カメラ座標は、前述したように（４１０．０００１・・・，２８８．０００１・・・）となる。【０１３３】
次に、第２視点予測画像生成部４１２が、図８に示すステップＳ１１４０の処理を実行すると、第１視点カメラ座標の輝度値は、前述したように、１２７になる。この値を第２視点予測画像の座標（４２２，２５０）の輝度値とする。このように計算すると、図８に示すステップＳ１１００で得られる第２視点予測画像は図１９のようになる。図１９は、具体例で生成された第２視点予測画像である。図１９には、中央に障害物１が設置され、障害物１の左側に障害物２が設置され、障害物１の右側に障害物３が設置されていることが示されている。また、図１９には、画像の下端から、障害物１の下を通り、画像の上端付近まで直線５が描かれている。【０１３４】
第２視点予測画像格納部４１３は、第２視点予測画像生成部４１２が生成した第２視点予測画像を、第２視点予測画像格納部４１３のメモリに格納する（図７に示すステップＳ１２００）。【０１３５】
差分画像生成部４３２は、図９に示すステップＳ１３１０の処理を実行し、第２視点予測画像格納部４１３のメモリに格納された第２視点予測画像と第２視点画像とにもとづいて、差分画像を計算して生成する。ここで、差分画像の各画素の画素値は、第２視点有効領域におけるすべての画素に対して、第２視点予測画像と第２視点画像とで同じ座標値を持つ画素の輝度差の絶対値を求めることで計算される。【０１３６】
差分画像生成部４３２が、図９に示すステップＳ１３１０の処理を実行して生成した差分画像を、図２０に示す。図２０は、差分画像生成部４３２が生成した差分画像を示している。図２０に示す例では、差分画像の中央に障害物１が２つ描かれ、障害物１の右側に障害物２が２つ描かれ、障害物１の左側に障害物３が２つ描かれている。各障害物は、対応する障害物における奥行方向に重畳して描かれている。つまり、障害物１は、差分画像の中央に、奥行方向に２つ並んで描かれている。また、差分画像の下端から、障害物１のうちの一方の下を通り差分画像の上端付近まで、２本の直線５が平行して描かれている。【０１３７】
図２０に示す例において、本来平面上のテクスチャ（模様）である直線５の部分は、移動データやその他の要因による誤差により、大きな画素値を持っている。【０１３８】
差分画像生成部４３２は、図９に示すステップＳ１３２０の処理を実行して、第２視点有効領域に対応する差分画像中の領域に属するすべての輝度値の和を第２視点有効領域に属する画素数で割ったものを計算し、評価値を求める。図２０に示す例では、評価値は１８．４８１２１６である。【０１３９】
第２差分画像格納部４３４のメモリに、第１差分画像格納部４３３のメモリに格納されている差分画像と評価値とを格納する（図７に示すステップＳ１４００）。【０１４０】
移動量更新部４２２は、図７に示すステップＳ１５００の処理を実行する。すなわち、移動量更新部４２２は、図１０に示すステップＳ１５１０の処理を実行し、水平方向微小量に対する評価値の変化量を計算する。本具体例では、水平方向微小量を１として計算する。そのため、移動量更新部４２２が、図１１に示すステップＳ１５１２の処理で計算する水平方向微小変動移動データは（１，２００，０）になる。【０１４１】
図１１に示すステップＳ１５１３およびステップＳ１５１４の処理は、移動データを水平方向微小変動移動データに置き換えた図７に示すステップＳ１１００およびステップＳ１３００の処理とそれぞれ同様であるので説明を省略する。そして、移動量更新部４２２が、図１１に示すステップＳ１５１４で計算した評価値は１８．１０６５５である。したがって、移動量更新部４２２が、図１１に示すステップＳ１５１５で計算する水平方向勾配は、図１１に示すステップＳ１５１４で計算された評価値から第２差分画像格納部４３４のメモリに格納されている評価値を引いたものになるので、−０．１２２３６２になる。【０１４２】
次に、移動量更新部４２２は、図１０に示すステップＳ１５２０の処理を実行し、奥行方向微小量に対する評価値の変化量を計算する。本具体例では、奥行方向微小量を１として計算する。そのため、移動量更新部４２２が、図１０に示すステップＳ１５２２の処理で計算した奥行方向微小変動移動データは（０，２０１，０）になる。【０１４３】
図１２に示すステップＳ１５２３およびステップＳ１５２４の処理は、移動データを奥行方向微小変動移動データに置き換えた図７に示すステップＳ１１００およびステップＳ１３００の処理とそれぞれ同様であるので説明を省略する。そして、移動量更新部４２２が、図１２に示すステップＳ１５２４で計算した評価値は１８．２１８５である。したがって、移動量更新部４２２が、図１２に示すステップＳ１５２５で計算する奥行方向勾配は、図１２に示すステップＳ１５２４で計算された評価値から第２差分画像格納部４３４のメモリに格納されている評価値を引いたものになるので、−０．００９５４４になる。【０１４４】
次に、移動量更新部４２２が、図１０に示すステップＳ１５３０の処理を実行する。本具体例では、あらかじめ定められた定数Ａを１０としている。そのため、更新移動データは（１．２２３６・・・，２００．０９５４・・・，０）と計算される。【０１４５】
図７に示すステップＳ１６００〜Ｓ１８００の動作は、移動データを更新移動データに置き換えたステップＳ１１００〜Ｓ１３００と同様な動作であるので、説明を省略する。そして、差分画像生成部４３２が、図７に示すステップＳ１８００の処理で計算した差分画像を図２１に示す。図２１に例示した差分画像は１回更新された移動データを用いて生成された差分画像であり、評価値は１８．３２４８４４である。図２１に例示した差分画像には、直線５（図２１において（Ａ）で示す部分および（Ｂ）で示す部分）が描かれている。【０１４６】
移動量格納部４２１は、前述したステップＳ１８００で計算された評価値が１８．３２４８４４であり、第２差分格納部４３４のメモリに格納されている評価値が１８．４８１２１６であるので、図７に示すステップＳ２０００の処理を実行すると判定する（図７に示すステップＳ１９００のＹ）。【０１４７】
移動量格納部４２１は、図７に示すステップＳ２０００の処理を実行し、更新移動データを、新しい移動データとして移動量格納部４２２のメモリに格納する。【０１４８】
第２差分画像格納部４３４は、図７に示すステップＳ２１００の処理を実行し、第１差分画像格納部４３３のメモリに格納されている差分画像と評価値とを、第２差分画像格納部４３４のメモリに格納する。【０１４９】
本具体例において、移動量更新部４２２は、図７に示すステップＳ２２００に示す処理を実行し、移動量更新回数があらかじめ定められた値である９を超えた場合に処理を継続せず、それ以外の場合に処理を継続するという判定を行う。現在の移動量更新回数は１回なので、移動量更新部４２２は、処理を継続すると判定し、図７に示すステップＳ１５００以降の処理を継続する。【０１５０】
本具体例では、移動量格納部４２１が図７に示すステップＳ１９００において格納しない判定をした場合、または移動量更新部４２２が図７に示すステップＳ２２００において処理を継続しない判定をした場合に、図７に示すステップＳ２３００以降の処理が行われる。本具体例では、移動量更新回数が９回を超えても移動量格納部４２１が図７に示すステップＳ１９００において格納しない判定を行わなかったので、移動量更新部４２２が、移動量更新回数１０回目のステップＳ２２００で処理を継続しない判定を行う。【０１５１】
なお、このときに第２差分格納部４３４のメモリに格納されている画像を、図２２に示す。図２２は、１０回更新された移動データによって生成された差分画像であり、第２差分格納部４３４のメモリに格納されている差分画像である。図２２に示す例では、差分画像の下端と障害物１との間に存在していたノイズ（直線５の一部。図２２において（Ａ）で示す部分。）が軽減されているが、障害物１と差分画像の上端付近との間に存在していたノイズ（直線５の一部。図２２において（Ｂ）で示す部分）はまだ残存している。画像処理部４３５は、図７に示すステップＳ２３００の処理を実行する。【０１５２】
本具体例において、図７に示すステップＳ２３００で、画像処理部４３５は、３×３最小値フィルタを用いたフィルタ処理を３回実施する。図２３は、３回フィルタ処理が実施された後の差分画像である。図２３に示す例では、図２１および図２２に例示した画像における（Ａ）および（Ｂ）の位置に存在していたノイズが削除されている。また、図２３に示す例では、障害物１および障害物２の上面の領域と、障害物３における障害物１に向かい合う面の一部の領域とが白色で示され、その他の領域が黒色で示されている。【０１５３】
２値画像生成部４４１は、図７に示すステップＳ２４００の処理を実行し、図２３に例示した差分画像を、あらかじめ定められた閾値（４０）で２値化する。図２４は、２値化された差分画像である。図２４に示す例では、障害物１および障害物２の上面の領域と、障害物３における障害物１に向かい合う面の一部の領域とが白色で示され、その他の領域が黒色で示されている。【０１５４】
そして、ラベリング画像生成部４４２が、図７に示すステップＳ２５００の処理を害行する。本具体例では、ラベリング画像生成部４４２は、４連結のラベリング処理を行う。例えば、図２４に示す例における（Ｃ）で表した領域が同一ラベルを持つ連結領域として求められる。【０１５５】
障害物存在判定部４４３は、図７に示すステップＳ２６００の処理を実行し、図２４に示す２値化された画像において、同一ラベルに属する画素数が所定の数（本具体例では２０。）以上である場合に、障害物があると判定する。本具体例では、図２４に示す例において（Ｃ）で表されたラベリング領城の画素数が３２３７であるので、障害物存在判定部４４３は、障害物があると判定する。【０１５６】
なお、この移動量計算方法は本具体例の形態に限定されない。例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）などを用いて得られた移動体位置から計算された移動量が得られた場合などに、移動体１００の移動量を精度良く計算することができる。【０１５７】
本具体例によれば、移動データ誤差に起因するノイズを低減するために、第１視点で撮影された画像データを第２視点の画像データに変換するために利用する移動データを、第２視点で撮影された画像データと、移動量計測部３００から得られた移動データを初期値とする移動データによって第１視点から第２視点へ変換された画像データとにもとづいて計算される評価値を小さくするように更新している。そのため、移動量誤差に起因するノイズが少ない差分画像を得ることができる。【０１５８】
また、本具体例によれば、その差分画像を用いることに加え、それでも消去できないノイズ（移動データ誤差に起因するノイズを低減するための処理を行ってもまだ残存する移動データ誤差に起因するノイズ、およびその他の要因に起因するノイズ）を低減するために差分画像に対する画像処理を行っている。さらに、それでも消去できないノイズの影響を受けにくくするために、画像処理済み差分画像を２値化してラベリング処理を行ったラベリング結果にもとづく２値化領域の大きさなどによる判定を行うように構成されている。したがって、障害物か否かの判定精度を向上させることができる。【０１５９】
なお、上述したように、移動量更新部４２２は、水平方向成分移動量を所定の変動量で変動させ、変動させた水平方向成分移動量と第１視点画像とにもとづいて水平方向微小変動予測画像を生成し、この水平方向微小変動予測画像と第２視点画像との差分画像を生成して水平方向微小変動予測画像と第２視点画像との一致度を示す評価値を計算し、変動量と評価値とにもとづいて水平方向成分移動量を計算してもよい。【０１６０】
また、障害物検知部４４０は、第２視点予測画像と第２視点画像との差分画像に、所定の数以上の画素で構成される連結領域が存在する場合に、障害物が存在すると判定してもよい。これにより、差分画像のノイズの影響を受けにくい障害物の存在判定を行うことができる。【０１６１】
以上、本発明の実施例および具体例について説明したが、本発明はこれらの実施例および具体例に限定されるものではない。請求の範囲に記載した本発明の趣旨および範囲から逸脱しない限りにおいて、上述した実施例および具体例を形式的に変更し、あるいは細部を変更してもよいことは言うまでもない。
【産業上の利用可能性】
【０１６２】
本発明は、自動車の駐車支援やロボットの移動方向決定を目的とした障害物検知システム等に適用できる。
【図１】
0005257069.tif 000002
【図２】
0005257069.tif 000003
【図３】
0005257069.tif 000004
【図４】
0005257069.tif 000005
【図５】
0005257069.tif 000006
【図６】
0005257069.tif 000007
【図７】
0005257069.tif 000008
【図８】
0005257069.tif 000009
【図９】
0005257069.tif 000010
【図１０】
0005257069.tif 000011
【図１１】
0005257069.tif 000012
【図１２】
0005257069.tif 000013
【図１３】
0005257069.tif 000014
【図１４】
0005257069.tif 000015
【図１５】
0005257069.tif 000016
【図１６】
0005257069.tif 000017
【図１７】
0005257069.tif 000018
【図１８】
0005257069.tif 000019
【図１９】
0005257069.tif 000020
【図２０】
0005257069.tif 000021
【図２１】
0005257069.tif 000022
【図２２】
0005257069.tif 000023
【図２３】
0005257069.tif 000024
【図２４】
0005257069.tif 000025
【図２５】
0005257069.tif 000026