(57)【要約】  移動体に搭載される単眼カメラに基づいて、第１時点及び前記第１時点よりも前の時点を含む複数の時点での物体の第１個所の位置を表す測定値を算出する測定値算出部と、前記第１個所の位置の採用値を決定する採用値決定部と、前記第１時点よりも前の時点の前記測定値又は前記採用値と、前記第１時点までの移動体の移動量とに基づいて、前記第１個所の位置の予測値を算出する予測値算出部とを含み、前記採用値決定部は、前記第１時点の前記測定値及び前記予測値の間の差分と閾値との関係に基づいて、前記採用値を決定する、物体情報生成装置が開示される。
2019123582.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載される単眼カメラに基づいて、第１時点及び前記第１時点よりも前の第２時点を含む複数の時点での物体の第１個所の位置を表す測定値を算出する測定値算出部と、
前記第２時点の前記測定値と、前記第２時点から前記第１時点までの移動体の移動量とに基づいて、前記第１個所の位置の予測値を算出する予測値算出部と、
前記第１時点の前記測定値及び前記予測値の間の差分と閾値との関係に基づいて、前記第１個所の位置の採用値を決定する採用値決定部とを含む、物体情報生成装置。
【請求項２】
前記採用値決定部は、前記差分が前記閾値よりも小さい場合は、前記第１時点の前記測定値を前記採用値として決定する、請求項１に記載の物体情報生成装置。
【請求項３】
前記採用値決定部は、前記差分が前記閾値以上である場合は、前記第１時点の前記測定値を棄却する、請求項２に記載の物体情報生成装置。
【請求項４】
前記採用値決定部は、前記差分が前記閾値以上である場合は、前記第１時点の前記測定値と、前記予測値とに基づいて、前記採用値を決定する、請求項２に記載の物体情報生成装置。
【請求項５】
前記予測値算出部は、複数の前記第１時点の前記予測値を算出し、
前記採用値決定部は、複数の時点の前記測定値の分布と、複数の前記第１時点の前記予測値の分布とに基づいて、前記差分を決定する、請求項１に記載の物体情報生成装置。
【請求項６】
前記採用値決定部は、前記差分が前記閾値よりも小さい場合は、前記測定値の分布に基づいて、前記採用値を決定する、請求項５に記載の物体情報生成装置。
【請求項７】
前記予測値算出部は、複数の前記第１時点の前記予測値を算出し、
前記採用値決定部は、前記差分が前記閾値以上である場合は、複数の時点の前記測定値の分布と、複数の前記第１時点の前記予測値の分布とに基づいて、前記採用値を決定する、請求項１に記載の物体情報生成装置。
【請求項８】
前記採用値決定部は、前記測定値及び前記予測値の双方に基づき生成した確率分布の中心値を、前記採用値として決定する、請求項７に記載の物体情報生成装置。
【請求項９】
前記第１個所は、複数の個所であり、
前記第１個所ごとの前記採用値に基づいて、前記物体に係る境界面を算出する境界面算出部を更に含む、請求項１〜８のうちのいずれか１項に記載の物体情報生成装置。
【請求項１０】
前記境界面に基づいて、駐車空間への走行を支援する制御、又は、駐車空間への走行制御を行う制御部を更に含む、請求項９に記載の物体情報生成装置。
【請求項１１】
移動体に搭載される単眼カメラに基づいて、第１時点及び前記第１時点よりも前の第２時点を含む複数の時点での物体の第１個所の位置を表す測定値を算出し、
前記第２時点の前記測定値と、前記第２時点から前記第１時点までの移動体の移動量とに基づいて、前記第１個所の位置の予測値を算出し、
前記第１時点の前記測定値及び前記予測値の間の差分と閾値との関係に基づいて、前記第１個所の位置の採用値を決定する
処理をコンピュータに実行させる、物体情報生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、物体情報生成装置及び物体情報生成プログラムに関する。
【背景技術】
【０００２】
単眼カメラを用いて、移動体周辺の物体の位置に関する物体情報を生成する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2001-266160号公報
【特許文献２】特開2011-90490号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のような従来技術では、物体の位置情報の精度が不十分であるという問題がある。単眼カメラで生じる誤測距には、以下の2種類がある。特徴点マッチングの失敗などに起因して、存在しない測距点を誤って出力する場合と、移動体の移動量（基線長）の算出誤差などに起因して、測距点に誤差が乗ってしまう場合である。【０００５】
そこで、１つの側面では、本発明は、単眼カメラを用いて物体の位置情報の精度を高めることを目的とする。
【課題を解決するための手段】
【０００６】
本開示の一局面によれば、移動体に搭載される単眼カメラに基づいて、第１時点及び前記第１時点よりも前の第２時点を含む複数の時点での物体の第１個所の位置を表す測定値を算出する測定値算出部と、
前記第１個所の位置の採用値を決定する採用値決定部と、
前記第２時点の前記測定値又は前記採用値と、前記第２時点から前記第１時点までの移動体の移動量とに基づいて、前記第１個所の位置の予測値を算出する予測値算出部とを含み、
前記採用値決定部は、前記第１時点の前記測定値及び前記予測値の間の差分と閾値との関係に基づいて、前記採用値を決定する、物体情報生成装置が提供される。
【発明の効果】
【０００７】
本開示によれば、単眼カメラを用いて物体の位置情報の精度を高めることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】一実施例による車両システムの全体構成を概略的に示す図である。
【図２】センシング制御装置のハードウェア構成の一例を示す図である。
【図３】センシング制御装置の機能ブロックの一例を示す図である。
【図４】測距値保持部の説明図である。
【図５Ａ】移動ステレオ法の説明図である。
【図５Ｂ】移動ステレオ法の説明図である。
【図６】測距値算出部の説明図である。
【図７】境界面生成部の説明図である。
【図８】境界面の説明である。
【図９Ａ】境界面の生成に関する更なる説明図である。
【図９Ｂ】境界面の生成に関する更なる説明図である。
【図９Ｃ】境界面の生成に関する更なる説明図である。
【図１０】予測値算出部による予測値の算出方法の具体例（その１）の説明図である。
【図１１】予測値算出部による予測値の算出方法の具体例（その２）の説明図である。
【図１２】測距値判定部による差分の算出方法の例、及び、更新値の算出方法の例の説明図である。
【図１３】更新値の算出方法の他の例の説明図である。
【図１４】本実施例によるセンシング制御装置の動作例を示す概略フローチャートである。
【図１５】変形例による機能ブロックを示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら各実施例について詳細に説明する。
【００１０】
図１は、一実施例による車両システム１の全体構成を概略的に示す図である。図２は、センシング制御装置１０のハードウェア構成の一例を示す図である。
【００１１】
車両システム１は、車両（移動体の一例）に搭載される。車両システム１は、センシング制御装置１０（物体情報生成装置の一例）と、車両制御装置１２と、カメラ１４と、舵角センサ１５ａと、車速センサ１５ｂと、ハンドル制御装置１６と、ブレーキ・アクセル制御装置１８と、モニタ１９とを含む。
【００１２】
センシング制御装置１０は、例えばＥＣＵ（Electronic Control Unit）の形態であり、例えば図２に示すようなハードウェア構成を有する。図２に示す例では、センシング制御装置１０は、データバスで接続されたＣＰＵ（Central Processing Unit）１１０（処理部の一例）、ＲＡＭ（Random Access Memory）１１１、ＲＯＭ（Read Only Memory）１１２（記憶部の一例）、各種インターフェース１１３、１１４等を有する。
【００１３】
センシング制御装置１０には、車両制御装置１２、カメラ１４、及びモニタ１９が接続される。例えば、センシング制御装置１０には、CAN（controller area network）を介して、車両制御装置１２が接続され、センシング制御装置１０には、AVC-LAN（Audio-Visual Communication Local Area Network）を介してモニタ１９が接続される。
【００１４】
センシング制御装置１０は、カメラ１４の画像と、舵角センサ１５ａからの舵角情報と、車速センサ１５ｂからの車速情報とに基づいて、境界面（後述）を算出する。そして、センシング制御装置１０は、算出した境界面に基づいて、目標駐車位置及び目標駐車方向を決定する駐車位置決定処理を行う。境界面に基づく駐車位置決定処理については後述する。センシング制御装置１０は、駐車位置決定処理の結果を、ハンドル制御装置１６及びブレーキ・アクセル制御装置１８に与える。
【００１５】
車両制御装置１２は、センシング制御装置１０と同様、例えばＥＣＵの形態であり、例えば図２に示すようなハードウェア構成を有する。車両制御装置１２には、ハンドル制御装置１６、ブレーキ・アクセル制御装置１８、舵角センサ１５ａ、及び車速センサ１５ｂが接続される。
【００１６】
カメラ１４は、単眼カメラであり、車両後部に取り付けられる。本実施例では、一例として、カメラ１４が取り付けられた状態では、カメラ１４の光軸は固定状態となる（即ちカメラ１４の光軸が可変ではない）。カメラ１４は、車両後方を撮像する。カメラ１４は、撮像した画像をセンシング制御装置１０に与える。尚、車両システム１は、車両側部や車両前部に取り付けられる別のカメラを更に備えていてもよい。
【００１７】
舵角センサ１５ａは、ステアリングホイール（図示せず）の操舵角を検出する。舵角センサ１５ａは、操舵角を表す舵角情報を車両制御装置１２を介してセンシング制御装置１０に与える。
【００１８】
車速センサ１５ｂは、車速を検出する。車速センサ１５ｂは、例えば車輪速センサである。車速センサ１５ｂは、車速を表す車速情報を車両制御装置１２を介してセンシング制御装置１０に与える。
【００１９】
ハンドル制御装置１６は、車両制御装置１２からの駐車位置決定処理の結果に応じて、車両が目標駐車位置で目標駐車方向となるように、目標駐車位置に車両が至るまで車両の転舵輪の転舵方向（即ち、車両進行方向）を制御する。例えば、ハンドル制御装置１６は、パワーステアリング装置（図示せず）を介して、転舵輪の転舵方向を制御する。
【００２０】
ブレーキ・アクセル制御装置１８は、車両制御装置１２からの駐車位置決定処理の結果に応じて、目標駐車位置へと車両が移動しかつ目標駐車位置で停止するように、目標駐車位置に車両が至るまでの車両の制動力及び駆動力を制御する。例えば、ブレーキ・アクセル制御装置１８は、ブレーキアクチュエータ（図示せず）を介して、制動力を発生させたり、駆動力発生装置（例えばエンジン、モータ等）を介して、駆動力を発生させたりする。
【００２１】
尚、車両制御装置１２、ハンドル制御装置１６、及びブレーキ・アクセル制御装置１８の各機能は、１つの制御装置により統合的に実現されてもよいし、一部が他の制御装置により実現されてもよい。例えば、車両制御装置１２の一部又は全部の機能がハンドル制御装置１６及び／又はブレーキ・アクセル制御装置１８により実現されてもよい。また、車両制御装置１２は、複数の制御装置の組み合わせにより実現されてもよい。
【００２２】
モニタ１９は、車室内に設けられる。モニタ１９は、液晶ディスプレイ等であってよい。モニタ１９は、ユーザが車両に持ち込む携帯端末のディスプレイにより実現されてもよい。
【００２３】
図３は、センシング制御装置１０の機能ブロックの一例を示す図である。
【００２４】
センシング制御装置１０は、移動量算出部３０１と、予測値算出部３０２と、測距値保持部３０３と、測距値算出部３０４（測定値算出部の一例）と、測距値判定部３０６と、更新値算出部３０８と、境界面生成部３１０とを含む。移動量算出部３０１、予測値算出部３０２、測距値算出部３０４、測距値判定部３０６、更新値算出部３０８（採用値決定部の一例）、及び境界面生成部３１０は、例えばＣＰＵ１１０がＲＯＭ１１２内のプログラムを実行することで実現できる。測距値保持部３０３は、例えばＲＡＭ１１１により実現できる。変形例では、測距値保持部３０３は、フラッシュメモリや、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの補助記憶装置により実現されてもよい。
【００２５】
移動量算出部３０１は、車速情報及び舵角情報に基づいて、車両の移動量を算出する。車両の移動量は、上面視の平面座標系（水平面内の座標系）において、微小時間又は微小走行距離あたりの並進（例えば車両後輪軸の中心の並進）と回転（例えば車両後の重心の回転）で表されてよい。回転は、例えば車両前後軸の水平面内の回転（車両の向きの変化量）である。移動量算出部３０１は、微小時間又は微小走行距離あたりの並進量及び回転量をそれぞれ積算することで、所定の基準位置又は基準時点（例えば後述の第２時点）からの車両の移動量を算出する。
【００２６】
予測値算出部３０２は、移動量算出部３０１からの移動量と、測距値保持部３０３からの測距値（後述）とに基づいて、検出対象の物体（以下、「対象物」とも称する）の各点（以下、「検出対象箇所（第１個所の一例）」とも称する）の位置の予測値を算出する。
【００２７】
本実施例では、一例として、予測値算出部３０２は、一例として、検出対象箇所の位置（座標）の予測値を、所定の固定点（例えば駐車開始位置のような、ある時点における車両の後輪軸中心の位置）を原点として、上面視の平面座標系（水平面内の座標系）で算出する。以下、所定の固定点を原点とした上面視の平面座標系を、「絶対座標系」と称する。予測値算出部３０２による予測値の算出方法の具体例は、後述する。
【００２８】
また、本実施例では、一例として、予測値算出部３０２は、複数の時点の予測値を算出する。この場合、予測値算出部３０２は、ある時点（「第１時点」とも称する）の予測値を算出する際、第１時点よりも前の時点（「第２時点」とも称する）の測距値と、第２時点から第１時点までの移動量とを用いる。そして、予測値算出部３０２は、第１時点を変化させながら、複数の第１時点の予測値を算出する。変形例では、予測値算出部３０２は、時点には無関係に予測値を算出してもよい。これは、対象物が固定物である場合（即ち移動物でない場合）は検出対象箇所の位置は変化しないためである。この場合、予測値算出部３０２は、同様に、第１時点の予測値を算出する際、第２時点の測距値と、第２時点から第１時点までの移動量とを用いるが、同じ検出対象箇所に対しては１回だけ予測値を算出するだけである。
【００２９】
尚、測距値保持部３０３が更新値算出部３０８が決定する採用値（後述）を保持する変形例では、予測値算出部３０２は、移動量算出部３０１からの移動量と、測距値保持部３０３からの採用値（後述）とに基づいて、対象物の検出対象箇所の予測値を算出してもよい。この場合も、後述のように採用値は測距値に基づいて算出されるので、予測値算出部３０２は、移動量算出部３０１からの移動量と、測距値とに基づいて、対象物の検出対象箇所の予測値を算出していることになる。
【００３０】
本実施例では、一例として、対象物は、駐車枠（例えば路面にペイントされた白線）、障害物、及び輪留めを含む。障害物とは、車両が当たってはいけない又は当たるのが好ましくない物体であり、例えば他車、人、壁、フェンス、自転車、二輪車、比較的高さのある固定物、移動物等である。従って、例えば、駐車枠以外の路面上の厚みの無い物体（文字・記号、影など）、時間式駐車場の跳ね板などは、障害物に該当しない。尚、これらの物体は、対象物に含められないが、他の用途のために検出されてもよい
検出対象箇所は、任意であるが、測距値算出部３０４による認識及びトラッキングが可能な特徴点であってよい。例えば、障害物の場合は、障害物の角や、側部である。また、駐車枠の場合は、直線部や角である。一の対象物における検出対象箇所の数は、任意であるが、好ましくは、後述の境界面が生成できるように複数である。
【００３１】
測距値保持部３０３は、測距値算出部３０４が算出する測距値を保持する。図４に示す例では、対象物ＩＤ（識別子）ごと、検出対象箇所ＩＤごと、かつ時点ＩＤごとに、測距値が記憶されている。図４では、例えば対象物ＩＤ"０００１"について、検出対象箇所ＩＤ"０００１Ａ"に関して、複数の時点で測距値が得られている。但し、変形例では、測距値保持部３０３は、測距値算出部３０４が算出する測距値に代えて、更新値算出部３０８が決定する採用値（後述）を保持してもよい。
【００３２】
測距値算出部３０４は、カメラ１４からの画像に基づいて、対象物の検出対象箇所の位置を表す測距値（測定値の一例）を算出する。本実施例では、一例として、測距値算出部３０４は、検出対象箇所の位置を、絶対座標系で算出する。
【００３３】
測距値算出部３０４は、例えば、先ず、カメラ座標系で、検出対象箇所に対する車両の位置関係を測定する。例えば、測距値算出部３０４は、車両の後輪軸中心を原点として、上面視の平面座標系で、検出対象箇所の座標値を導出する。対象物の座標値の導出には、例えばSFM(Structure from Motion）や移動ステレオ法などを用いることができる。
【００３４】
例えば、移動ステレオ法では、図５Ａに模式的に示すように、検出対象箇所４００が時点ｔ１での画像Ｇ１では、像４０１として捕捉され、検出対象箇所４００が時点ｔ２での画像Ｇ２では、像４０２として捕捉される。時点ｔ１と時点ｔ２では、車両が移動しており（矢印Ｒ１参照）、従って、カメラ１４もそれに伴い移動している。このとき、像４０１及び像４０２が同一の検出対象箇所４００としてマッチングされると、それぞれの画像における検出対象箇所４００の画素位置（像４０１及び像４０２の画素位置）に基づいて、検出対象箇所４００の３次元位置が導出できる。即ち、図５Ｂに示すように、時点ｔ１でのカメラ１４の位置に対する検出対象箇所４００の角度α１と、時点ｔ２でのカメラ１４の位置に対する検出対象箇所４００の角度α２と、移動量とから、三角測量の原理で、検出対象箇所４００の３次元位置が導出できる。尚、角度α１は、時点ｔ１でのカメラ１４の光軸に対する角度であり、角度α２は、時点ｔ２でのカメラ１４の光軸に対する角度である。角度α１及び角度α２は、レンズディストーションや外部パラメータに基づいて導出できる。レンズディストーションは、内部パラメータであり、カメラ１４のレンズ設計により決められる。外部パラメータは、カメラ１４の取り付け角度（ヨー、ピッチ、ロール）や、カメラ１４の物理的な取り付け位置であり、カメラ取り付け設計によって決められる。
【００３５】
測距値算出部３０４は、カメラ座標系で検出対象箇所の座標値を導出すると、移動量算出部３０１からの移動量と、カメラ座標系から絶対座標系への変換式（変換行列）とに基づいて、検出対象箇所の座標値を絶対座標系に変換する。測距値算出部３０４によってこのようにして得られた絶対座標系の座標値が「測距値」に対応する。
【００３６】
例えば、図６に示すように、障害物の角Ｐ１は、カメラ１４からの画像に基づいて上述のように移動ステレオ法等によりカメラ座標系５０２で求まる。例えば、障害物の角Ｐ１の座標は、カメラ座標系５０２で（Ｘ１、Ｙ１）である。他方、カメラ座標系５０２と絶対座標系５０１との関係は、絶対座標系５０１の原点に車両が位置した時点から現時点までの移動量算出部３０１からの移動量に基づいて定まることができる。図６では、カメラ座標系５０２の原点に車両が位置した時点から現時点までの移動量算出部３０１からの移動量が、例えば（Δｘ、Δｙ、Δθ）であるとする。従って、移動量（Δｘ、Δｙ、Δθ）とカメラ座標系５０２での座標（Ｘ１、Ｙ１）とに基づいて、絶対座標系での角Ｐ１の位置が導出できる。
【００３７】
測距値判定部３０６は、予測値算出部３０２からの予測値及び測距値算出部３０４からの測距値の間の差分が、閾値以上であるか否かを判定する。閾値は、特徴点マッチングの失敗などに起因して、存在しない測距点を誤って出力する場合に生じる過大な差分、を検出できるように設定（適合）される。測距値判定部３０６による差分の算出方法の例は、後述する。
【００３８】
更新値算出部３０８は、検出対象箇所の位置（座標）の採用値を決定する。具体的には、更新値算出部３０８は、測距値判定部３０６による判定結果に基づいて、予測値算出部３０２からの予測値及び測距値算出部３０４からの測距値の間の差分が閾値以上である場合、予測値及び測距値に基づいて、採用値を決定する。例えば、予測値算出部３０２からの予測値及び測距値算出部３０４からの測距値の間の差分が閾値以上である場合、予測値及び測距値のいずれとも異なる更新値を、採用値として算出する。例えば、更新値算出部３０８は、予測値及び測距値の平均値を、更新値として算出してもよい。他の更新値の算出方法は、後述する。他方、更新値算出部３０８は、予測値算出部３０２からの予測値及び測距値算出部３０４からの測距値の間の差分が閾値以上でない場合、測距値を採用値として採用する。
【００３９】
本実施例では、一例として、更新値算出部３０８は、予測値算出部３０２からの予測値及び測距値算出部３０４からの測距値が得られる時点ごとに、採用値を決定する。但し、変形例では、更新値算出部３０８は、時点には無関係に採用値を決定してもよい。例えば、更新値算出部３０８は、予測値算出部３０２からの予測値及び測距値算出部３０４からの測距値が得られた時点の数が所定数以上となった場合に、採用値を決定してもよい。これは、１つの検出対象箇所に対して採用値が１つであっても後述の境界面は生成可能であるためである。
【００４０】
境界面生成部３１０は、更新値算出部３０８からの採用値に基づいて、対象物の境界面を生成する境界面生成処理を行う。対象物の境界面は、対象物に係る複数の検出対象箇所の採用値に基づいて生成できる。例えば、図７に示すように、境界面生成部３１０は、車両周囲の上面視の平面を格子状に分割し、位置が対応する格子に採用値をプロットすることで、採用値を含む領域７００を生成する（（ａ）参照）。この際、境界面生成部３１０は、所定点数以上の採用値がプロットされた格子を、領域として生成してよい。そして、境界面生成部３１０は、領域７００間距離が短い場合、領域７００同士を結合する（（ｂ）参照）。即ち、境界面生成部３１０は、距離が短い領域７００間に対象物の部位の存在を推定する。次いで、境界面生成部３１０は、領域内の最外の格子の外郭を輪郭線７０２とする。そして、境界面生成部３１０は、カメラ位置に基づいて、オクルージョンになっている輪郭線を削除し、残った輪郭線を境界面７０４とする。図７では、矢印Ｒ２でカメラ１４の向きが模式的に示されている。
【００４１】
図８は、境界面の説明図であり、上面視での駐車場の状況を示す。図８には、駐車空間の両側に障害物８０１、８０２が存在し、障害物８０１、８０２の境界面８００が示される。この場合、車両は、位置ＰＡから駐車開始位置ＰＢに前進走行で至り、駐車開始位置ＰＢから後退走行で駐車空間内の位置ＰＣへと至ることができる。この際、境界面８００に基づいて、駐車位置決定処理が行われ、目標駐車位置及び目標駐車方向が決まる。例えば、境界面８００に対して所定距離以上近づかない条件の下で、車両の後退走行の際の軌道（例えば後輪中心軸に係る軌道）とともに、目標駐車位置及び目標駐車方向が算出される。これにより、障害物８０１、８０２に当たることなく駐車を実現できる。尚、駐車空間とは、駐車空間は、駐車完了時の車両が存在する予定の空間であり、境界面に対して所定のマージンが付加される態様で設定されてよい。
【００４２】
図９Ａ乃至図９Ｃは、図８の各位置ＰＡ〜ＰＣにおける境界面の生成に関する更なる説明図である。図９Ａは、図８の位置ＰＡにおける境界面９００及び採用値９０１を示し、図９Ｂは、図８の位置ＰＢにおける境界面９１０及び採用値９１１を示し、図９Ｃは、図８の位置ＰＣにおける境界面９２０及び採用値９２１を示す。図９Ａ乃至図９において、（ａ）は、上面視での駐車場の状況を示す。図９Ａ乃至図９Ｃでは、車両は、カメラ１４に加えて、前方カメラ１４ａ、側方カメラ１４ｂ、１４ｃを備える。領域１４００は、カメラ１４の検知範囲を示し、領域１４０１は、前方カメラ１４ａの検知範囲を示し、領域１４０２は、側方カメラ１４ｂの検知範囲を示し、領域１４０３は、側方カメラ１４ｃの検知範囲を示す。図９Ａ乃至図９Ｃでは、駐車空間の両側に障害物８０１、８０２が存在する。
【００４３】
図９Ａに示す位置ＰＡに車両が位置するとき、障害物８０２の前部及び側部（前側の側部）に係る検出対象箇所の各採用値９０１が得られ（（ａ）参照）、境界面９００が生成される（（ｂ）参照）。図９Ｂに示す位置ＰＢに車両が位置するとき、障害物８０１の前部及び側部（右前側の側部）に係る検出対象箇所の各採用値９１１が得られ（（ａ）参照）、境界面９１０が生成される（（ｂ）参照）。尚、右前側の側部に係る検出対象箇所の各採用値９１１は、車両が位置ＰＡに至る際に得られている。図９Ｃに示す位置ＰＣに車両が位置するとき、障害物８０１及び障害物８０２の側部に係る検出対象箇所の各採用値９２１が得られ（（ａ）参照）、境界面９２０が生成される（（ｂ）参照）。
【００４４】
このようにして本実施例によれば、駐車開始位置に至る過程や駐車空間内に至る過程で導出される採用値に基づいて、境界面生成部３１０により境界面が生成されるので、境界面に基づいて信頼性の高い自動駐車を実現できる。
【００４５】
ここで、自動駐車においては、周囲の障害物にぶつかることなく駐車するために、障害物の境界面を特定する有用である。測距点が密に得られる場合は、衝突判定の観点からは有利であるが、メモリ使用量の観点からは不利である。他方、測距点が疎である場合は、衝突判定の観点からは不利である。これは、画像を用いた特徴点ベースの測距方式では、測距点がないからといって障害物が存在しないと判断できない場合があるためである。これに対して、境界面を用いる方法では、衝突判定の観点からは有利であり、かつ、メモリ使用量の観点からも有利となる。
【００４６】
次に、図１０及び図１１を参照して、予測値算出部３０２による予測値の算出方法の具体例を説明する。
【００４７】
図１０は、予測値算出部３０２による予測値の算出方法の具体例（その１）の説明図である。
【００４８】
図１０では、第１時点の予測値Ｐｎ'（ｘｎ'、ｙｎ'）は、第２時点から第１時点までの移動量と、第２時点の測距値Ｐｎ−１（ｘｎ−１、ｙｎ−１）とに基づいて、回転及び並進を含む座標変換を行うことで導出される。この際、座標変換には、以下のようなアファイン変換が用いられてよい。
【００４９】
【数１】
2019123582.tif 000003
ここで、（Δｘ、Δｙ、Δθ）は、上述した移動量を表す（図６参照）。
【００５０】
図１０に示す予測値の算出方法によれば、比較的簡易な予測値の算出方法を実現できる。
【００５１】
図１１は、予測値算出部３０２による予測値の算出方法の具体例（その２）の説明図である。
【００５２】
図１１では、予測値Ｐｎ'（ｘｎ'、ｙｎ'）は、観測量としての測距値Ｐｎ（ｘｎ、ｙｎ）と、前回の予測値Ｐｎ−１'（ｘｎ−１'、ｙｎ−１'）及び移動量から得た予測推定値とをカルマンフィルタに入力することで、得られる。予測推定値は、前回の予測値Ｐｎ−１'（ｘｎ−１'、ｙｎ−１'）に対して、移動量に基づく回転及び並進を含む座標変換を行うことで導出される。
【００５３】
図１１に示す予測値の算出方法によれば、カルマンフィルタを利用して予測値の算出方法を実現できる。
【００５４】
次に、図１２を参照して、測距値判定部３０６による差分の算出方法の例、及び、更新値の算出方法の例について説明する。
【００５５】
図１２は、測距値判定部３０６による差分の算出方法の例、及び、更新値の算出方法の例の説明図である。図１２には、絶対座標系のｘ座標に関して、予測値の確率分布（以下、「事前分布」と称する）と、測距値の確率分布（以下、「観測分布」と称する）とが示される。
【００５６】
本実施例では、一例として、予測値ｘｐは、事前分布を正規分布と見なした場合の中心値であり、測距値ｘｏは、観測分布を正規分布と見なした場合の中心値である。このとき、測距値判定部３０６は、予測値ｘｐと測距値ｘｏとの間の差分Δｘ１を算出してもよい。或いは、測距値判定部３０６は、同一時点同士の予測値と測距値との差の平均値を、差分として算出してもよい。また、更新値算出部３０８は、以下の式に基づいて、更新値ｘｕを算出する。
【００５７】
【数２】
2019123582.tif 000004
ここで、σｘｏ２は、観測分布の分散であり、σｘｐ２は、事前分布の分散である。
【００５８】
尚、図１２では、絶対座標系のｘ座標に関して説明したが、絶対座標系のｙ座標に関しても同様に実行される。
【００５９】
尚、測距値ｘｏは、観測分布の中心値であることから、採用値として用いられてもよい。即ち、測距値判定部３０６により算出される差分が閾値以上でない場合は、測距値ｘｏが採用値として採用されてもよい。
【００６０】
図１３は、更新値の算出方法の他の例の説明図である。図１３には、上述した事前分布及び観測分布とともに、測定値及び予測値の双方に基づき生成した更新値候補の確率分布（以下、「事後分布」と称する）とが示される。
【００６１】
この場合、更新値候補は、時点ごとに、測定値及び予測値の平均値として算出される。本実施例では、一例として、事後分布は、正規分布として、時点ごとの測定値及び予測値の平均値データに基づいて導出される。このとき、測距値判定部３０６は、事後分布の中心値ｘｕ'を、更新値（採用値）として算出する。尚、変形例では、測距値判定部３０６は、事後分布内の別の値を、更新値（採用値）として算出してもよい。
【００６２】
尚、図１３では、絶対座標系のｘ座標に関して説明したが、絶対座標系のｙ座標に関しても同様に実行される。
【００６３】
ここで、LiDAR（light detection and ranging）は、レーザー照射の反射光を測定し、対象物を測距する方式であり、測距密度が高いため境界面を高精度に算出できるが、現在のところ、大衆車に搭載するにはコストが高い。
【００６４】
この点、単眼カメラは、バックモニターになどで既に大衆車に搭載されており、コストの観点から有利である。他方、現在のところ、障害物のテクスチャや形状により必ず測距できるとは限らないため、境界面の算出精度は低い。
【００６５】
単眼カメラで測距点を効率的に増加させる方法としては、車両の移動に伴い、障害物との位置関係が変わるため、現時点では測距できない場合でも過去に測距できていれば、それを活用する方法がある。即ち、現時点の測距結果に過去の測距結果を加え、測距点を増やす方法である（図９Ａ乃至図９Ｃ参照）。
【００６６】
しかしながら、測距には誤測距が常に発生する。過去の測距点を増やすと、誤測距が含まれるため、障害物境界線を正しく推定できない。
【００６７】
上述したように、単眼カメラで生じる誤測距には、2種類がある。具体的には、特徴点マッチングの失敗などに起因して、存在しない測距点を誤って出力する場合と、車両の移動量（基線長）の算出誤差などに起因して、測距点に誤差が乗ってしまう場合である。
【００６８】
この点、本実施例によれば、測距値判定部３０６を備え、予測値算出部３０２からの予測値及び測距値算出部３０４からの測距値の間の差分が閾値以上であるか否かを判定することで、実在しない測距点を誤ってそのまま出力する可能性を低減できる。即ち、実在しない測距点については、予測値算出部３０２からの予測値及び測距値算出部３０４からの測距値の間の差分が比較的大きくなる点を利用して、実在しない測距点を誤ってそのまま出力する可能性を低減できる。
【００６９】
また、本実施例によれば、予測値算出部３０２からの予測値及び測距値算出部３０４からの測距値の間の差分が閾値以上である場合は、予測値及び測距値のいずれとも異なる更新値が採用値として算出される。従って、本実施例によれば、車両の移動量（基線長）の算出誤差などに起因して、測距点に誤差が乗ってしまう場合でも、当該誤差を低減できる。即ち、本実施例によれば、予測値と測距値を用いてより誤差の小さい更新値を算出し、採用値として採用できる。
【００７０】
このようにして、本実施例によれば、単眼カメラを用いて物体の境界面（位置情報の一例）の精度を高めることができる。
【００７１】
次に、図１４を参照して、本実施例によるセンシング制御装置１０の動作例を、フローチャートを用いて説明する。
【００７２】
図１４は、本実施例によるセンシング制御装置１０の動作例を示す概略フローチャートである。図１４に示す処理は、例えば駐車支援開始条件が成立した場合に起動して所定周期毎に実行されてよい。
【００７３】
ステップＳ１４００では、センシング制御装置１０は、対象物の検出対象箇所の測距値を算出する。対象物や、一の対象物に係る検出対象箇所は、複数でありうる。センシング制御装置１０は、可能な限り多くの検出対象箇所の測距値を算出する。算出結果は、対象物ＩＤかつ検出対象箇所ＩＤごとに、現時点に対応する時点ＩＤに対応付けて、測距値保持部３０３に記憶される。
【００７４】
ステップＳ１４０２では、センシング制御装置１０は、車速情報を取得する。
【００７５】
ステップＳ１４０４では、センシング制御装置１０は、舵角情報を取得する。
【００７６】
ステップＳ１４０６では、センシング制御装置１０は、ステップＳ１４０２で得た車速情報とステップＳ１４０４で得た舵角情報に基づいて、前回周期からの移動量を算出する。
【００７７】
ステップＳ１４０８では、センシング制御装置１０は、ステップＳ１４０６で得た移動量と、ステップＳ１４００で得た測距値とに基づいて、検出対象箇所の位置の予測値を算出する。予測値の算出方法は、上述のとおりである。図１４では、一例として、予測値の算出結果は、対象物ＩＤかつ検出対象箇所ＩＤごとに、現時点に対応する時点ＩＤに対応付けて、測距値保持部３０３に記憶される。
【００７８】
ステップＳ１４１０では、センシング制御装置１０は、対象物ＩＤかつ検出対象箇所ＩＤごとに、現時点に対応する時点ＩＤに係る測距値と予測値との間の差分が閾値以上であるか否かを判定する。差分が閾値以上である対象物ＩＤ及び検出対象箇所ＩＤについては、ステップＳ１４１２に進む。差分が閾値以上でない対象物ＩＤ及び検出対象箇所ＩＤについては、ステップＳ１４１１に進む。
【００７９】
ステップＳ１４１１では、センシング制御装置１０は、差分が閾値以上でない測距値及び予測値を持つ対象物ＩＤごとかつ検出対象箇所ＩＤごとに、測距値を採用値として決定する。
【００８０】
ステップＳ１４１２では、センシング制御装置１０は、差分が閾値以上である測距値及び予測値を持つ対象物ＩＤごとかつ検出対象箇所ＩＤごとに、更新値を採用値として算出する。図１４では、一例として、更新値は、測距値及び予測値の平均値として算出される。但し、変形例では、更新値は、対象物ＩＤごとかつ検出対象箇所ＩＤごとの測距値及び予測値のペアの数が所定値以下の場合は、測距値及び予測値の平均値として算出されてよい。この場合、ペアの数が所定値を超えた場合は、図１１及び図１２を参照して上述した方法で更新値が算出されてよい。
【００８１】
ステップＳ１４１４では、センシング制御装置１０は、位置が対応する格子に、ステップＳ１４１２で得た採用値をプロットする（図７参照）。採用値は、周期ごとにプロットされるので、ある格子には、複数の採用値がプロットされる場合がある。採用値がプロットされた格子は、検出対象箇所ＩＤに対応付けられてもよい。
【００８２】
ステップＳ１４１６では、センシング制御装置１０は、所定点数以上採用値がプロットされた格子を、領域として生成する（図７（ａ）参照）。この場合、領域となる格子に対応付けられた検出対象箇所ＩＤについては、次回以降の周期で、処理対象から除外されてもよい。
【００８３】
ステップＳ１４１８では、センシング制御装置１０は、距離が所定距離以下の領域同士を結合する（図７（ｂ）参照）。
【００８４】
ステップＳ１４２０では、センシング制御装置１０は、ステップＳ１４１８で生成した領域を囲繞する輪郭線を生成する（図７（ｂ）参照）。
【００８５】
ステップＳ１４２２では、センシング制御装置１０は、オクルージョンになっている輪郭線を削除し、残った輪郭線を境界面とする（図７（ｃ）参照）。
【００８６】
図１４に示す処理によれば、所定周期ごとに得られる測距値に基づいて、障害物の境界面をリアルタイムに算出及び更新できる。この結果、得られる測距値の数及び検出対象箇所ＩＤの数の増加に伴って、信頼性の高い障害物の境界面を生成できる。
【００８７】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
【００８８】
例えば、上述した実施例では、更新値算出部３０８を備えているが、更新値算出部３０８は省略されてもよい。例えば図１５に示すセンシング制御装置１０Ａでは、更新値算出部３０８が省略され、測距値判定部３０６が測距値判定部３０６Ａ（採用値決定部の他の一例）で置換されている。測距値判定部３０６Ａは、予測値算出部３０２からの予測値及び測距値算出部３０４からの測距値の間の差分が、閾値以上であるか否かを判定する。そして、測距値判定部３０６Ａは、予測値算出部３０２からの予測値及び測距値算出部３０４からの測距値の間の差分が閾値以上である場合、測距値を棄却（不採用）する。尚、棄却に代えて、信頼性が低い旨を表す情報を付与してもよい。他方、測距値判定部３０６Ａは、予測値算出部３０２からの予測値及び測距値算出部３０４からの測距値の間の差分が閾値未満である場合は、測距値を採用値として採用する。この場合、測距値保持部３０３には、各時点の採用値が保持される。
【００８９】
また、上述した実施例では、上述のようにして決定された目標駐車位置は、自動駐車に利用されるが、半自動駐車又は駐車支援（駐車空間への走行を支援する制御）に利用されてもよい。例えば、駆動力や制動力、操舵が運転者の操作により調整される駐車支援においては、上述のようにして決定された目標駐車位置は、モニタ１９に表示されてもよい。そして、車両が目標駐車位置に至る直前でブレーキ操作を促す支援情報がモニタ１９に表示されてもよいし、音声等により出力されてもよい。
【符号の説明】
【００９０】
１  車両システム
１０  センシング制御装置
１２  車両制御装置
１４  カメラ
１４ａ  前方カメラ
１４ｂ  側方カメラ
１４ｃ  側方カメラ
１５ａ  舵角センサ
１５ｂ  車速センサ
１６  ハンドル制御装置
１８  ブレーキ・アクセル制御装置
１９  モニタ
１１３  インターフェース
１１４  インターフェース
３０１  移動量算出部
３０２  予測値算出部
３０３  測距値保持部
３０４  測距値算出部
３０６、３０６Ａ  測距値判定部
３０８  更新値算出部
３１０  境界面生成部
４００  検出対象箇所
４０１  像
４０２  像
５０１  カメラ座標系
５０２  絶対座標系
７００  領域
７０２  輪郭線
７０４  境界面
８００  境界面
８０１  障害物
８０２  障害物
９００  境界面
９０１  採用値
９１０  境界面
９１１  採用値
９２０  境界面
９２１  採用値
１４００  領域
１４０１  領域
１４０２  領域
１４０３  領域
【図１】
2019123582.tif 000005
【図２】
2019123582.tif 000006
【図３】
2019123582.tif 000007
【図４】
2019123582.tif 000008
【図５Ａ】
2019123582.tif 000009
【図５Ｂ】
2019123582.tif 000010
【図６】
2019123582.tif 000011
【図７】
2019123582.tif 000012
【図８】
2019123582.tif 000013
【図９Ａ】
2019123582.tif 000014
【図９Ｂ】
2019123582.tif 000015
【図９Ｃ】
2019123582.tif 000016
【図１０】
2019123582.tif 000017
【図１１】
2019123582.tif 000018
【図１２】
2019123582.tif 000019
【図１３】
2019123582.tif 000020
【図１４】
2019123582.tif 000021
【図１５】
2019123582.tif 000022
【手続補正書】
【提出日】令和2年6月11日(2020.6.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動体に搭載される単眼カメラに基づいて、第１時点及び前記第１時点よりも前の第２時点を含む複数の時点での物体の第１個所の位置を表す測定値を算出する測定値算出部と、
前記第２時点の前記測定値と、前記第２時点から前記第１時点までの移動体の移動量とに基づいて、前記第１個所の位置の予測値を算出する予測値算出部と、
前記第１時点の前記測定値及び前記予測値の間の差分と閾値との関係に基づいて、前記第１個所の位置の採用値を決定する採用値決定部とを含む、物体情報生成装置。
【請求項２】
前記採用値決定部は、前記差分が前記閾値よりも小さい場合は、前記第１時点の前記測定値を前記採用値として決定する、請求項１に記載の物体情報生成装置。
【請求項３】
前記採用値決定部は、前記差分が前記閾値以上である場合は、前記第１時点の前記測定値を棄却する、請求項２に記載の物体情報生成装置。
【請求項４】
前記採用値決定部は、前記差分が前記閾値以上である場合は、前記第１時点の前記測定値と、前記予測値とに基づいて、前記採用値を決定する、請求項２に記載の物体情報生成装置。
【請求項５】
前記予測値算出部は、複数の前記第１時点の前記予測値を算出し、
前記採用値決定部は、前記差分が前記閾値以上である場合は、複数の時点の前記測定値の分布と、複数の前記第１時点の前記予測値の分布とに基づいて、前記採用値を決定する、請求項１に記載の物体情報生成装置。
【請求項６】
前記第１個所は、複数の個所であり、
前記第１個所ごとの前記採用値に基づいて、前記物体に係る境界面を算出する境界面算出部を更に含む、請求項１〜５のうちのいずれか１項に記載の物体情報生成装置。
【請求項７】
前記境界面に基づいて、駐車空間への走行を支援する制御、又は、駐車空間への走行制御を行う制御部を更に含む、請求項６に記載の物体情報生成装置。
【請求項８】
移動体に搭載される単眼カメラに基づいて、第１時点及び前記第１時点よりも前の第２時点を含む複数の時点での物体の第１個所の位置を表す測定値を算出し、
前記第２時点の前記測定値と、前記第２時点から前記第１時点までの移動体の移動量とに基づいて、前記第１個所の位置の予測値を算出し、
前記第１時点の前記測定値及び前記予測値の間の差分と閾値との関係に基づいて、前記第１個所の位置の採用値を決定する
処理をコンピュータに実行させる、物体情報生成プログラム。
【国際調査報告】
2019123582.tif 000023
2019123582.tif 000024
2019123582.tif 000025