(57)【要約】【課題】特徴点の垂直方向の動きを考慮せずとも、車両に接近する物体を精度よく検出する。【解決手段】ベクトル導出部４が、車両の周辺を撮影するカメラ１で一定の時間間隔で得られた複数の撮影画像間における特徴点の水平方向のみの動きを示すベクトルを導出する。物体検出部５は、ベクトルの向きと、ベクトルの大きさの時間的な変化とに基づいて、車両に接近する物体を検出する。ベクトルの大きさの時間的な変化を考慮することで、特徴点の垂直方向の動きを考慮せずとも、車両に接近する物体を精度よく検出できる。【選択図】図１
2017151525.tif 000002
【特許請求の範囲】
【請求項１】
物体を検出する物体検出装置であって、
車両の周辺を撮影するカメラで一定の時間間隔で得られた複数の撮影画像間における特徴点の水平方向のみの動きを示すベクトルを導出する導出手段と、
前記ベクトルの向きと、前記ベクトルの大きさの時間的な変化とに基づいて、前記車両に接近する物体を検出する検出手段と、
を備えることを特徴とする物体検出装置。
【請求項２】
請求項１に記載の物体検出装置において、
前記検出手段は、
前記向きが前記撮影画像の水平方向の中央に向いており、かつ、前記大きさが時間的に大きくなる前記ベクトルに係る物体を、前記車両に接近する物体として検出することを特徴とする物体検出装置。
【請求項３】
請求項２に記載の物体検出装置において、
前記カメラは、前記撮影画像に樽型の歪曲収差を生じさせることを特徴とする物体検出装置。
【請求項４】
請求項２に記載の物体検出装置において、
前記撮影画像に生じる歪曲収差を補正する補正手段、
をさらに備え、
前記導出手段は、前記補正手段が前記歪曲収差を補正した前記撮影画像を用いて前記ベクトルを導出することを特徴とする物体検出装置。
【請求項５】
画像を表示する画像表示システムであって、
請求項１ないし４のいずれかに記載の物体検出装置と、
前記物体検出装置による前記物体の検出結果を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項６】
物体を検出する物体検出方法であって、
（ａ）車両の周辺を撮影するカメラで一定の時間間隔で得られた複数の撮影画像間における特徴点の水平方向のみの動きを示すベクトルを導出する工程と、
（ｂ）前記ベクトルの向きと、前記ベクトルの大きさの時間的な変化とに基づいて、前記車両に接近する物体を検出する工程と、
を備えることを特徴とする物体検出方法。
【請求項７】
コンピュータによって実行可能なプログラムであって、
（ａ）車両の周辺を撮影するカメラで一定の時間間隔で得られた複数の撮影画像間における特徴点の水平方向のみの動きを示すベクトルを導出する工程と、
（ｂ）前記ベクトルの向きと、前記ベクトルの大きさの時間的な変化とに基づいて、前記車両に接近する物体を検出する工程と、
を前記コンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺の物体を検出する技術に関する。
【背景技術】
【０００２】
従来より、車両の周辺の物体を検出する物体検出装置が提案されている。物体検出装置は、例えば、車両の周辺を撮影するカメラで得られた撮影画像を取得し、該撮影画像に基づいて物体を検出する。物体検出装置による物体の検出結果をユーザ（主にドライバ）に報知することにより、ユーザは車両の周辺に存在する物体を容易に把握できる。
【０００３】
このような撮影画像に基づく物体の検出方式として「オプティカルフロー」とも呼ばれるベクトルを用いる方式が知られている。この方式では、異なる時点で取得された複数の撮影画像間での特徴点の動きを示すベクトルを導出し、該ベクトルを用いて車両の周辺の物体を検出する（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１０６２２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記の物体の検出方式では、車両に接近する物体のみを検出するため、撮影画像の水平方向の中央に向かうベクトルのみを選択し、該ベクトルに基づいて物体を検出することが提案されている（例えば、特許文献１参照。）。
【０００６】
このような物体の検出に関する処理の効率化のために、撮影画像における特徴点の水平方向の動きのみ（ベクトルの水平方向成分のみ）を考慮することが考えられる。しかしながら、特徴点の水平方向の動きのみを考慮した場合、カメラの光軸の方向に沿って車両から遠ざかる物体に関する特徴点が、撮影画像の水平方向の中央に向かうことがある。その結果、実際には車両から遠ざかる物体が、車両に接近する物体として誤検出される可能性がある。このような誤検出を避けるためには、撮影画像における特徴点の垂直方向の動きについても考慮する必要があり、改善が求められていた。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、特徴点の垂直方向の動きを考慮せずとも、車両に接近する物体を精度よく検出できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１の発明は、物体を検出する物体検出装置であって、車両の周辺を撮影するカメラで一定の時間間隔で得られた複数の撮影画像間における特徴点の水平方向のみの動きを示すベクトルを導出する導出手段と、前記ベクトルの向きと、前記ベクトルの大きさの時間的な変化とに基づいて、前記車両に接近する物体を検出する検出手段と、を備えている。
【０００９】
また、請求項２の発明は、請求項１に記載の物体検出装置において、前記検出手段は、前記向きが前記撮影画像の水平方向の中央に向いており、かつ、前記大きさが時間的に大きくなる前記ベクトルに係る物体を、前記車両に接近する物体として検出する。
【００１０】
また、請求項３の発明は、請求項２に記載の物体検出装置において、前記カメラは、前記撮影画像に樽型の歪曲収差を生じさせる。
【００１１】
また、請求項４の発明は、請求項２に記載の物体検出装置において、前記撮影画像に生じる歪曲収差を補正する補正手段、をさらに備え、前記導出手段は、前記補正手段が前記歪曲収差を補正した前記撮影画像を用いて前記ベクトルを導出する。
【００１２】
また、請求項５の発明は、画像を表示する画像表示システムであって、請求項１ないし４のいずれかに記載の物体検出装置と、前記物体検出装置による前記物体の検出結果を表示する表示装置と、を備えている。
【００１３】
また、請求項６の発明は、物体を検出する物体検出方法であって、（ａ）車両の周辺を撮影するカメラで一定の時間間隔で得られた複数の撮影画像間における特徴点の水平方向のみの動きを示すベクトルを導出する工程と、（ｂ）前記ベクトルの向きと、前記ベクトルの大きさの時間的な変化とに基づいて、前記車両に接近する物体を検出する工程と、を備えている。
【００１４】
また、請求項７の発明は、コンピュータによって実行可能なプログラムであって、（ａ）車両の周辺を撮影するカメラで一定の時間間隔で得られた複数の撮影画像間における特徴点の水平方向のみの動きを示すベクトルを導出する工程と、（ｂ）前記ベクトルの向きと、前記ベクトルの大きさの時間的な変化とに基づいて、前記車両に接近する物体を検出する工程と、を前記コンピュータに実行させる。
【発明の効果】
【００１５】
請求項１ないし７の発明によれば、ベクトルの大きさの時間的な変化を考慮することで、特徴点の垂直方向の動きを考慮せずとも、車両に接近する物体を精度よく検出できる。
【００１６】
また、特に請求項２の発明によれば、車両に接近する物体を精度よく検出できる。
【００１７】
また、特に請求項３の発明によれば、撮影画像に生じる歪曲収差を利用することで、車両に接近する物体を精度よく検出できる。
【００１８】
また、特に請求項４の発明によれば、車両に接触する可能性の高い物体を検出できる。
【図面の簡単な説明】
【００１９】
【図１】図１は、第１の実施の形態の画像表示システムの構成を示す図である。
【図２】図２は、カメラが撮影する領域を示す図である。
【図３】図３は、画像表示システムの処理の基本的な流れを示す図である。
【図４】図４は、物体の検出結果を示す表示画像の一例を示す図である。
【図５】図５は、物体検出処理の流れを示す図である。
【図６】図６は、物体検出処理の対象となる撮影画像の状態を示す図である。
【図７】図７は、条件（ａ）について説明する図である。
【図８】図８は、条件（ｂ）について説明する図である。
【図９】図９は、条件（ｂ）について説明する図である。
【図１０】図１０は、車両の周辺の物体の移動例を示す図である。
【図１１】図１１は、車両の周辺の物体の移動例を示す図である。
【図１２】図１２は、特徴点の移動軌跡を示す図である。
【図１３】図１３は、特徴点の移動軌跡を示す図である。
【図１４】図１４は、樽型の歪曲収差を説明する図である。
【図１５】図１５は、第２の実施の形態の画像表示システムの構成を示す図である。
【図１６】図１６は、歪曲収差の補正を説明する図である。
【図１７】図１７は、特徴点の移動軌跡を示す図である。
【図１８】図１８は、車両の周辺の物体の移動例を示す図である。
【図１９】図１９は、特徴点の移動軌跡を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２１】
＜１．第１の実施の形態＞
＜１−１．画像表示システムの構成＞
図１は、本実施の形態に係る画像表示システム１０の構成を示す図である。画像表示システム１０は、車両（本実施の形態では、自動車）９に搭載され、車両９の周辺の後方を周期的に撮影するカメラ１と、車両９の車室内に配置された表示装置３とを備えている。カメラ１は、レンズと撮像素子とを備え、撮影画像を電子的に取得する。また、表示装置３は、液晶パネルなどを備え、各種の画像を表示する。
【００２２】
画像表示システム１０は、車両のシフトポジションを示す信号に応答して車両の後退時に起動し、カメラ１で得られた撮影画像に基づく車両の周辺の後方の様子を示す表示画像を表示装置３で表示する。これにより、画像表示システム１０のユーザ（主に車両のドライバ）は、車両の後退時において車両の周辺の後方の様子を把握できる。
【００２３】
図２は、カメラ１が撮影する領域を示す図である。カメラ１は、車両９の後端の上部に設けられるリアカメラであり、その光軸１ａは車両９の前後方向に沿って後方に向けられる。したがって、カメラ１の光軸１ａの方向は、車両９のステアリングの中立時における車両９の進行方向に沿っている。
【００２４】
カメラ１は、画角θが例えば１３５度以上となる広角レンズを備え、車両９の周辺の後方における比較的広い範囲を撮影できる。なお、カメラ１は、画角θが１８０度以上となる魚眼レンズを備えていてもよい。カメラ１は、車両９の周辺の後方を周期的に撮影して、撮影画像を一定の時間間隔（例えば、１／３０秒間隔）で連続的に取得する。
【００２５】
図１に戻り、画像表示システム１０は、カメラ１と表示装置３との間に物体検出装置２を備えている。物体検出装置２は、カメラ１で得られた撮影画像に基づいて車両９の周辺の後方に存在する物体を検出する。
【００２６】
物体検出装置２は、画像取得部２１と、画像処理部２２と、画像出力部２３とを備えている。画像取得部２１は、カメラ１で得られた撮影画像を取得する。画像処理部２２は、撮影画像に基づいて物体を検出し、物体の検出結果を示す表示画像を生成する。画像出力部２３は、画像処理部２２が生成した表示画像を表示装置３に出力する。これにより、表示装置３において物体の検出結果を示す表示画像が表示される。
【００２７】
画像処理部２２は、例えば、ＦＰＧＡ（field-programmable gate array）などのハードウェア回路であり、各種の画像処理機能を備えている。画像処理部２２は、画像処理機能としてベクトル導出部４、物体検出部５及び結果重畳部６を備えている。画像処理部２２のこれらの画像処理機能の詳細については後述する。
【００２８】
また、物体検出装置２は、制御部２０と、記憶部２５とをさらに備えている。記憶部２５は、例えば、フラッシュメモリなどの不揮発性メモリであり、各種の情報を記憶する。記憶部２５は、ファームウェアとしてのプログラムや各種のデータを記憶する。
【００２９】
また、制御部２０は、例えば、マイクロコンピュータであり、物体検出装置２の全体を統括的に制御する。制御部２０は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えている。制御部２０の各種の機能は、記憶部２５に記憶されたプログラムをＣＰＵが実行することで実現される。
【００３０】
なお、画像処理部２２が備える画像処理機能（ベクトル導出部４、物体検出部５及び結果重畳部６）の一部または全部は、制御部２０のＣＰＵがプログラムを実行することでソフトウェア的に実現されてもよい。
【００３１】
＜１−２．画像表示システムの処理＞
次に、画像表示システム１０の処理について説明する。以下では、まず、画像表示システム１０の処理の基本的な流れを説明し、その後、一部の処理についてより詳細に説明する。図３は、画像表示システム１０の処理の基本的な流れを示すフローチャートである。
【００３２】
まず、物体検出装置２の画像取得部２１がカメラ１から撮影画像を取得する（ステップＳ１）。画像取得部２１は、カメラ１で得られた一つの撮影画像を映像信号の一つのフレームとして取得する。撮影画像には、車両９の周辺の後方に存在する物体などの被写体の像が含まれる。画像取得部２１は、取得した撮影画像を画像処理部２２に入力する。
【００３３】
次に、画像処理部２２が物体検出処理を行い、画像取得部２１が取得した撮影画像を用いて物体を検出する（ステップＳ２）。画像処理部２２のベクトル導出部４は、一定の時間間隔で得られた時間的に連続する複数の撮影画像間（フレーム間）における特徴点の動きを示すベクトルを導出する。このベクトルは、オプティカルフローとも呼ばれる。そして、画像処理部２２の物体検出部５が、ベクトルを用いて物体を検出する。
【００３４】
次に、画像処理部２２の結果重畳部６が、撮影画像を対象に結果重畳処理を行う（ステップＳ３）。結果重畳部６は、物体検出処理で検出された物体の位置を示す指標を、画像取得部２１が取得した撮影画像に重畳することで、物体の検出結果を示す表示画像を生成する。
【００３５】
次に、画像出力部２３が、画像処理部２２が生成した表示画像を表示装置３に出力する（ステップＳ４）。これにより、表示装置３は、物体検出装置２による物体の検出結果を示す表示画像を表示する。
【００３６】
図４は、物体の検出結果を示す表示画像ＤＰの一例を示す図である。図４に示す表示画像ＤＰには、車両９の後方を移動して車両９に相対的に接近する物体Ｓｂの像が含まれ、この物体Ｓｂの像が指標Ｆによって囲まれている。このような指標Ｆを含む表示画像ＤＰを表示することにより、車両９に相対的に接近する物体Ｓｂをユーザに報知できる。なお、図中においては、画像の水平方向（横方向）をＸ方向、撮影画像の垂直方向（縦方向）をＹ方向として示している（図４以降も同様。）。
【００３７】
画像表示システム１０は、その動作中において、図３に示す処理を一つの撮影画像（フレーム）ごとに一定の時間間隔（例えば、１／３０秒間隔）で周期的に繰り返す。したがって、物体検出処理（ステップＳ２）は、一定の時間間隔で得られる複数の撮影画像（フレーム）のそれぞれを対象に行われる。
【００３８】
＜１−３．物体検出処理＞
次に、物体検出処理（図３のステップＳ２）についてより詳細に説明する。図５は、物体検出処理の詳細な流れを示す図である。また、図６は、物体検出処理の対象となる撮影画像ＳＰの状態を概念的に示している。状態ＳＴ１は、物体検出処理を行う前の撮影画像ＳＰを示している。
【００３９】
まず、ベクトル導出部４は、直近に得られた撮影画像ＳＰの特徴点ＦＰを抽出する（ステップＳ２１）。ベクトル導出部４は、例えば、ハリスオペレータなどの周知の手法を用いて、このような撮影画像ＳＰにおける特徴点ＦＰを抽出する（図６の状態ＳＴ２）。
【００４０】
特徴点ＦＰは、撮影画像ＳＰ中のエッジの交点など、撮影画像ＳＰにおいて際立って検出できる点である。通常、ベクトル導出部４は、一つの撮影画像ＳＰから多数の特徴点ＦＰを抽出する。ベクトル導出部４は、抽出した撮影画像ＳＰの特徴点ＦＰを、今回及び次回の物体検出処理に用いるために、画像処理部２２が備えるメモリに記憶させる。
【００４１】
次に、ベクトル導出部４は、直近に得られた撮影画像（以下、「現撮影画像」という。）と１フレーム前の撮影画像（以下、「前撮影画像」という。）とに関して特徴点ＦＰ同士を対応付ける（ステップＳ２２）。車両９の周辺の物体が車両９に対して相対的に移動する場合は、被写体の同一点に係る特徴点ＦＰが、現撮影画像と前撮影画像とで異なる位置に現れる。ベクトル導出部４は、特徴点ＦＰの近傍の画素値などに基づいて、被写体の同一点に係る特徴点ＦＰ同士を対応付ける。
【００４２】
次に、ベクトル導出部４は、現撮影画像と前撮影画像との間の特徴点ＦＰの動きを示すベクトルＶを導出する（ステップＳ２３）。ベクトル導出部４は、対応付けた特徴点ＦＰのそれぞれの撮影画像ＳＰ中における位置に基づいてベクトルＶを導出する。ベクトル導出部４は、現撮影画像と前撮影画像との間における水平方向（Ｘ方向）のみの特徴点ＦＰの動きを示すベクトルＶを導出する（図６の状態ＳＴ３）。このベクトルＶは、水平方向（Ｘ方向）及び垂直方向（Ｙ方向）の双方の特徴点ＦＰの動きを示すベクトルの水平方向成分であるともいえる。そして、ベクトル導出部４は、導出したベクトルＶを、今回及び次回以降の物体検出処理に用いるために、画像処理部２２が備えるメモリに記憶させる。
【００４３】
このようなベクトルＶは、過去の物体検出処理においても導出されている。ベクトル導出部４は、撮影画像間の特徴点ＦＰ同士の対応関係に基づき、今回の物体検出処理を含む直近３回分の物体検出処理において導出した、被写体の同一点に係る異なる時点の３つのベクトルＶを対応付けてメモリに記憶させる。これら３つのベクトルＶは、被写体の同一点に対応する特徴点ＦＰの異なる時点での水平方向の動きを表す。
【００４４】
次に、物体検出部５が、ベクトル選択処理を行い、ベクトル導出部４が導出したベクトルＶのうちの一部を処理対象として選択する（ステップＳ２４）。物体検出部５は、特定の条件を満足するベクトルＶのみを処理対象として選択し、特定の条件を満足しないベクトルＶを処理対象から除外する。物体検出部５は、ベクトルＶの向きとベクトルＶの大きさの時間的な変化とに基づき、ベクトルＶを選択する。これにより、車両９に相対的に接近する物体に係るベクトルＶのみを処理対象として選択する（図６の状態ＳＴ４）。このベクトル選択処理の詳細は後述する。
【００４５】
次に、物体検出部５は、ベクトル選択処理で選択したベクトルＶに基づいて、車両９の周辺の物体を検出する（ステップＳ２５）。物体検出部５は、互いに近傍に存在する複数のベクトルＶを一つの物体に係るベクトルのグループとみなして物体を検出する。そして、物体検出部５は、撮影画像ＳＰ中におけるベクトルのグループの位置に基づいて物体の位置を特定する。物体検出部５は、ベクトル選択処理において車両９に相対的に接近する物体に係るベクトルＶのみを処理対象として選択するため、車両９に相対的に接近する物体（すなわち、車両９に接触する可能性のある物体）のみを検出できる。
【００４６】
＜１−４．ベクトル選択処理＞
次に、ベクトル選択処理（図５のステップＳ２４）についてより詳細に説明する。ベクトル選択処理において、物体検出部５は、以下の条件（ａ）及び条件（ｂ）の双方を満足するベクトルＶのみを処理対象として選択し、条件（ａ）及び条件（ｂ）のいずれかを満足しないベクトルＶを処理対象から除外する。
【００４７】
（ａ）ベクトルＶの向きが撮影画像ＳＰの水平方向の中央に向いている。
【００４８】
（ｂ）ベクトルＶの大きさが時間的に大きくなる。
【００４９】
図７は、条件（ａ）について説明する図であり、ベクトル選択処理の対象となる撮影画像ＳＰの状態を概念的に示している。状態ＳＴ１１は条件（ａ）に基づく選択前のベクトルＶを含んだ状態を示し、状態ＳＴ１２は条件（ａ）に基づく選択後のベクトルＶのみを含んだ状態を示している。
【００５０】
状態ＳＴ１１に示すように、ベクトル導出部４が導出するベクトルＶには、左向きのベクトルＶと右向きのベクトルＶとが含まれている。物体検出部５は、これらのベクトルＶのうちから、撮影画像ＳＰの水平方向（Ｘ方向）の中央ＣＬに向かう内向きベクトルＶのみを処理対象として選択し、外向きのベクトルＶを処理対象から除外する。
【００５１】
すなわち、図７に示すように、物体検出部５は、撮影画像ＳＰの中央ＣＬよりも右側では、左向きのベクトルＶのみを処理対象として選択する。また、物体検出部５は、撮影画像ＳＰの中央ＣＬよりも左側では、右向きのベクトルＶのみを処理対象として選択する。
【００５２】
物体検出部５は、このようにして条件（ａ）によって選択したベクトルＶを、条件（ｂ）によってさらに絞り込む。図８及び図９は、条件（ｂ）について説明する図である。
【００５３】
図８及び図９は、被写体の同一点に係る異なる時点の３つのベクトルＶ１〜Ｖ３を概念的に示している。３つのベクトルＶ１〜Ｖ３のうち、ベクトルＶ１が最も古く、ベクトルＶ３が最も新しい。これら３つのベクトルＶ１〜Ｖ３を参照することで、被写体の同一点に対応するベクトルＶの時間的な変化を判断できる。
【００５４】
物体検出部５は、このような被写体の同一点に係る３つのベクトルＶ１〜Ｖ３の大きさに基づいて、条件（ｂ）を満足するベクトルＶを処理対象として選択する。物体検出部５は、図８に示すように、その大きさが時間的に連続して大きくなるベクトルＶを処理対象として選択する。物体検出部５は、例えば、３つのベクトルＶ１〜Ｖ３を用いてベクトルＶの大きさの時間微分値を導出し、時間微分値が連続して正となるベクトルＶを処理対象として選択する。
【００５５】
一方で、物体検出部５は、大きさが時間的に連続して大きくならないベクトルＶを処理対象から除外する。例えば、図９に示すように、物体検出部５は、大きさが時間的に連続して小さくなるベクトルＶを処理対象から除外する。このようなベクトルＶの大きさは、一定の時間間隔で得られた複数の撮影画像間での特徴点ＦＰの水平方向の移動幅に相当する。
【００５６】
物体検出部５は、このような条件（ａ）及び条件（ｂ）の双方を満足するベクトルＶのみを処理対象として選択することで、車両９に相対的に接近する物体に係るベクトルＶのみを処理対象として選択することができる。以下、この原理について説明する。
【００５７】
図１０及び図１１は、車両９の周辺に存在する物体の移動例を示す図である。図１０では、矢印Ａ１に示すように、物体Ｓｂ１が、車両９の左右方向に沿って図中右側から左側へ向かうように、車両９に対して相対的に移動している。一方、図１１では、矢印Ａ２に示すように、物体Ｓｂ２が、車両９の前後方向（すなわち、カメラ１の光軸１ａの方向）に沿って後方へ遠ざかるように、車両９に対して相対的に移動している。
【００５８】
図１０に示す物体（以下、「左右移動物体」という。）Ｓｂ１は、車両９に相対的に接近しており、車両９と接触する可能性がある。一方で、図１１に示す物体（以下、「後方離間物体」という。）Ｓｂ２は、車両９に相対的に接近しておらず、車両９と接触することはない。このため、本実施の形態の物体検出部５は、図１０の左右移動物体Ｓｂ１を検出する一方で、図１１の後方離間物体Ｓｂ２を検出しないようにしている。
【００５９】
図１２及び図１３はそれぞれ、図１０及び図１１に示す物体Ｓｂ１，Ｓｂ２に係る特徴点ＦＰの移動軌跡を示す図である。図１２の矢印Ａ１１は、図１０の左右移動物体Ｓｂ１に係る特徴点ＦＰの撮影画像ＳＰにおける移動軌跡を示している。一方で、図１３の矢印Ａ１２は、図１１の後方離間物体Ｓｂ２に係る特徴点ＦＰの撮影画像ＳＰ中における移動軌跡を示している。
【００６０】
図１２に示すように、左右移動物体Ｓｂ１に係る特徴点ＦＰは、撮影画像ＳＰの水平方向（Ｘ方向）の中央ＣＬに向かうように山なりに移動する。一方で、図１３に示すように、後方離間物体Ｓｂ２に係る特徴点ＦＰは、撮影画像ＳＰの水平方向（Ｘ方向）の中央ＣＬに存在する消失点ＶＰへ向けて移動する。その結果、水平方向（Ｘ方向）の動きのみを考慮すると、左右移動物体Ｓｂ１及び後方離間物体Ｓｂ２の双方に係る特徴点ＦＰが、撮影画像ＳＰの水平方向（Ｘ方向）の中央ＣＬに向かうように移動する。
【００６１】
このため、「ベクトルＶの向きが撮影画像ＳＰの水平方向の中央に向いている」という条件（ａ）のみでベクトルＶを選択したとすると、左右移動物体Ｓｂ１に係るベクトルＶのみならず、後方離間物体Ｓｂ２に係るベクトルＶも処理対象として選択される。その結果、後方離間物体Ｓｂ２が、車両９に相対的に接近する物体として誤検出されることになる。本実施の形態の物体検出部５は、このような誤検出を防止するため、条件（ｂ）をさらに考慮してベクトルＶを選択する。
【００６２】
図１２及び図１３に示す点Ｐは、物体Ｓｂ１，Ｓｂ２が一定速度で移動すると仮定した場合における物体に係る特徴点ＦＰの単位時間ごとの位置を示している。そして、図中の幅Ｌは、単位時間での特徴点ＦＰの水平方向（Ｘ方向）の移動幅を示している。
【００６３】
図１２に示すように、左右移動物体Ｓｂ１に係る特徴点ＦＰについては、撮影画像ＳＰの水平方向（Ｘ方向）の中央ＣＬに向かうほど、移動幅Ｌが大きくなっている。すなわち、左右移動物体Ｓｂ１に係る特徴点ＦＰの移動幅Ｌは、時間経過とともに大きくなる。
【００６４】
これは、広角レンズ（魚眼レンズを含む）を採用するカメラ１は、取得する撮影画像ＳＰに、図１４に示すような樽型の歪曲収差（ディストーション）を生じさせるためである。樽型の歪曲収差が生じた撮影画像ＳＰにおいては、同一サイズの被写体を示す像が撮影画像ＳＰの中央部ほど膨張し、周辺部ほど収縮して現れる。
【００６５】
一方で、図１３に示すように、後方離間物体Ｓｂ２に係る特徴点ＦＰについては、撮影画像ＳＰの水平方向（Ｘ方向）の中央ＣＬに向かうほど、パースペクティブの影響を受けて移動幅Ｌが小さくなっている。すなわち、後方離間物体Ｓｂ２に係る特徴点ＦＰの移動幅Ｌは、時間経過とともに小さくなる。
【００６６】
上述したベクトルＶの大きさは、この説明における移動幅Ｌに実質的に相当する。したがって、「ベクトルＶの大きさが時間的に大きくなる」という条件（ｂ）をさらに考慮してベクトルＶを選択することにより、左右移動物体Ｓｂ１に係るベクトルＶのみを処理対象として選択し、後方離間物体Ｓｂ２に係るベクトルＶは処理対象から除外することができる。すなわち、車両９に相対的に接近する物体に係るベクトルＶのみを処理対象として選択できる。その結果、車両９に相対的に接近する物体として後方離間物体Ｓｂ２が誤検出されることを防止できる。
【００６７】
以上のように、第１の実施の形態の画像表示システム１０においては、ベクトル導出部４が、車両９の周辺を撮影するカメラ１で一定の時間間隔で得られた複数の撮影画像間における特徴点ＦＰの水平方向のみの動きを示すベクトルＶを導出する。そして、物体検出部５は、ベクトルＶの向きと、ベクトルＶの大きさの時間的な変化とに基づいて、車両９に接近する物体を検出する。このようにベクトルＶの大きさの時間的な変化を考慮することで、撮影画像における特徴点ＦＰの垂直方向の動きを考慮せずとも、車両９に接近する物体を精度よく検出できる。
【００６８】
また、物体検出部５は、向きが撮影画像の水平方向の中央に向いており、かつ、大きさが時間的に大きくなるベクトルＶに係る物体を、車両９に接近する物体として検出する。これにより、車両９に接近する物体を精度よく検出できる。
【００６９】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。第２の実施の形態の画像表示システム１０の構成や処理は第１の実施の形態とほぼ同様であるため、以下、第１の実施の形態との相違点を中心に説明する。
【００７０】
第１の実施の形態では、ベクトル導出部４は、歪曲収差が生じている撮影画像を用いてベクトルＶを導出していた。これに対して、第２の実施の形態では、ベクトルＶを導出する前に、撮影画像に生じる歪曲収差を補正するようにしている。
【００７１】
図１５は、第２の実施の形態の画像表示システム１０の構成を示す図である。図１と図１５とを比較して分かるように、第２の実施の形態の画像表示システム１０は、第１の実施の形態の構成に加えて、収差補正部７を備えている。収差補正部７は、画像処理部２２が備える画像処理機能の一つである。
【００７２】
図１６に示すように、収差補正部７は、カメラ１が取得した撮影画像ＳＰの歪曲収差を補正して、大きな歪曲収差の無い撮影画像（以下、「収差補正画像」という。）ＳＰａを生成する。収差補正画像ＳＰａでは、同一サイズの被写体を示す像が撮影画像ＳＰａの全体においてほぼ同一のサイズで現れる（図１６の下部参照。）。
【００７３】
本実施の形態のベクトル導出部４は、このような収差補正画像ＳＰａを用いて特徴点ＦＰの動きを示すベクトルＶを導出する。そして、物体検出部５は、第１の実施の形態と同様に、条件（ａ）及び条件（ｂ）の双方を満足するベクトルＶのみを処理対象として選択し、選択したベクトルＶに基づいて物体を検出する。
【００７４】
図１７の矢印Ａ１３は、収差補正画像ＳＰａにおける、図１０の左右移動物体Ｓｂ１に係る特徴点ＦＰの移動軌跡を示している。この場合は、左右移動物体Ｓｂ１に係る特徴点ＦＰは、撮影画像ＳＰの水平方向の中央ＣＬに向かうように直線的に移動する。そして、左右移動物体Ｓｂ１が一定速度で移動すると仮定した場合、左右移動物体Ｓｂ１に係る特徴点ＦＰの移動幅Ｌは時間経過に係わらず略一定となる。
【００７５】
したがって、左右移動物体Ｓｂ１に係るベクトルＶの大きさは時間的に大きくならない。このため、条件（ｂ）を考慮してベクトルＶを選択すると、左右移動物体Ｓｂ１に係るベクトルＶは処理対象から除外される。すなわち、第２の実施の形態の形態の画像表示システム１０は、車両９に相対的に接近する物体として図１０の左右移動物体Ｓｂ１を検出しなくなる。
【００７６】
一方で、図１８の矢印Ａ４に示すように、車両９の左右方向に対して傾斜しつつ図中右側から車両９の後端に接近するように、車両９に対して相対的に移動する物体（以下、「傾斜接近物体」という。）Ｓｂ４を想定する。図１９の矢印Ａ１４は、収差補正画像ＳＰａにおける、図１８の傾斜接近物体Ｓｂ４に係る特徴点ＦＰの移動軌跡を示している。
【００７７】
この場合は、傾斜接近物体Ｓｂ４に係る特徴点ＦＰは、撮影画像ＳＰの水平方向に対して傾斜しつつ、撮影画像ＳＰの水平方向の中央ＣＬに向かうように直線的に移動する。そして、傾斜接近物体Ｓｂ４が一定速度で移動すると仮定した場合、傾斜接近物体Ｓｂ４に係る特徴点ＦＰの移動幅Ｌは、撮影画像ＳＰの水平方向の中央ＣＬに向かうほどパースペクティブの影響を受けて大きくなる。すなわち、傾斜接近物体Ｓｂ４に係る特徴点ＦＰの移動幅Ｌは、時間経過とともに大きくなる。
【００７８】
このため、条件（ｂ）を考慮してベクトルＶを選択すると、傾斜接近物体Ｓｂ４に係るベクトルＶは処理対象として選択される。その結果、車両９に相対的に接近する物体として、図１８の傾斜接近物体Ｓｂ４が検出されることになる。
【００７９】
図１８に示す状況は、車両９の停止中に傾斜接近物体Ｓｂ４が自ら移動する場合とともに、車両９の左右方向に沿った傾斜接近物体Ｓｂ４の移動中に車両９が後退する場合においても生じる。このため、図１８に示す状況は、車両９と傾斜接近物体Ｓｂ４とが接触する可能性の高い緊迫した状況であるといえる。第２の実施の形態の画像表示システム１０は、このように緊迫した状況において、車両９と接触する可能性の高い傾斜接近物体Ｓｂ４を検出して、当該傾斜接近物体Ｓｂ４の存在をユーザに対して報知できる。
【００８０】
以上のように、第２の実施の形態の画像表示システム１０においては、収差補正部７が、撮影画像ＳＰに生じる歪曲収差を補正する。そして、ベクトル導出部４は、収差補正部７が歪曲収差を補正した収差補正画像ＳＰａを用いてベクトルＶを導出する。このため、車両９に接触する可能性の高い物体を検出できる。
【００８１】
なお、本実施の形態では、歪曲収差を補正した収差補正画像ＳＰａを用いて物体を検出するものとして説明したが、広角レンズではない一般的なレンズを備えたカメラの撮影画像（大きな歪曲収差の無い撮影画像）を用いて物体を検出する場合においても、本実施の形態と同様の効果が得られる。
【００８２】
＜３．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【００８３】
上記実施の形態の物体検出装置２は、車両９の周辺の後方を撮影するカメラ１で得られた撮影画像を処理して、車両９の周辺の後方に存在する物体を検出するものであった。これに対して、物体検出装置は、車両９の周辺の前方または側方を撮影するカメラで得られた撮影画像を処理して、車両９の周辺の前方または側方に存在する物体を検出するものであってもよい。
【００８４】
また、上記実施の形態では、時間的に連続する撮影画像間における特徴点の動きを示すベクトルを導出していた。これに対して、一定数のフレームを間引いた撮影画像間における特徴点の動きを示すベクトルを導出してもよい。いずれにせよ、一定の時間間隔で得られた複数の撮影画像間における特徴点の動きを示すベクトルを導出すればよい。また、このように間引くフレームの数を、検出対象とする物体の一般的な速度に応じて変更してもよい。例えば、車両などの比較的速い物体を検出対象とする場合は間引くフレームの数を少なくし、歩行者などの比較的遅い物体を検出対象とする場合は間引くフレームの数を多くしてもよい。
【００８５】
また、上記実施の形態では、「ベクトルＶの大きさが時間的に大きくなる」という条件（ｂ）を満足するベクトルＶのみを処理対象として選択していた。これに対して、条件（ｂ）を満足するベクトルＶに加えて、「ベクトルＶの大きさが時間経過によらず略一定である」という条件（ｃ）を満足するベクトルＶも処理対象として選択してもよい。この場合は、第２の実施の形態のように、大きな歪曲収差の無い撮影画像を用いて物体を検出する場合においても、図１０の左右移動物体Ｓｂ１を車両９に相対的に接近する物体として検出できる。
【００８６】
また、上記実施の形態では、ベクトルＶの大きさの時間的な変化を判断するために異なる時点の３つのベクトルＶ１〜Ｖ３を参照していたが、２つのベクトルのみ、あるいは、４以上のベクトルを参照するようにしてもよい。
【００８７】
また、上記実施の形態では、ベクトルＶの大きさの時間微分値が正となるベクトルＶを処理対象として選択すると説明した。このようなベクトルＶの大きさの時間微分値が比較的大きくなる場合は、当該ベクトルＶに係る物体が車両９に対して急激に接近している可能性が高い。このため、ベクトルＶの大きさの時間微分値が所定の閾値よりも大きくなる場合は、当該ベクトルＶに係る物体を報知する手法を通常の手法から変更し、ユーザに警告するようにしてもよい。
【００８８】
また、上記実施の形態の物体検出装置２は車両９に搭載されるものとして説明したが、スマートフォンなどの汎用のコンピュータにおいてプログラムを実行させることで、上記実施の形態の物体検出装置２と同様の画像処理機能が実現されるようにしてもよい。
【００８９】
また、上記実施の形態において一つのブロックとして説明した機能は必ずしも単一の物理的要素によって実現される必要はなく、分散した物理的要素によって実現されてよい。また、上記実施の形態で複数のブロックとして説明した機能は単一の物理的要素によって実現されてもよい。また、車両内の装置と車両外の装置とに任意の一つの機能に係る処理を分担させ、これら装置間において通信によって情報の交換を行うことで、全体として当該一つの機能が実現されてもよい。
【００９０】
また、上記実施の形態においてプログラムの実行によってソフトウェア的に実現されると説明した機能の全部又は一部は電気的なハードウェア回路により実現されてもよく、ハードウェア回路によって実現されると説明した機能の全部又は一部はソフトウェア的に実現されてもよい。また、上記実施の形態において一つのブロックとして説明した機能が、ソフトウェアとハードウェアとの協働によって実現されてもよい。
【符号の説明】
【００９１】
１    カメラ
１０    画像表示システム
２    物体検出装置
２２    画像処理部
３    表示装置
４    ベクトル導出部
５    物体検出部
７    収差補正部
９    車両
ＦＰ    特徴点
Ｖ    ベクトル
【図１】
2017151525.tif 000003
【図２】
2017151525.tif 000004
【図３】
2017151525.tif 000005
【図４】
2017151525.tif 000006
【図５】
2017151525.tif 000007
【図６】
2017151525.tif 000008
【図７】
2017151525.tif 000009
【図８】
2017151525.tif 000010
【図９】
2017151525.tif 000011
【図１０】
2017151525.tif 000012
【図１１】
2017151525.tif 000013
【図１２】
2017151525.tif 000014
【図１３】
2017151525.tif 000015
【図１４】
2017151525.tif 000016
【図１５】
2017151525.tif 000017
【図１６】
2017151525.tif 000018
【図１７】
2017151525.tif 000019
【図１８】
2017151525.tif 000020
【図１９】
2017151525.tif 000021