(57)【要約】  立体物検出装置は、検出器と変換器と認識器とを備える。検出器は、第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像からオブジェクトを第２のオブジェクトとして検出する。変換器は、第１の画像と第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成する。認識器は、第１の鳥瞰画像と第２の鳥瞰画像とにおける重複撮像領域に出現する第１のオブジェクトと第２のオブジェクトとに基づいて、重複撮像領域から立体物を認識する。
2018146997.tif 000002
【特許請求の範囲】
【請求項１】
第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出する検出器と、
前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成する変換器と、
前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する認識器と、
を含む立体物検出装置。
【請求項２】
前記認識器は、前記第１の鳥瞰画像における前記第１のカメラの位置から前記重複撮像領域に出現する前記第１のオブジェクトの伸長方向に伸びる第１の仮想線と、前記第２の鳥瞰画像における前記第２のカメラの位置から前記重複撮像領域に出現する前記第１のオブジェクトの伸長方向に伸びる第２の仮想線との交点を前記立体物の接地点として検出する、
請求項１に記載の立体物検出装置。
【請求項３】
前記認識器は、前記第１の画像のうち前記第２の画像と撮像領域が重複しない非重複撮像領域から検出された前記第１のオブジェクトを囲む最外接矩形の下端を、前記非重複撮像領域から検出された前記第１のオブジェクトの接地点として検出する、
請求項１または２に記載の立体物検出装置。
【請求項４】
前記認識器は、前記第１の鳥瞰画像のうち前記第２の鳥瞰画像と撮像領域が重複しない非重複撮像領域から検出された前記第１のオブジェクトを囲む最外接矩形の下端を、前記非重複撮像領域から検出された前記第１のオブジェクトの接地点として検出する、
請求項１または２に記載の立体物検出装置。
【請求項５】
第１の時刻において撮像して得られた前記第１の画像および前記第２の画像に基づいて前記オブジェクトの検出、前記視点変換、および前記立体物の検出が行われた後、第２の時刻において撮像して得られた前記第１の画像の領域のうち前記第２の画像と重複する重複領域の画像と、前記第１の時刻において撮像して得られた前記第１の画像のうち前記第２の画像と重複する重複領域の画像との差分である差分画像を検出する差分検出器と、
前記差分画像に基づいて、前記第２の時刻において撮像して得られた前記第１の画像および前記第２の画像に基づいて前記オブジェクトの検出、前記視点変換、および前記立体物の検出を実施するか否かを制御する制御器と、を更に有する、
請求項１乃至４の何れかに記載の立体物検出装置。
【請求項６】
前記第１のカメラと前記第２のカメラは、同じタイミングで、一定の周期で撮像を行う、
請求項１乃至５の何れかに記載の立体物検出装置。
【請求項７】
第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出し、
前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成し、
前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する、
立体物検出方法。
【請求項８】
前記認識では、前記第１の鳥瞰画像における前記第１のカメラの位置から前記重複撮像領域に出現する前記第１のオブジェクトの伸長方向に伸びる第１の仮想線と、前記第２の鳥瞰画像における前記第２のカメラの位置から前記重複撮像領域に出現する前記第１のオブジェクトの伸長方向に伸びる第２の仮想線との交点を前記立体物の接地点として検出する、
請求項７に記載の立体物検出方法。
【請求項９】
前記認識では、前記第１の画像のうち前記第２の画像と撮像領域が重複しない非重複撮像領域から検出された前記第１のオブジェクトを囲む最外接矩形の下端を、前記非重複撮像領域から検出された前記第１のオブジェクトの接地点として検出する、
請求項７または８に記載の立体物検出方法。
【請求項１０】
前記認識では、前記第１の鳥瞰画像のうち前記第２の鳥瞰画像と撮像領域が重複しない非重複撮像領域から検出された前記第１のオブジェクトを囲む最外接矩形の下端を、前記非重複撮像領域から検出された前記第１のオブジェクトの接地点として検出する、
請求項７または８に記載の立体物検出方法。
【請求項１１】
さらに、
第１の時刻において撮像して得られた前記第１の画像および前記第２の画像に基づいて前記オブジェクトの検出、前記視点変換、および前記立体物の検出が行われた後、第２の時刻において撮像して得られた前記第１の画像の領域のうち前記第２の画像と重複する重複領域の画像と、前記第１の時刻において撮像して得られた前記第１の画像のうち前記第２の画像と重複する重複領域の画像との差分である差分画像を検出し、
前記差分画像に基づいて、前記第２の時刻において撮像して得られた前記第１の画像および前記第２の画像に基づいて前記オブジェクトの検出、前記視点変換、および前記立体物の検出を実施するか否かを制御する、
請求項７乃至１０の何れかに記載の立体物検出方法。
【請求項１２】
前記第１のカメラと前記第２のカメラは、同じタイミングで、一定の周期で撮像を行う、
請求項７乃至１１の何れかに記載の立体物検出方法。
【請求項１３】
コンピュータを、
第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出する検出器と、
前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成する変換器と、
前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する認識器と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体物検出装置、立体物検出方法、およびプログラムに関する。
【背景技術】
【０００２】
車両の周囲、特に運転者の死角となる場所は見落としが発生しやすく、立体の障害物と接触事故を起こすことがある。その対策として、車両の周囲に取り付けたカメラの映像で周囲環境を把握させる技術がある。【０００３】
例えば、特許文献１には、車両周辺に取り付けた１台のカメラによって異なる時刻に撮像して得られた２つの画像に基づいて立体物を検出して表示する技術（第１の関連技術と記す）が記載されている。具体的には、第１の関連技術では、撮像された現フレーム画像の鳥瞰画像と１フレーム時間当たりの車両の移動量だけシフトした前フレーム画像の鳥瞰画像との間の相関処理を行って、立体物を検出して表示している。【０００４】
また、特許文献２には、車両周辺に取り付けた２台のカメラによって車両が所定距離移動する毎に撮影を行い、同じタイミングで取得した２つフレームの撮影画像の鳥瞰画像から立体物を検出して表示する技術（第２の関連技術）が記載されている。具体的には、同じタイミングで取得した２つフレームの撮影画像から生成した２つの鳥瞰画像に基づき、画像領域抽出処理と、立体物候補領域抽出処理と、立体物領域抽出処理とを、この順に行う。画像領域抽出処理では、それぞれの鳥瞰画像について輪郭を強調する微分フィルタを適用することでエッジ強調により輪郭を抽出し、２値化処理と所定の閾値を超えるものを抽出する処理によりノイズが除去された明瞭な画像を抽出する。立体物候補領域抽出処理では、画像領域抽出処理後の２つの鳥瞰画像を重ね合わせ、論理積を取る処理が行われる。この処理により、重複する画像領域が立体物候補領域として抽出される。立体物領域抽出処理では、立体物の垂直な輪郭線が鳥瞰画像では光学中心から放射状に変換される特性に基づいて、立体物候補画像領域が光学中心から放射状に形成される領域に存在するか否かの判別を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１５５６５１号公報
【特許文献２】特開２０１０−２３９１９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
１台のカメラによって異なる時間に撮像された２つの画像に基づいて立体物を検出する第１の関連技術では、車両が移動していない停止時に周囲環境を把握するのが困難である。【０００７】
一方、２台のカメラによって同じタイミングで撮像された画像から立体物を検出する第２の関連技術では、車両が停止している状態であっても周囲に存在する立体物を検出することができる。しかしながら、立体物候補領域抽出処理では、人、車両、ポール等のオブジェクト以外の領域が立体物候補領域として検出される。そのため、検出される立体候補領域の数が増大し、その分だけ後段の立体物領域抽出処理の処理量が増大し、結果として立体物を検出するのに必要な計算量が増大する。【０００８】
本発明の目的は、上述した課題、即ち、カメラの画像から立体物を検出するのに必要な計算量が増大する、という課題を解決する立体物検出装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一形態に係る立体物検出装置は、
第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出する検出器と、
前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成する変換器と、
前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する認識器と、
を含む。【００１０】
本発明の他の形態に係る立体物検出方法は、
第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出し、
前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成し、
前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する。【００１１】
本発明の他の形態に係るプログラムは、
コンピュータを、
第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出する検出器と、
前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成する変換器と、
前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する認識器と、
して機能させる。
【発明の効果】
【００１２】
本発明は上述した構成を有することにより、カメラの画像から立体物を検出するのに必要な計算量を削減することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態に係る立体物検出装置の構成例を示す図である。
【図２】本発明の第１の実施形態に係る立体物検出装置におけるカメラの設置例を示す図である。
【図３】本発明の第１の実施形態に係る立体物検出装置の動作の一例を示すフローチャートである。
【図４】本発明の第１の実施形態に係る立体物検出装置の２台のカメラで撮像して得られた画像から認識されたオブジェクトの例を示す図である。
【図５】本発明の第１の実施形態に係る立体物検出装置の２台のカメラで撮像して得られた画像を視点変換して作成された鳥瞰画像の例を示す図である。
【図６】本発明の第１の実施形態に係る立体物検出装置の２台カメラで撮像して得られた画像を視点変換して作成された鳥瞰画像を位置合わせした状態を示す図である。
【図７】本発明の第２の実施形態に係る立体物検出装置の動作の一例を示すフローチャートである。
【図８】本発明の第２の実施形態に係る立体物検出装置の２台のカメラで撮像して得られた画像から認識されたオブジェクトの例を示す図である。
【図９】本発明の第３の実施形態に係る立体物検出装置の動作の一例を示すフローチャートである。
【図１０】本発明の第４の実施形態に係る立体物検出装置の構成例を示す図である。
【図１１】本発明の他の実施形態に係る立体物検出装置におけるカメラの設置例を示す図である。
【図１２】本発明の他の実施形態に係る立体物検出装置におけるカメラの設置例を示す図である。
【図１３】本発明の第５の実施形態に係る立体物検出装置の動作の一例を示すフローチャートである。
【図１４】鳥瞰画像上のオブジェクトの座標から実世界上の座標を求める方法の説明図である。
【図１５】本発明の立体物検出装置のハードウェアの一例を示す図である。
【発明を実施するための形態】
【００１４】
次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１を参照すると、本発明の第１の実施形態に係る立体物検出装置１００は、互いに異なる視点で設置され、互いに視野に重複を持つ複数のカメラ１０１、１０２と、カメラ１０１、１０２で撮像されて得られた画像信号を、信号線を通じて受信して処理する制御ユニット１０３と、制御ユニット１０３に信号線を通じて接続されたディスプレイ１０４とで構成される。
【００１５】
カメラ１０１、１０２は、画角が互いに異なっており、例えば図２に示すように、車両の周囲に取り付けられる。カメラ１０１、１０２は、一定の周期かつ互いに同じタイミングで撮像を行う。カメラ１０１、１０２において１回の撮像で得られる画像信号は、フレーム画像とも呼ばれる。カメラ１０１、１０２で撮像されて得られた画像信号は、制御ユニット１０３に入力される。制御ユニット１０３は、入力された画像信号を処理することにより、物体認識を行い、また物体認識したオブジェクトが立体物であるか否かを認識する。制御ユニット１０３は、例えばマイクロプロセッサ等のプロセッサとメモリとを有するコンピュータで構成することができる。ディスプレイ１０４は、制御ユニット１０３の処理結果を提示する液晶ディスプレイ装置等のデバイスである。
【００１６】
図３は本実施形態に係る立体物検出装置１００の動作の一例を示すフローチャートである。図３に示す動作は、制御ユニット１０３を構成するプロセッサに、メモリに記憶されたプログラムを実行させることにより実現することができる。以下、図３を参照して、本実施形態の動作を説明する。
【００１７】
先ず、カメラ１０１、１０２で、ほぼ同時に車両周辺の映像を撮影する（ステップＳ１）。カメラ１０１、１０２で撮影されて得られた画像信号は、信号線を通じて制御ユニット１０３へ伝達される。
【００１８】
次に、制御ユニット１０３は、カメラ１０１で撮影されて得られた画像に対してパターンマッチング等の任意の手法によって物体認識を行い、オブジェクトを認識する（ステップＳ２）。また制御ユニット１０３は、カメラ１０２で撮影されて得られた画像に対してパターンマッチング等による任意の物体認識を行い、オブジェクトを認識する（ステップＳ２）。制御ユニット１０３が実施する上記物体認識は、例えば人やポール等の予め定められた特定のオブジェクトを認識する特定物体認識であってよい。なお、制御ユニット１０３は、物体認識を実行する前にカメラ１０１、１０２の取り付け条件やレンズ収差を補正する任意の補正処理を実行してもよい。
【００１９】
例えば、図１に示されるように、カメラ１０１、１０２の重複する撮像領域にオブジェクト１０５が存在しているとする。その場合、カメラ１０１で撮像されて得られた画像１１１には、例えば図４の符号１１３に示すようなオブジェクト１０５の像が写り、カメラ１０２で撮像されて得られた画像１１２には、例えば図４の符号１１４に示すようなオブジェクト１０５の像が写る。制御ユニット１０３は、パターンマッチング等による任意の物体認識手法により画像１１１から像１１３をオブジェクトとして認識し、また画像１１２から像１１４をオブジェクトとして認識する。そして、制御ユニット１０３は、オブジェクトとして認識した像の最外接矩形１１５、１１６を画像１１１、１１２に生成する。
【００２０】
次に、制御ユニット１０３は、画像１１１、１１２に視点変換を施し、例えば図５の画像１２１、１２２に示すような鳥瞰画像に変換する（ステップＳ３）。視点変換は、カメラ位置から見える風景をあたかも上空の或る点から見たように変換（透視投影変換）する操作である。制御ユニット１０３は、視点変換の計算量を削減するためにルックアップテーブルを使用してよい。視点変換のためのルックアップテーブルは、各カメラの撮像する画素に対して視点変換後の画素値を予め計算して配列（テーブル）に格納しておき、その都度の計算を行うことなく、配列を参照することで効率的に座標変換を行うためのテーブルである。鳥瞰画像１２１、１２２では、図５の像１２３、１２４に示すように、立体物はカメラの位置から放射状に伸長するように歪んで見える特徴がある。なお、図５において、１２７はカメラ１０１の位置、１２８はカメラ１０２の位置、１２５は像１２３の最外接矩形、１２６は像１２４の最外接矩形である。
【００２１】
次に、制御ユニット１０３は、カメラ１０１、１０２の設置位置と高さ、角度等から求めたパラメータを用いて、２つの鳥瞰画像１２１、１２２の位置合わせを行う（ステップＳ４）。制御ユニット１０３は、位置合わせの計算量を削減するために、位置合わせのためのルックアップテーブルを使用してもよい。図６は、位置合わせを行った鳥瞰画像１２１、１２２の例を示す。
【００２２】
次に、制御ユニット１０３は、位置合わせした鳥瞰画像１２１、１２２における重複領域内で、複数のオブジェクト（即ち、像１２３、１２４或いは最外接矩形１２５、１２６）が重複しているか否か、それぞれのオブジェクトがカメラの位置から放射状に伸びる方向に伸長しているか否かを判定する（ステップＳ５）。そして、制御ユニット１０３は、複数のオブジェクトが重複しており、且つ、それぞれのオブジェクトがカメラの位置から放射状に伸びる方向に伸長していたならば、そのオブジェクトを１つの立体物であると認識する（ステップＳ５）。図６に示す例では、像１２３或いは最外接矩形１２５で特定されるオブジェクトと像１２４或いは最外接矩形１２６で特定されるオブジェクトが互いに重複している。また、像１２３或いは最外接矩形１２５で特定されるオブジェクトは、カメラ１０１の位置１２７から放射状に伸びる方向に伸長している。また、像１２４或いは最外接矩形１２６で特定されるオブジェクトは、カメラ１０２の位置１２８から放射状に伸びる方向に伸長している。よって、制御ユニット１０３は、像１２３或いは最外接矩形１２５で特定されるオブジェクトと像１２４或いは最外接矩形１２６で特定されるオブジェクトは、１つの同じ立体物であると認識する。
【００２３】
次に、制御ユニット１０３は、鳥瞰画像１２１のカメラ位置１２７を通り、像１２３或いは最外接矩形１２５で特定されるオブジェクトの伸長方向と一致する直線１３１と、鳥瞰画像１２２のカメラ位置１２８を通り、像１２４或いは最外接矩形１２６で特定されるオブジェクトの伸長方向と一致する直線１３２との交点１３３を、立体物の接地点、つまり立体物の位置として推定する（ステップＳ６）。直線１３１、直線１３２は、仮想線である。また制御ユニット１０３は、上記立体物の接地点の画像上の座標と、カメラ１０１、１０２の設置高と角度、画角から立体物であるオブジェクトの位置やオブジェクトまでの距離を計算する（同ステップＳ６）。上記ステップＳ６は、第１の接地点検出部とも呼ばれる。
【００２４】
次に、制御ユニット１０３は、物体認識の結果、立体物認識の結果、および、推定した位置をディスプレイ１０４に表示する（ステップＳ７）。また、制御ユニット１０３は、鳥瞰画像を使って上空から見下ろした図をディスプレイ１０４に表示する（同ステップＳ７）。これによって、運転者に自車両と立体物との位置関係を客観的に把握させることができる。
【００２５】
このように本実施形態は、複数のカメラで撮影して得られた画像から物体認識によりオブジェクトを抽出した画像を生成し、それを鳥瞰画像に変換してから複数枚を重ねあわせることで、上記オブジェクトが立体物であるか否かを認識し、立体物の接地点を推定する。このように物体認識によって認識したオブジェクトに限定して立体物か否かを認識することにより、立体物を検出するのに必要な計算コストを抑えることができる。
【００２６】
また、画像上のオブジェクトが立体物であることを認識できるため、例えばポールを認識対象とする場合に、路面に描かれた線を誤って認識してしまったとしても立体物認識の情報を用いて誤認識であると判断できる。逆に、平面に描かれた白線や路面標示を認識対象とする場合には、立体物であると認識したオブジェクトを誤検知として棄却することができる。
【００２７】
[第２の実施形態]
本実施形態は、基本的な構成は第１の実施形態と同じであるが、その動作が第１の実施形態と相違する。
【００２８】
図７は本実施形態に係る立体物検出装置２００の動作の一例を示すフローチャートである。図７に示す動作は、制御ユニット１０３を構成するプロセッサに、メモリに記憶されたプログラムを実行させることにより実現することができる。以下、図７を参照して、本実施形態の動作を説明する。
【００２９】
制御ユニット１０３は、第１の実施形態における図３のステップＳ１〜Ｓ６と同様な処理を実施する（ステップＳ１１〜Ｓ１６）。また、制御ユニット１０３は、ステップＳ１３〜Ｓ１６の処理と並行して、以下のような処理を実行する。
【００３０】
先ず制御ユニット１０３は、カメラ１０１で撮像されて得られた画像１１１の領域のうち、カメラ１０２の撮像領域と重複しない非重複撮像領域（第１の非重複撮像領域と記す）に、ステップＳ１２において検出されたオブジェクトが含まれている場合、含まれているオブジェクトの最外接矩形の下端を当該オブジェクトの接地点として検出する（ステップＳ１８）。例えば、図８に示す画像１１１には、第１の非重複撮像領域にオブジェクトの像２０１とその最外接矩形２０３とが描かれている。制御ユニット１０３は、最外接矩形２０３の下端を当該オブジェクトの接地点として検出する。
【００３１】
同様に制御ユニット１０３は、カメラ１０２で撮像されて得られた画像１１２の領域のうち、カメラ１０１の撮像領域と重複しない非重複撮像領域（第２の非重複撮像領域と記す）に、ステップＳ１２において検出されたオブジェクトが含まれている場合、含まれているオブジェクトの最外接矩形の下端を当該オブジェクトの接地点として検出する（ステップＳ１８）。例えば、図８に示す画像１１２には、第２の非重複撮像領域にオブジェクトの像２０２とその最外接矩形２０４とが描かれている。制御ユニット１０３は、最外接矩形２０４の下端を当該オブジェクトの接地点として検出する。
【００３２】
次に制御ユニット１０３は、上記オブジェクトの接地点の画像上の座標と、カメラ１０１、１０２の設置高と角度、画角から上記オブジェクトの位置やオブジェクトまでの距離を計算する（ステップＳ１９）。上記ステップＳ１８、Ｓ１９は、第２の接地点検出部とも呼ばれる。
【００３３】
そして、制御ユニット１０３は、物体認識の結果、立体物認識の結果、および、推定した位置をディスプレイ１０４に出力する。また、制御ユニット１０３は、鳥瞰画像を使って上空から見下ろした図をディスプレイ１０４に表示する。これによって、運転者に自車両と立体物との位置関係を客観的に把握させることができる。
【００３４】
このように本実施形態は、複数のカメラで撮影した画像の重複領域に存在するオブジェクトの位置や距離は第１の実施形態と同様の方法で検出し、非重複領域についてはカメラ単独の画像から検出する。これによって、複数のカメラで撮影される全ての領域内に存在するオブジェクトの位置や距離を推定することができる。なお、重複領域に存在するオブジェクトの位置や距離を第１の実施形態と同様の方法で検出し、非重複領域におけるようなカメラ単独の画像から検出しない理由は、パターンマッチング等による物体認識では画像上で歩行者やポールなどの認識対象と路面との境界を正確に捉えられない場合があるためである。
【００３５】
[第３の実施形態]
本実施形態は、基本的な構成は第１の実施形態と同じであるが、その動作が第１の実施形態と相違する。
【００３６】
図９は本実施形態に係る立体物検出装置３００の動作の一例を示すフローチャートである。図９に示す動作は、制御ユニット１０３を構成するプロセッサに、メモリに記憶されたプログラムを実行させることにより実現することができる。以下、図９を参照して、本実施形態の動作を説明する。
【００３７】
先ず、第１の実施形態における図３のステップＳ１〜Ｓ７と同様な処理が行われる（ステップＳ２１〜Ｓ２７）。
【００３８】
次に、制御ユニット１０３は、次の撮像のタイミング（ｔ１とする。ｔ１は第２の時刻とも呼ぶ）で同時にカメラ１０１、１０２により車両周辺の撮像を行う（ステップＳ２８）。次に、制御ユニット１０３は、タイミングｔ１で撮像して得られたカメラ１０１の画像の領域のうちカメラ１０２と重複する領域の画像（Ｇ１１とする）と直前の撮像タイミング（ｔ０とする。ｔ０は第１の時刻とも呼ぶ）で撮像して得られたカメラ１０１の画像のうちカメラ１０２と重複する領域の画像（Ｇ１０とする）との差分画像を生成する（ステップＳ２９）。次に、制御ユニット１０３は、差分画像に基づいて、タイミングｔ０からタイミングｔ１までの間に、カメラ１０１とカメラ１０２との撮像領域の重複領域内に画像の変化があったか否かを検出する（ステップＳ３０）。次に、制御ユニット１０３は、画像の変化があれば（ステップＳ３１でＹＥＳ）、ステップＳ２２の物体認識の処理に戻って上述した処理と同様の処理を繰り返す。他方、画像の変化がなければ（ステップＳ３１でＮＯ）、ステップＳ２２〜Ｓ２７をスキップして、ステップＳ２８に戻って次の撮像タイミングの到来を待つ。上記ステップＳ２９は、差分画像検出部とも呼ばれる。上記ステップＳ３０、Ｓ３１は、制御部とも呼ばれる。
【００３９】
このように本実施形態によれば、複数のカメラの重複する撮像領域に変化がなければ、物体認識、視点変換、立体物認識等の処理を無駄に実施しない効果がある。
【００４０】
また車両が所定距離移動する毎に撮影を行う特許文献２に記載の方法では、停止した車両に接近してくる歩行者等の位置をリアルタイムに検出することが困難である。これに対して本実施形態では、車両が停止している場合であっても歩行者等が接近してくると画面に変化が発生し、速やかに物体認識等の処理が行われる。そのため、画面変化の無い期間に無駄な処理が行われるのを防止することによって省電力化を図りつつ、移動するオブジェクトが存在する場合にはその位置をリアルタイムに検出することができる。
【００４１】
[第４の実施形態]
図１０を参照すると、本発明の第４の実施形態に係る立体物検出装置４００は、オブジェクト検出部４０１と視点変換部４０２と立体物認識部４０３とを含んでいる。
【００４２】
オブジェクト検出部４０１は、第１のカメラ４１０で第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出するように構成されている。またオブジェクト検出部４０１は、第１のカメラ４１０と撮像領域が重複する重複撮像領域を有する第２のカメラ４１１で第２の監視領域を撮像して得られた第２の画像からオブジェクトを第２のオブジェクトとして検出するように構成されている。オブジェクト検出器４０１は、検出器（ｄｅｔｅｃｔｏｒ）とも呼ぶ。
【００４３】
視点変換部４０２は、上記第１の画像と上記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成するように構成されている。視点変換部４０２は、変換器（ｃｏｎｖｅｒｔｅｒ）とも呼ぶ。
【００４４】
立体物認識部４０３は、上記第１の鳥瞰画像と上記第２の鳥瞰画像とにおける重複撮像領域に出現する第１のオブジェクトと第２のオブジェクトとに基づいて、重複撮像領域から立体物を検出するように構成されている。立体物認識部４０３は、認識器（ｒｅｃｏｇｎｉｚｅｒ）も呼ぶ。
【００４５】
このように構成された立体物検出装置４００は、以下のように動作する。即ち、先ずオブジェクト検出部４０１が、第１のカメラ４１０で第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、第２のカメラ４１１で第２の監視領域を撮像して得られた第２の画像からオブジェクトを第２のオブジェクトとして検出する。次に視点変換部４０２が、第１の画像と第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成する。次に立体物検出部が、第１の鳥瞰画像と第２の鳥瞰画像とにおける重複撮像領域に出現する第１のオブジェクトと第２のオブジェクトとに基づいて、重複撮像領域から立体物を検出する。
【００４６】
本実施形態によれば、物体認識によって認識したオブジェクトに限定して立体物か否かを認識することにより、立体物を検出するのに必要な計算コストを抑えることができる。
【００４７】
[第５の実施形態]
図１５を参照すると、本発明の第５の実施形態に係る立体物検出装置５００は、コンピュータ７０１とプログラム７０４とによって構成される。コンピュータ７０１は、マイクロプロセッサ等で構成されたプロセッサ７０２と、ＲＡＭおよびＲＯＭ等で構成されたメモリ７０３とを備える。プログラム７０４は、コンピュータ７０１の立ち上げ時等にコンピュータ７０１のメモリ７０３に読み取られ、コンピュータ７０１の動作を制御することにより、コンピュータ７０１を、上述した第１乃至第４の実施形態に係る立体物検出装置の検出器、変換器、認識器等として機能させる。
【００４８】
[その他の実施形態]
車両の全周囲を撮像するように複数のカメラを設置しても良い。例えば、図１１に示す例では、前方カメラ５０１と後方カメラ５０２と左側カメラ５０３と右側カメラ５０４との４つのカメラを車両の車体に取り付けている。前方カメラ５０１は、車体前方に取り付けられ、車両の前方を撮像した画像を取得する。後方カメラ５０２は、車体後方に取り付けられ、車両の後方を撮像した画像を取得する。左側カメラ５０３は、車体左側に取り付けられ、車両の左側を撮像した画像を取得する。右側カメラ５０４は、車体右側に取り付けられ、車両の右側を撮像した画像を取得する。この場合、隣接するカメラ間で視野の重複する領域５０５で立体物を認識できる。
【００４９】
また、１つのカメラに対して視野の重複する複数のカメラを設定しても良い。例えば、図１２に示す例では、後方カメラ５１１の視野の左側の領域と重複する視野を有する右側後方カメラ５１２と、後方カメラ５１１の視野の右側の領域と重複する視野を有する左側後方カメラ５１３とを車両の車体に取り付けている。
【００５０】
また、上述した第２の実施形態では、カメラ１０１、１０２の視点変換前の撮像領域における非重複撮像領域から検出したオブジェクトを囲む最外接矩形の下端を、当該オブジェクトの接地点として検出した。しかし、本発明の第５の実施形態に係る立体物検出装置５００として、図１３のフローチャートに示すように、カメラ１０１、１０２の視点変換後の鳥瞰画像における非重複撮像領域から検出したオブジェクトを囲む最外接矩形の下端を、当該オブジェクトの接地点として検出してもよい。即ち、図１３は、ステップＳ１８、Ｓ１９が、ステップＳ１８Ａ、Ｓ１９Ａに置き換えられている点で図７と相違し、それ以外は図７と同じである。
【００５１】
図１３のステップＳ１８Ａでは、制御ユニット１０３は、カメラ１０１で撮像されて得られた画像１１１の鳥瞰画像１２１のうち、カメラ１０２の鳥瞰画像１２２と重複しない非重複撮像領域に、ステップＳ１２において検出されたオブジェクトが含まれている場合、含まれているオブジェクトの最外接矩形の下端を当該オブジェクトの接地点として検出する。同様に制御ユニット１０３は、カメラ１０２で撮像されて得られた画像１１２の鳥瞰画像１２２のうち、カメラ１０１の鳥瞰画像１２１と重複しない非重複撮像領域に、ステップＳ１２において検出されたオブジェクトが含まれている場合、含まれているオブジェクトの最外接矩形の下端を当該オブジェクトの接地点として検出する。
【００５２】
また図１３のステップＳ１９Ａでは、制御ユニット１０３は、上記オブジェクトの接地点の画像上の座標と、カメラ１０１、１０２の設置高と角度、画角から上記オブジェクトの位置やオブジェクトまでの距離を計算する（以下、この方法を第１の距離計算方法と記す）。或いは、図１３のステップＳ１９Ａでは、制御ユニット１０３は、予めカメラ１０１、１０２の設置高と角度、画角から鳥瞰画像の１画素が実世界上の何ｍｍ四方に該当するかを求めておき、その対応関係から、オブジェクトまでの距離を求めてもよい（以下、この方法を第２の距離計算方法と記す）。
【００５３】
図１４は、上記第２の距離計算方法の説明図である。先ず、図１４（ａ）に示すように、鳥瞰画像上の１画素が実世界上の０．５ｃｍ四方に該当する場合、係数を０．５（ｃｍ／ｐｉｘ）として算出し、記憶しておく。次に、鳥瞰画像上のオブジェクトの最外接矩形の下端の座標が例えば（２００，１００）として算出されたとする。すると、制御ユニット１０３は、実世界上におけるオブジェクトの接地点の位置を、次式によって計算する。
Ｘ：２００（ｐｉｘ）×０．５（ｃｍ／ｐｉｘ）＝１００（ｃｍ）
Ｙ：１００（ｐｉｘ）×０．５（ｃｍ／ｐｉｘ）＝５０（ｃｍ）
【００５４】
上記第２の距離計算方法は、第１の実施形態における図３のステップＳ６における距離計算にも利用できる。
【００５５】
上記実施の形態では、車両の周辺を撮像するカメラに本発明を適用した。しかし、本発明は車両に取り付けられるカメラにのみ限定されない。視点が異なり、視野が重複する複数のカメラを用いる場合であれば、例えば店舗や街路に設置された監視カメラにも本発明を適用することができる。
【００５６】
以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。
【００５７】
なお、本発明は、日本国にて２０１７年２月７日に特許出願された特願２０１７−０２０２９２の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
【産業上の利用可能性】
【００５８】
本発明は、立体物を検出する分野に利用でき、特に複数のカメラを使用してそれらの重複撮像領域に存在する立体物を検出する分野に利用できる。
【符号の説明】
【００５９】
１００…立体物検出装置
１０１…カメラ
１０２…カメラ
１０３…制御ユニット
１０４…ディスプレイ
１０５…オブジェクト
１１１…画像
１１２…画像
１１３…オブジェクトの像
１１４…オブジェクトの像
１１５…最外接矩形
１１６…最外接矩形
１２１…鳥瞰画像
１２２…鳥瞰画像
１２３…オブジェクトの像
１２４…オブジェクトの像
１２５…最外接矩形
１２６…最外接矩形
１２７…カメラの位置
１２８…カメラの位置
１３１…カメラ位置を通りオブジェクトの伸長方向と一致する直線
１３２…カメラ位置を通りオブジェクトの伸長方向と一致する直線
１３３…交点
２００…立体物検出装置
３００…立体物検出装置
４００…立体物検出装置
４０１…オブジェクト検出部
４０２…視点変換部
４０３…立体物認識部
４１０…第１のカメラ
４１１…第２のカメラ
５００…立体物検出装置
５０１…前方カメラ
５０２…後方カメラ
５０３…左側カメラ
５０４…右側カメラ
５０５…隣接するカメラ間で視野の重複する領域
５１１…後方カメラ
５１２…右側後方カメラ
５１３…左側後方カメラ
７０１…コンピュータ
７０２…プロセッサ
７０３…メモリ
７０４…プログラム
【図１】
2018146997.tif 000003
【図２】
2018146997.tif 000004
【図３】
2018146997.tif 000005
【図４】
2018146997.tif 000006
【図５】
2018146997.tif 000007
【図６】
2018146997.tif 000008
【図７】
2018146997.tif 000009
【図８】
2018146997.tif 000010
【図９】
2018146997.tif 000011
【図１０】
2018146997.tif 000012
【図１１】
2018146997.tif 000013
【図１２】
2018146997.tif 000014
【図１３】
2018146997.tif 000015
【図１４】
2018146997.tif 000016
【図１５】
2018146997.tif 000017
【手続補正書】
【提出日】令和1年7月22日(2019.7.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出する検出器と、
前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成する変換器と、
前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する認識器と、
を含む立体物検出装置。
【請求項２】
前記認識器は、前記第１の鳥瞰画像における前記第１のカメラの位置から前記重複撮像領域に出現する前記第１のオブジェクトの伸長方向に伸びる第１の仮想線と、前記第２の鳥瞰画像における前記第２のカメラの位置から前記重複撮像領域に出現する前記第１のオブジェクトの伸長方向に伸びる第２の仮想線との交点を前記立体物の接地点として検出する、
請求項１に記載の立体物検出装置。
【請求項３】
前記認識器は、前記第１の画像のうち前記第２の画像と撮像領域が重複しない非重複撮像領域から検出された前記第１のオブジェクトを囲む最外接矩形の下端を、前記非重複撮像領域から検出された前記第１のオブジェクトの接地点として検出する、
請求項１または２に記載の立体物検出装置。
【請求項４】
前記認識器は、前記第１の鳥瞰画像のうち前記第２の鳥瞰画像と撮像領域が重複しない非重複撮像領域から検出された前記第１のオブジェクトを囲む最外接矩形の下端を、前記非重複撮像領域から検出された前記第１のオブジェクトの接地点として検出する、
請求項１または２に記載の立体物検出装置。
【請求項５】
第１の時刻において撮像して得られた前記第１の画像および前記第２の画像に基づいて前記オブジェクトの検出、前記視点変換、および前記立体物の検出が行われた後、第２の時刻において撮像して得られた前記第１の画像の領域のうち前記第２の画像と重複する重複領域の画像と、前記第１の時刻において撮像して得られた前記第１の画像のうち前記第２の画像と重複する重複領域の画像との差分である差分画像を検出する差分検出器と、
前記差分画像に基づいて、前記第２の時刻において撮像して得られた前記第１の画像および前記第２の画像に基づいて前記オブジェクトの検出、前記視点変換、および前記立体物の検出を実施するか否かを制御する制御器と、を更に有する、
請求項１乃至４の何れかに記載の立体物検出装置。
【請求項６】
前記第１のカメラと前記第２のカメラは、同じタイミングで、一定の周期で撮像を行う、
請求項１乃至５の何れかに記載の立体物検出装置。
【請求項７】
第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出し、
前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成し、
前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する、
立体物検出方法。
【請求項８】
前記認識では、前記第１の鳥瞰画像における前記第１のカメラの位置から前記重複撮像領域に出現する前記第１のオブジェクトの伸長方向に伸びる第１の仮想線と、前記第２の鳥瞰画像における前記第２のカメラの位置から前記重複撮像領域に出現する前記第１のオブジェクトの伸長方向に伸びる第２の仮想線との交点を前記立体物の接地点として検出する、
請求項７に記載の立体物検出方法。
【請求項９】
コンピュータを、
第１のカメラで第１の監視領域を撮像して得られた第１の画像からオブジェクトを第１のオブジェクトとして検出し、前記第１のカメラと撮像領域が重複する重複撮像領域を有する第２のカメラで第２の監視領域を撮像して得られた第２の画像から前記オブジェクトを第２のオブジェクトとして検出する検出器と、
前記第１の画像と前記第２の画像とに視点変換を施して第１の鳥瞰画像と第２の鳥瞰画像とを作成する変換器と、
前記第１の鳥瞰画像と前記第２の鳥瞰画像とにおける前記重複撮像領域に出現する前記第１のオブジェクトと前記第２のオブジェクトとに基づいて、前記重複撮像領域から立体物を認識する認識器と、
して機能させるためのプログラム。
【国際調査報告】
2018146997.tif 000018
2018146997.tif 000019
2018146997.tif 000020
2018146997.tif 000021