(57)【要約】  物体検知装置１００は、時系列の魚眼画像を取得する、魚眼画像取得部１０と、フレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つフレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、水平パノラマ画像生成部２０と、水平パノラマ画像から垂直方向のエッジのペアを抽出する、エッジペア抽出部３０と、エッジのペアのエッジ間距離の変化割合を抽出する、変化割合抽出部４０と、エッジのペアを構成する物体の下端の領域を抽出する、下端領域抽出部５０と、物体の下端の領域の水平パノラマ画像上での位置から、物体から魚眼カメラまでの距離を算出し、距離の変化割合を抽出する、距離変化割合抽出部６０と、エッジ間距離の変化割合及び距離の変化割合に基づいて物体が存在しているかどうかを判定する、物体検知部７０とを備える。【選択図】図１
2019069469.tif 000002
【特許請求の範囲】
【請求項１】
魚眼カメラから出力された時系列の魚眼画像を取得する、魚眼画像取得部と、
前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、水平パノラマ画像生成部と、
前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、エッジペア抽出部と、
前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、変化割合抽出部と、
前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、下端領域抽出部と、
前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、距離変化割合抽出部と、
抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、物体検知部と、
を備えたことを特徴とする物体検知装置。
【請求項２】
前記水平パノラマ画像生成部が、
前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
請求項１に記載の物体検知装置。
【請求項３】
前記物体検知部が、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
請求項１または２に記載の物体検知装置。
【請求項４】
前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
請求項１〜３のいずれかに記載の物体検知装置。
【請求項５】
（ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
（ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
（ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
（ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
（ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
（ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
（ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
を有することを特徴とする物体検知方法。
【請求項６】
前記（ｂ）のステップにおいて、
前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
請求項５に記載の物体検知方法。
【請求項７】
前記（ｇ）のステップにおいて、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
請求項５または６に記載の物体検知方法。
【請求項８】
前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
請求項５〜７のいずれかに記載の物体検知方法
【請求項９】
コンピュータに、
（ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
（ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
（ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
（ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
（ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
（ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
（ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項１０】
前記（ｂ）のステップにおいて、
前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
請求項９に記載のコンピュータ読み取り可能な記録媒体。
【請求項１１】
前記（ｇ）のステップにおいて、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
請求項９または１０に記載のコンピュータ読み取り可能な記録媒体。
【請求項１２】
前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
請求項９〜１１のいずれかに記載のコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、魚眼カメラによって得られた画像から物体を検知するための、物体検知装置、及び物体検知方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、車両の駐車時において運転者を支援するため、車両に搭載されているカメラ（以下「車載カメラ」と表記する。）からの映像に基づいて、車両周辺に存在する物体を検知する装置がいくつか開示されている（例えば、特許文献１〜３参照）。【０００３】
具体的には、特許文献１は、車載カメラからの撮像画像に基づいて、道路付属物、例えば道路標識を検出する装置を開示している。特許文献１に開示された装置は、撮影画像中の縦方向に並ぶエッジ画素の頻度をカウントして柱状の柱領域を検出し、更に、画像中の特定の色を有する領域と、特定の形状を有する領域とを検出し、検出した各領域に基づいて、対象となる道路標識を検出する。【０００４】
特許文献２は、車両の前方又は後方を撮影するように配置された車載カメラからの撮影画像に基づいて、障害物を検出する装置を開示している。特許文献２に開示された装置は、撮影画像からエッジ画像を抽出し、抽出したエッジ画像と以前抽出されたエッジ画像とを平均化処理し、平均化処理されたエッジ画像に基づいて、前方又は後方にある障害物を検出する。【０００５】
また、特許文献３も、車載カメラからの撮影画像に基づいて、車両の周辺の物体を検出する装置を開示している。但し、特許文献３に開示された装置では、車載カメラからの撮影画像に対して、別のカメラ視点から撮影した画像となるように、画像変換が行われる。通常、車種により車載カメラの取り付け位置が異なり、物体の見え方が異なるため、本来であれば、車種毎に、物体検出のための識別機を作成する必要があり、コストが上昇するが、特許文献３に開示された装置によれば、このコストの上昇を抑制することができる。【０００６】
このように、特許文献１〜３に開示された装置を車両に搭載すれば、駐車時において、車両の周辺の物体が検出されるため、運転者は安心して駐車を行えると共に、周辺の安全も確保される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１６−１６２４３６号公報
【特許文献２】特開２００５−４４１９６号公報
【特許文献３】特開２０１１−２１００８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した特許文献１〜３に開示された装置には、駐車支援を目的として車両への搭載が進んでいる魚眼カメラと組み合わせた場合に、駐車時に障害となり易いポール等の棒状の物体を検出しにくいという問題がある。以下に具体的に説明する。【０００９】
まず、車両の前方に搭載されたカメラによる物体検知では、上述の特許文献１及び２に開示されているように、撮影画像中の直線的なエッジを手がかりに物体を検出するのが一般的である。そして、この場合の車載カメラにおいては、レンズの視野角が比較的狭いためレンズ歪みが少なく、取り付け角度は水平に近い角度となるので、直線的な垂直エッジ及び水平エッジの抽出は容易である。【００１０】
これに対して、魚眼カメラにおいては、視野角が１８０度を越え、魚眼カメラの映像は、大きな樽型歪みを含んでおり、実空間において本来直線的な線分が映像上では曲がって観測される。そのため、装置において、撮影画像から縦エッジ又は横エッジを抽出することは困難である。【００１１】
また、縦エッジ及び横エッジを抽出しやすくするために、レンズの歪みを補正する処理を前処理として採用することも考えられるが、駐車支援を目的として搭載される車載カメラは、多くの場合、光軸方向が斜め下向きとなるように設置されている。このため、従来からの歪補正方式を採用しても、図１１及び図１２に示すように、射影歪みの大きな画像しか得られないため、依然として垂直エッジ及び水平エッジの抽出は困難である。図１１は、実空間における棒状の物体の一例を示す図である。図１１において、２０１は棒状の物体を示している。図１２は、魚眼レンズで撮影された棒状の物体に対して従来からの歪み補正を行った状態を示す図である。図１２において、３０１は棒状の物体２０１の外形を示す一対の線分を示している。【００１２】
一方に、斜め下向きに向けられているカメラの光軸方向を仮想的に水平方向に向けて、歪みを補正することも可能である。このような補正を行った場合は、図１３に示すように、棒状の物体２０１は垂直方向において真っ直ぐな形状へと画像変換される。図１３は、カメラの光軸方向を仮想的に水平方向とすることで得られた撮影画像の一例を示す図である。しかしながら、図１３に示す補正では、画像変換後の画像の水平方向のサイズが無限であったとしても、視野角１８０度を超える視野を１枚の画像で表現することはできないため、このような補正は、車両に搭載する物体検出装置には不向きである。【００１３】
また、特許文献３に開示された技術では、物体の形状と実空間上での存在位置とを仮定することにより、別のカメラ視点から見たときの見え方に似せた画像を生成している。このため、特許文献３に開示された技術を採用して画像変換を行うためには、物体の存在位置をさまざまに仮定する必要があり、試行錯誤が必要となるという問題がある。【００１４】
本発明の目的の一例は、上記問題を解消し、魚眼カメラを用いた場合であっても、撮影画像からの棒状の物体の検知を容易に行えるようにし得る、物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００１５】
上記目的を達成するため、本発明の一側面における物体検知装置は、
魚眼カメラから出力された時系列の魚眼画像を取得する、魚眼画像取得部と、
前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、水平パノラマ画像生成部と、
前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、エッジペア抽出部と、
前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、変化割合抽出部と、
前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、下端領域抽出部と、
前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、距離変化割合抽出部と、
抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、物体検知部と、
を備えたことを特徴とする。【００１６】
また、上記目的を達成するため、本発明の一側面における物体検知方法は、
（ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
（ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
（ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
（ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
（ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
（ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
（ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
を有することを特徴とする。【００１７】
更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
（ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
（ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
（ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
（ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
（ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
（ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
【発明の効果】
【００１８】
以上のように、本発明によれば、魚眼カメラを用いた場合であっても、撮影画像からの棒状の物体の検知を容易に行うことができる。
【図面の簡単な説明】
【００１９】
【図１】図１は、本発明の実施の形態における物体検知装置の概略構成を示すブロック図である。
【図２】図２は、本発明の実施の形態における物体検知装置の構成をより具体的に示すブロック図である。
【図３】図３は、本発明の実施の形態において対象となる魚眼画像の一例を模式的に示した図である。
【図４】図４は、本発明の実施の形態において定義される平行化視点座標系の一例を示す図である。
【図５】図５は、平行化視点が異なる２つの透視投影補正画像と、これら透視投影補正画像から得られる水平パノラマ画像とを示している。
【図６】図６は、本発明の実施の形態において処理対象となる魚眼画像の一例とそれから生成された水平パノラマ画像の一例とを示す図である。
【図７】図７は、魚眼カメラで撮影された実空間を上方から俯瞰した場合に得られるイメージを示す図である。
【図８】図８は、図７に示された実空間の水平パノラマ画像を示す図である。
【図９】図９は、本発明の実施の形態における物体検知装置の動作を示すフロー図である。
【図１０】図１０は、本発明の実施の形態における物体検知装置を実現するコンピュータの一例を示すブロック図である。
【図１１】図１１は、実空間における棒状の物体の一例を示す図である。
【図１２】図１２は、魚眼レンズで撮影された棒状の物体に対して従来からの歪み補正を行った状態を示す図である。
【図１３】図１３は、カメラの光軸方向を仮想的に水平方向とすることで得られた、魚眼レンズの撮影画像の一例を示す図である。
【発明を実施するための形態】
【００２０】
（実施の形態）
以下、本発明の実施の形態における、物体検知装置、物体検知方法、及びコンピュータ読み取り可能な記録媒体について、図１〜図１０を参照しながら説明する。
【００２１】
［装置構成］
最初に、本実施の形態における物体検知装置の概略構成について説明する。図１は、本発明の実施の形態における物体検知装置の概略構成を示すブロック図である。
【００２２】
図１に示す、本実施の形態における物体検知装置１００は、魚眼カメラから出力された時系列の魚眼画像から、物体を検知するための装置である。図１に示すように、物体検知装置１００は、魚眼画像取得部１０と、水平パノラマ画像生成部２０と、エッジペア抽出部３０と、変化割合抽出部４０と、下端領域抽出部５０と、距離変化割合抽出部６０と、物体検知部７０とを備えている。
【００２３】
魚眼画像取得部１０は、魚眼カメラから出力された時系列の魚眼画像を取得する。水平パノラマ画像生成部２０は、時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する。
【００２４】
エッジペア抽出部３０は、フレーム毎に、水平パノラマ画像から、垂直方向のエッジのペアを抽出する。変化割合抽出部４０は、フレーム間における、抽出されたエッジのペア（以下「エッジペア」と表記する。）のエッジ間距離の変化割合を抽出する。
【００２５】
下端領域抽出部５０は、フレーム毎に、エッジペアを構成していると予測される物体の下端に相当する領域を抽出する。距離変化割合抽出部６０は、フレーム毎に、物体の下端に相当する領域の水平パノラマ画像上での位置から物体から魚眼カメラまでの距離を算出する。また、距離変化割合抽出部６０は、フレーム間における、物体から魚眼カメラまでの距離の変化割合を抽出する。
【００２６】
物体検知部７０は、変化割合抽出部４０によって抽出されたエッジ間距離の変化割合、及び距離変化割合抽出部６０によって抽出された物体から魚眼カメラまでの距離の変化割合に基づいて、物体が存在しているかどうかを判定する。
【００２７】
このように、本実施の形態では、魚眼カメラから出力された魚眼画像から、実空間における鉛直方向がフレームの垂直方向に沿って表現された水平パノラマ画像が生成される。このため、垂直方向のエッジのペアを容易に抽出できる。また、水平パノラマ画像では、フレームの水平方向において方位が等角で表現されるので、視野角１８０度を視野も一枚の画像で表現される。このため、本実施の形態によれば、魚眼カメラを用いた場合であっても、撮影画像からの棒状の物体の検知を容易に行うことができる。
【００２８】
続いて、図２を用いて、本実施の形態における物体検知装置１００をより具体的に説明する。図２は、本発明の実施の形態における物体検知装置の構成をより具体的に示すブロック図である。
【００２９】
図２に示すように、本実施の形態においては、物体検知装置１００は、魚眼カメラ８０に接続されている。魚眼カメラ８０は、光学系として魚眼レンズ系を備えた撮像装置である。魚眼カメラ８０は、設定されたフレームレートで、撮影画像（魚眼画像）を出力する。また、魚眼カメラ８０は、車両において、車両の周辺に存在する棒状の物体の検知を可能とするため、光軸方向が、水平面から鉛直方向下向きに傾斜した方向（斜め下方の方向）になるように、配置されている。なお、魚眼カメラ８０は、車両のどの位置に配置されていても良い。
【００３０】
水平パノラマ画像生成部２０は、本実施の形態では、俯角を持った魚眼カメラ８０による画像から、光軸が水平方向を向いたカメラを水平面上で１８０度前後回転させた場合に得られる画像（水平パノラマ画像）を生成する。このため、水平パノラマ画像生成部２０は、視点補償ベクトル生成部２１と、画像生成部２２とを備えている。
【００３１】
視点補償ベクトル生成部２１は、検知対象となる物体の接地面に平行な面を基準とした、魚眼カメラ８０の光軸回りのロール角及び光軸のピッチ角に基づいて、フレームを、物体を接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成する。なお、魚眼カメラ８０のロール角及びピッチ角は、設定値であっても良いし、車両に取り付けられたセンサから取得された値であっても良い。
【００３２】
具体的には、視点補償ベクトル生成部２１は、視点補償ベクトルとして、魚眼カメラ８０の光軸ベクトルと物体の接地面に平行なベクトルとの相対ベクトルを生成する。また、この相対ベクトルは、２つの座標系間の回転を表現するベクトルである。回転の表現手法としては、一般に、Ｑｕａｔｅｒｎｉｏｎ、オイラー角表現などが挙げられ、本実施の形態では、いずれの表現手法が採用されていてもよい。
【００３３】
画像生成部２２は、まず、視点補償ベクトルを用いて変換されたフレームに対して、その水平方向に沿って、接地面に平行な視点を複数設定する。また、画像生成部２２は、設定された視点毎に、変換後のフレームに対して、各視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行なう。更に、画像生成部２２は、補正後のフレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを水平パノラマ画像とする。
【００３４】
具体的には、画像生成部２２は、まず、魚眼画像のフレームに対し、視点補償ベクトルＶを用いて、平行化視点の集合を設定する。次いで、画像生成部２２は、水平方向の視野範囲を任意に分割し、各平行化視点の集合（平行化視点列）のそれぞれの平行化視点座標系において、透視投影近似による歪補正を実行する。そして、画像生成部２２は、各視点の中心を通る垂直方向の画像要素を、平行化視点列の順序で水平方向に並べ、これらを連結することで、一枚の合成画像を生成する。
【００３５】
ここで、画像生成部２２の処理について、図３〜図５を用いてより詳細に説明する。図３は、本発明の実施の形態において対象となる魚眼画像の一例を模式的に示した図である。図４は、本発明の実施の形態において定義される平行化視点座標系の一例を示す図である。図５は、平行化視点が異なる２つの透視投影補正画像と、これら透視投影補正画像から得られる水平パノラマ画像とを示している。
【００３６】
図３の例では、魚眼画像ＩＦには、地面を接地面として、下向きの視点で撮影された人物（Person A、Person B、PersonC）が写っている。画像生成部２２は、図４に示すように、視点補償ベクトルＶを用いて平行化視点φｎの集合を設定し、更に、平行化視点φｎ毎に、平行化視点座標系を設定して、透視投影近似による歪補正を実行する。これにより、平行化視点φｎ毎に、透視投影補正画像ＩＰ（φｎ）が設定される。
【００３７】
なお、ｎは、平行化視点の個数を示す自然数であり、図４中のｉ及びｊは、ｎ以下の自然数を示している。また、図４において、Ｏ（φｎ）は、視点補償ベクトルの限定を示し、ｚ（φｎ）は、各平行化視点を通る視線を示している。また、ｕ（φｎ）及びｖ（φｎ）は、平行化視点座標系における各軸を示している。
【００３８】
また、画像生成部２２は、図５に示すように、透視投影補正画像ＩＰ（φｎ）の中心部分を垂直方向においてスライスして、スライス画像ＩＳ（φｎ）を切り出する。このスライス画像ＩＳ（φｎ）が、各視点の中心を通る垂直方向の画像要素となる。その後、画像生成部２２は、各スライス画像ＩＳ（φｎ）を合成して１つのフレームとする。これにより、最終的な水平パノラマ画像が生成される。
【００３９】
このようにして得られた水平パノラマ画像は、下記の（１）〜（３）に示す特徴的な性質を有している。以下に、図６〜図８を用いて、水平パノラマ画像の特徴的な性質（１）〜（３）について説明する。図６は、本発明の実施の形態において処理対象となる魚眼画像の一例とそれから生成された水平パノラマ画像の一例とを示す図である。図７は、魚眼カメラで撮影された実空間を上方から俯瞰した場合に得られるイメージを示す図である。図８は、図７に示された実空間の水平パノラマ画像を示す図である。
【００４０】
（１）図６に示すように、魚眼画像では、棒状の物体２０１の外縁は、一対の曲がった線分３０１として観測される。これに対して、水平パノラマ画像は、スライス画像ＩＳ（φｎ）を合成して生成されているため、水平パノラマ画像では、棒状の物体２０１の外縁は、一対の直線状の線分４０１として観測される。水平パノラマ画像では、実空間上で鉛直方向を向いた線分は、垂直方向を向いた線分に変換される。
【００４１】
（２）水平パノラマ画像では、１枚の画像によって、１８０度を越える魚眼画像の広い視野が網羅されており、且つ、水平方向のスケール歪みが排除されている。更に、水平パノラマ画像におけるｘ座標は、カメラを水平面上で仮想的に回転させた場合のカメラ方位と１対１で対応する。
【００４２】
具体的には、図７に示すように、実空間において、魚眼カメラ８０の光学中心６０１を中心とした仮想の円６０２を想定し、この仮想の円周上の９時の位置６０３から３時の位置６０４までに、３０度刻みで点Ａ〜Ｇが存在しているとする。この図７に示す実空間の魚眼画像から、水平パノラマ画像を生成すると、図８に示す通りとなる。つまり、図８に示すように、点Ａ〜Ｇのｘ座標は、図７に示した点Ａ〜Ｇの方位と１対１で対応し、各方位はｘ軸上に均等に割り当てられる。
【００４３】
（３）実空間（路面座標系上）における魚眼カメラ８０から物体までの距離は、水平パノラマ画像におけるy座標と１対１で対応する。
【００４４】
具体的には、図７に示すように、光学中心６０１を中心とした仮想の円６０５と仮想の円６０６とを想定する。このとき、円６０２、円６０５，円６０６それぞれの半径をｒ１、ｒ２、ｒ３とすると、ｒ１＞ｒ２＞ｒ３の関係にある。この場合において、円６０２の円周上の点は、図８に示すように、水平パノラマ画像において、水平線７０１上にある。同様に、円６０５の円周上の点は、水平線７０２上にあり、円６０６の円周上の点は、水平線７０３上にある。つまり、魚眼カメラから物体までの距離は、水平パノラマ画像におけるy座標と１対１で対応する
【００４５】
なお、実空間での光学中心６０１からの距離と、水平パノラマ画像上でのy座標との関係は、魚眼カメラの内部パラメータ、外部パラメータ、水平パノラマ画像のサイズ、水平パノラマ画像の解像度等によって、一意に決定される。
【００４６】
そして、エッジペア抽出部３０、変化割合抽出部４０、下端領域抽出部５０、距離変化割合抽出部６０、及び物体検知部７０それぞれによる処理は、上記の（１）〜（３）の特徴的性質を活用することによって行われる。
【００４７】
エッジペア抽出部３０は、本実施の形態においては、水平パノラマ画像にエッジ抽出処理を適用し、画像上の垂直方向を向いたエッジを抽出する。更に、エッジペア抽出部３０は、抽出したエッジの近傍に位置する別の垂直方向を向いたエッジも抽出し、両者をエッジペアとし、エッジペアの存在する矩形の領域を出力する。
【００４８】
なお、エッジペアの抽出方法としては、オーソドックスに局所的なエッジ抽出フィルタを適用してエッジ画素を求め、その後、直線抽出アルゴリズムを適用する方法が挙げられる。また、ニューラルネットワーク等を用いて直接エッジペアの画素位置を求める方法も挙げられる。また、エッジペア抽出部３０は、複数組のエッジペアを抽出することもできる。その場合は、各ペアについて、以降の処理が独立に実行されれば良い。
【００４９】
変化割合抽出部４０は、本実施の形態では、エッジペア抽出部３０が抽出したエッジペアのエッジ間の距離をフレーム毎に画像上においてピクセル単位で特定し、そして、例えば、２フレーム分のエッジ間の距離の差分を求め、求めた差分から、エッジ間距離の変化割合を抽出する。なお、エッジ間距離の差分は、３フレーム以上を用いて求められていても良い。
【００５０】
下端領域抽出部５０は、本実施の形態では、エッジペア抽出部３０によって出力された矩形の境域の画面下側の部分の周辺を探索し、棒状の物体の下端に該当する領域を抽出し、抽出した領域の位置を特定する。
【００５１】
具体的には、通常、棒状の物体の下端は、水平パノラマ画像上では、下側に凸の円弧形状といった特有の形状を有している。このため、下端領域抽出部５０は、まず、矩形の領域の画面下側の部分の周辺領域において、エッジ特徴抽出を実行する。次いで、下端領域抽出部５０は、エッジ特徴抽出によって抽出されたエッジに対して、事前に棒状の物体の下端の形状を学習した識別器を用いて、スライディングウィンドウ処理を実行し、棒状の物体の下端に該当するエッジを特定し、特定したエッジの水平パノラマ画像上での座標を特定する。なお、識別器の出力する確信度又は類似度の値が、所定の閾値を上回らない場合は、下端領域抽出部５０は、棒状の物体は存在していないと判断する。
【００５２】
距離変化割合抽出部６０は、本実施の形態では、まず、下端領域抽出部５０によって抽出された、棒状の物体の下端に該当する領域の水平パノラマ画像上での座標から、棒状の物体から魚眼カメラ８０での距離を算出する。
【００５３】
具体的には、図７に示したように、魚眼カメラ８０から物体までの距離は、水平パノラマ画像におけるy座標と１対１で対応し、更に、この距離とｙ座標との関係は一位に決定されている。このため、距離変化割合抽出部６０は、この距離とｙ座標との関係を用いて、棒状の物体の下端に該当する領域の水平パノラマ画像上での座標を、魚眼カメラ８０から物体までの距離に変換する。
【００５４】
また、魚眼カメラ８０から物体までの距離とｙ座標との関係は、例えば、距離とｙ座標との具体的な数値の組合せによって作成されたルックアップテーブルによって提供されていても良い。
【００５５】
次に、距離変化割合抽出部６０は、変化割合抽出部４０による抽出対象となったフレームを対象として、フレーム間における、魚眼カメラ８０から棒状の物体までの距離の差分を求め、求めた差分から、魚眼カメラ８０から棒状の物体までの距離の変化割合を抽出する。なお、上述したように、抽出対象となったいずれかのフレームについて、下端領域抽出部５０が、棒状の物体が存在していないと判断した場合は、距離変化割合抽出部６０は、距離の変化割合は抽出不可能であると判断する。
【００５６】
物体検知部７０は、上述したように、エッジペア間距離の変化割合と、物体からから魚眼カメラ８０までの距離の変化割合とに基づいて、物体が存在しているかどうかを判定する。以下に具体的に説明する。
【００５７】
まず、エッジペアの間隔は、２つのエッジに対応する物体の側面の方位差、いいかえると角度に比例する。また、円弧の半径ｒと、中心角θと、円弧長ｌとの間にはｌ＝ｒ×θという比例関係がある。従って、円弧長ｌを棒状の物体の直径と近似し、円弧長ｌは普遍であると考える。そして、中心角θをエッジ間間隔ｗで置き換え、もし、変化割合抽出部４０が抽出したエッジペアが真に棒状の物体の両側面に対応し、下端領域抽出部５０が抽出した位置が真に棒状の物体の下端に対応するとする。このような場合、エッジペア間距離の変化割合と、物体から魚眼カメラ８０までの距離の変化割合とは、逆比例の関係となるはずである。
【００５８】
そこで、物体検知部７０は、エッジペア間距離の変化割合と、物体から魚眼カメラ８０までの距離の変化割合との積が、所定の範囲内に収まる場合は、このエッジペアおよび下端が棒状の物体に対応するものと考えて、棒状の物体が存在すると判断する。逆に、エッジペア間距離の変化割合と、物体から魚眼カメラ８０までの距離の変化割合との積が、所定の範囲内に収まらない場合、エッジペア又は下端の位置が発見できていない場合は、物体検知部７０は、棒状の物体は存在しないものと判断する。
【００５９】
［装置動作］
次に、本実施の形態における物体検知装置１００の動作について図９を用いて説明する。図９は、本発明の実施の形態における物体検知装置の動作を示すフロー図である。以下の説明においては、適宜図１を参酌する。また、本実施の形態では、物体検知装置１００を動作させることによって、物体検知方法が実施される。よって、本実施の形態における物体検知方法の説明は、以下の物体検知装置１００の動作説明に代える。
【００６０】
図９に示すように、最初に、魚眼画像取得部１０が、魚眼カメラ８０から出力された時系列の魚眼画像を取得し、取得した時系列の魚眼画像を水平パノラマ画像生成部２０に入力する（ステップＳ１）。
【００６１】
次に、水平パノラマ画像生成部２０は、ステップＳ１で取得された時系列の魚眼画像を、それを構成するフレーム毎に、水平パノラマ画像に変換する（ステップＳ２）。
【００６２】
具体的には、ステップＳ２では、視点補償ベクトル生成部２１が、まず、視点補償ベクトルを生成する。次いで、画像生成部２２が、視点補償ベクトルを用いて変換されたフレームに対して、その水平方向に沿って、接地面に平行な視点を複数設定する。続いて、画像生成部２２は、設定された視点毎に、変換後のフレームに対して、各視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行なう。更に、画像生成部２２は、補正後のフレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを水平パノラマ画像とする。
【００６３】
次に、エッジペア抽出部３０は、フレーム毎に、水平パノラマ画像から、垂直方向を向いたエッジのペアを抽出する（ステップＳ３）。
【００６４】
次に、変化割合抽出部４０は、フレーム毎に、ステップＳ３で抽出されたエッジペアのエッジ間距離を特定し、そして、フレーム間における、エッジ間距離の変化割合を抽出する（ステップＳ４）。
【００６５】
次に、下端領域抽出部５０は、フレーム毎に、エッジペアを構成していると予測される物体の下端に相当する領域を抽出し、抽出した領域の水平パノラマ画像上での位置を特定する。（ステップＳ５）。
【００６６】
次に、距離変化割合抽出部６０は、フレーム毎に、ステップＳ５で特定した位置から物体から魚眼カメラ８０までの距離を算出し、更に、ステップＳ４と同じフレーム間において、物体から魚眼カメラ８０までの距離の変化割合を抽出する（ステップＳ６）。
【００６７】
その後、物体検知部７０は、ステップＳ４によって抽出されたエッジ間距離の変化割合と、ステップＳ６によって抽出された物体から魚眼カメラ８０までの距離の変化割合とに基づいて、物体が真に存在するか否かを判定する（ステップＳ７）。
【００６８】
［実施の形態における効果］
以上のように、本実施の形態によれば、魚眼カメラを用いた場合であっても、棒状の物体を容易に検知することができる。この理由としては、水平パノラマ画像では、実空間上における鉛直方向に伸びる物体は、垂直方向を向き、エッジを容易に抽出できることが挙げられる。また、水平パノラマ画像では、エッジペアにおけるエッジ間距離の変化割合と、物体から魚眼カメラまでの距離の変化割合とを容易に抽出でき、且つ、両者の間に略反比例の関係をあることに基づいて物体の有無を判定できることも挙げられる。
【００６９】
更に、本実施の形態では、エッジペアのエッジ間距離の変化割合と、物体から魚眼カメラまでの距離の変化割合との関係性を検証することにより、抽出されたエッジペアが、実際の棒状の物体から抽出されているかどうかを高精度に判定することもできる。
【００７０】
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図９に示すステップＳ１〜Ｓ７を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における物体検知装置１００と物体検知方法とを実現することができる。この場合、コンピュータのプロセッサは、魚眼画像取得部１０、水平パノラマ画像生成部２０、エッジペア抽出部３０、変化割合抽出部４０、下端領域抽出部５０、距離変化割合抽出部６０、及び物体検知部７０として機能し、処理を行なう。また、コンピュータとしては、自動車に搭載されるコンピュータが挙げられるが、本実施の形態では、コンピュータはこれに限定されることはない。コンピュータは、汎用のコンピュータであっても良いし、家電、作業用機器等に搭載されるコンピュータであっても良い。
【００７１】
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、魚眼画像取得部１０、水平パノラマ画像生成部２０、エッジペア抽出部３０、変化割合抽出部４０、下端領域抽出部５０、距離変化割合抽出部６０、及び物体検知部７０のいずれかとして機能しても良い。
【００７２】
ここで、本実施の形態におけるプログラムを実行することによって、物体検知装置１００を実現するコンピュータについて図１０を用いて説明する。図１０は、本発明の実施の形態における物体検知装置を実現するコンピュータの一例を示すブロック図である。
【００７３】
図１０に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
【００７４】
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
【００７５】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【００７６】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【００７７】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact DiskRead Only Memory）などの光学記録媒体が挙げられる。
【００７８】
なお、本実施の形態における物体検知装置１００は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、物体検知装置１００は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【００７９】
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
【００８０】
（付記１）
魚眼カメラから出力された時系列の魚眼画像を取得する、魚眼画像取得部と、
前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、水平パノラマ画像生成部と、
前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、エッジペア抽出部と、
前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、変化割合抽出部と、
前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、下端領域抽出部と、
前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、距離変化割合抽出部と、
抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、物体検知部と、
を備えたことを特徴とする物体検知装置。
【００８１】
（付記２）
前記水平パノラマ画像生成部が、
前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
付記１に記載の物体検知装置。
【００８２】
（付記３）
前記物体検知部が、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
付記１または２に記載の物体検知装置。
【００８３】
（付記４）
前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
付記１〜３のいずれかに記載の物体検知装置
【００８４】
（付記５）
（ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
（ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
（ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
（ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
（ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
（ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
（ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
を有することを特徴とする物体検知方法。
【００８５】
（付記６）
前記（ｂ）のステップにおいて、
前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
付記５に記載の物体検知方法。
【００８６】
（付記７）
前記（ｇ）のステップにおいて、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
付記５または６に記載の物体検知方法。
【００８７】
（付記８）
前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
付記５〜７のいずれかに記載の物体検知方法
【００８８】
（付記９）
コンピュータに、
（ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
（ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
（ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
（ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
（ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
（ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
（ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【００８９】
（付記１０）
前記（ｂ）のステップにおいて、
前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
付記９に記載のコンピュータ読み取り可能な記録媒体。
【００９０】
（付記１１）
前記（ｇ）のステップにおいて、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
付記９または１０に記載のコンピュータ読み取り可能な記録媒体。
【００９１】
（付記１２）
前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
付記９〜１１のいずれかに記載のコンピュータ読み取り可能な記録媒体。
【００９２】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用可能性】
【００９３】
以上のように、本発明によれば、魚眼カメラを用いた場合であっても、撮影画像からの棒状の物体の検知を容易に行うことができる。本発明は、魚眼カメラが用いられる種々の分野に有用である。
【符号の説明】
【００９４】
１０  魚眼画像取得部
２０  水平パノラマ画像生成部
２１  視点補償ベクトル生成部
２２  画像生成部
３０  エッジペア抽出部
４０  変化割合抽出部
５０  下端領域抽出部
６０  距離変化割合抽出部
７０  物体検知部
１００  物体検知装置
１１０  コンピュータ
１１１  ＣＰＵ
１１２  メインメモリ
１１３  記憶装置
１１４  入力インターフェイス
１１５  表示コントローラ
１１６  データリーダ／ライタ
１１７  通信インターフェイス
１１８  入力機器
１１９  ディスプレイ装置
１２０  記録媒体
１２１  バス
２０１  棒状の物体
３０１  魚眼画像上における曲がった線分
４０１  水平パノラマ画像上の直線状の線分
６０１  光学中心（魚眼カメラの位置を鉛直方向に沿って地面に投射した位置）
６０２、６０５、６０６  仮想の円
６０３  光学中心からみた９時の方位
６０４  光学中心からみた３時の方位
６０５、６０６  光学中心からの等距離線の一例
７０１、７０２、７０３  水平線
【図１】
2019069469.tif 000003
【図２】
2019069469.tif 000004
【図３】
2019069469.tif 000005
【図４】
2019069469.tif 000006
【図５】
2019069469.tif 000007
【図６】
2019069469.tif 000008
【図７】
2019069469.tif 000009
【図８】
2019069469.tif 000010
【図９】
2019069469.tif 000011
【図１０】
2019069469.tif 000012
【図１１】
2019069469.tif 000013
【図１２】
2019069469.tif 000014
【図１３】
2019069469.tif 000015
【手続補正書】
【提出日】令和2年3月27日(2020.3.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
魚眼カメラから出力された時系列の魚眼画像を取得する、魚眼画像取得部と、
前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、水平パノラマ画像生成部と、
前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、エッジペア抽出部と、
前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、変化割合抽出部と、
前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、下端領域抽出部と、
前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、距離変化割合抽出部と、
抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、物体検知部と、
を備えたことを特徴とする物体検知装置。
【請求項２】
前記水平パノラマ画像生成部が、
前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
請求項１に記載の物体検知装置。
【請求項３】
前記物体検知部が、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
請求項１または２に記載の物体検知装置。
【請求項４】
前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
請求項１〜３のいずれかに記載の物体検知装置。
【請求項５】
（ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
（ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
（ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
（ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
（ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
（ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
（ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
を有することを特徴とする物体検知方法。
【請求項６】
前記（ｂ）のステップにおいて、
前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
請求項５に記載の物体検知方法。
【請求項７】
前記（ｇ）のステップにおいて、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
請求項５または６に記載の物体検知方法。
【請求項８】
前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
請求項５〜７のいずれかに記載の物体検知方法
【請求項９】
コンピュータに、
（ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
（ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
（ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
（ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
（ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
（ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
（ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
を実行させる、プログラム。
【請求項１０】
前記（ｂ）のステップにおいて、
前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
請求項９に記載のプログラム。
【請求項１１】
前記（ｇ）のステップにおいて、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
請求項９または１０に記載のプログラム。
【請求項１２】
前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
請求項９〜１１のいずれかに記載のプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、魚眼カメラによって得られた画像から物体を検知するための、物体検知装置、及び物体検知方法に関し、更には、これらを実現するためのプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明の目的の一例は、上記問題を解消し、魚眼カメラを用いた場合であっても、撮影画像からの棒状の物体の検知を容易に行えるようにし得る、物体検知装置、物体検知方法、及びプログラムを提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
（ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
（ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
（ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
（ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
（ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
（ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
を実行させる、プログラム。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
（付記９）
コンピュータに、
（ａ）魚眼カメラから出力された時系列の魚眼画像を取得する、ステップと、
（ｂ）前記時系列の魚眼画像を、それを構成するフレーム毎に、実空間における鉛直方向がフレームの垂直方向に沿って表現され、且つ、フレームの水平方向において方位が等角で表現されている、水平パノラマ画像に変換する、ステップと、
（ｃ）前記フレーム毎に、前記水平パノラマ画像から、垂直方向のエッジのペアを抽出する、ステップと、
（ｄ）前記フレーム間における、抽出された前記エッジのペアのエッジ間距離の変化割合を抽出する、ステップと、
（ｅ）前記フレーム毎に、前記エッジのペアを構成していると予測される物体の下端に相当する領域を抽出する、ステップと、
（ｆ）前記フレーム毎に、前記物体の下端に相当する領域の前記水平パノラマ画像上での位置から前記物体から前記魚眼カメラまでの距離を算出し、前記フレーム間における、前記物体から前記魚眼カメラまでの距離の変化割合を抽出する、ステップと、
（ｇ）抽出された、前記エッジ間距離の変化割合、及び前記物体から前記魚眼カメラまでの距離の変化割合に基づいて、前記物体が存在しているかどうかを判定する、ステップと、
を実行させる、プログラム。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８９
【補正方法】変更
【補正の内容】
【００８９】
（付記１０）
前記（ｂ）のステップにおいて、
前記物体の接地面に平行な面を基準とした、前記魚眼カメラの光軸回りのロール角及び光軸のピッチ角に基づいて、前記フレームを、前記物体を前記接地面に平行な方向から撮影して得られる画像に変換する、視点補償ベクトルを生成し、
取得した前記視点補償ベクトルを用いて変換された前記フレームに対して、その水平方向に沿って、前記接地面に平行な視点を複数設定し、
設定された前記視点毎に、変換後の前記フレームに対して、当該視点からの視線を軸に含む座標系に基づいて、透視投影近似による歪み補正を行ない、
補正後の前記フレームそれぞれから抽出された垂直方向の画像要素を用いて、１つの新たなフレームを生成し、これを前記水平パノラマ画像とする、
付記９に記載のプログラム。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
（付記１１）
前記（ｇ）のステップにおいて、前記エッジ間距離の変化割合と、前記物体から前記魚眼カメラまでの距離の変化割合とが反比例の関係にあるときに、前記物体が存在するものと判定する、
付記９または１０に記載のプログラム。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
（付記１２）
前記魚眼カメラは、車両において、光軸方向が、水平面から鉛直方向下向きに傾斜した方向となるように、配置されている、
付記９〜１１のいずれかに記載のプログラム。
【手続補正１０】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2019069469.tif 000016
【国際調査報告】
2019069469.tif 000017
2019069469.tif 000018