(57)【要約】【課題】演算負荷を低減して物体の検出時間を短くしつつ物体検出精度を落とさないようにする物体検出装置及び物体検出方法。【解決手段】画像の横方向の軸と画像の縦方向の軸とからなる第１座標系に沿って所定の輝度勾配を有する歪みのない参照勾配画像を、歪みのある画像の横方向の軸と画像の縦方向の軸とからなる第２座標系のそれぞれの軸に基づき２つの歪み参照勾配画像として変換し、２つの歪み参照勾配画像それぞれを、第２座標系の横方向及び縦方向についてそれぞれ微分することで４つの微分画像を保持する微分画像保持部１３２と、４つの微分画像に基づき撮像手段で撮像された歪みのある画像の第２座標系の横方向及び縦方向の輝度勾配を求める輝度勾配演算部１３７と、輝度勾配演算部が求めた輝度勾配に基づいて物体を検出する物体検出部１５とを備える。【選択図】図３
2014115706.tif 000002
【特許請求の範囲】
【請求項１】
広角レンズを装着した撮像手段で撮像した歪みのある撮像画像内の所定の輝度勾配から物体を検出する物体検出装置であって、
画像の横方向の軸と画像の縦方向の軸とからなる第１座標系に沿って所定の輝度勾配を有する歪みのない参照勾配画像を、前記歪みのある画像の横方向の軸と画像の縦方向の軸とからなる第２座標系のそれぞれの軸に基づき、２つの歪み参照勾配画像として変換し、
前記２つの歪み参照勾配画像それぞれを、前記第２座標系の横方向及び縦方向についてそれぞれ微分することで、４つの微分画像を保持する微分画像保持部と、
前記微分画像保持部が保持する４つの微分画像に基づき、前記撮像手段で撮像された歪みのある画像の前記第２座標系の横方向及び縦方向の輝度勾配を求める輝度勾配演算部と、
前記輝度勾配演算部が求めた輝度勾配に基づいて、物体を検出する物体検出部と
を有する物体検出装置。
【請求項２】
前記参照勾配画像を生成する勾配画像生成部と、
前記第２座標系と実空間の座標系との対応付けに基づき前記勾配画像生成部で生成された前記参照勾配画像を前記実空間の座標系の勾配画像に変換し変換された実空間の座標系の勾配画像を前記第２座標系に投影して前記第２座標系の横方向及び縦方向の歪み参照勾配画像を生成する画像投影部と、
前記画像投影部の横方向及び縦方向の歪み参照勾配画像に基づき前記横方向の歪み参照勾配画像を横方向に微分し前記横方向の歪み参照勾配画像を縦方向に微分し前記縦方向の歪み参照勾配画像を横方向に微分し前記縦方向の歪み参照勾配画像を縦方向に微分して前記４つの微分画像を得る微分演算部と、
を備えることを特徴とする請求項１記載の物体検出装置。
【請求項３】
広角レンズを装着した撮像手段で撮像した歪みのある撮像画像内の所定の輝度勾配から物体を検出する物体検出方法であって、
画像の横方向の軸と画像の縦方向の軸とからなる第１座標系に沿って所定の輝度勾配を有する歪みのない参照勾配画像を、前記歪みのある画像の横方向の軸と画像の縦方向の軸とからなる第２座標系のそれぞれの軸に基づき、２つの歪み参照勾配画像として変換し、
前記２つの歪み参照勾配画像それぞれを、前記第２座標系の横方向及び縦方向についてそれぞれ微分することで、４つの微分画像を保持する微分画像保持ステップと、
前記４つの微分画像に基づき、前記撮像手段で撮像された歪みのある画像の前記第２座標系の横方向及び縦方向の輝度勾配を求める輝度勾配演算ステップと、
前記求められた輝度勾配に基づいて、物体を検出する物体検出ステップと
を有する物体検出方法。
【請求項４】
前記参照勾配画像を生成する勾配画像生成ステップと、
前記第２座標系と実空間の座標系との対応付けに基づき前記勾配画像生成ステップで生成された前記参照勾配画像を前記実空間の座標系の勾配画像に変換し変換された実空間の座標系の勾配画像を前記第２座標系に投影して前記第２座標系の横方向及び縦方向の歪み参照勾配画像を生成する画像投影ステップと、
前記画像投影ステップの横方向及び縦方向の歪み参照勾配画像に基づき前記横方向の歪み参照勾配画像を横方向に微分し前記横方向の歪み参照勾配画像を縦方向に微分し前記縦方向の歪み参照勾配画像を横方向に微分し前記縦方向の歪み参照勾配画像を縦方向に微分して前記４つの微分画像を得る微分演算ステップと、
を含むことを特徴とする請求項３記載の物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、魚眼レンズ等の歪みのある広角レンズで取得した歪んだ画像を補正し、補正された画像に対して横方向および縦方向微分演算を行い、得られた微分値から求められる輝度勾配を補正する物体検出装置及び物体検出方法に関する。
【背景技術】
【０００２】
従来、物体検出システムとして、車両周辺認識システム及び画像処理装置が知られている（特許文献１）。この装置は、魚眼レンズ等の歪みのある広角レンズで取得した歪んだ画像を補正し、補正された画像に対して横方向および縦方向微分演算を行い、得られた微分値から求められる輝度勾配から特徴量を算出し、特徴量に基づき物体を検出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１９１２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載されたシステム及び装置は、デジタイズされた画像を補正する際に、量子化の関係で本来発生しない不正な輝度勾配が画像中に発生し、算出される特徴量と本来の歪みのない画像で算出されるべきものとの間に不一致が発生する。
【０００５】
また、魚眼レンズ等の歪みのある広角レンズで取得した歪んだ画像を補正する場合には、その原理上、画像の中から一部を切り抜いて、補正する必要がある。このため、魚眼レンズ等の歪みのある広角レンズで撮像した画像の全範囲の物体を検出する場合には、複数の補正画像を用意する必要がある。
【０００６】
この場合、歪んだ画像の全ての座標から、小領域を設定し、設定された領域を補正することで、画像の全範囲を検出対象とすることができるが、計算機の演算負荷がかかり物体検出が遅れる。
【０００７】
そこで、本発明は、演算負荷を低減して物体の検出時間を短くしつつ物体検出精度を落とさないようにする物体検出装置及び物体検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、画像の横方向の軸と画像の縦方向の軸とからなる第１座標系に沿って所定の輝度勾配を有する歪みのない参照勾配画像を、歪みのある画像の横方向の軸と画像の縦方向の軸とからなる第２座標系のそれぞれの軸に基づき２つの歪み参照勾配画像として変換する。２つの歪み参照勾配画像それぞれを、第２座標系の横方向及び縦方向についてそれぞれ微分することで４つの微分画像を保持する。４つの微分画像に基づき撮像手段で撮像された歪みのある画像の第２座標系の横方向及び縦方向の輝度勾配を求め、求められた輝度勾配に基づいて物体を検出する。
【発明の効果】
【０００９】
本発明によれば、演算負荷を低減して物体の検出時間を短くしつつ物体検出精度を落とさないようにする物体検出装置及び物体検出方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る物体検出装置を搭載した車両の一例を示す図である。
【図２】本発明の実施形態に係る物体検出装置の内部構成を示すブロック図である。
【図３】本発明の実施形態に係る物体検出装置内の輝度勾配変換部の内部構成を示すブロック図である。
【図４】本発明の実施形態に係る物体検出装置内の勾配画像生成部により生成された横方向の勾配画像と縦方向の勾配画像を示す図である。
【図５】本発明の実施形態に係る物体検出装置内のレイキャスティング処理部により横方向の勾配画像及び縦方向の勾配画像を任意の実空間の位置に相当する歪んだ魚眼画像に変換して得られた歪み横勾配画像と歪み縦勾配画像を示す図である。
【図６】図５に示す歪み横勾配画像を横方向に微分して得られた画像と歪み横勾配画像を縦方向に微分して得られた画像とを示す図である。
【図７】図５に示す歪み縦勾配画像を横方向に微分して得られた画像と歪み縦勾配画像を縦方向に微分して得られた画像とを示す図である。
【図８】本発明の実施形態に係る物体検出装置内の勾配画像生成部及び勾配変換係数算出部による処理手順を示すフローチャートである。
【図９】本発明の実施形態に係る物体検出装置内の輝度勾配変換演算部による処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を適用した実施形態に係る物体検出装置及び物体検出方法について図面を参照して説明する。
【００１２】
［物体検出装置の構成］
図１は本発明の実施形態に係る物体検出装置を搭載した車両の一例を示す図である。この物体検出装置は、車載の歩行者検出システムを構築する実施例に適用され、歪んだ魚眼画像から輝度勾配を算出し、算出された輝度勾配を歪んでいない画像で得られた輝度勾配に変換する。この装置は、変換された輝度勾配に基づく特徴量、ＨＯＧ（Histogram of Oriented Gradients）を算出し、算出されたＨＯＧ特徴量の判別処理により歩行者を検出する。
【００１３】
図１に示すように、物体検出装置は、車両１に搭載され、先端に広角レンズの一形態である魚眼レンズ２が取り付けられたカメラ３と計算機４とを有し、車両前方の歩行者を検出する。
【００１４】
魚眼レンズ２が取り付けられたカメラ３は、高さｈ、水平から下向きに角度θの位置・姿勢で車両1に取り付けられている。計算機４は、魚眼レンズ２が取り付けられたカメラ３で撮像された画像を取り込み、画像中の歩行者を検出する。
【００１５】
図２は、本発明の実施形態に係る物体検出装置の内部構成を示すブロック図である。図２に示すように、物体検出装置は、魚眼レンズ装着カメラ１１と画像輝度勾配算出部１２と輝度勾配変換部１３と特徴算出部１４と歩行者判別部１５とを有する。画像輝度勾配算出部１２と輝度勾配変換部１３と特徴算出部１４と歩行者判別部１５とは、計算機４で構成されている。
【００１６】
計算機４は、図示しない中央処理装置（ＣＰＵ）とメモリとを有し、ＣＰＵがメモリに記憶された物体検出処理プログラムを実行することで、画像輝度勾配算出部１２と輝度勾配変換部１３と特徴算出部１４と歩行者判別部１５との各々の処理を実行する。
【００１７】
図２において、魚眼レンズ装着カメラ１１は、車載カメラであり、自車両の前方領域を撮像する。この魚眼レンズ装着カメラ１１で撮像された画像は、広範囲を撮像できるが、画像が歪んでいる。
【００１８】
画像輝度勾配算出部１２は、魚眼レンズ装着カメラ１１で撮像された歪んだ画像の横方向、及び縦方向の輝度勾配（輝度値の微分値）を画素毎に算出する。画像の輝度勾配を算出する画像処理の技術としてゾベルフィルタ（Sobel Filter）などが広く用いられている。
【００１９】
画像輝度勾配算出部１２は、非特許文献、Dalal,”Histograms of Oriented Gradients for Human Detection”、CVPR05で紹介されている手法を用いて、画像に対して〔−１，０，＋１〕のマスクを掛け合わせ、横方向・縦方向のそれぞれの輝度勾配を算出する。具体的には、注目画像の座標を（ｘｉ，ｙｉ ）とし、注目画像の輝度値をI（ｘｉ，ｙｉ ）とすると、横方向の輝度勾配は式（１）で表される。式（１）からもわかるように、横方向の輝度勾配は注目画素の左右の画像の輝度値の差分である。
【数１】
2014115706.tif 000003
【００２０】
また、縦方向の輝度勾配は式（２）で表される。式（２）からもわかるように、縦方向の輝度勾配は注目画素の上下の画像の輝度値の差分である。
【数２】
2014115706.tif 000004
【００２１】
なお、実施例１では、画素の間隔を一つあけた微分演算を行ったが、画素の間隔はより広くても良く、あるいは画素の間隔はゼロでも良く、適用される課題に対して適切に設定すれば良い。
【００２２】
輝度勾配変換部１３は、実施例１の物体検出装置の特徴とする構成であり、画像輝度勾配算出部１２で画素毎に算出された歪んだ画像の横方向、及び縦方向の輝度勾配を、歪んでいない画像相当に変換する。輝度勾配変換部１３の詳細については、後述する。
【００２３】
特徴算出部１４は、輝度勾配変換部１３から出力される輝度勾配、即ち、歪んだ画像で算出されたものを、歪んでいない画像相当に変換されたものからＨＯＧ特徴量を算出する。ＨＯＧ特徴量は、画像処理による歩行者検出において、最も性能が優れているといわれる特徴量である。ＨＯＧ特徴量の詳細については、前述した非特許文献、Dalal,”Histograms of Oriented Gradients for Human Detection”、CVPR05を参照されたい。
【００２４】
歩行者判別部１５は、特徴算出部１４から出力されるＨＯＧ特徴量をパターン認識手法である線形ＳＶＭ（Support Vector Machine）に入力して線形ＳＶＭによりＨＯＧ特徴量が歩行者か否かを判定する。線形ＳＶＭの詳細については、前述した非特許文献、Dalal,”Histograms of Oriented Gradients for Human Detection”、CVPR05を参照されたい。
【００２５】
なお、実施例１の物体検出装置では、歩行者を判別するために線形ＳＶＭを用いたが、非線形ＳＶＭを用いても良い。また、歩行者を判別するために他の学習に基づく判別処理（AdaBoostなど）を用いても良い。
【００２６】
図３は、本発明の実施形態に係る物体検出装置内の輝度勾配変換部の内部構成を示すブロック図である。図３に示すように、輝度勾配変換部１３は、勾配画像生成部１３１と勾配変換係数算出部１３２と輝度勾配変換演算部１３７とを有する。
【００２７】
勾配画像生成部１３１は、画像の横方向に相当する第１座標軸（Ｘ軸）と第１座標軸と直交し画像の縦方向に相当する第２座標軸（Ｙ軸）とからなる第１座標系に沿って所定の輝度勾配を有する横方向及び縦方向の歪み無し勾配画像（本発明の参照勾配画像に対応）を生成する。
【００２８】
具体的には、勾配画像生成部１３１は、座標（ｘｔ，ｙｔ）での歪み無し画像の輝度をＩｔ（ｘｔ）とした場合に、図４（ａ）に示す横方向の歪み無し勾配画像Ｉｔｘ（ｘｔ）と、図４（ｂ）に示す縦方向の歪み無し勾配画像Ｉｔｙ（ｘｔ）とを作成する。
【００２９】
以下、横方向の歪み無し勾配画像を歪み無し横勾配画像とし、縦方向の歪み無し勾配画像を歪み無し縦勾配画像と称する。
【００３０】
図４（ａ）に示す歪み無し横勾配画像Ｉｔｘ（ｘｔ）は、第１座標系の横方向（第１座標軸）に沿って輝度値（画素値）が例えば０から２５５（８ビット）まで１画素毎に１ずつ増加しながら変化した画像（黒から白に変化していく画像）である。この勾配画像の縦１列のｘ座標値における輝度値は全て同一値である。
【００３１】
図４（ｂ）に示す歪み無し縦勾配画像Ｉｔｙ（ｘｔ）は、第１座標系の縦方向（第２座標軸）に沿って輝度値（画素値）が例えば０から２５５（８ビット）まで１画素毎に１ずつ増加しながら変化した画像（黒から白に変化していく画像）である。この勾配画像の横１列のｙ座標値における輝度値は全て同一値である。なお、横勾配画像及び縦勾配画像の画像サイズは、ｈ画素（縦）、ｗ画素（横）の各画素からなる。
【００３２】
また、図４（ａ）に示す歪み無し横勾配画像Ｉｔｘ（ｘｔ）と図４（ｂ）に示す歪み無し縦勾配画像Ｉｔｙ（ｘｔ）とは、計算機４内のメモリに保持すれば良く、システム動作時に生成すれば良い。
【００３３】
勾配変換係数算出部１３２は、歪んだ魚眼画像上での輝度勾配を、歪んでいない輝度勾配相当に変換するための係数を算出する。即ち、勾配変換係数算出部１３２は、勾配画像生成部１３１で生成された参照勾配画像を、歪みのある画像の横方向の軸と画像の縦方向の軸とからなる第２座標系のそれぞれの軸に基づき、２つの歪み参照勾配画像として変換し、２つの歪み参照勾配画像それぞれを、第２座標系の横方向及び縦方向についてそれぞれ微分することで、４つの微分画像を保持する微分画像保持部を構成する。
【００３４】
勾配変換係数算出部１３２は、レイキャスティング（Ray Casting）処理部１３３と横微分演算部１３４と縦微分演算部１３５とヤコビアン算出部１３６とを有する。勾配変換係数算出部１３２は、ヤコビアン算出部１３６で算出されたヤコビアンが魚眼の歪んだ輝度勾配（輝度の微分値）を、歪んでいない輝度勾配に変換するための係数を算出する。この係数算出処理は、実施例１の物体検出装置で毎回処理する必要はなく、事前に計算機４内のメモリに係数を記憶すれば良い。あるいは、システム起動時に一度だけ係数を計算して、メモリに係数を記憶すれば良い。
【００３５】
レイキャスティング処理部１３３は、本発明の画像投影部に対応し、魚眼レンズ装着カメラ１１で任意の実空間上の歩行者を撮像した場合に、魚眼レンズ装着カメラ１１にどのように撮像されるのかをモデル化する。レイキャスティング処理部１３３は、勾配画像生成部１３１から出力される歪み無し横及び縦勾配画像Ｉｔｘ（ｘｔ），Ｉｔｙ（ｘｔ）を、魚眼レンズ装着カメラ１１で撮像された歪み横及び縦勾配画像Ｉｆｘ（ｘｆ），Ｉｆｙ（ｘｆ）に変換する。この場合、一般的なコンピュータグラフィックのRay Casting技術を用いる。
【００３６】
レイキャスティング処理部１３３は、歪みのある魚眼レンズ装着カメラ１１で撮像された画像の横方向に相当する第３座標軸と第３座標軸と直交し画像の縦方向に相当する第４座標軸とからなる第２座標系と実空間の座標系とを対応付ける。
【００３７】
レイキャスティング処理部１３３は座標系の対応付けに基づき第１座標系の歪み無し横及び縦勾配画像を実空間の座標系の勾配画像に変換し変換した実空間の座標系の勾配画像を第２座標系に投影し第２座標系の歪み横勾配画像及び歪み縦勾配画像（本発明の歪み参照勾配画像に対応）を生成する。
【００３８】
横微分演算部１３４は、本発明の微分演算部に対応し、レイキャスティング処理部１３３で得られた第２座標系の歪み横勾配画像及び歪み縦勾配画像に基づき、歪み横勾配画像を第３座標軸に沿って横方向に微分して歪み横勾配画像横微分画像を得る。横微分演算部１３４は、レイキャスティング処理部１３３で得られた第２座標系の歪み横勾配画像及び歪み縦勾配画像に基づき、歪み縦勾配画像を第３座標軸に沿って横方向に微分して歪み縦勾配画像横微分画像を得る。
【００３９】
縦微分演算部１３５は、本発明の微分演算部に対応し、レイキャスティング処理部１３３で得られた第２座標系の歪み横勾配画像及び歪み縦勾配画像に基づき、歪み横勾配画像を第４座標軸に沿って縦方向に微分して歪み横勾配画像縦微分画像を得る。縦微分演算部１３５は、レイキャスティング処理部１３３で得られた第２座標系の歪み横勾配画像及び歪み縦勾配画像に基づき、歪み縦勾配画像を第４座標軸に沿って縦方向に微分して歪み縦勾配画像縦微分画像を得る。
【００４０】
ヤコビアン算出部１３６は、横微分演算部１３４及び縦微分演算部１３５で得た４つの微分画像を用いて画像中の全ての画素に対して歪み無し画像での輝度勾配を歪み画像の輝度勾配に変換するための補正量であるヤコビアンを算出しヤコビアンの逆行列を求める。
【００４１】
輝度勾配変換演算部１３７は、本発明の輝度勾配演算部に対応し、ヤコビアン算出部１３６で算出されたヤコビアンの逆行列に基づき魚眼レンズ装着カメラ１１で撮像された画像の横方向及び縦方向の輝度勾配を歪み無し画像相当の輝度勾配に変換する。即ち、輝度勾配変換演算部１３７は、４つの微分画像に基づき、魚眼レンズ装着カメラ１１で撮像された歪みのある画像の第２座標系の横方向及び縦方向の輝度勾配を求める。
【００４２】
歩行者判別部１５は、物体検出部に対応し、輝度勾配変換演算部１３７が求めた輝度勾配に基づいて、物体である歩行者を検出する。
【００４３】
次に、図８に示すフローチャートを参照しながら、実施例１の物体検出装置の特徴とする輝度勾配変換部１３の輝度勾配変換処理の詳細について説明する。
【００４４】
まず、ステップＳ１１において、勾配画像生成部１３１により勾配画像が生成される（ステップＳ１１）。具体的には、図４（ａ）に示す歪み無し横勾配画像Ｉｔｘ（ｘｔ）と、図４（ｂ）に示す歪み無し縦勾配画像Ｉｔｙ（ｘｔ）とが作成される。
【００４５】
歪み無し横勾配画像Ｉｔｘ（ｘｔ）は、式（３）で表される。
【数３】
2014115706.tif 000005
【００４６】
歪み無し縦勾配画像Ｉｔｙ（ｘｔ）は、式（４）で表される。
【数４】
2014115706.tif 000006
【００４７】
次に、レイキャスティング処理部１３３によりレイキャスティング処理が行われる（ステップＳ１２）。具体的には、レイキャスティング処理部１３３は、歪みのある魚眼レンズ装着カメラ１１で撮像された画像の横方向に相当する第３座標軸と第３座標軸と直交し画像の縦方向に相当する第４座標軸とからなる第２座標系と実空間の座標系とを対応付ける。
【００４８】
レイキャスティング処理部１３３は座標系の対応付けに基づき第１座標系の歪み無し横及び縦勾配画像を実空間の座標系の勾配画像に変換し変換した実空間の座標系の勾配画像を第２座標系に投影し第２座標系の歪み横及び縦勾配画像を生成する。このレイキャスティング処理は、歪み横及び縦勾配画像の全ての画素（ｗ画素×ｈ画素の各画素）に対して行われる。
【００４９】
図５（ａ）は歪み無し画像Ｉｔ（ｘｔ，ｙｔ）を示し、図中の縦と横の矢印は直交している。図５（ｂ）は魚眼レンズ装着カメラ１１で撮像された歪みのある画像Ｉｆ（ｘｆ，ｙｆ）を示し、図中の縦と横の矢印は魚眼画像変換により直交した画像が歪んでいることを示している。図５（ｃ）は第２座標系に投影されて第２座標系の歪み横勾配画像Ｉｆｘ（ｘｆ）を示す。歪み横勾配画像Ｉｆｘ（ｘｆ）は式（５）で表される。
【数５】
2014115706.tif 000007
【００５０】
図５（ｄ）は第２座標系に投影されて第２座標系の歪み縦勾配画像Ｉｆｙ（ｘｆ）を示す。歪み縦勾配画像Ｉｆｙ（ｘｆ）は、式（６）で表される。
【数６】
2014115706.tif 000008
【００５１】
即ち、勾配画像も任意に実空間の位置に相当する歪んだ魚眼画像に変換することができる。
【００５２】
次に、横微分演算部１３４により横微分演算が行われる（ステップＳ１３）。横微分演算部１３４は、レイキャスティング処理部１３３で得られた第２座標系の歪み横及び縦勾配画像に基づき図６（ａ）に示す歪み横勾配画像を第３座標軸に沿って横方向に微分し、図６（ｂ）に示すような歪み横勾配画像横微分画像を得る。歪み横勾配画像横微分画像は、式（７）で表され、式（７）の（∂ｘｔ／∂ｘｆ）に対応する。
【数７】
2014115706.tif 000009
【００５３】
次に、縦微分演算部１３５により縦微分演算が行われる（ステップＳ１４）。縦微分演算部１３５は、レイキャスティング処理部１３３で得られた第２座標系の歪み横及び縦勾配画像に基づき図６（ａ）に示す歪み横勾配画像を第４座標軸に沿って縦方向に微分し、図６（ｃ）に示すような歪み横勾配画像縦微分画像を得る。歪み縦勾配画像横微分画像は、式（７）で表され、式（７）の（∂ｘｔ／∂ｙｆ）に対応する。
【００５４】
横微分演算部１３４は、レイキャスティング処理部１３３で得られた第２座標系の歪み横及び縦勾配画像に基づき図７（ａ）に示す歪み縦勾配画像を第３座標軸に沿って横方向に微分し、図７（ｂ）に示すような歪み縦勾配画像横微分画像を得る。歪み縦勾配画像横微分画像は、式（８）で表され、式（８）の（∂ｙｔ／∂ｘｆ）に対応する。
【００５５】
なお、上記ステップＳ１３とステップＳ１４とは順番を逆に入れ替えてるようにしても特に問題はない。
【数８】
2014115706.tif 000010
【００５６】
縦微分演算部１３５は、レイキャスティング処理部１３３で得られた第２座標系の歪み横及び縦勾配画像に基づき図７（ａ）に示す歪み縦勾配画像を第４座標軸に沿って縦方向に微分し、図７（ｃ）に示すような歪み縦勾配画像縦微分画像を得る。歪み縦勾配画像縦微分画像は、式（８）で表され、式（８）の（∂ｙｔ／∂ｙｆ）に対応する。
【００５７】
次に、ヤコビアン算出部１３６によりヤコビアンが算出される（ステップＳ１５）。ヤコビアン算出部１３６は、画像中の全ての画素（ｗ画素×ｈ画素）の中で歩行者のマスク領域内の画素に対して、横微分演算部１３４及び縦微分演算部１３５で得られた４つの微分画像を式（９）に基づき並び替えて行列に配置する。配置された行列を、歪み無し画像での輝度勾配を歪み画像の輝度勾配に変換するための補正量であるヤコビアンとする。求められたヤコビアンは、計算機４のメモリ内に保持され、歩行者検出で必要とされるときに、読み出して使用することができる。
【数９】
2014115706.tif 000011
【００５８】
このヤコビアンは歪み無し画像での輝度勾配を歪んだ画像に変換するためのヤコビアンであるため、このヤコビアンの逆行列を求める。即ち、ヤコビアン算出部１３６は、算出されたヤコビアンの逆行列を求める。ヤコビアンの逆行列は、式（１０）で表され、歪んだ画像の輝度勾配を歪み無し画像の輝度勾配に変換するための補正量である。
【数１０】
2014115706.tif 000012
【００５９】
次に、画像輝度勾配算出部１２は、図９に示すように、魚眼レンズ装着カメラ１１で撮像された画像の横方向及び縦方向の輝度勾配、即ち、画像微分値を式（１）、式（２）を用いて算出する（ステップＳ２１）
さらに、輝度勾配変換演算部１３７は、輝度勾配変換演算を行う（ステップＳ２２）。輝度勾配変換演算部１３７はヤコビアンの逆行列と画像輝度勾配算出部１２で得た魚眼レンズ装着カメラ１１で撮像された画像の横方向及び縦方向の輝度勾配とを演算し撮像された歪んだ画像の横方向及び縦方向の輝度勾配を歪み無し画像相当の輝度勾配に変換する。この演算を式（１１）、式（１２）、式（１３）に示す。
【数１１】
2014115706.tif 000013
【数１２】
2014115706.tif 000014
【数１３】
2014115706.tif 000015
【００６０】
最後に、全ての画素に対する画像走査が終了したか否かが判定され（ステップＳ２３）、画像走査が終了していない場合には、ステップＳ２１に戻り、処理が繰り返される。
【００６１】
［実施形態の効果］
実施形態によれば、勾配画像生成部１３１は横方向及び縦方向の歪み無し勾配画像を生成し、勾配画像が実空間の任意の点で魚眼レンズが取り付けられた撮像手段で撮像された場合に勾配画像がどのように歪むのかを画像投影部(Ray-Casting)１３３でモデル化する。微分演算部１３４，１３５は、モデル化により変形された２つの勾配画像を第２座標系の魚眼画像上の横方向及び縦方向に微分して、４つの微分画像（４つの微分値）を得る。
【００６２】
輝度勾配変換演算部１３７は、得られた４つの微分画像に基づき魚眼レンズ装着カメラ１１で撮像された画像の横方向及び縦方向の輝度勾配を歪み無し画像相当の輝度勾配に変換し、変換された輝度勾配に基づいて、物体（歩行者）を検出するので、演算負荷を低減して物体の検出時間を短くしつつ物体検出精度を落とさないようにする物体検出装置及び物体検出方法を提供することができる。さらに、画像を小領域に分割しないので、歩行者が複数の小領域に跨る問題を回避することができる。
【００６３】
また、魚眼画像上の任意の点で得られる４つの微分値を並べたものがヤコビアンであり、このヤコビアンは歪み無し画像上の点での輝度勾配を、歪んだ画像での輝度勾配に変換するための補正量である。さらに、ヤコビアンの逆行列を求めることで、歪んだ画像上の点での輝度勾配を、歪み無し画像での輝度勾配に変換することができる。
【００６４】
また、ヤコビアンの逆行列と歪んだ画像の輝度値を横方向、縦方向に微分した輝度勾配を行列演算することで、歪んだ画像で求めた輝度勾配を、歪み無し画像で求めた輝度勾配に変換することができる。即ち、歪んだ画像を歪み無し画像に変換し、この画像上で微分演算することなく、歪んだ画像で求めた微分値がヤコビアンとの行列演算によって、歪み無し画像で算出される輝度勾配に変換することができる。
【００６５】
また、勾配画像生成部１３１は、横方向の歪み無し勾配画像として横方向に１画素毎に輝度値が１ずつ増加する勾配画像を生成し、縦方向の歪み無し勾配画像として縦方向に１画素毎に輝度値が１ずつ増加する勾配画像を生成する。従って、勾配画像がどのように歪むのかをRay-Casting等により正確にモデル化することができる。
【符号の説明】
【００６６】
１  車両
２  魚眼レンズ
３  カメラ
４  計算機
１１  魚眼レンズ装着カメラ
１２  画像輝度勾配算出部
１３  輝度勾配変換部
１４  特徴算出部
１５  歩行者判別部
１３１  勾配画像生成部  
１３２  勾配変換係数算出部
１３３  レイキャスティング処理部
１３４  横微分演算部
１３５  縦微分演算部
１３６  ヤコビアン算出部
１３７  輝度勾配変換演算部
【図１】
2014115706.tif 000016
【図２】
2014115706.tif 000017
【図３】
2014115706.tif 000018
【図４】
2014115706.tif 000019
【図５】
2014115706.tif 000020
【図６】
2014115706.tif 000021
【図７】
2014115706.tif 000022
【図８】
2014115706.tif 000023
【図９】
2014115706.tif 000024