(57)【要約】【課題】撮像情報を用いた物体の検知結果の精度の向上を図る。【解決手段】本開示に係る物体検知装置４０は、所定の視野範囲を撮像した撮像情報を取得する撮像情報取得部４１と、所定の視野範囲内の少なくとも１つの位置に照射された電磁波の反射波の検出情報を取得する検出情報取得部としての距離画像取得部４３と、撮像情報に基づいて、所定の視野範囲内の物体の検知処理を行う物体検知部としての撮像情報処理部４２と、検出情報に基づいて、検知処理による検知結果の正誤を判定する判定部４５と、を備える。【選択図】図１
2019007744.tif 000002
【特許請求の範囲】
【請求項１】
所定の視野範囲を撮像した撮像情報を取得する撮像情報取得部と、
前記所定の視野範囲内の少なくとも１つの位置に照射された電磁波の反射波の検出情報を取得する検出情報取得部と、
前記撮像情報に基づいて、前記所定の視野範囲内の物体の検知処理を行う物体検知部と、
前記検出情報に基づいて、前記検知処理による検知結果の正誤を判定する判定部と、を備える物体検知装置。
【請求項２】
前記物体検知部は、前記検知結果が誤りであると判定された場合、前記検出情報に基づき、前記検知結果を補正する、請求項１に記載の物体検知装置。
【請求項３】
前記物体検知部は、前記検知結果が誤りであると判定された場合、前記検出情報に基づいて再度、前記検知処理を行う、請求項１に記載の物体検知装置。
【請求項４】
前記判定部は、第１の位置における検出情報と、前記第１の位置とは異なり、前記検知処理により検知された物体に対応する第２の位置における検出情報との差分に基づき、前記検知結果の正誤を判定する、請求項１から３のいずれか一項に記載の物体検知装置。
【請求項５】
前記検出情報は、前記電磁波の照射位置までの視方向の距離であり、
前記判定部は、前記第１の位置までの視方向の距離と、前記第２の位置までの視方向の距離との差分に基づき、前記検知結果の正誤を判定する、請求項４に記載の物体検知装置。
【請求項６】
前記第１の位置は、前記検知処理により検知された物体の周辺に対応する位置である、請求項４または５に記載の物体検知装置。
【請求項７】
前記判定部は、前記差分が所定値未満である場合、前記検知結果が誤りであると判定する、請求項４から６のいずれか一項に記載の物体検知装置。
【請求項８】
前記物体検知部は、前記差分が所定値未満である場合、前記検知処理により検知された物体の領域を、前記撮像情報における前記第１の位置を含むように拡大する、請求項７に記載の物体検知装置。
【請求項９】
前記第１の位置は、前記検知処理により検知された物体に対応し、前記第２の位置よりも内側の位置である、請求項４または５に記載の物体検知装置。
【請求項１０】
前記判定部は、前記差分が所定値以上である場合、前記検知結果が誤りであると判定する、請求項９に記載の物体検知装置。
【請求項１１】
前記物体検知部は、前記差分が前記所定値以上である場合、前記第１の位置と、前記第２の位置とに異なる物体が存在すると検知する、請求項１０に記載の物体検知装置。
【請求項１２】
前記物体検知部は、前記差分が前記所定値以上である場合、前記検知処理により検知された物体の領域を、前記第１の位置まで縮小する、請求項１０または１１に記載の物体検知装置。
【請求項１３】
前記物体検知部は、前記差分が前記所定値以上である場合、前記第２の位置は背景に対応する位置であると検知する、請求項１０から１２のいずれか一項に記載の物体検知装置。
【請求項１４】
前記判定部は、前記検知処理により検知された物体に対応する位置に照射した電磁波の反射波の強度が所定値未満である場合、前記検知結果は誤りであると判定する、請求項１から３のいずれか一項に記載の物体検知装置。
【請求項１５】
前記検出情報は、前記電磁波の照射位置までの視方向の距離であり、
前記判定部は、前記検知処理により検知された物体に対応する位置までの視方向の距離が所定値以上である場合、前記検知結果は誤りであると判定する、請求項１から３のいずれか一項に記載の物体検知装置。
【請求項１６】
前記物体検知部は、前記検知結果が誤りであると判定された場合、前記検知処理により検知された物体に対応する位置を背景に対応する位置であると検知する、請求項１４または１５に記載の物体検知装置。
【請求項１７】
コンピュータに、
所定の視野範囲を撮像した撮像情報を取得するステップと、
前記所定の視野範囲内の少なくとも１つの位置に照射した電磁波の反射波の検出情報を取得するステップと、
前記撮像情報に基づいて、前記所定の視野範囲内の物体の検知処理を行うステップと、
前記検出情報に基づいて、前記検知処理による検知結果の正誤を判定するステップと、を実行させるプログラム。
【請求項１８】
撮像装置と、電磁波を放射する電磁波放射装置と、前記電磁波の反射波を検出する電磁波検出装置と、物体検知装置とを備え、
前記物体検知装置は、
前記撮像装置が所定の視野範囲を撮像した撮像情報を取得する撮像情報取得部と、
前記所定の視野範囲内の少なくとも１つの位置に照射された電磁波の反射波の検出情報を取得する検出情報取得部と、
前記撮像情報に基づいて、前記所定の視野範囲内の物体の検知処理を行う物体検知部と、
前記検出情報に基づいて、前記検知処理による検知結果の正誤を判定する判定部と、を備える物体検知システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、物体検知装置、プログラムおよび物体検知システムに関する。
【背景技術】
【０００２】
特許文献１には、車両に搭載されたレーザレーダおよび撮像装置（カメラ）を用いて、車両の周辺の物体（他の車両、歩行者など）を検知する技術が開示されている。この技術では、レーザレーダにより、レーザビームの反射強度が大きい物体（車両など）と反射強度が小さい物体（歩行者など）とが区別される。そして、撮像装置の撮像画像（撮像情報）に対する画像処理による物体の検知の際に、レーザレーダの検出結果に基づき、反射強度が大きい物体と反射強度が小さい物体とが区別して検知される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２４０３１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したような、撮像装置の撮像情報を用いた物体の検知処理においては、検知結果の精度の更なる向上が求められている。
【０００５】
上記のような問題点に鑑みてなされた本開示の目的は、撮像情報を用いた物体の検知結果の精度の向上を図ることにある。
【課題を解決するための手段】
【０００６】
上述した課題を解決すべく、第１の観点による物体検知装置は、所定の視野範囲を撮像した撮像情報を取得する撮像情報取得部と、前記所定の視野範囲内の少なくとも１つの位置に照射された電磁波の反射波の検出情報を取得する検出情報取得部と、前記撮像情報に基づいて、前記所定の視野範囲内の物体の検知処理を行う物体検知部と、前記検出情報に基づいて、前記検知処理による検知結果の正誤を判定する判定部と、を備える。
【０００７】
また、第２の観点によるプログラムは、コンピュータに、所定の視野範囲を撮像した撮像情報を取得するステップと、前記所定の視野範囲内の少なくとも１つの位置に照射した電磁波の反射波の検出情報を取得するステップと、前記撮像情報に基づいて、前記所定の視野範囲内の物体の検知処理を行うステップと、前記検出情報に基づいて、前記検知処理による検知結果の正誤を判定するステップと、を実行させる。
【０００８】
また、第３の観点による物体検知システムは、撮像装置と、電磁波を放射する電磁波放射装置と、前記電磁波の反射波を検出する電磁波検出装置と、物体検知装置とを備え、前記物体検知装置は、前記撮像装置が所定の視野範囲を撮像した撮像情報を取得する撮像情報取得部と、前記所定の視野範囲内の少なくとも１つの位置に照射された電磁波の反射波の検出情報を取得する検出情報取得部と、前記撮像情報に基づいて、前記所定の視野範囲内の物体の検知処理を行う物体検知部と、前記検出情報に基づいて、前記検知処理による検知結果の正誤を判定する判定部と、を備える。
【発明の効果】
【０００９】
本開示によれば、撮像情報を用いた物体の検知結果の精度の向上を図ることができる。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係る物体検知システムの構成の一例を示す図である。
【図２】図１に示す撮像装置の撮像画像の一例を示す図である。
【図３Ａ】図１に示す撮像情報処理部による物体の検知結果の一例を示す図である。
【図３Ｂ】図１に示す撮像情報処理部による物体の検知結果の一例を示す図である。
【図４】図１に示す距離画像センサが取得する距離画像の一例を示す図である。
【図５】図１に示す判定部による、撮像画像上の物体領域が実際の物体よりも小さく検知されているか否かを判定する場合の動作の一例を示すフローチャートである。
【図６】図１に示す判定部による、撮像画像上の物体領域が実際の物体よりも大きく検知されているか否かを判定する場合の動作の一例を示すフローチャートである。
【図７】図１に示す撮像装置の撮像画像の一例を示す図である。
【図８】図１に示す判定部による、背景の模様などによる誤検知が検知結果に含まれるか否かを判定する場合の動作の一例を示すフローチャートである。
【図９】図１に示す撮像装置による撮像状態の一例を示す図である。
【図１０】図９に示す状態での撮像装置の撮像画像を示す図である。
【図１１】図１に示す判定部による、物体の重なりによる誤検知が検知結果に含まれるか否かを判定する場合の動作の一例を示すフローチャートである。
【図１２】図９に示す状態で距離画像センサにより得られる距離画像を示す図である。
【発明を実施するための形態】
【００１１】
以下、本開示の実施の形態について図面を参照して例示説明する。なお、各図中、同一符号は、同一または同等の構成要素を示している。
【００１２】
近年、自動車などの車両の自動運転の検討が進められている。車両の自動運転においては、車両の周辺の物体（他の車両、歩行者など）を検知する必要がある。そのため、例えば、特許文献１に開示されているように、車両に搭載された撮像装置による所定の視野範囲の撮像画像（撮像情報）に対する画像認識処理（物体の検知処理）により、視野範囲内の物体が検知される。
【００１３】
上述したような撮像情報を用いた物体の検知処理では、ピクセル間の色の変化が大きい部分が、エッジという特徴として抽出される。ピクセル間の色の変化が大きい境目を隣り合う同様の境目とつないでいくことで、物体の形状が検知される。このような処理では、撮像情報の取得時の状況（物体への光の当たり具合など）によっては、正確な物体の検知が困難になることがある。
【００１４】
例えば、検知対象の物体（車両、人など）の近くに大きな物体が存在し、その物体の影が検知対象の物体に当たる場合、撮像情報において、検知対象の物体が部分的に見えない、あるいは、見にくくなることがある。この場合、影が当たった部分の検知は困難である。また、光源からの光が強い場合、撮像画像の全体が白っぽくなり、検知対象の物体と、その物体の周辺との間での色の変化が小さくなる。この場合、検知対象の物体の領域を超えて、周辺部分まで検知対象の物体であると誤検知されてしまうことがある。
【００１５】
また、例えば、似通った色の複数の物体が撮像装置から見て重畳して配置されている場合、撮像装置の撮像画像上では、異なる物体間の境目での色の変化が小さく、エッジを抽出することが困難となる。そのため、例えば、複数の物体が１つの物体であると誤検知されてしまうことがある。
【００１６】
また、検知対象の物体（車両、人など）以外の背景の模様、パターンなどが、検知対象の物体の形状に類似する場合、背景が検知対象の物体であると誤検知されてしまうことがある。
【００１７】
上述したように、撮像情報を用いた所定の視野範囲内の物体の検知処理による検知結果には、誤りが含まれることがある。このような誤りを検知し、補正などを行うことが、物体の検知結果の精度の向上に必要である。本開示においては、撮像情報を用いた物体の検知処理の検知結果の正誤を、所定の視野範囲内の照射した電磁波の反射波の検出情報に基づいて判定することで、物体の検知結果の精度の向上を図る。
【００１８】
図１は、本実施形態に係る物体検知システム１０の構成の一例を示す図である。本実施形態に係る物体検知システム１０は、所定の視野範囲内の物体を検知し、検知結果の正誤を判定するものである。物体検知システム１０は、例えば、車両の前方あるいは後方の所定の視野範囲内の物体の検知に用いられる。
【００１９】
図１に示す物体検知システム１０は、撮像装置２０と、距離画像センサ３０と、物体検知装置４０とを備える。
【００２０】
撮像装置２０は、例えば、カメラであり、所定の視野範囲を撮像した撮像情報（撮像画像）を取得する。撮像装置２０の撮像情報は、所定の視野範囲内の物体および背景の色情報を示す。撮像装置２０は、取得した撮像情報を物体検知装置４０に出力する。
【００２１】
距離画像センサ３０は、紫外線、可視光線、近赤外線などの電磁波を撮像装置２０が撮像を行う所定の視野範囲の少なくとも１つの位置に照射し、その電磁波の反射波の検出情報を取得する。具体的には、距離画像センサ３０は、撮像装置２０の所定の視野範囲内に電磁波を照射する。距離画像センサ３０は、その電磁波が照射位置（照射位置の物体）で反射した反射波を検出して、反射波の検出情報を取得する。
【００２２】
反射波の検出情報には、例えば、電磁波の照射位置までの視方向の距離情報を示す情報が含まれる。距離画像センサ３０から電磁波を放射し、その電磁波の反射波を検知するまでの時間差は、距離画像センサ３０から電磁波の照射位置までの距離に依存する。したがって、上記の時間差を検出することで、電磁波の照射位置までの距離情報を求めることができる。距離情報は、上記の時間差を示す情報であってもよいし、その時間差に基づき求められる電磁波の照射位置までの距離を示す情報であってもよい。また、反射波の検出情報は、その反射波の強度を示す情報が含まれてもよい。
【００２３】
距離画像センサ３０は、撮像装置２０の所定の視野範囲内の複数の位置への電磁波の照射およびその電磁波の反射波の検出により、所定の視野範囲内の複数の位置について検出情報を取得する。距離画像センサ３０は、所定の視野範囲内の複数の位置について取得した検出情報を物体検知装置４０に出力する。距離画像センサ３０の出力は、所定の視野範囲内の複数の位置についての検出情報（視方向への距離に関する距離情報）を含むものである。したがって、それぞれの電磁波の照射位置からの反射波の検出情報を１つの画素における検出情報とすると、距離画像センサ３０は、複数の画素が配置され、視野範囲における視方向への距離情報を画素毎に含む距離画像を出力する。
【００２４】
距離画像センサ３０は、電磁波放射装置３１と、電磁波検出装置３２とを備える。
【００２５】
電磁波放射装置３１は、紫外線、可視光線、近赤外線などの電磁波を放射する。電磁波放射装置３１は、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、ＬＤ（Ｌａｓｅｒ  Ｄｉｏｄｅ）などを含む。電磁波放射装置３１から放射された電磁波は、撮像装置２０が撮像する所定の視野範囲内に照射される。電磁波放射装置３１から放射された電磁波は、例えば、可動式のミラーで反射させることで、所定の視野範囲内で走査しながら複数の位置に照射することができる。上述した可動式のミラーは、例えば、ＭＥＭＳ（Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓ）ミラー、ポリゴンミラー、およびガルバノミラーなどを含む。
【００２６】
電磁波検出装置３２は、電磁波放射装置３１から放射され、所定の視野範囲内に照射された電磁波が照射位置で反射された反射波を検出する。電磁波検出装置３２は、例えば、ＡＰＤ（Ａｖａｌａｎｃｈｅ  ＰｈｏｔｏＤｉｏｄｅ）、ＰＤ（ＰｈｏｔｏＤｉｏｄｅ）などを含む。反射波の検出により、距離画像センサ３０から電磁波を放射し、その電磁波の反射波を検知するまでの時間差、反射波の強度などの検出情報を取得することができる。
【００２７】
なお、電磁波放射装置３１は、電磁波を放射する複数の発光素子を備え、電磁波検出装置３２は、その電磁波の反射波を検出する複数の受光素子を備えていてもよい。この場合、距離画像センサ３０は、複数の発光素子から電磁波を所定の視野範囲内に照射し、その電磁波の反射波を複数の受光素子で受光することで、所定の視野範囲内の複数の位置における検出情報を取得することができる。
【００２８】
物体検知装置４０は、撮像装置２０から出力された撮像情報に対する画像認識処理により、所定の視野範囲内の物体の検知を行い、検知結果を図１においては表示装置に表示するなどして出力する。ここで、物体検知装置４０は、距離画像センサ３０により検出された検出情報に基づき、物体の検知結果の正誤を判定する。そして、物体検知装置４０は、物体の検知結果が誤りであると判定した場合には、例えば、その検出情報に基づいて検知結果を補正したり、検出情報に基づいて再度、物体の検知処理を行ったりする。
【００２９】
物体検知装置４０は、撮像情報取得部４１と、撮像情報処理部４２と、距離画像取得部４３（検出情報取得部）と、距離画像処理部４４と、判定部４５と、出力部４６とを備える。なお、撮像情報処理部４２、距離画像処理部４４および判定部４５は、１以上のプロセッサおよびメモリを含んで構成することができる。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサの少なくともいずれかを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を含んでよい。撮像情報処理部４２、距離画像処理部４４および判定部４５は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍｏｎ−ａ−Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ  Ｉｎ  ａ  Ｐａｃｋａｇｅ）の少なくともいずれかを含んで構成してもよい。
【００３０】
撮像情報取得部４１は、撮像装置２０から撮像情報を取得する。撮像情報取得部４１は、撮像装置２０とのインタフェースである。撮像情報取得部４１は、取得した撮像情報を撮像情報処理部４２に出力する。
【００３１】
撮像情報処理部４２は、撮像情報取得部４１から出力された撮像情報に対して、特徴量（例えば、エッジ）の抽出などの所定の処理を行う。撮像情報処理部４２は、抽出した特徴量に基づき、所定の視野範囲内の物体の検知処理を行い、検知結果を判定部４５に出力する。
【００３２】
距離画像取得部４３は、距離画像センサ３０から距離画像（検出情報）を取得する。距離画像取得部４３は、距離画像センサ３０とのインタフェースである。距離画像取得部４３は、取得した距離画像（検出情報）を距離画像処理部４４に出力する。
【００３３】
距離画像処理部４４は、距離画像取得部４３から出力された距離画像（検出情報）に対して、特徴量（視方向の距離差が所定値よりも大きい隣接する画素など）の抽出などの所定の処理を行い、判定部４５に出力する。
【００３４】
判定部４５は、撮像情報処理部４２から出力された撮像情報に基づく物体の検知結果の正誤を、距離画像処理部４４から出力された検出情報に基づき判定する。判定部４５は、検知結果が正しいと判定した場合には、その検知結果を出力部４６に出力する。判定部４５は、検知結果が誤りであると判定した場合には、例えば、撮像情報処理部４２に、検出情報に基づき、検知結果を補正させたり、検出結果に基づき再度、物体の検知処理を行わせたりする。
【００３５】
出力部４６は、判定部４５から出力された物体の検知結果を、図１においては表示装置に表示するなどして出力する。出力部４６は、表示装置などの外部装置とのインタフェースである。
【００３６】
次に、本実施形態に係る物体検知装置４０の動作について説明する。
【００３７】
図２は、所定の視野範囲を撮像した撮像装置２０の撮像画像（撮像情報）の一例を示す図である。図２に示すように、撮像画像の中央に横向きの車両が存在し、その車両の奥側に家屋などが存在している。
【００３８】
図２に示す撮像情報を用いて物体の検知処理を行った場合、図３Ａに示すように、撮像画像上で物体（車両）として検知された物体領域１０１が、撮像画像上の実際の車両よりも小さく（図３Ａ）、あるいは、撮像画像上の実際の車両よりも大きく（図３Ｂ）誤検知されることがある。
【００３９】
図４は、図２に示す所定の視野範囲について距離画像センサ３０により取得される距離画像を示す図である。なお、図４においては、説明の便宜上、撮像装置２０の撮像画像に距離画像を重畳して示している。
【００４０】
距離画像は、図４においては矩形領域で示される複数の画素を含む。各画素は、距離画像センサ３０から見た視方向への、当該画素に含まれる物体との距離情報を含んでいる。図４においては、距離情報を、各画素（各矩形領域）におけるドットの疎密で示している。ドットが疎の画素ほど、画素に含まれる物体との距離が近いことを示し、ドットが密の画素ほど、画素に含まれる物体との距離が遠いことを示している。図４に示すように、距離画像の下側の領域には車両から近い道路などが存在する。その領域の上側の領域には、下側の領域よりも距離が遠い領域が存在する。この領域が車両に相当する領域である。さらに上側の領域には、さらに距離が遠い領域が存在する。この領域が、車両の奥側の家屋および空などに相当する領域である。
【００４１】
判定部４５は、図４に示すような距離画像（距離に関する検出情報）に基づき、撮像情報を用いて物体の検知結果の正誤を判定する。
【００４２】
図５は、判定部４５が、撮像画像上において物体が存在すると検知された領域（物体領域）が、撮像画像上の実際の物体よりも小さく検知されているか否か判定する場合の動作の一例を示すフローチャートである。
【００４３】
判定部４５は、撮像情報に基づく物体の検知結果を撮像情報処理部４２から取得すると、検知された撮像画像上の物体領域のうち、未選択の物体領域を選択する（ステップＳ１１）。
【００４４】
次に、判定部４５は、選択した物体領域に対応する距離画像上の領域（以下、距離画像上の物体領域と称する）の周辺の１つの画素（以下、周辺画素と称する）を選択する（ステップＳ１２）。なお、撮像装置２０と距離画像センサ３０との位置関係は既知であるため、その位置関係に基づき撮影画像上の任意の位置に対応する距離画像上の位置を特定することができる。また、距離画像上の物体領域の周辺画素とは、距離画像上の物体領域の外縁を構成する画素と隣接する画素を指す。
【００４５】
次に、判定部４５は、選択した周辺画素における視方向の距離と、距離画像上の物体領域を構成する画素における視方向の距離の平均値との差分が所定値未満であるか否かを判定する（ステップＳ１３）。
【００４６】
周辺画素における視方向の距離と、距離画像上の物体領域を構成する画素における視方向の距離の平均値との差分が所定値未満であると判定した場合には（ステップＳ１３：Ｙｅｓ）、判定部４５は、検知結果は誤りであると判定する（ステップＳ１４）。
【００４７】
周辺画素における視方向の距離と、距離画像上の物体領域を構成する画素における視方向の距離の平均値との差分が所定値未満でないと判定した場合には（ステップＳ１３：Ｎｏ）、判定部４５は、検知結果は正しいと判定する（ステップＳ１５）。
【００４８】
ステップＳ１４またはステップＳ１５の処理の後、判定部４５は、選択した距離画像上の物体領域の全ての周辺画素を選択したか否かを判定する（ステップＳ１６）。
【００４９】
距離画像上の物体領域の全ての周辺画素を選択していないと判定した場合には（ステップＳ１６：Ｎｏ）、判定部４５は、ステップＳ１２の処理に戻る。
【００５０】
距離画像上の物体領域の全ての周辺画素を選択したと判定した場合には（ステップＳ１６：Ｙｅｓ）、判定部４５は、撮像画像上の全ての物体領域を選択したか否かを判定する（ステップＳ１７）。ここで、判定部４５は、例えば、選択した撮像画像上の物体領域に対応する距離画像上の物体領域の周辺画素の全てについて、検知結果が正しいと判定した場合、選択した撮影画像上の物体領域の検知結果が正しいと判定することができる。また、判定部４５は、例えば、選択した撮像画像上の物体領域に対応する距離画像上の物体領域の周辺画素のうち、検知結果が誤りであると判定した周辺画素の数が所定未満である場合、その選択した物体領域の検知結果が正しいと判定してもよい。
【００５１】
撮像画像上の全ての物体領域を選択していないと判定した場合には（ステップＳ１７：Ｎｏ）、判定部４５は、ステップＳ１１の処理に戻る。
【００５２】
撮像画像上の全ての物体領域を選択したと判定した場合には（ステップＳ１７：Ｙｅｓ）、判定部４５は、処理を終了する。
【００５３】
図３Ａに示すように、撮像画像上の物体領域１０１が、撮像画像上の実際の物体（車両）よりも小さく検知された場合、物体領域１０１の周辺の領域にも同じ物体が存在する。そのため、物体領域１０１と、その周辺領域とでは、視方向の距離は大きく変わらない。つまり、撮像画像上の物体領域が、実際の物体よりも小さく検知された場合、撮像画像上の物体領域に対応する距離画像上の物体領域の周辺画素における視方向の距離と、距離画像上の物体領域を構成する画素における視方向の距離（の平均値）との差は小さくなる。したがって、判定部４５は、周辺画素における視方向の距離と、距離画像上の物体領域を構成する画素の視方向の距離との差分に基づき、撮像画像上の物体領域が実際の物体よりも小さく検知されているか否かを判定することができる。
【００５４】
なお、撮像画像上の物体領域が実際の物体よりも小さく検知されているか否かの判定は、図５を参照して説明した方法に限られるものではない。すなわち、判定部４５は、物体領域の周辺の全ての周辺画素についてステップＳ１３〜ステップＳ１５の処理を行う必要は無い。また、周辺画素における視方向の距離と比較するのは、距離画像上の物体領域を構成する画素における視方向の距離の平均値である必要は無い。
【００５５】
判定部４５は、第１の位置における検出情報（第１の位置に照射された電磁波の反射波の検出情報）、および、第１の位置とは異なり、検知処理により検知された物体に対応する第２の位置における検出情報（第２の位置に照射された電磁波の反射波の検出情報）の差分に基づき、検知結果の正誤（物体領域が実際の物体よりも小さく検知されているか否か）を判定することができる。ここで、検出情報は、第１の位置および第２の位置までの距離情報、すなわち、第１の位置および第２の位置までの視方向の距離を示す。また、物体領域が実際の物体よりも小さく検知されているか否かを判定する場合、第１の位置は、検知処理により検知された物体の周辺に対応する位置（例えば、距離画像上の物体領域の周辺画素に対応する位置）である。この場合、判定部４５は、第１の位置までの視方向の距離と、第２の位置における視方向の距離との差分が所定値未満である場合、検知結果が誤りであると判定することができる。
【００５６】
物体領域が実際の物体よりも小さく検知されていると判定部４５により判定された場合、撮像情報処理部４２は、検知結果を補正したり、検知処理を再度行ったりする。検知結果を補正する場合、撮像情報処理部４２は、例えば、第１の位置を含むように、物体領域を拡大する。また、検知処理を再度行う場合、撮像情報処理部４２は、例えば、第１の位置が物体領域に含まれるという前提で、検知処理をやり直す。
【００５７】
図６は、判定部４５が、撮像画像上の物体領域が、撮像画像上の実際の物体よりも大きく検知されているか否かを判定する場合の動作の一例を示すフローチャートである。
【００５８】
判定部４５は、撮像情報を用いて物体の検知結果を撮像情報処理部４２から取得すると、検知された撮像画像上の物体領域のうち、未選択の物体領域を選択する（ステップＳ２１）。
【００５９】
次に、判定部４５は、選択した撮像画像上の物体領域に対応する距離画像上の物体領域を構成する１つの画素（以下、領域画素と称する）を選択する（ステップＳ２２）。
【００６０】
次に、判定部４５は、選択した領域画素における視方向の距離と、距離画像上の物体領域を構成する画素における視方向の距離の平均値との差分が所定値以上であるか否かを判定する（ステップＳ２３）。
【００６１】
領域画素における視方向の距離と、距離画像上の物体領域を構成する画素における視方向の距離の平均値との差分が所定値以上であると判定した場合には（ステップＳ２３：Ｙｅｓ）、判定部４５は、検知結果は誤りであると判定する（ステップＳ２４）。
【００６２】
領域画素における視方向の距離と、距離画像上の物体領域を構成する画素における視方向の距離の平均値との差群が所定値以上でないと判定した場合には（ステップＳ２３：Ｎｏ）、判定部４５は、検知結果は正しいと判定する（ステップＳ２５）。
【００６３】
ステップＳ２４またはステップＳ２５の処理の後、判定部４５は、距離画像上の物体領域の全ての領域画素を選択したか否かを判定する（ステップＳ２６）。
【００６４】
距離画像上の物体領域の全ての領域画素を選択していないと判定した場合には（ステップＳ２６：Ｎｏ）、判定部４５は、ステップＳ２２の処理に戻る。
【００６５】
距離画像上の物体領域の全ての領域画素を選択したと判定した場合には（ステップＳ２６：Ｙｅｓ）、判定部４５は、撮像画像上の全ての物体領域を選択したか否かを判定する（ステップＳ２７）。ここで、判定部４５は、例えば、選択した撮像画像上の物体領域に対応する距離画像上の物体領域を構成する画素の全てについて、検知結果が正しいと判定した場合、その選択した物体領域の検知結果が正しいと判定することができる。また、判定部４５は、例えば、選択した撮像画像上の物体領域に対応する距離画像上の物体領域を構成する画素のうち、検知結果が誤りであると判定した画素の数が所定数以下の場合、その選択した物体領域の検知結果が正しいと判定してもよい。
【００６６】
撮像画像上の全ての物体領域を選択していないと判定した場合には（ステップＳ２７：Ｎｏ）、判定部４５は、ステップＳ２１の処理に戻る。
【００６７】
撮像画像上の全ての物体領域を選択したと判定した場合には（ステップＳ２７：Ｙｅｓ）、判定部４５は、処理を終了する。
【００６８】
図３Ｂに示すように、撮像画像上の物体領域１０１が、撮像画像上の実際の物体（車両）よりも大きく検知された場合、物体領域１０１には、物体（車両）よりも手前側の道路、あるいは、車両よりも奥側の家屋および空などに相当する領域も含まれる。この場合、物体領域１０１内であっても、車両に相当する領域における視方向の距離と、車両以外の領域における視方向の距離とは大きく異なる。つまり、撮像画像上の物体領域が、実際の物体よりも大きく検知された場合、距離画像上の物体領域における検知対象以外の画素と、距離画像上の物体領域を構成する画素における視方向の距離（の平均値）との差分は大きくなる。したがって、判定部４５は、領域画素における視方向の距離と、距離画像上の物体領域を構成する画素における視方向の距離との差分に基づき、撮像画像上の物体領域が実際の物体よりも大きく検知されているか否かを判定することができる。
【００６９】
なお、撮像画像上の物体領域が実際の物体よりも大きく検知されているか否かの判定は、図６を参照して説明した方法に限られるものではない。すなわち、距離画像上の物体領域を構成する全ての領域画素についてステップＳ２３〜ステップＳ２５の処理を行う必要は無い。また、領域画素における視方向の距離と比較するのは、距離画像上の物体領域を構成する画素における視方向の距離の平均値である必要は無い。
【００７０】
判定部４５は、第１の位置における検出情報、および、第１の位置とは異なり、検知処理により検知された物体に対応する第２の位置における検出情報の差分に基づき、検知結果の正誤（物体領域が実際の物体よりも大きく検知されているか否か）を判定することができる。ここで、検出情報は、第１の位置および第２の位置までの距離情報、すなわち、第１の位置および第２の位置までの視方向の距離を示す。また、物体領域が実際の物体よりも大きく検知されているか否かを判定する場合、第１の位置は、検知処理により検知された物体に対応し（物体領域に含まれ）、第２の位置よりも内側の位置である。この場合、判定部４５は、第１の位置までの視方向の距離と、第２の位置までの視方向の距離との差分が所定値以上である場合、検知結果が誤りであると判定することができる。
【００７１】
物体領域が実際の物体よりも大きく検知されていると判定部４５により判定された場合、撮像情報処理部４２は、検知結果を補正したり、検知処理を再度行ったりする。検知結果を補正する場合、撮像情報処理部４２は、例えば、第１の位置まで物体領域を縮小する。また、検知処理を再度行う場合、撮像情報処理部４２は、例えば、第２の位置は物体領域に含まれないという前提で、検知処理をやり直す。また、撮像情報処理部４２は、第２の位置は背景に対応すると判定する。なお、背景とは、検知処理による検知対象の物体（他の車両、歩行者など）以外の物体である。
【００７２】
次に、検知結果の正誤の別の判定方法について説明する。上述したように、検知対象の物体（自動車、人など）以外の背景の模様、パターンなどが、検知対象の物体の形状に類似する場合、背景が検知対象の物体であると誤検知されてしまうことがある。
【００７３】
図７は、撮像装置２０の撮像画像の一例を示す図である。図７においては、検知結果として、人であると検知された領域１０２（右斜め上がりのハッチングが付された領域）と、車両であると検知された領域１０３（右斜め下がりのハッチングが付された領域）と、背景であり、人などの物体が存在しないにも関わらず、人であると誤検知された領域１０４（右斜め上がりのハッチングが付された領域）とを含む例を示している。検知結果の精度の向上のためには、領域１０４のような誤った検知結果は除外する必要がある。以下では、このような誤検知の有無を判定するための方法について説明する。
【００７４】
図８は、判定部４５が、背景の模様などによる誤検知が物体の検知結果に含まれるか否かを判定する場合の動作の一例を示すフローチャートである。
【００７５】
判定部４５は、撮像情報を用いた物体の検知結果を撮像情報処理部４２から取得すると、検知された撮像画像上の物体領域のうち、未選択の物体領域を選択する（ステップＳ３１）。
【００７６】
次に、判定部４５は、選択した撮像画像上の物体領域に対応する距離画像上の物体領域を構成する領域画素の検出情報が有効であるか否かを判定する（ステップＳ３２）。判定部４５は、例えば、領域画素における視方向の距離が無限遠あるいは測定不能な距離である場合に、領域画素の検出情報が有効ではないと判定する。
【００７７】
領域画素の検出情報が有効であると判定した場合には（ステップＳ３２：Ｙｅｓ）、判定部４５は、選択した物体領域の検知結果は正しいと判定する（ステップＳ３３）。
【００７８】
領域画素の検出情報が有効でないと判定した場合には（ステップＳ３２：Ｎｏ）、判定部４５は、選択した物体領域の検知結果は誤りであると判定する（ステップＳ３４）。
【００７９】
ステップＳ３３またはステップＳ３４の処理の後、判定部４５は、撮像画像上の全ての物体領域を選択したか否かを判定する（ステップＳ３５）。
【００８０】
撮像画像上の全ての物体領域を選択していないと判定した場合には（ステップＳ３５：Ｎｏ）、判定部４５は、ステップＳ３１の処理に戻る。
【００８１】
撮像画像上の全ての物体領域を選択したと判定した場合には（ステップＳ３５：Ｙｅｓ）、判定部４５は、処理を終了する。
【００８２】
図７に示すように、人などの物体が存在しない背景に相当する領域１０４が、物体領域として検知された場合、領域１０４には人などの物体が存在しないので、領域１０４では、視方向の距離が無限遠あるいは測定不能な距離となる。したがって、判定部４５は、領域画素の検出情報が有効であるか否かを判定することで、背景の模様などによる誤検知が検知結果に含まれるか否かを判定することができる。すなわち、判定部４５は、検知処理により検知された物体に対応する位置までの視方向の距離が所定値以上である場合、検知結果は誤りであると判定することができる。この場合、撮像情報処理部４２は、誤検知であると判定された物体領域は背景であるとして検知する。
【００８３】
なお、背景の模様などによる誤検知が物体の検知結果に含まれるか否かの判定は、図８を参照して説明した方法に限られるものではない。すなわち、検知処理により検知された物体に対応する位置までの視方向の距離を用いる必要はない。
【００８４】
例えば、判定部４５は、検知処理により検知された物体に対応する位置に照射した電磁波の反射波の強度に応じて、検知結果が誤りであるか否かを判定してもよい。人などの物体が存在しない領域では、その領域に照射された電磁波が反射されず、反射波は検出されない、あるいは、実際に物体が存在する場合と比べて、反射波の強度は小さくなる。したがって、判定部４５は、検知された物体に対応する位置に照射した電磁波の反射波の強度が所定値未満である場合には、検知結果が誤りであると判定することができる。
【００８５】
次に、検知結果の正誤のさらに別の判定方法について説明する。上述したように、似通った色の複数の物体が撮像装置２０から見て重畳して配置されている場合、撮像装置２０の撮像画像上では、異なる物体間の境目での色の変化が小さく、エッジを抽出することが困難となる。すなわち、図９に示すように、撮像装置２０から見て、物体１０５と、物体１０５と色合いが似ており、物体１０５よりも大きい物体１０６とが重なっている場合、撮像装置２０の撮像画像では、物体１０５と物体１０６とが重なり、物体１０５と物体１０６とのエッジが判別しにくくなる。その結果、物体１０５が検知されず、物体１０６のみが１つの物体として誤検知されることがある。以下では、このような複数の物体の重なりによる誤検知の有無を判定するための方法について説明する。
【００８６】
図１１は、判定部４５が、複数の物体の重なりによる誤検知の有無を判定する場合の動作の一例を示すフローチャートである。
【００８７】
判定部４５は、撮像情報を用いた物体の検知結果を撮像情報処理部４２から取得する。また、判定部４５は、距離画像を用いた物体の検知結果を距離画像処理部４４から取得する。判定部４５は、距離画像上の物体領域のうち、未選択の物体領域を選択する（ステップＳ４１）。
【００８８】
図１２は、図９に示す状態（物体１０５と物体１０６とが重なった状態）で、距離画像センサ３０により得られる距離画像を示す図である。すなわち、図１２は、図９に示す撮像装置２０を距離画像センサ３０に置き換えた場合に得られる距離画像を示す図である。なお、図１２においては、距離情報を、各領域におけるドットの疎密で示している。ドットが疎の領域ほど、その領域の物体との距離が近いことを示し、ドットが密の領域ほど、その領域の物体との距離が遠いことを示している。
【００８９】
図９に示すように、物体１０５の方が物体１０６よりも距離画像センサ３０に近い。したがって、物体１０５の位置および形状に対応する物体領域１０７における視方向の距離が、物体１０６の位置および形状に対応し、物体領域１０７を囲む物体領域１０８における視方向の距離よりも近い。このように、距離画像では、複数の物体が重なっていても、各物体を区別して検知することができる。
【００９０】
図１１を再び参照すると、判定部４５は、選択した距離画像上の物体領域が、撮像画像上の対応する位置の物体領域と重なる（サイズおよび形状が同じあるいは概ね同等である）か否かを判定する（ステップＳ４２）。
【００９１】
距離画像上の物体領域が、撮像画像上の対応する位置の物体領域と重ならないと判定した場合には（ステップＳ４２：Ｎｏ）、判定部４５は、選択した距離画像上の物体領域を、撮像画像上の物体の検知結果に追加する（ステップＳ４３）。
【００９２】
距離画像上の物体領域が、撮像画像上の対応する位置の物体領域と重なると判定した場合には（ステップＳ４２：Ｙｅｓ）、判定部４５は、選択した距離画像上の物体領域を、撮像画像上の物体の検知結果に追加しない（ステップＳ４４）。
【００９３】
ステップＳ４３あるいはステップＳ４４の処理の後、判定部４５は、距離画像上の全ての物体領域を選択したか否かを判定する（ステップＳ４５）。
【００９４】
距離画像上の全ての物体領域を選択していないと判定した場合には（ステップＳ４５：Ｎｏ）、判定部４５は、ステップＳ４１の処理に戻る。
【００９５】
距離画像上の全ての物体領域を選択したと判定した場合には（ステップＳ４５：Ｙｅｓ）、判定部４５は、処理を終了する。
【００９６】
図１０および図１２を参照して説明したように、撮像装置２０の撮像画像では、色が似通った物体が重なっている場合、それらの物体を区別して検知することが困難である。一方、距離画像センサ３０の距離画像では、それらの物体を区別して検知することができる。したがって、距離画像上の物体領域が、撮像画像上の物体領域と重ならない、すなわち、撮像画像を用いた画像認識では検知されていない場合には、距離画像上の物体領域を撮像画像上の物体の検知結果に追加することで、検知結果の精度の向上を図ることができる。
【００９７】
なお、物体の重なりによる誤検知の有無の判定方法は、図１１を参照して説明した方法に限られるものではない。すなわち、距離画像上の物体領域について、ステップＳ４２〜ステップＳ４４の処理を行う必要は無い。
【００９８】
例えば、判定部４５は、第１の位置における検出情報、および、第１の位置とは異なり、検知処理により検知された物体に対応する第２の位置における検出情報の差分に基づき、検知結果の正誤（物体の重なりによる誤検知の有無）を判定することができる。ここで、物体の重なりによる誤検知の有無を判定する場合、第１の位置は、検知処理により検知された物体に対応し、第２の位置よりも内側の位置である。この場合、判定部４５は、第１の位置における視方向の距離と、第２の位置における視方向の距離との差分が所定値以上である場合、検知結果が誤りであると判定することができる。
【００９９】
図１２に示すように、距離画像センサ３０からの距離が異なる複数の物体が重なっている場合、各物体に対応する領域で距離画像センサ３０からの距離が異なる。そのため、距離画像上の物体領域内の第１の位置における視方向の距離と第２の位置における視方向の距離との差分が所定値以上である場合、第１の位置に存在する物体と第２の位置に存在する物体とは異なる物体である可能性が高い。したがって、第１の位置と第２の位置との視方向の距離の差分に応じて、物体の重なりによる誤検知の有無を判定することができる。
【０１００】
このように本実施形態においては、物体検知装置４０は、所定の視野範囲を撮像した撮像情報を取得する撮像情報取得部４１と、所定の視野範囲内の少なくとも１つの位置に照射した電磁波の反射波の検出情報を取得する距離画像取得部４３（検出情報取得部）と、撮像情報に基づいて、所定の視野範囲内の物体の検知処理を行う撮像情報処理部４２（物体検知部）と、検出情報に基づいて、検知処理による検知結果の正誤を判定する判定部４５と、を備える。
【０１０１】
物体検知装置４０は、所定の視野範囲内に照射した電磁波の反射波の検出情報により、視野範囲内の物体の形状、物体のサイズ、物体の有無、物体の重なりなどを判定することができる。そのため、物体検知装置４０は、検出情報に基づき、撮像情報を用いた物体の検知処理の検知結果の正誤を判定することで、検知結果の精度の更なる向上を図ることができる。
【０１０２】
上記実施形態の他、物体検知装置４０が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータは、コンピュータ読取り可能媒体を用いれば、上記プログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。
【０１０３】
あるいは、物体検知装置４０が行う各処理を実行するためのプログラムを記憶するメモリ、および当該メモリに記憶されたプログラムを実行するプロセッサによって構成され、物体検知装置４０に搭載されるチップが提供されてもよい。
【０１０４】
本開示の一実施形態を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。従って、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。
【符号の説明】
【０１０５】
１０    物体検知システム
２０    撮像装置
３０    距離画像センサ
３１    電磁波放射装置
３２    電磁波検出装置
４０    物体検知装置
４１    撮像情報取得部
４２    撮像情報処理部（物体検知部）
４３    距離画像取得部（検出情報取得部）
４４    距離画像処理部
４５    判定部
４６    出力部
１０１，１０２，１０３，１０４    物体領域
１０５，１０６    物体
１０７，１０８    距離画像上の物体領域
【図１】
2019007744.tif 000003
【図２】
2019007744.tif 000004
【図３Ａ】
2019007744.tif 000005
【図３Ｂ】
2019007744.tif 000006
【図４】
2019007744.tif 000007
【図５】
2019007744.tif 000008
【図６】
2019007744.tif 000009
【図７】
2019007744.tif 000010
【図８】
2019007744.tif 000011
【図９】
2019007744.tif 000012
【図１０】
2019007744.tif 000013
【図１１】
2019007744.tif 000014
【図１２】
2019007744.tif 000015