(57)【要約】【課題】カメラと物体との距離がどのような場合であっても、認識辞書を用いた画像認識により高い精度でその物体を検出できるようにした「画像処理装置および画像処理方法」を提供する。【解決手段】画像処理装置１は、リアカメラ２の撮影画像に対して、異なる複数の距離の投影面を用いた画像変換を行って、投影面の距離毎に処理対象画像を生成する処理対象画像生成部１１と、生成された処理対象画像のそれぞれを対象として認識辞書を用いた画像認識を行って、物体検出を行う物体検出部１２とを備えており、単一の投影面ではなく、異なる複数の距離の投影面を用いた画像変換により生成された処理対象画像を対象として、認識辞書を用いた画像認識を行う。【選択図】図１
2019211943.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラから撮影画像を取得する撮影画像取得部と、
前記撮影画像取得部により取得された前記撮影画像に対して、異なる複数の距離の投影面を用いた画像変換を行って、投影面の距離毎に処理対象画像を生成する処理対象画像生成部と、
前記処理対象画像生成部により生成された前記処理対象画像のそれぞれを対象として認識辞書を用いた画像認識を行って、物体検出を行う物体検出部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記物体検出部は、
１つの前記撮影画像に基づく異なる複数の投影面の距離に対応する前記処理対象画像について、共通の前記認識辞書を用いて画像認識を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記物体検出部は、
１つの前記撮影画像に基づく異なる複数の投影面の距離に対応する前記処理対象画像のうち、物体が検出された前記処理対象画像を、物体に関する画像処理に利用する画像として特定する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記物体検出部は、
１つの前記撮影画像に基づく異なる複数の投影面の距離に対応する前記処理対象画像のうち、２つ以上の前記処理対象画像から共通する物体が検出された場合、より大きな距離の投影面に係る前記処理対象画像を、物体に関する画像処理に利用する画像として優先的に特定する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記処理対象画像生成部は、
１つの前記撮影画像に基づく異なる複数の投影面の距離に対応する前記処理対象画像のそれぞれについて、解像度の異なるピラミッド画像を生成し、
前記物体検出部は、
当該距離毎に前記ピラミッド画像を含めて画像認識を行って物体検出を行う
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項６】
前記物体検出部は、
１つの前記撮影画像に基づく異なる複数の投影面の距離に対応する前記処理対象画像のうち、物体が検出されるか、または、対応する前記ピラミッド画像に物体が検出された前記処理対象画像を、物体に関する画像処理に利用する画像として特定する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記物体検出部は、
１つの前記撮影画像に基づく異なる複数の投影面の距離に対応する前記処理対象画像のうち、物体が検出されるか、または、対応する前記ピラミッド画像に物体が検出された前記処理対象画像が複数ある場合、物体が検出された前記ピラミッド画像の個数、および、投影面の距離の大きさを反映して、物体が検出された前記ピラミッド画像の個数がより多く、投影面の距離がより大きい前記処理対象画像を、物体に関する画像処理に利用する画像として優先的に特定する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記撮影画像取得部は、車両の後方を広角レンズによって撮影する前記カメラから前記撮影画像を取得し、
前記処理対象画像生成部は、前記撮影画像に対して歪み補正を含む画像変換を行う
ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
画像処理装置の撮影画像取得部が、車両に搭載されたカメラから撮影画像を取得するステップと、
前記画像処理装置の処理対象画像生成部が、前記撮影画像取得部により取得された前記撮影画像に対して、異なる複数の距離の投影面を用いた画像変換を行って、投影面の距離毎に処理対象画像を生成するステップと、
前記画像処理装置の物体検出部が、前記処理対象画像生成部により生成された前記処理対象画像のそれぞれを対象として認識辞書を用いた画像認識を行って、物体検出を行うステップと、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、車両に搭載されたカメラの撮影画像を分析して物体を検出する画像処理装置、および、当該画像処理装置による画像処理方法に用いて好適なものである。
【背景技術】
【０００２】
従来、車両に搭載されたカメラの撮影画像を分析し、所定の物体（例えば、後続車両や、歩行者等）を検出する技術が知られている。この技術について、特許文献１には、四輪車、二輪車、人間等の移動体の形状、大きさ、色などのパターンを照合可能な認識辞書を記憶する認識辞書記憶部２００を備え、後方カメラ１１０の撮影画像に対して認識辞書記億部２００に記憶された認識辞書を用いた画像認識（パターンマッチング）を行って物体検出を行う技術が記載されている（段落００２１、００３０等）。
【０００３】
また、上記技術について、特許文献２には、後方カメラ２１の撮影画像についてエッジを検出し、エッジの移動量が路面領域等の移動量に対して一定以上大きい場合に移動物体と判定する技術や、エッジの強度が一定以上の場合、移動物体と判定する技術が記載されている（段落００１５、００１６等）
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１６２１９８号公報
【特許文献２】特開２０１６−２１３７５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、車載のカメラの撮影画像を分析し、物体検出を行う画像処理装置では、広角レンズを有する撮影装置によってカメラを構成し、撮影画像に対して歪み補正および所定の距離に設置された投影面への投影を含む画像変換を行って補正後撮影画像を生成し、この補正後撮影画像を対象として、認識辞書を用いた画像認識を行うことが広く行われている。
【０００６】
そして、このような画像処理装置では、従来、以下の問題があった。すなわち、物体のカメラからの距離は固定的なものではなく、動的に変化する。このため、カメラの撮影結果に基づいて撮影画像が生成されたときに、検出の対象となる物体がカメラから非常に近い場所に位置している場合や、非常に遠い場所に位置している場合がある。このような場合に、カメラと物体との距離が近すぎることや、遠すぎることに起因して、物体の一部が投影画像に含まれなかったり、投影画像において物体の画像が歪んだり、物体の画像が非常に小さかったりし、認識辞書を用いた画像認識ではその物体が適切に認識されず、物体検出の精度が低下してしまうという問題があった。
【０００７】
本発明は、このような問題を解決するために成されたものであり、カメラと物体との距離がどのような場合であっても、認識辞書を用いた画像認識により高い精度でその物体を検出できるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
上記した課題を解決するために、本発明は、車両に搭載されたカメラの撮影画像に対して、異なる複数の距離の投影面を用いた画像変換を行って、投影面の距離毎に処理対象画像を生成し、生成された処理対象画像のそれぞれを対象として認識辞書を用いた画像認識を行って、物体検出を行うようにしている。
【発明の効果】
【０００９】
上記のように構成した本発明によれば、撮影画像について、単一の距離の固定的な投影面ではなく、異なる複数の距離の投影面を用いた画像変換により複数の処理対象画像が生成され、それぞれの処理対象画像に対して認識辞書を用いた画像認識が行われ、物体検出が行われる。このため、カメラとの距離が近い物体の画像が記録されている場合や、遠い物体の画像が記録されている場合に、複数の距離の投影面のうち、画像認識に影響を与える物体の画像の欠損や、物体の画像の歪みを発生させず、物体の画像の大きさが適切な大きさとなるような投影面を用いて生成された処理対象画像を物体検出の対象とすることが可能となり、カメラと物体との距離が近い場合や遠い場合であっても、認識辞書を用いた画像認識により高い精度でその物体を検出できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る画像処理装置の機能構成例を示すブロック図である。
【図２】自車両の後方に形成される投影面と、自車両から近い場所に後続車両が位置する場合に生成される処理対象画像およびピラミッド画像とを示す図である。
【図３】自車両の後方に形成される投影面と、自車両から遠い場所に後続車両が位置する場合に生成される処理対象画像およびピラミッド画像とを示す図である。
【図４】本発明の一実施形態に係る物体検出部の動作例を示すフローチャートである。
【図５】本発明の一実施形態に係る物体検出部の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態に係る画像処理装置１の機能構成例を示すブロック図である。画像処理装置１は、車両の後方を撮影するリアカメラ２の撮影結果を分析し、車両の後方の物体を検出する装置である。本実施形態において、検出する対象となる車両の後方の物体は、自動車（自動四輪車や、自動二輪車等）や、歩行者（歩行する人間や、自転車の乗る人間等）である。他の物体を検出対象としてもよいことは勿論である。以下、画像処理装置１が搭載された車両を「自車両」という。
【００１２】
図１に示すように、画像処理装置１には、リアカメラ２が接続されている。リアカメラ２は、自車両の後端部であって、幅方向の中央部に設けられ、自車両の後方を撮影する撮影装置である。リアカメラ２は、魚眼レンズ（広角レンズ）を有する撮影装置である。リアカメラ２は、所定の周期で撮影を実行して撮影画像を生成し、出力する。リアカメラ２は、特許請求の範囲の「カメラ」に相当する。
【００１３】
図１に示すように、画像処理装置１は、機能構成として、撮影画像取得部１０、処理対象画像生成部１１、物体検出部１２および画像処理部１３を備えている。上記各機能ブロック１０〜１３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１０〜１３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭ等を備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。
【００１４】
また、図１に示すように、画像処理装置１は、記憶手段として、ルックアップテーブル記憶部１５、処理対象画像記憶部１６および認識辞書記憶部１７を備えている。ルックアップテーブル記憶部１５は、後述する各種ルックアップテーブルを記憶する。また、処理対象画像記憶部１６は、処理対象画像生成部１１により生成された処理対象画像記憶部１６を記憶する。また、認識辞書記憶部１７は、後述する自動車認識辞書および歩行者認識辞書を記憶する。
【００１５】
撮影画像取得部１０は、リアカメラ２から撮影画像を所定の周期で入力する。撮影画像取得部１０は、リアカメラ２から入力した撮影画像を所定の周期で処理対象画像生成部１１に出力する。
【００１６】
処理対象画像生成部１１は、撮影画像取得部１０により取得された撮影画像に対して、異なる複数の距離の投影面を用いた画像変換を行って、投影面の距離毎に処理対象画像を生成する。更に、処理対象画像生成部１１は、１つの撮影画像に基づく異なる複数の投影面の距離に対応する処理対象画像のそれぞれについて、解像度の異なるピラミッド画像を生成する。以下、処理対象画像生成部１１の処理について詳述する。
【００１７】
処理対象画像生成部１１は、撮影画像取得部１０から所定の周期で撮影画像を入力する。処理対象画像生成部１１は、撮影画像を入力する度に以下の処理を実行する。すなわち、まず、処理対象画像生成部１１は、ルックアップテーブル記憶部１５に記憶された近距離ルックアップテーブルを用いて近距離処理対象画像ＧＮ１を生成する。
【００１８】
近距離ルックアップテーブルは、撮影画像に対して、魚眼レンズに由来する歪みの歪み補正を少なくとも含む画像処理を施すと共に、近距離の投影面への物体の投影を行って近距離処理対象画像ＧＮ１を生成するためのマッピングテーブルであり、近距離処理対象画像ＧＮ１を構成する各ドットのドット位置と、撮影画像の対応する各ドットのドット位置とが一対一で対応付けられている。近距離ルックアップテーブルは、車両座標系におけるリアカメラ２の配置位置および配置角度、リアカメラ２の仕様（投影方法や、画角、ディストーション（レンズの歪み）、解像度等）、投影面の距離、その他の要素を反映して事前に適切に設定されている。
【００１９】
なお、本実施形態において投影面と表現する場合、特に明記しない限り、自車両が走行する路面に対応する水平面に対して垂直に起立した平面状の投影面を意味する。また、所定の距離の投影面とは、リアカメラ２の光学原点に対して、所定の距離だけ離間した位置に配置された投影面を意味する。
【００２０】
図２（Ａ）は、自車両の後方に設置される近距離の投影面、中距離の投影面および遠距離の投影面を模式的に示す図である。図２（Ｂ）は後述する処理対象画像およびピラミッド画像を示す図である。図２（Ａ）では、自車両の後方に位置し、前端部が近距離の投影面の位置に位置している後続車両が描画されている。また、図２（Ａ）では、各投影面と併せて、各投影面に対応する撮影範囲（視体積）を描画している。図２（Ａ）に示すように、近距離は、中距離および遠距離よりも短い距離である。近距離は、例えば、「０．５メートル」である。
【００２１】
処理対象画像生成部１１は、ルックアップテーブル記憶部１５に記憶された近距離ルックアップテーブルを用いて撮影画像を画像変換し、近距離処理対象画像ＧＮ１を生成する。この結果、近距離の投影面に物体を投影した近距離処理対象画像ＧＮ１が生成される。
【００２２】
また、処理対象画像生成部１１は、ルックアップテーブル記憶部１５に記憶された中距離ルックアップテーブルを用いて撮影画像を画像変換し、中距離処理対象画像ＧＭ１を生成する。中距離ルックアップテーブルは、中距離の投影面（図２（Ａ）参照）を用いて画像変換を行うためのマッピングテーブルである。中距離は、近距離より大きく遠距離より小さい距離であり、例えば「５メートル」である。この結果、中距離の投影面に物体を投影した中距離処理対象画像ＧＭ１が生成される。
【００２３】
また、処理対象画像生成部１１は、ルックアップテーブル記憶部１５に記憶された遠距離ルックアップテーブルを用いて撮影画像を画像変換し、遠距離処理対象画像ＧＦ１を生成する。遠距離ルックアップテーブルは、遠距離の投影面（図２（Ａ）参照）を用いて画像変換を行うためのマッピングテーブルである。遠距離は、中距離よりも大きい距離であり、例えば「１０メートル」である。この結果、遠距離の投影面に物体を投影した遠距離処理対象画像ＧＦ１が生成される。
【００２４】
近距離処理対象画像ＧＮ１、中距離処理対象画像ＧＭ１および遠距離処理対象画像ＧＦ１を生成した後、処理対象画像生成部１１は、以下の処理を実行する。すなわち、処理対象画像生成部１１は、近距離処理対象画像ＧＮ１に基づいて、解像度を「１／２」に縮小した第１近距離ピラミッド画像ＧＮ２、および、解像度を「１／４」に縮小した第２近距離ピラミッド画像ＧＮ３を生成する。また、処理対象画像生成部１１は、中距離処理対象画像ＧＭ１に基づいて、解像度を「１／２」に縮小した第１中距離ピラミッド画像ＧＭ２、および、解像度を「１／４」に縮小した第２中距離ピラミッド画像ＧＭ３を生成する。また、処理対象画像生成部１１は、遠距離処理対象画像ＧＦ１に基づいて、解像度を「１／２」に縮小した第１遠距離ピラミッド画像ＧＦ２、および、解像度を「１／４」に縮小した第２遠距離ピラミッド画像ＧＦ３を生成する。なお、ピラミッド画像は、本実施形態で例示する方法で生成された画像である必要はなく、処理対象画像の解像度を縮小した１または複数の画像であればよい。
【００２５】
処理対象画像生成部１１は、生成した近距離処理対象画像ＧＮ１、中距離処理対象画像ＧＭ１および遠距離処理対象画像ＧＦ１、および、各処理対象画像について生成した各ピラミッド画像を処理対象画像記憶部１６に記憶する。図２（Ｂ）は、近距離処理対象画像ＧＮ１、中距離処理対象画像ＧＭ１および遠距離処理対象画像ＧＦ１の一例を示すと共に、各処理対象画像について生成された各ピラミッド画像の一例を示す図である。特に、図２（Ｂ）の処理対象画像のそれぞれは、図２（Ａ）で示すように、近距離の投影面に進行方向の前端部が位置する後続車両が存在する場合に生成される画像である。
【００２６】
物体検出部１２は、処理対象画像生成部１１により生成された処理対象画像のそれぞれを対象として認識辞書を用いた画像認識を行って、物体検出を行う。以下、物体検出部１２の処理について詳述する。
【００２７】
物体検出部１２は、処理対象画像生成部１１による処理対象画像の生成と同期して、所定の周期で以下の処理を実行する。すなわち、まず、物体検出部１２は、近距離処理対象画像ＧＮ１、第１近距離ピラミッド画像ＧＮ２および第２近距離ピラミッド画像ＧＮ３を１つのグループ（以下、「近距離グループ」という）とする。同様に、物体検出部１２は、中距離処理対象画像ＧＭ１、第１中距離ピラミッド画像ＧＭ２および第２中距離ピラミッド画像ＧＭ３を１つのグループ（以下、「中距離グループ」という）とし、遠距離処理対象画像ＧＦ１、第１遠距離ピラミッド画像ＧＦ２および第２遠距離ピラミッド画像ＧＦ３を１つのグループ（以下、「遠距離グループ」という）とする。
【００２８】
物体検出部１２は、グループ毎に以下の処理を行う。以下、近距離グループについて物体検出部１２が実行する処理を説明する。物体検出部１２は、近距離処理対象画像ＧＮ１、第１近距離ピラミッド画像ＧＮ２および第２近距離ピラミッド画像ＧＮ３のそれぞれを処理対象として、認識辞書記憶部１７に記憶された自動車認識辞書および歩行者認識辞書を用いて、物体（本実施形態では、自動車および歩行者）の検出を行う。
【００２９】
自動車認識辞書は、自動車の認識に用いられる認識辞書であり、各種の自動車の様々な部位（例えば、前面の全域や、前面の下部、側面等）を、様々な角度から視たときの画像の特徴が、所定の方法（例えば、特徴点のパターン等）で記述されている。歩行者認識辞書は、歩行者の認識に用いられる認識辞書であり、歩行者の全身の画像の特徴が記述された全身認識辞書のほか、上半身認識辞書、下半身認識辞書等を含んで構成されている。物体検出部１２は、自動車認識辞書および歩行者認識辞書を用いた既存の画像認識を行って、近距離処理対象画像ＧＮ１、第１近距離ピラミッド画像ＧＮ２および第２近距離ピラミッド画像ＧＮ３のそれぞれを処理対象として、認識辞書を用いた画像認識による検出の対象となる物体が存在するか否かを判定する物体検出を行う。例えば、物体検出部１２は、ある１つの画像を処理対象としている場合において、認識辞書を利用して所定の物体がその画像に記録されている確からしさをスコアとして算出し、そのスコアが一定以上の場合、その画像について当該所定の物体が存在すると判定する。
【００３０】
本実施形態では、物体検出部１２は、全ての処理対象画像およびピラミッド画像に対して、共通の認識辞書（自動車認識辞書、歩行者認識辞書）を用いて画像認識を行う。つまり、本実施形態では、「投影面の距離（近距離、中距離、遠距離）毎に、投影面の距離を反映した異なる認識辞書を認識辞書記憶部１７に記憶し、一のグループに属する画像については、当該一のグループに係る投影面の距離に対応する認識辞書を用いた画像認識を行う」ということをしない。
【００３１】
物体の検出結果は、物体毎に、３つの画像の何れからも物体が検出されなかった場合と、１つの以上の画像から物体が検出された場合の何れかとなる。物体検出部１２は、ある物体について、３つの画像の何れからもその物体が検出されなかった場合は、近距離グループについてその物体が検出されなかったと判定し、それ以外の場合は、近距離グループについてその物体が検出されたと判定する。
【００３２】
物体検出部１２は、中距離グループおよび遠距離グループについても、同様の方法で物体検出を行う。３つのグループのそれぞれについて物体検出を行った結果は、物体毎に「３つのグループの何れについても物体が検出されなかった」、「１つのグループから物体が検出された」、「２つ以上のグループから物体が検出された」の何れかとなる。図２（Ｂ）では、物体が後続車両である場合について、近距離グループについて物体が検出され、中距離グループおよび遠距離グループについて物体が検出されておらず、近距離グループに属する近距離処理対象画像ＧＮ１、第１近距離ピラミッド画像ＧＮ２および第２近距離ピラミッド画像ＧＮ３のそれぞれについて、検出された物体の外縁を矩形の枠で囲み、枠の中を所定の態様でマーキングしている。
【００３３】
３つのグループのそれぞれについて上述した方法で物体検出を行った後、物体検出部１２は、物体検出の結果に応じて以下の処理を実行する。なお、以下では、説明の便宜のため、各グループで共通する１つの物体が検出の対象となっているものとする。
【００３４】
＜３つのグループの何れについても物体が検出されなかった場合＞
３つのグループの何れについても物体が検出されなかった場合、物体検出部１２は、リアカメラ２の撮影画像に基づく物体検出により物体が検出されなかったと判定する。
【００３５】
＜１つのグループから物体が検出された場合＞
１つのグループから物体が検出された場合、物体検出部１２は、物体が検出されたグループに属する処理対象画像を、「検出された物体に関する処理に利用する画像」（以下、「物体検出画像」という）として特定する。例えば、近距離グループでのみ物体が検出された場合、近距離処理対象画像ＧＮ１が「物体検出画像」となる。更に、物体検出部１２は、処理対象画像において、認識辞書を用いた画像認識により検出した物体の画像の領域（以下、「物体画像領域」という）を特定する。
【００３６】
物体検出部１２は、以下の方法で物体画像領域を特定する。すなわち、処理対象画像から物体が検出されている場合には、その処理対象画像についての画像認識の結果に基づいて、物体画像領域を特定する。
【００３７】
一方、物体検出部１２は、処理対象画像から物体が検出されていない場合（＝ピラミッド画像の少なくとも一方から物体が検出されている場合）は、以下の処理を実行する。すなわち、物体が検出されたピラミッド画像のうち、最も解像度の高いピラミッド画像についての画像認識の結果に基づいて、そのピラミッド画像における物体の画像の領域を特定する。次いで、物体検出部１２は、特定したピラミッド画像における物体の画像の領域を、処理対象画像における領域に変換する。物体検出部１２は、処理対象画像とピラミッド画像との解像度の相違を踏まえて、適切に領域を変換する。物体検出部１２は、変換後の処理対象画像における領域を、物体画像領域として特定する。
【００３８】
以上のように、物体検出部１２は、物体画像領域を、できるだけ解像度が高い画像の画像認識の結果を用いて特定する。
【００３９】
＜２つ以上のグループから物体が検出された場合＞
２つ以上のグループから物体が検出された場合、物体検出部１２は、以下の処理を実行する。図３（Ａ）は、自車両の後方の各投影面を後続車両と共に模式的に示す図である。図３（Ｂ）は、図３（Ａ）で示すように、中距離の投影面と遠距離の投影面との間に前端部が位置する後続車両が存在する場合に生成される処理対象画像のそれぞれ、および、ピラミッド画像のそれぞれを示す図である。図３（Ｂ）では、共通する後続車両について、近距離グループについて物体が検出されず、中距離グループおよび遠距離グループについて物体が検出されており、中距離グループおよび遠距離グループに属する各画像について、検出された物体（後続車両）の外縁を矩形の枠で囲み、枠の中を所定の態様でマーキングしている。
【００４０】
物体検出部１２は、物体が検出された２つ以上のグループのうち、物体が検出されたピラミッド画像の個数、および、投影面の距離の大きさを反映して、１つのグループを選択する。具体的には、物体検出部１２は、物体が検出されたピラミッド画像の個数が最も多いグループを選択する一方、物体が検出されたピラミッド画像の個数が最も多いグループが複数ある場合には、投影面の距離が大きいグループを選択する。なお、１つのグループを選択する方法は、本実施形態で例示する方法に限られない。例えば、物体が検出されたピラミッド画像の個数にかかわらず、投影面の距離が大きいグループを選択してもよい。すなわち、投影面の距離が大きいグループの方が優先的に選択されると共に、物体が検出されたピラミッド画像の個数が多い方が優先的に選択されればよい。
【００４１】
物体検出部１２は、物体が検出された２つ以上のグループから、１つのグループを選択した後、選択した１つのグループを対象として、＜１つのグループから物体が検出された場合＞で説明した方法と同じ方法で物体検出画像（＝選択した１つのグループの処理対象画像）を特定すると共に、物体画像領域を特定する。
【００４２】
画像処理部１３は、物体検出部１２が特定した物体検出画像、および、物体画像領域に基づいて、検出された物体に関する画像処理を行う。例えば、画像処理は、トラッキング処理であり、画像処理部１３は、物体検出画像における物体画像領域に属する画像が、検出された物体の画像であると認識し、時系列的な物体画像領域の変化等を分析して物体追跡を行う。また、画像処理は、検出された物体までの測距処理（トラッキング処理と共に行われてもよい）であり、画像処理部１３は、物体検出画像における物体画像領域に属する画像が、検出された物体の画像であると認識し、単眼カメラによる既存の測距技術を用いて検出された物体までの距離を測定する。なお、画像処理は、例示した処理に限られない。
【００４３】
次に、本実施形態による方法で物体検出部１２により物体検出が行われることの意義、効果について説明する。上記の通り、本実施形態では、単一の距離の固定的な投影面ではなく、異なる複数の距離（近距離、中距離、遠距離）の投影面を用いた画像変換により複数の処理対象画像が生成され、それぞれの処理対象画像に対して認識辞書を用いた画像認識が行われ、物体検出が行われる。このため、撮影画像にリアカメラ２との距離が近い物体の画像が記録されている場合や、遠い物体の画像が記録されている場合に、複数の距離の投影面のうち、画像認識に影響を与える物体の画像の欠損や、物体の画像の歪みを発生させず、物体の画像の大きさが適切な大きさとなるような投影面を用いて生成された処理対象画像を物体検出の対象とすることが可能となり、リアカメラ２と物体との距離が近い場合や遠い場合であっても、認識辞書を用いた画像認識により高い精度でその物体を検出できる。
【００４４】
例えば、上述の通り図２（Ｂ）の各画像は、自車両に対して後続車両が非常に近い場所に位置しているときに生成された撮影画像に基づいて生成されるものである。図２（Ｂ）で例示する中距離処理対象画像ＧＭ１および遠距離処理対象画像ＧＦ１はそれぞれ、投影面に比して後続車両が自車両に近いことに起因して、後続車両のパンパー部分の画像が欠損し、また、後続車両の画像に歪みが発生している。この画像の欠損および画像の歪みに起因して、図２（Ｂ）で例示する中距離処理対象画像ＧＭ１および遠距離処理対象画像ＧＦ１を対象とする認識辞書を用いた物体検出では、物体が検出されない。
【００４５】
一方で、近距離投影面に対して後続車両は適切な場所に位置している。このため、近距離処理対象画像ＧＮ１では、後続車両の画像の欠損や、当該画像の歪みが発生せず、また、近距離処理対象画像ＧＮ１に占める物体の画像の大きさも適切であり、認識辞書を用いて物体検出を行った場合に、物体が検出される。以上の状況の下、仮に、中距離処理対象画像ＧＭ１（または遠距離処理対象画像ＧＦ１）だけを利用して物体の検出を行った場合、物体の検出が正常に行われないことになるが、本実施形態では、近距離処理対象画像ＧＮ１を含む複数の異なる距離の投影面に係る処理対象画像を処理対象として物体検出が行われるため、最終的に検出されるべき物体（本例では後続車両）が物体検出により検出されることになり、物体検出の精度が高い。
【００４６】
また、上記の通り、本実施形態では、物体検出部１２は、全ての処理対象画像およびピラミッド画像に対して、共通の認識辞書（自動車認識辞書、歩行者認識辞書）を用いて画像認識を行う。つまり、投影面の距離（近距離、中距離、遠距離）にかかわらず、１つの認識辞書（自動車認識辞書、歩行者認識辞書）を認識辞書記憶部１７に記憶し、全てのグループに属する画像について、当該１つの認識辞書を用いた画像認識を行う。
【００４７】
これは、本実施形態では、近距離、中距離および遠距離の投影面に基づく処理対象画像が生成されるため、自車両と物体の距離が近い場合も、離れている場合も、基本的には、少なくも１つの処理対象画像は、物体の画像の欠損や歪みが発生していない画像となり、基準となる１つの認識辞書を用いて十分に高い精度で物体の検出を行うことができるからである。また、このような構成とすることにより、認識辞書として記憶すべきデータのデータ量を削減することができる。
【００４８】
次に、本実施形態に係る画像処理装置１の動作例についてフローチャートを用いて説明する。図４のフローチャートＦＡは、画像処理装置１の動作例を示すフローチャートである。特に、図４は、画像処理装置１が各周期で実行する処理を示している。
【００４９】
図４に示すように、画像処理装置１の撮影画像取得部１０は、リアカメラ２から撮影画像を取得する（ステップＳＡ１）。処理対象画像生成部１１は、ステップＳＡ１で撮影画像取得部１０により取得された撮影画像に対して、異なる複数の距離（近距離、中距離、遠距離）の投影面を用いた画像変換を行って、距離毎に処理対象画像を生成すると共に、処理対象画像毎にピラミッド画像を生成する（ステップＳＡ２）。物体検出部１２は、ステップＳＡ２において処理対象画像生成部１１により生成された各画像のそれぞれを対象として認識辞書を用いた画像処理を行って物体検出を行う（ステップＳＡ３）。具体的には、物体検出部１２は、物体検出画像を特定すると共に、物体検出画像における物体画像領域を特定する。ステップＳＡ３の処理については後に詳述する。画像処理部１３は、ステップＳＡ３で物体検出部１２が特定した物体検出画像、および、物体画像領域に基づいて、検出された物体に関する画像処理を行う（ステップＳＡ４）。
【００５０】
図５のフローチャートＦＢは、ステップＳＡ３の処理の詳細を示すフローチャートである。図５に示すように、物体検出部１２は、グループ毎に、グループに属する画像を処理対象として、認識辞書を用いて、物体検出を行う（ステップＳＢ１）。物体検出部１２は、グループ毎の物体検出の結果、物体３つのグループの何れについても検出されなかったか（ケース１）、１つのグループから物体が検出されたか（ケース２）、２つ以上のグループから物体が検出されたか（ケース３）を判定する（ステップＳＢ２）。３つのグループの何れについても検出されなかった場合（ステップＳＢ２：「ケース１」）、物体検出部１２は、リアカメラ２の撮影画像に基づく物体検出により物体が検出されなかったと判定し（ステップＳＢ３）、処理を終了する。
【００５１】
１つのグループから物体が検出された場合（ステップＳＢ２：「ケース２」）、物体検出部１２は、物体が検出されたグループに属する処理対象画像を、物体検出画像として特定する（ステップＳＢ４）。更に、物体検出部１２は、物体検出画像における物体画像領域を特定する（ステップＳＢ５）。ステップＳＢ５の処理後、物体検出部１２は、処理を終了する。
【００５２】
２つ以上のグループから物体が検出された場合（ステップＳＢ２：「ケース３」）、物体検出部１２は、物体が検出された２つ以上のグループのうち、物体が検出されたピラミッド画像の個数、および、投影面の距離の大きさを反映して、１つのグループを選択する（ステップＳＢ６）。次いで、物体検出部１２は、選択した１つのグループを対象として、物体検出画像を特定し（ステップＳＢ７）、更に物体画像領域を特定する（ステップＳＢ８）。ステップＳＢ８の処理後、物体検出部１２は、処理を終了する。
【００５３】
以上、本発明の一実施形態を説明したが、上記実施形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。
【００５４】
例えば、上記実施形態では、リアカメラ２が特許請求の範囲の「カメラ」に相当したが、特許請求の範囲の「カメラ」に相当する撮影装置は、車両の後方を撮影する撮影装置に限らず、側方や前方を撮影する装置であってもよい。
【００５５】
また、上記実施形態では、処理対象画像生成部１１は、各処理対象画像についてピラミッド画像を生成したが、処理対象画像生成部１１によりピラミッド画像の生成が行われず、物体検出部１２が、ピラミッド画像を用いることなく物体検出を行う構成でもよい。
【符号の説明】
【００５６】
１  画像処理装置
２  リアカメラ
１０  撮影画像取得部
１１  処理対象画像生成部
１２  物体検出部
【図１】
2019211943.tif 000003
【図２】
2019211943.tif 000004
【図３】
2019211943.tif 000005
【図４】
2019211943.tif 000006
【図５】
2019211943.tif 000007