(57)【要約】      （修正有）【課題】外部の測距センサを追加することなく、検出物体までの距離の計算精度を高めることのできる外界認識装置を提供する。【解決手段】外界認識装置は、外界を撮影するカメラセンサの画像を取得する画像取得部と、カメラセンサの現在の姿勢に関連する情報を検出するセンサから収集されるセンサ情報を取得するセンサ情報取得部と、センサ情報取得部で取得されたセンサ情報に基づいて、予め決められた基準に対してカメラセンサの現在の姿勢を補正する、カメラピッチ角、カメラロール角及びカメラヨー角で定義されるカメラ姿勢パラメータの少なくとも一つを算出するカメラ姿勢パラメータ算出部と、カメラ姿勢パラメータ算出部で算出されたカメラ姿勢パラメータに基づいて、画像取得部で取得された画像に対して幾何学的画像変換を行う画像変換部と、を備える。【選択図】図１
2020087176.tif 000002
【特許請求の範囲】
【請求項１】
外界を撮影するカメラセンサの画像を取得する画像取得部と、
前記カメラセンサの現在の姿勢に関連する情報を検出するセンサから収集されるセンサ情報を取得するセンサ情報取得部と、
前記センサ情報取得部で取得されたセンサ情報に基づいて、予め決められた基準に対して前記カメラセンサの現在の姿勢を補正する、カメラピッチ角、カメラロール角、カメラヨー角で定義されるカメラ姿勢パラメータの少なくとも一つを算出するカメラ姿勢パラメータ算出部と、
前記カメラ姿勢パラメータ算出部で算出されたカメラ姿勢パラメータに基づいて、前記画像取得部で取得された画像に対して幾何学的画像変換を行う画像変換部と、を備えることを特徴とする外界認識装置。
【請求項２】
請求項１に記載の外界認識装置において、
前記センサ情報取得部は、外界の路面形状情報を取得する路面形状情報取得部を含むことを特徴とする外界認識装置。
【請求項３】
請求項２に記載の外界認識装置において、
前記路面形状情報取得部は、前記カメラセンサの画像を用いて前記路面形状情報を取得することを特徴とする外界認識装置。
【請求項４】
請求項３に記載の外界認識装置において、
前記路面形状情報取得部は、少なくとも前記カメラセンサを含む複数のカメラセンサの画像を用いて前記路面形状情報を取得することを特徴とする外界認識装置。
【請求項５】
請求項１に記載の外界認識装置において、
前記カメラ姿勢パラメータ算出部で算出されたカメラ姿勢パラメータを用いて、前記画像取得部で取得された画像に対して幾何学的画像変換を行うための画像変換パラメータを調整する画像変換パラメータ調整部をさらに備えることを特徴とする外界認識装置。
【請求項６】
請求項１に記載の外界認識装置において、
前記画像変換部で画像変換された少なくとも二つの画像の差分を算出する画像差分算出部と、
前記画像取得部で取得された画像と前記画像差分算出部で算出された差分を用いて、前記画像に映る障害物を検出する障害物検出部とをさらに備えることを特徴とする外界認識装置。
【請求項７】
請求項１に記載の外界認識装置において、
前記センサ情報取得部は、前記カメラセンサの移動に関連するセンサ情報を取得するとともに、
前記カメラ姿勢パラメータ算出部は、所定時間における前記カメラセンサの移動量を定義する平行移動パラメータおよび回転パラメータを含むカメラ姿勢パラメータを算出することを特徴とする外界認識装置。
【請求項８】
請求項１に記載の外界認識装置において、
前記画像変換部は、予め作成されたアフィン変換テーブルを用いて、前記幾何学的画像変換を行うことを特徴とする外界認識装置。
【請求項９】
請求項８に記載の外界認識装置において、
前記カメラ姿勢パラメータ算出部で算出されたカメラ姿勢パラメータを用いて、前記画像取得部で取得された画像に対して幾何学的画像変換を行うための画像変換パラメータを調整する画像変換パラメータ調整部と、
前記画像変換パラメータ調整部で算出された画像変換パラメータを用いて、前記予め作成されたアフィン変換テーブルを更新するアフィン変換テーブル作成部とをさらに備えることを特徴とする外界認識装置。
【請求項１０】
外界を撮影するカメラセンサの画像に基づいて、外界の障害物を検出する外界認識装置であって、
前記カメラセンサの画像を取得する画像取得部と、
カメラ姿勢パラメータを算出するための情報を収集するために、前記カメラセンサの現在の姿勢に関連する情報を検出するセンサから収集されるセンサ情報を取得するセンサ情報取得部と、
前記センサ情報取得部で取得されたセンサ情報に基づいて、予め決められた基準に対して前記カメラセンサの現在の姿勢を補正する、カメラピッチ角、カメラロール角、カメラヨー角で定義されるカメラ姿勢パラメータの少なくとも一つを算出するカメラ姿勢パラメータ算出部と、
前記カメラ姿勢パラメータ算出部で算出されたカメラ姿勢パラメータに基づいて、前記画像取得部で取得された画像に対して幾何学的画像変換を行うための画像変換パラメータを調整する画像変換パラメータ調整部と、
前記画像変換パラメータ調整部で調整された画像変換パラメータに基づいて、前記画像取得部で取得された画像に対して幾何学的画像変換を行う画像変換部と、
前記画像変換部で画像変換された少なくとも二つの画像の差分を示す差分画像を算出する画像差分算出部と、
前記画像取得部で取得された画像と前記画像差分算出部で算出された差分画像を用いて、前記画像に映る障害物を検出する障害物検出部と、を備えることを特徴とする外界認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外界認識装置に係り、特に自車両の周囲環境における画像を用いた障害物検出のための車載用外界認識装置に関する。
【背景技術】
【０００２】
近年、近傍の移動物体または静的物体（障害物）を検出するために、画像を用いた物体検出装置が用いられている。
【０００３】
上述の画像ベースの物体検出装置は、侵入または異常を検出する監視システム、あるいは車の安全な運転を支援する車載システムの用途に使用することができる。
【０００４】
車載用途では、かかる装置は、車両周囲の移動物体または静的物体（障害物）を検出し、自車両と障害物との衝突の可能性をドライバに報知し、決定システムに基づいて、自車両と障害物との衝突を回避するように車両を自動的に停止させるように構成されている。
【０００５】
例えば、特許文献１に開示された装置は、周辺の障害物までの距離や道路形状に応じて、車載カメラで撮影された映像の範囲、視点位置、および視点方向を変更することにより、狭路や屈曲路を安全に走行するために最も必要なカメラ映像をドライバに提供するように構成されている。
【０００６】
一方、特許文献２に開示された装置は、外部の測距センサを追加することなく、車両に搭載されたカメラで取得された画像から生成された俯瞰画像から、移動物体を検出し、検出物体までの距離を検出するように構成されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−７１８３３号公報
【特許文献２】特開２０１６−１３４７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１に記載された装置は、走行中の環境の現在の状況によらず、地図から取得した道路形状に基づいてドライバに提供されるカメラ映像の方向や姿勢を変更するだけであり、自車両との関係において、提供された映像が物体検出のために使用される場合には、外部の測距センサを使用せずに検出物体の位置を正確に識別することは困難であり、システム構成が複雑になるとともにコストが上昇する可能性がある。
【０００９】
一方、特許文献２に記載された装置は、外部の測距センサを用いることなく、移動物体を検出し、検出物体までの距離を算出することができる。しかしながら、特許文献２に記載された装置は、道路の現在の状況と車載カメラとの関係変化が処理サイクルの間で小さい状況下で動作するように構成されているので、幾何学的画像変換（例えば俯瞰画像変換）に基づいて検出物体までの距離を算出するとき、その関係を無視することができる。従って、当該システムが、車速および道路の現在の状況が車載カメラと道路の現在の状況との関係に影響を及ぼす状況下で使用され、最初に設定されたカメラ姿勢パラメータの変化を生成する場合、検出物体までの距離の計算精度が低下し、誤った物体検出結果を生成し、システムの信頼性を低下させる可能性がある。
【００１０】
本発明は、上記事情に鑑みてなされたもので、その目的とするところは、カメラ姿勢パラメータを計算して幾何学的画像変換パラメータを調整することにより、現在の環境に対する1個もしくは複数個の装置カメラの関係を調整することができ、誤検出率を低減すると同時に物体検出の精度を維持することによって物体検出信頼性を高めることができるとともに、外部の測距センサを追加することなく、検出物体までの距離の計算精度を高めることのできる外界認識装置を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成すべく、本発明に係る外界認識装置は、外界を撮影するカメラセンサの画像を取得する画像取得部と、前記カメラセンサの現在の姿勢に関連する情報を検出するセンサから収集されるセンサ情報を取得するセンサ情報取得部と、前記センサ情報取得部で取得されたセンサ情報に基づいて、予め決められた基準に対して前記カメラセンサの現在の姿勢を補正する、カメラピッチ角、カメラロール角、カメラヨー角で定義されるカメラ姿勢パラメータの少なくとも一つを算出するカメラ姿勢パラメータ算出部と、前記カメラ姿勢パラメータ算出部で算出されたカメラ姿勢パラメータに基づいて、前記画像取得部で取得された画像に対して幾何学的画像変換を行う画像変換部と、を備えることを特徴としている。
【発明の効果】
【００１２】
本発明に係る外界認識装置は、かかる構成を採用することにより、カメラ姿勢パラメータ算出部で現在の環境に対して算出されたカメラ姿勢パラメータに基づいて幾何学的画像変換パラメータを更新することで、画像変換に用いられるカメラ姿勢パラメータのばらつきを低減できるので、対象物検出や位置特定の精度を高めることができる。そのため、走行中の環境条件が変化したとしても、検出物体に対する誤検出率の低減と正確な距離計算とが可能となる。
【００１３】
したがって、本発明によれば、走行中の環境条件が変化しても、カメラ姿勢パラメータを計算して幾何学的画像変換パラメータを調整することにより、現在の環境に対する1個もしくは複数個の装置カメラの関係を調整することで、誤検出率を低減すると同時に物体検出の精度を向上することによって物体検出信頼性を高めることができるとともに、検出物体までの距離の計算精度を高めることができ、もって、走行安全性を向上させることができる。
【００１４】
上記以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第1の実施形態に係る外界認識装置の概略構成を示すブロック図である。
【図２】センシング部の概略構成を示す上面図である。
【図３】3次元空間上のカメラ姿勢パラメータを説明する図であり、（ａ）は、ピッチ角のカメラ姿勢パラメータ、（ｂ）は、ヨー角のカメラ姿勢パラメータ、（ｃ）は、ロール角のカメラ姿勢パラメータ、（ｄ）は、それらの関係を説明する図である。
【図４】路面形状情報取得部の処理内容を説明する図である。
【図５】外界認識装置が車両に搭載され、異なる運転行動に基づくカメラ姿勢変化が発生している状況を説明する図であり、（ａ）は通常時、（ｂ）は制動時、（ｃ）は加速時を説明する図である。
【図６】画像変換パラメータを調整して幾何学的画像変換を行う、第1の実施形態に係る外界認識装置の各部の関係と処理を示すフローチャートである。
【図７】本発明の第2の実施形態に係る外界認識装置の概略構成を示すブロック図である。
【図８】画像変換パラメータを調整して幾何学的画像変換を行う、第2の実施形態に係る外界認識装置の各部の関係と処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の外界認識装置の好ましい実施形態について図面を参照して説明する。以下の説明では、各処理をプロセッサとメモリを用いて実行されることで実現しているが、プロセッサが行う処理の一部又は全部がハードウェア回路で行われても良い。
【００１７】
［第1の実施形態］
まず、図1〜図6を参照して、第1の実施形態に係る外界認識装置100の構成及び動作について説明する。図示は省略するが、当該外界認識装置100は、CPU、RAM、ROMなどがバスを介して接続された構成であり、CPUがROMに格納された各種制御プログラムを実行することで、システム全体の動作を制御する。
【００１８】
図1は、第1の実施形態に係る外界認識装置100の概略構成を示すブロック図である。
【００１９】
本実施形態の外界認識装置100は、例えば車両（自車両）Vに搭載され、図1に示すように、センシング部111と、単眼視領域画像取得部（以下、単に画像取得部という）121と、カメラ姿勢パラメータ算出部131と、センサ情報取得部132と、画像変換パラメータ調整部141と、画像変換部151と、画像差分算出部161と、障害物検出部171と、制御アプリケーション処理部181とを備える。
【００２０】
センシング部111は、本例では、同一レベルに位置する2つのカメラセンサ111a、111bを含み、これら2つのカメラセンサ111a、111bが1台の車載ステレオカメラとして一対とされた構成を有する。
【００２１】
より詳しくは、本例では、センシング部111を構成する一対のカメラセンサ111a、111bは、CCDやCMOSイメージセンサで構成され、例えば図2に示すように、自車両V前方に向けて、車室内のフロントガラスやルームミラーなどに同じ高さで左右方向に並んで取り付けられている。また、各カメラセンサ111a、111bは、それぞれが自車両V前方（外界）を所定の俯角（換言すれば、撮影領域）で撮像するとともに、それぞれの俯角の一部が重なるように設置されている。例えばカメラセンサ111aを左カメラセンサ、カメラセンサ111bを右カメラセンサとしたとき、カメラセンサ111aの俯角の右側部分とカメラセンサ111bの俯角の左側部分とが重なるようになっている。これにより、本例では、自車両Vの中央前方領域が、カメラセンサ111a（の撮影領域）とカメラセンサ111b（の撮影領域）とで画成されるステレオ視領域となり、自車両Vの左前方領域または右前方領域が、カメラセンサ111a（の撮影領域の左側部分）またはカメラセンサ111b（の撮影領域の右側部分）で画成される左単眼視領域または右単眼視領域となっている。
【００２２】
センシング部111（のカメラセンサ111a、111b）により撮像された画像は、画像取得部121、および、センサ情報取得部132（のステレオ視領域画像処理部133）に入力される。
【００２３】
なお、センシング部111を構成するカメラセンサ111a、111bは、上述の自車両V前方を撮像する前方カメラに限定されるものではなく、自車両V側方や自車両V後方などを撮像する側方カメラや後方カメラなどでもよい。
【００２４】
また、本実施形態では、後述するセンサ情報取得部132（の路面形状情報取得部134）にてステレオ視を用いて路面形状情報を取得するために、2つのカメラセンサ111a、111bを1台の車載ステレオカメラとして一対としてセンシング部111に対応させている。しかし、センシング部111の構成はこれに限定されるものではなく、例えば、単眼視を用いて路面形状情報を取得する場合、センシング部111を構成するカメラセンサとは別のカメラセンサ（で取得される画像）を用いて路面形状情報を取得する場合、カメラセンサとは別のセンサ（レーザレーダ、ミリ波レーダ、超音波センサなど）（で取得されるセンサ情報）を用いて路面形状情報を取得する場合などには、単一の単眼カメラセンサ（カメラセンサ111a、またはカメラセンサ111b）がセンシング部111として使用されてもよい。
【００２５】
画像取得部121は、センシング部111に対応する2つのカメラセンサ111a、111bの一方または両方で取得された画像を処理し、さらなる処理のために画像特性を調整する。この処理には、これに限定されるものではないが、入力画像を縮小または拡大して結果としての画像サイズを変更する画像解像度調整、および、さらなる処理のために元の入力画像から入力画像の所与の領域をカット（トリミング）する画像関心領域選択が含まれ得る。本例では、画像取得部121は、センシング部111に対応する2つのカメラセンサ111a、111bの一方または両方の単眼視領域画像（図2に示す例では、カメラセンサ111aの左単眼視領域画像、カメラセンサ111bの右単眼視領域画像の一方または両方）の一部または全部を取得する。なお、画像解像度調整および画像関心領域選択に使用されるパラメータは、現在の運転環境（速度、旋回速度など）に基づいて制御されてもよい。
【００２６】
画像取得部121により取得された画像は、カメラ姿勢パラメータ算出部131に入力される。
【００２７】
カメラ姿勢パラメータ算出部131は、センサ情報取得部132で取得された情報を用いて（後で詳述）、図3a〜図3dに示すように、カメラピッチ角（水平軸回転）、カメラロール角（縦軸（前後方向軸）回転）、カメラヨー角（垂直軸回転）で定義される、予め決められた基準（ここでは、平坦な地面R1）に対するカメラ姿勢パラメータのいずれかまたは全てを算出する機能を有する。詳しくは、カメラ姿勢パラメータ算出部131は、予め決められた基準（ここでは、平坦な地面R1）に対するセンシング部111（のカメラセンサ111a、111b）のセンサ光軸OA1のずれ（すなわち、センシング部111（のカメラセンサ111a、111b）の現在の姿勢のずれ）を補正するカメラ姿勢パラメータのいずれかまたは全てを算出する。このカメラ姿勢パラメータ算出部131のパラメータ算出処理は、センサ情報取得部132で取得された情報に応じて異なる。例えば、当該装置の構成がステレオマッチング処理から取得された距離データに基づいて車両V前方の道路（路面）の傾きを算出する処理を含むときに、当該装置から情報が収集できる場合、自車両V前方の道路（路面）に対する当該装置のピッチ角とロール角を算出するために、結果としての道路（路面）の傾きが用いられる。別の例では、ピッチ角、ヨー角、およびロール角を外部センサから直接得ることができる場合、カメラ姿勢パラメータは、初期パラメータからのオフセットに基づいて調整することができる。なお、上記のパラメータを計算する他の方法も含めることができる。
【００２８】
また、カメラ姿勢パラメータ算出部131は、所定時間における車両V（に搭載されたカメラセンサ111a、111b）の移動量（後述のセンサ情報取得部132の車両情報取得部135参照）を定義する平行移動パラメータおよび回転パラメータを含むカメラ姿勢パラメータを算出する。
【００２９】
カメラ姿勢パラメータ算出部131により算出されたカメラ姿勢パラメータは、画像変換パラメータ調整部141に入力される。
【００３０】
センサ情報取得部132は、上述のカメラ姿勢パラメータ算出部131でカメラ姿勢パラメータを算出するために用いる情報を収集する機能を有する。センサ情報取得部132は、本例では、ステレオ視領域画像処理部133と、路面形状情報取得部134と、車両情報取得部135とを備える。
【００３１】
ステレオ視領域画像処理部133は、センシング部111に対応する2つのカメラセンサ111a、111bの両方で取得された画像を処理し、さらなる処理のために画像特性を調整する。この処理には、これに限定されるものではないが、入力画像を縮小または拡大して結果としての画像サイズを変更する画像解像度調整、さらなる処理のために元の入力画像から入力画像の所与の領域をカット（トリミング）する画像関心領域選択、および、入力画像の同期をとる画像同期が含まれ得る。本例では、ステレオ視領域画像処理部133は、センシング部111に対応する2つのカメラセンサ111a、111bの両方で形成されるステレオ視領域画像を（同期状態で）取得する。なお、画像解像度調整および画像関心領域選択に使用されるパラメータは、現在の運転環境（速度、旋回速度など）に基づいて制御されてもよい。
【００３２】
路面形状情報取得部134は、ステレオ視領域画像処理部133で処理された画像（ステレオ視領域画像ともいう）を用いて、外界（自車両V周辺）の路面形状情報を取得する機能を有する。路面形状情報取得部134は、ステレオ視領域画像処理部133で処理した画像を3次元処理（例えば、ステレオマッチング処理など）することで、画像に映る路面の路面形状情報を算出・取得する。この路面形状情報取得部134は、例えば図4に示すように、自車両Vからの距離（前後方向（進行方向）の距離や横方向の距離）に応じて画像を複数のセグメントに区画し、各セグメント毎の（所定位置からの）高さを算出することで、上述の路面形状情報を取得する。
【００３３】
なお、例えば、路面形状情報取得部134は、一旦取得した路面形状情報をRAMなどの記憶手段に格納することによって、現時点で2つのカメラセンサ111a、111bの撮影領域同士が重なるステレオ視領域以外の領域においても路面形状情報を取得することができる。
【００３４】
一方、車両情報取得部135は、これらに限定されるものではないが、車両サスペンションシステム、車両内部センサ（速度、旋回速度、ヨーレートなどを検出するセンサ）、慣性計測センサなどを含む1個もしくは複数個のセンサ（不図示）から、車両Vの高さや位置、ピッチ角、ヨー角、およびロール角に関する情報を取得する。
【００３５】
このようにして、センサ情報取得部132は、車両Vに搭載された外界認識装置100のセンシング部111（のカメラセンサ111a、111b）の現在の高さ、ピッチ角、ヨー角、およびロール角（すなわち、姿勢）に関連する情報を検出・取得でき、そのセンサ情報は上述のカメラ姿勢パラメータ算出部131に入力される。
【００３６】
上述したように、カメラ姿勢パラメータ算出部131は、路面形状情報取得部134から入力された路面形状（傾き）を用いて路面に対する当該装置のピッチ角とロール角を算出したり、車両情報取得部135から入力されたピッチ角、ヨー角、およびロール角を用いて初期パラメータからのオフセットを算出したりして、予め決められた基準（ここでは、平坦な地面R1）に対するセンシング部111（のカメラセンサ111a、111b）のセンサ光軸OA1のずれ（すなわち、センシング部111（のカメラセンサ111a、111b）の現在の姿勢のずれ）を補正するカメラ姿勢パラメータを算出する。
【００３７】
なお、上述したように、センサ情報取得部132の構成はこれに限定されるものではなく、例えば、単眼視（つまり、カメラセンサ111a、111bの一方）を用いて路面形状情報を取得する場合、センシング部111を構成するカメラセンサとは別のカメラセンサ（で取得される画像）を用いて路面形状情報を取得する場合、カメラセンサとは別のセンサ（レーザレーダ、ミリ波レーダ、超音波センサなど）（で取得されるセンサ情報）を用いて路面形状情報を取得する場合などには、ステレオ視領域画像処理部133を省略してもよいし、路面形状情報取得部134または車両情報取得部135の一方のみがセンサ情報取得部132として使用されてもよい。
【００３８】
画像変換パラメータ調整部141は、センシング部111に含まれるカメラセンサ111a、111bの地面R1に対する向きを定義し、所望の幾何学的画像変換（本例では、俯瞰画像変換）を行うために用いられるプリセットカメラ外部パラメータである画像変換パラメータを更新する機能を有する。これらのパラメータは、カメラ姿勢パラメータ算出部131で算出されたカメラ姿勢パラメータに基づいて調整される。また、利用可能であれば、センシング部111で取得されたデータの一時的（時間的）性質を考慮する必要がある場合、画像変換パラメータ調整部141は、センサ情報取得部132（の車両情報取得部135）から取得した自車速および旋回速度を考慮して、処理期間中の自車両Vの動き（移動量）を算出し、それに応じて3次元空間におけるセンシング部111の位置を調整するためにそれを使用してもよい。
【００３９】
画像変換パラメータ調整部141による更新（調整）後の画像変換パラメータは、画像変換部151に入力される。
【００４０】
画像変換部151は、画像変換パラメータ調整部141で算出された画像変換パラメータに基づいて、画像取得部121で取得して処理した画像（単眼視領域画像）に対して幾何学的画像変換（本例では、俯瞰画像変換）を行う機能を有する。この画像変換部151での画像変換には、これに限定されるものではないが、平坦な地面R1を基準とした回転、縮尺、剪断、および上面画像変換などのアフィン変換が含まれ得る。
【００４１】
画像変換部151により変換された変換画像は、画像差分算出部161に入力される。
【００４２】
画像差分算出部161は、画像変換部151で変換された少なくとも2つの画像（時刻の異なる画像）間の差分を示す差分画像を算出する機能を有する。この画像差分算出部161での差分算出には、これに限定されるものではないが、単純画素差分計算およびフィルタを用いた画像差分計算などが含まれ得る。
【００４３】
画像差分算出部161により算出された差分画像は、障害物検出部171に入力される。
【００４４】
障害物検出部171は、画像取得部121で取得された画像と画像差分算出部161で算出された差分画像を用いて前記画像に映る3次元物体（障害物）を検出し、その位置を算出する機能を有する。
【００４５】
障害物検出部171により検出された情報は、制御アプリケーション処理部181により入力される。
【００４６】
なお、本明細書において、「障害物検出」とは、少なくとも、対象物体検出（3次元空間上の位置）、対象物体速さ/速度計算といったタスクを実行する処理のことである。この処理はまた、対象物体分類（例えば、自動車/車両、二輪車、自転車、歩行者、柱など）を含むことができる。
【００４７】
制御アプリケーション処理部181は、障害物検出部171で認識された障害物に応じて、当該外界認識装置100が搭載された車両Vが行う制御アプリケーションを決定する機能を有する。この制御アプリケーションには、車両Vの走行状態を制御するための各種アプリケーションが含まれ、これに限定されるものではないが、車両Vのステアリング操作、アクセル操作、ブレーキ操作などを（自動的に）制御するアプリケーションが含まれ得る。
【００４８】
なお、上述の画像変換パラメータ調整部141でのカメラ姿勢パラメータに基づくパラメータ調整、画像変換部151での画像変換パラメータに基づく画像変換、画像差分算出部161での変換画像に基づく差分画像算出、障害物検出部171での差分画像などに基づく物体検出、制御アプリケーション処理部181での検出物体に基づくアプリケーション処理は、既知の方法を適用することができるので（例えば、上記特許文献２等参照）、ここでは、その詳細説明は割愛する。
【００４９】
ここで、外界認識装置100を車両Vの周囲を監視するシステムとして適用した場合について、図5a〜図5cを参照してカメラ姿勢変化が発生している状況を説明する。以下で説明する場合では、ピッチ角（θPitch）と呼ばれるカメラ姿勢パラメータのみが記載されているが、記載された処理の性質を変えることなく、他のヨー角（θYaw）やロール角（θRoll）と呼ばれるカメラ姿勢パラメータを考慮することができることは勿論である。
【００５０】
図5aは、センシング部111を備えた車両Vが理想的な平坦路（平坦な地面R1の道路）を横切っている状況を示している。この場合、センサ光軸OA1に対するピッチ角（θPitch）は、基準軸RA1によって描かれた平坦な地面R1に対して0度の向きに設定される。なお、OA1とRA1は同じであるので、OA1とRA1の両方が重なっている。センサ光軸OA1と平坦路の基準軸RA1との間のこの構成/関係は、デフォルトの構成/関係であると考えることができる。
【００５１】
図5bは、センシング部111を備え、理想的な平坦路（平坦な地面R1の道路）を横切っている車両Vが制動を行っている状況を示している。これにより、車両Vの重量が前方にシフトするにつれて車両Vが傾動し、車両Vの後端が持ち上げられる。これは、搭載されたセンシング部111の向きに影響を及ぼし、センサ光軸OA1の向きに影響を及ぼし、センサ光軸OA1と平坦な地面の基準軸RA1との間に差異を生じさせ、これは、ピッチ角の差（θPitch）によって描かれている。
【００５２】
図5cは、センシング部111を備え、理想的な平坦路（平坦な地面R1の道路）を横切っている車両Vが加速動作を行っている状況を示している。これにより、車両Vの重量が後方にシフトするにつれて車両Vが傾動し、車両Vの前端が持ち上げられる。これは、搭載されたセンシング部111の向きに影響を及ぼし、センサ光軸OA1の向きに影響を及ぼし、センサ光軸OA1と平坦な地面の基準軸RA1との間に差異を生じさせ、これは、ピッチ角の差（θPitch）によって描かれている。
【００５３】
図5bおよび図5cについて上述した両方の状況は、例えば道路舗装に段差や凹凸がある場合や、道路の傾斜のために、車両Vが一定速度で走行している環境条件の元でも起こり得る。
【００５４】
これらの情報は、上述のセンサ情報取得部132（の路面形状情報取得部134または車両情報取得部135）から取得することができ、カメラ姿勢パラメータ算出部131は、これらの情報に基づいて、上述したカメラ姿勢パラメータの少なくとも一つを算出することができる。
【００５５】
図6は、外界認識装置100を構成する各部のうち、カメラ姿勢パラメータ算出部131、センサ情報取得部132、画像変換パラメータ調整部141、および画像変換部151が画像変換パラメータを調整し、幾何学的画像変換を行う関係と処理を示すフローチャートである。
【００５６】
まず、センサ情報取得部132で実行するセンサ情報取得ステップS1では、各センサからカメラ姿勢パラメータを算出するために用いられる情報の検索を試みる。この情報は、センシング部111（のカメラセンサ111a、111b）、車両サスペンションシステム、車両内部センサ（速度、旋回速度、ヨーレートなどを検出するセンサ）、慣性計測センサ、および他の適切なセンサから収集することができる。収集された情報は、前の処理サイクルからの検索操作に基づいて「変更/更新」または「変更なし」としてマークされてもよく、このような情報はさらなる処理に使用されてもよい。
【００５７】
次に、カメラ姿勢パラメータ算出部131でステップS2が実行される。そのうちのステップS21では、ステップS1で収集された情報を受け取り、適用される情報が前回の処理サイクルから更新されたか否かを判断する。適用される情報が前回の処理サイクルから正常に更新された場合（S21:Yes）、ステップS22では、処理ステップS1で取得された情報に基づいて、カメラピッチ角（水平軸回転）、カメラロール角（縦軸回転）、カメラヨー角（垂直軸回転）で定義されるカメラ姿勢パラメータのいずれかまたは全てを算出する。利用可能であれば、センシング部111で取得されたデータの一時的（時間的）性質が考慮されるとき、自車両速度および旋回速度情報を考慮して前回の処理サイクルと現在の処理サイクルとの間の自車両の動きおよび差異を計算し、3次元空間におけるセンサの位置を調整するために、それに応じて自車両速度および旋回速度情報を使用してもよい。
【００５８】
処理ステップS1で収集された情報が道路形状データの性質である場合（路面形状情報取得部134参照）、カメラ姿勢パラメータは道路の傾斜に基づいて計算される。または、ピッチ角、ヨー角、およびロール角が処理ステップS1の間に直接取得される場合（車両情報取得部135参照）、カメラ姿勢パラメータは、元のパラメータからのオフセットに基づいて調整され得る。上記パラメータを計算する他の方法も含めることができる。次のステップS23では、カメラ姿勢パラメータを調整し、さらなる処理および後の処理サイクルでの使用のためにそれらを（例えばカメラメモリやRAMなどに）保存する。
【００５９】
処理ステップS1の間に収集された情報が「変更なし」のステータスを有する場合（S21:No）、処理ステップS24では、さらなる処理のために保存されたカメラ姿勢パラメータを読み込む。
【００６０】
次に、画像変換パラメータ調整部141でステップS3が実行される。そのうちのステップS31では、ステップS2で得られたカメラ姿勢パラメータと前回の処理サイクルのパラメータとの比較が行われる。現在のサイクルのカメラ姿勢パラメータと以前のサイクルのカメラ姿勢パラメータとの間の変動（パラメータ変動）が予め定義された閾値よりも高い場合（S31:Yes）、ステップS32では、地面の基準軸RA1に対するセンサ光軸OA1の向きを規定するプリセットカメラ外部パラメータである画像変換パラメータを調整する。利用可能であれば、センシング部111で取得されたデータの一時的（時間的）性質が考慮されるとき、自車両速度および旋回速度情報を考慮して前回の処理サイクルと現在の処理サイクルとの間の自車両の動きおよび差異を計算し、3次元空間におけるセンサの位置を調整するために、それに応じて自車両速度および旋回速度情報を使用してもよい。
【００６１】
現在のサイクルのカメラ姿勢パラメータと以前のサイクルのカメラ姿勢パラメータとの間の変動が以前に定義された閾値よりも高くない場合（S31:No）、ステップS3では、さらに処理は行われない。
【００６２】
最後に、ステップS4は、画像変換部151により実行され、画像取得部121で取得されて処理された画像（単眼視領域画像）に対して、予め定義された幾何学的画像変換が実行される。このステップS4での画像変換には、平坦な地面が基準とみなされる回転、縮尺、剪断、および上面画像変換などのアフィン変換が含まれ得る。変換はピクセル単位で行われるべきであり、すなわち、各画素の現在の特性は、対応する画素の幾何学的変換を計算することによって新しい状態に変換され、さらなる処理のために保存される新しい画像を生成する。
【００６３】
図6に基づき上述した処理を実行することにより、図5bおよび図5cに示すセンサ光軸OA1と平坦な地面R1の基準軸RA1とのピッチ角（θPitch）の差は、リアルタイムで調整できるので、幾何学的画像変換の結果に直接影響を及ぼすセンサ光軸OA1と基準軸RA1との間の正確な関係が維持される。
【００６４】
以上、第1の実施形態に係る外界認識装置100の構成及び動作について説明した。本第1の実施形態に係る外界認識装置100によれば、走行中の環境条件が変化しても、カメラ姿勢パラメータを計算して幾何学的画像変換パラメータを調整することにより、現在の環境に対する1個もしくは複数個の装置カメラの関係を調整することで、誤検出率を低減すると同時に物体検出の精度を向上することによって物体検出信頼性を高めることができるとともに、検出物体までの距離の計算精度を高めることができ、もって、走行安全性を向上させることができる。
【００６５】
また、本実施形態に係る外界認識装置100では、上述したように、センシング部111に対応する2つのカメラセンサ111a、111bの画像（ステレオ視画像）を用いて外界（自車両V周囲）の路面形状情報を取得するとともに、センシング部111に対応する2つのカメラセンサ111a、111bの一方の画像（単眼視画像）を用いて幾何学的変換画像を作成して障害物を検出することで、センシング部111に対応する2つのカメラセンサ111a、111bによるステレオ視領域と単眼視領域の両方を効率的に利用することができる。
【００６６】
［第2の実施形態］
次に、図7および図8を参照して、第2の実施形態に係る外界認識装置110について説明する。第2の実施形態に係る外界認識装置110の基本構成は、以下に説明する2つの点で第1の実施形態の構成と異なる。なお、第2の実施形態に係る外界認識装置110において、第1の実施形態と同じ構成には同じ符号を付して、以下では詳細説明を省略する。
【００６７】
図7は、第2の実施形態に係る外界認識装置110の概略構成を示すブロック図である。
【００６８】
本第2の実施形態において、まず、画像変換部152は、当該画像変換部152の処理時間が短縮されるように、後述のアフィン変換テーブル作成部142で予め計算・作成されたアフィン変換テーブル（ルックアップテーブルともいう）を用いて幾何学的画像変換（本例では、俯瞰画像変換）を行う。
【００６９】
第2に、アフィン変換テーブル作成部142が追加され、このアフィン変換テーブル作成部142は、画像変換パラメータ調整部141で調整された画像変換パラメータに基づいて、前述したアフィン変換テーブルを作成する。この処理は、現在のサイクルのカメラ姿勢パラメータと以前のサイクルのカメラ姿勢パラメータとの間の変動が以前に定義された閾値よりも高くない場合には、省略される。
【００７０】
図8は、外界認識装置110を構成する各部のうち、カメラ姿勢パラメータ算出部131、センサ情報取得部132、画像変換パラメータ調整部141、アフィン変換テーブル作成部142、および画像変換部152が画像変換パラメータを調整し、幾何学的画像変換を行う関係と処理を示すフローチャートである。図8に示す処理において、ステップS3までは図6に基づき説明した第1の実施形態と同じである。
【００７１】
本第2の実施形態では、現在のサイクルのカメラ姿勢パラメータと以前のサイクルのカメラ姿勢パラメータとの間の変動（パラメータ変動）が予め定義された閾値よりも高い場合（S31:Yes）、ステップS32で、地面の基準軸RA1に対するセンサ光軸OA1の向きを規定するプリセットカメラ外部パラメータである画像変換パラメータを調整するとともに、ステップS5では、ステップS32での調整後の画像変換パラメータに基づいて、予め計算・作成されて保存されたアフィン変換テーブルを作成（更新）する（アフィン変換テーブル作成部142）。
【００７２】
そして、ステップS4は、画像変換部152により実行され、画像取得部121で取得されて処理された画像（単眼視領域画像）に対して、ステップS5で作成されたアフィン変換テーブルを用いて、予め定義された幾何学的画像変換が実行される。
【００７３】
本第2の実施形態に係る外界認識装置110によれば、第1の実施形態と同様に、走行中の環境条件が変化しても、カメラ姿勢パラメータを計算して幾何学的画像変換パラメータを調整することにより、現在の環境に対する1個もしくは複数個の装置カメラの関係を調整することで、誤検出率を低減すると同時に物体検出の精度を向上することによって物体検出信頼性を高めることができるとともに、検出物体までの距離の計算精度を高めることができ、もって、走行安全性を向上させることができる。
【００７４】
また、本第2の実施形態に係る外界認識装置110においては、アフィン変換テーブル作成部142にて画像変換パラメータを定義するアフィン変換テーブルを（例えば処理周期毎に）作成（更新）するとともに画像変換部152にてそのアフィン変換テーブルを使用して幾何学的画像変換を行うことで、画像変換部152の処理時間の低減・高速化を図ることができる。
【００７５】
現時点で考えられる本発明の好適な実施形態について説明したが、本発明の実施形態に種々の変更を加えることができ、本発明の真の趣旨および範囲内の全ての変更は、添付の特許請求の範囲内に含まれることが意図されている。
【００７６】
また、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００７７】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【００７８】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００７９】
100  外界認識装置（第1の実施形態）
110  外界認識装置（第2の実施形態）
111  センシング部
111a、111b  カメラセンサ
121  単眼視領域画像取得部（画像取得部）
131  カメラ姿勢パラメータ算出部
132  センサ情報取得部
133  ステレオ視領域画像処理部
134  路面形状情報取得部
135  車両情報取得部
141  画像変換パラメータ調整部
142  アフィン変換テーブル作成部（第2の実施形態）
151  画像変換部
152  画像変換部（第2の実施形態）
161  画像差分算出部
171  障害物検出部
181  制御アプリケーション処理部
OA1  センサ光軸
RA1  平坦な地面の基準軸
V    車両（自車両）
【図１】
2020087176.tif 000003
【図２】
2020087176.tif 000004
【図３】
2020087176.tif 000005
【図４】
2020087176.tif 000006
【図５】
2020087176.tif 000007
【図６】
2020087176.tif 000008
【図７】
2020087176.tif 000009
【図８】
2020087176.tif 000010