(57)【要約】      （修正有）【課題】障害物の検知の精度を向上させることができる障害物検知装置を提供する。【解決手段】障害物検知装置は、車両に設置され、車両の外部の画像データを撮影する撮影装置１１と、車両に設置され、撮影装置１１によって直接撮影される領域の少なくとも一部と同一の範囲を写す鏡１２とを備え、撮影装置及び鏡は、画像データに撮影装置によって車両の外部が直接撮影された直接撮影領域と、鏡の鏡像である鏡撮影領域とが含まれるように配置され、画像データのうち、直接撮影領域に含まれる物体の特徴点である第１特徴点と、鏡撮影領域に含まれる物体の特徴点である第２特徴点とを算出する特徴点算出部１３と、算出された第１特徴点と前記第２特徴点との対応を算出する対応算出部１４と、算出された対応から物体に関する三次元データを算出する三次元算出部１５と、算出された三次元データから車両の走行における障害物を特定する特定部１６とを備える。【選択図】図１
2020163926.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置され、車両の外部の画像データを撮影する撮影装置と、
前記車両に設置され、前記撮影装置によって直接撮影される領域の少なくとも一部と同一の範囲を写す鏡とを備え、
前記撮影装置及び前記鏡は、前記画像データに前記撮影装置によって車両の外部が直接撮影された直接撮影領域と、前記鏡の鏡像である鏡撮影領域とが含まれるように配置され、
さらに、
前記画像データのうち、前記直接撮影領域に含まれる物体の特徴点である第１特徴点と、前記鏡撮影領域に含まれる物体の特徴点である第２特徴点とを算出する特徴点算出部と、
算出された前記第１特徴点と前記第２特徴点との対応を算出する対応算出部と、
算出された前記対応から前記物体に関する三次元データを算出する三次元算出部と、
算出された前記三次元データから前記車両の走行における障害物を特定する特定部と、
を備える障害物検知装置。
【請求項２】
前記特徴点算出部は、前記撮影装置で撮影された第１画像データと、第１画像データと重複する範囲を含む第２画像データからそれぞれ第１特徴点及び第２特徴点を算出し、
前記対応算出部は、第１画像データから算出された第１特徴点と対応する第２特徴点を特定し、対応関係を算出する
請求項１に記載の障害物検知装置。
【請求項３】
前記撮影装置は、異なるタイミングで前記第１画像データ及び前記第２画像データを撮影する
請求項２に記載の障害物検知装置。
【請求項４】
前記撮影装置は、同一のタイミングで前記第１画像データ及び前記第２画像データをそれぞれ撮影可能な第１画像取得部と撮影する第２画像取得部とを有する
請求項２に記載の障害物検知装置。
【請求項５】
前記第１画像データの第１特徴点及び第２特徴点と、前記第２画像データの第１特徴点及び第２特徴点とから、視差が大きくなる２つの特徴点を選択する選択部をさらに備え、
前記三次元算出部は、前記選択部で選択された２つの特徴点を利用して三次元データを算出する
請求項２〜４のいずれか１に記載の障害物検知装置。
【請求項６】
前記撮影装置は、前記車両の前方又は後方の少なくともいずれか一方に配置される
請求項１〜５のいずれか１に記載の障害物検知装置。
【請求項７】
前記鏡は、前記画像データの上側又は下側に鏡像が含まれるように配置される
請求項１〜６のいずれか１に記載の障害物検知装置。
【請求項８】
請求項１〜７のいずれか１に記載の障害物検知装置を備える自動車。
【請求項９】
車両に設置され、車両の外部を撮影する撮影装置によって、前記車両の外部が直接撮影された直接撮影領域と、前記撮影装置とともに車両に設置され、前記直接撮影領域と同一の範囲を写す鏡の鏡像である鏡撮影領域とを含む画像データを撮影する撮影ステップと、
前記画像データのうち、前記直接撮影領域に含まれる物体の特徴点である第１特徴点と、前記鏡撮影領域に含まれる物体の特徴点である第２特徴点とを算出する特徴点算出ステップと、
算出された前記第１特徴点と前記第２特徴点との対応を算出する対応算出ステップと、
算出された前記対応から前記物体に関する三次元データを算出する三次元算出ステップと、
算出された前記三次元データから前記車両の走行における障害物を特定する特定ステップと、
を含む障害物検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、障害物を検知する障害物検知装置、自動車及び障害物検知方法に関する。
【背景技術】
【０００２】
特許文献１は、ステレオ画像より三次元距離情報を算出する距離画像入力装置が記載される。この特許文献１に記載の技術では、Ｗ字型に配置される２枚のミラーを使用して、１台の撮影装置によってステレオ画像を生成することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４４１４６６１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、車両の前方又は後方に存在する障害物を検知する障害物検知装置、自動車及び障害物検知方法を提供する。
【課題を解決するための手段】
【０００５】
本開示の障害物検知装置は、車両に設置され、車両の外部の画像データを撮影する撮影装置と、車両に設置され撮影装置によって直接撮影される領域の少なくとも一部と同一の範囲を写す鏡とを備え、撮影装置及び鏡は、画像データに撮影装置によって車両の外部が直接撮影された直接撮影領域と、鏡の鏡像である鏡撮影領域とが含まれるように配置され、さらに、画像データのうち、直接撮影領域に含まれる物体の特徴点である第１特徴点と、鏡撮影領域に含まれる物体の特徴点である第２特徴点とを算出する特徴点算出部と、算出された第１特徴点と第２特徴点との対応を算出する対応算出部と、算出された対応から物体に関する三次元データを算出する三次元算出部と、算出された三次元データから車両の走行における障害物を特定する特定部とを備える。
【０００６】
これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
【発明の効果】
【０００７】
本開示の障害物検知装置、自動車及び障害物検知方法によれば、車両の前方や後方の消失点付近に存在する障害物であっても、精度良く検知することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る障害物検知装置の構成を示すブロック図である。
【図２Ａ】第１実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との関係を説明する概念図である。
【図２Ｂ】第１実施形態に係る障害物検知装置で撮影される画像データの直接撮影領域と鏡撮影領域とを説明する図である。
【図３Ａ】第１実施形態に係る障害物検知装置で撮影される画像例である。
【図３Ｂ】一般的なリアカメラで撮影される画像例である。
【図４Ａ】第１実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との位置関係を説明する平面図である。
【図４Ｂ】第１実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との位置関係を説明する側面図である。
【図５】第１実施形態に係る障害物検知方法を説明するフローチャートである。
【図６】第２実施形態に係る障害物検知装置の構成を示すブロック図である。
【図７Ａ】第２実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との関係を説明する概念図である。
【図７Ｂ】第２実施形態に係る障害物検知装置で撮影される第１画像データの直接撮影領域と鏡撮影領域とを説明する図である。
【図７Ｃ】第２実施形態に係る障害物検知装置で撮影される第２画像データの直接撮影領域と鏡撮影領域とを説明する図である。
【図８Ａ】第２実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との位置関係を説明する平面図である。
【図８Ｂ】第２実施形態に係る障害物検知装置の撮影装置及び鏡と撮影される物体との位置関係を説明する側面図である。
【図９】第２実施形態に係る障害物検知方法を説明するフローチャートである。
【図１０Ａ】鏡の設置の一例を説明する概略図である。
【図１０Ｂ】鏡の設置の他の例を説明する概略図である。
【図１０Ｃ】鏡の設置の他の例を説明する概略図である。
【図１０Ｄ】鏡の設置の他の例を説明する概略図である。
【図１０Ｅ】鏡の形状の一例を説明する概略図である。
【図１０Ｆ】鏡の形状の他の例を説明する概略図である。
【発明を実施するための形態】
【０００９】
［本開示の基礎となった知見］
自動車では、車載カメラで撮影される画像を用いて、障害物検知がされることがある。このような場合、例えば、異なる２画像間で、対応する点を利用して障害物の三次元情報を求め、障害物を検知する。ここで、カメラが横方向に動く場合、２画像間で対応する点の角度差が大きく、三次元情報を特定しやすいため、障害物を検知しやすい。すなわち、車載サイドカメラの場合、横方向に動くため、障害物を検知しやすい。一方、カメラが前後方向に動く場合、角度差は小さく、三次元情報を特定しにくいため、特に、消失点付近にある障害物については２画像間での変化が小さく検知しにくい。すなわち、車載のフロントカメラやリアカメラの場合、前後方向に動くため、障害物を検知しにくい。
【００１０】
しかし、自動車では、障害物は、前方又は後方に存在する可能性が高く、このように前方又は後方に存在する障害物を検知する重要性が高いのが実情である。
【００１１】
また、近年、自動運転技術導入のため、ＳＦＭ（Structure from Motion）、ＳＬＡＭ（Simultaneous Localization & Mapping）等の技術を利用する障害物検知の精度の向上に対する期待が高まっている。
【００１２】
［実施形態］
以下に、図面を参照して実施形態に係る障害物検知装置について説明する。以下の説明では、同一の構成について、同一の符号を付して説明を省略する。実施形態に係る障害物検知装置は、自動車に設置され、障害物を検知するものである。
【００１３】
本開示において、「障害物」は、自動車の進行の妨げになる動物（人間を含む）や物体等である。自動車の運転時には、このような障害物との衝突や接触を防止するため、障害物の検知精度を向上させる必要がある。
本開示において、「視差」は、ある物体の対象点について、異なる視点からの角度差である。以下の説明では、障害物の対象点について、一の画像領域中の障害物の対象点と、他の画像領域中の障害物の対象点とで構成される角度差を、「視差」とする。
本開示において、「消失点」は、画像中において、車両の進行方向又は、進行方向と逆の方向に存在し、画像を撮影する撮影装置を備える車両が前進又は後進した場合であっても、その点に存在する被写体に位置の変化が生じない点をいう。
また、本開示では、「自動車」を「車両」として説明する。
【００１４】
〈第１実施形態〉
図１に示すように、第１実施形態に係る障害物検知装置１Ａは、撮影装置１１と、鏡１２と、情報処理装置２０とを備える。
【００１５】
撮影装置１１は、車両（図示せず）に設置され、車両の外部の画像データを撮影する。例えば、撮影装置１１は、車両の前方又は後方の少なくともいずれか一方に配置される。この場合、撮影装置１１は、いわゆる、「フロントカメラ」または「リアカメラ」である。
【００１６】
鏡１２は、車両に設置され、実像を反射して鏡像を撮影装置１１に入光させるものであり、撮影装置１１によって直接撮影される領域の少なくとも一部と同一の範囲を写す。ここで、撮影装置１１及び鏡１２は、撮影装置１１で撮影された画像データに撮影装置１１によって車両の外部が直接撮影された「直接撮影領域」と、鏡１２の鏡像である「鏡撮影領域」とが含まれるように配置される。例えば、鏡１２は、画像データにおいて直接撮影領域が鏡撮影領域よりも大きくなるように配置される。さらに、鏡１２は、鏡撮影領域が、撮影装置１１で撮影される画像データの消失点を含むような位置及び傾きで設置される。また、この消失点は、画像データにも含まれる。したがって、この消失点は、画像データにおいて、「鏡撮影領域」及び「直接撮影領域」の両方で撮影される。
【００１７】
このように鏡１２が配置されることで、撮影装置１１の撮像視野（撮影範囲）内の一部領域に鏡１２の反射面が配置されることとなる。したがって、撮影装置１１には、撮像視野内の他の領域の光が鏡１２による反射により取り込まれる。
【００１８】
なお、鏡１２は、撮影装置１１のレンズの周囲の少なくとも一部に取り付けられ、鏡像が撮影装置１１によって撮影されていれば、その取り付け位置は限定されない。また、鏡１２の形状は、鏡像を撮影装置１１で撮影可能であれば限定されない。さらに、ここでは、撮影装置１１は、鏡１２の鏡像を直接取り込む例で説明するが、撮影装置１１は、複数の鏡を利用して複数回反射された鏡像を取り込むようにしてもよい。
【００１９】
情報処理装置２０は、撮影装置１１で撮影された画像データを用いて障害物の検知処理を実行する。情報処理装置２０は、制御部２１及び記憶部２２を備える。
【００２０】
制御部２１は、特徴点算出部１３と、対応算出部１４と、三次元算出部１５と、特定部１６とを実現する。具体的には、制御部２１は、情報処理装置２０全体の制御を司るコントローラである。制御部２１は、例えば、記憶部２２に記憶されるプログラムを実行することにより所定の機能を実現するＣＰＵまたはＭＰＵのような汎用プロセッサを含む。制御部２１は、記憶部２２に格納された障害物検知プログラムＰを呼び出して実行することにより、情報処理装置２０において、特徴点算出部１３、対応算出部１４、三次元算出部１５及び特定部１６の処理を実行する。制御部２１は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部２１は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。
【００２１】
記憶部２２は種々の情報を記録する記録媒体である。記憶部２２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Device）、ハードディスク、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶部２２は、制御部２１が実行する障害物検知プログラムＰ、及び障害物検知のために撮影装置１１から取得した画像データ及び障害物検知のために利用するデータ等の種々の情報を格納する。
【００２２】
また、例えば、記憶部２２は、ＧＰＳ装置（図示せず）等が取得する車両の位置に関するデータ、撮影装置１１及び鏡１２の車両への取り付け位置及び角度等に関するデータを含む位置データＤ１を記憶する。なお、記憶部２２は、車両の車輪の制御部等から取得する回転角度に関するデータを記憶してもよい。
【００２３】
図２Ａに、撮影装置１１及び鏡１２と、撮影装置１１に撮影される物体Ｏの関係を示す概念図を示す。また、図２Ｂに、撮影装置１１で撮影された画像データＩの一例を示す。図２Ｂに示す例では、画像データＩにおいて、上側の領域を直接撮影領域Ａとし、下側の領域を鏡撮影領域Ｂとする。図２Ａに示す位置関係の場合、図２Ｂに示すように、直接撮影領域Ａと、鏡撮影領域Ｂとの両方に物体Ｏが含まれる。なお、図２Ｂにおいて、直接撮影領域Ａに含まれる物体Ｏを『Ｏａ』として表し、鏡撮影領域Ｂに含まれる物体Ｏとして『Ｏｂ』で表す。
【００２４】
例えば、鏡１２は、画像データの上側又は下側に鏡像が含まれるように配置される。鏡１２を、撮影装置１１に対して下側に配置すると、図２Ｂに示したように、鏡像は、画像データの下側に位置する。一方、図示を省略するが、鏡１２を、撮影装置１１に対して上側に配置すると、鏡像は、画像データの上側に位置する。
【００２５】
図３Ａに、リアカメラである撮影装置１１によって撮影された画像データの一例を示す。図３Ａに示す例では、画像データＩの上側に直接撮影領域Ａが設定され、下側に鏡撮影領域Ｂが設定される。したがって、撮影装置１１に対して下側に鏡１２を配置した一例である。
【００２６】
図３Ｂは、仮に、鏡１２が配置されない場合に撮影装置１１で撮影される画像データの一例である。図３Ｂに示す画像データには、車両の一部、具体的には、ナンバープレートの一部が含まれ、この部分は障害物検知に不要な領域である。このように、撮影装置１１で取得される画像データには、障害物検知に不要な画像領域Ｃを含むことがある。
【００２７】
図４Ａの平面図及び図４Ｂの側面図は、車両Ｖに設置される撮影装置１１及び鏡１２と障害物である物体Ｏの関係を示す模式図である。図４Ａ及び図４Ｂは、撮影装置１１がリアカメラであって、鏡１２が、撮影装置１１の下側に設置される例を示す。図４Ｂに示すように、撮影装置１１であるリアカメラは、車両Ｖの底面と並行ではなく下向きに設置されることが多い。図４Ｂに示すように撮影装置１１が下向きに設置された場合、画像データに障害物検知に不要な領域が含まれることになる。図３Ａで示す例は、このような障害物検知に不要な画像領域Ｃに鏡像が写るように鏡１２を配置し、画像領域Ｃを有効に利用することができた。
【００２８】
すなわち、図４Ｂに示すように、物体Ｏのある点Ｐｏは、直接撮影領域Ａでは破線の方向（Ｌａ）で撮影されるのに対し、鏡撮影領域Ｂでは実線の方向（Ｌｂ）で撮影されるため、異なる視点から撮影される。障害物検知装置１Ａでは、鏡１２を利用することで、物体Ｏを撮影する際に、視差角αが形成されるため、直接撮影領域Ａと鏡撮影領域Ｂとで視差が生じ、障害物が検知しやすい。
【００２９】
なお、鏡１２の取り付け角度は、撮影装置１１の設置位置や傾き、撮影装置１１が備えるレンズの視野角、鏡の取り付け位置等によって定めることができ、上述したように、鏡１２は、鏡撮影領域が、撮影装置１１で撮影される画像データの消失点を含むような位置及び傾きで設置される。
【００３０】
特徴点算出部１３は、撮影装置１１で撮影された画像データのうち、直接撮影領域Ａに含まれる物体の特徴点である第１特徴点と、鏡撮影領域Ｂに含まれる物体の特徴点である第２特徴点とを算出する。具体的には、特徴点算出部１３は、第１特徴点及び第２特徴点として、各物体の特徴点の座標を算出し、算出した座標を対応算出部１４に出力する。これら第１特徴点及び第２特徴点の座標は、画像データ上での座標である。
【００３１】
ここでは、直接撮影領域Ａにおける複数の特徴点と鏡撮影領域Ｂにおける複数の特徴点でどの点が対応するか、すなわち、どの点が同一の物体を撮影したものであるかは不明である。したがって、特徴点算出部１３は、直接撮影領域Ａから複数の第１特徴点を算出し、また、鏡撮影領域Ｂからも複数の第２特徴点を算出し、算出した複数の特徴点を出力する。なお、特徴点算出部１３は、例えば、ＧＦＴＴ（Good Features To Track）等の一般的な特徴点の抽出方法を利用する。
【００３２】
また、特徴点算出部１３は、対応算出部１４で特徴量が利用される場合、第１特徴点及び第２特徴点の座標とともに、各特徴点の特徴量を算出し、この特徴量を含む特徴点を対応算出部１４に出力する。例えば、対応算出部１４でオプティカルフロー方式の対応点探索を実行する場合、特徴点として座標のみを算出する。一方、対応算出部１４でＳＩＦＴ（Scale Invariant Feature Transform）等の特徴量マッチング方式の対応点探索を実行する場合、特徴点として座標と特徴量を算出する。
【００３３】
ここで、障害物検知装置１Ａでは、撮影される画像データのうち、直接撮影領域Ａに相当する画素と、鏡撮影領域Ｂに相当する画素とが予め特定され、記憶部２２で記憶されている。また、特徴点算出部１３は、直接撮影領域Ａと鏡撮影領域Ｂを対応させることができる。具体的には、ＳＩＦＴ等の特徴量を用いる場合、鏡による反転を考慮した特徴量記述子を生成し、特徴点算出部１３はこれを用いて対応点探索を実行する。例えば、直接撮影領域Ａに対し、鏡撮影領域Ｂが水平反転する場合、直接撮影領域Ａでの特徴（例えば、勾配値）の位置関係を仮に
2020163926.tif 000003
としたとき、鏡撮影領域Ｂでは、反転させて
2020163926.tif 000004
とする。このとき、直接撮影領域Ａと鏡撮影領域Ｂとでレンズの歪みがある場合、処理の際にアフィン変換を利用して歪みを補正させてもよい。
【００３４】
対応算出部１４は、特徴点算出部１３で算出された第１特徴点と対応する第２特徴点を特定する。具体的には、対応算出部１４は、複数の第１特徴点及び複数の第２特徴点から、対応する第１特徴点と第２特徴点とを探索し、対応すると特定された第１特徴点及び第２特徴点を三次元算出部１５に出力する。このとき、対応算出部１４は、オプティカルフローや特徴量マッチング等により、対応する第１特徴点と第２特徴点とを算出する。
【００３５】
図２Ｂに示す画像データＩの例では、対応算出部１４は、直接撮影領域Ａから物体Ｏａを示す第１特徴点と、鏡撮影領域Ｂから物体Ｏｂを示す第２特徴点が対応すると算出する。
【００３６】
なお、鏡１２に歪みがある場合であっても、その歪みを補正する補正式等の補正方法が予め定められているとき、対応算出部１４は、その歪みを補正することができる。これにより、対応点の算出、すなわち、対応する第１特徴点と第２特徴点の特定の精度を高めることができる。
【００３７】
三次元算出部１５は、算出された対応から物体に関する三次元データを算出する。ここで、三次元算出部１５は、記憶部２２に記憶される位置データＤ１及び撮影装置１１のレンズのキャリブレーションデータを用いて、対応算出部１４で対応すると特定された第１特徴点と第２特徴点から、物体の三次元位置を算出する。具体的には、三次元算出部１５は、一般的な三角測量の計算手法を用いて、対応すると特定された画像データ上での二次元座標である第１特徴量の座標と第２特徴量の座標とから、物体の位置である三次元座標を求める。また、三次元算出部１５は、算出した三次元座標を特定部１６に出力する。
【００３８】
例えば、図２Ａ及び図２Ｂを用いて上述した例において、車両の位置や車両が現在向いている方向、車両設置される撮影装置１１及び鏡１２の傾きや位置関係等の算出条件は予め位置データＤ１で特定される。したがって、図２Ａに示す点Ｐ１，Ｐ２の座標、点Ｐ１と点Ｐ２の距離ｌ、物体Ｏ−点Ｐ１−点Ｐ２の成す角度α１、物体Ｏ−点Ｐ２−点Ｐ１の成す角度α２も特定できる。また、画像データＩの直接撮影領域Ａにおける第１特徴点である物体Ｏａの座標と第２特徴点である物体Ｏｂの座標は、特徴点算出部１３により算出された。したがって、三次元算出部１５は、この２点の二次元座標と、撮影装置１１及び鏡１２の傾き及び位置関係とから、距離ｄを求めることが可能であり、物体Ｏの三次元座標を算出する。
【００３９】
特定部１６は、算出された三次元データから車両の走行における障害物を特定する。具体的には、特定部１６は、三次元算出部１５で算出された三次元座標から求める障害物の位置である車両との距離、障害物の形状や大きさ等を特定する。障害物の大きさとして、特定部１６は、具体的には、障害物の横幅及び高さを特定する。例えば、特定部は、算出された三次元座標をグルーピングし、車両から最も近い座標、すなわち、撮影装置１１から最も近い座標のグループの位置や大きさを特定する。
【００４０】
また、特定部１６は、障害物を特定した結果を出力する（図示せず）。これにより、障害物検知装置１Ａを備える車両では、例えば、自動運転等において障害物の三次元位置を正確に把握したうえで安全で快適な走行を実現することができる。
【００４１】
上述したように、第１実施形態に係る障害物検知装置１Ａによれば、撮影装置に鏡像が撮影される構成にし、撮影画像から直接撮影された直接撮影領域と鏡像が撮影された鏡撮影領域とを比較する。これにより、物体を検知する際に視差ができるため、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。また、複数の撮影装置を備える必要がなく、１台の撮影装置と１枚の鏡で実現されるため、コンパクトな構成で実現することができる。
【００４２】
《障害物検知方法》
図５に示す例を用いて、図１に示した障害物検知装置１Ａで実行される障害物検知方法の一例について説明する。
図５に示すように、障害物検知装置１Ａは、撮影装置１１を利用して画像データを撮影する（Ｓ０１）。
【００４３】
障害物検知装置１Ａは、ステップＳ０１で撮影した画像データから、特徴点を算出する（Ｓ０２）。
【００４４】
障害物検知装置１Ａは、ステップＳ０２の算出結果を用いて、直接撮影領域Ａに含まれる特徴点と鏡撮影領域Ｂに含まれる特徴点との対応を算出する（Ｓ０３）。すなわち、障害物検知装置１Ａは、対応する点を特定する。
【００４５】
また、障害物検知装置１Ａは、位置データＤ１を用いて、撮影条件を算出する（Ｓ０４）。なお、上述したように、撮影条件は、撮影装置１１のパラメータ及び撮影装置１１及び鏡１２の取り付けの位置及び傾き等に応じて決定されるため、位置データＤ１としてこの撮影条件を含んでもよい。
【００４６】
障害物検知装置１Ａは、ステップＳ０３の算出結果である対応する特徴点と、ステップＳ０４の算出結果である撮影条件を用いて、特徴点の三次元データを算出する（Ｓ０５）。すなわち、障害物検知装置１Ａは、特徴点の三次元座標を算出する。
【００４７】
障害物検知装置１Ａは、ステップＳ０５の算出結果に応じて、障害物の検知の有無を判定する（Ｓ０６）。
【００４８】
これにより、障害物が検知されたと判定されると（Ｓ０６でＹＥＳ）、障害物検知装置１Ａは、障害物の検知を通知する通知データを出力し、処理を出力する（Ｓ０７）。
一方、障害物が検知されないと判定されると（Ｓ０６でＮＯ）、障害物検知装置１Ａは、処理を終了する。
【００４９】
〈第２実施形態〉
図６に示すように、第２実施形態に係る障害物検知装置１Ｂは、撮影装置１１と、鏡１２と、特徴点算出部１３と、対応算出部１４と、選択部１７と、三次元算出部１５と、特定部１６とを備える。図６に示す障害物検知装置１Ｂは、図１を用いて上述した障害物検知装置１Ａと比較して、選択部１７を備える点で異なる。
【００５０】
図１を用いて上述した第１実施形態に係る障害物検知装置１Ａでは、１枚の画像データを用いて、障害物を検知する。これに対し、図６を用いて説明する第２実施形態に係る障害物検知装置１Ｂは、複数の画像データを用いて障害物を検知する。したがって、障害物検知装置１Ｂは、選択部１７によって、複数の画像データに含まれる複数の点から障害物検知に利用する最適な点を選択する。選択部１７の詳細については、後述する。
【００５１】
障害物検知装置１Ｂの撮影装置１１は、複数の画像データを撮影する。このとき、撮影装置１１は、第１画像データと第２画像データとを、例えば、障害物検知装置が設置される車両の移動中に異なるタイミングで撮影する。具体的には、図７Ａに示すように、撮影装置１１は、第１のタイミングＴ1において、図７Ｂに示すように第１画像データＩ1を撮影し、第２のタイミングＴ2において、図７Ｃに示すように第２画像データＩ2を撮影する。第１のタイミングＴ1と第２のタイミングＴ2とは異なるため、図７Ｂ及び図７Ｃに示すように、第１画像データＩ1と第２画像データＩ2とでは、障害物である物体Ｏが異なる位置に含まれる。なお、図７Ｂ及び図７Ｃにおいて、第１画像データＩ1の直接撮影領域Ａに含まれる障害物を『Ｏａ1』、鏡撮影領域Ｂに含まれる障害物を『Ｏｂ1』、第２画像データＩ2の直接撮影領域Ａに含まれる障害物を『Ｏａ2』、鏡撮影領域Ｂに含まれる障害物を『Ｏｂ2』と表す。
【００５２】
異なるタイミングは、例えば、移動距離によって定めても良いし、経過時間で定めても良い。具体的には、撮影装置１１は、図８Ａ及び図８Ｂに示すように、第１画像データＩ1を撮影した第１のタイミングＴ1の後、第２のタイミングＴ2において第２画像データを撮影する。このとき、撮影装置１１は、第１のタイミングＴ1で第１画像データＩ1を撮影した位置から、所定距離移動した時点で第２のタイミングＴ2として第２画像データＩ2を撮影してもよい。ここでの移動距離は、例えば、障害物検知装置１Ｂは、移動距離演算手段（図示せず）により、車輪の速度や角速度等から移動ベクトルを求めるオドメトリの計算手法を用いて特定することができる。
【００５３】
または、撮影装置１１は、第１画像データＩ1を撮影した第１のタイミングＴ1から所定時間経過したタイミングＴ1を第２のタイミングＴ2とし、第２画像データＩ2を撮影してもよい。ここで、第１のタイミングで撮影される第１画像データＩ1と第２のタイミングＴ2で撮影される第２画像データＩ2とで重複する範囲が含まれるように、各タイミングが設定されることが好ましい。なお、図８Ａ及び図８Ｂは、第１のタイミングＴ1の後、車両Ｖが後ろ方向に進んだ際に、第２のタイミングＴ2が設定された一例である。なお、図８Ａ及び図８Ｂでは、第１のタイミングＴ1の車両を実線で表わし、第２のタイミングＴ2の車両を破線で表している。
【００５４】
特徴点算出部１３は、撮影装置１１で撮影された第１画像データＩ1と、第２画像データＩ2からそれぞれ第１特徴点及び第２特徴点を算出する。具体的には、特徴点算出部１３は、第１実施形態で上述した方法により、第１画像データＩ1から複数の第１特徴点及び第２特徴点を算出し、第２画像データＩ2から複数の第１特徴点及び第２特徴点を算出して対応算出部１４に出力する。
【００５５】
対応算出部１４は、異なる画像から算出された第１特徴点及び第２特徴点を用いて対応を算出する。具体的には、対応算出部１４は、第１画像データＩ1の複数の第１特徴点及び複数の第２特徴点から、対応する第１特徴点と第２特徴点とを探索し、第２画像データＩ2の複数の第１特徴点及び第２特徴点から、対応する第１特徴点と第２特徴点とを探索する。また、対応算出部１４は、第１画像データＩ1の第１特徴点及び第２特徴点と、第２画像データの第１特徴点及び第２特徴点とから対応する特徴点を探索し、その結果を選択部１７に出力する。
【００５６】
図７Ｂに示す第１画像データＩ1及び図７Ｃに示す第２画像データＩ2の例では、対応算出部１４は、第１画像データＩ1の直接撮影領域Ａから物体Ｏａ1を示す第１特徴点と、鏡撮影領域Ｂから物体Ｏｂ1を示す第２特徴点が対応すると算出し、第２画像データＩ2の直接撮影領域Ａから物体Ｏａ2を示す第１特徴点と、鏡撮影領域Ｂから物体Ｏｂ2を示す第２特徴点が対応すると算出する。また、対応算出部１４は、第１画像データ及び第２画像データの物体Ｏａ1を示す第１特徴点と、物体Ｏｂ1を示す第２特徴点と、物体Ｏａ2を示す第１特徴点と、物体Ｏｂ2を示す第２特徴点とが対応すると算出する。
【００５７】
選択部１７は、対応する複数の特徴点から三次元データの算出に最適な２つの特徴点を選択する。具体的には、選択部１７は、第１画像データＩ1の第１特徴点及び第２特徴点と、第２画像データＩ2の第１特徴点及び第２特徴点とから、視差が大きくなる２つの特徴点を選択する。また、選択部１７は、選択結果を三次元算出部１５に出力する。
【００５８】
三次元算出部１５は、選択部１７で選択された２つの特徴点を利用して三次元座標を算出する。仮に、選択部１７において、第１画像データＩ1の第１特徴点及び第２画像データＩ2の第２特徴点が選択された場合、三次元算出部１５は、第１画像データＩ1の第１特徴点及び第２画像データＩ2の第２特徴点から三次元座標を算出する。また、三次元算出部１５は、算出した三次元座標を特定部１６に出力する。
【００５９】
特定部１６は、算出された三次元データから、車両の走行における障害物を特定する。
【００６０】
上述したように、第２実施形態に係る障害物検知装置１Ｂによれば、撮影装置に鏡像が撮影される構成にし、撮影画像から直接撮影された直接撮影領域と鏡像が撮影された鏡撮影領域とを比較する。これにより、物体を検知する際に視差ができるため、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。また、複数の撮影装置を備える必要がなく、１台の撮影装置と１枚の鏡で実現されるため、コンパクトな構成で実現することができる。
【００６１】
《障害物検知方法》
図９に示す例を用いて、図６に示した障害物検知装置１Ｂで実行される障害物検知方法の一例について説明する。図９に示すフローチャートにおいて、図５のフローチャートで上述した処理と同一の処理については、同一の符号を付して説明を省略する。
【００６２】
まず、図９に示すように、障害物検知装置１Ｂは、撮影装置１１を利用して第１画像データを撮影する（Ｓ１１）。
また、障害物検知装置１Ｂは、撮影装置１１を利用して第１画像データを撮影する（Ｓ１２）。
【００６３】
障害物検知装置１Ｂは、ステップＳ１１で撮影した第１画像データから、特徴点を算出する（Ｓ１３）。
障害物検知装置１Ｂは、ステップＳ１２で撮影した第２画像データから、特徴点を算出する（Ｓ１４）。
【００６４】
障害物検知装置１Ｂは、ステップＳ１３の算出結果を用いて、第１画像データＩ1の直接撮影領域Ａに含まれる第１特徴点と鏡撮影領域Ｂに含まれる第２特徴点との対応を算出する（Ｓ１５）。すなわち、障害物検知装置１Ｂは、直接撮影領域Ａと鏡撮影領域Ｂとで対応する点を特定する。
【００６５】
また、障害物検知装置１Ｂは、ステップＳ１４の算出結果を用いて、第２画像データＩ2の直接撮影領域Ａに含まれる第１特徴点と鏡撮影領域Ｂに含まれる第２特徴点との対応を算出する（Ｓ１６）。すなわち、障害物検知装置１Ｂは、直接撮影領域Ａと鏡撮影領域Ｂとで対応する点を特定する。
【００６６】
障害物検知装置１Ｂは、ステップＳ１５及びＳ１６の算出結果を用いて、第１画像データＩ1及び第２画像データＩ2に含まれる第１特徴点及び第２特徴点の対応を算出する（Ｓ１７）。すなわち、障害物検知装置１Ｂは、第１画像データＩ1と第２画像データＩ2との第１特徴点及び第２特徴点とで対応する点を特定する。
【００６７】
障害物検知装置１Ｂは、ステップＳ１７で対応すると選択された複数の特徴点から、三次元データの算出に最適な２つの特徴点を選択する（Ｓ１８）。具体的には、障害物検知装置１Ｂは、対応する複数の特徴点から、視差が大きくなる２つの特徴点を選択する。
【００６８】
その後のステップＳ０４〜Ｓ０６の処理は、図５のフローチャートを用いて上述した処理と同一であるため、説明を省略する。
【００６９】
《変形例１》
図６乃至図９を用いて上述した第２実施形態に係る障害物検知装置１Ｂでは、撮影装置１１が異なるタイミングで撮影することで、同一の対象物を含む第１画像データと第２画像データを取得していた。これに対し、撮影装置１１は、同一のタイミングで第１画像データ及び第２画像データをそれぞれ撮影可能な第１画像取得部と撮影する第２画像取得部とを有してもよい。すなわち、障害物検知装置は、互いに異なる位置に設置され、重複する範囲を撮影する２台の撮影装置でそれぞれ撮影された画像データを利用してもよい。
【００７０】
このような構成にすることで、２つの撮像手段を必要とするが、２枚の画像データが同時に撮影可能となり、異なるタイミングで取得する画像を使用する場合よりも障害物検知に要する時間を短くすることができる。
【００７１】
《変形例２》
図１乃至図５を用いて上述した第１実施形態に係る障害物検知装置１Ａでは、撮影装置１１が撮影した直接撮影領域の特徴点と、鏡撮影領域の特徴点とを用いて、障害物を検知する。また、図６乃至図９を用いて上述した第２実施形態に係る障害物検知装置１Ｂでは、撮影装置１１が異なるタイミングで撮影することで、第１の対象物を含む第１画像データと第２画像データを撮影し、ここから最適な点を選択し、障害物を検知する。これに対し、撮影装置１１は、さらに多くの特徴点を特定し、最適な特徴点を選択するようにしてもよい。例えば、１枚の画像データにおいて、複数の鏡撮影領域を含む場合、１枚の画像データから得られる複数の特徴点から最適な特徴点を選択して障害物を検知することができる。または、２枚以上の画像データから、６以上の特徴点を抽出し、これら複数の特徴点から最適な特徴点を選択して障害物を検知することができる。
【００７２】
このような構成にすることで、より大きな視差の特徴点を使用することが可能となり、障害物検知の精度を向上させることができる。
【００７３】
《鏡の取り付け例と形状》
鏡１２は、例えば、図１０Ａに示すように、撮影装置１１のレンズ１１１の下部に取り付けられていてもよいし、図１０Ｂに示すように、レンズ１１１の上部に取り付けられていてもよい。
【００７４】
鏡１２は、図１０Ｃに示すように、レンズ１１１の全周に取り付けられていてもよいし、図１０Ｄに示すように、鏡１２は、レンズ１１１の周囲の２か所等、複数個所に取り付けられていてもよい。これにより、例えば、変形例２で上述したように、１台の撮影装置１１のみを有する障害物検知装置であっても、１枚の画像データで複数の鏡撮影領域を設けることが可能となり、障害物の検知の精度を向上させることができる。
【００７５】
例えば、鏡１２の形状は、図１０Ａに示したように平面であってもよいし、図１０Ｅに示すように屈折した形状であってもよいし、図１０Ｆに示すように屈曲した形状であってもよい。
【００７６】
〈効果及び補足〉
以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。
【００７７】
《実施形態の概要》
（１）本開示の障害物検知装置は、車両に設置され、車両の外部の画像データを撮影する撮影装置と、車両に設置され、撮影装置によって直接撮影される領域の少なくとも一部と同一の範囲を写す鏡とを備え、撮影装置及び鏡は、画像データに撮影装置によって車両の外部が直接撮影された直接撮影領域と、鏡の鏡像である鏡撮影領域とが含まれるように配置され、さらに、画像データのうち、直接撮影領域に含まれる物体の特徴点である第１特徴点と、鏡撮影領域に含まれる物体の特徴点である第２特徴点とを算出する特徴点算出部と、算出された第１特徴点と前記第２特徴点との対応を算出する対応算出部と、算出された対応から物体に関する三次元データを算出する三次元算出部と、算出された三次元データから車両の走行における障害物を特定する特定部とを備える。
【００７８】
これにより、物体を検知する際に視差ができるため、前方又は後方に存在する障害物、例えば、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。
【００７９】
（２）（１）の障害物検知装置では、特徴点算出部は、撮影装置で撮影された第１画像データと、第１画像データと重複する範囲を含む第２画像データからそれぞれ第１特徴点及び第２特徴点を算出し、対応算出部は、異なる画像から算出された第１特徴点及び第２特徴点を用いて対応を算出してもよい。
【００８０】
これにより、物体を検知する際に視差ができるため、前方又は後方に存在する障害物、例えば、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。
【００８１】
（３）（２）の障害物検知装置では、撮影装置は、異なるタイミングで第１画像データ及び第２画像データを撮影してもよい。
【００８２】
これにより、１つの撮影装置で複数の画像データを撮影することができるため、コンパクトな構成で、障害物の検知の精度を向上させることができる。
【００８３】
（４）（２）の障害物検知装置では、撮影装置は、同一のタイミングで第１画像データ及び第２画像データをそれぞれ撮影可能な第１画像取得部と撮影する第２画像取得部とを有してもよい。
【００８４】
これにより、同一のタイミングで複数の画像データを撮影することができるため、短時間の処理で、障害物の検知の精度を向上させることができる。
【００８５】
（５）（２）の障害物検知装置では、第１画像データの第１特徴点及び第２特徴点と、第２画像データの第１特徴点及び第２特徴点とから、視差が大きくなる２つの特徴点を選択する選択部をさらに備え、三次元算出部は、選択部で選択された２つの特徴点を利用して三次元データを算出してもよい。
【００８６】
これにより、視差の大きい特徴点から三次元データが算出されるため、障害物の検知の精度を向上させることができる。
【００８７】
（６）（１）の障害物検知装置では、車両の前方又は後方の少なくともいずれか一方に配置してもよい。
【００８８】
これにより、物体を検知する際に視差をつくり、障害物の検知の精度を向上させることができる。
【００８９】
（７）（１）の障害物検知装置では、鏡は、画像データの上側又は下側に鏡像が含まれるように配置されてもよい。
【００９０】
これにより、画像データ中で障害物の検知に利用されにくい範囲を有効に利用して、障害物の検知の精度を向上させることができる。
【００９１】
（８）本開示の自動車は（１）の障害物検知装置を備える。
【００９２】
これにより、物体を検知する際に視差ができるため、前方又は後方に存在する障害物、例えば、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。
【００９３】
（９）本開示の障害物検知方法は、車両に設置され、車両の外部を撮影する撮影装置によって、車両の外部が直接撮影された直接撮影領域と、前記撮影装置とともに車両に設置され、直接撮影領域との少なくとも一部と同一の範囲を写す鏡の鏡像である鏡撮影領域とを含む画像データを撮影する撮影ステップと、画像データのうち、直接撮影領域に含まれる物体の特徴点である第１特徴点と、鏡撮影領域に含まれる物体の特徴点である第２特徴点とを算出する特徴点算出ステップと、算出された第１特徴点と第２特徴点との対応を算出する対応算出ステップと、算出された対応から前記物体に関する三次元データを算出する三次元算出ステップと、算出された三次元データから車両の走行における障害物を特定する特定ステップとを含む。
【００９４】
これにより、物体を検知する際に視差ができるため、前方又は後方に存在する障害物、例えば、消失点付近に存在する障害物であっても、精度よく検知することが可能となり、障害物の検知の精度を向上させることができる。
【００９５】
本開示の全請求項に記載の障害物検知装置、自動車及び障害物検知方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
【産業上の利用可能性】
【００９６】
本開示の障害物検知装置、自動車及び障害物検知方法は、例えば、自動車の障害物検知に有用である。
【符号の説明】
【００９７】
１Ａ            障害物検知装置
１Ｂ            障害物検知装置
１１            撮影装置
１２            鏡
１３            特徴点算出部
１４            対応算出部
１５            三次元算出部
１６            特定部
１７            選択部
Ａ            直接撮影領域
Ｂ            鏡撮影領域
【図１】
2020163926.tif 000005
【図２Ａ】
2020163926.tif 000006
【図２Ｂ】
2020163926.tif 000007
【図３Ａ】
2020163926.tif 000008
【図３Ｂ】
2020163926.tif 000009
【図４Ａ】
2020163926.tif 000010
【図４Ｂ】
2020163926.tif 000011
【図５】
2020163926.tif 000012
【図６】
2020163926.tif 000013
【図７Ａ】
2020163926.tif 000014
【図７Ｂ】
2020163926.tif 000015
【図７Ｃ】
2020163926.tif 000016
【図８Ａ】
2020163926.tif 000017
【図８Ｂ】
2020163926.tif 000018
【図９】
2020163926.tif 000019
【図１０Ａ】
2020163926.tif 000020
【図１０Ｂ】
2020163926.tif 000021
【図１０Ｃ】
2020163926.tif 000022
【図１０Ｄ】
2020163926.tif 000023
【図１０Ｅ】
2020163926.tif 000024
【図１０Ｆ】
2020163926.tif 000025