(57)【要約】【課題】撮像された撮像画像から移動物体とその影とを判別して当該移動物体を認識することができる物体検出装置、物体検出方法、プログラムおよび移動体を提供する。【解決手段】物体検出装置は、撮像部から入力される複数の撮像画像から、複数の特徴点を抽出し、複数の特徴点毎の移動量を算出してそれぞれのオプティカルフローを算出するオプティカルフロー算出部と、それぞれのオプティカルフローの情報に応じて複数の特徴点の少なくとも一部を互いに関連付ける第１のグループ化部と、撮像画像を路面に相当する座標へと投影した路面投影画像に変換する路面座標投影部と、路面投影画像から立体物オプティカルフローを抽出する立体物オプティカルフロー抽出部と、立体物オプティカルフローの情報に応じて立体物の複数の特徴点の少なくとも一部を互いに関連付ける第２のグループ化部と、を備える。【選択図】図１
2020154831.tif 000002
【特許請求の範囲】
【請求項１】
撮像部から入力される複数の撮像画像から、複数の特徴点を抽出し、前記複数の特徴点毎の移動量を算出してそれぞれのオプティカルフローを算出するオプティカルフロー算出部と、
前記それぞれのオプティカルフローの情報に応じて前記複数の特徴点の少なくとも一部を互いに関連付ける第１のグループ化部と、
前記撮像画像を路面に相当する座標へと投影した路面投影画像に変換し、前記関連付けた複数の特徴点の前記それぞれのオプティカルフローの少なくとも一部を前記路面に相当する座標へ投影した、路面投影画像のそれぞれのオプティカルフローを算出する路面座標投影部と、
前記路面投影画像のそれぞれのオプティカルフローから立体物オプティカルフローを抽出する立体物オプティカルフロー抽出部と、
前記立体物オプティカルフローの情報に応じて立体物の複数の特徴点の少なくとも一部を互いに関連付ける第２のグループ化部と、を備える、
物体検出装置。
【請求項２】
前記第１のグループ化部は、前記それぞれのオプティカルフローから複数の類似しているオプティカルフローを抽出し、前記複数の類似しているオプティカルフローを有する特徴点の少なくとも一部を互いに関連付ける、請求項１に記載の物体検出装置。
【請求項３】
前記立体物オプティカルフロー抽出部は、前記路面投影画像のそれぞれのオプティカルフローの大きさから前記立体物オプティカルフローを抽出する、請求項１または請求項２に記載の物体検出装置。
【請求項４】
前記立体物オプティカルフロー抽出部は、前記路面投影画像のそれぞれのオプティカルフローの大きさの変化が開始する変化位置を算出し、前記変化位置に応じて変化する側を立体物と、変化しない側を前記立体物の影と判別することで、前記立体物オプティカルフローを抽出する、請求項３に記載の物体検出装置。
【請求項５】
前記第１のグループ化部および前記第２のグループ化部は、同一のグループ化部である、請求項１から請求項４のいずれか一項に記載の物体検出装置。
【請求項６】
前記物体検出装置は、前記撮像部の移動による撮像画像の変化の影響を補正または除去する補正部を備える、請求項１から請求項５のいずれか一項に記載の物体検出装置。
【請求項７】
前記補正部は、撮像画像全体のオプティカルフローを算出し、前記撮像画像全体のオプティカルフローの情報に応じて前記撮像部の移動による前記撮像画像の変化を推定することで、前記変化の影響を補正または除去する、請求項６に記載の物体検出装置。
【請求項８】
請求項１から請求項７のいずれか一項に記載の物体検出装置を備える、移動体。
【請求項９】
移動物体を検出する物体検出方法であって、
撮像部から入力される複数の撮像画像から、複数の特徴点を抽出し、前記複数の特徴点毎の移動量を算出してそれぞれのオプティカルフローを算出するステップと、
前記それぞれのオプティカルフローの情報に応じて前記複数の特徴点の少なくとも一部を互いに関連付けるステップと、
前記撮像画像を路面に相当する座標へと投影した路面投影画像に変換し、前記関連付けた複数の特徴点の前記それぞれのオプティカルフローの少なくとも一部を前記路面に相当する座標へ投影した、路面投影画像のそれぞれのオプティカルフローを算出するステップと、
前記路面投影画像のそれぞれのオプティカルフローから立体物オプティカルフローを抽出するステップと、
前記立体物オプティカルフローの情報に応じて立体物の複数の特徴点の少なくとも一部を互いに関連付けるステップと、を含む、
物体検出方法。
【請求項１０】
請求項９に記載の物体検出方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像部で撮像された画像を用いて移動物体を検出する物体検出装置、物体検出方法、プログラムおよび移動体に関する。
【背景技術】
【０００２】
特許文献１は、車両に取り付けた撮像部で撮像した自車両前方の画像を用いた物体検出装置および物体検出方法について開示している。この装置は、撮像した画像の特徴点を抽出し、当該特徴点を表す画素の画像上における移動速度情報が所定の範囲にある画素をグループ化する。そして、各グループ化した画素の最上部及び最下部の画素の俯瞰平面に変換した位置座標から、平面物と立体物を判定し、立体物と判定した画素の水平方向の位置座標と移動速度情報との関係に基づいて移動物体を判定する。これにより、自車両の動き推定や物体までの距離を算出することなく移動物体を高速に検出することを可能としている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４８３０８２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、撮像された撮像画像から移動物体とその影とを判別して当該移動物体を認識することができる物体検出装置、物体検出方法、プログラムおよび移動体を提供する。
【課題を解決するための手段】
【０００５】
本開示の物体検出装置は、撮像部から入力される複数の撮像画像から、複数の特徴点を抽出し、複数の特徴点毎の移動量を算出してそれぞれのオプティカルフローを算出するオプティカルフロー算出部と、それぞれのオプティカルフローの情報に応じて複数の特徴点の少なくとも一部を互いに関連付ける第１のグループ化部と、撮像画像を路面に相当する座標へと投影した路面投影画像に変換し、関連付けた複数の特徴点のそれぞれのオプティカルフローの少なくとも一部を路面に相当する座標へ投影した、路面投影画像のそれぞれのオプティカルフローを算出する路面座標投影部と、路面投影画像のそれぞれのオプティカルフローから立体物オプティカルフローを抽出する立体物オプティカルフロー抽出部と、立体物オプティカルフローの情報に応じて立体物の複数の特徴点の少なくとも一部を互いに関連付ける第２のグループ化部と、を備える。
【０００６】
これらの概略的かつ特定の態様は、システム、方法、およびコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
【発明の効果】
【０００７】
本開示の物体検出装置、物体検出方法、プログラムおよび移動体によれば、撮像された撮像画像を画像処理することで移動物体とその影とを判別して、当該移動物体を認識することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、物体検出装置の一実施形態の構成を示すブロック図である。
【図２】図２は、物体検出装置の撮像状態の一例を示す。
【図３】図３は、図２の撮像状態による撮像画像の一例を示す。
【図４】図４は、撮像画像の一例を簡略的に示す。
【図５】図５は、図３の撮像画像に対応した、路面投影画像を示す。
【図６】図６は、路面投影画像を撮像するような仮想的な撮像状態を模式的に示す。
【図７】図７は、魚眼レンズの射影方式の一つである立体射影方式のモデルを模式的に示す。
【図８】図８は、魚眼画像を路面に投影した図である鳥瞰画像の投影モデルを模式的に示す。
【図９】図９は、図４の撮像画像に対応した、路面投影画像を示す。
【図１０】図１０は、図７と同じく魚眼レンズの射影方式の一つである立体射影方式のモデルを模式的に示す。
【図１１】図１１は、図９のオプティカルフローの大きさの分布を示す。
【図１２】図１２は、図４で示されている撮像画像に関して、立体物と推定される領域を表す情報を含む画像を示す。
【図１３】図１３は、物体検出装置の動作を説明するためのフローチャートである。
【図１４】図１４は、他の実施形態の構成を示すブロック図である。
【図１５】図１５は、他の実施形態の構成を示すブロック図である。
【発明を実施するための形態】
【０００９】
（本開示の基礎となった知見）
近年、自動車業界では、自動車に車載カメラを搭載し、車載カメラによる撮像画像から車両進行方向の障害物等の有無を検出し、その情報に基づいて車両を制御する技術が開発されている。しかし、検出対象である障害物となる立体物に影がある場合、実際よりも広い領域に立体物があると検出してしまう可能性があった。複数のカメラで構成される、例えば２眼カメラなどを搭載すれば、カメラの位置の違いによる視差を利用して、立体物や当該立体物との距離を検出することができるが、そのようなカメラは、１個のカメラで構成される単眼カメラに比べて、大型化、構造の複雑化、および重量の増加など様々な問題があった。
【００１０】
本開示は、撮像部で撮像された撮像画像に対して画像処理をすることで移動物体を検出する物体検出装置を提供する。本開示によれば、単眼カメラであっても、移動物体である立体物と立体物の影とを判別し、移動物体である立体物の領域をより精度よく検出することができる。そのため、複数のカメラで構成される、例えば２眼カメラなどと比べて、装置を小型化することができる。また、装置の構造を簡略化することができる。さらに、装置の重量を減らすことができる。
【００１１】
以下、本開示における実施形態を、図面を適宜参照しながら説明する。ただし、詳細な説明において、従来技術および実質的に同一の構成に関する説明のうち不必要な部分は省略されることもある。これは、説明を簡単にするためである。また、以下の説明および添付の図面は、当業者が本開示を充分に理解できるよう開示されるのであって、特許請求の範囲の主題を限定することを意図されていない。本実施形態においては、撮像部が自動車に取り付けられており、検出する移動物体が人間である場合を例として説明する。
【００１２】
（実施形態）
１  構成
図１は、本実施形態における物体検出装置１の構成を示している。本実施形態において物体検出装置１は、車両に取り付けられており、画像を撮像する撮像部１０、撮像部１０によって撮像された撮像画像に対して画像処理をする移動物体検出デバイス２０Ａを備えている。
【００１３】
１．１  撮像部
撮像部１０は、例えば、ＣＣＤやＣＭＯＳなどの撮像素子を備えたカメラであり、撮像画像（例えば車両前方の撮像画像）を連続的に撮像することができ、フレーム毎に撮像された撮像画像を移動物体検出デバイス２０Ａへと出力することができる。
【００１４】
図２は、撮像状態の一例を示したものであり、路面１０３、および路面１０３上に立っている検出対象である人間１０２が、自動車１１に取り付けられた撮像部１０によって撮像されている。図２において撮像部１０は、路面に対して水平方向を向くように自動車に設置されているが、これに限定するものではなく、撮像部１０が斜め方向を向くように設置されてもよい。また、撮像部１０は、車両前方のバンパに取り付けられているが、フロントガラスなど、他の位置に取り付けられてもよく、車両前方以外の方向を向くようにリアウインドウなどの位置に取り付けられてもよい。
【００１５】
図３は、撮像画像１０１の一例を示している。物体検出装置１は、検出対象である人間１０２と、撮像部１０が取り付けられている自動車１１との実際の距離を算出するために、撮像画像１０１内で人間１０２が路面１０３上に立っている位置と、撮像画像における所定の基準位置、例えば、撮像画像１０１の下端など、との距離Ａを特定する必要がある。
【００１６】
１．２  移動物体検出デバイス
図１に示すように、移動物体検出デバイス２０Ａは、画像処理をする制御部２０１、および制御部２０１で画像処理をされる画像を必要に応じて記憶する記憶部２０２を備える。移動物体検出デバイス２０Ａは、連続的に撮像された複数フレームの撮像画像を取得し、当該画像内の移動物体を立体物と立体物の影とに判別する能力を備えた装置であり、得られた撮像画像に対して画像処理をして、当該撮像画像内で立体物の推定領域を主として含む情報を出力することができる。
【００１７】
制御部２０１は取得部２１と、オプティカルフロー算出部２２と、第１のグループ化部２３と、路面座標投影部２４と、立体物オプティカルフロー抽出部２５と、第２のグループ化部２６と、を有する。取得部２１は、撮像部１０にて撮像された撮像画像を取得する。オプティカルフロー算出部２２は、取得部２１にて取得された撮像画像に画像処理をすることで特徴点を抽出し、オプティカルフローを算出する。第１のグループ化部２３は、オプティカルフロー算出部２２で算出したオプティカルフローの情報に応じて前述の特徴点の少なくとも一部を互いに関連付ける。路面座標投影部２４は、オプティカルフローを路面に相当する座標へと投影した路面投影画像を算出する。立体物オプティカルフロー抽出部２５は、投影したオプティカルフローから立体物オプティカルフローを抽出する。第２のグループ化部２６は、立体物オプティカルフローの情報に応じて特徴点の少なくとも一部を互いに関連付ける。「オプティカルフローの情報」は、例えば、オプティカルフローのベクトルの大きさ若しくは向き、またはその組み合わせが考えられる。「立体物オプティカルフロー」とは、立体物オプティカルフロー抽出部２５で立体物と判定されたオプティカルフローを意味する。制御部２０１および制御部２０１に含まれる各処理部２１〜２６は、プログラムを実行することにより所定の機能を実現するＣＰＵまたはＭＰＵのような汎用プロセッサを含む。制御部２０１および制御部２０１に含まれる各処理部２１〜２６は、例えば記憶部２０２に格納された制御プログラムを呼び出して実行することにより、移動物体検出デバイス２０Ａにおける各種の処理を実現する。制御部２０１および制御部２０１に含まれる各処理部２１〜２６は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部２０１および制御部２０１に含まれる各処理部２１〜２６は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。詳細は後述される処理部２７、処理部２８も、上述の各処理部２１〜２６と同様である。
【００１８】
取得部２１は、撮像部１０が撮像した撮像画像を受信し、当該撮像画像をオプティカルフロー算出部２２または記憶部２０２へと出力することができる。
【００１９】
記憶部２０２は、種々の情報を記録する記録媒体である。記憶部２０２は、例えば、ＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ、ＭＲＡＭ、ＲｅＲＡＭ、ＦｅＲＡＭ、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｅｖｉｃｅ）、ハードディスク、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶部２０２には、取得部２１で取得された撮像画像、並びにオプティカルフロー算出部２２またはグループ化部２３など、制御部２０１内の各処理部にて画像処理をされた画像および算出された情報を格納することができる。また、各処理部は、必要に応じてこの記憶部２０２に記憶された画像および情報を読み込むことができる。本明細書において、各処理部への画像および情報の入力、並びに当該処理部で画像処理をされた画像および算出された情報の出力はそれぞれ、ある処理部から当該処理部へ直接入力され、当該処理部から別の処理部へ直接出力される構成で記載をしている。しかし、明確に否定する内容を記載しない限り、制御部２０１の各処理部は、画像処理の際に記憶部２０２から画像および情報を読み込んでもよく、当該処理部にて画像処理をされた画像および算出された情報を記憶部２０２に記憶してもよい。撮像された撮像画像、画像処理によって取得された画像および算出された情報の、少なくとも一つを含む入出力要素を、以後、データと称する。
【００２０】
オプティカルフロー算出部２２は、撮像部１０で撮像された複数フレームの撮像画像を取得部２１から読み込み、撮像画像から複数の特徴点を抽出し、複数フレームの撮像画像から当該特徴点毎の移動量を算出してそれぞれのオプティカルフローを算出する。特徴点は、例えばＨａｒｒｉｓ、ＯＲＢ（Ｏｒｉｅｎｔｅｄ  ＦＡＳＴ  ａｎｄ  Ｒｏｔａｔｅｄ  ＢＲＩＥＦ）など、周知の手法を用いて抽出される。オプティカルフローを算出することで、移動物体の移動量および移動方向などを検出することができる。オプティカルフロー算出部２２は、少なくとも画像処理をすることで取得された特徴点およびオプティカルフローを含む第１のデータを、第１のグループ化部２３へと出力する。第１のデータは、必要に応じて、取得部２１が取得した撮像画像を含んでもよい。
【００２１】
図４は、撮像部１０にて撮像された撮像画像を簡略的に示している図である。図４に示されている撮像画像１０６には、移動物体および移動物体の影が表示されており、当該移動物体における特徴点、およびオプティカルフローの一例を示している。撮像画像１０６において、実線で描かれている楕円部が移動物体である立体物１０７を示しており、破線で描かれている楕円部が当該立体物１０７の影１０８を示している。立体物１０７は、例えば人間または自動車などが該当する。立体物１０７および立体物１０７の影１０８の輪郭上に描かれている複数の黒丸がそれぞれ特徴点２２１を示している。図４に示すように、立体物１０７と立体物１０７の影１０８の両方で特徴点２２１が抽出される。それぞれの特徴点２２１に描かれている矢印は、特徴点毎の立体物１０７の移動に対するオプティカルフロー２２２を示している。オプティカルフロー２２２の矢印の大きさと向きはそれぞれ、関連する特徴点２２１の移動量（または速度）と移動方向とを模擬している。図４で示すように、ある立体物１０７が移動するとその影１０８も同じ速度で移動するため、それらの特徴点２２１は類似する速度で移動し、当該特徴点２２１のオプティカルフロー２２２も同様に類似する大きさおよび向きが得られる。また、図４には、別の立体物１０９も示されている。当該立体物１０９に関する立体物の影１１０、特徴点２２３、オプティカルフロー２２４の関係は、立体物１０７に関する立体物の影１０８、特徴点２２１、オプティカルフロー２２２の関係に対応する。このように撮像画像内に複数の移動物体があったとしても、それぞれについて特徴点を抽出し、オプティカルフローを算出することができる。
【００２２】
第１のグループ化部２３には、オプティカルフロー算出部２２で取得された第１のデータが入力される。第１のグループ化部２３は、オプティカルフロー算出部２２で抽出された複数の特徴点に関して、大きさおよび向きが類似しているオプティカルフローを抽出し、複数の抽出されたオプティカルフローを有する特徴点の少なくとも一部を互いに関連付けて、一つのグループとしてまとめる。グループ化の手法については、同様に、周知の手法を用いてよい。例えば、算出されたオプティカルフローの１つを選び、当該オプティカルフローと距離が近く、大きさおよび向きが類似しているオプティカルフローを抽出し、一定の範囲内にあるそのようなオプティカルフローを有する特徴点の一部を同じグループとしてまとめてもよい。また、同じグループとして設定された特徴点を囲むように、例えば外接枠を設定してもよい。類似しているオプティカルフローとは、例えば、特定のオプティカルフローの大きさに対して、０倍より大きく２倍以下の範囲の大きさを有し、かつ当該特定のオプティカルフローの向きに対して、±４５°の範囲の向きを有するオプティカルフローを類似していると判定してもよい。当然、その他の範囲を有するオプティカルフローを類似していると判定してもよい。第１のグループ化部２３は、少なくともグループ化した情報を含む第２のデータを路面座標投影部２４へと出力する。第２のデータは、必要に応じて、第１のグループ化部２３に入力された第１のデータのいずれかを含んでもよい。
【００２３】
図４は、同じグループとして設定された特徴点が外接枠２３１および外接枠２３２で囲われている。外接枠２３１は、立体物１０７および立体物の影１０８から抽出された特徴点を囲っている。外接枠２３２は、立体物１０９および立体物の影１１０から抽出された特徴点を囲っている。このように、オプティカルフロー２２２とオプティカルフロー２２４は、大きさが異なり、向きも逆方向であるため、類似していないと判定され、それぞれの当該オプティカルフローを有する特徴点を別のグループとして設定する。上記のように、移動物体が複数あれば、類似するオプティカルフロー毎にグループ化されるため、それぞれの特徴点を移動物体毎に同じグループとしてまとめることができる。
【００２４】
路面座標投影部２４は、第１のグループ化部２３から入力された第２のデータに対して画像処理をすることで平坦な路面上に投影されたような画像を作成し、仮想的に上から撮像されたような路面投影画像（例えば、検出対象の上方から鳥瞰するように配置された仮想的な撮像部で撮像されたような画像）を取得することができる。「路面投影画像」は、上方から下を見下ろすような画像だけでなく、路面に投影できる角度であれば斜めから見下ろすような画像であってもよい。ここで「路面」とは、実際の路面である必要はなく、撮像部の取り付け位置および取り付け角度に基づいて実際の路面位置を算出することで、当該路面に相当する仮想的な面に投影してもよい。このような面は、路面に相当する座標系へ投影することを意味する。また、路面は水平である必要はなく、坂であっても撮像部と移動物体が同様の傾斜を有し、平坦な面上にいるならば適用可能である。路面座標投影部２４は、少なくとも路面に投影された画像および算出された情報を含む第３のデータを立体物オプティカルフロー抽出部２５へと出力する。第３のデータは、必要に応じて、路面座標投影部２４に入力された第２のデータのいずれかを含んでもよい。図５および図６は、図３にて示されている撮像画像１０１に対する上記の画像処理の変換例を示している。
【００２５】
図５は、図３に示されている撮像画像１０１に対する画像処理によって得られた路面投影画像２４１を示している。図６は、路面投影画像２４１を仮想的撮像部２４０が撮像していると考えられる、仮想的な撮像状態を示している。投影路面２４３の位置は、例えば図２において撮像部１０が取り付けられている位置および取り付け向きから算出することができる。また、図３で示されている画像処理される撮像画像１０１には、路面１０３上に立っている人間１０２、および路面１０３上に書かれている文字１０４「ＳＴＯＰ」が表示されている。つまり、撮像画像１０１には、立体物および非立体物が示されている。図６に示されているように、投影路面２４３上に書かれた投影文字２４４「ＳＴＯＰ」は、画像処理による変換によって取得された路面投影画像２４１において、大きく変形することなく投影路面２４３上に投影された画像が作成される。これに対して、立体物である人間１０２は、路面１０３から離れた部位ほど、当該路面投影画像２４１において、投影人間２４２のように引き伸ばされて見える画像として作成される。図５は上方から撮像している状態を示しているが、これに限定するものではなく、路面に投影できる角度であれば、仮想的に斜めから撮像するような位置に配置された仮想的撮像部２４０からの投影画像に変換してもよい。
【００２６】
上述されている画像処理の変換の一例を、図７および図８を参照して記載する。この例では、撮像部が魚眼レンズを備え、魚眼レンズの一般的な射影方式の一つである立体射影方式を用いて撮像された魚眼画像を、地面に投影した路面投影画像（この例においては、上方から鳥瞰したような鳥瞰画像）へと変換する場合について記載しているが、これに限定するものではない。
【００２７】
図７は、魚眼レンズの立体射影方式のモデルについて示している。このモデルでは、魚眼レンズに入射された光線３１に対するθが入射角（ｒａｄ）を、ｙが魚眼画像での像高（ｐｉｘｅｌ）を、円の半径であるｒがレンズの焦点距離（ｍｍ）を表している。像高ｙは、魚眼画像で投影される像の大きさを表している。画素サイズをｗ（ｍｍ／ｐｉｘｅｌ）とすると、像高ｙは、下記の式（１）に示すような数式で表すことができる。
【００２８】
【数１】
2020154831.tif 000003
【００２９】
図８は、魚眼画像を路面に投影した図である鳥瞰画像の投影モデルについて示している。魚眼レンズを模式的に表している撮像部３２に対して、Ｈが撮像部３２の高さ（ｍ）を、φが撮像部３２の俯角（ｒａｄ）を、θが俯角φに対する像の光線３３の方向である、図７と同様の角度（ｒａｄ）を、Ｌが魚眼画像での像高ｙに対応する鳥瞰画像での投影距離（ｍ）を表している。また、高さＨ＝０である位置が、路面３４に相当する。上述した式（１）を入射角θについて解くと式（２）の数式で表されるため、投影距離Ｌは、下記の式（３）に示すような数式で表すことができる。
【００３０】
【数２】
2020154831.tif 000004
【数３】
2020154831.tif 000005
【００３１】
ここで、焦点距離ｒおよび画素サイズｗは、撮像部および魚眼レンズによって決まる値であり、撮像部の高さＨおよび撮像部の俯角φは、撮像部の取り付け位置によって決まる値である。したがって、魚眼レンズを備えた撮像部によって撮像された魚眼画像を鳥瞰画像に変換する場合、撮像部の焦点距離ｒおよび画素サイズｗ、並びに撮像部の高さＨおよび撮像部の俯角φを特定することで、魚眼画像での像高ｙに対応する、鳥瞰画像での投影距離Ｌを算出することができる。投影距離Ｌは、例えば、図５に示されている路面投影画像２４１において、撮像部があると想定される画像下端の位置Ｂから、当該位置Ｂを起点に放射状に広がる、Ｃ−Ｃなどの方向に沿った距離に相当する。
【００３２】
図９は、図４に示されている撮像画像１０６に対して、路面座標投影部２４での画像処理によって得られた路面投影画像２４６を示している。この画像処理による変換において、特徴点２２１およびオプティカルフロー２２２も路面投影画像２４６へと変換される。また、特徴点およびオプティカルフローの変換は、路面投影画像に対してオプティカルフロー算出部２２と同様の処理をすることで、路面投影画像での特徴点を抽出し、オプティカルフローを算出してもよい。
【００３３】
図４の撮像画像１０６でのオプティカルフローの大きさの単位は、画像上であるため数式（１）の像高ｙのようにピクセルである。これに対して、図９の路面投影画像２４６でのオプティカルフローの大きさの単位は、数式（３）の投影距離Ｌのように実空間と同じくメートルである。このピクセルからメートルへの変換は、撮像部から離れている距離によって計算比率が変わり、距離が遠くなるほど（すなわち投影距離Ｌが大きくなるほど）、ピクセルとメートルの変換比が大きくなる。図１０を参照しながら、魚眼レンズを用いたモデルにおける当該変換例について記載する。図１０は、図７と同じく魚眼レンズの立体射影方式のモデルについて示している。このモデルでは、図７と同じく魚眼レンズに入射された光線３５に対するθが入射角（ｒａｄ）を表し、図８と同じくＬが鳥瞰画像での投影距離（ｍ）を表している。そして、円の半径であるＲがレンズの焦点距離（ｍ）を、ｖが魚眼画像での撮像素子上の１ピクセルの幅（ｍ）を、Ｖが距離Ｌにおける１ピクセルの幅（ｍ）を表している。ピクセル幅ｖは、式（４）に示すような数式で表され、そのためθは、式（５）に示すような数式で表すことができる。したがって、ピクセル幅Ｖは、式（６）のような距離Ｌに比例する数式で表される。式（６）に対して、オプティカルフローの大きさのピクセル数を乗算することにより、メートルを単位とするオプティカルフローの大きさを求めることができる。
【００３４】
【数４】
2020154831.tif 000006
【数５】
2020154831.tif 000007
【数６】
2020154831.tif 000008
2020154831.tif 000009
2020154831.tif 000010
2020154831.tif 000011
【００３５】
路面投影画像において、立体物は、図５に示されている路面投影画像２４１の投影人間２４２のように位置Ｂから放射状の方向に引き伸ばされたように表示されるため、本来の距離よりも遠くにいるように表示される。立体物のオプティカルフローは、ピクセルとメートルの変換比と、オプティカルフロー算出部２２によって算出されたオプティカルフローの大きさとで算出することができる。そのため、立体物のオプティカルフローへの変換において、当該変換比が大きくなり、当該オプティカルフローは、実際の移動量よりも大きく移動したように算出される。
【００３６】
図９において、路面投影画像２４６は、撮像画像１０６と同様に、実線の楕円部が移動物体である立体物２４７を示し、破線の楕円部が立体物２４７の影２４８を示す画像である。立体物２４７の輪郭上に描かれている複数の黒丸がそれぞれ、立体物２４７の特徴点２５１を示し、影２４８の輪郭上に描かれている複数の黒丸がそれぞれ、影２４８の特徴点２５３を示す。上述しているように、立体物２４７の影２４８である破線の楕円部は、撮像画像１０６から路面投影画像２４６へと変換しても、形状に大きな変化が生じないため、影２４８のオプティカルフロー２５４は、同様に、類似する大きさを維持する。それに対して、移動物体の立体物２４７である実線の楕円部は、路面からの高さが大きくなるにつれて引き伸ばされており、撮像画像において路面からの高さが高い位置にある特徴点ほど路面投影画像での立体物のオプティカルフローは、大きくなる。
【００３７】
立体物オプティカルフロー抽出部２５は、路面座標投影部２４から入力された第３のデータにおける、立体物２４７のオプティカルフロー２５２の大きさと立体物２４７の影２４８のオプティカルフロー２５４の大きさとの違いから、撮像画像に写っている検出対象を立体物と立体物の影とに判別し、立体物オプティカルフローを抽出することができる。そして、立体物オプティカルフロー抽出部２５は、少なくとも当該判別情報を含む第４のデータを第２のグループ化部２６へと出力する。第４のデータは、必要に応じて、立体物オプティカルフロー抽出部２５に入力された第３のデータのいずれかを含んでもよい。
【００３８】
図１１は、図９の路面投影画像２４６に示されているオプティカルフローの大きさをグラフにプロットした一例である。図１１は、横軸が図９の路面投影画像２４６の下端を手前側、上端を奥側として考えた際の特徴点の位置を示し、縦軸が各オプティカルフローの大きさを示している。この例で示されているように、立体物２４７の影２４８に該当するオプティカルフローがある手前側の領域は、オプティカルフローが小さく、且つ類似の大きさであるが、立体物２４７に該当するオプティカルフローがある奥側の領域は、路面投影画像２４６の下端の位置Ｂから遠くなるほどオプティカルフローが大きくなっている。そのため、立体物オプティカルフロー抽出部２５は、オプティカルフローの大きさの変化が開始する位置が立体物２４７と立体物２４７の影２４８との境界２５５であると判別することができる。境界２５５は、本実施形態の例では、立体物２４７が路面に接していると推定される位置を意味する。立体物オプティカルフロー抽出部２５は、境界２５５の位置に応じて、撮像画像に写っている検出対象を立体物と立体物の影とに判別する。
【００３９】
立体物オプティカルフロー抽出部２５は、境界２５５を、例えば、以下のようにして設定する。立体物オプティカルフロー抽出部２５は、路面投影画像２４６において、あるグループ化された特徴点のオプティカルフローのうち、当該画像の一番手前側にあるオプティカルフローの大きさに対して所定の範囲内の大きさを有するオプティカルフローの大きさと、その他のオプティカルフローの大きさについて、それぞれ近似直線を算出する。そして、これらの近似直線の交点を算出することで、当該交点の位置を境界２５５として設定することができる。また、立体物のオプティカルフローのうち立体物と立体物の影の境界付近にあるものは、立体物の影のオプティカルフローと大きさが類似していることを考慮して、立体物オプティカルフロー抽出部２５は、上記交点よりも手前側にあるオプティカルフローのさらに手前側または近傍に境界２５５を設定してもよい。
【００４０】
第２のグループ化部２６には、立体物オプティカルフロー算出部２５から第４のデータが入力される。第２のグループ化部２６は、第１のグループ化部２３でグループ化された特徴点のうち、立体物オプティカルフロー抽出部２５で立体物と判定されたオプティカルフローである立体物オプティカルフロー（例えば、オプティカルフロー２５２など）の情報に応じて当該特徴点の少なくとも一部を互いに関連付けて、再度一つのグループとしてまとめる。また、第１のグループ化部２３でグループ化された特徴点の情報を用いずに、オプティカルフロー算出部２２で算出された大きさおよび向きが類似しているオプティカルフローのうち、前述の立体物オプティカルフローの情報に応じて特徴点の少なくとも一部を互いに関連付けて、一つのグループとしてまとめてもよい。類似しているオプティカルフローとは、例えば、前述の第１のグループ化部２３でのグループ化と同じく、特定のオプティカルフローの大きさに対して、０倍より大きく２倍以下の範囲の大きさを有し、かつ当該特定のオプティカルフローの向きに対して、±４５°の範囲の向きを有するオプティカルフローを類似していると判定してもよい。当然、その他の範囲を有するオプティカルフローを類似していると判定してもよい。また、第１のグループ化部２３と第２のグループ化部２６とで異なる範囲を類似していると判定してもよい。
【００４１】
また、第２のグループ化部２６は、第１のグループ化部２３でグループ化された特徴点に対して、境界２５５の情報を用いて、または立体物オプティカルフローの情報を用いて、立体物と判定されたオプティカルフローを有する特徴点以外の特徴点を削除することで、立体物オプティカルフローを有する特徴点をグループ化してもよい。第２のグループ化部２６は、少なくとも立体物としてグループ化された特徴点の情報を含む第５のデータを出力する。この第５のデータは、例えば図１２において画像１１１で示されている外接枠２３３および外接枠２３４のように、立体物の特徴点がグループ化され、立体物であると推定された領域の情報を含む。図１２での画像１１１は、図４で示されている撮像画像に関して、立体物の特徴点をグループ化したものである。ここで、外接枠２３３は、立体物１０７の特徴点を囲っている。また、外接枠２３４は、立体物１０９の特徴点を囲っている。このように、撮像画像において立体物の推定領域を主として含む情報を出力することができる。また、ここまでに算出されたオプティカルフロー等を含んでもよい。第５のデータは、必要に応じて、第２のグループ化部２６に入力された第４のデータのいずれかを含んでもよい。
【００４２】
これによって、撮像部で撮像された撮像画像内の検出対象が、立体物および立体物の影を含んでいたとしても、立体物の領域をより精度よく検出することができる。
【００４３】
２．  動作例
次に、本実施形態における物体検出装置１の動作例について、図１３のフローチャートを参照しつつ説明する。図１３は、本実施形態における物体検出装置１の動作例を示すフローチャートである。
【００４４】
まず、撮像部１０において撮像されると、取得部２１が複数フレームの撮像画像を取得する（Ｓ１０）。
【００４５】
次に、オプティカルフロー算出部２２は、ステップＳ１０で取得された撮像画像に対して画像処理をして、特徴点を抽出する（Ｓ１１）。さらに、複数フレームの撮像画像から、ステップＳ１１で抽出された特徴点毎の移動量を算出してそれぞれのオプティカルフローを算出する（Ｓ１２）。
【００４６】
そして、第１のグループ化部２３は、ステップＳ１２で算出されたオプティカルフローの情報に応じて、ステップＳ１１で抽出された特徴点の少なくとも一部を互いに関連付けてグループ化する（Ｓ１３）。
【００４７】
路面座標投影部２４は、ステップＳ１３でグループ化された特徴点のオプティカルフローの少なくとも一部を路面に相当する座標へ投影し、路面投影画像でのオプティカルフローを算出する（Ｓ１４）。
【００４８】
立体物オプティカルフロー抽出部２５は、ステップＳ１４で算出された路面投影画像でのオプティカルフローから、立体物と立体物の影とを判別し、立体物オプティカルフローを抽出する（Ｓ１５）。
【００４９】
第２のグループ化部２６は、ステップＳ１５で抽出された立体物オプティカルフローの情報に応じて特徴点の少なくとも一部を互いに関連付けてグループ化する（Ｓ１６）。そして、立体物としてグループ化した情報を出力する（Ｓ１７）。
【００５０】
（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかし、本開示における技術は、例示された実施形態に限定されるものではなく、種々の改良および設計上の変更などが可能である。以下に、他の実施形態の例を記載する。
【００５１】
図１を用いて上述した移動物体検出デバイス２０Ａでは、オプティカルフローの情報に応じて複数の特徴点の少なくとも一部を互いに関連付ける第１のグループ化部２３と、立体物オプティカルフローの情報に応じて立体物の複数の特徴点の少なくとも一部を互いに関連付ける第２のグループ化部２６と、で構成されている。しかし、第１のグループ化部２３および第２のグループ化部２６は、オプティカルフローの情報に応じた特徴点の関連付け、および立体物オプティカルフローの情報に応じた特徴点の関連付けを、同じグループ化部２７で行う移動物体検出デバイス２０Ｂのように構成されてもよい。図１４は、この構成を示す図である。
【００５２】
図１を用いて上述した移動物体検出デバイス２０Ａでは、撮像画像において移動物体のみが変化している例について説明したが、本開示に係る物体検出装置１は、移動体に搭載することができる。そのため、撮像中に移動体が移動または傾斜などをした場合、撮像画像を撮像する撮像部１０も移動または傾斜し得る。その結果、撮像画像が全体的に変化するため、撮像画像全域でオプティカルフローを算出し得る。撮像部１０の移動による影響を補正または除去などするために、移動物体検出デバイス２０Ｃのようにオプティカルフロー算出部２２で算出されたオプティカルフローを補正または除去などする補正部２８を備えてもよい。図１５は、この構成を示す図である。撮像部１０の移動等に対する補正等は、周知の方法を用いてよい。例えば、撮像画像全体のオプティカルフローを算出し、当該オプティカルフローの大きさおよび方向から、撮像部１０の移動等による撮像画像の全体的な変化を推定し、当該変化の影響を補正または除去してもよい。また、当該補正部２８は、この構成に限定されるものではなく、特徴点の抽出前に補正等をしてもよいし、特徴点の抽出後、且つオプティカルフローの算出前に補正等をしてもよい。また、上述の移動物体検出デバイス２０Ｂに対して、本実施形態で記載した補正部２８をさらに備えた構成としてもよい。
【００５３】
上記実施形態では、撮像部１０は自動車に取り付けられているが、これに限定するものではなく、例えば、鉄道などその他の移動体に取り付けられてもよい。また、撮像部１０は、移動体に取り付けられるのではなく、例えば監視カメラなどのように、特定の位置に固定されていてもよい。
【００５４】
（実施形態の概要）
（１）本開示の物体検出装置は、撮像部から入力される複数の撮像画像から、複数の特徴点を抽出し、複数の特徴点毎の移動量を算出してそれぞれのオプティカルフローを算出するオプティカルフロー算出部と、それぞれのオプティカルフローの情報に応じて複数の特徴点の少なくとも一部を互いに関連付ける第１のグループ化部と、撮像画像を路面に相当する座標へと投影した路面投影画像に変換し、関連付けた複数の特徴点のそれぞれのオプティカルフローの少なくとも一部を路面に相当する座標へ投影した、路面投影画像のそれぞれのオプティカルフローを算出する路面座標投影部と、路面投影画像のそれぞれのオプティカルフローから立体物オプティカルフローを抽出する立体物オプティカルフロー抽出部と、立体物オプティカルフローの情報に応じて立体物の複数の特徴点の少なくとも一部を互いに関連付ける第２のグループ化部と、を備える。
【００５５】
これにより、撮像画像を路面投影画像へと変換し、路面投影画像にて算出した特徴点のオプティカルフローから立体物オプティカルフローを抽出することで、移動物体である立体物と立体物の影とを判別し、移動物体である立体物の領域をより精度よく検出することができる。
【００５６】
（２）（１）の物体検出装置において、第１のグループ化部は、前記それぞれのオプティカルフローから複数の類似しているオプティカルフローを抽出し、複数の類似しているオプティカルフローを有する特徴点の少なくとも一部を互いに関連付けてもよい。
【００５７】
これにより、類似しているオプティカルフローを有する特徴点を関連付けることができるため、より精度よく同一の立体物の特徴点を互いに関連付けることができる。
【００５８】
（３）（１）または（２）の物体検出装置において、立体物オプティカルフロー抽出部は、路面投影画像のそれぞれのオプティカルフローの大きさから立体物オプティカルフローを抽出してもよい。
【００５９】
（４）（３）の物体検出装置において、立体物オプティカルフロー抽出部は、路面投影画像のそれぞれのオプティカルフローの大きさの変化が開始する変化位置を算出し、変化位置に応じて変化する側を立体物と、変化しない側を立体物の影と判別することで、立体物オプティカルフローを抽出してもよい。
【００６０】
これにより、オプティカルフローの大きさの変化が開始する位置に立体物と立体物の影との境界を設定することができ、より精度よく立体物オプティカルフローを抽出することができる。
【００６１】
（５）（１）から（４）のいずれか一つの物体検出装置において、第１のグループ化部および第２のグループ化部は、同一のグループ化部であってもよい。
【００６２】
これにより、物体検出装置の構成を簡略化することができる。
【００６３】
（６）（１）から（５）のいずれか一つの物体検出装置において、撮像部の移動による撮像画像の変化の影響を補正または除去する補正部を備えてもよい。
【００６４】
これにより、撮像部が移動体に取り付けられており、撮像部が移動または傾斜することで、撮像画像が変化したとしても、撮像部の移動による影響を補正または除去などをすることができる。
【００６５】
（７）（６）の物体検出装置において、補正部は、撮像画像全体のオプティカルフローを算出し、撮像画像全体のオプティカルフローの情報に応じて撮像部の移動による撮像画像の変化を推定することで、変化の影響を補正または除去してもよい。
【００６６】
（８）本開示の移動体は、（１）から（７）のいずれか一つの物体検出装置を備える。
【００６７】
（９）本開示の移動物体を検出する物体検出方法は、撮像部から入力される複数の撮像画像から、複数の特徴点を抽出し、複数の特徴点毎の移動量を算出してそれぞれのオプティカルフローを算出するステップと、それぞれのオプティカルフローの情報に応じて複数の特徴点の少なくとも一部を互いに関連付けるステップと、撮像画像を路面に相当する座標へと投影した路面投影画像に変換し、関連付けた複数の特徴点のそれぞれのオプティカルフローの少なくとも一部を路面に相当する座標へ投影した、路面投影画像のそれぞれのオプティカルフローを算出するステップと、路面投影画像のそれぞれのオプティカルフローから立体物オプティカルフローを抽出するステップと、立体物オプティカルフローの情報に応じて立体物の複数の特徴点の少なくとも一部を互いに関連付けるステップと、を含む。
【００６８】
（１０）本開示の移動物体を検出するプログラムは、撮像部から入力される複数の撮像画像から、複数の特徴点を抽出し、複数の特徴点毎の移動量を算出してそれぞれのオプティカルフローを算出するステップと、それぞれのオプティカルフローの情報に応じて複数の特徴点の少なくとも一部を互いに関連付けるステップと、撮像画像を路面に相当する座標へと投影した路面投影画像に変換するステップと、路面投影画像から立体物オプティカルフローを抽出するステップと、立体物オプティカルフローの情報に応じて立体物の複数の特徴点の少なくとも一部を互いに関連付けるステップと、をコンピュータに実行させる。
【００６９】
本開示の全請求項に記載の物体検出装置および物体検出方法は、ハードウェア資源、例えば、プロセッサ、メモリ、およびプログラムとの協働などによって、実現される。
【産業上の利用可能性】
【００７０】
本開示の物体検出装置は、例えば、自動車の車載カメラによる障害物検出に有用である。
【符号の説明】
【００７１】
１      物体検出装置
１０    撮像部
１０１、１０６  撮像画像
２０Ａ、２０Ｂ、２０Ｃ  移動物体検出デバイス
２０１  制御部
２０２  記憶部
２１    取得部
２２    オプティカルフロー算出部
２２１、２２３、２５１、２５３  特徴点
２２２、２２４、２５２、２５４  オプティカルフロー
２３    第１のグループ化部
２４    路面座標投影部
２４１、２４６  路面投影画像
２５    立体物オプティカルフロー抽出部
２６    第２のグループ化部
２７    グループ化部
２８    補正部
【図１】
2020154831.tif 000012
【図２】
2020154831.tif 000013
【図３】
2020154831.tif 000014
【図４】
2020154831.tif 000015
【図５】
2020154831.tif 000016
【図６】
2020154831.tif 000017
【図７】
2020154831.tif 000018
【図８】
2020154831.tif 000019
【図９】
2020154831.tif 000020
【図１０】
2020154831.tif 000021
【図１１】
2020154831.tif 000022
【図１２】
2020154831.tif 000023
【図１３】
2020154831.tif 000024
【図１４】
2020154831.tif 000025
【図１５】
2020154831.tif 000026