(57)【要約】【課題】距離画像による物体の検知が困難な環境下においても当該物体の検知を可能とする。【解決手段】走査部１３は、検知領域Ｄ内に向かう複数の方向の中からタイミング制御部１４により順次選択され指示される方向に、投光部１１から投光されるレーザ光を照射する。受光部１２は、レーザ光の反射光を受光する。画像生成部１６は、光の往復時間から距離計測部１５１が計測した距離を画素値とする距離画像と、光量計測部１５２が計測した受光部１２が受光した光の光量を画素値とする光量画像とを生成する。物体検知部１７は、距離画像と光量画像とから物体を検知する。【選択図】図１
2020085486.tif 000002
【特許請求の範囲】
【請求項１】
光の往復時間により測距する距離センサにより計測した距離を画素値とする距離画像を生成し、
前記距離センサにより受光する光の光量を画素値とする光量画像を生成し、
前記距離画像と前記光量画像とから物体を検知する
ことを特徴とする物体検知装置。
【請求項２】
前記距離画像から対象物の検知を阻害する物体を検知した場合、前記光量画像から対象物を検知する
ことを特徴とする請求項１に記載の物体検知装置。
【請求項３】
前記検知を阻害する物体は、空中浮遊物である
ことを特徴とする請求項２に記載の物体検知装置。
【請求項４】
前記光量画像と前記距離画像の各々から検知した物体の同定を行う
ことを特徴とする請求項１乃至３のいずれか１項に記載の物体検知装置。
【請求項５】
前記光量画像から検知した物体であって、前記距離画像から検知した物体と同定した物体までの距離を、前記距離画像から推定する
ことを特徴とする請求項４に記載の物体検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検知装置に関する。
【背景技術】
【０００２】
光の往復時間により物体までの距離を計測する距離センサを用いて、距離を画素値とする距離画像を生成する技術がある。そのような技術はＬｉｄａｒ（Light Detection and Ranging、Laser Imaging Detection and Ranging）と呼ばれる。
【０００３】
例えば、特許文献１には、Ｌｉｄａｒにより背景画像を生成しておき、運用時にＬｉｄａｒにより生成した距離画像と背景画像との差分画像により人物や物などの対象物を検知する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１９６９６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
或る環境下においては、Ｌｉｄａｒにより検知すべき対象物（障害物、人物等）を表す距離画像が生成されない場合がある。例えば、霧、煙、微細な粉体（砂埃等）等の空中浮遊物が存在している環境下においてＬｉｄａｒにより距離画像を生成した場合、距離センサが近くの空中浮遊物までの距離を計測してしまい、空中浮遊物の向こう側に存在する検知すべき対象物を表す画像が得られない場合がある。そのような環境下においては、Ｌｉｄａｒにより生成される距離画像から、検知すべき対象物を検知できない。
【０００６】
上記の背景に鑑み、本発明は、距離画像による物体の検知が困難な環境下においても、当該物体の検知を可能とする技術を提供する。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明は、光の往復時間により測距する距離センサにより計測した距離を画素値とする距離画像を生成し、前記距離センサにより受光する光の光量を画素値とする光量画像を生成し、前記距離画像と前記光量画像とから物体を検知することを特徴とする物体検知装置を第１の態様として提供する。
【０００８】
第１の態様の物体検知装置によれば、距離画像による物体の検知が困難な環境下においても、光量画像により物体を検知できる。
【０００９】
第１の態様の物体検知装置おいて、前記距離画像から対象物の検知を阻害する物体を検知した場合、前記光量画像から対象物を検知する、という構成が第２の態様として採用されてもよい。
【００１０】
第２の態様の物体検知装置によれば、何らかの物体に阻害されて対象物の画像が距離画像に含まれない場合であっても、光量画像により対象物を検知できる。
【００１１】
第２の態様の物体検知装置において、前記検知を阻害する物体は、空中浮遊物である、という構成が第３の態様として採用されてもよい。
【００１２】
第３の態様の物体検知装置によれば、空中浮遊物が存在する環境下でも、対象物を検知できる。
【００１３】
第１乃至第３のいずれかの態様の物体検知装置において、前記光量画像と前記距離画像の各々から検知した物体の同定を行う、という構成が第４の態様として採用されてもよい。
【００１４】
第４の態様の物体検知装置によれば、光量画像と距離画像の両方から同じ物体が検知されたか否かが判る。
【００１５】
第４の態様の物体検知装置において、前記光量画像から検知した物体であって、前記距離画像から検知した物体と同定した物体までの距離を、前記距離画像から推定する、という構成が第５の態様として採用されてもよい。
【００１６】
第５の態様の物体検知装置によれば、距離画像から物体が検知できなくなった場合でも、光量画像から検知される物体までの距離が推定できる。
【図面の簡単な説明】
【００１７】
【図１】一実施形態に係る画像生成装置の構成を示したブロック図。
【図２】一実施形態に係る時間差計測部が行う時間差の計測と光量計測部が行う光量の計測の方法を説明するための図。
【図３】一実施形態に係る距離画像生成部が生成した距離画像と光量画像生成部が生成した光量画像の例を示した図。
【図４】一実施形態に係る物体検知部が行う距離画像と光量画像とから物体を検知する処理のフローを例示した図。
【図５Ａ】一変形例に係る物体検知部が行う距離画像と光量画像とから物体を検知する処理のフローを例示した図。
【図５Ｂ】一変形例に係る物体検知部が行う距離画像と光量画像とから物体を検知する処理のフローを例示した図。
【図６】一変形例に係る物体検知部が行う処理を説明するための図。
【図７】一変形例に係る光量計測部が光量を計測する方法を説明するための図。
【発明を実施するための形態】
【００１８】
［実施形態］
以下に、本発明の一実施形態に係る物体検知装置１を説明する。図１は、物体検知装置１の構成を示したブロック図である。
【００１９】
投光部１１は、レーザ光を発光する発光素子と、発光素子の駆動回路と、発光したレーザ光を走査部１３へと導く光学系等を備えている。発光素子が発光するタイミングは、タイミング制御部１４で制御される。
【００２０】
走査部１３は、投光部１１から投光されるレーザ光の方向を、検知領域Ｄ内の複数方向の各々に順次変更してゆく走査処理を行う。以下、それらの複数方向を方向ｄ（１）〜ｄ（ｎ）（ただし、ｎは所定の自然数）とする。走査部１３の構成としては、種々のものが採用可能であるが、本実施形態では、走査部１３は、可動部１３１と、可動部１３１に取り付けられたミラー１３２と、不図示の永久磁石とを備えている。ミラー１３２には、投光部１１から投光されたレーザ光が入射する。
【００２１】
可動部１３１に電流が流れると、永久磁石との間に発生する力により可動部１３１が傾く。走査部１３は、タイミング制御部１４から入力される駆動信号に従い可動部１３１に流す電流を制御することにより、可動部１３１の傾きの方向と大きさを変更し、可動部１３１に取り付けられているミラー１３２の方向を変更する。以下、「ミラー１３２の方向」とは、投光部１１からミラー１３２に向けて投光されたレーザ光がミラー１３２で反射した後に進む方向を意味するものとする。
【００２２】
走査部１３から検知領域Ｄ内のいずれかの方向に照射されたレーザ光が物体に当たると、反射光が発生する。反射光のうちミラー１３２に向かった反射光は、ミラー１３２で反射して受光部１２へ向かう。
【００２３】
受光部１２は、受光した光の光量の瞬時値を示す光量信号を継続的に出力する。受光部１２は、光学系と、受光素子と、増幅回路等を備えている。ミラー１３２からの反射光は、光学系により受光素子へと導かれる。受光素子は光学系により導かれた反射光の光量の瞬時値を示す光量信号を増幅回路に出力し、増幅回路はその光量信号を増幅して出力する。
【００２４】
タイミング制御部１４は、走査部１３に対しミラー１３２の方向の変更のタイミングを通知するとともに、投光部１１に対し投光のタイミングを通知する。走査部１３はタイミング制御部１４からの通知に応じてミラー１３２の方向を変更し、投光部１１はタイミング制御部１４からの通知に応じてレーザ光の投光を行う。これにより、方向ｄ（１）〜ｄ（ｎ）の各々に順次、レーザ光の照射が行われることになる。以下に、タイミング制御部１４、走査部１３及び投光部１１の動作を説明する。
【００２５】
タイミング制御部１４は、まず、方向ｄ（１）をその時点においてレーザ光の照射を行いたい方向として選択する。以下、タイミング制御部１４が選択している方向を「選択方向」という。
【００２６】
タイミング制御部１４は、走査部１３に対しミラー１３２の方向を選択方向に向かわせる駆動信号を生成し、生成した駆動信号を走査部１３に出力する。この駆動信号が、走査部１３に対しミラー１３２の方向の変更のタイミングを通知する信号の役割を果たす。走査部１３は、タイミング制御部１４から入力される駆動信号に応じた電流を可動部１３１に流すことによってミラー１３２の方向を変更するとともに、現在のミラー１３２の方向を示す方向信号を継続的にタイミング制御部１４に出力する。
【００２７】
タイミング制御部１４は、走査部１３から継続的に入力される方向信号が示すミラー１３２の方向が選択方向と一致したタイミングで、投光部１１に投光を指示する投光信号を出力する。投光信号は、投光部１１に対し投光のタイミングを通知する信号の役割を果たす。また、投光信号は、計測部１５にも出力される。
【００２８】
投光部１１は、タイミング制御部１４から入力される投光信号に応じて、ごく短い所定時間、レーザ光を投光する。その結果、方向ｄ（１）にパルス状のレーザ光が照射され、受光部１２によりそのレーザ光の反射光が受光される。
【００２９】
タイミング制御部１４は、方向ｄ（１）を選択したタイミングから所定時間が経過すると、その時点の選択方向である方向ｄ（１）に隣接する方向ｄ（２）を新たな選択方向として選択する。その後、新たに選択した方向ｄ（２）に関し、上述した走査部１３に対する駆動信号の出力等の処理を行う。その結果、方向ｄ（２）にパルス状のレーザ光が照射され、受光部１２によりそのレーザ光の反射光が受光される。
【００３０】
タイミング制御部１４が、方向ｄ（１）、ｄ（２）、・・・、ｄ（ｎ）の順に選択方向を変更しながら、選択方向に関し上述した走査部１３に対する駆動信号の出力等の処理を行うと、方向ｄ（１）〜ｄ（ｎ）の各々に関し、レーザ光の照射と反射光の受光が行われる。これにより、物体検知装置１による、検知領域Ｄの全域に渡るレーザ光の照射と反射光の受光の処理（以下、「スキャン処理」という）が完了する。
【００３１】
タイミング制御部１４は、１回目のスキャン処理が完了した後、引き続き、２回目のスキャン処理のために、方向ｄ（１）、ｄ（２）、・・・、ｄ（ｎ）の順に選択方向を変更しながら、選択方向に関し上述した走査部１３に対する駆動信号の出力等の処理を行う。その結果、方向ｄ（１）〜ｄ（ｎ）の各々に関し、レーザ光の照射と反射光の受光が繰り返され、２回目のスキャン処理が完了する。このように、物体検知装置１は動作中、検知領域Ｄに関するスキャン処理を繰り返す。
【００３２】
なお、タイミング制御部１４が選択方向を選択する順序は、常に方向ｄ（１）、ｄ（２）、・・・、ｄ（ｎ）の順でなくてもよい。例えば、タイミング制御部１４は、或るスキャン処理において方向ｄ（１）、ｄ（２）、・・・、ｄ（ｎ）の順に選択方向を選択した後、次のスキャン処理においてはｄ（ｎ）、ｄ（ｎ−１）、・・・、ｄ（１）のように逆の順序で選択方向を選択してもよい。
【００３３】
計測部１５は、距離計測部１５１と光量計測部１５２を備える。距離計測部１５１と光量計測部１５２の各々には、受光部１２から継続的に光量信号が入力され、タイミング制御部１４から所定時間の経過毎に投光信号が入力される。
【００３４】
距離計測部１５１は、タイミング制御部１４から投光信号を受信した後、次の投稿信号を受信するまでの期間において、受光部１２から入力される光量信号の波形から、受光部１２により最初の反射光が受光された時刻を特定する。そして、距離計測部１５１は、投光信号を受信した時刻、すなわち、投光部１１によるレーザ光の照射時刻から、最初の反射光が受光された時刻、すなわち、受光部１２による反射光の受光時刻までの時間差を計測する。この時間差は、物体検知装置１から照射され、物体で反射して物体検知装置１に戻ってくる光の往復時間である。
【００３５】
例えば、距離計測部１５１は、タイミング制御部１４から、方向ｄ（１）に関する投光信号を時刻Ｔ０において受信した後、方向ｄ（２）に関する投光信号を時刻Ｔ１において受信した場合、時刻Ｔ０から時刻Ｔ１までの期間において、受光部１２から入力される光量信号が所定の閾値を上回った最初の時刻Ｔ２を最初の反射光が受光された時刻として特定する。そして、距離計測部１５１は、時刻Ｔ０と時刻Ｔ２の時間差を、方向ｄ（１）に関する時間差として計測する。
【００３６】
距離計測部１５１は、光の速度と、上記のように計測した時間差により、その選択方向に存在する最も近い物体までの距離を算出し、算出した距離を示す距離データを画像生成部１６が備える距離画像生成部１６１に引き渡す。
【００３７】
投光部１１、受光部１２、走査部１３、タイミング制御部１４、及び、距離計測部１５１は、光の往復時間により測距する距離センサを構成する。
【００３８】
光量計測部１５２は、タイミング制御部１４から投光信号を受信した後、次の投稿信号を受信するまでの期間において、受光部１２から入力される光量信号が示す値の時間軸方向の積分値を計測する。この積分値は、投光部１１から検知領域Ｄ内へ照射された１回のパルス状のレーザ光のうち、その照射方向において何らかの物体に反射して受光部１２まで戻ってきた反射光の光量の総量を示す。以下、光量画像の生成に関し単に「光量」という場合、この積分値を意味するものとする。
【００３９】
光量計測部１５２は、上記のように計測した光量を示す光量データを画像生成部１６が備える光量画像生成部１６２に引き渡す。
【００４０】
画像生成部１６は、距離画像生成部１６１と光量画像生成部１６２を備える。
【００４１】
距離画像生成部１６１は、１回のスキャン処理に応じて距離計測部１５１から順次引き渡される方向ｄ（１）〜ｄ（ｎ）の各々に関する距離データを全て受け取ると、それらの距離データが示す距離を、方向ｄ（１）〜ｄ（ｎ）の各々に応じた画素値とする距離画像を生成する。距離画像は、検知領域Ｄ内における投光部１１（又は受光部１２）から最も近い物体までの距離の分布を表す。距離画像生成部１６１は、スキャン処理の完了毎に１フレームの距離画像を生成する。距離画像生成部１６１は、生成した距離画像を表す距離画像データを物体検知部１７に引き渡す。
【００４２】
光量画像生成部１６２は、１回のスキャン処理に応じて光量計測部１５２から順次引き渡される方向ｄ（１）〜ｄ（ｎ）の各々に関する光量データを全て受け取ると、それらの光量データが示す光量を、方向ｄ（１）〜ｄ（ｎ）の各々に応じた画素値とする光量画像を生成する。光量画像は、検知領域Ｄ内へ照射したレーザ光の反射光の光量の、検知領域Ｄ内における分布を表す。光量画像生成部１６２は、スキャン処理の完了毎に１フレームの光量画像を生成する。光量画像生成部１６２は、生成した光量画像を表す光量画像データを物体検知部１７に引き渡す。
【００４３】
物体検知部１７は、距離画像生成部１６１から引き渡される距離画像データが表す距離画像と、光量画像生成部１６２から引き渡される光量画像データが表す光量画像から、物体を検知する。物体検知部１７は、例えば不図示の移動体の制御部等に、物体の検知の結果を通知する通知データを引き渡す。移動体の制御部等は、物体検知部１７から受け取った通知データが示す物体の検知の結果に応じた所定の制御（例えば、動作の停止等）を行う。
【００４４】
図２は、距離計測部１５１が行う時間差の計測と、光量計測部１５２が行う光量の計測の方法を説明するための図である。図２は、或る選択方向にレーザ光が照射された場合に、タイミング制御部１４から計測部１５に入力される投光信号、受光部１２から計測部１５に入力される光量信号、及び、光量計測部１５２が計測する積分値（光量）の時間的変化を示したグラフである。
【００４５】
図２（Ａ）は、選択方向に空中浮遊物が存在せず、選択方向に検知すべき対象物（障害物、人物等）が存在する場合のグラフを示している。図２（Ｂ）は、選択方向に空中浮遊物が存在し、選択方向に検知すべき対象物が存在する場合のグラフを示している。図２（Ｃ）は、選択方向に空中浮遊物が存在し、選択方向に検知すべき対象物が存在しない場合のグラフを示している。
【００４６】
図２（Ａ）の光量信号が立ち上がる時刻ｔ１は、投光信号が立ち上がる時刻ｔ０に照射され、検知すべき対象物で反射したレーザ光の反射光が受光部１２により受光された時刻を示す。この場合、距離計測部１５１は時刻ｔ０から時刻ｔ１までの時間差Ｔ１を計測し、時間差Ｔ１を用いて算出した距離を示す距離データを距離画像生成部１６１に引き渡す。また、この場合、光量計測部１５２が計測する積分値は、時刻ｔ１から増加し、Ｖ１に達した後、変化しない。光量計測部１５２は、積分値Ｖ１を光量として示す光量データを光量画像生成部１６２に引き渡す。
【００４７】
図２（Ｂ）の光量信号が最初に立ち上がる時刻ｔ２は、投光信号が立ち上がる時刻ｔ０に照射され、空中浮遊物のうち投光部１１に最も近いもので反射したレーザ光の反射光が受光部１２により受光された時刻を示す。また、図２（Ｂ）の光量信号が２番目に立ち上がる時刻ｔ３は、投光信号が立ち上がる時刻ｔ０に照射され、検知すべき対象物で反射したレーザ光の反射光が受光部１２により受光された時刻を示す。この場合、距離計測部１５１は時刻ｔ０から時刻ｔ２までの時間差Ｔ２を計測し、時間差Ｔ２を用いて算出した距離を示す距離データを距離画像生成部１６１に引き渡す。また、この場合、光量計測部１５２が計測する積分値は、時刻ｔ２から増加した後、変化しない期間を経て、時刻ｔ３から再び増加し、Ｖ２に達した後、変化しない。光量計測部１５２は、積分値Ｖ２を光量として示す光量データを光量画像生成部１６２に引き渡す。
【００４８】
図２（Ｃ）の光量信号が立ち上がる時刻ｔ４は、投光信号が立ち上がる時刻ｔ０に照射され、空中浮遊物のうち投光部１１に最も近いもので反射したレーザ光の反射光が受光部１２により受光された時刻を示す。この場合、距離計測部１５１は時刻ｔ０から時刻ｔ４までの時間差Ｔ４を計測し、時間差Ｔ４を用いて算出した距離を示す距離データを距離画像生成部１６１に引き渡す。また、この場合、光量計測部１５２が計測する積分値は、時刻ｔ４から増加し、Ｖ３に達した後、変化しない。光量計測部１５２は、積分値Ｖ３を光量として示す光量データを光量画像生成部１６２に引き渡す。
【００４９】
図３は、距離画像生成部１６１が生成した距離画像と、光量画像生成部１６２が生成した光量画像の例を示した図である。図３（Ａ）と図３（Ｂ）は、空中浮遊物が存在していない環境下で同時に生成された距離画像と光量画像を各々示している。図３（Ｃ）と図３（Ｄ）は、空中浮遊物が存在している環境下で同時に生成された距離画像と光量画像を各々示している。なお、距離画像は、例えば、画素値に応じた色により距離の分布を表す。ただし、距離画像が、画素値に応じた濃淡により距離の分布を表してもよい。また、光量画像は、例えば、画素値に応じた濃淡により光量の分布を表す。ただし、光量画像が、画素値に応じた色により光量の分布を表してもよい。
【００５０】
図３（Ａ）及び図３（Ｂ）に示されるように、空中浮遊物が存在していない環境下においては、距離画像と光量画像のいずれにも、検知すべき対象物の画像が含まれている。従って、距離画像と光量画像のいずれからも、検知すべき対象物の検知が可能である。
【００５１】
一方、図３（Ｃ）に示されるように、空中浮遊物が存在している環境下においては、距離画像に検知すべき対象物の画像は含まれない。これは、距離画像が、検知すべき対象物より手前にある空中浮遊物までの距離の分布を表してしまうためである。従って、距離画像から、空中浮遊物の向こう側に存在する検知すべき対象物の検知を行うことは不可能である。
【００５２】
しかしながら、図３（Ｄ）に示されるように、空中浮遊物が存在している環境下においても、光量画像には検知すべき対象物の画像が含まれている。これは、投光部１１から照射されたレーザ光の光束のうち、空中浮遊物に当たらず検知すべき対象物に達し、その対象物で反射した後、空中浮遊物に当たらず受光部１２に達するものが、光量計測部１５２により計測される積分値（光量）を増加させるためである。従って、光量画像からは、検知すべき対象物の検知が可能である。
【００５３】
図４は、物体検知部１７が行う、距離画像と光量画像とから物体を検知する処理のフローを例示した図である。図４のフローは画像生成部１６により１フレームの距離画像及び光量画像が生成され、物体検知部１７に距離画像データ及び光量画像データが引き渡される毎に実行される。
【００５４】
物体検知部１７は、光量画像生成部１６２から距離画像データ及び光量画像データを取得すると（ステップＳ１０１）、まず、距離画像データが表す距離画像に対し、物体を表す画像を抽出するための既知の画像処理を行う（ステップＳ１０２）。ステップＳ１０２において物体検知部１７が行う画像処理には、例えば、エッジ検出、２値化、領域の膨張・収縮等が含まれる。
【００５５】
続いて、物体検知部１７は、ステップＳ１０２において画像処理を行った距離画像に基づき、物体の有無の判定と、物体が有る場合にその物体が検知すべき対象物の検知を阻害する物体（空中浮遊物等）であるか否かの判定とを行う（ステップＳ１０３）。ステップＳ１０２において画像処理を行った距離画像に所定の大きさ以上の塊が含まれていない場合、物体検知部１７は検知領域Ｄに検知すべき対象物が無いと判定する（ステップＳ１０３；１）。ステップＳ１０２において画像処理を行った距離画像に所定の大きさ以上の塊が含まれ、その塊が距離画像に占める比率が閾値（例えば９０％）以上であり、その塊を構成する距離画像の画素値が示す距離が閾値（例えば０．５ｍ）以下である場合、物体検知部１７は検知領域Ｄに検知すべき対象物の検知を阻害する物体が有ると判定する（ステップＳ１０３；２）。その他の場合、すなわち、ステップＳ１０２において画像処理を行った距離画像に所定の大きさ以上の塊が含まれ、その塊が距離画像に占める比率が閾値（例えば９０％）未満であり、その塊を構成する距離画像の画素値が示す距離が閾値（例えば０．５ｍ）より大きい場合、物体検知部１７は検知領域Ｄに検知すべき対象物が有ると判定する（ステップＳ１０３；３）。
【００５６】
検知領域Ｄに検知すべき対象物が無いと判定した場合（ステップＳ１０３；１）、物体検知部１７は対象物が無いことを通知する通知データを移動体の制御部等に出力し（ステップＳ１０４）、処理を終了する。検知領域Ｄに検知すべき対象物が有ると判定した場合（ステップＳ１０３；３）、物体検知部１７は対象物が有ることを通知する通知データを移動体の制御部等に出力し（ステップＳ１０５）、処理を終了する。
【００５７】
一方、検知領域Ｄに検知すべき対象物の検知を阻害する物体が有ると判定した場合（ステップＳ１０３；２）、物体検知部１７はステップＳ１０１において取得した光量画像データが表す光量画像に対し、物体を表す画像を抽出するための既知の画像処理を行う（ステップＳ１０６）。ステップＳ１０６において物体検知部１７が行う画像処理には、例えば、エッジ検出、２値化、領域の膨張・収縮等が含まれる。
【００５８】
続いて、物体検知部１７は、ステップＳ１０６において画像処理を行った距離画像に基づき、物体の有無の判定を行う（ステップＳ１０７）。ステップＳ１０６において画像処理を行った距離画像に所定の大きさ以上の塊が含まれている場合、物体検知部１７は検知領域Ｄに検知すべき対象物が有ると判定し（ステップＳ１０７；Ｙｅｓ）、対象物が有ることを通知する通知データを移動体の制御部等に出力し（ステップＳ１０５）、処理を終了する。一方、ステップＳ１０６において画像処理を行った距離画像に所定の大きさ以上の塊が含まれていない場合、物体検知部１７は検知領域Ｄに検知すべき対象物が有るか否かは不明と判定し（ステップＳ１０７；Ｎｏ）、対象物が有るか否かが不明であることを通知する通知データを移動体の制御部等に出力し（ステップＳ１０８）、処理を終了する。
【００５９】
上述した物体検知装置１によれば、空中浮遊物が存在する環境下においても、検知すべき対象物を検知することができる。
【００６０】
［変形例］
上述した実施形態は様々に変形することができる。以下にそれらの変形の例を示す。なお、上述した実施形態及び以下に示す変形例は適宜組み合わされてもよい。
【００６１】
（１）上述した実施形態において、物体検知部１７はフレーム毎に距離画像及び光量画像から物体を検知するが、異なるフレームの画像から検知した物体の同定は行わない。また、上述した実施形態において、物体検知部１７は距離画像と光量画像の各々から検知した物体の同定は行わない。物体検知部１７がこれらの同定の少なくとも１つを行ってもよい。
【００６２】
図５Ａ及び図５Ｂ（以下、これらの図を図５という）は、この変形例において物体検知部１７が行う、距離画像と光量画像とから物体を検知する処理のフローを例示した図である。図５のフローは画像生成部１６により１フレームの距離画像及び光量画像が生成され、物体検知部１７に距離画像データ及び光量画像データが引き渡される毎に実行される。
【００６３】
物体検知部１７は、距離画像データを取得すると（ステップＳ２０１）、距離画像データが表す距離画像に対し、物体を表す塊を抽出するための既知の画像処理を行い、それらの画像処理を行った距離画像から塊の検知を行う（ステップＳ２０２）。
【００６４】
なお、この変形例においては、ステップＳ２０２において、検知した塊が検知すべき対象物を示すものであるか、もしくは、対象物の検知を阻害する物体を示すものであるかの判定は行わない。
【００６５】
以下、説明の簡易化のため、ステップＳ２０２において１つの塊が検知されるものとする。また、ステップＳ２０２において検知される塊を以下、塊Ｘ（ｉ）と呼ぶ。ここで「ｉ」はフレームの番号を意味する。
【００６６】
続いて、物体検知部１７は塊Ｘ（ｉ）に、その塊が表す物体を識別するためのラベルを付与する（ステップＳ２０３）。
【００６７】
ステップＳ２０１〜Ｓ２０３と並行して、物体検知部１７はステップＳ２０１〜Ｓ２０３と同様の処理を光量画像データに関して行う（ステップＳ３０１〜Ｓ３０３）。ステップＳ３０２においても、説明の簡易化のため、１つの塊が検知されるものとする。また、ステップＳ３０２において検知される塊を以下、塊Ｙ（ｉ）と呼ぶ。
【００６８】
なお、この段階では、ステップＳ２０２において距離画像から検知された塊Ｘ（ｉ）が表す物体と、ステップＳ３０２において光量画像から検知された塊Ｙ（ｉ）が表す物体が同一であるか否かは不明であるため、ステップＳ２０３において塊Ｘ（ｉ）に付与されるラベルと、ステップＳ３０３において塊Ｙ（ｉ）に付与されるラベルは異なる。
【００６９】
続いて、物体検知部１７は、塊Ｘ（ｉ）が表す物体と、１つ前のフレームの距離画像から検知された塊Ｘ（ｉ−１）が表す物体の同定のための処理として、以下のステップＳ４０１〜Ｓ４０４を行う。
【００７０】
まず、物体検知部１７は、塊Ｘ（ｉ）が表す物体と塊Ｘ（ｉ−１）が表す物体が同一であるか否かを示すフラグである距離画像フレーム間ペアリングフラグ（ｉ）に初期値「０」を設定する（ステップＳ４０１）。なお、この変形例において、フラグが「０」の場合、２つの物体は異なることを示し、フラグが「１」の場合、２つの物体が同じであることを示す。
【００７１】
続いて、物体検知部１７は、塊Ｘ（ｉ）が表す物体と塊Ｘ（ｉ−１）が表す物体が同一であるか否かを判定する（ステップＳ４０２）。ステップＳ４０２の判定において、物体検知部１７は、例えば、２つの塊の位置、形状、大きさ、距離（距離画像の画素値）等に関し所定の基準に従い類似度を算出し、その類似度が所定の閾値以上であれば２つの塊が表す物体が同一であり、類似度が所定の閾値未満であれば２つの塊が表す物体が異なる、と判定する。
【００７２】
２つの塊が表す物体が同一であると判定した場合（ステップＳ４０２；Ｙｅｓ）、物体検知部１７は塊Ｘ（ｉ）に付与されているラベルを、塊Ｘ（ｉ−１）に付与されているラベルで上書きし（ステップＳ４０３）、距離画像フレーム間ペアリングフラグ（ｉ）に「１」を設定する（ステップＳ４０４）。
【００７３】
ステップＳ４０１〜Ｓ４０４と並行して、物体検知部１７はステップＳ４０１〜Ｓ４０４と同様の処理を光量画像から検知した塊Ｙ（ｉ）と塊Ｙ（ｉ−１）に関して行う（ステップＳ５０１〜Ｓ５０４）。ただし、ステップＳ５０１及びＳ５０４で用いられるフラグは、光量画像フレーム間ペアリングフラグ（ｉ）である。また、ステップＳ５０２においては、塊Ｙ（ｉ）が表す物体と塊Ｙ（ｉ−１）が表す物体が同一であるか否かが判定される。
【００７４】
ステップＳ４０１〜Ｓ４０４と、ステップＳ５０１〜Ｓ５０４の処理が完了すると、物体検知部１７はステップＳ４０１〜Ｓ４０４（又はステップＳ５０１〜Ｓ５０４）と同様の処理を距離画像から検知した塊Ｘ（ｉ）と光量画像から検知した塊Ｙ（ｉ）に関して行う（ステップＳ６０１〜Ｓ６０４）。ただし、ステップＳ６０１及びＳ６０４で用いられるフラグは、異種画像間ペアリングフラグ（ｉ）である。また、ステップＳ６０２においては、塊Ｘ（ｉ）が表す物体と塊Ｙ（ｉ）が表す物体が同一であるか否かが判定される。
【００７５】
続いて、物体検知部１７は、以下の条件１〜３が全て満たされるか否かを判定する（ステップＳ７０１）。
（条件１）異種画像間ペアリングフラグ（ｉ−１）＝１
（条件２）距離画像フレーム間ペアリングフラグ（ｉ）＝０
（条件３）光量画像フレーム間ペアリングフラグ（ｉ）＝１
【００７６】
条件１は、１つ前のフレームにおいて、距離画像から検知された塊Ｘ（ｉ−１）が表す物体と光量画像から検知された塊Ｙ（ｉ−１）が表す物体が同一であり、それらの塊に同じラベルが付されていることを意味する。
【００７７】
条件２は、距離画像から検知された塊Ｘ（ｉ）が表す物体が、１つ前のフレームの距離画像から検知された塊Ｘ（ｉ−１）が表す物体と異なり、それらの塊に異なるラベルが付されていることを意味する。
【００７８】
条件３は、光量画像から検知された塊Ｙ（ｉ）が表す物体が、１つ前のフレームの光量画像から検知された塊Ｙ（ｉ−１）が表す物体と同一であり、それらの塊に同じラベルが付されていることを意味する。
【００７９】
例えば、突然、砂埃が舞い上がり、距離画像から検知すべき対象物を表す塊が消失した場合、条件１〜３の全てが満たされる。
【００８０】
条件１〜３の全てが満たされると判定した場合（ステップＳ７０１；Ｙｅｓ）、物体検知部１７は、光量画像から検知された塊Ｙ（ｉ）と同じ位置に、塊Ｙ（ｉ）が表す物体と同一の物体を表す仮想的な塊Ｘ’（ｉ）を生成する（ステップＳ７０２）。この塊Ｘ’（ｉ）には、塊Ｙ（ｉ）に付与されているラベルが付与される。また、この塊Ｘ’（ｉ）を構成する画素値は、１つ前の距離画像から検知された塊Ｘ（ｉ−１）を構成する画素値と同じとみなされる。
【００８１】
ステップＳ７０２において生成される仮想的な塊Ｘ’（ｉ）は、後続のフレームに関し図５のフローに従う処理が行われる際、１つ前のフレームの距離画像から検知された塊として扱われる。従って、砂埃等により対象物の画像を含まない距離画像が生成される間、距離画像から検知される塊に代えて、光量画像から検知される塊とペアリングされた仮想的な塊が順次生成されることになる。
【００８２】
ステップ２０１〜Ｓ７０２の処理が完了すると、物体検知部１７は判定結果を移動体の制御部等に通知し（ステップＳ７０３）、一連の処理を終了する。ステップＳ７０３において物体検知部１７が通知する判定結果には、例えば、塊Ｘ（ｉ）（又は塊Ｘ’（ｉ））及び塊Ｙ（ｉ）が表す物体までの距離、検知領域Ｄ内におけるその物体の位置、その物体の形状等が含まれる。
【００８３】
図６は、この変形例において、物体検知部１７が行う処理を説明するための図である。図６の左列の画像は距離画像であり、右列の画像は光量画像である。また、図６の１段目〜４段目の画像は、それぞれ、ｉ番目〜（ｉ＋３）番目のフレームの画像である。
【００８４】
図６の例においては、説明のため、（ｉ＋１）番目のフレームの画像が生成されるまでの期間は空中浮遊物がなかったが、（ｉ＋２）番目のフレームの画像が生成される期間中に空中浮遊物が発生し、（ｉ＋３）番目のフレームの画像が生成される前に空中浮遊物がなくなった、という状況が想定されている。ただし、１フレームの画像が生成される期間は短いため、実際には空中浮遊物が図６の例のように速やかに消失することはなく、距離画像から検知されたとみなされる仮想的な塊が複数フレームに渡り継続して生成されることになる。
【００８５】
図６の例では、ｉ番目のフレームに関し、距離画像から検知された塊Ｘ（ｉ）と光量画像から検知された塊Ｙ（ｉ）のペアリングが行われ、それらに同じラベルが付与されている。
【００８６】
続いて、（ｉ＋１）番目のフレームに関し、距離画像から検知された塊Ｘ（ｉ＋１）は１つ前のフレームの距離画像から検知された塊Ｘ（ｉ）とペアリングが行われている。また、光量画像から検知された塊Ｙ（ｉ＋１）は１つ前のフレームの光量画像から検知された塊Ｙ（ｉ）とペアリングが行われている。さらに、距離画像から検知された塊Ｘ（ｉ＋１）と光量画像から検知された塊Ｙ（ｉ＋１）のペアリングが行われている。従って、塊Ｘ（ｉ）、塊Ｘ（ｉ＋１）、塊Ｙ（ｉ）、塊Ｙ（ｉ＋１）の全てに同じラベルが付与されている。
【００８７】
続いて、（ｉ＋２）番目のフレームに関し、距離画像から検知された塊Ｘ（ｉ＋２）はいずれの塊ともペアリングされていない。なお、塊Ｘ（ｉ＋２）は砂埃等の空中浮遊物を表す塊である。（ｉ＋２）番目のフレームに関しては、光量画像から検知された塊Ｙ（ｉ＋２）に基づき仮想的な塊Ｘ’（ｉ＋２）が生成されており、塊Ｘ’（ｉ＋２）は１つ前のフレームの距離画像から検知された塊Ｘ（ｉ＋１）とペアリングが行われている。また、光量画像から検知された塊Ｙ（ｉ＋２）は１つ前のフレームの光量画像から検知された塊Ｙ（ｉ＋１）とペアリングが行われている。さらに、仮想的な塊Ｘ’（ｉ＋２）と光量画像から検知された塊Ｙ（ｉ＋２）のペアリングが行われている。従って、塊Ｘ（ｉ＋１）、塊Ｘ’（ｉ＋２）、塊Ｙ（ｉ＋１）、塊Ｙ（ｉ＋２）の全てに同じラベルが付与されている。
【００８８】
続いて、（ｉ＋２）番目のフレームに関し、距離画像から検知された塊Ｘ（ｉ＋３）は１つ前のフレームにおいて生成された仮想的な塊Ｘ’（ｉ＋２）とペアリングが行われている。また、光量画像から検知された塊Ｙ（ｉ＋３）は１つ前のフレームの光量画像から検知された塊Ｙ（ｉ＋２）とペアリングが行われている。さらに、距離画像から検知された塊Ｘ（ｉ＋３）と光量画像から検知された塊Ｙ（ｉ＋３）のペアリングが行われている。従って、塊Ｘ’（ｉ＋２）、塊Ｘ（ｉ＋３）、塊Ｙ（ｉ＋２）、塊Ｙ（ｉ＋３）の全てに同じラベルが付与されている。
【００８９】
この変形例によれば、図６の（ｉ＋２）番目のフレームのように、空中浮遊物等の影響を受けて、距離画像から検知すべき対象物を表す塊が検知できなくても、光量画像から検知された塊に基づき仮想的な塊が生成される。そのため、距離画像において同じ物体を表す塊が不連続となっても、仮想的な塊により欠落した部分が補完され、物体の追尾が途切れない。また、仮想的な塊の画素値は同じラベルの付与された、前のフレームの距離画像から検知された塊の画素値（または、前のフレームにおける仮想的な塊の画素値）と同じとみなされる。そのため、物体検知部１７は、空中浮遊物等が発生して、距離画像から対象物を表す塊を検知できない場合であっても、光量画像から検知した塊が表す物体までの距離を、その塊にペアリングした仮想的な塊の画素値から推定することができる。
【００９０】
（２）上述した実施形態において、物体検知部１７は検知領域Ｄ内に検知すべき物体が有るか否かの判定は行うが、検知領域Ｄ内に検知すべき物体が有ると判定した場合にその物体の種別を推定はしない。これに代えて、物体検知部１７が、検知領域Ｄ内において検知した物体の種別を推定してもよい。この変形例において、物体検知部１７は、既知の画像認識手法により、光量画像又は距離画像から検知した物体の種別の推定を行う。既知の画像認識手法としては、例えば、既知の物体の画像の特徴量と、認識対象の画像の特徴量との比較結果により、認識対象の画像が既知の物体と同種の物体であるか否かの判定を行う手法が挙げられる。
【００９１】
この変形例において、物体検知部１７は、光量画像又は距離画像から推定した物体の種別に応じて、移動体の制御部等に対し通知データを出力するか否かを決定したり、異なる通知データを出力したりしてもよい。例えば、物体検知部１７は、光量画像又は距離画像から検知した物体が人物や障害物等であると推定した場合、移動体の制御部等に対し通知データを引き渡し、光量画像又は距離画像から検知した物体が鳥、昆虫等の小動物であると推定した場合、移動体の制御部等に対し通知データを引き渡さないように構成されてもよい。
【００９２】
（３）上述した実施形態において、光量計測部１５２は、光量信号が示す光量の瞬時値の時間軸方向の積分値を、光量画像の生成に用いる光量として計測する。これに代えて、光量計測部１５２が、光量信号が示す光量のピーク値の合計値を、光量画像の生成に用いる光量として計測してもよい。
【００９３】
また、光量計測部１５２が、光量信号をデジタル化（すなわち、標本化及び量子化）した値の合計値を、光量画像の生成に用いる光量として計測してもよい。
【００９４】
図７は、この変形例において光量計測部１５２が光量を計測する方法を説明するための図である。図７（Ａ）に例示の光量信号の波形には２つのピークが含まれる。光量計測部１５２は、１番目のピーク値Ｖ１１と、２番目のピーク値Ｖ１２の合計値を光量として算出してもよい。
【００９５】
また、図７（Ｂ）の下側のグラフは、図７（Ａ）の上側に示されるアナログ信号である光量信号をデジタル化して得られる信号を構成する複数のサンプル値を示している。光量計測部１５２は、デジタル化された光量信号を構成する複数のサンプル値の合計値を光量として算出してもよい。
【００９６】
（４）上述した実施形態の説明において、検知すべき対象物の検知を阻害する物体は空中浮遊物であるものとした、対象物の検知を阻害する物体は空中浮遊物に限られない。例えば、投光部１１、走査部１３、受光部１２のいずれかに付着する水滴や汚れ等も、検知すべき対象物の検知を阻害する物体に含まれる。
【符号の説明】
【００９７】
１…物体検知装置、１１…投光部、１２…受光部、１３…走査部、１４…タイミング制御部、１５…計測部、１６…画像生成部、１７…物体検知部、１３１…可動部、１３２…ミラー、１５１…距離計測部、１５２…光量計測部、１６１…距離画像生成部、１６２…光量画像生成部。
【図１】
2020085486.tif 000003
【図２】
2020085486.tif 000004
【図３】
2020085486.tif 000005
【図４】
2020085486.tif 000006
【図５Ａ】
2020085486.tif 000007
【図５Ｂ】
2020085486.tif 000008
【図６】
2020085486.tif 000009
【図７】
2020085486.tif 000010