(57)【要約】【課題】より広範囲で物体の検出が可能な制御装置を提供すること。【解決手段】本開示は、単眼領域と複眼領域とが形成されるように平行等位に配置された二個のカメラを含むステレオカメラと通信可能な制御装置であって、二個のカメラからの各画像が時系列で入力される入力部と、二個のカメラからの両入力画像に基づき、複眼領域に映る対象物までの距離を少なくとも算出する制御部と、を備え、制御部はさらに、二個のカメラの少なくとも一方から今回入力された画像と過去の入力された画像とに基づき、単眼領域に映る移動物体を検出する、制御装置に向けられる。【選択図】図３
2017224228.tif 000002
【特許請求の範囲】
【請求項１】
単眼領域と複眼領域とが形成されるように平行等位に配置された二個のカメラを含むステレオカメラと通信可能な制御装置であって、
前記二個のカメラからの各画像が時系列で入力される入力部と、
前記二個のカメラからの両入力画像に基づき、前記複眼領域に映る対象物までの距離を少なくとも算出する制御部と、を備え、
前記制御部はさらに、前記二個のカメラの少なくとも一方から今回入力された画像と過去の入力された画像とに基づき、前記単眼領域に映る移動物体を検出する、制御装置。
【請求項２】
前記制御部は、前記二個のカメラの少なくとも一方から今回入力された画像と過去の入力された画像とに平均化フィルタを施し、平均化フィルタ済の両画像の差分画像を取得する、請求項１に記載の制御装置。
【請求項３】
前記制御部は、前記二個のカメラの少なくとも一方から今回入力された画像と過去の入力された画像との背景差分に基づき、前記単眼領域に映る移動物体を検出する、請求項１に記載の制御装置。
【請求項４】
前記制御部は、前記二個のカメラの少なくとも一方から今回入力された画像と過去の入力された画像とに基づくオプティカルフローから前記単眼領域に映る移動物体を検出する、請求項１に記載の制御装置。
【請求項５】
前記制御部は、前記二個のカメラの少なくとも一方から今回入力された画像の単眼領域のみと、過去の入力された画像の単眼領域のみに基づき、前記単眼領域に映る移動物体を検出する、請求項１に記載の制御装置。
【請求項６】
コンピュータに、
単眼領域と複眼領域とが形成されるように平行等位に配置されステレオカメラを構成する二個のカメラから、画像が時系列で入力される処理と、
前記二個のカメラからの両入力画像に基づき、前記複眼領域に映る対象物までの距離を少なくとも算出する処理と、
前記二個のカメラの少なくとも一方から今回入力された画像と過去の入力された画像とに基づき、前記単眼領域に映る移動物体を検出する処理と、を実行させるプログラム。
【請求項７】
コンピュータに、
単眼領域と複眼領域とが形成されるように平行等位に配置されステレオカメラを構成する二個のカメラから、画像が時系列で入力される処理と、
前記二個のカメラからの両入力画像に基づき、前記複眼領域に映る対象物までの距離を少なくとも算出する処理と、
前記二個のカメラの少なくとも一方から今回入力された画像と過去の入力された画像とに基づき、前記単眼領域に映る移動物体を検出する処理と、を実行させるプログラムを格納した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ステレオカメラからの複数の画像に基づき測距可能な制御装置、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
図５に示すように、一般的なステレオカメラ１０１では、二個のカメラ１１１Ｒ，１１１Ｌは、左右方向に平行等位に配置される。平行等位では、二個のカメラ１１１Ｒ，１１１Ｌの光軸が平行で、かつ各々の撮像面が同じ高さで同じ平面内に配置される。これによって、二個のカメラ１１１Ｒ，１１１Ｌの画像には、複眼領域と単眼領域とが形成される。複眼領域とは、二個のカメラ１１１Ｒ，１１１Ｌからの両画像において、同一の対象物が映る領域である。それに対し、単眼領域とは、各カメラの画像において、複眼領域を除いた領域である。制御装置１０３は、ステレオカメラ１０１による撮影画像を受け取ると、まず、入力画像それぞれに対し前処理を行った後、対象物の視差を算出し、その後、その対象物への距離の演算を行う。かかる平行等位を採用すると、視差演算や測距が簡単になる。
【０００３】
従来、このようなステレオカメラを応用した制御装置としては、例えば特許文献１に物体検知装置がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４７５３０５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、従来の制御装置側で対象物までの測距を可能とするには、両カメラによる画像の複眼領域に対象物が映っている必要がある。例えば、二個のカメラの配置によっては、左側カメラによる画像（以下、左側画像という）の左端（左側の単眼領域）に映る対象物は右側カメラによる画像には映らないことがある。この場合、制御装置は、左側画像の単眼領域に映る対象物に関しては視差を算出できない。逆もまた同様である。そのため、従来の制御装置は、単眼領域に映る対象物までの距離を算出できない。以下、この点について、図６Ａ，図６Ｂを参照しつつ説明する。
【０００６】
例えば、図６Ａ，図６Ｂには、歩行者Ｐが、右側カメラ１１１Ｒの視野外から、ステレオカメラ１０１の視野中央の方向（矢印ｘの方向）に向かって移動してくる様子が示されている。より具体的には、歩行者Ｐは、ステレオカメラ１０１からみて奥行き方向に距離Ｚｆだけ離れた線上であって、かつ、各カメラ１１１Ｒ，１１１Ｌ（基線長Ｗ）の光軸と垂直な線上を歩行者Ｐが視野中央方向に移動している。まず、線上の（１）の位置では、歩行者Ｐは、両カメラ１１１Ｒ，１１１Ｌの視野に入っていない。線上の（２）の位置では、歩行者Ｐは、右側カメラ１１１Ｒの視野には入っているが、左側カメラ１１１Ｌの視野には入っていない。換言すると、歩行者Ｐは、（２）の位置にいる場合、右側の単眼領域ＳＲに入っている。線上の（３）の位置では、歩行者Ｐは、両カメラ１１１Ｒ，１１１Ｌの視野内（即ち、複眼領域Ｃ）に入っている。この場合、制御装置において、視差演算および測距が可能で、歩行者Ｐを対象物として検出可能なのは、線上の（３）の位置から中央寄りということになる。
【０００７】
本開示の目的は、より広範囲で物体の検出が可能な制御装置、プログラムおよび記録媒体を提供することである。
【課題を解決するための手段】
【０００８】
本開示は、単眼領域と複眼領域とが形成されるように平行等位に配置された二個のカメラを含むステレオカメラと通信可能な制御装置であって、前記二個のカメラからの各画像が時系列で入力される入力部と、前記二個のカメラからの両入力画像に基づき、前記複眼領域に映る対象物までの距離を少なくとも算出する制御部と、を備え、前記制御部はさらに、前記二個のカメラの少なくとも一方から今回入力された画像と過去の入力された画像とに基づき、前記単眼領域に映る移動物体を検出する、制御装置に向けられる。
【０００９】
本開示は他にも、コンピュータに、単眼領域と複眼領域とが形成されるように平行等位に配置されステレオカメラを構成する二個のカメラから、画像が時系列で入力される処理と、前記二個のカメラからの両入力画像に基づき、前記複眼領域に映る対象物までの距離を少なくとも算出する処理と、前記二個のカメラの少なくとも一方から今回入力された画像と過去の入力された画像とに基づき、前記単眼領域に映る移動物体を検出する処理と、を実行させるプログラムに向けられる。
【００１０】
本開示は他にも、コンピュータに、単眼領域と複眼領域とが形成されるように平行等位に配置されステレオカメラを構成する二個のカメラから、画像が時系列で入力される処理と、前記二個のカメラからの両入力画像に基づき、前記複眼領域に映る対象物までの距離を少なくとも算出する処理と、前記二個のカメラの少なくとも一方から今回入力された画像と過去の入力された画像とに基づき、前記単眼領域に映る移動物体を検出する処理と、を実行させるプログラムを格納した記録媒体に向けられる。
【発明の効果】
【００１１】
本開示によれば、より広範囲で物体の検出が可能な制御装置、プログラムおよび記録媒体を提供することが出来る。
【図面の簡単な説明】
【００１２】
【図１】本開示の制御装置のハードウェア構成を示す図
【図２】図１の制御部の機能ブロック図
【図３】図１の制御装置のフロー図
【図４】ｕ方向における単眼領域および複眼領域の総画素数に対する比率を示すグラフ
【図５】一般的なステレオカメラのみを応用した制御装置を示す図
【図６Ａ】歩行者が右側カメラの視野外から視野中央に向かって移動する様子を示す図
【図６Ｂ】画像において複眼領域と単眼領域とを示す図
【発明を実施するための形態】
【００１３】
＜１．実施形態＞
以下、上記図面を参照して、本開示の制御装置１、プログラムＰおよび記録媒体を詳説する。
【００１４】
＜２．制御装置１の構成および周辺構成＞
図１において、自車両Ｖは、例えば自動運転が可能であって、制御装置１と、物体検出部３と、を搭載している。
【００１５】
物体検出部３は、自車両Ｖの周囲において、特に、自車両Ｖを基準として進行方向側に存在する物体（例えば、他車両や壁）を表す情報を取得する。
【００１６】
上記のような物体検出部３としては、例えば、一対のカメラ３１Ｒ，３１Ｌを含むステレオカメラ３１が挙げられる。カメラ３１Ｒ，３１Ｌは、典型的には、互いに同一仕様であって、自車両Ｖに平行等位となるよう設置される。典型的な設置場所としては、自車両Ｖのルームミラーの前方がある。より具体的には、カメラ３１Ｒ，３１Ｌは、前進方向に向かってルームミラーの右側方および左側方に取り付けられる。
【００１７】
また、カメラ３１Ｒ，３１Ｌは、制御装置１等からの同期信号に基づきシャッタタイミングの同期を確立した状態で、自車両Ｖの前進方向の状況を時系列で撮影して、予め定められたフレームレートの画像ＩＲ，ＩＬを制御装置１に出力する。また、カメラ３１Ｒ，３１Ｌを平行等位に配置することで、画像ＩＲ，ＩＬには、複眼領域Ｃと、単眼領域ＳＲ，ＳＬとが形成される（図６Ａ，図６Ｂを参照）。複眼領域Ｃとは、両画像ＩＲ，ＩＬにおいて、同一の対象物が映る領域である。それに対し、単眼領域ＳＲ，ＳＬとは、各画像ＩＲ，ＩＬにおいて、複眼領域Ｃを除いた領域である。
【００１８】
制御装置１は、例えば、上記カメラ３１Ｒ，３１Ｌとデータ通信可能に接続され、自車両ＶのＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）に収容される。データ伝送方式として、例えば、ＬＶＤＳ（Ｌｏｗ  Ｖｏｌｔａｇｅ  Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｓｉｇｎａｌ）が用いられる。この制御装置１は、入力部１１と、制御部１３と、不揮発性メモリ１５と、ワーキングメモリ１７と、出力部１９と、を備えている。
【００１９】
入力部１１は、ＥＣＵの入力インタフェイスであって、カメラ３１Ｒ，３１Ｌからの画像ＩＲ，ＩＬを受け取る。入力部１１はさらに、制御部１３の制御下で、受信画像ＩＲ，ＩＬをワーキングメモリ１７に転送する。出力部１９は、ＥＣＵの出力インタフェイスであって、後述の制御部１３により生成された情報を、本制御装置１の外部装置５（例えばディスプレイ装置、スピーカ装置または自動ブレーキ装置）に出力する。
【００２０】
＜３．制御部１３の機能ブロック＞
制御部１３は、例えばマイコンであって、不揮発性メモリ１５に予め格納されたプログラムＰを、ワーキングメモリ１７を作業領域として用いて実行することで、図２に示すように、受信制御部７１、第一前処理部７３Ｒ、第二前処理部７３Ｌ、視差演算部７５および測距部７７に加え、第一差分演算部７９Ｒ、第一移動物体検出部７１１Ｒ、第二差分演算部７９Ｌ、第二移動物体検出部７１１Ｌおよび統合処理部７１３として機能する。
【００２１】
＜４．制御部１３の処理手順＞
次に、図３を参照して、制御部１３の処理手順を詳説する。
まず、制御部１３は、受信制御部７１として機能し、入力部１１に時系列に入力される画像ＩＲ，ＩＬをワーキングメモリ１７に時系列に転送し格納するよう制御する（図３：ステップＳ００１）。ここで、ワーキングメモリ１７は、少なくとも、今回の入力画像ＩＲと、過去の入力画像ＩＲと、今回の入力画像ＩＬと、過去の入力画像ＩＬと、を格納できるようになっている。ここで、過去の入力画像ＩＲおよび過去の入力画像ＩＬは、好ましくは、前回の入力画像ＩＲおよび前回の入力画像ＩＬである。
【００２２】
次に、制御部１３は、第一前処理部７３Ｒとして機能して、ワーキングメモリ１７に格納された今回の入力画像ＩＲに対し所定の前処理（ベイヤ補間，コントラスト補正）を実施する（ステップＳ００３）。制御部１３はさらに、第二前処理部７３Ｌとして機能して、ワーキングメモリ１７に格納された今回の入力画像ＩＬに対し所定の前処理を実施する（ステップＳ００５）。本開示では、ステップＳ００５は、ステップＳ００３と並行して実施されるとして説明する。しかし、これに限らず、ステップＳ００５は、ステップＳ００３の前または後に実施されても構わない。
【００２３】
次に、制御部１３は、視差演算部７５として機能し、前処理済の両画像ＩＲ，ＩＬにおける複眼領域に映っている各対象物の視差を演算する（ステップＳ００７）。その後、制御部１３は、測距部７７として機能し、複眼領域に映っている各対象物までの距離を演算する。測距部７７はさらに、自車両Ｖの近くに（即ち、自車両Ｖから所定距離以下に）物体が存在する場合には、その旨を示す検出結果を統合処理部７１３に渡す（ステップＳ００９）。なお、ステップＳ００３乃至Ｓ００９の処理については公知技術を適用可能であるため、上記以上の詳説を控える。
【００２４】
また、制御部１３は、第一差分演算部７９Ｒと第一移動物体検出部７１１Ｒとして機能する。
【００２５】
第一差分演算部７９Ｒは、好ましくはステップＳ００３乃至Ｓ００９と並行して、ワーキングメモリ１７内の今回の入力画像ＩＲおよび過去の入力画像ＩＲの差分を演算する。ここで、処理時間の短縮化のためには、第一差分演算部７９Ｒは、今回および過去の画像ＩＲにおける単眼領域のみを処理対象とすることが好ましい。これにより、画素毎に輝度情報等の差分値（即ち、変化量）を有する差分画像ΔＲが得られる（ステップＳ０１１）。なお、これ以外にも、Ｕ，Ｖコンポーネントの色差等、色値そのものを用いて差分画像ΔＲを生成することも考えられる。
【００２６】
その後、第一移動物体検出部７１１Ｒは、ステップＳ０１１で得た差分画像ΔＲを用いて、例えば、各画素に対応する差分値の合計が所定の閾値以上か否かを判断する（ステップＳ０１３）。第一移動物体検出部７１１Ｒは、ステップＳ０１３でＹＥＳと判断すると、画像ＩＲの単眼領域に相当する場所に移動物体が存在するとして、その旨を示す検出結果を統合処理部７１３に渡す（ステップＳ０１５）。
【００２７】
ここで、今回の画像ＩＲと過去の画像ＩＲとを対比すると、遠方の物体ほど画素値の変化量は少ない。それに対し、より近距離にて移動物体が単眼領域に進入すると、対応する画素領域で変化量が大きくなる。このような特性に基づき、ステップＳ０１３，Ｓ０１５では、自車両Ｖの近くに存在する移動物体が検出される。
なお、ステップＳ０１３でＮＯと判断すると、処理はステップＳ００１に戻る。
【００２８】
また、制御部１３はさらに、第二差分演算部７９Ｌと第二移動物体検出部７１１Ｌとして機能する。
【００２９】
第二差分演算部７９Ｌは、第一差分演算部７９Ｒと同様に、今回および過去の入力画像ＩＬにおける単眼領域の差分を演算して、差分画像ΔＬを得る（ステップＳ０１７）。その後、第二移動物体検出部７１１Ｌは、第一移動物体検出部７１１Ｒと同様に、差分画像ΔＬを構成する全画素値の合計が上記閾値以上か否かを判断する（ステップＳ０１９）。ＹＥＳであれば、第二移動物体検出部７１１Ｌは、画像ＩＬの単眼領域に移動物体が存在することを示す検出結果を統合処理部７１３に渡す（ステップＳ０２１）。なお、ステップＳ０１９でＮＯと判断すると、処理はステップＳ００１に戻る。
【００３０】
ところで、例えば自車両Ｖが右左折する場合、入力画像ＩＲ，ＩＬにおいて遠景が大きく変化する。この場合でも画像ＩＲ，ＩＬの単眼領域に移動物体が進入したことをより正確に検出するには、各差分演算部７９Ｒ，７９Ｌが下記の処理を行ったうえで、ステップＳ０１３，Ｓ０１９の判断を実施すれば良い。
【００３１】
即ち、第一差分演算部７９Ｒは、今回および過去の入力画像ＩＲにおける単眼領域のそれぞれに対して平均化フィルタを施す。より具体的には、差分演算部７９は、ｎ×ｎ（ｎは３以上の奇数）のカーネルを設定した後、設定したカーネルを用いて各単眼領域を平滑化する。その後、第一差分演算部７９Ｒは、フィルタリング済の単眼領域間の差分画像ΔＲを生成する。これによって、今回および過去の入力画像ＩＲにおける単眼領域の空間周波数のうち高周波成分が低減されて、遠景の変化が小さくなる。このようなフィルタリング後に差分画像ΔＲを、第一差分演算部７９Ｒが生成しステップＳ０１９を行うことで、画像ＩＲ，ＩＬの単眼領域に移動物体がより正確に検出できるようになる。
【００３２】
第二差分演算部７９Ｌも、第一差分演算部７９Ｒと同様の手法で、今回および過去の入力画像ＩＬにおける単眼領域のそれぞれに対して平均化フィルタを実施する。
なお、上記の平均化フィルタリングは、自車両Ｖのステアリング操作時に限って実施されても良いが、ステアリング操作時以外に実施されても良い。
【００３３】
統合処理部７１３は、測距部７７、第一移動物体検出部７１１Ｒまたは第二移動物体検出部７１１Ｌから受け取った検出結果を、制御装置１全体での検出結果Ｒとして外部装置５に送信する（ステップＳ０２３）。
【００３４】
外部装置５の第一例としてのディスプレイ装置またはスピーカ装置は、検出結果Ｒの受信に応答して、自車両Ｖの近くに物体が存在する旨を表示または音声出力して、その旨を運転者に知らせる。外部装置５の第二例としての自動ブレーキ装置は、公知技術により、自車両Ｖを制動する。
【００３５】
＜５．制御装置１の作用・効果＞
上述した通り、本制御装置１によれば、制御部１３は、ステレオカメラ３１の単眼領域に存在しうる移動物体を検出することが出来るので、より広範囲で物体の検出が可能となる。
【００３６】
例えば、ステレオカメラ３１の仕様を下記の通りとする。
・両カメラ３１Ｒ，３１Ｌの基線長：１２ｃｍ
・両カメラ３１Ｒ，３１Ｌの撮像素子の画素数：水平１９２０画素，垂直１０８０画素
・両カメラ３１Ｒ，３１Ｌのレンズの水平画角：５０度
【００３７】
上記仕様の場合において、ステレオカメラ３１の奥行き方向に２ｍの距離に存在する移動物体を検出しようとすると、図４に示すように、カメラ３１Ｒの撮像素子において、単眼領域ＳＲは、ｕ方向の負方向側端部（図中では右端）からｕ方向（図中では右から左に向かう方向）に１２４画素（水平方向の約６．４％の画素）と、ｖ方向（図中では上下方向）に１０８０画素とで定義される矩形状の領域となる。このような単眼領域ＳＲに対し、第一差分演算部７９Ｒと、第一移動物体検出部７１１Ｒとは、前述した処理を行う。
【００３８】
同様に、カメラ３１Ｌの撮像素子において、単眼領域ＳＬは、ｕ方向の正方向側端部（図中では左端）から−ｕ方向（図中では左から右に向かう方向）に１２４画素と、ｖ方向（図中では上下方向）に１０８０画素とで定義される矩形状の領域となる。このような単眼領域ＳＬに対し、第二差分演算部７９Ｌと、第二移動物体検出部７１１Ｌとは、前述した処理を行う。
【００３９】
上記の各移動物体検出部７１１Ｒ，７１１Ｌを追加することで、制御装置１は、従来のステレオカメラのみに基づく物体検出よりも、自車両Ｖの前方に飛び出して来る移動物体（歩行者、自転車、車両等）を早く検出することが出来る。例えば、移動物体が４ｋｍ／ｈの歩行者であった場合、制御装置１は従来の物体検出よりも、０．１１秒早く検出できる。
【００４０】
＜６．変形例＞
上記実施形態では、各移動物体検出部７１１Ｒ，７１１Ｌは、所謂背景差分により移動物体を検出していた。しかし、これに限らず、各移動物体検出部７１１Ｒ，７１１Ｌは、オプティカルフローにより、移動物体を検出しても構わない。
【００４１】
即ち、単眼領域ＳＲにおいて、遠距離の背景におけるオプティカルフローは、それらベクトルの移動方向および移動量はほぼ均一である。それに対し、近距離の移動物体のオプティカルフローは、背景のオプティカルフローとは異なる動きする。そこで、近距離の移動物体のオプティカルフローの閾値が実験やシミュレーション等で定義されてプログラムＰに予め記述される。
【００４２】
第一移動物体検出部７１１Ｒは、第一移動物体検出部７１１Ｒは、今回および過去の単眼領域ＳＲにおける特徴点の移動からオプティカルフローを計算する。ここで、自車両Ｖが直進している場合、自車両Ｖに接近する物体のオプティカルフローにおいて、そのベクトルがカメラ画像中心に向かう。そうでないものではベクトルが中心から外へ向かう。第一移動物体検出部７１１Ｒは、今回計算したオプティカルフローのベクトルの角度および大きさが設定する閾値を越えた場合、車両に近づく移動物体であると認識して、出力結果を統合処理部７１３に渡す。
【００４３】
第二移動物体検出部７１１Ｌは、第一移動物体検出部７１１Ｒと同様に、オプティカルフローに基づき、単眼領域ＳＬに存在しうる移動物体を検出する。
【００４４】
＜７．付記＞
上記では、プログラムＰは不揮発性メモリ１５に格納されるとして説明した。しかし、
これに限らず、プログラムＰは、コンピュータにより読み取り可能な記録媒体（例えばＤＶＤ等）に格納されて提供されても構わない。他にも、各種端末装置がダウンロードできるように、プログラムＰはサーバ装置に格納されていても良い。
【００４５】
上記では、ステップＳ０１１乃至Ｓ０１５と、ステップＳ０１７乃至Ｓ０２１とは、ステップＳ００１乃至Ｓ００９と並行処理されるとして説明した。しかし、これに限らず、ステップＳ０１１乃至Ｓ０１５および／またはステップＳ０１７乃至Ｓ０２１とは、ステップＳ００１乃至Ｓ００９の前後に実施されても構わない。
【００４６】
また、上記では、カメラ３１Ｒ，３１Ｌは左右方向に並置されるとして説明した。しかし、これに限らず、両カメラは、用途に応じて他の方向（例えば上下方向）に並置されても構わない。この場合、各画像のｕ方向またはｖ方向端部に単眼領域が形成される。
【産業上の利用可能性】
【００４７】
本開示の制御装置、プログラムおよびこれを格納した記録媒体は、より広範囲で物体の検出が可能であり、自動ブレーキ等に好適である。
【符号の説明】
【００４８】
１  制御装置
１１  入力部
１３  制御部
３１  ステレオカメラ
【図１】
2017224228.tif 000003
【図２】
2017224228.tif 000004
【図３】
2017224228.tif 000005
【図４】
2017224228.tif 000006
【図５】
2017224228.tif 000007
【図６Ａ】
2017224228.tif 000008
【図６Ｂ】
2017224228.tif 000009