(57)【要約】【課題】初めからオクルージョンが発生しているか否かに拘らず、対象物の位置および３次元形状を精確に検出することの可能な対象物検出装置および対象物検出方法を提供する。【解決手段】複数のカメラ１０−１，１０−２，１０−３から同時に得られた、対象物の写っている入力画像Ｉ１に対して所定の処理（例えば、差分処理、二値化処理、逆投影変換）を行うことにより、カメラ１０−ｉごとに、かつ撮像エリア１４内に設定された参考平面Ｌ１，Ｌ２，Ｌ３ごとに、対象物の情報を含む逆投影画像Ｉ４，Ｉ５，Ｉ６が導出される。また、カメラ１０−１，１０−２，１０−３ごとに作製された、各参考平面Ｌ１，Ｌ２，Ｌ３における逆投影画像Ｉ４，Ｉ５，Ｉ６を参考平面Ｌ１，Ｌ２，Ｌ３ごとに統合することにより、各参考平面Ｌ１，Ｌ２，Ｌ３における二値化画像Ｉ１０，Ｉ１１，Ｉ１２が導出される。【選択図】図５
2010092085.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる視点から共通エリアの画像を取得する複数のカメラと、
前記複数のカメラで取得した画像を処理する制御部と
を備え、
前記制御部は、
前記複数のカメラから同時に得られた、対象物の写っている入力画像に対して所定の処理を行うことにより、前記対象物の情報を含む加工画像を、前記カメラごとに、かつ前記対象物が存在し得る領域内に設定された複数の参考平面の参考平面ごとに導出する第１ステップと、
前記カメラごとに導出された、前記各参考平面における加工画像を前記参考平面ごとに統合することにより、前記対象物の、前記各参考平面における情報を導出する第２ステップと
を実行する対象物検出装置。
【請求項２】
前記制御部は、前記第１ステップにおいて、前記各カメラのカメラ座標と前記各参考平面の三次元世界座標との対応関係を規定したルックアップテーブルを用いて、前記入力画像から前記加工画像を導出する請求項１に記載の対象物検出装置。
【請求項３】
前記ルックアップテーブルは、前記各カメラのカメラ座標から前記各参考平面の三次元世界座標への逆投影変換を行う逆投影変換式において、前記各参考平面内に設定された複数の特徴点の三次元世界座標と、前記各参考平面内に設定された複数の特徴点のカメラ座標とを代入することにより求められたパラメータの値を用いて求められたものである請求項２に記載の対象物検出装置。
【請求項４】
前記第２ステップにおいて導出される情報は、前記対象物の、前記各参考平面における輪郭情報である請求項１に記載の対象物検出装置。
【請求項５】
前記共通エリア内のラインプロフィールデータを取得するレーザレーダを備え、
前記制御部は、
前記カメラと同期して前記レーザレーダによって取得されたラインプロフィールデータに対して座標変換処理を行うことにより、変換データを導出する第３ステップと、
前記第２ステップにおいて導出された、前記対象物の、前記各参考平面における情報と、前記第２ステップにおいて導出された変換データとを合成する第４ステップと
を実行する請求項１に記載の対象物検出装置。
【請求項６】
互いに異なる視点から共通エリアの画像を取得する複数のカメラから同時に得られた、対象物の写っている入力画像に対して所定の処理を行うことにより、前記対象物の情報を含む加工画像を、前記カメラごとに、かつ前記対象物が存在し得る領域内に設定された複数の参考平面の参考平面ごとに導出する第１ステップと、
前記カメラごとに導出された、前記各参考平面における加工画像を前記参考平面ごとに統合することにより、前記対象物の、前記各参考平面における情報を導出する第２ステップと
を含む対象物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の位置等を検出する対象物検出装置および対象物検出方法に関する。
【背景技術】
【０００２】
近年、自動車保有台数の増加に伴い、交通事故の増加、渋滞、大気汚染など様々な道路交通に関する問題が深刻化してきている。これら諸問題の対策として、自動車交通を情報化し、道路を走行中の運転者に対し、道路情報、交通情報、沿線情報などを提供するシステムが実用化されつつある（非特許文献１参照）。また，高度道路交通システム（ＩＴＳ；Intelligent Transportation System)に関する研究が盛んに行われている。ＩＴＳは、最先端の情報通信技術を利用して、自動車の走行上の安全性や快適性の向上、道路交通の円滑化および環境との調和などを図ろうとするものである。自動車を安全に能率よく運転するためには、前方の道路交通の状態に関する情報を即時に得ることが不可欠である。そのため、広域道路交通状況をリアルタイムに収集、解析することが次世代のＩＴＳの構築において不可欠な要素技術と言える。
【０００３】
現在の道路交通情報センサの中で一般的に使用されているものは、超音波式、ループコイル式および光式である（非特許文献２参照）。これらは、安定で高信頼性をもっている。しかし、これらは、道路の代表的な区間に設置され、局所的な情報を取得するものであることから、空間的な広がりを持った情報を取得することができず、追跡のような高度な処理をすることができない。また、これらの新設や変更は容易ではない。
【０００４】
一方、画像を利用した道路情報の収集が実現されれば、落下物や、事故、避走といった様々な空間的な道路情報も取得することができ、利便性が高い。
【０００５】
例えば、Jungらは、カルマンフィルタによる適応背景差分処理と、Explicit OcclusionアルゴリズムおよびImplicit Occlusionアルゴリズムによるオクルージョンを考慮した車両追跡とを用いた交通流計測手法を提案している（非特許文献３参照）。また、Malikらは、アルゴリズムによる輪郭重心の対応付けを用いた車両追跡手法を提案している（非特許文献４参照）。この手法では、車両同士の遮蔽（オクルージョン）が発生している時に遮蔽領域の推定と各車両の輪郭の推定とが行われる。また、上條らは、時空間画像の時間軸方向の相関関係に着目したモデルを用いた車両追跡手法を提案している（非特許文献５参照）。青木らは、時系列スリット画像を作成し、車両検出、交通流計測を研究している（非特許文献６参照）。
【０００６】
産業界では、日本電気株式会社など各社が、画像処理による交通流計測システムや、ＥＴＣ事業に伴う単台車両の車種識別技術を実用化しつつある。また、オムロン株式会社がシルエットビジョン手法を提案している（非特許文献７参照）。また、特許文献１、２では、カメラの連続監視ための配置問題および射影変換による交通計測に関する手法が論じられている。
【０００７】
【非特許文献１】道路交通における状況理解調査専門委員会編：「道路交通における状況理解」，電学技法，784 (2000)
【非特許文献２】金山憲司：「都市交通と画像情報メディア」，画像情報メディア学会誌，53，1(1999)
【非特許文献３】Young-Kee Jung, Yo-Sung Ho, “Traffic Parameter Extraction using Video-based Vehicle Tracking”, Prof. IEEE ITSC Conf’99, pp.764-769, 1999.10
【非特許文献４】J.Malik, S.Russell, “ A Machine Vision Based Surveillance System for California Roads”, PATH Project MOU-83 Final Report, University of California, Berkeley, 1994
【非特許文献５】上條俊介，松下康之，池内克史，坂内正夫，"時空間Markov Random Filedモデルによる隠れにロバストな車両トラッキング", 電子情報通信学会論文誌 D-II, Vol.J83-D-II No.12, 2000年12月
【非特許文献５】根本智昭，青木正喜，“二重スリットカメラを用いた交通計測”, 画像電子学会誌, Vol.36, No.3,1996年7月
【非特許文献７】麻生川佳誠，呉越，来海雅俊，“シルエットビジョンによる車両認識”，OMRON TECHNICS，第38巻・第4号（通巻128号）1998年12月
【特許文献１】特開２００１−１０３４５１号公報
【特許文献２】特開２００４−２２０１０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、非特許文献３の技術では、車両が直線運動を行っていることが前提となっており、密な交通流に対する検討がなされていない。また、非特許文献４の技術では、遮蔽領域の推定および各車両の輪郭の推定は、初めからオクルージョンが発生している場合にしか適用することができない。また、非特許文献５の技術では、追跡対象が限定されていないので汎用性が高いが、車両の遮蔽問題や３次元計測などの問題を解決することができない。また、非特許文献７の技術では、ステレオ視による３次元車両形状を認識することができるが、センサの配置は従来の単眼視と変らず、視点による車両遮蔽問題を解決することができない。また、特許文献１，２の技術では、本質的には車両遮蔽問題や車種認識の問題を解決することができない。
【０００９】
このように、従来手法では、画像処理のほとんどが単眼によって行われていたので、カメラの設置位置や方向によって、オクルージョンの問題が生じてしまい、計測精度が悪かった。また、このような問題は、道路情報の収集の場合に限られるものではなく、画像処理によって対象物の位置や形状などを検知する際に共通して生じるものである。
【００１０】
本発明はかかる問題点に鑑みてなされたものであり、その目的は、初めからオクルージョンが発生しているか否かに拘らず、対象物の位置および３次元形状を精確に検出することの可能な対象物検出装置および対象物検出方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の対象物検出装置は、互いに異なる視点から共通エリアの画像を取得する複数のカメラと、複数のカメラで取得した画像を処理する制御部とを備えたものである。制御部は、以下の（Ａ１）および（Ａ２）の各ステップを実行するようになっている。
（Ａ１）複複数のカメラから同時に得られた、対象物の写っている入力画像に対して所定の処理を行うことにより、対象物の情報を含む加工画像を、カメラごとに、かつ対象物が存在し得る領域内に設定された複数の参考平面の参考平面ごとに導出する第１ステップ
（Ａ２）カメラごとに導出された、各参考平面における加工画像を参考平面ごとに統合することにより、対象物の、各参考平面における情報を導出する第２ステップ
【００１２】
本発明の対象物検出方法は、以下の（Ｂ１）および（Ｂ２）の各ステップを実行するものである。
（Ｂ１）互いに異なる視点から共通エリアの画像を取得する複数のカメラから同時に得られた、対象物の写っている入力画像に対して所定の処理を行うことにより、対象物の情報を含む加工画像を、カメラごとに、かつ対象物が存在し得る領域内に設定された複数の参考平面の参考平面ごとに導出する第１ステップ
（Ｂ２）カメラごとに導出された、各参考平面における加工画像を参考平面ごとに統合することにより、対象物の、各参考平面における情報を導出する第２ステップ
【００１３】
本発明の対象物検出装置および対象物検出方法では、複数のカメラから同時に得られた、対象物の写っている入力画像に対して所定の処理を行うことにより、カメラごとに、かつ対象物が存在し得る領域内に設定された複数の参考平面の参考平面ごとに、対象物の情報を含む加工画像が導出される。ここで、各カメラは、互いに異なる視点から共通エリアの画像を取得するので、各カメラを適切に配置することにより、例えば、複数の対象物が共通エリア内に存在する場合に、少なくとも２つのカメラから得られた入力画像から、各対象物の情報を得ることができる。また、カメラごとに導出された、各参考平面における加工画像を参考平面ごとに統合することにより、対象物の、各参考平面における情報が導出される。これにより、対象物の位置情報および高さ方向の情報を得ることができる。また、複数の対象物が共通エリア内に存在する場合には、入力画像から得られた各対象物の情報を利用して、各対象物の位置情報および高さ方向の情報を得ることができる。
【発明の効果】
【００１４】
本発明の位置検出装置および位置検出方法によれば、互いに異なる視点から共通エリアの画像を取得する複数のカメラから同時に得られた、対象物の写っている入力画像に対して所定の処理を行うことにより、カメラごとに、かつ対象物が存在し得る領域内に設定された複数の参考平面の参考平面ごとに、対象物の情報を含む加工画像を導出し、その後、カメラごとに導出された、各参考平面における加工画像を参考平面ごとに統合することにより、対象物の、各参考平面における情報を導出するようにしたので、複数の対象物が共通エリア内に存在する場合であっても、各対象物の位置情報および高さ方向の情報を得ることができる。これにより、初めからオクルージョンが発生しているか否かに拘らず、対象物の位置および３次元形状を精確に検出することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１６】
［第一の実施の形態］
図１は、本発明の第一の実施の形態に係る対象物検出装置１の概略構成を表したものである。この対象物検出装置１は、例えば、自動車やバイクなどの車両が行き交う道路上の車両（対象物）の位置および３次元形状を精確に検出するものであり、例えば、複数台のカメラ１０−ｉ（ｉ＝１，２，…ｎ：ｎは３以上の正数）からなる監視カメラ１０と、監視カメラ１０を制御すると共に監視カメラ１０で取得した画像を処理する制御部２０と、記憶部３０とを備えている。なお、カメラ１０−ｉの末尾に付されているｉには、個々のカメラ１０−ｉに付与された番号が入る。
【００１７】
複数台のカメラ１０−ｉは、例えば、電荷結合素子（ＣＣＤ）からなり、制御部２０からの撮像要求に応じて前方の画像を取得し、取得した画像を制御部２０に直ちに転送するようになっている。制御部２０からカメラ１０−ｉへの撮像要求や、カメラ１０−ｉから制御部２０への画像転送は、有線で行われてもよいし、無線で行われてもよい。
【００１８】
対象物検出装置１を使用する際には、互いに異なる視点から共通エリアの画像を取得することができるように、複数台のカメラ１０−ｉの設置位置および向きが適切に調整される。例えば、図２に模式的に示したように、中央に中央白線１２が設けられ、かつ中央白線１２の両側に追い越し白線１３が設けられた片側二車線の道路１１上の一部を監視カメラ１０の共通の撮像エリア１４とする場合には、カメラ１０−１は道路１１の一方の路側帯１１Ａ上に配置され、カメラ１０−３は道路１１の他方の路側帯１１Ａ上に配置され、カメラ１０−２は道路１１の中央白線１２上に配置され、さらに、各カメラ１０−１，１０−２，１０−３の光軸ＡＸ１，ＡＸ２，ＡＸ３が撮像エリア１４の中心を貫くように各カメラ１０−１，１０−２，１０−３の向きが調整される。このとき、路側帯１１Ａ上のカメラ１０−１，１０−３は、中央白線１２上のカメラ１０−２の両脇に配置されており、路側帯１１Ａ上のカメラ１０−１，１０−３の光軸ＡＸ１，ＡＸ３と、中央白線１２上のカメラ１０−２の光軸ＡＸ２とのなす角（上から見たときの交差角）が鋭角となっている。
【００１９】
なお、カメラ１０−１，１０−２，１０−３を設置する道路の種類は上記の例に限定されることはなく、例えば、一方通行の道路や、片側４車線の道路などであってもよい。また、カメラ１０−１，１０−２，１０−３を設置する場所についても上記の例に限定されることはなく、例えば、カメラ１０−１，１０−３を追い越し白線１３上に配置したり、カメラ１０−２を中央白線１２の真上からずれた場所に配置したりしてもよい。各カメラ１０−１，１０−２，１０−３の道路１１からの高さは、検知誤差を低減する観点からは、互いに等しいことが好ましく、車両同士の重なり合いを低減する観点からは、車両の高さよりも高いことが好ましい。また、各カメラ１０−１，１０−２，１０−３の撮像エリアが完全に一致している必要はなく、全てのカメラ１０−１，１０−２，１０−３が車両を検知したいエリアをカバーしていればよい。また、各カメラ１０−１，１０−２，１０−３の種類、サイズ、解像度などは互いに同一であってもよいし、互いに異なっていてもよい。
【００２０】
制御部２０は、例えば、ＤＳＰ（Digital Signal Processor）などにより構成されており、例えば、後述のプログラム３２を実行することにより、各カメラ１０−ｉを制御すると共に各カメラ１０−ｉによって得られた画像を処理して対象物の位置や、三次元形状、種類などを所定の演算により特定するようになっている。なお、対象物の位置や、三次元形状、種類などの検出手順については、後に詳述する。
【００２１】
記憶部３０は、例えば、ＲＡＭ（Random Access Memory）またはＨＤ（hard disk)などからなり、記憶部３０には、ルックアップテーブル３１、車両を検出するためのプログラム３２などが格納されており、必要に応じて、制御部２０で得られた演算結果などが随時格納される。なお、記憶部３０に、複数のカメラ１０−ｉから得られた、対象物の写っていない背景画像Ｉ０をあらかじめ記憶しておくことも可能である。
【００２２】
ここで、上記ルックアップテーブル３１は、一のカメラ１０−ｉの画像平面内の画像座標（Ｘｃ，Ｙｃ）（図３参照）と、一の参考平面内の三次元世界座標（Ｘｗ，Ｙｗ，ｋ）（図３参照）との対応関係を規定したものであり、カメラ１０−ｉごとおよび参考平面（後述）ごとに規定されている。ここで、参考平面とは、対象物が存在し得る領域内に設定された平面であり、三次元世界座標（Ｘｗ，Ｙｗ，Ｚｗ）においてＺ座標Ｚｗが一定の平面である。
【００２３】
このルックアップテーブル３１は、一のカメラ１０−ｉの画像平面内の画像座標（Ｘｉ，Ｙｉ）から一の参考平面内の三次元世界座標（Ｘｊ，Ｙｊ，Ｚｊ）への逆投影変換を行う逆投影変換式（式（１））において、一の参考平面内に設定された複数の特徴点の三次元世界座標（Ｘｊｗ，Ｙｊｗ，Ｚｊｗ）と、上記複数の特徴点の画像座標（Ｘｉｊｗ，Ｙｉｊｗ）とを代入することにより求められた逆投影変換行列Ｍのパラメータ（ａ０，ａ１，ａ２，ｂ０，ｂ１，ｂ２，ｃ０，ｃ１，ｃ２）を用いて求められたものである。なお、一の参考平面内に設定された複数の特徴点の三次元世界座標（Ｘｊｗ，Ｙｊｗ，Ｚｊｗ）および画像座標（Ｘｉｊｗ，Ｙｉｊｗ）は所定の方法によりあらかじめ求めておいたものである。また、（Ｘｊ，Ｙｊ，Ｚｊ）、（Ｘｊｗ，Ｙｊｗ，Ｚｊｗ）および（Ｘｉｊｗ，Ｙｉｊｗ）に付されているｊには、参考平面の番号が入り、（Ｘｉ，Ｙｉ）、（Ｘｉｊｗ，Ｙｉｊｗ）に付されているｉには、カメラ１０の番号が入り、（Ｘｉｊｗ，Ｙｉｊｗ）に付されているｗおよび式（１）の左辺に含まれているｗには、特徴点の番号が入る。
【００２４】
【数１】
2010092085.tif 000003
【００２５】
【数２】
2010092085.tif 000004
【００２６】
【数３】
2010092085.tif 000005
【００２７】
ルックアップテーブル３１は、例えば、以下のようにして求められる。まず、図３に示したように、三次元世界座標（Ｘｗ，Ｙｗ，Ｚｗ）において、Ｚｗ＝０ｍ，０．５ｍ，１．０ｍの３つの参考平面Ｌ１，Ｌ２，Ｌ３を規定すると共に、参考平面Ｌ１に４つの特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４を、参考平面Ｌ２に４つの特徴点Ｐ５，Ｐ６，Ｐ７，Ｐ８を、参考平面Ｌ３に４つの特徴点Ｐ９，Ｐ１０，Ｐ１１，Ｐ１２をそれぞれ規定する。次に、４つの特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４の三次元世界座標（Ｘ１ｗ，Ｙ１ｗ，０）およびカメラ１０−１の画像平面Ｓ内の画像座標（Ｘ１１ｗ，Ｙ１１ｗ）を式（１）に代入することにより、カメラ１０−１の画像平面Ｓ内の画像座標（Ｘ１１ｗ，Ｙ１１ｗ）から参考平面Ｌ１内の三次元世界座標（Ｘ１ｗ，Ｙ１ｗ，０）へ変換する逆投影変換行列Ｍの各パラメータの値を求める。そして、求めた各パラメータの値を用いて、カメラ１０−１の画像平面Ｓ内の画像座標（Ｘ１１ｗ，Ｙ１１ｗ）と参考平面Ｌ１内の三次元世界座標（Ｘ１ｗ，Ｙ１ｗ，０）との対応関係をテーブルに表す。このようにして、カメラ１０−１の画像平面Ｓ内の画像座標（Ｘ１１ｗ，Ｙ１１ｗ）と参考平面Ｌ１内の三次元世界座標（Ｘ１ｗ，Ｙ１ｗ，０）との対応関係を規定したルックアップテーブルを求めることができる。
【００２８】
同様にして、カメラ１０−１の画像平面Ｓ内の画像座標（Ｘ１２ｗ，Ｙ１２ｗ）と参考平面Ｌ２内の三次元世界座標（Ｘ２ｗ，Ｙ２ｗ，０．５）との対応関係を規定したルックアップテーブルや、カメラ１０−１の画像平面Ｓ内の画像座標（Ｘ１３ｗ，Ｙ１３ｗ）と参考平面Ｌ３内の三次元世界座標（Ｘ３ｗ，Ｙ３ｗ，１．０）との対応関係を規定したルックアップテーブルを求めることができる。また、他のカメラ１０−２についても、同様にして、カメラ１０−２の画像平面Ｓ内の画像座標（Ｘ２１ｗ，Ｙ２１ｗ）と参考平面Ｌ１内の三次元世界座標（Ｘ１ｗ，Ｙ１ｗ，０）との対応関係を規定したルックアップテーブルや、カメラ１０−２の画像平面Ｓ内の画像座標（Ｘ２２ｗ，Ｙ２２ｗ）と参考平面Ｌ２内の三次元世界座標（Ｘ２ｗ，Ｙ２ｗ，０．５）との対応関係を規定したルックアップテーブル、カメラ１０−２の画像平面Ｓ内の画像座標（Ｘ２３ｗ，Ｙ２３ｗ）と参考平面Ｌ３内の三次元世界座標（Ｘ３ｗ，Ｙ３ｗ，１．０）との対応関係を規定したルックアップテーブルを求めることができる。さらに、カメラ１０−３についても、同様にして、カメラ１０−３の画像平面Ｓ内の画像座標（Ｘ３１ｗ，Ｙ３１ｗ）と参考平面Ｌ１内の三次元世界座標（Ｘ１ｗ，Ｙ１ｗ，０）との対応関係を規定したルックアップテーブルや、カメラ１０−３の画像平面Ｓ内の画像座標（Ｘ３２ｗ，Ｙ３２ｗ）と参考平面Ｌ２内の三次元世界座標（Ｘ２ｗ，Ｙ２ｗ，０．５）との対応関係を規定したルックアップテーブル、カメラ１０−３の画像平面Ｓ内の画像座標（Ｘ３３ｗ，Ｙ３３ｗ）と参考平面Ｌ３内の三次元世界座標（Ｘ３ｗ，Ｙ３ｗ，１．０）との対応関係を規定したルックアップテーブルを求めることができる。
【００２９】
図４は、上で例示した複数の参考平面Ｌ１，Ｌ２，Ｌ３が実際の撮像空間（撮像エリア１４）内に設定されている様子を模式的に表したものである。なお、図４には、カメラ１０−１が図２に例示した位置に配置されているときにカメラ１０−１から得られる画像の一例が示されている。参考平面Ｌ１，Ｌ２，Ｌ３は、車両が存在し得る領域内に、路面側から順に所定の間隔で重ね合わされている。例えば、参考平面Ｌ１は、路面を含む面内に配置されており、その高さ方向の座標はゼロである。また、例えば、参考平面Ｌ２は、路面から所定の距離（例えば０．５ｍ）だけ離れた面内に配置されており、その高さ方向の座標は、参考平面Ｌ２と路面との距離（例えば０．５ｍ）である。また、例えば、参考平面Ｌ３は、路面から所定の距離（例えば１ｍ）だけ離れた面内に配置されており、その高さ方向の座標は、参考平面Ｌ２と路面との距離（例えば１ｍ）である。各参考平面Ｌ１，Ｌ２，Ｌ３には、それぞれの面内（図４ではそれぞれの面内のうち路側帯１１Ａとの対向領域）に、複数の特徴点（図４では４つの特徴点）が含まれている。各特徴点の座標は、あらかじめ計測されており、例えば、世界座標（Ｘｊｗ，Ｙｊｗ，Ｚｊｗ）および画像座標（Ｘｉｊｗ，Ｙｉｊｗ）によって表される。また、各特徴点１５のＺ座標Ｚｊｗは、当該特徴点１５が含まれる参考平面Ｌ１，Ｌ２，Ｌ３のＺ座標に等しい。
【００３０】
次に、図５を参照して、本実施の形態の対象物検出装置１における対象物の検出手順の一例について説明する。なお、図５は、以下の処理過程において導出される各種画像を、導出順に表したものである。
【００３１】
（入力画像取得）
まず、制御部２０が各カメラ１０−ｉに対して撮像要求を同時に出力する。すると、各カメラ１０−ｉによって、制御部２０からの撮像要求に応じて前方（撮像エリア１４）の画像（入力画像Ｉ１）が取得され、取得された入力画像Ｉ１（例えば図６（Ａ）〜（Ｃ））が制御部２０に直ちに転送される。このとき、例えば各カメラ１０−ｉから画像が届くまでの間に、制御部２０は記憶部３０から背景画像Ｉ０を読み出しておく。
【００３２】
（差分処理・二値化処理）
次に、各カメラ１０−ｉからの画像が制御部２０へ届くと、制御部２０は、背景画像Ｉ０と、各カメラ１０−ｉから得られた入力画像Ｉ１との差分を取り、カメラ１０−ｉごとに差分画像Ｉ２を導出する。続いて、制御部２０は、差分画像Ｉ２を所定の閾値で二値化し、カメラ１０−ｉごとに二値化画像Ｉ３（例えば図７（Ｂ））を導出する。なお、図７（Ａ）には、図７（Ｂ）の元となった入力画像Ｉ１が例示されている。
【００３３】
なお、差分を取ることにより、入力画像Ｉ１のうち背景画像Ｉ０と同じ部分（背景部分）がゼロとなり、車両の部分（前景部分）の値がゼロよりも大きくなる。従って、差分画像Ｉ２を二値化することにより、対象物の領域（対象物の情報）を抽出することができる。なお、照明条件の変化などによって、背景が時々刻々と変化するので、差分画像Ｉ２を作成する際には、常に背景画像Ｉ０を更新しておくことが好ましい。
【００３４】
（逆投影変換処理）
次に、制御部２０は、ルックアップテーブル３１を用いて、二値化画像Ｉ３を参考平面Ｌ１に逆投影変換し、カメラ１０−ｉごとに逆投影画像Ｉ４（加工画像）（例えば図８（Ｂ））を導出する。なお、図８（Ａ）には、入力画像Ｉ１（例えば図７（Ａ））を逆投影変換したときに得られる画像が例示されている。
【００３５】
続いて、制御部２０は、ルックアップテーブル３１を用いて、二値化画像Ｉ３を参考平面Ｌ２に逆投影変換し、カメラ１０−ｉごとに逆投影画像Ｉ５（加工画像）を導出する。なお、参考平面Ｌ２への逆投影変換を行う際には、式（１）中のｋは、参考平面Ｌ２の路面からの高さ、例えば０．５ｍとなる。
【００３６】
同様にして、制御部２０は、ルックアップテーブル３１を用いて、二値化画像Ｉ３を参考平面Ｌ３に逆投影変換し、カメラ１０−ｉごとに逆投影画像Ｉ６（加工画像）を導出する。なお、参考平面Ｌ３への逆投影変換を行う際には、式（１）中のｋが参考平面Ｌ３の路面からの高さ、例えば１ｍとなる。
【００３７】
（統合処理）
次に、制御部２０は、カメラ１０−ｉごとに導出された複数の逆投影画像Ｉ４を、例えば、以下に示したような確率による重み付けをした上で統合することにより、参考平面Ｌ１における確率フュージョンマップＩ７を導出する。なお、各カメラ１０−ｉのルックアップテーブル３１を求める際に世界座標（Ｘｗ，Ｙｗ，Ｚｗ）が使用されているので、逆投影画像Ｉ４、Ｉ５、Ｉ６を世界座標におけるＸＺ座標平面に統一することが可能となっている。また、一連の処理は実時間処理であるので、単純に各逆投影画像Ｉ４を加算するだけで、統合することができる。
【００３８】
各カメラ１０−ｉの計測結果を示す確率は、逆投影因子αｊ（ｘ,ｙ）および撮影精度因子βｊ（ｘ,ｙ）によって構成される。逆投影因子αｊ（ｘ,ｙ）は、図８（Ｂ）に示した背景差分後の二値化逆投影画像によって決められる。車両領域にある点の逆投影因子をＡとし，車両領域外の点の逆投影因子をＢ（Ａ＞＞Ｂ）とする。例えば、Ａが０．９５であり、Ｂが０．０５である。
【００３９】
ピンホールカメラの射影原理によって、対象物の画像計測精度が距離と反比例するので、撮影精度因子βｊ（ｘ,ｙ）は、以下の式（４）で計算される。
【００４０】
【数４】
2010092085.tif 000006
【００４１】
ここで、Ｐ０は、固定特徴点からカメラ１０−ｉまでの直線距離である。Ｋｊはカメラ１０−ｉの調整パラメータである。Ｐ（ｘ,ｙ）は画像座標に逆投影した路面点からカメラ１０−ｉまでの直線距離であり、上記した式（１）から計算される。
【００４２】
各カメラ１０−ｉの計測結果を示す確率は、式（５）に示したように、逆投影因子αｊ（ｘ,ｙ）および撮影精度因子βｊ（ｘ,ｙ）の積によって計算される。
【００４３】
【数５】
2010092085.tif 000007
【００４４】
最後に、確率フュージョンマップは、式（６）に示したように、各カメラ１０−ｉの計測結果を示す確率の累積によって計算される。
【００４５】
【数６】
2010092085.tif 000008
【００４６】
なお、カメラ１０−ｉごとに導出された複数の逆投影画像Ｉ４に対して上記に示した重み付けをした上で、複数の逆投影画像Ｉ４を統合することにより、例えば、図９に示したような確率フュージョンマップＩ７が導出される。
【００４７】
続いて、制御部２０は、カメラ１０−ｉごとに導出された複数の逆投影画像Ｉ５を、例えば、上述した確率による重み付けをした上で統合することにより、参考平面Ｌ２における確率フュージョンマップＩ８を導出する。さらに、制御部２０は、カメラ１０−ｉごとに導出された複数の逆投影画像Ｉ６を、例えば、上述した確率による重み付けをした上で統合することにより、参考平面Ｌ３における確率フュージョンマップＩ９を導出する。
【００４８】
ところで、図８（Ｂ）に示した逆投影画像Ｉ４は、図７（Ｂ）に示した二値化画像Ｉ３と対比すると分かるように、対象物の領域（白色の領域）が左側ではなく、その反対側の右側に倒れている。これは、参考平面Ｌ１に対応するルックアップテーブル３１は路面上の特徴点Ｐ１，Ｐ２，Ｐ３，Ｐ４を利用して求められたものであるので、対象物のうち路面上にある部分は逆投影変換によって、正しい位置に逆投影されるが、対象物のうち路面から離れた部分は逆投影変換によって、正しくない位置に逆投影されてしまう。その結果、カメラ１０−ｉごとに導出された複数の逆投影画像Ｉ４を、所定の重み付けをした上で統合することにより、対象物のうち路面に接する部分および路面に近接する部分の確率だけが突出して大きくなる。
【００４９】
また、カメラ１０−ｉごとに導出された複数の逆投影画像Ｉ５を、所定の重み付けをした上で統合することにより、対象物のうち参考平面Ｌ２内にある部分の確率だけが突出して大きくなる。つまり、対象物のうち参考平面Ｌ２によって切断された部分の確率だけが突出して大きくなる。また、カメラ１０−ｉごとに導出された複数の逆投影画像Ｉ６を、所定の重み付けをした上で統合することにより、対象物のうち参考平面Ｌ３内にある部分の確率だけが突出して大きくなる。つまり、対象物のうち参考平面Ｌ３によって切断された部分の確率だけが突出して大きくなる。
【００５０】
（二値化処理）
次に、制御部２０は、確率フュージョンマップＩ７を二値化することにより、参考平面Ｌ１における二値化画像Ｉ１０を導出する。これにより、対象物のうち参考平面Ｌ１によって切断された部分（対象物のうち路面に接する部分および路面に近接する部分）の画像座標が精確に特定される。続いて、制御部２０は、確率フュージョンマップＩ８を二値化することにより、参考平面Ｌ２における二値化画像Ｉ１１を導出する。これにより、対象物のうち参考平面Ｌ２によって切断された部分の画像座標が精確に特定される。さらに、確率フュージョンマップＩ９を二値化することにより、参考平面Ｌ３における二値化画像Ｉ１２を導出する。これにより、対象物のうち参考平面Ｌ３によって切断された部分の画像座標が精確に特定される。
【００５１】
（位置検出処理、３次元形状検出処理）
次に、制御部２０は、対象物のうち参考平面Ｌ１によって切断された部分（対象物のうち路面に接する部分および路面に近接する部分）の画像座標を世界座標に変換する。その結果、対象物のうち路面に接する部分および路面に近接する部分の位置および断面形状を精確に特定ことができる。続いて、制御部２０は、対象物のうち参考平面Ｌ２によって切断された部分の画像座標を世界座標に変換する。その結果、対象物のうち参考平面Ｌ２によって切断された部分の位置および断面形状を精確に特定ことができる。さらに、制御部２０は、対象物のうち参考平面Ｌ３によって切断された部分の画像座標を世界座標に変換する。その結果、対象物のうち参考平面Ｌ３によって切断された部分の位置および断面形状を精確に特定ことができる。さらに、対象物のうち各参考平面Ｌ１，Ｌ２，Ｌ３によって切断された部分の位置および断面形状から、対象物の３次元形状を精確に特定ことができる。
【００５２】
ところで、本実施の形態では、複数のカメラ１０−ｉから同時に得られた、対象物の写っている入力画像Ｉ１に対して所定の処理（例えば、差分処理、二値化処理、逆投影変換）を行うことにより、カメラ１０−ｉごとに、かつ撮像エリア１４内に設定された参考平面Ｌ１，Ｌ２，Ｌ３ごとに、対象物の情報を含む逆投影画像Ｉ４，Ｉ５，Ｉ６が導出される。ここで、各カメラ１０−ｉは、互いに異なる視点から共通の撮像エリア１４の画像を取得するので、各カメラ１０−ｉを適切に配置することにより、例えば、複数の対象物が共通の撮像エリア１４内に存在する場合に、例えば、仮にカメラ１０−１から得られた入力画像Ｉ１においてオクルージョンが発生していたときであっても、少なくとも他の２つのカメラ１０−２，１０−３から得られた入力画像Ｉ１から、各対象物の情報を得ることができる。また、カメラ１０−ｉごとに導出された、各参考平面Ｌ１，Ｌ２，Ｌ３における逆投影画像Ｉ４，Ｉ５，Ｉ６を参考平面Ｌ１，Ｌ２，Ｌ３ごとに統合することにより、各参考平面Ｌ１，Ｌ２，Ｌ３における二値化画像Ｉ１０，Ｉ１１，Ｉ１２が導出される。これにより、対象物の位置情報および高さ方向の情報を得ることができる。また、複数の対象物が共通の撮像エリア１４内に存在する場合には、入力画像Ｉ１から得られた各対象物の情報を利用して、各対象物の位置情報および高さ方向の情報を得ることができる。これにより、初めからオクルージョンが発生しているか否かに拘らず、対象物の位置および３次元形状を精確に検出することができる。
【００５３】
また、本実施の形態では、ルックアップテーブル３１を用いて、二値化画像Ｉ３を参考平面Ｌ１，Ｌ２，Ｌ３に逆投影変換し、カメラ１０−ｉごとに逆投影画像Ｉ４，Ｉ５，Ｉ６を導出するようにしたので、演算を高速に行うことができる。その結果、対象物の位置および３次元形状を高速に計測することができる。
【００５４】
また、本実施の形態では、各参考平面Ｌ１，Ｌ２，Ｌ３に含まれる複数の特徴点を用いて、逆投影変換行列Ｍの各パラメータを求めるようにしたので、複雑なカメラ位置合わせ処理を行う必要がない。
【００５５】
また、本実施の形態では、カメラ１０−ｉごとに導出された、各参考平面Ｌ１，Ｌ２，Ｌ３における逆投影画像Ｉ４，Ｉ５，Ｉ６を参考平面Ｌ１，Ｌ２，Ｌ３ごとに統合し、それを二値化することにより対象物の各参考平面Ｌ２，Ｌ３内での位置および３次元形状を求めるようにしたので、照明条件や影、対象物の形状、計測空間の制限などに影響され難い。
【００５６】
［第二の実施の形態］
図１０は、本発明の第二の実施の形態に係る対象物検出装置２の概略構成を表したものである。この対象物検出装置２は、レーザレーダ４０をさらに備えている点で、上記実施の形態の対象物検出装置１の構成と相違する。そこで、以下では、上記実施の形態との相違点について主に説明し、上記実施の形態との共通点についての説明を適宜省略するものとする。
【００５７】
レーザレーダ４０は、例えば図１１に例示したように、制御部２０からのスキャン要求に応じて前方にレーザ光４０Ａを所定の角度範囲および分解能で放射するようになっている。また、このレーザレーダ４０は、前方に放射したレーザ光の反射光を検出し、検出した反射光から前方に存在する物体の距離ｄを分解能で規定された方位θごとに計測し、計測したラインプロフィールデータ（分解能で規定された方位θごとの距離ｄ）を制御部２０に直ちに転送するようになっている。制御部２０からレーザレーダ４０へのスキャン要求や、レーザレーダ４０から制御部２０へのプロフィールデータの転送は、有線で行われてもよいし、無線で行われてもよい。なお、制御部２０からのスキャン要求は、制御部２０からの撮像要求と同期して（同時に）行われる。
【００５８】
対象物検出装置２を使用する際には、各カメラ１０−ｉによって撮影される共通の撮像エリア１４内のラインプロフィールデータを取得することができるように、レーザレーダ４０の設置位置および向きが適切に調整される。例えば、図１１に模式的に示したように、中央に中央白線１２が設けられ、かつ中央白線１２の両側に追い越し白線１３が設けられた片側二車線の道路１１上の一部を監視カメラ１０の共通の撮像エリア１４とする場合には、レーザレーダ４０は道路１１の中央白線１２上のカメラ１０−２に隣接して配置され、さらに、レーザレーダ４０のスキャン面が撮像エリア１４の中心を横切るようにレーザレーダ４０の向きが調整される。
【００５９】
なお、レーザレーダ４０を設置する道路の種類は上記の例に限定されることはなく、例えば、一方通行の道路や、片側４車線の道路などであってもよい。また、レーザレーダ４０を設置する場所についても上記の例に限定されることはなく、例えば、レーザレーダ４０を追い越し白線１３上に配置したり、カメラ１０−２から離れた場所に配置したりしてもよい。レーザレーダ４０の道路１１からの高さは、各カメラ１０−ｉの高さと互いに等しいことが好ましく、車両同士の重なり合いを低減する観点からは、車両の高さよりも高いことが好ましい。また、レーザレーダ４０のスキャンエリアが各カメラ１０−１，１０−２，１０−３の撮像エリアと完全に一致している必要はなく、レーザレーダ４０のスキャンエリアが車両を検知したいエリアをカバーしていればよい。
【００６０】
次に、本実施の形態の対象物検出装置２における対象物の検出手順の一例について説明する。
【００６１】
（キャリブレーション）
まず、対象物を実際に検出する前に、レーザレーダ４０から得られたラインプロフィールデータ（θ，ｄ）と三次元世界座標（Ｘｗ，Ｙｗ，Ｚｗ）との相対的な位置関係を求めておく。求めた相対的な位置関係のデータ（以下、単に「相対位置データ」と称する。）を記憶部３０に格納しておく。
【００６２】
なお、レーダ平面の３次元座標系と３次元世界座標系との位置関係は、３次元回転Ｒと並進Ｔ行列によって求められる。一般的に、３次元世界座標が既知であるところにレーダの反射板（リフレクタ）を設置して、反射板のうち少なくとも８箇所においてレーダのデータを記録する。これにより、理論的には、上記回転Ｒと並進Ｔ行列を導出することができる。
【００６３】
（入力画像取得）
次に、対象物の検出動作に入る。具体的には、まず、上記実施の形態と同様、制御部２０が各カメラ１０−ｉに対して撮像要求を同時に出力する。すると、各カメラ１０−ｉによって、制御部２０からの撮像要求に応じて前方（撮像エリア１４）の画像（入力画像Ｉ１）が取得され、取得された入力画像Ｉ１が制御部２０に直ちに転送される。
【００６４】
（差分処理、二値化処理、逆投影変換処理、統合処理）
次に、各カメラ１０−ｉからの画像が制御部２０へ届くと、制御部２０は、上記実施の形態と同様の各種処理（差分処理、二値化処理、逆投影変換処理、統合処理）を行うことにより、確率フュージョンマップＩ７，Ｉ８，Ｉ９を導出する。
【００６５】
（二値化処理、位置・断面形状検出処理）
続いて、制御部２０は、上記実施の形態と同様、確率フュージョンマップＩ７，Ｉ８，Ｉ９を二値化することにより、参考平面Ｌ１における二値化画像Ｉ１０，Ｉ１１，Ｉ１２を導出したのち、対象物のうち参考平面Ｌ１，Ｌ２，Ｌ３によって切断された部分の画像座標を世界座標に変換する。これにより、対象物のうち参考平面Ｌ１，Ｌ２，Ｌ３によって切断された部分の位置および断面形状が特定される。
【００６６】
（ラインプロフィールデータ取得）
また、制御部２０は各カメラ１０−ｉへの撮像要求と同期して（同時に）レーザレーダ４０に対してスキャン要求を出力する。すると、レーザレーダ４０によって、制御部２０からのスキャン要求に応じて前方（撮像エリア１４）のラインプロフィールデータ（θ，ｄ）が取得され、取得されたラインプロフィールデータ（θ，ｄ）が制御部２０に直ちに転送される。
【００６７】
（変換処理）
次に、レーザレーダ４０からのラインプロフィールデータ（θ，ｄ）が制御部２０へ届くと、制御部２０は、記憶部３０に格納された相対位置データを利用して、ラインプロフィールデータ（θ，ｄ）を三次元世界座標（Ｘｗ，Ｙｗ，Ｚｗ）に変換し、変換データを導出する。
【００６８】
（合成処理）
次に、制御部２０は、例えば、図１２（Ａ）に模式的に示したように、対象物のうち参考平面Ｌ１，Ｌ２，Ｌ３によって切断された部分の三次元世界座標（Ｘｗ，Ｙｗ，ｋ）（図中の実践部分１５）と、レーザレーダ４０から得られた三次元世界座標（Ｘｗ，Ｙｗ，Ｚｗ）（図中の破線部分１６）とを合成し、合成データを作製する。その後、例えば、図１２（Ｂ），（Ｃ），（Ｄ）に模式的に示したように、レーザレーダ４０から変換データが得られるたびに、先に得られた合成データに変換データを合成し、検出対象物の３次元形状を詳細に特定していく。その結果、例えば、図１２（Ｅ）に示したように、検出対象物１７の３次元形状を精確に特性することができる。
【００６９】
このように、本実施の形態では、レーザレーダ４０から得られた変換データを利用するようにしたので、検出対象物の３次元形状をより一層、精確に特性することができる。また、これにより、夜間や悪天候においても、検出対象物の位置や３次元形状を確実に特定することが可能である。
【００７０】
以上、２つの実施の形態を挙げて本発明を説明したが、本発明は、これらに限定されるものではなく、種々の変形が可能である。例えば、上記各実施の形態では、本発明を、道路情報の収集を目的とした位置検出装置に適用した場合について説明していたが、画像処理によって対象物の位置や形状などを検知する必要のある技術分野、例えば電子基板の検査における部品の３次元計測や、リードの３次元交差関係などを計測する装置に対してももちろん適用可能である。
【図面の簡単な説明】
【００７１】
【図１】本発明の第一の実施の形態に係る位置検出装置の概略構成図である。
【図２】図１の監視カメラの配置について説明するための模式図である。
【図３】各種座標系について説明するための模式図である。
【図４】参考平面の設定について説明するための模式図である。
【図５】対象物の検出過程において導出される各種画像を導出順に表した流れ図である。
【図６】カメラから取得した画像の一例を表すものである。
【図７】カメラから取得した画像と、差分画像との関係について表した関係図である。
【図８】カメラから取得した画像を逆投影変換したものと、差分画像を逆投影変換したものとの関係について表した関係図である。
【図９】確率フュージョンマップの一例を表すものである。
【図１０】本発明の第二の実施の形態に係る位置検出装置の概略構成図である。
【図１１】図１０の監視カメラおよびレーザレーダの配置について説明するための模式図である。
【図１２】カメラから得られた座標データとレーザレーダから得られた座標データとの合成について説明するための模式図である。
【符号の説明】
【００７２】
１，２…対象物検出装置、１０…監視カメラ、１０−１，１０−２，１０−３，１０−ｉ…カメラ、１１…道路、１２…中央白線、１３…追い越し白線、１４…撮像エリア、１５…実線部分、１６…破線部分、１７…検出対象物、２０…制御部、３０…記憶部、３１…ルックアップテーブル、３２…プログラム、４０…レーザレーダ、４０Ａ…レーザ光、ＡＸ１，ＡＸ２，ＡＸ３…光軸、Ｌ１〜Ｌ３…参考平面、Ｐ１〜Ｐ１２…特徴点、Ｓ…画像平面。
【図１】
2010092085.tif 000009
【図２】
2010092085.tif 000010
【図３】
2010092085.tif 000011
【図４】
2010092085.tif 000012
【図５】
2010092085.tif 000013
【図６】
2010092085.tif 000014
【図７】
2010092085.tif 000015
【図８】
2010092085.tif 000016
【図９】
2010092085.tif 000017
【図１０】
2010092085.tif 000018
【図１１】
2010092085.tif 000019
【図１２】
2010092085.tif 000020