(57)【要約】  【課題】撮像画像上における同一物が写されている領域を判定する。  【解決手段】追跡可能領域検出部３０は、撮像部１０により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出する。高さ比算出部６０は、追跡可能領域検出部３０により検出された異なる２つの追跡可能領域の撮像画像上のｙ座標の比を算出する。領域分類部７０は、高さ比算出部６０によって算出されたｙ座標の比の時間変化量が所定のしきい値以下の領域を同一物が写っている領域として検出する。  【選択図】図１
2006079188.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置されて車両の周囲を撮像する撮像手段と、
前記撮像手段により撮像された画像を複数の領域に区分する領域区分手段と、
前記領域区分手段により区分された各領域のうち、移動体を追跡可能な追跡可能領域を検出する追跡可能領域検出手段と、
前記追跡可能領域検出手段により検出された異なる２つの追跡可能領域を対象として、実空間上の高さ方向に対応する画像上の座標値の比を算出する座標比算出手段と、
前記撮像手段によって、異なるタイミングにて撮像された複数の画像に基づいて、前記座標比算出手段により算出された座標値の比の時間変化量を算出する座標比時間変化量算出手段と、
前記座標比時間変化量算出手段により算出された座標値の比の時間変化量に基づいて、前記座標値の比を算出した２つの追跡可能領域が、同一物が撮像されている領域（以下、同一物領域と呼ぶ）であるか否かを判定する同一物領域判定手段とを備えることを特徴とする画像領域分類装置。
【請求項２】
請求項１に記載の画像領域分類装置において、
前記同一物領域判定手段は、前記座標値の比の時間変化量の絶対値が所定のしきい値以下である場合に、前記座標値の比を算出した２つの追跡可能領域が同一物領域であると判定することを特徴とする画像領域分類装置。
【請求項３】
請求項１または２に記載の画像領域分類装置において、
前記同一物領域判定手段は、一度、同一物領域であるか否かの判定を行うと、その後は、前記追跡可能領域検出手段によって新たに検出された追跡可能領域から所定範囲内の領域に対して、前記同一物領域であるか否かの判定処理を行うことを特徴とする画像領域分類装置。
【請求項４】
請求項１〜３のいずれかに記載の画像領域分類装置において、
前記座標比算出手段は、前記撮像手段により撮像された画像の垂直方向をｙ軸とした時に、前記追跡可能領域検出手段により検出された異なる２つの追跡可能領域のｙ座標の比を算出し、
前記座標比時間変化量算出手段は、前記座標比算出手段によって算出されたｙ座標の比の時間変化量を算出し、
前記同一物領域判定手段は、座標比時間変化量算出手段により算出されたｙ座標の比の時間変化量に基づいて、前記ｙ座標の比を算出した２つの追跡可能領域が、同一物領域であるか否かを判定することを特徴とする画像領域分類装置。
【請求項５】
請求項１〜４のいずれかに記載の画像領域分類装置において、
前記追跡可能領域検出手段は、複数の方向に濃淡変化を有する領域を前記追跡可能領域として検出することを特徴とする画像領域分類装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段により撮像した画像内において、同一の物体が写っている領域ごとに分類する画像領域分類装置に関する。
【背景技術】
【０００２】
車両に搭載したカメラにより撮像された画像に基づいて、移動体を検出する装置が知られている（特許文献１参照）。この従来の検出装置では、撮像画像中の水平エッジ成分および垂直エッジ成分を抽出し、抽出したエッジ成分に基づいて、車両の両側端部を表す垂直エッジ成分を検出している。
【０００３】
【特許文献１】特開平２０００−１１３２０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の検出装置は、画像中の垂直エッジ成分の中から車両を表す条件（車幅および車高に係わる基準条件）に基づいて車両の両側端部を表す垂直エッジ成分を検出しているので、車両の種類や車両との位置関係が変わると車両を表す条件も変わってしまうために、撮像画像のうち、車両が写っている画像領域を特定することができないという問題があった。
【課題を解決するための手段】
【０００５】
本発明による画像領域分類装置は、複数の領域に区分された撮像画像において、移動体を追跡可能な追跡可能領域を検出し、異なる２つの追跡可能領域を対象として、実空間上の高さ方向に対応する画像上の座標値の比の時間変化量に基づいて、座標値の比を算出した２つの追跡可能領域が、同一物が撮像されている領域であるか否かを判定することを特徴とする。
【発明の効果】
【０００６】
本発明による画像領域分類装置によれば、異なる２つの追跡可能領域の座標値の比の時間変化量に基づいて、同一物が撮像されている画像領域を判定することができるので、撮像されている物体の構造などの特徴に関わらず、同一の物体が写っている画像領域を特定することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、一実施の形態における画像領域分類装置の構成を示す図である。一実施の形態における画像領域分類装置は、撮像部１０と、画像記憶部２０と、追跡可能領域検出部３０と、追跡領域情報記憶部４０と、局所領域追跡部５０と、高さ比算出部６０と、領域分類部７０とを備える。
【０００８】
撮像部１０は、例えば、ビデオカメラであり、車両前方を一定時間間隔にて撮像する。カメラの左右方向の光軸は、車両の直進方向と一致させ、上下方向の光軸は、水平となるようにカメラを設置する。撮像部１０により撮像された画像は、画像記憶部２０に記憶される。
【０００９】
追跡可能領域検出部３０は、撮像部１０により撮像され、画像記憶部２０に記憶されている画像に基づいて、移動体の追跡が可能な領域を検出する。画像上において、道路上の白線のように一様な濃淡変化を持つ領域では、その濃淡の方向と垂直な方向（白線が伸びている方向）に対象（移動体）が移動しても、対象の移動量を検出することはできない。従って、対象を追跡可能な領域は、複数の方向に濃淡変化を有する領域となる。このような領域の検出方法について説明する。
【００１０】
追跡可能領域検出部３０は、画像記憶部２０に記憶されている画像を読み出し、縦方向および横方向のエッジを検出するためのフィルタをかけ、エッジの縦、横の成分の大きさ（ｄＩ／ｄｘ，ｄＩ／ｄｙ：Ｉは画素値）をそれぞれ求める。次に、検出されたエッジに含まれるノイズ成分を除去するために、求めた縦、横のエッジ成分の大きさの２乗和がしきい値ｔｈ１以上の画素を抽出し、抽出した画素について、エッジの縦方向成分と横方向成分の大きさの比を求めることにより、濃度勾配方向を求める。
【００１１】
次に、ノイズが除去された後のエッジが示されている画像を縦方向および横方向に等間隔に格子状に分割する。図２は、上述した方法により、撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した領域を示す図である。この分割された各領域ごとに、エッジの縦方向成分と横方向成分の大きさの比の分散値を求める。この場合、分割された矩形領域内のエッジ勾配方向が一方向しかなければ、分散値は小さくなり、複数方向のエッジ勾配を持つ場合には、分散値は大きくなる。従って、求めた分散値が所定のしきい値ｔｈ２より小さければ、エッジ勾配方向は一方向である可能性が高く、濃度勾配と垂直な方向に移動する物体を検出することは難しいと判断する。一方、求めた分散値が所定のしきい値ｔｈ２以上であれば、複数方向のエッジ勾配を有しており、移動体がいずれの方向に移動しても追跡可能と判断できる。追跡可能領域検出部３０は、求めた分散値が所定のしきい値ｔｈ２以上の領域を追跡可能領域と判断する。図２の撮像画像に基づいて、追跡可能領域と判断された矩形領域を図３に示す。
【００１２】
追跡可能領域検出部３０は、撮像部１０によって時間Δｔの間隔にて撮像される画像に基づいて、新たな追跡可能領域を検出する。追跡可能領域検出部３０により、追跡可能領域と判断された領域は、その領域の位置、および、原画像の画像パターンを、各矩形領域ごとに割り振られている識別番号に対応させて追跡領域情報記憶部４０に記憶される。以下では、追跡領域情報記憶部４０に記憶された画像パターンを基準パターンと呼ぶ。
【００１３】
局所領域追跡部５０は、撮像部１０により撮像された新たな画像が画像記憶部２０に入力されると、異なるタイミングにて撮像された２つの画像に基づいて、追跡可能領域検出部３０により検出された追跡可能領域の移動先および移動量を検出する。移動先および移動量の検出方法について説明する。
【００１４】
追跡可能領域の周囲に、移動先を検出するための探索領域を設け、その探索領域内で基準パターン位置を１画素ずつずらしながら、新規画像との相関値を演算する。この場合、演算した相関値がしきい値ｔｈ３以上であり、かつ、最大となる領域が追跡可能領域の移動先として検出される。基準パターン位置は、１画素単位で移動させる（ずらす）ので、移動先の位置も１画素単位でしか得られないが、周囲の領域に対する複数の相関値を用いて補間演算を行うことにより、相関値が最大となる位置（移動先）を１画素以下の精度で求めることができる。求めた移動先に基づいて算出される追跡可能領域の移動量は、水平方向ｘ、垂直方向ｙの各方向成分として表される。
【００１５】
局所領域追跡部５０により求められた移動先の位置および移動量は、識別番号ごとに追跡領域情報記憶部４０に記憶される。従って、追跡領域情報記憶部４０には、追跡可能領域ごとに、識別番号、現在の座標、基準パターンが記憶されるとともに、後述する分類番号も記憶される。ただし、新規画像との相関値がしきい値ｔｈ３未満の場合には、画像中の同一の部位が移動したと判断することはできないので、対象となっている追跡可能領域に関する情報を初期化する。また、追跡可能領域の始点座標が水平方向ｘ、垂直方向ｙの一定範囲から外れた場合にも、その追跡可能領域に関する情報を初期化する。これは、画像上における静止物や自車両の移動方向と異なる方向に移動する移動体は、自車両の移動に伴って消失点から周辺方向に移動していくので、時間の経過とともに撮像範囲の外に出るからである。初期化された追跡可能領域に関しては、移動体が写っている領域、すなわち、移動体領域であるか否かの判断は行われない。
【００１６】
高さ比算出部６０は、追跡領域情報記憶部４０に記憶されている追跡可能領域の画像上のｙ座標値（実空間上の高さ方向に対応する座標値）に基づいて、異なる追跡可能領域のｙ座標値の比を算出する。図４は、追跡対象物および撮像部１０を横から見たモデル図である。路面から撮像部１０の光軸までの高さをＨc、路面から対象物の追跡部位までの高さをＨ、撮像部１０のレンズから対象物までの距離をＬ、レンズの焦点距離をｆとすると、次式（１）が成立する。式（１）中のｙは、追跡部位の画像上のｙ座標値である。
Ｈc−Ｈ＝ｙ×Ｌ／ｆ                            …（１）
【００１７】
ここで、第１の追跡対象物までの距離をＬ１、高さをＨ１、撮像画像上におけるｙ座標値をｙ１とし、第２の追跡対象物までの距離をＬ２、高さをＨ２、撮像画像上におけるｙ座標値をｙ２とすると、式（１）より、次式（２）の関係が成立する。
｛（Ｈc−Ｈ１）×Ｌ２｝／｛（Ｈc−Ｈ２）×Ｌ１｝＝ｙ１／ｙ２            …（２）
また、Ｌ１＝Ｌ２とすると、次式（３）が成立する。
（Ｈc−Ｈ１）／（Ｈc−Ｈ２）＝ｙ１／ｙ２                  …（３）
【００１８】
図５は、撮像部１０のレンズから同一距離にある２つの追跡対象部位のｙ座標の比の時間的変化と、異なる距離にある２つの追跡対象部位のｙ座標の比の時間的変化をそれぞれ示す図である。式（３）から明らかなように、撮像部１０が移動すると、距離Ｌ１およびＬ２が変化するため、異なる距離に存在する物体の撮像画像上のｙ座標比は変化する。しかし、距離Ｌ１およびＬ２が等しい場合には、式（３）から明らかなように、撮像部１０が移動しても、撮像画像上のｙ座標比は変化しない。撮像部１０によって同一物体を撮像した場合、撮像される各部位までの距離は、所定の範囲内にあると考えられるため、ｙ座標の比の変化量も所定の範囲内にある。従って、２つの追跡可能領域のｙ座標の比を求め、その時間変化量が所定範囲内にある場合には、その２つの領域は、同一物が撮像されている領域（以下では、同一物領域と呼ぶ）であると判断する。
【００１９】
高さ比算出部６０は、追跡領域情報記憶部８０に記憶されている複数の追跡可能領域のうち、２つの追跡可能領域の画像中のｙ座標の比を算出する。例えば、追跡可能領域がｎ個ある場合には、２つの追跡可能領域を抽出する組み合わせがｎ・（ｎ−１）／２組あるので、ｎ・（ｎ−１）／２個のｙ座標の比を算出し、図示しないメモリに記憶する。図示しないメモリには、所定時間ごとに算出されるｙ座標の比を順次記憶し、過去のｍ回分の算出結果を記憶しておく。
【００２０】
領域分類部７０は、まず、高さ比算出部６０で算出されたｙ座標の比の時間的変化量を求める。ここでは、高さ比算出部６０の図示しないメモリに記憶されているｍ個のｙ座標比の算出値に基づいて、近似直線を求め、求めた近似直線の傾きを算出することにより、ｙ座標の比の時間的変化を求める。次に、求めたｙ座標の比の時間的変化量の絶対値と、所定のしきい値とを比較し、ｙ座標の比の時間的変化量の絶対値が所定のしきい値以下である場合には、演算を行った２つの追跡可能領域が同一物領域であると判断する。領域分類部７０は、さらに、同一物領域であるか否かの判断結果に基づいて、後述する方法により、各領域を分類する。
【００２１】
上述したように、追跡領域情報記憶部４０に記憶されている追跡可能領域には、識別番号が順に割り振られている。領域分類部７０は、識別番号の低い追跡可能領域から順に同一物領域の判断を行い、同一物領域であると判断した全ての領域に対して、領域分類番号１を付与する。続いて、次に識別番号の低い追跡可能領域に対して、同一物領域であるか否かの判定を行っていき、同一物領域と判断された領域に領域分類番号２を付与する。同様の手順により、領域分類番号が付与されていない全ての領域に対して、同一物領域であるか否かの判定を行い、同一物領域と判断された領域に対して、領域分類番号を付与していく。
【００２２】
図６は、図３に示す追跡可能領域に基づいて、同一領域ごとに分類した結果を示す図である。図６では、分類結果を視覚的に明確にするために、同一の模様を用いて、同一物領域と判断された領域を表現している。
【００２３】
なお、一度、同一物領域の判定処理を行うと、次に入力される撮像画像において、同一物領域と判定された領域に対して同一物領域であるか否かの判定処理を行う必要はない。従って、領域分類部７０は、追跡可能領域検出部３０によって新たに検出された追跡可能領域の周囲の領域（追跡可能領域から所定範囲内の領域）に対して、同一物領域の判定処理を行う。これにより、同一物領域の判定処理が行われた後に行われる同一物領域の判定処理の演算量を大幅に低減することができる。
【００２４】
図７は、一実施の形態における画像領域分類装置によって行われる処理手順を示すフローチャートである。ステップＳ１０から始まる処理は、図示しないイグニッションスイッチがオンされることにより始まる。ステップＳ１０では、追跡領域情報記憶部４０に記憶されている追跡領域情報を初期化して、ステップＳ２０に進む。ステップＳ２０では、撮像部１０により撮像された画像を画像記憶部２０に記憶して、ステップＳ３０に進む。
【００２５】
ステップＳ３０では、追跡可能領域検出部３０によって、画像記憶部２０に記憶されている画像に基づいて、追跡可能領域を検出する。追跡可能領域の検出方法は上述したので、詳しい説明は省略する。追跡可能領域を検出するとステップＳ４０に進む。ステップＳ４０では、局所領域追跡部５０によって、ステップＳ２０で撮像された画像、および、撮像間隔Δｔにて新たに撮像された画像に基づいて、追跡可能領域の移動先の位置を検出する。移動先の検出方法は上述したので、詳しい説明は省略する。追跡可能領域の移動先を検出すると、ステップＳ５０に進む。
【００２６】
ステップＳ５０では、異なる２つの追跡可能領域のｙ座標の比を算出する。ｙ座標の比の算出方法は上述したので、ここでは、詳しい説明は省略する。ステップＳ５０に続くステップＳ６０では、領域分類部７０によって、ステップＳ５０で算出したｙ座標の比の時間的変化に基づいて、追跡可能領域の分類を行う。追跡可能領域の分類方法は上述したので、ここでは詳しい説明は省略する。以後、撮像間隔Δｔの周期で、ステップＳ２０以降の処理が繰り返し行われる。
【００２７】
一実施の形態における画像領域分類装置による領域分類方法についてまとめておく。追跡可能領域検出部３０は、撮像部１０により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出する。高さ比算出部６０は、追跡可能領域検出部３０により検出された異なる２つの追跡可能領域の撮像画像上のｙ座標の比を算出する。領域分類部７０は、高さ比算出部６０によって算出されたｙ座標の比の時間変化量に基づいて、ｙ座標の比を算出した２つの追跡可能領域が同一物領域であるか否かを判定する。これにより、撮像画像上において、車両等の移動体を検出する場合、複数の領域に区分された撮像画像の全ての領域に対して移動体検出処理を行う必要がなくなり、同一物領域と判断された領域に対しては、それらの領域をひとまとめとして移動体検出処理を行えばよいので、演算量を大幅に低減することができる。
【００２８】
車両のエッジの特徴に基づいて、撮像画像上における車両を検出する従来の方法では、検出対象となる車両の一部が他車両や建造物によって隠れて、エッジの一部が検出できない場合に、車両を検出することができない可能性がある。この場合には、撮像画像を同一物領域ごとに分類することができないが、一実施の形態における画像領域分類装置では、車両の一部が隠れている場合でも、同一物が写っている領域ごとに撮像画像を分類することができる。
【００２９】
また、一実施の形態における画像領域分類装置によれば、一度、同一物領域の判定処理が行われた後は、追跡可能領域検出部３０によって新たに検出された追跡可能領域の周囲の領域（追跡可能領域から所定範囲内の領域）に対して、同一物領域の判定処理を行うので、同一物領域の判定処理の演算量を大幅に低減することができる。
【００３０】
本発明は、上述した一実施の形態に限定されることはない。例えば、一実施の形態における画像領域分類装置で同一物領域ごとに分類された画像に基づいて、車両等の移動体を検出する移動体検出部をさらに備えるようにしてもよい。
【００３１】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、撮像部１０が撮像手段を、追跡可能領域検出部３０が領域区分手段および追跡可能領域検出手段を、高さ比算出部６０が座標比算出手段を、領域分類部７０が座標比時間変化量算出手段および同一物領域判定手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【００３２】
【図１】本発明による画像領域分類装置の一実施の形態の構成を示す図
【図２】撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した様子を示す図
【図３】図２の撮像画像に基づいて、追跡可能領域と判断された矩形領域を示す図
【図４】追跡対象物および撮像部を横から見たモデル図
【図５】同一距離にある２つの追跡対象部位のｙ座標の比の時間的変化と、異なる距離にある２つの追跡対象部位のｙ座標の比の時間的変化をそれぞれ示す図
【図６】追跡可能領域を同一物領域ごとに分類した結果を示す図
【図７】一実施の形態における画像領域分類装置によって行われる処理手順を示すフローチャート
【符号の説明】
【００３３】
１０…撮像部、２０…画像記憶部、３０…追跡可能領域検出部、４０…追跡領域情報記憶部、５０…局所領域追跡部、６０…高さ比算出部、７０…領域分類部
【図１】
2006079188.tif 000003
【図２】
2006079188.tif 000004
【図３】
2006079188.tif 000005
【図４】
2006079188.tif 000006
【図５】
2006079188.tif 000007
【図６】
2006079188.tif 000008
【図７】
2006079188.tif 000009