(57)【要約】【課題】物体検出装置及び方法を提供する。【解決手段】該方法は、画像中のエッジを抽出するステップと、エッジを区切るステップと、サンプル自体の角度とサンプルの参考角度の関連データを取得するステップと、区切られた後のエッジ毎に、該エッジ自体の角度を取得するステップと、検出した自体の角度及び取得したサンプル自体の角度とサンプルの参考角度の関連データに基づき、検出した自体の角度に対応の参考角度を取得するステップと、エッジ上の所定点から直線を引き、該直線と該エッジからなる角度が取得される参考角度に等しいステップと、それぞれの直線間の交点の中から、交点を通る直線の数に基づき、物体の参考点を確定するステップと、その所定点から引かれた直線が該確定した物体の参考点を通るエッジを保留するステップと、保留されたエッジに基づいて物体を検出するステップと、を含む。該物体検出装置及び方法は画像中の対象の寸法の変化による影響を受け難く、物体を正確に位置決め、検出することができる。【選択図】図２
2015082323.tif 000002
【特許請求の範囲】
【請求項１】
画像中の検出待ち物体を検出する物体検出方法であって、
画像を受信するステップと、
画像中のエッジを抽出するステップと、
抽出したエッジを区切り、区切った後のエッジを得るステップと、
サンプル自体の角度とサンプルの参考角度とを関連付け、サンプル自体の角度は物体サンプル画像中のエッジセグメントと所定方向の直線からなる角度を表し、サンプルの参考角度はエッジ上の所定点と物体上の参考点との間を繋ぐ線とエッジからなる角度を表すサンプル自体の角度とサンプルの参考角度の関連データを取得するステップと、
区切られた後のエッジ毎に、該エッジと該所定方向の直線からなる角度を取得して検出した自体の角度とするステップと、
検出した自体の角度及び取得したサンプル自体の角度とサンプルの参考角度の関連データに基づき、検出した自体の角度に対応する参考角度を取得するステップと、
エッジ上の所定点から直線を引き、該直線は該エッジとの角度が得られた検出した自体の角度に対応する参考角度に等しいステップと、
それぞれの直線間の交点の中から、交点を通る直線の数に基づき、物体の参考点を確定するステップと、
その所定点から引かれた直線が確定された物体の参考点を通るエッジを保留するステップと、
保留されたエッジに基づいて物体を検出するステップと、を備える、ことを特徴とする物体検出方法。
【請求項２】
物体の１つまたは複数のサンプル画像に対し、
物体のエッジを抽出することと、
物体の参考点を確定することと、
物体のエッジを区切り、区切られた後のエッジを得ることと、
区切られた後のエッジ毎に、該エッジと該所定方向の直線からなる角度をサンプル自体の角度とし、該エッジ上の所定点と物体上の参考点との間を繋ぐ線と該エッジからなる角度を取得してサンプルの参考角度とすることと、
取得したエッジのサンプル自体の角度を、対応のサンプルの参考角度の取り値に関連づけて記憶することと、を含む、
サンプル自体の角度とサンプルの参考角度の関連データを用意するステップをさらに備える、ことを特徴とする請求項１に記載の物体検出方法。
【請求項３】
前記物体の参考点は物体の質量中心である、ことを特徴とする請求項１または２に記載の物体検出方法。
【請求項４】
前記画像は視差マップであり、物体のエッジに対して区切るエッジの長さは該エッジの視差によって異なり、視差が小さいほど、エッジの長さが小さくなり、または、前記画像はグレースケールマップであり、且つ関連する撮像カメラと被撮像対象との距離情報を有し、物体のエッジに対して区切るエッジの長さは関連する距離によって異なり、距離が遠いほど、エッジの長さが小さくなる、ことを特徴とする請求項１または２に記載の物体検出方法。
【請求項５】
サンプル自体の角度値と対応のサンプルの参考角度の取り値を関連づけることは、前記サンプル自体の角度値、サンプルの参考角度の取り値、該参考角度の取得値は相互に関連し、前記それぞれの直線間の交点の中から、交点を通る直線の数に基づき、物体の参考点を確定する操作において、交点を通る直線の数はそれぞれの直線に対応のサンプルの参考角度の取り値の重みを考慮して確定された加重後の直線の数である、請求項１または２に記載の物体検出方法。
【請求項６】
エッジの一サンプル自体の角度値が複数の対応のサンプルの参考角度の取り値を有する時、対応のサンプルの参考角度の取り値毎の重みは、該サンプルの参考角度の取り値が現れる確率により確定される、ことを特徴とする請求項５に記載の物体検出方法。
【請求項７】
前記エッジ上の所定点はエッジの中点または端点である、ことを特徴とする請求項１に記載の物体検出方法。
【請求項８】
検出待ち物体の画像につき、一エッジに対して検出した自体の角度にそれと同一の記憶したエッジのサンプル自体の角度値が存在しない時は、
該エッジを飛び越えて後続のエッジを処理すること、
該エッジの検出した自体の角度に最も近い記憶したエッジのサンプル自体の角度値を探して、最も近い記憶したエッジのサンプル自体の角度値に対応するサンプルの参考角度を取得し、エッジの検出した自体の角度に対応する参考角度とすること、
該エッジの検出した自体の角度に最も近い記憶したエッジのサンプル自体の角度値を探して、両者の差が所定の差の閾値より小さいかどうかを確定し、両者の差が所定の差の閾値より小さい時、最も近い記憶したエッジのサンプル自体の角度値に対応するサンプルの参考角度を取得し、エッジの検出した自体の角度に対応する参考角度とすること、
のうちのいずれかの処理を行う、請求項１に記載の物体検出方法。
【請求項９】
画像中の検出待ち物体を検出する物体検出装置であって、
互いに関連付けられた、物体サンプル画像中のエッジセグメントと該所定方向の直線からなる角度を表すサンプル自体の角度と、エッジ上の所定点と物体上の参考点との間を繋ぐ線とエッジからなる角度を表すサンプルの参考角度との関連データを取得するためのサンプル自体の角度とサンプルの参考角度の関連取得手段と、
画像を受信する画像受信手段と、
画像中のエッジを抽出するエッジ抽出手段と、
抽出したエッジを区切り、区切った後のエッジを得るエッジセグメント手段と、
それぞれ区切った後のエッジに対して該エッジと該所定方向の直線からなる角度を取得して検出した自体の角度とするための自体の角度取得手段と、
検出した自体の角度に基づき、サンプル自体の角度とサンプルの参考角度の関連から取得したサンプル自体の角度とサンプルの参考角度の関連データを参考して、検出した自体の角度に対応の参考角度を取得するための参考角度取得手段と、
エッジ上の所定点から、該エッジとなす角度が、取得される検出した自体の角度に対応する参考角度と等しくなる直線を引くための直線引出し手段と、
それぞれの直線間の交点の中から、交点を通る直線の数に基づき、物体の参考点を確定するための参考点確定手段と、
その所定点から引かれた直線が該確定された物体の参考点を通るエッジを保留するためのエッジ保留手段と、
保留されたエッジに基づいて物体を検出するための物体検出手段と、を備える、ことを特徴とする物体検出装置。
【請求項１０】
物体の１つまたは複数のサンプル画像に対し、
物体のエッジを抽出し、
物体の参考点を確定し、
物体のエッジを区切り、区切られた後のエッジを得、
区切られた後のエッジ毎に、該エッジと該所定方向の直線からなる角度をサンプル自体の角度として取得し、該エッジ上の所定点と物体上の参考点との間を繋ぐ線と該エッジからなる角度をサンプルの参考角度として取得し、
取得したエッジのサンプル自体の角度を、対応のサンプルの参考角度の取り値に関連づけて記憶するように配置された、サンプル自体の角度とサンプルの参考角度の関連データ用意手段をさらに備える、請求項９に記載の物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全体的に画像処理に係り、具体的に、物体検出方法及び装置に係る。
【背景技術】
【０００２】
画像中の特定形状の物体を検出する技術が既に提案されている。
【０００３】
D.  H.  Ballard,  University  of  Rochester等の文章「Generalizing  the  Hough  Transform  to  Detect  Arbitrary  Shapes」,  Pattern  Recognition  13.2:111-122,  1981において、一般化ハフ変換により任意形状を検出する方法が提案されている。該方法の目標は１つの任意図形を検出するものであり、具体的なやり方は図形エッジ上の全ての点をスキャンしてから、次の角度と距離のパラメータ対を記録し、且つハフ空間内に対応するのである。
【０００４】
QIN  Kaihuai,  WANG  Haiying,  ZHENG  Jitao,  Tsinghua  University等の文章「A  Unified  Approach  Based  on  Hough  Transform  for  Quick  Detection  of  Circles  and  Rectangles」,  Vol.15,  No.1,  Journal  of  Image  and  Graphics,  Jan  2010には、角度情報を用いて累積形状の角度値を取得し、これに基づいて物体の形状を区分する、ハフ変換に基づいて円形と矩形を高速に区分する技術が提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、画像中の対象の寸法の変化による影響を受けるのが比較的少なく、物体を正確に位置決め、検出することができる物体検出方法及び装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一側面によれば、画像中の検出待ち物体を検出する物体検出方法であって、画像を受信するステップと、画像中のエッジを抽出するステップと、抽出したエッジを区切り、区切った後のエッジを得るステップと、サンプル自体の角度とサンプルの参考角度とを関連付け、サンプル自体の角度は物体サンプル画像中のエッジセグメントと所定方向の直線からなる角度を表し、サンプルの参考角度はエッジ上の所定点と物体上の参考点との間を繋ぐ線とエッジからなる角度を表すサンプル自体の角度とサンプルの参考角度の関連データを取得するステップと、区切られた後のエッジ毎に、該エッジと該所定方向の直線からなる角度を検出した自体の角度とするステップと、検出した自体の角度及び取得したサンプル自体の角度とサンプルの参考角度の関連データに基づき、検出した自体の角度に対応の参考角度を取得するステップと、エッジ上の所定点から直線を引き、該直線と該エッジからなる角度が取得される検出した自体の角度に対応する参考角度に等しいステップと、それぞれの直線間の交点の中から、交点を通る直線の数に基づき、物体の参考点を確定するステップと、その所定点から引かれた直線が確定された物体の参考点を通るエッジを保留するステップと、保留されたエッジに基づいて物体を検出するステップと、を備えることができる。
【０００７】
本発明の別の側面によれば、画像中の検出待ち物体を検出する物体検出装置であって、サンプル自体の角度とサンプルの参考角度とを関連付け、サンプル自体の角度は物体サンプル画像中のエッジセグメントと該所定方向の直線からなる角度を表し、サンプルの参考角度はエッジ上の所定点と物体上の参考点との間を繋ぐ線とエッジからなる角度を表すサンプル自体の角度とサンプルの参考角度の関連データを取得するためのサンプル自体の角度とサンプルの参考角度の関連取得手段と、画像を受信する画像受信手段と、画像中のエッジを抽出するエッジ抽出手段と、抽出したエッジを区切り、区切った後のエッジを得るエッジセグメント手段と、それぞれ区切った後のエッジに対して該エッジと該所定方向の直線からなる角度を取得して検出した自体の角度とするための自体の角度取得手段と、検出した自体の角度に基づき、サンプル自体の角度とサンプルの参考角度の関連から取得したサンプル自体の角度とサンプルの参考角度の関連データを参考して、検出した自体の角度に対応の参考角度を取得するための参考角度取得手段と、エッジ上の所定点から直線を引き、該直線と該エッジからなる角度が取得される検出した自体の角度に対応する参考角度に等しいための直線引出し手段と、それぞれの直線間の交点の中から、交点を通る直線の数に基づき、物体の参考点を確定するための参考点確定手段と、その所定点から引かれた直線が該確定された物体の参考点を通るエッジを保留するためのエッジ保留手段と、保留されたエッジに基づいて物体を検出するための物体検出手段と、を備えることができる。
【０００８】
本発明の物体検出方法及び装置により、エッジの絶対角度と相対角度の関連に基づいて物体の参考点を確定し、その上で物体のエッジを保留し、それによって、物体を検出するので、対象画像の寸法変化による影響を受けることが少なく、比較的正確に物体を位置決め、検出することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明による一実施例の物体検出システムを示すシステムブロック図である。
【図２】本発明の実施例の物体検出装置を示す例示的な構造ブロック図である。
【図３】本発明による一実施例の物体のサンプル画像からサンプル自体の角度とサンプルの参考角度の関連データを用意する例示的な方法を示す全体的なフローチャートである。
【図４】（ａ）は車両の視差画像を示しており、ここで、区切った後のエッジセグメント例示はそれぞれ１、２、３、４で注釈され；（ｂ）は各エッジセグメントの識別符号と関連する自体の角度及び参考角度を記録しており；（ｃ）はエッジ角度分布を概略的に示しているヒストグラムであり；（ｄ）はエッジ自体の角度と参考角度との間の関連表を概略的に示している。
【図５】（ａ）は例示的なエッジセグメント１と３から引かれた直線を概略的に示しており；（ｂ）は物体の参考点分布を概略的に示す確率図である。
【図６】本発明実施例による画像中の検出待ち物体を検出する物体検出方法を示すフローチャートである。
【図７】本発明の実施形態を実現するための例示的な計算システムを示すブロック図である。
【発明を実施するための形態】
【００１０】
当業者によりよく本発明を理解させるために、以下、本発明について図及び実施形態を合わせてさらに詳しく説明する。
【００１１】
さらに詳しく説明する前に、理解し易いように、まず、本発明のコア的な考えを説明する。
【００１２】
本発明者は特定の形状を有する物体にとって、物体の形状を検出することで、物体を検出することができることを発見した。さらに、画像形成の遠近による画像寸法の比例変化の影響をできるだけ克服するために、画像中対象の寸法大きさの変化にとって、ある程度不変性を有する特徴を抽出できるのが望ましい。このため、発明者は、物体サンプルのエッジを抽出して物体上の１つの固定参考点を確定してから、物体のエッジ自体の絶対角度、及びエッジと物体上の固定参考点との間からなる相対角度をそれぞれ確定し、且つ自体の絶対角度と相対角度との間を関連付けて記憶するのを想到した。１つの画像を受信し、その中から興味を持つ物体を検出しようとする時、エッジ自体の絶対角度を確定して、自体の絶対角度及び予め関連付けて記憶しておいたサンプル自体の絶対角度と相対角度との間の関連に基づいて、対応の相対角度を取得し、それによって、該検出待ち物体の参考点を確定することができ、その上で、対応のエッジを保留し、最後に保留したエッジに基づいて物体を検出することができる。
【００１３】
以下の記述において、説明の便宜上、例えば車両のような道路関連の対象を検出対象の例とする。ただし、これは例示のみであり、本発明はこれに限らず、その他の道路関連の対象、例えば、通行者、建物などを検出することができ、または道路と関連ないその他の対象を検出することができる。
【００１４】
図１は本発明による一実施例の物体検出システムを示すシステムブロック図である。該システムの入力０は視差マップおよび／または対応のグレースケールマップであり、その右側のグレースケールマップに示されるように、例えば、車両に取り付けられた双眼カメラによる撮像により得ることができる。該入力は物体検出システム１を経てから、出力は物体検出の結果となり、出力２の形式は多様であってもよい。例えば、表示器に検出した物体を指し示す可視の形式を出力したり、マイクロフォンで音声提示したり、テキストの形式で物体検出の結果情報などを出力したりすることができる。その中、右側のグレースケールマップは検出した結果を示し、その中、検出した部分は白い四角の枠で指し示されている。図１中の頂部の比較的小さいグレースケールマップは対象のサンプル画像を表し、該サンプル画像は後続のサンプル自体の角度とサンプルの参考角度の関連付けに当たって用いられる。
【００１５】
説明する必要があるのは、図１に示されるシステム入力は視差マップおよび／または対応のグレースケールマップであり、ただし、勿論、例えば双眼カメラの左画像と右画像であってもよい。それから、物体検出システム内部で例えば左画像をグレースケールマップとし、左画像と右画像から対応の視差マップを得る。
【００１６】
図２は本発明実施例の物体検出装置１００を示す例示的な構造ブロック図である。
【００１７】
物体検出装置１００は、サンプル自体の角度とサンプルの参考角度の関連取得手段１０１、画像受信手段１１０、エッジ抽出手段１２０、エッジセグメント手段１３０、自体の角度取得手段１４０、参考角度取得手段１５０、直線引出し手段１６０、参考点確定手段１７０、エッジ保留手段１８０、及び物体検出手段１９０を含んでもよい。
【００１８】
サンプル自体の角度とサンプルの参考角度の関連取得手段１０１は、サンプル自体の角度とサンプルの参考角度の関連データを取得するのに用いられる。その中、サンプル自体の角度とサンプルの参考角度とを関連付け、サンプル自体の角度は物体サンプル画像中のエッジセグメントと所定方向の直線からなる角度を表し、サンプルの参考角度はエッジ上の所定点と物体上の参考点との間を繋ぐ線とエッジからなる角度を表す。
【００１９】
サンプル自体の角度とサンプルの参考角度の関連データについて、物体のサンプル画像の中から得ることができる。以下、図３を参照してこのようなサンプル自体の角度とサンプルの参考角度の関連データを用意する例示的な方法を述べる。
【００２０】
図３は本発明による一実施例の物体のサンプル画像からサンプル自体の角度とサンプルの参考角度の関連データを用意する例示的な方法１０１０を示す全体的なフローチャートである。
【００２１】
このようなサンプル自体の角度とサンプルの参考角度の関連データを用意するのは、モデルトレーニングと見做してもよい。物体の１つまたは複数のサンプル画像を分析することで、物体のエッジ絶対角度と相対参考点の相対角度の関連性を取得するとともに、該関連性を記憶し、その後検出画像の到来時に、該関連性を参考にした画像中の関心物体の参考点の確定に供し、それによって、物体の位置決めと検出を可能にする。該トレーニング操作はリアルタイムに行ってもよく、オフラインで予め行ってもよい。
【００２２】
該トレーニング操作の入力は物体の1つまたは複数のサンプル画像であり、例えば、図１中頂部に示される車両のサンプル画像である。一例では、人工的に抽出した物体の画像部分であってもよい。
【００２３】
図３に示すように、ステップＳ１０１１では、物体のサンプル画像から物体のエッジを抽出する。エッジ検出方法は如何なる既知のエッジ検出方法、例えば、Sobelエッジ検出法であってもよい。主要エッジを検出する目的は画像中の物体の輪郭情報を抽出するとともに、ノイズによる干渉を避けるためである。Sobel演算子に関する紹介はME  Sobelが１９８２年にSociological  methodologyに発表された「Asymptotic  confidence  intervals  for  indirect  effects  in  structural  equation  models」をテーマとした文書を参照されたい。エッジ検出方法はさらに例えばCannyエッジ検出法などでもよい。なお、エッジ特徴を抽出した後、枠外の平滑または増強処理を行ってもよい。
【００２４】
ステップＳ１０２０では、物体の参考点を確定する。
【００２５】
該物体の参考点は後続のエッジセグメントが該参考点に対する相対角度を算出する時の使用に供する。一例では、物体の参考点は物体の質量中心である。別例では、物体の参考点は物体のあるコーナー点であってもよい。他の例では、物体の参考点はその外接円または外接矩形の中心であってもよい。物体の参考点に対し、特別な制限はない。ただし、好ましくは、物体の質量中心を選んで物体の参考点として用いる。このように、分布が比較的均一なエッジの相対角度を得ることができるからである。
【００２６】
物体の参考点を手動で選択してよく、機器で自動的に確定してもよい。
【００２７】
ステップＳ１０３０では、物体のエッジを区切り、区切った後のエッジを得る。
【００２８】
一例では、長さが等しい原則でエッジを区切る。
【００２９】
一例では、セグメントの長さを予め確定したものであり、固定可能である。
【００３０】
一例では、長さの選択につき、物体の寸法により確定してもよく、できるだけ各セグメントを直線または近似直線にさせるようにする。
【００３１】
一例では、撮像対象と撮像カメラの距離情報を知ることができる場合には、セグメントの長さは距離によって異なることができる。原則としては、撮像対象と撮像カメラとの間の距離が遠いほど、対象が画像における寸法が小さくなり、そのため、用いるセグメントの長さも小さくなる。
【００３２】
一例では、画像が視差マップである場合には、物体のエッジに対して区切るエッジの長さは該エッジの視差によって異なり、視差が小さいほど、エッジの長さが小さくなる。
【００３３】
別例では、前記画像がグレースケールマップであって、関連する撮像カメラから被撮像対象までの距離情報を有する場合には、例えば、赤外線距離測定装置または距離測定レーダーから距離情報を得た場合には、前記のように、物体のエッジに対して区切るエッジの長さは関連する距離によって異なり、距離が遠いほど、エッジの長さが小さくなる。
【００３４】
図４の（ａ）は車両の視差画像を示している。ここで、区切った後のエッジセグメント例示はそれぞれ１、２、３、４で注釈される。
【００３５】
ステップＳ１０３０では、それぞれ区切った後のエッジに対して該エッジと該所定方向の直線からなる角度を取得してサンプル自体の角度とし、エッジ上の所定点と物体の参考点との間を繋ぐ線と該エッジからなる角度を取得してサンプルの参考角度とする。
【００３６】
一例では、エッジセグメント自体の角度（この文章では、絶対角度または自体の絶対角度ということもある。これらの言い方は互換に使用可能である。）は該エッジセグメントと水平直線からなる角度で表される。勿論、必ずしも水平直線に限らず、その他の所定方向の直線、例えば垂直直線などであってもよい。一例では、エッジ角度は時計回りに該所定直線が描いた角度を取ってエッジ自体の絶対角度とすることができる。一例では、エッジ角度の取り値の範囲は〔０°，１８０°〕である。
【００３７】
一例では、エッジセグメントの参考角度（この文章では、相対角度となることもある。両者は互換に使用可能である。）は次の通り得ることができる。エッジ上の所定点と物体の参考点を繋ぐことにより直線を得、該直線を時計回りに回転させて該エッジセグメントと重なり合う時描かれた角度を参考角度とする。一例では、エッジセグメント上の所定点は該エッジセグメントの中点を取ってもよい。別例では、エッジセグメント上の所定点は該エッジセグメントの端点の中の１つを取ってもよい（例えば、左端点、または上端点など）。
【００３８】
図４の（ｂ）は各エッジセグメントの識別符号と関連する自体の角度及び参考角度を記録している。その中、エッジセグメント１自体の角度は７５度、参考角度は９５度であり、エッジセグメント２自体の角度は１０５度、参考角度は６５度であり、エッジセグメント３自体の角度は７５度、参考角度は７５度であり、及びエッジセグメント４自体の角度は３０度、参考角度は１２０度である。
【００３９】
ステップＳ１０４０では、取得したエッジサンプル自体の角度値と対応のサンプルの参考角度の取り値を関連付けに記憶する。
【００４０】
一例では、角度分布を分析し、且つ自体の角度と対応の参考角度の統計情報を算出し、例えば、図４の（ｂ）に示す自体の角度と対応の参考角度において、自体の角度が７５度であるエッジは２回現れ、対応の参考角度はそれぞれ９５度と７５度である。自体の角度が３０度であるエッジは１回現れ、対応の参考角度は１２０度である等々。一例では、統計情報に基づいて、角度分布のヒストグラムを取得することができる。図４の（ｃ）に示すように、該ヒストグラムは二次元ヒストグラムであり、ある自体の角度と対応の参考角度の取り値対を有するエッジ数を記録していることができる。
【００４１】
一例では、このような自体の角度と対応の参考角度の統計情報に基づいて、自体の角度と参考角度及び関連する確率を関連付け記憶する。図４の（ｄ）では、このような自体の角度と参考角度との関連データの表を与えている。本例では、自体の角度が３０度であるエッジは１回現れ、対応の参考角度は１２０度である。そこで、自体の角度が３０度であり、対応の参考角度が１２０度である確率は１．００である。自体の角度が７５度であるエッジは２回現れ、対応の参考角度はそれぞれ９５度と７５度である。自体の角度が７５度であり、対応の参考角度が９５度と７５度である確率はそれぞれ０．５０と０．５０である。
【００４２】
実際使用において、角度の分布はさらに多様で複雑であり、同様に各エッジセグメント自体の角度と対応の参考角度の統計分析を行って記憶し、これにより、エッジ自体の角度と参考角度との間の関連表を確立することができ、これは実際に１種の角度分布特徴の確率表でもある。
【００４３】
図４（ｄ）のエッジ自体の角度と参考角度との間の関連表において、自体の角度、対応の参考角度のほか、さらに該参考角度取り値の重みを関連付けに記憶している。一例では、参考角度取り値の重みは該参考角度取り値が現れる確率によって確定される。ただし、別例では、参考角度取り値の重みを記憶せず、あらゆる参考角度取り値の重みが同一とすることができる。
【００４４】
図２へ戻って、物体検出装置中のサンプル自体の角度とサンプルの参考角度の関連取得手段１０１で図４（ｃ）に示す書式のサンプル自体の角度とサンプルの参考角度の関連表を取得する。
【００４５】
説明する必要があるのは、サンプル自体の角度とサンプルの参考角度の関連取得手段１０１で取得したサンプル自体の角度とサンプルの参考角度の関連が物体検出装置自体による計算で得ることができ、外部から得ることもでき、さらにリアルタイムトレーニングで得ることができ、予めトレーニングで得ることもできる。
【００４６】
画像受信手段１１０は、ローカルまたは遠距離から画像を受信するために用いられる。例えば、車両検出を例にして、双眼カメラ、多眼カメラなどのような画像撮影装置が車両の頂部に取り付けられ、物体検出装置が車両の自動制御システムに合併されているとすると、この場合、例えば、ＵＳＢ接続線などを介して画像撮影装置から直接階調画像または視差画像を取得する。ただし、例えば、有線または無線通信を通じて遠隔的に画像を受信することもできる。
【００４７】
画像は視差マップまたはグレースケールマップであってもよい。画像が視差マップである場合は、画像自体は距離または深さ情報を持っている。画像がグレースケールマップである場合も、同様に、関連する撮像カメラと被撮像対象との距離情報、例えば、赤外線距離測定装置やレーダー装置などから取得した距離情報を提供することができる。
【００４８】
エッジ抽出手段１２０は、受信した画像からエッジを抽出する。同様に、エッジ検出方法は如何なる既知のエッジ検出方法、例えば、Sobelエッジ検出法であってもよい。Sobel演算子に関する紹介はME  Sobelが１９８２年にSociological  methodologyに発表された「Asymptotic  confidence  intervals  for  indirect  effects  in  structural  equation  models」をテーマとした文書を参照されたい。エッジ検出方法はさらに例えばCannyエッジ検出法などでもよい。なお、エッジ特徴を抽出した後、枠外の平滑または増強処理を行ってもよい。
【００４９】
説明する必要があるのは、エッジを抽出する前に、後続処理の計算量を減らすように、幾つかの枠外処理、例えば、画像中の検出待ち対象を明らかに含まない部分を取り除くなどを行うことができる。
【００５０】
エッジセグメント手段１３０は、抽出したエッジを区切り、区切った後のエッジを得る。
【００５１】
一例では、抽出したエッジ毎に、長さが等しいセグメントに区切る。セグメント毎の長さの選択原則は前に述べたサンプル自体の角度とサンプルの参考角度の関連データを用意する時、エッジセグメントに対する長さの選択原則と同じである。
【００５２】
前述のように、好ましくは、距離情報を知ることができる場合に、エッジセグメントの長さは距離によって異なるべきである。例えば、被撮像対象と撮像カメラとの間の距離に基づいて、画像中の対象の大きさが約２０％大きくなると見積もった場合は、エッジセグメントの長さも相応に２０％大きくすることができる。
【００５３】
自体の角度取得手段１４０は、前の図３を参照して説明した自体の角度と参考角度の関連データ作りでのように、各区切った後のエッジにつき、該エッジと該所定方向の直線からなる角度を取得して検出した自体の角度とする。
【００５４】
参考角度取得手段１５０は、各区切った後のエッジにつき、自体の角度取得手段１４０が検出した自体の角度に基づいて、サンプル自体の角度とサンプルの参考角度の関連取得手段１０１で取得したサンプル自体の角度とサンプルの参考角度の関連データを参考し、検出した自体の角度に対応する参考角度を取得する。
【００５５】
具体的には、例えば、１つのエッジセグメントにつき、もし自体の角度取得手段１４０はその自体の角度が７５であると検出したならば、該自体の角度７５を利用してサンプル自体の角度とサンプルの参考角度の関連取得手段１０１で取得したサンプル自体の角度とサンプルの参考角度の関連データを検索し、図４（ｄ）中の関連データ表を例にして、得られる対応の参考角度はそれぞれ９５度と７５度であり、各自の重み（または確率）は０．５である。
【００５６】
類似に、本例では、１つのエッジセグメントにつき、もし自体の角度取得手段１４０はその自体の角度が３０であると検出したならば、得られる対応の参考角度は１２０であり、重みは１．０である。1つのエッジセグメントにつき、もし自体の角度取得手段１４０はその自体の角度が１０５であると検出したならば、得られる対応の参考角度は６５であり、重みは１．０である。
【００５７】
これにより、参考角度取得手段１５０は、各エッジセグメントの参考角度と対応の重みを取得することができる。
【００５８】
一部の場合、ある検出したエッジセグメント自体の角度に対し、サンプル自体の角度とサンプルの参考角度の関連取得手段１０１で取得したサンプル自体の角度とサンプルの参考角度の関連データにおいて、同一のサンプル自体の角度が存在しない可能性がある。
【００５９】
この場合、一例では、該エッジを飛び越えて、後続処理を行わないことができる。つまり、該エッジが後続の物体の参考点の確定への貢献はない。
【００６０】
別例では、該エッジの検出した自体の角度に最も近い記憶したエッジのサンプル自体の角度値を探して、最も近い記憶したエッジのサンプル自体の角度値に対応するサンプルの参考角度を取得し、エッジの検出した自体の角度に対応する参考角度とすることができる。
【００６１】
他の例では、該エッジの検出した自体の角度に最も近い記憶したエッジ自体の角度値を探して、両者の差が所定の差の閾値より小さいかどうかを確定し、両者の差が所定の差の閾値より小さい時、最も近い記憶したエッジのサンプル自体の角度値に対応するサンプルの参考角度を取得し、エッジの検出した自体の角度に対応する参考角度とすることができる。
【００６２】
直線引出し手段１６０は、各エッジセグメントに対し、参考角度取得手段１５０で取得したエッジセグメントの参考角度に基づいて、該エッジセグメントの所定点から直線を引き、該直線と該エッジからなる角度を取得されたエッジセグメントの参考角度に等しくさせる。
【００６３】
図５の（ａ）は、例示的なエッジセグメント１と３から引かれた直線を概略的に示している。その中、エッジセグメント１と３の自体の角度はともに７５である。前述のように、図４の（ａ）〜（ｄ）に示された例では、対応の参考角度は２種の取り値、即ち９５度と７５度を有し、重みはともに０．５である。本例では、エッジセグメントは中点である。そのため、エッジセグメント１の中点から２本の直線が引き出され、１本のエッジセグメント１との夾角は９５度であり、もう１本のエッジセグメント１との夾角は７５度である。エッジセグメント３からも類似して２本の直線が引き出され、１本のエッジセグメント３との夾角は９５度であり、もう１本のエッジセグメント３との夾角は７５度である。
【００６４】
各エッジセグメントに対し、類似の処理を行うことで、対応の引き出した直線を得ることができる。
【００６５】
参考点確定手段１７０は、それぞれの直線間の交点の中から、交点を通る直線の数に基づき、物体の参考点を確定する。
【００６６】
直線引出し手段１６０により各エッジセグメントに対して引き出された直線には各種の交差関連が存在し、それによって、数多くの交点を得、参考点確定手段１７０は、これらの交点が存在する確率を分析し、物体の参考点を確定する。
【００６７】
一例では、もしある交点を通る直線の数が最も多いならば、該交点を物体の参考点と確定する。
【００６８】
別例では、各直線には対応の参考角度と関連する重みが与えられる。これにより、各交点を通る加重した後の直線の数を確定して、加重した後の直線の数が最も多い交点を物体の参考点とする。
【００６９】
角度を換えて見れば、各交点はそれを通る直線の数及び対応の直線の重みに基づいて、存在する確率が与えられることができる。これにより、物体の参考点の分布の確率図を得ることができる。図５の（ｂ）に示すように、確率図中の最も明るい点、即ち確率のピークは、物体の参考点と確定されることができる。
【００７０】
エッジ保留手段１８０は、その所定点から引かれた直線が該確定された物体の参考点を通るエッジを確定し、且つこのようなエッジを保留する。こうした原因は物体の参考点の確定に貢献するエッジがさらに物体のエッジであり得ると考えられるからである。従って、保留し、あらゆるその他のエッジを取り除く。
【００７１】
一例では、平滑化フィルタまたはセンタークラスタの方法を通じて集中度が比較的高いエッジ位置を物体の所在する位置と確定することができ、且つ確定された物体の位置に基づいて、ノイズエッジをさらに濾過する。
【００７２】
物体検出手段１９０は、保留されたエッジに基づいて物体を検出する。ここで、検出方法には制限がなく、如何なるエッジに基づく物体を検出する方法はともに本発明に用いることができる。例えば、既知の物体の長さ範囲、幅範囲、アスペクト比の中の１つまたは複数で保留しておいたエッジで形成された輪郭を検証したり、コーナー点の特徴などで検証したり、物体の形状テンプレートでマッチングしたりなどすることができる。
【００７３】
物体検出手段１９０は、検出した物体の可視形状、文字位置決め情報などを出力することができる。
【００７４】
本発明実施例の物体検出装置によれば、エッジの絶対角度と相対角度との間の関連に基づいて物体の参考点を確定、さらには物体のエッジを保留し、それによって、物体を検出するので、そのため、対象画像の寸法変化による影響を受けるのが比較的少なく、比較的正確に物体に対しての位置決め及び検出を行うことができる。
【００７５】
説明する必要があるのは、上記の例示では、エッジの参考角度は、エッジとエッジおよび参考点を繋ぐ線からなる角度で表される。ただし、別例では、該参考角度は例えば該繋ぐ線と所定方向の直線、例えば、水平線、垂直線などからなる角度で表されてもよい。
【００７６】
説明する必要があるのは、上記の例示では、所定方向の直線は、水平線または垂直線で例示とし、ただし、これは例示のみである。別例では、予め路面を検出することができると、路面に平行する路面を横切る線を所定方向の直線とすることができる。
【００７７】
説明する必要があるのは、図２に示す矢印は２つの手段の機能間に存在する論理関連のみを表し、両手段間を直接または間接的操作的に接続することができる。なお、たとえ図２中のある２つの手段の間にある方向の矢印接続を示されていないとしても、これは両者間に該方向の論理関連が存在しないことを表明せず、逆に、両者間には相互協同関連が存在してもよい。例えば、サンプル自体の角度とサンプルの参考角度の関連取得手段１０１とエッジ抽出手段１２０、エッジセグメント手段１３０、自体の角度取得手段１４０との間には論理関連が存在してもよい。エッジ抽出手段１２０、エッジセグメント手段１３０及び自体の角度取得手段１４０は、サンプル自体の角度とサンプルの参考角度の関連作り過程の中で、対応の操作を行い、且つ最終的にその他の手段と協同でサンプル自体の角度とサンプルの参考角度の関連を取得してそれをサンプル自体の角度とサンプルの参考角度の関連取得手段１０１に記憶する。
【００７８】
上記各手段の構造と数は本発明の範囲に対する制限を構成しない。物体検出装置１００は、枠外の手段を含んでその他または補充の機能を実現することができる。例えば、物体検出手段１９０が検出した結果を表示するための例えば表示手段、及び関連情報を外部へ伝達するための例えば通信手段がある。なお、本発明の一実施例によれば、上記各手段中の幾つかを１つ独立した手段へ合併して相応の機能や操作を実行や実現することができ、または上記各手段をさらにもっと小さい手段に分解してそれら各自の機能や操作を実行や実現することができる。
【００７９】
以下、図６を参照して本発明実施例による画像中の検出待ち物体を検出する物体検出方法２０００について説明する。
【００８０】
図６に示すように、ステップＳ２０１０では、画像を受信する。
【００８１】
ステップＳ２０２０では、画像中のエッジを抽出する。
【００８２】
ステップＳ２０３０では、抽出したエッジを区切り、区切った後のエッジを得る。
【００８３】
ステップＳ２０４０では、サンプル自体の角度とサンプルの参考角度とを関連付け、サンプル自体の角度は物体サンプル画像中のエッジセグメントと所定方向の直線からなる角度を表し、サンプルの参考角度はエッジ上の所定点と物体上の参考点との間を繋ぐ線とエッジからなる角度を表すサンプル自体の角度とサンプルの参考角度の関連データを取得する。
【００８４】
各区切った後のエッジにつき、ステップＳ２０５０では、該エッジと該所定方向の直線からなる角度を検出した自体の角度とする。ステップＳ２０６０では、検出した自体の角度及び取得したサンプル自体の角度とサンプルの参考角度の関連データに基づき、検出した自体の角度に対応する参考角度を取得する。ステップＳ２０７０では、エッジ上の所定点から直線を引き、該直線と該エッジからなる角度が取得される検出した自体の角度に対応する参考角度に等しい。
【００８５】
ステップＳ２０８０では、それぞれの直線間の交点の中から、交点を通る直線の数に基づき、物体の参考点を確定する。
【００８６】
ステップＳ２０９０では、その所定点から引かれた直線が確定された物体の参考点を通るエッジを保留する。
【００８７】
ステップＳ２１００では、保留されたエッジに基づいて物体を検出する。
【００８８】
上記各ステップＳ２０１０、Ｓ２０２０、Ｓ２０３０、Ｓ２０４０、Ｓ２０５０、Ｓ２０６０、Ｓ２０７０、Ｓ２０８０、Ｓ２０９０及びＳ２１００の操作と実現については、前の図２中の画像受信手段１１０、エッジ抽出手段１２０、エッジセグメント手段１３０、自体の角度取得手段１４０、参考角度取得手段１５０、直線引出し手段１６０、参考点確定手段１７０、エッジ保留手段１８０、及び物体検出手段１９０と結びつけた説明を参照することができる。ここで、さらに述べない。
【００８９】
本発明は、さらに視差深度画像中のノイズを識別するための計算システムを通じて実施することができる。図７は本発明の実施形態を実現するための例示的な計算システム４００を示すブロック図である。
【００９０】
図７に示すように、計算システム４００は、ＣＰＵ（中央処理装置）４０１、ＲＡＭ（ランダム・アクセス・メモリ）４０２、ＲＯＭ（読み出し専用メモリ）４０３、システムバス４０４、ハードディスクコントローラ４０５、キーボードコントローラ４０６、シリアルインターフェースコントローラ４０７、パラレルインターフェースコントローラ４０８、表示制御器４０９、ハードディスク４１０、キーボード４１１、シリアル周辺機器４１２、パラレル周辺機器４１３及びディスプレイ４１４を含んでもよい。これらの装置において、システムバス４０４と連結するのは、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、システムバス４０４、ハードディスクコントローラ４０５、キーボードコントローラ４０６、シリアルインターフェースコントローラ４０７、パラレルインターフェースコントローラ４０８及び表示制御器４０９を有する。ハードディスク４１０はハードディスクコントローラ４０５と連結され、キーボード４１１はキーボードコントローラ４０６と連結され、シリアル周辺機器４１２はシリアルインターフェースコントローラ４０７と連結され、パラレル周辺機器４１３はパラレルインターフェースコントローラ４０８と連結され、及びディスプレイ４１４は表示制御器４０９と連結される。図７に記載の構造ブロック図は例示するための目的のみであり、本発明の範囲に対する制限ではないと理解すべきである。ある場合には、具体的な状況に基づいてある幾つかの装置を増減することができる。
【００９１】
所属する技術分野の技術者は、本発明がシステム、装置、方法またはコンピュータプログラム製品で実現できることが分かる。従って、本発明は具体的に次のような形式で実現することができる。即ち、完全なハードウェアであってもよい。完全なソフトウェア（ファームウェア、常駐ソフト、マイクロコードなどを含む）であってもよい。さらにハードウェアとソフトウェアとの結合の形式であってもよい。この文章では、一般に「回路」、「モジュール」、「装置」または「システム」という。このほか、一部の実施例では、本発明はさらに１つまたは複数のコンピュータリーダブル媒体中のコンピュータプログラム製品の形式として実現可能である。該コンピュータリーダブル媒体にはコンピュータリーダブルプログラムコードを含む。
【００９２】
１つまたは複数のコンピュータリーダブル媒体の任意の組合せを用いることができる。コンピュータリーダブル媒体はコンピュータリーダブル信号媒体またはコンピュータリーダブル記憶媒体であってもよい。コンピュータリーダブル記憶媒体は、例えば、電気、磁気、光、電磁、赤外線、または半導体のシステム、装置もしくはデバイス、あるいは任意の上記の組合せであってもいが、但し、これに限られない。コンピュータリーダブル記憶媒体のより具体的な例（非網羅的なリスト）は、１本または複数本の導線を有する電気的な接続、携帯式コンピュータディスク、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、イレーザブルプログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバー、携帯式コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、磁気記憶素子、または上記任意の適切な組合せを含む。この文章では、コンピュータリーダブル記憶媒体は、如何なるプログラムを含むまたは記憶する有形媒体であってもよい。該プログラムは命令実行システム、装置またはデバイスにより使用されるもしくはそれと合せて使用されることができる。
【００９３】
コンピュータリーダブル信号媒体は、ベースバンドに含まれるまたはキャリアの一部として伝播するデータ信号でよく、その中、コンピュータリーダブルプログラムコードを載せている。この伝播するデータ信号は多種の形式を用いてもよい。電磁信号、光信号または上記の任意の適切な組合せを含んでもよいが、それに限らない。コンピュータリーダブル信号媒体は、さらにコンピュータリーダブル記憶媒体以外の如何なるコンピュータリーダブル媒体であってもよい。該コンピュータリーダブル媒体は、命令実行システム、装置またはデバイスに使用されるまたはそれと合せて使用されるプログラムを送信、伝播もしくは伝送することができる。
【００９４】
コンピュータリーダブル媒体に含まれるプログラムコードは如何なる適切な媒体で伝送することができ、無線、電線、光ケーブル、ＲＦ等々、または上記任意の適切な組合せを含むが、但し、これに限られない。
【００９５】
１種または多種のプログラミング言語もしくはその組合せで本発明の操作を実行するためのコンピュータプログラムコードを書くことができる。前記プログラミング言語は、オブジェクト指向プログラミング言語、例えば、Ｊａｖａ(登録商標)、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋を含み、通常の手続き型プログラミング言語、例えば、「Ｃ」言語または類似のプログラミング言語をさらに含む。プログラムコードは、完全にユーザーのコンピュータで実行、一部的にユーザーのコンピュータで実行、１つの独立したソフトウェアパッケージとして実行、一部的にユーザーのコンピュータで実行・一部的にリモートコンピュータで実行、または完全にリモートコンピュータやサーバーで実行することができる。リモートコンピュータに係る場合に、リモートコンピュータは、任意種類の、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）を含むネットワークを介して、ユーザーのコンピュータに接続することができ、または、外部のコンピュータ（例えば、インターネット接続事業者によるインターネットへの接続）に接続することができる。
【００９６】
以上、本発明実施例の方法、装置（システム）とコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して本発明について説明した。フローチャートおよび／またはブロック図の各四角の枠及びフローチャートおよび／またはブロック図中の各四角の枠の組合せのいずれも、コンピュータプログラム命令で実現することができると理解すべきである。これらのコンピュータプログラム命令を汎用コンピュータ、専用コンピュータまたはその他のプログラマブルデータ処理装置のプロセッサーに提供することができ、それによって、１種の機器を作り出し、これらのコンピュータプログラム命令は、コンピュータまたはその他のプログラマブルデータ処理装置により実行され、フローチャートおよび／またはブロック図中の各四角の枠に規定された機能・操作を実現する装置が生じた。
【００９７】
これらのコンピュータプログラム命令をコンピュータやその他のプログラマブルデータ処理装置に特定の方式で作動させる可能なコンピュータリーダブル媒体に記憶してもよい。このように、コンピュータリーダブル媒体に記憶された命令は１つフローチャートおよび／またはブロック図中の各四角の枠に規定された機能・操作を実現する命令装置（instruction  means）を含む製品（manufacture）を生み出す。
【００９８】
コンピュータプログラム命令をコンピュータ、その他のプログラマブルデータ処理装置、またはその他の設備へロードし、コンピュータ、その他のプログラマブルデータ処理装置、またはその他の設備において一連の操作ステップを実行させ、コンピュータ実現プロセスを生じ、それによって、コンピュータやその他のプログラマブルデータ処理装置で実行した命令にフローチャートおよび／またはブロック図中の各四角の枠に規定された機能・操作を実現するプロセスを提供させることができる。
【００９９】
図中のフローチャートとブロック図は本発明による幾つかの実施例のシステム、方法及びコンピュータプログラム製品の実現可能なシステム構造、機能及び操作を示している。この点では、フローチャートまたはブロック図中の各四角の枠は、１つのモジュール、プログラムセグメントまたはコードの一部を表すことができ、前記プログラムセグメントまたはコードの一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。
【０１００】
ある一部の取替えとする実現において、四角の枠に注釈された機能も図中に注釈された順序と異なった順序で発生してもよい。例えば、２つの連続する四角の枠を実際に大体並行に実行することができ、それらを時には逆の順序に基づいて実行してもよい。これは係る機能によることに注意を払うべきである。
【０１０１】
ブロック図および／またはフローチャート中の各四角の枠、及びブロック図および／またはフローチャート中の各四角の枠の組合せは、所定の機能や操作を実行するための専用のハードウェアに基づくシステムで実現可能であり、または、専用のハードウェアとコンピュータ命令との組合せで実現可能であることに注意を払わなければならない。
【０１０２】
以上、本発明の各実施例について説明した。上記の説明は例示的なものであり、網羅的なものではなく、且つ開示された各実施例に限らない。説明された各実施例の範囲と精神から逸脱しない場合、本技術分野の普通の技術者にとって、多くの修正や変更はともに明らかである。この文章に用いられる用語の選択は、各実施例の原理、実際の使用または市場での技術的改善を最もよく解釈し、もしくは本技術分野のその他の普通の技術者がこの文章に開示された各実施例を理解できるようにさせることを旨とする。
【図２】
2015082323.tif 000003
【図３】
2015082323.tif 000004
【図６】
2015082323.tif 000005
【図７】
2015082323.tif 000006
【図１】
2015082323.tif 000007
【図４】
2015082323.tif 000008
【図５】
2015082323.tif 000009