(57)【要約】  低画質又は小サイズの画像に対しても高速かつ正確に形状検出又は形状追跡できる画像処理装置。画像処理装置（１００）は、探索領域内に複数のサンプル点を設定するサンプル点設定部（１０２）と、ターゲット形状に応じた複数の指定方向を設定し、各サンプル点から複数の指定方向に沿って画像のエッジ点を探索し、検出したエッジ点を通る直線から構成される候補形状を生成する候補形状生成部（１０３）と、各候補形状によって各候補形状の特徴点の位置に投票された投票マップを生成する投票マップ生成部（１０４）と、投票マップにおける特徴点への投票結果に基づいてターゲット形状の特徴点を確定する形状特徴点検出部（１０５）と、を有する。
2009034709.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像から探索領域を設定する探索領域設定手段と、
前記探索領域内に、複数のサンプル点を設定するサンプル点設定手段と、
ターゲット形状に応じた複数の指定方向を設定し、各サンプル点から前記複数の指定方向に沿って画像のエッジ点を探索し、検出したエッジ点を通る直線から構成される候補形状を生成する候補形状生成手段と、
各候補形状によって各候補形状の特徴点の位置に投票された投票マップを生成する投票マップ生成手段と、
前記投票マップにおける前記特徴点への投票結果に基づいて、前記ターゲット形状の特徴点を確定する形状特徴点検出手段と、
を具備する画像処理装置。
【請求項２】
前記候補形状生成手段によって設定される前記複数の指定方向は、前記ターゲット形状の辺と垂直な方向である、
請求項１に記載の画像処理装置。
【請求項３】
前記候補形状生成手段によって設定される前記複数の指定方向は、３６０度を等間隔で分割した方向である、
請求項１に記載の画像処理装置。
【請求項４】
前記ターゲット形状が三角形の場合、前記特徴点は、三角形の重心又は垂心である、
請求項１に記載の画像処理装置。
【請求項５】
前記ターゲット形状が凸四角形の場合、前記特徴点は、凸四角形の対角線の交点である、
請求項１に記載の画像処理装置。
【請求項６】
前記形状特徴点検出手段によって確定された前記特徴点に基づいて、前記撮像画像内での前記ターゲット形状の位置を確定する形状確定手段を、さらに具備する、
請求項１に記載の画像処理装置。
【請求項７】
前記ターゲット形状を、前記ターゲット形状の一部の辺から構成される部分形状に分解する形状分解部を、さらに具備し、
前記候補形状生成手段は、前記部分形状に応じた複数の指定方向を設定し、前記部分形状の候補形状を生成し、
前記形状特徴点検出手段は、前記投票マップにおける前記部分形状の前記特徴点への投票結果に基づいて、前記部分形状の特徴点を確定する、
請求項１に記載の画像処理装置。
【請求項８】
前記ターゲット形状を、前記ターゲット形状の一部の辺から構成される複数の部分形状に分解する形状分解部を、さらに具備し、
前記候補形状生成手段は、前記部分形状毎に前記候補形状を生成し、
前記形状特徴点検出手段は、前記部分形状毎に前記特徴点を確定し、
前記形状確定手段は、部分形状毎に確定された前記特徴点に基づいて、前記撮像画像内での前記ターゲット形状の位置を確定する、
請求項６に記載の画像処理装置。
【請求項９】
撮像画像から探索領域を設定するステップと、
前記探索領域内に、複数のサンプル点を設定するステップと、
ターゲット形状に応じた複数の指定方向を設定するステップと、
各サンプル点から前記複数の指定方向に沿って画像のエッジ点を探索するステップと、
検出したエッジ点を通る直線から構成される候補形状を生成するステップと、
各候補形状によって各候補形状の特徴点の位置に投票された投票マップを生成するステップと、
前記投票マップにおける前記特徴点への投票結果に基づいて、前記ターゲット形状の特徴点を確定するステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から特定形状を高速に検出又は追跡する、画像処理装置及び方法に関する。特に、撮像画像から、道路標識のように輪郭形状が固定である特定形状を、検出又は追跡する装置及び方法に関する。
【背景技術】
【０００２】
従来、撮像画像から特定形状を検出又は追跡する画像処理装置が広く利用されている。例えば、工場自動化（ＦＡ）に用いられる画像処理装置においては、部品形状を連続的に検出することで、部品の取り間違いや欠陥識別を実現している。また、近年のロボットナビゲーションにおける誘導標識の認識や、リモートセンシングにおける建物の認識でも特定形状の検出と追跡が利用されている。【０００３】
また、運転支援のために、道路標識を認識し、その認識した標識情報をドライバに知らせたり、あるいは、その標識情報を車輌制御に利用したりする装置がある。標識認識装置では、カメラで前方を撮像し、その撮像画像から標識で使用されている特定形状を含む候補領域画像を抽出し、その抽出した候補領域画像と標識画像のテンプレートとを用いてパターンマッチング処理を行うことで、標識を認識する。道路標識の自動識別処理は、ＩＴＳシステムの重要な構成部分である。道路標識を正確に識別することによって、交通事故発生確率の低減、及び車の安全性の向上に繋がる。また、道路標識の識別によって、運転手にもっと多くの情報を提供でき、結果として運転手の疲労を低減し、快適な運転環境を提供できる。【０００４】
このように、特定形状の検出及び追跡は、多分野において重要な技術となっており、特定形状を高速かつ高精度で行うための種々の装置及び方法が提案されている。【０００５】
例えば特許文献１及び特許文献２には、特に形状追跡を行うに当たって、パーティクル  フィルタを利用する技術が開示されている。特許文献１では、先ず、探索範囲内で、一定の分散度に基づきランダムに複数個の矩形ブロックを生成する。次に、色ヒストグラムなどの特徴を用いて各ブロックを探索対象のモデルと照合し、各ブロックが追跡対象となる確率をマッチング確率として計算する。次に、計算した複数のマッチング確率の重心に基づいて対象位置を推定する。【０００６】
また、特許文献３には、エッジ照合を用いて形状を追跡する技術が開示されている。特許文献３では、先ず、対象のエッジモデルを計算し、これを入力画像に投影する。次に、エッジモデルの投影点の局所領域において入力画像のエッジ点を探索及び組織化する。次に、組織化のパラメータを用いて追跡対象となる尤度を計算し、計算した複数の尤度を組み合わせて、追跡形状の位置を推定する。【０００７】
また、特許文献４には、画像のエッジ点からの投票によって形状を検出する方法が開示されている。特許文献４では、画像の全てのエッジ点がエッジ方向に対して垂直方向にある線分に投票し、投票マップを生成する。そして、投票点のピーク位置を及びそれに投票したエッジ点の方向を分類することにより、多辺形などを検出する。
【特許文献１】特開２００５−１４９５０９号公報
【特許文献２】特開２００５−７００４３号公報
【特許文献３】特開２００６−２８５３５８号公報
【特許文献４】国際公開第２００８／０１０４８８号パンフレット（ＷＯ，Ａ１）
【非特許文献１】崔屹編集『画像処理と分析―数学形態学の方法及び応用』（中国、科学出版社、２０００出版）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、特許文献１と特許文献２の開示技術は、複数のブロックを利用するので明確なコンポーネント構造を有する画像に向いているが、道路標識や小サイズの画像に応用するのは困難である。また、色ヒストグラムなど局所積分型のブロック特徴を利用するので、輪郭の検出と追跡は困難である。【０００９】
また、特許文献３の開示技術は、高画質エッジ画像の存在が前提であるので、低画質画像への応用が困難である。また、追跡対象のエッジモデルの投影位置と入力画像のエッジ分布との間に密接な対応関係が必要であるが、車載カメラ映像の場合、道路状況や運行状態などが変化するのでその対応関係を保証できない。また、尤度の計算は非剛体に対してメリットあるが、標識のような剛体の場合、局所エッジ特徴が少ないので、正しい尤度の計算が困難である。【００１０】
特許文献４の開示技術は、全てのエッジ点からの投票が行われるので、実際には存在しない特定形状が検出される可能性がある。また、全てのエッジからの投票と、投票数の最大値の探索などの操作とに時間がかかるので、アルゴリズムの実行速度が低くなるおそれがある。このため、高速化の実現が困難である。【００１１】
特に、画像の追跡処理においては、さらなる高速化が望まれている。また、特に、車両用の画像追跡処理においては、低画質又は小サイズの画像でも、高速に画像の追跡処理を行うことができる装置及び方法が望まれている。【００１２】
本発明は、かかる点を考慮してなされたものであり、低画質又は小サイズの画像に対しても高速かつ正確に形状検出又は形状追跡できる画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【００１３】
本発明の画像処理装置の一つの態様は、撮像画像から探索領域を設定する探索領域設定手段と、前記探索領域内に、複数のサンプル点を設定するサンプル点設定手段と、ターゲット形状に応じた複数の指定方向を設定し、各サンプル点から前記複数の指定方向に沿って画像のエッジ点を探索し、検出したエッジ点を通る直線から構成される候補形状を生成する候補形状生成手段と、各候補形状によって各候補形状の特徴点の位置に投票された投票マップを生成する投票マップ生成手段と、前記投票マップにおける前記特徴点への投票結果に基づいて、前記ターゲット形状の特徴点を確定する形状特徴点検出手段と、を具備する構成を採る。
【発明の効果】
【００１４】
本発明によれば、低画質又は小サイズの画像に対しても、高速かつ正確な形状検出又は形状追跡が可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図
【図２】図２Ａは探索領域の説明に供する図、図２Ｂはサンプル点の説明に供する図、図２Ｃは指定方向（探索方向）の説明に供する図、図２Ｄは候補形状の説明に供する図、図２Ｅは候補形状の特徴点の説明に供する図
【図３】実施の形態１の動作の説明に供するフローチャート
【図４】図４Ａは３辺がそれぞれ平行となる内外２つの三角形を有する道路標識の例を示す図、図４Ｂは３辺がそれぞれ平行となる内外２つの三角形を有する道路標識の重心を示す図
【図５】実施の形態２の説明に供する図であり、図５Ａは探索領域とターゲットの四角形とを示す図、図５Ｂは指定方向に沿ったエッジ点の探索と候補形状の生成の説明に供する図、図５Ｃは候補形状の特徴点（対角線交点）の説明に供する図
【図６】実施の形態３の説明に供する図であり、図６Ａ及び図６Ｂは指定方向（探索方向）の説明に供する図、図６Ｃはエッジ点の探索、エッジ方向及び中心候補の説明に供する図
【図７】実施の形態４の説明に供する図であり、図７Ａはターゲット形状を部分形状に分解する処理の説明に供する図、図７Ｂは各部分形状の特徴点（内接円の中心点）を示す図
【図８】図８Ａ及び図８Ｂは、それぞれ、スケルトンの一例を示す図
【図９】実施の形態４の処理手順を示すフローチャート
【図１０】実施の形態４の処理を実現するための構成を示すブロック図
【発明を実施するための最良の形態】
【００１６】
本発明は、画像から線分の組合せからなる形状を検出又は追跡する装置及び方法を提供する。線分の組合せとは、検出対象の画像の輪郭が１つ以上の線分を含むことである。輪郭は開形状でも閉形状でもよい。本発明は、形状の検出及び追跡の両方に適用可能であるが、特に高速な処理を実現できるので、高速な処理が要求される形状追跡に好適である。【００１７】
以下、本発明の実施の形態について図面を参照して詳細に説明する。【００１８】
（実施の形態１）
説明を簡単にするため、正三角形の検出と追跡を例として記述する。また、正三角形の一辺が上方且つ水平位置にあると仮定する。【００１９】
図１に、本実施形態の画像処理装置の構成を示す。図１において、画像処理装置１００は、探索領域設定部１０１に入力画像としてフレーム画像を入力する。【００２０】
探索領域設定部１０１は入力画像の所定領域を探索領域として設定する。探索領域設定部１０１は、形状検出を行う場合、つまり現フレームよりも前のフレームでターゲット形状の位置が検出されていない場合、探索領域として全画面を設定する。一方、探索領域設定部１０１は、形状追跡を行う場合、つまり前フレームでターゲット形状の位置が検出されている場合、その検出位置を含む周辺を探索領域として設定する。形状追跡を行う場合、探索領域設定部１０１は、形状特徴点検出部１０５の出力に基づいて探索領域を設定する。【００２１】
例えば、図２Ａに示したように、時刻ｔのフレームにおいて「止まれ」標識が検出された場合、探索領域設定部１０１は、「止まれ」標識が検出された位置を含む周辺領域Ｒを時刻ｔ＋１のフレームでの探索領域Ｒとして設定する。ここで、探索領域Ｒはターゲット形状の大よその存在範囲を示すもので、ターゲット形状の移動パターンや確率分布などを明示する必要はない。また、探索領域Ｒの大きさは、ターゲット形状の移動方向と速度を考慮して決めると好ましい。また、探索領域Ｒの大きさは、後述するサンプル点の数、形状検出の計算時間及び形状追跡の計算時間に影響を与えるので、それらを考慮して設定するとよい。また、図では、探索領域Ｒが矩形であるが、探索領域Ｒは矩形以外でもよい。また、時刻ｔ＋１のフレームと時刻ｔのフレームの画像が、同一画像であってもよい。【００２２】
サンプル点設定部１０２は、探索領域内に存在する画素点の中から複数のサンプル点を選択し、当該複数のサンプル点を設定する。図２Ｂにサンプル点の様子を示す。図２Ｂでは１つのサンプル点のみを符号ｐで示しているが、図２Ｂで示されている点が全てサンプル点ｐである。例えば、図２Ｂの点で示した探索領域Ｒ内の全画素点をサンプル点ｐとして設定してもよい。また、サンプル点は、画素点に限らず、探索領域内の点であればよい。サンプル点ｐの間隔は、等間隔でも非等間隔でもよい。【００２３】
候補形状生成部１０３は、サンプル点設定部１０２からサンプル点の位置情報を入力すると共に、ターゲット形状情報を入力する。ターゲット形状情報は、ターゲット形状メモリ１０６に記憶された特定形状に関する情報である。本実施の形態の場合には、ターゲット形状メモリ１０６にはターゲット情報として複数の道路標識の情報が記憶されており、サンプル点設定部１０２は複数の道路標識の中からターゲット形状情報を読み出す。例えば検出又は追跡する形状が決まっている場合には、検出又は追跡対象のターゲット形状情報を読み出す。一方、検出又は追跡する形状が決まっていない場合には、複数の道路標識の中から順次ターゲット形状情報を読み出せばよい。【００２４】
候補形状生成部１０３は、先ず、エッジを検出するための指定方向を、ターゲット形状情報に基づいて設定する。そして、候補形状生成部１０３は、サンプル点を起点に指定方向に沿って画像のエッジ点を探索する。【００２５】
図２Ｃに、具体的な例を示す。候補形状生成部１０３は、サンプル点ｐから３つの指定方向ｌａ，ｌｂ，ｌｃに沿ってエッジ点を探索する。探索範囲は、探索領域設定部１０１で設定された探索領域Ｒである。本実施の形態の場合、指定方向は、検出又は追跡しようとするターゲット形状の辺に垂直する方向に設定される。例えばターゲット形状が図２Ａに示した「止まれ」のような正三角形の場合、正三角形の３辺を内部から垂直に通過する３つの方向、すなわち９０度（ｌａ）、２１０度（ｌｂ）、３３０度（ｌｃ）の方向が指定方向に設定される。候補形状生成部１０３は、サンプル点ｐを起点として、方向ｌａ、方向ｌｂ、方向ｌｃに沿ってエッジ点を探索する。【００２６】
次に、候補形状生成部１０３は、検出したエッジ点を基に候補形状を生成する。図２Ｄに、具体的な例を示す。方向ｌａでエッジ点Ａ、方向ｌｂでエッジ点Ｂ、方向ｌｃでエッジ点Ｃ１，Ｃ２を検出した場合、候補形状生成部１０３は、検出したエッジ点を通る直線から構成される形状をターゲット形状の候補形状として生成する。図２Ｄの例の場合、ターゲット形状が正三角形であり、かつ指定方向が正三角形の３辺を内部から垂直に通過する３つの方向であるので、候補形状生成部１０３は、検出したエッジ点を通りかつ指定方向に垂直な複数の直線から構成される形状を候補形状として生成する。図２Ｄの例の場合、三角形ＸＹ１Ｚ１と、三角形ＸＹ２Ｚ２が候補形状として生成される。【００２７】
候補形状生成部１０３は、このような候補形状の生成処理を全てのサンプル点に関して行う。【００２８】
投票マップ生成部１０４は、候補形状の特徴点を求め、さらに投票の手法を使うことにより、複数の候補形状から支持される度合いを示す投票マップを生成する。特徴点は、ターゲット形状にとって唯一性を有する点であることが好ましい。三角形の場合、重心又は垂心など唯一性を有する点であるので、重心又は垂心を特徴点として求めればよい。ここで、投票マップ生成部１０４によって生成される投票マップは、全ての候補形状から、各自の特徴点に１票が投じられたものである。例えば、図２Ｅに示したように、候補形状である三角形ＸＹ１Ｚ１により自身の重心Ｆ１に１票が投じられ、候補形状である三角形ＸＹ２Ｚ２により自身の重心Ｆ２に１票が投じられる。【００２９】
投票マップ生成部１０４は、サンプル点設定部１０２で設定された全サンプル点を基に候補形状生成部１０３で生成された全候補形状からの、投票結果を集計する。具体的に、例えば、特徴点の存在可能位置を画素位置に限定し、各画素が得た投票数を合計することで、各画素位置の票数を計算する。【００３０】
形状特徴点検出部１０５は、投票マップの集計結果に基づいて、検出又は追跡する形状の特徴点を確定する。具体的には、形状特徴点検出部１０５は、票数の局所ピーク（投票数ピーク）が得られた画素位置（特徴点位置）を投票マップから検出し、その画素位置の票数が所定の閾値Ｔｈよりも大きい場合、その画素位置をターゲット形状の特徴点位置として確定する。【００３１】
さらに、形状特徴点検出部１０５の後段に、形状特徴点検出部１０５によって検出された特徴点の位置に基づいてターゲット形状の位置を特定する形状確定部を設けてもよい。上述したように特徴点は重心や垂心など唯一性を有する点とされており、かつターゲット形状は決まっているので、形状確定部は、これらからターゲット形状の位置を特定することができる。【００３２】
ここで、前記投票数ピークを以下のように検出してもよい。例えば、投票閾値がＴｈで、サンプル点が等間隔である場合、投票したサンプル数がＴｈ＊ａよりも大きい場合にピークとして検出する。但し、ａは画質によって決める。シミュレーションを行った結果、０．４＜ａ＜＝０．８に設定すると、処理速度及び処理精度を両立できることが分かった。【００３３】
ところで、候補形状生成部１０３によって生成される各候補形状の位置は一般に多様であるため、各候補形状の特徴点位置は異なる。しかし、検出しようとするターゲット三角形の内部におけるサンプル点を基に生成される候補形状には、通常、当該三角形の真のエッジ点を形成するものが多数含まれ、この結果、真のエッジ点を形成する候補形状の特徴点への投票数は局所ピークとなる。よって、この局所ピークからターゲット三角形の特徴点の位置を求めることができ、この特徴点の位置からターゲット三角形の位置を特定することもできる。【００３４】
一方、探索領域Ｒにターゲット形状が存在しない場合は、エッジ点の分布や候補三角形の位置がランダムになるので、投票数の局所ピークは形成されない。言い換えれば、投票数のピークが形成されない場合は、探索領域Ｒにターゲット形状が存在しないことを意味する。【００３５】
次に、図３を用いて、本実施の形態の画像処理装置１００の動作を説明する。
画像処理装置１００は、画像が入力されると、探索領域設定部１０１によって探索領域を設定する（ステップＳＴ１）。次に、サンプル点設定部１０２がサンプル点を確定する（ステップＳＴ２）。【００３６】
次に、候補形状生成部１０３が、ターゲット形状情報に基づいて、エッジを探索するための探索方向（指定方向）を確定する（ステップＳＴ３）。次に、候補形状生成部１０３が、指定方向に沿って画像のエッジ点を探索し、エッジ点を確定する（ステップＳＴ４）。次に、候補形状生成部１０３が、確定したエッジ点を通る直線から構成される形状をターゲット形状の候補形状として生成する（ステップＳＴ５）。【００３７】
次に、投票マップ生成部１０４が、候補形状の特徴点を求め、さらに各候補形状の特徴点に投票された投票マップを作成する（ステップＳＴ６）。【００３８】
次に、画像処理装置１００は、探索領域内における指定方向の全エッジ点についての候補形成生成処理及び投票処理が完了したか否かを判断し（ステップＳＴ７）、完了していない場合にはステップＳＴ５に戻り、完了した場合にはステップＳＴ８に進む。【００３９】
ステップＳＴ８において、画像処理装置１００は、探索領域内に設定した全てのサンプル点についての処理が完了したか否か判断し、完了していない場合にはステップＳＴ２に戻って次のサンプル点についてステップＳＴ２−ＳＴ７の処理を行い、完了した場合にはステップＳＴ９に進む。【００４０】
ステップＳＴ９では、投票マップ生成部１０４が、全サンプル点及び全候補形状から得られた特徴点への投票結果の集計を行い、形状特徴点検出部１０５が、投票数のピークを検出する。【００４１】
次に、ステップＳＴ１０において、形状特徴点検出部１０５が、投票数のピークを閾値判定し、ピークの投票数が所定の閾値よりも大きい場合、ピークが得られた特徴点はターゲット形状の特徴点であると判断する。これにより、探索領域内にターゲット形状が存在することが確定され、さらにはピークが得られた特徴点の位置に基づいて、ターゲット形状の位置を確定することもできる。【００４２】
画像処理装置１００は、このようにして確定したターゲット形状の特徴点の位置情報又はターゲット形状の位置情報を、形状特徴点検出部１０５の後段側に設けられた、例えば車両の自動制御装置や警報装置等に出力する。【００４３】
以上説明したように、本実施の形態によれば、画像処理装置１００は、探索領域内に複数のサンプル点を設定するサンプル点設定部１０２と、ターゲット形状に応じた複数の指定方向を設定し、各サンプル点から複数の指定方向に沿って画像のエッジ点を探索し、検出したエッジ点を通る直線から構成される候補形状を生成する候補形状生成部１０３と、各候補形状によって各候補形状の特徴点の位置に投票された投票マップを生成する投票マップ生成部１０４と、投票マップにおける特徴点への投票結果に基づいてターゲット形状の特徴点を確定する形状特徴点検出部１０５と、を有する。【００４４】
これにより、低画質又は小サイズの画像に対しても高速に形状検出又は形状追跡できる。つまり、画像の形状（エッジ）に基づいてターゲット形状を検出するので、エッジさえ現れていれば低画質又は小サイズの画像であっても検出及び追跡が可能となる。また、低フレームレートの画像、すなわち前フレームと現フレームとの間でターゲット形状が比較的大きく移動している画像であっても、良好な形状追跡を実現できる。【００４５】
さらに、ターゲット形状に応じた方向にのみエッジ点を検出すればよいので、エッジ点検出のための処理量が少ない。よって、高速に形状検出又は形状追跡できる。つまり一般の場合は、水平方向のエッジ強度と垂直方向のエッジ強度を総合しでエッジ点を求めるが、本発明では指定方向に限定してエッジ点を求めるので、特に探索領域Ｒが大きい場合に、計算量を大幅に削減できる。【００４６】
ここで、本実施の形態の画像処理装置１００においては、輝度画像のサンプル点、つまり画素点を直接利用するので、全画像や探索領域に前処理を施す必要がなくなる。加えて、全てのサンプル点に対してまったく同様の処理を行うので、アルゴリズムが比較的容易である。本実施の形態の実行速度はサンプル点の数に依存する。また、本実施の形態の構成においては、探索領域及び投票閾値を適正に設定することによって、システムの効率をコントロールできる。実験を行った結果、車載カメラによって日本の「一時停止」（止まれ）の交通標識を撮像し、ＣＰＵ周波数が１．８［ＧＨｚ］、メモリ容量が５１２［ＭＢ］のパソコンを利用し、サンプル点を６００個から１０００個の間に設定した場合、１フレームの追跡時間はほぼ１５［ｍｓｅｃ］であり、リアルタイムに交通標識の検出と追跡を実現できた。【００４７】
なお、上述の実施の形態では、一例としてターゲット形状が正三角形の場合について説明したが、本発明はこれに限らず、任意三角形に適用可能である。任意三角形の場合、例えば３辺の方向がそれぞれθ１、θ２、θ３である場合、サンプル点がエッジ点を探索する方向をθ１−９０°、θ２−９０°、θ３−９０°、つまり３辺と垂直する方向に設定すればよい。上記角度は一般的に、辺又はその延長線と、水平方向とのなす角度である。【００４８】
また、上述の実施の形態では、主に、ターゲット形状の特徴点の検出までを説明したが、ターゲット形状の特徴点とターゲット形状との関係を加味した処理について、以下に説明する。【００４９】
図４Ａに示した「止まれ」標識のように、３辺がそれぞれ平行となる内外２つの三角形１１０、１１１が存在する場合もある。この場合、図４Ｂに示すように、２つの三角形１１０、１１１の重心Ｆ１、Ｆ２が重なる（同位置になる）。標識検出の場合、２つの三角形を区別せず一緒に考慮すべきなので、上述の実施の形態のように、特徴点として重心を用いて、重心を検出又は追跡することが、ターゲット形状の検出又は追跡にとって好ましい。一方、２つの三角形１１０、１１１を区別し、それぞれを検出又は追跡したい場合もある。このような場合には、投票マップ生成部１０４が、特徴点に投票する際に、投票するエッジ点（候補形状）と投票される特徴点との距離を記憶し、形状特徴点検出部１０５が、上記距離を考慮して特徴点を距離別に決定するとよい。つまり、図４Ｂの重心（特徴点）Ｆ１と重心（特徴点）Ｆ２は異なる距離の形状特徴点として検出される。従って、２つの三角形１１０、１１１も別々に検出又は追跡できる。以上述べた形状特徴点から形状を求める処理は、形状特徴点検出部１０５で行ってもよく、形状特徴点検出部１０５の後に形状確定部を追加して行ってもよい。【００５０】
（実施の形態２）
実施の形態１では、ターゲット形状が三角形である場合の検出又は追跡について説明したが、本実施の形態では、ターゲット形状が四角形の場合の検出又は追跡について、図５を用いて説明する。【００５１】
図５Ａに探索領域Ｒと検出しようとする四角形Ｓとを示す。四角形Ｓを検出するために、候補形状生成部１０３は、先ず、サンプル点ｐを起点として４つの方向、つまり図５Ｂに示した方向ｌａ，ｌｂ，ｌｃ，ｌｄに沿ってエッジ点を探索する。【００５２】
方向ｌａ，ｌｂ，ｌｃ，ｌｄは、四角形Ｓの辺を内部点から垂直に通過する方向である。一般的に、四角形の４つの辺の方向がθ１、θ２、θ３、θ４であれば、ｌａ，ｌｂ，ｌｃ，ｌｄの方向をそれぞれθ１−９０°、θ２−９０°、θ３−９０°、θ４−９０°に指定する。【００５３】
４つの指定方向からエッジ点Ａ，Ｂ，Ｃ１，Ｃ２，Ｄを検出した場合、候補形状生成部１０３は、検出したエッジ点Ａ，Ｂ，Ｃ１，Ｃ２，Ｄを前述の指定方向に垂直に通過する直線を利用して候補四角形を生成する。図５Ｂの場合、四角形ＸＹ１Ｚ１Ｗと四角形ＸＹ２Ｚ２Ｗが候補四角形として生成される。【００５４】
次に、図５Ｃに示すように、投票マップ生成部１０４において、四角形ＸＹ１Ｚ１Ｗと四角形ＸＹ２Ｚ２Ｗがそれぞれ自身の対角線交点Ｆ１、Ｆ２に投票する。その後の処理は、実施の形態１と同様であり、サンプル点設定部１０２で設定された全サンプル点を基に候補形状生成部１０３で生成された全候補形状からの、投票点を集計することで、ターゲット形状の特徴点（対角線の交点）位置を確定する。最後に、必要であれば、確定した交点とエッジ点との距離を利用して、ターゲット形状である四角形の位置を特定する。【００５５】
（実施の形態３）
本実施の形態では、ターゲット形状が円である場合の検出と追跡について、図６を用いて説明する。【００５６】
候補形状生成部１０３は、先ず、エッジ点を探索する指定方向を複数の固定方向に設定する。指定方向は、一般に、３６０度を等分割した方向が望ましい。例えば、図６Ａに示した４つの方向（０°，９０°，１８０°，２７０°）、又は図６Ｂに示した８つの方向（０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°）を選択する。また、より多い方向、例えば、１６方向を指定してもよい。【００５７】
次に、候補形状生成部１０３は、エッジ点を２つの相反方向から同時に探索する。例えば、図６Ｃに示したように、サンプル点ｐを起点として指定方向ｌａと指定方向ｌｂに沿ってエッジを探索する。候補形状生成部１０３は、指定方向ｌａ、指定方向ｌｂからエッジ点Ａ、エッジ点Ｂを検出した場合、エッジ点Ａのエッジ方向ｕと、エッジ点Ｂのエッジ方向ｖとを用いた検証を行う。エッジ方向ｕと指定方向ｌａとのなす角度をａ，エッジ方向ｖと指定方向ｌｂとのなす角度をｂで表記すれば、角度ａと角度ｂとの差が所定の閾値よりも大きい場合、エッジ点Ａとエッジ点Ｂは同時に円のエッジ点になることはない。候補形状生成部１０３は、角度ａと角度ｂとの差が閾値以下の場合に、エッジ点Ａを通りかつエッジ方向ｕに垂直な直線と、エッジ点Ｂを通りかつとエッジ方向ｖに垂直な直線との交点Ｆを計算し、交点Ｆを円の中心点候補、ＦＡ又はＦＢを円の半径候補とする。【００５８】
投票マップ生成部１０４は、全サンプル点から中心点候補及び半径候補に投票された投票マップを作成し、形状特徴点検出部１０５は、投票マップにおける中心点候補及び半径候補への投票結果に基づいて、検出又は追跡する円の中心点と半径を確定する。【００５９】
なお、角度ａと角度ｂの差を補正してもよい。例えば、角度ａと角度ｂの平均を計算し、平均値となるようにエッジ方向ｕとエッジ方向ｖを回転させ、それに基づいて交点Ｆの計算及びその他の処理を行う。【００６０】
（実施の形態４）
本実施の形態では、任意多辺形の検出と追跡の方法を説明する。図７を用いて説明する。【００６１】
図７に示した五角形を検出する場合には、上述の実施の形態とは異なる方法が必要である。理由は２つある。１つ目の理由は、５つの指定方向からエッジ点を探索する必要があるので、計算量が増えるとともに、ターゲット形状内部におけるサンプル点から指定方向に沿ってエッジ点を探索してもターゲット形状の辺と交差しない可能性があることである。つまり、指定方向から正しいエッジ点を探索できないので、正しい候補形状を生成することもできない。このようなサンプル点を無効サンプル点と呼ぶ。２つ目の理由は、多辺形の辺の数が増えると、通常、上記無効サンプル点の数も急速に増えることである。【００６２】
図７Ａに示した五角形ＡＢＣＤＥを検出する場合について説明する。先ず、５つの辺を複数のグループ（部分形状）に分解する。例えば、ＡＥ、ＤＥ、ＣＤは１つ目のグループに分類し、ＡＢ，ＢＣ，ＣＤは２つ目のグループに分類し、ＡＢ，ＡＥ，ＣＤは３つ目のグループに分類する。これら３つのグループを検出し、かつ３つのグループの特徴点位置が所定の相対関係にあれば、五角形を確定できる。【００６３】
五角形をグループに分ける方法としては、特許文献４に記載されている内接円の手法を利用すればよい。つまり、グループＡＥ−ＤＥ−ＣＤは上述の実施の形態１と実施の形態３の方法で３辺の内接円の中心点（特徴点）に投票し、その投票結果に基づいてグループＡＥ−ＤＥ−ＣＤ中心点の位置と内接円の半径を検出する。同様に、グループＡＢ−ＢＣ−ＣＤもグループＡＢ−ＡＥ−ＣＤもそれぞれの内接円中心点と半径を検出する。結果として、図７Ｂに示したように、３つの中心点Ｏ１，Ｏ２，Ｏ３（特徴点）を検出できる。Ｏ１，Ｏ２，Ｏ３の相対位置や対応する半径より、五角形ＡＢＣＤＥとなるかを判断できる。五角形になる場合は、内接円の中心点Ｏ１，Ｏ２，Ｏ３と半径とから五角形の位置を確定すればよい。【００６４】
五角形以外の任意形状に対しても、上述したのと同様に、内接円をベースに複数のグループに分ければよい。そして、各グループの内接円の中心点と半径とを投票の方法によって検出した後、グループ間での内接円の相対位置や対応するサイズから本来の形状（ターゲット形状）になるかを判断する。ターゲット形状になる場合は、内接円の中心点と半径とからターゲット形状の位置を確定すればよい。【００６５】
さらに詳しく説明する。実施の形態１〜４において、三角形、四角形、五角形、円などの形状の検出と追跡のプロセスを記述した。通常、辺数が５以下の場合、エッジ点を探索する方向は各辺とそれぞれ垂直なので、探索する方向の数は辺数と同等である。【００６６】
しかし、上述したように、辺数の多い多辺形に対しては、単純に辺と垂直する方向でエッジ点を探索すると、効率が悪い場合もある。つまり、無効サンプル点が増えて、投票用の有効なサンプル点の数が減少すると、本実施の形態で説明した方法が必要となる。【００６７】
つまり、多辺形を複数の部分に分解し、各部分の特徴点をまず検出又は追跡する。そして、確定できる特徴点の数、及び各部分の特徴点の相対位置関係に基づいて、形状全体を検出又は追跡する。形状を部分に分解する方法としては、共通の内接円を有する複数の辺を１つの部分に分類してもよい。その場合、内接円の中心点が投票対象の特徴点である。【００６８】
従来、画像処理の分野でスケルトン抽出技術が知られている。スケルトン抽出技術は、例えば、非特許文献１に記載されている。具体的に、スケルトンは、形状の最大内接円の中心点より構成される。最大内接円とは、完全に形状内に含まれ、形状の少なくとも２辺に接し、かつ他の内接円に含まれてない内接円を指す。スケルトンは形状の基本特徴の一つである。図８に、二つの形状のスケルトン（細線）を示す。直線より形成された閉形状に対し、スケルトンに存在する交点、例えば、図８Ａ、図８Ｂの点Ｔ１，Ｔ２、を中心点とする内接円は形状の辺に最も多く（最低３辺）接するので、それらの点がターゲット形状の幾何情報を多く含むと考えられる。そのため、スケルトンの交点の対応する内接円を本実施の形態の内接円として利用するのは好適である。【００６９】
本実施の形態に記述したプロセスは、任意多辺形の検出又は追跡に適用可能である。さらに、組み合わせ形状、例えば、弧線と多辺形との組合せで構成された形状に対しても、適用可能である。【００７０】
図９に、本実施の形態による任意多辺形を検出又は追跡する場合の手順を示す。先ず、ターゲットの多辺形を分解する（ステップＳＴ２１）。例えば、直線の部分と曲線の部分に分ける。次に、直線の部分に対応する内接円を確定し、その内接円と曲線の部分との幾何関係を確定する（ステップＳＴ２２）。次に、サンプル点を設定する（ステップＳＴ２３）。次に、サンプル点から指定方向に沿ってエッジ点を探索し、検出したエッジ点に基づきターゲット形状の候補形状（又は候補形状に対応する特徴点）を生成する（ステップＳＴ２４）。次に、全てのサンプル点を基に生成した候補形状又は候補形状の特徴点からの投票を行う（ステップＳＴ２５）。次に、複数の投票結果を集計し、投票の局所ピークを検出する（ステップＳＴ２６）。次に、投票ピークに基づき部分形状を検出し、複数の部分形状を有する場合、複数の投票結果のピーク位置の相対関係を確定する（ステップＳＴ２７）。さらに、ステップＳＴ２７では、確定できた直線の部分および直線の部分と曲線の部分との幾何関係に基づき、曲線部分の存在を検証し、ターゲット形状の有無を判別し、その位置を確定する。【００７１】
ここで、本実施の形態の処理は、図１０に示す構成を用いれば実現できる。図１との対応部分に同一符号を付して示す図１０において、画像処理装置２００は、形状分解部２０１と、ターゲット形状確定部２０２とを有する。画像処理装置２００は、ステップＳＴ２１及びＳＴ２２の処理を形状分解部２０１にて行う。また、ステップＳＴ２３の処理はサンプル点設定部１０２にて行われる。ステップＳＴ２４の処理は候補形状生成部１０３にて行われる。ステップＳＴ２５の処理は投票マップ生成部１０４にて行われる。ステップＳＴ２６の処理は形状特徴点検出部１０５にて行われる。ステップＳＴ２７の処理はターゲット形状確定部２０２にて行われる。【００７２】
なお、エッジ点を探索する方向及び数は、ターゲット形状の辺の方向及び数に合わせても合わせなくてもよい。但し、探索する方向及び数を、ターゲット形状の辺の方向及び数に合わせた方が多辺形の検出又は追跡を良好に行うことができると考えられる。つまり、三角形を検出する場合は探索方向が３つ、四角形の場合は探索方向が４つである。加えて、それぞれの探索方向が多辺形の辺と垂直する方向であることが好ましい。任意多辺形に対処するためには、上述したように多辺形を内接円ベースで分解し、スケルトンの交点に投票するとよい。【００７３】
エッジ点を探索する方向及び数を、ターゲット形状の辺の方向及び数に合わせた場合、適用対象が特定されるので汎用性が弱いが、逆に探索方向が特定されるので計算が簡単で実行速度は速い。一方、エッジ点を探索する方向及び数を、ターゲット形状の辺の方向及び数に合わせない場合（例えば、探索方向を特定の１０方向に固定する場合）、汎用性があるが、特定対象に対する精度が低く、計算量も多い。【００７４】
以上説明したように、本発明によれば、ターゲット形状を１回検出した後、当該形状の探索範囲を限定し追跡を実現できる。本発明の方法及び装置は、一部のサンプル点でしかエッジ点を検出できない場合（一部分しか正確に投票できない場合）でも利用可能なので、隠れやノイズ又はあいまいなエッジを有する画像（すなわち低画質又は小サイズの画像）に対し強いロバスト性を有する。【００７５】
また、本発明は、直接に輝度画像を処理することができるので、画像全体又は探索領域に対して、画質改善、ノイズ削除又はエッジ処理をする必要がない。またサンプル点からの指定方向に存在するエッジ点だけを計算するため、速い計算速度と強いロバスト性を有する。【００７６】
また、本発明は、ターゲット形状の辺に基づき指定方向のエッジ点しか扱わないため、エッジ算出用のフィルターを適切に選択できる。また、１つのサンプル点から通常少なくとも３つの方向のエッジ点を求め候補形状を形成するので、正しい形状以外のエッジ点に起因する誤検出が少ない。【００７７】
なお、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。また上記各機能ブロックは、コンピュータプログラムによっても実施可能である。【００７８】
２００７年９月１１日出願の出願番号２００７１０１４８７５６．０の中国出願に含まれる明細書、図面及び要約書の内容は、全て本願に援用される。
【産業上の利用可能性】
【００７９】
本発明の画像処理装置及び画像処理方法は、低画質又は小サイズの画像からでも高速に形状検出又は形状追跡できるといった効果を有し、例えば車両の道路標識認識システム、ロボットナビ、リモートセンシングの建物検出装置等に広く適用可能である。
【図１】
2009034709.tif 000003
【図２】
2009034709.tif 000004
【図３】
2009034709.tif 000005
【図４】
2009034709.tif 000006
【図５】
2009034709.tif 000007
【図６】
2009034709.tif 000008
【図７】
2009034709.tif 000009
【図８】
2009034709.tif 000010
【図９】
2009034709.tif 000011
【図１０】
2009034709.tif 000012
【手続補正書】
【提出日】平成21年2月3日(2009.2.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像画像から探索領域を設定する探索領域設定手段と、
前記探索領域内に、複数のサンプル点を設定するサンプル点設定手段と、
ターゲット形状に応じた複数の指定方向を設定し、各サンプル点から前記複数の指定方向に沿って画像のエッジ点を探索し、検出したエッジ点を通る直線から構成される候補形状を生成する候補形状生成手段と、
各候補形状によって各候補形状の特徴点の位置に投票された投票マップを生成する投票マップ生成手段と、
前記投票マップにおける前記特徴点への投票結果に基づいて、前記ターゲット形状の特徴点を確定する形状特徴点検出手段と、
を具備する画像処理装置。
【請求項２】
前記候補形状生成手段によって設定される前記複数の指定方向は、前記ターゲット形状の辺と垂直な方向である、
請求項１に記載の画像処理装置。
【請求項３】
前記候補形状生成手段によって設定される前記複数の指定方向は、３６０度を等間隔で分割した方向である、
請求項１に記載の画像処理装置。
【請求項４】
前記ターゲット形状が三角形の場合、前記特徴点は、三角形の重心又は垂心である、
請求項１に記載の画像処理装置。
【請求項５】
前記ターゲット形状が凸四角形の場合、前記特徴点は、凸四角形の対角線の交点である、
請求項１に記載の画像処理装置。
【請求項６】
前記形状特徴点検出手段によって確定された前記特徴点に基づいて、前記撮像画像内での前記ターゲット形状の位置を確定する形状確定手段を、さらに具備する、
請求項１に記載の画像処理装置。
【請求項７】
前記ターゲット形状を、前記ターゲット形状の一部の辺から構成される部分形状に分解する形状分解部を、さらに具備し、
前記候補形状生成手段は、前記部分形状に応じた複数の指定方向を設定し、前記部分形状の候補形状を生成し、
前記形状特徴点検出手段は、前記投票マップにおける前記部分形状の前記特徴点への投票結果に基づいて、前記部分形状の特徴点を確定する、
請求項１に記載の画像処理装置。
【請求項８】
前記ターゲット形状を、前記ターゲット形状の一部の辺から構成される複数の部分形状に分解する形状分解部を、さらに具備し、
前記候補形状生成手段は、前記部分形状毎に前記候補形状を生成し、
前記形状特徴点検出手段は、前記部分形状毎に前記特徴点を確定し、
前記形状確定手段は、部分形状毎に確定された前記特徴点に基づいて、前記撮像画像内での前記ターゲット形状の位置を確定する、
請求項６に記載の画像処理装置。
【請求項９】
撮像画像から探索領域を設定するステップと、
前記探索領域内に、複数のサンプル点を設定するステップと、
ターゲット形状に応じた複数の指定方向を設定するステップと、
各サンプル点から前記複数の指定方向に沿って画像のエッジ点を探索するステップと、
検出したエッジ点を通る直線から構成される候補形状を生成するステップと、
各候補形状によって各候補形状の特徴点の位置に投票された投票マップを生成するステップと、
前記投票マップにおける前記特徴点への投票結果に基づいて、前記ターゲット形状の特徴点を確定するステップと、
を含む画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から特定形状を高速に検出又は追跡する、画像処理装置及び方法に関する。特に、撮像画像から、道路標識のように輪郭形状が固定である特定形状を、検出又は追跡する装置及び方法に関する。
【背景技術】
【０００２】
従来、撮像画像から特定形状を検出又は追跡する画像処理装置が広く利用されている。例えば、工場自動化（ＦＡ）に用いられる画像処理装置においては、部品形状を連続的に検出することで、部品の取り間違いや欠陥識別を実現している。また、近年のロボットナビゲーションにおける誘導標識の認識や、リモートセンシングにおける建物の認識でも特定形状の検出と追跡が利用されている。
【０００３】
また、運転支援のために、道路標識を認識し、その認識した標識情報をドライバに知らせたり、あるいは、その標識情報を車輌制御に利用したりする装置がある。標識認識装置では、カメラで前方を撮像し、その撮像画像から標識で使用されている特定形状を含む候補領域画像を抽出し、その抽出した候補領域画像と標識画像のテンプレートとを用いてパターンマッチング処理を行うことで、標識を認識する。道路標識の自動識別処理は、ＩＴＳシステムの重要な構成部分である。道路標識を正確に識別することによって、交通事故発生確率の低減、及び車の安全性の向上に繋がる。また、道路標識の識別によって、運転手にもっと多くの情報を提供でき、結果として運転手の疲労を低減し、快適な運転環境を提供できる。
【０００４】
このように、特定形状の検出及び追跡は、多分野において重要な技術となっており、特定形状を高速かつ高精度で行うための種々の装置及び方法が提案されている。
【０００５】
例えば特許文献１及び特許文献２には、特に形状追跡を行うに当たって、パーティクル
フィルタを利用する技術が開示されている。特許文献１では、先ず、探索範囲内で、一定の分散度に基づきランダムに複数個の矩形ブロックを生成する。次に、色ヒストグラムなどの特徴を用いて各ブロックを探索対象のモデルと照合し、各ブロックが追跡対象となる確率をマッチング確率として計算する。次に、計算した複数のマッチング確率の重心に基づいて対象位置を推定する。
【０００６】
また、特許文献３には、エッジ照合を用いて形状を追跡する技術が開示されている。特許文献３では、先ず、対象のエッジモデルを計算し、これを入力画像に投影する。次に、エッジモデルの投影点の局所領域において入力画像のエッジ点を探索及び組織化する。次に、組織化のパラメータを用いて追跡対象となる尤度を計算し、計算した複数の尤度を組み合わせて、追跡形状の位置を推定する。
【０００７】
また、特許文献４には、画像のエッジ点からの投票によって形状を検出する方法が開示されている。特許文献４では、画像の全てのエッジ点がエッジ方向に対して垂直方向にある線分に投票し、投票マップを生成する。そして、投票点のピーク位置を及びそれに投票したエッジ点の方向を分類することにより、多辺形などを検出する。
【特許文献１】特開２００５−１４９５０９号公報
【特許文献２】特開２００５−７００４３号公報
【特許文献３】特開２００６−２８５３５８号公報
【特許文献４】国際公開第２００８／０１０４８８号パンフレット（ＷＯ，Ａ１）
【非特許文献１】崔屹編集『画像処理と分析―数学形態学の方法及び応用』（中国、科学出版社、２０００出版）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、特許文献１と特許文献２の開示技術は、複数のブロックを利用するので明確なコンポーネント構造を有する画像に向いているが、道路標識や小サイズの画像に応用するのは困難である。また、色ヒストグラムなど局所積分型のブロック特徴を利用するので、輪郭の検出と追跡は困難である。
【０００９】
また、特許文献３の開示技術は、高画質エッジ画像の存在が前提であるので、低画質画像への応用が困難である。また、追跡対象のエッジモデルの投影位置と入力画像のエッジ分布との間に密接な対応関係が必要であるが、車載カメラ映像の場合、道路状況や運行状態などが変化するのでその対応関係を保証できない。また、尤度の計算は非剛体に対してメリットあるが、標識のような剛体の場合、局所エッジ特徴が少ないので、正しい尤度の計算が困難である。
【００１０】
特許文献４の開示技術は、全てのエッジ点からの投票が行われるので、実際には存在しない特定形状が検出される可能性がある。また、全てのエッジからの投票と、投票数の最大値の探索などの操作とに時間がかかるので、アルゴリズムの実行速度が低くなるおそれがある。このため、高速化の実現が困難である。
【００１１】
特に、画像の追跡処理においては、さらなる高速化が望まれている。また、特に、車両用の画像追跡処理においては、低画質又は小サイズの画像でも、高速に画像の追跡処理を行うことができる装置及び方法が望まれている。
【００１２】
本発明は、かかる点を考慮してなされたものであり、低画質又は小サイズの画像に対しても高速かつ正確に形状検出又は形状追跡できる画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【００１３】
本発明の画像処理装置の一つの態様は、撮像画像から探索領域を設定する探索領域設定手段と、前記探索領域内に、複数のサンプル点を設定するサンプル点設定手段と、ターゲット形状に応じた複数の指定方向を設定し、各サンプル点から前記複数の指定方向に沿って画像のエッジ点を探索し、検出したエッジ点を通る直線から構成される候補形状を生成する候補形状生成手段と、各候補形状によって各候補形状の特徴点の位置に投票された投票マップを生成する投票マップ生成手段と、前記投票マップにおける前記特徴点への投票結果に基づいて、前記ターゲット形状の特徴点を確定する形状特徴点検出手段と、を具備する構成を採る。
【発明の効果】
【００１４】
本発明によれば、低画質又は小サイズの画像に対しても、高速かつ正確な形状検出又は形状追跡が可能となる。
【発明を実施するための最良の形態】
【００１５】
本発明は、画像から線分の組合せからなる形状を検出又は追跡する装置及び方法を提供する。線分の組合せとは、検出対象の画像の輪郭が１つ以上の線分を含むことである。輪郭は開形状でも閉形状でもよい。本発明は、形状の検出及び追跡の両方に適用可能であるが、特に高速な処理を実現できるので、高速な処理が要求される形状追跡に好適である。
【００１６】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
（実施の形態１）
説明を簡単にするため、正三角形の検出と追跡を例として記述する。また、正三角形の一辺が上方且つ水平位置にあると仮定する。
【００１８】
図１に、本実施形態の画像処理装置の構成を示す。図１において、画像処理装置１００は、探索領域設定部１０１に入力画像としてフレーム画像を入力する。
【００１９】
探索領域設定部１０１は入力画像の所定領域を探索領域として設定する。探索領域設定部１０１は、形状検出を行う場合、つまり現フレームよりも前のフレームでターゲット形状の位置が検出されていない場合、探索領域として全画面を設定する。一方、探索領域設定部１０１は、形状追跡を行う場合、つまり前フレームでターゲット形状の位置が検出されている場合、その検出位置を含む周辺を探索領域として設定する。形状追跡を行う場合、探索領域設定部１０１は、形状特徴点検出部１０５の出力に基づいて探索領域を設定する。
【００２０】
例えば、図２Ａに示したように、時刻ｔのフレームにおいて「止まれ」標識が検出された場合、探索領域設定部１０１は、「止まれ」標識が検出された位置を含む周辺領域Ｒを時刻ｔ＋１のフレームでの探索領域Ｒとして設定する。ここで、探索領域Ｒはターゲット形状の大よその存在範囲を示すもので、ターゲット形状の移動パターンや確率分布などを明示する必要はない。また、探索領域Ｒの大きさは、ターゲット形状の移動方向と速度を考慮して決めると好ましい。また、探索領域Ｒの大きさは、後述するサンプル点の数、形状検出の計算時間及び形状追跡の計算時間に影響を与えるので、それらを考慮して設定するとよい。また、図では、探索領域Ｒが矩形であるが、探索領域Ｒは矩形以外でもよい。また、時刻ｔ＋１のフレームと時刻ｔのフレームの画像が、同一画像であってもよい。
【００２１】
サンプル点設定部１０２は、探索領域内に存在する画素点の中から複数のサンプル点を選択し、当該複数のサンプル点を設定する。図２Ｂにサンプル点の様子を示す。図２Ｂでは１つのサンプル点のみを符号ｐで示しているが、図２Ｂで示されている点が全てサンプ
ル点ｐである。例えば、図２Ｂの点で示した探索領域Ｒ内の全画素点をサンプル点ｐとして設定してもよい。また、サンプル点は、画素点に限らず、探索領域内の点であればよい。サンプル点ｐの間隔は、等間隔でも非等間隔でもよい。
【００２２】
候補形状生成部１０３は、サンプル点設定部１０２からサンプル点の位置情報を入力すると共に、ターゲット形状情報を入力する。ターゲット形状情報は、ターゲット形状メモリ１０６に記憶された特定形状に関する情報である。本実施の形態の場合には、ターゲット形状メモリ１０６にはターゲット情報として複数の道路標識の情報が記憶されており、サンプル点設定部１０２は複数の道路標識の中からターゲット形状情報を読み出す。例えば検出又は追跡する形状が決まっている場合には、検出又は追跡対象のターゲット形状情報を読み出す。一方、検出又は追跡する形状が決まっていない場合には、複数の道路標識の中から順次ターゲット形状情報を読み出せばよい。
【００２３】
候補形状生成部１０３は、先ず、エッジを検出するための指定方向を、ターゲット形状情報に基づいて設定する。そして、候補形状生成部１０３は、サンプル点を起点に指定方向に沿って画像のエッジ点を探索する。
【００２４】
図２Ｃに、具体的な例を示す。候補形状生成部１０３は、サンプル点ｐから３つの指定方向ｌａ，ｌｂ，ｌｃに沿ってエッジ点を探索する。探索範囲は、探索領域設定部１０１で設定された探索領域Ｒである。本実施の形態の場合、指定方向は、検出又は追跡しようとするターゲット形状の辺に垂直する方向に設定される。例えばターゲット形状が図２Ａに示した「止まれ」のような正三角形の場合、正三角形の３辺を内部から垂直に通過する３つの方向、すなわち９０度（ｌａ）、２１０度（ｌｂ）、３３０度（ｌｃ）の方向が指定方向に設定される。候補形状生成部１０３は、サンプル点ｐを起点として、方向ｌａ、方向ｌｂ、方向ｌｃに沿ってエッジ点を探索する。
【００２５】
次に、候補形状生成部１０３は、検出したエッジ点を基に候補形状を生成する。図２Ｄに、具体的な例を示す。方向ｌａでエッジ点Ａ、方向ｌｂでエッジ点Ｂ、方向ｌｃでエッジ点Ｃ１，Ｃ２を検出した場合、候補形状生成部１０３は、検出したエッジ点を通る直線から構成される形状をターゲット形状の候補形状として生成する。図２Ｄの例の場合、ターゲット形状が正三角形であり、かつ指定方向が正三角形の３辺を内部から垂直に通過する３つの方向であるので、候補形状生成部１０３は、検出したエッジ点を通りかつ指定方向に垂直な複数の直線から構成される形状を候補形状として生成する。図２Ｄの例の場合、三角形ＸＹ１Ｚ１と、三角形ＸＹ２Ｚ２が候補形状として生成される。
【００２６】
候補形状生成部１０３は、このような候補形状の生成処理を全てのサンプル点に関して行う。
【００２７】
投票マップ生成部１０４は、候補形状の特徴点を求め、さらに投票の手法を使うことにより、複数の候補形状から支持される度合いを示す投票マップを生成する。特徴点は、ターゲット形状にとって唯一性を有する点であることが好ましい。三角形の場合、重心又は垂心など唯一性を有する点であるので、重心又は垂心を特徴点として求めればよい。ここで、投票マップ生成部１０４によって生成される投票マップは、全ての候補形状から、各自の特徴点に１票が投じられたものである。例えば、図２Ｅに示したように、候補形状である三角形ＸＹ１Ｚ１により自身の重心Ｆ１に１票が投じられ、候補形状である三角形ＸＹ２Ｚ２により自身の重心Ｆ２に１票が投じられる。
【００２８】
投票マップ生成部１０４は、サンプル点設定部１０２で設定された全サンプル点を基に候補形状生成部１０３で生成された全候補形状からの、投票結果を集計する。具体的に、例えば、特徴点の存在可能位置を画素位置に限定し、各画素が得た投票数を合計すること
で、各画素位置の票数を計算する。
【００２９】
形状特徴点検出部１０５は、投票マップの集計結果に基づいて、検出又は追跡する形状の特徴点を確定する。具体的には、形状特徴点検出部１０５は、票数の局所ピーク（投票数ピーク）が得られた画素位置（特徴点位置）を投票マップから検出し、その画素位置の票数が所定の閾値Ｔｈよりも大きい場合、その画素位置をターゲット形状の特徴点位置として確定する。
【００３０】
さらに、形状特徴点検出部１０５の後段に、形状特徴点検出部１０５によって検出された特徴点の位置に基づいてターゲット形状の位置を特定する形状確定部を設けてもよい。上述したように特徴点は重心や垂心など唯一性を有する点とされており、かつターゲット形状は決まっているので、形状確定部は、これらからターゲット形状の位置を特定することができる。
【００３１】
ここで、前記投票数ピークを以下のように検出してもよい。例えば、投票閾値がＴｈで、サンプル点が等間隔である場合、投票したサンプル数がＴｈ＊ａよりも大きい場合にピークとして検出する。但し、ａは画質によって決める。シミュレーションを行った結果、０．４＜ａ＜＝０．８に設定すると、処理速度及び処理精度を両立できることが分かった。
【００３２】
ところで、候補形状生成部１０３によって生成される各候補形状の位置は一般に多様であるため、各候補形状の特徴点位置は異なる。しかし、検出しようとするターゲット三角形の内部におけるサンプル点を基に生成される候補形状には、通常、当該三角形の真のエッジ点を形成するものが多数含まれ、この結果、真のエッジ点を形成する候補形状の特徴点への投票数は局所ピークとなる。よって、この局所ピークからターゲット三角形の特徴点の位置を求めることができ、この特徴点の位置からターゲット三角形の位置を特定することもできる。
【００３３】
一方、探索領域Ｒにターゲット形状が存在しない場合は、エッジ点の分布や候補三角形の位置がランダムになるので、投票数の局所ピークは形成されない。言い換えれば、投票数のピークが形成されない場合は、探索領域Ｒにターゲット形状が存在しないことを意味する。
【００３４】
次に、図３を用いて、本実施の形態の画像処理装置１００の動作を説明する。
画像処理装置１００は、画像が入力されると、探索領域設定部１０１によって探索領域を設定する（ステップＳＴ１）。次に、サンプル点設定部１０２がサンプル点を確定する（ステップＳＴ２）。
【００３５】
次に、候補形状生成部１０３が、ターゲット形状情報に基づいて、エッジを探索するための探索方向（指定方向）を確定する（ステップＳＴ３）。次に、候補形状生成部１０３が、指定方向に沿って画像のエッジ点を探索し、エッジ点を確定する（ステップＳＴ４）。次に、候補形状生成部１０３が、確定したエッジ点を通る直線から構成される形状をターゲット形状の候補形状として生成する（ステップＳＴ５）。
【００３６】
次に、投票マップ生成部１０４が、候補形状の特徴点を求め、さらに各候補形状の特徴点に投票された投票マップを作成する（ステップＳＴ６）。
【００３７】
次に、画像処理装置１００は、探索領域内における指定方向の全エッジ点についての候補形成生成処理及び投票処理が完了したか否かを判断し（ステップＳＴ７）、完了していない場合にはステップＳＴ５に戻り、完了した場合にはステップＳＴ８に進む。
【００３８】
ステップＳＴ８において、画像処理装置１００は、探索領域内に設定した全てのサンプル点についての処理が完了したか否か判断し、完了していない場合にはステップＳＴ２に戻って次のサンプル点についてステップＳＴ２−ＳＴ７の処理を行い、完了した場合にはステップＳＴ９に進む。
【００３９】
ステップＳＴ９では、投票マップ生成部１０４が、全サンプル点及び全候補形状から得られた特徴点への投票結果の集計を行い、形状特徴点検出部１０５が、投票数のピークを検出する。
【００４０】
次に、ステップＳＴ１０において、形状特徴点検出部１０５が、投票数のピークを閾値判定し、ピークの投票数が所定の閾値よりも大きい場合、ピークが得られた特徴点はターゲット形状の特徴点であると判断する。これにより、探索領域内にターゲット形状が存在することが確定され、さらにはピークが得られた特徴点の位置に基づいて、ターゲット形状の位置を確定することもできる。
【００４１】
画像処理装置１００は、このようにして確定したターゲット形状の特徴点の位置情報又はターゲット形状の位置情報を、形状特徴点検出部１０５の後段側に設けられた、例えば車両の自動制御装置や警報装置等に出力する。
【００４２】
以上説明したように、本実施の形態によれば、画像処理装置１００は、探索領域内に複数のサンプル点を設定するサンプル点設定部１０２と、ターゲット形状に応じた複数の指定方向を設定し、各サンプル点から複数の指定方向に沿って画像のエッジ点を探索し、検出したエッジ点を通る直線から構成される候補形状を生成する候補形状生成部１０３と、各候補形状によって各候補形状の特徴点の位置に投票された投票マップを生成する投票マップ生成部１０４と、投票マップにおける特徴点への投票結果に基づいてターゲット形状の特徴点を確定する形状特徴点検出部１０５と、を有する。
【００４３】
これにより、低画質又は小サイズの画像に対しても高速に形状検出又は形状追跡できる。つまり、画像の形状（エッジ）に基づいてターゲット形状を検出するので、エッジさえ現れていれば低画質又は小サイズの画像であっても検出及び追跡が可能となる。また、低フレームレートの画像、すなわち前フレームと現フレームとの間でターゲット形状が比較的大きく移動している画像であっても、良好な形状追跡を実現できる。
【００４４】
さらに、ターゲット形状に応じた方向にのみエッジ点を検出すればよいので、エッジ点検出のための処理量が少ない。よって、高速に形状検出又は形状追跡できる。つまり一般の場合は、水平方向のエッジ強度と垂直方向のエッジ強度を総合しでエッジ点を求めるが、本発明では指定方向に限定してエッジ点を求めるので、特に探索領域Ｒが大きい場合に、計算量を大幅に削減できる。
【００４５】
ここで、本実施の形態の画像処理装置１００においては、輝度画像のサンプル点、つまり画素点を直接利用するので、全画像や探索領域に前処理を施す必要がなくなる。加えて、全てのサンプル点に対してまったく同様の処理を行うので、アルゴリズムが比較的容易である。本実施の形態の実行速度はサンプル点の数に依存する。また、本実施の形態の構成においては、探索領域及び投票閾値を適正に設定することによって、システムの効率をコントロールできる。実験を行った結果、車載カメラによって日本の「一時停止」（止まれ）の交通標識を撮像し、ＣＰＵ周波数が１．８［ＧＨｚ］、メモリ容量が５１２［ＭＢ］のパソコンを利用し、サンプル点を６００個から１０００個の間に設定した場合、１フレームの追跡時間はほぼ１５［ｍｓｅｃ］であり、リアルタイムに交通標識の検出と追跡を実現できた。
【００４６】
なお、上述の実施の形態では、一例としてターゲット形状が正三角形の場合について説明したが、本発明はこれに限らず、任意三角形に適用可能である。任意三角形の場合、例えば３辺の方向がそれぞれθ１、θ２、θ３である場合、サンプル点がエッジ点を探索する方向をθ１−９０°、θ２−９０°、θ３−９０°、つまり３辺と垂直する方向に設定すればよい。上記角度は一般的に、辺又はその延長線と、水平方向とのなす角度である。
【００４７】
また、上述の実施の形態では、主に、ターゲット形状の特徴点の検出までを説明したが、ターゲット形状の特徴点とターゲット形状との関係を加味した処理について、以下に説明する。
【００４８】
図４Ａに示した「止まれ」標識のように、３辺がそれぞれ平行となる内外２つの三角形１１０、１１１が存在する場合もある。この場合、図４Ｂに示すように、２つの三角形１１０、１１１の重心Ｆ１、Ｆ２が重なる（同位置になる）。標識検出の場合、２つの三角形を区別せず一緒に考慮すべきなので、上述の実施の形態のように、特徴点として重心を用いて、重心を検出又は追跡することが、ターゲット形状の検出又は追跡にとって好ましい。一方、２つの三角形１１０、１１１を区別し、それぞれを検出又は追跡したい場合もある。このような場合には、投票マップ生成部１０４が、特徴点に投票する際に、投票するエッジ点（候補形状）と投票される特徴点との距離を記憶し、形状特徴点検出部１０５が、上記距離を考慮して特徴点を距離別に決定するとよい。つまり、図４Ｂの重心（特徴点）Ｆ１と重心（特徴点）Ｆ２は異なる距離の形状特徴点として検出される。従って、２つの三角形１１０、１１１も別々に検出又は追跡できる。以上述べた形状特徴点から形状を求める処理は、形状特徴点検出部１０５で行ってもよく、形状特徴点検出部１０５の後に形状確定部を追加して行ってもよい。
【００４９】
（実施の形態２）
実施の形態１では、ターゲット形状が三角形である場合の検出又は追跡について説明したが、本実施の形態では、ターゲット形状が四角形の場合の検出又は追跡について、図５を用いて説明する。
【００５０】
図５Ａに探索領域Ｒと検出しようとする四角形Ｓとを示す。四角形Ｓを検出するために、候補形状生成部１０３は、先ず、サンプル点ｐを起点として４つの方向、つまり図５Ｂに示した方向ｌａ，ｌｂ，ｌｃ，ｌｄに沿ってエッジ点を探索する。
【００５１】
方向ｌａ，ｌｂ，ｌｃ，ｌｄは、四角形Ｓの辺を内部点から垂直に通過する方向である。一般的に、四角形の４つの辺の方向がθ１、θ２、θ３、θ４であれば、ｌａ，ｌｂ，ｌｃ，ｌｄの方向をそれぞれθ１−９０°、θ２−９０°、θ３−９０°、θ４−９０°に指定する。
【００５２】
４つの指定方向からエッジ点Ａ，Ｂ，Ｃ１，Ｃ２，Ｄを検出した場合、候補形状生成部１０３は、検出したエッジ点Ａ，Ｂ，Ｃ１，Ｃ２，Ｄを前述の指定方向に垂直に通過する直線を利用して候補四角形を生成する。図５Ｂの場合、四角形ＸＹ１Ｚ１Ｗと四角形ＸＹ２Ｚ２Ｗが候補四角形として生成される。
【００５３】
次に、図５Ｃに示すように、投票マップ生成部１０４において、四角形ＸＹ１Ｚ１Ｗと四角形ＸＹ２Ｚ２Ｗがそれぞれ自身の対角線交点Ｆ１、Ｆ２に投票する。その後の処理は、実施の形態１と同様であり、サンプル点設定部１０２で設定された全サンプル点を基に候補形状生成部１０３で生成された全候補形状からの、投票点を集計することで、ターゲット形状の特徴点（対角線の交点）位置を確定する。最後に、必要であれば、確定した交点とエッジ点との距離を利用して、ターゲット形状である四角形の位置を特定する。
【００５４】
（実施の形態３）
本実施の形態では、ターゲット形状が円である場合の検出と追跡について、図６を用いて説明する。
【００５５】
候補形状生成部１０３は、先ず、エッジ点を探索する指定方向を複数の固定方向に設定する。指定方向は、一般に、３６０度を等分割した方向が望ましい。例えば、図６Ａに示した４つの方向（０°，９０°，１８０°，２７０°）、又は図６Ｂに示した８つの方向（０°，４５°，９０°，１３５°，１８０°，２２５°，２７０°，３１５°）を選択する。また、より多い方向、例えば、１６方向を指定してもよい。
【００５６】
次に、候補形状生成部１０３は、エッジ点を２つの相反方向から同時に探索する。例えば、図６Ｃに示したように、サンプル点ｐを起点として指定方向ｌａと指定方向ｌｂに沿ってエッジを探索する。候補形状生成部１０３は、指定方向ｌａ、指定方向ｌｂからエッジ点Ａ、エッジ点Ｂを検出した場合、エッジ点Ａのエッジ方向ｕと、エッジ点Ｂのエッジ方向ｖとを用いた検証を行う。エッジ方向ｕと指定方向ｌａとのなす角度をａ，エッジ方向ｖと指定方向ｌｂとのなす角度をｂで表記すれば、角度ａと角度ｂとの差が所定の閾値よりも大きい場合、エッジ点Ａとエッジ点Ｂは同時に円のエッジ点になることはない。候補形状生成部１０３は、角度ａと角度ｂとの差が閾値以下の場合に、エッジ点Ａを通りかつエッジ方向ｕに垂直な直線と、エッジ点Ｂを通りかつとエッジ方向ｖに垂直な直線との交点Ｆを計算し、交点Ｆを円の中心点候補、ＦＡ又はＦＢを円の半径候補とする。
【００５７】
投票マップ生成部１０４は、全サンプル点から中心点候補及び半径候補に投票された投票マップを作成し、形状特徴点検出部１０５は、投票マップにおける中心点候補及び半径候補への投票結果に基づいて、検出又は追跡する円の中心点と半径を確定する。
【００５８】
なお、角度ａと角度ｂの差を補正してもよい。例えば、角度ａと角度ｂの平均を計算し、平均値となるようにエッジ方向ｕとエッジ方向ｖを回転させ、それに基づいて交点Ｆの計算及びその他の処理を行う。
【００５９】
（実施の形態４）
本実施の形態では、任意多辺形の検出と追跡の方法を説明する。図７を用いて説明する。
【００６０】
図７に示した五角形を検出する場合には、上述の実施の形態とは異なる方法が必要である。理由は２つある。１つ目の理由は、５つの指定方向からエッジ点を探索する必要があるので、計算量が増えるとともに、ターゲット形状内部におけるサンプル点から指定方向に沿ってエッジ点を探索してもターゲット形状の辺と交差しない可能性があることである。つまり、指定方向から正しいエッジ点を探索できないので、正しい候補形状を生成することもできない。このようなサンプル点を無効サンプル点と呼ぶ。２つ目の理由は、多辺形の辺の数が増えると、通常、上記無効サンプル点の数も急速に増えることである。
【００６１】
図７Ａに示した五角形ＡＢＣＤＥを検出する場合について説明する。先ず、５つの辺を複数のグループ（部分形状）に分解する。例えば、ＡＥ、ＤＥ、ＣＤは１つ目のグループに分類し、ＡＢ，ＢＣ，ＣＤは２つ目のグループに分類し、ＡＢ，ＡＥ，ＣＤは３つ目のグループに分類する。これら３つのグループを検出し、かつ３つのグループの特徴点位置が所定の相対関係にあれば、五角形を確定できる。
【００６２】
五角形をグループに分ける方法としては、特許文献４に記載されている内接円の手法を利用すればよい。つまり、グループＡＥ−ＤＥ−ＣＤは上述の実施の形態１と実施の形態
３の方法で３辺の内接円の中心点（特徴点）に投票し、その投票結果に基づいてグループＡＥ−ＤＥ−ＣＤ中心点の位置と内接円の半径を検出する。同様に、グループＡＢ−ＢＣ−ＣＤもグループＡＢ−ＡＥ−ＣＤもそれぞれの内接円中心点と半径を検出する。結果として、図７Ｂに示したように、３つの中心点Ｏ１，Ｏ２，Ｏ３（特徴点）を検出できる。Ｏ１，Ｏ２，Ｏ３の相対位置や対応する半径より、五角形ＡＢＣＤＥとなるかを判断できる。五角形になる場合は、内接円の中心点Ｏ１，Ｏ２，Ｏ３と半径とから五角形の位置を確定すればよい。
【００６３】
五角形以外の任意形状に対しても、上述したのと同様に、内接円をベースに複数のグループに分ければよい。そして、各グループの内接円の中心点と半径とを投票の方法によって検出した後、グループ間での内接円の相対位置や対応するサイズから本来の形状（ターゲット形状）になるかを判断する。ターゲット形状になる場合は、内接円の中心点と半径とからターゲット形状の位置を確定すればよい。
【００６４】
さらに詳しく説明する。実施の形態１〜４において、三角形、四角形、五角形、円などの形状の検出と追跡のプロセスを記述した。通常、辺数が５以下の場合、エッジ点を探索する方向は各辺とそれぞれ垂直なので、探索する方向の数は辺数と同等である。
【００６５】
しかし、上述したように、辺数の多い多辺形に対しては、単純に辺と垂直する方向でエッジ点を探索すると、効率が悪い場合もある。つまり、無効サンプル点が増えて、投票用の有効なサンプル点の数が減少すると、本実施の形態で説明した方法が必要となる。
【００６６】
つまり、多辺形を複数の部分に分解し、各部分の特徴点をまず検出又は追跡する。そして、確定できる特徴点の数、及び各部分の特徴点の相対位置関係に基づいて、形状全体を検出又は追跡する。形状を部分に分解する方法としては、共通の内接円を有する複数の辺を１つの部分に分類してもよい。その場合、内接円の中心点が投票対象の特徴点である。
【００６７】
従来、画像処理の分野でスケルトン抽出技術が知られている。スケルトン抽出技術は、例えば、非特許文献１に記載されている。具体的に、スケルトンは、形状の最大内接円の中心点より構成される。最大内接円とは、完全に形状内に含まれ、形状の少なくとも２辺に接し、かつ他の内接円に含まれてない内接円を指す。スケルトンは形状の基本特徴の一つである。図８に、二つの形状のスケルトン（細線）を示す。直線より形成された閉形状に対し、スケルトンに存在する交点、例えば、図８Ａ、図８Ｂの点Ｔ１，Ｔ２、を中心点とする内接円は形状の辺に最も多く（最低３辺）接するので、それらの点がターゲット形状の幾何情報を多く含むと考えられる。そのため、スケルトンの交点の対応する内接円を本実施の形態の内接円として利用するのは好適である。
【００６８】
本実施の形態に記述したプロセスは、任意多辺形の検出又は追跡に適用可能である。さらに、組み合わせ形状、例えば、弧線と多辺形との組合せで構成された形状に対しても、適用可能である。
【００６９】
図９に、本実施の形態による任意多辺形を検出又は追跡する場合の手順を示す。先ず、ターゲットの多辺形を分解する（ステップＳＴ２１）。例えば、直線の部分と曲線の部分に分ける。次に、直線の部分に対応する内接円を確定し、その内接円と曲線の部分との幾何関係を確定する（ステップＳＴ２２）。次に、サンプル点を設定する（ステップＳＴ２３）。次に、サンプル点から指定方向に沿ってエッジ点を探索し、検出したエッジ点に基づきターゲット形状の候補形状（又は候補形状に対応する特徴点）を生成する（ステップＳＴ２４）。次に、全てのサンプル点を基に生成した候補形状又は候補形状の特徴点からの投票を行う（ステップＳＴ２５）。次に、複数の投票結果を集計し、投票の局所ピークを検出する（ステップＳＴ２６）。次に、投票ピークに基づき部分形状を検出し、複数の
部分形状を有する場合、複数の投票結果のピーク位置の相対関係を確定する（ステップＳＴ２７）。さらに、ステップＳＴ２７では、確定できた直線の部分および直線の部分と曲線の部分との幾何関係に基づき、曲線部分の存在を検証し、ターゲット形状の有無を判別し、その位置を確定する。
【００７０】
ここで、本実施の形態の処理は、図１０に示す構成を用いれば実現できる。図１との対応部分に同一符号を付して示す図１０において、画像処理装置２００は、形状分解部２０１と、ターゲット形状確定部２０２とを有する。画像処理装置２００は、ステップＳＴ２１及びＳＴ２２の処理を形状分解部２０１にて行う。また、ステップＳＴ２３の処理はサンプル点設定部１０２にて行われる。ステップＳＴ２４の処理は候補形状生成部１０３にて行われる。ステップＳＴ２５の処理は投票マップ生成部１０４にて行われる。ステップＳＴ２６の処理は形状特徴点検出部１０５にて行われる。ステップＳＴ２７の処理はターゲット形状確定部２０２にて行われる。
【００７１】
なお、エッジ点を探索する方向及び数は、ターゲット形状の辺の方向及び数に合わせても合わせなくてもよい。但し、探索する方向及び数を、ターゲット形状の辺の方向及び数に合わせた方が多辺形の検出又は追跡を良好に行うことができると考えられる。つまり、三角形を検出する場合は探索方向が３つ、四角形の場合は探索方向が４つである。加えて、それぞれの探索方向が多辺形の辺と垂直する方向であることが好ましい。任意多辺形に対処するためには、上述したように多辺形を内接円ベースで分解し、スケルトンの交点に投票するとよい。
【００７２】
エッジ点を探索する方向及び数を、ターゲット形状の辺の方向及び数に合わせた場合、適用対象が特定されるので汎用性が弱いが、逆に探索方向が特定されるので計算が簡単で実行速度は速い。一方、エッジ点を探索する方向及び数を、ターゲット形状の辺の方向及び数に合わせない場合（例えば、探索方向を特定の１０方向に固定する場合）、汎用性があるが、特定対象に対する精度が低く、計算量も多い。
【００７３】
以上説明したように、本発明によれば、ターゲット形状を１回検出した後、当該形状の探索範囲を限定し追跡を実現できる。本発明の方法及び装置は、一部のサンプル点でしかエッジ点を検出できない場合（一部分しか正確に投票できない場合）でも利用可能なので、隠れやノイズ又はあいまいなエッジを有する画像（すなわち低画質又は小サイズの画像）に対し強いロバスト性を有する。
【００７４】
また、本発明は、直接に輝度画像を処理することができるので、画像全体又は探索領域に対して、画質改善、ノイズ削除又はエッジ処理をする必要がない。またサンプル点からの指定方向に存在するエッジ点だけを計算するため、速い計算速度と強いロバスト性を有する。
【００７５】
また、本発明は、ターゲット形状の辺に基づき指定方向のエッジ点しか扱わないため、エッジ算出用のフィルターを適切に選択できる。また、１つのサンプル点から通常少なくとも３つの方向のエッジ点を求め候補形状を形成するので、正しい形状以外のエッジ点に起因する誤検出が少ない。
【００７６】
なお、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。また上記各機能ブロックは、コンピュータプログラムによっても実施可能である。
【００７７】
２００７年９月１１日出願の出願番号２００７１０１４８７５６．０の中国出願に含まれる明細書、図面及び要約書の内容は、全て本願に援用される。
【産業上の利用可能性】
【００７８】
本発明の画像処理装置及び画像処理方法は、低画質又は小サイズの画像からでも高速に形状検出又は形状追跡できるといった効果を有し、例えば車両の道路標識認識システム、ロボットナビ、リモートセンシングの建物検出装置等に広く適用可能である。
【図面の簡単な説明】
【００７９】
【図１】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図
【図２】図２Ａは探索領域の説明に供する図、図２Ｂはサンプル点の説明に供する図、図２Ｃは指定方向（探索方向）の説明に供する図、図２Ｄは候補形状の説明に供する図、図２Ｅは候補形状の特徴点の説明に供する図
【図３】実施の形態１の動作の説明に供するフローチャート
【図４】図４Ａは３辺がそれぞれ平行となる内外２つの三角形を有する道路標識の例を示す図、図４Ｂは３辺がそれぞれ平行となる内外２つの三角形を有する道路標識の重心を示す図
【図５】実施の形態２の説明に供する図であり、図５Ａは探索領域とターゲットの四角形とを示す図、図５Ｂは指定方向に沿ったエッジ点の探索と候補形状の生成の説明に供する図、図５Ｃは候補形状の特徴点（対角線交点）の説明に供する図
【図６】実施の形態３の説明に供する図であり、図６Ａ及び図６Ｂは指定方向（探索方向）の説明に供する図、図６Ｃはエッジ点の探索、エッジ方向及び中心候補の説明に供する図
【図７】実施の形態４の説明に供する図であり、図７Ａはターゲット形状を部分形状に分解する処理の説明に供する図、図７Ｂは各部分形状の特徴点（内接円の中心点）を示す図
【図８】図８Ａ及び図８Ｂは、それぞれ、スケルトンの一例を示す図
【図９】実施の形態４の処理手順を示すフローチャート
【図１０】実施の形態４の処理を実現するための構成を示すブロック図
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009034709.tif 000013
【図２】
2009034709.tif 000014
【図３】
2009034709.tif 000015
【図４】
2009034709.tif 000016
【図５】
2009034709.tif 000017
【図６】
2009034709.tif 000018
【図７】
2009034709.tif 000019
【図８】
2009034709.tif 000020
【図９】
2009034709.tif 000021
【図１０】
2009034709.tif 000022
【国際調査報告】
2009034709.tif 000023
2009034709.tif 000024