(57)【要約】【課題】画像から道路位置をより正確かつ高速に検出できる道路位置検出方法等を提供する。【解決手段】動的輪郭抽出手段２３は、動的輪郭抽出方法として一般的なＳＮＡＫＥによって、画像上に、制御点を含む曲線を配置し、曲線の滑らかさを示す内部エネルギEint、画像エネルギEimage、外部エネルギEextを用い、これらの合計エネルギを最小化するように、曲線の変形処理を行い、画像に含まれる認識対象の輪郭を検出する。このとき、動的輪郭抽出手段２３は、道路形状格納手段２２に格納された、道路形状に基づき移動方向が垂直方向または水平方向に拘束される制御点である主制御点の配置情報を含むテンプレートに従って主制御点を動かす。主制御点は、移動方向が拘束されるため高速に移動させることができる。【選択図】図１
2005056128.tif 000002
【特許請求の範囲】
【請求項１】
画像上に制御点を含む曲線を配置し、前記曲線の滑らかさを示す内部エネルギと前記画像の濃度勾配を示す画像エネルギと外部からの外部エネルギとの合計エネルギを最小化するように前記制御点を移動させて前記曲線の変形処理を行い前記画像に含まれる認識対象物の輪郭を抽出する動的輪郭抽出処理によって前記画像に含まれる道路位置を検出する道路位置検出方法において、
前記制御点の一部に、道路形状に基づく移動方向の拘束を受ける制御点である主制御点と、当該主制御点以外の前記制御点である副制御点とを有すること
を特徴とする道路位置検出方法。
【請求項２】
画像上に制御点を含む曲線を配置し、前記曲線の滑らかさを示す内部エネルギと前記画像の濃度勾配を示す画像エネルギと外部からの外部エネルギとの合計エネルギを最小化するように前記制御点を移動させて前記曲線の変形処理を行い前記画像に含まれる認識対象物の輪郭を抽出する動的輪郭抽出手段を備え、前記動的輪郭抽出手段によって検出された輪郭を前記画像に含まれる道路位置として検出する検出手段とを備える道路位置検出装置において、
前記制御点の一部に、道路形状に基づく移動方向の拘束を受ける制御点である主制御点と、当該主制御点以外の前記制御点である副制御点とを設け、前記主制御点の初期位置と前記主制御点の拘束を受ける方向に関する情報を備えるテンプレートを格納する格納手段を備え、
前記動的輪郭抽出手段は、前記格納手段に格納されたテンプレートに基づいて、前記合計エネルギを最小化するように制御点を移動する際に、前記主制御点についてはその移動方向を、前記拘束を受ける方向の情報に基づいて拘束して移動させること
を特徴とする道路位置検出装置。
【請求項３】
請求項２に示す道路位置検出装置において、
前記画像を、入力画像に対してエッジ強調を行って生成する前処理手段を備えること
を特徴とする道路位置検出装置。
【請求項４】
請求項２または３に記載の道路位置検出装置において、
前記格納手段は、想定される複数の道路形状に対応する複数の前記テンプレートを備え、
前記動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートを用いて前記輪郭の抽出を行い、
前記道路位置検出手段は、前記合計エネルギが最小の輪郭を前記道路位置として検出すること
を特徴とする道路位置検出装置。
【請求項５】
請求項２または３に記載の道路位置検出装置において、
前記格納手段は、想定される複数の道路形状に対応する複数の前記テンプレートを備え、
前記動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートを順次用いて前記輪郭の抽出を行い、
前記道路位置検出手段は、前記合計エネルギが所定値以下となった場合にその輪郭を前記道路位置として検出すること
を特徴とする道路位置検出装置。
【請求項６】
請求項４または５に記載の道路位置検出装置において、
前記格納手段は、前記複数のテンプレートの優先順位を実際の道路形状の分布に基づいて決定して格納しており、
前記動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートを前記優先順位に基づく順に用いて前記輪郭の抽出を行うこと
を特徴とする道路位置検出装置。
【請求項７】
請求項４または５に記載の道路位置検出装置において、
現在位置付近の道路データを取得する道路データ取得手段を備え、
前記動的輪郭抽出手段は、道路データ取得手段によって取得された道路データに基づいて前記格納手段に格納された前記複数のテンプレートのうち輪郭の抽出に用いるテンプレートを決定すること
を特徴とする道路位置検出装置。
【請求項８】
請求項４〜７のいずれかに記載の道路位置検出装置において、
前記動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートのうち直前の前記道路位置の検出に用いたテンプレートを優先的に用いて前記輪郭の抽出を行うこと
を特徴とする道路位置検出装置。
【請求項９】
請求項４〜８のいずれかに記載の道路位置検出装置において、
前記格納手段は、前記画像の上下方向の中心線よりも下側の範囲に前記主制御点の前記初期位置を設定したテンプレートを格納していること
を特徴とする道路位置検出装置。
【請求項１０】
請求項４〜９のいずれかに記載の道路位置検出装置において、
前記画像（ただしエッジ強調手段を有する場合は入力画像）を撮像する撮像手段を備え、
前記撮像手段は、撮像した画像に、通常の車両の走行時における水平線が含まれるように車両に設置し、
前記格納手段は、前記水平線上に相当する位置に前記主制御点の前記初期位置を設定したテンプレートを格納していること
を特徴とする道路位置検出装置。
【請求項１１】
請求項４〜１０のいずれかに記載の道路位置検出装置において、
前記格納手段は、直進道路、ｎ叉路交差点、任意形状の少なくともいずれか１の道路形状に基づくテンプレートを格納していること
を特徴とする道路位置検出装置。
【請求項１２】
請求項１〜１１のいずれかに記載の道路位置検出装置において、
前記道路位置検出手段によって検出された道路位置をＣＧ化し、前記画像と重ね合わせて表示する表示制御を行う表示制御手段を備えること
を特徴とする道路位置検出装置。
【請求項１３】
請求項１２に記載の道路位置検出装置において、
前記表示制御手段は、前記動的輪郭抽出手段によっていずれのテンプレートでも動的輪郭抽出を行うことができない場合には、前記画像だけを表示させること
を特徴とする道路位置検出装置。
【請求項１４】
請求項１〜１３のいずれかに記載の道路位置検出装置としての機能をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路位置検出方法等に関する。
【背景技術】
【０００２】
近年、例えばレーンキープシステム等、車載カメラからの画像から道路位置を認識するための画像認識装置に対するニーズが高まっている。
こうした画像認識装置では、例えば車載カメラからの画像をメモリへ取り込むみ、画素単位の処理を行って道路位置を検出（認識）する処理を行っている。しかしながら画素単位の処理を行っていたのでは道路位置を検出する処理に大変時間がかかってしまい、高速な道路位置の検出を実現することは困難である。
【０００３】
そこで、画像に含まれる特定の認識対象物の輪郭を抽出する動的輪郭抽出方法を用いて道路位置を検出する道路位置検出方法が知られている。例えば、動的輪郭抽出方法として一般的なＳＮＡＫＥでは、画像上に制御点を含む閉曲線を配置し、曲線の滑らかさを示す内部エネルギEint、画像エネルギEimage、外部エネルギEextを用い、これらの合計エネルギを最小化するように曲線の変形処理を行い、画像に含まれる認識対象の輪郭を検出している（例えば、特許文献１参照。）。
【０００４】
そして、こうしたＳＮＡＫＥを道路認識に応用した例として、図６に示すように、制御点（図中●印で示す）を含む２本の曲線（直線を含む）からなる動的輪郭モデルを用い、左右の道路境界線に内側から張り付くようなかたちで合計エネルギを最小化するように制御点を動かして収束させることによって道路位置を検出する方法が知られている（例えば、非特許文献１参照）。
【特許文献１】特開２００２−４９９２２号公報
【非特許文献１】八木，他３名，「道路追跡と３次元道路形状復元のための動的輪郭道路モデル」，電子情報通信学会論文誌，社団法人  電子情報通信学会，２００１年８月，Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ  Ｎｏ．８，ｐ.１５９７−１６０７
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、この非特許文献１に記載の方法では、その著者らも指摘しているように、十字路や右折左折レーンが広がるシーンの画像から道路位置を検出することができない。また、一般的なSNAKEは閉曲面でしか、画像中の認識対象物の輪郭を抽出することができない。
【０００６】
そこで、本発明は、画像から道路位置をより正確かつ高速に検出することのできる道路位置検出方法および道路位置検出装置等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した問題点を解決するためになされた請求項１に記載の道路位置検出方法は、画像上に制御点を含む曲線を配置し、前記曲線の滑らかさを示す内部エネルギと前記画像の濃度勾配を示す画像エネルギと外部からの外部エネルギとの合計エネルギを最小化するように前記制御点を移動させて前記曲線の変形処理を行い前記画像に含まれる認識対象物の輪郭を抽出する動的輪郭抽出処理によって前記画像に含まれる道路位置を検出する道路位置検出方法において、前記制御点の一部に、道路形状に基づく移動方向の拘束を受ける制御点である主制御点と、当該主制御点以外の前記制御点である副制御点とを有することを特徴とする道路位置検出方法である。また、一般的なSNAKEと異なり、開曲面でも対象物の輪郭を抽出することが可能な手法である。
【０００８】
このような道路位置検出方法によれば、制御点として垂直方向または水平方向に強い拘束を受けた主制御点を設けて、この拘束に従って主制御点を動かして動的輪郭抽出を行うので、制御点の移動の際に、高速に主制御点の位置を決定することが可能である。またテンプレートは、道路形状に基づいたデータが格納されているので従来よりも的確に道路位置を検出することができる。
【０００９】
上述した問題点を解決するためになされた請求項１に記載の道路位置検出装置は、画像上に制御点を含む曲線を配置し、前記曲線の滑らかさを示す内部エネルギと前記画像の濃度勾配を示す画像エネルギと外部からの外部エネルギとの合計エネルギを最小化するように前記制御点を移動させて前記曲線の変形処理を行い前記画像に含まれる認識対象物の輪郭を抽出する動的輪郭抽出手段を備え、前記動的輪郭抽出手段によって検出された輪郭を前記画像に含まれる道路位置として検出する検出手段とを備える道路位置検出装置において、前記制御点の一部に、道路形状に基づく移動方向の拘束を受ける制御点である主制御点と、当該主制御点以外の前記制御点である副制御点とを設け、前記主制御点の初期位置と前記主制御点の拘束を受ける方向に関する情報を備えるテンプレートを格納する格納手段を備え、前記動的輪郭抽出手段は、前記格納手段に格納されたテンプレートに基づいて、前記合計エネルギを最小化するように制御点を移動する際に、前記主制御点についてはその移動方向を、前記拘束を受ける方向の情報に基づいて拘束して移動させることを特徴とする道路位置検出装置である。
【００１０】
このような道路位置検出装置によれば、制御点として垂直方向または水平方向に強い拘束を受けた主制御点を設けて、この拘束に従って主制御点を動かして動的輪郭抽出を行うので、制御点の移動の際に、高速に主制御点の位置を決定することが可能である。またテンプレートは、道路形状に基づいたデータが格納されているので従来よりも的確に道路位置を検出することができる。
【００１１】
そして、画像は、請求項３に示すように、入力画像に対してエッジ強調を行って生成するとよい。このようにすれば、動的輪郭抽出の精度を高めることができる。
また、格納手段は、想定される複数の道路形状に対応する複数の前記テンプレートを備え、動的輪郭抽出手段は、格納手段に格納された複数のテンプレートを用いて前記輪郭の抽出を行うとよい。このように複数のテンプレートを用意することで、様々な道路形状を高速かつ的確に認識することが可能となる。
【００１２】
この場合、請求項４に示すように、道路位置検出手段は、前記合計エネルギが最小の輪郭を前記道路位置として検出するとよい。または、請求項５に示すように、道路位置検出手段は、前記合計エネルギが所定値以下となった場合にその輪郭を前記道路位置として検出するとよい。このようにすれば、より実際の画像上の道路に近いテンプレートを適用した結果の輪郭を、道路位置として検出できる。
【００１３】
また、請求項６に示すように、格納手段は、前記複数のテンプレートの優先順位を実際の道路形状の分布に基づいて決定して格納しており、動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートを前記優先順位に基づく順に用いて前記輪郭の抽出を行うとよい。このようにすれば、平均的に高速な道路位置の検出を行うことができる。
【００１４】
また、請求項７に示すように、現在位置付近の道路データを取得する道路データ取得手段を備え、動的輪郭抽出手段は、道路データ取得手段によって取得された道路データに基づいて前記格納手段に格納された複数のテンプレートのうち輪郭の抽出に用いるテンプレートを決定するとよい。このようにすれば、より実際の道路の状況に近いテンプレートを適用した結果の輪郭を、道路位置として検出できる。
【００１５】
そして、請求項８に示すように、動的輪郭抽出手段は、前記格納手段に格納された前記複数のテンプレートのうち直前の前記道路位置の検出に用いたテンプレートを優先的に用いて前記輪郭の抽出を行うとよい。例えば、前のフレームで用いたテンプレートを次のフレームでもまず適用する。連続的に道路位置を検出する場合には、適用するテンプレートに変化がない場合が多いので、このようにすることで、高速に道路位置を検出することができる。
【００１６】
なお、光軸が水平な場合、道路は画像の中央より下に位置するため、テンプレートは、例えば、請求項９に示すように、画像の上下方向の中心線よりも下側の範囲に主制御点の初期位置を設定したものを格納するとよい。
【００１７】
また例えば請求項１０に示すように、前記画像（ただしエッジ強調手段を有する場合は入力画像）を撮像する撮像手段を備え、前記撮像手段は、撮像した画像に、通常の車両の走行時における水平線が含まれるように車両に設置し、前記格納手段は、前記水平線上に相当する位置に前記主制御点の前記初期位置を設定したテンプレートを格納するとよい。
【００１８】
そして、格納手段は、例えば、請求項１１に示すように、直進道路、ｎ叉路交差点、任意形状の少なくともいずれか１の道路形状に基づくテンプレートを格納するとよい。
また、請求項１２に示すように、道路位置検出手段によって検出された道路位置をＣＧ化し、前記画像と重ね合わせて表示する表示制御を行う表示制御手段を備えるとよい。このようにすれば、検出した道路位置と画像とを重ねて出力することができ、例えば表示装置に出力画像を表示させれば、ユーザは、検出された道路位置を容易に知ることができる。
【００１９】
そして請求項１３に示すように表示制御手段は、動的輪郭抽出手段によっていずれのテンプレートでも動的輪郭抽出を行うことができない場合には、画像だけを表示させるようにしてもよい。
【００２０】
なお、請求項１４に示すように、請求項１〜１３に記載の道路検出装置をコンピュータにて実現する場合、例えば、コンピュータで実行するプログラムにて実現させることができる。このようなプログラムは、例えば、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ハードディスク、ＲＯＭ、ＲＡＭ等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードして実行したり、ネットワークを介してロードして実行したりすることができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の一実施形態について説明する。
図１は、本実施形態の画像処理装置１の構成を示すブロック図である。
画像処理装置１は、車両に設置されており、撮像手段１０と道路検出手段２０とを備える。道路検出手段２０は、前処理手段２１と、道路形状格納手段２２と、動的輪郭抽出手段２３と、ＣＧ化手段２４と、重ね合わせ手段２５とを備える。
【００２２】
画像処理装置１は、撮像手段１０で撮像した映像中の道路位置を道路検出手段２０が検出して、検出した道路位置を示すＣＧ（コンピュータグラフィックス）を撮像手段１０で撮像した映像に重ね合わせ、図示しない表示装置（例えば液晶ディスプレイ）に表示させる装置である。なお、表示装置としては、例えば、車両に搭載されるナビゲーション装置のディスプレイ等を用いることができる。
【００２３】
撮像手段１０は、撮像素子等によって撮像した映像を映像信号として出力するカメラであり、例えば、車両前方の映像を撮像するように設置する。このとき、例えば、図５（ａ）に示すような道路との位置関係となるような前方映像を撮像するように調整して車両に設置する。すなわち、撮像された映像における水平線が、画面の垂直方向の中心よりも上寄りに位置するように設置する。
【００２４】
道路検出手段２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏおよびこれらを接続するバスライン等を備えたマイコンによって構成されている。このマイコンは、撮像手段１０から出力された映像信号を取り込んで処理するハードウェアおよびソフトウェア（プログラム）を備える。
【００２５】
道路検出手段２０は、撮像手段１０から出力された映像信号を入力し、前処理手段２１へ入力する。前処理手段２１は、入力された映像信号による映像に対してエッジ強調を行う。前処理手段２１は、例えばこのマイコンに備えたＤＳＰ等による処理によって構成する。もちろんマイコンのＲＡＭに映像信号を取り込んでＣＰＵによってエッジ強調処理を行うように構成してもよい。
【００２６】
道路形状格納手段２２は、道路形状を表すテンプレートを格納している。例えばＲＯＭにテンプレートを格納している。そして、動的輪郭抽出手段２３は、前処理手段２１によってエッジ強調された映像の映像信号を入力し、道路形状格納手段２２に格納されたテンプレートに基づいて、ＳＮＡＫＥによる動的輪郭抽出を行う。この動的輪郭抽出は、例えばマイコンによる処理で行う。
【００２７】
道路形状格納手段２２に格納されているテンプレートは、従来のＳＮＡＫＥによる動的輪郭抽出において動かす制御点の中に、道路形状を加味して動く方向（追従する方向）を制限した制御点を設けたものである。ここでは、この道路形状を加味して動く方向（追従する方向）を制限した制御点を主制御点と称する。一方、この主制御点以外の制御点を副制御点と称する。道路形状格納手段２２に格納されたテンプレートは、主制御点および副制御点の位置的、接続的な関係といった幾何学的な配置情報（初期位置情報）と、主制御点の制限した動く方向（追従する方向）、すなわち主制御点が拘束を受ける方向の情報を有する。
【００２８】
道路形状格納手段２２に格納されているテンプレートの例を図２（ａ）に示す。図２（ａ）に示すテンプレートは、主制御点３１ａ〜３１ｆ（図中○印で示す）を有するテンプレートであり、それぞれの主制御点は、位置的な配置情報としてその初期座標と、制限される方向として図２（ａ）に示す矢印の方向を示す情報（例えば、上下方向、左右方向のいずれなのかを示す情報）を有する。すなわち、主制御点３１ａ，３１ｅ，３１ｇは左右方向（水平線上）、主制御点３１ｂ，３１ｃ，３１ｄ，３１ｆは上下方向（垂直線上）に、動的輪郭検出の際に拘束される情報を有する。そして、初期位置として、主制御点３１ａ，３１ｂ，３１ｃは、撮像手段１０によって撮像された映像における水平線位置に対応するｙ座標を記憶しており、主制御点３１ｂのｘ座標は画面左端、主制御点３１ａのｘ座標は画面中央、主制御点３１ｃのｘ座標は画面右端として記憶している。また、主制御点３１ｄ、３１ｅはそれぞれ画面左下端を、主制御点３１ｆ，３１ｇはそれぞれ画面右下端を初期座標として記憶している。（図２では説明の都合上位置をずらして記載している）
また図２（ａ）のテンプレートは、接続的な配置情報として、主制御点３１ｂと主制御点３１ａ及び主制御点３１ａと主制御点３１ｃとが副制御点を介して接続されていることを示すリンク情報と、主制御点３１ｄと主制御点３１ｅが副制御点を介して接続されていることを示すリンク情報と、主制御点３１ｆと主制御点ｄが副制御点を介して接続されていることを示すリンク情報とを備えている。そして、主制御点間には、図６に示した従来と同様の制御点である副制御点を有する。図２では副制御点の一部を図示している（副制御点３２ａ〜３２ｄ（図中●印で示す））。
【００２９】
動的輪郭抽出手段２３は、動的輪郭抽出方法として一般的なＳＮＡＫＥによって、画像上に、制御点を含む曲線を配置し、曲線の滑らかさを示す内部エネルギEint、画像の濃度勾配を示す画像エネルギEimage、外部からの外部エネルギEextを用い、これらの合計エネルギを最小化するように、曲線の変形処理を行い、画像に含まれる認識対象の輪郭を検出する。このとき、動的輪郭抽出手段２３は、道路形状格納手段２２に格納されたテンプレートに従って制御点を動かす。例えば、図２（ａ）のテンプレートを用いて、制御点を動かす場合、主制御点３１ａ〜３１ｇをそれぞれ矢印の方向に拘束して動かす。そして、副制御点３２ａ〜３２ｄは、エネルギ関数と、それぞれの副制御点の属する曲線の両端の主制御点に追従して合計エネルギを最小にする方向へ動かす。例えば、図２（ｂ）に示すような道路が含まれる画像が前処理手段２１から入力されると、図２（ａ）に示すテンプレートを用いて、制御点を図２（ｂ）のように移動し、最終的に、図２（ｃ）に示すように移動した時点で合計エネルギが最小化する。このように曲線の変形処理が行われる。こうして主制御点３１ａ〜３１ｆは、テンプレートに従って移動方向が垂直方向または水平方向に拘束されるため高速に移動することができる。
【００３０】
この動的輪郭検出２３及びＣＧ化手段２４としてのマイコンにおける処理の流れとして図３に示して説明する。
図３に示すように、前処理手段２１によってエッジ強調された次のフレームの画像をメモリへ取り込む（Ｓ１１０）。そして、道路形状格納手段２２に格納されたテンプレートを読み出す（Ｓ１２０）。そして、メモリへ取り込んだ画像の画像エネルギを計算し（Ｓ１３０）、さらに、メモリへ取り込んだ画像における外部エネルギと内部エネルギを計算して、画像エネルギと外部エネルギと内部エネルギの総和のエネルギである総和エネルギー（合計エネルギ）が最小であるか否かを判定する（Ｓ１４０）。総和エネルギが最小でない場合には（Ｓ１５０：ＮＯ）、Ｓ１６０へ移行して、各種制御点および各副制御点について総和エネルギの最小化方向をそれぞれ決定する（Ｓ１６０）。このとき、主制御点については、Ｓ１２０で読み出したテンプレートにおける各主制御点の制限される方向内で、総和エネルギを最小化する方向を決定する。例えば、テンプレートが前述した図２（ａ）に示すものである場合、主制御点３１ａ，３１ｅ，３１ｇは左右方向のいずれか、主制御点３１ｂ，３１ｃ，３１ｄ，３１ｆは上下方向のいずれかに、動かす方向を拘束して、総和エネルギが最小化させる方向を決定する。そして、Ｓ１７０で決定した総和エネルギを最小化させる方向へ各制御点を動かす動的輪郭の補正を行って、Ｓ１４０へ戻る。例えば、図２（ｂ）のように、各制御点を移動する補正を行う。こうした補正を繰り返すことで、総和エネルギが最小化する位置が決定される。例えば、図２（ｃ）に示す位置に各制御点が移動する。
【００３１】
そして、Ｓ１５０で、総和エネルギが最小と判断された場合（Ｓ１５０：ＮＯ）、Ｓ１８０へ移行して、現在の主制御点及び副制御点の位置を検出した輪郭として決定し（Ｓ１８０）、その輪郭をつなげてＣＧ化して、重ね合わせ手段２５へ出力する（Ｓ１９０）。そしてＳ１１０へ戻って、上述した処理を繰り返す。
【００３２】
重ね合わせ手段２５は、撮像手段１０によって撮像された画像と、Ｓ１９０で生成された輪郭をつなげたＣＧとを重ね合わせ、表示装置に出力する。例えば、重ね合わせ手段２５は、撮像手段１０から図４（ａ）に示す画像を入力し、Ｓ１９０で生成された「輪郭を破線でつなげたＣＧ４０」を重ね合わせて、図４（ｂ）のように表示装置に表示する。このような表示によって、ドライバは道路位置を容易に認識することができる。
【００３３】
このように、道路形状を表すテンプレートを用意し、そのテンプレートを動的輪郭抽出の初期状態とした上、制御点として垂直方向または水平方向に強い拘束を受けた主制御点を設けてこの拘束に従って主制御点を動かすので、ＳＮＡＫＥによる制御点の移動の際に、高速に主制御点の位置を決定することが可能である。そして、副制御点はエネルギ関数と主制御点に追従して動く。よって、制御点の位置を高速に決定することができる。形状自体を用いてマッチングするのではなく、構成要素の位置関係に基づいてマッチングするする手法をトポロジーマッチングと呼ぶことにする。このようにトポロジーマッチングを行うことで、高速な道路位置の認識が可能となる。またテンプレートは、道路形状に基づいたデータが格納されているので従来よりも的確に道路位置を検出することができる。
【００３４】
なお、道路形状格納手段２２は、道路形状に応じて、図５（ａ）〜（ｈ）に示すように、複数のパターンのテンプレートを格納するとよい。例えば、図５（ａ）は直進道路、図５（ｂ）〜（ｇ）は様々な交差点（Ｔ字路、十字路、多叉路）、図５（ｈ）は任意形状を示すテンプレートである。そして、動的輪郭抽出手段２３は、これらのテンプレートの中から最適なテンプレートを選択する。 例えば、動的輪郭抽出手段２３において、道路形状格納手段２２に格納された図５に示す８種類のテンプレートを全てを適用して、最もエネルギ関数が小さくなるテンプレートによる制御点を輪郭として決定するようにしてもよいし、全部のテンプレートは適用せずに、順次テンプレートを適用していき、あらかじめ設定した総和エネルギのしきい値以下となった場合にはそのテンプレートによる制御点を輪郭として決定するようにしてもよい。
【００３５】
このように複数のテンプレートを用意することで、様々な道路形状を高速かつ的確に認識することが可能となる。
また、道路形状格納手段２２は、図５の各テンプレートの優先順位を、実際の道路形状の分布に基づいて決定して格納し、動的輪郭抽出手段２３は、この優先順位にの順にテンプレートを用いて輪郭の抽出を行うようにしてもよい。このようにすれば、平均的に高速な道路位置の検出を行うことができる。
【００３６】
また、現在位置付近の道路データを取得する道路データ取得手段としてナビゲーション装置を備え、動的輪郭抽出手段２３は、ナビゲーション装置によって取得された道路データに基づいて図５のテンプレートのうち輪郭の抽出に用いるテンプレートを決定してもよい。このようにすれば、実際の道路の状況により近いテンプレートを適用した結果の輪郭を、道路位置として検出できる。
【００３７】
また、動的輪郭抽出手段２３は、直前の前記道路位置の検出に用いたテンプレートを優先的に用いて輪郭の抽出を行うようにしてもよい。例えば、前のフレームで用いたテンプレートを次のフレームでもまずはじめに適用する。特に、連続的に道路位置を検出する場合には、適用するテンプレートに変化がない場合が多いので、このようにすることで、高速に道路位置を検出することができる。
【００３８】
なお、テンプレートは、例えば、画像の上下方向の中心線よりも下側の範囲に主制御点の初期位置を設定したものを格納するとよい。
動的輪郭抽出手段２３によっていずれのテンプレートでも動的輪郭抽出を行うことができない場合には、画像だけを表示させるようにしてもよい。
【００３９】
なお、本実施形態では車両前方の映像（画像）を撮像するものとして説明したが、例えば、車両後方、車両側方などを撮像するようにしてもよい。
また本実施形態では、道路検出手段は、マイコンとソフトウェアによって構成する場合について説明したが、マイコン以外のハードウェアで構成してもよい。
【図面の簡単な説明】
【００４０】
【図１】実施例の画像処理装置の構成を示すブロック図である。
【図２】テンプレートの例と、主制御点の移動の様子および曲線の例を示す説明図である。
【図３】動的輪郭抽出手段およびＣＧ化手段としての処理を示す説明図である。
【図４】撮像手段によって撮像された映像と重ね合わせ手段によって出力された映像の例を示す説明図である。
【図５】道路形状格納手段に格納された複数の道路形状に基づくテンプレートの例である。
【図６】従来の道路形状検出方法の例を示す説明図である。
【符号の説明】
【００４１】
１…画像処理装置
１０…撮像手段
２０…道路検出手段
２１…前処理手段
２２…道路形状格納手段
２３…動的輪郭抽出手段
２４…ＣＧ化手段
２５…重ね合わせ手段
３１ａ〜ｆ…主制御点
３２ａ〜ｄ…副制御点
【図１】
2005056128.tif 000003
【図２】
2005056128.tif 000004
【図３】
2005056128.tif 000005
【図５】
2005056128.tif 000006
【図６】
2005056128.tif 000007
【図４】
2005056128.tif 000008