(57)【要約】【課題】移動体から撮像した動画形式の画像中において静止物を検出対象とした場合の表示位置の検出処理能力を向上する。【解決手段】最初に画像フレームの全範囲に渡って静止物である対象表示物Ｂの表示位置を走査検出する。前方画像中の全ての静止物が消失点Ｐ１を中心として放射状に移動することを利用して、前回撮像された画像フレームにおいて検出された対象表示物Ｂの表示位置ＰＴに基づき、今回撮像された画像フレームにおける対象表示物Ｂのおよその表示位置ＰＴ′を予想する。その付近に今回走査検出する認識範囲Ａを限定することで対象表示物Ｂを画像認識させる回数を大幅に削減し、移動する対象表示物Ｂに対する位置検出の処理時間を短縮する。【選択図】図６
2013196387.tif 000002
【特許請求の範囲】
【請求項１】
移動体から撮像される複数の画像フレームからなる進行方向の動画像を撮像する撮像手段と、
前記複数の画像フレームの中の一の画像フレームから所定の対象物を認識し、前記所定の対象物の基準位置を検出する初期検出手段と、
前回の画像フレームとなる前記一の画像フレームの後に撮像された今回の画像フレームにおいて、当該動画像中の消失点を中心として前回検出された基準位置から外周側であって、前記消失点を始点として前回検出された基準位置を通過する半直線上に重複する認識範囲に限定して前記所定の対象物の今回の基準位置を検出する継続検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記継続検出手段は、前記今回の画像フレームにおける前記認識範囲を、前記消失点を中心とした放射状の形状の一部で規定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記基準位置は、前記所定の対象物の表示領域の中心位置であり、
前記継続検出手段は、前記今回の画像フレームにおける前記認識範囲を、前記半直線を中心とし、それぞれ前記消失点を始点として前回認識された前記所定の対象物の表示領域を包絡する２本の線分の間の内周角で規定することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記継続検出手段は、前記今回の画像フレームにおける前記認識範囲を、前記半直線上において前回検出された基準位置から今回検出が予想される基準位置までの基準位置離間距離で規定することを特徴とする請求項２又は３記載の画像処理装置。
【請求項５】
前記継続検出手段は、前記基準位置離間距離を前記移動体の移動速度と前回の画像フレームと今回の画像フレームの間の時間間隔に基づいて算出することを特徴とする請求項４記載の画像処理装置。
【請求項６】
移動体から撮像される複数の画像フレームからなる進行方向の動画像を撮像する撮像工程と、
前記複数の画像フレームの中の一の画像フレームから所定の対象物を認識し、前記所定の対象物の基準位置を検出する初期検出工程と、
前回の画像フレームとなる前記一の画像フレームの後に撮像された今回の画像フレームにおいて、当該動画像中の消失点を中心として前回検出された基準位置から外周側であって、前記消失点を始点として前回検出された基準位置を通過する半直線上に重複する認識範囲に限定して前記所定の対象物の今回の基準位置を検出する継続検出工程と、
を実行することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の前方画像中の対象表示物を認識しその位置を検出する画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
近年では、移動体に搭載されたカメラで周囲の画像を撮像し、その画像中に表示される多数の表示物から特定の表示物を画像認識する技術が提案されている。
【０００３】
例えば特許文献１に記載の技術では、車両の前方画像中における画像認識対象の範囲が、当該車両の移動速度と負の相関を有するようそのサイズ及び位置を特定される。これにより、前方画像中の前方車両に対する画像認識を正確に行うことができ、前方車両に対する衝突危険性の判定精度を向上できる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】ＷＯ２００５／０２４７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
また近年では、画像中で画像認識された対象表示物の表示位置を検出し、例えば当該対象表示物への注意を促すオブジェクト画像等を上記表示位置に対応して重畳させるといった多様な処理が行われる。しかし、このような画像中における特定の対象表示物の表示位置を検出するには、当該画像中を走査するように検出位置を変えながら処理負担の大きい画像認識を繰り返し行う必要がある。
【０００６】
さらに、走行中の移動体から周囲の画像を動画形式で撮像した場合には、当該移動体の移動により信号機や標識などの静止物は画像中を流れるように移動する。このため動画形式の画像において移動する上記静止物の表示位置を正確に検出し続けるには、動画を構成する画像フレーム毎で上述したような画像認識の走査検出を繰り返す必要がある。このように、短い時間間隔で撮像される画像フレーム毎で全ての表示領域に渡って検出位置を走査しつつ画像認識を繰り返した場合には、処理負担が大きすぎて位置検出に時間がかかってしまい、その結果動画画像上での実際の表示位置と検出位置に大きなズレが生じてしまう。
【０００７】
このような問題に対して上記従来技術では、対象表示物である前方車両の表示位置を走査検出する範囲を当該車両の移動速度に対応して変更することで検出処理を向上させていたが、その検出対象が前方車両に限定しているため走査検出する範囲の位置が必ず画像の略中央に配置される。しかし、検出対象である対象表示物を上記静止物とした場合には、それら静止物が当該移動体の移動により画像の外周側まで流れるため上記従来技術は適用できない。そのため、移動体から撮像した動画形式の画像中において静止物を検出対象とした場合の表示位置の検出処理能力を向上できる技術が要望されていた。
【０００８】
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、請求項１記載の発明は、画像処理装置であって、移動体から撮像される複数の画像フレームからなる進行方向の動画像を撮像する撮像手段と、前記複数の画像フレームの中の一の画像フレームから所定の対象物を認識し、前記所定の対象物の基準位置を検出する初期検出手段と、前回の画像フレームとなる前記一の画像フレームの後に撮像された今回の画像フレームにおいて、当該動画像中の消失点を中心として前回検出された基準位置から外周側であって、前記消失点を始点として前回検出された基準位置を通過する半直線上に重複する認識範囲に限定して前記所定の対象物の今回の基準位置を検出する継続検出手段と、を備える。
【００１０】
上記課題を解決するために、請求項６記載の発明は、画像処理方法であって、移動体から撮像される複数の画像フレームからなる進行方向の動画像を撮像する撮像工程と、前記複数の画像フレームの中の一の画像フレームから所定の対象物を認識し、前記所定の対象物の基準位置を検出する初期検出工程と、前回の画像フレームとなる前記一の画像フレームの後に撮像された今回の画像フレームにおいて、当該動画像中の消失点を中心として前回検出された基準位置から外周側であって、前記消失点を始点として前回検出された基準位置を通過する半直線上に重複する認識範囲に限定して前記所定の対象物の今回の基準位置を検出する継続検出工程と、を実行する
【図面の簡単な説明】
【００１１】
【図１】本発明の画像処理装置の実施形態を含むナビゲーション装置を搭載した車両の構成例を示す斜視図である。
【図２】ナビゲーション装置のハードウェア構成例を示すブロック図である。
【図３】車線輪郭線及び車線消失点を写し込んだ前方画像をディスプレイに表示した場合の表示例を表した図である。
【図４】フロントカメラが撮像した前方画像をディスプレイに表示した場合の具体的な表示例を表した図である。
【図５】前方画像における対象表示物と消失点と認識範囲の配置関係の一例を表す図である。
【図６】図５中の消失点と認識範囲だけを拡大して表した図の一例である。
【図７】撮像方向を光軸方向として含んだ座標Ｘ−Ｙ−Ｚ中において関係要素の配置関係を斜視で表した図である。
【図８】図７中の平面πを平面視した図の一例である。
【図９】対象点Ｚ軸離間距離の算出手法の一例を表す図である。
【図１０】認識範囲内で走査検出させる候補点の位置と順番の一例を表す図である。
【図１１】イメージングユニットのＣＰＵが実行する制御内容を表すフローチャートの一例である。
【図１２】ステップＳ２００の基準位置離間距離算出処理で行われる制御内容の詳細を表すフローチャートの一例である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態のうちの一つを図面を参照しつつ説明する。
【００１３】
図１は、本発明の画像処理装置の実施形態であるナビゲーション装置を搭載した車両の構成例を示す斜視図である。この図１において、ナビゲーション装置Ｓは、移動体である車両Ｖの車内天井に設置されているルームミラー１０１の前方側位置に単独のフロントカメラ１を設けている。フロントカメラ１の撮像方向Ｄｃは、当該車両Ｖの中央前後方向を水平に貫く車両軸方向Ｄｖと左右方向で一致して略平行となる関係に配置されており、当該車両Ｖの進行方向の前方を撮像可能な姿勢で取り付けられている。
【００１４】
図２は、ナビゲーション装置Ｓのハードウェア構成例を示すブロック図である。この図２において、ナビゲーション装置Ｓは、フロントカメラ１、イメージングユニット２、ディスプレイ３を有している。
【００１５】
フロントカメラ１は撮像手段に相当し、例えばＣＣＤ撮像素子などを利用して、上述した当該車両の進行方向の前方画像を撮像し、対応する信号をイメージングユニット２のＣＰＵ（後述）へ出力する機能を有する。なお、このフロントカメラ１は十分に短い時間周期（後述のフレームレートの逆数）で時系列的に複数の画像フレームを撮像し続けることで、前方画像を動画の形式で撮像する。なお、この動画形式の前方画像が、各請求項記載の動画像に相当する。
【００１６】
ディスプレイ３は、例えばＬＣＤパネルなどで構成されて、イメージングユニット２のグラフィックコントローラ（後述）から入力された画像信号に基づき、上記フロントカメラ１で撮像された前方画像に後述のオブジェクト画像等を重畳させた合成画像を表示する機能を有する。
【００１７】
イメージングユニット２は、ＣＰＵ１１、記憶装置１２、ＧＰＳ１３、車速センサ１４、距離センサ１５、グラフィックコントローラ１６を有している。
【００１８】
ＣＰＵ１１は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、ナビゲーション装置Ｓ全体を制御する機能を有する。
【００１９】
記憶装置１２は、ＲＯＭ１２ａ、ＲＡＭ１２ｂ、及び記憶媒体１２ｃを有する。ＲＯＭ１２ａは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。ＲＡＭ１２ｂは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体１２ｃは、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。
【００２０】
ＧＰＳ１３は、車両Ｖの現在地の測位を行い現在位置情報を取得するとともに、予め記憶している地図情報に基づいて所定の対象表示物（後に詳述する）の位置検出を行う機能を有する。
【００２１】
車速センサ１４は、当該車両Ｖの走行速度を検出する機能を有する。イメージングユニット２が備えるＣＰＵ１１は、この車速センサ１４の検出信号に基づき、当該車両Ｖがどのくらいの走行速度で走行しているかを識別することができる。
【００２２】
距離センサ１５は、当該車両Ｖの前方に位置する静止物のうち指定された対象物と当該車両Ｖとの間の離間距離を検出する機能を有する（後に詳述する）。
【００２３】
グラフィックコントローラ１６は、ＣＰＵ１１の制御によってビデオＲＡＭ（図示せず）及び上記ＧＰＳ１３などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ３に表示させる機能を有する。また後述するように、このグラフィックコントローラ１６は、上記フロントカメラ１で撮像された前方画像に所定のオブジェクト画像を重畳させた合成画像データに基づく画像信号をディスプレイ３に出力する。
【００２４】
図３は、上記図１に示した姿勢状態のフロントカメラ１が撮像した前方画像をディスプレイ３に表示した場合の表示例を表している。なお、図示の煩雑をさけるために、前方車両Ｖｆだけを表示物として表示している。本実施形態では、上述したようにフロントカメラ１の撮像方向Ｄｃが車両軸方向Ｄｖと左右方向で一致して平行な配置関係にある。このため、図３に示すように、車両軸方向Ｄｖがディスプレイ３の表示座標Ｘ−Ｙの横方向中央に位置するとともに、ディスプレイ３の表示座標Ｘ−Ｙの中央位置、つまり図中の縦方向、横方向それぞれの中心線Ｌｖ，Ｌｌの交点位置が、車両軸方向Ｄｖの延長上に位置する。また、上述したように車両軸方向Ｄｖと撮像方向Ｄｃが共に水平に配置されていることから、表示座標Ｘ−Ｙの縦方向の中心線Ｌｖが略地平線（略水平線：特に図示せず）とほぼ一致する。
【００２５】
そして上述したように、フロントカメラ１の撮像方向Ｄｃが当該車両Ｖの車両軸方向Ｄｖと平行な配置関係にあることから、前方画像の表示座標Ｘ−Ｙ中には必ず消失点Ｐ１が存在する。この消失点Ｐ１とは、前方画像中において当該車両Ｖのその時点の進行方向の無限遠方移動位置（その時点に表示されている前方画像での表示座標Ｘ−Ｙ中において当該車両Ｖがそのままの進行方向で移動した場合に到達する予定位置）に相当する点であり、この点は当該車両Ｖが平坦かつ直線状の走行車線を走行している際には必ず略地平線と車両軸方向Ｄｖの略延長線との交点上に位置する。つまり、図示する例のように平坦かつ直線状の走行車線を走行している際に撮像した前方画像中において、走行車線の無限遠方点に相当する消失点Ｐ１が、常に表示領域Ｘ−Ｙの中央位置に位置する。
【００２６】
通常の場合に上記消失点Ｐ１を検出する手法としては、まず図示するように実際の走行車線の両側に塗布されている白線や、路面と縁石との境界線や、又はアスファルト道路の縁部などを前方画像の画像解析により検出し、当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒとして認識する。そして、これら２本の車線輪郭線Ｌｒの車両進行方向の延長線上の交点が、前方画像上における上記消失点Ｐ１として検出される。これに対して、本実施形態のようにフロントカメラ１の撮像方向Ｄｃが車両軸方向Ｄｖと左右方向で一致して平行な配置関係に固定されており、かつ上記ＧＰＳ１３の測位機能と地図情報に基づいてその時点で当該車両Ｖが平坦かつ直線状の走行車線を走行していると分かっている場合には、表示座標Ｘ−Ｙの中央位置を消失点Ｐ１の位置として固定的に設定してもよい。
【００２７】
図４は、上記図３に示した前方画像のより具体的な表示例を表している。この図４において、前方画像中には上記前方車両Ｖｆ以外にも、郵便ポスト５１、２つの道路標識５２，５３、２つの信号機５４，５５、看板５６、及び歩行者５７などの静止物（歩行者５７はその移動速度が車両速度に対して十分に遅い場合）が表示物として表示されている。
【００２８】
そして当該車両Ｖが車両軸方向Ｄｖへ向かって移動するに伴い、上述した前方画像中の全ての静止物は上記消失点Ｐ１を中心とした放射状に移動する。つまり、前方画像中の全ての静止物は、当該車両Ｖから遠方に離間している際にはいずれも消失点Ｐ１の近傍に位置している。そして、当該車両Ｖが消失点Ｐ１へ向かって移動するに従い、動画形式の前方画像中において静止物である各表示物は消失点Ｐ１を中心とした略放射状に配置される半直線上（図中の破線矢印参照）に沿って移動するよう表示される。
【００２９】
以下においては、上記の郵便ポスト５１を位置検出の対象となる対象表示物に設定した場合を考える。ここで対象表示物とは、当該車両Ｖの運転者や同乗者であるユーザに対して、前方画像中に表示される多くの表示物の中から特にその表示位に着目すべき表示物である。対象表示物は画像認識により検出可能な特徴部位を備えるものである。イメージングユニット２は、この特徴部位を画像認識して前方画像の表示座標Ｘ−Ｙにおける対象表示物の表示位置を検出する。この対象表示部物の設定方法としては、郵便ポスト５１や道路標識５２，５３などの所定の種類の静止物をあらかじめ設定しておいてもよいし、ＧＰＳ１３が記憶している地図情報に基づいてこれから通過する予定の道路近傍に設置されている静止物をあらかじめ指定して設定してもよいし、または、ユーザが前方画像中の静止物をディスプレイ３に設けたタッチパネル（特に図示せず）上での直接接触やカーソルなどの指標により直接指定することで、指定された静止物と同種の静止物を対象表示物に設定してもよい。なお、この対象表示物が、各請求項記載の対象物に相当する。
【００３０】
このようにして対象表示物として設定された郵便ポスト５１に対し、例えば前方画像中におけるその注意を促すために、その対象表示物の表示位置に対応する位置で視認が容易なオブジェクト画像（特に図示せず）を重畳表示させるなどの処理が行われる。このためには、動画形式の前方画像の表示座標Ｘ−Ｙ中において上述したように放射状に移動する対象表示物の表示位置を常に正確に検出する必要がある。
【００３１】
このような対象表示物の位置検出を行う際には、前方画像の１つの画像フレームの全範囲に渡って走査するように検出位置を少しずつ変えながら画像認識（例えばいわゆるテンプレートマッチングによる認識）を繰り返す必要がある。しかし、短い時間間隔で撮像される画像フレーム毎で全ての表示領域に渡って検出位置を走査しつつ特に処理時間が長くかかる画像認識を繰り返した場合には、処理負担が大きすぎて位置検出に時間がかかってしまい、その結果動画画像上での実際の表示位置と検出位置に大きなズレが生じてしまう。
【００３２】
これに対して、本実施形態では、最初に１度画像フレームの全範囲に渡って対象表示物の表示位置を走査検出する。そして、前方画像中の全ての静止物が上述したように消失点Ｐ１を中心として放射状に移動することを利用して、前回撮像された画像フレームにおいて検出された対象表示物の表示位置に基づき、今回撮像された画像フレームにおける対象表示物のおよその表示位置を予想する。そして、その付近に今回走査検出する範囲を限定することで対象表示物を画像認識させる回数を大幅に削減し、移動する対象表示物に対する位置検出の効率を改善する。例えば上記郵便ポスト５１を対象表示物Ｂに設定した場合には、図５に示す例ように前方画像中の消失点Ｐ１を中心として前回検出された表示位置から外周側に展開する略放射状の形状で認識範囲Ａを限定し、この認識範囲Ａ内だけで今回の郵便ポスト５１の表示位置を走査検出する。
【００３３】
図６は、上記図５中の消失点Ｐ１と認識範囲Ａだけを拡大して表した図の一例である。なお図示する本実施形態の例では、対象表示物Ｂの表示領域の中心位置を当該対象表示物Ｂの表示位置の基準位置としている。これ以外にも、例えば対象表示物Ｂの表示領域の左上、左下、右上、又は右下のような隅の位置などを基準位置としてもよい。
【００３４】
そして図６中に示す基準位置点ＰＴは、前回の画像フレームにおいて対象表示物Ｂの基準位置として検出された点を示している。上記図４で説明したように、前方画像中の静止物は消失点Ｐ１を中心として放射状に移動するため、今回の画像フレームでは同じ対象表示物の基準位置が、消失点Ｐ１を中心とした前回検出された基準位置ＰＴから外周側であって、消失点Ｐ１を始点として前回検出された基準位置ＰＴを通過する半直線Ｅ上で検出されることが予想される。しかし、車両速度やステアリング操作の変化、または走行車線のわずかな曲率変化などの要因によって多少の位置ズレが生じる可能性を考慮して、上述した基準位置ＰＴから外周側の半直線Ｅ上に重複する所定の広さの範囲（図中の網掛けで表示する領域）を認識範囲Ａに設定する。
【００３５】
そして本実施形態の例では、この認識範囲Ａとして図示するような内周側部分を除いた略扇形の形状に設定している。この略扇形の内周角範囲は、上記半直線Ｅを中心とし、それぞれ消失点Ｐ１を始点として前回認識された対象表示物Ｂの表示領域を包絡する２本の線分の間の内周角で規定される。なお、上述したようにこの例では対象表示物Ｂの基準位置がその表示領域の中心位置にあるため、半直線Ｅは内周角を均等に２分し、それぞれが半内周角θとなる。また半直線ＥとＸ軸との間でなす角度をφとし、消失点Ｐ１から前回の基準位置点ＰＴまでの離間距離をｒＴとすると、前回の基準位置点ＰＴ（ＸＴ、ＹＴ）は消失点Ｐ１を中心とした極座標において基準位置点ＰＴ（ｒＴ、φ）と表すことができる。
【００３６】
またこの略扇形の径方向範囲は、上記半直線Ｅ上において前回検出された基準位置から今回検出が予想される基準位置までの離間距離Ｌで規定される。この基準位置離間距離Ｌは、主に当該車両Ｖの走行速度と、前回と今回の画像フレームの間の時間間隔と、フロントカメラ１の撮像方向Ｄｃに対する対象表示物Ｂの実際の（三次元実空間での）配置関係に基づいて算出できる。以下において、この基準位置離間距離Ｌの算出手法について詳細に説明する。
【００３７】
図７は、撮像方向Ｄｃを光軸方向Ｚとして含んだ座標Ｘ−Ｙ−Ｚ中において関係要素の配置関係を斜視で表した図である。この図７において、原点Ｏはフロントカメラ１の焦点位置であり、像面Ｃはディスプレイ３上で表示される前方画像の像面であり、対象点Ｔは前回の画像フレームを撮像した際の対象物（対象表示物の実物：この例の郵便ポスト５１）の実際の基準位置であり、移動対象点Ｔ′は今回の画像フレームを撮像した際の対象物の実際の基準位置である。なお、Ｘ軸方向及びＹ軸方向は、前方画像の表示座標Ｘ−Ｙ上の各方向と一致している。
【００３８】
ここで本実施形態の例では、上述したように光軸方向Ｚ（撮像方向Ｄｃ）が車軸方向Ｄｖ（車両Ｖの進行方向）と平行な配置関係にあることから、当該車両Ｖが前進移動することで対象物は実際には像面Ｃに向かって光軸方向Ｚと平行に（逆行して）相対移動する。このとき、車両Ｖの走行速度ｖとフロントカメラ１におけるフレームレートｆｐｓ（１秒間当たりの画像フレーム撮像回数）に基づいて、対象物の実際の移動距離ΔＤＴは以下のように算出できる。
ΔＤＴ＝ｖ・１／ｆｐｓ  ・・・（式１）
ここで、対象点ＴのＺ軸方向位置をＤＴとした場合、移動対象点Ｔ′のＺ軸方向位置はＤＴ−ΔＤＴとなる。なお、車両Ｖの走行速度ｖが各請求項記載の移動体の移動速度に相当し、フレームレートｆｐｓの逆数が各請求項記載の時間間隔に相当する。
【００３９】
そして、原点Ｏから光軸方向Ｚに向けて距離Ｆで離間する位置の像面Ｃ上においては、原点Ｏから見た対象点Ｔと移動対象点Ｔ′がそれぞれ基準位置点ＰＴ、移動基準位置点ＰＴ′の位置で視認される。このとき、像面Ｃの中央位置（消失点Ｐ１の位置）から基準位置点ＰＴまでの離間距離が上記図６中の離間距離ｒＴとなり、基準位置点ＰＴと移動基準位置点ＰＴ′との間の離間距離が基準位置離間距離Ｌとなる。なお、対象点Ｔと光軸Ｚとの間の距離をＲＴとすると、対象点Ｔ（ＸＴ、ＹＴ、ＺＴ）は原点Ｏを原点とした円筒座標において対象点Ｔ（ＲＴ、φ、ＤＴ）と表すことができ、移動対象点Ｔ′（ＸＴ′、ＹＴ′、ＺＴ′）は移動対象点Ｔ′（ＲＴ、φ、ＤＴ−ΔＤＴ）と表すことができる。
【００４０】
ここで、図７中のＸ−Ｚ平面を光軸Ｚ周りに角度φで回転した平面、つまり原点Ｏ、対象点Ｔ、移動対象点Ｔ′、及び光軸Ｚを同時に含む平面を平面πとし、この平面πを平面視した図の一例が図８となる。この図８において、像面Ｃ上における消失点Ｐ１から移動基準位置点ＰＴ′までの離間距離をｒＴ′とすると、基準位置離間距離Ｌは基準位置点ＰＴと移動基準位置点ＰＴ′との間の離間距離であるから、
Ｌ＝ｒＴ′−ｒＴ  ・・・（式２）
と置ける。
【００４１】
また、それぞれ光軸Ｚ上におけるＤＴの位置の点をＺＴ、Ｆの位置の点をＺＦとすると、直角三角形ＯＺＴＴと直角三角形ＯＺＦＰＴは相似関係にあるため、
ｒＴ＝Ｆ・ＲＴ／ＤＴ  ・・・（式３）
が成り立つ。また、光軸Ｚ上におけるＤＴ―ΔＤＴの位置の点をＺＴ′とすると、直角三角形ＯＺＴ′Ｔ′と直角三角形ＯＺＦＰＴ′は相似関係にあるため、
ｒＴ′＝Ｆ・ＲＴ／（ＤＴ−ΔＤＴ）  ・・・（式４）
が成り立つ。そして上記（式２）〜（式３）を整理すると、基準位置離間距離Ｌは、
Ｌ＝Ｆ・ＲＴ・（１／（ＤＴ−ΔＤＴ）−１／ＤＴ）  ・・・（式５）
となる。このとき、焦点位置である原点Ｏと像面Ｃとの間の距離Ｆは、フロントカメラ１の仕様により固定的に設定されている。また、移動対象点Ｔ′のＺ軸方向位置ΔＤＴは上記（式１）により求められる。また、距離センサ１５によって原点Ｏから対象点Ｔまでの実際の離間距離を検出し、前方画像中における消失点Ｐ１と基準位置点ＰＴとの間の配置関係から角度∠ＤＴＯＴ（図中の角度∠α）を算出することで、対象点ＴのＺ軸方向位置ＤＴとＺ軸離間距離ＲＴを求めることができる。
【００４２】
なお、対象点ＴのＺ軸離間距離ＲＴについては、Ｚ軸方向へ向けた正面図である図９に示すパラメータに基づいて算出することもできる。すなわち、固定値であるフロントカメラ１の設置高さＨｃと、距離センサ１５により検出した対象点Ｔの中心位置の実際の地上高さＨＴと、同じく距離センサ１５により検出した対象点Ｔの中心位置の実際のＸ軸方向位置Ｇに基づいて、
ＲＴ＝√（Ｇ２＋（Ｈｃ−ＨＴ）２）  ・・・（式６）
から求めてもよい。この場合には、距離センサ１５は、例えば三次元計測可能なステレオカメラやレーダーなどを用いてハードウェア的な検出手法を利用したり、または前方画像中における対象表示物Ｂの接地位置と消失点Ｐ１の配置関係からソフトウェア的な検出手法を利用できる。他にも、ＧＰＳ１３の測位機能と地図情報に基づいて検出する手法や、既知の大きさの標識を対象表示物Ｂとした場合に前方画像中で画像認識された表示領域の大きさから検出する手法など公知の手法を利用してもよく、ここではその詳細な説明を省略する。またこれらの距離センサ１５を用いれば、対象点ＴのＺ軸方向位置ＤＴを直接検出することもできる。
【００４３】
以上の手法により上記（式５）から基準位置離間距離Ｌを簡易に求めることができる。そして上記図６に示したように、この基準位置離間距離Ｌとともに基準位置点ＰＴ（ｒＴ、φ）及び半内周角θに基づいて、前方画像の表示座標Ｘ−Ｙ中における略扇形の認識範囲Ａを規定できる。このようにして設定された認識範囲Ａの面積は、前方画像の全範囲の面積と比較してとても小さい（上記図５参照）。このため、設定された認識範囲Ａ中においては、対象表示物Ｂの表示位置を走査検出するために画像認識を繰り返す回数を大幅に削減できる。１度の画像認識でも複雑なデータ計算が行われて処理時間が長くかかることから、その繰り返し回数を大幅に削減できる場合には、上述した程度の検出処理及び計算処理によって認識範囲Ａを１度設定する処理時間を差し引いても対象表示物Ｂの走査検出処理全体の処理時間は大幅に短縮できる。
【００４４】
また、さらに画像認識を行う回数を削減するために、例えば、上記図６に対応する図１０に示すように、上記認識範囲Ａ内で走査検出させる候補点の位置と順番を工夫することも効果的である。この図１０において、今回の画像フレームにおいて基準位置が検出される可能性が最も高い位置は、前回検出された基準位置から上記半直線Ｅ上で基準位置離間距離Ｌだけ離間した予想位置である。つまりこの位置から付近に広がる順番で候補点の走査検出を行うことにより、より少ない回数の画像認識で今回の所定表示物の表示位置を迅速に検出できる。
【００４５】
図示する例では、周方向に対して往復しつつ上記予想位置から次第に離間する順番で走査し、径方向に対しては順次内周側に向かう順番で走査している。周方向の順で走査してから径方向の順を切り替えてもよいし、径方向の順で走査してから周方向の順を替えてもよいし、周方向の順と径方向の順を組み合わせてもよい。また、走査検出の候補点の配置は、図示するように消失点Ｐ１を中心とした極座標上の均等配置に限られず、表示座標Ｘ−Ｙ上の均等配置でもよい。また、基準位置離間距離Ｌの算出処理におけるセンサ検出精度や算出精度を考慮して、少し長めに補正した基準位置離間距離Ｌを適用して認識範囲Ａを少し広めに設定してもよい。この場合には、径方向に対しても往復しつつ上記予想位置から次第に離間する順番で走査してもよい。また、前回認識した対象表示物Ｂの大きさと比較して、今回認識される同一の対象表示物Ｂの大きさはおよそ（ｒＴ＋Ｌ）／ｒＴ倍であることが予想され、この倍率を利用して画像認識の精度を向上させることもできる。
【００４６】
図１１は、以上説明した動作態様を実現するために、イメージングユニット２のＣＰＵ１１が実行する制御内容を表すフローチャートの一例である。なお、このフローは、フロントカメラ１を用いた動画形式の前方画像の撮像処理中で対象表示物Ｂが設定された際に実行する。またこの例では、消失点Ｐ１が前方画像の表示座標Ｘ−Ｙの中央位置に固定的に設定されている。また、図中の各パラメータの名称は記入スペースの都合から適宜略記しているが、符号については対応するものを付している。
【００４７】
図１１において、まずステップＳ５において、フロントカメラ１で前方画像の１つの画像フレームを撮像する。なお、このステップＳ５の手順で撮像した画像フレームが、各請求項記載の一の画像フレームに相当する。
【００４８】
ステップＳ１０へ移り、上記ステップＳ５で撮像した画像フレームの全範囲を認識範囲に設定する。
【００４９】
ステップＳ１００へ移り、上記ステップＳ１０で設定された認識範囲（全範囲）に渡って、すでに設定されている対象表示物Ｂ（図中では対象物と略記）の基準位置ＰＴ（ＸＴ、ＹＴ）を走査検出する対象物走査検出処理を実行する（詳細な説明は省略）。
【００５０】
ステップＳ１５へ移り、上記ステップＳ１００で検出された表示座標Ｘ−Ｙ上の基準位置ＰＴ（ＸＴ、ＹＴ）に対応して、極座標上における基準位置ＰＴ（ｒＴ、φ）と、半内周角θを算出する（上記図６参照）。
【００５１】
ステップＳ２００へ移り、基準位置離間距離Ｌを算出する基準位置離間距離算出処理を実行する（後述の図１２参照）。
【００５２】
ステップＳ２０へ移り、フロントカメラ１で前方画像の今回の画像フレームを撮像する。
【００５３】
ステップＳ２５へ移り、上記ステップＳ２０で撮像した今回の画像フレームのうち、上記ステップＳ１５で算出した極座標上の基準位置ＰＴ（ｒＴ、φ）、半内周角θ、及び上記ステップＳ２００で算出した基準位置離間距離Ｌで規定される略扇形の認識範囲Ａを設定する。
【００５４】
ステップＳ１００へ移り、上記ステップＳ２５で設定された認識範囲Ａ（略扇形）に渡って、すでに設定されている対象表示物Ｂの今回の基準位置ＰＴ′（ＸＴ′、ＹＴ′）を走査検出する対象物走査検出処理を実行する（上記図１０参照）。
【００５５】
ステップＳ３０へ移り、直前に実行された上記ステップＳ１００での対象表示物Ｂの表示位置の検出処理が成功したか否かを判定する。検出処理が成功した場合には、判定が満たされ、ステップＳ３００へ移る。
【００５６】
ステップＳ３００では、今回検出された対象表示物Ｂの表示位置を利用した各種の処理を実行する。そして、上記ステップＳ１５へ戻り、同様の手順を繰り返す（詳細な説明は省略）。
【００５７】
一方、上記ステップＳ３０の判定において、検出処理が失敗した場合には、判定は満たされず、ステップＳ３５へ移る。
【００５８】
ステップＳ３５では、位置検出エラーを報知し、このフローを終了する。
【００５９】
以上のフローを実行することにより、最初に１度だけ画像フレームの全範囲に渡る走査検出を行って対象表示物Ｂの表示位置を検出した後、前回の検出位置に基づいて狭い範囲に規定した今回の認識範囲Ａでの走査検出を繰り返す。これにより、２回目以降に行われる走査検出の処理時間は、最初に行われた走査検出での処理時間よりも格段に短縮される。なお、上記ステップＳ５と、繰り返し行われる上記ステップＳ２０のそれぞれの画像フレームの撮像は、あらかじめ設定されているフレームレートｆｐｓの時間間隔に同期して行われる。また、上記ステップＳ５及び上記ステップＳ２０の手順が各請求項記載の撮像工程に相当し、上記ステップＳ５〜ステップＳ１００の手順が各請求項記載の初期検出手段及び初期検出工程に相当し、上記ステップＳ１５〜ステップＳ１００の手順が各請求項記載の継続検出手段及び継続検出工程に相当する。
【００６０】
図１２は、上記ステップＳ２００の基準位置離間距離算出処理で行われる制御内容の詳細を表すフローチャートの一例である。なおこの例では、上記図９に示した手法で基準位置離間距離Ｌを算出する。
【００６１】
図１２において、まずステップＳ２０５において、あらかじめ固定パラメータとして設定されている像面Ｚ軸方向位置Ｆ、カメラ設置高さＨｃ、フレームレートｆｐｓをそれぞれ取得する（上記図８、図９参照）。
【００６２】
ステップＳ２１０へ移り、距離センサ１５を用いて原点Ｏから対象物までの実際の離間距離を検出する。
【００６３】
ステップＳ２１５へ移り、上記ステップＳ２０５で取得した各種固定パラメータと、上記ステップＳ２１０で検出した離間距離に基づいて、対象物（郵便ポスト５１）のＺ軸方向位置ＤＴ、対象物の中心位置の実際の地上高さＨＴ、対象物の中心位置のＸ軸方向位置Ｇを算出する。さらにこれら算出結果に基づいて、光軸Ｚを中心軸とした円筒座標系における対象物の実基準位置Ｔ（ＲＴ、φ、ＤＴ）を上記（式６）から算出する。
【００６４】
ステップＳ２２０へ移り、車速センサ１４からその時点の車両速度ｖを検出する。
【００６５】
ステップＳ２２５へ移り、上記ステップＳ２０５で取得したフレームレートｆｐｓと、上記ステップＳ２２０で検出した車両速度ｖに基づいて対象物の実際の移動距離ΔＤＴを算出する。
【００６６】
ステップＳ２３０へ移り、上記の各ステップで算出したパラメータを用いて、上記（式５）から基準位置離間距離Ｌを算出する。なお、この時点で基準位置離間距離Ｌをすこし長めに補正してもよい。そしてこのフローを終了する。
【００６７】
以上説明したように、上記実施形態のナビゲーション装置Ｓにおいては、車両Ｖ（移動体に相当）から撮像される複数の画像フレームからなる進行方向の前方画像（動画像に相当）を撮像するフロントカメラ１（撮像手段に相当）と、前記複数の画像フレームの中の一の画像フレームから所定の対象表示物Ｂ（対象物に相当）を認識し、前記所定の対象表示物Ｂの基準位置ＰＴ（ＸＴ、ＹＴ）を検出するステップＳ５〜ステップＳ１００の手順（初期検出手段に相当）と、前回の画像フレームとなる前記一の画像フレームの後に撮像された今回の画像フレームにおいて、当該前方画像中の消失点Ｐ１を中心として前回検出された基準位置ＰＴ（ＸＴ、ＹＴ）から外周側であって、前記消失点Ｐ１を始点として前回検出された基準位置ＰＴ（ＸＴ、ＹＴ）を通過する半直線Ｅ上に重複する認識範囲Ａに限定して前記所定の対象表示物Ｂの今回の基準位置ＰＴ′（ＸＴ′、ＹＴ′）を検出するステップＳ１５〜ステップＳ１００の手順（継続検出手段に相当）と、を備える。
【００６８】
また、上記実施形態のナビゲーション装置Ｓが実行する画像処理方法においては、車両Ｖ（移動体に相当）から撮像される複数の画像フレームからなる進行方向の前方画像（動画像に相当）を撮像するステップＳ５、Ｓ２０の手順（撮像工程に相当）と、前記複数の画像フレームの中の一の画像フレームから所定の対象表示物Ｂ（対象物に相当）を認識し、前記所定の対象表示物Ｂの基準位置ＰＴ（ＸＴ、ＹＴ）を検出するステップＳ５〜ステップＳ１００の手順（初期検出工程に相当）と、前回の画像フレームとなる前記一の画像フレームの後に撮像された今回の画像フレームにおいて、当該前方画像中の消失点Ｐ１を中心として前回検出された基準位置ＰＴ（ＸＴ、ＹＴ）から外周側であって、前記消失点Ｐ１を始点として前回検出された基準位置ＰＴ（ＸＴ、ＹＴ）を通過する半直線Ｅ上に重複する認識範囲Ａに限定して前記所定の対象表示物Ｂの今回の基準位置ＰＴ′（ＸＴ′、ＹＴ′）を検出するステップＳ１５〜ステップＳ１００の手順（継続検出工程に相当）と、を実行する。
【００６９】
このようにすると、最初に１度ステップＳ５〜ステップＳ１００の手順によって画像フレームの全範囲に渡って対象表示物Ｂの表示位置を走査検出する。そして、画像フレームの撮像が進むにしたがって前方画像中の全ての静止物が消失点Ｐ１を中心として放射状に移動することから、今回撮像された画像フレームにおける対象表示物Ｂのおよその基準位置ＰＴ′（ＸＴ′、ＹＴ′）は、前方画像中の消失点Ｐ１を中心として前回検出された基準位置ＰＴ（ＸＴ、ＹＴ）から外周側であって、消失点Ｐ１を始点として前回検出された基準位置ＰＴ（ＸＴ、ＹＴ）を通過する半直線Ｅの付近で検出されることが予想される。
【００７０】
そして、その付近に設定された認識範囲Ａの面積は前方画像の全範囲の面積と比較して小さくすることができ、設定された認識範囲Ａ中においては対象表示物Ｂの表示位置を走査検出するために画像認識を繰り返す回数を大幅に削減できる。これにより、ステップＳ１５〜ステップＳ１００の手順で２回目以降に行われる走査検出の処理時間は、最初に行われた走査検出での処理時間よりも格段に短縮できる。この結果、車両Ｖから撮像した動画形式の画像中において静止物を検出対象とした場合の表示位置の検出処理能力を向上できる。
【００７１】
上述した構成に加えてさらに、ステップＳ１５〜ステップＳ１００の手順では、前記今回の画像フレームにおける前記認識範囲Ａを、前記消失点Ｐ１を中心とした放射状の形状の一部で規定する。
【００７２】
このようにすると、今回の画像フレーム中で基準位置ＰＴ′（ＸＴ′、ＹＴ′）が検出される可能性の低い範囲をむやみに認識範囲Ａに含めることがなくなり、認識範囲Ａを機能的に設定できる。なお、上記実施形態で示した例の認識範囲Ａは略扇形の形状としたが、他にも近似する台形などの形状としてもよい。
【００７３】
上述した構成に加えてさらに、前記基準位置ＰＴ（ＸＴ、ＹＴ）、ＰＴ′（ＸＴ′、ＹＴ′）は、前記所定の対象表示物Ｂの表示領域の中心位置であり、ステップＳ１５〜ステップＳ１００の手順では、前記今回の画像フレームにおける前記認識範囲Ａを、前記半直線Ｅを中心とし、それぞれ前記消失点Ｐ１を始点として前回認識された前記所定の対象表示物Ｂの表示領域を包絡する２本の線分の間の内周角（半内周角θの２倍の角度）で規定する。
【００７４】
このようにすると、今回の画像フレーム中で基準位置ＰＴ′（ＸＴ′、ＹＴ′）が検出される可能性の高い範囲に対して、消失点Ｐ１を中心とした極座標上における認識範囲Ａの周方向の配置位置と内周角範囲を機能的に設定できる。また、上述したように基準位置は対象表示物Ｂの表示領域の中心位置に限られない。例えば４隅のいずれかの点を基準位置とした場合には、対象表示物Ｂの表示領域を包絡する２本の線分のいずれかに上記半直線Ｅが近接又は一致する。
【００７５】
上述した構成に加えてさらに、ステップＳ１５〜ステップＳ１００の手順では、前記今回の画像フレームにおける前記認識範囲Ａを、前記半直線Ｅ上において前回検出された基準位置ＰＴ（ＸＴ、ＹＴ）から今回検出が予想される基準位置ＰＴ′（ＸＴ′、ＹＴ′）までの基準位置離間距離Ｌで規定する。
【００７６】
このようにすると、今回の画像フレーム中で基準位置ＰＴ′（ＸＴ′、ＹＴ′）が検出される可能性の高い範囲に対して、消失点Ｐ１を中心とした極座標上における認識範囲Ａの径方向範囲を機能的に設定できる。
【００７７】
上述した構成に加えてさらに、ステップＳ１５〜ステップＳ１００の手順では、前記基準位置離間距離Ｌを前記車両Ｖの走行速度ｖ（移動速度に相当）とフレームレートｆｐｓの逆数（前回の画像フレームと今回の画像フレームの間の時間間隔に相当）に基づいて算出する。
【００７８】
このようにすると、前回の画像フレームが撮像されてから今回の画像フレームが撮像されるまでの間において対象表示物Ｂに対応する実際の対象物の相対移動距離ΔＤＴを正確に算出でき、それに基づいて基準位置離間距離Ｌの算出精度を向上できる。
【００７９】
上述した構成に加えてさらに、前記フロントカメラ１は、その撮像方向Ｄｃが前記車両Ｖの進行方向と略平行、つまり車両軸方向Ｄｖと略平行な配置関係となるよう設置されている。
【００８０】
このようにすると、平坦かつ直線状の走行車線を走行している間は、前方画像中の消失点Ｐ１の位置が当該前方画像の表示領域の中央位置に位置するため、消失点Ｐ１を検出する手間を省略できる。また、車両Ｖが走行している際に、対象表示物Ｂに対応する実際の対象物の相対移動方向が撮像方向Ｄｃ（光軸Ｚ）と平行となるため、基準位置離間距離Ｌを機能的に算出できる。
【００８１】
なお、認識範囲Ａの設定については、他のパラメータを反映させてもよい。例えば、ＧＰＳ１３の測位機能及び地図情報や、その時点の車両の操舵角に基づいて走行中の走行車線のカーブ曲率や起伏形状を検出し、これら道路条件から消失点Ｐ１の位置や静止物の移動方向を算出して今回の画像フレーム中で検出が予想される対象表示物Ｂの基準位置ＰＴ′（ＸＴ′、ＹＴ′）を求め、この周辺に認識範囲Ａを設定してもよい。この場合には、上記半直線Ｅは消失点Ｐ１の位置や走行車線のカーブ曲率及び起伏形状に対応した曲線となる。または当該車両Ｖの前進と後進とで基準位置離間距離Ｌの適用方向を変えてもよい。
【００８２】
また、上記ステップＳ３０の判定において対象表示物Ｂの位置検出に失敗したと判定された場合でも、その時点で設定されている認識範囲Ａのすぐ外周付近で位置検出が成功する可能性が高い。このため、位置検出が失敗した場合でも認識範囲Ａを少し拡大するように再設定して走査検出を再試行することも有効である。この場合、特に基準位置離間距離Ｌを延長させる方向で認識範囲Ａを拡大することが好適である。またこのとき、拡大した部分だけで走査検出を行うと処理時間を短縮できる。
【００８３】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【符号の説明】
【００８４】
１              フロントカメラ（撮像手段に相当）
２              イメージングユニット
３              ディスプレイ
１１            ＣＰＵ
１２            記憶部
１３            ＧＰＳ
１４            車速センサ
１５            距離センサ
１６            グラフィックコントローラ
５１            郵便ポスト
Ａ              認識範囲
Ｂ              対象表示物（対象物に相当）
Ｄｃ            撮像方向
Ｄｖ            車両軸方向
Ｅ              半直線
Ｐ１            消失点
Ｓ              ナビゲーション装置
Ｖ              車両
【図１】
2013196387.tif 000003
【図２】
2013196387.tif 000004
【図３】
2013196387.tif 000005
【図４】
2013196387.tif 000006
【図５】
2013196387.tif 000007
【図６】
2013196387.tif 000008
【図７】
2013196387.tif 000009
【図８】
2013196387.tif 000010
【図９】
2013196387.tif 000011
【図１０】
2013196387.tif 000012
【図１１】
2013196387.tif 000013
【図１２】
2013196387.tif 000014