(57)【要約】  【課題】  標識認識を効率よく行うことのできる標識認識装置を提供する。  【解決手段】  車両に搭載されて標識を認識する標識認識装置１は、車両の前方を撮影して画像を取得するカメラ１０と、カメラ１０にて得られた画像内の標識存在認識エリアＥＡにおいて、標識存在認識（第１の認識レベルでの標識認識）を行う標識存在認識部３１と、カメラ１０にて得られた画像内の標識存在認識エリアＥＡとは異なる標識内容認識エリアＣＡにおいて、標識内容認識（第１の認識レベルより高い第２の認識レベルでの標識認識）を行う標識内容認識部３３を備える。これにより、複数の認識エリアＥＡ，ＣＡについて、それぞれ異なる認識レベルで標識を認識するので、画像内で高い認識レベルが必要とされない部分の認識レベルを落とすことで、全体として標識認識の効率を向上できる。【選択図】  図１
2013008070.tif 000002
【特許請求の範囲】
【請求項１】
移動体の前方を撮像した画像から標識を認識する標識認識装置であって、
前記画像内の第１の認識エリアにおいて、第１の認識レベルで標識を認識する第１の標識認識手段と、
前記画像内の前記第１の認識エリアとは異なる第２の認識エリアにおいて、前記第１の認識レベルより高い第２の認識レベルで標識を認識する第２の標識認識手段と、
を備えたことを特徴とする標識認識装置。  
【請求項２】
前記第１の認識エリアは、標識の存在を認識するための標識存在認識エリアであり、
前記第２の認識エリアは、標識の内容を認識するための標識内容認識エリアであり、
前記第１の標識認識手段は、前記標識存在認識エリアにおいて標識の存在を認識し、
前記第２の標識認識手段は、前記標識内容認識エリアにおいて標識の内容を認識する
ことを特徴とする請求項１記載の標識認識装置。
【請求項３】
前記第１の標識認識手段による認識結果を利用して、前記第２の認識エリア内の探索エリアを指定する探索エリア指定手段をさらに備え、
前記第２の標識認識手段は、前記探索エリアにおいて標識を認識することを特徴とする請求項１または２に記載の標識認識装置。
【請求項４】
前記探索エリア指定手段は、前記第１の標識認識手段による認識結果及び移動体の走行状況に基づいて前記探索エリアを指定することを特徴とする請求項３記載の標識認識装置。
【請求項５】
前記第１の標識認識手段にて認識された標識が前記第２の認識エリアに出現するタイミングを推定するタイミング推定手段をさらに備え、
前記第２の標識認識手段は、前記タイミング推定手段が推定したタイミングで標識の認識を開始することを特徴とする請求項１ないし請求項４のいずれかに記載の標識認識装置。
【請求項６】
前記第１の認識エリア及び第２の認識エリアの少なくとも一方を動的に設定する認識エリア設定手段をさらに備えたことを特徴とする請求項１ないし請求項５のいずれかに記載の標識認識装置。
【請求項７】
前記認識エリア設定手段は、移動体の走行状況に基づいて前記第１の認識エリア及び前記第２の認識エリアの少なくとも一方を変化させることを特徴とする請求項６記載の標識認識装置。
【請求項８】
前記認識エリア設定手段は、移動体の走行速度に応じて前記第１の認識エリア及び前記第２の認識エリアの少なくとも一方を変化させることを特徴とする請求項７記載の標識認識装置。
【請求項９】
前記認識エリア設定手段は、移動体の舵角に応じて前記第１の認識エリア及び前記第２の認識エリアの少なくとも一方を変化させることを特徴とする請求項７記載の標識認識装置。
【請求項１０】
前記認識エリア設定手段は、移動体周辺の環境に基づいて前記第１の認識エリア及び前記第２の認識エリアの少なくとも一方を変化させることを特徴とする請求項６記載の標識認識装置。
【請求項１１】
移動体に搭載されて標識を認識する標識認識装置であって、
移動体の前方を撮影して画像を取得する撮影手段と、
前記撮影手段にて得られた画像内に、認識エリアを動的に変化させて設定する認識エリア設定手段と、
設定された前記認識エリアにおいて、標識を認識する標識認識手段と、
を備えたことを特徴とする標識認識装置。
【請求項１２】
移動体の前方を撮像した画像から標識を認識する標識認識方法であって、
前記画像内の第１の認識エリアにおいて、第１の認識レベルで標識を認識する第１の標識認識ステップと、
前記画像内の前記第１の認識エリアとは異なる第２の認識エリアにおいて、前記第１の認識レベルより高い第２の認識レベルで標識を認識する第２の標識認識ステップと、
を含むことを特徴とする標識認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両等の移動体に搭載されて標識を認識する標識認識装置に関するものである。
【背景技術】
【０００２】
従来より、車載カメラによって得られた連続的な画像から対象物を認識する認識装置が知られている。かかる認識装置において、車載カメラが撮影する画像は車両の走行とともに時々刻々と変化する。従って、画像のフレームレートが高くなり、また、車載カメラの画素数が大きくなるほど、認識装置における認識処理の負担が増加する。また、認識装置において、認識のレベルを高くするほど処理負担が増加する。よって、認識装置については、画像から対象物を効率よく認識することが望まれている。このために、車載カメラによって得られた画像から対象物を認識する際に、画像全体について対象物の認識をするのではなく、特定の部分のみについて対象物の認識をすることで、対象物認識の効率化を図ることが提案されている。
【０００３】
第１の従来の認識装置は、ビデオカメラで撮影して得られた動画フレームの一部を間引いて対象物の認識を行うことで認識処理の効率化を図るとともに、標識が撮影されている場合は、認識領域を画像内の一部の領域に限定した上で、当該画像を間引かないようにしている（例えば特許文献１参照）。この装置では、対象物である標識が高精度に撮影される画像上部の帯状領域を認識領域としている。即ち、高速道路の標識のように、頭上を通過する標識については、この帯状領域にて標識が最も鮮明に撮影されることから、この領域を限定的な認識領域としている。
【０００４】
また、第２の従来の認識装置は、車両の位置情報と方位情報に基づいて、車載カメラで撮像された画像において認識対象の物体が含まれると推定される画像部分を画像切出し範囲として切り出して、当該切り出し範囲内に含まれる物体を画像認識している（例えば特許文献２参照）。また、第３の従来の認識装置では、認識すべき領域をレーダ装置の検知結果に基づいて限定している（例えば特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３６６９２１８号公報
【特許文献２】特許第２８７０３７２号公報
【特許文献３】特開２００５−３３９１７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記第１の従来の認識装置では、走行に伴って頭上を通過するような標識を認識することが前提となっているため、認識対象とする領域が画像上部の帯状領域に固定されており、車両の横を通過する道路標識を認識する場合のように、任意の範囲での高精度な認識は困難であるという問題があった。また、帯状の認識領域の全体を常に画像認識する必要があるため、処理負担が重くなるという問題があった。
【０００７】
上記第２の従来の認識装置は、現在の情報に基づいて画像切出し範囲を予測しているだけであり、車両の位置や方位情報が変化した場合には有効な画像切出し範囲が得られず、正確に物体を認識することが困難になるという問題があった。また、上記第２の従来の認識装置は、認識の対象となる画像について、常に物体の認識処理を行っているため、処理負担が重くなるという問題があった。上記第３の従来の認識装置は、カメラとは別にレーダ装置などの検知手段が必要になり、装置が複雑化してコストも高くなるという問題があった。
【０００８】
本発明は、上記従来の問題を解決するためになされたもので、標識認識の処理を効率的に行うことができる標識認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の標識認識装置は、移動体の前方を撮像した画像から標識を認識する標識認識装置であって、前記画像内の第１の認識エリアにおいて、第１の認識レベルで標識を認識する第１の標識認識手段と、前記画像内の前記第１の認識エリアとは異なる第２の認識エリアにおいて、前記第１の認識レベルより高い第２の認識レベルで標識を認識する第２の標識認識手段とを備えた構成を有している。
【００１０】
この構成により、複数の認識エリアについて、それぞれ異なる認識レベルで標識を認識するので、画像内で高い認識レベルが必要とされない部分の認識レベルを落とすことで、全体として標識認識の処理の効率を向上できる。
【００１１】
上記の標識認識装置において、前記第１の認識エリアは、標識の存在を認識するための標識存在認識エリアであり、前記第２の認識エリアは、標識の内容を認識するための標識内容認識エリアであり、前記第１の標識認識手段は、前記標識存在認識エリアにおいて標識の存在を認識し、前記第２の標識認識手段は、前記標識内容認識エリアにおいて標識の内容を認識する。
【００１２】
この構成により、画像内で標識の存在が認識できればよいエリアについては、認識レベルを低くして標識の存在のみを認識し、画像内で標識の内容が確認できるエリアについて、高い認識レベルで標識の内容までも認識するので、標識の内容が認識できないエリアについて高い認識レベルで標識の内容を認識することによる処理負担をなくすことができる。
【００１３】
上記の標識認識装置は、前記第１の標識認識手段による認識結果を利用して、前記第２の認識エリア内の探索エリアを指定する探索エリア指定手段をさらに備え、前記第２の標識認識手段は、前記探索エリアにおいて標識を認識する。
【００１４】
この構成により、第２の認識エリア（標識内容認識エリア）内の一部エリア（探索エリア）について、認識レベルの高い内容認識を行うので、標識が存在しないエリアで内容認識を行うことによる処理負担の増大を回避できる。また、探索エリアは、標識存在認識の結果に基づいて決定するので、探索エリアを指定するのにレーダ装置等の検出装置を別途備える必要がない。
【００１５】
上記の標識認識装置において、前記探索エリア指定手段は、前記第１の標識認識手段による認識結果及び移動体の走行状況に基づいて前記探索エリアを指定する。
【００１６】
この構成により、第１の標識認識手段による認識結果のみではなく、移動体の走行状況にも基づいて探索エリアが指定されるので、探索エリアをより適切に指定できる。
【００１７】
上記の標識認識装置は、前記第１の標識認識手段にて認識された標識が前記第２の認識エリアに出現するタイミングを推定するタイミング推定手段をさらに備え、前記第２の標識認識手段は、前記タイミング推定手段が推定したタイミングで標識の認識を開始する。
【００１８】
この構成により、認識レベルの高い認識が有効な場合のみ認識レベルの高い標識内容認識処理を行うので、標識の内容が認識できないときに標識内容を認識することによる処理負担をなくすことができる。また、認識レベルの高い認識を開始するタイミングは、第１の標識認識手段（標識存在認識手段）認識結果に基づいて決定するので、レーダ装置等の検出装置を別途備えなくてもそのタイミングを推定できる。
【００１９】
上記の標識認識装置は、前記第１の認識エリア及び第２の認識エリアの少なくとも一方を動的に設定する認識エリア設定手段をさらに備える。
【００２０】
この構成により、認識エリアを固定することによる無駄なエリアでの認識処理を回避できる。
【００２１】
上記の標識認識装置において、前記認識エリア設定手段は、移動体の走行状況に基づいて前記第１の認識エリア及び／又は前記第２の認識エリアの少なくとも一方を変化させる。
【００２２】
画像内で標識が存在するエリアは移動体の走行状況によって変化するところ、この構成によれば、移動体の走行状況に基づいて、適切なエリアを認識エリアとして設定できる。
【００２３】
上記の標識認識装置において、前記認識エリア設定手段は、移動体の走行速度に応じて前記第１の認識エリア及び前記第２の認識エリアの少なくとも一方を変化させる。
【００２４】
走行速度が速ければ標識は画像の中を速く移動して画像の外に出てしまうため、標識存在認識エリアを大きく設定する必要があり、逆に走行速度が遅い場合には、標識存在認識エリアを小さく設定しても十分に標識の存在の認識ができる。よって、上記の構成により、認識エリア設定部が走行速度に応じて適切な認識エリアを設定することで、確実な標識の存在の認識ができるとともに、無駄な標識の存在の認識処理を省いて処理負担を軽減できる。
【００２５】
上記の標識認識装置において、前記認識エリア設定手段は、移動体の舵角に応じて前記第１の認識エリア及び前記第２の認識エリアの少なくとも一方を変化させる。
【００２６】
移動体の舵角が前進方向に向いている場合は、標識は移動体の走行に伴って拡大されていくとともに画面の中央から側方に移動する。また、移動体の舵角が右進行方向に向いていると、標識は移動体の走行に伴って画面の右端から現われて、左側に移動するに従って拡大されていく。このように、標識の画像内での移動は舵角によるため、上記の構成のように移動体の舵角に応じて認識エリアを変化させることで、標識の存在及び内容を確実に認識できる。
【００２７】
上記の標識認識装置において、前記認識エリア設定手段は、移動体周辺の環境に基づいて前記第１の認識エリア及び前記第２の認識エリアの少なくとも一方を変化させる。
【００２８】
この構成によれば、例えば、移動体の周囲が暗い場合には、標識の存在が確認しにくくなるため、認識エリアを大きく設定する等、周辺環境に応じて認識エリアを適切に設定できる。
【００２９】
また、本発明の標識認識装置は、移動体に搭載されて標識を認識する標識認識装置であって、移動体の前方を撮影して画像を取得する撮影手段と、前記撮影手段にて得られた画像内に、認識エリアを動的に変化させて設定する認識エリア設定手段と、設定された前記認識エリアにおいて、標識を認識する標識認識手段とを備えた構成を有している。
【００３０】
この構成により、認識エリア設定手段にて認識エリアを動的に変化させるので、認識が不要なエリアについて標識認識を行うことによる処理の無駄を省くことができ、標識認識の処理の効率を向上できる。
【００３１】
本発明の標識認識方法は、移動体の前方を撮像した画像から標識を認識する標識認識方法であって、前記画像内の第１の認識エリアにおいて、第１の認識レベルで標識を認識する第１の標識認識ステップと、前記画像内の前記第１の認識エリアとは異なる第２の認識エリアにおいて、前記第１の認識レベルより高い第２の認識レベルで標識を認識する第２の標識認識ステップとを含む。
【００３２】
この構成により、複数の認識エリアについて、それぞれ異なる認識レベルで標識を認識するので、画像内で高い認識レベルが必要とされない部分の認識レベルを落とすことで、全体として標識認識の処理の効率を向上できる。
【発明の効果】
【００３３】
本発明は、複数の認識エリアについて、それぞれ異なる認識レベルで標識を認識するので、標識認識の処理を効率的に行うことができるという効果を有する標識認識装置を提供することができるものである。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１の実施の形態の標識認識装置の構成を示すブロック図
【図２】本発明の第１の実施の形態における画像内に設定される標識存在認識エリア及び標識内容認識エリアを示す図
【図３】本発明の第１の実施の形態における複数の探索エリアを示す図
【図４】本発明の第１の実施の形態の標識認識装置の動作を示すフロー図
【図５】本発明の第１の実施の形態の標識認識装置を搭載した車両の斜視図
【図６】本発明の第２の実施の形態の標識認識装置の動作を示すフロー図
【図７】本発明の第３の実施の形態の標識認識装置の動作を示すフロー図
【図８】本発明の第４の実施の形態の標識認識装置の構成を示すブロック図
【図９】（ａ）直進時の標識存在認識エリア及び標識内容認識エリアのエリアデータを示す図  （ｂ）右折時の識存在認識エリア及び標識内容認識エリアのエリアデータを示す図  （ｃ）（ａ）の場合よりも速い速度で直進する場合の標識存在認識エリア及び標識内容認識エリアのエリアデータを示す図
【図１０】本発明の第４の実施の形態の変形例の標識認識装置の構成を示すブロック図
【図１１】本発明の第５の実施の形態において標識が標識内容認識エリアに出現する時刻と位置を推定する方法を説明する図
【図１２】本発明の第５の実施の形態において標識が標識内容認識エリアに出現する時刻と位置を推定する動作を示すフロー図
【図１３】本発明の第６の実施の形態の標識認識装置の構成を示すブロック図
【発明を実施するための形態】
【００３５】
以下、本発明の実施の形態の標識認識装置について、図面を用いて説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態の標識認識装置のブロック図である。標識認識装置１は、カメラ１０、ＣＡＮ（Controller Area Network）２０、標識認識部３０、及び出力部４０を備えている。
【００３６】
カメラ１０は、車両の前方を撮影して撮影画像を取得する。カメラ１０のレンズには画角１８０度の魚眼レンズを採用し、撮像素子にはＣＣＤを採用する。カメラ１０は、標識存在認識部３１及び標識内容認識部３３に接続されており、認識処理のためにこれらの認識部に撮影して取得した画像を送る。ＣＡＮ２０は、車内に設置された各センサの情報を収集する。本実施の形態のＣＡＮ２０は、少なくとも車両の舵角を検知する舵角センサ及び車両の走行速度を検知する速度センサから、舵角及び走行速度の情報を集める。標識認識部３０は、カメラ１０で得られた画像から標識を認識してその結果を出力部４０に出力する。
【００３７】
標識認識部３０は、カメラ１０で得られた画像内に、標識の存在のみを認識する標識存在認識エリアＥＡ及び標識の内容を認識する標識内容認識エリアＣＡを設定して、標識存在認識エリアＥＡでは標識の存在（有無）を検知し、標識内容認識エリアＣＡでは標識の内容を判別する。即ち、標識認識部３０は、標識存在認識エリアＥＡでは、認識レベルの低い認識を行い、標識内容認識エリアＣＡでは、認識レベルの高い認識を行う。
【００３８】
図２は、画像内に設定される標識存在認識エリアＥＡ及び標識内容認識エリアＣＡを示す図である。図２に示すように、標識存在認識エリアＥＡは、画像の中心点Ｃを中心とする楕円で囲まれた領域である。標識内容認識エリアＣＡは、標識存在認識エリアＥＡの楕円と、標識存在認識エリアＥＡの楕円より大きく、かつ画像の中心点Ｃを中心とする（標識存在認識エリアＥＡの楕円と同心の）楕円とで挟まれた扁平ドーナツ状の領域である。
【００３９】
一般的に車両が直線状の道路を直進している場合には、画像の中央に写されている被写体は車両から遠い距離に存在し、画像の中央部分の周辺に写されている被写体は車両から近い距離に存在することになる。よって、道路の脇に設置されている標識や、道路の上方に設置されている標識は、車両から遠距離にあるときは画像の中央部分で小さく捕えられ、その解像度は低くなり、車両からの距離が近くなると画像の中央部分の周辺で大きく捕えられ、その解像度が高くなる。
【００４０】
本実施の形態では、上述のようにカメラ１０のレンズに魚眼レンズを採用している。魚眼レンズは通常レンズに比べて広角範囲を撮像するため、遠距離にある物体は画像の圧縮度合いが強くなる。よって、上記のように遠距離の被写体が画像の中央部分で小さくなり、近距離の被写体が中央部分の周辺で大きくなるという傾向がより強くなる。
【００４１】
そこで、本実施の形態では、画面の中央部分の標識存在認識エリアＥＡでは、認識レベルを低くして、標識の存在のみを認識し、その周辺のドーナツ状の標識内容認識エリアＣＡでは認識レベルを高くして、標識の具体的な内容を認識する。換言すれば、画面の中央部分で標識の内容認識をしたとしても、標識が小さすぎて内容認識に必要な解像度になっておらず、有効な内容認識ができないため、画像の中央部分では内容認識という認識レベルが高く処理負担の大きい処理は行わないこととしている。さらに、標識の存在認識も内容認識もする必要がない領域（図２では、標識内容認識エリアＣＡの外側）については、認識処理を行わないこととしている。
【００４２】
再び図１を参照して、標識認識部３０は、標識存在認識部３１、標識位置推定部３２、及び標識内容認識部３３を備えている。標識認識部３０の各構成要素は、演算処理装置、メモリ、記憶装置等のハードウェア構成を備えた装置にてコンピュータプログラムが実行されることで実現される。標識存在認識部３１は、カメラ１０からカメラ画像を入力し、標識の存在認識を行う。標識存在認識部３１は、予め標識存在認識エリアＥＡの形状を記憶しており、画像内の標識存在認識エリアＥＡに対して、標識の存在を検知する標識存在認識処理を行う。標識存在認識部３１は、予め各種の標識の形状テンプレートを記憶しており、標識存在認識処理では、標識存在認識エリアＥＡにおいてこの形状テンプレートによるマッチングを行うことで、標識の存在を検知する。標識存在認識部３１は、標識存在認識エリアＥＡに対する認識処理の結果、標識を検知したときは、検知結果及び検知した時刻を標識位置推定部３２に出力する。
【００４３】
標識位置推定部３２は、標識存在認識部３１から標識の検知結果及び検知時刻の情報を入力する。また、標識位置推定部３２は、ＣＡＮ２０に接続されており、標識存在認識部３１から標識の検知結果を入力すると、ＣＡＮ２０からＣＡＮ情報を取得する。標識位置推定部３２は、標識の検知結果、検知時刻、ＣＡＮ情報、カメラ１０の特性情報等の情報を用いて、検知された標識が標識内容認識エリアＣＡ内に出現する時刻と標識が出現する標識内容認識エリアＣＡ内の位置を推定する。以下、この時刻を推定時刻といい、この位置を推定位置という。
【００４４】
具体的には、標識位置推定部３２は、まず、画像内の標識の位置、画像内の標識の大きさ、カメラの特性情報（取付け位置、取付角度、レンズ特性等）から、車両に対する標識の相対位置を求める。そして、標識位置推定部３２は、その相対位置と車両の走行速度から、そのままの速度で直進した場合に標識が標識内容認識エリアＣＡ内に入る推定時刻と推定位置を求める。なお、この推定時刻を求める標識位置推定部３２の機能は、本発明のタイミング推定手段に相当する。本発明のタイミング推定手段は、標識が標識内容認識エリアＣＡに入る時刻ではなく、標識が標識内容認識エリアＣＡに入るまでの所要時間を推定して標識内容認識部３３に通知してもよい。
【００４５】
標識位置推定部３２は、標識内容認識エリアＣＡのうちの推定位置を含む一部領域を、標識内容の認識を行う探索エリアＳＡとして指定して、推定時刻の情報とともに、標識内容認識部３３に出力する。図３は、複数の探索エリアを示す図である。標識位置推定部３２には、図３に示すように、標識内容認識エリアＣＡの部分領域として、予め複数の探索エリアＳＡ１〜ＳＡ８が設定されている。標識位置推定部３２は、これらの複数の探索エリアの中から、推定位置が属する探索エリアを選択して指定する。推定位置が各探索エリアの境界付近にある場合には、隣り合う２つの探索エリアを指定してもよい。なお、この探索エリアを指定する標識位置推定部３２の機能は、本発明の探索エリア指定手段に相当する。
【００４６】
なお、図３の例では、標識内容認識エリアＣＡを複数の小領域に分割することで、複数の探索エリアＳＡ１〜ＳＡ８が設定されたが、複数の探索エリアは互いに重なり合うように設定されてもよい。複数の探索エリアが重なり合っている場合は、推定位置をより中心に含む探索エリアが選択される。さらに、隣り合う探索エリアの間に隙間があってもよい。また、例えばカメラの取付け位置により、画像の下部に車両のボンネットが写る場合には、画像の下部には探索エリアを設定しないようにしてもよい。また、探索エリアはその形状を動的に変化させて設定してもよい。探索エリアを動的に設定する場合に、推定位置の周囲１０ピクセル分の領域を探索エリアとして設定してよい。
【００４７】
標識内容認識部３３は、標識位置推定部３２から推定時刻及び選択された探索エリアＳＡの情報を取得し、当該推定時刻になると当該探索エリアＳＡにて標識内容の認識処理を行う。標識内容認識部３３は、認識結果として、標識内容の情報を出力部４０に出力する。
【００４８】
出力部４０は、例えばカーナビゲーションシステムであり、表示装置と音声出力装置を備えている。出力部４０は、標識内容認識部３３から標識の内容を取得すると、その内容に応じた表示及び音声出力を行う。例えば、標識の内容が「とまれ」であれば、表示装置に「とまれ」と表示するとともに、「一旦停止をしてください」等の音声ガイドを流す。また、標識の内容が「進入禁止」であれば、表示装置に「進入禁止」と表示するとともに、「この先、進入禁止です」等の音声ガイドを流す。
【００４９】
以上のように構成された標識認識装置１について、その動作を説明する。図４は、標識認識部３０の動作を示すフロー図である。車両が走行を始めて、標識認識部３０が起動すると、標識存在認識部３１は、標識存在認識エリアＥＡにおいて標識の存在を検知する処理（標識存在認識処理）を開始し、標識の存在を検知する（ステップＳ４１）。標識存在認識部３１は、検知結果及び検知時刻を標識位置推定部３２に出力し、標識位置推定部３２は、標識存在認識部３１から検知結果及び検知時刻を入力すると、ＣＡＮ２０からその時点での走行状況（ＣＡＮ情報）を取得する（ステップＳ４２）。
【００５０】
標識位置推定部３２は、検知された標識が標識内容認識エリアＣＡに出現する時刻と位置を推定する（ステップＳ４３）。この推定処理では、上記のように画像内での標識の位置と大きさから車両に対する標識の相対位置を求めて、推定時刻と推定位置を求める。標識位置推定部３２は、推定された位置に基づいて、標識内容認識エリアＣＡ中の探索エリアＳＡを指定し、当該探索エリアＳＡを推定時刻とともに標識内容認識部３３に通知する（ステップＳ４４）。標識内容認識部３３は、標識位置推定部３２から取得した推定時刻になると、探索エリアＳＡにて標識の内容を認識する処理を行う（ステップＳ４５）。その後、標識内容認識部３３は、認識結果を出力部４０に出力する（ステップＳ４６）。出力部４０は、上記で説明したように表示及び音声によって認識結果を出力する。以上、本実施の形態の標識認識装置１の動作を説明した。
【００５１】
図５は、本発明の実施の形態の標識認識装置１を搭載した車両の斜視図である。図５に示すように、カメラ１０は、車両のバックミラーの裏側、即ち車両前方側に取り付けられている。カメラ１０は車両の前方を撮影する。出力部４０であるナビゲーションシステムの表示装置は、ダッシュボードの上に取り付けられる。標識認識部３０は、ダッシュボードの中に取り付けられる。ＣＡＮ２０は図示しないが、車両の走行速度や車両の舵角を検知すべく、必要な箇所にセンサが設けられ、各センサが制御装置に接続されて構成される。なお、カメラ１０はフロントバンパー等に取り付けて車両の前方を撮影するようにしてもよい。また、表示装置はダッシュボードに嵌め込まれてもよい。
【００５２】
このような本発明の第１の実施の形態の標識認識装置によれば、画像内の低解像度の箇所（標識存在認識エリアＥＡ）については、標識の存在検知という認識レベルの低い認識を行い、高解像度の箇所（標識内容認識エリアＣＡ）において標識の内容判別という認識レベルの高い認識を行うので、画像全体で標識の内容判別をする場合と比較して、標識内容の認識処理負担を軽減できる。本実施の形態では、さらに、高解像度の箇所のうちの一部領域を探索エリアＳＡとして限定して標識内容の認識処理を行うので、処理負担をより軽減できる。また、本実施の形態では、車両の走行に伴って画像内で標識が標識内容認識エリアＣＡに出現する時刻を推定して、当該推定時刻に合わせて標識内容の認識処理を開始するので、常に標識内容の認識処理をする場合と比較して、処理負担を軽減できる。
【００５３】
（第２の実施の形態）
次に、本発明の第２の実施の形態の標識認識装置について説明する。第２の実施の形態の標識認識装置の構成は、第１の実施の形態と同じである。第２の実施の形態では、標識認識部の動作が第１の実施の形態と相違する。第１の実施の形態では、標識位置推定部３２が、標識が画像内で標識内容認識エリアＣＡに出現する時刻と位置を推定して、その推定位置に基づく探索エリアＳＡを推定時刻と共に標識内容認識部３３に出力した。そして、標識内容認識部３３は、標識位置推定部３２から出力された推定時刻まで待って、探索エリアＳＡで内容認識処理を行った。このような標識認識部の動作は、高速道路を走行している場合など、走行状況があまり変化しない場合に有効である。
【００５４】
しかしながら、街中での走行をしている場合など、走行状況が頻繁に変化する場合には、標識が推定どおりに標識内容認識エリアＣＡに出現しないこともありうる。例えば、最初に標識の存在を検知した後に、ブレーキを掛けたために、推定時刻になっても標識が標識内容認識エリアＣＡに出現しないことがある。また、最初に標識の存在を検知した後に、ハンドルを切ったために、推定位置にて標識が標識内容認識エリアＣＡに出現しないことがある。そこで、本実施の形態では、走行状況が変化する場合にも、標識内容認識エリアＣＡに標識が出現するタイミングで、標識が出現するエリアにて標識内容の認識処理ができるようにする。このために、本実施の形態では、標識位置推定部３２は、画像内の標識が標識内容認識エリアＣＡに出現する直前まで標識検出エリアＥＡ内の標識を追跡し、標識内容認識エリアＣＡに出現する直前に、そのときの推定位置に対応する探索エリアＳＡを標識内容認識部３３に通知する。標識内容認識部３３は、標識位置推定部３２から探索エリアＳＡが通知されると、直ちにその探索エリアＳＡで標識内容認識処理を開始する。
【００５５】
図６は、第２の実施の形態の標識認識部の動作を示すフロー図である。車両が走行を始めて、標識認識部３０が起動すると、標識存在認識部３１は、標識存在認識エリアＥＡにおいて標識の存在を検知する処理（標識存在認識処理）を開始し、標識の存在を検知する（ステップＳ６１）。標識存在認識部３１は、検知結果及び検知時刻を標識位置推定部３２に出力し、標識位置推定部３２は、標識存在認識部３１から検知結果及び検知時刻を入力すると、ＣＡＮ２０からその時点での走行状況（ＣＡＮ情報）を取得する（ステップＳ６２）。
【００５６】
標識位置推定部３２は、検知された標識が標識内容認識エリアＣＡに出現する時刻と位置を推定する（ステップＳ６３）。続いて、標識位置推定部３２は、現在時刻が推定時刻の直前であるか否かを判断する（ステップＳ６４）。ここでは、現在時刻から推定時刻までの時間が１秒以内であれば直前であると判断する。現在時刻が推定時刻の直前でなければ（ステップＳ６４でＮＯ）、ステップＳ６１に戻って、再度標識存在認識処理を行う。現在時刻が推定時刻の直前であれば（ステップＳ６４でＹＥＳ）、標識位置推定部３２は、直前のステップＳ６３での推定処理によって推定された位置に対応する探索エリアＳＡを指定して標識内容認識部３３に通知する（ステップＳ６５）。
【００５７】
識内容認識部３３は、標識位置推定部３２から探索エリアＳＡの通知を受けると、当該探索エリアＳＡにて標識の内容を認識する処理を行う（ステップＳ６６）。その後、標識内容認識部３３は、認識結果を出力部４０に出力する（ステップＳ６７）。
【００５８】
なお、上記の実施の形態では、標識位置推定部３２は、現在時刻から推定時刻までの時間が１秒以内であれば直前であると判断したが、直前であるか否かの判断は、標識位置推定部３２がＣＡＮ２０から取得した走行速度の情報に基づいて可変としてもよい。この場合、走行速度が速ければ早めに「直前である」と判断し、走行速度が遅ければ推定時刻のぎりぎりまで「直前である」と判断しないようにする。
【００５９】
本実施の形態の標識認識装置によれば、街中での走行時のように、走行状況が頻繁に変化する場合にも、標識内容認識エリアＣＡに標識が出現するタイミングで、標識が出現するエリアにて標識内容認識処理を行える。また、一旦は標識存在認識エリアＥＡで標識の存在を検知したものの、その後の走行状況の変化により標識が画像内から外れた場合には、不要な標識内容認識処理は行われず、処理負担を軽減できる。
【００６０】
（第３の実施の形態）
次に、本発明の第３の実施の形態の標識認識装置について説明する。第３の実施の形態の標識認識装置の構成は、第１の実施の形態と同じである。第３の実施の形態では、標識認識部の動作が第１の実施の形態と相違する。第３の実施の形態も、第２の実施の形態と同様に、走行状況が頻繁に変化する場合にも標識内容認識エリアＣＡに標識が出現する時刻及び位置を好適に推定できるようにする。
【００６１】
上述の第２の実施の形態では、走行状況が変化する場合にも、標識内容認識エリアＣＡに標識が出現するタイミングで、標識が出現するエリアにて標識内容認識処理できる一方で、標識が標識内容認識エリアに出現する時刻の直前になるまで標識存在認識処理と推定処理を繰り返し行うため、処理量が増加する。第３の実施の形態では、処理量の増加を抑えるようにする。
【００６２】
図７は、第３の実施の形態の標識認識装置の動作を示すフロー図である。本実施の形態の標識認識部は、車両が走行を始めて、標識認識部３０が起動すると、標識存在認識部３１は、標識存在認識エリアＥＡにおいて標識の存在を検知する処理（標識存在認識処理）を開始し、標識の存在を検知する（ステップＳ７１）。標識存在認識部３１は、検知結果及び検知時刻を標識位置推定部３２に出力し、標識位置推定部３２は、標識存在認識部３１から検知結果及び検知時刻を入力すると、ＣＡＮ２０からその時点での走行状況（ＣＡＮ情報）を取得する（ステップＳ７２）。標識位置推定部３２は、検知された標識が標識内容認識エリアＣＡに出現する時刻と位置を推定する（ステップＳ７３）。ここまでの処理は第１及び第２の実施の形態と同じである。
【００６３】
続いて、標識位置推定部３２は、現在時刻が推定時刻の直前であるか否かを判断する（ステップＳ７４）。ここでは、現在時刻が推定時刻の１秒以内であれば直前であると判断する。標識位置推定部３２は、現在時刻がまだ推定時刻の直前でなければ（ステップＳ７４でＮＯ）、走行状況を取得し、走行状況に変化がなかったかを判断する（ステップＳ７５）。走行状況に変化がない場合には（ステップＳ７５でＮＯ）、直前のステップＳ７３で推定された時刻及び位置が依然として有効であるため、ステップＳ７４に戻る。このループを推定時刻になるか走行状況に変化が発生するまで繰り返す。走行状況に変化が発生すると（ステップＳ７５でＹＥＳ）、再度標識の存在認識処理及び出現時刻及び位置の推定処理をやり直すべく、ステップＳ７１に戻る。
【００６４】
このようにして、推定時刻の直前になった場合には（ステップＳ７４でＹＥＳ）、標識位置推定部３２は、第２の実施の形態と同様に、直前のステップＳ７３での推定処理によって推定された位置に対応する探索エリアＳＡを指定して標識内容認識部３３に通知する（ステップＳ７６）。識内容認識部３３は、標識位置推定部３２から探索エリアＳＡの通知を受けると、当該探索エリアＳＡにて標識の内容を認識する処理を行い（ステップＳ７７）、認識結果を出力部４０に出力する（ステップＳ７８）。
【００６５】
本実施の形態の標識認識装置によれば、走行状況に変化があった場合には標識の存在認識処理及び出現時刻及び位置の推定処理をし直すので、街中を走行している場合など、頻繁に走行状況が変化する場合に適切に対応できると同時に、高速道路を走行している場合など走行状況があまり変化しない場合の処理負担を軽減できる。
【００６６】
なお、第３の実施の形態の標識認識装置の動作は、第１の実施の形態と第２の実施形態の折衷案といえるが、別の形態の標識認識装置は、第１の実施の形態のモードと第２の実施の形態のモードを有し、手動又は自動で両モードを切り替えるようにしてもよい。
【００６７】
（第４の実施の形態）
次に、本発明の第４の実施の形態の標識認識装置について説明する。上記の実施の形態では、標識存在認識エリアＥＡ及び標識内容認識エリアＣＡは固定されていた。本実施の形態では、ＣＡＮ情報に基づいて、画像内の標識存在認識エリアＥＡと標識内容認識エリアＣＡを動的に変化させる。
【００６８】
図８は、第４の実施の形態の標識認識装置のブロック図である。本実施の形態の標識認識装置２では、第１の実施の形態と比較して、認識エリア設定部３４が追加されている。認識エリア設定部３４は、ＣＡＮ２０、標識存在認識部３１及び標識位置推定部３２に接続されており、ＣＡＮ情報に基づいて、画像内の標識存在認識エリアＥＡと標識内容認識エリアＣＡを動的に変化させる。
【００６９】
認識エリア設定部３４は、ＣＡＮ２０からＣＡＮ情報を取得して、ＣＡＮ情報に基づいて標識存在認識エリアＥＡを設定して、標識存在認識部３１に標識存在認識エリアＥＡのエリアデータを出力すると共に、ＣＡＮ情報に基づいて標識内容認識エリアＣＡを設定して、標識位置推定部３２に標識内容認識エリアＣＡのエリアデータを出力する。本実施の形態では、認識エリア設定部３４は、特にＣＡＮ情報のうちの車両の舵角及び車両走行速度の情報を取得して、これらの情報に基づいて標識存在認識エリアＥＡ及び標識内容認識エリアＣＡを設定する。
【００７０】
図９は、認識エリアデータベースからの出力される標識存在認識エリアＥＡ及び標識内容認識エリアＣＡのエリアデータを示す図であり、図９（ａ）は、直進時のエリアデータを示し、図９（ｂ）は、右折時のエリアデータを示し、図９（ｃ）は、図９（ａ）の場合よりも速い速度で直進する場合のエリアデータを示している。
【００７１】
標識存在認識エリアＥＡのエリアデータは、画像の中心を原点（０，０）として、一般的に式（１）で表わされる。
【数１】
2013008070.tif 000003
標識存在認識エリアＥＡは、点（ｐ０，ｑ０）を中心として、ｘ軸方向の径（長径）の長さが２ａ０で、ｙ軸方向の径（短径）の長さが２ｂ０である楕円の内部として表現される。
【００７２】
標識内容認識エリアＣＡのエリアデータは、画像の中心を原点（０，０）として、一般的に式（２）及び（３）で表わされる。
【数２】
2013008070.tif 000004
【数３】
2013008070.tif 000005
標識内容認識エリアＣＡは、点（ｐ０，ｑ０）を中心として、ｘ軸方向の径（長径）の長さが２ａ０で、ｙ軸方向の径（短径）の長さが２ｂ０である楕円の外部であって、かつ点（ｐ１，ｑ１）を中心として、ｘ軸方向の径（長径）の長さが２ａ１で、ｙ軸方向の径（短径）の長さが２ｂ１である楕円の内部として表現される。
【００７３】
認識エリア設定部３４は、上記の式（１）〜（３）を記憶しており、ＣＡＮ２０から取得したＣＡＮ情報に基づいて、それらの式のパラメータａ０，ｂ０，ｐ０，ｑ０，ａ１，ｂ１，ｐ１，ｑ１を決定して、式（１）を標識存在認識エリアＥＡのエリアデータとして標識存在認識部３１に出力し、式（２）及び（３）を標識内容認識エリアＣＡのエリアデータとして標識位置推定部３２に出力する。以下、パラメータの決定方法について説明する。
【００７４】
まず、車両が直線状の道路を直進している場合、すなわち、舵角が小さい場合は、既に説明したとおり、通常は道路が前方に伸びていることが考えられる。従って、画像内の中央部分では被写体までの距離が遠く、解像度が低くなり、画像内の中央部分の周辺では被写体までの距離が近く、解像度が高くなる。画像内の被写体は、車両の走行に伴って画像の中央から徐々に画像の周辺に向けて移動することになる。よって、解像度の低い画像の中央部分に認識レベルの低い標識存在認識エリアＥＡを設定し、解像度の高い画像内の中央部周辺に認識レベルの高い標識内容認識エリアＣＡを設定する。即ち、舵角が小さい場合には、標識存在認識エリアＥＡ及び標識内容認識エリアＣＡを画定する二つの楕円の中心を画像の中央部分にする。具体的には、直進をしている場合、即ち舵角が小さい場合には、図９（ａ）に示すように、上記の式（１）〜（３）におけるパラメータ（ｐ０，ｑ０），（ｐ１，ｑ１）を原点（０，０）に近くする。この場合、長軸と短軸の比２ａ０：２ｂ０，２ａ１：２ｂ１は、カメラ１０で取得される画像の縦横比と同程度にすればよく、例えば、１：０．６５〜１：０．７５程度にする。
【００７５】
次に、舵角に応じた標識存在認識エリアＥＡ及び標識内容認識エリアＣＡの動的な設定について説明する。例えばハンドルが右に切られて舵角が大きくなると、右折の場合には、車両の右折走行に伴って、画像の右端から新たな被写体が出現し、画像の左端に移動していくことになる。よって、この場合は、図９（ｂ）に示すように、標識存在認識エリアＥＡを右に寄せて、標識内容認識エリアＣＡも右に寄せる。具体的には、ハンドルが右に切られて舵角が大きくなると、パラメータｐ０，ｐ１の値を大きくする。また、これと同時に、楕円の形状も縦長になるように変形させる。即ち、式（１）〜（３）のａ０，ａ１の値を小さくすると共に、ｂ０，ｂ１の値を大きくして、それぞれａ０，ａ１の値より大きくする。
【００７６】
なお、このとき、パラメータｐ０，ｐ１，ａ０，ａ１は、生成される楕円が画面の縁に掛からないような範囲で設定されてもよいし、楕円が画面の縁からはみ出るように設定されてもよい。前者の場合は、画面の縁のｘ座標値をｘｍａｘとすると、式（４）、（５）を満たす範囲内で設定される。
【数４】
2013008070.tif 000006
【数５】
2013008070.tif 000007
なお、ハンドルが左に切られた場合は、標識存在認識エリアＥＡ及び標識内容認識エリアＣＡを左のほうに設定する。具体的な方法は右折の場合と同様である。
【００７７】
次に、走行速度に応じた標識存在認識エリアＥＡ及び標識内容認識エリアＣＡの動的な設定について説明する。車両の走行速度が速くなると、標識の存在認識が困難になる。そこで、走行速度が上がるに従って、図９（ｃ）に示すように、標識存在認識エリアＥＡの楕円を大きくする。これに応じて、標識内容認識エリアＣＡの楕円も大きくする。具体的には、上記式（１）及び式（２）におけるパラメータａ０，ｂ０の値を大きくするとともに、上記式（３）のパラメータａ１，ｂ１の値も大きくする。
【００７８】
上記では、各パラメータを舵角や走行速度に対応させて連続的に変化させる例を説明したが、各パラメータを段階的に変化させてもよい。図１０は、各パラメータを段階的に変化させる場合の標識認識装置の構成を示すブロック図である。標識認識装置３の標識認識部３０は、認識エリアデータベース３５を備えている。この認識エリアデータベースには、走行速度が３０ｋｍ／ｈごとに区分され、舵角が２度ごとに区分され、走行速度及び舵角の各区分の組合せごとにパラメータａ０，ｂ０，ｐ０，ｑ０，ａ１，ｂ１，ｐ１，ｑ１の組が記憶されている。
【００７９】
認識エリア設定部３４は、ＣＡＮ２０から取得した走行速度が属する区分とＣＡＮ２０から取得した舵角が属する区分との組合せに対応するパラメータａ０，ｂ０，ｐ０，ｑ０，ａ１，ｂ１，ｐ１，ｑ１の組を認識エリアデータベース３５から選択して、標識存在認識エリアＥＡ及び標識内容認識エリアＣＡを設定する。
【００８０】
本実施の形態の標識認識装置では、標識存在認識エリアＥＡ及び標識内容認識エリアＣＡを舵角及び走行速度に応じて動的に変化させるので、各種の走行状況に応じた適切な認識エリア設定が可能になる。これより、画像全体で標識内容の認識を行うことを回避して処理負担を軽減できるとともに、走行状況が変化した場合にも標識内容の認識を確実に行うことができる。なお、ギアが後退に入っている場合は、前進の場合とは逆に、存在認識エリアと内容認識エリアの位置を入れ替えてもよい。
【００８１】
（第５の実施の形態）
次に、本発明の第５の実施の形態の標識認識装置について説明する。第５の実施の形態の標識認識装置の構成は、第１の実施の形態と同じである。第５の実施の形態では、標識内容認識エリアＣＡに標識が出現する時刻及び位置を推定する方法が、第１の実施の形態と相違する。第１の実施の形態では、標識位置推定部３２は、検知された標識の画像内での位置と大きさに基づいて、車両に対する当該標識の相対位置を求めて、さらにこの相対位置と走行速度に基づいて、標識が標識内容認識エリアＣＡに出現する時刻及び位置を推定した。本実施の形態では、画像内の標識位置の履歴に基づいて、標識が将来どのように画像内を移動するかを予測して、標識が標識内容認識エリアＣＡに出現する時刻及び位置を推定する。
【００８２】
図１１は、本実施の形態において、標識が標識内容認識エリアＣＡに出現する時刻と位置を推定する方法を説明する図である。標識存在認識部３１は、時刻ｔ１に標識存在認識エリアＥＡにて標識の存在を検知すると、その標識の画像内での位置を標識位置推定部３２に出力する。次の時刻ｔ２に再度標識の存在を検知して、同様にその標識の画像内での位置を出力する。次の時刻ｔ３においても同様に検知した標識の画像内での位置を出力する。標識位置推定部３２は、３つの時刻でそれぞれ標識の位置を取得すると、時刻ｔ１，ｔ２，ｔ３及びそれぞれの時刻における画像内での標識の位置に基づいて、この標識が画像内で標識内容認識エリアＣＡに出現する時刻ｔｘ及びその位置を推定する。
【００８３】
図１２は、本実施の形態において、標識が標識内容認識エリアＣＡに出現する時刻と位置を推定する動作を示すフロー図である。図１２のフロー図は、第１の実施の形態のフロー図のステップＳ４１〜ステップＳ４３に相当する。標識存在認識部３１は、標識存在認識エリアＥＡにて標識の存在を検知すると（ステップＳ１２１）、そのときの時刻及び標識の画像内での位置を標識位置推定部３２に出力する（ステップＳ１２２）。その後、標識存在認識部３１は、所定の時間内に標識を３回検知しているかを判断し（ステップＳ１２３）、すでに３回検知しているときは（ステップＳ１２３でＹＥＳ）、３回分の検知結果に基づいて、標識が画像内で標識内容認識エリアＣＡに出現する時刻ｔｘ及びその位置を推定する（ステップＳ１２４）。まだ３回検知していないときは（ステップＳ１２３でＮＯ）、ステップＳ１２１に戻って標識存在認識エリアＥＡで標識の存在を検知する。
【００８４】
本実施の形態の標識認識装置によれば、ＣＡＮ情報によらずに、画像情報と時刻の情報のみで、標識が標識内容認識エリアＣＡに出現する時刻及び位置を推定できるので、ＣＡＮを備えていない車両にも適用できるという利点がある。なお、図１２のフローは、第２の実施の形態のフロー図のステップＳ７１〜ステップＳ７３にも適用できる。
【００８５】
なお、上記の実施の形態では、３回分の標識の検知結果を利用して、その標識の標識内容認識エリアＣＡでの出現時刻及び出現位置を推定したが、２回分又は４回分以上の標識の存在の検知結果を利用して出現時刻及び出現位置を推定してもよい。
【００８６】
（第６の実施の形態）
次に、本発明の第６の実施の形態の標識認識装置について説明する。第６の実施の形態では、標識内容認識エリアＣＡに標識が出現する時刻及び位置を推定する方法が、第１の実施の形態及び第５の実施の形態と相違する。図１３は、第６の実施の形態の標識認識装置の構成を示すブロック図である。本実施の形態の標識認識装置４は、推定データベース３６を備えている。その他の構成は、第１の実施の形態の標識認識装置１と同様である。
【００８７】
標識位置推定部３２は、ＣＡＮ２０、標識存在認識部３１及び推定データベース３６に接続されている。標識位置推定部３２は、標識存在認識部３１が標識存在認識エリアＥＡで標識の存在を検知すると、標識存在認識部３１から検知された標識の画像内での位置を取得し、ＣＡＮ２０からＣＡＮ情報（ここでは、走行速度及び舵角）を取得する。推定データベース３６には、標識の画像内での位置と大きさ及びＣＡＮ情報の組み合わせに対応して、標識が標識内容認識エリアＣＡに出現する時刻及び位置が記憶されている。このデータベースは、実験などであらかじめ作成しておくことができる。
【００８８】
標識位置推定部３２は、推定データベース３６を参照して、認識エリア設定部３４から取得した標識の画像内での位置及びＣＡＮ情報の組み合わせに対応する出現時刻及び出現位置を取得する。標識位置推定部３２は、推定データベース３６から取得した出現位置に基づいて、探索エリアＳＡを指定する。
【００８９】
本実施の形態の標識認識装置によれば、推定データベース３６を参照するだけで、標識が標識認識エリアＣＡに出現する時刻及び位置の情報を得ることができるので、演算処理の負担が軽くなる。
【００９０】
（変形例）
上記の実施の形態では、標識存在認識部３１が、形状テンプレートを用いたマッピングにより標識存在認識エリアＥＡにおいて標識の存在を検知したが、標識の存在を検知する方法はこれに限られない。例えば、カメラ１０が撮影して得られた画像に対してＨｏｕｇｈ変換を行って、直線や円を抽出した後に、形状テンプレートによるマッチングを行って標識の存在を検知してもよい。また、画像内の色情報を用いて標識を抽出することで、標識の存在を検知してもよい。
【００９１】
上記の実施の形態では、標識内容認識部３３は、標識テンプレートを用いたマッピングによって、標識内容を認識したが、標識内容を認識する方法はこれに限られない。例えば、自己組織化マップを利用してクラスタリングを行って標識を分類することで、標識の内容を認識してもよい。
【００９２】
上記の実施の形態では、画像に標識存在認識エリアＥＡ及び標識内容認識エリアＣＡという認識レベルの異なる２つの認識エリアを設定して、かつ標識の認識をしないエリア（標識内容認識エリアＣＡの外側のエリア）を設けたが、エリアの設定方法はこれに限られない。例えば、存在候補を抽出するエリア、存在を確認するエリア、及び内容を認識するエリアという認識レベルの異なる３つの認識エリアを設定してもよい。また、直進時には画像の中央にきわめて近い領域は解像度が極めて低くなり、標識の存在すら検知できないことも考えられる。よって、標識存在認識エリアＥＡの中央部に認識をしないエリアを設けて、標識存在認識エリアＥＡをドーナツ状のエリアとしてもよい。さらに、上記の実施の形態では、標識存在認識エリアＥＡと標識内容認識エリアＣＡとが連続していたが、両エリアの間に標識の認識をしないエリアがあってもよい。また、上記の実施の形態では、標識存在認識エリアＥＡの外側に標識内容認識エリアＣＡを設けたが、標識存在認識エリアＥＡと標識内容認識エリアＣＡとが重なっていてもよい。
【００９３】
上記の実施の形態では、認識エリアを楕円形状としたが、認識エリアの形状はこれに限られない。認識エリアは、円、三角形や四角形などの多角形、閉曲線で囲まれる領域であってよい。また、道路の脇に設置されている標識のみ認識する場合には、三日月状の標識内容認識エリアＣＡを画面中央部の標識存在認識エリアＥＡの左右に設定してもよい。なお、実施の形態で認識エリアを楕円形状としたのは、カメラ画像として得られる画像が魚眼カメラによる円形画像の場合には実施の形態で示したようにエリア形状として楕円を用いるのが好適であるからである。通常のカメラを用いる場合には、認識エリアは四角形が好適である。また、カメラの特性や取り付け位置や角度に応じてエリア形状を設定してよい。例えば、カメラの画角内に障害物（ボンネットやシールなど）が写りこんでいることが分かっている場合には、該当箇所を含まないようエリアを設定してよい。
【００９４】
上記の実施の形態では、標識内容認識エリアＣＡ内の探索エリアＳＡを指定して、探索エリアＳＡにて標識内容を認識したが、探索エリアＳＡの指定を省略して標識内容認識エリアＣＡ全体で標識内容を認識してもよい。この場合は、探索エリアＳＡのみについて標識内容を認識する場合と比較すると処理負担が増えることになるが、画面全体で標識内容を認識する場合よりも処理負担は軽くなる。
【００９５】
上記の実施の形態では、標識が画像内で標識内容認識エリアＣＡに出現する時刻を推定して、この時刻に探索エリアＳＡで標識の内容を認識するようにしたが、常に標識内容を認識してもよい。
【００９６】
上記の実施の形態では、走行状況に基づいて認識エリアの形状を動的に設定したが、認識エリアを動的に設定する際に考慮される事項は、走行状況には限られない。例えば、カメラの特性（例えば歪み、解像度等）、カメラの認識特性、カメラの取付け位置等を考慮して認識エリアを変更してもよい。また、例えば、車両周辺の明度等、車両周辺の環境に応じて認識エリアを変更してもよい。この場合、例えば車両周辺が暗いときには標識存在認識エリアＥＡ及び標識内容認識エリアＣＡを大きくする。さらに、自車両の位置にもとづいて地図データベースなどから取得した道路状況に基づいて認識エリアを変更してもよい。例えば、車両が下り坂を走行しており、その先に上り坂がある場合には、標識存在認識エリアＥＡを画面内の上方に移動してよい。この場合、具体的には、上記式（１）〜（３）のｑ０，ｑ１を増加させる。また、上記の実施の形態では、標識存在認識エリアＥＡ及び標識内容認識エリアＣＡをいずれも動的に変更したが、いずれか一方の認識エリアのみを変更し、他方の認識エリアは固定としてもよい。
【００９７】
上記の実施の形態では、出力部４０は、ナビゲーションシステムであり、表示装置と音声出力装置を備えていたが、出力部４０の形態はこれに限られない。出力部４０は、例えばブレーキ制御装置であって、「とまれ」の標識を認識した場合に、自動的にブレーキをかけるようにしてもよい。
【００９８】
本発明の実施の形態の標識認識装置は、運転履歴を映像及びＣＡＮ情報とともに記録するドライビングレコーダの機能を有していてもよい。この場合に、標識認識装置によって認識した標識の情報を運転履歴の一部として記録してもよい。
【００９９】
また、上記の実施の形態では、本発明の標識認識装置を車両に搭載されて走行または運転する場合の標識認識装置として説明したが、本発明の標識認識装置は、車両ではなく、電車、オートバイまたは移動型ロボットなどその他の移動体にも適用可能である。
【０１００】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【０１０１】
以上のように、本発明にかかる標識認識装置は、標識認識の処理の効率を向上できるという効果を有し、移動体に搭載されて標識を認識する標識認識装置等として有用である。
【符号の説明】
【０１０２】
１、２、３、４  標識認識装置
１０  カメラ
２０  ＣＡＮ
３０  標識認識部
３１  標識存在認識部
３２  標識位置推定部
３３  標識内容認識部
３４  認識エリア設定部
３５  認識エリアデータベース
３６  推定データベース
４０  出力部
【図１】
2013008070.tif 000008
【図２】
2013008070.tif 000009
【図３】
2013008070.tif 000010
【図４】
2013008070.tif 000011
【図５】
2013008070.tif 000012
【図６】
2013008070.tif 000013
【図７】
2013008070.tif 000014
【図８】
2013008070.tif 000015
【図９】
2013008070.tif 000016
【図１０】
2013008070.tif 000017
【図１１】
2013008070.tif 000018
【図１２】
2013008070.tif 000019
【図１３】
2013008070.tif 000020