(57)【要約】【課題】夜間における道路標識や経年劣化によって色あせている道路標識であっても、特殊な構成要素を必要とせず、ロバストに認識可能な道路標識認識装置等を提供する。【解決手段】道路標識認識装置１は、撮影装置２から撮影画像を入力する画像入力部１１と、撮影画像に含まれる道路標識を検出し、撮影画像の一部を抽出し、抽出画像を生成する抽出画像生成部１２と、抽出画像を二値化し、二値化画像を生成する二値化画像生成部１３と、二値化画像から道路標識の内容を認識する内容認識部１４と、内容認識部１４によって道路標識の内容が認識された撮影画像よりも後のフレームの後続撮影画像における道路標識の位置を追跡する道路標識追跡部１５と、を備える。二値化画像生成部１３は、抽出画像の中央部分に含まれる画素の明度値のヒストグラムに基づいて二値化の閾値を決定し、経年劣化によって色あせている最高速度標識を認識可能とする。【選択図】図１
2020098389.tif 000002
【特許請求の範囲】
【請求項１】
道路標識を認識する道路標識認識装置であって、
撮影画像を入力する画像入力部と、
前記撮影画像に含まれる前記道路標識を検出し、前記撮影画像の一部を抽出し、抽出画像を生成する抽出画像生成部と、
前記抽出画像を二値化し、二値化画像を生成する二値化画像生成部と、
前記二値化画像から前記道路標識の内容を認識する内容認識部と、
を備え、
前記二値化画像生成部は、前記抽出画像の中央部分に含まれる画素の明度値のヒストグラムに基づいて二値化の閾値を決定する
ことを特徴とする道路標識認識装置。
【請求項２】
前記抽出画像生成部は、前記撮影画像に所定の前処理を実行し、前処理後の前記撮影画像に複数のエッジ検出フィルタを適用して論理和を算出することによってエッジ抽出画像を生成し、前記エッジ抽出画像から前記道路標識を検出し、前記抽出画像を生成する
ことを特徴とする請求項１に記載の道路標識認識装置。
【請求項３】
前記道路標識は、最高速度を示す最高速度標識であり、
前記最高速度標識の数字は、前記最高速度標識を特徴付ける特徴数字及び前記最高速度標識に共通する共通数字によって構成され、
前記内容認識部は、前記二値化画像の上下方向の周辺分布に基づいて分割位置を決定し、前記分割位置において前記二値化画像を分割することによって、前記特徴数字を含む特徴数字画像及び前記共通数字を含む共通数字画像を生成する
ことを特徴とする請求項１又は請求項２に記載の道路標識認識装置。
【請求項４】
前記内容認識部は、画像サイズが異なる複数の共通数字用テンプレート画像と前記共通数字画像とのテンプレートマッチング処理を実行し、前記共通数字画像における前記共通数字の位置及び大きさを特定する
ことを特徴とする請求項３に記載の道路標識認識装置。
【請求項５】
前記内容認識部は、前記共通数字の位置及び大きさに基づいて、前記特徴数字画像において前記特徴数字が存在する特徴数字存在領域を推定し、数字が異なる複数の特徴数字用テンプレート画像と前記特徴数字存在領域のテンプレートマッチング処理を実行する
ことを特徴とする請求項４記載の道路標識認識装置。
【請求項６】
前記画像入力部は、時系列順に複数のフレームの前記撮影画像を入力し、
前記内容認識部によって前記道路標識の内容が認識された前記撮影画像よりも後のフレームの後続撮影画像における前記道路標識の位置を追跡する道路標識追跡部、を更に備え、
前記道路標識追跡部は、前記後続撮影画像においてパーティクルフィルタを適用することによって前記道路標識の位置を追跡するものであり、各パーティクルについて前記道路標識の記号に相当する第１領域、前記道路標識の背景に相当する第２領域、並びに、前記第１領域及び前記第２領域を除く部分に相当する第３領域の３つの尤度を算出し、前記尤度の重み付けに基づいて道路標識の中心座標を推定する
ことを特徴とする請求項１乃至請求項５のいずれかに記載の道路標識認識装置。
【請求項７】
前記道路標識は、車両進入禁止標識であり、
前記内容認識部は、前記二値化画像にラベリング処理を実行することによって、前記車両進入禁止標識の特徴部分を抽出する
ことを特徴とする請求項１又は請求項２に記載の道路標識認識装置。
【請求項８】
コンピュータを、道路標識を認識する道路標識認識装置として機能させるためのプログラムであって、
前記コンピュータを、
撮影画像を入力する画像入力部と、
前記撮影画像から前記道路標識を含む部分を抽出し、抽出画像を生成する抽出画像生成部と、
前記抽出画像を二値化し、二値化画像を生成する二値化画像生成部と、
前記二値化画像から前記道路標識の内容を認識する内容認識部と、
を備え、
前記二値化画像生成部は、前記抽出画像の中央部分に含まれる画素の明度値のヒストグラムに基づいて二値化の閾値を決定する
道路標識認識装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路標識を認識する道路標識認識装置等に関するものである。特に、本発明は、夜間における道路標識や経年劣化によって色あせている道路標識の認識に好適である。
【背景技術】
【０００２】
道路標識は、道路の脇や上方に設置され、車両運転者や歩行者等に対して道路の交通に必要な情報を提供する表示板である。道路標識の一例として、円形の最高速度標識がある。車両の最高速度（制限速度、規制速度とも言う。）は走行中の道路によって異なるため、車両運転者は最高速度を随時確認しながら車両を運転する必要がある。車両運転者が最高速度標識を見逃してしまうと、速度超過に起因した事故が発生する恐れがある。そこで、近年、速度標識を自動的に認識し、認識結果を車両運転者に提示する運転支援システムが開発され、市販されている。
【０００３】
しかしながら、市販の運転支援システムでは、夜間における道路標識や、経年劣化によって色あせている道路標識の認識において正常に作動しない場合がある。特に、夜間では、最高速度違反による死亡事故率が著しく高いという問題があり、夜間における道路標識をロバストに認識可能な運転支援システムが望まれている。
【０００４】
特許文献１には、夜間やトンネル内等の暗い環境において、経年劣化が進んだ道路標識の種別、内容を確実に認識することを目的とした車両用道路標識認識装置が開示されている。特許文献１に記載の車両用道路標識認識装置は、可視光領域および近赤外領域に感度を有する撮像部と、近赤外光を照射する近赤外光照射部を有し、撮像部で撮像された画像の輝度分布に基づいて道路標識が写っているか否かを判定し、道路標識が写っていないと判定されたときは、近赤外光照射部から撮像部の撮像範囲内に照射する近赤外光の光量等を変更して再度画像を撮像することを繰り返し、道路標識が写っていると判定されたときは、道路標識の内容を認識する。これによって、経年劣化によって道路標識の輝度が低下している場合であっても、認識可能なコントラストを有する画像を撮像できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−１９６２３３号公報
【非特許文献】
【０００６】
【非特許文献１】高木幹雄、下田陽久（監修）、“新編  画像解析ハンドブック”、東京大学出版会、２００４．
【非特許文献２】村上伸一、“画像処理工学”、東京電機大学出版局、１９９６．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の車両用道路標識認識装置は、近赤外領域に感度を有する撮像部や、近赤外光を照射する近赤外光照射部といった特殊な構成要素が必要となる。また、暗い環境では画像の撮像を繰り返し行う必要があるため、道路標識の認識に遅れが生じる場合があると推察される。
【０００８】
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、夜間における道路標識や経年劣化によって色あせている道路標識であっても、特殊な構成要素を必要とせず、ロバストに認識可能な道路標識認識装置等を提供することである。
【課題を解決するための手段】
【０００９】
前述した目的を達成するための第１の発明は、道路標識を認識する道路標識認識装置であって、撮影画像を入力する画像入力部と、前記撮影画像から前記道路標識を含む部分を特定し、前記撮影画像の一部を抽出し、抽出画像を生成する抽出画像生成部と、前記抽出画像を二値化し、二値化画像を生成する二値化画像生成部と、前記二値化画像から前記道路標識の内容を認識する内容認識部と、を備え、前記二値化画像生成部は、前記抽出画像の中央部分に含まれる画素の明度値のヒストグラムに基づいて二値化の閾値を決定することを特徴とする道路標識認識装置である。第１の発明によって、経年劣化によって色あせている道路標識であっても、特殊な構成要素を必要とせず、ロバストに認識可能となる。
【００１０】
第１の発明における前記抽出画像生成部は、前記撮影画像に所定の前処理を実行し、前処理後の前記撮影画像に複数のエッジ検出フィルタを適用して論理和を算出することによってエッジ抽出画像を生成し、前記エッジ抽出画像から前記道路標識を検出し、前記抽出画像を生成するようにしても良い。これによって、暗い環境下においての道路標識の認識の精度が向上する。
【００１１】
また、第１の発明における前記道路標識は、最高速度を示す最高速度標識であり、前記最高速度標識の数字は、前記最高速度標識を特徴付ける特徴数字及び前記最高速度標識に共通する共通数字によって構成され、前記内容認識部は、前記二値化画像の上下方向の周辺分布に基づいて分割位置を決定し、前記分割位置において前記二値化画像を分割することによって、前記特徴数字を含む特徴数字画像及び前記共通数字を含む共通数字画像を生成するようにしても良い。これによって、特徴数字及び共通数字を正確に分割でき、ひいては最高速度標識を精度良く認識することができる。
【００１２】
また、第１の発明における前記内容認識部は、画像サイズが異なる複数の共通数字用テンプレート画像と前記共通数字画像とのテンプレートマッチング処理を実行し、前記共通数字画像における前記共通数字の位置及び大きさを特定するようにしても良い。これによって、共通数字の位置及び大きさを正確に特定することができ、ひいては最高速度標識を精度良く認識することができる。
【００１３】
また、第１の発明における前記内容認識部は、前記共通数字の位置及び大きさに基づいて、前記特徴数字画像において前記特徴数字が存在する特徴数字存在領域を推定し、数字が異なる複数の特徴数字用テンプレート画像と前記特徴数字存在領域のテンプレートマッチング処理を実行するようにしても良い。これによって、特徴数字を正確に特定することができ、ひいては最高速度標識を精度良く認識することができる。
【００１４】
また、第１の発明における前記画像入力部は、時系列順に複数のフレームの前記撮影画像を入力し、前記内容認識部によって前記道路標識の内容が認識された前記撮影画像よりも後のフレームの後続撮影画像における前記道路標識の位置を追跡する道路標識追跡部、を更に備え、前記道路標識追跡部は、前記後続撮影画像においてパーティクルフィルタを適用することによって前記道路標識の位置を追跡するものであり、各パーティクルについて前記道路標識の記号に相当する第１領域、前記道路標識の背景に相当する第２領域、並びに、前記第１領域及び前記第２領域を除く部分に相当する第３領域の３つの尤度を算出し、前記尤度の重み付けに基づいて道路標識の中心座標を推定するようにしても良い。これによって、道路標識を正確に追跡することができる。
【００１５】
また、第１の発明における前記道路標識は、車両進入禁止標識であり、前記内容認識部は、前記二値化画像にラベリング処理を実行することによって、前記車両進入禁止標識の特徴部分を抽出するようにしても良い。これによって、車両進入禁止標識を正確に認識することができる。
【００１６】
第２の発明は、コンピュータを、道路標識を認識する道路標識認識装置として機能させるためのプログラムであって、前記コンピュータを、撮影画像を入力する画像入力部と、前記撮影画像から前記道路標識を含む部分を抽出し、抽出画像を生成する抽出画像生成部と、前記抽出画像を二値化し、二値化画像を生成する二値化画像生成部と、前記二値化画像から前記道路標識の内容を認識する内容認識部と、を備え、前記二値化画像生成部は、前記抽出画像の中央部分に含まれる画素の明度値のヒストグラムに基づいて二値化の閾値を決定する道路標識認識装置として機能させるためのプログラムである。第２の発明を汎用のコンピュータにインストールすることによって、第１の発明の道路標識認識装置を得ることができる。
【発明の効果】
【００１７】
本発明により、夜間における道路標識や経年劣化によって色あせている道路標識であっても、特殊な構成要素を必要とせず、ロバストに認識可能な道路標識認識装置等を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】道路標識認識装置の概要を示す図
【図２】最高速度標識に関する道路標識認識処理の流れを示すフローチャート
【図３】最高速度標識の一例、撮影画像の一例及び前処理の実行例を示す図面代用写真
【図４】エッジ抽出処理の実行例を示す図面代用写真
【図５】道路標識検出処理の実行例を示す図面代用写真
【図６】抽出画像及び二値化画像の一例を示す図面代用写真
【図７】二値化画像生成部を説明する図面代用写真
【図８】二値化画像分割処理を説明する図面代用写真
【図９】共通数字のテンプレートマッチング処理を説明する図面代用写真
【図１０】特徴数字のテンプレートマッチング処理を説明する図面代用写真
【図１１】道路標識追跡処理の流れを示すフローチャート
【図１２】パーティクル散布の一例を示す図面代用写真
【図１３】第１領域及び第２領域の抽出処理を説明する図面代用写真
【図１４】尤度算出処理を説明する図
【図１５】車両進入禁止標識に関する道路標識認識処理の流れを示すフローチャート
【図１６】車両進入禁止標識に関する道路標識認識処理の実行例を示す図面代用写真
【発明を実施するための形態】
【００１９】
図１は、道路標識認識装置の概要を示す図である。道路標識認識装置１は、車両１００に搭載される装置であり、例えば、車両１００の運転支援システムやカーナビゲーションシステムの一部として構成される。道路標識認識装置１は、車両１００の進行方向前方を撮影方向とする撮影装置２、及びディスプレイやスピーカー等の出力装置３に接続され、必要に応じて車両１００に搭載されるＥＣＵ（Electronic Control Unit）４にも接続される。
【００２０】
道路標識認識装置１は、制御部としてのＣＰＵ（「Central Processing Unit」の略）、主記憶部としてのメモリ、補助記憶部としてのＨＤＤ（「Hard Disk Drive」の略）やフラッシュメモリ等のハードウエアを有する。補助記憶部には、ＯＳ（「Operating System」の略）、アプリケーションプログラム、処理に必要なデータ等が記憶されている。道路標識認識装置１の制御部は、補助記憶部からＯＳやアプリケーションプログラムを読み出して主記憶部に格納し、主記憶部にアクセスしながら、その他の機器を制御し、後述する処理を実行する。
【００２１】
道路標識認識装置１は、撮影装置２から撮影画像を入力する画像入力部１１と、撮影画像に含まれる道路標識を検出し、撮影画像の一部を抽出し、抽出画像を生成する抽出画像生成部１２と、抽出画像を二値化し、二値化画像を生成する二値化画像生成部１３と、二値化画像から道路標識の内容を認識する内容認識部１４と、内容認識部１４によって道路標識の内容が認識された撮影画像よりも後のフレームの後続撮影画像における道路標識の位置を追跡する道路標識追跡部１５と、を備える。道路標識認識装置１は、内容認識部１４による認識結果や道路標識追跡部１５による追跡結果を出力装置３やＥＣＵ４等に出力する。
【００２２】
撮影装置２は、車両１００の進行方向前方を撮影方向とする動画像データを撮影し、道路標識認識装置１に出力する。撮影画像は、動画像データに含まれるフレームの静止画像である。道路標識認識装置１の画像入力部１１は、時系列順に複数のフレームの撮影画像を入力し、後述する道路標識認識処理や道路標識追跡処理を実行する。
【００２３】
図２は、最高速度標識に関する道路標識認識処理の流れを示すフローチャートである。道路標識認識装置１は、図２に示す処理において、単一の撮影画像を処理対象とし、撮影画像に含まれる最高速度標識の内容を認識する。
【００２４】
図２に示すように、道路標識認識装置１の画像入力部１１が撮影装置２から撮影画像を入力すると（ステップＳ１）、抽出画像生成部１２は、後述の処理の対象範囲を設定し（ステップＳ２）、所定の前処理を実行する（ステップＳ３）。
【００２５】
図３は、最高速度標識の一例、撮影画像の一例及び前処理の実行例を示す図面代用写真である。図３（ａ）は最高速度標識２０、図３（ｂ）は撮影画像２１、図３（ｃ）は前処理後画像２２である。
【００２６】
図３（ａ）に示すように、最高速度標識２０は、白色に彩色される背景２０ａと、赤色に彩色されるドーナツ状の周縁部２０ｂと、周縁部２０ｂの内側に位置し、青色に彩色され、設置場所の道路の最高速度を示す数字２０ｃ、２０ｄと、によって構成される。図２に示す処理では、最高速度標識２０は、２桁の数字かつ１０の倍数の最高速度を示すものする。この場合、１桁目の数字２０ｄは、全ての最高速度標識２０において共通して「０」であり、共通数字と定義する。２桁目の数字２０ｃは、最高速度標識２０を特徴付ける数字であり、特徴数字と定義する。特徴数字は、例えば、「３」、「４」、「５」、「８」等である。言い換えると、本実施の形態では、最高速度標識２０の数字は、最高速度標識２０を特徴付ける特徴数字及び最高速度標識２０に共通する共通数字によって構成される。
【００２７】
図３（ｂ）に示すように、撮影画像２１は、ほぼ水平方向に平行な左右方向と、ほぼ鉛直方向に平行な上下方向を有する。撮影画像２１の画素数は、左右方向が６４０画素、上下方向が４８０画素である。
【００２８】
抽出画像生成部１２は、処理時間を短縮するため、左右方向に延びる直線を分割線とし、上部の７５％を後述の処理の対象範囲とし、下部の２５％を後述の処理の対象外とする。従って、対象範囲の画素数は、左右方向が６４０画素、上下方向が３６０画素である。
【００２９】
次に、抽出画像生成部１２は、画像を平滑化するため、２×２サイズのフィルタを設定し、このフィルタの平均値を新たな１画素とする粗視化処理を実行する。この結果、対象範囲の画素数は、左右方向が３２０画素、上下方向が１８０画素となる。
【００３０】
次に、抽出画像生成部１２は、画像全体の輝度を明るくするため、ガンマ補正処理（非特許文献１参照）を実行する。これによって、暗い環境下での道路標識の認識精度を向上させる。
【００３１】
次に、抽出画像生成部１２は、細かいノイズを除去するため、平滑化処理（非特許文献１参照）を実行し、空の色情報を一様にする。この結果が、図３（ｃ）に示す前処理後画像２２である。撮影画像２１と比較すると、前処理後画像２２では、左下に道路標識が目視可能であり、細かいノイズが少ない。
【００３２】
図２の説明に戻る。次に、抽出画像生成部１２は、エッジ抽出処理を実行し、エッジ抽出画像を生成する（ステップＳ４）。本実施の形態では、抽出画像生成部１２は、前処理後画像２２に複数のエッジ検出フィルタを適用して論理和を算出することによってエッジ抽出画像を生成する。
【００３３】
図４は、エッジ抽出処理の実行例を示す図面代用写真である。図４（ａ）は前処理後画像２２にラプラシアンフィルタを適用した後の画像２３、図４（ｂ）は前処理後画像２２にＣａｎｎｙエッジフィルタを適用した後の画像２４、図４（ｃ）は画像２３及び画像２４を論理和で合成した画像２５、図４（ｄ）は画像２５から所定のノイズ除去処理を実行した後の画像２６である。
【００３４】
前述の通り、最高速度標識２０の周縁部２０ｂは赤色で彩色されているが、暗い環境下においては色情報が大きく失われる。そこで、抽出画像生成部１２は、明るい環境下において赤色が強く反応するラプラシアンフィルタ（非特許文献１参照）の適用結果と、暗い環境下において輪郭の未検出が少ないＣａｎｎｙエッジフィルタ（非特許文献１参照）の適用結果を論理和で合成する。これによって、暗い環境下においての道路標識の認識の精度が向上する。但し、図４（ｂ）に示す画像２４では、暗い環境下においての道路標識の認識の精度を向上させるために、Ｃａｎｎｙエッジフィルタの閾値を低く設定しているため、道路標識の輪郭以外のノイズもエッジとして多く検出されている。同様に、図４（ｃ）に示す画像２５にも多数のノイズが残る。
【００３５】
抽出画像生成部１２は、道路標識の輪郭以外のエッジのノイズを除去するため、道路標識以外の物体や風景の特徴に基づいてノイズ除去処理を実行する。具体的には、抽出画像生成部１２は、（第１のエッジノイズ判定条件）空等の領域にみられる明度値が１０未満の画素、（第２のエッジノイズ判定条件）電柱、建築物、看板等にみられる連結数が２５画素以上となる直線画素、（第３のエッジノイズ判定条件）１画素又は２画素連結の孤立点画素の３つのいずれかの条件を満たす画素をノイズとして除去する。この結果が、図４（ｄ）に示す画像２６である。画像２６では、抽出すべき道路標識が左下部分に円形で現れている。以下では、画像２６をエッジ抽出画像とする。
【００３６】
図２の説明に戻る。次に、抽出画像生成部１２は、エッジ抽出画像から道路標識を検出し、抽出画像を生成する（ステップＳ５）。本実施の形態では、抽出画像生成部１２は、道路標識の輪郭の特徴（＝最高速度標識であれば円形の形状）に基づいてエッジ抽出画像からノイズを除去し、道路標識を検出する。尚、本実施の形態における道路標識検出処理は、最高速度標識に限らず、円形の道路標識であれば適用可能である。
【００３７】
図５は、道路標識検出処理の実行例を示す図面代用写真である。図５（ａ）は一般化ハフ変換による円検出結果を示す画像２７、図５（ｂ）は画像２７に示される円検出結果のうちノイズを除去した後の画像２８である。
【００３８】
図３（ａ）に示す通り、最高速度標識の輪郭は円形であるため、抽出画像生成部１２は、円の検出に有用な一般化ハフ変換を用いて最高速度標識の候補を検出する。一般化ハフ変換は、画像中の座標を別のパラメータ空間に変換し、その空間上で図形の検出を行う手法であり、円形を構成する画素が欠損している場合においても推定可能であるため、最高速度標識の輪郭の検出に有用である（詳細は非特許文献１参照）。抽出画像生成部１２は、一般化ハフ変換によって投票数が６〜２２画素で構成される円を最高速度標識の候補として検出する。その結果が図５（ａ）に示す画像２７である。
【００３９】
図５（ａ）においてＡ〜Ｋを付した箇所が円として検出されたものである。Ａ、Ｂは円形の道路標識である。しかしながら、Ｃ〜Ｋのように、円形の道路標識以外にも看板や街灯、又は車両のヘッドライトなどの影響によって抽出されるエッジがノイズとなり、円として検出されている。本実施の形態では、抽出画像生成部１２は、円形の道路標識の特徴に着目し、以下の判定条件のいずれかに該当する円をノイズとみなして最高速度標識の候補から除去する。
【００４０】
（第１の円ノイズ判定条件）抽出画像生成部１２は、円の一部分が画像の外側を通る場合はノイズであると判定し、除去する。尚、道路標識を構成する円が画像の外側を通る場合もあり得るが、そのフレームにおいては対象外とし、次のフレーム以降で検出を試みる。
【００４１】
（第２の円ノイズ判定条件）円形の道路標識は、画像下部において小さい円として現れる。そこで、抽出画像生成部１２は、画像下部１／３を通る円のうち、半径が１０画素以上となる円をノイズと判定し、除去する。
【００４２】
（第３の円ノイズ判定条件）円形の道路標識は、画像上部において大きい円として現れる。そこで、抽出画像生成部１２は、画像上部１／３を通る円のうち、半径が１０画素以下となる円をノイズと判定し、除去する。
【００４３】
（第４の円ノイズ判定条件）円形の道路標識は、円を構成する投票数の密度が高いという特徴がある。但し、推定される円は投票数でソートされるため、円を構成する投票数の密度が低くても、半径が大きいノイズは、円形の道路標識と比較して上位の円として検出される。そこで、抽出画像生成部１２は、投票数が円周の６０％以下である円をノイズと判定し、除去する。
【００４４】
（第５の円ノイズ判定条件）一般化ハフ変換は白画素に反応するため、白領域を入力した場合には無数の円が検出される。一方、輪郭検出画像において円形の道路標識の内部は白画素が少ないという特徴がある。そこで、抽出画像生成部１２は、円内に存在する画素のうち、７０％以上が白画素で構成される円をノイズと判定し、除去する。
【００４５】
（第６の円ノイズ判定条件）円形の道路標識は、投票数でソートした場合、上位１５位までに含まれることがほとんどである。そこで、抽出画像生成部１２は、１６位以下の円をノイズと判定し、除去する。
【００４６】
ノイズを除去した後の結果が、図５（ｂ）に示す画像２８である。画像２７と比較すると、画像２８では、円Ａ及び円Ｂのみが、最高速度標識の候補として残っている。尚、円Ａは最高速度標識であるが、円Ｂは最高速度標識とは異なる円形の道路標識である。この段階では、最高速度標識に限定せず、円形の道路標識が検出できれば十分である。抽出画像生成部１２は、画像２８における円Ａ及び円Ｂを最高速度標識の候補とし、各円を含む矩形領域を撮影画像２１に投影し、その領域を抽出し、抽出画像を生成する。
【００４７】
図２の説明に戻る。次に、二値化画像生成部１３は、抽出画像を二値化し、二値化画像を生成する（ステップＳ６）。ステップＳ６の処理は、全ての抽出画像を対象とする。本実施の形態では、二値化画像生成部１３は、抽出画像の中央部分に含まれる画素の明度値のヒストグラムに基づいて二値化の閾値を決定する。
【００４８】
図６は、抽出画像及び二値化画像の一例を示す図面代用写真である。図６（ａ）は前処理後の抽出画像２９、図６（ｂ）は抽出画像２９を二値化した二値化画像３０である。二値化画像生成部１３は、画像全体の輝度を明るくするため、ガンマ値２．０によってガンマ補正処理（非特許文献１参照）を実行する。次に、二値化画像生成部１３は、バイリニア補間法（非特許文献１参照）を用いて、縦横比を保ちながら、高さが１００画素になるように画像サイズを拡大する。図６（ａ）は、これらの前処理を実行した後の抽出画像２９である。
【００４９】
次に、二値化画像生成部１３は、抽出画像２９を５×５に分割し、左右方向及び上下方向の両方において中央となるマス目である中央部分２９ａ（図６（ａ）参照）の画素のみを対象として、大津の判別分析法（非特許文献１参照）を用いて二値化の閾値を決定し、抽出画像２９全体を二値化する。具体的には、二値化画像生成部１３は、中央部分２９ａの明度値のヒストグラムの分離度が最大となる閾値を用いて、抽出画像２９を二値化する。図６（ｂ）の二値化画像３０は、この処理を実行して抽出画像２９を二値化した結果である。二値化画像３０では、最高速度を示す２つの数字「４」及び「０」が白画素の集合として明確に確認できる。
【００５０】
ここで、抽出画像の中央部分とは、少なくとも抽出画像の中心の点を含む一定の面積を有する領域であり、最高速度を示す数字の一部を含み、かつ赤色に彩色されているドーナツ状の周縁部を含まない領域が望ましい。例えば、抽出画像の中央部分は、前述の５×５に分割した場合の中央のマス目に限らず、３×３、３×５、５×７等に分割した場合の中央のマス目であっても良い。また、例えば、抽出画像の中央部分の形状は、四角形に限らず、四角形以外の多角形であっても良いし、円形や楕円形であっても良い。
【００５１】
図７は、二値化画像生成部を説明する図面代用写真である。図７を参照しながら、本実施の形態における二値化画像生成部１３が、二値化の閾値の決定に用いる画素を画像の中央部分に限定する理由について説明する。図７（ａ）は経年劣化によって色あせていない最高速度標識の抽出画像３１、図７（ｂ）は経年劣化によって色あせている最高速度標識の抽出画像３２、図７（ｃ）は二値化の閾値の決定に用いる画素を抽出画像３２の全体とした場合の二値化画像３３、図７（ｄ）は二値化の閾値の決定に用いる画素を抽出画像３２の中央部分に限定した場合の二値化画像３４である。
【００５２】
抽出画像３１では、赤色に彩色されているドーナツ状の周縁部の画素３１ａの明度値が「４７」、周縁部よりも内側の背景の画素３１ｂの明度値が「８４」である。一方、抽出画像３２では、周縁部の画素３２ａの明度値が「９９」、周縁部よりも内側の背景の画素３２ｂの明度値が「８２」である。このように、経年劣化の度合によって、周縁部と背景との明度値の大小関係が逆転する。仮に、抽出画像３２に対して、二値化の閾値の決定に用いる画素を画像の全体とすると、図７（ｃ）に示す通り、最高速度を示す２桁の数字が認識不可能な二値化画像３３が生成されてしまう。一方、本実施の形態のように、抽出画像３２に対して、二値化の閾値の決定に用いる画素を画像の中央部分に限定すると、図７（ｄ）に示す通り、最高速度を示す２桁の数字が白画素の集合として認識可能な二値化画像３４が生成される。このように、二値化の閾値の決定に用いる画素を画像の中央部分に限定することによって、経年劣化によって色あせている最高速度標識も認識可能となる。
【００５３】
図２の説明に戻る。次に、内容認識部１４は、二値化画像を左右に分割し、特徴数字を含む特徴数字画像及び共通数字を含む共通数字画像を生成する（ステップＳ７）。ステップＳ７の処理は、全ての二値化画像を対象とする。本実施の形態では、内容認識部１４は、二値化画像の上下方向の周辺分布に基づいて分割位置を決定し、分割位置において二値化画像を左右に分割することによって、特徴数字画像及び共通数字画像を生成する。
【００５４】
図８は、二値化画像分割処理を説明する図面代用写真である。図８（ａ）は処理対象の二値化画像３０、図８（ｂ）はマスク画像３５、図８（ｃ）は二値化画像３０及びマスク画像３５が合成された二値化画像３６及びその周辺分布グラフ３７、図８（ｄ）は二値化画像３６を分割して生成された特徴数字画像４２及び共通数字画像４３である。
【００５５】
ステップＳ５では、円を含む矩形領域を抽出画像として生成するため、円の外側の領域が含まれている。そして、円の外側の領域は後述の処理においてノイズになる。そこで、ノイズの影響を排除するため、内容認識部１４は、二値化画像３０に対してマスク画像３５を用いてマスク処理（非特許文献１参照）を実行し、二値化画像３６を生成する。マスク画像３５は、最高速度標識の輪郭の内側が白画素であり、外側が黒画素である。
【００５６】
次に、内容認識部１４は、二値化画像３６の上下方向の周辺分布に基づいて分割位置を決定し、その分割位置において二値化画像３６を左右に２分割することによって、特徴数字画像及び共通数字画像を生成する。ここで、二値化画像３６の上下方向の周辺分布とは、左右方向の各座標において二値化画像３６の一方の画素値（＝黒画素又は白画素）を上下方向に沿ってカウントした数の分布である（非特許文献２参照）。図８（ｃ）の周辺分布グラフ３７では、黒色の部分が黒画素の数に対応し、白色の部分が白画素の数に対応している。本実施の形態では、内容認識部１４は、上下方向に延びる線によって二値化画像３６を３等分にしたときの中央部分の範囲内で、黒画素（＝最高速度標識の背景に対応する画素）の数が最大となる位置を分割位置とする。
【００５７】
図８（ｃ）では、点線３８が二値化画像３６を２等分にする線、点線３９が分割位置を通る線を示している。仮に、二値化画像３６を単純に２等分にすると、点線３８のように、特徴数字又は共通数字を通る位置で分割してしまうことが起こり得る。一方、本実施の形態では、特徴数字と共通数字の間に位置する背景のみを通る位置で分割できる。従って、図８（ｄ）に示すように、本実施の形態では、特徴数字４０に相当する白画素は特徴数字画像４２のみに存在し、共通数字４１に相当する白画素は共通数字画像４３のみに存在するように分割でき、標識の正面から撮影できていない場合であっても、特徴数字４０及び共通数字４１を正確に分割できる。
【００５８】
図２の説明に戻る。次に、内容認識部１４は、共通数字画像のテンプレートマッチング処理を実行し、共通数字の位置及び大きさを特定する（ステップＳ８）。ステップＳ８の処理は、全ての共通数字画像を対象とする。本実施の形態では、内容認識部１４は、画像サイズが異なる複数の共通数字用テンプレート画像と共通数字画像とのテンプレートマッチング処理を実行し、共通数字の位置及び大きさを特定する。これによって、撮影画像に含まれる道路標識の大きさに関わらず、共通数字の位置及び大きさを正確に特定することができる。
【００５９】
図９は、共通数字のテンプレートマッチング処理を説明する図面代用写真である。図９（ａ）はテンプレートマッチング処理の説明、図９（ｂ）は共通数字の位置及び大きさの特定の説明に関する。テンプレートマッチング処理（非特許文献１参照）は、テンプレート画像を探索範囲内で動かして最も良く一致している場所、すなわち類似度が最大となる場所を探す処理である。本実施の形態では、内容認識部１４は、相関係数を類似度とする画像相関法（非特許文献１参照）のテンプレートマッチング処理を用いる。但し、本発明は、画像相関法のテンプレートマッチング処理に限定されるものではなく、公知のテンプレートマッチング処理から適宜選択できる。
【００６０】
図９（ａ）に示すように、内容認識部１４は、例えば、予め高さが１００の画像サイズの共通数字用テンプレート画像４４を記憶しておき、バイリニア補間法（非特許文献１参照）を用いて高さが１００〜２４まで２刻みで縮小させ、画像サイズごとにテンプレートマッチング処理を行う。これによって、３９回のテンプレートマッチング処理が実行され、類似度が最大となる共通数字画像４３上の場所が同じ数だけ求まる。図９（ａ）では、共通数字画像４３は１つだけであるが、前述の図５（ｂ）の例のように、最高速度標識の候補が複数存在すれば、共通数字画像４３も複数存在することになる。内容認識部１４は、テンプレートマッチング処理を全ての共通数字画像４３に対して行う。例えば、２つの共通数字画像４３が存在する場合、２×３９＝７８回のテンプレートマッチング処理が実行され、類似度が最大となる共通数字画像４３上の場所が同じ数だけ求まる。これらの中での最大の類似度が閾値以上であれば、内容認識部１４は、元の撮影画像に最高速度標識が含まれていると判定し、後述の処理を実行する。
【００６１】
図９（ａ）では、２７×４６の共通数字用テンプレート画像４４ａが最大の類似度０．９２を取る。図９（ｂ）に示すように、内容認識部１４は、共通数字用テンプレート画像４４ａの画像サイズ、すなわち幅ｗ（＝左右方向の長さ）と高さｈ（＝上下方向の長さ）を取得する。また、内容認識部１４は、類似度が最大となる共通数字画像４３上の場所に関する座標を取得する。共通数字の幅ｗと高さｈが分かっているので、内容認識部１４は、共通数字を囲む矩形の１つの頂点座標、例えば左上の頂点の座標４５を取得すれば良い。内容認識部１４は、座標４５、幅ｗ及び高さｈを、共通数字画像４３に含まれる共通数字の位置及び大きさとして特定する。
【００６２】
図２の説明に戻る。次に、内容認識部１４は、特徴数字画像のテンプレートマッチング処理を実行し、特徴数字を特定する（ステップＳ９）。そして、内容認識部１４は、道路標識の内容を認識する（ステップＳ１０）。本実施の形態では、内容認識部１４は、共通数字の位置及び大きさに基づいて、特徴数字画像において特徴数字が存在する特徴数字存在領域を推定し、数字が異なる複数の特徴数字用テンプレート画像と特徴数字存在領域のテンプレートマッチング処理を実行する。これによって、特徴数字を正確に特定することができる。
【００６３】
図１０は、特徴数字のテンプレートマッチング処理を説明する図面代用写真である。図１０（ａ）は特徴数字の位置及び大きさの特定の説明、図１０（ｂ）は特徴数字のテンプレートマッチング処理の説明に関する。図１０（ａ）に示すように、内容認識部１４は、共通数字画像４３において座標４５から左端部までの距離ｄを算出する。次に、内容認識部１４は、特徴数字画像４２の右端部において座標４５と上下方向の位置が同一の座標４６を特定する。次に、内容認識部１４は、座標４６を右上の頂点とし、幅がｄ＋ｗ、高さがｈの矩形の特徴数字存在領域４７を抽出する。次に、内容認識部１４は、予め記憶されている数字が異なる複数のテンプレート画像を、バイリニア補間法を用いて高さｈになるように画像サイズを変換し、特徴数字用テンプレート画像とする。そして、内容認識部１４は、数字が異なる複数の特徴数字用テンプレート画像と特徴数字存在領域４７のテンプレートマッチング処理を実行する。
【００６４】
図１０（ｂ）に示す例では、数字が「３」の特徴数字用テンプレート画像４８ａ、数字が「４」の特徴数字用テンプレート画像４８ｂ、数字が「５」の特徴数字用テンプレート画像４８ｃが図示されている。例えば、カーナビゲーションシステム等から車両１００の走行中の道路が一般道路か、それとも高速道路かについての情報が得られる場合、内容認識部１４は、特徴数字用テンプレート画像４８の一部のみを用いて、特徴数字のテンプレートマッチング処理を実行しても良い。例えば、内容認識部１４は、一般道路であれば、数字が「３」、「４」及び「５」等の特徴数字用テンプレート画像４８、高速道路であれば、数字が「７」及び「８」等の特徴数字用テンプレート画像４８のみを用いても良い。内容認識部１４は、類似度が最大となる特徴数字用テンプレート画像４８の数字に基づいて、最高速度標識の内容を認識する。図１０（ｂ）に示す例では、数字が「４」の特徴数字用テンプレート画像４８ｂにおいて最大の類似度０．７６を取るので、内容認識部１４は、最高速度標識が示す最高速度は「４０ｋｍ／ｈ」であると認識する。
【００６５】
このように、本実施の形態では、内容認識部１４が、共通数字画像及び特徴数字画像を正確に分割し、共通数字画像に含まれる共通数字の位置及び大きさに基づいて、特徴数字画像のテンプレートマッチング処理を実行するので、最高速度標識を精度良く認識することができる。特に、抽出画像生成部１２の処理において、抽出した円を構成するエッジの要素が標識によって変化する場合や、ノイズ除去処理によって完全にノイズを除去できない場合であっても、最高速度標識をロバストに認識することができる。
【００６６】
前述の共通数字用テンプレート画像４４及び特徴数字用テンプレート画像４８は、実際に道路に設置されている最高速度標識を撮影した動画像データから抽出されたものが望ましい。これによって、テンプレートマッチング処理の精度が向上する。
【００６７】
また、前述の説明では、最高速度標識２０は、２桁の数字かつ１０の倍数の最高速度を示すものとしたが、本発明は、「１００」や「１１０」のように、３桁の数字かつ１０の倍数の最高速度を示すものであっても適用可能である。この場合、１桁目の数字は、全ての最高速度標識２０において共通して「０」であり、共通数字と定義する。２桁目及び３桁目の数字は、最高速度を特徴付ける数字であり、特徴数字と定義する。内容認識部１４は、二値化画像の上下方向の周辺分布に基づいて、２桁の数字なのか、又は３桁の数字なのかを判別し、二値化画像の上下方向の周辺分布に基づいて１又は２の分割位置を決定し、１又は２の分割位置において二値化画像を左右に２分割又は３分割にすることによって、１又は２の特徴数字画像及び１の共通数字画像を生成する。
【００６８】
図１１は、道路標識追跡処理の流れを示すフローチャートである。道路標識追跡部１５は、内容認識部１４によって道路標識の内容が認識された撮影画像よりも後のフレームの後続撮影画像においてパーティクルフィルタを適用することによって道路標識の位置を追跡する。パーティクルフィルタとは、ベイズの定理に基づく非線形、非ガウスの状態空間モデルについての状態推定アルゴリズムである。道路標識追跡部１５は、各パーティクルについて、道路標識の記号に相当する第１領域、道路標識の背景に相当する第２領域、並びに、第１領域及び第２領域を除く部分に相当する第３領域の３つの尤度を算出し、尤度の重み付けによって道路標識の中心座標を推定する。ここで、記号とは、文字や意味が付された図形或いは絵等であり、道路標識の内容を示すものである。以下では、前述と同様、道路標識として最高速度標識を例に説明する。
【００６９】
図１１に示すように、道路標識追跡部１５は、道路標識認識処理による認識結果を入力する（ステップＳ２１）。認識結果は、道路標識の内容の他に、道路標識認識処理において生成される各種画像、すなわち撮影画像、抽出画像、二値化画像、共通数字画像、特徴数字画像等や、各種画像において特定される各種位置の座標等を含む。
【００７０】
次に、道路標識追跡部１５は、現フレームの撮影画像のうち、道路標識認識処理によって認識される道路標識の周辺にパーティクルを散布する（ステップＳ２２）。例えば、散布範囲は、認識される円形の標識の中心点を中心とし、円形の標識の半径の２．５倍を１辺の長さとする正方形の領域とし、散布個数は散布範囲における面積の３割とする。認識される円形の道路標識の半径をＲ、パーティクルを散布する一辺の長さをＬ、パーティクルの散布個数をＮとすると、Ｌ＝２．５Ｒ、Ｎ＝０．３×Ｌの２乗となる。
【００７１】
図１２は、パーティクル散布の一例を示す図面代用写真である。図１２（ａ）は散布範囲の一例、図１２（ｂ）は散布結果の一例である。図１２に示す例は、道路標識認識処理によって半径が５０画素の円形の道路標識を認識した場合である。図１２（ａ）に示すように、パーティクルを散布する一辺の長さＬは、Ｌ＝２．５×５０画素＝１２５画素となる。また、パーティクルの散布個数Ｎは、Ｎ＝０．３×１２５画素×１２５画素≒４，６８８画素となる。道路標識追跡部１５は、対象のフレーム及び座標をシード値とした乱数によって、偏りが無いように一様にパーティクルを散布する。
【００７２】
図１１の説明に戻る。次に、道路標識追跡部１５は、道路標識認識処理によって生成される二値化画像内の第１領域（＝道路標識の記号に相当する領域）及び第２領域（＝道路標識の背景に相当する領域）を抽出し（ステップＳ２３）、第１領域及び第２領域の色情報（＝ＲＧＢ値）の重心を算出する（ステップＳ２４）。
【００７３】
図１３は、第１領域及び第２領域の抽出処理を説明する図面代用写真である。図１３（ａ）は抽出画像の一例、図１３（ｂ）は二値化画像の一例、図１３（ｃ）は反転画像の一例である。図１３（ａ）に示す抽出画像５１は、最高速度標識を含む画像である。図１３（ｂ）に示す二値化画像５２は、抽出画像５１から生成された画像である。以下の処理では、共通数字を囲む矩形領域画像５３を対象とする。尚、共通数字を囲む矩形領域は、共通数字画像のテンプレートマッチング処理の結果に基づいて特定可能である。図１３（ｃ）に示す反転画像５４は、矩形領域画像５３の画素値を反転した画像である。道路標識追跡部１５は、反転画像５４の黒画素を第１領域、反転画像５４の白画素を第２領域として抽出する。
【００７４】
次に、道路標識追跡部１５は、抽出画像５１等の色情報（＝ＲＧＢ値）を有する画像から、第１領域及び第２領域を構成する画素の色情報を取得し、式（１）及び式（２）に従ってＲＧＢ値それぞれに関して重心を算出し、第１領域を代表する色情報Ｃ１及び第２領域を代表する色情報Ｃ２とする。
【００７５】
【数１】
2020098389.tif 000003
【００７６】
図１１の説明に戻る。次に、道路標識追跡部１５は、各パーティクルの尤度を算出し、各パーティクルが第１領域、第２領域、及び第３領域（＝第１領域及び第２領域を除く部分に相当する領域）のどの領域に属しているかを推定する（ステップＳ２５）。本実施の形態では、道路標識追跡部１５は、第１領域を代表する色情報Ｃ１、第２領域を代表する色情報Ｃ２及び着目パーティクルの色情報Ｃｐを３次元座標としたときの距離を算出し、式（３）〜式（６）に従って各領域に関する帰属度δ１〜δ４を算出する。ここで、δ１が第１領域に近い帰属度、δ２が第１領域と遠い帰属度、δ３が第２領域に近い帰属度、δ４が第２領域と遠い帰属度である。更に、道路標識追跡部１５は、式（７）〜式（１０）に従い、各領域に対する尤度μ１〜μ４を算出する。ここで、μ２が第１領域の尤度、μ３が第２領域の尤度、μ１及びμ４が第３領域の尤度である。そして、道路標識追跡部１５は、尤度μ１〜μ４のうち最大となるものを着目パーティクルの推定結果とする。
【００７７】
【数２】
2020098389.tif 000004
【００７８】
図１４は、尤度算出処理を説明する図である。図１４（ａ）は尤度推定表、図１４（ｂ）は帰属度のグラフ、図１４（ｃ）は第１算出例の尤度推定表、図１４（ｄ）は第２算出例の尤度推定表である。図１４（ａ）に示す尤度推定表は、帰属度δ１〜δ４と尤度μ１〜μ４の対応関係を示している。図１４（ｂ）は帰属度δ１及びδ３のグラフである。
【００７９】
ここで、尤度の第１算出例を説明する。第１算出例では、第１領域を代表する色情報Ｃ１が（Ｒ、Ｇ、Ｂ）＝（７８、５１、４７）、第２領域を代表する色情報Ｃ２が（Ｒ、Ｇ、Ｂ）＝（１０４、８７、８４）、着目パーティクルの色情報Ｃｐが（Ｒ、Ｇ、Ｂ）＝（７９、５４、３９）である。このとき、Ｃ１とＣ２のユークリッド距離ｄ１２＝５７．８、Ｃ１とＣｐのユークリッド距離ｄ１ｐ＝８．６、Ｃ２とＣｐのユークリッド距離ｄ２ｐ＝６１．１となる。式（３）〜（１０）に従い、帰属度δ１〜δ４、尤度μ１〜μ４を算出すると、図１４（ｃ）に示す第１算出例の尤度推定表の通りとなる。尤度μ１〜μ４のうち最大となるものは尤度μ２の「０．９４」であるから、道路標識追跡部１５は、着目パーティクルが第１領域、すなわち道路標識の記号に相当する領域に属していると推定する。
【００８０】
次に、尤度の第２算出例を説明する。第２算出例では、第１領域を代表する色情報Ｃ１が（Ｒ、Ｇ、Ｂ）＝（７８、５１、４７）、第２領域を代表する色情報Ｃ２が（Ｒ、Ｇ、Ｂ）＝（１０４、８７、８４）、着目パーティクルの色情報Ｃｐが（Ｒ、Ｇ、Ｂ）＝（１１０、９３、９３）である。このとき、Ｃ１とＣ２のユークリッド距離ｄ１２＝５７．８、Ｃ１とＣｐのユークリッド距離ｄ１ｐ＝７０．０、Ｃ２とＣｐのユークリッド距離ｄ２ｐ＝１２．４となる。式（３）〜（１０）に従い、帰属度δ１〜δ４、尤度μ１〜μ４を算出すると、図１４（ｄ）に示す第２算出例の尤度推定表の通りとなる。尤度μ１〜μ４のうち最大となるものは尤度μ３の「０．９１」であるから、道路標識追跡部１５は、着目パーティクルが第２領域、すなわち道路標識の背景に相当する領域に属していると推定する。
【００８１】
図１１の説明に戻る。次に、道路標識追跡部１５は、現フレームの撮影画像における道路標識の中心座標を推定する（ステップＳ２６）。本実施の形態では、道路標識追跡部１５は、ステップＳ２５において算出される第１領域、第２領域及び第３領域の尤度の重み付けに基づいて道路標識の中心座標を推定する。具体的には、道路標識追跡部１５は、式（１１）に従って、道路標識の中心座標Ｏ（ｘ、ｙ）を算出する。これによって、道路標識の中心座標を精度良く推定し、道路標識を正確に追跡することができる。
【００８２】
【数３】
2020098389.tif 000005
【００８３】
次に、道路標識追跡部１５は、現フレームの撮影画像内にパーティクルが存在するか否か確認する（ステップＳ２７）。ステップＳ２７の判定がＹｅｓの場合、道路標識追跡部１５は、道路標識認識処理による認識結果を維持し（ステップＳ２８）、次フレームの撮影画像にパーティクルを散布し（ステップＳ２９）、ステップＳ２５の処理から繰り返す。ステップＳ２９におけるパーティクルの散布範囲は、ステップＳ２６において推定される道路標識の中心座標を中心とし、ステップＳ２２と同様に決定される。一方、ステップＳ２７の判定がＮｏの場合、道路標識追跡部１５は、道路標識追跡処理を終了する。
【００８４】
図１５は、車両進入禁止標識に関する道路標識認識処理の流れを示すフローチャートである。道路標識認識装置１は、図１５に示す処理において、単一の撮影画像を処理対象とし、撮影画像に含まれる車両進入禁止標識の内容を認識する。ステップＳ３１〜ステップＳ３６の処理は、図２に示すステップＳ１〜ステップＳ６の処理と同様であるため、説明を省略する。
【００８５】
図１６は、車両進入禁止標識に関する道路標識認識処理の実行例を示す図面代用写真である。図１６（ａ）は車両進入禁止標識６０、図１６（ｂ）は抽出画像６１、図１６（ｃ）は二値化画像６２である。図１６（ａ）に示すように、車両進入禁止標識６０は、赤色に彩色される背景６０ａと、白色に彩色され、長手方向を有する矩形の記号６０ｂと、によって構成される。図１６（ｂ）に示例では、二値化画像生成部１３は、抽出画像６１を左右方向に５分割、上下方向に３分割にし、左右方向及び上下方向の両方において中央となるマス目である中央部分６１ａの画素のみを対象として、大津の判別分析法を用いて二値化の閾値を決定し、抽出画像６１全体を二値化する。これによって、図１６（ｃ）に示す二値化画像６２が生成される。
【００８６】
次に、内容認識部１４は、二値化画像にラベリング処理（非特許文献１参照）を実行し、道路標識の特徴部分を抽出し（ステップＳ３７）、道路標識の内容を認識する（ステップＳ３８）。本実施の形態では、内容認識部１４は、ラベリング処理の結果、面積が最大となる領域を道路標識の特徴部分として抽出する。これによって、車両進入禁止標識６０の記号６０ｂを正確に抽出することができ、ひいては、車両進入禁止標識６０を正確に認識することができる。そして、内容認識部１４は、道路標識の特徴部分の幅（＝水平方向の長さ）を高さ（＝上下方向の長さ）で除した値が２．５〜４．０の範囲内であれば、車両進入禁止標識として認識する。
【００８７】
以上の通り、本実施の形態における道路標識認識装置１は、夜間における道路標識や経年劣化によって色あせている道路標識であっても、特殊な構成要素を必要とせず、ロバストに認識することができる。特に、抽出画像生成部１２は、様々な円形の道路標識に同様の処理を適用可能である。また、二値化画像生成部１３及び道路標識追跡部１５は、円形に限らず、様々な形状の道路標識に同様の処理を適用可能である。一方、内容認識部１４は、道路標識の種別ごとに処理の内容が異なるが、本実施の形態では、夜間において特に重要な最高速度標識及び進入禁止標識を認識することができる。
【実施例】
【００８８】
以下、本発明の道路標識認識装置１による最高速度標識に関する道路標識認識処理の実施例について説明する。動画像データは、夜間の秋田県内における一般道路及び高速道路を走行する車両において撮影を行ったものである。撮影装置は株式会社ソニー製のα７Ｓを用いた。撮影条件は、６４０×４８０画素、ＲＧＢ各２５６階調、３０ｆｐｓ、ＩＳＯ感度が２０，０００〜５１，２００、シャッタースピードが１／２０００〜１／３２００秒、絞り値がＦ２．８、オートフォーカスとした。対象とする最高速度標識の条件は、（１）最高速度標識の数字が目視で確認できること、（２）木や建築物の一部が最高速度標識に重なっておらず、目視で確認できること、（３）対象車線であることの３つとした。尚、既存技術における課題の解決を目的として、車両１００のライトは常にロービームに設定して撮影を行った。
【００８９】
動画像データのデータセットＡには、一般道路に設置されていた３１２個の最高速度標識（３０ｋｍ／ｈ制限：１２０個、４０ｋｍ／ｈ制限：１０３個，５０ｋｍ／ｈ制限：８９個）が含まれていた。また、データセットＢには、高速道路に設置されていた６２個の最高速度標識（８０ｋｍ／ｈ制限）が含まれていた。１フレーム以上において最高速度標識を良好に抽出している場合を抽出成功、１フレーム以上において最高速度標識内の数字と認識処理における出力結果が合致しているものを認識成功とした。
【００９０】
データセットＡについては、３１２個の最高速度標識のうち、３０７個（９８．４％）が抽出成功、３０３個（９７．１％）が認識成功だった。本発明の道路標識認識装置１は、経年劣化によって変色している最高速度標識、暗い環境下に設置されている最高速度標識、及び市街地などの明るい環境下に設置されている最高速度標識のいずれにおいても良好に認識することができた。
【００９１】
データセットＢについては、６２個の最高速度標識のうち、６０個（９６．８％）が抽出成功、５９個（９５．２％）が認識成功だった。データセットＢの撮影時は雨が降っていたため、車両１００のワイパーを動作させ、目立った水滴がフロントガラスに付着していない状態で取得したが、本発明の道路標識認識装置１は、最高速度標識を良好に認識することができた。
【００９２】
以上の通り、本発明の道路標識認識装置１は、従来技術では認識が困難であった夜間における道路標識や経年劣化によって色あせている道路標識、更に、車両１００が高速に走行中の環境下の道路標識や降雨時の道路標識についても、良好に認識することができた。すなわち、本発明の道路標識認識装置１は、様々な環境下においてロバストに道路標識を認識することができた。
【００９３】
以上、添付図面を参照しながら、本発明に係る道路標識認識装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９４】
１………道路標識認識装置
２………撮影装置
３………出力装置
４………ＥＣＵ
１１………画像入力部
１２………抽出画像生成部
１３………二値化画像生成部
１４………内容認識部
１５………道路標識追跡部
１００………車両
【図１】
2020098389.tif 000006
【図２】
2020098389.tif 000007
【図３】
2020098389.tif 000008
【図４】
2020098389.tif 000009
【図５】
2020098389.tif 000010
【図６】
2020098389.tif 000011
【図７】
2020098389.tif 000012
【図８】
2020098389.tif 000013
【図９】
2020098389.tif 000014
【図１０】
2020098389.tif 000015
【図１１】
2020098389.tif 000016
【図１２】
2020098389.tif 000017
【図１３】
2020098389.tif 000018
【図１４】
2020098389.tif 000019
【図１５】
2020098389.tif 000020
【図１６】
2020098389.tif 000021