(57)【要約】【課題】交通標識の認識精度を向上する。【解決手段】交通標識認識装置２００は、道路を走行しながら径時的に撮影された複数の撮影画像を取得し、第１の撮影画像を解析して交通標識候補領域を認識し、第１の撮影画像において、交通標識候補領域の外形に沿って外周領域を設定し、第１の撮影画像と、第１の撮影画像とは異なる時間に撮影された第２の撮影画像とを比較して、第１の撮影画像と第２の撮影画像との間における交通標識候補領域の動きベクトルを求め、第１の撮影画像と第２の撮影画像との間における外周領域の動きベクトルを求め、交通標識候補領域の動きベクトルと外周領域の動きベクトルとの違いに基づいて、交通標識候補領域が認識対象の交通標識を被写体とする交通標識領域であるか否かを判定する。【選択図】図６
2010218361.tif 000002
【特許請求の範囲】
【請求項１】
交通標識認識装置であって、
道路を走行しながら経時的に撮影された複数の撮影画像を取得する撮影画像取得部と、
前記複数の撮影画像のうちの第１の撮影画像を解析して、認識対象の交通標識の形状および色彩を有する領域である交通標識候補領域を認識する交通標識候補認識部と、
前記第１の撮影画像において、前記交通標識候補領域の外形に沿って前記交通標識候補領域の外側に存在する領域である外周領域を設定する外周領域設定部と、
前記第１の撮影画像と、前記複数の撮影画像のうちの前記第１の撮影画像とは異なる時間に撮影された第２の撮影画像とを比較して、前記第１の撮影画像と前記第２の撮影画像との間における前記交通標識候補領域の動きベクトルを求める交通標識候補動きベクトル算出部と、
前記第１の撮影画像と前記第２の撮影画像とを比較して、前記第１の撮影画像と前記第２の撮影画像との間における前記外周領域の動きベクトルを求める外周領域動きベクトル算出部と、
前記交通標識候補領域の動きベクトルと前記外周領域の動きベクトルとの違いに基づいて、前記交通標識候補領域が認識対象の交通標識を被写体とする交通標識領域であるか否かを判定する交通標識判定部と、
を備える、交通標識認識装置。
【請求項２】
請求項１に記載の交通標識認識装置であって、
前記交通標識判定部は、前記交通標識候補領域の動きベクトルの大きさが、前記外周領域の動きベクトルの大きさより、大きい場合に、前記交通標識候補領域が認識対象の交通標識を被写体とする交通標識領域であると判定する、交通標識認識装置。
【請求項３】
請求項１に記載の交通標識認識装置であって、
前記交通標識判定部は、前記交通標識候補領域において、動きベクトルの大きさがしきい値以上である画素が占める割合が第１の基準値より大きく、前記外周領域において、動きベクトルの大きさが前記しきい値以上である画素が占める割合が前記第１の基準値より小さな第２の基準値より小さい場合に、前記交通標識候補領域が認識対象の交通標識を被写体とする交通標識領域であると判定する、交通標識認識装置。
【請求項４】
請求項１に記載の交通標識認識装置であって、
前記交通標識候補認識部は、撮影画像の日照条件によって異なる色彩条件を用いて、前記交通標識候補領域を認識する、交通標識認識装置。
【請求項５】
交通標識認識方法であって、
（ａ）コンピュータの演算手段が、道路を走行しながら経時的に撮影された複数の撮影画像を取得する撮影画像取得工程と、
（ｂ）コンピュータの演算手段が、前記複数の撮影画像のうちの第１の撮影画像を解析して、認識対象の交通標識の形状および色彩を有する領域である交通標識候補領域を認識する交通標識候補認識工程と、
（ｃ）コンピュータの演算手段が、前記第１の撮影画像において、前記交通標識候補領域の外形に沿って前記交通標識候補領域を囲む領域である外周領域を設定する外周領域設定工程と、
（ｄ）コンピュータの演算手段が、前記第１の撮影画像と、前記複数の撮影画像のうちの前記第１の撮影画像とは異なる時間に撮影された第２の撮影画像とを比較して、前記第１の撮影画像と前記第２の撮影画像との間における前記交通標識候補領域の動きベクトルを求める交通標識候補動きベクトル算出工程と、
（ｅ）コンピュータの演算手段が、前記第１の撮影画像と前記第２の撮影画像とを比較して、前記第１の撮影画像と前記第２の撮影画像との間における前記外周領域の動きベクトルを求める外周領域動きベクトル算出工程と、
（ｆ）コンピュータの演算手段が、前記交通標識候補領域の動きベクトルと前記外周領域の動きベクトルとの違いに基づいて、前記交通標識候補領域が認識対象の交通標識を被写体とする交通標識領域であるか否かを判定する交通標識判定工程と、
を備える交通標識認識方法。
【請求項６】
コンピュータに交通標識を認識させるためのコンピュータプログラムであって、
道路を走行しながら経時的に撮影された複数の撮影画像を取得する撮影画像取得機能と、
前記複数の撮影画像のうちの第１の撮影画像を解析して、認識対象の交通標識の形状および色彩を有する領域である交通標識候補領域を認識する交通標識候補認識機能と、
前記第１の撮影画像において、前記交通標識候補領域の外形に沿って前記交通標識候補領域を囲む領域である外周領域を設定する外周領域設定機能と、
前記第１の撮影画像と、前記複数の撮影画像のうちの前記第１の撮影画像とは異なる時間に撮影された第２の撮影画像とを比較して、前記第１の撮影画像と前記第２の撮影画像との間における前記交通標識候補領域の動きベクトルを求める交通標識候補動きベクトル算出機能と、
前記第１の撮影画像と前記第２の撮影画像とを比較して、前記第１の撮影画像と前記第２の撮影画像との間における前記外周領域の動きベクトルを求める外周領域動きベクトル算出機能と、
前記交通標識候補領域の動きベクトルと前記外周領域の動きベクトルとの違いに基づいて、前記交通標識候補領域が認識対象の交通標識を被写体とする交通標識領域であるか否かを判定する交通標識判定機能と、
を前記コンピュータに実現させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交通標識認識装置、交通標識認識方法、および、コンピュータプログラムに関するものである。
【背景技術】
【０００２】
コンピュータで利用可能に電子化された地図データを利用して、車や歩行者に経路案内を行う技術を始めとして、地表上の施設や道路などの情報を電子機器の表示部に表示することは広く行われている。地図データの質を向上させるために、地図データに交通規制などの道路属性情報を正確かつ十分に記述することが望まれている。道路属性情報を迅速かつ精度良く充実するために、道路において撮影した画像において交通標識をコンピュータで自動認識する技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２５７３９２号公報
【特許文献２】特開２００５−３３９０７６号公報
【特許文献３】特開２００６−２３５７５２号公報
【特許文献４】特開平９−１８００９０号公報
【特許文献５】特開２００４−２１３１２７号公報
【特許文献６】特開２００６−２５９８８５号公報
【特許文献７】特開平９−１７９９８１号公報
【特許文献８】特開２００７−１８３８４６号公報
【特許文献９】特開２０００−１３２６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、コンピュータによる交通標識の自動認識は、認識精度が十分でなく、認識精度の向上が求められている。
【０００５】
本発明は、コンピュータによる交通標識の自動認識において認識精度を向上することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００７】
［適用例１］交通標識認識装置であって、
道路を走行しながら経時的に撮影された複数の撮影画像を取得する撮影画像取得部と、
前記複数の撮影画像のうちの第１の撮影画像を解析して、認識対象の交通標識の形状および色彩を有する領域である交通標識候補領域を認識する交通標識候補認識部と、
前記第１の撮影画像において、前記交通標識候補領域の外形に沿って前記交通標識候補領域の外側に存在する領域である外周領域を設定する外周領域設定部と、
前記第１の撮影画像と、前記複数の撮影画像のうちの前記第１の撮影画像とは異なる時間に撮影された第２の撮影画像とを比較して、前記第１の撮影画像と前記第２の撮影画像との間における前記交通標識候補領域の動きベクトルを求める交通標識候補動きベクトル算出部と、
前記第１の撮影画像と前記第２の撮影画像とを比較して、前記第１の撮影画像と前記第２の撮影画像との間における前記外周領域の動きベクトルを求める外周領域動きベクトル算出部と、
前記交通標識候補領域の動きベクトルと前記外周領域の動きベクトルとの違いに基づいて、前記交通標識候補領域が認識対象の交通標識を被写体とする交通標識領域であるか否かを判定する交通標識判定部と、
を備える、交通標識認識装置。
一般的には、交通標識を撮影した画像において、交通標識の外周部分には、交通標識よりはるかに遠くに存在する被写体が写る可能性が高い。そのため、交通標識を被写体とする領域と、その外周領域とでは、動きベクトルに比較的大きな違いがあると考えられる。つまり、撮影地点から近くにある被写体の動きベクトルは大きく、遠くにある被写体の動きベクトルは小さくなる。本適用例によれば、このような動きベクトルとの違いに基づいて、交通標識候補領域が認識対象の交通標識を被写体とする交通標識領域であるか否かを判定するので、交通標識の認識精度を向上することができる。
【０００８】
［適用例２］請求項１に記載の交通標識認識装置であって、
前記交通標識判定部は、前記交通標識候補領域の動きベクトルの大きさが、前記外周領域の動きベクトルの大きさより、大きい場合に、前記交通標識候補領域が認識対象の交通標識を被写体とする交通標識領域であると判定する、交通標識認識装置。
撮影地点の近くにある交通標識の動きベクトルは、遠くにある外周部分の動きベクトルより大きくなる。このため本適用例によれば、交通標識の認識精度を向上することができる。
【０００９】
［適用例３］請求項１に記載の交通標識認識装置であって、
前記交通標識判定部は、前記交通標識候補領域において、動きベクトルの大きさがしきい値以上である画素が占める割合が第１の基準値より大きく、前記外周領域において、動きベクトルの大きさが前記しきい値以上である画素が占める割合が前記第１の基準値より小さな第２の基準値より小さい場合に、前記交通標識候補領域が認識対象の交通標識を被写体とする交通標識領域であると判定する、交通標識認識装置。
近くにある交通標識の動きベクトルは、遠くにある外周部分の動きベクトルより大きくなる。このため本適用例によれば、交通標識の認識精度を向上することができる。
【００１０】
［適用例４］請求項１に記載の交通標識認識装置であって、
前記交通標識候補認識部は、撮影画像の日照条件によって異なる色彩条件を用いて、前記交通標識候補領域を認識する、交通標識認識装置。
こうすれば、逆光、順光、曇りなどの日照条件に応じて異なる色彩条件を用いて、交通標識候補領域を認識するので、交通標識候補領域の認識漏れを低減することができる。
【００１１】
なお、本発明は、種々の形態で実現することが可能であり、例えば、交通標識認識方法、交通標識を認識するためのコンピュータプログラム、当該コンピュータプログラムを記録した記録媒体等の形態で実現することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例としての交通標識認識システムの一部を構成する車両１００の概略構成を示す説明図である。
【図２】実施例としての交通標識認識システムの一部を構成する交通標識認識装置の概略構成を示す説明図である。
【図３】交通標識認識処理の処理ステップを示すフローチャートである。
【図４】交通標識認識処理の処理対象とされたフレーム画像（対象フレーム画像）の一例を示す図である。
【図５】標識候補抽出処理の処理ステップを示すフローチャートである。
【図６】検索領域の設定について説明する図である。
【図７】三角形状領域を選択するための条件について説明する第１の図である。
【図８】三角形状領域を選択するための条件について説明する第２の図である。
【図９】標識判定処理の処理ステップを示すフローチャートである。
【図１０】外周領域の設定について説明する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を参照しながら、実施例に基づき説明する。
【００１４】
Ａ．実施例：
・交通標識認識システムの構成：
図１は、実施例としての交通標識認識システムの一部を構成する車両１００の概略構成を示す説明図である。図示するように、車両１００は、撮像装置１１０と、ＧＰＳ受信機１２０と、計算機１３０を備えている。なお、ここでは、交通標識として、信号機も含む構成とする。
【００１５】
撮像装置１１０は、例えば、デジタルビデオカメラ、連続撮影可能なデジタルスチルカメラなど、所定の時間間隔でデジタルまたはアナログの画像データを生成できるカメラ装置である。撮像装置１１０は、計算機１３０の制御に従って動作可能であると共に、生成した画像データを計算機１３０に対して送信可能であるように、計算機１３０と通信可能に接続されている。撮像装置１１０は、例えば、車両１００のフロントウインドウ越しに車両１００の前方を撮影するように設置されている。撮像装置１１０は、自動露光調整機能を持つため、逆光画像では被写体の色が黒くなったりすることがおこる。
【００１６】
ＧＰＳ受信機１２０は、ＧＰＳ（Global Positioning System／全地球測位システム）を構成する人工衛星から送信された電波を受信する装置である。ＧＰＳ受信機１２０は、人工衛星から受信した電波をデジタルデータ（ＧＰＳ情報）に変換して、計算機１３０に送信する。
【００１７】
計算機１３０は、ノートパソコンなどの周知のパーソナルコンピュータである。計算機１３０は、図示しない中央演算装置（ＣＰＵ）と、ＲＡＭやＲＯＭなどの内部記憶装置と、ハードディスクなどの外部記憶装置とを備えている。計算機１３０は、ＧＰＳ受信機１２０から取得したＧＰＳ情報に基づいて、車両１００の現在位置を表す現在位置情報（緯度、経度）を、一定間隔で生成し、車両１００の現在位置を常に認識している。車両１００はさらに走行距離計やジャイロセンサを搭載し、計算機１３０による現在位置の認識精度を高めても良い。計算機１３０は、撮像装置１１０から受信した画像データを、当該画像データが表す撮影画像の撮影位置と関連付けて、外部記憶装置に記憶する。撮影位置は、撮影時刻における車両１００の現在位置とされる。
【００１８】
車両１００に交通標識を認識した経路を走行させながら、撮像装置１１０による撮影を行うことにより、経路の撮影画像と現在位置をデータとして蓄積することができる。
【００１９】
図２は、実施例としての交通標識認識システムの一部を構成する交通標識認識装置の概略構成を示す説明図である。交通標識認識装置２００は、周知のコンピュータであり、ＣＰＵ２０１と、入出力部２０２と、ＲＯＭやＲＡＭなどの内部記憶装置２０３と、ハードディスクなどの外部記憶装置２０４とを備えている。入出力部２０２は、外部機器とデータを遣り取りするためのインターフェースであり、例えば、上述した計算機１３０と接続される。この結果、交通標識認識装置２００は、計算機１３０に記憶された撮影画像の画像データと、撮影画像の撮影位置を示す撮影位置情報とを取得できる。
【００２０】
内部記憶装置２０３には、交通標識認識プログラムが格納されており、ＣＰＵ２０１が当該プログラムを実行することにより、図２の内部記憶装置２０３に図示した機能ブロックの機能を実現される。実現される機能ブロックは、撮影画像取得部Ｍ１１と、交通標識候補認識部Ｍ１２と、外周領域設定部Ｍ１３と、交通標識候補動きベクトル算出部Ｍ１４と、外周領域動きベクトル算出部Ｍ１５と、交通標識判定部Ｍ１６と、を含む。
【００２１】
撮影画像取得部Ｍ１１は、入出力部２０２を介して、上述した撮像装置１１０によって撮影された画像データと画像データに関連付けられた撮影位置情報を取得する。本実施例では、撮像装置１１０はビデオカメラであり、複数のフレーム画像からなる動画像と、各フレーム画像に関連付けられた撮影位置情報とが取得されるものとする。交通標識候補認識部Ｍ１２は、一のフレーム画像を解析して、認識対象の交通標識の候補となる被写体が存在する領域である交通標識候補領域を抽出する。外周領域設定部Ｍ１３は、フレーム画像において、各交通標識候補領域の外形に沿って当該交通標識候補領域を囲む帯状の外周領域を設定する。交通標識候補動きベクトル算出部Ｍ１４は、各交通標識候補領域の動きベクトルを、当該交通標識候補領域を構成する画素ごとに算出する。外周領域動きベクトル算出部Ｍ１５は、各交通標識候補領域に設定された外周領域の動きベクトルを、当該外周領域を構成する画素ごとに算出する。交通標識候補動きベクトル算出部Ｍ１４や外周領域動きベクトル算出部Ｍ１５は、処理対象のフレーム画像と、処理対象のフレーム画像に続く次のフレーム画像とを比較して動きベクトルを算出する。交通標識判定部Ｍ１６は、交通標識候補領域の動きベクトルと外周領域の動きベクトルとの違いに基づいて、交通標識候補領域が認識対象の交通標識を被写体とする交通標識領域であるか否かを、交通標識候補ごとに判定する。
【００２２】
外部記憶装置２０４は、撮影動画のフレーム画像を記憶するための撮影動画記憶領域Ｄ１１と、撮影動画のフレーム画像ごとに関連付けられた撮影位置情報を記憶するための撮影位置情報記憶部Ｄ１３を有している。撮影位置情報は、例えば、地表上における座標を表す情報であり、例えば、（緯度、経度）で表される。
【００２３】
・交通標識認識装置２００の動作：
図３は、交通標識認識処理の処理ステップを示すフローチャートである。交通標識認識処理は、交通標識認識装置２００のＣＰＵ２０１が実行する処理である。交通標識認識処理は、ＣＰＵ２０１が、計算機１３０から撮影動画のデータと撮影位置情報とを、入出力部２０２を介して取得し、撮影動画記憶領域Ｄ１１および撮影位置情報記憶部Ｄ１３に記憶した状態で実行される。
【００２４】
交通標識認識処理が開始されると、ＣＰＵ２０１は、撮影動画のデータから、交通標識認識処理の対象とするフレーム画像を選択する（ステップＳ１００）。ＣＰＵ２０１は、撮影動画のデータの全てのフレーム画像を順次に選択して、全てのフレーム画像について順次に、以下に説明するステップＳ２００〜Ｓ４００の交通標識認識処理を行っても良いし、撮影位置情報に基づいて、交通標識のある可能性の高い交差点近傍で撮影されたフレーム画像のみを選択して、交通標識認識処理の対象としても良い。ここで例えば交通標識が信号機の場合には、停車時間や低速走行時を除き交通認識の対象とする。こうすることによって、信号機が青色の場合のみを処理対象とすることができる。これによって、従来処理に非常に時間のかかっていた、車両の停車時間や低速走行時に行なわれていたフレームおきの処理を省略することが可能となる。
【００２５】
図４は、交通標識認識処理の処理対象とされたフレーム画像（対象フレーム画像）の一例を示す図である。この対象フレーム画像５００の左上には、逆三角形状で「止まれ」と記述された一時停止を表す交通標識５１０が被写体として写っている。この一時停止標識は全体が赤色で「止まれ」の文字が白色である。本実施例では、この一時停止標識が認識対象の交通標識である場合を例として説明するが、例えば、信号機等についても適用可能である。
【００２６】
ＣＰＵ２０１は、対象フレーム画像５００を選択すると、サーチエリアＳＡを設定する（ステップＳ２００）。図４に示すように、サーチエリアＳＡは、対象フレーム画像５００の上部に帯状に設定される。本実施例では、対象フレーム画像５００は、縦４８０ピクセル、横７８０ピクセルの大きさである。サーチエリアＳＡは、本実施例では、対象フレーム画像５００の上端から９０ピクセルまでの範囲に設定される。サーチエリアＳＡは、一時停止標識が被写体となっている領域の候補である標識領域候補を画像処理により探索する領域である。サーチエリアＳＡを対象フレーム画像５００の上部に設定しているのでは、一時停止標識は、車の前方を走行しながら撮影した場合に、画像の上部から写り込んで来る可能性が高いからである。このようにサーチエリアＳＡを限定することにより、一時停止標識が被写体となっていない領域を標識領域候補としてしまう誤認識を低減することができる。
【００２７】
サーチエリアＳＡが設定されると、ＣＰＵ２０１は、サーチエリアＳＡ内の画像を解析して、標識候補領域を認識・抽出する標識候補抽出処理を実行する（ステップＳ３００）。標識候補抽出処理には、一時停止標識が通常の赤色に写っている場合を想定した標識候補抽出処理と、一時停止標識が黒色に写っている場合を想定した逆光標識候補抽出処理と、一時停止標識が高輝度に写っている場合を想定した高輝度標識候補抽出処理を含み、各処理が一つのフレーム画像に対してそれぞれ行われる。フレーム画像が逆光画像である場合に、一時停止標識が黒色に写っている場合が発生しやすい。また、フレーム画像が強い順光である場合や、背景が白色の空である場合に、一時停止標識が白化して高輝度に写っている場合が発生しやすい。
【００２８】
まず、標識候補抽出処理について説明する。図５は、標識候補抽出処理の処理ステップを示すフローチャートである。サーチエリアＳＡにおいて、対象色の画素を検出する（ステップＳ３０２）。対象色の画素は、画素値（Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー））が所定の範囲にある画素である。本実施例において画素値は、Ｒ、Ｇ、Ｂの値がそれぞれ０〜２５６の値を取る。対象色の画素の画素値の範囲は、通常の赤色を表す画素値の範囲であり、例えば、Ｒ／Ｇ≧１．１５またはＲ／Ｂ≧１．１５、かつ、｜Ｒ／Ｇ−Ｒ／Ｂ｜＜０．２１、かつ、Ｒ＋Ｇ＋Ｂ＞５３０の範囲である。
【００２９】
対象色の画素が検出されると、ＣＰＵ２０１は、対象色を含む所定の大きさの領域を検索領域として抽出する（ステップＳ３０４）。図６は、検索領域の設定について説明する図である。対象色の画素５５０を中心として、想定される一時停止標識を十分に含む程度の大きさに検索領域５６０が抽出される。図６の例では、対象フレーム画像５００において、一時停止標識５１０を含むように検索領域５６０が抽出されている。検索領域５６０として、正しく一時停止標識５１０を含む領域の他に、別の赤色の被写体を含む領域が抽出される場合もある。複数の検索領域５６０が一つの対象フレーム画像５００から抽出されることも多い。検索領域５６０が抽出されると、ＣＰＵ２０１は、抽出された検索領域５６０のうちの一つを処理対象として設定する（ステップＳ３０６）。処理対象となる検索領域５６０が一つ設定されると、ＣＰＵ２０１は、検索領域５６０の中に白領域（白色の画素の領域）があるか否かを判断する（ステップＳ３０８）。一時停止標識には、白色の「止まれ」の文字が描かれているので、検索領域５６０に一時停止標識が含まれていれ  ば、白色領域が存在する可能性が高いからである。白色の画素の範囲は、例えば、｜Ｒ−Ｂ｜＜５８、かつ、｜Ｂ−Ｇ｜＜２７、かつ、｜Ｇ−Ｒ｜＜６０の範囲である。
【００３０】
ＣＰＵ２０１は、検索領域５６０に白領域がないと判断すると（ステップＳ３０８：ＮO）、ステップＳ３１６に処理を進める（後述）。ＣＰＵ２０１は、検索領域５６０に白領域がないと判断すると（ステップＳ３０８：ＹＥＳ）、三角形状領域認識処理を実行する（ステップＳ３１０）。三角形状領域認識処理は、検索領域５６０の中において、所定の条件を満たす三角形状領域を認識する処理である。具体的には、ＣＰＵ２０１は、検索領域５６０において、エッジ抽出処理を行い、所定の長さのエッジを抽出する。本実施例において、抽出されるエッジの長さは、５ピクセル〜５０ピクセル分の長さのエッジである。次に、ＣＰＵ２０１は、抽出されたエッジのうち、一時停止標識の逆三角形の上部水平辺になり得るエッジ（水平エッジ）と、右斜め下の辺になり得るエッジ（右下エッジ）と、左斜め下の辺になり得るエッジ（左下エッジ）を抽出する。これらのエッジの抽出は、エッジの角度が予め定められた角度範囲にあるか否かによって実行される。ＣＰＵ２０１は、さらに、抽出された水平エッジと、右下エッジと、左下エッジとを組み合わせて形成される逆三角形の領域である三角形状領域を抽出する。この時、三角形状領域は、大量に抽出されることが多い。ＣＰＵ２０１は、さらに、抽出された三角形状領域のうち、所定の条件に合致するものを選択する。
【００３１】
図７および図８は、三角形状領域を選択するための条件について説明する図である。図７において、符号５２０は、抽出された三角形状領域を示す。符号５６０は、三角形状領域５２０に外接する矩形であって２辺が対象フレーム画像５００における水平方向であり２辺が対象フレーム画像５００における垂直方向である外接矩形を表す。図７において、外接矩形５７０は、４つに等分割されており、右上を右上矩形、右下を右上矩形、左上を左上矩形、左下を左下矩形と呼ぶ。図８において、符号５８０は、三角形状領域５２０に外接する外接円を表し、符号５９０は、三角形状領域５２０に内接する内接円を表す。三角形状領域を選択するための条件は、本実施例では以下のとおりである。
１．面積が２２０ピクセル〜２３００ピクセルの範囲内にある。
２．外接矩形の縦の長さが１５ピクセル〜７０ピクセルの範囲にある。
３．外接矩形の横の長さが１０ピクセル〜６５ピクセルの範囲にある。
４．外接矩形の縦の長さ／横の長さ（縦横比）が０．８５〜２．６０の範囲にある。
５．外接円の半径が１１．５ピクセル以上である。
６．外接円の半径／内接円の半径が１．６〜３．３の範囲である。
７．白色画素の面積／三角形状領域全体の面積が６％〜１９％の範囲にある。
８．以下の８−１〜８−４の条件のうち、８−１および８−２の条件を満たす、または、８−３および８−４の条件を満たす。
８−１  右上矩形内における白色画素の面積／三角形状領域全体の面積が７％〜３１％の範囲にある。
８−２  右下矩形内における白色画素の面積／三角形状領域全体の面積が０％〜９％の範囲にある。
８−３  左上矩形内における白色画素の面積／三角形状領域全体の面積が１０％〜２５％の範囲にある。
８−４  左下矩形内における白色画素の面積／三角形状領域全体の面積が０％〜５％の範囲にある。
以上の全ての条件を満たした三角形状領域５２０が選択される。
【００３２】
三角形状領域認識処理が終了すると、ＣＰＵ２０１は、上述した条件を満たす三角形状領域５２０があるか否かを判断する（ステップＳ３１２）。ＣＰＵ２０１は、条件を満たす三角形状領域５２０がある場合には（ステップＳ３１２：ＹＥＳ）、当該三角形状領域５２０を、一時停止標識が写っている領域の候補である標識候補領域に決定する（ステップＳ３１４）。ＣＰＵ２０１は、条件を満たす三角形状領域５２０がない場合には（ステップＳ３１２：ＮＯ）、ステップＳ３１６に処理を進める。
【００３３】
ステップＳ３１６では、ＣＰＵ２０１は、全ての検索領域５６０について、上述したステップＳ３０８〜Ｓ３１４までの処理を終えたか否かを判断する（ステップＳ３１６）。ＣＰＵ２０１は、全ての検索領域５６０について処理を終えた場合には（ステップＳ３１６：ＹＥＳ）、標識候補抽出処理を終了し、全ての検索領域５６０について処理を終えていない場合には（ステップＳ３１６：ＮＯ）、ステップＳ３０６に戻って未処理の検索領域５６０を処理対象に設定して標識候補抽出処理を繰り返す。ここで、排出の処理の対象が、信号機である場合には、予め、マッチング用のモデルを準備しておき、パターンマッチングすると好適である。パターンマッチングを行なう際には、信号機の色条件を考慮する。色条件は５０≦Ｒ≦１００，１６０≦Ｇ≦１９０，１４０≦Ｂ≦１６０、１２８≦Ｉ≦２５５である。ここで、ＩはＨＩＳ色空間における明度（強度：Intensity）である。
【００３４】
逆光標識候補抽出処理は、処理の流れは、基本的に標識候補抽出処理と同様であるので標識候補抽出処理との違いのみを説明する。逆光標識候補抽出処理では、対象色が黒色である点が、対象色が赤色である標識候補抽出処理と異なる。逆光標識候補抽出処理では、対象色の画素の画素値の範囲は、例えば、Ｒの画素値とＧの画素値とＢの画素値の総和が５３０以下の画素である。また、逆光標識候補抽出処理では、逆光画像では、標識全体が黒色になると想定され、標識の中に白色領域を認識できないと考えられるので、ステップＳ３０８は省略される。また、同様の理由から、逆光標識候補抽出処理では、ステップＳ３１０における三角形状領域を選択するための条件（上述）のうち、条件７、８は、適用されない。
【００３５】
高輝度標識候補抽出処理は、処理の流れは、基本的に標識候補抽出処理と同様であるので標識候補抽出処理との違いのみを説明する。高輝度標識候補抽出処理では、対象色が明るい赤色である点が、対象色が通常の赤色である標識候補抽出処理と異なる。高輝度標識候補抽出処理では、対象色の画素の画素値の範囲は、例えば、０．９６５＜Ｒ／Ｇ＜１．１５、かつ、０．９８５＜Ｒ／Ｂ＜１．１５、かつ、Ｒ＋Ｇ＋Ｂ＞５３０の範囲である。また、高輝度標識候補抽出処理では、白領域として抽出される画素の画素値の範囲が標識候補抽出処理と異なる。高輝度標識候補抽出処理において白領域として抽出される画素の画素値の範囲は、例えば、｜Ｒ−Ｂ｜＜２０、かつ、｜Ｂ−Ｇ｜＜６．５、かつ、｜Ｇ−Ｒ｜＜１７の範囲である。また、順光の強い画像では、標識内の赤の部分が白化して白く写りやすく、どの部分が白化するか画像により異なることから、高輝度標識候補抽出処理では、ステップＳ３１０における三角形状領域を選択するための条件（上述）のうち、条件７、８は、適用されない。さらに、白化した標識が検出される領域は、比較的限られるので、高輝度標識候補抽出処理におけるサーチエリアは、標識候補抽出処理と異なり、図４において破線で示される標識候補抽出処理より狭いサーチエリアＳＡ２に設定される。サーチエリアＳＡ２は、対象フレーム画像５００の上部かつ中央部に設定される。サーチエリアＳＡ２の大きさは、本実施例では、縦５０ピクセル、横９０ピクセルの領域である。
【００３６】
図３に戻って説明を続ける。標識候補抽出処理が終了すると、ＣＰＵ２０１は、標識判定処理を実行する（ステップＳ４００）。標識判定処理は、選択された標識候補領域について、一時停止標識を被写体とする領域であるか否かを最終的に判定する処理である。
【００３７】
図９は、標識判定処理の処理ステップを示すフローチャートである。ＣＰＵ２０１は、標識候補領域のうちの一つを処理対象として選択する（ステップＳ４１０）。処理対象として選択すると、ＣＰＵ２０１は、標識候補領域に外周領域を設定する。図１０は、外周領域の設定について説明する図である。図１０には、標識候補領域とされた三角形状領域５２０の外周に設定された外周領域５３０が示されている。外周領域５３０は、三角形状領域５２０の外形に沿って、三角形状領域５２０の外形全体を囲むように、帯状に設定される。
【００３８】
外周領域５３０を設定すると、ＣＰＵ２０１は、比較フレーム画像を設定する。比較フレーム画像には、撮影動画を構成するフレーム画像のうち、対象フレーム画像５００と時系的に連続するフレーム画像が設定される。例えば、撮影動画が、１／２０秒間隔で撮影されている場合には、対象フレーム画像５００の１／２０秒前に撮影されたフレーム画像、あるいは、１／２０秒後に撮影されたフレーム画像が比較フレーム画像に設定される。これに限らず、対象フレーム画像５００の２／２０秒前、または、２／２０秒後に撮影された撮影画像が選択されても良い。比較フレーム画像は、対象フレーム画像５００における三角形状領域５２０および外周領域５３０に写っている被写体が写っていることが好ましい。このため、比較フレーム画像は、対象フレーム画像５００の撮影時間と比較的近い時間に撮影されたフレーム画像であることが好ましい。
【００３９】
比較フレーム画像が設定されると、ＣＰＵ２０１は、対象フレーム画像５００と比較フレーム画像とを比較して、三角形状領域５２０と外周領域５３０を構成する画素について動きベクトルを算出する。動きベクトルの算出は、周知のオプティカルフロー推定のアルゴリズムを用いて実行される。
【００４０】
動きベクトルが算出されると、ＣＰＵ２０１は、三角形状領域５２０内の画素のうち、動きベクトルの大きさが所定の閾値Ｖｒｅｆ以上である画素が、三角形状領域５２０内の全画素の８０％以上を占めるか否かを判断する（ステップＳ４５０）。一時停止標識は、比較的、撮像装置１１０の近くにあると考えられることから、走行中の車から撮影した撮影動画において一時停止標識の動きベクトルは、比較的大きくなると考えられるからである。ＣＰＵ２０１は、判断結果が否定的である場合には（ステップＳ４５０：ＮＯ）、処理対象の標識候補領域は、一時停止標識が被写体である標識領域ではないと判断する（ステップＳ４８０）。
【００４１】
一方、ＣＰＵ２０１は、判断結果が肯定的である場合には（ステップＳ４５０：ＹＥＳ）、外周領域５３０内の画素のうち、動きベクトルの大きさが所定の閾値Ｖｒｅｆ以上である画素が、外周領域５３０内の全画素に占める割合は２０％以下であるか否かを判断する（ステップＳ４６０）。一時停止標識の外周部分には、比較的、撮像装置１１０の遠くにあるもの、例えば、空、遠くにある建築物、木などが写っていると考えられることから、走行中の車から撮影した撮影動画において一時停止標識の外周部分の動きベクトルは、比較的小さくなると考えられるからである。ＣＰＵ２０１は、判断結果が否定的である場合には（ステップＳ４６０：ＮＯ）、処理対象の標識候補領域（三角形状領域５２０）は、標識領域ではないと判断する（ステップＳ４８０）。一方、ＣＰＵ２０１は、判断結果が肯定的である場合には（ステップＳ４６０：ＹＥＳ）、処理対象の標識候補領域（三角形状領域５２０）は、標識領域ではあると判断する（ステップＳ４７０）。
【００４２】
処理対象の標識候補領域が標識領域ではあるか否かの判断が終了すると、ＣＰＵ２０１は、全ての標識候補領域について、上述したステップＳ４２０〜Ｓ４８０までの処理を終えたか否かを判断する（ステップＳ４９０）。ＣＰＵ２０１は、全ての標識候補領域について処理を終えた場合には（ステップＳ４９０：ＹＥＳ）、標識判定処理を終了し、全ての標識候補領域について処理を終えていない場合には（ステップＳ４９０：ＮＯ）、ステップＳ４１０に戻って未処理の標識候補領域を処理対象に設定して標識判定処理を繰り返す。
【００４３】
以上説明した本実施例によれば、標識候補領域としての三角形状領域５２０と、外周領域５３０との動きベクトルの違いに基づいて、最終的に標識領域であるか否かを判断するので、標識領域の判断の精度を向上することができる。例えば、標識候補領域としての三角形状領域５２０が、看板に描かれた三角形状である場合、その外周領域（看板）も三角形状と同様の近さにあるため、三角形状領域５２０と外周領域５３０との動きベクトルに差がなくなり、本実施例では標識領域でないと正しく判断できる。さらに、標識候補抽出処理と、逆光標識候補抽出処理と、高輝度標識候補抽出処理という、想定される撮影画像の日照条件によって異なる色彩条件を用いて、標識候補領域を抽出するので標識候補領域の認識漏れを低減することができる。
【００４４】
Ｂ．変形例
・第１変形例：
上記実施例では、一時停止標識を認識対象として説明したが、本発明は一時停止標識の他にも、一方通行の標識や、駐車禁止の標識など様々な交通標識に適用されても良い。認識対象に応じて、形状や色彩の抽出条件を適宜変更すれば良い。
【００４５】
・第２変形例：
上記実施例では、標識候補抽出処理と、逆光標識候補抽出処理と、高輝度標識候補抽出処理の全てを行っているが、いずれか一つを行うこととしても良い。例えば、周知の逆光画像判定処理を用いて逆光画像であると判定された撮影画像に対しては、逆光標識候補抽出処理のみを行い、逆光画像でないと判定された撮影画像に対しては、標識候補抽出処理と高輝度標識候補抽出処理とを行うこととしても良い。
【００４６】
・第３変形例：
上記実施例に示した三角形状領域を選択するための条件などの画像処理条件は、一例であって、他の条件を課しても良い。例えば、三角形状領域を選択するための条件には、内接矩形の縦または横の長さ、縦と横の比率などの条件を加えても良い。また、高輝度標識候補抽出処理の三角形状領域を選択するための条件には、三角形状領域５２０の外縁近傍の画素の画素値の平均値がＲ、Ｇ、Ｂ全てについて２００以上であることを条件として加えても良い。
【００４７】
・第４変形例：
上記実施例では、三角形状領域５２０を抽出するためにエッジ抽出を行う手法としたが、これに限らず、様々な手法を用いることができる。例えば、周知のパターンマッチング法やＤＰマッチング法などを用いることができる。
【００４８】
・第５変形例：
上記実施例では、三角形状領域５２０と外周領域５３０との動きベクトルの違いを判断する条件として、所定値以上の画素の領域に占める割合を用いたが、その他の条件を用いても良い。例えば、三角形状領域５２０の画素の動きベクトルの大きさの平均値と、符号５２０の画素の動きベクトルの大きさの平均値との差分が、所定の閾値以上であることを条件として用いても良い。一般的には、標識候補領域（三角形状領域５２０）の動きベクトルの大きさが、外周領域５３０の動きベクトルの大きさより、全体として大きいといえる場合に、標識候補領域は標識領域であると判断することが好ましい。
・第６変形例：
上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしても良い。
【００４９】
以上、本発明の実施例および変形例について説明したが、本発明はこれらの実施例および変形例になんら限定されるものではなく、その要旨を逸脱しない範囲内において種々の態様での実施が可能である。
【符号の説明】
【００５０】
１００…車両
１１０…撮像装置
１２０…ＧＰＳ受信機
１３０…計算機
２００…交通標識認識装置
２０１…ＣＰＵ
２０２…入出力部
２０３…内部記憶装置
２０４…外部記憶装置
５００…対象フレーム画像
５１０…一時停止標識
【図１】
2010218361.tif 000003
【図２】
2010218361.tif 000004
【図３】
2010218361.tif 000005
【図４】
2010218361.tif 000006
【図５】
2010218361.tif 000007
【図６】
2010218361.tif 000008
【図７】
2010218361.tif 000009
【図８】
2010218361.tif 000010
【図９】
2010218361.tif 000011
【図１０】
2010218361.tif 000012