(57)【要約】【課題】撮像画像が低画質画像の場合での、標識の認識精度を向上させることが可能な情報処理装置、情報処理方法及びプログラムを提供する。【解決手段】移動体の進行方向を撮像した撮像画像を取得する画像取得部と、前記撮像画像の中から標識の表示色を有した画素集合を抽出する標識候補抽出手段と、前記標識の形状を表したマスク画像と前記画素集合とを比較し、前記標識の形状に該当する前記画素集合を前記標識として認識する標識認識手段と、前記標識認識手段の認識結果を出力する出力手段と、を備える。【選択図】図２
2018063595.tif 000002
【特許請求の範囲】
【請求項１】
移動体の進行方向を撮像した撮像画像を取得する画像取得部と、
前記撮像画像の中から標識の表示色を有した画素集合を抽出する標識候補抽出手段と、
前記標識の形状を表したマスク画像と前記画素集合とを比較し、前記標識の形状に該当する前記画素集合を前記標識として認識する標識認識手段と、
前記標識認識手段の認識結果を出力する出力手段と、
を備える情報処理装置。
【請求項２】
前記撮像画像に含まれた前記移動体が走行中の道路を表す領域の出現位置に基づいて、前記撮像画像から前記画素集合を探索する探索領域を抽出する探索領域抽出手段を更に備え、
前記標識候補抽出手段は、前記探索領域から前記画素集合を抽出する請求項１に記載の情報処理装置。
【請求項３】
前記標識の表示色に基づき前記探索領域を二値化した二値画像を生成する生成手段を更に備え、
前記標識候補抽出手段は、前記二値画像の中から前記画素集合を抽出する請求項２に記載の情報処理装置。
【請求項４】
前記標識候補抽出手段は、前記標識の表示色を有した前記画素集合の中から、その大きさが所定の条件を満たす前記画素集合を抽出する請求項１〜３の何れか一項に記載の情報処理装置。
【請求項５】
前記標識認識手段は、前記画素集合のサイズに合わせてリサイズした前記マスク画像を用いて、前記画素集合との比較を行う請求項１〜４の何れか一項に記載の情報処理装置。
【請求項６】
前記標識認識手段は、前記マスク画像の画素値を前記画素集合の画素値に論理演算によって合成し、その合成前後の前記画素集合の画素値の変化量に基づいて、前記画素集合の形状が前記標識の形状に該当するか否かを判定する請求項５に記載の情報処理装置。
【請求項７】
前記標識認識手段は、前記標識の形状を前記撮像画像に出現する出現位置毎に表した複数の前記マスク画像の中から、前記撮像画像での前記画素集合の出現位置に対応する前記マスク画像を用いて、前記画素集合との比較を行う請求項１〜６の何れか一項に記載の情報処理装置。
【請求項８】
移動体の進行方向を撮像した撮像画像を取得するステップと、
前記撮像画像の中から標識の表示色を有する画素集合を抽出するステップと、
前記標識の形状を表したマスク画像と前記画素集合とを比較し、前記標識の形状に該当する前記画素集合を前記標識として認識するステップと、
前記認識の結果を出力するステップと、
を含む情報処理方法。
【請求項９】
コンピュータを、
移動体の進行方向を撮像した撮像画像を取得する画像取得部と、
前記撮像画像の中から標識の表示色を有した画素集合を抽出する標識候補抽出手段と、
前記標識の形状を表したマスク画像と前記画素集合とを比較し、前記標識の形状に該当する前記画素集合を前記標識として認識する標識認識手段と、
前記標識認識手段の認識結果を出力する出力手段と、
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、車載カメラで撮像された撮像画像を解析し、車両の進行方向に存在する標識を認識する技術が知られている。例えば、車載カメラで撮像された車外の撮像画像から三角形状やＶ字形状のエッジを抽出し、その抽出結果に基づいて標識を認識する装置が開示されている（例えば、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、撮像画像が低画質（低画質画像）の場合、撮像された標識の輪郭は不明瞭となるため、上記した従来の技術では標識のエッジを抽出できず、標識を認識できない可能性がある。
【０００４】
本発明は、上記に鑑みてなされたものであって、撮像画像が低画質画像の場合での、標識の認識精度を向上させることが可能な情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した課題を解決し、目的を達成するために、本発明の情報処理装置は、移動体の進行方向を撮像した撮像画像を取得する画像取得部と、前記撮像画像の中から標識の表示色を有した画素集合を抽出する標識候補抽出手段と、前記標識の形状を表したマスク画像と前記画素集合とを比較し、前記標識の形状に該当する前記画素集合を前記標識として認識する標識認識手段と、前記標識認識手段の認識結果を出力する出力手段と、を備える。
【発明の効果】
【０００６】
本発明によれば、撮像画像が低画質画像の場合での、標識の認識精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態の移動体制御システムの概略構成を模式的に示す図である。
【図２】図２は、解析ユニットの機能構成の一例を示すブロック図である。
【図３】図３は、解析用情報記憶部のデータ構成の一例を示す図である。
【図４】図４は、標識の出現方向とマスク画像との関係を説明するための図である。
【図５】図５は、解析ユニットが行う処理の一例を示すフローチャートである。
【図６】図６は、入力画像の一例を示す図である。
【図７】図７は、探索領域の一例を示す図である。
【図８】図８は、二値画像の一例を示す図である。
【図９】図９は、面積検査結果の一例を示す図である。
【図１０】図１０は、密度検査結果の一例を示す図である。
【図１１】図１１は、縦横比検査結果の一例を示す図である。
【図１２】図１２は、マスク画像のリサイズ処理を説明するための図である。
【図１３】図１３は、マスク画像の合成処理を説明するための図である。
【図１４】図１４は、解析ユニットのハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、情報処理装置、情報処理方法及びプログラムの実施形態を詳細に説明する。
【０００９】
図１は、本実施形態の移動体制御システムの概略構成を模式的に示す図である。この図１に示すように、移動体制御システムは、移動体の一例である自動車等の車両１に設けられる。移動体制御システムは、撮像ユニット２、解析ユニット３及び制御ユニット４を有する。
【００１０】
撮像ユニット２は、カラー撮像可能なＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  MOS）等のイメージセンサを有した撮像装置である。撮像ユニット２の解像度は特に問わず、例えばＱＶＧＡ（３２０×２４０ピクセル）等の低解像度（低画質）としてもよいし、ＨＤ（１２８０×７２０）等の高解像度（高画質）としてもよい。
【００１１】
また、撮像ユニット２は、車両１に取り付けられ、車両１の前方（進行方向）の画像を連続して撮像する。撮像ユニット２が取り付けられる位置は特に問わず、例えばフロントガラス５の内側のルームミラー付近に取り付けてもよい。撮像ユニット２の撮像動作で得られる画像データは解析ユニット３に出力される。撮像動作で得られる画像データは、静止画であってもよいし、動画であってもよい。
【００１２】
解析ユニット３は、本実施形態の情報処理装置の一例である。解析ユニット３は、撮像ユニット２から供給される画像データを解析し、車両１の進行方向に出現する標識を認識する。
【００１３】
制御ユニット４は、解析ユニット３の解析結果に基づいて、車両１の運転者へ警告等を行う。また、制御ユニット４は、解析ユニット３の解析結果に基づいて、各種車載機器の制御、車両１の速度制御等の走行支援を行う。
【００１４】
図２は、解析ユニット３の機能構成の一例を示すブロック図である。図２に示すように、解析ユニット３は、画像記録部３１、画像取得部３２、解析用情報記憶部３３、判定用情報記憶部３４、画像処理部３５、標識候補抽出部３６、標識認識部３７及び出力部３８を機能部として備える。
【００１５】
画像記録部３１は、撮像ユニット２から供給される画像データを記録する。画像記録部３１は、例えば、ドライブレコード等の映像記録装置であってもよい。また、画像記録部３１は、画像データを記録する際に、データ量を減らすため、圧縮処理等を行うことで画像データの画質を低下させた状態で記録する構成としてもよい。
【００１６】
画像取得部３２は、画像取得手段の一例である。画像取得部３２は、画像記録部３１に記憶された画像データを、画像処理可能なデジタルの入力画像として取得する。例えば、画像データが動画像の場合、画像取得部３２は、画像データから一フレーム分の入力画像を、フレーム毎又は所定のフレーム数単位で順次取り込む。なお、画像取得部３２は、撮像ユニット２から供給される画像データを直接取得する構成としてもよい。
【００１７】
解析用情報記憶部３３は、入力画像の解析に係る各種情報を記憶する。具体的には、解析用情報記憶部３３は、認識対象の標識毎に、その標識の色特徴を表した色情報パラメータと、当該標識の形状特徴を表したマスク画像とを対応付けて記憶する。また、判定用情報記憶部３４は、各種の判定で用いる閾値等のパラメータを記憶する。
【００１８】
図３は、解析用情報記憶部３３のデータ構成の一例を示す図である。図３に示すように、解析用情報記憶部３３は、認識対象の標識毎に、色情報パラメータとマスク画像とを対応付けて記憶する。認識対象の標識は特に問わず、例えば道路標識（交通標識）や色と形状に特徴のあるデザインの店舗看板等である。なお、標識ＩＤは、標識の各々を識別するための識別子である。
【００１９】
色情報パラメータは、標識の表示色の特徴をＲＧＢ値やＣＭＹＫ値等の値で表したものである。色情報パラメータは、標識を構成する色を基準とした所定の色幅を有して設定される。一般的に標識は視認性を高めるように、赤色、青色、黄色等の目立つ色で着色されている。例えば、赤色の標識については、赤系を示すＲＧＢ値の範囲が色情報パラメータとして設定される。また、例えば標識が赤色や青色等の複数の色で構成される場合、それら各色の色情報パラメータが同一の標識ＩＤに対応付けて設定される。
【００２０】
なお、白色や黒色については、標識内でイラストや文字表示に使用されることが多く、また標識以外の物体にも多く登場するため、色情報パラメータの設定対象から除外する構成としてもよい。また、色情報パラメータは、撮像ユニット２の特定（カラーフィルタ等）に応じて設定してもよい。
【００２１】
マスク画像は、標識の形状を２種類の色（白色、黒色）で表した二値画像である。ここで、標識の形状は、標識の輪郭やデザインを含む概念である。図３のマスク画像では、標識の形状を表す部分を黒色の有効画素で表している。係るマスク画像は、入力画像内での標識の出現方向毎に設定される。ここで、図４を参照して標識の出現方向とマスク画像との関係について説明する。
【００２２】
図４は、標識の出現方向とマスク画像との関係を説明するための図であり、入力画像（画像データ）の一例を模式的に示している。図４に示すように、画像取得部３２により取り込まれた入力画像Ｇ１には、車両１の進行方向の風景が撮像されている。具体的には、入力画像Ｇ１には、車両１が走行中の道路Ｒの上方（前方）、左方、右方の風景が含まれる。なお、図４は、道路Ｒの上方、左方、右方のそれぞれに、逆三角形状を有した同一の標識Ｌが設置された例を示している。
【００２３】
ここで、標識Ｌに対する撮像ユニット２の撮像アングルは標識Ｌの設置位置毎に異なる。そのため、入力画像Ｇ１内に出現する標識Ｌの形状は、その出現位置に応じて異なっている。解析用情報記憶部３３は、この出現位置毎の標識Ｌの形状を、マスク画像として記憶している。例えば、図３に示す標識ＩＤ「０１」には、図４に示した各位置での標識Ｌの形状がマスク画像として記憶されている。このように、入力画像内での出現位置に応じた形状のマスク画像を用意することで、標識の認識精度を向上させることができる。
【００２４】
なお、図４では、入力画像Ｇ１内での出現位置として、道路Ｒを基準に上方、左方及び右方の３方向を設定した例を示しているが、出現位置の設定方法はこれに限らないものとする。例えば、道路Ｒを基準に、より多くの方向に分割して設定してもよい。また、入力画像Ｇ１を所定の大きさの小ブロックに分割し、各ブロックの位置に基づいて標識Ｌの出現位置を設定してもよい。また、マスク画像は、撮像ユニット２のレンズ特性（レンズ収差等）を考慮した形状で設定することが好ましい。
【００２５】
図２に戻り、画像処理部３５は、探索領域抽出手段及び生成手段の一例である。画像処理部３５は、画像取得部３２が取り込んだ入力画像に対し、各種の画像処理を実行する。具体的には、画像処理部３５は、画像取得部３２が取り込んだ入力画像を解析し、当該入力画像から標識を探索する領域（以下、探索領域という）を抽出する。また、画像処理部３５は、解析用情報記憶部３３に記憶された色情報パラメータに基づき、探索領域（入力画像）内の画素を二値化した二値画像を生成する。係る二値画像では、色情報パラメータの範囲内に画素値（色）を有する画素（以下、有効画素という）が黒色で表され、その範囲外に画素値を有する画素が白色で表される。
【００２６】
なお、画像処理部３５は、解析用情報記憶部３３の標識ＩＤ毎に、当該標識ＩＤに対応付けられた色情報パラメータを用いて二値画像を生成する。また、一の標識ＩＤに複数の色情報パラメータが対応付けられている場合には、画像処理部３５は、それら色情報パラメータの範囲内に画素値（色）を有する有効画素を黒色で表した二値画像を生成する。
【００２７】
標識候補抽出部３６は、標識候補抽出手段の一例である。標識候補抽出部３６は、画像処理部３５で生成された二値画像の中から、所定の条件に該当する画素集合を標識候補として抽出する。具体的には、標識候補抽出部３６は、二値画像に含まれる有効画素を、画素集合として分離するためのラベリング処理を実行する。そして、標識候補抽出部３６は、分離した画素集合の中から、その大きさが予め定められた条件を満たす画素集合を標識候補として抽出する。
【００２８】
標識認識部３７は、標識認識手段の一例である。標識認識部３７は、解析用情報記憶部３３に記憶されたマスク画像と、標識候補抽出部３６により抽出された標識候補とを比較し、そのマスク画像の形状に該当する標識候補を、車両１の進行方向に存在する標識として認識する。具体的には、標識認識部３７は、標識候補抽出部３６で抽出された標識候補毎に、その標識候補の入力画像内での出現位置を判定する。次いで、標識認識部３７は、その標識候補が含まれる二値画像の生成時に使用された色情報パラメータの標識ＩＤに対応するマスク画像の中から、標識候補の出現位置に対応するマスク画像を選択する。そして、標識認識部３７は、選択したマスク画像を用いて標識候補との比較を行う。
【００２９】
出力部３８は、出力手段の一例である。出力部３８は、標識認識部３７が該当すると判定した標識ＩＤ等の情報を、制御ユニット４に出力する。
【００３０】
次に、上述した車両１の解析ユニット３が行う処理について説明する。図５は、解析ユニット３が行う処理の一例を示すフローチャートである。
【００３１】
まず、画像取得部３２は、撮像ユニット２により撮像され、画像記録部３１により記録された画像データを、入力画像として順次取り込む（ステップＳ１１）。
【００３２】
画像処理部３５は、ステップＳ１１で取り込まれた入力画像の中から、探索領域を抽出する（ステップＳ１２）。次いで、画像処理部３５は、解析用情報記憶部３３に記憶された各標識ＩＤの色情報パラメータに基づき、探索領域を構成する各画素の画素値を二値化することで、二値画像を生成する（ステップＳ１３）。
【００３３】
ここで、図６〜図８を参照して、ステップＳ１２、Ｓ１３の処理について説明する。図６は、入力画像の一例を示す図である。図６に示すように、入力画像Ｇ２には、図４と同様、車両１が走行する道路Ｒ等、車両１の進行方向の風景が撮像されている。画像処理部３５は、ステップＳ１２において、入力画像Ｇ２から探索領域を抽出する。一般的に、標識は、道路Ｒの路側や道路Ｒの上方に設置されるため、入力画像Ｇ２内での道路Ｒの出現位置に基づいて探索領域を設定（抽出）することで、車両１の進行方向に存在する標識を効率的に探索（認識）することができる。
【００３４】
例えば、画像処理部３５は、車両１の進行方向において道路Ｒが消失する位置（以下、消失点ＶＰという）を特定する。ここで、道路Ｒを表す画像領域の検出は、白線検出等の公知の技術を用いることができる。そして、画像処理部３５は、この消失点ＶＰが入力画像Ｇ２の略中央に位置するような場合、消失点ＶＰより上方の入力画像Ｇ２の領域を探索領域として抽出する。図７は、探索領域の一例を示す図であり、図６に示した消失点ＶＰより上方の領域を探索領域Ｇ３とした例を示している。
【００３５】
なお、探索領域の抽出方法は、上記の方法に限らず、種々の方法を採用することができる。例えば、消失点ＶＰが入力画像Ｇ２の上方や下方等に位置する場合には、道路Ｒを除いた入力画像Ｇ２内の領域を探索領域としてもよい。また、道路Ｒ上に描かれた標識を認識対象とする場合には、この道路Ｒを表す領域自体を、探索領域としてもよい。また、入力画像Ｇ１の全体を探索領域としてもよい。
【００３６】
続くステップＳ１３において、画像処理部３５は、解析用情報記憶部３３に記憶された各標識ＩＤの色情報パラメータに基づいて探索領域を二値化することで、標識ＩＤ毎に二値画像を生成する。具体的には、画像処理部３５は、探索領域に含まれる各画素の画素値（色）が、色情報パラメータの範囲内であるか否かを判定する。そして、画像処理部３５は、色情報パラメータの範囲内にある有効画素を黒色とし、範囲外にある画素を白色とすることで二値画像を生成する。
【００３７】
図８は、二値化された探索領域（二値画像）の一例を示す図である。なお、図８の二値画像Ｇ４は、図７に示した探索領域Ｇ３に対応する。図８に示すように、二値画像Ｇ４では、色情報パラメータの範囲内にある有効画素が黒色で表され、色情報パラメータの範囲外にある画素は白色で表される。このように、画像処理部３５は、色情報パラメータに基づき探索領域を二値化することで、色情報パラメータの範囲外にある画素を探索領域から取り除く。
【００３８】
図５に戻り、標識候補抽出部３６は、ステップＳ１３で生成された二値画像毎に、当該二値画像に含まれた画素集合を分離するためラベリング処理を実行する（ステップＳ１４）。画素集合は、連続する有効画素で構成される一塊の画素群を意味する。例えば、図８に示した二値画像Ｇ４の場合、標識候補抽出部３６は、ラベリング処理を実行することで、七つの画素集合Ｇ４１〜Ｇ４７にそれぞれ分離する。なお、ラベリング処理の方法は特に問わず、公知の技術を用いることができる。
【００３９】
続いて、標識候補抽出部３６は、ステップＳ１４で分離した画素集合毎に、その大きさ、密度、縦横比が予め定められた閾値の範囲内か否かを判定する。そして、標識候補抽出部３６は、閾値の範囲内と判定した画素集合を標識候補として抽出する（ステップＳ１５）。
【００４０】
ここで、図９〜図１１を参照して、ステップＳ１５の処理について説明する。まず、標識候補抽出部３６は、ラベリング処理で分離された画素集合毎に、その画素集合の輪郭線に外接する外接矩形の面積を算出する。次いで、標識候補抽出部３６は、算出した面積が閾値（面積閾値という）の範囲内にあるか否かを判定する面積検査を行う。そして、標識候補抽出部３６は、面積閾値の範囲内にあると判定した画素集合を抽出する。
【００４１】
なお、面積閾値は、撮像ユニット２で撮像された実際の標識の大きさや形状等に応じて設定することが好ましい。また、撮像ユニット２で撮像される標識の大きさは、車両１と標識の離間距離に応じて変動するため、ターゲットとする距離での大きさに基づいて設定することが好ましい。また、面積閾値は、判定用情報記憶部３４に予め記憶されているものとする。
【００４２】
図９は、面積検査結果の一例を示す図である。なお、図９は、図８に示した画素集合の面積検査結果を示すものである。標識候補抽出部３６は、画素集合Ｇ４１〜Ｇ４７の各々について外接矩形の面積を算出し、その値が面積閾値の範囲内か否かを判定する。ここで、画素集合Ｇ４４〜Ｇ４７の面積が面積閾値の範囲内にあったとすると、標識候補抽出部３６は、図９に示すように、これらの画素集合Ｇ４４〜Ｇ４７を抽出する。
【００４３】
また、標識候補抽出部３６は、面積検査で抽出した画素集合毎に、その画素集合が外接矩形内で占める面積の割合（密度）を算出する。次いで、標識候補抽出部３６は、算出した密度が閾値（密度閾値という）の範囲内にあるか否かを判定する密度検査を行う。そして、標識候補抽出部３６は、密度閾値の範囲内にあると判定した画素集合を抽出する。
【００４４】
なお、密度閾値の値は、面積閾値と同様、撮像ユニット２で撮像された実際の標識の大きさや形状等に応じて設定することが好ましい。また、密度閾値は、判定用情報記憶部３４に予め記憶されているものとする。
【００４５】
図１０は、密度検査結果の一例を示す図である。なお、図１０は、図９に示した画素集合の密度検査結果を示すものである。標識候補抽出部３６は、先の面積検査で抽出した画素集合Ｇ４４〜Ｇ４７の各々について外接矩形内の密度を算出し、その値が密度閾値の範囲内か否かを判定する。ここで、画素集合Ｇ４４、Ｇ４５、Ｇ４７の密度が密度閾値の範囲内にあったとすると、標識候補抽出部３６は、図１０に示すように、これらの画素集合Ｇ４４、Ｇ４５、Ｇ４７を抽出する。
【００４６】
さらに、標識候補抽出部３６は、密度検査で抽出した画素集合毎に、その画素集合（外接矩形）の縦横のサイズ比を算出する。次いで、標識候補抽出部３６は、算出したサイズ比が閾値（縦横比閾値という）の範囲内にあるか否かを判定する縦横比検査を行う。そして、標識候補抽出部３６は、縦横比閾値の範囲内にあると判定した画素集合を、標識候補として抽出する。
【００４７】
なお、縦横比閾値の値は、面積閾値や密度閾値と同様、撮像ユニット２で撮像された実際の標識の大きさや形状等に応じて設定することが好ましい。また、縦横比閾値は、判定用情報記憶部３４に予め記憶されているものとする。
【００４８】
図１１は、縦横比検査結果の一例を示す図である。なお、図１１は、図１０に示した画素集合の縦横比検査結果を示すものである。標識候補抽出部３６は、先の密度検査で抽出した画素集合Ｇ４４、Ｇ４５、Ｇ４７の各々について外接矩形の縦横比を算出し、その値が縦横比閾値の範囲内か否かを判定する。ここで、画素集合Ｇ４５、Ｇ４７の縦横比が密度閾値の範囲内にあったとすると、標識候補抽出部３６は、図１１に示すように、その画素集合Ｇ４５、Ｇ４７を標識候補として抽出する。
【００４９】
このように、標識候補抽出部３６は、二値画像から抽出した画素集合の中から、実際の標識の大きさや形状等に基づき設定された条件を満たす画素集合を標識候補として抽出する。これにより、実際の標識の大きさや形状に該当しない、著しく小さな画素集合や著しく大きな画素集合等を認識対象から除外することができる。
【００５０】
なお、本実施形態では、面積検査、密度検査及び縦横比検査を順に実行することで、標識候補を絞り込む構成としたが、検査の順序はこれに限らず、順序を入れ替えてもよい。また、面積検査、密度検査及び縦横比検査のうち、何れか一つ又は二つを実行することで、認識対象候補を絞り込む構成としてもよい。
【００５１】
図５に戻り、標識認識部３７は、二値画像の生成時に使用された標識ＩＤと、当該二値画像に対応する入力画像内における標識候補の出現位置とに基づき、標識の認識処理に用いるマスク画像を選択する（ステップＳ１６）。例えば、図８の二値画像を生成する際に標識ＩＤ「０１」の色情報パラメータが使用され、図１１に示す標識候補が抽出されたとする。この場合、標識認識部３７は、図３に示す解析用情報記憶部３３に記憶されたマスク画像の中から、標識ＩＤ「０１」で且つ出現位置が「左方」（図８参照）のマスク画像を選択する。
【００５２】
続いて、標識認識部３７は、ステップＳ１６で選択したマスク画像のサイズを、標識候補の外接矩形と同じサイズにリサイズする（ステップＳ１７）。次いで、標識認識部３７は、論理演算処理を実行することで、リサイズ後のマスク画像を標識候補に合成する（ステップＳ１８）。次いで、標識認識部３７は、標識候補を構成する有効画素の画素数の合成前後の変化率（以下、画素変化率という）を算出する（ステップＳ１９）。そして、標識認識部３７は、算出した画素変化率が予め定められた閾値（画素変化率閾値）の範囲内にある標識候補を、マスク画像の標識ＩＤに対応する標識と認識する（ステップＳ２０）。
【００５３】
ここで、図１２、図１３を参照して、ステップＳ１７〜Ｓ２０の処理について説明する。まず、標識認識部３７は、ステップＳ１７において、マスク画像のサイズを、標識候補のサイズ、つまり標識候補の外接矩形と同じサイズにリサイズする。図１２は、マスク画像のリサイズ処理を説明するための図である。例えば、図１１に示した画素集合Ｇ４５、Ｇ４７が標識候補として抽出された場合、標識認識部３７は、図１２（ａ）、（ｂ）に示すように、マスク画像ＧＭ１（図面左方）のサイズを、画素集合Ｇ４５、Ｇ４７（図面右方）のサイズに合わせてリサイズすることで、マスク画像ＧＭ１ａ、ＧＭ１ｂ（図面中央）をそれぞれ生成する。
【００５４】
標識認識部３７は、ステップＳ１８において、リサイズ後のマスク画像と標識候補とを比較するため、リサイズ後のマスク画像を標識候補の画素集合に合成する。図１３は、マスク画像の合成処理を説明するための図である。例えば、標識認識部３７は、図１２（ａ）で説明したリサイズ後のマスク画像ＧＭ１ａを、標識候補の画素集合Ｇ４５に合成することで、合成後の画素集合Ｇ４５ａを生成する（図１３（ａ）参照）。また、標識認識部３７は、図１２（ｂ）で説明したリサイズ後のマスク画像ＧＭ１ｂを、標識候補の画素集合Ｇ４７に合成することで、合成後の画素集合Ｇ４７ａを生成する（図１３（ｂ）参照）。ここでは、マスク画像と標識候補とを論理積を用いて合成した例を示しており、同一の画素位置の存在する画素が共に有効画素（黒色）である場合に、その画素値が合成後も維持される。
【００５５】
続いて、標識認識部３７は、ステップＳ１９において、標識候補を構成する有効画素の合成前後の画素変化率を算出する。画素変化率の算出方法は特に問わず、例えば下記式（１）を用いて算出してもよい。
画素変化率＝（合成前の標識候補の有効画素数−合成後の標識候補の有効画素数）／合成前の標識候補の有効画素数…（１）
【００５６】
続いて、標識認識部３７は、ステップＳ２０において、算出した画素変化率が画素変化率閾値の範囲内か否かを判定し、画素変化率がその範囲内にある標識候補を標識と認識する。
【００５７】
例えば、上記式（１）に基づき、図１３（ａ）に示した標識候補（画素集合Ｇ４５、画素集合Ｇ４５ａ）の画素変化率を算出すると、その値は「０．２」となる。また、上記式（１）に基づき、図１３（ｂ）に示した標識候補（画素集合Ｇ４７、画素集合Ｇ４７ａ）の画素変化率を算出すると、その値は「０．４」となる。ここで、例えば、画素変化率閾値が「０．３未満」に設定されていたとすると、標識認識部３７は、画素集合Ｇ４５（Ｇ４５ａ）が画素変化率閾値の範囲内と判定し、画素集合Ｇ４７（Ｇ４７ａ）が画素変化率閾値の範囲外と判定する。そして、標識認識部３７は、この画素集合Ｇ４５が、マスク画像ＧＭ１に対応付けられた標識ＩＤ（０１）の標識（図６の標識Ｌ１）に対応すると認識する。
【００５８】
なお、マスク画像と標識候補とを合成する際の論理演算は、論理積に限らず否定論理積、論理和、排他的論理和等の他の論理演算方法であってもよい。また、画素変化率閾値の値は、マスク画像の合成方法（論理演算方法）、画素変化率の算出方法、入力画像の解像度等に応じて設定することが好ましい。例えば、画素変化率閾値は、入力画像が高画質になるほど、画素変化率を小さくすることがより好ましい。また、画素変化率閾値は、判定用情報記憶部３４に予め記憶されているものとする。
【００５９】
図５に戻り、出力部３８は、ステップＳ２０の認識結果を制御ユニット４に出力する（ステップＳ２１）。例えば、出力部３８は、標識認識部３７で認識された標識の標識ＩＤを制御ユニット４に出力する。また、出力部３８は、標識認識部３７で認識された標識（標識候補）の入力画像内での出現位置を制御ユニット４に出力する。
【００６０】
制御ユニット４は、出力部３８から入力される情報に基づき、標識ＩＤの標識に応じた警告等を車両１の運転者に行う。また、制御ユニット４は、出力部３８から入力される情報に基づき、標識ＩＤの標識に応じた制御（例えば、報知や速度制御等）を行う。
【００６１】
以上説明したように、本実施形態の解析ユニット３は、撮像ユニット２で撮像された撮像画像（入力画像）の中から、認識対象の標識の表示色を有した画素集合を標識候補として抽出する。また、解析ユニット３は、認識対象の標識の形状を表したマスク画像と標識候補とを比較し、その形状に該当する標識候補を標識として認識する。
【００６２】
これにより、本実施形態の解析ユニット３では、標識のエッジを抽出することなく、その標識を表す画素集合を入力画像から認識することができる。したがって、本実施形態の解析ユニット３では、入力画像がＨＤ等の高画質な画像に限らず、ＱＶＧＡ等の低画質な低画質画像を用いた場合であっても、入力画像から標識を認識することができるため、標識の認識精度を向上させることができる。また、一般的に、特定色の画素集合の抽出及びマスク画像とのマッチングに係る処理負荷は、エッジの抽出に係る処理負荷よりも低く抑えることができる。したがって、解析ユニット３では、エッジ抽出により標識を認識する手法よりも軽い負荷で標識の認識を行うことができるため、標識の認識を効率的に行うことができる。
【００６３】
次に、上記実施形態の、解析ユニット３のハードウェア構成を説明する。図１４は、解析ユニット３のハードウェア構成の一例を示すブロック図である。
【００６４】
解析ユニット３は、ＣＰＵ（Central  Processing  Unit）６１、ＲＯＭ（Read  Only  Memory）６２及びＲＡＭ（Random  Access  Memory）６３がバス６４により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。
【００６５】
ＣＰＵ６１は、解析ユニット３の動作を統括的に制御するプロセッサである。ＲＯＭ６２は、ＣＰＵ６１による各種処理を実現するプログラム、ＣＰＵ６１による各種処理に必要なデータを記憶する。例えば、ＲＯＭ６２は、上述した解析用情報記憶部３３及び判定用情報記憶部３４を保持する。ＲＡＭ６３は、ＣＰＵ６１のワークスペースとして機能する。例えば、画像記録部３１は、撮像ユニット２から供給される画像データをＲＡＭ６３に記録する。
【００６６】
また、ＣＰＵ６１には、バス６４を介して、記憶部６５及びＩ／Ｆ部６６等が接続される。記憶部６５は、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）、フラッシュメモリ等の記憶装置である。例えば、画像記録部３１は、撮像ユニット２から供給される画像データを記憶部６５に記録する。
【００６７】
Ｉ／Ｆ部６６は、他の装置（撮像ユニット２、制御ユニット４等）との間でデータを送受信するためのインターフェースである。画像記録部３１は、撮像ユニット２から供給される画像データをＩ／Ｆ部６６を介して受信する。また、出力部３８は、標識認識部３７の認識結果をＩ／Ｆ部６６を介して制御ユニット４に送信する。
【００６８】
上記した解析ユニット３の機能部の一部又は全ては、例えば、ＣＰＵ６１にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、解析ユニット３が備える図示しないＩＣ（Integrated  Circuit）等のハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。
【００６９】
また、上記実施形態の、解析ユニット３で実行されるプログラムは、当該解析ユニット３にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。
【００７０】
また、上記実施形態の、解析ユニット３で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
【００７１】
なお、ＲＯＭ６２や記憶部６５に格納される各種情報（解析用情報記憶部３３、判定用情報記憶部３４、画像データ）は、外部装置に格納される構成としてもよい。この場合には、該外部装置とＣＰＵ６１と、を、ネットワーク等を介して接続した構成とすればよい。
【００７２】
なお、上記には、本発明の実施形態を説明したが、上記実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７３】
例えば、上記実施形態では、解析用情報記憶部３３と判定用情報記憶部３４とを分けているが、これに限らず、一の記憶部としてもよい。この場合、各種の判定に用いる閾値等のパラメータは、認識対象の標識（標識ＩＤ）毎に、その標識の大きさや形状に応じて設定したパラメータを個別に用意してもよい。また、標識候補抽出部３６は、二値画像の生成時に使用された色情報パラメータの標識ＩＤに対応する面積閾値、密度閾値、縦横比閾値を用いて、その二値画像から抽出された画素集合の面積検査、密度検査、縦横比検査をそれぞれ行う。これにより、標識候補として抽出する画素集合が標識に該当する蓋然性を向上させることができる。
【００７４】
また、上記実施形態では、走行中の車両１において、その進行方向の風景をリアルタイムで撮像する形態を説明したが、この形態に限らないものとする。例えば、解析ユニット３は、予め撮像ユニット２で撮像された画像データを解析することで、標識に対する運転の性向を認識や評価する教育目的等で使用してもよい。
【符号の説明】
【００７５】
１  車両
２  撮像ユニット
３  解析ユニット
４  制御ユニット
３１  画像記録部
３２  画像取得部
３３  解析用情報記憶部
３４  判定用情報記憶部
３５  画像処理部
３６  標識候補抽出部
３７  標識認識部
３８  出力部
【先行技術文献】
【特許文献】
【００７６】
【特許文献１】特開２００７−１８３８４６号公報
【図１】
2018063595.tif 000003
【図２】
2018063595.tif 000004
【図３】
2018063595.tif 000005
【図４】
2018063595.tif 000006
【図５】
2018063595.tif 000007
【図６】
2018063595.tif 000008
【図７】
2018063595.tif 000009
【図８】
2018063595.tif 000010
【図９】
2018063595.tif 000011
【図１０】
2018063595.tif 000012
【図１１】
2018063595.tif 000013
【図１２】
2018063595.tif 000014
【図１３】
2018063595.tif 000015
【図１４】
2018063595.tif 000016