(57)【特許請求の範囲】
【請求項１】
車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、
前記入力画像の色を補正した色補正画像を作成する色解析部と、
前記明暗補正画像に基づいて前記入力画像に含まれる本標識を検出し、前記色補正画像に基づいて前記入力画像に含まれる補助標識を検出する物体検出部と、
前記物体検出部により検出された本標識と補助標識の前記入力画像内の位置関係に基づいて、前記本標識と前記補助標識とを互いに関連付けることにより、前記本標識と前記補助標識とを組み合わせた道路標識を認識する物体関連解析部と、
前記道路標識の位置を取得し、取得した前記道路標識の位置の累積結果に基づいて、前記道路標識の信頼度を判定する信頼度判定部と、を備える画像処理装置。
【請求項２】
車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、
前記入力画像の色を補正した色補正画像を作成する色解析部と、
前記明暗補正画像に基づいて前記入力画像に含まれる本標識を検出し、前記色補正画像に基づいて前記入力画像に含まれる補助標識を検出する物体検出部と、
前記物体検出部により検出された本標識と補助標識の前記入力画像内の位置関係に基づいて、前記本標識と前記補助標識とを互いに関連付けることにより、前記本標識と前記補助標識とを組み合わせた道路標識を認識する物体関連解析部と、を備え、
前記明暗補正部は、前記入力画像の所定範囲に対象領域を設定し、前記入力画像よりも前に撮影された過去画像の前記対象領域に対応する領域内の色の明るさの平均値と、前記入力画像の前記対象領域内の色の明るさの平均値とに基づいて、前記明暗補正画像を作成する画像処理装置。
【請求項３】
車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、
前記入力画像の色を補正した色補正画像を作成する色解析部と、
前記明暗補正画像に基づいて前記入力画像に含まれる本標識を検出し、前記色補正画像に基づいて前記入力画像に含まれる補助標識を検出する物体検出部と、
前記物体検出部により検出された本標識と補助標識の前記入力画像内の位置関係に基づいて、前記本標識と前記補助標識とを互いに関連付けることにより、前記本標識と前記補助標識とを組み合わせた道路標識を認識する物体関連解析部と、を備え、
前記色解析部は、前記入力画像の所定範囲に対象領域を設定し、前記入力画像の前記対象領域内の色差分値に基づいて、前記色補正画像を作成する画像処理装置。
【請求項４】
車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、
前記入力画像の色を補正した色補正画像を作成する色解析部と、
前記明暗補正画像に基づいて前記入力画像に含まれる本標識を検出し、前記色補正画像に基づいて前記入力画像に含まれる補助標識を検出する物体検出部と、
前記物体検出部により検出された本標識と補助標識の前記入力画像内の位置関係に基づいて、前記本標識と前記補助標識とを互いに関連付けることにより、前記本標識と前記補助標識とを組み合わせた道路標識を認識する物体関連解析部と、を備え、
前記物体検出部は、
前記入力画像および前記明暗補正画像の所定範囲に対象領域をそれぞれ設定し、前記入力画像よりも前に撮影された過去画像の前記対象領域に対応する領域内の色の明るさの平均値と、前記入力画像の前記対象領域内の色の明るさの平均値とを、それぞれ所定の重みにより加重平均した加重平均値に基づいて閾値を設定し、前記閾値を用いて前記明暗補正画像から第１の分離画像を作成し、
前記色補正画像から前記補助標識に対応する矩形部分を抽出して第２の分離画像を作成し、
予め設定された基準画像と、前記第１の分離画像および前記第２の分離画像とをそれぞれ比較することで、前記本標識と前記補助標識とをそれぞれ検出する画像処理装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の画像処理装置において、
前記本標識および前記補助標識の前記入力画像内の幅と高さの比率に基づいて、前記本標識および前記補助標識の向きをそれぞれ判定する向き判定部をさらに備える画像処理装置。
【請求項６】
請求項１から請求項５のいずれか一項に記載の画像処理装置において、
前記物体関連解析部は、予め設定された本標識と補助標識の位置関係に応じて、前記本標識の任意の所定範囲に設定された領域内に前記補助標識が存在する場合、または前記補助標識の任意の所定範囲に設定された領域内に前記本標識が存在する場合に、前記本標識と前記補助標識とを互いに関連付ける画像処理装置。
【請求項７】
請求項１から請求項６のいずれか一項に記載の画像処理装置と、
前記画像処理装置による前記道路標識の認識結果に基づいて、前記車両の運転者に対する警告を出力する警告出力部と、を備える警告装置。
【請求項８】
車両に搭載された端末装置と、前記端末装置との間で通信を行うサーバ装置と、を有し、
前記端末装置は、
車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、
前記入力画像の色を補正した色補正画像を作成する色解析部と、
前記明暗補正画像に基づいて前記入力画像に含まれる本標識を検出し、前記色補正画像に基づいて前記入力画像に含まれる補助標識を検出する物体検出部と、
前記物体検出部による前記本標識と前記補助標識との検出結果を示す検出後画像を前記サーバ装置に送信する画像送信部と、を備え、
前記サーバ装置は、
前記端末装置から送信された前記検出後画像を受信する画像受信部と、
前記画像受信部により受信された検出後画像の明暗を補正した明暗補正画像を作成する第２の明暗補正部と、
前記画像受信部により受信された検出後画像の色を補正した色補正画像を作成する第２の色解析部と、
前記明暗補正画像に基づいて前記検出後画像に含まれる本標識を検出し、前記色補正画像に基づいて前記検出後画像に含まれる補助標識を検出する第２の物体検出部と、
前記画像受信部により受信された前記検出後画像における前記本標識と前記補助標識との位置関係に基づいて、前記本標識と前記補助標識とを互いに関連付けることにより、前記本標識と前記補助標識とを組み合わせた道路標識を認識する物体関連解析部と、を備える画像処理システム。
【請求項９】
請求項８に記載の画像処理システムにおいて、
前記サーバ装置は、前記物体関連解析部により認識された前記道路標識に関する認識後画像を前記端末装置に送信する第２の画像送信部をさらに備え、
前記端末装置は、
前記サーバ装置から送信された前記認識後画像を受信する第２の画像受信部と、
前記第２の画像受信部により受信された前記認識後画像に基づいて、前記道路標識に関する通知を前記車両の運転者に対して行う通知部と、をさらに備える画像処理システム。
【請求項１０】
請求項８に記載の画像処理システムにおいて、
前記サーバ装置は、前記物体関連解析部による前記道路標識の認識結果に基づく警告情報を前記端末装置に送信する警告情報送信部をさらに備え、
前記端末装置は、
前記サーバ装置から送信された前記警告情報を受信する警告情報受信部と、
前記警告情報受信部により受信された前記警告情報に基づいて、前記車両の運転者に対する警告を出力する警告出力部と、をさらに備える画像処理システム。
【請求項１１】
請求項８に記載の画像処理システムにおいて、
前記サーバ装置は、前記物体関連解析部による前記道路標識の認識結果に基づいて、前記車両を所定の目的地まで誘導するための誘導情報を前記端末装置に送信する誘導情報送信部をさらに備え、
前記端末装置は、
前記サーバ装置から送信された前記誘導情報を受信する誘導情報受信部と、
前記誘導情報受信部により受信された前記誘導情報に基づいて、前記車両を前記目的地まで誘導する車両誘導部と、をさらに備える画像処理システム。
【請求項１２】
車両に搭載された車載カメラによって撮影され、コンピュータに入力された入力画像の処理方法であって、前記コンピュータにより、
前記入力画像の所定範囲に対象領域を設定し、
前記入力画像よりも前に撮影された過去画像の前記対象領域に対応する領域内の色の明るさの平均値と、前記入力画像の前記対象領域内の色の明るさの平均値とに基づいて、前記入力画像の明暗を補正した明暗補正画像を作成し、
前記入力画像の前記対象領域内の色差分値に基づいて、前記入力画像の色を補正した色補正画像を作成し、
前記明暗補正画像に基づいて前記入力画像に含まれる本標識を検出し、
前記色補正画像に基づいて前記入力画像に含まれる補助標識を検出し、
検出された前記本標識と前記補助標識の前記入力画像内の位置関係に基づいて、前記本標識と前記補助標識とを互いに関連付けることにより、前記本標識と前記補助標識とを組み合わせた道路標識を認識する、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、警告装置、画像処理システムおよび画像処理方法に関する。
【背景技術】
【０００２】
近年、スマートホンやドライブレコーダなどの撮像装置によって撮像された映像を用いて、画像内の道路上付属物を検出することが提案されている。たとえば特許文献１には、車両内に設置されたカメラで撮像した画像から道路標識を認識して、認識結果の情報を運転者に通知する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１３９３２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
道路標識には、運転者に対して通知すべき様々な規制、指示、警告、案内等を示す本標識と、本標識の意味や内容を補足する補助標識とを組み合わせたものがある。こうした本標識と補助標識とを組み合わせた道路標識が撮像した画像内に複数存在する場合、どの補助標識がどの本標識に対応するかを道路標識ごとに正しく判断して、各道路標識を認識する必要がある。しかしながら、特許文献１に記載の技術では、この点について特に考慮されていない。そのため、道路標識の位置や向きによっては、本標識と補助標識の正しい組み合わせを判断できずに、その道路標識を正しく認識できない場合がある。
【課題を解決するための手段】
【０００５】
本発明の第１の態様による画像処理装置は、車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、前記入力画像の色を補正した色補正画像を作成する色解析部と、前記明暗補正画像に基づいて前記入力画像に含まれる本標識を検出し、前記色補正画像に基づいて前記入力画像に含まれる補助標識を検出する物体検出部と、前記物体検出部により検出された本標識と補助標識の前記入力画像内の位置関係に基づいて、前記本標識と前記補助標識とを互いに関連付けることにより、前記本標識と前記補助標識とを組み合わせた道路標識を認識する物体関連解析部と、前記道路標識の位置を取得し、取得した前記道路標識の位置の累積結果に基づいて、前記道路標識の信頼度を判定する信頼度判定部と、を備える。
本発明の第２の態様による画像処理装置は、車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、前記入力画像の色を補正した色補正画像を作成する色解析部と、前記明暗補正画像に基づいて前記入力画像に含まれる本標識を検出し、前記色補正画像に基づいて前記入力画像に含まれる補助標識を検出する物体検出部と、前記物体検出部により検出された本標識と補助標識の前記入力画像内の位置関係に基づいて、前記本標識と前記補助標識とを互いに関連付けることにより、前記本標識と前記補助標識とを組み合わせた道路標識を認識する物体関連解析部と、を備え、前記明暗補正部は、前記入力画像の所定範囲に対象領域を設定し、前記入力画像よりも前に撮影された過去画像の前記対象領域に対応する領域内の色の明るさの平均値と、前記入力画像の前記対象領域内の色の明るさの平均値とに基づいて、前記明暗補正画像を作成する。
本発明の第３の態様による画像処理装置は、車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、前記入力画像の色を補正した色補正画像を作成する色解析部と、前記明暗補正画像に基づいて前記入力画像に含まれる本標識を検出し、前記色補正画像に基づいて前記入力画像に含まれる補助標識を検出する物体検出部と、前記物体検出部により検出された本標識と補助標識の前記入力画像内の位置関係に基づいて、前記本標識と前記補助標識とを互いに関連付けることにより、前記本標識と前記補助標識とを組み合わせた道路標識を認識する物体関連解析部と、を備え、前記色解析部は、前記入力画像の所定範囲に対象領域を設定し、前記入力画像の前記対象領域内の色差分値に基づいて、前記色補正画像を作成する。
本発明の第４の態様による画像処理装置は、車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、前記入力画像の色を補正した色補正画像を作成する色解析部と、前記明暗補正画像に基づいて前記入力画像に含まれる本標識を検出し、前記色補正画像に基づいて前記入力画像に含まれる補助標識を検出する物体検出部と、前記物体検出部により検出された本標識と補助標識の前記入力画像内の位置関係に基づいて、前記本標識と前記補助標識とを互いに関連付けることにより、前記本標識と前記補助標識とを組み合わせた道路標識を認識する物体関連解析部と、を備え、前記物体検出部は、前記入力画像および前記明暗補正画像の所定範囲に対象領域をそれぞれ設定し、前記入力画像よりも前に撮影された過去画像の前記対象領域に対応する領域内の色の明るさの平均値と、前記入力画像の前記対象領域内の色の明るさの平均値とを、それぞれ所定の重みにより加重平均した加重平均値に基づいて閾値を設定し、前記閾値を用いて前記明暗補正画像から第１の分離画像を作成し、前記色補正画像から前記補助標識に対応する矩形部分を抽出して第２の分離画像を作成し、予め設定された基準画像と、前記第１の分離画像および前記第２の分離画像とをそれぞれ比較することで、前記本標識と前記補助標識とをそれぞれ検出する。
本発明による警告装置は、画像処理装置と、前記画像処理装置による前記道路標識の認識結果に基づいて、前記車両の運転者に対する警告を出力する警告出力部と、を備える。
本発明による画像処理システムは、車両に搭載された端末装置と、前記端末装置との間で通信を行うサーバ装置と、を有し、前記端末装置は、車両に搭載された車載カメラによって撮影された入力画像の明暗を補正した明暗補正画像を作成する明暗補正部と、前記入力画像の色を補正した色補正画像を作成する色解析部と、前記明暗補正画像に基づいて前記入力画像に含まれる本標識を検出し、前記色補正画像に基づいて前記入力画像に含まれる補助標識を検出する物体検出部と、前記物体検出部による前記本標識と前記補助標識との検出結果を示す検出後画像を前記サーバ装置に送信する画像送信部と、を備え、前記サーバ装置は、前記端末装置から送信された前記検出後画像を受信する画像受信部と、前記画像受信部により受信された検出後画像の明暗を補正した明暗補正画像を作成する第２の明暗補正部と、前記画像受信部により受信された検出後画像の色を補正した色補正画像を作成する第２の色解析部と、前記明暗補正画像に基づいて前記検出後画像に含まれる本標識を検出し、前記色補正画像に基づいて前記検出後画像に含まれる補助標識を検出する第２の物体検出部と、前記画像受信部により受信された前記検出後画像における前記本標識と前記補助標識との位置関係に基づいて、前記本標識と前記補助標識とを互いに関連付けることにより、前記本標識と前記補助標識とを組み合わせた道路標識を認識する物体関連解析部と、を備える。
本発明による画像処理方法は、車両に搭載された車載カメラによって撮影され、コンピュータに入力された入力画像の処理方法であって、前記コンピュータにより、前記入力画像の所定範囲に対象領域を設定し、前記入力画像よりも前に撮影された過去画像の前記対象領域に対応する領域内の色の明るさの平均値と、前記入力画像の前記対象領域内の色の明るさの平均値とに基づいて、前記入力画像の明暗を補正した明暗補正画像を作成し、前記入力画像の前記対象領域内の色差分値に基づいて、前記入力画像の色を補正した色補正画像を作成し、前記明暗補正画像に基づいて前記入力画像に含まれる本標識を検出し、前記色補正画像に基づいて前記入力画像に含まれる補助標識を検出し、検出された前記本標識と前記補助標識の前記入力画像内の位置関係に基づいて、前記本標識と前記補助標識とを互いに関連付けることにより、前記本標識と前記補助標識とを組み合わせた道路標識を認識する。
【発明の効果】
【０００６】
本発明によれば、本標識と補助標識とを組み合わせた道路標識を正しく認識することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１の実施形態に係る画像処理装置の機能構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置のハードウェア構成例を示す図である。
【図３】色空間変換部の動作の一例を説明するための図である。
【図４】明暗補正部の動作の一例を説明するための図である。
【図５】色解析部の動作の一例を説明するための図である。
【図６】物体検出部の動作の一例を説明するための図である。
【図７】物体検出部の動作の一例を説明するための図である。
【図８】物体関連解析部の動作の一例を説明するための図である。
【図９】物体関連解析部の動作の一例を説明するための図である。
【図１０】向き判定部の動作の一例を説明するための図である。
【図１１】信頼度判定部の動作の一例を説明するための図である。
【図１２】描画部の動作の一例を説明するための図である。
【図１３】本発明の第１の実施形態による画像処理装置の動作を説明するためのフローチャートである。
【図１４】本発明の第２の実施形態に係る警告装置の構成を示すブロック図である。
【図１５】本発明の第３の実施形態に係る画像処理システムの構成を示すブロック図である。
【図１６】本発明の第４の実施形態に係る画像処理システムの構成を示すブロック図である。
【図１７】本発明の第５の実施形態に係る画像処理システムの構成を示すブロック図である。
【発明を実施するための形態】
【０００８】
最初に、本発明の概要について以下に説明する。
【０００９】
一般に、道路標識等の道路上の付属物に関する情報を地図情報などの付加情報として設けるためには、車両が走行する可能性がある全てのルートについて、事前にどのような道路付属物が存在するかを調査しなければならず、多額の調査費用がかかってしまう。また、新設された道路や工事により変更となった道路上の道路付属物については、その付加情報をタイムリーに地図情報に反映できないという問題もある。そこで、以下に説明する本発明の実施形態では、たとえばスマートホン、ドライブレコーダ、カーナビゲーション装置等の車載端末を使用して、複数かつ不特定多数のユーザが撮影した画像から道路付属物をタイムリーに検出することを可能としている。
【００１０】
ところで、車載端末で撮影した画像内には、本標識と補助標識を組み合わせた道路標識が複数存在する場合がある。このような場合に、本標識と補助標識の正しい組み合せが求められないと、正しい標識情報をユーザに通知できない。また、進行方向の標識と進行方向以外の標識が同じ標識柱に取り付けられている場合もある。このような場合にも、進行方向の標識と進行方向以外の標識とを正しく区別できないと、正しい標識情報をユーザに通知できない。特に、前述の特許文献１の技術では、複数の本標識や補助標識が検出された場合に、本標識と補助標識の正しい組合せを求めることができず、また、車両の進行方向の標識と進行方向以外の標識を区別することができないため、ユーザに正しい標識情報を通知できないという課題がある。そこで、以下に説明する本発明の実施形態では、車載端末で撮影した画像内の所望の対象物を検出し、対象物同士の組合せの決定および対象物の向きの特定を可能とするための技術を提案する。
【００１１】
また、本発明の実施形態は、撮影された画像の明るさが変化する場合でも、画像内の背景と背景内の物体を分離して、背景内の物体検出や、対象物同士の組合せの決定および対象物の向きの特定を実現する画像処理装置およびその方法を提供するものである。
【００１２】
以下に、図面を参照して本発明の実施形態について説明する。
【００１３】
−第１の実施形態−
＜画像処理装置の機能構成＞
図１は、本発明の第１の実施形態に係る画像処理装置１の機能構成を示すブロック図である。図１に示すように、画像処理装置１は、その機能として、入力部１０と、色空間変換部１１と、明暗補正部１２と、色解析部１３と、物体検出部１４と、物体関連解析部１５と、向き判定部１６と、信頼度判定部１７と、描画部１８と、記録部１９と、画像記憶部９０と、制御部９１とを有している。なお、図１に示す画像処理装置１の各機能は、たとえばスマートホン等の携帯移動端末装置、パーソナルコンピュータ、サーバ装置などの情報機器において、各種のプログラムやハードウェアを組み合わせて実現される。
【００１４】
入力部１０は、画像処理装置１において処理対象とする入力画像を外部から取得する。入力部１０には、車両に搭載された不図示の車載カメラによって撮影された画像のデータが所定の時間間隔ごとに入力画像として入力される。なお、車両に設置されたドライブレコーダや、スマートホン等の携帯移動端末装置が有するカメラなどを、車載カメラとして用いてもよい。また、不図示の情報通信ネットワークや記録媒体を介して取得した車載カメラの撮影画像を入力画像として用いてもよい。入力画像は静止画像であってもよいし、動画像中の任意のフレームを抜き出して入力画像としてもよい。静止画像のデータ形式としては、たとえばＪＰＥＧ、ＪＰＥＧ２０００、ＰＮＧ、ＢＭＰ等が用いられる。一方、動画像のデータ形式としては、たとえばＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ等が用いられる。
【００１５】
色空間変換部１１は、入力画像の色空間を変換することで、入力画像における色の明るさ情報を取得する。
【００１６】
明暗補正部１２は、画像記憶部９０に記憶されている過去の入力画像の色の明るさ情報と、色空間変換部１１で求められた現在の入力画像の色の明るさ情報とを用いて、現在の入力画像の色の明るさ変化量を求め、その明るさ変化量に基づいて、入力画像の明暗を補正した画像を作成する。以下では、この明暗補正部１２により作成された画像を明暗補正画像と称する。
【００１７】
色解析部１３は、原色の差分値と色解析用の閾値とを用いて、入力画像の各画素における色の関係を解析することで、入力画像の色を補正した画像を作成する。以下では、この色解析部１３により作成された画像を色補正画像と称する。
【００１８】
物体検出部１４は、明暗補正部１２により作成された明暗補正画像と、色解析部１３により作成された色補正画像とを用いて、入力画像に含まれる道路標識の本標識および補助標識を検出対象物体として検出する。具体的には、物体検出部１４は、明暗補正画像から本標識を分離するための閾値を求め、その閾値を用いて明暗補正画像内の背景と本標識とを分離する。また、色補正画像から補助標識に相当する矩形の物体を検出することで、色補正画像内の背景と補助標識とを分離する。こうして明暗補正画像と色補正画像から本標識と補助標識とをそれぞれ抽出し、予め設定された基準画像と比較することで、本標識および補助標識を検出する。
【００１９】
物体関連解析部１５は、物体検出部１４により検出された本標識と補助標識の入力画像内の位置関係に基づいて、これらの物体同士の関連性を解析する。その結果、関連性が高いと判断した本標識と補助標識とを組み合わせることで、道路標識を認識する。
【００２０】
向き判定部１６は、物体検出部１４により検出された本標識と補助標識の向きを判定し、これらが車両の進行方向に関連する道路標識であるか否かを判定する。
【００２１】
信頼度判定部１７は、物体検出部１４により検出された本標識と補助標識の位置を取得して累積し、その累積結果に基づいてこれらの道路標識の信頼度を判定する。
【００２２】
描画部１８は、物体検出部１４により検出された本標識および補助標識に対して、これらの物体を囲むような検出枠を入力画像上に描画する。描画部１８により検出枠が描画された画像は、物体検出部１４による本標識と補助標識との検出結果を示す画像であるため、以下ではこの画像を検出後画像と称する。
【００２３】
記録部１９は、描画部１８により作成された検出後画像を画像記憶部９０に記憶させて保存する。なお、検出後画像は、画像処理装置１から外部にも出力される。
【００２４】
制御部９１は、上述した画像処理装置１の各構成要素に接続されており、これらの動作を制御する。なお、制御部９１の制御によらず、各構成要素が必要に応じて自律的に動作してもよい。
【００２５】
＜画像処理装置のハードウェア構成＞
図２は、本発明の第１の実施形態に係る画像処理装置１のハードウェア構成例を示す図である。図２に示すように、画像処理装置１は、ＣＰＵ２０１と、メモリ２０２と、記憶装置２０３と、出力装置２０４と、入力装置２０５と、通信デバイス２０６とを有しており、これらがバス２０７によって相互に接続されている。
【００２６】
ＣＰＵ２０１は、必要に応じてメモリ２０２から各種プログラムを読み込み、そのプログラムに応じた処理を実行するプロセッサである。ＣＰＵ２０１が実行する処理により、図１で説明した入力部１０、色空間変換部１１、明暗補正部１２、色解析部１３、物体検出部１４、物体関連解析部１５、向き判定部１６、信頼度判定部１７、描画部１８、記録部１９および制御部９１の各機能構成が実現される。
【００２７】
メモリ２０２は、ＣＰＵ２０１において読み込まれる各種プログラムを格納すると共に、ＣＰＵ２０１が実行中の処理において利用される様々なデータを必要に応じて一時的に格納する。
【００２８】
記憶装置２０３は、画像処理装置１において利用される各種データを格納する装置であり、図１で説明した画像記憶部９０に相当する。記憶装置２０３には、たとえば、前述の入力画像、明暗補正画像、色補正画像、基準画像、検出後画像などが格納される。また、過去の入力画像も記憶装置２０３に格納されている。
【００２９】
出力装置２０４は、検出後画像を出力するための装置であり、ディスプレイ、プリンタ、スピーカー等のデバイスで構成される。たとえば、ディスプレイを出力装置２０４として用いた場合、描画部１８によって生成された検出後画像がディスプレイの画面上に表示される。
【００３０】
入力装置２０５は、ユーザによる指示等を入力するための装置であり、キーボード、マウス、マイク等のデバイスで構成される。たとえば、入力装置２０５を介したユーザの指示に応じて、画像処理装置１において処理対象とする入力画像が決定される。
【００３１】
通信デバイス２０６は、他の装置と通信を行うための装置である。たとえば、通信デバイス２０６を用いて、車載カメラから送信された入力画像を受信したり、ネットワークを介して接続されたサーバ装置との間で各種データの送受信を行ったりすることができる。なお、画像処理装置１内に通信デバイス２０６を設けず、外部に設けられた通信デバイス２０６を画像処理装置１と接続して用いてもよい。
【００３２】
＜各部の構成と動作＞
次に、上記の色空間変換部１１、明暗補正部１２、色解析部１３、物体検出部１４、物体関連解析部１５、向き判定部１６、信頼度判定部１７、描画部１８、記録部１９の各機能構成の動作について、以下に詳細に説明する。
【００３３】
（i）色空間変換部１１
色空間変換部１１は、入力画像における色の明るさ情報として、たとえば、入力画像のＲＧＢ色空間をＬａｂ色空間に変換した画像を生成する。Ｌａｂ色空間変換により、入力画像に対するＬ値、ａ値、およびｂ値が取得される。なお、Ｌ値は明度に相当する情報であり、ａ値およびｂ値は色の明るさを表す情報である。
【００３４】
図３は、色空間変換部１１の動作の一例を説明するための図である。図３において、左側の画像ＮはＲＧＢ色空間で表現された入力画像の例を示し、右側の画像ＮＡはＬａｂ色空間で表現された色空間変換後の入力画像の例を示す。これらの画像には、本標識３１、補助標識３２および道路３３が含まれている。色空間変換部１１で求められた色空間変換後の画像ＮＡは、画像記憶部９０に記憶される。
【００３５】
（ii）明暗補正部１２
明暗補正部１２は、色空間変換部１１で求められた色空間変換後の入力画像の色の明るさ情報、すなわちａ値またはｂ値のいずれか少なくとも一方を用いて、以下のようにして明暗補正画像を作成する。
【００３６】
図４は、明暗補正部１２の動作の一例を説明するための図である。図４において、左側の画像（Ｎ−１）Ａは過去に取得された入力画像（Ｎ−１）の色空間を変換した画像例を示し、右側上の画像ＮＡは図３と同様に、現在の入力画像Ｎの色空間を変換した画像例を示す。また、右側下の画像ＮＢは明暗補正後の画像例を示す。
【００３７】
明暗補正部１２は、画像ＮＡの所定範囲に対して明暗補正の対象領域Ｒ２を設定し、画像ＮＡの領域Ｒ２内の色情報（ａ値またはｂ値）の平均値ａｖｅＲ２を算出する。この平均値ａｖｅＲ２は、入力画像Ｎの領域Ｒ２内の色の明るさの平均値に相当する。なお、領域Ｒ２の位置および形状は、車載カメラの搭載位置、撮影方向、画角等に基づいて、画像ＮＡにおいて道路標識が存在すべき範囲として予め設定しておくことができる。
【００３８】
また、明暗補正部１２は、画像（Ｎ−１）Ａに対して、上記の領域Ｒ２に対応する明暗補正の対象領域Ｒ１を設定し、画像（Ｎ−１）Ａの領域Ｒ１内の色情報（ａ値またはｂ値）の平均値ａｖｅＲ１を算出する。この平均値ａｖｅＲ１は、過去の入力画像（Ｎ−１）の領域Ｒ２内の色の明るさの平均値に相当する。なお、領域Ｒ１の位置および形状は、領域Ｒ２と同じであってもよいし、過去の入力画像（Ｎ−１）を取得してから現在の入力画像Ｎを取得するまでの車両の移動距離を考慮して定めてもよい。
【００３９】
上記の平均値ａｖｅＲ２、ａｖｅＲ１を算出したら、次に明暗補正部１２は、下記の式（１）を用いて、明暗補正画像を作成するための倍率値ｖを算出する。
V=E2/E1    ・・・（１）
【００４０】
式（２）において、Ｅ１、Ｅ２は、平均値ａｖｅＲ２、ａｖｅＲ１のどちらかをそれぞれ表す。具体的には、ａｖｅＲ１≧ａｖｅＲ２である場合には、Ｅ１＝ａｖｅＲ２、Ｅ２＝ａｖｅＲ１とする。一方、ａｖｅＲ１＜ａｖｅＲ２である場合には、Ｅ１＝ａｖｅＲ１、Ｅ２＝ａｖｅＲ２とする。あるいは、倍率値ｖを固定値としてもよい。
【００４１】
倍率値ｖを算出したら、次に明暗補正部１２は、下記の式（２）を用いて、画像ＮＡの領域Ｒ２内の各画素に対する明暗補正後の色の明るさ値ｃｎＣｏｒを求める。ただし式（２）において、ｃｎは画像ＮＡの領域Ｒ２内の各画素のａ値またはｂ値を示す。
cnCor=cn-(aveR2-cn)*v    ・・・（２）
【００４２】
上記の式（２）により、画像ＮＡの領域Ｒ２内の各画素について補正後の色の明るさ値ｃｎＣｏｒを算出することで、平均よりも暗い画素についてはより暗く、平均よりも明るい画素についてはより明るくなるように、画像ＮＡの明暗を補正することができる。このような補正をすることにより、画像ＮＡのままでは検出対象とする本標識３１が背景に埋もれていて見えづらい場合であっても、その後の処理において容易に検出できるようになる。
【００４３】
明暗補正部１２は、以上説明したような処理により、画像ＮＡの領域Ｒ２について画素毎にｃｎＣｏｒ値を求めることで、画像ＮＡの明暗を補正し、明暗補正画像ＮＢを作成する。
【００４４】
（iii）色解析部１３
色解析部１３は、入力画像の色差分値を以下のようにして算出し、この色差分値を用いて色補正画像を作成する。
【００４５】
図５は、色解析部１３の動作の一例を説明するための図である。図５において、左側の画像Ｎは図３と同様に、ＲＧＢ色空間で表現された入力画像の例を示し、右側の画像ＭＢは色補正後の画像例を示す。
【００４６】
色解析部１３は、前述の明暗補正部１２が画像ＮＡに対して行ったのと同様に、入力画像Ｎの所定範囲に対して色補正の対象領域Ｒ２を設定し、この領域Ｒ２内の各画素について色差分値を算出する。具体的には、各画素の原色毎の色情報値Ｒ、Ｇ、Ｂから、下記の式（３）を用いて、各画素の原色毎の色差分の絶対値ｓ_Ｒ、ｓ_Ｇ、ｓ_Ｂを求める。ただし式（３）において、ａｂｓは絶対値を示す。
s_R=abs(R-G)，s_G=abs(G-B)，s_B=abs(B-R)    ・・・（３）
【００４７】
上記の式（３）により求められた色差分の絶対値ｓ_Ｒ、ｓ_Ｇ、ｓ_Ｂが全て所定の閾値Ｔｈ_ｓ以下の場合、色解析部１３は、当該画素に対して元の色情報値Ｒ、Ｇ、Ｂをそのまま設定する。一方、求められた色差分の絶対値ｓ_Ｒ、ｓ_Ｇ、ｓ_Ｂのどれか一つでも閾値Ｔｈ_ｓを超える場合、色解析部１３は、当該画素の色情報値を全て０に設定し、Ｒ＝Ｇ＝Ｂ＝０とする。なお、閾値Ｔｈ_ｓの値は、たとえばＴｈ_ｓ＝３０である。
【００４８】
色解析部１３は、以上説明したような処理により、入力画像Ｎの領域Ｒ２について画素毎に色情報値を再設定することで、入力画像Ｎの色を補正し、入力画像Ｎの領域Ｒ２内の色をマスクした色補正画像ＭＢを作成する。
【００４９】
（iv）物体検出部１４
物体検出部１４は、明暗補正部１２により作成された明暗補正画像に基づいて、入力画像に含まれる本標識を検出するための画像を以下のようにして作成する。
【００５０】
図６は、物体検出部１４の動作の一例を説明するための図である。図６において、左側の画像ＮＢは図４と同様に、明暗補正後の画像例を示し、右側の画像ＮＤは本標識と背景を分離した画像例を示す。
【００５１】
物体検出部１４は、下記の式（４）を用いて、明暗補正部１２で算出された前述の画像（Ｎ−１）、Ｎにおける色の明るさの平均値ａｖｅＲ１、ａｖｅＲ２を重み付けした加重平均値ａｖｅＲＮを算出する。ただし式（４）において、Ｃ２／Ｃ１は、過去の入力画像（Ｎ−１）に対する重み付け係数を表し、Ｃ３／Ｃ１は、現在の入力画像Ｎに対する重み付け係数を表している。また、Ｃ１＝Ｃ２＋Ｃ３である。
aveRN=aveR1*C2/C1+aveR2*C3/C1    ・・・（４）
【００５２】
上記の式（４）において、加重平均値ａｖｅＲＮを過去の入力画像（Ｎ−１）の色の明るさに近づけたい場合には、Ｃ３よりＣ２を大きくして過去の入力画像（Ｎ−１）の重みを大きくすればよい。反対に、加重平均値ａｖｅＲＮを現在の入力画像Ｎの色の明るさに近づけたい場合には、Ｃ２よりＣ３を大きくして現在の入力画像Ｎの重みを大きくすればよい。ただし、Ｃ３を大きくして現在の入力画像Ｎを重視し過ぎると、その後の処理において本標識を正確に検出できない場合もあるため、重みＣ２をあまり小さくし過ぎないことで、ある程度は過去の入力画像（Ｎ−１）も考慮する必要がある。たとえば、過去の入力画像（Ｎ−１）の重みを大きくする場合には、Ｃ２＝０．９、Ｃ３＝０．１と設定する。また、現在の入力画像Ｎの重みを大きくする場合には、Ｃ２＝Ｃ３＝０．５と設定することが考えられる。
【００５３】
上記のようにして加重平均値ａｖｅＲＮを算出したら、次に物体検出部１４は、下記の式（５）を用いて、明暗補正画像ＮＢから検出対象とする本標識と背景を分離するための閾値Ｔｈを画像毎に求める。
Th=aveRN+α  ・・・（５）
【００５４】
上記の式（５）におけるαは、加重平均値ａｖｅＲＮから閾値Ｔｈを設定するための補正値である。この補正値αの値を適切に設定することで、明暗補正画像ＮＢから所望の明るさ以上の画素または所望の明るさ以下の画素だけを抽出することができる。すなわち、式（５）のαは、明暗補正画像ＮＢから検出対象物体である本標識を切り出しやすくするためのパラメータである。
【００５５】
前述の式（２）において、画像ＮＡの領域Ｒ２内の各画素のａ値をｃｎとした場合、明暗補正画像ＮＢの各画素の色の明るさ値ｃｎＣｏｒは、画像ＮＡの各画素のａ値に応じて設定される。この場合、物体検出部１４は、式（５）においてαをプラス値として画像毎に閾値Ｔｈを求め、この閾値Ｔｈを用いて、明暗補正画像ＮＢの領域Ｒ２から背景と本標識３１を分離した画像ＮＤを作成する。具体的には、明暗補正画像ＮＢの領域Ｒ２内の各画素について、ｃｎＣｏｒ≧Ｔｈの場合は、分離後の色の明るさをｓ値（たとえばｓ＝２５５）に設定し、ｃｎＣｏｒ＜Ｔｈの場合は、分離後の色の明るさをｔ値（たとえばｔ＝０）に設定する。これにより、領域Ｒ２内で色の明るさが所定値以上である物体を本標識３１として効率よく分離可能となる。
【００５６】
一方、前述の式（２）において、画像ＮＡの領域Ｒ２内の各画素のｂ値をｃｎとした場合、明暗補正画像ＮＢの各画素の色の明るさ値ｃｎＣｏｒは、画像ＮＡの各画素のｂ値に応じて設定される。この場合、物体検出部１４は、式（５）においてαをマイナス値として画像毎に閾値Ｔｈを求め、この閾値Ｔｈを用いて、明暗補正画像ＮＢの領域Ｒ２から背景と本標識３１を分離した画像ＮＤを作成する。具体的には、明暗補正画像ＮＢの領域Ｒ２内の各画素について、ｃｎＣｏｒ≦Ｔｈの場合は、分離後の色の明るさをｓ値（たとえばｓ＝２５５）に設定し、ｃｎＣｏｒ＞Ｔｈの場合は、分離後の色の明るさをｔ値（たとえばｔ＝０）に設定する。これにより、領域Ｒ２内で色の明るさが所定値以下である物体を本標識３１として効率よく分離可能となる。
【００５７】
物体検出部１４は、以上説明したような処理により、明暗補正画像ＮＢの領域Ｒ２について画素毎にｃｎＣｏｒ値と閾値Ｔｈとを比較し、その比較結果に基づいて分離後の色の明るさを設定することで、明暗補正画像ＮＢから検出対象物体である本標識３１と背景を分離した分離画像ＮＤを作成する。この分離画像ＮＤは、本標識３１の候補を多く含むものとなる。
【００５８】
また、物体検出部１４は、色解析部１３により作成された色補正画像に基づいて、入力画像に含まれる補助標識を検出するための画像を以下のようにして作成する。
【００５９】
図７は、物体検出部１４の動作の一例を説明するための図である。図７において、左側の画像ＭＢは図５と同様に、色補正後の画像例を示し、右側の画像ＭＣは補助標識と背景を分離した画像例を示す。
【００６０】
物体検出部１４は、色補正画像ＭＢの領域Ｒ２内において補助標識の形状に対応する矩形部分を抽出することで、色補正画像ＭＢから検出対象物体である補助標識３２と背景を分離した画像ＭＣを作成する。この分離画像ＭＣは、補助標識３２の候補を多く含むものとなる。
【００６１】
上記のようにして、本標識３１に対応する分離画像ＮＤおよび補助標識３２に対応する分離画像ＭＣを作成したら、次に物体検出部１４は、これらの画像で背景から分離された検出対象物体が本標識３１と補助標識３２のいずれに該当するかを識別するための処理を実行する。この処理において、たとえば物体検出部１４は、識別すべき標識に対応して予め設定された基準画像を画像記憶部９０から読み込み、この基準画像と分離画像ＮＤおよびＭＣとをそれぞれ比較することで、検出対象物体が本標識３１または補助標識３２であるか否かを判定する。具体的には、たとえば、基準画像と分離画像ＮＤ（またはＭＣ）のＲＧＢ値をそれぞれ用いて、基準画像のヒストグラムＡと、分離画像ＮＤ（またはＭＣ）のヒストグラムＢを作成し、これらのヒストグラムの形状またはBhattacharyya距離に基づいて、ヒストグラムＡ、Ｂの類似度を算出する。この類似度を用いて、分離画像ＮＤ（またはＭＣ）に本標識３１（または補助標識３２）が含まれているか否かを判定する。
【００６２】
ヒストグラムＡ、Ｂの類似度は、たとえば下記の式（６）を用いて算出することができる。式（６）において、Ｂ３２（ｃ）はヒストグラムＡ、Ｂ間のBhattacharyya距離を表している。このＢ３２（ｃ）のｒ成分に関するＢ３２（ｒ）、ｇ成分に関するＢ３２（ｇ）、ｂ成分に関するＢ３２（ｂ）を用いて、類似度Ｒを算出することができる。ここでｃは、ｒ、ｇ、ｂのどれかを表す。また、ＨＡ（Ｉ）、ＨＢ（Ｉ）はヒストグラムＡ、Ｂの階調値Iの度数をそれぞれ表し、ＨＳＵＭはヒストグラムのビンの総数を表す。
【００６３】
【数１】
0006552979.tif 000002
【００６４】
物体検出部１４は、以上説明したような処理により、ヒストグラム間の類似度を算出し、基準画像と検出対象物体である本標識３１および補助標識３２との類似度合いを判定する。これにより、予め設定された基準画像を用いて、分離画像ＮＤおよびＭＣから本標識３１と補助標識３２とをそれぞれ検出することが可能となる。さらに、ヒストグラム間の類似度判定に対して、周知のニューラルネットワークを用いた機械学習により画像の特徴量から識別器を作成し、その識別器を用いて、検出した物体を識別する判定を加えてもよい。つまり、類似度が高いと判定された基準画像が複数検出された場合、ニューラルネットワークを用いた識別器により、検出物体としてどの画像が正しいか（確からしいか）を識別する。
【００６５】
（v）物体関連解析部１５
物体関連解析部１５は、物体検出部１４により分離画像ＮＤ、ＭＣからそれぞれ検出された本標識と補助標識との関連性を以下のようにして解析する。
【００６６】
図８は、物体関連解析部１５の動作の一例を説明するための図である。図８において、左側の画像ＮＤは図６と同様に、本標識と背景を分離した画像例を示し、右側の画像ＭＣは図７と同様に、補助標識と背景を分離した画像例を示す。
【００６７】
分離画像ＮＤを基に本標識と補助標識の対応付けを行う場合、物体関連解析部１５は、図８に示すように、まず分離画像ＮＤにおいて、領域Ｒ２内で本標識３１の真下の位置に領域Ｒ３を設定し、この領域Ｒ３を分離画像ＭＣ内の同じ位置に設定する。そして、分離画像ＭＣの領域Ｒ３内に補助標識３２が存在するか否かを判定し、存在した場合は、分離画像ＮＤ内の本標識３１と分離画像ＭＣ内の補助領域３２とを互いに関連付ける。
【００６８】
図９は、物体関連解析部１５の動作の一例を説明するための図である。図８において、左側の画像ＭＣは図７と同様に、補助標識と背景を分離した画像例を示し、右側の画像ＮＤは図６と同様に、本標識と背景を分離した画像例を示す。
【００６９】
分離画像ＭＣを基に本標識と補助標識の対応付けを行う場合、物体関連解析部１５は、図９に示すように、まず分離画像ＭＣにおいて、領域Ｒ２内で補助標識３２の真上の位置に領域Ｒ４を設定し、この領域Ｒ４を分離画像ＮＤ内の同じ位置に設定する。そして、分離画像ＮＤの領域Ｒ４内に本標識３１が存在するか否かを判定し、存在した場合は、分離画像ＮＤ内の本標識３１と分離画像ＭＣ内の補助領域３２とを互いに関連付ける。
【００７０】
物体関連解析部１５は、以上説明したような処理により、本標識３１の下の所定範囲または補助標識３２の上の所定範囲に、本標識３１と補助標識３２の関連性を判定するための領域Ｒ３、Ｒ４を設定する。そして、分離画像ＭＣにおいて領域Ｒ３内に補助標識３２が存在する場合、または分離画像ＮＤにおいて領域Ｒ４内に本標識３１が存在する場合に、本標識３１と補助標識３２とを互いに関連付ける。こうして関連付けられた本標識３１と補助標識３２には、これらの検出結果を示す物体検出情報においてフラグｆに１がそれぞれ設定される。一方、関連付けがされなかった物体に対しては、物体検出情報においてフラグｆに０が設定される。
【００７１】
なお、本標識３１の真下に、複数の補助標識３２が存在する場合もある。このような場合も、上記と同様の処理によってこれらの物体同士の関連性を解析することができるが、これらの物体同士を互いに関連付けるために、たとえば各物体の物体検出情報においてフラグｆに２を設定する。このように、各物体の物体検出情報のフラグには、物体同士の組合せが分かるようにユニークな値を設定することが好ましい。
【００７２】
（vi）向き判定部１６
向き判定部１６は、物体検出部１４により検出された本標識および補助標識について、これらの物体の向きを判定する。図１０は、向き判定部１６の動作の一例を説明するための図である。
【００７３】
向き判定部１６は、図１０に示すように、検出された物体ｂ１、ｂ２、ｂ３、ｂ４のそれぞれについて、入力画像内の幅ｗと高さｈを求める。なお、図１０の物体ｂ１、ｂ２、ｂ３、ｂ４は、物体検出部１４により検出された本標識または補助標識のいずれかにそれぞれ該当する。次に、以下の式（７）を用いて、各物体の幅ｗと高さｈの比率ｒａｔｉｏを算出する。
ratio=w/h    ・・・（７）
【００７４】
算出された比率ｒａｔｉｏが所定の閾値Ｔｈ_ｍ（たとえばＴｈ_ｍ＝０．７）以上である場合、向き判定部１６は、その物体の向きが車両の進行方向に関係する向きであると判定し、物体検出情報において向きフラグｆｍに１を設定する。一方、比率ｒａｔｉｏが閾値Ｔｈ_ｍ未満の場合、向き判定部は、その物体の向きが車両の進行方向に関係しない向きであると判定し、物体検出情報において向きフラグｆｍに０を設定する。その結果、たとえば図１０の例では、物体ｂ１とｂ２に対するフラグｆｍが１に設定され、物体ｂ３とｂ４に対するフラグｆｍが０に設定される。
【００７５】
向き判定部１６は、以上説明したような処理により、入力画像から検出された本標識および補助標識の入力画像内の幅と高さの比率に基づいて、本標識および補助標識の向きをそれぞれ判定することができる。なお、上記の閾値Ｔｈ_ｍは、検出された物体が本標識である場合と補助標識である場合とで、それぞれ別の値を設定することが好ましい。また、比率ｒａｔｉｏを用いずに、検出された物体の向きを判定することもできる。たとえば、入力画像において検出された物体を囲む矩形を求め、その矩形の各直線の傾きから物体の向きを判定してフラグｆｍを設定してもよい。
【００７６】
（vii）信頼度判定部１７
信頼度判定部１７は、物体検出部１４により検出された本標識および補助標識について、これらの物体の検出結果に対する信頼度を判定する。図１１は、信頼度判定部１７の動作の一例を説明するための図である。
【００７７】
信頼度判定部１７は、検出された各物体の撮影時における車両の位置情報や、車載カメラの搭載位置、撮影方向、画角等に基づいて、各物体の位置（緯度、経度）を取得する。そして、図１１に示すように、取得した位置の検出頻度を物体毎に累積して、記憶装置２０３に格納する。このとき、他のユーザが所有する画像処理装置１の検出結果を取得して累積結果に加えてもよい。その結果、各物体すなわち各道路標識に対して、複数回の検出結果が蓄積される。
【００７８】
上記のようにして道路標識ごとに取得した位置の累積結果が求められたら、信頼度判定部１７は、累積した検出頻度を予め設定された閾値Ｔｈ_ｈと比較する。その結果、検出頻度が閾値Ｔｈ_ｈ以上であれば、検出した道路標識の位置（緯度、経度）に対する信頼度Ｃが高いと判定する。このようにして、検出した道路標識に対する位置の信頼度を判定することで、様々な車両の車載カメラで撮影された画像を用いた場合でも、道路標識の位置を正確に求めることができる。すなわち、車載カメラを搭載した移動体ごとに移動速度や撮影位置が異なり、そのために検出された道路標識の位置が微妙に異なる場合でも、正しい位置を認識することができる。
【００７９】
（vi）描画部１８
描画部１８は、信頼度判定部１７による信頼度の判定結果に基づいて、物体検出部１４による本標識および補助標識の検出結果を入力画像上に描画する。図１２は、描画部１８の動作の一例を説明するための図である。図５において、左側の画像Ｎは図３と同様に、ＲＧＢ色空間で表現された入力画像の例を示し、右側の画像ＮＥは本標識および補助標識の検出結果が描画された画像例を示す。
【００８０】
信頼度判定部１７において信頼度Ｃが高いと判定された場合、図１２に示されるように、物体検出部１４で検出された本標識３１と補助標識３２をそれぞれ囲むように検出枠３４、３５を入力画像Ｎ上で描画することにより、これらの物体の検出結果を示す画像ＮＥを作成する。一方、前述の検出頻度が閾値Ｔｈ_ｈに達しておらず、信頼度判定部１７において信頼度Ｃが低いと判定された場合、描画部１８は、検出枠３４、３５を入力画像Ｎ上に描画せず、画像ＮＥを作成しない。
【００８１】
（vii）記録部１９
記録部１９は、描画部１８において入力画像Ｎ上に検出枠３４、３５を描画することで作成された画像ＮＥを、画像記憶部９０に保存する。
【００８２】
＜画像処理装置の処理手順＞
図１３は、本発明の第１の実施形態による画像処理装置１の動作を説明するためのフローチャートである。
【００８３】
（i）ステップＳ１２０１
入力部１０は、車載カメラから入力された画像を受け付け、当該入力画像Ｎを色空間変換部１１に出力する。
【００８４】
（ii）ステップＳ１２０２
色空間変換部１１は、入力部１０から出力された入力画像ＮをＬａｂ色空間画像に変換した画像ＮＡを求める。
【００８５】
（iii）ステップＳ１２０３
明暗補正部１２は、色空間変換部１１で求めた画像ＮＡから、領域Ｒ２内の色の明るさの平均値ａｖｅＲ２を算出する。また、明暗補正部１２は、画像記憶部９０から時間的に１つ前の色空間変換後の画像（Ｎ−１）Ａを読み込み、領域Ｒ１内の色の明るさの平均値ａｖｅＲ１を算出する。そして、明暗補正部１２は、上述の式（１）、（２）を用いて、明暗を補正した画像ＮＢを生成する。
【００８６】
（iv）ステップＳ１２０４
色解析部１３は、上述の式（３）を用いて、各画素の原色毎の色差分の絶対値ｓ＿Ｒ、ｓ＿Ｇ、ｓ＿Ｂを求め、これらの値を閾値Ｔｈ＿ｓと比較することで、色をマスクした色補正後の画像ＭＢを作成する。
【００８７】
（v）ステップＳ１２０５
物体検出部１４は、上述の式（４）、（５）を用いて、画像毎に閾値Ｔｈを求める。
【００８８】
（vi）ステップＳ１２０６
物体検出部１４は、明暗を補正した画像ＮＢの各画素値ｃｎＣｏｒについて、閾値Ｔｈと比較する。その結果、ｃｎＣｏｒがａ値に相当する場合には、ｃｎＣｏｒ≧閾値Ｔｈであれば処理をステップＳ１２０７に移行し、ｃｎＣｏｒ＜閾値Ｔｈであれば処理をステップＳ１２０８に移行する。なお、ｃｎＣｏｒがｂ値に相当する場合には、ステップＳ１２０６の判定における不等号の向きが図１３とは反対になる。すなわち、ｃｎＣｏｒ≦閾値Ｔｈであれば処理をステップＳ１２０７に移行し、ｃｎＣｏｒ＞閾値Ｔｈであれば処理をステップＳ１２０８に移行する。
【００８９】
（vii）ステップＳ１２０７
画像ＮＢの各画素値ｃｎＣｏｒがａ値、ｂ値のいずれに相当する場合でも、物体検出部１４は、補正値にｓ値（例えば、２５５）を設定する。
【００９０】
（viii）ステップＳ１２０８
画像ＮＢの各画素値ｃｎＣｏｒがａ値、ｂ値のいずれに相当する場合でも、物体検出部１４は、補正値にｔ値（例えば、０）を設定する。
【００９１】
（ix）ステップＳ１２０９
物体検出部１４は、対象画像内の全ての画素について補正値が求まるまで、上記ステップＳ１２０６からＳ１２０８の処理を繰り返す。ステップＳ１２０６からＳ１２０９の処理を繰り返すことにより、画像ＮＢから背景と物体が分離された画像ＮＤが作成され、検出対象物体である本標識３１が検出される。
【００９２】
（x）ステップＳ１２１０
物体検出部１４は、画像ＭＢの領域Ｒ２内から矩形を構成する物体を求める。これにより、画像ＭＢから背景と物体が分離された画像ＭＣが作成され、検出対象物体である補助標識３２が検出される。
【００９３】
（xi）ステップＳ１２１１
物体検出部１４は、基準画像を画像記憶部９０から読み出し、検出した物体の画像と基準画像に対してヒストグラムをそれぞれ作成し、上述の式（６）を用いて、ヒストグラム間の類似度Ｒを算出する。そして、算出した類似度Ｒに基づいて検出した物体と基準画像の類似度合いを判断し、たとえば類似度Ｒ≦閾値Ｔｈ_Ｒの場合に類似度合いが高いと判断して、検出した物体を道路標識として識別する。なお、類似度ＲはBhattacharyya距離として算出されるため、類似度Ｒの値が小さいほどヒストグラム間の距離が短く、類似度が高いことを意味する。このとき上述したように、ニューラルネットワークを用いた機械学習により求めた識別器を用い、その識別器による判別結果を上記判定に加えて、識別したい標識か否かを判定してもよい。
【００９４】
（xii）ステップＳ１２１２
物体関連解析部１５は、物体検出部１４で検出した物体の上または下に検出領域を設定し、物体同士の関連を解析する。すなわち、物体が本標識の場合は、その物体の真下に検出領域を設定し、補助標識の物体が存在するか否かを解析する。また、物体が補助標識の場合は、その物体の真上に検出領域を設定し、本標識が存在するか否かを解析する。その結果、それぞれの対象の物体が存在した場合は、各物体のフラグｆに１を設定し、存在しなかった場合は、各物体のフラグｆに０を設定する。なお、各物体のフラグには、物体同士の組合せが分かるように、ユニークな値を設定する。
【００９５】
（xiii）ステップＳ１２１３
向き判定部１６は、式（７）を用いて検出した物体毎に比率ｒａｔｉｏを算出し、物体の向きを判定する。すなわち、比率ｒａｔｉｏが閾値Ｔｈ＿ｍ以上の場合は、検出した物体の向きが車両の進行方向に関係する向きであると判断し、向きフラグｆｍに１を設定する。一方、比率ｒａｔｉｏが閾値Ｔｈ＿ｍ未満の場合は、検出した物体の向きが車両の進行方向に関係しない向きであると判断し、向きフラグｆｍに０を設定する。
【００９６】
（xiv）ステップＳ１２１４
信頼度判定部１７は、検出した物体の撮影時の位置情報（緯度、経度）を累積し、累積した検出頻度が閾値Ｔｈ_ｈ以上であれば、検出した物体の位置に対する信頼度Ｃが高いと判定する。一方、検出頻度が閾値Ｔｈ_ｈ未満であれば、信頼度Ｃが低いと判定する。信頼度判定部１７は、物体検出部１４が検出した各物体について、こうした信頼度Ｃの判定を行う。
【００９７】
（xv）ステップＳ１２１５
描画部１８は、信頼度Ｃが高い場合に、物体検出部１４で検出した物体を囲むように検出枠３４、３５を入力画像Ｎ上に描画し、画像ＮＥを作成する。一方、信頼度Ｃが低い場合には、描画部１８は、検出枠を入力画像Ｎ上に描画することはしない。
【００９８】
（xvi）ステップＳ１２１６
記録部１９は、描画部１８で検出枠３４、３５を描画した画像ＮＥを画像記憶部９０に保存する。
【００９９】
以上説明したように、本発明の第１の実施形態によれば、過去の入力画像（Ｎ−１）に基づく色の明るさの平均値ａｖｅＲ１と、現在の入力画像Ｎに基づく色の明るさの平均値ａｖｅＲ２とを用いて、入力画像Ｎの明暗を補正した画像ＮＢを作成し、この画像ＮＢ毎に、本標識と背景を分離するための閾値Ｔｈを求めて画像ＮＤを作成している。したがって、閾値Ｔｈを用いて、入力画像Ｎ内の背景と検出対象物体である本標識とを分離することが可能となる。
【０１００】
また、色の原色であるＲ、Ｇ、Ｂについて、入力画像Ｎ内の各画素の原色毎の色差分の絶対値ｓ＿Ｒ、ｓ＿Ｇ、ｓ＿Ｂを算出して、色をマスクした画像ＭＢを作成し、この画像ＭＢ内の矩形を求めて画像ＭＣを作成している。したがって、入力画像Ｎ内の背景と検出対象物体である補助標識とを分離することが可能となる。
【０１０１】
また、検出した物体の上下に領域を設定して、領域内の物体有無を解析することで関連性を解析している。したがって、物体同士の関連を判定することが可能となる。
【０１０２】
また、検出した物体の幅と高さの比率から向きを求めている。したがって、検出した物体の向きが、車両の進行方向に関係する向きであるか否かを判定することが可能となる。
【０１０３】
また、検出した物体の位置情報を累積し、検出頻度を判定することで、検出した各物体の位置情報をより正確に求めることが可能となる。
【０１０４】
また、色をマスクした画像ＭＢおよび明暗を強調した画像ＮＢ内から物体を検出しているため、画像内の本標識もしくは補助標識の一部が切れていても、画像内に映った物体の色および明暗に応じて物体を検出するため、本標識および補助標識を検出することが可能となる。
【０１０５】
このように、過去画像と対象画像の明るさ情報を用いて対象画像の明暗を強調した画像を作成し、画像毎に画像内の領域を分離する閾値を求めることで、移動車両の進む方向によって映像内の画像の明るさが変わる場合でも、画像内の背景と背景内の物体を分離して、背景内の物体を検出することが可能となる。また、より正確な位置情報と共に、画像内から物体を検出し、かつ検出した物体同士の関連と物体の向きを判定することが可能となる。さらに、不特定多数のユーザが撮影した車載スマートホンの映像内から物体を検出し、位置情報の検出頻度からより正確な位置を求めることで、新設された道路や工事により変更となった道路上の道路付属物をタイムリーに検出することが可能となる。
【０１０６】
以上説明した本発明の第１の実施形態によれば、以下の作用効果を奏する。
【０１０７】
（１）画像処理装置１は、明暗補正部１２と、色解析部１３と、物体検出部１４と、物体関連解析部１５と、を備える。明暗補正部１１は、車両に搭載された車載カメラによって撮影された入力画像Ｎの明暗を補正した明暗補正画像ＮＢを作成する。色解析部１３は、入力画像Ｎの色を補正した色補正画像ＭＢを作成する。物体検出部１４は、明暗補正画像ＮＢに基づいて入力画像Ｎに含まれる本標識３１を検出し、色補正画像ＭＢに基づいて入力画像Ｎに含まれる補助標識３２を検出する。物体関連解析部１５は、物体検出部１４により検出された本標識３１と補助標識３２の入力画像Ｎ内の位置関係に基づいて、本標識３１と補助標識３２とを互いに関連付けることにより、本標識３１と補助標識３２とを組み合わせた道路標識を認識する。このようにしたので、本標識と補助標識とを組み合わせた道路標識を正しく認識することができる。
【０１０８】
（２）画像処理装置１は、向き判定部１６をさらに備える。向き判定部１６は、検出された本標識３１および補助標識３２の入力画像Ｎ内の幅ｗと高さｈの比率ｒａｔｉｏに基づいて、本標識３１および補助標識３２の向きをそれぞれ判定する。このようにしたので、認識した道路標識が車両の進行方向に対する道路規制等を示すものであるか否かを判定することができる。
【０１０９】
（３）画像処理装置１は、信頼度判定部１７をさらに備える。信頼度判定部１７は、道路標識の位置を取得し、取得した道路標識の位置の累積結果に基づいて、道路標識の信頼度Ｃを判定する。このようにしたので、道路標識の検出結果が正しいか否かを判定することができる。
【０１１０】
（４）明暗補正部１２は、入力画像Ｎの所定範囲に対象領域Ｒ２を設定し、入力画像Ｎよりも前に撮影された過去画像（Ｎ−１）の対象領域Ｒ２に対応する領域Ｒ１内の色の明るさの平均値ａｖｅＲ１と、入力画像Ｎの対象領域Ｒ２内の色の明るさの平均値ａｖｅＲ２とに基づいて、明暗補正画像ＮＢを作成する。このようにしたので、本標識３１を検出するのに適切な明暗補正画像ＮＢを作成することができる。
【０１１１】
（５）色解析部１３は、入力画像Ｎの所定範囲に対象領域Ｒ２を設定し、入力画像Ｎの対象領域Ｒ２内の色差分値ｓ_Ｒ、ｓ_Ｇ、ｓ_Ｂに基づいて、色補正画像ＭＢを作成する。このようにしたので、補助標識３２を検出するのに適切な色補正画像ＭＢを作成することができる。
【０１１２】
（６）物体検出部１４は、予め設定された基準画像を用いて、本標識３１と補助標識３２とをそれぞれ検出する。このようにしたので、本標識３１および補助標識３２をそれぞれ正確に検出することができる。
【０１１３】
（７）物体関連解析部１５は、本標識３１の下の所定範囲に設定された領域Ｒ３内に補助標識３２が存在する場合、または補助標識３２の上の所定範囲に設定された領域Ｒ４内に本標識３１が存在する場合に、本標識３１と補助標識３２とを互いに関連付ける。このようにしたので、同一の道路標識を構成する本標識３１と補助標識３２とを正確かつ確実に関連付けることができる。
【０１１４】
−第２の実施形態−
図１４は、本発明の第２の実施形態に係る警告装置１３００の構成を示すブロック図である。警告装置１３００は、車両に搭載されて用いられるものであり、たとえば地図上に経路を表示してユーザを目的地まで誘導するナビゲーションシステムとして機能する。さらに、車両の周囲に存在する道路標識等の対象物の情報をリアルタイムで収集し、所定の警告場所に近づいたときに、画面表示や音声により警告（アラート）を出力する。警告場所は、たとえば役所、警察署等の汎用的な建物や、ランドマーク的な建物などの予め決められた場所であってもよいし、過去の車両走行中にユーザがマーキングした場所であってもよい。本実施形態による警告装置１３００は、ユーザから情報を収集しながら、ユーザにとって有益な情報を提供するものである。
【０１１５】
警告装置１３００は、画像データを撮影する撮像デバイス１３０１と、画像データから検出対象を含む画像を認識する画像処理装置１と、画像処理装置１から出力された認識後画像を表示する表示デバイス１３０２と、画像処理装置１から出力されたアラート情報を出力する出力デバイス１３０３と、を有している。警告装置１３００には、たとえばスマートホンのような装置などを用いることができる。撮像デバイス１３０１は、ＣＭＯＳセンサやＣＣＤカメラ等によって構成され、第１の実施形態において説明した車載カメラに相当する。なお、画像処理装置１の構成および動作は、第１の実施形態で説明したとおりである。
【０１１６】
画像処理装置１は、第１の実施形態で説明したように、撮像デバイス１３０１で撮影した画像から、本標識と補助標識により構成される様々な道路標識を認識する。さらに、道路上付属物などの物体に対応する基準画像を準備しておき、これを認識対象に含めてもよい。
【０１１７】
表示デバイス１３０２は、画像処理装置１から出力された速度標識や補助標識等の認識結果を示す画像を表示するものであり、たとえばスマートホンのディスプレイ装置に相当する。
【０１１８】
出力デバイス１３０３は、画像処理装置１から出力されたアラート情報に基づく警告を画像や音声により出力するものであり、たとえばスマートホンのディスプレイ装置やスピーカーに相当する。
【０１１９】
警告装置１３００は、画像処理装置１における前述の物体関連解析部１５による道路標識等の物体の認識結果に基づいて、画像処理装置１から出力デバイス１３０３にアラート情報を出力する。出力デバイス１３０３は、画像処理装置１からアラート情報が出力されると、これに基づいて車両の運転者であるユーザに対する警告を出力する。たとえば、検出した物体の内容と地図情報が一致した場合は、地図情報をユーザに通知する。また、１回の検出において、検出した物体の内容と地図情報が一致しない場合は、その時点ではアラート情報をユーザに通知しない。また、同じ地点で複数回物体を検出できなかったが、地図情報には物体の情報がある場合、その地点の標識が変わった可能性があるため、ユーザに標識確認を促すようにメッセージを通知する。たとえば、「標識を確認してください」という音声を出力することで、メッセージ通知を行う。なお、本標識と補助標識が組み合わされた道路標識の通知を行う場合には、これらの情報を組み合わせてユーザに通知してもよいし、これらの情報を分けてユーザに通知してもよい。さらに、アラートが出された地点での撮影画像や物体の認識結果を示す画像などを、その地点を示す情報と共に、警告装置１３００において登録するようにしてもよい。
【０１２０】
以上説明した本発明の第２の実施形態によれば、警告装置１３００は、画像処理装置１と、物体関連解析部１５による道路標識の認識結果に基づいて車両の運転者に対する警告を出力する警告出力部としての出力デバイス１３０３と、を備える。これにより、車両に搭載されたスマートホン等で撮影した画像から、本標識と補助標識を組み合わせた速度標識などの道路標識を認識し、その認識結果を示す画像とアラート情報をセットにしてユーザに通知する警告装置１３００を提供することが可能となる。
【０１２１】
−第３の実施形態−
図１５は、本発明の第３の実施形態に係る画像処理システム１４００の構成を示すブロック図である。画像処理システム１４００は、車両で撮影された画像からＰＯＩ（Point of Interest）情報を作成するものであり、サーバ１４０３と、移動端末装置１４０７と、を有する。
【０１２２】
移動端末装置１４０７は、画像データを撮影する撮像デバイス１４０１と、画像データから検出対象を含む画像を簡易的に検出する画像処理装置１Ａと、画像処理装置１Ａから出力された検出後画像をサーバ１４０３に送信すると共にサーバ１４０３から伝送されてきた認識後画像を受信する通信デバイス１４０２と、認識後画像を表示する表示デバイス１４０５と、を有している。移動端末装置１４０７は、第２の実施形態で説明した警告装置１３００と同様に、たとえばスマートホンのような装置などを用いることができる。撮像デバイス１４０１は、ＣＭＯＳセンサやＣＣＤカメラ等によって構成され、第１の実施形態において説明した車載カメラに相当する。
【０１２３】
画像処理装置１Ａは、第１の実施形態において図１で説明した画像処理装置１の各機能構成のうち、入力部１０から物体検出部１４までの機能構成を有している。すなわち、移動端末装置１４０７は、画像処理装置１Ａとして、入力部１０、色空間変換部１１、明暗補正部１２、色解析部１３および物体検出部１４を有している。画像処理装置１Ａは、物体検出部１４により、撮像デバイス１４０１で撮影した画像から、本標識や補助標識等を検出し、これらの検出結果を示す画像を検出後画像として通信デバイス１４０２に出力する。さらに画像処理装置１Ａは、道路上付属物等の物体や、施設情報、スポット情報等を表す特定看板などを検出対象に含めてもよい。なお、検出後画像は、撮影された画像全体でもよいし、検出した物体を含む部分画像でもよい。通信デバイス１４０２は、画像処理装置１Ａから出力されたこれらの検出対象物体に対する検出後画像をサーバ１４０３に送信するものであり、第１の実施形態において図２で説明した通信デバイス２０６に相当する。
【０１２４】
サーバ１４０３は、移動端末装置１４０７から送信された検出後画像を受信すると共に画像処理装置１Ｂから出力された認識後画像を移動端末装置１４０７に送信する通信デバイス１４０４と、受信した検出後画像から本標識と補助標識により構成される様々な道路標識を認識する画像処理装置１Ｂと、画像処理装置１Ｂから出力された認識後画像に基づくＰＯＩ情報を格納する格納デバイス１４０６と、を有している。
【０１２５】
画像処理装置１Ｂは、第１の実施形態において図１で説明した画像処理装置１と同じ機能構成を有している。画像処理装置１Ｂは、入力部１０から物体関連解析部１５までにより、移動端末装置１４０７から送信された検出後画像から、本標識と補助標識により構成される道路標識や、道路上付属物、特定看板等の物体を認識する。格納デバイス１４０６には、これらの認識後画像が位置情報と組み合わされ、ＰＯＩ情報として格納される。
【０１２６】
通信デバイス１４０４は、画像処理装置１Ｂから出力されたこれらの認識対象物体に対する認識後画像を移動端末装置１４０７に送信するものであり、第１の実施形態において図２で説明した通信デバイス２０６に相当する。
【０１２７】
サーバ１４０３から認識後画像が送信されると、移動端末装置１４０７の通信デバイス１４０２はこれを受信して表示デバイス１４０５に出力する。表示デバイス１４０５は、サーバ１４０３から伝送された認識後画像を表示するものであり、たとえばスマートホンのディスプレイ装置に相当する。このとき表示デバイス１４０５は、たとえば地図画面を表示し、その地図画面上の対応する位置に認識後画像に含まれる対象物の存在を示すマークを表示することで、認識された道路標識等に関する通知を車両の運転者であるユーザに通知してもよい。
【０１２８】
以上説明した本発明の第３の実施形態によれば、画像処理システム１４００は、車両に搭載された移動端末装置１４０７と、移動端末装置１４０７との間で通信を行うサーバ１４０３と、を有する。移動端末装置１４０７は、画像処理装置１Ａとして、明暗補正部１２、色解析部１３および物体検出部１４を備え、また、物体検出部１４による本標識と補助標識との検出結果を示す検出後画像をサーバ１４０３に送信する画像送信部としての通信デバイス１４０２を備える。サーバ１４０３は、移動端末装置１４０７から送信された検出後画像を受信する画像受信部としての通信デバイス１４０４を備え、また、画像処理装置１Ｂは、受信された検出後画像を用いて本標識と補助標識とを組み合わせた道路標識を認識する、図１で説明した画像処理装置１と同等の構成を備える。これにより、車両に搭載されたスマートホン等で撮影した画像から、本標識と補助標識を組み合わせた道路標識や特定看板などを認識し、その認識後画像と位置情報をセットでＰＯＩ情報として格納するシステムを提供することが可能となる。
【０１２９】
画像処理システム１４００において、サーバ１４０３の通信デバイス１４０４は、画像処理装置１Ｂにより認識された道路標識に関する認識後画像を移動端末装置１４０７に送信する第２の画像送信部としても機能する。また、移動端末装置１４０７の通信デバイス１４０２は、サーバ１４０３から送信された認識後画像を受信する第２の画像受信部としても機能する。さらに、移動端末装置１４０７は、通信デバイス１４０２により受信された認識後画像に基づいて、道路標識に関する通知を車両の運転者に対して行う通知部としての表示デバイス１４０５を備える。このようにしたので、車両の運転時に有用な情報を運転者に通知することができる。
【０１３０】
−第４の実施形態−
図１６は、本発明の第４の実施形態に係る画像処理システム１５００の構成を示すブロック図である。画像処理システム１５００は、車両で撮影された画像に基づいて車両の運転者に警告を出力するものであり、サーバ１５０３と、移動端末装置１５０８と、を有する。
【０１３１】
画像処理システム１５００は、第２の実施形態で説明した警告装置１３００と同様に、たとえば地図上に経路を表示してユーザを目的地まで誘導するナビゲーションシステムとして機能する。さらに、車両の周囲に存在する道路標識等の対象物の情報をリアルタイムで収集し、所定の警告場所に近づいたときに、画面表示や音声により警告（アラート）を出力する。警告場所は、たとえば役所、警察署等の汎用的な建物や、ランドマーク的な建物などの予め決められた場所であってもよいし、過去の車両走行中にユーザがマーキングした場所であってもよい。本実施形態による画像処理システム１５００は、ユーザから情報を収集しながら、ユーザにとって有益な情報を提供するものである。
【０１３２】
移動端末装置１５０８は、画像データを撮影する撮像デバイス１５０１と、画像データから検出対象を含む画像を簡易的に検出する画像処理装置１Ａと、画像処理装置１Ａから出力された検出後画像をサーバ１５０３に送信すると共にサーバ１５０３から伝送されてきた認識後画像およびアラート情報を受信する通信デバイス１５０２と、認識後画像を表示する表示デバイス１５０５と、アラート情報を出力する出力デバイス１５０６と、を有している。移動端末装置１５０８は、第３の実施形態で説明した移動端末装置１４０７と同様に、たとえばスマートホンのような装置などを用いることができる。撮像デバイス１５０１は、ＣＭＯＳセンサやＣＣＤカメラ等によって構成され、第１の実施形態において説明した車載カメラに相当する。
【０１３３】
画像処理装置１Ａの構成および動作は、第３の実施形態で説明したとおりである。通信デバイス１５０２は、第１の実施形態において図２で説明した通信デバイス２０６に相当する。
【０１３４】
サーバ１５０３は、移動端末装置１５０８から送信された検出後画像を受信すると共に画像処理装置１Ｂから出力された認識後画像やアラート情報を移動端末装置１５０８に送信する通信デバイス１５０４と、受信した検出後画像から本標識と補助標識により構成される様々な道路標識を認識する画像処理装置１Ｂと、画像処理装置１Ｂから出力された認識後画像に基づく認識情報を格納する格納デバイス１５０７と、を有している。
【０１３５】
画像処理装置１Ｂの構成および動作は、第３の実施形態で説明したとおりである。サーバ１５０３は、画像処理装置１Ｂによる道路標識等の物体の認識結果に基づいて、画像処理装置１Ｂから通信デバイス１５０４に認識後画像やアラート情報を出力する。格納デバイス１５０７には、画像処理装置１Ｂが道路標識等の道路上付属物を認識して得られた認識後画像が位置情報と組み合わされ、認識情報として格納される。通信デバイス１５０４は、画像処理装置１Ｂから出力された認識対象物体に対する認識後画像やアラート情報を移動端末装置１５０８に送信するものであり、第１の実施形態において図２で説明した通信デバイス２０６に相当する。
【０１３６】
サーバ１５０３から認識後画像やアラート情報が送信されると、移動端末装置１５０８の通信デバイス１５０２はこれらを受信して、表示デバイス１５０５と出力デバイス１５０６にそれぞれ出力する。表示デバイス１５０５は、第３の実施形態で説明した表示デバイス１４０５と同様に、サーバ１５０３から伝送された認識後画像を表示してユーザに通知するものであり、たとえばスマートホンのディスプレイ装置に相当する。
【０１３７】
出力デバイス１５０６は、サーバ１５０３から伝送されたアラート情報に基づく警告を画像や音声により出力するものであり、たとえばスマートホンのディスプレイ装置やスピーカーに相当する。なお、アラートが出された地点での撮影画像や物体の認識結果を示す画像などを、その地点を示す情報と共に、サーバ１５０３や移動端末装置１５０８において登録するようにしてもよい。
【０１３８】
以上説明した本発明の第４の実施形態によれば、画像処理システム１５００は、第３の実施形態に係る画像処理システム１４００と同様に、車両に搭載された移動端末装置１５０８と、移動端末装置１５０８との間で通信を行うサーバ１５０３と、を有する。移動端末装置１５０８は、画像処理装置１Ａとして、明暗補正部１２、色解析部１３および物体検出部１４を備え、また、物体検出部１４による本標識と補助標識との検出結果を示す検出後画像をサーバ１５０３に送信する画像送信部としての通信デバイス１５０２を備える。サーバ１５０３は、移動端末装置１５０８から送信された検出後画像を受信する画像受信部としての通信デバイス１５０４を備え、また、画像処理装置１Ｂは、受信された検出後画像を用いて本標識と補助標識とを組み合わせた道路標識を認識する、図１で説明した画像処置装置１と同等の構成を備える。さらに、画像処理システム１５００において、サーバ１５０３の通信デバイス１５０４は、画像処理装置１Ｂによる道路標識の認識結果に基づく警告情報（アラート情報）を移動端末装置１５０８に送信する警告情報送信部としても機能する。また、移動端末装置１５０８の通信デバイス１５０２は、サーバ１５０３から送信された警告情報（アラート情報）を受信する警告情報受信部としても機能する。さらに、移動端末装置１５０８は、通信デバイス１５０２により受信された警告情報（アラート情報）に基づいて、車両の運転者に対する警告を出力する警告出力部としての出力デバイス１５０６を備える。これにより、車両に搭載されたスマートホン等で撮影した画像から、本標識と補助標識を組み合わせた道路標識を認識し、その認識結果に基づく警告をユーザに行うシステムを提供することが可能となる。
【０１３９】
−第５の実施形態−
図１７は、本発明の第５の実施形態に係る画像処理システム１６００の構成を示すブロック図である。画像処理システム１６００は、たとえば、ユーザによって走行ルートが設定されると、車両の周囲に存在する道路標識等の対象物の情報をリアルタイムで収集しながらユーザに提示し、走行ルートに従って車両を目的地まで誘導する。このとき、第２の実施形態で説明した警告装置１３００のように、地図上に経路を表示して車両誘導を行う代わりに、本実施形態では、設定されたルート上で車両誘導に関する道路標識を認識したら、その道路標識の認識結果に基づいて車両を誘導する。たとえば、左折すべき地点において左折方向を示す道路標識を認識したら、「ここを左折です」との音声を出力する等の方法により、車両の誘導を行う。画像処理システム１６００は、サーバ１６０３と、移動端末装置１６０８と、を有する。
【０１４０】
移動端末装置１６０８は、画像データを撮影する撮像デバイス１６０１と、画像データから検出対象を含む画像を簡易的に検出する画像処理装置１Ａと、画像処理装置１Ａから出力された検出後画像をサーバ１６０３に送信すると共にサーバ１６０３から伝送されてきた認識後画像および誘導情報を受信する通信デバイス１６０２と、認識後画像を表示する表示デバイス１６０５と、誘導情報を出力する出力デバイス１６０６と、を有している。移動端末装置１６０８は、第３の実施形態で説明した移動端末装置１４０７や、第４の実施形態で説明した移動端末装置１５０８と同様に、たとえばスマートホンのような装置などを用いることができる。撮像デバイス１６０１は、ＣＭＯＳセンサやＣＣＤカメラ等によって構成され、第１の実施形態において説明した車載カメラに相当する。
【０１４１】
画像処理装置１Ａの構成および動作は、第３の実施形態で説明したとおりである。通信デバイス１６０２は、第１の実施形態において図２で説明した通信デバイス２０６に相当する。
【０１４２】
サーバ１６０３は、移動端末装置１６０８から送信された検出後画像を受信すると共に画像処理装置１Ｂから出力された認識後画像や誘導情報を移動端末装置１６０８に送信する通信デバイス１６０４と、受信した検出後画像から本標識と補助標識により構成される様々な道路標識や方面看板を認識する画像処理装置１Ｂと、画像処理装置１Ｂから出力された認識後画像に基づく認識情報を格納する格納デバイス１６０７と、を有している。
【０１４３】
画像処理装置１Ｂの構成および動作は、第３の実施形態で説明したとおりである。サーバ１６０３は、画像処理装置１Ｂによる道路標識や方面看板等の物体の認識結果に基づいて、画像処理装置１Ｂから通信デバイス１６０４に認識後画像や誘導情報を出力する。たとえば、車両の進行方向に関係する方面看板か否かを識別し、方面看板の矢印や文字から、矢印や文字のパターンマッチング等により誘導方向を識別して誘導情報を出力する。格納デバイス１６０７には、画像処理装置１Ｂが道路標識等の道路上付属物を認識して得られた認識後画像が位置情報と組み合わされ、認識情報として格納される。通信デバイス１６０４は、画像処理装置１Ｂから出力された認識対象物体に対する認識後画像や誘導情報を移動端末装置１６０８に送信するものであり、第１の実施形態において図２で説明した通信デバイス２０６に相当する。
【０１４４】
サーバ１６０３から認識後画像や誘導情報が送信されると、移動端末装置１６０８の通信デバイス１６０２はこれらを受信して、表示デバイス１６０５と出力デバイス１６０６にそれぞれ出力する。表示デバイス１６０５は、第３の実施形態で説明した表示デバイス１４０５と同様に、サーバ１６０３から伝送された認識後画像を表示してユーザに通知するものであり、たとえばスマートホンのディスプレイ装置に相当する。
【０１４５】
出力デバイス１６０６は、サーバ１６０３から伝送された誘導情報に基づいて、たとえば車両が曲がるべき方向を画像や音声でユーザに指示することにより、車両を目的地まで誘導する。出力デバイス１６０６は、たとえばスマートホンのディスプレイ装置やスピーカーに相当する。
【０１４６】
以上説明した本発明の第５の実施形態によれば、画像処理システム１６００は、第３の実施形態に係る画像処理システム１４００と同様に、車両に搭載された移動端末装置１６０８と、移動端末装置１６０８との間で通信を行うサーバ１６０３と、を有する。移動端末装置１６０８は、画像処理装置１Ａとして、明暗補正部１２、色解析部１３および物体検出部１４を備え、また、物体検出部１４による本標識と補助標識との検出結果を示す検出後画像をサーバ１６０３に送信する画像送信部としての通信デバイス１６０２を備える。サーバ１６０３は、移動端末装置１６０８から送信された検出後画像を受信する画像受信部としての通信デバイス１６０４を備え、また、画像処理装置１Ｂは、受信された検出後画像を用いて本標識と補助標識とを組み合わせた道路標識を認識する、図１で説明した画像処理装置１と同等の構成を備える。さらに、画像処理システム１６００において、サーバ１６０３の通信デバイス１６０４は、画像処理装置１Ｂによる道路標識の認識結果に基づいて、車両を所定の目的地まで誘導するための誘導情報を移動端末装置１６０８に送信する誘導情報送信部としても機能する。また、移動端末装置１６０８の通信デバイス１６０２は、サーバ１６０３から送信された誘導情報を受信する誘導情報受信部としても機能する。さらに、移動端末装置１６０８は、通信デバイス１６０２により受信された誘導情報に基づいて、車両を目的地まで誘導する車両誘導部としての出力デバイス１６０６を備える。これにより、車両に搭載されたスマートホン等で撮影した画像から、本標識と補助標識を組み合わせた道路標識を認識し、その認識結果に基づいて車両を簡易的に誘導するシステムを提供することが可能となる。
【０１４７】
以上説明した各実施形態については、次のような変形が可能である。
色空間変換部１１では、入力画像をＬａｂ色空間に変換した画像を作成したが、ＨＳＶ色空間等の他の色空間の画像に変換してもよい。その場合でも、上記実施形態と同様の効果を有する。
物体検出部１４では、式（６）を用いて、基準画像と検出した物体の画像との類似度を判定したが、Ｂ３２（ｒ）、Ｂ３２（ｇ）、Ｂ３２（ｂ）のどれか１つを用いてもよく、また、それぞれの組合せを用いて類似度を判定してもよい。その場合でも、上記実施形態と同様の効果を有する。
物体関連解析部１５では、本標識の真下の位置、もしくは補助標識の真上の位置に領域を設定して本標識と補助標識の対応付けを行ったが、他の位置、例えば、本標識の左の位置、もしくは補助標識の右の位置等に領域を設定してもよく、国ごとに異なる標識の位置関係に応じて、本標識や補助標識を探す領域を設定してもよい。その場合でも、上記実施形態と同様の効果を有する。
向き判定部１６では、式（７）を用いて、検出した物体の幅と高さの比率を用いて物体の向きを判定したが、物体を含む矩形を求め、矩形の各直線の傾きから物体の向きを判定してもよい。その場合でも、上記実施形態と同様の効果を有する。
【０１４８】
本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステムや装置に提供し、そのシステムや装置に搭載されたコンピュータ（ＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコードがコンピュータに実行されることで、前述した実施形態の機能が実現されることになり、そのプログラムコードや、これを記憶した記憶媒体や、これを実行するコンピュータなどが、本発明の構成要素となる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
【０１４９】
なお、以上説明した実施形態や各種の変化例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されない。本発明は、上述した実施形態や変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１５０】
１，１Ａ，１Ｂ・・・画像処理装置
１０・・・入力部
１１・・・色空間変換部
１２・・・明暗補正部
１３・・・色解析部
１４・・・物体検出部
１５・・・物体関連解析部
１６・・・向き判定部
１７・・・信頼度判定部
１８・・・描画部
１９・・・記録部
９０・・・画像記憶部
９１・・・制御部
１３００・・・警告装置
１４００，１５００，１６００・・・画像処理システム
【図１】
0006552979.tif 000003
【図２】
0006552979.tif 000004
【図３】
0006552979.tif 000005
【図４】
0006552979.tif 000006
【図５】
0006552979.tif 000007
【図６】
0006552979.tif 000008
【図７】
0006552979.tif 000009
【図８】
0006552979.tif 000010
【図９】
0006552979.tif 000011
【図１０】
0006552979.tif 000012
【図１１】
0006552979.tif 000013
【図１２】
0006552979.tif 000014
【図１３】
0006552979.tif 000015
【図１４】
0006552979.tif 000016
【図１５】
0006552979.tif 000017
【図１６】
0006552979.tif 000018
【図１７】
0006552979.tif 000019